Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DEVICE FOR MOTION SEARCH IN DYNAMIC IMAGE ENCODING
Document Type and Number:
WIPO Patent Application WO/2009/035088
Kind Code:
A1
Abstract:
Provided is a technique which can perform a high-speed operation in a motion search using a PE array by avoiding a bank conflict without increasing a memory used for storing out-of-screen elements. When pixel data in a plurality of lines read out of a memory (3) (reference image memory (30)) are in the same bank, a conflict bank pre-read control unit (10) reads out pixel data from one of the lines in advance and a read-in data holding circuit (20) holds the data until an input timing to a PE array unit (4). Thus, it is possible to avoid a bank conflict during a read-out of pixel data from the memory (3), thereby realizing a smooth pipeline process by the PE array unit (4).

Inventors:
NITTA KOYO (JP)
IWASAKI HIROE (JP)
NAGANUMA JIROU (JP)
Application Number:
PCT/JP2008/066557
Publication Date:
March 19, 2009
Filing Date:
September 12, 2008
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
NIPPON TELEGRAPH & TELEPHONE (JP)
NITTA KOYO (JP)
IWASAKI HIROE (JP)
NAGANUMA JIROU (JP)
International Classes:
H04N19/50; H04N19/105; H04N19/136; H04N19/139; H04N19/196; H04N19/423; H04N19/426; H04N19/513; H04N19/55
Domestic Patent References:
WO2007074555A12007-07-05
Foreign References:
JPH11243552A1999-09-07
JP2001061150A2001-03-06
JP2004080583A2004-03-11
JP2005136455A2005-05-26
JP2005244844A2005-09-08
Other References:
See also references of EP 2190206A4
YEU-SHEN JEHNG: "An efficient and simple VLSI tree architecture for motion estimation algorithms", IEEE TRANSACTIONS ON SIGNAL PROCESSING, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 41, no. 2, 1 February 1993 (1993-02-01), pages 889 - 9000
Attorney, Agent or Firm:
ITOH, Tadahiko et al. (Yebisu Garden Place Tower20-3, Ebisu 4-chom, Shibuya-ku Tokyo, JP)
Download PDF:
Claims:
 複数のプロセッサエレメントにより並列に演算を実行することによって原画像と参照画像との差分絶対値和を算出するPEアレイ部と、動き探索の対象となる参照画像の画素データを記憶するメモリと、前記メモリから参照画像の画素データを読み出すメモリリード部と、前記メモリから読み出した画素データを並び替えて前記PEアレイ部への入力とする画素並び替え部と、前記PEアレイ部によって算出された差分絶対値和をもとに参照画像の所定の探索範囲における動きベクトルを検出し評価する評価部と、これらの各部による動き探索を制御する制御部とを備えた動画像符号化における動き探索装置において、
 前記メモリリード部は、前記PEアレイ部に同時に入力させる複数ラインの画素データが、前記メモリにおける同一バンクに格納されているときに、その複数ラインの画素データの前記メモリからの読み出しタイミングをライン単位でずらし、前記PEアレイ部への入力に必要なタイミングよりも早いタイミングで画素データを読み出す制御を行う競合バンク先行読み出し制御部を備え、
 前記画素並び替え部は、前記メモリリード部によって前記PEアレイ部への入力に必要なタイミングよりも早いタイミングで読み出されたラインの画素データを、前記PEアレイ部への入力タイミングまで保持する読み込みデータ保持回路を備えることを特徴とする動画像符号化における動き探索装置。
 請求項1記載の動画像符号化における動き探索装置において、
 前記画素並び替え部は、動き探索範囲の領域が参照画像の垂直方向の画面外の領域である場合に、画面外の領域の画素データとして参照画像における画面境界部のラインの画素データをコピーして前記PEアレイ部に対する入力とする垂直方向コピー部を備えることを特徴とする動画像符号化における動き探索装置。
 請求項1記載の動画像符号化における動き探索装置において、
 前記画素並び替え部は、動き探索範囲の領域が参照画像の水平方向の画面外の領域である場合に、画面外の領域の画素データとして参照画像における同じラインの画面境界部の画素データを水平方向にコピーして前記PEアレイ部に対する入力とする水平方向コピー部を備えることを特徴とする動画像符号化における動き探索装置。
 請求項2記載の動画像符号化における動き探索装置において、
 前記画素並び替え部は、動き探索範囲の領域が参照画像の水平方向の画面外の領域である場合に、画面外の領域の画素データとして参照画像における同じラインの画面境界部の画素データを水平方向にコピーして前記PEアレイ部に対する入力とする水平方向コピー部を備えることを特徴とする動画像符号化における動き探索装置。
Description:
動画像符号化における動き探索 置

 本発明は、動画像符号化においてシスト ックアレイを用いて動き探索を行う動画像 号化における動き探索装置に関するもので る。

 動画像符号化において、動きベクトルの 出に要する演算量は膨大であり、その演算 理の高速化のために、シストリックアレイ 用いた動き探索装置が開発され、実用化さ ている(非特許文献1、特許文献1、非特許文 2、特許文献2参照)。

 シストッリクアレイは、複数のプロセッ エレメント(以下、PEと記す)を規則正しく配 列し、複数のPEに演算対象データをパイプラ ン的に流すことにより、複数のPEによる演 処理を並列に高速に実行する演算装置であ 。PEアレイともいう。

 特に、高速な動画像符号化処理が要求さ る動き探索装置では、原画像の符号化対象 ロックと参照画像との間の画素値の差分絶 値和(SAD)の計算を参照画像の動き探索範囲 で繰り返す処理に、前記PEアレイを利用する ことにより、動きベクトル検出の高速化が図 られている。

 図9Aは、従来の動き探索装置におけるPEア レイの構成例を示している。この例では、8 のプロセッサエレメントPE00~PE31によって、4 2画素の原画像と参照画像との間の差分絶対 和を算出する構成になっている。PEの数を やすことにより、例えば4×4画素または8×8画 素というような単位での差分絶対値和を算出 する構成にすることもできる。また、図9Aに すPEアレイ40を複数個組み合わせて、n×m画 (n≧4,m≧4)の差分絶対値和の演算回路を構成 ることもできる。

 PEアレイ40には、原画像入力データSMBと、 4本の参照画像入力データRA00、RA01、RA10、RA11 、演算する参照画像入力データを選択する めのセレクタを制御する参照画像切替制御 力信号RASWの入力端子がある。出力端子とし ては、差分絶対値累算結果出力ADOUTの出力端 がある。

 各PEは、図9Bに示すように、原画像入力デ ータの入力端子MBinと、左隣のPEからの加算値 の入力端子ADDinと、右隣のPEへの加算値の出 端子ADDoutと、2本の参照画像入力データの入 端子RAin0、RAin1を持っている。

 図10A~10Cは、図9Aに示すPEアレイ40の動作を 説明する図である。例えば図10Aに示すような 原画像の4×2の画素群(画素値c00~c31)に対して 図10Bに示す参照画像(画素値x00,x01,…)の中で 分絶対値和がもっとも小さくなる部分を探 するための演算を行うものとする。

 図10Cにおいて、各PE00、PE10、PE20、…には 原画像の画素値c00、c10、c20、…が、最初の8 サイクル(クロックCLK)で順次入力され、保持 れる。サイクル1では、PE00は、原画像の画 値c00と参照画像の画素値x00とを入力し、そ 差分絶対値S00=|c00-x00|を算出する。

 次のサイクル2では、PE00は、参照画像の 素値x10を入力し、その差分絶対値和S01=|c00-x1 0|を算出する。PE10は、PE00がサイクル1で算出 た値S00に、原画像の画素値c10と参照画像の 素値x10との差分絶対値を加算した値S10を算 する。

 次のサイクル3では、PE00は、参照画像の 素値x20を入力し、その差分絶対値和S02=|c00-x2 0|を算出する。PE10は、PE00がサイクル2で算出 た値S01に、原画像の画素値c10と参照画像の 素値x20との差分絶対値を加算した値S11を算 する。PE20は、PE10がサイクル2で算出した値S 10に、原画像の画素値c20と参照画像の画素値x 20との差分絶対値を加算した値S20を算出する

 以上のように、各PE00~PE31がパイプライン に演算を実行していくと、PEアレイ40の出力 端子ADOUTから、最初にc00~c31とx00~x31との差分 対値和が出力され、次のサイクルでは、c00~c 31とx10~x41との差分絶対値和が出力され、次の サイクルでは、c00~c31とx20~x51との差分絶対値 が出力されるというように、各サイクルご に動きベクトルの探索範囲内における差分 対値和が順次出力されることになる(詳しく は、非特許文献1、2および特許文献1、2参照)

 図11は、PEアレイ40のタイミングチャート 示している。図11において、HOLDMBは、各PE00~ PE31に対し原画像入力データSMBを保持し、演 を開始することを指示する起動信号、CLKは ロック、HOLDSELは参照画像切替制御入力信号 表す。図11では、参照画像の画素値を、参 画像の画素座標(x,y)で表している。例えば(0, 0)が図10に示す画素値x00に相当する。PEアレイ 40には、参照画像の各画素値が順次供給され が、参照画像メモリからの画素値の読み出 は、メモリへの画素の格納方法の都合上や モリアクセスの回数を減らすために、通常 複数画素まとめて行われる。図11では、CLK0 、参照画像の画素値(0,0)~(6,0)と、(0,1)~(6,1)が 参照画像メモリから同時に入力され、CLK8で 、参照画像の画素値(0,2)~(6,2)と、(0,3)~(6,3)が 照画像メモリから同時に入力される例を示 ている。

 CLK0で読み込んだ7画素×2のデータは、CLK1 らの7クロックで最初の7画素がPEアレイ40に 次供給され、CLK5からの7クロックで別の7画 がPEアレイ40に順次供給される。CLK9のとき 、探索原点位置座標(0,0)での差分絶対値累算 結果が出力されることになる。CLK10では、探 原点位置座標(1,0)での差分絶対値累算結果 出力される。

 図12は、参照画像メモリからのリードタ ミングを示している。前述のように、最初 サイクルでは、7画素×2のデータが参照画像 モリから読み出されるが、2つのデータを同 じメモリバンクから同時に読み出すことがで きないので、例えば画像のラインごとに、Ban k0、Bank1、Bank2、Bank0、…というように、デー を各バンクに分けて格納している。これに りバンク競合を避けて、例えばBank0とBank1の データを同時に参照画像メモリから読み出す ことができるようにしている。

 以上のような参照画像メモリからの読み し機構を備えた動き探索装置において、参 画像の探索範囲における最下ラインから次 動き探索のために最上ラインに移る場合に 、PEアレイ40における演算時間に空きが生じ ないようにするためには、一度に7画素×3の ータ、すなわち最下ラインのデータを読み すとともに、最上2ラインのデータを同時に み出す必要がある。図12におけるサイクル32 のときの読み出しが、それに当たる。すなわ ち、サイクル32では、先頭が(0,8)の最下ライ 1本と、先頭が(4,0)と(4,1)の2本の最上ライン データを同時に読み出す必要がある。ここ は、探索範囲のライン数が奇数の場合の例 説明するが、偶数の場合も同様である。

 MPEG-2などの従来の画像符号化方式における き探索では、参照画像の参照位置が画面外 はみ出るような探索は行う必要がなかった め、最下ライン1本と最上ライン2本のデー を同時に読み出す場合でも、それぞれのバ クが異なり、バンク競合によるメモリ読み しの遅延の問題が生じることはなかった。
南俊宏、近藤利夫、村主一仁、笠井良太 、"1次元シストリックアレー型全探索動きベ トル検出器の提案"、電子情報通信学会論文 誌D-I,Vol.J78-D-I, No.12, pp.913-925, 1995年12月。 南俊宏、長沼次郎、"テレスコピック探 に適した動きベクトル検出器構成方法の提 "、電子情報通信学会論文誌D-II,Vol.J87-D-II, No .11, pp.2007-2024,  2004年11月。

特許第3127980号公報

特開2005-136455号公報

 図13A~13Cは、動きベクトルを検出する探索 範囲を示す図である。動き探索は、図13Aに示 す原画像200における符号化対象ブロック201に 最も近い画素値群を持つ参照画像100の位置を 探し出すために、参照画像100における、例え ば符号化対象ブロックの座標位置を探索中心 101として、あらかじめ決められた大きさの探 索範囲102から、符号化対象ブロックのサイズ の画素値群を少しずつずらしながら順次切り 出し、符号化対象ブロック201の画素値との差 分絶対値和(SAD)を算出していく。探索範囲102 で算出した差分絶対値をもとに動き評価を い、動きベクトルを決定する。

 例えばH.264符号化方式では、この動き探 を参照画像100の外まで拡張して行うことが きるように定められている。すなわち、H.264 は、図13Bに示すように、符号化対象ブロック 201の位置が原画像200の画像端部に近い位置に ある場合、探索範囲102は、参照画像100の外側 まで広がる仕様になっている。このとき、参 照画像100における画面外における画素値は、 図13Cに示すように、画面上の外側に対しては 、参照画像100の最上段の画素値がコピーされ た値を用い、画面左の外側に対しては、参照 画像100の最左端の列の画素値がコピーされた 値が用いられるようになっている。参照画像 100の最下段、最右端についても同様である。

 図13Cに示したような画面外への画素値を ピーした値を用いた場合の動き探索を、図9 Aに示したPEアレイ40を用いて行うときの最も 単な対処方法としては、1参照画像分の参照 画像メモリのサイズを参照画像のサイズより も画面外の探索範囲分だけ大きく取っておき 、参照画像の格納時にあらかじめ画面外の画 素値を画面端部の画素値と同じ値に設定して おく方法が考えられる。しかし、この方法は 、参照画像メモリのハードウェア量が余分に 必要になるという問題がある。

 他の方法としては、参照画像メモリから 画素値の読み出し時に、探索範囲が画面外 あれば、画面端部の画素値を読み出す方法 ある。しかし、この方法は、以下で説明す ようなバンク競合の問題が発生する。

 図14A、Bは、メモリバンク構成と画面外画 素リード時のバンク競合の問題を説明する図 である。図14A、Bにおいて、LAXはX方向の論理 ドレス、LAYはY方向の論理アドレスを示す。 また、#0、#1、…、#5は、メモリバンクのバン ク番号を表している。メモリバンクのバンク 番号が異なる場合には、同時にデータをリー ドすることができるが、バンク番号が同じ場 所からのデータは、バンク競合によって同時 にリードすることができない。

 図14Aに示すように、動きの探索範囲が画 内の場合には、探索範囲の最下ラインから 上ラインへ探索を移す場合に、同時に読み すデータは太枠で示されるバンク番号が#2 最下ラインと、バンク番号が#0(および#3)と#1 (および#4)の2本の最上位ラインであり、バン 競合が生じることはない。これは、従来技 と同様である。

 しかしながら、動きの探索範囲が、例え 図14Bに示すように上画面外であった場合に 、探索範囲の最下ラインから最上ラインへ 索を移す場合に、画面外では画面端部の画 値をコピーした値を用いる必要があるため LAY=8の最下ラインと、LAY=0およびLAY=1の2本の 最上位ラインのデータとを読み出す代わりに 、LAY=8の最下ラインと、LAY=5の画面端部のラ ンのデータを読み出すことになる。しかし 図から明らかであるように、LAY=8のラインも LAY=5のラインもバンク番号は#0であり、同じ あるためバンク競合が生じ、これらのデー を同時に読み出すことはできない。

 この問題を解決するために、メモリのバ ク数を増やすのは、メモリバンク構成が複 になり、また、一方のデータの読み出しを 方のデータの読み出しが終了するまで待た るのは、PEアレイ40におけるパイプライン処 理の流れに乱れが生じ、演算時間が長くなる という問題がある。

 例えばバンク競合によって、競合する一 のデータの読み出しに8サイクル分余計な時 間がかかるとすると、おおよその試算で約25% のオーバーヘッドとなる。これは、バンク競 合がない場合、縦の全9ラインを4回分の読み しの時間で読んでいると考えることができ のに対し、バンク競合があると、最後の1ラ インと最上2ラインとを同時に読むことがで ないので、縦の全9ラインを読むのに5回分の 時間がかかることになるからである。

 以上の問題点をまとめて説明すると以下 とおりである。動きベクトル検出を図9Aに すようなPEアレイ(シストリックアレイ)40を いて構成する場合、参照画像の画素を複数 イン同時に読む必要がある。このため、同 に読む可能性のあるラインは、メモリ上の のバンクに割り当てておく必要があった。

 この方式を、画面外動きベクトルが許容 れているH.264等に適用するためには、画面 画素(画素値は境界画素の値)を余分にメモリ に格納しておく必要があった。そのため、メ モリのハードウェア量が増加するという問題 があった。しかし、画面外画素を格納するた めのメモリを持たない場合、シストリックア レイの読み出しパターンが画面外画素を含む ときに不規則となり、図14Bに示すようにバン ク競合が発生して、高速な演算ができなくな るという問題があった。

 本発明は上記問題点の解決を図り、画面 画素の格納用のメモリを増やすことなく、 つ、バンク競合が発生しないような動き探 装置を提供することを目的とする。

 本発明では、複数のプロセッサエレメン (PE)により並列に演算を実行するPEアレイを いる動き探索において、符号化対象ブロッ との差分絶対値和の算出に用いる参照画像 画素群の最上のラインが画面外の場合には 画面内での最上のラインを読み出すことと 、さらに探索範囲の最下ラインと、次の探 範囲の最上ラインとを同時に読み出すとき バンク競合を回避するために、最下ライン け直前のラインの読み出しと同時に先行し 読み出すようにし、読み出しタイミングを める。先行して読み出した最下ラインのデ タは、シフトレジスタ等のデータ保持回路 保持しておき、PEアレイが演算に必要にな た時点でデータ保持回路から供給する。

 また、探索範囲の画素が参照画像の水平 向の画面外である場合には、ライン読み出 後に、画面端の画素値をコピーする。なお 垂直方向の下が画面外であるときには、す に読んでいる画面端ラインをコピーしてそ まま使用することができる。

 具体的には、本発明は、複数のプロセッ エレメントにより並列に演算を実行するこ によって原画像と参照画像との差分絶対値 を算出するPEアレイ部と、動き探索の対象 なる参照画像の画素データを記憶するメモ と、前記メモリから参照画像の画素データ 読み出すメモリリード部と、前記メモリか 読み出した画素データを並び替えて前記PEア レイ部への入力とする画素並び替え部と、前 記PEアレイ部によって算出された差分絶対値 をもとに参照画像の所定の探索範囲におけ 動きベクトルを検出し評価する評価部と、 れらの各部による動き探索を制御する制御 とを備えた動画像符号化における動き探索 置において、前記メモリリード部は、前記P Eアレイ部に同時に入力させる複数ラインの 素データが、前記メモリにおける同一バン に格納されているときに、その複数ライン 画素データの前記メモリからの読み出しタ ミングをライン単位でずらし、前記PEアレイ 部への入力に必要なタイミングよりも早いタ イミングで画素データを読み出す制御を行う 競合バンク先行読み出し制御部を備え、前記 画素並び替え部は、前記メモリリード部によ って前記PEアレイ部への入力に必要なタイミ グよりも早いタイミングで読み出されたラ ンの画素データを、前記PEアレイ部への入 タイミングまで保持する読み込みデータ保 回路を備えることを特徴とする。

 また、上記発明において、前記画素並び え部は、動き探索範囲の領域が参照画像の 直方向の画面外の領域である場合に、画面 の領域の画素データとして参照画像におけ 画面境界部のラインの画素データをコピー て前記PEアレイ部に対する入力とする垂直 向コピー部を備えることを特徴とする。

 またさらに、上記発明において、前記画 並び替え部は、動き探索範囲の領域が参照 像の水平方向の画面外の領域である場合に 画面外の領域の画素データとして参照画像 おける同じラインの画面境界部の画素デー を水平方向にコピーして前記PEアレイ部に する入力とする水平方向コピー部を備える とを特徴とする。

 本発明によれば、PEアレイを用いて行う き探索において、画面外動きベクトルにつ ても検出が可能になる。特に、画面外(垂直 向)用のメモリを持つ必要がなく、また、画 面外(水平方向)用のメモリも持つ必要がない また、メモリバンクのバンク数を増やすこ なく、バンク競合を回避することができる うになる。

本発明の概要を説明する図である。 本発明の概要を説明する図である。 本実施の形態に係る動き探索装置の全 構成図である。 メモリリード部の詳細構成図である。 画素並び替え部の詳細構成図である。 水平方向コピー部が行う画素値のコピ ーのし方を説明する図である。 水平方向コピー部が行う画素値のコピ ーのし方を説明する図である。 水平方向コピー部の回路構成例を示す である。 垂直方向コピー部の回路構成例を示す である。 本実施の形態におけるメモリからの参 画像データのリードタイミングを示す図で る。 従来の動き探索装置におけるPEアレイ 構成例を示す図である。 PEの構成例を示す図である。 PEアレイの動作を説明する図である。 PEアレイの動作を説明する図である。 PEアレイの動作を説明する図である。 PEアレイのタイミングチャートを示す である。 参照画像メモリからのリードタイミン グを示す図である。 動きベクトルを検出する探索範囲を す図である。 動きベクトルを検出する探索範囲を す図である。 動きベクトルを検出する探索範囲を す図である。 メモリバンク構成と画面外画素リー 時のバンク競合の問題を説明する図である メモリバンク構成と画面外画素リー 時のバンク競合の問題を説明する図である

符号の説明

  1 メモリリード部
  2 画素並び替え部
  3 メモリ
  4 PEアレイ部
  5 評価部
  6 制御部
 10 競合バンク先行読み出し制御部
 11 論理アドレス生成部
 12 画面外判定部
 13 論理アドレス/実アドレス変換部
 14 メモリアクセス部
 20 読み込みデータ保持回路
 21 水平方向切り出し部
 22 水平方向コピー部
 23 パラレル/シリアル変換部
 24 垂直方向コピー部
 25 垂直方向並び替え部
 30 参照画像メモリ

 図1A、1Bは、本発明の実施の形態の概要を 説明する図である。図1Aに示す参照画像メモ 30において、探索範囲の最下ラインのデー Data3がメモリのバンクaにあり、次の探索範 の最上ラインのデータData1およびData2が、そ ぞれバンクa、バンクbにあったとする。こ らのデータをPEアレイ部4に供給するために 参照画像メモリ30から同時に読み出そうとす ると、Data1とData3とが同じバンクaに存在する め、バンク競合が生じる。

 そこで、図1Bに示すメモリリード部1の競 バンク先行読み出し制御部10は、画面外の 索範囲における動きベクトルを検出すると に、探索範囲の最下ラインと最上の2ライン の間でバンク競合が生じる場合には、最下 インのデータData3の読み出しを、直前のラ ンの読み出しと同時に先行して読み出すよ に制御する。

 画素並び替え部2は、メモリ3から読み出 た画素データを、PEアレイ部4における演算 序に従って並び替えて、PEアレイ部4に供給 る。特に、先行して読み出した最下ライン データData3を、読み込みデータ保持回路20に 持し、PEアレイ部4の入力が必要になった時 で、PEアレイ部4に供給する。

 また、画素並び替え部2における水平方向 コピー部22は、水平方向の画面外の探索範囲 おける動きベクトルを検出するときに、画 端の画素値をコピーしてPEアレイ部4に供給 る。垂直方向コピー部24は、探索範囲の領 が上画面外または下画面外のときに、画面 境界または画面下境界の画素値をコピーし PEアレイ部4に供給する。

 図2は本実施の形態に係る動き探索装置の 全体構成図である。また、図3はメモリリー 部1の詳細構成図、図4は画素並び替え部2の 細構成図である。

 メモリリード部1および画素並び替え部2 外の各部は、従来のシストリックアレイを いた動き探索装置の構成と同様である。メ リ3は、原画像および参照画像の画素データ 記憶する。なお、原画像の画素データにつ ては別のメモリに記憶され、入力端子から 力されるようになっていてもよい。PEアレ 部4は、図9A、9Bで説明したような複数のプロ セッサエレメント(PE)と、セレクタや加算回 、レジスタ等からなるPEアレイ40を、符号化 象ブロックのサイズに応じて複数個用いて 成される。評価部5は、PEアレイ部4の出力で ある差分絶対値和(SAD:Sum of Absolute Difference) および動きベクトルMVと予測動きベクトルPM Vとの差分などの符号化のコスト情報から、 きベクトルを評価し、評価結果を制御部6に す。

 制御部6は、プログラム制御により動き探 索装置の全体の制御を行う。メモリリード部 1に対しては、制御部6は、探索する領域(中心 動きベクトルMV)を指定して探索の開始を指示 する。メモリリード部1は、探索範囲を示す 理アドレスを、メモリ3における実アドレス 変換し、メモリ3に対するリード要求を行う 。また、探索範囲が画面外かどうかのチェッ クを行い、画面外の場合には、その画面外情 報を画素並び替え部2に通知する。画素並び え部2は、メモリ3から読み出された画素デー タの切り出しおよび並び替えを行い、PEアレ 部4に供給する。

 メモリリード部1は、図3に示すように、 理アドレス生成部11、画面外判定部12、論理 ドレス/実アドレス変換部13、メモリアクセ 部14から構成される。論理アドレス生成部11 および論理アドレス/実アドレス変換部13につ いては、従来の装置と同様である。論理アド レス生成部11は、制御部6から指定された探索 する領域を指定する中心動きベクトルMVの情 から、図14A、14Bに示すような探索範囲の相 的なアドレスを示す論理アドレスLAX、LAYを 成する。

 画面外判定部12は、論理アドレス生成部11 が生成した論理アドレスが参照画像の画面内 であるか画面外であるかを判定し、画面外で ある場合には、画面外情報をメモリアクセス 部14および画素並び替え部2へ送る。論理アド レス/実アドレス変換部13は、論理アドレス生 成部11が生成した論理アドレスを、メモリ3に おける実際の画素データが格納されている実 アドレスに変換する処理を行う。この論理ア ドレスから実アドレスへの変換は、メモリ3 の参照画像の格納時に、参照画像の先頭実 ドレスを記憶しておくことにより、容易に うことができる。なお、制御部6から事前に 知された原画像における符号化対象ブロッ のアドレスについても、実アドレスへの変 が行われる。

 変換された実アドレスは、メモリアクセ 部14へ送られ、メモリアクセス部14は、図8 従って後述するタイミングで、メモリ3に対 るリード要求を送出する。特に、競合バン 先行読み出し制御部10は、探索範囲が上画 外を含む場合に、図1で説明したバンク競合 避けるためのアクセス制御を行う。

 画素並び替え部2は、図4に示すように、 平方向(X方向)切り出し部21と、水平方向コピ ー部22と、パラレル/シリアル変換部23と、垂 方向(Y方向)コピー部24と、垂直方向並び替 部25とを備える。このうち、水平方向切り出 し部21、パラレル/シリアル変換部23、垂直方 並び替え部25については、従来の装置と同 である。

 メモリ3から画素並び替え部2に読み出さ るデータは、1ラインにつき16画素のデータ 含む。そこで、水平方向切り出し部21は、読 み出したデータの中から、動き探索に必要に なる8画素×3ラインのデータを切り出す。

 水平方向コピー部22は、画面外判定部12か ら通知された画面外情報をもとに、水平方向 の画面外動きベクトルを検出する演算を行う 場合に、画面外の画素データとして画面境界 (画面端)の画素値をコピーする処理を行う。

 図5A、5Bは、水平方向コピー部22が行う画 値のコピーのし方を説明する図である。図5 A、5Bにおいて、EILRFLGは左右領域フラグであ 、これが"00"の場合、探索領域がすべて画面 に存在し、"10"の場合、画面端が左側に存在 し、"01"の場合、画面端が右側に存在するこ を示す。EIXLVALは左画面端からのX方向の距離 であり、EIXRVALは右画面端からのX方向の距離 ある。D0~D7は画素値のデータであり、MSBは8 素のデータ列の最上位側のデータ、LSBは最 位側のデータを示している。

 水平方向コピー部22は、画面外情報とし EILRFLG、EIXLVAL、EIXRVAL等の情報を画面外判定 12から受けると、その値に応じて、EILRFLG=10 場合には、図5Aの(A1)、(A2)に示すようなX方向 の画素値のコピーを行い、EILRFLG=01の場合に 、図5Bの(B1)、(B2)に示すようなX方向の画素値 のコピーを行う。

 図6は、水平方向コピー部22の回路構成例 示している。図6において、EDI0~EDI7は、それ ぞれ図5A、5Bに示すD0~D7の画素値の入力データ である。また、XEIXCPO0~XEIXCPO7は、それぞれX方 向画素コピー処理データ0~X方向画素コピー処 理データ7であり、画面端のデータが図5に示 たように画面外にコピーされた結果の出力 ータである。

 水平方向コピー部22では、EILRFLG、EIXLVAL、 EIXRVALの入力信号によって、画素値の入力デ タEDI0~EDI7を、図6に示すセレクタで選択する とにより、図5A、5Bに示すX方向のデータの ピーを行う。

 図4に示すパラレル/シリアル変換部23は、 水平方向コピー部22の出力する8画素×3ライン の画素データを、各ラインについて1画素ず 順番に切り出し、1画素×3ラインの画素デー に変換して出力する。

 垂直方向コピー部24は、探索範囲の領域 上画面外または下画面外のときに、画面上 界または画面下境界の画素値をコピーする 理を行う。

 図7は、垂直方向コピー部24の回路構成例 示す。図7において、EDI0~EDI2は、3ラインの 力データ0~3である。EIUDFLGは、画面の上側で るか下側であるかを示す上下領域フラグで り、画面外情報として画面外判定部12から け取る信号である。このフラグが"00"の場合 は画面内であることを示す。EIYSFTSELは、入 データY方向シフト制御信号であり、入力デ ータを垂直方向(Y方向)へのコピーのためにシ フトするかどうかを示す。EITRGはメモリリー イネーブル信号であり、メモリ3からデータ を読み取ったタイミングを示す。

 また、XEIYCPO0~XEIYCPO2は、3ライン分のY方向 画素コピー処理データ出力0~2であり、通常の 探索では、このうち2ラインのデータが用い れるが、探索範囲の最下ラインから次の探 範囲の最上ラインに移るような場合には、3 インのデータが出力される。

 タイミング生成回路241は、読み込みデー 保持回路20へのデータの保持を制御する回 である。読み込みデータ保持回路20は、図1A 1Bで説明したように、先行して読み出した 下ラインのデータを8サイクル分保持し、8サ イクルだけ遅延させて出力する。読み込みデ ータ保持回路20は、例えば8段のシフトレジス タで構成され、タイミング生成回路241のシフ トイネーブル信号によって、あらかじめ読ん でおいた探索範囲の最下ラインのデータを8 イクル分遅延させる。

 垂直方向並び替え部25は、垂直方向コピ 部24の出力する1画素×3ラインの画素データ 並び替えて、PEアレイ部4にデータを出力す 。垂直方向並び替え部25による画素データの 並び替えの処理は、MPEG-2等で用いられていた 従来の動き探索装置における並び替えの処理 と同様である。

 図8は、本実施の形態におけるメモリ3か の参照画像データのリードタイミングを示 ている。

 本実施の形態におけるサイクル24(CLK24)ま のデータの読み出し、およびPEアレイへの ータの供給タイミングは、図12で説明した従 来の動き探索装置のタイミングと同様である 。図12に示す従来装置では、サイクル24にお て、バンク番号が#0の(0,6)から(6,6)までと、 ンク番号#1の(0,7)から(6,7)までの2ラインの画 データを同時に読み出し、次の8サイクル目 のサイクル32では、最下ラインであるバンク 号が#2の(0,8)から(6,8)までと、最上ラインの ンク番号が#0および#3の(4,0)から(10,0)までと 次の最上ラインのバンク番号が#1および#4の (4,1)から(10,1)までの合計3ラインの画素データ を同時に読み出していた。これは、サイクル 32目以降の読み出しでバンク競合が生じなか たからである。

 これに対し、本実施の形態では、従来装 と同じ読み出しタイミングでは特に画面外 探索するときにメモリアクセスが不規則と り、それによってバンク競合が生じること あるため、次のように読み出す。サイクル2 4において、バンク番号が#0の(0,6)から(6,6)ま と、バンク番号#1の(0,7)から(6,7)までの2ライ の画素データを読み出すと同時に、最下ラ ンであるバンク番号が#2の(0,8)から(6,8)まで 画素データについて読み出す。この最下ラ ンの読み出した画素データについては、8サ イクル後にPEアレイに出力するため、読み込 データ保持回路20にデータを保持しておく

 次の8サイクル目のサイクル32では、メモ 3から最上ラインのバンク番号が#0および#3 (4,0)から(10,0)までと、次の最上ラインのバン ク番号が#1および#4の(4,1)から(10,1)までの2ラ ンの画素データを同時に読み出し、PEアレイ に対しては、(4,0)から(10,0)までの画素データ (0,8)から(6,8)までの画素データとを、各サイ クルごとに画素単位で出力していく。サイク ル36になったときには、さらに(4,1)から(10,1) でのラインの画素データをPEアレイに出力し ていく。

 以上のように読み出しのタイミングを変 することによって、最上ラインが画面外の 合で、メモリアクセスが不規則となり、直 の最下ラインのバンクである#2のバンク読 出しが発生しても、直前の最下ラインはす に前に読み出しているので、バンク競合が じることはない。

 以上説明した動き探索装置は、LSIによっ 構成することができる。

 本国際出願は、2007年9月13日に出願された 日本国特許出願第2007-237534号に基づく優先権 主張するものであり、その全内容を本国際 願に援用する。