次に本発明について図面を参照して説明� ��る。

 図1は本発明のエンコーダシステムの一構 成例を示すブロック図である。

 図1に示すように、本発明のエンコーダシ ステムは、イメージセンサ1及びJPEG2000エンコ ーダ10を有する構成である。

 JPEG2000エンコーダ10は、フレームメモリ制 御部2、タイルバッファメモリ3、ウェーブレ� ��ト(wavelet)変換部4、係数ビットモデリング部 5、算術符号化部6及びフレームメモリ7を備え ている。

 イメージセンサ1には、例えばラインセン サ方式が用いられ、1画素あたりNビットの分� ��能を持つ画像データ(グレースケールデータ )が出力される。イメージセンサ1から出力さ� ��た画像データは、フレームメモリ制御部2に よってフレームメモリ7に格納される。

 フレームメモリ制御部2は、フレームメモ リ7に対する画像データの書き込み処理及び� �み出し処理を制御する。本実施形態のフレ� �ムメモリ制御部2は、複数のタイルにまたが� ��ライン単位でイメージセンサ1から出力され た画像データをフレームメモリ7に書き込む� �共に、フレームメモリ7からタイル単位で画� ��データを読み出し、読み出した画像データ� ��タイルバッファ3に格納する。

 タイルバッファメモリ3は、ウェーブレッ ト変換部4による処理のためにフレームメモ� �7から画像データを読み出す際に用いるバッ� ��ァメモリである。フレームメモリ制御部2に よってフレームメモリ7から読み出された画� �データはタイルバッファメモリ3で一旦保持� ��れた後、ウェーブレット変換部4へ転送され る。なお、フレームメモリ7に対するアクセ� �速度を重視する場合はタイルバッファメモ� �3を上述したダブルバッファ構成としてもよ� ��。

 ウェーブレット変換部4は、タイルバッフ ァメモリ3からタイル単位で画像データを読� �出し、該画像データをウェーブレット変換� �た後、その処理したデータを係数ビットモ� �リング部5へ出力する。

 係数ビットモデリング部5は、ウェーブレ ット変換部4から出力されたデータに周知の� �数ビットモデリング処理を施し、算術符号� �部6へ出力する。

 算術符号化6は、係数ビットモデリング部 5から出力されたデータを算術符号化し、符� �データとして出力する。

 ウェーブレット変換部4、係数ビットモデ リング部5及び算術符号化6は、JPEG2000の符号� �処理を実現するためのものであり、当業者� �知られた構成であるため、ここでは詳細な� �明は省略する。

 フレームメモリ7は、イメージセンサ1か� �出力された画像データが一時的に格納され� �メモリである。本発明のエンコーダシステ� �では、フレームメモリ7に、複数タイル分の� ��ータ容量を備えた、1フレーム分の画像デー タが格納される画像データバッファ71と、次� ��フレームの1タイルのデータ量に相当する複 数のラインの画像データが格納されるメモリ 領域である図3に示される次フレーム用バッ� �ァ72と、前のフレームから最後に読み出され たタイルの画像データが格納される図3に示� �れる一時待機バッファ73とを備えている。こ のような構成では、次フレーム用バッファ72� ��次のフレームの先頭の1タイル分のデータ量 に相当する複数ラインの画像データが格納さ れるため、画像データバッファ71に次のフレ� ��ムの画像データを格納するとき、1フレーム 分の画像データの書き込み期間だけアクセス されないメモリ領域が発生する。一時待機バ ッファ73は、このアクセスされない期間が発� ��するメモリ領域であり、次のフレームの最� ��に読み出されるタイルの画像データが格納� ��れる。

 このように本発明のエンコーダシステム� ��は、フレームメモリ7に、1フレームの画像� �ータを格納するための画像データバッファ71 以外に2タイル相当量の画像データを一時的� �保持するためのバッファ(次フレーム用バッ� ��ァ72及び一時待機バッファ73)を備えている� �但し、実際に次フレーム用バッファ72として 用いるのは1タイル相当量の画像データを保� �するメモリ空間だけであり、残りの1タイル� ��当量のバッファが一時待機バッファ73とし� �用いられる。

 上述したように、従来のエンコーダシス� ��ムは、フレームメモリがダブルバッファ構� ��であるため、一方のバッファメモリに格納� ��れた1フレーム分の画像データをウェーブレ ット変換部4、係数ビットモデリング部5及び� ��術符号化部6にて処理すると共に、他方のバ ッファメモリへ次のフレームの画像データを 書き込むことが可能である。一方、本実施形 態のエンコーダシステムでは、フレームメモ リ7からタイルバッファメモリ3にタイル単位� ��画像データが読み出される度に、該画像デ� ��タが読み出されたフレームメモリ7のメモリ 領域へイメージセンサ1から出力された次の� �レームの1タイル相当量の画像データを格納� ��る。また、本発明のエンコーダシステムは� ��図2に示すようにフレームメモリ制御部2に� �レームメモリ7のメモリマップを2種類(第1状� ��、第2状態)備え、フレームメモリ7から1フレ ーム分の画像データを読み出すときとフレー ムメモリ7に次のフレームの画像データを書� �込むときでメモリマップを切り替える。例� �ば、図2に示す第1状態のメモリマップを用い てフレームメモリ7から画像データを読み出� �場合は、フレームメモリ7から1フレーム分の 画像データをタイル単位で読み出しつつ、図 2に示す第2状態のメモリマップを用いて次の� ��レームの画像データを複数タイルにまたが� ��ライン単位でフレームメモリ7に格納する。 また、図2に示す第2状態のメモリマップを用� ��てフレームメモリ7から画像データを読み出 す場合は、フレームメモリ7から1フレーム分� ��画像データをタイル単位で読み出しつつ、� ��2に示す第1状態のメモリマップを用いて次� �フレームの画像データを複数タイルにまた� �るライン単位でフレームメモリ7に格納する� ��

 図2は1フレームが8つのタイルで構成され� ��いるときの2つの状態のメモリマップをそれ ぞれ示している。図2に示すメモリマップを� �照することで、1フレームの画像データのう� ��、ある画素データがどのアドレス領域に格� ��されるかを2つの状態のメモリマップを用い ることで知ることが可能である。また、図3� �本発明のエンコーダシステムのメモリアク� �スの手順を示す模式図である。図2において� ��形形状で示される各アドレス領域(以下、メ モリブロックと称す)の左側の表記は、図4に� ��けるアドレス領域へのアクセスの対応を示� ��ためのラベルである。

 次に、本発明のエンコーダシステムの動� ��について、図2、図3および図4を用いて説明� ��る。

 以下では、1タイルの大きさを128画素×128� ��インとし、1フレームが8タイルで構成され� �フレームメモリ7の1つのアドレス領域に対し て2画素分の画像データが格納される場合を� �にして本発明のエンコーダシステムの動作� �説明する。

 本発明のエンコーダシステムは、フレー� ��メモリ制御部2に、図2に示す第1状態及び第2 状態のフレームメモリ7のメモリマップを備� �、画像データの読み出しまたは書き込みに� �じて第1状態または第2状態のメモリマップを 使い分ける。ここでは、メモリマップを使い 分けるアドレス空間の最小単位を400hとし、� �のアドレス空間に128画素×16ラインの画像デ� ��タを1アドレスあたり2画素分のデータを割� �当てて格納する場合を説明する。

 図2および図3の矩形形状で示す各領域は� �128画素×16ラインの画像データを1アドレスあ たり2画素分のデータを割り当てて格納可能� �アドレス空間400hを示している。図3に示す各 メモリブロックに記載されたアドレス領域は 図2に示した第1状態及び第2状態のメモリマッ プに対応している。各メモリブロックには、 128画素×16ラインの画像データが書き込まれ� �。但し、アドレス0FC00h-0FFFFhのメモリブロッ� ��は、画像データの書き込み及び読み出しが� ��われない不使用領域である。

 図2のメモリブロック内には、フレームの 先頭ラインの番号を「1」としたときの各ラ� �ンの番号が記載され、それに続く括弧内に� �8つのタイルで構成されるフレームの先頭タ� ��ルの番号を「1」としたときの各タイルの番 号が記載されている。例えば、"ライン65-80(2/ 8)"と記載されたメモリブロックには、ライン 番号が65から80までのラインの画像データの� �ち、第2番目のタイルの画像データが格納さ� ��ることを示している。

 以下では、第1状態のメモリマップを使用 してフレームメモリ7に1フレーム分の画像デ� ��タを書き込み後にタイル単位で読み出し、� ��2状態のメモリマップを使用して次のフレー ムの画像データをフレームメモリ7に格納し� �から読み出す動作を繰り返す手法について� �明する。

 まず、フレームメモリ制御部2は、第1状� �のメモリマップを用いて1024画素×128ライン� �構成される1フレーム分の画像データを図3に 示す画像データバッファ71に格納する。

 このとき、図2の第1状態のメモリマップ� �おいては、まずライン1からライン16までの� �像データはアドレス10000hから11CFFhのメモリ� �間に割り当てられ、その後の17ライン以降の 画像データはアドレス00000hから0FBFFhまでのメ モリ空間に規則的に割り当てられる。ライン 1からライン128までの全ての画像データがメ� �リ内に格納された状態が、1フレームの画像� ��ータが全てフレームメモリ7に格納された状 態である。

 このとき、アドレス01C00hから01FFFh、03C00h� ��ら03FFFh、05C00hから05FFFh、07C00hから07FFFh、09C0 0hから09FFFh、0BC00hから0BFFFh、0DC00hから0DFFFh、0 FC00hから0FFFFhまでのメモリブロックは、第1状 態のメモリマップでは何も格納されないメモ リ領域であり、本明細書では便宜的に一時待 機バッファと呼ぶ(図2、図3)。特にアドレス0F C00hから0FFFFhのメモリブロックについては後� �する第2状態でも使用されない不使用領域で� ��る。

 次に、次フレームのデータが休むことな� ��入力される場合を考える。

 このとき、先にフレームメモリ7に書き込 まれたフレームの画像データは、読み出され ていない状態または読み出し中の状態にある 。また、第1状態のアドレス12000hから13FFFhま� �の各メモリブロックは何も画像データが格� �されていない領域であり、16ライン相当量(=1 タイル相当量)の画像データが格納可能であ� �。

 そのため、メモリマップを第1状態から第 2状態に切り替えてから、上記アドレス12000h� �ら13FFFhまでの各メモリブロック(アドレス1200 0h-123FFh、12400h-127FFh、12800h-12BFFh、12C00h-12FFFh、 13000h-133FFh、13400h-137FFh、13800h-13BFFh及び13C00h-13 FFFh)に次のフレームの画像データの書き込み� ��開始すれば、ライン1からライン16までを休� ��ことなく画像データをフレームメモリ7に格 納することが可能である。

 このアドレス12000hから13FFFhまでの各メモ� ��ブロックは、1フレーム相当量よりも余分に 用意すべきメモリ空間であり、第1状態の空� �メモリ空間と見なすことが可能である。本� �細書ではこの空きメモリ空間を便宜的に第1� ��態の次フレームバッファと呼ぶ(図2、図3)。

 1フレームの画像データ格納後のフレーム メモリ7からの画像データの読み出しはタイ� �毎に行われる。すなわち、フレームメモリ7� ��における先頭画素(最初に書き込まれた画素 )を含むタイルをタイル1とし第1状態のメモリ マップを用いれば、タイル1とは、図2のメモ� ��ブロック内に"(1/8)"と記載されている8つの� �モリブロック(アドレス10000h-103FFh、00000h-003FF h、00400h-007FFh、00800h-00BFFh、00C00h-00FFFh、01000h-0 13FFh、01400h-017FFh、01800h-01BFFh)の組み合わせと� ��る。これらを全て読み出し、タイルバッフ� ��メモリ3に格納すると、アドレス00000hから01F FFhの間の各メモリブロックに書き込み可能と なる。

 すなわち、第1状態のメモリマップを用い て上記タイル1の画像データが読み出された� �き、同時にまたは若干遅れて次のフレーム� �ライン1からライン16までの画像データが第2� ��態のメモリマップを用いてアドレス12000hか� ��13FFFhまでの各メモリブロックに格納される� ��

 続いて、連続して格納すべきライン17か� �ライン32の画像データを、第1状態のメモリ� �ップを用いて読み出された、タイル1が格納� ��れていたメモリ領域と一時待機バッファが� ��える一部のメモリブロック(アドレス00000h-00 3FFh、00400h-007FFh、00800h-00BFFh、00C00h-00FFFh、01000 h-013FFh、01400h-017FFh、01800h-01BFFh、及びアドレ� �01C00h-01FFFh)に格納する。これと同時に第2番� �のタイルの画像データの読み出しを行う。

 第2番目のタイルの画像データを読み出し が終了すると、フレームメモリ制御部2は、� �2状態のメモリマップを用いて次のフレーム� ��ライン33~48の画像データを、開放されたタ� �ル(ここでは、アドレス02000h-023FFh、02400h-027FF h、02800h-02BFFh、02C00h-02FFFh、03000h-033FFh、03400h-0 37FFh、03800h-03BFFh)及び一時待機バッファ73(こ� �では、アドレス03C00h-03FFFh)へ格納する。

 以下、同様にして、フレームメモリ制御� ��2は、第1状態のメモリマップを用いて、タ� �ル単位で画像データバッファ71から画像デー タを読み出してタイルバッファメモリ3へ格� �し、タイルバッファメモリ3に画像データを� ��み出すことで開放されたメモリブロックに� ��第2状態のメモリマップを用いて次のフレー ムの画像データを16ライン単位でライン128ま� ��順次格納する。

 この第2状態のメモリマップを用いた画像 データの書き込み時、ライン17からライン128� ��画像データは、第1状態のメモリマップとは 異なる規則性をもって格納される。

 この異なる規則性によって、上述の第1状 態のメモリマップを用いた画像データの読み 出しと第2状態のメモリマップを用いた画像� �ータの書き込みの同時処理終了後に、連続� �て入力される次のフレームに対して、第2状� ��のメモリマップを用いた画像データの読み� ��しと第1状態のメモリマップを用いた画像デ ータの書き込みの同時処理を行うことが可能 となる。

 第2状態のメモリマップでは、次フレーム 用バッファ72がアドレス10000hから11FFFhまでの8 つのメモリブロックで構成され、一時待機バ ッファはアドレス0E000hから0FFFFhの各メモリブ ロックで構成される。特にアドレス0FC00hから 0FFFFhのメモリブロックについては第1状態の� �モリマップでも使用されない前述の不使用� �域である。

 第2状態のメモリマップを用いたフレーム 画像データの書き込みが終わり、同メモリマ ップを用いて画像データバッファ71からタイ� ��1の画像データを読み出す場合、次フレーム の1ラインから16ラインの格納には、次フレー ム用バッファ72としてアドレス10000h-103FFh、104 00h-107FFh、10800h-10BFFh、10C00h-10FFFh、11000h-113FFh� �11400h-117FFh、11800h-11BFFh及び11C00h-11FFFhのメモ� �ブロックが用いられ、次フレームの1ライン� ��ら16ラインの書き込みが行われる。

 タイル1の読み出し後にフレームメモリ制 御部2は、第1状態のメモリマップを用いて第2 番目のタイル(ここでは、アドレス10400h-107FFh� ��02000h-023FFh、02400h-027FFh、02800h-02BFFh、02C00h-02F FFh、03000h-033FFh、03400h-037FFh、03800h-03BFFh)の画� �データを読み出しタイルバッファメモリ3に� ��納すると共に、第2状態のメモリマップを用 いてフレームメモリ7に次のフレームのライ� �17~32の画像データを格納する。

 以降、同様にして1タイル単位の画像デー タの読み出しと、次のフレームの16ライン単� ��の画像データの書き込みが同時にまたは若� ��遅れて繰り返し実行される。

 以上の処理を繰り返すことで、データ消� ��なく連続フレームの画像データのフレーム� ��モリを介した転送が可能となる。

 このとき、ウェーブレット変換部4、係数 ビットモデリング部5及び算術符号化部6によ� ��1タイルの画像データに対する処理速度が十 分に速く、図4に示すようにフレームメモリ7� ��対する次のフレームの画像データの書込み� ��理よりもタイルバッファメモリ3への読出し 処理が速いことが、次のフレームの画像デー タをフレームメモリ7へ連続して書き込むた� �の条件となる。

 なお、図4は、第1状態のメモリマップを� �いてフレームメモリ7から画像データを読み� ��し、第2状態のメモリマップを用いて次のフ レームの画像データをフレームメモリ7に格� �する場合の書き込み処理及び読み出し処理� �様子を示している。各メモリブロック内の� �値は、図2の各メモリブロックの左側に示さ� ��るラベルに対応している。本実施形態のエ� ��コーダシステムでは、図1に示したウェーブ レット変換部4及び係数ビットモデリング部5� ��び算術符号化部6の処理速度が、イメージセ ンサ1から画像データが入力される速度より� �高速なときに、メモリ書き込みアドレスと� �モリ読み出しアドレスが衝突することなく� �連続して入力される画像データの符号化処� �が可能である。

 このように第1状態のメモリマップを用い てフレームメモリ7から画像データを読み出� �、第2状態のメモリマップを用いて次のフレ� ��ムの画像データを書き込むことで、連続す� ��フレームの画像データを書込み/読み出す場 合でも、同一のアドレス領域への書き込みは 必ず読み出された後に行われるため、タイル バッファメモリ3へ読み出す前にフレームメ� �リ7の画像データが上書きされることが無い� ��

 また、第1状態のメモリマップを用いた第 1番目のフレームの画像データのフレームメ� �リ7からの読み出し処理と第2状態のメモリマ ップを用いた第2番目のフレームの画像デー� �のフレームメモリ7への書き込み処理を同時� ��実行し、続いて第2状態のメモリマップを用 いた第2番目のフレームの画像データのフレ� �ムメモリ7からの読み出し処理と第1状態のメ モリマップを用いた第3番目のフレームの画� �データのフレームメモリ7への書き込み処理� ��同時に実行し、以降、同様にして連続して� ��力されるフレーム毎に2つのメモリマップを 切り替えつつ画像データの読み出しと書き込 みの同時処理を繰り返し実行することで、フ レームメモリ7に対するアクセス待ちが発生� �ることなく、連続して入力されるフレーム� �画像データに対する符号化処理を実行でき� �。

 また、1ラインの画素数が1024(8タイル)に� �たない場合は、第1状態のメモリマップに基� ��く先頭アドレスを10000hとするのではなく、� ��えば512画素の場合は、5番目のタイルの先頭 アドレス(11400h)から書き込みを開始すればよ� ��。このようにすることで、イメージセンサ1 のライン幅が8タイル未満の場合でも上記と� �様に処理すれば、タイルバッファメモリ3へ� ��み出す前にフレームメモリ7の画像データが 上書きされることが無い。

 さらに、上記説明では、フレームが水平� ��向及び垂直方向にそれぞれ8つのメモリブロ ックに分割された例を示しているが、本発明 は、フレームの水平方向及び垂直方向の分割 数をそれぞれ4、16、32、・・・等に設定して� ��よく、水平方向と垂直方向の分割数がそれ� ��れ等しければ上記と同様の効果を得ること� ��できる。その場合も、上述した第1状態のメ モリマップ及び第2状態のメモリマップをそ� �ぞれ生成し、それらのメモリマップをフレ� �ムメモリ7に対する画像データの読み出しま� ��は書き込みに応じて用いればよい。

 なお、第1状態及び第2状態のメモリマッ� �は、以下のように生成すればよい。

 まず、1フレームが水平方向に配列された M(Mは正の整数、例えばM=4、8、16、・・・)個� �タイルで構成され、さらに各タイルが垂直� �向にN(Nは正の整数)個に分割されて、ライン� ��が等しいラインブロック単位でメモリブロ� ��クに格納されるものとする。

 ここで、xをM+2以下の正の整数とし、yをN� ��下の正の整数として、各メモリブロックを� ��号{x,y}で表すとき、第1状態のメモリマップ� ��、メモリブロック{1,1}~{1,(N-1)}へ第1番目のタ イルに含まれる第2番目から第N番目のライン� ��ロックの画像データを格納し、メモリブロ� ��ク{2,1}~{2,(N-1)}へ第2番目のタイルに含まれる 第2番目から第N番目のラインブロックの画像� ��ータを格納し、・・・、メモリブロック{M,1 }~{M,(N-1)}へ第M番目のタイルに含まれる第2番� �から第N番目のラインブロックの画像データ� ��格納し、メモリブロック{(M+1),1}~{(M+1),N}へ第 1番目~第M番目のタイルに含まれるそれぞれの 第1番目のラインブロックの画像データを格� �するためのものである。

 但し、メモリブロック{(M+2),1}~{(M+2),N}は次 フレームバッファ72として用い、メモリブロ� ��ク{1,N}、{2,N}、・・・、{(M-1),N}は一時待機バ ッファ73として用いる。メモリブロック{M,N}� �不使用領域とする。

 一方、第2状態のメモリマップは、メモリ ブロック{1,1}~{1,N}へ第1番目~第M番目のタイル� ��含まれるそれぞれの第2番目のラインブロッ クの画像データを格納し、メモリブロック{2, 1}~{2,N}へ第1番目~第M番目のタイルに含まれる� ��れぞれの第3番目のラインブロックの画像デ ータを格納し、・・・、メモリブロック{(M-1) ,1}~{(M-1),N}へ第1番目~第M番目のタイルに含ま� �るそれぞれの第N番目のラインブロックの画� ��データを格納し、メモリブロック{(M+2),1}~{(M +2),N}へ第1番目~第M番目のタイルに含まれるそ れぞれの第1番目のラインブロックの画像デ� �タを格納するためのものである。

 但し、メモリブロック{(M+1),1}~{(M+1),N}は次 フレームバッファ72として用い、メモリブロ� ��ク{M,1}~{M,(N-1)}は一時待機バッファ73として� �いる。メモリブロック{M,N}は不使用領域とす る。

 このようにして生成した2つのメモリマッ プをフレーム毎に切り替える操作により、第 1状態のメモリマップを用いた読み出しと第2� ��態のメモリマップを用いた書き込みの同時� ��理と、第2状態のメモリマップを用いた読み 出しと第1状態のメモリマップを用いた書き� �みの同時処理とを実現する。なお、本発明� �は、上記M及びNを等しい値に設定する。

 本発明によれば、フレームメモリ制御部2 によってフレームメモリ7からタイル単位で� �号化のために画像データを読み出すと共に� �該画像データが読み出されたフレームメモ� �7のメモリ領域へ次のフレームの複数のライ� ��で構成される1タイル相当量の画像データを 格納するため、フレームメモリ7には、複数� �タイルで構成される1フレーム分の画像デー� ��を格納するためのメモリ領域に加えて、フ� ��ームメモリから画像データを読み出す前に� ��のフレームの1タイル相当量の画像データが 上書きされるのを防止するために必要な最低 限(2タイル分)のバッファを備えていればよい 。

 したがって、従来のエンコーダシステム� ��ように1フレームの画像データ量の2倍のメ� �リ容量を持つフレームメモリを用いること� �く、連続して入力される画像データの符号� �処理を途切れることなく実行できると共に� �フレームメモリのメモリ容量を低減するこ� �が可能になる。

 また、従来のエンコーダシステムでは、� ��ストの増大を考慮してフレームメモリ7をJPE Gエンコーダの外部に設ける場合があったが� �本発明ではフレームメモリ7のメモリ容量を� ��減できるため、フレームメモリ7を、JPEG2000� ��ンコーダ10を含むLSI等に実装することが可� �になる。また、フレームメモリ7をLSIの外部� ��設ける場合でも、より小さなメモリ容量の� ��レームメモリ7を用いることができるため、 エンコーダシステムのコストを低減できる。 例えば、従来は16タイル分のメモリ容量が必� ��であったフレームメモリ7が、本発明では10� ��イル分の容量で済むため、メモリ容量が37.5 %削減される。

 本発明のエンコーダシステムでは、例え� ��1タイルの大きさを128画素×128ラインとし、1 フレームの水平方向の画素数を128画素×8タイ ル=1024とした場合、従来のエンコーダシステ� ��ではフレームメモリ7に2フレーム分のメモ� �容量が必要であったが、本発明では5/4フレ� �ム分のメモリ容量で従来のJPEG2000エンコーダ と同じ性能が達成できる。

 なお、本発明のエンコーダシステムは、� ��ンピュータ、あるいは論理回路等から構成� ��れるLSI(Large Scale Integration)やDSP(Digital Signal  Processor)等の半導体集積回路装置及びメモリ 等によって実現することが可能である。

 この出願は、2007年04月27日に出願された� �願2007-118867号を基礎とする優先権を主張し、 その開示の全てをここに取り込む。