以下、本発明の実施例を、図面を参照し� ��説明する。

 まず、図3を用いて従来のH.264/AVC規格によ る符号化処理の動作例について説明する。H.2 64/AVC規格では、符号化対象画像に対してラス タースキャンの順序に従って16×16画素のマク ロブロック単位による符号化を実行し(301)、� ��号化対象となるマクロブロックに対して画� ��間予測(302)および画面内予測(303)を実行する 。

 ここで、画面内予測では、符号化対象ブ� ��ックの左、左上、上、右上に隣接する符号� ��ブロック(符号化対象ブロックよりも先に符 号化処理/復号化処理が行われるブロック、� �下、単に「既符号化ブロック」または「既� �号化ブロック」と記す。)の復号化画像を参� ��し、主に参照画素値を特定の方向にコピー� ��ることによって予測を実行する。H.264/AVC規� ��では、マクロブロックをさらに小さなブロ� ��クに分割して予測を行うことが可能であり� ��さらに予測方向も複数の候補が用意されて� ��る。そのため、ここではそれぞれのブロッ� ��サイズ(304)と予測方向(305)による予測を実行 する。

 一方、画面間予測の場合は、既に符号化� ��た画像を参照し、動き探索により符号化対� ��ブロックと類似した領域を参照画像中から� ��すことによって予測を行う。この場合も予� ��を行うブロックサイズを選択することがで� ��るため、候補となるすべてのブロックサイ� ��(306)に対して、動き探索(307)を実行し、予測 を行う。

 最後に、予測を行った複数の符号化モー� ��(符号化方法とブロックサイズの組み合わせ )の中から最適なものを選択(308)する。

 図10は符号化モードの種類を列挙したリ� �トの一例である。左側に、従来のH.264/AVC規� �の符号化モードのリストと示し、右側に本� �明の一実施例の符号化モードのリストと示� �ている。

 ここで、上述のように、H.264/AVC規格では� ��すべての予測方法とブロックサイズに対し� ��予測を実行し、それらの組み合わせとして� ��される多数の符号化モードの中から最適な� ��のを選択する。H.264/AVC規格における符号化� ��ードの一例(1001)を示す。H.264/AVC規格では、� ��択された符号化モードを表す記号が予測差� ��とともに符号化され、符号化ストリーム内� ��含められる。すなわち、例(1001)に示す利用� ��能な複数の符号化モードのそれぞれには互� ��に重複しない番号が与えられ、この番号が� ��変長符号化される。しかし、H.264/AVC規格の� ��合、候補となる符号化モードの数が多いた� ��この番号を表すためのビット量が多く必要� ��あるといった課題があった。

 これに対し、図10の本発明の一実施例の� �号化処理の例(1002)では、互いに性質の似通� �た符号化モードの集合を「符号化モード群� �としてグループ分けを行い、複数の符号化� �ード群から一つの符号化モード群を選択し� �当該選択された符号化モード群に属する複� �の符号化モードの中から最適なものを選択� �る手順により、最終的な符号化モードを選� �する。

 本発明の一実施例の復号化処理において� ��、符号化処理において選択された符号化モ� ��ド群と、選択された符号化モードとを特定� ��、特定した符号化モードに対応する復号化� ��理を行う。

 なお、本実施例では、符号化処理、復号� ��処理の単位は、従来のH.264/AVC規格と同じく� ��クロブロック単位を基本として説明するが� ��符号化対象画像を複数に分割する領域であ� ��ばマクロブロック単位でなくとも良い。

 ここで、本発明の一実施例の符号化処理� ��符号化モード群の選択においては、符号化� ��ード群を符号化対象領域の周辺に位置する� ��符号化ブロックの情報に基づいて選択する� ��また、本発明の一実施例の復号化処理の符� ��化モード群の特定においても、同じく、符� ��化モード群を符号化対象領域の周辺に位置� ��る既符号化ブロックの情報に基づいて特定� ��る。これにより、例えば、符号化処理にお� ��て選択した符号化モード群を示すフラグを� ��号化ストリームに含めなくても、復号化処� ��において符号化モード群の特定を行うこと� ��できる。

 本発明の一実施例の符号化処理において� ��、選択した符号化モード群に属する一つの� ��号化モードを示すフラグを符号化ストリー� ��に格納する。ここで、符号化モード群は、� ��用可能な複数の符号化モードをグループ分� ��したものであるから、各符号化モード群に� ��まれる符号化モードの数は、利用可能な符� ��化モードの総数よりも小さい。

 よって、従来技術のように、利用可能な� ��数の符号化モードのそれぞれに互いに重複� ��ない番号を与えて、これを示すフラグを符� ��化ストリームに格納する場合に比べて、本� ��明の一実施例の符号化処理において、符号� ��ストリームに格納するフラグの情報量は小� ��くなる。

 図6に、符号化モード群の選択方法の一例 を示す。図6において、隣接ブロックの例(601) に示すように、対象ブロックの左側、上側、 右上側、左上側に隣接する既符号化ブロック をそれぞれ隣接ブロックA、隣接ブロックB、� ��接ブロックC、隣接ブロックDとする。

 さらにそれらのブロックの復号画像に対� ��て、所定の画像処理を行って取得された画� ��特徴量をそれぞれICA、ICB、ICC、ICDとした場� ��、対象ブロックの符号化モード群はこれら� ��値を引数とする関数gを用いて式(602)のよう� ��示す。

 この関数gを用いることにより、対象領域 で利用する符号化モード群は既符号化ブロッ クの情報から選択することが可能となる。さ らに関数gを符号化処理のみならず、復号化� �理側でも用いることにより、符号化モード� �を表す番号を符号化して伝送する必要がな� �なる。これにより、符号化モード群を示す� �に必要なビット量(603)を0とすることができ� �。

 ここで、上記画像特徴量としては、例え� ��エッジ情報(エッジ強度またはエッジ角度)� �用いてもよく、画素値(輝度値や色ごとの強� ��)の分散情報などを用いてもよい。または、 これらの情報の組み合わせでもよい。

 上記所定の画像処理の方法は、用いる画� ��特徴量に応じた技術を用いればよい。例え� ��、エッジ情報を用いるのであれば、例えば� ��7に示すソーベルフィルタを用いたエッジ検 出処理を利用すれば効果的である。

 ここで、ソーベルフィルタを利用する場� ��、垂直方向用のフィルタ(701)および垂直方� �用のフィルタ(702)の2種類を用いて各方向の� �ッジを検出する。また、プレウィットフィ� �タを利用しても良い。この場合、垂直方向� �のフィルタ(703)や水平方向用のフィルタ(704)� ��他にも、斜め方向用のフィルタ(705)(706)が用 意されている。また、より単純なフィルタの 利用例として、まず特定の大きさの矩形フィ ルタを用意し、その中の濃度値の最大値と最 小値の差を計算するMIN-MAXフィルタの利用が� �えられる。

 図9に、ソーベルフィルタ(701)(702)を利用� �てエッジ強度とエッジ角度を計算する方法� �、画素値の分散値を計算する方法ついて、� �の一例を示す。ここでは、対象ブロックに� �してそれぞれ左側、上側、右上側、左上側� �隣接する既符号化ブロックA、B、C、D(901)の� �号化画像に対して、それぞれブロック内の� �素(画素1~画素m×n)(902)に対して、垂直方向用� ��フィルタ(701)と水平方向用のフィルタ(702)を 適用させる。このとき、画素i(i=1,..,m×n)に水� ��方向用のフィルタと垂直方向用のフィルタ� ��作用させて得た値をそれぞれfx(i)、fy(x)とす ると、例えば、エッジ強度は式(903)のように� ��エッジ角度は式(904)のように計算できる。� �らに、画素値の分散値は式(905)のように計算 できる。画像特徴量ICA、ICB、ICC、ICDとしては 、これらの値をそのまま利用しても良いし、 正規化や複数の特徴量を合成してもよい。な お、上記の例ではブロックサイズがm×n画素� �場合を示しており、H.264/AVC規格の場合はm=16� ��n=16となる。

 対象ブロックの予測モードを出力するた� ��の関数gはどのようなものでも構わないが、 例えばニューラルネットワークの機械学習機 能を利用することによって関数gを実現する� �効果的である。

 図8を用いて、ニューラルネットワークを 利用して関数gを実現した場合の例について� �明する。ニューラルネットワークとは、複� �のしきい値論理ユニットを入力層から出力� �まで階層的に配置したネットワークのこと� �ある。フィードフォーワード型のネットワ� �クでは、ユニット間の結合は隣接する層間� �のみ存在し、かつ入力層から出力層へ向か� �一方向である。結合されたユニット間には� �合の重みが与えられ、上位階層のユニット� �の入力は下位階層のユニット群が出力する� �と結合の重みの積和となる。学習を行う際� �は、出力層で所望の結果が得られるように� �れらの重みを調整する。ここでは、隣接ブ� �ックA~Dのエッジ強度もしくはエッジ角度を� �規化したもの、または画素値の分散値を正� �化したものを画像特徴量として入力した際� �(701)、符号化モード群番号nの尤度がそれぞ� �計算されて出力される(703)ように、あらかじ めニューラルネットワーク(702)の学習を行っ� ��おく。本願における尤度とは、入力される� ��像特徴量を有する対象ブロックに対して、� ��つの符号化モード群に属する符号化モード� ��より符号化した場合の符号量が、利用可能� ��他の符号化モード群に属する符号化モード� ��より符号化した場合の符号量に比べて、最� ��小さくなる可能性の確からしさを示す指標� ��ある。このとき、最も高い尤度が出力され� ��符号化モード群の番号を返す関数を上記関� ��gとして設定すれば(704)、図6にて示した方法 による符号化および復号化が可能になる。

 上記学習方法は特に問わないが、例えば誤� ��逆伝播法(BP法:Back Propagation method)を利用す� ��ば大きな効果が見られる。BP法については� �例えば参考文献1に詳しく解説されている。
  [参考文献1]特開2003-44827号公報

 また、上記以外にも、関数gとしては、例 えばエッジの強度や角度、分散値などを変数 とする単純な多項式から、カーネル法、SVM(Su pport Vector Machine)、k近傍法、線形判別式分析 、ベイズベット、隠れマルコフモデル、決定 木学習などの機械学習手法を利用したものま で、幅広く考えられる。

 さらに、ブースティングを利用するなど� ��手段により、複数の識別機を組み合わせて� ��良い。どのモデルを利用して関数gを実現す るかについてあらかじめ定めておいても良い 。また、関数gがどのような入出力を行うの� �についてはあらかじめ符号化側と復号化側� �両者に入出力の対応表のテーブルなどを備� �ておいても良い。また、符号化ストリーム� �関数gの情報を格納できるようにしても構わ� ��い。

 また、上記の実施例では変数として周辺� ��ロックにおける画素値の分散値、エッジの� ��度や角度を利用しているが、周辺ブロック� ��画素値平均や標準偏差、符号化方法、符号� ��モードなど、周辺ブロックの情報ならどの� ��うなものを利用しても良いし、QP(Quantization� �Parameter:量子化パラメータ)や画面解像度など 、符号化条件に関するパラメータを追加して も構わない。また、本実施例では対象画像と 同一の画面における既符号化ブロックの情報 を利用しているが、例えば一つ前のフレーム など、対象画像とは別の画像における画像特 徴量を利用してもよい。

 次に図1を用いて、本発明による動画像符号 化装置の一実施例について説明する。
  動画像符号化装置は、入力された原画像(1 01)を保持する入力画像メモリ(102)と、入力画� ��を小領域に分割するブロック分割部(103)と� �ブロック単位で動きを検出する動き探索部(1 04)と、ブロック単位で画面内予測を行う画面 内予測部(105)と、動き探索部(104)にて検出さ� �た動き量を基にブロック単位で画面間予測� �行う画面間予測部(106)と、符号化対象ブロッ クの周辺に位置する既符号化ブロックの復号 画像に所定の画像処理を施して画像特徴量を 算出する画像特徴量算出部(117)と、画像特徴� ��算出部(117)が算出した画像特徴量を用いて� �当該符号化対象ブロックの符号化モード群� �選択するモード群選択部(108)と、モード群選 択部(108)が選択した符号化モード群に属する� ��数の符号化モードのうちから画像の性質に� ��った符号化モード(予測方法およびブロック サイズ)を選択するモード選択部(107)と、予測 差分を生成するための減算部(109)と、予測差� ��に対して符号化を行う周波数変換部(110)お� �び量子化部(111)と、記号の発生確率に応じた 符号化を行うための可変長符号化部(112)と、� ��度符号化した予測差分を復号化するための� ��量子化処理部(113)および逆周波数変換部(114) と、復号化された予測差分を用いて復号化画 像を生成するための加算部(115)と、復号化画� ��を保持して後の予測に活用するための参照� ��像メモリ(116)を有する。以下に各部の動作� �詳細を説明する。

 入力画像メモリ(102)は原画像(101)の中から 一枚の画像を符号化対象画像として保持し、 これをブロック分割部(103)にて細かなブロッ� ��に分割し、動き探索部(104)、画面内予測部(1 05)、および画面間予測部(106)に渡す。動き探� ��部(104)では、参照画像メモリ(116)に格納され ている復号化済み画像を用いて該当ブロック の動き量を計算し、動きベクトルを画面間予 測部(106)に渡す。画面内予測部(105)および画� �間予測部(106)では画面内予測処理および画面 間予測処理をいくつかの大きさのブロック単 位で実行する。

 ここで、画像特徴量算出部(117)では、参� �画像メモリ(116)から対象ブロックの周辺に位 置する既符号化ブロックの復号画像を受信し 、図6において説明した所定の画像処理を施� �て画像特徴量を取得し、(602)に示す関数gに� �って符号化モード群を選択する。モード選� �部(108)では、選択した符号化モード群に含ま れる符号化モードの中から最適なものを選択 する。

 続いて減算部(109)では選択された符号化� �ードによって予測差分を生成し、周波数変� �部(110)に渡す。周波数変換部(110)および量子� ��処理部(111)では、送られてきた予測差分に� �して指定された大きさのブロック単位でそ� �ぞれDCT(Discrete Cosine Transformation:離散コサイ� ��変換)などの周波数変換および量子化処理を 行い、可変長符号化処理部(112)および逆量子� ��処理部(113)に送信する。

 さらに可変長符号化処理部(112)では、周� �数変換係数によって表される予測差分情報� �、例えば符号化モード群の番号や符号化モ� �ド番号、画面内予測符号化における予測方� �、画面間予測符号化における動きベクトル� �ど、予測復号化に必要な情報とともに、記� �の発生確率に基づいて可変長符号化を行っ� �符号化ストリームを生成する。また、逆量� �化処理部(113)および逆周波数変換部(114)では� ��量子化後の周波数変換係数に対して、それ� ��れ逆量子化およびIDCT(Inverse DCT:逆DCT)などの 逆周波数変換を施し、予測差分を復号して加 算部(115)に送る。続いて加算部(115)にて予測� �分と予測値を加算し、復号化画像を生成し� �参照画像メモリ(116)に格納する。

 次に、図2を用いて、図1に示す動画像符� �化装置の実施例における1フレームの動画像� ��号化方法について説明する。まず、ループ1 (201)に示されるように、符号化対象となるフ� ��ーム内に存在するすべてのブロックに対し� ��、以下の処理を行う。すなわち、ソーベル� ��ィルタなどを利用して対象ブロックの周辺� ��位置する符号化済みのブロックの画像特徴� ��を算出し(202)、図6の式(602)に示す関数gによ� ��て符号化モード群を選択する。続いて、選� ��した符号化モード群に含まれるすべての符� ��化モードに対して(204)、予測を実行し(205)、 予測差分の計算を行う(206)。そして、その中� ��ら予測精度が最も高い符号化モードを選択� ��る(207)。続いて、選ばれた符号化モードで� �成された予測差分に対して周波数変換(208)と 量子化処理(209)を施す。さらに可変長符号化� ��行い、可変長符号化されたデータを符号化� ��トリームに含めて出力する(210)。このとき� �選択された符号化モードを示す情報も符号� �ストリームに含めて出力する。一方、量子� �済みの周波数変換係数に対しては、逆量子� �処理(211)と逆周波数変換処理(212)を施して予� ��差分を復号化し、復号化画像を生成して参� ��画像メモリに格納する(213)。以上の処理を� �べてのブロックに対して完了すれば、画像1� ��レーム分の符号化は終了する(214)。

 以上説明した本実施例に係る動画像符号� ��装置及び動画像符号化方法によれば、選択� ��た一つの符号化モードを符号化モード群の� ��報と、符号化モード群に属する符号化モー� ��のうち一つの符号化モードを示す情報とに� ��け、符号化モード群の情報については符号� ��対象ブロックに隣接するブロックの画像の� ��徴に基づいて選択し、符号化モード群の情� ��を符号化ストリームに含めず、符号化モー� ��群に属する符号化モードのうち一つの符号� ��モードを示す情報のみを符号化ストリーム� ��含める。

 これにより、利用可能な複数の符号化モ� ��ドのうち選択した一つの符号化モードを示� ��情報を、それぞれに互いに重複しない番号� ��らなるフラグ情報として符号化ストリーム� ��含める場合に比べて、符号化モードを示す� ��報の符号量を低減させることが可能となり� ��圧縮効率を向上することが可能となる。

 次に図4を用いて、本発明による動画像復 号化装置の一実施例を説明する。動画像復号 化装置は、例えば図1に示す動画像符号化装� �によって生成された符号化ストリーム(401)に 対して可変長符号化の逆の手順を踏む可変長 復号化部(402)と、予測差分を復号化するため� ��逆量子化処理部(403)および逆周波数変換部(4 04)と、対象ブロックの周辺に位置する既符号 化ブロックの復号画像に所定の画像処理を施 して画像特徴量算出する画像特徴量算出部(41 0)と、画像特徴量算出部(410)が算出した画像� �徴量を用いて、当該符号化対象ブロックの� �号化モード群を特定するモード群特定部(411) と、モード群特定部(411)が特定した符号化モ� ��ド群に属する符号化モード群のうちから、� ��当ブロックに使用されている符号化モード� ��特定するモード特定部(405)と、画面内予測� �行う画面内予測部(406)と、画面間予測を行う 画面間予測部(407)と、復号化画像を取得する� ��算部(408)と、復号化画像を一時的に記憶し� �おくための参照画像メモリ(409)を有する。以 下に各部の動作の詳細を説明する。

 可変長復号化部(402)では、符号化ストリ� �ム(401)を可変長復号化し、予測差分の周波数 変換係数成分と、ブロックサイズや動きベク トルなど予測処理に必要な情報を取得する。 前者の予測差分情報に対しては逆量子化処理 部(403)に、後者の予測処理に必要な情報に対� ��ては、予測手段に応じて画面内予測部(406)� �または画面間予測部(407)に送られる。続いて 、逆量子化処理部(403)および逆周波数変換部( 404)では、予測差分情報に対してそれぞれ逆� �子化と逆周波数変換を施して復号化を行う� �

 ここで、画像特徴量算出部(410)では、参� �画像メモリ(409)から対象ブロックの周辺に位 置する既符号化ブロックの復号画像を受信す る。受信した既符号化ブロックの復号画像に 図6において説明した所定の画像処理を施し� �画像特徴量を算出する。モード群特定部(411) は画像特徴量算出部(410)が算出した画像特徴� ��と図6の式(602)に示す関数gなどにより、当該 符号化対象ブロックの符号化モード群を特定 する。モード特定部(405)では、モード群特定� ��(411)が特定した符号化モード群の情報と符� �化ストリームに含まれている符号化モード� �号とから該当ブロックに使用されている符� �化モードを特定する。さらに、特定した符� �化モードについての情報を画面内予測部(406) または画面間予測部(407)に送信する。

 続いて画面内予測部(406)または画面間予� �部(407)では、可変長復号化部(402)から送られ� ��きた情報と参照画像メモリ(409)に格納され� �復号化画像を参照し、前記モード特定部(405) で特定された符号化モードに対応する予測処 理を行う。加算部(408)にて、当該予測処理に� ��り取得した参照画像を、逆量子化処理部(403 )および逆周波数変換部(404)により復号化され た予測差分とを加算して復号化画像を生成し 、復号化画像を参照画像メモリ(409)に格納す� ��。

 図5は、図4に示す動画像復号化装置の実� �例における1フレームの動画像復号化方法に� ��いて示している。まず、ループ1(501)に示さ� ��るように、1フレーム内のすべてのブロック に対して、以下の処理を行う。すなわち、入 力ストリームに対して可変長復号化処理を施 し(502)、逆量子化処理(503)および逆周波数変� �処理(504)を施して復号化対象領域の予測差分 を復号化する。続いて、ソーベルフィルタな どを利用して対象ブロックの周辺に位置する 符号化済みのブロックの画像特徴量を算出し (505)、図6の式(602)に示す関数gによって符号化 モード群を特定する(506)。続いて、特定した� ��符号化モード群の情報と、符号化ストリー� ��に含まれている符号化モード番号とから符� ��化モードを特定する(507)。さらに、復号し� �予測差分に対して特定した符号化モードに� �応する予測処理を行い、当該予測処理によ� �取得した参照画像と復号化した予測差分と� �合成することにより、復号化画像を生成す� �。生成した復号化画像を参照画像メモリに� �納する(508)。以上の処理をフレーム中のすべ てのブロックに対して完了すれば、画像1フ� �ーム分の復号化が終了する(509)。

 以上説明した本実施例に係る画像復号化� ��置及び画像復号化方法によれば、選択した� ��つの符号化モードを符号化モード群の情報� ��、符号化モード群に属する符号化モードの� ��ち一つの符号化モードを示す情報とに分け� ��符号化モードを符号化モード群の情報を含� ��ずに生成された符号化ストリームが入力さ� ��た場合も、復号化対象ブロックに隣接する� ��ロックの画像の特徴に基づいて符号化モー� ��群の情報を特定することが可能となり、符� ��化モードを示す情報の符号量を低減したよ� ��圧縮効率の高い符号化ストリームに対する� ��号処理が可能となる。

 以上説明した実施例では周波数変換の一� ��としてDCTを挙げているが、DST(Discrete Sine Tr ansformation:離散サイン変換)、WT(Wavelet Transforma tion:ウェーブレット変換)、DFT(Discrete Fourier T ransformation:離散フーリエ変換)、KLT(Karhunen-Loeve  Transformation:カルーネン-レーブ変換)など、� �素間相関除去に利用する直交変換ならどん� �ものでも構わない。特に周波数変換を施さ� �に予測差分そのものに対して符号化を行っ� �も構わない。さらに、可変長符号化も特に� �わなくて良い。

 また、実施例では、符号化モード番号を� ��変長符号化しているが、符号化モード番号� ��符号化モード群の番号と同様に、図6のよう に周辺ブロックの画像特徴量を用いて選択し ても良い。この場合、符号化モード群の番号 と符号化モード番号を符号化する必要がなく なり、さらなる圧縮率の向上が期待できる。

 実施例は動画像を符号化する場合につい� ��述べているが、本発明は静止画像の符号化� ��も有効である。例えば、図1のブロック図か ら動き探索部(104)と画面間予測部(106)を排除� �れば、静止画像に特化した符号化装置のブ� �ック図に相当する。

 また、実施例ではブロック単位で符号化� ��る場合について述べているが、それ以外に� ��例えば画像の背景から分離したオブジェク� ��単位で符号化する場合に本発明を利用して� ��良い。