本実施の形態の画像符号化装置及び画像� ��号装置は、画像及び映像データを符号化及� ��復号する際に、対象ブロックの周囲に位置� ��る周囲ブロックに含まれるエッジを検出し� ��検出したエッジの方向をイントラ予測方向� ��して用いるエッジ予測モードを利用するこ� ��ができる。つまり、本実施の形態では、シ� ��ープなエッジを含むピクチャをイントラ予� ��により符号化する際に、エッジの方向を考� ��に入れたイントラ予測符号化を行うことが� ��きる。

 図2は、本実施の形態のハイブリッド符号 化を行う画像符号化装置100の構成の一例を示 すブロック図である。同図に示す画像符号化 装置100は、フレームメモリ101と、減算部102と 、周波数変換部103と、量子化部104と、可変長 符号化部105と、逆量子化部106と、逆周波数変 換部107と、加算部108と、参照ピクチャメモリ 109と、イントラ予測モード決定部110と、動き 検出部111と、イントラ予測部112と、動き補償 部113と、スイッチ114及び115と、制御部116と、 確率テーブル保持部117と、符号化モード決定 部118とを備える。なお、図2に示すように、� �波数変換部103と量子化部104とは、差分符号� �部120に含まれる。また、逆量子化部106と逆� �波数変換部107とは、差分復号部130に含まれ� �。

 以下では、画像符号化装置100が複数のフ� ��ームから構成される入力映像データを符号� ��するときの動作に沿って、各処理部の処理� ��ついて説明する。

 入力映像データの各ピクチャは、フレー� ��メモリ101に格納される。各ピクチャは、複� ��のブロックに分割され、フレームメモリ101� ��らブロック単位で(例えば、水平16画素、垂� ��16画素のマクロブロック単位で)出力される� ��なお、入力映像データは、プログレッシブ� ��式及びインターレース形式のいずれでもよ� ��。

 各マクロブロックは、イントラ又はイン� ��ー予測モードのいずれかで符号化される。� ��ず、対象マクロブロックがイントラ予測モ� ��ドで符号化される場合について説明する。

 イントラ予測モード(イントラフレーム予 測)の場合、フレームメモリ101から出力され� �マクロブロックは、イントラ予測モード決� �部110に入力される(このとき、スイッチ114は� ��制御部116によって端子“a”に接続される)� �イントラ予測モード決定部110は、入力され� �マクロブロックにどのようにイントラ予測� �実行するかを決定する。具体的には、イン� �ラ予測モード決定部110は、イントラ予測モ� �ド(IPM:Intra-Prediction Mode)として、イントラ予� ��ブロックサイズ(以下のサイズの1つ:水平4画 素×垂直4画素、水平8画素×垂直8画素、水平16 画素×垂直16画素)と、イントラ予測方向とを� ��定する必要がある。イントラ予測モード決� ��部110の詳細な構成については、図3を用いて 後で説明する。

 例えば、図1Aに示す対象ブロック10(水平4� ��素×垂直4画素)は、参照画素20を用いて、8つ の予め定義されたイントラ予測方向に従って 、予測されてもよい。ここで、イントラ予測 に用いられる参照画素20(図1Aで対角方向の網� ��けされた四角)は、既に符号化及び復号され 、参照ピクチャメモリ109に格納されていると する。決定されたイントラ予測モードIPMを示 す情報は、イントラ予測部112と符号化モード 決定部118とに出力される。

 イントラ予測部112は、イントラ予測モー� ��決定部110によって決定されたイントラ予測� ��ードIPMに基づいて、参照ピクチャメモリ109� ��らイントラ予測に用いられる参照画素(イン トラ参照画素)を取得する。そして、イント� �予測部112は、参照画素の画素値を外挿又は� �挿することでイントラ予測された画像IPを生 成し、生成したイントラ予測画像IPを減算部1 02に出力する(このとき、スイッチ115は、制御 部116によって端子“a”に接続される)。

 減算部102は、フレームメモリ101から入力� ��像データに含まれるピクチャのマクロブロ� ��ク(対象マクロブロック)と、イントラ予測� �112によって生成されたイントラ予測画像IPと を受け取る。そして、減算部102は、対象マク ロブロックとイントラ予測画像IPとの差分(予 測残差とも記載)を算出することで差分画像� �生成し、生成した差分画像を周波数変換部10 3に出力する。

 周波数変換部103は、減算部102によって生� ��された差分画像に、離散コサイン変換など� ��周波数変換を実行することで周波数変換係� ��を生成し、生成した周波数変換係数を出力� ��る。

 量子化部104は、周波数変換部103によって� ��成された周波数変換係数の量子化を行い、� ��子化された周波数変換係数QTを出力する。� �こで、量子化は、予め定められた値(量子化� ��テップ)によって周波数変換係数を割り算す る処理である。この量子化ステップは、制御 部116によって与えられるとする(量子化ステ� �プは、制御部116に入力される制御信号CTLに� �まれてもよい)。量子化周波数変換係数QTは� �可変長符号化部105と逆量子化部106とに出力� �れる。

 逆量子化部106は、量子化周波数変換係数Q Tを逆量子化し、逆量子化した周波数変換係� �を逆周波数変換部107に出力する。このとき� �量子化部104による量子化時に用いられた量� �化ステップと同じ量子化ステップが、制御� �116から逆量子化部106に入力される。

 逆周波数変換部107は、逆量子化された周� ��数変換係数を逆周波数変換することで復号� ��れた差分画像LDDを生成する。逆周波数変換� ��107は、生成した復号差分画像LDDを加算部108� ��出力する。

 加算部108は、復号差分画像LDDを予測画像I P又はMPに加算することで、復号画像LDを生成� ��る。加算部108は、生成した復号画像LDを参� �ピクチャメモリ109に格納する。参照ピクチ� �メモリ109に格納された復号画像LDは、参照画 像として後の符号化に用いられる。

 可変長符号化部105は、量子化部104から入� ��される量子化周波数変換係数QTに可変長符� �化を実行し、イントラ予測モード決定部110� �ら符号化モード決定部118を介して入力され� �イントラ予測モードIPMを示す情報を同様に� �理し、符号化シーケンスとしても参照され� �ビットストリームを出力する。

 ここで、可変長符号化部105が用いる可変� ��符号化方法の1つの方法として、動画像を符 号化する国際規格H.264で採用されるコンテキ� ��ト適応型算術符号化方法がある。コンテキ� ��ト適応型算術符号化方法は、可変長符号化� ��対象データと、既に可変長符号化(コンテキ スト適応型)が実行されたデータとに従って� �算術符号化するために用いられる確率テー� �ルを切り替える方法である。例えば、量子� �周波数変換係数QTの可変長符号化を実行する ためのコンテキストとして、イントラ予測の ためのブロックサイズと、周波数変換のため のブロックサイズとなどが用いられる。ここ では、確率テーブルは、確率テーブル保持部 117に保持される。

 次に、対象マクロブロックがインター予� ��モードで符号化される場合について説明す� ��。

 インター予測モード(インターフレーム予 測)の場合、フレームメモリ101から出力され� �マクロブロックは、動き検出部111に入力さ� �る(このとき、スイッチ114は、制御部116によ� ��て端子“b”に接続される)。動き検出部111� �、入力されたマクロブロックに対して、参� �ピクチャ(参照ピクチャメモリ109に保持され� ��再構成されたピクチャで、符号化されるピ� ��チャとは異なるピクチャ)に対する動き(動� �ベクトル)を検出する。動き検出では、以下� ��示す動きベクトルが一般的には選択される� ��すなわち、符号化されるブロックと予測画� ��との最小差分値と、動きベクトルの符号量� ��重みの最小和とを有する動きベクトルであ� ��。検出された動きベクトルは、動き補償部1 13と符号化モード決定部118とに出力される。

 動き補償部113は、動き検出部111によって� ��定された動きベクトルに基づいて、インタ� ��予測に用いられる参照画素(インター参照画 素)を参照ピクチャメモリ109から取得する。� �して、動き補償部113は、予測画像MPを生成し 、生成した予測画像MPを減算部102に出力する( このとき、スイッチ115は、制御部116によって 端子“b”に接続される)。

 減算部102と、周波数変換部103と、量子化� ��104と、逆量子化部106と、逆周波数変換部107� ��、加算部108とによって実行される処理は、� ��ントラ予測の場合に説明した処理と同じで� ��る。それゆえに、これらの処理についての� ��明はここでは省略する。

 符号化モード決定部118は、イントラ予測� ��ード決定部110と、動き検出部111と、量子化� ��104と、フレームメモリ101と、加算部108とな� ��からの出力を用いて符号化されるマクロブ� ��ックの符号化モードを決定する。ここでは� ��イントラピクチャ予測符号化とインターピ� ��チャ予測符号化とのいずれか1つが、符号化 対象のマクロブロックの符号化に用いられる 。符号化モード決定部118は、一般的に、生成 されるビット量と符号化歪みとの重み和が最 も小さくなる値を有する符号化モードが選択 することで、符号化モードを決定する。イン トラピクチャ予測符号化が符号化モードとし て選択された場合、符号化モード決定部118は 、符号化モードMDと、イントラ予測モードIPM� ��示す情報(イントラ予測ブロックサイズ、イ ントラ予測方向など)とを可変長符号化部105� �出力する。一方で、インターピクチャ予測� �号化が符号化モードとして選択された場合� �符号化モード決定部118は、符号化モードMDと 動きベクトルMVとを可変長符号化部105に出力� ��る。

 例えば、H.264規格のビットレートと符号� �歪みとを用いたコスト関数が、対象ブロッ� �を符号化するための最良の予測モードを決� �するために用いられてもよい。それぞれの� �測モードに対して、差分画像が、直交変換� �れ、量子化され、可変長符号化される。そ� �て、それぞれの予測モードに対して、ビッ� �レートと、符号化歪みとが計算される。な� �、コスト関数として、例えば、式1で示され� ��ラグランジュコスト関数Jが用いられる。

 式1において、Rは、差分画像(予測残差と� ��記載)と予測モード情報とを符号化するのに 用いられるビットレートであり、Dは、符号� �歪みであり、λは、符号化するのに選択され る量子化パラメータQPに応じて算出されるラ� ��ランジュ乗数である。符号化モード決定部1 18は、最も低いコスト関数Jが最も低くなる予 測モードを、対象ブロックを予測する際の予 測モードとして選択する。

 なお、符号化モード決定部118は、最適な� ��測モードを選択するためにコスト関数Jを一 時的に格納するメモリを備える。

 可変長符号化部105は、量子化部104から入� ��される量子化周波数変換係数QTと、符号化� �ード決定部118から出力される符号化モードMD とイントラ予測モードIPM又は動きベクトルMV� ��に可変長符号化を実行し、ビットストリー� ��を出力する。

 ここで、可変長符号化部105が、コンテキ� ��ト適応型算術符号化を用いて動きベクトルM Vを符号化する場合、符号化された周辺ブロ� �クの動きベクトルのサイズ(コンテキスト)に 依存する確率テーブルを変更する方法が用い られることができる。ここでは、確率テーブ ルは、確率テーブル保持部117に保持される。

 予測モードは、映像データを符号化する� ��理において符号化器(画像符号化装置100)側� �実行された予測を復号器(例えば、後述する� ��像復号装置300(図5参照))側で再現するために 、復号器によって必要とされる情報のフルセ ットを含む。それゆえに、予測モードは、マ クロブロック毎に符号化モード、すなわち、 イントラ及びインター予測のいずれが適用さ れたかを定義する。さらに、予測モードは、 マクロブロックがどのようにサブ分割された かについての情報を含む。H.264/AVCによると、 16×16画素からなるマクロブロックは、例えば 、イントラ予測の場合に、さらに、8×8又は4� �4画素のブロックにサブ分割されてもよい。

 符号化モードに依存して、予測モードは� ��さらに、動き補償に用いられる動きベクト� ��のセット、又は、対象ブロックをイントラ� ��測するのに適用されたイントラ予測モード� ��特定する情報を含んでいる。

 続いて、本実施の形態のイントラ予測モ� ��ド決定部110の詳細な構成について図3を用い て説明する。

 図3は、イントラ予測モード決定部110の詳 細な構成の一例を示すブロック図である。同 図に示すように、イントラ予測モード決定部 110は、エッジ検出部201と、方向判定部202と、 ノルム判定部203と、予測モードセット決定部 204と、予測モード選択部205とを備える。

 エッジ検出部201は、参照ピクチャメモリ1 09から参照画像を読み出し、読み出した参照� ��像に含まれるエッジを検出する。例えば、� ��ッジ検出部201は、参照画像の勾配ベクトル� ��を算出し、エッジの最大値を与える勾配の� ��ルムを評価することによって検出する。エ� ��ジの方向は、対応する勾配の方向に直交す� ��ベクトルの方向である。

 なお、エッジ検出処理に用いられる参照� ��像は、対象ブロックに直接隣接するブロッ� ��に属する画素のうち、既に符号化及び復号� ��れているブロックに含まれる画素である。� ��配値は、式2に示す垂直及び水平ソーベル演 算子を用いて近接画素で算出される。

 エッジ検出部201は、画素毎に、垂直ソー� ��ル演算子及び水平ソーベル演算子を用いる� ��とで、対応する画素の垂直方向及び水平方� ��の勾配の大きさ(勾配値)をそれぞれ算出す� �。算出した垂直方向及び水平方向の勾配値� �ベクトル合成などを行うことで、画素毎に� �配の方向が決定される。

 図4は、エッジを検出し、検出したエッジ の方向を推定する方法を示す概略図である。 左斜め下方向に網掛けされた領域は、勾配を 計算するために考慮される周囲ブロック30の� ��素を示す。エッジ検出部201は、図4の左斜め 下方向に網掛けされた画素のそれぞれに対し て、式2を用いて勾配値を算出する。そして� �算出した勾配値に基づいて勾配の方向を算� �し、勾配の方向に直交する方向をエッジの� �向として決定する。このとき勾配の方向に� �交する方向のベクトルをエッジベクトルと� �記載する。なお、エッジベクトルのノルム� �、例えば、当該エッジベクトルが検出され� �画素の勾配ベクトルのノルムと同じである� �

 図3に戻ると、方向判定部202は、エッジ検 出部201によって検出されたエッジの方向が、 イントラ予測の対象ブロックを指しているか 否かを判定する。例えば、図4に示すエッジ40 が検出された場合、エッジ40の延長線が対象� ��ロック10に含まれるので、方向判定部202は� �エッジ40はイントラ予測の対象ブロック10を� ��していると判定する。一方で、図4に示すエ ッジ41が検出された場合、エッジ41の延長線� �対象ブロック10に含まれないので、方向判定 部202は、エッジ41はイントラ予測の対象ブロ� ��ク10を指していないと判定する。

 ノルム判定部203は、方向判定部202によっ� ��イントラ予測の対象ブロックを指している� ��判定されたエッジのノルムを算出し、算出� ��たノルムが予め定められた閾値より大きい� ��否かを判定する。エッジのノルムとは、エ� ��ジベクトル又は勾配ベクトルのノルムであ� ��。ノルム判定部203は、算出したノルムが閾� ��より大きい場合に、エッジは検出されたと� ��定する。算出したノルムが閾値以下の場合� ��、エッジは検出されなかったと判定する。� ��お、このときに用いられる閾値は、例えば� ��異なる最大ベクトルノルムと、シャープな� ��ッジ及び滑らかな領域の両方を含む異なる� ��ーケンスとの違いの比較に基づいて、経験� ��に選択される。

 予測モードセット決定部204は、対象ブロ� ��クを符号化する際に用いられる予測モード� ��セットをエッジが検出されたか否かに応じ� ��決定する。具体的には、従来と同様にDC予� �モードと8つの方向モードとからなる予測モ� ��ドセット(従来の予測モードセット)か、エ� �ジ予測モードと8つの方向モードとからなる� ��測モードセット(新たな予測モードセット)� �を決定する。

 エッジベクトルのノルムが閾値以下であ� ��とき、エッジは検出されないので、予測モ� ��ドセット決定部204は、利用可能な予測モー� ��セットとして、H.264映像符号化規格で用い� �れる9つの従来の予測モードセットに決定す� ��。

 エッジベクトル(又は、勾配ベクトル)の� �ルムが閾値より大きいとき、エッジは検出� �れるので、予測モードセット決定部204は、� �用可能な予測モードセットとして、新たな� �測モードセットに決定する。なお、エッジ� �検出された場合、対象ブロックは、方向性� �強い構造を含む傾向にあるので、DC予測モー ドが対象ブロックを予測するのに良い候補で はないと考えられる。それゆえに、DC予測モ� ��ドが、エッジ予測モードに置き換えられる� ��しかしながら、H.264映像符号化規格の残り� �8つの方向性予測モードは、保持される。そ� ��らは、特に、前のブロック(エッジが検出さ れたブロック)と対象ブロックとの間でエッ� �の方向が変更した時に有用である。

 予測モード選択部205は、予測モードセッ� ��決定部204によって決定された予測モードセ� ��トの中から1つの予測モードを選択する。

 以上のように本実施の形態の画像符号化� ��置100は、対象ブロックを符号化する際に選� ��される予測モードとして、新たなエッジ予� ��モードを備える。さらに、エッジ予測モー� ��に従って対象ブロックをイントラ符号化す� ��ために、対象ブロックの周囲のブロックか� ��エッジを検出し、検出したエッジの方向を� ��ントラ予測方向としてイントラ予測符号化� ��行う。本実施の形態の画像符号化装置100の� ��体的な動作については、フローチャートを� ��いて後で説明する。

 次に、本実施の形態の画像復号装置300の� ��成について説明する。

 図5は、本実施の形態の画像復号装置300の 構成の一例を示すブロック図である。同図に 示す画像復号装置300は、逆量子化部301と、逆 周波数変換部302と、加算部303と、フレームメ モリ304と、イントラ予測部305と、動き補償部 306と、制御部307と、スイッチ308及び309とを備 える。

 以下では、画像復号装置300が、ビットス� ��リーム(符号化された映像データ)を復号す� �ときの動作に沿って、各処理部の処理につ� �て説明する。本実施の形態の画像復号装置30 0は、予測残差を含む符号化映像データをブ� �ック毎にイントラ又はインターフレーム予� �符号化ブロックのいずれかとして復号する� �符号化モードMDは、制御部307に入力され、イ ントラ予測モードIPM又は動きベクトルMVを示� ��情報は、スイッチ308に入力され、量子化周� ��数変換係数QTは、逆量子化部301に入力され� �。

 制御部307は、符号化モードMDに基づいて� �イッチ308及び309を制御する。符号化モードMD がイントラ予測符号化を示す場合、スイッチ 308は、端子“a”に接続され、イントラ予測� �ードIPMを示す情報がイントラ予測部305に入� �される。符号化モードMDがインター予測符号 化を示す場合、スイッチ308は、端子“b”に� �続され、動きベクトルMVが動き補償部306に入 力される。

 対象ブロックがイントラ予測符号化ブロ� ��クの場合、スイッチ308及び309は、端子“a” に接続される。そして、イントラ予測モード を示す情報は、イントラ予測部305に入力され 、量子化周波数変換係数QTは、逆量子化部301� ��入力される。なお、量子化周波数変換係数Q Tが、符号化器(例えば、画像符号化装置100)に よって符号化された予測誤差に相当する。

 イントラ予測部305は、入力されたイント� ��予測モードに基づいて、イントラ予測参照� ��素をフレームメモリ304から取得し、イント� ��予測された画像(予測ブロック)を生成し、� �算部303にイントラ予測画像を出力する。

 逆量子化部301は、量子化周波数変換係数Q Tを逆量子化し、逆量子化した周波数変換係� �を逆周波数変換部302に出力する。そして、� �周波数変換部302は、逆量子化された周波数� �換係数を逆周波数変換することで、復号さ� �た差分画像LDDを生成する。逆周波数変換部30 2は、生成した復号差分画像LDDを加算部303に� �力する。

 加算部303は、復号差分画像LDDとイントラ� ��測画像IPとを加算することで、復号画像LDを 生成する。生成した復号画像LDは、フレーム� ��モリ304に格納される。なお、フレームメモ� ��304に格納された復号画像は、後の復号で参� ��ピクチャとして用いられる。また、復号画� ��は、復号映像データを成すように出力され� ��。

 対象ブロックがインター予測ブロックの� ��合、スイッチ308及び309は、端子“b”に接続 される。そして、動きベクトルMVを示す情報� ��動き補償部306に入力され、量子化周波数変� ��係数QTが逆量子化部301に入力される。

 動き補償部306は、入力された動きベクト� ��MVに基づいて、参照画素をフレームメモリ30 4から取得し、予測されたピクチャを生成し� �加算部303に予測ピクチャを出力する。

 逆量子化部301、逆周波数変換部302及び加� ��部303の処理は、イントラ予測ブロックの場� ��に説明した処理と同じである。復号画像LD� �、フレームメモリ304に格納される。フレー� �メモリ304に格納された復号画像は、後の復� �で参照ピクチャとして用いられる。また、� �号画像は、復号映像データを成すように出� �される。

 続いて、本実施の形態のイントラ予測部3 05の詳細な構成について図6を用いて説明する 。

 図6は、本実施の形態のイントラ予測部305 の詳細な構成の一例を示す図である。同図に 示すように、イントラ予測部305は、エッジ検 出部401と、方向判定部402と、ノルム判定部403 と、予測モード判定部404と、予測ブロック生 成部405とを備える。

 エッジ検出部401は、予測モード判定部404� ��よってイントラ予測モードがエッジ予測モ� ��ド又はDC予測モードであると判定された場� �、フレームメモリ304から参照画像を読み出� �、読み出した参照画像に含まれるエッジを� �出する。具体的なエッジ検出処理は、エッ� �検出部201と同様であり、後で詳しく説明す� �。

 方向判定部402は、エッジ検出部401によっ� ��検出されたエッジの方向が、イントラ予測� ��対象ブロックを指しているか否かを判定す� ��。具体的なエッジの方向判定処理は、方向� ��定部202と同様であり、後で詳しく説明する� ��

 ノルム判定部403は、方向判定部402によっ� ��イントラ予測の対象ブロックを指している� ��判定されたエッジのノルムを算出し、算出� ��たノルムが予め定められた閾値より大きい� ��否かを判定する。なお、このときに用いら� ��る閾値は、符号化時のノルム判定処理で用� ��られた閾値と同じ閾値であることが望まし� ��。したがって、閾値が装置に固有の値でな� ��場合は、符号化装置から送信される。具体� ��なノルム判定処理は、ノルム判定部203と同� ��であり、後で詳しく説明する。

 予測モード判定部404は、ビットストリー� ��に含まれるイントラ予測モードIPMを示す情� ��を取得し、イントラ予測モードがエッジ予� ��モード又はDC予測モードであるかを判定す� �。エッジ予測モード又はDC予測モードのいず れかである場合は、予測モード判定部404は、 エッジ検出部401にエッジ検出処理を行わせる 。そして、ノルム判定部403の判定結果に基づ いて、イントラ予測モードがDC予測モードで� ��るかエッジ予測モードであるかを予測ブロ� ��ク生成部405に通知する。

 なお、エッジ予測モード及びDC予測モー� �のいずれでもない場合、すなわち、従来の� �向予測モード(図1B)である場合、予測モード� ��定部404は、イントラ予測モードが方向予測� ��ードであることを予測ブロック生成部405に� ��知する。

 予測ブロック生成部405は、予測モード判� ��部404から通知されるイントラ予測モードに� ��って予測ブロックを生成する。具体的には� ��フレームメモリ304から参照画素を読み出し� ��読み出した参照画素を外挿又は内挿するこ� ��で予測ブロックを生成する。生成した予測� ��ロックは、スイッチ309を介して加算部303に� ��力される。

 以上のように、本実施の形態の画像復号� ��置300は、対象ブロックを復号する際に選択� ��れる予測モードとして、新たなエッジ予測� ��ードを備える。さらに、エッジ予測モード� ��従って対象ブロックを復号するために、対� ��ブロックの周囲のブロックからエッジを検� ��し、検出したエッジの方向をイントラ予測� ��向としてイントラ予測復号を行う。本実施� ��形態の画像復号装置300の具体的な動作につ� ��ては、フローチャートを用いて後で説明す� ��。

 続いて、本実施の形態の画像符号化装置1 00の動作について説明する。まず、以下では� ��ッジ検出処理について図7を用いて説明する 。図7は、本実施の形態のエッジ検出処理を� �すフローチャートである。

 エッジ検出処理は、勾配を算出するため� ��考慮される全ての画素(例えば、図4の左斜� �下方向に網掛けされた画素)に対して実行さ� ��る(S101)。

 エッジ検出部201は、対象画素位置の勾配� ��クトルを式2のソーベル演算子を適用するこ とで算出する(S102)。そして、エッジ検出部201 は、算出した勾配ベクトルに直交するエッジ ベクトルを算出し、算出したエッジベクトル の方向を検出する(S103)。

 次に、方向判定部202は、勾配が対象ブロ� ��クを横切るエッジを示すか否か、すなわち� ��勾配ベクトルに直交するエッジベクトルが� ��測の対象ブロックを指しているか否かを判� ��する(S104)。エッジベクトルが予測の対象ブ� ��ックを指していない場合であって(S104でNo)� �かつ、次の画素がある場合(S105でYes)、処理� �次の画素に進む。すなわち、次の画素に対� �て、勾配ベクトルの算出(S102)から繰り返さ� �る。

 エッジベクトルが予測の対象ブロックを� ��している場合には(S104でYes)、ノルム判定部2 03は、勾配ベクトルのノルムを算出する(S106)� ��そして、ノルム判定部203は、算出したノル� ��が予め定められた閾値より大きいか否かを� ��定する(S107)。算出したノルムが閾値以下で� ��る場合(S107でNo)、かつ、次の画素がある場� �(S105でYes)、処理は次の画素に進む。すなわ� �、次の画素に対して、勾配ベクトルの算出(S 102)から繰り返される。

 算出したノルムが閾値より大きい場合に� ��(S107でYes)、ノルム判定部203は、算出したノ� ��ムが、前に決定された全ての勾配ベクトル� ��うち最大ノルムを有する勾配ベクトルのノ� ��ムより大きいか否かを判定する(S108)。算出� ��たノルムが最大ノルムより大きい場合は(S10 8でYes)、当該勾配ベクトルを、新たな最大ベ� ��トルとして設定する(S109)。

 そして、算出したノルムと最大ノルムと� ��比較結果に関わらず、ノルム判定部203は、� ��素のベクトルと位置とをメモリに格納する( S110)。このとき、メモリに格納する画素のベ� ��トルは、エッジベクトルであることが望ま� ��い。また、メモリは、例えばノルム判定部2 03が内部に備えるメモリである。

 そして、次の画素がある場合(S105でYes)、� ��理は次の画素に進む。すなわち、次の画素� ��対して、勾配ベクトルの算出(S102)から繰り� ��される。

 以上のようにして、対象ブロック(対象ブ ロック10)の周囲に位置する周囲ブロック(周� �ブロック30)に含まれる画素であって、エッ� �検出処理の対象となる全ての画素(図4の左斜 め下方向に網掛けされた画素)に対して、エ� �ジ検出処理が実行され、エッジが検出され� �画素の位置と、そのエッジベクトルとがメ� �リに格納される。

 また、本実施の形態によると、画像デー� ��のブロックを符号化するのに用いられるイ� ��トラ予測モードセットは、近接する前に符� ��化及び復号されたブロックに実行されるエ� ��ジ検出処理の結果に依存する。すなわち、� ��象ブロックからエッジを検出するのではな� ��、周囲ブロックからエッジを検出し、その� ��出結果に基づいて対象ブロックを符号化す� ��際のイントラ予測モードセットを決定する� ��

 なお、上述のエッジ検出処理を画像復号� ��置300が実行する場合も同様である。具体的� ��は、エッジ検出部201、方向判定部202及びノ� ��ム判定部203のそれぞれが行う処理を、エッ� ��検出部401、方向判定部402及びノルム判定部4 03がそれぞれ実行する。

 続いて、イントラ予測モードセットを決� ��する処理について図8を用いて説明する。図 8は、適切なイントラ予測モードセットを決� �する処理を示すフローチャートである。

 まず始めに、図7のエッジ検出処理が、エ ッジ検出部201、方向判定部202及びノルム判定 部203によって実行される(S201)。次に、予測モ ードセット決定部204は、少なくとも1つのエ� �ジベクトルが格納されているか、すなわち� �対象ブロックを指すエッジに対応する方向� �閾値より大きなノルムを有するベクトルが� �るかを判定する。

 少なくとも1つのエッジベクトルが格納さ れている場合、すなわち、エッジが検出され た場合(S202でYes)、イントラ予測モードセット 決定部204は、利用可能なイントラ予測モード セットとして、新たな予測モードセットを選 択する(S203)。新たな予測モードセットは、上 述のように、8つの従来の予測方向(H.264符号� �規格の方向性予測モード)と新たなエッジ予� ��モードとで構成される。

 エッジベクトルが1つも格納されていない 場合、すなわち、エッジが検出されなかった 場合(S202でNo)、イントラ予測モードセット決� ��部204は、利用可能なイントラ予測モードの� ��ットとして、従来の予測モードセットを選� ��する(S204)。従来の予測モードセットは、上� ��のように、H.264符号化器各の9つの従来の予� ��モード、すなわち、8つの従来の予測方向と 従来のDC予測モードとで構成される。

 以上のようにして、本実施の形態の画像� ��号化装置100は、エッジが検出されたか否か� ��応じて、イントラ予測モードセットを決定� ��る。すなわち、エッジが検出された場合は� ��エッジ予測モードを含むイントラ予測モー� ��セットを選択し、エッジが検出されない場� ��は、DC予測モードを含むイントラ予測モー� �セットを選択する。

 なお、続く処理では、予測モード選択部2 05は、イントラ予測部112を用いてイントラ予� ��を実行するために、利用可能なイントラ予� ��モードのセットから1つのイントラ予測モー ドを選択する。

 続いて、本実施の形態の画像符号化装置1 00のイントラ予測に基づいた符号化処理につ� ��て図9を用いて説明する。図9は、本実施の� �態において、イントラ予測に基づいて画像� �は映像データを符号化する処理を示すフロ� �チャートである。

 図9に示す符号化処理は、16×16画素のマク ロブロック毎に実行される(S301)。さらに、マ クロブロックを可能なサイズに分割した分割 サイズ(4×4画素、8×8画素、16×16画素)毎に実� �される(S302)。さらに、分割サイズを分割し� �ブロック(4×4画素)毎に実行される(S303)。

 イントラ予測モード決定部110は、図8を用 いて説明した処理を実行し、予測モードセッ ト決定部204は、適したイントラ予測モードセ ットを選択する(S304)。そして、イントラ予測 モードセットに含まれる各予測モードに対し て以下の処理(S305~S314)を実行することで、最� ��な予測モードが選択される。

 具体的には、まず、予測モード選択部205� ��、イントラ予測モードセットに含まれる9つ の予測モードのうち1つの予測モードを、対� �ブロックBに対する対象予測モードとして選� ��する(S305)。選択した対象予測モードは、イ� ��トラ予測部112に出力される。

 イントラ予測部112は、対象予測モードに従� ��て、対象ブロックBに対応する予測ブロック B _pred を生成する(S306)。生成した予測ブロックB _pred は、減算部102に出力される。

 減算部102は、対象ブロックBと予測ブロック B _pred との差分、すなわち、予測残差(予測誤差)B _res =B-B _pred を算出する(S307)。算出した予測残差B _res は、周波数変換部103に出力される。

 周波数変換部103は、算出した予測残差B _res を周波数変換し、周波数変換された予測残差 (周波数変換係数)を量子化部104に出力する。� ��子化部104は、周波数変換された予測残差を� ��子化する(S308)。量子化により得られた量子� ��周波数変換係数QTは、逆量子化部106と可変� �符号化部105とに出力される。

 逆量子化部106は、量子化周波数変換係数QT� �逆量子化し、逆量子化された周波数変換係� �を逆周波数変換部107に出力する。そして、� �周波数変換部107は、逆量子化された周波数� �換係数を逆周波数変換することで、復号さ� �た差分ブロックB _resq を生成する(S309)。生成された差分ブロックB _resq は、加算部108に出力される。加算部108は、差 分ブロックB _resq と予測ブロックB _pred とを加算することで、復号ブロックB _pred +B _resq を生成する。

 符号化モード決定部118は、原ブロックであ� ��対象ブロックBと再構成ブロックB _pred +B _resq との差分である符号化歪みD=B-(B _pred +B _resq )と、予測残差B _res と予測モードとを符号化するのに必要とされ るビットレートの和であるビットレートR=R _res +R _mode とを算出する(S310)。さらに、符号化モード決 定部118は、算出した符号化歪みDとビットレ� �トRとを用いて、コスト関数J=D+λRを算出する (S311)。

 符号化モード決定部118は、算出したコス� ��関数Jの対象値が、前に格納されたコスト関 数の最小値Jminより小さいか否かを判定する(S 312)。算出したコスト関数Jが最小値Jminより小 さい場合(S312でYes)、符号化モード決定部118は 、対象予測モードと対象分割サイズとをメモ リに格納し、前に格納した最小値Jminを、今� �算出したコスト関数Jの対象値に更新する(S31 3)。

 続いて、次の予測モードがある場合、す� ��わち、決定された予測モードセットに含ま� ��る複数の予測モードのうち、まだコスト関� ��Jが算出されていない予測モードがある場合 (S314でYes)、予測モード選択部205は、コスト関 数Jが算出されていない予測モードを1つ選択� ��る。そして、選択された予測モードを対象� ��測モードとして、予測ブロックの生成処理( S306)から繰り返される。

 全ての予測モードに対するコスト関数Jが 算出された場合で(S314でNo)、かつ、次のブロ� ��クがある場合(S315でYes)、次のブロックを対� ��ブロックとして、予測モードセットの決定� ��理(S304)から繰り返される。なお、次のブロ� ��クがある場合とは、1つのマクロブロックに 含まれる全てのブロックのうち、コスト関数 の算出を行っていないブロックがある場合で ある。

 次のブロックがない場合で(S315でNo)、次� �分割サイズがある場合(S316でYes)、マクロブ� �ックを次の分割サイズで分割し、分割によ� �得られたブロック毎に以上の処理が繰り返� �れる。なお、次の分割サイズがある場合と� �、1つのマクロブロックを分割可能な複数の� ��割サイズのうち、ブロック毎の処理が行わ� ��ていない分割サイズがある場合である。例� ��ば、1つのマクロブロックは、3通りの分割� �イズ(4×4画素、8×8画素、16×16画素)に分割す� ��ことができるので、3通りの分割サイズのそ れぞれに対してブロック毎の処理が完了する まで処理(S302~S316)が繰り返される。

 全ての分割サイズに対する処理が完了す� ��と(S316でNo)、符号化モード決定部118は、コ� �ト関数の最も低い値を有する分割サイズと� �対応する予測モードとを選択する(S317)。選� �した分割サイズと予測モードとを示す情報� �、可変長符号化部105に出力される。

 最後に、可変長符号化部105は、選択され� ��分割サイズ、予測モード、及び、対応する� ��差とを符号化し、符号化により生成された� ��果を出力ビットストリームに書き込む(S318)� ��なお、可変長符号化部105は、例えば、統計� ��符号化器を用いて符号化する。

 このとき、符号化される予測モードを示� ��情報(モード指示)は、複数の方向予測モー� �が選択された場合は選択された方向予測モ� �ドを示す情報であり、DC予測モード又はエッ ジ予測モードが選択された場合はDC予測モー� ��及びエッジ予測モードのいずれかを示す情� ��である。すなわち、可変長符号化部105は、1 つの符号語をDC予測モードとエッジ予測モー� ��との双方に割り当てる。

 そして、次のマクロブロックがある場合( S319でYes)、次のマクロブロックに対して以上� ��示す処理(S301~S319)は繰り返される。

 以上のようにして、本実施の形態の画像� ��号化装置100は、ブロック毎に予測モードを� ��定し、入力映像データを符号化する。上述� ��ように、予測モードを選択する前に予測モ� ��ドセットが決定される。本実施の形態では� ��選択候補となる予測モードセットは、従来� ��予測モードセットと新たな予測モードセッ� ��とがあり、新たな予測モードセットには、D C予測モードの代わりにエッジ予測モードが� �まれる。

 このとき新たな予測モードであるエッジ� ��測モードを示す情報は、DC予測モードを示� �情報と同一の符号語を用いて符号化される� �したがって、この符号語を受け取った復号� �側で、DC予測モードであるかエッジ予測モー ドであるかを判定する。これにより、エッジ 予測モードを示す情報に新たな符号語を割り 当てる必要がなくなるので、符号量の増加を 防ぐことができる。

 以下では、新たなエッジ予測モードにつ� ��てより詳細に説明する。

 上述したように周囲ブロックに含まれる� ��勾配の算出処理の対象となる画素毎に、勾� ��が算出され、イントラ予測部112は、最大ノ� ��ムを有するベクトルと、最大ノルムを有す� ��ベクトルが得られた画素に隣接する画素の� ��クトルとを用いてエッジの角度を算出する� ��具体的には、隣接画素のそれぞれに対して� ��対応するエッジベクトル(又は勾配ベクトル )のノルムは、最大ベクトルのノルムと比較� �れる。隣接画素のエッジベクトルのノルム� �、最大ベクトルのノルムの50%より大きい場� �のみ、当該隣接画素のエッジベクトルを利� �するためにメモリに格納する。そして、イ� �トラ予測部112は、メモリに格納された最大� �クトルと周囲ベクトルとのそれぞれの角度� �平均を、新たなエッジ予測モードの方向の� �度αとして算出する。具体的には、以下の図 10に示すフローチャートに従って実行される� ��

 図10は、本実施の形態においてエッジの� �度を算出する処理を示すフローチャートで� �る。この処理は、図7を用いて説明したエッ� ��検出処理の結果に依存する。図7に示すエッ ジ検出処理を行った結果、閾値より大きいと 判定された1つ以上のエッジベクトルと対応� �る画素の位置とが格納される。

 ノルム判定部203は、エッジ検出処理で検� ��された最大エッジベクトルの角度を算出し� ��メモリに格納する(S401)。そして、以下の処� ��は、最大エッジベクトルが算出された画素� ��隣接する全ての画素に対して実行される(S40 2)。すなわち、ノルム判定部203は、最大エッ� ��ベクトルが算出された画素に隣接する画素� ��うち、1つの画素の位置を対象画素位置とし て以下の処理を行う。

 次に、ノルム判定部203は、対象画素位置� ��対応するエッジベクトルがノルム判定部203� ��有するメモリに格納されるか否かを判定す� ��(S403)。すなわち、閾値より大きいノルムを� ��し、かつ、対象ブロックを指すエッジベク� ��ルが格納されているか否かを判定する。

 エッジベクトルが格納されている場合(S40 3でYes)、ノルム判定部203は、このベクトルの� ��ルムを算出する(S404)。そして、ノルム判定� ��203は、算出したノルムと最大エッジベクト� ��のノルムとを比較する(S405)。算出したノル� ��が最大ノルムの50%より大きい場合(S405でYes)� ��ノルム判定部203は、対象画素位置のベクト� ��の角度を算出し、メモリに格納する(S406)。

 以上の処理(S403~S406)を全ての対象画素位� �に対して実行する。次の画素がない場合、� �なわち、全ての対象画素位置に対して処理� �終了した場合(S407でNo)、ノルム判定部203は、 メモリに格納された角度を平均することで、 エッジの角度を算出する(S408)。

 なお、図10に示すような検出したエッジ� �角度を決定する上述の処理は、単なる例示� �ある。本発明は、エッジを検出し、又は、� �の方向を決定するいかなる特定の方法にも� �定されない。例えば、エッジの角度は、最� �エッジベクトルのみの方向から決定されて� �よい。あるいは、より多く又はより少ない� �の近接するベクトル、又は、エッジに沿っ� �他のベクトルの方向から決定されてもよい� �また、メモリに格納するベクトルはエッジ� �クトルであるとしたが、勾配ベクトルであ� �てもよい。

 予測モード選択部205がエッジ予測モード� ��選択した場合、イントラ予測部112は、以上� ��ようにして決定したエッジの角度、すなわ� ��、エッジの方向を予測方向として予測ブロ� ��クを生成する。なお、以上のエッジの角度� ��出処理をイントラ予測部112が行ってもよい� ��このとき、イントラ予測部112は、エッジ検� ��部201、方向判定部202及びノルム判定部203に� ��当する処理部を有する。

 なお、上述のエッジの角度算出処理を画� ��復号装置300が実行する場合も同様である。� ��体的には、エッジ検出部201、方向判定部202� ��びノルム判定部203のそれぞれが行う処理を� ��エッジ検出部401、方向判定部402及びノルム� ��定部403がそれぞれ実行する。

 続いて、本実施の形態のエッジ予測モー� ��に従って予測ブロックを生成する動作につ� ��て図11A~図13を用いて説明する。

 図11A、図11B及び図12は、本実施の形態の� �ッジ予測モードを示す概略図である。この� �ードによれば、対象ブロックは、ある方向� �沿って前に符号化及び復号された映像デー� �を外挿又は内挿することによって予測され� �。従来の方向のイントラ予測モード(図1B)は� ��イントラ予測の方向が固定的であったのに� ��して、エッジ予測モードは、任意の方向に� ��って対象ブロックを予測することができる� ��本実施の形態によれば、予測の方向は、前� ��符号化及び復号された画像データ内のエッ� ��を検出することによって決定される。

 図11Aは、検出されたエッジの方向50が対� �ブロック10の上境界を横切る場合の図である 。図11Aに示すように、対象ブロック10は、前� ��符号化及び復号された映像データを外挿す� ��ことによって、具体的には、検出されたエ� ��ジの方向50に沿って参照画素20を連続させる ことによって、予測される。すなわち、イン トラ予測部112は、エッジの方向から決定され る参照画素20の画素値(あるいは、2つ以上の� �照画素20から算出される補間値)を、予測ブ� �ックを構成する画素の画素値(予測値)とする ことで、予測ブロックを構成する。

 イントラ予測部112は、エッジのシャープ� ��を保つために、参照画素20の間の線形補間� �、画素の予測値を算出するために用いる。� �11Aに示すように、決定された角度αに沿った 参照画素の平行移動は、整数画素位置に一致 しない。

 位置(x,y)で予測する各画素に対して、参照� �置x-δ _x は、エッジの方向50によって示されるエッジ� ��角度αに依存して見つけられる。そして、� �照位置の参照値は、2つの周囲の整数参照画� ��aとbとを線形補間することによって算出さ� �る。このように算出された参照値は、予測� �れる画素の予測値pとして用いられる。なお� ��利用可能な参照画素は、対象ブロック10に� �接隣接する参照画素20である。

 予測値pは、2つの参照画素の画素値aとbと の重み付け加算和として式3によって算出さ� �る。

 なお、w _a =δ _x -floor(δ _x )、w _b =ceil(δ _x )-δ _x 、かつδ _x =ycotαである。

 水平方向の増加量δ _x は、検出されたエッジの角度αと、ブロック� ��の予測される画素の位置(x,y)とから算出さ� �る。なお、図11Aにおいて、位置(0,0)は、対象 ブロック10に隣接する参照画素20の左上角の� �置である。よって、同図において、予測値p� ��画素位置は、(3,2)で示される。

 画素を通過し、検出されたエッジに平行な� ��(エッジの方向51)が、対象ブロックの上境界 ではなく左境界を横切る場合、式3に類似の� �が用いられる。図11Bは、検出されたエッジ� �方向51が対象ブロック10の左境界を横切る場� ��の図である。ここで、垂直方向の増加量は� ��δ _y であり、参照画素値cとdとを用いて位置(x,y)� �画素に対する予測値pは、式4を用いて算出さ れる。

 なお、w _c =δ _y -floor(δ _y )、w _d =ceil(δ _y )-δ _y 、かつδ _y =xtanαである。

 なお、図11Bにおいて、位置(0,0)は、対象� �ロック10に隣接する参照画素20の左上角の位� ��である。よって、同図において、予測値pの 画素位置は、(4,4)で示される。

 図12に示すように、画素を通過し、検出� �れたエッジに平行な線(エッジの方向52)が、� ��象ブロックの左境界を横切るだけでなく、� ��の上境界、又は、対象ブロックの右に位置� ��るブロックの上境界を横切る場合、2つの関 連のある参照位置(a及びbと、c及びd)があって もよい。この場合、両方の参照位置が予測に 用いられるように、対象ブロック10は、外挿� ��はなく、前に符号化及び復号された映像デ� ��タの内挿によって予測されてもよい。予測� ��は、2つの参照位置の補間された画素値の線 形補間の結果である。

 具体的には、予測値pは、例えば、式5の� �うに、4つの参照画素値a、b、c及びdの重み付 け加算和として算出されてもよい。

 なお、w _up =N-y、w _left =N-x、かつ、N=4又はN=8であり、Nは、ブロック� ��イズに依存する。

 別の例として、2つの参照位置の本当の補間 、すなわち、2つの参照位置間のユークリッ� �距離であるw _up とw _left を算出してもよい。

 以上のように、本実施の形態では、イン� ��ラ予測部112は、検出されたエッジの方向に� ��って、対象ブロックに近接するブロックに� ��まれる画素に対応する、前に生成(符号化及 び復号)された復号画像データ(すなわち、参� ��画素(復号画素とも記載))を外挿又は内挿す� ��ことで予測ブロックを生成する。このとき� ��外挿又は内挿は、線形の外挿又は内挿であ� ��。

 より具体的には、予測ブロックを構成する� ��測画素毎に、複数の参照画素の画素値の少� ��くとも2つの重み付け加算和を算出し(式3、� ��4又は式5参照)、算出した重み付け加算和を� ��挿又は内挿することで、予測ブロックを生� ��する。このときの重み(w _a 、w _b 、w _c 及びw _d )は、エッジの方向に基づいて決定される。� �えば、重みに対応する参照画素から、予測� �素を通る直線であって、エッジの方向の直� �(エッジの方向50など)までの距離が小さいほ� ��、大きな値になるように決定される。

 図13は、本実施の形態におけるエッジ予� �モードに従って予測値を算出する(すなわち� ��予測ブロックを生成する)方法を示すフロー チャートである。

 まず始めに、例えば、図10を用いて説明� �た処理に従って、イントラ予測部112は、エ� �ジの角度を決定する(S501)。以下の処理は、� �測される対象ブロックの全ての画素に対し� �実行される(S502)。

 イントラ予測部112は、例えば、図11Aに示す� ��うに、対象画素から、決定された角度が示� ��方向に上部の参照画素があるか否かを判定� ��る(S503)。上部の参照画素がある場合(S503でYe s)、イントラ予測部112は、上部の参照値r _up を式3に従って算出する(S504)。なお、ここで� �、式3においてpをr _up に置き換えることで上部の参照値r _up を算出する。

 続いて、イントラ予測部112は、例えば、図1 1Bに示すように、対象画素から、決定された� ��度が示す方向に左の参照画素があるか否か� ��判定する(S505)。左の参照画素がある場合(S50 5でYes)、イントラ予測部112は、左の参照値r _left を式4に従って算出する(S506)。なお、ここで� �、式4においてpをr _left に置き換えることで左の参照値r _left を算出する。

 そして、イントラ予測部112は、対象画素の� ��測値pを上部の参照値及び左の参照値の利用 可能性に従って算出する(S507)。両方が利用可 能である場合、予測値pは、p=(w _up r _up +w _left r _left )/(w _up +w _left )により算出される。上部の参照値又は左の� �照値のみが利用できる場合、予測値pはそれ� ��れ、p=r _up 及びp=r _left である。双方共に利用できない場合、予測値 pは、前に予測された、近接画素の平均値、� �なわち、式6に従って算出される。

 なお、式6において、p(x,y)は、位置(x,y)にお� ��る予測値を表している。

 次の画素がある場合(S508でYes)、以上の処� ��(S503~S507)は、繰り返される。すなわち、対� �ブロックに含まれる全ての画素について予� �値が算出されるまで以上の処理が実行され� �。

 以上のように、本実施の形態の画像符号� ��装置100は、エッジ予測モードが選択した場� ��、検出したエッジの方向に沿って予測値を� ��出することで予測ブロックを生成すること� ��できる。

 なお、上述の予測値の算出処理を画像復� ��装置300が実行する場合も同様である。具体� ��には、イントラ予測部112が行う処理を、イ� ��トラ予測部305が実行する。

 また、以上に説明したように本実施の形� ��では、1つの方向に沿って予測ブロックを生 成したが、複数の方向に沿って予測ブロック を生成してもよい。

 図14は、本実施の形態において、予測画素� �2つ以上の方向に従って予測されることを示� ��概略図である。例えば、同図に示すように� ��異なる方向であるが、対象ブロックを指す� ��向を有する2つの強いエッジ61及び62が2つの� ��接しない対象画素63及び64に検出された場合 、画素値は、前に復号された参照画素20を、2 つの方向のいずれか、又は、より好ましくは 、2つのエッジの方向65及び66を合わせた方向� ��外挿又は内挿することによって予測されて� ��よい。例えば、2つのエッジの方向65及び66� �合わせた方向は、式5のように重み付け加算� ��を算出することにより決定されてもよい。� ��のとき、水平方向の増加分δ _x 及び垂直方向の増加分δ _y はそれぞれ、第1及び第2エッジの方向65及び66 (角度)から算出される。

 なお、本実施の形態では、予測に用いら� ��るエッジ及び方向の数に対しては限定され� ��ことはなく、また、個々の結果を合成する� ��法に対しても限定されることはない。

 これらの複数のエッジのそれぞれのシャ� ��プさを保護するために、重み付け加算和の� ��出に用いられる重みは、検出されたエッジ� ��それぞれのまっすぐな延長線までの予測さ� ��る各予測画素からの距離に従って計算され� ��もよい。例えば、重みのそれぞれは、重み� ��対応する参照画素(図14のa、b、c及びd)から� �少なくとも2つのエッジのいずれかの延長線� ��での距離が小さいほど、大きな値になるよ� ��に決定される。

 特に、重みw _left 及びw _up は、対象ブロックの左のブロックで検出され たエッジ(又は、エッジの延長線)が通過する� ��ての画素に対して、それぞれ1及び0に設定� �れてもよい。逆に、重みw _left 及びw _up は、対象ブロックの上のブロックで検出され たエッジ(又は、エッジの延長線)が通過する� ��ての画素に対して、それぞれ1及び0に設定� �れてもよい。すなわち、重みのそれぞれは� �重みに対応する参照画素(図14のa、b、c及びd) から、少なくとも2つのエッジのいずれかが� �出された復号ブロックまでの距離が小さい� �ど、大きな値になるように決定される。な� �、残りの画素、すなわち、検出されたエッ� �(又は、エッジの延長線)のいずれも通過しな い画素に対する重みは、上述のように予測画 素からの距離に基づいて設定されてもよい。

 次に、本実施の形態の画像復号装置300の� ��ントラ予測を用いた復号処理について図15� �用いて説明する。図15は、本実施の形態にお けるイントラ予測に基づいて画像及び映像デ ータを復号する処理を示すフローチャートで ある。

 図15に示す復号処理は、16×16画素のマク� �ブロック毎に実行される(S601)。まず、分割� �イズが、入力ビットストリームから読み出� �れ、すなわち、統計的復号器を用いて復号� �れる(S602)。そして、分割サイズに従って対� �マクロブロックのブロック毎に復号処理は� �行される(S603)。

 入力ビットストリームから対象ブロック� ��予測モードと符号化された予測誤差を示す� ��差情報とが読み出される(S604)。読み出され� ��予測モードは、制御部307と、スイッチ308を� ��してイントラ予測部305又は動き補償部306に� ��力される。残差情報は、逆量子化部301に出� ��される。

 次に、イントラ予測部305又は動き補償部3 06は、読み出された予測モードに基づいて、� ��象ブロックに対応する予測ブロックを生成� ��る(S605)。なお、この予測ブロックの生成処� ��のうち特にイントラ予測部305が実行する処� ��については、図16を用いてより詳細に後で� �明する。

 逆量子化部301は、残差情報を逆量子化し� ��逆量子化された残差情報を逆周波数変換部3 02に出力する。そして、逆周波数変換部302は� ��逆量子化された残差情報を逆周波数変換す� ��(S606)。逆周波数変換により得られた復号差� ��画像は加算部303に出力される。

 加算部303は、予測ブロックと復号差分画� ��とを加算することで対象ブロックを再構成� ��る(S607)。加算部303によって生成された復号� ��像は、フレームメモリ304に格納され、参照� ��クチャとしてイントラ予測部305又は動き補� ��部306によって用いられる。

 そして、次のブロックがある場合(S608でYe s)、次のブロックに対して予測モードと予測� ��差との読み出し処理(S604)から繰り返される� ��次のブロックがない場合(S608でNo)、かつ、� �のマクロブロックがある場合(S609でYes)、次� �マクロブロックに対して分割サイズの読み� �し処理(S602)から繰り返される。

 次に、本実施の形態の画像復号装置300の� ��ントラ予測処理について図16を用いて説明� �る。図16は、本実施の形態におけるイントラ 予測処理を示すフローチャートである。なお 、同図に示すイントラ予測処理は、予測ブロ ックを生成する際(図15のS605)にイントラ予測� ��305によって行われる。

 予測モード判定部404は、予測モードが2で あるか否か、すなわち、予測モードがDC予測� ��ード又はエッジ予測モードを示しているか� ��かを判定する(S701)。予測モードが2である場 合(S701でYes)、エッジ検出部401、方向判定部402 及びノルム判定部403は、エッジ検出処理(図7) を実行する(S702)。

 エッジが検出された場合(S703でYes)、予測� ��ード判定部404は、エッジ予測モードを選択� ��、予測ブロック生成部405は、エッジ予測モ� ��ドに従って予測ブロックを生成する(S704)。� ��お、このときの予測ブロックの生成処理は� ��図13を用いて説明した通りである。

 エッジが検出されない場合(S703でNo)、予� �モード判定部404は、DC予測モードを選択し、 予測ブロック生成部405は、従来のDC予測モー� ��に従って予測ブロックを生成する(S705)。

 予測モードが2ではない場合(S701でNo)、予� ��モード判定部404は、予測モードが示す方向� ��測モードを選択し、予測ブロック生成部405� ��、従来の方向予測モードに従って予測ブロ� ��クを生成する(S706)。

 以上のように、本実施の形態の画像復号� ��置300は、対象ブロックの予測モードを判定� ��、イントラ予測モードのモードが2である場 合、すなわち、DC予測モードかエッジ予測モ� ��ドかを示す予測モードである場合に、エッ� ��検出処理を行う。そして、エッジが検出さ� ��た場合に、予測モードをエッジ予測モード� ��あると判定し、エッジが検出されない場合� ��、予測モードをDC予測モードであると判定� �る。

 これにより、エッジ予測モードに従って� ��号化されたビットストリームを正しく復号� ��ることができる。また、常にエッジ検出処� ��を行うのではなく、エッジ検出処理を行う� ��合を制限するので画像復号装置300の処理負� ��を軽減することができ、復号処理に多くの� ��間が費やされることを防ぐことができる。

 以上のように、本実施の形態の画像符号� ��装置100及び画像復号装置300は、イントラ予� ��を行う際に新たなエッジ予測モードを利用� ��ることができる。これにより、特に、シャ� ��プな線形エッジを含む符号化対象ピクチャ� ��符号化する際に、符号化効率をより高める� ��とができる。

 また、本実施の形態の画像符号化装置100� ��、新たなエッジ予測モードを示す情報をDC� �測モードを示す情報として符号化する。す� �わち、従来のDC予測モードと新たなエッジ予 測モードとを伝送する際に、全く同一の符号 を用いる。これにより、新たなエッジ予測モ ードを導入したことに伴う符号量は増加しな い。

 さらに、本実施の形態の画像符号化装置1 00は、対象ブロックの周囲のブロックからエ� ��ジの方向を検出するために、エッジの方向� ��どのエッジ予測モードに必要な情報を符号� ��しない。さらに、画像復号装置300は、画像� ��号化装置100と同様にエッジ検出処理を行う� ��理部を備えることで、エッジ予測モードに� ��要な情報を伝送する必要もなくなる。

 したがって、本実施の形態の画像符号化� ��置100と画像復号装置300とを備えるコーデッ� ��装置では、新たなイントラ予測モードを導� ��するときのいかなる追加的な伝送オーバー� ��ッドも避けることができる。

 図17A、図17B及び図18は、本実施の形態の� �像符号化装置100による効果を説明するため� �図である。図17Aは、フォアマンのシーケン� �(CIF:Common Intermediate Format(解像度352×288))の最 初の10フレームを符号化したときのPSNR(Peak Si gnal-to-Noise Ratio)とビットレートとの関係を示 す図である。図17Bは、スピンカレンダーのシ ーケンスを符号化したときのPSNRとビットレ� �トとの関係を示す図である。また、図18は、 様々なシーケンスに対するエッジ予測モード を用いて符号化されたブロックの割合とビッ トレート減少率とを示す図である。

 例えば、スピンカレンダーシーケンスを� ��号化した場合には、ビットレートの減少率� ��8%を超えており、多くのシャープなエッジ� �含むシーケンスに対して、充分に符号化効� �が高められたことを示す。また、フォアマ� �シーケンスを符号化した場合は、300フレー� �(シーケンス全部)よりもシーケンスの最初の 10フレームだけに行われた場合に、より符号� ��効率が高められたことが分かった(6.44%のビ� ��トレートの減少)。なぜなら、フォアマンシ ーケンスは、シーケンスの最初にシャープな 線形エッジを多く含むためである。これらの フレームでは、エッジ予測モードがよく選択 され(平均でブロックのおよそ15%)、エッジが� ��り適切に検出される。他方で、シーケンス� ��終わりにはほとんどエッジはない。これら� ��フレームでは、エッジ予測モードは、ほと� ��ど用いられていない(平均でブロックのおよ そ3~4%)。このため、シーケンス全体での平均� ��ットレートの減少率は、3.37%である。

 以上のことから、エッジ予測の実行は、� ��きく画像内容に依存していることも示して� ��る。すなわち、ほとんどエッジのない、又� ��、ボケたエッジを含む画像では、エッジ予� ��モードは、ほとんど用いられない。本実施� ��形態の画像符号化方法は、そのようなシー� ��ンスにとって、従来の符号化方法と比較し� ��有利な点はないが、不利な点もない。なぜ� ��ら、予測モードセットには、DC予測モード� �ほとんど常に用いられるからである。その� �うな画像は、H.264の9つの従来の予測モード� �符号化される。

 次の表は、ビットレートの減少率とシミ� ��レートされたシーケンスのPSNR改良度との点 から見た高精度エッジ予測技術の結果を示す 。

 表1に示すように、結果は、異なるシーケ ンス間で大きく異なっている。エッジ予測モ ードの使用の頻度と、最終的なゲインとの間 に線形の関係はないが、最も良いゲインは、 エッジ予測モードで簡単に予測されたエッジ を多く含む画像に対して得られている。

 以上、本発明の画像符号化装置、画像復� ��装置及びこれらの方法について、実施の形� ��に基づいて説明したが、本発明は、これら� ��実施の形態に限定されるものではない。本� ��明の趣旨を逸脱しない限り、当業者が思い� ��く各種変形を当該実施の形態に施したもの� ��、本発明の範囲内に含まれる。

 例えば、本実施の形態によれば、ソーベ� ��演算子を用いて勾配を算出することで、エ� ��ジの検出を行った。しかしながら、本発明� ��、この点には限定されない。代わりに、検� ��されたエッジの方向性が算出されれば、ど� ��ようなエッジ検出ツールが用いられてもよ� ��。ソーベル演算子は、可能なエッジ検出技� ��の一例に過ぎない。例えば、式7に示すプレ ウィット演算子を用いてもよい。

 また、ローパスフィルタ(LPF:Low Pass Filter )処理を行ったブロックに対して勾配を算出� �てもよい。具体的には、ローパスフィルタ� �構成するフィルタ係数とソーベル演算子又� �プレウィット演算子とを畳み込んだ演算子� �用いて勾配を算出することができる。した� �って、例えば、本実施の形態では、エッジ� �出部201又は401は、ソーベル演算子のみ、プ� �ウィット演算子のみ、ソーベル演算子とロ� �パスフィルタとの合成フィルタ、又は、プ� �ウィット演算子とローパスフィルタとの合� �フィルタの4種類の中から選択して、勾配を� ��出してもよい。いずれのフィルタを選択す� ��かは、例えば、外部からのユーザの指示、� ��は、対象ピクチャの特徴に基づいて決定さ� ��る。例えば、対象ピクチャに多くのノイズ� ��含まれる場合、すなわち、対象ピクチャが� ��坦な画像でない場合は、ローパスフィルタ� ��含むフィルタを用いる。

 また、本実施の形態の画像符号化装置100� ��、ノルム判定部203又は403は、予め定められ� ��閾値を用いてノルムの判定を行ったのに対� ��て、シーケンス、ピクチャ、スライス、又� ��、ブロック単位で変更してもよい。この場� ��、決定した閾値をビットストリームに含め� ��ことで復号器側に伝送する必要がある。例� ��ば、閾値を決定する単位に応じて、シーケ� ��スパラメータセット(SPS)、ピクチャパラメ� �タセット(PPS)、又はスライスヘッダ(SH)など� �閾値を示す情報は含められる。

 図19は、本実施の形態とは異なる形態の� �像符号化装置500の構成の一例を示すブロッ� �図である。同図の画像符号化装置500は、図2� ��画像符号化装置100と比べて、可変長符号化� ��105の代わりに可変長符号化部505を備え、参� ��ピクチャメモリ109の代わりに参照ピクチャ� ��モリ509を備え、イントラ予測モード決定部1 10の代わりにイントラ予測モード決定部510を� ��え、さらに新たに閾値決定部519を備える点� ��異なっている。以下では、図2の画像符号化 装置100と同じ点は説明を省略し、異なる点を 中心に説明する。

 また、図19に示すように、画像符号化装� �500は、外部からエッジ検出フラグを受け取� �てもよい。エッジ検出フラグは、エッジ検� �処理の有効又は無効を切り替えるためのフ� �グである。例えば、シーケンス、ピクチャ� �又はスライス単位でエッジ検出処理の有効� �は無効を切り替えることができる。

 可変長符号化部505は、可変長符号化部105� ��処理に加えて、さらに、閾値決定部519によ� ��て決定された閾値と、エッジ検出フラグと� ��ビットストリームに含める。閾値を示す情� ��及びエッジ検出フラグは、例えば、SPS、PPS� ��SHなどに含められる。

 参照ピクチャメモリ509は、加算部108によ� ��て生成された復号画像LDを格納する。そし� �、イントラ予測モード決定部510、動き検出� �111、イントラ予測部112、及び、動き補償部11 3だけでなく、閾値決定部519にも格納してい� �復号画像LDを参照ピクチャとして出力する。

 イントラ予測モード決定部510は、イント� ��予測モード決定部110の処理に加えて、エッ� ��検出フラグを受け取る。そして、イントラ� ��測モード決定部510は、受け取ったエッジ検� ��フラグに応じて、エッジ検出処理の有効又� ��無効を切り替える。具体的には、エッジ検� ��フラグがエッジ検出処理の有効を示す場合� ��は、上述したイントラ予測モード決定部110� ��同様の処理を行う。エッジ検出フラグがエ� ��ジ検出処理の無効を示す場合には、イント� ��予測モードセットは常に従来のDC予測モー� �と8つの方向予測モードとを含む予測モード� ��ットに設定する。すなわち、エッジの検出� ��理を行わない。

 また、イントラ予測モード決定部510は、� ��値決定部519によって決定された閾値を用い� ��ノルムの判定を行う。具体的なノルムの判� ��処理については上述した内容と同じである� ��め、説明を省略する。

 閾値決定部519は、参照ピクチャメモリ509� ��ら参照ピクチャを読み出し、読み出した参� ��ピクチャの画像特徴量を算出することで、� ��値を決定する。参照ピクチャの画像特徴量� ��、例えば、エッジ検出処理が行われる参照� ��クチャの分散、強度などである。例えば、� ��散が大きいほど、ノルム判定に用いる閾値� ��大きな値になるように決定する。分散が大� ��いということは、参照ピクチャに多くのノ� ��ズが含まれることであり、エッジが誤検出� ��れてしまう可能性が大きくなる。したがっ� ��、ノルム判定に用いる閾値を大きくするこ� ��で、エッジの誤検出される可能性を小さく� ��ることができる。

 また、閾値決定部519は、前のピクチャに� ��するエッジ検出処理の結果に基づいて閾値� ��決定してもよい。例えば、前のピクチャに� ��して異なる方向のエッジが多く検出される� ��ど、閾値が大きな値になるように決定する� ��異なる方向のエッジが多く検出されるとい� ��ことは、ノイズなどの影響で正確なエッジ� ��検出されていない可能性があるので、ノル� ��判定に用いる閾値を大きくすることで、エ� ��ジが誤検出される可能性を小さくすること� ��できる。

 以上のように、図19に示す画像符号化装� �500は、閾値を適応的に変更することができ� �ので、より適切な閾値を決定することがで� �、より適切な予測ブロックを生成すること� �できる。これにより、符号化歪みなどを削� �することができる。

 また、本発明の効果が充分に得られない� ��坦な画像などに対しては、エッジ検出処理� ��無効にすることができるので、画像符号化� ��置100に対する処理負担を軽減し、符号化処� ��の速度を高めることができる。

 また、エッジ検出フラグを復号器側にも� ��送するので、復号器側で、エッジ検出処理� ��行われていないビットストリームに対して� ��ッジ検出処理が行われることを防ぐことが� ��きる。

 なお、本実施の形態の画像復号装置300で� ��、エッジ検出処理を行うために、図1Aに示� �参照画素20だけではなく、参照画素20を含む� ��ロックに含まれる全画素のデータを、フレ� ��ムメモリ304に格納する必要がある。これに� ��して、周囲のブロックを復号すると同時に� ��すなわち、勾配の算出に必要な参照画素の� ��素値が得られると同時に、勾配の算出処理� ��行い、勾配の算出処理結果だけをフレーム� ��モリ304に格納してもよい。このとき、例え� ��、閾値を超えたノルム(又は、勾配値)のみ� �格納することで、よりメモリ資源を節約す� �ことができる。あるいは、各ブロックの最� �のノルムとその画素位置のみを格納しても� �い。

 この場合、図20に示すように、従来及び� �述の説明と同様に、対象ブロック10の直ぐ上 の画素群72に含まれる画素は、予測ブロック� ��生成する際に参照される参照画素として格� ��される。さらに、周囲ブロック30に含まれ� �画素値ではなく、エッジの方向を算出する� �象となる画素群71の画素に対して算出したノ ルム(又は、勾配値)をフレームメモリ304又は� ��ルム判定部403が備えるメモリなどに格納す� ��。

 これにより、画像復号装置300が備えるメ� ��リ資源を有効に利用することができる。

 また、予測値を算出する上述の方法は、� ��出されたエッジの方向を正式に考慮に入れ� ��、本発明の範囲内で、いかなる他の方法に� ��き換えられてもよい。具体的には、上記の� ��明で用いた参照画素より多くの参照画素、� ��は、別の参照画素を、予測される対象ブロ� ��クに近接する参照画素の代わりに用いても� ��い。

 また、本発明は、H.264映像符号化規格に� �定されず、上述の従来のイントラ予測モー� �セットに限定されない。事実、発明のエッ� �予測モードは、空間予測を用いるいかなる� �ロックベースの映像符号化器に用いられて� �よい。特に、DC予測モードの置き換えとして エッジ予測モードを用いるのではなく、H.264/ AVCの付加的モードとして用いることもできる 。

 また、本発明のエッジ予測モードは、エ� ��ジ予測モードとDC予測モードとを合わせた� �述の伝送とは異なる伝送メカニズムと共に� �いられてもよい。例えば、エッジ予測モー� �は、DC予測モードとは無関係の専用符号語に よって伝送されてもよく、又は、予め定義さ れた方向予測モードの1つ以上の組み合わせ� �伝送されてもよい。

 また、本発明は、映像符号化アプリケー� ��ョンに限られず、ブロックベースの静止画� ��符号化に用いられてもよい。

 また、本発明は、上述したように、画像� ��号化装置、画像復号装置及びこれらの方法� ��して実現できるだけではなく、本実施の形� ��の画像符号化方法及び画像復号方法のそれ� ��れをコンピュータに実行させるためのプロ� ��ラムとして実現してもよい。また、当該プ� ��グラムを記録するコンピュータ読み取り可� ��なCD-ROMなどの記録媒体として実現してもよ� ��。さらに、当該プログラムを示す情報、デ� ��タ又は信号として実現してもよい。そして� ��これらプログラム、情報、データ及び信号� ��、インターネットなどの通信ネットワーク� ��介して配信されてもよい。

 また、本発明は、画像符号化装置及び画� ��復号装置のそれぞれを構成する構成要素の� ��部又は全部を、1個のシステムLSIから構成し てもよい。システムLSIは、複数の構成部を1� �のチップ上に集積して製造された超多機能LS Iであり、具体的には、マイクロプロセッサ� �ROM及びRAMなどを含んで構成されるコンピュ� �タシステムである。

 要約すると、本発明は、画像及び映像デ� ��タの符号化及び復号に関し、特に、前に符� ��化及び復号されたブロックの画像データか� ��対象ブロックを予測する新たな空間予測モ� ��ドに関する。この予測モードによれば、シ� ��ープなエッジを含むブロックは、エッジの� ��確な方向を考慮に入れることでより信頼性� ��高い予測が行われる。さらに、本発明では� ��新たな予測モードは、追加の伝送オーバー� ��ッドを必要としない。なぜなら、(1)エッジ� ��方向は、前に符号化されたブロックから推� ��され、(2)新たな予測モードは、シャープな� ��ッジを含むブロックに対する従来のDC予測� �ードに置き換えることができるためである� �