本発明は、正しく復号できなかった際の� ��ラーコンシールメント処理により画質劣化� ��抑えることができたか否かを復号処理の過� ��で得られる情報から判定して画質劣化度を� ��定する。例えば、エラーコンシールメント� ��効果的に働いていると判断した場合には、� ��しく復号できなかった画像領域に対しても� ��質の劣化が小さいと推定する。一方、エラ� ��コンシールメントが効果的に働いていない� ��判断した場合には、画質劣化が大きいと推� ��する。このようにエラーコンシールメント� ��理後の最終的に視聴者が視聴する画像の状� ��で画質を推定することにより、精度よく画� ��劣化度を推定できる。

 本発明の詳細を、図1を参照して説明する 。図1は、本発明による画質評価装置の構成� �を示すブロック図である。図1に示す画質評� ��装置は、復号処理部11、エラーコンシール� �ント処理部12、動き情報取得処理部(動き情� �処理部)13、シーンチェンジ検出部14、エラー コンシールメント有効性判定処理部15、画質� ��化推定処理部16、および表示処理部17を含む 。

 復号処理部11は、伝送路で伝送された符� �化された画像データ(符号化データ)を復号し て画像を得る処理を行う。符号化方式は、MPE G-2などの動きベクトルにもとづく動き補償フ レーム間予測を含む符号化方式である。エラ ーコンシールメント処理部12は、エラーが生� ��ている画像領域に対して、復号される前の� ��像データに含まれる誤りを隠蔽する処理で� ��るエラーコンシールメント処理を行う。動� ��情報取得処理部13は、復号処理部11から、ビ ットストリーム中の動きベクトルを取得し、 映像の動きの大きさに関する情報を計算する 。シーンチェンジ検出部14は、復号処理部11� �ら入力される情報にもとづいてシーンチェ� �ジ(場面の変化)が発生したか否か判定する処 理を行う。

 エラーコンシールメント有効性判定処理� ��15は、復号処理においてエラーコンシール� �ント処理部によって実行されたエラーコン� �ールメント処理で画質の劣化を防ぐことが� �きたか否か判定する処理を行う。画質劣化� �定処理部16は、画質劣化度を推定し、推定し た画質劣化度を出力する処理を行う。表示処 理部17は、復号処理部11が復号処理によって� �た画像による映像を表示する処理を行う。

 なお、図1には、画質評価を行うブロック の他に、受信装置における画像の復号処理を 行う部分(復号処理部11)や、伝送路を介して� �信した画像データにもとづく画像を表示す� �部分(表示処理部17)も含まれている。

実施の形態1.
 図1、図2、図3および図4を参照して第1の実� �の形態の全体の動作を説明する。図2は、動� ��の大きさによるエラーコンシールメントの� ��効性の違いを説明するための説明図である� ��図3は、シーンチェンジの有無によるエラー コンシールメントの有効性の違いを説明する ための説明図である。図4は、画質評価装置� �おける要部の動作を示すフローチャートで� �る。

 図1に示す画質評価装置において、入力さ れた符号化データは復号処理部11で復号され� ��復号によって得られた画素情報は、表示処� ��部17に送られる。表示処理部17は、画素情報 にもとづく映像を表示装置(図示せず)に表示� ��せる。

 伝送路においてエラーがあったことや復� ��処理が表示タイミングに間に合わないこと� ��どに起因して、復号処理部11が正しく復号� �理を行えなかった場合には、不完全な復号� �素情報(正しく復号されなかった画素情報)は エラーコンシールメント処理部12に出力され� ��。エラーコンシールメント処理部12は、伝� �エラーなどに起因する画像データの誤りを� �蔽するために、正しく復号できなかった画� �領域に対して画質劣化を目立たなくする処� �を施して、表示処理部17に画素情報を出力す る。この場合、表示処理部17は、エラーコン� ��ールメント処理が施された画素情報にもと� ��く映像を表示装置に表示させる。

 エラーコンシールメント処理は、すでに� ��号が完了しているフレームの同位置の画素� ��繰り返し表示したり、復号が完了している� ��数のフレームの同位置の画素を平均するな� ��して実現される。しかし、エラーコンシー� ��メント処理の方法はそれらに限られず、エ� ��ーコンシールメント処理に公知の種々の方� ��を適用することができる。エラーコンシー� ��メント処理が発生したという情報(エラーコ ンシールメント処理発生情報)は、エラーコ� �シールメント処理部12からエラーコンシール メント有効性判定処理部15に出力される。

 エラーコンシールメント有効性判定処理� ��15は、エラーコンシールメント処理発生情� �が入力されると、エラーコンシールメント� �理により画質の劣化を防ぐことができたか� �かの判定を開始する(ステップS11)。エラーコ ンシールメント有効性判定処理部15は、エラ� ��コンシールメント処理の有効性を、映像の� ��きの大きさやシーンチェンジの有無などか� ��判断する。例えば、図2には映像フレームを MPEG-2などの符号化処理単位であるマクロブロ ックに分割した様子が示されているが、マク ロブロックごとに動きの大きさの判別を行う ことができる。

 図2に示す領域(動きのない領域)21は、映� �の動きがなかった領域であったとする。動� �のない領域21については、エラーコンシール メント処理部12がエラーコンシールメント処� ��で直前のフレームの同位置の画素をコピー� ��れば、その領域の画質劣化は目立たなくな� ��。なお、「動きのない領域」には、全く動� ��がない領域の他に、動きが小さい領域も含� ��れる。図2に示す領域(動きの大きい領域)22� �映像の動きが大きかった領域であったとす� �。その場合には、正しく復号できた直前の� �レームの同位置の画素データをエラーコン� �ールメント処理でコピーしたとしても、周� �領域との差異が大きいため画質劣化が容易� �検知されてしまう。よって、エラーコンシ� �ルメント有効性判定処理部15は、動きの大き さが、あらかじめ決められているしきい値よ りも大きい場合には、エラーコンシールメン トの有効性が得られないと判断することがで きる。

 また、シーンチェンジ発生時に伝送エラ� ��が発生した場合には、エラーコンシールメ� ��ト処理において用いられる画素データがシ� ��ンチェンジ前のフレームの画素データであ� ��と、やはり周辺領域との差異が大きくなり� ��質劣化が目立つようになる。すなわち、エ� ��ーコンシールメントの有効性は小さくなる� ��例えば、図3には、エラー発生箇所とシーン チェンジ発生箇所が一致した場合が示されて いる。シーンBの先頭フレームでエラーが発� �した場合には、エラーコンシールメント処� �部12によって、シーンAに属する直前のフレ� �ムの画素データを用いてエラーコンシール� �ント処理が実行される。この場合、エラー� �ンシールメントの有効性は得られず画質劣� �は大きくなる。よって、エラーコンシール� �ント有効性判定処理部15は、シーンチェンジ が発生している場合にはエラーコンシールメ ントの有効性が得られないと判断し、エラー コンシールメント処理が行われた画像領域で 画質が劣化したと判断できる。

 従って、本実施の形態では、エラーコン� ��ールメント有効性判定処理部15は、エラー� �ンシールメント処理の有効性を判断するた� �に、映像の動きの大きさに関する情報、お� �びシーンチェンジが発生したか否かの情報� �用いる。

 具体的には、復号時に動きベクトルの値� ��、復号処理部11から動き情報取得処理部13に 出力される。動き情報取得処理部13は、映像� ��動きの大きさに関する情報を計算する。動� ��の大きさに関する情報は、直前に正しく復� ��されたフレームにおいて同位置の画素ブロ� ��クにおける動き補償フレーム間予測の動き� ��クトルの大きさとして算出される(ステップ S12)。動きベクトルの大きさは、例えば、ベ� �トルのx成分(水平成分)の絶対値とy成分(垂直 成分)の絶対値との和で求められる。また、� �きベクトルの大きさを、動きベクトルのx成� ��とy成分の二乗和または二乗和の平方根の値 で求めてもよい。

 なお、符号化モードによっては動き補償� ��レーム間予測を用いずにフレーム内の情報� ��みで符号化されている場合もある。その場� ��には、動きベクトルがないので、動き情報� ��得処理部13は、動きの大きさを判断できな� �。その場合には、動き補償フレーム間予測� �効果が得られないほど映像の動きが大きい� �判断するか、さらに過去のフレームにおけ� �動きベクトルを用いて動きの大きさを判断� �る。

 また、復号時の画素情報が、復号処理部1 1からシーンチェンジ検出部14に出力される。 シーンチェンジ検出処理部14は、入力された� ��素情報にもとづいて、シーンチェンジが発� ��したか否か判定する。シーンチェンジの有� ��は、例えば、直前に正しく復号されたフレ� ��ムとの現在復号中のフレームにおいて既に� ��号か完了している画素値の平均値の違いの� ��きさを調べる方法で判定される(ステップS15 ,S16)。すなわち、画素値の平均値の違いがあ� ��かじめ決められている所定値(しきい値)よ� �も大きければシーンチェンジが発生したと� �定される。しかし、シーンチェンジの有無� �判定方法については、そのような方法に限� �されない。

 動きの大きさに関する情報は、動き情報� ��得処理部13からエラーコンシールメント有� �性判定処理部15に出力される。シーンチェン ジの有無に関する情報は、シーンチェンジ検 出処理部14からエラーコンシールメント有効� ��判定処理部15に出力される。

 エラーコンシールメント有効性判定処理� ��15は、動きの大きさがしきい値よりも大き� �場合、またはシーンチェンジが発生してい� �場合には、エラーコンシールメントの有効� �が得られないと判断し、エラーコンシール� �ント処理が行われた画像領域で画質が劣化� �たと判定する(ステップS13,S16,S14)。

 画質劣化推定処理部16は、画質が劣化し� �と判定された画像領域における画素数もし� �はブロック数を集計するか、またはエラー� �ンシールメント処理の有効性を数値化して� �その数値の1フレーム分の合計を集計する。� ��して、集計した値の大小によって画質劣化� ��を評価する(ステップS17)。画質劣化推定処� �部16によって算出された画質劣化度が、画質 評価装置から出力される。画質劣化推定処理 部16は、例えば、集計した値を画質劣化度と� ��て出力したり、集計した値が所定のしきい� ��を越えている場合に画質が劣化しているこ� ��を示すデータを画質劣化度として出力する� ��

実施の形態2.
 次に、本発明の第2の実施の形態を説明する 。第2の実施の形態では、動きの大きさの算� �方法が第1の実施の形態とは異なる。図5は、 画質評価装置における要部の動作を示すフロ ーチャートである。なお、動きの大きさの算 出方法以外については、第1の実施の形態の� �合と同じである。

 第2の実施の形態では、動き情報取得処理 部13は、動きの大きさに関する情報を、復号� ��のフレームまたは既に復号された複数のフ� ��ームにおいて、動きの大きさを求めようと� ��ている画素位置の近傍において正しく復号� ��れた1つ以上の動きベクトルをもとに算出す る(ステップS22)。例えば、時間的に過去のフ� ��ームを参照している動きベクトルおよび時� ��的に未来のフレームを参照している動きベ� ��トルの平均ベクトルのx成分の絶対値とy成� �の絶対値の和などの方法で、動きの大きさ� �関する情報を求める。すなわち、動きの大� �さを、エラーがあるフレームの近傍の正常� �復号され1つまたは複数のフレームから求め� ��。具体的には、動きの大きさを、正常に復� ��されたフレームであって、エラーがあるフ� ��ームの前後のフレーム(エラーがあるフレー ムよりも時間的に前および後に位置する画像 のフレーム)、または前のフレームのみ、も� �くは後のフレームのみを用いて求める。

 このように1つまたは複数の動きベクトル から動きの大きさを算出することによって、 動き情報取得処理部13は、精度良く画質劣化� ��を推定することできる。

実施の形態3.
 次に、本発明の第3の実施の形態を説明する 。第3の実施の形態では、エラーコンシール� �ント有効性判定処理部15は、エラーコンシー ルメントの有効性を判断するために、動きの 大きさ、およびシーンチェンジの有無以外の 情報を用いる。図6は、画質評価装置におけ� �要部の動作を示すフローチャートである。� �お、エラーコンシールメント有効性判定処� �部15の処理以外については、第1の実施の形� �または第2の実施の形態の場合と同じである� ��

 図1に示すように、入力された符号化デー タは、復号処理部11で復号され、表示処理部1 7で復号された映像が表示される。伝送路に� �いてエラーがあった場合など正しく復号が� �きなかった場合には、エラーコンシールメ� �ト処理部12によって、正しく復号できなかっ た画像領域に対して画質劣化を目立たなくす る処理が施された上で、表示処理部17で映像� ��表示される。このとき、エラーコンシール� ��ント処理が行われた全ての領域を示す情報� ��、それらの領域におけるエラーコンシール� ��ント後の画素の値とが、エラーコンシール� ��ント処理部12からエラーコンシールメント� �効性判定処理部15に出力される。また、復号 処理部11から正しく復号できた画素の値がエ� ��ーコンシールメント有効性判定処理部15に� �力される。

 エラーコンシールメント有効性判定処理� ��15は、エラーコンシールメント処理が行わ� �た領域におけるエラーコンシールメント処� �後の画素の値と、エラーコンシールメント� �理が行われなかった領域の間の画素の値と� �差を算出し、差の大きさの一画素あたりの� �均値をしきい値と比較する(ステップS35,S16)� �そして、差の大きさの一画素あたりの平均� �としきい値とにもとづいて、その領域にお� �るエラーコンシールメント処理の有効性を� �断する。具体的には、しきい値よりも大き� �なる領域は正しく復号できた領域との連続� �が損なわれていることになるのでエラーコ� �シールメント処理の有効性が小さいと判定� �る。しきい値以下になる場合には、正しく� �号できた領域との連続性が保たれ、エラー� �ンシールメントにより画質劣化が防げてい� �可能性が高いと判定する。

 エラーコンシールメント処理の有効性の� ��無の情報は、エラーコンシールメント有効� ��判定処理部15から画質劣化推定処理部16に出 力される。画質劣化推定処理部16は、エラー� ��ンシールメント処理の有効性が無く画質が� ��化したと判定された画素数またはブロック� ��を集計する。そして、集計した値の大小に� ��って画質劣化度を評価する。

実施の形態4.
 次に、本発明の第4の実施の形態を図7を参� �して説明する。第4の実施の形態では、第1の 実施の形態の画質評価装置が、コンピュータ システムで実現される。

 図7は、第4の実施の形態のコンピュータ� �ステムにおける画質評価システムを示すブ� �ック図である。図7に示すように、画質評価� ��ステムには、プログラム制御プロセッサ41� �装備されている。プログラム制御プロセッ� �41には、入力データバッファ42および出力デ� ��タバッファ43の他に、必要なプログラムを� �納したプログラムメモリ44が接続されている 。プログラムメモリ44に格納されるプログラ� ��モジュールは、メインプログラムの他に、� ��号処理モジュール441、エラーコンシールメ� ��ト処理モジュール442、動き情報取得処理モ� ��ュール443、シーンチェンジ検出処理モジュ� ��ル444、エラーコンシールメント有効性判定� ��理モジュール445、画質劣化推定処理モジュ� ��ル446、および表示処理モジュール447を含む� ��メインプログラムは、画質評価処理を実行� ��る主プログラムである。

 復号処理モジュール441、エラーコンシー� ��メント処理モジュール442、動き情報取得処� ��モジュール443、シーンチェンジ検出処理モ� ��ュール444、エラーコンシールメント有効性� ��定処理モジュール445、画質劣化推定処理モ� ��ュール446、表示処理モジュール447のプログ� ��ムモジュールは、上述した復号処理部11、� �ラーコンシールメント処理部12、動き情報取 得処理部13、シーンチェンジ検出部14、エラ� �コンシールメント有効性判定処理部15、画質 劣化推定処理部16、および表示処理部17のそ� �ぞれの機能を実現するためのプログラムで� �る。画質評価システムにおけるメインプロ� �ラムおよび各機能モジュールに従ってプロ� �ラム制御プロセッサ41が処理を実行すること によって、第1の実施の形態の画質評価装置� �よる画質評価処理が実行される。なお、上� �の第2の実施の形態および第3の実施形態につ いても同様に、各部の機能を実現するための プログラムモジュールをコンピュータシステ ムに実装することによって、コンピュータシ ステム上で実現可能になる。

 次に、本発明による画質評価装置の具体� ��な実施例を説明する。

 MPEG-2方式で符号化されたSDTVサイズ(水平72 0画素、垂直480画素、1秒あたり29.97フレーム)� ��画像データが送信装置からインターネット� ��ロトコル(IP)で伝送され、本発明による画質 評価装置が受信したとする。画像データが伝 送された伝送路は1%の確率でデータのロスを� ��ずるとする。受信した画像データは、図1に 示された画質評価装置に入力される。

 図1に示された復号処理部11は、MPEG-2符号� ��方式で符号化された画像データを復号する� ��復号された画像データにもとづく画像が、� ��示処理部17によって表示される。伝送路に� �いてデータのロスが生ずるため、正しく復� �できない場合が発生する。この場合、エラ� �コンシールメント処理部12で正しく復号でき なかった画像領域を目立たなくする処理が実 行される。エラーコンシールメント処理は、 直前のフレームにおける、正しく復号できな かった画像領域と同じ位置の画素を繰り返し 表示することにより実行される。

 例えば、画像フレームのうち右下の48画� �×16画素の領域(MPEG-2符号化における3マクロ� �ロック分の領域)で正しく復号できなかった� ��する。この3つのマクロブロックをM1、M2、M3 とする。このとき、直前の画像フレームにお けるマクロブロックM1、M2、M3と同じ位置の48� ��素×16画素の領域を正しく復号できなかった 復号中の画像フレームにコピーすることによ って画質劣化を目立たなくする。

 エラーコンシールメント処理が発生した� ��いう情報は、エラーコンシールメント処理� ��12からエラーコンシールメント有効性判定� �理部15に出力され、エラーコンシールメント 処理によって画質の劣化を防ぐことができた か否かが判定される。エラーコンシールメン ト有効性判定処理部15は、判定のために、動� ��情報取得処理部13から動きの大きさに関す� �情報を取得する。動き情報取得処理部13は、 直前の画像フレームのマクロブロックM1、M2� �M3の位置のマクロブロックにおける動きベク トルから動きの大きさを求める。

 直前の画像フレームにおけるマクロブロ� ��クM1の動きベクトルが(10、5)、マクロブロッ クM2の動きベクトルが(12、5)、マクロブロッ� �M3の動きベクトルが(1、0)であったとする。� �き情報取得処理部13は、動きの大きさを、動 きベクトルのx成分の絶対値とy成分の絶対値� ��の和として算出するとする。すると、マク� ��ブロックM1における動きの大きさは|10|+|5|=15 、マクロブロックM2における動きの大きさは| 12|+|5|=17、マクロブロックM3における動きの大 きさは|1|+|0|=1になる。動きの大きさを判定す るためのしきい値は10であるとする。M1、M2の 動きの大きさはしきい値より大きいので、動 き情報取得処理部13は、マクロブロックM1、M2 では動きが大きいと判定する。

 マクロブロックM3では動きの大きさがし� �い値よりも小さいので、動き情報取得処理� �13は、マクロブロックM3では動きが小さいと� ��定する。次に、シーンチェンジの有無につ� ��て判定が行われる。シーンチェンジ検出処� ��部14は、復号中の画像フレームにおいて、� �上の画素からマクロブロックM1よりも前に復 号された画素までの全ての画素と、直前のフ レームにおける、同位置の画素とを比較する ことによって、シーンチェンジの有無を判定 する。ここでは、シーンチェンジが無かった と判定されたとする。

 エラーコンシールメント処理が行われた� ��素領域における動きの大きさの情報と、シ� ��ンチェンジの有無に関する情報はエラーコ� ��シールメント有効性判定処理部15に入力さ� �る。エラーコンシールメント有効性判定処� �部15は、動きが大きいと判定されたマクロブ ロック、またはシーンチェンジがあったと判 定されたフレームにおけるエラーコンシール メント処理がなされた全領域がエラーコンシ ールメントの有効性がなかったと判定される 。

 本実施例では、マクロブロックM1、M2にお いて動きが大きいと判定されているので、こ れらのマクロブロックでエラーコンシールメ ントの有効性がなかったと判定されることに なる。この判定の結果を示す情報が画質劣化 推定処理部16に出力される。画質劣化推定処� ��部16は、エラーコンシールメントの有効性� �なかったと判定されたマクロブロック数2を� ��この画像フレームにおける画質劣化度とす� ��。この処理は各フレームにおいて行われる� ��次のフレームで、エラーコンシールメント� ��有効性がなかったと判定されたマクロブロ� ��クが10あったとすると、画質劣化度が10にな り、次のフレームのほうが画質が大きく劣化 していることになる。

 本出願は、2007年1月31日に出願された日本 出願特願2007-021310号を基礎とする優先権を主� ��し、その開示の全てをここに取り込む。