以下、本発明の実施の形態について図を参� ��して説明する。
(実施の形態1)
 本実施の形態の映像品質客観評価装置は、� ��号化映像のビット列を入力するためのイン� ��ーフェースと、サーバ装置やパーソナルコ� ��ピュータなどの演算装置と、記憶装置とか� ��なる情報処理装置から構成され、符号化映� ��のビット列を入力し、入力映像に対応した� ��観品質を出力するものである。そのハード� ��ェア構成としては、図16に示すように、受� �部2、演算部3、記憶媒体4および出力部5から� ��る。ここで、図16に示すH.264符号化装置6は� �入力映像を後述するH.264方式により符号化す る。そして、符号化された映像ビット列は伝 送網内を伝送データとして通信され映像品質 客観評価装置1に送信される。

 映像品質客観評価装置1は、その伝送データ 、すなわち前記符号化されたビット列を受信 部2で受信する。そして、CPUが記憶媒体4に記� ��されたプログラムを読み出して実行するこ� ��により、演算部3の機能を実現する。すなわ ち、演算部3は受信部2で受信されたビット列� ��情報を利用して各種の演算処理を行い、そ� ��演算処理結果を表示部などの出力部5に出力 することにより、映像の主観品質を推定する ものである。
 ここで、演算部3の演算処理機能としては、 具体的には、図1に示すように、係数データ� �ースD11~D17と、劣化発生領域特定機能部F11と� ��劣化発生領域の重み判定機能部F12と、劣化� ��蔽処理特定機能部F13と、単一フレームの劣� ��代表値導出機能部F14と、全フレームの劣化� ��表値導出機能部F15と、符号化劣化に対する� ��観品質推定機能部F16と、主観品質推定機能� ��F17とがある。

 ここで、この映像品質客観評価装置1では 、動き補償とDCT変換を用いるH.264方式の符号� ��された映像のビット列に欠損が生じた場合� ��、符号化された映像のビット列の正常部分� ��欠損部分の内容を利用して映像の主観品質� ��推定を行う。原理的には動き補償とDCT変換� ��用いる符号化方式に応用可能である。

 以下、図1を参照して、この映像品質客観評 価装置を構成する各機能部の機能について具 体的に説明する。各機能部には必要なメモリ を備えている。
 劣化発生領域(位置、数)特定機能部F11は、� �力された符号化映像のビット列を走査して� �ット列に欠損が生じている場合に、フレー� �内で劣化が発生したマクロブロックの位置� �数を特定して劣化情報11aと11bをそれぞれ劣� �代表値導出機能部F14と、重み判定機能部F12� �に出力する。

 劣化発生領域の重み判定機能部F12は、劣� ��発生領域特定機能部F11から入力した劣化情� ��11bを走査して、劣化が発生したマクロブロ� ��クの位置や、その周辺に存在するマクロブ� ��ックの動きや絵柄の複雑さから、劣化した� ��クロブロックの主観品質への影響度を測定� ��、劣化量情報12aとして劣化代表値導出機能� ��F14に出力する。

 劣化隠蔽処理特定機能部F13は、予めデー� ��ベース化された、もしくは動的に導出され� ��劣化隠蔽処理による主観品質への影響度に� ��する重みを、利用する劣化隠蔽処理によっ� ��切り替え、その結果を劣化隠蔽処理情報13a� ��して劣化代表値導出機能部F14に出力する。

 単一フレームの劣化代表値導出機能部F14� ��、各機能部F11、F12,F13からの出力である劣化 情報11a,劣化量情報12a,劣化隠蔽処理情報13aに� ��づいて、単一フレームに存在する劣化した� ��てのマクロブロックの影響を加味した劣化� ��強さの代表値を導出して、フレーム劣化代� ��値14aとして全フレームの劣化代表値導出機� ��部F15に出力する。

 全フレームの劣化代表値導出機能部F15は� ��単一フレームの劣化代表値導出機能部F14か� ��の出力であるフレーム劣化代表値14aに基づ� ��て、評価対象映像中に存在する全てのフレ� ��ムの劣化の強さの代表値を導出し、評価対� ��映像全体の劣化の強さとしてまとめ、その� ��とめた値を代表値として導出して全フレー� ��劣化代表値15aとして主観品質推定機能部F17� ��出力する。

 符号化劣化に対する主観品質推定機能部F 16は、符号化による映像の劣化のみを加味し� ��主観品質を導出して符号化主観品質16aとし� ��主観品質推定機能部F17に出力する。この場� ��、主観品質推定機能部F16は、符号化処理に� ��り劣化した主観品質を主観品質の最大値と� ��る。主観品質推定機能部F17は、全フレーム� ��劣化代表値導出機能部F15からの全フレーム� ��化代表値15aと、符号化劣化に対する主観品� ��推定機能部F16からの符号化主観品質16aに基� ��いて、符号化とビット列の損失による映像� ��劣化を加味した主観品質を導出する。

 なお、各機能部F11,F12,F13,F14,F15,F16,F17には� ��各機能部でそれぞれ利用する評価式の係数� ��データベースD11,D12,D13,D14,D15,D16,D17が前述し� ��ようにそれぞれ付属している。各データベ� ��スD11~D17には、評価式の最適化を行うための 評価対象映像の符号化方式や解像度やフレー ムレート毎に異なる係数が格納されている。 これらの係数は、予め実施された主観品質評 価実験の結果に基づいて、各評価式で回帰分 析を実施することで決定しても良いし、任意 の値を利用しても良い。

 次に、図1に示すブロック図と図2に示す� �ローチャートを中心とし他の図も参照しな� �ら、本映像品質客観評価装置を構成する各� �能部の詳細な動作を説明する。なお、以下� �示す画素信号やDCT係数は全て輝度に関する� �のとする。ただし、色差信号について同様� �処理を適用することもできる。

 劣化発生領域(位置、数)特定機能部F11で� �、映像の符号化ビット列を入力として、ま� �H.264方式の可変長符号を復号する必要がある 。これを行うためには、参考文献1(ITU-T H.264,  “Advanced video coding for generic audiovisual ser vices,”Feb. 2000.)に準拠するH.264復号器を利用� ��る。そして、復号後には、H.264符号化の制� �情報を含むSPS(Sequence Parameter Set)やPPS(Picture� �Parameter Set)等のシンタックス情報に加えて� �動き補償やDCT変換符号化で用いられる動き� �クトルやDCT係数等の符号化情報が、マクロ� �ロックもしくはサブマクロブロック毎に取� �できる。具体的には参考文献1に記載されて� ��る仕様に従う。

 符号化されたビット列に損失が発生した� ��合には機能部F11で正常に復号できなくなる� ��め、マクロブロックやサブマクロブロック� ��画素信号を計算するための動きベクトルやD CT係数等の情報、また符号化制御情報が正常� ��取得できなくなる。映像品質客観評価装置� ��記憶領域にマクロブロック単位の復号の成� ��と失敗を集計するためのフラグを用意し、� ��号化ビット列を走査して復号するために十� ��なデータが存在しないマクロブロックやサ� ��マクロブロックについてはフラグを立てる� ��、図3に示すようなフレーム内のマクロブロ ックの復号成否状況を得ることができる。図 3では、細枠ブロックはデコード成功、太枠� �ロックはデコード失敗を表す。ブロック12,31 ,35は動き補償やDCT符号に関する情報が消失、 ブロック51~57はスライス符号化制御情報が消� ��した例である。

 図3に示すような復号成否状況により、復 号を失敗して劣化したマクロブロックやサブ マクロブロックの位置と数を検出できる。ま た、SPSやPPSなどの符号化制御情報に損失が起 きている場合は、SPSについては対応するシー ケンス(評価対象映像全体)の全てのマクロブ� ��ックが損失、PPSについては対応するピクチ� ��(フレームもしくはフィールド)の全てのマ� �ロブロックが損失したとみなす。図中のマ� �ロブロックの数とスライスの形状は一例で� �る。

 更に、H.264方式の動き推定機能を使って、� �号を失敗したマクロブロックやサブマクロ� �ロックが他のマクロブロックやサブマクロ� �ロックから参照されている場合、参照元の� �クロブロックやサブマクロブロックにもそ� �IPB属性に応じて劣化が生じる。IPBの属性に� �いては上記参考文献1に記載されている。参� ��先のマクロブロックやサブマクロブロック� ��復号に失敗している場合、参照元のマクロ� ��ロックがPフレームの場合は予め係数データ ベースD11に格納されている劣化重みε=a ₁ 、Bフレームの場合は劣化重みε=a ₂ を選択する。これに加えてIフレームではフ� �ーム内予測がH.264では用いられるため、同様 に参照先のマクロブロックやサブマクロブロ ックの復号が失敗している場合、劣化重みε= a ₃ を選択し、予測を使わない場合は劣化重みε= a ₄ を選択する。これらの処理により、評価対象 映像中で欠損が生じたマクロブロックやサブ マクロブロックの特定が可能となる。

 この段階で、サブマクロブロック単位で� ��失が発生している場合は、そのサブマクロ� ��ロックを包含するマクロブロック単位で損� ��が発生しているとみなす。復号を失敗して� ��化したマクロブロックの位置と数に加えて� ��映像の符号化ビット列、重みεを劣化情報11 a,11bとして劣化代表値導出機能部F14と、重み� ��定機能部F12とに出力する。

 劣化発生領域の重み判定機能部F12について� ��、劣化情報11bを入力情報として、以下に示� ��劣化発生領域を表す重みパラメータを出力� ��る。まず絵柄の複雑さによる、劣化したマ� ��ロブロックの主観品質への影響度の変化を� ��定する機能から説明する。
 第一に部分的な画素信号の取得が可能であ� ��場合について示す。画素信号は、H.264符号� �の制御情報に加えて、動き補償やDCT変換符� �化で用いられる動きベクトルやDCT係数を上� �の参考文献1で示されるアルゴリズムに適用� ��て取得できる。

 具体的には損失したマクロブロックの上� ��左右のマクロブロックのみ画素信号の取得� ��し、これは上記参考文献1に従って行う。絵 柄の複雑さの代表的な指標の一つとしてSobel� ��ィルタを利用したエッジの大きさと方向が� ��げられる。ここでは劣化したマクロブロッ� ��におけるエッジの有無が主観品質を変動さ� ��ると考え、劣化したマクロブロックに隣接� ��るマクロブロックから、劣化したマクロブ� ��ックに対してエッジが連続的に存在するか� ��うか推定する。

 具体的には図4と図5を用いて説明する。� �ず図4では劣化したマクロブロックと隣接す� ��4つのマクロブロックを示している。各隣接 マクロブロックには、劣化したマクロブロッ クとの境界に1列の画素(図中、白い四角で表� ��画素の列)が並んでおり、その更に1列奥の� �素列(劣化したマクロブロックと隣接マクロ� ��ロックの境界から数えて2列目の隣接マクロ ブロック内の画素列:図中黒い四角で表す画� �の列)をSobelフィルタによるエッジ導出に用� �る。Sobelフィルタを利用するとエッジは大き さと方向を持つ量、つまりベクトル量として 導出されるため、各隣接マクロブロックのエ ッジ導出対象画素列で求めたエッジを以下の ように定義する。

 ただし、iは隣接マクロブロックの識別子 (図4のマクロブロック1~マクロブロック4に相� ��)、jは劣化したマクロブロックと隣接マク� �ブロックの境界に存在する画素数、ここでm� ��Sobelフィルタによるエッジ導出対象画素列� �存在する画素数を表す。これより各隣接マ� �ロブロックにおいて、Sobelフィルタによるエ ッジ導出対象画素列で導出したエッジの代表 値

 を以下のように導出する。

 ただし、演算子

 は、自然数A ₁ ~A _m を参照して最大となる値を出力し、θは図5に 示すように劣化したマクロブロックと隣接マ クロブロックの境界面(図中黒線で表してい� �)に対するベクトルE{i}jの角度である。ここ� �は、演算子maxを使って大きさが最大となる� �クトルを出力するように設定したが、代わ� �に任意の統計量、例えば最小値や平均値や� �散などを使用しても良い。
 更に各隣接マクロブロックで導出したベク� ��ルE{i}の代表値(即ち、ベクトルE)を以下のよ うに導出する。

 ここで、μはデータベースD12に格納され� �いる係数である。ここでは演算子maxを使っ� �大きさが最大となるベクトルを出力するよ� �に設定したが、代わりに任意の統計量、例� �ば最小値や平均値や分散などを使用しても� �い。ただし、隣接マクロブロックが劣化し� �いる、もしくは存在しない場合には、その� �接マクロブロックは代表値(即ち、ベクトルE )の導出に利用しない。また全ての隣接する� �クロブロックでベクトルE{i}が導出できない� ��合は、ベクトルEの絶対値をデータベース12� ��格納されている任意の定数(例えば0)とする� ��これにより単一フレーム内に存在する全て� ��劣化したマクロブロックについて、絵柄の� ��雑さによる、劣化したマクロブロックの主� ��品質へ与える影響を測定できる。

 絵柄の複雑さによる、劣化したマクロブ� ��ックの主観品質への影響度の変化を測定す� ��機能について、第二に符号化された映像の� ��ット列情報のみが利用できる場合を示す。� ��一の場合と同様に、劣化したマクロブロッ� ��におけるエッジの有無が主観品質を変動さ� ��ると考え、劣化したマクロブロックに隣接� ��るマクロブロックから、劣化したマクロブ� ��ックに対してエッジが連続的に存在するか� ��うか推定する。具体的には図6、図7、図8を� ��いて説明する。

 図6では劣化したマクロブロックと隣接す る4つのマクロブロックを示している。図4と� ��似しているが、図4では各マクロブロックは 画素情報で構成されていたのに対し、図6で� �DCT係数で構成されている。図6の各隣接マク� ��ブロックがIスライスやIフレームの一部で� �れば以下に記載の処理をそのまま実行する� �、隣接マクロブロックの中にP属性またはB属 性のマクロブロックが存在している場合は、 フレーム内の空間的な位置は全く同じで、最 も時系列で近い位置にあるI属性のマクロブ� �ックを代替として用いてもよいし、代替せ� �そのまま処理を続行しても良い。

 各マクロブロックのDCT係数の例は具体的� ��は図7のように配置されている。ここで、x� �が水平方向周波数を表し、y軸が垂直方向周� ��数を表し、z軸にDCT係数が表わされている。 なお図7は8×8画素のブロックに対してDCT変換� ��適用した場合を示しており、4×4画素のブロ ックに対してDCT変換を適用した場合は、水平 方向周波数、垂直方向周波数ともに、1以上4� ��下の整数値が変動範囲となる。また16×16画� ��のブロックに対してDCT変換を適用した場合� ��、水平方向周波数、垂直方向周波数ともに� ��1以上16以下の整数値が変動範囲となる。つ� ��りn×n画素(nは1以上の整数値)のブロックに� �してDCT変換を適用した場合は、水平方向周� �数、垂直方向周波数ともに、1以上n以下の整 数値が変動範囲となる。

 図8に、図7のx軸である水平方向周波数、y 軸である垂直方向周波数を表示した図を示す 。図8では、x軸とy軸が同等の値になる対角線 A上のDCT係数群の上方に存在するDCT係数群を� �ループ1、下方に存在するDCT係数群をグルー� ��2とする。グループ1は垂直方向周波数が水� �方向周波数より高くなる領域、つまり横方� �のエッジが縦方向のエッジよりも強めとな� �領域であり、グループ2は水平方向周波数が� ��直方向周波数より高くなる領域、つまり縦� ��向のエッジが横方向のエッジよりも強めと� ��る領域である。

 図8の座標を(水平方向周波数、垂直方向周� �数)として、座標(p,q)のDCT係数をDpqとし、以� �の計算式で縦方向のエッジE _V (即ち、ベクトルE _V )の強さ

 と、横方向のエッジEh(即ち、ベクトルEh)� ��強さであるベクトルEhの絶対値を計算する� �ただし式中のnは、エッジ導出対象のマクロ� ��ロックがn×nであることを示している。

 このエッジの強さの導出処理を使って、� ��6の隣接マクロブロック1と隣接マクロブロ� �ク3ではベクトルEνの絶対値導出を行い、隣� ��マクロブロック2と隣接マクロブロック4で� �ベクトルEhの絶対値導出を行う。これらのエ ッジの強さを各隣接マクロブロックのエッジ の強さの代表値ベクトルE{i}とし、iは隣接マ� ��ロブロックの識別子(1≦i≦4)とする。更に� �隣接マクロブロックで導出したベクトルE{i}� ��代表値ベクトルEを以下のように導出する。

 ここで、μはデータベースD12に格納され� �いる係数である。ここでは演算子maxを使っ� �大きさが最大となるベクトルを出力するよ� �に設定したが、代わりに任意の統計量、例� �ば最小値や平均値や分散などを使用しても� �い。ただし、隣接マクロブロックが劣化し� �いる、もしくは存在しない場合には、その� �接マクロブロックはベクトルEの導出に利用� ��ない。また全ての隣接するマクロブロック� ��ベクトルE{i}が導出できない場合は、ベクト ルEの絶対値をデータベースD12に格納されて� �る任意の定数(例えば0)とする。これにより� �一フレーム内に存在する全ての劣化したマ� �ロブロックについて、絵柄の複雑さが劣化� �たマクロブロックの主観品質へ与える影響� �大きさを測定できる。

 劣化発生領域の重み判定機能部F12につい� ��、次に劣化が発生したマクロブロックの周� ��に存在するマクロブロックの動きの大きさ� ��、主観品質へ与える影響を測定する機能を� ��明する。動きの大きさによる主観品質への� ��響は動きベクトルの代表値に基づいて判定� ��、動きベクトルの代表値の導出方法につい� ��は、図9、図10、図11、図12を用いて説明する 。

 まずフレーム全体の動きベクトルの代表� ��の導出方法を示す。図9に示すように、H.264� ��式では動きベクトルの導出に用いる参照フ� ��ームを、前方、後方に限らず、マクロブロ� ��ク・サブマクロブロック単位で任意の2つ選 ぶことが可能である。これは原理的にはMPEG2� ��MPEG4の双方向フレームに応用可能である。� �こでマクロブロック・サブマクロブロック� �に設定される動きベクトルの大きさを各ブ� �ックについて比較可能とするために正規化� �行い、動きベクトルの導出対象フレームの� �方、後方1フレームに各マクロブロック・サ� ��マクロブロックの動きベクトルを射影する� ��具体的な処理を図10、図11で説明する。

 図10は、動きベクトルの導出対象フレー� �s中のt番目のブロックMBstの参照フレームが� �フレームsの(r+1)フレーム後方にある場合を� �している。図10のように動きベクトルの導出 対象フレームsから参照フレーム上に動きベ� �トル

 が存在しており(ベクトルMV _st と表記)、以下のようにしてベクトルMV _st を、動きベクトルの導出対象フレームsから1� ��レーム後方のフレーム上に存在するベクト� ��MV’ _st に射影する。

 また図11は、動きベクトルの導出対象フレ� �ムs中のt番目のブロックMB _st の参照フレームが、フレームsの(r+1)フレーム 前方にある場合を示している。図11のように� ��きベクトルの導出対象フレームsから参照フ レーム上に動きベクトルMV _st が存在しており、以下のようにしてベクトル MV _st を動きベクトルの導出対象フレームsから1フ� ��ーム前方へのベクトルMV’ _st に射影する。

 以上の処理により、動きベクトルの導出対� ��フレームsの全てのマクロブロック・サブマ クロブロックt(1≦t≦x)毎に設定される動きベ クトルを、s±1フレーム上のベクトルへ射影� �ることが可能となる。ただし、xはフレームs 内のブロック数である。なお、動きベクトル の導出対象フレームsの参照フレームが2フレ� ��ムある場合は,両方の参照フレームについて 上記処理により射影した動きベクトルを導出 し、その平均ベクトルを動きベクトルの導出 対象フレームsの各ブロックのMV’ _st とする。

 以上で導出した動きベクトルの導出対象フ� ��ームs上のベクトルMV’ _st を用いて、以下の式で動きベクトルの導出対 象フレームsの統計量であるベクトルの大き� �の平均を導出する。ただし平均以外にも最� �値や最小値や標準偏差や分散等の各種統計� �を代替として用いることが可能である。ま� �下式中の

 はベクトルの大きさを表すものとする。

 ただし、演算子

 は自然数A ₁ ~A _m を参照して平均となる値を出力する。
 また、図12(図12では損失マクロブロック付� �の動きベクトル導出対象マクロブロックを� �し、細枠ブロックはデコード成功、太枠ブ� �ックはデコード失敗を表している)に示すよ� ��に、劣化したマクロブロックを囲む24個の� �クロブロックについて、フレーム全体の動� �ベクトル統計量を導出した場合と同様の処� �を行い、24個のマクロブロックの動きベクト ルの代表値

 を各劣化マクロブロック毎に導出する。た� ��し、フレームsで劣化したマクロブロックの 数をTとする。
 このようにして求めたMV _ave (s)とベクトルMV _ave (t)とを利用して、損失が発生したマクロブロ ックの周辺に存在するマクロブロック群の動 きの大きさが劣化したマクロブロックの主観 品質へ与える影響度を表す重みを以下の式で 導出する。

 ただし、α、βはデータベースD12に格納され ている係数である。また、式内のaveによる平 均演算は、最大値・最小値・その他の統計量 に置き換えが可能である。
 以上の処理は損失したマクロブロックがP属 性またはB属性の場合に適用され、I属性の場� ��には、M ^weight はデータベースD12に格納されている任意の定 数とする(例えば1)。また、計算に必要となる マクロブロックやサブマクロブロックが劣化 している場合は、それらの存在は無視し、存 在するマクロブロックやサブマクロブロック から上記統計量を導出する。

 また劣化発生領域の重み判定機能部F12に� ��いて、次に劣化が発生したマクロブロック� ��周辺に存在するマクロブロックの動きの向� ��による、主観品質への影響を測定する機能� ��説明する。動きの向きによる主観品質への� ��響度合いは動きベクトルの代表値に基づい� ��判定し、動きベクトルの代表値の導出方法� ��ついては、図13を用いて説明する。

 まず評価対象映像中に存在する全てのマク� ��ブロックを参照し、動きベクトルが設定さ� ��ているマクロブロックについては、図13に� �づいて、領域1~領域8までのどの領域に存在� �るか判定を行う。例として動きベクトル0を� ��しているが、動きベクトル0は領域2に存在� �ていることを示している。評価対象映像フ� �ームに存在する全マクロブロックについて� �様の処理を適用し、各領域に存在する動き� �クトルの数をカウントし、各領域の動きベ� �トルの総数MVN _NUM (1≦NUM≦8)を導出する。ただしNUMは領域の識� �子である。こうして導出したMVN _NUM について、各MVN _NUM の標本分散σ _MVN を導出する。こうして求めたσ _MVN をマクロブロックの動きの向きが劣化したマ クロブロックの主観品質へ与える影響度合を 表す重みとする。

 劣化発生領域の重み判定機能部F12について� ��次に劣化したマクロブロックの発生位置が� ��化したマクロブロックの主観品質へ与える� ��響度を導出する。詳細を図14に示す。図14に 示す通り、縦横の長さ50%となる中心の領域を 注目領域と設定し、劣化したマクロブロック が注目領域上である場合、劣化したマクロブ ロックの発生位置が劣化したマクロブロック の主観品質へ与える影響度を表す重みCをC=c ₁ とし、劣化したマクロブロックが注目領域上 ではない場合はC=c ₂ とする。ただし、c ₁ ,c ₂ はデータベースD12に格納されている定数であ る。劣化したマクロブロックの発生位置が劣 化したマクロブロックの主観品質へ与える影 響度を表す重みCは、評価対象映像のマクロ� �ロック毎に計算される。

 また劣化発生領域の重み判定機能部F12では� ��劣化の局所性が主観品質に及ぼす影響につ� ��ても導出を行う。マクロブロックの座標系� ��図15(図15では、細枠ブロックはデコード成� �、太枠ブロックはデコード失敗を表してい� �)に示すように、左下を原点として右方向にX 座標、上方向にY座標を取り、各マクロブロ� �クの座標を(X,Y)と表記する。次に損失が発生 したマクロブロック群のX座標、Y座標の標本� ��散値を導出し、以下の式で劣化の局所性が� ��観品質に及ぼす影響を計算する。
    L=fL(σ _x ,σ _y )
 ただし、ここでは、fL(σ _x ,σ _y )=σ _x ×σ _y とするが、乗算以外の任意の演算を行っても 良い。劣化の局所性Lは評価対象映像のフレ� �ム毎に計算される。このようにして劣化発� �領域の重み判定機能部F12で導出した各ブロ� �クにおける、ベクトルE、M ^weight 、σ _MVN 、C、Lを劣化量情報12aとして単一フレームの� ��化代表値導出機能部F14へ出力する。

 次に劣化隠蔽処理特定機能部F13の詳細を� ��明する。データベースD13に格納されている� ��化隠蔽に関する情報を入力として、劣化隠� ��処理による主観品質の向上を表すパラメー� ��を出力する。まず劣化隠蔽処理が主観品質� ��及ぼす影響を、主観品質評価実験の結果に� ��って判断する場合を説明する。具体的には� ��1と表2を使って説明する。

 まず表1に示すように、評価対象とする劣化 隠蔽処理の各方式と劣化隠蔽処理を適用しな い場合について、シーンの種類とビット列の 損失パターンを変えた場合に適用し、それぞ れの場合について主観品質を取得する。ただ し主観品質評価尺度として、劣化映像の主観 品質を絶対値として評価する絶対尺度を用い る。表1では主観品質の例としてMean Opinion Sc ore(MOS)を用いており、MOS _efg は、シーンe(1≦e≦S)、損失パターンf(1≦f≦M) 、劣化隠蔽方式g(0≦g≦N)を適用した場合のMOS となる。ただしg=0の場合は、劣化隠蔽を行わ ない場合を示している。

 このようにして取得した主観品質を表2に示 すように、各条件で取得したMOSについて、劣 化隠蔽特性を適用しなかった場合のMOSに対す る割合W _efg を算出する。W _efg は、シーンe(1≦e≦S)、データ損失パターンf(1 ≦f≦M)、劣化隠蔽方式g(0≦g≦N)を適用した場 合の劣化隠蔽方式gの主観品質改善作用を表� �。各劣化隠蔽方式について、各シーン・デ� �タ損失パターンに対する主観品質改善作用� �平均化を行う。具体的には以下の式のよう� �なる。

 この値を各劣化隠蔽方式に対する主観品� ��の改善作用の代表値とする。主観品質評価� ��度には原映像の品質からの差分で表す劣化� ��度(DMOS等)も存在するが、表3と表4に示すよ� �に、絶対尺度の場合と同様に導出する。

 ただしこの場合は、各劣化隠蔽方式に対す� ��主観品質の改善作用の代表値は以下のよう� ��導出する。利用する品質評価尺度の種類に� ��ってW _g の選択を行えば良い。

 以上で利用した各係数はデータベースD13に� ��納されている係数である。 
 また劣化隠蔽処理特定機能部F13では主観品� ��評価実験の結果に従って構築されたデータ� ��ースを用いる以外に、符号化された映像の� ��ットストリームや画素信号として復号され� ��情報を用いて、評価対象映像毎に動的に劣� ��隠蔽処理が主観品質に及ぼす影響を推定す� ��方法を用いても良い。

 具体的には、劣化隠蔽処理の効果と周囲� ��エッジ量には相関関係があることが知られ� ��いることから、上記劣化発生領域の重み判� ��機能部F12における絵柄の複雑さが劣化した� ��クロブロックの主観品質への影響度を測定� ��る機能の第一もしくは第二の場合において� ��出したベクトルEを用いて劣化隠蔽特性の重 みWを以下の式で導出する。

 ただし、ωはデータベースD13またはD12に格� �されている係数で、Wは各マクロブロック毎� ��導出される。この場合のみWを劣化発生領域 の重み判定機能部F12で計算して、劣化量情報 12aとして単一フレームの劣化代表値導出機能 部F14に出力しても良い。
このようにして劣化隠蔽処理特定機能部F13で 導出した各マクロブロックにおけるW _g もしくはWを劣化隠蔽処理情報13aとして単一� �レームの劣化代表値導出機能部F14に出力す� �。

 次に、単一フレームの劣化代表値導出機� ��部F14の詳細を説明する。単一フレームの劣� ��代表値導出機能部F14では、劣化発生領域(位 置、数)特定機能部F11、劣化発生領域の重み� �定機能部F12、劣化隠蔽処理特定機能部F13の� �力11a,12a,13aを入力として、あるフレーム内に 存在する劣化した全てのマクロブロックの影 響を加味した劣化代表値と劣化の局所性をフ レーム劣化代表値14aとして出力する。具体的 には重み関数を用いて以下の式で導出される 。

 ここで、τはデータベースD14に格納され� �いる係数である。ただし、εは劣化発生領域 (位置、数)特定機能部F11が導出する、参照先� ��ブロックがP属性かB属性かI属性かで決定さ� ��る重みである。

 は、劣化発生領域の重み判定機能部F12が導� ��する劣化したマクロブロックiにおけるエッ ジが主観品質に及ぼす影響ベクトルEで、M ^weight (i)は劣化発生領域の重み判定機能部F12が導出 する劣化したマクロブロックiにおける動き� �大きさが主観品質に与える影響M ^weight で、σ _MVN は劣化発生領域の重み判定機能部F12が導出す る動きの向きが主観品質に与える影響で、C _i は劣化発生領域の重み判定機能部F12が導出す る劣化したマクロブロックiの位置が主観品� �に与える影響Cで、W _g は劣化隠蔽処理特定機能部F13で導出する劣化 隠蔽方式kの主観品質の改善効果を表し、W _g の代わりに数式19より、

 を用いることも可能である。ただし、xはフ レーム内に存在する劣化したマクロブロック の総数である。重み関数WF ₁ (w)は任意の関数を取ることが可能であるが、 ここでは例として以下の関数を利用する。
   WF ₁ (w)=u ₁ *log(w-u ₂ )+u ₃  
 ただし、u ₁ ,u ₂ ,u ₃ はデータベースD14に格納されている係数であ る。

 また単一フレームの劣化代表値導出機能部F 14では、オプションとして劣化発生領域(位置 、数)特定機能部F11、劣化発生領域の重み判� �機能部F12、劣化隠蔽処理特定機能部F13の出� �11a,12a,13aに基づいて或るスライス内に存在す る劣化した全てのマクロブロックの影響を加 味した劣化代表値DSを導出する機能がある。� ��体的には重み関数WF ₁ (w)を用いて以下の式で導出される。

 ただし、SNは劣化したスライス内に存在す� �劣化したマクロブロックの総数であり、W _g の代わりに

 を用いることも可能である。そして、フ� ��ーム劣化代表値14aを全フレームの劣化代表� ��導出機能部F15に出力する。

 次に全フレームの劣化代表値導出機能部F15� ��詳細を説明する。全フレームの劣化代表値� ��出機能部F15では、単一フレームの劣化代表� ��導出機能部F14から出力された評価対象映像� ��に存在する全てのフレームの劣化代表値と� ��化の局所性を入力として、評価対象映像の� ��化代表値Dを全フレーム劣化代表値15aとして 出力する。劣化代表値Dは重み関数WF ₂ (w)を用いて以下の式で導出される。

 ここで、L _f は劣化発生領域の重み判定機能部F12で導出さ れる、フレームfにおける劣化の局所性が主� �品質に与える影響である。重み関数WF ₂ (w)は任意の関数を取ることが可能であるが、 ここでは例として以下の関数を利用する。
   WF ₂ (w)=h ₁ *log(w-h ₂ )+h ₃  
 ただし、h ₁ ,h ₂ ,h ₃ はデータベースD15に格納されている係数であ り、Fは評価対象映像中に存在する全フレー� �数である。またD _f の代わりにD _S を用いても良く、その際は以下の式で評価対 象映像の劣化代表値Dを導出する。

 ただし、ASNは評価対象映像中に存在する� ��スライス数である。そして、全フレーム劣� ��代表値15aを主観品質推定機能部F17に出力す� ��。

 次に符号化劣化に対する主観品質推定機能� ��F16の詳細を説明する。符号化劣化に対する� ��観品質推定機能部F16は、符号化による映像� ��劣化のみを加味した主観品質E _coded を導出する機能であり、本機能部F16では符号 化主観品質16aとして任意の従来法の出力を利 用可能である。E _coded をデータベースD16に格納しておいて符号化主 観品質16aとして出力しても良い。

 次に全フレームの劣化代表値導出機能部F15� ��符号化劣化に対する主観品質推定機能部F16� ��出力を入力として、符号化とパケット損失� ��よる映像の劣化を加味した主観品質E _all を出力する主観品質推定機能部F17の詳細を説 明する。主観品質推定機能部F17は、関数ev(x,y )を用いて以下の式で主観品質E _all を導出する。

  E _all =ev(E _coded ,D)
 関数ev(v ₁ ,v ₂ )は任意の関数を取ることが可能であるが、� �こでは例として以下の関数を利用する。
  ev(v ₁ ,v ₂ )=l ₁ (v ₁ /v ₂ )+l ₂
 ただし、l ₁ ,l ₂ はデータベースD17に格納されている係数であ る。

 以上により、符号化ビット列に欠損が発� ��した場合に、精度良く効率的に映像の主観� ��質を導出することが可能となる。

(実施の形態2)
 本実施の形態は、劣化隠蔽処理の影響を表� ��パラメータW _g の導出方法以外は、実施の形態1と同様の処� �を行う。W _g は、空間方向の劣化隠蔽処理の影響を表すW _gS と時間方向の劣化隠蔽処理の影響を表すW _gT を用いて以下の式で導出する。

 W _g =ω ₁ ×W _gS ×W _gT +ω ₂ ×W _gS +ω ₃ ×W _gT
 ただし、ω ₁ ,ω ₂ ,ω ₃ はデータベースD13に格納してある係数である 。

 空間方向の劣化隠蔽処理の影響を表すW _gS の導出方法を図17を用いて説明する。図17に� �すフレーム内のマクロブロック数とスライ� �形状は一例である。
 W _gS を導出する際には、まず図17において、単一� ��レーム内の劣化領域と縦横ななめで隣接す� ��周囲マクロブロック(図17ではマクロブロッ� ��13,14,15,23,25,26,33,36,43,44,45,46)に注目する。次� ��周囲マクロブロック各々について、全ての� ��接する周囲マクロブロックとの類似度を計� ��する。本実施の形態では類似度として、2つ のマクロブロックの全画素の輝度情報の平均 二乗誤差を用いる。ただし類似度導出はこの 方法のみでなく、公知の全ての類似度導出ア ルゴリズムを用いることができる。本実施の 形態では、具体的にマクロブロック1とマク� �ブロック2が存在する場合に、類似度を以下� ��式で導出する。

 ただし、P _1i とP _2i は、マクロブロック1とマクロブロック2で空� ��的に同一位置の画素である。

 次に周囲マクロブロック各々について、全� ��の隣接する周囲マクロブロックとの類似度� ��導出する(例えば図17の周囲マクロブロック1 4については、隣接する周囲マクロブロック13 と15の両方と類似度の導出を行う)。周囲マク ロブロック各々について、全ての隣接する周 囲マクロブロックとの間で導出された類似度 を平均し、その値を周囲マクロブロックの類 似度代表値とし、全ての周囲マクロブロック の類似度代表値を平均して単一フレームの類 似度S _frame とする。またそのフレーム内で劣化したマク ロブロックの数をN _frame とし、W _gS を以下の式で導出する。

 ただし、ω ₄ ,ω ₅ ,ω ₆ ,ω ₇ ,ω ₈ はデータベースD13に格納してある係数である 。

 次に、時間方向の劣化隠蔽処理の影響を表� ��W _gT の導出方法についても図17を用いて説明する� ��W _gT を導出する際には、まず図17で単一フレームi (iは時系列でi番目のフレーム)内の劣化領域(� ��クロブロック24,34,35)と縦横ななめで隣接す� ��周囲マクロブロック(図17ではマクロブロッ� ��13,14,15,23,25,26,33,36,43,44,45,46)に注目する。同� ��に時系列でフレームiと前後するフレームi-1 とフレームi+1に注目する。まず図18(図18では� ��ブロック24は損失ブロック、ブロック13,14,34 は周囲マクロブロックの一部を表している。 そして、図中の左側のマクロブロック13,14,23, 24はフレームi-1の一部、図中の中央のマクロ� ��ロック13,14,23,24はフレームiの一部、図中の� ��側のマクロブロック13,14,23,24はフレームi+1� �一部を表している)で示すように、フレームi の周囲マクロブロック各々について動きベク トルの大きさと向きを検出し、同時にフレー ムi-1とフレームi+1について、フレームiの周� �マクロブロックの位置と空間的に同一位置� �動きベクトルの向きと大きさを検出する。� �れは参考文献1に従って行う。

 更にフレームi-1とフレームi+1の動きベクト� ��について、フレームiの周囲マクロブロック の動きベクトルの内積を計算し、例えば図17� ��の周囲マクロブロック14についてであれば� �それぞれIP _14i とIP _14(i+1) を導出する。そしてIP _14i とIP _14(i+1) を平均した値としてAIP _14i を導出する。ただし、内積を計算する際の各 ベクトルの大きさは一律に1としても良い。� �様にしてフレームi内の全ての周囲マクロブ� ��ックについてAIP _δi (δは周囲マクロブロック番号)を計算し、全� �の周囲マクロブロックのAIP _δi を平均した値を、フレームiの時間方向の劣� �隠蔽処理の影響を表すW _gT =AIP _i とする。ただしフレームi-1とフレームi+1につ いて、フレームiの周囲マクロブロックと空� �的に対応するマクロブロックに動きベクト� �が設定されていない場合や損失で失われて� �る場合は、そのマクロブロックの動きベク� �ルは0ベクトルとしてW _gT を計算する。また本実施の形態では劣化が起 きた前後のフレームから内積計算用の動きベ クトルを算出したが、任意の2フレームから� �積計算用の動きベクトルを算出しても良い� �
 なお、W _gS やW _gT は劣化が起きたフレーム毎に再計算される値 である。