以下、本発明の実施の形態について図を参� ��して説明する。
 図5は、本発明の実施の形態における映像品 質客観評価装置の構成を示すブロック図であ る。本映像品質客観評価装置1は、図5に示す� ��うに、受信部2、演算部3、記憶媒体4および� ��力部5からなる。ここで、図5に示すH.264符号 化装置6は、入力映像を後述するH.264方式によ り符号化する。そして、符号化された映像ビ ット列は伝送網内を伝送パケットとして通信 され映像品質客観評価装置1に送信される。

 映像品質客観評価装置1は、その伝送パケ ット、すなわち前記符号化されたビット列を 受信部2で受信する。そして、CPUが記憶媒体4� ��記憶されたプログラムを読み出して実行す� ��ことにより、演算部3の各機能を実現する。 即ち、演算部3は受信部2で受信されたビット� ��の情報を利用して後述する実施の形態1~8に� ��される各種の演算処理を行い、その演算処� ��結果を表示部などの出力部5に出力すること により、映像の主観品質を推定するものであ る。

(実施の形態1)
 実施の形態1では、図6に示すように、量子� �パラメータ統計量計算部11と統合部20とが設� ��られ、H.264方式で符号化された評価映像Vの� ��ットストリーム内に存在する量子化情報で� ��る量子化パラメータの情報を使って主観品� ��EVを推定する。本方式は、DCT係数と動き補� �を使う符号化方式には原理的に適用可能で� �る。

 本実施の形態の簡単な流れを次に示す。� ��ず図6において、符号化ビットストリームは まず量子化パラメータ統計量計算部11に入力� ��れる。量子化パラメータ統計量計算部11で� �、ビットストリームから量子化パラメータ� �抽出して以下に示すアルゴリズムに従って� �子化パラメータの代表値QPminを導出する。次 に統合部20では以下のアルゴリズムに従って� ��子化パラメータの代表値QPminから評価映像V� ��主観品質EVを推定する。

 これらの流れを図15のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1(ITU-T H.264, “Advanced video coding for gene ric audiovisual services,”Feb. 2000.)に記載されて おり、H.264方式の仕様に従ってマクロブロッ� ��毎に設定される量子化パラメータの情報の� ��出を行う。

 図1に示すように、まず評価映像Vを構成� �る全てのフレームについて、フレーム内に� �在する全てのマクロブロック(全m個)の量子� �パラメータ値を使って、フレーム毎の量子� �パラメータの代表値QPmin(i)を導出する。ただ し、iはフレーム番号(i=1から映像の再生を開� ��してi=nで映像の再生を終了)を示す。QPmin(i)� ��以下の式で導出される。

 ただし、QPijはフレーム番号i中のマクロ� �ロック番号jの量子化パラメータを表し(図1)� ��また、演算子

 は、自然数A ₁ ~A _m を参照して最小となる値を出力する。ただし 、最小値以外の任意の統計量(最大値、平均� �等)を導出しても良い。
 上記処理によりフレーム番号i中で最も値が 小さい量子化パラメータの導出がなされる。 これは量子化パラメータがより小さくなると 該当マクロブロックに対してより細かい量子 化が適用されることから、上記処理は最も細 かい量子化を行うマクロブロックを導出する ことになる。絵柄が複雑な映像ほどきめ細か い量子化が必要になるため、上記処理はフレ ーム番号i中で最も複雑な絵柄となるマクロ� �ロックの特定を目的としている。

 以上で導出したフレーム毎の量子化パラメ� ��タの代表値QP _min (i)を用いて、次に評価映像の全ての量子化パ ラメータの代表値QP _min を導出する。QP _min は以下の式で導出される。

 ただし、演算子

 は、自然数A ₁ ~A _m を参照して平均となる値を出力する。
 以上で導出したQP _min を用いて、評価映像Vの主観品質EVを推定する 。主観品質EVは以下の式で導出される。H.264� �は方式では量子化パラメータの代表値QP _min と主観品質EVの間に非線形性が存在するため� ��その特性を考慮したものとなっている。

 ただし、係数a,b,c,dは予め主観評価実験を行 って、回帰分析により最適化される係数であ る。なお、EVの尺度としては参考文献2(ITU-T P .910,“TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTAL LATIONS, LOCAL LINE NETWORKS,”Sep. 1999.)に示され� ��いるACR法や参考文献3(ITU-R BT.500,“Methodology� �for the subjective assessment of the quality of tel evision pictures,”2002.)に示されているDSIS法ま� �はDSCQS法などがある。また、フレーム毎の量 子化パラメータであるQP _min (i)を用いて、QP _min (i)の平均値であるQP _ave や、最大値であるQP _max など、QP _min (i)の統計量をQP _min の代わりに使っても良い。

(実施の形態2)
 実施の形態2では、図7に示すように、量子� �パラメータ統計量計算部11、動きベクトル統 計量計算部12および統合部20が設けられ、H.264 方式で符号化された評価映像Vに対して、H.264 方式の符号化で利用される量子化パラメータ に加えて動きベクトルの情報を使って主観品 質EVを客観的に推定する。本方式は、原理的� ��はDCT係数と動き補償を使う符号化方式に適� ��可能である。

 本実施の形態の簡単な流れを次に示す。� ��ず図7において、符号化ビットストリームは まず量子化パラメータ統計量計算部11と動き� ��クトル統計量計算部12に入力される。量子� �パラメータ統計量計算部11では、ビットスト リームから量子化パラメータを抽出して以下 に示すアルゴリズムに従って量子化パラメー タの代表値QPminを導出する。また動きベクト� ��統計量計算部12では、ビットストリームか� �動きベクトルを抽出して以下に示すアルゴ� �ズムに従って動きベクトルの代表値MVkurtを� �出する。次に統合部20では以下のアルゴリズ ムに従って量子化パラメータの代表値QPminと� ��きベクトルの代表値MVkurtから評価映像Vの主 観品質EVを推定する。

 これらの流れを図16のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1に記載されており、H.264方式の仕様に従 ってマクロブロック毎に設定される量子化パ ラメータとマクロブロック・サブマクロブロ ック毎に設定される動きベクトルの情報を抽 出する。

 量子化パラメータについては、実施の形態1 で示したQP _min (ただし、実施の形態1で示した量子化パラメ� ��タの統計量を使っても良い)をEVの導出に利� ��する。
 一方、動きベクトルの代表値については、� ��2、図3、図4を用いて説明する。図2に示すよ うに、H.264方式では動きベクトルの導出に用� ��る参照フレームを、前方、後方に限らず、� ��クロブロック・サブマクロブロック単位で� ��意の2つ選ぶことが可能である。そこで各マ クロブロック・サブマクロブロック毎に設定 される動きベクトルの大きさを正規化するよ うに、動きベクトルの導出対象フレームの前 方・後方1フレームに各マクロブロック・サ� �マクロブロックを射影する。具体的な処理� �図3、図4で説明する。

 図3は、動きベクトルの導出対象フレームi� �のj番目のブロックMB _ij の参照フレームがフレームiの(p+1)フレーム後 方にある場合を示している。図3のように動� �ベクトルの導出対象フレームiから参照フレ� ��ム上に動きベクトルMV _ij が存在しており、以下のようにしてMV _ij を動きベクトルの導出対象フレームiから1フ� ��ーム後方へのベクトルMV’ _ij に射影する。

 また図4は、動きベクトルの導出対象フレー ムi中のj番目のブロックMB _ij の参照フレームがフレームiの(q+1)フレーム前 方にある場合を示している。図4のように動� �ベクトルの導出対象フレームiから参照フレ� ��ム上に動きベクトルMV _ij が存在しており、以下のようにしてMV _ij を動きベクトルの導出対象フレームiから1フ� ��ーム前方へのベクトルMV’ _ij に射影する。

 以上の処理により、動きベクトルの導出� ��象フレームiの全てのマクロブロック・サブ マクロブロックj(1≦j≦x)毎に設定される動き ベクトルを、i±1フレーム上のベクトルへ射� �することが可能になる。ただし、xはフレー� ��i内のマクロブロックの個数である。

 以上で導出した動きベクトルの導出対象フ� ��ームi上のベクトルMV’ _ij を用いて、次に以下の式で動きベクトルの導 出対象フレームiの統計量として尖度Kurt(i)を� ��出する。ただし尖度Kurt(i)以外にも平均や最 大値、或いは最小値や分散等の各種統計量を 代替として用いることが可能である。
 下式中の

 は、ベクトルの大きさを表すものとする� ��

 以上で導出したフレーム毎の動きベクトル� ��代表値MV _kurt (i)を用いて、次に評価映像の全ての動きベク トルの代表値MVkurtを導出する。MV _kurt は以下の式で導出される。

 ただし、演算子

 は、自然数A ₁ ~A _m を参照して平均となる値を出力し、nは評価� �像Vの全フレーム数である。
 ここで動きベクトルの尖度を用いたのは、� ��きベクトルの分布を表現するためであり、� ��像で一様な動きや特定の物体の動きを定量� ��するためである。これと類似の物理的意味� ��持った特徴量(分散や歪度等)を使っても良� �。

 以上で導出したMV _kurt とQP _min を用いて、評価映像Vの主観品質EVを推定する 。EVは以下の式で導出される。下式中のMV _kurt はベクトルの大きさを表すものとする。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主 観評価実験を行って、回帰分析により最適化 される係数である。なお、EVの尺度としては� ��考文献2に示されているACR法や参考文献3に� �されているDSIS法またはDSCQS法などがある。

(実施の形態3)
 実施の形態3では、図8に示すように、量子� �パラメータ統計量計算部11、フレーム種別統 計量計算部13および統合部20が設けられ、H.264 方式で符号化された評価映像Vに対して、H.264 方式の符号化で利用される量子化パラメータ に加えてIスライス、Pスライス、Bスライスの 統計情報を使って主観品質EVを客観的に推定� ��る。なお、スイッチングIスライスはIスラ� �ス、スイッチングPスライスはPスライスとみ なす。本方式は、原理的にはDCT係数と動き補 償を使う符号化方式に適用可能である。

 本実施の形態の簡単な流れを次に示す。� ��ず図8において、符号化ビットストリームは まず量子化パラメータ統計量計算部11とフレ� ��ム種別統計量計算部13に入力される。量子� �パラメータ統計量計算部11では、ビットスト リームから量子化パラメータを抽出して以下 に示すアルゴリズムに従って量子化パラメー タの代表値QPminを導出する。またフレーム種� ��統計量計算部13では、ビットストリームか� �フレーム種別を抽出して以下に示すアルゴ� �ズムに従ってフレーム種別統計量Rを導出す� ��。次に統合部20では以下のアルゴリズムに� �って量子化パラメータの代表値QPminとフレー ム種別統計量Rから評価映像Vの主観品質EVを� �定する。

 これらの流れを図17のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1に記載されており、H.264方式の仕様に従 ってマクロブロック毎に設定される量子化パ ラメータとスライス毎に設定されるI・P・B属 性の情報を抽出する。

 量子化パラメータについては、実施の形態1 で示したQPmin(ただし、実施の形態1で示した� �子化パラメータの統計量を使っても良い)をE Vの導出に利用する。
 一方、スライス毎に設定されるI・P・B属性� ��ついては、評価映像中に存在するIスライス の数をカウントしたS _I 、Pスライスの数をカウントしたS _P 、Bスライスの数をカウントしたS _B を導出し、以下の式で全てのスライスの数に 対する各スライスの数の割合R _SI 、R _SP 、R _SB 、R _SPB を導出する。これは基本的にPスライスやBス� ��イスなどの他スライスからの差分となるス� ��イスを増やすと原理的に1枚当たりのスライ ス品質が向上し、逆にIスライスを増やすと1� ��当たりのスライス品質が低下するため、全� ��のスライス数に対する各スライスの割合が� ��質に密接に関係するために、このようなパ� ��メータを導入した。ただし、スライスの代� ��りに、I・P・B属性のフレームまたはブロッ� ��を用いて上記処理を実行しても良い。

 これらのパラメータを用いて回帰分析で� ��め主観品質評価実験で導出しておいた主観� ��質との相関を比較して最も主観品質の推定� ��度が良いパラメータをRとする。

 以上で導出したRとQP _min を用いて、評価映像Vの主観品質EVを推定する 。EVは以下の式で導出される。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主 観評価実験を行って、回帰分析により最適化 される係数である。なお、EVの尺度としては� ��考文献2に示されているACR法や参考文献3に� �されているDSIS法またはDSCQS法などがある。

(実施の形態4)
 実施の形態4では、図9に示すように、量子� �パラメータ統計量計算部11、動きベクトル統 計量計算部12、フレーム種別統計量計算部13� �よび統合部20が設けられ、H.264方式で符号化� ��れた評価映像Vに対して、H.264方式の符号化� ��利用される量子化パラメータに加えて動き� ��クトルとIスライス、Pスライス、Bスライス� ��情報を使って主観品質EVを客観的に推定す� �。なお、スイッチングIスライスはIスライス 、スイッチングPスライスはPスライスとみな� ��。

 本実施の形態の簡単な流れを次に示す。ま� ��図9において,符号化ビットストリームはま� �量子化パラメータ統計量計算部11と動きベク トル統計量計算部12とフレーム種別統計量計� ��部13に入力される。量子化パラメータ統計� �計算部11では、ビットストリームから量子化 パラメータを抽出して以下に示すアルゴリズ ムに従って量子化パラメータの代表値QPminを� ��出する。また動きベクトル統計量計算部12� �は、ビットストリームから動きベクトルを� �出して以下に示すアルゴリズムに従って動� �ベクトルの代表値MV _kurt を導出する。さらに、フレーム種別統計量計 算部13では、ビットストリームからフレーム� ��別を抽出して以下に示すアルゴリズムに従� ��てフレーム種別統計量Rを導出する。次に統 合部20では以下のアルゴリズムに従って量子� ��パラメータの代表値QPminと動きベクトルの� �表値MV _kurt とフレーム種別統計量Rから評価映像Vの主観� ��質EVを推定する。

 これらの流れを図18のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1に記載されており、H.264方式の仕様に従 ってマクロブロック毎に設定される量子化パ ラメータとスライス毎に設定されるI・P・B属 性とマクロブロック・サブマクロブロック毎 に設定される動きベクトルの情報を抽出する 。

 量子化パラメータについては、実施の形態1 で示したQP _min (ただし、実施の形態1で示した量子化パラメ� ��タの統計量を使っても良い)をEVの導出に利� ��する。
 動きベクトルについては、実施の形態2で示 したMV _kurt をEVの導出に利用する。
 Iスライス、Pスライス、Bスライスについて� ��実施の形態3で示したRを利用する。

 以上で、導出したMV _kurt とRとQP _min を用いて、評価映像Vの主観品質EVを推定する 。EVは以下の式で導出される。下式中のMV _kurt はベクトルの大きさを表すものとする。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,m,o,p,q,r,s,t ,u,v,w,x,yは予め主観評価実験を行って、回帰� �析により最適化される係数である。なお、EV の尺度としては参考文献2に示されているACR� �や参考文献3に示されているDSIS法またはDSCQS� ��などがある。

(実施の形態5)
 実施の形態5では、図10に示すように、ビッ� ��量の和の統計量計算部14と統合部20が設けら れ、H.264方式で符号化された評価映像Vのビッ トストリームの予測符号化に使われるビット 量、変換符号化に使われるビット量、符号化 の制御に使われるビット量を用いて主観品質 EVを推定する。本方式は、原理的にはDCT係数� ��動き補償を使う符号化方式に適用可能であ� ��。

 本実施の形態の簡単な流れを次に示す。ま� ��図10において、符号化ビットストリームは� �ずビット量の和統計量計算部14に入力される 。ビット量の和統計量計算部14では、ビット� ��トリームからビット量の和を抽出して以下� ��示すアルゴリズムに従ってビット量の和の� ��表値Bit _max を導出する。次に統合部20では以下のアルゴ� ��ズムに従ってビット量の和の代表値Bit _max から評価映像Vの主観品質EVを推定する。

 これらの流れを図19のフローチャートに� �している。H.264方式のビット列の仕様は前述 の参考文献1に記載されており、H.264方式の仕 様に従ってマクロブロック毎に設定される予 測符号化に使われるビット量、変換符号化に 使われるビット量、符号化の制御に使われる ビット量の情報の導出を行う。

 図9に示すように、まず評価映像Vを構成す� �全てのフレームについて、フレーム内に存� �する全てのマクロブロック(全m個)の予測符� �化に使われるビット量、変換符号化に使わ� �るビット量、符号化の制御に使われるビッ� �量の和を使って、フレーム毎のビット量子� �和の代表値Bit _max (i)を導出する。ただし、iはフレーム番号(i=1� ��ら映像の再生を開始してi=nで映像の再生を� ��了)を示す。Bit _max (i)は以下の式で導出される。

 ただし、Bit _ij はフレーム番号i中のマクロブロック番号jの� ��ット量の和を表し、また、演算子

 は、自然数A ₁ ~A _m を参照して最大となる値を出力する。ただし 、最大値以外の任意の統計量(最小値、平均� �等)を導出しても良い。
 上記処理によりフレーム番号i中で最も値が 大きいビット量の和の導出がなされる。これ はビット量の和がより大きくなると該当マク ロブロックに対してよりビット量を割り振る 符号化処理が適用されることから、上記処理 は効率的な処理が難しいマクロブロックのビ ット量の和を導出することになる。

 以上で導出したフレーム毎のビット量の和� ��代表値Bit _max (i)を用いて、次に評価映像の全てのビット量 の和の代表値Bit _max を導出する。Bit _max は以下の式で導出される。

 ただし、演算子

 は、自然数A ₁ ~A _m を参照して平均となる値を出力する。
 以上で導出したBit _max を用いて、評価映像Vの主観品質EVを推定する 。主観品質EVは以下の式で導出される。H.264� �は方式ではビット量の和の代表値Bit _max と主観品質EVの間に非線形性が存在するため� ��その特性を考慮したものとなっている。

 ただし、係数a,b,c,dは予め主観評価実験を行 って、回帰分析により最適化される係数であ る。なお、EVの尺度としては前述の参考文献2 に示されているACR法や前述の参考文献3に示� �れているDSIS法またはDSCQS法などがある。ま� �、フレーム毎のビット量の和の代表値であ� �Bit _max (i)を用いて、Bit _max (i)の平均値であるBitaveや、最小値であるBit _min など、Bit _max (i)の統計量をBit _max の代わりに使っても良い。

(実施の形態6)
 実施の形態6では、図11に示すように、ビッ� ��量の和の統計量計算部14、動きベクトル統� �量計算部12および統合部20が設けられ、H.264� �式で符号化された評価映像Vに対して、H.264� �式の符号化で利用されるビットストリーム� �予測符号化に使われるビット量、変換符号� �に使われるビット量、符号化の制御に使わ� �るビット量を用いて主観品質EVを客観的に推 定する。本方式は、原理的にはDCT係数と動き 補償を使う符号化方式に適用可能である。

 本実施の形態の簡単な流れを次に示す。ま� ��図11において、符号化ビットストリームは� �ずビット量の和統計量計算部14と動きベクト ル統計量計算部12に入力される。ビット量の� ��統計量計算部14では、ビットストリームか� �ビット量の和を抽出して以下に示すアルゴ� �ズムに従ってビット量の和の代表値Bit _max を導出する。また動きベクトル統計量計算部 12では、ビットストリームから動きベクトル� ��抽出して以下に示すアルゴリズムに従って� ��きベクトルの代表値MV _kurt を導出する。次に統合部20では以下のアルゴ� ��ズムに従ってビット量の和の代表値Bit _max と動きベクトルの代表値MV _kurt から評価映像Vの主観品質EVを推定する。

 これらの流れを図20のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1に記載されており、H.264方式の仕様に従 ってマクロブロック毎に設定される量子化パ ラメータとマクロブロック・サブマクロブロ ック毎に設定されるビットストリームの予測 符号化に使われるビット量、変換符号化に使 われるビット量、符号化の制御に使われるビ ット量と、マクロブロック、サブマクロブロ ック毎に設定される動きベクトルの情報を抽 出する。

 ビットストリームの予測符号化に使われる� ��ット量、変換符号化に使われるビット量、� ��号化の制御に使われるビット量については� ��実施の形態5で示したBitmaxをEVの導出に利用� ��る。
 一方、動きベクトルの代表値の導出につい� ��は、既に実施の形態2で図2、図3、図4を用い て説明したとおりであるので省略する。

 以上で導出した評価映像の全ての動きベク� ��ルの代表値MV _kurt と、評価映像の全てのビット量の和の代表値 Bit _max を用いて、評価映像Vの主観品質EVを推定する 。EVは以下の式で導出される。下式中のMV _kurt はベクトルの大きさを表すものとする。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主 観評価実験を行って、回帰分析により最適化 される係数である。なお、EVの尺度としては� ��考文献2に示されているACR法や参考文献3に� �されているDSIS法またはDSCQS法などがある。

(実施の形態7)
 実施の形態7では、図12に示すように、ビッ� ��量の和の統計量計算部14、フレーム種別統� �量計算部13および統合部20が設けられ、H.264� �式で符号化された評価映像Vに対して、H.264� �式の符号化で利用されるビットストリーム� �予測符号化に使われるビット量、変換符号� �に使われるビット量、および符号化の制御� �使われるビット量に加えてIスライス、Pスラ イス、Bスライスの統計情報を用いて主観品� �EVを客観的に推定する。なお、スイッチング IスライスはIスライス、スイッチングPスライ スはPスライスとみなす。本方式は、原理的� �はDCT係数と動き補償を使う符号化方式には� �用可能である。

 本実施の形態の簡単な流れを次に示す。ま� ��図12において、符号化ビットストリームは� �ずビット量の和統計量計算部14とフレーム種 別統計量計算部13に入力される。ビット量の� ��統計量計算部14では、ビットストリームか� �ビット量の和を抽出して以下に示すアルゴ� �ズムに従ってビット量の和の代表値Bit _max を導出する。またフレーム種別統計量計算部 13では、ビットストリームからフレーム種別� ��抽出して以下に示すアルゴリズムに従って� ��レーム種別統計量Rを導出する。次に統合部 20では以下のアルゴリズムに従ってビット量� ��和の代表値Bit _max とフレーム種別統計量Rから評価映像Vの主観� ��質EVを推定する。

 これらの流れを図21のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1に記載されており、H.264方式の仕様に従 ってマクロブロック毎に設定される予測符号 化に使われるビット量、変換符号化に使われ るビット量、および符号化の制御に使われる ビット量と、スライス毎に設定されるI・P・B 属性の情報を抽出する。

 ビットストリームの予測符号化に使われる� ��ット量、変換符号化に使われるビット量、� ��よび符号化の制御に使われるビット量につ� ��ては、実施の形態5で示したBit _max をEVの導出に利用する。

 一方、スライス毎に設定されるI・P・B属性� ��ついては、既に実施の形態3で説明したよう に、評価映像中に存在するIスライスの数を� �ウントしたS _I 、Pスライスの数をカウントしたS _P 、Bスライスの数をカウントしたS _B を導出し、全てのスライスの数に対する各ス ライスの数の割合R _SI 、R _SP 、R _SB 、R _SPB をパラメータとして導出する。そして、これ らのパラメータを用いて回帰分析で予め主観 品質評価実験で導出しておいた主観品質との 相関を比較して最も主観品質の推定精度が良 いパラメータをRとする。

 以上で導出したパラメータRとBit _max を用いて、評価映像Vの主観品質EVを推定する 。EVは以下の式で導出される。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,mは予め主 観評価実験を行って、回帰分析により最適化 される係数である。なお、EVの尺度としては� ��考文献2に示されているACR法や参考文献3に� �されているDSIS法またはDSCQS法などがある。

(実施の形態8)
 実施の形態8では、図13に示すように、ビッ� ��量の和の統計量計算部14、動きベクトル統� �量計算部12、フレーム種別統計量計算部13お� ��び統合部20が設けられ、H.264方式で符号化さ れた評価映像Vに対して、H.264方式の符号化で 利用されるビットストリームの予測符号化に 使われるビット量、変換符号化に使われるビ ット量、および符号化の制御に使われるビッ ト量に加えて動きベクトルとIスライス、Pス� ��イス、Bスライスの情報を使って主観品質EV� ��客観的に推定する。なお、スイッチングIス ライスはIスライス、スイッチングPスライス� ��Pスライスとみなす。本方式は、原理的には DCT係数と動き補償を使う符号化方式に適用可 能である。

 本実施の形態の簡単な流れを次に示す。ま� ��図13において、符号化ビットストリームは� �ずビット量の和統計量計算部14と動きベクト ル統計量計算部12とフレーム種別統計量計算� ��13に入力される。ビット量の和統計量計算� �14では、ビットストリームからビット量の和 を抽出して以下に示すアルゴリズムに従って ビット量の和の代表値Bit _max を導出する。また動きベクトル統計量計算部 12では、ビットストリームから動きベクトル� ��抽出して以下に示すアルゴリズムに従って� ��きベクトルの代表値MV _kurt を導出する。さらに、フレーム種別統計量計 算部13では、ビットストリームからフレーム� ��別を抽出して以下に示すアルゴリズムに従� ��てフレーム種別統計量Rを導出する。次に統 合部20では以下のアルゴリズムに従ってビッ� ��量の和の代表値Bit _max と動きベクトルの代表値MV _kurt とフレーム種別統計量Rから評価映像Vの主観� ��質EVを推定する。

 これらの流れを図22のフローチャートに� �している。H.264方式のビット列の仕様は参考 文献1に記載されており、H.264方式の仕様に従 ってマクロブロック毎に設定されるビットス トリームの予測符号化に使われるビット量、 変換符号化に使われるビット量、および符号 化の制御に使われるビット量と、スライス毎 に設定されるI・P・B属性とマクロブロック・ サブマクロブロック毎に設定される動きベク トルの情報を抽出する。

 ビットストリームの予測符号化に使われる� ��ット量、変換符号化に使われるビット量、� ��よび符号化の制御に使われるビット量につ� ��ては、実施の形態5で示したBit _max をEVの導出に利用する。
 動きベクトルについては、実施の形態2で示 したMV _kurt をEVの導出に利用する。
 Iスライス、Pスライス、Bスライスについて� ��実施の形態3で示したRを利用する。

 以上で、導出したMV _kurt とRとQP _min を用いて、評価映像Vの主観品質EVを推定する 。EVは以下の式で導出される。下式中のMV _kurt はベクトルの大きさを表すものとする。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,m,o,p,q,r,s,t ,u,v,w,x,yは予め主観評価実験を行って、回帰� �析により最適化される係数である。なお、EV の尺度としては参考文献2に示されているACR� �や参考文献3に示されているDSIS法またはDSCQS� ��などがある。

(実施の形態9)
 実施の形態9では、図14に示すように、Iスラ イス・Pスライス・Bスライスのビット量の和� ��統計量計算部15、Iスライス・Pスライス・B� �ライスの量子化情報の統計量計算部16および 主観品質推定部17が設けられ、H.264方式で符� �化された評価映像Vに対して、H.264方式の符� �化で利用されるビットストリームのうち、I� ��ライス・Pスライス・Bスライスの各々の予� �符号化に使われるビット量、変換符号化に� �われるビット量、符号化の制御に使われる� �ット量に加えて、Iスライス・Pスライス・B� �ライスの量子化パラメータ(量子化情報)を使 って主観品質EVを客観的に推定するものであ� ��。なお、スイッチングIスライスはIスライ� �、スイッチングPスライスはPスライスとみな す。

 本実施の形態の簡単な流れを次に示す。ま� ��、図14において、符号化ビットストリーム� �まずIスライス・Pスライス・Bスライスのビ� �ト量の和計算部15に入力される。この計算部 15では、Iスライス,Pスライス,Bスライスのビ� �ト量を動きベクトルや量子化係数、また符� �化制御情報に場合分けして導出する。次にI� ��ライス・Pスライス・Bスライスの量子化情� �の統計量計算部16では、Iスライス,Pスライス ,Bスライス内の量子化情報を抽出して以下に� ��すアルゴリズムに従って、Iスライス・Pス� �イス・Bスライスの量子化情報の統計量QP _min (I)・QP _min (P)・QP _min (B)を導出する。

 次に主観品質推定部17では、統計量QP _min (I)・QP _min (P)・QP _min (B)等を用い、以下で示すアルゴリズムに従っ て評価映像Vの主観品質EVを推定する。これら の流れを図23のフローチャートに示している� ��H.264方式のビット列の仕様は参考文献1に記� ��されており、H.264方式の仕様に従ってマク� �ブロック毎に設定されるビットストリーム� �予測符号化に使われるビット量、変換符号� �に使われるビット量、符号化の制御に使わ� �るビット量とスライス毎に設定されるI・P・ B属性の情報を抽出する。

 Iスライス、Pスライス、Bスライスの各々の� ��測符号化に使われるビット量・変換符号化� ��使われるビット量・符号化の制御に使われ� ��ビット量については、Iスライスの予測符号 化に使われるビット量・変換符号化に使われ るビット量・符号化の制御に使われるビット 量をそれぞれ、Bit _pred (I)・Bit _res (I)・Bit _other (I)とし、Pスライスの予測符号化に使われる� �ット量・変換符号化に使われるビット量・� �号化の制御に使われるビット量をそれぞれ� �Bit _pred (P)・Bit _res (P)・Bit _other (P)とし、Bスライスの予測符号化に使われる� �ット量・変換符号化に使われるビット量・� �号化の制御に使われるビット量をそれぞれ� �Bit _pred (B)・Bit _res (B)・Bit _other (B)とする。ただし、各ビット量は評価映像の 全ての該当スライスのビット量としても良い し、ある特定時間内に存在するスライスのビ ット量としても良い。また、Bit _pred (BP)・Bit _res (BP)・Bit _other (BP)という値を定義し、以下の式で導出する� �

 Bitp _red (BP)=Bit _pred (B)+Bit _pred (P)
 Bit _res (BP)=Bit _res (B)+Bit _res (P)
 Bit _other (BP)=Bit _other (B)+Bit _other (P)
 量子化情報については、実施の形態1で示し たスライス毎のQP _min の導出プロセスを、Iスライスのみに適用し� �QP _min (I)・Pスライスのみに適用したQP _min (P)・Bスライスのみに適用したQP _min (B)を利用する。

 具体的には、評価映像Vを構成する全ての スライスについてI・P・B属性を判定し、各ス ライス毎に、スライス内に存在する全てのマ クロブロック(全m個)の量子化情報の値を使っ て、スライス毎の量子化情報の代表値QPmin(i)� ��以下の式で導出する。ただし、iはスライス 番号(i=1から映像の再生を開始してi=nで映像� �再生を終了)を示す。

 ただし、QPijはスライス番号i中のマクロ� �ロック番号jの量子化情報を表す(図1)。また� ��演算子

 は、自然数A ₁ ~A _m を参照して最小となる値を出力する。
 上記処理によりスライス番号i中で最も値が 小さい量子化情報の導出がなされる。これは 量子化情報がより小さくなると該当マクロブ ロックに対してより細かい量子化が適用され ることから、上記処理は最も細かい量子化を 行うマクロブロックを導出することになる。 絵柄が複雑な映像ほどきめ細かい量子化が必 要になるため、上記処理はスライス番号i中� �最も複雑な絵柄となるマクロブロックの特� �を目的としている。
 なお、QP _min (i)の代わりにQP _ave (i)等の平均や最小や最大等の平均や最小や最 大等の別のパラメータを以下の処理で利用す ることができる。QP _ave (i)は以下の式で導出される。

 ただし、演算子

 は、自然数A ₁ ~A _m を参照して平均となる値を出力する。
 以上で導出したスライス毎の量子化情報の� ��表値QP _min (i)を用いて、次に評価映像の全ての量子化情 報の代表値QP _min を導出する。QP _min は以下の式で導出される。

 以上の導出処理を、I・P・B属性毎に適用し� ��得られる値をそれぞれ、QP _min (I)・QP _min (P)・QP _min (B)とする。また、QP _min (BP)という値を定義し、以下の式で導出する� �
 QP _min (BP)=(QP _min (B)+QP _min (P))/2
 次に、評価映像Vの主観品質EVを推定する。� ��観品質EVは以下の式で導出される。H.264方式 ではI・P・Bスライスのビット量と量子化情報 の代表値と主観品質EVの間に非線形性が存在� ��るため、その特性を考慮したものとなって� ��る。

 ただし、係数a,b,c,d,e,f,g,h,i,j,k,l,m,n,oは予め� �観評価実験を行って、回帰分析により最適� �される係数である。なお、EVの尺度としては 参考文献2に示されているACR法や参考文献3に� ��されているDSIS法またはDSCQS法などがある。
 また、Bit _res (I)・Bit _res (BP)の代わりに、Bit _pred (I)・Bit _pred (BP)や以下で定義するビット量の割合R _res (I)・R _res (BP)、またBit _other (I)・Bit _other (BP)を用いることもでき、各場合を組み合わ� �て和算・平均・分散等の各種統計演算を適� �して重ね合わせを行って主観品質を導出し� �も良い。以上の式について、指数関数の代� �りに対数関数や多項式関数や、それらの逆� �により上記非線形性を考慮しても良い。

 さらに、本実施の形態では、スライス単� ��で演算を行っているが、マクロブロック単� ��・フレーム単位・GoP単位・映像全体等の演� ��単位に変更が可能である。

 なお、上記で量子化パラメータの代表値と� ��観品質EVとの間に非線形性の関係が存在す� �と述べたが、その関係を図24A,図24Bに示す。� ��24Aでは、QP _min が小さい領域で主観品質が飽和し、QP _min が中間の領域で主観品質が急激に変化し、QP _min が大きい領域で主観品質が飽和する状況を示 している。図24Bでは、上から順にシーン1,2,3, 4のビットレートと主観品質との関係を表し� �符号化難度で主観品質が変動することを表� �ている。量子化パラメータの代表値と主観� �質EVとの間に存在するこのような特性を考慮 することで、より的確な品質推定が可能にな る。参考までに、一般的な統計量である平均 と標準偏差を適用して主観品質の推定を行っ た場合と、本発明で示したモデルで主観品質 を推定した場合の推定結果をそれそれ図25A,� �25Bに示す。図25A,図25Bでは、横軸が主観品質� ��価実験で取得した主観品質であり、縦軸が� ��観品質を推定した客観品質となる。

 図25に示すように、平均と標準偏差を用� �る一般的なモデルでは、図24に示す飽和特性 を考慮しきれずに推定精度の悪化を招いてい るが、本発明ではこれを正確に考慮できてお り、推定精度の向上を可能にしている。