まず、本発明の概要について説明する。
 ここでの説明では、説明の便宜上、画像領� ��に相当するものをブロックと記載し、画像� ��域の直流成分に相当するものを平均値と記� ��して説明する。

 Implicitモードは、重み付き動き予測で必� �となる重み係数を間接的に算出することで� �余分な符号化情報を伝送しない方式である� �したがって、算出される重み係数が明るさ� �変化を十分に反映するものであるならば、� �常に効果的な手法となるが、それらが乖離� �ると予測性能が低下することになる。

 非線形のフェード画像やフラッシュ画像で� ��、フレーム間の明るさの変化が図1Aに示す� �うに非線形となる。
 このような場合に、予測参照信号に対して� ��み係数のみによる線形予測を行うと、図1B� �示すように予測性能が劣化する。

 そこで、双予測における重み付き動き予� ��では、オフセット係数dを設けているが、前 述したJSVCのImplicitモードでは、このオフセッ ト係数dがゼロにセットされるため、乖離量� �そのまま予測残差として表れてしまう。

 一方、M×Nサイズの符号化対象ブロックの座 標(m,n)における原信号をs ^mn と表し、双予測における2つの被参照ブロッ� �の座標(m,n)における復号信号をy ₀  ^mn ,y ₁  ^mn  と表し、符号化対象ブロックに重み係数(w _0, w _1, d)を割り当てると、重み係数(w _0, w _1, d)により算出される重み付き予測信号と原信� ��の誤差eは、
    e ^mn =s ^mn -(w ₀  y ₀  ^mn +w ₁  y ₁  ^mn +d)
となるので、符号化対象ブロックにおける予 測誤差e ^mn の総エネルギーEは、
    E=σ _m  σ _n  (s ^mn -(w ₀  y ₀  ^mn +w ₁  y ₁  ^mn +d)) ² 
となる。

 w _0, w ₁  が図20と同じように与えられるとすると、こ� ��総エネルギーEを最小化するオフセット係数 dは、「∂E/∂d=0」を解くことで、
    d=<s>-w ₀  <y ₀  >-w ₁  <y ₁  >
           <s>  : 符号化対象ブロ� ��クの原信号の平均値
           <y ₀  > : 被参照ブロックの復号信号の平均値
           <y ₁  > : 被参照ブロックの復号信号の平均値
と求まる。

 しかし、復号器では原信号を参照できない� ��そこで、本発明では、レイヤ間の平均値の� ��存性に着目して、図1Cに示すように、原信� �の平均値<s>の代わりに、直下レイヤに� �ける符号化対象ブロックと空間的同位置に� �在するブロック(直下ブロック)の復号信号の 平均値<x>を用いて、オフセット係数dを� �
    d≒<x>-w ₀  <y ₀  >-w ₁  <y ₁  >
と求めるようにする。

 しかるに、直下レイヤにおける符号化対� ��ブロックと空間的同位置に存在する直下ブ� ��ックの復号信号の平均値<x>を求めるに� ��、直下レイヤの復号信号をすべて復号する� ��要があり、大きな容量のメモリが必要にな� ��とともに、長い計算時間が必要になる。

 そこで、本発明では、双予測における重み� ��き動き予測において、
    d≒<x>-w ₀  <y ₀  >-w ₁  <y ₁  >
という算出式に従ってオフセット量を求める ときに、直下ブロックが動き予測の予測参照 先とした直下レイヤ被参照ブロックを同定し 、その直下レイヤ被参照ブロックと空間的同 位置に存在する上位レイヤのブロックの復号 信号の平均値に対して、直下ブロックが重み 付き動き予測の際に利用した重み係数を演算 したものを直下ブロックの復号信号の平均値 とみなすことで、<x>を求めるようにして いる。

 直下ブロックが動き予測の予測参照先と� ��た直下レイヤ被参照ブロックについては、� ��下レイヤのすべての信号を復号しなくても� ��きベクトルなどの一部の情報を復号するこ� ��で特定可能であることから、本発明によれ� ��、「大きな容量のメモリが必要になるとと� ��に、長い計算時間が必要になる」という問� ��も起こらない。

 また、重み係数w _0, w ₁  については、符号化対象ブロックと各被参照 ブロックとの間のフレーム間距離に応じて算 出されるものとなることで復号側でも求める ことができるものであり、さらに、オフセッ ト係数dについても、復号信号で算出できる� �うになることから復号側でも求めることが� �きることになり、これにより、本発明によ� �ば、重み係数を復号側に伝送する必要がな� �。

 したがって、本発明によれば、双予測に� ��ける重み付き動き予測において、Implicitモ� �ドを実現しつつ、フレーム間の明るさが非� �形に変化するような場合にも、高精度の重� �付き動き予測を、少ないメモリ容量で、か� �、短時間に実行することができるようにな� �。

 なお、この本発明の技術思想は、片方向� ��測における重み付き動き予測にも適用でき� ��ものである。

 すなわち、片方向予測における重み付き動� ��予測では、
(i)比例係数として、被参照ブロックの復号信 号の平均値と符号化対象ブロックの原信号の 平均値との比を用いるとともに、オフセット 係数としてゼロを用いる、あるいは、
(ii)オフセット係数として、被参照ブロック� �復号信号の平均値と符号化対象ブロックの� �号信号の平均値との差を用いるとともに、� �例係数として1を用いる
 ことになる。

 しかし、復号器では原信号を参照できな� ��。そこで、本発明では、レイヤ間の平均値� ��保存性に着目して、符号化対象ブロックの� ��信号の平均値の代わりに、直下ブロックの� ��号信号の平均値を用いて、上述の比や差を� ��めるようにする。

 しかるに、直下ブロックの復号信号の平� ��値を求めるには、直下レイヤの復号信号を� ��べて復号する必要があり、大きな容量のメ� ��リが必要になるとともに、長い計算時間が� ��要になる。

 そこで、本発明では、片方向予測におけ� ��重み付き動き予測において、直下ブロック� ��動き予測の予測参照先とした直下レイヤ被� ��照ブロックを同定し、その直下レイヤ被参� ��ブロックと空間的同位置に存在する上位レ� ��ヤのブロックの復号信号の平均値に対して� ��直下ブロックが重み付き動き予測の際に利� ��した重み係数を演算したものを直下ブロッ� ��の復号信号の平均値とみなすことで、前述� ��比や差を求めるようにする。

 直下ブロックが動き予測の予測参照先と� ��た直下レイヤ被参照ブロックについては、� ��下レイヤの復号信号をすべて復号しなくて� ��動きベクトルなどの一部の情報を復号する� ��とで特定可能であることから、本発明によ� ��ば、「大きな容量のメモリが必要になると� ��もに、長い計算時間が必要になる」という� ��題も起こらない。

 また、重み係数については、復号信号で� ��出できるようになることから復号側でも求� ��ることができるようになり、これにより、� ��発明によれば、重み係数を復号側に伝送す� ��必要がない。

 したがって、本発明によれば、片方向予測� ��おける重み付き動き予測においても、Implici tモードを実現しつつ、フレーム間の明るさ� �非線形に変化するような場合にも、高精度� �重み付き動き予測を、少ないメモリ容量で� �かつ、短時間に実行することができるよう� �なる。
 以下、実施の形態に従って本発明を詳細に� ��明する。

 前述したように、H.264/AVCの重み付き動き� ��測はスライス単位で実行される。したがっ� ��、スライス内の一部に明るさ変化が発生す� ��場合や、スライス内の明るさ変化が一様で� ��い場合には、重み付き動き予測の予測性能� ��低下してしまう。移動物体の影などによっ� ��発生する明るさ変化などが、前記に該当す� ��。JSVCもH.264/AVCの重み付き動き予測を継承し ているため、前述と同じ問題に直面する。

 仮に、スライスより細かいマクロブロッ� ��などの単位で重み係数を算出し、重み付き� ��き予測を実行しようとすると、Explicitモー� �では重み係数に要する符号量が甚大となっ� �しまう。そのような場合には、Implicitモード で重み係数を算出することが望ましい。しか しながら、前述の通り、H.264/AVCの重み付き動 き予測のImplicitモードの実装は、双予測を行� ��Bスライスのみに限られている。

 また、この重み付き動き予測のImplicitモ� �ドで算出される重み係数は、符号化対象フ� �ームと2枚の被参照フレームにわたる明るさ� ��化が線形であるという仮定に基づくもので� ��るため、それら3フレームにわたる明るさの 時間的変化が非線形の場合には、適切な重み 係数が算出されず、予測性能は低下してしま う。非線形に明るさが変化するフェード画像 や、フラッシュを含む画像などが、前記に該 当する。JSVCにおける重み付き動き予測は、H. 264/AVCの重み付き動き予測がそのまま実装さ� �ているので前述と同じ問題に直面する。

 このような事情に鑑みて、本発明者は、� ��に出願した特願2007-174161(平成19年7月2日出願 )で、これらの問題を解決できるようにする� �たな発明を出願した。

 この特願2007-174161 で出願した発明では、 符号化対象フレームの直下レイヤの復号信号 を利用して重み係数を算出する。

 次に、特願2007-174161 で出願した発明で導 出した重み係数の算出方法について説明する 。

 特願2007-174161 で出願した発明では、以下の 手順により、スケーラブル符号化の重み付き 動き推定および重み付き動き補償に用いる重 み係数を算出する。
 従来のImplicitモードでは、一つのレイヤ内� �閉じて、時間的な明るさの変化を被参照フ� �ームからの距離に応じた内挿または外挿に� �って推定し、重み係数を算出している。
 本発明(特願2007-174161)では、その時間的な明 るさの変化の推定に、符号化/復号対象のレ� �ヤの直下レイヤの復号信号の情報を用いる� �とにより、その推定精度を向上させる。

 手順の説明にあたり、説明に使用する記号� ��整理する。
 当該拡張レイヤの符号化/復号処理対象フレ ーム(以降、補正対象フレーム)をf、Pスライ� �またはBスライスにおけるL0予測の重み付き� �き推定/補償被参照フレーム(以降、被補正フ レーム)をf ₀  、BスライスにおけるL1予測の被補正フレーム をf ₁  とおく。また、補正対象フレームfと同時刻� �直下レイヤのフレームをgとおく。

 また、フレームfにおける符号化/復号処理� �象ブロック(以降、補正対象ブロック)の座標 (i,j)に代入される予測信号値をz(i,j)、また、� ��レームf ₀  における重み付き動き推定/補償被参照ブロ� �ク(以降、被補正ブロック)の座標(i,j)におけ� ��復号信号値をy ₀  (i,j)とおく。また、フレームgにおけるフレー ムfの補正対象ブロックと空間的同位置に位� �するブロックの座標(i,j)における復号信号値 をx(i,j)とおく。

 以上を図2に図示する。図2は、当該拡張� �イヤと直下レイヤの解像度比が、縦横とも� �2:1の場合の図である。なお、解像度比が2:1� �外の場合にも、同様の処理が可能である。

 また、フレームf ₀  における被補正ブロックの直流成分値をY ₀  、また、フレームgにおけるフレームfの補正� ��象ブロックと空間的同位置に位置するブロ� ��クの直流成分値をXとする。これらは、図2� �場合、次のように算出される。

 《PスライスおよびL0/L1予測Bスライスにおけ る重み係数の算出方法》
 PスライスおよびL0/L1予測を行うBスライスの ような単一フレームの予測の場合、予測信号 値z(i,j)は以下のようにして算出される。

  ・PスライスまたはL0予測Bスライスの場合
    z(i,j)=w ₀  ・y ₀  (i,j)+d ₀ 
  ・L1予測Bスライスの場合
    z(i,j)=w ₁  ・y ₁  (i,j)+d ₁   ・・・・ (3)式
 本発明(特願2007-174161)では、この重み係数w ₀  とd ₀  、またはw ₁  とd ₁  の算出方法を2つ列挙する。
 以降に記す算出方法の説明は、Pスライスま たはL0予測Bスライスの場合を例にとっている 。L1予測Bスライスの場合には、フレームf ₀  およびg ₀  に関わる要素をフレームf ₁  およびg ₁  に関わる要素に変更すればよい。

 2つの算出方法は、以下の仮定に基づいてい る。フレームfとフレームgは同時刻の情報で� ��るため、信号の明るさは近いと予想される� ��そこで、既知のフレームgの明るさ情報を利 用し、被補正フレームf ₀  から補正対象フレームfの明るさ変化を間接� �に予測する。

 〔方法1-1〕単一フレーム予測における直流� ��分を用いた比例係数補正
 本方法では、以下のように重み係数を算出� ��る。

   w ₀  =X/Y ₀   ・・・・ (4)式
   d ₀  =0    ・・・・ (5)式
 〔方法1-2〕単一フレーム予測における直流� ��分を用いたオフセット係数補正
 本方法では、以下のように重み係数を算出� ��る。

   w ₀  =1    ・・・・ (6)式
   d ₀  =X-Y ₀   ・・・・ (7)式
 《双予測Bスライスにおける重み係数の算出 方法》
 双予測を行うBスライスでは、予測信号値z(i ,j)は、以下のようにして算出される。

z(i,j)=w ₀  ・y ₀  (i,j)+w ₁  ・y ₁  (i,j)+d ・・(8)式
 本発明(特願2007-174161)では、この重み係数w ₀  、w ₁  、dを以下のように算出する。
 なお、この算出方法は、以下の仮定に基づ� ��ている。フレームfとフレームgは同時刻の� �報であるため、信号の明るさは近いと予想� �れる。そこで、既知のフレームgの明るさ情� ��を利用し、被補正フレームf ₀  およびf ₁  から補正対象フレームfの明るさ変化を間接� �に予測する。

 〔方法2-1〕双予測における直流成分ブロッ� ��を用いた重み係数補正
 本方法では、以下のように重み係数を算出� ��る。

   w ₀  =1-w ₁           ・・・・  (9)式
   w ₁  =t _b  /t _d                 ・・・・ (10)式
   d=X-w ₀  ・Y ₀  -w ₁  ・Y ₁   ・・・・ (11)式
 ここで、t _b  は、被補正フレームf ₀  から補正対象フレームまでのフレーム間距離 、t _d  は、被補正フレームf ₀  から被補正フレームf ₁  までのフレーム間距離を示している。

 以上に説明した特願2007-174161 で出願した 発明で導出した重み係数の算出方法について まとめると、以下のようになる。

 図3に示すように、当該レイヤlにおける時� �tのフレームの当該ブロックをBとし、その被 参照ブロックをそれぞれB ₀  、B ₁  とする。B ₀  、B ₁  はそれぞれ当該レイヤlにおける時刻t-T ₀  のフレーム、および当該レイヤlにおける時� �t+T ₁  のフレームに属する。
 ここで、片方向予測の場合の被参照フレー� ��は時刻t-T ₀  のフレームのみとする。
 また、直下レイヤl-1における当該ブロックB と空間的同位置にある時刻tのフレームのブ� �ックをB _a  とする。以降、このB _a  を直下ブロックと呼ぶ。

 ここで、被参照ブロックB ₀  内の復号信号の直流成分をR(l,t-T ₀  ,B ₀  )、被参照ブロックB ₁  内の復号信号の直流成分をR(l,t+T ₁  ,B ₁  )、直下ブロックB _a  内の復号信号の直流成分R(l-1,t,B _a  )とする。
 各ブロックの直流成分は、ブロック内の画� ��集合に対して2次元FFTや2次元DCTなどを適用� �生成する。

 このとき、特願2007-174161 で出願した発明で は、重み係数(w ₀  ,d ₀  )、もしくは(w ₀  ,w ₁  ,d)を以下のように定めている。

 (片方向予測の場合)
  *比例係数補正:前述の(4)(5)式による補正方 法
   w ₀  =R(l-1,t,B _a  )/R(l,t-T ₀  ,B ₀  )
   d ₀  =0                     ・・・(12)式
または、
  *オフセット係数補正:前述の(6)(7)式による 補正方法
  w ₀  =1
  d ₀  =R(l-1,t,B _a  )-R(l,t-T ₀  ,B ₀  )・・・(13)式
 (双予測の場合)
  *前述の(9)式~(11)式による補正方法
   w ₀  =1-w ₁ 
   w ₁  =T ₀  /(T ₀  +T ₁  )
   d=R(l-1,t,B _a  )-w ₀  ・R(l,t-T ₀  ,B ₀  )
             -w ₁  ・R(l,t+T ₁  ,B ₁  ) ・・(14)式
 これにより、重み係数の情報を伝送しないI mplicitモードの重み付き動き予測が片方向予� �で実現される。片方向予測における重み係� �算出の方法には、(12)式に挙げた比例係数補� ��方法と、(13)式に挙げたオフセット係数補正 方法の2種類がある。
 さらに、H.264/AVCの双予測のImplicitモードの� �測性能も、(14)式のようにして改善される。

 なお、本発明者は、この(14)式に係る発明 については、「早瀬和也,坂東幸浩,高村誠之, 上倉一人,八島由幸:“空間スケーラブル符号� ��におけるレイヤ間相関を利用した重み付き� ��測方式, ”FIT2007、第6回情報科学技術フォ� �ラム, pp. 253-256, Sep. 2007.」で発表した。

 (12)式に従って重み係数(w ₀  ,d ₀  )を求める片方向予測の比例係数補正につい� �簡単に説明するならば、図4Aに示すように、 重み係数w ₀  が、レイヤlの時刻t-T ₀  における復号信号の直流成分αとレイヤlの時 刻tにおける原信号の直流成分βとの比で求め られるものを、この内のレイヤlの時刻tにお� ��る原信号の直流成分βを、レイヤl-1の時刻t� ��おける復号信号の直流成分β’で置き換え� �ものにするということを意味している。
 ここで、この重み係数w ₀  については復号信号により算出することがで きることから、復号側に伝送する必要がない という特徴がある。

 また、(13)式に従って重み係数(w ₀  ,d ₀  )を求める片方向予測のオフセット係数補正� �ついて簡単に説明するならば、図4Bに示すよ うに、オフセット係数d ₀  が、レイヤlの時刻tにおける原信号の直流成� ��βとレイヤlの時刻t-T ₀  における復号信号の直流成分αとの差分で求� ��られるものを、この内のレイヤlの時刻tに� �ける原信号の直流成分βを、レイヤl-1の時刻 tにおける復号信号の直流成分β’で置き換え たものにするということを意味している。
 ここで、このオフセット係数d ₀  については復号信号により算出することがで きることから、復号側に伝送する必要がない という特徴がある。

 また、(14)式に従って重み係数(w ₀  ,d ₀  )を求める双予測のオフセット係数補正につ� �て簡単に説明するならば、図4Cに示すように 、レイヤlの時刻t-T ₀  における復号信号の直流成分をα、レイヤlの 時刻tにおける原信号の直流成分をβ、レイヤ lの時刻t+T ₁  における復号信号の直流成分をγと表すなら� ��、オフセット係数dが、“d=β-w ₀  ・α-w ₁  ・γ”で求められるものを、この内のレイヤl の時刻tにおける原信号の直流成分βを、レイ ヤl-1の時刻tにおける復号信号の直流成分β’ で置き換えたものにするということを意味し ている。
 ここで、このオフセット係数dについては復 号信号により算出することができることから 、復号側に伝送する必要がないという特徴が ある。

 一方、JSVCのようなマルチレイヤを成す符 号化処理の復号の種類には、下位レイヤにお いて逆動き補償を必要とするmulti-loop decoding� �と、下位レイヤにおいて逆動き補償を必要� �しないsingle-loop decodingがある。一般的に、� �号処理は簡便である必要がある。したがっ� �、高負荷の逆動き補償は極力避けられるべ� �処理であり、single-loop decodingが求められる� �

 ここで、本明細書で言う逆動き補償とは� ��動きベクトルの指すブロックの復号信号を� ��定するまでの処理を言う。

 しかるに、特願2007-174161 で出願した発明で は、(2)式に示したように、直下レイヤの復号 信号をすべて作成した上で、直下ブロックB _a  内の復号信号の直流成分R(l-1,t,B _a  )を算出する。したがって、復号処理はmulti-lo op decoding となってしまい、改善の余地が残� ��れている。

 本発明は、このような事情に鑑みて、基� ��レイヤと一つ以上の拡張レイヤによって構� ��される空間スケーラブル符号化において、� ��号化対象フレームの直下レイヤの復号信号� ��直流成分を、動き予測の被参照フレームの� ��号信号と直下レイヤにおける動き補償に関� ��る符号化情報のみから推定し、算出された� ��号化対象フレームの直下レイヤの復号信号� ��直流成分と動き予測の被参照フレームの復� ��信号の直流成分との間の関係性より重み付� ��動き予測の重み係数を生成することで、重� ��係数の情報を伝送することなく符号化器お� ��び復号器で同じ重み係数を用いた重み付き� ��き予測を行う新たなスケーラブル符号化器� ��よび復号器の設計方法の確立を目的とする� ��

 本発明における重み付き動き予測の手順� ��以下に記す。

 重み付き動き予測は、重み付き動き推定と� ��み付き動き補償の2つのステップにより構成 される。
 重み付き動き推定とは、処理対象フレーム� ��動き予測参照フレームとの間の明るさ変化� ��補正しながら両フレーム間の動きを探索し� ��探索により検出された動き情報を動きベク� ��ルとして出力する処理を指す。
 重み付き動き補償とは、動きベクトル情報� ��読み込み、その動きベクトルの指す先の信� ��値に対して明るさ変化の補正を行い、補正� ��れた信号値を処理対象フレームにおける予� ��信号として出力する処理を指す。

 符号化処理では、重み付き動き推定により� ��きベクトルを検出し、その動きベクトルを� ��み込み、重み付き動き補償を実行する。
 一方、復号処理では、符号化情報を復号し� ��動きベクトルを読み込み、重み付き動き補� ��を実行する。

 重み係数の算出は、任意の画像領域単位で� ��うことができる。例としては、フレーム単� ��、スライス単位、マクロブロック単位、マ� ��ロブロックをさらに細かく分割した小ブロ� ��ク単位、などが挙げられる。
 本発明では当該レイヤについては重み係数� ��伝送が不要なため、重み付き動き予測に要� ��るオーバヘッドは、どの画像領域単位であ� ��ても変わらない。したがって、小さい画像� ��域単位で重み係数の算出を行うほど、重み� ��き動き予測の予測性能は向上する。

 ここでは、マクロブロック単位で重み係数� ��算出を行う場合を例に挙げて説明を進める� ��マクロブロック単位以外であっても、同様� ��処理により重み付き動き予測が可能である� ��
 また、対象となる信号にも依らず、輝度信� ��であっても色差信号であっても同様に処理� ��ることが可能である。

 〔重み付き動き推定〕
 重み付き動き推定では、符号化対象フレー� ��のマクロブロックごとに、推定被参照フレ� ��ム内で整合するマクロブロックを探索する� ��
 この探索の際、探索対象マクロブロックが� ��更されるたびに、両フレームの当該ブロッ� ��間の明るさ変化を示す重み係数を算出し、� ��の重み係数で探索対象マクロブロックの復� ��信号を補正したものを整合判定のための比� ��信号として活用する。
 そして、整合すると判定されたマクロブロ� ��クが、動きベクトルの参照先となり、動き� ��償における被参照マクロブロックとなる。
 整合の判定手段の一例としては、非特許文� ��1にあげた符号量と符号化歪み間のラグラン ジュコスト最小化による判定手段が挙げられ る。

 〔重み付き動き補償〕
 重み付き動き補償では、まず、符号化/復号 対象マクロブロックごとに、そのマクロブロ ックが有する動きベクトル情報を読み込む。
 次に、その動きベクトルの指す先の被参照� ��クロブロックと符号化/復号対象マクロブロ ックとの間の明るさ変化を示す重み係数を算 出する。
 そして、その重み係数で被参照マクロブロ� ��クの復号信号を補正したものを、符号化/復 号対象マクロブロックにおける予測信号とし て活用する。

 〔重み係数の算出処理〕
 典型的には、以下の手順により、スケーラ� ��ル符号化の重み付き動き推定および重み付� ��動き補償に用いる重み係数を算出する。

 重み係数の算出式は、特願2007-174161 で出願 した発明と同じく、当該ブロックが片方向予 測の場合は前述した(12)式または式(13)式によ� ��て算出し、双予測の場合は前述した(14)式に よって算出する。
 ただし、各式に含まれる直下ブロックの復� ��信号直流成分R(l-1,t,B _a  )の求め方が本発明と特願2007-174161 で出願し� ��発明との間で異なる。

 すなわち、特願2007-174161 で出願した発明で は、直下レイヤをすべて復号し直交変換によ り直流成分を得ていたのに対し、本発明では 、直下レイヤの復号を部分復号(画像信号を� �号するまでの復号ではなくて、一部の符号� �情報を復号するレベルの復号)にとどめ、そ� ��部分復号情報と当該レイヤの参照フレーム� ��復号信号とから間接的に推定することによ� ��て得る。
 部分復号にとどめることで逆動き補償を行� ��必要がなくなり、復号時間を削減できる。

 具体的な手順の説明にあたり、説明に使用� ��る記号を整理する。
 図5に示すように、当該レイヤlにおける時� �tのフレームの当該ブロックをBとする。また 、直下レイヤl-1における当該ブロックBの直� �ブロックをB _a  とする。
 また、直下ブロックB _a  の動き予測の被参照ブロックを、それぞれB _b0 、B _b1 とする。B _b0 、B _b1 は、それぞれ当該レイヤlにおける時刻t-T ₀  のフレーム、および当該レイヤlにおける時� �t+T ₁  のフレームに属すると仮定する。

 直下レイヤl-1の被参照ブロックB _b0 、B _b1 の位置は、直下ブロックB _a  が持つ参照フレームインデクスと動きベクト ルの符号化情報を復号することで得られる。
 また、その直下レイヤl-1の被参照ブロックB _b0 、B _b1 と空間的同位置にある当該レイヤlにおける� �ロックを、それぞれB _c0 、B _c1 とする。以降、これらB _c0 、B _c1 を直上ブロックと呼ぶ。

 ここで、ブロックB _a  、B _b0 、B _b1 、B _c0 、B _c1 内の復号信号の直流成分を、それぞれR(l-1,t,B _a  )、R(l-1,t-T ₀  ,B _b0 )、R(l-1,t+T ₁  ,B _b1 )、R(l,t-T ₀  ,B _c0 )、R(l,t+T ₁  、B _c1 )とする。
 また、直下ブロックB _a  に含まれる予測残差信号の直流成分をE(l-1,t,B _a  )とする。予測残差信号の直流成分E(l-1,t,B _a  )は、直下ブロックB _a  が持つ予測残差信号の直流成分の符号化情報 を復号することで得られる。
 また、直下レイヤにおいて重み付き動き予� ��が行われている場合、直下ブロックB _a  と被参照ブロックB _b0 の間の重み係数を(w ₀ ',d ₀ ')、直下ブロックB _a  と被参照ブロックB _b1 の間の重み係数を(w ₁ ',d ₁ ')とする。
 これらの重み係数(w ₀ ',d ₀ ')、(w ₁ ',d ₁ ')は、直下ブロックB _a  が持つ重み係数の符号化情報を復号すること で得られる。

 なお、本発明では、当該レイヤlについては 重み係数を符号化する必要はないが、その直 下レイヤl-1で重み係数を符号化する必要がな いかどうかは、さらに、その下にレイヤがあ るのか否かに依存する。
 ここでは、説明の便宜上、重み係数(w ₀ ',d ₀ ')、(w ₁ ',d ₁ ')は、直下ブロックB _a  が持つ重み係数の符号化情報を復号すること で得られるものとする。

 次に、直下ブロックB _a の予測方式について、画面内予測の場合、画 面間予測であり片方向予測の場合、画面間予 測であり双予測の場合、画面間予測でありブ ロック内に片方向予測領域と双予測領域が混 在する場合の4つに分けて、直下ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )の求め方の違いを説明する。

 (1)直下ブロックB _a  が画面内予測の場合
 直下ブロックB _a  が画面内予測であり、かつその予測がConstrain ed Intra Predictionによるものである場合、直下 ブロックB _a  内の復号信号は逆動き補償を行うことなくす べて再構成できる。
 ここで、Constrained Intra Predictionとは、非特� ��文献1に挙げたH.264および非特許文献2に挙げ たJSVCで用いられる、隣接ブロックに画面内� �測モードが存在しないときは当該ブロック� �画面内予測モードをとることができないと� �う制約が加えられた画面内予測方式の1種で� ��る。
 この方式をとれば、画面内予測モードをと� ��たブロックは当該フレーム内に閉じてブロ� ��ク内の復号信号を再構成できるため、逆動� ��補償が必要なくなる。

 したがって、直下ブロックB _a  が画面内予測であり、かつその予測がConstrain ed Intra Predictionの場合は、単純に直下ブロッ クB _a  内の復号信号をすべて再構成し、その各信号 値をもとに直流成分を算出すればよい。もし 、Constrained Intra Predictionでない画面内予測の 場合は、本発明は実施されない。

 (2)直下ブロックB _a  が画面間予測であり、かつ片方向予測の場合
 直下ブロックB _a  が片方向予測の場合、直下ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )を次のように推定することができる。

  R(l-1,t,B _a  )≒w ₀ '・R(l-1,t-T ₀  ,B _b0 )
             +d ₀ '+E(l-1,t,B _a  ) ・・(15)式
 しかし、R(l-1,t-T ₀  ,B _b0 )の情報は、直下レイヤの復号信号をすべて� �構成せずには得ることができない。

 そこで、
R(l-1,t-T ₀  ,B _b0 )≒R(l,t-T ₀  ,B _c0 ) ・・・・(16)式
 と仮定して、当該レイヤ内のブロックB _b0 の直上ブロックB _c0 の復号信号直流成分R(l,t-T ₀  ,B _c0 )で代用する。
 当該レイヤおよび直下レイヤの復号信号直� ��成分に含まれる量子化歪みが大きくなけれ� ��、この(16)式の仮定は一般的に成立する。

 ブロックB _c0 の復号信号は、レイヤlのフレームt-T ₀  が当該フレームtの被参照フレームであれば� �動き予測のためにバッファに保持されてい� �。
 したがって、(16)式により推定された値を、 直下ブロックB _a  の復号信号直流成分の算出に用いることで、 直下レイヤにおいて逆動き補償を行うことな く重み係数を算出できる。

 これから、本発明では、次式のようにしてR (l-1,t,B _a  )を推定する。

  R(l-1,t,B _a  )≒w ₀ '・R(l,t-T ₀  ,B _c0 )
             +d ₀ '+E(l-1,t,B _a  ) ・・(17)式
 ここで、直下ブロックB _a  内が複数の小ブロックで構成され、複数の動 きベクトルを含んでいる場合がありうる。例 えば、当該ブロックBが16×16サイズである場� �は、直下ブロックB _a  は8×8サイズになる。JSVCでは、とりうるブロ� ��クサイズとして、4×4、4×8、8×4、8×8、8×16� ��16×8、16×16の7種類が用意されている。
 これから、直下ブロックB _a  が8×8サイズの場合、最大4個の小ブロックを� ��む。

 小ブロックを複数含む場合は、その各小ブ� ��ックの面積に応じて各小ブロック内の復号� ��号直流成分値を重み付けし、その総和を直� ��ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )とする。

 複数の小ブロックで構成される場合の具体� ��な算出手順の一例を以下に記す。
 図6に示すように、当該ブロックBが16×16サ� �ズであり、直下ブロックB _a  に、4×4サイズの小ブロックが2つ、4×8サイズ の小ブロックが1つ含まれると仮定する。こ� �で、各小ブロックを、B _a  ⁰  、B _a  ¹  (それぞれ4×4サイズ)、B _a  ²  (4×8サイズ)とおく。
 また、小ブロックB _a  ⁰  、B _a  ¹  、B _a  ²  の動き予測の被参照ブロックをそれぞれB _b0 ⁰  、B _b0 ¹  、B _b0 ²  とし、その各被参照ブロックと空間的同位置 にある当該レイヤにおける直上ブロックをB _c0 ⁰  、B _c0 ¹  、B _c0 ²  とする。
 また、小ブロックB _a  ⁰  、B _a  ¹  、B _a  ²  に割り当てられる重み係数をそれぞれ、(w ₀ ⁰ ' ,d ₀ ⁰ ' )、(w ₀ ¹ ' ,d ₀ ¹ ' )、(w ₀ ² ' ,d ₀ ² ' )とする。

  このとき、ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )は、以下のように算出する。

  R(l-1,t,B _a  )=(1/4)・〔w ₀ ⁰ ' ・R(l,t-T ₀  ,B _c0 ⁰  )
                   +d ₀ ⁰ ' +E(l-1,t,B _a  ⁰  )〕
            +(1/4)・〔w ₀ ¹ ' ・R(l,t-T ₀  ,B _c0 ¹  )
                   +d ₀ ¹ ' +E(l-1,t,B _a  ¹  )〕
            +(1/2)・〔w ₀ ² ' ・R(l,t-T ₀  ,B _c0 ²  )
                   +d ₀ ² ' +E(l-1,t,B _a  ²  )〕
                           ・・ ・・(18)式
 (3)直下ブロックB _a  が画面間予測であり、かつ双予測の場合
 直下ブロックB _a  が双予測の場合、直下ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )は次のように推定することができる。

  R(l-1,t,B _a  )≒w ₀ '・R(l-1,t-T ₀  ,B _b0 )
             +w ₁ '・R(l-1,t+T ₁  ,B _b1 )
          +(1/2)・(d ₀ '+d ₁ ')+E(l-1,t,B _a  )
                           ・・ ・・(19)式
 しかし、片方向予測の場合と同様に、R(l-1,t -T ₀  ,B _b0 )およびR(l-1,t+T ₁  ,B _b1 )の情報は、直下レイヤの復号信号すべてを� �号せずには得ることができない。

 そこで、
R(l-1,t-T ₀  ,B _b0 )≒R(l,t-T ₀  ,B _c0 )           
R(l-1,t+T ₁  ,B _b1 )≒R(l,t+T ₁  ,B _c1 ) ・・・・(20)式
 と仮定して、当該レイヤ内のブロックB _b0 、B _b1 の直上ブロックB _c0 、B _c1 の復号信号直流成分R(l,t-T ₀  ,B _c0 )およびR(l,t+T ₁  ,B _c1 )で代用する。
 当該レイヤおよび直下レイヤの復号信号直� ��成分に含まれる量子化歪みが大きくなけれ� ��、この(20)式の仮定は一般的に成立する。

 これから、本発明では、次式のようにしてR (l-1,t,B _a  )を推定する。

  R(l-1,t,B _a  )≒w ₀ '・R(l,t-T ₀  ,B _c0 )
             +w ₁ '・R(l,t+T ₁  ,B _c1 )
          +(1/2)・(d ₀ '+d ₁ ')+E(l-1,t,B _a  )
                           ・・ ・・(21)式
 ここで、片方向予測の場合と同様に、ブロ� ��クB _a  内が複数の小ブロックで構成され、複数の動 きベクトルを含んでいる場合がありうる。
 このときは、片方向予測の場合と同様に、� ��小ブロックの面積に応じて各小ブロック内� ��直流成分値を重み付けし、その総和を直下� ��ロックB _a  の復号信号直流成分R(l-1,t,B _a  )とする。

 例えば、当該ブロックBが16×16サイズであり 、直下ブロックB _a  に、4×4サイズの小ブロックが2つ、4×8サイズ の小ブロックが1つ含まれると仮定する。こ� �で、各小ブロックを、B _a  ⁰  、B _a  ¹  、B _a  ²  とおく。
 また、小ブロックB _a  ⁰  、B _a  ¹  、B _a  ²  の双予測の被参照ブロックをそれぞれB _b0 ⁰  、B _b0 ¹  、B _b0 ²  、B _b1 ⁰  、B _b1 ¹  、B _b1 ²  とし、その各被参照ブロックと空間的同位置 にある当該レイヤにおける直上ブロックをB _c0 ⁰  、B _c0 ¹  、B _c0 ²  、B _c1 ⁰  、B _c1 ¹  、B _c1 ²  とする。
 また、小ブロックB _a  ⁰  、B _a  ¹  、B _a  ²  に割り当てられる重み係数をそれぞれ、(w ₀ ⁰ ' ,d ₀ ⁰ ' )、(w ₁ ⁰ ' ,d ₁ ⁰ ' )、(w ₀ ¹ ' ,d ₀ ¹ ' )、(w ₁ ¹ ' ,d ₁ ¹ ' )、(w ₀ ² ' ,d ₀ ² ' )、(w ₁ ² ' ,d ₁ ² ' )とする。

 このとき、ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )は、以下のように算出する。

 (4)直下ブロックB _a  に片方向予測と双予測が混在する場合
 ブロックB _a  内の複数の小ブロック(例:4×4)は、それぞれ� �立に片方向予測か双予測をとることが可能� �ある。このときは、(2)および(3)と同様の手� �で、各小ブロックの面積に応じて直流成分� �を重み付けし、その総和をブロックB _a  の復号信号直流成分R(l-1,t,B _a  )とする。

 以下、(2)および(3)と同様、当該ブロックBが 16×16サイズであり、直下ブロックB _a  に、4×4サイズの小ブロックが2つ(B _a  ⁰  、B _a  ¹  )、4×8サイズの小ブロックが1つ(B _a  ²  )含まれると仮定する。
 ここで、B _a  ⁰  およびB _a  ²  は片方向予測、B _a  ¹  は双予測とする。そして、小ブロックB _a  ⁰  、B _a  ²  の片方向予測の被参照ブロックをそれぞれB _b0 ⁰  、B _b0 ²  とし、小ブロックB _a  ¹  の双予測の被参照ブロックをそれぞれB _b0 ¹  、B _b1 ¹  とする。
 その各被参照ブロックと空間的同位置にあ� ��当該レイヤにおける直上ブロックをB _c0 ⁰  、B _c0 ²  、B _c0 ¹  、B _c1 ¹  とする。
 また、小ブロックB _a  ⁰  、B _a  ¹  、B _a  ²  に割り当てられる重み係数をそれぞれ、(w ₀ ⁰ ' ,d ₀ ⁰ ' )、(w ₀ ¹ ' ,d ₀ ¹ ' )、(w ₁ ¹ ' ,d ₁ ¹ ' )、(w ₀ ² ' ,d ₀ ² ' )とする。

 このとき、ブロックB _a  の復号信号直流成分R(l-1,t,B _a  )は、以下のように算出する。

 上述のように、本発明は、直下ブロックB _a  が画面内予測であり、かつその予測がConstrain ed Intra Predictionを利用していない場合には実 施されない。また、予測参照ブロックB _b0 、B _b1 の直上ブロックB _c0 、B _c1 の復号信号が動き予測のためのバッファに格 納されていない場合にも、実施されない。
 本発明が実施されない場合は、その他の予� ��方式を用いて符号化を行う。例えば、JSVCの 重み付き動き予測、重みなしの通常の動き予 測、画面内予測、がこれにあたる。

 また、直下レイヤが画面間予測を行ってい� ��場合において、直下レイヤにおける重み付� ��動き予測が非常に高性能であれば、直下ブ� ��ックB _a  の予測残差信号の直流成分E(l-1,t,B _a  )は、ほぼゼロになる。

 このような場合には、この予測残差信号� ��直流成分を考慮する必要はない。考慮しな� ��れば、予測残差信号の直流成分の復号は省� ��できるため、さらに復号に使用するメモリ� ��よび計算量を節約できる。したがって、メ� ��リと計算量の削減を重視する場合には、予� ��残差信号の直流成分の加算は行わなくても� ��い。

 次に、JSVCの参照エンコーダJSVM8.0に本発� �を実装し、片方向予測における本発明によ� �比例係数補正を行うWP(Weighted Prediction)とオ� �セット係数補正を行うWPの符号化性能を検証 した実験について説明する。

 この実験では、基本レイヤはJSVMのWPを用い� ��符号化し、拡張レイヤに本発明のWPを適用� �ることで行った。性能検証は、拡張レイヤ� �JSVMのWPを適用した場合と、本発明のWPを適用 した場合のレート歪み特性によって評価した 。
 JSVC標準画像のCity,Soccer,Foremanの3映像を用い� ��各映像の先頭33フレームに白の線形フェー� �を混合した。
 フェードの種類はフェードイン/アウトの2� �類を実験対象とし、このフェード混合部分� �33フレームを符号化対象フレームとした。
 基本レイヤに30fps のQCIF(176×144画素の画像� �イズ)画像、拡張レイヤに30fps のCIF(352×288画 素の画像サイズ)画像を入力し、ピクチャタ� �プはIPPP形式とした。
 量子化パラメータは21,24,27,30の4種類を試し� ��基本レイヤと拡張レイヤで同じ値を適用し� ��。
 動き探索は整数精度のみとし、全検索を行� ��た。

 表2に、JSVMのWPに対する、本発明を適用し たことによる符号量の削減結果を示す。最大 6.38%の符号量削減を実現している。全体的に� ��フェードアウト映像において削減効果が大� ��いことが分かる。

 図7に、最大削減率を実現したCity のフェ ードアウト映像における、各手法のそれぞれ についてPSNR(Peak Signal to Noise Ratio)およびビ ットレートを求めて、それらを比較した(“Y- PSNR”は、輝度信号のPSNRを示す)。

 この図より、本発明の手法がレートによら� ��符号量の削減を実現できていることが分か� ��。
 比例係数補正とオフセット係数補正を比較� ��ると、フェードイン映像ではほとんど両者� ��差がみられないが(図示略)、フェードアウ� �映像ではオフセット係数補正の方が効果が� �きいことが分かる。
 上記性能検証において、フェードアウト映� ��においてオフセット係数補正によるWPは、� �均4.39%の符号量削減率を実現した。

 本実験は、片方向予測における符号化特� ��を示したものであるが、双予測においても� ��様の性能向上が見込める。