図面を用いて本発明の画像生成装置の実� ��例を説明する。

 〔第1の実施例〕
 第1の実施例として、別のカメラで撮影され た低ビット深度の画像Aと高ビット深度の画� �Bから、画像Aに対応する高ビット深度(画像B� ��ビット深度に対応)の画像Cを生成する場合� �例を示す。ここで、カメラで撮影される信� �は、全てYUV信号(輝度Y、色差U,V)により色信� �が設定されているものとし、実施例では、Y� ��号のみ扱うものとする。

 図1に装置概要を示す。本実施例における 画像生成装置は、画像Aのビット深度を拡大� �て、画像Bと同じビット深度を有する画像Cを 作成する画像ビット深度拡大部101と、画像C� �各画素位置と画像B中の対応点の有無および� ��応点位置を推定する対応点推定部102と、対� ��点推定部102で対応点があると推定された画� ��C中の画素位置に、画像B中の対応位置の画� �情報を設定する対応画像設定部103とを備え� �。

 ここで、画像ビット深度拡大部101では、画� ��のビット深度を、非特許文献4に示されてい る方法(トーンマッピング)により拡大して画� ��を作成するものとする。
 また、対応点推定部102では、カメラパラメ� ��タもしくは既知のマッチング技術を用いて� ��画像Cの各画素について(画像B中の)対応する 画素の候補を(1~複数)仮定し、対応する画素� �で差分の絶対値を求めて、それら絶対値の� �小値が予め設定した閾値よりも小さい場合� �は、その最小値となる点を対応点と推定し� �閾値よりも大きい場合には、画像Cの当該画� ��については対応点はないと推定するものと� ��る。

 以上を前提として、図1に示す画像生成装 置は次のように動作する。図2に、そのフロ� �チャートを示す。

 まず、画像ビット深度拡大部101は、画像Aを トーンマッピング拡大して画像Cを作成する(� ��テップS10)。そして、対応点推定部102は、画 像Cと画像Bの対応点の有無と位置を、上述の� ��うな方法で推定する(ステップS11)。対応画� �設定部103は、対応点推定部102で対応点があ� �と推定された画像Cの各画素に対し、画像Bの 対応点の画像情報を設定する(ステップS12)。� ��上により画像Cを生成する。
 なお、画像ビット深度拡大部101では、他の� ��ーンマッピング方法を用いてもよい。

 また、対応点推定部102は、画素間で差分� ��絶対値を求めたが、推定する対象の画素を� ��心とする複数画素からなるブロックを使い� ��定してもよい。例えば、画像Cの各画素につ いて、画像B中の対応する画素の候補を(1~複� �)仮定し、各候補を中心とする複数画素から� ��るブロック内の画素との差分の絶対値の合� ��を求めて、その合計値が最小となる候補の� ��置を対応点として推定してもよい。

 以上の例では、別のカメラで撮影された� ��ビット深度の画像Aと高ビット深度の画像B� �ら高ビット深度の画像Cを生成したが、同じ� ��メラで撮影した、ある時刻の低ビット深度� ��画像Aと、別の時刻の高ビット深度の画像B� �ら、高ビット深度の画像Cを生成してもよい� ��

 また、上述のように、画像Aと画像Bから� �画像Aに対応する画像Cを作成したが、画像B� �複数あってもよい。画像Bが2つ(B1とB2)ある場 合の例を次に示す。構成は同じであるが、次 のように動作する。

 まず、画像ビット深度拡大部101は、画像Aを トーンマッピング拡大して画像Cを作成する� �
 そして、対応点推定部102は、画像Cと画像B1� ��対応点の有無と位置を、上記と同様の方法� ��推定する。対応画像設定部103は、対応点推� ��部102で対応点があると推定された各位置に� ��ける画像B1の画像情報を画像Cへ設定する。
 次に、対応点推定部102は、画像Cと画像B2の� ��応点の有無と位置を、同様に推定する。対� ��画像設定部103は、対応点推定部102で対応点� ��あると推定された各位置における画像B2の� �像情報を画像Cへ設定する。
 以上により画像Cを生成する。

 画像B1と画像B2の双方に対応点があると推定 された場合、予め定めたどちらかの画像情報 を優先させて画像Cに設定してもよいし、対� �する画像Cの画素との差分が小さいほうの画� ��B1または画像B2の画像情報を画像Cに設定し� �もよいし、画像B1と画像B2の画像情報の平均� ��を画像Cに設定してもよい。
 画像Bが3つ以上ある場合にも同様に高ビッ� �深度の画像Cを生成することができる。
 以下に説明する他の実施例についても複数� ��画像Bがある場合に、同様に実施することが できる。

 〔第2の実施例〕
 次に、第2の実施例として、第1の実施例と� �様に、別のカメラで撮影された低ビット深� �の画像Aと高ビット深度の画像Bから、画像A� �対応する高ビット深度の画像Cを生成する場� ��の例を示す。ただし、対応点がない場合に� ��、周囲の高ビット深度の画像情報から補間� ��て生成する場合の例を示す。

 図3に装置概要を示す。本実施例における 画像生成装置は、画像Aのビット深度を拡大� �て画像Cを作成する画像ビット深度拡大部201� ��、画像Cの各画素位置と画像B中の対応点の� �無および対応点位置を推定する対応点推定� �202と、対応点推定部202で対応点があると推� �された画像C中の画素位置に、画像B中の対応 位置の画像情報を設定する対応画像設定部203 と、対応点推定部202で対応点がないと推定さ れた画像C中の画素位置の画像情報を、対応� �像設定部203で設定された画像情報から作成� �る画像補間部204とを備える。

 画像補間部204では、画像C中の画素で、対 応点がないと推定された画素の画像情報を、 対応点があるとして画像Bから画像情報を設� �された画素位置の当該画像情報から作成す� �。このとき、画像Bから画像情報を設定され� ��画素位置からの距離に応じて線形補間をす� ��。

 以上を前提として、図3に示す画像生成装 置は次のように動作する。図4に、そのフロ� �チャートを示す。

 まず、画像ビット深度拡大部201は、画像A をトーンマッピング拡大して画像Cを作成す� �(ステップS20)。そして、対応点推定部202は、 画像Cと画像Bの対応点の有無と位置を推定す� ��(ステップS21)。対応画像設定部203は、対応� �推定部202で対応点があると推定された画像C� ��各画素に対し、画像Bの対応点の画像情報を 設定する(ステップS22)。画像補間部204は、対� ��点推定部202で対応点がないと推定された画� ��位置について、対応画像設定部203で既に設� ��された画像情報から補間して画像情報を作� ��する(ステップS23)。以上により画像Cを生成� ��る。

 画像補間部204では、線形補間により画像� ��報を生成したが、非線形処理を用いて画像� ��報を生成してもよい。いずれも、対応画像� ��定部203で設定された画像情報を利用して生� ��する。

 〔第3の実施例〕
 次に、第3の実施例として、第1の実施例と� �様に、別のカメラで撮影された低ビット深� �の画像Aと高ビット深度の画像Bから、画像A� �対応する高ビット深度(画像Bのビット深度に 対応)の画像Cを生成する場合の例を示す。た� ��し、生成した画像情報のダイナミックレン� ��を縮小した画像と元の画像Aとの差が小さい 画素位置にだけ、生成した画像情報を適用す る場合の例を示す。
 以下の説明で、画像Dは、画像Aを初めにト� �ンマッピング拡大した画像、画像Eは、画像D と同サイズ(同じ画素構成)の一時的な処理用� ��像である。
 また、画像Fは、画像Eをトーンマッピング� �小して作成した、ビット深度の小さい画像(� ��像Aと同じビット深度を有する、一時的な処 理用画像)である。

 図5に装置概要を示す。本実施例における 画像生成装置は、画像Aをトーンマッピング� �大して画像Dを作成する画像ビット深度拡大� ��301と、画像Dの各画素位置と画像B中の対応� �の有無および対応点位置を推定する対応点� �定部302と、対応点推定部302で対応点がある� �推定された、画像D中の画素位置と同じ画像E 中の画素位置に、画像B中の対応位置の画像� �報を設定する対応画像設定部303と、対応点� �定部302で対応点がないと推定された、画像D� ��の画素位置と同じ画像E中の画素位置の画像 情報を、対応画像設定部303で設定された画像 情報から作成する画像補間部304と、画像Eを� �ーンマッピングしてビット深度の小さい画� �Fを作成する画像ビット深度縮小部305と、画� ��Aの各画素位置において、画像Aの画像情報� �、同じ画素位置の画像Fの画像情報との差分� ��求める差分作成部306と、差分作成部306で求� ��た各画素位置における差分が閾値より小さ� ��場合には、対応する画像Cの各画素位置に画 像Eの画像情報を設定し、差分作成部306で求� �た各画素位置における差分が大きい場合に� �、対応する画像Cの各画素位置に画像Dの画像 情報を設定する画像選択部307とを備える。

 画像ビット深度縮小部305では、例えば非特� ��文献4に示される方法に従って、ビット深度 の小さい画像情報(即ち、画像F)を生成する。
 差分作成部306では、各画素位置で上記差分� ��作成するものとする。
 画像選択部307では、予め差分の閾値を設定� ��ておき、差分作成部306で得られる差分との� ��較をするものとする。

 以上を前提として、図5に示す画像生成装 置は次のように動作する。図6に、そのフロ� �チャートを示す。

 まず、画像ビット深度拡大部301は、画像A をトーンマッピング拡大して画像Dを作成す� �(ステップS30)。そして、対応点推定部302は、 画像Dと画像Bの対応点の有無と位置を推定す� ��(ステップS31)。対応画像設定部303は、対応� �推定部302で対応点があると推定された位置� �おける画像Bの画像情報を画像Eへ設定する(� �テップS32)。

 画像補間部304は、対応点推定部302で対応点� ��ないと推定された位置について、対応画像� ��定部303で既に設定された画像情報から補間� ��て画像Eの画像情報を作成する(ステップS33)� ��
 画像ビット深度縮小部305は、画像Eをトーン マッピング縮小してビット深度の小さい画像 Fを作成する(ステップS34)。差分作成部306は、 画像Aと画像Fの差分を作成する(ステップS35)� �
 画像選択部307では、差分作成部306で得られ� ��差分に従い、各画素位置について、画像Eま たは画像Dを選択して画像Cを生成する(ステッ プS36)。

 なお、画像ビット深度縮小部305では、他の� ��法を使ってビット深度の小さい画像を作成� ��てもよい。
 また、差分作成部306では、対象画素を中心� ��するブロック間の差分を作成してもよい(第 1の実施例参照)。

 ところで、画像選択部307では、差分作成部3 06で求めた各画素位置における差分が小さい� ��合には、対応する画像Cの各画素位置に画像 Eの画像情報を設定し、差分作成部306で求め� �各画素位置における差分が大きい場合には� �対応する画像Cの各画素位置に画像Dの画像情 報を設定した。
 この画像選択部307の代わりに、図7に示す画 像生成部308を設けてもよい。

 図7に装置概要を示す。この場合、画像生成 部308では、差分作成部306で求めた各画素位置 における差分が閾値より小さい場合には、対 応する画像Cの各画素位置に画像Eの画像情報� ��設定し、差分作成部306で求めた各画素位置� ��おける差分が大きい場合には、対応する画� ��Cの各画素位置に画像Dの画像情報と画像Eの� ��像情報を重み付け平均した値を設定する。
 これによれば、差分が大きい場合にトーン� ��ッピング拡大した画像Dを用いるのではなく 、トーンマッピング拡大した画像Dと他の画� �から生成した画像Eの重み付け平均を用いる� ��とができる。本手法は、トーンマッピング� ��大した画像Dの劣化が大きい場合に好適であ る。

 〔第4の実施例〕
 次に、第4の実施例として、別のカメラで撮 影された同じビット深度の画像AとBがあり、� ��像Aの縮小画像と画像Bから画像Aに近い画像C を生成する場合の例を示す。ここでは、生成 した画像情報のダイナミックレンジを縮小し た画像と元の画像Aとの差が小さい画素位置� �だけ生成した画像情報を適用する場合の例� �示す。この実施例では、各画素位置におけ� �2画像間の差分に対する閾値も推定すること� ��特徴である。

 図8に装置概要を示す。本実施例における画 像生成装置は、
・画像Aをトーンマッピングしてビット深度� �小さい画像Gを作成する基準画像ビット深度� ��小部412と、
・画像Gをトーンマッピング拡大して、画像A, Bと同じビット深度の画像Dを作成する画像ビ� ��ト深度拡大部401と、
・画像Dの各画素位置と画像B中の対応点の有� ��および対応点位置を推定する対応点推定部4 02と、
・対応点推定部402で対応点があると推定され た、画像D中の画素位置と同じ画像E(同サイズ の一時的な処理画像)中の画素位置に、画像B� ��の対応位置の画像情報を設定する対応画像� ��定部403と、
・対応点推定部402で対応点がないと推定され た、画像D中の画素位置と同じ画像E中の画素� ��置の画像情報を、対応画像設定部403で設定� ��れた画像情報から作成する画像補間部404と� ��
・画像Eをトーンマッピングしてビット深度� �小さい(画像Gと同じビット深度の)画像Fを作� ��する画像ビット深度縮小部405と、
・画像Gの各画素位置において、画像Gの画像� ��報と、同じ画素位置の画像Fの画像情報との 差分を求める差分作成部406と、
・予め設定した範囲で複数の閾値を設定する 閾値設定部410と、
・閾値設定部410で設定した各閾値に対し、差 分作成部406で求めた各画素位置における差分 が閾値よりも小さい場合には、対応する画像 Cの各画素位置に画像Eの画像情報を設定し、� ��分作成部406で求めた各画素位置における差� ��が閾値よりも大きい場合には、対応する画� ��Cの各画素位置に画像Dの画像情報を設定す� �画像選択部407と、
・画像選択部407で得られる画像Cと画像Aの各� ��素位置における画像情報の差分の合計を算� ��する生成差分合計部409と、
・生成差分合計部409で得られる差分の合計が 最も小さくなる閾値を決定する閾値決定部411 と
 を備える。

 閾値設定部410では、閾値として10から50ま で10ずつ閾値を増加させるものとする。

 以上を前提として、図8に示す画像生成装 置は次のように動作する。図9に、そのフロ� �チャートを示す。

 まず、基準画像ビット深度縮小部412は、画� ��Aからトーンマッピングによってビット深度 の小さい画像Gを作成する(ステップS40)。
 画像ビット深度拡大部401は、画像Gからビッ ト深度の大きい(画像A,Bと同じビット深度を� �する)画像Dを作成する(ステップS41)。
 そして、対応点推定部402は、画像Dと画像B� �対応点の有無と位置を推定する(ステップS42) 。
 対応画像設定部403は、対応点推定部402で対� ��点があると推定された位置における画像Bの 画像情報を、画像Eへ設定する(ステップS43)。

 画像補間部404は、対応点推定部402で対応点� ��ないと推定された位置について、対応画像� ��定部403で既に設定された画像情報から補間� ��て画像Eの画像情報を作成する(ステップS44)� ��
 画像ビット深度縮小部405は、画像Eからビッ ト深度の小さい画像Fを作成する(ステップS45) 。
 差分作成部406は、画像Gと画像Fの差分を作� �する(ステップS46)。

 続いて、閾値設定部410では、閾値を10に設� �する(ステップS47)。
 画像選択部407では、差分作成部406で得られ� ��差分と閾値を比較し、各画素位置毎に画像E または画像Dを選択して画像Cを生成する(ステ ップS48)。
 生成差分合計部409は、画像Cと画像Aとの差� �の合計を求める(ステップS49)。
 以上の閾値設定部410と画像選択部407と生成� ��分合計部409の処理を、閾値を10ずつ増やし� �がら50まで繰り返し実行する(ステップS50、S5 1)。

 続いて、閾値決定部411は、生成差分合計� ��409で得られる値が最小となる場合の閾値を� ��定する(ステップS52)。

 上記構成において、画像選択部407の代わり� ��画像生成部408を用いてもよい。図10に装置� �要を示す。
 画像生成部408では、差分作成部406で求めた� ��画素位置における差分が小さい場合には、� ��応する画像Cの各画素位置に画像Eの画像情� �を設定し、差分作成部406で求めた各画素位� �における差分が大きい場合には、対応する� �像Cの各画素位置に画像Dの画像情報と画像E� �画像情報を重み付け平均した値を設定する� �

 以上の実施例では、複数のカメラ入力映像� ��対する処理を説明した。この方法は、この� ��うな多視点画像だけではなく、単眼の動画� ��にも適用できる。
 すなわち、動画像中の各フレームのビット� ��度が異なる場合に、低ビット深度のフレー� ��の画像に対して、他の高ビット深度のフレ� ��ムの画像を利用して、高いビット深度の画� ��を生成することができる。
 例えば、低ビット深度のフレームを画像Aと し、他の高ビット深度のフレームを画像Bと� �て、高ビット深度の画像Cを生成する処理に� ��用できる。

 また、本実施例では、扱う信号をY信号とし たが、これはRGBなどの他の色信号でもよい。
 また、YUV信号がありY信号のビット深度が同 じであるが、UV信号のビット深度が異なる場� ��にも適用できる。この場合には、画像拡大� ��においてUV信号のみ拡大し、Y信号はそのま� ��コピーする。そして、対応点推定部におけ� ��対応点推定の処理をUまたはV信号を拡大し� �信号ではなく、Y信号で行ってもよい。

 以上の画像生成の処理は、コンピュータ� ��ソフトウェアプログラムとによっても実現� ��ることができ、そのプログラムをコンピュ� ��タ読み取り可能な記録媒体に記録して提供� ��ることも、ネットワークを通して提供する� ��とも可能である。