本発明の第1態様では、被写体の画像を高 解像度化する画像処理方法として、被写体の 照明方程式パラメータを推定する第1ステッ� �と、推定した照明方程式パラメータについ� �、高解像度化を行う第2ステップと、高解像� ��化された照明方程式パラメータを合成して� ��高解像度画像を生成する第3ステップとを備 え、前記第1ステップにおいて推定した照明� �程式パラメータの推定精度が所定の精度を� �たさない画素が存在するとき、前記第2ステ� ��プにおいて高解像度化した照明方程式パラ� ��ータをフィードバックして、再度、照明方� ��式パラメータの推定を行うものを提供する� ��

 本発明の第2態様では、被写体の画像を高 解像度化する画像処理装置として、被写体の 照明方程式パラメータを推定し、かつ、当該 推定精度を判定し、所定の精度を満たした適 合画素と所定の精度を満たさない不適合画素 とを識別する低解像度照明方程式パラメータ 推定部と、前記低解像度照明方程式パラメー タ推定部によって推定された照明方程式パラ メータについて、高解像度化を行う照明方程 式パラメータ高解像度化部と、前記照明方程 式パラメータ高解像度化部から出力された、 適合画素の高解像度化照明方程式パラメータ を用いて、不適合画素の高解像度化照明方程 式パラメータを推定する高解像度照明方程式 パラメータ推定部と、前記高解像度照明方程 式パラメータ推定部の出力に不適合画素が存 在する場合、適合画素の高解像度化照明方程 式パラメータ、および前記高解像度照明方程 式パラメータ推定部の出力を低解像度化して 、前記低解像度照明方程式パラメータ推定部 にフィードバックする低解像度化部とを備え たものを提供する。

 本発明の第3態様では、被写体の画像を高 解像度化する画像処理装置として、前記被写 体を、光源によって偏光フィルタを介して照 射した状態で偏光フィルタを介して撮像した 、複数の被写体画像を入力とし、前記複数の 被写体画像から、鏡面反射画像と拡散反射画 像とを分離する鏡面反射拡散反射分離部と、 前記鏡面反射拡散反射分離部によって得られ た鏡面反射画像および拡散反射画像を用いて 、照明方程式パラメータの推定処理を行い、 かつ当該推定精度を判定し、所定の精度を満 たした適合画素と所定の精度を満たさない不 適合画素とを識別する低解像度照明方程式パ ラメータ推定部と、前記低解像度照明方程式 パラメータ推定部によって推定された照明方 程式パラメータを含む低解像度パラメータ群 について、高解像度化を行い、高解像度パラ メータ群を得るものであって、かつ、前記低 解像度パラメータ群のうち、前記被写体の表 面法線ベクトルおよび拡散反射成分双方向反 射率について、データベース参照による超解 像処理を行う照明方程式パラメータ高解像度 化部と、前記照明方程式パラメータ高解像度 化部によって得られた高解像度パラメータ群 において不適合画素が存在しないとき、前記 高解像度パラメータ群を合成して輝度画像に 変換し、高解像度画像として出力する照明方 程式パラメータ合成部と、前記照明方程式パ ラメータ高解像度化部によって得られた前記 高解像度パラメータ群において不適合画素が 存在するとき、前記高解像度パラメータ群の 中の不適合画素の推定処理を行う高解像度照 明方程式パラメータ推定部と、前記高解像度 照明方程式パラメータ推定部から出力された 高解像度パラメータ群においてまだ不適合画 素が存在するとき、この高解像度パラメータ 群について低解像度化を行い、得られた低解 像度パラメータ群を、適合画素として、前記 低解像度照明方程式パラメータ推定部に与え る低解像度化部とを備えたものを提供する。

 本発明の第4態様では、光源撮像装置が前 記光源を撮像することによって得た光源画像 を入力とし、かつ、前記光源画像から、光源 ベクトルを算出する光源方向算出部を備え、 前記光源方向算出部によって算出された光源 ベクトルは、前記低解像度照明方程式パラメ ータ推定部に与えられる前記第3態様の画像� �理装置を提供する。

 本発明の第5態様では、前記複数の被写体 画像および前記光源画像から、前記被写体の 表面法線ベクトルを推定する形状推定部を備 え、前記形状推定部によって推定された表面 法線ベクトルは、前記低解像度照明方程式パ ラメータ推定部に与えられる前記第4態様の� �像処理装置を提供する。

 本発明の第6態様では、前記照明方程式パ ラメータ高解像度化部は、前記データベース 参照による超解像処理のために、低解像度パ ラメータ画像および高解像度パラメータ画像 についてそれぞれ、空間周波数解析を行うこ とによって得られた、低解像度画像特徴ベク トルおよび高解像度画像特徴ベクトルを、そ れぞれ格納したデータベースと、前記低解像 度画像特徴ベクトルと前記高解像度画像特徴 ベクトルとの対応関係を記述したテーブルと を備えたものである前記第3態様の画像処理� �置を提供する。

 本発明の第7態様では、前記空間周波数解 析は、ウェーブレット変換を用いて行う前記 第6態様の画像処理装置を提供する。

 本発明の第8態様では、前記低解像度化部 は、前記照明方程式パラメータ高解像度化部 が備えた前記データベースおよびテーブルを 用いて、低解像度化を行う前記第6態様の画� �処理装置を提供する。

 本発明の第9態様では、前記低解像度照明 方程式パラメータ推定部および前記高解像度 照明方程式パラメータ推定部は、シンプレッ クス法を用いて、推定処理を実行する前記第 3態様の画像処理装置を提供する。

 本発明の第10態様では、被写体の画像を� �解像度化する画像処理方法として、前記被� �体を、光源によって偏光フィルタを介して� �射した状態で偏光フィルタを介して撮像し� �複数の被写体画像から、鏡面反射画像と拡� �反射画像とを分離する第1のステップと、前� ��第1のステップにおいて得られた鏡面反射画 像および拡散反射画像を用いて、照明方程式 パラメータの推定処理を行う第2のステップ� �、前記第2のステップによって推定された照� ��方程式パラメータを含む低解像度パラメー� ��群について、高解像度化を行い、高解像度� ��ラメータ群を得るものであって、かつ、前� ��低解像度パラメータ群のうち、前記被写体� ��表面法線ベクトルおよび拡散反射成分双方� ��反射率について、データベース参照による� ��解像処理を行う第3のステップと、前記第3� �ステップにおいて得られた高解像度パラメ� �タ群において不適合画素が存在しないとき� �前記高解像度パラメータ群を合成して輝度� �像に変換し、高解像度画像として生成する� �4のステップと、前記第3のステップにおいて 得られた前記高解像度パラメータ群において 不適合画素が存在するとき、前記高解像度パ ラメータ群の中の不適合画素の推定処理を行 う第5のステップと、前記第5のステップにお� ��て得られた高解像度パラメータ群において� ��だ不適合画素が存在するとき、この高解像� ��パラメータ群について低解像度化を行い、� ��られた低解像度パラメータ群を適合画素と� ��て用いて、再度、前記第2のステップを実行 する第6のステップとを備えたものを提供す� �。

 本発明の第11態様では、被写体の画像を� �解像度化する画像処理方法をコンピュータ� �実行させるプログラムとして、前記被写体� �、光源によって偏光フィルタを介して照射� �た状態で偏光フィルタを介して撮像した複� �の被写体画像から、鏡面反射画像と拡散反� �画像とを分離する第1のステップと、前記第1 のステップにおいて得られた鏡面反射画像お よび拡散反射画像を用いて、照明方程式パラ メータの推定処理を行う第2のステップと、� �記第2のステップによって推定された照明方� ��式パラメータを含む低解像度パラメータ群� ��ついて、高解像度化を行い、高解像度パラ� ��ータ群を得るものであって、かつ、前記低� ��像度パラメータ群のうち、前記被写体の表� ��法線ベクトルおよび拡散反射成分双方向反� ��率について、データベース参照による超解� ��処理を行う第3のステップと、前記第3のス� �ップにおいて得られた高解像度パラメータ� �において不適合画素が存在しないとき、前� �高解像度パラメータ群を合成して輝度画像� �変換し、高解像度画像として生成する第4の� ��テップと、前記第3のステップにおいて得ら れた前記高解像度パラメータ群において不適 合画素が存在するとき、前記高解像度パラメ ータ群の中の不適合画素の推定処理を行う第 5のステップと、前記第5のステップにおいて� ��られた高解像度パラメータ群においてまだ� ��適合画素が存在するとき、この高解像度パ� ��メータ群について低解像度化を行い、得ら� ��た低解像度パラメータ群を適合画素として� ��いて、再度、前記第2のステップを実行する 第6のステップとをコンピュータに実行させ� �ものを提供する。

 以下、本発明の実施の形態について図面� ��参照して詳細に説明する。

 (実施の形態1)
 本実施の形態では、照明方程式パラメータ� ��測装置で被写体の照明方程式パラメータの� ��部を計測し、被写体撮像装置で被写体から� ��反射光を撮影する。そして、画像処理装置� ��、これらの計測情報から被写体撮像センサ� ��解像度よりも高い解像度の画像を出力する� ��

 図1は本発明の実施の形態1に係る画像処� �装置の構成を示すブロック図である。画像� �理装置400は、被写体撮像装置OBJSの被写体画� ��IINを拡大するための装置であり、低解像度( LR)照明方程式パラメータ推定部103、照明方程 式パラメータ高解像度化部120、第1スイッチ� �部402、高解像度(HR)照明方程式パラメータ推� ��部109、第2スイッチャ部403、低解像度化部110 、および照明方程式パラメータ合成部111を備 えている。

 各処理部に入力する信号、あるいは各処� ��部から出力する信号のうち、上付きでLを付 したものは、低解像度の意味を示し、被写体 撮像装置OBJSの解像度と一致する。一方、上� �きでHを付したものは、高解像度の意味を示� ��、後述する高解像度化処理により被写体撮� ��装置OBJSよりも高い解像度を有することを意 味する。

 照明方程式パラメータ計測装置IEPSは、視環 境VEにおける被写体OBJの注目点Pの照明方程式 パラメータを計測する。照明方程式としては 例えば(式1)と(式2)を用い、したがって、注目 点Pの表面法線ベクトルや光源ベクトルなど� �計測する。この計測結果は、計測パラメー� �MP ^L として画像処理装置400へ入力され、LR照明方� ��式パラメータ推定部103に与えられる。

 被写体撮像装置OBJSは、被写体OBJからの反 射光を撮影する。撮影結果は、被写体画像IIN として画像処理装置400へ入力され、LR照明方� ��式パラメータ推定部103に与えられる。

 LR照明方程式パラメータ推定部103は、例え� �(式1)の照明方程式をベースに、照明方程式� �ラメータ計測装置IEPSの計測対象ではない照� ��方程式パラメータを推定する。例えば、照� ��方程式パラメータ計測装置IEPSの計測対象が 、光源ベクトルL ^L 、鏡面反射画像Is ^L 、拡散反射画像Id ^L 、表面法線ベクトルN ^L 、環境光の輝度Ia ^L であった場合、注目点Pの照度Ei ^L 、鏡面反射成分比ks ^L 、物体表面の粗さ(粗さ係数)m ^L 、屈折率n ^L 、拡散反射成分の双方向反射率ρd ^L を推定する。

 本発明は推定方法に制限を与えるものでは� ��く、任意の方法を適用できるが、ここでは� ��例として、シンプレックス法を用いて、鏡� ��反射成分に関わる光学パラメータすなわち� ��照度Ei ^L 、鏡面反射成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L を推定する。引き続き、推定された照度Ei ^L および鏡面反射成分比ks ^L と拡散反射画像Id ^L とを用いて、拡散反射成分の双方向反射率ρd ^L を算出する。なお、照明方程式に関しても同 様に、本発明は制限を与えるものではなく、 任意のモデルを適用できる。

 図2は、シンプレックス法によって、注目点 Pの照度Ei ^L 、鏡面反射成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L を推定するフローチャートを示す。鏡面反射 画像Is ^L は、(式1)と(式2)から、
(1) 表面法線ベクトルN ^L
(2) 光源ベクトルL ^L
(3) 視点ベクトルV ^L
(4) 注目点Pの照度Ei ^L
(5) 鏡面反射成分比ks ^L
(6) 物体表面の粗さm ^L
(7) 屈折率nL
で決まることがわかるが、このうち、LR照明� ��程式パラメータ推定部103へ入力する照明方� ��式パラメータは、(1)から(3)の3つである。従 って、シンプレックス法で推定する照明方程 式パラメータは、(4)から(7)の4つとなる。た� �し、Eiとksは、(式1)に示すように、掛け算の� ��係にあり、Eiとksを別々の未知数として推定 すると、無限個の組み合わせが想定でき、最 適化が行えない。そこで、図2では、Eiksを1つ の未知数とし、結果的に推定対象の照明方程 式パラメータは、((Eiks) ^L  m ^L  n ^L )の3つとする。

 シンプレックス法では、推定値の候補を((Ei ks) ^L  m ^L  n ^L ) ^candidate として設定し、照明方程式である(式1)と(式2) を計算して鏡面反射画像の候補(Is ^L ) ^candidate を算出し、誤差評価関数として、真値である 鏡面反射画像(Is ^L ) ^target との輝度差δIs ^L を計算する。誤差評価関数である輝度差δIs ^L が閾値tより小さければ、推定値候補の((Eiks) ^L  m ^L  n ^L ) ^candidate は推定結果として採用される。逆に、誤差評 価関数である輝度差δIs ^L が閾値tより大きければ、後述するようにシ� �プレックスと呼ぶ図形を変形して、推定値� �候補((Eiks) ^L  m ^L  n ^L ) ^candidate を更新し、再度、鏡面反射画像の候補(Is ^L ) ^candidate を計算して、真値である鏡面反射画像(Is ^L ) ^target との輝度差δIs ^L を評価する。以上の考え方に基づいて、図2� �フローチャートを説明する。

 ステップS00は、後述する閾値処理と分岐処� ��、繰り返し処理回数のチェックのために、� ��値t、分岐条件C、繰り返し上限回数rを設定� ��る。ステップS01は、推定値の候補((Eiks) ^L  m ^L  n ^L ) ^candidate の初期値を与える。具体的には、乱数発生な どを用いる。ステップS02は、推定値の候補((E iks) ^L  m ^L  n ^L ) ^candidate と、光源ベクトルL ^L 、表面法線ベクトルN ^L 、視点ベクトルV ^L を照明方程式である(式1)に入力し、鏡面反射 画像の候補(Is ^L ) ^candidate を算出する。ステップS03は鏡面反射画像の候 補(Is ^L ) ^candidate とターゲットである鏡面反射画像の真値(Is ^L ) ^target との輝度差△Is ^L を算出し、ステップS04は閾値t(輝度値を8ビッ トの0から255の256階調で表現した場合、例え� �t=0.01とする)と比較する。

 誤差評価関数である輝度差△Is ^L が閾値tより小さい場合は、推定値の候補((Eik s) ^L  m ^L  n ^L ) ^candidate を推定結果として出力し、図2の処理を終了� �る。この処理対象の画素は、推定精度が所� �の基準(真値との誤差が閾値t未満)を満たし� �ため、「適合画素」と判定する。

 一方、誤差評価関数である輝度差△Is ^L が閾値tより大きい、あるいは等しい場合は� �ステップS05において、シンプレックスの更� �回数rsと繰り返し上限回数rとを比較し、シ� �プレックスの更新回数rsが繰り返し上限回数 rを超えている場合は、閾値tを大きくして推� ��精度を低くし、再度、初期値設定のステッ� ��S01から推定をやり直す。この処理対象の画� ��は、推定精度が所定の基準(真値との誤差が 閾値t未満)を満たしていないため、「不適合� ��素」と判定する。不適合画素は、後述する� ��1スイッチャ部402、HR照明方程式パラメータ� ��定部109、低解像度化部110を経由して、LR照� �方程式パラメータ推定部103へフィードバッ� �し、再度、LR照明方程式パラメータ推定部103 でパラメータ推定をやり直す。この際、当初 の閾値tに設定を戻し、当初の推定精度のレ� �ルで不適合画素の照明方程式パラメータの� �定を行う。一方、シンプレックスの更新回� �rsが繰り返し上限回数rを超えていない場合� �、ステップS06においてシンプレックスを鏡� �、拡張、収縮で変形して、推定値の候補((Eik s) ^L  m ^L  n ^L ) ^candidate を更新し、推定値の次の候補((Eiks) ^L  m ^L  n ^L ) ^{new_candidate} を算出する。

 シンプレックスはn次元空間の(n+1)個の点の� ��合で、n=2の場合は三角形になる。図2では(Ei ks) ^L 、m ^L 、n ^L の3つの変数を対象とするため、シンプレッ� �スは4面体になる。シンプレックスの頂点を� ��クトルxjで表し、新しいベクトルxh、xs、x1� �x0を次式で定める。
引き続き、以下の3つの操作を行って、シン� �レックスの大きさと形を変え、関数の最適� �を行う。
ここで、α(>0)、β(>1)、γ(1>γ>0)は係� �であり、例えば、α=1、β=2、γ=1/2などの値を 用いる。

 これらの操作を2次元で行う場合を図3に示� �。シンプレックス法の関数最適化の考え方� �、シンプレックスの頂点の中で関数値の最� �大きなものを選べば、その鏡像における関� �値は小さくなるとの仮定に基づいている。� �の仮定が正しければ、同じプロセスの繰り� �しで、関数の最小値が求められる。図2にお� ��る関数とは、誤差評価関数である輝度差△I s ^L であり、(式14)と(式15)による(Eiks) ^L 、m ^L 、n ^L の更新に伴って輝度差△Is ^L は小さくなり、閾値tより小さくなったとき� �最適化処理は終了し、(Eiks) ^L 、m ^L 、n ^L の推定値が決定される。

 ステップS07は、推定値の次の候補((Eiks) ^L  m ^L  n ^L ) ^{new_candidate} と既存パラメータが分岐条件Cをすべて満た� �ているかを確認し、すべてを満たしている� �合は、ステップS02へ戻り、再度、閾値tとの� ��較を行う。一方、推定値の次の候補((Eiks) ^L  m ^L  n ^L ) ^{new_candidate} と既存パラメータが分岐条件Cのすべてを満� �していない場合は、ステップS01へ戻り、初� �値を再設定する。

 分岐条件Cは、例えば、(式2)の屈折率nが1� ��上、フレネル係数Fλが0以上1以下、物体表� �の粗さmが0以上、マイクロファセット分布関 数Dが0以上とする。これらの条件は、物理的� ��裏付けで各パラメータ値の合理性を確認す� ��ものであり、これらの1つでも満たさないも のが発生した場合は、照明方程式パラメータ が物理的な矛盾を含んでいると判断し、これ らを破棄する。推定方法の観点から見ると、 関数最適化は進捗しているが、物理的な視点 から見ると矛盾する解空間へ進んでいる、と 解釈できる。そこで、このままシンプレック スの更新を進めても、物理的矛盾を含んだ解 空間から抜け出せないため、ステップS01へ戻 って、初期値を再設定して物理的矛盾を含ん だ解空間から抜け出す。

 以上、図2によって、照度Ei、鏡面反射成� ��比ks、物体表面の粗さm、屈折率nの推定がな され、閾値tを更新することなく推定が完了� �た「適合画素」と、閾値tを更新して推定が� ��了した「不適合画素」とが決定される。

 なお、シンプレックス法は一例であり、f (x)=0を繰り返し法で求めるニュートンラフソ� ��法を利用できる。すなわち、f(x)を真値と推 定値の差分とし、f(x)=0が所定の誤差以内で満 たせば、適合画素となる。ニュートンラフソ ン法は、f(x)=0の根に近いx=xoでf(x)をテーラー� ��開して、一次の項のみを取ると、xの微小変 化δxに対して、f(xo+δx)=f(xo)+f‘(xo)δxが成り立 つことを利用するもので、y=f(x)上の点(xo、yo) の接線がx軸と交わる交点x1を繰り返し求める ことでf(x)=0の根を求めることができる。本発 明は、パラメータ推定の方法に制限を与える ものではなく、任意の推定方法が適用可能で ある。

 拡散反射成分比kdは1-ksで与えられ、照度Ei ^L と拡散反射画像Id ^L が既知であるため、拡散反射成分の双方向反 射率ρd ^L を計算でき、LR照明方程式パラメータ推定部1 03から出力される。

 以上により、LR照明方程式パラメータ推定� �103は、照明方程式パラメータの推定を完了� �、推定結果を推定パラメータEP ^L として出力する。推定パラメータEP ^L に含まれる適合画素と不適合画素の識別は、 適合性識別画像ASI ^L が担う。すなわち、適合性識別画像ASI ^L は、入力画像IINと同じ画像サイズの1ビット� �像であり、適合画素を1、不適合画素を0とし て記録する。

 不適合画素が発生する要因は様々想定さ� ��るが、例えば、図41を用いて説明したよう� �、表面法線ベクトルの計測で不具合が発生� �、その結果、LR照明方程式パラメータ推定部 103での推定精度が所定の基準を満たさず、処 理対象の画素が不適合画素になる場合が考え られる。このような不適合画素の推定精度を 向上するには、新たな付加情報を付加して再 度、残存する不適合画素を推定する必要があ る。そこで、超解像処理にデータベース参照 型を適用し、データベースから引き出した高 解像度パラメータで超解像処理を施すととも に、高解像度パラメータを新たな付加情報と して利用して、再度、パラメータ推定を行う 。超解像処理は、具体的には、後述する材質 補間部105とテクスチャ超解像部107で成される が、このうち、テクスチャ超解像部107では、 後述するようにデータベースを参照して高解 像度情報を取得する。取得された高解像度情 報は、照明方程式パラメータ計測装置IEPSか� �は取得できない新しい付加情報であり、従� �て、テクスチャ超解像部107で超解像処理さ� �た照明方程式パラメータを適合画素に加え� �ことで、不適合画素を所定の推定精度で推� �できる可能性が高まる。

 なお、推定精度を判定する所定の基準は� ��一般に、利用者の要求画質などによって決� ��る。すなわち、利用者の要求画質を満たし� ��いれば、適合であり、要求画質を満たして� ��なければ、不適合である、とする。利用者� ��要求画質は、利用目的や使用する機器など� ��依存して様々であり、例えば、ディスプレ� ��で絵画を鑑賞する場合と、ニュース番組で� ��報を得たい場合では、一般に前者の方がよ� ��高い画質が要求される。機器の違いとして� ��、携帯型の小型ディスプレイよりも、ホー� ��シアターなどで使用される据置き型の大型� ��ィスプレイの方が高い画質を要求される。

 また、推定精度の判定基準は、画像内の� ��リアごとに切り替えても構わない。すなわ� ��、画像内に、前景となる人物が映っていて� ��背景に建物が映っていた場合を想定する。� ��メラの焦点は、前景の人物に合っており、� ��景の建物は被写界深度外の位置にあって、� ��ケていたとする。このような場合、一般に� ��前景の人物に対する要求画質は高く、背景� ��は、高い画質は要求されない。そこで、前� ��と背景に個別の判定基準を割り当てて、よ� ��少ない計算で推定精度の適合性を確保する� ��とができる。

 以降、照明方程式パラメータ高解像度化� ��120の内部構成として、補間による超解像処� ��を行う、テクスチャ解析A部104と材質別補間 部105を説明し、データベース参照による超解 像処理を行う、テクスチャ解析B部106とテク� �チャ超解像部107を説明する。引き続き、テ� �スチャ超解像部107の出力を照明方程式パラ� �ータの推定にフィードバックする仕組みと� �て、HR照明方程式パラメータ推定部109と低解 像度化部110を説明する。

 図4は、照明方程式パラメータ高解像度化部 120の内部構成を説明する図である。テクスチ ャ解析A部104は、後述する材質別補間部105に� �る高解像度化処理の前処理を行うものとし� �機能する。鏡面反射成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L は被写体が持つ材質に依存した光学特性パラ メータであり、材質ごとに一定値になると考 えられる。そこで、テクスチャ解析A部104は� �クスチャの違いから材質判別を行い、材質� �補間部105は材質ごとに各パラメータ値を補� �する。一方、拡散反射成分の双方向反射率ρ d ^L と表面法線ベクトルN ^L は、特別な拘束条件を受けない独立したパラ メータであり、従って、補間による高解像度 化で画質的に十分である根拠が存在しない。 そこで、高解像度化処理はテクスチャ特徴量 ベクトル変換テーブルを参照する方式を用い る。つまり、あらかじめ、複数サンプルを用 いて低解像度画像と高解像度画像を取得し、 データベースに保存しておく。超解像実行時 には、低解像度画像でデータベースを参照し 、高解像度画像をデータベースから取得する 。そこで、テクスチャ解析B部106は特徴量ヒ� �トグラムで材質と解像度を特定し、テクス� �ャ超解像部107はテクスチャ特徴量変換テー� �ルを参照してテクスチャ特徴量を超解像度� �する。

 なお、補間部112は、解像度独立性の高い光� ��ベクトルL ^L 、環境光の輝度Ia ^L 、照度Ei ^L を補間、あるいは空間的にコピーして解像度 を増やし、光源ベクトルL ^H 、環境光の輝度Ia ^H 、照度Ei ^H を出力する。

 以降、テクスチャ解析A部104と材質別補間 部105の組み合わせと、テクスチャ解析B部106� �テクスチャ超解像部107の組み合わせで、高� �像度化処理の詳細を説明する。

 なお、照明方程式パラメータ高解像度化部1 20には適合性識別画像ASI ^L が入力されており、この適合性識別画像ASI ^L はテクスチャ解析A部104およびテクスチャ解� �B部106にそれぞれ与えられる。そして、照明� ��程式パラメータ高解像度化部120は、適合性� ��別画像ASI ^L を参照して、照明方程式パラメータの高解像 度化を適合画素についてのみ行う。これによ り、処理量を削減することができる。ただし 、全ての画素について照明方程式パラメータ の高解像度化を行うようにしても、もちろん かまわない。

 図5は、テクスチャ解析A部104と材質別補間� �105の詳細を示すブロック図である。鏡面反� �成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L は、それぞれ、パラメータ値を画素値とする パラメータ入力画像PIINとしてテクスチャ解� �A部104へ入力される。

 テクスチャ解析A部104は、画像特徴解析部 21で空間周波数解析を行い、テクスチャ情報� ��表すパラメータ入力画像特徴ベクトルPIINFV� ��出力する。空間周波数解析には任意の方式� ��適用可能であるが、例えば、図6に示すウェ ーブレット変換を用いる。n回のスケーリン� �それぞれにおいてウェーブレット変換の出� �HL,LH,HH,LLを求め、これらを階層ごとに束ねる ことによって得た(3n+1)次元ベクトルをパラメ ータ入力画像特徴ベクトルPIINFVとする。

 ハール型のマザーウェーブレットを用い� ��場合には、図7(a)に示すように、HLは処理対� ��の画素960の右隣接画素961との差分値、LHは� �理対象の画素960の下隣接画素962との差分値� �HHは斜下隣接画素963との差分値、LLは処理対� ��の画素960を含む右、下、斜下の4つの画素960 ~963の平均値である。図7(a)はスケール1に相当 し、図7(b)はスケール2に相当する。スケール2 では、スケール1における4画素960~963の平均値 である出力LLが差分値の計算対象になる。す� ��わち、スケール2における出力HLはブロック9 64とブロック965の差分値、スケール2における 出力LHはブロック964とブロック966の差分値、� ��ケール2における出力HHはブロック964とブロ� ��ク967の差分値となる。また、スケール2にお ける出力LLはブロック964~967の平均値となる。

 図8は、スケールレベルn=2を例にとって、 画像特徴量を画素ごとに算出する方法を説明 する図である。図8(a)は、画素970の画像特徴� �(w1, w2, …, w7)1,1を算出する方法であり、ブ ロック971内の16画素がウェーブレット変換で� ��照されて、7次元の画像特徴量が算出される 。同様に、図8(b)は、画素972の画像特徴量(w1,� �w2, …, w7)1,2を算出する方法であり、ブロッ ク973内の16画素がウェーブレット変換で参照� ��れて、7次元の画像特徴量が算出される。図 8(c)は、画素974の画像特徴量(w1, w2, …, w7)1,3 を算出する方法であり、ブロック975内の16画� ��がウェーブレット変換で参照されて、7次元 の画像特徴量が算出される。以上のように、 ウェーブレット変換で参照されるブロックが 1画素ごとに移動することによって、画素ご� �に画像特徴量が算出される。

 類似特徴ベクトル検出部22は、パラメー� �入力画像PIINの全画素に対して、パラメータ� ��力画像特徴ベクトルPIINFVに近いベクトルを� ��つけ出す。ベクトルの類似度は2つのベクト ルの内積で検出することができ、全画素に対 する内積の中から最も大きなものを順に3つ� �り出し、類似パラメータ入力画像特徴ベク� �ル群PIINFVGとする。

 図9は、画像特徴量空間FSにおけるパラメ� ��タ入力画像特徴ベクトルPIINFVと類似パラメ� ��タ入力画像特徴ベクトル群PIINFVGの位置関係 の例を示す。ベクトルFV1~FV3は、類似特徴ベ� �トル検出部22によって検出された類似パラメ ータ入力画像特徴ベクトル群PIINFVGの要素を� �す。

 類似特徴ベクトル補間部23は、パラメータ� �力画像特徴ベクトルPIINFVと類似パラメータ� �力画像特徴ベクトル群PIINFVGとの距離D1~D3を� �めて、(式16)によって補間を行い、パラメー� ��出力画像特徴ベクトルPIOUTFVを算出する。

 画像生成部24は、パラメータ出力画像特徴� �クトルPIOUTFVに画像特徴解析部21の逆変換(例� ��ば、逆ウェーブレット変換)を施す。この結 果、鏡面反射成分比ks ^H 、物体表面の粗さm ^H 、屈折率n ^H のパラメータ出力画像PIOUTが、材質別補間部1 05から出力される。

 図10は、テクスチャ解析B部106とテクスチャ� ��解像部107の詳細を示すブロック図である。� ��散反射成分の双方向反射率ρd ^L と表面法線ベクトルN ^L は、それぞれ、パラメータ値を画素値とする パラメータ入力画像PIINとしてテクスチャ解� �B部106へ入力される。このとき、初期拡大が� ��われる。画像特徴解析部31は、パラメータ� �力画像PIINの空間周波数解析を行い、テクス� ��ャ情報を表わすパラメータ入力画像特徴ベ� ��トルPIINFVを出力する。空間周波数解析には� ��図6のウェーブレット変換を用いる。ベクト ル量子化部32は、パラメータ入力画像特徴ベ� ��トルデータベース部33に格納された画像特� �ベクトルの中から、パラメータ入力画像特� �ベクトルPIINFVに最も近いベクトルを検出す� �。パラメータ入力画像特徴ベクトルデータ� �ース部33は、図11に示すように、パラメータ� ��力画像特徴ベクトルとパラメータ入力画像� ��徴ベクトル番号の組からなり、複数のサン� ��ル画像を用いて、予め作成しておく。以上� ��り、テクスチャ解析B部106は、拡散反射成分 の双方向反射率ρd ^L 、あるいは表面法線ベクトルN ^L のテクスチャ情報をパラメータ入力画像特徴 ベクトル番号PIINFVNとしてテクスチャ超解像� �107へ出力する。

 テクスチャ超解像部107は、パラメータ画� ��特徴ベクトル番号置換テーブル34で、パラ� �ータ入力画像特徴ベクトル番号PIINFVNをパラ� ��ータ出力画像特徴ベクトル番号PIOUTFVNに置� �する。これにより、超解像化が行われる。� �なわち、パラメータ出力画像特徴ベクトル� �号PIOUTFVNは、パラメータ出力画像特徴ベクト ルデータベース部35において、図12に示すよ� �に、超解像化された画像特徴量ベクトルと� �対応が記述されており、パラメータ画像特� �ベクトル番号置換テーブル34における番号の 変換で、実質、超解像化が成される。

 パラメータ画像特徴ベクトル番号置換テ� ��ブル34は、図13に示すように、予め、複数の サンプルを用いて、低解像度画像と高解像度 画像の画像特徴量ベクトルの関係から作成さ れる。パラメータ入力画像特徴ベクトルデー タベース33に低解像度画像の画像特徴が格納� ��れ、パラメータ出力画像特徴ベクトルデー� ��ベース35に高解像度画像の画像特徴が格納� �れる。図13の例では、図6のウェーブレット� �換をスケールレベル3まで実行した際に得ら� ��る10次元ベクトルとして例示している。パ� �メータ画像特徴ベクトル番号置換テーブル34 は、低解像度画像と高解像度画像の同一画素 間での対応から構築する。

 パラメータ出力画像特徴ベクトルデータベ� ��ス部35は、パラメータ出力画像特徴ベクト� �番号PIOUTFVNが示すパラメータ出力画像特徴ベ クトルPIOUTFVを取り出す。画像生成部36は、画 像特徴解析部31の逆変換(例えば、逆ウェーブ レット変換)によって、パラメータ出力画像� �徴ベクトルPIOUTFVをパラメータ出力画像PIOUT� �変換する。この結果、拡散反射成分の双方� �反射率ρdH、あるいは表面法線ベクトルN ^H がテクスチャ超解像部107から出力される。

 なお、上述したように、パラメータ画像� ��徴ベクトル番号置換テーブル34は、低解像� �画像と高解像度画像の同一画素間での対応� �ら構築するため、低解像度画像と高解像度� �像の画像サイズを同一にしておく必要があ� �。低解像度画像は、高解像度画像よりも画� �サイズが小さいため、低解像度画像を、例� �ば、バイリニア補間やバイキュービック補� �で高解像度と同じ画像サイズに一旦、初期� �大すればいい。従って、実質、テクスチャ� �解像部107は、初期拡大された低解像度画像� �データベースから取得した高周波成分を主� �とするディテイルを付け加えるように機能� �る。

 以上により、超解像処理が完結するが、同� ��に、出力画像特徴ベクトルデータベース部3 5で取り出したパラメータ出力画像特徴ベク� �ルPIOUTFVが不適合画素の推定精度向上に利用� ��る新しい付加情報として取得された。推定� ��ラメータEP ^H に含まれる適合画素と不適合画素の識別は、 適合性識別画像ASI ^L で行う。

 第1スイッチャ部402は、適合性識別画像ASI ^L を参照して、不適合画素の有無を確認し、高 解像度化されたパラメータの出力先を切り替 える。全画素が適合画素である場合は、推定 パラメータEP ^H を照明方程式パラメータ合成部111へ出力する 。一方、不適合画素が存在する場合は、推定 パラメータEP ^H をHR照明方程式パラメータ推定部109へ出力し� ��後述するように、照明方程式パラメータの� ��定を再度実施する。

 HR照明方程式パラメータ推定部109は、推定� �ラメータEP ^H の中の不適合画素の推定を行う。推定パラメ ータEP ^H のうち、拡散反射成分の双方向反射率ρd ^H と表面法線ベクトルN ^H は、パラメータ出力画像特徴ベクトルデータ ベース部35を参照して取得されたものであり� ��照明方程式パラメータ計測装置IEPSでは計測 できない新たな適合画素と位置づけられる。 このため、高解像度化された照明方程式パラ メータを用いれば、LR照明方程式パラメータ� ��定部103で推定できなかった照明方程式パラ� ��ータが推定できる可能性がある。HR照明方� �式パラメータ推定部109の具体的な推定方法� �任意であり、本発明は制限を与えないが、� �えば、図2に説明したシンプレックス法を用� ��る。誤差評価関数の閾値比較によって、適� ��画素と不適合画素を判定し、適合性識別画� ��ASI ^H を出力する。

 第2スイッチャ部403は、適合性識別画像ASI ^H を参照して、不適合画素の有無を確認する。 すべての画素が適合画素となった場合は、推 定パラメータEP ^H を照明方程式パラメータ合成部111へ出力する 。一方、HR照明方程式パラメータ推定部109で� ��定した結果、不適合画素が残っている場合� ��、LR照明方程式パラメータ推定部103へ戻し� �、低解像度画像の状態で、再度、パラメー� �推定を実行する。そのためには、高解像度� �されたパラメータを低解像度化する必要が� �るため、HR照明方程式パラメータ推定部109の 出力である推定パラメータEP ^H を低解像度化部110に出力して低解像化処理を 施し、その後、LR照明方程式パラメータ推定� ��103へ入力する。

 低解像度化部110は、推定パラメータEP ^H に対して低解像度化処理を施して、推定パラ メータEP ^L として出力する。低解像度処理の具体的な方 法は、被写体撮像装置OBJSの撮像特性に依存� �る。つまり、被写体撮像装置OBJSが被写体OBJ� ��近距離で撮影した高解像度画像と、遠距離� ��撮影した低解像度画像を取得し、2つの輝度 値の変化を低解像度化部110に反映する。具体 的には、図13のように、パラメータ画像特徴� ��クトルの対応関係を画素単位で構築し、図1 0の流れの逆方向をたどって、低解像度画像� �得ればいい。この場合、図10に示したパラメ ータ入力画像特徴ベクトルデータベース部33� ��パラメータ画像特徴ベクトル番号置換テー� ��ル34およびパラメータ出力画像特徴ベクト� �データベース部35を用いればよい。

 また、近似的には2次元のガウス関数を畳 み込んで低解像度画像を算出したり、近隣画 素の平均値で低解像度画像とする方法などが ある。また、輝度ではなく、図9に示したよ� �に、パラメータ画像特徴ベクトルを補間す� �方法もある。

 不適合画素の有無を示す適合性識別画像ASI ^L は、第2スイッチャ部403から入力される適合� �識別画像ASI ^H をもとに、図14に示す方法で生成される。図1 4(a)の適合性識別画像ASI ^H において、画素405が不適合画素であり、それ 以外の画素は適合画素とする。低解像度化部 110の低解像処理の結果、適合性識別画像ASI ^L の画素406が、適合性識別画像ASI ^H の4画素×4ラインの16画素をもとに生成された とする場合、画素406は、不適合画素405の影響 を受けている。そこで、画素406は不適合画素 となる。一方、図14(b)の適合性識別画像ASI ^H では、適合性識別画像ASI ^L の画素406に影響を与える4画素×4ラインの16画 素すべてが適合画素である。この場合は、画 素406は適合画素となる。

 低解像度化部110からフィードバックされ� ��推定パラメータEPLは、テクスチャ超解像部1 07の出力画像特徴ベクトルデータベース部35� �おいて、超解像に必要な付加情報が加えら� �た上で算出されているため、被写体撮影装� �OBJSや形状計測装置NSが取得できない新たな� �報が付加されている。従って、LR照明方程式 パラメータ推定部103における1回目の推定で� �適合画素となったものについて、パラメー� �が推定できる可能性が高い、と捉えられる� �

 上記の処理を繰り返せば、テクスチャ超� ��像部107での超解像処理が施される度に、照� ��方程式パラメータの情報量が増加し、不適� ��画素のパラメータを推定できる可能性が高� ��り、すべての画素が適合画素となり得る。

 照明方程式パラメータ合成部111は、(式1)� ��照明方程式を用いて、高解像度化されたパ� ��メータを合成して輝度画像に変換し、高解� ��度画像IOUTとして出力する。

 図15は、図1に示した画像処理装置400のブ� ��ック図の動作フローを示す。ステップS400は 、初期設定として、LR照明方程式パラメータ� ��定部103やHR照明方程式パラメータ推定部109� �実行する推定処理の初期値や閾値、分岐条� �等の設定を行う。ステップS401は、被写体撮� ��装置OBJSで被写体OBJを撮影して被写体画像IIN を取得し、照明方程式パラメータ計測装置IEP Sで被写体OBJの照明方程式パラメータを計測� �る。ステップS402は、LR照明方程式パラメー� �推定部103で、注目点Pの照明方程式パラメー� ��を推定する。ステップS403は、照明方程式パ ラメータ高解像度化部120で、注目点Pの照明� �程式パラメータを高解像度化する。ステッ� �S404は、不適合画素の有無を確認し、全画素� ��適合画素であった場合は、ステップS405へ進 み、ステップS405でパラメータ合成が行われ� �S406で高解像度画像IOUTが出力される。一方、 ステップS404で不適合画素が検出された場合� �、ステップS407へ進み、ステップS407で高解像 度化された照明方程式パラメータを用いて、 不適合画素を再推定する。ステップS408で再� �、不適合画素の有無を確認し、全画素が適� �画素であった場合は、ステップS405へ進み、� ��テップS406で高解像度画像IOUTが出力される� �一方、ステップS408で不適合画素が検出され� ��場合は、ステップS409へ進み、ステップS409� �高解像度パラメータ画像を低解像化し、ス� �ップS402へ戻って、再び、低解像度パラメー� ��画像で不適合画素の推定を行う。

 なお、LR照明方程式パラメータ推定部103� �、何度パラメータ推定を繰り返しても、閾� �tが当初の設定値まで下がらず、推定精度が� ��標レベルに達しない場合があり得る。この� ��合は、目標の推定レベルに対してあまりに� ��不適合画素が多すぎることを意味する。こ� ��ような場合は、推定精度を下げて処理を終� ��せざるを得ない。そこで、第1スイッチャ部 402にカウンタを設けて、所定の回数以上、パ ラメータ推定を繰り返した場合は、LR照明方� ��式パラメータ推定部103へのフィードバック� ��取りやめ、照明方程式パラメータ合成部111� ��出力して高解像度化処理を終了する。

 以上により、画像処理装置400は、被写体画� ��IIN、計測パラメータMP ^L から被写体撮像センサの解像度よりも高い解 像度の画像を出力でき、エッジの先鋭さやテ クスチャを変質させず、画質劣化なしに画像 を拡大できる。被写体や視環境の幾何光学パ ラメータの計測や、照明方程式パラメータの 推定が不完全なために生じた不適合画素が存 在しても、超解像処理で利用される高解像化 のための付加情報を利用してパラメータを再 推定し、照明方程式パラメータを用いた画像 拡大を実行できる。何らかの制限によって低 解像度画像のパラメータをすべて計測できな い場合でも、本発明では画像拡大が可能であ り、利用環境や装置構成などの観点で適用範 囲を広げる効果を有する。

 図16は、照明方程式パラメータの推定を低� �像度画像に対してのみ実行する画像処理装� �500のブロック図である。図1の画像処理装置4 00は、HR照明方程式パラメータ推定部109にお� �て、高解像度化された照明方程式パラメー� �を用いて、残存する不適合画素の照明方程� �パラメータを推定する。一方、図16の画像処 理装置500は、高解像度化された照明方程式パ ラメータを用いた不適合画像の照明方程式パ ラメータの推定を持たず、低解像度画像のみ で照明方程式パラメータの推定を行う。これ に伴い、第2スイッチャ部403は不要になり、� �定パラメータEP ^H を低解像度化部110へ入力して、LR照明方程式� ��ラメータ推定部103へフィードバックする。

 画像処理装置500は、画像処理装置400に比� ��て、構成が単純化し、機器の小型化に効果� ��発揮する。また、照明方程式パラメータの� ��定は、低解像度画像に対して実行されるた� ��、例えば、図2のような推定処理の回数が、 高解像画像を扱う場合よりも少なくなり、推 定処理の高速化が図れる。

 ただし、不適合画素の推定精度を高める� ��あたって、高解像度画像でのパラメータ推� ��は有効であり、低解像度画像と高解像度画� ��の2つで照明方程式パラメータを推定する画 像処理装置400は、不適合画素の推定精度の向 上において、画像処理装置500よりも有利であ る。一方、画像処理装置500は、照明方程式パ ラメータの推定回数が少ない、という点で画 像処理装置400よりも有利である。そこで、画 像処理装置400と画像処理装置500は、推定精度 と推定速度のそれぞれのメリットを生かして 使い分けることが肝心であり、高解像度化さ れた照明方程式パラメータをLR照明方程式パ� ��メータ推定部103にフィードバックする回数� ��増やした方が有効な場合は、画像処理装置5 00を利用すべきである。一方、高解像度化さ� ��た状態で不適合画素の照明方程式パラメー� ��を推定する方が有効な場合は、画像処理装� ��400を利用すべきである。

 (実施の形態2)
 本実施の形態では、光源撮像装置で光源を� ��影し、形状計測装置で被写体の表面法線ベ� ��トルを計測し、偏光フィルタを介した照明� ��完全偏光を被写体に照射し、偏光フィルタ� ��介した被写体撮像装置で被写体からの反射� ��を撮影する。そして、画像処理装置が、こ� ��らの計測情報から被写体撮像センサの解像� ��よりも高い解像度の画像を出力する。

 図17は本発明の実施の形態2に係る画像処� ��装置の構成を示すブロック図である。画像� ��理装置100は、被写体撮像装置OBJSの被写体画 像IINを拡大するための装置であり、光源方向 算出部101、鏡面反射拡散反射分離部102、LR照� ��方程式パラメータ推定部103、テクスチャ解� ��A部104、材質別補間部105、テクスチャ解析B� �106、テクスチャ超解像部107、スイッチャ部10 8、HR照明方程式パラメータ推定部109、低解像 度化部110、照明方程式パラメータ合成部111、 補間部112を備えている。テクスチャ解析A部10 4、材質別補間部105、テクスチャ解析B部106、� ��クスチャ超解像部107および補間部112によっ� ��、照明方程式パラメータ高解像度化部120が� ��成されている。なお、図1に示す撮影装置400 と同様の部分については同じ符号を付し、詳 細な説明を省略する。

 各処理部に入力する信号、あるいは各処� ��部から出力する信号のうち、上付きでLを付 したものは、低解像度の意味を示し、被写体 撮像装置OBJSの解像度と一致する。一方、上� �きでHを付したものは、高解像度の意味を示� ��、後述する高解像化処理により被写体撮像� ��置OBJSよりも高い解像度を有することを意味 する。

 光源撮像装置ILSは、視環境VEにおいて、光� �ILを撮影して、光源画像IILを画像処理装置100 に入力する。さらに、形状計測装置NSは被写� ��OBJの形状を計測し、表面法線ベクトルN ^L を画像処理装置100に入力する。形状計測装置 NSは、図18に示すように、注目点Pを含むよう� ��三角形を形成する3点の3次元的な位置を、� �41に示した三角測量の原理で計測し、三角形 の面に直交する長さ1のベクトルを表面法線� �クトルN ^L とする。形状計測装置NSは、被写体撮影装置O BJSとほぼ同じ位置に設置し、2つの装置の光� �は近似的に一致しているとする。なお、環� �光成分である(式1)のIaは撮影前に計測してお く。(式1)からわかるように、照明の照度Eiを0 にすればIv=Iaとなり、環境光の輝度Iaを計測� �きる。従って、注目点Pを照らす照明ILを消� �、遮断、あるいは取り除くことで環境光の� �度Iaを計測できる。

 光源方向算出部101は、光源画像IILから光� ��ILの3次元的位置を算出する。光源ILからの� �線はすべて平行であると仮定し、光源の方� �は1本のベクトルで表現できると仮定する。� ��19(a)は、光源ILと光源画像IILの位置関係を示 す。光源ILの位置が曲線LTに沿って移動した� �合を考える。曲線LT上の位置PS1から位置PS5に 移動した光源ILの光は、光源撮像装置ILSの有� ��る撮像センサ403に入射し、直線ST上の位置PX 1から位置PX5に記録される。光源ILが位置PS2に ある場合、直線STとx軸が成す角度をθ、直線S Tと光源ベクトルL2が成す角度をφとして、光� ��ベクトルL2を求める方法を説明する。

 図19(b)は、図19(a)の撮像センサ403をz軸方向� �ら見たもので、位置PX1と座標原点Oの距離をd 、位置PX2と座標原点Oの距離をrとする。位置P X1はφ=0、座標原点Oはφ=90度であり、この間の 光源位置と撮像センサ403の位置は線形に配分 されるため、位置PX2の角度φは以下で与えら� ��る。
ここで、光源画像上の位置PX1、位置PX2、座標 原点Oの画素位置をそれぞれ、(xL1,yL1)、(xL2,yL2 )、(xO,yO)とすると、位置PX1と座標原点Oの距離 dは、
で与えられ、位置PX2と座標原点Oの距離rは、
で与えられる。

 図19(c)は、位置PX2からz軸方向に光源ベクト� ��L2との交線LTを引いて得られる三角形を示し 、交線LTの長さをzL2とすると、次式が得られ� ��。

 光源ベクトルを長さ1の単位ベクトルで定義 するならば、
となる。

 以上の計算は、光源撮像装置ILSの光軸z軸 と撮像センサ403上のx軸とy軸からなる3次元座 標系で導出されたものであり、これを被写体 撮像装置OBJSの3次元座標系に変換する必要が� ��る。

 図20は、被写体撮像装置OBJSと光源撮像装置I LSを単一筐体にまとめたカメラの一例を示す� ��カメラ401は、光源撮像装置ILSとして光源撮� ��レンズ402および光源撮像素子403を備え、被� ��体撮像装置OBJSとして被写体撮影レンズ404お よび被写体撮像素子405を備える。カメラ401は 、被写体撮像装置OBJSの光軸z軸を被写体方向� ��向ける場合が一般的な利用形態であるため� ��光源ILを光源撮像装置ILSで捉えるためには� �光源撮像装置ILSを上方に向けて取り付ける� �とが望ましい。光源撮像装置ILSの座標系を� �写体撮像装置OBJSの座標系に変換するには、x 軸、y軸、z軸を各々変換することで実現でき� ��。ベクトル(xlight、x ylight、x zlight、x)object� ��、光源撮像素子403のxyz3次元座標系のx軸を� �写体撮像素子405のxyz3次元座標系で表わした� ��クトルである。ベクトル(xlight、x ylight、x  zlight、x)lightは、光源撮像素子403のxyz3次元座� ��系のx軸を光源撮像素子403のxyz3次元座標系� �表わしたベクトルである。x軸と同様にy軸、 z軸も定義すると、各軸のベクトルは3×3行列M で以下のように関係付けられる。
これを行列Mについて解くと
となる。この行列Mを(式9)に施すことで、図19 の光源ベクトルL2は、光源撮像素子403のxyz3次 元座標系から被写体撮像素子405のxyz3次元座� �系へ変換される。

 なお、光源は多くの場合、カメラ401の上� ��に位置するため、光源撮像装置ILSを上方に� ��けて撮影するが、仮に画角が不十分で光源I Lを光源撮像装置ILSの画角に捉え切れない場� �は、カメラ401の向きを変えて光源ILを画角に 捉える。そこで、カメラ401の向きの変化を計 測する必要があるため、カメラ401に3次元姿� �センサ406(加速度センサなどで構成)を内蔵し 、光源撮像素子403のxyz3次元座標軸の3次元動� ��を3次元姿勢センサ406から取得し、(式10)と� �じ要領で座標変換すればいい。なお、画角� �180度程度の広角レンズを用いて、光源ILと被 写体OBJを同時に画角内に捉えることができる 場合は、光源撮像装置ILSと被写体撮像装置OBJ Sを1つのレンズと撮像素子にまとめることも� ��能である。

 カメラの向きを変える別の方法として、� ��り畳み式携帯電話の構成も有効である。す� ��わち、図21に示すように、携帯電話601は相� �側カメラ602(携帯電話601の使用者の目の前の� ��写体を撮影するカメラ)と自分側カメラ603(� �帯電話601の使用者を撮影するカメラ)を備え� ��相手側カメラ602は折り畳んだディスプレイ� ��604を開く際に大きく向きを変える。すなわ� ��、(a)に示すように、ディスプレイ部604の開� ��角度DAGが小さい場合は携帯電話601の上方を� ��え、(c)に示すように、ディスプレイ部604の� ��き角度DAGが大きい場合は携帯電話601の使用� ��の前方を捉え、(b)に示すように、ディスプ� ��イ部604の開き角度DAGが中間の大きさの場合� ��、携帯電話601の上方と携帯電話601の使用者� ��前方との中間方向を捉える。そこで、ディ� ��プレイ部604の開き角度DAGをヒンジ605に備え� ��角度センサ606で検出して、相手側カメラ602� ��向きを算出する。xyz3次元座標系は、例えば 、自分側カメラ603の焦点位置を座標原点とし 、携帯電話601の構造上決まる相手側カメラ602 の焦点位置との関係から、(式10)の要領で、2� ��のカメラの撮影画像を同じxyz3次元座標系で 管理できる。なお、自分側カメラ603も光源の 撮影に利用できることは明らかである。以上 により、光源方向算出部101で光源ベクトルLL� ��算出できる。

 鏡面反射拡散反射分離部102は、偏光特性を� ��用して被写体画像IINを鏡面反射画像IsLと拡� ��反射画像IdLに分離する。光が物体表面で反� ��する場合、光の入反射面に並行な電場成分� ��垂直な電場成分ではフレネル係数が一般的� ��異なるため、反射光は偏光する。このため� ��鏡面反射成分は一般的に偏光しているが、� ��散反射は乱反射であるため、偏光性を持た� ��い。図22に示すように、偏光フィルタPFを通 して反射光RRを観測した場合、透過光RRPの強� ��は、反射光RRのうち偏光フィルタPFの偏光軸 PFAに並行な成分の強度となる。このため、物 体表面SFからの鏡面反射成分を偏光フィルタP Fを回転させながら観測した場合、透過光RRP� �強度は偏光フィルタPFの偏光軸PFAと鏡面反射 の偏光面SPPの間との角度ψに応じて変化し、� ��下で与えられる。

 ここで、Ldは拡散反射成分の輝度、Lsは鏡 面反射成分の輝度、θ’iは微小反射面での光 の入射角、FPは絶縁体に対する並行電場成分� ��フレネル係数、FVは絶縁体に対する垂直電� �成分のフレネル係数である。

 以上の偏光特性に基づくと、図23に示すよ� �に、光源IL側にも光源側偏光フィルタPFILを� �いて直線偏光を作れば、角度ψの変化に伴う 最大輝度Imaxと最小輝度Iminを検出することで� ��面反射画像ISを撮影できる。図24は、撮影側 偏光フィルタPFOSを回転させた場合の透過光RR Pの輝度の変化を示す。拡散反射は非偏光で� �るため、偏光軸PFAOSに一致した部分だけが透 過し、角度ψに依存せず、一定の輝度値Iminが 得られる。一方、鏡面反射は、偏光状態を変 えず、そのまま反射するため、反射光RRのう� ��、鏡面反射成分は、撮影側偏光フィルタPFOS の偏光軸PFAOSと光源側偏光フィルタPFILの偏光 軸PFAILとの角度差に応じて輝度値が正弦波状� ��変化する。偏光軸PFAOSと偏光軸PFAILとの角度 差が0になった場合、最大輝度Imaxが得られる� ��偏光フィルタを通すと、輝度が半分に落ち� ��ことを考慮して、以下によって、鏡面反射� ��像Isと拡散反射画像Idが得られる。

 LR照明方程式パラメータ推定部103は、例え� �(式1)の照明方程式をベースに、光源ベクト� �L ^L 、鏡面反射画像Is ^L 、拡散反射画像Id ^L 、表面法線ベクトルN ^L 、環境光の輝度Ia ^L から、注目点Pの照度Ei ^L 、鏡面反射成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L 、拡散反射成分の双方向反射率ρd ^L を推定する。光源ベクトルL ^L や表面法線ベクトルN ^L などの幾何情報は、図20で説明したように、� ��写体撮像装置OBJSのXYZ座標系を基準に記述す る。このため、視点ベクトルV ^L は被写体撮像装置OBJSのZ軸に一致し、計測す� ��必要はない。

 本発明は推定方法に制限を与えるものでは� ��く、任意の方法を適用できるが、一例とし� ��、図2で説明したシンプレックス法を用いて 、鏡面反射成分に関わる光学パラメータすな わち、照度Ei ^L 、鏡面反射成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L を推定する。引き続き、推定された照度Ei ^L および鏡面反射成分比ks ^L と拡散反射画像Id ^L とを用いて、拡散反射成分の双方向反射率ρd ^L を算出する。なお、照明方程式に関しても同 様に、本発明は制限を与えるものではなく、 任意のモデルを適用できる。

 上述したように、光源撮像装置ILSや形状計� ��装置NSで計測の不具合が発生し、光源ベク� �ルL ^L や表面法線ベクトルN ^L が原因で、不適合画素が発生する場合が考え られる。例えば、光源撮像装置ILSでは、感度 不足(暗部に対する感度が不足し、撮像セン� �から出力が検出されない状態)あるいはダイ� ��ミックレンジ不足(ハイライトが感度レンジ を越えて最大出力にクリッピングされる状態 )によって光源画像IILの撮影ができない場合� �考えられる。形状計測装置NSでの計測の不具 合は、例えば、図41で説明したように、点Aか ら照射されたレーザー光が点Pで方向SRに正反 射して、点Bに設置されたカメラがレーザー� �を捉えられない場合や、点Pの反射率が低く( つまり黒)、点Bに設置されたカメラがレーザ� ��光を撮影できない場合などである。

 以上のように、被写体画像IINを高解像度化� ��るにあたって必要となる光源ベクトルL ^L 、表面法線ベクトルN ^L の計測で不具合が生じた場合、LR照明方程式� ��ラメータ推定部103での推定精度に影響を与� ��、所定の推定精度を満たせなくなる。この� ��うに、計測における不具合や、照明方程式� ��ラメータの推定における不具合などは、ト� ��タルに、誤差評価関数での閾値比較で判断� ��る。適合画素、不適合画素の判断結果は、� ��施の形態1と同様に、適合性識別画像ASI ^L として、スイッチャ部108へ出力する。なお、 不適合画素の推定精度を向上するには、新た な情報を付加して再度、不適合画素を推定す る必要がある。そこで、超解像処理にデータ ベース参照型を適用し、データベースから引 き出した高解像度パラメータで超解像処理を 施すとともに、高解像度パラメータを新たな 付加情報として利用して、再度、パラメータ 推定を行う。超解像処理は、具体的には、材 質補間部105とテクスチャ超解像部107で成され るが、このうち、テクスチャ超解像部107では 、上述したようにデータベースを参照して高 解像度情報を取得する。取得された高解像度 情報は、被写体撮像装置OBJSや形状計測装置NS からは取得できない新しい付加情報であり、 従って、テクスチャ超解像部107で超解像処理 されたパラメータを加えて、再度、パラメー タ推定を実行することで、不適合画素の推定 精度を向上できる可能性が高まる。

 スイッチャ部108は、適合性識別画像ASI ^L を参照して、不適合画素の有無を検出し、高 解像度化されたパラメータの出力先を切り替 える。全画素が適合画素である場合は、高解 像度画像の算出が完了したことになる。一方 、不適合画素が検出された場合は、再度、パ ラメータ推定を行うために、HR照明方程式パ� ��メータ推定部109、低解像度化部110を経由し� ��、LR照明方程式パラメータ推定部103で、再� �、不適合画素の推定を行う。すべてのパラ� �ータと適合性識別画像ASI ^L を高解像パラメータ群HRPとして、HR照明方程� ��パラメータ推定部109へ出力する。

 HR照明方程式パラメータ推定部109で、す� �ての画素が適合画素となった場合は、出力� �解像度パラメータOUTHRPとしてスイッチャ部10 8へ戻し、照明方程式パラメータ合成部111へ� �力する。一方、HR照明方程式パラメータ推定 部109で推定した結果、不適合画素が残ってい る場合は、LR照明方程式パラメータ推定部103� ��戻して、低解像度画像の状態で、再度、パ� ��メータ推定を実行する。そのためには、高� ��像度化されたパラメータを低解像度化する� ��要があるため、HR照明方程式パラメータ推� �部109で推定された高解像度化パラメータを� �知高解像度パラメータNHRPとして低解像度化� ��110に出力して低解像化処理を施し、その後� ��LR照明方程式パラメータ推定部103へ入力す� �。

 低解像度化部110は、未知高解像度パラメ� ��タNHRPに対して低解像度化処理を施して、未 知低解像度パラメータNLRPとして出力する。� �解像度処理の具体的な方法は、実施の形態1� ��述べたとおりである。

 なお、LR照明方程式パラメータ推定部103� �、何度パラメータ推定を繰り返しても、閾� �tが当初の設定値まで下がらず、推定精度が� ��標レベルに達しない場合があり得る。この� ��合は、目標の推定レベルに対してあまりに� ��不適合画素が多すぎることを意味する。こ� ��ような場合は、推定精度を下げて処理を終� ��せざるを得ない。そこで、スイッチャ部108� ��カウンタを設けて、所定の回数以上、パラ� ��ータ推定を繰り返した場合は、LR照明方程� �パラメータ推定部103へのフィードバックを� �りやめ、照明方程式パラメータ合成部111へ� �力して高解像度化処理を終了する。

 図25は、図17に示した画像処理装置100のブロ ック図の動作フローを示す。ステップS100は� �初期設定として、環境光Iaの計測、LR照明方� ��式パラメータ推定部103やHR照明方程式パラ� �ータ推定部109で実行する推定処理の初期値� �閾値、分岐条件等の設定を行う。また、不� �合画素の検出のために、すべてのパラメー� �画像の全画素値を255に初期化する。ステッ� �S101は、光源撮像装置ILSで光源ILを撮影して� �源画像IILを取得し、被写体撮像装置OBJSで被� ��体OBJを撮影して被写体画像IINを取得し、形� ��計測装置NSで被写体OBJの表面法線ベクトルN ^L を計測する。ステップS102は、光源画像IILか� �光源方向算出部101で光源ベクトルL ^L を算出する。

 ステップS103は、被写体画像IINを鏡面反射画 像Is ^L と拡散反射画像Id ^L に分離する。ステップS104は、光源ベクトルL ^L 、鏡面反射画像Is ^L と拡散反射画像Id ^L から、注目点Pの照度Ei ^L 、鏡面反射成分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L 、拡散反射成分の双方向反射率ρd ^L を推定する。ステップS105は、テクスチャ解� �A部104を経て、材質別補間部105で、鏡面反射� ��分比ks ^L 、物体表面の粗さm ^L 、屈折率n ^L を鏡面反射成分比ks ^H 、物体表面の粗さm ^H 、屈折率n ^H に画像拡大する。ステップS106は、テクスチ� �解析B部106を経て、テクスチャ超解像部107で� ��拡散反射成分の双方向反射率ρd ^L と表面法線ベクトルN ^L を拡散反射成分の双方向反射率ρd ^H と表面法線ベクトルN ^H に画像拡大する。

 ステップS107は、不適合画素の有無を確認 し、すべてのパラメータ画像の全画素が適合 画素であった場合は、ステップS108へ進み、� �テップS108でパラメータ合成が行われ、S109で 高解像度画像IOUTが出力される。一方、ステ� �プS107で不適合画素が検出された場合は、ス� ��ップS110へ進み、ステップS110で高解像度化� �れた照明方程式パラメータを用いて、不適� �画素を推定する。ステップS111で再び、不適� ��画素の有無を確認し、すべてのパラメータ� ��像の全画素が適合画素であった場合は、ス� ��ップS108へ進み、ステップS109で高解像度画� �IOUTが出力される。一方、ステップS111で不適 合画素が検出された場合は、ステップS112へ� �み、ステップS112で高解像度パラメータ画像� ��低解像化し、ステップS104へ戻って、再び、 低解像度パラメータ画像で不適合画素の推定 を行う。

 以上により、画像処理装置100は、光源画像I IL、被写体画像IIN、表面法線ベクトルN ^L から被写体撮像センサの解像度よりも高い解 像度の画像を出力でき、エッジの先鋭さやテ クスチャを変質させず、画質劣化なしに画像 を拡大できる。被写体や視環境の幾何光学パ ラメータの計測や、照明方程式パラメータの 推定が不完全なために生じた不適合画素が存 在しても、超解像処理で利用される高解像化 のための付加情報を利用してパラメータを推 定し、照明方程式パラメータを用いた画像拡 大を実行できる。例えば、動きの激しい被写 体を撮影したい場合、被写体撮像装置と形状 計測装置を手に持って移動させる必要があり 、大きさや重量に自ずと制限が発生する。そ こで、機器の性能面で理想的な設計条件が確 保できず、結果的に不適合画素が発生するケ ースが考えられる。また、バッテリー駆動で 被写体撮像装置と形状計測装置を利用する場 合、所定の時間以上可動させるために、機器 の性能面で理想的な設計条件が確保できず、 結果的に不適合画素が発生するケースが考え られる。同様に、価格の設定から生じる制限 も考えられる。このような何らかの制限によ って低解像度画像のパラメータをすべて計測 できない場合でも、本発明では画像拡大が可 能であり、利用環境や装置構成などの観点で 適用範囲を広げる効果を有する。

 (実施の形態3)
 本実施の形態では、光源撮像装置で光源を� ��影し、偏光フィルタを介した照明で完全偏� ��を被写体に照射し、偏光フィルタを介した� ��写体撮像装置で被写体からの反射光を撮影� ��る。そして、画像処理装置は、これらの計� ��情報から被写体撮像センサの解像度よりも� ��い解像度の画像を出力する。

 図26は本発明の実施の形態3に係る画像処� ��装置の構成を示すブロック図である。なお� ��図17に示す画像処理装置と同様の部分につ� �ては同じ符号を付し、詳細な説明を省略す� �。画像処理装置200は、被写体撮像装置OBJSの� ��写体画像IINを拡大するための装置であり、� ��源方向算出部101、鏡面反射拡散反射分離部1 02、LR照明方程式パラメータ推定部203、テク� �チャ解析A部104、材質別補間部105、テクスチ� ��解析B部106、テクスチャ超解像部107、スイッ チャ部108、HR照明方程式パラメータ推定部109� ��低解像度化部110、照明方程式パラメータ合� ��部111、補間部112、形状推定部201、屈折率推� ��部202を備えている。

 形状推定部201は、被写体画像IINと光源画像I ILから、被写体OBJの表面法線ベクトル(正反射 表面法線ベクトルNf ^L )を推定する。図27は、形状推定部201の内部の ブロック図を示す。

 正反射検出部41は、被写体画像IINの中か� �、光源ILの光を正反射している画素を検出す る。正反射部分は、光源からの光を、その強 度と色を保持して反射するため、画像中で最 も明るく、かつ光源の色を持つ画素を検出す れば、正反射をしている画素が特定できる。 そこで、正反射検出部41は、ハイライト検出� ��42において、被写体画像IINのすべての画素� �ハイライト閾値htと比較して、ハイライト閾 値htを超えるものを被写体ハイライト画像IINH として出力する。次に、光源色検出部43は、� ��写体ハイライト画像IINHの中で、光源色と同 じ色を持つものを検出し、被写体正反射画像 IINSとして出力する。光源色は、光源色算出� �44で光源画像IILから算出するが、この方法は 任意であり、例えば、光源画像IIL内の明るい 画素のみからRGB値の平均値を算出する方法が ある。

 拡散反射追跡部45は、被写体正反射画像II NSで正反射している画素と特定された画素に� ��いて、引き続き撮影される被写体画像IINの� ��でどの画素に移動したかを追跡する。その� ��的は、図41に示した三角測量の原理で、正� �射している画素の3次元位置を推定して表面� ��線ベクトルを算出するところにある。つま� ��、2次元で考えた場合、点Aから撮影した注� �点Pの画像PAと、点Bから撮影した注目点Pの画 像PBの2枚が取得できれば、注目点Pの位置(x,y) が算出できるが、このとき、画像PAで捉えた� ��目点Pを画像PB上でも検出する必要がある。� ��れは一般に動き追跡と呼ばれる問題である� ��、画像処理で行う場合は、画像PAにおける� �目点Pと同じ色を持つ画素を画像PBで検出す� �ばいい。色は、(式1)に示した照明方程式で� �、拡散反射成分によって決まるため、被写� �正反射画像IINSで正反射している画素の拡散� ��射成分の色をもとに、注目点Pを追跡する。 拡散反射成分で追跡した結果は、拡散反射追 跡画像IINSDとして出力する。

 ところで、注目点Pが画像上で動きを持つ ためには、被写体OBJと被写体撮像装置OBJSと� �相対的位置関係が変化する必要がある。そ� �で、被写体OBJが静止している場合は、被写� �撮像装置OBJSを移動する必要がある。仮に、� ��影者が被写体撮像装置OBJSを移動させず、拡 散反射追跡部45が動きを検出できない場合は� ��撮影者に被写体撮像装置OBJSの移動の必要性 を知らせるのが好ましい。例えば図28に示す� ��うに、被写体撮像装置OBJSのファインダOBJSF� ��に報知用のアイコンICNを表示したり、スピ� ��カーSPKで報知音を発生させたりする。この� ��知のために、拡散反射追跡部45は、動き情� �を動き情報信号MISとして被写体撮像装置OBJS� ��出力する。なお、静物撮影のように、被写� ��に動きがないと保証されている場合は、被� ��体撮像装置OBJSの動きのみを算出すればいい 。そこで、図20で説明したように、姿勢セン� ��406を被写体撮像装置OBJSに内蔵し、カメラの 動きを姿勢センサ406から検出して、画像PB上� ��注目点Pを追跡することも可能である。

 表面法線ベクトル算出部46は、上述したよ� �に、拡散反射追跡画像IINSDから図41の三角測� ��の原理を用いて、正反射している画素の表� ��法線ベクトルを算出し、正反射表面法線ベ� ��トルNf ^L として出力する。図41における点Aと注目点P� �位置関係と点Bと注目点Pの位置関係は、2回� �撮影に分けて確保されるが、これは2次元で� ��説明のためであり、従って、3次元情報が必 要な画像処理装置200では、3回の撮影で表面� �線ベクトルが算出される。

 屈折率推定部202は、鏡面反射画像Is ^L と正反射表面法線ベクトルNf ^L から屈折率nf ^L を推定する。図24に示したように、撮影側偏� ��フィルタPFOSを回転すると、偏光面の向きに 応じて、透過光の輝度値が正弦波状に変化す る。従って、完全偏光である鏡面反射成分と 非偏光である拡散反射成分の比率は、偏光の 度合いを表わすことになる。そこで、以下の 式で、偏光の度合いを表わす偏光度γを定義� ��る。

 偏光度γが0のときは非偏光であり、偏光度� �が1のときは完全偏光を表わす。偏光度γが0� ��るいは1以外である場合は、部分偏光である 。ところで、完全偏光である鏡面反射成分は 入射面に対して垂直に振動するS波と入射面� �沿って振動するP波に分解される。P波は、ブ リュースター角という特定の入射角において 反射成分がなくなり、S波のみとなる。この� �態が正弦波のIminにあたり、P波とS波のフレ� �ル反射係数をFpとFsとすると、Iminは以下で与 えられる。
一方、完全偏光の光の最大強度Imaxと最小強� �Iminの和が、鏡面反射の強度と一致すること� ��ら、Imaxは以下で与えられる。
また、フレネル反射係数は、フレネル反射の 法則から、図29に示す入射角θ1と透過角θ2で� ��下のように定義できる。
(式18)~(式21)を(式17)に代入して、(式22)で与え� ��れるスネル則を考慮すると、偏光度γは(式2 3)で与えられる。

 したがって、鏡面反射画像Is ^L からImaxとIminを取得して、(式17)により偏光度 γを算出し、正反射表面法線ベクトルNf ^L から算出した入射角θiと前記偏光度γから(式 23)により屈折率nが算出できる。この屈折率n� ��、正反射を有する画素に対するものであり� ��屈折率推定部202は、正反射屈折率nf ^L として出力する。

 LR照明方程式パラメータ推定部203は、光源� �クトルL ^L 、拡散反射画像Id ^L 、鏡面反射画像Is ^L 、正反射表面法線ベクトルNf ^L 、正反射屈折率nf ^L から、未知の照明方程式パラメータを推定す る。

 正反射屈折率nf ^L は、正反射を有する画素のみで算出されてい るため、例えば、図30に示すように、鏡面反� ��画像Is ^L の一部である画素PS1~PS10が有する。屈折率nは 材質に依存する光学特性であり、同じような 屈折率nを有する画素は、同一材質に属する� �能性が高い。そこで、図30(a)の場合は、画素 PS1~PS3を材質MS1、画素PS4~PS6を材質MS2、画素PS8~ PS10を材質MS3と判定できる。

 次に、各材質の境界を鏡面反射画像の輝度� ��の違いから検出する。例えば、図30(b)のよ� �に、鏡面反射画像の輝度値が、概ね3つの値( (Is ^L )1≒226、(Is ^L )2≒238、(Is ^L )3≒252)にまとめられ、鏡面反射画像Is ^L 上で境界線BL1、BL2、BL3が引かれたとする。た だし、エリアNOSは、鏡面反射成分が存在しな かった画素の集まりである。材質MS1に属する 画素の屈折率nは、画素PS1~画素PS3と同じ屈折� ��nを有するはずであり、材質MS1における屈折 率nが未知である画素は、すべて既知とでき� �。具体的には、画素PS1~PS3の屈折率nの平均(� �30では1.42)を求め、これを材質MS1の屈折率nMS1 とし、材質MS1に属するすべての画素に展開す る。材質MS2と材質MS3も同様であり、これによ り、鏡面反射成分を持つ画素の屈折率nとな� �。例えば図30(b)では、材質MS2の屈折率nMS2が1. 77、材質MS3の屈折率nMS3が2.04となった。

 以上により、正反射以外の画素の屈折率nが 既知となり、さらには、(式17)と(式23)の偏光� ��γの関係式を用いれば、入射角θiが既知と� �り、表面法線ベクトルを算出できる。拡散� �射は、一般に(式24)に示すランバート則に従� ��、表面法線ベクトルと視点ベクトルの内積� ��応じて、拡散反射成分の輝度が変化する。� ��点ベクトルは、被写体撮像装置OBJSの光軸に 一致し、既知であるため、表面法線ベクトル が既知であると、拡散反射成分の双方向反射 率ρdを算出できる。

 以上のように、形状推定部201で正反射を� ��する画素の表面法線ベクトルが既知になる� ��、その後、様々なパラメータが推定可能に� ��り、低解像度画像の照明方程式パラメータ� ��求めることができる。

 ところが、図30に示した鏡面反射成分の� �在しないエリアNOSには、未知パラメータが� �存する。また、図30(a)で説明したように、鏡 面反射成分の輝度値でまとめたエリア内に正 反射の画素がない場合も考えられる。このよ うな理由から、LR照明方程式パラメータ推定� ��203で不適合画素が発生する可能性があり、H R照明方程式パラメータ推定部109で再度、パ� �メータ推定を行う必要性がある。さらに、� �解像度化部110を介して低解像度化した照明� �程式パラメータをLR照明方程式パラメータ推 定部203へフィードバックして、パラメータ推 定を行う。しかし、上述したように、本発明 は、テクスチャ超解像部107で超解像処理され たパラメータを適合画素に加えることで、不 適合画素を推定できる可能性が高まり、これ らの処理を繰り返すことによって、高解像度 画像を算出できる。また、材質別補間部105は 、例えば屈折率など、材質に依存する照明方 程式パラメータが同一材質内では同じ値を有 する物理的裏付けから、低解像度の照明方程 式パラメータ画像の画素を空間的にコピーし て、超解像処理を行う。その結果、低解像度 画像では推定精度が所定の基準に満たなかっ た不適合画素であっても、高解像度化によっ て、一部パラメータの推定精度が基準を満た す場合がある。すなわち、材質別補間部105、 あるいは補間部112が、補間や空間的に同一画 素値をコピーすることで、適合画素の数を増 やす効果を有し、高解像度化されたパラメー タで再度、照明方程式のパラメータ推定を行 えば、不適合画素の推定精度が向上する可能 がある。

 以上の観点から、HR照明方程式パラメータ� �定部109は、高解像パラメータ群HRPの中の不� �合画素の推定を行う。高解像パラメータ群HR Pの内訳は、
(a) 補間部112の出力である光源ベクトルL ^H
(b) 補間部112の出力である環境光の輝度Ia ^H
(c) 補間部112の出力である照度Ei ^H
(d) 材質別補間部105の出力である鏡面反射成� ��比ks ^H
(e) 材質別補間部105の出力である物体表面の� ��さm ^H
(f) 材質別補間部105の出力である屈折率n ^H
(g) テクスチャ超解像部107の出力である拡散� ��射成分の双方向反射率ρd ^H
(h) テクスチャ超解像部107の出力である表面� ��線ベクトルN ^H
である。このうち、拡散反射成分の双方向反 射率ρd ^H と表面法線ベクトルN ^H は、出力画像特徴ベクトルデータベース部35� ��参照してパラメータ出力画像特徴ベクトルP IOUTFVとして取得されたものを含む。パラメー タ出力画像特徴ベクトルPIOUTFVは、被写体撮� �装置OBJSと形状計測装置NSでは取得できない� �たな付加情報である。このため、LR照明方程 式パラメータ推定部103で推定できなかったパ ラメータが推定できる可能性がある。そこで 、HR照明方程式パラメータ推定部109で高解像� ��ラメータ群HRPの中の不適合画素の推定を行� ��。推定方法は任意であるが、シンプレック� ��法を使った例を図31で説明する。

 図31は、材質別補間部105または補間部112か� �得た適合画素の情報をもとに、不適合画素� �照明方程式パラメータを推定するシンプレ� �クス法のワークフローである。照明方程式� �m個のパラメータを有し、このうち(m-k)個が� �質別補間部105または補間部112から得た適合� �素の情報である。図40で説明したように、照 明方程式の中には解像度独立性が高いパラメ ータがあり、これらは、材質別補間部105また は補間部112で高解像度化が実行される。そこ で、LR照明方程式パラメータ推定部203で不適� ��となった画素でも、材質別補間部105または� ��間部112における適合画素の補間によって、� ��部の照明方程式パラメータの推定精度が所� ��の基準を満たす場合がある。そこで、図31� �、不適合画素について推定を行うが、(m-k)個 のパラメータ群(q1 ^H  q2 ^H  … qm-k ^H ) ^known は推定対象から除外し、既知パラメータとし て取り扱う。一方、k個のパラメータ群(p1 ^H  p2 ^H  … pk ^H )が推定対象となる。

 ステップS10は、閾値処理、分岐処理、繰り� ��し処理回数のチェックのために、閾値t、分 岐条件C、繰り返し上限回数rを設定する。ス� ��ップS11は、不適合画素の推定値の候補(p1 ^H  p2 ^H  … pk ^H ) ^candidate の初期値を設定する。具体的には、乱数発生 などを用いる。ステップS12は、推定値の候補 (p1 ^H  p2 ^H  … pk ^H ) ^candidate と、既知パラメータ群(q1 ^H  q2 ^H  … qm-k ^H ) ^known を照明方程式である(式1)に入力し、注目点P� �輝度Ivの候補(Iv ^H ) ^candidate を算出する。

 ステップS13は、高解像度画像の輝度値であ� ��注目点Pの輝度Ivの候補(Iv ^H ) ^candidate を低解像度化して、注目点Pの輝度Ivの候補(Iv ^L ) ^candidate に変換する。この目的は、引き続く輝度差判 定に必要な真値が低解像度画像でしか取得で きないところにある。低解像度化の具体的な 方法は、被写体撮像装置OBJSの撮像特性に依� �する。つまり、被写体撮像装置OBJSが被写体O BJを近距離で撮影した高解像度画像と、遠距� ��で撮影した低解像度画像を取得し、2つの輝 度値の変化をステップS13に反映する。具体的 には、図13のように、パラメータ画像特徴ベ� ��トルの対応関係を画素単位で構築し、図10� �流れの逆方向をたどって、低解像度画像を� �ればいい。また、近似的には2次元のガウス� ��数を畳み込んで低解像度画像を算出したり� ��近隣画素の平均値で低解像度画像とする方� ��などがある。なお、低解像度化は、何れの� ��法を用いても、高解像度画像の複数画素を1 画素にダウンサンプリングする処理であるた め、ステップS13では高解像度画像の複数画素 が必要になる。より具体的には、図31のシン� ��レックス法でパラメータ推定を行う対象画� ��と、その周辺の複数画素になる。ところが� ��周辺画素の中には不適合画素も存在し、こ� ��らには低解像度化処理を施せない。そこで� ��ステップS13の低解像度化は、周辺画素のう� ��、適合画素のみを用いることになる。

 ステップS14では、注目点Pの輝度の候補(Iv ^L ) ^candidate とターゲットである真値(Iv ^L ) ^target との輝度差△Iv ^L を算出し、ステップS15で閾値t(輝度値を8ビッ トの0から255の256階調で表現した場合、例え� �t=0.01とする)と比較する。輝度差△Iv ^L が閾値tより小さい場合は、推定値の候補(p1 ^H  p2 ^H  … pk ^H ) ^candidate を推定結果として出力し、図31の処理を終了� ��る。

 一方、輝度差△Iv ^L が閾値tより大きい、あるいは等しい場合は� �ステップS16において、シンプレックスの更� �回数rsと繰り返し上限回数rを比較し、シン� �レックスの更新回数rsが繰り返し上限回数r� �超えている場合は、パラメータ推定を中断� �、推定処理未達のまま、シンプレックス法� �処理を終了する。一方、シンプレックスの� �新回数rsが繰り返し上限回数rを超えていな� �場合は、ステップS17において(式15)によって� ��ンプレックスを変形して、推定値の候補(p1 ^H  p2 ^H  … pk ^H ) ^candidate を更新し、推定値の次の候補(p1 ^H  p2 ^H  … pk ^H ) ^{new_candidate} を算出する。

 ステップS18では、推定値の次の候補(p1 ^H  p2 ^H  … pk ^H ) ^{new_candidate} と既存パラメータが分岐条件Cをすべて満た� �ているかを確認し、すべてを満たしている� �合は、ステップS12へ戻り、再度、閾値tとの� ��較を行う。一方、推定値の次の候補(p1 ^H  p2 ^H  … pk ^H ) ^{new_candidate} と既存パラメータが分岐条件Cのすべてを満� �していない場合は、ステップS11へ戻り、初� �値を再設定する。分岐条件Cは、例えば、(式 2)の屈折率nが1以上、フレネル係数Fλが0以上1 以下、物体表面の粗さmが0以上、マイクロフ� ��セット分布関数Dが0以上とする。これらの� �件は、物理的な裏付けで各パラメータ値の� �理性を確認するものであり、これらの1つで� ��満たさないものが発生した場合は、照明方� ��式パラメータが物理的な矛盾を含んでいる� ��判断し、これらを破棄する。推定方法の観� ��から見ると、関数最適化は進捗しているが� ��物理的な視点から見ると矛盾する解空間へ� ��んでいる、と解釈できる。そこで、このま� ��シンプレックスの更新を進めても、物理的� ��盾を含んだ解空間から抜け出せないため、� ��テップS11へ戻って、初期値を再設定して物� ��的矛盾を含んだ解空間から抜け出す。

 以上、図31によって、(p1 ^H  p2 ^H  … pk ^H )が決定され、HR照明方程式パラメータ推定部 109から出力される。

 HR照明方程式パラメータ推定部109で、す� �ての画素が適合画素となった場合は、出力� �解像度パラメータOUTHRPとしてスイッチャ部10 8へ戻し、照明方程式パラメータ合成部111へ� �力する。一方、HR照明方程式パラメータ推定 部109で推定した結果、不適合画素が残ってい る場合は、LR照明方程式パラメータ推定部103� ��戻して、低解像度画像の状態で、再度、パ� ��メータ推定を実行する。そのためには、高� ��像度化されたパラメータを低解像度化する� ��要があるため、HR照明方程式パラメータ推� �部109で推定された高解像度化パラメータを� �知高解像度パラメータNHRPとして低解像度化� ��110に出力して低解像化処理を施し、その後� ��未知低解像度パラメータNLRPとしてLR照明方� ��式パラメータ推定部203へ入力する。

 以上により、画像処理装置200は、光源画� ��IILと被写体画像IINから、被写体撮像センサ� ��解像度よりも高い解像度の画像を出力でき� ��エッジの先鋭さやテクスチャを変質させず� ��画質劣化なしに画像を拡大できる。被写体� ��視環境の幾何光学パラメータの計測や、照� ��方程式パラメータの推定が不完全なために� ��じた不適合画素が存在しても、超解像処理� ��利用される高解像化のための付加情報を利� ��してパラメータを推定し、照明方程式パラ� ��ータを用いた画像拡大を実行できる。特に� ��鏡面反射成分の存在しない画素が原因で発� ��する不適合画素や、正反射の画素を利用で� ��ないために発生する不適合画素を、超解像� ��理のために付加される新しい情報を利用し� ��推定できる。例えば、動きの激しい被写体� ��撮影したい場合、被写体撮像装置と形状計� ��装置を手に持って移動させる必要があり、� ��きさや重量に自ずと制限が発生する。そこ� ��、機器の性能面で理想的な設計条件が確保� ��きず、結果的に不適合画素が発生するケー� ��が考えられる。また、バッテリー駆動で被� ��体撮像装置と形状計測装置を利用する場合� ��所定の時間以上可動させるために、機器の� ��能面で理想的な設計条件が確保できず、結� ��的に不適合画素が発生するケースが考えら� ��る。同様に、価格の設定から生じる制限も� ��えられる。このような何らかの制限によっ� ��低解像度画像のパラメータをすべて計測で� ��ない場合でも、本発明では画像拡大が可能� ��あり、利用環境や装置構成などの観点で適� ��範囲を広げる効果を有する。特に、形状計� ��装置が不要となり、機器の小型化、軽量化� ��効果を発揮する。

 (実施の形態4)
 本実施の形態では、光源撮像装置で光源を� ��影し、偏光フィルタを介した照明で完全偏� ��を被写体に照射し、偏光フィルタを介した� ��写体撮像装置で被写体からの反射光を撮影� ��る。そして、画像処理装置は、これらの計� ��情報から被写体撮像センサの解像度よりも� ��い解像度の画像を出力する。

 図32は本発明の実施の形態4に係る画像処理� ��置の構成を示すブロック図である。なお、� ��16と図26に示す画像処理装置と同様の部分に ついては同じ符号を付し、詳細な説明を省略 する。画像処理装置300は、光源被写体撮像装 置ILOBJSの被写体画像IINを拡大するための装置 であり、光源位置推定部301、鏡面反射拡散反 射分離部102、LR照明方程式パラメータ推定部3 02、テクスチャ解析A部104、材質別補間部105、 テクスチャ解析B部106、テクスチャ超解像部10 7、スイッチャ部108、HR照明方程式パラメータ 推定部109、低解像度化部110、照明方程式パラ メータ合成部111、補間部112、形状推定部201、 屈折率推定部202を備えている。光源被写体撮 像装置ILOBJSは、広角レンズを用いて光源ILと� ��写体OBJを同時に画角に捉える。光源位置推� ��部301は、光源画像IILと正反射表面法線ベク� ��ルNf ^L から、光源ILの位置を推定する。

 図33(a)は、光源ILと注目点P、および光源被� �体撮像装置ILOBJSの撮像素子IMSRの位置関係を� ��す。形状推定部201は、拡散反射追跡部45に� �って、撮像素子IMSRと注目点Pの距離dPを算出� ��きる。注目点Pから光源ILへ引いた直線の向� ��が光源ベクトルL ^L であり、注目点Pと光源ILの距離dILPが取得で� �れば、光源ILの位置が決まる。形状推定部201 の処理対象は正反射を有する画素であり、光 源ILからの光は、注目点Pで正反射され、撮像 素子IMSRに入射する。そこで、正反射表面法� �ベクトルNf ^L は、光源ベクトルL ^L と撮像素子IMSRの光軸IMSROAが成す角を2等分す� ��。従って、光源ベクトルL ^L と軸IMSROAが成す角の大きさは、入射角θiの2� �である。一方、撮像素子IMSRから光源ILへの� �クトルL2は、図19で説明した方法で算出でき� ��(式8)で与えられる。従って、光軸IMSROAとベ� ��トルL2が成す角の大きさφは既知である。光 源ベクトルL ^L と軸IMSROAが成す角が2θi、光軸IMSROAとベクト� �L2が成す角がφと既知であり、かつ、注目点P と撮像素子IMSRの距離dPも既知であり、この幾 何条件は、図41に示した三角測量の幾何条件� ��同一である。図41における注目点Pは、図33(a )においては光源ILに相当し、従って、光源IL� ��位置(x,y)は、(式3)で算出できる。図41は2次� �で図示したが、前述したように、3次元へ拡� ��可能であり、図33(a)におけるベクトルを3次� ��ベクトルで表現すれば、光源ILの3次元位置� ��算出できる。

 図33(b)は、注目点Pとは別の位置にある注目� ��P’での正反射表面法線ベクトルNf ^L ’と光源ベクトルL ^L ’との関係を示す。入射角はθi’であり、注 目点Pの入射角θiより小さい。この理由は、� �源ILからの光を正反射して撮像素子IMSRに入� �するような表面法線ベクトルの向きが点Pと� ��P’で異なるためである。従って、光源ベク トルL ^L ’も光源ベクトルL ^L と異なり、注目点P’と光源ILの距離も距離dIL Pと異なる。これは、光源ILから様々な角度を 持って広がる光を個別に記述できることを意 味し、画像処理装置100,200が前提とする平行� �仮定を適用する必要はない。従って、より� �般的な視環境VEで照明方程式のパラメータを 推定でき、LR照明方程式パラメータ推定部302� ��HR照明方程式パラメータ推定部109での不適� �画素の推定能力が高まる、と言える。

 なお、光源被写体撮影装置ILOBJSは、図17� �図26と同様に、光源撮像装置ILSと被写体撮像 装置OBJSとに分離しても構わない。なぜなら� �、(式10)に示した行列Mによって、光源撮像装 置ILSの座標系は被写体撮像装置OBJSの座標系� �変換できるためである。

 以上により、画像処理装置300は、光源画� ��IILと被写体画像IINから、被写体撮像センサ� ��解像度よりも高い解像度の画像を出力でき� ��エッジの先鋭さやテクスチャを変質させず� ��画質劣化なしに画像を拡大できる。被写体� ��視環境の幾何光学パラメータの計測や、照� ��方程式パラメータの推定が不完全なために� ��じた不適合画素が存在しても、超解像処理� ��利用される高解像化のための付加情報を利� ��してパラメータを推定し、照明方程式パラ� ��ータを用いた画像拡大を実行できる。特に� ��鏡面反射成分の存在しない画素が原因で発� ��する不適合画素や、正反射の画素を利用で� ��ないために発生する不適合画素を、超解像� ��理のために付加される新しい情報を利用し� ��推定できる。また、光源の位置が推定でき� ��ため、光源からの光を平行光と仮定する処� ��よりも不適合画素の推定能力が高いと言え� ��。例えば、動きの激しい被写体を撮影した� ��場合、被写体撮像装置と形状計測装置を手� ��持って移動させる必要があり、大きさや重� ��に自ずと制限が発生する。そこで、機器の� ��能面で理想的な設計条件が確保できず、結� ��的に不適合画素が発生するケースが考えら� ��る。また、バッテリー駆動で被写体撮像装� ��と形状計測装置を利用する場合、所定の時� ��以上可動させるために、機器の性能面で理� ��的な設計条件が確保できず、結果的に不適� ��画素が発生するケースが考えられる。同様� ��、価格の設定から生じる制限も考えられる� ��このような何らかの制限によって低解像度� ��像のパラメータをすべて計測できない場合� ��も、本発明では画像拡大が可能であり、利� ��環境や装置構成などの観点で適用範囲を広� ��る効果を有する。特に、形状計測装置が不� ��となり、機器の小型化、軽量化に効果を発� ��する。また、光源と被写体が近距離にあり� ��被写体上の位置によって光源からの入射光� ��向きが異なる視環境でも利用できる。

 なお、上述の各実施形態に係る画像処理� ��法は、コンピュータに、例えばコンピュー� ��読み取り可能な記録媒体に記録されたプロ� ��ラムを実行させることによって、実現する� ��とが可能である。

 以下、本発明を実現する構成例を例示す� ��。

 (第1の構成例)
 図34は第1の構成例を示す図であり、パーソ� ��ルコンピュータを用いて本発明に係る画像� ��大を行う構成の一例である。カメラ1101の解 像度はディスプレイ1102の解像度よりも低く� �ディスプレイ1102の表示能力を最大限に生か� ��ために、メインメモリ1103にロードされた画 像変換プログラムによって拡大画像を作成す る。カメラ1101で取り込まれた光源と被写体� �低解像度画像は画像メモリ1104に記録される� ��外部記録装置1105には予め画像特徴ベクトル データベース1106と画像特徴ベクトル番号置� �テーブル1107とが準備されており、メインメ� ��リ1103の画像変換プログラムから参照可能に なっている。画像特徴ベクトルデータベース 1106と画像特徴ベクトル番号置換テーブル1107� ��内容や作成方法は図13に従う。

 計測装置1108は、実施の形態2に従う場合、� �17の形状計測装置NSに相当し、画像メモリ1104 に表面法線ベクトルN ^L が記録される。実施の形態3と実施形態4に従� ��場合は、計測装置1108は不要である。

 画像変換プログラムの動作は実施の形態1 から実施の形態4に従い、低解像度画像の照� �方程式パラメータを推定し、テクスチャ解� �によって材質ごとに超解像処理を行い、不� �合画素が残存する場合は、高解像度のため� �付加された情報で再度パラメータ推定を繰� �返し、高解像画像を算出する。メインメモ� �1103の画像変換プログラムは、メモリバス1109 を介して画像メモリ1104の低解像度画像を読� �込み、これをディスプレイ1102の解像度に合� ��せて高解像度画像に変換し、再びメモリバ� ��1109経由でビデオメモリ1110に転送する。ビ� �オメモリ1110に転送された高解像度画像はデ� ��スプレイ1102において観察できる。

 なお、本発明は図34の構成に拘束される� �のではなく、様々な構成をとることができ� �。例えば、低解像度画像と表面法線ベクト� �をネットワーク1111から取得しても構わない� ��カメラ1101には、カメラ付携帯電話やデジタ ルスチルカメラ、ビデオムービーカメラなど 任意のタイプの撮像装置が適用でき、また予 め録画した映像を再生する再生装置でも構わ ない。

 (第2の構成例)
 図35は第2の構成例を示す図であり、サーバ� ��クライアントシステムを用いて本発明に係� ��画像変換を行う構成の一例である。カメラ1 201の解像度はディスプレイ1202の解像度より� �低く、ディスプレイ1202の表示能力を最大限� ��生かすために、サーバークライアントシス� ��ムにおいて画像拡大を実行する。サーバー1 203では、照明方程式パラメータ推定1204、画� �特徴解析1205、入力画像特徴ベクトルデータ� ��ース1206および画像特徴ベクトル番号置換テ ーブル1207によって、高解像度化された画像� �徴ベクトル番号を出力する。照明方程式パ� �メータ推定1204が、実施の形態2に従って動作 する場合は、計測装置1208が必要となり、具� �的には、形状計測装置NSから表面法線ベクト ルを取得する。照明方程式パラメータ推定120 4が、実施の形態3と実施の形態4で動作する場 合には、計測装置1208は不要である。入力画� �特徴ベクトルデータベース1206と画像特徴ベ� ��トル番号置換テーブル1207の内容や作成方法 は図13に従い、複数の解像度のペアでこれら� ��作成することで、複数の画像拡大率に対応� ��る。

 画像特徴ベクトル番号置換テーブル1207ま で処理が進んだ段階で不適合画素が残存して いる場合は、実施の形態1から実施の形態4と� ��様に、パラメータ推定を再度やり直す。そ� ��で、画像特徴ベクトル番号置換テーブル1207 の出力である画像特徴ベクトル番号は、サー バー内の出力画像特徴ベクトルデータベース 1216へ与えられ、出力画像特徴ベクトルデー� �ベース1216でパラメータの高解像度化が行わ� ��る。これが新たな付加情報となり、照明方� ��式パラメータ推定1204で再度、パラメータ推 定が行われる。実施の形態2で説明した推定� �度に応じたパラメータ推定のやり直し方法� �出力画像特徴ベクトルデータベース1216を介� ��たフィードバックで実行できる。

 一方、クライアント1209は、画像拡大率の 設定を画像拡大指示1210で行い、拡大倍率設� �部1211で拡大率としてサーバー1203の画像特徴 ベクトル番号置換テーブルに渡される。画像 特徴ベクトル番号置換テーブル1207では、拡� �倍率に応じて、画像特徴ベクトル番号置換� �ーブルを選択する。例えば、拡大率を2倍、4 倍、8倍と3段階設定した場合、これら3種類の 画像特徴ベクトル番号置換テーブルを画像特 徴ベクトル番号置換テーブル1207内に保持し� �拡大率に応じて適切なテーブルを選択する� �選択された画像特徴ベクトル番号はネット� �ーク1212を介してクライアント1209に与えられ る。画像特徴ベクトル番号を受け取ったクラ イアント1209では、出力画像特徴ベクトルデ� �タベース1213で画像特徴ベクトル番号が画像� ��徴ベクトルに変換され、高解像度化された� ��明方程式パラメータが得られる。これらは� ��ラメータ合成1214で輝度画像に変換され、デ ィスプレイ1202に表示される。

 拡大倍率設定1211において、例えば2倍から4� ��の間を0.2倍刻みに、2.2倍、2.4倍、2.6倍・・� ��と連続的に変える場合は、図36に示すよう� �、拡大率2倍の画像特徴ベクトル番号置換テ� ��ブルから画像特徴ベクトル番号1を、拡大率 4倍の画像特徴ベクトル番号置換テーブルか� �画像特徴ベクトル番号2をクライアント1209に 出力し、拡大率2倍の出力画像特徴ベクトル� �拡大率4倍の出力画像特徴ベクトルを出力画� ��特徴ベクトルデータベース1213から取得する 。2つの出力画像特徴ベクトルは照明方程式� �ラメータ合成部1215に入力され、拡大倍率に� ��じて重み付け加算される。重み付け加算は� ��例えば、
のように行う。ここで、m1は小さい方の拡大� ��、m2は大きい方の拡大率で、上記の例では� �れぞれ、2倍と4倍に相当する。また、FV1は拡 大率が小さい方の出力画像特徴ベクトル、FV2 は拡大率が大きい方の出力画像特徴ベクトル である。

 なお、本発明は図35と図36の構成に拘束さ れるものではなく、各手段のシステム上の位 置(サーバー1203に属するかクライアント1209に 属するか、またはそれ以外に属するかなど)� �、任意である。カメラ1201には、カメラ付携� ��電話やデジタルスチルカメラ、ビデオムー� ��ーカメラなど任意のタイプの撮像装置が適� ��でき、また予め録画した映像を再生する再� ��装置でも構わない。

 (第3の構成例)
 図37は第3の構成例を示す図であり、カメラ� ��き携帯電話を用いて本発明に係る画像変換� ��行う構成の一例である。図37(a)のカメラ付� �携帯電話1300は、光源ILとして照明装置1301を� ��ち、光源側偏光フィルタPFILを通して注目点 Pを照らす。照明装置1301と被写体撮像装置OBJS の位置関係は固定であるため、光源ILの位置� ��既知である。そこで注目点Pまでの距離を計 測することで光源ベクトルLを算出できる。� �写体撮像装置OBJSは撮影側偏光フィルタPFOSを 通して注目点Pを撮影する。撮影側偏光フィ� �タPFOSは回転機構を備え、被写体画像IINは図2 4のような正弦波状の輝度変化を生じる。被� �体撮像装置OBJSは、撮影開始前に照明装置1301 を点灯せずに被写体を撮影して環境光の輝度 Iaを計測する。距離計測装置1302は、例えば赤 外光や超音波を発射し、被写体上で反射され て再び距離計測装置1302に戻ってくる時間を� �測して、距離計測装置1302から被写体までの� ��離を計測する。注目点Pの表面法線ベクトル Nを求めるには、図18で説明したように、注目 点Pを囲む3点の距離が計測できればいい。

 以上の構成により、カメラ付き携帯電話1 300は、光源ベクトルL、被写体画像IIN、表面� �線ベクトルNを得ることができ、内蔵する画� ��処理装置100で高解像度画像IOUTを算出して外 部出力1303より出力できる。例えば、被写体� �像装置OBJSの撮像素子が320×240画素で、画像� �理装置100が縦横4倍の拡大処理を行った場合� ��高解像度画像IOUTの画素数は、1280×960となる 。そこで、外部出力1303をハイビジョンテレ� �に接続すれば、画素数の少ない携帯電話の� �メラで撮影した映像を家庭の高精細なハイ� �ジョンテレビで視聴できる。

 また、図37(b)のカメラ付き携帯電話1400は� ��図37(a)のカメラ付き携帯電話1300と同じ構成� ��持ち、ただし、画像処理装置100を有さない� ��外部出力1401は光源ベクトルL、被写体画像II N、表面法線ベクトルNを出力し、例えばハイ� ��ジョンテレビに内蔵する画像処理装置100や� ��34の構成を持つパーソナルコンピュータ、� �るいは図35の構成を持つサーバークライアン トシステムで画像拡大を行う。

 なお、本発明は図37の構成に拘束される� �のではなく、様々な構成をとることができ� �。例えば、カメラ付き携帯電話が距離計測� �置1302を有しない場合、図26の画像処理装置20 0または図32の画像処理装置300を用いればよい 。

 (第4の構成例)
 図38は第4の構成例を示す図であり、ビデオ� ��メラを用いて本発明に係る画像変換を行う� ��成の一例である。図38(a)のビデオカメラ1500� ��、光源ILとして照明装置1501を持ち、光源側� ��光フィルタPFILを通して注目点Pを照らす。� �明装置1501と被写体撮像装置OBJSの位置関係は 固定であるため、光源ILの位置は既知である� ��そこで注目点Pまでの距離を計測することで 光源ベクトルLを算出できる。被写体撮像装� �OBJSは撮影側偏光フィルタPFOSを通して注目点 Pを撮影する。撮影側偏光フィルタPFOSは回転� ��構を備え、被写体画像IINは図24のような正� �波状の輝度変化を生じる。距離計測装置1502� ��、例えば赤外光や超音波を発射し、被写体� ��で反射されて再び距離計測装置1502に戻って くる時間を計測して、距離計測装置1502から� �写体までの距離を計測する。注目点Pの表面� ��線ベクトルNを求めるには、図18で説明した� ��うに、注目点Pを囲む3点の距離が計測でき� �ばいい。

 以上の構成により、ビデオカメラ1500は、 光源ベクトルL、被写体画像IIN、表面法線ベ� �トルNを得ることができ、内蔵する画像処理� ��置100で高解像度画像IOUTを算出して外部出力 1503より出力できる。例えば、被写体撮像装� �OBJSの撮像素子が320×240画素で、画像処理装� �100が縦横4倍の拡大処理を行った場合、高解� ��度画像IOUTの画素数は、1280×960となる。そこ で、外部出力1503をハイビジョンテレビに接� �すれば、画素数の少ないビデオカメラで撮� �した映像を家庭の高精細なハイビジョンテ� �ビで視聴できる。撮像素子の大きさを固定� �た場合、画素数が少ないほど1画素が受ける� ��量が大きくなり、ノイズの影響が少なくな� ��メリットがある。また、シャッタースピー� ��を早くすることができるため、動きの激し� ��被写体を捉えたり、手ぶれによる画質劣化� ��抑制できる。

 また、図38(b)のビデオカメラ1600は、図38(a )のビデオカメラ1500と同じ構成を持ち、ただ� ��、画像処理装置100を有さない。外部出力1601 は光源ベクトルL、被写体画像IIN、表面法線� �クトルNを出力し、例えばハイビジョンテレ� ��に内蔵する画像処理装置100や図34の構成を� �つパーソナルコンピュータ、あるいは図35の 構成を持つサーバークライアントシステムで 画像拡大を行う。

 なお、本発明は図38の構成に拘束される� �のではなく、様々な構成をとることができ� �。例えば、ビデオカメラが距離計測装置1502� ��有しない場合、図26の画像処理装置200また� �図32の画像処理装置300を用いればよい。

 以上のように本発明は、広く普及してい� ��パーソナルコンピュータや、サーバークラ� ��アントシステム、または、カメラ付携帯電� ��やデジタルスチルカメラ、ビデオムービー� ��メラ、テレビなどビデオ機器全般で実行可� ��である。