以下、本発明の実施の形態について、図� ��を参照しながら説明する。

 (第1の実施の形態)
 まず、本発明の第1の実施の形態における法 線情報生成装置の概要について説明する。

 図1は、本実施の形態における法線情報生 成装置100の構成を示す機能ブロック図である 。この法線情報生成装置100は、被写体の表面 における法線情報を生成する装置であり、画 像情報取得部110、陰影領域抽出部120および法 線情報生成部104を備える。

 画像情報取得部110は、被写体からの光の� ��度に関する情報である輝度情報及び被写体� ��らの光の偏光に関する情報である偏光情報� ��含む被写体画像に関する情報を取得する処� ��部であり、偏光画像撮像部101及び偏光情報� ��成部102を有する。なお、この画像情報取得� ��110は、被写体画像を構成する単位画像ごと� ��、輝度情報及び偏光情報を取得する。

 画像情報取得部110における偏光画像撮像� ��101は、偏光主軸角度が異なる複数の偏光子� ��透過してくる光を受光することで、被写体� ��偏光画像を取得する処理部である。

 画像情報取得部110における偏光情報生成� ��102は、偏光画像撮像部101によって取得され� ��偏光画像から、当該偏光画像を構成する画� ��領域のそれぞれについて、複数の偏光子の� ��光主軸角度と複数の偏光子を透過した光の� ��度との対応関係を用いて、受光した偏光に� ��する情報である偏光情報を生成する処理部� ��ある。

 陰影領域抽出部120は、画像情報取得部110� ��取得された輝度情報及び偏光情報に基づい� ��、単位画像の単位で、光の当たり方によっ� ��被写体の表面に生じる「かげ」の領域であ� ��陰領域、及び、被写体によって光が遮断さ� ��たことによって他の物体上に生じる「かげ� ��の領域である影領域を、被写体画像から抽� ��する処理部であり、本実施の形態では、領� ��抽出の一例である領域分割をする領域分割� ��103を有する。

 陰影領域抽出部120における領域分割部103� ��、偏光画像の輝度情報と偏光情報生成部102� ��生成された偏光情報とにおける類似性(共通 性)を利用して、偏光画像を、光学的に共通� �る画像領域の集まりからなる複数の領域に� �割する処理部である。このとき、領域分割� �103は、画像領域の輝度と予め定められたし� �い値とを比較し、輝度がしきい値よりも小� �い場合に、当該画像領域を、陰影領域(陰領� ��及び影領域)を含む低輝度領域(本実施の形� �では、陰影領域)として、領域分割をする。

 なお、この領域分割部103は、画像(ここで は、偏光画像)に対して領域分割をするが、� �発明における陰影領域抽出部の動作として� �、領域分割に限られず、領域抽出(つまり、� ��像の一部の領域を特定する処理)でよい。つ まり、本明細書では、発明の理解を容易にす るために、領域抽出の一例として、画像の全 領域を、陰領域及び影領域を含む複数の種類 の領域のいずれかに分割する領域分割につい て説明するが、本発明に係る法線情報生成装 置としては、このような領域分割に限られず 、画像の一部の領域を特定する領域抽出でよ い。よって、本明細書における「領域分割(� �域の分割)」は、「領域抽出(領域の抽出)」� �読み替えてもよい。また、本明細書におけ� �「領域検出(領域の検出)」は、「領域抽出(� �域の抽出)」と同義である。

 法線情報生成部104は、領域分割部103で分� ��された領域ごとに、偏光情報生成部102で生� ��された偏光情報を用いて、対応する被写体� ��表面での法線を特定する法線情報を生成す� ��処理部である。

 図2は、本実施の形態における法線情報生 成装置100が搭載されたカメラ200のハードウェ ア構成例を示している。図3は、図2に示され� ��パターン偏光子201と撮像素子202との関係を� ��した模式図である。このカメラ200は、法線� ��報を生成する機能を備える撮像装置であり� ��パターン偏光子201、撮像素子202、メモリ203� ��CPU204および発光装置207を備える。

 パターン偏光子201は、図3に示されるよう に、偏光主軸角度ψi=0°、45°、90°、135°の4種 類の偏光子を1組として2次元状に配置された� ��光子の集まりである。

 撮像素子202は、図3に示されるように、パ ターン偏光子201を構成する個々の偏光子を透 過した光を受光する2次元状に配置された画� �(受光素子)の集まりであり、撮像素子202の撮 像面に平行に設置されることが望ましい。な お、パターン偏光子201における4個(4種類)の� �光子と、撮像素子202における対応する4個の� ��素(受光素子)とから、撮像単位206が構成さ� �る。この撮像単位206によって得られる画像� �、偏光情報生成部102、領域分割部103および� �線情報生成部104における各処理の単位(「単� ��画像」)である。つまり、法線情報生成装置 100は、撮像単位206によって得られる単位画像 (以下、「画素」ともいう。)ごとに、偏光情� ��の生成、領域分割および法線情報の生成を� ��なう。

 メモリ203は、CPU204の作業領域としてのRAM� ��よびプログラム等が格納されたROMを含む。

 CPU204は、メモリ203に格納されたプログラ� ��を実行し、メモリ203にアクセスしたり、撮� ��素子202および発光装置207を制御するプロセ� ��サである。

 発光装置207は、被写体に投光するフラッ� ��ュである。

 なお、図1に示された偏光画像撮像部101は 、図2に示されたパターン偏光子201および撮� �素子202によって実現される。図1に示された� ��光情報生成部102、領域分割部103および法線� ��報生成部104は、図2に示されたCPU204がメモリ 203に格納されたプログラムを実行することに よって実現される。また、メモリ203は、偏光 画像撮像部101で取得された偏光画像、偏光情 報生成部102で生成された偏光情報、法線情報 生成部104で生成された法線情報、および、一 時的に発生する各種パラメータ等を格納する 作業領域としても使用される。

 図4は、本実施の形態における法線情報生 成装置100による処理の流れを示すフローチャ ートである。まず、偏光画像撮像部101は、パ ターン偏光子201を通して被写体を撮像素子で 受光することで、偏光情報を含んだ画像であ る偏光画像を撮像する(S101)。偏光情報生成部 102は、偏光画像撮像部101が撮像した偏光画像 の輝度変化を利用して、偏光情報を生成する (S102)。領域分割部103は、偏光情報生成部102が 生成した偏光情報や偏光画像撮像部101が取得 した輝度情報を利用し、画像を拡散反射領域 、鏡面反射領域および低輝度領域(本実施の� �態では、陰領域および影領域)に領域分割す� ��(S103)。法線情報生成部104は、領域分割部103� ��行なった領域分割の結果に基づき、偏光情� ��生成部102が生成した偏光情報から法線情報� ��生成する(S104)。このとき、影領域に関して� ��偏光情報に誤差が多いため、法線情報を生� ��しない。

 次に、本実施の形態における法線情報生� ��装置100の各構成要素の詳細な機能を説明す� ��。

 まず、偏光画像撮像部101の詳細な機能に� ��いて説明する。偏光画像撮像部101は、被写� ��からの光をパターン偏光子201を通して撮像� ��子202で受光することで、偏光情報を含んだ� ��光画像を取得する。図5は、図3に示された� �像単位206を入射光方向から眺めた模式図で� �る。本図において、各偏光子(各画素)内の直 線は、各画素上に設置された微小偏光板の偏 光主軸方向を示している。すなわち、この撮 像単位206は、偏光軸の回転角(ψi=0°、45°、90� �、135°)の4種類の偏光方向を有する画素を持� ��。パターン偏光子は、TM波が透過、TE波が反 射(透過せず)という偏光特性を示す。

 このような特性は、例えば、『川島、佐� ��、川上、長嶋、太田、青木、“パターン化� ��光子を用いた偏光イメージングデバイスと� ��用技術の開発”、電子情報通信学会2006年総 合全国大会、No.D-11-52、P52、2006』:非特許文献 2に記載されたフォトニック結晶を用いて作� �することができる。フォトニック結晶の場� �、表面に形成された溝に平行な振動面を持� �光がTE波、垂直な振動面を持つ光がTM波とな� ��。

 この偏光情報の撮影に際しては、輝度の� ��イナミックレンジとビット数は、なるべく� ��きいこと(例えば16ビット)が望ましい。

 次に、偏光情報生成部102の詳細な機能に� ��いて説明する。偏光情報生成部102は、偏光� ��像撮像部101が取得した偏光画像を利用して� ��偏光情報を生成する処理部である。

 偏光子を透過した輝度は、偏光子の偏光� ��軸角によって変化することが知られている� ��図6は、異なる偏光主軸角度ψi=0°、45°、90° 、135°の4種類の偏光子を透過した輝度401~404� �1本の正弦関数カーブを形成する様子を示す� ��つまり、この正弦関数カーブは、図5の点501 における偏光特性を示している。なお、偏光 主軸角度の0°と180°(π)は同一である。また、 この正弦関数カーブを求める際、撮影ガンマ =1となるカメラを用いるか、リニアリティ補� ��により撮影ガンマ=1となるように補正する� �とが望ましい。この4点は、1本の正弦関数カ ーブ上にちょうど乗るように描かれているが 、実際には、多数の観測点から180度周期の正 弦関数が最適値として1本決定されるのが好� �しい。

 この偏光情報生成部102は、偏光情報とし� ��、このカーブの振幅と位相情報を生成する� ��具体的には、パターン偏光子201の主軸角ψ� �対する反射光輝度Iを以下のように近似する� ��

 ここで、図6に示されるように、式1にお� �るA、B、Cは定数であり、それぞれ、偏光子� �よる輝度の変動カーブの振幅、位相、平均� �を表現している。ところで、式1は、以下の� ��うに展開できる。

 ただし、

 つまり、4画素のサンプル(ψi、Ii)におい� �、以下の式5を最小にするA、B、Cを求めれば� ��弦関数(式1)の近似ができる。ただし、Iiは� �偏光板回転角ψi時の観測輝度を示している� �また、Nはサンプル数であり、ここでは、4で ある。

 以上の処理により、正弦関数近似のA、B� �Cの3パラメータが確定する。

 こうして求めたパラメータを利用して、� ��光情報生成部102は、偏光情報として、以下� ��いずれかまたは複数を生成する。

 ・偏光度ρ

 ・偏光位相φ(0°≦φ≦180°)

 ・偏光推定誤差E

 ここで、偏光度とは、光がどれだけ偏光� ��ているかを表す指標であり、偏光位相とは� ��偏光主軸角度に依存して変化する輝度が最� ��となる角度であり、偏光推定誤差とは、4画 素のサンプルについて観測された輝度と近似 によって得られた上述の正弦関数から定まる 輝度との差の合計である。

 図7は、球体であるプラスチック製ボール の被写体を撮影した場合の偏光度ρ、偏光位� ��φおよび偏光推定誤差Eを画像として表示し� ��図である。この図において、図7(a)は被写体 であるプラスチック製ボールの画像、図7(b)� �図7(a)の被写体に対する偏光度ρ、図7(c)は図7 (a)の被写体に対する偏光位相φ(0°が黒、180°� ��白)、図7(d)は図7(a)の被写体に対する偏光推� ��誤差Eを示している。また、図8は、図7の各� ��を模式的に示した図(濃淡を明瞭化した図)� �ある。いずれも輝度の白いほうが値が大き� �ことを意味しており、ボールの遮蔽エッジ� �近で偏光度が大きいこと、被写体の影に覆� �れていない領域では偏光位相が180°周期で球 体の周囲を反時計回りに単調増加しているこ とがわかる。この偏光位相は、回転させて変 化する輝度の最大値となる角度であり、被写 体が拡散反射であった場合の出射面の情報で ある。

 次に、領域分割部103の詳細な機能につい� ��説明する。領域分割部103は、偏光情報生成� ��102が生成した偏光情報と偏光画像撮像部101� ��取得した輝度情報を利用し、画像を拡散反� ��領域、鏡面反射領域、陰領域および影領域� ��領域分割する。

 ここで、拡散反射と鏡面反射について説� ��する。被写体表面の反射特性は、「てかり� ��である鏡面反射成分と、マットな反射成分� ��ある拡散反射成分との和として表現される� ��とが知られている。拡散反射成分は、被写� ��を照射する光源がいずれの方向に存在して� ��観測されるが、鏡面反射成分は、被写体の� ��線方向と視線方向に対し、ほぼ正反射方向� ��光源が存在する場合にのみ観測される方向� ��存性の強い成分である。これは、偏光特性� ��関しても成り立つ。

 被写体が「てかり」である鏡面反射を生� ��る物体である場合、すべての方向から光が� ��射された場合、被写体は正反射成分である� ��面反射による影響を強く受けることが知ら� ��ている(例えば、透明物体に関しては、斉藤 めぐみ、佐藤洋一、池内克史、柏木寛、“ハ イライトの偏光解析にもとづく透明物体の表 面形状測定”、電子情報通信学会論文誌 D-II 、Vol. J82-D-II、No.9、pp.1383-1390、1999:非特許文� ��3)。

 図9および図10は、それぞれ、被写体の屈� ��率n=1.1、1.3、1.5、2.0の場合における鏡面反� �成分および拡散反射成分の偏光度を示した� �ラフである(例えば、「L. B. Wolff and T. E.  Boult、 “Constraining object features using a polar ization reflectance model”、 IEEE Transactions on P attern Analysis and Machine Intelligence、 Vol.13、No .7、pp.635-657、1991」:非特許文献4参照)。ここ� �、図9の横軸は入射角、縦軸は偏光度を示し� ��いる。また、図10の横軸は出射角、縦軸は� �光度を示している。これらの図より、すべ� �の方向から光が入射された場合、拡散反射� �分に比べ、鏡面反射成分の偏光度が高くな� �ことがわかる。このことから、偏光特性と� �ても、鏡面反射成分が支配的になると推測� �れる。このことは、出射角が90°に近い、遮� ��エッジなどを除外した場合に成り立つ。

 また、偏光位相φから、被写体の法線情� �のうち、光の入射と反射の光線を包含する� �射面(入射角)の角度1自由度を求める方法が� �られている。しかし、被写体において鏡面� �射が支配的か拡散反射が支配的かによって� �法線情報の求め方が全く異なることも知ら� �ている(例えば、非特許文献1参照)。拡散反� �成分が支配的な場合、拡散反射の出射面の� �報は、偏光板を回転させて変化する輝度の� �大値となる角度として求めることができる� �一方、鏡面反射成分が支配的な場合、拡散� �射の入射面の情報は、偏光板を回転させて� �化する輝度の最小値となる角度として求め� �ことができる。ここで、偏光輝度の変動カ� �ブが180°周期の正弦関数となることに着目す ると、拡散反射が支配的か鏡面反射が支配的 かを考慮せずに法線情報を生成した場合、推 定された法線の1自由度は90°の誤差を持って� ��まうことがわかる。そのため、拡散反射と� ��面反射とを分類することは、偏光情報から� ��法線情報を生成する処理において重要であ� ��。

 次に、陰領域と影領域について説明する� ��図11は、陰領域と影領域(陰影領域の分類)を 説明するための模式図である。ここでは、あ る面1002に置かれた球状物体である被写体1001� ��、光源1003に照らされている様子が示されて いる。この図において、領域1004と領域1005は� ��どちらも、陰影領域を示している。領域1004 は、被写体1001の法線が光源1003を向いていな� ��ために生じる「陰領域」であり、領域1005は 、面1002において、遮蔽物である被写体1001に� ��って光が遮蔽されることによって生じる「� ��領域」である。

 次に、陰領域と影領域の偏光特性の違い� ��ついて説明する。まず、地上で撮影される� ��とんどの撮影シーンで成り立つ以下の条件1 が満たされた撮影シーンにおいて撮影が行な われると想定する。

 条件1:「被写体が存在する撮影シーンには� �近傍に広い面を有する物体が存在し、ある� �い面から被写体に関して反対方向には光源� �存在する」
 これは、例えば以下のような撮影シーンで� ��成り立つ。
1.屋内シーンにおいて、被写体であるボール� ��机の上に置かれている。また、このボール� ��天井に設置された蛍光灯で照らされている� ��
2.屋内シーンにおいて、被写体である人物が� ��床面に置かれた椅子に座っている。また、� ��の人物は、窓から差し込んでくる太陽光で� ��らされている。
3.屋外シーンにおいて、被写体である自動車� ��、道路上を走行している。この被写体は、� ��陽光で照らされている。

 また、壁や建物も広い面を有するため、� ��上で撮影されるほとんどの撮影シーンでは� ��この条件が成り立つ。

 この条件1が成り立つ場合に、まず陰領域 について説明する。図11に示されるように、� ��領域は、被写体の法線が光源と反対方向を� ��いているために生じる陰影(かげ)領域であ� �。ここで、条件1より、光源と反対方向には� ��い面が存在していることと、陰影領域には� ��際には多数の回り込み光(多重反射光)が存� �していることを考慮すると、陰領域には、� �まざまな方向から多重反射光が入射してい� �と考えられる。つまり、カメラ200と陰領域� �生じている画素の法線に対して、正反射と� �る多重反射光が存在すると考えられる。図12 は、この様子を示した模式図である。この図 において、カメラ1006は、本実施の形態にお� �る法線情報生成装置100が搭載されたカメラ� �面1007は上記広い面を示している。

 ところで、前述のように、鏡面反射成分� ��偏光度は拡散反射成分に比べて高い。その� ��め、鏡面反射成分の反射特性を示す陰領域� ��、相対的に偏光度が高くなる。

 次に、影領域について説明する。図11に� �されるように、影領域は、何らかの遮蔽物� �よって光が遮蔽されることによって生じる� �影(かげ)領域である。ここで、条件1を考慮� �ると、影領域は、広い面と近い法線方向を� �った面に生じやすくなる。そのため、多重� �射光は、陰領域に比べ、限られた方向から� �か入射しない。このことから、正反射方向� �光源が存在する可能性は低いと考えられる� �図13は、この様子を示した模式図である。

 さらに、図10に示されるように、拡散反� �成分の偏光度は相対的に低い。このことか� �、影領域の偏光成分は比較的小さくなるこ� �がわかる。陰影領域では、輝度そのものが� �さくなるため、小さな偏光成分を推定する� �とは非常に困難である。そのため、影領域� �偏光推定誤差は非常に大きくなる。

 以上のことをまとめると、陰影領域の偏光� ��性は、以下のように分類される。
(1)陰領域
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
(2)影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

 この分類基準を利用することで、陰影領� ��を陰領域と影領域とに分類することができ� ��。たとえば、偏光情報が鏡面反射の偏光特� ��(偏光度が高い、あるいは、偏光推定誤差が 小さい)を示す低輝度領域を陰領域と分類す� �ことができる。このような性質を利用して� �域分割をする領域分割部103について、以下� �詳細に説明する。

 図14は、図1に示された法線情報生成装置1 00における領域分割部103の詳細な構成を示す� ��能ブロック図である。この領域分割部103は� ��偏光情報生成部102が生成した偏光情報と偏� ��画像撮像部101が取得した輝度情報を利用し� ��画像を拡散反射領域、鏡面反射領域、陰領� ��および影領域に領域分割する処理部であり� ��陰影領域検出部301、DB302、偏光度比較部303� �偏光推定誤差比較部304、領域判断部305およ� �蓄積部306を備える。

 陰影領域検出部301は、偏光画像撮像部101� ��取得した画像における画素が陰影領域であ� ��かどうかを推定する処理部である。

 DB302は、偏光度比較部303により参照され� �閾値TH_PDSおよび偏光推定誤差比較部304によ� �参照される閾値Th_Errを予め格納しているメ� �リ等である。

 偏光度比較部303は、DB302から閾値TH_PDSを� �み出し、陰影領域検出部301で陰影領域でな� �と推定された画素について、対象となる画� �の偏光度と閾値TH_PDSとを比較する処理部で� �る。

 偏光推定誤差比較部304は、DB302から閾値Th _Errを読み出し、陰影領域検出部301で陰影領� �であると推定された画素について、対象と� �る画素の偏光推定誤差Eと閾値Th_Errとを比較� ��る処理部である。

 領域判断部305は、偏光度比較部303および� ��光推定誤差比較部304での比較結果に応じて� ��対象の画素が拡散反射領域、鏡面反射領域� ��影領域および陰領域のいずれであるかを判� ��し、その結果を蓄積部306へ蓄積する。

 蓄積部306は、領域判断部305による領域分� ��の結果を格納するメモリ等である。

 図15は、この領域分割部103による処理の� �れを示すフローチャートである。まず、陰� �領域検出部301は、偏光画像撮像部101が取得� �た画像における画素が低輝度領域(本実施の� ��態では、陰影領域)であるかどうかを推定す る(S201)。これは、例えば、陰影領域は輝度値 が低いことを利用し、輝度値や偏光子による 輝度の変動カーブの振幅が閾値以下の画素を 陰影領域と推定すればよい。このように陰影 領域を推定するための閾値は実験的に決定す ればよく、例えば、16ビットモノクロ画像の� ��度値に対しては、256を設定すればよい。こ� ��ような閾値はDB302に保持しておけばよい。� �16(a)は、図7(a)の画像(その模式図である図8(a) )に対して、陰影検出処理を実施した結果で� �る。図の黒色領域が影として検出された結� �を示している。

 画素が陰影領域ではなかった場合(S201でNo )、偏光度比較部303は、その画素において拡� �反射成分が支配的であるか、鏡面反射成分� �支配的であるかを判断する(S202)。図17は、こ の偏光度比較部303による拡散反射鏡面反射分 類処理(S202)の詳細な流れを示すフローチャー トである。ここでは、偏光度比較部303は、前 述の「鏡面反射は偏光度が高い」ことを利用 して、画素が拡散反射と鏡面反射のどちらが 支配的かを判断する。まず、偏光度比較部303 は、画素の偏光度が閾値TH_PDSより小さいか、 大きいかを調べる(S211)。画素の偏光度が閾値 TH_PDSより小さかった場合(S211でYes)、領域判断 部305は、その画素では拡散反射が支配的であ る(その画素は拡散反射領域である)と判断す� ��(S212)。一方、偏光度が閾値TH_PDSより大きか� ��た場合(S211No)、領域判断部305は、その画素� �は鏡面反射が支配的である(その画素は鏡面� ��射領域である)と判断する(S213)。領域判断部 305は、領域分割の結果を蓄積部306に蓄積する 。

 なお、閾値Th_PDSは、被写体の屈折率や被� ��体の法線方向、光源方向、視線方向などか� ��設定するようにしても構わない。図9および 図10に示されるように、被写体の鏡面反射成� ��偏光度や拡散反射成分偏光度は屈折率と入� ��角、出射角が求まれば一意に決定できる。� ��のため、図9および図10で求まる鏡面反射成� ��偏光度や拡散反射成分偏光度をTh_PDSとして� ��用すればよい。また、被写体の屈折率や被� ��体の法線方向、光源方向、視線方向などの� ��報が得られない場合、拡散反射成分偏光度� ��とりうる最大値をもとに、閾値Th_PDSとして� ��定しても構わない。例えば、屈折率2.0以上� ��被写体は存在しないと仮定すると、図10よ� �、拡散反射成分偏光度の最大値は0.6程度と� �えられるので、閾値Th_PDSとして、0.7程度を� �定すればよい。このような閾値はDB302に保持 しておけばよい。

 拡散反射鏡面反射分類処理(S202)が終了後� ��領域判断部305は、すべての画素の光学的分� ��が完了したかどうかをチェックする(S203)。� ��し、まだ分類を行なっていない画素が存在� ��る場合(S203でNo)、陰影領域検出部301は、別� �画素が陰影領域かどうかを検出する(S201)。� �た、すべての画素の光学的分類が完了した� �合(S203でYes)、領域分割部103は、処理を終了� �る。

 一方、画素が陰影領域であった場合(S201� �Yes)、偏光推定誤差比較部304は、上記式8で定 義される偏光推定誤差Eの大きさを評価する(S 204)。すなわち、偏光推定誤差比較部304は、� �光推定誤差Eの大きさと閾値Th_Errとを比較す� ��。その結果、偏光推定誤差Eの大きさが閾値 Th_Errより大きかった場合(S204でYes)、領域判断 部305は、その画素が影領域であると判断し(S2 05)、一方、偏光推定誤差Eの大きさが閾値Th_Er rより小さかった場合(S204でNo)、領域判断部305 は、その画素が陰領域であると判断する(S206) 。領域判断部305は、領域分割の結果を蓄積部 306へ蓄積する。

 このときの閾値Th_Errは撮影画像の輝度値� ��式2の振幅成分A、バイアス成分Cを基準に決� ��すればよい。例えば、振幅成分Aを基準に閾 値Th_Errを決定する場合、以下のように決定す ればよい。

 この式は、偏光推定誤差Eが振幅成分Aに� �してどの程度、異なっているかを示してい� �。ここで、Th_Eは適当な正の定数であり、実� ��的に決定すればよく、例えば、0.3を設定す� ��ばよい。また、Nは前述のサンプル数である 。このような閾値はDB302に保持しておけばよ� ��。

 図16(b)および図16(c)は、それぞれ、このよ うにして求めた影領域および陰領域を示して いる。この図において、黒色領域が選択され た領域である。こうして求めた影領域と陰領 域に対し、画像処理で広く使われている領域 の収縮膨張処理を行なうことにより、影領域 と陰領域とを分離できる。

 図18は、領域分割部103による領域分割例� �示す図である。ここでは、偏光画像を構成� �る各画素について、画素位置、振幅A、偏光� ��ρ、偏光位相φ、偏光推定誤差Eの具体値と� �領域分割結果が示されている。ここでの、� �域分割における判断基準は、図19に示される 通りである。つまり、拡散反射領域または鏡 面反射領域か陰影領域かは、振幅Aが256以上� �あるか否かによって判断され(図15のS201)、拡 散反射領域か鏡面反射領域かは、偏光度ρが0 .7より小さいか否かによって判断され(図17のS 211)、影領域であるか陰領域であるかは、偏� �推定誤差Eが上記式9で示される閾値Th_Errより 大きいか否かによって判断される(図15のS204)� ��このような判断基準で判断された結果、図1 8に示されるように、画素(141、117)は、拡散反 射領域に属すると判断され、画素(151、138)は� ��鏡面反射領域に属すると判断され、画素(111 、144)は、陰領域に属すると判断され、画素(9 8、151)は、影領域に属すると判断され、画素( 165、144)は、拡散反射領域に属すると判断さ� �る。

 次に、法線情報生成部104の詳細な機能を� ��明する。図20は、図1に示された法線情報生� ��装置100における法線情報生成部104の詳細な� ��成を示す機能ブロック図である。この法線� ��報生成部104は、領域分割部103が行なった領� ��分割結果に基づき、偏光情報から法線情報� ��生成する処理部であり、蓄積部306、領域参� ��部307、拡散反射仮定法線情報生成部308およ� ��鏡面反射仮定法線情報生成部309を備える。� ��お、この図において、図14と共通の構成要� �には図14と同一の符号を付しており、その詳 細な説明は省略する。

 領域参照部307は、蓄積部306に蓄積された� ��域分割の結果を参照することで、対象とな� ��画素においては、拡散反射成分が支配的か( 拡散反射領域であるか)、あるいは、鏡面反� �成分が支配的か(鏡面反射領域であるか)、ま たは、その画素が陰領域であるか否かを判断 する処理部である。

 拡散反射仮定法線情報生成部308は、拡散� ��射領域の画素に対して、拡散反射仮定で法� ��情報を生成する処理部である。具体的には� ��上述した近似によって得られた正弦関数に� ��いて輝度が最大となる偏光主軸角度を、当� ��画素に対応する被写体の出射面の法線情報� ��して生成する。

 鏡面反射仮定法線情報生成部309は、鏡面� ��射領域および陰領域の画素に対して、鏡面� ��射仮定で法線情報を生成する処理部である� ��具体的には、上述した近似によって得られ� ��正弦関数において輝度が最小となる偏光主� ��角度を、当該画素に対応する被写体の入射� ��の法線情報として生成する。

 図21は、この法線情報生成部104による処� �の流れを示すフローチャートである。まず� �領域参照部307は、領域分割部103が検出した� �学的領域分割の結果を基に、画素において� �散反射成分が支配的かどうかを判断する(S301 )。この処理は、領域判断部305の結果が蓄積� �れている蓄積部306から領域分割結果を読み� �せばよい。もし、拡散反射成分が支配的で� �ると判断された場合(S301でYes)、拡散反射仮� �法線情報生成部308は、その画素について拡� �反射仮定で法線情報を生成する(S302)。具体� �には、出射面における法線の1自由度を、偏� ��板を回転させて変化する輝度の最大値とな� ��角度として求める。つまり、上述した近似� ��よって得られた正弦関数において輝度が最� ��となる偏光主軸角度を、当該画素に対応す� ��被写体の出射面の法線情報として生成する� ��

 また、画素が拡散反射成分が支配的では� ��い場合(S301でNo)、領域参照部307は、鏡面反� �成分が支配的(画素が鏡面反射領域である)、 または、画素が陰領域であるか否かを判断す る(S303)。その結果、鏡面反射成分が支配的、 または、画素が陰領域であると判断された場 合には(S303でYes)、鏡面反射仮定法線情報生成 部309は、その画素について鏡面反射仮定で法 線情報を生成する(S304)。具体的には、入射面 における法線の1自由度を、偏光板を回転さ� �て変化する輝度の最小値となる角度として� �める。つまり、上述した近似によって得ら� �た正弦関数において輝度が最小となる偏光� �軸角度を、当該画素に対応する被写体の入� �面の法線情報として生成する。

 一方、画素が影領域であると判断された� ��合、つまり、拡散反射成分も鏡面反射成分� ��支配的ではなく、陰領域でもない場合(S303� �No)、この法線情報生成部104は、画素の偏光� �報は誤差が支配的であり、正確な法線情報� �生成できないと判断し、法線情報生成処理� �行なわない(S305)。

 なお、図15に示される処理では、画素に� �いて拡散反射成分が支配的であるか鏡面反� �成分が支配的であるかを判断するために偏� �度が利用されたが(S202)、輝度値を利用する� �うにしても構わない。図22は、輝度値を利用 して拡散反射か鏡面反射かを判断する変形例 に係る領域分割部103aの詳細な構成を示す機� �ブロック図である。この領域分割部103aは、� ��影領域検出部301、DB302、偏光推定誤差比較� �304、領域判断部305、蓄積部306および輝度比� �部310を備える。なお、図22において、図14と� ��通の構成要素には図14と同一の符号を付し� �おり、その詳細な説明は省略する。

 輝度比較部310は、DB302から閾値TH_IDSを読� �出し、対象の画素の輝度値と閾値TH_IDSとを� �較する処理部である。

 図23は、この領域分割部103aによる処理の� ��れを示すフローチャートである。なお、図2 3において、図17と共通のステップには図17と� ��一の符号を付しており、その詳細な説明を� ��略する。輝度比較部310は、画素の輝度値が� ��値TH_IDSより小さいか、大きいかを調べる(S21 4)。画素の輝度値が閾値TH_IDSより小さかった� ��合(S214でYes)、領域判断部305は、その画素は� ��散反射が支配的であると判断する(S212)。一� ��、輝度値が閾値TH_IDSより大きかった場合(S21 4でNo)、領域判断部305は、その画素は鏡面反� �が支配的であると判断する(S213)。このよう� �して、輝度値を利用して、その画素におい� �拡散反射成分が支配的であるか鏡面反射成� �が支配的であるかが判断される。

 また、図15に示される処理では、偏光推� �誤差を利用して、画素が陰領域か影領域か� �判断されたが(S204)、偏光推定誤差ではなく� �偏光度を利用するようにしても構わない。� �24は、偏光度を利用して陰領域か影領域かを 判断する変形例に係る領域分割部103bの詳細� �構成を示す機能ブロック図である。この領� �分割部103bは、陰影領域検出部301、DB302、偏� �推定誤差比較部304、領域判断部305および蓄� �部306を備える。なお、図24において、図14と� ��通の構成要素には図14と同一の符号を付し� �おり、その詳細な説明を省略する。

 図25は、この領域分割部103bによる処理の� ��れを示すフローチャートである。なお、図2 5において、図15と共通のステップには図15と� ��一の符号を付しており、その詳細な説明を� ��略する。

 陰影領域検出部301によって画素が陰影領� ��であると判断された場合(S201でYes)、偏光度� ��較部303は、その画素が陰領域か影領域かを� ��断するために、式6で定義される偏光度ρと� ��値Th_Pとを比較する(S207)。その結果、偏光度 ρが閾値Th_Pより小さかった場合(S207でYes)、領 域判断部305は、その画素は影領域であると判 断し(S205)、一方、偏光度ρが閾値Th_Pより大き かった場合(S207でNo)、領域判断部305は、その� ��素は陰領域であると判断する(S206)。このよ� ��にして、偏光度と利用して、画素が陰領域� ��影領域かが判断される。

 なお、閾値Th_Pは、被写体の屈折率や被写 体の法線方向、光源方向、視線方向などから 設定するようにしても構わない。図9および� �10に示されるように、被写体の鏡面反射成分 偏光度や拡散反射成分偏光度は屈折率と入射 角、出射角が求まれば一意に決定できる。そ のため、図9および図10で求まる鏡面反射成分 偏光度や拡散反射成分偏光度をTh_Pとして利� �すればよい。また、被写体の屈折率や被写� �の法線方向、光源方向、視線方向などの情� �が得られない場合、拡散反射成分偏光度が� �りうる最大値をもとに閾値Th_Pとして決定し� ��も構わない。例えば、屈折率2.0以上の被写� ��は存在しないと仮定すると、図10より拡散� �射成分偏光度の最大値は0.6程度と考えられ� �ので、閾値Th_Pとして、0.7程度を設定すれば� ��い。

 また、図15に示される処理において、そ� �画素が陰領域か影領域かを判断するに際し� �(S204)、偏光推定誤差および偏光度のいずれ� �を利用するのではなく、両方を利用するよ� �にしても構わない。図26は、偏光推定誤差お よび偏光度の両方を利用して画素が陰領域か 影領域かを判断する変形例に係る領域分割部 103cの詳細な構成を示す機能ブロック図であ� �。この領域分割部103cは、陰影領域検出部301� ��DB302、偏光度比較部303、偏光推定誤差比較� �304、領域判断部305および蓄積部306を備える� �なお、図26において、図14と共通の構成要素� ��は図14と同一の符号を付しており、その詳� �な説明を省略する。この領域分割部103cは、� ��14に示された領域分割部103と同一の構成要� �を備えるが、領域判断部305での領域分割に� �ける判断基準が領域分割部103と異なる。

 図27は、この領域分割部103cによる処理の� ��れを示すフローチャートである。なお、図2 7において、図15と共通のステップには図15と� ��一の符号を付しており、その詳細な説明を� ��略する。陰影領域検出部301によって対象と� ��る画素が陰影領域と判断された場合(S201でYe s)、その画素が陰領域か影領域かを判断する� ��めに、偏光推定誤差比較部304および偏光度� ��較部303は、それぞれ、式8で定義される偏光 推定誤差Eと式6で定義される偏光度ρとを評� �する。つまり、偏光推定誤差比較部304は、� �光推定誤差Eと閾値Th_Errとを比較し、偏光度� ��較部303は、偏光度ρと閾値Th_Pとを比較する� ��

 その結果、偏光推定誤差Eが閾値Th_Errより 大きい、または、偏光度ρの大きさが閾値Th_P より小さい場合(S208でYes)、領域判断部305は、 その画素は影領域であると判断し(S205)、一方 、偏光推定誤差Eの大きさが閾値Th_Errより小� �く、かつ、偏光度ρの大きさが閾値Th_Pより� �きい場合(S208でNo)、領域判断部305は、その画 素は陰領域であると判断する(S206)。このよう にして、画素が陰領域か影領域かを判断する のに、偏光推定誤差および偏光度の両方が利 用される。

 なお、偏光推定誤差Eの閾値Th_Errは、図15� ��処理のように偏光推定誤差のみで判断する� ��合に比べて大きな値を、偏光度ρの閾値Th_P� ��、図25の処理のように、偏光度のみで判断� �る場合に比べて小さな値をとるようにして� �構わない。また、領域判断部305による判断(S 208)では、偏光推定誤差Eの大きさが閾値Th_Err� ��り大きく、かつ、偏光度ρの大きさが閾値Th _Pより小さかった場合にのみ、その画素が影� ��域であると判断するようにしても構わない� ��

 また、図15の処理では、画素が陰領域か� �領域かを判断するために偏光推定誤差が利� �されたが(S204)、陰領域の偏光特性が鏡面反� �特性となることを利用しても構わない。こ� �は、例えば、式7で定義される偏光位相φを� �用すればよい。前述のように、偏光位相φは 、被写体の法線の1成分を示しているが、偏� �位相φと被写体の法線の1成分の関係は、被� �体が鏡面反射成分が支配的か、拡散反射成� �が支配的かによって位相が90度異なる。例え ば、図7(c)(その模式図である図8(c))において� �陰領域の偏光位相が、その近傍の偏光位相� �報と大きく異なっていることがわかる。こ� �は、陰領域が鏡面反射成分の偏光特性を示� �ているのに対し、その近傍領域は拡散反射� �分の偏光特性を示しているためである。そ� �で、被写体の偏光位相の連続性を評価する� �とにより、鏡面反射成分の偏光特性を示す� �素を検出し、陰領域を検出する。

 また、図14等に示される陰影領域検出部30 1は、カメラ200に搭載された発光装置207(フラ� ��シュなど)を利用するようにしても構わない 。これは、暗幕のように、十分に小さい反射 率をもつ被写体が存在する場合、前述の輝度 値による判断のみでは陰影領域と暗幕の区別 がつかないためである。このようなフラッシ ュを利用する本実施の形態の変形例に係る法 線情報生成装置について図を用いて詳述する 。

 図28は、このような変形例に係る法線情� �生成装置100aの構成を示す機能ブロック図で� ��る。この法線情報生成装置100aは、図1に示� �れた法線情報生成装置100に発光部105が付加� �れた構成を備える。なお、図28において、図 1と共通の構成要素には図1と同一の符号を付� ��ており、その詳細な説明を省略する。

 発光部105は、法線情報生成装置100aによる 撮像動作に連動して被写体に投光するフラッ シュである。このとき、この発光部105はフラ ッシュの点灯制御を行なう。偏光画像撮像部 101は、発光部105と連動し、フラッシュを発光 させた状態と発光させない状態の2枚の画像� �撮影する。このとき、被写体とカメラ200の� �置関係は変化がないように撮影を行なう。� �のような撮影は、例えば、カメラ200の連写� �能などを利用して撮影すればよい。

 図29は、この変形例に係る法線情報生成� �置100aによる陰影検出処理の流れを示すフロ� ��チャートである。つまり、図15における陰� �領域検出処理(S201)の別の手法を示すフロー� �ャートである。まず、陰影領域検出部301は� �フラッシュを発光させない状態での画素の� �度値を調べる(S401)。もし、画素の輝度値が� �値よりも高い場合(S401でNo)、陰影領域検出部 301は、画素は低輝度領域(ここでは、陰影領� �)ではないと判断し(S402)、処理を終了する。

 一方、もし、画素の輝度値が閾値以下で� ��る場合(S401でYes)、画素が陰影領域である可� ��性が高いため、陰影領域検出部301は、フラ� ��シュを発光させた状態で撮影したフラッシ� ��撮影画像と、フラッシュを発光させずに撮� ��した通常撮影画像の差分画像を作成する(S40 3)。フラッシュの点灯位置が撮像素子位置に� ��分近く、ほぼ等しいとすると、点灯したフ� ��ッシュによって生じる影は撮影画像には存� ��しない。これは、視線方向と光源方向が等� ��いためである。そのため、フラッシュを発� ��させない状態では陰影であった領域は、フ� ��ッシュを発光させることにより、直接光が� ��在する。そのため、陰影領域の輝度値は大� ��く増える。

 一方、画素が陰影領域ではなく、反射率� ��小さな暗幕であった場合、フラッシュを発� ��させても反射率が小さいために、ほとんど� ��度値は変化しない。すなわち、もし、フラ� ��シュによる差分画像の輝度値が閾値以上だ� ��た場合(S404でYes)、陰影領域検出部301は、そ� ��画素は陰影領域と判断し(S405)、処理を終了� ��る。一方、フラッシュによる差分画像の輝� ��値が閾値より小さかった場合(S404でNo)、陰� �領域検出部301は、その画素は陰影領域では� �く、低反射率領域(あるいは、低反射率画素) であると判断し(S406)、処理を終了する。

 このように、たとえ暗幕のような小さな� ��射率を持った被写体が存在したとしても、� ��確に陰影領域を検出し、陰影領域を陰領域� ��影領域とに分類することができ、陰領域に� ��しては、鏡面反射を仮定することで、正確� ��法線情報が生成される。また、偏光情報に� ��差が多く、法線情報生成を行なっても精度� ��極端に悪くなる影領域に関しては、法線情� ��生成処理を行なわないことで、できるかぎ� ��広い領域で高精度な法線情報生成を行なう� ��とができる。

 以上のように、本実施の形態における法� ��情報生成装置によれば、陰影領域を陰領域� ��影領域とに分類し、陰領域に関しては、鏡� ��反射を仮定することで、正確な法線情報が� ��成される。また、偏光情報に誤差が多く、� ��線情報生成を行なっても精度が極端に悪く� ��る影領域に関しては、法線情報生成処理を� ��なわないことで、できるかぎり広い領域で� ��精度な法線情報生成を行なうことができる� ��

 なお、本実施の形態では、パターン偏光� ��201にフォトニック結晶が用いられたが、フ� ��ルム型の偏光素子、あるいはワイヤーグリ� ��ド型やその他の原理による偏光素子であっ� ��もよい。また、パターン偏光子を利用せず� ��、カメラ200のレンズ前に装着した偏光板を� ��転させながら撮影することで、時系列的に� ��光主軸の異なる輝度を取得するようにして� ��構わない。この方法は、例えば、特開平11-2 11433号公報:特許文献2に開示されている。

 (第2の実施の形態)
 次に、本発明の第2の実施の形態における法 線情報生成装置について説明する。

 図30は、本実施の形態における法線情報� �成装置100bの構成を示す機能ブロック図であ� ��。この法線情報生成装置100bは、被写体の表 面における法線情報を生成する装置であり、 低輝度領域を「陰領域または低反射率領域」 と影領域とに分類する点に特徴を有し、第1� �実施の形態における法線情報生成装置100が� �える領域分割部1031および法線情報生成部1041 に代えて、少しだけ機能が異なる領域分割部 1031および法線情報生成部1041を備える。なお� ��第1の実施の形態における法線情報生成装置 100と同一の構成要素には同一の符号を付し、 その説明を省略する。

 領域分割部1031は、偏光画像の輝度情報と 偏光情報生成部102で生成された偏光情報とに おける類似性(共通性)を利用して、偏光画像� ��、光学的に共通する画像領域の集まりから� ��る複数の領域に分割する処理部である。こ� ��とき、領域分割部1031は、画像領域の輝度と 予め定められたしきい値とを比較し、輝度が しきい値よりも小さい場合に、当該画像領域 を、陰影領域を含む低輝度領域(本実施の形� �では、「陰領域または低反射率領域」と影� �域とを含む領域)として、領域分割をする。� ��実施の形態では、領域分割部1031は、低輝度 領域を「陰領域または低反射率領域」と影領 域とに分類することで、画像を拡散反射領域 、鏡面反射領域、「陰領域または低反射率領 域」および影領域に領域分割する。

 法線情報生成部1041は、領域分割部1031で� �割された領域ごとに、偏光情報から法線情� �を生成する処理部である。この法線情報生� �部1041は、第1の実施の形態と異なり、陰領域 を「陰領域または低反射率領域」として法線 情報を生成する。

 図31は、本実施の形態における法線情報� �成装置100bによる処理の流れを示すフローチ� ��ートである。なお、図31において、第1の実� ��の形態における図4と共通のステップには図 4と同一の符号を付しており、その詳細な説� �を省略する。

 領域分割部1031は、偏光情報生成部102が生 成した偏光情報や偏光画像撮像部101が取得し た輝度情報を利用し、画像を拡散反射領域、 鏡面反射領域および低輝度領域(本実施の形� �では、「陰領域または低反射率領域」およ� �影領域)に分類する(S1031)。

 法線情報生成部1041は、後述するように、 領域分割部1031が行なった領域分割結果に基� �き、偏光情報から法線情報を生成する(S104)� �このとき、影領域に関しては偏光情報に誤� �が多いため、法線情報生成処理を行なわな� �。

 まず、反射率の小さな被写体の偏光特性の� ��いについて説明する。表面が滑らかな反射� ��の小さな被写体では、内部反射がほぼ0にな るため、拡散反射成分が非常に小さくなる。 一方、正反射の条件では、光を反射して鏡面 反射が大きくなる。つまり、低反射率領域で は、拡散反射成分は小さく、相対的に鏡面反 射成分が支配的になると考えられる。これは 、反射率の小さな物体は、以下のように陰領 域と同様の偏光特性を有することを示してい る。
(1)「陰領域または低反射率領域」
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
(2)影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

 この分類基準を利用することで、低輝度� ��域を「陰領域または低反射率領域」と影領� ��とに分類する。以下、図を用いてこの処理� ��詳述する。

 図32は、図30に示された法線情報生成装置 100bにおける領域分割部1031の詳細な構成を示� ��機能ブロック図である。この領域分割部1031 は、DB302、偏光度比較部303、偏光推定誤差比� ��部304、領域判断部305、蓄積部306および低輝� ��画素検出部311を備える。なお、図32におい� �、第1の実施の形態における図14と共通の構� �要素には図14と同一の符号を付しており、そ の詳細な説明を省略する。

 低輝度画素検出部311は、偏光画像撮像部1 01が取得した画像のある画素が低輝度領域(「 陰領域または低反射率領域」および影領域を 含む領域)であるかどうかを推定する処理部� �ある。

 図33は、この領域分割部1031による処理の� ��れを示すフローチャートである。まず、低� ��度画素検出部311は、偏光画像撮像部101が取� ��した画像のある画素の輝度値を評価する(S50 1)。これは、前述のステップS201と同様に、輝 度値が閾値以下かそうでないかを評価する。 このような低輝度領域を推定するための閾値 は実験的に決定すればよく、例えば、16ビッ� ��モノクロ画像に対しては、256を設定すれば� ��い。このような閾値はDB302に保持しておけ� �よい。輝度値が閾値より大きかった場合(S501 でNo)、領域分割部1031は、その画素において� �散反射成分が支配的であるか、鏡面反射成� �が支配的であるかを、前述のステップS202と� ��様の方法(偏光度比較部303による比較)で判� �する(S502)。拡散反射鏡面反射分類処理(S502)� �終了後、領域判断部305は、すべての画素の� �学的分類が完了したかどうかをチェックす� �(S503)。もし、まだ分類を行なっていない画� �が存在する場合(S503でNo)、低輝度画素検出部 311は、別の画素の輝度値を評価する(S501)。ま た、すべての画素の光学的分類が完了した場 合(S503でYes)、領域分割部1031は、処理を終了� �る。

 一方、画素の輝度値が閾値以下であった� ��合(S501でYes)、その画素が「陰領域または低� ��射率領域」か影領域かが判断される(S504)。� ��れは、前述のように、偏光推定誤差比較部3 04が、式8で定義される偏光推定誤差Eの大き� �を評価する(偏光推定誤差Eと閾値Th_Errとを比 較する)ことにより、実現される。その結果� �偏光推定誤差Eの大きさが閾値Th_Errより大き� ��った場合(S504でYes)、領域判断部305は、画素� ��影領域であると判断し(S505)、一方、偏光推� ��誤差Eの大きさが閾値Th_Errより小さかった場 合(S504でNo)、領域判断部305は、画素が「陰領� ��または低反射率領域」であると判断する(S50 6)。このときの閾値Th_Errは前述の方法で決定� ��ればよい。領域分割を行なった結果は、蓄� ��部306へ蓄積される。

 法線情報生成部1041は、領域分割部1031が� �なった領域分割結果に基づき、偏光情報か� �法線情報を生成する。この法線情報生成部10 41は、構成要素としては、第1の実施の形態に おける法線情報生成部104と同様の構成、つま り、図20に示されるように、蓄積部306、領域� ��照部307、拡散反射仮定法線情報生成部308お� ��び鏡面反射仮定法線情報生成部309を備える� ��ただし、この法線情報生成部1041は、第1の� �施の形態と異なり、陰領域を「陰領域また� �低反射率領域」として法線情報を生成する� �

 図34は、この法線情報生成部1041による処� ��の流れを示すフローチャートである。なお� ��図34において、図21と共通のステップには図 21と同一の符号を付しており、その詳細な説� ��を省略する。

 法線情報生成部1041の領域参照部307は、領 域分割部1031が検出した光学的領域分割の結� �を基に、画素において拡散反射成分が支配� �かどうかを判断する(S301)。この処理は、領� �判断部305の結果が蓄積されている蓄積部306� �ら領域分割結果を読み出せばよい。もし、� �散反射成分が支配的であると判断された場� �(S301でYes)、拡散反射仮定法線情報生成部308� �、その画素の法線情報を拡散反射仮定で生� �する(S302)。具体的には、出射面における法� �の1自由度を、偏光板を回転させて変化する� ��度の最大値となる角度として求める。また� ��画素は拡散反射成分が支配的ではなく(S301� �No)、鏡面反射成分が支配的、または「陰領� �または低反射率領域」であった場合(S306でYes )、鏡面反射仮定法線情報生成部309は、その� �素の法線情報を鏡面反射仮定で生成する(S304 )。具体的には、入射面における法線の1自由� ��を、偏光板を回転させて変化する輝度の最� ��値となる角度として求める。一方、画素が� ��領域であった場合、(S303でNo)、画素の偏光� �報は誤差が支配的であり、正確な法線情報� �生成できないと判断し、法線情報生成部1041� ��、法線情報生成処理を行なわない(S305)。

 以上のように、本実施の形態における法� ��情報生成装置によれば、低輝度領域を「陰� ��域または低反射率領域」と影領域とに分類� ��、「陰領域または低反射率領域」に関して� ��、鏡面反射を仮定することで、正確な法線� ��報が生成される。また、偏光情報に誤差が� ��く、法線情報生成を行なっても精度が極端� ��悪くなる影領域に関しては、法線情報生成� ��理を行なわないことで、できるかぎり広い� ��域で高精度な法線情報生成を行なうことが� ��きる。

 なお、ステップS504において、その画素が 「陰領域または低反射率領域」か影領域かを 判断するために、偏光推定誤差ではなく、第 1の実施の形態と同様に、偏光度、偏光推定� �差と偏光度の両方、偏光位相を利用するよ� �にしても構わない。

 (第3の実施の形態)
 次に、本発明の第3の実施の形態における法 線情報生成装置について説明する。

 図35は、本実施の形態における法線情報� �成装置100cの構成を示す機能ブロック図であ� ��。この法線情報生成装置100cは、被写体の表 面における法線情報を生成する装置であり、 正確に法線情報を生成できる場合にだけ法線 情報を生成する点に特徴を有し、図1に示さ� �る法線情報生成装置100の構成に加えて、撮� �条件判定部106を備える。なお、図35において 、図1と共通の構成要素には図1と同一の符号� ��付しており、その詳細な説明を省略する。

 撮像条件判定部106は、偏光画像撮像部101� ��よる撮像の対象となる撮像シーンが、法線� ��報生成部104が正確な法線情報を生成できる� ��像条件として予め定められた撮像条件を満� ��しているか否かを判定する処理部である。

 図36は、この撮像条件判定部106の詳細な� �成を示す機能ブロック図である。この撮像� �件判定部106は、DB302、光軸方向検出部312およ び光軸方向比較部313を備える。

 光軸方向検出部312は、法線情報生成装置1 00cの光軸方向を検出する角度センサ等である 。

 光軸方向比較部313は、法線情報生成装置1 00cが水平面(地平面)よりも上方を向いている� ��どうかを判断する処理部である。

 ここで、本実施の形態においても、第1の 実施の形態で説明したように、撮影シーンは 、条件1が満たされていることを必要とする� �

 条件1:「被写体が存在する撮影シーンには� �近傍に広い面を有する物体が存在し、ある� �い面から被写体に関して反対方向には光源� �存在する」
 ただし、法線情報生成装置100cが置かれてい る状況においては、上記条件1が満たされて� �るとは限らない。そこで、本実施の形態で� �、撮像条件判定部106は、上記条件1が満たさ� ��ているかどうかを判定する。ここで、光源� ��上方にあることが多いことに着目すると、� ��件1は、以下の条件2では満たされない。

 条件2:「撮像者が上方を撮影する」
 この条件2は、例えば、以下のような撮影シ ーンでは成り立つ。
1.屋外シーンにおいて、空や月、星などを撮� ��する。
2.屋内シーンにおいて、蛍光灯が光っている� ��井方向を撮影する。

 上記撮影シーン1の場合、例えば三日月を 撮影することを考える。三日月の陰影領域は 陰領域であると考えられる。しかし、この陰 影領域は、地球照と呼ばれる地球からの多重 反射である照り返しにより輝度を持つ。その ため、陰領域ではあるが、多重反射光の入射 方向は地球のみの非常に限られた範囲になり 、正反射成分である鏡面反射成分はほとんど 存在しないと考えられる。そのため、法線情 報生成装置100cは正確に機能しない。そこで� �撮像条件判定部106は、法線情報生成装置100c� ��正確に機能する(正確に法線情報を生成でき る)かどうかを判断し、機能すると考えられ� �場合には、陰領域、影領域分割処理を行な� �、機能しないと考えられる場合には、陰影� �域の分割処理を中止し、陰影領域からの法� �情報生成処理を中止する。

 図37は、本実施の形態における法線情報� �成装置100cが搭載されたカメラ200aのハードウ ェア構成例を示している。このカメラ200aは� �法線情報を生成する機能を備える撮像装置� �あり、パターン偏光子201、撮像素子202、メ� �リ203、CPU204、角度センサ205、表示部208およ� �スピーカ209を備える。なお、図37において、 図2と共通の構成要素には図2と同一の符号を� ��しており、その詳細な説明を省略する。

 角度センサ205は、カメラ200aの光軸方向を 検出し、その情報を出力する。

 表示部208は、撮像条件判定部106によって� ��像シーンが上記条件1を満たさないと判断さ れた場合に、その旨のメッセージを表示する ディスプレイである。

 スピーカ209は、撮像条件判定部106によっ� ��撮像シーンが上記条件1を満たさないと判断 された場合に、その旨のメッセージを音声で 出力する。

 なお、図36に示された光軸方向検出部312� �、図37に示された角度センサ205によって実現 される。図36に示された光軸方向比較部313は� ��図37に示されたCPU204がメモリ203に格納され� �プログラムを実行することによって実現さ� �る。

 図38は、本実施の形態における法線情報� �成装置100cによる処理の流れを示すフローチ� ��ートである。なお、図38において、図4と共� ��のステップには図4と同一の符号を付してお り、その詳細な説明を省略する。

 本実施の形態では、光軸方向検出部312(角 度センサ205)は、法線情報生成装置100c(カメラ 200a)の光軸方向を示す光軸方向情報を取得す� ��(S106)。こうして求めた光軸方向情報を利用� ��て、撮影シーンが、法線情報の生成が実現� ��能な環境であるかどうかが判断される(S107)� ��これは、光軸方向比較部313が、法線情報生� ��装置100c(カメラ200a)の光軸方向が上方を向い ているかどうかを判断することによって行わ れる。光軸方向比較部313は、例えば、光軸が 水平方向から45度以上上方を向いている場合� ��は、光軸方向が上方を向いていると判断す� ��。この閾値45度は、実験的に決定すればよ� �、このような閾値は、DB302に保持しておけば よい。ここで、光軸方向が上方を向いている と判断された場合、撮像条件判定部106は撮像 シーンが条件1を満たさないと判断し(S107でNo) 、領域分割部103は、偏光情報生成部102が生成 した偏光情報や偏光画像撮像部101が取得した 輝度情報を利用し、画像を拡散反射領域、鏡 面反射領域、陰影領域に分類する(S108)。この ケースでは、条件1が満たされていないため� �陰影領域を陰領域と影領域とに分類するこ� �は行なわれない。続いて、法線情報生成部10 4は、領域分割部103が行なった領域分割結果� �基づき、偏光情報から法線情報を生成する(S 109)。図39は、この処理(S109)の詳細な流れを示 すフローチャートである。なお、図39におい� ��、図21と共通のステップには図21と同一の符 号を付しており、その詳細な説明を省略する 。

 法線情報生成部104は、領域分割部103が検� ��した光学的領域分割の結果を基に、画素に� ��いて拡散反射成分が支配的かどうかを判断� ��る(S301)。もし、拡散反射成分が支配的であ� ��と判断された場合(S301でYes)、法線情報生成� ��104は、その画素の法線情報を拡散反射仮定� ��生成する(S302)。具体的には、出射面におけ� ��法線の1自由度を、偏光板を回転させて変化 する輝度の最大値となる角度として求める。 また、画素は拡散反射成分が支配的ではなく (S301でNo)、鏡面反射成分が支配的であった場� ��(S307でYes)、法線情報生成部104は、その画素� ��法線情報を鏡面反射仮定で法線情報を生成� ��る(S304)。具体的には、入射面における法線� ��1自由度を、偏光板を回転させて変化する輝 度の最小値となる角度として求める。一方、 画素が陰影領域であった場合、つまり、拡散 反射成分も鏡面反射成分も支配的ではない場 合(S307でNo)、法線情報生成部104は、画素の偏� ��情報は誤差が支配的であり、正確な法線情� ��は生成できないと判断し、法線情報生成処� ��を行なわない(S305)。

 一方、光軸方向が上方を向いていないと� ��断された場合(S107でYes)、撮像条件判定部106� ��、撮像シーンが条件1を満たすと判断し、領 域分割部103が光学的領域分割処理を行ない(S1 03)、続いて、法線情報生成部104が法線情報を 生成する(S104)。

 なお、撮像条件判定部106によって撮像シ� ��ンが条件1を満たさないと判断された場合、 表示部208が「陰影領域の法線情報生成処理が 実現できません」などとディスプレイに表示 したり、スピーカ209が音声信号を発生させる ことで同様のメッセージを撮像者に伝えるの が望ましい。

 もっとも、撮像条件判定部106によって撮� ��シーンが条件1を満たさないと判断された場 合、光学的領域分割処理や法線情報生成処理 を行なわないのではなく、陰影領域に関して は拡散反射仮定で法線情報を生成し、表示部 208が「法線情報生成処理が不安定です」など とディスプレイに表示したり、スピーカ209が 音声信号で発生させることで同様のメッセー ジを撮像者に伝えるようにしても構わない。

 また、撮像条件判定部106によって撮像シ� ��ンが条件1を満たさないと判断された場合、 法線情報生成部104は、陰影領域に関しては、 近傍の法線情報を利用して、補間処理などで 、法線情報を合成しても構わない。補間処理 については、従来の手法を利用すればよい。

 また、撮像条件判定部106は、光軸方向検� ��部312を利用するものに限るわけではなく、� ��えば、法線情報生成装置100cが置かれている 環境を認識する機能を有する処理部を利用す るようにしても構わない。これは、例えば、 ソナーなどを利用することで実現する。この ような環境認識機能を有する本実施の形態の 変形例に係る法線情報生成装置について説明 する。

 図40は、そのような変形例に係る法線情� �生成装置が搭載されたカメラ200bのハードウ� ��ア構成例を示している。このカメラ200bは、 図37に示された本実施の形態におけるカメラ2 00aの構成のうち、角度センサ205をソナー210に 置き換えた構成を備える。なお、図40におい� ��、図37と共通の構成要素には図37と同一の符 号を付しており、その詳細な説明を省略する 。

 図41は、この変形例に係る法線情報装置� �備える撮像条件判定部106aの詳細な構成を示� ��機能ブロック図である。なお、この変形例� ��係る法線情報生成装置は、図35に示された� �実施の形態における法線情報生成装置100cの� ��成のうち、撮像条件判定部106を撮像条件判� ��部106aに置き換えた構成を備える。この撮像 条件判定部106aは、音波を発生し、音波の反� �波を受信することで、周囲の対象物までの� �離を測定するソナーを有し、ソナーによっ� �当該法線情報生成装置の近傍に物体がある� �否かを判断し、物体がないと判断した場合� �、撮像シーンが撮像条件を満たしていない� �判定する点に特徴を有し、DB302、撮像環境検 出部315および撮像環境認識部316を備える。な お、図41において、図36と共通の構成要素に� �図36と同一の符号を付しており、その詳細な 説明を省略する。

 撮像環境検出部315は、周囲の対象物まで� ��距離を測定し、その距離情報を撮像環境情� ��として生成する処理部であり、図40に示さ� �たソナー210に相当する。

 撮像環境認識部316は、撮像環境検出部315� ��らの撮像環境情報を利用して、撮影シーン� ��光学的領域分割が実現可能な環境であるか� ��うかを判断する処理部である。

 図42は、この変形例に係る法線情報生成� �置による処理の流れを示すフローチャート� �ある。なお、図42において、図38と共通のス� ��ップには図38と同一の符号を付しており、� �の詳細な説明を省略する。

 本変形例に係る法線情報生成装置では、� ��像環境検出部315は、撮像環境情報をソナー2 10で取得する(S111)。このソナー210は、アクテ� ��ブソナーであり、超音波や音波を発生させ� ��その反射波を受信することで、周囲の対象� ��までの距離を測定する装置である。そのた� ��、ソナー210を利用することで、カメラ200bの 周囲に物体があるかないか、また、物体があ る場合、その物体までの距離情報を撮像環境 情報として取得できる。なお、ソナー210は、 魚群探知機などに広く使用されており、公知 であるため、詳細な説明は省略する。

 こうして求めた撮像環境情報を利用して� ��撮影シーンが、光学的領域分割が実現可能� ��環境であるかどうかが判断される(S107)。こ� ��は、撮像環境認識部316が、カメラ200bの近傍 に物体があるかどうかを判断することによっ て行われる。具体的には、撮像環境検出部315 は、カメラ200bの周囲(全方位)の物体までの距 離情報を取得し、その距離が一定値TH_Sより� �い立体角の大きさを評価すればよい。この� �うな立体角の大きさが閾値TH_SRより小さい場 合、撮像条件判定部106は撮像シーンが条件1� �満たさないと判断し(S107でNo)、領域分割部103 は、偏光情報生成部102が生成した偏光情報や 偏光画像撮像部101が取得した輝度情報を利用 し、画像を拡散反射領域、鏡面反射領域、陰 影領域に分類する(S108)。条件1が満たされて� �ないため、陰影領域を陰領域と影領域とに� �類することは行なわない。さらに法線情報� �成部104は、領域分割部103が行なった領域分� �結果に基づき、偏光情報から法線情報を生� �する(S109)。一方、このような立体角の大き� �が閾値TH_SRより大きい場合、撮像条件判定部 106は撮像シーンが条件1を満たすと判断し(S108 でYes)、領域分割部103によって光学的領域分� �処理を行ない、さらに法線情報生成部104に� �って法線情報を生成する。

 なお、このような閾値TH_S、TH_SRは実験的� ��決定すればよく、また、DB302に保持してお� �ばよい。

 以上のように、本実施の形態における法� ��情報生成装置によれば、陰影領域を陰領域� ��影領域とに分類し、陰領域に関しては、鏡� ��反射を仮定することで、正確な法線情報が� ��成される。また、偏光情報に誤差が多く、� ��線情報生成を行なっても精度が極端に悪く� ��る影領域に関しては、法線情報生成処理を� ��なわないことで、できるかぎり広い領域で� ��精度な法線情報生成を行なうことができる� ��さらに、もし、陰影領域の分類が困難な場� ��には、精度の悪い結果を求めるのではなく� ��処理ができないことを撮像者に知らせるこ� ��で、信頼度の高い法線情報生成処理を行な� ��ことができる。

 (第4の実施の形態)
 次に、本発明の第4の実施の形態における法 線情報生成装置について説明する。

 図43は、本実施の形態における法線情報� �成装置100dの構成を示す機能ブロック図であ� ��。この法線情報生成装置100dは、被写体の表 面における法線情報を生成する装置であり、 信頼性の低い法線情報を生成しない点に特徴 を有し、図1に示される法線情報生成装置100� �構成に加えて、信頼性判定部107を備える。� �お、図43において、図1と共通の構成要素に� �図1と同一の符号を付しており、その詳細な� ��明を省略する。また、本実施の形態におけ� ��法線情報生成装置100dが搭載されたカメラは 、図2に示される第1に実施の形態におけるカ� ��ラ200と同じハードウェア構成を有している� ��

 信頼性判定部107は、領域分割部103による� ��学的領域分割結果を利用して、光学的領域� ��割結果の信頼性を評価し、信頼性がない場� ��には光学的領域分割結果および法線情報を� ��棄する。その結果、信頼性がない領域の法� ��情報が破棄される。

 図44は、本実施の形態における法線情報� �成装置100dによる処理の流れを示すフローチ� ��ートである。なお、図44において、図4およ� ��図38と共通のステップには図4および図38と� �一の符号を付しており、その詳細な説明を� �略する。信頼性判定部107は、領域分割部103� �光学的領域分割結果を利用して、上述した� �件1が満たされているかどうか、つまり、光� ��的領域分割結果の信頼性を評価する(S107)。� ��頼性がない場合には(S107でNo)、信頼性判定� �107は、光学的領域分割結果および法線情報� �成部104が生成した法線情報を廃棄する(S110)� �

 ここで、条件1が満たされているかどうか を判断するためには、陰影領域内に正反射多 重反射光の影響により鏡面反射成分が支配的 となる陰領域が存在するかどうかを判断すれ ばよい。そのために、ここでは、撮像された 偏光画像の偏光度と輝度値を利用して信頼性 を評価する方法を説明する。これは、陰影領 域において、鏡面反射偏光特性を示す画素が 存在しない場合、つまり、撮像された画像上 に陰領域が存在しない場合、条件1を満たし� �いないと判断すればよい。

 図45は、信頼性判定部107の詳細な構成を� �す機能ブロック図である。信頼性判定部107� �、DB302、蓄積部306および陰領域存在判断部314 を備える。

 蓄積部306は、領域分割部103によって行な� ��れた領域分割結果を蓄積している。

 陰領域存在判断部314は、蓄積部306に蓄積� ��れた領域分割結果を参照し、十分な(予め定 められたしきい値以上の)大きさの陰領域が� �割されているかどうかを判断する処理部で� �る。

 図44に示される信頼性判定部107による処� �(S107、S110)の詳細は以下の通りである。

 陰領域存在判断部314は、蓄積部306に蓄積� ��れた領域分割結果を参照し、十分な大きさ� ��陰領域が分割されているかどうかを判断す� ��(S107)。その結果、撮像画像中に十分な大き� ��、例えば、VGA画像において100画素以上の陰� ��域が存在しなかった場合(S107でNo)、信頼性� �定部107は、撮像シーンが条件1を満たさない� ��判断し、陰影領域に関する光学的領域分割� ��果および法線情報を廃棄する(S110)。このと� ��、表示部208が「陰影領域の法線情報生成処� ��が実現できません」などとディスプレイに� ��示したり、スピーカ209が音声信号を発生さ� ��ることで撮像者に伝えることが望ましい。� ��方、もし、撮像画像中に陰領域が存在した� ��合(S107でYes)、信頼性判定部107は、撮像シー� ��が条件1を満たすと判断し、生成した法線情 報を出力する。ここで、陰領域の大きさの閾 値は実験的に決定すればよく、このような閾 値はDB302に保持しておけばよい。

 以上のように、本発明の法線情報生成装� ��によれば、陰影領域を陰領域と影領域とに� ��類し、陰領域に関しては、鏡面反射を仮定� ��ることで、正確な法線情報が生成される。� ��た、偏光情報に誤差が多く、法線情報生成� ��行なっても精度が極端に悪くなる影領域に� ��しては、法線情報生成処理を行なわないこ� ��で、できるかぎり広い領域で高精度な法線� ��報生成を行なうことができる。さらに、も� ��、陰影領域の分類が困難な場合には、精度� ��悪い結果を求めるのではなく、処理ができ� ��いことを撮像者に知らせることで、信頼度� ��高い法線情報生成処理を行なうことができ� ��。

 以上、本発明に係る法線情報生成装置に� ��いて、第1~第4の実施の形態およびその変形� ��を用いて説明したが、本発明は、これらの� ��施の形態および変形例に限定されるもので� ��ない。

 各実施の形態および変形例における任意� ��構成要素を組み合わせて実現される別の形� ��や、各実施の形態および変形例に対して当� ��者が思いつく変形を施して得られる形態も� ��発明に含まれる。また、図46に示されるよ� �に、本発明に係る法線情報生成装置を内蔵� �るデジタルスチルカメラやデジタルムービ� �カメラ等の応用製品も本発明に含まれる。

 また、信頼性判定部107によって撮像シー� ��が条件1を満たさないと判断された場合、法 線情報生成処理を行なわないのではなく、処 理は行なうが、表示部208が「法線情報生成処 理が不安定です」などとディスプレイに表示 したり、スピーカ209が音声信号を発生させる ことで撮像者に伝えるようにしても構わない 。

 また、信頼性判定部107によって撮像シー� ��が条件1を満たさないと判断された場合、陰 影領域だけではなく、すべての法線情報を廃 棄するようにしても構わない。

 また、図14等に示される陰影領域検出部30 1は、影領域を検出するために、まず輝度値� �用いて陰影領域を判断したが(図15のS201等)、 本発明は、このような手順に限定されず、偏 光情報生成部102によって生成された偏光情報 だけで影領域を検出してもよい。このような 処理は、油絵など、影領域は存在するが、陰 領域が存在しないことが分かっている被写体 に対して有効である。これは、黒い絵の具の ように、十分に小さい反射率をもつ被写体が 存在する場合、前述の輝度値による判断のみ では陰影領域と黒い絵の具の区別がつかない ためである。このような、本実施の形態の変 形例に係る法線情報生成装置について図を用 いて詳述する。

 このような変形例に係る法線情報生成装� ��の構成を示す機能ブロック図は図1と同様で あるため、ブロック構成の説明は省略する。

 図47は、このような変形例に係る法線情� �生成装置による陰影検出処理の流れを示す� �ローチャートである。つまり、図15に示され た陰影領域検出処理(S201、S202、S204~S206)の別� �手法を示すフローチャートである。図47に示 されるように、偏光度比較部303は、画素の偏 光度が閾値TH_PSより小さいか、大きいかを調� ��る(S407)。画素の偏光度が閾値TH_PDSより大き� ��った場合(S407でNo)、陰影領域検出部301は、� �の画素は影領域ではないと判断し(S402)、そ� �画素において拡散反射が支配的であるか鏡� �反射が支配的であるかを判定し(S202)、処理� �終了する。一方、偏光度が閾値TH_PSより小さ かった場合(S407でYes)、陰影領域検出部301は、 その画素が影領域であると判断し(S405)、処理 を終了する。

 図48は、油絵の被写体を撮影した場合の� �光度ρを画像として表示した図である。この 図において、図48(a)は被写体である油絵の画� ��を示し、図48(b)は、図48(a)に示された画像に 対応する偏光度ρ(つまり、偏光情報生成部102 によって生成された偏光情報)を示している� �また、図49は、このような変形例に係る法線 情報生成装置によって、図48(a)に示される画� ��に対して、図48(b)に示される偏光度ρを用い て抽出された影領域を示している。この図に おける黒色領域が、抽出された影領域である 。なお、こうして抽出された影領域を最終的 な影領域として出力してもよいし、あるいは 、このように抽出された影領域に対して、画 像処理で広く使われている領域の収縮膨張処 理を行なうことにより、新たに再定義した領 域を最終的な影領域として出力してもよい。

 このような変形例に係る法線情報生成装� ��による画像処理のメリットは次の通りであ� ��。図48及び図49において、領域Aは影領域を� �領域Bは黒い絵の具の領域を示している。図4 8(a)に示される画像では、これら領域Aと領域B の輝度情報がほぼ等しいことから分かるよう に、領域Aと領域Bとの分離が困難である。し� ��しながら、図48(b)の偏光度情報を利用する� �とで、図49に示されるように、領域Aは影領� �であり、領域Bは影領域ではないと、正しく� ��域抽出ができている。