以下、本発明の実施の形態について、図� ��を参照しながら説明する。なお、本実施の� ��態では、本発明に係る画像処理装置の一例� ��して、光学的領域分割装置について説明す� ��。

 (第1の実施の形態)
 まず、本発明の第1の実施の形態における光 学的領域分割装置の概要について説明する。

 図1は、本実施の形態における光学的領域 分割装置100の構成を示す機能ブロック図であ る。この光学的領域分割装置100は、被写体の 画像における陰影に関する処理を行う画像処 理装置の一例であり、ここでは、被写体を撮 像することによって被写体の表面を光学的に 領域分割する装置であり、画像情報取得部110 、陰影領域抽出部120及び出力部を備える。

 画像情報取得部110は、被写体からの光の� ��度に関する情報である輝度情報及び被写体� ��らの光の偏光に関する情報である偏光情報� ��含む被写体画像に関する情報を取得する処� ��部であり、偏光画像撮像部101及び偏光情報� ��成部102を有する。なお、この画像情報取得� ��110は、被写体画像を構成する単位画像ごと� ��、輝度情報及び偏光情報を取得する。

 画像情報取得部110における偏光画像撮像� ��101は、偏光主軸角度が異なる複数の偏光子� ��透過してくる光を受光することで、被写体� ��偏光画像を取得する処理部である。

 画像情報取得部110における偏光情報生成� ��102は、偏光画像撮像部101によって取得され� ��偏光画像から、当該偏光画像を構成する画� ��領域のそれぞれについて、複数の偏光子の� ��光主軸角度と複数の偏光子を透過した光の� ��度との対応関係を用いて、受光した偏光に� ��する情報である偏光情報を生成する処理部� ��ある。

 陰影領域抽出部120は、画像情報取得部110� ��取得された輝度情報及び偏光情報に基づい� ��、単位画像の単位で、光の当たり方によっ� ��被写体の表面に生じる「かげ」の領域であ� ��陰領域、及び、被写体によって光が遮断さ� ��たことによって他の物体上に生じる「かげ� ��の領域である影領域を、被写体画像から抽� ��する処理部であり、本実施の形態では、領� ��抽出の一例である領域分割をする領域分割� ��103を有する。

 陰影領域抽出部120における領域分割部103� ��、偏光画像の輝度情報と偏光情報生成部102� ��生成された偏光情報とにおける類似性(共通 性)を利用して、偏光画像を、光学的に共通� �る画像領域の集まりからなる複数の領域に� �割する処理部である。このとき、領域分割� �103は、画像領域の輝度と予め定められたし� �い値とを比較し、輝度がしきい値よりも小� �い場合に、当該画像領域を、陰影領域(陰領� ��及び影領域)を含む低輝度領域(本実施の形� �では、陰影領域)として、領域分割をする。

 なお、この領域分割部103は、画像(ここで は、偏光画像)に対して領域分割をするが、� �発明における陰影領域抽出部の動作として� �、領域分割に限られず、領域抽出(つまり、� ��像の一部の領域を特定する処理)でよい。つ まり、本明細書では、発明の理解を容易にす るために、領域抽出の一例として、画像の全 領域を、陰領域及び影領域を含む複数の種類 の領域のいずれかに分割する領域分割につい て説明するが、本発明に係る画像処理装置と しては、このような領域分割に限られず、画 像の一部の領域を特定する領域抽出でよい。 よって、本明細書における「領域分割(領域� �分割)」は、「領域抽出(領域の抽出)」と読� �替えてもよい。また、本明細書における「� �域検出(領域の検出)」は、「領域抽出(領域� �抽出)」と同義である。

 出力部130は、陰影領域抽出部120で抽出さ� ��た陰領域及び影領域を特定する情報を出力� ��る処理部であり、識別子付加部131及び陰影� ��域出力部132を有する。

 出力部130における識別子付加部131は、陰� ��領域抽出部120で抽出された陰領域及び影領� ��を構成する単位画像に対して、それぞれ、� ��領域及び影領域であることを示す識別子を� ��与し、付与した識別子を出力する。

 出力部130における陰影領域出力部132は、� ��影領域抽出部120で抽出された陰領域及び影� ��域を特定する情報として、それぞれ、被写� ��画像における陰領域及び影領域に対応する� ��分(画像)を出力する。

 図2は、本実施の形態における光学的領域 分割装置100が搭載されたカメラ200のハードウ ェア構成例を示している。図3は、図2に示さ� ��たパターン偏光子201と撮像素子202との関係� ��示した模式図である。このカメラ200は、撮� ��画像を光学的に領域分割する機能を備える� ��像装置であり、パターン偏光子201、撮像素� ��202、メモリ203、CPU204および発光装置207を備� ��る。

 パターン偏光子201は、図3に示されるよう に、偏光主軸角度ψi=0°、45°、90°、135°の4種 類の偏光子を1組として2次元状に配置された� ��光子の集まりである。

 撮像素子202は、図3に示されるように、パ ターン偏光子201を構成する個々の偏光子を透 過した光を受光する2次元状に配置された画� �(受光素子)の集まりであり、撮像素子202の撮 像面に平行に設置されることが望ましい。な お、パターン偏光子201における4個(4種類)の� �光子と、撮像素子202における対応する4個の� ��素(受光素子)とから、撮像単位206が構成さ� �る。この撮像単位206によって得られる画像� �、偏光情報生成部102および領域分割部103に� �ける各処理の単位(「単位画像」)である。つ まり、光学的領域分割装置100は、撮像単位206 によって得られる単位画像(以下、「画素」� �もいう。)ごとに、偏光情報の生成および領� ��分割を行なう。

 メモリ203は、CPU204の作業領域としてのRAM� ��よびプログラム等が格納されたROMを含む。

 CPU204は、メモリ203に格納されたプログラ� ��を実行し、メモリ203にアクセスしたり、撮� ��素子202および発光装置207を制御するプロセ� ��サである。

 発光装置207は、被写体に投光するフラッ� ��ュである。

 なお、図1に示された偏光画像撮像部101は 、図2に示されたパターン偏光子201および撮� �素子202によって実現される。図1に示された� ��光情報生成部102および領域分割部103は、図2 に示されたCPU204がメモリ203に格納されたプロ グラムを実行することによって実現される。 また、メモリ203は、偏光画像撮像部101で取得 された偏光画像、偏光情報生成部102で生成さ れた偏光情報、および、一時的に発生する各 種パラメータ等を格納する作業領域としても 使用される。

 図4は、本実施の形態における光学的領域 分割装置100による処理の流れを示すフローチ ャートである。まず、偏光画像撮像部101は、 パターン偏光子201を通して被写体を撮像素子 で受光することで、偏光情報を含んだ画像で ある偏光画像を撮像する(S101)。偏光情報生成 部102は、偏光画像撮像部101が撮像した偏光画 像の輝度変化を利用して、偏光情報を生成す る(S102)。領域分割部103は、偏光情報生成部102 が生成した偏光情報や偏光画像撮像部101が取 得した輝度情報を利用し、画像を拡散反射領 域、鏡面反射領域および低輝度領域(本実施� �形態では、陰領域および影領域)に領域分割� ��る(S103)。

 次に、本実施の形態における光学的領域� ��割装置100の各構成要素の詳細な機能を説明� ��る。

 まず、偏光画像撮像部101の詳細な機能に� ��いて説明する。偏光画像撮像部101は、被写� ��からの光をパターン偏光子201を通して撮像� ��子202で受光することで、偏光情報を含んだ� ��光画像を取得する。図5は、図3に示された� �像単位206を入射光方向から眺めた模式図で� �る。本図において、各偏光子(各画素)内の直 線は、各画素上に設置された微小偏光板の偏 光主軸方向を示している。すなわち、この撮 像単位206は、偏光軸の回転角(ψi=0°、45°、90� �、135°)の4種類の偏光方向を有する画素を持� ��。パターン偏光子は、TM波が透過、TE波が反 射(透過せず)という偏光特性を示す。

 このような特性は、例えば、『川島、佐� ��、川上、長嶋、太田、青木、“パターン化� ��光子を用いた偏光イメージングデバイスと� ��用技術の開発”、電子情報通信学会2006年総 合全国大会、No.D-11-52、P52、2006』:非特許文献 3に記載されたフォトニック結晶を用いて作� �することができる。フォトニック結晶の場� �、表面に形成された溝に平行な振動面を持� �光がTE波、垂直な振動面を持つ光がTM波とな� ��。

 この偏光情報の撮影に際しては、輝度の� ��イナミックレンジとビット数は、なるべく� ��きいこと(例えば16ビット)が望ましい。

 次に、偏光情報生成部102の詳細な機能に� ��いて説明する。偏光情報生成部102は、偏光� ��像撮像部101が取得した偏光画像を利用して� ��偏光情報を生成する処理部である。

 偏光子を透過した輝度は、偏光子の偏光� ��軸角によって変化することが知られている� ��図6は、異なる偏光主軸角度ψi=0°、45°、90° 、135°の4種類の偏光子を透過した輝度401~404� �1本の正弦関数カーブを形成する様子を示す� ��つまり、この正弦関数カーブは、図5の点501 における偏光特性を示している。なお、偏光 主軸角度の0°と180°(π)は同一である。また、 この正弦関数カーブを求める際、撮影ガンマ =1となるカメラを用いるか、リニアリティ補� ��により撮影ガンマ=1となるように補正する� �とが望ましい。この4点は、1本の正弦関数カ ーブ上にちょうど乗るように描かれているが 、実際には、多数の観測点から180度周期の正 弦関数が最適値として1本決定されるのが好� �しい。

 この偏光情報生成部102は、偏光情報とし� ��、このカーブの振幅と位相情報を生成する� ��具体的には、パターン偏光子201の主軸角ψ� �対する反射光輝度Iを以下のように近似する� ��

 ここで、図6に示されるように、式1にお� �るA、B、Cは定数であり、それぞれ、偏光子� �よる輝度の変動カーブの振幅、位相、平均� �を表現している。ところで、式1は、以下の� ��うに展開できる。

 ただし、

 つまり、4画素のサンプル(ψi、Ii)におい� �、以下の式5を最小にするA、B、Cを求めれば� ��弦関数(式1)の近似ができる。ただし、Iiは� �偏光板回転角ψi時の観測輝度を示している� �また、Nはサンプル数であり、ここでは、4で ある。

 以上の処理により、正弦関数近似のA、B� �Cの3パラメータが確定する。

 こうして求めたパラメータを利用して、偏� ��情報生成部102は、偏光情報として、以下の� ��ずれかまたは複数を生成する。
・偏光度ρ

・偏光位相φ(0°≦φ≦180°)

・偏光推定誤差E

 ここで、偏光度とは、光がどれだけ偏光� ��ているかを表す指標であり、偏光位相とは� ��偏光主軸角度に依存して変化する輝度が最� ��となる角度であり、偏光推定誤差とは、4画 素のサンプルについて観測された輝度と近似 によって得られた上述の正弦関数から定まる 輝度との差の合計である。

 図7は、球体であるプラスチック製ボール の被写体を撮影した場合の偏光度ρ、偏光位� ��φおよび偏光推定誤差Eを画像として表示し� ��図である。この図において、図7(a)は被写体 であるプラスチック製ボールの画像、図7(b)� �図7(a)の被写体に対する偏光度ρ、図7(c)は図7 (a)の被写体に対する偏光位相φ(0°が黒、180°� ��白)、図7(d)は図7(a)の被写体に対する偏光推� ��誤差Eを示している。また、図8は、図7の各� ��を模式的に示した図(濃淡を明瞭化した図)� �ある。いずれも輝度の白いほうが値が大き� �ことを意味しており、ボールの遮蔽エッジ� �近で偏光度が大きいこと、被写体の影に覆� �れていない領域では偏光位相が180°周期で球 体の周囲を反時計回りに単調増加しているこ とがわかる。この偏光位相は、回転させて変 化する輝度の最大値となる角度であり、被写 体が拡散反射であった場合の出射面の情報で ある。

 次に、領域分割部103の詳細な機能につい� ��説明する。領域分割部103は、偏光情報生成� ��102が生成した偏光情報と偏光画像撮像部101� ��取得した輝度情報を利用し、画像を拡散反� ��領域、鏡面反射領域、陰領域および影領域� ��領域分割する。

 ここで、拡散反射と鏡面反射について説� ��する。被写体表面の反射特性は、「てかり� ��である鏡面反射成分と、マットな反射成分� ��ある拡散反射成分との和として表現される� ��とが知られている。拡散反射成分は、被写� ��を照射する光源がいずれの方向に存在して� ��観測されるが、鏡面反射成分は、被写体の� ��線方向と視線方向に対し、ほぼ正反射方向� ��光源が存在する場合にのみ観測される方向� ��存性の強い成分である。これは、偏光特性� ��関しても成り立つ。

 被写体が「てかり」である鏡面反射を生� ��る物体である場合、すべての方向から光が� ��射された場合、被写体は正反射成分である� ��面反射による影響を強く受けることが知ら� ��ている(例えば、透明物体に関しては、斉藤 めぐみ、佐藤洋一、池内克史、柏木寛、“ハ イライトの偏光解析にもとづく透明物体の表 面形状測定”、電子情報通信学会論文誌 D-II 、Vol. J82-D-II、No.9、pp.1383-1390、1999:非特許文� ��4)。

 図9および図10は、それぞれ、被写体の屈� ��率n=1.1、1.3、1.5、2.0の場合における鏡面反� �成分および拡散反射成分の偏光度を示した� �ラフである(例えば、「L. B. Wolff and T. E.  Boult、 “Constraining object features using a polar ization reflectance model”、 IEEE Transactions on P attern Analysis and Machine Intelligence、 Vol.13、No .7、pp.635-657、1991」:非特許文献5参照)。ここ� �、図9の横軸は入射角、縦軸は偏光度を示し� ��いる。また、図10の横軸は出射角、縦軸は� �光度を示している。これらの図より、すべ� �の方向から光が入射された場合、拡散反射� �分に比べ、鏡面反射成分の偏光度が高くな� �ことがわかる。このことから、偏光特性と� �ても、鏡面反射成分が支配的になると推測� �れる。このことは、出射角が90°に近い、遮� ��エッジなどを除外した場合に成り立つ。

 次に、陰領域と影領域について説明する� ��図11は、陰領域と影領域(陰影領域の分類)を 説明するための模式図である。ここでは、あ る面1002に置かれた球状物体である被写体1001� ��、光源1003に照らされている様子が示されて いる。この図において、領域1004と領域1005は� ��どちらも、陰影領域を示している。領域1004 は、被写体1001の法線が光源1003を向いていな� ��ために生じる「陰領域」であり、領域1005は 、面1002において、遮蔽物である被写体1001に� ��って光が遮蔽されることによって生じる「� ��領域」である。

 次に、陰領域と影領域の偏光特性の違い� ��ついて説明する。まず、地上で撮影される� ��とんどの撮影シーンで成り立つ以下の条件1 が満たされた撮影シーンにおいて撮影が行な われると想定する。

 条件1:「被写体が存在する撮影シーンには� �近傍に広い面を有する物体が存在し、ある� �い面から被写体に関して反対方向には光源� �存在する」
 これは、例えば以下のような撮影シーンで� ��成り立つ。
1.屋内シーンにおいて、被写体であるボール� ��机の上に置かれている。また、このボール� ��天井に設置された蛍光灯で照らされている� ��
2.屋内シーンにおいて、被写体である人物が� ��床面に置かれた椅子に座っている。また、� ��の人物は、窓から差し込んでくる太陽光で� ��らされている。
3.屋外シーンにおいて、被写体である自動車� ��、道路上を走行している。この被写体は、� ��陽光で照らされている。

 また、壁や建物も広い面を有するため、� ��上で撮影されるほとんどの撮影シーンでは� ��この条件が成り立つ。

 この条件1が成り立つ場合に、まず陰領域 について説明する。図11に示されるように、� ��領域は、被写体の法線が光源と反対方向を� ��いているために生じる陰影(かげ)領域であ� �。ここで、条件1より、光源と反対方向には� ��い面が存在していることと、陰影領域には� ��際には多数の回り込み光(多重反射光)が存� �していることを考慮すると、陰領域には、� �まざまな方向から多重反射光が入射してい� �と考えられる。つまり、カメラ200と陰領域� �生じている画素の法線に対して、正反射と� �る多重反射光が存在すると考えられる。図12 は、この様子を示した模式図である。この図 において、カメラ1006は、本実施の形態にお� �る光学的領域分割装置100が搭載されたカメ� �、面1007は上記広い面を示している。

 ところで、前述のように、鏡面反射成分� ��偏光度は拡散反射成分に比べて高い。その� ��め、鏡面反射成分の反射特性を示す陰領域� ��、相対的に偏光度が高くなる。

 次に、影領域について説明する。図11に� �されるように、影領域は、何らかの遮蔽物� �よって光が遮蔽されることによって生じる� �影(かげ)領域である。ここで、条件1を考慮� �ると、影領域は、広い面と近い法線方向を� �った面に生じやすくなる。そのため、多重� �射光は、陰領域に比べ、限られた方向から� �か入射しない。このことから、正反射方向� �光源が存在する可能性は低いと考えられる� �図13は、この様子を示した模式図である。

 さらに、図10に示されるように、拡散反� �成分の偏光度は相対的に低い。このことか� �、影領域の偏光成分は比較的小さくなるこ� �がわかる。陰影領域では、輝度そのものが� �さくなるため、小さな偏光成分を推定する� �とは非常に困難である。そのため、影領域� �偏光推定誤差は非常に大きくなる。

 以上のことをまとめると、陰影領域の偏光� ��性は、以下のように分類される。
(1)陰領域
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
(2)影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

 この分類基準を利用することで、陰影領� ��を陰領域と影領域とに分類することができ� ��。たとえば、偏光情報が鏡面反射の偏光特� ��(偏光度が高い、あるいは、偏光推定誤差が 小さい)を示す低輝度領域を陰領域と分類す� �ことができる。このような性質を利用して� �域分割をする領域分割部103について、以下� �詳細に説明する。

 図14は、図1に示された光学的領域分割装� ��100における領域分割部103の詳細な構成を示� ��機能ブロック図である。この領域分割部103� ��、偏光情報生成部102が生成した偏光情報と� ��光画像撮像部101が取得した輝度情報を利用� ��、画像を拡散反射領域、鏡面反射領域、陰� ��域および影領域に領域分割する処理部であ� ��、陰影領域検出部301、DB302、偏光度比較部30 3、偏光推定誤差比較部304、領域判断部305お� �び蓄積部306を備える。

 陰影領域検出部301は、偏光画像撮像部101� ��取得した画像における画素が陰影領域であ� ��かどうかを推定する処理部である。

 DB302は、偏光度比較部303により参照され� �閾値TH_PDSおよび偏光推定誤差比較部304によ� �参照される閾値Th_Errを予め格納しているメ� �リ等である。

 偏光度比較部303は、DB302から閾値TH_PDSを� �み出し、陰影領域検出部301で陰影領域でな� �と推定された画素について、対象となる画� �の偏光度と閾値TH_PDSとを比較する処理部で� �る。

 偏光推定誤差比較部304は、DB302から閾値Th _Errを読み出し、陰影領域検出部301で陰影領� �であると推定された画素について、対象と� �る画素の偏光推定誤差Eと閾値Th_Errとを比較� ��る処理部である。

 領域判断部305は、偏光度比較部303および� ��光推定誤差比較部304での比較結果に応じて� ��対象の画素が拡散反射領域、鏡面反射領域� ��影領域および陰領域のいずれであるかを判� ��し、その結果を蓄積部306へ蓄積する。

 蓄積部306は、領域判断部305による領域分� ��の結果を格納するメモリ等である。

 図15は、この領域分割部103による処理の� �れを示すフローチャートである。まず、陰� �領域検出部301は、偏光画像撮像部101が取得� �た画像における画素が低輝度領域(本実施の� ��態では、陰影領域)であるかどうかを推定す る(S201)。これは、例えば、陰影領域は輝度値 が低いことを利用し、輝度値や偏光子による 輝度の変動カーブの振幅が閾値以下の画素を 陰影領域と推定すればよい。このように陰影 領域を推定するための閾値は実験的に決定す ればよく、例えば、16ビットモノクロ画像の� ��度値に対しては、256を設定すればよい。こ� ��ような閾値はDB302に保持しておけばよい。� �16(a)は、図7(a)の画像(その模式図である図8(a) )に対して、陰影検出処理を実施した結果で� �る。図の黒色領域が影として検出された結� �を示している。

 画素が陰影領域ではなかった場合(S201でNo )、偏光度比較部303は、その画素において拡� �反射成分が支配的であるか、鏡面反射成分� �支配的であるかを判断する(S202)。図17は、こ の偏光度比較部303による拡散反射鏡面反射分 類処理(S202)の詳細な流れを示すフローチャー トである。ここでは、偏光度比較部303は、前 述の「鏡面反射は偏光度が高い」ことを利用 して、画素が拡散反射と鏡面反射のどちらが 支配的かを判断する。まず、偏光度比較部303 は、画素の偏光度が閾値TH_PDSより小さいか、 大きいかを調べる(S211)。画素の偏光度が閾値 TH_PDSより小さかった場合(S211でYes)、領域判断 部305は、その画素では拡散反射が支配的であ る(その画素は拡散反射領域である)と判断す� ��(S212)。一方、偏光度が閾値TH_PDSより大きか� ��た場合(S211No)、領域判断部305は、その画素� �は鏡面反射が支配的である(その画素は鏡面� ��射領域である)と判断する(S213)。領域判断部 305は、領域分割の結果を蓄積部306に蓄積する 。

 なお、閾値Th_PDSは、被写体の屈折率や被� ��体の法線方向、光源方向、視線方向などか� ��設定するようにしても構わない。図9および 図10に示されるように、被写体の鏡面反射成� ��偏光度や拡散反射成分偏光度は屈折率と入� ��角、出射角が求まれば一意に決定できる。� ��のため、図9および図10で求まる鏡面反射成� ��偏光度や拡散反射成分偏光度をTh_PDSとして� ��用すればよい。また、被写体の屈折率や被� ��体の法線方向、光源方向、視線方向などの� ��報が得られない場合、拡散反射成分偏光度� ��とりうる最大値をもとに、閾値Th_PDSとして� ��定しても構わない。例えば、屈折率2.0以上� ��被写体は存在しないと仮定すると、図10よ� �、拡散反射成分偏光度の最大値は0.6程度と� �えられるので、閾値Th_PDSとして、0.7程度を� �定すればよい。このような閾値はDB302に保持 しておけばよい。

 拡散反射鏡面反射分類処理(S202)が終了後� ��領域判断部305は、すべての画素の光学的分� ��が完了したかどうかをチェックする(S203)。� ��し、まだ分類を行なっていない画素が存在� ��る場合(S203でNo)、陰影領域検出部301は、別� �画素が陰影領域かどうかを検出する(S201)。� �た、すべての画素の光学的分類が完了した� �合(S203でYes)、領域分割部103は、処理を終了� �る。

 一方、画素が陰影領域であった場合(S201� �Yes)、偏光推定誤差比較部304は、上記式8で定 義される偏光推定誤差Eの大きさを評価する(S 204)。すなわち、偏光推定誤差比較部304は、� �光推定誤差Eの大きさと閾値Th_Errとを比較す� ��。その結果、偏光推定誤差Eの大きさが閾値 Th_Errより大きかった場合(S204でYes)、領域判断 部305は、その画素が影領域であると判断し(S2 05)、一方、偏光推定誤差Eの大きさが閾値Th_Er rより小さかった場合(S204でNo)、領域判断部305 は、その画素が陰領域であると判断する(S206) 。領域判断部305は、領域分割の結果を蓄積部 306へ蓄積する。

 このときの閾値Th_Errは撮影画像の輝度値� ��式2の振幅成分A、バイアス成分Cを基準に決� ��すればよい。例えば、振幅成分Aを基準に閾 値Th_Errを決定する場合、以下のように決定す ればよい。

 この式は、偏光推定誤差Eが振幅成分Aに� �してどの程度、異なっているかを示してい� �。ここで、Th_Eは適当な正の定数であり、実� ��的に決定すればよく、例えば、0.3を設定す� ��ばよい。また、Nは前述のサンプル数である 。このような閾値はDB302に保持しておけばよ� ��。

 図16(b)および図16(c)は、それぞれ、このよ うにして求めた影領域および陰領域を示して いる。この図において、黒色領域が選択され た領域である。こうして求めた影領域と陰領 域に対し、画像処理で広く使われている領域 の収縮膨張処理を行なうことにより、影領域 と陰領域とを分離できる。

 図18は、領域分割部103による領域分割例� �示す図である。ここでは、偏光画像を構成� �る各画素について、画素位置、振幅A、偏光� ��ρ、偏光位相φ、偏光推定誤差Eの具体値と� �領域分割結果が示されている。ここでの、� �域分割における判断基準は、図19に示される 通りである。つまり、拡散反射領域または鏡 面反射領域か陰影領域かは、振幅Aが256以上� �あるか否かによって判断され(図15のS201)、拡 散反射領域か鏡面反射領域かは、偏光度ρが0 .7より小さいか否かによって判断され(図17のS 211)、影領域であるか陰領域であるかは、偏� �推定誤差Eが上記式9で示される閾値Th_Errより 大きいか否かによって判断される(図15のS204)� ��このような判断基準で判断された結果、図1 8に示されるように、画素(141、117)は、拡散反 射領域に属すると判断され、画素(151、138)は� ��鏡面反射領域に属すると判断され、画素(111 、144)は、陰領域に属すると判断され、画素(9 8、151)は、影領域に属すると判断され、画素( 165、144)は、拡散反射領域に属すると判断さ� �る。

 なお、図15に示される処理では、画素に� �いて拡散反射成分が支配的であるか鏡面反� �成分が支配的であるかを判断するために偏� �度が利用されたが(S202)、輝度値を利用する� �うにしても構わない。図20は、輝度値を利用 して拡散反射か鏡面反射かを判断する変形例 に係る領域分割部103aの詳細な構成を示す機� �ブロック図である。この領域分割部103aは、� ��影領域検出部301、DB302、偏光推定誤差比較� �304、領域判断部305、蓄積部306および輝度比� �部310を備える。なお、図20において、図14と� ��通の構成要素には図14と同一の符号を付し� �おり、その詳細な説明は省略する。

 輝度比較部310は、DB302から閾値TH_IDSを読� �出し、対象の画素の輝度値と閾値TH_IDSとを� �較する処理部である。

 図21は、この領域分割部103aによる処理の� ��れを示すフローチャートである。なお、図2 1において、図17と共通のステップには図17と� ��一の符号を付しており、その詳細な説明を� ��略する。輝度比較部310は、画素の輝度値が� ��値TH_IDSより小さいか、大きいかを調べる(S21 4)。画素の輝度値が閾値TH_IDSより小さかった� ��合(S214でYes)、領域判断部305は、その画素は� ��散反射が支配的であると判断する(S212)。一� ��、輝度値が閾値TH_IDSより大きかった場合(S21 4でNo)、領域判断部305は、その画素は鏡面反� �が支配的であると判断する(S213)。このよう� �して、輝度値を利用して、その画素におい� �拡散反射成分が支配的であるか鏡面反射成� �が支配的であるかが判断される。

 また、図15に示される処理では、偏光推� �誤差を利用して、画素が陰領域か影領域か� �判断されたが(S204)、偏光推定誤差ではなく� �偏光度を利用するようにしても構わない。� �22は、偏光度を利用して陰領域か影領域かを 判断する変形例に係る領域分割部103bの詳細� �構成を示す機能ブロック図である。この領� �分割部103bは、陰影領域検出部301、DB302、偏� �度比較部303、領域判断部305および蓄積部306� �備える。なお、図22において、図14と共通の� ��成要素には図14と同一の符号を付しており� �その詳細な説明を省略する。

 図23は、この領域分割部103bによる処理の� ��れを示すフローチャートである。なお、図2 3において、図15と共通のステップには図15と� ��一の符号を付しており、その詳細な説明を� ��略する。

 陰影領域検出部301によって画素が陰影領� ��であると判断された場合(S201でYes)、偏光度� ��較部303は、その画素が陰領域か影領域かを� ��断するために、式6で定義される偏光度ρと� ��値Th_Pとを比較する(S207)。その結果、偏光度 ρが閾値Th_Pより小さかった場合(S207でYes)、領 域判断部305は、その画素は影領域であると判 断し(S205)、一方、偏光度ρが閾値Th_Pより大き かった場合(S207でNo)、領域判断部305は、その� ��素は陰領域であると判断する(S206)。このよ� ��にして、偏光度と利用して、画素が陰領域� ��影領域かが判断される。

 なお、閾値Th_Pは、被写体の屈折率や被写 体の法線方向、光源方向、視線方向などから 設定するようにしても構わない。図9および� �10に示されるように、被写体の鏡面反射成分 偏光度や拡散反射成分偏光度は屈折率と入射 角、出射角が求まれば一意に決定できる。そ のため、図9および図10で求まる鏡面反射成分 偏光度や拡散反射成分偏光度をTh_Pとして利� �すればよい。また、被写体の屈折率や被写� �の法線方向、光源方向、視線方向などの情� �が得られない場合、拡散反射成分偏光度が� �りうる最大値をもとに閾値Th_Pとして決定し� ��も構わない。例えば、屈折率2.0以上の被写� ��は存在しないと仮定すると、図10より拡散� �射成分偏光度の最大値は0.6程度と考えられ� �ので、閾値Th_Pとして、0.7程度を設定すれば� ��い。

 また、図15に示される処理において、そ� �画素が陰領域か影領域かを判断するに際し� �(S204)、偏光推定誤差および偏光度のいずれ� �を利用するのではなく、両方を利用するよ� �にしても構わない。図24は、偏光推定誤差お よび偏光度の両方を利用して画素が陰領域か 影領域かを判断する変形例に係る領域分割部 103cの詳細な構成を示す機能ブロック図であ� �。この領域分割部103cは、陰影領域検出部301� ��DB302、偏光度比較部303、偏光推定誤差比較� �304、領域判断部305および蓄積部306を備える� �なお、図24において、図14と共通の構成要素� ��は図14と同一の符号を付しており、その詳� �な説明を省略する。この領域分割部103cは、� ��14に示された領域分割部103と同一の構成要� �を備えるが、領域判断部305での領域分割に� �ける判断基準が領域分割部103と異なる。

 図25は、この領域分割部103cによる処理の� ��れを示すフローチャートである。なお、図2 5において、図15と共通のステップには図15と� ��一の符号を付しており、その詳細な説明を� ��略する。陰影領域検出部301によって対象と� ��る画素が陰影領域と判断された場合(S201でYe s)、その画素が陰領域か影領域かを判断する� ��めに、偏光推定誤差比較部304および偏光度� ��較部303は、それぞれ、式8で定義される偏光 推定誤差Eと式6で定義される偏光度ρとを評� �する。つまり、偏光推定誤差比較部304は、� �光推定誤差Eと閾値Th_Errとを比較し、偏光度� ��較部303は、偏光度ρと閾値Th_Pとを比較する� ��

 その結果、偏光推定誤差Eが閾値Th_Errより 大きい、または、偏光度ρの大きさが閾値Th_P より小さい場合(S208でYes)、領域判断部305は、 その画素は影領域であると判断し(S205)、一方 、偏光推定誤差Eの大きさが閾値Th_Errより小� �く、かつ、偏光度ρの大きさが閾値Th_Pより� �きい場合(S208でNo)、領域判断部305は、その画 素は陰領域であると判断する(S206)。このよう にして、画素が陰領域か影領域かを判断する のに、偏光推定誤差および偏光度の両方が利 用される。

 なお、偏光推定誤差Eの閾値Th_Errは、図15� ��処理のように偏光推定誤差のみで判断する� ��合に比べて大きな値を、偏光度ρの閾値Th_P� ��、図23の処理のように、偏光度のみで判断� �る場合に比べて小さな値をとるようにして� �構わない。また、領域判断部305による判断(S 208)では、偏光推定誤差Eの大きさが閾値Th_Err� ��り大きく、かつ、偏光度ρの大きさが閾値Th _Pより小さかった場合にのみ、その画素が影� ��域であると判断するようにしても構わない� ��

 また、図15の処理では、画素が陰領域か� �領域かを判断するために偏光推定誤差が利� �されたが(S204)、陰領域の偏光特性が鏡面反� �特性となることを利用しても構わない。こ� �は、例えば、式7で定義される偏光位相φを� �用すればよい。後述するように、偏光位相φ は、被写体の法線の1成分を示しているが、� �光位相φと被写体の法線の1成分の関係は、� �写体が鏡面反射成分が支配的か、拡散反射� �分が支配的かによって位相が90度異なる。例 えば、図7(c)(その模式図である図8(c))におい� �、陰領域の偏光位相が、その近傍の偏光位� �情報と大きく異なっていることがわかる。� �れは、陰領域が鏡面反射成分の偏光特性を� �しているのに対し、その近傍領域は拡散反� �成分の偏光特性を示しているためである。� �こで、被写体の偏光位相の連続性を評価す� �ことにより、鏡面反射成分の偏光特性を示� �画素を検出し、陰領域を検出する。

 また、本発明は、図1に示されるような光 学的領域分割装置100単体として実現できるだ けでなく、光学的領域分割装置100の出力を利 用して法線情報を生成する処理部を光学的領 域分割装置100に付加した構成として実現する こともできる。

 図26は、本発明に係る画像処理装置の一� �である光学的領域分割装置100に、法線情報� �生成する処理部(法線情報生成部)を付加した 装置の構成を示す機能ブロック図である。法 線情報生成部104は、領域分割部103で分割され た領域ごとに、偏光情報生成部102で生成され た偏光情報を用いて、対応する被写体の表面 での法線を特定する法線情報を生成する処理 部である。

 図27は、図26に示された光学的領域分割装 置および法線情報生成部による処理の流れを 示すフローチャートである。本図は、図4に� �されるフローチャートにおけるステップS103� ��後に、法線情報の処理ステップS104が付加さ れたものに相当する。法線情報生成部104は、 領域分割処理(S103)の後に、領域分割部103で分 割された領域ごとに、偏光情報生成部102で生 成された偏光情報を用いて、対応する被写体 の表面での法線を特定する法線情報を生成す る(S104)。

 ここで、偏光情報から法線情報を生成す� ��アルゴリズムについて説明する。偏光位相� �から、被写体の法線情報のうち、光の入射� �反射の光線を包含する出射面(入射角)の角度 1自由度を求める方法が知られている。しか� �、被写体において鏡面反射が支配的か拡散� �射が支配的かによって、法線情報の求め方� �全く異なることも知られている(例えば、「O ndfej Drbohlav and Sara Radim、“Using polarization  to determine intrinsic surface properties”、Proc. SP IE Vol.3826、pp.253-263、1999」:非特許文献6参照)� ��拡散反射成分が支配的な場合、拡散反射の� ��射面の情報は、偏光板を回転させて変化す� ��輝度の最大値となる角度として求めること� ��できる。一方、鏡面反射成分が支配的な場� ��、拡散反射の入射面の情報は、偏光板を回� ��させて変化する輝度の最小値となる角度と� ��て求めることができる。ここで、偏光輝度� ��変動カーブが180°周期の正弦関数となるこ� �に着目すると、拡散反射が支配的か鏡面反� �が支配的かを考慮せずに法線情報を生成し� �場合、推定された法線の1自由度は90°の誤差 を持ってしまうことがわかる。そのため、拡 散反射と鏡面反射とを分類することは、偏光 情報からの法線情報を生成する処理において 重要である。

 図28は、図26に示された法線情報生成部104 の詳細な構成を示す機能ブロック図である。 この法線情報生成部104は、領域分割部103が行 なった領域分割結果に基づき、偏光情報から 法線情報を生成する処理部であり、蓄積部306 、領域参照部307、拡散反射仮定法線情報生成 部308および鏡面反射仮定法線情報生成部309を 備える。なお、この図において、図14と共通� ��構成要素には図14と同一の符号を付してお� �、その詳細な説明は省略する。

 領域参照部307は、蓄積部306に蓄積された� ��域分割の結果を参照することで、対象とな� ��画素においては、拡散反射成分が支配的か( 拡散反射領域であるか)、あるいは、鏡面反� �成分が支配的か(鏡面反射領域であるか)、ま たは、その画素が陰領域であるか否かを判断 する処理部である。

 拡散反射仮定法線情報生成部308は、拡散� ��射領域の画素に対して、拡散反射仮定で法� ��情報を生成する処理部である。具体的には� ��上述した近似によって得られた正弦関数に� ��いて輝度が最大となる偏光主軸角度を、当� ��画素に対応する被写体の出射面の法線情報� ��して生成する。

 鏡面反射仮定法線情報生成部309は、鏡面� ��射領域および陰領域の画素に対して、鏡面� ��射仮定で法線情報を生成する処理部である� ��具体的には、上述した近似によって得られ� ��正弦関数において輝度が最小となる偏光主� ��角度を、当該画素に対応する被写体の入射� ��の法線情報として生成する。

 図29は、この法線情報生成部104による処� �の流れを示すフローチャートである。まず� �領域参照部307は、領域分割部103が検出した� �学的領域分割の結果を基に、画素において� �散反射成分が支配的かどうかを判断する(S301 )。この処理は、領域判断部305の結果が蓄積� �れている蓄積部306から領域分割結果を読み� �せばよい。もし、拡散反射成分が支配的で� �ると判断された場合(S301でYes)、拡散反射仮� �法線情報生成部308は、その画素について拡� �反射仮定で法線情報を生成する(S302)。具体� �には、出射面における法線の1自由度を、偏� ��板を回転させて変化する輝度の最大値とな� ��角度として求める。つまり、上述した近似� ��よって得られた正弦関数において輝度が最� ��となる偏光主軸角度を、当該画素に対応す� ��被写体の出射面の法線情報として生成する� ��

 また、画素が拡散反射成分が支配的では� ��い場合(S301でNo)、領域参照部307は、鏡面反� �成分が支配的(画素が鏡面反射領域である)、 または、画素が陰領域であるか否かを判断す る(S303)。その結果、鏡面反射成分が支配的、 または、画素が陰領域であると判断された場 合には(S303でYes)、鏡面反射仮定法線情報生成 部309は、その画素について鏡面反射仮定で法 線情報を生成する(S304)。具体的には、入射面 における法線の1自由度を、偏光板を回転さ� �て変化する輝度の最小値となる角度として� �める。つまり、上述した近似によって得ら� �た正弦関数において輝度が最小となる偏光� �軸角度を、当該画素に対応する被写体の入� �面の法線情報として生成する。

 一方、画素が影領域であると判断された� ��合、つまり、拡散反射成分も鏡面反射成分� ��支配的ではなく、陰領域でもない場合(S303� �No)、この法線情報生成部104は、画素の偏光� �報は誤差が支配的であり、正確な法線情報� �生成できないと判断し、法線情報生成処理� �行なわない(S305)。

 以上のように、本発明に係る画像処理装� ��に、後処理部としての法線情報生成部を付� ��することで、陰影領域を含む光学的な領域� ��とに法線情報を自動生成する法線情報生成� ��置が実現される。

 なお、図14等に示される陰影領域検出部30 1は、カメラ200に搭載された発光装置207(フラ� ��シュなど)を利用するようにしても構わない 。これは、暗幕のように、十分に小さい反射 率をもつ被写体が存在する場合、前述の輝度 値による判断のみでは陰影領域と暗幕の区別 がつかないためである。このようなフラッシ ュを利用する本実施の形態の変形例に係る光 学的領域分割装置について図を用いて詳述す る。

 図30は、このような変形例に係る光学的� �域分割装置100aの構成を示す機能ブロック図� ��ある。ここでは、光学的領域分割装置100aに よる処理結果を利用する処理例としての法線 情報生成部104も併せて図示されている。この 光学的領域分割装置100aは、図1に示された光� ��的領域分割装置100に発光部105が付加された� ��成を備える。なお、図30において、図26と共 通の構成要素には図1と同一の符号を付して� �り、その詳細な説明を省略する。

 発光部105は、光学的領域分割装置100aによ る撮像動作に連動して被写体に投光するフラ ッシュである。このとき、この発光部105はフ ラッシュの点灯制御を行なう。偏光画像撮像 部101は、発光部105と連動し、フラッシュを発 光させた状態と発光させない状態の2枚の画� �を撮影する。このとき、被写体とカメラ200� �位置関係は変化がないように撮影を行なう� �このような撮影は、例えば、カメラ200の連� �機能などを利用して撮影すればよい。

 図31は、この変形例に係る光学的領域分� �装置100aによる陰影検出処理の流れを示すフ� ��ーチャートである。つまり、図15における� �影領域検出処理(S201)の別の手法を示すフロ� �チャートである。まず、陰影領域検出部301� �、フラッシュを発光させない状態での画素� �輝度値を調べる(S401)。もし、画素の輝度値� �閾値よりも高い場合(S401でNo)、陰影領域検出 部301は、画素は低輝度領域(ここでは、陰影� �域)ではないと判断し(S402)、処理を終了する� ��

 一方、もし、画素の輝度値が閾値以下で� ��る場合(S401でYes)、画素が陰影領域である可� ��性が高いため、陰影領域検出部301は、フラ� ��シュを発光させた状態で撮影したフラッシ� ��撮影画像と、フラッシュを発光させずに撮� ��した通常撮影画像の差分画像を作成する(S40 3)。フラッシュの点灯位置が撮像素子位置に� ��分近く、ほぼ等しいとすると、点灯したフ� ��ッシュによって生じる影は撮影画像には存� ��しない。これは、視線方向と光源方向が等� ��いためである。そのため、フラッシュを発� ��させない状態では陰影であった領域は、フ� ��ッシュを発光させることにより、直接光が� ��在する。そのため、陰影領域の輝度値は大� ��く増える。

 一方、画素が陰影領域ではなく、反射率� ��小さな暗幕であった場合、フラッシュを発� ��させても反射率が小さいために、ほとんど� ��度値は変化しない。すなわち、もし、フラ� ��シュによる差分画像の輝度値が閾値以上だ� ��た場合(S404でYes)、陰影領域検出部301は、そ� ��画素は陰影領域と判断し(S405)、処理を終了� ��る。一方、フラッシュによる差分画像の輝� ��値が閾値より小さかった場合、陰影領域検� ��部301は、その画素は陰影領域ではなく、低� ��射率領域(あるいは、低反射率画素)である� �判断し(S406)、処理を終了する。

 このように、たとえ暗幕のような小さな� ��射率を持った被写体が存在したとしても、� ��確に陰影領域を検出し、陰影領域を陰領域� ��影領域とに分類することができる。ここで� ��陰領域に関しては、鏡面反射を仮定するこ� ��で、正確な法線情報が生成される。また、� ��光情報に誤差が多く、法線情報生成を行な� ��ても精度が極端に悪くなる影領域に関して� ��、法線情報生成処理を行なわないことで、� ��きるかぎり広い領域で高精度な法線情報生� ��を行なうことができる。

 以上のように、本実施の形態における光� ��的領域分割装置によれば、一般環境におい� ��、光源を変動させるような大規模なシステ� ��を必要とせず、スナップショットを撮影す� ��ように撮影された画像から陰影領域を陰領� ��と影領域とに分類することができる。

 なお、本実施の形態では、パターン偏光� ��201にフォトニック結晶が用いられたが、フ� ��ルム型の偏光素子、あるいはワイヤーグリ� ��ド型やその他の原理による偏光素子であっ� ��もよい。また、パターン偏光子を利用せず� ��、カメラ200のレンズ前に装着した偏光板を� ��転させながら撮影することで、時系列的に� ��光主軸の異なる輝度を取得するようにして� ��構わない。この方法は、例えば、特開平11-2 11433号公報:特許文献1に開示されている。

 (第2の実施の形態)
 次に、本発明の第2の実施の形態における光 学的領域分割装置について説明する。

 図32は、本実施の形態における光学的領� �分割装置100bの構成を示す機能ブロック図で� ��る。この光学的領域分割装置100bは、被写体 を撮像することによって被写体の表面を光学 的に領域分割する装置であり、低輝度領域を 「陰領域または低反射率領域」と影領域とに 分類する点に特徴を有し、図1に示された光� �的領域分割装置100における領域分割部103に� �えて、領域分割部1031を備える。ここでは、� ��学的領域分割装置100bによる処理結果を利用 する処理例としての法線情報生成部1041も併� �て図示されている。この法線情報生成部1041� ��、本発明に係る画像処理装置に必須の構成� ��素ではないが、本発明に係る画像処理装置� ��処理結果を利用する後処理部の一例として� ��されている。なお、図32において、図26と共 通の構成要素には同一の符号を付し、その説 明を省略する。

 領域分割部1031は、偏光画像の輝度情報と 偏光情報生成部102で生成された偏光情報とに おける類似性(共通性)を利用して、偏光画像� ��、光学的に共通する画像領域の集まりから� ��る複数の領域に分割する処理部である。こ� ��とき、領域分割部1031は、画像領域の輝度と 予め定められたしきい値とを比較し、輝度が しきい値よりも小さい場合に、当該画像領域 を、陰影領域を含む低輝度領域(本実施の形� �では、「陰領域または低反射率領域」と影� �域とを含む領域)として、領域分割をする。� ��実施の形態では、領域分割部1031は、低輝度 領域を「陰領域または低反射率領域」と影領 域とに分類することで、画像を拡散反射領域 、鏡面反射領域、「陰領域または低反射率領 域」および影領域に領域分割する。

 法線情報生成部1041は、領域分割部1031で� �割された領域ごとに、偏光情報から法線情� �を生成する処理部である。この法線情報生� �部1041は、第1の実施の形態で説明した法線情 報生成部104と異なり、陰領域を「陰領域また は低反射率領域」として法線情報を生成する 。

 図33は、本実施の形態における光学的領� �分割装置100bおよび法線情報生成部1041による 処理の流れを示すフローチャートである。な お、図33において、第1の実施の形態における 図4と共通のステップには図4と同一の符号を� ��しており、その詳細な説明を省略する。

 領域分割部1031は、偏光情報生成部102が生 成した偏光情報や偏光画像撮像部101が取得し た輝度情報を利用し、画像を拡散反射領域、 鏡面反射領域および低輝度領域(本実施の形� �では、「陰領域または低反射率領域」およ� �影領域)に分類する(S1031)。

 法線情報生成部1041は、後述するように、 領域分割部1031が行なった領域分割結果に基� �き、偏光情報から法線情報を生成する(S104)� �このとき、影領域に関しては偏光情報に誤� �が多いため、法線情報生成処理を行なわな� �。

 まず、反射率の小さな被写体の偏光特性の� ��いについて説明する。表面が滑らかな反射� ��の小さな被写体では、内部反射がほぼ0にな るため、拡散反射成分が非常に小さくなる。 一方、正反射の条件では、光を反射して鏡面 反射が大きくなる。つまり、低反射率領域で は、拡散反射成分は小さく、相対的に鏡面反 射成分が支配的になると考えられる。これは 、反射率の小さな物体は、以下のように陰領 域と同様の偏光特性を有することを示してい る。
(1)「陰領域または低反射率領域」
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
(2)影領域
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

 この分類基準を利用することで、低輝度� ��域を「陰領域または低反射率領域」と影領� ��とに分類する。以下、図を用いてこの処理� ��詳述する。

 図34は、図32に示された光学的領域分割装 置100bにおける領域分割部1031の詳細な構成を� ��す機能ブロック図である。この領域分割部1 031は、DB302、偏光度比較部303、偏光推定誤差� ��較部304、領域判断部305、蓄積部306および低� ��度画素検出部311を備える。なお、図34にお� �て、第1の実施の形態における図14と共通の� �成要素には図14と同一の符号を付しており、 その詳細な説明を省略する。

 低輝度画素検出部311は、偏光画像撮像部1 01が取得した画像のある画素が低輝度領域(「 陰領域または低反射率領域」および影領域を 含む領域)であるかどうかを推定する処理部� �ある。

 図35は、この領域分割部1031による処理の� ��れを示すフローチャートである。まず、低� ��度画素検出部311は、偏光画像撮像部101が取� ��した画像のある画素の輝度値を評価する(S50 1)。これは、前述のステップS201と同様に、輝 度値が閾値以下かそうでないかを評価する。 このような低輝度領域を推定するための閾値 は実験的に決定すればよく、例えば、16ビッ� ��モノクロ画像に対しては、256を設定すれば� ��い。このような閾値はDB302に保持しておけ� �よい。輝度値が閾値より大きかった場合(S501 でNo)、領域分割部1031は、その画素において� �散反射成分が支配的であるか、鏡面反射成� �が支配的であるかを、前述のステップS202と� ��様の方法(偏光度比較部303による比較)で判� �する(S502)。拡散反射鏡面反射分類処理(S502)� �終了後、領域判断部305は、すべての画素の� �学的分類が完了したかどうかをチェックす� �(S503)。もし、まだ分類を行なっていない画� �が存在する場合(S503でNo)、低輝度画素検出部 311は、別の画素の輝度値を評価する(S501)。ま た、すべての画素の光学的分類が完了した場 合(S503でYes)、領域分割部1031は、処理を終了� �る。

 一方、画素の輝度値が閾値以下であった� ��合(S501でYes)、その画素が「陰領域または低� ��射率領域」か影領域かが判断される(S504)。� ��れは、前述のように、偏光推定誤差比較部3 04が、式8で定義される偏光推定誤差Eの大き� �を評価する(偏光推定誤差Eと閾値Th_Errとを比 較する)ことにより、実現される。その結果� �偏光推定誤差Eの大きさが閾値Th_Errより大き� ��った場合(S504でYes)、領域判断部305は、画素� ��影領域であると判断し(S505)、一方、偏光推� ��誤差Eの大きさが閾値Th_Errより小さかった場 合(S504でNo)、領域判断部305は、画素が「陰領� ��または低反射率領域」であると判断する(S50 6)。このときの閾値Th_Errは前述の方法で決定� ��ればよい。領域分割を行なった結果は、蓄� ��部306へ蓄積される。

 法線情報生成部1041は、領域分割部1031が� �なった領域分割結果に基づき、偏光情報か� �法線情報を生成する。この法線情報生成部10 41は、構成要素としては、第1の実施の形態で 説明した法線情報生成部104と同様の構成、つ まり、図26に示されるように、蓄積部306、領� ��参照部307、拡散反射仮定法線情報生成部308� ��よび鏡面反射仮定法線情報生成部309を備え� ��。ただし、この法線情報生成部1041は、第1� �実施の形態と異なり、陰領域を「陰領域ま� �は低反射率領域」として法線情報を生成す� �。

 図36は、この法線情報生成部1041による処� ��の流れを示すフローチャートである。なお� ��図36において、図29と共通のステップには図 29と同一の符号を付しており、その詳細な説� ��を省略する。

 法線情報生成部1041の領域参照部307は、領 域分割部1031が検出した光学的領域分割の結� �を基に、画素において拡散反射成分が支配� �かどうかを判断する(S301)。この処理は、領� �判断部305の結果が蓄積されている蓄積部306� �ら領域分割結果を読み出せばよい。もし、� �散反射成分が支配的であると判断された場� �(S301でYes)、拡散反射仮定法線情報生成部308� �、その画素の法線情報を拡散反射仮定で生� �する(S302)。具体的には、出射面における法� �の1自由度を、偏光板を回転させて変化する� ��度の最大値となる角度として求める。また� ��画素は拡散反射成分が支配的ではなく(S301� �No)、鏡面反射成分が支配的、または「陰領� �または低反射率領域」であった場合(S306でYes )、鏡面反射仮定法線情報生成部309は、その� �素の法線情報を鏡面反射仮定で生成する(S304 )。具体的には、入射面における法線の1自由� ��を、偏光板を回転させて変化する輝度の最� ��値となる角度として求める。一方、画素が� ��領域であった場合、(S303でNo)、画素の偏光� �報は誤差が支配的であり、正確な法線情報� �生成できないと判断し、法線情報生成部1041� ��、法線情報生成処理を行なわない(S305)。

 以上のように、本実施の形態における光� ��的領域分割装置によれば、一般環境におい� ��、光源を変動させるような大規模なシステ� ��を必要とせず、スナップショットを撮影す� ��ように撮影された画像から低輝度領域を「� ��領域または低反射率領域」と影領域とに分� ��できる。そして、「陰領域または低反射率� ��域」に関しては、鏡面反射を仮定すること� ��、法線情報生成部により、正確な法線情報� ��生成される。また、偏光情報に誤差が多く� ��法線情報生成を行なっても精度が極端に悪� ��なる影領域に関しては、法線情報生成処理� ��行なわないことで、できるかぎり広い領域� ��高精度な法線情報生成を行なうことができ� ��。

 なお、ステップS504において、その画素が 「陰領域または低反射率領域」か影領域かを 判断するために、偏光推定誤差ではなく、第 1の実施の形態と同様に、偏光度、偏光推定� �差と偏光度の両方、偏光位相を利用するよ� �にしても構わない。

 (第3の実施の形態)
 次に、本発明の第3の実施の形態における光 学的領域分割装置について説明する。

 図37は、本実施の形態における光学的領� �分割装置100cの構成を示す機能ブロック図で� ��る。この光学的領域分割装置100cは、被写体 を撮像することによって被写体の表面を光学 的に領域分割する装置であり、正確に法線情 報を生成できる場合にだけ法線情報を生成す る点に特徴を有し、図1に示された光学的領� �分割装置100の構成に加えて、撮像条件判定� �106を備える。ここでは、光学的領域分割装� �100cによる処理結果を利用する処理例として� ��法線情報生成部104も併せて図示されている� ��この法線情報生成部104は、本発明に係る画� ��処理装置に必須の構成要素ではないが、本� ��明に係る画像処理装置の処理結果を利用す� ��後処理部の一例として示されている。なお� ��図37において、図26と共通の構成要素には図 1と同一の符号を付しており、その詳細な説� �を省略する。

 撮像条件判定部106は、偏光画像撮像部101� ��よる撮像の対象となる撮像シーンが、領域� ��割部103が正確に領域分割できる撮像条件と� ��て予め定められた撮像条件を満たしている� ��否かを判定する処理部である。

 図38は、この撮像条件判定部106の詳細な� �成を示す機能ブロック図である。この撮像� �件判定部106は、DB302、光軸方向検出部312およ び光軸方向比較部313を備える。

 光軸方向検出部312は、光学的領域分割装� ��100cの光軸方向を検出する角度センサ等であ る。

 光軸方向比較部313は、光学的領域分割装� ��100cが水平面(地平面)よりも上方を向いてい� ��かどうかを判断する処理部である。

 ここで、本実施の形態においても、第1の 実施の形態で説明したように、撮影シーンは 、条件1が満たされていることを必要とする� �

 条件1:「被写体が存在する撮影シーンには� �近傍に広い面を有する物体が存在し、ある� �い面から被写体に関して反対方向には光源� �存在する」
 ただし、光学的領域分割装置100cが置かれて いる状況においては、上記条件1が満たされ� �いるとは限らない。そこで、本実施の形態� �は、撮像条件判定部106は、上記条件1が満た� ��れているかどうかを判定する。ここで、光� ��は上方にあることが多いことに着目すると� ��条件1は、以下の条件2では満たされない。

 条件2:「撮像者が上方を撮影する」
 この条件2は、例えば、以下のような撮影シ ーンでは成り立つ。
1.屋外シーンにおいて、空や月、星などを撮� ��する。
2.屋内シーンにおいて、蛍光灯が光っている� ��井方向を撮影する。

 上記撮影シーン1の場合、例えば三日月を 撮影することを考える。三日月の陰影領域は 陰領域であると考えられる。しかし、この陰 影領域は、地球照と呼ばれる地球からの多重 反射である照り返しにより輝度を持つ。その ため、陰領域ではあるが、多重反射光の入射 方向は地球のみの非常に限られた範囲になり 、正反射成分である鏡面反射成分はほとんど 存在しないと考えられる。そのため、光学的 領域分割装置100cは正確に機能しない。そこ� �、撮像条件判定部106は、光学的領域分割装� �100cが正確に機能する(正確に領域分割できる )かどうかを判断し、機能すると考えられる� �合には、陰領域、影領域分割処理を行ない� �機能しないと考えられる場合には、陰影領� �の分割処理を中止し、陰影領域からの法線� �報生成処理を中止する。

 図39は、本実施の形態における光学的領� �分割装置100cが搭載されたカメラ200aのハード ウェア構成例を示している。このカメラ200a� �、撮像画像を光学的に領域分割する機能を� �える撮像装置であり、パターン偏光子201、� �像素子202、メモリ203、CPU204、角度センサ205� �表示部208およびスピーカ209を備える。なお� �図39において、図2と共通の構成要素には図2� ��同一の符号を付しており、その詳細な説明� ��省略する。

 角度センサ205は、カメラ200aの光軸方向を 検出し、その情報を出力する。

 表示部208は、撮像条件判定部106によって� ��像シーンが上記条件1を満たさないと判断さ れた場合に、その旨のメッセージを表示する ディスプレイである。

 スピーカ209は、撮像条件判定部106によっ� ��撮像シーンが上記条件1を満たさないと判断 された場合に、その旨のメッセージを音声で 出力する。

 なお、図38に示された光軸方向検出部312� �、図39に示された角度センサ205によって実現 される。図38に示された光軸方向比較部313は� ��図39に示されたCPU204がメモリ203に格納され� �プログラムを実行することによって実現さ� �る。

 図40は、本実施の形態における光学的領� �分割装置100cおよび法線情報生成部1041による 処理の流れを示すフローチャートである。な お、図40において、図4と共通のステップには 図4と同一の符号を付しており、その詳細な� �明を省略する。

 本実施の形態では、光軸方向検出部312(角 度センサ205)は、光学的領域分割装置100c(カメ ラ200a)の光軸方向を示す光軸方向情報を取得� ��る(S106)。こうして求めた光軸方向情報を利� ��して、撮影シーンが、法線情報の生成が実� ��可能な環境であるかどうかが判断される(S10 7)。これは、光軸方向比較部313が、光学的領� ��分割装置100c(カメラ200a)の光軸方向が上方を 向いているかどうかを判断することによって 行われる。光軸方向比較部313は、例えば、光 軸が水平方向から45度以上上方を向いている� ��合には、光軸方向が上方を向いていると判� ��する。この閾値45度は、実験的に決定すれ� �よく、このような閾値は、DB302に保持してお けばよい。ここで、光軸方向が上方を向いて いると判断された場合、撮像条件判定部106は 撮像シーンが条件1を満たさないと判断し(S107 でNo)、領域分割部103は、偏光情報生成部102が 生成した偏光情報や偏光画像撮像部101が取得 した輝度情報を利用し、画像を拡散反射領域 、鏡面反射領域、陰影領域に分類する(S108)。 このケースでは、条件1が満たされていない� �め、陰影領域を陰領域と影領域とに分類す� �ことは行なわれない。続いて、法線情報生� �部104は、領域分割部103が行なった領域分割� �果に基づき、偏光情報から法線情報を生成� �る(S109)。図41は、この処理(S109)の詳細な流れ を示すフローチャートである。なお、図41に� ��いて、図29と共通のステップには図29と同一 の符号を付しており、その詳細な説明を省略 する。

 法線情報生成部104は、領域分割部103が検� ��した光学的領域分割の結果を基に、画素に� ��いて拡散反射成分が支配的かどうかを判断� ��る(S301)。もし、拡散反射成分が支配的であ� ��と判断された場合(S301でYes)、法線情報生成� ��104は、その画素の法線情報を拡散反射仮定� ��生成する(S302)。具体的には、出射面におけ� ��法線の1自由度を、偏光板を回転させて変化 する輝度の最大値となる角度として求める。 また、画素は拡散反射成分が支配的ではなく (S301でNo)、鏡面反射成分が支配的であった場� ��(S307でYes)、法線情報生成部104は、その画素� ��法線情報を鏡面反射仮定で法線情報を生成� ��る(S304)。具体的には、入射面における法線� ��1自由度を、偏光板を回転させて変化する輝 度の最小値となる角度として求める。一方、 画素が陰影領域であった場合、つまり、拡散 反射成分も鏡面反射成分も支配的ではない場 合(S307でNo)、法線情報生成部104は、画素の偏� ��情報は誤差が支配的であり、正確な法線情� ��は生成できないと判断し、法線情報生成処� ��を行なわない(S305)。

 一方、光軸方向が上方を向いていないと� ��断された場合(S107でYes)、撮像条件判定部106� ��、撮像シーンが条件1を満たすと判断し、領 域分割部103が光学的領域分割処理を行ない(S1 03)、続いて、法線情報生成部104が法線情報を 生成する(S104)。

 なお、撮像条件判定部106によって撮像シ� ��ンが条件1を満たさないと判断された場合、 表示部208が「領域分割が実現できません」な どとディスプレイに表示したり、スピーカ209 が音声信号を発生させることで同様のメッセ ージを撮像者に伝えるのが望ましい。

 もっとも、撮像条件判定部106によって撮� ��シーンが条件1を満たさないと判断された場 合、光学的領域分割処理や法線情報生成処理 を行なわないのではなく、陰影領域に関して は拡散反射仮定で法線情報を生成し、表示部 208が「領域分割処理が不安定です」などとデ ィスプレイに表示したり、スピーカ209が音声 信号で発生させることで同様のメッセージを 撮像者に伝えるようにしても構わない。

 また、撮像条件判定部106によって撮像シ� ��ンが条件1を満たさないと判断された場合、 法線情報生成部104は、陰影領域に関しては、 近傍の法線情報を利用して、補間処理などで 、法線情報を合成しても構わない。補間処理 については、従来の手法を利用すればよい。

 また、撮像条件判定部106は、光軸方向検� ��部312を利用するものに限るわけではなく、� ��えば、光学的領域分割装置100cが置かれてい る環境を認識する機能を有する処理部を利用 するようにしても構わない。これは、例えば 、ソナーなどを利用することで実現する。こ のような環境認識機能を有する本実施の形態 の変形例に係る光学的領域分割装置について 説明する。

 図42は、そのような変形例に係る光学的� �域分割装置が搭載されたカメラ200bのハード� ��ェア構成例を示している。このカメラ200bは 、図39に示された本実施の形態におけるカメ� ��200aの構成のうち、角度センサ205をソナー210 に置き換えた構成を備える。なお、図42にお� ��て、図39と共通の構成要素には図39と同一の 符号を付しており、その詳細な説明を省略す る。

 図43は、この変形例に係る光学的領域分� �装置が備える撮像条件判定部106aの詳細な構� ��を示す機能ブロック図である。なお、この� ��形例に係る光学的領域分割装置は、図37に� �された本実施の形態における光学的領域分� �装置100cの構成のうち、撮像条件判定部106を� ��像条件判定部106aに置き換えた構成を備える 。この撮像条件判定部106aは、音波を発生し� �音波の反射波を受信することで、周囲の対� �物までの距離を測定するソナーを有し、ソ� �ーによって当該光学的領域分割装置の近傍� �物体があるか否かを判断し、物体がないと� �断した場合に、撮像シーンが撮像条件を満� �していないと判定する点に特徴を有し、DB302 、撮像環境検出部315および撮像環境認識部316 を備える。なお、図43において、図38と共通� �構成要素には図38と同一の符号を付しており 、その詳細な説明を省略する。

 撮像環境検出部315は、周囲の対象物まで� ��距離を測定し、その距離情報を撮像環境情� ��として生成する処理部であり、図42に示さ� �たソナー210に相当する。

 撮像環境認識部316は、撮像環境検出部315� ��らの撮像環境情報を利用して、撮影シーン� ��光学的領域分割が実現可能な環境であるか� ��うかを判断する処理部である。

 図44は、この変形例に係る光学的領域分� �装置および法線情報生成部104による処理の� �れを示すフローチャートである。なお、図44 において、図40と共通のステップには図40と� �一の符号を付しており、その詳細な説明を� �略する。

 本変形例に係る光学的領域分割装置では� ��撮像環境検出部315は、撮像環境情報をソナ� ��210で取得する(S111)。このソナー210は、アク� ��ィブソナーであり、超音波や音波を発生さ� ��、その反射波を受信することで、周囲の対� ��物までの距離を測定する装置である。その� ��め、ソナー210を利用することで、カメラ200b の周囲に物体があるかないか、また、物体が ある場合、その物体までの距離情報を撮像環 境情報として取得できる。なお、ソナー210は 、魚群探知機などに広く使用されており、公 知であるため、詳細な説明は省略する。

 こうして求めた撮像環境情報を利用して� ��撮影シーンが、光学的領域分割が実現可能� ��環境であるかどうかが判断される(S107)。こ� ��は、撮像環境認識部316が、カメラ200bの近傍 に物体があるかどうかを判断することによっ て行われる。具体的には、撮像環境検出部315 は、カメラ200bの周囲(全方位)の物体までの距 離情報を取得し、その距離が一定値TH_Sより� �い立体角の大きさを評価すればよい。この� �うな立体角の大きさが閾値TH_SRより小さい場 合、撮像条件判定部106は撮像シーンが条件1� �満たさないと判断し(S107でNo)、領域分割部103 は、偏光情報生成部102が生成した偏光情報や 偏光画像撮像部101が取得した輝度情報を利用 し、画像を拡散反射領域、鏡面反射領域、陰 影領域に分類する(S108)。条件1が満たされて� �ないため、陰影領域を陰領域と影領域とに� �類することは行なわない。さらに法線情報� �成部104は、領域分割部103が行なった領域分� �結果に基づき、偏光情報から法線情報を生� �する(S109)。一方、このような立体角の大き� �が閾値TH_SRより大きい場合、撮像条件判定部 106は撮像シーンが条件1を満たすと判断し(S108 でYes)、領域分割部103によって光学的領域分� �処理を行ない、さらに法線情報生成部104に� �って法線情報を生成する。

 なお、このような閾値TH_S、TH_SRは実験的� ��決定すればよく、また、DB302に保持してお� �ばよい。

 以上のように、本実施の形態における光� ��的領域分割装置によれば、一般環境におい� ��、光源を変動させるような大規模なシステ� ��を必要とせず、スナップショットを撮影す� ��ように撮影された画像から低輝度画素を陰� ��域と影領域とに分類することができる。さ� ��に、もし、分類が困難な場合には、精度の� ��い結果を求めるのではなく、処理ができな� ��ことを撮像者に知らせることで、信頼度の� ��い領域分割処理を行なうことができる。

 (第4の実施の形態)
 次に、本発明の第4の実施の形態における光 学的領域分割装置について説明する。

 図45は、本実施の形態における光学的領� �分割装置100dの構成を示す機能ブロック図で� ��る。この光学的領域分割装置100dは、被写体 を撮像することによって被写体の表面を光学 的に領域分割する装置であり、信頼性の低い 領域分割結果および法線情報を生成しない点 に特徴を有し、図1に示された光学的領域分� �装置100の構成に加えて、信頼性判定部107を� �える。ここでは、光学的領域分割装置100dに� ��る処理結果を利用する処理例としての法線� ��報生成部104も併せて図示されている。この� ��線情報生成部104は、本発明に係る画像処理� ��置に必須の構成要素ではないが、本発明に� ��る画像処理装置の処理結果を利用する後処� ��部の一例として示されている。なお、図45� �おいて、図26と共通の構成要素には図1と同� �の符号を付しており、その詳細な説明を省� �する。また、本実施の形態における光学的� �域分割装置100dが搭載されたカメラは、図2に 示される第1に実施の形態におけるカメラ200� �同じハードウェア構成を有している。

 信頼性判定部107は、領域分割部103による� ��学的領域分割結果を利用して、光学的領域� ��割結果の信頼性を評価し、信頼性がない場� ��には光学的領域分割結果および法線情報を� ��棄する。その結果、信頼性がない領域の領� ��分割結果および法線情報が破棄される。

 図46は、本実施の形態における光学的領� �分割装置100dおよび法線情報生成部104による� ��理の流れを示すフローチャートである。な� ��、図46において、図4および図40と共通のス� �ップには図4および図40と同一の符号を付し� �おり、その詳細な説明を省略する。信頼性� �定部107は、領域分割部103の光学的領域分割� �果を利用して、上述した条件1が満たされて� ��るかどうか、つまり、光学的領域分割結果� ��信頼性を評価する(S107)。信頼性がない場合� ��は(S107でNo)、信頼性判定部107は、光学的領� �分割結果および法線情報生成部104が生成し� �法線情報を廃棄する(S110)。

 ここで、条件1が満たされているかどうか を判断するためには、陰影領域内に正反射多 重反射光の影響により鏡面反射成分が支配的 となる陰領域が存在するかどうかを判断すれ ばよい。そのために、ここでは、撮像された 偏光画像の偏光度と輝度値を利用して信頼性 を評価する方法を説明する。これは、陰影領 域において、鏡面反射偏光特性を示す画素が 存在しない場合、つまり、撮像された画像上 に陰領域が存在しない場合、条件1を満たし� �いないと判断すればよい。

 図47は、信頼性判定部107の詳細な構成を� �す機能ブロック図である。信頼性判定部107� �、DB302、蓄積部306および陰領域存在判断部314 を備える。

 蓄積部306は、領域分割部103によって行な� ��れた領域分割結果を蓄積している。

 陰領域存在判断部314は、蓄積部306に蓄積� ��れた領域分割結果を参照し、十分な(予め定 められたしきい値以上の)大きさの陰領域が� �割されているかどうかを判断する処理部で� �る。

 図46に示される信頼性判定部107による処� �(S107、S110)の詳細は以下の通りである。

 陰領域存在判断部314は、蓄積部306に蓄積� ��れた領域分割結果を参照し、十分な大きさ� ��陰領域が分割されているかどうかを判断す� ��(S107)。その結果、撮像画像中に十分な大き� ��、例えば、VGA画像において100画素以上の陰� ��域が存在しなかった場合(S107でNo)、信頼性� �定部107は、撮像シーンが条件1を満たさない� ��判断し、陰影領域に関する光学的領域分割� ��果および法線情報を廃棄する(S110)。このと� ��、表示部208が「領域分割が実現できません� ��などとディスプレイに表示したり、スピー� ��209が音声信号を発生させることで撮像者に� ��えることが望ましい。一方、もし、撮像画� ��中に陰領域が存在した場合(S107でYes)、信頼� ��判定部107は、撮像シーンが条件1を満たすと 判断し、生成した法線情報を出力する。ここ で、陰領域の大きさの閾値は実験的に決定す ればよく、このような閾値はDB302に保持して� ��けばよい。

 以上のように、本発明の光学的領域分割� ��置によれば、一般環境において、光源を変� ��させるような大規模なシステムを必要とせ� ��、スナップショットを撮影するように撮影� ��れた画像から低輝度画素を陰領域と影領域� ��に分類することができる。さらに、もし、� ��類が困難な場合には、精度の悪い結果を求� ��るのではなく、処理ができないことを撮像� ��に知らせることで、信頼度の高い領域分割� ��理を行なうことができる。

 以上、本発明に係る画像処理装置につい� ��、第1~第4の実施の形態およびその変形例を� ��いて説明したが、本発明は、これらの実施� ��形態および変形例に限定されるものではな� ��。

 各実施の形態および変形例における任意� ��構成要素を組み合わせて実現される別の形� ��や、各実施の形態および変形例に対して当� ��者が思いつく変形を施して得られる形態も� ��発明に含まれる。

 また、信頼性判定部107によって撮像シー� ��が条件1を満たさないと判断された場合、法 線情報生成処理を行なわないのではなく、処 理は行なうが、表示部208が「領域分割処理が 不安定です」などとディスプレイに表示した り、スピーカ209が音声信号を発生させること で撮像者に伝えるようにしても構わない。

 また、信頼性判定部107によって撮像シー� ��が条件1を満たさないと判断された場合、陰 影領域だけではなく、すべての光学的領域分 割結果および法線情報を廃棄するようにして も構わない。

 また、上記実施の形態および変形例の一� ��では、光学的領域分割装置とともに法線情� ��生成部が図示されたが、本発明に係る画像� ��理装置は、法線情報生成部を備えてもよい� ��、法線情報生成部を備えなくてもよい。法� ��情報生成部は、領域分割部による領域分割� ��処理結果を利用する処理部の一例に過ぎな� ��。領域分割の結果を利用する他の処理例と� ��ては、被写体の形状をモデル化する各種形� ��情報を生成したり、陰影領域を補正するこ� ��で立体体感を与える綺麗な画像を生成した� ��する処理等が考えられる。

 また、第4の実施の形態では、領域分割部 103による光学的領域分割結果を利用して光学 的領域分割結果の信頼性が評価されたが、信 頼性の評価はこの手法に限定されるものでは なく、例えば、被写体の形状情報を用いて光 学的領域分割結果の信頼性を評価してもよい 。

 図48は、被写体の形状情報を用いて光学� �領域分割結果の信頼性を評価する本発明の� �形例に係る光学的領域分割装置100eの構成を� ��す機能ブロック図である。この光学的領域� ��割装置100eは、被写体を撮像することによっ て被写体の表面を光学的に領域分割する装置 であり、信頼性の低い領域分割結果を出力し ない点に特徴を有し、図1に示された光学的� �域分割装置100の構成に加えて、信頼性判定� �107aを備える。

 信頼性判定部107aは、被写体の形状情報を 生成し、生成した形状情報を用いて領域分割 部103による光学的領域分割結果の信頼性を評 価し、信頼性がない場合には光学的領域分割 結果を廃棄する処理部であり、図49に示され� ��ように、DB302、法線情報生成部317および位� �情報比較部318を備える。

 DB302は、位相情報比較部318での比較に用� �られるしきい値を格納している記憶部であ� �。

 法線情報生成部317は、形状情報生成部211� ��生成された形状情報を利用することで、偏� ��画像の各画素の対応する法線ベクトル(nx,ny, nz)を法線情報として生成し、生成した法線ベ クトルから、パターン偏光子面に投影した法 線ベクトルの1自由度情報φNを算出する処理� �である。

 位相情報比較部318は、陰影領域に存在す� ��すべての画素について、偏光情報生成部102� ��生成された偏光位相φと法線情報生成部317� �算出された法線ベクトルの1自由度情報φNと� ��比較し、その差がDB302に格納されているし� �い値よりも小さいか否かで、それらの値が� �分に近いかどうかを判断する処理部である� �

 図50は、このような光学的領域分割装置10 0eが搭載されたカメラ200cのハードウェア構成 例を示している。このカメラ200cは、撮像画� �を光学的に領域分割する機能を備える撮像� �置であり、パターン偏光子201、撮像素子202� �メモリ203、CPU204、角度センサ205、表示部208� �スピーカ209および形状情報生成部211を備え� �。この構成は、図39に示されるカメラ200aに� �状情報生成部211を付加したものに相当する� �

 形状情報生成部211は、被写体の形状情報� ��生成するものであり、レンジファインダや� ��テレオカメラなどである。なお、図49に示� �れる法線情報生成部317は、図50に示される形 状情報生成部211、CPU204およびメモリ203等によ って実現され、位相情報比較部318は、図50に� ��されるCPU204およびメモリ203等によって実現� ��れる。

 図51は、このような光学的領域分割装置10 0eによる光学的領域分割の処理の流れを示す� ��ローチャートである。なお、このフローチ� ��ートは、図27に示されるフローチャートに� �テップS120~S123を付加したものに相当する。� �お、ここでは、図27におけるステップS103がS1 03aとS103bに分離して図示されている。以下、� ��テップS120~S123を説明する。

 信頼性判定部107aの法線情報生成部317は、 形状情報生成部211で生成された形状情報を利 用することで、偏光画像の各画素の対応する 法線ベクトル(nx,ny,nz)を法線情報として生成� �る(S120)。ここで、生成される法線ベクトル� �、光軸方向の焦点位置を原点、撮像素子202� �光軸方向をZc方向としたカメラ座標系(Xc-Yc― Zc)で表現されている。また、パターン偏光子 201の主軸角ψや偏光位相φは、ψ=φ=0°におい� �カメラ座標系のXc軸に一致し、ψ=φ=90°にお� �てカメラ座標系のYc軸に一致するものとする 。図52は、この座標系の模式図である。法線� ��報生成部317は、さらに、こうして生成した� ��線ベクトルから、以下の式10に従って計算� �ることで、パターン偏光子面に投影した法� �ベクトルの1自由度情報φNを推定する(S121)。

 ところで、こうして求めた法線ベクトル� ��1自由度情報φNは、拡散反射成分が支配的な 場合、偏光位相φと等しくなる。つまり、も� ��、陰影領域に存在するすべての画素におい� ��、偏光位相φと形状情報生成部211からの形� �情報より求めた法線ベクトルの1自由度情報� �Nとが十分に近い場合、陰影領域内の画素は� ��べて拡散反射成分が支配的であり、正反射� ��重反射光の影響が存在しないと判断できる� ��そこで、位相情報比較部318は、偏光情報生� ��部102で生成された偏光位相φと法線情報生� �部317で算出された法線ベクトルの1自由度情� ��φNとを比較し、その差がDB302に格納されて� �るしきい値よりも小さいか否かで、それら� �値が十分に近いかどうかを判断する(S122)。� �し、十分に近かった場合(S122でYes)、信頼性� �定部107aは、撮像シーンが上記条件1を満たさ ないと判断し、陰影領域に関する光学的領域 分割結果を廃棄する(S123)。一方、もし、撮像 画像中に陰領域が存在した場合、信頼性判定 部107aは、撮像シーンが条件1を満たすと判断� ��(S122でNo)、陰影領域に関する光学的領域分� �結果を出力する。前述のように、被写体に� �いて鏡面反射成分が支配的か、拡散反射成� �が支配的かによって偏光位相は90°異なるこ� ��が知られているため、このように位相情報� ��比較するためのしきい値は、45°を設定すれ ばよい。もちろん、位相情報を比較するため のしきい値は実験的に決定しても構わない。 このようなしきい値はDB302に保持しておけば� ��い。

 なお、光学的領域分割装置100eが備える法 線情報生成部317としては、形状情報生成部211 で生成された形状情報を利用して法線情報を 生成するものに限られず、偏光情報から法線 情報を生成するものであってもよい。つまり 、この光学的領域分割装置100eは、法線情報� �成部317に代えて、第1の実施の形態における� ��線情報生成部104を備えてもよい。

 また、本発明は、画像処理装置として実� ��されるだけではなく、図53に示されるよう� �、本発明に係る画像処理装置を内蔵するデ� �タルスチルカメラやデジタルムービーカメ� �等の応用製品としても実現され得る。

 また、図14等に示される陰影領域検出部30 1は、影領域を検出するために、まず輝度値� �用いて陰影領域を判断したが(図15のS201等)、 本発明は、このような手順に限定されず、偏 光情報生成部102によって生成された偏光情報 だけで影領域を検出してもよい。このような 処理は、油絵など、影領域は存在するが、陰 領域が存在しないことが分かっている被写体 に対して有効である。これは、黒い絵の具の ように、十分に小さい反射率をもつ被写体が 存在する場合、前述の輝度値による判断のみ では陰影領域と黒い絵の具の区別がつかない ためである。このような、本実施の形態の変 形例に係る光学的領域分割装置について図を 用いて詳述する。

 このような変形例に係る光学的領域分割� ��置の構成を示す機能ブロック図は図26と同� �であるため、ブロック構成の説明は省略す� �。

 図54は、このような変形例に係る光学的� �域分割装置による陰影検出処理の流れを示� �フローチャートである。つまり、図15に示さ れた陰影領域検出処理(S201、S202、S204~S206)の� �の手法を示すフローチャートである。図54に 示されるように、偏光度比較部303は、画素の 偏光度が閾値TH_PSより小さいか、大きいかを� ��べる(S407)。画素の偏光度が閾値TH_PDSより大� ��かった場合(S407でNo)、陰影領域検出部301は� �その画素は影領域ではないと判断し(S402)、� �の画素において拡散反射が支配的であるか� �面反射が支配的であるかを判定し(S202)、処� �を終了する。一方、偏光度が閾値TH_PSより小 さかった場合(S407でYes)、陰影領域検出部301は 、その画素が影領域であると判断し(S405)、処 理を終了する。

 図55は、油絵の被写体を撮影した場合の� �光度ρを画像として表示した図である。この 図において、図55(a)は被写体である油絵の画� ��を示し、図55(b)は、図55(a)に示された画像に 対応する偏光度ρ(つまり、偏光情報生成部102 によって生成された偏光情報)を示している� �また、図56は、このような変形例に係る光学 的領域分割装置によって、図55(a)に示される� ��像に対して、図55(b)に示される偏光度ρを用 いて抽出された影領域を示している。この図 における黒色領域が、抽出された影領域であ る。なお、こうして抽出された影領域を最終 的な影領域として出力してもよいし、あるい は、このように抽出された影領域に対して、 画像処理で広く使われている領域の収縮膨張 処理を行なうことにより、新たに再定義した 領域を最終的な影領域として出力してもよい 。

 このような変形例に係る光学的領域分割� ��置による画像処理のメリットは次の通りで� ��る。図55及び図56において、領域Aは影領域� �、領域Bは黒い絵の具の領域を示している。� ��55(a)に示される画像では、これら領域Aと領� ��Bの輝度情報がほぼ等しいことから分かるよ う、領域Aと領域Bとの分離が困難である。し� ��しながら、図55(b)の偏光度情報を利用する� �とで、図56に示されるように、領域Aは影領� �であり、領域Bは影領域ではないと、正しく� ��域抽出ができている。