-第1の実施の形態-
 以下、図面を参照して本発明を実施するた� ��の第1の実施の形態について説明する。本発 明によるプロジェクタは、投影面の状態に応 じて投影画像の見栄えや視認性を向上させる ため、投影面に投影するために使用する入力 画像を補正する。投影に先だって、投影面上 に投影された画像を撮影し、その撮影画像に 基づいて、投影面が投影に適切か否かを判定 し、ユーザに報知するようにしたものである 。

 図1は、本発明の実施形態によるプロジェ クタ1を前方から見た図である。図1に示すよ� ��に、プロジェクタ1の正面には、投影光学系 111(図2参照)を構成する投影レンズ111Aと、撮� �光学系121(図2参照)を構成する撮影レンズ121A� ��設けられている。プロジェクタ1は、机上な どに載置された状態で前方のスクリーンなど に向けて、内蔵する投射ユニット110(図2参照) によって画像などの投影情報を投影する。

 図2は、プロジェクタ1の構成を説明する� �ロック図である。図2においてプロジェクタ1 は、投射ユニット110と、撮像ユニット120と、 制御回路101と、メモリ102と、操作部103と、外 部インターフェイス(I/F)回路104と、メモリカ� ��ドインターフェイス(I/F)105とを備え、メモ� �カードインターフェイス105にはメモリカー� �150が接続される。

 制御回路101は、マイクロプロセッサ及び� ��の周辺回路からなる。制御回路101は、制御� ��ログラムに従って、プロジェクタ1内の各部 から入力される信号を用いて所定の演算を行 う。制御回路101は、演算によって得られる制 御信号をプロジェクタ1内の各部に送出する� �このようにして、制御回路101は、プロジェ� �タ1の投影動作および撮影動作を制御する。� ��御プログラムは制御回路101内の不図示のROM� ��格納される。

 制御回路101は画像処理部101Aを有する。画 像処理部101Aでは、制御回路101が外部インタ� �フェイス104を介して取得した画像データま� �はメモリカード150より取得した画像データ� �対して、画像処理が行われる。画像処理部10 1Aで行われる画像処理の詳細については後述� ��る。

 メモリ102は制御回路101の作業用メモリと� ��て使用される。操作部103はボタンやスイッ� ��などで構成され、操作されたボタンやスイ� ��チに対応する操作信号は制御回路101へ送出� ��れる。メモリカード150では、制御回路101の� ��示によるデータの書き込み、保存および読� ��出しが可能である。

 投射ユニット110は、投影光学系111、液晶� ��ネル112、LED光源113、および投射制御回路114� ��含む。LED光源113は、供給電流に応じた明る� ��で液晶パネル112を照明する。液晶パネル112� ��、投射制御回路114からの駆動信号に応じて� ��像を生成する。投影光学系111は、液晶パネ� ��112から射出される光像を投射する。投射制� ��回路114は、制御回路101からの指示により、L ED光源113および液晶パネル112へ制御信号を送� ��する。

 投射ユニット110は、制御回路101からの指� ��に基づき、メモリカード150内に保存されて� ��る画像データによる画像、または外部イン� ��ーフェイス回路104を介して外部機器から供� ��される画像データによる画像を投影可能に� ��成される。メモリカード150内に保存されて� ��る画像データによる画像、または、外部イ� ��ターフェイス回路104を介して外部機器から� ��給される画像データによる画像を、以下、� ��影原画像と呼ぶ。投射ユニット110が投影す� ��画像(以下、投影画像と呼ぶ)は、制御回路10 1の画像処理部101Aによる投影原画像に対する� ��像処理が行われた結果として出力される。

 撮像ユニット120は撮像光学系121、撮像素� ��122および撮像制御回路123を有し、制御回路1 01からの指示に応じて投影面の撮像を行う。� ��像光学系121は、撮像素子122の撮像面上に被� ��体像を結像させる。撮像素子122としては、� ��とえば、CCD撮像素子、またはCMOS撮像素子が 用いられる。撮像制御回路123は、制御回路101 からの指示により撮像素子122を駆動制御する とともに、撮像素子122から出力される画像信 号に対して所定の信号処理を行う。信号処理 後の画像データは、所定形式の画像ファイル としてメモリカード150に記録される。

 制御回路101の画像処理部101Aで行われる画 像処理を説明する。本発明の実施形態の画像 処理では、投影原画像を投影面に投射したと きに投影面の模様及び汚れが目立たなくなる ように、撮像ユニット120により撮影した投影 面の画像に基づいて、投影原画像の色補正を 行う。画像処理部101Aは、投射光学系111の光� �と撮像光学系121の光軸とが一致していない� �とによる投影画像の歪、及び投影光学系111� �光軸が投影面に対して垂直でないことに起� �する投影画像のあおり及び歪などを解消す� �ための幾何補正も行うことができる。本発� �の第1の実施の形態の画像処理は、上述の色� ��正に特徴を有する。色補正について主に説� ��する。

 図3のフローチャートを参照して、制御回 路101が行う投影画像の投影制御、およびその 投影画像を生成するために、制御回路101の画 像処理部101Aが行う画像処理について説明す� �。図3に示す処理は、プロジェクタ1が、投影 を開始するための処理を開始するとスタート するプログラムにより画像処理部101Aにおい� �実行される。

 ステップS1では、投影原画像の幾何補正� �行うための幾何補正係数を算出する。幾何� �正係数の算出方法は従来技術であるので、� �明を省略する。

 ここで、制御回路101の画像処理部101Aは、 投影原画像の画像数がプロジェクタ1の解像� �に一致するように補間処理を行う。さらに� �画像処理部101Aは、撮像ユニット120により撮� ��された投影面の撮影画像(以下、投影面撮影 画像と呼ぶ)を、プロジェクタ1の解像度と一� ��するように補間処理を行う。この補間処理� ��行った撮影画像を使用して上述の補間処理� ��行った投影原画像を以下のように補正し、� ��正した画像を投影するものとする。投影原� ��像の画素と撮影画像の画素との間の対応関� ��を明確にし、処理速度を速くするためであ� ��。

 ステップS2では、投射ユニット110の投影� �性の算出を行う。投影特性とは、入力画像� �画素値(R,G,B)と、投影面で再現される投影画� ��の測色値(X,Y,Z)との間の関係を示す特性であ る。測色値は、投射ユニット110の照明ムラ、 投影面の色や模様、周囲照明による投影面の 明るさに影響を受ける。そこで、投射ユニッ ト110から、既知の画素値(R,G,B)で表される所� �の投影画像を投影して投影面上の投影画像� �撮影ユニット120で撮影し、撮影画像から測� �値(X,Y,Z)を検出して投影特性を算出する。所� ��の投影画像とは、後述するように、白画像� ��黒画像、R画像、G画像、またはB画像である� ��投影特性に基づいて決定する投影画像補正� ��数により投影原画像を補正して投影するこ� ��により、投射ユニット110の照明ムラ、投影� ��の色や模様、周囲照明による投影面の明る� ��に依存しない投影画像が得られる。投影特� ��の具体的な算出処理については後述する。

 ステップS3では、ステップS2で得られた投 影特性を用いて、投影面の状態や周囲照明環 境等に影響されることなく投影原画像が補正 されることによって投影画像が得られるよう に、投影原画像データに施す投影画像補正係 数を決定する。投影画像補正係数は、投影面 撮影画像に基づいて決定される。この処理の 詳細についても後述する。

 ステップS4は、投影面撮影画像に基づき� �投影面が投影に適切であるか否かの投影面� �断を行う。投影面撮影画像は、制御回路101� �、投射ユニット110が投影面に所定の投影画� �を投射し、撮像ユニット120がその投影面の� �像を行うよう、投射制御回路114および撮像� �御回路123を制御することによって得られる� �投影面判断処理の詳細についても後述する� �

 ステップS40は、ステップS4における投影� �判断処理において、投影面が投影に適切と� �断され、後述する投影可マークが投影され� �いる場合、ステップS40は肯定判定され、ス� �ップS5に進む。投影面が投影に不適切と判断 され、後述する投影不可マークが投影されて いる場合、ステップS40は否定判定され、処理 を終了する。

 ステップS5では、投影原画像の画像デー� �が、外部インターフェイス回路104を介して� �またはメモリカード150より読み込まれる。� �の画像データは、メモリ102に記憶される。� �テップS6では、ステップS4で決定した投影画� ��補正係数が、ステップS5で読み込まれた投� �原画像データに施され、さらにアナログ変� �されることによって、投影画像が生成され� �。ステップS7では、制御回路101は、投射ユニ ット110がステップS6で生成された投影画像を� ��影するように、投射制御回路114を制御する� ��

 ステップS8では、補正されて投影画像と� �て投影されるために読み込まれる次の投影� �画像があるか否かを判定する。次の投影原� �像がある場合はステップS8が肯定判定され、 ステップS5に戻る。次の投影原画像がない場� ��はステップS8が否定判定され、処理を終了� �る。

 次に、ステップS2、S3、S4,S6について、さ� ��に詳細に説明する。

-投影特性の算出-
 ステップS2で行う投影特性の算出について� �明する。
 i番目の画素値が(R,G,B) _i で与えられる投影原画像データから投影画像 を生成して投射ユニット110で投影したとき、 i番目の画素値に対応する投影面の測色値(X,Y, Z) _i は以下の式(1)で表される。
 ただし、式(2)、および式(3)に示す置き換え� ��用いている。

 γは投射ユニット110の階調特性を表す。M _pi は、投射ユニット110の画素値(R ^γ ,G ^γ ,B ^γ ) _i から投射ユニット110の照明の測色値へ変換す る色変換マトリックスを表す。(X _kp ,Y _kp ,Z _kp ) _i は、投射ユニット110で黒画像を投影した時の 周囲照明も含めた投影面の照明条件を表す。 R ^* _i は、投影面の反射率特性を表す。

 添字iは次の意味を有している。プロジェ クタ1では、白画像あるいは黒画像のような� �素値が既知の画像を投射して投影面を撮像� �、その撮像画像に基づいて、投影面の模様� �どによる反射率のムラだけではなく、投射� �ニット110の照明ムラ、ならびに周囲照明お� �び黒点による面内ムラ(以下、これらのムラ� ��総称して単に「ムラ」と呼ぶ)も合わせて補 正する。したがって、投影面の各画素領域で 互いに異なる投影特性を表現するため、添え 字iを使用する。

 式(1)において、(X _k ,Y _k ,Z _k ) _i は、黒画像((R,G,B) _i =(0,0,0) _i )を投影した時の投影面撮影画像に基づいて� �定する。投影面上の投影画像の測色値は、� �影画像の画素値から予め決まった色変換処� �を用いることで算出できる。撮影画像のプ� �ファイルがsRGBであれば、画素値に対して通� ��のsRGB変換処理を適用して(X _k ,Y _k ,Z _k ) _i を決定することができる。

 同様に、R画像((R,G,B) _i =(255,0,0) _i )、G画像((R,G,B) _i =(0,255,0) _i )、およびB画像((R,G,B) _i =(0,0,255) _i )をそれぞれ投影した投影面を撮影した各撮� �画像から、色変換マトリックスM _i の3×3のマトリックス係数を決定する。具体� �には、R画像、G画像およびB画像をそれぞれ� �影した投影面撮影画像の測色値をそれぞれ� �(X _r ,Y _r ,Z _r ) _i 、(X _g ,Y _g ,Z _g ) _i および(X _b ,Y _b ,Z _b ) _i とすると、色変換マトリックスM _i は以下の式(4)で表される。

-投影画像補正係数の決定-
 ステップS3で行う投影画像補正係数の決定� �ついて説明する。
 投影面にムラあるいは模様がある場合、投� ��面を撮影して得た撮像画像の画素値は均一� ��はなく、ムラや模様に応じた画素値となる� ��め、各画素で最大表示可能な色域は変化す� ��。この最大表示可能な色域範囲を決定する� ��投影面での輝度Y _i は、式(1)に基づき、式(5)に示されるようにし て求められる。

 表示可能な輝度範囲は、式(5)において、0≦ R _i ≦255,0≦G _i ≦255,および0≦B _i ≦255に対しY _i がとり得る範囲で決まる。通常、Y _r >Y _k ,Y _g >Y _k ,およびY _b >Y _k であるから、各画素の表示可能な輝度範囲は 、白画像((R,G,B) _i =(255,255,255) _i )を投影したときの表示輝度を表示可能な最� �輝度Y _MAX,i 、黒画像を投影したときの表示輝度をY _MIN,i として求めることができる。

 投影面のムラや模様が投影画像の視認性に� ��する影響を低減するためには、投影面撮影� ��像の投影面での最大輝度Y _MAX がMIN(Y _MAX,i )、最小輝度Y _MIN がMAX(Y _MIN,i )になるように投影原画像データを補正する� �要がある。すなわち、補正対象投影原画像� �投影したときの最大輝度Y _MAX が、白画像投影時の撮影画像を構成する複数 画素の中で最小の輝度値MIN(Y _MAX,i )になるように補正する必要がある。また、� �正対象投影原画像を投影したときの最小輝� �Y _MIN が、黒画像投影時の撮影画像を構成する複数 画素の中で最大の輝度値MAX(Y _MIN,i )になるように補正する必要がある。

 しかし、極端に暗い部分が投影面にある場� ��などに、上述した補正を全画素に対して行� ��と、ダイナミックレンジが非常に狭くなり� ��補正後の投影画像そのものの視認性が劣化� ��る。そこで、輝度閾値Y _th を設定し、投影画像の画素のうち、投影した ときの輝度が輝度閾値Y _th より低い輝度の画素に対しては、補正量を緩 和し、最大輝度Y _MAX を以下の式(6)のように決定する。
Y _th >MIN(Y _MAX,i )が成り立つ場合、最大輝度Y _MAX は、MIN(Y _MAX,i )ではなく、閾値Y _th となるように補正する。このようにして、低 輝度側の画素値の補正量を抑制する。

-投影画像の補正-
 ステップS6で行う投影原画像の補正による� �影画像の生成について説明する。
 投影原画像の色空間がsRGBとすれば、投影原 画像の画素値(R ₀ ,G ₀ ,B ₀ )に対して、投影面での測色値(X,Y,Z) _i は以下の式(7)のようにして得られる。
 黒画像を投影したときの画素の最大輝度Y _MIN =MAX(Y _MIN,i )を有する画素を投影画面の黒点とし、その� �点の画素値を投影画面の黒点(X _k0 ,Y _k0 ,Z _k0 )とする。なお、M _sRGB→XYZ はsRGB色空間からXYZ色空間への変換マトリッ� �スである。

 したがって、式(1)を用いて、補正後の投射� ��ニット110への入力画素値(R,G,B) _i は、以下の式(8)で算出できる。

 式(7)は簡単のため、sRGBのγ=2.2として記述 した。しかし、線形関数とγ=2.4の組み合わせ で算出してもよい。

-投影面判断-
 図4を参照して、図3におけるステップS4での 投影面判断処理について説明する。図4(a)は� �投影面30を説明するための図である。投影面 30は、星の模様が付されている壁である。投� ��画像を投影するに先立って、白画像を投影� ��30に投影する。投影面30が投影に不適切であ ると判定すると、図4(b)に示すように、投影� �30が不適切であることを示すバツマーク31が� ��ロジェクタ1から投影される。バツマーク31� ��見たユーザは、投影面が投影に不適切であ� ��ことを認識する。ユーザは、投影原画像に� ��る投影を開始する前に投影面を別の面に移� ��ことができる。

 図4(c)は、不適切と判断された投影面に、 仮に投影画像を投影した場合の投影画像の一 例を示す。投影原画像を補正しても投影面上 の投影画像32に星マークが重畳表示され、見� ��えが悪い。

 図5のフローチャートを参照して、制御回 路101が行う投影面判断処理について説明する 。図5の処理は、プロジェクタ1が、投影を開� ��するための処理を開始するとスタートする� ��ログラムにより制御回路101において実行さ� ��る。

 ステップS11では、投射ユニット110から白画� ��((R,G,B) _i =(255,255,255))を投影面に投影する。ステップS12 では、撮像ユニット120で投影面を撮影する。

 ステップS13では、撮影画像の画素値RGBか� ��輝度Yを算出する。輝度Yの算出は以下のよ� �にして行う。予め制御回路101に記憶したRGB� �色系からXYZ表色系(CIE 1931 表色系)への変換� ��トリックスを用いて、撮影画像の画素値RGB� ��、XYZ表色系に変換し、各画素の輝度Yを算出 する。なお、変換マトリックスは、撮像ユニ ット120における撮像素子122の分光特性から決 定される。

 ステップS14では、制御回路101は、撮影画像� ��構成する複数画素の輝度の中で最大の輝度Y _MAX を算出する。ただし、ステップS11からS14まで で行われる処理は、上述したように、図3に� �けるステップS3においても行われ、白画像を 投影した際の最大輝度Y _MAX が取得されるので、それを以下の処理で用い ることとして、ステップS11からS14までで行わ れる処理を省略しても良い。ステップS15では 、撮影画像全体の画素の中から、輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素を抽出し、 抽出した画素の割合、すなわち、撮影画像全 体の全画素数に対する抽出した画素数の割合 がC_th以上であるか否かを判定する。

 R ^* _min_thは反射率の閾値であり、次のように定� �ることができる。投影原画像データの補正� �は、投影面の反射率が低くなるほど多くな� �。反射率が所定値以下になると、補正して� �投影画像の視認性を改善することが難しく� �る。そこで、補正により視認性を改善する� �とができる最小の反射率をR ^* _min_thとして設定する。R ^* _min_thの値はたとえば0.02である。

 C_thは、たとえば0%であり、次のように定め� ��ことができる。上述したように投影原画像� ��ータを補正しても、輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素が多い場合 、補正不完全な画素が多くなり、投影画像の 視認性が劣化する。したがって、このような 劣化が生じない範囲で上記C_thの値を決定す� �ばよく、たとえばC_thは0%になる。

 輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素の割合がC_t h未満である場合は、ステップS15が否定判定� �れ、ステップS16に進む。輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素の割合がC_t h以上である場合はステップS15が肯定判定さ� �、ステップS17に進む。

 ステップS16では、制御回路101は、投射ユ� ��ット110から、投影面が投影に適しているこ� ��を示すマークである投射可マーク(マルマー ク)が投影面に投影されるように投射制御回� �114を制御し、上述の方法で補正した画像を� �影することになる。ステップS17では、制御� �路101は、投射ユニット110から、投影面が投� �に適していないことを示すマークである投� �不可マーク(バツマーク)が投影面に投影され るように投射制御回路114を制御する。

 以上説明した実施形態によれば、次の作用� ��果が得られる。
(1)所定の投影画像、本例では白画像が投影さ れた投影面を撮影して得られる投影面撮影画 像に基づいて、投影面が投影に適しているか 否かを判定し、その判定結果をユーザに通知 するようにした。したがって、投影原画像デ ータを補正しても投影面のムラや模様などに よる画質低下を避けられないような投影面で 投影を行うのを防止することができる。

(2)投影面撮影画像の全画素の中で最大である 輝度Y _MAX を検出し、輝度Y _MAX に投影面の最小反射率R ^* _min_thを乗じた基準輝度値を設定する。この� �準輝度値よりも小さい輝度を有する画素の� �、すなわち、輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素の数の全画 素数に対する割合を算出し、その割合が閾値 C_th以上であれば投影に適さない投影面であ� �と判定するようにした。換言すると、基準� �度よりも暗い輝度で投影される画素の割合� �所定値よりも少ないような投影面は、投影� �適していると判断する。これにより、投影� �撮影画像を構成する画素の輝度値を用いる� �けで投影面が投影に適しているか否かを適� �に判定できる。

-第2の実施の形態-
 第2の実施形態によるプロジェクタでは、以 下の(a)~(c)の判定基準を採用して、投影面の� �態に応じて投影原画像データの補正量を緩� �するものである。
(a)投影面を撮影して得た投影面撮影画像の中 で基準値よりも輝度が低い画素(以下、低輝� �画素と呼ぶ)の割合が所定値よりも少ない場� ��
(b)投影面撮影画像内の低輝度画素の位置が投 影面の周辺の場合
(c)連続する低輝度画素の画素数が少ない場合

 すなわち、(a)~(c)の場合のように、投影面 の低輝度部分が投影面上での投影画像の画質 に影響を与えにくいときは、補正量を緩和す る。補正は以下の(8),(9)式により行う。

 補正後の投射ユニット110への入力画素値(R,G ,B) _i は、Y _MAX,i の大きさに基づいて、以下の式(9),(10)で算出� ��きる。
(1)Y _MAX,i ≧Y _MAX を満たす画素i;

(2)Y _MAX,i <Y _MAX を満たす画素i;

 (9),(10)式は簡単のため、sRGBのγ=2.2として� ��述した。しかし、定義どおり線形関数とγ=2 .4の組み合わせで算出してもよい。

 第1の実施の形態のプロジェクタでは、投影 面が画像投影に適しているか否かの判断基準 として最小反射率R ^* _min_thと閾値C_thを使用したが、第2の実施形態 では、補正量を緩和し、補正過剰による視認 性悪化を防ぐことで、以下に示す第2の判断� �準を採用する。

 第2の判断基準は、輝度Yが、Y _MAX ・R ^* _min_th1>Yという関係を満たす画素の数の全� �素数に対する割合と、第2閾値C_th1との大小� �係である。ただし、最小反射率R ^* _min_th1<最小反射率R ^* _min_th、閾値C_th1>閾値C_thである。最小反射� ��R ^* _min_th1はたとえば0.02であり、閾値C_th1はたと� ��ば0.01(1%)である。

 図6のフローチャートを参照して、第2の� �施の形態による投影面判断処理について説� �する。図6の処理は、プロジェクタ1が、投影 を開始するための処理を開始するとスタート するプログラムにより制御回路101において実 行される。図5の処理と同じ処理には同じ符� �を付し、図5の処理と異なる部分を主に説明� ��る。

 ステップS14の次にステップS21に進む。ステ� ��プS21では、投影原画像データを補正する程� ��を少なくするか否か、言い換えると補正量� ��緩和するか否かを判定する。撮影画像全体� ��画素の中から、輝度Yが、Y _MAX ・R ^* _min_th1>Yという関係を満たす画素を抽出し� �抽出した画素数の全画素数に対する割合が� �値C_th1以上であるか否かを判定する。最小反 射率R ^* _min_th1は、上述したとおり、予め定められた� ��影面の最低反射率であり、第1の実施の形態 における基準反射率R ^* _min_thより小さな値である。閾値C_th1は予め定 められた割合であり、上述したとおり、閾値 C_thより大きな値である。輝度YがY _MAX ・R ^* _min_th1>Yの関係を満たす画素の割合がC_th1未 満である場合はステップS21が否定判定され、 ステップS16に進む。輝度YがY _MAX ・R ^* _min_th1>Yの関係を満たす画素の割合が閾値C_ th1以上である場合はステップS21が肯定判定さ れ、ステップS17に進む。

 投射ユニット110における液晶パネル112の� ��素欠陥数の許容範囲を考慮して、C_thやC_th1� ��決定してもよい。ステップS21では、上述(a)� ��判定基準を用いたが、(b)、(c)などの判定基� ��を代りに用いたり、併用したりしてもよい� ��

 -第3の実施の形態-
 第1の実施の形態のプロジェクタでは、投影 面が画像投影に適しているか否かの判断基準 として最小反射率R ^* _min_thと閾値C_thとの積で表したひとつの判断� ��準値を使用した。第3の実施形態によるプロ ジェクタでは、投影面が画像投影に適してい るか否かの判断基準としてそれぞれ異なる大 中小3つの最小反射率R ^* _min_th2、R ^* _min_th3、およびR ^* _min_th4と、大中小3つの閾値C_th2、C_th3、およ� �C_th4とを定め、それらの積で表した第1判断� �準値R ^* _min_th2×C_th2と、第2判断基準値R ^* _min_th3×C_th3と、第3判断基準値R ^* _min_th4×C_th4を使用する。

 第3の実施形態では、投影面においてムラが それほど目立たない場合でも、そのムラの面 積の割合が大きい場合は投影画像の視認性が 悪くなることを考慮して、上述した3つの判� �基準値、第1判断基準値R ^* _min_th2×C_th2(たとえば、0.002×0.001)と、第2判断 基準値R ^* _min_th3×C_th3(たとえば、0.02×0.01)と、第3判断� �準値R ^* _min_th4×C_th4(たとえば、0.2×0.1)を使用する。

 図7のフローチャートを参照して、第3の実� �の形態による投影面判断処理について説明� �る。図7の処理は、プロジェクタ1が、投影を 開始するための処理を開始するとスタートす るプログラムにより制御回路101において実行 される。図5の処理と同じ処理には同じ符号� �付し、図5の処理と異なる部分を主に説明す� ��。R ^* _min_th2はR ^* _min_th3より小さく、R ^* _min_th3はR ^* _min_th4より小さいものとする。また、C_th2はC_ th3より小さく、C_th3はC_th4より小さいものと� �る。

 ステップS14の次にステップS31に進む。ステ� ��プS31では、撮影画像全体の画素の中から、� ��度Yが、Y _MAX ・R ^* _min_th2>Yという関係を満たす画素を抽出し� �全画素数に対する抽出した画素数の割合がC_ th2以上であるか否かを判定する。たとえば、 R ^* _min_th2は0.002であり、C_th2は0.1%である。抽出� �た画素数の全画素数に対する割合がC_th2未満 である場合はステップS31が否定判定され、ス テップS32に進む。抽出した画素数の全画素数 に対する割合がC_th2以上である場合はステッ� ��S31が肯定判定され、ステップS17に進む。

 ステップS32では、撮影画像全体の画素の中� ��ら、輝度YがY _MAX ・R ^* _min_th3>Yという関係を満たす画素を抽出し� �抽出した画素数の全画素数に対する割合がC_ th3以上であるか否かを判定する。たとえば、 R ^* _min_th3は0.02であり、C_th3は1%である。抽出し� �画素数の全画素数に対する割合がC_th3未満で ある場合はステップS32が否定判定され、ステ ップS33に進む。抽出した画素数の全画素数に 対する割合がC_th3以上である場合はステップS 32が肯定判定され、ステップS17に進む。

 ステップS33では、撮影画像全体の画素の中� ��ら、輝度Yが、Y _MAX ・R ^* _min_th4>Yの関係を満たす画素を抽出し、抽� �した画素数の全画素数に対する割合がC_th4以 上であるか否かを判定する。たとえば、R ^* _min_th4は0.2であり、C_th4は10%である。抽出し� �画素数の全画素数に対する割合がC_th4未満で ある場合はステップS33が否定判定され、ステ ップS16に進む。抽出した画素数の全画素数に 対する割合がC_th4以上である場合はステップS 33が肯定判定され、ステップS17に進む。

 複数のR ^* _min_thおよびC_thの組み合わせは、ユーザ、撮� ��画像、撮影条件などにより加減可能にして� ��よい。

-第4の実施の形態-
 第1の実施の形態のプロジェクタでは、輝度 Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素であれば、 単独の画素でも、連続した画素でも全て画素 数として加算した。第4の実施の形態のプロ� �ェクタでは、輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素が少なくと も2つ以上連続している場合、それらの画素� �加算し、加算結果の全画素数に対する割合� �算出する。すなわち、輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たすが連続せずに分 散して存在する画素を除外して投影面の評価 を行うようにする。

 図8のフローチャートを参照して、第4の� �施の形態による投影面判断処理について説� �する。図8の処理は、プロジェクタ1が、投影 を開始するための処理を開始するとスタート するプログラムにより制御回路101において実 行される。図5の処理と同じ処理には同じ符� �を付し、図5の処理と異なる部分を主に説明� ��る。

 ステップS14からステップS41に進むと、撮影� ��像の画素の中から、輝度Yが、Y _MAX ・R ^* _min_th>Yという関係を満たす画素であって連 続した画素を抽出する。ステップS42では、ス テップS41で抽出した画素数の全画素数に対す る割合がC_th以上であるか否かを判定する。� �出した画素数の全画素数に対する割合がC_th� ��満である場合はステップS42が否定判定され� ��ステップS16に進む。抽出した画素数の全画� ��数に対する割合がC_th以上である場合はステ ップS42が肯定判定され、ステップS17に進む。

 この場合、図6と同様に、(a)投影面を撮影 して得た投影面撮影画像の中で基準値よりも 輝度が低い画素(以下、低輝度画素と呼ぶ)の� ��合が少ない場合、(b)投影面撮影画像内の低� ��度画素の位置が周辺の場合、(c)低輝度画素� ��連続する場合の画素数が少ない場合に補正� ��を緩和するようにしてもよい。そして、補� ��量を緩和した場合は、図6で説明した第2判� �基準値を使用すればよい。

-第5の実施の形態-
 第1の実施の形態のプロジェクタでは、投射 ユニット110から白画像((R,G,B)i=(255,255,255))を投 影面に投影して、モノクロ画像により投影面 が投影に適しているか否かを判定した。しか し、R画像((R,G,B) _i =(255,0,0))、G画像((R,G,B) _i =(0,255,0))およびB画像((R,G,B) _i =(0,0,255))を投影面に投影し、色彩を有する画� ��を投影面に投影して投影面を評価してもよ� ��。たとえば、投影面の一部に彩度の高い部� ��がある場合、その投影面は投影に適してい� ��いと判定することができる。

 図9~図11のフローチャートを参照して、第 5の実施の形態による投影面判断処理につい� �説明する。図9~図11の処理は、プロジェクタ1 が、投影を開始するための処理を開始すると スタートするプログラムにより制御回路101に おいて実行される。

 図9のステップS501では、投射ユニット110か� �R画像((R,G,B) _i =(255,0,0))を投影面に投影する。ステップS502で は、撮像ユニット120で投影面を撮影する。ス テップS503では、撮影画像の画素値RGBから、� �度YRを算出する。ステップS504では、撮影画� �内の輝度YRの最大値であるYR ^* _maxを算出する。

 ステップS505では、撮影画像全体の画素の中 から、輝度YRが、YR ^* _max・R ^* _min_th>YRという関係を満たす画素を抽出し� �抽出した画素数の全画素数に対する割合がC_ th以上であるか否かを判定する。抽出した画� ��数の全画素数に対する割合がC_th未満である 場合はステップS505が否定判定され、ステッ� �S506に進む。抽出した画素数の全画素数に対� ��る割合がC_th以上である場合はステップS505� �肯定判定され、ステップS517に進む。

 図10のステップS506では、投射ユニット110か� ��G画像((R,G,B) _i =(0,255,0))を投影面に投影する。ステップS507で は、撮像ユニット120で投影面を撮影する。ス テップS508では、撮影画像の画素値RGBから、� �度YGを算出する。ステップS509では、撮影画� �内の輝度YGの最大値であるYG_maxを算出する。

 ステップS510では、撮影画像全体の画素の中 から、輝度YGが、YG_max・R ^* _min_th>YGという関係を満たす画素を抽出し� �抽出した画素数の全画素数に対する割合がC_ th以上であるか否かを判定する。抽出した画� ��数の全画素数に対する割合がC_th未満である 場合はステップS510が否定判定され、ステッ� �S511に進む。抽出した画素数の全画素数に対� ��る割合がC_th以上である場合はステップS510� �肯定判定され、ステップS517に進む。

 図11のステップS511では、投射ユニット110か� ��B画像((R,G,B) _i =(0,0,255))を投影面に投影する。ステップS512で は、撮像ユニット120で投影面を撮影する。ス テップS513では、撮影画像の画素値RGBから、� �度YBを算出する。ステップS514では、撮影画� �内の輝度YBの最大値であるYB_maxを算出する。

 ステップS515では、撮影画像全体の画素の中 から、輝度YBがYB_max・R ^* _min_th>YBの関係を満たす画素を抽出し、抽� �した画素数の全画素数に対する割合がC_th以� ��であるか否かを判定する。抽出した画素数� ��全画素数に対する割合がC_th未満である場合 はステップS515が否定判定され、ステップS516� ��進む。抽出した画素数の全画素数に対する� ��合がC_th以上である場合はステップS515が肯� �判定され、ステップS517に進む。

 ステップS516では、投射ユニット110から、 投影面が投影に適していることを示すマーク である投射可マーク(マルマーク)を投影面に� ��影する。ステップS517では、投射ユニット110 から、投影面が投影に適していないことを示 すマークである投射不可マーク(バツマーク)� ��投影面に投影する。

 この場合も図7で説明した第3の実施の形態� �同様に、複数のR ^* _min_thおよびC_thの組み合わせにおいて、各輝� ��Y(R,G,B)がY(R,G,B)_max・R ^* _min_th>Y(R,G,B)の関係を満たす画素の割合がC_ th未満である場合、投影面が投影に適してい� ��と判定するようにしてもよい。

 以上の実施の形態を次のように変形するこ� ��ができる。
(1)投影面が投影に適しているか否かの2段階� �投影面を評価したが、(i)投影面が投影に適� �ている、(ii)投影面の一部に投影に適してい� ��い部分があるが、その他の部分は投影に適� ��ている、(iii)投影面が投影に適していない� �の3段階で投影面を評価するようにしてもよ� ��。このとき、投影面が投影に適している場� ��、丸マークが投影され、投影面の一部に投� ��に適していないがその他の部分は投影に適� ��ている場合、三角マーク印が投影され、投� ��面が投影に適していない場合、バツマーク� ��投影される。投影面の一部に投影に適して� ��ない部分がある場合、その投影面で投影す� ��か否かをユーザが判断することができ、プ� ��ジェクタの利便性が向上する。投影画像に� ��っては、投影画像の一部が見づらくてもよ� ��場合があるからである。

(2)投影面撮影画像内の輝度Yの最大値(Y _MAX )に基づいて、投影面が投影に適しているか� �かを判定するようにした。しかし、投影面� �影画像の平均輝度から投影面が投影に適し� �いるか否かを判定するようにしてもよい。� �の場合、投影面撮影画像の平均輝度が所定� �より大きい場合は投影面が投影に適してい� �と判定し、投影面撮影画像の平均輝度が所� �値以下の場合は投影面が投影に適していな� �と判定する。

(3)彩度の観点から投影面が投影に適している か否かを判定するとき、投影面撮影画像の画 素値RGBを、XYZ表色系に変換し、さらにCIELABに 変換し、彩度C=√(a ² +b ² )の値を用いて判定するようにしてもよい。� �の場合は、予め明度L毎にCの閾値を記憶して おく。Cの閾値は明度Lに依存するので、Cの閾 値を一定値とできないからである。

(4)以上の実施形態のR ^* _min_thやC_thの数値は一例であり、実施形態の� ��に限定されない。R ^* _min_thやC_thの数値は、プロジェクタ1の特性(� �明ムラ、欠陥などの許容範囲)や投影画像の� ��正方法などによって変わるからである。た� ��えば、LED光源113の駆動量をx倍に大きくでき るとすれば、R ^* _min_thの値を実施形態の約1/x倍にすることが� �能となる。

(5)投影面が投影に適しているか否かを判定 した結果をユーザに通知する方法は、バツマ ーク31を投影面30に投影する方法に限定され� �い。たとえば、プロジェクタに表示部が設� �られている場合、表示部に投影面適表示お� �び投影面不適表示を行うことにより、投影� �の状態をユーザに通知してもよい。

(6)投影画像を考慮に入れて、投影面が投影 に適しているか否かを判定するようにしても よい。たとえば、投影画像が青空を撮影した ものである場合、投影面の模様などが目立つ ので、投影面が投影に適しているか否かを判 定する判定基準を高くする。つまり、投影面 に目立つ模様などが少しでもあれば、投影に 適していないと判定する。一方、投影画像が ジャングルを撮影したものである場合、投影 画像が複雑であるために投影面の模様は目立 たないので、投影面が投影に適しているか否 かを判定する判定基準を低くする。つまり、 多少目立つ模様などが投影面にあっても、投 影に適していると判定する。

 このように、投影面における投影の適否を� ��定するための判定基準に影響を与える投影� ��像の評価は以下の(A),(B)ようにして行う。
(A)投影画像データの周波数成分の分布を調べ 、高周波成分が多い場合、投影画像はジャン グルの画像のように構造の細かい画像である ので、投影面における投影の適否の判定基準 を低くする。一方、高周波成分が少ない場合 、投影画面は青空の画像のように構造が粗い 画像であるので、投影面における投影の適否 の判定基準を高くする。

 たとえば、ラプシアンフィルタなどを用� ��て、投影画像を所定のエッジ強度の閾値で� ��値化する。この二値化した画像に基づいて� ��投影画像は構造の細かい画像であるか、構� ��の粗い画像であるかを判定する。たとえば� ��投影画像全体の画素数に対する、エッジ強� ��が閾値より大きい画素の画素数の割合が所� ��値以上の場合、構造の細かい画像であると� ��定するようにする。

(B)投影画像と、投影画像の縮小・拡大を繰 り返した画像との差分を利用して、構造の細 かい画像であるか、構造の粗い画像であるか を判定するようにしてもよい。たとえば以下 のようなラプラシアン・ピラミッドを使用し てもよい。

 すなわち、投影画像から1/2倍の縮小画像� ��作成する。この1/2倍の縮小画像を2倍の拡大 画像とし、投影画像と拡大画像との差分をと る。この差分が高周波成分となる。さらに、 1/2倍の縮小と2倍の拡大を繰り返した画像と� �影画像との差分画像取得を繰り返すことで� �波数成分に分けることができる。投影画像� �、投影画像から所定の回数の1/2倍の縮小と2� ��の拡大を繰り返した画像との間の差分をと� ��た画像を所定の閾値で二値化する。この二� ��化した画像に基づいて、投影画像が構造の� ��かい画像であるか、構造の粗い画像である� ��を判定するようにしてもよい。

 二値化するための閾値は、どの程度エッ� ��を抽出するか、また、投影画像のノイズレ� ��ル(投影面撮影時の明るさなどに依存)によ� �変わる。たとえば、8bit階調であれば、10程� �にしてもよい。

 上述のエッジを強調した画像より、投影� ��像を構造の細かい領域と構造の粗い領域と� ��分割し、構造の細かい領域では投影画像の� ��正を行わず、構造の粗い領域では投影画像� ��補正を行うようにしてもよい。

(7)第3の実施の形態によるプロジェクタでは� �それぞれ異なる3つの最小反射率R ^* _min_th2、R ^* _min_th3、およびR ^* _min_th4と、3つの閾値C_th2、C_th3、およびC_th4と を定め、それらの積で表した3つの第1判断基� ��値R ^* _min_th2×C_th2と、第2判断基準値R ^* _min_th3×C_th3と、第3判断基準値R ^* _min_th4×C_th4とを、投影面が画像投影に適して いるか否かの判断基準として使用したが、判 断基準の数は3つに限定されない。それぞれ� �なるN個(Nは3以上の自然数)の最小反射率R _i (i=1,2,・・・,N)と閾値C _i (i=1,2,・・・,N)とを定め、N個のそれらの積で� ��したR _i ×C _i (i=1,2,・・・,N)を投影面が画像投影に適して� �るか否かの判断基準として使用してもよい� �ここで、i=jのときの最小反射率R _j は、i=j+1のときの最小反射率R _j+1 より小さくし、i=jのときの閾値C _j は、i=j+1のときの閾値C _j+1 より小さくする(j=1,2,・・・,N-1)。

(8)第5の実施形態によるプロジェクタでは、R� ��像((R,G,B) _i =(255,0,0))、G画像((R,G,B) _i =(0,255,0))およびB画像((R,G,B) _i =(0,0,255))を投影面に投影して投影面を評価し� ��。しかし、プロジェクタの画素原色画像を� ��影面に投影して投影面を評価するものであ� ��ば、投影面に投影するプロジェクタの画素� ��色画像は、R画像、G画像およびB画像に限定� ��れない。

-第6の実施の形態-
 以下、図面を参照して本発明を実施するた� ��の第6の実施の形態について説明する。本発 明によるプロジェクタは、投影面の一部に非 常に暗い(輝度の低い)部分や、彩度の高い部� ��がある場合、その部分をユーザに報知する� ��うにしたものである。

 図1に示されるプロジェクタ1を前方から� �た図、および図2に示されるプロジェクタ1の 構成を説明するブロック図については、本実 施の形態にも適用されるため、説明を省略す る。

 図12を参照して、画像処理を行った投影� �像を投影して視認される投影画像について� �明する。投影面30には、シミ121が付着してい るものとして説明する。投影面30にシミ121の� ��うな輝度が極端に暗い部分が存在する場合� ��図12(a)に示すように、シミ121を囲う囲い枠12 2が表示されたり、シミ121を指示する矢印123� �表示されたりして、警告表示が行われる。� �の警告表示により、ユーザは、シミ121がホ� �イトボードの消し忘れの場合、シミ121を消� �ようにすることができる。シミ121を消せな� �場合、別の場所を投影面とすることができ� �。その結果、図12(b)に示すように、投影面30� ��投影された投影画像124は、視認性が良好に� ��る。一方、シミ121を消したり、別の場所を� ��影面としたりしない場合、シミ121が目立た� ��くなるように投影原画像の画像処理が行わ� ��る。その結果、図12(c)に示すように、投影� �像125のダイナミックレンジは非常に狭くな� �、投影画像125の視認性が非常に悪くなる。

 図13のフローチャートを参照して、本発� �の実施形態における画像処理について説明� �る。図13の処理は、プロジェクタ1が、投影� �開始するための処理を開始するとスタート� �るプログラムにより制御回路101において実� �される。

 ステップS101からでは、投影原画像の幾何 補正を行うための幾何補正係数を算出する。 幾何補正とは、投射ユニット110の光学系光軸 と、撮像ユニット120の光学系光軸とが一致し ていないことによる投影画像の歪や、投射ユ ニット110の光学系光軸が投射面に対して垂直 でないことに起因する投影画像のあおり、歪 などを解消するための補正である。幾何補正 係数の算出方法は従来技術であるので、説明 を省略する。

 制御回路101の画像処理部101Aは、投影原画 像の画像数がプロジェクタ1の解像度に一致� �るように補間処理を行う。画像処理部101Aは� ��撮像ユニット120により撮影された画像を、� ��ロジェクタ1の解像度と一致するように補間 処理を行う。この補間処理を行った撮影画像 を使用して上述の補間処理を行った投影原画 像を以下のように補正し、補正した画像を投 影するものとする。投影画像の画素と撮影画 像の画素との間の対応関係を明確にし、処理 速度を速くするためである。

 ステップS102では、投射ユニット110の投影 特性の算出を行う。投影特性とは、入力画像 の画素値(R,G,B)と、投影面で再現される投影� �像の測色値(X,Y,Z)との間の関係を示す特性で� ��る。測色値は、投射ユニット110の照明ムラ� ��投影面の色や模様、周囲照明による投影面� ��明るさに影響を受ける。投射ユニット110か� ��、既知の画素値(R,G,B)で表される複数の所定 の投影画像をそれぞれ投影して投影面上の投 影画像を撮影ユニット120で撮影する。所定の 投影画像とは、後述するように、白画像、黒 画像、R画像、G画像、またはB画像である。撮 影した画像から測色値(X,Y,Z)を検出して投影� �性を算出する。投影特性に基づいて算出さ� �る補正係数により入力画像を補正して投影� �るようにする。その結果、投影画像は投射� �ニット110の照明ムラ、投影面の色や模様、� �囲照明による投影面の明るさに影響を受け� �ことがない。これにより、ユーザは入力画� �の見た目が近くなるより表現された投影画� �を鑑賞することができる。投影特性の具体� �な処理については後述する。

 ステップS103では、投影面を解析する。投 射ユニット110から投影面に対し白画像を投射 し、投射した投影面を撮影ユニット120で撮影 する。撮影した画像を解析し、輝度が極端に 暗い部分を、警告表示する領域として抽出す る。具体的な処理については後述する。

 ステップS104では、投影面に輝度が極端に 暗い部分があるか否かを判定する。投影面に 輝度が極端に暗い部分がある場合はステップ S104が肯定判定され、ステップS110に進む。投� ��面に輝度が極端に暗い部分がない場合はス� ��ップS104が否定判定され、ステップS105に進� �。

 ステップS105では、投影画像の補正係数を 算出する。すなわち、ステップS102で得られ� �投影特性を用いて、投影面の状態や周囲照� �環境等に影響されることなく投影画像が投� �原画像を再現するように、投影原画像に施� �補正係数を算出する。投射ユニット110から� �影された投影画像を撮影ユニット120で撮影� �、撮影した画像を解析して投影画像の補正� �数を算出する。この補正係数が投影原画像� �補正量となる。この処理の詳細についても� �述する。

 ステップS106では、投影原画像の画像デー タを、外部インターフェイス回路104を介して 、またはメモリカード150より読み込み、メモ リ102に記憶する。ステップS107では、ステッ� �S105で算出した補正係数で、ステップS106で読 み込んだ投影原画像データを補正する。ステ ップS108では、ステップS107で補正した投影原� ��像データをアナログ変換し、投影画像を投� ��する。

 ステップS109では、次に投影する投影原画 像データがあるか否かを判定する。次に投影 する投影原画像データがある場合はステップ S109が肯定判定され、ステップS106に戻る。次� ��投影する投影原画像データがない場合はス� ��ップS109が否定判定され、処理を終了する。

 ステップS110では、ステップS103で抽出し� �領域を囲む囲い枠や、抽出した領域を指示� �る矢印表示したりすることによって警告表� �を行う。

 ステップS111では、ユーザ補正の有無の判 定を行う。ユーザは、ステップS104で警告表� �された輝度の暗い部分を投影面から除去す� �対応をとると、操作部103を操作して、輝度� �暗い部分を除去したことをプロジェクタ1に� ��力する。これにより、制御回路101は、ユー� ��補正の有無を判定することができる。投影� ��の輝度が極端に暗い部分を投影面から除去� ��る対応としては、上述したように、輝度が� ��端に暗い部分がホワイトボードの消し忘れ� ��場合はその消し忘れを消し、輝度が極端に� ��い部分を消すことができない場合は別の場� ��を投影面とする。ユーザ補正有りの場合は� ��テップS111が肯定判定され、ステップS101に� �る。ユーザ補正無しの場合はステップS111が� ��定判定され、ステップS110に戻る。

 次に、ステップS102、S103、S105について、� ��らに詳細に説明する。

-投影特性の算出-
 ステップS102で行う投影特性の算出について 説明する。
 i番目の画素値が(R,G,B) _i で与えられる入力画像データにより投影画像 を生成して投射ユニット110で投影したとき、 i番目の画素値に対応する投影面の測色値(X,Y, Z) _i は以下の式(11)で表される。
 ただし、式(12)、および式(13)に示す置き換� �を用いている。

 γは投射ユニット110の階調特性を表す。M _pi は、投射ユニット110の画素値(R ^γ ,G ^γ ,B ^γ ) _i から投射ユニット110の照明の測色値へ変換す る色変換マトリックスを表す。(X _kp ,Y _kp ,Z _kp ) _i は、投射ユニット110で黒画像を投影した時の 周囲照明も含めた投影面の照明条件を表す。 R ^* _i は、投影面の反射率特性を表す。

 添字iは次の意味を有している。この実施 の形態のプロジェクタでは、白画像や黒画像 など既知の画像を投射して投影面を撮像し、 その撮像画像に基づいて、投影面の模様など による反射率のムラだけではなく、投射ユニ ット110の照明ムラ、周囲照明や黒点の面内ム ラ(以下、これらのムラを総称して単に「ム� �」と呼ぶ)も合わせて補正する。したがって� ��投影面の各画素領域に異なる投影特性を表� ��するため、添え字iを使用する。

 式(11)において、(X _k ,Y _k ,Z _k )は、黒画像((R,G,B) _i =(0,0,0) _i )を投影した時の投影面撮影画像に基づいて� �定する。なお、投影面上の投影画像の測色� �は、撮影画像の画素値から予め決まった色� �換処理を用いることで算出できる。すなわ� �、撮影画像のプロファイルがsRGBであれば、� ��素値に対して通常のsRGB変換処理を適用して (X _k ,Y _k ,Z _k ) _i を決定することができる。

 同様に、R画像((R,G,B) _i =(255,0,0) _i )、G画像((R,G,B) _i =(0,255,0) _i )、およびB画像((R,G,B) _i =(0,0,255) _i )をそれぞれ投影した投影面を撮影した各撮� �画像から、色変換マトリックスM _i の3×3のマトリックス係数を決定する。具体� �には、R画像、G画像およびB画像をそれぞれ� �影した投影撮影画像の測色値をそれぞれ、(X _r ,Y _r ,Z _r )、(X _g ,Y _g ,Z _g )および(X _b ,Y _b ,Z _b )とすると、色変換マトリックスM _i は以下の式(14)で表される。

-投影面の解析-
 ステップS103で行う投影面の解析について説 明する。
 投影面にムラあるいは模様がある場合、投� ��面を撮影して得た撮像画像の画素値は均一� ��はなく、ムラあるいは模様に応じた画素値� ��なる。換言すると、各画素で最大表示可能� ��色域は変化する。この実施の形態では、ま� ��この最大表示可能な色域範囲を決定する。� ��影面での輝度Y _i は、式(11)に基づき、式(15)に示されるように� ��て求められる。

 したがって、表示可能な輝度範囲は、式(14) において、0≦R _i ≦255,0≦G _i ≦255,および0≦B _i ≦255に対しY _i がとり得る値の範囲で決まる。通常、Y _r >Y _k ,Y _g >Y _k ,およびY _b >Y _k であるから _、 各画素の表示可能な輝度範囲は、白画像((R,G, B) _i =(255,255,255) _i )を投影したときの表示輝度を表示可能な最� �輝度をY _MAX,i 、黒画像を投影したときの表示輝度を表示可 能な最小輝度Y _MIN,i として求めることができる。

 たとえば、投影面の模様が図12(a)のように� �色面に一部暗い部分がある場合、Y _MAX,i およびY _MIN,i のヒストグラムを投影面内で算出すると、図 14(a)および図14(b)のヒストグラムになる。

 投影面のムラや模様が消えるように投影原� ��像を補正すると、投影後の画像の最大輝度Y _MAX をMIN(Y _MAX,i )、最小輝度Y _MIN をMAX(Y _MIN,i )になるように補正する必要がある。しかし� �この場合、ダイナミックレンジが非常に狭� �なり、補正後の投影画像の視認性が悪くな� �(図12(c)参照)。

 そこで、投影面の輝度が、予め定めた最大� ��度の閾値Y _th より低い領域を警告表示領域として抽出する 。最大輝度の閾値Y _th は、画像によらず予め定めた値(白の輝度値Y= 1.0に対し、たとえば、Y _th =0.2など)でもよいし、図14(a)のヒストグラム� �輝度の低い方から数えて所定割合以上の画� �数となる輝度値を用いたり、投影面投影画� �面内の最大輝度Y _MAX =MAX(Y _MAX,i )の所定割合(たとえば20%など)として決定した りしてもよい。

-投影画像補正係数の算出-
 ステップS105で行う投影画像補正係数の算出 について説明する。
 投影原画像の色空間がsRGBとすれば、投影原 画像の画素値(R ₀ ,G ₀ ,B ₀ )に対して、補正後の投射ユニット110への入� �画素値(R,G,B) _i を以下の式(16)のようにして得られる。

 ステップS102で算出したM _i 、(X _k ,Y _k ,Z _k ) _i およびステップS103で算出したY _MAX を用いて、式(16)により投影原画像の補正を� �うための補正係数を算出する。なお、投影� �に黒画像を投影したときの輝度Y _MIN,i =Y _MIN となる画素位置iの画素値を投影画像の黒点(X _k0 ,Y _k0 ,Z _k0 )とする。

 M _sRGB→XYZ は、予め規格で決まっているsRGBからXYZへの� �換マトリックスである。簡単のため、sRGBの� �=2.2として記述したが、規格どおり線形関数� ��γ=2.4の組み合わせで算出してもよい。

 なお、ステップS110で警告表示をした後、 ステップS111に進み、ユーザ補正があった場� �ステップS111が肯定判定され、ステップS101に 戻ると説明したが、ステップS110で警告表示� �した後、ステップS101に戻るようにしてもよ� ��。投影面に輝度の極端に暗い部分がある場� ��、プロジェクタ1の電源が入ってから、投影 原画像の信号入力がされるまでの間、制御回 路101は、ステップS101からステップS104、ステ� ��プS110を繰り返す。しかし、ユーザの対応な どにより投影面に輝度の極端に暗い部分がな くなった場合、処理は、ステップS104からス� �ップS105へ進み、プロジェクタ1は自動的に投 影を開始するようになる。この場合、ユーザ は、操作部103を通じてユーザ補正を行ったこ とを入力する必要がないので、ユーザに対す る利便性が向上する。

 以上説明した実施形態によれば、次の作用� ��果が得られる。
 投影面に輝度が暗い部分が存在する場合、� ��度が暗い部分が存在すること、およびその� ��度の暗い部分を報知する警告表示を投影面� ��表示するようにした。これにより、ユーザ� ��、投影面から輝度が暗い部分を除去する対� ��をとることができ、輝度が暗い部分の影響� ��投影画像全体のダイナミックレンジが極端� ��狭く補正されてしまうことを防止すること� ��できる。

 ユーザの投影面から輝度が暗い部分を除� ��する対応としては、警告表示された部分が� ��ワイトボードの消し忘れの場合であれば、� ��の消し忘れを消すことができる。また、警� ��表示された暗い部分を消すことができない� ��合は、その暗い部分から投影面をずらすこ� ��ができる。

 ユーザが、投影面から輝度が暗い部分を除� ��することにより、投影画像全体のダイナミ� ��クレンジが極端に狭く補正されてしまうこ� ��を防止することができるのは、以下の理由� ��よる。図12(a)に示す投影面30(白画像投影時� �輝度分布が図14(a)、黒画像投影時の輝度分布 が図14(b))に画像を投影する場合、投影面の模 様が目立たないように補正しようとすると投 影画像の輝度の再現範囲は最大輝度Y _MAX =MIN(Y _MAX,i )=Y2から最小輝度Y _MIN =MAX(Y _MIN,i )=Y3となり、ダイナミックレンジが狭くなる� �しかし、図12(a)の右上の暗い領域121がユーザ 補正により投影面30から除去できた場合、白� ��像投影時の輝度分布は図14(a)から図14(c)によ うに改善され、再現可能な輝度範囲を最大輝 度Y _MAX =MIN(Y _MAX,i )=Y1から最小輝度Y _MIN =MAX(Y _MIN,i )=Y3のように広くできる。すなわち、輝度が� �く補正困難な領域121がある投影面30に対し、 補正困難領域121を簡単に抽出・警告122,123す� �ことにより、不要な過剰補正をなくして投� �画像124の再現性を改善することができる。

-第7の実施の形態-
 第6の実施の形態では、ユーザが投影面の輝 度が極端に暗い部分を投影面から除去する対 応をとった。しかし、第7の実施の形態では� �プロジェクタが投射ユニット110で投射した� �影画面の投影サイズを小さくすることによ� �て、投影面の輝度が極端に暗い部分を投影� �から除去する。これにより、投影面の輝度� �極端に暗い部分を投影面から除去する対応� �自動化され、プロジェクタ1の利便性が向上� ��る。たとえば、図15(a)に示すように、投影� �30に、シミ121が付着している場合、図15(b)に� ��すように、シミ121に重ならないように投影� ��像126の投影サイズを小さくする。これによ� ��、シミ121を考慮した投影画像のダイナミッ� ��レンジは非常に狭くなるような投影原画像� ��補正が行われないので、投影画像の視認性� ��悪くなるのを防止できる。

 図16のフローチャートを参照して、投影� �像の投影サイズを小さくする画像処理につ� �て説明する。図16の処理は、プロジェクタ1� �、投影を開始するための処理を開始すると� �タートするプログラムにより制御回路101に� �いて実行される。図13の処理と同じ処理には 同じ符号を付し、図13の処理と異なる部分を� ��に説明する。

 ステップS104が肯定判定されると、ステッ プS121へ進む。ステップS121では、投影画像の� ��影サイズを所定の割合だけ小さくする。そ� ��て、ステップS101に戻る。

 投影画像の投影サイズを所定のサイズま� ��小さくしても投影面の輝度が極端に暗い部� ��を投影面から除去することができない場合( たとえば、輝度が極端に暗い部分が投影面の 中央付近にある場合)、本発明の実施形態の� �うに、輝度が極端に暗い部分を警告表示し� �投影面に輝度が極端に暗い部分が含まれな� �ようにする対応をユーザにとらせるように� �てもよい。

-第8の実施の形態-
 第6の実施の形態では、ユーザが投影面の輝 度が極端に暗い部分を投影面から除去する対 応をとった。しかし、第8の実施の形態では� �プロジェクタが投射ユニット110で投射した� �影画面の投影位置を移動するとともに投影� �像の投影サイズを小さくすることによって� �投影面の輝度が極端に暗い部分を投影面か� �除去する。これにより、投影面の輝度が極� �に暗い部分を投影面から除去する対応が自� �化され、プロジェクタ1の利便性が向上する� ��また、上述の第7の実施の形態に比べて、投 影画面の投影サイズを大きくすることができ る。たとえば、図17(a)に示すように、投影面3 0に、シミ121が付着している場合、図17(b)に示 すように、シミ121に重ならないように投影画 像127の投影位置を移動するとともに投影サイ ズを小さくする。これにより、投影画像のダ イナミックレンジが非常に狭くなり、投影画 像の視認性が悪くなるのを防止できる。この 場合、プロジェクタ1は投影画像の移動につ� �て考慮しなくてはならないので、撮像ユニ� �ト120は投影面30より広域の領域(以下、広域� �影領域と呼ぶ)40を撮影して、輝度が極端に� �い部分を検出する。

 図18のフローチャートを参照して、投影� �像の投影位置を移動するとともに投影サイ� �を小さくする画像処理について説明する。� �18の処理は、プロジェクタ1が、投影を開始� �るための処理を開始するとスタートするプ� �グラムにより制御回路101において実行され� �。図18の処理と同じ処理には同じ符号を付し 、図18の処理と異なる部分を主に説明する。

 ステップS101の次にステップS131に進む。� �テップS131では、広域投影領域における投影� ��性を算出する。投射ユニット110から投影さ� ��た、通常より投影サイズが大きい投影画像� ��つまり広域投影領域におよぶ投影画像を、� ��影ユニット120で撮影し、撮影した画像から� ��色値を検出して、広域投影領域における投� ��特性を算出する。

 ステップS132では、広域投影領域の解析を 行う。投射ユニット110から広域投影領域に対 し、白画像を投射し、投射した広域投影領域 を撮影ユニット120で撮影する。撮影した画像 を解析し、広域投影領域の中から輝度が極端 に暗い部分を抽出する。

 ステップS133では、投影画面に輝度が極端 に暗い部分が含まれないような投影画面の投 影位置と投影サイズとを決定する。具体的に は、輝度が極端に暗い部分が含まれないよう に、広域投影領域の範囲内で、投影画面と同 じ縦横比の矩形形状の位置および大きさを変 えていく。そして、位置および大きさを変え た矩形形状の中で最も大きいものに投影画面 の位置および大きさが一致するように、投影 画像の投影位置と投影サイズとを決定する。 そして、ステップS102に進む。

 投影画面に輝度が極端に暗い部分が含ま� ��ないように、投影画面の投影位置や投影サ� ��ズが決定されているので、ステップS103の次 にステップS105に進む。

 この場合も、投影画像の投影サイズを所� ��のサイズまで小さくしても投影面の輝度が� ��端に暗い部分を投影面から除去することが� ��きない場合、本発明の実施形態のように、� ��度が極端に暗い部分を示す警告表示を行い� ��ユーザに対応をとらせるようにしてもよい� ��

 以上の実施形態を次のように変形すること� ��できる。
(1)第6、第7の実施の形態のステップS103、およ び第8の実施の形態のステップS132では、輝度� ��向の補正を考慮して、白画像を投影した投� ��面を撮影し、その撮影した画像を解析し、� ��度が極端に暗い部分を抽出した。しかし、R 画像(全画素値、R=255、G=B=0)、G画像(全画素値� ��G=255、R=B=0)およびB画像(全画素値、B=255、R=G= 0)のそれぞれの画像を投影し、それぞれの画� ��を投影した投影面を撮影した画像を解析し� ��輝度が極端に高い部分を抽出するようにし� ��もよい。これにより、彩度が高く、補正困� ��な領域がある投影面に対し、そのような補� ��困難な領域を簡単に抽出することができる� ��そして、彩度の補正が困難な領域から投影� ��を移動したりすることによって、彩度のダ� ��ナミックレンジが狭くなるような過剰補正� ��なくし、投影画像の再現性を改善すること� ��できる。

(2)第6の実施の形態では、投影面に輝度が� �端に暗い部分が存在すると、警告表示する� �うにした。しかし、輝度が極端に暗い部分� �面積および/または位置を考慮して警告表示� ��るようにしてもよい。輝度が極端に暗い部� ��の面積または位置によっては、投影画面に� ��なって見えても気にならない場合がある。� ��のような場合、警告表示を行って輝度が極� ��に暗い部分をユーザに除去させなくても、� ��度が極端に暗い部分を無視して投影原画像� ��画像処理を行えば、投影画像のダイナミッ� ��レンジが狭くなりすぎることはないからで� ��る。

(3)第6から8の実施形態のステップS103の閾値Y _th を、投射ユニット110の特性(照明ムラ、欠陥� �どの許容範囲)や、補正方法(投影面の最も暗 い部分まで目立たなくなるように投影原画像 を補正するか、もしくは暗い部分の状況(大� �さ、位置、量など)により補正量を緩和する� ��理が入っているか)などにより変更するよう にしてもよい。

(4)投影面の輝度が極端に暗い部分がある場 合、投射ユニット110のLED光源113に供給する電 力を大きくし、LED光源113の明るさを大きくす るようにしてもよい。輝度の極端に暗い部分 が目立たなくなるように投影原画像の画像処 理を行うと、上述したように、投影画像のダ イナミックレンジは狭くなる。しかし、この ような場合であってもLED光源113の明るさを大 きくすることによって、投影画像のダイナミ ックレンジを広くすることができ、投影画像 の視認性を良好にすることができる。

-第9の実施の形態-
 以下、図面を参照して本発明を実施するた� ��の第9の実施の形態について説明する。本発 明によるプロジェクタは、投影を開始するま での時間を短縮するため、投影画像を補正す るための補正係数を算出する前に、所定の補 正係数で投影画像を補正し、補正した投影画 像を投影するものである。

 図1に示されるプロジェクタ1を前方から� �た図、および図2に示されるプロジェクタ1の 構成を説明するブロック図については、本実 施の形態にも適用されるため、説明を省略す る。

 図19を参照して、本発明の実施形態にお� �る投影画像の画像処理について説明する。� �19(a)から図19(e)は、投影画像を投影面30に順� �投影したときに視認される投影画像を示す� �である。投影面30には、シミ191が付着してい るものとして説明する。本発明の実施形態に おける投影画像の画像処理では、投影面に所 定の投影画像を投影して投影面を撮影し、撮 影した画像に基づいて補正係数を算出する。 そして、その補正係数を用いて、投影面30の� ��ミ191が目立たなくなるように投影画像を補� ��する。この補正係数を算出する処理に時間� ��かかる。

 そこで、補正係数が算出されるまで、予� ��算出された補正係数の初期値を用いて投影� ��像を補正する。図19(a)から図19(c)に示すよう に、投影画像が投影されるとき、補正係数が 算出されていないので、補正係数の初期値を 使用して投影画像を補正し、補正した投影画 像を投影する。この場合、図19(a)から図19(c)� �示すように、投影画像が投影された投影面30 ではシミ191が目立つ。しかし、投影開始時間 が早いので、ユーザは、なかなか投影が開始 されないことが原因でいらいらすることはな い。補正係数が算出された後は、図19(d)、図1 9(e)に示すように、算出された補正係数を使� �して投影画像を補正し、補正された投影画� �を投影する。これにより、投影画像が投影� �れた投影面30ではシミ191が目立たない。

 図20のフローチャートを参照して、本発� �の実施形態における画像処理について説明� �る。図20の処理は、プロジェクタ1が、投影� �開始するための処理を開始するとスタート� �るプログラムにより制御回路101において実� �される。

 ステップS201では、投影画像の幾何補正を 行うための幾何補正係数を算出する。幾何補 正とは、投射ユニット110の光学系光軸と、撮 像ユニット120の光学系光軸とが一致していな いことによる投影画像の歪や、投射ユニット 110の光学系光軸が投射面に対して垂直でない ことに起因する投影画像のあおり、歪などを 解消するための補正である。幾何補正係数の 算出方法は従来技術であるので、説明を省略 する。

 ここで、制御回路101の画像処理部101Aは、 投影画像の画像数がプロジェクタ1の解像度� �一致するように補間処理を行う。さらに、� �像処理部101Aは、撮像ユニット120により撮影� ��れた画像を、プロジェクタ1の解像度と一致 するように補間処理を行う。この補間処理を 行った撮影画像を使用して上述の補間処理を 行った投影画像を以下のように補正し、補正 した画像を投影するものとする。投影画像の 画素と撮影画像の画素との間の対応関係を明 確にし、処理速度を速くするためである。

 ステップS202では、投影画像の補正係数の 算出を開始する。ここで、補正係数とは、投 影面の状態や周囲照明環境等に影響されるこ となく投影画像が入力画像(投影画像)を再現� ��るように、入力画像を補正するための補正� ��数である。投射ユニット110から投影された� ��定の投影画像を、撮影ユニット120で撮影し� ��撮影した画像を解析して投影画像の補正係� ��を算出する。この補正係数が投影画像の補� ��量となる。この補正係数を算出する処理は� ��投影画像を投影する処理と並行して行われ� ��。制御回路101に用いられるCPU(Central Processin g Unit)に、並列処理に有利なマルチコアタイ� ��のものを使用してもよい。並行して行われ� ��処理が速くなるからである。投影画像の補� ��係数を算出方法については後述する。

 ステップS203では、投影画像の画像データ を、外部インターフェイス回路104を介して、 またはメモリカード150より読み込み、メモリ 102に記憶する。

 ステップS204では、投影画像の補正係数の 算出が完了したか否かを判定する。投影画像 の補正係数の算出が完了した場合はステップ S204が肯定判定され、ステップS205に進む。投� ��画像の補正係数がまだ算出されていない場� ��はステップS204が否定判定され、ステップS20 8に進む。

 ステップS205では、算出完了した補正係数 で、ステップS203で読み込んだ投影画像を補� �する。投影画像の補正の詳細については後� �する。

 ステップ206では、補正した投影画像をア� ��ログ変換し、補正した投影画像を投影する� ��

 ステップS207では、次に投影する投影画像 があるか否かを判定する。次に投影する投影 画像がある場合はステップS206が肯定判定さ� �、ステップS203に戻る。次に投影する投影画� ��がない場合はステップS207が否定判定され、 処理を終了する。

 ステップS208では、補正係数の初期値を用 いて投影画像を補正し、ステップS206に進む� �投影画像の補正の詳細については後述する� �

 次に、投影画像の補正係数の算出方法お� ��び投影画像の補正方法について、さらに詳� ��に説明する。

-投影画像の補正係数の算出方法-
 最初に、投射ユニット110の投影特性の算出� ��行う。投影特性とは、投射ユニット110の照� ��ムラ、投影面の色や模様による影響、周囲� ��明による投影面への影響などを考慮した場� ��の、入力画像の画素値(R,G,B)と、投影面で再 現される測色値(X,Y,Z)との間の関係を示す特� �である。投射ユニット110から投影された所� �の投影画像を、撮影ユニット120で撮影し、� �影した画像から測色値を検出して投影特性� �算出する。

 たとえば、i番目の画素値が(R,G,B) _i で与えられる入力画像データにより投影画像 を生成して投射ユニット110で投影したとき、 i番目の画素値に対応する投影面の測色値(X,Y, Z) _i は以下の式(17)で表される。
 ただし、式(18)、および式(19)に示す置き換� �を用いている。

 γは投射ユニット110の階調特性を表す。M _pi は、投射ユニット110の画素値(R ^γ ,G ^γ ,B ^γ ) _i から投射ユニット110の照明の測色値へ変換す る色変換マトリックスを表す。(X _kp ,Y _kp ,Z _kp ) _i は、投射ユニット110で黒画像を投影した時の 周囲照明も含めた投影面の照明条件を表す。 R ^* _i は、投影面の反射率特性を表す。

 添字iは次の意味を有している。この実施 の形態のプロジェクタでは、白画像や黒画像 など既知の画像を投射して投影面を撮像し、 その撮像画像に基づいて、投影面の模様など による反射率のムラだけではなく、投射ユニ ット110の照明ムラ、周囲照明や黒点の面内ム ラ(以下、これらのムラを総称して単に「ム� �」と呼ぶ)も合わせて補正する。したがって� ��投影面の各画素領域に異なる投影特性を表� ��するため、添え字iを使用する。

 式(17)において、(X _k ,Y _k ,Z _k )は、黒画像((R,G,B) _i =(0,0,0) _i )を投影した時の投影面撮影画像に基づいて� �定する。なお、投影面上の投影画像の測色� �は、撮影画像の画素値から予め決まった色� �換処理を用いることで算出できる。すなわ� �、撮影画像のプロファイルがsRGBであれば、� ��素値に対して通常のsRGB変換処理を適用して (X _k ,Y _k ,Z _k ) _i を決定することができる。

 同様に、R画像((R,G,B) _i =(255,0,0) _i )、G画像((R,G,B) _i =(0,255,0) _i )、およびB画像((R,G,B) _i =(0,0,255) _i )をそれぞれ投影した投影面を撮影した各撮� �画像から、色変換マトリックスM _i の3×3のマトリックス係数を決定する。具体� �には、R画像、G画像およびB画像をそれぞれ� �影した投影面の撮像画像の測色値をそれぞ� �、(X _r ,Y _r ,Z _r )、(X _g ,Y _g ,Z _g )および(X _b ,Y _b ,Z _b )とすると、色変換マトリックスM _i は以下の式(20)で表される。

 次に投影画像の補正係数の算出について説� ��する。
 投影面にムラあるいhあ模様がある場合、投 影面を撮影して得た撮像画像の画素値は均一 ではなく、ムラあるいは模様に応じた画素値 となる。換言すると、各画素で最大表示可能 な色域は変化する。この実施の形態では、ま ずこの最大表示可能な色域範囲を決定する。 投影面での輝度Y _i は、式(17)に基づき、式(21)に示されるように� ��て求められる。

 表示可能な輝度範囲は、式(21)において、0� �R _i ≦255,0≦G _i ≦255,および0≦B _i ≦255に対しY _i がとり得る範囲で決まる。通常、Y _r >Y _k ,Y _g >Y _k ,およびY _b >Y _k であるから、各画素の表示可能な輝度範囲は 、白画像((R,G,B) _i =(255,255,255) _i )を投影したときの表示輝度を表示可能な最� �輝度Y _MAX,i 、黒画像を投影したときの表示輝度をY _MIN,i として求めることができる。

-ステップS205における投影画像の補正-
 ステップS205で行う投影画像の補正について 説明する。
 投影原画像(入力画像)の色空間がsRGBとすれ� ��、投影画像の画素値(R ₀ ,G ₀ ,B ₀ )に対して、投影面での測色値(X,Y,Z) _i は以下の式(22)のようにして得られる。
 黒画像を投影したときの画素の最大輝度、� ��なわち、Y _MIN =MAX(Y _MIN,i )となる画素値を投影画面の黒点(X _k0 ,Y _k0 ,Z _k0 )とする。なお、M _sRGB→XYZ はsRGB色空間からXYZ色空間への変換マトリッ� �スである。

 したがって、式(17)を用いて、補正後の投射 ユニット110への入力画素値(R,G,B) _i は、以下の式(23)で算出できる。

 式(23)は簡単のため、sRGBのγ=2.2として記� �した。しかし、定義どおり線形関数とγ=2.4� �組み合わせで算出してもよい。

-ステップS208における投影画像の補正-
 ステップS208で行う投影画像の補正について 説明する。
 式(17)に基づき、予め理想的な投影条件(投� �面の反射率特性R _i が一様な白色面、プロジェクタの照明ムラな し、暗室下)における投射ユニット110の階調� �性γ、投射ユニット110のRGBから測色値XYZへの 色変換マトリックスM _p 、投射ユニット110の黒点(X _k ,Y _k ,Z _k )を、式(24)から(27)に示すようにして算出し、 制御回路101に記憶しておき、これらを初期値 として利用する。

 以上説明した実施形態によれば、次の作用� ��果が得られる。
 投影画像の補正係数が算出されるまで、補� ��係数の初期値を用いて投影画像を補正し、� ��影画像の補正係数が算出されると、算出さ� ��た補正係数を用いて投影画像を補正するよ� ��にした。したがって、補正係数が算出され� ��前に投影を開始することができるので、投� ��を開始するまでの時間を短縮することがで� ��る。

-第10の実施の形態-
 第10の実施の形態では、投影画像を補正す� �ときに使用する補正係数を初期値から算出� �た補正係数に切り替えるとき、補正係数の� �期値から、算出した補正係数へ直接切り替� �るのではなく、段階的に補正係数を切り替� �る。これにより、投影画像の画質が急に変� �しないので、投影画像を見ている者は違和� �を覚えることがない。

 図21を参照して、少しずつ補正係数を切� �替える場合の投影画像の画像処理について� �明する。図21(a)~図21(e)は、投影画像を投影面 30に順次投影したときに視認される投影画像� ��示す図である。投影面30には、シミ191が付� �しているものとして説明する。また、投影� �像を補正するとき使用する補正係数は既に� �出されているものとして説明する。

 補正係数の初期値と算出した補正係数と� ��間を(n+1)等分して算出したn個の値を補正係� ��の補間値とする。ここで、n個の補間値を、 初期値から近い順序で、補間値1、補間値2、� ��・・、補間値nとする。そして、投影画像が 切り替わるたびに、初期値から、補間値1、� �間値2、・・・、補間値n、算出した補正係数 と、投影画像の補正に使用する補正係数を段 階的に変更する。

 3つの補間値を算出した場合、以下のよう に投影画像の補正に使用する補正係数を変更 する。図21(a)に示すように、初期値を使用し� ��投影画像を補正して、投影画像を投影する� ��次に、図21(b)に示すように、補間値1を使用� ��て投影画像を補正し、その次は、図21(c)に� �すように、補間値2を使用して投影画像を補� ��し、それぞれ投影画像を投影する。さらに� ��図21(d)に示すように、補間値3を使用して投� ��画像を補正し、その次は、算出した補正係� ��を使用して投影画像を補正し、それぞれ投� ��画像を投影する。以降の投影する投影画像� ��ついては、算出した補正係数を使用して投� ��画像を補正し、投影画像を投影する。

 図21(a)~図21(e)に示すように、投影画像を� �り替えるたびに、投影面におけるシミ191は� �々に目立たなくなるので、投影画像を見て� �る者は違和感を覚えない。

 図22のフローチャートを参照して、少し� �つ補正係数を切り替える場合の投影画像の� �像処理について説明する。図22の処理は、プ ロジェクタ1が、投影を開始するための処理� �開始するとスタートするプログラムにより� �御回路101において実行される。図20の処理と 同じ処理には同じ符号を付し、図20の処理と� ��なる部分を主に説明する。

 ステップS201の次にステップS221に進む。ス� �ップS221では、投影画像を補正するときに使� ��する補間値を特定するフラグtの値を0にす� �。n個の補間値を算出した場合、初期値に近� ��順序で、補間値1、補間値2、・・・、補間� �nとする。フラグtの値がsのとき、投影画像� �補正には、補間値sを使用する。ステップS221 では、投影画像補正係数およびn個の補間値� �算出を開始する。補間値は、初期値と算出� �た補正係数の間の値を(n+1)等分することによ り算出する。たとえば、初期値がp、算出し� �補正係数がqの場合、補間値Hsは以下の式(28)� ��ようになる。

 投影画像を補正するとき使用する式(23)にお いて、式(29)に示すM _i の9個のパラメータの値(X _r -X _k の値など)、式(30)、および式(31)に関して、補 間値が使用され、処理はステップS203へ進む� �

 ステップS203の次にステップS223に進む。� �テップS223では、投影画像の補正係数および� ��間値の算出が完了したか否かを判定する。� ��影画像の補正係数および補間値の算出が完� ��した場合はステップS223が肯定判定され、ス テップS224に進む。投影画像の補正係数およ� �補間値の算出が完了していない場合はステ� �プS223が否定判定され、ステップS208に進む。 ステップS224では、tの値をt+1の値にする。

 ステップS225では、tの値がn以下であるか� ��かを判定する。tの値がn以下である場合は� �テップS225が肯定判定され、ステップS226に進 む。tの値がnより大きい場合はステップS225が 否定判定され、ステップS205に進む。ステッ� �S226では、補間値tを使用して投影画像を補正 する。そして、ステップS206に進む。

 以上の実施形態を次のように変形すること� ��できる。
(1)補正係数を算出するために、所定の投影画 像(白画像、黒画像、R画像、G画像およびB画� �)を投影面に投影し、その投影面を撮影する� ��理を行う。この処理を、投影する投影画像� ��切り替わる間を利用して行うようにしても� ��い。これにより、その処理が完了する前に� ��投影画像の投影を開始することができ、投� ��を開始するまでの時間をさらに短縮するこ� ��ができる。

 たとえば、以下のように所定の投影画像� ��投影面に投影し、その投影面を撮影する処� ��を行う。図23に示すように、図23(b)に示す投 影画像を投影する前に、図23(a)に示す白画像� ��投影面に投影し、投影面を撮影する。次に� ��投影する投影画像を図23(b)に示す投影画像� �ら図23(d)に示す投影画像に切り替える間を利 用して、図23(c)に示す黒画像を投影面に投影� ��、投影面を撮影する。次に、投影する投影� ��像を図23(d)に示す投影画像から図23(f)に示す 投影画像に切り替える間を利用して、図23(e)� ��示すR画像を投影面に投影し、投影面を撮影 する。次に、投影する投影画像を図23(f)に示� ��投影画像から図23(h)に示す投影画像に切り� �える間を利用して、図23(g)に示すG画像を投� �面に投影し、投影面を撮影する。最後に、� �影する投影画像を図23(h)に示す投影画像から 図23(j)に示す投影画像に切り替える間を利用� ��て、図23(i)に示すB画像を投影面に投影し、� ��影面を撮影する。以上のようにして、所定� ��投影画像(白画像、黒画像、R画像、G画像お� ��びB画像)を投影面に投影し、その投影面を� �影する処理を、投影画像を投影している間� �完了する。

(2)投影面としてよく使用する特定の壁を事 前に広角のカメラで撮影しておくとともに、 補正係数を算出するとき使用する投影特性を 算出しておき、壁データとして撮影した壁の 画像データおよび投影特性を所定のメモリに 記憶しておく。そして、投影を行う壁を撮影 し、壁データと照合して、壁データの中に一 致する壁が存在するか判定を行う。壁データ の中に一致する壁が存在する場合は、投影面 がその壁のどの部分に相当するかを判断する 画像マッチングを行い、その壁の投影面に相 当する部分の投影特性を、補正係数の算出に 使用するようにしてもよい。これにより、最 初から補正係数の算出を開始する必要がない ので、速やかに補正係数を算出し、算出した 補正係数で投影画像を補正し、その投影画像 を投影することができる。

 たとえば、図24に示すように、投影面30の 星印の模様を壁データ40と照合する。壁デー� ��40に含まれている壁41~44のうち、投影面の模 様は壁42の模様と一致するので、壁42のデー� �を抽出する。さらに画像マッチングを行い� �壁42のうちの領域42aが投影面30に相当するこ� ��を検出する。壁42の領域42aに相当する部分� �投影特性を壁データ40から抽出し、補正係数 の算出に使用する。算出した補正係数で補正 した投影画像32を投影面30に投影すると、壁� �模様である星印が目立たなくなるようにす� �ことができる。

 また、投影面としてよく使用する特定の� ��を事前に撮影しておくとともに、補正係数� ��算出しておき、壁データとして撮影した壁� ��画像データおよび補正係数を所定のメモリ� ��記憶しておく。そして、投影を行う壁を撮� ��し、壁データと照合して、壁データの中に� ��致する壁が存在するか判定を行う。壁デー� ��の中に一致する壁が存在する場合は、その� ��の補正係数を使用して投影画像を投影する� ��うにしてもよい。これにより、補正係数の� ��出を開始する必要がないので、速やかに補� ��係数を算出し、算出した補正係数で投影画� ��を補正し、その投影画像を投影することが� ��きる。

(3)補正係数を算出するために投影面を撮影 するとき、カメラのフラッシュに使用される 閃光装置から閃光を発生させて投影面を撮影 するようにしてもよい。閃光装置から発生す る閃光の色温度は予め知ることができるので 、閃光を発生させて撮影した投影面と、照明 光の下で撮影した投影面とを比較することに より、照明光の色温度を推測することができ る。これにより、補正係数の算出において照 明光の影響を考慮に入れることができる。ま た、暗い場所であるとき、模様、反射率、黒 点などの壁の状態を把握することができる。

 たとえば、壁が白色で、照明が黄色であ� ��とき、壁が黄色であるのか、照明光の影響� ��黄色に見えるのかが分らない。そして、誤� ��て壁が黄色であるとして補正係数を算出す� ��と、黄色から白色に補正するための補正量� ��大きくなりすぎてしまい、補正量の限界に� ��してしまう可能性が高くなる。一方、閃光� ��置を発光させて壁を撮影することにより、� ��の色は白色であることを認識できる。閃光� ��置を発光させて投影面を撮影した撮影画像� ��使用して補正係数を算出することにより、� ��大な補正を防止することができる。

(4)補正係数を算出するために所定の投影画 像を投影面に投影して投影面を撮影するとき 、余計な光などが入らず、安定した照明条件 下であることが好ましい。しかし、実際の問 題として、安定した照明条件下で所定の投影 画像を投影面に投影し、投影面を撮影するこ とが困難な場合がある。そのような場合、外 乱の影響が含まれないように、数回補正係数 を算出し、その補正係数のメディアン(中央� �)や平均値を補正係数とするようにしてもよ� ��。また、補正係数のメディアン(中央値)や� �均値平均値を算出するときとき、他の値と� �しく異なる異常値を除くようにしてもよい� �これにより、補正係数を算出するための投� �面撮影時に、投影面にポインタのレーザ光� �ような異常光が当たっていたような場合で� �、適切な補正係数を算出することができる� �

(5)投影画像が切り替わるときなど、所定の タイミングで所定の投影画像を投影面に投影 して、その投影面を撮影し、その撮影した画 像の画像が変化したら、改めて補正係数を算 出し直すようにしてもよい。投影開始から、 照明条件が一定であるとは限らないからであ る。

-第11の実施の形態-
 以下、図面を参照して本発明を実施するた� ��の第11の実施の形態について説明する。図25 は、本発明の第1の実施の形態による投射機� �付きカメラ2を前方から見た図である。図25� �おいて、投射機能付きカメラ2の正面には、� ��像光学系121(図2参照)を構成する撮影レンズ1 21Aと、投影光学系111(図2参照)を構成する投影 レンズ111Aとが設けられている。投射機能付� �カメラ2は、机上などに載置された状態、ま� ��は手に持った状態で、前方のスクリーンな� ��に向けて、内蔵する投射ユニット110によっ� ��画像などの投影情報を投影する。投射機能� ��きカメラ2の上面には、レリーズスイッチ103 Aが設けられている。投射機能付きカメラ2に� ��いて、投射ユニット110の投影光学系111は縦� ��向に配設される。

 図26は、投射機能付きカメラ2の構成を説� ��するブロック図である。図26において投射� �能付きカメラ2は、投射ユニット110と、撮像� ��ニット120と、制御回路101と、メモリ102と、� ��作部103と、外部インターフェイス(I/F)回路10 4と、メモリカードインターフェイス(I/F)105と 、加速度センサ106とを備え、メモリカードイ ンターフェイス105にはメモリカード150が接続 される。

 制御回路101は、マイクロプロセッサ及び� ��の周辺回路からなる。制御回路101は、制御� ��ログラムに基づいて、投射機能付きカメラ2 内の各部から入力される信号を用いて所定の 演算を行う。制御回路101は、演算結果を制御 信号として投射機能付きカメラ内各部に送出 し、投射機能付きカメラ2の投影動作および� �影動作を制御する。制御プログラムは制御10 1内の不図示のROMに格納される。

 制御回路101は画像処理部101Aを有する。画 像処理部101Aでは、外部インターフェイス104� �介して取得した画像データまたはメモリカ� �ド150より取得した画像データに対して画像� �理を行う。画像処理部101Aで行う画像処理の� ��細については後述する。

 メモリ102は制御回路101の作業用メモリと� ��て使用される。操作部103はレリーズスイッ� ��103Aを含み、操作されたボタンやスイッチに 対応する操作信号を制御回路101へ送出する。 メモリカード150は、制御回路101の指示により データの書き込み、保存および読み出しが可 能である。

 投射ユニット110は、投影光学系111、液晶� ��ネル112、LED光源113、および投射制御回路114� ��含む。LED光源113は、供給電流に応じた明る� ��で液晶パネル112を照明する。液晶パネル112� ��、投射制御回路114からの駆動信号に応じて� ��像を生成する。投影光学系111は、液晶パネ� ��112から射出される光像を投射する。投射制� ��回路114は、制御回路101からの指示により、L ED光源113および液晶パネル112へ制御信号を送� ��する。

 投射ユニット110は、メモリカード150内に� ��存されている画像データの他、外部インタ� ��フェイス回路104を介して外部機器から供給� ��れる画像データによる画像を投影可能に構� ��され、制御回路101から指示された画像を投� ��する。

 撮像ユニット120は撮像光学系121、撮像素� ��122および撮像制御回路123を有し、制御回路1 01からの指示に応じて投影面の撮像を行う。� ��像光学系121は、撮像素子122の撮像面上に被� ��体像を結像させる。撮像素子122としては、C CDやCMOS撮像素子などが用いられる。撮像制御 回路123は、制御回路101からの指示により撮像 素子122を駆動制御するとともに、撮像素子122 から出力される画像信号に対して所定の信号 処理を行う。信号処理後の画像のデータは、 所定形式の画像ファイルとしてメモリカード 150に記録される。

 加速度センサ106は、投射機能付きカメラ2 の加速度を検出することができる。これによ り、投射機能付きカメラ2が動いたことを検� �することができる。

 制御回路101の画像処理部101Aで行われる画 像処理を説明する。本発明の実施形態の画像 処理は、投影面を撮影した撮影画像に基づい て投影画像の色補正を行う。また、画像処理 部101Aは、投射光学系111の光軸と撮像光学系12 1の光軸とが一致していないことによる投影� �像の歪や、投影光学系111の光軸が投影面に� �して垂直でないことに起因する投影画像の� �おりや歪に対する補正も行うことができる� �本発明の実施形態の画像処理は、投影画像� �色補正に特徴を有するので、色補正につい� �主に説明する。

 図27および図28を参照して、本発明の実施 形態における画像処理によって投影画像の画 像処理を行い、その処理された投影画像を投 影したときに視認される投影画像について説 明する。図27(a)は、投影画像を投影する投影� ��30を説明するための図である。投影面30には 、丸いシミ271が付着しているものとして説明 する。図27(b)は、投影面30に投影する投影画� �272を示す図である。

 図28(a)は、本発明の実施形態における画� �処理によって投影画像272を処理した投影画� �を投影面30に投影したときに視認される投影 画像273を示す図である。投影画像273には、シ ミ271が目立たたず、投影画像273の視認性も良 好である。図28(b)は、投影面がずれたときに� ��投影画像272を処理した投影画像を投影面30� �投影したときに視認される投影画像274を示� �図である。投影面30におけるシミ271の位置が ずれているので、投影画像274の一部274aでは� �シミ271が目立つように表示され、他の一部27 4bでは、シミ271がないにもかかわらず輝度が� ��く補正されて表示される。このように投影� ��がずれた場合、本発明の第11の実施の形態� �は、再び投影面を撮影し、投影画像を補正� �るために使用する補正係数を算出し直す。� �して、その補正係数を用いて投影画像272を� �正し、図28(c)に示すように、シミ271が目立た たず、視認性が良好な投影画像275を再び表示 することができる。

 図29のフローチャートを参照して、本発� �の第1の実施の形態における画像処理につい� ��説明する。この画像処理は、投影面である� ��の模様やシミなどが目立たなくなるととも� ��、投影画像のダイナミックレンジが狭くな� ��すぎない適切な補正量に調整することがで� ��る。図29の処理は、投射機能付きカメラ2が� ��投影を開始するための処理を開始するとス� ��ートするプログラムにより制御回路101にお� ��て実行される。

 制御回路101は、投影画像の画像数が投射� ��能付きカメラ2の解像度に一致するように補 間処理を行い、撮像ユニット120により撮影さ れた画像を、投射機能付きカメラ2の解像度� �一致するように補間処理を行う。補間処理� �行った撮影画像を使用して、補間処理を行� �た投影画像を以下のように補正し、補正し� �画像を投影するものとする。投影画像の画� �と撮影画像の画素との間の対応関係が明確� �なるので、処理速度が速くなる。

 ステップS301では、投射ユニット110の投影 特性の算出を行う。投影特性とは、入力画像 の画素値(R,G,B)と、投影面で再現される投影� �像の測色値(X,Y,Z)との間の関係を示す特性で� ��る。測色値は、投射ユニット110の照明ムラ� ��投影面の色や模様、周囲照明による投影面� ��明るさに影響を受ける。そこで、投射ユニ� ��ト110から、既知の画素値(R,G,B)で表される所 定の投影画像を投影して投影面上の投影画像 を撮影ユニット120で撮影し、撮影した画像か ら測色値(X,Y,Z)を検出して投影特性を算出す� �。所定の投影画像とは、後述するように、� �画像、黒画像、R画像、G画像、またはB画像� �ある。投影特性に基づいて決定する補正係� �により入力画像を補正して投影することに� �り、投射ユニット110の照明ムラ、投影面の� �や模様、周囲照明による投影面の明るさに� �存することなく、入力画像の見た目が近く� �るより表現された投影画像を鑑賞すること� �できる。投影特性の具体的な処理について� �後述する。

 ステップS302では、投影画像の補正係数を 決定する。すなわち、ステップS301で得られ� �投影特性を用いて、投影面の状態や周囲照� �環境等に影響されることなく投影画像が入� �画像(投影画像)を再現するように、入力画像 に施す補正係数を決定する。投射ユニット110 から投影された投影画像を撮影ユニット120で 撮影し、撮影した画像を解析して投影画像の 補正係数を決定する。この補正係数が投影画 像の補正量となる。この処理の詳細について も後述する。

 ステップS303では、投影面のずれの有無を 判定する。投射機能付きカメラ2が動くと、� �影面はずれる。したがって、投射機能付き� �メラ2の動きを検出することにより、投影面� ��ずれの有無を判定する。投射機能付きカメ� ��2の動きは加速度センサ106により検出される 。投射機能付きカメラ2が動いたことを検出� �た場合、投影面はずれたと判定する。投射� �能付きカメラ2が動いたことを検出しない場� ��、投影面はずれていないと判定する。投影� ��のずれがあった場合はステップS303が肯定判 定され、ステップS304に進む。投影面のずれ� �ない場合はステップS303が否定判定され、ス� ��ップS301に戻る。これにより、投影画像の補 正係数の決定をやり直すことができる。

 ステップS304では、投影画像の画像データ を、外部インターフェイス回路104を介して、 またはメモリカード150より読み込み、メモリ 102に記憶する。ステップS305では、ステップS3 02で決定した補正係数で、ステップS304で読み 込んだ投影画像データを補正する。この処理 の詳細についても後述する。ステップS306で� �、ステップS304で補正した投影画像データを� ��ナログ変換し、投影画像を投影する。

 ステップS307では、次に投影する投影画像 データがあるか否かを判定する。次に投影す る投影画像データがある場合はステップS307� �肯定判定され、ステップS303に戻る。次に投� ��する投影画像データがない場合はステップS 307が否定判定され、処理を終了する。

 次に、ステップS301、S302、S305について、� ��らに詳細に説明する。

-投影特性の算出-
 ステップS301で行う投影特性の算出について 説明する。
 i番目の画素値が(R,G,B) _i で与えられる入力画像データにより投影画像 を生成して投射ユニット110で投影したとき、 i番目の画素値に対応する投影面の測色値(X,Y, Z) _i は以下の式(32)で表される。
 ただし、式(33)、および式(34)に示す置き換� �を用いている。

 γは投射ユニット110の階調特性を表す。M _pi は、投射ユニット110の画素値(R ^γ ,G ^γ ,B ^γ ) _i から投射ユニット110の照明の測色値へ変換す る色変換マトリックスを表す。(X _kp ,Y _kp ,Z _kp ) _i は、投射ユニット110で黒画像を投影した時の 周囲照明も含めた投影面の照明条件を表す。 R ^* _i は、投影面の反射率特性を表す。

 添字iは次の意味を有している。この実施 の形態のプロジェクタでは、白画像や黒画像 など既知の画像を投射して投影面を撮像し、 その撮像画像に基づいて、投影面の模様など による反射率のムラだけではなく、投射ユニ ット110の照明ムラ、周囲照明や黒点の面内ム ラ(以下、これらのムラを総称して単に「ム� �」と呼ぶ)も合わせて補正する。したがって� ��投影面の各画素領域に異なる投影特性を表� ��するため、添え字iを使用する。

 式(32)において、(X _k ,Y _k ,Z _k )は、黒画像((R,G,B) _i =(0,0,0) _i )を投影した時の投影面撮影画像に基づいて� �定する。なお、投影面上の投影画像の測色� �は、撮影画像の画素値から予め決まった色� �換処理を用いることで算出できる。すなわ� �、撮影画像のプロファイルがsRGBであれば、� ��素値に対して通常のsRGB変換処理を適用して (X _k ,Y _k ,Z _k ) _i を決定することができる。

 同様に、R画像((R,G,B) _i =(255,0,0) _i )、G画像((R,G,B) _i =(0,255,0) _i )、およびB画像((R,G,B) _i =(0,0,255) _i )をそれぞれ投影した投影面を撮影した各撮� �画像から、色変換マトリックスM _i の3×3のマトリックス係数を決定する。具体� �には、R画像、G画像およびB画像をそれぞれ� �影した投影面の撮像画像(以下、投影面撮影� ��像と呼ぶ)の測色値をそれぞれ、(X _r ,Y _r ,Z _r )、(X _g ,Y _g ,Z _g )および(X _b ,Y _b ,Z _b )とすると、色変換マトリックスM _i は以下の式(35)で表される。

-投影画像補正係数の決定-
 ステップS302で行う投影画像補正係数の決定 について説明する。
 投影面にムラあるいは模様がある場合、投� ��面を撮影して得た撮像画像の画素値は均一� ��はなく、ムラあるいは模様に応じた画素値� ��なる。換言すると、各画素で最大表示可能� ��色域は変化する。この実施の形態では、ま� ��この最大表示可能な色域範囲を決定する。� ��影面での輝度Y _i は、式(32)に基づき、式(36)に示されるように� ��て求められる。

 したがって、表示可能な輝度範囲は、式(36) において、0≦R _i ≦255,0≦G _i ≦255,および0≦B _i ≦255に対しY _i がとり得る範囲で決まる。通常、Y _r >Y _k ,Y _g >Y _k ,およびY _b >Y _k であるから、各画素の表示可能な輝度範囲は 、白画像((R,G,B) _i =(255,255,255) _i )を投影したときの表示輝度を表示可能な最� �輝度Y _MAX,i 、黒画像を投影したときの表示輝度をY _MIN,i として求めることができる。

 投影面のムラや模様が投影画像の視認性に� ��する影響を低減するためには、投影面撮影� ��像の投影面での最大輝度Y _MAX がMIN(Y _MAX,i )、最小輝度Y _MIN がMAX(Y _MIN,i )になるように投影画像データを補正する必� �がある。すなわち、補正対象投影画像を投� �したときの最大輝度Y _MAX が、白画像投影時の撮影画像を構成する複数 画素の中で最小の輝度値MIN(Y _MAX,i )になるように補正する必要がある。また、� �正対象投影画像を投影したときの最小輝度Y _MIN が、黒画像投影時の撮影画像を構成する複数 画素の中で最大の輝度値MAX(Y _MIN,i )になるように補正する必要がある。

 しかし、極端に暗い部分が投影面にある場� ��などに、上述した補正を全画素に対して行� ��と、ダイナミックレンジが非常に狭くなり� ��補正後の投影画像そのものの視認性が悪く� ��る。そこで、輝度閾値Y _th を設定し、投影画像の画素のうち、投影した ときの輝度が輝度閾値Y _th より低い輝度の画素に対しては、補正量を緩 和し、最大輝度Y _MAX を以下の式(37)のように決定する。
 Y _th >MIN(Y _MAX,i )が成り立つ場合、最大輝度Y _MAX はMIN(Y _MAX,i )ではなく、閾値Y _th となるように補正する。このようにして、低 輝度側の画素値の補正量を抑制する。

-投影画像の補正-
 ステップS305で行う投影画像の補正について 説明する。
 投影画像(入力画像)の色空間がsRGBとすれば� ��投影画像の画素値(R ₀ ,G ₀ ,B ₀ )に対して、投影面での測色値(X,Y,Z) _i は以下の式(38)のようにして得られる。
 黒画像を投影したときの画素の最大輝度、� ��なわち、Y _MIN =MAX(Y _MIN,i )となる画素値を投影画面の黒点(X _k0 ,Y _k0 ,Z _k0 )とする。なお、M _sRGB→XYZ はsRGB色空間からXYZ色空間への変換マトリッ� �スである。

 したがって、式(32)を用いて、補正後の投射 ユニット110への入力画素値(R,G,B) _i は以下の式(39)で算出できる。

 式(39)は簡単のため、sRGBのγ=2.2として記� �した。しかし、定義どおり線形関数とγ=2.4� �組み合わせで算出してもよい。

 以上説明した第11の実施の形態によれば、� �の作用効果が得られる。
(1)投影面30のずれを検出したとき、投影画像� ��補正係数の算出をやり直すようにした。し� ��がって、投影中に何らかの原因で投射機能� ��きカメラ2が動いてしまっても、投影画像を 適切に補正することができる。

(2)加速度センサ106のように投射機能付きカ メラ2が動いたことを検出するセンサによっ� �、投影面30のずれを検出したので、投影面30� ��ずれを確実に検出することができる。

-第12の実施の形態-
 第11の実施の形態では、投影画像の補正係� �を算出するのに時間がかかる場合がある。� �のような場合、投影画像の補正係数を算出� �直してから投影を再開すると、投影が再開� �れるまでの時間が長くなる。そこで、第12の 実施の形態では、投影画像が切り替わる間に 、所定の投影画像(白画像、黒画像、R画像、G 画像、B画像)を投影し、その投影画像を投影� ��た投影面を撮影する。これにより、ユーザ� ��、投影が再開されるまで長い時間待つ必要� ��ない。

 図30に示すように、投影面30に投影される 投影画像が投影画像275から投影画像277に切り 替わる間に、白画像276を投影して撮影する。 同様に、投影面30に投影される投影画像が切� ��替わる度に、黒画像、R画像、G画像およびB� ��像を投影し、投影面を撮影する。そして、� ��たな投影画像の補正係数が算出されたとき� ��新たな投影画像の補正係数で補正した投影� ��像を投影する。

-第13の実施の形態-
 第11の実施の形態では、投射機能付きカメ� �2が動いたことを検出することによって、投� ��面のずれを検出した。第13の実施の形態で� �、投影画像が投影面に投影されたときの投� �面を撮影した撮影画像と、補正した投影画� �を投影面に投影し、その投影した投影画像� �撮影して得られるであろうと推定される推� �撮影画像とを比較することにより、投影面� �ずれを検出する。これにより、加速度セン� �106などのセンサ類を設けなくても投影面の� �れを検出することができる。

 撮影画像と、推定撮影画像との間の比較� ��以下のように行う。図31に示すように推定� �影画像48の輝度分布と撮影画像274の輝度分布 を比較する。その結果、撮影画像48には、推� ��撮影画像48には見られない輝度の低い部分27 4aや輝度の高い部分274bが検出される。このよ うな輝度の異常部分が検出された場合、投影 面30がずれたものと判定する。以上のように� ��撮影画像274と推定撮影画像48とを比較して� �度の高い部分および輝度の低い部分を検出� �ることにより、投影面30のずれを検出する。

 推定撮影画像は、たとえば、白画像など� ��投影して撮影した投影面の撮影画像に、補� ��した投影画像を合わせることにより算出す� ��。

 第13の実施の形態を次のように変形するこ� �ができる。
(1)投影面の模様が顕著で投影画像の補正を行 っても投影面の模様を完全に目立たないよう にすることができないと判断される場合、推 定撮影画像の代わりに、白画像で撮影された 投影面内の輝度の変化に応じて投影画像内の 輝度を変化させた画像を、撮影画像と比較し て投影面のずれを検出するようにしてもよい 。推定撮影画像を算出するよりも白画像で撮 影された投影面内の輝度の変化に応じて投影 画像内の輝度を変化させた画像を算出する方 が容易だからである。

(2)投影面の模様が目立たないため、投影画 像の補正により投影面の模様を完全に目立た ないようにすることができると判断される場 合、推定撮影画像の代わりに、補正を行わな い元の投影画像を、撮影画像と比較する画像 として使用してもよい。推定撮影画像は、補 正を行わない元の投影画像とほとんど変わら ないからである。

(3)撮影画像と推定撮影画像との比較は、対 応する各画素の差分や比を取るなど、2つの� �像の違いを取得できる方法であれば上記の� �較方法に限定されない。たとえば、各画素� �輝度Y値について差分を算出し、その画像内� ��最大値が所定値(たとえば、最大輝度Y値の10 %)を超えた場合、投影面30のずれありと判定� �てもよい。また、対応する各画素の差分の� �均値が所定値を超えた場合、投影面30のずれ ありと判定してもよい。さらに、輝度Y値の� �りに画素値RGBの値を使用してもよい。また� �投影面上で特徴的な模様がある部分を中心� �した一部分において、撮影画像と推定撮影� �像とを比較するようにしてもよい。

-第14の実施の形態-
 第13の実施の形態では、撮影画像と推定撮� �画像とを比較することにより投影面のずれ� �検出した。第14の実施の形態では、さらに、 撮影画像と推定撮影画像とを比較することに より投影面のずれの方向やずれの程度を検出 する。

 投影面のずれの方向やずれの程度の検出� ��、以下のように行う。まず、図32(a)に示す� �うに、投影特性の決定や投影画像の補正係� �の決定を行うとき、投影画像と投影する投� �面30よりも広い領域50(以下、広域領域と呼ぶ )に所定の投影画像(白画像、黒画像、R画像、 G画像、B画像)を投影し、撮影を行う。そして 、広域領域50の撮影画像うち、投影面30の部� �の画像を用いて、投影特性の決定や投影画� �の補正係数の決定を行う。

 次に、図31の撮影画像274と推定撮影画像48 とを比較して、図33(a)に示すように、輝度の� ��い部分274aと輝度の明るい部分274bとを抽出� �る。図33(b)に示すように、白画像を投射した ときの投影面30における撮影画像により輝度� ��暗い部分271を抽出する。

 撮影画像274の中で、投影面30がずれる前� �暗い部分271が存在し、投影面30がずれた後、 暗い部分271が存在しなくなった部分の輝度は 、推定撮影画像の輝度に比べて高くなる。一 方、撮影画像274の中で、投影面30がずれる前� ��暗い部分271が存在せず、投影面30がずれた� �、暗い部分271が存在するようになった部分� �輝度は推定撮影画像の輝度に比べて低くな� �。このような輝度の関係と、輝度の暗い部� �271の形状とから、図33(c)に示すように、投影 面のずれに起因する投影面上における暗い部 分271の移動(矢印61)を検出することができる� �

 それに合わせて、図32(b)に示すように、� �域領域50の中で投影特性の決定や投影画像の 補正係数の決定を行うため使用する画像の領 域を投影面30から投影面30Aに移動する(矢印51� ��方向)。そして、投影面30Aの部分の画像を用 いて投影特性の決定や投影画の像補正係数の 決定を行い、その投影画像の補正係数で投影 画像の補正を行う。

 これにより、再度、投影面に投影画像(白 画像、黒画像、R画像、G画像、B画像)を投影� �、投影した投影面を撮影する必要がないの� �、投影画像の補正係数を速やかに算出する� �とができる。

-第15の実施の形態-
 投影面のずれを検出したということは、投� ��機能付きカメラ2を手で持って投影している と考えられる。このような場合、再び投影面 がずれる可能性があるので、投影面を撮影し た撮影画像に基づいて投影画像を補正しない 方がよい。以上より、第15の実施の形態では� ��投影面のずれを検出した後は、投影画像の� ��正を行わない。

 図34のフローチャートを参照して、投影� �のずれを検出した場合、投影画像の補正を� �わない画像処理について説明する。図34の処 理は、投射機能付きカメラ2が、投影を開始� �るための処理を開始するとスタートするプ� �グラムにより制御回路101において実行され� �。図29の画像処理に共通するステップには共 通の符号を付し、図29の画像処理と異なる部� ��を主に説明する。

 ステップS311では、投影面のずれの有無を 判断するためのフラグfの値を0にする。ここ� ��、フラグfの値が0のとき、投影面のずれな� �と判断し、フラグfの値が1のとき、投影面の ずれありと判断する。そして、ステップS301� �進む。

 ステップS303が否定判定されるとステップ S312に進む。ステップS312では、フラグfの値を 1にする。そして、ステップS313に進む。また� ��ステップS304の次もステップS313に進む。

 ステップS313では、フラグfの値が0である� ��否かを判定する。フラグfの値が0である場� �はステップS313が肯定判定され、ステップS305 に進む。フラグfの値が1である場合はステッ� ��S313が否定判定され、ステップS306に進む。� �れにより投影画像は補正されない。なお、� �射機能付きカメラ2の動きを連続して検出し� ��場合のみ、投影画像の補正を停止するよう� ��してもよい。投射機能付きカメラ2を手で持 って投影していることを確実に検出するため である。

 上述の第11から第15の実施の形態は、プロ ジェクタであれば十分であり、投射機能付き カメラ2に限定されない。

 以上の説明はあくまで一例であり、本発� ��は上記実施形態の構成に何ら限定されるも� ��ではない。

 次の優先権基礎出願の開示内容は引用文� ��してここに組み込まれる。日本国特許出願2 008年第4219号(2008年1月11日出願)、日本国特許� �願2008年第4218号(2008年1月11日出願)、日本国特 許出願2008年第4220号(2008年1月11日出願)、およ� ��日本国特許出願2008年第4221号(2008年1月11日出 願)。