以下、本発明の実施形態を図面を参照し� ��がら説明する。これらの実施形態は、当業� ��が実施できるように十分詳細に説明されて� ��るが、その他の実施形態も利用可能である� ��例えば、実施形態に対する構成的な、論理� ��な、電気的な変更は、本発明の主題の範囲� ��ら逸脱することなくなされ得る。したがっ� ��、以下の説明は、限定的に捉えるべきでは� ��く、発明の主題の範囲は、特許請求の範囲� ��よびそれらの法的均等物によって画定され� ��べきである。

 さらに、ここに説明されている装置の機� ��は、ソフトウェア、ハードウェア、ファー� ��ウェア、またはそれらの任意の組合せによ� ��て実現することができる。ここに提示され� ��いる例は、ユニットごとに一つもしくはそ� ��以上の機能を組み合わせることができるが� ��機能の別の組み合わせも本発明の主題の範� ��を逸脱することなく実現化することができ� ��。

 図1は、本発明の原理図である。図1に示� �ように、本発明にかかわる画像合成装置10は 、複数の画像間の差異(ギャップ)の度合い又� ��程度を示す相関度を算出する相関算出手段1 1、相関度に基づいて複数の画像を重畳させ� �重畳領域を決定する重畳領域決定手段12、及 び重畳領域で複数の画像を重畳させて画像を つなぎ合わせる合成手段13(合成部・画像作成 部)を備える。

 まず、位置合わせされた複数の画像を入� ��されると、相関算出手段11(相関算出部)は複 数の画像のつなぎ合わせる境界近傍における 複数の画像間のギャップの度合いを示す相関 度を算出する。より具体的には、相関算出部 11は、複数の画像の各々から境界近傍にある� ��素を取得し、それぞれについて画素の統計� ��を算出し、その統計量に基づいて相関度を� ��出する。なお、画像間の類似が大きくなる� ��ど、言い換えると画像間の差異(ギャップ)� �小さくなるほど、相関算出手段11が算出する 相関度は高くなる。

 ここで、つなぎ合わせの境界近傍とは、� ��体的には、つなぎ合わせる境界から、複数� ��画像にまたがって所定の幅内にある領域で� ��る。よって、相関度が高いことは、つなぎ� ��わせの境界をはさんだ近傍において複数の� ��像が互いに大きな差異(ギャップ)がないこ� �を意味する。

 ここで、相関度を算出するために用いる� ��素の統計量とは明るさ、彩度、色温度及び� ��素値の差の何れか少なくとも1つの統計量で あることとしてもよい。また、統計量は平均 、最大値、累積和、標準偏差及び分散のいず れであってもよい。

 例えば、明るさに基づいて相関度を算出す� ��場合、相関度が高いということは、境界近� ��において複数の画像間の明るさにギャップ� ��少ないことを意味する。
 重畳領域決定手段12(重畳領域決定部)は、相 関度に基づいて、つなぎ合わせの境界近傍で それらの画像を重畳させる領域を決定する。 合成手段13(合成部・画像作成部)は、重畳領� �では複数の画像を重畳させることにより、� �数の画像をつなぎ合わせて合成する。

 複数の画像をつなぎ合わせる際に、その� ��界でつなぎ合わせた画像を重畳させると、� ��の境界を目立たなくすることができるが、� ��の重畳させる重畳領域を固定にすると、画� ��間のギャップによっては重畳領域の広さが� ��分だったり、不足したりすることがある。� ��えば、画像間のギャップが十分に小さい場� ��に重畳領域を固定していると、重畳領域が� ��きすぎ、その大きすぎる重畳領域で被写体� ��多重化が生じることがある。一方で、画像� ��のギャップが大きい場合に重畳領域を固定� ��ていると、重畳領域が小さすぎてつなぎ合� ��せの境界に生じる不自然さを解消できない� ��とがある。

 本発明の画像合成装置10によれば、重畳� �域決定手段12(重畳領域決定部)が、相関度に� ��づいて重畳領域を決定することにより、画� ��間のギャップを解消するために必要な重畳� ��域を確保しつつ、重畳領域での被写体の多� ��化を避けることが可能となる。つまり、画� ��間のギャップが十分に小さい場合、重畳領� ��決定手段12は、重畳領域を小さくすること� �より、重畳領域での被写体の多重化を避け� �ことを可能にする。一方、画像間のギャッ� �が大きい場合、重畳領域決定手段12は、重畳 領域を大きくすることにより、つなぎ合わせ の境界に生じる不自然さを解消することを可 能にする。

 また、つなぎ合わせられる複数の画像に� ��づいて重畳領域決定手段12が重畳領域を決� �するため、撮影前に撮影者に重畳領域を設� �させる必要はない。よって、画像の品質が� �影者の経験や撮影テクニックの巧拙に依存� �るという問題は生じない。また、撮影前で� �なく、撮影後に重畳領域を決定するため、� �際に撮影してみると重畳領域が不適切だっ� �という問題も生じない。

 なお、重畳領域における複数の画像の合� ��比率を、境界からの距離に応じて変化させ� ��こととしてもよい。これにより、重畳領域� ��滑らかに複数の画像が合成されるため、一� ��境界を目立ちにくくすることが可能となる� ��

 また、画像合成装置10は、上記構成に加� �て、さらに、相関度を所定の値と比較し、� �較結果に基づいて複数の画像の少なくとも1� ��を変換する画像変換手段を備えることして� ��よい。より具体的には、画像変換手段は、� ��関度が所定の値よりも小さい場合、画像変� ��手段による変換後の複数の画像の相関度が� ��くなるように画像を変換する。つまり、画� ��変換手段は、複数の画像間のギャップが小� ��くなるように画像を変換する。

 これにより、画像間のギャップが大きい� ��合、重畳領域を重畳させるだけでなく境界� ��傍の領域において画像間のギャップが小さ� ��なるように画像を変換することが可能にな� ��ため、つなぎ合わせの境界は一層目立ちに� ��くなる。

 ここで、画像変換手段は、変換対象とな� ��画像における境界近傍を変換することとし� ��もよい。多数の画像をつなぎ合わせる場合� ��、画像全体を変換すると、画像が次第に元� ��画像から大きく異なってしまうことがある� ��、変換する範囲を境界近傍に限定すること� ��より、このような問題を避けることが可能� ��なる。

 また、画像変換手段は、変換後の複数の� ��像の相関度と所定の値と比較し、比較結果� ��所定の条件を満たすまで変換を繰り返すこ� ��としてもよい。より具体的には、画像変換� ��段は、変換後の複数の画像の相関度が所定� ��値より小さくなるまで変換を繰り返すこと� ��してもよい。これにより、つなぎ合わせの� ��界は一層目立ちにくくなる。

 また、画像合成装置10は、上記構成に加� �、複数の画像のずれ量を算出するずれ量算� �手段と、ずれ量に基づいて複数の画像の位� �合わせを行い、複数の画像で重複する領域� �共通領域として決定する共通領域決定手段� �更に備えることとしてもよい。

 これにより、予め位置合わせ及び共通領域� ��設定されていない複数の画像であっても、� ��なぎ合わせることが可能となる。
 また、画像合成装置10は画像撮影装置にそ� �えられることとしてもよい。

 また、画像合成装置を有する画像撮影装置� ��、携帯電話、PDA(Personal Digital Assistant)、パ� ��コン等に備えることとしてもよい。
 また、画像合成装置10を構成する各手段に� �り行われる処理の過程からなる方法も本発� �に係わるものであり、この方法によっても� �述の目的を達成することが可能である。

 また、画像合成装置10を構成する各手段� �より行なわれる機能と同様の制御をプロセ� �サに行なわせるプログラム、そのプログラ� �を記録した記録媒体及びプログラム・プロ� �クトも本発明に係わるものである。このプ� �グラムをプロセッサに読み出させて、その� �ログラムに基づいてプロセッサに、それに� �続された各種インターフェース等を制御さ� �ることによっても、上述の目的を達成する� �とが可能である。

 以下、2つの画像をつなぎ合わせると仮定 して説明する。この仮定は説明をわかりやす くするためであり、画像は2以上であっても� �い。さらに、画像を四辺形であると仮定し� �説明するが、画像の形状は四辺形以外の形� �であってもよい。

 まず、本発明の第1実施形態にかかわる画 像合成装置について説明する。第1実施形態� �係わる画像合成装置100は、画像をつなぎ合� �せる境界近傍における画像間のギャップを� �慮して重畳領域を決定し、その重畳領域に� �いて2画像を重畳させて、2画像をつなぎ合わ せる。

 図2は、第1実施形態にかかわる画像合成� �置100の構成図である。図2に示すように、画� ��合成装置100は、ずれ算出部110、共通領域決� ��部120、相関算出部130、重畳領域決定部140、� ��レクタ150、合成部160及び画像作成部170を備� ��る。

 ずれ量算出部110には、つなぎ合わせるべ� ��画像P1及びP2が入力される。ずれ量算出部110 は、画像P1及びP2の互いに対応する位置にあ� �画素をマッチングすることにより、ずれ量� �算出する。共通領域決定部120は、算出され� �ずれ量に基づいて画像P1及びP2の位置合わせ� ��行い、2画像で重複する領域を共通領域とし て決定する。相関算出部130は、画像P1及びP2� �画素に基づいて共通領域の境界近傍での画� �P1及びP2間の差異(ギャップ)の度合いを示す� �関度を算出する。重畳領域決定部140は、算� �された相関度に基づいて、画像P1及びP2を重� ��させるべき領域である重畳領域を決定する� ��セレクタ150は、入力された画像P1及びP2中の 画素を合成部160又は画像作成部170に出力する 。合成部は160は、画像P1及びP2の画素を合成� �、合成された画素を画像作成部170に出力す� �。画像作成部170は、セレクタ150及び合成部16 0から出力された画素から、合成後の画像(以� ��、合成画像)を作成し、出力する。

 以下、図3を用いて、画像合成装置100が行う 処理の流れについて説明する。
 まず、ずれ量算出部110は、画像P1及びP2の互 いに対応する位置にある画素をマッチングす ることにより、ずれ量を算出する(ステップS1 )。共通領域決定部120は、算出されたずれ量� �基づいて、画像P1またはP2を、画像間のずれ� ��なくなるように変換することにより位置合� ��せを行う。さらに、共通領域決定部120は、� ��置合わせ後の2画像の間で重複する領域を共 通領域として決定する(ステップS2)。

 相関算出部130は、共通領域の境界近傍に� ��いて相関度を算出する(ステップS3)。より具 体的には、相関算出部130は、画像P1及びP2の� �々から境界の近傍にある画素を、画素の座� �情報に基づいて取り出し、それらの画素に� �いての統計量を算出し、その統計量に基づ� �て相関度を算出する。この相関度について� �さまざまな算出方法が考えられる。例えば� �明るさの統計量、彩度の統計量、色温度の� �計量、又は・及び画素値の差の統計量を用� �る算出方法が挙げられる。また、明るさ、� �度又は・及び色温度の統計量を用いる場合� �統計量として、例えば、平均、標準偏差及� �分散などが考えられる。画素値の差の統計� �を用いる算出方法の場合、統計量として、� �均、最大値、累積和、標準偏差及び分散な� �が考えられる。

 続いて、重畳領域決定部140は、算出され� ��相関度に基づいて重畳範囲を決定する。よ� ��具体的には、重畳領域決定部140は、相関算� ��部130によって算出された相関度が高い場合� ��狭い重畳領域を決定し、算出された相関度� ��低い場合、広い重畳領域を決定する(ステッ プS4)。

 セレクタ150は、決定された重畳領域、並� ��に画像P1及びP2の画素の座標情報に基づいて 、各画素がつなぎ合わせ後の画像の重畳領域 内にあるか否か判定する(ステップS5)。ある� �素が重畳領域内にあると判定された場合(ス� ��ップS5:Yes)、セレクタ150は、その画素をその 座標情報とともに合成部160に出力する。合成 部160は、画像P1の画素と、その画素を対応す� ��位置にある画像P2の画素を重畳させて合成� �、合成の結果得られた画素を、つなぎ合わ� �後の画像上での座標情報とともに出力する� �なお、画像P1とP2の合成比率は任意の定数と� ��てもよいし、変数としてもよい(ステップS6) 。一方、ある画素が重畳領域内にないと判定 された場合、セレクタ150は、その画素を、つ なぎ合わせ後のその画素の座標情報とともに そのまま出力する(ステップS7)。なお、共通� �域内であるが重畳領域内にはない画素の場� �、画像P1とP2の両方の画素があるが、その場� ��、セレクタ150は、いずれか一方の画像の画� ��と、そのつなぎ合わせ後の画像上の座標情� ��を出力する。

 上記の処理を入力された画像P1及びP2の全 ての領域について行うと(ステップS8:Yes)、セ� ��クタ150及び合成部160から出力された画素及� ��その位置情報に基づいて、画像作成部170は� ��成後の画像(以下、合成画像)を作成し(ステ� ��プS9)、処理を終了する。

 ここで、相関度を算出する対象となる、� ��界近傍の領域について図4及び図5を用いて� �明する。図4に、つなぎ合わせるべき画像P1� �びP2が、互いに上下方向及び左右方向にずれ ている場合の共通領域及びその境界近傍を示 す。共通領域は、画像P1及びP2で重複する領� �であり、図4では斜線で示される。共通領域� ��、画像P1の外周の一部及びP2の外周の一部で 囲まれた四辺形となる。以下、共通領域の各 辺のうち、画像P1の外周の一部で構成される2 辺を画像P1側の境界といい、画像P2の外周の� �部で構成される2辺を画像P2側の境界という� �

 2画像をつなぎ合わせる際、共通領域内で 画像P1を用いる場合と、画像P2を用いる場合� �の2パターンがある。図5A及び5Bを用いてこの 2パターンについて説明する。図5A及び5Bに示� ��ように、共通領域内で用いられる画像側の� ��界がつなぎ合わせ後の画像上に表れ、共通� ��域内で用いられない画像側の境界はつなぎ� ��わせ後の画像の下に隠れる。下に隠れる境� ��の近傍については相関度の算出は不要であ� ��。したがって、相関算出部130が相関度を算� ��する対象となる領域は、共通領域内で用い� ��れる画像側の境界からある画素数分だけ離� ��た領域となる。図5A及び5Bでは、斜線で示さ れる領域が、相関度を算出する対象となる領 域である。

 つまり、共通領域内で画像P1を用いる場� �、図5Aに示すように、画像P1側の境界がつな� ��合わせ後の画像上に表れ、この画像P1側の� �界から共通領域の内及び外に向かってある� �囲内にある領域が、相関度を算出する対象� �なる領域となる。同様に、共通領域内で画� �P2を用いる場合、図5Bに示すように、画像P2� �の境界から共通領域の内及び外に向かって� �る範囲内にある領域が、相関度を算出する� �象となる領域となる。なお、境界近傍の領� �の幅は、だいたい画像の全体幅の数パーセ� �トから十数パーセントの間としてもよい。

 次に、相関度の算出についてより詳しく� ��明する。相関算出部130は、明るさの統計量� ��彩度の統計量、色温度の統計量、及び画素� ��の差等の画素値の統計量を用いて相関度を� ��出する。

 例として、相関度を算出するために明る� ��の平均を用いる場合について説明する。こ� ��では、テレビ等でよく使われるYCbCr空間又� �YPbPr色空間を例として用いて説明する。これ らの色空間では明るさをY値で示す。なお、� �れは例示にすぎず、デバイスによってさま� �まな色空間があり、そのいずれの色空間に� �いても基本的に同様な方法で適用可能であ� �。

 まず、相関算出部130は、画像P1及びP2の各 々から共通領域の境界近傍にある画素を取得 し、画像P1からの画素のY値の平均と、画像P2� ��らの画素のY値の平均を算出する。さらに、 相関算出部130は、得られた2つのY値の平均の� ��を算出する。そして、相関算出部130は、(こ の差の絶対値+1)の逆数、あるいは(差の絶対� �+1)を階調数(多くの場合、Y値は0から255まで� �256階調である)で割った値の逆数を相関度と� ��てもよい。 更なる例として、相関度を算� �するために、HSB(Hue Saturation Brightness)色空間 (HSV(Hue Saturation Value)色空間)における明度の� ��均を用いる場合について説明する。なお、� ��れも例示に過ぎないことはいうまでもない� ��この場合、相関算出部130は、画像P1及びP2の 各々から共通領域の境界近傍にある画素を取 得し、画像P1からの画素の明度の平均と、画� ��P2からの画素の明度の平均を算出する。さ� �に、相関算出部130は、得られた2つの明度の� ��均の差を算出する。相関度は、(差の絶対値 +1)の逆数としてもよい。 また、他の統計量� ��用いる場合も同様にして、相関算出部130は� ��画像P1の境界近傍からの画素と、画像P2の境 界近傍からの画素の各々について統計量を算 出し、さらに、それらの統計量に基づいて相 関度を算出する。その際、相関算出部130は、 その統計量が画像P1及びP2の境界近傍の高い� �似を示すほど、相関度が高くなるように、� �関度を算出する。つまり、境界近傍の領域� �の画像間のギャップが小さいほど、相関度� �高くなる。

 相関度が算出されると、重畳領域決定部1 40は重畳範囲を決定するが、この重畳範囲に� ��いて説明する。図6A及び6Bを用いて、重畳領 域について説明する。図6A及び6Bは、画像P1及 びP2が互いに上下方向及び左右方向にずれて� ��る場合の重畳領域を示す。共通領域は、画� ��P1及びP2が重複している領域であり、図6A及� ��6Bで斜線がかけられた領域である。重畳領� �は、共通領域の一部を構成する鉤状の領域� �あり、図6A及び6Bで網掛けされた領域である� ��共通領域内で画像P1を用いる場合、図6Aに示 すように、画像P1側の境界がつなぎ合わせ後� ��画像上に表れ、この画像P1側の境界からの� �離がある範囲内にある共通領域内の領域が� �畳領域となる。同様に、共通領域内で画像P2 を用いる場合、図6Bに示すように、画像P2側� �境界からある範囲内にある、共通領域内の� �域が重畳領域となる。なお、重畳領域の幅� �、だいたい共通領域の全体幅の数パーセン� �から数十パーセントの間としてもよい。

 次に、重畳領域決定部140による重畳範囲� ��決定について説明する。重畳領域決定部140� ��、算出された相関度が高い場合、狭い重畳� ��囲を決定し、相関度が低い場合、広い重畳� ��囲を決定する。

 つまり、相関度が高い場合、境界近傍の� ��像間のギャップが小さいといえるため、合� ��処理をする前でも画像P1及びP2の共通領域の 境界は目立ちにくい。したがって、2つの画� �をつなぎ合わせても境界に不自然な断裂は� �じにくい。したがって、重畳領域決定部140� �、重畳領域を狭くし、重畳領域での被写体� �多重化を避ける。一方、相関度が低い場合� �境界近傍の画像間のギャップが大きいため� �2画像をつなぎ合わせると境界に不自然な断� ��が生じる。したがって、重畳領域決定部140� ��、重畳領域を広くし、境界近傍の不自然な� ��裂を解消する。

 このように、画像合成装置100は、つなぎ� ��わせる2画像の境界近傍のギャップに応じて 重畳領域を決定することにより、被写体の多 重化を避けつつ、境界近傍の不自然な断裂を 解消することを可能とする。

 ところで、いくら算出された相関度が高� ��とも、重畳領域、言い換えると重畳幅が小� ��すぎる場合、境界に不自然な断裂が生じる� ��れがある。また、共通領域を超えるような� ��畳幅を設定することもできない(図6A及び6B� �照)。したがって、これらの点をふまえて、� ��畳領域決定部140に、重畳幅の最大値及び最� ��値を与えることとしてもよい。また、例え� ��、重畳幅の最大値は、共通領域決定部120に� ��る共通領域の決定に基づいて設定されるこ� ��としてもよい。

 さらに、重畳領域決定部140に、図7に示す ような重畳幅決定関数を与えることとしても よい。そして、重畳領域決定部140は、この関 数にしたがって重畳範囲の最大値と最小値の 間を相関度に応じて変動させることとしても よい。

 例えば、明るさ、例えばYCbCr空間又はYPbPr 色空間におけるY値を用いて相関度を算出す� �場合、相関度を算出する過程でY値の平均の� ��の絶対値を255で割った値が得られる。この� ��合、その値が10%程度である時、画像間のギ� ��ップが大きいといえ、その値が4%程度であ� �時、画像間のギャップが十分に小さいとい� �る。したがって、重畳範囲決定部140は、そ� �値が10%程度以上である時に重畳幅を最大と� �て、その値が上がるにつれ徐々に重畳幅を� �少させ、その値が4%程度以下である時に重畳 幅を最小とすることとしてもよい。

 また、例えば、色温度を用いて相関度を� ��出する場合、相関度を算出する過程で色温� ��の差の絶対値が得られる。この場合、その� ��が1500ケルビン程度である時、画像間のギャ ップが大きいといえるため、1500ケルビン程� �以上で重畳幅を最大とし、相関度が300ケル� �ン程度である時、画像間のギャップが十分� �小さいといえるため、300ケルビン程度以下� �重畳幅を最小としてもよい。

 なお、重畳幅の最大値と最小値は、境界� ��傍の断裂の解消を重視するか多重化発生の� ��止を重視するかによって異なる。つまり、� ��裂の解消を優先する場合、最大値及び最小� ��はいずれも幾分大きな値を使用するほうが� ��ましい。一方、多重化発生の防止を重視す� ��場合は最大値及び最小値はともに幾分小さ� ��値を使用するほうが望ましい。

 また、重畳幅の最大値と最小値を、境界� ��傍の断裂の解消を重視するか多重化発生の� ��止を重視するかによって適宜変更できるこ� ��にしてもよい。例えば、重畳領域決定部140� ��、最大値及び最小値について予め複数個の� ��定値を用意し、例えばユーザがこれらの値� ��切り替えられるようにすることにしてもよ� ��。これにより、ユーザの希望に応じた重畳� ��、つまり重畳領域の決定が可能となる。

 次に、本発明の第2実施形態にかかわる画 像合成装置について説明する。第2実施形態� �かかわる画像合成装置200は、第1実施形態に� ��わる画像合成装置100の機能に加え、さらに� ��その重畳範囲内で2画像を重畳させる合成比 率を変える機能を有する。

 図8は、本発明の第2実施形態にかかわる� �像合成装置200の構成図である。図8に示すよ� ��に、画像合成装置200は、画像合成装置100を� ��成する各部に加え、さらに、合成比率算出� ��210を備える。

 合成比率算出部210は、重畳領域内の複数� ��画像の合成比率を画素ごと、あるいは領域� ��とに算出し、合成部160は、算出された合成� ��率に基づいて合成する。その他の各部につ� ��てはすでに説明した。

 以下、図9を用いて、画像合成装置200が行 う処理の流れについて説明する。図9に示す� �うに、画像合成装置200は、画像合成装置100� �行う処理のステップS5とS6の間に、さらにス� ��ップS20として、合成比率を算出する処理が� ��わる。その他の処理は、画像合成装置100と� ��様である。

 以下、合成比率算出部210による合成比率� ��算出について説明する。まず、図10を用い� �境界からの距離に応じて合成比率を変える� �合について説明する。説明を簡単にするた� �に、左右方向に互いにずれた画像P1及びP2を� ��なぎ合わせると仮定するが、2次元方向にず れている場合も基本的な考え方は同様である 。なお、図10において、画像P2が画像P1よりも 小さく描かれているが、これは説明のためで あり、実際は2画像は同じ大きさである。

 図10の上側部分には、共通領域内で画像P2 を用いる場合に画像P1及びP2のつなぎ合わせ� �分が示される。この場合、図10に示すように 、画像P2側の境界がつなぎ合わせ後の画像上� ��表れる。図10の下側部分は、図10の上側部分 に対応している。図10の下側部分は、画像P2� �の境界からの距離と合成比率の関係を示す� �ラフである。図10のグラフの横軸は画像P2側� ��境界からの距離を示し、縦軸は合成比率を� ��す。図10に示すように、共通領域の境界(画� ��P2側の境界)では、画像P1の合成比率を1.0(100% )、画像P2の合成比率を0%とする。そして、共� ��領域の境界から離れ、重畳領域の終端に近� ��くにしたがって徐々に画像P1の合成比率を0% まで下げ、画像P2の合成比率を1.0(100%)まで上� ��る。これにより、合成領域でなめらかに画� ��P1と画像P2をつなげることが可能になる。

 なお、図10とは逆に、共通領域内で画像P1 を用いる場合、共通領域の境界(画像P1側の境 界)では、境界は画像P2の合成比率を1.0(100%)、 画像P1の合成比率を0%とする。そして、共通� �域の境界から離れるにしたがって画像P2の合 成比率を0%まで次第に下げ、画像P1の合成比� �を100%まで次第に上げる(不図示)。

 以下、図11及び図12を用いて、画像間のギ ャップの大きさと重畳幅の関係を説明する。 図11A、11B及び11Cに、画像P1及びP2の画像間の� �ャップが大きい場合の画像のつなぎ合わせ� �、つまり境界近傍を示し、図12A、12B及び12C� �、画像P1及びP2の画像間のギャップが小さい� ��合の境界近傍を示す。

 まず、図11Aに示すように、画像P1とP2のギ ャップが大きい場合、画像P1及びP2をつなぎ� �わせると境界に大変目立つ不自然な断裂が� �じる。このような場合、重畳幅が十分に大� �くないと、図11Bに示すように、合成比率を� �えながら画像P1及びP2を重畳させても、境界� ��傍の断裂が目立つ。重畳幅が十分に大きい� ��合、図11Cに示すように、合成比率を変えな� ��ら画像P1及びP2を重畳させた結果、境界近傍 の断裂はほとんど目立たなくなる。

 一方、図12Aに示すように、画像P1とP2のギ ャップが小さい場合、画像P1及びP2をつなぎ� �わせると境界に不自然な断裂が生じるが、� �まり目立たない。このような場合、重畳幅� �小さい場合でも、図12Bに示すように合成比� �を変えながら画像P1及びP2を重畳させると、� ��界近傍の断裂はほとんど目立たなくなる。� ��畳幅が大きい場合、図12Cに示すように、合� ��比率を変えながら画像P1及びP2を重畳させた 結果、境界近傍の断裂はいっそう目立たなく なるが、図12Bと図12Cの違いはあまりない。こ のような場合、断裂を目立たなくすることよ りも、多重化発生の防止を重視するために、 大きい重畳幅よりも小さい重畳幅を採用する ほうが望ましいことが多い。

 次に、図13A及び13Bを用いて、領域ごとに� ��畳範囲内の合成比率を変える場合について� ��明する。図13A及び13Bは、例として、重畳幅� ��中央で重畳範囲を2つの領域に分ける場合を 示す。図13A及び13Bのグラフの横軸は共通領域 の境界からの距離を示し、縦軸は合成比率を 示す。共通領域内で画像P2を用いる場合、画� ��P2側の境界がつなぎ合わせ後の画像上に表� �る。この場合、図13Aに示すように、共通領� �の境界(画像P2側の境界)から重畳幅の中央直� ��まで、画像P1の合成比率を1.0(100%)、画像P2の 合成比率を0%とする。そして、重畳幅の中央� ��ら重畳幅の終端直前まで画像P1の合成比率� �0.5(50%)、画像P2の合成比率を0.5(50%)とする。� �後に、重畳幅の終端で画像P1の合成比率を0%� ��画像P2の合成比率を1.0(100%)とする。

 一方、共通領域内で画像P1を用いる場合� �画像P1側の境界がつなぎ合わせ後の画像上に 表れる。この場合、図13Bに示すように、図13A の場合と逆に、共通領域の境界(画像P2側の境 界)から重畳幅の終端まで、画像P2の合成比率 は1.0(100%)から0.5(50%)を経て0%まで段階的に変� �し、画像P2の合成比率は0%から0.5を経て1.0(100 %)まで段階的に変化する。

 このように合成部160が合成比率を領域毎� ��段階的に変化させて画像P1及びP2を重畳させ ることによっても、合成領域でなめらかに画 像P1と画像P2をつなげることが可能になる。� �た、この場合、先に説明した画素ごとに合� �比率を変化させる場合と比べて処理が簡単� �なるため、処理装置にかかる負荷が軽くな� �という利点がある。

 次に、本発明の第3実施形態にかかわる画 像合成装置について説明する。第3実施形態� �かかわる画像合成装置300は、第1実施形態に� ��わる画像合成装置100の機能に加え、さらに� ��必要に応じて、画像をつなぎ合わせる前に� ��像P1及びP2の一方又は両方の画像を変換する 機能を有する。図14は、本発明の第3実施形態 にかかわる画像合成装置300の構成図である。 図14に示すように、画像合成装置300は画像合� ��装置100を構成する各部に加え、さらに、画� ��変換部310を備える。

 画像変換部310は、相関算出部130が算出し� ��相関度が小さい、つまり、画像間のギャッ� ��が大きい場合、ギャップが小さくなるよう� ��それらの画像の一方又は両方の画像を変換� ��る。そして、相関算出部130は、変換後の複� ��の画像について相関度を算出する。

 以下、図15を用いて、画像合成装置300が� �う処理の流れについて説明する。図15に示す ように、画像合成装置300は、画像合成装置100 が行う処理のステップS3とS4の間に、さらに� �テップS30からS32の処理が加わる。以下、ス� �ップS30からS32について説明する。

 ステップS3で、相関算出部130が相関度を� �出すると、画像変換部310は、その相関度を� �定の値と比較する(ステップS30)。所定の値よ り相関度が低い、つまり、画像間のギャップ が大きい場合(ステップS30:No)、画像変換部310� ��、画像間のギャップが小さくなるように複� ��の画像の一方又は両方を変換する(ステップ S31)。

 所定の値より相関度が高い場合(ステップ S30:Yes)、画像変換部310は、画像変換を行わず� ��相関度は重畳領域決定部140に出力され、以� ��ステップS4以降が行われる。

 ステップS31の画像変換が行われた場合、� ��関算出部130は、変換された画像について相� ��度を算出する(ステップS32)。算出された相� �度は、重畳領域決定部140に出力され、以後� �テップS4以降が行われる。

 なお、ステップS32の後、ステップS30に戻� ��こととしてもよい。この場合、画像変換部3 10は、画像変換後の相関度が所定の値より小� ��くなるまで画像変換を繰り返すことになる( 不図示)。その他の処理は、画像合成装置100� �同様である。

 以下、画像変換部310による画像変換につ� ��て説明する。画像変換部310は、相関度が所� ��の値よりも小さい場合、画像間のギャップ� ��大きいと判定し、ギャップが小さくなるよ� ��に画像を変換する。この変換は、画像全体� ��ついて行うこととしてもよいし、つなぎ合� ��せの境界近傍の領域について行うこととし� ��もよい。また、変換は、つなぎ合わせる2つ の画像の両方について行うこととしてもよい し、一方について行うこととしてもよい。ま た、境界近傍を変換する場合、その領域は、 境界近傍をはさんで2つの画像をまたぐ領域� �あってもよいし、一方の画像の境界近傍で� �ってもよい。

 図16を用いて、境界近傍に変換を加える� �合において、変換が加えられる領域につい� �説明する。説明を簡単にするために、左右� �向に互いにずれた画像P1及びP2をつなぎ合わ� ��ると仮定するが、2次元方向にずれている場 合も基本的な考え方は同様である。なお、図 16において、画像P2が画像P1よりも小さく描か れているが、これは説明のためであり、実際 は2画像は同じ大きさであってもよい。

 図16の上側部分には、共通領域内で画像P2 を用いる場合に画像P1及びP2のつなぎ合わせ� �分が示される。図16の下側部分は、図16の上� ��部分に対応している。図16の下側部分は、� �像P2側の境界からの距離と合成比率の関係を 示すグラフである。図16グラフの横軸は画像P 2側の境界からの距離を示し、縦軸はY値を示� ��。図16に示すように、画像変換する領域は� �境界から所定距離内にある領域である。こ� �領域は、相関度を算出する対象となる領域� �同じであってもよいが、その領域より広く� �もよい。また、画像変換する領域は、重畳� �域より広くしてもよい。画像の大きさにも� �るが、画像変換する領域は、画像全体の幅� �数パーセントから数十パーセントの間とし� �もよい。

 以下、例として、明るさに基づいて画像� ��換する場合について説明する。ここではYCbC r空間又はYPbPr色空間を例として用いる。これ らの色空間では明るさをY値で示す。

 境界近傍での画像P1のY値の平均は、画像P 2のY値の平均より高いと仮定すると(つまり、 画像P1の方がP2よりも明るい)、画像変換部310� ��、画像P1の境界近傍を暗くなるように補正� �、逆に、画像P2の境界近傍を明るくなるよう に補正する。その結果、図15の下側で示すよ� ��に、画像変換する領域の画像P1側の終端か� �画像P2側の終端まで、明るさはなだらかに減 少することになる。

 以下、画像変換部310による画像変換につ� ��て詳しく説明する。Y値に基づいた画像変換 の場合、画像変換部310に、図17に示す複数の� ��ンマ補正カーブ及び図18に示すY値の差分と� ��ンマ補正カーブの対照表をあたえることと� ��てもよい。画像変換部310は、相関算出部130� ��算出した相関度が所定値よりも低いと判定� ��た場合、画像P1のY値の平均と画像P2のY値の� ��均の差分を算出し、その差分に対応するガ� ��マ補正カーブを、図18に示す対照表に基づ� �て図17に示す複数のガンマ補正カーブから選 択する。なお、差分に対応するカーブがない 場合、画像変換部310は、図17及び図18に基づ� �て、その差分に対応するカーブを生成する� �ととしてもよい。続いて、画像変換部310は� �そのガンマ補正カーブに基づいて画像P1及P2� ��一方又は両方を変換することとしてもよい� ��その後、画像変換部310は画像変換後の画像P 1及び/又はP2を再度、相関算出部130に出力す� �。相関算出部130は、変換後の画像P1と画像P2� ��ついて相関度を算出し、重畳領域決定部140� ��、その相関度に基づいて重畳幅を決定する� ��

 なお、ガンマ補正後の画像間の相関度が� ��定値より大きくなるまで、画像変換部310が� ��像変換を繰り返し行うこととしてもよい。� ��の場合、相関算出部130が、変換後の画像P1� �画像P2について相関度を算出し、その相関度 を画像変換部310に戻し、画像変換部310は、画 像変換の要否を判定するためにその相関度を 再び所定値と比較する。

 図11Aから図11C及び図12Aから図12Cに、画像� ��のギャップが小さくなるように画像P1及びP2 に画像変換をした場合の境界近傍を示す。例 えば、図11Aは、画像P2が画像P1よりとても暗� �場合における、境界近傍を示す。この場合� �境界によく目立つ断裂が生じている。図11B� �、画像P2を若干明るくなるように補正し、画 像P1を若干暗くなるように補正した結果を示� ��。重畳幅が小さいことも相まって、境界に� ��じた断裂はまだ残っている。図11Cに、画像P 2をさらに明るくなるように補正し、画像P1を さらに暗くなるように補正した結果を示す。 今回は重畳幅が広げられたことも相まって、 境界に生じた断裂はわかりにくくなっている 。

 図12Aから図12Cは、画像間のギャップが図1 1に示す場合よりずっと小さい場合に、図11と 同様な変換を行った結果を示す。この場合、 図11Bに示すように、1回の画像変換で十分に� �界に生じた断裂が目立たなくなっているた� �、図11Cに示すような2回目の画像変換を行わ� ��いこととしてもよい。  

 次に、図19を用いて、多くの画像をつな� �合わせる場合について説明する。図19に、例 として4つの画像をつなぎ合わせた場合の重� �領域と、左の画像と比べた右の画像の明る� �の度合いを示す。なお、この図では重畳幅� �ほぼ同じ幅となっているが、画像の相関度� �応じて重畳幅が適宜変更されることはいう� �でもない。

 例えば、連続撮影のとき、室内では被写� ��に対する光源の位置の変化や、戸外では雲� ��切れ目や方角の変化によって、画像の全体� ��明るさが画像ごとに異なることがある。図1 9では、一番左の画像の明るさよりその右隣� �画像は明るく、さらにその右隣の画像はも� �と明るいとする。このような場合に、画像� �換部310が画像間のギャップを小さくなるよ� �に画像全体を変換すると仮定すると、画像� �明るくするような変換が続くことになる。� �の結果、2枚目の画像、3枚目の画像と右につ ないでいくにつれ、画像がだんだん白っぽく なってしまうことになる。

 しかし、図19に示すように、変換する領� �を画像をつなぎ合わた境界近傍に限定すれ� �、このような問題を回避しつつも、つなぎ� �わせの境界付近の断裂を目立たなくするこ� �が可能となる。

 本発明に係わる画像合成装置100、200及び3 00はさまざまな形で実現可能である。以下、� ��発明に係わる画像合成装置100、200及び300の� ��現形態について説明する。

 画像合成装置100、200及び300は、コンピュ� ��タを用いて実現可能である。コンピュータ( 不図示)は、少なくともCPU(Central Processing Unit  、プロセッサ)、メモリ及び入出力インタフ ェースを備え、これらは互いにバスを介して 接続される。入出力インターフェースとして 、例えば、液晶パネル、タッチパネル、種々 のボタン、ダイヤル等が挙げられる。

 画像合成装置100、200及び300を、コンピュ� ��タを用いて実現するために、まず画像合成� ��置を構成する各部によって行われる処理を� ��ロセッサに行わせるためのプログラムをメ� ��リに格納する。そして、プロセッサが、メ� ��リを利用してそのプログラムを実行するこ� ��により、画像合成装置100、200及び300が実現� ��れる。

 さらに、この画像合成装置はさまざまな装� ��に搭載可能である。搭載する装置の例とし� ��、例えば、スチルカメラ及びビデオカメラ� ��ような画像撮影装置等が上げられる。
 例として画像撮影装置に搭載する場合につ� ��て説明する。画像撮影装置は、多くの場合� ��レンズ、撮像素子、コントローラ(非汎用プ ロセッサ)、ディスプレイ、メモリ、入出力� �ンターフェース、及び補助記憶装置を備え� �。レンズは被写体を撮像素子上に結像させ� �。撮像素子は結像された画像を電子信号に� �換してコントローラに出力する。コントロ� �ラはメモリ、記憶装置、インターフェース� �びディスプレイを制御する。そして、画像� �成装置を構成する各部によって行われる処� �をコントローラに行わせるためのプログラ� �をメモリに格納し、コントローラがこのプ� �グラムをメモリから読み出して実行する。� �れにより、画像合成装置を搭載する画像撮� �装置を実現する。

 さらに、画像合成装置を構成する各部に� ��って行われる処理を各種インターフェース� ��行わせるように制御するコンピュータ・チ� ��プ(マイクロコントローラ)を作成し、その� �ンピュータ・チップが画像撮影装置を構成� �る各種機器を制御することにより、画像合� �装置を搭載する画像撮影装置を実現するこ� �としてもよい。

 また、画像合成装置を構成する各部によ� ��て行われる処理をプロセッサに行わせるた� ��のプログラムをメモリ等に書き込んだ状態� ��画像撮影装置に組み込む(ファームウェア)� �とにより、画像合成装置を搭載する画像撮� �装置を実現することとしてもよい。

 また、さらに、画像合成装置100、200及び300� ��有する画像撮影装置を備える装置として、P DA(Personal Digital Assistant)、パソコン等が挙げ� ��れる。
 以下、プログラムのローディングについて� ��明する。上述の実施形態において説明した� ��像合成装置の機能をコンピュータ、画像撮� ��装置、並びに画像撮影装置を有する携帯電� ��及びPDA等に実現させるプログラムは、さま� ��まな方法で取得可能である。

 例えば、そのプログラムを、コンピュー� ��等の画像合成装置を実現させるべき装置(プ ロセッサを含む装置)に接続された外部記憶� �置に保存しておき、必要に応じてこのプロ� �ラムをメモリにロードさせることとしても� �い。

 また、コンピュータで読み取り可能な記� ��媒体に予め記憶させ、その記録媒体からプ� ��グラムを画像合成装置を実現させるべき装� ��に読み出させて、そのコンピュータのメモ� ��や外部記憶装置に一旦格納させ、この格納� ��れたプログラムをそのコンピュータの有す� ��CPUに読み出させて実行させるように構成す� ��ばよい。

 また、このプラグラムをプログラム・サ� ��バが備える記憶装置に格納させ、画像合成� ��置を実現するべき装置に、入力インターフ� ��ース及び通信回線を介してダウンロードさ� ��ることとしてもよい。この場合、例えば、� ��ログラム・サーバは、上述のプログラムを� ��現するプログラム・データをプログラム・� ��ータ・シグナルに変換し、モデムを用いて� ��換されたプログラム・データ・シグナルを� ��調することにより伝送信号を得て、得られ� ��伝送信号を通信回線に出力する。プログラ� ��を受信する装置では、モデムを用いて受信� ��た伝送信号を復調することにより、プログ� ��ム・データ・シグナルを得て、得られたプ� ��グラム・データ・シグナルを変換すること� ��より、プログラム・データを得る。

 なお、送信側のコンピュータと受信側の� ��ンピュータの間を接続する通信回線(伝送媒 体)がデジタル回線の場合、プログラム・デ� �タ・シグナルを通信することも可能である� �また、プログラムを送信するコンピュータ� �、プログラムをダウンロードするコンピュ� �タとの間に、電話局等のコンピュータが介� �しても良い。

 以上、本発明の幾つかの実施形態につい� ��説明したが、これらの実施形態は任意に組� ��合わせ可能である。また、本発明の主題を� ��明するための記述及び図面に基づいて、当� ��者がなしうるその他の変更は、本発明主題� ��よびそれらの均等物に該当する。