以下、本発明の実施形態を図面を参照し� ��がら説明する。これらの実施形態は、当業� ��が実施できるように十分詳細に説明されて� ��るが、その他の実施形態も利用可能である� ��例えば、実施形態に対する構成的な、論理� ��な、電気的な変更は、本発明の主題の範囲� ��ら逸脱することなくなされ得る。故に、以� ��の説明は、限定的に捉えるべきではなく、� ��明の主題の範囲は、特許請求の範囲および� ��れらの法的均等物によって画定されるべき� ��ある。

 さらに、ここに説明されているシステム� ��機能は、ソフトウェア、ハードウェア、フ� ��ームウェア、またはそれらの任意の組合せ� ��よって実現することができる。ここに提示� ��れている例は、ユニットごとに一つもしく� ��それ以上の機能を組み合わせることができ� ��が、機能の別の組み合わせも本発明の主題� ��範囲を逸脱することなく実現化することが� ��きる。

 図1は、本発明の原理図である。図1に示� �ように、本発明にかかわる画像合成装置10は 、複数の画像間の一致又は類似の程度を示す 一致度を算出する一致度算出手段11、複数の� ��像を重ね合わせる重ね合わせのパターンを� ��定する上下決定手段12(重ね合わせパターン� ��定手段)及び決定されたパターンに基づいて 複数の画像を重ね合わせる重ね合わせ手段13� ��備える。

 まず、一致度算出手段11に複数の画像が� �力される。一致度算出手段11は、入力された 複数の画像間の所定の領域内での一致の程度 を示す一致度を算出する。より具体的には、 一致度算出手段11は、複数の画像を重ね合わ� ��る境界近傍の領域(一致度算出領域という。 後に詳しく説明する。)内において対応する� �置にある画素をおのおのの画像から取得し� �それらの画素に基づいて、一致度算出領域� �の複数の画像の一致度を算出する。

 一致度とは、その領域での複数の画像間� ��一致又は類似の程度(度合い)を示し、画素� �統計量に基づいて算出される値である。一� �度が低いことは、その領域で明るさや色等� �画像間で大きく異なっていることを意味す� �。ここで、画素の統計量として、例として� �対応する位置にある画素の画素値の差分が� �定値より上である画素の数、画素値の差分� �絶対値の累計値、所定の領域内における各� �の画像の明るさの平均の差分、などが挙げ� �れる。

 また、所定の領域とは、より具体的には� ��複数の画像を重ね合わせる境界近傍の領域� ��ある。言い換えると、複数の画像が重なり� ��う共通領域の外周から所定幅だけ共通領域� ��に入った領域、または重ね合わせの境界上� ��いう。

 この一致度によって、その領域に動いて� ��る被写体があるか否か判断することができ� ��。例えば、動きのない背景となっている領� ��の場合、画像間で互いに対応する位置にあ� ��画素の明るさや色が大きく変化することは� ��まりないため、その領域の一致度は高くな� ��。したがって、一致度が高い場合、その領� ��は背景となっていると推定できる。逆に、� ��いている被写体が含まれる領域の場合、画� ��間で被写体が動いた部分にある画素は、画� ��間で明るさや色が大きく異なるため、その� ��域の一致度は低くなる。したがって、一致� ��が低い場合、その領域に動いている被写体� ��含まれていると推定できる。

 上下決定手段12(重ね合わせパターン決定手� ��)は、一致度算出手段11が算出した一致度に� ��づいて、複数の画像を重ね合わせるパター� ��を決定する。
 より具体的には、上下決定手段12は、複数� �画像を重ね合わせる際に、一致度が高い境� �近傍が重ね合わせ後の画像上に出るような� �ターンを重ね合わせパターンとして決定す� �。言い換えると上下決定手段12は、一致度に 基づいて、複数の画像が重なる領域において 、複数の画像のうちいずれかの画像が主とし て用いられるように、重ね合わせパターンを 決定する。

 重ね合わせ手段13は、上下決定手段12が決 定した重ね合わせパターンに基づいて複数の 画像を重ね合わせる。この結果、一致度が低 い境界近傍が重ね合わせ後の画像の下に隠れ る。

 上述のように、画像を重ね合わせる境界( つまり共通領域の境界)の近傍での画像間の� �致度が高い場合、それらの画像のその領域� �は動いている被写体が含まれていない可能� �が高い。ゆえに、一致度が高い境界近傍が� �ね合わせ後の画像上に出るように画像を重� �合わせると、その共通領域には動いている� �写体が含まれないので多重化の問題が生じ� �くいことになる。また、境界近傍に動いて� �る被写体が含まれない画像の場合でも、一� �度が高い境界近傍が重ね合わせ後の画像上� �出るように画像を重ね合わせると、境界近� �の不自然な断裂が生じにくくなる。

 ここで、重ね合わせパターンを決定する� ��、複数の画像が重なる領域において主とし� ��用いられる画像も同時に決定される。つま� ��、上下決定手段12は、複数の画像が重なる� �域において主として用いられるべき画像を� �定するともいえる。

 以上のように、本発明に係わる画像合成� ��置10は、共通領域の境界近傍の領域におけ� �複数の画像の一致度を算出し、一致度が高� �境界近傍の領域が重ね合わせ後の画像上に� �るように複数の画像を重ね合わせて合成す� �。これにより、被写体が含まれる画像の場� �、被写体の多重化を防ぐことができる。ま� �、被写体が含まれない画像の場合、画像を� �ね合わせた境界に不自然な断裂が生じるこ� �を防ぐことができる。

 さらに、本発明に係わる画像合成装置10� �よれば、画像を複数の領域に分割して領域� �に重ね合わせる処理や、画像内で被写体と� �景とを分離する処理のような作業量の多い� �理は不要である。そして、画像合成装置10の 一致度の算出処理の作業量は少ないため、従 来と比べてプロセッサにかかる負荷が少なく なる。

 さらに、本発明に係わる画像合成装置10� �実現するために、従来の画像合成装置とく� �べて大幅な回路規模の増加は必要ないため� �画像合成装置10を比較的安価に実現すること が可能である。

 また、画像合成装置10は、上記構成に加� �、重ね合わせる境界近傍の領域で前記複数� �画像を重畳させる重畳手段を更に備えるこ� �としてもよい。画像合成装置10は、一致度に 基づいて複数の画像が重なり合う境界が目立 たないようなパターンで画像を重ね合わせる が、そのまま重ね合わせると、目立たないな がらも画像のつなぎ目ができる。重畳手段が 境界近傍の領域で複数の画像を重畳させるこ とにより、そのつなぎ目が一層目立たなくな る。なお、重畳処理が行われる領域は、具体 的には、複数の画像を重ね合わせた場合に重 ね合わせ後の画像上にでる境界近傍の領域で ある。

 また、画像合成装置10は、更に、上記構� �に加え、複数の画像のうち少なくとも1つを� ��影する撮影装置に対し、先に撮影された画� ��の位置座標とその画像とのずれ量とに基づ� ��て補助情報を作成して出力する撮影補助手� ��を更に備えることとしてもよい。

 これにより、撮影者は決められたずれ幅で� ��像を容易に撮影することが可能となる。
 また、画像合成装置10は、上記構成に加え� �複数の画像のずれ量を算出するずれ量算出� �段と、ずれ量に基づいて、ずれ量が少なく� �るように前記複数の画像のうち少なくとも1� ��の画像を変換する画像変換手段とを更に備� ��、変換後に、前記複数の画像を重ね合わせ� ��こととしてもよい。

 これにより、予め位置合わせがされていな� ��複数の画像が入力された場合でも、複数の� ��像の位置合わせをした後、重ね合わせるこ� ��が可能となる。
 また、画像合成装置10は、画像撮影装置に� �えられることとしてもよい。

 また、画像合成装置10を有する画像撮影装� �を、携帯電話、PDA(Personal Digital Assistant)、� �ソコン等に備えることとしてもよい。
 また、画像合成装置10を構成する各手段に� �り行われる処理の過程からなる方法も本発� �に係わるものであり、この方法によっても� �述の目的を達成することが可能である。

 また、画像合成装置10を構成する各手段� �より行なわれる機能と同様の制御をプロセ� �サに行なわせるプログラム、そのプログラ� �を記録した記録媒体及びプログラム・プロ� �クトも本発明に係わるものである。このプ� �グラムをプロセッサに読み出させて、その� �ログラムに基づいてプロセッサに、それに� �続された各種インターフェース等を制御さ� �ることによっても、上述の目的を達成する� �とが可能である。

 以下、2つの画像を重ね合わせると仮定し て説明するが、それは説明をわかりやすくす るためであり、画像は2以上であってもよい� �さらに、画像を四辺形であると仮定して説� �するが、画像の形状は四辺形以外の形状で� �ってもよい。

 まず、本発明の第1実施形態にかかわる画 像合成装置について説明する。第1実施形態� �係わる画像合成装置100は、予め位置決めさ� �た画像P1及び画像P2を重ね合わせて合成する� ��

 図2は、第1実施形態にかかわる画像合成� �置100の構成図である。図2に示すように、画� ��合成装置100は、一致度算出部110、上下決定� ��150及び重ね合わせ部160を備える。

 一致度算出部110には、予め位置合わせさ� ��た画像P1及びP2が入力される。一致度算出部 110は、画像P1及びP2から、一致度算出領域内� �互いに対応する位置にある画素を取得し、� �の一致度算出領域について一致度を算出す� �。なお、一致度算出領域は、通常、複数で� �るため、一致度算出部110はそれぞれの一致� �算出領域について一致度を算出する。

 上下決定部150は、一致度算出部によって� ��出された一致度に基づいて、画像P1及びP2の 重ね合わせ方を決定する。より具体的には、 画像P1及びP2のうちいずれが重ね合わせ後の� �像上に出るようにして画像P1及びP2を重ね合� ��せるのか、決定する。重ね合わせ部160は、� ��下決定部150の決定に基づいて、画像P1及びP2 を重ね合わせて合成する。合成された画像は 出力される。

 以下、図3を用いて画像合成装置100が行う処 理の流れについて説明する。
 まず、画像合成装置100に画像P1及びP2が入力 されると(ステップS1)、一致度算出部110は複� �の一致度算出領域のそれぞれについて一致� �を算出する(ステップS2)。続いて、上下決定� ��150は、複数の一致度算出領域のうち、どの� ��域の一致度が高いか判定し(ステップS3)、そ の結果に基づいて、画像P1及びP2の重ね合わ� �のパターンを決定する(ステップS4及びステ� �プS5)。重ね合わせ部160は、上下決定部150の� �定に基づいて画像P1及びP2を重ね合わせて合� ��する(ステップS6)。

 次に、一致度算出部110が一致度を算出す� ��領域である一致度算出領域について説明す� ��。まず、画像P1及びP2が上下方向又は水平方 向のいずれか1次元方向にずれている場合に� �いて説明する。

 画像P1及びP2が1次元方向にずれている場� �、共通領域は、画像P1の外周のうちの1辺(画� ��P1側の境界という)、画像P2の外周のうちの1� ��(画像P2側の境界という)、及び画像P1及びP2� �辺の一部が重ね合わさって形成された2辺に� ��って構成される四辺形となる。この場合、� ��致度算出領域は2つある。1つは、共通領域� �画像P1側の境界からある画素数分(ある幅分)� ��け共通領域内に入った領域であり、1つは画 像P2側の境界からある画素数分(ある幅分)だ� �共通領域内に入った領域である。

 図4を用いて画像P1及びP2が2次元方向にず� ��ている場合の一致度算出領域について説明� ��る。図4に、画像P1に対して画像P2が右下に� �れた場合の共通領域と一致度算出領域を示� �。画像P1とP2が重なり合った領域が共通領域� ��ある。共通領域の外周、つまり境界を形成� ��る4辺のうち2辺は、画像P1の外周を形成する 四辺形の隣り合う2辺の一部であり、共通領� �の境界の残りの2辺は画像P2の外周を形成す� �四辺形の隣り合う2辺の一部である。以下、� ��者を画像P1側の境界といい、後者を画像P2側 の境界という。

 一致度算出領域は2つあり、1つが画像P1側 の境界からある画素数分(ある幅分)だけ共通� ��域内に入った領域にある、P1側の一致度算� �領域M1である。他の1つが画像P2側の境界から ある画素数分(ある幅分)だけ共通領域内に入� ��た領域にある、P2側の一致度算出領域M2であ る。

 図4に示すように、一致度算出領域M1及びM 2は共通領域内にあり、共通領域の4つの角の� ��ち向かい合う2角付近の鉤状の領域である。 共通領域内で斜線がされた領域については、 一致度を算出する必要はない。斜線がされた 領域のうち、共通領域の中心付近の領域R1に� ��いては、この部分は画像の重ね合わせの境� ��から離れているからである。斜線がされた� ��域のうち、共通領域の角部付近の領域R2及� �R3については、この部分について一致度を算 出しても、一致度算出領域M1及びM2で同じ結� �が得られるため、画像の上下を決定するた� �にはあまり役に立たないからである。

 以下、一致度算出部110についてより詳し� ��説明する。一致度算出部110は一致度を算出� ��るが、その方法は幾つか考えられる。例え� ��、対応する位置にある2画素の画素値の差分 、画像P1及びP2の明るさの統計量、及び・又� �境界での画像の連続性に基づいて一致度を� �出することとしてもよい。なお、一致度の� �出は厳密である必要はないので、例えば縦� �1/2にサブサンプリングした縮小画像につい� �一致度を算出することとしても良い。

 まず、例として、画素値の差分に基づい� ��一致度を算出する場合について説明する。� ��5に、画素値の差分に基づいて一致度を算出 する一致度算出部110の構成例を示す。図5に� �すように、一致度算出部110は、境界領域選� �部111、差分算出部112-1及び112-2、比較部113-1� �び113-2、カウンタ114-1及び114-2並びに閾値格� �部115を備える。

 差分算出部112-1、比較部113-1及びカウンタ 114-1は、一致度算出領域M1について一致度を� �出し、差分算出部112-2、比較部113-2、カウン� ��114-2は、一致度算出領域M2について一致度を 算出する。前者を画像P1側算出部といい、後� ��を画像P2側算出部ということとする。両者� �基本的に同じ構成である。

 以下、一致度算出部110が行う処理の大まか� ��流れについて説明する。この処理は、図3の ステップS2に相当する。
 画像P1及びP2が境界領域選択部111に入力され る。境界領域選択部111は、入力された画素が 、一致度算出領域M1内にあるか、一致度算出� ��域M2内にあるか、それ以外の領域にあるの� �、各画素の画像P1又はP2での位置を示す座標� ��報に基づいて判定する。境界領域選択部111� ��、画素がP1側の一致度算出領域M1内にある場 合はP1側算出部にその画素を出力し、P2側の� �域M2内にある場合はP2側にその画素を出力し� ��領域M1及びM2のいずれの領域にもない場合は 、その画素は出力せずに他の画素についての 処理に移る。境界領域選択部111は、入力され た画素の全てについてこの処理を行う。

 以下、P1側に注目して説明するが、P2側も 基本的に同じ処理をする。まず、画素が入力 されると、差分算出部112-1(P2側では112-2)は画� ��P1及びP2で対応する位置にある2つの画素の� �分を算出し、その差分の絶対値を比較部113-1 (M2側では113-2)に出力する。比較部113-1(P2側で� ��113-2)は、差分の絶対値を閾値格納部115に格� ��された閾値と比較する。差分の絶対値が閾� ��よりも大きい場合、カウンタ114-1(P2側では11 4-2)は、カウント値を1インクリメントする。P 1側及びP2側で入力された画像についてカウン トが終了すると、カウンタ114-1及び114-2はカ� �ント結果に基づく一致度を比較部116に出力� �る。この場合、一致度は(カウント値+1)の逆� ��として得られる。

 上下決定部150の一部を構成する比較部116� ��、P1側で算出された一致度(この場合はカウ� ��ト値)と、P2側で算出された一致度を比較し� ��いずれが高いか判定し、判定結果を重ね合� ��せ部160に判定結果を出力する。

 以下、図6を用いて、一致度を算出する処理 の流れを詳しく説明する。以下の説明におい て、P1側について説明する。
 まず、差分算出部112-1は画素の入力を待つ(� ��テップS10)。差分算出部112-1は画素の入力が� ��ると(ステップS10:Yes)、画像P1及びP2の対応す る位置にある画素の画素値の差分を算出する (ステップS11)。続いて、比較部113-1は閾値を� �値格納部115から取得し(ステップS12)、その閾 値より差分が大きいか否か判定する(ステッ� �S13)。差分の方が大きいと判定した場合(ステ ップS13:Yes)、カウンタ114-1はカウント値を1イ� ��クリメントし(ステップS14)、ステップS10に� �る。所定時間待っても画素の入力がない場� �(ステップS10:No)、カウンタ114-1はカウントを� ��了する。そして、カウンタ114-1は、(カウン� ��値+1)の逆数、つまりカウント値に1を足した 値の逆数を一致度として比較部116に出力して (ステップS15)、処理を終了する。P2側の処理� �あるステップS20からS25は、P1側の処理である ステップS10からS15と基本的に同じであるため 、説明を省略する。この後、比較部116は、P1� ��からの一致度とP2側からの一致度を比較す� �ことになる。

 ところで、上記構成ではP1側とP2側で個別 の処理ブロックを備えるが、カウンタ114-1、1 14-2のみ2つ持ち、それ以外の各部をP1側とP2側 で共有化するように構成しても良い。

 なお、画素値の差が閾値より大きい画素� ��数をカウントする場合について説明したが� ��画像P1及び画像P2で対応する位置にある画素 の画素値の差(絶対値)の累積値を算出し、そ� ��累積値の逆数を一致度としても良い。この� ��合も、画素値の差が大きい画素が少ないほ� ��一致度が高くなる。

 次に、画像の明るさの統計量に基づいて� ��致度を算出する場合について説明する。こ� ��では、テレビ等でよく使われるYCbCr空間又� �YPbPr色空間を例として用いて説明する。これ らの色空間では明るさをY値で示す。なお、� �れは例示にすぎず、デバイスによってさま� �まな色空間があり、そのいずれの色空間に� �いても基本的に同様な方法で適用可能であ� �。

 図7に、画像の明るさの統計量に基づいて 一致度を算出する一致度算出部110の構成例を 示す。図7に示すように、一致度算出部110は� �境界領域選択部111、Y平均算出部117-1、117-2、 118-1及び118-2、差分算出部119-1及び119-2を備え� ��。

 Y平均算出部117-1、Y平均算出部118-1及び差� ��算出部119-1はP1側を構成し、Y平均算出部117-2 、Y平均算出部118-2及び差分算出部119-2はP2側� �構成する。両者は基本的に同じ構成である� �

 境界領域選択部111は、画像P1及びP2の入力 があると、画素の座標情報に基づいて、P1側� ��一致度算出領域M1内にある画素をP1側に出力 し、P2側の一致度算出領域M2内にある画素をP2 側に出力する。以下、P1側の各部について説� ��するが、P2側も基本的に同様である。

 境界領域選択部111からの画素のうち、画� ��P1の画素はY平均算出部117-1に入力され、画� �P2の画素はY平均算出部118-1に入力される。Y� �均算出部117-1は入力された画像P1の画素のY値 の平均値を算出して差分算出部119-1に出力し� ��Y平均算出部118-1は入力された画像P2の画素� �Y値の平均値を算出して差分算出部119-1に出� �する。差分算出部119-1は、画像P1の画素のY値 の平均値と画像P1の画素のY値の平均値の差分 を算出し、その差分の絶対値を一致度として 比較部116に出力する。なお、Y値の平均値を� �いる場合について説明したが、平均値では� �く、Y値の分散や偏差を用いることにしても� ��い。

 次に、境界の連続性に基づいて一致度を� ��出する場合について説明する。図8に、境界 の連続性に基づいて一致度を算出する一致度 算出部110の構成例を示す。図8に示すように� �一致度算出部110は、境界領域選択部111、差� �算出部120-1及び120-2並びに累積加算部121-1及� �121-2を備える。差分算出部120-1及び累積加算� ��121-1は画像P1側の一致度を算出し、差分算出 部120-2及び累積加算部121-1は画像P2側の一致度 を算出する。P1側とP2側は基本的に同じ装置� �より構成される。

 境界の連続性に基づいて一致度を算出す� ��場合、一致度算出部110は、一致度算出領域� ��の画素ではなく境界上の画素について一致� ��を算出する。この場合、境界領域選択部111� ��、入力された画像P1及びP2の画素の座標情報 に基づいて、画像P1側の境界上にあると判定� ��れた画素をP1側に出力し、画像P2側の境界上 にあると判定された画素をP2側に出力する。

 以下、P1側の各部について説明するが、P2側 も基本的に同様である。
 P1側の一致度は、画像P1及びP2のそれぞれに� ��いてP1側の境界上にある2つの画素の差分の� ��対値を累積加算することにより算出される� ��つまり、差分算出部120-1は、画像P1及びP2上� ��対応する位置にある2画素の画素値の差分を 算出する。累積加算部121-1は、差分算出部120- 1により算出された差分の絶対値を累積加算� �、画像P1側の境界上にある全ての画素につい ての処理が終了すると、累積加算の結果がP1� ��の一致度として比較部116へ出力される。

 以上のようにしてP1側及びP2側の一致度算 出領域(又はP1側及びP2側の境界)について一致 度が算出されると、その一致度に基づいて、 上下決定部150は、P1側の境界近傍及びP2側の� �界近傍のいずれを重ね合わせ後の画像上に� �るようにして画像P1及びP2を重ね合わせるか� ��定する。より具体的には、上下決定部150は� ��一致度算出部110によって算出された画像P1� �及び画像P2側の一致度を比較する。そして、 画像P1側の一致度が高いと判定した場合は、� ��像P1を画像P2の上に重ね合わせることを決定 し、画像P2側の一致度が高いと判定した場合� ��、画像P2を画像P1の上に重ね合わせることを 決定する。なお、画像P1側の一致度と画像P2� �の一致度が同じ場合、デフォルトとしてい� �れを上にするか予め決定することとしても� �いし、ユーザに決定させることとしてもよ� �。

 以下、画像P1及びP2を重ね合わせる場合の パターンについて説明する。まず、左右方向 又は上下方向の1次元方向にずれている2つの� ��像P1及びP2を重ね合わせる場合のパターンに ついて説明する。図9A及び9Bでは、図の向か� �て左右方向(1次元方向)に画像P1及びP2が互い� ��ずれている。このような画像P1及びP2を重ね 合わせる場合、画像P1が上に重なるのか、画� ��P2が上に重なるのか、2通りのパターンがあ� ��。

 まず、いずれのパターンでも、共通領域� ��外の領域では重ね合わせ前と同様に画像P1� �はP2のいずれかが用いられる。例えば、共通 領域以外の領域のうち、重ね合わせ前に画像 P1であった部分は重ね合わせ後の画像でも画� ��P1が用いられ、重ね合わせ前に画像P2であっ た部分は重ね合わせ後の画像でも画像P2が用� ��られる。

 共通領域については、画像P1及びP2のいず れが上に重なるパターンであるかによって、 用いられる画像が異なる。図9Aに示すように� ��画像P1が画像P2の上に重なる場合、共通領域 のP1側の境界が重ね合わせ後の画像上に出る� ��一方、P2側の境界は画像P1の下に隠される。 そして、共通領域内では画像P1が使用される� ��同様に、図9Bに示すように、画像P2が画像P1� ��上に重なる場合、画像P2側の境界が重ね合� �せ後の画像上に出て、画像P1側の境界は画像 P2の下に隠れる。共通領域内では画像P2が使� �される。

 次に、左右方向及び上下方向の2次元方向 にずれている2つの画像P1及びP2を重ね合わせ� ��場合のパターンについて説明する。この場� ��、重ね合わせのパターンは4通りある。図10� ��そのうち3通りを示す。図10Aから図10Cに、図 の向かって上下方向及び左右方向に2つの画� �がずれている場合の重ね合わせのパターン� �示す。

 図10A及び10Bは、画像P2が画像P1に対して、図 面に向かって右下にずれている場合の重ね合 わせの2パターンを示す。図10Aに示すように� �画像P2が画像P1の上に重なる場合、画像P2側� �境界が重ね合わせ後の画像上に出て、画像P1 側の境界は重ねあわせ後の画像の下に隠れる 。共通領域内では画像P2が使用される。逆に� ��図10Bに示すように、画像P1が画像P2の上に重 なる場合、画像P1側の境界が重ね合わせ後の� ��像上に出て、画像P2側の境界は重ねあわせ� �の画像の下に隠れる。そして共通領域内で� �画像P1が使用される。

 画像P2が画像P1に対して、図面に向かって右 上にずれている場合の重ね合わせも2パター� �ある。図10Cに示すように、画像P1がP2の上に� ��なる場合、画像P1側の境界が重ね合わせ後� �画像上に出る。そして共通領域内では画像P1 が使用される。画像P2がP1の上に重なる場合� �図は省略する。

 共通領域以外の領域については、1次元方 向に2画像がずれている場合と同様に、重ね� �わせ前に画像P1であった部分には画像P1が用� ��られ、重ね合わせ前に画像P2であった部分� �は画像P2が用いられる。

 以上のようにして上下決定部150によって� ��像P1及びP2のいずれを上にして重ね合わせる べきか決定されると、重ね合わせ部160は、そ の決定に基づいて画像P1と画像P2の何れかを� �にして画像P1及びP2を重ね合わせる。

 このように、画像合成装置100は、一致度� ��高い境界近傍が重ね合わせ後の画像上にで� ��ように複数の画像を重ね合わせる。その結� ��、重ね合わせで上になった境界近傍の領域� ��、重ねあわせ後の画像上に現れ、重ね合わ� ��で下になった境界近傍の領域は、重ねあわ� ��後の画像の下に隠れる。

 上述のように、一致度が高い場合、複数� ��画像のその境界近傍の領域(一致度算出領域 )には動いている被写体が含まれていない可� �性が高い。ゆえに、一致度が高い共通領域� �境界が外周となっている画像を上にして画� �を重ね合わせると、その共通領域には動い� �いる被写体が含まれる恐れが少ないため多� �化の問題が生じにくい。

 また、境界近傍の領域に動いている被写� ��が含まれていない場合であっても、一致度� ��高い場合、複数の画像のその境界近傍の領� ��は互いに似通っているため、一致度が高い� ��界近傍が外周となっている画像を上にして� ��像を重ね合わせると、重ねあわせ後の画像� ��境界に不自然な断裂ができるという問題が� ��じにくい。

 以下、図11及び図12を用いて、動きのある 被写体を含む2画像を重ね合わせる場合につ� �て説明する。図11に示すように、画像P1及びP 2には歩いている人物が被写体として撮影さ� �ている。人物は図11の向かって右から左に移 動しており、画像P1が画像P2より先に撮影さ� �たと仮定する。

 画像P1では、画像P1側の境界近傍の領域(� �の領域は一致度算出領域でもある)に人物が� ��まれている。一方、画像P2では、画像P1側の 境界近傍及び画像P2側の境界近傍の両方の領� ��に人物が含まれていない。この場合、一致� ��算出部110が算出する画像P2側の一致度算出� �域の一致度は、画像P1側の一致度算出領域の 一致度よりも高くなる。したがって、上下決 定部150は、画像P2を画像P1の上に重ねること� �決定し、重ね合わせ部160は、画像P1を画像P2� ��上に重ね合わせた画像を作成する。

 図12に、重ね合わせ部160が、図11の画像P1� ��びP2を重ね合わせて作成する画像を示す。� �12に示すように、画像P2を画像P1の上に重ね� �結果、画像P1側の境界近傍の領域に含まれて いた人物は画像P2の下に隠れている。逆に、� ��物の含まれていない画像P2側の境界近傍の� �域は画像P1の上に重ねられているが、この部 分には動きのある被写体は含まれていない。 そして、画像P2の共通領域外の領域に含まれ� ��いた人物が、重ねあわせ後の画像に表れて� ��る。このように、画像合成装置100によれば� ��重ねあわせ後の画像上での被写体の多重化� ��避けられる。

 次に、重ねあわせ部160による画像の重ね� ��わせの変形例について説明する。重ねあわ� ��部160は、画像P1及びP2を重ね合わせる際に、 上に重ねられた画像側の境界近傍に現れる断 裂を目立たなくするために、境界近傍の画像 P1及びP2を重畳させて合成する処理を行うこ� �としてもよい。以下、重ね合わせ部160の行� �処理について説明する前に、画像P1及びP2を� ��成するべき領域、つまり合成領域について� ��明する。

 まず、図9A及び9Bを用いて、左右方向又は 上下方向の1次元方向にずれている2つの画像P 1及びP2を重ね合わせる場合の合成領域につい て説明する。図9Aに示すように、画像P1が画� �P2の上に重なる場合、共通領域の画像P1側の� ��界からある画素数分(ある幅分)だけ共通領� �内に入った領域が、画像P1及びP2を合成する� ��き合成領域となる。同様に、図9Bに示すよ� �に、画像P2が画像P1の上に重なる場合、共通� ��域の画像P2側の境界からある画素数分だけ� �通領域内に入った領域が合成領域となる。

 次に、図10Aから10Cを用いて、左右方向及� ��上下方向の2次元方向にずれている画像P1及� ��P2を重ね合わせる場合の合成領域について� �明する。図10Aに示すように、画像P2が画像P1� ��上に重なる場合、画像P2側の境界からある� �素数分だけ共通領域内に入った領域(網掛け� ��れた領域)が合成領域となる。図に示すよう に、2画像が2次元方向にずれている場合、合� ��領域の形状は鉤状になる。なお、図10Aでは� ��画像P2が画像P1に対して右下にずれている場 合を示しているが、画像P1が画像P2に対して� �下にずれている場合も同様である。

 一方、図10B及び図10Cに示すように、画像P 1が画像P2の上に重なる場合、画像側の境界か らある画素数分だけ共通領域内に入った領域 (網掛けされた領域)が合成領域となる。

 なお、共通領域内にどれだけの画素数分� ��け入るのか、つまり合成領域の幅は、画像� ��体の大きさによって異なる。画像全体の幅� ��数パーセントから10数パーセント程度に相� �する長さ(画素数)を合成領域の幅としてもよ い。

 次に、図13を用いて、重ね合わせ部160が� �画像P1及びP2を合成する処理の流れについて� ��明する。この処理は、図3のステップS6に対� ��する。この説明では、重ね合わせ部160は、2 画像を重ね合わせた結果を不図示の出力手段 に出力すると仮定して説明する。

 まず、重ね合わせ部160には、上下決定部1 50による決定結果及び2画像が入力される。重 ね合わせ部160は、入力された2つの画像の画� �の座標情報に基づいて、ある座標が共通領� �内にあるか否か判定し(ステップS30)、共通領 域内にあると判定する場合(ステップS30:Yes)、 重ね合わせ部160は、さらにその座標が合成領 域内にあるのか否か判定する(ステップS31)。

 共通領域内にないと判定する場合(ステッ プS30:No)、その座標の画素を重ね合わせ後の� �標とともに出力する(ステップS33)。これによ り、重ね合わせ前に画像P1であった部分には� ��像P1が用いられ、重ね合わせ前に画像P2であ った部分には画像P2が用いられることになる� ��

 S31において、重ね合わせ部160が、その座� ��が合成領域内にあると判定する場合、(ステ ップS31:Yes)、重ね合わせ部160は、座標で互い� ��対応する画素を画像P1及びP2から取得し、そ れら2つの画素を重畳させる(ステップS34)。そ の後、重ね合わせ部160は、重畳の結果得られ た画素を重ね合わせ後のその画素の座標とと もに出力する。

 ステップS31で、座標が合成領域内にない� ��判定する場合(ステップS31:No)、重ね合わせ� �160は、さらに、座標情報と上下決定部150に� �る重ね合わせパターンの決定結果に基づい� �、重ね合わせ後に共通領域で画像P1が用いら れる場合には(ステップS32:Yes)、重ね合わせ部 160は重ね合わせ後の座標とともに、画像P1か� ��の画素を出力する(ステップS35)。あるいは� �重ね合わせ後に共通領域で画像P2が用いられ る場合には(ステップS32:No)、重ね合わせ部160� ��、重ね合わせ後の座標とともに画像P2から� �画素を出力する(ステップS36)。

 重ね合わせ部160は、入力された全ての画素� ��ついてこれらの処理を行うと(ステップS37)� �処理を終了する。
 ここで、重ね合わせ部160が画像P1及びP2を重 畳させて合成する場合に、2画像の合成比率� �、画像の境界からその画素までの距離に応� �て変化させることとしてもよい。図14に、画 像P1及びP2が左右方向にずれている場合に、� �像の重ね合わせの境界からの距離に対する� �像P1及びP2を合成する合成比率の変化の例を� ��す。なお、図14で画像P1より画像P2が小さく� ��現されているが、これは2画像が重なってい ることが分るようにするためであり、両者の 大きさが異なっている必要はない。

 図14では、画像P2が画像P1の上に重なって� ��るため、画像P2側の境界が重ねあわせ後の� �像上に出ている。この場合、画像P2側の境界 で画像P1とP2の合成比率を画像P1:画像P2=1:0と� �、合成領域の境界で合成比率を画像P1:画像P2 =0:1としてもよい。そして、画像P2側の境界か ら合成領域の境界までの間は、画像P1の合成� ��率を1から0に徐々に下げ、画像P2の合成比率 を0から1に徐々に上げることとしてもよい。� ��た、図14では、画像P1とP2の合成比率をリニ� ��に(一次関数的に)変化させる場合を示すが� �他の関数を用いることとしてもよい。

 図15A及び15Bを用いて、合成領域で画像P1� �びP2を重畳させて合成した結果について説明 する。図15A及び14Bに、画像P2が画像P1に対し� �右下にずれている場合の重ね合わせ結果を� �す。図15Aでは、画像P1が画像P2の上に重ねあ� ��されている。この場合、共通領域の画像P1� �の境界近傍が合成領域となっている。そし� �、画像P1側の境界での画像P2の合成比率は1か ら、合成領域の境界に近づくにつれ、0まで� �げられる。その結果、図15Aに示すように、� �い灰色で示される画像P2と白色で示される画 像P1の境界近傍の領域は、濃い灰色から薄い� ��色を経て白色まで徐々に変化する。このよ� ��に、重ね合わせ部160が、画像P1及びP2を重ね 合わせる際に、画像P1及びP2を重畳させて合� �するため、画像の境界近傍に現れる断裂を� �立たなくすることができる。

 図15Bでは、画像P2が画像P1の上に重ねあわ されている。この場合、図15Aとは逆に、共通 領域の画像P2側の境界近傍が合成領域となり� ��画像P2側の境界での画像P1の合成比率が1か� �、合成領域の境界に近づくにつれ、0まで下� ��られる。図15Bに示すように、白色で示され� ��画像P1と濃い灰色で示される画像P2の境界近 傍の領域は、白色から薄い灰色を経て濃い灰 色まで徐々に変化し、画像の境界が目立たな くなっている。

 このように、この変形例では、境界近傍� ��不自然な断裂が生じないように、重ね合わ� ��部160は境界近傍の領域で画像P1及びP2を重畳 させて合成する。画像合成装置100によれば、 画像P1及びP2を重畳する前に、一致度に基づ� �て共通領域で多重化の問題が生じにくいよ� �に画像P1及びP2のいずれかを上にして2画像を 重ね合わせるのか決定している。そして、重 ね合わせ部160は、その決定に基づいて2画像� �重ね合わせてから画像を重ね合わせた境界� �傍の画像を重畳させる。したがって、画像� �成装置100によれば、境界近傍の画像を重畳� �せても、多重化の問題が避けることができ� �。

 次に、第2実施形態に係わる画像合成装置 200について説明する。第2実施形態にかかわ� �画像合成装置200は、予め定められた幅だけ� �置がずらされて撮影された複数の静止画像� �重ね合わせて合成する。予め定められた幅� �けずらすために、撮影装置に回転可能な軸� �備え付け、その軸を利用して撮影装置を一� �角度回転させることとしてもよいし、撮影� �が体を回転させることとしてもよい。

 その際、画像合成装置200は、画像合成装� ��に接続された撮影装置に、先に撮影された� ��像に対して予め定められた幅だけずらして� ��の画像を撮影するための補助情報を出力す� ��。なお、画像合成装置200と撮影装置とに互� ��に通信する機能を与え、補助情報を画像合� ��装置200から撮影装置に送信することとして� ��よい。また、撮影装置としてスチルカメラ� ��びビデオカメラが考えられる。さらに、そ� ��撮影装置は、携帯電話やPDA(Personal Digital As sistant)、パソコン等に備えられることとして� ��よい。

 図16に、撮影装置に補助情報を出力又は� �信する機能を有する画像合成装置200の構成� �示す。図16に示すように、画像合成装置200は 、ずれ量格納部210、撮影補助部220、一致度算 出部110、上下決定部150及び重ね合わせ部160を 備える。

 ずれ量格納部210は、ずれ量として予め定め� ��れた幅を格納する。このずれ量は、ユーザ� ��設定させることとしてもよいし、装置の製� ��当初から設定することとしてもよい。
 撮影補助部220は、先に撮影された画像(1枚� �の画像)及びずれ量に基づいて撮影装置のフ� ��インダ上に、1枚目の画像の端及びずれ量と して予め定められた幅を示すための補助情報 を作成し、その補助情報を撮影装置に出力又 は送信する。

 撮影装置は、補助情報にもとづいて、1枚 目の画像の端及びずれ量を示す線又は枠を、 撮影対象が出力されたファインダ上に重畳さ せる。撮影者は2枚目以降を撮影する際に、� �ァインダ上に重畳された線又は枠に基づい� �、1枚目の画像に対して予め定められた幅だ� ��ずれた次の画像を簡単に撮影できる。

 撮影された2枚目の画像は、画像合成装置 200に入力される。一致度算出部110、上下決定 部150及び重ね合わせ部160は、1枚目及び2枚目� ��画像を重ね合わせる。この重ねあわせ処理� ��ついてはすでに説明した。

 以下、図17を用いて画像合成装置200の行� �処理の流れについて説明する。図17に示すよ うに、第2実施形態では、第1実施形態のステ� ��プS1の代わりにステップS40及びS41を行う。

 まず、ユーザは撮影装置を用いて1枚目の 画像を撮影し、撮影装置から、その1枚目の� �像が画像合成装置200に出力又は送信される(� ��テップS40)。画像合成装置200は、1枚目の画� �及びずれ量格納部220に格納されたずれ量に� �づいて、1枚目の画像の端を示す枠、及びそ� ��枠から予め決められた幅だけ離れた位置を� ��す線の座標を計算し、その計算結果を補助� ��報として撮影装置に出力又は送信する。

 撮影装置は、補助情報にもとづいて、1枚 目の画像の端を示す枠及びずれ量を示す線を 、撮影対象が出力されたファインダ上に重畳 させる。ユーザは2枚目以降を撮影する際に� �ファインダ上に重畳された線又は枠に基づ� �て、1枚目に対して予め定められた幅だけず� ��た画像を撮影し、撮影された2枚目の画像が 画像合成装置200に出力又は送信される(ステ� �プS41)。

 続いて、ステップS2以降において、1枚目� ��び2枚目の画像をそれぞれ画像P1及びP2とし� �画像を重ね合わせる処理が行われる。ステ� �プS2以降の処理は第1実施形態と同様である� �め説明を省略する。

 このように、第2実施形態に係わる画像合 成装置200によれば、第2実施形態に係わる画� �合成装置100によって達成される利点に加え� �2枚目の画像を撮影する際に利用可能な補助� ��報を作成することができる。これにより、� ��め定められた幅だけずらされた複数の画像� ��失敗なく撮影することが可能となる。

 次に、第3実施形態について説明する。第 3実施形態によれば、ずれ量は予め決まって� �ないため、画像合成装置300が画像P1及びP2間� ��ずれ量を計算し、ずれを補正した後、画像P 1及びP2を重ね合わせる。

 図18を用いて、本発明に第3実施形態にか� ��わる画像合成装置300の構成を説明する。図1 8に示すように、画像合成装置300は、ずれ量� �出部310、画像変換部320、一致度算出部110、� �下決定部150及び重ね合わせ部160を備える。

 ずれ量算出部310は、入力された画像P1及� �P2間のずれ量を算出する。画像変換部320は、 ずれ量に基づいて、2画像中の同じ被写体が� �じ座標に位置するように、一方の画像を変� �する。一致度算出部110、上下決定部150及び� �ね合わせ部160については、すでに説明した� �

 以下、図19を用いて、画像合成装置300の� �う処理の流れについて説明する。図19に示す ように、図3に示す第1実施形態と比べて、第3 実施形態ではステップS1とS2の間にステップS5 0からS52を行う。

 まず、画像合成装置300に2画像P1及びP2が� �力すると(ステップS1)、ずれ量算出部310は、2 画像のずれ量を算出する(ステップS50)。続い� ��、画像変換部320は、算出されたずれ量に基� ��いて画像P1及びP2のいずれか一方を、ずれが なくなるように変換する(ステップS51)。そし� ��、一致度算出部110は、変換後の画像P1及びP2 に基づいて共通領域を決定し(ステップS52)、� ��テップS2以下を行う。ステップS2以下の処理 についてはすでに説明した。

 次に、ずれ量算出部310によるずれ量の算出� ��原理について説明する。
 画像P1の特徴点の座標(x,y)と画像P2の対応す� ��座標(x’,y’)の関係は、ずれ量をδx、δyと� �た場合、以下の式で示すことができる。

 x’=x+δx
 y’=y+δy
 画像のずれが平行方向のみの場合、画像内� ��どの座標であってもδx及びδyの値は一定で� ��る。このとき、δx及びδyを検出する方法と� ��ては、例えばパターンマッチングがある。� ��として、図20に示すような、パソコンを被� �体とし、互いに左右方向にずれた画像P1及び P2を用いてこのパターンマッチングについて� ��明する。

 まず、ずれ量算出部310は、入力された画� ��P1及びP2の両者をSobel フィルタにかけるこ� �により、エッジ画像E1及びE2を得る。なお、S obel フィルタは空間1次微分を計算し、輪郭� �検出するフィルタである。次に、ずれ量算� �部310は、エッジ画像E1とE2の何れか、ここで� ��エッジ画像E1から特徴点を抽出し、他の画� �、ここではエッジ画像E2からその特徴点に対 応する座標の近傍部分を抽出する。続いて、 ずれ量算出部310は、エッジ画像E1とE2の特徴� �近傍の画像を重ね合わせて(パターンマッチ� ��グ)、ずれ量を算出する。

 より具体的には、パターンマッチング法� ��は、背景画像内の小領域画像データ(以下、 窓という)が設定され、この窓内の画素値と� �致する同一サイズの領域が、対象画像を走� �することより探し出される。一致する領域� �見つかれば、背景画像の窓の座標と対象画� �の窓の座標との差がδx及びδyとなる。

 しかし、撮影者が撮影用の三脚を用いず� ��、手に持って撮影した場合、2枚目に撮影さ れた画像には平行移動だけでなく回転も加わ ることが多い。この場合、ずれ量δx及びδyの 値は特徴点の座標によって全て異なるため、 全特徴点について個別にずれ量δx及びδyを算 出する必要がある。画像全体のずれ量を求め る方法として、例えば平面射影行列(Homography) がある。Homography法は、複数の画像の結合(モ� ��イキング)に使用される技法であり、画像内 部の注目すべき複数個の小領域(特徴点)のず� ��から画像全体のずれ量を算出するアルゴリ� ��ムである。

 図21A及び21Bを用いて、画像に回転が加わ� ��た場合の特徴点の対応関係について説明す� ��。図21Aでは、例として画像PT1から4つの特徴 点T1からT4が抽出され、それぞれの座標が以� �のとおりとする。

 T1=(x1,y1)
 T2=(x2,y2)
 T3=(x3,y3)
 T4=(x4,y4)
 一方、図21Bでは画像PT2内の対応する特徴点T 1’からT4’が抽出され、それぞれの座標はそ れぞれ以下のとおりとする。

 T1’=(x1’,y1’)
 T2’=(x2’,y2’)
 T3’=(x3’,y3’)
 T4’=(x4’,y4’)
この場合、T1からT4とT1’からT4’との間には� ��下の式が成立する。

 Tn=MTn’
 ここで、Mは行列であり、Homography Matrix と� ��ばれている。画像PT1及びPT2に共通に存在す� ��特徴点の座標の組からHomography Matrix を算� �することができる。

 一方の画像の特徴点の座標を(x,y)、他方� �画像の特徴点の画像を(x’,y’)とすると、両 者の関係を以下の行列式で表すことができる 。

 ここで、kは任意の0(零)でない数であり、m1� ��らm9は任意の数である。数組の特徴点座標� �用いることで、このk及びm1からm9のパラメー タを算出することができる。算出したHomograph y Matrix と画像PT1の任意の座標点(x,y)を行列� �算することにより、画像PT1(x,y)に対応する画 像PT2上の点(x’,y’)を求めることができる。� �

 このようにして、ずれ量算出部310は2画像 のずれ量を算出し、画像変換部320は算出され たずれ量に基づいて画像P1及びP2のいずれか� �方を、ずれがなくなるように変換する。こ� �後、一致度算出部110、上下決定部150及び重� �合わせ部160によって、一致度に基づいて画� �P1及びP2の重ね合わせパターンが決定され、� ��れに基づいて画像P1及びP2が重ね合わせられ る。したがって、画像合成装置300によれば、 予めずれを補正し、位置決めをされた画像で なくとも、画像を重ね合わせて合成すること が可能となる。

 本発明に係わる画像合成装置100、200及び3 00はさまざまな形で実現可能である。以下、� ��発明に係わる画像合成装置100、200及び300の� ��現形態について説明する。

 たとえば、画像合成装置100、200及び300は� ��コンピュータを用いて実現可能である。コ� ��ピュータ(不図示)は、例えばCPU(Central Process ing Unit )、メモリ及び入出力インタフェース を備え、これらは互いにバスを介して接続さ れる。入出力インターフェースとして、例え ば、液晶パネル、タッチパネル、種々のボタ ン、ダイヤル等が挙げられる。

 画像合成装置100、200及び300を、コンピュ� ��タを用いて実現するために、まず画像合成� ��置を構成する各部によって行われる処理を� ��ロセッサに行わせるためのプログラムをメ� ��リに格納する。そして、CPUが、メモリを利� ��してそのプログラムを実行することにより� ��画像合成装置100、200及び300が実現される。

 さらに、この画像合成装置はさまざまな装� ��に搭載可能である。搭載する装置の例とし� ��、例えば、スチルカメラ及びビデオカメラ� ��ような画像撮影装置等が上げられる。
 例として画像撮影装置に搭載する場合につ� ��て説明する。画像撮影装置は、多くの場合� ��レンズ、撮像素子、コントローラ(非汎用プ ロセッサ)、ディスプレイ、メモリ、入出力� �ンターフェース、及び補助記憶装置を備え� �。レンズは被写体を撮像素子上に結像させ� �。撮像素子は結像された画像を電子信号に� �換してコントローラに出力する。コントロ� �ラはメモリ、記憶装置、インターフェース� �びディスプレイを制御する。そして、画像� �成装置を構成する各部によって行われる処� �をコントローラに行わせるためのプログラ� �をメモリに格納し、コントローラがこのプ� �グラムをメモリから読み出して実行する。� �れにより、画像合成装置を搭載する画像撮� �装置を実現する。

 さらに、画像合成装置を構成する各部に� ��って行われる処理を各種インターフェース� ��行わせるように制御するコンピュータ・チ� ��プ(マイクロコントローラ)を作成し、その� �ンピュータ・チップが画像撮影装置を構成� �る各種機器を制御することにより、画像合� �装置を搭載する画像撮影装置を実現するこ� �としてもよい。

 また、画像合成装置を構成する各部によ� ��て行われる処理をプロセッサに行わせるた� ��のプログラムをメモリ等に書き込んだ状態� ��画像撮影装置に組み込む(ファームウェア)� �とにより、画像合成装置を搭載する画像撮� �装置を実現することとしてもよい。

 また、さらに、画像合成装置100、200及び300� ��有する画像撮影装置を備える装置として、P DA(Personal Digital Assistant)、パソコン等が挙げ� ��れる。
 以下、プログラムのローディングについて� ��明する。上述の実施形態において説明した� ��像合成装置の機能をコンピュータ、画像撮� ��装置、並びに画像撮影装置を有する携帯電� ��及びPDA等に実現させるプログラムは、さま� ��まな方法で取得可能である。

 例えば、そのプログラムを、コンピュー� ��等の画像合成装置を実現させるべき装置(プ ロセッサを含む装置)に接続された外部記憶� �置に保存しておき、必要に応じてこのプロ� �ラムをメモリにロードさせることとしても� �い。

 また、コンピュータで読み取り可能な記� ��媒体に予め記憶させ、その記録媒体からプ� ��グラムを画像合成装置を実現させるべき装� ��に読み出させて、そのコンピュータのメモ� ��や外部記憶装置に一旦格納させ、この格納� ��れたプログラムをそのコンピュータの有す� ��CPUに読み出させて実行させるように構成す� ��ばよい。

 また、このプラグラムをプログラム・サ� ��バが備える記憶装置に格納させ、画像合成� ��置を実現するべき装置に、入力インターフ� ��ース及び通信回線を介してダウンロードさ� ��ることとしてもよい。この場合、例えば、� ��ログラム・サーバは、上述のプログラムを� ��現するプログラム・データをプログラム・� ��ータ・シグナルに変換し、モデムを用いて� ��換されたプログラム・データ・シグナルを� ��調することにより伝送信号を得て、得られ� ��伝送信号を通信回線に出力する。プログラ� ��を受信する装置では、モデムを用いて受信� ��た伝送信号を復調することにより、プログ� ��ム・データ・シグナルを得て、得られたプ� ��グラム・データ・シグナルを変換すること� ��より、プログラム・データを得る。

 なお、送信側のコンピュータと受信側の� ��ンピュータの間を接続する通信回線(伝送媒 体)がデジタル回線の場合、プログラム・デ� �タ・シグナルを通信することも可能である� �また、プログラムを送信するコンピュータ� �、プログラムをダウンロードするコンピュ� �タとの間に、電話局等のコンピュータが介� �しても良い。

 以上、本発明の幾つかの実施形態につい� ��説明したが、これらの実施形態は任意に組� ��合わせ可能である。また、本発明の主題を� ��明するための記述及び図面に基づいて、当� ��者がなしうるその他の変更は、本発明主題� ��よびそれらの均等物に該当する。