以下、この発明の実施の形態を添付図面に� ��づいて説明する。
実施の形態1
 この発明の実施の形態1に係る映像表示装置 の構成を図1に示す。予め所定の場所に固定� �メラAが設置されると共に、この固定カメラA とは異なる場所に移動カメラBが配置されて� �る。移動カメラBは、車両等の移動体Uに搭載 されており、移動体Uと共に移動自在に構成� �れている。
 移動体Uには、固定カメラAに対する移動カ� �ラBの相対位置関係を算出する相対位置算出� ��1が接続され、相対位置算出部1と固定カメ� �A及び移動カメラBに映像合成部2が接続され� �いる。さらに、映像合成部2にモニタ3が接続 されている。
 また、移動体Uは、自らの現在位置及び向き 等の位置情報を得るための図示しないセンサ を有しており、このセンサの検出信号が相対 位置算出部1に入力されている。

 次に、図2のフローチャートを参照して実施 の形態1の作用について説明する。まず、ス� �ップS1で、固定カメラAによる撮影が行われ� �続くステップS2で、移動カメラBによる撮影� �行われる。
 さらに、ステップS3で、相対位置算出部1に� ��り固定カメラAに対する移動カメラBの相対� �置関係が算出される。このとき、移動体Uの� ��置情報を得るためのセンサからの検出信号� ��相対位置算出部1に入力されているので、相 対位置算出部1は、入力された検出信号に基� �いて移動体Uの現在位置及び向きを把握する� ��とができる。そこで、この移動体Uの現在位 置及び向きと固定カメラAが設置されている� �定の場所とを比較することにより、相対位� �算出部1は、固定カメラAに対する移動カメラ Bの相対位置関係を算出する。

 このようにして固定カメラAと移動カメラB� �の相対位置関係が算出されると、ステップS4 で、映像合成部2により、この相対位置関係� �基づいて固定カメラAによる映像と移動カメ� ��Bによる映像とが一つに合成され、合成映像 として上方から下方を見下ろす俯瞰映像が作 成される。
 そして、ステップS5で、俯瞰映像がモニタ3� ��表示される。

 なお、固定カメラAによる映像と移動カメラ Bによる映像との合成及び俯瞰映像の作成の� �としては、特開平3-99952号公報が挙げられる� ��
 また、移動体Uの位置情報を得るためのセン サとしては、移動体Uの移動位置及び向きを� �握し得るものであればよく、例えば、車速� �ンサまたは移動量センサとヨーレートセン� �、あるいは、GPSセンサとヨーレートセンサ� �あるいは、移動体Uへの搭載位置を異ならせ� ��2つのGPSセンサ等を用いることができる。

 相対位置算出部1、映像合成部2及びモニタ3� ��、移動体Uに搭載することができる。この場 合、固定カメラAと映像合成部2との間の接続� ��、有線によることもでき、あるいは、無線� ��よることもできる。固定カメラAと映像合成 部2との間を無線で接続する場合には、固定� �メラAと映像合成部2にそれぞれ通信手段を備 える必要がある。
 また、相対位置算出部1、映像合成部2及び� �ニタ3を移動体Uに搭載せずに所定の場所に設 置してもよい。この場合、移動体Uの位置情� �を得るためのセンサと相対位置算出部1とが� ��線または無線で接続されると共に、固定カ� ��ラA及び移動カメラBと映像合成部2との間が� ��線または無線で接続される。
 さらに、相対位置算出部1のみを移動体Uに� �載して映像合成部2及びモニタ3を所定の場所 に設置する、あるいは相対位置算出部1と映� �合成部2を移動体Uに搭載してモニタ3のみを� �定の場所に設置することもできる。

実施の形態2
 この発明の実施の形態2に係る映像表示装置 の構成を図3に示す。この実施の形態2は、図1 に示した実施の形態1の装置において、移動� �Uが位置情報を得るためのセンサを有する代� ��りに、所定の固定位置に固定目標としての� ��ークMを予め設置しておき、移動カメラBに� �り撮影されたマークMの画像に基づいて相対� ��置算出部1が固定カメラAと移動カメラBとの� ��対位置関係を算出するように構成したもの� ��ある。

 図4に示されるように、相対位置算出部1は� �移動カメラBに順次接続された画像処理手段4 、位置パラメータ算出手段5及び相対位置特� �手段6から構成されている。
 また、固定目標としてのマークMは、固定カ メラAに対して所定の位置関係を有する所定� �場所に固設されており、固定カメラAに対す� ��マークMの所定の位置関係は予め把握されて いるものとする。このマークMとしては、例� �ば図5に示されるように、4つの直角2等辺三� �形を互いに当接させた正方形状の外形を有� �る図形を用いることができる。互いに隣接� �る直角2等辺三角形が異なる色で塗り分けら� ��ており、このマークMは、複数の辺の交点か らなる5つの特徴点C1~C5を有している。
 上述したように固定カメラAに対するマーク Mの位置関係が予め把握されていれば、マー� �Mを固定カメラAの視野外に配置してもよい。

 この実施の形態2においても、図2に示し� �フローチャートのステップS1~S5に従って、俯 瞰映像等の合成映像がモニタ3に表示される� �、ステップS3における固定カメラAと移動カ� �ラBとの相対位置関係の算出方法が実施の形� ��1とは異なっており、図6のフローチャート� �示されるステップS6~S8に従い、次のようにし て相対位置関係の算出が行われる。

 すなわち、まず、ステップS6で、相対位置� �出部1の画像処理手段4が、移動カメラBによ� �撮影されたマークMの画像からマークMの5つ� �特徴点C1~C5を抽出し、画像上におけるこれら 特徴点C1~C5の2次元座標をそれぞれ認識し取得 する。
 次に、ステップS7で、画像処理手段4により� ��識された特徴点C1~C5のそれぞれの2次元座標� ��基づき、位置パラメータ算出手段5が、マー クMを基準とした移動カメラBの3次元座標(x,y,z )、チルト角(伏せ角)、パン角(方向角)、スイ� ��グ角(回転角)の6個のパラメータからなる位� ��パラメータを算出する。

 ここで、位置パラメータ算出手段5による位 置パラメータの算出方法を説明する。
 まず、移動体U上の所定の箇所から路面に対 して垂直に下ろした地面上の点を原点Oとし� �水平方向にx軸及びy軸、鉛直方向にz軸を設� �した路面座標系を想定すると共に、移動カ� �ラBにより撮影された画像上にX軸とY軸を設� �した画像座標系を想定する。
 画像座標系におけるマークMの特徴点C1~C5の� ��標値Xm及びYm(m=1~5)は、路面座標系における� �ークMの特徴点C1~C5の6個の位置パラメータす� ��わち座標値xm、ym及びzmと上述したチルト角( 伏せ角)、パン角(方向角)、スイング角(回転� �)の角度パラメータKn(n=1~3)から、関数F及びG� �用いて、
 Xm=F(xm,ym,zm,Kn)+DXm
 Ym=G(xm,ym,zm,Kn)+DYm
で表される。ここで、DXm及びDYmは関数F及びG� ��用いて算出された特徴点C1~C5のX座標及びY座 標と画像処理手段4で認識された特徴点C1~C5の 座標値Xm及びYmとの偏差である。

 つまり5個の特徴点C1~C5のX座標及びY座標を� �れぞれ表すことにより、6個の位置パラメー� ��(xm,ym,zm,Kn)に対して計10個の関係式が作成さ� ��る。
 そこで、偏差DXm及びDYmの二乗和
 S=σ(DXm2+DYm2)
を最小とするような位置パラメータ(xm,ym,zm,Kn )を求める。すなわちSを最小化する最適化問� ��を解く。公知の最適化法たとえばシンプレ� ��クス法や、最急降下法、ニュートン法、準� ��ュートン法などを用いることができる。

 なお、算出しようとする位置パラメータ(xm, ym,zm,Kn)の個数「6」より多い関係式を作成し� �位置パラメータを決定しているので、精度� �く位置パラメータ(xm,ym,zm,Kn)を得ることがで� ��る。
 この実施の形態2では、6個の位置パラメー� �(xm,ym,zm,Kn)に対して5個の特徴点C1~C5により10� �の関係式を作成したが、関係式の数は算出� �ようとする位置パラメータ(xm,ym,zm,Kn)の個数� ��り多ければよく、最低3個の特徴点により6� �の関係式を作成すれば、6個の位置パラメー� ��(xm,ym,zm,Kn)を算出することができる。

 このようにして算出された移動カメラBの 位置パラメータを用いて、ステップS8で、相� ��位置特定手段6は、固定カメラAに対する移� �カメラBの相対位置関係を特定する。すなわ� ��、位置パラメータ算出手段5で算出された位 置パラメータに基づいて、移動カメラBとマ� �クMとの相対位置関係が特定され、固定カメ� ��Aに対するマークMの所定の位置関係は予め� �握されているため、さらに、移動カメラBと� ��定カメラAとの相対位置関係が特定される。

 以上のようにして相対位置算出部1で算出 された固定カメラAと移動カメラBとの相対位� ��関係は映像合成部2に送られ、映像合成部は 、この相対位置関係に基づいて固定カメラA� �よる映像と移動カメラBによる映像とを一つ� ��合成して俯瞰映像を作成し、モニタ3に表示 する。

 なお、この実施の形態2では、マークMを� �準とした移動カメラBの3次元座標(x,y,z)、チ� �ト角(伏せ角)、パン角(方向角)、スイング角( 回転角)の6個のパラメータからなる位置パラ� ��ータを算出しているので、マークMが配置さ れている床面と移動体Uの現在位置の路面と� �間に段差や傾きが存在しても、マークMと移� ��カメラBとの相対位置関係、ひいては固定カ メラAと移動カメラBとの相対位置関係を正確� ��特定して精度の高い俯瞰映像を作成するこ� ��ができる。

 ただし、マークMが配置されている床面と 移動体Uの現在位置の路面との間に傾きが存� �しない場合には、少なくともマークMを基準� ��した移動カメラBの3次元座標(x,y,z)とパン角( 方向角)の4個のパラメータからなる位置パラ� ��ータを算出すればマークMと移動カメラBの� �対位置関係を特定することができる。この� �合には、マークMの最低2個の特徴点の2次元� �標により4個の関係式を作成すれば、4個の位 置パラメータを求めることができるが、より 多くの特徴点の2次元座標を用いて最小二乗� �等により精度よく4個の位置パラメータを算� ��することが好ましい。

 さらに、マークMと移動体Uとが同一平面� �にあり、マークMが配置されている床面と移� ��体Uの現在位置の路面との間に段差も傾きも 存在しない場合には、少なくともマークMを� �準とした移動カメラBの2次元座標(x,y)とパン� ��(方向角)の3個のパラメータからなる位置パ� ��メータを算出すればマークMと移動カメラB� �相対位置関係を特定することができる。こ� �場合にも、マークMの最低2個の特徴点の2次� �座標により4個の関係式を作成すれば、3個の 位置パラメータを求めることができるが、よ り多くの特徴点の2次元座標を用いて最小二� �法等により精度よく3個の位置パラメータを� ��出することが好ましい。

実施の形態3
 この発明の実施の形態3に係る映像表示装置 の構成を図7に示す。この実施の形態3は、固� ��カメラAを車庫等の駐車スペース側に固定す ると共に移動カメラBを駐車スペースへ駐車� �行う車両に搭載して、図3に示した実施の形� ��2の装置を駐車の支援のために用いた例を示 している。
 駐車スペースSの内部あるいは近傍に駐車ス ペース側装置11が配設され、駐車スペースSへ の駐車を行う車両に車両側装置12が搭載され� ��いる。

 駐車スペース側装置11は、駐車スペースSの� ��部に配置されて駐車スペースSの入口付近を 撮影するための固定カメラAを有しており、� �定カメラAにエンコーダ13を介して通信部14が 接続されている。エンコーダ13は、固定カメ� ��Aで撮影された映像を無線伝送に適した形式 に圧縮するためのものであり、通信部14は、� ��に、エンコーダ13で圧縮された映像データ� �車両側装置12に向けて送信するためのもので ある。固定カメラAと通信部14に制御部15が接� ��されている。さらに、駐車スペース側装置1 1は、駐車スペースSの入口付近の床面に固設� ��れたマークMを有している。
 なお、固定カメラAの内部パラメータ(焦点� �離、歪み定数等)と外部パラメータ(駐車スペ ースSに対する相対位置、角度等)は予め既知� ��する。同様に、固定カメラAに対するマーク Mの相対位置も既知とする。

 一方、車両側装置12は、車両の後部に設� �されて車両の後方を撮影するための移動カ� �ラBを有しており、駐車スペースSへの後退駐 車時には、この移動カメラBにより駐車スペ� �スSのマークMが撮影される。移動カメラBに� �対位置算出部1が接続されている。また、車� ��側装置12は、駐車スペース側装置11の通信部 14との間で通信を行う通信部16を有し、この� �信部16にデコーダ17が接続されている。デコ� ��ダ17は、通信部16で受信された駐車スペース 側装置11からの圧縮された映像データを復号� ��せるためのものである。

 デコーダ17に映像合成部2が接続され、映像� ��成部2と移動カメラBの双方に映像選択部18が 接続され、映像選択部18に車両の運転席に配� ��されたモニタ3が接続されている。
 また、移動カメラB、相対位置算出部1、通� �部16及び映像選択部18に制御部19が接続され� �いる。
 移動カメラBの内部パラメータ(焦点距離、� �み定数等)と車両に対する相対位置及び角度� ��は予め既知とする。
 図4に示したように、車両側装置12の相対位� ��算出部1は、移動カメラBと映像合成部2との� ��に順次接続された画像処理手段4、位置パラ メータ算出手段5及び相対位置特定手段6から� ��成されている。

 次に、図8のフローチャートを参照して実施 の形態3の作用について説明する。
 まず、ステップS11として、駐車スペースSの 近傍に車両を位置させてマークMを移動カメ� �Bの視野内に入れた状態で、車両側装置12の� �御部19により移動カメラBが作動し、マークM� ��撮影が行われる。
 移動カメラBにより撮影された画像は相対位 置算出部1に入力され、続くステップS12で、� �対位置算出部1は移動カメラBと固定カメラA� �の相対位置関係を図6に示したフローチャー� ��に従って算出する。

 このようにして相対位置算出部1で算出さ れた相対位置関係に基づいて、制御部19は、� ��定カメラAに対する移動カメラBの相対距離L� ��算出し、ステップS13で、この相対距離Lを所 定値Lthと比較し、相対距離Lが所定値Lthより� �きいときは、ステップS14で、映像選択部18に 移動カメラBによる映像データを選択させる� �これにより、図9に示されるように、運転席� ��モニタ3の画面上に移動カメラBで撮像され� �車両後方の映像が表示される。

 一方、固定カメラAに対する移動カメラBの� �対距離Lが所定値Lth以下のときは、制御部19� �、ステップS15で、通信部16から駐車スペース 側装置11へ映像データの要求信号を送信する� ��
 駐車スペース側装置11では、車両側装置12か ら映像データの要求信号を通信部14で受信す� ��と、ステップS16で、制御部15によって固定� �メラAが作動され、駐車スペースSの入口付近 の撮影が行われる。そして、固定カメラAで� �影された映像データがエンコーダ13で無線伝 送に適した形式に圧縮された後、通信部14か� ��車両側装置12に向けて送信される。

 ステップS17で、車両側装置12の通信部16によ り駐車スペース側装置11から映像データが受� ��されると、この映像データは、デコーダ17� �復号された後、映像合成部2に送られる。
 映像合成部2は、ステップS18で、固定カメラ Aと移動カメラBとの相対位置関係に基づいて� ��定カメラAによる映像と移動カメラBによる� �像とを一つに合成して俯瞰映像を作成する� �
 制御部19は、固定カメラAに対する移動カメ� ��Bの相対距離Lが所定値Lth以下であることか� �、ステップS19で、映像選択部18に映像合成部 2による映像データを選択させる。これによ� �、図10に示されるように、運転席のモニタ3� �画面上に映像合成部2で作成された俯瞰映像� ��表示される。

 なお、ステップS13で用いられる所定値Lthは� ��例えば、駐車スペースSの両側部と奥部とが 壁面等で仕切られた車庫を想定し、固定カメ ラAの視野内に後退駐車中の車両Vの一部が入� ��始めるときの移動カメラBと固定カメラAと� �相対距離を基準に設定すればよい。
 このように所定値Lthを設定すれば、車両Vが 固定カメラAの視野内に入っていないときに� �、図9に示されるように、モニタ3の画面上に 移動カメラBで撮像された車両後方の映像が� �示され、車両Vが固定カメラAの視野内に入っ てからは、図10に示されるように、モニタ3の 画面上に俯瞰映像が表示されることになる。 このため、モニタ3の画面に表示された俯瞰� �像を見ながら車両Vの運転操作を行うことが� ��き、車両Vと駐車スペースSとの相対位置関� �を把握しやすくなり、車両Vを精度よく駐車� ��ペースS内に駐車させることが可能となる。

実施の形態4
 この発明の実施の形態4に係る映像表示装置 の構成を図11に示す。この実施の形態4は、図 3に示した実施の形態2の装置において、固定� ��メラAと移動カメラBの代わりに、第1の移動� ��U1に搭載された第1移動カメラB1と第2の移動� ��U2に搭載された第2移動カメラB2とを配置す� �と共に、相対位置算出部1の代わりに、移動� ��メラB1及びB2に相対位置算出部21を接続し、� ��れら双方の移動カメラB1及びB2により共通の マークMを撮影するように構成したものであ� �。

 図12に示されるように、相対位置算出部21 は、第1移動カメラB1に接続された第1算出部22 と、第2移動カメラB2に接続された第2算出部23 と、これら第1算出部22及び第2算出部23に接続 された第3算出部24とを有しており、第3算出� �24が映像合成部2に接続されている。

 次に、図13のフローチャートを参照して実� �の形態4の作用について説明する。
 まず、ステップS21で、マークMを第1移動カ� �ラB1の視野内に入れた状態で、第1移動カメ� �B1による撮影が行われる。相対位置算出部21� ��第1算出部22は、続くステップS22で、第1移動 カメラB1により撮影されたマークMの画像から マークMの5つの特徴点C1~C5を抽出し、画像上� �おけるこれら特徴点C1~C5の2次元座標をそれ� �れ認識して取得した後、ステップS23で、こ� �ら特徴点C1~C5の2次元座標に基づき、マークM� ��基準とした第1移動カメラB1の3次元座標(x,y,z )、チルト角(伏せ角)、パン角(方向角)、スイ� ��グ角(回転角)の6個のパラメータからなる位� ��パラメータを算出する。

 次に、ステップS24で、マークMを第2移動� �メラB2の視野内に入れた状態で、第2移動カ� �ラB2による撮影が行われる。相対位置算出部 21の第2算出部23は、続くステップS25で、第2移 動カメラB2により撮影されたマークMの画像か らマークMの5つの特徴点C1~C5を抽出し、画像� �におけるこれら特徴点C1~C5の2次元座標をそ� �ぞれ認識して取得した後、ステップS26で、� �れら特徴点C1~C5の2次元座標に基づき、マー� �Mを基準とした第2移動カメラB2の3次元座標(x, y,z)、チルト角(伏せ角)、パン角(方向角)、ス� ��ング角(回転角)の6個のパラメータからなる� ��置パラメータを算出する。

 さらに、相対位置算出部21の第3算出部24は� �第1算出部22及び第2算出部23で算出された第1� ��動カメラB1及び第2移動カメラB2の位置パラ� �ータに基づき、ステップS27で、第1移動カメ� ��B1と第2移動カメラB2との相対位置関係を特� �する。
 このようにして相対位置算出部21で算出さ� �た第1移動カメラB1と第2移動カメラB2との相� �位置関係は映像合成部2に送られ、映像合成� ��2は、この相対位置関係に基づき、ステップ S28で、第1移動カメラB1による映像と第2移動� �メラB2による映像とを一つに合成して俯瞰映 像を作成し、ステップS29で、この俯瞰映像を モニタ3に表示する。

実施の形態5
 この発明の実施の形態5に係る映像表示装置 の構成を図14に示す。この実施の形態5は、図 11に示した実施の形態4の装置において、第1� �動カメラB1と第2移動カメラB2で共通のマーク Mを撮影する代わりに、複数のマークM1及びM2� ��互いに異なる位置に設置し、第1移動カメラ B1と第2移動カメラB2とがそれぞれ異なるマー� ��を撮影するように構成したものである。
 マークM1とマークM2の相対位置関係は、予め 把握されているものとする。例えば、マーク M1とマークM2の相対位置関係を相対位置算出� �21に記憶させておくことができる。あるいは 、マークM1及びM2にそれぞれの位置情報をバ� �コード等の手段により記録しておき、各カ� �ラにより撮影された画像からその位置情報� �認識するように構成することもできる。あ� �いは、マークM1及びM2それぞれの位置情報を� ��各マークの近傍に配置した無線送信機から� ��信し、第1の移動体U1及び第2の移動体U2で受� ��してその位置情報を認識してもよい。

 第1移動カメラB1によりマークM1が、第2移動� ��メラB2によりマークM2が撮影される場合、相 対位置算出部21の第1算出部22は、第1移動カメ ラB1により撮影されたマークM1の画像に基づ� �てマークM1を基準とした第1移動カメラB1の位 置パラメータを算出し、相対位置算出部21の� ��2算出部23は、第2移動カメラB2により撮影さ� ��たマークM2の画像に基づいてマークM2を基準 とした第2移動カメラB2の位置パラメータを算 出する。
 ここで、マークM1とマークM2の相対位置関係 が予め把握されているので、相対位置算出部 21の第3算出部24は、第1算出部22及び第2算出部 23でそれぞれ算出された位置パラメータとマ� ��クM1及びM2間の相対位置関係とに基づき、第 1移動カメラB1と第2移動カメラB2との相対位置 関係を特定することができる。
 その結果、映像合成部2は、この相対位置関 係に基づき、第1移動カメラB1による映像と第 2移動カメラB2による映像とを一つに合成して 俯瞰映像を作成し、この俯瞰映像をモニタ3� �表示することが可能となる。

 なお、各移動カメラB1,B2で撮影されるマ� �クがマークM1及びM2のうちのいずれか一方に� ��定されない場合や、双方のマークM1及びM2が 同時に撮影される場合には、撮影されたマー クが、マークM1及びM2のうちいずれの画像で� �るかを判別するために、双方のマークM1及び M2の形状、色彩等を互いに異ならせることが� ��ましい。

その他の実施の形態
 上記の各実施の形態において、映像合成部2 により作成される合成映像は、俯瞰映像に限 られるものではなく、映像合成部2は、各カ� �ラの視点とは異なる任意の仮想の視点Pから� ��映像を作成することができる。また、必ず� ��も各カメラの視点とは異なる仮想の視点Pか らの映像に限らず、映像合成部2が、複数の� �メラのうちいずれか一つのカメラの視点か� �の映像を作成してもよい。例えば、上述の� �施の形態3において、映像合成部2が、駐車ス ペース側の固定カメラAの映像を車載の移動� �メラBの視点からの映像に変換して移動カメ� ��Bの映像と合成することにより、図9に示し� �ように車載の移動カメラBからの映像だけで� ��壁に隠されて死角となる駐車スペースS内の 領域をも透視して追加した合成映像を得るこ とができる。あるいは、車載の移動カメラB� �らの映像だけでは撮影範囲外になって死角� �なる領域を追加した合成映像を得ることが� �きる。
 上記の各実施の形態では、1台の固定カメラ Aと1台の移動カメラB、または、2台の移動カ� �ラB1及びB2からの映像を合成したが、互いの� ��対位置関係が変化する3台以上のカメラから の映像を合成して任意の仮想の視点Pからの� �像を作成することもできる。
 また、移動体U,U1,U2は、車両等の移動装置に 限られるものではなく、例えばカメラを持っ て歩く人でもよい。

 実施の形態2~5で用いられたマークは、4つの 直角2等辺三角形を互いに当接させた正方形� �の外形を有していたが、これに限るもので� �なく、各種のマークを使用することができ� �。ただし、自然界に存在する形状に対して� �別しやすい、特異な形状、色彩等を具備し� �画像処理手段4における画像認識により、そ� ��存在を認知しやすいものであり、さらに内� ��に含んでいる特徴点を認識しやすいものが� ��ましい。
 また、マークは、認識された特徴点の2次元 座標に基づいてカメラとマークとの相対位置 関係を精度良く算出することができるように 、十分な大きさを有し且つカメラから認知し やすい場所に設置されることが望まれる。具 体的には、カメラが配置される場所の周辺の 床面、壁面、天井面等に設置することができ る。