以下、本発明の位置情報検出装置を、銃射� ��型ゲームに適用する際の一実施形態につい� ��、図面を参照して説明する。
[実施形態の概要]
 まず、本実施形態の概要を、図1及び図2を� �照して説明する。なお、図1は、本実施形態� ��全体構成を示す外観斜視図であり、図2は機 能ブロック図である。ただし、以降の説明は 、本実施形態のみならず、本発明が目的とす る機能を実現するための他の応用例に対する 説明としても、容易に読み替えることができ る。さらに、図2の機能ブロック図は概念的� �ものであり、これらの機能を実現する具体� �な回路は種々考えられるため、実装方法等� �限定するものではない。

 本実施形態の位置情報検出装置100は、ガ� ��型コントローラ101、ゲーム機104及びディス� ��レイ103を使用する銃射撃型ゲームに適用し� ��システムである。ゲーム機104は、ゲームプ� ��グラムを実行可能なホスト機器であればよ� ��、たとえば、パーソナルコンピュータ等で� ��ってもよい。ディスプレイ103は、表示領域� ��指示対象平面を構成する表示手段であれば� ��く、たとえば、TV、スクリーン、パネル等� �あってもよい。ガン型コントローラ101は、� �ームの射撃に用いる銃として機能するもの� �あり、その内部に、位置情報を検出するた� �の構成を有している。さらに、識別マーク10 2は、ディスプレイ103上の画像表示領域(指示� ��象領域)103Aの周辺に設置して運用する。

 そして、本実施形態においては、ディス� ��レイ103に配設された識別マーク102を撮像す� ��撮像部203、識別マーク102の参照点を抽出す� ��参照点抽出部206、ガン型コントローラ101の� ��示位置を含む位置情報を算出する位置情報� ��出部207、参照点を推定する参照点推定部208� ��が、ガン型コントローラ101の内部に実装さ� ��、一体的に構成されている。

 また、本実施形態では、指示位置のみな� ��ず、ガン型コントローラ101の銃身軸周りの� ��転角やディスプレイ103に対する位置(レンズ 位置)等の相対的な位置情報をも検出できる� �うにして、ゲーム内容の多様化を可能とし� �いる。

 さらに、本実施形態は、被写体や撮像素子� ��高速な移動によって所望の識別マーク像が� ��られない場合においても、以下のような特� ��によって、参照矩形を良好に推定し位置検� ��を行うことが可能となる。
(A)直前の参照点に基づいて、参照点間を結ぶ 最大線分長に応じた近傍領域を決定する。
(B)現画像上の直前に求められた近傍領域の部 分画像より、識別マーク画像の背景と見做す べき画素値の閾値を求める。
(C)現画像上の直前に求められた近傍領域の部 分画像より、画素集合の重心を求める。
(D)抽出された参照点の一部と部分画像の重心 より、現画像上の参照点を推定する。

[実施形態の構成]
 次に、本実施形態の構成を具体的に説明す� ��。
[ディスプレイ103]
 まず、ディスプレイ103は、CRTやLCD等のテレ� ��受像機やコンピュータ用の表示装置である� ��ディスプレイ103には、ゲーム機104で実行さ� ��るゲームプログラムの進行に応じて、画像� ��号が入力される。そして、その矩形型の画� ��表示領域(指示対象平面)103Aに、入力された� ��像信号に応じた画像が表示される。

[識別マーク102]
 識別マーク102は、ディスプレイ103上の画像� ��示領域103Aを特定するために、画像表示領域 103Aの外周部分に複数設置されている。この� �別マーク102は、図3(a)に示すように、点光源� ��集合であってもよいし、図3(b)に示すように 、幾何学的パターン(図形)をその表面に有す� ��ものであってもよい。なお、識別マーク102� ��設けられる支持部材は、図1、図3(a)(b)のよ� �に一体となっていてもよいし、図3(c)のよう� ��、複数に分割されてもよい。

 本発明における識別マーク102に使用され� ��点光源若しくは幾何学的パターンは、図3に 示すように、左右と中央の3つあればよい(権� ��範囲は3つには限定されない。但し、これよ り多ければ冗長となるため3つで必要十分)。� ��3(a)における左の点光源は、右のものと区別 するために物理的に2つあるが、機能的には1� ��と考える。同様の理由から、図3(b)における 左の幾何学的パターンは、右のものと形状が 異なっているが、機能的には1つと考える。� �れらの識別マーク102は、参照点(本実施形態� ��は重心)の抽出が可能であれば、どのような 形状であってもよい。なお、後述するように 、3つの点光源若しくは幾何学的パターンの� �照点は、同一直線上に並んでいる必要があ� �が、各参照点間の距離は、異なっていても� �等であってもよい。

 また、識別マーク102は、自発光型と反射� ��の2種類に分類できる。識別マーク102を反射 型とする場合、たとえば、表面は主に、図3(b )の穴(幾何学的パターン内の白色部分)及び背 景部分の光の反射率が小さく、それ以外の部 分の反射率が高い構成とする。自由な位置で 射撃を可能とするためには、高反射率部分の 素材には再帰反射特性を有するものが望まし いと言える。

 識別マーク102を自発光型とする場合、た� ��えば、背面から表面へ向かってマーク内部� ��ら光を放射する光源を備える。この場合、� ��ン型コントローラ101側に、投光部204を実装� ��る必要はなくなる。但し、識別マーク102側� ��光源及びその光源への給電が必要となる。� ��の場合、たとえば、表面は主に、図3(b)の穴 及び背景部分の光の透過率が小さく、それ以 外の部分で光を透過、拡散する構成とする。

 なお、以上の説明の通り、識別マーク102� ��形状とその背景部分とは、色彩や素材等か� ��、境界が光学的に識別できればよいのであ� ��、特定の形状には限定されない。同一平面� ��に形成されているか否かも問わない。した� ��って、平面状に描かれたものであってもよ� ��し、物理的な穴や窪み、隆起や突出等によ� ��て形成されていてもよい。

[ゲーム機104]
 ゲーム機104は、所定のプログラムを実行し� ��当該実行にしたがってゲーム用の画像を表� ��するための画像信号を生成し、これをディ� ��プレイ103に出力する機器である。このゲー� ��機104は、位置情報検出部202から、ガン型コ� ��トローラ101によって指定された画像表示領� ��103A上の点の指示位置データその他等のデー タが入力され、当該データを基に、プログラ ムの実行に応じた所定のゲーム進行処理を行 う。したがって、ゲーム機は、家庭用のゲー ム機のみならず、アーケードゲーム機やゲー ムプログラムをインストールしたコンピュー タであってもよい。

[ガン型コントローラ101]
 ガン型コントローラ101は、操作部201、撮像� ��203、投光部204、周辺制御部205、参照点抽出� ��206、位置情報算出部207、参照点推定部208、I /O部209を有している。

 操作部201は、引き金(トリガ)などであり� �ユーザの指などの操作によって所定の位置� �で引かれると、操作信号を出力する。なお� �操作部201の具体的な構成は、本発明とは基� �的に独立したものであり、特定のものには� �定されない。したがって、必ずしも引き金� �形状をしている必要はなく、たとえば、押� �ボタンやトグル等のスイッチであっても、� �の遮蔽を検知するセンサであってもよい。

 撮像部203は、主に光学フィルタ、レンズ� ��撮像素子で構成されている。レンズはガン� ��コントローラ101の銃口付近にその光軸上で� ��準が合うように設置されている。撮像素子� ��、レンズよりも内部に撮像面が光軸と直交� ��るように設置されている。光学フィルタは� ��撮影対象とする光の波長領域のみを良好に� ��過させるものとし、レンズ付近に設置され� ��かレンズ自体の素材となっている。

 投光部204は、主に撮影対象とする波長領� ��で発光する発光素子群で構成されている。� ��の投光部204は、撮像部203のレンズ外周に、� ��軸よりもやや外側に傾けた状態で設置され� ��いる。なお、投光部204は、識別マーク102と� ��て反射型を採用する際に必要となる。

 周辺制御部205は、投光部204の発光及び撮� ��部203の撮像を制御する手段である。たとえ� ��、発光タイミングの制御、投光部204の光量� ��撮像部203の感度などの調整が可能な設定と� ��ることもできる。

 参照点抽出部206は、識別マーク102の構成� ��よらず、撮影された画像を解析して、識別� ��ーク像からその特徴点となる参照点を抽出� ��る手段である。参照点抽出部206は、識別マ� ��クに対応する画像成分を抽出する識別マー� ��抽出部261、識別マーク像の重心を判定する� ��心判定部262を有している。参照点は、たと� ��ば、点光源の場合は各光源に対応する画像� ��分の重心点とする。幾何学的パターンで構� ��される場合は、各パターンに対応する重心� ��などを参照点とする。

 位置情報算出部207は、抽出された参照点� ��に基づいて、画像表示領域103Aにおけるカメ ラ(撮像部203)の外部パラメータを検出する手� ��である。本実施形態においては、カメラの� ��部パラメータを、指示対象領域における指� ��位置(2次元)、カメラレンズ光軸周りの回転� ��(1次元)および指示対象領域からカメラレン� ��までの距離(1次元)と定義している。それぞ� ��、指示位置算出部271、回転角算出部272、レ� ��ズ位置算出部273によって算出される。さら� ��、位置情報算出部207は、後述するキャリブ� ��ーションのための演算を行うキャリブレー� ��ョン演算部274を有している。

 参照点推定部208は、後述するように、参� ��点の抽出に失敗した撮影画像を対象として� ��照点の推定を行う手段である。参照点推定� ��208は、直前に抽出若しくは推定された参照� ��をもとに、識別マーク近傍領域を算出する� ��域算出部281、遮断すべき背景光を検出する� ��景光検出部282、識別マーク近傍領域と背景� ��に基づいて、識別マークの重心を推定する� ��心推定部283、推定された重心に基づいて、� ��前に抽出若しくは推定された参照点との対� ��付けを行う整合部284、推定された重心と整� ��部による対応付けの結果から、参照点を推� ��する推定部285を有している。参照点抽出部2 06、位置情報算出部207、参照点推定部208にお� ��る具体的な処理は、後述する。

 また、各処理で抽出、算出等された情報� ��、適宜、メモリ等の記憶手段に記憶され、� ��処理に利用されるが、常識的であるため、� ��示は省略する。記憶手段として、どのよう� ��種類、容量のものを確保するかについては� ��自由である。特に、本実施形態においては� ��抽出された参照点や推定された参照点もメ� ��リに記憶され(参照点記憶部)、直前に抽出� �れた参照点や推定された参照点は、参照点� �定処理に利用される。なお、I/O部209は、外� �機器との入出力を制御する手段である。

[実施形態の作用]
 以上のような本実施形態による指示位置等� ��検出処理を、図4のフローチャート、図5~13� �説明図を参照して説明する。なお、下記の� �理手順は例示であり、各処理において必要� �情報がその前段階のいずれかにおいて得ら� �ているのであれば、順序が前後してもよい� �

[識別マークの撮像…ステップ401]
 まず、識別マークの点光源や幾何学的パタ� ��ン(識別マークパターン)を撮像部203で撮影� �る。すなわち、ガン型コントローラ101の照� �を、ディスプレイ103の画像表示領域103A近辺� ��合わせている場合、投光部204から放射され� ��光が、識別マーク102表面で反射し、その一� ��が撮像部203に入射し、撮像素子で撮影され� ��。なお、放射光が識別マーク102に到達しな� ��場合、その反射光は当然撮影されない。

 また、自発光型の識別マーク102を使用し� ��、投光部204を省略した場合には、識別マー� ��102から放射された光が、撮像部203に入射す� ��。以上のように撮影された画像は、処理に� ��した画像データ(たとえば、2値画像等)に変� ��される。

[参照点抽出…ステップ402~405]
 撮影された画像データは、参照点抽出部206� ��解析されて、参照点が抽出される。つまり� ��識別マーク抽出部261が、撮像された画像デ� ��タから、各光源若しくは幾何学的パターン� ��対応する画像成分を抽出し(ステップ402)、� �心判定部262が、抽出した画像成分の重心点� �算出する(ステップ404)。この重心点が、参照 点として抽出され、記憶される(ステップ405)� ��

 識別マークの画像成分の抽出、重心の算� ��は、周知の技術を適用可能である。なお、� ��像部203により撮像される画像には、目的と� ��る識別マークの画像成分のみが撮影される� ��うに、周辺制御部205によって、あらかじめ� ��源の出力や撮像素子の受光感度などが適切� ��設定されている。

 また、必要であれば幾何学的な条件など� ��より、ノイズ成分を除去しておく。たとえ� ��、重心点を求めた画像成分の面積を同時に� ��憶しておき、その面積が正常値範囲から外� ��ている場合にはノイズ成分と判定し、参照� ��としないノイズ除去方法が考えられる。さ� ��に、参照点は全て同一直線上に存在する制� ��条件による弁別方法を適用することが考え� ��れる。すなわち、3つの参照点座標から得ら れる任意の2つのベクトルの外積の大きさは� �理想的には0となる。このため、4つ以上の参 照点候補が得られた場合、総当りで選択でき る任意の3点の集合のうち、前記外積の大き� �が最小となる集合を、参照点として抽出で� �る。これにより、ノイズ耐性がさらに向上� �る。

 なお、参照点を抽出する過程では、参照� ��群の配置や識別マーク102の幾何学的特徴な� ��から、指示対象領域である画像表示領域の� ��置と天地に関する情報を特定する(ステップ 404)。

 識別マーク102が当初の設置位置から移動� ��ない限り、参照点と画像表示領域103Aとの位 置関係は変化しないため、参照点の位置情報 から画像表示領域103Aを特定することができ� �(後述のキャリブレーションを参照)。

 識別マーク102が、図3(a)の点光源の場合、 参照点間の距離をすべて求め、点間距離が小 さく抑えられる参照点群のうちいずれかを画 像表示領域の左上隅に対応する参照点(基準� �照点)とすることができる。識別マーク102が� ��3(b)の幾何学的パターンで構成される場合、 いずれかの幾何学的特徴を有する識別マーク 102に対応する参照点を選択してもよい。この ように画像表示領域の天地を知ることが、正 しい位置検出には必須である。

 識別マーク102の表面が画像表示領域103Aと 同一平面上になるように、参照点を結ぶ直線 と画像表示領域との水平方向の辺が平行とな るように設置することで、より正確な位置検 出が実現できる。

 レンズに歪曲収差がある場合、検出した� ��示位置等に歪曲収差による誤差が含まれて� ��まうので、少なくとも抽出された参照点す� ��てに、歪曲収差補正を実施する。

[位置情報検出…ステップ406~408]
 位置情報算出部207においては、抽出された� ��照点群に基づいて、カメラの外部パラメー� ��を検出する。つまり、後述するように、指� ��位置算出部271が、画像表示領域103Aにおける 指示対象領域におけるカメラの指示位置を算 出し(ステップ406)、回転角算出部272が、カメ� ��レンズ光軸周りの回転角を算出し(ステップ 407)、レンズ位置算出部273が、指示対象領域� �らカメラレンズまでの距離を算出する(ステ� ��プ408)。なお、回転角以外は後述のとおり正 規化される。

 このようなパラメータの算出手順を、以下� ��詳述する。すなわち、図5に示すように、図 1の銃射撃型ゲームをプレイする実3次元空間� ��座標系を定める。世界座標系O _w -x _w y _w z _w の原点は、基準参照点に位置し、x _w 軸は、参照点群が乗る直線上にあり、y _w 軸は、それに直交しかつ指示対象領域平面に 乗り、z _w 軸はx _w ,y _w 軸に直交する。

 指示座標系O-xyは、世界座標系のx _w -y _w 平面上にあり、原点を指示対象領域の左上隅 とし、x,y軸は、それぞれx _w ,y _w 軸と平行とする。カメラ座標系O _c -x _c y _c z _c の原点は、レンズの主点に位置し、x _c ,y _c 軸は、それぞれ撮像素子受光面の水平、垂直 方向に沿い、z _c 軸は、光軸に一致する。

 画像座標系O _I -x _I y _I の原点は、撮像素子受光面の中心に位置し、 x _I ,y _I 軸は、それぞれ受光面の水平、垂直方向に沿 う。撮像素子受光面の法線はz軸に一致して� �り、受光面とレンズ主点までの距離はレン� �の焦点距離fとする。ただし、fは未知であっ てもよい。

 世界座標系のx _w ,y _w 軸は、原点O _w から最も離れた参照点までの距離を1として� �規化され、z _w 軸は、後述のキャリブレーションの際のガン 型コントローラ101のレンズ位置までの距離を 1として正規化される。指示座標系のx,y軸は� �それぞれ指示対象領域の幅と高さを1として� ��規化される。また、ガン型コントローラ101� ��照準は画像座標系の原点O _I に一致させる。

 ここで、従来の位置情報検出装置のうち、� ��発明で言う識別マークの参照点を2点とした 場合の指示位置検出方法を、図6を参照して� �明する。すなわち、図5において、指示対象� ��域と撮像素子受光面の法線が一致している� ��合、指示対象領域上の世界座標系におけるp ’=(x’,y’,0) ^T は、識別マークから得られる画像平面上の2� �の参照点p _I0 ,p _I1 を用いて、式(1)のとおり求めることができる 。

 p’を指示座標系の対応点pに変換しなけれ� �ならないが、この際、指示対象領域を特定� �るためのキャリブレーション動作として、� �来はプレイ直前などに同領域の左上隅およ� �右下隅の世界座標系での位置座標p’ _LT =(x’ _LT ,y’ _LT ,0) ^T ,p’ _RB =(x’ _RB ,y’ _RB ,0) ^T を、p’同様に、ガン型コントローラ101の照� �を合わせて求めておいたのち、プレイ中は� �(2)により、pを求めていた。

 カメラレンズ光軸周りの回転角は、画像� ��面上の2つの参照点が乗る直線を用いて求め ることができる。キャリブレーション時のガ ン型コントローラ101の姿勢を回転角計測の基 準とし、この際の2つの参照点がつくる画像� �面上の直線を記憶しておく。プレイ中にも� �様な直線を求め、キャリブレーション時に� �憶した直線と成す角を回転角とする。

 指示対象領域からカメラレンズまでの距� ��は、画像平面上の2つの参照点を結ぶ線分の 長さを用いて求めることができる。キャリブ レーション時のガン型コントローラ101の位置 を距離計測の基準とし、この際の2つの参照� �がつくる画像平面上の線分の長さを記憶し� �おく。プレイ中にも同様な線分長を求めキ� �リブレーション時に記憶した線分長を基準� �した比を距離とする。よって、距離は、キ� �リブレーション時の指示対象領域とガン型� �ントローラ101間の距離を1として正規化され� ��。

 一般的なプレイ環境と考えられる以下の表1 の条件下で、式(1),(2)により求めた指示位置� �実際の指示位置との間に生ずる誤差の概要� �、表2のとおりとなる。いずれの項目も相当� ��の誤差を含んでいるが、これは式(1),(2)を適 用可能な条件である、指示対象領域と撮像素 子受光面の法線が一致していることが表1の� �示条件では守られていないことによる。

 従来手法による各種誤差を抑えるべく、本� ��施形態では、前述の通り、3つの参照点を同 一直線上に配した識別マーク102を用いている 。つまり、同一直線上の相対位置が既知の3� �p _c =(1-M)p _a +Mp _b 点と同直線上の任意点p=(1-n)p _a +np _b が、任意の射影変換によりそれぞれp _Ic =(1-M _I )p _Ia +M _I p _Ib ,p _I =(1-n _I )p _Ia +n _I p _Ib に写像された場合、これらM,M _I ,n _I を用いて、式(3)のとおりnを求めることがで� �る。これは射影変換に対する逆射影変換を� �められたことになる。

よって、p _a ,p _c ,p _b がこの順に等間隔に配置されている場合、式 (4)が言える。

 図7における参照点p’ _a ,p’ _b ,p’ _c を、上記のp _a ,p _c ,p _b に対応させた場合、撮像素子による撮影が射 影変換となるため、p’ _a ,p’ _b ,p’ _c の画像平面における像p _Ia ,p _Ib ,p _Ic と、それらより求められるM _I ,n _I および既知のMにより、式(3)を用いて、x _w 軸上の任意点p=(1-n)p _a +np _b を厳密に求めることができる。ここで、M _I は、式(5)のとおり求まる。

[キャリブレーション]
 式(5)によりx _w 軸近傍の任意点も精度よく求めることができ るため、本実施形態でのキャリブレーション は、図7のとおり、指示対象領域の左上隅、� �上隅および中心点の3点に、ガン型コントロ� ��ラ101の照準を合わせ、キャリブレーション� ��算部274が次の手順で行う。

 (i) 指示対象領域の左上隅にガン型コント� �ーラ101の照準を合わせ、式(1)によりその際� �指示位置p’ _LT を求める。
 (ii) 同時に式(5)により現在のM _I を求める。
 (iii)式(3)において、n _I を、p’ _LT のx座標値としてnを求め、そのnを新たなx座� �値としてp’ _LT を更新する。
 (iv) 指示対象領域の右上隅にガン型コント� ��ーラ101の照準を合わせ、式(1)によりその際� ��指示位置p’ _RT を求める。
 (v)  同時に式(5)により、現在のM _I を求める。
 (vi) 式(3)において、n _I を、p’ _RT のx座標値としてnを求め、そのnを新たなx座� �値として、p’ _RT を更新する。
 (vii)指示対象領域の中心点にガン型コント� �ーラ101の照準を合わせ、式(1)により、その� �の指示位置p’ _MM を求める。

 上記手順により得られた世界座標系上の3点 p’ _LT =(x’ _LT ,y’ _LT ,0) ^T ,p’ _RT =(x’ _RT ,y’ _RT ,0) ^T ,p’ _MM =(x’ _MM ,y’ _MM ,0) ^T を用いて、任意の指示点p’=(x’,y’,0) ^T は、式(6)のとおり、指示座標系O-xyでの指示� �pに変換できる。

 このキャリブレーションにより求められた� ��示対象領域内の任意の指示点のy座標値およ び式(5)のM _I と、カメラレンズ光軸周りのコントローラの 実際の回転角と回転角算出部272より求めた回 転角との誤差の関係を、図8及び図9に示す。� ��お、キャリブレーション時のコントローラ� ��姿勢を、回転角の基準として前述のとおり� ��めている。

 この図8及び図9より、局所的なカメラレン� �光軸周りの回転角の誤差は小さいことがわ� �り、回転角誤差補正曲面(ay+b)(M _I -0.5)を用いて大域的な誤差をキャンセルでき� ��。この際、係数a,bは、非線形最小二乗法に� ��り求めることができる。

 回転角の大域的な誤差をキャンセルするた� ��の回転角誤差補正行列Rは、式(7)のとおりで ある。誤差が5[deg]以下であるため、x≒sinxが� ��分成立するので三角関数を用いず、計算量� ��抑えて求めることができる。

 画像平面上での参照点p _Ic を中心として、式(7)の回転角誤差補正行列R� �より残る参照点p _Ia ,p _Ib を回転させる場合、回転後のそれぞれの対応 点p’ _Ia ,p’ _Ib は式(8)のとおりである。ただし、Iは単位行� �を表す。

 以上により、本実施形態における指示位置� ��出は次の手順で行う。
 (i)  式(6)により現在の指示位置pを求める� �
 (ii) 同時に式(3)により現在のM _I を求める。
 (iii)式(7)のyを上記pのy座標値としたうえで� �式(8)より、p’ _Ia ,p’ _Ib を求める。
 (iv) 式(1)のp _I0 ,p _I1 を、それぞれ上記p’ _Ia ,p’ _Ib として、p’を求める。
 (v)  式(3)のn’をp’のx座標値としてnを求� �、そのnを新たなx座標値として、p’を更新� �る。
 (vi) 式(6)により、検出誤差が改善された現� ��の指示位置pを求める。

 表1の条件下で、上記手順により求めた指示 位置と実際の指示位置との間に生ずる誤差の 概要は、表3のとおりである。従来手法によ� �表2と比較して、各種誤差が改善されている� ��とがわかる。

 表2、表3共に、x,y軸方向の指示位置誤差� �、表1の条件下における指示点の集合をP、 � ��装置内レンズ主点を通る指示対象領域の法� ��と同領域の交点の集合をL、同レンズ主点位 置lにおいて、同領域上の点pを指示した際の� ��示位置を求める関数をf(l,p)としたときの、� ��めた指示位置と実際の指示位置pとの誤差ベ クトルeを表し、誤差上限はeの集合E={e|e=f(l,p) -p,l∈L,p∈P}のすべての元を、x,y軸に正射影し た写像を、それぞれEx,Eyとした場合の、大き� ��が最大となる正方向の元の評価対象成分で� ��る。誤差下限は同様に大きさが最大となる� ��方向の元の評価対象成分である。

 回転角誤差は、正面から対象領域中心を指� ��した際に観測される両端の参照点を結ぶ線� ��s _base と、線分s _base を観測したときと同一の姿勢でレンズ主点位 置lにおいて同領域上の点pを指示した際に観� ��される同線分s(l,p)とが成す角度を求める関� ��f _θ (s(l,p),s _base )としたときに求めた角度を表し、誤差上下� �は求めた角度の集合θ={θ|θ=f _θ (s(l,p),s _base ),l∈L,p∈P}の元のうちの最大、最小値である� ��

 距離誤差は、線分sの長さを求める関数をf _l (s)とした場合、線分s _base とs(l,p)との比を表し、誤差上下限は求めた比 の集合R={r|r=f _l (s(l,p))/f _l (s _base ),l∈L,p∈P}の元のうちの最大、最小値である� ��

[参照点推定…ステップ410~414]
 位置情報算出部207は、抽出された参照点を� ��とに、画像表示領域における指示位置等の� ��メラ(撮像部)の外部パラメータを算出する� �しかし、被写体である識別マークやカメラ� �比較的高速に移動した場合、識別マーク像� �ぶれてしまい期待する形状などの特徴量お� �び画素値(受光量)が得られなくなり、たとえ 識別マークを撮像したとしても参照点の抽出 に失敗してしまう(ステップ403)。

 本問題は普及型カメラの構造上回避でき� ��いが、シャッタースピードが高速なカメラ� ��用いることで解決が可能である。ただし、� ��カメラは比較的高価であるため製品コスト� ��抑えにくいという別の問題が生じる。

 さらに、そのような高速移動期間におい� ��は、正確な指示位置検出の要求は少なく、� ��置検出誤差が比較的大きくなってしまった� ��しても、指示位置検出を成功させることへ� ��要求のほうが優先的である。

 よって、普及型カメラにより問題となる� ��速移動期間においても、参照点を推定し抽� ��できればよい。それを実現するために本実� ��形態では、参照点推定部208によって、識別� ��ーク位置を推定する。

 この参照点推定処理を、図4のフローチャ ートを参照して説明する。すなわち、参照点 の抽出に失敗した撮影画像を対象として参照 点の推定を行うに先立って、識別マーク近傍 領域算出処理が行われる(ステップ410)。これ� ��、領域算出部281が、直前に抽出若しくは推� ��された参照点に基づいて、参照点間を結ぶ� ��大線分長に応じた領域を算出する処理であ� ��。

 識別マーク近傍領域の半径の長さは、た� ��えば上記線分長の任意辺の1/nとして許容す� ��き移動速度をもとに決定する。ただし、図1 0のとおり、近傍領域同士が重ならないよう� �決定すべきである。

 次に、背景光検出処理が行われる(ステッ プ411)。これは、背景光検出部282が、現画像� �の直前に求められた識別マーク近傍領域に� �応する領域内の部分画像より、識別マーク� �の背景と見做すべき画素値の閾値(背景光遮� ��閾値)を決定する処理である。

 ノイズの少ない理想的な状態で識別マー� ��が撮影された場合、同部分画像による画素� ��を階級とする画素数のヒストグラムは、お� ��よそ図11のような傾向を示す。よって、多� �画像の2値化手法を応用して背景光遮断閾値� ��決定する。本閾値は、複数の部分画像をま� ��めて唯一つ求めることも、部分画像毎に求� ��ることもできる。以降の説明は部分画像毎� ��閾値を求めたものとする。

 上記背景光検出処理において得られたヒ� ��トグラムが、図11で示す特徴と異なる場合� �理想的でない撮影状態の可能性があるため� �図11と同様な特徴が得られるように、撮像部 203の撮像素子の露光時間等を、適切に制御し てもよいし、I/O部206経由で、本装置外部のホ スト機器に、適切な制御情報を提供させても よい。

 次に、識別マーク重心推定処理が行われ� ��(ステップ412)。これは、重心推定部283が、� �画像上の直前に求められた識別マーク近傍� �域に対応する領域内の部分画像より、識別� �ークと推定される画素情報を集計して、そ� �ら画素集合の重心を求める処理である。画� �集合が識別マーク像より構成される場合は� �良好に識別マーク像の重心を求めることが� �きる。

 算出する重心の精度を向上させるために、� ��景光検出処理で求めた背景光遮断閾値I _b ^(k) により対応する識別マーク近傍領域kの部分� �像s ^(k) (i, j)を式(9)のとおりt ^(k) (i,j)へ変換してもよい。

 識別マーク近傍領域kの部分画像s ^(k) (i,j)の重心を求めるために、同画像の0次モー メントm ₀ ^(k) およびi方向とj方向の1次モーメントm _i ^(k) ,m _j ^(k) を式(10)~ (12)のとおり逐次求める。以降、s ^(k) (i,j)は式(9)のt ^(k) (i,j)に読み替えてもよい。

 これらm ₀ ^(k) ,m _i ^(k) ,m _j ^(k) により部分画像s ^(k) (i,j)の重心g ^(k) は式(13)のとおり求めることができる。

 しかし、これら部分画像に識別マーク以� ��のノイズ成分が無視できない程度に含まれ� ��場合は、式(13)の重心算出方法では、誤った 重心が求まる可能性がある。そこで、図12に� ��すように、すべての識別マーク近傍領域を� ��様に複数の区画に分割し、重心算出に適す� ��区画のみを選択することで、期待する重心� ��求めることができる。

 識別マーク近傍領域kの区画lにおける部分� �像s ^(k,l) (i,j)毎に式(10)-(12)と同様に、0次モーメントm ₀ ^(k,l) およびi方向とj方向の1次モーメントm _i ^(k,l) ,m _j ^(k,l) を求めておく。

 重心算出に適する区画を選択するためには� ��たとえば図13に示すような識別マーク近傍� �域間の一定条件を満たした選択候補区画の� �致を考える。区画lを選択候補とする条件と� ��て、識別マーク近傍領域がn個の区画に分割 される場合、区画lを含む識別マーク近傍領� �kの0次モーメントm ₀ ^(k) と区画数nによる関数値f(m ₀ ^(k) ,n)が区画1の0次モーメントm ₀ ^(k,l) を下回ることなどが挙げられる。このf(m,n)は たとえばf=m/an(aは任意の定数)とできるが、識 別マーク像を一定率以上含む区画が選択候補 となるように決定される。

 すべての識別マーク近傍領域が撮影画像� ��である程度同一方向に移動するならば、図1 3のとおり、複数の識別マーク近傍領域間の� �一区画で識別マーク像を一定率以上含むも� �が選択候補とされることを期待できる。こ� �ように、複数領域間で一致する選択候補区� �のみを選択すれば、ノイズ成分を含む区画� �良好に排除することができる。

 以上のとおり選択された区画のみの各モー� ��ントの和をそれぞれm’ ₀ ^(k) ,m’ _i ^(k) ,m’ _j ^(k) とすれば、部分画像s ^(k) _(i,j) の重心g’ ^(k) =[m’ _i ^(k) /m’ ₀ ^(k) ,m’ _j ^(k) /m’ ₀ ^(k) ] ^T が新たに得られる。なお、以上までの参照点 推定処理は、識別マーク抽出処理等と平行し て実行することが可能である。

 次に、識別マーク整合処理が行われる(ス テップ413)。これは、整合部284が、直前に抽� �または推定された参照点位置と、現画像か� �抽出された参照点位置との対応付けを試み� �処理である。

 一部の参照点が抽出できた場合、それら� ��照点をそれぞれ直前に抽出または推定され� ��参照点のうち最も近くに存在する参照点に� ��応させ、それらのみを出力する。すべての� ��照点の抽出に失敗した場合は出力なしとす� ��。

 さらに、参照点推定処理が行われる(ステッ プ414)。これは、推定部285が、抽出された参� �点の一部と部分画像s ^(k) (i,j)の重心g ^(k) (g’ ^(k) )とにより、現画像における参照点を推定す� �処理である。

 抽出に失敗した参照点の識別マーク近傍領� ��kから求められた重心g ^(k) (g’ ^(k) )を、当該参照点と推定する。その推定した� �照点と抽出に成功した参照点とをもって現� �像の参照点群とする。

[実施形態の効果]
 以上のような本実施形態によれば、光源若� ��くは幾何学的図形を使用した簡単な3つの識 別マーク102を、その参照点(重心)が同一直線� ��となるように配置し、その参照点の相対位� ��と、撮像部203により撮像された画像から抽� ��された参照点の相対位置とを用いて、逆射� ��変換に基づく算出を行うことにより、撮像� ��203の指示点等の位置情報の検出誤差を、従� ��よりも小さく抑えることができる。

 特に、3つの識別マーク102の参照点を等間 隔とした場合には、演算式を簡略化すること ができるので、処理負担が軽減され、ゲーム 等に適した高速な処理が可能となる。さらに 、上記のような3つの識別マーク102、逆射影� �換等に適したキャリブレーションを実行す� �ことにより、誤差の低減が可能となる。

 また、指示対象平面に対する撮像部の指� ��位置のみならず、撮像部の回転角も得るこ� ��ができるとともに、回転角誤差補正曲面を� ��いることにより、回転角の大域的な誤差を� ��ャンセルできる。このため、ゲーム内容、� ��用範囲等の多様化、高度化を図ることがで� ��る。たとえば、同一標的に対する命中であ� ��ても、回転角に応じて、得点や表示画面を� ��える等が可能となる。

 また、ノイズ成分の除去等のための重心� ��及び面積の記憶は、1画面分の画像記憶領域 を必要とせず、総じて水平数ライン程度の記 憶領域で求めることが可能であるため、本実 施形態のような小規模の組込機器に適してい る。

 また、識別マーク102は、少なくとも直線� ��に配置された3つの参照点を含むものであれ ばよいので、構成が単純であり、設置が容易 である。また、点光源の密集度や幾何学的図 形の特徴を変えることにより、天地等の方向 の識別が可能となる。これにより、装置の姿 勢にかかわらず、正しい指示位置等の検出が 可能となる。そして、識別マーク102は、自発 光型とすれば、識別しやすくなるが、反射型 としても、設置が容易となり家庭用途に適す る。

 また、投光部204、撮像部203、参照点抽出� ��206、位置情報算出部207、参照点推定部208等� ��含む装置が、全てガン型コントローラ101内� ��一体的に構成されているので、全体構成を� ��素化でき、装置間の接続作業も簡単となる� ��

 また、現画像で参照点の抽出に失敗した� ��しても、直前の参照点の抽出若しくは推定� ��成功している場合には、一連の参照点推定� ��理により、現画像における参照点を良好に� ��定可能となり、要求される指示位置検出結� ��を得られる。特に、識別マーク102や撮像部2 03の高速移動による像のぶれはもちろん、他� ��何らかの原因により参照点の抽出に失敗し� ��場合においても、本機能は良好に参照点を� ��定できることは自明であり、指示位置検出� ��成功率は従来よりも向上する。

 たとえば、一時的な光量不足により識別� ��ーク102の認識に失敗した場合においても、� ��示位置検出に成功する。したがって、高価� ��高速度対応型の撮像素子が必ずしも必要と� ��らず、普及型の撮像素子を用いて製品コス� ��を抑えることが可能となる。また、カメラ� ��動作可能距離範囲の拡大にもつながる。

 さらに、直前の参照点に基づいて算出さ� ��た識別マーク102の近傍領域を対象として、� ��景光を遮断し、識別マーク102の重心を推定� ��て、これにより参照点を推定できるので、� ��理すべきデータ量を低減した高速化を図り� ��つ、より高い確度によって良好な参照点が� ��定できる。そして、推定できない重心があ� ��ても、直前の参照点に基づいて頂点を推定� ��きるので、参照点が得られる可能性が高ま� ��。

[他の実施形態]
 本発明は上記の実施形態に限定されるもの� ��はない。たとえば、本発明は、上記の処理� ��対応してコンピュータ及び周辺回路を動作� ��せる方法、プログラムとしても把握できる� ��ハードウェア処理によって実現する範囲と� ��フトウェア処理によって実現する範囲も自� ��である。

 また、本発明は、上記の識別マークを設� ��させることにより、指示対象となる平面と� ��てあらゆるものが適用可能である。たとえ� ��、ディスプレイとしては、CRT、LCD以外にも� ��現在又は将来において利用可能なものが適� ��可能である。また、ディスプレイには限定� ��れず、画像を投影させるスクリーン、パネ� ��、壁面その他あらゆるものが利用できる。

 さらに、本発明の用途としては、射撃型� ��ゲームには限定されない。たとえば、射撃� ��以外の釣り、フェンシング、消防活動など� ��ゲーム、ゲーム以外のプレゼンテーション� ��ステム、会議システム、テレビジョンのリ� ��ートコントローラ、照明のオン/オフ、ブラ インド開閉などのリモートコントローラ、倉 庫や書庫の管理システムなどに適用可能であ る。