以下、本発明の実施の形態につき、図面� ��参照して具体的に説明する。参照される各� ��において、同一の部分には同一の符号を付� ��、同一の部分に関する重複する説明を原則� ��して省略する。

 図1は、本発明の実施形態に係る撮像装置 1の全体ブロック図である。撮像装置1は、静� ��画像を撮影及び記録可能なデジタルスチル� ��メラ、又は、静止画像及び動画像を撮影及� ��記録可能なデジタルビデオカメラである。

 撮像装置1は、撮像部11と、AFE(Analog Front  End)12と、主制御部13と、内部メモリ14と、表� �部15と、記録媒体16と、操作部17と、を備え� �いる。操作部17には、シャッタボタン17aが備 えられている。

 図2に、撮像部11の内部構成図を示す。撮� ��部11は、光学系35と、絞り32と、CCD(Charge Coup led Devices)やCMOS(Complementary Metal Oxide Semiconduc tor)イメージセンサなどから成る撮像素子33と 、光学系35や絞り32を駆動制御するためのド� �イバ34と、を有している。光学系35は、ズー� ��レンズ30及びフォーカスレンズ31を含む複数 枚のレンズから形成される。ズームレンズ30� ��びフォーカスレンズ31は光軸方向に移動可� �である。ドライバ34は、主制御部13からの制� ��信号に基づいてズームレンズ30及びフォー� �スレンズ31の各位置並びに絞り32の開度を駆� ��制御することにより、撮像部11の焦点距離(� ��角)及び焦点位置並びに撮像素子33への入射� ��量を制御する。

 撮像素子33は、光学系35及び絞り32を介し� ��入射した被写体を表す光学像を光電変換し� ��該光電変換によって得られた電気信号をAFE1 2に出力する。より具体的には、撮像素子33は 、マトリクス状に二次元配列された複数の受 光画素を備え、各撮影において、各受光画素 は露光時間に応じた電荷量の信号電荷を蓄え る。蓄えた信号電荷の電荷量に比例した大き さを有する各受光画素からのアナログ信号は 、撮像装置1内で生成される駆動パルスに従� �て順次AFE12に出力される。露光時間の長さは 、主制御部13によって制御される。

 AFE12は、撮像部11(撮像素子33)から出力さ� �るアナログ信号を増幅し、増幅されたアナ� �グ信号をデジタル信号に変換する。AFE12は、 このデジタル信号を、順次、主制御部13に出� ��する。AFE12における信号増幅の増幅度は、� �制御部13によって制御される。

 主制御部13は、CPU(Central Processing Unit)、RO M(Read Only Memory)及びRAM(Random Access Memory)等を 備え、映像信号処理部として機能する。主制 御部13は、AFE12の出力信号に基づいて、撮像� �11によって撮影された画像を表す映像信号を 生成する。また、主制御部13は、表示部15の� �示内容を制御する表示制御手段としての機� �をも備え、表示に必要な制御を表示部15に対 して行う。

 内部メモリ14は、SDRAM(Synchronous Dynamic Rand om Access Memory)等にて形成され、撮像装置1内� ��生成された各種データを一時的に記憶する� ��表示部15は、液晶ディスプレイパネル等か� �成る表示装置であり、主制御部13の制御の下 、撮影された画像や記録媒体16に記録されて� ��る画像などを表示する。記録媒体16は、SD(Se cure Digital)メモリカード等の不揮発性メモリ� ��あり、主制御部13による制御の下、撮影さ� �た画像などを記憶する。

 操作部17は、外部からの操作を受け付け� �。操作部17に対する操作内容は、主制御部13� ��伝達される。シャッタボタン17aは、静止画� ��の撮影及び記録を指示するためのボタンで� ��る。シャッタボタン17aを押下することによ� ��て静止画像の撮影及び記録が指示される。

 また、シャッタボタン17aは、2段階の押下 操作が可能となっており、撮影者がシャッタ ボタン17aを軽く押し込むと、シャッタボタン 17aは半押しの状態となり、その状態から更に シャッタボタン17aを押し込むとシャッタボタ ン17aは全押しの状態となる。

 撮像装置1の動作モードには、静止画像又 は動画像を撮影可能な撮影モードと記録媒体 16に記録された静止画像又は動画像を表示部1 5上で再生可能な再生モードとが含まれる。� �影モードでは、所定のフレーム周期にて順� �撮影が行われ、撮像素子33から撮影画像列が 取得される。この撮影画像列を形成する各画 像を「フレーム画像」と呼ぶ。画像列(例え� �、撮影画像列)とは、時系列で並ぶ複数の画� ��を意味する。フレーム画像列は、動画像と� ��て表示部15の表示画面上に更新表示される� �

 図3に、撮影者側から見た、撮像装置1の� �観斜視図を示す。図3には、被写体としての� ��物も示されている。撮影者は、表示部15の� �示画面上に表示された被写体の様子を確認� �ることで、撮像装置1の撮影範囲を確認する� ��とができる。

 撮像装置1は、画像処理を用いた被写体追 尾機能を備えており、この被写体追尾機能の 実現時に特徴的な表示を行う。被写体追尾機 能は撮影モードにおいて実現される。撮影モ ードの一形態である、被写体追尾機能が実現 される動作モードを追尾モードという。操作 部17に対して所定操作を施すことで、追尾モ� ��ドにおける動作が実行される。以下に示さ� ��る動作は、特に記述なき限り、この追尾モ� ��ドにおける撮像装置1の動作である。また、 以下の説明において、単に「表示画面」とい った場合、それは表示部15における表示画面� ��指し、単に「表示」といった場合、それは� ��示部15の表示画面上における「表示」を意� �するものとする。また、画像を表すデータ� �画像データと呼ぶ。或るフレーム画像の画� �データは、そのフレーム画像の光学像を表� �、AFE12の出力信号から生成される。

 図4は、撮像装置1内の、被写体追尾機能� �特に関与する部位のブロック図である。追� �処理部51、追尾信頼度評価部52及び表示制御� ��53は、図1の主制御部13内に設けられる。フ� �ーム画像列を形成する各フレーム画像の画� �データは、順次、追尾処理部51、追尾信頼度 評価部52及び表示制御部53に与えられる。

 追尾処理部51は、フレーム画像列の画像� �ータに基づき各フレーム画像内における特� �被写体の位置を逐次検出していくことによ� �、フレーム画像列における特定被写体の位� �を追尾する。本実施形態において、特定被� �体は人物であるとする。従って、以下、追� �されるべき特定被写体を追尾対象人物とい� �。

 追尾処理部51は、顔検出部(不図示)として の機能をも備え、フレーム画像の画像データ に基づいてフレーム画像中から人物の顔を検 出し、検出された顔を含む顔領域を抽出する 。これを実現する処理を顔検出処理という。 画像中に含まれる顔を検出する手法として様 々な手法が知られており、追尾処理部51は何� ��の手法をも採用可能である。例えば、特開2 000-105819号公報に記載の手法のようにフレー� �画像から肌色領域を抽出することによって� �(顔領域)を検出しても良いし、特開2006-211139� ��公報又は特開2006-72770号公報に記載の手法を 用いて顔(顔領域)を検出しても良い。

 追尾信頼度評価部52は、フレーム画像列� �画像データに基づき、追尾処理部51による追 尾の信頼度(追尾の信頼性の度合い)又は追尾� ��容易度(追尾の容易性の度合い)を評価する� �追尾の信頼度と追尾の容易度は、同様の意� �又は類似の意義を有している。厳密には、� �尾の信頼度は、過去に実行した追尾がどの� �度信頼できるものであるかを表すものと解� �され、追尾の容易度は、これから実行しよ� �とする追尾がどの程度容易であるかを表す� �のと解釈される。追尾の容易度が高ければ� �尾の信頼度も高くなり、追尾の容易度が低� �れば追尾の信頼度も低くなる。以下の説明� �は、記述の便宜上、「追尾処理部51が評価す るものは追尾の信頼度である」と考えるが、 追尾の信頼度を追尾の容易度と読み替えるこ とも可能である。

 表示制御部53は、表示部15の表示内容を制 御し、フレーム画像の画像データから表示用 画像の画像データを生成して、これを表示部 15に送ることで表示画面上に表示用画像を表� ��させる。フレーム画像は周期的に順次取得� ��れるため、表示用画像も周期的に生成され� ��表示画面上に更新表示される。この表示用� ��像は、追尾処理部51による追尾結果及び追� �信頼度評価部52による評価結果をフレーム画 像に反映させることによって生成される。尚 、表示用画像が表示画面に表示されるため、 表示用画像と表示画面を同一視して、以下の 説明を行う。また、表示用画像及び表示画面 の水平方向を左右方向と捉え、表示用画像及 び表示画面の垂直方向を上下方向と捉えるも のとする。

 図5を参照して、追尾モードにおける動作 について、より詳細に説明する。図5は、追� �モードにおける撮像装置1の動作の流れを表� ��フローチャートである。まず、撮像装置1の 動作モードが追尾モードに設定されると、ス テップS11において、表示制御部53により、初� ��化前の追尾モードアイコンが現在のフレー� ��画像上に重畳されて表示される。

 ステップS11にて表示される表示用画像200� ��図6(a)に示し、この表示用画像200の生成元の フレーム画像201を図6(b)に示す。表示用画像20 0の右下側における破線矩形領域202内のアイ� �ンが、初期化前の追尾モードアイコンであ� �。初期化前の追尾モードアイコンは表示画� �上で点滅している(但し、この点滅処理の実� ��は必須ではない)。初期化前の追尾モードア イコンが表示される状態は、ステップS15に至 る直前まで継続される。

 初期化前の追尾モードアイコン及び後述� ��追尾色設定後の追尾モードアイコンを、総� ��して、単に追尾モードアイコンという。図7 (a)に、追尾モードアイコンの拡大図を示す。 追尾モードアイコンは、左右方向に並べられ た追尾対象アイコン及びレベルアイコンから 形成される。破線矩形210内に示された図形が 追尾対象アイコンであり、破線矩形220内に示 された図形がレベルアイコンである。

 図7(b)に示す如く、追尾対象アイコンは、 上下方向に並べられたフェイスアイコン及び ボディアイコンから形成される。破線矩形211 内に示された図形がフェイスアイコンを表し 、破線矩形212内に示された図形がボディアイ コンを表す。フェイスアイコンは、人物の顔 を模した図形を画像として表現したものであ り、ボディアイコンは、人物の胴体を模した 図形を画像として表現したものである。尚、 図7(a)及び(b)における破線は、説明の便宜上� �したものであり、その破線は追尾モードア� �コンの構成要素ではない(その破線は表示さ� ��ない)。

 図7(c)に示す如く、レベルアイコンは、符 号221~223が付された第1~第3のバーアイコンか� �形成される。第1~第3のバーアイコンは、上� �方向に並べて表示される。第1~第3のバーア� �コンは、夫々、平行四辺形の図形を画像と� �て表現したものであり、追尾対象の動きを� �メージしたような意匠を有する。

 ボディアイコンは、概ね四角形の外形を� ��し、その内部色は追尾状態に応じて変更さ� ��る。初期化前の追尾モードアイコンにおけ� ��ボディアイコンの内部色は、無色(即ち、透 明)とされる。従って、図6(a)に示す如く、表� ��用画像200におけるボディアイコンの内部に� ��、フレーム画像の対応部位の画像が表示さ� ��る。また、各バーアイコンは上述したよう� ��平行四辺形の外形を有し、その平行四辺形� ��内部色も追尾状態に応じて変更される。初� ��化前の追尾モードアイコンにおける各バー� ��イコンの内部色は、無色とされる。尚、初� ��化前の追尾モードアイコンにおけるボディ� ��イコンの内部色及び/又は各バーアイコンの 内部色を、無色以外の、事前に設定された色 (例えば、半透明色)とすることも可能である� ��また、図6(a)ではフェイスアイコンの内部色 も無色となっているが、フェイスアイコンの 内部色は任意である。

 追尾モードに設定された後、図4の追尾処 理部51は、順次入力されるフレーム画像に対� ��て顔検出処理を行う。そして、図5のステッ プS11に続くステップS12及びS13において、追尾 処理部51は現在のフレーム画像から顔が検出� ��れたか否かを確認し、顔が検出されており� ��つシャッタボタン17aが半押しの状態となっ� ��いる場合に、ステップS14に移行する。ユー� ��の視点で見れば、以下のような動作が行わ� ��る。ユーザが追尾モードの設定後、撮像装� ��1を人物の方向に向けてシャッタボタン17aを 半押しすれば自動的に顔が検出されてステッ プS14に至る。尚、本例では、ステップ14への� ��行条件をシャッタボタン17aに対する半押し� ��作としているが、その移行条件を他の任意� ��条件に変更することができる。例えば、操� ��部17に対し、定められた操作がなされた時� �、ステップS13からステップS14に移行すれば� �い。

 ステップS14において、追尾処理部51は、� �テップS14に至る直前に得られた、顔が検出� �れたフレーム画像を初期設定用フレーム画� �として捉え、初期設定用フレーム画像の画� �データに基づいて追尾色を設定する。追尾� �の設定方法を、図8を参照して説明する。図8 の画像230は初期設定用フレーム画像の例を表 している。図8において、破線矩形領域231は� �顔検出処理によって初期設定用フレーム画� �230から抽出された顔領域である。顔領域231� �抽出後、追尾処理部51は、その顔領域231に対 応する人物の胴体部分を含む領域である胴体 領域232を検出する。胴体領域232は、顔領域231 の下方側(眉間から口に向かう方向側)に存在� ��る矩形領域とされる。初期設定用フレーム� ��像における、胴体領域232の位置及び大きさ� ��、顔領域231の位置及び大きさに依存して決� ��される。

 その後、追尾処理部51は、胴体領域232内� �画像の画像データに基づいて胴体領域232内� �色を特定し、特定した色を追尾色として設� �する。例えば、胴体領域232内の画像を形成� �る各画素の色信号(例えば、RGB信号)に基づい て胴体領域232内の画像の色ヒストグラムを生 成する。そして、その色ヒストグラムに基づ いて胴体領域232内の画像における支配色又は 最頻色を求め、その求めた色を追尾色として 設定する。或る画像の支配色とは、その画像 の画像領域の大部分を占めている色を指し、 或る画像の最頻色とは、その画像の色ヒスト グラムにおいて最も高い度数を有している色 を指す(支配色と最頻色は同じでありうる)。� ��いは、胴体領域232内の画像を形成する各画� ��の色信号(例えば、RGB信号)を平均化するこ� �により胴体領域232内の画像の平均的な色を� �めて、その平均的な色を追尾色として設定� �るようにしてもよい。

 追尾色の設定後、図5のステップS15に移行 する。ステップS15において、表示制御部53に� ��り、追尾色設定後の追尾モードアイコンが� ��在のフレーム画像上に重畳されて表示され� ��。追尾色設定後の追尾モードアイコンの表� ��は、ステップS15及びそれに続くステップS16� ��おいて行われる。ここで表示される表示用� ��像の例を図9に示す。図9の表示用画像240の� �下に、追尾色設定後の追尾モードアイコン� �現在のフレーム画像上に重畳されている。� �尾色設定後の追尾モードアイコンにおける� �ディアイコンの内部色は、追尾色と同じ色(� ��は追尾色に類似する色)とされる。また、追 尾色設定後の追尾モードアイコンにおける各 バーアイコンの内部色は、追尾の信頼度によ って決定される。これについては後述する。 また、図9に示す如く、追尾対象人物の胴体� �域の一部又は全部を囲む枠241が重畳表示さ� �る。但し、この枠241の表示を、ユーザの指� �に従って消すことも可能である。

 ステップS16において、追尾処理部51は、� �テップS15の処理以後に得られるフレーム画� �列に対し、追尾処理を実行する。この追尾� �理が施されるべきフレーム画像列を形成す� �各フレーム画像を、特に追尾対象フレーム� �像という。追尾処理部51は、追尾対象フレー ム画像列の画像データに基づき、各追尾対象 フレーム画像における追尾対象人物の位置を 検出する。

 追尾処理部51は、追尾対象人物が有する� �情報に基づいて追尾処理を行う。色情報に� �づく追尾処理の方法として、特開平5-284411号 公報、特開2000-48211号公報、特開2001-169169号公 報などに記載の方法を用いることができる。 今の例において、追尾対象人物が有する色情 報は、上述の如く設定した追尾色によって表 現される。このため、追尾処理部51は、追尾� ��象フレーム画像の色信号に基づいて、追尾� ��との類似性が高い色を有する領域を追尾対� ��フレーム画像から抽出する。ここで抽出さ� ��た領域は、追尾対象フレーム画像内におけ� ��追尾対象人物の胴体領域とみなされる。

 より具体的には例えば、着目した追尾対� ��フレーム画像内に、追尾対象人物の胴体領� ��の大きさと同程度の大きさを有する追尾枠� ��設定して、追尾枠内における画像の色と追� ��色との類似性評価を追尾枠の位置を探索範� ��内で順次変更しながら実行し、最大の類似� ��が得られた追尾枠の位置に追尾対象人物の� ��体領域が存在すると判断する。今回の追尾� ��象フレーム画像に対する探索範囲は、前回� ��追尾対象フレーム画像から検出された追尾� ��象人物の位置を基準にして設定される。

 追尾処理部51は、次々と入力される追尾� �象フレーム画像に対して上述の色情報に基� �く追尾処理を実行することにより、各追尾� �象フレーム画像における追尾対象人物の位� �を検出する。例えば、追尾対象人物の位置� �、その追尾対象人物の胴体領域の中心座標� �によって表現される。

 また、追尾対象フレーム画像上における� ��尾対象人物の大きさは、追尾対象人物と撮� ��装置1との間の距離(実空間上の距離)の変化� ��どに起因して変化する。このため、追尾対� ��フレーム画像上における追尾対象人物の大� ��さに応じて上記の追尾枠の大きさを適切に� ��更していく必要があるが、この変更は、公� ��の追尾アルゴリズムで用いられる被写体サ� ��ズ検出方法を用いることによって実現され� ��。例えば、追尾対象フレーム画像において� ��追尾対象人物の胴体が存在すると予想され� ��点から十分に離れた点に背景が現れている� ��考え、両点間の画像特徴から両点間の各位� ��の画素が背景及び追尾対象人物の何れに属� ��るかを分類していく。この分類によって追� ��対象人物の輪郭が推定される。そして、そ� ��輪郭から追尾対象人物の大きさを推定し、� ��の推定された大きさに応じて追尾枠の大き� ��を設定する。

 追尾枠の大きさを設定するということは� ��追尾対象フレーム画像における追尾対象人� ��の胴体領域の大きさを検出するということ� ��同義である。また、追尾対象人物の大きさ� ��、胴体領域の大きさに比例するのであるか� ��、胴体領域の大きさの検出と同時に追尾対� ��人物の大きさも特定される。このため、追� ��処理部51は、各追尾対象フレーム画像にお� �る追尾対象人物の位置及び大きさを検出す� �こととなる。検出した位置及び大きさを表� �情報を含む追尾結果情報は、追尾信頼度評� �部52及び表示制御部53に伝達される(図4参照)� ��図9における枠241は、表示用画像240の基とな る追尾対象フレーム画像から検出された胴体 領域の一部又は全部を囲む枠であり、表示制 御部53は、その枠241を追尾結果情報に基づき� ��成する。

[追尾の信頼度の評価及び表示]
 次に、図10を参照して、追尾の信頼度の評� �方法及び表示方法を説明する。図10は、図5� �ステップS16にて実行される追尾処理の詳細� �ローチャートに相当する。この例において� �ステップS16の処理はステップS21~S24から形成� ��れることとなる。

 ステップS21において、現時点におけるフ� ��ーム画像1枚分のAFE12の出力信号から現在の� ��レーム画像が取得される。ここで取得され� ��フレーム画像は、上述したように、追尾対� ��フレーム画像である。続くステップS22にお� ��て、追尾処理部51は、ステップS21にて得ら� �た現在のフレーム画像における追尾対象人� �の位置を上述の追尾処理によって検出する� �但し、この位置が必ず検出されるとは限ら� �い。例えば、背景の色と追尾色が同じであ� �と、この位置の検出を失敗する。勿論、追� �対象人物が撮影範囲から外れてしまった場� �も、この位置を検出できない。ステップS22� �おいて追尾対象人物の位置を検出できた場� �はステップS23の処理が実行され、それを検� �できなかった場合はステップS24の処理が実� �される。

 ステップS23では、図4の追尾信頼度評価部 52が、ステップS22のフレーム画像に対してな� ��れた追尾の信頼度、換言すれば、ステップS 22のフレーム画像から検出された追尾対象人� ��の位置の信頼度を評価する。この評価は、� ��景の色及び追尾色に基づいて行われる。

 この評価方法を例示する。評価された信頼� ��を表す評価値を信頼度評価値と呼び、それ� ��EV _R にて表す。信頼度評価値を、追尾対象フレー ム画像ごとに算出することが可能である。EV _R は0以上100以下の値をとり、信頼度が高いと� �価されるほど信頼度評価値EV _R は増大する。

 追尾信頼度評価部52は、ステップS22で取� �される追尾対象フレーム画像を被演算画像� �して取り扱う。そして、図11に示す如く、被 演算画像の全体領域を水平方向及び垂直方向 に複数に分割することにより被演算画像内に 複数の小ブロックを設定する。今、水平方向 及ぶ垂直方向の分割数を夫々M及びNとする(M� �びNは2以上の整数)。各小ブロックは、(k×k)� �画素から形成される(kは2以上の整数であっ� �、例えばk=32)。また、被演算画像内の小ブロ ックの水平位置及び垂直位置を表す記号とし てm及びnを導入する(mは1≦m≦Mを満たす整数� �、且つ、nは1≦n≦Nを満たす整数値)。mが大� �くなるほど、その水平位置は右方向に向か� �、nが大きくなるほど、その垂直位置は下方� ��に向かうものとする。水平位置がmであって 垂直位置がnである小ブロックを小ブロック[m ,n]と表記する。

 追尾信頼度評価部52は、追尾結果情報に基� �いて被演算画像における追尾対象人物の胴� �領域の中心を認識し、その中心の位置が、� �れの小ブロックに属するかを特定する。図12 の点300は、この中心を表している。今、その 中心300が小ブロック[m _O ,n _O ]に属していたとする(m _O は1≦m≦Mを満たす整数値、且つ、n _O は1≦n≦Nを満たす整数値)。また、上述の被� �体サイズ検出方法を用いることにより、各� �ブロックを、追跡対象人物が描画されてい� �小ブロック又は背景が描画されている小ブ� �ックに分類する。前者の小ブロックを被写� �ブロックと呼び、後者の小ブロックを背景� �ロックと呼ぶ。図12は、中心300の周辺に現れ る追跡対象人物の色が背景の色と異なること をイメージ化して示している。

 追尾信頼度評価部52は、設定された追尾色� �背景ブロック内の画像の色との差を表す色� �評価値を、背景ブロック毎に算出する。背� �ブロックはQ個存在するものとし、第1~第Qの� ��景ブロックに対して算出された色差評価値� ��夫々C _DIS [1]~C _DIS [Q]にて表す(Qは、不等式「2≦Q≦(M×N)-1」を満 たす整数)。例えば、色差評価値C _DIS [1]を算出する際には、第1の背景ブロックに� �する各画素の色信号(例えば、RGB信号)を平均 化することにより第1の背景ブロック内の画� �の平均的な色を求め、その平均的な色の、RG B色空間上における位置を検出する。一方で� �追跡対象人物に対して設定された追尾色の� �RGB色空間上における位置も検出し、RGB色空� �上における両位置間の距離を色差評価値C _DIS [1]として算出する。これにより、対比される 色の相違度が増大すれば色差評価値C _DIS [1]は増大することになる。また、色差評価値 C _DIS [1]が取りうる値の範囲が0以上1以下となるよ� ��に、RGB色空間は正規化されているものとす� ��。他の色差評価値C _DIS [2]~C _DIS [Q]も同様にして算出される。尚、色差評価値 を求めるための色空間は、RGB色空間以外(例� �ば、HSV色空間)であってもよい。

 更に、追尾信頼度評価部52は、中心300と背� �ブロックとの、被演算画像上における空間� �な位置の差を表す位置差評価値を、背景ブ� �ック毎に算出する。第1~第Qの背景ブロック� �対して算出された位置差評価値を夫々P _DIS [1]~P _DIS [Q]にて表す。或る背景ブロックに対する位置 差評価値は、中心300と、その背景ブロックの 4頂点の内の、中心300に対する最近傍頂点と� �の距離とされる。小ブロック[1,1]が第1の背� �ブロックであると共に1<m _O 且つ1<n _O であり、図12に示す如く、小ブロック[1,1]の4� ��点の内、頂点301が中心300に最も近いとすれ� ��、位置差評価値P _DIS [1]は、中心300と頂点301との、被演算画像上に おける空間的な距離とされる。位置差評価値 P _DIS [1]が取りうる値の範囲が0以上1以下となるよ� ��に、被演算画像の空間領域は正規化されて� ��るものとする。他の位置差評価値P _DIS [2]~P _DIS [Q]も同様にして算出される。

 上述の如く求めた色差評価値及び位置差評� ��値に基づき、追尾信頼度評価部52は、下記� �(1)に従って、着目した被演算画像に対する� �合距離CP _DIS を算出する。そして、その統合距離CP _DIS を用い、下記式(2)に従って、着目した被演算 画像に対する信頼度評価値EV _R を算出する。即ち、「CP _DIS >100」の場合は「EV _R =0」とされ、「CP _DIS ≦100」の場合は「EV _R =100-CP _DIS 」とされる。この算出方法から理解されるよ うに、追尾対象人物の近くに追尾色と同色又 は類似色の背景が存在すれば、信頼度評価値 EV _R は低くなる。

 図10のステップS23において、表示制御部53は 、現在のフレーム画像(最新のフレーム画像)� ��対して算出された信頼度評価値EV _R に基づいて、そのフレーム画像に対して重畳 されるべきレベルアイコンの色を決定する。 そして、決定した色を有するレベルアイコン を含む追尾モードアイコンを現在のフレーム 画像に重畳することにより表示用画像を生成 及び表示する。

 図13(a)~(c)に、ステップS23にてフレーム画像� ��重畳すべきレベルアイコンを示す。本例で� ��、信頼度評価値EV _R を3段階に分類する。そして、不等式「EV _R ≧TH ₁ 」が成立するならば追尾の信頼度が高いと判 断して、図13(a)に示す如く、重畳すべきレベ� ��アイコンを形成する第1~第3のバーアイコン� ��内部色を規定色とする。バーアイコンの内� ��色として用いられる規定色とは、事前に設� ��された無色以外の色(例えば赤色)を意味す� �。また、不等式「TH ₁ >EV _R ≧TH ₂ 」が成立するならば追尾の信頼度が中程度で あると判断して、図13(b)に示す如く、重畳す� ��きレベルアイコンを形成する第1及び第2の� �ーアイコンの内部色を上記規定色とする一� �で第3のバーアイコンの内部色を無色とする� ��また、不等式「TH ₂ >EV _R 」が成立するならば追尾の信頼度が低いと判 断して、図13(c)に示す如く、重畳すべきレベ� ��アイコンを形成する第1のバーアイコンの内 部色を上記規定色とする一方で第2及び第3の� ��ーアイコンの内部色を無色とする。ここで� ��TH ₁ 及びTH ₂ は、不等式「100>TH ₁ >TH ₂ >0」を満たす所定の閾値である。

 他方、追尾対象人物の位置を検出できな� ��った場合に移行するステップS24では、追尾� ��象人物を見失ったことをレベルアイコンに� ��映させる。具体的には、ステップS24におい� ��、表示制御部53は、第1~第3のバーアイコン� �内部色を全て無色とした追尾モードアイコ� �を現在のフレーム画像に重畳することによ� �表示用画像を生成及び表示する。

 ステップS23又はS24における表示の後、ス� ��ップS21に戻り、上述のステップS21~S24から成 る処理が繰り返し実行される。

 図14(a)~(d)に、この追尾処理の実行中に表� ��される表示画面の様子を示す。図14(a)、(b)� �び(c)は、夫々、追尾の信頼度が高、中、低� �場合における表示画面の様子であり、図14(d) は追尾対象人物を見失った場合における表示 画面の様子である。

 上述の追尾処理の実行中にシャッタボタ� ��17aが全押しの状態とされると、追尾対象人� ��に着目した静止画像の撮影を行って、その� ��止画像の画像データを記録媒体16に記録す� �。例えば、追尾対象人物が撮像素子33の撮像 面の中央に配置されるように撮像素子33の位� ��を駆動制御した後、撮像素子33の出力信号� �取り込むことにより、追尾対象人物が中央� �配置された静止画像を取得する。或いは、� �尾対象人物が中央に配置された静止画像が� �られるように画像のトリミングを実行して� �よい。

 また、追尾対象人物が撮像装置1の撮影範 囲からはみ出しそうなとき(所謂フレームア� �トが生じそうなとき)、その旨を示す警告表� ��を行うようにしても良い。

 人物を追尾する機能を備えた撮像装置は� ��に開発されているが、今まで、その追尾の� ��頼度をユーザが知るすべはなかった。従っ� ��、追尾機能を有効にしているつもりでも、� ��つの間にか撮像装置が追尾対象を見失い、� ��果、所望の画像を得られなくなるといった� ��ともあった。本実施形態では、上述の如く� ��追尾の信頼度を複数段階に分類して評価し� ��その評価結果を表示する。これにより、追� ��の信頼度をユーザに知らしめることができ� ��。追尾の信頼度を知ることができれば、ユ� ��ザは、その信頼度を上げるための構図設定� ��追尾処理に頼り過ぎないカメラ操作の必要� ��を認識する。結果、所望の画像を取得でき� ��に終わるという事態の発生を避けることも� ��能となる。また、図7(a)~(c)に示す如く、人� �を模した追尾対象アイコン及び追尾対象の� �きをイメージしたような意匠を有するレベ� �アイコンを追尾モードアイコンに含めるこ� �により、それが人物追尾に関するアイコン� �あることをユーザに直感的に知らしめるこ� �ができる。

 また、追尾処理の実行中、追尾色をボデ� ��アイコンの内部色とすることにより、撮像� ��置1が何れの被写体を追尾しているのかを、 ユーザに分かりやすく示すことができる。一 方で、追尾処理の初期化前には、そのボディ アイコンの内部色を無色とする。これにより 、追尾が機能し始めたかどうかを明確にユー ザに知らしめることができる。

 以下に、様々な状況に応じた表示例を第1 ~第12応用表示例として説明する。以下に示す 各応用表示例は、上述の構成及び動作を基本 としており、上述した内容は矛盾なき限り各 応用表示例に適用される。また、矛盾なき限 り、或る応用表示例に示した事項を、他の応 用表示例に示した事項と組み合わせて実施す ることも可能である。

[第1応用表示例]
 追尾対象人物の服の色が単色でなく複数の� ��を含んでいる場合、ボディアイコンの内部� ��複数の色にて満たすようにしてもよい。

 例えば、追尾対象人物の上半身の服が赤� ��と青色にて染められており、その服の上半� ��の色が赤色であって且つ下半分の色が青色� ��ある場合を考える。この場合、追尾処理部5 1は、追尾対象人物を含むフレーム画像の画� �データに基づいて追尾色を赤色と青色に設� �する。その設定後、表示制御部53は、図15に� ��すような、内部色として赤色と青色を有す� ��ボディアイコンを表示するようにする。

 追尾の際には、赤色を有する画像領域を� ��索するための追尾枠と青色を有する画像領� ��を探索するための追尾枠を追尾対象フレー� ��画像内に設定し、両画像領域の探索結果に� ��づいて追尾対象人物の位置を検出すればよ� ��。或いは、赤色と青色を含む画像領域をセ� ��トにして考え、赤色と青色を含む画像領域� ��追尾対象フレーム画像内で探索することに� ��って追尾対象人物の位置を検出するように� ��てもよい。

 更に或いは、赤色と青色に探索の優先順� ��を付けておくようにしてもよい。この場合� ��おいて、例えば赤色の優先順位が高いなら� ��、まず、赤色を有する画像領域を探索する� ��めの追尾枠を追尾対象フレーム画像内に設� ��し、その画像領域の探索結果に基づいて追� ��対象人物の位置を検出する。その探索がで� ��なかった場合には、青色を有する画像領域� ��探索するための追尾枠を追尾対象フレーム� ��像内に設定して、その画像領域の探索結果� ��基づいて追尾対象人物の位置を検出する。

[第2応用表示例]
 操作部17への操作を用いたユーザによる指� �により、優先色を設定することができる。� �えば、赤色が優先色として設定されている� �合、追尾処理部51は、赤色を追尾色として優 先的に設定し、赤色を有する画像領域を追尾 対象フレーム画像内から探索して追尾する。

 使用状況を想定してより具体的に説明す� ��。今、撮影範囲内に赤色の服を着た人物と� ��色の服を着た人物が存在しており、撮影者� ��前者の人物を重視していたとする。この場� ��、撮影者は、撮像装置1の動作モードを追尾 モードに設定し、更に優先色を赤色に設定す る。そうすると、図5のステップS11において� �内部色が赤色のボディアイコンを含む追尾� �ードアイコンが表示される。初期設定用フ� �ーム画像から第1の顔領域と第2の顔領域が抽 出されるが、追尾処理部51は、優先色の設定� ��容に基づき、赤色の胴体領域に対応する人� ��を追尾対象人物として捉える。即ち例えば� ��初期設定用フレーム画像の画像データに基� ��き、第1の顔領域に対応する胴体領域の色が 赤色又は赤色の類似色であって且つ第2の顔� �域に対応する胴体領域の色が青色又は青色� �類似色であることが判断されると、第1の顔� ��域に対応する人物が追尾対象人物として設� ��されると共に、第1の顔領域に対応する胴体 領域の色が追尾色として設定される。この後 の追尾動作は上述したとおりである。

[第3応用表示例]
 撮影範囲に複数の人物が存在しているとき� ��その複数の人物を追尾対象人物として追尾� ��、人数分の追尾対象アイコンを表示するこ� ��ができる。

 第1~第3の人物が撮影範囲内に含まれてい� ��場合を想定して具体例を挙げる。この場合� ��追尾処理部51は、初期設定用フレーム画像� �ら第1~第3の人物に対応する第1~第3の顔領域� �抽出する。そして、シャッタボタン17aの半� �し状態が確認されると、ステップS14におい� �、追尾処理部51は、初期設定用フレーム画像 から第1~第3の顔領域に対応する第1~第3の胴体 領域を抽出して、各胴体領域内の画像の画像 データに基づき各胴体領域内の色を特定し、 第1~第3の胴体領域に対して特定された色をそ れぞれ第1~第3の追尾色として設定する。そし て、追尾処理部51は、第1~第3の人物を第1~第3� ��追尾対象人物として取り扱って、追尾対象� ��レーム画像列における各追尾対象人物の位� ��を個別に検出することにより各追尾対象人� ��を個別に追尾する。

 ここで示した具体例を、便宜上「複数人� ��体例α」と呼ぶ。複数人具体例αでは、第1~� ��3の人物が撮影範囲内に含まれ、且つ、第1~� ��3の人物に対応して第1~第3の顔領域及び第1~� ��3の胴体領域が抽出されると共に第1~第3の追 尾色が設定され、且つ、第1~第3の人物が第1~� ��3の追尾対象人物として取り扱われて各追尾 対象人物が個別に追尾される。第3~8応用表示 例では、この複数人具体例αの想定下におけ� ��動作及び表示方法を説明する。

 図16(a)に、或る追尾対象フレーム画像か� �生成可能な表示用画像400を示す。表示用画� �400の右下に、第1~第3の追尾対象人物に対応� �る第1~第3の追尾対象アイコンと1つのレベル� ��イコンとから形成され且つそれらが左右方� ��に互いに重ならないように配置された追尾� ��ードアイコンが描画される。図16(b)に、表� �用画像400における第1~第3の追尾対象アイコ� �の拡大図を示す。第1~第3の追尾対象アイコ� �は互いに重ならないように左右方向に並べ� �表示され、第1~第3の追尾対象アイコンにお� �るボディアイコンの内部色は、夫々、第1~第 3の追尾色とされる。

[第4応用表示例]
 追尾処理において、追尾処理部51は、追尾� �象フレーム画像上における第1~第3の追尾対� �人物の位置を個別に検出しようとする。し� �しながら、背景色と追尾色との近似や障害� �による遮蔽などに起因して、或る追尾対象� �物の位置は検出できるが他の追尾対象人物� �位置は検出できない、といったことも生じ� �る。前者の追尾対象人物は、実際に追尾で� �ている追尾対象人物であり、それを実追尾� �物と呼ぶ。後者の追尾対象人物は、実際に� �尾できていない追尾対象人物であり、それ� �追尾ロスト人物と呼ぶ。

 第1~第3の追尾対象人物の中に実追尾人物� ��追尾ロスト人物が混在している場合、前者� ��対応する追尾対象アイコンと後者の追尾対� ��アイコンの表示形式を異ならせても良い。� ��れにより、追尾対象人物ごとに、追尾でき� ��いるのか否かを分かりやすくユーザに知ら� ��めることができる。

 例えば、実追尾人物に対応する追尾対象� ��イコンのみを強調表示する。より具体的に� ��例えば、図17(a)及び(b)に示す如く、実追尾� �物に対応する追尾対象アイコンの輪郭を比� �的太くする一方で追尾ロスト人物に対応す� �追尾対象アイコンの輪郭を比較的細くする� �図17(a)は、第1及び第2の人物が実追尾人物で� ��って且つ第3の人物が追尾ロスト人物である 場合に対応し、図17(b)は、第1及び第3の人物� �実追尾人物であって且つ第2の人物が追尾ロ� ��ト人物である場合に対応する。尚、第1~第3� ��人物が全て実追尾人物である場合は、第1~� �3の追尾対象アイコンの輪郭を全て比較的太� ��すると良い。

 表示形式の異ならせ方として様々な変形� ��が考えられ、点滅の有無、表示サイズの変� ��、表示色の変更などによって、表示形式の� ��違を実現しても良い。即ち例えば、実追尾� ��物に対応する追尾対象アイコンを表示画面� ��で常時表示させる一方で、追尾ロスト人物� ��対応する追尾対象アイコンを表示画面上で� ��滅表示させるようにしてもよい。或いは例� ��ば、実追尾人物に対応する追尾対象アイコ� ��の表示サイズを追尾ロスト人物のそれより� ��大きくしてもよい。

[第5応用表示例]
 また、図16(a)に示す如く、第1~第3の追尾対� �人物に対応する第1~第3の追尾対象アイコン� �1つのレベルアイコンとから形成され且つそ� ��らが左右方向に互いに重ならないように配� ��された追尾モードアイコンを表示する場合� ��おいて、第1~第3の追尾対象人物の中に実追� ��人物と追尾ロスト人物が混在しているとき� ��実追尾人物に対応する追尾対象アイコンを� ��尾ロスト人物のそれよりもレベルアイコン� ��に表示するとよい。

 即ち例えば、第1及び第2の人物が実追尾� �物であって且つ第3の人物が追尾ロスト人物� ��あるとき、図18(a)に示す如く、表示画面の� �側から右側に向かって、レベルアイコン、� �1の人物に対応する追尾対象アイコン、第2の 人物に対応する追尾対象アイコン、第3の人� �に対応する追尾対象アイコンの順番に各ア� �コンを並べて表示する。この後、第1及び第2 の人物が追尾ロスト人物へと変化すると共に 第3の人物が実追尾人物へと変化したならば� �図18(b)に示す如く、表示画面の左側から右側 に向かって、レベルアイコン、第3の人物に� �応する追尾対象アイコン、第1の人物に対応� ��る追尾対象アイコン、第2の人物に対応する 追尾対象アイコンの順番に各アイコンを並べ て表示する。

[第6応用表示例]
 また、追尾信頼度評価部52は、実追尾人物� �複数存在する場合、複数の実追尾人物の夫� �に対して個別に信頼度評価値を算出し、こ� �によって追尾の信頼度を実追尾人物ごとに� �価する。表示制御部53は、各実追尾人物に対 して求められた信頼度評価値の内、最大の信 頼度評価値を特定し、最大の信頼度評価値に 対応する実追尾人物の追尾対象アイコンを最 もレベルアイコンの近くに配置すると共に該 最大の信頼度評価値をレベルアイコンに反映 させる。

 図16(a)に示す如く、第1~第3の追尾対象人物� �対応する第1~第3の追尾対象アイコンと1つの� ��ベルアイコンとから形成され且つそれらが� ��右方向に互いに重ならないように配置され� ��追尾モードアイコンを表示することを前提� ��して、より具体的に説明する。今、第2及び 第3の人物が実追尾人物であって且つ第1の人� ��が追尾ロスト人物であったとする。また、� ��目した1枚の追尾対象フレーム画像の画像デ ータを用いて第2及び第3の追尾対象人物に対� ��て算出された信頼度評価値を、夫々、EV _R2 及びEV _R3 にて表す。そして、不等式「EV _R2 >EV _R3 」が成立していたとする。また更に、不等式 「EV _R2 ≧TH ₁ 」及び「TH ₂ >EV _R3 」が成立していたものとする(即ち、第2の人� ��に対する追尾の信頼度は高く、第3の人物に 対する追尾の信頼度は低い)。

 この場合、図19(a)に示すような追尾モード� �イコンが、着目した追尾対象フレーム画像� �に重畳して表示される。即ち、表示画面の� �側から右側に向かって、レベルアイコン、� �2の人物に対応する追尾対象アイコン、第3の 人物に対応する追尾対象アイコン、第1の人� �に対応する追尾対象アイコンの順番に各ア� �コンが並べて表示される。第1の人物が追尾� ��スト人物であることを考慮して、第1の人物 に対応する追尾対象アイコンの表示位置をレ ベルアイコンの表示位置から最も離す(図18(a) 及び(b)を参照)。そして、レベルアイコンに� �ける各バーアイコンの内部色を、最大の信� �度評価値である信頼度評価値EV _R2 に従って決定する。今の例の場合、不等式「 EV _R2 ≧TH ₁ 」が成立するため、第1~第3のバーアイコンの 内部色は全て無色以外の規定色とされる。

 また、これに代えて、最小の信頼度評価値� ��対応する追尾対象人物の追尾対象アイコン� ��最もレベルアイコンの近くに配置すると共� ��該最小の信頼度評価値をレベルアイコンに� ��映させてもよい。この場合は、図19(b)に示� �ような追尾モードアイコンが、着目した追� �対象フレーム画像上に重畳して表示される� �即ち、表示画面の左側から右側に向かって� �レベルアイコン、第3の人物に対応する追尾� ��象アイコン、第2の人物に対応する追尾対象 アイコン、第1の人物に対応する追尾対象ア� �コンの順番に各アイコンが並べて表示され� �。そして、レベルアイコンにおける各バー� �イコンの内部色を、最小の信頼度評価値で� �る信頼度評価値EV _R3 に従って決定する。今の例の場合、不等式「 TH ₂ >EV _R3 」が成立するため、第1のバーアイコンの内� �色のみが無色以外の規定色とされ、第2及び� ��3のバーアイコンの内部色は無色とされる。

[第7応用表示例]
 また、実追尾人物が複数存在する場合、図2 0(a)に示すような、レベルアイコンと追尾対� �アイコンの組を2組分有する追尾モードアイ� ��ン420を表示することも可能である。追尾モ� ��ドアイコン420は、第1組に属するレベルアイ コン及び追尾対象アイコンと、第2組に属す� �レベルアイコン及び追尾対象アイコンと、� �互いに重ならないように左右方向に並べる� �とによって形成される。第1~第3の人物が全� �実追尾人物であることを想定して追尾モー� �アイコン420の生成方法を説明する。

 今、着目した1枚の追尾対象フレーム画像の 画像データを用いて第1~第3の追尾対象人物に 対して算出された信頼度評価値を、夫々、EV _R1 ~EV _R3 にて表す。そして、不等式「EV _R2 >EV _R1 >EV _R3 」が成立していたとする。また更に、不等式 「EV _R2 ≧TH ₁ 」及び「TH ₂ >EV _R3 」が成立していたものとする(即ち、第2の人� ��に対する追尾の信頼度は高く、第3の人物に 対する追尾の信頼度は低い)。

 表示制御部53は、各実追尾人物に対して� �められた信頼度評価値の内、最大の信頼度� �価値及び最小の信頼度評価値を特定し、最� �の信頼度評価値及び最大の信頼度評価値に� �応する実追尾人物の追尾色を第1組に属する� ��ベルアイコン及び追尾対象アイコンに反映� ��ると共に、最小の信頼度評価値及び最小の� ��頼度評価値に対応する実追尾人物の追尾色� ��第2組に属するレベルアイコン及び追尾対象 アイコンに反映する。この場合に表示される 追尾モードアイコンを、図20(b)に示す。

 今の場合、最大の信頼度評価値はEV _R2 である。従って、EV _R2 に従って第1組のレベルアイコンが生成され� �と共に、第1組の追尾対象アイコンのボディ� ��イコンの内部色は第2の追尾対象人物に対す る追尾色とされる。今の例では、不等式「EV _R2 ≧TH ₁ 」が成立するため、第1組のレベルアイコン� �おける第1~第3のバーアイコンの内部色は全� �無色以外の規定色とされる。

 また、最小の信頼度評価値はEV _R3 である。従って、EV _R3 に従って第2組のレベルアイコンが生成され� �と共に、第2組の追尾対象アイコンのボディ� ��イコンの内部色は第3の追尾対象人物に対す る追尾色とされる。今の例では、不等式「TH ₂ >EV _R3 」が成立するため、第2組のレベルアイコン� �おいて、第1のバーアイコンの内部色のみが� ��色以外の規定色とされ、第2及び第3のバー� �イコンの内部色は無色とされる。

 尚、実追尾人物が3人以上である場合、レ ベルアイコンと追尾対象アイコンの組を3組� �以上有する追尾モードアイコンを表示する� �とも可能である。例えば、レベルアイコン� �追尾対象アイコンの組を実追尾人物の人数� �表示することも可能である。

[第8応用表示例]
 また、第1~第3の追尾対象人物の間で異なる� ��尾優先度が設定されている場合は、追尾優� ��度に応じて追尾対象アイコンの表示サイズ� ��変更してもよい。

 例えば、図16(a)に示す如く、第1~第3の追� �対象人物に対応する第1~第3の追尾対象アイ� �ンと1つのレベルアイコンとから形成され且� ��それらが左右方向に互いに重ならないよう� ��配置された追尾モードアイコンを生成して� ��示する場合を想定する。この想定下におい� ��、第1の追尾対象人物に対して設定された追 尾優先度が第2及び第3の追尾対象人物のそれ� ��よりも高い場合、図21(a)に示す如く、第1の� ��尾対象人物に対応する追尾対象アイコンの� ��示サイズを、第2及び第3の追尾対象人物に� �応するそれらよりも大きくする。更に、第2� ��追尾対象人物に対して設定された追尾優先� ��が第3の追尾対象人物に対するそれよりも高 い場合は、図21(b)に示す如く、第2の追尾対象 人物に対応する追尾対象アイコンの表示サイ ズを、第3の追尾対象人物に対応するそれよ� �も大きくしてもよい。

 レベルアイコンを形成する各バーアイコ� ��の内部色は、例えば、最も高い追尾優先度� ��設定された追尾対象人物の信頼度評価値に� ��って決定される。或いは、上述の第6応用表 示例に記載した方法に従って、各バーアイコ ンの内部色を決定していても良い(図19(a)及び (b)参照)。

 追尾優先度の設定方法は任意である。例� ��ば、ユーザによる追尾優先度指示に従って� ��尾優先度を設定することができる。追尾優� ��度指示は、操作部17に対する所定操作等に� �って撮像装置1に与えられる。また、第2応用 表示例で述べたように優先色が設定されてい る場合、その優先色又は優先色の類似色を胴 体領域の色として有する追尾対象人物に対し て、他の追尾対象人物よりも高い追尾優先度 を自動的に与えるようにしてもよい。

 或いは例えば、高い追尾優先度を与えた� ��人物の顔の画像を登録顔画像として撮像装� ��1に予め記憶させておいてもよい。この場合 において、初期設定用フレーム画像から複数 の顔領域が抽出された時、追尾処理部51は、� ��顔領域の画像の画像データと登録顔画像の� ��像データに基づいて各顔領域の画像と登録� ��画像との類似度を評価し、複数の顔領域の� ��に、所定の基準類似度よりも高い類似度を� ��える顔領域が含まれているか否かを判断す� ��。そして、所定の基準類似度よりも高い類� ��度を与える顔領域が含まれていると判断し� ��場合には、その顔領域に対応する人物に比� ��的高い追尾優先度を設定し、それ以外の顔� ��域に対応する人物に対して比較的低い追尾� ��先度を設定する。

 また、上述してきた各例では複数の追尾� ��象アイコンが左右方向に互いに重ならない� ��うに並べて表示されるが、図22に示す如く� �複数の追尾対象アイコンを前後に重ねて表� �することも可能である。図22に示される追尾 モードアイコン440は、1つのレベルアイコン� �前後に重ねられた3つの追尾対象アイコン441~ 443とから形成される。レベルアイコンと追尾 対象アイコン群は、互いに重ならないように 左右方向に並べて配置される。追尾対象アイ コン441~443は、夫々、第1~第3の追尾対象人物� �対応する第1~第3の追尾対象アイコンである� �

 そして、追尾対象アイコン441~443の表示位 置の前後関係を、追尾優先度に従って決定す るとよい。図22に示す表示例では、第1の追尾 対象人物に対して設定された追尾優先度が第 2及び第3の追尾対象人物のそれらよりも高く� ��っており、この追尾優先度の設定内容に従� ��て第1の追尾対象アイコン441が第2及び第3の� ��尾対象アイコン442及び443の前に重畳表示さ� ��る。このため、追尾対象アイコン441は全体� ��視認可能である一方、追尾対象アイコン442� ��一部及び追尾対象アイコン443の一部は、追� ��対象アイコン441に遮蔽されるため観察者に� ��って視認されない。換言すれば、追尾対象� ��イコン441は全体像が表示されるが、追尾対� ��アイコン442及び443は一部しか表示されない� ��

[第9応用表示例]
 また、上述してきた各例ではレベルアイコ� ��にて追尾の信頼度を表現しているが、ボデ� ��アイコンの色によって、それを表現するよ� ��にしてもよい。この場合、表示制御部53は� �追尾対象アイコンのみを含む追尾モードア� �コンを追尾対象フレーム画像上に重畳する� �とによって表示用画像を生成する。

 具体的には例えば、追尾処理において、着� ��した追尾対象フレーム画像の画像データを� ��いて或る追尾対象人物に対する信頼度評価� ��EV _R を算出し、その信頼度評価値EV _R と上述の閾値TH ₁ 及びTH ₂ との大小関係を評価する。そして、不等式「 EV _R ≧TH ₁ 」が成立するならば追尾の信頼度が高いと判 断して、図23(a)に示す如く、追尾対象フレー� ��画像に重畳して表示すべき追尾対象アイコ� ��のボディアイコンの内部色を第1の色とする 。また、不等式「TH ₁ >EV _R ≧TH ₂ 」が成立するならば追尾の信頼度が中程度で あると判断して、図23(b)に示す如く、そのボ� ��ィアイコンの内部色を第2の色とし、不等式 「TH ₂ >EV _R 」が成立するならば追尾の信頼度が低いと判 断して、図23(c)に示す如く、そのボディアイ� ��ンの内部色を第3の色とする。

 第1~第3の色は、互いに異なる所定の色で� ��る。例えば、第1、第2及び第3の色は、それ� ��れ緑、黄、赤とされる。尚、ボディアイコ� ��の色によって追尾の信頼度を表現する場合� ��ボディアイコンの色を追尾色とすることは� ��きない。従って、この場合、追尾色を表現� ��る別のアイコンを別途用意して表示するよ� ��にしてもよい。

[第10応用表示例]
 フェイスアイコンを人物の顔を模した単純� ��図形画像としてもよいが、フェイスアイコ� ��を撮像素子33の出力信号から得た画像を用� �て生成するようにしてもよい。具体的には� �初期設定用フレーム画像から追尾対象人物� �顔領域が検出された際、その顔領域内の画� �そのものをフェイスアイコンの画像とする� �或いは、その顔領域内の画像データに基づ� �て追尾対象人物の顔を模した画像を生成し� �その生成した画像をフェイスアイコンの画� �とする。図24に、そのようなフェイスアイコ ンを含む追尾モードアイコンを示す。

 また、複数の登録アイコンを撮像装置1に 予め記録させておき、その複数の登録アイコ ンの中からフェイスアイコンとして用いるア イコンを、ユーザに選択させてもよい。撮像 装置1に必要なデータを供給することにより� �ユーザは希望のアイコンを上記複数の登録� �イコンの中に含めることができる。また、� �像装置1にて事前に撮影した顔画像を上記複� ��の登録アイコンの中に含めておくこともで� ��る。

 また、フレーム画像の画像データに基づ� ��て追尾対象人物の性別を判別し、性別によ� ��てボディアイコンの形状を変化させても良� ��。例えば、追尾対象人物が男性である場合� ��その追尾対象人物に対応するボディアイコ� ��の形状を図25(a)に示す如く上方部で曲線を� �する概略四角形とし、追尾対象人物が女性� �ある場合、その追尾対象人物に対応するボ� �ィアイコンの形状を図25(b)に示す如く下方を 底辺とする台形(スカートをイメージした台� �)とする。尚、性別の判別方法として、公知� ��方法(例えば、特開2004-246456号公報に記載の� ��法)を用いることができる。

 また、上述の被写体サイズ検出方法を用� ��て推定した追尾対象人物の大きさを、追尾� ��象アイコンの大きさに反映させても良い。� ��えば、着目した追尾対象フレーム画像内に� ��1及び第2の追尾対象人物が含まれ、その追� �対象フレーム画像において、第2の追尾対象� ��物の方が第1の追尾対象人物よりも大きさが 大きいと判断された場合、図26(a)に示すよう� ��第1の追尾対象人物に対応する追尾対象アイ コン461及び第2の追尾対象人物に対応する追� �対象アイコン462を含む追尾モードアイコン� �追尾対象フレーム画像に重畳して表示する� �追尾対象アイコン462の表示サイズは追尾対� �アイコン461の表示サイズよりも大きい。図26 (a)では、追尾対象アイコン461及び462が互いに 重ならないように並べて配置されているが、 図26(b)に示す如く、それらを前後に重ねて表� ��することも可能であり、その前後関係を追� ��優先度に従って決定することも可能である( 第8応用表示例を参照)。

[第11応用表示例]
 追尾処理をパターンマッチングを用いて行� ��ことも可能である。即ち例えば、初期設定� ��フレーム画像から顔領域を抽出して、その� ��領域に対応する胴体領域を抽出したとき、� ��の胴体領域の画像をテンプレートとして記� ��しておく。その後、追尾対象フレーム画像� ��から、そのテンプレートとの類似度が高い� ��像領域を探索することによって、追尾対象� ��レーム画像上における追跡対象人物の位置� ��検出する(即ち、追尾を行う)。

 このような場合、追尾されるパターンを� ��いて追尾モードアイコンを形成しても良い� ��例えば、追尾対象人物の上半身の服の模様� ��横縞模様である場合、テンプレートの模様� ��横縞模様となる。この場合、図27に示す如� �、テンプレートの全体又は一部画像をボデ� �アイコン内の画像として用いた追尾モード� �イコンを表示することが可能である。

[第12応用表示例]
 また、上述してきた任意の追尾モードアイ� ��ンに、画像上における追尾対象人物の動き� ��を表す動き量アイコンを追加してもよい。� ��の場合、動き量アイコンを含む追尾モード� ��イコンが追尾処理実行時における各フレー� ��画像に重畳して表示される。追尾処理部51� �複数の追尾対象フレーム画像間における追� �対象人物の位置変化を求めれば、画像上に� �ける追尾対象人物の動き量は求まる。この� �き量は、その位置変化の増大に従って増大� �る、0以上の値をとる。

 求めた動き量は複数段階に分類して表示� ��れる。図28に、動き量アイコンを示す。動� �量アイコンは3つのバーアイコン501~503から形 成される。バーアイコン501~503は、上下方向� �並べて表示される。バーアイコン501~503は、� ��々、平行四辺形の図形を画像として表現し� ��ものである。

 バーアイコン501~503の内部色を動き量に応じ て変化させることが可能である。バーアイコ ン501~503の内部色の決定法を説明する。今、� �めた動き量をEV _M で表す。主制御部13は、この動き量EV _M と所定の閾値TH _M1 ~TH _M3 とを比較する。ここで、TH _M1 >TH _M2 >TH _M3 >0、である。

 そして、不等式「EV _M ≧TH _M1 」が成立する場合は、図29(a)に示す如く、バ� ��アイコン501~503の内部色を全て規定色とする 。バーアイコン501~503の内部色として用いら� �る規定色とは、事前に設定された無色以外� �色(例えば赤色)を意味する。不等式「TH _M1 >EV _M ≧TH _M2 」が成立する場合は、図29(b)に示す如く、バ� ��アイコン501及び502の内部色を上記規定色と� ��る一方でバーアイコン503の内部色を無色と� ��る。不等式「TH _M2 >EV _M ≧TH _M3 」が成立する場合は、図29(c)に示す如く、バ� ��アイコン501の内部色を上記規定色とする一� ��でバーアイコン502及び503の内部色を無色と� ��る。不等式「TH _M3 >EV _M 」が成立する場合は、図29(d)に示す如く、バ� ��アイコン501~503の内部色を全て無色とする。

 尚、このような動き量アイコンと追尾対� ��アイコンのみを有する追尾モードアイコン� ��表示するようにしてもよい。即ち、上述し� ��きた、追尾の信頼度を表すレベルアイコン� ��追尾モードアイコンから削除し、代わりに� ��き量アイコンを表示することも可能である� ��

 また、動き量アイコンを別途表示するので� ��なく、上述してきた任意の追尾モードアイ� ��ンにおけるレベルアイコンの形状変化によ� ��て動き量を表現しても良い。即ち例えば、� ��30に示す如く、レベルアイコンを形成する� �バーアイコンの左右方向の長さを、不等式� �EV _M ≧TH _M1 」が成立する場合、不等式「TH _M1 >EV _M ≧TH _M2 」が成立する場合、不等式「TH _M2 >EV _M ≧TH _M3 」が成立する場合、不等式「TH _M3 >EV _M 」が成立する場合、夫々、長さL ₁ 、L ₂ 、L ₃ 及びL ₄ とする。ここにおける長さとは、表示画面上 における長さであり、また、L ₁ >L ₂ >L ₃ >L ₄ である。この場合も、レベルアイコンを形成 する各バーアイコンの内部色を追尾の信頼度 に従って決定することができる。

 <<変形等>>
 上述した説明文中に示した具体的な数値は� ��単なる例示であって、当然の如く、それら� ��様々な数値に変更することができる。上述� ��実施形態の変形例または注釈事項として、� ��下に、注釈1~注釈3を記す。各注釈に記載し� ��内容は、矛盾なき限り、任意に組み合わせ� ��ことが可能である。

[注釈1]
 上述の実施形態では、追尾対象が人物(又は 人物の特定部位)である場合を例示したが、� �尾対象は人物(又は人物の特定部位)以外でも よい。例えば、追尾対象を、自動車等の車両 や移動するロボットしてもよい。

[注釈2]
 上述の実施形態では、フレームを単位とし� ��考え、フレーム画像列に対して、顔検出処� ��や追尾処理を含む各種の処理を行っている� ��、フィールドを単位として考え、フィール� ��画像列に対して、それらの処理を行うよう� ��してもよい。

[注釈3]
 図1の撮像装置1は、ハードウェア、或いは� �ハードウェアとソフトウェアの組み合わせ� �よって実現可能である。特に、図4の符号51~5 3によって参照される各部位は、ハードウェ� �、ソフトウェア、またはハードウェアとソ� �トウェアの組み合わせによって実現可能で� �る。ソフトウェアを用いて撮像装置1を構成� ��る場合、ソフトウェアにて実現される部位� ��ついてのブロック図は、その部位の機能ブ� ��ック図を表すことになる。また、図4の符号 51~53によって参照される各部位が行う演算処� ��の全部または一部を、プログラムとして記� ��し、該プログラムをプログラム実行装置(例 えばコンピュータ)上で実行することによっ� �、その演算処理の全部または一部を実現す� �ようにしてもよい。