以下、発明の実施の形態を通じて本発明� ��(一)側面を説明するが、以下の実施形態は� �求の範囲にかかる発明を限定するものでは� �い。また実施形態の中で説明されている特� �の組み合わせの全てが発明の解決手段に必� �であるとは限らない。

 図1は、一実施形態に係わる画像処理シス テム10の一例を示す。画像処理システム10は� �以下に説明するように、監視システムとし� �機能することができる。

 画像処理システム10は、監視対象空間150� �撮像する複数の撮像装置100a-d(以下、撮像装� ��100と総称する。)、撮像装置100により撮像さ れた撮像画像を処理する画像処理装置120、通 信ネットワーク110、画像処理装置170、画像DB1 75、および複数の表示装置180a-d(以下、表示装 置180と総称する。)を備える。画像処理装置17 0および表示装置180は、監視対象空間150と異� �る空間160に設けられている。

 撮像装置100aは、撮像部102aおよび撮像画� �圧縮部104aを有している。撮像部102aは、連続 して監視対象空間150を撮像することによって 複数の撮像画像を撮像する。なお、撮像部102 aにより得られる撮像画像は、RAW形式の撮像� �像であってよい。撮像画像圧縮部104aは、撮� ��部102aにより撮像されたRAW形式の撮像画像を 同時化して、同時化して得られた複数の撮像 画像を含む撮像動画をMPEG符号化等により圧� �して、撮像動画データを生成する。このよ� �に、撮像装置100aは、監視対象空間150を撮像� ��て得られた撮像動画を符号化して撮像動画� ��ータを生成する。撮像装置100aは、当該撮像 動画データを画像処理装置120に出力する。

 なお、撮像装置100b、撮像装置100c、およ� �撮像装置100dは、それぞれ撮像装置100aと同様 の構成を有するので、撮像装置100b、撮像装� �100c、および撮像装置100dの各構成要素の説明 を省略する。このようにして、画像処理装置 120は、複数の撮像装置100のそれぞれにより生 成された撮像動画データを、複数の撮像装置 100のそれぞれから取得する。

 そして、画像処理装置120は、撮像装置100� ��ら取得した撮像動画データを復号して撮像� ��画を取得する。画像処理装置120は、取得し� ��撮像動画に含まれる複数の撮像画像のそれ� ��れから、人物130が撮像された領域、車輌等� ��移動体140が撮像された領域等のように、特� ��の種類が異なる複数の特徴領域を検出する� ��そして、画像処理装置120は、特徴の種類に� ��じた強度で特徴領域の画像を圧縮するとと� ��に、特徴領域以外の領域の画像を、それぞ� ��の特徴領域の画像を圧縮する圧縮強度より� ��い強度で圧縮する。

 なお、画像処理装置120は、撮像画像にお� ��る各特徴領域の画像を、特徴領域の特徴の� ��類に応じた色数および/または階調数の画像 に変換する。また、画像処理装置120は、フレ ーム間圧縮における動きベクトルを算出する 場合に、複数の撮像画像間における類似した 特徴領域の位置の差が大きいほど、動きベク トルを算出するための動きベクトル探索範囲 をより広くする。

 なお、画像処理装置120は、撮像画像から� ��出された特徴領域を特定する情報を含む特� ��領域情報を生成する。そして、画像処理装� ��120は、特徴領域情報を圧縮動画データに付� ��して、通信ネットワーク110を通じて画像処� ��装置170に送信する。

 画像処理装置170は、特徴領域情報が対応� ��けられた圧縮動画データを画像処理装置120� ��ら受信する。そして、画像処理装置170は、� ��信した圧縮動画データを、対応づけられて� ��る特徴領域情報を用いて伸張して表示用動� ��を生成して、生成した表示用動画を表示装� ��180に供給する。なお、このとき、画像処理� ��置170は、特徴領域の画像が同じ大きさで表� ��される表示用動画を生成してよい。そして� ��表示装置180は、画像処理装置170から供給さ� ��た表示用動画を表示する。

 また、画像処理装置170は、圧縮動画デー� ��に対応づけられている特徴領域情報に対応� ��けて、当該圧縮動画データを画像DB175に記� �してもよい。なお、画像DB175は、ハードディ スク等の不揮発性の記録媒体を有してよく、 圧縮動画データおよび特徴領域情報を当該記 録媒体に保持してよい。

 そして、画像処理装置170は、表示装置180� ��らの要求に応じて、画像DB175から圧縮動画� �ータおよび特徴領域情報を読み出して、読� �出した圧縮動画データを、特徴領域情報を� �用して伸張して表示用動画を生成して、表� �装置180に供給してもよい。

 なお、特徴領域情報は、特徴領域の位置� ��特徴領域の大きさ、特徴領域の数、特徴領� ��が検出された撮像画像を識別する識別情報� ��を含むテキストデータ、もしくは当該テキ� ��トデータに圧縮、暗号化等の処理が施され� ��データであってよい。そして、画像処理装� ��170は、特徴領域情報が含む特徴領域の位置� ��特徴領域の大きさ、特徴領域の数等に基づ� ��て、種々の検索条件を満たす撮像画像を特� ��する。そして、画像処理装置170は、特定し� ��撮像画像を復号して、表示装置180に提供し� ��よい。

 このように、画像処理システム10による� �、特徴領域を動画に対応づけて記録してい� �ので、動画における所定の条件に適合する� �像画像群を高速に検索、頭出しをすること� �できる。また、画像処理システム10によると 、所定の条件に適合する撮像画像群だけ復号 することができるので、再生指示に即応して 速やかに所定の条件に適合する部分動画を表 示することができる。

 図2は、画像処理装置120のブロック構成の 一例を示す。画像処理装置120は、画像取得部 250、画質取得部204、条件取得部205、出力画像 数取得部208、閾値取得部209、特徴領域検出部 203、圧縮制御部210、圧縮部230、対応付け処理 部206、および出力部207を備える。画像取得部 250は、圧縮画像取得部201および圧縮動画伸張 部202を有する。

 圧縮画像取得部201は、圧縮された動画を� ��得する。具体的には、圧縮画像取得部201は� ��撮像装置100が生成した、符号化された撮像� ��画データを取得する。圧縮動画伸張部202は� ��圧縮画像取得部201が取得した撮像動画デー� ��を伸張して、撮像動画に含まれる複数の撮� ��画像を生成する。具体的には、圧縮動画伸� ��部202は、圧縮画像取得部201が取得した、符� ��化された撮像動画データを復号して、撮像� ��画に含まれる複数の撮像画像を生成する。� ��お、撮像動画に含まれる撮像画像は、フレ� ��ム画像およびフィールド画像であってよい� ��このように、画像取得部250は、複数の撮像� ��置100のそれぞれにより撮像された複数の動� ��を取得する。

 なお、本実施形態における撮像画像は、� ��の発明における動画構成画像の一例であっ� ��、画像処理装置120および画像処理装置170は� ��撮像画像の他に、静止画などの単なる画像� ��処理してよい。

 圧縮動画伸張部202によって得られた複数� ��撮像画像は、特徴領域検出部203および圧縮� ��230に供給される。特徴領域検出部203は、複� ��の撮像画像を含む動画から特徴領域を検出� ��る。具体的には、特徴領域検出部203は、複� ��の撮像画像のそれぞれから特徴領域を検出� ��る。なお、上記における撮像動画は、以下� ��説明における動画の一例であってよい。

 例えば、特徴領域検出部203は、動画にお� ��て画像内容が変化する画像領域を、特徴領� ��として検出する。例えば、特徴領域検出部2 03は、予め定められた条件に適合するオブジ� ��クトを含む領域を、特徴領域として検出す� ��。具体的には、条件取得部205は、特徴領域� ��含まれるオブジェクトが適合すべき条件を� ��得する。そして、特徴領域検出部203は、条� ��取得部205が取得した条件に適合するオブジ� ��クトを含む領域を、特徴領域として検出す� ��。

 具体的には、特徴領域検出部203は、動く� ��ブジェクトを含む画像領域を、特徴領域と� ��て検出してよい。なお、特徴領域検出部203� ��、複数の撮像画像のそれぞれから、特徴の� ��類が異なる複数の特徴領域を検出してよい� ��なお、特徴の種類とは、人物と移動体等の� ��うに、オブジェクトの種類を指標にしてよ� ��。オブジェクトの種類は、オブジェクトの� ��状またはオブジェクトの色の一致度に基づ� ��て決定されてよい。このように、特徴領域� ��出部203は、複数の撮像画像から、含まれる� ��ブジェクトの種類が異なる複数の特徴領域� ��検出してよい。

 なお、条件取得部205は、特徴領域に含ま� ��るオブジェクトが適合すべき形状を示す条� ��を取得してよい。そして、特徴領域検出部2 03は、条件取得部205が取得した条件が示す形� ��に適合する形状のオブジェクトを含む領域� ��、特徴領域として検出してよい。具体的に� ��、特徴領域検出部203は、予め定められた形� ��パターンに予め定められた一致度以上の一� ��度で一致するオブジェクトを複数の撮像画� ��のそれぞれから抽出して、抽出したオブジ� ��クトを含む撮像画像における領域を、特徴� ��種類が同じ特徴領域として検出してよい。� ��お、形状パターンは、特徴の種類毎に複数� ��められてよい。また、形状パターンの一例� ��しては、人物の顔の形状パターンを例示す� ��ことができる。なお、複数の人物毎に異な� ��顔のパターンが定められてよい。これによ� ��、特徴領域検出部203は、異なる人物をそれ� ��れ含む異なる領域を、異なる特徴領域とし� ��検出することができる。このように、特徴� ��域検出部203は、予め定められた形状のオブ� ��ェクトを含む領域を、特徴領域として検出� ��てよい。なお、特徴領域検出部203は、上記� ��人物の顔の他にも、人物の頭部または人物� ��手等の人体の一部の部位、あるいは人体以� ��の生体の少なくとも一部の部位を含む領域� ��、特徴領域として検出することができる。� ��お、生体とは、生体内部の腫瘍組織または� ��管等のように、生体の内部に存在する特定� ��組織を含む。他にも、特徴領域検出部203は� ��生体の他にも、貨幣、キャッシュカード等� ��カード、車輌、あるいは車両のナンバープ� ��ートが撮像された領域を特徴領域として検� ��してよい。

 また、特徴領域検出部203は、テンプレー� ��マッチング等によるパターンマッチングの� ��にも、例えば特開2007-188419号公報に記載さ� �た機械学習(例えば、アダブースト)等による 学習結果に基づいて、特徴領域を検出するこ ともできる。例えば、予め定められた被写体 の画像から抽出された画像特徴量と、予め定 められた被写体以外の被写体の画像から抽出 された画像特徴量とを用いて、予め定められ た被写体の画像から抽出された画像特徴量の 特徴を学習する。そして、特徴領域検出部203 は、当該学習された特徴に適合する特徴を有 する画像特徴量が抽出された領域を、特徴領 域として検出してよい。これにより特徴領域 検出部203は、予め定められた被写体が撮像さ れている領域を特徴領域として検出すること ができる。

 以上説明したように、特徴領域検出部203� ��、複数の動画のそれぞれに含まれる複数の� ��像画像から、複数の特徴領域を検出する。� ��して、特徴領域検出部203は、検出した特徴� ��域を示す情報を、圧縮制御部210に供給する� ��なお、特徴領域を示す情報とは、特徴領域� ��位置を示す特徴領域の座標情報、特徴領域� ��種類を示す種類情報、および特徴領域が検� ��された撮像動画を識別する情報を含む。

 圧縮制御部210は、特徴領域特定部212、位� ��差算出部214、探索領域決定部216、解像度決� ��部262、階調数決定部264、色数決定部266、お� ��びダイナミックレンジ決定部268を有する。� ��徴領域特定部212は、動画に含まれる複数の� ��像画像の間において相関が高い特徴領域を� ��定する。位置差算出部214は、特徴領域特定� ��212が特定した相関が高い特徴領域の間の位� ��差を算出する。

 そして、探索領域決定部216は、位置差の� ��きさが小さいほど、より狭い動きベクトル� ��索領域を決定する。具体的には、探索領域� ��定部216は、位置差の大きさが小さいほど、� ��像画像における特徴領域に含まれる画像を� ��縮する場合に用いられる動きベクトルが算� ��される動きベクトル探索領域をより狭く決� ��する。なお、特徴領域特定部212および位置� ��算出部214、および探索領域決定部216の動作� ��具体例については後に説明する。

 圧縮制御部210は、特徴領域検出部203から� ��得した特徴領域を示す情報に基づいて、特� ��領域に応じて圧縮部230による動画の圧縮処� ��を制御する。例えば、圧縮部230は、動画に� ��まれる撮像画像における特徴領域以外の領� ��の解像度を低解像度化することにより撮像� ��像を圧縮する。このように、圧縮部230は、� ��像画像における各画像領域のそれぞれを重� ��度に応じた強度で圧縮する。なお、圧縮制� ��部210は、探索領域決定部216が決定した動き� ��クトル探索領域を示す情報を圧縮部230に供� ��する。そして、圧縮部230は、探索領域決定� ��216が決定した動きベクトル探索領域内を探� ��することによって算出された動きベクトル� ��用いて動画を圧縮する。なお、圧縮部230の� ��り具体的な内部の圧縮動作については、後� ��説明する。

 なお、特徴領域特定部212は、画像内容の� ��致度が予め定められた値より大きい特徴領� ��を、相関が高い特徴領域として特定する。� ��えば、特徴領域特定部212は、複数の撮像画� ��の間における特徴領域の画像の差分値が予� ��定められた値より小さい特徴領域を、相関� ��高い特徴領域として特定する。なお、閾値� ��得部209は、特徴領域における画像内容の一� ��度の閾値を画像処理装置120の外部から取得� ��てよい。そして、特徴領域特定部212は、画� ��内容の一致度が当該閾値より大きい特徴領� ��を、相関が高い特徴領域として特定してよ� ��。他にも、特徴領域特定部212は、大きさの� ��致度が予め定められた値より大きい特徴領� ��を、相関が高い特徴領域として特定しても� ��い。例えば、閾値取得部209は、特徴領域に� ��ける大きさの一致度の閾値を画像処理装置1 20の外部から取得する。そして、特徴領域特� ��部212は、大きさの一致度が当該閾値より大� ��い特徴領域を、相関が高い特徴領域として� ��定する。

 他にも、特徴領域特定部212は、撮像画像� ��おける特徴領域の位置に関して予め定めら� ��た値より大きい相関を有する特徴領域を、� ��関が高い特徴領域として特定してよい。具� ��的には、特徴領域特定部212は、複数の撮像� ��像の間にわたる特徴領域の位置の変化に関� ��て予め定められた値より大きい相関を有す� ��特徴領域を、相関が高い特徴領域として特� ��してよい。また、より具体的には、特徴領� ��特定部212は、複数の撮像画像の間にわたる� ��徴領域の位置の移動方向に関して予め定め� ��れた値より大きい相関を有する特徴領域を� ��相関が高い特徴領域として特定してよい。� ��にも、特徴領域特定部212は、複数の撮像画� ��の間にわたる特徴領域の位置の移動速度に� ��して予め定められた値より大きい相関を有� ��る特徴領域を、相関が高い特徴領域として� ��定してよい。なお、閾値取得部209は、特徴� ��域の位置に関する相関値の閾値を画像処理� ��置120の外部から取得してよい。そして、特� ��領域特定部212は、動画構成画像における特� ��領域の位置に関して、当該閾値より大きい� ��関値を有する特徴領域を、相関が高い特徴� ��域として特定してよい。

 なお、位置差算出部214は、フレーム間予� ��により圧縮される撮像画像と予測画像の元� ��なる撮像画像との間において相関が高い特� ��領域の位置差を算出する。例えば、位置差� ��出部214は、Iフレームとして処理される撮像 画像とPフレームとして処理される撮像画像� �の間において相関が高い特徴領域の位置差� �算出する。他にも、位置差算出部214は、Iフ� ��ームまたはPフレームとして処理される撮像 画像とPフレームとして処理される撮像画像� �の間、あるいはIフレームまたはPフレームと して処理される撮像画像とBフレームとして� �理される撮像画像との間において相関が高� �特徴領域の位置差を算出してよい。

 なお、特徴領域検出部203が撮像画像から� ��数の特徴領域を検出した場合には、特徴領� ��特定部212は、特徴領域検出部203が撮像画像� ��ら検出した複数の特徴領域のそれぞれにつ� ��て相関が高い特徴領域を特定する。そして� ��位置差算出部214は、特徴領域検出部203が撮� ��画像から検出した複数の特徴領域のそれぞ� ��について位置差を算出する。そして、探索� ��域決定部216は、特徴領域検出部203が撮像画� ��から検出した複数の特徴領域のそれぞれに� ��いて算出された位置差の最大値が小さいほ� ��、より狭い動きベクトル探索範囲を決定す� ��。なお、探索領域決定部216は、特徴領域検� ��部203が撮像画像から検出した複数の特徴領� ��のそれぞれについて算出された位置差の平� ��値が小さいほど、より狭い動きベクトル探� ��範囲を決定してもよい。

 このように、探索領域決定部216は、特徴� ��域の動き量に応じて動きベクトル探索範囲� ��限定する。このため、圧縮部230は高速に動� ��ベクトルを算出することができ、速やかに� ��像処理装置170に圧縮動画を提供することが� ��きる。

 なお、解像度決定部262は、複数の特徴領� ��の特徴の種類に応じて、複数の特徴領域の� ��れぞれにおける解像度を決定する。また、� ��調数決定部264は、複数の特徴領域の特徴の� ��類に応じて、複数の特徴領域のそれぞれに� ��ける画素値の階調数を決定する。例えば、� ��調数決定部264は、複数の特徴領域の画像に� ��ける階調値の頻度分布に基づいて、後述す� ��画像変換部241により変換されて得られた画� ��における階調数を、複数の特徴領域のそれ� ��れについて決定する。

 また、色数決定部266は、複数の特徴領域� ��特徴の種類に応じて、複数の特徴領域のそ� ��ぞれにおける画素値を表現する色数を決定� ��る。例えば、色数決定部266は、複数の特徴� ��域の画像における色の頻度分布に基づいて� ��画像変換部241により変換されて得られた画� ��における色数を、複数の特徴領域のそれぞ� ��について決定してよい。

 また、ダイナミックレンジ決定部268は、� ��数の特徴領域の特徴の種類に応じて、複数� ��特徴領域のそれぞれにおける画像のダイナ� ��ックレンジを決定する。例えば、ダイナミ� ��クレンジ決定部268は、複数の特徴領域の画� ��における階調値の頻度分布に基づいて、画� ��変換部241により変換されて得られた画像に� ��けるダイナミックレンジを、複数の特徴領� ��のそれぞれについて決定する。なお、解像� ��決定部262、階調数決定部264、色数決定部266� ��およびダイナミックレンジ決定部268はさら� ��、それぞれ背景領域における解像度、階調� ��、色数、およびダイナミックレンジを決定� ��る。

 なお、上記の解像度、階調数、色数、お� ��びダイナミックレンジは、画像処理装置120� ��外部から指定されてよい。具体的には、画� ��取得部204は、特徴領域の特徴に対応づけて� ��解像度、階調数、色数、およびダイナミッ� ��レンジの少なくともいずれかを取得する。� ��して、解像度決定部262は、複数の特徴領域� ��それぞれにおける解像度を、特徴領域の特� ��の種類に対応づけて画質取得部204が取得し� ��解像度に決定してよい。また、階調数決定� ��264は、複数の特徴領域のそれぞれにおける� ��調数を、特徴領域の特徴の種類に対応づけ� ��画質取得部204が取得した階調数に決定して� ��い。また、色数決定部266は、複数の特徴領� ��のそれぞれにおける色数を、特徴領域の特� ��の種類に対応づけて画質取得部204が取得し� ��色数に決定してよい。また、ダイナミック� ��ンジ決定部268は、複数の特徴領域のそれぞ� ��における解像度を、特徴領域の特徴の種類� ��対応づけて画質取得部204が取得したダイナ� ��ックレンジに決定してよい。

 解像度決定部262が決定した解像度、階調� ��決定部264が決定した階調数、色数決定部266� ��決定した色数、およびダイナミックレンジ� ��定部268が決定したダイナミックレンジを示� ��情報は、圧縮部230に供給される。圧縮部230� ��、撮像画像における各領域の画像をそれら� ��像度、階調数、色数、およびダイナミック� ��ンジの画像に変換することによって、撮像� ��像を圧縮する。

 なお、出力画像数取得部208は、特徴領域� ��特徴に対応づけて出力されるべき撮像画像� ��数を画像処理装置120の外部から取得する。� ��えば、画像処理装置120が複数の撮像装置100� ��うちの一部の撮像装置100により撮像された� ��像画像を出力する場合に、出力画像数取得� ��208は、撮像画像が出力部207から出力される� ��き撮像装置100の数を、特徴領域の特徴に対� ��づけて画像処理装置120の外部から取得する� ��出力画像数取得部208が取得した数は、圧縮� ��230に供給される。圧縮部230は、画像取得部2 50から供給された撮像画像のうち、出力画像� ��取得部208から供給された数の撮像画像を特� ��領域毎に選んで圧縮する。このようにして� ��出力部207は、撮像画像における複数の特徴� ��域のそれぞれから生成された特徴領域内画� ��であって、複数の特徴領域の特徴に対応づ� ��て出力画像数取得部208が取得した数の特徴� ��域内画像を出力することができる。

 対応付け処理部206は、撮像画像から検出� ��れた特徴領域を特定する情報を、撮像画像� ��対応づける。具体的には、対応付け処理部2 06は、撮像画像から検出された特徴領域を特� ��する情報を、撮像画像を動画構成画像とし� ��含む圧縮動画に対応づける。そして、出力� ��207は、対応付け処理部206によって特徴領域� ��対応付けされた圧縮動画を、画像処理装置1 70に出力する。

 そして、出力部207は、画像処理装置120か� ��取得した圧縮動画を画像DB175に記録する。� �のように、出力部207は、特徴領域検出部203� �検出した複数の特徴領域の位置を示す情報� �それぞれを、特徴領域が検出された撮像画� �を識別する情報に対応づけて画像DB175に記録 する。

 図3は、圧縮部230のブロック構成の一例を 示す。圧縮部230は、画像分割部232、複数の固 定値化部234a-c(以下、固定値化部234と総称す� �場合がある。)、複数の画像変換部241a-d(以下 、画像変換部241と総称する。)を含む画像変� �ユニット240、および複数の圧縮処理部236a-d(� ��下、圧縮処理部236と総称する場合がある。) を有する。

 画像分割部232は、画像取得部250から複数� ��撮像画像を取得する。そして、画像分割部2 32は、複数の撮像画像を、特徴領域と、特徴� ��域以外の背景領域とに分割する。具体的に� ��、画像分割部232は、複数の撮像画像を、複� ��の特徴領域のそれぞれと、特徴領域以外の� ��景領域とに分割する。このように、画像分� ��部232は、複数の撮像画像のそれぞれを、特� ��領域と背景領域とに分割する。

 画像変換部241は、撮像画像を、撮像画像� ��おける特徴領域と画像における特徴領域以� ��の領域とで異なる階調数の画像に変換する� ��具体的には、画像変換部241は、画像におけ� ��特徴領域以外の領域の画像を、特徴領域よ� ��少ない階調数の画像に変換する。

 より具体的には、画像変換部241は、画像� ��おける複数の特徴領域の画像を、特徴領域� ��特徴に応じて予め定められた階調数の画像� ��それぞれ変換する。画像変換部241は、画像� ��おける複数の特徴領域の画像を、特徴領域� ��特徴の種類に応じて予め定められた階調数� ��画像にそれぞれ変換する。なお、画像変換� ��241は、画像における複数の特徴領域の画像� ��、特徴領域に含まれるオブジェクトの種類� ��応じて予め定められた階調数の画像にそれ� ��れ変換する。このように、本実施形態にお� ��る特徴の種類とは、特徴領域に含まれるオ� ��ジェクトの種類であってよい。

 なお、各画像領域の階調数は、上述した� ��うに階調数決定部264によって決定される。� ��して、画像変換部241は、画像における複数� ��特徴領域の画像を、階調数決定部264が決定� ��た階調数の画像にそれぞれ変換する。

 また、画像変換部241は、撮像画像を、撮� ��画像における特徴領域と画像における特徴� ��域以外の領域とで異なる色数の画像に変換� ��る。具体的には、画像変換部241は、画像に� ��ける特徴領域以外の領域の画像を、特徴領� ��より少ない色数の画像に変換する。なお、� ��像変換部241は、撮像画像における特徴領域� ��外の領域の画像を、特徴領域より少ない数� ��色成分から生成される色で表される画像に� ��換してよい。

 また、画像変換部241は、撮像画像におけ� ��複数の特徴領域の画像を、特徴領域の特徴� ��応じて予め定められた色数の画像にそれぞ� ��変換してよい。なお、画像変換部241は、撮� ��画像における複数の特徴領域の画像を、特� ��領域の特徴に応じて予め定められた組み合� ��せの色で表される画像にそれぞれ変換して� ��い。具体的には、画像変換部241は、撮像画� ��における複数の特徴領域の画像を、特徴領� ��の特徴に応じて予め定められた数の色成分� ��ら生成される色で表される画像にそれぞれ� ��換してよい。

 なお、各画像領域における色数は、上述� ��たように色数決定部266によって決定される� ��そして、画像変換部241は、撮像画像におけ� ��複数の特徴領域の画像を、色数決定部266が� ��定した色数の画像にそれぞれ変換する。

 画像変換部241は、撮像画像を、撮像画像� ��おける特徴領域と画像における特徴領域以� ��の領域とで異なるダイナミックレンジの画� ��に変換する。なお、画像変換部241は、画像� ��おける特徴領域以外の領域の画像を、特徴� ��域より広いダイナミックレンジの画像に変� ��する。具体的には、画像変換部241は、画像� ��おける複数の特徴領域の画像を、特徴領域� ��特徴に応じて予め定められたダイナミック� ��ンジの画像にそれぞれ変換する。画像変換� ��241は、画像における複数の特徴領域の画像� ��、特徴領域の特徴の種類に応じて予め定め� ��れたダイナミックレンジの画像にそれぞれ� ��換する。

 なお、各画像領域におけるダイナミック� ��ンジは、上述したようにダイナミックレン� ��決定部268によって決定される。そして、画� ��変換部241は、画像における複数の特徴領域� ��画像を、ダイナミックレンジ決定部268が決� ��したダイナミックレンジの画像にそれぞれ� ��換する。なお、画像変換部241は、特徴領域� ��よび背景領域の画像を、上述した階調数、� ��数、およびダイナミックレンジの組み合わ� ��画像に変換してよい。

 そして、圧縮処理部236は、特徴領域の画� ��である特徴領域画像と背景領域の画像であ� ��背景領域画像とを、それぞれ異なる強度で� ��縮する。具体的には、圧縮処理部236は、特� ��領域画像を複数含む特徴領域動画と背景領� ��画像を複数含む背景領域動画とを、それぞ� ��異なる強度で圧縮する。

 具体的には、画像分割部232は、複数の撮� ��画像を分割することにより、複数の特徴の� ��類毎に特徴領域動画を生成する。そして、� ��定値化部234は、特徴の種類毎に生成された� ��数の特徴領域動画に含まれる特徴領域画像� ��それぞれについて、それぞれの特徴の種類� ��特徴領域以外の領域の画素値を固定値化す� ��。具体的には、固定値化部234は、特徴領域� ��外の領域の画素値を予め定められた画素値� ��する。そして、圧縮処理部236は、特徴の種� ��毎に、複数の特徴領域動画を圧縮する。例� ��ば、圧縮処理部236は、特徴の種類毎に、複� ��の特徴領域動画をMPEG圧縮する。

 固定値化部234a、固定値化部234b、および� �定値化部234cは、それぞれ第1の特徴の種類の 特徴領域動画、第2の特徴の種類の特徴領域� �画、および第3の特徴の種類の特徴領域動画� ��固定値化する。そして、圧縮処理部236a、圧 縮処理部236b、および圧縮処理部236cは、第1の 特徴の種類の特徴領域動画、第2の特徴の種� �の特徴領域動画、および第3の特徴の種類の� ��徴領域動画を圧縮する。

 なお、圧縮処理部236a-cは、特徴の種類に� ��じて予め定められた強度で特徴領域動画を� ��縮する。例えば、圧縮処理部236は、特徴の� ��類に応じて予め定められた異なる解像度に� ��徴領域動画を変換して、変換した特徴領域� ��画を圧縮してよい。他にも、圧縮処理部236� ��、MPEG符号化により特徴領域動画を圧縮する 場合には、特徴の種類に応じて予め定められ た異なる量子化パラメータで特徴領域動画を 圧縮してよい。

 なお、圧縮処理部236a-cは、特徴領域を含� ��マクロブロックが符号化されて得られた符� ��化データ列の先頭に、当該データ列から復� ��することができる旨を示す符号を挿入して� ��い。当該符号としては、同期回復マーカを� ��示することができる。なお、圧縮処理部236a -cは、特徴領域を含まれる全てのマクロブロ� ��クが符号化されて得られた複数の符号化デ� ��タ列のそれぞれの先頭に、上記符号を挿入� ��てよい。なお、圧縮処理部236a-cは、特徴領� ��を含むマクロブロックが符号化されて得ら� ��た、連続する複数の符号化データ列の先頭� ��だけ上記符号を挿入してもよい。なお、圧� ��処理部236a-cは、マクロブロックのDC成分を� �号化して得られた符号化データ列だけでな� �、特徴領域を含むマクロブロックのAC成分が 符号化されて得られた符号化データ列の先頭 に、上記符号を挿入する。

 なお、圧縮処理部236dは、背景領域動画を 圧縮する。なお、圧縮処理部236dは、圧縮処� �部236a-cのいずれによる強度より高い強度で� �景領域動画を圧縮してよい。圧縮処理部236� �よって圧縮された特徴領域動画および背景� �域動画は、対応付け処理部206に供給される� �

 このようにして、画像変換部241により変� ��されて得られた撮像画像は、出力部207から� ��力される。具体的には、特徴領域検出部203� ��検出した複数の特徴領域を特定する情報が� ��画像変換部241により変換されて得られた撮� ��画像に対応づけて出力される。具体的には� ��特徴領域検出部203が検出した複数の特徴領� ��を特定する情報および複数の特徴領域の特� ��を特定する情報が、画像変換部241により変� ��されて得られた画像に対応づけて出力部207� ��ら出力される。

 なお、特徴領域以外の領域が固定値化部2 34によって固定値化されているので、圧縮処� ��部236がMPEG符号化等によって予測符号化する 場合に、特徴領域以外の領域において予測画 像との間の画像の差分量を著しく低減するこ とができる。したがって、特徴領域動画の圧 縮率を著しく高めることができる。

 なお、圧縮部230は、特徴領域の面積に応� ��て異なる圧縮方式で圧縮する。例えば、圧� ��部230は、一の撮像画像から検出された一以� ��の特徴領域の合計面積に応じて異なる圧縮� ��式で圧縮する。より具体的には、圧縮部230� ��、合計面積が所定の閾値以下である場合に� ��第1圧縮方式により圧縮し、合計面積が閾値 以上である場合に、第2圧縮方式により圧縮� �る。例えば、圧縮部230は、合計面積が閾値� �下であることを条件として、上述したよう� �特徴領域と特徴領域以外の領域とを異なる� �度で圧縮する。以下に、合計面積が閾値以� �である場合における第2圧縮方式での動作を� ��明する。

 合計面積が閾値以上である場合には、圧� ��処理部236のうち最も高い画質で撮像画像を� ��縮する圧縮処理部236cにおいて全画像領域に 対して圧縮処理がなされる。具体的には、固 定値化部234cは、供給された撮像画像に対し� �固定値化処理をせずに、画像変換部241cに供� ��する。そして、画像変換部241cは、撮像画像 を予め設定されている画質に変換する。なお 、合計面積が閾値以上である場合には、画像 変換部241cは、撮像画像に対して画質変換を� �なくてもよい。そして、圧縮処理部236cは、� ��像変換部241cから供給された撮像画像を圧縮 する。なお、圧縮処理部236cは、上述したよ� �に複数の撮像画像を動画として圧縮する。

 このように、合計面積が閾値以上である� ��合、圧縮部230は、撮像画像の全領域が特徴� ��域として検出されたと仮定した場合に行わ� ��る圧縮処理と同等の圧縮処理を実行する。� ��1圧縮方式での動作によると、特徴領域の画 像は、圧縮処理部236dと圧縮処理部236a~cのい� �れかとで重複して符号化されて共に出力さ� �る。このため、合計面積が著しく大きくな� �た場合に第1圧縮方式で処理してしまうと、� ��景領域が低画質化されることによる符号量� ��低減量を、上記重複分の符号量が上回って� ��まう状況が生じる場合がある。

 したがって、そのような状況が生じるこ� ��が予測される上記閾値を予め定めておいて� ��合計面積が当該閾値以上になった場合には� ��上述したように圧縮処理部236cに撮像画像の 全領域画像を圧縮させることで、上述したよ うに符号量が上回ってしまうことを未然に防 ぐことができる場合がある。なお、合計面積 が当該閾値以上になった場合には、特徴領域 検出部203は、特徴領域を検出する時間的頻度 を低下してもよい。例えば、特徴領域検出部 203は、連続して撮像された複数の撮像画像の うち、一部の撮像画像から特徴領域を検出し てよい。このとき、特徴領域検出部203は、合 計面積がより大きい場合に、より少数の撮像 画像から特徴領域を検出してよい。これによ り、特徴領域検出に要する時間を短縮するこ とができる。

 なお、合計面積が当該閾値以上になった� ��合にも、圧縮処理部236a、圧縮処理部236b、� �よび圧縮処理部236dは撮像画像を圧縮しても� ��い。この場合、出力部207は、圧縮処理部236a 、圧縮処理部236b、および圧縮処理部236dによ� ��圧縮された圧縮データを少なくとも画像処� ��装置170に送信しなくてよい。他にも、圧縮� ��理部236a、圧縮処理部236b、および圧縮処理� �236dには全面が固定値化された撮像画像を供� ��して、圧縮処理部236a、圧縮処理部236b、お� �び圧縮処理部236dから出力された圧縮データ� ��送信してもよい。以上説明したように、圧� ��部230が合計面積に応じて圧縮処理方式を変� ��することによって、画像処理装置170に送信� ��れるデータ量が増大してしまうことを容易� ��防ぐことができる場合がある。

 なお、本図では、圧縮部230が有する複数� ��圧縮処理部236のそれぞれが複数の特徴領域� ��画像および背景領域の画像をそれぞれ圧縮� ��たが、他の形態では、圧縮部230は一の圧縮� ��理部236を有してよく、一の圧縮処理部236が� ��複数の特徴領域の画像および背景領域の画� ��をそれぞれ異なる強度で圧縮してよい。例� ��ば、複数の特徴領域の画像および背景領域� ��画像が一の圧縮処理部236に時分割で順次供� ��され、一の圧縮処理部236が、複数の特徴領� ��の画像および背景領域の画像をそれぞれ異� ��る強度で順次圧縮してよい。

 他にも、一の圧縮処理部236は、複数の特� ��領域の画像情報および背景領域の画像情報� ��異なる量子化係数でそれぞれ量子化するこ� ��によって、複数の特徴領域の画像および背� ��領域の画像をそれぞれ異なる強度で圧縮し� ��よい。また、複数の特徴領域の画像および� ��景領域の画像がそれぞれ異なる画質の画像� ��変換された画像が一の圧縮処理部236に供給� ��れ、一の圧縮処理部236が、複数の特徴領域� ��画像および背景領域の画像をそれぞれ圧縮� ��てよい。なお、当該画質変換処理は、一の� ��像変換ユニット240でなされてよい。また、� ��記のように一の圧縮処理部236が領域毎に異� ��る量子化係数で量子化したり、領域毎に異� ��る画質に変換された画像を一の圧縮処理部2 36が圧縮する形態では、一の圧縮処理部236は� ��一の画像を圧縮してもよく、本図で説明し� ��ように画像分割部232によって分割された画� ��をそれぞれ圧縮してもよい。なお、一の圧� ��処理部236が一の画像を圧縮する場合には、� ��像分割部232による分割処理および固定値化� ��234による固定値化処理はなされなくてよい� ��で、圧縮部230は、画像分割部232および固定� ��化部234を有しなくてよい。

 図4は、画像処理装置170のブロック構成の 一例を示す。画像処理装置170は、画像取得部 301、対応付け解析部302、特徴領域情報取得部 360、伸張制御部310、伸張部320、合成部330、指 示取得部390、特徴領域選択部370、画像生成部 380、および出力部340を備える。

 画像取得部301は、圧縮部230により圧縮さ� ��た圧縮動画を取得する。具体的には、画像� ��得部301は、複数の特徴領域動画および、第1 撮像画像および第2撮像画像を動画構成画像� �して含む背景領域動画を含む圧縮動画を取� �する。より具体的には、画像取得部301は、� �徴領域情報が付帯された圧縮動画を取得す� �。

 対応付け解析部302は、画像DB175から取得� �た圧縮動画を、複数の特徴領域動画および� �景領域動画と特徴領域情報とに分離して、� �数の特徴領域動画および背景領域動画を伸� �部320に供給する。また、対応付け解析部302� �、特徴領域情報を解析して、特徴領域の位� �および特徴の種類を伸張制御部310および特� �領域情報取得部360に供給する。

 このように、特徴領域情報取得部360は、� ��画に含まれる複数の撮像画像における特徴� ��域の位置を示す情報を取得する。特徴領域� ��報取得部360が取得した特徴領域情報は、合� ��部330、特徴領域選択部370、および画像生成� ��380に供給される。

 伸張制御部310は、対応付け解析部302から� ��得した特徴領域の位置および特徴の種類に� ��じて、伸張部320による伸張処理を制御する� ��例えば、伸張制御部310は、特徴領域の位置� ��よび特徴の種類に応じて圧縮部230が動画の� ��領域を圧縮した圧縮方式に応じて、伸張部3 20に圧縮動画が示す動画の各領域を伸張させ� ��。

 以下に、伸張部320が有する各構成要素の� ��作を説明する。伸張部320は、複数の復号器3 22a-d(以下、復号器322と総称する。)を有する� �復号器322は、符号化された複数の特徴領域� �画および背景領域動画のいずれかを復号す� �。具体的には、復号器322a、復号器322b、復号 器322c、および復号器322dは、それぞれ第1特徴 領域動画、第2特徴領域動画、第3特徴領域動� ��および背景領域動画を復号する。

 合成部330は、伸張部320によって伸張され� ��複数の特徴領域動画および背景領域動画を� ��成して、一の表示動画を生成する。具体的� ��は、合成部330は、背景領域動画に含まれる� ��像画像に、複数の特徴領域動画に含まれる� ��像画像上の特徴領域の画像を合成すること� ��よって、一の表示動画を生成する。合成部3 30は、生成した表示動画を出力部340に供給す� ��。出力部340は、対応付け解析部302から取得� ��た特徴領域情報および表示動画を表示装置1 80に出力する。

 なお、合成部330によって生成された動画� ��含まれる複数の撮像画像のうち、特徴領域� ��の画像は特徴領域選択部370に供給される。� ��徴領域選択部370は、複数の特徴領域のうち� ��予め定められた条件に適合する複数の特徴� ��域を選択する。具体的には、特徴領域選択� ��370は、特徴の種類が異なる複数の特徴領域� ��うち、予め定められた種類の特徴を有する� ��数の特徴領域を選択する。より具体的には� ��特徴領域選択部370は、含まれるオブジェク� ��が異なる複数の特徴領域のうち、予め定め� ��れたオブジェクトを含む複数の特徴領域を� ��択する。

 そして、画像生成部380は、特徴領域選択� ��370が選択した複数の特徴領域の画像のそれ� ��れを縮小または拡大して表示画像をそれぞ� ��生成する。このように、画像生成部380は、� ��徴領域情報取得部360が取得した情報が示す� ��置に基づいて、複数の撮像画像にそれぞれ� ��まれる特徴領域の画像のそれぞれを縮小ま� ��は拡大して略同一の大きさの表示画像をそ� ��ぞれ生成する。

 画像生成部380が生成した表示画像は、出� ��部340に供給される。なお、出力部340は、合� ��部330により生成された表示動画に、表示画� ��を重畳したり合成したりして表示装置180に� ��示させてよい。

 このように、画像生成部380は、特定の種� ��の特徴領域が検出された場合、あるいは特� ��のオブジェクトを含む特徴領域が検出され� ��場合などに、それらの特徴領域の画像が同� ��大きさで表示される表示画像を生成するこ� ��ができる。このため、特徴領域の画像はい� ��も同じ大きさで表示される。したがって、� ��像処理システム10によると、監視者が見易� �監視映像を提供することができる。

 なお、特徴領域選択部370は、複数の特徴� ��域のうち、予め定められた時間長さより長� ��期間にわたって動画から検出された複数の� ��徴領域を選択してよい。この場合、長い時� ��にわたって動画に現れるオブジェクトの映� ��を提供することができる。また、特徴領域� ��択部370は、複数の特徴領域のうち、予め定� ��られた値より高い相関を有する複数の特徴� ��域を選択してよい。

 なお、画像処理装置170における上記の動� ��は、指示取得部390は、表示画像を表示すべ� ��旨の指示を取得した場合になされてよい。� ��なわち、画像生成部380は、指示取得部390が� ��示を取得した場合に、動画に対応づけられ� ��画像DB175に記録された情報が示す複数の特� �領域の位置に基づいて、複数の撮像画像に� �れぞれ含まれる特徴領域の画像のそれぞれ� �縮小または拡大して略同一の大きさの表示� �像をそれぞれ生成してよい。

 なお、伸張部320は、指示取得部390が指示� ��取得した場合に、複数の特徴領域の位置を� ��す情報のそれぞれが対応づけられて記録さ� ��た情報によって識別される複数の撮像画像� ��特定する。そして、伸張部320は、圧縮され� ��動画における、特定した複数の撮像画像が� ��示される表示タイミングを含む期間の部分� ��画を伸張する。このように、伸張部320は、� ��示取得部390が指示を取得した場合に、動画� ��おける特定の部分動画を伸張する。そして� ��画像生成部380は、指示取得部390が指示を取� ��した場合に、圧縮された動画に対応づけて� ��録された情報が示す複数の特徴領域の位置� ��基づいて、伸張部により伸張された部分動� ��に含まれる複数の撮像画像における複数の� ��徴領域の画像のそれぞれを縮小または拡大� ��て表示画像を生成する。このため、画像処� ��装置170によると、表示画像を速やかに表示� ��置180に提供することができる。

 図5は、圧縮部230の他のブロック構成の一 例を示す。本構成における圧縮部230は、特徴 の種類に応じた空間スケーラブルな符号化処 理によって複数の撮像画像を圧縮する。

 本構成における圧縮部230は、画質変換部5 10、差分処理部520、および符号化部530を有す� ��。差分処理部520は、複数の階層間差分処理� ��522a-d(以下、階層間差分処理部522と総称する 。)を含む。符号化部530は、複数の符号器532a- d(以下、符号器532と総称する。)を含む。

 画質変換部510は、画像取得部250から複数� ��撮像画像を取得する。また、画質変換部510� ��、特徴領域検出部203が検出した特徴領域を� ��定する情報および特徴領域の特徴の種類を� ��定する情報を取得する。そして、画質変換� ��510は、撮像画像を複製することにより、特� ��領域の特徴の種類の数の撮像画像を生成す� ��。そして、画質変換部510は、生成した撮像� ��像を、特徴の種類に応じた解像度の画像に� ��換する。

 例えば、画質変換部510は、背景領域に応� ��た解像度に変換された撮像画像(以後、低解 像度画像と呼ぶ。)、第1の特徴の種類に応じ� ��第1解像度に変換された撮像画像(以後、第1� ��像度画像と呼ぶ。)、第2の特徴の種類に応� �た第2解像度に変換された撮像画像(以後、第 2解像度画像と呼ぶ。)、および第3の特徴の種 類に応じた第3解像度に変換された撮像画像(� ��後、第3解像度画像と呼ぶ。)を生成する。� �お、ここでは、第1解像度画像は低解像度画� ��より解像度が高く、第2解像度画像は第1解� �度画像より解像度が高く、第3解像度画像は� ��2解像度画像より解像度が高いとする。

 そして、画質変換部510は、低解像度画像� ��第1解像度画像、第2解像度画像、および第3� ��像度画像を、それぞれ階層間差分処理部522d 、階層間差分処理部522a、階層間差分処理部52 2b、および階層間差分処理部522cに供給する。 なお、画質変換部510は、複数の撮像画像のそ れぞれについて上記の画質変換処理すること により、階層間差分処理部522のそれぞれに動 画を供給する。

 なお、画質変換部510は、特徴領域の特徴� ��種類に応じて、階層間差分処理部522のそれ� ��れに供給する動画のフレームレートを変換� ��てよい。例えば、画質変換部510は、階層間� ��分処理部522aに供給する動画より低いフレー ムレートの動画を階層間差分処理部522dに供� �してよい。また、画質変換部510は、階層間� �分処理部522bに供給する動画より低いフレー� ��レートの動画を階層間差分処理部522aに供給 してよく、階層間差分処理部522cに供給する� �画より低いフレームレートの動画を階層間� �分処理部522bに供給してよい。なお、画質変� ��部510は、特徴領域の特徴の種類に応じて撮� ��画像を間引くことによって、階層間差分処� ��部522に供給する動画のフレームレートを変� ��してよい。

 階層間差分処理部522dおよび符号器532dは� �複数の低解像度画像を含む背景領域動画を� �測符号化する。具体的には、階層間差分処� �部522は、他の低解像度画像から生成された� �測画像との差分画像を生成する。そして、� �号器532dは、差分画像を空間周波数成分に変� ��して得られた変換係数を量子化して、量子� ��された変換係数をエントロピー符号化等に� ��り符号化する。なお、このような予測符号� ��処理は、低解像度画像の部分領域毎に行わ� ��てよい。

 また、階層間差分処理部522aは、画質変換 部510から供給された複数の第1解像度画像を� �む第1特徴領域動画を予測符号化する。同様� ��、階層間差分処理部522bおよび階層間差分処 理部522cは、それぞれ複数の第2解像度画像を� ��む第2特徴領域動画および複数の第3解像度� �像を含む第3特徴領域動画を予測符号化する� ��以下に、階層間差分処理部522aおよび符号器 532aの具体的な動作について説明する。

 階層間差分処理部522aは、符号器532dによ� �符号化後の第1解像度画像を復号して、復号� ��た画像を第1解像度と同じ解像度の画像に拡 大する。そして、階層間差分処理部522aは、� �大した画像と低解像度画像との間の差分画� �を生成する。このとき、階層間差分処理部52 2aは、背景領域における差分値を0にする。そ して、符号器532aは、差分画像を符号器532dと� ��様に符号化する。なお、階層間差分処理部5 22aおよび符号器532aによる符号化処理は、第1� ��像度画像の部分領域毎にされてよい。

 なお、階層間差分処理部522aは、第1解像� �画像を符号化する場合に、低解像度画像と� �間の差分画像を符号化した場合に予測され� �符号量と、他の第1解像度画像から生成され� ��予測画像との間の差分画像を符号化した場� ��に予測される符号量とを比較する。後者の� ��号量の方が小さい場合には、階層間差分処� ��部522aは、他の第1解像度画像から生成され� �予測画像との間の差分画像を生成する。な� �、階層間差分処理部522aは、低解像度画像ま� ��は予測画像との差分をとらずに符号化した� ��が符号量が小さくなることが予測される場� ��には、低解像度画像または予測画像との間� ��差分をとらなくてもよい。

 なお、階層間差分処理部522aは、背景領域 における差分値を0にしなくてもよい。この� �合、符号器532aは、特徴領域以外の領域にお� ��る差分情報に対する符号化後のデータを0に してもよい。例えば、符号器532aは、周波数� �分に変換した後の変換係数を0にしてよい。� ��お、階層間差分処理部522dが予測符号化した 場合の動きベクトル情報は、階層間差分処理 部522aに供給される。階層間差分処理部522aは� ��階層間差分処理部522dから供給された動きベ クトル情報を用いて、予測画像用の動きベク トルを算出してよい。

 なお、階層間差分処理部522bおよび符号器 532bの動作は、第2解像度画像を符号化すると� ��う点、および第2解像度画像を符号化する場 合に、符号器532aによる符号化後の第1解像度� ��像との差分をとる場合があるという点を除� ��て、階層間差分処理部522bおよび符号器532b� �動作は階層間差分処理部522aおよび符号器532a の動作と略同一であるので、説明を省略する 。同様に、階層間差分処理部522cおよび符号� �532cの動作は、第3解像度画像を符号化すると いう点、および第3解像度画像を符号化を符� �化する場合に、符号器532bによる符号化後の� ��2解像度画像との差分をとる場合があるとい う点を除いて、階層間差分処理部522aおよび� �号器532aの動作と略同一であるので、説明を� ��略する。

 以上説明したように、画質変換部510は、� ��数の撮像画像のそれぞれから、画質を低画� ��にした低画質画像、および少なくとも特徴� ��域において低画質画像より高画質な特徴領� ��画像を生成する。そして、差分処理部520は� ��特徴領域画像における特徴領域の画像と、� ��画質画像における特徴領域の画像との間の� ��分画像を示す特徴領域差分画像を生成する� ��そして、符号化部530は、特徴領域差分画像� ��よび低画質画像をそれぞれ符号化する。

 また、画質変換部510は、複数の撮像画像� ��ら解像度が低減された低画質画像を生成し� ��、差分処理部520は、特徴領域画像における� ��徴領域の画像と、低画質画像における特徴� ��域の画像を拡大した画像との間の特徴領域� ��分画像を生成する。また、差分処理部520は� ��特徴領域において特徴領域画像と拡大した� ��像との間の差分が空間周波数領域に変換さ� ��た空間周波数成分を持ち、特徴領域以外の� ��域において空間周波数成分のデータ量が低� ��された特徴領域差分画像を生成する。

 以上説明したように、圧縮部230は、解像� ��が異なる複数の階層間の画像の差分を符号� ��することによって階層的に符号化する。こ� ��ことからも明らかなように、本構成の圧縮� ��230による圧縮方式の一部は、H.264/SVCによる� ��縮方式を含むことが明らかである。なお、� ��像処理装置170がこのような階層化された圧� ��動画を伸張する場合には、各階層の動画デ� ��タを復号して、階層間差分により符号化さ� ��ている領域については、差分がとられた階� ��で復号された撮像画像との加算処理により� ��元の解像度の撮像画像を生成することがで� ��る。

 図6は、撮像装置100により得られた撮像動 画の一例を示す。撮像装置100aが撮像した撮� �動画Aは複数の撮像画像600-1~3(以後、撮像画� �600と総称する。)を含む。また、撮像装置100b が撮像した撮像動画Bは複数の撮像画像610-1~3( 以後、撮像画像610と総称する。)を含み、撮� �装置100cが撮像した撮像動画Cは複数の撮像画 像620-1~3(以後、撮像画像620と総称する。)を含 み、撮像装置100dが撮像した撮像動画Dは複数� ��撮像画像630-1~3(以後、撮像画像630と総称す� �。)を含む。

 なお、撮像装置100a、撮像装置100b、撮像� �置100c、および撮像装置100dによる撮像領域は 少なくとも一部が重複しているとする。そし て、撮像装置100a、撮像装置100b、撮像装置100c 、および撮像装置100dは、互いに異なる方向� �ら、当該重複する撮像領域を撮像している� �する。

 なお、特徴領域検出部203は、特徴領域の� ��例としての頭部領域601-1~3(以後、頭部領域60 1と総称する。)、体部領域602-1~3(以後、体部� �域602と総称する。)、および移動体領域603-1~3 (以後、移動体領域603と総称する。)を、撮像� ��像600から検出している。また、特徴領域検� ��部203は、特徴領域の一例としての頭部領域6 11-1~3(以後、頭部領域611と総称する。)および� ��部領域612-1~3(以後、体部領域612と総称する� �)を、撮像画像610から検出している。また、� ��徴領域検出部203は、特徴領域の一例として� ��頭部領域621-1~3(以後、頭部領域621と総称す� �。)および体部領域622-1~3(以後、体部領域622� �総称する。)を、撮像画像620から検出してい� ��。また、特徴領域検出部203は、特徴領域の� ��例としての頭部領域631-1~3(以後、頭部領域63 1と総称する。)および体部領域632-1~3(以後、� �部領域632と総称する。)を、撮像画像630から� ��出している。

 このように、異なる位置に設けられた複� ��の撮像装置100から撮像された複数の撮像画� ��を画像取得部301が取得した場合に、出力部2 07は、出力する画像数を領域毎に決定してよ� ��。例えば、出力部207は、特徴領域の種類に� ��じて予め定められた数の特徴領域の画像を� ��力する。具体的には、出力部207は、頭部領� ��については、4の撮像装置100で撮像されて得 られた4つ全ての撮像画像、例えば撮像画像60 0-1、撮像画像610-1、撮像画像620-1、および撮� �画像630-1から生成される頭部領域の画像(頭� �領域601-1の画像、頭部領域611-1の画像、頭部� ��域621-1の画像、頭部領域631-1の画像)を出力� �べき旨を決定する。

 また、出力部207は、体部領域については� ��異なる撮像装置100で撮像された3つの撮像画 像、例えば撮像画像600-1、撮像画像610-1、お� �び撮像画像620-1から生成される体部領域の画 像(体部領域602-1の画像、体部領域612-1の画像� ��体部領域622-1の画像)を出力すべき旨を決定� ��る。また、出力部207は、移動体領域につい� ��は2の撮像装置100で撮像された2つの撮像画� �を出力すべき旨を決定して、背景領域につ� �ては1の撮像装置100で撮像された1つの撮像画 像を出力すべき旨を決定する。

 なお、撮像画像600-1、撮像画像610-1、撮像 画像620-1、および撮像画像630-1のうち、移動� �領域が検出されているのは撮像画像600-1だけ なので、出力部207は、撮像画像600-1における� ��動体領域603-1の画像を出力すべき旨を決定� �る。また、出力部207は、背景領域について� �、撮像画像600-1における背景領域の画像を出 力すべき旨を決定する。

 なお、出力部207は、撮像装置100に予め割� ��当てられた優先度に従って撮像画像600を選� ��してよい。例えば、出力部207は、割り当て� ��れた優先度がより高い撮像装置100が撮像し� ��撮像画像600を、より優先して選択してよい� ��そして、出力部207は、選択した撮像画像600� ��含まれる特徴領域の画像および背景領域の� ��像のうち、決定した画像数の画像を出力す� ��。

 このように、出力部207は、第1の数の撮像 画像からそれぞれ生成された特徴領域内に撮 像されている被写体の画像である第1の数の� �徴領域内画像、および第1の数と異なる第2の 数の撮像画像からそれぞれ生成された特徴領 域外に撮像されている被写体の画像である第 2の数の特徴領域外画像を出力する。そして� �出力部207は、第2の数より多い第1の数の撮像 画像からそれぞれ生成された第1の数の特徴� �域内画像を出力する。また、複数の特徴領� �が検出されている場合には、出力部207は、� �像画像における特徴領域のそれぞれから生� �された複数の特徴領域内画像のうち、複数� �特徴領域の特徴に応じて予め定められた数� �特徴領域内画像を出力する。

 このように、画像処理システム10による� �、背景領域に撮像されている被写体より特� �領域に撮像されている被写体がより多方向� �ら撮像されている画像を提供することがで� �る。このため、特徴領域に撮像されている� �写体を後に高精度で解析することができる� �また、画像処理システム10によると、一部の 撮像装置100から撮像された撮像画像中の背景 領域の画像は送信されないので、送信される データ量を著しく削減することができる。

 図7は、特徴領域または背景領域における 階調値のヒストグラム700の一例を示す。特性 長710は、ヒストグラム700が示す分布の拡がり を表している。なお、特性長710の一例として は、半値幅を例示することができる。

 階調数決定部264は、特徴領域の特徴の種� ��に応じて予め定められた階調数を決定する� ��また、階調数決定部264は、背景領域につい� ��は、特徴領域に対して予め定められた階調� ��より少ない、予め定められた階調数を決定� ��る。そして、階調数決定部264は、特性長710� ��長さが短いほどより少ない階調数を決定す� ��。例えば、階調数決定部264は、特徴領域の� ��徴の種類に応じて予め定められた階調数か� ��、特性長710の長さに反比例する数を減じた� ��を、特徴領域の画像の階調数として決定し� ��よい。

 これにより、圧縮部230は、画像領域にお� ��るヒストグラム700が示す分布の拡がりがよ� ��小さい場合に、当該画像領域の画像をより� ��ない階調数の画像に変換する。このため、� ��縮率が高まる。

 図8は、階調変換用の変換曲線の一例を示 す。ダイナミックレンジ決定部268は、変換曲 線810、変換曲線820等のように、入力画素値を 変換する複数の変換曲線を予め記憶している 。そして、ダイナミックレンジ決定部268は、 予め記憶している複数の変換曲線の中から、 各領域毎に一の変換曲線を選択する。なお、 ダイナミックレンジ決定部268は、特徴領域に 対しては広いダイナミックレンジを示す変換 曲線を選択してよく、背景領域に対しては特 徴領域より狭いダイナミックレンジを有する 変換曲線を選択してよい。

 図9は、圧縮制御部210が領域毎に圧縮パラ メータを選択する選択方法の一例を示す。圧 縮制御部210は、領域の種類を識別する情報で ある種類ID、ヒストグラムのパターンを識別� ��る情報、階調変換方法を識別する情報、お� ��びカラーセットを識別する情報を対応づけ� ��記憶している。種類IDは、特徴領域である� �背景領域であるか、ならびに特徴領域の特� �の種類を識別する情報を示す。ヒストグラ� �のパターンを識別する情報は、図7に関連し� ��説明したヒストグラムの分布を示す情報で� ��ってよい。一例として、ヒストグラムを識� ��する情報は、特性長710であってよい。

 階調変換方法を識別する情報は、LUTを識� ��する情報であってよい。当該LUTは、図8に関 連して説明した変換曲線による変換を実現す るLUTであってよい。また、カラーセットを識 別する情報は、画素値として使用し得る色の 組み合わせを示すカラーセットであってよい 。

 ダイナミックレンジ決定部268は、領域に� ��致する種類IDおよび領域におけるヒストグ� �ムのパターンに合致するパターンを識別す� �情報に対応づけて記憶されているLUTを識別� �る情報を特定する。そして、ダイナミック� �ンジ決定部268は、当該情報によって特定さ� �るLUT情報を圧縮部230に供給する。このよう� �して、ダイナミックレンジ決定部268は、ダ� �ナミックレンジを領域毎に決定する。

 また、色数決定部266は、領域に合致する� ��類IDおよび領域におけるヒストグラムのパ� �ーンに合致するパターンを識別する情報に� �応づけて記憶されているカラーセットを特� �する。色数決定部266は、当該情報によって� �定されるカラーセットを圧縮部230に供給す� �。このようにして、色数決定部266は、使用� �れる色数を領域毎に決定する。

 なお、特徴領域に対応づけて記憶されて� ��るカラーセットは、3以上の数の原色(例え� �、5原色あるいは7原色)で表現された色から� �成され、背景領域に対応づけて記憶されて� �るカラーセットは、3原色(例えば、RGB)で表� �された色から形成されてよい。また、特徴� �域に対応づけて記憶されているカラーセッ� �は色差成分を有する色を含み、背景領域に� �応づけて記憶されているカラーセットは色� �成分を有する色を含まなくてもよい。なお� �上記の色変換、ダイナミックレンジ変換、� �像度変換、および階調数変換は、画像変換� �241または画質変換部510によりなされる。

 図10は、動きベクトル探索範囲の一例を� �す。特徴領域検出部203は、撮像画像1000-1お� �び撮像画像1000-3(以後、撮像画像1000と総称す る。)から、それぞれ特徴領域1010-1および特� �領域1010-3(以後、特徴領域1010と総称する。)� �検出している。また、特徴領域1010-1および� �徴領域1010-3は、相関が高い特徴領域として� �徴領域特定部212により特定されているとす� �。

 この場合、位置差算出部214は、特徴領域1 010-1および特徴領域1010-3の間の位置差を算出� ��る。なお、特徴領域1010-3の重心が(x1,y1)にあ り、特徴領域1010-1の重心が(x2,y2)にある場合� �、位置差は(x2―x1,y2―y1)となるとする。そし て、探索領域決定部216は、(x2,y2)を含む領域10 20を、動きベクトル探索範囲として決定する� ��

このとき、探索領域決定部216は、位置差の 大きさがより小さい場合に、より小さい領域 1020を決定してよい。探索領域決定部216が決� �した動きベクトル探索範囲は、圧縮部230に� �給される。そして、圧縮部230は、特徴領域10 10-3をフレーム間圧縮する場合に、探索領域� �定部216が決定した動きベクトル探索範囲内� �動き予測処理をすることにより、動きベク� �ルを算出する。

 このように、探索領域決定部216は、フレ� ��ム間予測により圧縮される撮像画像1000-3に� ��ける相関が高い特徴領域の位置から、当該� ��縮される撮像画像1000-3とフレーム間予測に� ��ける予測画像の元となる撮像画像1000-1との� ��における相関が高い特徴領域の位置差だけ� ��れた当該予測画像の元となる撮像画像1000-1� ��おける位置の近傍領域に、圧縮される撮像� ��像1000-3における特徴領域に含まれる画像を� ��縮する場合に用いられる動きベクトルが算� ��される動きベクトル探索領域を決定する。� ��たがって、圧縮部230は、狭められた範囲で� ��き予測すればよいので、動きベクトル算出� ��の演算量を低減することができる。このた� ��、動きベクトルを高速に算出することがで� ��、圧縮速度が向上する。また、圧縮部230は� ��より高い精度で動きベクトルを算出するこ� ��ができる。なお、探索領域決定部216は、位� ��差が示す特徴領域の移動方向の方向におい� ��、当該方向と垂直な方向の幅より長い動き� ��クトル探索領域を決定してよい。

 図11は、位置差の大きさに対する探索領� �幅の依存性の一例を示す。なお、位置差算� �部214は、x方向およびy方向のそれぞれにおけ る、画素単位で表された位置差を算出する。

 依存性を示す線1100に示されるように、探 索領域決定部216は、位置差算出部214が算出し た位置差が予め定められたδNαまでの間、動� ��ベクトル探索範囲の幅を単調増加させる。� ��置差算出部214が算出した位置差がδNα以上� �場合には、探索領域決定部216は、動きベク� �ル探索領域の幅を上限値δNβとする。このよ うに、探索領域決定部216は、位置差の大きさ が予め定められた値より大きい場合に、予め 定められた広さの動きベクトル探索領域を決 定する。なお、閾値取得部209は、位置差の閾 値を画像処理装置120の外部から取得する。そ して、探索領域決定部216は、位置差の大きさ が閾値より大きい場合に、予め定められた広 さの動きベクトル探索領域を決定する。以上 説明したように、動きベクトル探索領域の幅 に上限が設定されているので、動きベクトル 探索範囲が必要以上の大きくなってしまうこ とを未然に防ぐことができる。

 図12は、特徴領域内の部分領域の重要度� �ベルを示す。特徴領域検出部203は、特徴領� �の一例としての頭部領域1200内において、重� ��度が異なる複数の領域を検出する。例えば� ��特徴領域検出部203は、頭部領域1200内におい て、眼部領域1210aおよび眼部領域1210b(以下、� ��部領域1210と総称する。)、口領域1220、鼻領� ��1230、および耳領域1240aおよび耳領域1240b(以� ��、耳領域1240と総称する。)を検出する。

 なお、重要度は、眼部領域1210、鼻領域123 0、口領域1220、耳領域1240の順で高いものとす る。特徴領域検出部203が検出した頭部領域120 0内の各領域の位置を示す情報は、圧縮部230� �供給される。そして、圧縮部230は、頭部領� �1200内の各領域の画像を、重要度に応じた強� ��で圧縮する。

 具体的には、圧縮部230は、頭部領域1200内 の各領域の画像について、符号量が各領域の 重要度に応じて定められている目標符号量に なるよう、空間周波数フィルタ強度および/� �たは量子化係数を制御する。なお、重要度� �、人物識別の正解率に基づいて予め定めら� �ていてよい。このように、圧縮部230は、頭� �領域1200から階層的検出された重要度が異な� ��各領域を、重要度に応じて圧縮する。これ� ��より、画像処理装置170は、圧縮された撮像� ��像からでもより高い精度で人物を検出・認� ��することができる。

 また、特徴領域検出部203はさらに、眼部� ��域1210内においても、重要度が異なる複数の 領域を検出する。例えば、特徴領域検出部203 は、眼部領域1210内において、目領域1212aおよ び目領域1212a(以下、目領域1212と総称する。)� ��ならびに眉領域1214aおよび眉領域1214b(以下� �眉領域1214と総称する。)を検出する。なお、 目領域1212は眉領域1214より重要度が高いとし� ��よい。そして、圧縮部230は、頭部領域1200内 に各領域に対する圧縮処理と同様に、眼部領 域1210内の各領域の画像を、重要度に応じた� �度で圧縮してよい。

 図13は、表示装置180による表示例を示す� �表示装置180による表示エリアには、動画エ� �ア1300および注目画像エリア1301が含まれる。 画像処理装置170は、合成部330によって得られ た動画が動画エリア1300に表示される動画デ� �タを表示装置180に提供する。また、画像処� �装置170は、画像生成部380によって生成され� �表示画像が注目画像エリア1301に表示される� ��画データを表示装置180に提供する。

 具体的には、画像生成部380は、動画エリ� ��1300に表示される動画に含まれる人物の頭部 領域1310a-c(以下、頭部領域1310と総称する。)� �画像である頭部画像1311a-c(以下、頭部画像131 1と総称する。)を生成する。なお、頭部領域1 310は特徴領域の一例であり、頭部画像1311は� �記表示画像の一例であってよい。

 このとき、画像生成部380は、頭部領域1310 の画像を拡大または縮小することで大きさが 揃えられた頭部画像1311を生成する。これに� �り、頭部画像1311が同じ大きさで表示される� ��で、監視者にとって見やすい監視映像とな� ��。

 また、画像生成部380は、頭部領域1310の画 像から、異なる位置に表示される頭部画像131 1を生成する。なお、画像生成部380は、表示� �れる領域が重複しない頭部画像1311を生成し� ��よい。このように、画像生成部380は、複数� ��特徴領域の画像がそれぞれ予め定められた� ��なる位置に同時に表示される表示画像をそ� ��ぞれ生成する。

 なお、画像生成部380は、複数の頭部画像1 311を含む動画を生成してよい。例えば、画像 生成部380は、動画に含まれる複数の撮像画像 のそれぞれにおける頭部領域1310の画像から� �複数の頭部画像1311をそれぞれ生成してよい� ��このとき、特徴領域選択部370は、複数の撮� ��画像のそれぞれにおける複数の頭部領域1310 のうち、頭部領域1310の下部領域の画像内容� �ついて予め定められた値より高い相関を有� �る複数の頭部領域1310を選択する。

 例えば、特徴領域選択部370は、複数の撮� ��画像のそれぞれにおける頭部領域1310の下部 領域の画像から、服装のテクスチャ情報をそ れぞれ抽出する。そして特徴領域選択部370は 、抽出したテクスチャ情報が予め定められた 値より大きい一致度で一致する下部領域の上 部にある複数の頭部領域1310を、相関が高い� �部領域1310として選択してよい。他にも、特� ��領域選択部370は、含まれる色の組み合わせ� ��予め定められた値より大きい一致度で一致� ��る下部領域の上部にある複数の頭部領域1310 を、相関が高い頭部領域1310として選択して� �い。

 そして、画像生成部380は、当該複数の頭� ��画像1311aが同じ位置に連続して表示される� �画を生成してよい。このように、画像生成� �380は、特徴領域情報取得部360が取得した情� �が示す位置に基づいて、複数の撮像画像に� �れぞれ含まれる特徴領域の画像のそれぞれ� �略同一の位置に表示される表示画像を生成� �てよい。このとき、画像生成部380は、同一� �写体が撮像されている特徴領域の画像のそ� �ぞれが略同一の位置に表示される表示画像� �生成してよい。

 なお、本図の例では、いずれの頭部画像1 311も同じ大きさとしているが、画像生成部380 は、頭部領域1310の位置に応じて予め定めら� �た大きさの頭部画像1311を生成してもよい。� ��えば、画像生成部380は、より重要な位置に� ��る頭部領域1310の画像から、より大きい頭部 画像1311を生成してよい。本図の例では、画� �生成部380は、カウンターからの距離が予め� �められた距離より短い位置にある頭部領域13 10(例えば、頭部領域1310b)から、他の頭部画像 1311より大きい頭部画像1311を生成してよい。� ��たがって、画像処理システム10によると、� �要な領域に位置する人物の画像を強調表示� �ることができる。

 このように、画像生成部380は、複数の特� ��領域の画像のそれぞれを縮小または拡大し� ��、複数の特徴領域の位置に応じた大きさの� ��示画像をそれぞれ生成してよい。なお、画� ��生成部380は、複数の特徴領域の画像のそれ� ��れを縮小または拡大して、複数の特徴領域� ��存在する位置が示す実空間における被写体� ��位置に応じた大きさの表示画像をそれぞれ� ��成してよい。また、画像生成部380は、複数� ��特徴領域の画像のそれぞれを縮小または拡� ��して、複数の特徴領域の大きさが示す実空� ��における被写体の大きさに応じた大きさの� ��示画像をそれぞれ生成してもよい。

 なお、画像生成部380は、複数の特徴領域� ��画像が動画における表示タイミングに応じ� ��予め定められた位置に同時に表示される表� ��画像をそれぞれ生成してもよい。例えば、� ��像生成部380は、表示される順に所定の方向� ��並べて表示される頭部画像1311を生成しても よい。なお、当該特徴領域の画像が表示され る位置は、特徴領域の大きさ、特徴領域に含 まれる特定被写体の大きさ、または頭部の下 部領域(例えば、服領域)の画像内容の少なく� ��もいずれかに応じて決定されてよい。

 図14は、画像処理装置170のブロック構成� �他の一例を示す。本構成の画像処理装置170� �、特徴領域の画像を超解像処理することに� �り、特徴領域を高画質化する。本構成の画� �処理装置170は、画像取得部301、対応付け解� �部302、伸張制御部310、伸張部320、画像生成� �380、特徴領域情報取得部360、特徴領域選択� �370、照明条件特定部372、方向特定部374、相� �値取得部376、モデル格納部350、出力部340を� �える。画像生成部380は、画像拡大部332およ� �合成部330を有する。

 画像取得部301は、圧縮部230により圧縮さ� ��た圧縮動画を取得する。具体的には、画像� ��得部301は、複数の特徴領域動画および背景� ��域動画を含む圧縮動画を取得する。より具� ��的には、画像取得部301は、特徴領域情報が� ��帯された圧縮動画を取得する。なお、圧縮� ��画は、画像処理装置170への入力動画の一例� ��あってよい。また、圧縮動画に動画構成画� ��として含まれる撮像画像は、画像処理装置1 70への入力画像の一例であってよい。このよ� ��に、このように、画像取得部301は、圧縮部2 30により低画質化された撮像画像を入力画像� ��して取得する。

 そして、対応付け解析部302は、圧縮動画� ��複数の特徴領域動画および背景領域動画と� ��徴領域情報とに分離して、複数の特徴領域� ��画および背景領域動画を伸張部320に供給す� ��。また、対応付け解析部302は、特徴領域情� ��を解析して、特徴領域の位置および特徴の� ��類を伸張制御部310および特徴領域情報取得� ��360に供給する。このようにして、特徴領域� ��報取得部360は、複数の撮像画像のそれぞれ� ��おける特徴領域を示す情報、例えば特徴領� ��の位置を示す情報を取得することができる� ��

 伸張制御部310は、対応付け解析部302から� ��得した特徴領域の位置および特徴の種類に� ��じて、伸張部320による伸張処理を制御する� ��例えば、伸張制御部310は、特徴領域の位置� ��よび特徴の種類に応じて圧縮部230が動画の� ��領域を圧縮した圧縮方式に応じて、伸張部3 20に圧縮動画が示す動画の各領域を伸張させ� ��。

 以下に、伸張部320が有する各構成要素の� ��作を説明する。伸張部320は、複数の復号器3 22a-d(以下、復号器322と総称する。)を有する� �復号器322は、符号化された複数の特徴領域� �画および背景領域動画のいずれかを復号す� �。具体的には、復号器322a、復号器322b、復号 器322c、および復号器322dは、それぞれ第1特徴 領域動画、第2特徴領域動画、第3特徴領域動� ��および背景領域動画を復号する。伸張部320� ��、復号して得られた第1特徴領域動画、第2� �徴領域動画、第3特徴領域動、および背景領� ��動画を、画像生成部380に供給する。

 画像生成部380は、第1特徴領域動画、第2� �徴領域動画、第3特徴領域動、および背景領� ��動画、特徴領域情報に基づいて一の表示動� ��を生成する。そして、出力部340は、対応付� ��解析部302から取得した特徴領域情報および� ��示動画を表示装置180または画像DB175に出力� �る。なお、画像DB175は、特徴領域情報が示す 特徴領域の位置、特徴領域の特徴の種類、特 徴領域の数を、表示動画に含まれる撮像画像 を識別する情報に対応づけて、ハードディス ク等の不揮発性の記録媒体に記録してよい。

 特徴領域選択部370は、複数の撮像画像の� ��れぞれにおける特徴領域のうち、予め定め� ��値より高い相関を有する第1特徴領域および 第2特徴領域を選択する。具体的には、相関� �取得部376は、当該相関に関する閾値を取得� �る。そして、特徴領域選択部370は、複数の� �画構成画像のそれぞれにおける特徴領域の� �ち、相関値取得部376が取得した閾値より高� �相関を有する第1特徴領域および第2特徴領域 を選択する。

 例えば、特徴領域選択部370は、複数の撮� ��画像のそれぞれから検出された特徴領域の� ��ち、画像内容の一致度が予め定められた値� ��り高い第1特徴領域および第2特徴領域を選� �してよい。

 他にも、特徴領域選択部370は、複数の撮� ��画像のそれぞれにおける特徴領域の位置に� ��づいて、第1特徴領域および第2特徴領域を� �択してよい。例えば、特徴領域選択部370は� �複数の撮像画像にわたる特徴領域の位置の� �化量に基づいて、圧縮動画において移動速� �の変化量が予め定められた値より小さい特� �領域である第1特徴領域および第2特徴領域を 選択してよい。また、特徴領域選択部370は、 複数の撮像画像にわたる特徴領域の位置の変 化方向に基づいて、入力動画において移動方 向の変化量が予め定められた値より小さい特 徴領域である第1特徴領域および第2特徴領域� ��選択してよい。そして、特徴領域選択部370� ��、選択した第1特徴領域および第2特徴領域� �示す情報を画像生成部380に供給する。

 そして、画像生成部380は、第1特徴領域の 画像、第2特徴領域の画像、および第1特徴領� ��と第2特徴領域との間の位置差を用いて、第 1特徴領域の画像および第2特徴領域の画像よ� ��高解像度な高画質画像を生成する。例えば� ��画像生成部380は、第1特徴領域の画像と第2� �徴領域の画像とを位置差に基づいて合成す� �ことによって、高画質画像を生成する。例� �ば、画像生成部380は、第1特徴領域の画像と� ��2特徴領域の画像とを、当該位置差だけずら して重ね合わせることによって、高画質画像 を生成する。

 なお、特徴領域選択部370は、複数の撮像� ��像のそれぞれから検出された特徴領域のう� ��、予め定めた値より高い相関を有する3以上 の特徴領域を選択してもよい。そして、画像 生成部380は、3以上の特徴領域の画像、およ� �3以上の特徴領域の位置の差を用いて、3以上 の特徴領域の画像より高解像度な高画質画像 を生成してもよい。

 画像拡大部332は、撮像画像における特徴� ��域以外の領域の画像を、当該高画質画像と� ��じ解像度の画像に拡大する。そして、合成� ��330は、画像拡大部332により得られた画像と� ��高画質画像とを合成して、表示動画の動画� ��成画像としての一の撮像画像を生成する。� ��のように、画像生成部380は、撮像画像にお� ��る特徴領域以外の領域の画像を、高画質画� ��と同じ解像度の画像に拡大し、拡大して得� ��れた画像と高画質画像とを合成することに� ��って、一の撮像画像を生成する。画像生成� ��380は、複数の撮像画像のそれぞれに上記処� ��を施すことによって、複数の撮像画像を動� ��構成画像として含む表示動画を生成する。

 なお、画像生成部380は、特徴領域に含ま� ��る物体の画像を数学モデルに適合させるこ� ��により、高画質画像を生成してよい。具体� ��には、モデル格納部350は、特徴パラメータ� ��物体が表現されたモデルを格納する。より� ��体的には、モデル格納部350は、統計的な特� ��パラメータで物体が表現されたモデルを格� ��する。例えば、モデル格納部350は、主成分� ��析に基づく主成分(例えば、主成分ベクトル )で物体が表現されたモデルを格納する。

 なお、モデル格納部350は、主成分分析に� ��づく主成分で物体の形状が表現されたモデ� ��を格納してよい。また、モデル格納部350は� ��主成分分析に基づく主成分で物体の色が表� ��されたモデルを格納してよい。

 そして、画像生成部380は、撮像画像にお� ��る特徴領域に含まれる物体の画像をモデル� ��適応させることによって、撮像画像におけ� ��特徴領域に含まれる物体の画像を、当該撮� ��画像より高画質な高画質画像に変換する。

 なお、モデル格納部350は、異なる方向か� ��見た物体のモデルを、当該方向に対応づけ� ��格納している。そして、方向特定部374は、� ��像画像における特徴領域に撮像されている� ��体が撮像された方向を特定する。そして、� ��像生成部380は、撮像画像における特徴領域� ��含まれる物体の画像を、方向特定部374が特� ��した方向に対応づけてモデル格納部350が格� ��しているモデルに適応させることによって� ��高画質画像に変換してよい。

 また、モデル格納部350は、異なる照明条� ��で照明された物体のモデルを、当該照明条� ��に対応づけて格納している。そして、照明� ��件特定部372は、入力画像における特徴領域� ��撮像されている物体が照明された照明条件� ��特定する。そして、画像生成部380は、入力� ��像における特徴領域に含まれる物体の画像� ��、照明条件特定部372が特定した照明条件に� ��応づけてモデル格納部350が格納しているモ� ��ルに適応させることによって、高画質画像� ��変換する。このように、画像生成部380は、� ��力された撮像画像における特徴領域に含ま� ��る物体の画像を、モデルに適応させること� ��よって、入力された撮像画像より高解像度� ��高画質画像を生成する。

 そして、出力部340は、当該高画質画像お� ��び特徴領域以外の画像を含む画像を出力す� ��。具体的には、出力部340は、上述したよう� ��合成部330により得られた撮像画像を動画構� ��画像として含む表示動画を出力する。

 図15は、人間の顔における特徴点の一例� �示す。図14に関連して説明したように、モデ ル格納部350は、特徴パラメータで物体を表現 するモデルを格納している。以下に、モデル 格納部350が格納するモデルを生成する生成方 法の一例として、物体の一例である人物の顔 のモデルをAAM手法を用いて生成する場合につ いて説明する。

 サンプルとなる人間の顔部分が表された� ��数の顔画像(以下、サンプル画像)の各々に� �して、図15に示すように、顔形状を表す特徴 点をn個設定する。なお、ここでは、特徴点� �数は顔画像の画素数より少ないものとする� �各特徴点は、例えば、1番目の特徴点は左目� ��左端、11番目の特徴点は眉の間の中央とい� �ように、顔のどの部位を示すかが予め定め� �れていてよい。また、各特徴点は、手作業� �よって設定してもよいし、認識処理によっ� �自動的に設定してもよい。

 そして、各サンプル画像中に設定された特� ��点に基づいて、顔の平均形状を算出する。� ��体的には、各サンプル画像における、同じ� ��位を示す特徴点毎の位置座標の平均を求め� ��。そして、各サンプル画像における顔形状� ��表す特徴点とその平均形状の位置座標に基� ��いて主成分分析を行う。その結果、任意の� ��形状Sは、S=S ₀ +σp _i b _i (i=1~n)によって表現することができる。

 ここで、Sは顔形状の各特徴点の位置座標を 並べて表現される形状ベクトル(x1,y1,・・・,x _n ,y _n )であり、S ₀ は平均顔形状における各特徴点の位置座標を 並べて表現される平均顔形状ベクトル、p _i は主成分分析によって得られた顔形状につい ての第i主成分を表す固有ベクトル、b _i は各固有ベクトルp _i に対する重みづけ係数を表す。

 図16は、重みづけ係数bを変化させた場合の� ��形状の変化の一例を模式的に示す。本図で� ��、主成分分析によって得られた上位2つの主 成分の固有ベクトルp ₁ 、p ₂ に対する重みづけ係数b ₁ 、b ₂ の値を変化させた場合の顔形状の変化の様子 を模式的に表している。a)は、重みづけ係数b ₁ を変化させた場合の顔形状の変化を示してお り、b)は、重みづけ係数b ₂ を変化させた場合の顔形状の変化を示してい る。a)およびb)のいずれにおいても、各主成� �についての3つの顔形状の中央のものは、平� ��的な顔形状を示す。

 この例では、主成分分析の結果、第1主成分 としては顔の輪郭形状に寄与する成分が抽出 されており、重みづけ係数b ₁ を変化させることによって、a)左端に示す細� ��い顔からa)右端に示す丸顔まで顔形状が変� �していることがわかる。同様に、第2主成分� ��しては口の開閉状態と顎の長さに寄与する� ��分が抽出されており、重みづけ係数b ₂ を変化させることによって、b)左端に示すよ� ��な口が開いた状態で顎が長い顔から、b)右� �に示すような口が閉じられた状態で顎が短� �顔まで、顔形状が変化することがわかる。� �お、各主成分が結果としてどのような形状� �素に寄与しているかは人間の解釈による。� �成分分析により、使用された各サンプル画� �においてより大きな形状の違いを表現する� �のがより低次の主成分として抽出される。

 図17は、サンプル画像を平均顔形状に変� �して得られた画像の一例を示す。各サンプ� �画像を、平均顔形状に変換(ワーピング)する 。具体的には、各特徴点について、各サンプ ル画像と平均顔形状との間でのシフト量を算 出する。そして、当該シフト量に基づいて、 各サンプル画像の画素毎の平均顔形状へのシ フト量を算出して、各サンプル画像を画素毎 に平均顔形状へワーピングする。

 そして、平均顔形状に変換後のサンプル画� ��毎の各画素のR,G,Bの色成分の画素値を変数� �して主成分分析する。その結果、任意の顔� �像の平均顔形状下でのR,G,Bの色成分の画素値 は、A=A ₀ +σq _i λ _i (i=1~m)によって近似することができる。

 ここで、Aは、平均顔形状下での各画素の R,G,B色成分の各々の画素値を並べて表現され� ��ベクトル(r1,g1,b1,r2,g2,b2,・・・,rm,gm,bm)であ� �。なお、r、g、bはそれぞれR,G,B色成分の画素 値、1からmは各画素を識別する添え字、mは平 均顔形状での総画素数を示す。なお、ベクト ルの成分の並び順は上記の順に限定されない 。

 また、A ₀ は平均顔形状における各サンプル画像の画素 毎のR,G,B色成分の各々の画素値の平均値を並� ��て表現される平均ベクトル、q _i は主成分分析によって得られた顔のR,G,B色成� ��の画素値についての第i主成分を表す固有ベ クトル、λ _i は各固有ベクトルq _i に対する重みづけ係数を表す。

 図18は、重みづけ係数qを変化させた場合の� ��素値の変化の一例を模式的に示す。本図で� ��、主成分分析によって得られた上位2つの主 成分の固有ベクトルq ₁ 、q ₂ に対する重みづけ係数λ ₁ 、λ ₂ の値を変化させた場合の顔の画素値の変化の 様子を模式的に表している。a)は、重みづけ� ��数λ ₁ を変化させた場合の画素値の変化を示してお り、b)は、重みづけ係数λ ₂ を変化させた場合の画素値の変化を示してい る。a)およびb)のいずれにおいても、各主成� �についての3つの顔形状の中央のものは、平� ��的な画素値を示す。

 この例では、主成分分析の結果、第1主成分 としてはヒゲの有無に寄与する成分が抽出さ れており、重みづけ係数λ ₁ を変化させることによって、a)左端に示すヒ� ��のない顔からa)右端に示すヒゲの濃い顔ま� �変化することがわかる。第2主成分としては� ��の濃さに寄与する成分が抽出されており、� ��みづけ係数λ ₂ を変化させることによって、b)左端に示すよ� ��な眉が薄い顔から、b)右端に示すような眉� �濃い顔まで変化することがわかる。

 以上、図16から図18にかけて説明した処理に よって、顔のモデルが生成される。このモデ ルは、顔形状を表す複数の固有ベクトルp _i と、平均顔形状下での顔の画素値を表す固有 ベクトルq _i とによって、顔を表現する。モデルが有する 各固有ベクトルの合計数は、顔画像を形成す る画素数よりも大幅に少ない。なお、上記の 例では、形状および画素値を顔形状とR,G,B色� ��分の画素値についての別個の重みづけ係数b _i 、λ _i によって、個別の顔画像を表現したが、顔形 状と色成分の画素値のバリエーションには相 関性があることから、特徴点および画素値の 双方を含む特徴パラメータを主成分分析する こともできる。

 次に、モデル格納部350が格納しているモ� ��ルを用いて画像生成部380が特徴領域の画像� ��高解像度化する処理の一例を説明する。画� ��生成部380は、特徴領域に含まれる入力顔画� ��を正規化して、平均顔形状化でのR,G,Bの色� �分の画素値を算出する。なお、入力顔画像� �、かならずしも正面からの画像でなかった� �、照明条件がサンプル画像を撮像した場合� �照明条件と異なる場合がある。したがって� �ここでいう正規化とは、上記で説明した正� �の顔の特徴点を揃える処理だけでなく、斜� �から撮像されて得られた入力顔画像の向き� �正面から撮像された顔画像に変換する変換� �理であったり、照明による影の影響を除去� �たりする影除去処理等のように、サンプル� �像と同等の撮影環境で撮像された顔画像に� �換する処理を含む。

 そして、画像生成部380は、平均顔に対する� ��素値との差を主成分ベクトルq _i に射影することにより、重みづけ係数λ _i を算出する。具体的には、画像生成部380は、 主成分ベクトルq _i との内積により重みづけ係数λ _i を算出することができる。そして、画像生成 部380は、算出された重みづけ係数λ _i 、平均顔の画素値A ₀ 、および主成分ベクトルq _i を用いて、平均顔形状下における画素値Aを� �出する。

 画像生成部380は、顔の特徴点Sについても、 上述した画素値Aの算出処理と同様の処理に� �り算出する。具体的には、画像生成部380は� �平均顔に対する特徴点の位置の差を主成分� �クトルp _i に射影することにより重みづけ係数b _i を算出して、算出された重みづけ係数b _i 、平均顔の特徴点S ₀ 、および主成分ベクトルp _i を用いて、特徴点Aを算出する。そして、画� �生成部380は、画素値Aおよび特徴点Aで表され る画像に対して、上記の正規化処理のうち特 徴点を揃える処理を除く処理の逆変換処理を 施す。

 以上の処理により、画像生成部380は、出� ��部207から出力された撮像画像における特徴� ��域の画像から、当該撮像画像より高画質な� ��画質画像を生成する。具体的には、画像生� ��部380は、出力部207から出力された撮像画像� ��おける特徴領域の画像に比べて、より高解� ��度の画像、よりシャープな画像、よりノイ� ��が少ない画像、より階調数の多い画像、あ� ��いはより色数の多い画像を生成することが� ��きる。

 図19は、モデル格納部350が格納している� �デルの一例をテーブル形式で示す。モデル� �納部350は、複数の表情および複数の方向の� �れぞれの組み合わせ毎に、モデルを格納し� �いる。表情としては、喜怒哀楽のそれぞれ� �状態にあるときの顔、および真顔を含み、� �向としては、正面、上方、下方、右方、左� �、および後方を含む。画像生成部380は、特� �領域に含まれる顔画像の画像内容に基づい� �顔の表情および顔の方向を特定して、特定� �た表情および方向の組み合わせに対応づけ� �モデル格納部350が格納しているモデルを用� �て、上述の再構成処理をすることができる� �

 なお、画像生成部380は、口および/または 目の形状から表情を特定することができ、目 、口、鼻、および耳の位置関係等から顔の方 向を特定することができる。なお、画像処理 装置120が顔の表情および顔の方向を特定して よく、出力部207から撮像画像に対応づけて顔 の表情および顔の方向が出力されてよい。

 また、モデル格納部350は、顔の表情およ� ��向きの他に、上述したように照明条件に対� ��づけてモデルを格納してよい。例えば、モ� ��ル格納部350は、照明強度および照明の方向� ��対応づけてモデルを格納してよい。そして� ��画像生成部380は、特徴領域に含まれる顔画� ��の画像内容に基づいて顔への照明条件を特� ��してよい。例えば、画像生成部380は、影の� ��置および大きさに基づいて、照明強度およ� ��照明方向を特定して、特定した照明強度お� ��び照明方向に対応づけてモデル格納部350が� ��納しているモデルを用いて、上述の再構成� ��理をすることができる。

 なお、上記の例では、顔全体を表現する� ��デルの生成および当該モデルを用いた再構� ��過程を説明した。このような顔全体のモデ� ��の他に、画像処理システム10は、顔の部位� �のモデルを用いることができる。他にも、� �像処理システム10は、性別および/または人� �毎の顔(あるいは顔の部位毎)のモデルを用い ることができる。また、画像処理システム10� ��、人物のモデルの他に、車両、船舶等、画� ��処理システム10が監視対象とする物体の種� �毎にモデルを格納することができる。そし� �画像生成部380は、特徴領域に含まれる物体� �種類に応じてモデルを選択して再構成する� �ともできる。このような種類は、画像処理� �置120において検出され、撮像画像に対応づ� �て画像処理装置170に送信されてよい。

 以上説明したように、モデル格納部350は� ��異なる種類の物体のモデルを、当該種類に� ��応づけて格納することができる。そして、� ��徴領域情報取得部360は、入力画像における� ��徴領域に撮像されている物体の種類を示す� ��報を取得する。そして、画像生成部380は、� ��像画像における特徴領域に含まれる物体の� ��像を、特徴領域情報取得部360が取得した特� ��領域に撮像されている物体の種類に対応づ� ��てモデル格納部350が格納しているモデルに� ��応させることによって、高画質画像に変換� ��る。

 以上説明した画像処理システム10による� �、特徴領域についてはモデルを用いて超解� �化する一方で、背景領域についてはモデル� �用いた超解像化はしない。このため、超解� �処理の演算量を著しく削減することができ� �。また、背景領域のように重要度が低い領� �は高画質化されないので、画像のデータ量� �削減することができる。また、画像処理シ� �テム10によると、特徴領域を特定する情報が 画像処理装置170に送信されるので、低画質な 情報しか含まれない背景領域が誤って超解像 処理されてしまうことを未然に防ぐことがで きる。

 なお、モデル格納部350は、上述したよう� ��、オブジェクトの種類を識別する情報の一� ��としての顔部位(例えば、目、鼻、口など)� �に、学習データを格納している。ここで、� �習データとしては、上記モデルの他に、オ� �ジェクトの多数のサンプル画像からそれぞ� �抽出された、オブジェクトの画像の低周波� �分および高周波成分を含んでよい。このよ� �に、モデル格納部350は、オブジェクトの種� �に対応づけて、オブジェクトの画像の高周� �成分を格納するオブジェクト画像情報格納� �として機能する。なお、複数のオブジェク� �の種類のそれぞれについてオブジェクトの� �像の低周波成分をK-means法等によってクラス� ��リングすることによって、複数のオブジェ� ��トの種類のそれぞれにおいてオブジェクト� ��画像の低周波成分は複数のクラスタにクラ� ��タリングされていてよい。また、各クラス� ��毎に代表的な低周波成分(例えば、重心値)� �定められていてよい。

 そして、画像生成部380は、撮像画像に含� ��れるオブジェクトの画像から低周波成分を� ��出する。そして、画像生成部380は、当該オ� ��ジェクの種類のオブジェクトのサンプル画� ��から抽出された低周波成分のクラスタのう� ��、抽出した低周波成分に適合する値が代表� ��な低周波成分として定められたクラスタを� ��定する。そして、画像生成部380は、特定し� ��クラスタに含まれる低周波成分に対応づけ� ��れている高周波成分のクラスタを特定する� ��このようにして、画像生成部380は、撮像画� ��に含まれるオブジェクトから抽出された低� ��波成分に相関のある高周波成分のクラスタ� ��特定することができる。そして、画像生成� ��380は、特定した高周波成分のクラスタを代� ��する高周波成分を用いて、オブジェクトの� ��像をより高画質な高画質画像に変換してよ� ��。例えば、画像生成部380は、各オブジェク� ��の中心から顔上の処理対象位置までの距離� ��応じた重みでオブジェクト毎に選択された� ��該高周波成分をオブジェクトの画像に加算� ��てよい。なお、当該代表する高周波成分は� ��閉ループ学習によって生成されてよい。こ� ��ように、画像生成部380は、各オブジェクト� ��に学習することによって生成された学習デ� ��タの中から、望ましい学習データをオブジ� ��クト毎に選択して利用するので、オブジェ� ��トの画像をより高い精度で高画質化するこ� ��ができる場合がある。

 以上のように、画像処理装置170は、主成� ��分析(PCA)を用いて特徴領域の画像を再構成� �ることができる。なお、画像処理装置170に� �る画像再構成手法、および当該画像再構成� �の学習法としては、主成分分析(PCA)による学 習・画像再構成の他に、局所保存投影(locality  preserving projection:LPP)、線形判別分析(Linear D iscriminant Analysis:LDA)、独立成分分析(Independent� �component analysis:ICA)、多次元スケーリング(mult idimensional scaling:MDS)、サポートベクターマシ� ��(サポートベクター回帰)、ニューラルネッ� �ワーク、隠れマルコフモデル、Bayes推論、最 大事後確率推定、反復逆投影、Wavelet変換、� �所線形埋め込み(locally linear embedding:LLE)、マ ルコフランダム場(Markov random field:MRF)等の手 法を用いることができる。

 以上説明したように、画像処理装置170は� ��特徴領域の画像を超解像処理することによ� ��て、特徴領域の画像を高画質化する。なお� ��画像処理装置170は、図1~図13に関連して説明 した画像処理装置170の処理と、図14~図19に関� ��して説明した画像処理装置170の処理とを組� ��合わせた処理をすることができる。例えば� ��画像処理装置170は、図14~図19に関連して説� �した超解像処理が特徴領域において施され� �得られた撮像画像を、図1~図13に関連して説� ��したように特徴領域の数、特徴領域の位置� ��特徴領域の大きさ、特徴領域に含まれるオ� ��ジェクトの種類を特定する情報等に対応づ� ��て画像DB175に記録しておく。そして、画像� �理装置170は、図1~図13に関連して説明したよ� ��に、監視者からの指示に応じて、撮像画像� ��対応づけられている特徴領域の数、特徴領� ��の位置、特徴領域の大きさ、特徴領域に含� ��れるオブジェクトの種類を特定する情報等� ��基づいて、例えば特徴領域の画像を大きさ� ��揃えて同じ位置に表示したりすることがで� ��る。

 図20は、他の実施形態に係る画像処理シ� �テム20の一例を示す。本実施形態における画 像処理システム20の構成は、撮像装置100a-dが� ��れぞれ画像処理部804a-d(以下、画像処理部804 と総称する。)を有する点を除いて、図1で説� ��した画像処理システム10の構成と同じとな� �ている。

 画像処理部804は、画像処理装置120に含ま� ��る構成要素のうち、画像取得部250を除く構� ��要素を有している。そして、画像処理部804� ��含まれる各構成要素の機能および動作は、� ��像処理装置120に含まれる各構成要素が圧縮� ��画伸張部202による伸張処理によって得られ� ��撮像動画を処理することに替えて、撮像部1 02によって撮像された撮像動画を処理すると� ��う点を除いて、画像処理装置120に含まれる� ��構成要素の機能および動作と略同一であっ� ��よい。このような構成の画像処理システム2 0においても、図1から図13にかけて画像処理� �ステム10に関連して説明した効果と略同一の 効果が得ることができる。

 なお、画像処理部804は、撮像部102からRAW� ��式で表された複数の撮像画像を含む撮像動� ��を取得して、取得した撮像動画に含まれるR AW形式で表された複数の撮像画像をRAW形式の� ��ま圧縮してよい。なお、画像処理部804は、R AW形式で表された複数の撮像画像から1以上の 特徴領域を検出してよい。また、画像処理部 804は、圧縮されたRAW形式の複数の撮像画像を 含む撮像動画を圧縮してよい。なお、画像処 理部804は、撮像動画を、図1~図19に関連して� �像処理装置120の動作として説明した圧縮方� �で圧縮することができる。なお、画像処理� �置170は、画像処理部804から取得した動画を� �張することにより、RAW形式で表された複数� �撮像画像を取得することができる。画像処� �装置170は、伸張することにより取得されたRA W形式で表された複数の撮像画像をそれぞれ� �域毎に拡大して、領域毎に同時化処理を施� �。このとき、画像処理装置170は、特徴領域� �外の領域より、特徴領域においてより高精� �な同時化処理を施してよい。

 そして、画像処理装置170は、同時化処理� ��よって得られた撮像画像における特徴領域� ��画像に、図14~図19に関連して説明したよう� �超解像処理を施してよい。なお、図1~図19に� ��連して説明したように、画像処理装置170は� ��解像処理において上述した重みづけ係数を� ��出した。この場合、特徴領域に含まれる物� ��の画像は、主成分ベクトルおよび重みづけ� ��数によって表されるが、これらの重みづけ� ��数および主成分ベクトルのデータ量は、物� ��の画像そのものが有する画素データのデー� ��量に比べて大幅に小さい。そこで、画像処� ��部804は、撮像部102から取得した複数の撮像� ��像における特徴領域の画像を圧縮する圧縮� ��理において、特徴領域に含まれる物体の画� ��から上述した重みづけ係数を算出してよい� ��すなわち、画像処理部804は、特徴領域に含� ��れる物体の画像を、主成分ベクトルおよび� ��みづけ係数で表すことによって圧縮するこ� ��ができる。そして、画像処理部804は、主成� ��ベクトルおよび重みづけ係数を画像処理装� ��170に送信してよい。画像処理装置170におい� ��は、画像処理部804から取得した主成分ベク� ��ルおよび重みづけ係数を用いて、上述した� ��うに特徴領域に含まれる物体の画像を再構� ��することができる。

 このように、画像処理部804は、撮像画像� ��おける特徴領域の画像に含まれる物体の画� ��を、物体が特徴パラメータで表現されたモ� ��ルに適応させることによって、特徴領域の� ��像に含まれる物体を表す、当該モデルにお� ��る特徴パラメータの値を算出してよい。そ� ��て、画像処理部804は、算出した特徴パラメ� ��タの値および特徴領域以外の領域の画像を� ��力してよい。そして、画像処理装置170は、� ��像処理部804から取得した特徴パラメータの� ��をモデルに適用することで物体の画像を生� ��して、生成した物体の画像および特徴領域� ��外の領域の画像を用いて一の撮像画像を生� ��してよい。

 図21は、画像処理装置120および画像処理� �置170のハードウェア構成の一例を示す。画� �処理装置120および画像処理装置170は、CPU周� �部と、入出力部と、レガシー入出力部とを� �える。CPU周辺部は、ホスト・コントローラ15 82により相互に接続されるCPU1505、RAM1520、グ� �フィック・コントローラ1575、及び表示デバ� ��ス1580を有する。入出力部は、入出力コント ローラ1584によりホスト・コントローラ1582に� ��続される通信インターフェイス1530、ハード ディスクドライブ1540、及びCD-ROMドライブ1560� ��有する。レガシー入出力部は、入出力コン� ��ローラ1584に接続されるROM1510、フレキシブ� �ディスク・ドライブ1550、及び入出力チップ1 570を有する。

 ホスト・コントローラ1582は、RAM1520と、� �り高い転送レートでRAM1520をアクセスするCPU1 505、及びグラフィック・コントローラ1575と� �接続する。CPU1505は、ROM1510、及びRAM1520に格� �されたプログラムの内容に応じて動作して� �各部の制御をする。グラフィック・コント� �ーラ1575は、CPU1505等がRAM1520内に設けたフレ� �ム・バッファ上に生成する画像データを取� �して、表示デバイス1580上に表示させる。こ� ��に代えて、グラフィック・コントローラ1575 は、CPU1505等が生成する画像データを格納す� �フレーム・バッファを、内部に含んでもよ� �。

 入出力コントローラ1584は、ホスト・コン トローラ1582と、比較的高速な入出力装置で� �るハードディスクドライブ1540、通信インタ� ��フェイス1530、CD-ROMドライブ1560を接続する� �ハードディスクドライブ1540は、CPU1505が使用 するプログラム、及びデータを格納する。通 信インターフェイス1530は、ネットワーク通� �装置1598に接続してプログラムまたはデータ� ��送受信する。CD-ROMドライブ1560は、CD-ROM1595� �らプログラムまたはデータを読み取り、RAM15 20を介してハードディスクドライブ1540、及び 通信インターフェイス1530に提供する。

 入出力コントローラ1584には、ROM1510と、� �レキシブルディスク・ドライブ1550、及び入� ��力チップ1570の比較的低速な入出力装置とが 接続される。ROM1510は、画像処理装置120およ� �画像処理装置170が起動するときに実行する� �ート・プログラム、あるいは画像処理装置12 0および画像処理装置170のハードウェアに依� �するプログラム等を格納する。フレキシブ� �ディスク・ドライブ1550は、フレキシブルデ� ��スク1590からプログラムまたはデータを読み 取り、RAM1520を介してハードディスクドライ� �1540、及び通信インターフェイス1530に提供す る。入出力チップ1570は、フレキシブルディ� �ク・ドライブ1550、あるいはパラレル・ポー� ��、シリアル・ポート、キーボード・ポート� ��マウス・ポート等を介して各種の入出力装� ��を接続する。

 CPU1505が実行するプログラムは、フレキシ ブルディスク1590、CD-ROM1595、またはICカード� �の記録媒体に格納されて利用者によって提� �される。記録媒体に格納されたプログラム� �圧縮されていても非圧縮であってもよい。� �ログラムは、記録媒体からハードディスク� �ライブ1540にインストールされ、RAM1520に読み 出されてCPU1505により実行される。CPU1505によ� ��実行されるプログラムは、画像処理装置120� ��、図1から図20に関連して説明した画像処理� ��置120が有する各構成要素として機能させ、� ��像処理装置170を、図1から図20に関連して説� ��した、画像処理装置170が有する各構成要素� ��して機能させる。

 以上に示したプログラムは、外部の記憶� ��体に格納されてもよい。記憶媒体としては� ��フレキシブルディスク1590、CD-ROM1595の他に� �DVDまたはPD等の光学記録媒体、MD等の光磁気� ��録媒体、テープ媒体、ICカード等の半導体� �モリ等を用いることができる。また、専用� �信ネットワークあるいはインターネットに� �続されたサーバシステムに設けたハードデ� �スクまたはRAM等の記憶装置を記録媒体とし� �使用して、ネットワークを介したプログラ� �として画像処理装置120および画像処理装置17 0に提供してもよい。このように、プログラ� �により制御されるコンピュータが、画像処� �装置120および画像処理装置170として機能す� �。

 以上、本発明を実施の形態を用いて説明� ��たが、本発明の技術的範囲は上記実施の形� ��に記載の範囲には限定されない。上記実施� ��形態に、多様な変更または改良を加えるこ� ��が可能であることが当業者に明らかである� ��その様な変更または改良を加えた形態も本� ��明の技術的範囲に含まれ得ることが、請求� ��範囲の記載から明らかである。請求の範囲� ��明細書、および図面中において示した装置� ��システム、プログラム、および方法におけ� ��動作、手順、ステップ、および段階等の各� ��理の実行順序は、特段「より前に」、「先� ��って」等と明示しておらず、また、前の処� ��の出力を後の処理で用いるのでない限り、� ��意の順序で実現しうることに留意すべきで� ��る。請求の範囲、明細書、および図面中の� ��作フローに関して、便宜上「まず、」、「� ��に、」等を用いて説明したとしても、この� ��で実施することが必須であることを意味す� ��ものではない。