次に本発明の実施の形態について図面を� ��照して詳細に説明する。

 図1は、本発明の実施の形態における画像 処理装置100の機能構成例を示すブロック図で ある。画像処理装置100は、動画入力部110と、 カメラワーク検出部120と、記録制御部130と、 動画取得部140と、カメラワークパラメータ抽 出部150と、画像変換部160と、画像メモリ170と 、画像合成部180と、画像位置取得部190と、動 画記憶部200と、画像位置記憶部210と、代表画 像記憶部220と、操作受付部230と、選択部240と 、表示制御部250と、表示部260とを備える。画 像処理装置100は、例えば、デジタルビデオカ メラ等の撮像装置で撮影された動画について 、映像解析により特徴量を抽出し、この抽出 された特徴量を用いて各種画像処理を施すこ とが可能なパーソナルコンピュータによって 実現することができる。

 動画入力部110は、デジタルビデオカメラ� ��の撮像装置(以下では、単に「カメラ」と称 する。)により撮像された動画を入力する動� �入力部であり、入力された動画をカメラワ� �ク検出部120に出力する。

 カメラワーク検出部120は、動画入力部110� ��ら出力された動画を解析して、撮像時にお� ��るカメラの動き情報(カメラワーク)を検出� �るものであり、特徴点抽出部121と、オプテ� �カルフロー計算部122と、カメラワークパラ� �ータ算出部123とを備える。すなわち、カメ� �ワーク検出部120は、動画を構成する各画像� �ら特徴点を抽出するとともに、この特徴点� �対するオプティカルフロー(動きベクトル)を 抽出し、この抽出された特徴点に対するオプ ティカルフローを解析して支配的な動きを見 せた特徴点を選択し、この支配的な動きを見 せた特徴点に対するオプティカルフローに基 づいてカメラの動きを推定する。ここで、支 配的な動きとは、複数の特徴点に対するオプ ティカルフローの中で、比較的多数のオプテ ィカルフローが示す規則的な動きを意味する 。

 特徴点抽出部121は、動画入力部110から出� ��された動画を構成するフレームに対応する� ��像から特徴点を抽出し、抽出された特徴点� ��オプティカルフロー計算部122に出力するも� ��である。ここで、特徴点抽出部121は、動画� ��力部110から出力された動画を構成するフレ� ��ムのうちの先頭のフレームについては、画� ��全体から特徴点を抽出し、先頭以外のフレ� ��ムについては、直前のフレームに対応する� ��像と比較して新しく撮影された領域部分か� ��特徴点を抽出する。なお、特徴点として、� ��えば、縦方向または横方向にエッジの勾配� ��強い点(一般に「コーナー点」と呼ばれてい る。以下では、「コーナー点」と称する。)� �抽出することができる。このコーナー点は� �オプティカルフローの計算に強い特徴点で� �り、エッジ検出を用いて求めることができ� �。なお、このコーナー点の抽出については� �図4および図5を参照して詳細に説明する。ま た、この例では、特徴点抽出部121は、先頭の フレームについては画像全体から特徴点を抽 出し、先頭以外のフレームについては直前の 画像と比較して新しく撮影された領域部分か ら特徴点を抽出するが、処理能力等に応じて 、先頭以外の各フレームについても、画像全 体から特徴点を抽出するようにしてもよい。

 オプティカルフロー計算部122は、特徴点� ��出部121から出力された各特徴点に対するオ� ��ティカルフローを計算するものであり、計� ��して求められたオプティカルフローをカメ� ��ワークパラメータ算出部123に出力する。具� ��的には、動画入力部110から出力された動画� ��構成する連続する2つのフレーム(現フレー� �およびこの直前のフレーム)に対応する各画� ��を比較することにより、直前のフレームに� ��応する画像における各特徴点に対応するオ� ��ティカルフローを、現フレームのオプティ� ��ルフローとして求める。また、オプティカ� ��フローは、動画を構成するフレーム毎に求� ��られる。なお、オプティカルフローを検出� ��る検出方法として、勾配法やブロックマッ� ��ング方法等の検出方法を用いることができ� ��。なお、このオプティカルフローの計算に� ��いては、図4および図5を参照して詳細に説� �する。

 カメラワークパラメータ算出部123は、オ� ��ティカルフロー計算部122から出力された各� ��徴点に対応するオプティカルフローを用い� ��、カメラワークパラメータを抽出するカメ� ��ワークパラメータ算出処理を行うものであ� ��、算出されたカメラワークパラメータを記� ��制御部130に出力する。ここで、本発明の実� ��の形態では、再生の対象となる動画を構成� ��る画像をカメラの動きに合わせて変換して� ��示する。この画像の変換を行うため、オプ� ��ィカルフロー計算部122により計算されたオ� ��ティカルフローを用いてカメラの動きが抽� ��され、この抽出された動きに基づいて、カ� ��ラワークパラメータ(変換パラメータ)が計� �される。なお、本発明の実施の形態では、� �生の対象となる動画を構成する画像を変換� �る画像変換方法として、アフィン変換を用� �る例について説明する。また、カメラワー� �パラメータとして、オプティカルフローに� �づいて算出されたアフィン変換パラメータ� �行列の逆行列に対応するアフィン変換パラ� �ータを用いる例について説明する。すなわ� �、本発明の実施の形態では、変換情報とし� �用いられるアフィン変換パラメータを、連� �する画像間の特徴点の動きを表すアフィン� �列ではなく、連続する画像のうちの1つの画� ��を基準画像とした場合に、この基準画像の� ��の画像がどこに移動するかを示すアフィン� ��列に対応するアフィン変換パラメータと定� ��する。また、カメラワークパラメータとし� ��、アフィン変換パラメータを用いる例につ� ��て説明する。なお、射影変換等の他の画像� ��換方法を用いるようにしてもよい。なお、� ��フィン変換パラメータは、3点のベクトルを 用いて計算して求めることができる。また、 射影変換パラメータは、4点のベクトルを用� �て計算して求めることができる。ここで、� �メラワークパラメータは、撮像動画を構成� �る撮像画像のうちの少なくとも1つの撮像画� ��を基準にして他の撮像画像を変換するため� ��変換情報であり、少なくともカメラの座標� ��で記述される位置情報および姿勢情報を含� ��ものである。すなわち、カメラワークパラ� ��ータは、撮影者により撮影されている場合� ��おけるカメラの位置や姿勢に関する情報を� ��むものである。また、カメラワークパラメ� ��タ算出部123により求められたアフィン変換� ��ラメータに基づいて、例えば、ズームイン� ��ズームアウト、パン、チルト、ローテーシ� ��ン等の撮影者の操作によるカメラの動きを� ��定することができる。なお、アフィン変換� ��ラメータの計算については、図4および図5� �参照して詳細に説明する。

 記録制御部130は、動画入力部110から出力� ��れた動画と、カメラワークパラメータ算出� ��123から出力されたアフィン変換パラメータ� ��について、互いに対応するフレームとアフ� ��ン変換パラメータとを関連付けて動画ファ� ��ルとして動画記憶部200に記録するものであ� ��。

 動画記憶部200は、互いに対応するフレー� ��とアフィン変換パラメータとが関連付けら� ��た動画ファイルを記憶するものである。ま� ��、動画記憶部200は、動画取得部140からの要� ��に応じて動画ファイルを動画取得部140に供� ��する。

 動画取得部140は、動画記憶部200に記憶さ� ��ている動画ファイルを取得するものであり� ��取得された動画ファイルをカメラワークパ� ��メータ抽出部150および画像変換部160に出力� ��る。

 カメラワークパラメータ抽出部150は、動� ��取得部140から出力された動画ファイルに関� ��付けて記録されているアフィン変換パラメ� ��タをフレーム毎に抽出するものであり、抽� ��されたアフィン変換パラメータを画像変換� ��160に出力する。

 画像変換部160は、動画取得部140から出力� ��れた動画ファイルの動画を構成する画像に� ��いて、カメラワークパラメータ抽出部150か� ��出力されたアフィン変換パラメータを用い� ��フレーム毎にアフィン変換を施し、アフィ� ��変換された画像を画像合成部180および画像� ��置取得部190に出力するものである。具体的� ��は、画像変換部160は、動画取得部140から出� ��された現フレームに対応する画像を、カメ� ��ワークパラメータ抽出部150から出力された� ��フィン変換パラメータを用いてアフィン変� ��する。なお、この画像変換については、図7 乃至図15等を参照して詳細に説明する。

 画像メモリ170は、画像合成部180により合� ��された合成画像を保持するワークバッファ� ��備え、保持されている合成画像を画像合成� ��180および画像位置取得部190に供給するもの� ��ある。すなわち、画像メモリ170は、履歴画� ��を保持する画像メモリである。

 画像合成部180は、画像変換部160から出力� ��れた変換画像および画像メモリ170に保持さ� ��ている合成画像を合成し、合成された合成� ��像を画像メモリ170に出力するものである。� ��体的には、画像合成部180は、画像メモリ170� ��保持されている直前までの各フレームに対� ��する合成画像に、画像変換部160によりアフ� ��ン変換された画像を上書きすることにより� ��像を合成する。また、1つの動画について先 頭のフレームから最後のフレームまでの画像 合成が終了した場合には、画像合成部180は、 画像メモリ170に保持されている合成画像の縮 小画像を作成して、この作成された縮小画像 および画像メモリ170に保持されている合成画 像をパノラマ画像として代表画像記憶部220に 出力して記録させる。このパノラマ画像は、 動画入力部110から入力された動画を表す代表 画像であり、この動画に含まれる各撮影空間 の大部分が含まれるように作成される画像で ある。なお、これらの画像合成については、 図7乃至図15等を参照して詳細に説明する。

 画像位置取得部190は、画像変換部160から� ��力された変換画像および画像メモリ170に保� ��されている合成画像に基づいて、画像メモ� ��170のワークバッファ上における画像変換部1 60から出力された変換画像の中心位置および� ��像の大きさ(面積)を取得するものであり、� �得された変換画像の中心位置および画像の� �きさを、変換画像に対応するフレーム番号� �ともに画像位置記憶部210に出力する。すな� �ち、画像位置取得部190は、画像変換部160か� �出力された変換画像について、画像合成部18 0により作成されるパノラマ画像(代表画像)に おける座標位置を取得する。なお、この画像 の中心位置および画像の大きさについては、 図2を参照して詳細に説明する。

 画像位置記憶部210は、画像位置取得部190� ��ら出力された画像のフレーム番号、画像の� ��心位置および大きさを関連付けて記憶する� ��のであり、記憶されているフレーム番号、� ��像の中心位置および大きさを選択部240に出� ��する。なお、画像位置記憶部210に記憶され� ��いる各情報については、図2を参照して詳細 に説明する。

 代表画像記憶部220は、画像合成部180から� ��力された合成画像を、動画記憶部200に記憶� ��れている動画に関するパノラマ画像として� ��憶するとともに、画像合成部180から出力さ� ��た縮小画像を、動画記憶部200に記憶されて� ��る動画に関するパノラマ縮小画像として記� ��するものであり、記憶されているパノラマ� ��像を表示制御部250に供給する。

 操作受付部230は、各種操作キー等を備え� ��これらのキーによる操作入力を受け付ける� ��、受け付けた操作入力の内容を選択部240ま� ��は表示制御部250に出力するものである。操� ��受付部230には、例えば、マウス(ポインティ ングデバイス)が備えられ、このマウスから� �操作入力に応じて移動するカーソル(マウス� ��インタ)が表示部260に表示される。カーソル は、表示部260に表示される画面上において、 指示や操作の対象を指し示すために用いられ るマウスポインタである。

 選択部240は、操作受付部230により受け付� ��られたパノラマ画像における位置選択操作� ��入力すると、画像位置記憶部210に記憶され� ��いる画像の中心位置および大きさに基づい� ��、画像位置記憶部210に記憶されているフレ� ��ム番号の中から1つのフレーム番号を選択し て、選択されたフレーム番号およびこれに対 応する動画IDを表示制御部250に出力するもの� ��ある。なお、この選択については、図22を� �照して詳細に説明する。

 表示制御部250は、操作受付部230の操作入� ��に応じて、代表画像記憶部220に記憶されて� ��るパノラマ画像、または、動画記憶部200に� ��憶されている動画を表示部260に表示させる� ��御を行うものである。また、表示制御部250� ��、選択部240からフレーム番号および動画ID� �入力されると、動画記憶部200から動画IDに対 応する動画を検索するとともに、この検索さ れた動画についてフレーム番号に対応する位 置から再生を開始する。

 表示部260は、表示制御部250からの制御に� ��づいて、代表画像記憶部220に記憶されてい� ��パノラマ画像、または、動画記憶部200に記� ��されている動画を表示するものである。例� ��ば、パーソナルコンピュータやテレビジョ� ��のディスプレイにより実現することができ� ��。なお、合成画像の表示例については、図2 0等を参照して詳細に説明する。

 図2は、本発明の実施の形態における画像 位置記憶部210に記憶されている内容を概略的 に示す図である。

 画像位置記憶部210には、画像変換部160に� ��りアフィン変換され、画像合成部180により� ��成された画像に関する情報がフレーム毎に� ��系列で記憶されている。具体的には、画像� ��置記憶部210には、動画ID211と、フレーム番� �212と、中心位置213と、画像サイズ214とが関� �付けて記憶されている。

 動画ID211は、動画記憶部200に記憶されて� �る各動画に対応するIDである。

 フレーム番号212は、動画記憶部200に記憶� ��れている動画を構成するフレームの識別番� ��であり、例えば、先頭のフレームのフレー� ��番号を「1」とし、2番目のフレーム番号を� �2」とする。そして、3番目以降のフレームに ついても同様にフレーム番号が付与される。 このように、動画取得部140により取得された 動画を構成する各フレームについて、画像変 換部160によりアフィン変換された画像に対応 するフレームのフレーム番号が時系列でフレ ーム番号212に記録される。

 中心位置213は、画像メモリ170のワークバ� ��ファ上における画像変換部160によりアフィ� ��変換された画像の中心位置を示すものであ� ��。例えば、画像メモリ170のワークバッファ� ��をxy座標とした場合には、画像変換部160に� �りアフィン変換された画像の中心位置に対� �する座標の値が記録される。

 画像サイズ214は、画像メモリ170のワーク� ��ッファ上における画像変換部160によりアフ� ��ン変換された画像の大きさを示す画像サイ� ��である。例えば、この画像サイズとして、� ��像変換部160によりアフィン変換された画像� ��面積が記録される。なお、本発明の実施の� ��態では、画像変換部160によりアフィン変換� ��れた画像の位置情報として、中心位置およ� ��画像サイズを用いる例について説明するが� ��そのアフィン変換された画像の位置情報と� ��て、その画像の4頂角に対応する座標等の他 の位置情報を用いるようにしてもよい。

 図3は、本発明の実施の形態における代表 画像記憶部220に記憶されている内容を概略的 に示す図である。

 代表画像記憶部220には、動画記憶部200に� ��憶されている各動画について画像合成部180� ��より作成された合成画像および縮小画像が� ��パノラマ画像およびパノラマ縮小画像とし� ��記憶されている。具体的には、代表画像記� ��部220には、動画ID221と、パノラマ画像222と� �パノラマ縮小画像223とが関連付けて記憶さ� �ている。例えば、1つの動画について1つのパ ノラマ画像およびパノラマ縮小画像が記憶さ れる。

 動画ID211は、動画記憶部200に記憶されて� �る動画に対応するIDである。

 パノラマ画像222は、動画記憶部200に記憶� ��れている各動画について画像合成部180によ� ��合成された合成画像である。なお、図3では 、代表画像記憶部220に記憶されている各パノ ラマ画像を「A1」、「B1」、「C1」として省略 して示す。

 パノラマ縮小画像223は、動画記憶部200に� ��憶されている各動画について画像合成部180� ��より作成された合成画像が縮小された縮小� ��像であり、パノラマ画像222に記憶されるパ� ��ラマ画像が縮小されたものである。なお、� ��3では、代表画像記憶部220に記憶されている 各パノラマ縮小画像を「A11」、「B11」、「C11 」として省略して示す。

 次に、画像変換に用いられるアフィン変� ��パラメータを検出する検出方法について図� ��を参照して詳細に説明する。

 図4(a)乃至(c)は、動画を構成するフレーム に対応する画像の一例を示す図である。図5(a )は、図4に示す画像300に対応するフレームの1 つ前のフレームに対応する画像について背景 等を省略して簡略化した画像を示す図である 。また、図5(b)および(c)は、図4に示す画像300� ��ついて背景等を省略して簡略化した画像を� ��す図である。

 図4および図5に示す画像300、320、330には� �人が跨っている馬の像301、321、331と、この� �の像301、321、331の手前に設置されている蛇� �像302、322、332とが含まれている。また、図4� ��示すように、これらの像の背景には旗や椅� ��等が存在し、この旗が風になびいている。

 図5(a)に示す画像320は、図4(a)乃至(c)およ� �図5(b)および(c)に示す画像300、330に対応する� ��レームの1つ前のフレームに対応する画像を 簡略化した画像である。また、2つの連続す� �フレームに対応する画像320および330は、画� �内の被写体が次第に大きくなる場合におけ� �遷移を示す画像である。すなわち、この撮� �時には、画面内の被写体を次第に大きくす� �操作であるズームイン操作がされている。

 本発明の実施の形態では、動画を構成す� ��画像から特徴点を検出し、この特徴点に対� ��するオプティカルフローを用いてアフィン� ��換パラメータを計算する方法を例にして説� ��する。また、この例では、特徴点としてコ� ��ナー点を用いる場合について説明する。

 ここで、図5(a)乃至(c)では、画像320および 330から検出された3つのコーナー点に対応す� �オプティカルフローを用いてアフィン変換� �ラメータを計算する方法を例にして説明す� �。

 例えば、図5(a)に示す画像320において、特 徴点として、馬の像321における口付近のコー ナー点323と、馬の像321における人のお尻付近 のコーナー点324と、蛇の像322の口付近のコー ナー点325とが検出されているものとする。こ の場合において、図5(b)に示す画像330におい� �、勾配法やブロックマッチング法等により� �画像320におけるコーナー点323、324および325� �対するオプティカルフロー337、338および339� �検出される。そして、この検出されたオプ� �ィカルフロー337、338および339に基づいて、� �像320におけるコーナー点323、324および325に� �応するコーナー点333、334および335が検出さ� �る。

 ここで、例えば、図5(a)および(b)に示す画 像320および330に含まれる馬の像321、331や蛇の 像322、332は、地面に設置されているものであ るため、カメラの動きとは無関係に動くもの ではない。このため、馬の像321、331や蛇の像 322、332について検出されたコーナー点に対し て求められたオプティカルフローに基づいて 、カメラの動きを正確に推定することができ る。例えば、図5(c)に示すように、画像330に� �いて検出された3つのオプティカルフロー337� ��至339に基づいて、画像330が、点336を中心に� ��て画像320を拡大したものであることを推定� ��ることができる。これにより、画像330の撮� ��時におけるカメラの動きは、点336を中心と� ��るズームイン動作であると判断することが� ��きる。このように、カメラの動きとは無関� ��に動くものではない物体についてコーナー� ��を検出し、このコーナー点に対して求めら� ��たオプティカルフローに基づいて、一定の� ��則性を備えるカメラの動きを正確に検出す� ��ことができる。このため、これらのコーナ� ��点に対して求められたオプティカルフロー� ��用いて、アフィン変換パラメータを計算し� ��求めることができる。

 しかしながら、風になびいている旗等の� ��うに、カメラの動きとは無関係に動く物体� ��画像内に含まれる場合が考えられる。例え� ��、図4に示す画像300には、風になびいている 旗が含まれている。このようなカメラの動き とは無関係に動く物体についてコーナー点が 検出され、このコーナー点に対して求められ たオプティカルフローを用いてカメラの動き を推定する場合には、カメラの動きを正確に 推定することができない。

 例えば、図4(b)に示す画像300において検出 されたオプティカルフローを矢印で示すとと もに、このオプティカルフローにより検出さ れたコーナー点を矢印の先端に白抜きの丸で 示す。ここで、コーナー点303乃至305は、図5(b )および(c)に示すコーナー点333乃至335に対応� �るコーナー点である。また、コーナー点306� �至311は、馬の像301の背景に存在する旗につ� �て検出されたコーナー点である。そして、� �れらの旗が風になびいているため、風の影� �による旗の動きがオプティカルフローとし� �検出されている。すなわち、コーナー点306� �至311に対応する各オプティカルフローは、� �メラの動きとは無関係に動く旗について検� �されたものである。このため、アフィン変� �パラメータを計算する場合に用いられる3つ� ��オプティカルフローに、コーナー点306乃至3 11のうちの少なくとも1つのコーナー点に対応 するオプティカルフローが含まれている場合 には、正確なカメラの動きを検出することが できない。この場合には、正確なアフィン変 換パラメータを計算することができない。

 以上で示したように、例えば、カメラの� ��きとは無関係に動く物体に対するオプティ� ��ルフロー(図4(b)に示すコーナー点306乃至311� �対応する各オプティカルフロー)と、カメラ� ��動きとの関係で一定の規則性を備えるオプ� ��ィカルフロー(図4(b)に示すコーナー点306乃� �311に対応する各オプティカルフロー以外の� �プティカルフロー)とが、撮影画像から検出� ��れることがある。

 そこで、本発明の実施の形態では、3個の オプティカルフローに基づいてアフィン変換 パラメータを計算するアフィン変換パラメー タ計算処理を複数回行い、複数のアフィン変 換パラメータを求め、これらの複数のアフィ ン変換パラメータの中から最適なアフィン変 換パラメータを選択する例について説明する 。なお、この例では、動画を構成する各画像 に含まれている動物体の大きさが、画像の面 積に対して比較的小さいものとする。

 ここで、アフィン変換について簡単に説明� ��る。2次元上において、移動元の位置を(x,y)� ��し、アフィン変換後の移動先の位置を(x´,y� �)とした場合に、アフィン変換の行列式は、� ��1で表すことができる。

 ここで、a乃至fは、アフィン変換パラメー� �である。また、このアフィン変換パラメー� �によるアフィン行列AMを次の式で表すことが できる。この場合に、X方向のズーム成分XZ、 Y方向のズーム成分YZ、X方向の並進成分XT、Y� �向の並進成分YT、回転成分Rについては、そ� �ぞれ次の式で求めることができる。なお、� �位行列の場合には、a=e=1、b=c=d=f=0となる。

 次に、アフィン変換パラメータの計算方� ��について説明する。

 最初に、動画を構成するフレームの中の1 つのフレームである現フレームに対応する画 像において、オプティカルフローが検出され た特徴点の中から3個の特徴点が選択される� �例えば、図4(b)に示す画像300において検出さ� ��たコーナー点(白抜きの丸で示す)の中から� �ンダムに3個のコーナー点が選択される。な� ��、カメラワークパラメータとして、射影変� ��パラメータを用いる場合には、4個の特徴点 がランダムに選択される。

 続いて、選択された3個の特徴点に対応す る3個のオプティカルフローを用いてアフィ� �変換パラメータが計算される。例えば、図4( b)に示す画像300におけるコーナー点(白抜きの 丸で示す)の中から選択された3個のコーナー� ��に対応するオプティカルフロー(白抜きの丸 に接続される矢印で示す)を用いてアフィン� �換パラメータが計算される。このアフィン� �換パラメータは、式1を用いて求めることが� ��きる。

 続いて、求められたアフィン変換パラメ� ��タに基づいて、アフィン変換パラメータの� ��コアが計算される。具体的には、求められ� ��アフィン変換パラメータを用いて、現フレ� ��ムの直前のフレームに対応する画像におけ� ��全ての特徴点の移動先の位置を求める。そ� ��て、このアフィン変換パラメータを用いて� ��められた特徴点の位置と、現フレームにお� ��て検出された特徴点の位置とを比較して、� ��いに対応する2つの特徴点の位置の差分値が 特徴点毎に計算される。差分値として、例え ば、互いに対応する2つの特徴点の位置間の� �対距離が計算される。続いて、計算された� �分値と、予め設定されている閾値とを特徴� �毎に比較して、その差分値が閾値よりも小� �い特徴点の個数をアフィン変換パラメータ� �スコアとして求める。このように、オプテ� �カルフローが検出された特徴点の中から3個� ��特徴点をランダムに選択し、これらの特徴� ��に対応するオプティカルフローに基づいて� ��フィン変換パラメータのスコアを算出する� ��理を所定回数繰り返し、アフィン変換パラ� ��ータのスコアを複数算出する。この所定回� ��は、比較の対象となる画像の種類や画像処� ��装置100の処理能力等に応じて適宜設定する� ��うにしてもよく、固定値を用いるようにし� ��もよい。この所定回数として、例えば、画� ��処理装置100の処理能力を考慮して20回程度� �設定することができる。

 例えば、図4(b)に示す画像300において検出 されたコーナー点の中から、コーナー点306乃 至311以外のコーナー点が3個選択された場合� �考える。このように選択された3個のコーナ� ��点に対応する3個のオプティカルフローを用 いてアフィン変換パラメータが計算されると 、上述したように、この3個のオプティカル� �ローは一定の規則性を備えているため、直� �のフレームに対応する画像を一定の規則に� �って変換させるアフィン変換パラメータが� �められる。このため、アフィン変換パラメ� �タを用いて求められたコーナー点の位置と� �現フレームにおいて検出されたコーナー点� �位置とについて、コーナー点306乃至311以外� �コーナー点に関して求められる差分値は、� �較的小さい値が算出される。このため、ア� �ィン変換パラメータのスコアは、大きい値� �なる。

 一方、図4(b)に示す画像300において検出さ れたコーナー点の中から、コーナー点306乃至 311のうちの少なくとも1個を含む3個のコーナ� ��点が選択された場合を考える。このように� ��択された3個のコーナー点に対応する3個の� �プティカルフローを用いてアフィン変換パ� �メータが計算されると、上述したように、� �の3個のオプティカルフローには、一定の規� ��性を備えていないオプティカルフローが含� ��れるため、直前のフレームに対応する画像� ��一定の規則に従って変換させるものではな� ��アフィン変換パラメータが求められる。こ� ��ため、アフィン変換パラメータを用いて求� ��られたコーナー点の位置と、現フレームに� ��いて検出されたコーナー点の位置とについ� ��求められる差分値は、任意のコーナー点で� ��較的大きい値が算出される。このため、ア� ��ィン変換パラメータのスコアは、小さい値� ��なる。

 続いて、求められた複数のアフィン変換� ��ラメータのスコアの中で、スコアの値が最� ��大きいアフィン変換パラメータを代表アフ� ��ン変換パラメータとして選択する。そして� ��選択された代表アフィン変換パラメータの� ��列に対する逆行列のアフィン変換パラメー� ��を、現フレームに関連付けて動画記憶部200� ��記録する。これにより、動画を構成する画� ��をアフィン変換する場合に、最適なアフィ� ��変換パラメータを用いてアフィン変換する� ��とができる。

 以上で示したように、動画を構成する各� ��像に人物や車等の動いている物体(動物体)� �含まれている場合でも、画像の面積に対す� �その動物体の大きさが比較的小さい場合に� �、動物体の影響を受けずにカメラの動きを� �出することができる。

 また、カメラの動きを抽出することによ� ��て、ズームイン、ズームアウト、パン、チ� ��ト、ローテーション等の意図的に撮影者が� ��動させたと思われる動きを推定することが� ��きる。

 次に、本発明の実施の形態における画像� ��理装置100の動作について図面を参照して説� ��する。

 図6は、本発明の実施の形態における画像 処理装置100によるアフィン変換パラメータ検 出処理の処理手順を示すフローチャートであ る。

 最初に、動画入力部110に動画ファイルが� ��力される(ステップS900)。続いて、動画入力� ��110に入力された動画ファイルがデコードさ� ��、時系列の順序で1つのフレームの画像が取 得される(ステップS901)。続いて、取得された 1つのフレームが動画入力部110に入力された� �画ファイルの先頭のフレームであるか否か� �判断される(ステップS902)。取得された1つの� ��レームが、先頭のフレームである場合には( ステップS902)、この先頭のフレームに対応す� ��画像の全体から特徴点が抽出される(ステッ プS903)。例えば、図4(b)に示すように、画像に おいて複数のコーナー点が抽出される。続い て、アフィン変換パラメータとして単位行列 のアフィン変換パラメータが選択され(ステ� �プS904)、ステップS914に進む。

 一方、取得された1つのフレームが、先頭 のフレームではない場合には(ステップS902)、 直前のフレームに対応する画像を基準として 新たに撮影された領域から特徴点が抽出され る(ステップS905)。すなわち、直前のフレーム に対応する画像において既に抽出されている 特徴点については、この特徴点に対応するオ プティカルフローにより求めることができる ため、現フレームに対応する画像においては 抽出されない。

 続いて、直前のフレームに対応する画像� ��ら抽出された各特徴点に対するオプティカ� ��フローが計算される(ステップS906)。すなわ� ��、図4(b)に示すように、各コーナー点に対す るオプティカルフローが計算される。

 続いて、変数iが「1」に初期化される(ス� ��ップS907)。続いて、オプティカルフローが� �出された特徴点の中から、M個の特徴点が選� ��される(ステップS908)。例えば、カメラワー� ��パラメータとして、アフィン変換パラメー� ��を用いる場合には、3個の特徴点がランダム に選択される。また、カメラワークパラメー タとして、射影変換パラメータを用いる場合 には、4個の特徴点がランダムに選択される� �続いて、選択されたM個の特徴点に対応して� ��算されたM個のオプティカルフローに基づい て、アフィン変換パラメータが計算される(� �テップS909)。

 続いて、計算して求められたアフィン変� ��パラメータに基づいて、アフィン変換パラ� ��ータのスコアが計算される(ステップS910)。� ��体的には、計算して求められたアフィン変� ��パラメータを用いて、直前のフレームに対� ��する画像における全ての特徴点の移動先の� ��置を求める。そして、このアフィン変換パ� ��メータを用いて求められた特徴点の位置と� ��ステップS906でオプティカルフローを計算し た際に求められた現フレームに対応する画像 における特徴点の位置とを比較して、互いに 対応する2つの特徴点の位置の差分値が特徴� �毎に計算される。差分値として、例えば、� �いに対応する2つの位置間の絶対距離が計算� ��れる。続いて、計算された差分値と、予め� ��定されている閾値とを特徴点毎に比較して� ��その差分値が閾値よりも小さい特徴点の個� ��をアフィン変換パラメータのスコアとして� ��める。

 続いて、変数iに「1」が加算され(ステッ� ��S911)、変数iが、定数Nよりも大きいか否かが 判断される(ステップS912)。変数iが、定数N以� ��である場合には(ステップS912)、ステップS908 に戻り、アフィン変換パラメータのスコア算 出処理を繰り返す(ステップS908乃至S910)。例� �ば、定数Nとして、20を用いることができる� �

 一方、変数iが定数Nよりも大きい場合に� �(ステップS912)、求められたアフィン変換パ� �メータのスコアのうちで、スコアの値が最� �大きいアフィン変換パラメータが代表アフ� �ン変換パラメータとして選択される(ステッ� ��S913)。続いて、選択された代表アフィン変� �パラメータの行列に対する逆行列のアフィ� �変換パラメータが、現フレームに関連付け� �動画記憶部200に記録される(ステップS914)。� �お、現フレームが先頭のフレームである場� �には、選択された単位行列のアフィン変換� �ラメータが、先頭のフレームに関連付けて� �画記憶部200に記録される。続いて、現フレ� �ムに対応する画像と、この画像における特� �点とが上書き保存される(ステップS915)。

 続いて、現フレームが、動画入力部110に� ��力された動画ファイルの最後のフレームで� ��るか否かが判断される(ステップS916)。現フ� ��ームが、最後のフレームではない場合には( ステップS916)、ステップS901に戻り、アフィン 変換パラメータ検出処理を繰り返す(ステッ� �S901乃至S915)。一方、現フレームが、最後の� �レームである場合には(ステップS916)、アフ� �ン変換パラメータ検出処理を終了する。

 本発明の実施の形態では、カメラワーク� ��ラメータの検出として、動画を構成する画� ��において検出されたオプティカルフローに� ��づいてアフィン変換パラメータを検出する� ��について説明したが、加速度センサやジャ� ��ロセンサ等のセンサやズーム操作をする際� ��用いられるズームボタンをカメラに設け、� ��のセンサやズームボタンによって撮影時に� ��けるカメラの移動量を検出し、このカメラ� ��移動量に基づいてカメラワークパラメータ� ��求めるようにしてもよい。なお、これらの� ��影時において検出されたカメラの移動量に� ��いては、カメラワークパラメータ算出部123� ��より求められたカメラワークパラメータが� ��しいか否かを判断する際に用いることがで� ��る。また、カメラワークパラメータ算出部1 23により複数のカメラワークパラメータを検� ��しておき、撮影時において検出されたカメ� ��の移動量に基づいて、この複数のカメラワ� ��クパラメータの中から1つのカメラワークパ ラメータを選択するようにしてもよい。

 次に、上述したアフィン変換パラメータ� ��用いて動画を合成する場合について図面を� ��照して詳細に説明する。なお、図7乃至図15� ��示す各画像は、説明のため、簡略化すると� ��もに、連続する2つのフレーム間の移動量を 大きくして示している。

 最初に、カメラの撮影時において、倍率� ��変更されないものの、カメラの位置を中心� ��して、カメラのレンズの方向が上下左右の� ��れかに移動されている場合について説明す� ��。

 図7は、カメラにより撮影された動画の遷 移の一例を示す図である。図7には、山を背� �にして人400を撮影した場合における動画に� �まれる連続するフレームに対応する画像401� �至403を示す図である。この例では、カメラ� �レンズの方向を右および上側に移動しなが� �、撮影者が撮影を行っている場合を示す。� �の場合には、カメラにより撮影される動画� �含まれる人400が、その動画を構成する画像� �おいて右側から左側に移動するとともに下� �に移動する。

 図8は、図7に示す各画像において、直前� �フレームに対応する画像を破線で示すとと� �に、検出されるオプティカルフローの一例� �示す図である。図8(a)に示す画像401は、図7(a) に示す画像401と同じものである。また、図8(b )に示す画像402のうちの実線の部分は、図7(b)� ��示す画像402と同じものであり、図8(b)に示す 画像402のうちの破線の部分は、図8(a)に示す� �像401の実線の部分と同じものである。また� �図8(b)に示す画像402における矢印404乃至406は� ��画像402から検出されたオプティカルフロー� ��一例を示す。同様に、図8(c)に示す画像403の うちの実線の部分は、図7(c)に示す画像403と� �じものであり、図8(c)に示す画像403のうちの� ��線の部分は、図8(b)に示す画像402の実線の部 分と同じものである。また、図8(c)に示す画� �403における矢印407乃至409は、画像403から検� �されたオプティカルフローの一例を示す。

 図8(b)および(c)に示すように、カメラの移 動に合わせて、画像に含まれる人400および背 景の山が移動する。この移動により検出され るオプティカルフローに基づいてアフィン変 換パラメータをフレーム毎に求めることがで きる。

 図9は、図7に示す画像401乃至403を含む動� �を合成する場合における画像合成例を示す� �である。

 図9(a)に示すように、最初は、先頭のフレ ームに対応する画像401のみであるため合成は されない。ここで、画像401に対応するアフィ ン変換パラメータの行列(3×3の行列)をA1とす� ��場合に、A1の値が求められ、先頭のフレー� �の画像401の位置および大きさを基準にして� �求められたA1の行列により画像401がアフィン 変換される。ここで、A1は単位行列であるた� ��、画像401の位置および大きさは変換されな� ��。続いて、次のフレームに対応する画像402� ��合成される場合には、このフレームに関連� ��けられているアフィン変換パラメータを用� ��て画像402がアフィン変換される。具体的に� ��、画像402に対応するアフィン変換パラメー� ��の行列をA2とし、画像401に対応するアフィ� �変換パラメータの行列をA1とする場合におい て、A1×A2の値が求められ、先頭のフレームの 画像401の位置および大きさを基準にして、求 められたA1×A2の行列により画像402がアフィン 変換される。図9(b)に示す画像においては、� �像402の位置のみが変換される。そして、ア� �ィン変換パラメータによりアフィン変換さ� �た画像402が、直前のフレームに対応する画� �401に重なるように上書きされる。すなわち� �画像401の領域のうちで、画像402と重複する� �域410については、画像402の画像が上書きさ� �る。また、画像401の領域のうちで、画像420� �重複しない領域411については、画像401の画� �が合成される。すなわち、2つ目のフレーム� ��対応する画像402が合成される場合には、図9 (b)に示すように、画像402の全体部分と、画像 401のうちの領域411に対応する部分とが合成さ れる。また、画像402をアフィン変換したアフ ィン変換パラメータが画像変換部160に保持さ れる。

 続いて、次のフレームに対応する画像403� ��合成される場合には、このフレームに関連� ��けられているアフィン変換パラメータを用� ��て画像403がアフィン変換される。すなわち� ��画像403に対応するアフィン変換パラメータ� ��行列と、直前のアフィン変換に用いられた� ��像402に対応するアフィン変換パラメータの� ��列とを用いて求められたアフィン変換パラ� ��ータにより画像403がアフィン変換される。� ��体的には、画像403に対応するアフィン変換� ��ラメータの行列をA3とし、画像402に対応す� �アフィン変換パラメータの行列をA2とし、画 像401に対応するアフィン変換パラメータの行 列をA1とする場合において、A1×A2×A3の値が求 められ、先頭のフレームの画像401の位置およ び大きさを基準にして、求められたA1×A2×A3� �行列により画像403がアフィン変換される。� �9(c)に示す画像においては、画像403の位置の� ��が変換される。そして、アフィン変換パラ� ��ータによりアフィン変換された画像403が、� ��のフレームに対応する画像401および402の合� ��画像に重なるように上書きされる。すなわ� ��、画像401および402の合成画像の領域のうち� ��、画像403と重複する領域413および414につい� ��は、画像403の画像が上書きされる。また、� ��像401および402の合成画像の領域のうちで、� ��像403と重複しない領域411および412について� ��、画像401および402の合成画像が合成される� ��すなわち、3つ目のフレームに対応する画像 403が合成される場合には、図9(c)に示すよう� �、画像403の全体部分と、画像401のうちの領� �411に対応する部分と、画像420のうちの領域41 2に対応する部分とが合成される。また、画� �403をアフィン変換したアフィン変換パラメ� �タが画像変換部160に保持される。すなわち� �画像402および403のそれぞれに対応するアフ� �ン変換パラメータの行列の乗算により求め� �れたアフィン変換パラメータが画像変換部16 0に保持される。このように、現フレームに� �応する画像をアフィン変換する場合には、� �フレームに対応するアフィン変換パラメー� �の行列と、この直前までの各フレームに対� �するアフィン変換パラメータの行列とを用� �て求められたアフィン変換パラメータによ� �、現フレームに対応する画像がアフィン変� �される。このアフィン変換の際に求められ� �アフィン変換パラメータが画像変換部160に� �持され、次のアフィン変換で用いられる。� �た、画像メモリ170のワークバッファ上にお� �るアフィン変換された画像の中心位置に対� �する座標の値と、画像の大きさを示す画像� �イズとが画像位置記憶部210に記録される。� �た、図12および図15の場合についても同様で� ��る。

 次に、カメラの撮影時において、カメラ� ��レンズの方向は移動されないものの、倍率� ��変更されている場合について説明する。

 図10は、カメラにより撮影された動画の� �移の一例を示す図である。図10には、山を背 景にして人420を撮影した場合における動画に 含まれる連続するフレームに対応する画像421 乃至423を示す図である。この例では、カメラ のレンズの倍率を上げながら、撮影者が撮影 を行っている場合を示す。この場合には、カ メラにより撮影される動画に含まれる人420が 、その動画を構成する画像において次第に大 きくなる。なお、倍率を上げる際にカメラの 位置が多少移動する場合があるものの、この 例では、カメラの位置の移動については考慮 せずに説明する。

 図11は、図10に示す各画像において、直前 のフレームに対応する画像を破線で示すとと もに、検出されるオプティカルフローの一例 を示す図である。図11(a)に示す画像421は、図1 0(a)に示す画像421と同じものである。また、� �11(b)に示す画像422のうちの実線の部分は、図 10(b)に示す画像422と同じものであり、図11(b)� �示す画像422のうちの破線の部分は、図10(a)に 示す画像421の実線の部分と同じものである。 また、図11(b)に示す画像422における矢印424乃� ��426は、画像422から検出されたオプティカル� ��ローの一例を示す。同様に、図11(c)に示す� �像423のうちの実線の部分は、図10(c)に示す画 像423と同じものであり、図11(c)に示す画像423� ��うちの破線の部分は、図10(b)に示す画像422� �実線の部分と同じものである。また、図11(c) に示す画像423における矢印427乃至429は、画像 423から検出されたオプティカルフローの一例 を示す。

 図11(b)および(c)に示すように、倍率の変� �に合わせて、画像に含まれる人420および背� �の山の大きさが変更する。この変更により� �出されるオプティカルフローに基づいてア� �ィン変換パラメータをフレーム毎に求める� �とができる。

 図12は、図10に示す画像421乃至423を含む動 画を合成する場合における合成例を示す図で ある。

 図12(a)に示すように、最初は、先頭のフ� �ームに対応する画像421のみであるため合成� �されない。続いて、次のフレームに対応す� �画像422が合成される場合には、このフレー� �に関連付けられているアフィン変換パラメ� �タを用いて画像422がアフィン変換される。� �12(b)に示す画像においては、画像422の大きさ のみが変換される。そして、アフィン変換パ ラメータによりアフィン変換された画像422が 、直前のフレームに対応する画像421に重なる ように上書きされる。すなわち、画像421の領 域のうちで、画像422と重複する領域について は、画像422の画像が上書きされる。この場合 には、画像421は、画像422の全ての領域と重複 しているため、画像421に画像422の全ての画像 が上書きされる。また、画像421の領域のうち で、画像422と重複しない領域431については、 画像421の画像が合成される。すなわち、2つ� �のフレームに対応する画像422が合成される� �合には、図12(b)に示すように、画像422の全体 部分と、画像421のうちの領域431に対応する部 分とが合成される。また、画像422をアフィン 変換したアフィン変換パラメータが画像変換 部160に保持される。

 続いて、次のフレームに対応する画像423� ��合成される場合には、このフレームに関連� ��けられているアフィン変換パラメータを用� ��て画像423がアフィン変換される。すなわち� ��画像423に対応するアフィン変換パラメータ� ��行列と、直前のアフィン変換に用いられた� ��像422に対応するアフィン変換パラメータの� ��列とを用いて求められたアフィン変換パラ� ��ータにより画像423がアフィン変換される。� ��12(c)に示す画像においては、画像423の大き� �のみが変換される。そして、アフィン変換� �れた画像423が、前のフレームに対応する画� �421および422の合成画像に重なるように上書� �される。すなわち、画像421および422の合成� �像の領域のうちで、画像423と重複する領域� �ついては、画像423の画像が上書きされる。� �の場合には、画像423は、画像421および422の� �ての領域と重複しているため、画像421およ� �422の合成画像に画像423の全ての画像が上書� �される。また、画像421および422の合成画像� �領域のうちで、画像423と重複しない領域432� �よび433については、画像421および422の合成� �像が合成される。すなわち、3つ目のフレー� ��に対応する画像423が合成される場合には、� ��12(c)に示すように、画像423の全体部分と、� �像421のうちの領域432に対応する部分と、画� �422のうちの領域433に対応する部分とが合成� �れる。また、画像423をアフィン変換したア� �ィン変換パラメータが画像変換部160に保持� �れる。すなわち、画像422および423のそれぞ� �に対応するアフィン変換パラメータを用い� �求められたアフィン変換パラメータが画像� �換部160に保持される。

 次に、カメラの撮影時において、カメラ� ��レンズの方向や倍率は変更されないものの� ��撮影方向を回転中心にしてカメラが回転さ� ��ている場合について説明する。

 図13は、カメラにより撮影された動画の� �移の一例を示す図である。図13には、山を背 景にして人440を撮影した場合における動画に 含まれる連続するフレームに対応する画像441 乃至443を示す図である。この例では、撮影方 向を回転中心にしてカメラを回転しながら、 撮影者が撮影を行っている場合を示す。この 場合には、カメラにより撮影される動画に含 まれる人440が、その動画を構成する画像にお いて回転していく。なお、カメラの回転によ りカメラの位置が多少移動する場合があるも のの、この例では、カメラの位置の移動につ いては考慮せずに説明する。

 図14は、図13に示す各画像において、直前 のフレームに対応する画像を破線で示すとと もに、検出されるオプティカルフローの一例 を示す図である。図14(a)に示す画像441は、図1 3(a)に示す画像441と同じものである。また、� �14(b)に示す画像442のうちの実線の部分は、図 13(b)に示す画像442と同じものであり、図14(b)� �示す画像442のうちの破線の部分は、図13(a)に 示す画像441の実線の部分と同じものである。 また、図14(b)に示す画像442における矢印444乃� ��446は、画像442から検出されたオプティカル� ��ローの一例を示す。同様に、図14(c)に示す� �像443のうちの実線の部分は、図13(c)に示す画 像443と同じものであり、図14(c)に示す画像443� ��うちの破線の部分は、図13(b)に示す画像442� �実線の部分と同じものである。また、図14(c) に示す画像443における矢印447乃至449は、画像 443から検出されたオプティカルフローの一例 を示す。

 図14(b)および(c)に示すように、カメラの� �転に合わせて、画像に含まれる人440および� �景の山が回転移動する。この回転移動によ� �検出されるオプティカルフローに基づいて� �フィン変換パラメータをフレーム毎に求め� �ことができる。

 図15は、図13に示す画像441乃至443を含む動 画を合成する場合における合成例を示す図で ある。

 図15(a)に示すように、最初は、先頭のフ� �ームに対応する画像441のみであるため合成� �されない。続いて、次のフレームに対応す� �画像442が合成される場合には、このフレー� �に関連付けられているアフィン変換パラメ� �タを用いて画像442がアフィン変換される。� �15(b)に示す画像においては、画像442の角度の みが変換される。そして、アフィン変換パラ メータによりアフィン変換された画像442が、 直前のフレームに対応する画像441に重なるよ うに上書きされる。すなわち、画像441の領域 のうちで、画像442と重複する領域450について は、画像442の画像が上書きされる。また、画 像441の領域のうちで、画像442と重複しない領 域451および452については、画像441の画像が合 成される。すなわち、2つ目のフレームに対� �する画像442が表示される場合には、図15(b)に 示すように、画像442の全体部分と、画像441の うちの領域451および452に対応する部分とが合 成される。また、画像442をアフィン変換した アフィン変換パラメータが画像変換部160に保 持される。

 続いて、次のフレームに対応する画像443� ��合成される場合には、このフレームに関連� ��けられているアフィン変換パラメータを用� ��て画像443がアフィン変換される。すなわち� ��画像443に対応するアフィン変換パラメータ� ��行列と、直前のアフィン変換に用いられた� ��像442に対応するアフィン変換パラメータの� ��列とを用いて求められたアフィン変換パラ� ��ータにより画像443がアフィン変換される。� ��15(c)に示す画像においては、画像443の角度� �みが変換される。そして、アフィン変換さ� �た画像443が、前のフレームに対応する画像44 1および442の合成画像に重なるように上書き� �れる。すなわち、画像441および442の合成画� �の領域のうちで、画像443と重複する領域453� �至457については、画像443の画像が上書きさ� �る。また、画像441および442の合成画像の領� �のうちで、画像443と重複しない領域458乃至46 1については、画像441および442の合成画像が� �らに合成される。すなわち、3つ目のフレー� ��に対応する画像443が合成される場合には、� ��15(c)に示すように、画像443の全体部分と、� �像441のうちの領域459に対応する部分と、画� �442のうちの領域458および460に対応する部分� �が合成される。また、画像443をアフィン変� �したアフィン変換パラメータが画像変換部16 0に保持される。すなわち、画像442および443� �それぞれに対応するアフィン変換パラメー� �を用いて求められたアフィン変換パラメー� �が画像変換部160に保持される。

 以上では、動画を構成する各画像の位置� ��倍率および角度が順次変更される場合につ� ��てそれぞれ説明したが、これらの変更が組� ��合わされている場合についても同様に適用� ��ることができる。

 次に、実際にカメラにより撮影された動� ��を合成する場合における表示例を示す。以� ��に示す画像合成例では、現フレームおよび� ��のフレームに対応する画像が合成された領� ��のみに合成画像を表示し、その他の領域を� ��くして示す。また、現フレームに対応する� ��像の周りには枠を付す。さらに、以下に示� ��画像合成例では、作成されている途中の合� ��画像を例にして示す。

 図16乃至図19は、カメラにより撮影された 動画の遷移の一例を示す図である。図16およ� ��図17は、マンションの広場で遊んでいる親� �を、カメラを移動させながら撮影した場合� �おける動画を構成する画像500乃至505を示す� �である。

 図16および図17に示す画像500乃至505におい て、現フレームに対応する画像は、画像506乃 至511である。また、前の各フレームに対応し て合成された画像である合成画像は、画像512 乃至517である。図16および図17に示すように� �撮影された画像に含まれる撮影対象物(マン� ��ョンの広場等)が画面に固定され、現フレー ムに対応する画像506乃至511がカメラの動きに 合わせて画面上を移動する。

 図18および図19は、マンションの広場で遊 んでいる親子を、ズームイン操作をしながら 撮影した場合における動画を構成するフレー ムに対応する画像520乃至525を示す図である。

 図18および図19に示す画像520乃至525におい て、現フレームに対応する画像は、画像526乃 至531である。また、前の各フレームに対応し て合成された画像である合成画像は、画像532 乃至537である。図18および図19に示すように� �撮影された画像に含まれる撮影対象物(マン� ��ョンの広場等)が画面に固定され、現フレー ムに対応する画像526乃至531がカメラの動きに 合わせて画面上を移動する。

 このように、図16乃至図19に示す画像合成 例では、現フレームに対応する画像が拡大縮 小を伴いながらディスプレイ上を動き回り、 広大な画像が作成されていく。

 図20は、カメラにより撮影された動画が� �像合成部180により合成されたパノラマ画像� �一例を示す図である。図20に示すパノラマ画 像540は、マンションの広場で遊んでいる親子 を中心にして撮影された動画について作成さ れたパノラマ画像である。図20に示すように� ��被写体の中心として撮影された親子ととも� ��、適宜撮影されたマンションの広場等の背� ��がパノラマ画像540に含まれる。このため、� ��の動画の内容の把握が容易である。また、� ��影された空間についても速やかに把握する� ��とができる。

 次に、パノラマ画像を用いて動画を再生� ��る場合について図面を参照して詳細に説明� ��る。

 図21は、本発明の実施の形態における表� �部260に表示されるパノラマ画像一覧画面の� �示例を示す図である。このパノラマ画像一� �画面は、動画記憶部200に記憶されている動� �を再生させる場合に、再生を所望する動画� �選択する場合等に表示させる画面である。� �お、図21に示す各パノラマ画像については、 図3に示す代表画像記憶部220のパノラマ縮小� �像223に記憶されているパノラマ縮小画像と� �様に「A11」、「B11」および「C11」と省略し� �示す。なお、このパノラマ画像一覧画面は� �ユーザによる操作受付部230からの操作入力� �応じて表示部260に表示される。

 パノラマ画像一覧画面600には、代表画像� ��憶部220のパノラマ縮小画像223に記録されて� ��るパノラマ縮小画像601乃至603(「A11」、「B11 」および「C11」)がそれぞれ表示されるとと� �に、選択操作をするためのカーソル604が表� �される。このように、動画記憶部200に記憶� �れている動画を再生させる場合には、各動� �に対応するパノラマ縮小画像がパノラマ画� �一覧画面600に表示されるため、各動画の内� �を把握することが容易であり、動画の選択� �容易である。このため、再生すべき動画の� �択を効率的に行うことができる。

 ここで、再生の対象となる動画を選択す� ��選択方法について説明する。図21に示すよ� �に、パノラマ画像一覧画面600にパノラマ縮� �画像601乃至603が表示されている場合におい� �、操作受付部230からの操作入力によりユー� �がカーソル604を操作してパノラマ縮小画像60 1乃至603の中から所望のパノラマ縮小画像を� �択する。例えば、マウスにより、所望のパ� �ラマ縮小画像上をダブルクリックする。こ� �選択操作により選択されたパノラマ縮小画� �に対応するパノラマ画像が、例えば、図22(a) に示すように、表示部260に拡大表示される。

 図22(a)は、本発明の実施の形態における� �示部260に表示されるパノラマ画像表示画面� �表示例を示す図である。パノラマ画像表示� �面610には、パノラマ画像一覧画面600におい� �選択されたパノラマ縮小画像に対応するパ� �ラマ画像620が画面全体に表示されるととも� �、カーソル629が表示される。ここで、パノ� �マ画像620内に点線で示す枠621乃至628は、説� �用に付したものであり、実際には表示され� �い。また、枠621乃至628は、パノラマ画像620� �対応する動画を構成する各画像の一部の画� �を示すものである。

 図22(b)は、パノラマ画像620に対応する動� �630、および動画630を構成するフレームの一� �であるフレーム631乃至638を模式的に示す図� �ある。ここで、動画630に含まれるフレーム� �、矢印639に示す「0」から時系列に並べられ� ��いるものとする。また、フレーム631乃至638� ��、図22(a)に示す枠621乃至628内の画像にそれ� �れ対応するものとする。

 ここで、パノラマ画像表示画面610に表示� ��れているパノラマ画像620を用いて、動画630� ��再生させる再生方法について説明する。パ� ��ラマ画像表示画面610に表示されているパノ� ��マ画像620において、操作受付部230からの操� ��入力によりユーザがカーソル629を操作して� ��ノラマ画像620内の所望の部分を選択する。� ��えば、マウスにより、パノラマ画像620上の� ��望の部分をダブルクリックする。この選択� ��作により選択された位置に基づいて、動画6 30における所定位置からの再生が開始される� ��具体的には、動画630に対応して画像位置記� ��部210の中心位置213に記録されている座標の� ��で、パノラマ画像620上の選択操作により選� ��された位置から最短距離に存在する座標点� ��検出され、この座標点に対応するフレーム� ��号212および動画ID211が選択される。そして� �この選択されたフレーム番号212および動画ID 211が表示制御部250に出力されると、表示制御 部250は、動画記憶部200から動画ID211に対応す� ��動画を検索するとともに、この検索された� ��画についてフレーム番号212に対応する位置� ��ら再生を開始する。そして、その位置から� ��動画が表示部260に表示される。なお、画像� ��置記憶部210の中心位置213に記録されている� ��標の中で、パノラマ画像620上の選択操作に� ��り選択された位置から最短距離に存在する� ��標点が複数検出された場合には、例えば、� ��像サイズ214に記録されている画像の面積が� ��きいものが選択されるようにする。また、� ��レーム番号が大きいものが選択されるよう� ��してもよい。なお、他の評価関数に基づい� ��適切なフレーム番号および動画IDを選択す� �ようにしてもよい。

 例えば、図22(a)に示すパノラマ画像620に� �いて、枠628の中心付近にカーソルが存在す� �場合にマウスによりダブルクリックがされ� �と、枠628内の画像に対応するフレームのフ� �ーム番号が画像位置記憶部210から選択され� �とともに、パノラマ画像620に対応する動画ID が画像位置記憶部210から選択され、この選択 された動画IDおよびフレーム番号に基づいて� ��画630のフレーム638の位置から再生が開始さ� ��る。

 次に、本発明の実施の形態における画像� ��理装置100の動作について図面を参照して説� ��する。

 図23は、本発明の実施の形態における画� �処理装置100によるパノラマ画像作成処理の� �理手順を示すフローチャートである。

 最初に、動画を構成する画像のサイズよ� ��も大きいワークバッファが画像メモリ170に� ��保される(ステップS921)。続いて、動画記憶� ��200から動画ファイルが取得される(ステップ S922)。続いて、取得された動画ファイルがデ� ��ードされ、1つのフレームである現フレーム が取得される(ステップS923)。

 続いて、取得された現フレームに対応す� ��アフィン変換パラメータが、動画ファイル� ��ら抽出される(ステップS924)。ここで、現フ� ��ームが先頭のフレームである場合には、単� ��行列のアフィン変換パラメータが抽出され� ��。続いて、取得されたアフィン変換パラメ� ��タを用いて現フレームに対応する画像がア� ��ィン変換される(ステップS925)。ここで、現� ��レームが先頭のフレームである場合には、� ��位行列のアフィン変換パラメータを用いて� ��フィン変換がされるため、実際の画像は変� ��されない。続いて、アフィン変換された現� ��レームに対応する画像が、この現フレーム� ��りも前のフレームに対応する各画像の合成� ��像に上書きして合成され、この現フレーム� ��対応する画像が合成された画像が画像メモ� ��170に保存される(ステップS926)。ここで、現� ��レームが先頭のフレームである場合には、� ��頭のフレームに対応する画像が画像メモリ1 70に保存される。続いて、画像メモリ170のワ� ��クバッファ上におけるアフィン変換された� ��フレームに対応する画像の中心位置および� ��像サイズが、現フレームのフレーム番号と� ��もに画像位置記憶部210に記録される(ステッ プS927)。ここで、現フレームが先頭のフレー� ��である場合には、画像メモリ170のワークバ� ��ファ上における先頭のフレームに対応する� ��像の中心位置および画像サイズが、フレー� ��番号「1」とともに画像位置記憶部210に記録 される。

 続いて、入力された動画ファイルを構成� ��るフレームの中で、現フレームが最後のフ� ��ームであるか否かが判断される(ステップS92 8)。現フレームが最後のフレームではない場� ��には(ステップS928)、ステップS923に戻り、合 成画像作成処理を繰り返す(ステップS923乃至S 927)。

 一方、現フレームが最後のフレームであ� ��場合には(ステップS928)、画像メモリ170に保� ��されている合成画像を代表画像記憶部220に� ��力して記録させる(ステップS929)。この場合� ��、画像メモリ170に保持されている合成画像� ��縮小画像が作成され、この縮小画像を代表� ��像記憶部220に出力して記録させる。続いて� ��確保されているワークバッファを解放して( ステップS930)、パノラマ画像作成処理を終了� ��る。

 図24は、本発明の実施の形態における画� �処理装置100による動画再生処理の処理手順� �示すフローチャートである。この処理手順� �は、代表画像記憶部220に記憶されているパ� �ラマ画像を用いて動画記憶部200に記憶され� �いる動画を所望の位置から再生させる場合� �例にして説明する。

 最初に、パノラマ画像一覧画面を表示す� ��旨の操作入力が操作受付部230により受け付� ��られたか否かが判断される(ステップS941)。� ��ノラマ画像一覧画面を表示する旨の操作入� ��が受け付けられた場合には(ステップS941)、� ��ノラマ画像一覧画面が表示部260に表示され� ��(ステップS942)。例えば、図21に示すように� �パノラマ画像一覧画面600が表示される。一� �、パノラマ画像一覧画面を表示する旨の操� �入力が受け付けられていない場合には(ステ� ��プS941)、パノラマ画像一覧画面が表示部260� �表示されているか否かが判断される(ステッ� ��S948)。パノラマ画像一覧画面が表示されて� �る場合には(ステップS948)、ステップS943に進� ��、パノラマ画像一覧画面が表示されていな� ��場合には(ステップS948)、ステップS949に進む 。

 続いて、表示部260に表示されているパノ� ��マ画像一覧画面に含まれるパノラマ画像の� ��から1つのパノラマ画像を選択する旨の操作 入力が操作受付部230により受け付けられたか 否かが判断される(ステップS943)。パノラマ画 像を選択する旨の操作入力が受け付けられた 場合には(ステップS943)、選択されたパノラマ 画像が画面全体に表示されるパノラマ画像表 示画面が表示部260に表示される(ステップS944) 。例えば、図22(a)に示すように、パノラマ画� ��表示画面610が表示される。一方、パノラマ� ��像を選択する旨の操作入力が受け付けられ� ��いない場合には(ステップS943)、動画再生処� ��を終了する。

 パノラマ画像一覧画面を表示する旨の操� ��入力が受け付けられていない場合において( ステップS941)、パノラマ画像一覧画面が表示� ��れていない場合には(ステップS948)、パノラ� ��画像表示画面が表示部260に表示されている� ��否かが判断される(ステップS949)。パノラマ� ��像表示画面が表示されている場合には(ステ ップS949)、ステップS945に進み、パノラマ画像 表示画面が表示されていない場合には(ステ� �プS949)、動画再生処理を終了する。

 続いて、表示部260に表示されているパノ� ��マ画像表示画面に含まれるパノラマ画像内� ��選択する旨の操作入力が操作受付部230によ� ��受け付けられたか否かが判断される(ステッ プS945)。例えば、図22(a)に示すように、カー� �ル629を用いてパノラマ画像620内の一部分が� �択される。パノラマ画像表示画面に含まれ� �パノラマ画像内を選択する旨の操作入力が� �け付けられた場合には(ステップS945)、選択� �れたパノラマ画像内の位置に基づいて、画� �位置記憶部210からフレーム番号および動画ID が選択される(ステップS946)。続いて、選択さ れた動画IDに対応する動画が動画記憶部200か� ��検索されるとともに、この検索された動画� ��ついて、選択されたフレーム番号に対応す� ��位置から再生が開始される(ステップS947)。� ��方、パノラマ画像表示画面に含まれるパノ� ��マ画像内を選択する旨の操作入力が受け付� ��られていない場合には(ステップS945)、動画� ��生処理を終了する。

 以上では、パノラマ画像上の任意の位置� ��選択することによって所望の位置から動画� ��再生させる例について説明した。さらに、� ��画に含まれる代表的な画像であるインデッ� ��ス画像を動画から抽出して、このインデッ� ��ス画像をパノラマ画像上に表示させ、この� ��ノラマ画像上においてインデックス画像を� ��択することにより所望の位置から動画を再� ��させることができる。以下では、この例に� ��いて図面を参照して詳細に説明する。

 図25は、本発明の実施の形態における画� �処理装置101の機能構成例を示すブロック図� �ある。ここで、画像処理装置101は、図1に示� ��画像処理装置100の一部を変形したものであ� ��、この画像処理装置100において、画像合成� ��180、画像位置取得部190、代表画像記憶部220� ��画像位置記憶部210、選択部240および表示制� ��部250の代わりに、画像合成部181、インデッ� ��ス画像抽出部270、代表画像記憶部225、イン� ��ックス画像記憶部280、選択部241および表示� ��御部251を設けた画像処理装置である。なお� ��画像合成部181、インデックス画像抽出部270� ��代表画像記憶部225、インデックス画像記憶� ��280、選択部241および表示制御部251以外の構� ��は、図1に示す画像処理装置100と同様である ため、これらの以外の構成についての説明は 省略する。

 インデックス画像抽出部270は、画像変換� ��160から出力された変換画像およびインデッ� ��ス画像記憶部280に記憶されているインデッ� ��ス画像に基づいて、動画取得部140から出力� ��れた動画ファイルの動画を構成する画像の� ��からインデックス画像を抽出するものであ� ��、抽出されたインデックス画像を、これに� ��応するフレーム番号および位置情報ととも� ��インデックス画像記憶部280に出力する。具� ��的には、インデックス画像抽出部270は、イ� ��デックス画像記憶部280に記憶されているイ� ��デックス画像と、アフィン変換された現フ� ��ームに対応する画像との重複率に基づいて� ��ンデックス画像を抽出する。また、インデ� ��クス画像抽出部270は、インデックス画像を� ��出した場合には、現フレームに対応する画� ��がインデックス画像である旨を画像合成部1 81に出力する。なお、このインデックス画像� ��抽出方法については、図27を参照して詳細� �説明する。

 インデックス画像記憶部280は、インデッ� ��ス画像抽出部270から出力されたインデック� ��画像、このフレーム番号および位置情報を� ��連付けて記憶するものであり、記憶されて� ��るインデックス画像を表示制御部251に出力� ��るとともに、フレーム番号および位置情報� ��選択部241に出力する。また、インデックス� ��像記憶部280は、記憶されている位置情報を� ��ンデックス画像抽出部270に出力する。なお� ��インデックス画像記憶部280に記憶されてい� ��各情報については、図26を参照して詳細に� �明する。

 画像合成部181は、現フレームに対応する� ��像がインデックス画像である旨をインデッ� ��ス画像抽出部270から入力すると、現フレー� ��に対応する画像の周りに、インデックス画� ��である旨を示すインデックス画像マーカを� ��す。例えば、図28(a)のインデックス画像551� �至558に示すように、インデックス画像マー� �が付される。なお、これ以外の画像合成等� �ついては、画像合成部180と同様であるため� �ここでの説明を省略する。

 代表画像記憶部225は、画像合成部181から� ��力された合成画像を、動画記憶部200に記憶� ��れている動画に関するパノラマ画像として� ��憶するものであり、記憶されているパノラ� ��画像を表示制御部251に供給する。

 選択部241は、操作受付部230により受け付� ��られたパノラマ画像におけるインデックス� ��像の選択操作を入力すると、インデックス� ��像記憶部280に記憶されているインデックス� ��像の位置情報に基づいて、インデックス画� ��記憶部280に記憶されているフレーム番号の� ��から1つのフレーム番号を選択して、選択さ れたフレーム番号およびこれに対応する動画 IDを表示制御部251に出力するものである。な� ��、この選択については、図28を参照して詳� �に説明する。

 表示制御部251は、操作受付部230の操作入� ��に応じて、インデックス画像記憶部280に記� ��されているインデックス画像の一覧、代表� ��像記憶部225に記憶されているパノラマ画像� ��または、動画記憶部200に記憶されている動� ��を表示部260に表示させる制御を行うもので� ��る。また、表示制御部251は、選択部241から� ��レーム番号および動画IDが入力されると、� �画記憶部200から動画IDに対応する動画を検索 するとともに、この検索された動画について フレーム番号に対応する位置から再生を開始 する。

 図26は、本発明の実施の形態におけるイ� �デックス画像記憶部280に記憶されている内� �を概略的に示す図である。

 インデックス画像記憶部280には、インデ� ��クス画像抽出部270により抽出されたインデ� ��クス画像に関する情報がフレーム毎に時系� ��で記憶されている。具体的には、インデッ� ��ス画像記憶部280には、動画ID281と、フレー� �番号282と、位置情報283と、インデックス画� �284とが関連付けて記憶されている。

 動画ID281は、動画記憶部200に記憶されて� �る各動画に対応するIDである。

 フレーム番号282は、インデックス画像抽� ��部270により抽出されたインデックス画像に� ��応するフレームの識別番号である。

 位置情報283は、画像メモリ170のワークバ� ��ファ上におけるインデックス画像抽出部270� ��より抽出されたインデックス画像の位置を� ��すものである。例えば、画像メモリ170のワ� ��クバッファ上をxy座標とした場合には、イ� �デックス画像抽出部270により抽出されたイ� �デックス画像の4頂角に対応する座標の値が� ��録される。すなわち、インデックス画像抽� ��部270により抽出されたインデックス画像の� ��置として、撮像動画の撮像時におけるカメ� ��の動き情報により定められる撮像空間上の� ��標位置が記録される。この撮像空間は、例� ��ば、動画入力部110から入力された撮像動画� ��撮像時におけるカメラの動き量に基づいて� ��出されるアフィン変換パラメータを用いて� ��画像合成部181により作成される代表画像に� ��応する画像空間である。なお、本発明の実� ��の形態では、インデックス画像抽出部270に� ��り抽出されたインデックス画像の位置情報� ��して、その4頂角に対応する座標の値を用い る例について説明するが、そのインデックス 画像の位置情報として、その画像の中心位置 および大きさ等の他の位置情報を用いるよう にしてもよい。

 インデックス画像284は、インデックス画� ��抽出部270により抽出されたインデックス画� ��である。

 図27は、本発明の実施の形態におけるイ� �デックス画像を抽出する場合における抽出� �法の一例を概略的に示す図である。図27に示 す合成画像640は、画像合成部180により作成さ れている途中の合成画像を簡略化して示すも のである。この例では、合成画像640において 、インデックス画像として画像641乃至643が抽 出されているものとする。

 インデックス画像を抽出する場合には、� ��ンデックス画像記憶部280に記憶されている� ��ンデックス画像(既にインデックス画像とし て抽出されている画像)と、アフィン変換さ� �た現フレームに対応する画像との重複率に� �づいて判断される。具体的には、インデッ� �ス画像記憶部280に記憶されているインデッ� �ス画像(既にインデックス画像として抽出さ� ��ている画像)と、アフィン変換された現フレ ームに対応する画像との重複率が計算される 。例えば、図27に示す画像644は、アフィン変� ��された現フレームに対応する画像であるも� ��とする。この場合には、画像644と、インデ� ��クス画像である画像641乃至643との重複率が� ��算される。画像644については、画像641のみ� ��の重複領域645と、画像641および642との重複� ��域646と、画像642のみとの重複領域647とが、� ��像641乃至643と重複している領域である。図2 7では、重複領域645乃至647を斜線で示す。そ� �て、重複領域645乃至647の面積が加算され、� �の加算された面積(重複領域645乃至647の合計� ��積)の値と、予め設定されている閾値とを比 較して、画像644全体の面積に対する重複領域 645乃至647の合計面積の割合である重複率の値 が閾値以下であれば、他のインデックス画像 との重複が少ない画像である。このように、 他のインデックス画像との重複が少ない画像 がインデックス画像として抽出される。そし て、抽出されたインデックス画像に対応する フレーム番号と、インデックス画像の4頂角� �対応する座標の値と、インデックス画像と� �動画IDに関連付けられてインデックス画像記 憶部280に記憶される。

 このように、インデックス画像が抽出さ� ��た場合には、インデックス画像抽出部270が� ��現フレームに対応する画像がインデックス� ��像である旨を画像合成部181に出力する。そ� ��て、現フレームに対応する画像がインデッ� ��ス画像である旨を示すインデックス画像マ� ��カが、画像合成部181により合成される合成� ��像における現フレームに対応する画像の周� ��に付される。例えば、図27に示すように、� �成画像640における画像644の周りに太線の枠� �付される。なお、複数のインデックス画像� �重なる場合には、撮影時刻が最も遅いイン� �ックス画像マーカが、他のインデックス画� �マーカに上書きされる。例えば、インデッ� �ス画像641乃至643のインデックス画像マーカ� �、画像644のインデックス画像マーカが上書� �される。また、例えば、図28(a)に示すように 、インデックス画像551乃至558のインデックス 画像マーカが撮影時刻に応じて上書きされる 。本発明の実施の形態では、既にインデック ス画像として抽出されている全ての画像と、 アフィン変換された現フレームに対応する画 像との重複率に基づいて、新たなインデック ス画像を抽出する例について説明するが、例 えば、直前に抽出された1または所定数のイ� �デックス画像と、アフィン変換された現フ� �ームに対応する画像との重複率に基づいて� �新たなインデックス画像を抽出するように� �てもよい。このように、直前に抽出された1� ��たは所定数のインデックス画像を比較の対� ��として用いることにより、撮像空間上にお� ��て比較的近い位置に存在する画像について� ��撮影時刻が比較的早い画像と、撮影時刻が� ��較的遅い画像とをインデックス画像として� ��出することができる。

 図28(a)は、カメラにより撮影された動画� �画像合成部181により合成されて作成された� �ノラマ画像の一例を示す図である。図28(a)に 示すパノラマ画像550に対応する動画について は、インデックス画像551乃至558が抽出されて いる。また、パノラマ画像550は、図20に示す� ��ノラマ画像540と同じ動画について作成され� ��パノラマ画像であり、インデックス画像551� ��至558の周りにインデックス画像マーカが付� ��れている点で両者は異なる。なお、このパ� ��ラマ画像550の表示方法については、図21お� �び図22を参照して説明したパノラマ画像の表 示方法と同様であるため、ここでの説明を省 略する。

 図28(b)は、図28(a)に示すパノラマ画像550に 対応する動画570に含まれるフレーム571乃至578 と、インデックス画像561乃至568との関係を示 す図である。なお、インデックス画像561乃至 568は、図28(a)に示すインデックス画像551乃至5 58に対応するものであり、インデックス画像� ��憶部280に記憶されているものである。また� ��フレーム571乃至578と一覧画像561乃至568との� ��応関係を矢印で示す。ここで、動画570に含� ��れるフレームは、矢印579に示す「0」から時 系列に並べられているものとする。

 次に、インデックス画像マーカが付され� ��いるパノラマ画像を用いて動画を再生する� ��合について図面を参照して詳細に説明する� ��

 ここでは、図28(a)に示すパノラマ画像550� �表示部260に表示されている場合に、動画570� �再生させる場合について説明する。表示部26 0に表示されているパノラマ画像550において� �操作受付部230からの操作入力によりユーザ� �カーソル(図示せず)を操作してパノラマ画像 550に含まれるインデックス画像551乃至558の何 れかの部分を選択する。例えば、マウスによ り、パノラマ画像550に含まれるインデックス 画像551乃至558の何れかの部分をダブルクリッ クする。この選択操作により選択された位置 に基づいて、動画570における所定位置からの 再生が開始される。具体的には、動画570に対 応してインデックス画像記憶部280の位置情報 283に記録されている4頂角の座標により特定� �れる四角の中から、インデックス画像551乃� �558の何れかの選択操作により選択されたパ� �ラマ画像550上の位置が含まれる四角が検出� �れ、この四角(4頂角の座標)に対応するフレ� �ム番号282および動画ID281が選択される。そし て、この選択されたフレーム番号282および動 画ID281が表示制御部251に出力されると、表示� ��御部251は、動画記憶部200から動画ID281に対� �する動画を検索するとともに、この検索さ� �た動画についてフレーム番号282に対応する� �置から再生を開始する。なお、パノラマ画� �550に含まれるインデックス画像551乃至558の� �で、複数のインデックス画像が重複されて� �る部分が選択された場合には、撮影時刻が� �も遅いインデックス画像が選択される。す� �わち、フレーム番号が最も大きいインデッ� �ス画像が選択される。このように、表示さ� �ているインデックス画像マーカにより囲ま� �ている領域に従ってインデックス画像が選� �される。

 また、インデックス画像記憶部280に記憶� ��れているインデックス画像を一覧画像とし� ��表示して、この一覧画像を用いて動画を再� ��するようにしてもよい。例えば、図28(b)に� �すように、撮影された時刻に基づいてイン� �ックス画像を動画毎に並べて表示させるこ� �ができる。このように並べられているイン� �ックス画像を選択することにより、上述し� �ように動画を再生させることができる。ま� �、例えば、マウスによるクリック操作によ� �、インデックス画像マーカが付されている� �ノラマ画像と、撮影時刻に基づいて時系列� �並べられるインデックス画像とが順次切り� �わるように表示させるようにしてもよい。� �の場合には、例えば、切り換える際のイン� �ックス画像の軌跡をアニメーションにより� �示するようにしてもよい。

 次に、本発明の実施の形態における画像� ��理装置101の動作について図面を参照して説� ��する。

 図29は、本発明の実施の形態における画� �処理装置101によるパノラマ画像作成処理の� �理手順を示すフローチャートである。なお� �図29に示す処理手順のうちで、ステップS921� �至S925、ステップS928乃至S930については、図23 に示す処理手順と同様であるため、ここでの 説明は省略する。

 ステップS923において取得された現フレー ムが、動画を構成するフレームの中の先頭の フレームであるか否かが判断される(ステッ� �S950)。現フレームが先頭のフレームである場 合には(ステップS950)、画像メモリ170のワーク バッファ上における現フレームに対応する画 像の位置情報が取得され、この位置情報とフ レーム番号「1」とがインデックス画像記憶� �280に記録される(ステップS955)。続いて、現� �レームに対応する画像が画像メモリ170に保� �される(ステップS956)。一方、現フレームが� �頭のフレームではない場合には(ステップS950 )、ステップS924に進む。

 ステップS925において、アフィン変換パラ メータを用いてアフィン変換された現フレー ムに対応する画像と、インデックス画像記憶 部280に記憶されているインデックス画像との 重複率が計算される(ステップS951)。続いて、 計算して求められた重複率の値が、閾値以下 であるか否かが判断される(ステップS952)。計 算して求められた重複率の値が、閾値以下で はない場合には(ステップS952)ステップS954に� �む。一方、計算して求められた重複率の値� �、閾値以下である場合には(ステップS952)、� �像メモリ170のワークバッファ上における現� �レームに対応する画像の位置情報が取得さ� �、この位置情報とフレーム番号とがインデ� �クス画像記憶部280に記録される(ステップS953 )。続いて、アフィン変換された現フレーム� �対応する画像が、この現フレームよりも前� �フレームに対応する各画像の合成画像に上� �きして合成され、この現フレームに対応す� �画像が合成された画像が画像メモリ170に保� �される(ステップS954)。この場合に、現フレ� �ムに対応する画像の周りにインデックス画� �マーカが付される。

 図30は、本発明の実施の形態における画� �処理装置101による動画再生処理の処理手順� �示すフローチャートである。この処理手順� �は、代表画像記憶部225に記憶されているパ� �ラマ画像に含まれるインデックス画像を用� �て動画記憶部200に記憶されている動画を所� �の位置から再生させる場合を例にして説明� �る。なお、図30に示す処理手順のうちで、ス テップS941乃至S944、ステップS947乃至S949につ� �ては、図24に示す処理手順と同様であるため 、ここでの説明は省略する。

 パノラマ画像表示画面が表示部260に表示� ��れている場合において(ステップS944、ステ� �プS949)、パノラマ画像表示画面のパノラマ画 像に含まれるインデックス画像を選択する旨 の操作入力が操作受付部230により受け付けら れたか否かが判断される(ステップS961)。パノ ラマ画像に含まれるインデックス画像を選択 する旨の操作入力が受け付けられた場合には (ステップS962)、選択されたインデックス画像 に対応してインデックス画像記憶部280に記憶 されているフレーム番号および動画IDが選択� ��れる(ステップS962)。一方、パノラマ画像表� ��画面のパノラマ画像に含まれるインデック� ��画像を選択する旨の操作入力が受け付けら� ��ていない場合には(ステップS961)、動画再生� ��理を終了する。

 以上では、抽出されたインデックス画像� ��ついて、パノラマ画像上にインデックス画� ��マーカを付して表示する場合、または、時� ��列に並べて表示する場合を例にして説明し� ��。ここでは、インデックス画像記憶部280に� ��憶されているフレーム番号および位置情報� ��用いて、インデックス画像を三次元空間上� ��仮想的に配置して、この三次元空間上にお� ��るインデックス画像を表示する例について� ��面を参照して詳細に説明する。すなわち、� ��次元空間上に仮想的に配置されたインデッ� ��ス画像が平面に投影されて三次元画像とし� ��表示部260に表示される。ここで、本発明の� ��施の形態における三次元空間とは、撮像画� ��に対応する二次元空間(平面)と、時間軸に� �応する一次元空間とにより構成される空間� �ある。

 図31および図32は、本発明の実施の形態に おけるインデックス画像記憶部280に記憶され ているインデックス画像が三次元空間上に仮 想的に配置されている場合を概略的に示す図 である。図31および図32では、x軸、y軸、t軸� �らなる三次元空間上にインデックス画像701� �至708が配置された場合を示す。ここで、x軸� ��、撮影された動画を構成する画像に対する� ��右方向を示す軸である。また、y軸は、撮影 された動画を構成する画像に対する上下方向 を示す軸である。さらに、t軸は、撮影され� �動画を構成する画像に対する時間軸である� �

 図31(a)および図32(a)は、三次元空間上に配 置されたインデックス画像701乃至708について 、t軸方向の正面側から見た場合を示す図で� �る。なお、図31(a)および図32(a)は同じ図であ� ��。図31(b)は、三次元空間上に配置されたイ� �デックス画像701乃至708について、y軸方向の� ��面側から見た場合を示す図である。また、� ��32(b)は、三次元空間上に配置されたインデ� �クス画像701乃至708について、x軸方向の左側� ��側面から見た場合を示す図である。ここで� ��図31乃至図34においては、インデックス画像 701乃至708を四角で模式的に示すとともに、各 画像を示す四角内に「H1」乃至「H8」の文字� �付して説明する。

 図31および図32に示すように、インデック ス画像701乃至708は、各インデックス画像に関 連付けて記憶されているフレーム番号に基づ いて、t軸に対して時系列に配置される。ま� �、各インデックス画像に関連付けて記憶さ� �ている位置情報に基づいて、x軸およびy軸に 対して、撮影された空間上の位置に配置され る。

 このように三次元空間上に仮想的に配置� ��れたインデックス画像701乃至708が、平面に� ��影されて三次元画像として表示部260に表示� ��れる。

 図33は、三次元空間上に仮想的に配置さ� �たインデックス画像701乃至708の表示例を示� �図である。図33(a)には、インデックス画像701 乃至708における上面側を表示するインデック ス画像表示画面710を示す。なお、インデック ス画像表示画面710に含まれるインデックス画 像701乃至708の配置構成は、図31(b)に示す配置� ��成と同様である。図33(b)には、インデック� �画像701乃至708における側面側を表示するイ� �デックス画像表示画面720を示す。なお、イ� �デックス画像表示画面720に含まれるインデ� �クス画像701乃至708の配置構成は、図32(b)に示 す配置構成と同様である。なお、各インデッ クス画像の上面や側面としては、例えば、各 インデックス画像の大きさに応じた長方形等 で模式的に表示することができる。

 ここでは、三次元空間上に仮想的に配置� ��れたインデックス画像701乃至708における上� ��側および側面側の表示例についてのみ示す� ��、これらの表示以外に、三次元空間上に仮� ��的に配置されたインデックス画像を、ユー� ��の操作入力に応じて、各方向から見ること� ��できるように表示させることができる。例� ��ば、上斜め正面方向から各インデックス画� ��を見ることができるように表示させること� ��できる。

 このように各インデックス画像が表示さ� ��ている場合においては、上述したように、� ��示されているインデックス画像の中から所� ��のインデックス画像を選択することによっ� ��、選択されたインデックス画像に対応する� ��置から動画を再生させることができる。例� ��ば、図33(a)に示すカーソル711、または図33(b) に示すカーソル721を用いて所望のインデック ス画像を選択することができる。

 このように、三次元空間上に仮想的に配� ��されたインデックス画像を表示することに� ��って、動画が撮影された空間を視覚的に容� ��に把握することができるとともに、動画が� ��影された時間についても視覚的に容易に把� ��することができる。これにより、動画の撮� ��時における空間的な情報および時間的な情� ��を視覚的に容易に把握することができる。� ��た、これらの情報に基づいて動画の撮影内� ��を迅速に把握することができる。さらに、� ��画を再生する場合における検索を容易に行� ��ことができる。

 以上では、表示されている各インデック� ��画像から1つのインデックス画像を選択して 動画の所望部分から再生を開始する例につい て説明した。ここでは、三次元空間上に仮想 的に配置されたインデックス画像が表示され ている場合において、表示されているインデ ックス画像の中から複数のインデックス画像 を選択することによって、選択された各イン デックス画像に対応する位置から動画を再生 させる例について図面を参照して詳細に説明 する。

 図34は、三次元空間上に仮想的に配置さ� �たインデックス画像701乃至708の表示例を示� �図である。図34(a)には、インデックス画像701 乃至708における正面側を表示するインデック ス画像表示画面730を示す。なお、インデック ス画像表示画面730に含まれるインデックス画 像701乃至708の配置構成は、図31(a)および図32(a )に示す配置構成と同様である。図34(b)には、 インデックス画像701乃至708における上面側を 表示するインデックス画像表示画面740を示す 。なお、インデックス画像表示画面740に含ま れるインデックス画像701乃至708の配置構成は 、インデックス画像表示画面720と同様である 。

 この例では、インデックス画像表示画面7 30または740が表示されている場合において、� ��ンデックス画像表示画面730または740に含ま� ��る各インデックス画像の中の複数のインデ� ��クス画像を選択する。例えば、インデック� ��画像表示画面730において、インデックス画� ��701乃至708の中からインデックス画像701、702� ��707、708が選択される。この選択方法として� ��例えば、カーソル731を用いたドラック操作� ��より、選択すべきインデックス画像を囲む� ��うに領域を指定して選択することができる� ��図34(a)では、カーソル731を用いて指定され� �領域を点線で示す。この場合に、例えば、� �ての四角が囲まれたインデックス画像のみ� �選択されるようにしてもよく、四角の中心� �置が囲まれたインデックス画像が選択され� �ようにしてもよい。また、図34(b)についても 同様に、カーソル741を用いて複数のインデッ クス画像を選択することができる。

 このように、複数のインデックス画像が� ��択された場合には、選択されたインデック� ��画像に対応する位置から動画が開始される� ��例えば、選択された各インデックス画像の� ��ちで、対応するフレーム番号が一番小さい� ��ンデックス画像に対応する位置から動画が� ��始される。そして、対応するフレーム番号� ��順序に従って、各インデックス画像に対応� ��る位置から動画が開始される。すなわち、� ��影時刻の早い動画から順番に再生が開始さ� ��る。このように、選択された各インデック� ��画像に対応する位置から動画の再生が開始� ��れた場合には、所定の時間が経過したら、� ��の位置から再生を開始することができる。� ��た、選択されたインデックス画像に対応す� ��フレーム番号とともに、他のインデックス� ��像に対応するフレーム番号についても表示� ��御部251に出力し、選択されたインデックス� ��像に対応する位置から、次のフレーム番号� ��対応する位置までの動画を順次再生させる� ��うにしてもよい。

 なお、この複数のインデックス画像選択� ��ついては、図28に示すパノラマ画像につい� �も同様に適用することができる。また、イ� �デックス画像は、二次元空間上に配置して� �示するようにしてもよい。さらに、各フレ� �ムに対応する画像または所定間隔毎の画像� �三次元空間上に配置して表示するようにし� �もよい。

 このように、三次元空間上に仮想的に配� ��されたインデックス画像が表示されている� ��合において、複数のインデックス画像を選� ��して順次再生させることができる。このた� ��、空間的に近い場面が、時間的に離れて撮� ��が行われた場合であっても、この空間的に� ��い場面をまとめて再生することができる。� ��た、この選択操作が容易である。

 以上では、アフィン変換パラメータを動� ��ファイルに記録する例について説明したが� ��動画ファイルとは異なる形式の付随情報(例 えば、メタデータ)として、動画を構成する� �レーム毎にアフィン変換パラメータを記録� �るようにしてもよい。以下では、動画ファ� �ルとは異なる形式の付随情報として、メタ� �ータファイルにアフィン変換パラメータを� �録する例について図面を参照して詳細に説� �する。

 図35は、本発明の実施の形態における画� �処理装置650の機能構成例を示すブロック図� �ある。ここで、画像処理装置650は、図1に示� ��画像処理装置100の一部を変形したものであ� ��、この画像処理装置100において、記録制御� ��130、動画記憶部200、動画取得部140およびカ� ��ラワークパラメータ抽出部150の代わりに、� ��録制御部651、動画記憶部660、メタデータ記� ��部670およびファイル取得部652を設けた画像� ��理装置である。なお、記録制御部651、動画� ��憶部660、メタデータ記憶部670およびファイ� ��取得部652以外の構成は、図1に示す画像処理 装置100と同様であるため、これらの以外の構 成についての説明は省略する。

 記録制御部651は、動画入力部110から出力� ��れた動画を動画ファイルとして動画記憶部6 60に記録するとともに、カメラワークパラメ� ��タ算出部123から出力されたアフィン変換パ� ��メータを、対応する動画およびフレームと� ��連付けてメタデータファイルとしてメタデ� ��タ記憶部670に記録するものである。

 動画記憶部660は、動画入力部110から出力� ��れた動画を動画ファイルとして記憶するも� ��である。また、動画記憶部660は、ファイル� ��得部652からの要求に応じて動画ファイルを� ��ァイル取得部652に供給する。なお、動画記� ��部660に記憶される動画ファイルについては� ��図36を参照して詳細に説明する。

 メタデータ記憶部670は、カメラワークパ� ��メータ算出部123から出力されたアフィン変� ��パラメータをメタデータファイルとして記� ��するものである。また、メタデータ記憶部6 70は、ファイル取得部652からの要求に応じて� ��タデータファイルをファイル取得部652に供� ��する。なお、メタデータ記憶部670に記憶さ� ��るメタデータファイルについては、図36を� �照して詳細に説明する。

 ファイル取得部652は、動画記憶部660に記� ��されている動画ファイルと、この動画ファ� ��ルに関連付けられてメタデータ記憶部670に� ��憶されているメタデータファイルとを取得� ��るものであり、取得された動画ファイルの� ��画およびメタデータファイルのアフィン変� ��パラメータを画像変換部160に出力する。

 図36は、本発明の実施の形態における動� �記憶部660およびメタデータ記憶部670に記録� �れている各ファイルを模式的に示す図であ� �。図36(a)では、動画記憶部660に記憶されてい る動画ファイル661乃至663と、動画ファイル661 乃至663に関連付けてメタデータ記憶部670に記 憶されているメタデータファイル671乃至673と を示す。ここで、動画記憶部660に記憶されて いる各動画ファイルを識別するための識別情 報である動画IDが、各動画ファイルに付与さ� ��ているものとする。例えば、動画ファイル6 61には「#1」が付与され、動画ファイル662に� �「#2」が付与され、動画ファイル663には「#n� ��が付与されている。

 図36(b)では、動画記憶部660に記憶されて� �る動画ファイル661と、動画ファイル661に関� �付けてメタデータ記憶部670に記憶されてい� �メタデータファイル671とを模式的に示す図� �ある。ここで、動画ファイル661は、n枚のフ� ��ームで構成された動画のファイルであり、� ��れらのn枚のフレームをフレーム1(664)乃至n(6 67)として示す。

 また、メタデータファイル671には、動画I D674と、フレーム番号675と、アフィン変換パ� �メータ676とが関連付けて格納されている。

 動画ID674は、対応する動画ファイルに付� �されている動画IDであり、例えば、動画ファ イル661に付与されている「#1」が格納される� ��

 フレーム番号675は、対応する動画ファイ� ��の動画を構成する各フレームの通し番号で� ��り、例えば、動画ファイル661の動画を構成� ��るフレーム(1)664乃至(n)667に対応する「1」乃 至「n」が格納される。

 アフィン変換パラメータ676は、フレーム� ��号675に対応する動画の各フレームについて� ��算されたアフィン変換パラメータである。� ��お、フレーム番号675「1」に対応するアフィ ン変換パラメータ676「a1,b1,c1,d1,e1,f1」は、単� ��行列のアフィン変換パラメータである。ま� ��、フレーム番号675「m(mは2以上の整数)」に� �応するアフィン変換パラメータ676「am,bm,cm,dm ,em,fm」は、フレーム「m」の直前フレーム「m- 1」に対するアフィン変換パラメータである� �

 以上では、メタデータファイルにアフィ� ��変換パラメータを記録する例として、図1に 示す画像処理装置100の一部を変形した画像処 理装置650について説明したが、図24に示す画� ��処理装置101についても同様に適用すること� ��できる。

 次に、本発明の実施の形態における特徴� ��抽出処理およびオプティカルフロー計算処� ��をマルチコアプロセッサにより行う場合に� ��いて図面を参照して詳細に説明する。

 図37は、本発明の実施の形態におけるマ� �チコアプロセッサ800の一構成例を示す図で� �る。マルチコアプロセッサ800は、1つのCPU(Cen tral Processing Unit)パッケージ上に異なる種類� ��プロセッサコアが複数搭載されているプロ� ��ッサである。すなわち、マルチコアプロセ� ��サ800には、各プロセッサコア単体の処理性� ��を維持するとともに、シンプルな構成にす� ��ため、あらゆる用途(アプリケーション)に� �応する1種類のコアと、所定の用途にある程� ��最適化されている他の種類のコアとの2種類 のプロセッサコアが複数搭載されている。

 マルチコアプロセッサ800は、制御プロセ� ��サコア801と、演算プロセッサコア(#1)811乃至 (#8)818と、バス802とを備え、メインメモリ781� �接続されている。また、マルチコアプロセ� �サ800は、例えば、グラフィックスデバイス78 2やI/Oデバイス783等の他のデバイスと接続さ� �る。マルチコアプロセッサ800として、例え� �、本願出願人等により開発されたマイクロ� �ロセッサである「Cell(セル:Cell Broadband Engine )」を採用することができる。

 制御プロセッサコア801は、オペレーティ� ��グ・システムのような頻繁なスレッド切り� ��え等を主に行う制御プロセッサコアである� ��なお、制御プロセッサコア801については、� ��38を参照して詳細に説明する。

 演算プロセッサコア(#1)811乃至(#8)818は、� �ルチメディア系の処理を得意とするシンプ� �で小型の演算プロセッサコアである。なお� �演算プロセッサコア(#1)811乃至(#8)818について は、図39を参照して詳細に説明する。

 バス802は、EIB(Element Interconnect Bus)と呼ば れる高速なバスであり、制御プロセッサコア 801および演算プロセッサコア(#1)811乃至(#8)818� ��それぞれが接続され、各プロセッサコアに� ��るデータアクセスはバス802を経由して行わ� ��る。

 メインメモリ781は、バス802に接続され、� ��プロセッサコアにロードすべき各種プログ� ��ムや、各プロセッサコアの処理に必要なデ� ��タを格納するとともに、各プロセッサコア� ��より処理されたデータを格納するメインメ� ��リである。

 グラフィックスデバイス782は、バス802に� ��続されているグラフィックスデバイスであ� ��、I/Oデバイス783は、バス802に接続されてい� ��外部入出力デバイスである。

 図38は、本発明の実施の形態における制� �プロセッサコア801の一構成例を示す図であ� �。制御プロセッサコア801は、制御プロセッ� �ユニット803および制御プロセッサストレー� �システム806を備える。

 制御プロセッサユニット803は、制御プロ� ��ッサコア801の演算処理を行う核となるユニ� ��トであり、マイクロプロセッサのアーキテ� ��チャをベースとする命令セットを備え、一� ��キャッシュとして命令キャッシュ804および� ��ータキャッシュ805が搭載されている。命令� ��ャッシュ804は、例えば、32KBの命令キャッシ ュであり、データキャッシュ805は、例えば、 32KBのデータキャッシュである。

 制御プロセッサストレージシステム806は� ��制御プロセッサユニット803からメインメモ� ��781へのデータアクセスを制御するユニット� ��あり、制御プロセッサユニット803からのメ� ��リアクセスを高速化させるために512KBの二� �キャッシュ807が搭載されている。

 図39は、本発明の実施の形態における演� �プロセッサコア(#1)811の一構成例を示す図で� ��る。演算プロセッサコア(#1)811は、演算プロ セッサユニット820およびメモリフローコント ローラ822を備える。なお、演算プロセッサコ ア(#2)812乃至(#8)818は、演算プロセッサコア(#1) 811と同様の構成であるため、ここでの説明を 省略する。

 演算プロセッサユニット820は、演算プロ� ��ッサコア(#1)811の演算処理を行う核となるユ ニットであり、制御プロセッサコア801の制御 プロセッサユニット803とは異なる独自の命令 セットを備える。また、演算プロセッサユニ ット820には、ローカルストア(LS:Local Store)821� ��搭載されている。

 ローカルストア821は、演算プロセッサユ� ��ット820の専用メモリであるとともに、演算� ��ロセッサユニット820から直接参照すること� ��できる唯一のメモリである。ローカルスト� ��821として、例えば、容量が256Kバイトのメモ リを用いることができる。なお、演算プロセ ッサユニット820が、メインメモリ781や他の演 算プロセッサコア(演算プロセッサコア(#2)812� ��至(#8)818)上のローカルストアにアクセスす� �ためには、メモリフローコントローラ822を� �用する必要がある。

 メモリフローコントローラ822は、メイン� ��モリ781や他の演算プロセッサコア等との間� ��データのやり取りするためのユニットであ� ��、MFC(Memory Flow Controller)と呼ばれるユニッ� �である。ここで、演算プロセッサユニット82 0は、チャネルと呼ばれるインタフェースを� �してメモリフローコントローラ822に対して� �ータ転送等を依頼する。

 以上で示したマルチコアプロセッサ800の� ��ログラミング・モデルとして、さまざまな� ��のが提案されている。このプログラミング� ��モデルの中で最も基本的なモデルとして、� ��御プロセッサコア801上でメインプログラム� ��実行し、演算プロセッサコア(#1)811乃至(#8)81 8上でサブプログラムを実行するモデルが知� �れている。本発明の実施の形態では、この� �デルを用いたマルチコアプロセッサ800の演� �方法について図面を参照して詳細に説明す� �。

 図40は、本発明の実施の形態におけるマ� �チコアプロセッサ800の演算方法を模式的に� �す図である。この例では、データ785を用い� �制御プロセッサコア801がタスク784を実行す� �場合に、タスク784の一部であるタスク786の� �理に必要なデータ787(データ785の一部)を用い て、タスク786を各演算プロセッサコアに実行 させる場合を例に図示する。

 同図に示すように、データ785を用いて制� ��プロセッサコア801がタスク784を実行する場� ��には、タスク784の一部であるタスク786の処� ��に必要なデータ787(データ785の一部)を用い� �、タスク786を各演算プロセッサコアに実行� �せる。本発明の実施の形態では、動画を構� �するフレーム毎に各演算プロセッサコアに� �り演算処理が行われる。

 同図に示すように、マルチコアプロセッ� ��800が演算を行うことにより、演算プロセッ� ��コア(#1)811乃至(#8)818を並列に利用して、比� �的少ない時間で多くの演算を行うことがで� �るとともに、演算プロセッサコア(#1)811乃至( #8)818上でSIMD(Single Instruction/Multiple Data:単一� �令/複数データ)演算を利用して、さらに少な い命令数により、比較的多くの演算処理を行 うことができる。なお、SIMD演算については� �図44乃至図47等を参照して詳細に説明する。

 図41は、本発明の実施の形態におけるマ� �チコアプロセッサ800により演算を行う場合� �おけるプログラムおよびデータの流れを模� �的に示す図である。ここでは、演算プロセ� �サコア(#1)811乃至(#8)818のうちの演算プロセッ サコア(#1)811を例にして説明するが、演算プ� �セッサコア(#2)812乃至(#8)818についても同様に 行うことができる。

 最初に、制御プロセッサコア801は、メイ� ��メモリ781に格納されている演算プロセッサ� ��アプログラム823を演算プロセッサコア(#1)811 のローカルストア821にロードする指示を演算 プロセッサコア(#1)811に送る。これにより、� �算プロセッサコア(#1)811は、メインメモリ781� ��格納されている演算プロセッサコアプログ� ��ム823をローカルストア821にロードする。

 続いて、制御プロセッサコア801は、ロー� ��ルストア821に格納された演算プロセッサコ� ��プログラム825の実行を演算プロセッサコア( #1)811に指示する。

 続いて、演算プロセッサコア(#1)811は、ロ ーカルストア821に格納された演算プロセッサ コアプログラム825の実行処理に必要なデータ 824をメインメモリ781からローカルストア821に 転送する。

 続いて、演算プロセッサコア(#1)811は、ロ ーカルストア821に格納された演算プロセッサ コアプログラム825に基づいて、メインメモリ 781から転送されたデータ826を加工し、条件に 応じた処理を実行して処理結果をローカルス トア821に格納する。

 続いて、演算プロセッサコア(#1)811は、ロ ーカルストア821に格納された演算プロセッサ コアプログラム825に基づいて実行された処理 結果をローカルストア821からメインメモリ781 に転送する。

 続いて、演算プロセッサコア(#1)811は、制 御プロセッサコア801に演算処理の終了を通知 する。

 次に、マルチコアプロセッサ800を用いて� ��うSIMD演算について図面を参照して詳細に説 明する。ここで、SIMD演算とは、複数のデー� �に対する処理を1つの命令で行う演算方式で� ��る。

 図42(a)は、複数のデータに対する処理を� �れぞれの命令で行う演算方式の概要を模式� �に示す図である。図42(a)に示す演算方式は、 通常の演算方式であり、例えば、スカラー演 算と呼ばれている。例えば、データ「A1」お� ��びデータ「B1」を加算する命令によりデー� �「C1」の処理結果が求められる。また、他の 3つの演算についても同様に、同一の行にあ� �データ「A2」、「A3」、「A4」と、データ「B2 」、「B3」、「B4」とを加算する命令がそれ� �れの処理について行われ、この命令により� �各行の値が加算処理され、この処理結果が� �ータ「C2」、「C3」、「C4」として求められ� �。このように、スカラー演算では、複数の� �ータに対する処理については、それぞれに� �して命令を行う必要がある。

 図42(b)は、複数のデータに対する処理を1� ��の命令で行う演算方式であるSIMD演算の概要 を模式的に示す図である。ここで、SIMD演算� �に1まとまりにしたデータ(点線827および828で 囲まれる各データ)は、ベクターデータと呼� �れることがある。また、このようなベクタ� �データを用いて行われるSIMD演算は、ベクト� ��演算と呼ばれることがある。

 例えば、点線827で囲まれるベクターデー� ��(「A1」、「A2」、「A3」、「A4」)と、点線828 で囲まれるベクターデータ(「B1」、「B2」、� ��B3」、「B4」)とを加算する1つの命令により� ��C1」、「C2」、「C3」、「C4」の処理結果(点� ��829で囲まれているデータ)が求められる。こ のように、SIMD演算では、複数のデータに対� �る処理を1つの命令で行うことができるため� ��演算処理を迅速に行うことができる。また� ��これらのSIMD演算に関する命令を、マルチコ アプロセッサ800の制御プロセッサコア801が行 い、この命令に対する複数データの演算処理 について演算プロセッサコア(#1)811乃至(#8)818� ��並列処理を行う。

 一方、例えば、データ「A1」と「B1」とを 加算し、データ「A2」と「B2」とを減算し、� �ータ「A3」と「B3」とを乗算し、データ「A4� �と「B4」とを除算する処理については、SIMD� �算では行うことができない。すなわち、複� �のデータのそれぞれに対して異なる処理を� �る場合には、SIMD演算による処理を行うこと� ��ではできない。

 次に、特徴点抽出処理およびオプティカ� ��フロー算出処理を行う場合におけるSIMD演算 の具体的な演算方法について図面を参照して 詳細に説明する。

 図43は、本発明の実施の形態における制� �プロセッサコア801または演算プロセッサコ� �(#1)811により実行されるプログラムの構成例� ��示す図である。ここでは、演算プロセッサ� ��ア(#1)811についてのみ図示するが、演算プロ セッサコア(#2)812乃至(#8)818についても同様の� ��理が行われる。

 制御プロセッサコア801は、デコード851と� ��てデコード852、インターレース853およびリ� ��イズ854を実行する。デコード852は、動画フ� ��イルをデコードする処理である。インター� ��ース853は、デコードされた各フレームにつ� ��てインターレース除去する処理である。リ� ��イズ854は、インターレース除去された各フ� ��ームについて縮小する処理である。

 また、制御プロセッサコア801は、演算プ� ��セッサコア管理856として命令送信857および8 59、終了通知受信858および860を実行する。命� ��送信857および859は、演算プロセッサコア(#1) 811乃至(#8)818に対するSIMD演算の実行命令を送� ��する処理であり、終了通知受信858および860� ��、上記命令に対する演算プロセッサコア(#1) 811乃至(#8)818からのSIMD演算の終了通知を受信� ��る処理である。さらに、制御プロセッサコ� ��801は、カメラワーク検出861としてカメラワ� ��クパラメータ算出処理862を実行する。カメ� ��ワークパラメータ算出処理862は、演算プロ� ��ッサコア(#1)811乃至(#8)818によるSIMD演算によ� ��算出されたオプティカルフローに基づいて� ��レーム毎にアフィン変換パラメータを算出� ��る処理である。

 演算プロセッサコア(#1)811は、特徴点抽出 処理863として、ソベルフィルタ(Sobel Filter)処 理864、二次モーメント行列(Second Moment Matrix) 処理865、セパラブルフィルタ(Separable Filter)� �理866、ハリスコーナー点抽出(Calc Harris)処理 867、膨張処理(Dilation)868、並べ替え処理(Sort)86 9を実行する。

 ソベルフィルタ処理864は、P2のフィルタ(x 方向)を使って得られるx方向の値dxと、Y方向� ��フィルタを使って得られるy方向の値dyとを� ��出する処理である。なお、x方向の値dxの算� ��については、図44乃至図47を参照して詳細に 説明する。

 二次モーメント行列処理865は、ソベルフィ� ��タ処理864により算出されたdxおよびdyを用い て、dx ² ,dy ² ,dx・dyの各値を算出する処理である。

 セパラブルフィルタ処理866は、二次モーメ� ��ト行列処理865により算出されたdx ² ,dy ² ,dx・dyの画像に対してガウシアンフィルタ(ぼ かし処理)を掛ける処理である。

 ハリスコーナー点抽出処理867は、セパラブ� ��フィルタ処理866により、ぼかし処理が施さ� ��たdx ² ,dy ² ,dx・dyの各値を用いて、ハリスコーナーのス� ��アを算出する処理である。このハリスコー� ��ーのスコアSは、例えば、次の式により算出 される。
  S=(dx ² ×dy ² -dx・dy×dx・dy)/(dx ² +dy ² +ε)

 膨張処理868は、ハリスコーナー点抽出処� ��867により算出されたハリスコーナーのスコ� ��で構成された画像に対してぼかし処理を行� ��処理である。

 並べ替え処理869は、ハリスコーナー点抽� ��処理867により算出されたハリスコーナーの� ��コアが高い順に画素を並べ、このスコアが� ��い方から所定の数だけピックアップし、こ� ��ピックアップされた点を特徴点として抽出� ��る処理である。

 演算プロセッサコア(#1)811は、オプティカ ルフロー(Optical Flow)演算処理870として、多重 解像度画像作成(Make Pyramid Image)処理871、オ� �ティカルフロー算出(Calc Optical Flow)処理872� �実行する。

 多重解像度画像作成処理871は、カメラに� ��る撮像時の画サイズから所定数の段階に縮� ��された画像を順次作成する処理であり、作� ��された画像は多重解像度画像と呼ばれる。

 オプティカルフロー算出処理872は、多重� ��像度画像作成処理871により作成された多重� ��像度画像のうちで、最も小さい画像につい� ��オプティカルフローを計算し、この計算結� ��を用いて、1つ上の解像度の画像について再 びオプティカルフローを計算する処理であり 、この一連の処理を最も大きい画像に辿り着 くまで繰り返し行う。

 このように、例えば、図1等に示す特徴点 抽出部121により行われる特徴点抽出処理と、 オプティカルフロー計算部122により行われる オプティカルフロー算出処理とについては、 マルチコアプロセッサ800を用いてSIMD演算に� �って並列処理することにより処理結果を求� �ることができる。なお、図43等で示す特徴点 抽出処理およびオプティカルフロー算出処理 は、一例であり、動画を構成する画像に対す る各種フィルタ処理や閾値処理等により構成 される他の処理を用いて、マルチコアプロセ ッサ800によるSIMD演算を行うようにしてもよ� �。

 図44は、本発明の実施の形態におけるメ� �ンメモリ781に格納されている画像データ(カ� ��ラにより撮像された動画を構成する1つのフ レームに対応する画像データ)について、ソ� �ルフィルタ830を用いてフィルタリング処理� �行う場合におけるデータ構造と処理の流れ� �概略的に示す図である。なお、同図に示す� �インメモリ781に格納されている画像データ� �ついては、横の画素数を32画素として簡略化 して示す。また、ソベルフィルタ830は、3×3� �エッジ抽出フィルタである。同図に示すよ� �に、メインメモリ781に格納されている画像� �ータについて、ソベルフィルタ830を用いた� �ィルタリング処理を行い、このフィルタリ� �グ処理の結果が出力される。この例では、SI MD演算を用いて4つ分のフィルタ結果を一度に 得る例について説明する。

 図45は、本発明の実施の形態におけるメ� �ンメモリ781に格納されている画像データに� �いてソベルフィルタ830を用いてSIMD演算を行� ��場合におけるデータの流れを概略的に示す� ��である。最初は、メインメモリ781に格納さ� ��ている画像データのうちの最初のラインを� ��む所定数のライン(例えば、3ライン)が演算� ��ロセッサコアのローカルストア821に備えら� ��る第一バッファ831にDMA(Direct Memory Access)転� ��されるとともに、第一バッファ831にDMA転送� ��れた各ラインを1つ下にずらした所定数のラ インが第二バッファ832にDMA転送される。この ように、ダブルバッファを使用することによ り、DMA転送による遅延を隠蔽することができ る。

 図46は、本発明の実施の形態におけるソ� �ルフィルタ830を用いてフィルタリング処理� �行う場合において、第一バッファ831に格納� �れている画像データから9つのベクトルを作� ��するベクトル作成方法を概略的に示す図で� ��る。図45に示すように、DMA転送が行われた� �に、第一バッファ831に格納されている画像� �ータから9つのベクトルが作成される。具体� ��には、第一バッファ831に格納されている画� ��データの1ラインにおいて左隅から4つのデ� �タによりベクターデータ841が作成され、そ� �4つのデータを右側に1つずらした4つのデー� �によりベクターデータ842が作成され、同様� �、その4つのデータを右側に1つずらした4つ� �データによりベクターデータ843が作成され� �。また、2ラインおよび3ラインにおいても同 様に4つのデータによりベクターデータ844乃� �849が作成される。

 図47は、本発明の実施の形態におけるソベ� �フィルタ830を用いてフィルタリング処理を� �う場合において、ベクターデータ841乃至849� �ついてSIMD命令を用いてベクトル演算を行う� ��クトル演算方法を概略的に示す図である。� ��体的には、ベクターデータ841乃至843につい� ��SIMD演算が順次行われ、ベクトルAが求めら� �る。このSIMD演算では、最初に、『「-1」×「 ベクターデータ841」』のSIMD演算が実行され� �。続いて、『「0」×「ベクターデータ842」� �のSIMD演算が実行され、『「1」×「ベクター� ��ータ843」』のSIMD演算が実行される。ここで 、『「0」×「ベクターデータ842」』について は、演算結果が「0」であると確定している� �め、省略することが可能である。また、『� �1」×「ベクターデータ843」』については、� �算結果が「ベクターデータ843」と同じ値で� �ることが確定しているため、
省略することが可能である。

 続いて、『「-1」×「ベクターデータ841」 』の演算結果と、『「0」×「ベクターデータ 842」』の演算結果との加算処理がSIMD演算に� �り実行される。続いて、この加算処理の結� �と、『「1」×「ベクターデータ843」』の演� �結果との加算処理がSIMD演算により実行され� ��。ここで、例えば、「ベクターデータ1」×� ��ベクターデータ2」+「ベクターデータ3」と� ��るデータ構造の演算については、SIMD演算に より実行することが可能である。そこで、ベ クトルAの演算については、例えば、『「0」� �「ベクターデータ842」』および『「1」×「� �クターデータ843」』についてのSIMD演算を省� ��し、『「-1」×「ベクターデータ841」+「ベ� �ターデータ843」』を一度のSIMD演算により実� ��するようにしてもよい。

 また、同様に、ベクターデータ844乃至846� ��ついてSIMD演算が行われ、ベクトルBが求め� �れ、ベクターデータ847乃至849についてSIMD演� ��が行われ、ベクトルCが求められる。

 続いて、SIMD演算により求められたベクト ルA乃至CについてSIMD演算が行われ、ベクトル Dが求められる。このように、SIMD演算を行う� ��とにより、ベクトルの要素数分(この例では 4つのデータ)の結果をまとめて得ることがで� ��る。

 ベクトルDが算出された後は、図45に示す� ��一バッファ831に格納されている画像データ� ��おいて、取り出すデータの位置を右側に1つ ずらしながら、同様の処理を繰り返し実行し て、それぞれのベクトルDの算出を順次行う� �そして、図45に示す第一バッファ831に格納さ れている画像データの右端までの処理が終了 した場合には、処理結果をメインメモリ781に DMA転送する。

 続いて、メインメモリ781に格納されてい� ��画像データのうちで、第二バッファ832にDMA� ��送された各ラインを1つ下にずらした所定数 のラインが第一バッファ831にDMA転送されると ともに、第二バッファ832に格納されている画 像データについて、上述した処理を繰り返し 行う。そして、メインメモリ781に格納されて いる画像データの各ラインのうちの下端のラ インに達するまで、同様の処理を繰り返し行 う。

 同様に、特徴点抽出とオプティカルフロ� ��算出の大部分の処理をSIMD演算により行うこ とによって高速化を実現することができる。

 図48は、本発明の実施の形態におけるカ� �ラワークパラメータ算出処理の流れを時系� �で概略的に示す図である。上述したように� �例えば、マルチコアプロセッサ800を用いてSI MD演算を行うことにより、動画についてのデ� ��ードおよび解析処理を並列化して行うこと� ��できる。このため、動画を構成する1フレー ムの解析時間を、デコード時間よりも短縮す ることが可能である。

 例えば、同図において、t1は、制御プロ� �ッサコア801が動画を構成する1フレームのデ� ��ード処理に要する時間を示し、t2は、演算� �ロセッサコア(#1)811乃至(#8)818が動画を構成す る1フレームの特徴点抽出処理に要する時間� �示し、t3は、演算プロセッサコア(#1)811乃至(# 8)818が動画を構成する1フレームのオプティカ ルフロー算出処理に要する時間を示し、t4は� ��制御プロセッサコア801が動画を構成する1フ レームのカメラワーク検出処理に要する時間 を示す。なお、t5は、制御プロセッサコア801� ��よび演算プロセッサコア(#1)811乃至(#8)818が� �画を構成する1フレームについて、カメラワ� ��ク検出処理に要する時間を示す。また、t6� �、t6は、制御プロセッサコア801が演算プロセ ッサコア(#1)811乃至(#8)818を管理する処理に要� ��る時間を示す。例えば、t1を「25.0ms」とし� �t2を「7.9ms」とし、t3を「6.7ms」とし、t4を「1 .2ms」とし、t5を「15.8ms」とすることができる 。

 次に、本発明の実施の形態におけるメタ� ��ータファイルを用いた動画コンテンツを再� ��する場合について図面を参照して詳細に説� ��する。

 図49(a)は、記録媒体の一例であるブルー� �イディスク(Blu-ray Disc(登録商標))880を模式的 に示す上面図であり、図49(b)は、ブルーレイ� ��ィスク880に記録されている各データ881乃至8 84を模式的に示す図である。ブルーレイディ� ��ク880には、例えば、カメラ等により撮像さ� ��た動画である動画コンテンツ882、動画コン� ��ンツ882の字幕883、および、動画コンテンツ8 82について解析されて得られたメタデータ(例 えば、図2、図3、図26、図36(b)に示す各情報)88 4とともに、本発明の実施の形態における動� �再生に係るJava(登録商標)プログラム881が記� �されている。

 図49(c)は、ブルーレイディスク880を再生� �能なブルーレイ再生機(Blu-ray Disc Player)890の 内部構成を模式的に示す図である。ここで、 ブルーレイディスクを再生可能なブルーレイ 再生機890は、CPU891およびOS892とともに、Java(� �録商標) VM(Java(登録商標)仮想マシン)および� ��イブラリ893が標準で搭載されているため、J ava(登録商標)プログラムを実行することが可� ��である。このため、ブルーレイディスク880� ��ブルーレイ再生機890に装着することにより� ��ブルーレイ再生機890がJava(登録商標)プログ� ��ム881をロードして実行することが可能であ� ��。これにより、ブルーレイ再生機890が動画� ��ンテンツ882を再生する場合に、メタデータ8 84を用いて、本発明の実施の形態における動� ��に対応するパノラマ画像の表示や、複数の� ��画の中からの動画の検索等を行うことが可� ��である。すなわち、専用のPCソフト等を使� �ずに、全てのブルーレイ再生機で本発明の� �施の形態における動画再生を実現すること� �可能になる。

 以上で示したように、本発明の実施の形� ��によれば、撮像装置により撮影された動画� ��閲覧する場合に、動画に対応するパノラマ� ��像を表示することができるため、各動画の� ��容を容易に把握することができる。また、� ��数の動画の中から所望の動画を検索する場� ��には、パノラマ縮小画像を参照して検索す� ��ことができるため、所望の動画を迅速に探� ��ことができる。さらに、パノラマ画像上の� ��意の位置を選択することによって、所望の� ��置から動画を再生させることができるため� ��動画内の検索についても迅速に行うことが� ��きる。

 また、動画からインデックス画像を抽出� ��る場合には、空間的な位置に基づいて抽出� ��ることができるため、動画の内容を把握し� ��いインデックス画像を抽出することができ� ��。また、動画から抽出されたインデックス� ��像をパノラマ画像上に空間的に配置するこ� ��によって、動画の再生位置の指定をさらに� ��易に行うことができる。このように、イン� ��ックス画像を用いて検索をすることができ� ��ため、1つの動画の中の所望のフレームにつ いて撮影空間における場所を指定して迅速に 探すことができる。

 また、三次元空間上に仮想的に配置され� ��インデックス画像を表示することによって� ��動画の撮影時における空間的な情報および� ��間的な情報を視覚的に容易に把握すること� ��でき、これらの情報に基づいて動画の撮影� ��容を迅速に把握することができる。また、� ��画を再生する場合における検索を容易に行� ��ことができる。

 すなわち、過去のフレームを活用して動� ��を空間的に展開したパノラマ画像またはイ� ��デックス画像を用いて動画を楽しく鑑賞す� ��ことができる。これにより、例えば、パノ� ��マ画像や3次元空間上に配置されたインデッ クス画像を見ながら動画を再生することがで きるため、閲覧者は面白み豊かに動画を観賞 することができる。

 また、本発明の実施の形態によれば、マ� ��チコアプロセッサを用いたSIMD演算によりア フィン変換パラメータを算出することにより 、1フレームのデコードの処理時間内に、1フ� ��ームのアフィン変換パラメータを算出する� ��とが可能である。これにより、パノラマ画� ��の作成やインデックス画像の抽出等を迅速� ��行うことができる。

 なお、ステップS926、S954等で合成された� �成画像を記録媒体等に記録して、他の再生� �示に用いるようにしてもよい。また、本発� �の実施の形態では、予め算出されたアフィ� �変換パラメータを用いて画像合成する例に� �いて説明したが、画像合成の際にアフィン� �換パラメータを算出し、この算出されたア� �ィン変換パラメータを用いて画像合成をす� �ようにしてもよい。

 また、本発明の実施の形態では、入力さ� ��た動画ファイルを構成する全てのフレーム� ��ついて合成画像作成処理を繰り返して合成� ��像を作成する例について説明したが、入力� ��れた動画ファイルを構成するフレームの中� ��少なくとも一定数のフレームについて合成� ��像作成処理を繰り返して合成画像を作成し� ��この合成画像を代表画像記憶部220に記録さ� ��るようにしてもよい。また、本発明の実施� ��形態では、動画を構成する先頭のフレーム� ��ら合成画像作成処理を繰り返して合成画像� ��作成する例について説明したが、例えば、� ��後のフレームから先頭のフレームに向かっ� ��合成画像作成処理を繰り返して合成画像を� ��成するようにしてもよい。

 また、本発明の実施の形態では、動画を� ��成する画像の面積に対する動物体の大きさ� ��比較的小さい場合にカメラの動きを求め、� ��のカメラの動きを利用して動画を再生する� ��合について説明した。しかしながら、動画� ��構成する画像の面積に対する動物体の大き� ��が比較的大きい場合についても、本発明の� ��施の形態を適用することが可能である。例� ��ば、駅を出発する電車を被写体の中心とし� ��その電車の画像面積に対する割合を大きく� ��像した場合に、上述したアフィン変換パラ� ��ータを算出すると、電車の動きを算出する� ��とになる。この場合に、この電車の動きを� ��用して、上述した合成画像作成方法により� ��成画像を作成することができる。このよう� ��、動画を構成する画像を変換するための変� ��情報として、撮像時におけるカメラと被写� ��との相対的な動き量に関する動き情報を算� ��して用いることができる。

 また、本発明の実施の形態では、合成画� ��またはインデックス画像を表示部に表示す� ��画像処理装置を例にして説明したが、合成� ��像またはインデックス画像を他の画像表示� ��置において表示させるための画像情報を出� ��する画像出力手段を設けた画像処理装置に� ��発明の実施の形態を適用することができる� ��さらに、動画を再生することが可能な動画� ��生装置や撮影された動画を再生することが� ��能なデジタルビデオカメラ等の撮像装置等� ��本発明の実施の形態を適用することができ� ��。

 また、本発明の実施の形態では、画像処� ��装置を例にして説明したが、動画を再生す� ��ことが可能な動画再生装置等に本発明の実� ��の形態を適用することができる。また、本� ��明の実施の形態では、カメラにより撮像さ� ��た動画について説明したが、例えば、カメ� ��により撮像された動画が編集された場合に� ��ける編集後の動画やアニメーション等が一� ��に合成された動画等についても、本発明の� ��施の形態を適用することができる。

 なお、本発明の実施の形態は本発明を具� ��化するための一例を示したものであり、以� ��に示すように特許請求の範囲における発明� ��定事項とそれぞれ対応関係を有するが、こ� ��に限定されるものではなく本発明の要旨を� ��脱しない範囲において種々の変形を施すこ� ��ができる。

 すなわち、請求項1または15において、動� ��記憶手段は、例えば動画記憶部200または660� ��対応する。また、画像保持手段は、例えば� ��像メモリ170に対応する。また、変換情報算� ��手段は、例えばカメラワーク検出部120に対� ��する。また、画像変換手段は、例えば画像� ��換部160に対応する。また、画像合成手段は� ��例えば画像合成部180に対応する。また、画� ��位置取得手段は、例えば画像位置取得部190� ��対応する。また、画像位置記憶手段は、例� ��ば画像位置記憶部210に対応する。また、表� ��手段は、例えば表示部260に対応する。また� ��操作受付手段は、例えば操作受付部230に対� ��する。また、表示制御手段は、例えば表示� ��御部250に対応する。

 また、請求項2において、選択手段は、例 えば選択部240に対応する。

 また、請求項4または5において、代表画� �記憶手段は、例えば代表画像記憶部220に対� �する。

 また、請求項6において、動画入力手段は 、例えば動画入力部110に対応する。また、変 換情報算出手段は、例えばカメラワーク検出 部120に対応する。また、画像変換手段は、例 えば画像変換部160に対応する。また、インデ ックス画像記憶手段は、例えばインデックス 画像記憶部280に対応する。また、インデック ス画像抽出手段は、例えばインデックス画像 抽出部270に対応する。

 また、請求項10または11において、表示制 御手段は、例えば表示制御部251に対応する。

 また、請求項12において、動画記憶手段� �、例えば動画記憶部200に対応する。また、� �作受付手段は、例えば操作受付部230に対応� �る。また、選択手段は、例えば選択部241に� �応する。

 また、請求項13において、画像保持手段� �、例えば画像メモリ170に対応する。また、� �像合成手段は、例えば画像合成部181に対応� �る。また、代表画像記憶手段は、例えば代� �画像記憶部225に対応する。

 また、請求項14において、動画記憶手段� �、例えば動画記憶部200に対応する。また、� �示手段は、例えば表示部260に対応する。ま� �、操作受付手段は、例えば操作受付部230に� �応する。また、選択手段は、例えば選択部24 1に対応する。また、表示制御手段は、例え� �表示制御部251に対応する。

 また、請求項16または17において、変換情 報算出手順は、例えばステップS903乃至S913に� ��応する。また、画像変換手順は、例えばス� ��ップS925に対応する。また、画像合成手順は 、例えばステップS926およびS954に対応する。� ��た、画像位置取得手順は、例えばステップS 927に対応する。また、画像位置記憶手段に記 憶する手順は、例えばステップS927に対応す� �。また、表示手順は、例えばステップS942に� ��応する。また、操作受付手順は、例えばス� ��ップS945に対応する。また、表示制御手順は 、例えばステップS947に対応する。

 なお、本発明の実施の形態において説明� ��た処理手順は、これら一連の手順を有する� ��法として捉えてもよく、また、これら一連� ��手順をコンピュータに実行させるためのプ� ��グラム乃至そのプログラムを記憶する記録� ��体として捉えてもよい。

 本発明によれば、撮像装置により撮影さ� ��た動画の内容を容易に把握することができ� ��という優れた効果を奏し得る。