以下、図面を用いて本発明について詳細� ��説明するが、まず、動画編集に関する用語� ��ついて、以下に説明する。但し、用語の意� ��はこれに限定されるものではない。

 本明細書において、一つの主題(テーマ)� �沿って、内容が異なる2以上の画像が展開し� ��なる映像を「動画」と称する。動画は、2以 上の静止画像または1以上の動画により構成� �れ、映画を構成する静止画像のそれぞれ、� �たは連続して展開される画像の一つ一つを� �動画素材」と称する(以下において、映像素� ��という場合もある。)。

 本明細書において、一回の撮影で撮影され� ��連続的な映像素材(即ち、画像の連続。)を� �ショット」と称する。また、連続して視聴� �ることが期待されている作品全体を「コン� �ンツ」といい、一定の場所の中での一区切� �の動作を「シーン」といい、連続した撮影� �ーン内での一区切りを「カット」という。� �ち、複数のカットを時系列に並べることに� �りシーンが構成され、複数のシーンを時系� �に並べることによりコンテンツが構成され� �。また、「ショット」と「カット」の関係� �、連続的な映像素材である「ショット」か� �、連続する一区切りの映像として構成した� �のが「カット」である。なお、本発明の一� �施形態に係る動画編集装置においては、「� �区切り」とは、連続する画像から構成さ
れる一場面をいい、連続する2つの画像間に� �いて、画像の内容を示すデータであるメタ� �ータに含まれる情報要素の差分が所定の閾� �を超える場合に、当該2つの画像の間で一区� ��りとされる。ここで、前記情報要素とは、� ��ブジェクトリストや映像空間対応、カメラ� ��動等のショット情報及び、オブジェクトタ� ��プ、オブジェクトネーム、オブジェクトの� ��置等のキーオブジェクト情報である。また� ��前記所定の閾値は、ユーザが任意に設定す� ��ことができる。

 また、本明細書において、「カメラ」と� ��、ビデオカメラ、映画撮影用カメラ等の動� ��撮影用のカメラを総称する。そして、映像� ��カメラで撮影した場合にカメラで撮影され� ��範囲(即ち、映像の枠)を「画像フレーム」� �いい、一方、動画は連続した画像から構成� �れているが、この映像の1コマ(即ち、それぞ れの画像)を単に「フレーム」という。

 さらに、撮影者が目的を持って撮影を行� ��ている限り、ショットは、概略次のような� ��成要素を含む。即ち、「キーオブジェクト� ��、「背景」、「映像空間」である。「キー� ��ブジェクト」とは、撮影の主体となってい� ��人物、動物、モノ(例えば、自動車、飛行機 、列車等)をいい、山や建物等の静止物の場� �もあるが、一般的にはカメラのフレームに� �って動くものが対象とされる。「背景」と� �、撮影された空間上でカメラに映っている� �、撮影者の主たる撮影対象でないものをい� �、「映像空間」とは、撮影された映像を人� �が認識する場合にフレーム内外に想定され� �3次元の空間をいう。

 これを、図を基に説明する。図1は、ショ ットの構成要素を示す概略図である。図1に� �いては、キーオブジェクト101として、人物� �表示している。画面の枠が画像フレーム102� �ある。画像フレーム102内のキーオブジェク� �101の以外が背景103であり、図1においては、� ��物の後ろの壁や床が背景103に該当する。ま� ��、図1からは把握しにくいが、画像フレーム 102の内外に想定される3次元の空間が映像空� �104である。そして、一つのショットは、上� �したように一回の撮影で撮影された連続的� �映像であり(即ち、画像の連続)、従って、そ こにおいてはキーオブジェクト102の移動が生 じる場合がある。図1において、キーオブジ� �クト102の移動を矢印で示している。

 図1に示したような構成要素からなるショ ットには、多数の情報要素が含まれる。例え ば、ショット全体に関する情報要素であるシ ョット情報であり、また、撮影者の主な撮影 対象であるキーオブジェクトに関する情報要 素であるキーオブジェクト情報である。かか るショット情報及びキーオブジェクト情報等 を総称してメタデータという。図2は、ショ� �トに含まれる情報要素であるメタデータの� �略である。図2に示すように、ショット情報� ��は、概略、オブジェクトリスト、映像キー� ��映像空間タイプ及びカメラ移動が含まれる� ��キーオブジェクト情報には、概略、オブジ� ��クトタイプ、オブジェクトネーム、オブジ� ��クトショット、オブジェクトの位置、オブ� ��ェクト移動等が含まれる。

[動画編集装置のシステム構成]
 以下に、本発明の一実施形態に係る動画編� ��装置のシステム構成について、図を基に説� ��する。図3は、本発明の一実施態様に係る動 画編集装置の構成を示すブロック図である。 図4は、本発明の一実施形態に係る動画編集� �置のより詳細な構成を示すブロック図であ� �。

 図3に示すように、本発明の一実施態様に 係る動画編集装置10は、入力部11、処理部12、 記憶部13、および出力表示部14を有する。

 入力部11は、表示装置等に表示されるGUI(Grap hical_User_Interface)からなる入力画面である。入 力部11は、図示はしないが、撮影した映
像素材をエントリーする映像素材エントリー 画面、検索条件を入力する検索条件入力画面 等からなり、それぞれの画面は、ファンクシ ョンキーや選択ボタンを選択することで表示 可能とされており、ユーザの選択によって目 的の入力画面が表示される。映像素材エント リー画面には、後の編集に必要なデータ、例 えば、「内容」、「撮影場所」、「撮影日時 」等を入力するフィールドが設けられ、ユー ザが必要な情報を入力できる。また、検索条 件画面には、ユーザの検索を容易にするため に、一例として、テーマ選択部、効果選択部 等の各種選択部が設けられる。各選択部は、 入力フィールドにカーソルが移動すると所定 のプルダウンメニューが表示されるように構 成されても良い。また、チェックボックス形 式のメニューであっても良い。

 処理部12は、CPUやRAM等から構成され、図4� ��示すように、内部にショット情報自動抽出� ��20、シーン構成部(シーン構成エンジンとい� ��場合がある。)23、シーン再生部(シーン再生 エンジンという場合がある。)24、シーン構成 ルール部25及びカット構成パターン生成部(カ ット構成パターン生成エンジンという場合が ある。)26を備える。そして、ショット情報自 動抽出部20は、さらに内部にショット自動認� ��部(ショット自動認識エンジンという場合が ある。)21及びショットメタデータ抽出部22を� ��える。

 ショット自動認識部21は、顔認識技術や� �像認識技術に基づいて、連続した複数の画� �を分析する。即ち、連続する映像を、個々� �フレームに分割して、フレーム毎にメタデ� �タ(ショット情報及びキーオブジェクト情報) 等の映像情報を抽出する。そして、連続する 画像から前後の映像情報の差分を抽出し、時 間の前後で大きく映像情報が異なる場合、そ の時点で1ショットが終了したとみなして連� �する映像をショット単位に切り分ける。よ� �具体的には、フレーム毎のメタデータを比� �して、データの内容が大きく異なる場合、� �の時点で1ショットが終了したとみなしても� ��い。その上で、ショット毎に「ショット番� ��」と「ショットの開始・終了時間」の情報� ��付加する。

 ショットメタデータ抽出部22は、ショッ� �自動認識部21からのフレーム毎のメタデータ 、ショット番号及びショットの開始・終了時 間から、1ショット中の各フレームに共通す� �メタデータである「ショットメタデータ」� �抽出する。

 シーン構成部23は、入力部11からの入力に 基づいて、記憶部13に保存された膨大な映像� ��ータから目的に沿ったシーンを抽出して表� ��するためのシーン記述情報を作成して、シ� ��ン再生部24に転送する。この時、詳細は後� �するが、記憶部13内の、効果データベース(� �下、効果DBと記す。)35を参照し、次いで関連 性データベース(以下、関連性DBと記す。)34を 参照することで、出力表示部14に効果順にシ� ��ンを表示し、且つ関連するシーンも合わせ� ��表示することを可能とし、ユーザの任意編� ��を可能にしている。具体的なシーン記述情� ��の作成方法については後述する。

 シーン再生部24は、シーン構成部23からの シーン記述情報に基づいて、記憶部13に保存� ��れた膨大な映像データから、目的のシーン� ��抽出して出力表示部14に転送する。

 シーン構成ルール部25は、自動編集を行� �、シーンを作成するためのルール記述(以下� ��これをシーン構成ルールという。)を保存す る。シーン構成部23の要求に応じて、シーン� ��成ルールを提供する。

 カット構成パターン生成部26は、ショット� �選択する場合にテーマに沿って効果的に演� �できるように予め決められたショットの組� �せパターン(以下、これをカット構成パター� ��という。)を記述する。カット構成パターン を作成するには、映画の編集ノウハウ
が必要であり、誰もが簡単に作れるものでは ない。本発明の一実施形態に係る動画編集装 置10は、詳細は後述するが、かかるカット構� ��パターンを自動生成する機能を有する。カ� ��ト構成パターン生成部26は、このカット構� �パターン自動生成において中心的な役割を� �す。なお、カット構成パターンは、映画で� �用されているカット割等のノウハウに基づ� �て、予め一定のパターンが提供される。

記憶部13には、複数の動画素材の画像デー� ��とそれらのメタデータ、特定のテーマで複� ��の動画素材を組み合わせる場合の並び順が� ��憶された関連性データ、および複数の動画� ��材がつなぎ合されてなる動画の評価を示す� ��報が記憶された効果データ等が記憶されて� ��る。

 記憶部13は、エントリーされた映像デー� �を記憶するとともに、処理部12で処理された 結果である各種データを記憶する。図4に示� �ように、記憶部13内部には、ショットメタデ ータ・データベース(以下、データベースを� �DB」と記す。)30、画像DB31、カット構成パタ� �ンDB33、関連性DB34、効果DB35を備え、さらに� �像DB31内部には、ショットデータファイル32� �有する。但し、これは一例であり、複数の� �ータが1つのデータベースに記憶されても良� ��。

 ショットメタデータDB30は、ショットメタ データ抽出部22で抽出されたショットメタデ� ��タを記憶する。画像DB31は、エントリーされ た全ての映像データを記憶し、ショットデー タファイル32は、ショットデータを記憶する� ��さらに、カット構成パターン33は、カット� �成パターン生成部26で生成されたカット構成 パターンを記憶し、関連性DB34は、以前に特� �のテーマに沿って複数の動画素材を組み合� �せて映像を構成した際の動画素材の並び順� �ある関連性データを、ショット毎に記憶す� �。また、効果DB35は、関連性データにより記� ��される順番で展開される動画の表現効果を� ��憶する。そして、記憶されたこれらの効果� ��基づいて、効果の高い順に自動編集される� ��、詳細は後述する。

 図5に、関連性DB34に記憶された関連性デ� �タの一例を示す。関連性データは、特定の� �ーマに基づいて展開する複数の動画素材の� �開順序を少なくとも含む。一つの関連性デ� �タは、2以上の動画素材を含み、一の関連性� ��ータはこの中に含まれている動画素材同士� ��関連性(より具体的には、並び順等。)を記� �している。例えば、図5においてパターン1と された関連性データは、N1、N2、N3、N4という� ��画素材識別用の番号が付与された4つの動画 素材相互の関連性を記述している。

 関連性データは、好ましくは各動画素材� ��ついて、それぞれのシーンの内容を示す情� ��(動画素材内容情報)を含む。動画素材内容� �報としては、ある動画素材に描かれた一定� �場所、その動画素材に登場する(人)物、また はその動画素材の中での動作の一区切りを示 す情報等が挙げられる。動画素材内容情報は 、画像DB31に、各動画素材のメタデータとし� �も記憶されている。

 図6は、画像DB31の内容の一例を示す図で� �り、ある動画素材について、画像データに� �り表示される画像と、この動画素材のメタ� �ータとを示している。この例では、動画素� �内容情報として、その動画素材に登場する� �(物)の数、種類(タイプ)、シチュエーション� ��およびショットがメタデータとされている� ��但しこれは一例であり、画像DB31の内容は、 これに限定されない。

 なお、メタデータには、動画素材内容情報� ��外にも各動画素材に関する情報が含まれて� ��よい。動画素材内容情報以外の情報として� ��、各動画素材の識別用の番号または記号(以 下、「識別符号」)、取得日時、著作権の有� �や著作権管理者名等の著作権情報等が挙
げられる。また、各動画素材のタイトル、表 現スタイル(アニメ、実写等)、表現効果(驚き 、笑い等)等が挙げられる。さらに、各動画� �材についての採用回数もメタデータとして� �憶されるようにしておいてもよい。

 関連性データにより記述された順番で展� ��される動画の表現効果は、図7に示すように 効果DB35に記憶される。図7では、「お笑い」� ��いうテーマに分類される3パターンの動画の 組み合わせについて、表現効果の種類が「効 果」として「シリアス」、「コミカル」、「 奇妙」等と記述され、その優劣が「評価」と して数値化されて記述されている。但しこれ は一例であり、効果DB35の内容は、これに限� �されない。

 出力表示部14は、検索条件に従って抽出� �れた動画素材を表示する、表示装置に表示� �れる画面である。詳細は後述するが、検索� �れた動画素材を表示する動画素材リスト部� �ユーザが任意に動画素材の配列を変更し、� �た任意に他の画像を追加できる動画素材順� �表示部、及びユーザが動画素材にコメント� �記載するためのコメント枠等を有する。

 以上説明したように、本発明の一実施形� ��に係る動画編集装置10は、上述したシステ� �構成を有し、また、記憶部13のそれぞれのDB� ��、上述の各種データを記憶する。そして、� ��画編集装置10では、これらのDBを備えること により、あるテーマ等が検索条件として入力 されると、その検索条件に合致して展開され る面白みのある複数の動画素材が自動的に選 択され、リスト化されて表示される。

 なお、本発明の一実施形態に係る動画編� ��装置10は、上記システム構成を充足するデ� �スプレイ装置とパーソナルコンピュータ(以� ��、パソコンと記す場合がある。)本体が分離 したデスクトップ・タイプ・パソコン、又は ディスプレイとパソコン本体が一つになった 、いわゆるノート・タイプ・パソコンのいず れであっても良い。この場合、ディスプレイ 装置又はディスプレイ部の画面が、入力部11� ��び出力表示部14を兼ねる。一方、パソコン� �体が処理部12及び記憶部13である。さらに、� ��発明の一実施形態に係る動画編集装置10は� �ディスプレイを有する携帯型情報端末(Persona l_Digital_Assistants)や携帯電話であっても良く、 また、上記要件を充足するディスプレイを有 する他の情報端末であっても良い。

 以下、動画編集装置10を用いた動画編集� �作について説明する。本発明の一実施形態� �係る動画編集装置10の動画編集動作は、大き くシーン構成動作と、シーン再生動作に区分 される。また、これらの動作の前提として、 動画編集装置10に読み込まれる映像素材から� ��続する複数のショットを抽出し、ショット� ��タデータを抽出してショットメタデータDB30 に記憶するショット情報自動抽出動作、及び 、シーンを構成する際に、映画の編集ノウハ ウを有しないユーザであってもカット構成パ ターンを作成できるようにするカット構成パ ターン自動生成動作が含まれる。以下、それ ぞれの動作を各部の動作を基に説明する。

[ショット自動抽出動作]
 上述したように、映像素材には、1つの映像 素材の中に複数のショットが存在することが 多い。例えば、子供の運動会を撮影したテー プにおいては、学校の全景ショット、開会式 のショット、徒競走のショット、家族みんな での昼食のショット等、様々なショットが含 まれるのが一般的である。従って、例えば子 供の成長を、毎年の運動会の様子によって編 集して表現する場合、何年分ものテープから 必要な箇所を抽出し、それぞれを編集で繋げ る作業は、編集ノウハウを有しない者には非 常に困難である。本発明の一実施形態に係る 動画編集装置10は、かかる編集を容易にする� ��めに、映像素材をショット毎に自動的に分� ��してデータベースに記録し、且つ、後に目� ��の編集が自動的に行えるように、ショット� ��のショットメタデータを自動的に作成する� ��能を有する。この機能を果すのが、処
理部12のショット自動認識部21及びショット� �タデータ抽出部22と、記憶部13のショットメ� ��データDB30及び画像DB31である。図4に破線で� ��すように、便宜上、これらをショット情報� ��動抽出システム40という。図4を基に説明す� ��。

 映像素材が入力部11の映像素材エントリ� �画面からエントリーされる。この時、映像� �材エントリー画面には、少なくとも撮影さ� �た内容、撮影場所、撮影日時を入力するフ� �ールドが表示される。さらに、撮影の対象� �なったキーオブジェクトの名称等を入力で� �るようにしても良い。エントリーされた映� �素材は、ショット情報自動抽出部20のショッ ト情報自動認識部21において分析されて、シ� ��ット毎に分割される。映像は複数の連続し� ��画像から構成されている。デジタルカメラ� ��において、人間の顔を抽出したり、それぞ� ��の顔の特徴を分析したりすることができる� ��とは良く知られている。いわゆる顔認識技� ��である。また、画像をドットの集合と認識� ��、各ドットの色彩、配列等から山や海とい� ��た背景を抽出する画像認識技術もよく知ら� ��ている。ショット自動認識部21は、かかる� �術に基づいて映像素材を1つずつの画像に分� ��し、それぞれの画像からキーオブジェクト� ��背景を分離する。これによって、画像ごと� ��情報記述であるメタデータを抽出する。メ� ��データの内容の概略については、既に述べ� ��いるので詳細は省略する。

 次に、ショット情報自動認識部21は、連� �する2つの画像ごとに、メタデータを比較し� ��前後の画像のメタデータの差分を取る。こ� ��時、前後の画面でメタデータの内容が大き� ��異なっている場合、前の画像と後の画像は� ��異なるショットの画像であると判断し、こ� ��箇所で1ショットが終了したと判断する。上 述した映像素材からショットを抜き出す例を 、図を基に説明する。図8は、本発明の一実� �形態に係る画像編集装置10における、ショッ ト抽出の一例を示す図である。図8の第3画面� ��、第4画面では、キーオブジェクトの位置が 大きく異なり、従って、第3画面で前のショ� �トが終了し、第4画面から新たなショットが� ��始していることが判別できる。これを映像� ��材全体について実施することで、映像素材� ��ショット毎に分割する。分割されたショッ� ��には、それぞれショット番号及びショット� ��開始・終了時間のデータが付与され、ショ� ��トメタデータ抽出部22に転送される。

 ショットメタデータ抽出部22は、ショッ� �番号によって1ショットを認識し、1ショット 毎に、そのショットの連続する画像に共通す るデータであるショットメタデータを作成す る。1ショット内のそれぞれ画像のメタデー� �を比較し、また連続する2つの画像における� ��ーオブジェクトの位置や大きさ等から、撮� ��しているカメラが何れの方向に移動してい� ��かの情報(カメラ移動データ)や、アップや� �ルショットといった、いわゆるショットの� �イプ情報(オブジェクトショットデータ)を得 る。図9は、ショットメタデータの一例であ� �。上述した方法によって、ショット毎のシ� �ットメタデータを作成するが、ショットメ� �データのキーオブジェクト情報は、オブジ� �クトリストに記述されているオブジェクト� �とに作成する。ショットメタデータのうち� �内容、撮影場所、撮影日時、オブジェクト� �ームは、ユーザによって映像素材のエント� �ー時に入力フィールドから入力されたデー� �である。

 作成されたショットメタデータは、記憶� ��13のショットメタデータDB30に記憶され、ま� ��、画像データ自体は、画像DB31に保存される 。なお、画像DB31には、膨大な画像データの� �から、目的の画像を素早く抽出できるよう� �、ショットの主要なデータだけを記録する� �ョットデータファイル32が設けられ、所要な ショットデータが保存される。

 なお、本実施形態においては、画像編集装� ��10に既にたくさんの映像素材がエントリー� �れている場合において新たに映像素材がエ� �トリーされた場合に、ショット自動認識部21 及びショットメタデータ抽出部22が、ショッ� ��メタデータDB30及び画像DB
31を検索するようにしても良い。即ち、映像� ��材がエントリーされた場合、ショット自動� ��識部21及びショットメタデータ抽出部22は、 分割した各画像や各ショットについて、抽出 された画像毎のメタデータやショット毎のシ ョットメタデータに基づいて、近似するメタ データ又はショットメタデータを有する画像 やショットを検索する。検索された画像又は ショットのキーオブジェクトと分割された画 像やショットのキーオブジェクトとを比較す ることで、同一のキーオブジェクトを検索で きる。従って、映像素材のエントリーに際し て、例えばオブジェクトネームが入力されな かった場合でも、欠落しているオブジェクト ネームを自動的に付加することができる。こ れは一例であるが、このように既に蓄積され たデータを検索し、不足しているデータを自 動的に付加することで、映像素材エントリー 時のユーザの操作を軽減できる。付加に際し て確認画面を表示し、ユーザの確認を得るこ とでより精度を向上できる。従って、ショッ ト情報自動抽出システム40には、ショットメ� ��データDB30に加えて画像DB31が含められる。

[シーン構成動作]
 入力部11に検索条件が入力されると、本画� �編集装置10のシーン構成部23は、検索条件を� ��に、記憶部13の各DBに記憶されているデータ を検出して、その検索条件に合致して展開さ れる複数の動画素材を選択し、シーン記述情 報としてシーン再生部24に転送する。そして� ��本発明の一実施形態に係る動画編集装置10� �、動画素材の自動選択に際して、複数の検� �条件が入力された場合には、効果DB、関連性 DB、そして画像DBの順で検索を行い、検索条� �にマッチする関連性データ(すなわち、動画� ��材の並びを指定するデータ)、または/およ� �動画素材を選び、検索条件に対してマッチ� �る項目が多い順に並べるように構成されて� �る。

 より具体的には、検索条件にマッチする� ��画素材が複数検索された場合には、動画素� ��の展開パターンを記憶部13の効果DB35に記憶� ��れている評価の高い順に表示することを特� ��とする。また、複数の検索条件が入力され� ��場合には、まず全ての条件を満たすデータ� ��先に並べられ、以下検索条件にマッチする� ��目の多いデータ順に並べられる。そして、� ��索条件にマッチする項目数が同じデータ同� ��については、前述の効果DB35に記憶された評 価の高い順に並べられることを特徴とする。 しかも、表示順の基準となる効果は、ユーザ によって選択された回数等に応じて自動的に 更新されることを特徴とする。さらに、動画 編集の知識のないユーザであってもプロ並み の編集動画を作成することができるように、 選択されたデータが、一定の編集ルールに基 づいて不必要な画面が自動的にカットされて 、視覚的に美しい(言い換えれば、見やすい� �)映像が表示されることを特徴とする。

 図4及び図10を基に、具体的に説明する。� ��10は、本発明の一実施形態に係る動画編集� �置10の入力部11の一例である。図10において� �、検索条件入力画面が表示された状態を示� �。ユーザが、図4の入力部11のGUI画面から、� �ァンクションキーやボタンとして表示され� �検索条件入力画面を選択することで、図10に 示す検索条件入力画面が表示される。この画 面から入力された検索条件が、シーン構成部 23に転送される。シーン構成部23は、記憶部13 のショットメタデータDB30、関連性DB34及び効� ��DB35を検索し、検索条件にマッチするショッ トメタデータを選択し、さらに入力されたテ ーマ条件で当該ショットと以前に映像を構成 した関連性を有するショットメタデータが抽 出される。シーン構成部23は、同時にカット� ��成パターンDB33を検索し、入力されたテーマ に沿って効果的に演出するためにカット構成 パターンを選択する。検索結果は、上述した ように効果の高い順で検索項目にマッチする 項目の多い順に並べられる。そして、次に、 並び順がカット構成パターンに沿って組立て られ、シーン構成ルール部25から提供される� ��ーン構成ルールに基づいてルールに合致し� ��い画像を除外される。そして、検索条件に� ��致するショットを所定の順番で再現できる� ��うに、シーンを再現するために必要な情報� ��素であるシーン記述情報を作成する。

 ここで、シーン構成ルールは、自動編集� ��行い、シーンを作成するためのルールであ� ��。例えば、撮影した時系列に並べる、ロン� ��のショットは除外する、アップショットの� ��にはミディアムのショットを続ける等であ� ��。図11にシーン構成ルールの一例を示す。� �11から把握されるように、かかるルールは編 集した映像を見やすくするルールであり、ま た、編集時に例えば映像に音楽を付ける場合 の絶対条件等である。従って、予め提供され 、シーン構成ルール部25に記憶されるが、一� ��のルールについては、検索条件入力時に、� ��えば映像に付ける音楽の時間等に合わせて� ��間条件を入力することで設定されるように� ��ても良い。

 カット構成パターンは、シーンを作成する� ��めに選択されるショットを効果的に演出す� ��ための組合せパターンである。映画におい� ��は、映画の撮影に先立って、実際のショッ� ��の組合せパターンを記載した絵コンテが作� ��れ、絵コントを基に映像が撮影される。絵� ��ンテは、映画のショットの構図や撮影内容� ��ショットの時間が記述されており、例えば� ��カットの識別子である「カット番号」、ど� ��ような映像を撮影するかを記述した「映像� ��概略」、セリフや音声の効果を記述した「� ��声」、カットの時間を指定する「秒数」等� ��代表的な項目である。即ち、言い換えれば� ��カット構成パターンは、シーンを作成する� ��めに選択されるショットメタデータの情報� ��素上の内容をパターンとして記述したもの� ��ある。
本動画編集装置10も、映画と同様に絵コンテ� ��相当するカット構成パターンによって、編� ��が行われる。そして、本発明の一実施形態� ��かかる動画編集装置10は、このカット構成� �ターンを自動生成する機能を有するが、詳� �については後述する。

 カット構成パターンの内容は、一例とし� ��次のようなものが挙げられる。まず、シー� ��は上述したように複数のカットから構成さ� ��るため、カット構成パターンは、シーンを� ��述する内容の情報をメタデータとして持つ� ��例えば、「シーンタイトル」「シーンタイ� ��」「シーン効果」である。シーンタイトル� ��、まさにシーンの表題であり、例えば「二� ��の人物の会話」「走る人物」「愛し合う二� ��」等である。シーンタイプは、当該シーン� ��状況等を説明する内容であり、また、編集� ��に当該シーンを利用できる情報とも言え、� ��えば、「会話」「覗き見」といった記述で� ��る。また、シーン効果は、シーンが持つ効� ��の記述で、例えば「サスペンス」「お笑い� ��等である。これらの情報は、映像素材のエ� ��トリー時に、入力画面からユーザによって� ��力された内容に基づく。

 また、カット構成パターンには、映画の� ��コンテと同様に、次のような内容の情報が� ��述される。即ち、カットのシーケンス(順序 番号)である「カット番号」。カットとして� �用される映像の構成要素を記述した「ショ� �ト構成パターン」。ショットの構成パター� �にマッチするショットがショットメタデー� �DB30から見つからない場合に、カットに空白� ��生まれないようにするためにどのようなシ� ��ットで埋め合わせるか、ショット構成パタ� ��ンを複数記述した「オルタナティブショッ� ��構成パターン」。カットの秒数である「秒� ��」等である。このうち、ショット構成パタ� ��ンは、カットとして編集される前の、ショ� ��トの構成内容であり、ショットメタデータ� ��各構成要素に基づいて構成された情報であ� ��。ショットメタデータの、オブジェクトタ� ��プ(一例として、「人物」)、オブジェクト� �ーム(一例として、「翔太」)、オブジェクト ショット(一例として、「フル」)、オブジェ� ��ト移動(一例として、「前」)のデータから� �成されたショット構成パターンの場合、「� �子の翔太が画面上で向こうからフルショッ� �でやってくる」映像が選択されることにな� �。

 入力された検索条件に応じて、シーン構成� ��23によって、上述したようなカット構成パ� �ーンがカット構成パターンDB33から選択され� ��。同時に、シーン構成部23によって、効果DB 35が検索され、さらに関連性DB34が検索される 。これによって、検
索条件にマッチするデータが、カット構成パ ターンに沿って、効果の高い順に並べ替えら れる。また、関連性DB34を検索することで、� �択されたデータと関連性のあるデータの有� �が検索される。即ち、複数の動画素材同士� �特定の順序で並べてあるテーマの動画にし� �場合の、これら複数の動画素材の並び順で� �る関連性データによって、検索条件として� �力されたテーマに沿って以前に一度並べら� �た他のデータとその並び順を把握すること� �できる。従って、関連性データが存在する� �合には、かかる他の動画素材も検索結果の� �画素材の列に加えられる。シーン構成部23は 、抽出された関連性データに存在する他の動 画素材のショットメタデータを、ショットメ タデータDB30から選択する。そしてカット構� �パターンに適合するように抽出して動画素� �の配列を構成する。さらに、シーン構成ル� �ル部25から提供されたシーン構成ルールに基 づいて、ショットの配列をルールに適合する ように並べ替える。そして、その並びに従っ て、各シーンを再生するために必要な情報要 素であるシーン記述情報を作成する。

 上述したとおり、シーン記述情報は、シ� ��ンを再生するために必要な情報が記述され� ��おり、大きく分けて、選択されたショット� ��報(ショット番号等)、各ショットの配置順� �ショットの秒数(ショットの開始・終了時間) 等から構成される。シーン構成部23によって� ��成されたシーン情報記述はシーン再生部24� �転送され、シーン記述情報を受け取ったシ� �ン再生部24は、シーン記述情報に基づいて、 記憶部13の画像DB31から必要なショットを選択 し、シーン記述情報に記述された順番で、選 択したショットを出力表示部14に表示する。

 以上が、本発明の一実施形態に係る動画� ��集装置10におけるシーン構成動作であり、� �かるシーン構成動作に関わるシーン構成部23 、シーン構成ルール部25及び記憶部13を総称� �て、シーン構成システム50という。図4に一� �鎖線で示した部分が、シーン構成システム50 である。なお、シーン構成システム50が構成� ��るのは、あくまでも検索条件に適合したシ� ��ット番号やショットの配列順等であり、動� ��であるショット自体の画像データを直接選� ��して配列するわけではない。かかる動作は� ��後述するシーン再生動作であり、他のシス� ��ムが担当する。

[シーン再生動作]
 次に、本発明に一実施形態に係る動画編集� ��置10によるシーン再生動作について、説明� �る。上述したように、処理部12のシーン構成 部23によって、検索条件に適合するショット� ��記憶部13の各種データベースから選択され� �出力表示の際の順番も含めてシーン記述情� �としてシーン再生部24に出力される。シーン 再生部24は、シーン記述情報に記述された目� ��の映像データを、画像DB31のショットデータ ファイル32を基に抽出し、シーン記述情報に� ��述された順番で出力表示部14に表示する。� �ち、シーン再生部24は、シーン記述情報で提 供されたショット番号等によって目的のショ ットを画像DB31から抽出し、抽出したショッ� �をシーン記述情報で指定された順によって� �力表示部14に出力する。

 出力表示部14は、シーン再生部24から転送さ れたショットを順に表示する。なお、上述し たように、出力表示部14には、動画素材順番� ��示部が設けられ、ユーザが任意に検索され� ��ショットの配列を変更し、又はコメント入� ��することもできる。このように配列が変更� ��れた場合や、別の動画素材が追加された場� ��、シーン記述情報が書き換えられたことに� ��る。従って、最終的にユーザによって配列� ��変更や動画素材の追加が承認(即ち、画面上 で決定ボタンがクリックされたことを意味す る。)された場合、このシーン記述情報が出� �表示部14からシーン構成部23にフィードバッ� ��される。そして、シーン構成部23によって� �ショットメタデータ、関連性データ、効果� �ータとして書き加えられる。それぞれのデ� �タは、ショットメタデータDB30、関連性DB34、 効果DBに記憶される。かかるフィードバック� ��能により、カット構成パターン、関連性デ� ��タ及び
効果データが追加されることで、本動画編集 装置10の自動編集機能が益々高まっていく。

 以上が本動画編集装置10におけるシーン� �生動作であり、かかるシーン再生動作に直� �関連する(即ち、フィードバック機能を除く� ��)シーン再生部24、画像DB31及び出力表示部14� ��、便宜上シーン再生システム60という。図4� ��おいて、2点鎖線で囲んだ部分がシーン再生 システム60である。

[カット構成パターン自動生成動作]
 上述したように、シーン構成にあたって、� ��画編集知識のないユーザが、プロのような� ��集をすることは非常に困難である。本動画� ��集装置10におけるシーン構成は、カット構� �パターンに基づいてシーン構成部23で行われ るが、本動画編集装置10は、上述したように� ��ット構成パターン自動生成機能を有する。� ��下、このカット構成パターン自動生成動作� ��ついて説明する。

 上述したように、本動画編集装置10は、� �理部12内にショットの自動認識を行うショッ ト自動認識部21を有する。このショット自動� ��識部21は、既に説明したように、顔認識技� �及び画像認識技術に基づいて、映像素材中� �複数のショットをショット毎に分割し、且� �、ショット内の一つ一つの画像のメタデー� �の差分を抽出することができる。このショ� �ト自動認識部21及びショットメタデータ抽出 部22によって、既存の映画のシーンで使われ� ��いるカット割りからカット構成パターンを� ��り出すことができる。

 図を基に詳細に説明する。図12は、本発� �の一実施形態に係る動画編集装置10における カット構成パターン自動生成を示す概略図で ある。まず、入力部11(図示せず。)の映像素� �エントリー画面から、既存の映画のシーン� �入力する。例えば、ユーザが大好きなシー� �を入力する。また、本動画編集装置10が、デ ジタル放送を録画できるパソコンであれば、 ハードディスクに記憶した映像を指定して呼 び出すだけでよい。図12においては、4つのシ ョットを有する映像素材を例示的に示してい る。この時、映像素材エントリー画面には、 エントリーした映像素材のシーンタイトル、 シーンタイプ、シーン効果等のシーン情報を 入力するフィールドが表示され、それぞれの 情報をユーザが入力する。次に、エントリー された映像素材のシーンの中から、ユーザが カット構成パターンとして作成したいシーン を指定する。エントリーした映像素材が、画 面上に順番にサムネイル表示されるので、目 的のシーンの初めと終わりを指定するだけで 良い。

 ショット情報自動抽出部20のショット自� �認識部21は、エントリーされたシーンを上述 した方法でショットに分割し、各ショットの 時間を計測する。ショット番号及びショット の開始・終了時間(ショットの秒数)のデータ� ��抽出される。このデータは、カット構成パ� ��―ン生成部25に転送される。ショット時間� �計測が終了したショットは、ショットメタ� �ータ抽出部22において次の処理が行われ、各 ショットに対するショットメタデータが作成 される。作成されたショットメタデータは記 憶部13のショットメタデータDB30に記憶される とともに、カット構成パターン生成部25に転� ��される。カット構成パターン生成部25は、� �ョット自動認識部21から転送されたショット 番号、ショット開始・終了時間のデータと、 ショットメタデータとを合成して、カット構 成パターンを生成する。図12においては、4つ のショットから、図12下側に示すカット構成� ��ターンが生成される。図12には図示しない� �、生成されたカット構成パターンは記憶部13 のカット構成パターンDB33に記憶される。こ� �ようにして、多数の映画シーンからカット� �成パターンを生成して記憶する。

 カット構成パターンは、シーンの抽象的な� ��現でもあるので、同じシーン情報に対して� ��数の映画などのカット構成パターンを得る� ��とができる。本動画編集装置10は、統計
分析機能を有し、シーン情報ごとに、それら のカット構成パターンの統計を採って分析す ることができる。即ち、映画の中でシーンが どのように構成されているかについての情報 的な分析を行う。例えば、シーン効果「サス ペンス」というシーン情報を有する蓄積され たカット構成パターンを分析することによっ て、映画の中でサスペンスシーンがどのよう にして盛り上げられているか、アクションシ ーンがどのようなショットの連続によって構 成されているかといった、映画のテクニック を定量的に分析することができる。そして、 分析した結果をカット構成パターンにフィー ドバックすることで、カット構成パターンを 充実させることができる。以上が、本発明の 一実施形態に係る動画編集装置10におけるカ� ��ト構成パターンの自動生成動作である。

[シーン構成動作及びシーン再生動作のフロ� �]
 次に、上述したシーン構成動作及びシーン� ��生動作が、検索条件入力時にどのように行� ��れるかフローチャートをもとに説明する。� ��13は、動画編集装置10を用いる動画編集動作 を示す全体フローの概略図である。また、図 14は、本発明の一実施形態に係る動画編集装� ��10における動画編集動作のフローの詳細図� �ある。ここでは、図10に示した入力部11とし� ��のGUI(Graphical_User_Interface)に、検索条件とし� �動画のテーマが入力される場合について、� �14を基に詳細に説明する。

 ステップS100において開始されると、ステ ップS101において、ユーザによって検索条件� �入力部11から入力される。ここでは、図10に� ��した入力部11としてのGUIに、検索条件とし� �、選択されたテーマである「お笑い」が指� �され入力された入力ステップが実行された� �態を示す。ステップS102において、動画編集� ��置10の処理部12のシーン構成部23は、入力部1 1に検索条件が入力されると、検索条件であ� �テーマ「お笑い」を基に、記憶部13のショッ トメタデータDB30を検索して、前記入力条件� �合致するデータを検索する。ステップS103に� ��いて、シーン構成部23は、検索結果がある� �否かを判断する。検索結果がある場合ステ� �プS104に進み、一方検索結果がない場合には� ��ユーザに更なる検索条件、例えばキーワー� ��や効果等を入力させるため、ステップS101の 検索条件入力画面に戻る。

 ステップS104において、シーン構成部23は� ��さらに上記検索条件に合致する検索結果が� ��つだけであるか複数あるかを判断する。検� ��結果が一つだけの場合はステップS106に進む 。一方、検索結果が複数ある場合、ステップ S105において、シーン構成部23は、さらに記憶 部13の効果DB35を検索し、効果DB35の検索結果� �基づき、検索された複数のデータを効果の� �れた順に配列する。

 ステップS106において、シーン構成部23は� ��さらに記憶部13の関連性DB34を検索し、前記� ��索されたデータと関連性を有する他のデー� ��の存在を検索する。そして、ステップS107に おいて、前記検索されたデータの配列に、関 連性DB34から検索された関連するデータを追� �し、併せてシーン構成ルールに適合するよ� �に不要な画像をカットする。

 ステップS108において、シーン構成部23は� ��検索結果の配列順をショットメタデータに� ��って記述し(即ち、検索条件に合致するショ ットの表示順をショットメタデータの記述と して作成する。)、処理部12内のシーン再生部 24に転送する。

 転送された前記記述を受け取ったシーン� ��生部24は、ステップS109において、前記記述� ��従って記憶部13の画像DB31から検索条件に合� ��する画像データを抽出する。そしてステッ� ��S110において、シーン再生部24は、画像DB31か ら抽出された画像データを、順に出力表示部 14に転送する。

 ステップS111において、出力表示部14は、� ��ーン再生部24から転送された画像データをGU Iからなる出力表示画面上に表示する。以上� �ような方法によって、本動画編集装置10は、 入力されたテーマでの動画素材の展開パター ンを抽出する。また、処理部12は、このとき� ��上述したように各パターンについて効果DB� �記憶されている評価の高い順に検索結果を� �示するよう、構成されている。なお、詳細� �後述するが、表示された検索結果について� �ユーザが検索結果である画像データの配列� �任意に変更し、また、関連性のある画像デ� �タを前記配列中に任意に追加できるように� �出力表示画面には、動画素材順番表示部及� �動画素材リスト部が設けられている。また� �検索された画像データの一つひとつに、ユ� �ザが任意でコメントを記載することができ� �コメント枠部を画像データ一つひとつに重� �て表示するようにしても良い。

 ステップS112において、シーン構成部23は� ��出力表示部14の前記動画素材順番表示部及� �動画素材リスト部等を使用して、ユーザに� �って出力された画像データの配列が変更さ� �、又は配列中に他の画像データが追加され� �か否かを判断する。出力表示部14の前記動画 素材順番表示部及び動画素材リスト部が使用 された場合、使用された結果のデータをシー ン構成部23に転送するようにすれば良い。ス� ��ップS112において、配列変更又は追加がある 場合、シーン構成部23はステップS101に戻り、 前記変更・追加情報による新たな検索条件が 入力されたものとしてステップS101からステ� �プS112を、ステップS112において変更・追加が されていないと判断されるまで、繰り返す。

 ステップS112において、変更・追加がされ ていないと判断された場合、ステップS113に� �いて、シーン構成部23は、ユーザによって配 列が変更された結果情報及びその時の入力さ れた検索条件を効果データ及び関連性データ として、必要な画像データのメタデータ等に 追加し、記憶部13の効果DB35及び関連性DB34に� �憶する。

 さらにステップS114において、シーン構成 部23は、ユーザによって採用されて追加され� ��画像データの、効果データ中の評価データ� ��項目について、採用回数1回ごとに1をカウ� �トする。そしてステップS115において終了す� ��。本発明の一実施形態に係る動画編集装置1 0は、以上のようなステップによって、動画� �編集することができる。

 なお、上述したように、本発明の一実施� ��態に係る動画編集装置10によれば、上記ス� �ップS101の入力ステップでは、複数の検索条� ��を入力することができる。以下複数の検索� ��件が入力された場合について説明する。

 例えば、入力部11は、図10に示したように 、効果DBに対する第1の検索条件が入力される テーマ選択部と、第2の検索条件が入力され� �効果選択部とを備える。そして、入力ステ� �プで、テーマと効果とが検索条件として入� �された場合は、処理部12は、効果DBを検索し� ��効果DBのデータの中から、検索条件にマッ� �するデータを選び、検索条件に対してマッ� �する項目が多い順に並べるように構成され� �いる。

 具体的には、テーマと効果という2つの検 索条件が入力された場合であれば、2項目の� �索条件の両方に合致するデータが先に並べ� �れ、どちらか片方の検索条件に合致するデ� �タが次に並べられる。そして、検索条件に� �ッチする項目数が同じデータ同士(例えば、� ��ーマと項目の両方で合致する2以上のデータ )の中では、効果DBに記憶された評価の高い順 に検索結果を表示する。

 さらに、図10に示したこの例では、入力部11 は、検索条件として効果DB以外のDBを検索対� �とできるように構成されている。具体的に� �、図10に示すように、入力部
11にはテーマ選択部、効果選択部以外に、キ� ��ワード選択部と素材キーワード選択部とが� ��けられている。これらの選択部に、キーワ� ��ドが入力されると、処理部12のシーン構成� �23は、効果DB35、関連性DB34、そして画像DB31の 順で検索を行い、検索条件にマッチする関連 性データ(すなわち、動画素材の並びを指定� �るデータ)、または/および動画素材を選び、 検索条件に対してマッチする項目が多い順に 並べるように構成されている(図15参照)。

 以上のように複数の検索条件が入力され� ��シーン構成部23によって関連性データが抽� �された場合、シーン再生部24によって関連性 DB34から読み出された関連性データにしたが� �て複数の動画素材が並んだ列が1以上、表示� ��れる。一方、シーン構成部23によって動画� �材が抽出された場合は、1以上の動画素材が� ��示される。即ち検索されたデータによって� ��表示されるデータの内容が異なる。入力部1 1は、本実施態様では表示された動画素材の� �または動画素材を選択して指定する指示が� �力される。出力表示された動画素材の列、� �たは動画素材の中に、操作者が選択したい� �画素材の列または動画素材が見出されない� �合、上述したように別の検索条件で検索を� �るために上記ステップS101の入力ステップに� ��ればよい。

 上述したように、シーン構成部23によっ� �動画素材が指定されると、処理部12のシーン 構成部23は、さらに関連性DBを検索して、関� �性データが存在する場合には、選択された� �画素材が他の動画素材と組み合わされた動� �の列を出力表示部14に表示する(図16参照)。� �実施態様では、出力表示部14に表示された動 画素材は操作者による加工が可能とされてい る。

 具体的には、図16に示すように、出力表� �部14は、上記ステップで抽出された動画素材 を表示順に並べて表示する部分(動画素材順� �表示部)と、動画素材に重ねて表示する複数� ��コメント枠が選択されるコメント枠部とを� ��する。コメント枠部は、入力部11を操作す� �ことにより、動画素材順番表示部に表示さ� �た各動画素材に重ねられるように構成され� �いる。また、各コメント枠は、入力部11にテ キストを入力することにより枠内に任意のテ キストが表示できるように構成されている。

 よって、出力表示部14に列状に並べられ� �動画素材のそれぞれに、任意のコメント枠� �付加され、コメント枠内にテキストを入力� �ることができる。このため、操作者は動画� �集の専門家のノウハウを活用したシーン展� �パターンで展開する動画を簡易に作成でき� �とともに、動画素材を独自に加工して操作� �オリジナルのストーリー作りをすることも� �きる。

 さらに、出力表示部14には、選択された� �画素材と関連性の高い他の動画素材を一覧� �示する部分(図16における動画素材リスト部)� ��設けてもよい。この場合、動画素材順番表� ��部に表示された動画素材を、動画素材リス� ��部に表示された別の動画素材と入れ替える� ��とができる。

 動画素材リスト部から別の動画素材が選� ��れれば、関連性DBになかった並び順のパタ� �ンが作成されることになる。そこで、新た� �作成されたこのパターンを関連性DBに新たに 記憶させることにより、関連性データベース を充実させることができる。

 このとき、新たに選ばれた動画素材や、こ� ��を含む新しい関連性データについて、入力� ��11に入力された検索条件を、効果DBや動画素 材のメタデータに自動的に付与するように構 成すれば、関連性DBや効果DBを半自動的に作� �できる。上記ステップS113の動作である。さ� ��に、各動画素材、あるいは各関連性データ� ��ついて、その採用回数が自動的に記憶され� ��ようにすれば、効果DBに設けられた、各パ� �ーンの効果の優劣(評
価)を半自動的に数値化できる。上記ステッ� �S114で説明した動作である。

 以上説明したように、本発明によれば、� ��画素材を抽出してあるストーリーに沿って� ��開させるための検索は、画像DBのメタデー� �としてテキスト情報形式で記述されている� �報の検索により行われる。よって、容量の� �さい情報処理装置でも迅速かつ簡易にスト� �リー性のある動画を製作できる。このため� �本発明のプログラムは、様々な情報処理端� �に実装でき、本発明に係る情報処理装置は� �パーソナルコンピュータ、携帯型情報端末(P DA)、携帯電話等で構成できる。

(第二の実施形態)
 上述したように、本発明の一実施形態に係� ��動画編集装置10は、パソコン等で簡易に構� �し、ユーザが自宅等でプロ並みの動画編集� �行うことができる。しかし、本発明に係る� �画編集装置10は、かかる構成に限定されるも のではない。即ち、上記動画編集装置10では� ��記憶部13が、入力部11、処理部12、および出� ��表示部14が搭載された情報処理装置に備え� �れている構成とされている。しかし、記憶� �13は、入力部11、処理部12、および出力表示� �14が搭載された情報処理装置とは別の情報処 理端末に備えられていてもよい。本発明の第 二実施形態は、動画編集装置10を、サーバ機� ��びクライアント機で構成される、サーバ・� ��ライアントシステムとした例である。

 本発明に係る動画編集装置10は、ユーザ� �、自宅等で簡易にプロ並みの動画編集をす� �ことを可能にする。しかし、動画等のデー� �は文書データに比して容量が大きく、家族� �思い出を撮影したビデオテープ等の映像素� �は、長年蓄積されると膨大なデータ量とな� �。従って、自宅のパソコンのハードディス� �資源を圧迫し、パソコン本体の動作に影響� �与える場合もある。また、通常パソコンは� �ハード及びソフトの進歩に伴い数年単位で� �機種に買い換えるため、機種変更の都度デ� �タを保存するのは非常に面倒であり、従っ� �、データのみをパソコン本体以外に蓄積で� �れば、機種変更時の煩わしい作業から開放� �れ、また、容量を気にする必要もなくなる� �そこで、本発明の第二実施形態に係る動画� �集装置10を、サーバ・クライアントシステム として提供する。

 図4に示した、本動画編集装置10のシステ� ��構成において、記憶部13をサーバ機に設け� �。これによって、膨大なデータ量となる映� �素材を、大容量のサーバ機に確実に記憶し� �存することができる。容量が増えれば、サ� �バ機のハードディスクを増設すれば良い。� �の場合、クライアント機には、入力部11、処 理部12及び出力表示部14が設けられる。そし� �、入力部11から検索条件が入力された場合に 、サーバ機の記憶部13とLAN又はインターネッ� ��等を介してデータの転送を行うために、処� ��部12内に一般的なデータ転送機能を設けれ� �よい。

 また、サーバ機の処理能力及びクライア� ��ト機の処理能力によっては、処理部12の処� �機能の一部又は大半をサーバ機に設けても� �い。一般的にサーバ機の処理能力はクライ� �ント機の処理能力より上回るため、より高� �な処理を可能にするためである。一例とし� �、処理部12のショット情報自動抽出部20、シ� ��ン構成部23、シーン構成ルール部25及びカッ ト構成パターン生成部26をサーバ機に設ける� ��この場合は、クライアント機には、入力部1 1、出力表示部14のほかに、処理部12内に、デ� ��タ転送機能とシーン再生部24が設けられ、� �ライアント機は、サーバ機で作成された検� �条件にマッチするシーン記述情報に従って� �サーバ機から目的のショットの画像データ� �抽出して、順に出力表示部14に表示させる動 作のみを行う。但しこれは一例であり、これ に限定されるものではない。

[変形実施例1]
 この、サーバ・クライアントシステムによ� ��本動画編集装置10は、例えば、インター
ネットプロバイダの会員向けサービスとして 実施することもできる。本第二実施形態の変 形実施例は、インターネットプロバイダの会 員向けサービスの一環として、実施する例で ある。

 即ち、インターネットプロバイダは、会� ��向けにメール保存サービス等各種のサービ� ��機能を提供している。そこで、本発明の第� ��実施形態に係る動画編集装置10を、プロバ� �ダのサーバ機に会員個人の映像素材を保存� �る、いわば会員向けサービスの一環として� �「個人映像アルバム」作成保存機能として� �供するのである。即ち、上述したサーバ・� �ライアントシステムのサーバ機の機能を、� �ロバイダのサーバ機に持たせ、会員個人の� �ソコンであるクライアント機と、インター� �ットを介して接続することで、上述のサー� �・クライアントシステムを構築することが� �きる。これによって、会員向けに簡易動画� �集機能を容易に提供することができ、他の� �ロバイダとの差別化を図ることができる。� �員個人のクライアント機とのデータ転送に� �しては、パスワード等のセキュリティイ機� �を設けることで、データの秘密性を確保す� �ば良い。会員にとっては、パソコンを買い� �えても、また、データが膨大な量になって� �、インターネット接続によりプロバイダの� �ーバ機からいつでも必要な画像データを得� �ことができ、データの保存に煩わされるこ� �がない。

[変形実施例2]
 また昨今、ウィルスソフトによって、個人� ��パソコンに保存していた動画データが不正� ��他人に盗まれ、インターネット上の動画投� ��サイトに勝手に投稿される事件が相次いで� ��る。権利者が不正投稿された1つのコンテン ツを発見して削除措置を講じても、また別の 他人によって同じような映像が投稿されるた め、違法映像・不正映像の取締りが非常に困 難なのである。現状の対策としては、権利を 有する元映像と違法に投稿された映像との相 違点を見つける方法や、映像の中に、いわゆ るウォーターマークを入れることで映像の同 一性をチェックする方法がある。しかし、こ れらの方法によっても、元の映像をトリミン グし、他の情報(例えば、字幕など。)を付け� ��えてしまっていた場合には、直接比較して� ��同じものであるかを判断することが非常に� ��難である。また、家庭用ビデオ機で撮影し� ��個人の動画データの場合、一般にウォータ� ��マークを入れることは容易ではない。本発� ��の第二実施形態に係るサーバ・クライアン� ��システムによる動画編集装置10の機能を応� �すれば、ウォーターマーク等を利用するこ� �なく、かかる画像データの不正投稿をいち� �く発見し、不正投稿された画像データを削� �するための措置を早期に講じることができ� �。

 即ち、違法映像・不正映像のカット構成� ��ターンを抽出し、そのカット構成パターン� ��ショットメタデータやその秒数が完全に一� ��しているシーンがあったとすれば、この二� ��の映像が同じものである蓋然性が非常に高� ��。なぜなら、ショットの組立が偶然に似る� ��とはあるが、ショット毎の時間が完全に一� ��したシーンは、意図しない限り全く別個に� ��ることは非常に困難だからである。従って� ��違法性が疑われる映像のカット構成パター� ��及びショットメタデータを抽出し、比較す� ��ことができれば、ウォーターマーク等がな� ��ても、映像の同一性を判断できる。

 上述したように、本動画編集装置10は、装� �内のショット自動認識部21でエントリーされ た映像素材をショット毎に分割し、ショット メタデータ抽出部22で、ショット毎のメタデ� ��タを抽出することができる。さらに、かか� ��機能を活用し、カット構成パターン生成部2 6において、エントリーされたシーンをショ� �トに分割し、各ショットの時間を計測する� �とで、ショットメタデータと併せてカット� �成パターンを生成できる。かかるショット� �動認識機能及びカット構成パターン生成機� �をプロバイダのサーバ機に持たせる。そし� �、会員からの要請に基づき、違法性が疑わ� �る映像についてネット上を検索してダウン� �ードし、前述のショット自動認識機能及び� �ット構成パターン生成機能によ
って、ダウンロードした映像のカット構成パ ターンを生成する。そして、当該サーバ機内 に記憶された前記会員の元映像のカット構成 パターン等と比較する。これによって、映像 の同一性を簡易に判断できる。

 また、別の方法として、ショットメタデ� ��タによってネット上をサーチすることも可� ��である。会員のクライアント機に処理部12� �機能を設ける。クライアント機からデータ� �エントリーすると、上述のショット自動認� �機能及びカット構成パターン生成機能によ� �て、エントリーされた映像のショットメタ� �ータ及びカット構成パターンが生成され、� �像データと関連付けられて、サーバ機の記� �部13のそれぞれのデータベースに記憶される 。この時、画像データと関連付けられたショ ットメタデータ及びカット構成パターンにつ いて、会員パスワード等によってガードし、 会員以外の第三者が関連付けを変更、或いは 書き換えられないようにする。そして、会員 が、必要に応じて画像データを自己のクライ アント機に保存する場合には、必ず、関連付 けられたショットメタデータ及びカット構成 パターンが付着して保存されるようにする。 これによって、例えば、会員のクライアント 機からウィルスソフトによって画像データが 盗まれた場合であっても、盗まれた画像デー タには、必ず前記のショットメタデータ及び カット構成パターンが付着していることにな る。サーバ機から、ショットメタデータによ ってネット上の動画投稿サイトを自動的にサ ーチすることで、不正に投稿された盗まれた 画像データを簡易に発見できる。プロバイダ のサーバ機によって、会員のショットメタデ ータを基に定期的にサーチすることで、早期 の発見が可能となる。

 以上説明したとおり、本発明の第二実施� ��態に係るサーバ・クライアントシステムを� ��用した動画編集装置10によれば、インター� �ットプロバイダによる個人映像のアルバム� �存機能や不正投稿サーチ機能等を提供する� �とができる。なお、上記は一例であり、本� �明は、これらに限定されるものでない。