Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CONTENT IMAGING DEVICE
Document Type and Number:
WIPO Patent Application WO/2008/111308
Kind Code:
A1
Abstract:
A content imaging device suitable for generating a digest corresponding to the user's desire. A scene information generating section generates scene information by detecting a characteristic scene while referencing a parameter included in either the video/audio of a content imaged and recorded or movement information on the imaging device. An auxiliary information adding section adds the type, the priority, the start time, the end time, or the representative time to screen information as auxiliary information according to a predetermined rule. A list describing section describes the scene information and its auxiliary information in a list. A scene selecting section selects scenes the number of which is within a predetermined one according to the priorities from the content.

Inventors:
MORIOKA YOSHIHIRO (JP)
MATSUURA KENJI (JP)
INOUE HISASHI (JP)
KOBAYASHI MASAAKI (JP)
Application Number:
PCT/JP2008/000531
Publication Date:
September 18, 2008
Filing Date:
March 11, 2008
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
MATSUSHITA ELECTRIC IND CO LTD (JP)
MORIOKA YOSHIHIRO (JP)
MATSUURA KENJI (JP)
INOUE HISASHI (JP)
KOBAYASHI MASAAKI (JP)
International Classes:
H04N5/225; H04N5/91
Foreign References:
JP2002142189A2002-05-17
JPH06165009A1994-06-10
JP3781715B22006-05-31
Attorney, Agent or Firm:
ISHII, Kazuo et al. (3-6 Kitahama 2-chome,Chuo-k, Osaka-shi Osaka 41, JP)
Download PDF:
Claims:
 映像、音声またはデータのいずれかを含むコンテンツをそのシーン情報と組み合わせて記憶媒体に記録し、シーン情報を参照してコンテンツの特定のシーンにアクセスするコンテンツ撮影装置であって、
 撮影収録する映像音声または撮影装置の動作情報のいずれかに含まれるパラメータを参照して特徴あるシーンを検出してシーン情報を生成するシーン情報生成手段と、
 事前に決めてある規則により、前記シーン情報にその種別、優先度、開始時刻、終了時刻、代表時刻のいずれかを補助情報として付加する補助情報付加手段と、
 前記シーン情報とその補助情報とをリストに記述するリスト記述手段と、
 前記記憶媒体への記録動作の終了後に、前記コンテンツから前記優先度に基づいてあらかじめ決められた個数以内のシーンを選別するシーン選別手段とを備えるコンテンツ撮影装置。
 前記シーン選別手段は、優先度の高い順にシーン情報を選別する高優先度シーン選別手段および優先度の低い順にシーン情報を選別する低優先度シーン選別手段の少なくとも一方を備える請求項1に記載のコンテンツ撮影装置。
 前記高優先度シーン選別手段は、前記低優先度シーン選別手段により選別されたシーンを除外した撮影コンテンツより高優先度シーンを選別する請求項2に記載のコンテンツ撮影装置。
 前記シーン情報選択方法の設定手段と、
 前記設定手段により決められた演算方式により、前記リストに記述された複数のシーン情報の組み合わせを演算して前記シーン情報に第2の優先度を付加する第2優先度手段と、
 前記第2の優先度を持つ特徴あるシーンの開始時刻と終了時刻と代表時刻との少なくともいずれかを前記シーン情報の補助情報として付加する補助情報付加手段と、
 前記リストから前記第2の優先度の高い順にあらかじめ決められた個数以内のシーン情報を選別して第2優先度リストを生成する第2優先度リスト生成手段とをさらに備える請求項1に記載のコンテンツ撮影装置。
 前記第2優先度リストを撮影コンテンツの再生時参照ファイルに記述する第2優先度リスト記述手段をさらに備える請求項4に記載のコンテンツ撮影装置。
 再生時に前記第2優先度リストを参照することにより、特徴あるシーンの開始点または代表点または終了点を参照した点にスキップするスキップ手段をさらに備える請求項4に記載のコンテンツ撮影装置。
 前記第2優先度リストを参照することにより、特徴あるシーン区間を指定順序で再生するシーン再生手段をさらに備える請求項5に記載のコンテンツ撮影装置。
 前記特徴あるシーン区間を指定順序で再生する場合に、各々の特徴あるシーン区間の再生時にその特徴シーンの説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備える請求項5に記載のコンテンツ撮影装置。
 ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、コンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
 前記再生時参照ファイルの補助データである第2優先度リストを参照して前記ダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、再生時参照ファイルを生成する手段と、
 前記再生時参照ファイルを前記コンテンツのリストに登録する登録手段とを、さらに備える請求項5に記載のコンテンツ撮影装置。
 前記再生時参照ファイルを参照して再生する場合に、各々の特徴あるシーン区間の再生時にその特徴シーンの説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備える請求項5に記載のコンテンツ撮影装置。
 ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、コンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
 前記再生時参照ファイルの補助データである第2優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、指定された特徴あるシーンの集合体としてのファイルを生成するファイ生成手段とをさらに備える請求項5に記載のコンテンツ撮影装置。
 ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、およびコンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
 前記再生時参照ファイルの補助データである第2優先度リストを参照して前記ダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、指定されない特徴あるシーン区間を繋ぎ合わせて再生する再生手段をさらに備える請求項5に記載のコンテンツ撮影装置。
 ダイジェスト化する特徴あるシーンの優先度指定、ダイジェスト化する特徴あるシーン種別の指定、ダイジェスト時間長の指定、およびコンテンツのダイジェストへの縮小率指定の少なくとも一つを入力するダイジェスト方式指定手段と、
 前記再生時参照ファイルの補助データである第2優先度リストを参照してダイジェスト方式指定手段で指定されたダイジェスト生成方式に従って、再生時に指定されない撮影区間を集めたファイルを生成するファイル生成手段とをさらに備える請求項5に記載のコンテンツ撮影装置。
 前記再生時参照ファイルの補助データである第2優先度リストを参照することにより、再生時に指定される区間は通常再生を行い、再生時に指定されない撮影区間は「再生速度を通常より変更した再生」または「再生映像に処理を加えた映像の再生」を行う再生手段をさらに備える請求項5に記載のコンテンツ撮影装置。
 撮影映像のスロー再生または高速再生またはスキップ再生または静止画表示を行う再生表示手段をさらに備え、前記「再生速度を通常より変更した再生」を行う請求項14に記載のコンテンツ撮影装置。
 カメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する映像生成手段をさらに備え、前記「再生映像に処理を加えた映像の再生」を行う請求項14に記載のコンテンツ撮影装置。
 前記コンテンツのリストに登録された再生時参照ファイルから、優先度があらかじめ決めた値以上のシーンまたは特定のカメラワークを持ったシーンより構成されるお勧め再生時参照ファイルを生成するファイル生成手段と、
 前記お勧め再生時参照ファイルをお勧め再生オブジェクトリストに登録する登録手段をさらに備える請求項9に記載のコンテンツ撮影装置。
 前記コンテンツのリストに登録された再生時参照ファイルの再生時にBGMを生成する手段と、
 再生時参照ファイルの特徴あるシーンの切り替わり付近でBGMのメロディー、音色、およびテンポの少なくとも一つを変える変更手段をさらに備える請求項9に記載のコンテンツ撮影装置。
 映像、音声またはデータのいずれかを含むコンテンツをメタデータと組み合わせて、記憶媒体に記録し、メタデータが示すコンテンツの特定部分にアクセスするコンテンツ撮影装置であって、
 撮影イベントの種別毎にあらかじめ指定した種類のカメラワークの想定発生確率より生成した標準カメラワーク存在確率リストと、
 所定時間毎に実施されたカメラワークを検出して計数するカメラワーク検出手段と、
 前記検出されたカメラワーク数を前記カメラワークの想定発生確率と比較するカメラワーク数比較手段と、
 前記検出されたカメラワーク数が前記カメラワークの想定発生確率の範囲外である場合に、その旨を通知する信号を生成する想定発生率確率外通知手段とを備えるコンテンツ撮影装置。
 前記想定発生確率外通知信号に応答して、前記想定発生確率範囲内のカメラワーク操作を促すメッセージを発生する撮影アシスト手段をさらに備える請求項19に記載のコンテンツ撮影装置。
 撮影中に撮影環境の映像、音声、撮影の動作情報、および制御情報のいずれかに含まれるパラメータ、または当該パラメータの変化よりイベントを検出して該イベントのメタデータを生成するメタデータ生成手段と、
 事前に決めてある規則により、前記メタデータに前記イベントの種別、前記イベントの優先度、および前記イベントの開始時刻と終了時刻と代表時刻の少なくともいずれかをアトリビュートとして付加する付加手段と、
 前記アトリビュートを持つメタデータをリスト化するリスト化手段と、
 前記記憶媒体への記録動作の終了後に、前記リスト化された複数のメタデータから優先度の高い順にあらかじめ決められた個数以内のメタデータを選別するメタデータ選別手段と、
 前記メタデータ選別手段で選別したメタデータのリストを前記記憶媒体に記録する記録手段とをさらに備える請求項19に記載のコンテンツ撮影装置。
 撮影装置のパン、ティルト、ズームアップ、ズームダウン、前後への移動、左右への移動、および上下への移動の少なくともいずれかの動作の時間変化を演算してカメラワークを生成するカメラワーク生成手段と、
 前記カメラワーク生成手段の出力を前記撮影イベントの種別毎にあらかじめ指定した種類のカメラワークとして登録するカメラワーク登録手段とをさらに備える請求項21に記載のコンテンツ撮影装置。
 運動会、入学式、卒業式、旅行、発表会、結婚式、スポーツ、室内イベント、および屋外イベントのうち少なくともいずれかの撮影イベントにおいて発生するカメラワークの想定発生確率をあらかじめ参照データとして保持する保存手段をさらに備えることを特徴とする請求項20に記載のコンテンツ撮影装置。
 前記撮影アシスト手段は、ズームアップでの撮影動作が多い場合、ズームダウンをしてフィックスショットの撮影を誘導する撮影アシストアルゴリズム、ズームやパンでの撮影動作が多い場合、フィックスショット撮影を誘導する撮影アシストアルゴリズム、および固定点でのフィックスショットでの撮影動作が多い場合、移動やパン、ズームを誘導する撮影アシストアルゴリズムの少なくともいずれかの撮影アシストアルゴリズムを備えることを特徴とする請求項20に記載のコンテンツ撮影装置。
 
Description:
コンテンツ撮影装置

 本発明はコンテンツ撮影装置に関し、さ に詳しくは、ユーザの要望に応じたダイジ ストを生成するのに適したコンテンツ撮影 置に関する。

 従来より、映画やテレビドラマ等の撮影 、絵コンテ等を元に作成したシナリオ(台本 )に基づいて行われている。シナリオにはタ トル(名前)が付けられており、複数のシーン により構成されている。またシーンは複数の カットより構成されている。監督はシナリオ に従って演出を行ない、俳優、女優、および エキストラなどの出演者はシナリオの記述に 従って演技する。生本番の舞台やコンサート 等においては、シナリオに示されているシー ンの順番通りに演じられる。

 一方、映画やドラマ等においては、シナ オに示されたシーンの順番通りに撮影が行 れることは稀である。

 従来の技術におけるメタデータの作成や 集について説明する。メタデータの入力方 と編集システムとして、特許文献1に記載さ れたものが知られている。具体的には、コン テンツに関連したメタデータの作成あるいは タグ付けを行う場合に、制作されたコンテン ツのシナリオ等から事前に抽出したキーワー ドが音声で入力される。そして、シナリオに 基づいて辞書分野の設定およびキーワードの 優先順位付けが行われて、音声認識手段によ ってメタデータが作成される。同方法によれ ば、キー入力では困難な数秒間隔でメタデー タを付与する場合でも、音声認識を用いるこ とによって効率のよいメタデータの付与が可 能である。また、メタデータを検索するキー ワードとして、シーン検索もできる。

 また、シナリオ情報を解析する装置とし 、特許文献2に記載されたものが知られてい る。同装置はシナリオ情報格納部、参照情報 格納部、算出部および出力部を備えている。 情報格納部はシーン毎に区分されたシナリオ 情報を格納する。参照情報格納部はシナリオ 情報に含まれるデータに関する参照情報を格 納する。算出部はシナリオ情報からデータを 抽出し、抽出されたデータおよび参照情報に 基づいて出力情報を算出して、出力部に出力 する。

 このように構成されたシナリオ情報解析装 は、シナリオに含まれるデータおよびその ータに関係付けられた参照情報に基づいて 適切な撮影スケジュール等の出力情報を自 的に算出し出力すると共に、シナリオ情報 解析できる。結果、撮影スジュールの立案 間の短縮化に加えて、出力された撮影スケ ュールに従って撮影を行なうことにより、 影を早く完了することができるので、撮影 用を低減できる。

特許第3781715号公報

特開2004-362610号公報

 上述の特許文献1および特許文献2に代表 れる従来の装置および方法においては、ム ビー撮影においてクリップ記録の開始から 了までの間に、パンやズームなどのカメラ ークパターンや、収録音や、ユーザ操作等 基づいて、特徴のある場面でメタデータが 成されてリスト化される。

 そして、記録終了後にリスト中のメタデ タを用いて関連したクリップで構成される イジェストを作成することができる。コン ンツの内容にも依存するが、コンテンツの イジェストは、一般的に全体(元の撮影量) 1/3以下の量であることが望ましい。しかし がら、上述の方法では、コンテンツによっ は、メタデータの数が膨大になり、作成さ るダイジェスト中に撮影コンテンツの半分 上が残ってしまうことがある。このような 合、とてもダイジェストとはいえない長い イジェストが出来上がる。これは、従来の 成では、撮影コンテンツよりダイジェスト 生成する場合、ダイジェストを構成するシ ン、クリップの数を絞り込むことができな ことに起因する。

 さらに、様々な観点にたつダイジェスト 成に対するユーザの要望も多い。具体的に 、カメラワークに重点を置いたダイジェス や、音に重点を置いたダイジェスト、ユー のボタン入力に重点を置いたダイジェスト 希望の時間長に収めるダイジェスト、複数 撮影クリップのうちから特徴シーンの多い( たとえば、優先度が高いクリップが多い)ク ップだけを選択してダイジェスト化するな が挙げられる。しかしながら、従来の技術 は、このような要望を満たすユーザの好み ダイジェストを自動的に生成できない。

 上述の問題に鑑みて、本発明は、ユーザ 要望を満たすダイジェストを生成するのに したコンテンツ撮影装置を提供することを 的とする。

 上記目的を達成するため本発明に係る第1の コンテンツ撮影装置は、
 映像、音声またはデータのいずれかを含む ンテンツをそのシーン情報と組み合わせて 憶媒体に記録し、シーン情報を参照してコ テンツの特定のシーンにアクセスするコン ンツ撮影装置であって、
 撮影収録する映像音声または撮影装置の動 情報のいずれかに含まれるパラメータを参 して特徴あるシーンを検出してシーン情報 生成するシーン情報生成手段と、
 事前に決めてある規則により、前記シーン 報にその種別、優先度、開始時刻、終了時 、代表時刻のいずれかを補助情報として付 する補助情報付加手段と、
 前記シーン情報とその補助情報とをリスト 記述するリスト記述手段と、
 前記記憶媒体への記録動作の終了後に、前 コンテンツから前記優先度に基づいてあら じめ決められた個数以内のシーンを選別す シーン選別手段とを備えるものである。

 ここで、前記シーン選別手段は、優先度 高い順にシーン情報を選別する高優先度シ ン選別手段および優先度の低い順にシーン 報を選別する低優先度シーン選別手段の少 くとも一方を備えることが望ましい。

 前記高優先度シーン選別手段は、前記低 先度シーン選別手段により選別されたシー を除外した撮影コンテンツより高優先度シ ンを選別することが望ましい。

 また前記第1のコンテンツ撮影装置は、
 前記シーン情報選択方法の設定手段と、
 前記設定手段により決められた演算方式に り、前記リストに記述された複数のシーン 報の組み合わせを演算して前記シーン情報 第2の優先度を付加する第2優先度手段と、
 前記第2の優先度を持つ特徴あるシーンの開 始時刻と終了時刻と代表時刻との少なくとも いずれかを前記シーン情報の補助情報として 付加する補助情報付加手段と、
 前記リストから前記第2の優先度の高い順に あらかじめ決められた個数以内のシーン情報 を選別して第2優先度リストを生成する第2優 度リスト生成手段とをさらに備えることが ましい。

 ここで、前記第2優先度リストを撮影コン テンツの再生時参照ファイルに記述する第2 先度リスト記述手段をさらに備えることが ましい。

 前記第1のコンテンツ撮影装置は、再生時 に前記第2優先度リストを参照することによ 、特徴あるシーンの開始点または代表点ま は終了点を参照した点にスキップするスキ プ手段をさらに備えることが望ましい。

 前記第1のコンテンツ撮影装置は、前記第 2優先度リストを参照することにより、特徴 るシーン区間を指定順序で再生するシーン 生手段をさらに備えることが望ましい。

 前記第1のコンテンツ撮影装置は、前記特 徴あるシーン区間を指定順序で再生する場合 に、各々の特徴あるシーン区間の再生時にそ の特徴シーンの説明をテロップとして再生映 像に重畳するテロップ表示手段をさらに備え ることが望ましい。

 前記第1のコンテンツ撮影装置は、
 ダイジェスト化する特徴あるシーンの優先 指定、ダイジェスト化する特徴あるシーン 別の指定、ダイジェスト時間長の指定、コ テンツのダイジェストへの縮小率指定の少 くとも一つを入力するダイジェスト方式指 手段と、
 前記再生時参照ファイルの補助データであ 第2優先度リストを参照して前記ダイジェス ト方式指定手段で指定されたダイジェスト生 成方式に従って、再生時参照ファイルを生成 する手段と、
 前記再生時参照ファイルを前記コンテンツ リストに登録する登録手段とをさらに備え ことが望ましい。

 前記第1のコンテンツ撮影装置は、前記再 生時参照ファイルを参照して再生する場合に 、各々の特徴あるシーン区間の再生時にその 特徴シーンの説明をテロップとして再生映像 に重畳するテロップ表示手段をさらに備える ことが望ましい。

 前記第1のコンテンツ撮影装置は、
 ダイジェスト化する特徴あるシーンの優先 指定、ダイジェスト化する特徴あるシーン 別の指定、ダイジェスト時間長の指定、コ テンツのダイジェストへの縮小率指定の少 くとも一つを入力するダイジェスト方式指 手段と、
 前記再生時参照ファイルの補助データであ 第2優先度リストを参照して前記ダイジェス ト方式指定手段で指定されたダイジェスト生 成方式に従って、指定された特徴あるシーン の集合体としてのファイルを生成するファイ 生成手段とをさらに備えることが望ましい。

 前記第1のコンテンツ撮影装置は、
 ダイジェスト化する特徴あるシーンの優先 指定、ダイジェスト化する特徴あるシーン 別の指定、ダイジェスト時間長の指定、お びコンテンツのダイジェストへの縮小率指 の少なくとも一つを入力するダイジェスト 式指定手段と、
 前記再生時参照ファイルの補助データであ 第2優先度リストを参照してダイジェスト方 式指定手段で指定されたダイジェスト生成方 式に従って、指定されない特徴あるシーン区 間を繋ぎ合わせて再生する再生手段をさらに 備えることが望ましい。

 前記第1のコンテンツ撮影装置は、
 ダイジェスト化する特徴あるシーンの優先 指定、ダイジェスト化する特徴あるシーン 別の指定、ダイジェスト時間長の指定、お びコンテンツのダイジェストへの縮小率指 の少なくとも一つを入力するダイジェスト 式指定手段と、
 前記再生時参照ファイルの補助データであ 第2優先度リストを参照してダイジェスト方 式指定手段で指定されたダイジェスト生成方 式に従って、再生時に指定されない撮影区間 を集めたファイルを生成するファイル生成手 段とをさらに備えることが望ましい。

 前記第1のコンテンツ撮影装置は、前記再 生時参照ファイルの補助データである第2優 度リストを参照することにより、再生時に 定される区間は通常再生を行い、再生時に 定されない撮影区間は「再生速度を通常よ 変更した再生」または「再生映像に処理を えた映像の再生」を行う再生手段をさらに えることが望ましい。

 前記第1のコンテンツ撮影装置は、撮影映 像のスロー再生または高速再生またはスキッ プ再生または静止画表示を行う再生表示手段 をさらに備え、前記「再生速度を通常より変 更した再生」を行うことが望ましい。

 前記第1のコンテンツ撮影装置は、カメラ ワークに起因する撮影映像の横揺れやたて揺 れを取り除いた映像を生成する映像生成手段 をさらに備え、前記「再生映像に処理を加え た映像の再生」を行うことが望ましい。

 前記第1のコンテンツ撮影装置は、
 前記再生オブジェクトリストに登録された 生時参照ファイルから、優先度があらかじ 決めた値上のシーンまたは特定のカメラワ クを持ったシーンより構成されるお勧め再 時参照ファイルを生成するファイル生成手 と、
 前記お勧め再生時参照ファイルをお勧め再 オブジェクトリストに登録する登録手段を らに備えることが望ましい。

 前記第1のコンテンツ撮影装置は、
 前記再生オブジェクトリストに登録された 生時参照ファイルの再生時にBGMを生成する 段と、
 再生時参照ファイルの特徴あるシーンの切 替わり付近でBGMのメロディー、音色、およ テンポの少なくとも一つを変える変更手段 さらに備えることが望ましい。

 また上記目的を達成する本発明に係る第2の コンテンツ撮影装置は、
 映像、音声またはデータのいずれかを含む ンテンツをメタデータと組み合わせて、記 媒体に記録し、メタデータが示すコンテン の特定部分にアクセスするコンテンツ撮影 置であって、
 撮影イベントの種別毎にあらかじめ指定し 種類のカメラワークの想定発生確率より生 した標準カメラワーク存在確率リストと、
 所定時間毎に実施されたカメラワークを検 して計数するカメラワーク検出手段と、
 前記検出されたカメラワーク数を前記カメ ワークの想定発生確率と比較するカメラワ ク数比較手段と、
 前記検出されたカメラワーク数が前記カメ ワークの想定発生確率の範囲外である場合 、その旨を通知する信号を生成する想定発 率確率外通知手段とを備えるものである。

 前記第2のコンテンツ撮影装置は、前記想 定発生確率範囲外通知信号に応答して、前記 想定発生確率範囲内のカメラワーク操作を促 すメッセージを発生する撮影アシスト手段を さらに備えることが望ましい。

 前記第2のコンテンツ撮影装置は、撮影中に 撮影環境の映像、音声、撮影の動作情報、お よび制御情報のいずれかに含まれるパラメー タ、または当該パラメータの変化よりイベン トを検出して該イベントのメタデータを生成 するメタデータ生成手段と、
 事前に決めてある規則により、前記メタデ タに前記イベントの種別、前記イベントの 先度、および前記イベントの開始時刻と終 時刻と代表時刻の少なくともいずれかをア リビュートとして付加する付加手段と、
 前記アトリビュートを持つメタデータをリ ト化するリスト化手段と、
 前記情報記憶媒体への記録動作の終了後に 前記リスト化された複数のメタデータから 先度の高い順にあらかじめ決められた個数 内のメタデータを選別するメタデータ選別 段と、
 前記メタデータ選別手段で選別したメタデ タのリストを前記情報記憶媒体に記録する 録手段とをさらに備えることが望ましい。

 前記第2のコンテンツ撮影装置は、撮影装置 のパン、ティルト、ズームアップ、ズームダ ウン、前後への移動、左右への移動、および 上下への移動の少なくともいずれかの動作の 時間変化を演算してカメラワークを生成する カメラワーク生成手段と、
 前記カメラワーク生成手段の出力を前記撮 イベントの種別毎にあらかじめ指定した種 のカメラワークとして登録するカメラワー 登録手段とをさらに備えることが望ましい

 前記第2のコンテンツ撮影装置は、運動会 、入学式、卒業式、旅行、発表会、結婚式、 スポーツ、室内イベント、および屋外イベン トのうち少なくともいずれかの撮影イベント において発生するカメラワークの想定発生確 率をあらかじめ参照データとして保持する保 存手段をさらに備えることが望ましい。

 また前記撮影アシスト手段は、ズームア プでの撮影動作が多い場合、ズームダウン してフィックスショットの撮影を誘導する 影アシストアルゴリズム、ズームやパンで 撮影動作が多い場合、フィックスショット 影を誘導する撮影アシストアルゴリズム、 よび固定点でのフィックスショットでの撮 動作が多い場合、移動やパン、ズームを誘 する撮影アシストアルゴリズムの少なくと いずれかの撮影アシストアルゴリズムを備 ることが望ましい。

 本発明のコンテンツ撮影装置によれば、 ーザの好みのダイジェスト生成が比較的容 に実現できる。

図1は、本発明の第1の実施の形態に係 コンテンツ撮影装置のモデル図である。 図2は、図1に示すカメラの内部構成の 明図である。 図3は、メタデータの分類例を示す図で ある。 図4は、メタデータの生成およびAV信号 圧縮を行うブロックの説明図 図5は、不要シーン情報の生成の説明図 である。 図6は、撮影コンテンツより揺れが大き な2つの区間を削除して、揺れのない3つの区 を組み合わせて、1つの揺れのない映像シー ケンスを構成する手順の説明図である。 図7は、重要シーン情報の生成の説明図 である。 図8は、撮影コンテンツよりズームアッ プ、ズームダウン後の2つのフィックス区間 抽出して、1つのダイジェストを構成する手 の説明図である。 図9は、H.264のピクチャ構造とMPEG-TSへの 変換方法の説明図である。 図10は、ディレクトリ構成とファイル 成の説明図である。 図11は、コンテンツの編集概念の説明 である。 図12は、機器間でのコンテンツの編集 である。 図13は、本発明の第2の実施の形態に係 るコンテンツ撮影装置におけるメタデータの 生成およびAV信号の圧縮を行うブロックの説 図である。 図14は、図13に示すカメラワーク統計 段の機能の説明図である。 図15は、図13に示すカメラワーク統計 段の機能の説明図である。 図16は、図13に示すカメラワーク統計 段の機能の説明図である。

 (第1の実施の形態)
 本発明の第1の実施の形態では、メタデータ の数を優先度の高い順または優先度の低い順 に絞り込むことにより、シーンやクリップの 数を絞り込んだダイジェストを簡単に生成で きる、あるいは自動的に好みのダイジェスト を生成できるコンテンツ撮影装置を提供する 。

 図1を参照して、本発明の第1の実施の形 に係るコンテンツ撮影装置の動作について 明する。すなわち、コンテンツ撮影装置で るカメラ101の内部の記録媒体(またはバッフ メモリ)上に映像データと音声データとメタ データを生成し、またメタデータを参照して ダイジェスト再生機能などを提供するシステ ムモデルの一例について説明する。

 図1において参照符号101はカメラ、参照符 号102はカメラ101のレンズ部、参照符号103はカ メラ101のマイク、参照符号104はカメラ101の撮 影対象を示す。なお、撮影対象104とは、例え ば、風景、人、ペットなどの動物、車、建造 物などである。

 参照符号114はメタデータ入力用ボタン、 照符号105はカメラ101で撮影したデータを示 。カメラ撮影データ105にはAVストリームフ イル106とメタデータ107が含まれる。AVストリ ームファイル106はメタデータを含む。メタデ ータ107は、シーン番号、カット番号、テーク 番号、その収録テークの採用、不採用、保留 等の撮影シーン情報である。参照符号109は、 カメラ101に対するリモコンを示す。ユーザは メタデータ入力用ボタン114およびリモコン109 を操作して、カメラ101にメタデータ107を入力 する。なお、カメラ101に用いられる撮像素子 は、好ましくはCCDやC-MOSなどで構成される。

 参照符号108はカメラ101で撮影されたデー シーケンスを示している。データシーケン 108においては、時間軸上に映像データ、音 データ、およびメタデータ107が配置されて る。メタデータ107はテキスト形式の文字デ タとして扱うが、バイナリィ形式のデータ しても良い。

 本明細書においては、撮影開始から撮影 了までの期間、または撮影開始から撮影ポ ズまでの期間に撮影されたコンテンツをク ップと定義する。データシーケンス108は、 定のシーンにおけるクリップ#1からクリッ #5までを含んでいる。参照符号110は、編集に よりクリップ#1からクリップ#5までがつなぎ わされたデータシーケンスを示す。

 参照符号111は、カメラ101に接続可能なテ ビを示す。参照符号112は、カメラ101からテ ビ111に信号を送る接続ケーブル、参照符号1 13は、テレビ111からカメラ101へ信号を送る接 ケーブルを示す。ユーザは、カメラ101から れた場所でリモコン109を操作し、信号ケー ル112を経由して、不要部を削除したコンテ ツやダイジェスト(または、要約コンテンツ )をテレビ111に表示できる。

 参照符号115はマイク103と同様に、音声を 出して音声信号としてカメラ101に入力する イクを示す。参照符号117はカメラ101に内蔵 れているマイクを示す。但し、マイク115は マイク103およびマイク117がカメラ101に直接 り付けられてカメラ101の近傍の音声を収録 るのに比べて、ケーブルなどでカメラ101に 続されてカメラ101の遠方の音声の収録に用 られる。マイク115は後述するように、マイ の代わりに光センサを用いることもできる

 テレビ111による一覧表示について簡単に 明する。テレビ111の画面において、横軸は 間の経過を表しており、それぞれのクリッ の有効部(有効なシーン)と無効部(無効なシ ン)が表示されている。

 有効部は、例えば、
・ パンやズーム後のフィックスシーン、お び
・ 歓声や拍手などの音声で特徴付けられる ーン等からなる。
 一方、無効部は、例えば、
・ カメラの揺れによる画像の振れ(一般に、 「グラグラ」)が大きいシーン、
・ ピンボケのシーン、パン/ティルト/ズー が早すぎるシーン、
・ 逆光になって画面が真っ黒になっている ーン、
・ ハウリングがあるシーン、
・ 地面を撮影しているシーン、および
・ カメラのキャップが閉まっているシーン からなる。

 図1の例では、テレビ111の一覧表示におい て3つある有効部それぞれの代表クリップを 表サムネイルで画面上に表示している。こ 代表クリップは、それぞれの有効部の先頭 レームであってもよいし、有効部分の途中 ある代表フレームであってもよい。また、 れぞれの有効部と無効部には、それぞれ優 度が付与されていて、特定の優先度のシー だけを選択してダイジェストを生成するこ もできる。

 上述のメタデータ入力用ボタン114は、好 しくは3つのボタンにより構成されている。 カメラで撮影中に重要な場面で、ユーザがメ タデータ入力用ボタン114を操作することによ り、その重要な撮影場面(クリップ)にマーク つけることができる(以降「マーキング機能 」という)。この重要クリップを指すマーク メタデータ107であり、このメタデータ107を 用することにより、撮影後にマーク検索に りマークを付けたクリップ(クリップの先頭 たは代表となるフレームの映像、またはそ らのサムネイル映像)を素早く呼び出すこと ができる。メタデータ入力用ボタン114の3つ ボタンは、例えば、1つ目のボタンは重要ク ップの登録に、2つ目のボタンはボタン操作 を有効にしたり文字入力モードに切替えたり するモード切替えに、3つ目のボタンは登録 キャンセル等の用途に使用される。

 また、1つ目のボタンを押している期間を 重要クリップとして登録するモードに切替え ることもできる。さらに、1つ目のボタンを した時点の前後5秒、あるいは前5秒、後10秒 合計15秒を重要クリップとして登録するモ ドに切替えることもできる。ボタンが3つあ ば、押すボタンの種類、タイミング、押す さの組み合わせにより、多くの機能を実現 きる。

 メタデータ107として入力された撮影シー 情報は、クリップのタイムコード(たとえば 、27MHzのクロック周波数において32bitで表現 れるタイムコード)に関連付けられる。そし 、タイムコードに関連づけられたメタデー 107は、カメラ101の本体内で電子的にカチン 音や収録コンテンツと関連付けて、新たな タデータ107として生成される。これにより カチンコを鳴らした時刻への即時アクセス もちろん、カチンコを鳴らした時刻以前の 要な収録データの削除や、収録結果が採用 シーンやカット等の並べ替えが簡単にでき 。例えば、運動会の撮影において、かけっ (短距離競争)、リレーなどの長距離競争、 引き、および玉入れ等の開始タイミングに けるフレーム画像もすぐに呼び出すことが きる。

 ユーザは、カメラで撮影した素材のシー ンスに基づいて、各クリップの開始位置(時 刻)と終了位置(時刻)、または長さを指定して 、クリップを並べ替えることができる。また 各クリップをTVモニタなどに表示する場合、 のクリップの先頭または先頭以降から最後 に至るフレーム(またはフィールド)映像や パンやズームの前後などにおけるフィック 画像など、あるクリップで最も特徴的なフ ームを、そのクリップを代表する映像とし 指定できる。

 また、記録・ポーズ・停止などのムービ のボタン操作や、マイク115で検出される撮 者の声などの撮影対象に関する情報を、ク ップの特定のタイムコードと関連付けた(マ ーキングした)メタデータとして登録するこ ができる。具体例としては、前述した撮影 (日付、朝昼夕夜など)、撮影方法(レンズ、 メラ、ショット、光源など)、イベントの参 者(目線、動き、表情、テンション、メイク 、衣装の状態など)、セリフ(アドリブなどの ーワード)、および音(サウンド)等の他、注 ポイントなどコンテンツの撮影に関する情 が挙げられる。

 次に、図2を参照してカメラ101の内部構成 と動作について説明する。カメラ101の内部に は、ズーム制御部201、フォーカス制御部202、 露出制御部203、撮像素子204、シャッタ速度制 御部205、カメラマイコン206、絶対傾きセンサ 207、角速度センサ208、前後/左右/垂直の加速 センサ209、ユーザ入力系210、カメラ信号処 部211、音声処理系212、H.264方式エンコーダ21 3、記録メディア214、および出力インタフェ ス215が備えられている。

 カメラマイコン206は、不要シーンや重要 ーンの検出を行うシーン情報生成手段(メタ データ生成手段)218を備える。不要シーンや 要シーンの検出は、撮像装置のパン、ティ ト、ズーム、フォーカス、音声入力レベル どのデータに関して、それぞれに特定の演 を行うことに実現される。

 ズーム制御部201はレンズ部102のズーム動 を制御する。フォーカス制御部202は、レン 部102のフォーカス動作を制御する。露出制 部203はレンズ部102の露出調整動作を制御す 。シャッタ速度制御部205は撮像素子204のシ ッタ速度調整動作を制御する。絶対傾きセ サ207はカメラ101の水平/垂直方向の絶対傾き を検出する。角速度センサ208は、カメラ101の 水平/垂直方向の角速度を検出する。加速度 ンサ209はカメラ101の前後/左右/垂直の加速度 を検出する。

 ユーザ入力系210は、ボタンなどでユーザ 操作を受け付けて指示信号を生成する。カ ラ信号処理部211は、撮像素子204で撮影され 画像データを、画素単位あるいは複数の画 により構成されるブロック単位で、画素欠 補正やガンマ補正などの処理を施す。音声 理系212は、内蔵マイク117、外部マイク103、 るいはマイク115からの入力を受け付ける。

 H.264方式エンコーダ213は、カメラ信号処 部211で生成された画像データおよび音声処 系212で生成された音声データを圧縮してAV信 号を生成する。またH.264方式エンコーダ213は 音声処理系212に入力された音声から、カチ コによる音を検出してカチンコ音検出メタ ータを生成する。H.264方式エンコーダ213で 成されたAV信号とカメラマイコン206で生成さ れたメタデータは、記録メディア214に蓄積さ れると共に、出力インターフェース215よりそ れぞれ出力される。

 再生Objectリスト216は、後述する撮影コン ンツのファイル構成例(図10)のPlayListフォル 、およびCLIPフォルダに含まれるファイルの タイトルを組み合わせて生成したものである 。BGM生成手段217は、撮影コンテンツよりいく つかの撮影領域を部分抽出したコンテンツの 再生時に、BGMを生成する。たとえば、イント ロ5秒、Aメロディ10秒、Bメロディ(サビ部)15秒 、エンディング(5秒)などの短い音楽ファイル を再生時に結合して、再生コンテンツの時間 長に近似させることができる。なお、音楽フ ァイルの形式はWAVE形式、MP3形式、MIDI形式な 一般的に使用されている形式でよい。またB GM生成手段217は、再生コンテンツの特徴ある ーンに合わせてBGMのメロディ、音色、テン などを変更する機能を持つ。

 撮像素子204の動作パラメータとしては、3 原色点の色度空間情報、白色の座標、および 3原色のうち少なくとも2つのゲイン情報、色 度情報、δuv(デルタuv)、および3原色または 度信号のガンマ情報の少なくとも1つの撮像 素子の動作データがある。本実施の形態にお いては、一例として、3原色点の色度空間情 、3原色のうちR(赤)とB(青)のゲイン情報、お びG(緑)のガンマカーブ情報をメタデータと て取り扱うものとする。なお、3原色点の色 度空間情報が分かれば色空間における色再現 が可能な範囲が分かる。また、3原色のうちR( 赤)とB(青)のゲイン情報が分かれば色温度が かる。さらに、G(緑)のガンマカーブ情報が かれば、階調表現特性が分かる。なお、色 度検出用の専用センサを具備して、そのセ サから色温度情報を受け取るように構成し もよい。

 レンズのズーム情報、レンズのフォーカ 情報、レンズの露出情報、撮像素子のシャ タ速度情報、水平/垂直方向の絶対傾き情報 、水平/垂直方向の角速度情報、前後/左右/垂 直の加速度情報、ユーザの入力したボタン情 報やシーン番号、カット番号、テーク番号、 その収録テークの採用、不採用、保留などに 関する情報、3原色点の色度空間情報、3原色 うちR(赤)とB(青)のゲイン情報、およびG(緑) ガンマカーブ情報は、カメラマイコン206に いてメタデータ107として取り扱われる。

 次に、図3を参照してムービーカメラ101にお いて作成されるメタデータについて説明する 。メタデータは、リアルタイム系のメタデー タ(リアルタイムメタデータ)とノンリアルタ ム系のメタデータ(ノンリアルタイムメタデ ータ)に大別される。H.264ストリームのSEIにマ ッピングされるリアルタイムメタデータとし ては、例えば、
 ・ムービーなどのカメラで撮影したAVコン ンツに関連付けたメタデータ
 ・一般的にはデータをメタデータ化したメ データ
 ・デジタル放送のSI(Service Information)より得 メタデータ
 ・EPG提供事業者より得たEPG情報などのメタ ータ
 ・Internetから得たEPGなどのメタデータ
などがある。

 カメラで撮影したAVコンテンツに関連付け リアルタイムメタデータとして、例えば図3 示すように、
 ・重要シーンでユーザが押したボタン情報( ポインタデータ、ナンバーなど識別情報を付 加できる)
 ・ 撮影データ
 撮像データには、撮像素子の動作モード、 光補正、絞り・露出情報、フォーカス、シ ッタ速度情報、色温度、ホワイトバランス ズーム、仰角、地面撮影、揺れ、グラグラ パン/ティルト/ズーム(PTZと略す)の状態、ハ ウリングの状態、カメラのキャップ閉まり状 態、およびカメラの姿勢状態(水平/垂直方向 絶対傾き情報、水平/垂直方向の角速度情報 、前後/左右/垂直の加速度情報など)が含まれ る。
 ・タイムコード(映像フレーム、音声フレー ム)
 ・撮影フレームレート、記録フレームレー などの映像や音声のフォーマット情報
がある。

 また、ノン(非)リアルタイムメタデータと ては、例えば図3に示すように、
 ・メニュー情報
 ・タイトルリスト(代表イベント、ユーザが 登録したイベント)
 ・シーン番号、カット番号、テーク番号、 ット差込番号、その収録テークの採用/不採 用/保留などに関する情報
 ・映像ブロックの輝度、色情報
 ・画像認識データ(顔、人、ペットなどの検 出、認識)
 ・音声入力レベル(指定チャンネル(ch)の一 期間における入力レベルの最大値)
 ・音声認識データ
 ・撮像素子の3原色点の色度空間情報、白色 の座標、3原色のうち少なくとも2つのゲイン 報、色温度情報、δuv(デルタuv)などの撮像 ステムの動作データ
 ・外部との通信で入力されたファイル(シナ リオなどのテキストをXML、バイナリデータの 形式のファイルを外部インタフェースより入 力)
 ・3原色または輝度信号のガンマ情報
 ・静止画
 ・サムネイル
ある。上述のメタデータのうちで必要なもの が選択されて使用される。メタデータの記述 形式としては、UPnPやUPnP-AVで導入されている ロパティ(property)やアトリビュート(attribute) ある。これらは、http://upnp.orgで公開されて り、テキストやXML(Extensible Markup Language)の 用を意識した設計を行う効率的な運用がで る。

 なお、ムービーなどの撮影者、コンテン 制作者、またはコンテンツの著作権者が、 ンテンツを利用するユーザの利用内容や頻 により利用料金を徴収するために、各メタ ータに価値を与えるメタデータを関連づけ ことができる。各メタデータに価値を与え メタデータは該メタデータのアトリビュー で与えてもよいし、独立したプロパティと て与えてもよい。

 以下に、録画機器と録画条件に関する情報 ついて一例を説明する。ムービーの機器メ カー識別ID、機種識別ID、ムービーなどの撮 影者、コンテンツ制作者、またはコンテンツ の著作権者が作成し、そして登録するメタデ ータの価値が高く使用許諾が必要と考える場 合、該メタデータの利用には認証による使用 許諾のプロセスを実行する構成を本発明に組 み込むことによって効率的な運用ができる。
 この場合、撮影者は撮影した動画コンテン を暗号化したファイルを作成し、Internet上 サーバにそのファイルをアップロードして 開してもよいし、暗号化したファイルをア プロード・告知して、気にいった人に購入 てもらう構成もとれる。また、ハプニング 像などニュース価値があるコンテンツが録 できた場合、複数の放送局間でオークショ にかけることもできる。メタデータの活用 より、増大するコンテンツの分類、検索を 率的にすることができる。

 次に、図4を参照して、実施の一形態として 映像圧縮方式(H.264/AVC方式)および音声圧縮方 (AAC方式)における以下の各方法について説 する。
 ・リアルタイムメタデータのマッピング方
 ・リアルタイムメタデータからの不要シー の検出方法
 ・重要シーンの検出方法と、そのシーン情 (シーンのインデックス、タグ、または、メ タデータと呼ばれる)のマッピング方法

 図4は、図1のカメラ101内部におけるメタ ータの生成およびAV信号の圧縮を行うブロッ クのより詳細な説明図である。図4において 参照符号401は映像符号化部、参照符号402はVC L(Video Coding Layer)-NAL(Network Abstraction Layer)ユ ットバッファ、参照符号403はAAC方式による 声符号化部を示す。

 参照符号404はPS(Parameter Set)バッファ、参 符号405はVUI(Video Usability Information)バッファ 、参照符号406はSEI(Supplemental Enhancement Informat ion)バッファ、参照番号407はnon-VCL-NALユニット バッファ、参照符号408は顔・人物検出手段を 示す。

 また、参照符号409はシーン情報のメタデ タ生成手段(以降、「メタデータ生成手段」 と略す)を示し、内部にハウリング検出手段41 0、不要シーン検出手段411、重要シーン検出 段412およびリアルタイムデータ選択/マッピ グ手段413を含む。参照符号414はPlayListを示 。

 図4に示すように、映像信号は映像符号化 部401によってVCL-NALユニット形式のデータに 換された後に、VCL-NALユニットバッファ402に って一時保持される。音声信号、外部入力P Sデータおよび外部入力VUIデータは、音声符 化部403、PSバッファ404、およびVUIバッファ405 によってそれぞれNon VCL-NALユニット形式のデ ータに変換された後に、Non VCL-NALユニットバ ッファ407で一時保持される。同様に、撮像装 置のパン、ティルト、ズーム、フォーカス、 音声入力レベル(指定chの一定期間における入 力レベルの最大値)などのリアルタイムメタ ータは、H.264/AVCのSEIのUser data unregistered SEI  messageにマッピングされた後に、更にSEIバッ ファ406によって、Non VCL-NALユニット形式のデ ータに変換され、Non VCL-NALユニットバッファ 407で一時保持される。

 映像信号(4a)は映像符号化部401、および顔 ・人物検出手段408に入力される。顔・人物検 出手段408は、人の顔の位置/大きさ/数を検出 て検出データ(4q)をシーン情報のメタデータ 生成手段409に出力する。音声信号(4b)は、音 符号化部403、および、シーン情報のメタデ タ生成手段409に入力される。また、外部入 PSデータ(4c)、外部入力VUIデータ(4d)、タイム ード(4e)、撮影/記録フレームレート(4f)、ユ ザが操作ボタンを押した時刻データ(4g)、逆 光補正/絞りデータ(4h)、色温度/ホワイトバラ ンスデータ(4i)、フォーカスデータ(4j)、ズー データ(4k)、ジャイロセンサーのヨー/ロー /ピッチのデータ(4m)、仰角/地面撮り検出デ タ(4n)、カメラのレンズキャップの閉まり具 の状態データ(4p)が、それぞれメタデータ生 成手段409に入力される。

 メタデータ生成手段409は、入力された各 データに基づいてシーン情報のメタデータ 生成する。メタデータ生成手段409は、内部 ハウリング検出手段410、不要シーン検出手 411、重要シーン検出手段412、リアルタイム ータ選択/マッピング手段413を備えている。 ハウリング検出手段410は音声信号(4b)に基づ て、ハウリングを検出する。

 ここで、不要シーン検出手段411による不 シーンの検出例について、図5および図6を 照して説明する。図5のグラフは不要シーン 出の時間的変化を示す。図5のグラフにおい て、縦軸は不要シーンのメタデータの優先度 を表し、横軸は時間(フレーム)の経過を表す

 不要シーン検出手段411は、図5に示す不要シ ーンSnのメタデータ(UA、UB、UC、UD、UE、UF、UG) を検出する。なお、
 UAは、カメラのキャップが閉まっている状 を表し、
 UBは、カメラの揺れ、ぐらぐらが大きい状 を表し、
 UCは、フォーカスが合わないで、ピンボケ なっている状態を表し、
 UDは、パン/ティルト/ズームが早すぎる状態 を表し、
 UEは、逆光になっている状態を表し、
 UFは、ハウリングがある状態を表し、そし
 UGは、地面を撮影している状態を表す。

 上述のメタデータが表す状態の画像は、 般常識的な感性や感情を持った人であれば ほぼ万国共通に不要シーンと認識されるも である。これは、受け入れがたいものに対 る価値観は、一般に人の生理的な知覚、認 メカニズムに基づくところが多く、ほぼ万 共通であるためと考えられる。

 具体的に言えば、メタデータUA、UB、UC、U D、UE、UF、およびUGは、それぞれ、優先度:ポ ントを、UA:50点、UB:30点、UC:25点、UD:20点、UE :40点、UF:35点、UG:25点と重み付けられる。

 図5において、不要シーンSnの選択アルゴ ズムとしては、単一で扱うだけでなく、複 の不要シーンの間隔が映像フレームで60フ ーム以内の場合には1つの連続した不要シー Snとしてまとめて扱うアルゴリズムを用い 。すなわち、「不要シーン区間の定義式」 して、(単一不要シーン区間)+(間隔が60フレ ム以内の複数の不要シーン区間)が規定でき 。

 なお、複数の不要シーンの間隔が60フレ ム以内の場合に、これらの複数の不要シー を1つの不要シーンとして扱う理由は、60フ ーム以内でとぎれとぎれの映像を繋げると 忙しくて落ち着かない映像になるからであ 。不要シーンSnのシーン情報としては、不要 シーンを構成する最も優先度の高いメタデー タの種別と、不要シーンの時刻と期間(不要 ーンの長さ)がシーン情報の詳細記述として レイリストのマーカー情報(マーカースキッ プに使用できる)や、マーカー情報の選択ア ゴリズムとして関連づけた補助データなど 使用される。

 なお、不要シーンの数はコンテンツ長に じて、予め決めておくこともできる。たと ば不要シーンは、1分当たり5個以内で、か 、最大100個と決めることができる。また、 要シーンの種別指定や、コンテンツ毎に縮 率を指定することができる。また、3脚など 用いて安定した映像を撮影している場合は 不要シーンの検出機能を手動でOFFにして撮 することもできる。

 不要シーン削除の例を図6に示す。図6の(A )は時間の経過に対する撮影コンテンツの揺 のレベルの変化を示し、(B)は撮影コンテン の映像シーケンス(図中、長方形の枠はフレ ムを表す)を示す。また(C)は揺れのない3つ 区間(S1、S2、S3)を組み合わせた映像シーケン スを示す。

 図6(B)に示す撮影コンテンツより揺れが大 きな2つの区間(シーン)を削除し、揺れのない 3つの区間(シーンS1~S3)を組み合わせて、図6(C) に示す1つの揺れのない映像シーケンスを実 できる。なお、揺れ以外の原因による不要 間の削除も同様の方法で行うことができる

 次に、重要シーン検出手段412による重要 ーンの検出例について、図7および図8を参 して説明する。図7のグラフは重要シーン検 の時間的変化を示す。図7のグラフにおいて 、縦軸は重要シーンのメタデータの優先度を 表し、横軸は時間(フレーム)の経過を表す。 要シーン検出手段412は、図7に示す重要シー ンのメタデータ(A、B、C、D、E、F)を以下のご く検出する。

 メタデータ(A)は、クリップのはじめ(CLIP-I N)、または、クリップのおわり(CLIP-OUT)におけ る、1~3秒のフィックス部分を重要部分として 抽出できる。メタデータ(A)の優先度(ポイン )を、たとえば100点とする。

 メタデータ(B)は、音検出のメタデータ107( メインマイクやサブマイクからの音声、カチ ンコ音、ピストル発射音、歓声、などの入力 を検出したメタデータ部分)を重要部分とし 抽出できる。メタデータ(B)の優先度(ポイン )を、たとえば70点とする。

 メタデータ(C)は、ジャイロの出力よりカ ラのパン、ティルト後のフィックス(静止) ーンを検出できる。フィックスシーン(カメ マンが興味を持って固定映像を撮影してい 部分、Interest部分)のメタデータ(C)の優先度( ポイント)を、たとえば40点とする。

 メタデータ(D)は、カメラのズーム値の時 変化をモニタして、ズームアップ、ズーム ウンした部分を検出できる。より詳細には ズームアップ、ズームダウンの前後におけ 1~3秒のフィックス部分を重要部分として抽 できる。メタデータ(D)の優先度(ポイント) 、たとえば30点とする。

 メタデータ(E)は、ジャイロの出力よりカ ラのパン、ティルトを検出できる。メタデ タ(E)の優先度(ポイント)を、たとえば25点と する。

 メタデータ(F)は、撮像素子から得られる 影映像を複数のブロックに分割し、各ブロ クの色相、色度が、あらかじめ決めた色相 色度の範囲内にあるかどうかの情報を検出 きる。たとえば、検出ブロックの大きさと 状、および肌色度から人の顔を検出できる さらに、パン、ティルトやズームの後のフ ックス映像の検出ブロックの形状および肌 度から人の顔をより精度よく検出できる。 タデータ(E)の優先度(ポイント)を、たとえ 、25点とする。

 注意すべき点は、上述の状態は一般的な 性・感情を持った人でも、撮影の素人と撮 のカメラワークに慣れた人では重要シーン して認識するレベルが人によって少し異な 場合がありえることである。すなわち、撮 に慣れた人には映像撮影技法に準拠したカ ラワークを意識して撮影するが、素人はそ ような知識がないのでカメラワークを考え いで被写体を撮影することが往々にしてあ からである。ただ、素人でも撮影している ちに、アドバイスを受けたり、自分で気づ たりしながら、次第に一般に良いとされる メラワークを習熟していくことが通例であ 。

 図8に、重要シーンを抽出してダイジェス トを生成する例を示す。図8の(A)は時間の経 に対する撮影コンテンツのズームのレベル 変化を示し、(B)は撮影コンテンツの映像シ ケンス(図中、長方形の枠はフレームを表す) を示す。また(C)はズームアップ後のフィック ス区間(シーン)F1およびズームダウン後のフ ックス区間(シーン)F2を抽出した映像シーケ スを示す。

 図8の(B)に示す撮影コンテンツよりズーム アップ、およびズームダウン後の2つのフィ クス区間(シーン)を抽出して、図8の(C)に示 1つのダイジェストを実現できる。なお、ズ ムアップ、ズームダウン以外の要因による 要シーンの抽出とダイジェスト生成も同様 方法で行うことができる。

 図7に戻って、メタデータA、B、C、D、E、F はそれぞれ重み付けされた優先度(ポイント) 持つ。図7において重要シーンは、A、B、C、 D、E、Fのメタデータのいずれかで表される重 要シーンもしくは映像フレームで、Nを整数 して、(N)フレームの窓内に存在する複数の 要シーンの中で最も優先度の高いメタデー で代表させる。

 たとえば、300フレーム幅の窓W1を用いた場 、この窓内に存在する複数の重要シーンか 、「優先度ポイントの算出式」としては、
 (300フレーム区間の窓内で最大優先度のシー ンの優先度)+(その他の優先シーンの優先度に 一定の係数で重み付けをした値)を定義して 「複数の重要シーンの優先度」を計算する とができる。最優先シーン以外の優先シー の優先度の重み付けは、たとえば0.2とする

 図7に示した例では、重要シーンの検出窓W1 、D(30点)、C(40点)、E(25点)、E(25点)が含まれ 。そのために、優先度合計値は、
   0.2×30+40+0.2×25+0.2×25
= 6+40+5+5
= 56
となる。

 なお、重要シーンのシーン情報としては 重要シーンを構成する最も優先度の高いメ データ(A、B、C、D、E、F)の種別と、重要シ ンの時刻と期間(重要シーンの長さ)がシーン 情報の詳細記述としてプレイリストのマーカ ー情報(マーカースキップに使用できる)や、 ーカー情報と関連つけた補助データなどに 用される。ここで、重要シーンの数はコン ンツ長に応じて、あらかじめ決めておくこ もできる。また、重要シーンによるコンテ ツの縮小率もあらかじめ決めておくことも きる。

 たとえば、図7の例では、一定期間の窓W1 中で最大の優先度を持ったメタデータが、 イジェスト生成のために用いる第2のメタデ ータとして設定される。この場合、約800フレ ームに存在する、フィックス状態を表すIntere stメタデータCを選択する。この時、事前に決 めた規則により、このメタデータにイベント の種別、イベントの優先度、および、イベン トの開始時刻と終了時刻と代表時刻とをアト リビュートとして付加する。これによって、 第2のメタデータとそのアトリビュートであ イベントの開始時刻と終了時刻と代表時刻 参照することにより、たとえばズームアッ (3秒間)からフィックス(2秒間)までの5秒間の 影シーンを1つのメタデータで表現すること ができる。

 そこで、このメタデータの優先度の順、あ いは、メタデータのイベントの種別を指定 ることによりダイジェスト映像を生成する とができる。
 また、このメタデータの優先度の順、ある は、メタデータのイベントの種別(たとえば 、ズームアップした部分)を指定して、メタ ータ位置を参照することにより、撮影コン ンツ内の意味のある部分(たとえば、ズーム ップした部分)へと、スキップ再生(メタデ タによるスキップ再生)ができる。

 なお、図7において、一定期間の窓の中で 優先度を持ったメタデータの合計値が、あら かじめ設定した値(たとえば、250)を超えた場 にのみ、第2のメタデータの選択を行うよう に設定するモードを追加することもできる。

 また、高優先度シーンの選別は、まず低 先度シーンを除外したコンテンツより高優 度シーンを選別することにより、より安定 たシーンの選別が可能となる。たとえば、 ームアップ後のフィックス部で高優先度シ ンとしては有効であっても、ピンボケにな ている場合があり、そのような低優先度シ ンを優先的に除外できる。

 同様に、ズームアップ後のフィックス部 高優先度シーンとしては有効であっても、 光になって画面が真っ黒になっている場合 あり、そのような低優先度シーンを優先的 除外できる。また、運動会のカケッコにお るピストルの発射音が検出できていて高優 度シーンとしては有効であっても、ズーム ップが早すぎたり、パンが早すぎたりして るに耐えないシーンなどは、低優先度シー を優先的に除外できる。

 上述のように、まず第1段階として、低優 先度シーンを除外した安定的に撮影されてい るシーンにより構成されるプレイリストを生 成する。次に、第2段階として、安定したシ ンより高優先度シーンを選別する。たとえ 、第1段階で作成したプレイリストに高優先 シーンを追加して不要部のないコンテンツ ら重要シーンを選別する。以上の段階を経 ことにより、揺れピンボケなどのない、視 的にもより安定した、重要シーンの選別が 能となる。

 なお、不要シーンのメタデータ(UA、UB、UC 、UD、UE、UF、UG)は、不要というマイナスの意 味を持つことから、符号にマイナスを付けて 処理してもよい。ただし、この場合でも、前 述した不要シーンの計算アルゴリズム(複数 不要シーンを1つの不要シーンにたばねる処 )と、重要シーンの計算アルゴリズム(複数 重要シーンから代表シーンを決め、代表シ ンの優先度を計算する処理)は異なる処理で り、同じアルゴリズムで実現することはで ない。

 また、高優先度のシーン(重要シーン)と 優先度のシーン(不要シーン)の中間の値をも つシーンは普通のシーン(一般的なシーン)で ると取り扱える。

 図4の説明に戻る。リアルタイムデータ選 択/マッピング手段413は、前述したリアルタ ムメタデータをSEIにマッピングすることに り、以後、パソコンなど別の再生機器でも このデータから不要シーンや重要シーンの ーン情報を再計算することができる。不要 ーンや重要シーンのシーン情報を再計算す アルゴリズムが更新された場合に有効であ 。

 VCL-NALユニットバッファ402およびNon VCL-NAL ユニットバッファ407から出力されるデータの 処理について説明する前に、図9を参照して H.264/AVCのストリームの構成について説明す 。図9(A)は、H.264/AVCストリームのGOP構造を示 。図9(B)はGOPを構成する各ピクチャの構造を 示す。各ピクチャはVCLおよびNon-VCLのNALユニ トによって構成されている。NAL(video)は映像 NALユニットであり、NAL(Audio)は音声のNALユニ ットであり、NAL(SEI)はSEIのNALユニットである NAL(SEI)には前述したリアルタイムメタデー を挿入できる。

 なお、実験の結果から、撮像装置のパン ティルト、レンズのズーム情報、レンズの ォーカス情報等は、GOP構造における全ピク ャに挿入する必要はなく、2フレーム毎に間 引いた場合でも、タイムコードが復元できれ ば、通常視聴に適した速さのパン、ティルト 、ズーム、フォーカスなどのカメラワークを 復元できるという知見が得られている。

 図9(C)はPESパケットの構造を示し、図9(B) 示したピクチャデータデータにPESパケット ッダが付加されている。なお、PESパケット ッダには、ヘッダーオプションとしてMPEGのP TS/DTSを含めることができる。H.264の観点より 、PESパケットを1AU(Access Unit)として扱う。 例では、図9(D)に示すように、PESパケットを1 88バイト毎に分割して、MPEG-TSパケットを生成 する。図9(E)は、MPEG-TSパケットにタイムコー を含む4バイトのヘッダーが付加して、ATSパ ケットを構成することを示している。

 図4の説明に戻り、VCL-NALユニットバッフ 402およびNon VCL-NALユニットバッファ407から 力されるデータの処理について説明する。VC L-NALユニットバッファ402から出力されたVCL-NAL ユニット形式のデータと、Non VCL-NALユニット バッファ407から出力されたNon VCL-NALユニット 形式のデータに基づいて、MPEG-PESパケット(図 9(C)参照)が生成され、更に188バイト長のMPEG-TS (図9(D)参照)が生成される。次に、MPEG-TSのそ ぞれにタイムスタンプを含む4バイトのヘッ ーが付加され、192バイトのATSパケット(図9(E )参照)が生成される。

 このタイムスタンプは、たとえば、各MPEG -TSパケットがATSパケットを生成する処理ブロ ックに到着した時刻を示す。一般に、タイム スタンプのクロックは27MHzであり、4バイト全 てがタイムスタンプとして用いる場合や、4 イトの内の30ビットをタイムスタンプとし、 残りの2ビットはコンテンツ保護のためのフ グなどに用いる場合がある。

 また、ストリームが包含する各GOP(Group of  Picture)の先頭ピクチャのPTS(Presentation Time St amp)、および各GOPの先頭ピクチャにおける先 ATSの連番がペアで、EP-MAPとして出力される なお、PTSやDTS(Decode Time Stamp)はPESパケット ヘッダーに含まれるので抽出は容易である

 また、各GOPの先頭ピクチャにおける先頭A TSの連番とは、ストリーム先頭のATSの連番を1 とし、ストリーム先頭からのATSの個数を順次 数えた番号である。各GOPの先頭ピクチャのPTS とATS連番のペアとして定義されるEP-MAPは、プ レイリストを用いた再生やストリーム編集の 際に用いられる。

 H.264/AVC方式については、例えば、「H.264/A VC教科書」、大久保榮監修、株式会社インプ ス発行、などの書籍に詳述されている。ま 、MPEG-TS信号はIEC 61883-4で規定されている。

 MPEG-TSのPAT、PMTなど、TSに関する参考文献 しては、例えば、CQ出版社、TECH I Vo.4、「 像&音声圧縮技術のすべて(インターネッ /ディジタルテレビ、モバイル通信時代の必 須技術)」、監修、藤原洋、第6章、「画像や 声を多重化するMPEGシステム」があり、同書 にて解説されている。

 また、PSIやSIの階層構造、処理手順の例 選局処理の例として、「デジタル放送受信 における選局技術」、三宅他、三洋電機技 、VOL.36、JUNE、2004、第74号、31ページから44ペ ージでも解説されている。

 次に、図10を参照して、H.264/AVCのファイ の構成例について説明する。左側の四角枠 ディレクトリ構成Sdを示し、右側の四角枠は ファイル構成Sfを示す。これらの構成は、SD ードやDVD-R、DVD-RAM、BD-REなどの情報記録メデ ィア上に構築される。

 ディレクトリ構成Sdにおいて、root下には 参照ファイル(ref.file)と、「PlayList」、「CLIP 」、および、「STREAM」ディレクトリが存在す る。「PlayList」ディレクトリ下には、プレイ スト(ファイル)である「*.pls」ファイルが存 在する。また、「CLIP」(クリップ)ディレクト リには、クリップファイルである「*.clp」フ イルが存在する。「STREAM」ディレクトリ下 はATS(192バイト)により構成されるストリー ファイルである「*.ats」ファイルが存在する 。

 ファイル構成Sfにおいて、参照ファイル(r ef.file)は、コンテンツのタイトル情報(Title  n、nは自然数)を管理し、複数のチャプタ情 (Chapter♯1、C♯2、C♯3、C♯4)を管理する。プ イリスト(PlayList♯1)は、複数の再生パート 報(PlayItem♯1、P♯2、P♯3)を管理する。また クリップファイル(Clip♯1、Clip♯2、Clip♯3)は 、EPマップ(EP_Map)を持つ。EPマップはPTSとスト リームファイルを構成するATSパケットのATS連 番の相互対照マップテーブルであり、タイム コードとデータ位置の相互変換を行うもので あり、プレイリスト再生やストリームファイ ル編集において不可欠のものである。

 上述のように、タイトルはプレイリスト ァイル、プレイリストファイルはクリップ ァイル、そして、クリップファイルはATSパ ットによるストリームファイルと、それぞ 関連付けられる。

 前述のリアルタイムメタデータやノンリ ルタイムメタデータはSEIにマッピングされ 後、ATSのストリームファイルに変換される また、リアルタイムあるいはノンリアルタ ムのメタデータから演算して生成したメタ ータはクリップのシーン情報として、プレ リストのパート情報や補助エリアにマッピ グされる。すなわち、優先度をもったリス が撮影コンテンツの再生時に参照するプレ リストファイルの補助データとしてマッピ グされる。これにより、プレイリストファ ルのデータを見るだけで、クリップのシー 情報のメタデータを参照できるという大き 特徴を持つ。

 そこで、コンテンツの再生機器でプレイ ストの付加情報を参照して不要シーンや重 シーンなど撮影コンテンツ中のイベントの 始点または代表点に即座にアクセス(スキッ プ)できる。また、再生時に参照するプレイ ストファイルの補助データであるメタデー のリストを参照することにより、指定した ベント区間(イベントの開始点から終了点ま を参照して生成したイベント区間)を順番に 再生できる。

 重要シーンにより構成されるダイジェス を生成する場合には、ダイジェスト方式指 手段(図2のユーザ入力系210)で指定された、 ーン情報のメタデータであるシーンの優先 、シーン種別、ダイジェスト時間長、また ダイジェストへの縮小率や、プレイリスト 補助データであるシーンのリストを参照し 、新たなプレイリストファイルを生成する ともできる。

 さらに、プレイリストを参照することに り、重要シーンとして指定される区間は通 再生を行い、それ以外のシーンは高速で再 することもできる。また、プレイリストを 照することにより、不要シーンとして指定 れる区間は高速再生を行い、それ以外のシ ンは通常速度で再生することもできる。ま 、プレイリストを参照することにより、不 シーンとして指定される区間は、検出した 表シーンや予め撮影して登録した静止画を3 秒ずつ表示する再生を行い、それ以外のシー ンは通常速度で再生することもできる。

 特に、子供の音楽会などの撮影コンテン に対しては、揺れていたりピンボケになっ いたりする不要な映像は見たくないが、ピ ノや合唱などの演奏は連続して聞きたいと うような要望を考慮して、再生する映像は 表シーンや予め撮影して登録してある映像( 青空、建物、花、子供の顔など)に切り替え 、音声のみ連続再生することもできる。

 プレイリストを参照することにより、不 シーンとして指定される区間はカメラワー に起因する撮影映像の横揺れやたて揺れを り除いた映像を生成して表示する再生を行 、それ以外のシーンは通常速度で再生する ともできる。

 プレイリストを参照することにより、優 度があらかじめ決めた値以上のシーンまた 特定のカメラワークを持ったシーンより構 されるプレイリストを新たに生成して、タ トルに登録してもよい。

 プレイリストを参照することにより、各 ーンの種別に応じたBGMを生成して再生し、 ーンの切り替わり付近でBGMのメロディー、 色、テンポを変えることにより芸術性、文 度の高いコンテンツの再生を行うこともで る。

 次に、図11を参照して撮影コンテンツの 集例を説明する。図中、シーン♯1~♯5を示 四角形の枠内にシーンの優先度とポイント 表している。また各シーンの下段にデータ を示し、右端の枠内にはデータ量の合計を す。

 ファイルの取り扱いモードとしては、以下 4種類がある。
 モードA: オリジナルの撮影コンテンツ
 モードB: 不要シーンのコンテンツ(優先度 ポイントが30点未満のシーン)
 モードC: 不要シーンのないコンテンツ(優 度のポイントが30点以上のシーン)
 モードD: 重要シーンのコンテンツ(優先度 ポイントが50点以上のシーン)

 編集ステップとしては、以下の3ステップが ある。具体的には、
 ステップ1) 記憶媒体に記憶されたオリジナ ルの撮影コンテンツファイルから不要シーン のコンテンツのみを取り出して確認する。OK あれば、不要シーンを削除する。
 ステップ2) 不要シーンのないコンテンツを 生成する。
 ステップ3) さらに、不要シーンのないコン テンツから、メタデータにより重要シーンで あることを示されたコンテンツを生成する。

 ここで、ステップ1、ステップ2、ステッ 3は、atsファイルをなんら変更することなく プレイリストファイルの操作のみで実現で る。

 また、モードBで不要シーンのコンテンツ を再生する場合、映像にテロップでどういう 条件で不要かを挿入して、ユーザに知らせる ことができる。更にモードCで、各々の特徴 ーンの再生時にその特徴シーンの説明をテ ップとして再生映像に重畳することができ 。

 さらに、モードCの不要シーンのないコン テンツや、モードDの重要シーンのコンテン を1つの完パケファイルとして作成すること できる。

 図12に、図11を用いて説明した撮影コンテ ンツの編集を行うシステム構成の一例を示す 。図12のシステムはムービーカメラ、パソコ 、DVDレコーダおよびTVで構成されている。 12(A)にシステムを構成する機器を示し、図12( B)に各機器で取り扱われるモードを示す。

 図12を参照し、メタデータを用いた撮影 ンテンツの編集方法について簡単に説明す 。図12(A)において、ムービーカメラ501の記憶 媒体であるSDメモリカード502に映像データ、 声データおよびメタデータが記録される。S Dメモリカード502がパソコン503に挿入され、 録データの移動が行われる。

 この際、前述の重要シーンなどのメタデ タ107がすでにSDメモリカード502に記録され いれば、パソコン503のハードディスクにデ タ移動してプレイリストを確認する。プレ リストが存在すれば、パソコン503は、その 点で自動的に粗編集やノンリニア編集を実 して完パケファイルを生成できる。また、 ソコン503は、編集されたファイルをほとん 自動的にDVD-RやDVD-RAMなどのメディア504に記 して保存する。そしてメディア504をDVDプレ ヤ505で再生することにより、編集されたフ イルをTV506で視聴できる。

 図12(B)に示すように、ムービーカメラ501 図11のモードAを用い、パソコン503はモードB モードCおよびモードDを用い、DVDレコーダ50 5やTV506はモードCとモードDを用いる。

 以上説明したように、本実施の形態のコ テンツ撮影装置によれば、映像撮影におい 、撮影コンテンツの不要部削除やダイジェ ト生成が容易に実現できる。結果として、 ービー撮影においてクリップ記録の開始か 終了までの間で、不要部を削除したコンテ ツや、重要であると推察されるシーンによ 構成されるダイジェストを簡単に作成でき 。

 (第2の実施の形態)
 図13に本発明の第2の実施の形態に係るコン ンツ撮影装置におけるメタデータの生成とA V信号の圧縮を行うブロックの詳細を示す。 述した第1の実施の形態に係るコンテンツ編 装置は、撮影コンテンツの不要部削除や重 シーンの抽出を容易にすることにより、使 者の好みのダイジェストを生成する。これ 対し本実施の形態のコンテンツ撮影装置は バランスのとれた撮影ができるように撮影 をアシストすることにより、結果としてユ ザの要望を満たすダイジェストを生成する

 本実施の形態に係るコンテンツ撮影装置 構成は、基本的に第1の実施の形態に係るコ ンテンツ撮影装置の構成と変わりがない。し かし、上述した機能の違いに応じて、ムービ ーカメラ101の構成が第1の実施の形態のそれ は若干異なっている。具体的には、図13に示 した構成では、図4に示した構成にカメラワ ク統計処理手段415が追加され、またこれに 応してメタデータ生成手段409のアルゴリズ も図13のそれとは異なっている。

 上述したように本実施の形態のコンテン 撮影装置は、ムービー撮影においてクリッ 記録の開始から終了までの間、バランスの れた撮影ができるように撮影者をアシスト ることを特徴とする。以下、図13~図16を参 して、この特徴点を中心にして本実施の形 のコンテンツ撮影装置の構成と動作を説明 る。従って以後の説明では、原則として、 1の実施の形態で説明した構成や動作につい の説明は省略する。

 カメラワーク統計手段415は、パン、ズー 、フィックスなどユーザのカメラワークを ニタ、あるいは記録している。過去の一定 間、たとえば過去5分間の撮影カメラワーク を記録していてズームアップばかりだと、ズ ームダウンして全体の映像を撮影すべきこと をカメラのビューファインダに表示して撮影 者に知らせる。

 すなわちカメラワーク統計手段415は、ム ビー撮影においてクリップ記録の開始から 了までの間、バランスのとれた撮影ができ ように撮影者をアシストする。これにより 撮影コンテンツのダイジェストを生成する 合に、ダイジェストを構成するシーンの内 を、ズームアップばかりや、パンばかり、 るいはフィックスばかりに偏よらない、よ バランスの良い撮影コンテンツにできる。

 以下、カメラワーク統計手段414の機能に いて、図14~図16を参照して具体的に説明す 。最初に、図14に基づいてズーム操作の偏り を撮影者に通知する場合について説明する。 図14(A)はズーム倍率の時間変化を示すグラフ あり、図の横軸は時間を表し、縦軸はズー 倍率を表している。図14(A)のグラフは、縦 のズーム倍率により3つの領域に分けられる すなわち、ズーム倍率が3倍までを(小)の領 、縦軸のズーム倍率が3倍から10倍までを(中 )の領域、縦軸のズーム倍率が10倍以上を(大) 領域とする。

 図14(A)の例では、まず、ズーム倍率が約2 ら始まり、約10弱にズームアップし、さら 約15にズームアップした後、また約2にズー ダウンし、そして約4にズームアップしてい 。

 ここで、ズームの変化を1秒毎に測定して 、この1秒の変化差分がズーム倍率の5%以内で あれば、ズームはほぼ固定されているとみな す。そして、1秒ごとに固定状態を意味する ーク(図中の黒丸)を付け、このマークの個数 を用いて、ズームの操作が(大)、(中)、(小)の 各領域の存在比率を計算する。これにより、 カメラのズームの操作が、事前に想定したイ ベントの(大)、(中)、(小)の領域に対するカメ ラワークの存在比率に対して、どの領域に偏 っているか、あるいは、ほぼ一致しているか をカメラのマイコンで演算できる。なお、ズ ームの変化は、変化の絶対値差、変動の最大 差分および1秒間の変動の分散より、いずれ を選択することができる。

 図14(B)にこの演算アルゴリズムの一例を す。ズームの操作が(小)、(中)、(大)の領域 おける上記マークの個数を、それぞれTS、TM TLとする。なお、初期値はそれぞれ10とする (ステップS11)。

 マイコンはズームの変化を1秒毎に測定し て、上記マークがTS,TM,TLのいずれかに生成さ る毎に、TS,TM,TLのいずれかに1を加算する(ス テップS12)。またマイコンはTS,TM,TLの合計値を Aとして、Aに対するTS,TM,TL各々の比率r(3種類) 計算する(ステップS13)。そして、3種類の比 rのいずれかが0.05より小さくなるか、0.7よ 大きくなれば、マイコンはそれを通知する 号を生成して、たとえばビューファインダ 表示する(ステップS14)。これにより、カメラ の撮影者にズーム操作の偏りを通知すること ができる。なおTS、TM、TLが50以上になれば、 々を10に変更する(ステップS15)。

 事前に想定したイベントとして、運動会 入学式、卒業式、音楽の発表会、旅行、お 生会、結婚式、あるいはユーザが自由に設 するイベントに、それぞれ、想定するTS、TM 、TLの存在確率のリストをカメラに内蔵され メモリに記憶させ、これらから1つのイベン トを設定してズーム操作の正常さ、もしくは 偏りを演算し、カメラの撮影者に知らせるこ とができる。

 次に、図15および図16を参照してカメラワ ークにおける揺れの度合いを撮影者に通知す る場合について説明する。図15(A)はジャイロ ンサの出力など、縦(横)揺れの時間変化を すグラフである。図の横軸は時間を表し、 軸は縦(横)揺れの振幅を表している。図15(A) グラフは、縦軸の揺れの振幅(たとえば8ビ トで0から255の値をとるとする)により3つの 域に分けられる。

 すなわち、縦軸の揺れの振幅が15倍まで (小)の領域、縦軸の揺れの振幅が16から63倍 でが(中)の領域、縦軸の揺れの振幅が64倍以 が(大)の領域とする。図15(A)の例では、まず 、縦軸の揺れの振幅が(大)から始まり(小)に 化し、さらに(中)、(大)、(中)などと変化し いく。

 ここで、縦軸の揺れの振幅の変化を10msec( 0.01秒)毎に測定して、この期間における揺れ 変化の分散が、事前に想定した上記のイベ トの(大)、(中)、(小)の領域の存在比率、お び、揺れの振幅の変化そのものをカメラの イコンで演算することにより、(大)、(中)、 (小)のどの領域に偏っているか、あるいは、 ぼ一致しているかを演算できる。

 図15(B)に揺れの分布密度の例を示す。事 に想定したイベントの揺れの変化の分散をσ 0とし、測定されたイベントの揺れの変化の 散をσ1とする。σ0とσ1を比較することによ 、設定イベントに対するカメラワークの揺 が多いか、同等か、もしくはカメラワーク おとなしいかを計算する。

 そして、マイコンでσ0とσ1の値を比較し その結果に基づいてカメラワークの揺れの 態を通知する信号を生成して、たとえばビ ーファインダに表示する。具体例として、 1がσ0の1.2倍未満であればほぼ標準に近いカ ラワーク、σ1がσ0の1.2倍以上1.5倍未満であ ば想定標準よりやや大きな振りがあるカメ ワーク、σ1がσ0の1.5倍以上であれば想定標 よりかなり大きな振りがあるカメラワーク あることを通知する信号を生成する。更に σ1がσ0の0.7倍より小さい場合、カメラワー が少ないことを通知する信号を生成する。 れにより、カメラの撮影者にカメラワーク おけるパン、ティルト、ぐらぐらなどの度 いを通知することができる。

 図16に、揺れの振幅の変化を演算するカ ラワーク統計手段415(カメラマイコン)のアル ゴリズムの一例を示す。揺れの振幅変化の最 大値が30以上を(大)、10以上30未満を(中)、10未 満を(小)の領域とし、それぞれRL,RM,RSで表す

 最初に、RS,RM,RLの初期値をそれぞれ10に設 定する(ステップS21)。揺れの振幅変化の最大 を1秒毎に測定し(δmax)、(小)、(中)、(大)の の領域にあるかを分類し、それぞれRS,RM,RLに 変化として1を加算する。(ステップS22)。

 次に、RS,RM,RLの合計値をAとして、Aに対す るRSとRLの比率(2種類)を計算する(ステップS23 S25)。そして、Aに対するRLの比率が0.3より大 きくなれば(ステップS23)、撮影時のカメラワ クが大きい(乱暴なカメラワーク)という信 MLを生成する(ステップS24)。また、Aに対する RSの比率が0.05より小さくなれば(ステップS25) 撮影時のカメラワークが小さい(おとなしい カメラワーク)という信号MSを生成する(ステ プS26)。そして、たとえばビューファインダ 表示する。これにより、カメラの撮影者に メラワークにおけるパン、ティルト、ぐら らなどの度合いを通知することができる。 お、RS+RM+RLが50以上になれば、おのおのを10 変更する(ステップS22)。

 なお、ステップS24の後、MLを3回測定する に、カメラを安定させる必要があるという ラーム信号を生成してもよい(ステップS27) 同様に、ステップS26の後、MSを3回測定する に、カメラの位置または姿勢を動かす必要 あるというアラーム信号を生成してもよい( テップS28)。更にこれらのステップの後に、 RecスタートからRecPause(RecStop)までのアラーム 号の回数をリスト化してもよい(ステップS29 )。

 なお、図15(B)で説明した揺れの分散σおよ び図16で説明した揺れの振幅変化の両方の信 を用いてカメラマイコンで演算することに り、ユーザのカメラワークをより詳細に解 することができる。

 以上説明したように、本実施の形態のコ テンツ撮影装置によれば、ズームアップば りや、パンばかり、あるいはフィックスば りに偏よらない、よりバランスのよい撮影 ンテンツを得ることができる。

 本発明は、不要部のないコンテンツやダイ ェストを簡単に生成できるため、ホームビ オ等に代表されるコンテンツ撮影装置に利 できる。