本実施形態では、カメラを移動しながら撮� ��した映像にCG を合成する合成装置を用いた 再生装置の例について説明する。
《使用形態》
 まず、本実施形態における再生装置 100の� �用形態を図1 を用いて説明する。本実施形� �における再生装置 100は、映像を表示するた めのテレビ 101、再生装置 100を操作するた� �のリモコン 102などによって構成されるホー ムシアターシステムにおいて、BD-ROM 103など� ��メディアで供給される映画作品等を鑑賞す� ��用途に用いられる。このホームシアターシ� ��テムは、BD-ROM 103に記録されたコンテンツ� �他に、補助的なデータを記録するためにリ� �ーバブルメディア 504を備えている。本実施 形態における再生装置 100は、BD-ROM 103およ� �リムーバブルメディア 504からコンテンツを 読み取り再生する。本実施形態では、映画等 のコンテンツを再生するたのAV(Audio-Video)アプ リケーションを主眼におくが、BD-ROM 103の代� ��りに、CD-ROM や DVD-ROM 等の記録媒体を利用 することも可能である。
《データ構成》
 次に、BD-ROM 103 に記録されるデータの構成 について、図2 を用いて説明する。

 BD-ROM 103は、CD-ROM や DVD-ROM など他の光� ��ィスクと同様に、内周から外周に向けて螺� ��状に記録領域を持ち、内周のリード・イン� ��外周のリード・アウトの間に論理データを� ��録できる論理アドレス空間を有している。

 リード・インの内側には、BCA (Burst Cuttin g Area) と呼ばれる特別な領域がある。この� �域は、工場で記録されて以降、改竄できな� �ので、例えば著作権保護技術などに利用さ� �ることがよくある。

 論理アドレス空間には、ファイルシステ� ��情報を先頭に、映像データなどのアプリケ� ��ションデータが記録されている。

 ファイルシステムとは、UDF(Universal Disk F ormat) や ISO9660 などのことである。ファイ� �システムにより、BD-ROM 上に階層化されたデ ィレクトリの中に分類して記録されたファイ ルを読み出すことが可能になっている。

 本実施形態における再生装置 100が再生� �るBD-ROM 103に記録されているデジタルストリ ームとそれに関連するデータは、BD-ROM 103の� ��ートディレクトリ直下におかれたディレク� ��リ BDMV の中に格納されている。

 ディレクトリ BDMV には、PLAYLIST、CLIPINF� �STREAM、BDJO、JAR なる 5つのサブディレクト� �と、index.bdmv、MovieObject.bdmv なる 2つのファ� ��ルが配置されている。以下、それぞれのデ� ��レクトリとそこに存在するファイルについ� ��説明する。以下の説明で拡張子とは、ファ� ��ル名を 「.」(ピリオド) で分解し、各要素 をファイル名の中に登場する順序で並べたと きの最後の要素である。例えば、ファイル名 が xxx.yyy の場合、yyy が拡張子である。

 ディレクトリ PLAYLIST には、拡張子 mpls� �が付与されたファイルが存在する。このフ� �イルは、プレイリスト情報を格納したファ� �ルである。プレイリスト情報とは、デジタ� �ストリームの再生における開始位置と終了� �置とで定義される再生区間を記録した情報� �ある。

 ディレクトリ CLIPINF には、拡張子 clpi  が付与されたファイルが存在する。このファ イルは、各デジタルストリームに対応するク リップ情報である。クリップ情報には、デジ タルストリームの符号化形式、フレームレー ト、ビットレート、解像度等の情報や、再生 時間と GOP(Group Of Pictures) の開始位置の対� �関係を示す情報が含まれている。

 ディレクトリ STREAM には、拡張子 m2ts � ��付与されたファイルが存在する。このファ� ��ルは、映画作品の本体となるデジタルスト� ��ームを格納している。デジタルストリーム� ��、MPEG-TS (Transport Stream) 形式であって、複� ��のストリームが多重化されて構成されてい� ��。デジタルストリームは、映画作品の動画� ��分を表すビデオストリームと、映画作品の� ��声部分を表すオーディオストリームとを含� ��でいる。また、デジタルストリームは、映� ��作品の字幕部分を表すサブビデオストリー� ��を含んでいてもよい。

 ディレクトリ JAR には、拡張子 jar が� �与されたファイルが存在する。このファイ� �は、Java(登録商標)アーカイブファイルであ� �。Java(登録商標)アーカイブファイルとは,Java (登録商標)仮想マシンを用いて動的なシナリ� ��制御を行うJava(登録商標)アプリケーション� ��プログラムを記述したファイルである。こ� ��ファイルは、BD-ROM に記録されたコンテン� �の再生単位を示すタイトルの再生をJava(登録 商標)アプリケーションから制御する場合に� �られる。

 ディレクトリ BDJO には、拡張子 bdjo が 付与されたファイルが存在する。このファイ ルは、BD-Jオブジェクトを格納したファイル� �ある。BD-Jオブジェクトとは、プレイリスト� ��報により示されるデジタルストリームと、� ��プリケーションとを関連付けることにより� ��コンテンツの再生単位を示すタイトルを定� ��する情報である。BD-Jオブジェクトは、アプ リケーション管理テーブルと、そのタイトル において再生可能なプレイリスト一覧を示す 。1つのアプリケーションは、1つ以上の Java( 登録商標)アーカイブファイルで構成される� �で、アプリケーションの識別子と、そのア� �リケーションに属する Java(登録商標)アーカ イブファイルの識別子との対応関係を示した テーブルが、アプリケーション管理テーブル である。

 ファイル index.bdmv は、BD-ROM 全体に関す る管理情報を格納している。この管理情報に は、映画作品のプロバイダを特定する 32bit  の識別子 organizationID や、プロバイダが提供 する BD-ROM ごとに割り当てられた128bit の識 別子 discID などが含まれており、再生装置� �のディスク挿入後に、ファイル index.bdmv が 最初に読み出されることで、再生装置はディ スクを一意に認識する。すなわち、どこのプ ロバイダが提供する何という映画作品が記録 されたBD-ROM であるかを認識することができ� ��。更に、ファイル index.bdmv には、BD-ROM に おいて再生可能となる複数のタイトルと、各 タイトルを規定する BD-Jオブジェクトとを対 応付けて示すテーブルが含まれている。

 ファイル MovieObject.bdmv には、HDMVモードで� ��各タイトル再生で、再生進行を動的に変化� ��せるためのシナリオが記述されたシナリオ� ��ログラムが含まれている。HDMVモードについ ては後述する。
《レイヤモデル》
 図3は再生制御のレイヤモデルを示した図で ある。以下、各層ごとの説明を行う。

 第1層は、物理層である。この層では、処 理対象となるストリーム本体をどの記録媒体 から供給するかという制御を規定している。 処理対象となるストリームは、BD-ROM だけで� ��なく、ローカルストレージやリムーバブル� ��ディアといったあらゆる記録媒体、および� ��ネットワークを供給源としている。ここで� ��ローカルストレージとは、ハードディスク� ��どの再生装置に予め組み込まれた記録媒体� ��ある。これらローカルストレージ、リムー� ��ブルメディア、ネットワークといった供給� ��に対して、ディスクアクセス、カードアク� ��ス、ネットワーク通信などの制御が第1層の 制御である。

 第2層は、AVデータの層である。第2層は、 第1層で供給されたストリームを、どのよう� �復号化方式を用いて復号するのかを規定し� �いる。

 第3層は、BD管理データの層である。第3層 は、ストリームの静的なシナリオを規定して いる。静的なシナリオとは、ディスク制作者 によって予め規定されたプレイリスト情報、 および、クリップ情報であり、第3層は、こ� �らに基づく再生制御を規定している。

 第4層は、BD再生プログラムの層である。� ��4層は、ストリームの動的なシナリオを規定 している。動的なシナリオとは、AVストリー� ��の再生手順、および、その再生に関する制� ��手順のうち少なくとも一方を実行するプロ� ��ラムである。動的なシナリオによる再生制� ��は、装置に対するユーザ操作に応じて変化� ��る。ここでの動的な再生制御には、HDMVモー ドと BD-Jモードの 2つのモードがある。HDMV� �ードとは、BD-ROM に記録された動画データを 、再生機器特有の再生環境で再生するモード である。HDMVモードでは、再生進行を動的に� �化させるためのシナリオが記述されたシナ� �オプログラムが再生制御を行う。BD-Jモード� ��は、BD-ROMに記録された動画データを、付加� ��値を高めて再生するモードである。BD-Jモー ドでは、Java(登録商標)アプリケーションが再 生制御を行う。

 図4は、HDMVモードおよび BD-Jモードで再� �される動画の一場面を示す図である。

 図4(a) は、HDMVモードで再生される動画の 一場面を示した図である。HDMVモードでは、� �ニューを表示し、ユーザがメニューに対し� �選択操作を行うことで再生が進行するとい� �ような再生制御が行われる。

 図4(b) は、BD-Jモードで再生される動画の一 場面を示した図である。BD-Jモードでは、Java( 登録商標)仮想マシンが解釈可能なJava(登録商 標)言語で記述されたJava(登録商標)]アプリケ� ��ションにより再生制御が行われる。BD-Jモー ドでは、実写映像の中で CG のキャラクター が動いているように見せる再生制御を定義す ることができる。図4(b)では、テーブル T の 上に CG のキャラクターが描かれている。
《再生装置の機能構成 》
 図5 は、本実施形態における再生装置 100� �大まかな機能構成を示すブロック図ある。

 本実施形態における再生装置 100は、BD-RO Mドライブ 501、トラックバッファ 502、ロー� ��ルストレージ 503、リムーバブルメディア  504、ネットワークインターフェース 505、仮� ��ファイルシステム 510、静的シナリオメモ� � 520、動的シナリオメモリ 530、ユーザ操作� ��知モジュール 540、モード管理モジュール  541、ディスパッチャ 542、HDMVモジュール 543� ��BD-Jモジュール 544、AV再生ライブラリ 545、 レンダリングエンジン 550、イメージメモリ� �551、デマルチプレクサ 552、イメージデコー ダ 553、ビデオデコーダ 554、オーディオデ� �ーダ 555、イメージプレーン 556、ビデオプ� ��ーン 557、合成器 558、テレビ出力部 559、� ��ピーカ出力部 560を含んだ構成となってい� �。

 以下、各構成要素について説明する。

 BD-ROMドライブ 501 は、BD-ROM のローディ� ��グとイジェクトを行い、BD-ROM が挿入され� �いる状態で、BD-ROM に対するアクセスを実行 する機能を有する。

 トラックバッファ 502 は、FIFOメモリで� �り、BD-ROM から読み出されたデータが先入れ 先出し式に格納される。

 デマルチプレクサ 552 は、BD-ROMドライブ  501 にローディングされている BD-ROM、また は、ローカルストレージ 503あるいはリムー� ��ブルメディア 504 上に保存されたデジタル ストリームを、仮想ファイルシステム 510を� ��して読み出し多重分離を行い、多重分離に� ��り得たビデオフレームとオーディオフレー� ��とを、ビデオデコーダ 554 とオーディオデ コーダ 555 とにそれぞれ出力する機能を有� �る。デマルチプレクサ 552 は、デジタルス� ��リームに副映像ストリームが多重化されて� ��る場合は、多重分離により得た副映像スト� ��ームを、イメージメモリ 551 に出力し、ナ ビゲーションボタン情報を、動的シナリオメ モリ 530 に出力する。デマルチプレクサ 552  による多重分離は、TS(Transport Stream)パケッ� ��をPES(Packetized Elementary Stream)パケットに変� �するという変換処理を含む。デマルチプレ� �サ 552 は、PESパケットから PTS(Presentation Ti me Stamp) を抽出し、実写映像と CG とを同期 させるために、ビデオデコーダ 554およびレ� ��ダリングエンジン 550にPTS を通知する。

 ビデオデコーダ 554 は、デマルチプレク サ 552 から出力されたビデオフレームを復� �して、非圧縮形式のピクチャを ビデオプレ ーン 557 に書き込む機能を有する。

 ビデオプレーン 557 は、非圧縮形式のピ クチャを格納しておくためのメモリである。

 オーディオデコーダ 555 は、デマルチプ レクサ 552 から出力されたオーディオフレ� �ムを復号して、非圧縮形式のオーディオデ� �タを スピーカ出力部 560 に出力する機能� �有する。

 イメージメモリ 551 は、デマルチプレク サ 552 から読み出された副映像ストリーム� �ナビゲーションボタン情報内のPNG(Portable Net work Graphics)データ、あるいは、仮想ファイル システム 510 を介してBD-ROM または ローカ� ��ストレージ 503、リムーバブルメディア 504 から読み出された画像ファイルを格納してお くためのメモリである。

 イメージデコーダ 553 は、イメージメモ リ 551 に格納された副映像ストリーム、PNG� �ータ、画像ファイルを展開してイメージプ� �ーン 556 に書き込む。

 イメージプレーン 556 は、一画面分の領 域をもったメモリであり、副映像ストリーム 、PNGデータ、画像ファイルが、イメージデコ ーダ 553によってビットマップに展開されて� ��置される。イメージプレーン 556に展開さ� �た画像は、そのまま画面上に現れる。例え� �、副映像ストリームに各種メニューが格納� �れていれば、イメージプレーン 556にメニュ ーを表す画像が展開されることで、画面上に メニュー現れることになる。

 合成器 558 は、ビデオプレーン 557 に� �納された非圧縮形式のピクチャに、イメー� �プレーン 556 に展開されたイメージを合成� ��てテレビ出力部 559 に出力する機能を有す る。

 静的シナリオメモリ 520 は、HDMVモジュ� �ル 543またはBD-Jモジュール 544が現在処理対 象としている静的シナリオ情報を、格納して おくためのメモリである。静的シナリオ情報 とは、プレイリスト情報およびストリーム情 報である。静的シナリオ情報は、BD-ROM 103に� ��録されたコンテンツの再生区間を規定する� ��報であり、ユーザ操作によってコンテンル� ��再生が選択されたとき、静的シナリオ情報� ��従って再生が行われる。

 動的シナリオメモリ 530 は、HDMVモジュ� �ル 543またはBD-Jモジュール 544が現在実行対 象としている動的シナリオ情報を、格納して おくためのメモリである。動的シナリオ情報 とは、HDMVモードでは、シナリオプログラム� �BD-Jモードでは、Java(登録商標)クラスファイ� ��である。動的シナリオ情報は、BD-ROM 103に� �録された複数のコンテンツのうちどれを再� �させるかといったメニューなどを表示する� �ログラムである。HDMVモードで実行されるシ� ��リオプログラムは、従来の DVD と同様の簡 単なメニューを表示するが、BD-Jモードでは� �行されるJava(登録商標)クラスファイルは、CG キャラクターが登場したり、選択中のコンテ ンツの映像をプレビューするような複雑なメ ニューを表示できる。本実施形態における再 生装置 100は、このようなメニューの表示に� ��いて、CGキャラクターとプレビュー映像と� �違和感なく合成する。

 HDMVモジュール 543 は、HDMVモードの実行� ��体となる DVD 仮想プレーヤであり、動的シ ナリオメモリ 530 に読み出されたシナリオ� �ログラムを実行する。

 BD-Jモジュール 544 は、Java(登録商標)プ� �ットフォームであり、Java(登録商標)仮想マ� �ンを含んでいる。BD-Jモジュール 544は、動� �シナリオメモリ 530 に読み出された Java(登 録商標)クラスファイルから、Java(登録商標)� �ブジェクトを生成する。Java(登録商標) オブ ジェクトは Java(登録商標) 言語で記述され� �おり、Java(登録商標) 仮想マシン上で実行さ れる。BD-Jモジュール 544は、Java(登録商標) � ��想マシンにより、Java(登録商標) オブジェ� �トをネイティブコードに変換し、変換され� �ネイティブコードを実行する。

 ユーザ操作探知モジュール 540 は、リモ コンや再生装置のフロントパネルに対してな されたユーザ操作を検出して、ユーザ操作を 示すユーザ操作情報を モード管理モジュー� �� 541 に出力する。

 モード管理モジュール 541 は、BD-ROMドラ イブ 501 にローディングされた BD-ROM、また は、ローカルストレージ 503、リムーバブル� ��ディア 504から読み出されたモード管理テ� �ブルを保持して、モード管理および分岐制� �を行う。モード管理モジュール 541 による� ��ード管理とは、動的シナリオを HDMVモジュ� ��ル 543 と BD-Jモジュール 544 のどちらに� �行させるかというモジュールの割り当てで� �る。すなわち、HDMVモードの場合には、動的� ��ナリオを HDMVモジュール 543 に実行させ、 BD-Jモードの場合には、動的シナリオを BD-J� �ジュール 544 に実行させる。

 ディスパッチャ 542 は、現在の再生装置 におけるモードを実行するのに適切なモジュ ールに、ユーザ操作情報を出力する。例えば 、HDMVモードの実行中に、上下左右ボタンや� �定ボタンの押下といったユーザ操作を示す� �ーザ操作情報を受け付けた場合、これらの� �ーザ操作情報を HDMVモードのモジュールに� �力する。

 レンダリングエンジン 550 は、OPEN-GL と いった基盤ソフトウェアを備え、BD-Jモジュ� �ル 544 からの指示に従って モデル情報の� �ンダリングを行う。モデル情報とは、CG と� ��て描画される対象をモデリングするために� ��要な座標や座標を結ぶ辺、辺に囲まれてで� ��る面の色などの情報である。モデル情報に� ��づいて描画された CG の対象物を CGモデル と呼ぶ。レンダリングは、デマルチプレクサ  552より発行される PTS に同期するように行 われ、描画された CG は イメージプレーン� �556 に出力される。

 AV再生ライブラリ 545 は、HDMVモジュール  543、BD-Jモジュール 544 からの関数呼び出� �に応じて、AV再生機能、プレイリストの再生 機能を実行する。AV再生機能とは、DVDプレー� ��、CDプレーヤから踏襲した機能群であり、� �生開始、再生停止、一時停止、一時停止の� �除、静止画機能の解除、再生速度を即値で� �定した早送り、再生速度を即値で指定した� �戻し、音声切り替え、副映像切り替え、ア� �グル切り替えといった処理である。プレイ� �スト再生機能とは、これらの AV再生機能の� ��ち、再生開始や再生停止をプレイリスト情� ��に従って行うことをいう。

 ネットワークインターフェース 505 は、 BD-Jモジュール 544 によって制御され、イン� ��ーネット上に公開された追加コンテンツを� ��ーカルストレージ 503 もしくは リムーバ� ��ルメディア 504にダウンロードする機能を� �する。追加コンテンツとは、オリジナルの  BD-ROM にないコンテンツであり、例えば追加� ��副音声、字幕、特典映像、アプリケーショ� ��などである。

 ローカルストレージ 503 および リムー� ��ブルメディア 504 は、ダウンロードしてき た追加コンテンツやアプリケーションが使う データなどの保存に用いられる記録媒体であ る。追加コンテンツの保存領域は、BD-ROM ご� ��に分かれており、また、アプリケーション� ��データの保持に使用できる領域は、アプリ� ��ーションごとに分かれている。ローカルス� ��レージ 503 および リムーバブルメディア� �504は、マージ管理情報の保存にも用いられ� �。マージ管理情報とは、ダウンロードした� �加コンテンツが、どのようなマージ規則で  BD-ROM上のデータとマージされるべきかを示す 情報である。

 仮想ファイルシステム 510 は、BD-ROM上の コンテンツと、ローカルストレージ 503 も� �くは リムーバブルメディア 504 に格納さ� �た追加コンテンツとを、マージ管理情報に� �ってマージすることにより構築される仮想� �な BD-ROM にアクセスするためのファイルシ� ��テムである。この仮想的な BD-ROM を仮想パ ッケージと呼ぶ。仮想パッケージには、HDMV� �ジュール 543 や BD-Jモジュール 544 から、 オリジナル BD-ROM と同様にアクセスするこ� �ができる。仮想パッケージ上のコンテンツ� �再生において、再生装置 100 は、オリジナ� ��の BD-ROM上のデータと、ローカルストレー� � 503 もしくは リムーバブルメディア 504上 のデータの両方を用いて再生制御を行うこと になる。

 テレビ出力部 559 は、合成器 558によっ� ��合成された映像を、テレビ 101に出力する� �能を有する。

 スピーカ出力部 560は、オーディオデコ� �ダ 555によってデコードされた音声信号を、 スピーカに出力する機能を有する。

 以上が再生装置 100の構成要素である。
《レンダリングエンジンの機能構成 》
 次に、図5 におけるレンダリングエンジン� �550の機能構成を図6 を用いて説明する。

 レンダリングエンジン 550は、時間情報� �得部 601、モデル情報取得部 602、光源配置� ��報取得部 603、カメラ配置情報取得部 604、 座標変換部 605、照射位置変換部 606、照射� �度変換部 607、照射方向変換部 608、色変換� �� 609、撮影位置変換部 610、撮影方向変換部  611、生成部 612、陰影描画部 613、スクリー ン投影部 614、グラフィックス出力部 615を� �む構成となっている。

 時間情報取得部 601は、デマルチプレク� � 552によって分離された PTS を取得し、生� �部 612に送信する。

 モデル情報取得部 602 は、仮想ファイル システム 510 からモデル情報を取得し、座� �変換部 605 に送信する。

 座標変換部 605 は、モデル情報取得部 6 02 から受信したモデル情報に含まれる座標� �、CG をレンダリングする仮想空間の座標系� ��の座標に変換する。

 光源配置情報取得部 603 は、デマルチプ レクサ 552 から送信された光源配置情報を� �得し、光源配置情報に含まれる情報の種類� �とに、適切な変換部に送信する。すなわち� �光源の照射位置を示す照射位置情報は、照� �位置変換部 606 に送信する。光源の強度を� ��す照射強度情報は、照射強度変換部 607 に 送信する。光源の照射方向を示す照射方向情 報は、照射方向変換部 608 に送信する。光� �の色を示す色情報は、色変換部 609 に送信� ��る。

 カメラ配置情報取得部 604 は、デマルチ プレクサ 552 から送信されたカメラ配置情� �を取得し、カメラ配置情報に含まれる情報� �種類ごとに、適切な変換部に送信する。す� �わち、カメラの撮影位置を示す撮影位置情� �は、撮影位置変換部 610 に送信する。カメ� ��の撮影方向を示す照情報は、撮影位置変換� �� 610 に送信する。

 生成部 612 は、座標変換部 605 で変換� �れた座標データと、時間情報取得部 601 が� ��得した PTS から、PTS で示される再生時刻� ��表示されるべき CGモデルを生成する。

 陰影描画部 613 は、生成部 612 によっ� �生成された CGモデルのデータを受け取ると� ��変換後の光源配置情報を用いて、対象物に� ��影をつける。陰影描画部 613 は、仮想空間 上に配置された対象物に対して、光源配置情 報で示される光源から照射される光によって できる陰影を描画する。

 スクリーン投影部 614 は、陰影描画部 6 13 によって陰影をつけられたCGモデルのデー タを受け取ると、変換後のカメラ配置情報を 用いて、CGモデルをスクリーンに投影する。� ��こで、スクリーンとは、仮想空間上でカメ� ��の撮影方向に対して垂直で有限の大きさを� ��った矩形平面である。スクリーンの大きさ� ��カメラの設定により変更できるものであり� ��このスクリーンに投影されるものが、実際� ��画面に表示される映像に対応する。スクリ� ��ン投影部 614 は、仮想空間上の CGモデル� �、カメラ配置情報で示されるカメラによっ� �撮影したときに得られる2次元の画像を描画� ��る。

 グラフィックス出力部 615 は、スクリー ン投影部 614 により投影された 2次元の画� �をイメージプレーン 556 に出力する。

 以上が、レンダリングエンジン 550の機� �構成である。

 なお、上では、CGモデル全体に対して陰影� �つける処理を実行してから、スクリーンへ� �投影処理を行うように説明したが、計算量� �減らすために、実際に陰影をつける処理を� �行する前に、スクリーンへ投影される範囲� �け切り出して、切り出された範囲内の CGモ� ��ルに対してのみ陰影をつけるようにしても� ��い。
《カメラ配置と合成映像との関係》
 図7 は、実写映像の撮影時のカメラ配置と� ��CG のレンダリングを行う仮想空間の座標関 係を示す図である。

 図7(a) において、人物 A, B、テーブル T  、ランプ L は実物であり、フクロウ C は  CG である。図7(a) は、テーブル T の両側� ��座っている人物 A, B をそれぞれの側面か� ��カメラで撮影している様子を示している。� ��7(a) の座標軸 XYZ は、CG をレンダリング� �るための仮想空間を定義し、この座標系で� �クロウ C は、テーブル T の中央に位置す� ��ように描画されている。

 実写映像と CG とを合成するためには、� ��想空間上に生成された CG を、スクリーン� ��投影して 2次元の画像を得る必要がある。� ��のスクリーンの位置を決めるカメラ配置、� ��なわち、カメラの撮影位置および撮影方向� ��、現実空間と一致するように仮想空間上に� ��定することで、実写映像と CG とを違和感� ��く合成することができる。

 すなわち、実写映像と合成する CG を生� ��するにあたって、その実写映像を撮影した� ��間のカメラ配置を、逐次、レンダリングエ� ��ジン 550に通知し、レンダリングエンジン  550は、逐次、通知されたカメラ配置をレンダ リングに反映させることで、実写映像と CG  とを違和感なく合成することができる。

 図7(a) のカメラ配置の下で、スクリーン� ��描画される映像は、図8(a) のようになる。

 次に、図7(a) と同じ対象を、異なるカメ� ��配置で撮影している様子を示した図が、図7 (b) である。この場合も、現実空間における� ��メラ配置が変更されたことに対応して、仮� ��空間におけるカメラ配置の設定を変更する� ��とで、CG を投影すべきスクリーンが変更さ れ、実写映像と CG とを違和感なく合成する ことができる。

 すなわち、図7(b) のカメラ配置の下で、� ��クリーンに描画される映像は、図8(b) のよ� ��になり、CG で描画されるフクロウ C のス� ��リーン上での位置が、実写映像と同期し、� ��ーブル T の上にのっているような合成映� �を表示することができる。

 図9 は、デジタルストリームに含まれる� ��ビデオフレームに、ビデオフレームID が割 り当てられており、各ビデオフレームID ご� �に、カメラ配置情報および光源配置情報が� �応付けられて、デジタルストリーム内に埋� �込まれていることを示す図である。

 デジタルストリームには、各ビデオフレ� ��ムごとに、そのビデオフレームを表示する� ��イミングを示すPTS が対応付けて記録され� �いる。

 図9 は、時間軸を表す PTS が t1 のとき 表示されるべきビデオフレームのビデオフレ ームID が F1、PTS が t2 のとき表示される� �きビデオフレームのビデオフレームID が F2  というように、ビデオフレームとそのビデ� ��フレームを表示すべきタイミングとが対応� ��けられていることを示している。

 図9(a) では、各ビデオフレームごとカメ� ��配置情報と光源配置情報とが対応付けられ� ��いる。例えば、ビデオフレームID F1 で示� �れるビデオフレームには、カメラ配置情報  C1 、および、光源配置情報 L1 が対応付け� �れている。

 ビデオフレームID F1 で示されるビデオ� �レームと合成する CG を、カメラ配置情報  C1 、および、光源配置情報 L1 に基づいて� �成することは従来から行われている。

 本実施形態における再生装置 100では、� �ビデオフレームごとに上記のような対応付� �をしているので、時刻 t1 のタイミングで� �ビデオフレームID F1 で示されるビデオフレ ームを表示する際に、カメラ配置情報 C1、  および、光源配置情報 L1 に基づいて CG を 生成し、時刻 t2 のタイミングで、ビデオフ レームID F2 で示されるビデオフレームを表� ��する際に、カメラ配置情報 C2、 および、� ��源配置情報 L2 に基づいて CG を生成する� ��いうように、カメラ配置情報、および、光� ��配置情報を逐次 CG の生成に反映させるこ� ��ができる。

 なお、ビデオフレームには、カメラ配置情� ��、および、光源配置情報が必ず対応付けら� ��ている必要はない。図9(b) は、カメラ配置� ��報は 2フレームごとに、光源配置情報は 3� ��レームごとに対応付けられている例を示す� ��カメラ配置情報あるいは光源配置情報が対� ��付けられていない場合は、直前と同じ値を� ��いる。この例では、ビデオフレームID F2 � �は、カメラ配置情報も光源配置情報も対応� �けられていないので、直前のビデオフレー� �ID F1 に対応付けられているカメラ配置情報  C1 および光源配置情報 L1 を用いる。
《配置情報の例》
 図10 は、カメラ配置情報および光源配置情 報の例を示す図である。

 カメラ配置情報には、カメラが設置され� ��位置を示す撮影位置、および、カメラが向� ��られた方向を示す撮影方向がある。

 撮影位置は、現実の空間に設けられた座� ��系における位置ベクトルであり、3次元空間 の 1点を表す 3つの成分により、カメラが設 置された位置が表現される。

 撮影方向は、現実の空間に設けられた座� ��系における方向ベクトルであり、原点を始� ��としたときの終点の座標によって、3次元空 間における 1つの方向を表す 3つの成分によ り、カメラが向けられた方向が表現される。

 これらの情報は、GPS(Global Positioning System ) や、撮影された映像内の被写体の位置を解 析することで、撮影時に取得され、ストリー ムデータを記録する装置によって、予めスト リームの中に記録される。

 光源配置情報には、光源が設置された位� ��を示す照射位置情報、および、光源が向け� ��れた方向を示す照射方向情報、光源が発す� ��光の強さを示す照射強度情報、光源が発す� ��光の色を示す色情報がある。

 照射位置情報は、現実の空間に設けられ� ��座標系における位置ベクトルであり、3次元 空間の 1点を表す 3つの成分により、光源が 設置された位置が表現される。光源が設置さ れた位置に基づいて、仮想空間上に形成され る CGモデルの、光が当たって明るくなって� �る部分、および、影になって暗くなってい� �部分が計算される。例えば、CGモデルの位置 と光源の位置との関係から、CGモデルの表面� ��うち光源を向いている側が明るく描画され� ��。また、CGモデルから光源の向きの逆方向� �、CGモデルの影が描画される。

 照射方向情報は、現実の空間に設けられ� ��座標系における方向ベクトルであり、原点� ��始点としたときの終点の座標によって、3次 元空間における 1つの方向を表す 3つの成分 により、光源が向けられた方向が表現される 。ただし、図10 に示した照射方向 (0, 0, 0)� �は、等方的な光源であるとする。光源が向� �られた方向に基づいて、仮想空間上に形成� �れる CGモデルの、光が当たって明るくなっ� ��いる部分、および、影になって暗くなって� ��る部分が計算される。光源から照射される� ��がCGモデルの方向を向いている場合は、そ� � CGモデルには光が当たり明るく描画され、C Gモデルの方向からそれている場合は、その  CGモデルには光が当たらず暗く描画される。

 照射強度情報は、光源が発する光の強さ� ��何らかの尺度で示したスカラー値であり、� ��が照射されない場合を 0 として、数値が� �きいほど強い光を示している。光源の照射� �度に基づいて、仮想空間上に形成される CG� ��デルの、光が当たっている部分の明るさが� ��算される。すなわち、照射強度が小さけれ� ��、CGモデルは暗く描画され、照射強度が大� �ければ、CGモデルは明るく描画される。

 色情報は、光源が発する光の色を、例えば� ��赤、緑、青の各成分の輝度を0~255 までの 8 ビットの整数値で表した RGB値で表現される� ��ただし、色情報は、8ビットの整数でなくて も、16ビットあるいはそれ以上でもよいし、R GB でなくても CMYK など他の表現方法でもよ い。光源の色に基づいて、仮想空間上に形成 される CGモデルの色を補正する計算がなさ� �る。例えば、光源の色が (64, 0, 0) のよう� ��赤みがかっている場合、CGモデルの色も赤� �がかるように補正される。
《カメラが動く場合》
 図11 は、カメラが移動する場合に再生され る合成映像の例である。

 図11(a) に示すように、カメラを左から右 へ移動しながら撮影したとき、実写映像と C G とが同期して動く様子が、図11(b)~(d) に示� ��れている。

 これらの合成映像がどのようにして合成� ��れたかを、図12 を用いて説明する。

 図12 には、カメラが左端にあるときに撮 影された実写映像のビデオフレームを示すビ デオフレーム ID を F1、カメラが中央にあ� �ときに撮影された実写映像のビデオフレー� �を示すビデオフレーム ID を F100、カメラ� �右端にあるときに撮影された実写映像のビ� �オフレームを示すビデオフレーム ID を F20 0 として、それぞれのビデオフレームと、そ れらと合成すべき CG、合成後の合成映像を� �している。

 まず、カメラが左端にあるとき、図11(b)  のように、人物 A とフクロウ C が画面に� �っている。この映像は次のようにして生成� �れる。

 カメラが左端にあるとき、カメラの撮影� ��置情報を C1 とし、この撮影位置で撮影さ� ��るビデオフレームのビデオフレーム ID F1  に対して、撮影位置情報 C1 が対応付けられ ているとする。

 デマルチプレクサ 552 は、ビデオフレー ム ID F1 で示されるビデオフレームをビデ� �デコーダ 554 に出力し、ビデオフレームは� ��ビデオデコーダ 554 で復号され、ビデオプ レーン 557 には、図12(a) に示す実写映像が� ��き込まれる。

 デマルチプレクサ 552 は、ビデオフレー ム ID F1 で示されるビデオフレームをビデ� �デコーダ 554 に出力する際に、ビデオフレ� ��ム ID F1 に対応付けられた撮影位置情報 C 1 をレンダリングエンジン 550 に出力する� �

 レンダリングエンジン 550 は、仮想空間 上でモデリングしたフクロウ C を、撮影位� ��情報 C1 で示される位置に設置したカメラ� ��撮影したときに得られる画像を生成し、図1 2(d) に示す CG が、イメージプレーン 556 � �書き込まれる。

 ビデオプレーン 557 に書き込まれた図12( a) に示す実写映像と、イメージプレーン 556  に書き込まれた図12(d) に示す CG とが、合 成器 558 によって合成され、図12(g) に示す� ��成映像が得られる。

 次に、カメラが中央付近まで移動すると� ��図11(c) のように、人物 A が画面から消え� ��フクロウ C が画面の中央付近に映るよう� �なる。この映像は次のようにして生成され� �。

 カメラが中央にあるとき、カメラの撮影� ��置情報を C100 とし、この撮影位置で撮影� �れるビデオフレームのビデオフレーム ID F1 00 に対して、撮影位置情報 C100 が対応付け られているとする。

 再生時刻が進むとともに、表示するビデ� ��フレームを示すビデオフレーム ID が変化� ��、それに対応付けられている撮影位置情報� ��変化する。

 従って、デマルチプレクサ 552 から ビ� ��オデコーダ 554 に出力され、ビデオプレー ン 557 に書き込まれる実写映像は、図12(a) � ��ら図12(b) のように変化する。

 また、デマルチプレクサ 552 が レンダ� ��ングエンジン 550 に出力する撮影位置情報 が変化するので、イメージプレーン 556 に� �き込まれる CG も、図12(d) から図12(e) のよ うに変化する。

 ビデオプレーン 557 に書き込まれた図12( b) に示す実写映像と、イメージプレーン 556  に書き込まれた図12(e) に示す CG とが、合 成器 558 によって合成され、図12(h) に示す� ��成映像が得られる。

 最後に、カメラが右端まで移動すると、� ��11(d) のように、フクロウ C は画面の左に� ��るようになり、人物 B が現れる。この映� �は次のようにして生成される。

 カメラが右端にあるとき、カメラの撮影� ��置情報を C200 とし、この撮影位置で撮影� �れるビデオフレームのビデオフレーム ID F2 00 に対して、撮影位置情報 C200 が対応付け られているとする。

 この場合も上記と同様で、再生時刻が進� ��とともに、表示するビデオフレームを示す� ��デオフレーム ID が変化し、それに対応付� ��られている撮影位置情報も変化する。

 従って、デマルチプレクサ 552 から ビ� ��オデコーダ 554 に出力され、ビデオプレー ン 557 に書き込まれる実写映像は、図12(b) � ��ら図12(c) のように変化する。

 また、デマルチプレクサ 552 が レンダ� ��ングエンジン 550 に出力する撮影位置情報 が変化するので、イメージプレーン 556 に� �き込まれる CG も、図12(e) から図12(f) のよ うに変化する。

 ビデオプレーン 557 に書き込まれた図12( c) に示す実写映像と、イメージプレーン 556  に書き込まれた図12(f) に示す CG とが、合 成器 558 によって合成され、図12(i) に示す� ��成映像が得られる。

 以上のように実写映像の動きに合わせて� ��CG の位置を調整することで、実写映像と C G とを違和感なく合成することができる。

 以上のように実写映像の撮影状況を表すカ� ��ラの位置を、実写映像と CG とのスクリー� ��上での動きが一致し、違和感のない映像を� ��成することができる。
《光源が動く場合》
 図13 は、光源が移動する場合に再生される 合成映像の例である。

 図13(a) に示すように、光源であるランプ  L をもって左から右へ移動する人を撮影し� ��とき、実写映像と CG との陰影が同期して� ��化する様子が、図13(b)~(d) に示されている� �

 光源が左端にあるとき、図13(b) のように 、瓶 D とフクロウ C の影が右側にできる� �

 光源が中央付近まで移動すると、図13(c)  のように、瓶 D の影は左側にでき、フクロ� �� C の影は右側にできる。

 光源が右端まで移動すると、図13(d) のよう に、フクロウ C の影は左側にできる
 これらの映像は、次のようにして生成され� ��。すなわち、図11および図12では、カメラが 移動することで、撮影されたビデオフレーム を示すビデオフレーム ID に対応付けられた 撮影位置情報が変化していくため、撮影位置 情報に応じて CG も変化していく例を示した 。図13では、撮影位置情報の代わりに、光源� ��置情報が変化していくので、それに応じて� �CG に描画される陰影も変化していく。

 以上のように実写映像の撮影状況を表す光� ��の位置を、逐次 CG の生成に反映させるこ� ��で、実写映像と CG との陰影の動きが一致� ��、違和感のない映像を合成することができ� ��。
《合成映像生成動作》
 図14 は、実写映像と CG とを合成して、合 成映像を生成する処理を示すフローチャート である。再生装置 100は、ストリームの再生� ��おいて、以下のステップを繰り返し行う。

 まず、デマルチプレクサ 552によって多重� �離されたビデオストリームから、ビデオデ� �ーダ 554が、ビデオフレームID F で示され� �ビデオフレームを取得する。(S1301)
 ビデオデコーダ 554は、ビデオフレームID F  で示されるビデオフレームをビデオプレー� �� 557に書き出すとともに、ビデオフレームID  F に、カメラ配置情報が対応付けられてい� ��かどうかを判定し(S1302)、カメラ配置情報が 対応付けられていれば(S1302 Y)、そのカメラ� �置情報を現在のカメラ配置情報 C とする(S1 303)。カメラ配置情報が対応付けられていな� �れば(S1302 N)、直前に用いたカメラ配置情報� ��現在のカメラ配置情報 C とする(S1304)。

 同様に、ビデオデコーダ 554は、ビデオ� �レームID F に、光源配置情報が対応付けら� ��ているかどうかを判定し(S1305)、光源配置情 報が対応付けられていれば(S1305 Y)、その光� �配置情報を現在の光源配置情報 L とする(S1 306)。光源配置情報が対応付けられていなけ� �ば(S1305 N)、直前に用いた光源配置情報を現� ��の光源配置情報 L とする(S1307)。

 ビデオデコーダ 554は、現在のカメラ配� �情報 C と現在の光源配置情報 L とを、レ� ��ダリングエンジン 550に通知し、レンダリ� �グエンジン 550は、カメラ配置情報 C と光� ��配置情報 L とに基づいて、グラフィック� � G を生成し(S1308)、イメージプレーン 556に 書き出す。

 最後に、合成器 558は、グラフィックス  G がイメージプレーン 556に書き出されたこ� ��を検知して、ビデオプレーン 557に書き出� �れたビデオフレームと、イメージプレーン  556に書き出されたグラフィックス G とを読� ��出して、それらを合成する(S1309)。合成され た映像は、テレビ出力部 559を介してテレビ� �101に出力される。

 以上は、ビデオデコーダ 554が 1枚のビデ� �フレームをデコードし、ビデオプレーン 557 に書き出されたあと、合成器 558で合成され� ��までのステップである。本実施形態におけ� ��再生装置 100は、上述のステップを各ビデ� �フレームごとに繰り返し実行する。それに� �り、実写映像のビデオフレームごとに対応� �けられたカメラ配置情報あるいは光源配置� �報に応じて、実写映像と合成しても違和感� �ない CG を生成し、リアリティのある合成� �像を生成することができる。
《補足》
 なお、本実施形態では、撮影状況を表すパ� ��メータとして、カメラ配置情報と光源配置� ��報とを例に説明をしたが、これらのいずれ� ��一方だけでもよい。また、これらの以外の� ��影状況を表すパラメータであっても、その� ��ラメータとビデオフレームID とを対応付け ることで、CG の生成において、撮影状況を� �示態様に反映できることは言うまでもない� �

 また、本実施形態では、ビデオフレームI D とパラメータとの対応付けをPTS を介して� ��う例を示したが、PTS でなくても何らかの� �序をもってビデオフレームの表示タイミン� �を示す時間情報であってもよい。

 また、ビデオフレームID とパラメータと の対応付けは、PTS などの時間情報を介さな� ��ても、直接対応付けるようにしてもよい。