以下、本発明の各実施の形態について、� ��面を参照して詳細に説明する。

 (実施の形態1)
 図1は、本発明の実施の形態1に係る視聴質� �報判定装置を含む視聴質データ生成装置の� �成を示すブロック図である。以下、視聴質� �報の判定の対象が、映画やドラマなど、音� �付きの映像コンテンツである場合について� �明する。

 図1において、視聴質データ生成装置100は 、感情情報生成部200、感情期待値情報生成部 300、視聴質データ生成部400、および視聴質デ ータ格納部500を有する。

 感情情報生成部200は、視聴質判定の対象� ��なる視聴者に生起した感情を示す感情情報� ��、視聴者から検出される生体情報から生成� ��る。ここで、感情とは、喜怒哀楽といった� ��動のみならず、リラックスなどの気分をも� ��む精神状態全般を指すものとする。また、� ��情の生起とは、ある精神状態から異なる精� ��状態へと遷移することを含むものとする。� ��情情報生成部200は、センシング部210および� ��情情報取得部220を有する。

 センシング部210は、センサやディジタル� ��メラなどの検出装置(図示せず)に接続され� �視聴者の生体情報を検出(センシング)する。 視聴者の生体情報には、たとえば、視聴者の 心拍数、脈拍、体温、顔の筋電変化、音声な どが含まれる。

 感情情報取得部220は、センシング部210で� ��られた視聴者の生体情報から、感情実測値� ��感情生起時間とを含む感情情報を生成する� ��ここで、感情実測値とは、視聴者に生起し� ��感情を示す値であり、感情生起時間とは、� ��れぞれの感情が生起した時間である。

 感情期待値情報生成部300は、映像コンテ� ��ツを視聴する際に視聴する視聴者に生起す� ��と期待される感情を示す感情期待値情報を� ��映像コンテンツの編集内容から生成する。� ��情期待値情報生成部300は、映像取得部310、� ��像操作/属性情報取得部320、参照点感情期待 値算出部330、および参照点感情期待値変換テ ーブル340を有する。

 映像取得部310は、視聴者が視聴する映像� ��ンテンツを取得する。具体的には、映像取� ��部310は、たとえば、地上波放送や衛星放送� ��受信データ、DVDやハードディスクなどの記� ��媒体、またはインターネット上の映像配信� ��ーバから、映像コンテンツのデータを取得� ��る。

 映像操作/属性情報取得部320は、映像コン テンツの番組属性情報や番組操作情報を含む 映像操作/属性情報を取得する。具体的には� �映像操作/属性情報取得部320は、たとえば、� ��像コンテンツの再生を操作するリモートコ� ��トローラの操作履歴から、映像操作情報を� ��得する。また、映像操作/属性情報取得部320 は、再生される映像コンテンツに付加された 情報や、映像コンテンツ制作側の情報サーバ から、映像コンテンツの属性情報を取得する 。

 参照点感情期待値算出部330は、映像コン� ��ンツから参照点を検出する。また、参照点� ��情期待値算出部330は、参照点感情期待値変� ��テーブル340を用いて、検出した参照点に対� ��する感情期待値を算出し、感情期待値情報� ��生成する。ここで、参照点とは、映像コン� ��ンツにおいて、視聴者に心理的あるいは感� ��的影響を与える映像編集が存在する箇所ま� ��は区間である。感情期待値とは、視聴者が� ��像コンテンツを視聴する際に上記映像編集� ��内容に基づいて各参照点で視聴者に生起す� ��と期待される感情を示すパラメータである� ��感情期待値情報とは、感情期待値と各参照� ��の時間とを含む情報である。

 参照点感情期待値変換テーブル340は、音� ��(BGM:BackGround Music)、効果音、映像ショット� �カメラワークごとに、それぞれの内容と感� �期待値とをあらかじめ対応付けて記述する� �

 視聴質データ生成部400は、感情情報と感� ��期待値情報とを比較し、視聴者が前記コン� ��ンツをどの程度関心を持って視聴したかを� ��定して、判定結果を示す視聴質データ情報� ��生成する。視聴質データ生成部400は、時間� ��致性判定部410、感情一致性判定部420、およ� ��統合判定部430を有する。

 時間一致性判定部410は、時間一致性の有� ��を判定し、判定結果を示す時間一致性判定� ��報を生成する。ここで、時間一致性は、感� ��情報と感情期待値情報とで感情が生起する� ��イミングが同期することをいう。

 感情一致性判定部420は、感情一致性の有� ��を判定し、判定結果を示す感情一致性判定� ��報を生成する。ここで、感情一致性は、感� ��情報と感情期待値情報とで感情が類似する� ��とをいう。

 統合判定部430は、時間一致性判定情報と� ��情一致性判定情報とを統合して、視聴者が� ��の程度関心を持って映像コンテンツを見て� ��るかを判定し、判定結果を示す視聴質デー� ��情報を生成する。

 視聴質データ格納部500は、生成された視� ��質データ情報を格納して保持する。

 視聴質データ生成装置100は、たとえば、C PU(Central Processing Unit)、制御プログラムを格� ��したROM(Read Only Memory)などの記憶媒体、RAM(R andom Access Memory)などの作業用メモリなどで� �現できる。この場合、CPUが制御プログラム� �実行することで、上記各部の機能は実現さ� �る。

 視聴質データ生成装置100の動作説明の前� ��、まず、視聴質データ生成装置100における� ��情の定義に用いられる感情モデルと、参照� ��感情期待値変換テーブル340の内容について� ��明する。

 図2は、視聴質データ生成装置100において 用いられる2次元感情モデルの一例を示す説� �図である。図2に示す2次元感情モデル600は、 LANG感情モデルと呼ばれるものであり、快と� �快の度合いである快度を示す横軸と、興奮� �たは緊張とリラックスの度合いである覚醒� �を示す縦軸の2軸により形成される。2次元感 情モデル600の2次元空間では、縦軸と横軸と� �関係から、「興奮(Excited)」、「沈静(Relaxed)� �、「哀しみ(Sad)」など、感情種別ごとに領域 が定義されている。2次元感情モデル600を用� �ることにより、縦軸の値と横軸の値との組� �せによって、感情を簡単に表現することが� �きる。上記した感情期待値および感情実測� �は、この2次元感情モデル600における座標値� ��あり、感情を間接的に表現する。

 ここでは、たとえば、座標値(4,5)は、「� �奮」という感情種別の領域内に位置してい� �。したがって、座標値(4,5)の感情期待値およ び感情実測値は、「興奮」という感情を示す 。また、座標値(-4,-2)は、「哀しみ」という� �情種別の領域内に位置している。したがっ� �、座標値(-4,-2)の感情期待値および感情実測� ��は、「哀しみ」という感情種別を示す。2次 元感情モデル600において、感情期待値と感情 実測値との距離が短い場合、それぞれが示す 感情は類似した感情であるといえる。

 なお、感情モデルとして、2次元以上の空 間やLANG感情モデル以外のモデルを用いても� �い。たとえば、3次元感情モデル(快/不快、� �奮/沈静、緊張/弛緩)や、6次元感情モデル(怒 り、恐れ、哀しみ、喜び、嫌悪、驚き)を用� �る。このようなより高次元の感情モデルを� �いた場合には、感情種別をより細分化して� �現することができる。

 次に、参照点感情期待値変換テーブル340� ��ついて説明する。参照点感情期待値変換テ� ��ブル340は、複数の変換テーブルと、これら� ��数の変換テーブルを管理するための参照点� ��別情報管理テーブルとを含む。複数の変換� ��ーブルは、映像コンテンツの映像編集の種� ��ごとに用意されている。

 図3A~図3Dは、変換テーブルの構成の例を� �す説明図である。

 図3Aに示す楽曲変換テーブル341aは、映像� ��ンテンツに含まれるBGMの内容と感情期待値� ��を対応付けており、「Table_BGM」というテー� ��ル名が付けられている。BGMの内容は、調性� ��テンポ、ピッチ、リズム、和声、および旋� ��のパラメータの組み合わせで表現され、組� ��せごとに、感情期待値が対応付けられてい� ��。

 図3Bに示す効果音変換テーブル341bは、映� ��コンテンツに含まれる効果音の内容を示す� ��ラメータと感情期待値とを対応付けており� ��「Table_ESound」というテーブル名が付けられ� ��いる。

 図3Cに示す映像ショット変換テーブル341c� ��、映像コンテンツに含まれる映像ショット� ��内容を示すパラメータと感情期待値とを対� ��付けており、「Table_Shot」というテーブル名 が付けられている。

 図3Dに示すカメラワーク変換テーブル341d� ��、映像コンテンツに含まれるカメラワーク� ��内容を示すパラメータと感情期待値とを対� ��付けており、「Table_CameraWork」というテーブ ル名が付けられている。

 たとえば、効果音変換テーブル341bでは、 「歓声音」という効果音の内容に対して、感 情期待値「(4,5)」が対応付けられている。ま� ��、この感情期待値「(4,5)」は、上記したよ� �に感情種別「興奮」を示す。この対応付け� �、映像コンテンツを視聴する際に関心を持� �て視聴している状態であれば、通常、歓声� �が挿入された箇所で視聴者は興奮するとい� �ことを意味する。また、楽曲変換テーブル34 1aでは、「調整:短調、テンポ:遅い、ピッチ:� ��い、リズム:固定、和声:複雑」というBGMの� �容に対して、感情期待値「(-4,-2)」が対応付� ��られている。また、この感情期待値「(-4,-2) 」は、上記したように感情種別「悲しみ」を 示す。この対応付けは、映像コンテンツを視 聴する際に関心を持って視聴している状態で あれば、通常、上記内容のBGMが挿入された箇 所で視聴者は哀しい気分になるということを 意味する。

 図4は、参照点種別情報管理テーブルの一 例を示す説明図である。図4に示す参照点種� �情報管理テーブル342は、映像コンテンツか� �取得される参照点の種別を示す参照点種別� �報に、図3A~図3Dに示す変換テーブル341のテー ブル名を、それぞれテーブル種別ナンバー(No .)を付した状態で対応付けている。この対応� ��けは、参照点がどの種別のときに、どの変� ��テーブル341を参照すべきかを示している。

 たとえば、「BGM」という参照点種別情報� ��は、「Table_BGM」というテーブル名が対応付� ��られている。この対応付けは、取得した参� ��点の種別が「BGM」であった場合には、図3A� �示すテーブル名「Table_BGM」の楽曲変換テー� �ル341aを参照することを指定するものである� ��

 以下、上記構成を有する視聴質データ生� ��装置100の動作について説明する。

 図5は、視聴質データ生成装置100における 視聴質データ生成処理の全体的な流れの一例 を示すフローチャートである。まず、視聴者 から必要な生体情報を検出するためのセンサ やディジタルカメラのセッティングなどが行 われ、このセッティングが完了すると、ユー ザ操作等を受けて、視聴質データ生成装置100 の視聴質データ生成処理が開始される。

 まず、ステップS1000で、センシング部210� �、映像コンテンツ視聴時の視聴者の生体情� �をセンシングし、取得した生体情報を感情� �報取得部220に出力する。生体情報は、たと� �ば、脳波、皮膚電気抵抗値、皮膚コンダク� �ンス、皮膚温度、心電図周波数、心拍数、� �拍、体温、筋電、顔画像、音声などを含む� �

 次いで、ステップS1100で、感情情報取得� �220は、たとえば1秒など所定の時間間隔ごと� ��生体情報を解析し、視聴者の映像コンテン� ��視聴時の感情を示す感情情報を生成して視� ��質データ生成部400に出力する。人間の生理� ��信号は、人間の感情の変化に応じて変化す� ��ことが知られている。感情情報取得部220は� ��この感情の変化と生理的信号の変化との関� ��を用いて、生体情報から感情実測値を取得� ��る。

 たとえば、人間は、よりリラックスした� ��態にあるほど、脳波におけるアルファ(α)波 成分の割合が大きくなることが知られている 。また、驚きや恐怖、心配によって皮膚電気 抵抗値が上昇することや、喜びの感情が大き く生起すると皮膚温度や心電図周波数が上が ること、心理的・精神的に安定している場合 には心拍数や脈拍はゆっくりとした変化を示 すことなどが知られている。また、上記した 生理的指標以外にも、人間は、喜怒哀楽など の感情に応じて、泣く、笑う、怒るなど、表 情や音声の種類が変化することが知られてい る。さらに、人間は、落ち込んでいるときに は声が小さくなり、怒ったり喜んだりしてい るときには声が大きくなる傾向があることも 知られている。

 したがって、皮膚電気抵抗値、皮膚温度� ��心電図周波数、心拍数、脈拍、音声レベル� ��検出、脳波におけるα波成分の割合の解析� �顔の筋電変化や画像に基づく表情認識、ま� �は音声認識などにより、生体情報を取得し� �生体情報から、その人間の感情を解析する� �とが可能である。

 具体的には、感情情報取得部220は、たと� ��ば、上記各生体情報の値を図2に示す2次元� �情モデル600の座標値に変換するための変換� �ーブルや変換式を、あらかじめ格納してい� �。そして、感情情報取得部220は、センシン� �部210から入力された生体情報を、変換テー� �ルや変換式を用いて2次元感情モデル600の2次 元空間にマッピングし、該当する座標値を感 情実測値として取得する。

 たとえば、皮膚コンダクタンス信号(skin  conductance)は、覚醒度に応じて増加し、筋電信 号(electromyography:EMG)は、快度に応じて変化す� �。したがって、視聴者の視聴コンテンツに� �する好ましさの程度に対応付けて、あらか� �め皮膚コンダクタンスを測定しておくこと� �より、覚醒度を示す縦軸に皮膚コンダクタ� �ス信号の値を対応付け、快度を示す横軸に� �電信号の値を対応付けて、生体情報の2次元� ��情モデル600の2次元空間へのマッピングを行 うことができる。これらの対応付けをあらか じめ用意しておき、皮膚コンダクタンス信号 と筋電信号とを検出することにより、簡単に 感情実測値を取得することができる。生体情 報を感情モデル空間にマッピングする具体的 手法は、たとえば、文献“Emotion Recognition fr om Electromyography and Skin Conductance”(Arturo Naka sone,Helmut Prendinger,Mitsuru Ishizuka,The Fifth Intern ational Workshop on Biosignal Interpretation,BSI-05,Toky o,Japan,2005,pp.219-222)に記載されているため、こ こでの説明を省略する。

 図6は、感情情報取得部220から出力される 感情情報の構成の一例を示す説明図である。 感情情報610は、感情情報ナンバー、感情生起 時間[秒]、および感情実測値を含む。感情生� ��時間は、対応する感情実測値が示す種別の� ��情が生起した時間を、基準時刻からの経過� ��間で示す。基準時刻は、たとえば映像開始� ��間である。この場合には、たとえば映像コ� ��テンツの絶対時間であるタイムコードを用� ��て、感情生起時間を取得することができる� ��なお、基準時刻は、たとえば、視聴を行う� ��所の標準時で表され、感情情報610に付加さ� ��る。

 ここでは、たとえば、「13秒」という感� �生起時間に、「(-4,-2)」という感情実測値が� ��応付けられている。この対応付けは、感情� ��報取得部220が、基準時刻から13秒後に得ら� �た視聴者の生体情報から感情実測値「(-4,-2)� ��を取得したことを示す。つまり、基準時刻� ��ら13秒後に視聴者に「哀しみ」の感情が生� �したことを示す。

 ただし、感情情報取得部220は、感情モデ� ��において感情種別が変化する場合の情報の� ��を、感情情報として出力するようにしても� ��い。この場合には、たとえば、感情情報ナ� ��バー「002」、「003」の情報は、感情情報ナ� ��バー「001」の情報と同じ感情種別に対応す� ��ため、出力されない。

 次に、ステップS1200で、映像取得部310は� �視聴者が視聴する映像コンテンツを取得し� �参照点感情期待値算出部330に出力する。視� �者が視聴する映像コンテンツは、たとえば� �地上波放送や衛星放送などの映像番組、DVD� �ハードディスクなどの記憶媒体に蓄積され� �映像データ、またはインターネットからダ� �ンロードされる映像ストリーム等である。� �像取得部310は、視聴者に対して再生される� �像コンテンツのデータを直接に取得しても� �く、視聴者に対して再生される映像と同一� �映像内容の別のデータを取得してもよい。

 ステップS1300で、映像操作/属性情報取得� ��320は、映像コンテンツに対する映像操作情� ��や、映像コンテンツの属性情報を取得する� ��そして、映像操作/属性情報取得部320は、取 得した情報から映像操作/属性情報を生成し� �、参照点感情期待値算出部330に出力する。� �像操作情報は、視聴者による操作の内容お� �び各操作の時間を示す情報である。具体的� �は、映像操作情報は、たとえば、視聴者が� �モートコントローラなどのインタフェース� �用いて、どのチャンネルからどのチャンネ� �へ変更したか、この変更をいつ行ったか、� �たは映像の再生や停止をいつ行ったか等を� �す。属性情報は、視聴者が視聴する映像コ� �テンツのID(IDentifier)番号、放送チャンネル、 ジャンルなど、処理の対象を識別するための 映像コンテンツの属性を示す情報である。

 図7は、映像操作/属性情報取得部320から� �力される映像操作/属性情報の構成の一例を� ��す説明図である。図7に示すように、映像操 作/属性情報620は、インデックスナンバー(Inde x Number)、ユーザID、コンテンツID、コンテン� ��名、ジャンル、視聴開始時相対時間[秒]、� �よび視聴開始時絶対時間[年月日時分秒]を含 む。視聴開始時相対時間は、映像コンテンツ の開始時間からの経過時間を示す。視聴開始 時絶対時間は、映像コンテンツの開始時間を 、たとえば視聴を行う場所の標準時で表す。

 図7に示す映像操作/属性情報620では、た� �えば、「ハリービーター」というコンテン� �名には、「Null」という視聴開始時相対時間� ��対応付けられている。この対応付けは、該� ��する映像コンテンツが、たとえば生放送の� ��像番組であり、映像開始時間から視聴開始� ��での経過時間(視聴開始時相対時間)が0秒で� ��ることを示す。この場合、視聴質判定の対� ��となる映像区間は、放送中の映像と同期す� ��。一方、「羅塾門」というコンテンツ名に� ��、「20秒」という視聴開始時相対時間が対� �付けられている。この対応付けは、該当す� �映像コンテンツが、たとえば、録画した映� �データであり、映像開始時間から20秒後に視 聴が開始されたことを示す。

 図2のステップS1400で、参照点感情期待値� ��出部330は、参照点感情期待値情報算出処理� ��実行する。ここで、参照点感情期待値情報� ��出処理は、映像コンテンツおよび映像操作/ 属性情報から各参照点の時間と感情期待値を 算出する処理である。

 図8は、参照点感情期待値算出部330による 参照点感情期待値情報算出処理の流れの一例 を示すフローチャートであり、図5のステッ� �S1400に対応するものである。参照点感情期待 値算出部330は、映像コンテンツを単位時間S� �とに分割した映像部分を、1つずつ取得する� ��そして、参照点感情期待値算出部330は、映� ��部分を1つ取得するごとに、参照点感情期待 値情報算出処理を実行する。以下、添え字の パラメータiは、ある映像部分で検出した参� �点の番号を示し、初期値をi=0とする。なお� �映像部分は、シーン単位でも良い。

 まず、ステップS1410で、参照点感情期待値� �出部330は、映像部分から、参照点Vp _i を検出する。そして、参照点感情期待値算出 部330は、検出した参照点Vp _i における映像編集の種別である参照点種別Typ e _i と、その参照点種別Type _i の映像パラメータP _i とを抽出する。

 参照点種別Typeとして、ここでは、「BGM」 、「効果音」、「映像ショット」、および「 カメラワーク」が、あらかじめ定められてい るものとする。図3A~図3Dに示す変換テーブル� ��、これらの参照点種別Typeに対応して用意さ れている。図4に示す参照点種別情報管理テ� �ブル342に記述される参照点種別情報は、参� �点種別Typeに対応している。

 映像パラメータP _i は、それぞれの映像編集の内容を示すパラメ ータとしてあらかじめ定められたものである 。図3A~図3Dに示す変換テーブル341に記述され� ��各パラメータは、映像パラメータP _i に対応している。たとえば、参照点種別Type� �「BGM」の場合、参照点感情期待値算出部330� �、調性、テンポ、ピッチ、リズム、和声、� �よび旋律の映像パラメータP _i を抽出する。このため、図3Aに示す楽曲変換� ��ーブル341aには、参照点種別情報管理テーブ ル342で参照点種別情報「BGM」に対応付けられ ており、調性、テンポ、ピッチ、リズム、和 声、および旋律のパラメータが記述されてい る。

 参照点種別Typeが「BGM」の参照点Vpの検出� ��具体的手法については、たとえば、文献「� ��数の音符列から構成される音楽データを対� ��とした印象メタデータ抽出方式」(石橋直樹 等、日本データベース学会Letters、Vol.2,No.2)に 記載されているので、ここでの説明を省略す る。

 また、参照点種別Typeが「効果音」の参照 点Vpの検出の具体的手法については、たとえ� ��文献「映画における音楽、効果音(SE)の印象 評価」(濱村正治等、信学技報、2000-03)に記載 されているので、ここでの説明を省略する。

 また、参照点種別Typeが「映像ショット」 の参照点Vpの検出の具体的手法については、� ��とえば、文献「ショット長遷移による演出� ��利用した映像の編集」(竹本楽・吉高淳夫・ 平嶋宗、ヒューマン情報処理研究会、2006-1-19 ~20)に記載されているので、ここでの説明を� �略する。

 また、参照点種別Typeが「カメラワーク」 の参照点Vpの検出の具体的手法については、� ��とえば、特許文献特開2003-61112号公報(カメ� �ワーク検出装置およびカメラワーク検出方� �)、および文献「カメラワークを利用した演� ��効果の抽出」(松井亮治・吉高淳夫・平嶋宗 、信学技報、Technical Report of IEICE,PRMU2004-167, 2005-01)に記載されているので、ここでの説明� ��省略する。

 次いで、ステップS1420で、参照点感情期待� �算出部330は、参照点相対開始時間T _i-ST および参照点相対終了時間T _i-EN を取得する。ここで、参照点相対開始時間は 、映像開始時間からの相対時間における参照 点Vp _i の開始時間である。また、参照点相対終了時 間は、映像開始時間からの相対時間における 参照点Vp _i の終了時間である。

 次いで、ステップS1430で、参照点感情期待� �算出部330は、参照点種別情報管理テーブル34 2を参照し、参照点種別Type _i に対応する変換テーブル341を特定する。そし て、参照点感情期待値算出部330は、特定した 変換テーブル341を取得する。たとえば、参照 点種別Type _i が「BGM」の場合には、図3Aに示す楽曲変換テ� ��ブル341aが取得される。

 次いで、ステップS1440で、参照点感情期待� �算出部330は、映像パラメータP _i と取得した変換テーブル341に記述されたパラ メータとのマッチングを行い、映像パラメー タP _i と一致するパラメータを検索する。一致する パラメータが存在した場合には(S1440:YES)、ス� ��ップS1450に進み、一致するパラメータが存� �しない場合には(S1440:NO)、ステップS1450を経� �に、次のステップS1460に進む。

 ステップS1450で、参照点感情期待値算出部33 0は、映像パラメータP _i と一致するパラメータに対応する感情期待値 e _i を取得し、ステップS1460に進む。たとえば、� ��照点種別Type _i が「BGM」であり、映像パラメータP _i が「調整:短調、テンポ:遅い、ピッチ:低い、 リズム:固定、和声:複雑」であった場合には� ��図3Aに示す「M_002」というインデックスナン バーの各パラメータが一致する。したがって 、対応する感情期待値として、「(-4,-2)」が� �得される。

 ステップS1460で、参照点感情期待値算出部33 0は、映像部分に他の参照点Vpが存在するか否 かを判別する。参照点感情期待値算出部330は 、映像部分に他の参照点Vpが存在する場合に� ��(S1460:YES)、ステップS1470でパラメータiの値� �1つ増加させ、ステップS1420へ戻って、次の� �照点Vp _i に対する解析を行う。映像部分の全ての参照 点Vp _i に対する解析が終了した場合(S1460:NO)、参照� �感情期待値算出部330は、感情期待値情報を� �成し、図1に示す時間一致性判定部410および� ��情一致性判定部420のそれぞれに出力して(ス テップS1480)、一連の処理を終了する。ここで 、感情期待値情報は、各参照点の参照点相対 開始時間T _i-ST および参照点相対終了時間T _i-EN と、参照した変換テーブルのテーブル名と、 感情期待値e _i とを含み、これらを参照点ごとに対応付けた 情報である。そして、図2のステップS1500、S16 00に進む。

 なお、ステップS1440でのパラメータのマ� �チングは、たとえば、最も類似するパラメ� �タを一致するパラメータと判断し、ステッ� �S1450に進むようにしてもよい。

 図9は、参照点感情期待値算出部330が出力 する感情期待値情報の構成の一例を示す説明 図である。図9に示すように、感情期待値情� �630は、ユーザID、操作情報インデックスナン バー、参照点相対開始時間[秒]、参照点相対� ��了時間[秒]、参照点感情期待値変換テーブ� �名、参照点インデックスナンバー、参照点� �情期待値、参照点開始絶対時間[年月日時分� ��]、および参照点終了絶対時間[年月日時分� �]を含む。参照点開始絶対時間および参照点� ��了絶対時間は、参照点相対開始時間および� ��照点相対終了時間を、たとえば視聴を行う� ��所の標準時で表したものである。参照点感� ��期待値算出部330は、参照点開始絶対時間お� ��び参照点終了絶対時間を、たとえば、図7に 示す映像操作/属性情報620の視聴開始時相対� �間および視聴開始時絶対時間から求める。

 なお、図8に示す参照点感情期待値情報算出 処理において、参照点感情期待値算出部330は 、映像部分の開始位置から終了位置へと小刻 みに仮の参照点を設定し、感情種別が変化す る箇所を特定し、該当箇所を、視聴者に感情 の変化を与えることが期待される映像編集(� �下単に「映像編集」という)が存在する箇所� ��判断し、参照点Vp _i として扱うようにしてもよい。

 具体的には、参照点感情期待値算出部330� ��、たとえば、映像部分の開始部分を仮の参� ��点に設定し、BGM、効果音、映像ショット、� ��よびカメラワークの内容を解析する。そし� ��、図3A~図3Dに示す各変換テーブル341に記述� �れたパラメータで該当するものを検索して� �該当するパラメータが存在した場合には対� �する感情期待値を取得する。参照点感情期� �値算出部330は、このような解析と検索とを� �映像部分の終了部分へ向かって小刻みに繰� �返し行う。

 そして、参照点感情期待値算出部330は、2つ め以降の感情期待値が取得されるごとに、直 前に取得された感情期待値と、新たに取得さ れた感情期待値との間で、2次元感情モデル� �対応する感情種別が変化したか否か、つま� �映像編集が存在するか否かを判別する。参� �点感情期待値算出部330は、感情種別が変化� �た場合には、感情期待値が取得された参照� �を参照点Vp _i として検出し、感情種別の変化の元となる映 像部分の構成要素の種別を種別Type _i として検出する。

 なお、参照点感情期待値算出部330は、1つ 前の他の映像部分で既に参照点の解析を行っ ている場合には、その解析結果を用いて、1� �目の感情期待値が取得された時点で感情種� �の変化の有無を判別してもよい。

 このようにして、視聴質データ生成部400� ��感情情報と感情期待値情報が入力されると� ��処理は図5のステップS1500およびステップS160 0に進む。

 まず、図5のステップS1500について説明す� ��。図5のステップS1500で、時間一致性判定部4 10は、時間一致性判定処理を実行する。ここ� ��、時間一致性判定処理は、感情情報と感情� ��待値情報との時間一致性の有無を判定する� ��理である。

 図10は、時間一致性判定部410による時間� �致性判定処理の流れの一例を示すフローチ� �ートであり、図5のステップS1500に対応する� �のである。時間一致性判定部410は、映像コ� �テンツの単位時間Sごとの映像部分のそれぞ� ��について、以下に説明する時間一致性判定� ��理を実行する。

 まず、ステップS1510で、時間一致性判定� �410は、単位時間Sの映像部分に対応する感情� ��待値情報を取得する。ここで、該当する参� ��点が複数存在する場合には、それぞれに対� ��する感情期待値情報を取得する。

 図11は、1つの単位時間に複数の参照点が複� ��存在する様子を示す説明図である。ここで� ��、単位時間Sの映像部分において、時間T ₁ を開始時間とする参照点種別Type ₁ 「BGM」の参照点Vp ₁ と、時間T ₂ を開始時間とする参照点種別Type ₂ 「映像ショット」の参照点Vp ₂ が検出された場合を示している。また、参照 点Vp ₁ に対応して感情期待値e ₁ が取得され、参照点Vp ₂ に対応して感情期待値e ₂ が取得された場合を示している。

 図10のステップS1520で、時間一致性判定部410 は、感情期待値情報から、単位時間Sの映像� �分を代表する参照点の参照点相対開始時間T _{exp_st} を算出する。具体的には、時間一致性判定部 410は、感情種別が変化する参照点を代表的な 参照点とし、その参照点相対開始時間を、参 照点相対開始時間T _{exp_st} として算出する。

 ここで、時間一致性判定部410は、映像コン� ��ンツがリアルタイム放送映像の場合は、参� ��点相対開始時間T _{exp_st} =参照点開始絶対時間とする。また、時間一� �性判定部410は、映像コンテンツが録画映像� �場合は、参照点相対開始時間T _{exp_st} =参照点相対開始時間とする。図11に示すよう に、感情種別が変化する参照点Vpが複数存在� ��る場合には、最も早い時間、つまり最初に� ��情種別が変化する時間を、参照点相対開始� ��間T _{exp_st} に決定する。

 次いで、ステップS1530で、時間一致性判定� �410は、単位時間Sの映像部分に対応する感情� ��報を特定し、特定した感情情報から、単位� ��間Sの映像部分で感情種別が変化する時間を 、感情生起時間T _{user_st} として取得する。該当する感情生起時間が複 数存在する場合には、たとえば、参照点相対 開始時間T _{exp_st} と同様に、最も早い時間を取得すればよい。 このとき、参照点相対開始時間T _{exp_st} と感情生起時間T _{user_st} が同一の時刻系で表現されるようにする。

 具体的には、たとえば、時間一致性判定� ��410は、リアルタイム放送による映像コンテ� ��ツの場合、視聴開始時絶対時間に参照点相� ��開始時間を加算した時間を、参照点絶対開� ��時間と置く。一方、蓄積された映像コンテ� ��ツの場合には、時間一致性判定部410は、視� ��開始時絶対時間から視聴開始時相対時間を� ��し引いた時間に参照点相対開始時間を加え� ��時間を、参照点絶対開始時間と置く。

 たとえば、リアルタイム放送による映像� ��ンテンツで、参照点相対開始時間が「20秒� �、視聴開始時絶対時間が「20060901:19:10:10」の 場合、参照点絶対開始時間は、「20060901:19:10: 30」となる。また、たとえば、蓄積された映� ��コンテンツで、参照点相対開始時間が「20� �」、視聴開始時相対時間が「10秒」、視聴開 始時絶対時間が「20060901:19:10:10」の場合、参� ��点絶対開始時間は、「20060901:19:10:20」とな� �。

 一方、視聴者から計測した感情生起時間� ��ついては、時間一致性判定部410は、たとえ� ��、感情情報610に記述された値を基準時刻に� ��算し、絶対時間での表現に置き換える。

 次いで、ステップS1540で、時間一致性判定� �410は、参照点相対開始時間T _{exp_st} と感情生起時間T _{user_st} との時間差を算出し、これら2つの時間の一� �性から、単位時間Sの映像部分における時間� ��致性の有無を判定する。具体的には、時間� ��致性判定部410は、参照点相対開始時間T _{exp_st} と感情生起時間T _{user_st} との差の絶対値が、あらかじめ定めた閾値T _d 以下であるか否かを判別する。そして、時間 一致性判定部410は、差の絶対値が閾値T _d 以下の場合(S1540:YES)、ステップS1550に進み、� �の絶対値が閾値T _d を超える場合(S1540:NO)、ステップS1560に進む。

 ステップS1550で、時間一致性判定部410は� �単位時間Sの映像部分において時間一致性が� ��ると判断し、時間一致性の有無を示す時間� ��致性判定情報RTに値「1」を設定する。つま� ��、時間一致性の判定結果として、時間一致� ��判定情報RT=1を取得する。そして、時間一致 性判定部410は、時間一致性判定情報RTと、こ� ��時間一致性判定情報RTの取得に用いられた� �情期待値情報および感情情報とを、統合判� �部430に出力し、図5のステップS1700に進む。

 一方、ステップS1560では、時間一致性判� �部410は、単位時間Sの映像部分において時間� ��致性が無いと判断し、時間一致性判の有無� ��示す時間一致性判定情報RTに値「0」を設定� ��る。つまり、時間一致性の判定結果として� ��時間一致性判定情報RT=0を取得する。そして 、時間一致性判定部410は、時間一致性判定情 報RTと、この時間一致性判定情報RTの取得に� �いられた感情期待値情報および感情情報と� �、統合判定部430に出力し、図5のステップS170 0に進む。

 上記ステップS1540~S1560の処理には、たとえ� �、以下の式(1)を用いることができる。

 次に、図5のステップS1600について説明す� ��。図5のステップS1600で、感情一致性判定部4 20は、感情一致性判定処理を実行する。ここ� ��、感情一致性判定処理は、感情情報と感情� ��待値情報との感情一致性の有無を判定する� ��理である。

 図12は、感情一致性判定部420による感情� �致性判定処理の流れの一例を示すフローチ� �ートである。感情一致性判定部420は、映像� �ンテンツの単位時間Sごとの映像部分のそれ� ��れについて、以下に説明する感情一致性判� ��処理を実行する。

 ステップS1610で、感情一致性判定部420は� �単位時間Sの映像部分に対応する感情期待値� ��報を取得する。ここで、該当する参照点が� ��数存在する場合には、それぞれに対応する� ��情期待値情報を取得する。

 次いで、ステップS1620で、感情一致性判定� �420は、感情期待値情報から、単位時間Sの映� ��部分を代表する感情期待値E _exp を算出する。図11に示すように、複数の感情� ��待値e _i が存在する場合には、感情一致性判定部420は 、あらかじめ参照点種別Typeごとに定めた重� �wをそれぞれの感情期待値e _i に乗じることにより、各感情期待値e _i を合成する。それぞれの感情期待値e _i に対応する参照点種別Typeの重みをw _i 、感情期待値e _i の総数をNとすると、感情一致性判定部420は� �たとえば以下の式(2)を用いて感情期待値E _exp を決定する。

 ただし、それぞれの感情期待値e _i に対応する参照点種別Typeの重みw _i は、以下の式(3)を満たすように設定される。

 または、感情一致性判定部420は、参照点種� ��Typeごとにあらかじめ固定値で設定された重 みwを用いて、以下の式(4)により感情期待値E _exp を決定してもよい。この場合には、それぞれ の感情期待値e _i に対応する参照点種別Typeの重みw _i は、式(3)を満たさなくてもよい。

 たとえば、図11に示す例で、時間T ₁ を開始時間とする参照点種別Type ₁ 「BGM」の参照点Vp ₁ に対して、感情期待値e ₁ が取得され、時間T ₂ を開始時間とする参照点種別Type ₂ 「映像ショット」の参照点Vp ₂ に対して、感情期待値e ₂ が取得されたとする。また、参照点種別Type� �BGM」、「映像ショット」には、相対的に7:3� �なる重み付けが設定されたとする。この場� �、感情期待値E _exp は、たとえば、以下の式(5)のように算出され る。

 次いで、ステップS1630で、感情一致性判定� �420は、単位時間Sの映像部分に対応する感情� ��報を特定し、特定した感情情報から、単位� ��間Sの映像部分の感情実測値E _user を取得する。該当する感情実測値が複数存在 する場合には、たとえば、感情期待値E _exp と同様に、複数の感情実測値を合成すればよ い。

 次いで、ステップS1640で、感情一致性判定� �420は、感情期待値E _exp と感情実測値E _user との差分を算出し、これら2つの値の一致性� �ら、単位時間Sの映像部分における感情一致� ��の有無を判定する。具体的には、感情期待� ��E _exp と感情実測値E _user との差分の絶対値が、あらかじめ定めた2次� �感情モデル600の2次元空間における距離の閾� ��E _d 以下であるか否かを判別する。感情一致性判 定部420は、差分の絶対値が閾値E _d 以下の場合(S1640:YES)、ステップS1650に進み、� �分の絶対値が閾値E _d を超える場合(S1640:NO)、ステップS1660に進む。

 ステップS1650で、感情一致性判定部420は� �単位時間Sの映像部分において感情一致性が� ��ると判断し、感情一致性判の有無を示す感� ��一致性判定情報REに値「1」を設定する。つ� ��り、感情一致性の判定結果として、感情一� ��性判定情報RE=1を取得する。そして、感情一 致性判定部420は、感情一致性判定情報REと、� ��の感情一致性判定情報REの取得に用いられ� �感情期待値情報および感情情報とを、統合� �定部430に出力し、図5のステップS1700に進む� �

 一方、ステップS1660では、感情一致性判� �部420は、単位時間Sの映像部分において感情� ��致性が無いと判断し、感情一致性の有無を� ��す感情一致性判定情報REに値「0」を設定す� ��。つまり、感情一致性の判定結果として、� ��情一致性判定情報RE=0を取得する。そして、 感情一致性判定部420は、感情一致性判定情報 REと、この感情一致性判定情報REの取得に用� �られた感情期待値情報および感情情報とを� �統合判定部430に出力し、図5のステップS1700� �進む。

 上記ステップS1640~S1660の処理には、たとえ� �、以下の式(6)を用いることができる。

 このようにして、統合判定部430には、映� ��コンテンツを単位時間Sで分割した映像部分 ごとに、感情期待値情報および感情情報と、 時間一致性判定情報RTおよび感情一致性判定� ��報REとが入力される。統合判定部430は、入� �されるこれらの情報を、視聴質データ格納� �500に格納する。

 時間一致性判定情報RTおよび感情一致性� �定情報REは、それぞれ値「1」と「0」を取り� ��ることから、時間一致性判定情報RTおよび� �情一致性判定情報REの値には4パターンの組� �せが考えられる。

 時間一致性と感情一致性の両方が有ると� ��うことは、映像コンテンツを視聴する際、� ��心を持って視聴する視聴者に映像編集に基� ��いて生起すると期待される感情が、該当す� ��映像編集の存在箇所で視聴者に生起したこ� ��を示す。したがって、該当する映像部分を� ��聴者が関心を持って視聴したと推定できる� ��

 また、時間一致性と感情一致性のいずれ� ��無いということは、映像コンテンツを視聴� ��る際、関心を持って視聴する視聴者に映像� ��集に基づいて生起すると期待される感情が� ��聴者に生起せず、なんらかの感情が生起し� ��としても映像編集に起因するものではない� ��能性が高いということを示す。したがって� ��該当する映像部分を視聴者が関心を持って� ��聴しなかったと推定できる。

 しかしながら、時間一致性と感情一致性� ��いずれか一方が有り、他方が無い場合には� ��映像コンテンツの該当する映像部分を視聴� ��が関心を持って視聴したか否かを推定する� ��とは難しい。

 図13は、時間一致性は有るが感情一致性が� �い場合の一例を示す説明図である。以下、� �照点の線種は、感情種別に対応し、同一の� �種は同一の感情種別であることを示し、異� �る線種は異なる感情種別であることを示す� �図13に示す例では、参照点相対開始時間T _{exp_st} と感情生起時間T _{user_st} はほぼ一致しているが、感情期待値E _exp と感情実測値E _user は異なる感情種別を示している。

 一方、図14は、感情一致性は有るが時間一� �性が無い場合の一例を示す説明図である。� �14に示す例では、感情期待値E _exp と感情実測値E _user の感情種別は一致しているが、参照点相対開 始時間T _{exp_st} と感情生起時間T _{user_st} は大きくずれている。

 統合判定部430は、図13や図14に示すような 場合を考慮し、図5のステップS1700で、統合判 定処理を、映像コンテンツを単位時間Sで分� �した各映像部分に対して実行する。ここで� �統合判定処理は、時間一致性判定結果と感� �一致性判定結果とを統合して最終的な視聴� �判定を行う処理である。

 図15は、統合判定部430による統合判定処� �の流れの一例を示すフローチャートであり� �図5のステップS1700に対応するものである。

 まず、ステップS1710で、統合判定部430は� �映像コンテンツを単位時間Sで分割した映像� ��分を1つ選択し、対応する時間一致性判定情 報RTおよび感情一致性判定情報REを取得する� �

 次いで、ステップS1720で、統合判定部430� �、時間一致性を判別する。統合判定部430は� �時間一致性判定情報RTが値「1」で時間一致� �が有る場合には(S1720:YES)、ステップS1730に進� ��、時間一致性判定情報RTが値「0」で時間一� ��性が無い場合には(S1720:NO)、ステップS1740に� ��む。

 ステップS1730で、統合判定部430は、感情� �致性を判別する。統合判定部430は、感情一� �性判定情報REが値「1」で感情一致性が有る� �合には(S1730:YES)、ステップS1750に進み、感情� ��致性判定情報REが値「0」で感情一致性が無� ��場合には(S1730:NO)、ステップS1751に進む。

 ステップS1750で、統合判定部430は、時間� �致性と感情一致性の両方が有ることから、� �当する映像部分の視聴質情報を「有」に設� �し、視聴質情報を取得する。そして、統合� �定部430は、取得した視聴質情報を、視聴質� �ータ格納部500に格納する。

 一方、ステップS1751で、統合判定部430は� �時間一致感情不一致時判定処理(以下「判定� ��理(1)」と表記する)を実行する。判定処理(1) は、時間一致性は有るものの感情一致性が無 いことから、さらに詳細な解析を行って視聴 質判定を行う処理である。判定処理(1)につい ては後述する。

 ステップS1740で、統合判定部430は、感情� �致性を判別し、感情一致性判定情報REが値「 0」で感情一致性が無い場合には(S1740:NO)、ス� ��ップS1770に進み、感情一致性判定情報REが値 「1」で感情一致性が有る場合には(S1740:YES)、 ステップS1771に進む。

 ステップS1770で、統合判定部430は、時間� �致性と感情一致性のいずれも無いことから� �該当する映像部分の視聴質情報を「無」に� �定し、視聴質情報を取得する。そして、統� �判定部430は、取得した視聴質情報を、視聴� �データ格納部500に格納する。

 一方、ステップS1771で、統合判定部430は� �感情一致性は有るものの時間一致性が無い� �とから、感情一致時間不一致時判定処理(以� ��「判定処理(2)」と表記する)を実行する。こ こで、判定処理(2)は、さらに詳細な解析を行 って視聴質判定を行う処理である。判定処理 (2)については後述する。

 次に、判定処理(1)について説明する。

 図16は、統合判定部430による判定処理(1)� �流れの一例を示すフローチャートであり、� �15のステップS1751に対応するものである。

 ステップS1752で、統合判定部430は、視聴� �データ格納部500を参照し、視聴質判定の対� �としている映像部分(以下「判定対象」とい� ��)の近傍の他の映像部分に、参照点が存在す るか否かを判別する。統合判定部430は、該当 する参照点が存在しない場合には(S1752:NO)、� �テップS1753に進み、該当する参照点が存在す る場合には(S1752:YES)、ステップS1754に進む。

 統合判定部430は、視聴質データ情報を映� ��コンテンツの視聴に対してリアルタイムで� ��成するかオフタイムで生成するかによって� ��判定対象の近傍の他の映像部分の範囲を設� ��している。

 統合判定部430は、映像コンテンツの視聴� ��対して視聴質データ情報をリアルタイムで� ��成する場合、たとえば、判定対象からM個分 の単位時間Sだけ時間を遡った範囲を、上記� �傍の他の映像部分とし、この範囲で参照点� �検索する。つまり、判定対象からみて、S×M� ��範囲の過去の情報を用いる。

 一方、映像コンテンツの視聴に対して視� ��質データ情報をオフタイムで生成する場合� ��統合判定部430は、判定対象よりも後の映像� ��分で得られた感情実測値を用いることがで� ��る。したがって、過去の情報だけでなく、� ��定対象からみて未来の情報を用いることが� ��き、たとえば、判定対象を中心とする前後S ×Mの範囲を上記近傍の他の映像部分とし、こ の範囲で参照点を検索する。Mの値は任意と� �ることができ、たとえば「5」などの整数が� ��らかじめ設定される。また、参照点の検索� ��囲は、時間長さで設定してもよい。

 ステップS1753で、統合判定部430は、判定� �象の近傍の他の映像部分に参照点が存在し� �いことから、該当する映像部分の視聴質情� �を「無」に設定し、ステップS1769に進む。

 ステップS1754で、統合判定部430は、判定� �象の近傍の他の映像部分に参照点が存在す� �ことから、時間一致近傍参照点存在時判定� �理(以下「判定処理(3)」と表記する)を実行す る。ここで、判定処理(3)は、参照点における 時間一致性の有無を参考にして視聴質判定を 行う処理である。

 図17は、統合判定部430による判定処理(3)� �流れの一例を示すフローチャートであり、� �16のステップS1754に対応するものである。

 まず、ステップS1755で、統合判定部430は、� �聴質データ格納部500から、時系列に連続し� �L個以上の映像部分のそれぞれから代表的な� ��照点を検索し、取得する。ここで、検索範� ��における参照点の番号および感情実測値E _user の番号を示すパラメータを、それぞれj、kと� ��る。パラメータj、kは、それぞれ{0,1,2,3,…L} の値を取る。

 次いで、ステップS1756で、統合判定部430は� �視聴質データ格納部500に格納された感情期� �値情報および感情情報から、j番目の参照点� ��感情期待値E _exp (j、t _j )と、k番目の感情実測値E _user (k,t _k )と、を取得する。ここで、時刻t _j および時刻t _k は、それぞれ感情期待値と感情実測値が得ら れた時刻、つまり対応する感情が生起した時 刻である。

 次いで、ステップS1757で、統合判定部430は� �感情期待値E _exp (j)と、同じ映像部分における感情実測値E _user (k)との差分の絶対値を算出する。そして、統 合判定部430は、差分の絶対値があらかじめ定 めた2次元感情モデル600の2次元空間における� ��離の閾値K以下であり、かつ時刻t _j と時刻t _k が一致するか否かを判別する。統合判定部430 は、差分の絶対値が閾値K以下であり、かつ� �刻t _j と時刻t _k が一致する場合には(S1757:YES)、ステップS1758� �進み、差分の絶対値が閾値Kを超えるか、時� ��t _j と時刻t _k が一致しない場合には(S1757:NO)、ステップS1759 に進む。時刻t _j と時刻t _k との一致不一致判定は、たとえば、時刻t _j と時刻t _k との差の絶対値が、あらかじめ定められた閾 値未満のときには一致すると判定し、閾値以 上のときには一致しないと判定してもよい。

 ステップS1758で、統合判定部430は、感情� �大きく異なっておらず、かつ生起時間が一� �すると判断して、j番目の参照点についての� ��理フラグFLGに、TRUEの論理を示す値「1」を� �定し、ステップS1760に進む。ただし、後述す るステップS1759で既に処理フラグFLGにFALSEの� �理を示す値「0」が設定されている場合には� ��そのままとする。

 ステップS1759で、統合判定部430は、感情� �大きく異なるか、生起時間が一致しないと� �断して、j番目の参照点についての処理フラ� ��FLGに、FALSEの論理を示す値「0」を設定し、� ��テップS1760に進む。

 次いで、ステップS1760で、統合判定部430� �、L個の参照点全てについて処理フラグFLG設� ��の処理が完了したか否かを判別する。統合� ��定部430は、まだL個の参照点全てについて処 理が完了していない場合、つまりパラメータ jがL未満の場合には(S1760:NO)、パラメータj,kの 値をそれぞれ1つずつ増加させ、ステップS1756 へ戻る。統合判定部430は、ステップS1756~S1760� ��処理を繰り返し、L個の参照点全てについて 処理が完了すると(S1760:YES)、ステップS1761に� �む。

 ステップS1761で、統合判定部430は、処理� �ラグFLGが、値「0」(FALSE)に設定されているか 否かを判別する。統合判定部430は、処理フラ グFLGに値「0」が設定されていない場合には(S 1761:NO)、ステップS1762に進み、処理フラグFLG� �値「0」が設定された場合には(S1761:YES)、ス� �ップS1763に進む。

 ステップS1762で、統合判定部430は、感情� �待値情報と感情情報とで、感情一致性は無� �ものの、近傍のL個の参照点で連続して時間� ��致性が有ることから、視聴者は関心を持っ� ��判定対象の映像部分を視聴したと判断し、� ��定対象の視聴質情報を「有」に設定する。� ��して、図16のステップS1769に進む。

 一方、ステップS1763では、統合判定部430� �、感情期待値情報と感情情報とで、感情一� �性が無く、近傍のL個の参照点でも連続して� ��間一致性が無いことから、視聴者は関心を� ��って判定対象の映像部分を視聴しなかった� ��判断し、判定対象の視聴質情報を「無」に� ��定する。そして、図16のステップS1769に進む 。

 図16のステップS1769において、統合判定部 430は、図16のステップS1753、図17のステップS17 62またはステップS1763で設定された視聴質情� �を取得し、視聴質データ格納部500に格納す� �。そして、図5のステップS1800に進む。

 このようにして、総合判定部430は、判定� ��理(3)により、時間一致性が有り感情一致性� ��無い映像部分に対しても、視聴質の判定を� ��う。

 図18は、判定処理(3)によって視聴質情報が� �定される様子を示す説明図である。ここで� �、視聴質データ情報をリアルタイムで生成� �、パラメータL=3、閾値K=9である場合を図示� �ている。また、V _cp1 は、判定対象で検出された効果音の参照点を 、V _cp2 、V _cp3 は、判定対象の近傍の映像部分でBGMと映像シ ョットから検出された参照点を、それぞれ示 す。

 図18に示すように、参照点V _cp1 が検出された判定対象から、感情期待値(4,2)� ��よび感情実測値(-3,4)が取得されたとする。� ��照点V _cp2 が検出された映像部分から、感情期待値(3,4)� ��よび感情実測値(3,-4)が取得されたとする。� ��照点V _cp3 が検出された映像部分から、感情期待値(-4,-2 )および感情実測値(3,-4)が取得されたとする� �参照点V _cp1 が検出された判定対象は、時間一致性は有る ものの感情一致性が無いため、図16に示す判� ��処理(1)が実行されるまでは視聴質情報は未� ��の状態である。参照点V _cp2 、V _cp3 が検出された映像部分も同様である。この状 態で、図17に示す判定処理(3)が実行されると� ��近傍の参照点V _cp2 、V _cp3 においても時間一致性が有ることから、参照 点V _cp1 が検出された判定対象の視聴質情報は「有」 と判定される。参照点V _cp2 の近傍の参照点として参照点V _cp1 、V _cp3 が検索された場合や、参照点V _cp3 の近傍の参照点として参照点V _cp1 、V _cp2 が検索された場合も、同様である。

 次に、判定処理(2)について説明する。

 図19は、統合判定部430による判定処理(2)� �流れの一例を示すフローチャートであり、� �15のステップS1771に対応するものである。

 ステップS1772で、統合判定部430は、視聴� �データ格納部500を参照し、判定対象の近傍� �他の映像部分に、参照点が存在するか否か� �判別する。統合判定部430は、該当する参照� �が存在しない場合には(S1772:NO)、ステップS177 3に進み、該当する参照点が存在する場合に� �(S1772:YES)、ステップS1774に進む。

 統合判定部430が判定対象の近傍の他の映� ��部分をどのように設定するかは、図16に示� �判定処理(1)と同様に、視聴質データ情報を� �アルタイムで生成するかオフタイムで生成� �るかによって異なる。

 ステップS1773で、統合判定部430は、判定� �象の近傍の他の映像部分に参照点が存在し� �いことから、該当する映像部分の視聴質情� �を「無」に設定し、ステップS1789に進む。

 ステップS1774で、統合判定部430は、判定� �象の近傍の他の映像部分に参照点が存在す� �ことから、感情一致近傍参照点存在時判定� �理(以下「判定処理(4)」)を実行する。判定処 理(4)は、その参照点における感情一致性の有 無を参考にして視聴質判定を行う処理である 。

 図20は、統合判定部430による判定処理(4)� �流れの一例を示すフローチャートであり、� �19のステップS1774に対応するものである。こ� ��で、判定対象の参照点の番号をパラメータp で示す。

 まず、ステップS1775で、統合判定部430は、� �聴質データ格納部500から、判定対象の1つ前( p-1番目)の参照点の感情期待値E _exp(p-1) を取得する。また、統合判定部430は、視聴質 データ格納部500から、判定対象の1つ後(p+1番� ��)の参照点の感情期待値E _exp(p+1) を取得する。

 次いで、ステップS1776で、統合判定部430は� �視聴質データ格納部500から、判定対象の1つ� ��(p-1番目)の参照点と同じ映像部分で計測さ� �た感情実測値E _user(p-1) を取得する。また、統合判定部430は、視聴質 データ格納部500から、判定対象の1つ後(p+1番� ��)の参照点と同じ映像部分で計測された感情 実測値E _user(p+1) を取得する。

 次いで、ステップS1777で、統合判定部430は� �感情期待値E _exp(p+1) と感情実測値E _user(p+1) との差分の絶対値と、感情期待値E _exp(p-1) と感情実測値E _user(p-1) との差分の絶対値とを算出する。そして、両 方の値が、あらかじめ定めた2次元感情モデ� �600の2次元空間における距離の閾値K以下であ るか否かを判別する。ただし、ここでは、感 情が一致するといえる最大値が閾値Kにあら� �じめ設定される。統合判定部430は、両方の� �が閾値K以下の場合には(S1777:YES)、ステップS1 778に進み、両方の値が閾値K以下ではない場� �には(S1777:NO)、ステップS1779に進む。

 ステップS1778で、統合判定部430は、感情� �待値情報と感情情報とで、時間一致性は無� �ものの、前後の参照点の映像部分でも感情� �致性が有ることから、視聴者は関心を持っ� �判定対象の映像部分を視聴したと判断し、� �定対象の視聴質情報を「有」に設定する。� �して、図19のステップS1789に進む。

 一方、ステップS1779では、統合判定部430� �、感情期待値情報と感情情報とで、時間一� �性が無く、前後の参照点の映像部分の少な� �とも一方で感情一致性が無いことから、視� �者は関心を持って判定対象の映像部分を視� �しなかったと判断し、判定対象の視聴質情� �を「無」に設定する。そして、図19のステッ プS1789に進む。

 図19のステップS1789において、統合判定部 430は、図19のステップS1773、図20のステップS17 78またはステップS1779で設定された視聴質情� �を取得し、視聴質データ格納部500に格納す� �。そして、図5のステップS1800に進む。

 このようにして、総合判定部430は、判定� ��理(4)により、感情一致性は有るが時間一致� ��が無い映像部分に対しても、視聴質の判定� ��行う。

 図21は、判定処理(4)によって視聴質情報が� �定される様子を示す説明図である。ここで� �、視聴質データ情報をオフタイムで生成し� �判定対象の前後1つずつの参照点を判定に用� ��た場合を図示する。また、V _cp2 は、判定対象で検出された効果音の参照点を 、V _cp1 、V _cp3 は、判定対象の近傍の映像部分で効果音とBGM から検出された参照点を、それぞれ示す。

 図21に示すように、参照点V _cp2 が検出された判定対象から、感情期待値(-1,2) および感情実測値(-1,2)が取得されたとする。 参照点V _cp1 が検出された映像部分から、感情期待値(4,2)� ��よび感情実測値(4,2)が取得されたとする。� �照点V _cp3 が検出された映像部分から、感情期待値(3,4)� ��よび感情実測値(3,4)が取得されたとする。� �照点V _cp2 が検出された判定対象は、感情一致性は有る ものの時間一致性が無いため、図19に示す判� ��処理(2)が実行されるまでは視聴質情報は未� ��の状態である。ただし、参照点V _cp1 、V _cp3 が検出された映像部分は、感情一致性と時間 一致性の両方が有るものとする。この状態で 、図20に示す判定処理(4)が実行されると、近� ��の参照点V _cp1 、V _cp3 においても時間一致性が有ることから、参照 点V _cp2 が検出された判定対象の視聴質情報は「有」 と判定される。参照点V _cp1 の近傍の参照点として参照点V _cp2 、V _cp3 が検索された場合や、参照点V _cp3 の近傍の参照点として参照点V _cp1 、V _cp2 が検索された場合も、同様である。

 このように、総合判定部430は、統合判定� ��理により、映像コンテンツの視聴質情報を� ��得し、視聴質データ情報を生成して視聴質� ��ータ格納部500に格納する(図5のステップS1800 )。具体的には、総合判定部430は、たとえば� �視聴質データ格納部500に既に格納した感情� �待値情報を編集し、感情期待値のフィール� �を、取得した視聴質情報で置き換える。

 図22は、統合判定部430が生成する視聴質� �ータ情報の一例を示す説明図である。図22に 示すように、視聴質データ情報640は、図9に� �す感情期待値情報630とほぼ同様の構成とな� �ている。ただし、視聴質データ情報640は、� �情期待値情報630の感情期待値のフィールド� �視聴質情報のフィールドに置き換えられ、� �聴質情報が格納される構成となっている。� �こでは、視聴質情報「有」を値「1」、視聴� ��情報「無」を値「0」で示した場合を例示し ている。つまり、この視聴質データ情報640か ら、参照点インデックスナンバー「ES_001」が 存在した映像部分では、視聴者は関心を持っ て映像コンテンツを視聴していなかったとい うことが解析できる。また、視聴質データ情 報640から、参照点インデックスナンバー「M_0 01」が存在した映像部分では、視聴者は関心� ��持って映像コンテンツを視聴していたとい� ��ことが解析できる。

 なお、参照点が検出されない映像部分の� ��在を示す視聴質情報を格納したり、時間一� ��性と感情一致性の一方が有り他方が無い映� ��部分については、判定処理(1)や判定処理(2)� ��行うことなく、「未定」を示す視聴質情報� ��格納してもよい。

 また、視聴質データ格納部500に蓄積され� ��複数の視聴質情報を解析することにより、� ��像コンテンツ全体を視聴者がどの程度の関� ��を持って視聴したかを判別し、視聴質情報� ��して出力してもよい。具体的には、たとえ� ��、視聴質情報「有」を値「1」に、視聴質情 報「無」を値「-1」に変換し、変換した値を� ��像コンテンツ全体で合計する。また、映像� ��ンテンツの種類や、視聴質データ情報の用� ��によって、視聴質情報に対応する数値を変� ��てもよい。

 また、たとえば、視聴質情報「有」を値� ��100」に、視聴質情報「無」を値「0」に変換 した値の合計値を、取得された視聴質情報の 個数で除することにより、映像コンテンツ全 体に対する視聴者の関心度合いをパーセンテ ージで表現することができる。この場合、た とえば、視聴質情報「未定」にも値「50」な� ��の特有の値を与えれば、視聴質情報「未定� ��の状態を、視聴者がどの程度の関心を持っ� ��視聴したかの評価値に反映させることがで� ��る。

 以上説明したように本実施の形態によれ� ��、映像コンテンツを視聴する際に視聴者に� ��起すると期待される感情を示す感情期待値� ��報と、視聴者に生起する感情を示す感情情� ��について、時間一致性と感情一致性を判定� ��、これらの結果から視聴質を判定する。こ� ��により、感情情報のうち実際のコンテンツ� ��の関心の度合いに影響を受けているものと� ��ないものを区別でき、精度良く視聴質を判� ��することができる。また、時間一致性と感� ��一致性を統合して判定を行う。これにより� ��たとえば映像編集に対する反応の個人差を� ��慮した視聴質判定を行うことができる。ま� ��、コンテンツへの関心の度合い以外の要素� ��よる影響を抑えるための制約を視聴者に課� ��必要が無い。これにより、視聴者に特に負� ��を掛けることなく、精度の良い視聴質判定� ��実現できる。また、映像コンテンツの映像� ��集の内容から感情期待値情報を取得する。� ��れにより、各種の映像コンテンツに適用す� ��ことができる。

 なお、図5に示す視聴質データ生成処理に おいて、ステップS1000、S1100の処理と、ステ� �プS1200~S1400の処理は、どちらを先に実行して もよく、また、同時並行で実行してもよい。 ステップS1500とステップS1600についても同様� �ある。

 また、時間一致性と感情一致性の一方が� ��り他方が無い場合に、統合判定部430が、判� ��対象の近傍の参照点について時間一致性や� ��情一致性を判定するとしたが、これに限る� ��のではない。たとえば、統合判定部430は、� ��間一致性判定部410から入力された時間一致� ��判定情報や、感情一致性判定部420から入力� ��れた感情一致性判定情報をそのまま判定結� ��として用いても良い。

 (実施の形態2)
 図23は、本発明の実施の形態2に係る視聴質� ��ータ生成装置の構成を示すブロック図であ� ��、実施の形態1の図1に対応するものである� �図1と同一部分には同一符号を付し、これに� ��いての説明を省略する。

 図23において、視聴質データ生成装置700� �、図1に示す構成に加えて、視線方向検出部9 00を有する。また、視聴質データ生成装置700� ��、実施の形態1の統合判定部430とは異なる処 理を実行する統合判定部830と、視線一致性判 定部840とを備えた視聴質データ生成部800を有 する。

 視線方向検出部900は、視聴者の視線方向� ��検出する。具体的には、視線方向検出部900� ��、たとえば、映像コンテンツが表示される� ��面の近傍に画面側から視聴者をステレオ撮� ��するディジタルカメラを設置し、撮影画像� ��ら視聴者の顔方向や眼球方向を解析して、� ��聴者の視線方向を検出する。

 視聴一致性判定部840は、検出された視聴� ��の視線方向(以下単に「視線方向」という)� �、テレビジョンの画面など映像コンテンツ� �表示領域に向いている視線一致性の有無の� �定を行い、判定結果を示す視線一致性判定� �報を生成する。具体的には、視聴一致性判� �部840は、映像コンテンツの表示領域の位置� �あらかじめ記憶しており、視線方向上に映� �コンテンツの表示領域が存在するか否かを� �別する。

 統合判定部830は、時間一致性判定情報、� ��情一致性判定情報、および視線一致性判定� ��報を統合して、視聴質判定を行う。具体的� ��は、たとえば、上記3つの判定結果の組合せ ごとに視聴質情報の値を定めた判定テーブル をあらかじめ格納し、この判定テーブルを参 照して視聴質情報の設定および取得を行う。

 図24は、視線を用いた統合判定処理で用� �られる判定テーブルの構成の一例を示す説� �図である。判定テーブル831は、時間一致性� �定情報(RT)、感情一致性判定情報(RE)、および 視線一致性判定情報(RS)の判定結果の各組合� �に対応付けて、視聴質情報の値が記述され� �いる。たとえば、時間一致性判定情報RT=「� �致しない」、感情一致性判定情報RE=「一致� �ない」、および視線一致性判定結果=「一致� ��という組合せには、視聴質情報の値=「40%」 が対応付けられている。この対応付けは、時 間一致性も感情一致性も無く視線一致性のみ が有る場合には、視聴者は40%程度の関心を持 って映像コンテンツを視聴していると推定さ れることを示している。なお、視聴質情報の 値は、時間一致性と感情一致性と視線一致性 の全てが有る場合を100%とし、時間一致性と� �情一致性と視線一致性の全てが無い場合を0% としたときの、関心の程度を示す。

 統合判定部830は、ある映像部分について� ��時間一致性判定情報、感情一致性判定情報� ��および視線一致性判定情報が入力されると� ��判定テーブル830で一致する組合せを検索し� ��対応する視聴質情報を取得し、取得した視� ��質情報を視聴質データ格納部500に格納する� ��

 統合判定部830は、この判定テーブル830を� ��いて視聴質判定を行うことにより、迅速に� ��聴質情報を取得することができ、また、視� ��一致性を考慮したきめ細かい判定を実現で� ��る。

 なお、図24に示す判定テーブル830では、� �間一致性と感情一致性の一方のみが有り視� �一致性が無い場合には、「20%」の値が対応� �けられているが、他の参照点の判定結果を� �映させることにより、よりきめ細かく値を� �定することも可能である。以下、時間一致� �情視線不一致時判定処理(以下「判定処理(5)� ��)と、感情一致時間視線不一致時判定処理(� �下「判定処理(6)」)とについて説明する。こ� ��で、判定処理(5)は、時間一致性は有るもの� ��感情一致性が無い場合に、さらに詳細な解� ��を行って視聴質判定を行う処理である。判� ��処理(6)は、感情一致性は有るものの時間一� ��性が無い場合に、さらに詳細な解析を行っ� ��視聴質判定を行う処理である。

 図25は、判定処理(5)の流れの一例を示す� �ローチャートである。以下、判定対象の参� �点の番号をパラメータqで示す。また、判定� ��象の参照点の前後の参照点で、視線一致性� ��報と視聴質情報の値が取得されているもの� ��して説明する。

 まず、ステップS7751で、統合判定部830は� �q-1番目の参照点とq+1番目の参照点、つまり� �定対象の前後の参照点の視聴質データと視� �一致性判定情報とを取得する。

 次いで、ステップS7752で、統合判定部830� �、前後の参照点の両方で視線一致性が有り� �つ視聴質情報の値が60%を超えるという条件� �満たされるか否かを判別する。統合判定部83 0は、上記条件が満たされる場合には(S7752:YES) 、ステップS7753に進み、上記条件が満たされ� ��い場合には(S7752:NO)、ステップS7754に進む。

 ステップS7753で、統合判定部830は、前後� �参照点の両方で視聴質情報の値が比較的高� �、かつ視聴者は映像コンテンツに視線を向� �ていることから、視聴者が比較的高い関心� �持って映像コンテンツを視聴していると判� �し、視聴質情報に値「75%」を設定する。

 次いで、ステップS7755で、統合判定部830� �、値を設定した視聴質情報を取得し、実施� �形態1の図5のS1800に進む。

 一方、ステップS7754で、統合判定部830は� �前後の参照点の少なくとも一方で視線一致� �が無くかつ視聴質情報の値が60%を超えると� �う条件が満たされるか否かを判別する。統� �判定部830は、上記条件が満たされる場合に� �(S7754:YES)、ステップS7756に進み、上記条件が� ��たされない場合には(S7754:NO)、ステップS7757� ��進む。

 ステップS7756で、統合判定部830は、前後� �参照点の少なくとも一方で視聴者は映像コ� �テンツに視線を向けていないものの、前後� �参照点の両方で視聴質情報の値が比較的高� �ことから、視聴者がやや高い関心を持って� �像コンテンツを視聴していると判断し、視� �質情報に値「65%」を設定する。

 次いで、ステップS7758で、統合判定部830� �、値を設定した視聴質情報を取得し、実施� �形態1の図5のS1800に進む。

 また、ステップS7757で、統合判定部830は� �前後の参照点の少なくとも一方で視聴質情� �の値が比較的低く、かつ前後の参照点の少� �くとも一方で視聴者は映像コンテンツに視� �を向けていないことから、視聴者がかなり� �い関心を持って映像コンテンツを視聴して� �ると判断し、視聴質情報に値「15%」を設定� �る。

 次いで、ステップS7759で、統合判定部830� �、値を設定した視聴質情報を取得し、実施� �形態1の図5のS1800に進む。

 このようにして、時間一致性が有り感情� ��致性が無い場合について、前後の参照点に� ��いて得られた情報を考慮して、きめ細やか� ��視聴質情報の値を決定できる。

 図26は、判定処理(6)の流れの一例を示す� �ローチャートである。

 まず、ステップS7771で、統合判定部830は� �q-1番目の参照点とq+1番目の参照点、つまり� �定対象の前後の参照点の視聴質データと視� �一致性判定情報とを取得する。

 次いで、ステップS7772で、統合判定部830� �、前後の参照点の両方で視線一致性が有り� �つ視聴質情報の値が60%を超えるという条件� �満たされるか否かを判別する。上記条件が� �たされる場合には(S7772:YES)、ステップS7773に� ��み、上記条件が満たされない場合には(S7772: NO)、ステップS7774に進む。

 ステップS7773で、統合判定部830は、前後� �参照点の両方で視聴質情報の値が比較的高� �、かつ視聴者は映像コンテンツに視線を向� �ていることから、視聴者が中程度の関心を� �って映像コンテンツを視聴していると判断� �、視聴質情報に値「50%」を設定する。

 次いで、ステップS7775で、統合判定部830� �、値を設定した視聴質情報を取得し、実施� �形態1の図5のS1800に進む。

 一方、ステップS7774で、統合判定部830は� �前後の参照点の少なくとも一方で視線一致� �が無くかつ視聴質情報の値が60%を超えると� �う条件が満たされるか否かを判別する。統� �判定部830は、上記条件が満たされる場合に� �(S7774:YES)、ステップS7776に進み、上記条件が� ��たされない場合には(S7774:NO)、ステップS7777� ��進む。

 ステップS7776で、統合判定部830は、前後� �参照点の両方で視聴質情報の値が比較的高� �ものの、前後の参照点の少なくとも一方で� �聴者は映像コンテンツに視線を向けていな� �ことから、視聴者がやや低い関心を持って� �像コンテンツを視聴していると判断し、視� �質情報に値「45%」を設定する。

 次いで、ステップS7778で、統合判定部830� �、値を設定した視聴質情報を取得し、実施� �形態1の図5のS1800に進む。

 また、ステップS7777で、統合判定部830は� �前後の参照点の少なくとも一方で視聴質情� �の値が比較的低く、かつ前後の参照点の少� �くとも一方で視聴者は映像コンテンツに視� �を向けていないことから、視聴者が低い関� �を持って映像コンテンツを視聴していると� �断し、視聴質情報に値「20%」を設定する。

 次いで、ステップS7779で、統合判定部830� �、値を設定した視聴質情報を取得し、実施� �形態1の図5のS1800に進む。

 このようにして、感情一致性は有るもの� ��時間一致性が無い場合についても、前後の� ��照点について得られた情報を考慮して、き� ��細やかに視聴質情報の値を決定できる。

 なお、図25、図26では、前後の参照点で視 線一致性情報と視聴質情報の値が取得できる 場合について説明したが、感情一致性は有る ものの時間一致性が無い参照点が、複数連続 したり、最初と最後の参照点である場合も有 り得る。このような場合には、たとえば、前 後いずれか一方の参照点の情報のみを用いた り、前後いずれか一方で連続する複数の参照 点の情報を用いるようにすればよい。

 図5のステップS1800では、視聴質情報とし� ��パーセンテージの値が視聴質データ情報に� ��述されることになる。統合判定部830は、た� ��えば、映像コンテンツ全体で得られた視聴� ��情報の値の平均を算出し、映像コンテンツ� ��体に対する視聴者の関心度合いをパーセン� ��ージで出力するようにしてもよい。

 このように、本実施の形態によれば、感� ��一致性判定結果と時間一致性判定結果に加� ��て、視線一致性判定結果を視聴質判定に用� ��る。これにより、より精度の高い視聴質判� ��や、より詳細な視聴質判定を実現できる。� ��た、判定テーブルを用いるので、判定処理� ��高速化できる。

 なお、統合判定部830は、第1段階として、 まず感情一致性判定結果と時間一致性判定結 果によって視聴質判定を試み、判定対象に参 照点が無い場合や近傍に参照点が存在しない 場合など判定結果を得られない場合にのみ、 第2段階として、視線一致性判定結果を用い� �視聴質判定を行うようにしてもよい。

 また、以上説明した各実施の形態では、� ��聴質データ生成装置は、映像コンテンツの� ��像編集の内容から感情期待値情報を取得す� ��としたが、これに限定されるものではない� ��視聴質データ生成装置は、たとえば、映像� ��ンテンツにあらかじめ参照点を示す情報と� ��れぞれの感情期待値を示す情報とをメタデ� ��タとして付加しておき、これらの情報から� ��情期待値情報を取得するようにしてもよい� ��具体的には、付加するメタデータとして、� ��参照点またはシーン毎に、参照点を示す情� ��(Index Number、開始時間、および終了時間を� �む)と、感情期待値(a,b)とを組にして記述し� �もよい。

 また、同じ映像コンテンツを視聴した他� ��視聴者によるコメントや評価が、インター� ��ット上に公開されていたり、映像コンテン� ��に付加されていることがある。そこで、視� ��質データ生成装置は、映像コンテンツに映� ��編集点があまり含まれておらず、参照点を� ��分に検出できないような場合には、これら� ��コメントや評価を解析して、感情期待値情� ��の取得を補うようにしてもよい。たとえば� ��「Aさんが登場したシーンでは特に悲しくな った」というコメントがインターネット上に 公開されているブログ(blog)に記載されていた とする。この場合、視聴質データ生成装置は 、該当コンテンツの「Aさん」が登場する時� �を検出し、検出した時間を参照点として取� �するとともに、「悲しい」に該当する値を� �情期待値として取得すればよい。

 また、感情一致性の判定の手法として、� ��情モデルの空間における感情期待値と感情� ��測値との距離を閾値と比較したが、これに� ��定されるものではない。視聴質データ生成� ��置は、映像コンテンツの映像編集の内容と� ��聴者の生体情報とをそれぞれ感情種別に変� ��し、感情種別が一致または類似するか否か� ��判定してもよい。また、この場合には、視� ��質データ生成装置は、感情種別が遷移する� ��ではなく、「興奮」などの特定の感情種別� ��生起する時刻または生起している時間帯を� ��感情一致性や時間一致性の判定の対象とし� ��もよい。

 本発明の視聴質判定は、映像コンテンツ� ��外にも、音楽コンテンツや、ウェブ上の文� ��などのテキストコンテンツなど、各種のコ� ��テンツに適用できることは勿論である。

 2007年2月20日出願の特願2007-040072の日本出� ��に含まれる明細書、図面および要約書の開� ��内容は、すべて本願に援用される。