以下、本発明の実施の形態に係る広告表� ��システム100について図面を参照して説明す� ��。

 本発明の実施形態に係る広告表示システ� ��100は、図1に示すように、表示装置11と、カ� ��ラ21と、広告配信装置31と、効果測定装置41� ��を備える。

 表示装置11は、例えば、プラズマディス� �レイパネル、液晶表示パネル等の比較的大� �の表示装置とスピーカ等の音響装置とを備� �る。表示装置11は、街頭・車両等に設置され 、広告用の画像や音声等を表示、放音し、観 察者OBに広告を提供する。

 カメラ21は、表示装置11の近傍に配置され たCCD(Charge Coupled Device)カメラ、CMOSセンサカ� ��ラなどから構成され、図2(a)、(b)に示すよう に、表示装置11の近傍を含む前方エリア、す� ��わち、表示装置11の表示を視認可能な領域� �撮像する。

 広告配信装置31は、ネットワークを介し� �表示装置11に接続され、スケジュールに従っ て、広告を含むマルチメディアデータを表示 装置11に供給する。

 図3に広告配信装置31の構成の一例を示す� ��図示するように、広告配信装置31は、スケ� �ュールデータベース(DB)32と、コンテンツDB33� ��、通信部34と、入出力部35と、制御部36とを� ��える。

 スケジュールDB32は、広告を配信(表示)す� ��ための配信スケジュールを格納する。具体� ��に、スケジュールDB32は、図4に示すように� �広告を配信(表示)する時刻(表示開始時刻、� �了時刻)と、配信(表示)対象のコンテンツ(例� ��ば、音声付きの動画)の格納位置を示すアド レス(URL(Uniform Resource Locator))とを対応付けた 配信スケジュールを記憶する。

 図3に戻り、コンテンツDB33は、配信(表示) 対象のコンテンツ(例えば、MPEGフォーマット� ��音声付動画)等を格納する。コンテンツDB33� �格納されている各コンテンツはURLで特定さ� �る。配信スケジュールはこのURLで表示対象� �コンテンツを特定する。

 通信部34は、インターネット等のネット� �ークNWを介して、表示装置11、広告提供者の� ��告提供者端末51等と通信を行う。

 入出力部35は、キーボード、マウス、表� �装置などを備え、制御部36に種々の指示やデ ータを入力し、また、制御部36からの出力を� ��示する。

 制御部36は、プロセッサなどを備え、RTC(� ��アルタイムクロック)を備えると共に制御プ ログラムに従って動作する。具体的には、制 御部36は、スケジュールDB32に登録されている 配信スケジュールに従って、表示装置11に表� ��すべきコンテンツを、コンテンツDB33から読 み出す。そして、制御部36は、通信部34から� �ットワークNWを介して、表示装置11に読み出� ��たコンテンツを供給する。さらに、制御部3 6は、広告の出稿者が使用する広告提供者端� �51からのコンテンツを受信し、コンテンツDB3 3の指定されたURLに格納する。また、制御部36 は、入出力部35からの指示に応答して、配信� ��ケジュールを編集及び更新する。

 図1に示す効果測定装置41は、カメラ21が撮� �した画像をフレーム単位に解析し、表示装� �11の表示画像を見ている人(観察者)OBを識別� �る。そして、効果測定装置41は、識別した観 察者OBの属性(例えば、年齢層、性別)と、滞� �時間(表示画像を観察していた継続時間)と、 表示装置11からの平均距離(観察者OBと表示装� ��11との間の平均距離)とを求める。そして、� ��果測定装置41は、滞留時間と平均距離とに� �づいて、各観察者OBに与えた広告効果を示す 指標を求める。
 本実施形態では、広告をどれだけ注目した� ��の指標として、図5に示すように、滞留時間 Tと平均距離Rとの相関関係に基づいて、観察� ��に対する広告効果を大、中、小の指標で示� ��。この指標は、表示画像への注目時間(見て いる時間)が長くなるに従って大きくなり、� �示装置11からの距離が大きくなるに従って小 さくなる指標である。

 図6に効果測定装置41の構成例を示す。
 図示するように、効果測定装置41は、ネッ� �ワークNWを介してカメラ21に接続され、モデ� ��DB42と、フレームメモリ43と、ワークメモリ4 4と、広告効果メモリ45と、入出力部46、通信� ��47と、制御部48とを備える。

 モデルDB42は、図7に例示するように、顔� �像のモデル(母集団)を解析して得られた各種 特徴量の組み合わせと年齢層及び性別との対 応関係(モデル情報)を記憶する。

 フレームメモリ43は、カメラ21から供給さ れる各フレーム画像を順次記憶する。

 ワークメモリ44は、制御部48のワークエリ アとして機能する。

 広告効果メモリ45は、図8に示すように、� ��示装置11に表示した広告を見た(観察した)と 分析した各人毎に、各人を特定するID、滞留� ��間T、平均距離R、属性(年齢、性別等)、及び 、広告効果を示す指標を格納する。広告効果 は、図5に示す評価基準に基づいて、大・中� �小の3段階で評価される。

 図6に戻り、入出力部46は、キーボード、� ��ウス、表示装置などを備え、制御部48に種� �の指示やデータを入力し、また、制御部48か らの出力を表示する。

 通信部47は、インターネット等のネット� �ークNWを介して、カメラ21、広告提供者端末5 1等と通信を行う。

 制御部48は、プロセッサなどを備え、制御� �ログラムに従って動作し、カメラ21が撮影し た画像を通信部47を介して受信して、フレー� ��メモリ43に格納する。
 また、制御部48は、フレームメモリ43に格納 したフレーム画像を順次読み出し、ワークメ モリ44を使用して画像解析を行い、画像中の� ��の視線(カメラ21の方向への視線、すなわち� ��表示装置11の表示画像への視線)を検出する� ��そして、制御部48は、視線を検出した顔の� �々の特徴量を求め、求めた特徴量の組み合� �せとモデルDB42に格納されているモデル情報� ��に基づいて、各観察者の属性(年齢層、性別 )を推定する。
 さらに、制御部48は、視線を検出した観察� �の滞留時間Tと表示装置11からの平均距離Rを� ��別する。
 さらに、制御部48は、視線が検出できなく� �った時点で、その観察者について、滞留時� �T及び平均距離Rと、図5に示す評価基準とに� �づいて、広告効果を求め、広告効果メモリ45 に図8に例示するように登録する。

 次に、上記構成の広告表示システム100の動� ��を説明する。
 広告配信装置31の制御部36は、定期的にスケ ジュールDB32と内蔵するRTCの計時時刻とを参� �し、表示装置11に配信すべきコンテンツの格 納位置を示すURLを求める。制御部36は、求め� ��URLで特定されるコンテンツを、コンテンツD B33から読み出し、通信部34とネットワークNW� �介して表示装置11に送信する。

 表示装置11は、送信されたコンテンツを� �信し、スケジュールに従って表示する。

 なお、広告提供者は、広告提供者端末51� �使用して各URLに格納されているコンテンツ� �書き換えることで、スケジュール自体には� �を加えること無く、表示する広告を変更す� �ことができる。

 カメラ21は、図2(a)、(b)に示すように、表� ��装置11の前方の画像を常時撮影し、例えば� �1/30秒のフレーム周期でフレーム画像を取得� ��、ネットワークNWを介して効果測定装置41に 提供する。

 効果測定装置41の制御部48は、通信部47を� ��して、カメラ21からのフレーム画像を取得� �、フレームメモリ43に格納する。

 一方、制御部48は、電源投入後、図9に示� ��広告効果測定処理を周期的に実行する。

 まず、制御部48は、フレームメモリ43から 1枚のフレーム画像を取得し、ワークメモリ44 に展開する(ステップS11)。

 次に、制御部48は、取得したフレーム画� �の中から、表示装置11を見ている人(観察者)� ��顔画像を抽出する(ステップS12)。

 表示装置11を見ている人(観察者)の顔画像 を抽出する手法は任意である。例えば、制御 部48は、フレーム画像全体の平均輝度に基づ� ��て定めた閾値により、フレーム画像を二値� ��し、二値化画像中で一定の距離(10~18cm相当)� ��ある2つの黒点(目の画像と推定されるもの)� ��組を抽出する。続いて、制御部48は、元の� �レーム画像中で、抽出された黒点の組を基� �として一定範囲の画像を抽出し、これを予� �用意されている顔の画像のサンプルとマッ� �ングし、一致する場合に、その画像を表示� �置11を見ている人の顔画像として抽出すれば よい。

 なお、仮に顔画像が抽出できたとしても� ��表示装置11の画面を見ていない人の顔画像� �抽出しないようにする工夫が必要である。

 例えば、顔画像を抽出した後で、制御部4 8は、顔の重心の位置から顔の向きを判別し� �さらに、目の画像中で、瞳が目の左右方向� �いずれ方向にあるかを判別し、実際の目線� �方向が表示装置11の画面を向いているか否か を判別し、画面を向いていると判別した顔画 像のみを抽出する等してもよい。

 次に、制御部48は、抽出された各顔画像� �ついて、仮IDを付す(ステップS13)。例えば、� ��10(a)に示すように、フレーム画像FM中に、表 示装置11を見ていると判別された3つの顔画像 が抽出されたとすれば、図10(b)に例示するよ� ��に仮ID(=1、2、3)を付す。

 次に、制御部48は、仮IDを付した各顔画像 のサイズ(縦横のドット数)と、各顔画像のフ� ��ーム画像FM内の位置(X、Y座標)とを求める(ス テップS14)。さらに、制御部48は、各顔画像の サイズを必要に応じて所定サイズに正規化し た上で、顔を識別するための複数の特徴量を 求める(ステップS14)。

 ここで「特徴量」とは、顔画像の特徴を� ��す各種のパラメータである。具体的には、� ��画像の各画素の濃度勾配を表す勾配ベクト� ��、各画素の色情報(色相、彩度)、濃度、テ� �スチャーの特徴や奥行を示す情報、及び、� �画像に含まれるエッジの特徴を示す情報等� �いかなる特徴を表すパラメータを特徴量と� �て用いてもよい。なお、この特徴量として� �、既知の種々の特徴量を使用してもよい。� �えば、両目と鼻の頂点との距離などを特徴� �として使用することも可能である。

 制御部48は、このようにして求めた顔画� �の仮IDと顔のサイズと位置と特徴量とを、例 えば、図11に示すように、対応付けて記憶す� ��(ステップS15)。

 次に、制御部48は、仮IDが付された各顔画 像を処理するため、仮IDを示すポインタiに初 期値1をセットする(ステップS16)。

 次に、制御部48は、仮ID=iで特定される顔� ��像の位置及び特徴を、前フレームまでに抽� ��されて固定IDが付与されている複数の顔画� �の位置及び特徴と比較し(ステップS17)、一致 するものがあるか否かを判別する(ステップS1 8)。

 フレーム周期(例えば、1/30秒)の間に、人� ��はほとんど移動できない。例えば、通常の� ��行程度では、10cm程度しか移動できない。そ こで、制御部48は、従前の位置から10cm程度の 移動範囲内にあって、特徴量がほぼ一致する ものがあれば、同一人物の顔であると判別す る。逆に、制御部48は、位置がほぼ一致して� ��、特徴量が大きく異なっている場合や、特� ��量がほぼ一致しても、位置が大きくずれて� ��る場合には、異なる人物の顔であると判別� ��る。

 例えば、現在のフレーム画像FMが図10(b)、 従前のフレーム画像FMが図10(c)に示すもので� �るとする。この場合、仮ID=2、3で特定される 顔画像は、固定ID=302、305で特定される顔画像 と、位置と特徴量とがほぼ等しいため、一致 すると判別される。一方、仮ID=1で特定され� �顔画像は、固定ID=301で特定される顔画像と� �特徴量はほぼ等しいが、位置が大きく異な� �ため、不一致と判別される。また、仮ID=1で� ��定される顔画像と固定ID=303で特定される顔� ��像とは、位置がほぼ等しいが特徴量が大き� ��異なるため、不一致と判別される。

 図9に戻り、ステップS18で、従前のフレー ム画像中に一致する顔画像が存在しないと判 別した場合(ステップS18;No)、その顔画像の人� ��は、表示装置11の表示を新たに見始めた人� �あると考えられる。このため、制御部48は、 その顔画像について、分析を開始するため、 新規に固定IDを採番し、新レコードを作成し� ��顔画像のサイズとフレーム画面内の位置(x� �y)と特徴量とを登録する(ステップS19)。さら� ��、制御部48は、顔のサイズに基づいて、平� �距離Rを判別し、登録する(ステップS19)。ま� �、制御部48は、求めた特徴量の組とモデルDB4 2に格納されている特徴量の組とを比較し、� �画像に対応する年齢層と性別とを求め、属� �として登録する(ステップS19)。さらに、制御 部48は、継続フレーム数Nに1を設定する(ステ� ��プS19)。

 図10に示す例では、図10(b)に示した3つの� �のうち、仮ID=1で特定された顔が、このフレ� ��ムで新たに目線が検出された顔であると判� ��され、図12に例示するように、レコードが� �たに生成される。

 図9に戻り、ステップS18で、従前のフレーム 画像中に一致する顔画像が存在すると判別し た場合(ステップS18;Yes)、その顔画像の人物は 、このフレーム期間、表示装置11の表示を見� ��けていた人であると考えられる。このため� ��制御部48は、その人物についての分析を継� �するため、該当するレコードについて、フ� �ーム画面内の位置(x,y)を更新し、平均距離R� �以下の式で求めた値に更新する(ステップS20) 。
平均距離R=(該当レコードに記憶されている平 均距離R・継続フレーム数N+今回の顔画像のサ イズから求めた距離)/(N+1)
 続いて、制御部48は、継続フレーム数Nを+1� �る(ステップS20)。また、制御部48は、必要に� ��じて属性情報(年齢層、性別等)を更新して� �よい。

 図10に示す例では、固定ID=302、305の顔画� �について、対応するレコードを、図13(a)から 図13(b)に示すように、更新する。

 続いて、制御部48は、全ての仮IDについて 、処理が終了したか否かを判別し(ステップS2 1)、終了していなければ(ステップS21;No)、ポ� �ンタiを+1して(ステップS22)、ステップS17に戻 り、次の顔画像について同様の処理を繰り返 す。

 このようにして、全ての顔画像について� ��理が終了すると、すなわち、今回処理した� ��レーム画像FM中、表示装置11の表示を見てい ると判別される人物についての分析の処理が 終了すると、ステップS21でYesと判別される。

 ステップS21でYesと判別されると、制御部48� �、顔画像(視線)が検出されなくなった顔画像 の固定IDが存在するか否かを判別する(ステッ プS23)。
 すなわち、従前のフレーム画像で目線が検� ��されたが今フレームでは検出されないとい� ��場合には、対応する顔画像の人物は、直前� ��では表示装置11の表示を見ていたが、見る� �をやめたこととなる。そこで、ステップS23� �、Yesと判別された場合、制御部48は、判別さ れた固定IDの顔画像について、広告効果を求� ��る(ステップS24)。すなわち、制御部48は、そ の固定IDで特定されるレコードに記録されて� ��る継続フレーム数Nにフレーム周期δTを乗算 して滞留期間(連続して表示を見ていた期間)T を求める。また、制御部48は、この滞留期間T と平均距離Rとを図5に示すマップに当てはめ� ��、広告効果を求める。続いて、制御部48は� �この広告効果をレコードに追加し、該レコ� �ドをワークメモリ44から広告効果メモリ45に� ��動する。

 図10の例では、図10(c)に示す従前のフレー ム画像FM中にあった固定ID301で特定される顔� �像が、図10(d)に示す今回のフレーム画像中に 存在しない。このため、固定ID301で特定され� ��顔画像について、広告効果が求められ、図8 に示す広告効果メモリ45に新規レコードとし� ��追加される。

 その後、フローはステップS11にリターン� ��る。

 一方、ステップS23で、Noと判別された場� �、制御部48は、ステップS24をスキップしてス テップS11にリターンする。

 このような処理を繰り返すことにより、� ��示装置11の表示を新たに見たと判別された� �(顔画像)に固定IDが付与されて、この固定ID� �基づいて複数フレームにわたって継続的に� �離R等の分析がなされる。そして、表示装置1 1の表示を見るのをやめたと判別された段階� �、当該固定IDの顔画像の分析は終了し、広告 効果や属性等が求められる。

 そして、制御部48は、広告効果メモリ45に 格納された情報を適宜分析し、広告提供者端 末51等に提供する。

 なお、図14に示すように、ステップS15で� �IDと顔のサイズと位置と特徴量とを対応付け た後、即座に、フレームメモリ43に記憶され� ��いるフレーム画像をリセットすることによ� ��完全に消去するステップS31の処理を追加し� ��もよい。このようにすることで、顔画像が� ��部に流出することを防止することが可能と� ��る。なお、この場合、以後の処理は、得ら� ��た仮IDと付随するデータのみで行えばよい� �

 また、制御部48がより詳細な分析を行い、� �えば、図15に例示するように、時間帯毎(図15 (a))、属性毎(図15(b))、時間帯と属性の組み合� ��せ毎(図15(c))、及び、直近から所定時間内の 属性別(図15(d))等に分類して広告効果を測定� �、その測定結果に基づいて配信する広告を� �御(選択)してもよい。なお、図15(d)で属性別� ��求められているポイントは、例えば、広告� ��果の大、中、小に対応したポイントを属性� ��に累算して求めたものである。
 また、図16に示すように、表示(配信)対象コ ンテンツに、ターゲットとする属性(年齢層� �性別)を付加しておき、直近の属性別に求め� ��広告効果に基づいて、広告効果が高い所定� ��囲の属性をターゲットとする広告を判別し� ��、配信・表示するようにしてもよい。

 なお、広告効果を分析する手法は任意であ� ��。
 例えば、本実施の形態では、図5に示すよう に、平均距離R5段階、滞留時間T5段階に基づ� �て、広告効果を大・中・小の3段階に分析し� ��が、距離の段階数、滞留時間の段階数、更� ��、広告効果の段階数は任意に設定可能であ� ��。更に、3段階での広告効果の分析と、7段� �での広告効果の分析とを並行してもよい。� �た、分析の依頼主が要求に応じて、例えば� �クライアントAには3段階、クライアントBに� �、7段階での広告効果の分析結果を送信する� ��してもよい。

 さらに、属性別に、図5に示す広告効果の分 析を行うようにしてもよい。
 また、図5に示すような段階的な指標ではな く、例えば、次式に例示するような広告効果 の指標を使用することも可能である。
 広告効果=σk/Ri
 ここで、 kは任意の定数、Ri(i=1、2…)は目� �を検出した各人の表示装置11からの距離であ る。

 さらに、図15に示す分析期間(時間帯)を、よ り短時間或いはより長時間としたり、表示さ れた広告画像のフレーム単位としたりするこ とも可能である。
 例えば、表示装置11とカメラ21とに同期した クロックを供給し、表示装置11の表示フレー� ��とカメラ21の撮像フレームとを同期させる� �そして、カメラ21の各撮像フレームの画像を 解析して、そのタイミングで表示装置11を注� ��していた人の数、属性などを求め、対応す� ��表示フレームの広告効果として出力しても� ��い。

 また、入出力部46、通信部47を介した外部 装置からの設定により、適宜、分析の単位時 間、評価の基準などを設定・追加できるよう にしてもよい。例えば、顔画像を解析して得 られる特徴量の組み合わせと属性との対応関 係が新たに判別した場合などに、外部装置か ら入出力部46或いは通信部47を介してその対� �関係を制御部48に提供し、制御部48が分析の� ��象とするようにしてもよい。

 また、一般的に、表示装置11の表示を見� �がら表示装置11に近づいて来た人への広告効 果は相対的に高く、表示装置11の表示を見な� ��ら表示装置11から遠ざかった人への広告効� �は相対的に低いと解される。例えば、図17の 例では、滞留時間が同一であるとすれば、表 示を見ながら表示装置11に近づいて来た人OB1� ��の広告効果は相対的に高く、表示を見なが� ��表示装置11から遠ざかった人OB2への広告効� �は相対的に低い。

 そこで、例えば、図9のステップS19、S20、及 び、S24を、図18に示すステップS19’、S20’、� ��び、S24’に変更した広告効果測定処理を実� ��してもよい。即ち、ステップS19’、S20’で� ��制御部48は、従来の分析処理に加えて、観� �者OBと表示装置11との距離Rを現在時刻と対応 付けて記憶する。
 そして、ステップS24’で、制御部48は、距� �Rの時間軸上の履歴を分析して、広告観察者� ��広告に近づいたか遠ざかったかの指標を判� ��し、その指標も考慮に入れた広告効果を求� ��る。例えば、距離Rが4→3.9→3.8→・・・→2� ��いうように、基準量以上小さくなる履歴を� ��む場合には、制御部48は、広告効果を+m段階 (mは近づいた程度を示す数値)し、距離Rが3→3 .1→3.2→・・・→5というように、Rが基準量� �上小さくなる履歴が大半を占める場合には� �広告効果を-n段階(nは遠ざかった程度を示す� ��値)するなどして、広告効果を移動方向、及 び/又は、移動量によって調整すればよい。� �た、図19に例示するように、広告に近づいた か遠ざかったのかの指標を、上記の広告効果 とは別の指標として提供するようにしてもよ い。

 また、例えば、図20に示すように、表示� �置11の前方エリアを複数の領域(エリア1、2、 3)に区切る仮想的なライン(仮想ライン1、2)を 設定し、観察者OBがエリア1から仮想ライン1� �超えてより近いエリア2に移動した場合には� ��広告効果を示す指標(ポイント)を+mし、さら に、観察者OBがエリア2から仮想ライン2を超� �てより近いエリア3に移動した場合には、ポ� ��ントを+nする、というように、距離の変化� �履歴からある仮想ラインを超えたときに、� �加の広告効果ポイントを付与するような構� �としてもよい。また、観察者OBがエリア3か� �仮想ライン2を超えてより遠いエリア2に移動 した場合には、ポイントを-mし、さらに、観� ��者OBがエリア2から仮想ライン1を超えてより 遠いエリア1に移動した場合には、ポイント� �-nするようにしてもよい。

 なお、広告配信・表示を中心として説明� ��たが、広告に限定されず、任意のコンテン� ��、例えば、教材用表示、公報用表示、等に� ��本発明は適用可能である。

また、図1,図3,図6等で示したシステム構成� ��び図9、図18で示したフローチャートなどは� ��例示であり、同様の機能を実現できるなら� ��、適宜変更可能である。

 例えば、表示装置11は投影装置でもよい。� �の場合は、スクリーン(=画面(例えば、ビル� �壁面等))にカメラ21を配置すればよい。
 また、複数台のカメラ21を配置し、ステレ� �画像から、観察者OBまでの距離をもとめても よい。

 本出願は、2008年1月28日に出願された日本 国特許出願特願2008-016938号に基づく。本明細� ��中に、それらの明細書、特許請求の範囲、� ��面全体を参照として取り込むものとする。