Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
VIDEO OUTPUTTING APPARATUS
Document Type and Number:
WIPO Patent Application WO/2008/078624
Kind Code:
A1
Abstract:
A video outputting apparatus (10) is provided with a face recognition engine (22) which recognizes a face included in a video; a mask generating section (26) which generates a mask to be placed over a region of the face detected by the face recognition engine (22); a mask synthesizing section (28) which synthesizes the video and the mask; and a video signal outputting section (32) which outputs the synthesized video with the mask. Thus, masking can be performed to a person moving within a photographing region of a camera.

Inventors:
KOGANE HARUO
Application Number:
PCT/JP2007/074422
Publication Date:
July 03, 2008
Filing Date:
December 19, 2007
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
MATSUSHITA ELECTRIC IND CO LTD (JP)
KOGANE HARUO
International Classes:
H04N7/18; H04N5/225
Foreign References:
JP2005049939A2005-02-24
JP2005117163A2005-04-28
JP2004258764A2004-09-16
JP2001092838A2001-04-06
JPH11161672A1999-06-18
JPH07288806A1995-10-31
JP2002281486A2002-09-27
JP2003219383A2003-07-31
JP2002027425A2002-01-25
JP2002185902A2002-06-28
JP2006293842A2006-10-26
JP2006293912A2006-10-26
Attorney, Agent or Firm:
OHNO, Seiji et al. (Kasumigaseki Building 36F2-5, Kasumigaseki 3-chome, Tokyo 36, JP)
Download PDF:
Claims:
 映像中に含まれている顔を認識する顔認識エンジンと、
 前記顔認識エンジンにて検出した顔の領域にかけるマスクを生成するマスク生成部と、
 映像と前記マスクを合成するマスク合成部と、
 前記マスク合成部にて処理された映像を出力する映像出力部と、
 を備えた映像出力装置。
 映像の出力要求を受け付ける出力要求受付部と、
 前記出力要求に含まれる権限レベルに応じて、前記マスク合成部にて処理された映像と前記マスク合成部での処理が行われていない元の映像のいずれを出力するかを切り替える切替部と、
 を備えた請求項1に記載の映像出力装置。
 前記切替部は、映像に映る顔の数が所定の閾値より多い場合、あるいは、顔の領域が所定の閾値より小さい場合に、マスクなしの映像を出力するように切り替える請求項2に記載の映像出力装置。
 映像信号とマスクとの合成比率を設定する合成比率設定部を備え、
 前記マスク合成部は、前記合成比率設定部にて設定された合成比率によって、映像にマスクを合成する請求項1に記載の映像出力装置。
 前記顔認識エンジンにて検出した顔の領域を切り出す顔領域切出部を備え、
 前記映像出力部は、顔領域切出部にて切り出した切出し映像を、顔の映像に基づく処理を行うサーバに送信する請求項1に記載の映像出力装置。
 映像出力装置と、前記映像出力装置から映像を受信して表示するクライアント端末と、を備える映像出力システムであって、
 前記映像出力装置は、
 前記クライアント端末から送信される映像の送信要求を受信する要求受信部と、
 映像中に含まれている顔を認識する顔認識エンジンと、
 前記顔認識エンジンにて検出した顔の領域にかけるマスクを生成するマスク生成部と、
 前記映像と前記マスクを合成するマスク合成部と、
 前記マスク合成部にて処理された映像を前記クライアント端末に送信する映像送信部と、
 を備えた映像出力システム。
 前記映像出力装置は、
 権限レベルとその権限レベルで許可された内容とを関連付けて記憶した権限情報記憶部を備え、
 前記映像送信部は、前記要求受信部にて受信した送信要求に含まれる権限レベルに対応する情報を前記権限情報記憶部から読み出し、マスクなしの映像の表示がクライアント端末に許可されているか否かを判定し、判定の結果に基づいて、前記マスク合成部にて処理された映像と前記マスク合成部での処理が行われていない元の映像のいずれかを前記クライアント端末に送信する請求項6に記載の映像出力システム。
 前記映像出力装置は、
 前記要求受信部にて受信した送信要求に応じて送信する映像に関する情報にアクセスするためのリンク情報を取得するリンク情報取得部を備え、
 前記映像送信部は、前記映像と共に前記リンク情報を送信する請求項6に記載の映像出力システム。
 前記映像出力装置は、
 権限レベルとその権限レベルで許可された内容とを関連付けて記憶した権限情報記憶部を備え、
 前記リンク情報取得部は、前記要求受信部にて受信した送信要求に含まれる権限レベルに対応する情報を前記権限情報記憶部から読み出し、映像に関する情報へのアクセスがクライアント端末に許可されているか否かを判定し、許可されていると判定されたときに、前記リンク情報を取得する請求項8に記載の映像出力システム。
 映像出力装置と、前記映像出力装置から映像を受信して表示するクライアント端末と、を備える映像出力システムであって、
 前記クライアント端末は、
 表示された映像中の所定の座標を指示する座標指示部と、
 前記座標指示部にて指示された座標を示す情報を前記映像出力装置に送信する座標情報送信部と、を備え、
 前記映像出力装置は、
 前記クライアント端末から送信された前記座標を示す情報を受信する座標情報受信部と、
 前記座標を示す情報に基づいて、映像中に含まれている顔の領域を切り出す顔領域切出部と、
 前記顔領域切出部にて切り出された顔の映像を前記クライアント端末に送信する映像送信部と、
 を備えた映像出力システム。
 前記座標指示部は、キーボードまたはポインティングデバイスである請求項10に記載の映像出力システム。
 前記映像出力装置と前記クライアント端末とをつなぐネットワークは、LANまたはインターネットである請求項6~11のいずれかに記載の映像出力システム。
 映像出力装置と、前記映像出力装置から受信した映像の照合を行う照合サーバと、を備える照合システムであって、
 映像中に含まれている顔を認識する顔認識エンジンと、
 前記顔認識エンジンにて検出した顔の領域を切り出す顔領域切出部と、
 前記顔領域切出部にて切り出した映像を、前記照合サーバに送信する映像送信部と、
 を備えた照合システム。
Description:
映像出力装置 関連する出願

 本出願では、2006年12月22日に日本国に出 された特許出願番号2006-345411の利益を主張し 、当該出願の内容は引用することによりここ に組み込まれているものとする。

 本発明は、カメラやエンコーダ等の映像 力装置に関し、特に、プライバシー保護の めに画像の一部をマスキングする技術に関 る。

 従来から、監視カメラの映像をネットワ ク経由で送信し、保安室等において監視を う監視システムが知られていた。このよう 監視システムを用いて、公共の場所を監視 る場合には、例えば、近隣の民間の家等が 面に表示されないように、マスキング(いわ ゆるプライベートマスク)をかける例が知ら ている。

 特開2004-304847号公報は、監視カメラの映 にプライベートマスクをかける監視カメラ 置を開示している。この特許文献に記載さ た監視カメラは、水平方向と垂直方向に回 可能な監視カメラである。この特許文献で 、最初に、操作者がジョイスティック等の 力手段を用いてマスクをかける領域を設定 る。監視カメラは、設定された領域を特定 るデータを保持し、監視カメラが水平方向 垂直方向に回転した場合にマスキングする 標を計算によって求め、求められた座標に スキングを行う。

 上記した特許文献に記載の監視カメラで 、監視カメラの回転に応じてマスキングす 座標を変えることにより、撮像角度の変化 よらず、操作者が設定した領域にマスクを けることができる。しかし、上記した特許 献では、マスキングの領域があらかじめ設 された領域に固定されているので、監視カ ラに映る人が固定の領域からはみ出した場 には、プライベートマスクをかけることが きなかった。

 本発明は、上記背景に鑑み、カメラの撮 領域内で移動する人に対して、マスキング 行える映像出力装置を提供することを目的 する。

 本発明の映像出力装置は、映像中に含ま ている顔を認識する顔認識エンジンと、前 顔認識エンジンにて検出した顔の領域にか るマスクを生成するマスク生成部と、映像 前記マスクを合成するマスク合成部と、前 マスク合成部にて処理された映像を出力す 映像出力部とを備えた構成を有する。

 本発明の映像出力システムは、映像出力 置と、前記映像出力装置から映像を受信し 表示するクライアント端末とを備える映像 力システムであって、前記映像出力装置は 前記クライアント端末から送信される映像 送信要求を受信する要求受信部と、映像中 含まれている顔を認識する顔認識エンジン 、前記顔認識エンジンにて検出した顔の領 にかけるマスクを生成するマスク生成部と 映像と前記マスクを合成するマスク合成部 、前記マスク合成部にて処理された映像を 記クライアント端末に送信する映像送信部 を備える構成を有する。

 本発明の別の態様に係る映像出力システ は、映像出力装置と、前記映像出力装置か 映像を受信して表示するクライアント端末 を備える映像出力システムであって、前記 ライアント端末は、表示された映像中の所 の座標を指示する座標指示部と、前記座標 示部にて指示された座標を示す情報を前記 像出力装置に送信する座標情報送信部とを え、前記映像出力装置は、前記クライアン 端末から送信された前記座標を示す情報を 信する座標情報受信部と、前記座標を示す 報に基づいて、映像中に含まれている顔の 域を切り出す顔領域切出部と、前記顔領域 出部にて切り出された顔の映像を前記クラ アント端末に送信する映像送信部とを備え 構成を有する。

 本発明の照合システムは、映像出力装置 、前記映像出力装置から受信した映像の照 を行う照合サーバとを備える照合システム あって、映像中に含まれている顔を認識す 顔認識エンジンと、前記顔認識エンジンに 検出した顔の領域を切り出す顔領域切出部 、前記顔領域切出部にて切り出した映像を 前記照合サーバに送信する映像送信部とを えた構成を有する。

 以下に説明するように、本発明には他の 様が存在する。したがって、この発明の開 は、本発明の一部の提供を意図しており、 こで記述され請求される発明の範囲を制限 ることは意図していない。

図1は、実施の形態の映像出力装置の構 成を示す図 図2は、実施の形態の映像出力システム の構成を示す図 図3は、権限テーブルに記憶されたデー タの例を示す図 図4は、顔検索サーバの構成を示す図 図5は、顔データベースに記憶されたデ ータの例を示す図 図6は、映像出力装置で撮影した顔の映 像に基づいて、顔検索サーバに情報を登録す る動作を示す図 図7は、クライアント端末からの映像の 送信要求に応じて、クライアント端末に映像 を表示するまでの動作を示す図 図8は、クライアント端末に表示される 映像の例を示す図 図9は、クライアント端末に表示される 映像の例を示す図 図10は、クライアント端末に映像の関 情報を表示する動作を示す図 図11は、クライアント端末の画面に表 される関連情報の例を示す図 図12は、権限レベルテーブルの他の例 示す図

 以下に、本発明の詳細な説明を述べる。 下に説明する実施の形態は本発明の単なる であることが理解され、本発明が様々な態 に変形することができる。従って、以下に 示する特定の構成および機能は、請求の範 を限定するものではない。

 本実施の形態の映像出力装置は、映像中 含まれている顔を認識する顔認識エンジン 、前記顔認識エンジンにて検出した顔の領 にかけるマスクを生成するマスク生成部と 映像と前記マスクを合成するマスク合成部 、前記マスク合成部にて処理された映像を 力する映像出力部とを備えた構成を有する

 この構成により、映像中に含まれている を検出し、検出された顔の領域にかけるマ クを生成して映像に合成するので、人がリ ルタイムに移動している場合にも、顔にマ クをかけてプライバシーを保護することが きる。また、マスク合成部にて顔の領域に スクを合成し、当該処理が完了した映像を 像出力部より出力するので、マスク合成処 がなされていない映像を外部に漏らさない うにできる。映像出力装置から出力された 像が第三者に悪用される危険を低減でき、 ライバシーの保護を強固にできる。

 本実施の形態の映像出力装置は、映像の 力要求を受け付ける出力要求受付部と、前 出力要求に含まれる権限レベルに応じて、 記マスク合成部にて処理された映像と前記 スク合成部での処理が行われていない元の 像のいずれを出力するかを切り替える切替 とを備えた構成を有する。

 この構成により、権限レベルに応じて、 記マスク合成部にて処理された映像と、処 が行われていない元の映像のいずれを出力 るかを変更することができる。

 本実施の形態の映像出力装置において、 記切替部は、映像に映る顔の数が所定の閾 より多い場合、あるいは、顔の領域が所定 閾値より小さい場合に、マスクなしの映像 出力するように切り替える構成を有する。

 この構成により、プライバシーの問題が じない場合には、マスクなしの映像を出力 ることができる。すなわち、映像に映る顔 数が所定の閾値より多い場合には、映像に った人は群集とみなされるので、マスクな の映像を出力してもプライバシーの問題は じない。また、顔の領域が所定の閾値より さい場合には、顔の映像から人を判別する とができないので、マスクなしの映像を出 してもプライバシーの問題は生じない。

 本実施の形態の映像出力装置は、映像信 とマスクとの合成比率を設定する合成比率 定部を備え、前記マスク合成部は、前記合 比率設定部にて設定された合成比率によっ 、映像にマスクを合成する構成を有する。

 この構成により、用途に応じて、マスク 強さを設定できる。

 本実施の形態の映像出力装置は、前記顔 識エンジンにて検出した顔の領域を切り出 顔領域切出部を備え、前記映像出力部は、 領域切出部にて切り出した切出し映像を、 の映像に基づく処理を行うサーバに送信す 構成を有する。

 この構成により、サーバでは、顔の映像 切り出す処理を行わずに、顔の映像に基づ 処理を行えるので、処理負荷を軽減できる また、映像出力装置からサーバへ送信され データ量を低減することもできる。また、 像出力装置からサーバに、マスク合成処理 の映像が送信されるので、サーバがカメラ 像を再配信するときに、マスクの生成およ マスクと映像の合成に要するディレイを抑 できる。

 本実施の形態の映像出力システムは、映 出力装置と、前記映像出力装置から映像を 信して表示するクライアント端末とを備え 映像出力システムであって、前記映像出力 置は、前記クライアント端末から送信され 映像の送信要求を受信する要求受信部と、 像中に含まれている顔を認識する顔認識エ ジンと、前記顔認識エンジンにて検出した の領域にかけるマスクを生成するマスク生 部と、映像と前記マスクを合成するマスク 成部と、前記マスク合成部にて処理された 像を前記クライアント端末に送信する映像 信部とを備える構成を有する。

 この構成により、上記した映像出力装置 同様に、人がリアルタイムに移動している 合にも、顔にマスクをかけてプライバシー 保護することができる。また、映像出力装 からクライアント端末に、マスク合成処理 していない映像を送信しないので、クライ ント端末にて映像を悪用される危険を低減 き、プライバシーの保護を強固にできる。

 本実施の形態の映像出力システムにおい 、前記映像出力装置は、権限レベルとその 限レベルで許可された内容とを関連付けて 憶した権限情報記憶部を備え、前記映像送 部は、前記要求受信部にて受信した送信要 に含まれる権限レベルに対応する情報を前 権限情報記憶部から読み出し、マスクなし 映像の表示がクライアント端末に許可され いるか否かを判定し、判定の結果に基づい 、前記マスク合成部から出力された映像と 記マスク合成部での処理が行われていない の映像のいずれかを前記クライアント端末 送信する構成を有する。

 この構成により、クライアント端末の権 レベルに応じて、前記マスク合成部から出 された映像と処理が行われていない元の映 のいずれを送信するかを変更することがで る。

 本実施の形態の映像出力システムにおい 、前記映像出力装置は、前記要求受信部に 受信した送信要求に応じて送信する映像に する情報にアクセスするためのリンク情報 取得するリンク情報取得部を備え、前記映 送信部は、前記映像と共に前記リンク情報 送信する構成を有する。

 この構成により、クライアント端末にリ ク情報を送信することにより、クライアン 端末は、映像に関する情報にアクセスする とが可能となる。映像出力装置は、リンク 報を取得して送信する構成を有し、映像に する情報を格納していないので、映像出力 置が盗まれた場合にも、例えば、個人情報 の映像に関する情報の流出を防止できる。

 本実施の形態の映像出力システムにおい 、前記映像出力装置は、権限レベルとその 限レベルで許可された内容とを関連付けて 憶した権限情報記憶部を備え、前記リンク 報取得部は、前記要求受信部にて受信した 信要求に含まれる権限レベルに対応する情 を前記権限情報記憶部から読み出し、映像 関する情報へのアクセスがクライアント端 に許可されているか否かを判定し、許可さ ていると判定されたときに、前記リンク情 を取得する構成を有する。

 この構成により、クライアント端末の権 レベルに応じて、リンク情報を送信するか かを変更することができる。

 本実施の形態の映像出力システムにおい 、前記映像出力装置と前記クライアント端 とをつなぐネットワークは、LANまたはイン ーネットである構成を有する。

 この構成により、クライアント端末が遠 地にある場合にも、映像出力装置とクライ ント端末を容易に接続することができる。

 本実施の形態の別の態様に係る映像出力 ステムは、映像出力装置と、前記映像出力 置から映像を受信して表示するクライアン 端末とを備える映像出力システムであって 前記クライアント端末は、表示された映像 の所定の座標を指示する座標指示部と、前 座標指示部にて指示された座標を示す情報 前記映像出力装置に送信する座標情報送信 とを備え、前記映像出力装置は、前記クラ アント端末から送信された前記座標を示す 報を受信する座標情報受信部と、前記座標 示す情報に基づいて、映像中に含まれてい 顔の領域を切り出す顔領域切出部と、前記 領域切出部にて切り出された顔の映像を前 クライアント端末に送信する映像送信部と 備えた構成を有する。

 この構成により、クライアント端末に表 された映像の所定の座標を指示すると、指 された顔の切出し映像がクライアント端末 送信される。これにより、例えば、最初に 解像度の低い映像を送信しておき、クライ ント端末で座標が指示されたときに、その 標近くから顔の映像を切り出し、高解像度 顔の映像を生成して、クライアント端末に 信することができる。

 本実施の形態の映像出力システムにおい 、前記座標指示部は、キーボードまたはポ ンティングデバイスである構成を有する。

 この構成により、簡単なインターフェー によって、映像中の座標を指示することが きる。

 本実施の形態の照合システムは、映像出 装置と、前記映像出力装置から受信した映 の照合を行う照合サーバとを備える照合シ テムであって、映像中に含まれている顔を 識する顔認識エンジンと、前記顔認識エン ンにて検出した顔の領域を切り出す顔領域 出部と、前記顔領域切出部にて切り出した 像を、前記照合サーバに送信する映像送信 とを備えた構成を有する。

 この構成により、照合サーバでは、顔の 像を切り出す処理を行わずに顔の映像に基 く処理を行えるので、処理負荷を軽減でき 。また、映像出力装置からサーバへ送信さ るデータ量を低減することもできる。

 以下、本発明の実施の形態の映像出力装 および映像出力システムについて、図面を 照しながら説明する。以下の説明では、映 出力装置の例としてカメラを取り上げる。 像出力システムは、カメラで撮影した映像 、ネットワークによって接続されたクライ ント端末に出力する。カメラは、例えば、 物の玄関に取り付けられ、玄関付近の様子 撮影し、この映像によって訪問者や侵入者 監視することができる。クライアント端末 しては、例えば、建物内の一般ユーザ向け 端末と、保安室の警備員向けの端末がある

 図1は実施の形態の映像出力装置10の構成 示す図、図2は実施の形態の映像出力映像出 力システム1の構成を示す図である。図2に示 ように、本実施の形態の映像出力システム1 は、映像出力装置10と、顔検索サーバ50と、 ライアント端末60とを備えている。映像出力 装置10と顔検索サーバ50とクライアント端末60 は、ネットワーク62によって接続されている ネットワーク62としては、インターネット たはLANを用いることができる。

 映像出力装置10は、クライアント端末60か らの要求に応じて、撮影した映像をクライア ント端末60に送信する機能を有する。また、 像出力装置10は、撮影した映像に顔が含ま ていた場合に、顔の領域を切り出して、切 出した映像を顔検索サーバ50に送信する機能 を有する。

 顔検索サーバ50は、映像出力装置10から受 信した顔の映像に一致する顔の映像をデータ ベースから検索し、見つかった場合には、そ の人物の訪問履歴を更新する。受信した顔に 一致する顔が見つからなかった場合には、新 しい訪問者としてデータベースに登録する。

 クライアント端末60は、映像出力装置10に て撮影した映像を表示する端末である。クラ イアント端末60には、所定の権限レベルが与 られており、権限レベルに応じた表示を行 。例えば、クライアント端末60が一般向け 場合には、人の顔にプライベートマスクを けた映像のみの表示を許可する権限を与え 。クライアント端末60が保安室向けの場合に は、プライベートマスクなしの映像の表示を 許可する権限を与える。

 図1を参照しながら、映像出力装置10の構 について説明する。映像出力装置10は、被 体からの光を集光するレンズ12と、レンズ12 透過した光を画像信号に変換する撮像素子 14と、撮像素子部14に合わせた信号処理を行 う前処理部16と、前処理部16から出力された 号を処理するYC分離処理部18および強調信号 理部20と、映像出力装置10の各構成を制御す る制御部36とを備えている。これらの信号処 部は、通常の画像処理装置が備える構成と じである。なお、図1では、図示を省略して いるが、制御部36は、映像出力装置10内の各 成と接続されている。

 本実施の形態の映像出力装置10は、顔認 エンジン22と、顔領域切出部24と、マスク生 部26と、マスク合成部28とを備えている。

 顔認識エンジン22は、映像中に含まれて る顔を認識する機能、および制御部36の選択 すべきIDと座標を生成する機能を有する。顔 域切出部24は、顔認識エンジン22にて認識さ れた顔の複数の領域を制御部36のIDの指定に って切り出し、顔の映像を生成する機能を する。顔領域切出部24にて切り出された顔の 映像は、エンコード部30にてエンコードされ 後、映像信号出力部32から出力される。映 信号出力部32から出力された映像信号は、ID 示す付加情報と共に、通信部34を介して顔 索サーバ50に送信される。

 マスク生成部26は、顔認識エンジン22にて 認識された顔の領域にかけるマスクを生成す る機能を有する。マスク合成部28は、マスク 成部26にて生成されたマスクを映像に合成 る機能を有する。マスク合成部28は、設定レ ジスタ38の設定値を参照して、映像にマスク 合成するか否かを切り替える。マスク合成 28にてマスクが合成されたマスク付き映像 あるいは、マスクが合成されなかったマス なし映像は、エンコード部30にてエンコード された後、映像信号出力部32から出力され、 信部34を介してクライアント端末60に送信さ れる。なお、マスクは、映像の並びを複雑に 入れ替えたものでもよい。なお、本書では、 マスク合成部28にてマスク合成処理が行われ 映像、すなわちマスク合成部28から出力さ る映像を「マスク付き映像」、マスク合成 28でのマスク合成処理が行われていない映像 、すなわち元の映像を「マスクなし映像」と 呼んでいる。

 制御部36は、クライアント端末60に表示さ れた映像のマウス等のポインティングデバイ スにて指定された座標をもとに、クライアン ト端末60と連携して顔認識エンジン22の複数 顔領域IDに対応付けできる。例えば、クライ アント端末60にてダブルクリックされた座標 映像出力装置10に送ると、映像出力装置10は 、指定された座標に近い顔切出し領域があれ ば、制御部36が顔切出し領域に対応するIDを 領域切出部24に指示する。これにより、顔指 定がなされた領域を拡大表示する用途で、ク ライアント端末60に映像を表示することがで る。

 映像出力装置10は、不揮発性メモリ40を備 えている。不揮発性メモリ40には、映像出力 ステム1で用いられる権限レベルとその権限 レベルで許可された内容を示す権限テーブル 42を記憶している。

 図3は、権限テーブル42の例を示す図であ 。図3に示す権限テーブル42には、権限レベ 1~権限レベル5の5種類の権限レベルが記憶さ れている。権限の内容としては、「顔検索サ ーバへのリンク」「顔拡大表示」「顔マスク なし表示」「カメラ映像アクセス」の4つが る。「顔検索サーバへのリンク」は、顔検 サーバ50へ接続して顔検索サーバ50から情報 取得する権限があるか否かを示す。「顔拡 表示」は、映像出力装置10で撮影した映像 含まれる顔の映像を拡大して表示する権限 あるか否かを示す。「顔マスクなし表示」 、映像出力装置10で撮影した映像に含まれる 顔の部分にマスクをかけないで表示する権限 があるか否かを示す。「カメラ映像アクセス 」は、映像出力装置10で撮影したカメラ映像 のアクセスする権限があるか否かを示す。

 図3に示す例では、権限レベル1が最も高 権限レベルであり、「顔検索サーバへのリ ク」「顔拡大表示」「顔マスクなし表示」 カメラ映像アクセス」の全てを行うことが きる。以下、権限レベルの数字が大きくな に従って、権限が小さくなっている。

 映像出力装置10は、通信部34を通じて、ク ライアント端末60からの映像の送信要求を受 すると、送信要求に含まれるクライアント 末60の権限レベルを抽出し、権限テーブル42 を参照して、権限レベルに応じた映像を生成 する。例えば、権限レベルが「4」である場 には、クライアント端末60は、顔マスクなし の表示を行うことはできないので、映像出力 装置10は、マスク付きの映像を生成する。具 的には、制御部36が設定レジスタ38にマスク 合成を行うことを示す設定値を設定する。こ れにより、マスク合成部28は、映像にマスク 合成する。映像出力装置10は、合成された スク付きの映像をクライアント端末60に送信 する。

 図4は、顔検索サーバ50の構成を示す図で る。顔検索サーバ50は、映像出力装置10およ びクライアント端末60と通信を行うための通 部52と、映像出力装置10にて撮影された顔の 映像を格納した顔データベース56と、顔デー ベース56を管理するデータベース管理部(以 、「DBMS」という)54と、DBMS54に対して操作を 行う操作部58とを備えている。

 図5は、顔データベース56に格納されたデ タの例を示す図である。顔データベース56 は、「ID」「顔映像データ」「訪問履歴」「 名前」「所属」に関するデータが記憶されて いる。「ID」は、人を特定する識別子である 顔映像データは、IDで特定された人の顔の 像データである。顔データベース56は、顔の 映像データとして、正面から撮影した顔の映 像のほかに、上下左右の幾つかの方向から撮 影した映像を記憶することとしてもよい。こ れにより、映像出力装置10から受信した顔の 像が正面から撮影した映像でない場合にも 顔の照合を行うことが可能となる。「訪問 歴」は、IDで特定された人の過去の訪問日 や訪問先の情報である。「名前」「所属」 、IDで特定された人の名前および所属を示す 情報である。図5は、顔データベースに記憶 れたデータの一例であり、図5に示す以外の ータ、例えば、性別や生年月日、連絡先等 情報を顔データベースに記憶することとし もよい。

 DBMS54は、映像出力装置10から受信した顔 切出し映像に一致する顔の映像を、顔デー ベース56から検索する機能を有する。DBMS54は 、顔データベース56から一致する顔の映像を つけ出した場合には、切出し映像の情報を 信した時刻を訪問時刻として記憶する。

 操作部58は、DBMS54を通じて顔データベー 56にアクセスし、顔データベース56に新しい の顔の映像を登録したり、訪問先の情報を 力したりする機能を有する。

 次に、本実施の形態の映像出力システム1 の動作について説明する。本実施の形態の映 像出力システム1は、(1)映像出力装置10で撮影 した顔の映像を顔検索サーバ50に情報を登録 る動作、(2)映像出力装置10にて撮影した映 をクライアント端末60に表示する動作を行う 。以下の説明では、図6を参照して(1)の動作 ついて説明し、図7~図11を参照して(2)の動作 ついて説明する。

 図6は、映像出力装置10で撮影した顔の映 を顔検索サーバ50に情報を登録する動作を す図である。映像出力装置10は、撮像素子部 14によって撮影を行う(S10)。撮影素子部14は、 以下に説明する処理を行っている最中も継続 して撮影する。映像出力装置10の顔認識エン ン22は、撮影によって得られた映像に対し 顔の認識処理を行い、顔が認識されたか否 を判定する(S12)。顔が認識されなかった場合 には(S12でNO)、映像出力装置10は、新しく得ら れた映像に対して、顔の認識処理を行う(S12)

 映像中に顔が含まれると認識された場合( S12でYES)、映像出力装置10の顔領域切出部24は 顔の領域を切り出す(S14)。映像出力装置10は 、顔領域切出部24にて切り出した顔の映像を 検索サーバ50に送信する(S16)。

 顔検索サーバ50は、映像出力装置10から送 信された顔の映像を受信し(S18)、受信した顔 映像に一致する顔の映像を顔データベース5 6から検索する(S20)。顔データベース56に一致 る顔の映像がある場合には、顔の映像を受 した時刻を、対応する人の訪問時刻として 憶する(S22)。顔データベース56に一致する顔 の映像がない場合には、新しくIDを付与して 顔データベース56に記憶する。なお、新し 保存された顔の映像に対する関連情報は、 検索サーバ50の操作部58から入力する。

 顔検索サーバ50は、顔データベース56への 情報の格納が完了したら、格納完了通知を映 像出力装置10に送信する(S24)。映像出力装置10 は、格納完了通知を受信し(S26)、顔検索サー 50への情報の登録が完了する。映像出力シ テム1は、常時、図6に示す動作を行うことに より、顔検索サーバ50に情報を蓄積する。

 図7は、クライアント端末60からの映像の 信要求に応じて、クライアント端末60に映 を表示するまでの動作を示す図である。ク イアント端末60は、映像出力装置10に対し、 像の送信要求を送信する(S30)。送信要求に 、クライアント端末60の権限レベルを示す情 報を含める。

 映像出力装置10は、クライアント端末60か ら送信された送信要求を受信し(S32)、受信し 送信要求に含まれる権限レベルを抽出する( S34)。映像出力装置10は、権限レベルに基づい て、クライアント端末60に顔検索サーバ50へ リンク権限があるか否かを判定する(S36)。ク ライアント端末60に顔検索サーバ50へのリン 権限がない場合には(S36でNO)、以下に説明す 顔検索サーバ50との間のデータ送受信を行 ずに、映像の生成のステップS46に移行する

 クライアント端末60に顔検索サーバ50への リンク権限があると判定された場合には(S36 YES)、映像出力装置10は、顔検索サーバ50にリ ンク情報の取得要求を送信する(S38)。リンク 報取得要求には、現在撮影中の映像に映っ いる顔の切出し映像を含める。

 顔検索サーバ50は、リンク情報の取得要 を受信すると(S40)、受信した取得要求に含ま れる顔の映像に関連する情報へのリンク情報 を生成する。具体的には、顔検索サーバは、 取得要求に含まれる顔の映像に対応する人を 特定し、その人の関連情報の格納先を示すリ ンク情報を生成する。顔検索サーバ50は、生 したリンク情報を映像出力装置10へ送信し(S 42)、映像出力装置10は、顔検索サーバ50から 信されたリンク情報を受信する(S44)。

 次に、映像出力装置10は、権限レベルに じた映像を生成する(S46)。ここで、図3に示 権限テーブル42を参照して説明する。例えば 、権限レベルが「4」の場合には、カメラ映 アクセスは許可されているが、顔マスクな 表示は禁止されているので、映像出力装置10 は、マスク付きの映像を生成する。具体的に は、設定レジスタ38に、マスクありの設定値 設定することにより、マスク合成部28は映 にマスクを合成し、マスク付き映像を生成 る。例えば、権限レベルが「2」の場合には マスクなし表示および顔拡大表示が許可さ ているので、マスクを合成しない映像に、 を拡大した映像を付加した映像を生成する また、例えば、権限レベルが「1」の場合に は、顔検索サーバ50へのリンクが許可されて るので、顔検索サーバ50から取得したリン 情報を映像に埋め込む。このように、映像 力装置10は、クライアント端末60の権限レベ に応じた映像を生成する(S46)。

 次に、映像出力装置10は、生成された映 をクライアント端末60に送信する(S48)。クラ アント端末60は、映像出力装置10から送信さ れた映像を受信し(S50)、受信した映像を表示 る(S52)。

 図8は、権限レベル4のクライアント端末60 に表示される映像の例を示す図である。図8 示されるように、画面には、人を含む映像 表示されている。人の顔には、マスクがか られており、画面に映った人物が誰か特定 きないようにされている。

 図9は、権限レベル1のクライアント端末60 に表示される映像の例を示す図である。図9 示されるように、画面には、人を含む映像 表示されているが、マスクは掛けられてい い。画面の右下のサブウィンドウ72には、顔 が拡大表示されている。また、画面の下側に は、リンク情報74が表示されている。このリ ク情報74をクリックすることによって、画 の表示された人物に関連する情報を表示す ことができる。また、画面中の顔近くをマ スポインタ76でクリック指定することで、サ ブウィンドウ72を切り替えることができる。 お、図9中の人物ごとのID表示は、映像出力 置10側またはクライアント端末60側のいずれ で合成してもよい。

 図10は、リンク情報のクリックに応じて クライアント端末60に映像の関連情報を表示 するまでの動作を示す図である。

 クライアント端末60は、図9に示すような ンク情報付きの映像を表示する(S52)。リン 情報付きの映像を表示するまでの動作は、 7を参照して説明した通りである。ユーザが ンクをクリックすると、クライアント端末6 0は、リンクに指定されたアドレスに接続要 を送信する(S54)。顔検索サーバ50は、クライ ント端末60から接続要求を受信すると(S56)、 接続要求を送信してきたクライアント端末60 認証済みか否かを判定する(S58)。認証済み 場合には(S58でYES)、関連情報を送信するステ ップS74に移行する。

 認証済みでない場合には(S58でNO)、顔検索 サーバ50は、接続要求に対するNG応答を送信 る(S60)。クライアント端末60は、顔検索サー 50からNG応答を受信すると(S62)、ユーザIDお びパスワードの入力画面を表示する(S64)。ク ライアント端末60は、ユーザIDおよびパスワ ドの入力を受け付け(S66)、入力されたユーザ IDおよびパスワードを顔検索サーバ50に送信 る(S68)。

 顔検索サーバ50は、クライアント端末60か ら送信されたユーザIDおよびパスワードを受 し(S70)、受信したユーザIDおよびパスワード を用いて、クライアント端末60の認証処理を う(S72)。クライアント端末60が認証された後 、顔検索サーバ50は、リンクに指定された場 に格納されている関連情報をクライアント 末60に送信する(S74)。クライアント端末60は 関連情報を受信し(S76)、受信した関連情報 表示する(S78)。

 図11は、クライアント端末60の画面に表示さ れる関連情報の例を示す図である。図11に示 ように、画面には、顔映像の関連情報とし 、名前、会社名、部署、および過去の訪問 歴が表示される。図11は、関連情報を表示 た画面の一例であり、関連情報として、図11 に示していない情報を含んでもよい。
 以上、本実施の形態の映像出力システム1お よび映像出力装置10について説明した。

 本実施の形態の映像出力装置10は、顔認 エンジン22によって映像中に含まれている顔 を検出し、検出された顔の領域にかけるマス クを生成し、映像に合成するので、人がリア ルタイムに移動している場合にも、マスクを かけてプライバシーを保護することができる 。

 本実施の形態の映像出力装置10は、クラ アント端末60から映像の送信要求を受けたと きに、送信要求に含まれる権限レベルに応じ て、マスク付きの映像またはマスクなしの映 像を送信する。映像出力装置10は、その装置 においてマスク付きの映像を生成して送信 、権限のないクライアント端末60に対して 、マスクなしの映像を送信しないので、映 を第三者によって悪用される危険を低減で 、プライバシーの保護を強固にできる。

 本実施の形態の映像出力装置10は、映像 ら顔の映像を切り出して、顔検索サーバ50に 送信しているので、顔検索サーバ50では映像 ら顔を切り出す処理を省略でき、顔の照合 理の負荷を軽減できる。

 本実施の形態の映像出力システム1では、 映像出力装置10からクライアント端末60にリ ク情報を送信し、認証されたクライアント 末60からリンク情報を使って、顔検索サーバ 50にアクセスすることにより、初めて映像の 連情報がクライアント端末60に送信される 従って、リンク情報が盗聴されたとしても 顔検索サーバにアクセスする権限を有して なければ、関連情報が漏洩することはない で、セキュリティを高めることができる。

 以上、本発明の映像出力システムおよび 像出力方法について説明したが、本発明は 記した実施の形態に限定されるものではな 。

 上記した実施の形態において、顔認識エ ジン22は、複数の顔を認識するとともにIDを 生成し、このID数をもとに人数を認識してい ので、映像中に所定の閾値(例えば5人)以上 顔が含まれている場合には、マスキングを ない構成としてもよい。映像中に所定の閾 以上の顔が含まれている場合には、一人の の映像が含まれている場合に比べ、プライ シー保護の必要性が低いので、このような 成を採用することも可能である。

 また、映像中に含まれている顔の映像が 定のサイズより小さい場合には、マスキン をしない構成としてもよい。ここで、所定 サイズとは、顔の映像から人を特定するこ ができない程度のサイズである。

 上記の実施の形態では、映像出力装置と て、撮像機能を有するカメラを例として説 したが、本発明は、カメラ以外の映像出力 置にも適用できる。例えば、本発明は、エ コーダに適用することも可能である。

 上記の実施の形態では、権限レベル1~5を 憶した権限テーブル42を例として説明した 、権限テーブル42にはより多様の権限レベル を記憶することとしてもよい。

 図12は、権限レベルテーブルの他の例を す図である。図12に示す例では、図3に示す より、「設定」「顔検出履歴へのアクセス 「カメラ回転台/ズーム/フォーカス制御」の 権限の有無を示す情報が追加されている。権 限レベルについても、レベル1~レベル8まで、 よりきめ細かく設定されている。「設定」は 、映像出力装置の設定を変更する権限がある か否かを示す。「顔検出履歴へのアクセス」 は、顔検索サーバ50の検出履歴の情報へのア セス権限があるか否かを示す。「カメラ回 台/ズーム/フォーカス制御」は、映像出力 置のカメラ回転台の制御、ズーム制御、フ ーカス制御を行う権限があるか否かを示す

 上記した実施の形態において、マスク合 部28にて映像にマスクを合成する際の合成 を設定できる構成としてもよい。合成比率 設定は、映像出力装置10に設けられた図示し ない入力手段によって行ってもよいし、映像 出力装置10の設定を変更する権限レベルを有 るクライアント端末60から行ってもよい。

 なお、実施の形態では、複数の顔映像か 1つを選択し、顔検索サーバ50に送る例を示 たが、検出した映像中の複数の顔映像を順 IDと共に、すべてを送る構成をすることが きる。いずれの場合でも、顔認識エンジン22 が生成したIDと画像サイズを元に、顔検索サ バ50が必要とする画像サイズ以下または以 の画像を送らないように、予め設定したサ ズと比較することによる送信判定を制御部36 が行う。

 以上に現時点で考えられる本発明の好適 実施の形態を説明したが、本実施の形態に して多様な変形が可能なことが理解され、 して、本発明の真実の精神と範囲内にある のようなすべての変形を添付の請求の範囲 含むことが意図されている。

 以上説明したように、本発明は、人がリ ルタイムに移動している場合にも、マスク かけてプライバシーを保護することができ プライバシー保護のために画像の一部をマ キングするカメラ等の映像出力装置として 用である。