Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
TAG SENSOR SYSTEM AND SENSOR DEVICE, AND OBJECT POSITION ESTIMATING DEVICE AND OBJECT POSITION ESTIMATING METHOD
Document Type and Number:
WIPO Patent Application WO/2009/113265
Kind Code:
A1
Abstract:
A position specifying system (1) is provided with a radio terminal device (2) held by a monitoring target, and a sensor device (3) equipped with a radio communication unit (9) for communicating by radio with the radio terminal device (2) and a camera unit (10) for shooting an image of the monitoring target. In the sensor device (3), the position (tag position) of the radio terminal device (2) is detected on the basis of a signal for detection from the radio terminal device (2), and the position (image position) of the monitoring target is calculated on the basis of the image shot by the camera unit (3). By linking the tag position with the image position, the position of the monitoring target is specified. Thus, the position specifying system capable of, even when the image of the monitoring target cannot be shot, specifying the position of the monitoring target and tracking the movement of the monitoring target is provided.

Inventors:
AOTA, Kazuyuki (())
青田一幸 (())
KIMURA, Yasunari (())
木村恭也 (())
MORIOKA, Mikio (())
森岡幹夫 (())
Application Number:
JP2009/000915
Publication Date:
September 17, 2009
Filing Date:
February 27, 2009
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
Panasonic Corporation (1006, Oaza Kadoma Kadoma-sh, Osaka 01, 57185, JP)
パナソニック株式会社 (〒01 大阪府門真市大字門真1006番地 Osaka, 57185, JP)
AOTA, Kazuyuki (())
青田一幸 (())
KIMURA, Yasunari (())
木村恭也 (())
MORIOKA, Mikio (())
International Classes:
G08B25/04; G06K19/00; G06T1/00; G08B13/22; G08B25/00; H04N7/18; H04W64/00; H04W84/10
Attorney, Agent or Firm:
OHNO, Seiji et al. (OHNO & PARTNERS, Kasumigaseki Building 36F2-5, Kasumigaseki 3-chome,Chiyoda-ku, Tokyo 36, 10060, JP)
Download PDF:
Claims:
 監視対象が保持する無線端末装置と、
 前記無線端末装置と無線通信する無線通信部と、前記監視対象の画像を撮影する撮影部とを備えたセンサ装置と、
を備えた位置特定システムにおいて、
 前記無線端末装置は、
 前記無線端末装置に固有の識別情報を保持する識別情報保持部と、
 前記無線端末装置の位置を検出するための検出用信号を前記識別情報とともに発信する発信部を備え、
 前記センサ装置は、
 前記無線通信部で受信した前記識別情報を含む前記検出用信号に基づいて、前記無線端末装置の位置を検出する無線測位部と、
 前記撮影部で撮影した画像に基づいて、前記監視対象の位置を算出する画像測位部と、
 前記画像測位部で算出された位置と、前記無線測位部で検出された位置および前記識別情報とを結び付けて、前記監視対象の位置を特定する統合位置特定部と、
を備えたことを特徴とする位置特定システム。
 前記センサ装置は、
 前記統合位置特定部による前記監視対象の位置の特定の成否を判定する位置特定成否判定部と、
 前記監視対象の位置の特定が成功したと判定された場合に、前記無線端末装置に対して前記検出用信号の発信頻度を下げるための発信休止要求を送信する休止要求部と、
を備えたことを特徴とする請求項1に記載の位置特定システム。
 前記センサ装置は、
 前記画像測位部による前記監視対象の画像測位の成否を判定する画像測位成否判定部と、
 前記画像測位成否判定部において、前記監視対象の画像測位が失敗したと判定された場合に、前記無線端末装置に対して前記検出用信号の発信要求を送信する第1の発信要求部と、
を備えたことを特徴とする請求項2に記載の位置特定システム。
 前記センサ装置は、
 前記発信休止要求の送信後に、前記位置特定成否判定部において前記監視対象の位置の特定が失敗したと判定された場合に、前記無線端末装置に対して前記検出用信号の発信要求を送信する第2の発信要求部を備えたことを特徴とする請求項2に記載の位置特定システム。
 前記センサ装置は、
 前記位置特定成否判定部において、前記統合位置特定部による前記監視対象の位置の特定が失敗したと判定された後に、前記統合位置特定部による前記監視対象の位置の特定が再度成功したと判定された場合に、前記位置の特定に失敗していたときの前記監視対象の画像に対して、前記統合位置特定部において再度前記監視対象に結び付けられた前記無線端末装置の前記識別情報を付与する第1の識別情報補間部を備えたことを特徴とする請求項3に記載の位置特定システム。
 前記センサ装置は、
 前記監視対象の画像測位の失敗後に前記画像測位が再度成功した場合に、前回画像測位した位置と今回画像測位した位置に基づいて、前記画像測位に失敗していたときの前記監視対象の画像を補間する画像補間部を備えたことを特徴とする請求項3に記載の位置特定システム。
 前記無線端末装置の検出用信号の発信頻度および前記無線測位部による前記無線端末装置の無線測位の頻度は、前記画像測位部による前記監視対象の画像測位の頻度より小さく設定されており、
 前記センサ装置は、
 前記統合位置特定部による前記監視対象の位置特定より前に前記撮影部によって撮影された画像内の前記監視対象の画像に対して、前記監視対象の位置特定時または位置特定以後に前記統合位置特定部によって前記監視対象の画像に結び付けられた前記無線端末装置の前記識別情報を付与する第2の識別情報補間部を備えたことを特徴とする請求項1に記載の位置特定システム。
 前記画像測位部で算出された位置と前記無線測位部で検出された位置との距離に基づいて、前記監視対象の画像測位と無線測位の結果を対応付ける対応付け部を備えたことを特徴とする請求項1に記載の位置特定システム。
 前記対応付け部は、前記画像測位部で算出された位置を中心とした所定の探索エリア内に前記無線測位部で検出された位置が存在するときに、前記監視対象の画像測位と無線測位の結果を対応付けることを特徴とする請求項8に記載の位置特定システム。
 前記対応付け部は、前記無線測位部で検出された位置を中心とした所定の探索エリア内に前記画像測位部で算出された位置が存在するときに、前記監視対象の画像測位と無線測位の結果を対応付けることを特徴とする請求項8に記載の位置特定システム。
 前記監視対象の画像測位と無線測位の測位精度を比較する測位精度比較部を備え、
 前記対応付け部は、前記測位精度の比較結果に基づいて、
 前記画像測位の測位精度のほうが高い場合には、前記画像測位部で算出された位置を中心とした所定の探索エリア内に前記無線測位部で検出された位置が存在するときに、前記監視対象の画像測位と無線測位の結果を対応付け、
 前記無線測位の測位精度のほうが高い場合には、前記無線測位部で検出された位置を中心とした所定の探索エリア内に前記画像測位部で算出された位置が存在するときに、前記監視対象の画像測位と無線測位の結果を対応付けることを特徴とする請求項8に記載の位置特定システム。
 前記画像測位部で算出された位置を中心とした所定の探索エリアの大きさは、前記監視対象の画像測位の測位精度に応じて設定されることを特徴とする請求項9に記載の位置特定システム。
 前記無線測位部で算出された位置を中心とした所定の探索エリアの大きさは、前記監視対象の無線測位の測位精度に応じて設定されることを特徴とする請求項10に記載の位置特定システム。
 前記画像測位部で算出された位置を中心とした所定の探索エリア内に前記無線測位部で検出された位置が複数存在するときに、前記複数の位置に関する情報を候補情報として保持する履歴保持部を備えたことを特徴とする請求項9に記載の位置特定システム。
 前記無線測位部で算出された位置を中心とした所定の探索エリア内に前記画像測位部で検出された位置が複数存在するときに、前記複数の位置に関する情報を候補情報として保持する履歴保持部を備えたことを特徴とする請求項10に記載の位置特定システム。
 前記対応付け部は、前記履歴保持部に保持された前記候補情報に基づいて、前記監視対象の画像測位と無線測位の結果を対応付けることを特徴とする請求項14に記載の位置特定システム。
 前記対応付け部は、前記履歴保持部に保持された前記候補情報に基づいて、前記監視対象の画像測位と無線測位の結果を対応付けることを特徴とする請求項15に記載の位置特定システム。
 前記対応付け部は、前記画像測位部で算出された位置と前記無線測位部で検出された位置との距離の差の二乗和が最小となる組合せを算出する組合せ計算部を備えたことを特徴とする請求項8に記載の位置特定システム。
 前記統合位置特定部は、前記画像測位部で算出された位置と前記無線測位部で検出された位置の平均の位置を、前記監視対象の位置として決定することを特徴とする請求項1に記載の位置特定システム。
 前記平均は、前記監視対象の画像測位と無線測位の測位精度に応じた重み付け平均であることを特徴とする請求項19に記載の位置特定システム。
 前記画像測位部で算出された位置と前記無線測位部で検出された位置が、複数のセルに分割されたセル空間内に配置されており、
 前記位置特定システムは、
 前記画像測位部で算出された位置が属するセルと前記無線測位部で検出された位置が属するセルとの位置関係に基づいて、前記監視対象の画像測位と無線測位の結果を対応付ける対応付け部を備えたことを特徴とする請求項1に記載の位置特定システム。
 前記画像測位部で算出された位置を中心とした所定の探索エリア内に前記無線測位部で検出された位置が存在しないときに、警告を発する処理を行う警告部を備えたことを特徴とする請求項1に記載の位置特定システム。
 監視対象が保持する無線端末装置であって検出信号とともに識別情報を発信する前記無線端末装置と無線通信する無線通信部と、
 前記監視対象の画像を撮影する撮影部と、
 前記無線通信部で受信した前記識別情報を含む前記検出用信号に基づいて、前記無線端末装置の位置を検出する無線測位部と、
 前記撮影部で撮影した画像に基づいて、前記監視対象の位置を算出する画像測位部と、
 前記画像測位部で算出された位置と、前記無線測位部で検出された位置および前記識別情報とを結び付けて、前記監視対象の位置を特定する統合位置特定部と、
を備えたことを特徴とするセンサ装置。
 カメラによって撮像された撮像画像に基づいて、対象の座標についての第1の確率密度分布を形成する第1の確率密度分布形成部と、
 前記対象に付帯されたセンサの信号に基づいて、前記対象の座標についての第2の確率密度分布を形成する第2の確率密度分布形成部と、
 前記第1の確率密度分布と前記第2の確率密度分布とを統合する確率密度統合部と、
 前記撮像画像に基づいて、前記対象の周辺状況を検知する検知部と、
 検知された前記周辺状況に応じて、前記第2の確率密度分布形成部における確率密度分布又は前記確率密度統合部における前記第2の確率密度分布に対する重み係数を変更する確率密度分布変更部と、
を具備する物体位置推定装置。
 前記第2の確率密度分布は、正規分布であり、
 前記確率密度分布変更部は、前記検知結果に応じて、正規分布の分散の値、正規分布の平均の値、又は正規分布内の前記検知結果に応じた一部の領域の確率密度を変更する、
請求項24に記載の物体位置推定装置。
 前記検知部は、前記周辺状況として、前記対象の周辺の障害物を検知し、
 前記確率密度分布変更部は、前記障害物が検知された位置の確率密度を0にする、
請求項25に記載の物体位置推定装置。
 前記対象に付帯されたセンサは、無線タグであり、
 前記検知部は、前記無線タグと自装置との間に障害物が存在するか否かを検知し、
 前記確率密度分布変更部は、障害物が検知された場合には障害物が検知されない場合と比較して、正規分布の分散の値を大きくする、
請求項25に記載の物体位置推定装置。
 前記対象に付帯されたセンサは、無線タグであり、
 前記検知部は、前記周辺状況として、前記対象の周辺の障害物を検知し、
 前記確率密度分布変更部は、障害物が検知された場合と障害物が検知されない場合とで、正規分布の平均の値を変更する、
請求項25に記載の物体位置推定装置。
 前記第2の確率密度分布形成部は、パーティクルフィルタを有し、
 前記確率密度分布変更部は、前記検知結果に応じて、前記パーティクルフィルタの尤度及び/又は除外するパーティクルを変更する、
請求項24に記載の物体位置推定装置。
 対象を含む撮像画像から前記対象の第1の確率密度分布を形成することと、
 前記対象に付帯されたセンサの信号に基づいて、前記対象の第2の確率密度分布を形成することと、
 前記撮像画像に基づいて、前記対象の周辺状況を検知することと、
 検知された前記周辺状況に応じて、前記第2の確率密度分布を変更することと、
 前記第1の確率密度分布と前記第2の確率密度分布とを統合することと、
を含む物体位置推定方法。
Description:
タグセンサシステムおよびセン 装置、ならびに、物体位置推定装置および 体位置推定方法

 本発明は、無線端末装置とセンサ装置を えた位置特定システムに関し、特に、無線 末装置との無線通信および監視対象の撮影 像を用いて監視対象の位置を特定する技術 関するものである。また、本発明は、測位 標の確率密度に基づいて対象の位置を推定 る物体位置推定装置及び方法に関する。

 従来、RFID測位装置と防犯カメラを用いた 位置検知システムが知られている。例えば、 特開2006-311111号公報には、このようなシステ が開示されている。この従来のシステムで 、認証者がアクティブタグを所持している そして、監視を行うエリアを防犯カメラで 影するとともに、RFID測位装置でアクティブ タグの検出を行う。そして、防犯カメラで取 得したカメラ測位データと、RFID測位装置で 得したRFID測位データとを比較することによ 、エリア内における不審者の位置が特定さ る。

 しかしながら、従来のシステムにおいて 、例えば監視対象が防犯カメラの死角に入 た場合など、防犯カメラで監視対象を撮影 きずにカメラ測位データが得られなかった 合に、画像内における監視対象の位置が特 できず、監視対象の動きを追跡することが 難であった。

 また、従来、この種の技術として、例え 特開2005-141687号公報で開示されたものがあ 。

 特開2005-141687号公報には、画像情報から得 れた時点tでの対象の位置の確率密度分布P t V と、音情報から得られた時点tでの対象の位 の確率密度分布P t A と、重み係数k 1 (t)とを用いて、下記の式1により、確率密度 布P t V と確率密度分布P t A とを統合した尤度分布Fを求めることが記載 れている。

 特開2005-141687号公報では、重み係数k 1 (t)を、下記の式2で表す値に設定することに り、確率密度分布の確率密度の最大値が大 いほどその入力情報(画像情報又は音声情報) の重みを大きくし、逆に確率密度分布の確率 密度の最大値が小さいほどその入力情報(画 情報又は音声情報)の重みを小さくする。

 つまり、確率密度分布の確率密度の最大 を信頼性の目安として用いて、画像情報の 率密度分布と、音声情報の確率密度分布と 統合した確率密度分布を得る。そして、こ 統合した確率密度分布から物体の位置を推 することにより、物体位置の推定精度を向 させることができるようになっている。

 図30を用いて、特開2005-141687号公報での統 合処理のイメージを説明する。

 図30(A)は、観測位置データ(すなわちある1 つの対象に対する測定結果)として1点の位置 標が得られた場合の確率密度分布の例を示 、図30(B)は、観測位置データとして対象の 在する可能性が同程度の2点の位置座標が得 れた場合の確率密度分布の例を示す。なお 物体位置の推定においては、本来二次元平 上の物体位置を求めるため、二次元平面上 観測位置データが得られ、観測位置データ ら求められる確率密度分布も二次元平面上 分布するものであるが、図30は、簡略化の めに一次元線分上の測位の例を示す。以降 例でも、簡略化のため、二次元平面上での 位を一次元線分上での測位の例を用いて説 する場合がある。

 ここで、例えば画像情報及び音声情報の 方で、図30(A)に示されるような観測位置デ タが得られ、観測位置データに基づく確率 度分布として図30(A)に示す確率密度分布が得 られたとすると、画像情報による確率密度分 布と、音声情報による確率密度分布は、ほぼ 同じ重み係数を用いて統合される。

 一方、例えば画像情報による確率密度分 が図30(A)に示すものであり、音声情報から 図30(B)に示されるような観測位置データが得 られ、観測位置データに基づく確率密度分布 として図30(B)に示す確率密度分布が得られた 合、2つの確率密度分布は、音声情報から得 られた確率密度分布に乗ずる重み係数を、画 像情報から得られた確率密度分布に乗ずる重 み係数よりも小さいものを用いて統合される 。

 ところで、特開2005-141687号公報の技術は 異なるセンサで取得された複数の確率密度 布を、信頼度に応じた重みを用いて統合す ので、確かに、物体位置の推定精度を向上 せる点で有効であると考えられる。

 しかしながら、特開2005-141687号公報で示 れている重み係数は、単に、確率密度分布 おける最大密度に基づいて決定されるもの ので、統合の元になる各確率密度分布自体 間違ったものである場合には、重み付け自 も間違えたものとなり、その結果、位置推 精度も低下してしまう。

 本発明は、上記背景の下でなされたもの あり、本発明の目的は、アクティブタグな の無線通信端末の消費電力を抑えながら、 影画像による測位が失敗した場合にも、無 通信による測位情報を用いて、監視精度を 上し、監視対象の追跡を確実に行うことが きる位置特定システムを提供することにあ 。

 また、本発明は、上記背景の下でなされ ものであり、本発明の目的は、確率密度分 を用いて対象の位置を推定する場合に、位 推定精度を向上し得る物体位置推定装置及 物体位置推定方法を提供することにある。

 本発明の一の態様は、位置特定システム ある。この位置特定システムは、監視対象 保持する無線端末装置と、無線端末装置と 線通信する無線通信部と、監視対象の画像 撮影する撮影部とを備えたセンサ装置と、 備えた位置特定システムにおいて、無線端 装置は、無線端末装置に固有の識別情報を 持する識別情報保持部と、無線端末装置の 置を検出するための検出用信号を識別情報 ともに発信する発信部を備え、センサ装置 、無線通信部で受信した識別情報を含む検 用信号に基づいて、無線端末装置の位置を 出する無線測位部と、撮影部で撮影した画 に基づいて、監視対象の位置を算出する画 測位部と、画像測位部で算出された位置と 無線測位部で検出された位置および識別情 とを結び付けて、監視対象の位置を特定す 統合位置特定部と、を備えている。

 本発明の別の態様は、センサ装置であり このセンサ装置は、監視対象が保持する無 端末装置であって検出信号とともに識別情 を発信する無線端末装置と無線通信する無 通信部と、監視対象の画像を撮影する撮影 と、無線通信部で受信した識別情報を含む 出用信号に基づいて、無線端末装置の位置 検出する無線測位部と、撮影部で撮影した 像に基づいて、監視対象の位置を算出する 像測位部と、画像測位部で算出された位置 、無線測位部で検出された位置および識別 報とを結び付けて、監視対象の位置を特定 る統合位置特定部と、を備えている。

 本発明の別の態様は、物体位置推定装置 あり、この物体位置推定装置は、カメラに って撮像された撮像画像に基づいて、対象 座標についての第1の確率密度分布を形成す る第1の確率密度分布形成部と、対象に付帯 れたセンサの信号に基づいて、対象の座標 ついての第2の確率密度分布を形成する第2の 確率密度分布形成部と、第1の確率密度分布 第2の確率密度分布とを統合する確率密度統 部と、撮像画像に基づいて、対象の周辺状 を検知する検知部と、検知された周辺状況 応じて、第2の確率密度分布形成部における 確率密度分布又は確率密度統合部における第 2の確率密度分布に対する重み係数を変更す 確率密度分布変更部と、を具備している。

 本発明の別の態様は、物体位置推定方法 あり、この物体位置推定方法は、対象を含 撮像画像から対象の第1の確率密度分布を形 成することと、対象に付帯されたセンサの信 号に基づいて、対象の第2の確率密度分布を 成することと、撮像画像に基づいて、対象 周辺状況を検知することと、検知された周 状況に応じて、第2の確率密度分布を変更す ことと、第1の確率密度分布と第2の確率密 分布とを統合することと、を含んでいる。

 以下に説明するように、本発明には他の 様が存在する。したがって、この発明の開 は、本発明の一部の態様の提供を意図して り、ここで記述され請求される発明の範囲 制限することは意図していない。

図1は、本実施の形態における位置特定 システムの構成を示すブロック図 図2は、本実施の形態における位置特定 システムの概要を説明する図 図3は、本実施の形態におけるセンサ装 置の各構成のブロック図 図4は、第1の識別情報補間処理の説明 図5は、画像補間処理の説明図 図6は、タグ装置を休止させる制御の説 明図 図7は、タグ装置を起動させる制御の説 明図 図8は、タグ測位と画像測位のタイミン グの説明図 図9は、第2の識別情報補間処理の説明 図10は、他の実施の形態の位置特定シ テムにおける位置特定部の構成を示すブロ ク図 図11は、時刻t1における位置特定部で 処理の一例を示す図 図12は、時刻t2における位置特定部で 処理の一例を示す図 図13は、尤度付きの候補情報の作成の 例を示す図 図14は、尤度付きの候補情報に基づく 応付けの一例を示す図 図15は、他の実施の形態の位置特定シ テムの変形例1の構成を示すブロック図 図16は、他の実施の形態の位置特定シ テムの変形例2の構成を示すブロック図 図17は、他の実施の形態の位置特定シ テムの変形例3の構成を示すブロック図 図18は、画像位置近傍探索部の変形例 説明する図 図19は、本発明の実施の形態に係る物 位置推定装置の構成を示すブロック図 図20(A)は、撮像画像から対象の候補を3 つ検出した場合の存在確率を示す図、図20(B) 、確率密度分布を示す図 図21(A)は、撮像画像から対象の候補を1 つ検出した例を示す図、図21(B)は、確率密度 布を示す図 図22は、撮像画像の中に存在確率が異 る対象の候補位置(観測位置)を2箇所検知し 場合の、確率密度分布を示す図 図23(A)は、障害物が存在しないので確 密度分布の分散値を小さくした例を示す図 図23(B)は、障害物が存在するので確率密度 布の分散値を大きくした例を示す図 図24(A)は、無線タグ対象の頭上に付帯 れている状況を示す図、図24(B)は、無線タ が対象の首から下げられて付帯されている 況を示す図 図25(A)は、カメラによって撮像された 像画像のイメージを示す図、図25(B)は、撮 画像を平面マップ座標系に変換したイメー を示す図 図26は、障害物の位置であるx≧20の確 密度を0とした確率密度分布を示す図 図27は、障害物が無い場合の確率密度 布を示す図 図28は、対象が通路に位置するイメー を示した図 図29は、通路以外の確率密度を0とした 確率密度分布を示す図 図30(A)は、観測位置(すなわちある1つ 対象に対する測定結果)が1点であった場合の 確率密度分布の例を示す図、図30(B)は、観測 置が2点であった場合の確率密度分布の例を 示す図

符号の説明

 1 位置特定システム
 2 タグ装置
 3 センサ装置
 6 無線通信部
 7 電源制御部
 8 メモリ
 9 無線通信部
 10 カメラ部
 11 統合処理部
 14 無線測位部
 16 画像測位部
 17 位置特定部
 18 補間処理部
 21 画像補間部
 22 識別情報補間部
 23 位置特定成否判定部
 24 画像測位成否判定部
 25 休止要求部
 26 発信要求部
 100 物体位置推定装置
 101 カメラ
 102 撮像画像取得部
 103 画像座標確率密度分布形成部
 111 タグ信号受信機
 112 タグ情報取得部
 113 タグ座標確率密度分布形成部
 120 確率密度統合部
 121 重み決定部
 122 統合部
 130 判定部
 131 タグ状況検知部
 132 確率密度分布変更制御部
 200 対象
 201 無線タグ

 以下に本発明の詳細な説明を述べる。た し、以下の詳細な説明と添付の図面は発明 限定するものではない。代わりに、発明の 囲は添付の請求の範囲により規定される。

 本発明の位置特定システムは、監視対象 保持する無線端末装置と、無線端末装置と 線通信する無線通信部と、監視対象の画像 撮影する撮影部とを備えたセンサ装置と、 備えた位置特定システムにおいて、無線端 装置は、無線端末装置に固有の識別情報を 持する識別情報保持部と、無線端末装置の 置を検出するための検出用信号を識別情報 ともに発信する発信部を備え、センサ装置 、無線通信部で受信した識別情報を含む検 用信号に基づいて、無線端末装置の位置を 出する無線測位部と、撮影部で撮影した画 に基づいて、監視対象の位置を算出する画 測位部と、画像測位部で算出された位置と 無線測位部で検出された位置および識別情 とを結び付けて、監視対象の位置を特定す 統合位置特定部と、を備えた構成を有して る。

 この構成により、撮影した画像に基づい 測位された位置(画像位置ともいう)と無線 末装置の検出用信号に基づいて検出された 置(タグ位置ともいう)とが結び付けられて、 監視対象(監視対象者や監視対象物など)の位 が特定される。この場合、監視対象が無線 末装置を保持している。したがって、一度 監視対象の位置が特定されると、その後に 視対象を撮影できない場合があったとして 、無線端末装置の検出用信号に基づいて監 対象の位置が検出され、監視対象の動きを 跡することが可能になる。

 また、本発明の位置特定システムでは、 ンサ装置は、統合位置特定部による監視対 の位置の特定の成否を判定する位置特定成 判定部と、監視対象の位置の特定が成功し と判定された場合に、無線端末装置に対し 検出用信号の発信頻度を下げるための発信 止要求を送信する休止要求部と、を備えた 成を有してもよい。

 この構成により、画像位置とタグ位置の び付け(統合ともいう)によって監視対象の 置が特定された場合には、無線端末装置が 出用信号を発信するのを休止させる。これ より、無線端末装置の省電力化が可能にな 。この場合、撮影した画像に基づいて監視 象の位置が算出されるので、監視対象の動 を追跡することができる。従来のシステム は、アクティブタグの消費電力について考 されておらず、カメラ測位データとRFID測位 ータとを常時比較して人物追跡を行う場合 は、アクティブタグの電池寿命が持たない いう問題があった。それに対して、本発明 位置特定システムによれば、無線端末装置 消費電力を極力押えることができる。

 また、本発明の位置特定システムでは、 ンサ装置は、画像測位部による監視対象の 像測位の成否を判定する画像測位成否判定 と、画像測位成否判定部において、監視対 の画像測位が失敗したと判定された場合に 無線端末装置に対して検出用信号の発信要 を送信する第1の発信要求部と、を備えた構 成を有してもよい。

 この構成により、撮影した画像に基づい 監視対象の位置を算出できなかった場合(監 視対象をロストした場合)には、無線端末装 が検出用信号を発信するのを再開させる。 れにより、監視対象を撮影できない場合に 、無線端末装置の検出用信号に基づいて監 対象の位置が検出されるので、監視対象の きの追跡を継続することが可能になる。

 また、本発明の位置特定システムでは、 ンサ装置は、発信休止要求の送信後に、位 特定成否判定部において監視対象の位置の 定が失敗したと判定された場合に、無線端 装置に対して検出用信号の発信要求を送信 る第2の発信要求部を備えた構成を有しても よい。

 この構成により、タグ装置の検出用信号 発信頻度を下げた後に、統合位置特定部に る監視対象の位置を特定できなかった場合 は、無線端末装置に検出用信号を発信させ 。これにより、監視対象の位置の特定に失 した場合に、無線端末装置の検出用信号に づいて監視対象の位置が検出されるので、 視対象の動きの追跡を継続することが可能 なる。

 また、本発明の位置特定システムでは、 ンサ装置は、位置特定成否判定部において 統合位置特定部による監視対象の位置の特 が失敗したと判定された後に、統合位置特 部による監視対象の位置の特定が再度成功 たと判定された場合に、位置の特定に失敗 ていたときの監視対象の画像に対して、統 位置特定部において再度監視対象に結び付 られた無線端末装置の識別情報を付与する 1の識別情報補間部を備えた構成を有しても よい。

 この構成により、監視対象への識別情報 付与が正しく行われなかった場合(例えば複 数の監視対象がすれ違った直後など)に、そ 後に監視対象の位置の特定(統合)が成功した 結果の識別情報が、位置の特定が失敗してい たときの画像に遡って付与される。これによ り、監視対象の動きを連続的に把握すること が可能になる。

 また、本発明の位置特定システムでは、 ンサ装置は、監視対象の画像測位の失敗後 画像測位が再度成功した場合に、前回画像 位した位置と今回画像測位した位置に基づ て、画像測位に失敗していたときの監視対 の画像を補間する画像補間部を備えた構成 有してもよい。

 この構成により、撮影した画像に基づい 監視対象の位置を算出できなかった場合で っても、その前後の画像に基づいてその間 位置と画像が補間される。これにより、監 対象の動きを連続的に把握することが可能 なる。

 また、本発明の位置特定システムでは、 線端末装置の検出用信号の発信頻度および 線測位部による無線端末装置の無線測位の 度は、画像測位部による監視対象の画像測 の頻度より小さく設定されており、センサ 置は、統合位置特定部による監視対象の位 特定より前に撮影部によって撮影された画 内の監視対象の画像に対して、監視対象の 置特定時または位置特定以後に統合位置特 部によって監視対象の画像に結び付けられ 無線端末装置の識別情報を付与する第2の識 別情報補間部を備えた構成を有してもよい。

 この構成により、無線端末装置の検出用 号の発信頻度を小さくすることによって、 線端末装置の省電力化が可能になる。この 合、撮影した画像に基づく位置(画像位置) 算出のタイミングと、無線端末装置の検出 信号に基づく位置(タグ位置)の検出のタイミ ングにずれが生じることがある。例えば、監 視対象の位置特定(画像位置とタグ位置・識 情報の結び付け)より前に、タグ位置が検出 れずに、画像位置のみが算出されることが る。そのような場合、監視対象の位置特定 以後の画像位置とタグ位置に基づいて、監 対象の位置特定より前の画像内における監 対象の識別情報が(過去に遡って)付与され 。これにより、監視対象の動きを連続的に 握することが可能になる。

 また、本発明の位置特定システムは、画 測位部で算出された位置と無線測位部で検 された位置との距離に基づいて、監視対象 画像測位と無線測位の結果を対応付ける対 付け部を備えてもよい。

 この構成により、画像測位部で算出され 位置(画像位置)と無線測位部で検出された 置(タグ位置)との距離に基づいて、監視対象 の画像測位と無線測位の結果を適切に対応付 けることができる。例えば、画像位置とタグ 位置が近い場合には、その画像測位と無線測 位の結果が、同じ監視対象のものとして対応 付けられる。これにより、監視対象の位置特 定精度が向上する。

 また、本発明の位置特定システムでは、 応付け部は、画像測位部で算出された位置 中心とした所定の探索エリア内に無線測位 で検出された位置が存在するときに、監視 象の画像測位と無線測位の結果を対応付け もよい。

 この構成により、画像測位部で算出され 位置(画像位置)を中心とした所定の探索エ ア内(例えば所定半径内)に無線測位部で検出 された位置(タグ位置)が存在するときに、監 対象の画像測位と無線測位の結果が、一つ 同じ監視対象のものとして適切に対応付け れる。

 また、本発明の位置特定システムでは、 応付け部は、無線測位部で検出された位置 中心とした所定の探索エリア内に画像測位 で算出された位置が存在するときに、監視 象の画像測位と無線測位の結果を対応付け もよい。

 この構成により、無線測位部で検出され 位置(タグ位置)を中心とした所定の探索エ ア内(例えば所定半径内)に画像測位部で算出 された位置(画像位置)が存在するときに、監 対象の画像測位と無線測位の結果が、一つ 同じ監視対象のものとして適切に対応付け れる。

 また、本発明の位置特定システムは、監 対象の画像測位と無線測位の測位精度を比 する測位精度比較部を備え、対応付け部は 測位精度の比較結果に基づいて、画像測位 測位精度のほうが高い場合には、画像測位 で算出された位置を中心とした所定の探索 リア内に無線測位部で検出された位置が存 するときに、監視対象の画像測位と無線測 の結果を対応付け、無線測位の測位精度の うが高い場合には、無線測位部で検出され 位置を中心とした所定の探索エリア内に画 測位部で算出された位置が存在するときに 監視対象の画像測位と無線測位の結果を対 付けてもよい。

 この構成により、画像測位と無線測位の 位精度を比較し、測位精度の高いほうで求 られた位置を中心とした所定の探索エリア (例えば所定半径内)に測位精度の低いほう 求めた位置が存在するときに、監視対象の 像測位と無線測位の結果が、一つの同じ監 対象のものとして適切に対応付けられる。

 また、本発明の位置特定システムでは、 像測位部で算出された位置を中心とした所 の探索エリアの大きさは、監視対象の画像 位の測位精度に応じて設定されてもよい。

 この構成により、画像測位部で算出され 位置を中心とした探索エリアの大きさが、 視対象の画像測位の測位精度に応じて適切 設定される。例えば、測位精度が高い場合 は、探索エリアの大きさが小さく設定され 測位精度が低い場合には、探索エリアの大 さが大きく設定される。

 また、本発明の位置特定システムは、画 測位部で算出された位置を中心とした所定 探索エリア内に無線測位部で検出された位 が複数存在するときに、複数の位置に関す 情報を候補情報として保持する履歴保持部 備えてもよい。

 この構成により、画像測位部で算出され 位置(画像位置)を中心とした所定の探索エ ア内に無線測位部で検出された位置(タグ位 )が複数存在するときには、その複数の位置 に関する情報を候補情報として取り扱うこと ができる。

 また、本発明の位置特定システムでは、 応付け部は、履歴保持部に保持された候補 報に基づいて、監視対象の画像測位と無線 位の結果を対応付けてもよい。

 この構成により、画像測位部で算出され 位置(画像位置)を中心とした所定の探索エ ア内に無線測位部で検出された位置(タグ位 )が複数存在するときに、履歴保持部に保持 された候補情報に基づいて、監視対象の画像 測位と無線測位の結果を適切に対応付けるこ とができる。

 また、本発明の位置特定システムでは、 線測位部で算出された位置を中心とした所 の探索エリアの大きさは、監視対象の無線 位の測位精度に応じて設定されてもよい。

 この構成により、無線測位部で算出され 位置を中心とした探索エリアの大きさが、 視対象の無線測位の測位精度に応じて適切 設定される。例えば、測位精度が高い場合 は、探索エリアの大きさが小さく設定され 測位精度が低い場合には、探索エリアの大 さが大きく設定される。

 また、本発明の位置特定システムは、無 測位部で算出された位置を中心とした所定 探索エリア内に画像測位部で検出された位 が複数存在するときに、複数の位置に関す 情報を候補情報として保持する履歴保持部 備えてもよい。

 この構成により、無線測位部で算出され 位置(タグ位置)を中心とした所定の探索エ ア内に画像測位部で検出された位置(画像位 )が複数存在するときには、その複数の位置 に関する情報を候補情報として取り扱うこと ができる。

 また、本発明の位置特定システムでは、 応付け部は、履歴保持部に保持された候補 報に基づいて、監視対象の無線測位と画像 位の結果を対応付けてもよい。

 この構成により、無線測位部で算出され 位置(タグ位置)を中心とした所定の探索エ ア内に画像測位部で検出された位置(画像位 )が複数存在するときに、履歴保持部に保持 された候補情報に基づいて、監視対象の無線 測位と画像測位の結果を適切に対応付けるこ とができる。

 また、本発明の位置特定システムでは、 応付け部は、画像測位部で算出された位置 無線測位部で検出された位置との距離の差 二乗和が最小となる組合せを算出する組合 計算部を備えてもよい。

 この構成により、画像測位部で算出され 位置(画像位置)と無線測位部で検出された 置(タグ位置)との距離の差の二乗和が最小と なる組合せが算出され、監視対象の画像測位 と無線測位の結果の対応付けに用いられる。 これにより、監視対象の画像測位と無線測位 の結果を適切に対応付けることができる。

 また、本発明の位置特定システムでは、 合位置特定部は、画像測位部で算出された 置と無線測位部で検出された位置の平均の 置を、監視対象の位置として決定してもよ 。

 この構成により、画像測位部で算出され 位置と無線測位部で検出された位置の平均 位置が、監視対象の位置として決定される これにより、監視対象の位置特定が適切に われる。

 また、本発明の位置特定システムでは、 均は、監視対象の画像測位と無線測位の測 精度に応じた重み付け平均であってもよい

 この構成により、監視対象の画像測位と 線測位の測位精度に応じた重み付け平均を いて、監視対象の位置特定が適切に行われ 。

 また、本発明の位置特定システムでは、 像測位部で算出された位置と無線測位部で 出された位置が、複数のセルに分割された ル空間内に配置されており、位置特定シス ムは、画像測位部で算出された位置が属す セルと無線測位部で検出された位置が属す セルとの位置関係に基づいて、監視対象の 像測位と無線測位の結果を対応付ける対応 け部を備えてもよい。

 この構成により、画像測位部で算出され 位置(画像位置)が属するセルと無線測位部 検出された位置(タグ位置)が属するセルとの 位置関係に基づいて、監視対象の画像測位と 無線測位の結果を適切に対応付けることがで きる。例えば、画像位置とタグ位置が同じセ ルに属する場合には、その画像測位と無線測 位の結果が、同じ監視対象のものとして対応 付けられる。これにより、すべての画像位置 とタグ位置について距離の計算を行う場合に 比べて、計算量を減らすことができ、処理速 度を速くすることができる。

 また、本発明の位置特定システムは、画 測位部で算出された位置を中心とした所定 探索エリア内に無線測位部で検出された位 が存在しないときに、警告を発する処理を う警告部を備えてもよい。

 この構成により、画像測位部で算出され 位置(画像位置)を中心とした所定の探索エ ア内(例えば所定半径内)に無線測位部で検出 された位置(タグ位置)が存在しないときには 警告を発してユーザの注意を喚起すること できる。

 本発明のセンサ装置は、監視対象が保持 る無線端末装置であって検出信号とともに 別情報を発信する無線端末装置と無線通信 る無線通信部と、監視対象の画像を撮影す 撮影部と、無線通信部で受信した識別情報 含む検出用信号に基づいて、無線端末装置 位置を検出する無線測位部と、撮影部で撮 した画像に基づいて、監視対象の位置を算 する画像測位部と、画像測位部で算出され 位置と、無線測位部で検出された位置およ 識別情報とを結び付けて、監視対象の位置 特定する統合位置特定部と、を備えた構成 有している。

 この構成によっても、上記のシステムと 様に、撮影した画像に基づいて算出された 置(画像位置)と無線端末装置の検出用信号 基づいて検出された位置(タグ位置)とが結び 付けられて、監視対象(監視対象者や監視対 物など)の位置が特定される。この場合、監 対象が無線端末装置を保持している。した って、一度、監視対象の位置が特定される 、その後に監視対象を撮影できない場合が ったとしても、無線端末装置の検出用信号 基づいて監視対象の位置が検出され、監視 象の動きを追跡することが可能になる。

 本発明は、撮影した画像に基づいて算出 れた位置(画像位置)と無線端末装置の検出 信号に基づいて検出された位置(タグ位置)と を結び付けることによって、監視対象の画像 を撮影できない場合にも、監視対象の位置を 特定して監視対象の動きを追跡することがで きる。

 また、本発明の物体位置推定装置の一つ 態様は、カメラによって撮像された撮像画 に基づいて、対象の座標についての第1の確 率密度分布を形成する第1の確率密度分布形 部と、対象に付帯されたセンサの信号に基 いて、対象の座標についての第2の確率密度 布を形成する第2の確率密度分布形成部と、 第1の確率密度分布と第2の確率密度分布とを 合する確率密度統合部と、撮像画像に基づ て、対象の周辺状況を検知する検知部と、 知された周辺状況に応じて、第2の確率密度 分布形成部における確率密度分布又は確率密 度統合部における第2の確率密度分布に対す 重み係数を変更する確率密度分布変更部と を具備する構成を採る。

 また、本発明の物体位置推定方法の一つ 態様は、対象を含む撮像画像から対象の第1 の確率密度分布を形成することと、対象に付 帯されたセンサの信号に基づいて、対象の第 2の確率密度分布を形成することと、撮像画 に基づいて、対象の周辺状況を検知するこ と、検知された周辺状況に応じて、第2の確 密度分布を変更することと、第1の確率密度 分布と第2の確率密度分布とを統合すること 、を含む。

 本発明によれば、撮像画像から対象の周 状況を検知し、検知した周辺状況に応じて 2の確率密度分布における確率密度分布を変 更したので、撮像画像を有効活用して、統合 の元になる第2の確率密度分布自体をより現 に近いものとすることができる。この結果 位置推定精度を向上させることができる。

(位置特定システム)
 以下、本発明の実施の形態の位置特定シス ムについて、図面を用いて説明する。この 置特定システムは、例えば、工場で人の動 を分析して作業効率を改善する工場作業効 化システム、倉庫エリア内の人の動きを常 監視して倉庫内での紛失事故や誤配送事故 どを早期発見・抑制・記録する物流倉庫内 失監視システム、オフィスでの入退室履歴 自動記録するオフィス入退室管理システム として用いられるが、用途はこれらに限定 れない。

 本実施の形態の位置特定システムの構成 図1~図3を用いて説明する。図1は、位置特定 システムの構成を示すブロック図である。図 2は、位置特定システムの概要を示す説明図 ある。

 まず、図1および図2を参照して、位置特 システム1の全体構成について説明する。図2 に示すように、位置特定システム1は、監視 象(例えば監視対象者)が保持する無線端末装 置としてのタグ装置2と、監視エリアに設置 れたセンサ装置3を備えている。センサ装置3 は、監視ルームに設置された監視制御装置4 ストレージ装置5に接続されている。

 センサ装置3は、例えば半径10mの円形の監 視エリア(センシングエリアともいう)を有し いる。また、監視制御装置4は、例えば制御 用コンピュータ等であり、ストレージ装置5 、例えばHDD等である。なお、センサ装置3は ストレージ装置5などの外部メモリ装置のほ かに、内部メモリ装置(メモリカードなどの 録媒体を含む)を備えていてもよい。

 なお、図2では、説明の便宜のために、一 つのタグ装置2と二つのセンサ装置3が図示さ ているが、この位置特定システム1は、複数 のタグ装置2と複数のセンサ装置3を備えてい 。すなわち、本実施の形態では、複数の監 対象者がそれぞれタグ装置2を備えており、 監視エリアの複数の箇所に複数のセンサ装置 3がそれぞれ設置されている。

 図1に示すように、タグ装置2は、センサ 置3との無線通信を行うための無線通信部6と 、電源のパワーコントロールを行うための電 源制御部7を備えている。ここでは、この無 通信部6が、本発明の無線通信部に相当する また、タグ装置2の位置を検出するための信 号(検出用信号)は、無線通信部6から発信され る。したがって、この無線通信部6が、本発 の発信部にも相当する。

 このタグ装置2は、例えばアクティブタグ やセミパッシブタグ等である。タグ装置2は 固有の識別子(識別IDともいう)を保持するメ リ8を備えており、センサ装置3からの発信 求に応じて、メモリ8に保持された識別IDを み出し、センサ装置3に対して識別IDを含む 出用信号を送信することができる。あるい 、検出用信号とは別に識別IDのみを通知する 信号を別途設けて、センサ装置3から受信し 識別IDの発信要求に応じて識別IDを通知する 号を、検出用信号の発信要求に応じて検出 信号を、送信する構成とすることも可能で る。監視者は、センサ装置3がタグ装置2か 受信した信号に基づき、タグ装置2の所有者( 監視対象者)の属性や位置を認識することが きる。

 センサ装置3は、タグ装置2との無線通信 行って無線による測位を行う無線通信部9と 監視対象者の画像を撮影して画像による測 を行うカメラ部10と、無線通信部9とカメラ 10とでそれぞれ測位された監視対象者の位 の統合処理(後述する)を行うための統合処理 部11と、統合処理結果のデータを外部装置(監 視制御装置4やストレージ装置5など)へ出力す るための通信IF部12を備えている。

 図3は、センサ装置3の各構成をより詳細 説明するためのブロック図である。無線通 部9は、送受信部13と無線測位部14を備えてい る。送受信部13は、タグ装置2に対して検出用 信号の発信要求を発信し、この発信要求を受 信したタグ装置2が発信した検出用信号(タグ 置2の識別IDを含む信号)を受信する。無線測 位部14は、送受信部13で受信した検出用信号 ら得られる情報、例えば電波強度・電波到 方向・電波伝搬時間等の情報を用いて、検 用信号を発信したタグ装置2の相対位置を3次 元で測位する。また測位結果としての3次元 標データと、検出用信号から取り出したタ 装置2の識別IDとを出力する。

 本実施の形態では、無線通信部9は、以下の データを統合処理部11へ出力する。
(1)タグ装置から検出用信号を受信した時刻デ ータ(例えば、日付、時間、分、秒)
(2)タグ装置の識別ID
(3)測位したタグ装置の3次元座標データ(実空 の3次元位置座標)

 カメラ部10は、撮影部15と画像測位部16を えている。撮影部15としては、例えば、一 半径(例えば10m)範囲の超広角(例えば360°)の 像を撮影可能なステレオカメラを用いるこ ができる。画像測位部16は、撮影部15で撮影 れた画像中にある複数の人物(監視対象者) 画像領域を検出・抽出して、センサ装置3か 人物までの3次元座標を計測し、出力する。 画像を用いた測位方法については、例えばス テレオ画像から得られる両眼視差情報に基づ く奥行推定法などを用いることができる。

 本実施の形態では、カメラ部10は、以下の ータを統合処理部11へ出力する。
(1)画像データ
(2)画像中の人物オブジェクトの画像領域(例 ば、画像中の人物の輪郭線で囲まれた領域 または、画像中の人物に外接する四角形の 域など)
(3)人物オブジェクトの画像領域の代表点(例 ば、画像領域の重心など)
(3)時刻データ(例えば、撮影した画像のフレ ムナンバーなど)
(4)画像測位した3次元座標データ(実空間の3次 元位置座標)

 また、図3に示すように、統合処理部11は 位置特定部17と補間処理部18と判定部19と要 部20を備えている。この統合処理部11では、 無線通信部9およびカメラ部10からそれぞれ出 力されたデータを統合して、監視対象の位置 および識別情報を特定する処理を、タグ装置 2の消費電力を極力抑えるべく制御しながら 行する。

 位置特定部17は、無線通信部9から出力さ たタグ装置2の位置データと、カメラ部8か 出力された画像中の人物オブジェクトの画 領域の位置データとの対応付けを行うこと より、タグ装置2の識別IDを、人物オブジェ トの画像領域に結び付けて、監視対象者の 置および識別情報を特定する。

 補間処理部18は、監視対象者の位置およ 画像を補間する画像補間部21と、監視対象者 の識別情報を補間する識別情報補間部22を備 ている。なお、これらの画像補間処理、識 情報補間処理の内容については、後述する

 判定部19は、位置特定部17による監視対象 者の位置の特定が行われたか否かを判定する 位置特定成否判定部23と、カメラ部10による 視対象者の位置の画像測位が成功したか否 を判定する画像測位成否判定部24を備えてい る。

 要求部20は、位置特定成否判定部23によっ て位置特定部17での監視対象者の位置の特定 成功したと判定された場合に、タグ装置2に 休止要求(検出用信号の発信休止要求)を送信 る休止要求部25と、画像測位成否判定部24に よってカメラ部10での監視対象者の位置の画 測位が失敗したと判定された場合、および 位置特定成否判定部23によって位置特定部17 による監視対象者の位置の特定が失敗したと 判定された場合に、タグ装置2に発信要求(検 用信号の発信要求)を送信する発信要求部26 備えている。

 本実施の形態では、統合処理部11は、以下 データを通信IF部12へ出力する。ここで、(2)~ (6)のデータは、画像フレームの属性を示すデ ータであるともいえる。
(1)センサ装置の識別ID
(2)時刻データ(例えば、日付、時間、分、秒)
(3)フレーム画像データ
(4)人物オブジェクトの画像領域
(5)人物オブジェクトの画像領域の代表点
(5)タグ装置の識別ID
(6)統合の度合い(例えば、T:タグ計測座標のみ 、D:画像算出の代表点のみ、C:タグ計測座標 画像算出の代表点の両方、P:補間算出座標ま たは推定算出座標)

 監視制御装置4は、監視対象の表示を行う ためのモニタ27を備えている。また、この監 制御装置4は、センサ装置3が出力する人物 ブジェクト情報に基づいて動線画像を生成 る機能と、センサ装置3の動作を設定・制御 る機能と、種々のアプリケーション(例えば 、工場作業効率化システム、物流倉庫内紛失 監視システム、オフィス入退室管理システム のアプリケーションなど)を実行する機能を えている。

 以上のように構成された位置特定システ 1について、図面を用いてその動作を説明す る。ここでは、本発明の特徴的な動作を中心 に説明する。

(補間処理)
 まず、監視対象者の位置の補間処理につい 説明する。図4および図5は、補間処理を説 するための図(モニタ27の表示画面の模式図) ある。図4、図5に示した例では、一人の監 対象者(「ID:1」のタグ装置2を所持している) 、画面左側から画面中央、画面右側へと徐 に移動している様子が示されている。

 図4では、位置特定部17による位置の特定 成功した、すなわちタグ装置2の識別IDが付 された監視対象者が斜線で図示されており 何らかの理由で位置の特定に失敗した監視 象者が破線で示されている。つまり、この では、監視対象者が画面左側と画面右側に 置しているときには、監視対象者の位置の 定が成功しており、監視対象者が画面中央 位置しているときには、監視対象者の位置 特定が失敗している。監視対象の位置特定 成否は、位置特定成否判定部22が行う。

 監視対象者の位置の特定が失敗する例と ては、例えば、監視対象者が物陰に隠れて まった場合や他者とすれ違っている場合な 、タグによる測位データとの統合が行えず 撮影画像に対して識別IDの付与ができない 合が挙げられる。また、上記の理由から、 視対象者の人物オブジェクトの画像領域(輪 線で囲まれた領域や外接する四角形の領域) を作成できなかった場合も含まれる。つまり 、監視対象者を見失っている(ロストしてい )場合には、監視対象者の特定が失敗したと 定される。

 このように監視対象者の位置の統合に一 失敗しても、カメラ部10で撮影した監視対 者の位置とタグ装置2との無線通信で検出し 監視対象者の位置が再び統合されて結び付 ることができれば、統合に失敗した時点で 監視対象の画像に対してもタグ装置2の識別 情報を遡って対応付ける(第1の識別情報補間 理)ことが可能となり、監視対象者の位置の 過去に遡った追跡が可能となる。この例では 、監視対象者が画面中央に位置しているとき にも、無線通信部9によって検出されたタグ 置2の識別IDである「ID:1」が遡って割り当て れ、統合が失敗した時点の画像に対しても タグ装置2の識別情報を対応付けることが可 能となる。この第1の識別情報補間処理は、 別情報補間部22において実行される。したが って、この識別情報補間部22が、本発明の第1 の識別情報補間部に相当する。

 また図5に示すようによう、監視対象者の 画像の撮影が失敗した場合には、カメラ部10 見失った監視対象者の画像を、見失う前後 画像を用いて補間する処理(画像補間処理) 可能である。

 図5の例では、画像補間処理によって、カ メラ部10で見失った監視対象者の画像(画面中 央の監視対象者の画像)が、見失う前後の画 (画面左側と画面右側の監視対象者の画像)に 基づいて生成されている。これにより、画像 測位が失敗した時点における画像内で、監視 対象の画像領域を補間することが可能となる 。この画像補間処理は画像補間部21において 行される。したがって、この画像補間部21 、本発明の画像補間部に相当する。

(タグ装置の省電力制御(1))
 つぎに、タグ装置2の省電力制御の一例とし て、タグ装置2の休止制御について説明する 図6は、タグ装置2の休止制御を説明するため の図(モニタ27の表示画面の模式図)である。 述のように、一度、位置特定部17によって、 カメラ部10で撮影した監視対象者の位置(撮影 位置)とタグ装置2との無線通信で検出した監 対象者の位置(タグ位置)が結び付けられて れば、タグ装置2による監視対象者の位置の 跡が可能である。

 したがって、図6に示すように、画面左側 の位置で、監視対象者の撮影位置とタグ位置 が結び付けられた場合には、タグ装置2を休 させることにより、タグ装置2の電力消費を えることができる。なお、図6において、休 止状態のタグ装置2は、識別IDが四角い破線で 図示されている。

 この処理(休止要求処理)は、休止要求部24 によって実行される。具体的には、位置特定 成否判定部22によって、位置の特定が成功し と判定された場合に、休止要求部24から無 通信部9を介して、タグ装置2に対する休止要 求信号を送信することによって、タグ装置2 らの検出用信号の送信を休止させることに って行われる。ここで、検出用信号の送信 休止とは、検出用信号の送信頻度を下げる とをいう。なお、検出用信号の送信の休止 は、検出用信号の送信停止(送信頻度をゼロ すること)も含まれる。

 また、このような休止制御を行った場合 カメラ部10で監視対象者を見失ってしまう 、監視対象者の位置の追跡ができなくなる( たは困難になる)。そこで、図7に示すよう 、タグ装置2が休止しているときに、カメラ 10で監視対象者を見失った場合、すなわち 像測位成否判定部23において画像測位の失敗 が判定された場合には、発信要求部25からタ 装置2に対して発信要求を送信し、検出用信 号を発信するように要求する。これにより、 タグ装置2からの検出用信号に基づいて無線 位部14による無線測位情報と、カメラ部10の 像測位部16による画像測位情報を位置特定 17にて統合し監視対象者の位置を特定して、 追跡を続行することができる。このような処 理(第1の発信要求処理)は、発信要求部26によ て実行される。したがって、この発信要求 26が、本発明の第1の発信要求部に相当する

 また、上記のような休止制御を行って、 グ装置2からの検出用信号の送信頻度が低下 しているときに、位置特定成否判定部22によ て、位置の特定が失敗したと判定された場 には、発信要求部25からタグ装置2に対して 信要求を送信し、次回の発信タイミングを たずに検出用信号を発信するように要求す (発信要求の代わりに、検出用信号の送信頻 度を増加させるための要求を送信してもよい )。これにより、タグ装置2からの検出用信号 基づいて無線測位部14による無線測位情報 、カメラ部10の画像測位部16による画像測位 報を位置特定部17にて統合し監視対象者の 置を特定して、追跡を続行することができ 。このような処理(第2の発信要求処理)は、 信要求部26によって実行される。したがって 、この発信要求部26は、本発明の第2の発信要 求部に相当するともいえる。ここで説明した タグ装置の省電力制御(1)は、タグ装置2がア ティブタグである場合に、とくに省電力の 果を発揮するものである。タグ装置2がセミ ッシブタグである場合には、タグ装置2は自 発的な(あるいは定期的な)検出用信号の発信 行わず、センサ装置3からの発信要求を受信 したときのみ、その応答として検出用信号を 発信するため、センサ装置3から休止要求を うことによりタグ装置2を休止させる制御は 要となる。センサ装置3の画像測位成否判定 部23によって画像測位が失敗したと判定され 場合や、位置特定成否判定部22によって位 の特定が失敗したと判定された場合に、セ サ装置3からタグ装置2に発信要求を送って、 タグ装置2に検出用信号を送信させることで 省電力の効果を得ることができる。

(タグ装置の省電力制御(2))
 つぎに、タグ装置2の省電力制御の他の例と して、無線通信部9によるタグ装置2の測位(タ グ測位)の頻度が、カメラ部10による監視対象 者の測位(画像測位)の頻度より小さい場合を 明する。

 図8は、タグ測位と画像測位のタイミング の説明図である。図8に示すように、この場 には、タグ測位の頻度が画像測位の頻度よ も小さく設定されている。このように、タ 測位の頻度を少なくすることにより、タグ 置2の電力消費を抑えることができる。タグ 置2がアクティブタグである場合は、定期的 に検出信号を発信する頻度を、タグ装置2の 線通信部6に設定することによってこれを実 する。またタグ装置2がセミパッシブタグの 場合には、画像測位の頻度より小さい頻度で 、センサ装置3からタグ装置2に対して発信要 を行うことで、これを実現することができ 。

 このような設定を行った場合、タグ装置2 を所持した監視対象者がセンサ装置3の監視 リアに入ったときに(エリアインしたときに) 、タグ測位と画像測位とが同期していないた め、画像測位のみが行われて、タグ測位が行 われないことがある。そのような場合であっ ても、所定回数後の画像測位の時点では、タ グ測位とのタイミングが揃うのでマッチング がなされることになる。なお、マッチングと は、タグ測位位置と一致する人物オブジェク トの画像領域を決定し、その人物オブジェク トの画像領域にタグ情報(識別ID)を付与する 理をいう。マッチングは、前述の位置特定 17によって実行される処理である。

 本実施の形態では、画像測位のみが行わ てタグ測位が行われなかった場合に、マッ ングより以前の人物オブジェクトの画像領 に、マッチング以後のタグ測位データおよ 画像測位データに基づく推定により、タグ 報(識別ID)を付与する処理(第2の識別情報補 処理)が可能である。図9の例では、第2の識 情報補間処理によって、マッチングより以 (画面左側)の人物オブジェクトの画像領域 、タグ情報「ID:1」が付与されている。第2の 識別情報補間処理は、識別情報補間部22によ て実行される。したがって、この識別情報 間部22は、本発明の第2の識別情報補間部に 当するともいえる。

 このような本発明の実施の形態の位置特 システム1によれば、撮影した画像に基づい て算出された位置(画像位置)とタグ装置2の検 出用信号に基づいて検出された位置(タグ位 )とが結び付けられるので、監視対象の画像 撮影できない場合にも、監視対象の位置を 定することができ、監視対象の動きを追跡 ることができる。

 すなわち、本実施の形態では、撮影した 像に基づいて算出された位置(画像位置)と グ装置2の検出用信号に基づいて検出された 置(タグ位置)とが結び付けられて、監視対 (監視対象者)の位置が特定される。この場合 、監視対象がタグ装置2を保持している。し がって、図5に示すように、一度、監視対象 位置が特定されると、その後に監視対象を 影できない場合があったとしても、タグ装 2の検出用信号に基づいて監視対象の位置が 検出され、監視対象の動きを追跡することが 可能になる。

 また、本実施の形態では、図6に示すよう に、画像位置とタグ位置の結び付け(統合)に って監視対象の位置が特定された場合には タグ装置2が検出用信号を発信するのを休止 させる。これにより、タグ装置2の省電力化 可能になる。この場合、撮影した画像に基 いて監視対象の位置が算出されるので、監 対象の動きを追跡することができる。

 また、本実施の形態では、図7に示すよう に、撮影した画像に基づいて監視対象の位置 を算出できなかった場合(監視対象をロスト た場合)には、タグ装置2が検出用信号を発信 するのを再開させる。これにより、監視対象 を撮影できない場合には、タグ装置2の検出 信号に基づいて監視対象の位置が検出され ので、監視対象の動きの追跡を継続するこ が可能になる。

 また、本実施の形態では、図4に示すよう に、監視対象の位置の特定が失敗し、監視対 象の画像に対してタグ装置2の識別情報が付 できなかった場合にも、その後に成功した 視対象の位置の特定により画像に対して付 されたタグ装置2の識別情報を、遡って付与 ることにより、監視対象に対する識別情報 欠落を補間して、監視対象の動きを連続的 把握することが可能となる。

 また、本実施の形態では、撮影した画像 基づいて監視対象の位置を算出できなかっ 場合であっても、図5に示すように、その前 後に算出した位置に基づいてその間の位置お よび監視対象の画像領域が補間される。これ により、監視対象の動きを連続的に把握する ことが可能になる。

 また、本実施の形態では、タグ装置2の検 出用信号の発信頻度を小さくすることによっ て、タグ装置2の省電力化が可能になる。こ 場合、図8に示すように、撮影した画像に基 く位置(画像位置)の算出のタイミングと、 グ装置2の検出用信号に基づく位置(タグ位置 )の検出のタイミングにずれが生じることが る。例えば、監視対象の位置特定(画像位置 タグ位置の結び付け)より前に、タグ位置が 検出されずに、画像位置のみが算出されるこ とがある。そのような場合、図9に示すよう 、監視対象の位置特定の以後の画像位置と グ位置に基づいて、監視対象の位置特定よ 前の監視対象の画像に対して(過去に遡って) 、タグ装置2の識別IDを含むタグ情報が付与さ れる。これにより、監視対象の動きを連続的 に把握することが可能になる。

 以上、本発明の実施の形態を例示により 明したが、本発明の範囲はこれらに限定さ るものではなく、請求項に記載された範囲 において目的に応じて変更・変形すること 可能である。

(他の実施の形態の位置特定システム)
 以下、他の実施の形態の位置特定システム ついて、図10~図18を参照して説明する。他 実施の形態の位置特定システムは、画像位 とタグ位置とを結び付ける(マッチングする) 動作に特徴がある。したがって、ここでは、 他の実施の形態の位置特定システムの特徴で ある位置特定部の構成や動作を中心に説明す る。ここで特に言及しない限り、他の実施の 形態の位置特定システムの構成や動作は、上 記の実施の形態と同様である。

 図10は、他の実施の形態の位置特定シス ムにおける位置特定部の構成を示すブロッ 図である。図10に示すように、位置特定部17 、画像測位部14で算出された位置(画像位置) と無線測位部16で検出された位置(タグ位置) の距離に基づいて、画像位置(画像測位の結 )とタグ位置(無線測位の結果)の対応付けを う対応付け部28を備えている。

 この位置特定部17は、画像位置を中心と た所定半径の円形エリア(探索エリア)内にタ グ位置が存在するか否かを探索する画像位置 近傍探索部29を備えている。画像位置近傍探 部29には、ある時刻における画像位置とタ 位置が入力され、後述するように、画像位 を中心とした所定の探索エリア内にあるタ 位置を探索する処理が行われる。対応付け 28は、この画像位置近傍探索部29の探索結果 基づいて、画像位置とタグ位置との対応付 を行う(図11参照)。

 位置特定部17は、この探索エリアの大き や形状を設定する探索エリア設定部30を備え ている。また、位置特定部17は、画像測位の 位精度を検知する測位精度検知部31を備え おり、探索エリア設定部30は、この測位精度 検知部31で検知した画像測位の測位精度に応 て、探索エリアの大きさを設定する。例え 、画像測位の精度は、画像処理で人物(監視 対象)を検出または特定するときの分散度合 (「人物のテンプレート」とマッチングした きのマッチング精度)などに基づいて決定さ れる(マッチング精度が高い場合には、画像 位の精度も高い値となる)。そして、画像測 の測位精度が高いときには、探索エリアの きさ(半径)が小さく設定され、画像測位の 位精度が低いときには、探索エリアの大き (半径)が大きく設定される。なお、ここでは 、探索エリアとして、所定半径の円形エリア の例について説明するが、探索エリアの形状 は、これに限られるものではなく、例えば四 角形や六角形などの形状であってもよい。

 また測位精度検知部31が無線測位の測位 度を検知する機能を有してもよい。この場 、探索エリア設定部30は、この測位精度検知 部31で検知した無線測位の測位精度に応じて 探索エリアの大きさを設定する。無線測位 精度は、例えばタグ装置2の検出用信号の受 信品質(受信電波強度やエラー率)などに基づ て決定される(受信品質が高い場合には、無 線測位の精度も高い値となる)。

 また、位置特定部17は、画像位置を中心 した探索エリア内にタグ位置が複数存在す ときに、それらの複数の位置に関する情報( えば、時刻、画像位置、画像位置に対応す タグ位置など)を候補情報として保持する履 歴保持部32を備えている(図11参照)。対応付け 部28は、この履歴保持部32に保持された候補 報に基づいて、画像位置とタグ位置の対応 けを行う機能を有している。

 また、位置特定部17は、この履歴保持部32 に保持された候補情報を修正する履歴修正部 33を備えている。例えば、後述するように、 刻t1の時点では、複数の画像位置とタグ位 の対応付けができない(1対1に決められない) 合でも、その後、時刻t2になった時点で、 画像位置とタグ位置の対応付けができる(1対 1に決められる)場合がある。そのような場合 は、この履歴修正部33によって、履歴保持 32の情報が書き換えられる(図12参照)。

 さらに、この位置特定部17は、画像位置 中心とした探索エリア内にタグ位置が存在 ないときに、警告音や警告表示などを発す 処理を行う警告部34を備えている。これによ り、探索エリア内に画像位置と対応付けるタ グ位置が存在しない場合には、タグ装置2を 持していない監視対象を発見したとして、 告(警告音や警告表示など)が発せられてユー ザの注意力が喚起される。

 以上のように構成された他の実施の形態 位置特定システムについて、図11~図14を参 してその動作を説明する。ここでは、この 置特定システムの特徴である位置特定部で 処理について、具体的に説明する。

 図11および図12は、この位置特定部での処 理の一例を示す図である。この例では、図11 示すように、時刻t1のときに、画像測位部16 によって3つの画像位置(G1~G3)が算出されると もに、無線測位部14によって3つのタグ位置( T1~T3)が検出されている。そして、画像測位の 測位精度に基づいて探索エリアの半径が設定 され、画像位置を中心とした探索エリア内で のタグ位置が探索される。例えば、図11では 3つの画像位置を中心とした3つの探索エリ が破線で示されている。この場合、画像位 G1の探索エリア内には、2つのタグ位置T1とT2 存在しており、画像位置とタグ位置を1対1 対応付けることができない。したがって、 の場合には、履歴保持部32に、時刻t1におけ 画像位置G1に対応するタグ位置がT1とT2であ ことを示す候補情報が記録される。この場 、履歴保持部32には、同様に、時刻t1におけ る画像位置G2に対応するタグ位置がT2とT3であ ること、および、時刻t1における画像位置G3 対応するタグ位置がT1とT3であることを示す 補情報が記録される。

 その後、時刻t2になると、図12に示すよう に、画像測位部16によって2つの画像位置(G1と G2)が算出されるとともに、無線測位部14によ て2つのタグ位置(T1とT2)が検出されている。 そして、上記と同様に、画像測位の測位精度 に基づいて探索エリアの半径が設定され、画 像位置を中心とした探索エリア内でのタグ位 置が探索される。例えば、図12では、2つの画 像位置を中心とした2つの探索エリアが破線 示されている。この場合、画像位置G1の探索 エリア内には、1つのタグ位置T1のみが存在し ており、画像位置G1とタグ位置T1が1対1に対応 付けられる。また、画像位置G2の探索エリア には、1つのタグ位置T2のみが存在しており 画像位置G2とタグ位置T2が1対1に対応付けら る。この時点での履歴保持部32は、図12に示 す修正前の状態になっている。次に、履歴修 正部33は、時刻t2で得られた対応付け結果を いて、過去の候補情報の絞込みを行う。具 的には、時刻t1での画像位置G1に対応する候 情報である(T1とT2)について、時刻t2で得ら たG1とタグ位置T1が対応するという情報を用 て、時刻t1においても画像位置G1に対応する タグ位置はT1であると絞り込む。同様に時刻t 1における画像位置G2に対応するタグ位置はT2 あると絞り込む。さらに、時刻t1における 像位置G3の候補情報(T1とT3)のうち、タグ位置 T1についてはすでに画像位置G1との対応付け 行われているため、画像位置G3はタグ位置T3 対応付けられると絞り込む。履歴修正部33 、以上の結果を用いて履歴保持部32のデータ を、図12に示す修正前の状態から修正後の状 に修正する。

 また、画像位置とタグ位置の対応付けは 尤度を用いて行ってもよい。以下、図13と 14を参照して、尤度を用いた対応付けについ て詳しく説明する。

 図13は、尤度付きの候補情報の作成の一 を示す図である。例えば、ある時刻におい 、画像測位部16によって2つの画像位置(G1とG2 )が算出されるとともに、無線測位部14によっ て2つのタグ位置(T1とT2)が検出されたとする 画像位置G1からタグ位置T1、T2までの距離をr1 1、r12、画像位置G2からタグ位置T1、T2までの 離をr21、r22とすると、タグ位置に対応する 像位置の尤度の比は、距離の逆数になる。 えば、図13の例のように、r11:r12=1:3の場合に 、画像位置G1に対応するタグ位置の尤度の は、3:1(=75%:25%)になる。したがって、この場 には、履歴保持部32に、時刻t1における画像 位置G1に対応するタグ位置がT1(75%)とT2(25%)で ることを示す尤度付きの候補情報が記録さ る。同様に、r21:r22=1:1の場合には、時刻t1に ける画像位置G2に対応するタグ位置がT1(50%) T2(50%)であることを示す尤度付きの候補情報 が記録される。

 図14は、尤度付きの候補情報の履歴に基づ 対応付けの一例を示す図である。図14に示す ように、時刻t1とt2における尤度付きの候補 報が記録されたとする。この場合、ベイズ 定によって各時刻における対応付けを求め ことができる。図14の例では、ベイズの定理 を用いて、データX1が観測されたもとで画像 置G1がタグ位置T1と対応付けられる条件付き 確率(事後確率)P(T 1 |X 1 )が算出される。

 ここで、T 1 は、画像位置G1がタグ位置T1と対応付けられ 事象であり、T 2 は、画像位置G1がタグ位置T2と対応付けられ 事象である。また、P(T 1 )は、画像位置G1がタグ位置T1と対応付けられ 確率(事前確率)である。なお、ここでは、 明の簡単のため、タグ位置が2つしかない場 を仮定している。

 タグが2つしかないため、事前確率は、P(T 1 )=P(T 2 )=0.5となる。データを用いてP(T 1 )の更新を行い、P(T 1 )が所定の上限閾値(例えば0.95)を上回った場 に、画像位置G1がタグ位置T1と対応付けられ と判断し、所定の下限閾値(例えば0.05)を下 ったときに、画像位置G1とタグ位置T1とは対 応付けられないと判断する。

 この例では、データX 1 を用いた事後確率がP(T 1 |X 1 )=0.7と算出され、データX 2 を用いた事後確率がP(T 1 |X 2 )=0.78と算出される。また、データX 3 を用いた事後確率は、P(T 1 |X 3 )=0.93と算出される。そして、データX 4 を用いた事後確率がP(T 1 |X 4 )=0.97と算出される。このとき、事後確率が上 限閾値(0.95)を上回り、タグ位置T1と画像位置G 1が対応付けられる。

 このような他の実施の形態の位置特定シ テムでは、画像位置とタグ位置との距離に づいて、監視対象の画像測位と無線測位の 果を適切に対応付けることができる。例え 、画像位置とタグ位置が近い場合には、そ 画像位置とタグ位置を、同じ監視対象のも として対応付けることができる。この場合 画像位置を中心とした所定の探索エリア内( 例えば所定半径内)にタグ位置が存在すると に、その画像位置とタグ位置を、一つの同 監視対象のものとして適切に対応付けるこ ができる。これにより、監視対象の位置特 精度が向上する。

 また、この場合、探索エリア設定部30に って、画像位置を中心とした探索エリアの きさを、監視対象の画像測位の測位精度に じて適切に設定することができる。例えば 測位精度が高い場合には、探索エリアの大 さが小さく設定され、測位精度が低い場合 は、探索エリアの大きさが大きく設定され 。

 また、画像位置を中心とした探索エリア にタグ位置が複数存在するときには、その 数の位置に関する情報(例えば、時刻、画像 位置、画像位置に対応するタグ位置など)を 補情報として履歴保持部32に保持し、対応付 け部28は、この履歴保持部32に保持された候 情報に基づいて、監視対象の画像測位と無 測位の結果を適切に対応付けることができ 。

 さらに、画像位置を中心とした探索エリ 内(例えば所定半径内)にタグ位置が存在し いようなときには、警告部34によって警告( 告音や警告表示など)を発して、ユーザの注 を喚起することができる。

 なお、対応付け部28は、画像位置近傍探 部29の代わりに、以下の変形例1で後述する グ位置近傍探索部35の探索結果に基づいて、 画像位置とタグ位置との対応付けを行っても よい。タグ位置近傍探索部35が探索を行う際 は、無線測位精度に応じて探索エリアの大 さを設定したり、探索エリア内に複数の画 位置があった場合には候補情報として履歴 持部32で保持してもよい。さらに対応付け 28はタグ位置近傍探索部35によって得られた 歴保持部32に保持された候補情報に基づい 、監視対象の画像測位と無線測位の結果を 応付けてもよい。その場合には、タグ位置 中心とした所定の探索エリア内(例えば所定 径内)に画像位置が存在するときに、監視対 象の画像測位と無線測位の結果を、一つの同 じ監視対象のものとして適切に対応付けるこ とができる。

(他の実施の形態の位置特定システムの変形 1)
 図15は、他の実施の形態の位置特定システ の変形例1の構成を示すブロック図である。 こでも、変形例1が他の実施の形態と相違す る構成や動作を中心に説明する。つまり、こ こで特に言及しない限り、変形例1の構成や 作は、上記の他の実施の形態と同様である

 変形例1の位置特定部17は、画像位置近傍 索部29だけでなく、タグ位置を中心とした 定半径の円形エリア(探索エリア)内にタグ位 置が存在するか否かを探索するタグ位置近傍 探索部35を備えている。タグ位置近傍探索部3 5には、ある時刻におけるタグ位置と画像位 が入力され、タグ位置を中心とした所定の 索エリア内にある画像位置を探索する処理 行われる。そして、この位置特定部17は、画 像測位と無線測位の測位精度に応じて、探索 方法(画像位置近傍探索部29を用いるか、タグ 位置近傍探索部35を用いるか)を変更する探索 方法変更部36を備えている。

 この場合、位置特定部17の測位精度検知 31は、画像測位部16と無線測位部14の両方の 位精度を検知する機能を有している。例え 、画像測位の精度は、画像処理で人物(監視 象)を検出または特定するときの分散度合い (「人物のテンプレート」とマッチングした きのマッチング精度)などに基づいて決定さ る(マッチング精度が高い場合には、画像測 位の精度も高い値となる)。また無線測位の 度は、例えばタグ装置2の検出用信号の受信 質(受信電波強度やエラー率)などに基づい 決定される(受信品質が高い場合には、無線 位の精度も高い値となる)。また、位置特定 部17は、画像測位と無線測位の測位精度を比 する測位精度比較部37を備えている。

 そして、探索方法変更部36は、測位精度 比較結果に基づいて探索方法を変更する。 体的には、画像測位の測位精度のほうが高 場合には、画像位置近傍探索部29を用いて、 画像位置を中心とした探索エリア内にタグ位 置が存在するか否かを探索し、タグ測位の測 位精度のほうが高い場合には、タグ位置近傍 探索部35を用いて、タグ位置を中心とした探 エリア内に画像位置が存在するか否かを探 する。

 このような変形例1の位置特定システムに よれば、画像測位と無線測位の測位精度を比 較し、測位精度の高いほうで求めた位置を中 心とした所定の探索エリア内(例えば所定半 内)に測位精度の低いほうで求めた位置が存 するときに、監視対象の画像測位と無線測 の結果を、一つの同じ監視対象のものとし 適切に対応付けることができる。

 具体的には、画像測位の測位精度が高い 合には、画像位置を中心とした探索エリア にタグ位置が存在するときに、その画像位 とタグ位置を一つの同じ監視対象のものと て適切に対応付けることができる。また、 線測位の測位精度が高い場合には、タグ位 を中心とした探索エリア内に画像位置が存 するときに、その画像位置とタグ位置を一 の同じ監視対象のものとして適切に対応付 ることができる。

(他の実施の形態の位置特定システムの変形 2)
 図16は、他の実施の形態の位置特定システ の変形例2の構成を示すブロック図である。 こでも、変形例2が他の実施の形態と相違す る構成や動作を中心に説明する。つまり、こ こで特に言及しない限り、変形例2の構成や 作は、上記の他の実施の形態と同様である

 変形例2の位置特定部17は、画像位置近傍 索部29の代わりに、画像位置とタグ位置と 距離の差の二乗和が最小となる組合せを算 する組合せ計算部38を備えている。この組合 せ計算部38には、ある時刻におけるタグ位置 画像位置が入力され、それらのタグ位置と 像位置の最適な組合せが算出される。画像 置とタグ位置との距離の差の二乗和が最小 なる組合せを算出するための計算方法とし は、例えば、全探索法や局所探索法などが いられる。

 このような変形例2の位置特定システムに よれば、画像位置とタグ位置との距離の差の 二乗和が最小となる最適な組合せが算出され 、その結果に基づいて画像位置とタグ位置の 対応付けが行われる。これにより、画像位置 とタグ位置を適切に対応付けることができる 。

(他の実施の形態の位置特定システムの変形 3)
 図17は、他の実施の形態の位置特定システ の変形例3の構成を示すブロック図である。 こでも、変形例3が他の実施の形態と相違す る構成や動作を中心に説明する。つまり、こ こで特に言及しない限り、変形例3の構成や 作は、上記の他の実施の形態と同様である

 変形例3の位置特定部17は、対応付けされた 像位置とタグ位置の平均の位置を監視対象 位置として計算する平均値計算部39を備え いる。この平均値計算部39には、画像測位と 無線測位の測位精度が入力され、下記の式3 用いて測位精度に応じた重み付け平均が、 視対象の平均の位置として計算される。

 ここで、xは、監視対象の平均の位置(統合 置座標)であり、x v は、画像位置(カメラ位置座標)であり、x t は、タグ位置(タグ位置座標)である。また、a v は、画像測位の測位精度(カメラ精度)であり a r は、無線測位の測位精度(タグ精度)である。

 このような変形例3の位置特定システムに よれば、画像位置とタグ位置の平均の位置が 、監視対象の位置として決定される。これに より、監視対象の位置特定を適切に行うこと ができる。具体的には、画像測位と無線測位 の測位精度に応じた重み付け平均を用いて、 監視対象の位置特定を適切に行うことが可能 になる。

(画像位置近傍探索部の変形例)
 図18は、画像位置近傍探索部の変形例を説 する図である。この変形例では、図18に示す ように、画像位置とタグ位置が、複数のセル (図18では、A1~D4までの16個のセルが例示され いる)に分割されたセル空間内に配置される

 図18の例では、3つの画像位置G1~G3と3つの グ位置T1~T3がセル空間内にそれぞれ配置さ ている。具体的には、画像位置G1はセルB3に 置されており、タグ位置T1はセルB4に配置さ れている。また、画像位置G2とタグ位置T2は ルC2に配置されている。また、画像位置G3は ルC3に配置されており、タグ位置T3はセルD4 配置されている。

 そして、この画像位置近傍探索部29では 画像位置が属するセルとタグ位置が属する ルとの位置関係に基づいて、画像位置とタ 位置の対応付けが行われる。

 まず、画像位置G1について対応するタグ 置を探索する場合には、画像位置G1が属する セルB3と同じセル(セルB3)にタグ位置が属して いるか否かを探索する。この場合、セルB3に タグ位置が一つも存在していない。そのよ な場合には、タグ位置の探索範囲を広くす 。例えば、画像位置G1が属するセルB3の周囲 のセル(セルA2、B2、C2、A3、C3、A4、B4、C4)に探 索範囲を広げ、それらのセルにタグ位置が属 しているかを探索する。この場合、セルB4に するタグ位置T1とセルC2に属するタグ位置T2 存在している。このように、探索範囲内に 数のタグ位置が見つかった場合には、画像 置G1との距離が近いタグ位置T1が、画像位置 G1に対応するタグ位置として決定される(画像 位置G1とタグ位置T1が対応付けられる)。

 つぎに、画像位置G2について対応するタ 位置を探索する場合には、画像位置G2が属す るセルC2と同じセル(セルC2)にタグ位置T2が属 ている。したがって、この場合には、タグ 置T2が、画像位置G2に対応するタグ位置とし て決定される(画像位置G2とタグ位置T2が対応 けられる)。

 また、画像位置G3について対応するタグ 置を探索する場合には、画像位置G3が属する セルC1と同じセル(セルC1)にタグ位置が属して いるか否かを探索する。この場合、セルC1に タグ位置が一つも存在していない。したが て、画像位置G1の場合と同様、タグ位置の 索範囲を広くする。例えば、画像位置G3が属 するセルC1の周囲のセル(セルB1、D1、B2、C2、D 2)に探索範囲を広げ、それらのセルにタグ位 が属しているかを探索する。この場合、セ D1に属するタグ位置T3とセルC2に属するタグ 置T2が存在している。したがって、画像位 G1の場合と同様、探索範囲内に複数のタグ位 置が見つかった場合には、画像位置G3との距 が近いタグ位置T3が、画像位置G3に対応する タグ位置として決定される(画像位置G3とタグ 位置T3が対応付けられる)。なお、この場合、 すでにタグ位置T2が画像位置G2と対応付けら ているので、その情報の基づいて(距離の計 をすることなく)タグ位置T3を、画像位置G3 対応するタグ位置として決定してもよい。

 このような画像位置近傍探索部29の変形 によれば、画像位置が属するセルとタグ位 が属するセルとの位置関係に基づいて、画 位置とタグ位置を適切に対応付けることが きる。例えば、画像位置とタグ位置が同じ ルに属する場合には、その画像位置とタグ 置が、(画像位置とタグ位置の距離の計算を うことなく)同じ監視対象のものとして対応 付けられる。これにより、すべての画像位置 とタグ位置について距離の計算を行う場合に 比べて、計算量を大幅に減らすことができ、 処理速度を格段に速くすることができる。

 なお、ここでは、画像位置近傍探索部29 変形例について説明したが、この変形例は タグ位置近傍探索部35にも同様に適用するこ とができる。

(物体位置推定装置)
 以下、本発明の実施の形態について図面を 照して詳細に説明する。

 [全体構成]
 図19に、本発明の実施の形態に係る物体位 推定装置の構成を示す。

 物体位置推定装置100は、カメラ101によっ 撮像された撮像画像信号を撮像画像取得部1 02に入力する。撮像画像取得部102は、取得し 撮像画像を画像座標確率密度分布形成部103 送出する。

 画像座標確率密度分布形成部103は、時点tの 撮像画像から、位置を推定する対象(図の場 は人物)200の座標の確率密度分布P t V を形成する。実際上、画像座標確率密度分布 形成部103は、予め設定された確率密度分布モ デルを有する。画像座標確率密度分布形成部 103は、先ず、撮像画像に基づいて、画像内の 対象が存在する可能性のある箇所を検出し、 各箇所での存在確率を求める。この存在確率 は、対象200についてのテンプレートと、撮像 画像から検出した対象200との合致の度合いか ら求めればよい。次に、画像座標確率密度分 布形成部103は、予め設定された確率密度分布 モデルを用いて、各検出箇所において前記合 致の度合いに応じた面積の確率密度分布を作 成し、それらを足し合わせることで確率密度 分布P t V を形成する。

 図20及び図21を用いて、画像座標確率密度分 布形成部103の具体的な処理について説明する 。図20は、撮像画像から、対象200の候補を3つ 検出した例である。画像座標確率密度分布形 成部103は、図20(A)に示すように、検出した各 補におけるテンプレトとの合致の度合いが5 %、75%、20%であったとすると、図20(B)に示すよ うに、確率密度分布モデルを用いて、検出し た位置に面積比が5:75:20の確率密度分布を作 し、これを確率密度分布P t V として出力する。具体的には、確率密度分布 モデルは、正規分布であり、その平均の値を 検出位置に合わせると共に、合致の度合いに 応じて正規分布をスケーリングすればよい。 図21(A)は、撮像画像から、対象200の候補を1つ 検出した例である。この場合、画像座標確率 密度分布形成部103は、確率密度分布モデルを 用いて、図21(B)に示すような確率密度分布を 成し、これを確率密度分布P t V として出力する。

 同様に、画像座標確率密度分布形成部103 、撮像画像の中に存在確率が同程度である 象200の候補位置を2箇所検知した場合には、 図30(B)に示すような確率密度分布を出力する 一方、画像座標確率密度分布形成部103は、 像画像の中に存在確率が異なる対象200の候 位置を2箇所検知した場合には、図22に示す うな確率密度分布を出力する。

 画像座標確率密度分布形成部103によって形 された確率密度分布P t V は、確率密度統合部120の重み決定部121に送出 される。

 一方、物体位置推定装置100は、タグ信号 信機111で受信した信号をタグ情報取得部112 入力する。タグ情報取得部112は、取得した グ情報の中からタグの座標を示す信号を抽 し、これをタグ座標確率密度分布形成部113 送出する。

 タグ座標確率密度分布形成部113は、時点tの タグ座標から、タグ201の座標の確率密度分布 P t T を形成する。基本的には、タグ座標確率密度 分布形成部113は、画像座標確率密度分布形成 部103と同様に、予め設定された確率密度分布 モデルを有する。確率密度分布モデルは、正 規分布である。タグ座標確率密度分布形成部 113は、正規分布の平均の値を、タグ座標に合 わせることで、確率密度分布を作成し、これ を確率密度分布P t T として出力する。但し、本実施の形態のタグ 座標確率密度分布形成部113は、この基本的処 理に加えて、確率密度分布の変更処理を行う 。その詳細については、後述する。タグ座標 確率密度推定部113によって形成された確率密 度分布P t T は、確率密度統合部120の重み決定部121に送出 される。

 確率密度統合部120の統合部122は、画像座標 率密度分布形成部103から出力された時点tで の対象201の位置の確率密度分布P t V と、タグ座標確率密度分布形成部113から出力 された時点tでのタグ201の位置の確率密度分 P t T と、重み決定部121によって決定された重み係 数k(t)とを用いて、次式により、確率密度分 P t V と確率密度分布P t T とを統合した確率密度分布Lを求める。

 ここで、重み決定部121は、重み係数k(t)を、 次式で表す値に設定することにより、確率密 度分布の確率密度の最大値が大きいほど重み を大きくしながら確率密度分布P t V 、P t T に対する重み付けを行う。

 なお、確率密度分布の統合の方法、及び、 み決定の方法は、本発明の重要な特徴では く、式4及び式5は確率密度分布の統合の方 及び重み決定の方法の一例である。確率密 分布の統合の方法及び重み決定の方法とし 、式4及び式5で表される方法以外の、従来提 案されている種々の方法を適用しても、本発 明を実施可能であり、また本発明の効果に影 響を及ぼさない。例えば、重み係数k(t)とし 固定値を用いてもよい。さらに、重み付け 行わずに、確率密度分布P t V と確率密度分布P t T と単に統合する(和又は積を取る)ようにして よい。

 統合部122によって得られた確率密度分布 、判定部130に入力される。判定部130は、確 密度分布の中で確率密度が最大である位置 対象200の位置であると判定し、この位置を 置推定結果として出力する。

 かかる構成に加えて、物体位置推定装置1 00は、タグ状況検知部131と、確率密度分布変 制御部132とを有する。

 タグ状況検知部131は、撮像画像取得部102 ら出力された撮像画像を入力する。タグ状 検知部131は、撮像画像を用いて、対象200の 辺状況を検知する。ここで、対象200の周辺 況は、無線タグ201の周辺状況と言い換える とができる。周辺状況とは、対象200の周辺 障害物が存在するか否か、及び、障害物が 在する場合にはどの位置に存在するかであ 。障害物とは、対象200の移動を不可能にす 又は困難にする構造物や物等である。また 障害物とは、無線タグ201の電波送信範囲及 タグ信号受信機111の検知範囲に存在し、無 タグ201とタグ信号受信機111との間の通信を 化させるものである。ここで、無線タグ201 タグ信号受信機111との間に存在する物体は 無線タグ201とタグ信号受信機111との間の通 を劣化させる可能性が高いので、障害物と て、無線タグ201とタグ信号受信機111との間 存在する物体を検知すると有効である。タ 状況検知部131によって得られた検知結果は 確率密度分布変更制御部132に送出される。

 確率密度分布変更制御部132は、タグ状況 知部131によって検知された周辺状況に応じ 、タグ座標確率密度分布形成部113における 率密度分布を変更させる制御を行う。具体 には、確率密度分布変更制御部132は、障害 の検知結果に応じて、正規分布の分散の値 正規分布の平均の値、又は正規分布内の検 結果に応じた一部の領域の確率密度を変更 せる制御を行う。

 例えば、確率密度分布変更制御部132は、対 200の移動を不可能にする又は困難にする構 物や物等がタグ状況検知部131によって検知 れた場合、タグ座標確率密度分布形成部113 、障害物が検知された位置の確率密度を0に し、他の部分の確率密度の積分値を1にする うに指示する。これにより、実際上、対象20 0が存在し得ない位置の確率密度を0にするこ ができるので、確率密度分布P t T をより現実に近いものとすることができる。

 また、確率密度分布変更制御部132は、無線 グ201とタグ信号受信機111の周辺に、無線タ 201とタグ信号受信機111との間の通信を劣化 せる障害物が存在することがタグ状況検知 131によって検知された場合、タグ座標確率 度分布形成部113に、障害物が検知されない 合と比較して、正規分布の分散の値を大き した確率密度分布P t T を形成することを指示する。これにより、無 線通信品質に見合った確率密度分布P t T を形成することができる。また、障害物の存 在の有無に加えて、障害物の種類を撮像画像 から検知し、障害物の種類に応じて分散の値 を変更してもよい。例えば、金属等の電波の 障害になり易い障害物が検知された場合には 、電波の障害になり難い障害物が検知された 場合よりも、分散の値を大きくするとよい。

 また、確率密度分布変更制御部132は、タグ 標確率密度分布形成部113に、障害物が検知 れた場合と障害物が検知されない場合とで 正規分布の平均の値を変更した確率密度分 P t T を形成することを指示してもよい。障害物が 検知された場合に、障害物が検知されない場 合と比較して、どれだけ正規分布の平均の値 を変更するかは、予め実験等により求めれば よい。例えば、対象200(無線タグ201)の周辺に 等が存在する場合は、無線タグ201から受信 れる観測結果が壁の影響により真の位置か ずれるので、無線タグ201に対する壁の位置 ずれとの関係を予め実験により求めておき 周辺に壁が検知された場合には、正規分布 平均の値を予め求められた分だけずらせば い。

 なお、これらの変更(補正)は、観測データ おける、対象の存在可能性のある各箇所に して個別に行い、変更(補正)後の各箇所での 確率密度分布を箇所の存在確率に応じて足し 合わせることで最終的な確率密度分布P t T を求めてもよい。

 [周辺状況の検知及び確率密度分布の変更]
 次に、周辺状況の検知と、検知結果に応じ 確率密度分布の変更処理とについて、具体 を挙げて説明する。

 図23は、無線タグ201とタグ信号受信機111 周辺に、障害物が存在するか否かで確率密 分布の分散値を変更した例を示すものであ 。タグ状況検知部131によって無線タグ201と グ信号受信機111の周辺に障害物が検知され かった場合、タグ座標確率密度分布形成部11 3は、図23(A)に示すように、分散値の小さな確 率密度分布を形成して出力する。これに対し て、タグ状況検知部131によって無線タグ201と タグ信号受信機111の周辺に障害物が検知され ると、タグ座標確率密度分布形成部113は、図 23(B)に示すように、分散値の大きな確率密度 布を形成して出力する。ここで、図23(A)及 図23(B)の確率密度分布は、共に正規分布であ る。

 なお、無線タグ201にとっては、対象200も障 物となる。よって、タグ状況検知部131によ て、対象200による無線タグ201の付帯状況を 知することも有効である。具体的には、タ 状況検知部131が、図24に示すような無線タ 201の付帯状況を検知し、タグ座標確率密度 布形成部113が検知結果に応じた確率密度分 P t T を出力することも有効である。すなわち、タ グ状況検知部131が、図24(A)に示すように無線 グ201が対象200の頭上に付帯されていること 検知した場合、無線タグ201とタグ信号受信 111との間に障害物(つまり人物)が存在しな ものとして、タグ座標確率密度分布形成部11 3から、図23(A)のような分散の小さい確率密度 分布を出力させる。これに対して、タグ状況 検知部131が、図24(B)に示すように無線タグ201 対象200の首から下げられて付帯されている とを検知した場合、無線タグ201とタグ信号 信機111との間に障害物(つまり人物)が存在 るものとして、タグ座標確率密度分布形成 113から、図23(B)のような分散の大きい確率密 度分布を出力させる。

 以下に、タグ状況検知部131によって、対象2 00の移動を不可能にする又は困難にする構造 や物等が検知された場合に、タグ座標確率 度分布形成部113によって、障害物が検知さ た位置の確率密度が0である確率密度分布P t T を出力する例を説明する。

 図25(A)に、カメラ101によって撮像された 像画像のイメージを示す。また図25(B)に、撮 像画像を平面マップ座標系に変換したものを 示す。タグ状況検知部131は、図25(A)に示す撮 画像の座標系を変換して図25(B)に示すよう 検知結果を得る。また、タグによる測位位 が(17,15)であったとする。すると、確率密度 布変更制御部132は、タグ測位結果から対象2 00の位置が(17,15)であることと、画像による検 知結果から確率密度分布のうち障害物に対応 するx≧20の確率密度を0にすることを指示す 確率密度分布変更信号を、タグ座標確率密 分布形成部113に出力する。すると、タグ座 確率密度分布形成部113は、図26に示すように 、座標(17,15)を正規分布の平均値とし、かつx 20の確率密度を0とした、確率密度分布を出 する。

 図27に、障害物が存在しない場合に、タ 座標確率密度分布形成部113から出力される 率密度分布を示す。座標(17,15)を正規分布の 均とすることは、図26と同様であるが、障 物が考慮されていないので、x≧20の範囲の 率密度は0でない。なお、図26のように、x≧2 0の確率密度を0にした場合でも、確率密度の 分値の合計は、図27の場合と同様に1でなけ ばならないので、正規分布の平均(すなわち 図26の例では、座標(17,15))における確率密度(z 軸の値)は、図27の正規分布の平均における確 率密度(z軸の値)よりも大きくされている。

 図28及び図29に、図25及び図26とは、別の を示す。図28は、対象200が両側に障害物が有 る通路に位置するイメージを示したものであ る。なお、図28では、障害物として、椅子と とが示されているが、当然、壁等であって よい。図28のような状況が検知された場合 タグ座標確率密度分布形成部113からは、図29 のような確率密度分布が出力される。図29の 率密度分布は、正規分布を通路方向に拡大 、通路方向と垂直な方向に縮小した形状に っている。図29から明らかなように、障害 に対応する位置の確率密度が小さくされて り、その分、通路に対応する位置の確率密 が大きくされている。

 [効果]
 以上説明したように、本実施の形態によれ 、撮像画像に基づいて対象200の座標につい の第1の確率密度分布P t V を形成する画像座標確率密度分布形成部103と 、対象200に付帯された無線タグ201からの信号 に基づいて対象200の座標についての第2の確 密度分布P t T を形成するタグ座標確率密度分布形成部113と 、撮像画像に基づいて無線タグ201の周辺状況 を検知するタグ状況検知部131と、検知された 無線タグ201の周辺状況に応じて、タグ座標確 率密度分布形成部113における確率密度分布P t T を変更する確率密度分布変更制御部132と、第 1の確率密度分布P t V と第2の確率密度分布P t T とを統合する確率密度統合部120と、を設けた ことにより、撮像画像を有効活用して、従来 に比して、位置推定精度を向上し得る物体位 置推定装置100を実現できる。

 すなわち、本実施の形態によれば、無線 グ201による対象200の測位位置が同じであっ も、タグ状況検知部131の検知結果に応じて 確率密度分布自体を変更するので、統合の になる確率密度分布自体をより現実に近い のとすることができる。この結果、位置推 精度が向上する。

 なお、検知された周辺状況に応じて、タグ 標確率密度分布形成部113における確率密度 布を変更した場合について述べたが、検知 れた周辺状況に応じてタグ座標確率密度分 形成部113から得られた確率密度分布P t T に対する重み係数を変更してもよく、要は、 タグ座標確率密度分布形成部113に基づく確率 密度分布を、上述の実施の形態のように変更 すればよい。

 また、本発明は、パーティクルフィルタ 用いた物体位置推定装置にも適用可能であ 。具体的には、タグ座標確率密度分布形成 113をパーティクルフィルタにより構成し、 ーティクルフィルタで用いる尤度及び/又は 除外するパーティクルを、撮像画像から検知 した障害物に応じて選択する。

 パーティクルフィルタは、ノイズが含ま る観測値から真の値を推定するものである パーティクルフィルタは、多数のパーティ ル(粒子)を設定する。粒子には、尤度が与 られる。そして、パーティクルフィルタは 次の(1)、(2)の処理を繰り返すことで、真の を推定する。

 (1)各パーティクルの時点t-1における尤度 ら時点tにおける尤度を推測する。 (2)推測 れた時点tにおける尤度に対して、時点tで 観測値を使うことで、適合しないパーティ ルを除外する。

 ここで、(1)の処理において推測する次の 度(時点tの尤度)を、撮像画像から検知した 害物に応じて選択する。また、(2)の処理に いて除外するパーティクルを、撮像画像か 検知した障害物に応じて変更する。具体的 は、障害物の位置に対応する尤度を低くし 及び/又は障害物の位置に対応するパーティ クルを除外する。これにより、パーティクル によるノイズ除去能力が向上する。

 なお、上述の実施の形態では、対象200に 帯されたセンサが無線タグ201である場合に いて述べたが、音波タグ、超音波タグ、赤 線タグなどあってもよい。また対象200はタ 等の装置を付帯することなく、無線、音、 音波、赤外線などを用いて、遠隔から測位 る形態であってももよい。

 以上に現時点で考えられる本発明の好適 実施の形態を説明したが、本実施の形態に して多様な変形が可能なことが理解され、 して、本発明の真実の精神と範囲内にある のようなすべての変形を添付の請求の範囲 含むことが意図されている。

 以上のように、本発明にかかる位置特定 ステムは、監視対象の画像を撮影できない 合にも、監視対象の位置を特定することが き、監視対象の動きを追跡することができ という効果を有し、例えば、工場作業効率 システム、物流倉庫内紛失監視システム、 フィス入退室管理システム等として用いら 、有用である。また、本発明は、確率密度 布を用いて対象の位置を推定する場合の位 推定精度を向上し得る効果を有し、例えば 体追跡システム等に適用して好適である。