Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SITUATION JUDGING DEVICE, SITUATION JUDGING METHOD, SITUATION JUDGING PROGRAM, ABNORMALITY JUDGING DEVICE, ABNORMALITY JUDGING METHOD, ABNORMALITY JUDGING PROGRAM, AND CONGESTION ESTIMATING DEVICE
Document Type and Number:
WIPO Patent Application WO/2009/054119
Kind Code:
A1
Abstract:
A situation judging device comprises a local image rate-of-change calculating section for calculating the rate of change with time of the luminance value in a local region of a captured image and a situation judging section for analyzing the histogram of the calculated rate of change with time to local regions and thereby judging the move situation of people and/or the degree of congestion of people. The situation judging device judges the move situation and/or the degree of congestion of people. A congestion estimating device comprises a move information generating section for calculating move information from an image sequence of an image creating section, a texture information generating section for generating image texture information, and a reference move information generating section for holding/updating reference move information used as a reference. The congestion judging device judges various situations of the respective regions according to similarity judgment made on the basis of presence/absence of a move and the texture, estimates the degree of congestion, and provides information on the index of congestion situation and on whether the situation is abnormal or not.

Inventors:
YOKOMITSU SUMIO
KONDO KENJI
ARAKI SHOICHI
Application Number:
PCT/JP2008/002970
Publication Date:
April 30, 2009
Filing Date:
October 20, 2008
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PANASONIC CORP (JP)
YOKOMITSU SUMIO
KONDO KENJI
ARAKI SHOICHI
International Classes:
G08G1/01; G06T7/20; G08G1/04; H04N7/18
Foreign References:
JPH07296166A1995-11-10
JP2002008042A2002-01-11
JP2004064438A2004-02-26
JP2005070985A2005-03-17
JP2003187248A2003-07-04
Attorney, Agent or Firm:
OGURI, Shohei et al. (7-13 Nishi-Shimbashi 1-chome,Minato-k, Tokyo 03, JP)
Download PDF:
Claims:
 撮像された動画像または複数の静止画像を解析することにより人の移動状況および/または混雑度を判定する状況判定装置であって、
 撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出手段と、
 前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および/または人の混雑度を判定する状況判定手段と、
 を備えた状況判定装置。
 撮像された動画像または複数の静止画像を解析することにより人の移動状況および/または混雑度を判定する状況判定装置であって、
 撮像対象場所に存在する人を撮像した動画像または複数の静止画像を入力する画像入力手段と、
 前記画像入力手段にて入力された画像を蓄積する画像蓄積手段と、
 前記画像蓄積手段に蓄積された画像から第1の時間間隔を隔てて撮像された2個の画像を選択し、前記画像を複数の局所領域に分割する分割方法を予め定めた領域分割情報を用いて前記局所領域毎に前記2個の画像間の変化を検出する局所画像変化検出手段と、
 前記局所画像変化検出手段で検出された前記2個の画像間の変化を画像変化情報として蓄積する局所画像変化情報蓄積手段と、
 前記局所画像変化情報蓄積手段に蓄積された画像変化情報を基に前記局所領域毎に第2の時間間隔における画像間の変化回数を計数して局所領域毎の画像変化率を算出する局所画像変化率算出手段と、
 前記局所画像変化率算出手段で算出された局所領域毎の画像変化率を複数の局所領域に関して蓄積する局所画像変化率蓄積手段と、
 前記局所画像変化率蓄積手段に蓄積された画像変化率の複数の局所領域に対するヒストグラムを計算する局所画像変化率ヒストグラム算出手段と、
 前記局所画像変化率ヒストグラム算出手段で算出されたヒストグラムを解析して前記撮像対象場所に存在する人の移動状況および/または人の混雑度を判定する状況判定手段と、
 を備えた状況判定装置。
 前記状況判定手段は、参照ヒストグラム格納手段とヒストグラム比較手段とで構成された請求項1または請求項2に記載の状況判定装置。
 前記状況判定手段は、特徴抽出手段と識別基準格納手段と識別手段とで構成された請求項1または請求項2に記載の状況判定装置。
 前記移動状況として、少なくとも人の移動経路が偏っている状況を含む請求項1乃至請求項4のいずれかに記載の状況判定装置。
 駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定装置であって、
 請求項5に記載の状況判定装置と、
 前記プラットホームへの列車の到着を検知する列車到着検知手段と、
 前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合に異常と判定する異常判定手段と、
 を備えた異常判定装置。
 前記異常判定手段が異常と判定した場合に予め定めておいた連絡先に通報を行う通報手段を更に備えた請求項6に記載の異常判定装置。
 撮像された動画像または複数の静止画像を解析することにより人の移動状況および/または混雑度を判定する状況判定方法であって、
 撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出ステップと、
前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および/または人の混雑度を判定する状況判定ステップと、
 を備えた状況判定方法。
 前記移動状況として、少なくとも人の移動経路が偏っている状況を含む請求項8に記載の状況判定方法。
 駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定する異常判定方法であって、
 請求項9に記載の状況判定方法を実行する状況判定ステップと、
 前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
 前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、
 を備えた異常判定方法。
 コンピュータに、撮像された動画像または複数の静止画像を解析することにより人の移動状況および/または混雑度を判定させるための状況判定プログラムであって、
 撮像された画像の局所領域における輝度値の時間変化率を算出する局所画像変化率算出ステップと、
 前記局所画像変化率算出手段で算出された時間変化率の複数の局所領域に対するヒストグラムを解析して人の移動状況および/または人の混雑度を判定する状況判定ステップと、
 を備えた状況判定プログラム。
 前記移動状況として、少なくとも人の移動経路が偏っている状況を含む請求項11に記載の状況判定プログラム。
 コンピュータに、駅のプラットホームに設置された撮像手段により撮像された動画像または複数の静止画像を解析することにより異常状況を判定させるための異常判定プログラムであって、
 請求項9に記載の状況判定方法を実行する状況判定ステップと、
 前記プラットホームへの列車の到着を検知する列車到着検知ステップと、
 前記状況判定装置による状況判定結果と前記列車到着検知手段による列車到着情報とを利用して前記列車到着情報が得られた後の所定時間経過後に前記状況判定結果として人の移動経路が偏っていると判定されている場合、異常と判定する異常判定ステップと、
 を備えた異常判定プログラム。
 各種シーンの映像やカメラからの映像をデジタル化して出力をする画像生成手段と、
 入力画像を部分領域に分ける領域分割手段と、
 前記画像生成手段から出力された画像より動き情報を算出する動き情報生成手段と、
 前記画像生成手段から出力された画像に対して画像のテクスチャ情報を生成するテクスチャ情報生成手段と、
 個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する基準動き情報生成手段と、
 個々の部分領域に対して人の有無を判定するための基準テクスチャ情報を保持・更新する基準テクスチャ情報生成手段と、
 基準動き情報や基準テクスチャ情報を格納する格納手段と、
 前記動き情報生成手段から出力された動き情報と前記基準動き情報生成手段により生成された基準動き情報とを比較し個々の部分領域において動きがあるかどうかを判定する動き情報判定手段と、
 前記テクスチャ情報生成手段から出力されたテクスチャ情報と前記基準テクスチャ情報生成手段により生成された基準テクスチャ情報とを比較し、個々の部分領域において人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定手段と、
 前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を受けて、個々の領域に人が存在するか否かを判定する滞留判定手段と、
 を備えた混雑推定装置。
 前記画像生成手段より得られる画像を入力として人が存在するか否かを動き情報から判定し、人が存在している場合のみ前記基準動き情報生成手段および前記基準テクスチャ情報生成手段に対して更新タイミングを知らせるタイミング生成手段を備えた請求項14に記載の混雑推定装置。
 前記タイミング生成手段は、車両の進入タイミングを検知して、この進入タイミング毎に前記基準動き情報生成手段と前記基準テクスチャ情報生成手段に対して更新タイミングを知らせる請求項15に記載の混雑推定装置。
 前記基準動き情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準動き情報のサンプリングを行って基準動き情報の閾値の設定を行い、
 前記動き情報判定手段は、基準動き情報が前記基準動き情報の閾値を超えた場合には動きありと判定し、前記基準動き情報閾値を超えない場合は、動き無しであると判定する請求項15または請求項16に記載の混雑推定装置。
 前記テクスチャ情報判定手段は、入力情報に対して周波数変換処理を行い、周波数領域での類似度判定を行う請求項14乃至請求項16のいずれかに記載の混雑推定装置。
 基準テクスチャ情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準テクスチャ情報のサンプリングを行って基準テクスチャ情報の設定を行い、
 前記テクスチャ情報判定手段は、前記テクスチャ情報生成手段により得られるテクスチャ情報と前記基準テクスチャ情報生成手段より得られる基準テクスチャ情報との類似度を判定し、類似している場合は人が存在すると判定する請求項14乃至請求項18のいずれかに記載の混雑推定装置。
 前記滞留判定手段は、前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を入力とし、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域のいずれかの状態を出力する請求項14乃至請求項19のいずれかに記載の混雑推定装置。
 前記滞留判定手段から出力される情報を入力とし、入力された各状態を解析して異常混雑であるかどうかを判定する異常判定手段を備えた請求項14乃至請求項20のいずれかに記載の混雑推定装置。
 前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、前記タイミング生成手段により得られる車両の進入タイミング後に滞留領域と移動領域を加算した混雑度指標が予め設定しておいた閾値以上減少しない場合に異常状態であると判定する請求項14乃至請求項21のいずれかに記載の混雑推定装置。
 前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域の割合が予め設定をしておいた値よりも超えた場合に異常状態であると判定する請求項14乃至請求項21のいずれかに記載の混雑推定装置。
 前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域、移動領域の時系列の割合から、滞留開始、滞留解消、通常状態などの人物の流量傾向を判定する請求項14乃至請求項23のいずれかに記載の混雑推定装置。
Description:
状況判定装置、状況判定方法、 況判定プログラム、異常判定装置、異常判 方法、異常判定プログラムおよび混雑推定 置

 本発明は、駅・空港などの複数の人が移動 る公共空間において、撮像した画像を解析 て人の混雑度または移動状況を検出する状 判定装置、状況判定方法、状況判定プログ ム、異常判定装置、異常判定方法および異 判定プログラムに関する。
 また、本発明は、画像を基に人物の混雑度 推定する混雑推定装置に関し、特に人物の 留状態や移動状態の種類を判定し、異常状 を検出する混雑推定装置に関する。

 近年、安全安心への要望の高まりから、 ・空港などの公共空間、重要施設などへの 視カメラの設置が進んでいる。従来は監視 メラを監視員が常時モニタリングしていた 、監視カメラ数の増加、監視員の疲労によ 見落とし防止などの観点から、画像認識す ことにより監視の省力化・効率化を図るよ な取組みが行われている。

 監視場所において人の計数を行う技術と て、特許文献1、特許文献2が提案されてい 。特許文献1は、背景差分により前景を抽出 、人物の通路に直交する監視エリアを横切 人数を計数するものである。監視エリアを 数用意し監視エリア間の計数値のばらつき 利用することで、外乱に対して頑健な計数 実現している。

 特許文献2は、通路の上方に光軸を鉛直下 向きに設置したカメラを用い、計数のために 画像上に設けた境界線における動きベクトル を抽出し、動きベクトルの境界線に対する垂 直成分を積分することにより通路を通過する 人数を計数するものである。

 一方、各人を計数するのではなく、画像 ら人数に対応する特徴を抽出し混雑度を求 る技術として特許文献3が提案されている。 特許文献3は、「通行人の人数が多いならば 異なる時刻に撮像した画像間における変化 数が増加する」という前提のもとに、画素 あるいは局所領域毎に一定時間内の変化回 を求め、この変化回数を基に混雑度を求め ものである。

 また、従来から、画像における人物の混雑 を推定するための様々な技術が提案されて ている。例えば、動きベクトルを導出し、 出した動きベクトルをまとめ、そのまとま の単位で人物を計数する技術が提案されて る(例えば、特許文献4を参照)。
 また、人物の頭部を検出して、その数を計 し、混雑度を推定する技術が提案されてい (例えば、特許文献2を参照)。
 また、フレーム間差分や背景差分処理によ 抽出した前景の面積を利用して混雑度を推 する技術が提案されている(例えば、特許文 献3または特許文献5を参照)

特開2002-074371号公報

特開2005―135339号公報

特開2004―102380号公報

特開2005-128619号公報

特開平11-282999号公報

 しかしながら、上述した従来技術におい は、以下に述べる問題がある。すなわち、 許文献1では、背景差分を利用しているため 照明変化の大きい場所への適用が難しく、ま た混雑時には一人一人を計数することが難し くなる。特許文献2も同様に、混雑時には一 一人を計数することが難しい。特許文献3は 人が移動していることを前提としているた 、動いている人と立ち止まっている人が混 する状況での混雑度の算出が難しい。

 また、上記従来例における動きベクトル まとめ、まとまりの単位で人物を計測する 法においては、各人毎に切り出す方法であ 、人が少ない場合には比較的高精度な推定 できるが、雑踏のような状況では人同士の 蔽が生じるため適用が難しく、精度が悪化 るという課題がある。また、動きベクトル 抽出する際、カメラの画角等により、通常 動きによる動きベクトル、ノイズ等により じる微小な動きベクトルのサイズは異なり 事前に上記動きベクトルのサイズの閾値を 定する必要がある。

 また、人物の頭部を検出する手法も、人が ない場合には比較的高精度な推定ができる 、人が多くなると頭部検出の精度が低下す という課題がある。
 また、フレーム間差分処理により抽出した 景の面積を利用して混雑度を推定する手法 、人物が静止しているときには前景が抽出 れず、また背景差分処理により抽出した前 の面積を利用して混雑度を推定する手法は 画面の大部分に人が存在する場合には精度 く前景領域を求めることが困難になるとい 課題がある。また、カメラの揺れなどに対 て脆弱であるという課題がある。また、上 方法では、混雑状況の指標(滞留領域、移動 領域、通常領域、滞留開始状態、滞留解消状 態、通常状態)を求める方法は無く、また部 的な混雑状況の把握も困難である。

 本発明は、かかる事情に鑑みてなされた のであり、監視場所の状況の判定および混 度の判定を容易に行うことができる状況判 装置、状況判定方法、状況判定プログラム 異常判定装置、異常判定方法および異常判 プログラムを提供することを目的とする。

 本発明は、かかる事情に鑑みてなされた のであり、画像を用いた人物の混雑度の推 を容易に且つ精度良く行うことができる混 推定装置を提供することを目的とする。

 前記目的を達成するため、本発明の状況 定装置は、撮像された動画像または複数の 止画像を解析することにより人の移動状況 よび/または混雑度を判定する状況判定装置 であって、撮像された画像の局所領域におけ る輝度値の時間変化率を算出する局所画像変 化率算出手段と、前記局所画像変化率算出手 段で算出された時間変化率の、複数の局所領 域に対するヒストグラムを解析して人の移動 状況および/または人の混雑度を判定する状 判定手段と、を備えた。

 この構成によれば、撮像した画像におい 局所的な変化率を複数の局所領域に対して め、その局所変化率の複数領域に対するヒ トグラムを求め、このヒストグラムを解析 るので、被写体動きの発生率に相当する変 率の、空間的な特性(例えば、動きの偏り、 等)が検出可能となり、監視場所の大局的な 況の判定および混雑度の判定が可能となる

 また、本発明の状況判定装置は、撮像さ た動画像または複数の静止画像を解析する とにより人の移動状況および/または混雑度 を判定する状況判定装置であって、撮像対象 場所に存在する人を撮像した動画像または複 数の静止画像を入力する画像入力手段と、前 記画像入力手段にて入力された画像を蓄積す る画像蓄積手段と、前記画像蓄積手段に蓄積 された画像から第1の時間間隔を隔てて撮像 れた2個の画像を選択し、前記画像を複数の 所領域に分割する分割方法を予め定めた領 分割情報を用いて前記局所領域毎に前記2個 の画像間の変化を検出する局所画像変化検出 手段と、前記局所画像変化検出手段で検出さ れた前記2個の画像間の変化を画像変化情報 して蓄積する局所画像変化情報蓄積手段と 前記局所画像変化情報蓄積手段に蓄積され 画像変化情報を基に前記局所領域毎に、第2 時間間隔における画像間の変化回数を計数 て局所領域毎の画像変化率を算出する局所 像変化率算出手段と、前記局所画像変化率 出手段で算出された局所領域毎の画像変化 を複数の局所領域に関して蓄積する局所画 変化率蓄積手段と、前記局所画像変化率蓄 手段に蓄積された画像変化率の複数の局所 域に対するヒストグラムを計算する局所画 変化率ヒストグラム算出手段と、前記局所 像変化率ヒストグラム算出手段で算出され ヒストグラムを解析して、前記撮像対象場 に存在する人の移動状況および/または人の 混雑度を判定する状況判定手段と、を備えた 。

 この構成によれば、撮像した画像におい 局所的な変化率を複数の局所領域に対して め、その局所変化率の複数領域に対するヒ トグラムを求め、このヒストグラムを解析 るので、被写体動きの発生率に相当する変 率の、空間的な特性(例えば、動きの偏り、 等)が検出可能となり、監視場所の大局的な 況の判定および混雑度の判定が可能となる

 また、上記構成において、前記状況判定 段は、参照ヒストグラム格納手段とヒスト ラム比較手段とで構成された。

 また、上記構成において、前記状況判定 段は、特徴抽出手段と識別基準格納手段と 別手段とで構成された。

 また、上記構成において、前記移動状況 して、少なくとも人の移動経路が偏ってい 状況を含む。

 この構成によれば、移動経路が偏ってい ことを簡単な処理で検出できるので、例え 駅のような列車の待ち行列が存在するよう 場所にて、その待ち行列の存在およびその 雑度レベルを推定可能である。もちろん、 動経路に偏りの無い状況にて、その状況お び混雑度を推定することもできる。また、 常は行列が生じることの無い通路にて移動 路の偏りを検出した場合には、何らかの障 により人の自由な移動が妨げられているこ を推定可能である。

 また、本発明の異常判定装置は、駅のプ ットホームに設置された撮像手段により撮 された動画像または複数の静止画像を解析 ることにより異常状況を判定する異常判定 置であって、上記状況判定装置と、前記プ ットホームへの列車の到着を検知する列車 着検知手段と、前記状況判定装置による状 判定結果と前記列車到着検知手段による列 到着情報とを利用して前記列車到着情報が られた後の所定時間経過後に前記状況判定 果として人の移動経路が偏っていると判定 れている場合に異常と判定する異常判定手 と、を備えた。

 この構成によれば、状況判定装置により られた状況種別あるいは混雑度を利用して 通常とは異なる異常混雑状態を判定するこ ができる。

 また、上記構成において、前記異常判定 段が異常と判定した場合に予め定めておい 連絡先に通報を行う通報手段を更に備えた

 この構成によれば、監視者に対する補助 報の提供や、所定の連絡先への速やかな通 を行うことが可能となる。

 また、本発明の状況判定方法は、撮像さ た動画像または複数の静止画像を解析する とにより人の移動状況および/または混雑度 を判定する状況判定方法であって、撮像され た画像の局所領域における輝度値の時間変化 率を算出する局所画像変化率算出ステップと 、前記局所画像変化率算出手段で算出された 時間変化率の複数の局所領域に対するヒスト グラムを解析して人の移動状況および/また 人の混雑度を判定する状況判定ステップと を備えた。

 この方法によれば、撮像した画像におい 局所的な変化率を複数の局所領域に対して め、その局所変化率の複数領域に対するヒ トグラムを求め、このヒストグラムを解析 るので、被写体動きの発生率に相当する変 率の、空間的な特性(例えば、動きの偏り、 等)が検出可能となり、監視場所の大局的な 況の判定および混雑度の判定が可能となる

 また、上記状況判定方法において、前記 動状況として、少なくとも人の移動経路が っている状況を含む。

 この方法によれば、移動経路が偏ってい ことを簡単な処理で検出できるので、例え 駅のような列車の待ち行列が存在するよう 場所にて、その待ち行列の存在およびその 雑度レベルを推定可能である。もちろん、 動経路に偏りの無い状況にて、その状況お び混雑度を推定することもできる。また、 常は行列が生じることの無い通路にて移動 路の偏りを検出した場合には、何らかの障 により人の自由な移動が妨げられているこ を推定可能である。

 また、本発明の異常判定方法は、駅のプ ットホームに設置された撮像手段により撮 された動画像または複数の静止画像を解析 ることにより異常状況を判定する異常判定 法であって、上記状況判定方法を実行する 況判定ステップと、前記プラットホームへ 列車の到着を検知する列車到着検知ステッ と、前記状況判定装置による状況判定結果 前記列車到着検知手段による列車到着情報 を利用して、前記列車到着情報が得られた の所定時間経過後に、前記状況判定結果と て人の移動経路が偏っていると判定されて る場合、異常と判定する異常判定ステップ 、を備えた。

 この方法によれば、状況判定方法により られた状況種別あるいは混雑度を利用して 通常とは異なる異常混雑状態を判定するこ ができる。

 また、本発明の状況判定プログラムは、 ンピュータに、撮像された動画像または複 の静止画像を解析することにより人の移動 況および/または混雑度を判定させるための 状況判定プログラムであって、撮像された画 像の局所領域における輝度値の時間変化率を 算出する局所画像変化率算出ステップと、前 記局所画像変化率算出手段で算出された時間 変化率の、複数の局所領域に対するヒストグ ラムを解析して人の移動状況および/または の混雑度を判定する状況判定ステップと、 備えた。

 このプログラムによれば、撮像した画像 おいて局所的な変化率を複数の局所領域に して求め、その局所変化率の複数領域に対 るヒストグラムを求め、このヒストグラム 解析するので、被写体動きの発生率に相当 る変化率の、空間的な特性(例えば、動きの 偏り、等)が検出可能となり、監視場所の大 的な状況の判定および混雑度の判定が可能 なる。

 また、上記状況判定プログラムにおいて 前記移動状況として、少なくとも人の移動 路が偏っている状況を含む。

 このプログラムによれば、移動経路が偏 ていることを簡単な処理で検出できるので 例えば駅のような列車の待ち行列が存在す ような場所にて、その待ち行列の存在およ その混雑度レベルを推定可能である。もち ん、移動経路に偏りの無い状況にて、その 況および混雑度を推定することもできる。 た、通常は行列が生じることの無い通路に 移動経路の偏りを検出した場合には、何ら の障害により人の自由な移動が妨げられて ることを推定可能である。

 また、本発明の異常判定プログラムは、 ンピュータに、駅のプラットホームに設置 れた撮像手段により撮像された動画像また 複数の静止画像を解析することにより異常 況を判定させるための異常判定プログラム あって、上記状況判定方法を実行する状況 定ステップと、前記プラットホームへの列 の到着を検知する列車到着検知ステップと 前記状況判定装置による状況判定結果と前 列車到着検知手段による列車到着情報とを 用して、前記列車到着情報が得られた後の 定時間経過後に、前記状況判定結果として の移動経路が偏っていると判定されている 合、異常と判定する異常判定ステップと、 備えた。

 このプログラムによれば、状況判定プロ ラムにより得られた状況種別あるいは混雑 を利用して、通常とは異なる異常混雑状態 判定することができる。

 また、本発明の混雑推定装置は、各種シ ンの映像やカメラからの映像をデジタル化 て出力をする画像生成手段と、入力画像を 分領域に分ける領域分割手段と、前記画像 成手段から出力された画像より動き情報を 出する動き情報生成手段と、前記画像生成 段から出力された画像に対して画像のテク チャ情報を生成するテクスチャ情報生成手 と、個々の部分領域に対して動きの基準と る基準動き情報を保持・更新する基準動き 報生成手段と、個々の部分領域に対して人 有無を判定するための基準テクスチャ情報 保持・更新する基準テクスチャ情報生成手 と、基準動き情報や基準テクスチャ情報を 納する格納手段と、前記動き情報生成手段 ら出力された動き情報と前記基準動き情報 成手段により生成された基準動き情報とを 較し個々の部分領域において動きがあるか うかを判定する動き情報判定手段と、前記 クスチャ情報生成手段から出力されたテク チャ情報と前記基準テクスチャ情報生成手 により生成された基準テクスチャ情報とを 較し、個々の部分領域において人と同じテ スチャ情報があるかどうかを判定するテク チャ情報判定手段と、前記動き情報判定手 と前記テクスチャ情報判定手段の各判定結 を受けて、個々の領域に人が存在するか否 を判定する滞留判定手段と、を備えた。

 この構成によれば、動き情報判定手段に り個々の領域において動きの有無を判定し テクスチャ情報判定手段により動きが無い 合においても、テクスチャ類似度から人の 無を判定することができ、個々の領域にお て、移動している領域、滞留している領域 静止している領域、人が存在しない領域な 領域の状態を推定することができる。そし 、その個々の情報を用いて滞留判定手段に り混雑度を判定することができる。

 また、上記構成において、前記画像生成 段より得られる画像を入力として人が存在 るか否かを動き情報から判定し、人が存在 ている場合のみ前記基準動き情報生成手段 よび前記基準テクスチャ情報生成手段に対 て更新タイミングを知らせるタイミング生 手段を備えた。

 この構成によれば、基準動き情報生成手 および基準テクスチャ情報生成手段に対し 基準動き情報と基準テクスチャ情報の更新 更新タイミング毎に行われることで、環境 変化する際にも動きの有無の判定やテクス ャ判定が環境変動に適応し、常に精度の高 判定を行うことができる。 

 また、上記構成において、前記タイミン 生成手段は、車両の進入タイミングを検知 て、この進入タイミング毎に前記基準動き 報生成手段と前記基準テクスチャ情報生成 段に対して更新タイミングを知らせる。

 この構成によれば、基準動き情報生成手 および基準テクスチャ情報生成手段に対し 基準動き情報と基準テクスチャ情報の更新 車両の進入タイミング毎に行われることで 車両の進入前後での人の動きや人のテクス ャを基準にした動きの有無の判定やテクス ャ判定を行うことができる。

 また、上記構成において、前記基準動き 報生成手段は、前記タイミング生成手段に り通知されたタイミングで基準動き情報の ンプリングを行って基準動き情報の閾値の 定を行い、前記動き情報判定手段は、基準 き情報が前記基準動き情報の閾値を超えた 合には動きありと判定し、前記基準動き情 閾値を超えない場合は、動き無しであると 定する。

 この構成によれば、基準動き情報生成手 に対して基準動き情報の更新が更新タイミ グ毎に行われ、同時に基準動き情報の閾値 更新タイミングでの動き情報を設定するこ で、更新タイミングでの動きを基準にした き情報判定を行うことができる。

 また、上記構成において、前記テクスチ 情報判定手段は、入力情報に対して周波数 換処理を行い、周波数領域での類似度判定 行う。

 この構成によれば、人物の模様やシルエ トに基づいた類似度評価を行うことができ 。

 また、上記構成において、基準テクスチ 情報生成手段は、前記タイミング生成手段 より通知されたタイミングで基準テクスチ 情報のサンプリングを行って基準テクスチ 情報の設定を行い、前記テクスチャ情報判 手段は、前記テクスチャ情報生成手段によ 得られるテクスチャ情報と前記基準テクス ャ情報生成手段より得られる基準テクスチ 情報との類似度を判定し、類似している場 は人が存在すると判定する。

 この構成によれば、基準テクスチャ情報 成手段に対して基準テクスチャ情報の更新 更新タイミング毎に行われ、更新タイミン でのテクスチャを基準にしたテクスチャの 似度判定を行うことができる。

 また、上記構成において、前記滞留判定 段は、前記動き情報判定手段と前記テクス ャ情報判定手段の各判定結果を入力とし、 々の領域の状態として滞留領域、移動領域 ノイズ領域、前景領域のいずれかの状態を 力する。

 この構成によれば、個々の領域の状態と て滞留領域、移動領域、ノイズ領域、前景 域を出力することで、混雑判定手段での混 推定処理を行う際に領域の種別毎に計測す ことができ、また、全体の混雑度もカウン するだけで計算を行うことができる。

 また、上記構成において、前記滞留判定 段から出力される情報を入力とし、入力さ た各状態を解析して異常混雑であるかどう を判定する異常判定手段を備えた。

 この構成によれば、個々の領域の状態か 、撮影環境全体が正常な混雑度なのか、そ とも異常な混雑度なのか判別を行うことが きる。

 また、上記構成において、前記異常判定 段は、前記滞留判定手段により出力される 々の領域毎の各種状態、滞留領域、移動領 、ノイズ領域、前景領域をカウントしてお 、前記タイミング生成手段により得られる 両の進入タイミング後に滞留領域と移動領 を加算した混雑度指標が予め設定しておい 閾値以上減少しない場合に異常状態である 判定する。

 この構成によれば、車両の進入タイミン 後の個々の領域の状態をカウントし混雑度 標を算出することにより、正常な混雑状態 あるか、あるいは異常な混雑状態であるか 判定を行うことができる。

 また、上記構成において、前記異常判定 段は、前記滞留判定手段により出力される 々の領域毎の各種状態、滞留領域、移動領 、ノイズ領域、前景領域をカウントしてお 、滞留領域の割合が予め設定をしておいた よりも超えた場合に異常状態であると判定 る。

 この構成によれば、常時、個々の領域の 態をカウントし混雑度指標を算出し、滞留 域の割合を導出することで、滞留領域の割 に基づく異常検知を行うことができる。

 また、上記構成において、前記異常判定 段は、前記滞留判定手段により出力される 々の領域毎の各種状態、滞留領域、移動領 、ノイズ領域、前景領域をカウントしてお 、滞留領域、移動領域の時系列の割合から 滞留開始、滞留解消、通常状態などの人物 流量傾向を判定する。 

 この構成によれば、常時、個々の領域の 態を時系列の変化量とともにカウントし混 度指標を算出することで、滞留開始、滞留 消、通常状態などの人物の流量傾向判定を うことができ、異常混雑に到達する前の事 警告を行うことや、また異常混雑の解消開 の通知を行うことができる。

 本発明によれば、撮像した画像において 所的な変化率を複数の局所領域に対して求 、その局所変化率の複数領域に対するヒス グラムを求め、このヒストグラムを解析す ことで、被写体動きの発生率に相当する変 率の、空間的な特性(例えば、動きの偏り、 等)が検出可能となり、監視場所の大局的な 況の判定および混雑度の判定が可能となる

 また、判定された大局状況または混雑度 列車の到着情報とを共に用いることで、列 が到着して所定時間経過した後も動きが偏 ているならば異常と判定することができ、 視者に対する補助情報の提供や、所定の連 先への速やかな通報を行うことが可能とな 。

 さらに本発明によれば、動き情報の基準 動量を自動設定することで、動いている状 と動いていない状態を判別し、また、動き 有無とテクスチャを用いた類似度判定を用 て個々の領域毎の各種状態、滞留領域、移 領域、ノイズ領域、前景領域を判別し、ま 、各領域の各状態を用いて混雑度を推定し さらに、混雑状況の指標(滞留領域、移動領 域、通常領域、滞留開始状態、滞留解消状態 、通常状態)および異常状態かどうかの情報 提供できるので、画像を用いた人物の混雑 の推定を容易に且つ精度良く行うことがで る。

本発明の実施の形態1に係る状況判定装 置の概略構成を示すブロック図 本発明の実施の形態1に係る状況判定装 置を鉄道の駅に設置した様子を示す図 本発明の実施の形態1に係るカメラCMで 撮像画像を示す図 本発明の実施の形態1に係る状況判定装 置で実施される状況判定方法を説明するため のフローチャート 本発明の実施の形態1に係る状況判定装 置の画像蓄積部に蓄積されるフレーム画像と 、局所画像変化情報蓄積部に蓄積される局所 変化情報と、時刻との関係を示す図 本発明の実施の形態1に係るカメラCMで 撮像画像に対し、局所領域分割を行った様 を示す図 本発明の実施の形態1に係る状況判定装 置の局所画像変化検出部にて抽出された動き ベクトルの例を示す図 本発明の実施の形態1に係る状況判定装 置の局所画像変化検出部にて検出され、局所 画像変化情報蓄積部に蓄積される局所変化情 報の要素を示す図 本発明の実施の形態1に係る状況判定装 置の局所画像変化率算出部にて算出され、局 所画像変化率蓄積部に蓄積される局所変化率 の要素を示す図 本発明の実施の形態1に係る状況判定 置の画像蓄積部に蓄積されるフレーム画像 、局所画像変化情報蓄積部に蓄積される局 変化情報と、局所画像変化率蓄積部に蓄積 れる局所変化率と、時刻との関係を示す図 本発明の実施の形態1に係る状況判定 置の局所画像変化率ヒストグラム算出部で 出された局所画像変化率ヒストグラムの例 示す図 本発明の実施の形態1に係る状況判定 置の動作において、多人数の移動状況を撮 した画像の例を示す図 本発明の実施の形態1に係る状況判定 置の動作において、少人数の移動状況を撮 した画像の例を示す図 本発明の実施の形態1に係る状況判定 置の動作において、列車を待つ行列が存在 る場所にて、人が移動する状況を撮像した 像の例を示す図 本発明の実施の形態1に係る状況判定 置の動作において、3つの状況に関して、変 が発生する領域数と局所画像変化率の傾向 示す表 本発明の実施の形態1に係る状況判定 置の動作において、多人数移動時での局所 像変化率ヒストグラムの特性を示す図 本発明の実施の形態1に係る状況判定 置の動作において、小人数移動時での局所 像変化率ヒストグラムの特性を示す図 本発明の実施の形態1に係る状況判定 置の動作において、人の移動経路に偏りが 在する時での局所画像変化率ヒストグラム 特性を示す図 本発明の実施の形態1に係る状況判定 置の動作において、多人数の移動状況を撮 した画像に、局所領域分割を施した様子を す図 本発明の実施の形態1に係る状況判定 置の動作において、少人数の移動状況を撮 した画像に局所領域分割を施した様子を示 図 本発明の実施の形態1に係る状況判定 置の動作において、人の移動経路に偏りが 在する状況を撮像した画像に局所領域分割 施した様子を示す図 本発明の実施の形態1に係る状況判定 置の動作において、実際の動画像から求め れた局所画像変化率ヒストグラムの例を示 図 本発明の実施の形態1に係る状況判定 置の状況判定部の内部構成を示すブロック 本発明の実施の形態1に係る状況判定 置の局所画像変化検出部での処理の他の実 例を示す図 本発明の実施の形態1に係る状況判定 置の局所画像変化検出部での処理の他の実 例を示す図 本発明の実施の形態1に係る状況判定 置の局所画像変化検出部での処理の他の実 例を示す図 本発明の実施の形態2に係る状況判定 置の状況判定部の内部構成を示すブロック 本発明の実施の形態2に係る状況判定 置の特徴抽出部の特徴量抽出において求め れる指標の値を示す図 本発明の実施の形態2に係る状況判定 置の特徴抽出部で抽出された特徴量の値を す図 本発明の実施の形態2に係る状況判定 置の特徴抽出部が3シーンの動画から抽出し 2次元特徴量の分布を示す図 本発明の実施の形態2に係る状況判定 置の特徴抽出部で抽出された特徴量の各値 2次元特徴量の分布との関係を示す図 本発明の実施の形態2に係る状況判定 置における混雑度判定処理の説明に用いら 、駅ホームにおける、6シーンを撮像した画 を示す図 本発明の実施の形態2に係る状況判定 置における混雑度判定処理の説明に用いら 、6シーンに対応する特徴量の2次元特徴量空 間における分布を示す図 本発明の実施の形態2に係る状況判定 置における混雑度判定処理の説明に用いら 、3状況における特徴量の分布に対して、そ ぞれ求めた部分空間を、分布と同時に表示 た図 本発明の実施の形態2に係る状況判定 置における混雑度判定処理の説明に用いら 、部分空間法を説明するための図 本発明の実施の形態2に係る状況判定 置における混雑度判定処理の説明に用いら 、部分空間上の位置と混雑度を表す指標と 対応付けた様子を示す図 本発明の実施の形態2に係る状況判定 置における混雑度判定処理の説明に用いら 、4状況における特徴量の分布に対して、そ ぞれ求めた部分空間を、分布と同時に表示 た図 本発明の実施の形態3に係る異常判定 置の概略構成を示すブロック図 本発明の実施の形態3に係る異常判定 置で実行される異常判定処理を説明するた のフローチャート 本発明の実施の形態3に係る異常判定 置の状況判定装置が出力する混雑度および 況種別の通常状態における時間推移を示す ラフ 本発明の実施の形態4に係る混雑推定 置の概略構成を示すブロック図 図41の混雑推定装置における処理領域 導出方法について説明するための図 図41の混雑推定装置における処理領域 動き処理領域分割例を示す図 図41の混雑推定装置における処理領域 テクスチャ処理領域分割例を示す図 図41の混雑推定装置の動き情報生成部 基準動き情報生成部および動き情報判定部 詳細な構成を示すブロック図 図45の基準動き情報生成部の基準動ベ トルマップ参照部が保持する基準動ベクト マップの例を示す図 図45の基準動き情報生成部の基準差分 域マップ参照部が保持する基準差分領域マ プの例を示す図 図41の混雑推定装置におけるテクスチ 情報判定処理のための入力画像を示す図 図41の混雑推定装置におけるテクスチ 情報判定処理のための入力画像を変換した クスチャ特徴抽出処理結果を示す図 図41の混雑推定装置におけるテクスチ 情報判定処理のための人が存在するシーン の基準テクスチャ特徴量の導出処理の流れ 示す図 図41の混雑推定装置におけるテクスチ 情報判定処理のための人が存在しないシー での基準テクスチャ特徴量の導出処理の流 を示す図 図41の混雑推定装置におけるテクスチ 情報判定処理のための類似度計算処理動作 ついて説明するための図 図41の混雑推定装置における領域の状 判別方法について説明するための図 図41の混雑推定装置における領域の状 判別結果の例を示す図 本発明の実施の形態5に係る混雑推定 置の概略構成を示すブロック図 図55の混雑推定装置に接続されるカメ 設置の例を示す図 図55の混雑推定装置における電車の進 ・停止・出発のタイミング取得処理手順に いて説明するためのフローチャート 車両進入時の駅プラットフォームシー ン群を表す図 図55の混雑推定装置における車両停止 の駅プラットフォームの動ベクトル処理結 群を表す図 本発明の実施の形態6に係る混雑推定 置の概略構成を示すブロック図 図60の混雑推定装置における領域状態 定結果例を示す図 図60の混雑推定装置における混雑度指 の時系列グラフを示す図 図60の混雑推定装置における電車の進 ・停止・出発のタイミングを重畳した混雑 指標時系列グラフを示す図 図60の混雑推定装置における人物の流 傾向を判定する処理のフローチャート 図60の混雑推定装置における人物の流 傾向を判定する処理を説明するための図

符号の説明

 100 画像入力部
 110 画像蓄積部
 120 局所画像変化検出部
 130 局所画像変化情報蓄積部
 140 局所画像変化率算出部
 150 局所画像変化率蓄積部
 160 局所画像変化率ヒストグラム算出部
 170 状況判定部
 200 参照ヒストグラム格納部
 210 ヒストグラム比較部
 300 特徴抽出部
 310 識別基準格納部
 320 識別部
 500 状況判定装置
 510 列車到着検知部
 520 異常判定部
 530 通報部
 610A、610B、610C 混雑推定装置
 611 画像生成部
 612 領域分割部
 613 動き情報生成部
 614 基準動き情報生成部
 615 テクスチャ情報生成部
 616 基準テクスチャ情報生成部
 617 格納部
 618 動き情報判定部
 619 テクスチャ情報判定部
 620 滞留判定部
 621 タイミング生成部
 622 異常判定部
 630 矩形領域その1
 631 矩形領域その2
 640 画像バッファ部
 641 オプティカルフロー計算部
 642 フロー代表方向/サイズ算出部
 643 エッジ抽出部
 644 エッジフレーム間差分部
 645 基準動ベクトルマップ参照部
 646 基準差分領域マップ参照部
 647 動ベクトル状態判定部
 648 差分領域状態判定部
 649 動領域状態判定部
 650 基準動ベクトルマップ
 660 基準差分領域マップ
 670 入力画像
 680 テクスチャ特徴抽出処理結果
 690 人が存在するシーン1
 691、701 テクスチャ処理領域
 700 人が存在しないシーン1
 706 類似度計算
 710 動き情報判定部動き有り判定
 711 動き情報判定部動き無し判定
 712 テクスチャ情報判定部人存在判定
 713 テクスチャ情報判定部人非存在判定
 714、720、762 移動領域
 715、723、764 ノイズ領域
 716、721、763 滞留領域
 717、722 前景領域
 730 カメラ
 760 混雑度指標時系列グラフ
 795 基準滞留領域
 796 滞留開始 PH 駅のプラットホーム
 WL プラットホームの側壁
 ST プラットホームへの人の出入りのための 階段
 RL 線路
 CM カメラ
 SD 状況判定装置
 AR1~AR3 人の移動経路を表す矢印
 WP 列車を待つ人
 MP 移動する人

 以下、本発明を実施するための好適な実 の形態について、図面を参照して詳細に説 する。

 (実施の形態1)
 図1は、本発明の実施の形態1に係る状況判 装置の概略構成を示すブロック図である。 1において、本実施の形態の状況判定装置は 画像入力部100と、画像蓄積部110と、局所画 変化検出部120と、局所画像変化情報蓄積部1 30と、局所画像変化率算出部140と、局所画像 化率蓄積部150と、局所画像変化率ヒストグ ム算出部160と、状況判定部170とを備える。

 図2は、図1の状況判定装置を、鉄道駅の ラットホームに設置した例を示す図である 鉄道駅は、プラットホーム(以下、ホームと す)PH、ホームの側壁WL、ホームへの出入口 ある階段ST、線路RLから構成されている。カ ラCMはホームPHに存在する人の様子を撮像す るため、ホームPHの長手方向を光軸方向とす ように設置され、状況判定装置SDに接続さ ている。図3に、カメラCMの撮像画像の例を す。撮像画像には、ホームPH、階段STの出入 部分、側壁WLが含まれるようにカメラCMの画 角、設置位置、光軸方向が決定されている。 状況判定装置SDは、図1における状況判定装置 に対応する。

 次に、本実施の形態の状況判定装置の動 を、図4のフローチャートを用いて説明する 。まず、画像入力ステップS100が、画像入力 100により実行される。ステップS100では、カ ラCMで撮像された画像1フレームを、デジタ 画像処理が可能な形式で取り込んだ後、画 蓄積部110に蓄積を行う。カメラCMがアナロ カメラの場合、画像はAD変換され、必要に応 じて符号化などの圧縮処理がなされた後、画 像蓄積部110に蓄積される。カメラCMがデジタ カメラの場合、画像はデジタル回線を通じ 入力され、画像蓄積部110に蓄積される。本 施の形態では、10fpsのデジタル動画像が入 され、現在時刻のフレーム画像が順次蓄積 れるものとする。なお、カメラCMがアナログ カメラの場合、画像蓄積部110がVTRなどのアナ ログ画像を蓄積するものであって、局所画像 変化検出部120に向けて出力される直前にAD変 が実施されてもよい。

 次に、局所画像変化検出ステップS110が、局 所画像変化検出部120にて実行される。ここで は、図5のように、第1の時間間隔TS 1 として撮像周期と等しい0.1(秒)を設定し、画 蓄積部110に蓄積されたフレーム画像のうち 現在時刻t k の画像とTS 1 時刻前の画像t k-1 の2個のフレーム画像を抽出し、局所領域に ける変化を検出する。局所領域の分割方法 して、図6のようにカメラCMの設置に合わせ 、予め決定しておくものとする。ここでは 所領域の総数をN R とする。また、ここでは透視投影の影響を補 正するため、局所領域の大きさを、カメラに 近い地点(画面下方)では大きく、カメラから い地点(画面上方)では小さく設定する。変 の検出方法として動きベクトルを利用する 合について以下に説明する。

(1)2個のフレーム画像から、画素毎に動き クトルを計算 動きベクトルの計算には、非 特許文献1におけるLucus-Kanade法などの勾配法 、ブロックマッチング法を用いることがで る。ここで、非特許文献2におけるGood Feature s to Track法や、マッチングの際の評価値(SAD SSD等)により、信頼性の高い動きベクトルの を後の処理で用いることが望ましい。2個の フレーム画像から画面全体に対して求めた動 きベクトルのうち信頼性の高い動きベクトル の例を図7に示す。

 非特許文献1:B.D.Lucas and T.Kanade. “An iterati ve image registration technique with an application t o stereo vision”. IJCAI, 1981.
 非特許文献2:Jianbo Shi, Carlo Tomasi, "Good Feat ures to Track", IEEE Conference on Computer Vision a nd Pattern Recognition, pp.593-600, 1994 (CVPR'94)

(2)局所領域毎に動きベクトルを統合
 以下、現在時刻t k の画像とTS 1 時刻前の画像t k-1 の2個のフレーム画像から抽出された動きベ トルに対しては添え字kを、i番目(1≦i≦N R )の局所領域に含まれる動きベクトルに対し は添え字iを、i番目の局所領域に含まれるNV k,i 個の動きベクトルのうちのj番目(1≦j≦NV k,i )の動きベクトルに対しては添え字jを、それ れ用いて動きベクトル(u k,i,j ,v k,i,j )を表現することにする。

 そして、(数1)(数2)を用いてその平均値を計 することで、局所領域iを代表する代表動き ベクトル(mu k,i ,mv k,i )が算出される。動きベクトルの画像上での さは、透視投影の影響を受け画面上方ほど 際の人の速度よりも小さく計算される。そ ため、(数3)(数4)のように、その影響を補正 た後の動きベクトルを平均して代表動きベ トルを算出してもよい。ここで、w kij は時刻t k でのi番目の局所領域におけるj番目の動きベ トルの大きさを補正するための重み係数で る。動きベクトルの始点が画面上方にある 大きくなるように設定される。

(3)代表動きベクトルに対して閾値処理を行う ことにより、動きの有無を決定
 局所領域iを代表する代表動きベクトル(mu k,i ,mv k,i )の大きさに対して、予め定めた閾値を用い 動きの有無を決定する。閾値以上であれば き有、閾値未満であれば動き無と決定する この時点で、局所領域i毎に変化(動き)の有 を二値で表現した局所変化情報M k,i が得られる。動きがあればM k,i =1、なければM k,i =0となる。局所領域局所変化情報を画像で表 したものを図8に示す。図8では、変化が存 する局所領域に網掛けを行って表現してい 。局所変化情報M k は、(数5)のように局所領域毎の変化の有無( 値情報)を局所領域の個数分だけ合わせた二 ベクトル情報として、図5のように局所画像 変化情報蓄積部130に蓄積される。なお、図5 おいては、フレーム画像I k および局所画像変化情報M k は、時刻t k に蓄積され、フレーム画像I k-1 および局所画像変化情報M k-1 は、時刻t k-1 に蓄積されたことを表す。

 図4に戻り、次に、局所画像変化率算出ステ ップS120が、局所画像変化率算出部140にて実 される。ここでは、第2の時間間隔TS 2 として10(秒)を設定する。局所領域毎に過去TS 2 (秒)の間に変化(動き)がどの程度の率で発生 たかを求める。変化情報は第1の時間間隔TS 1 にて求められているため、TS 2 /TS 1 個の変化情報を用いて変化率を求める。TS 1 =0.1(秒)、TS 2 =10(秒)の場合、100個の変化情報を用いること なる。図9では、i番目の局所領域において 時刻t k での局所変化情報M k,i から、時刻t k-TS2/TS1+1 での局所変化情報M k-TS2/TS1+1,i のうち値が1である(すなわち変化がある)個数 をカウントし、その値をC k,i とする。そして、総数TS 2 /TS 1 にて割ることにより、局所変化率RT k,i を算出する。局所変化率RT k,i の取りうる値は[0,1]である。局所変化率RT k は、(数6)のように局所領域毎の変化率を局所 領域の個数分だけ合わせたベクトル情報とし て、図10のように局所画像率蓄積部150に蓄積 れる。なお、図10においては、局所画像変 率RT k は時刻t k に蓄積され、局所画像変化率RT k-1 は時刻t k-1 に蓄積されたことを表す。

 次に、局所画像変化率ヒストグラム算出ス ップS130が、局所画像変化率ヒストグラム算 出部160にて実行される。ここでは、現時刻t k におけるN R 個の局所変化率RT k,i のヒストグラムを算出する。局所変化率RT k,i の取りうる値は[0,1]であるため、ヒストグラ の階級の幅をBWとすると、階級数は1/BWとな 。ここでは、階級の幅BW=0.1、階級数10とす 。算出された局所画像変化率ヒストグラム 例を図11に示す。横軸は局所画像変化率を表 し、縦軸は頻度(領域数)を表す。頻度の総和( ヒストグラムの積分値)は、全領域数N R となる。

 ここで、図2で表される駅のプラットホー ムにおける人の移動状況について考える。移 動状況として次の3つのパタンを考える。

(1)多人数の自由移動
 例えば、列車の到着後に多くの乗客が下車 、階段STに向かって移動するという状況(図1 2)が存在する。多人数の移動であるため、AR1~ AR3など多くの移動経路で人が移動することに なる。

(2)少人数の自由移動
 例えば、列車から下車した乗客が階段STを って移動した後、次の列車に乗る乗客が空 なったホームを通って移動するという状況( 13)が存在する。少人数の移動ではあるが、 ームが空いているため人の移動経路はばら く。その結果、多人数移動時と同様、AR1~AR3 など多くの移動経路で人が移動することにな る。

(3)移動経路の偏り
 例えば、列車待ちの行列が存在している状 で、階段STを通ってホームに移動してきた たな乗客がホームの空いている場所を通っ ホームの画面手前側へ向かって移動すると う状況(図14)が存在する。列車待ちの人WPが 在するため、移動する人MPの移動経路は矢印 AR1付近に限定される。

 これらの3つの移動状況パタンに関して、 変化が発生する(ある一定値以上の変化率を する)領域数と、局所画像変化率の大きさの 向をまとめたものを図15に示す。また、こ 3つの移動パタンに関する、図11のような局 画像変化率ヒストグラムの典型例を(1)多人 移動、(2)少人数移動、(3)移動経路偏りのそ ぞれについて、図16、図17、図18に示す。

 まず多人数が移動する状況に関して、図1 2に局所領域分割を施した図19の画像を用いて 補足説明をする。多人数が移動を行っている 場合、画像中の多くの領域で変化(動き)が発 する。人の密度が大きいため、ある1つの局 所領域に着目した場合、移動中の人が次々に 通過するため、多くの局所領域にて局所画像 変化率は大きくなる。よって図15第1列のよう な傾向になる。同様に、図16の局所画像変化 ヒストグラムにおいて、局所画像変化率が ~大となる局所領域数は多くなる。

 少人数が自由移動する状況に関して、図1 3に局所領域分割を施した図20の画像を用いて 補足説明をする。多人数の移動時と同様に少 人数が移動を行っている場合も、空いている ホームでは人はいろいろな経路を通るため、 画像中の多くの領域で変化(動き)が発生する しかし、人の密度は小さいため、ある1つの 局所領域に着目した場合、移動中の人が通過 する頻度は小さくなり、局所画像変化率は小 さくなる。よって図15の第2列のような傾向に なる。同様に、図17の局所画像変化率ヒスト ラムにおいては、局所画像変化率が中とな 局所領域数は多くなるが、局所画像変化率 大きい局所領域数は少なくなる。

 移動経路が偏っている状況に関して、図1 4に局所領域分割を施した図21の画像を用いて 補足説明をする。列車待ちの行列が存在して いる場合、人の移動経路は矢印AR1の付近に制 限される。列車待ちの人はその場で時々身動 きをする以外動かないため、変化(動き)が発 する領域は移動する人MPが存在する領域に ぼ限られ、変化が発生する領域数は少なく る。階段STを通ってホームPHに流入する人の 量が少人数移動時(図12)と同程度だとすると 、移動経路が限定されている分だけ、移動経 路上における局所領域当たりの通過頻度は少 人数移動時よりも大きくなる。よって図15の 3列のような傾向になる。同様に、図18の局 画像変化率ヒストグラムにおいては、局所 像変化率が中、大である局所領域数は、図1 6の多人数移動時よりも少なくなるが、図17の 少人数移動時との違いは、局所画像変化率が 大きい局所領域数が数は少なくとも存在する ということである。

 以上、説明したように、局所画像変化率 ストグラムが、局所画像変化率ヒストグラ 算出ステップS130(局所画像変化率ヒストグ ム算出部160)により算出される。

 図22に実際の動画像における3つのシーン(多 人数移動/少人数移動/移動経路偏り)から抽出 した局所画像変化率ヒストグラムを示す。そ れぞれは、ある時刻t における局所変化率RT のヒストグラムに相当する(ある時刻t と言えども、図10で説明した通り、一時刻の 所変化率は過去TS2/TS1個の局所変化情報から 計算されている)。図22は、局所領域の総数N R =162(個)、TS 1 =0.1(秒)、TS 2 =10(秒)、ヒストグラムの階級の幅をBW=0.1とし 時の結果である。図22を見ると、図16、図17 図18の傾向と等しいことが分かる。

 次に、状況判定ステップS140が、状況判定 部170にて実行される。多人数移動/少人数移 /移動経路偏りの3状況において、局所画像変 化率ヒストグラムの形状がそれぞれ図16~図18 ようになるということを説明済みである。 実施の形態では、これらの3状況における局 所画像変化率ヒストグラムを予め求めて参照 ヒストグラムとして格納しておき、判定した い状況での局所画像変化率ヒストグラムと比 較することで3状況のうちのどれであるかを 定する。

 図23は、本実施の形態における、状況判 部170の内部構成である。状況判定部170は、 照ヒストグラム格納部200とヒストグラム比 部210とで構成されている。参照ヒストグラ 格納部200には、参照用として、予め求めら た局所画像変化率ヒストグラムが、各状況 おいて少なくとも1つ、その状況(多人数移動 /少人数移動/移動経路偏り、のうちのどれか) と対応付けられて格納されている。ヒストグ ラム比較部210は、局所画像変化率ヒストグラ ム算出部160で算出された、判定したい状況で の局所画像変化率ヒストグラムと、参照ヒス トグラム格納部200に格納された参照用ヒスト グラムのそれぞれとを比較する。そして、判 定したい状況での局所画像変化率ヒストグラ ムがどの参照用ヒストグラムに最も類似して いるかを判定し、最も類似したヒストグラム と対応づけられた状況を、状況判定の結果と して出力する。ヒストグラム同士の類似度の 計算方法として、(数7)のヒストグラムインタ ーセクションや、(数8)のBhattaccharyya係数、(数 9)の正規化相関、等が利用できる。

 図4に戻り、最後に、ステップS150が図1に 図示せぬ制御部により実行される。図1にて 図示せぬ入力部を通して、同装置の操作者に よる、処理終了指示が入力されている場合は 、画像入力ステップS100へ戻り、次時刻のフ ーム画像の処理を行う。処理終了指示が入 されていない場合は、処理を終了する。

 なお、本実施の形態では、局所画像変化検 部120にて実行される局所画像変化検出ステ プS110において、画像蓄積部110に蓄積された フレーム画像のうち、時間間隔TS 1 である2個のフレーム画像間の、局所領域に ける変化を検出するために、動きベクトル 利用したが、他の方法でもよい。但し、動 ベクトルを利用することで移動方向や速度 分かるので、より詳細な状況判定や混雑度 定が可能になる。単に変化の有無を検出す ために、フレーム間差分が利用できる。図24 のように、時刻t k-1 および時刻t k に撮像された2フレーム間のフレーム間差分 計算すると各画素の値が輝度差(多値)で構成 される画像D k (x,y)が得られるが、局所領域iにおける輝度差 の平均値d k,i が、予め定めた閾値以上か否かによって、局 所領域毎の変化の有無を決定してもよい。図 24において、S i は領域iを構成する画素の集合であり、NP i はその要素数である。

 なお、図25のように、各画素の値が輝度差 構成される差分画像D k (x,y)が得られた後、変化有/無を表す二値化を 行い、二値化差分画像BD k (x,y)を得て、局所領域における変化有の画素 bd1 k,i によって、局所領域毎の変化の有無を決定し てもよい。局所領域の面積がそれぞれ異なる 場合は、変化有の画素数を局所領域の面積で 割る(正規化する)したbd2 k,i によって、局所領域毎の変化の有無を決定し てもよい。

 また、輝度値ベースのフレーム間差分を行 と照明変化の影響を受けるため、図26のよ に入力画像に対して、エッジ抽出・二値化 行った画像同士の差分(画素毎のXOR処理)をし て、エッジのフレーム間差分画像ED k (x,y)を得て、局所領域における変化有の画素 ed1 k,i によって、局所領域毎の変化の有無を決定し てもよい。局所領域の面積がそれぞれ異なる 場合は、変化有の画素数を局所領域の面積で 割る(正規化する)したed2 k,i によって、局所領域毎の変化の有無を決定し てもよい。

 以上のように、本実施の形態の状況判定 置によれば、撮像された画像の局所領域に ける輝度値の時間変化率と、その時間変化 の、複数の局所領域に対するヒストグラム 解析して人の移動状況を判定することがで る。特に、移動経路が偏っていることを簡 な処理で検出できるので、例えば駅のよう 列車の待ち行列が存在するような場所にて その待ち行列の存在を推定可能である。ま 、通常は行列が生じることの無い通路にて 動経路の偏りを検出した場合には、何らか 障害により人の自由な移動が妨げられてい ことを推定可能である。

 (実施の形態2)
 本発明の実施の形態2に係る状況判定装置の 構成は、上述した実施の形態1に係る状況判 装置と同じく図1で表される。よって図1の説 明を省略する。但し、実施の形態1において 状況判定部170の内部構成が図23で表されてい たのに対して、本実施の形態においては図27 表される。すなわち、状況判定部170は、特 抽出部300、識別基準格納部310、識別部320で 成される。特徴抽出部300は、局所画像変化 ヒストグラム算出部160で算出されたヒスト ラムから、状況判定あるいは混雑度判定の めの特徴量を抽出する。識別基準格納部310 は、状況判定あるいは混雑度判定のための 特徴抽出部300で抽出する特徴量と状況種別 るいは混雑度指標との関係が予め求められ 格納されている。識別部320は、特徴抽出部3 00で抽出された特徴量と、識別基準格納部310 格納された識別基準とを使用して、状況種 あるいは混雑度を識別する。

 本実施の形態に係る状況判定方法のフロ チャートは、実施の形態1と同じく図4で表 れる。ここで局所画像変化率ヒストグラム 出ステップS130までとステップ150での処理は 第1の実施形態と同様であるため、説明を省 略する。

 以下、状況判定ステップS140での動作を、 図27のブロック図を利用して説明する。まず 特徴抽出部300は、局所画像変化率ヒストグ ム算出部160で算出されたヒストグラムから 状況判定あるいは混雑度判定のための特徴 を抽出する。ここでは、局所画像変化率ヒ トグラムから2次元の特徴量を抽出する。特 徴量抽出方法を以下に示す。

(1)局所画像変化率ヒストグラムにおいて、変 化率が中程度(閾値TH 1 )以上の領域数をカウントし、この領域数RN 1 とする。
(2)局所画像変化率ヒストグラムにおいて、変 化率が大きい(閾値TH 2 以上の;TH 2 >TH 1 )領域数をカウントし、この領域数をRN 2 とする。
(3)RN 1 ≠0の時、(f 1 ,f 2 )=(RN 1 /N R ,RN 2 /RN 1 )を、RN 1 =0の時、(f 1 ,f 2 )=(RN 1 /N R ,0)を、特徴量とする。

 TH 1 =0.4,TH 2 =0.7とすると、図22における3状況(多人数移動/ 少人数移動/移動経路偏り)におけるRN 1 およびRN 2 の値は、それぞれ、図28における表のように り、f 1 およびf 2 の値は、それぞれ、図29における表のように る。

 また、識別基準格納部310には、状況判定あ いは混雑度判定のための、特徴抽出部300で 出する特徴量と状況種別あるいは混雑度指 との関係が予め求められて格納されている 図30に3シーンの動画から予め抽出した2次元 特徴量(f 1 ,f 2 )の分布を示す。分布における各点は、一時 における局所変化率ヒストグラムから抽出 れたものである。すなわち、3シーンのそれ れから、複数時刻において特徴抽出を行っ いることになる。識別基準格納部310に格納 る情報として、図30のような分布を用いる

 識別部320は、特徴抽出部300で抽出された 徴量と、識別基準格納部310に格納された識 基準とを使用して、状況種別あるいは混雑 を識別する。

 以下に状況種別を識別する方法について説 する。識別基準格納部310に図30の情報が格 されているとする。局所画像変化率ヒスト ラム算出部160で算出された各ヒストグラム 図22のいずれかであり、その状況種別は未知 であるとする。この時、特徴抽出部300にて抽 出される特徴量は、図29で表される表のうち いずれかの行の値の組になる。特徴抽出部3 00にて抽出された特徴量が、識別基準格納部3 10に格納された各特徴量のうち最も近い特徴 を探索し(最近傍法)、その特徴点に対応付 られた状況種別を出力することで、特徴抽 部300にて抽出された特徴量に対応するシー の状況判定が可能となる。図31に、図29の表 表される各値と、図30で表される2次元特徴 (f 1 ,f 2 )の分布との関係を示す。最近傍法を用いる とで、状況判定が正しく行えることが分か 。

 なお、上記では最近傍法について説明し が、教師付けがなされた多数の訓練サンプ を用いて未知サンプルの識別を行う方法で れば他の方法でもよい。例えば、SupportVector Machine(SVM)、判別分析法(線形判別分析、二次 別分析)、ニューラルネットワークなどを用 ることができる。各手法は様々な文献にて 説されているため、説明を省略する。例え 、SVMに関しては非特許文献3を、判別分析法 に関しては非特許文献4を参照されたい。

 非特許文献3:「サポートベクターマシン入 」,Nello Cristianini 著,John Shawe‐Taylor 著,大  剛 訳,共立出版,2005/03
 非特許文献4:「多変量解析法 現代人の統計 2」,柳井晴夫 他,朝倉書店,1979/01

 次に、混雑度を判定する方法について説明 る。まず、混雑が進んだ時の、指標RN 1 およびRN 2 ,特徴量f 1 およびf 2 の変化傾向について、自由移動の(移動経路 制限されない)場合と、移動経路が偏る場合 に分けて説明を行う。

 <自由移動の(移動経路が制限されない)場 >
 図32における〔1〕から〔2〕(図では数値を で囲んでおり、他の数値3~6も同様である)の 態に移行するにつれて、中程度以上の局所 像変化率を持つ領域数RN 1 が増加するが、大きい局所画像変化率を持つ 領域数RN 2 はあまり増加しない。これは、移動経路が制 限されない状況において人数が増加すると人 は様々な経路を通る(人と同じ経路を通るこ が少ない)ためである。よって、特徴量f 1 の増加が主となり、2次元特徴量空間(f 1 ,f 2 )においては、図33の〔1〕から〔2〕のように 置が変化する。

 図32における〔3〕は、人の移動経路がほぼ のホーム全域に広がった状態である。図32 おける〔2〕の状態から〔3〕の状態への移行 に関しては、〔1〕から〔2〕への移行と同様 、特徴量f 1 の増加が主となり、2次元特徴量空間(f 1 ,f 2 )においては、図33の〔2〕から〔3〕のように 置が変化する。

 図32における〔4〕の状態では、人の密度が すため、大きい局所画像変化率を持つ領域 増加する。中程度以上の局所画像変化率を つ領域数RN 1 の増加よりも、大きい局所画像変化率を持つ 領域数RN 2 の増加の方が大きくなり、2次元特徴量空間(f 1 ,f 2 )においては、図33の〔3〕から〔4〕のように 置が変化する(特徴量をプロットした点の移 動の傾きが大きくなる)。

 なお、図32において〔4〕→〔3〕→〔2〕 〔1〕の順で状況推移する際は、図33の特徴 空間における特徴量の動きは〔4〕→〔3〕→ 〔2〕→〔1〕のように逆の経路を辿ることに る。

 <移動経路が偏る場合>
 図32における〔1〕から〔2〕の状態への変化 時の図33の特徴量空間におけるプロットの移 に関しては、自由移動の場合と同様である 〔2〕の状態から少しずつ人が列車待ちの行 列を形成し始める。行列が形成され始めた図 32の〔5〕では、人の移動経路が行列により制 限されている。一度行列ができて移動経路が 制限されると、中程度以上の局所画像変化率 を持つ領域数RN 1 の増加が頭打ちになる。行列が伸びて、さら に移動経路が制限されると指標RN 1 は減少に転じる。もう一方の指標RN 2 に関しては、移動経路が限定されるため、人 の流量が一定だとすると単位領域当たりの人 通過の頻度が大きくなり、RN 2 が増加する。図33の2次元特徴量空間(f 1 ,f 2 )においては〔2〕→〔5〕のように、位置が変 化する。

 図32の〔6〕では行列の人数がさらに増加し 人の移動経路がさらに制限されている。よ て、中程度以上の局所画像変化率を持つ領 数RN 1 が減少し、局所画像変化率が大きい領域数RN 2 が増加している。図33の2次元特徴量空間(f 1 ,f 2 )においては〔5〕→〔6〕のように、位置が変 化する。

 次に、混雑度の算出方法について説明す 。ここでは部分空間法を用いる例について 明する。部分空間法についての詳細は非特 文献5の第14章を参照されたい。ここでは概 のみを説明する。予め(1)~(2)の処理を行って おく。

(1)多人数移動/少人数移動/移動経路偏りな の状況別に複数の特徴量を抽出し、図30の うな分布を求める。

(2)各状況の2次元分布に対してそれぞれ主 分分析を行い、第1主成分(主軸)の直線を1次 部分空間とする。3状況のそれぞれの部分空 間を図34に示す。

 混雑度を求めたいシーンから抽出した特 量が属する状況の決定方法、および、混雑 の算出方法を(3)にて説明する。

(3)その状況が未知である特徴量が、属する 部分空間を決定する。図35のように入力特徴 ベクトルfを部分空間に射影した時、最大の 射影成分||Pf||を持つ部分空間を識別結果とし て選ぶ。ここまでは、先ほど説明した状況種 別を識別する場合の他の実施例に相当する。 図36のように、予め、部分空間(ここでは直線 )上の位置と混雑度を表す指標とを対応付け おくことにより、特徴量ベクトルfを部分空 へ射影したベクトルの終点位置(図35の矢印P OSの位置)により混雑度指標を求めることがで きる。混雑度指標として、図36における最も い混雑度レベル(整数)を選んでもよいし、 点位置により補間を行い、小数での混雑度 ベルを計算してもよい。

 非特許文献5:「コンピュータビジョン 技 術評論と将来展望」,松山 隆司,久野 義徳, 宮 淳 編,新技術コミュニケーションズ,1998/ 06

 なお、本実施の形態では、混雑度を、部 空間に射影した位置を利用して算出したが 主成分分析ではなく重回帰分析などの他の 法を用いてもよい。重回帰分析に関しては 非特許文献4に詳細が記載されているため説 明を省略する。

 なお、本実施の形態では状況種別として 3状況(多人数移動/少人数移動/移動経路偏り )を定義したが、多人数移動と少人数移動を わせた「通常移動」と「移動経路偏り」の2 況を識別するようにしてもよいし、3状況よ りも多くの状況に分類してもよい。例えば、 部分空間で近似を行う際の近似誤差が少なく なるように、図37のように4状況に分類しても よい。

 以上のように、本実施の形態の状況判定 置によれば、撮像された画像の局所領域に ける輝度値の時間変化率と、その時間変化 の、複数の局所領域に対するヒストグラム 解析して人の移動状況を判定し、加えて、 雑度レベルを算出することができる。特に 移動経路が偏っていることを簡単な処理で 出できるので、例えば駅のような列車の待 行列が存在するような場所にて、その待ち 列の存在およびその混雑度レベルを推定可 である。もちろん、移動経路に偏りの無い 況にて、その状況および混雑度を推定する ともできる。また、通常は行列が生じるこ の無い通路にて移動経路の偏りを検出した 合には、何らかの障害により人の自由な移 が妨げられていることを推定可能である。

 (実施の形態3)
 図38は、本発明の実施の形態3に係る異常判 装置の概略構成を示すブロック図である。 38において、本実施の形態の異常判定装置 、状況判定装置500と、列車到着検知部510と 異常判定部520と、通報部530とを備えて構成 れている。前述した実施の形態1と同様に、 の異常判定装置は図2の鉄道駅のプラットホ ームに設置される。

 状況判定装置500は、図1のブロック図で表 されるものであり、異常判定部520へ判定した 状況種別または混雑度を送信する。状況判定 装置500の動作など詳細は実施の形態1、また 、実施の形態2にて説明したとおりである。 定する状況種別として、少なくとも、人の 動経路が偏っている状況を含むものとする

 列車到着検知部510は、列車のプラットホ ムへの到着を検知する手段である。画像認 によるもの、画像以外のセンサによるもの 列車運行データを利用するもの等、列車の 着を検知できればどのような方式であって よい。画像認識を利用する場合、列車の色 形状などの見え情報を予め登録しておき、 録したテンプレートとマッチングすること より列車の到着を判定すればよい。実施の 態1で説明した動きベクトルを利用すること もできる。向きおよび強度が類似した動きベ クトルが画像における予め指定した領域(線 付近)にて複数出現すれば、剛体の移動を検 したということで、列車が到着したと判定 てもよい。画像以外のセンサとしては、例 ば線路の下に荷重センサを設け、荷重値に り列車到着を判定することができる。また レーザ発光器と受光器を利用し、レーザ光 列車からの反射光を検知したり、列車によ 発光器からの光が遮断されることを検知し 、列車到着を判定することができる。列車 行データを利用する例としては、列車ある は運転指令所からの通信を受信することに り列車到着を知ることができる。

 異常判定部520は、状況判定装置500からの 況判定あるいは混雑度判定の結果と、列車 着検知部510からの列車到着情報の両者から 常を判定する。処理の詳細については後ほ 説明する。通報部530は、異常判定部520で異 と判定された場合、予め定められた連絡先 通報を行う。

 以下、本実施の形態の異常判定装置の動 について、図39のフローチャートを利用し 説明する。画像入力ステップS100から状況判 ステップS140までが、状況判定装置500により 実行される。状況判定装置500の構成は図1で され、ステップS100からステップS140までの各 処理が実行される手段および各処理の動作な ど詳細は実施の形態1、または、実施の形態2 て説明した通りであるため説明を省略する ここで、状況判定装置500が出力する混雑度 標および状況判定結果の通常時の時系列変 について、図40を用いて説明する。図40は、 実施の形態2で説明した状況判定装置が出力 る混雑度および状況判定結果を時系列で表 た模式図である。

 <混雑度指標>
 横軸は時刻を表しており、時刻t 3 およびt 6 にて列車が到着している。時刻t 1 では前の列車が到着した直後のためホームに は人が存在せず混雑度は0である。時刻t 3 の列車到着まで、列車に乗るための人々がホ ームに流入するため混雑度は漸増し、列車が 到着した時刻t 3 にて、列車待ちの人が列車に乗り込むと共に 、列車から乗客がホームに下りて図2におけ 階段STへ向かう。乗客が全て階段STに移動し 時刻t 4 では混雑度が再び0に戻る。その後は、時刻t 1 からt 4 までの繰り返しである。

 <状況判定結果>
 時刻t 1 からt 2 までは、列車待ちの行列がホームに存在しな いため、状況判定結果として「状況1:少人数 動」と判定されている。時刻t 2 から列車待ち行列がホームに発生し始め、状 況判定結果として「状況2:移動経路偏り」と 定される。時刻t 3 に列車が到着すると、乗客が一度に図2にお る階段STへ向かうため、状況判定結果として 「状況3:多人数移動」と判定される。

 次に、列車到着検知ステップS200が、列車 到着検知部510により実行される。ここでの処 理は、列車到着検知部510の動作説明時に説明 した通りである。

 次に、ステップS210が、図38では図示せぬ 御部により実行される。現在時刻にて列車 着情報が存在していれば(YESの場合)異常判 ステップS220に進み、列車到着情報が存在し いなければ(NOの場合)ステップS150へ進む。

 次に、異常判定ステップS220が、異常判定部 520により実行される。本ステップの処理は次 のように行われる。列車が到着してから混雑 度が再び0に戻るまでの時間(例えば時刻t 3 からt 4 の間隔)を予め計測し、その値を基に閾値DTを 決定しておく。列車到着検知部510が列車到着 を検知した時刻から時間DTが経過した時に、 雑度指標が予め定めた閾値を下回らない、 しくは、状況判定結果が「状況1:少人数移 」にならない場合は、異常と判定する。

 異常となる例として、到着した列車が満 のためホームにいた待ち客の全員が列車に り込めず、一部の人がホームに残ってしま 場合や、階段STにて混雑が生じ、時間DTが経 過しても、列車から下りた人が階段STに移動 きない場合がある。なお、混雑が解消する 間は、列車待ち行列の人数、および、列車 ら降りる人の人数に影響を受けるため、閾 DTとして、時間帯、曜日によりそれぞれ適 な値を設定することが望ましい。

 次に、ステップS230が、図38では図示せぬ 御部により実行される。異常判定ステップ 異常と判定されていれば(YESの場合)通報ス ップS240に進み、そうでなければ(NOの場合)ス テップS150へ進む。通報ステップS240は、通報 530により実行される。ここでの処理は、通 部530の動作説明時に説明した通りである。 後に、ステップS150が図38にて図示せぬ制御 により実行される。図38にて図示せぬ入力 を通して、同装置の操作者による、処理終 指示が入力されている場合(YESの場合)は画像 入力ステップS100へ戻り、次時刻のフレーム 像の処理を行う。処理終了指示が入力され いない場合(NOの場合)は処理を終了する。

 以上のように、本実施の形態の異常判定 置によれば、状況判定装置により得られた 況種別あるいは混雑度を利用して、通常と 異なる異常混雑状態を判定可能である。

 (実施の形態4)
 図41は、本発明の実施の形態4に係る混雑推 装置の概略構成を示すブロック図である。 図において、本実施の形態の混雑推定装置6 10Aは、各種シーンの映像やカメラからの映像 をデジタル化して出力をする画像生成部611と 、入力画像を部分領域に分ける領域分割部612 と、画像生成部611の画像列から動き情報を算 出する動き情報生成部613と、個々の部分領域 に対して動きの基準となる基準動き情報を保 持・更新する部分領域における基準動き情報 生成部614と、画像生成部611から出力された画 像に対して、画像のテクスチャ情報を生成す るテクスチャ情報生成部615と、個々の部分領 域に対して人の有無を判定するための基準テ クスチャ情報を保持・更新する部分領域にお ける基準テクスチャ情報生成部616と、基準動 き情報や基準テクスチャ情報を格納する格納 部617と、動き情報生成部613から出力された動 き情報と基準動き情報生成部614により生成さ れた基準動き情報とを比較し、個々の部分領 域において動きがあるかどうかを判定する動 き情報判定部618と、テクスチャ情報生成部615 から出力されたテクスチャ情報と基準テクス チャ情報生成部616により生成された基準テク スチャ情報とを比較し、個々の部分領域にお いて人と同じテクスチャ情報があるかどうか を判定するテクスチャ情報判定部619と、動き 情報判定部618とテクスチャ情報判定部619の各 判定結果を受けて、個々の領域に人が存在す るか否かを判定する滞留判定部620とを備えて 構成される。 

 以上のように構成された混雑推定装置610A について、その動作を図42、図43、図44を用い て説明する。まず、画像生成部611より得られ る画像データを動き情報生成部613およびテク スチャ情報生成部615に送る。ここで、図42を いて画像分割部612の機能を説明する。領域 割部612は、まず動き情報生成部613および基 動き情報生成部614のための領域分割を行う 領域は対象となるオブジェクトのサイズを 準に決定し、前方および後方の各位置に対 て、それぞれ対応となるオブジェクトサイ に合わせた矩形領域その(1)630、矩形領域そ (2)631を設定する。設定された2つの矩形領域 を用いて任意位置での動き処理領域を線形補 間により決める。図43に動き処理領域分割例 示す。 

 次に、決定された動き情報のための領域 割結果を用いて、テクスチャ情報生成部615 よび基準テクスチャ情報生成部616のための クスチャ処理領域を決める。テクスチャ用 テクスチャ処理領域の分割は、動き情報の めの領域分割結果を複数個まとめた単位を1 つのテクスチャ処理領域とする。ここでは、 縦2個と横2個の合計4個の動き情報のための動 き処理領域結果を1つのテクスチャ処理用の 域とする例を図44に示す。なお、ここでは4 をまとめたが、設定により自由にサイズを 更することも可能である。 

 次に、動き情報生成部613、基準動き情報 成部614、動き情報判定部618の動作に関して 45を用いて説明する。画像生成部611により 力される画像は画像バッファ部640に格納さ る。そして、オプティカルフロー計算部641 エッジ抽出部643にそれぞれ入力される。オ ティカルフロー計算部641は、画像中の特徴 を抽出して、抽出した特徴点が次フレーム どの位置に移動したかという特徴点の対応 を探索する。対応する特徴点と元画像の特 点を接続したベクトルが動きベクトルとな 。フロー代表方向/サイズ算出部642では、個 の動き処理領域毎の代表フローと代表サイ を導出する。 

 個々の動き処理領域の中には複数の動き クトルを持つが、複数の動きベクトルの平 を代表サイズ、また複数の方向性を持つ動 ベクトルがある場合は、頻度が一番多い方 ベクトルをフロー代表方向として導出する また、方向性を計算する場合、ある一定以 のサイズを持つフローのみで頻度分布を作 し、ノイズのフローを除去する。

 フローの代表方向情報(単位:ラジアン)と ローの代表サイズ(単位:ピクセル)は、動き 理領域毎に保持しておき、動ベクトル状態 定部647に送られる。基準動き情報生成部614 、基準動ベクトルマップ参照部645と基準差 領域マップ参照部646とを備える。基準動ベ トルマップ参照部645には図46のような基準 ベクトルマップ650が格納され、それぞれの き処理領域毎に動きの有無の基準となる閾 を保持している。例えば、領域(1)651、領域(2 )652、領域(3)653(図46では、数値を囲む“( )” 省略しており、以下も同様)などは“10”と う閾値を保持しており、それよりも大きい イズのフローであれば動き有りと判定され 小さい場合は動き無しと判定される。同じ 領域(8)654、領域(9)655などは“9”という閾値 を保持しており、個々の動き処理領域は全て 閾値を持つ。 

 図45に戻り、エッジ抽出部643は、入力さ た画像のエッジをソーベルフィルタ等の既 のエッジ抽出プログラムを用いて抽出し、 ッジフレーム間差分部644へ送る。エッジフ ーム間差分部644は、過去のエッジフレーム 現在入力されたエッジフレームとの差を計 することにより過去フレームと現フレーム の違うピクセルを抽出し、差分領域状態判 部648へ送る。基準動き情報生成部614は、基 差分領域マップ参照部646を保持しており、 ップは、個々の動き処理領域のうち何%の領 に動きピクセルが発生すれば動きありと判 するか否かの判定を行うマップを持つ。図4 7に基準差分領域マップ660の例を示す。 

 基準差分領域マップ660では、領域(1)661、 域(2)662、領域(3)663(図47では、数値を囲む“(  )”は省略しており、以下も同様)などは処 領域において10%の動き領域があれば動き領 と判定し、それ以下の場合は動き無しと判 する。領域(8)664、領域(9)665などは15%の動き 域があれば動き領域と判定する。このよう して全ての動き処理領域の判定を差分領域 態判定部648で行う。動領域状態判定部649は 動ベクトル状態判定部647の判定結果と差分 域状態判定部648の判定結果で双方とも動き 域であると判定された動き処理領域を動き り領域と判定し、滞留判定部620(図41参照)へ る。動ベクトル状態判定部647の判定結果と 分領域状態判定部648の判定結果でどちらか 方でも動きが無いと判定された動き処理領 は、動き無し領域として滞留判定部620へ送 。 

 次に、テクスチャ情報生成部615、基準テ スチャ情報生成部616、テクスチャ情報判定 619の動作に関して図48、図49を用いて説明す る。テクスチャ情報生成部615は、領域分割部 612により分割されたテクスチャ処理領域毎に テクスチャ特徴量を抽出する。テクスチャ特 徴量としてはフーリエ変換を用いて周波数変 換処理を行う。図48に入力画像670の例を示し おり、領域(t1)671、領域(t2)672、領域(t3)673、 (図48では、符号と数値を囲む“( )”は省略 しており、以下も同様)と順番に周波数変換 理を行う。図49にテクスチャ特徴量抽出処理 結果の例を示す。領域(t1)671、領域(t2)672、領 (t3)673、…(図49では、符号と数値を囲む“(  )”は省略しており、以下も同様)を入力とし 周波数変換処理を行った結果は、テクスチ 特徴量抽出結果680となり、それぞれ領域t1 クスチャ特徴量681、領域t2テクスチャ特徴量 682、領域t3テクスチャ特徴量683、…となる。

 基準テクスチャ情報生成部616は、人が存 するシーン群および人が存在しないシーン を保持しておき、それぞれの場合において テクスチャ処理領域単位にテクスチャ特徴 を抽出しておく。図50は、人が存在するシ ン(1)690(図50では、数値または符号と数値を む“( )”は省略しており、以下も同様)を示 しており、テクスチャ処理領域691の個々の領 域、領域(t1)692、…、領域(t17)693、…に対して 、テクスチャ特徴量の抽出を行い、存在シー ン1.領域t1基準テクスチャ特徴量694、…、存 シーン1.領域t17基準テクスチャ特徴量695、… を導出する。同様に、図51は人が存在しない ーン(1)700(図51では、数値または符号と数値 囲む“( )”は省略しており、以下も同様) 示しており、個々のテクスチャ処理領域701 領域(t1)702、…、領域(t17)703、…に対して、 クスチャ特徴量の抽出を行い、非存在シー 1.領域t1基準テクスチャ特徴量704、…、非存 シーン1.領域t17基準テクスチャ特徴量705、 を導出する。 

 テクスチャ情報判定部619の処理について 図52を用いて説明をする。テクスチャ情報 定部619は、テクスチャ情報生成部615により 入力画像670に対して、個々のテクスチャ処 領域、領域(t1)671、…(図52では、数値または 号と数値を囲む“( )”は省略しており、以 下も同様)毎に領域t1テクスチャ特徴量681、… を出力する。また、基準テクスチャ情報生成 部616が、各テクスチャ領域に対応した基準テ クスチャ特徴量を保持しているため、例えば 入力画像の領域(t1)692および領域(t1)702に対応 た非存在シーン1.領域t1基準テクスチャ特徴 量704と存在シーン1.領域t1基準テクスチャ特 量694を取り出し、領域t1テクスチャ特徴量681 との類似度計算706をそれぞれに対して行う。 人が存在しないシーンの領域との類似度が高 い場合、テクスチャ情報判定部619は、人は存 在しない領域として判定し、人が存在するシ ーンの領域との類似度が高い場合、テクスチ ャ情報判定部619は人が存在する領域として判 定する。類似度計算はSAD(Sam of Absolute Differe nce:絶対差分和)で最小となる類似テクスチャ 導出してもよいし、正規化相互相関の指標 用いてもよい。 

 次に、滞留判定部620の動作に関して図53 用いて説明する。動き情報判定部動き有り 定710と判定された領域で、テクスチャ情報 定部人存在判定712と判定された領域は移動 域714と判定する。動き情報判定部動き有り 定710と判定された領域で、テクスチャ情報 定部人非存在判定713と判定された領域はノ ズ領域715と判定する。動き情報判定部動き し判定711と判定された領域でテクスチャ情 判定部人存在判定712と判定された領域は滞 領域716と判定する。動き情報判定部動き無 判定711と判定された領域でテクスチャ情報 定部人非存在判定713と判定された領域は前 領域717と判定することで、個々の領域の状 を図54のように出力可能になる。図54には移 領域720、滞留領域721、前景領域723、ノイズ 域724の各状態が割り当てられる。 

 以上述べたように、動き情報判定部618に り動きの有無の領域を、テクスチャ情報判 部619によりテクスチャを用いた類似度判定 用いて、人の存在、非存在の領域を判定し 滞留判定部620により、個々の領域毎の各種 態、滞留領域、移動領域、ノイズ領域、前 領域を判別することができる。 

 なお、本実施の形態の混雑推定装置610Aの テクスチャ情報生成部615および基準テクスチ ャ情報生成部616は、フーリエ変換による周波 数変換でテクスチャ特徴量を抽出したが、本 発明はこの例に限定されるものではない。例 えば、エッジ情報を利用したり、ガボール特 徴量を用いた特徴量抽出でも構わない。 

 また、本実施の形態の混雑推定装置610Aの 基準テクスチャ情報生成部616は、人が存在す るシーンおよび人が存在しないシーンを各1 ターンの基準テクスチャ生成処理を示した 、本発明はこの例に限定されるものではな 。例えば、人が存在するシーンおよび人が 在しないシーンそれぞれ複数枚のシーンを いて複数の基準テクスチャを用いることも 能であり、多人数のシーン、通常人数のシ ン、少人数のシーン、人が存在しないシー など複数枚のシーンから基準テクスチャを 持しておき、テクスチャ情報判定部619によ 、人の有無の領域の判定に用いてもよい。 た、複数シーンをサポートベクタマシン(SVM) やブースティングなどの学習方法により学習 させることにより、人が存在するシーンの代 表基準テクスチャおよび人が存在しないシー ンの代表特徴量を用いて、人の有無の領域の 判定を行う構成でも構わない。 

 (実施の形態5)
 図55は、本発明の実施の形態5に係る混雑推 装置の概略構成を示すブロック図である。 実施の形態の混雑推定装置610Bは、実施の形 態4の混雑推定装置610Aと比較して、基準動き 報生成部614および基準テクスチャ情報生成 616へ入力基準情報の更新タイミングを入力 るタイミング生成部621を追加した点が異な 。その他の構成は実施の形態4と同じである ため、詳細な説明を省略する。 

 図56、図57に、タイミング生成部621におい て、電車の進入・停止・出発のタイミングで 基準動き情報生成部614および基準テクスチャ 情報生成部616へ更新タイミングを通知する処 理について説明する。図56に示すように、駅 プラットフォームにおけるカメラ730の視野 線路が写るように設置する。その線路上に 車が進入してきた場合には、フレーム間差 および背景差分処理等の画像処理技術を用 て電車進入時の線路の変化を検知し、進入 イミングを基準動き情報生成部614および基 テクスチャ情報生成部616へ通知する。電車 進入直前は、電車待ちの行列ができるため 人が存在するためのテンプレートとして基 テクスチャ情報判定部619での基準テクスチ の更新に利用される。次に電車が停止して る時は、乗車および降車の人々がいるため この停車タイミングを基準動き情報生成部6 14は基準動き情報の更新に利用する。図57に の処理の流れを示す。 

 車両進入検知ステップS141により、車両の 進入を画像処理により検知し更新タイミング 通知ステップS145へ送信する。車両停止検知 テップS142は、車両進入検知ステップS141によ り進入が検知された後、線路において動きが 無くなった時点を車両停止として判断し、更 新タイミング通知ステップS145へ通知する。 両出発検知ステップS143は車両停止検知ステ プS142において車両の停止が検知された後、 再び線路に動きが生じた時点で車両の出発と して判定し、更新タイミング通知ステップS14 5へと通知する。この処理は処理終了指示が るまで常に車両の進入、停止、出発の検知 行い続ける(ステップS144)。 

 図58に、車両進入タイミングにおける駅 ラットフォームの画像列を示す。図58に示す ように、進入タイミングにおいて得られる複 数枚のシーンを基準テクスチャ情報生成部616 に送付し、このシーン群から基準テクスチャ を生成することにより人が存在する時の基準 テクスチャをシーンに適応させていくことが できる。また、時間帯毎あるいは曜日毎にこ のような基準テクスチャを保持しておくこと で、時間帯、曜日などと同期したテクスチャ 情報の判定が可能になる。 

 また、図59に車両停止タイミングにおけ 駅プラットフォームの動ベクトル処理抽出 理後の動ベクトル取得結果列の例を示す。 59に示すように車両停止タイミングにおいて 得られる複数枚のシーンを基準動き情報生成 部614に送付し、その時におけるシーン群から 個々の動き処理領域の動きの大きさや方向ベ クトルを抽出し、その時の動きを基準動き量 として用い、個々の動き処理領域に対しての 方向ベクトルを獲得することが可能になる。 また、時間帯毎,あるいは曜日毎にこのよう 基準動き情報を保持しておくことで、時間 、曜日などと同期した動き情報の判定が可 になる。 

 以上述べたように、タイミング生成部621 より、動き情報の基準移動量や人が存在す テクスチャ情報を、車両の進入、停止、出 のタイミングを用いて自動設定することで 動いている状態と動いていない状態を判別 る。また、人物が存在する、あるいは存在 ないという判別をすることができるように る。 

 なお、本実施の形態の混雑推定装置610Bの タイミング生成部621は、車両の進入に対して 、画像処理技術を用いて行う処理を示したが 、本発明はこの例に限定されるものではない 。例えば、線路内に検知センサを敷設して、 そのセンサの情報から、車両の進入、停止、 出発の情報を得てもよい。また、時刻表を用 いて、時刻表の時刻と同期して電車の進入タ イミングを通知してもよい。

 また、タイミング生成部621は車両の進入 停止、出発のタイミングを用いた例を示し が、本発明はこの例に限定されるものでは い。任意の時間間隔毎にタイミング生成部6 21から更新タイミングを生成してもよい。

 (実施の形態6)
 図60は、本発明の実施の形態6に係る混雑推 装置の概略構成を示すブロック図である。 図において、本実施の形態の混雑推定装置6 10Cは、実施の形態4の混雑推定装置610Aと比較 て、基準動き情報生成部614および基準テク チャ情報生成部616へ入力基準情報の更新タ ミングを入力するタイミング生成部621およ 処理領域の時系列的な割合を解析して異常 雑かどうかを判定する異常判定部622を追加 た点が異なる。その他の構成は、実施の形 4の混雑推定装置610Aと同じであるため、詳 な説明を省略する。 

 図61に滞留判定部620から出力される処理 域の領域状態判定結果列150を示す。領域状 判定結果列750は、t(0)751、t(1)752、t(2)753、… t(n)756(図61では、数値を囲む“( )”は省略し ており、以下も同様)の時系列データとして 域判定結果を保持している。また、領域状 判定結果列750をグラフにプロットした混雑 指標時系列グラフ760を図62に示す。本グラフ は時系列に滞留領域763、移動領域762、ノイズ 領域764、合計混雑度761をプロットしたもので ある。合計混雑度761は、移動領域762の数と滞 留領域763の数を加算した値を示す。異常混雑 判定部622は、合計混雑度761が事前に設定して いた閾値を超えた場合に異常状態と判定する 。例えば、合計混雑度761が80%を超えた場合に 異常混雑度と判定するような閾値を設定して いた場合、t(5)754、t(30)755のタイミングで異常 混雑であると判定し通知を行う。また、合計 混雑度761の割合で異常混雑の判定を行う例を 示したが、滞留領域763の割合による異常混雑 の判定を行うことも可能である。また、合計 混雑度761の割合で異常混雑の判定を行う例を 示したが、移動領域762の割合による異常混雑 の判定を行うことも可能である。

 次に、図63に混雑度指標時系列グラフに イミング生成部621から得られるt10: 車両進 765、t20: 車両進入768のタイミング、t11: 車 停止766、t21: 車両停止769のタイミング、t12: 車両出発767、t22: 車両出発770のタイミング 重畳した混雑度指標時系列グラフを示す。 常判定部622は、t10: 車両進入765、t20: 車両 入768のタイミングの一定時間後に、合計混 度761が事前に設定していた閾値以上減少し い場合に異常状態であると判定し通知を行 。例えばt10: 車両進入765のタイミングから 前に設定している判定期間771の範囲におい 、合計混雑度761が60%以上減少しない場合に 、異常混雑として判定し、通知を行う。 

 図63の例はt10: 車両進入765およびt20: 車 進入768のタイミングの判定期間771後におい 、合計混雑度761が60%以下にまで減少してい ため、異常混雑とは判定されない。また、 両進入タイミングにおける合計混雑度761の 合で異常混雑の判定を行う例を示したが、 留領域763の割合による異常混雑の判定を行 ことも可能である。また、合計混雑度761の 合で異常混雑の判定を行う例を示したが、 動領域762の割合による異常混雑の判定を行 ことも可能である。 

 次に、図64に滞留判定部620により判定さ た各処理領域の状態から、滞留開始、滞留 消、通常状態等の人物の流量傾向を判定す 処理について説明する。滞留領域検知ステ プS180は滞留領域が発生した領域を検出する 理を行う。滞留領域近傍探索ステップS181は 、滞留領域が発生した領域を基準に、その領 域を包囲する近傍領域に対して滞留領域が新 たに発生したか、あるいは滞留領域が消滅し たかの判定を行い、その情報を滞留領域連続 増加判定ステップS182および滞留領域連続減 判定ステップS185へ送る。 

 滞留領域連続増加判定ステップS182は、滞 留領域の増加が連続的に単調増加しているか どうかを判定し、滞留領域の連続増加が閾値 以上かどうかの判定を行い(ステップS183)、予 め設定した閾値以上であれば滞留開始判定通 知ステップS184から滞留状況が増加し異常混 なる前の事前警告として通知される。同じ 、滞留領域連続減少判定ステップS185は、滞 領域の減少が連続的に単調減少しているか うかを判定し、滞留領域の連続減少が閾値 上かどうかの判定を行い(ステップS186)、予 設定した閾値以上であれば滞留解消判定通 ステップS187から混雑状況が解消されている として通知される。 

 図65は上記処理の例を示したものである 時刻(t-4)790、時刻(t-3)791(図65では、符号と数 を囲む“( )”は省略しており、以下も同様 )は移動領域のみ検出されている。時刻(t-2)792 の時に滞留領域が発生し、この滞留領域を基 準滞留領域795として認識する。時刻(t-1)793に 基準滞留領域795の近傍に新規滞留領域が発 し、これらの滞留領域群を基準滞留領域群 する。時刻(t)794では基準滞留領域群に対し 新たに3つの新規滞留領域が発生し、滞留領 域が3つ以上の場合に滞留開始と判定する閾 を事前に設定しておいた場合、この時点で 留開始796として通知する。滞留解消につい も同様な処理で実現できる。また、滞留開 判定、滞留解消判定以外のときを通常状態 判定することで通常状態も通知可能である  

 以上述べたように、個々の領域毎の各種 態、滞留領域、移動領域、ノイズ領域、前 領域を利用して混雑状況の指標(滞留開始状 態、滞留解消状態、通常状態)および異常状 かどうかを判定することができる。 

 以上、本発明の各種実施形態を説明した 、本発明は前記実施形態において示された 項に限定されず、明細書の記載、並びに周 の技術に基づいて、当業者がその変更・応 することも本発明の予定するところであり 保護を求める範囲に含まれる。

 本出願は、2007年10月26日出願の日本特許 願(特願2007-278625)、2007年10月29日出願の日本 許出願(特願2007-280205)に基づくものであり、 の内容はここに参照として取り込まれる。

 本発明に係る状況判定装置、状況判定方 、状況判定プログラムは、人の移動に係る 況種別を判定し、あるいは、人の混雑度を 定し、駅・空港などの複数の人が移動する 共空間において、画像監視の際の省力化・ 率化を図ることのできる装置、方法、およ 、プログラムを提供できる。また、本発明 係る異常判定装置、異常判定方法、異常判 プログラムは、人の移動に係る異常な混雑 況を判定し、駅・空港などの複数の人が移 する公共空間において、画像監視の際の省 化・効率化を図り、異常混雑に伴う事故を 然防止するために異常を早期検出できる、 置、方法、および、プログラムを提供でき 。

 さらに本発明に係る混雑推定装置は、動 情報の基準移動量を自動設定することで、 いている状態と動いていない状態を判別し また、動きの有無とテクスチャを用いた類 度判定を用いて個々の領域毎の各種状態、 留領域、移動領域、ノイズ領域、前景領域 判別し、また、各領域の各状態を用いて混 度を推定し、さらに、混雑状況の指標(滞留 領域、移動領域、通常領域、滞留開始状態、 滞留解消状態、通常状態)および異常状態か うかの情報を提供できるといった効果を有 、異常混雑状態通知を行う装置への適用が 能である。




 
Previous Patent: ELECTROMAGNETIC CONVERTER

Next Patent: WASHING MACHINE