次に図面を参照してこの発明の実施の形� ��を説明する。

 図1は、この発明の一実施形態に従う、車 両の周辺監視装置の構成を示すブロック図で ある。該装置は、車両に搭載され、遠赤外線 を検出可能な2つの赤外線カメラ1Rおよび1Lと� ��車両周辺の外気の温度(外気温)を検出する� �ンサ5と、カメラ1Rおよび1Lによって得られる 画像データに基づいて車両前方の対象物を検 出するための画像処理ユニット2と、該検出� �果に基づいて音声で警報を発生するスピー� �3と、カメラ1Rまたは1Lによって得られる画像 を表示すると共に、運転者に車両前方の対象 物を認識させるための表示を行うヘッドアッ プディスプレイ(以下、HUDと呼ぶ)4とを備えて いる。

 図2に示すように、カメラ1Rおよび1Lは、� �両10の前部に、車幅の中心を通る中心軸に対 して対称な位置に配置されている。2つのカ� �ラ1Rおよび1Lは、両者の光軸が互いに平行と� ��り、両者の路面からの高さが等しくなるよ� ��に車両に固定されている。赤外線カメラ1R� �よび1Lは、背景の温度よりも対象物の温度が 高いほど、その出力信号のレベルが高くなる (すなわち、撮像画像における輝度値が大き� �なる)特性を有している。

 画像処理ユニット2は、入力アナログ信号 をデジタル信号に変換するA/D変換回路、デジ タル化した画像信号を記憶する画像メモリ、 各種演算処理を行う中央演算処理装置(CPU)、C PUが演算に際してデータを記憶するのに使用� ��るRAM(ランダムアクセスメモリ)、CPUが実行� �るプログラムおよび用いるデータ(テーブル� ��マップを含む)を記憶するROM(リードオンリ� �メモリ)、スピーカ3に対する駆動信号および HUD4に対する表示信号などを出力する出力回� �を備えている。カメラ1Rおよび1Lの出力信号� ��よびセンサ5の出力信号は、デジタル信号に 変換されてCPUに入力されるよう構成されてい る。HUD4は、図2に示すように、車両10のフロ� �トウィンドウの、運転者の前方位置に画面4a が表示されるように設けられている。こうし て、運転者は、HUD4に表示される画面を視認� �ることができる。

 図3は、画像処理ユニット2によって実行� �れるプロセスを示すフローチャートである� �該プロセスは、所定の時間間隔で実行され� �ことができる。

 ステップS11~S13において、カメラ1Rおよび1 Lの出力信号(すなわち、撮像画像のデータ)を 入力として受け取り、これをA/D変換して、画 像メモリに格納する。格納される画像データ は、輝度情報を含んだグレースケール画像で ある。

 以下のステップS14~S19は、2値化処理にお� �て、所望の対象物を、背景とは分離して抽� �するための処理である。この実施例では、� �行者を、該所望の対象物として説明する。

 ステップS14において、外気温センサ5によ って検出された外気温i(℃)を取得する。ステ ップS15において、背景の輝度値Tbを決定する� ��

 背景の輝度値は、任意の手法で決定され� ��ことができる。この実施例では、グレース� ��ール画像に基づいて輝度値ヒストグラムを� ��成し、最も度数の高い輝度値を、背景の輝� ��値Tbとして用いる。撮像画像においては、� �常、背景の占める面積が最も大きいからで� �る。

 ステップS16において、検出された外気温i に基づいて、図4に示すようなマップを参照� �る。ここで、該マップを説明する。歩行者� �頭部は、主にその顔面において皮膚が外気� �さらされており、熱源を妨げるものが少な� �部位である。したがって、外気にさらされ� �いる頭部表面に着目する。頭部表面の温度(� ��下、表面温度と呼ぶ)fa(℃)と外気温i(℃)と� �間の関係を、実験やシミュレーション等で� �べた結果、両者の間には、図4に示すような� ��係があることが判明した。この図において� ��横軸は外気温i(℃)を示し、縦軸は表面温度f a(℃)を示す。この図に示すように、外気温i� �ら、表面温度faを推定することができる。

 表面温度faは、外気温iに対して、曲線101� ��示すように推移し、外気温iが高くなるほど 、表面温度faも高くなる。所与の外気温iにお いて、該外気温iに対する表面温度fa(i)の差が 、曲線101と線103(これは、fa=iを表す直線であ� ��)の差によって表されており、これを、表面 温度差と呼び、F(i)で表す。すなわち、F(i)=表 面温度fa(i)― 外気温iである。図に示される� ��うに、表面温度差F(i)は、外気温iが高くな� �につれて小さくなる傾向がある。

 対象物の抽出精度をより向上させるため� ��この実施例では、F(i)を中心として、所定の 余裕範囲(マージン)T(℃)を設定する。該余裕� ��囲の上限が点線101Uよって示されており、該 上限と外気温iとの差を、F(i)maxで表す。該余� ��範囲の下限が点線101Lによって示されており 、該下限と外気温iとの差を、F(i)minで表す。

 図4に示されるようなマップは、画像処理 ユニット2のメモリに予め記憶される。画像� �理ユニット2は、検出された外気温i(℃)に基� ��いて該マップを参照することにより、外気� ��iに対応する表面温度faを求め、該表面温度f aと外気温iとの表面温度差F(i)を算出し、所定 の余裕範囲Tを用いて、該表面温度差F(i)に対� ��る上限値F(i)maxおよび下限値F(i)minを算出す� �。ここで、余裕範囲Tは、外気温iに従って変 化させてもよいし、一定でもよい。

 代替的に、各外気温iに対する表面温度差 F(i)についての上限値F(i)maxおよび下限値F(i)min をメモリに記憶し、外気温iから表面温度faを 求めることをスキップして、外気温iから直� �上限値F(i)maxおよび下限値F(i)minを求めるよう にしてもよい。

 図3に戻り、ステップS17において、表面温度 差F(i)の上限値F(i)maxおよび下限値F(i)minに対応 する輝度差を算出する。遠赤外線カメラの仕 様によって、温度変化に対する輝度値変化の 割合は決まっており、これを、パラメータSiT Fで表す。こうして、表面温度差F(i)の上限値F (i)maxおよび下限値F(i)minに対応して、以下の� �(1)のように、輝度差の上限値dTmaxおよび下限 値dTminがそれぞれ算出される。
 dTmax=SiTF×F(i)max
 dTmin=SiTF×F(i)min     (1)

 ステップS18において、2値化処理のための閾 値を算出する。ここで図5を参照すると、ス� �ップS13で取得されたグレースケール画像の� �度値ヒストグラムの一例が示されている。� �述したように、ステップS15において、最も� �数の高い輝度値(ピーク輝度値)が背景の輝度 値Tbに設定されている。背景の輝度値Tbは、� �気温iに対応すると考えることができる。し� ��がって、以下の式(2)に示すように、外気温i に対して表面温度差の上限値F(i)maxを持つ表� �温度の輝度値Tcmaxは、背景の輝度値Tbに対し� ��輝度差の上限値dTmaxを持つ。同様に、外気� �iに対して表面温度差の上限値F(i)minを持つ表 面温度の輝度値Tcminは、背景の輝度値Tbに対� �、輝度差の下限値dTminを持つ。
 Tcmax=Tb+dTmax
 Tcmin=Tb+dTmin       (2)

 上限の輝度値Tcmaxおよび下限の輝度値Tcmin は、2値化処理の閾値に設定される。これら2� ��の閾値によって画定される領域111が図5に示 されており、該領域111が、抽出すべき対象物 の輝度領域である。

 ステップS19において、ステップS18におい� ��設定された閾値を用いて、ステップS13で取� ��されたグレースケール画像(この実施例では 、カメラ1Rで得られた撮像画像を用いるが、� ��メラ1Lで得られた撮像画像でもよい)に対し� ��2値化処理を行う。撮像画像の各画素につい て、該画素の輝度値が輝度領域111内にあると きには、抽出すべき対象物であると判定され て、該画素を値1の白領域とし、該画素の輝� �値が輝度領域111外にあるときには、背景で� �ると判定されて、該画素を値ゼロの黒領域� �する。

 ここで、図6を参照すると、画像を模式的 に表した図が示されている。(a)はグレースケ ール画像(撮像画像)を示し、図では、ハッチ� ��グの種類の違いによって階調の違いを表し� ��いる。(b)は、従来の手法によって2値化され た画像を示し、(c)は、上記ステップS14~S19の� �法によって2値化された画像を示す。図では� ��黒領域は、ハッチングされた領域で表して� ��る。

 グレースケール画像には、歩行者121の他� ��、電柱125や自動車127のような人工構造物が� ��像されている。従来は、2値化に用いる閾値 に依存して、(b)に示すように、これら人工構 造物125,127も、歩行者と同様の対象物として� �すなわち白領域として抽出されることがあ� �た。

 それに対し、本願発明の上記手法によれ� ��、外気温に対する対象物(この実施例では、 歩行者)の表面温度が推定されて、該推定さ� �た表面温度の外気温に対する温度差に基づ� �て、対象物の輝度領域を設定するので、(c)� �白領域131に示すように、歩行者121の頭部部� �のみを抽出することができる(この領域を、� ��下、頭部領域と呼ぶ)。(a)に示されるように 人工構造物125と歩行者121とが重なって撮像さ れていても、(c)の白領域131に示されるように 歩行者121のみを容易に抽出することができる 。このように、本願発明によれば、対象物を 、該対象物以外の背景部分からより良好に分 離して抽出することができる。

 図3に戻り、ステップS20において、抽出さ れた頭部領域に基づいて、撮像画像における 歩行者全身の大きさを推定する。推定は、任 意の手法で実現されることができ、ここでは 、その一例を具体的に説明する。

 図7を参照すると、(a)には、2値画像にお� �て抽出された頭部領域が黒の領域で表され� �おり、その幅がw(画素数により表される)に� �り示されている。幅wは、たとえば頭部領域� ��外接する四角形を設定し、その幅を求める� ��とにより算出されることができる。歩行者� ��頭部以外の部分は点線で示されているが、� ��れはまだ抽出されていない部分である。ス� ��ップS20では、歩行者の撮像画像における高� ��h(画素数により表される)を推定することを� ��的とする。

 この推定のため、(b)に示すように、実空� ��における歩行者の一般的なサイズ、すなわ� ��頭部の幅Waおよび身長Haが予め設定される。 WaおよびHaには、たとえば、成人の平均値に� �づく値を設定することができる(たとえば、W aは20(cm)、Haは、160~170(cm)内の値)。

 また、(c)は、カメラ1Rと対象物との配置� �関係をXZ平面上に表した図であり、(d)は、カ メラ1Rと対象物との配置の関係をYZ平面上に� �した図である。ここで、Xは、車両10の車幅� �向を示し、Yは、車両10の車高方向を示し、Z� ��、車両10から対象物への距離方向を示す。� �メラ1Rは、撮像素子11Rおよびレンズ12Rを備え ている。fは、レンズ12Rの焦点距離を示す。

 (c)の図により、対象物までの距離をZ(cm)と� �ると、距離Zは、以下の式(3)のように算出さ� ��る。ここで、pcwは、X方向の画素間隔すなわ ち1画素あたりの長さ(cm)を示す。
 Z=Wa×f/(w×pcw)   (3)

 (d)の図により、距離Zを用いて、歩行者の撮 像画像における高さh(cm)を、以下の式(4)のよ� ��に算出することができる。ここで、pchは、Y 方向の画素間隔すなわち1画素あたりの長さ(c m)を示す。
 h=(Ha/pch)×f/Z   (4)

 こうして、撮像画像における歩行者の大� ��さは、幅wおよび高さhを持つと推定するこ� �ができる。なお、頭部の幅よりも胴体の幅� �方が一般的に広いことを考慮して、代替的� �、頭部領域の幅wに所定の余裕値を加えた値� ��、上記の幅wの代わりに用いてもよい。

 図3に戻り、ステップS21において、ステッ プS20で推定された歩行者の大きさに従って、 撮像画像(グレースケール画像でもよいし、2� ��画像でもよい)上に対象物領域を設定する。 ここで図8(a)を参照すると、前述したように� �出された頭部領域131が示されている。太枠� �示すように、該頭部領域131の幅wを持ち、頭� ��領域131の頂点(図では、y座標値がyu)から高� �hの対象物領域141が設定される。こうして、� ��像画像における対象物の位置が特定される� ��

 図3に戻り、この実施例では、ステップS22 を実行して、設定された対象物領域141に対し て対象物判定処理を実行し、該対象物領域141 内に撮像されている対象物が歩行者かどうか を判定する。たとえば、周知の形状マッチン グ手法を用いた任意の適切な対象物判定手法 により、歩行者を判定することができる(た� �えば、特開2007-264778号公報)。この処理は、� �レースケール画像を用いて行われる。図8(b)� ��は、こうして形状判定された歩行者151が示� ��れている。

 ステップS22において対象物が歩行者と判� ��されたならば、ステップS23に進んで警報判� ��処理を行う。この処理では、運転者に対し� ��警報を実際に出力するかどうかを判定し、� ��の判定結果が肯定であれば、警報を出力す� ��。

 たとえば、ブレーキセンサ(図示せず)の� �力から、車両の運転者がブレーキ操作を行� �ているか否かを判別し、ブレーキ操作を行� �ていなければ、警報出力を行うことができ� �。警報出力は、スピーカ3を介して音声によ� ��警報を発するとともに、HUD4により、例えば カメラ1Rにより得られる画像を画面4aに表示� �、歩行者を強調表示する。強調表示は任意� �手法でよく、たとえば、色のついた枠で囲� �で強調することができる。こうして、車両� �方に存在する歩行者を、運転者はより確実� �認識することができる。なお、警報および� �像表示のいずれか一方を用いて警報出力を� �ってもよい。

 上記のステップS20の他の手法として、た� ��えば、頭部領域131の高さ(頭部領域131に外接 する四角形の高さを用いることができ、画数 で表される)と頭身数とから、撮像画像にお� �る歩行者の高さhを算出してもよい。たとえ� ��、頭部領域131の高さがhbであり、成人の平� �頭身数が7とすると、歩行者の高さhを、h=7×h bと推定することができる。

 また、ステップS20およびS21のさらなる他� ��手法として、頭部領域131の下部領域の輝度� ��から路面を判定し、対象物領域141を特定す� ��手法を採用してもよい。図9を参照してこの 手法を簡単に説明すると、(a)はグレースケー ル画像(図では、頭部領域131以外のものは省� �されている)であり、抽出された頭部領域131� ��下に、所定サイズのマスク161を設定し、該� ��スクによって覆われた領域内の輝度値の分� ��(代替的に、分散の平方根である標準偏差を 用いてもよい)を算出する。路面は、輝度値� �ほぼ一様の画像領域として撮像されると考� �られるので、分散が所定値より高ければ、� �マスクが設定された領域は路面ではないと� �定する。その場合、(b)に示すように、マス� �161を下方に移動し、再び分散を算出する。� �の処理を、マスク161を下方に移動しながら� �り返す。マスク161によって覆われる領域が� �面のみになると、分散は低い値を示す。(c)� �示すように、分散が所定値より低くなった� �スク161の位置が求められたならば、該マス� �161の位置と、該マスク161の前回の位置(点線� ��表示)との間の境界(y座標値がyb)を、対象物� ��域141の底辺と判断することができる。こう� ��て、幅wを持ち、頭部領域の頂部(y座標がyu)� ��ら該境界までの高さを持つ対象物領域141が� ��出される。

 上記実施例では、輝度値ヒストグラムに� ��いて、最も度数の高い輝度値を背景の輝度� ��Tbに設定し、これを、外気温に対応づけた� �代替的に、外気温と路面の温度とを区別し� �、以下のように背景の輝度値Tbを決定しても よい。すなわち、図2に示すように車両前方� �配置したカメラの場合、撮像画像に占める� �面の面積が大きいため、通常、最も度数の� �い輝度値は、路面温度に対応づけることが� �きる。したがって、路面温度と外気温の関� �を予めマップ(図示せず)に規定してこれをメ モリに記憶しておく。該関係は、実験やシミ ュレーション等によって得られることができ る。

 検出された外気温iに基づいて該マップを 参照し、対応する路面の温度Rを求める。路� �温度Rと外気温iの温度差を算出する。前述し たパラメータSiTFを用いて、該温度差を輝度� �dTiに変換する。ここで、図10を参照すると、 図5と同様の輝度値ヒストグラムが示されて� �る。最も度数の高い輝度値Trは、路面温度R� �対応づけられている。路面の温度Rは、通常� ��外気温iより高いため、算出された輝度差dTi の分だけ、路面の輝度値Trから減算して、外� ��温iに対応する輝度値を算出し、これを、図 3のステップS15の背景輝度値Tbとする。なお、 外気温iの方が路面温度Rより高い場合には、� ��面の輝度値Trに対して輝度差dTiを加算し、� �気温に対応する輝度値Tiを求めればよい。背 景の輝度値Tbに対し、輝度差dTmaxおよびdTminを 持つ輝度値TcmaxおよびTcminにより、対象物の� �度領域111が特定される。こうして、外気温� �路面温度とを区別することにより、背景の� �度値をより正確に求めることができる。し� �がって、2値化処理に用いる閾値をより適切� ��設定することができ、対象物を抽出する精� ��をより高めることができる。

 好ましくは、路面温度と外気温との間の� ��度差は、天候の状態(晴れているかどうか、 風速、雨量等)や日没からの経過時間等の外� �環境パラメータの値によって変動するおそ� �があるので、予め設定された外部環境パラ� �ータ値のそれぞれについてマップを作成し� �記憶し、その日の外部環境パラメータ値に� �じたマップを用いるようにしてもよい。

 同様に、図4のマップも、天候の状態等の 外部環境パラメータの値ごとに設定してメモ リに記憶するようにしてもよい。たとえば、 風速が所定値以上の日とそうでない日とでそ れぞれマップを作成して記憶し、その日の風 速に応じたマップを用いることができる。

 また、上記実施例では、図4を参照して説 明したように、表面温度差F(i)について、余� �範囲Tを規定する上限値F(i)maxと下限値F(i)min� �設定した。このような余裕範囲を設定する� �とにより、より確実かつ良好な精度で対象� �を抽出することができるように2値化処理の� ��値を設定することができる。しかしながら� ��代替的に、このような余裕範囲Tを設定する ことなく、表面温度差F(i)に対応する輝度差dT を算出し、これを、背景の輝度値Tbに加算し� ��、対象物の輝度値Tcを算出してもよい。輝� �値Tcを閾値として2値化を行うことができる� �たとえば、輝度値Tcに一致する輝度値を有す る画素は、対象物であると判定して白領域に 設定され、輝度値Tcに一致しない輝度値を有� ��る画素は、対象物ではないと判定して黒領� ��に設定される。また、輝度値Tcを中心とし� �所定範囲を、対象物の輝度領域に設定して� �よい。

 さらに、上記実施例は、2値化処理におい て抽出すべき対象物が歩行者を例に説明して いる。代替的に、対象物は、動物等の他の生 体でもよい。たとえば、所定の動物について 、図3のようなマップを実験やシミュレーシ� �ン等によって予め作成し、該マップを用い� �、前述したような2値化処理の閾値を設定す� ��。動物の場合には、ほぼ全身が外気にさら� ��れていることが多いので、図3のステップS19 の2値化処理において、その全身が抽出され� �。したがって、ステップS20およびS21をスキ� �プし、ステップS22において、ステップS19で� �出された領域に対し、形状判定等を行って� �対象物が動物であるかどうかを判定するよ� �にしてもよい。動物と判定されたならば、� �テップS23の警報判定が行われる。

 また、本願発明は、図3のマップに示され るように、外気温との関係を予め実験やシミ ュレーション等によって規定することができ る表面温度を有する対象物について適用可能 であり、よって、対象物は、人間および動物 のような生体に必ずしも限定されるものでは ない。