図1乃至図3に基づいて本発明の第1の実施� ��を説明する。図1は本実施例に係る車両番号 認識装置の概略図、図2は本実施例に係る車� �番号認識装置による車両番号認識処理の手� �を示すフローチャート、図3は本実施例に係� ��車両番号認識装置を用いて撮像した画像の� ��例を示す説明図である。

 図1に示すように、本実施例に係る車両番 号認識装置は、道路30を跨いで設置される門� ��40上に固定されたカメラ10と、カメラ10によ� ��て撮像された画像が入力される車両番号認� ��部20とから構成される。カメラ10は、道路30� ��を走行する車両50の後部ナンバープレート� �撮像可能に設置され、例えば一定時間間隔� �30枚/s程度の連続撮影を行うものとする。そ� ��てカメラ10によって撮像された画像は、車� �番号認識部20に連続的に入力されて車両番号 の認識処理が施される。

 車両番号認識部20において実行される車� �番号認識処理を図2に基づいて説明する。

 図2に示すように、車両番号認識部20では� ��まず、カメラ10によって撮像されたフレー� �画像を連続的に入力し(ステップS101)、入力� �れた全てのフレーム画像それぞれに対して� �ンバープレートの認識を行い、車両番号を� �出するナンバープレート認識処理を行う(ス� ��ップS102)。なお、フレーム画像入力(ステッ� ��S101)及びナンバープレート認識処理(ステッ� ��S102)は、カメラ10が撮像を行っている間繰り 返し実行される。

 ステップS102によって得られた車両番号の 認識結果は、車両番号候補として出力され、 該車両番号候補が複数存在するか否かの判定 が行われる(ステップS201)。車両番号候補が複 数存在しない、即ち、入力された車両番号候 補が全て一致する、あるいは、入力された車 両番号候補が一のみである等、車両番号候補 が一つであると判定された場合(no)には、こ� �一の車両番号候補を統合結果として出力す� �。

 一方、複数の車両番号候補が存在すると� ��定された場合(yes)は車両番号認識処理を継� �し、連続して入力された複数の車両番号候� �をグループ化する処理を行う(ステップS202)� �即ち、連続してナンバープレートが撮像さ� �た複数のフレーム画像から得られる複数の� �両番号候補を一つの集合(以下、車両番号候� ��群という)としてグループ化するのである。

 次に、車両番号候補群中のそれぞれの車� ��番号候補に対し、該車両番号候補を構成す� ��各々の文字(以下、車両番号構成文字という )全てについて、それぞれ一致する認識結果� �存在するか否かの判定を行う(ステップS203)� �そして、同一の認識結果が存在する車両番� �構成文字については、一致する認識結果が� �つであればそれを採用し、一致する認識結� �が複数存在する場合は最も多く認識結果が� �複した文字を信頼度が高いものとして採用� �る処理を行う。要するに、車両番号候補群� �ら車両番号構成文字を多数決によって決定� �る処理を行うのである。

 次に、ステップS203によって車両番号が確 定したか否かの判定を行う(ステップS204)。ス テップS203によって車両番号が確定した場合(y es)は、ステップS203によって得られた結果を� �合結果として出力する。

 一方、一つでも確定していない車両番号� ��成文字が存在する場合(no)は、処理を継続し 、車両番号候補群中の車両番号候補に対し、 車両番号構成文字の文字数が一致するか否か の判定を行う(ステップS205)。そして、全ての 車両番号候補について車両番号構成文字の数 が一致する場合は、車両番号構成文字のうち 、認識結果が一致しない文字に対して文字類 似度の評価を行い、文字類似度が高い結果を 採用して車両番号を決定する。

 次に、車両番号が確定したか否かの判定� ��行い(ステップS206)、ステップS205によって全 ての車両番号構成文字が確定している場合(ye s)には、この結果を統合結果として出力する� ��

 一方、車両番号構成文字が一つでも確定� ��ていない場合(no)は、車両番号認識処理を継 続し、車両番号構成文字毎に以下の処理を行 う(ステップS207)。

 即ち、ステップS205で文字数が一致しなか った場合は、それぞれの車両番号候補につい て車両番号構成文字の画像上における配置(� �下、文字位置という)を検出し、全ての車両� ��号候補において文字位置及び認識結果が一� ��している文字については、その認識結果を� ��用する。

 一方、文字位置が一致し、認識結果が異� ��る文字については、文字類似度の評価を行� ��、文字類似度が高い結果を採用する。

 さらに、文字位置が一致しない文字につ� ��ては、文字類似度の評価を行う。そして、� ��字類似度が一定値に満たない場合はこの文� ��の大きさを検出し、文字の大きさが既に確� ��した文字の大きさと比較して一定値以上大� ��い、または一定値以上小さい等、予め設定� ��た比率に満たない場合は、これを車両番号� ��成文字ではないと判定して車両番号候補か� ��除外する処理を行い、文字の大きさが所定� ��価値の範囲内である場合は、この文字を車� ��番号構成文字であるか否かが不明である不� ��文字として出力する処理を行う。

 そして、ステップS201,S204,S206又はS207にお� ��て出力された統合結果を、確定認識結果と� ��て出力する(ステップS208)。

 以下、上述した車両番号認識部20によっ� �実行される処理を、図3に示すフレーム画像6 1~64を例に、具体的に説明する。フレーム画� �61~64は、車両50の後部ナンバープレート51を� �メラ10によって一定時間間隔で連続的に撮像 した画像を模式的に示すものである。

 表1に、上述したステップS102によってフ� �ーム画像61~64から認識される車両番号候補及 び車両番号候補から導出される統合結果の例 を示す。

 なお、表1においてT,T+1,T+2,T+3は時刻を示� �ている。

 表1に示すパターン1は、複数の車両番号� �補が一致する例である。即ち、時刻T,T+1,T+2� �おいて撮像されたフレーム画像61,62,63から得 られた車両番号候補が「ABC123」であって一致 し、時刻T+3において撮像されたフレーム画像 64から得られた車両番号候補のみが「ABC128」� ��あって他の車両番号候補と異なっている。� ��のような場合には、図2に示したステップS20 3,S204により、複数の認識結果が一致した車両 番号「ABC123」が統合結果として出力される。

 また、パターン2は複数の車両番号候補が 全て異なる一方、認識された文字数が一致す る例である。このような場合には、図2に示� �たステップS205により、車両番号候補群中の� ��ての車両番号候補において相互に異なる結� ��となった右端の車両番号構成文字に対して� ��れぞれ文字類似度を算出する。ここで、表1 に示すパターン2においては、「3」の評価値� ��0.8と最も高いため、「3」が車両番号構成文 字の右端の文字として確定し、車両番号候補 「ABC123」が統合結果として出力される。

 また、パターン3は車両番号候補群中の車 両番号候補の文字数が一致しない例、例えば 、時刻T+2に撮像されたフレーム画像63中のノ� ��ズ成分を、車両番号構成文字「4」として誤 読したような場合の例である。なお、フレー ム画像63中の上記ノイズ成分は文字類似度が� ��定値に満たないものとし、且つ車両番号構� ��文字の大きさに比較して予め設定する所定� ��比率より小さいものとする。

 このような場合には、ステップS207により 、まず文字位置が一致し、且つ認識結果が一 致する文字を車両番号構成文字として確定す る。これにより、車両番号構成文字「A」、� �B」、「C」、「1」、「3」が確定する。

 次に、文字位置が一致し、認識結果が異� ��る文字(ここでは、車両番号候補の左から5� �目の文字)について、文字類似度を評価し、� ��字類似度が最も高い文字を車両番号構成文� ��として確定する。本パターン3においては時 刻T+1において撮像されたフレーム画像62から� ��識された「2」の評価値が最も高いものとし 、これにより、左から5番目の車両番号構成� �字として「2」が確定する。

 次に、文字位置が一致しない文字(ここで は、車両番号候補の左から7番目の文字)、即� ��フレーム画像63から認識された文字「4」に� ��いて文字類似度の評価を行う。ここで、文� ��「4」は上述したように文字類似度が所定値 に満たず、且つ、文字の大きさが、車両番号 構成文字として確定した他の文字に比較して 所定の比率より小さい。従って、文字ではな いと判断され、車両番号候補から除外される 。これにより、車両番号候補「ABC123」が統合 結果として出力される。

 なお、文字「4」の文字類似度が所定値を 満たしている場合はこれを採用するものとし 、また、文字「4」の文字類似度が所定値を� �たさず、且つ、文字の大きさが車両番号構� �文字として確定された他の文字に対して予� �設定する所定値の範囲内である場合は、不� �文字として出力される。

 上述した本実施例に係る車両番号認識装� ��によれば、煩雑な調整等を行うことなく高� ��度に車両番号の認識処理を行うことが可能� ��あり、信頼性の高い車両番号認識が可能と� ��る。

 図4乃至図6に基づいて、本発明の第2の実� ��例を説明する。図4は本実施例における車両 番号測定装置の概略図、図5は本実施例にお� �る車両番号認識処理の流れを示すフローチ� �ート、図6は本実施例において撮像されたフ� ��ーム画像の例を示す説明図である。

 図4に示すように、本実施例に係る車両番 号認識装置は、道路30に設置される二つの門� ��41,42上にそれぞれ固定されたカメラ11,12と、 カメラ11,12によって撮像された画像が入力さ� ��る車両番号認識部20とから構成される。

 カメラ11,12は、それぞれ道路30上を走行す る車両50の後部ナンバープレート、前部ナン� ��ープレートを撮像可能に設置され、例えば� ��定時間間隔で30枚/s程度の連続撮影を行うも のとする。なお、カメラ11,12が撮像した画像� ��、同期した状態で車両番号認識部20に連続� �に入力される。即ち、本実施例は上述した� �施例1の構成に比較して、車両50の前部ナン� �ープレートを撮像するカメラを一台追加し� �ものであり、その他の構成は実施例1と概ね� ��様である。

 本実施例において、車両番号認識部20で� �行される車両番号認識処理を図5に基づいて� ��明する。

 図5に示すように、車両番号認識部20では� ��まず、カメラ11,12によってそれぞれ撮像さ� �たフレーム画像を、同期した状態で各々連� �的に入力し(ステップS111、S121)、カメラ11,12� �よって各々撮像されたフレーム画像全てに� �してそれぞれナンバープレート51,52の認識を 行い、車両番号を抽出するナンバープレート 認識処理を行う(ステップS112,S122)。

 ステップS102、S104によって得られた車両� �号の認識結果は、車両番号候補として出力� �れ、認識結果統合処理が行われる(ステップS 200)。なお、該認識結果統合処理(ステップS200 )は、図2に示し、実施例1において説明したス テップS201~ステップS208と同一の処理を実行す るものであり、重複する説明は省略する。

 本実施例において、車両番号認識部20に� �って実行される処理を、カメラ11によって図 3に示すフレーム画像61~64が撮像され、カメラ 12によって図6に示すフレーム画像65~68が撮像� ��れた場合を例として説明する。

 フレーム画像61~64、フレーム画像65~68は、 それぞれ時刻T~T+3において撮像されたもので� ��り、図3に示すようにフレーム画像61~64には� ��両50の後部プレート51が連続的に撮像され、 図6に示すようにフレーム画像65~68には車両50� ��前部ナンバープレート52が連続的に撮像さ� �ている。

 表2に、本実施例において、図3及び図6に� ��すフレーム画像61~68からナンバープレート� �識処理(ステップS112,S122)によって認識された 車両番号候補の例を示す。

 なお、表2においてT,T+1,T+2,T+3は時刻を示� �ている。

 表2に示す例は、複数の車両番号候補が一 致した例である。詳しくは、車両50の後部ナ� ��バープレート51を時刻T,T+1,T+2において撮像� �たフレーム画像61,62,63から得られた車両番号 候補と、前部ナンバープレート52を時刻T+2,T+3 において撮像したフレーム画像67,68から得ら� ��た車両番号候補とが、「ABC123」となり、一� ��している。したがって、本例においては、� ��数の認識結果が一致する車両番号候補「ABC1 23」が統合結果となり、確定認識結果として� ��力されることとなる。

 このように、本実施例によれば、実施例1 による作用効果に加えて、より多くの情報に 基づいて車両番号認識処理を行うことにより 、車両番号の認識精度を向上させることがで きる。また、例えば、ナンバープレート51ま� ��は52の汚れ、破損等の品質低下を誘因とす� �車両番号の認識精度の低下を回避し、車両� �号の認識処理を高精度に実行することがで� �る。

 図7及び図8に基づいて、本発明の第3の実� ��例を説明する。図7は本実施例における車両 番号測定装置の設置例を示す説明図、図8は� �実施例における車両番号認識処理の流れを� �すフローチャートである。

 図7に示すように、本実施例に係る車両番 号認識装置は、道路30に設置される門柱40上� �固定されたカメラ13及び門柱40の近傍の道路� ��であって、カメラ13に比較して低位置に固� �されたカメラ14と、カメラ13,14によって撮像� ��れたフレーム画像が入力される車両番号認� ��部20とから構成される。

 即ち、本実施例は、上述した実施例1にお いて、カメラ10に加えて、カメラ10とは異な� �方向から同一のナンバープレートを撮像す� �カメラを追加したものであり、その他の構� �は実施例1と概ね同様であり、重複する説明� ��適宜省略する。

 カメラ13,14は、それぞれ道路30上を走行す る車両50の後部ナンバープレートを撮像可能� ��設置され、例えば一定時間間隔で30枚/s程度 の連続撮影を行うものとする。そしてカメラ 13,14が撮像した画像は、同期した状態で車両� ��号認識部20に連続的に入力されて車両番号� �識処理が実行される。

 車両番号認識部20において実行される車� �番号認識処理を図8に基づいて説明する。

 車両番号認識部20では、まず、カメラ13,14 によってそれぞれ撮像されたフレーム画像を 、同期した状態で各々連続的に入力し(ステ� �プS131、S141)、カメラ13,14によって各々撮像さ れたフレーム画像全てに対してそれぞれナン バープレートの認識を行い、車両番号を抽出 するナンバープレート認識処理を行う(ステ� �プS132,S142)。フレーム画像入力及びナンバー� ��レート認識処理は、カメラ10が撮像を行っ� �いる間繰り返し実行される。

 ステップS132、S142によって得られた車両� �号の認識結果は、車両番号候補として出力� �れ、認識結果統合処理が行われる(ステップS 200)。なお、認識結果統合処理においては、� �2に示し、実施例1において説明したステップ S201~ステップS208と同一の処理を実行するもの とし、詳しい説明は省略する。

 本実施例によれば、実施例1による作用効 果に加えて、より多くの情報に基づいて車両 番号認識処理を行うことにより、車両番号の 認識精度を向上させることができる。また、 例えば、ナンバープレートの位置によってナ ンバープレートの撮像が困難となる等による 車両番号の認識精度の低下を回避し、確実に 車両番号の認識処理を実行することができる 。

 なお、本実施例においては二台のカメラ1 1,13を用いる例を示したが、例えば、カメラ� �三台以上設置し、それぞれのカメラによっ� �異なる位置から同一方向を撮像するように� �てもよい。また、カメラによって撮像する� �ンバープレートは、後部ナンバープレート� �限らず、前部ナンバープレートとしても構� �ない。

 図9及び図10に基づいて本発明の第4の実施 例を説明する。図9は本実施例に係る車両番� �認識処理の流れを示すフローチャート、図10 は本実施例の概念図である。なお、本実施例 は、上述した図1に示す構成に適用される。

 図9に示すように、本実施例に係る車両番 号認識装置は、上述した実施例1における処� �に加えて、確定認識結果において不明文字� �存在する場合にこの結果を修正し、該不明� �字として出力された文字を導出する処理を� �加したものである。本実施例において、ス� �ップS200(ステップS201~S208)までは、実施例1と� ��一の処理が行なわれるものであり、重複す� ��説明は省略する。

 本実施例においては、ステップS200の処理 を行なった後、上述した実施例1において得� �れた確定認識結果に不明文字が存在するか� �かの判定を行う(ステップS301)。そして、不� �文字が存在しない場合は修正不要として入� �された確定認識結果を最終的な結果として� �力する。

 一方、入力された確定認識結果に不明文� ��が存在する場合は処理を継続し、不明文字� ��外の確定された文字の情報と、ナンバープ� ��ート情報を管理する車両データベースとを� ��会して不明文字に該当する文字を導出し、� ��れを最終結果として出力する(ステップS302)� ��

 そして、ステップS301,S302から出力された� ��合結果を、修正された確定認識結果として� ��力する(ステップS303)。

 図10に基づき、認識結果修正の具体的な処� �を説明する。図10(a)は車両番号の文字配列規 則によって車両番号が一意に導出される例、 図10(b)はデータベースに車両番号の複数の候� ��が存在する例を表している。
 図10に基づき、車両番号認識処理部20におけ る具体的な処理を説明する。図10(a)は車両番� ��の文字配列規則によって車両番号が一意に� ��出される例、図10(b)はデータベースに車両� �号の複数の候補が存在する例を表している� �

 図10(a)に示すように、認識結果統合処理(� ��テップS200)によって出力された車両番号候� �71が、左側の5文字「ABC12」が確定され、右端 の1文字が不明な場合であって、且つ、デー� �ベース81に蓄積されている車両情報中に、車 両番号候補71と比較して、左側5文字が一致す る車両番号が「ABC123」のみである場合、即ち 、不明文字以外の車両番号構成文字が一致し 、且つ、不明文字に対応する文字が一つのみ である場合には、車両番号が一意に導出され るため、修正結果(統合結果)91として該「ABC12 3」を出力する。

 一方、不明文字に対応する文字がデータ� ��ース81に複数存在する場合は、例えば、ス� �ップS200で不明文字の文字類似度が所定値よ� ��低いと判定された場合であっても、図10(b)� �示すように、文字類似度が高い順に予め車� �番号候補72-1,72-2,72-3を列挙しておく。そして 、データベース82によって管理されるナンバ� ��プレート情報から不明文字に対応する文字� ��うち最も文字類似度が高い文字を不明文字� ��該当する文字として採用する。これにより� ��修正結果(統合結果)92として「ABC123」を出力 する。

 本実施例によれば、上述した実施例1によ る作用効果に加え、画像処理と、データベー スにおいて管理される車両情報とを用いて車 両番号の認識を行うため、車両番号の認識精 度をより向上させることができる。

 図11及び図12に基づいて本発明の第5の実� �例を説明する。図11は本実施例に係る車両番 号認識装置の概略図、図12は本実施例に係る� ��両番号認識装置による車両番号認識処理の� ��順を示すフローチャートである。

 図11に示すように、本実施例に係る車両� �号認識装置は、道路30を跨いで設置される門 柱45,46,47…上に固定された複数のカメラ15,16,1 7,…、と、カメラ15,16,17,…から入力されるフ� ��ーム画像に対して各々車両番号認識処理を� ��う車両番号認識部(図示省略)とを備えてい� �。カメラ15,16,17,…は、それぞれ道路30上を走 行する車両50の後部ナンバープレートを撮像� ��能に設置され、例えば一定時間間隔で30枚/s 程度の連続撮影を行うものとする。

 即ち、本実施例は、複数の実施例1に示し た車両番号認識装置の情報を用いて車両番号 の認識を行うものであり、それぞれの車両番 号認識装置は実施例1に示したものと同様で� �る。

 本実施例による車両番号認識処理を図12� �基づいて説明する。

 図12に示すように、本実施例に係る車両� �号認識装置は、路側装置と中央装置を備え� �路側装置は、複数のカメラ15,16,17,…によっ� �撮像されたフレーム画像からステップS101,S10 2,S200によってそれぞれ確定認識結果を出力す るものである。なお、ステップS101,S102,S200は� ��述した実施例1~4に示す処理と同一であり、� ��複する説明は省略する。

 次に、中央装置によって実行される認識� ��理を図12に基づいて説明する。

 中央装置においては、例えば、カメラ16� �よって撮像されたフレーム画像から得られ� �確定認識結果に不明文字が存在するか否か� �判定を行い(ステップS401)、不明文字が存在� �ない場合(no)は修正不要として出力する。

 一方、不明文字が存在する場合(yes)は、� �識結果修正処理を継続し、カメラ16に対して 距離的に近い位置に設置されているカメラ(� �えば、カメラ15,17)によって撮像したフレー� �画像から得られた確定認識結果を抽出する� �理を行なう(ステップS402)。

 さらに、ステップS403によって得られた確 定認識結果の中から、撮影時刻が近く、結果 が相似しているものを抽出し(ステップS403)、 その中から不明文字が存在せず、複数の確定 認識結果が一致する車両番号を選択し(ステ� �プS404)、これを最終的な確定認識結果として 出力する(ステップS405)のである。

 表3に、本実施例において、カメラ15,16,17� ��よって撮像した画像から得られた認識結果� ��例を示す。ここでは、カメラ15,16,17のカメ� �番号を、N-1,N,N+1として説明する。

 表3に示すように、カメラ16によって撮像� ��た画像から得られた認識結果に不明文字が� ��在する場合、撮影時刻(または距離)が近く� �結果が相似しているものを抽出することに� �り、統合結果を「ABC123」として確定するの� �ある。

 上述した本実施例によれば、同一のナン� ��ープレートであっても、異なった条件で撮� ��されたフレーム画像から得られた結果を用� ��て車両番号の認識処理を総合的に行なうこ� ��ができるため、更なる認識精度の向上を図� ��ことができる。

 本発明の第6の実施例を説明する。本実施 例は、実施例1において、図2に示したステッ� ��S205以降の処理を行う際に、文字類似度とし て、フレーム画像におけるナンバープレート 領域の解像度、即ち、フレーム画像上におけ るナンバープレートの面積や車両番号の大き さを用いるものである。その他の構成は実施 例1と同様であり、重複する説明は省略する� �

 表4に、本実施例において、図3に示すフ� �ーム画像61~64から得られる車両番号候補の例 と、フレーム画像61~64中におけるナンバープ� ��ート領域の解像度を検出した結果の一例を� ��す。

 なお、表4においてT,T+1,T+2,T+3は時刻を示� �ている。

 表4に示す例は、全ての車両番号候補が異 なり、文字数が一致する例である。したがっ て、車両番号認定処理は図2に示すステップS2 05へと進み、ステップS205において認識結果が 異なる文字(本実施例では右端の文字)の文字� ��似度の評価が実行される。

 本実施例では、上述したようにフレーム� ��像においてナンバープレート領域の解像度� ��高いものを文字類似度大、ナンバープレー� ��領域の解像度が低いものを文字類似度小と� ��て車両番号認識処理に用いる。従って、表4 に示す例においては、最も解像度が高い、時 刻Tにおいて撮像された画像61から導出された 「ABC123」が統合結果として出力される。

 上述した本実施例に係る車両番号認識装� ��によれば、確度の高い画像に基づく処理結� ��に対して優先度を付与することにより、信� ��性の低い結果を採用することを防止し、高� ��度な認識を維持することができる。

 本発明の第7の実施例を説明する。本実施 例は、実施例1において、車両番号候補群中� �車両番号候補が全て異なり、図2に示したス� ��ップS205以降の処理を行う際に、撮像された ナンバープレートにおける文字と背景のコン トラストがより良好なフレーム画像、又は、 ナンバープレートのエッジ強度のより強い、 換言すると、ナンバープレートがより鮮明に 撮像されたフレーム画像から認識された車両 番号候補を、文字類似度大とするものである 。その他の構成は実施例1と同様であり、重� �する説明は省略する。

 表5に、本実施例において、図3に示すフ� �ーム画像61~64からナンバープレート認識処理 によって認識された車両番号候補と、フレー ム画像61~64中におけるナンバープレート領域� ��コントラストを算出した結果の一例を示す� ��なお、ナンバープレート領域のコントラス� ��としては、例えば、ナンバープレートにお� ��る文字と背景との輝度差等とすればよい。

 なお、表5においてT,T+1,T+2,T+3は時刻を示� �ている。

 表5に示す例は、全ての車両番号候補が異 なり、文字数が一致する例である。したがっ て、車両番号認定処理は図2に示すステップS2 05へと進み、ステップS205において認識結果が 異なる文字(本実施例では右端の文字)の文字� ��似度の評価が実行される。

 本実施例では、上述したようにフレーム� ��像においてナンバープレートのコントラス� ��が強いものを文字類似度大、コントラスト� ��弱いものを文字類似度小として車両番号認� ��処理に用いる。従って、表5に示す例におい ては、最も解像度が高い、時刻Tにおいて撮� �された画像61から導出された「ABC123」が統合 結果として出力される。

 上述した本実施例に係る車両番号認識装� ��によれば、確信度の高い画像での処理結果� ��対して優先度を付与することにより、信頼� ��の低いデータを採用する虞を低減し、高い� ��識精度を維持することができる。

 図13に基づいて本発明の第8の実施例を説� ��する。図13は本実施例における車両番号認� �処理の流れを示すフローチャートである。

 本実施例は、ナンバープレートの車両番� ��配列が、例えば、配置パターンとして「左� ��3文字は英字、右側3文字は数字であり、か� �、英字の2文字目は「A」または「B」である� �等の文字配列規則を有する場合に適用され� �ものである。

 本実施例において車両番号認識部20で実� �される車両番号認識処理を図13に基づいて説 明する。

 図13に示すように、本実施例に係る車両� �号認識装置では、図2に示し上述したステッ� ��S205,S207と並行して車両番号候補を文字配列� ��則に対応させる処理(ステップS501,S502)を行� �ものである。その他の構成は実施例1と同様� ��あり、重複する説明は省略する。

 表6に、本実施例において、図3に示すフ� �ーム画像61~64から得られる車両番号候補の一 例を示す。

 なお、表6においてT,T+1,T+2,T+3は時刻を示� �ている。

 表6に示す例は、全ての車両番号候補が異 なり、且つ、文字数が一致する例である。し たがって、図13に示す車両番号認定処理はス� ��ップS205へと進み、ステップS205において認� �結果が異なる文字(本実施例では左側から2,5, 6番目の文字)の文字類似度の評価が実行され� ��。

 ここで、表5から、フレーム画像61,64から� ��られた車両番号候補は左から2番目の文字が 「B」、フレーム画像62,63から得られた車両番 号候補は左から2番目の文字が「D」である。� ��って、この文字は多数決によって確定する� ��とができないため、文字類似度による判定� ��行われる。

 このとき、例えば、「英字の2文字目は「 A」または「B」のみである」という文字配列� ��則がある場合は、ステップS501において英字 の2文字目の車両番号構成文字を「B」に確定� ��ることができる。

 また、例えば、文字類似度による判定を� ��い、文字類似が「B」,「D」ともに同程度で� ��るという結果が得られた場合であっても、� ��字配列規則に照会することで車両番号構成� ��字を「B」に確定することができる。

 上述した本実施例に係る車両番号認識装� ��によれば、画像処理以外の情報を用いて車� ��番号の認識処理を行うことにより、更なる� ��識精度の向上が可能となる。

 図14及び図15に基づいて本発明の第9の実� �例を説明する。図14は本実施例における車両 番号認識処理の流れを示すフローチャート、 図15は本実施例において撮像されたフレーム� ��像の例を示す説明図である。

 本実施例は、図1及び図3に示し上述した� �施例1に係る車両番号認識装置において、カ� ��ラ10によって複数の画像を撮像する際、ナ� �バープレート検知後に撮像されるフレーム� �像を、カメラ10のレンズのズーム倍率を制御 しつつ撮像する処理を追加したものである。 カメラ10のレンズのズーム倍率は、直前に撮� ��されたフレーム画像上のナンバープレート� ��位置情報に基づいて決定される。

 本実施例において車両番号認識部20で実� �される車両番号認識処理を図14に基づいて説 明する。

 図14に示すように、本実施例に係る車両� �号認識装置では、図2に示し上述したカメラ1 0によって撮像されたフレーム画像を連続的� �入力するフレーム画像入力処理(ステップS151 )、及び、入力された全てのフレーム画像そ� �ぞれに対してナンバープレートの認識を行� �、車両番号を抽出するナンバープレート認� �処理(ステップS152)を行った後、ナンバープ� �ートの位置情報を基にズーム倍率を算出す� �処理(ステップS153)を行う。

 そして、カメラ10のレンズを制御し、ズ� �ム倍率が算出された値となるように調整す� �(ステップS154)。その後、ステップS151に戻り� ��ステップS153で算出されたズーム倍率に調整 されたカメラ10によってナンバープレートを� ��像し、これによって得られたフレーム画像� ��車両認識部20に入力するのである。その他� �構成は実施例1と同様であり、重複する説明� ��省略する。なお、図14に示す認識結果統合� �理(ステップS200)は、図2に示し、実施例1にお いて説明したステップS201~ステップS208と同一 の処理を実行するものである。

 本実施例においては、上述したステップS 153,S154の処理を行うことにより、図15に示す� �うなフレーム画像161~164が得られる。

 以下、本実施例に係る車両番号認識装置� ��おいて車両番号認識部20が行う処理の一例� �、図15に示す第1~第4フレーム画像161~164を例� �、具体的に説明する。フレーム画像161~164は� ��車両50の後部ナンバープレート51をカメラ10� ��よって一定時間間隔で連続的に撮像した画� ��を模式的に示すものである。

 車両認識部20では、カメラ10によって第1フ� �ーム画像161が撮像され、ナンバープレート51 を検知すると、第1フレーム画像161上におけ� �ナンバープレート51の位置p ₁ 及び大きさs ₁ から次のフレーム画像を撮像する際に適用す るズーム倍率を算出する。そして、カメラ10� ��レンズをステップS153で算出されたズーム倍 率になるように制御して次のフレーム画像を 撮像し、第2フレーム画像162を得る。

 更に、第2フレーム画像162上におけるナンバ ープレート51の位置p ₂ 及び大きさs ₂ から算出されたズーム倍率に基づいて第3フ� �ーム画像163を得、該第3フレーム画像163上に� ��けるナンバープレート51の位置p ₃ 及び大きさs ₃ から算出されたズーム倍率に基づいて第4フ� �ーム画像164を得るのである。

 表7に、本実施例において、図15に示すフ� ��ーム画像161~164から得られる車両番号候補の 一例を示す。

 なお、表7においてT,T+1,T+2,T+3は時刻を示� �ている。

 表7に示す例は、全ての車両番号候補が一 致している例である。従って、認識結果統合 処理(ステップS200)で、ステップS201において� �両番号候補が一つである(no)と判定され、ス� ��ップS208により「ABC123」が確定認識結果とし て出力される。本実施例においては、フレー ム画像161~164上の車両番号が高解像度で得ら� �るため、認識精度が向上し、一致した車両� �号候補を得やすくなることが期待できる。

 上述した本実施例に係る車両番号認識装� ��によれば、第2~第4フレーム画像162~164上のナ ンバープレート51を、それぞれ概ね一定の大� ��さに拡大した状態で撮像するため、例えば� ��3に示すフレーム画像62~64に比較して、車両� ��号を高解像度で得ることが可能となる。こ� ��ように、各フレーム画像161~164に撮像された 車両番号を好適な解像度で得ることにより、 実施例1による作用効果に加え、更なる認識� �度の向上が可能となる。

 なお、本実施例においてはフレーム画像� ��161~163におけるナンバープレート51の位置及� ��大きさから次のフレーム画像を撮像する際� ��適用するズーム倍率を算出する例を示した� ��、フレーム画像上161~163におけるナンバープ レート51の位置のみから次のフレーム画像を� ��像する際に適用するズーム倍率を算出する� ��うにしても良い。

 図16及び図17に基づいて本発明の第10の実� ��例を説明する。図16は本実施例における車� �番号認識処理の流れを示すフローチャート� �図17は本実施例において撮像されたフレーム 画像の例を示す説明図である。

 本実施例は、上述した実施例9に係る車両 番号認識装置に比較して、カメラ10のレンズ� ��ズーム倍率を、連続する二つのフレーム画� ��に撮像されたナンバープレートの位置から� ��出した車速に基づいて決定するものであり� ��その他の構成は実施例9と概ね同様である。

 本実施例において車両番号認識部20で実� �される車両番号認識処理を図16に基づいて説 明する。

 図16に示すように、本実施例に係る車両� �号認識装置では、図2に示し上述したカメラ1 0によって撮像されたフレーム画像を連続的� �入力するフレーム画像入力処理(ステップS161 )、及び、入力された全てのフレーム画像そ� �ぞれに対してナンバープレートの認識を行� �、車両番号を抽出するナンバープレート認� �処理(ステップS162)を行った後、連続する二� �のフレーム画像上に撮像されたナンバープ� �ートの位置から、車速を測定し、得られた� �速情報を基にズーム倍率を算出する処理(ス� ��ップS163)を行う。

 そして、カメラ10のレンズを制御し、算� �されたズーム倍率に調整する(ステップS164)� �その後、ステップS161に戻り、ステップS163で 算出されたズーム倍率に基づいてナンバープ レートを撮像し、これによって得られたフレ ーム画像を車両認識部20に入力するのである� ��その他の構成は実施例9と同様であり、重複 する説明は省略する。

 本実施例においては、上述したステップS 163,S164の処理を行うことにより、図17に示す� �うなフレーム画像261~264を得ることができる� ��

 以下、本実施例に係る車両番号認識装置� ��おいて車両番号認識部20が行う処理の一例� �、図17に示す第1~第4フレーム画像261~264を例� �、具体的に説明する。フレーム画像261~264は� ��車両50の後部ナンバープレート51をカメラ10� ��よって一定時間間隔で連続的に撮像した画� ��を模式的に示すものである。

 車両認識部20では、カメラ10によって第1フ� �ーム画像261が撮像され、ナンバープレート51 が検知されると、第1フレーム画像261上にお� �るナンバープレート51の位置と第2フレーム� �像262上におけるナンバープレート51の位置と の差d ₁ に基づいて車両50の走行速度を測定し、次の� ��レーム画像を撮像する際に適用するカメラ1 0のズーム倍率を算出する。そして、カメラ10 のレンズを算出されたズーム倍率になるよう に制御して次のフレーム画像を撮像し、第3� �レーム画像263を得る。

 更に、第2フレーム画像262上におけるナンバ ープレート51の位置と第3フレーム画像263上に おけるナンバープレート51の位置との差d ₂ に基づいて車両50の走行速度を測定し、算出� ��れたズーム倍率に基づいて第4フレーム画像 264を得るのである。

 表8に、本実施例において、図17に示すフ� ��ーム画像261~264から得られる車両番号候補の 一例を示す。

 なお、表8においてT,T+1,T+2,T+3は時刻を示� �ている。

 表8に示す例は、全ての車両番号候補が一 致している例である。従って、認識結果統合 処理(ステップS200)では、ステップS201におい� �車両番号候補が一つである(no)と判定され、� ��テップS208により「ABC123」が確定認識結果と して出力される。本実施例においては、実施 例9と同様に、フレーム画像261~264上の車両番� ��が高解像度で得られるため、認識精度が向� ��し、一致した車両番号候補を得やすくなる� ��とが期待できる。

 上述した本実施例に係る車両番号認識装� ��によれば、車両50の車速を測定し、車速情� �に基づいてカメラ10のズーム倍率を制御する ため、フレーム画像261~264上のナンバープレ� �ト51を適度に拡大した状態で撮像することが でき、例えば図3に示すフレーム画像62~64に比 較して、車両番号を高解像度で得ることが可 能となる。これにより、実施例9と同様に実� �例1による作用効果に加えて更なる認識精度� ��向上が可能となる。

 図18に基づいて本発明の第11の実施例を説 明する。図18は本実施例に係る車両番号認識� ��置による車両番号認識処理の手順を示すフ� ��ーチャートである。本実施例は、上述した� ��施例1のステップS201~208の処理に代えて、図1 8に示すステップS211~ステップS218の処理を行� �例である。

 具体的には、実施例1のステップS207の処� �に代えて、図18に示すステップS217の処理を� �うものである。その他の構成は実施例1にお� ��て説明したものと概ね同様であり、重複す� ��説明は省略する。図18に示すステップS211~S21 6及びS218の処理には、図2に示し上述したステ ップS201~S206及びS208の処理と同様の処理をそ� �ぞれ行うものとする。

 図18に示すように、本実施例では、ステ� �プS216において車両番号が確定したか否かの� ��定を行った結果、車両番号構成文字が一つ� ��も確定していない場合(no)に、車両番号認識 処理を継続して車両番号構成文字毎に以下の 処理を行う(ステップS217)。

 即ち、文字数が一致しなかった場合は、� ��れぞれの車両番号候補について車両番号構� ��文字の文字位置を検出し、全ての車両番号� ��補において文字位置と認識結果とが一致し� ��いる文字については、その認識結果を採用� ��る。

 一方、文字位置と認識結果が一致しない� ��例えば、文字位置に対して異なる認識結果� ��存在する場合、又は、文字位置が一致しな� ��文字が存在する場合については、例えば非� ��許文献1に開示されている文字列の読み取り 方式等を用いて車両番号の確定を行う。

 具体的には、各文字に複数の推定位置(以 下、推定文字位置という)を仮定し、認識結� �の文字の文字類似度を得点として推定文字� �置に対して投票する。このとき、推定文字� �置ごとに予め得点の重み係数を設定してお� �、この重み係数に文字類似度を積算したも� �を投票するようにする。そして、投票の結� �、一つの文字に対して得点の高い推定文字� �置を正解として採用する処理を行うのであ� �。なお、本実施例において重み係数はカメ� �10の設置環境、ナンバープレート認識処理(� �テップS102)を行う際に得られるデータ等を考 慮して状況に応じて予め設定される値とする 。

 以下、本実施例において図2に示した車両 番号認識部20によって実行される処理を、図3 に示すフレーム画像61~64を例に、具体的に説� ��する。

 表9に、上述したステップS102によってフ� �ーム画像61~64から認識される車両番号候補の 例を示す。

 表9に示す例は、車両番号候補群中の車両 番号候補の文字数が一致しない例である。具 体的には、時刻Tに撮像されたフレーム画像61 中の「A」、及び時刻T+3に撮像されたフレー� �画像64中の「3」が認識されず車両番号候補� �5文字として認識結果が出力され、且つ、時� ��T+2に撮像されたフレーム画像63中の「C」が� ��D」として認識された例であり、認識結果の 文字位置(以下、認識文字位置という)「1」~� �5」、即ち左側の5文字については、文字位置 に対して異なる認識結果が存在し、また、認 識文字位置「6」、即ち左から6番目の文字(以 下同様に、左からm番目の文字を文字位置「m� ��と表記する)については該文字位置に対応す る文字が存在しない認識結果がある。表10に� ��識文字位置に対する推定文字位置の設定例� ��示す。なお、以下、認識文字位置との差別� ��のため、推定文字位置には「'」を付して説 明するものとする。

 表10に示すように、表9に示したような認� ��結果が得られた場合には、文字の欠落やノ� ��ズの影響による誤認識等(以下、欠落等とい う)を考慮して、全ての認識結果の車両番号� �成文字について認識文字位置毎に実際の文� �位置(以下、正解文字位置という)である可能 性が高いと考えられる複数の推定文字位置(� �えば、認識文字位置「i」に対しては「(i-1)'� ��,「i'」,「(i+1)'」等)を定義する。

 なお、車両番号構成文字数が既知である� ��合は、例えば、車両番号構成文字数が6文字 であれば認識文字位置「6」に対して定義す� �推定文字位置を「5'」及び「6'」のみとする� ��、車両番号構成文字数を反映させて推定文� ��位置を設定するようにしてもよい。また、� ��つの認識文字位置に対して設定する推定文� ��位置は2つ又は3つに限らず、必要に応じて� �定すればよい。

 次に、定義した全ての推定文字位置に対� ��て予め重み係数を設定する。表11は推定文� �位置に対する重み係数の設定例である。

 表11に示す例は、認識文字位置が正解文� �位置である可能性が最も高いと仮定して、� �認識文字位置と同位置に定義された推定文� �位置(例えば、認識文字位置「1」に対する推 定文字位置「1'」)の重み係数を1.0に設定して いる。

 更に、一つの認識文字位置に対して該認� ��文字位置と異なる文字位置は正解位置であ� ��可能性がやや低いと仮定して、認識文字位� ��と異なる位置として定義された推定文字位� ��(例えば、認識文字位置「2」に対する推定� �字位置「1'」及び「3'」)の重み係数を0より� �きく1より小さい値(ここでは、0.7又は0.8)に� �定している。

 なお、表11に示す重み係数は一例であり� �例えば、欠落等による文字位置変動の実績� �を反映させる等、種々の条件に応じてその� �を設定することができる。

 表12に、各々の時刻(T~T+3)において撮像さ� ��たフレーム画像61~64それぞれについて、得� �れた認識結果に対して車両番号構成文字の� �字類似度に表11に示した重み係数を反映させ て算出した得点を投票する例を示す。

 表12に示す得点は、文字類似度と表11に示 した重み係数との積算により算出した。例え ば、時刻Tにおける認識文字位置「1」、推定� ��字位置「1'」の文字「B」の得点「0.8」は、� ��該文字「B」の文字類似度「0.8」と重み係数 「1.0」とを積算して算出したものである。な お、表12に示す文字類似度は一例であり、種� ��の条件に応じてその値は異なる。

 各々の時刻(T~T+3)における認識結果につい て得点を算出したら、認識結果及び推定文字 位置が一致する得点結果をそれぞれ加算する 。表13に投票結果を示す。

 表13において、例えば、認識結果「A」且� ��推定文字位置「1'」における得点「1.6」は� �表12に示した時刻T+1、T+2及びT+3における認識 結果「A」が推定文字位置「1'」である場合の 得点「0.5」、「0.6」及び「0.5」を加算したも のである。

 そして、得点結果に基づき、車両番号構� ��文字の認識結果に対して得点が高い推定文� ��位置が正解文字位置であるとみなす。即ち� ��13に示す例では、車両番号構成文字「B」は� ��点が最も高い文字位置「2」、以下同様に、 車両番号構成文字「2」が文字位置「5」、車� ��番号構成文字「1」が文字位置「4」、車両� �号構成文字「C」が文字位置「3」、車両番号 構成文字「3」が文字位置「6」、車両番号構� ��文字「A」が文字位置「1」の順に採用され� �これにより、「ABC123」が確定認識結果とし� �出力される。なお、車両番号構成文字「D」� ��ついては得点が低いために採用されていな� ��。

 上述した本実施例に係る車両番号認識装� ��によれば、複数の画像を各々処理した結果� ��統合することにより、一部の画像を処理し� ��結果に正解文字の欠落が起きたような場合� ��あっても車両番号を認識することが可能で� ��り、且つ、1枚の画像のみを処理するよりも 高い認識精度を得ることができる。

 なお、本実施例においては文字位置が一� ��し認識結果が異なる場合に推定文字位置を� ��定する例を示したが、このように文字位置� ��一致し認識結果が異なる場合には、上述し� ��実施例1において説明したように、類似度が 高い結果を採用するようにする等、本発明の 趣旨を逸脱しない範囲で種々の変更が可能で あることはいうまでもない。

 以下、本発明の第12の実施例について説� �する。本実施例は、上述した実施例11におい て、ステップS217による、複数の認識結果の� �字数及び文字位置が異なる場合における処� �の際に、認識結果を確定するために用いる� �字類似度が例えば文字類似度1位と文字類似� ��2位等、順位間でその差が小さい場合を考慮 して、任意の指定順位(本実施例では、文字� �似度2位)までの得点を算出してこれを投票す るようにしたものである。その他の処理は実 施例において説明した処理と同様とし、重複 する説明は省略する。

 表14に、図18に示すステップS102によって� �図3に示すフレーム画像61~64から得られる車� �番号候補の一例を示す。

 表14に示す例は、車両番号候補群中の車� �番号候補の文字数が異なる例である。具体� �には、時刻Tに撮像されたフレーム画像61中� �「A」、及び時刻T+3に撮像されたフレーム画� ��64中の「3」が認識されず車両番号候補が5文 字として認識結果が出力され、且つ、時刻T+2 に撮像されたフレーム画像63中の「A」が「H� �、「C」が「D」として認識された例であり、 認識結果の文字位置(以下、認識文字位置と� �う)が「1」~「5」の文字については、文字位� ��に対して異なる認識結果が存在し、また、� ��識文字位置「6」については該文字位置に対 応する文字が存在しない認識結果がある。

 なお、本実施例においては、一例として� ��刻T+2に撮像されたフレーム画像63中の認識� �字位置「1」に該当する文字に対して、文字� ��似度の評価の結果が、1位が文字類似度0.5で 「H」、2位が文字類似度0.45で「A」であった� �して説明する。

 本実施例では、上述した実施例11におい� �設定した表10及び表11に示す推定文字位置及� ��文字類似度の重み係数を用い、一つの推定� ��字位置に対応する文字の文字類似度が1位と 2位とで近似する、例えば、文字類似度の差� �が予め設定した値より小さい場合に文字類� �度2位の文字までを車両番号構成文字の候補� ��して考慮するものとする。表15に各々の時� �(T~T+3)において撮像されたフレーム画像61~64� �れぞれについて、得られた認識結果に対し� �車両番号構成文字の文字類似度に表11に示し た重み係数を反映させて算出した得点を投票 する例を示す。

 表15は、時刻T+2、T+3における認識結果の� �ち、認識文字位置「1」の車両番号構成文字� ��ついて文字類似度が1位と2位で近似する例� �示している。表16に、表14に示した認識結果� ��基づき文字類似度1位の結果のみを適用した 場合の統合結果、および、文字類似度2位の� �果までを適用した場合の統合結果を示す。

 表16に示すように、文字類似度1位の結果� ��みを適用した場合は「HBC123」が統合結果と� ��り、誤認識となるおそれがあるが、文字類� ��度2位の結果までを適用した場合は「ABC123」 が統合結果となり、正しい結果が確定認識結 果として出力されることが分かる。

 このように、本実施例によれば、実施例1 1による作用効果に加えて、個々の画像に対� �る文字認識精度が低い場合であっても、複� �の画像を各々処理した結果を統合すること� �より高い認識精度を得ることができる。

 なお、表16には文字類似度が1位と2位とで 近似するもののみを記載し、その他の文字に ついては2位の文字類似度が略ゼロに近いと� �て省略した。なお、2位以下の類似度が小さ� ��場合、例えば、1位の文字類似度と2位の文� �類似度との差分が予め設定した値より大き� �場合等には前処理を行ってこれを削除する� �うにしてもよい。また、本実施例において� �文字類似度2位までの結果を考慮して得点を� ��票するようにしたが、本発明はこれに限定� ��れるものではなく必要に応じて種々の変更� ��可能であることはいうまでもない。

 図19及び図20に基づいて本発明の第13の実� ��例を説明する。図19は本実施例における車� �番号認識処理の流れを示すフローチャート� �図20はナンバープレート処理の流れを示すフ ローチャートである。本実施例は、上述した 実施例11において、一つのフレーム画像に対� ��て車両番号を抽出するための評価値を複数� ��定し、それぞれの評価値に基づいてナンバ� ��プレート認識処理を行う例であり、図18に� �し上述した構成に適用される。その他の構� �は図18に示し上述した実施例11の構成と概ね� ��様であり、重複する説明は省略する。

 図19に示すように、本実施例において車両� �号認識部20では、まず、カメラ10によって撮� ��されたフレーム画像を入力し(ステップS171)� ��このフレーム画像に対して車両番号を抽出� ��るための複数の二値化しきい値a ₁ ~a _i を設定し、これら複数の二値化しきい値a ₁ ~a _i に基づいてそれぞれ車両番号を抽出するナン バープレート認識処理(ステップS172)を行う。

 そして、ステップS171及びステップS172の� �理を一台の車両のナンバープレートを連続� �に撮像した全てのフレーム画像に対して行� �た後、得られた認識結果を用いて認識結果� �合処理(ステップS200)を行うのである。ここ� �、認識結果統合処理(ステップS200)は、図18に 示したステップS211~ステップS218と同様の処理 とし、詳しい説明は省略する。

 なお、本実施例において、ナンバープレー� ��処理(ステップS172)は、図20に示す流れで行� �れるものとする。すなわち、ステップS171に� ��って入力されたフレーム画像に対して、ま� ��、ナンバープレートを抽出してこれを切り� ��す処理(ステップS172-1)を行う。次に、ステ� �プS172-1によって切り出したナンバープレー� �の画像に対して二値化処理によって文字を� �出する処理(ステップS172-2)を行い、続いて、 ステップS172-2によって抽出した文字に対して 文字類似度を用いて認識処理を行い(ステッ� �S172-3)、導出された結果を認識結果として出� ��する(ステップS172-4)のである。本実施例で� �、上述したステップS172-2において行う処理� �、複数の二値化しきい値a ₁ ~a _i に基づいて行うものとしている。

 本実施例によれば、一枚のフレーム画像に� ��して複数の二値化しきい値a ₁ ~a _i を設定するとともに、全てのフレーム画像に 対してこれら複数の二値化しきい値a ₁ ~a _i に基づく複数のナンバープレート認識処理(� �テップS172)を行うようにしたことにより、フ レーム画像に対して影の影響や低コントラス トによる認識不可を回避し精度の向上を図る ことができる。

 図21に基づいて本発明の第14の実施例を説明 する。図21は本実施例における車両番号認識� ��理の流れを示すフローチャートである。本� ��施例は、上述した実施例13の車両番号を抽� �するための複数の評価値としての二値化し� �い値a ₁ ~a _i に代えて、複数のナンバープレート切り出し 位置b ₁ ~b _j を用いるものである。その他の構成は図19に� ��し上述した実施例13の構成と概ね同様であ� �、重複する説明は省略する。

 図21に示すように、本実施例において車両� �号認識部20では、まず、カメラ10によって撮� ��されたフレーム画像を入力し(ステップS181)� ��このフレーム画像に対して車両番号を抽出� ��るための評価値として複数のナンバープレ� ��ト切り出し位置b ₁ ~b _j を設定し、これら複数のナンバープレート切 り出し位置b ₁ ~b _j に基づいてそれぞれナンバープレート認識処 理(ステップS182)を行う。なお、複数のナンバ ープレート切り出し位置としては、例えば、 通常の切り出し位置と、該通常の切り出し位 置を基準として上下左右に予め定めた所定距 離移動させた位置とを該切り出し位置として 設定する等とすればよい。

 そして、ステップS181及びステップS182の� �理を一台の車両のナンバープレートを連続� �に撮像した全てのフレーム画像に対して行� �た後、得られた認識結果を用いて認識結果� �合処理(ステップS200)を行うのである。ここ� �、認識結果統合処理(ステップS200)は、図18に 示したステップS211~ステップS218と同様の処理 とし、詳しい説明は省略する。

 なお、本実施例において、ナンバープレー� ��処理(ステップS182)は、図20に示し上述した� �テップS172-1~ステップS172-4と同様の流れで行� ��れるものであり、図20に示し上述した実施� �13において説明したステップS172-1に対応する プレート切り出し処理を行う際に、複数のナ ンバープレート切り出し位置b ₁ ~b _j に基づいてそれぞれナンバープレート認識処 理(ステップS182)を行うものである。

 本実施例によれば、一枚のフレーム画像に� ��して複数のナンバープレート切り出し位置b ₁ ~b _j を設定するとともに、全てのフレーム画像に 対してこれら複数のナンバープレート切り出 し位置b ₁ ~b _j に基づく複数のナンバープレート認識処理(� �テップS182)を行うようにしたことにより、一 枚のフレーム画像に対して一つのナンバープ レート切り出し位置を設定する場合に比較し て、ナンバープレートの品質低下(汚れや欠� �等)によりフレーム画像に撮像されたナンバ� ��プレートの形状が正確に認識されない等の� ��それを低減し、車両番号を確実に抽出する� ��とができるため、更なる精度向上を図るこ� ��ができる。

 図22に基づいて本発明の第15の実施例を説 明する。図22は本実施例による認識結果とデ� ��タベースとの照合例を示す説明図である。� ��実施例は、上述した実施例11において図18に 示し上述した認識結果統合処理(ステップS200) によって得られた確定認識結果を車両情報デ ータベースに格納されたナンバープレート情 報(車両番号情報)と照合し、認識結果を修正� ��る例である。ここで、認識結果統合処理(ス テップS200)は、図18に示したステップS211~ステ ップS218と同様の処理とし、詳しい説明は省� �する。

 車両番号認識に係る処理は、図9に示すも のと概ね同様であって、ステップS302の処理� �おいて、車両番号を特定するための照合手� �として、二つの文字列のうち一方の文字列� �他方の文字列に変換するために必要となる� �字の操作の最小回数を評価値として前記二� �の文字列間の類似度を評価する編集距離と� �てのレーベンシュタイン距離を利用し、い� �ゆるあいまい検索により、確定認識結果と� �両情報データベースに格納されたナンバー� �レート情報との照合を行い、車両番号の修� �を行う。

 レーベンシュタイン距離は、二つの文字� ��のうち、一方の文字列を他方の文字列に変� ��するために必要な文字の操作としての挿入� ��削除、及び置換の最小回数であり、これを� ��価値として二つの文字列がどの程度異なっ� ��いるかを表すものである。

 本実施例では、照合の結果、確定認識結� ��に対してレーベンシュタイン距離が最も小� ��い車両番号を正解として出力する。

 図22に示すように、例えば、実施例11にお ける認識結果統合処理(ステップS200)によって 得られた確定認識結果73が「ABC12」であり最� �の文字が欠落して車両番号が確定しないよ� �な場合であって、車両情報データベース83に 格納された多数の車両番号のうち、確定認識 結果に近い車両番号として「ABC119」、「ABC123 」、「ABC135」が存在する場合を例として説明 する。

 図22に示す例において、確定認識結果73(� �こでは「ABC12」)と車両情報データベース83に 格納されている車両番号「ABC119」との間のレ ーベンシュタイン距離は、確定認識結果「ABC 12」の文字位置「5」の車両番号構成文字「2� �を「1」に置換し、且つ文字位置「6」に車両 番号構成文字「9」を挿入する必要があるた� �、レーベンシュタイン距離「2」となる。

 また、確定認識結果73(ここでは「ABC12」)� ��車両情報データベース83に格納されている� �両番号「ABC123」との間のレーベンシュタイ� �距離は、確定認識結果「ABC12」の文字位置「 6」に車両番号構成文字「3」を挿入する必要� ��あるため、レーベンシュタイン距離「1」と なる。

 また、確定認識結果73(ここでは「ABC12」)� ��車両情報データベース83に格納されている� �両番号「ABC135」との間のレーベンシュタイ� �距離は、確定認識結果「ABC12」の文字位置「 5」の車両番号構成文字「2」を「3」に置換し 、且つ文字位置「6」に車両番号構成文字「5� ��を挿入する必要があるため、レーベンシュ� ��イン距離「2」となる。

 従って、図22に示す例においては、確定� �識結果73(ここでは「ABC12」)との間のレーベ� �シュタイン距離が最も小さい車両番号であ� �「ABC123」が検索結果93として得られ、該当車 両の車両番号として確定する。

 このように、本実施例によれば、画像処� ��による結果以外の情報である車両情報デー� ��ベースに格納された情報を利用することに� ��り、例えば認識結果の一部が不明である場� ��であっても正確な車両番号を得ることがで� ��る。更に、照合手段としてレーベンシュタ� ��ン距離を用いることにより、照合に係る処� ��の効率を向上させることができる。

 なお、編集距離としては、上述したレー� ��ンシュタイン距離のほかに、Damerau距離等を 用いる、または、認識結果と照合する対象と なる文字列即ち車両情報データベースに格納 された車両番号が同じ文字数である場合には ハミング距離を用いる等、必要に応じて好適 な編集距離を用いればよい。

 但し、Damerau距離は、二つの文字列間の類 似度を、一方の文字列を他方の文字列に変換 する際に行う処理(置換、挿入、削除、又は� �前後の文字を入れ替える)の回数によって評� ��する(処理回数が少ないほど類似度が高い)� �価方法、ハミング距離は、二つの文字列の� �字数が同じである場合に、一方の文字列を� �方の文字列に変換する際に行う置換の回数� �よって類似度を評価する評価方法である。

 編集距離を求めるアルゴリズムについて� ��、動的計画法、オートマンに基づくアルゴ� ��ズム、ビットパラレル手法などがあるが、� ��こでは詳しい説明は省略する。

 図23を用いて本発明の第16の実施例を説明 する。図23は、上述した実施例15における認� �結果とデータベースとの照合例を示す説明� �である。本実施例は、例えば、上述した実� �例15において結果が確定しない場合に、認識 結果統合処理において利用した車両番号構成 文字ごとの認識結果の情報である文字類似度 を利用して照合を行い、車両番号を修正する 例である。その他の構成は実施例15の構成と� ��ね同様であり、重複する説明は省略する。

 図23に示すように、例えば、実施例11の認 識結果統合処理(ステップS200)によって得られ た確定認識結果74が「HBC123」であるのに対し� ��車両情報データベース84にナンバープレー� �情報として「ABC123」、「BBC123」が格納され� �いるような場合、実施例15において説明した あいまい検索を行うと車両番号「ABC123」、「 BBC123」のどちらに対してもレーベンシュタイ ン距離が「1」となり、車両番号が一つに確� �しないおそれがある。

 そのため本実施例では、実施例15におい� �説明した処理を行った結果、車両番号が確� �しない場合に、更に、二つの文字列の一方� �文字列を他方の文字列に変換するために行� �文字の操作それぞれに対して異なる係数を� �定される編集距離としての重み付きレーベ� �シュタイン距離を用いたあいまい検索を行� �。該重み付きレーベンシュタイン距離は、� �較対象となる二つの文字列間において、一� �の文字列を他方の文字列に変換するため、� �えば、文字の置換(又は挿入あるいは削除)を 行う場合に、同じ一回の操作であっても定義 した指標をもとにそれぞれの操作に異なる重 み係数を設定し、一回の操作に対するレーベ ンシュタイン距離を異なる値として評価する ものである。

 以下、上記指標として、実施例11の認識� �果統合処理(ステップS200)において用いた文� �類似度を利用する例を説明する。表17にナン バープレート認識処理(ステップS102)において 車両番号の文字位置「1」の文字を得るため� �抽出された候補文字の一例を文字類似度が� �きいものから順に示す。

 本実施例では、図23に示すように、確定� �識結果74(「HBC123」)の車両番号構成文字「H」 の置換対象の文字として「A」又は「B」が考� ��られ、且つ、表17に示すように車両番号構� �文字の文字位置「1」の候補として「A」、「 B」が文字類似度k位(kは一つの文字位置に対� �てナンバープレート認識処理において抽出� �れた候補文字の数)までの中に存在する場合� ��、認識結果統合処理(ステップS200)を行う際� ��用いた文字類似度を利用し二つの文字間の� ��ーベンシュタイン距離を「1.0-文字類似度」 として定義することにより車両番号の照合を 行う。

 即ち、図23に示す確定認識結果74(「HBC123� �)を車両情報データベース84に格納されてい� �「ABC123」に変換する場合は文字位置「1」の� ��字を、確定認識結果として出力された「H」 から「A」に置換するため、重み付きレーベ� �シュタイン距離は表17から「(1.0-0.5=)0.5」、� �方、確定認識結果74(「HBC123」)を車両情報デ� ��タベース84に格納されている「BBC123」に変� �する場合は文字位置「1」の文字を、確定認� ��結果として出力された「H」から「B」に置� �するため、重み付きレーベンシュタイン距� �は表17から「(1.0-0.4=)0.6」となる。

 そのため、確定認識結果「HBC123」との間� ��重み付きレーベンシュタイン距離が小さい� ��ABC123」が検索結果94として確定する。なお� �上述した重み付きレーベンシュタイン距離� �計算は一例であり、二つの文字間の文字類� �度が高いほうが重み付きレーベンシュタイ� �距離が小さくなるように定義すればよい。

 本実施例によれば、実施例15において説� �したあいまい検索で複数の照合結果が得ら� �るような場合であっても、車両番号を確定� �ることができ、より車両番号の認識精度が� �上する。

 なお、本実施例においては編集距離とし� ��重み付きレーベンシュタイン距離を用いる� ��を示したが、本発明の趣旨を逸脱しない範� ��で種々の変更が可能であることは言うまで� ��ない。

 本発明の第17の実施例を説明する。本実� �例は、上述した実施例16において確定認識結 果を車両情報データベースに格納された車両 番号と照合する際に用いた、レーベンシュタ イン距離の重み係数を定義する指標としての 文字類似度に代えて、比較対象となる文字間 における誤認識のし易さの統計データを利用 する例である。その他の構成は実施例16の構� ��と概ね同様であり、重複する説明は省略す� ��。

 表18に、図23に示す例において、ナンバー プレート認識処理(ステップS102)により車両番 号の文字位置「1」の文字を得るために抽出� �れた候補文字の一例を文字類似度が大きい� �のから順に示す。

 表18に示すように、上述した実施例16にお いて、文字位置「1」の文字候補「H」の文字� ��似度に対し、文字候補「A」「B」の文字類� �度が低い場合、車両番号「ABC123」、「BBC123� �のどちらに対しても重み付きレーベンシュ� �イン距離が「(1.0-0.1=)0.9」となり、車両番号� ��一つに確定しないおそれがある。

 そのため、本実施例では、図18に示す認� �結果統合処理(ステップS200)における統計結� �を用い、誤認識し易い文字の組み合わせ等� �ら、評価値として誤り率、例えば、ある文� �に対して誤認識し易い文字を統計的に集計� �て得られる該誤認識し易い文字の全体数に� �する割合を予め設定しておき、これに基づ� �てレーベンシュタイン距離の重み付けを行� �。表19に誤認識統計値の一例を示す。

 表19から、図23に示す確定認識結果74(「HBC 123」)を車両情報データベース83に格納されて いる「ABC123」に変換する場合は「H」を「A」� ��置換するので重み付きレーベンシュタイン� ��離は「(1.0-0.5=)0.5」、確定認識結果74(「HBC123 」)を車両情報データベース84に格納されてい る「BBC123」に変換する場合は「H」を「B」に� ��換するので重み付きレーベンシュタイン距� ��は「(1.0-0.2=)0.8」であり、重み付きレーベン シュタイン距離がより小さい「ABC123」が検索 結果94として確定する。なお、上記重み付き� ��ーベンシュタイン距離の計算は一例であり� ��二つの文字間の誤認識率が高いほど重み付� ��レーベンシュタイン距離が小さくなるよう� ��定義すればよい。

 本実施例によれば、実施例16に比較して� �実施例15において説明した車両情報データベ ースに対するあいまい検索で複数の照合結果 を得た場合に、表18に示すように2位以下の候 補の文字類似度が低い場合であっても信頼性 が低下することがなく、文字ごとの認識結果 に関する情報がなくても照合結果を確定する ことができる。

 図24及び図25に基づいて本発明の第18の実� ��例を詳細に説明する。図24は本実施例に係� �車両番号の照合の例を示す説明図、図25は本 実施例における車両番号認識処理の流れを示 すフローチャートである。本実施例は実施例 16または実施例17における確定認識結果と車� �情報データベースに格納された車両番号と� �照合の結果、車両番号が確定しない場合に� �更にナンバープレートの形状(例えば、ナン� ��ープレートの大きさや縦横比等)の照合を行 い、車両番号を修正する例である。その他の 構成は上述した実施例16又は実施例17と概ね� �様であり、重複する説明は省略する。

 図24に示すように、本実施例においては� �両情報データベース85に、ナンバープレート 情報として、車両番号と、該車両番号に対応 するナンバープレートの形状を予め格納して おく。

 そして、車両番号認識部20において図25に 示す処理を行う。すなわち、まず、車両番号 抽出処理(ステップS100)、即ち、カメラ10によ� ��て撮像されたフレーム画像を連続的に入力� ��(ステップS101)、入力された全てのフレーム� ��像それぞれに対してナンバープレートの認� ��を行い、車両番号を抽出するナンバープレ� ��ト認識処理(ステップS102)を行う。この際、� ��時に車両番号認識部20においてナンバープ� �ートの形状を抽出し、保存しておく。

 続いて、認識結果統合処理(ステップS200)� ��行った後、確定認識結果に不明文字が存在� ��るか否かの判定を行う(ステップS311)。判定� ��結果、不明文字が存在しない場合(no)は認識 結果統合処理によって得られた結果を車両番 号として出力する。一方、不明文字が存在す る場合(yes)は車両情報データベース85に格納� �れたナンバープレート情報との照合を行う(� ��テップS312)。

 そして、照合の結果、車両番号が確定し� ��場合(yes)はその結果を該当車両の車両番号� �して確定し、該当する車両番号の候補が複� �存在するなど車両番号が確定しない場合(no)� ��はナンバープレートの形状の情報を照合し( ステップS313)、得られた結果を該当車両の車� ��番号として確定するのである。

 例えば、図24に示すように、実施例11にお いて説明した認識結果統合処理による確定認 識結果75が「HBC123」であり、車両情報データ� ��ース85に格納されたナンバープレート情報� �の照合を行った結果、車両番号候補として� �ABC123」及び「BBC123」が存在し車両番号が確� �しないような場合に、ナンバープレートの� �状の情報の照合(ステップS313)を行う。表20に 、図24に示す車両番号候補のナンバープレー� ��の縦横比の例を示す。

 図24に示す例では、車両番号認識部20にお いて導出されたナンバープレートの形状の縦 横サイズ(縦,横)が(21,40)であって、ナンバー� �レートの縦横比(縦/横)が0.525であるのに対し 、車両番号「ABC123」のナンバープレートの形 状の縦横サイズが(22,44)、車両番号「BBC123」� �ナンバープレートの形状の縦横サイズが(20,5 5)であって、表20に示すように、それぞれナ� �バープレートの縦横比(縦/横)が0.50、0.36であ る。よって、ナンバープレートの縦横比が、 車両番号認識部20において導出されたナンバ� ��プレートの縦横比0.525に最も近い値(0.5)であ る車両番号「ABC123」が検出結果95として得ら� ��、該当車両の車両番号として確定する。

 上述した本実施例によれば、認識結果統� ��処理によって得られた情報に加えて、ナン� ��ープレートの形状に関する情報を用いるよ� ��にしたことにより、より正確に且つ確実に� ��両番号を特定することができる。

 なお、本実施例では実施例16又は実施例17 において照合結果が確定しない場合にナンバ ープレート形状を照合する例を示したが、車 両情報データベースに格納された車両番号情 報との照合の結果得られた車両番号が一つで あった場合にもナンバープレートの形状を照 合するようにすれば、車両番号の特定精度を より向上させることができる。

 図26及び図27を用いて本発明の第19の実施� ��を説明する。図26は本実施例に係る車両番� �の照合の例を示す説明図、図27は本実施例に 係る車両番号認識処理の流れを示すフローチ ャートである。本実施例は実施例18のナンバ� ��プレートの形状の照合に代えて、ナンバー� ��レートの配色(例えば、ナンバープレートの 文字の色や背景色)の情報を照合して車両番� �の修正を行う例である。その他の構成は実� �例18と概ね同様であり、重複する説明は省略 する。

 図26に示すように、本実施例において車� �情報データベースには、ナンバープレート� �報として、車両番号情報に加え、ナンバー� �レートの色情報(本実施例では文字の色及び� ��ンバープレートの背景色)を予め格納してお く。

 そして、車両番号認識部20において図27に 示す処理を実行する。すなわち、まず、車両 番号抽出処理(ステップS100)を行う。この際、 同時に車両番号認識部20においてナンバープ� ��ートの配色の情報を取得しておく。続いて� ��認識結果統合処理(ステップS200)を行った後� ��確定認識結果に不明文字が存在するか否か� ��判定を行う(ステップS321)。

 判定の結果、不明文字が存在しない場合( no)は認識結果統合処理によって得られた結果 を車両番号として出力する。一方、不明文字 が存在する場合(yes)は車両情報データベース8 5に格納されたナンバープレート情報との照� �を行う(ステップS322)。

 そして、照合の結果、車両番号が確定し� ��場合(yes)はその結果を該当車両の車両番号� �し、車両番号が確定しない場合(no)は更にナ� ��バープレートの配色を照合し(ステップS323)� ��得られた結果を該当車両の車両番号として� ��定する。

 例えば、図26に示すように上記確定認識� �果76が「HBC123」であり、車両情報データベー ス86との照合の結果、該当する車両番号とし� ��「ABC123」、「BBC123」が得られ車両番号が確� ��しない場合に、ナンバープレートの形状の� ��報の照合(ステップS323)を行う。これにより� ��ナンバープレートの配色(文字の色,背景色)� ��(黒,銀)で一致する「ABC123」が検索結果96と� �て得られ、該当車両の車両番号として確定� �る。

 このように、本実施例によれば、認識結� ��統合処理によって得られた情報に加えて、� ��ンバープレートの配色に関する情報を用い� ��ようにしたことにより、確実に車両番号を� ��定することができる。

 なお、本実施例では実施例16又は実施例17 において照合結果が確定しない場合にナンバ ープレートの配色を照合する例であるが、車 両情報データベースに格納された車両番号情 報との照合の結果得られた車両番号が一つで あった場合にもナンバープレートの配色を照 合するようにすれば、車両番号の特定精度を より向上させることができる。

 図28及び図29を用いて本発明の第20の実施� ��を説明する。図28は本実施例に係る車両番� �の照合の例を示す説明図、図29は本実施例に 係る車両番号認識処理の流れを示すフローチ ャートである。本実施例は実施例18のナンバ� ��プレートの形状の照合に代えて、車両の色� ��報を照合して車両番号の修正を行う例であ� ��。その他の構成は実施例18と概ね同様であ� �、重複する説明は省略する。

 図28に示すように、本実施例において車� �情報データベース87には、車両情報としてナ ンバープレート情報(車両番号情報)に加え、� ��体の色情報を予め格納しておく。

 そして、車両番号認識部20において図29に 示す処理を実行する。すなわち、まず、車両 番号抽出処理(ステップS100)を行う。この際、 同時に車両番号認識部20において車体の色を� ��識する処理を行い、認識した色情報を格納� ��ておく。続いて、認識結果統合処理(ステッ プS200)を行った後、確定認識結果に不明文字� ��存在するか否かの判定を行う(ステップS331)� ��

 判定の結果、不明文字が存在しない場合( no)は認識結果統合処理によって得られた結果 を車両番号として出力する。一方、不明文字 が存在する場合(yes)は車両情報データベース8 7に格納されたナンバープレート情報との照� �を行う(ステップS322)。

 そして、照合の結果、車両番号が確定し� ��場合(yes)はその結果を該当車両の車両番号� �し、車両番号が確定しない場合(no)は更に車� ��の色情報を照合し(ステップS333)、得られた� ��果を該当車両の車両番号として確定する。

 例えば、図28に示すように上記確定認識� �果77が「HBC123」であり、車両情報データベー ス87との照合の結果、該当する車両番号とし� ��「ABC123」、「BBC123」が得られ車両番号が確� ��しない場合に、車体の色情報の照合(ステッ プS333)を行う。これにより、車体の色(白)が� �致する「ABC123」が検出結果97として得られ、 該当車両の車両番号として確定する。

 このように、本実施例によれば、認識結� ��統合処理(ステップS200)によって得られた車� ��番号の情報に加えて、車体の色情報を用い� ��ことにより、確実に車両番号を特定するこ� ��ができる。

 なお、本実施例においては上述した実施� ��15において照合結果が確定しない場合に車� �の色情報を照合する例を示したが、車両情� �データベースに格納された車両番号情報と� �照合の結果得られた車両番号が一つであっ� �場合にも車体の色情報を照合するようにす� �ば、車両番号の特定精度をより向上させる� �とができる。

 なお、上述した実施例1~実施例20において 、図2に示すステップS101~S102の処理(又は、こ� ��と同等の処理)である車両番号抽出処理(ス� �ップS100)は道路30を走行する各車両毎に行わ� ��るものとし、一台の車両のナンバープレー� ��を連続的に撮像したすべてのフレーム画像� ��ついてナンバープレート認識処理を行い、� ��れぞれのフレーム画像から車両番号候補を� ��出した後、図2に示すステップS201~S208の処理 (又はこれと同等の処理)である認識結果統合� ��理(ステップS200)を行うものとする。即ち、� ��台の車両を検知する毎に、カメラ10が当該� �両のナンバープレートを連続的に撮像し、� �台の車両のナンバープレートを撮像した複� �のフレーム画像から車両番号候補を抽出し� �後、認識結果統合処理(ステップS200)を行う� �うにする。

 また、本発明は上述した実施例1~20に限定 されるものではなく、本発明の趣旨を逸脱し ない範囲で各実施例を組み合わせる等、種々 の変更が可能であることは言うまでもない。