図1は本発明の実施の形態の画像処理方法 を実施する画像処理装置1を示すブロック図� �ある。

 この画像処理装置1にはカメラ2が接続さ� �ている。このカメラ2はレンズ2aを有し、内� �にはCCDまたはCMOSなどの撮像素子が設けられ� ��おり、撮像素子は複数の画素を有している� ��文字、数字、記号または図形の少なくとも1 つが記された対象物10に、照明光源5から光が 与えられると、対象物10からの反射光がカメ� ��2で撮影され、図2(B)に示す対象画像10aが得� �れる。

 画像処理装置1は、CPUとメモリなどから構 成されている。前記撮像素子の各画素で得ら れた画素データ(輝度データ)は、A/D変換され� ��例えば256階調のデータとしてCPUに与えられ� ��。画像処理装置1にはCRTまたは液晶パネルを 有するモニタ3が接続されている。

 対象物10はその表面に複数の文字が記さ� �ている。これら文字は印刷や刻印あるいは� �属膜がエッチングされることなどで形成さ� �ている。対象物10では、文字の描画線が濃色 で、描画線以外の背景の全体が白などの淡色 である。したがって、照明光源5から照明光� �与えてカメラ2で撮影すると、対象画像10aで� ��、描画線の輝度が低く、描画線以外の背景� ��輝度が高い。この画像処理装置1は、淡色の 背景に濃色の文字などが記された対象物にお いて文字などを識別するのに適している。

 図2に示す実施の形態では、対象物10の表� ��に複数のアルファベットの文字が記されて� ��る。画像処理装置1では、これら複数の文字 のうちの文字「A」を検出し、且つ文字「A」� ��記されている位置を検出する。

 前記文字「A」を検出するための基準とし て、画像処理装置1のメモリには、テンプレ� �トのデータが保持されている。このテンプ� �ートのデータは、図2(A)に示すサンプル画像2 0から生成される。サンプル画像20内の文字「 A」は、対象画像10aに含まれている「A」の文� ��と同じ字体で同じ大きさの画像、あるいは� ��象画像10aに含まれている「A」の文字とほぼ 同じ字体でほぼ同じ画像である。サンプル画 像20の面積は、対象画像10aの面積よりも十分� ��小さい。

 図2(B)では、対象物10を撮影した対象画像1 0aのうちの、テンプレートのデータと比較す� ��ための判別領域11を破線で囲んで正方形の� �域として示している。この判別領域11の面積 は、前記サンプル画像20の面積と同じであり� ��判別領域11とサンプル画像20では、画素数も 同じである。

(テンプレートのデータの生成)
 以下では、サンプル画像20からテンプレー� �のデータを生成する方法を説明する。

 図3は、前記サンプル画像20を拡大して示� ��ている。サンプル画像20は、図2(B)に示され� ��いる対象画像10aから、判別領域11と同じ面� �の区画で且つ文字「A」が中央に位置する領� ��を抜き出したものであり、例えば画素数が6 4×64の領域である。あるいは、画像処理装置1 の内部でソフトウエアを使用して64×64の画素 の領域を想定し、それぞれの画素に濃淡色を 分布させて、中央に「A」を有するサンプル� �像20をコンピュータ上で描画して作成しても よい。

 この実施の形態では、64×64の画素数を有� ��るサンプル画像20の全ての画素データをテ� �プレートのデータとして使用するのではな� �、サンプル画像20内の画素データを間引いて 、なるべく少ない画素データのみを抽出点と して使用する。そのデータの抽出の手順を以 下の通りである。

(1)周囲の輝度差が少ない領域の画素データを 抽出する
 図3に示すようにサンプル画像20に所定面積( 所定画素数)の演算領域21を設定する。演算領 域21は縦方向の寸法がTyで横方向の寸法がTxで あり、Tx×Tyの面積内に少なくとも縦横が3画� �ずつで3×3=9個の画素が存在している。図4は� ��前記演
算領域21を拡大して示しているが、この実施� ��形態では縦方向の寸法Ty内に5個の画素が並� ��、横方向の寸法Tx内に5個の画素が並んでお� ��、1つの演算領域21内に5×5=25個の画素が位置 している。

 画像処理装置1では、サンプル画像20を、T x×Tyの面積を単位として、すなわち5×5=25個の 画素群を単位として、順番に走査し、それぞ れの演算領域21内の画素データの標本分散を� ��算する。図4に示すように、最初にTx×Tyの面 積(5×5=25個の画素群)である(a)の演算領域21で� ��本分散を演算し、次に横方向に5画素飛んで 、次のTx×Tyの面積(5×5=25個の画素群)である(b) の演算領域21で標本分散を演算し、これを繰� ��返して行う。つまり、横方向に5画素置きに ならぶ(a)(b)(c)(d)・・・の演算領域21で標本演� ��をしたら、その次に、縦方向へ5画素飛んで 、1段下の行に移行し、この行内で、横方向� �5画素置きに並んでいるTx×Tyの面積の(e)(f)(g)� ��・・の演算領域21でそれぞれ標本演算を行� �。

 それぞれの演算領域21内の各画素データに� �る標本分散δ ² の演算は以下の数1に基づいて行われる。

 前記数1において、nは1つの演算領域21内の� �素の数であり、図4に示す実施の形態ではn=25 である。xiは、1つの演算領域21内にある各画� ��の画素データであり、それぞれの画素デー� ��は例えば256階調で表現される。数1中のxバ� �(xの上にラインが引かれている文字)は、1つ� ��演算領域21内の25個の画素データの平均値で ある。図4に示す(a)(b)(c)・・・の全て演算領� �21において数1に示す標本分散δ ² を演算する。

 この標本分散δ ² は、演算領域21内の25個の画素データの変動� �少なければ値が低くゼロに近くなり、25個の 画素データの変動が大きいと値が高くなる。 この実施の形態では、標本分散δ ² の演算結果が、所定のしきい値以下である演 算領域21、または所定のしきい値未満である� ��算領域21が選択され、それぞれの演算領域21 内のいずれか1つ以上の画素が抽出点として� �択される。図4の実施の形態では、標本分散� � ² の値が所定のしきい値以下またはしきい値未 満の演算領域21において、その領域の中心に� ��置する画素データが抽出点22のデータとし� �選択される。

 つまり、それぞれの演算領域21において� �1に示す標本分散を演算することで、周囲の� ��素間での輝度の差の変動が少ない領域から� ��出点22が選ばれることになる。また各演算� �域21内で抽出点22を選択した時点で、サンプ� ��画像20のうちの演算に使用する画素データ� �1/25に減少できる。

 図5は、図3に示すサンプル画像20において 、文字「A」の描画線を横方向に横断するV-V� �上に位置する各画素の画素データ(輝度デー� ��)の分布を示している。

 サンプル画像20のうちの文字「A」の描画線� ��内部の領域は画像データの輝度が低く、描� ��線を外れた外側の領域では画像データの輝� ��が高い。よって、サンプル画像20において� �数1の標本分散δ ² の値がしきい値以下またはしきい値未満とな る演算領域21は、図5に示すように、塗りつぶ されている描画線の内部のXaの領域、および� ��画線の外側における白色などの背景のみが� ��在するXbの領域である。また、描画線と背� �との境界を含むXcの領域では、演算領域21内� ��各画素データの変動が大きく、標本分散δ ² の値が大きくなる。前記標本分散δ ² を演算し、その値が小さい領域内から抽出点 22を選択することで、図5に示すXcの領域内の� ��動の大きいデータが演算に使用されること� ��排除している。

 その結果、図6に示すように、文字「A」� �描画線の内部で描画線の縁部から離れた領� �24と、描画線から外れた背景の領域で且つ描 画線の縁部から離れた領域23から抽出点22が� �択されることになる。

(2)輝度の低い領域と輝度の高い領域から抽 出点を選ぶ(抽出点の輝度差が顕著となるよ� �に抽出点を選ぶ)

 図7に示すように、(1)で選択した抽出点22を� ��度の低い順から輝度の高い順に並び替える� ��前記(1)では、標本分散δ ² が低い演算領域21から抽出点22を選んでおり� �抽出点22は、図6に示す描画線の内部の領域24 と、描画線から離れた背景の領域内に位置し 、描画線の境界部分では抽出点22が選択され� ��いない。そのため、抽出点22の輝度の分布� �、輝度変化の段差部分を挟んで、一方の側� �輝度の低い抽出点が並び、前記段差部分を� �んで、他の側に輝度の高い抽出点が並ぶ。

 図7に示す並び替えの後に、輝度が最も低 い側から順に複数の抽出点22aを選び、さらに 輝度が最も高い側から順に複数の抽出点22bを 選ぶ。このとき、抽出点22aを輝度が最も低い 側から1つ置きまたは2つ置きなどで選んでも� ��いが、最も輝度の低い抽出点から連続して� ��番に複数の抽出点22aを選ぶことが好ましい� ��これは輝度が高い側から選ばれる抽出点22b� ��おいても同じである。

 その結果、図8に示すように、文字「A」� �描画線の内部で色が最も濃い領域から抽出� �22aが選ばれ、文字「A」の描画線から外れた� ��景において色が最も薄い領域から抽出点22b� ��選ばれる。

(3)位置の離れている抽出点を選ぶ
 ただし、このときに、輝度の低い側の複数� ��抽出点22aとして、縦方向の距離および横方� ��の距離の少なくとも一方が所定値よりも短� ��ものが含まれている場合には、近い位置関� ��にある抽出点22aのうちの輝度の低い方の抽� ��点22aのみを選択する。同様に、輝度の高い� ��の複数の抽出点22bに、縦方向の距離と横方� ��の距離のうちの少なくとも一方が所定値よ� ��も短いものが含まれている場合には、近い� ��置関係にある一方の抽出点22bのうち輝度の� ��い抽出点22bのみを選択する。

 抽出点22aのうちの距離が近いものは、文� ��の同じ特徴部分に存在している確率が高い� ��よって、接近している抽出点を間引くこと� ��より、テンプレートのデータの特徴を損な� ��ことなく演算量を低減できる。これは抽出� ��22bにおいても同じである。

(4)低輝度の抽出点と高輝度の抽出点をほぼ同 数選ぶ
 さらに、輝度の低い側から選択された抽出� ��22aと輝度の高い側から選択された抽出点22b� ��、互いに同数あるいはほぼ同数であること� ��好ましい。抽出点22aと抽出点22bを同数また� ��ほぼ同数とすることにより、後に示す正規� ��相関係数を演算するときに、類似した画像� ��類似していない画像での相関係数に明確な� ��をつけやすくなる。

 最も輝度の低い側から複数の抽出点22aを� ��び、最も輝度の高い側から複数の抽出点22b� ��選び、抽出点22aどうしの距離をある程度空� ��、且つ抽出点22bどうしの距離をある程度空� ��、さらに抽出点22aと抽出点22bを同数または� ��ぼ同数とすることにより、画像サンプル20� �記された文字などの特徴を損なうことなく� �最小の演算量で画像を検出することが可能� �テンプレートを生成することができる。な� �、抽出点22aの数と抽出点22bの数とがほぼ同� �とは、一方の数に対して他方の数が80%以上� �あることを意味しており、さらに好ましく� �90%以上である。

(対象画像の判定)
 図2(B)に示す対象画像10aは、サンプル画像10� ��りも大きい面積を有し、例えば画素数が512� �480=245760である。この対象画像10aに判定領域1 1を設定するが、この判定領域11は、テンプレ ートのデータを生成する前のサンプル画像20� ��同じ面積で同じ画素数である。この判定領� ��11を、対象画像10aの左上の隅の領域から順� �横方向へ1画素列ずつ位置をずらして設定し� ��行き、最上部の行の全体の走査が完了した� ��、次に縦方向に1画素行だけ下側にずらして 、次の行内でさらに横方向に1画素列ずつ位� �をずらして、判定領域11を順に設定していく 。つまり、判定領域11は、縦と横に1画素ずら して、対象画像10aの全域に設定される。

 そして、それぞれの判定領域11の画素デ� �タと、テンプレートのデータとを対比する� �このとき、それぞれの判定領域11の64×64の画 素のうち、テンプレートのデータで抽出した 抽出点22aと同じ位置にある画素データを抽出 し、判定領域11から抽出された画素データと� ��この画素データと同数であるテンプレート� ��各抽出点22a,22bの画素データとを対比する。

 この対比は、正規化相関法により行われ� ��。テンプレートのそれぞれの抽出点22a,22bの 画素データをM、それぞれの判定領域11から抽 出した画素データをIとすると、その正規化� �関係数Rは、以下の数2に示すように、MとIの� ��分散を、Mの標準偏差とIの標準偏差との積� �よって除算することで求められる。

 具体的には、相関係数Rを以下の数3で求� �ることができる。数3において、Nは、サンプ ル画像20から抽出した抽出点22aと抽出点22bと� ��総数であり、1つの判定領域11から抽出する� ��素データの数もNである。Miはテンプレート� ��抽出点22a,22bの画素データで、Iiは判定領域1 1から抽出された画素データである。

 前記相関係数Rが所定のしきい値以上また はしきい値を越えたときに、その判定領域11� ��、サンプル画像20と同じ画像または類似し� �いる画像と判断されるべき真の画像が存在� �ていると判断できる。図2(B)に示す対象画像1 0aを検出する際には、文字「A」が中心に位置 する判定領域11で演算した相関係数Rが最大値 となる。よって、各判定領域11とテンプレー� ��の相関係数を順に計算し、計算値の最大値� ��検出することで、対象画像10a内のどの位置� ��真の画像である文字「A」が存在しているか 検出できる。

 前記テンプレートのデータは、サンプル� ��像20から抽出点22a,22bの画像データを取り出� ��たものであり、その画素データの数はサン� ��ル画像の全体の画素数に比べて少数である� ��また、判定領域11では、その内部の画素デ� �タのうちのテンプレートのデータと同じ数� �画素データを抽出して正規化相関係数の演� �を行っている。そのため、全ての判定領域11 において相関係数Rを演算したとしても、全� �の演算量が少なくて済み、短時間の演算で� �の画像(例えば文字「A」)がどの位置に存在� �ているかを検出できる。

 また、テンプレートの画素データの数が� ��ないにもかかわらず、そのデータは、サン� ��ル画像20において周囲の輝度が同じである� �字の描画線の内部の領域の抽出点22aと、文� �以外の背景部分で且つ描画線の縁部から離� �た領域の抽出点22bとから抽出したものであ� �。すなわち、テンプレートのデータは、サ� �プル画像のコントラストを明瞭に反映した� �のである。そのため、抽出点22aと抽出点22b� �数が少なくても、高い精度で真の画像を検� �できる。しかも、少ない抽出点の画素デー� �で正規化相関の演算を行っているので、短� �間で演算ができる。

(テンプレートのデータの精度の検証)
(a)正規化相関係数の計算結果の検証
 図4に示したように、テンプレートのデータ を生成する際には、サンプル画像10の画素をT x×Tyの面積の演算領域21に区分している。そ� �て、この演算領域21内の全ての画素データの 標本分散が所定の値よりも少ないときに、そ の演算領域21の中心に位置する画素データを� ��出点22とし、さらにその抽出点22の中から、 図7と図8のように、コントラストが明確にな� ��抽出点22a,22bを検出している。そして、以下 のようにテンプレートのデータを評価するこ とにより、さらに検出精度の高いテンプレー トを生成することができる。

 図9(A)は、図2(B)に示す対象画像10a内にお� �てサンプル画像20と同じ文字「A」が存在し� �いる付近の複数の判定領域11のデータとテン プレートのデータとで演算した正規化相関係 数Rを示している。図9(A)では、対象画像10aに� ��いて、判定領域11を文字「A」の中心を基準� ��して左右両側に1画素ずつ移動させたときの 、それぞれの位置の判定領域11での相関係数R を示している。

 図9(A)に示すように、サンプル画像20の文� ��「A」の中心と、対象画像での真の画像であ る文字「A」の中心とが一致しているときの� �定領域11において、その正規化相関係数Rが� �大値となる。以下これを真の最大値と呼ぶ� �また相関係数Rが最大値となる位置から左右� ��Tx/2の範囲内に位置する判定領域11とテンプ� ��ートとの相関係数Rのうちの最も低い値を真 の最悪値とする。

 この真の最悪値は、テンプレートの画素� ��ータを生成する際に、範囲Tx内において抽� �点22以外の画素を間引いたことに起因する検 出誤差を反映している。同様にして、対象画 像において判定領域を縦方向へ1画素行ずつ� �動させて、それぞれの判定領域に対して、� �9(A)に示したのと同様に、真の最大値から上� ��にTy/2の範囲内で相関係数Rが最低となる真� �最悪値を同様にして求める。

 次に、図2(B)に示す対象画像10aにおいて、 横方向に1画素列ずつ位置をずらし、さらに� �方向に1画素行ずつ位置をずらした全ての判� ��領域11において、その判定領域11から抽出し た画素データと、前記テンプレートのデータ とから正規化相関係数Rを計算する。図9(C)は� ��横軸に全ての判定領域11の位置を示し、縦� �にそれぞれの判定領域11で計算した相関係数 Rを示している。サンプル画像20と、対象画像 の真の画像である文字「A」とが重なったと� �に相関係数Rが真の最大値となる。この対象� ��像10aにおいて、真の画像を有しない位置で� ��しかも相関係数Rが前記真の最大値の次に極 大となる値が偽の最大値である。

 図9(A)に示す真の最悪値が、図9(C)に示す� �の最大値よりも常に高い値となるように、� �ンプレートの抽出点22a,22bを決めておけば、� ��象画像を検証したときに、真の画像以外の� ��像を真の画像として誤検出する確率を低く� ��きる。つまり、テンプレートの条件として� ��(真の最悪値)/(偽の最大値)が1を越えている� ��とが好ましく、例えば1.2~1.6の範囲が好まし い。

 また、図9(B)に示すように、テンプレート のデータを2種類用意し、対象画像内で真の� �像を2つ検出する場合、例えば文字「A」の画 像と文字「B」の画像を検出する場合には、� �テンプレートの真の最悪値のうちの低い方� �値が、偽の最大値よりも高い値となるよう� �、テンプレートの抽出点を決めればよい。

(b)紛らわしい文字、数字、記号または図形 に関する対応図10(A)は、テンプレートを生成� ��るためのサンプル画像120として数字の「6」 を使用した例を示している。この場合に、対 象物を撮影して得られた対象画像に図10(B)に� ��す「8」の文字の画像110が含められていると 、数字の「6」と数字の「8」は、重ねたとき� ��描画線の位置が似ているため、数字の「6」 のサンプル画像120から生成したテンプレート の画素データと、数字の「8」の画像におい� �テンプレートと同じ抽出点を選んだ画素デ� �タとの相関係数Rの値が高くなり、数字「8」 を真の画像である数字の「6」として認識す� �おそれがある。

 そこで、数字「6」と数字「8」を重ねた� �きに、その重なり部に一方の数字の描画線� �位置し他方の数字の描画線が位置しない点12 1および点122を新たな抽出点とする。点121は� �数字「6」の描画線が位置しないが、数字「8 」の描画線が位置しており、点122は、数字「 6」の描画線が位置しているが、数字「8」の� ��画線が位置していない。このように、対象� ��像とサンプル画像を重ねたときに、両画像� ��輝度差が大きくなる点121と点122を新たな抽� ��点とし、サンプル画像から生成されるテン� ��レートのデータに、サンプル画像の点121と1 22の画素データを加える。このようにテンプ� ��ートのデータを生成することにより、描画� ��の位置が近似している紛らわしい文字や数� ��などをテンプレートのデータを用いて高精� ��に区別できる。

 図11(A)は、前記と同様に数字の「6」のサ� ��プル画像120からテンプレートのデータを生� ��する例を示しているが、さらに対象物を撮� ��した対象画像に、図11(B)に示すように、サ� �プル画像120には、「6」よりもやや小さい(ま たはやや大きい)文字「6」の画像210が含まれ� ��いる。この場合には、図11(A)に示すサンプ� �画像120と、図11(B)に示す画像において、描画 線どうしが重なる領域で前記抽出点22aを選択 する。すなわち、図7と図8において、輝度の� ��い抽出点22aを選択するときに、必ず2つの「 6」の数字の描画線が重なる領域で、その抽� �点22aを選択する。

 これにより、同じ文字や数字などで寸法� ��やや違う画像が、対象画像内に存在してい� ��も、対象画像内の前記画像を高い確率で検� ��することができる。