以下、この発明をより詳細に説明するため� ��、この発明を実施するための最良の形態に� ��いて、添付の図面に従って説明する。
実施の形態1.
 図1は、この発明の実施の形態1に係る車載� �音声認識装置の構成を示すブロック図であ� �。
 図1において、この発明の実施の形態1に係� �車載用音声認識装置1には、手動で操作して� ��マンド等データを入力するリモコンやタッ� ��パネル等2と、音声入力のためにユーザの発 話内容を集音するマイク3と、画像やテロッ� �を表示する表示モニタ4と、音声出力を行な� ��スピーカ5と、各種センサ類(ここでは、車� �の現在地を測位するGPS(Global Positioning System) 6と、加速度を測定するGセンサ7と、外部セン サから車両速度やハンドル操舵角などの情報 を取得する車内LAN(Local Area Network)8が接続さ� ��ている。

 また、車載用音声認識装置1は、制御部11� ��制御中枢として備え、キー入力部9と、音声 入力部10と、音声認識部12と、音声出力部13と 、画面出力部14と、タイムアウト回数カウン� ��部15と、訂正操作回数カウント部16と、走行 状況判定部17と、運転操作状態判定部18と、� �ーザ状態判定部19と、認識語彙理解度判定部 20と、案内内容決定部21と、キー押下判定部22 とによって構成される。

 キー入力部9は、リモコンやタッチパネル2� �ら入力されたコマンドを受付けて制御部11へ 供給する。音声入力部10は、マイク3により集 音されたコマンドを受付けて制御部11へ供給� ��る。音声認識部12は、音声認識を行い、認� �結果を制御部11へ引き渡す。音声認識部12に� ��る音声認識結果は、音声出力部13により音� �で、あるいは画面出力部14により画像でユー ザに提示される。
 タイムアウト回数カウント部15は、音声操� �中のタイムアウト回数をカウントし、また� �訂正操作回数カウント部16は、音声操作中の 訂正操作回数をカウントしてそれぞれ制御部 11へ供給する。走行状況判定部17は、車両が� �在停車中か運転中かの走行状況を判定し、� �た、運転状態判定部18は、車の進退・ハンド ルの操舵等の運転状況を取得してそれぞれ制 御部11へ供給する。

 また、ユーザ状態判定部19は、例えば、ハ� �ドルに取り付けられたセンサにより取得さ� �るユーザの発汗・心拍数・視線・口調など� �情報からユーザの心理状態を判定して制御� �11へ供給する。
 認識語彙理解度判定部20は、制御部11による 制御の下、タイムアウト回数カウント部15、� ��正操作回数カウント部16、走行状況判定部17 、運転操作状態判定部18、ユーザ状態判定部1 9のそれぞれから情報を取得して、ユーザが� �声認識可能な語彙をどの程度理解している� �を示す認識語彙理解度を判定して制御部11へ 供給する。また、案内内容決定部21は、制御� ��11による制御の下、認識語彙理解度判定部20 により出力されるユーザの認識語彙理解度に 基づきユーザに対して出力する音声ガイダン ス、あるいはテロップ等による案内を変更す る。

 なお、キー押下判定部22は、ユーザがリモ� �ン2のキーを押下したときの押圧力、もしく� ��キー押下時間を判定して制御部11へ供給す� �。
 制御部11は、例えば、マイコンによって構� �され、キー入力部9や音声入力部10から受付� �たコマンドに対応する処理を行うために上� �した各制御ブロック12~21へ命令を出力する。 なお、ここでは、音声出力部13と画面出力部1 4を総称して案内情報出力部という。

 図2は、この発明の実施の形態1に係る車載� �音声認識装置の基本動作を説明するために� �用したフローチャートである。
 以下、図2に示すフローチャートを参照しな がら、図1に示す実施の形態1に係る車載用音� ��認識装置の動作について詳細に説明する。

 制御部11は、常に、キー入力部9からのキー� ��力を監視しており、まず、手動操作による� ��話キーの押下があるか否かを判定する(ステ ップST201)。発話キーの押下があった場合は(� �テップST201“Yes”)、以下に説明する決めら� �た手順にしたがい音声認識処理を実行する� �のとする。
 ここでは、発話キーの押下があったことを� ��機に音声認識処理を開始するため、制御部1 1が発話キーの押下を監視しているが、音声� �力開始が別の操作で定義されている場合は� �の操作を監視することになる。発話キーが� �下された場合は、タイムアウト回数カウン� �部15がタイムアウト回数を0(初期化)に設定し (ステップST202)、かつ、訂正操作回数カウン� �部16が訂正操作回数を0(初期化)に設定する(� �テップST203)。

 続いて、制御部11の制御の下、認識語彙理� �度判定部20では、ユーザの認識語彙に対する 理解度を判定する。具体的に、認識語彙理解 度判定部20は、例えば、図7に示した認識語彙 理解度判定情報をテーブルデータとして内蔵 しており、当該テーブルデータを参照するこ とにより、ユーザの認識語彙に対する理解度 を、タイムアウト回数と訂正回数とから判定 する(ステップST204)。なお、ここでは、認識� �彙理解度判定部20が、タイムアウト回数と訂 正回数からユーザの認識語彙に対する理解度 を判定することとするが、タイムアウト回数 と訂正回数のいずれか1つにより判定しても� �い。
 すなわち、ステップST202とステップST203でタ イムアウト回数および訂正操作回数がともに 「0」となっているため、図6に示すテーブル� ��ータから理解度は「10」と判定され、当該� �定されたユーザの認識語彙理解度に基づき� �内内容決定部21で案内の内容を決定する(ス� �ップST205)。続いて、案内内容決定部21は、音 声出力部13または画面出力部14を起動して音� �ガイダンス、あるいはテロップを表示させ� �ことによって案内をユーザに提示する(ステ� ��ブST206)。ここで、提示される案内の内容に� ��いては後述する。

 続いて、案内に対して入力された音声を音� ��認識部12が音声認識処理を行うが(ステップS T207)、所定の時間内にユーザによる音声入力� ��なされずタイムアウトが検出された場合は( ステップST208“Yes”)、タイムアウト回数カウ ント部15がタイムアウト回数を+1更新して(ス� ��ップST209)、認識語彙理解度判定情報からユ� ��ザの認識語彙判定を行うステップST204の処� �に戻る。図6に示されるように、タイムアウ� ��回数と訂正操作回数が多くなるにつれて認� ��語彙理解度は低い値になる。
 なお、タイムアウトが検出されなかった場� ��(ステップST208“No”)、制御部11は、音声出� �部13もしくは画面出力部14を起動して音声認� ��部12による音声認識結果をユーザに提示す� �(ステップST210)。

 制御部11は、認識結果提示後にキー入力部9� ��よるキー入力を監視し、訂正キーが押下さ� ��たか否かを判定する(ステップST211)。訂正キ ーが押下された場合は(ステップST211“Yes”)� �訂正操作回数カウント部16が訂正操作回数を +1更新して(ステップST212)、ユーザの認識語彙 理解度判定を行うステップST204の処理に戻る� ��訂正キーが操作されなかった場合は(ステッ プST211“No”)、制御部11は案内の続きを提示� �なければならないか否かを判定する(ステッ� ��ST213)。なお、ここでは訂正操作がキー押下� ��より行われるものとして説明したが、訂正� ��作が別の方法で定義されている場合は制御� ��11がその操作を監視するものとする。
 案内の続きがある場合(ステップST213“Yes”) 、車載用音声認識装置1はタイムウト回数を� �期化するステップST202に戻る。案内の続きが なければ(ステップST213“No”)、音声認識処理 を終了する。

 上記した実施の形態1によれば、音声認識 処理中のタイムアウト回数または訂正回数、 またはその両方に基づいてユーザの認識語彙 理解度を判定し案内を変更することにより、 ユーザが音声認識可能な語彙を理解できるよ うな案内を提示することができる。

実施の形態2.
 上記した実施の形態1では、音声認識処理中 のタイムアウト回数と訂正回数、またはその 両方に基づいてユーザの認識語彙理解度を判 定したが、以下に説明する実施の形態2では� �キー押下判定部22がリモコンキー押下時の押 圧力、または押下時間またはその両方を監視 し、その押圧力、または押下時間、またはそ の両方に応じて訂正回数のカウントに重み付 けを付し、認識語彙理解度の判定に反映させ るようにしたものである。
 例えば、キー押下判定部22が、ユーザがキ� �を強く押した場合は理解度が低いと判定さ� �るように重み付けし、認識語彙理解度判定� �20がその重みを考慮して理解度を判定して案 内の方法を変更することとした。押下時間に ついても同様である。このとき、認識語彙理 解度判定部20は、実施の形態1同様、図7に示� �た認識語彙理解度判定情報が記憶されたデ� �タテーブルを参照するものとする。以下、� �2に示す基本動作、および図3に示すフローチ ャートを参照しながら実施の形態2に係る車� �用音声認識装置の動作について詳細に説明� �る。

 図2に示す基本動作のステップST201からステ� ��プST211の処理は、実施の形態1と同様である� ��車載用音声認識装置1は、ステップST211の処� ��において、訂正キーが押下したと判定され� ��場合(ステップST211“Yes”)、図3に示すステ� �プST214以降の処理を実行する。
 図3のフローチャートにおいて、ステップST2 14では、キー押下判定部22は、ユーザがリモ� �ン/タッチパネル2に割り付けられた訂正キー を押したときの押下圧(強さ)を判定する。押� ��圧は、訂正キーの下に実装される例えば、� ��電センサから取得することができる。ここ� ��、訂正キーが強く押されたと判定された場� ��、訂正操作回数カウント部16が、例えば、� �正操作回数+2、弱く押されていた場合は訂正 操作回数+1とするように、キー押下の強さに� ��って訂正操作回数に重み付けしてカウント� ��(ステップST215)、認識語彙理解度判定処理を 行う図2に示す基本動作のステップST204の処理 に戻る。なお、キー押下の強弱の判定は、キ ー押下判定部22が、標準押下圧と比較するこ� ��により判定するものとする。

 上記した実施の形態2によれば、認識語彙 理解度判定部20は、キー押下判定部22から出� �されるキー押圧力を案内に対するユーザの� �識語彙理解度の判定に反映させることより� �ユーザに適した案内を提示することができ� �。

実施の形態3.
 上記した実施の形態1、2では、認識語彙理� �度判定部20は、音声認識時のタイムアウト回 数と訂正回数または、その両方に基づいてユ ーザの認識語彙理解度を判定したが、以下に 説明する実施の形態3では、更に、走行状況� �定部17により判定される車両の走行状況も考 慮してユーザの認識語彙理解度判定を行い、 ユーザに適した案内を提示することとした。
 例えば、停車中にタイムアウトした場合に� ��、認識語彙理解度判定部20は、停車中は走� �中に比べ、騒音が少なく、案内が聞き取り� �すいにもかかわらずタイムアウトしたこと� �らユーザが認識可能な語彙を理解していな� �と判定し、それによって、案内を変更させ� �。走行状況の判定は、GPS6やGセンサ7によっ� �それぞれ取得される車両の現在位置、加速� �情報、あるいは車内LAN8を介して取得される� ��速、操舵角等の情報を用いることとする。

 以下、図2に示す基本動作および図4に示す� �ローチャートを参照しながら実施の形態3に� ��る車載用音声認識装置の動作について詳細� ��説明する。
 図2に基本動作として示すステップST201からS T206の処理は、上記した実施の形態1、2と同様 である。車載用音声認識装置1は、ステップST 206でユーザに案内を提示した後、図4のフロ� �チャートに示すステップST216の処理に進む。 ステップST216において、走行状況判定部17は� �GPS6やGセンサ7などの情報を監視して車両が� �行中か停車中かを判定して制御部11に供給し 、図2に示す音声認識処理を実行する基本動� �ステップST207の処理に戻る。

 ここで、認識語彙理解度判定部20は、例え� �、図8に示した認識語彙理解度判定情報をテ� ��ブルデータとして内蔵している。このため� ��認識語彙理解度判定部20は、タイムアウト� �訂正操作後にユーザに案内を行う場合、上� �したデータテーブルを参照することにより� �タイムアウト回数または訂正操作回数また� �その両方と、走行状況とからユーザの認識� �彙理解度を判定する(ステップST204)。
 例えば、タイムアウト回数が1回、訂正操作 回数が0回、走行状況が停車中であった場合� �、図8に示したデータテーブルから理解度は� ��4」となる。ここでは、停車中であったにも かかわらずユーザは発話できなかったものと 考え、ユーザの認識語彙の理解度は低く設定 される。ステップST205では、ステップST204で� �定した理解度に基づき案内内容決定部21が案 内の内容をユーザの理解度に合わせて変更す る。ここでは、ステップST204で判定した認識� ��彙理解度が比較的低いため、案内をわかり� ��すく提示するように案内内容が変更される� ��案内内容については後述する。

 上記した実施の形態3によれば、認識語彙 理解度判定部20は、走行状況判定部17から出� �される車両の走行状況を音声案内に対する� �ーザの認識語彙理解度の判定に反映させる� �とにより、走行状態に適した案内を提示す� �ことができる。

実施の形態4.
 以下に説明する実施の形態4では、ユーザの 運転状態を判定する運転操作状態判定部18を� ��え、音声認識時にタイムアウトや訂正操作� ��れた場合に、認識語彙理解度判定部20が運� �状況を考慮して認識語彙理解度判定を行う� �成とした。
 例えば、車両を後退(リバース)させていた� �めにタイムアウトした場合には、認識語彙� �解度判定部20は、後退運転の際の発話が困難 なことを考慮して、ユーザの理解度を普通(� �くはない)と設定し、案内を行うものである� ��以下、図2に示す基本動作および図5に示す� �ローチャートを参照しながら実施の形態4に� ��る車載用音声認識装置の動作について詳細� ��説明する。

 図2に基本動作として示すステップST201からS T206の処理は、上記した実施の形態1、2、3と� �様である。車載用音声認識装置1は、ステッ� ��ST206でユーザに案内を提示した後、図5に示� ��ステップST217の処理に進む。
 ステップST217では、運転操作状態判定部18が 、運転の操作状態として車両のリバース情報 (車を後退させているか否か)やハンドルの操� ��角に関する情報等を取得する。なお、運転� ��作状態は、車内LAN8等を介して取得可能な車 速などの情報を利用するものとする。運転操 作状態判定部18は、ステップST217で運転操作� �態を取得後、図2に示す基本動作のステップS T207の処理に戻る。

 ここでは、認識語彙理解度判定部20は、例� �ば、図9に示す認識語彙理解度判定情報をデ� ��タテーブルとして内蔵する。そして、タイ� ��アウトや訂正操作後にユーザに案内を行う� ��合、ステップST204で、認識語彙理解度判定� �段20が、タイムアウト回数または訂正操作回 数またはその両方と、運転操作状態とからユ ーザの認識語彙理解度を判定する。例えば、 タイムアウト回数が1回、訂正操作回数が0回� ��運転操作状態がリバースを示し、ハンドル� ��大きく回している(操舵角が大)場合は、図9� ��示すデータテーブルから認識語彙理解度は� ��10」になる。ここでは、タイムアウトはし� �が、ユーザは車を後退させ、ハンドルを回� �操作に集中していることを考慮して、理解� �が比較的高いものと設定されている。
 ステップST205では、ステップST204で判定した 認識語彙理解度に基づき、案内内容決定部21� ��案内の内容をユーザの認識語彙理解度に合� ��せて変更する。例えば、ステップST204で判� �した理解度が比較的高いため、案内をわか� �やすくする処理は行わないようにする。

 上記した実施の形態4によれば、認識語彙 理解度判定部20は、運転操作状態判定部18か� �出力される車両の運転操作状態を案内に対� �るユーザの認識語彙理解度の判定に反映さ� �ることにより、運転操作状態に適した案内� �行なうことができる。

実施の形態5.
 以下に説明する実施の形態5では、例えば、 ハンドル等に設置されたセンサ類によって検 知される信号によりユーザの心理状態を判定 するユーザ状態判定部19を更に備え、音声認� ��時にタイムアウトや訂正操作された場合に� ��認識語彙理解度判定部20がユーザの状態を� �慮して理解度を判定する構成とした。
 認識語彙理解度判定部20は、例えば、心拍� �があがっていた場合は音声操作に慣れてい� �い等の判定を行い、ユーザの認識語彙理解� �が低いとして、案内を変更させるものであ� �。ここで、ユーザの状態は、発汗、心拍数� �視線をセンシングし、あるいはユーザの音� �入力時の口調を利用することが考えられる� �以下、図2に示す基本動作および図6に示すフ ローチャートを参照しながら実施の形態5に� �る車載用音声認識装置の動作について詳細� �説明する。

 図2に基本動作として示すステップST201からS T206の処理は、上記した実施の形態1、2と同様 である。車載用音声認識装置1は、ステップST 206でユーザに案内を提示した後、図6に示す� �テップST218の処理に進む。
 ステップST218では、ユーザ状態判定部19が、 ユーザの発汗や心拍数や視線をセンシングす ることでユーザの心理状態を取得する。そし て、ステップST219で案内に対して入力された� ��声を音声認識処理部12が認識処理し、ステ� �プST220の処理へ進む。ステップST220では、ユ� ��ザ状態判定部19が、ユーザが音声入力する� �きの口調を取得し、図2の基本動作ステップS T208の処理に戻る。

 ここで、認識語彙理解度判定部20は、図10に 示す認識語彙理解度判定情報をデータテーブ ルとして内蔵する。そして、タイムアウトや 訂正操作後にユーザに案内を行う場合、ステ ップST204で、認識語彙理解度判定手段20がタ� �ムアウト回数または訂正操作回数またはそ� �両方と、ユーザ状態とからユーザの認識語� �理解度を判定する。
 例えば、タイムアウト回数が1回、訂正操作 回数が0回、ユーザ状態として発汗あり、心� �数が高い・視線が定まらない・口調が弱い� �判定されていた場合は、上記したデータテ� �ブルを参照することにより、理解度は「1」� ��なる。ここでは、タイムアウトは1回である が、ユーザは発話語彙がわからず戸惑ってい る状態であると考え、理解度が低く設定され ている。ステップST205では、ステップST204で� �定された認識語彙理解度に基づき、案内内� �決定部21が案内の内容をユーザの理解度に合 わせて変更する。個々では、ステップST204で� ��定した理解度が比較的低いため、案内をわ� ��りやすく提示するように案内内容が変更さ� ��る。案内のバリエーションについては後述� ��る。

 上記した実施の形態5によれば、認識語彙 理解度判定部20は、ユーザ状態判定部19から� �力されるユーザの心理状態に関する情報を� �内に対するユーザの認識語彙理解度の判定� �反映させることにより、ユーザの心理状態� �適した案内を行なうことができる。

 以下、上記した実施の形態1~5における案内� ��変更方法について説明する。案内内容の変� ��は、案内内容決定部21が、認識語彙理解度� �定部20によって出力されるユーザの認識語彙 理解度に基づいて判定する。変更された案内 内容は、制御部11を経由して、音声出力部13(� ��ピーカ5)あるいは画面出力部14(表示モニタ4) により音声もしくは画像で出力される。
 案内内容決定部21は、ユーザの認識語彙理� �度が低い場合には、案内を詳しく設定して� �話語彙をユーザに把握させることができる� �詳しい案内については、あらかじめメッセ� �ジを複数用意しておいて切り替えるか、ま� �は動的に生成するなどの方法を用いる。変� �方法の例として、例えば、図2に示す基本動� ��のステップST206で、音声出力部13あるいは画 面出力部14が「続きの住所をお話しください� ��と提示したが、タイムアウトや訂正操作に� ��りステップST204の処理に戻り、ステップST204 で、ユーザの理解度が低いと判定された場合 、その案内は、「市区町村または住所番号を お話しください」のように変更される。さら に、タイムアウトや誤認識による訂正操作に より、再びステップST204の処理に戻り、ステ� ��プST204でユーザの理解度が低いと判定され� �場合、音声出力部13あるいは画面出力部14が� ��三田市三輪2丁目などとお話しください」と 提示することが考えられる。

 また、ユーザの認識語彙理解度が低い場合� ��は、案内内容決定部21が案内のスピードを� �較的ゆっくりしたレベルに設定して発話語� �をユーザに把握させることも考えられる。� �の場合、案内内容決定部21は、あらかじめ案 内のスピードのレベルを設定しておき、図2� �基本動作のステップST205で、理解度が低いと 判定された場合には、案内内容決定部21がス� ��ードのレベルを設定し直す必要がある。
 更に、ユーザの認識語彙理解度が低い場合� ��は、案内開始時に音または画像またはその� ��方により注意を促し、ユーザが案内に注意� ��向くように仕向けることにより、その案内� ��容から発話語彙をユーザに把握させること� ��できる。これは、案内内容決定部21があら� �じめ案内開始時に鳴らす音(ビープ音)等を用 意しておき、図2に示す基本動作のステップST 205で、音を鳴らす場合のみ設定を行う。この とき、案内開始時に鳴らす音は複数種類用意 しておき、認識語彙理解度によって使い分け ても良い。

 また、ユーザの理解度が低い場合には、案� ��内容の中の発話可能な語彙を示す部分の音� ��を大きくして、発話語彙をユーザに把握さ� ��ることも考えられる。この場合、案内内容� ��定部21は、あらかじめ、案内内容の発話語� �を示す部分であることを情報として持って� �き、また、音量のレベルを設定できるよう� �しておく。
 図2に示す基本動作のステップST205で、案内� ��容決定部21によって、案内の中で発話可能� �部分の音声のレベルを設定し直す必要があ� �(音量を大きくするように設定するまたは、� ��話可能な語彙の音量はそのままで、それ以� ��の部分の音量を下げる。)

 また、ユーザの認識語彙理解度が低い場合� ��は、画面表示による案内の表示形態を変更� ��てもよい。例えば、案内の中で発話可能な� ��彙を示す部分の文字を大きくする、太字に� ��る、色を変える、強調表示する等である。� ��面出力部14がこのように画面表示を見易く� �御することにより発話語彙をユーザに把握� �せる。また、画面出力部14があらかじめ表示 形態の変更後の文字列を用意しておくか、ま たは動的に文字列を生成しても良い。
 変更方法の例として、図2に示す基本動作の ステップST206で、「住所または施設とお話し� ��ださい」と画面に表示したが、タイムアウ� ��や訂正操作によりステップST204の処理に戻� �、ステップST204でユーザの理解度が低いと判 定された場合、画面出力部14が案内の表示を� ��住所または施設とお話しください」と強調� ��示することが考えられる。

 また、ユーザの理解度が低い場合には、� ��記した案内変更方法を組み合わせることに� ��り、発話語彙をユーザに把握させることも� ��能である。変更方法の例として、図2の基本 動作のステップST206で、「ピッと鳴ったらお� ��しください」と提示したが、タイムアウト� ��訂正操作によりステップST204の処理に戻り� �ステップST204でユーザの理解度が低いと判定 された場合、音声での案内をビープ音+「住� �または施設とお話しください」とする。ま� �、画面表示を「住所または施設とお話しく� �さい」のように変更するようにしてもよい� �

 以上説明のように、この発明の実施の形態1 ~5に係る車載用音声認識装置1は、認識語彙理 解度判定部20が、音声認識部12による音声認� �処理中に監視される、少なくとも、ユーザ� �作に対するタイムアウト回数または訂正回� �、またはその両方により、案内に対するユ� �ザの認識語彙理解度を判定し、案内内容決� �部21を制御して案内情報出力部(音声出力部13 もしくは画面出力部14)による案内を変更する ものであり、このとき、ユーザの認識語彙理 解度によって、音声あるいは画面表示による 案内を変更し、あるいは案内音声のスピード を変更し、あるいは案内の表示形態を変更す ることにより、ユーザに適切な案内を行なう ことができる。
 また、案内開始時にビープ音を報知するこ� ��により、あるいは、車載用音声認識装置1か らの案内に含まれる発話語彙を示す部分の音 量を大きくすることにより、案内を聞いてい ないまたは聞き取れていないために認識語彙 理解度が低いユーザに対して車載用音声認識 装置1からの案内に対して注意を喚起するこ� �が可能となり、かつ、適切な案内をおこな� �ことができる。

 なお、上記した車載用音声認識装置1を構 成する各ブロック9~21がそれぞれ持つ機能は� �車載用音声認識装置1が内蔵する不図示のメ� ��リに記憶されるそれぞれのプログラムを制� ��部11が読み出し実行することにより達成さ� �るものであって、制御部11内において実体的 に他のブロックと区分され内蔵されるものの みを指すのではなく、あくまで説明の簡略化 のために各処理部を分けて表現したものであ る。また、上記した各ブロックの機能は、全 てをソフトウェアによって実現しても、ある いはその少なくとも一部をハードウエアで実 現してもよい。なお、このとき、図6~図10に� �したデータテーブルは、上記した不図示の� �モリに割当てられあらかじめ登録されてあ� �ものとする。