明 細 書

発明の名称 ：

ヘッドアップディスプレイ装置、 表示制御装置、 及び表示制御プログラム 技術分野

[0001 ] 本発明は、 例えば自動車等の車両に搭載されるヘッ ドアップディスプレイ 装置、 表示制御装置、 及び表示制御プログラム等に関する。

背景技術

[0002] 特許文献 1 には、 ヘッ ドアップディスプレイ 装置において、 焦 点面の移動又は、 焦点面と乗り物との間の距離の調整によって 、 グラフィッ ク要素が立体的に見えるようにした 3 0ナビゲーシヨンシステムが示されて いる。

[0003] また、 特許文献 2には、 1 ^~ 1 11 0装置において、 表示対象の視認性を向上さ せるために、 車両周辺の明るさに応じて表示対象の色を変 更することが示さ れている。

先行技術文献

特許文献

[0004] 特許文献 1 :特開 2 0 1 5 - 6 9 6 5 6号公報

特許文献 2 :特開 2 0 1 5 _ 1 2 3 7 6 1号公報

発明の概要

発明が解決しようとする課題

[0005] オブジェクト （表示対象等） の色 （色相、 明度、 彩度等） が、 その表示を 見る者 （運転者等のユーザー） の奥行き感の知覚に影響を与えることがある 。 例えば、 進出色、 後退色と呼ばれるものがあり、 色に応じて、 表示対象が 手前に見えたり、 後方に見えたりすることがある。

[0006] 例えば、 特許文献 1のように、 虚像表示距離を制御して立体的な視覚を実 現する場合に、 色による遠近感の進出/後退が生じると、 装置側が所 定距離でオブジェクト （オブジェクトによる情報） を提示したとしても、 ユ 〇 2020/175228 2 卩（：171? 2020 /006189

—ザーが、 その所定距離を正確には感得できず、 違和感等の原因となる場合 もあり得る。 特に、 立体感のあるオブジェクトを表示する場合等 に、 その課 題が顕著化する傾向がある。 このような課題が、 本発明者の検討によって明 らかとされた。

[0007] 特許文献 2では、 車両周辺の明るさと表示対象の色との関係に ついては記 載されているが、 3 （あるいは疑似 3 0 1 ^~ 1 II 0） と呼ばれる、 奥行 き方向の直感的な視認性を重視する装置にお ける、 表示距離と色との関係性 については、 何ら記載がなく、 上記の課題の解決手段についても記載されて いない。

[0008] 本発明の 1つの目的は、 例えば、 1 ^~ 1 II 0装置が意図する虚像表示距離での 情報の知覚を実現して、 違和感等を低減することである。

[0009] 本発明の他の目的は、 以下に例示する態様及び最良の実施形態、 並びに添 付の図面を参照することによって、 当業者に明らかになるであろう。 課題を解決するための手段

[0010] 以下に、 本発明の概要を容易に理解するために、 本発明に従う態様を例示 する。

[001 1 ] 第 1の態様において、 ヘッ ドアップディスプレイ 装置は、 車両に搭載され、 オブジェクトの画像を、 前記車両に備わる被投影部材に 投影することで、 ユーザーに前記画像の虚像を視認させ、 かつ、 前記ユーザ —上又は前記車両上に設定される基準点から 前記虚像までの距離を虚像表示 距離とする場合に、 前記オブジヱクトについての虚像表示距離を 制御するこ とが可能なへッ ドアップディスプレイ （ 1 ^~ 1 II 0） 装置であって、

オブジェクトの色情報を取得する色情報取得 部と、

前記オブジェクトについての、 遠近感に関係する色特性を抽出する色特性 抽出部と、

前記オブジェクトについての代表的色特性に 基づいて、 又は、 前記オブジ ェクトの画素、 又は画素群についての色特性の平均化後の値 あるいは平滑化 後の値に基づいて補正係数を算出し、 前記補正係数を用いて、 前記オブジェ 〇 2020/175228 3 卩（：171? 2020 /006189

クトについての虚像表示距離を、 直接的制御、 及び、 疑似 3 0画像処理によ る遠近強調の少なくとも 1つを用いて補正する遠近感補正部と、

を有する。

[0012] 第 1の態様では、 オブジェクトの 「遠近感に関係する色特性」 を抽出し、 色特性に基づいて、 提示されるオブジェクトの虚像表示距離を、 直接的に、 及び、 遠近強調処理 （疑似 3 0技術による） の何れか一方を用いて補正する

[0013] 補正が必要となる運転シーンとしては、 例えば、 虚像表示距離 （単に距離 と称する場合もある） を異ならせた複数のオブジェクトが同時に提 示される 場合や、 例えば看板や制限速度の標識等を、 自車両の動きに合わせて手前側 に流れるように動かす場合等が想定され得る 。 これらの運転シーンでは、 色 によるオブジェクトの全体的又は部分的な進 出/後退によって、 視覚的違和 感を生じさせる可能性がある。

[0014] オブジェクトの全体が進出/後退することが� �念される場合は、 遠近感補 正部は、 オブジヱクトについての代表的色特性に基づ いて、 距離 （遠近感） の補正を行う。 例えば、 制限速度が 8 0 であることを示す、 円形の内部 に 8 0と書かれた標識を考える。 このとき、 円の外周が赤 （進出色） 、 円形 の内部 （数字の背景） も白 （高輝度で進出色） 、 かつ、 8 0という数字が黄 色や橙色 （進出色） である場合、 その標識自体 （全体） が進出傾向をもつこ とから、 例えば、 最も注意を引きやすい （あるいは、 最も表示面積が大きい ことから、 それを理由としてもよい） 、 例えば 8 0という数字についての色 （黄色や橙色） を代表色と定める。 そして、 黄色や橙色についての補正係数 を算出し （このとき、 色相だけでなく、 明度、 彩度を加味することができる ） 、 標識全体の虚像表示距離を補正する （この場合、 正規の距離よりも小さ く して、 色による進出的知覚を緩和するのが好ましい ） 。

[0015] また、 上記の例で、 円形の外周に赤の太い縁取りがあり、 この部分のみが 、 他の部分 （数字やその背景の部分） よりも目立つ場合は、 その縁取りの部 分の赤を代表色と定め、 その縁取りの部分 （縁取りの領域） のみに、 虚像表 〇 2020/175228 4 卩（：171? 2020 /006189

示距離を限縮する補正を施すということも 想定され得る。

[0016] また、 遠近感補正部は、 オブジェクトの画素 （ピクセル、 サブピクセル等 ） 、 又は画素群 （ピクセルやサブピクセルの部分的な集合体 ） について色特 性を求め、 それらを平均化処理後の値、 あるいは平滑化後の値 （平滑化の例 としては、 例えばノイズ除去やスムージングのための口 ーパスフィルタ処理 があげられる） に基づいて補正係数を算出し、 その補正係数で距離 （遠近感 ） を補正してもよい。

[0017] 「虚像表示距離の補正」 は、 例えば、 光学系の移動によって虚像表示距離 を直接的にダイナミックに変更することであ ってもよく、 また、 物理的な距 離自体は変更されないが、 オブジェクトを立体化したり、 サイズを変更した り、 陰影をつけたり、 遠近手法を取り入れた描画を行ったりする、 いわゆる 疑似 3 0画像処理による遠近強調の手法によるもの� �もよく、 あるいは、 両 者を組み合わせたものであってもよい。

[0018] 本態様によれば、 例えば、 1 ^~ 1 II 0装置が意図する虚像表示距離での情報の 知覚を実現して、 違和感等を低減することができ、 高精度の距離知覚制御を 実現することができる。

[0019] 第 1の態様に従属する第 2の態様において、 前記遠近感補正部は、 色によ る前記オブジェクトの進出/後退を補うよう� �、 虚像表示距離を補正しても よい。

[0020] 第 2の態様によれば、 1 ^~ 1 II 0装置が意図する虚像表示距離での情報の知� � を実現して、 違和感等を低減することができる。

[0021 ] 第 2の態様に従属する第 3の態様において、 前記遠近感補正部は、 前記才 ブジェクトについての虚像表示距離の補正に 際し、

前記オブジェクトの色特性が、 前記ユーザーから見て手前側に見える進出 特性をもつ場合は、 前記オブジヱクトについての虚像表示距離を 、 その進出 特性の程度に応じて増大させ、

前記オブジェクトの色特性が、 前記ユーザーから見て奥側に見える後退特 性をもつ場合は、 前記オブジヱクトについての虚像表示距離を 、 その後退特 〇 2020/175228 5 卩（：171? 2020 /006189

性の程度に応じて減少させてもよい。

[0022] 第 3の態様によれば、 色による進出/後退の知覚変動に合わせて、 その知 覚変動を抑制する方向に、 オブジェクトの距離を可変に制御することか ら、 違和感を効果的に低減することができる。

[0023] 第 2の態様に従属する第 4の態様において、 前記遠近感補正部は、 前記才 ブジェクトについての虚像表示距離の補正に 際し、

前記虚像表示距離が閾値を超えるときは、 その虚像表示距離を、 前記疑似 3 0画像処理による遠近強調のみによって制御� �てもよい。

[0024] 第 4の態様では、 所定の閾値を超えて遠方に表示されるオブジ ェクトにつ いては、 直接的な距離制御を行わず、 疑似 3 0画像処理による遠近強調のみ によって、 知覚を介した距離制御を実施することとする 。

[0025] ある程度の遠方にある物体 （オブジェクト） を人が見るときの輻輳角は十 分に小さくなっており、 距離制御では、 輻輳角の変化を人に感じさせること は困難となる。 よって、 所望の遠近感制御の効果が期待できないとき は、 複 雑な処理を伴いがちな直接的な距離制御をあ きらめ、 疑似 3 0画像処理のみ による遠近強調で対応する （例えば、 オブジェクトのサイズを小さくする） こととしたものである。 これによって、 遠方のオブジェクトについても、 遠 近感補正が効果的に行えるようになる。

[0026] 第 1乃至第 4の何れか 1つに従属する第 5の態様において、 前記ユーザー の、 過去の運転情報から、 遠近感を伴う視覚的特徴に関係する事項を抽 出し て蓄積する、 学習/蓄積部を有し、

前記遠近感補正部は、 前記オブジヱクトについての虚像表示距離の 補正に 際し、 前記学習/蓄積部に蓄積された前記遠近感を� �う視覚的特徴に関係す る事項に該当する運転環境、 運転シーン、 及び前記オブジヱクトの色と前記 背景の色との関係、 の少なくとも 1つに基づいて、 前記オブジェクトについ ての虚像表示距離の補正の程度を微調整して もよい。

[0027] 第 5の態様では、 距離 （遠近感） 補正に際し、 ユーザーの過去の学習によ る経験則をフィードバックし、 微調整を実施することで、 ユーザーの知覚傾 〇 2020/175228 6 卩（：171? 2020 /006189

向 （個人差） に即した、 より精度の高い補正を可能とする。

[0028] 例えば、 ドライバモニタリングシステムと連動させて 、 提示色 （オブジェ クトの色） と反応時間との関係性を蓄積させ、 そのデータに基づき、 補正値 （あるいは補正係数） を修正してもよい。 例えば、 青色のオブジェクトの認 識が遅れる傾向があるときは、 青色のオブジェクトは、 前方への進出を強調 して反応の改善を図ることができる。

[0029] また、 例えば、 オブジェクトが表示される背景 （実景） の色と、 オブジェ クトの色との組み合わせによって、 ユーザーの遠近感に関する知覚が顕著に 変動することが学習によって明らかとなった ときは、 それらの色の組み合わ せを変数として、 補正値 （あるいは補正係数） を算出し、 補正の精度をより 高めることも可能である。

[0030] 第 1乃至第 5の何れか 1つに従属する第 6の態様において、 前記オブジェ クトは、 立体的オブジェクトであってもよい。

[0031 ] 第 6の態様では、 距離制御の対象となるオブジェクトは、 立体的オブジェ クトである。 立体的オブジェクトは、 奥行き感を人に感得させる効果が高い ため、 特に、 色による進出/後退の知覚ずれが問題となり� �い。 そこで、 立 体的オブジェクトについて、 例えば優先的な距離補正対象とするものであ る 。 これによって、 少ない労力で、 違和感の低減効果を確実に得ることができ る。

[0032] 第 7の態様において、 表示制御装置は、 第 1乃至第 6の何れか 1つの態様 のへッ ドアップディスプレイ装置に搭載され、 コンピュータを用いて実現さ れる、 前記遠近感補正部としての表示制御装置であ る。

[0033] 遠近感補正部としてのコンピュータを、 例えば〇 11、 として実現 することで、 小型化が可能であり、 車載用の、 小型の 1 ^~ 1 II 0装置にも適用が 可能となる。

[0034] 第 8の態様において、 表示制御プログラムは、 コンビュータを、 第 7の態 様の表示制御装置として動作させる表示制御 プログラムである。

[0035] ソフトウェアによって構築可能であることか ら、 実現が容易となる。 〇 2020/175228 7 卩（：171? 2020 /006189

［0036］ 当業者は、 例示した本発明に従う態様が、 本発明の精神を逸脱することな く、 さらに変更され得ることを容易に理解できる であろう。

図面の簡単な説明

［0037］ ［図 1］図 1は、 車両が直線状の道路を走行している運転シー ンにおける、 表示 コンテンツであるオブジェクト （ナビゲーシヨン画像） の虚像の表示の一例 を示す図である。

［図 2］図 2は、 車両が直線状の道路を走行している運転シー ンにおける、 表示 コンテンツであるオブジェクト （ナビゲーシヨン画像） の虚像の表示の他の 例を示す図である。

［図 3］図 3 （ ） は、 オブジェクトの虚像表示距離を増大させる制 御例を示す 図、 図 3 （巳） は、 オブジェクトの虚像表示距離を減少させる制 御例を示す 図である。

［図 4］図 4は、 オブジェクトの虚像表示距離が閾値を超えな い範囲では、 距離 の直接制御及び遠近強調処理の少なくとも一 方による制御を実行し、 閾値を 超える範囲では、 遠近強調処理のみによる制御を実行する制御 例を示す図で ある。

［図 5］図 5は、 1 ^~ 1 II口装置を用いた虚像表示距離の制御の一例� ��ついて説明す るための図である。

［図 6］図 6は、 可視光の色彩と、 各色彩に対応する波長範囲を示す図である。 ［図 7］図 7 （八） 、 図 7 （巳） は、 遠近感補正部の構成例を示す図である。

［図 8］図 8は、 遠近感補正部の構成の他の例を示す図である 。

［図 9］図 9 （ ） は、 虚像表示距離が異なる複数の虚像表示面を設 定可能な多 面1 ^~ 1 II 0装置における虚像表示面の設定例を示す図� � 図 9 （巳） は、 多面 1 ^~ 1 II 0装置の要部の構成例を示す図、 図 9 （〇 は、 位置制御信号について説 明するための図である。

［図 10］図 1 0は、 虚像表示距離の制御が可能な 1 ^~ 1 II 0装置の全体構成の一例 を示す図である。

［図 1 1］図 1 1は、 本発明の実施形態にかかる ! ! II口装置の主要な動作手順の 〇 2020/175228 8 卩（：171? 2020 /006189

_例を すフローチヤートである。

発明を実施するための形態

[0038] 以下に説明する最良の実施形態は、 本発明を容易に理解するために用いら れている。 従って、 当業者は、 本発明が、 以下に説明される実施形態によっ て不当に限定されないことを留意すべきであ る。

[0039] 図 1は、 車両が直線状の道路を走行している運転シー ンにおける、 表示コ ンテンツであるオブジェクト （ナビゲーション画像） の虚像の表示の一例を 示す図である。

[0040] 図 1 において、 車両 （自車両） 1 0は、 直線状の道路 （路面） 2上を、 速 で走行している。 ここでは、 ユーザー （図 1では不図示、 図 2の 符号 1） は、 ステアリングホイール （ハンドル） 3を握る運転者である。 フ ロントパネル 5には、 車速表示用メーター （計器） エンジンの回転数 を示すメーター （計器） IV! 2が設けられている。 但し、 これは例示であり、 限定されるものではない。 これらの計器の情報は、 装置による虚像と して表示されてもよい （併用の場合もあり得る。 図 1では併用されている）

[0041 ] 図 1の運転シーンにおいて、 同じ車線の前方車両としては、 〇 1、 〇

2の 2台が存在する。 手前側の前方車両 （3 1 については、 車間距離はかな りあるものの、 例えば急速に減速した等の理由で、 注意喚起マーク （重畳マ —クの一種である） ＜3 IIが重畳表示されている。 なお、 追い越し車線を走る 前方車両丁〇 1が遠くに見えている。

[0042] 装置による車速表示 （虚像 3 ） は、 立体的な形状と共に表示され ている （これは、 立体的表示、 3 0オブジェクトによる表示、 立体感処理才 ブジェクトによる表示等と称することができ る） 。

[0043] また、 前方車両 0 2のやや手前側において、 背景の空に重ねるように、 ナビゲーション表示としての、 かなりの面積をもつ仮想標識 1\1 Vが提示され ている。 仮想標識 1\1 は、 地名表示〇 1 0、 〇2 0と、 ガイ ドとしての矢印 表示〇 3 0 , 0 4 0とを含む。 〇 2020/175228 9 卩（：171? 2020 /006189

[0044] なお、 1 ^~ 1 II 0装置による虚像は、 被投影部材 6としてのウインドシールド 上における虚像表示可能領域 （図 1では不図示、 図 2の符号 7） において表 される。

[0045] 図示されるとおり、 ユーザー 1は、 遠近感を伴う多様なオブジェクトを同 時に知覚する必要がある運転シーンであり、 遠近感が誤って把握されると、 事故にもつながりかねず、 従って、 最適な距離感でのオブジェクト （表示対 象の虚像） の表示が重要となる。

[0046] 図 2を参照する。 図 2は、 車両が直線状の道路を走行している運転シー ン における、 表示コンテンツであるオブジェクト （ナビゲーシヨン画像） の虚 像の表示の他の例を示す図である。 図 2において、 図 1 と共通する部分には 同じ符号を付している （なお、 この点は、 以下の図面においても共通である

[0047] 図 2の例では、 3つの仮想標識（3 1、 0 2 , 0 3が、 異なる虚像表示距離 に調整されて表示 （投影表示） されている。 特に、 制限速度を表示するナビ ゲーシヨン像（3 1は、 車両 1 0の前方への走行スピードに合致させて、 ユー ザー 1の視点 から見て、 奥側 1_ 1 0 0から手前側へと流れるように、 虚像 表示距離が多段階に制御される。 このような制御は、 多面 （マルチレイヤー ） ! ! II 0装置を用いて実現され得る （この点は後述する） 。

[0048] 図 1、 図 2のような運転シーンでは、 色によるオブジェクトの全体的又は 部分的な進出/後退によって、 視覚的違和感を生じさせる可能性がある。

[0049] そこで、 本発明の実施形態では、 オブジェクトの全体が進出/後退するこ とが懸念される場合は、 例えば、 オブジェクトについての代表的色特性に基 づいて、 距離 （遠近感） の補正を行う （後述する図 7 （ ） の構成） 。

[0050] 具体的に説明する。 図 2の仮想標識〇 1 （制限速度が 8 0 であること を示す、 円形の内部に 8 0と書かれた標識） を例にとると、 円の外周が赤 （ 進出色） 、 円形の内部 （数字の背景） も白 （高輝度で進出色） 、 かつ、 8 0 という数字が黄色や橙色 （進出色） である場合、 その標識自体 （全体） が進 出傾向をもつことから、 例えば、 最も注意を引きやすい （あるいは、 最も表 〇 2020/175228 10 卩（：171? 2020 /006189

示面積が大きいことから、 それを理由としてもよい） 、 例えば 8 0という数 字についての色 （黄色や橙色） を代表色と定める。 そして、 黄色や橙色につ いての補正係数を算出し （このとき、 色相だけでなく、 明度、 彩度を加味す ることができる） 、 標識全体の虚像表示距離を補正する （この場合、 正規の 距離よりも大きく して、 色による進出的知覚を緩和するのが好ましい ） 。

[0051 ] また、 上記の例で、 円形の外周に赤の太い縁取りがあり、 この部分のみが 、 他の部分 （数字やその背景の部分） よりも目立つ場合は、 その縁取りの部 分の赤を代表色と定め、 その縁取りの部分 （縁取りの領域） のみに、 虚像表 示距離を限縮する補正を施すということも想 定され得る。

[0052] また、 オブジェクトの画素 （ピクセル、 サブピクセル等） 、 又は画素群 （ ピクセルやサブピクセルの部分的な集合体） について色特性を求め、 それら を平均化処理後の値、 あるいは平滑化後の値 （平滑化の例としては、 例えば ノイズ除去やスムージングのための口ーパス フィルタ処理があげられる） に 基づいて補正係数を算出し、 その補正係数で距離 （遠近感） を補正してもよ い （後述する図 7 （巳） の構成） 。

[0053] なお、 ユーザー 1の過去の運転情報に基づく学習結果を、 距離補正の際に フィードバックして、 個人差や運転時の環境に即した微調整を行う ことも可 能である （後述する図 8の構成） 。

[0054] 虚像表示距離の補正は、 例えば、 光学系の移動によって虚像表示距離を直 接的にダイナミックに変更することであって もよく、 また、 物理的な距離自 体は変更されないが、 オブジェクトを立体化したり、 サイズを変更したり、 陰影をつけたり、 遠近手法を取り入れた描画を行ったりする、 いわゆる疑似 3 0画像処理による遠近強調の手法によるもの� �もよく、 あるいは、 両者を 組み合わせたものであってもよい。

[0055] 次に、 図 3を参照する。 図 3 （ ） は、 オブジェクトの虚像表示距離を増 大させる制御例を示す図、 図 3 （巳） は、 オブジェクトの虚像表示距離を減 少させる制御例を示す図である。

[0056] 図 3 （八） では、 虚像表示距離を直接的に制御する （光学系の移動等によ 〇 2020/175228 1 1 卩（：171? 2020 /006189

る） ことによって距離を増大させ、 虚像表示面 3 1上に表示されていた才 ブジェクト （虚像） 0 1が、 より遠方の虚像表示面 3 2上に表示される オブジェクト （虚像） 0 2となるように制御する。 虚像表示面 3 1の距 離は 1_ 1 （第 1の虚像表示距離） であり、 3 2の距離は!_ 2 （第 2の虚像 表示距離） である。

[0057] 図 3 （巳） では、 虚像表示距離を増大させ、 虚像表示面 3 1上に表示さ れていたオブジェクト （虚像） 0 1が、 より手前の虚像表示面 3 3上に 表示されるオブジェクト （虚像） 0 3となるように制御する。 虚像表示面 3 3の距離は!_ 3 （第 3の虚像表示距離） である。

[0058] 図 3 （八） 、 図 3 （巳） の何れの制御を行うかは、 距離制御対象となる才 ブジェクトの色特性によって判定される。 例えば、 代表的な色が、 ユーザー から見て手前側に見える進出特性をもつ場合 （進出色である場合） は、 オブ ジェクトについての虚像表示距離を、 その進出特性の程度に応じて増大させ 、 オブジェクトの色特性が、 ユーザーから見て奥側に見える後退特性をも つ 場合 （後退色である場合） は、 オブジヱクトについての虚像表示距離を、 そ の後退特性の程度に応じて減少させてもよい 。

[0059] なお、 「進出色」 とは、 赤、 橙、 黄など、 前方にとび出してみえるような 色であり、 言い換えれば、 暖色系の色や明度の高い色で、 その他の色と対比 させると近くにあるように見える色等のこと である。 「白」 は、 視覚的効果 が 「緑」 と同等に取り扱われることもあるが、 一般には、 「膨張色」 である ことから、 進出色として扱われるものと想定される。

[0060] _方、 「後退色」 とは、 寒色系の色や明度の低い色で、 その他の色と対比 させると遠くにあるように見える色のことで ある。 例えば、 濃い緑、 濃い茶 などがあげられる。 黒は、 一般には、 後退色と見られることが多いと想定さ れる。

[0061 ] 図 3 （八） 、 図 3 （巳） のような制御を行うことで、 例えば、 装置 が意図する虚像表示距離での情報の知覚を実 現して、 違和感等を低減するこ とができ、 高精度の距離知覚制御を実現することができ る。 〇 2020/175228 12 卩（：171? 2020 /006189

[0062] 次に、 図 4を参照する。 図 4は、 オブジェクトの虚像表示距離が閾値を超 えない範囲では、 距離の直接制御及び遠近強調処理の少なくと も一方による 制御を実行し、 閾値を超える範囲では、 遠近強調処理のみによる制御を実行 する制御例を示す図である。

[0063] 図 4の例では、 所定の閾値 1 を超えて遠方に表示されるオブジェクトに ついては、 直接的な距離制御を行わず、 疑似 3 0画像処理による遠近強調の みによって、 知覚を介した距離制御を実施することとする 。

[0064] ある程度の遠方にある物体 （オブジェクト） を人が見るときの輻輳角は十 分に小さくなっており、 距離制御では、 輻輳角の変化を人に感じさせること は困難となる。 よって、 所望の遠近感制御の効果が期待できないとき は、 複 雑な処理を伴いがちな直接的な距離制御をあ きらめ、 疑似 3 0画像処理のみ による遠近強調で対応する （例えば、 オブジェクトのサイズを小さくする） こととしたものである。 これによって、 遠方のオブジェクトについても、 遠 近感補正が効果的に行えるようになる。

[0065] 図 4では、 0 ~ 1が距離調整領域 八であり、 1 ~ 2がサイズ調 整領域 巳である。 八にて表示するときは、 例えば、 図 3 （八） の制御が 実施される。 巳にて表示されるときは、 虚像表示面 3 4 （第 4の虚像表 示距離 !_ 4の位置に設けられる面） 上において、 例えば、 オブジェクト （虚 像） 〇 4のサイズを、 縮小する （全体的な縮小、 部分的な縮小のいずれで あってもよいものとする） 補正を実施し、 遠近感を調整する。

[0066] 次に、 図 5を参照する。 図 5は、 1 ^~ 1 II 0装置を用いた虚像表示距離の制御 の一例について説明するための図である。 図 5は、 先に示した図 2の運転シ —ンにおける仮想標識の表示例に相当する。

[0067] 図示されるように、 1 ^~ 1 II 0装置 1 0 0は、 被投影部材 6であるウインドシ —ルドに、 オブジェクト （表示対象物） の画像を投影 （言い換えれば、 画像 を表示する表示光 <を照射） し、 これによって、 ユーザー 1は、 前方に設定 される虚像表示面 3 1 0、 3 1 1、 1 2上において、 ナビゲーシヨ ン像 （虚像） <3 1〜〇3が各々、 表示される。 〇 2020/175228 13 卩（：171? 2020 /006189

[0068] 各虚像表示面 31 0〜 31 2上では、 虚像の表示位置にかかわらず、 虚像表示距離は同じであり、 図 5においては、 虚像表示面 31 1、 93 ^ 2の各虚像表示距離は 1_ 201、 ！_ 202、 ！_ 203 （1_ 201 <!_ 202<!_ 203） に設定されている。

[0069] ここで、 制限速度を表示するナビゲーシヨン像〇 1は、 車両 1 0の前方へ の走行スピードに合致させて、 ユーザー 1の視点 から見て、 奥側から手前 側へと流れるように、 虚像表示距離が多段階に制御される。 このような制御 は、 多面 （マルチレイヤー） 1 ^~ 1 II 0装置を用いて実現される （この点は後述 する） 。

[0070] 図 5の運転シーンでは、 虚像表示距離を異ならせた複数のオブジェク ト （

3種類のナビゲーシヨンコンテンツ〇 1 ~〇3） が同時に提示されており、 また、 制限速度の標識である〇 1が、 車両 （自車両） 1 0の動きに合わせて 手前側に流れるように動かされており、 ユーザー 1は、 色によるオブジェク 卜の全体的又は部分的な進出/後退の知覚が� �じ易く、 視覚的違和感が生じ 易い運転シーンといえる。

[0071] この視覚的違和感を軽減すること等を目的と して、 装置 1 00には 、 遠近感補正部 900が設けられている。 以下、 遠近感補正部 900につい て説明する。

[0072] ここで、 図 6を参照する。 図 6は、 可視光の色彩と、 各色彩に対応する波 長範囲を示す図である。 一般に 「進出色」 であるか 「後退色」 であるかを判 断する基準は波長である。 先に述べたとおり、 赤などの波長が長い色は進出 色であり、 紫などの波長が短い色は後退色となる。

[0073] 遠近感補正部 900は、 表示制御対象のオブジェクトに関して、 例えば、 各ピクセルの 巳データから合成色を判断 （パターンをテーブル化する） し、 極値である赤/紫 （図 6の色配列の右端、 左端に位置する） を、 補正係 数 + 1. 〇/- 1. 0とし、 これらを基準として、 補正係数を線形 （但し、 —例であり条件を加重して非線形としてもよ い） に形成する。 なお、 上記の 表記において 「十」 は、 ユーザー 1から見て奧側への補正であり、 「一」 は 〇 2020/175228 14 卩（：171? 2020 /006189

手前側への補正を意味する。

[0074] 以下、 補正係数の生成の具体例について説明する。 図 7を参照する。 図 7 （八） 、 図 7 （巳） は、 遠近感補正部の構成例を示す図である。

[0075] 図 7 （ ） の構成では、 遠近感補正部 9 0 0の前段に、 色情報取得部 9 0

2と、 色特性 （既述） を抽出する色特性抽出部 9 0 4が設けられている。 遠 近感補正部 9 0 0は、 オブジェクトの代表的色特性決定部 9 0 6と、 補正係 数《を生成するルックアップテーブル （1- 11丁） 9 0 7と、 補正係数《を、 正規の距離!- （又はオブジェクトの正規のサイズ巳） に乗算するなどの演算 を実施する補正処理部 9 1 0と、 を有する。 この演算の結果として、 補正後 の距離 !_〇 （又は補正後のサイズ巳〇） が出力される。

[0076] なお、 ルックアップテーブル （1_ 11丁） 9 0 7は、 色特性抽出部 9 0 4に よって抽出された、 オブジェクトの特徴量 （色についての支配的因子等であ り、 色属性とも称する） に基づくパラメータをアドレス変数としてア クセス される、 メモリ （3 [¾八1\/1等） により構成することができる。

[0077] 図 7 （巳） の例では、 ピクセル （サブピクセルを含んでもよい） 毎の色情 報取得部 9 0 1’ と、 色特性抽出部 9 0 4と、 遠近感補正部 9 0 0は、 ルッ クアップテーブル （!_ II丁） 9 0 7’ と、 補正係数平均化部 （これは補正係 数平滑化部に置換可能である） 9 0 9と、 補正処理部 9 1 0と、 を有する。 ここで、 「補正係数平均化部 （平滑化部） 」 という名称は、 「所定のパラメ —夕を平均化 （平滑化） する機能ブロック」 という意味で広く解釈可能とす る。

[0078] ルックアップテーブル （1_ 11丁） 9 0 7’ は、 ピクセル（サブピクセル） 毎 の色特性に従うパラメータとしての補正係数 口を生成する。 この補正係数 （パラメータ） 口を、 補正係数平均化処理部 9 0 9で平均化 （又は平滑化 ） することで、 オブジェクトを代表する補正係数《が生成さ れる。 この補正 係数《を用いて、 正規の虚像表示距離!-や、 オブジェクトの正規のサイズ巳 が補正される。 これによって、 補正後の距離 !_〇 （又は補正後のサイズ巳〇 ） が出力される。 なお、 「正規の」 という表現は、 当初 （補正前） に、 1 ^~ 1 11 〇 2020/175228 15 卩（：171? 2020 /006189

口装置が提示を予定していた、 という意味である。 なお、 補正がなされない 場合は、 その当初の値が、 補正後の値とされる。

[0079] 次に図 8を参照する。 図 8は、 遠近感補正部の構成の他の例を示す図であ る。 図 8では、 図 7の構成に加えて、 学習/蓄積部 9 1 1が付加されている 。 遠近感補正部 9 0 0は、 オブジェクトについての虚像表示距離の補正 に際 し、 学習/蓄積部 9 1 1 に蓄積された遠近感を伴う視覚的特徴に関係 する事 項に該当する運転環境、 運転シーン、 及びオブジヱクトの色と前記背景の色 との関係、 の少なくとも 1つに基づいて、 オブジェクトについての虚像表示 距離の補正の程度を微調整することができる 。

[0080] 距離 （遠近感） 補正に際し、 ユーザーの過去の学習による経験則をフィー ドバックし、 微調整を実施することで、 ユーザーの知覚傾向 （個人差） に即 した、 より精度の高い補正が可能となる。

[0081 ] 例えば、 ドライバモニタリングシステムと連動させて 、 提示色 （オブジェ クトの色） と反応時間との関係性を蓄積させ、 そのデータに基づき、 補正値 （あるいは補正係数） を修正してもよい。 例えば、 青色のオブジェクトの認 識が遅れる傾向があるときは、 青色のオブジェクトは、 前方への進出を強調 して反応の改善を図ることができる。

[0082] また、 例えば、 オブジェクトが表示される背景 （実景） の色と、 オブジェ クトの色との組み合わせによって、 ユーザーの遠近感に関する知覚が顕著に 変動することが学習によって明らかとなった ときは、 それらの色の組み合わ せを変数として、 補正値 （あるいは補正係数） を算出し、 補正の精度をより 高めることも可能である。

[0083] なお、 図 8において、 学習/蓄積部 9 1 1から出力されるフィードバック 情報 として、 個人差情報丁、 環境、 運転シーン、 オブジェクトと背景との 関係等を示す付帯情報 3が例示されている。

[0084] 次に、 図 9を参照する。 図 9 （ ） は、 虚像表示距離が異なる複数の虚像 表示面を設定可能な多面 1 ^~ 1 II口装置における虚像表示面の設定例を示す� ��、 図 9 （巳） は、 多面 1 ^~ 1 11 0装置の要部の構成例を示す図、 図 9 （〇） は、 位 〇 2020/175228 16 卩（：171? 2020 /006189

置制御信号について説明するための図であ る。

[0085] 多面 （マルチレイヤー） 1 ^~ 1 11 0装置は、 多面 （3以上の面） の虚像表示面 を設定可能な 1 ^~ 1 II 0装置である。 言い換えれば、 虚像表示距離は、 通り （ は 3以上の自然数） に変更可能である。 図 9 （八） では、 = 4 5であり 、 虚像表示距離が異なる虚像表示面 3 1〜 3 4 5を設定可能である。

[0086] 多面 （マルチレイヤー） 1 ^~ 1 11 0装置では、 虚像を表示可能な虚像表示面が 多面化 （マルチレイヤー化） されることから、 虚像表示距離を、 より自在に 変更することができ、 奥行き感のある立体的な表示が可能となる。 また、 さ らに、 表示対象の物体 （オブジェクト） のサイズや高さを、 適宜、 変更して 遠近感を持たせたり、 物体の表示位置を調整したり、 物体に奥行きを持たせ て立体化したり、 物体に影をつけたり、 斜視表現を採用したり、 物体の質感 を緻密に表現したりする、 といった、 幾何学的な立体装飾処理 （立体装飾と 称する場合がある） を施すこと （言い換えれば、 疑似 3 0画像処理を併用す ること） で、 よりリアルな 3 0表示が可能となる。

[0087] 図 9 （巳） を参照する。 図 9 （巳） では、 光走査型の 1 ^~ 1 II 0装置の要部の 構成が示されている。 図示されるように、 位置制御信号生成部 9 1が設けら れ、 この位置制御信号生成部 9 1は、 表示制御部 3 0 0から与えられる制御 信号である走査駆動信号「 V 3を受けて、 位置制御信号 V 3を生成、 出力 する。

[0088] また、 虚像表示距離変更部 2 4は、 レンズ駆動部 9 3及びスクリーン駆動 部 9 5を含む。 また、 図 9 （巳） においては、 画像処理部 5 1 と、 光源部 5 3とが設けられる。

[0089] 画像処理部 5 1は、 表示制御部 3 0 0から与えられる表示画像データ〇 V に基づいて表示画像を生成し、 生成した表示画像を光源駆動部 5 5に供給す る。

[0090] また、 光源部 5 3は、 光源駆動部 5 5及び光源 （ここではレーザー光源!_ 〇） 5 7を含む。 位置制御信号生成部 9 1が生成する位置制御信号 ？〇は 、 虚像表示距離変更部 2 4のレンズ駆動部 9 3及びスクリーン駆動部 9 5に 〇 2020/175228 17 卩（：171? 2020 /006189

供給され、 同時に、 光源駆動部 5 5にも供給される。

[0091 ] 虚像表示距離変更部 2 4は、 画像表示部 （単に、 表示部という場合もある ） としてのスクリーン 4 6 （及びレンズ 4 4） を、 画像表示部としてのスク リーン 4 6の光軸に沿う方向 （言い換えれば、 光路に沿う方向であり、 図 9 （B） では、 表示光＜が進行する矢印で示される方向） において、 所定範囲 （ここでは距離範囲 !_ ） で、 振動させることによって、 画像表示部として のスクリーン 4 6 （より具体的には、 画像 1\/1が表示される表示面 4 7） から 、 被投影部材 6までの光路長を周期的に変更する。 また、 光源部 5 3の光源 駆動部 5 5によって、 光源 （レーザー光源 !_ 0） 5 7からの光の出射タイミ ングが制御されることによって、 画像表示部としてのスクリーン 4 6の表示 面 4 7上における画像 IV!の表示タイミング （表示時刻） が制御 （調整） され る。

[0092] ここで、 通りに変更され得る虚像表示距離の各々に対 応する虚像表示面 を第 1〜第 の虚像表示面とする場合に、 画像表示部としてのスクリーン 4 6 （及びレンズ 4 4） を所定範囲 （1_ ） で、 所定周期で振動させる制御、 画像表示部としてのスクリーン 4 6の表示面 4 7における画像の表示タイミ ングの制御、 及び、 表示タイミングの制御に同期した表示内容の 変更制御 （ の組み合わせ） によって、 第 1〜第 の虚像表示面の内の少なくとも 2面の 各々に、 異なる非重畳コンテンツ （実景への重畳を前提としない表示対象） についての虚像の表示が可能である。

[0093] 位置制御信号生成部 9 1が生成する位置制御信号 V 9（3は、 例えば、 図 9 （〇） に記載されるような、 鋸歯状 （のこぎり状） の電圧信号 （鋸歯状波の 電圧信号） である。 なお、 図 9 （〇） では、 横軸に時間 1:、 縦軸に電圧 Vを 設定している。

[0094] 位置制御信号 V （3の電圧が 0の場合は、 画像表示部としてのスクリーン 4 6は、 第 1の位置 丁 0に位置し、 位置制御信号 V 〇の電圧がピーク値 の場合は、 画像表示部としてのスクリーン 4 6は、 第 2の位置 丁 1 に位置 する。 〇 2020/175228 18 卩（：171? 2020 /006189

[0095] ここで、 例えば、 時刻 I 4の各々において、 光源部 5 3から、 異な る表示コンテンツ （表示対象） の画像を出力することによって、 虚像表示距 離が異なる 4つの表示対象 （虚像） を表示することができる。 この構成を用 いることで、 図 1、 図 2、 図 6で示したような、 オブジェクトの表示 （表示 像による情報提示） を実現することができる。

[0096] なお、 上記の構成は一例であり、 これに限定されるものではない。 例えば 、 表示面を有する表示部を複数、 並列に設け、 各表示部の位置を、 ステップ 的に移動させることで、 虚像表示距離を多段階に変更可能としてもよ い。

[0097] 次に、 図 1 0を参照する。 図 1 0は、 虚像表示距離の制御が可能な 1 ^~ 1 II 0 装置の全体の構成例を示す図である。 車両用表示装置は、 車両 1 〇に搭載さ れ、 画像を、 車両 1 0に備わる被投影部材 6としてのウインドシールドに投 影することで、 ユーザー （ここでは運転者） 1 に画像の虚像 V （虚像表示面 上に表示される） を視認させるヘッ ドアップディスプレイ 装 置 1 0 0を有する車両用表示装置であり、 画像を生成する画像生成部 3 2と 、 画像 （表示画像） IV!が形成される表示面 4 7を有し、 画像 IV!の表示光 を 発する表示部 （ここではスクリーン 4 6） と、 表示光 <を反射して、 被投影 部材 6に投影する光学部材 （ここでは凹面鏡 4 9） を含む光学系 5 2と、 ユ —ザー 1上又は車両 1 0上に設定される基準点から虚像までの距離� �ある虚 像表示距離を変更する虚像表示距離変更部 （図 9 （巳） の符号 2 4、 図 1 0 では不図示） と、 画像生成部 3 2及び虚像表示距離変更部 （図 9 （巳） の符 号 2 4） を制御して、 複数の表示対象 （例えば図 5の（3 1〜0 3） の各々を 、 異なる虚像表示距離 （図 5では表示距離！- 2 0 1、 ！_ 2 0 2、 ！_ 2 0 3） に同時に表示させることが可能な表示制御部 3 0 0と、 を有する。

[0098] 表示制御部 3 0 0は、 画像生成部 3 2、 走査駆動部 3 3、 虚像表示距離制 御部 3 4、 遠近感補正部 9 0 0 （例えば、 図 7、 図 8の構成をもつ） を備え る。

[0099] なお、 ダッシュボード 4内に配置されている。 光学 系 （投射光学系） 5 2は、 画像の表示光 <をウインドシールド （被投影部材 〇 2020/175228 19 卩（：171? 2020 /006189

6） に照射することができる。

[0100] また、 図 1 0では、 環境光 （外光） の強度を検出する外光強度センサー 1

6が車両 （自車両） 1 0に備わっている。 検出された外光強度は、 昼夜の区 別をするため、 あるいは、 日差しによる照り返しの強弱等といった周囲 環境 情報の一種であり、 種々、 役立てることができる。

[0101 ] また、 図 1 0では、 前方 （車両周囲） 撮像カメラ 1 7による撮像画像に基 づいて画像処理を行う画像処理部 2 1 を有する運転シーン判定部 1 9と、 仮 想標識情報 （広義のナビゲーシヨン情報） を出力する表示オブジェクト情報 生成部 4 0 0と、 が設けられている。

[0102] 表示オブジェクト情報生成部 4 0 0は、 奥行きマッピング部 4 0 2と、 表 示オブジェクト （色、 立体形状等の情報を含む） 生成部 4 0 4と、 運転経路 情報取得部 4 0 6と、 自車両位置情報取得部 4 0 8と、 地図情報取得部 4 1 0と、 記憶部 （地図、 道路案内情報、 道路標識等のデータべースとして機能 する） 4 1 2と、 を有する。

[0103] 表示オブジェクト情報生成部 4 0 0には、 車載巳〇11 7 0 0が収集した車 両情報等が、 バス （巳 II 3） を介して供給される。

[0104] また、 通信部 5 0 0が、 例えば、 車両 1 0の外部に設置されている運転支 援システム 6 0 0との無線通信によって取得した各種の情報� �、 適宜、 ナビ ゲーシヨン部 （ナビゲーシヨン巳（3 11） 4 0 0の自車両位置情報取得部 4 0 8及び地図情報取得部 4 1 0に供給するようにしてもよい。

[0105] また、 3受信部が 3衛星から受信した位置情報等を、 適宜、 表示 オブジェクト情報生成部 （具体的にはナビゲーシヨン用巳〇11） 4 0 0の自 車両位置情報取得部 4 0 8及び地図情報取得部 4 1 0に供給するようにして もよい。

[0106] 次に、 図 1 1 を参照する。 図 1 1は、 本発明の実施形態にかかる 1 ^~ 1 II 0装 置の主要な動作手順の一例を示すフローチヤ ートである。

[0107] ステップ 1 にて情報提示の必要性が判定され、 1\!のときは現状が維持され 、 丫のときは、 ステップ 3 2に移行する。 ステップ 2では、 表示オブジェク 〇 2020/175228 20 卩（：171? 2020 /006189

卜 （立体オブジェクトを含む） を生成する。

[0108] 次に、 ステップ 3 3にて、 表示オブジェクトの色情報を取得する。 ステッ プ 4にて、 表示オブジェクトの色についての情報 （色関係情報：必要に応じ てフィードバック情報が含まれる） に基づいて、 補正係数を求める （例えば 、 先に説明した !_ II丁を用いた算出手法を利用可能である） 。

[0109] ステップ 3 5にて、 求められた補正係数により、 正規の虚像表示距離 （才 ブジェクトのサイズ） の補正処理が行われる。 距離及びサイズの少なくとも —方の補正を行うことができる。

[01 10] ステップ 3 6にて、 表示オブジェクトが描画される。 これにより、 虚像 （ 図 1 0の符号 V） が、 虚像表示可能領域 7 （図 2参照） 内に表示される。

[01 1 1 ] 以上のように、 本発明の実施形態によれば、 1 ^~ 1 II 0装置が意図する虚像表 示距離での情報の知覚を実現して、 違和感等を低減することができる。 例え ば、 色による進出/後退の知覚変動に合わせて、 その知覚変動を抑制する方 向に、 オブジェクトの距離を可変に制御することに よって、 ューザーの違和 感を効果的に低減することができる。

[01 12] 以上、 本発明を実施形態に基づいて説明したが、 本発明は、 これらの実施 形態に限定されるものではなく、 種々、 変形、 応用が可能である。 例えば、 虚像表示距離を直接的に制御する手法として 、 虚像表示面を路面に垂直な方 向 （例えば鉛直方向等） に対して傾けておき、 その虚像表示面上での、 オブ ジェクトの表示位置を変更することで、 虚像表示距離を微調整する手法を採 用してもよい。 例えば、 虚像表示面の上側 （路面から離れる側） が虚像表示 距離がより大きくなるのであれば、 表示位置を上側に変更することで、 距離 を微増させることができる。 このような例も、 本発明の技術思想に含まれる 。 なお、 虚像表示面を傾けることは、 光学系 （スクリーン等） を光軸に対し て直交する方向から、 所定角度をもって傾斜させるようにすること で実現さ れ得る。

[01 13] また、 本発明において実施される虚像位置の変更制 御は、 車両の運転のシ ミュレータ等にも応用することが可能である 。 なお、 「車両」 については、 〇 2020/175228 21 卩（：171? 2020 /006189

例えば、 「乗り物」 、 「移動体」 というように広義に解釈することも可能で ある。 1 ^~ 1110装置についても、 車載表示装置、 乗り物 （移動体） 用表示装置 、 というように、 広義に解釈することができるものとする。 また、 装 置は、 プロジェクターを利用したものの他、 ホログラフィーと称されるもの であつてもよい。

[0114] 本発明は、 上述の例示的な実施形態に限定されず、 また、 当業者は、 上述 の例示的な実施形態を特許請求の範囲に含ま れる範囲まで、 容易に変更する ことができるであろう。

符号の説明

[0115] 1 ユーザー （運転者等） 、 2 路面 （道路） 、 3 ステア リングホイール （ハンドル） 、 5 フロントパネル、 6 被投影部 材 （ウインドシールド等） 、 7 虚像表示可能領域、 1 0 · · 車両 （ 自車両） 、 1 9 · · ·運転シーン判定部、 2 1 · · ·画像処理部、 32 · ·

-画像生成部、 33 · · ·走査駆動部、 34 · · ·虚像表示距離制御部、 4 4 レンズ （光学系） 、 46 · · スクリーン （表示部） 、 47 画像表示面 （表示面） 、 49 凹面鏡 （ミラー） 、 52 投射光学 系 （光学系） 、 300 表示制御部、 900 · · ·遠近感補正部、 90 2 色情報取得部、 904 · · ·色特性抽出部、 906 · · ·オブジェ クトの代表的色特性決定部、 907 ルックアップテーブル （1_ 11丁）

、 909 · · ·補正係数平均化処理部、 9 1 0 · · ·補正処理部、 9 1 1 - -学習/蓄積部、 3 虚像表示面、 ＜ 表示光、 IV! 画像 、 V 虚像