発明の名称 ： 演算装置、 視差算出方法

技術分野

[0001 ] 本発明は、 演算装置、 および視差算出方法に関する。

背景技術

[0002] —対のカメラを有するステレオカメラで撮影 されたステレオ画像を用いて 、 カメラ視野内に存在する物体までの距離を三 角測量の原理で計測する位置 測定装置が知られている。 特許文献 1 には、 複数の撮像装置により物体を撮 像し、 得られた一方の画像から複数の小領域画像を 切り出し照合領域とし、 各照合領域と他方との画像との相関演算によ り前記撮像装置から前記物体ま での距離分布又は該物体を形成する面の面方 向を検出する画像における相関 演算方法であって、 前記複数の画像に対してそれぞれ解像度の異 なる複数の 画像を生成し、 解像度別に階層構造に画像を形成する多重解 像度画像生成手 段を備え、 1\] , IV!を整数とする時、 ！\]層間の相関演算によって前記各照合領 域に対する各視差を求め、 該各視差に基づいて IV!層の相関演算に対する照合 領域とその探索領域を確定し、 その確定された各照合領域と各探索領域で前 記相関演算を行うことによって前記物体まで の距離分布、 又は前記物体を形 成する面の面方向を検出することを特徴とす る画像における相関演算方法が 開示されている。

先行技術文献

特許文献

[0003] 特許文献 1 : 日本国特開 2 0 0 1 - 3 1 9 2 2 9号公報

発明の概要

発明が解決しようとする課題

[0004] 特許文献 1 に記載されている発明では、 精度を向上する余地がある。

課題を解決するための手段

[0005] 本発明の第 1の態様による演算装置は、 第 1のブロック単位で視差を示す \¥02020/175063 2 卩（：171?2020/004342

粗距離画像を格納する記憶部と、 第 1のカメラで撮影して得られた画像であ る基準画像、 および第 2のカメラで撮影して得られた画像である参� �画像を 用いて、 前記第 1のブロック以下の大きさである第 2のブロック単位で、 前 記第 2のブロックごとに視差の候補である視差候� �に基づき、 前記基準画像 における視差を算出して詳細な距離画像であ る詳細距離画像を生成する第 1 視差探索部と、 前記第 1視差探索部が視差を算出する前記第 2のブロックを 含む前記第 1のブロックの大きさを有する領域である親� �ロックの視差、 前 記親ブロックに隣接する前記第 1のブロックの大きさを有する領域である隣 接ブロックの視差、 および探索条件に基づき前記視差候補を算出 する候補算 出部とを備える。

本発明の第 2の態様による視差算出方法は、 第 1のブロック単位で視差を 示す粗距離画像を格納する記憶部を備える演 算装置が実行する視差算出方法 であって、 第 1のカメラで撮影して得られた画像である基� �画像、 および第 2のカメラで撮影して得られた画像である参� �画像を用いて、 前記第 1のブ ロック以下の大きさである第 2のブロック単位で、 前記第 2のブロックごと に視差の候補である視差候補に基づき、 前記基準画像における視差を算出し て詳細な距離画像である詳細距離画像を生成 することと、 視差の算出対象で ある前記第 2のブロックを含む前記第 1のブロックの大きさを有する領域で ある親ブロックの視差、 前記親ブロックに隣接する前記第 1のブロックの大 きさを有する領域である隣接ブロックの視差 、 および探索条件に基づき前記 視差候補を算出することとを含む。

発明の効果

［0006］ 本発明によれば、 算出する距離の精度を向上できる。

図面の簡単な説明

［0007］ ［図 1］車両 9のハードウエア構成図

［図 2］左画像 2 1、 右画像 3 1、 粗距離画像 4 1、 および詳細距離画像 4 6の 比較を説明する図

［図 3］演算装置 1の機能ブロック図 ［図 4］親ブロックと子ブロックの関係を説明す� �図

［図 5］図 5は候補算出部 1 0 6の動作を説明する図

［図 6］第 1視差探索部 1 0 3 Aによる視差の決定を説明する概念図

［図 7］第 1の実施の形態における演算装置 1の動作を示すフローチヤート

［図 8］変形例 1 における演算装置 1の機能ブロック図

［図 9］変形例 3における演算装置 1の動作を示すフローチヤート

［図 10］探索条件のバリエーシヨンを示す図

［図 1 1］変形例 7における第 1視差探索部 1 0 3 Aの動作を説明する図 ［図 12］変形例 8における第 1視差探索部 1 0 3 Aの出力を示す概念図 ［図 13］変形例 1 0における詳細距離画像 4 6を出力するタイミングを示す概 念図

［図 14］第 2の実施の形態における演算装置 1 Aの機能ブロック図

［図 15］第 2の実施の形態における演算装置 1 Aの処理を示すフローチヤート ［図 16］第 2の実施の形態の変形例 2における演算装置 1 Aの機能ブロック図 発明を実施するための形態

［0008］ 一第 1の実施の形態一

以下、 図 1〜図 5を参照して、 本発明に係る演算装置の第 1の実施の形態 を説明する。

［0009］ (ハードウエア構成)

図 1は、 本発明に係る演算装置 1 を搭載する車両 9のハードウエア構成図 である。 車両 9は、 演算装置 1 と、 左カメラ 2と、 右カメラ 3と、 車両制御 装置 4と、 距離センサ 5とを備える。 演算装置 1および車両制御装置 4は電 子制御装置 (E lect ron i c Cont ro l Un i t) である。 左カメラ 2および右カメ ラ 3は、 車両 9の周囲を撮影して得られた撮影画像を演算� �置 1 に出力する 。 左カメラ 2および右カメラ 3は、 水平方向に並んで配置される。 以下では 、 左カメラ 2の撮影画像を左画像 2 1、 右カメラ 3の撮影画像を右画像 3 1 と呼ぶ。 また左カメラ 2を 「第 1のカメラ」 と呼び、 右カメラ 3を 「第 2の カメラ」 と呼ぶこともある。 [0010] 左カメラ 2および右カメラ 3は水平方向を向くように配置されるので、 左 画像 2 1および右画像 3 1のいずれも、 鉛直方向および水平方向に広がりの ある 3次元空間を撮影して得られた画像である。 ただしここでいう水平や垂 直は厳密な意味ではなく、 左画像 2 1および右画像 3 1の左右方向が天地で はなく左右方向に対応するという程度の意味 である。 たとえば、 左カメラ 2 および右カメラ 3が光軸を回転中心として最大で 3 0度程度傾いてもよい。

[001 1 ] 距離センサ 5は、 距離情報を取得なセンサ、 たとえばレーザレンジファイ ンダ、 超音波センサ、 および L i D A R (L i ght Detect i on and Rang i ng ) などである。 距離センサ 5は、 左カメラ 2および右カメラ 3と同一の方向 を向いている。 距離センサ 5は粗距離画像 4 1 を生成し、 演算装置 1 に出力 する。 なお粗距離画像 4 1は便宜的な名称であり、 実際には所定の規則で記 載された距離情報の羅列であってもよい。 所定の規則とはたとえば、 左上か ら 5度ずつ右方向に走査し、 1 2 0度走査すると下方向に 1 0度移動させて 再び左から 5度ずつ走査することを繰り返して得られる� �番に記載する規則 である。

[0012] 左画像 2 1、 右画像 3 1、 および粗距離画像 4 1 に記録されている三次元 空間は少なくとも一部が重複していればよい 。 左カメラ 2、 右カメラ 3、 お よび距離センサ 5の車両 9における取り付け位置や取り付け姿勢は既� �であ り、 左画像 2 1、 右画像 3 1、 および粗距離画像 4 1の相互の位置関係も既 知である。 そのため、 左画像 2 1 における所定の画素の三次元空間における 位置が、 粗距離画像 4 1のどの位置に相当するかも既知である。 左画像 2 1 、 右画像 3 1、 および粗距離画像 4 1の相互の位置関係は、 演算で求めても よいしあらかじめルックアップテーブルなど を用意して参照して求めてもよ い。

[0013] 左カメラ 2と右カメラ 3の相対位置は既知であり、 2つのカメラの内部パ ラメータも既知なので、 被写体のカメラまでの距離と視差の関係も既 知であ る。 本実施の形態では、 距離と視差の関係は、 後述する視差テーブル 1 2 1 として演算装置 1 に格納される。 本実施の形態では距離と視差の関係は既知 なので、 視差は 「距離に対応する情報」 と呼ぶこともできる。 また本実施の 形態では、 距離と視差は相互に容易に変換可能なので、 両者は実質的に同一 の情報とみなせる。

[0014] 演算装置 1は、 中央演算装置である C P U 1 1、 読み出し専用の記憶装置 である ROM 1 2、 読み書き可能な記憶装置である RAM 1 3、 およびイン タフェース 1 4を備える。 C P U 1 1が ROM 1 2に格納されるプログラム を RAM 1 3に展開して実行することで後述する複数の� �能を実現する。 た だし演算装置 1は、 CPU 1 1、 ROM 1 2, および RAM 1 3の組み合わ せの代わりに、 書き換え可能な論理回路である F P G A (Field Programmab le Gate Array) や特定用途向け集積回路である A S I C (Application S pecific Integrated Circuit) により実現されてもよい。 また演算装置 1 は、 CPU 1 1、 ROM 1 2、 および R AM 1 3の組み合わせの代わりに、 異なる構成の組み合わせ、 たとえば CPU 1 1、 ROM 1 2, RAM 1 3と F PGAの組み合わせにより実現されてもよい。

[0015] インタフェース 1 4は、 左画像 2 1、 右画像 3 1、 粗距離画像 4 1 を受信 し、 CPU 1 1 に提供する。 ただし CPU 1 1 に備えられるレジスタにはわ ずかな情報しか格納できないので、 CPU 1 1が自由にそれらの情報を参照 できるように、 インタフェース 1 4は受信した左画像 2 1、 右画像 3 1、 お よび粗距離画像 4 1 を RAM 1 3に格納する。

[0016] 演算装置 1は、 入力される左画像 2 1、 右画像 3 1および粗距離画像 4 1 を用いて詳細距離画像 46を作成し、 車両制御装置 4に出力する。 演算装置 1が詳細距離画像 46を作成する過程は図 2以降を参照してのちに詳述する 。 粗距離画像 4 1や詳細距離画像 46とは、 二次元平面における距離の遠近 を色の濃淡や色の彩度で表したものである。 粗距離画像 4 1 と詳細距離画像 46のフォーマツ トは同一であってもよいし異なっていてもよ い。 本実施の 形態では説明を簡略にするために、 粗距離画像 4 1および詳細距離画像 46 のいずれも、 各画素には距離の遠近を表す 「0」 〜 「255」 の整数値が格 納されるとして説明する。 \¥02020/175063 6 卩（：171?2020/004342

[0017] 詳細距離画像 4 6に示される範囲は、 左画像 2 1および右画像 3 1 と略同 —である。 ただし詳細距離画像 4 6に示される範囲は、 左画像 2 1および右 画像 3 1 に示される範囲よりも狭くてもよい。 詳細距離画像 4 6の画素数は 、 左画像 2 1および右画像 3 1 と略同一でもよいし、 数分の一程度でもよい

[0018] 車両制御装置 4は、 演算装置 1から入力される詳細距離画像 4 6を用いて 車両 9を制御する。 車両制御装置 4はたとえば、 詳細距離画像 4 6から車両 9の周辺に存在する障害物を検出し、 車両 9と検出した障害物との衝突を避 けるように車両 9を制御する。 車両制御装置 4による車両 9の制御は、 たと えば車両制御装置 4が不図示の操舵装置および不図示の制動装� �に動作指令 を出力することにより実現される。

[0019] （画像）

図 2は、 左画像 2 1、 右画像 3 1、 粗距離画像 4 1、 および詳細距離画像 4 6に格納される情報の解像度の比較を説明す� �図である。 ただしここでい う解像度とは、 奥行き方向の距離ではなく、 画像上の上下方向や左右方向の 分解能の高さを意味する。

[0020] 図 2 （a） は車両 9の周辺の様子を示す図であり、 車両 9 0 1が存在して いる。 図 2 （匕） は粗距離画像 4 1の解像度を示す概念図、 図 2 （〇） は詳 細距離画像 4 6の解像度を示す概念図である。 図 2 （ ） に示す粗距離画像 4 1 には、 図 2 （a） に示す領域を縦と横のそれぞれを 5分割した合計 2 5 個の領域ごとの距離情報が格納される。 図 2 （〇） に示す詳細距離画像 4 6 には、 図 2 （ ₃ ） に示す領域を縦と横のそれぞれを 1 0分割した合計 1 0 0 個の領域ごとの距離情報が格納される。 粗距離画像 4 1および詳細距離画像 4 6は、 図示上下が天地方向に、 図示左右が水平方向に対応する。

[0021 ] 本実施の形態では、 図 2 （匕） に示すように粗距離画像 4 1 に含まれる 1 つの距離情報が示す領域を 「第 1のブロック」 と呼び、 図 2 （〇） に示すよ うに詳細距離画像 4 6に含まれる 1つの距離情報が示す領域を 「第 2のブロ ック」 と呼ぶ。 第 1のブロックは第 2のブロックよりも大きい。 図 2に示す \¥02020/175063 7 卩（：171?2020/004342

例および本実施の形態では、 第 1のブロックは第 2のブロックに比べて幅と 高さがそれぞれ 2倍であり、 面積は 4倍である。 ただし第 1のブロックが第 2のブロックよりも大きければよく、 倍数は特に制限されない。

[0022] なお距離センサ 5が出力する 1点の距離情報は、 必ずしも第 1のブロック 全体を測定して得られた距離情報ではないが 、 本実施の形態ではその距離情 報が便宜的に第 1のブロック全体を代表する距離情報とみな� �ている。 また 詳細距離画像 4 6における第 2のブロックのそれそれが、 粗距離画像 4 1 に おけるいずれの第 1のブロックの領域に含まれるかも既知であ� �。

[0023] 左画像 2 1および右画像 3 1のそれぞれは、 第 2のブロックと同等以上の 解像度で輝度や彩度の情報を有する。 図 2の例に即すると、 左画像 2 1およ び右画像 3 1のそれぞれは図 2 ( a ) に示す範囲について縦と横ともに少な くとも 1 0画素、 すなわち全部で 1 0 0画素以上の情報を有する。 左画像 2 1 と右画像 3 1は、 詳細距離画像 4 6と略同一の画素数でもよいし、 縦方向 や横方向が 2倍や 1 0倍の画素を有していてもよい。 本実施の形態では、 左 画像 2 1 と右画像 3 1は、 詳細距離画像 4 6と略同一の画素数とする。

[0024] (機能ブロック)

図 3は、 演算装置 1が有する機能を機能ブロックとして示した� �能ブロッ ク図である。 ただし図 3には、 説明の便宜のために、 記憶部 1 3 1

に格納される情報も示している。 演算装置 1はその機能として、 第 1視差探索部 1 0 3 と、 候補算出部 1 0 6と、 記憶部 1 3 1 とを備える。 記憶部 1 3 1はたとえば [¾八1\/1 1 3により実現される。 記憶部 1 3 1 には距 離センサ 5から入力される粗距離画像 4 1が格納される。 粗距離画像 4 1は 、 距離センサ 5から新たな粗距離画像 4 1が入力されるたびに上書きされる 。 なお厳密には左画像 2 1および右画像 3 1 も [¾ 1\/1である記憶部 1 3 1 に 入力されるが、 図 3では記載を省略している。

[0025] 2に格納される視差テーブル 1 2 1は、 左カメラ 2と右カメラ 3 についての視差と距離との関係を示すテーブ ルである。 念のために記載する と、 視差と距離の関係は、 2つのカメラの相対位置や内部パラメータの� �響 を受ける。 ROM 1 2に格納されている視差テーブル 1 2 1は、 本実施の形 態における左カメラ 2と右カメラ 3の位置関係や内部パラメータにあわせて あらかじめ作成されたものである。

[0026] 第 1視差探索部 1 03 Aには、 左画像 2 1および右画像 3 1が入力される 。 第 1視差探索部 1 03 Aは、 まず左画像 2 1および右画像 3 1のいずれか _方を基準画像、 他方を参照画像とする。 第 1視差探索部 1 03 Aは基準画 像として左画像 2 1 と右画像 3 1のいずれを選択してもよいが、 この選択は 本実施の形態では一貫させる。 第 1視差探索部 1 03 Aは、 基準画像を第 2 のブロックごとに処理し、 基準画像の全領域についてそれぞれの第 2のブロ ックに対応する参照画像の領域を探索する。 第 1視差探索部 1 03 Aは、 参 照画像におけるエピポーラ線上のすべての領 域を探索するのではなく、 全域 視差候補 43に基づき参照画像の特定の領域のみを探索� ��る。

[0027] 第 1視差探索部 1 03 Aによる探索には、 既知の手法を用いる。 たとえば 第 1視差探索部 1 〇 3 Aは探索範囲について S A D (Sum of Absolute Di fferences) により非類似度を算出し、 非類似度が最も小さい参照画像上の領 域を探索する。 第 1視差探索部 1 03 Aは、 SADの代わりに、 ZSAD (Z ero-mean Sum of Absolute Differences) 、 Z S S D (Zero-mean Sum of Squared Differences) 、 B M (Block Matching) 、 S G M (Semi Global Matching) 、 NCC (Normalized Cross Correlation) 、 および ZNCC (Zero-mean Normalized Cross Correlation) のいずれかを用い てもよい。

[0028] 第 1視差探索部 1 03 Aはたとえば、 基準画像を第 2のブロックの大きさ に区切り、 1つ目の第 2のブロックについて、 全域視差候補 43に基づき定 められた領域を対象として参照画像における 対応する領域を探索し、 その第 2のブロックの視差を決定する。 そして次に第 1視差探索部 1 03 Aは、 基 準画像の 2つ目の第 2のブロックについて、 全域視差候補 43に基づき定め られた領域を対象として参照画像における対 応する領域を探索し、 その第 2 のブロックの視差を決定する。 このように第 1視差探索部 1 03 Aは基準画 \¥02020/175063 9 卩（：171?2020/004342

像を第 2のブロックの大きさに区切り、 各ブロックの視差を算出して詳細距 離画像 4 6を作成する。 第 1視差探索部 1 0 3 による全域視差候補 4 3を 用いた探索の動作は後述する。

[0029] 候補算出部 1 0 6は、 次の 2つの処理を実行する。 候補算出部 1 0 6は第

1の処理として、 粗距離画像 4 1および視差テーブル 1 2 1 を読み込み、 粗 距離画像 4 1 における第 1のブロックごとの距離情報を左カメラ 2および右 カメラ 3の視差に変換する。 候補算出部 1 0 6は第 2の処理として、 あらか じめ定められた探索条件に基づき、 基準画像の第 2のブロックの大きさに区 切られた領域ごとに視差候補 4 3 3を作成し、 すべてのブロックについての 視差候補 4 3 ₃ を全域視差候補 4 3として第 1視差探索部 1 0 3 に出力す る。 すなわち全域視差候補 4 3は、 基準画像を第 2のブロックの大きさに区 切った領域の数と同じ数だけ視差候補 4 3 ₃ を含む。 本実施の形態における 探索条件は、 「親ブロックおよび親ブロックの水平方向に 隣接するブロック 」 である。 視差候補 4 3 ₃ および全域視差候補 4 3の作成については後述す る。 探索条件はたとえば設計者によりあらかじめ 決定され、 2に格 納されるプログラムにハードコーディングさ れる。

[0030] 図 4は、 親ブロックと子ブロックの関係を説明する図 である。 図 4 ( a ) は粗距離画像 4 1の概念図であり図 2 ( b ) と同一である。 図 4 ( b ) は左 画像 2 1の概念図であり、 本実施の形態では左画像 2 1 と詳細距離画像 4 6 は略同一の画素数を有するので、 図 2 (〇) と同一のように図示されている 。 図 4 ( a ) に示す粗距離画像 4 1 におけるある 1つの第 1のブロックであ る領域 9 0 2は、 図 4 (匕) に示す左画像 2 1では領域 9 0 3に相当する。 図 4 ( 1〇) に示すある 1つの第 2のブロックである領域 9 0 4は、 領域 9 0 3に含まれる。

[0031 ] このような関係にある場合に本実施の形態で は、 領域 9 0 2と領域 9 0 4 の関係を 「親ブロック」 と 「子ブロック」 の関係と呼ぶ。 具体的には、 領域 9 0 2の子ブロックが領域 9 0 4であり、 領域 9 0 4の親ブロックが領域 9 0 2である。 \¥02020/175063 10 卩（：171?2020/004342

[0032] （候補算出部 1 0 6の動作）

図 5は候補算出部 1 0 6の動作を説明する図である。 図 5 （a） および図 5 （ ） は粗距離画像 4 1の概念図、 図 5 （〇） は全域視差候補 4 3の概念 図である。 厳密には図 5 （〇） は、 左画像 2 1 を構成する第 2のブロックの 領域に、 そのブロックの視差候補 4 3 3の基準値を記載したものである。 た だし図 5 （ ₃ ） 〜 （〇） のいずれも粗距離画像 4 1や全域視差候補 4 3の一 部のみを示している。 また図 5 （a） および図 5 （13） における四角の枠は 第 1のブロックを表しており、 図 5 （〇） における四角の枠は第 2のブロッ クを表している。 なお図 5 （b） と図 5 （〇） の太線の枠は対応しており、 図 5 （1〇） の四角の枠で示す第 2のブロックと、 図 5 （〇） の四角の枠に含 まれる 4つの小さな第 2のブロックのそれぞれは、 親ブロックと子ブロック の関係にある。

[0033] ただし厳密には全域視差候補 4 3のそれぞれの要素、 すなわちそれぞれの 視差候補 4 3 3は第 2のブロックの大きさを有するわけではなく� � それぞれ の視差候補 4 3 3を利用する対象が第 2のブロックの大きさを有する。 その ため厳密には” 図 5 （b） と図 5 （〇） が親ブロックと子ブロックの関係に ある” という説明も正しくはないが、 対応関係を示すためにそのように表現 している。

[0034] 図 5 （a） に示す粗距離画像 4 1は、 第 1のブロックごとの距離情報を示 している。 距離センサ 5の出力はメートル単位に限定されず、 たとえば距離 に対応する符号でもよいが、 図 5 （a） に示す例では一般化してメートル単 位で記載している。 図 5 （匕） は、 候補算出部 1 0 6が視差テーブル 1 2 1 を用いて粗距離画像 4 1の距離情報を視差、 すなわち画素数に変換したもの である。 ただし図 5 （b） では作図の都合により 「画素」 を 「 父 丨」 とし て表記している。

[0035] 候補算出部 1 0 6は、 第 1の処理として図 5 （ ₃ ） の情報と視差テーブル

1 2 1 を用いて図 5 （匕） に示す情報を作成する。 候補算出部 1 0 6はたと を 「3 0画素」 に置 \¥0 2020/175063 1 1 卩（：171? 2020 /004342

き換え。 候補算出部 1 0 6は第 2の処理として、 探索条件にしたがって図 5 （13） に示す情報を用いて図 5 （〇） に示す情報を作成する。 前述のとおり 、 本実施の形態における探索条件は親ブロック および親ブロックの水平方向 に隣接するブロックである。

[0036] 候補算出部 1 0 6は、 処理対象とする第 2のブロックの視差の基準値を、 親ブロックの視差、 および 3次元空間において親ブロックの水平方向に� �接 する第 1のブロックの視差とする。 簡潔に記載すると、 ある第 2のブロック の視差の基準値は、 親ブロックの視差、 親ブロックの右隣のブロックの視差 、 および親ブロックの左隣のブロックの視差で ある。 そして候補算出部 1 〇 6は、 視差候補 4 3 ₃ の基準値から所定の範囲、 たとえばプラスマイナス 2 0画素を視差候補 4 3 ₃ とする。

[0037] 本実施の形態では、 図 5 （〇） に示すように親ブロックが同一であれば子 ブロックの視差候補 4 3 3の基準値は同一である。 そのため同一の親ブロッ クを有する子ブロックは、 いずれか 1つの子ブロックについて視差候補 4 3 3を作成 ·記録すればよい。

[0038] （第 1視差探索部 1 0 3 の動作）

図 6は、 第 1視差探索部 1 0 3 による視差の決定を説明する概念図であ る。 図 6 （a） に左画像 2 1 と右画像 3 1が示されている。 この例では、 基 準画像である左画像 2 1の領域 9 1 1 に対応する参照画像、 すなわち右画像 3 1の領域を探索している。 本実施の形態では左カメラ 2と右カメラ 3が水 平方向に並んで設置されているので、 エピポーラ線は符号 9 1 2で示す水平 方向に延びる破線である。 左画像 2 1および右画像 3 1の図示横方向の幅が 8 0 0画素であり、 領域 9 1 1の中心が左端から 2 0 0画素目の場合に、 参 照画像である右画像 3 1 には図示するように一 2 0 0〜 + 6 0 0の数値が振 られる。 たとえば参照画像の左から 6 0 0画素を中心とする領域 9 0 3が基 準画像の領域 9 0 1 に対応する、 すなわち非類似度が最も低いと判断された 場合には、 視差は 「4 0 0」 と算出される。

[0039] 図 6 （匕） は、 参照画像の破線 9 1 2上の位置ごとの領域 9 1 1 との非類 \¥02020/175063 12 卩（：171?2020/004342

似度の一例を示す図である。 前述のように、 非類似度の算出には 3 0など が用いられる。 なお図 6 （匕） では一 2 0 0〜 + 6 0 0の全域にわたって非 類似度を示しているが、 本実施の形態では全域視差候補 4 3に含まれる処理 対象の領域の視差候補 4 3 ₃ のみ非類似度を算出すればよい。 図 5 （〇） に 示す例によれば視差候補 4 3 3の基準値が 5 0、 1 0 0、 4 0 0なので、 視 差候補 4 3 3はそれぞれを中心としたプラスマイナス 2 0画素、 すなわち 3 〇〜 7 0、 8 0〜 1 2 0、 3 8 0〜 4 2 0となる。

[0040] そのため第 1視差探索部 1 0 3八は、 図 6 （匕） に示すハッチングを施し た領域は非類似度の算出は不要であり、 視差が 3 0〜 7 0、 8 0 ~ 1 2 0、

3 8 0〜 4 2 0の範囲のみ非類似度を算出すればよい。 図 6 （匕） に示す例 では、 視差候補 4 3 3である 3 0〜 7 0、 8 0〜 1 2 0、 3 8 0〜 4 2 0の うち、 最少となるピークが 「4 0 0」 なので視差は 「4 0 0」 と算出される

[0041 ] （フローチヤート）

図 7は、 第 1の実施の形態における演算装置 1の動作を表すフローチヤー 卜である。 以下に説明する各ステップの実行主体は演算 装置 1の〇 II 1 1 である。 ステップ3 3 0 1では候補算出部 1 0 6は、 記憶部 1 3 1から粗距 離画像 4 1 を取得する。 続くステップ 3 3 0 2では候補算出部 1 0 6は、 〇1\/1 1 2から視差テーブル 1 2 1 を読み込み、 粗距離画像 4 1 に格納されて いる距離を視差に変換する。 続くステップ 3 3 0 3では候補算出部 1 0 6は 、 左画像 2 1の全ての第 2ブロックを処理対象として、 粗距離画像 4 1 にお ける親ブロックおよび親ブロックの左右に隣 接するブロックから視差を取得 する。 なおこの視差は視差候補 4 3 ₃ の基準値として扱われる。

[0042] 続くステップ 3 3 0 4では候補算出部 1 0 6は、 ステップ 3 3 0 3におい て取得した視差に対して所定の範囲、 たとえばプラスマイナス 2 0画素を設 定して各ブロックの視差候補 4 3 3を作成し、 全ブロックの視差候補 4 3 3 をまとめて全域視差候補 4 3として出力する。 続くステップ 3 3 0 5では第 1視差探索部 1 0 3 は、 左画像 2 1の全ての第 2のブロックを処理対象と \¥02020/175063 13 卩（：171?2020/004342

し、 ブロックごとに視差候補 4 3 3の全範囲について非類似度を算出して視 差を探索する。 続くステップ 3 3 0 6では第 1視差探索部 1 0 3八は、 ステ ップ 3 3 0 5において探索した視差を用いて詳細距離画� � 4 6を生成して出 力し、 図 7に示す処理を終了する。

[0043] 上述した第 1の実施の形態によれば、 次の作用効果が得られる。

( 1 ) 演算装置 1は、 第 1のブロック単位で二次元平面の視差を示す� �距離 画像 4 1 を格納する記憶部 1 3 1 と、 第 1のカメラすなわち左カメラ 2で撮 影して得られた画像である左画像 2 1すなわち基準画像、 および第 2のカメ ラすなわち右カメラ 3で撮影して得られた画像である右画像 3 1すなわち参 照画像を用いて、 第 1のブロック以下の大きさである第 2のブロック単位で 、 第 2のブロックごとに視差の候補である視差候� � 4 3 3に基づき基準画像 における視差を算出して詳細な距離画像であ る詳細距離画像 4 6を生成する 第 1視差探索部 1 0 3八と、 第 1視差探索部 1 0 3八が視差を算出する第 2 のブロックを含む第 1のブロックの大きさを有する領域である親� �ロックの 視差、 親ブロックに隣接する第 1のブロックの大きさを有する領域である隣 接ブロックの視差、 および探索条件に基づき視差候補 4 3 ₃ を算出する候補 算出部 1 0 6とを備える。 そのため、 親ブロックだけでなく親ブロックに隣 接するブロックの視差も用いて視差候補 4 3 3を決定するので、 算出する距 離の精度を向上できる。 この利点を詳述する。

[0044] 図 4 ( b ) の領域 9 0 2などのように物体の輪郭が含まれる親ブロ� �クで は、 複数の子ブロックの視差が異なるため 1つの親ブロックの視差だけを用 いて視差を算出すると精度の低下が避けられ ない。 仮に 1つの親ブロックの 視差のみを使って子ブロックの視差を探索す ると、 最適な視差が探索できず 親ブロックの視差付近の値となってしまう。 なお範囲を限定せずにエピポー ラ線上のすべての領域を探索することも可能 であるが、 その場合は計算量が 増加する問題、 および全く異なる視差が選択されてしまう問 題が生じうる。 その一方で、 本実施の形態では親ブロックに隣接するブロ ックの視差も用い るため、 適切な範囲を探索でき、 全探索を行うよりも計算量は少なく、 親ブ \¥02020/175063 14 卩（：171?2020/004342

ロックのみの視差を用いる場合や全探索を する場合よりも精度を向上できる

[0045] ( 2 ) 演算装置 1は、 粗距離画像 4 1 を受信し記憶部 1 3 1 に格納するイン タフエース 1 4を備える。 そのため演算装置 1は、 粗距離画像 4 1 を計算す ることなく容易に取得できるので計算量を削 減できる。

[0046] ( 3 ) 候補算出部 1 0 6は、 粗距離画像 4 1 において親ブロックおよび隣接 ブロックのそれぞれに設定されている視差を 用いて視差候補 4 3 3を探索す る。 具体的には候補算出部 1 0 6は粗距離画像 4 1から親ブロックおよび隣 接ブロックの視差の値を読み込んで視差候補 4 3 3の基準値とし、 基準値に 所定の幅を持たせたものを視差候補 4 3 8とし、 その全域を探索する。 その ため、 より確からしい視差を算出できる。

[0047] ( 4 ) 基準画像および参照画像のいずれも、 鉛直方向および水平方向に広が りのある 3次元空間を撮影して得られた画像である。 候補算出部 1 0 6は、

3次元空間において親ブロックの水平方向� �存在する第 1のブロックを隣接 ブロックとする。 たとえば自動車用のアプリケーシヨンでは、 鉛直方向の距 離精度よりも水平方向の距離精度が必要とさ れる傾向にあり、 候補算出部 1 0 6が参照する候補を増やすほど第 1視差探索部 1 0 3 の計算量は増加す る。 そのため、 参照する親ブロックの位置を精度確保の要請 が強い水平方向 に限定することで、 要求制度を満たしつつ計算量を削減できる。

[0048] (変形例 1 )

上述した第 1の実施の形態では、 粗距離画像 4 1は距離センサ 5が出力し た。 しかし演算装置 1が粗距離画像 4 1 を生成する第 2視差探索部を備えて もよい。 この場合は車両 9は距離センサ 5を備えなくてもよい。

[0049] 図 8は、 変形例 1 における演算装置 1の機能ブロック図である。 図 8に示 す機能ブロック図は、 図 3に比べて第 2視差探索部 1 0 3巳が追加されてい る。 第 1視差探索部 1 〇 3 の動作は第 1の実施の形態と同様である。 候補 算出部 1 0 6は、 距離を視差に変換する第 1の処理を行わなくてよい。 第 2 視差探索部 1 〇 3巳には、 左画像 2 1および右画像 3 1が入力される。 第 2 \¥02020/175063 15 卩（：171?2020/004342

視差探索部 1 0 3巳は、 粗距離画像 4 1 を生成して記憶部 1 3 1 に格納する

[0050] 第 2視差探索部 1 0 3巳の動作を詳述すると次のとおりである。 第 2視差 探索部 1 0 3巳はまず、 左画像 2 1 を基準画像、 右画像 3 1 を参照画像とし て、 第 1のブロックの単位で基準画像の各領域に対� �する参照画像の領域を 特定して視差を算出する。 そして第 2視差探索部 1 0 3巳は、 算出したそれ それの第 1のブロックの視差をそのまま粗距離画像 4 1 として出力する。 第 2視差探索部 1 0 3巳による視差の算出は次のとおりである。

[0051 ] 第 2視差探索部 1 0 3巳は視差を算出するために、 参照画像におけるエピ ポーラ線上の全ての第 1のブロックを対象として非類似度を算出し� � 非類似 度が最も小さいブロックを探索する。 そして第 2視差探索部 1 0 3巳は、 処 理対象の基準画像のブロックの基準画像上の 座標と、 非類似度が最も小さい ブロックの参照画像上の座標との差を視差と する。 なお第 2視差探索部 1 0 3巳による非類似度の算出は、 3八0、 3八0、 7 3 3 0 , 巳 IV!、

、 1\1〇〇、 および 1\1〇〇のいずれを用いてもよい。

[0052] 第 1視差探索部 1 0 3 と第 2視差探索部 1 0 3巳の動作の違いは、 処理 対象とするブロックの大きさと、 探索対象が制限されるか否かである。 第 1 視差探索部 1 0 3 は処理対象が第 2のブロックであり、 第 2視差探索部 1 0 3巳は処理対象が第 1のブロックである。 第 1視差探索部 1 0 3八は、 処 理対象の視差の算出にあたりエピポーラ線上 でありかつ視差候補 4 3 ₃ で示 される範囲のみ視差の探索を行う。 第 2視差探索部 1 0 3巳は、 探索範囲を 特に限定せずエピポーラ線上の全ての領域を 探索する。 ただし第 2視差探索 部 1 0 3 律に探索範囲を制限し、 たとえば水平方向の全域ではなく 6 0 %の範囲のみ、 具体的には視差がゼロの位置を中心に 8 0 0画素の 6 0 %で ある 4 8 0画素の範囲を探索範囲としてもよい。

[0053] この変形例 1 によれば、 次の作用効果が得られる。

( 5 ) 演算装置 1は、 基準画像および参照画像を用いて粗距離画像 4 1 を作 成し記憶部 1 3 1 に格納する第 2視差探索部 1 0 3巳を備える。 そのため車 \¥02020/175063 16 卩（：171?2020/004342

両 9が距離センサ 5を備えなくても詳細距離画像 4 6を作成できる。

[0054] なお変形例 1 において、 第 1視差探索部 1 0 3 と第 2視差探索部 1 0 3 巳は共通のプログラム部品やハードウエア回 路を用いて実現してもよい。

[0055] （変形例 2）

上述した第 1の実施の形態では、 第 1のブロックは第 2のブロックよりも 大きかった。 しかし第 1のブロックと第 2のブロックは同一のサイズであっ てもよい。 すなわちこの場合は、 処理対象とするブロックの視差、 すなわち 距離の情報を、 周辺のブロックの視差を利用して改めて算出 する。 そのため 、 詳細距離画像 4 6に格納される距離情報は、 粗距離画像 4 1 に格納される 距離情報よりも精度が高くなる利点があり、 一定の有用性が認められる。

[0056] （変形例 3）

上述した第 1の実施の形態では、 候補算出部 1 0 6は親ブロックと親ブロ ックの左右に隣接するブロックの視差の全て を視差候補 4 3 3の基準値とし た。 しかし候補算出部 1 〇 6は視差候補 4 3 ₃ の基準値を 1つに絞り、 1つ の基準値から所定の範囲を視差候補 4 3 ₃ としてもよい。 この場合に候補算 出部 1 0 6は、 それぞれの視差候補 4 3 3の基準値について非類似度を算出 し、 最も確からしい視差、 すなわち非類似度が最も低い基準値を採用す る。

[0057] たとえば左画像 2 1 におけるある第 2のブロックをブロック Xとしたとき に、 ブロック Xの親ブロックとその親ブロックの左右に隣� �するブロックの 視差が、 5 0、 1 0 0、 4 0 0画素であったとする。 この場合に候補算出部 1 0 6は、 ブロック Xと、 ブロック Xに対して視差が 5 0、 1 0 0、 4 0 0 画素である右画像 3 1の領域との非類似度を算出し、 非類似度が最小の領域 の視差を視差の基準値とする。 そしてその基準値から所定の範囲、 たとえば プラスマイナス 2 0画素を視差候補 4 3 3とする。

[0058] 図 9は、 本変形例における演算装置 1の動作を表すフローチヤートである 。 本フローチヤートは第 1の実施の形態における図 7に比べて、 ステップ 3 3 0 3八が追加されている点が異なる。 ステップ 3 3 0 3八では候補算出部 1 0 6は、 ステップ 3 3 0 3において取得した視差のうち最も確からし� �視 \¥02020/175063 17 卩（：171?2020/004342

差、 すなわち非類似度が最も低い基準値を特定す る。 続くステップ 3 3 0 4 ではステップ 3 3 0 3八において特定した視差から所定の範囲を� �差候補 4 3 3として出力する。 ステップ 3 3 0 5以降の処理は第 1の実施の形態と同 様なので説明を省略する。

[0059] この変形例 3によれば、 次の作用効果が得られる。

（6） 候補算出部 1 0 6は、 粗距離画像 4 1 において親ブロックおよび隣接 ブロックのそれぞれに設定されている視差か らいずれか 1つの視差を選択し 、 選択した視差を用いて視差候補 4 3 ₃ を決定する。 そのため、 計算量を削 減することができる。

[0060] （変形例 4）

上述した第 1の実施の形態では、 候補算出部 1 0 6の探索条件は 「親ブロ ックおよび親ブロックの水平方向に隣接する ブロック」 であった。 しかし探 索条件はこれに限定されない。

[0061 ] 図 1 0は探索条件のバリエーシヨンを示す図であ� �。 図 1 0 （3） は第 1 の実施の形態における探索条件を示す図、 図 1 〇 （匕） 〜図 1 0 （ ₆ ） は本 変形例で例示する探索条件を示す図である。 図 1 0におけるそれぞれのアル ファべッ トは、 粗距離画像 4 1 における第 1のブロックに便宜的に付した名 称である。 図 1 0に示すアルファベッ トのうち、 「 」 は親ブロックを示し ており、 他のアルファべッ トに特別な意味はない。

[0062] 図 1 0 （3） に示すように第 1の実施の形態では、 親ブロックおよび親ブ ロックの水平方向に隣接するブロック、 すなわちブロック巳、 、 の視差 を候補の基準値とした。 しかし図 1 0 （匕） 〜図 1 0 （6） に示すように探 索条件を変化させてもよい。 図 1 〇 （匕） に示す例における探索条件は、 親 ブロックを中心とする全 9ブロックである。 この場合にはブロック および ブロック巳〜 Iの視差が候補の基準値となる。

[0063] 図 1 0 （〇） における探索条件は親ブロックおよび親ブロ ックの上下左右 である。 この場合にはブロック 、 0、 巳、 、 1 ^~ 1の視差が候補の基準値と なる。 図 1 0 （〇!） における探索条件は親ブロック、 親ブロックの左上、 親 \¥0 2020/175063 18 卩（：171? 2020 /004342

ブロックの左、 および親ブロックの上である。 この場合にはブロック 、 巳 、 〇、 巳の視差が候補の基準値となる。 図 1 0 （6） における探索条件は親 ブロックおよび左右 2ブロックである。 この場合にはブロック 、 ［＜、 巳、 、 1\1の視差が候補の基準値となる。 この変形例 4によれば、 様々な探索条 件を設定できる。

［0064］ （変形例 5）

候補算出部 1 〇 6および第 1視差探索部 1 0 3 は、 詳細距離画像 4 6を 用いてさらに詳細な距離画像を作成してもよ い。 換言すると演算装置 1は、 第 1の実施の形態における粗距離画像 4 1から詳細距離画像 4 6を作成する 処理を、 詳細距離画像 4 6からさらに詳細な距離画像の作成に適用し� �もよ い。 さらに演算装置 1は、 この処理を繰り返し実行して距離画像の解像 度を 徐々に向上させ、 最終的には 1画素ごとに距離を算出してもよい。

［0065］ 本変形例では第 2のブロック以下のサイズを有する第 3のブロックを定義 し、 第 1視差探索部 1 0 3 が詳細距離画像 4 6を作成した後に、 候補算出 咅6 1 0 6が基準画像における第 3のブロックごとに詳細距離画像 4 6を用い て視差候補を作成する。 そして第 1視差探索部 1 0 3 は、 候補算出部 1 0 6が詳細距離画像 4 6を用いて作成した視差候補に基づき第 3のブロックご とにより詳細な距離画像を作成する。 この変形例 5によれば、 より詳細な距 離画像を作成できる。

［0066］ （変形例 6）

候補算出部 1 0 6は、 取得した視差候補 4 3 ₃ の基準値からあらかじめ定 めた所定の範囲を視差候補 4 3 ₃ とした。 たとえば上述した第 1の実施の形 態では、 所定の範囲はプラスマイナス 2 0画素として説明した。 しかし候補 算出部 1 0 6は、 この範囲を距離に応じて可変としてもよい。 被写体までの 距離が遠く視差が小さい場合には変化量も小 さいが、 被写体までの距離が近 く視差が大きい場合には変化量が大きい傾向 にあるためである。

［0067］ たとえば候補算出部 1 0 6は、 親ブロックの距離の遠近に応じてこの範囲 を決定してもよい。 この場合に候補算出部 1 0 6は、 親ブロックの距離が近 \¥02020/175063 19 卩（：171?2020/004342

いほど範囲を広く設定し、 親ブロックの距離が近いほど範囲を狭く設定 する 。 別な一例として候補算出部 1 0 6は、 基準となる視差の値の大小に応じて この範囲を決定してもよい。 この場合には、 視差候補 4 3 3の基準値が大き いほど範囲を広く設定し、 比佐の候補の基準値が小さいほど範囲を狭く 設定 する。

[0068] （変形例 7）

上述した第 1の実施の形態では、 第 1視差探索部 1 0 3 は、 非類似度を 算出する領域と視差を設定する領域を一致さ せていた。 しかし第 1視差探索 部 1 0 3 は、 非類似度を算出する領域よりも視差を設定す る領域を狭く設 定してもよい。 非類似度の算出、 すなわち対応する位置の探索を広い領域で 行い、 視差は狭い範囲で行うことによりノイズの影 響を受けにくくする利点 を有する。

[0069] 図 1 1は、 変形例 7における第 1視差探索部 1 0 3 の動作を説明する図 である。 図 1 1 に示す内側の四角が視差を設定する領域であ り、 外側の四角 が非類似度を算出する領域である。 図 1 1 に示すでは視差を設定する領域に 対して非類似度を算出する領域は 9倍の面積を有するが、 この面積の比率は 任意である。 また、 図示縦方向の比率と図示横方向の比率も任意 であり、 た とえば視差を設定する領域に対して非類似度 を算出する領域が図示横方向に は 4倍、 図示縦方向には 1 . 5倍の長さを有してもよい。

[0070] （変形例 8）

上述した第 1の実施の形態では、 候補算出部 1 0 6は処理対象の第 2のブ ロックの親ブロックの視差および親ブロック の左右に隣接するブロックの視 差を視差候補 4 3 ₃ の基準値とした。 しかし所定の場合には、 親ブロックの 視差のみを視差候補 4 3 3の基準値としてもよい。 所定の場合とはたとえば 、 親ブロックの視差の値と、 親ブロックの左右に隣接するブロックの視差 と の差が所定値以下の場合である。 別の所定の場合とは、 親ブロックの視差の 値が非常に大きい、 または非常に小さい場合である。

[0071 ] また演算装置 1が車両 9に搭載された速度センサから車両 9の速度の情報 \¥02020/175063 20 卩（：171?2020/004342

を取得可能な場合は、 次の 2つの変形例も採用可能である。 車両 9の速度が 所定の閾値より速くかつ親ブロックの視差の 値が所定の閾値よりも大きい場 合には親ブロックの視差のみを視差候補 4 3 3の基準値としてもよい。 また 車両 9の速度が所定の閾値より遅くかつ親ブロッ� �の視差の値が所定の閾値 よりも小さい場合には親ブロックの視差のみ を視差候補 4 3 ₃ の基準値とし てもよい。 この 2つの変形例は、 車速が早い場合の近い距離の情報や車速が 遅い場合の遠い距離の情報は重要性が低いた め精度の向上をよりも計算用の 低減を重視するものである。

[0072] さらに本変形例では第 1視差探索部 1 0 3 は、 詳細距離画像 4 6に第 2 のブロックごとの処理経過を示す付加情報を 付加して出力してもよい。 具体 的には付加情報は、 第 2のブロックごとに視差の基準値が親ブロッ� �の視差 のみであるか、 親ブロックおよび親ブロックの左右に隣接す るブロックの視 差であるかを示す情報である。 付加情報は第 1視差探索部 1 〇 3 が作成し てもよいし、 候補算出部 1 0 6が作成してもよい。

[0073] 図 1 2は第 1視差探索部 1 0 3八の出力を示す概念図である。 図 1 2に示 す符号 3 0 0 1が付加情報を表している。 図 1 2に示すように付加情報 3 0 0 1は詳細距離画像 4 6の先頭に付加されてもよいし、 図 1 2とは逆に付加 情報 3 0 0 1が詳細距離画像 4 6の末尾に付加されてもよい。 また付加情報 3 0 0 1 と詳細距離画像 4 6の情報がたとえば 1 ブロックずつ交互に記載さ れてもよい。

[0074] この変形例 8によれば、 次の作用効果が得られる。

( 7 ) 演算装置 1、 左カメラ 2、 および右カメラ 3は車両 9に搭載される。 候補算出部 1 0 6は、 車両 9の速度および親ブロックの視差に基づき、 親ブ ロックの視差のみを用いて視差候補 4 3 8を決定するか否かを決定する。 そ のため、 不要な演算を削減できる。

[0075] (変形例 9 )

特定の条件を満たす場合には、 第 1視差探索部 1 0 3 は探索を行わず、 親ブロックの視差の値をそのまま子ブロック の視差としてもよい。 本変形例 \¥0 2020/175063 21 卩（：171? 2020 /004342

では、 候補算出部 1 〇 6は以下に述べる所定の場合に、 第 2のブロックごと に、 第 1視差探索部 1 0 3 に探索が不要な旨の特別な信号および親ブロ ッ クの視差を出力し、 この特別な信号を受信した第 1視差探索部 1 0 3 は受 信した親ブロックの視差を子ブロックの視差 とする。

[0076] 候補算出部 1 0 6は親ブロックの視差の値と、 親ブロックの左右に隣接す るブロックの視差との差が所定値以下の場合 に、 前述の特別な信号および親 ブロックの視差の値を出力してもよい。 また候補算出部 1 0 6は、 親ブロッ クの視差の値が非常に大きい、 または非常に小さい場合に前述の特別な信号 および親ブロックの視差の値を出力してもよ い。

[0077] また演算装置 1が車両 9に搭載された速度センサから車両 9の速度の情報 を取得可能な場合は、 次の 2つの変形例も採用可能である。 車両 9の速度が 所定の閾値より速くかつ親ブロックの視差の 値が所定の閾値よりも大きい場 合には、 候補算出部 1 〇 6は前述の特別な信号および親ブロックの視� �の値 を出力してもよい。 また車両 9の速度が所定の閾値より遅くかつ親ブロッ� � の視差の値が所定の閾値よりも小さい場合に は、 候補算出部 1 0 6は前述の 特別な信号および親ブロックの視差の値を出 力してもよい。 この 2つの変形 例は、 車速が早い場合の近い距離の情報や車速が遅 い場合の遠い距離の情報 は重要性が低いため精度の向上をよりも計算 用の低減を重視するものである

[0078] さらに本変形例では第 1視差探索部 1 0 3 は、 詳細距離画像 4 6に第 2 のブロックごとの処理経過を示す付加情報を 付加して出力してもよい。 具体 的には付加情報は、 第 2のブロックごとに探索を行って視差を決定� �たのか 、 親ブロックの視差をそのまま使用したのかを 示す情報である。 付加情報は 第 1視差探索部 1 0 3 が作成してもよいし、 候補算出部 1 0 6が作成して もよい。

[0079] （変形例 1 0）

上述した第 1の実施の形態では、 詳細距離画像 4 6を出力するタイミング は特に規定しなかった。 しかし以下に説明するように第 1〜第 4のいずれの \¥02020/175063 22 卩（：171?2020/004342

タイミングで出力してもよい。 第 1のタイミングは、 詳細距離画像 4 6の全 体が作成されたタイミングである。 第 1のタイミングで出力する場合には、 詳細距離画像 4 6の全体が一度に出力される。 第 2のタイミングは、 詳細距 離画像 4 6の図示横方向の 1 ラインが作成されたタイミングである。 第 2の タイミングで出力する場合には、 詳細距離画像 4 6の 1 ラインが作成される たびにその 1 ラインの情報が出力される。

[0080] 第 3のタイミングは、 図示横方向に連続する 4画素以上の所定の画素数の 距離情報が作成されたタイミングである。 第 3のタイミングで出力する場合 には、 詳細距離画像 4 6の所定の画素数の距離情報が作成されるた� �にその 所定の画素数の情報が出力される。 第 4のタイミングは、 図示横方向に連続 する 3画素の距離情報が作成されたタイミングで� �る。 第 4のタイミングで 出力する場合には、 詳細距離画像 4 6の 3画素の距離情報が作成されるたび にその 3画素の情報が出力される。

[0081 ] 図 1 3は変形例 1 0における詳細距離画像 4 6を出力するタイミングを示 す概念図である。 図 1 3 （3） ~ （ ） のそれぞれは、 上述した第 1〜第 4 のタイミングに対応する。

[0082] （変形例 1 1）

上述した第 1の実施の形態では、 第 1視差探索部 1 〇 3 が出力する詳細 距離画像 4 6には視差の値そのものが含まれた。 しかし第 1視差探索部 1 0 3八は、 視差テーブル 1 2 1 を用いて詳細距離画像 4 6に含まれる視差を距 離に変換して出力してもよい。 この場合に第 1視差探索部 1 0 3 は、 各画 素の値が所定の範囲、 たとえば〇〜 2 5 5となるように全画素の値に最適な 係数を掛ける、 いわゆる正規化処理をさらに施してもよい。

[0083] （変形例 1 2）

第 1の実施の形態において、 説明した演算装置 1の機能構成は一例に過ぎ ない。 図 2に示したいくつかの機能構成を一体に構成� �れてもよいし、 図 3 では 1つの機能ブロック図で表した構成を 2以上の機能に分割してもよい。 また各機能ブロックが有する機能の一部を他 の機能ブロックが備える構成と \¥02020/175063 23 卩（：171?2020/004342

してもよい。 たとえば視差候補 4 3 3には基準値のみを含め、 第 1視差探索 部 1 0 3八が基準値を中心とした所定の範囲を探索� �囲としてもよい。 たと えば本変形例では視差候補 4 3 3が 「5 0、 1 0 0、 4 0 0画素」 であり、 第 1視差探索部 1 〇 3八はこの視差候補 4 3 3が入力されると 「3 0〜 7 0 、 8 0〜 1 2 0、 3 8 0〜 4 2 0画素」 を探索する。

[0084] 第 2の実施の形態 ^_

図 1 4〜図 1 5を参照して、 本発明に係る演算装置の第 2の実施の形態を 説明する。 以下の説明では、 第 1の実施の形態と同じ構成要素には同じ符号 を付して相違点を主に説明する。 特に説明しない点については、 第 1の実施 の形態と同じである。 本実施の形態では、 主に、 撮影画像からエッジを検出 しエッジを利用して探索範囲を変化させる点 で、 第 1の実施の形態と異なる 。 本実施の形態における演算装置 1 のハードウエア構成、 および演算装置 1 八を搭載する車両 9のハードウエア構成は第 1の実施の形態と同様なので 説明を省略する。

[0085] （機能ブロック）

図 1 4は、 第 2の実施の形態における演算装置 1 が有する機能を機能ブ ロックとして示した機能ブロック図である。 第 1の実施の形態との違いは、 演算装置 1 が特徴情報算出部 1 0 7をさらに備える点である。 第 1視差探 索部 1 0 3 の動作は第 1の実施の形態と同様である。 候補算出部 1 0 6の 動作は後述するように第 1の実施の形態と一部が異なる。

[0086] 特徴情報算出部 1 0 7には左画像 2 1が入力される。 特徴情報算出部 1 0

7は左画像 2 1からエッジを検出して特徴情報 4 7を算出し、 特徴情報 4 7 を候補算出部 1 0 6に出力する。 エッジの検出には種々の既知の手法を用い ることができ、 たとえばソーベルフイルタやガウシアンフイ ルタによりエツ ジを検出する。 特徴情報算出部 1 0 7は、 検出したエッジの位置を特徴情報 4 7として候補算出部 1 0 6に出力する。

[0087] 候補算出部 1 0 6は、 処理対象の第 2のブロックの親ブロックがエッジ上 であるか否かにより処理を次のように変化さ せる。 候補算出部 1 0 6は、 処 \¥02020/175063 24 卩（：171?2020/004342

理対象の第 2のブロックの親ブロックがエッジ上に存在� �る場合には、 第 1 の実施の形態と同様に親ブロックと親ブロッ クの左右に隣接するブロックの 視差を取得する。 その一方で処理対象の第 2のブロックの親ブロックがエッ ジ上にない場合は、 候補算出部 1 0 6は親ブロックの視差のみを取得する。 親ブロックがエッジ上にない場合には、 親ブロックの領域において急激な距 離の変化はないと考えられるので、 処理を軽減するために親ブロックの視差 のみを視差候補 4 3 3の基準値とする。

[0088] 図 1 5は第 2の実施の形態における演算装置 1 八の処理を示すフローチヤ —卜である。 第 1の実施の形態との違いは、 ステップ 3 3 0 3の代わりにス テップ3 3 0 3 およびステップ 3 3 0 3〇を備える点である。 ステップ 3 3 0 1およびステップ 3 3 0 2の処理は第 1の実施の形態と同様なので説明 を省略する。 ステップ 3 3 0 3 では候補算出部 1 0 6は、 親ブロックがエ ッジ上にある第 2のブロックについて、 親ブロックとその親ブロックの左右 に隣接するブロックの視差を取得する。 ステップ 3 3 0 3 0では候補算出部 1 0 6は、 親ブロックがエッジ上にない第 2のブロックについて、 親ブロッ クの視差を取得する。

[0089] 念のために記載すると、 候補算出部 1 0 6はステップ 3 3 0 3 およびス テップ3 3 0 3〇を合わせると、 基準画像におけるすべての第 2のブロック を対象として何らかの視差を取得する。 ステップ3 3 0 3 およびステップ 3 3 0 3 0において取得した視差は、 視差候補 4 3 3の基準値として使用さ れる。 ステップ 3 3 0 4以降の処理は第 1の実施の形態と同様なので説明を 省略する。

[0090] 上述した第 2の実施の形態によれば、 次の作用効果が得られる。

( 8 ) 演算装置 1 は、 左画像 2 1から特徴情報 4 7を算出する特徴情報算 出部 1 〇 7を備える。 候補算出部 1 0 6は、 特徴情報算出部 1 0 7が算出し た特徴情報 4 7に基づき、 親ブロックの視差のみを用いて視差候補 4 3 ₃ を 決定するか否かを決定する。 そのため、 撮影した画像の特徴を利用して計算 を削減できる。 [0091 ] ( 9 ) 特徴情報 4 7とは画像のエッジ情報である。 候補算出部 1 0 6は、 親 ブロックの領域が特徴情報算出部により算出 されたエッジと重複する場合に は親ブロックおよび隣接ブロックの視差を用 いて視差候補 4 3 aを決定し、 親ブロックの領域が特徴情報算出部により算 出されたエッジと重複しない場 合には親ブロックの視差のみを用いて視差候 補 4 3 aを決定する。 そのため 、 エッジの境界付近の距離精度を向上すること ができる。

[0092] (第 2の実施の形態の変形例 1 )

上述した第 2の実施の形態では、 画像中の特徴情報としてエッジが用いら れた。 しかし特徴情報としてエッジの代わりにノイ ズを用いてもよい。 特徴 情報算出部 1 0 7は、 左画像 2 1の細かい領域ごとにノイズレベルを評価し 、 領域ごとのノイズレベルの大きさを特徴情報 4 7として候補算出部 1 0 6 に出力してもよい。 ノイズの評価には既知の手法を用いることが でき、 たと えば R M S ( root mean square) 粒状度やウイーナースペクトルを用いて 評価することができる。

[0093] 候補算出部 1 0 6は、 親ブロックが存在する領域のノイズレベルが 所定の 閾値よりも低いことを親ブロックがエッジ上 に存在することと同様に扱い、 親ブロックが存在する領域のノイズレベルが 所定の閾値以上であることを親 ブロックがエッジ上に存在しないことと同様 に扱う。 なお特徴情報算出部 1 0 7は、 ノイズの評価とエッジの検出の両方を実行し 、 両方の情報を特徴情 報 4 7として出力してもよい。 その場合は候補算出部 1 0 6は、 ノイズとエ ッジの両方の情報を用いて判断を行う。

[0094] 本変形例によれば次の作用効果が得られる。

( 1 0 ) 特徴情報 4 7とは画像のノイズ情報である。 候補算出部 1 0 6は、 親ブロックの領域におけるノイズレベルが所 定の閾値よりも低い場合には親 ブロックおよび隣接ブロックの視差を用いて 視差候補 4 3 aを決定し、 親ブ ロックの領域におけるノイズレベルが所定の 閾値以上の場合には親ブロック の視差のみを用いて視差候補 4 3 aを決定する。 そのためノイズが多く参照 量を増やしても距離精度の改善が見込めない 領域の計算量を削減できる。 \¥02020/175063 26 卩（：171?2020/004342

［0095］ （第 2の実施の形態の変形例 2）

第 2の実施の形態において、 演算装置 1 が粗距離画像 4 1 を生成する第 2視差探索部を備えてもよい。 この場合は、 車両 9は距離センサ 5を備えな くてもよい。 なお本変形例は、 第 2の実施の形態の構成と、 第 1の実施の形 態の変形例 1 とを組み合わせてもよいことを明示するもの である。

［0096］ 図 1 6は、 第 2の実施の形態の変形例 2における演算装置 1の機能ブロッ ク図である。 図 1 6に示す機能ブロック図は、 図 1 4に比べて第 2視差探索 部 1 0 3巳が追加されている。 第 1視差探索部 1 0 3八の動作は第 1の実施 の形態と同様である。 候補算出部 1 0 6は、 距離を視差に変換する第 1の処 理を行わなくてよい。 第 2視差探索部 1 0 3巳には、 左画像 2 1および右画 像 3 1が入力される。 第 2視差探索部 1 0 3巳は、 粗距離画像 4 1 を生成し て記憶部 1 3 1 に格納する。 これ以降の処理は、 第 1の実施の形態の変形例 1および第 2の実施の形態において説明済みなので説明� �省略する。

［0097］ 上述した各実施の形態および変形例において 、 プログラムは不図示の［¾〇 IV!に格納されるとしたが、 プログラムは不図示の不揮発性記憶装置に格 納さ れていてもよい。 また、 演算装置が不図示の入出カインタフェースを 備え、 必要なときに入出カインタフェースと演算装 置が利用可能な媒体を介して、 他の装置からプログラムが読み込まれてもよ い。 ここで媒体とは、 例えば入 出カインタフェースに着脱可能な記憶媒体、 または通信媒体、 すなわち有線 、 無線、 光などのネッ トワーク、 または当該ネッ トワークを伝搬する搬送波 やディジタル信号、 を指す。 また、 プログラムにより実現される機能の一部 または全部がハードウエア回路や 〇八により実現されてもよい。

［0098］ 上述した各実施の形態および変形例は、 それぞれ組み合わせてもよい。 上 記では、 種々の実施の形態および変形例を説明したが 、 本発明はこれらの内 容に限定されるものではない。 本発明の技術的思想の範囲内で考えられるそ の他の態様も本発明の範囲内に含まれる。

［0099］ 次の優先権基礎出願の開示内容は引用文とし てここに組み込まれる。

日本国特許出願 2 0 1 9 - 3 6 1 5 1 （2 0 1 9年 2月 2 8日出願） \¥02020/175063 27 2020/004342

符号の説明

[0100] 1、 1 八 演算装置

2 左カメラ

3 右カメラ

4 車両制御装置

5 距離センサ

9 車

1 4 インタフエース

2 1 左画像

3 1 右画像

4 1 粗距離画像

43 視差候補 3

43 全域視差候補

46 詳細距離画像

47 特徴情報

1 03 第 1視差探索部

1 03巳 第 2視差探索部

1 〇 6 候補算出部

1 〇 7 特徴情報算出部

1 2 1 視差テーブル

1 3 1 記憶部