以下、本発明の好ましい実施の形態を、� ��面を参照しながら説明する。なお、以下で� ��全ての図を通じて同一又は相当する要素に� ��同一の参照符号を付してその重複する説明� ��省略する。

 (実施の形態1)
 本発明の実施の形態1に係る撮像装置は、温 度センサにより検知された温度に基づき複数 のレンズの光軸の間隔の変化量を求め、複数 のレンズの光軸原点を変化量の半分だけ移動 し、光軸原点周りの歪みをなくすように画像 を補正する。これにより、歪みの影響を適切 に低減できるため、高精度な視差を検知でき 、高精度に距離測定できる。

 図1は、本発明の実施の形態1に係る撮像� �置の構成を示す断面図である。図1に示すよ� ��に、撮像装置101は、回路部120と、その回路� ��120の上方に設けられたレンズモジュール部1 10とを備えている。

 レンズモジュール部110は、円筒状の鏡筒1 11と、その鏡筒111の開口を覆う上部カバーガ� ��ス112と、その上部カバーガラス112の下方で� ��って鏡筒111の内部に設けられたレンズアレ� ��113とを有している。また、回路部120は、基� ��121と、その基板121上に設けられたパッケー� ��122、撮像素子123、パッケージカバーガラス1 24、半導体回路素子であるシステムLSI(以下、 SLSIと記す)125、及びレンズアレイ113近傍の温� ��を検出する温度センサ126とを有している。

 鏡筒111は、上述のとおり円筒状であって� ��その内壁面は光の乱反射を防止するために� ��やが消された黒で着色されており、樹脂を� ��出成形し形成される。上部カバーガラス112� ��、円盤状であり、光学ガラス材あるいは透� ��樹脂などから形成され、鏡筒111の上部の内� ��に接着剤などにより固着され、その表面に� ��摩擦などによる損傷を防止する保護膜と、� ��射光の反射を防止する反射防止膜とが設け� ��れている。

 図2は、本発明の実施の形態1に係る撮像� �置のレンズアレイの構成を示す平面図であ� �。レンズアレイ113は、略円盤状であり、光� �ガラス剤または透明樹脂などから形成され� �円形の第1のレンズ部113a、第2のレンズ部113b� ��第3のレンズ部113c、及び第4のレンズ部113dが 2行2列で碁盤目状に配設されている。第1~第4� ��レンズ部113a~113dの配置方向に沿って、図2に 示すようにx軸及びy軸を設定する。第1のレン ズ部113a、第2のレンズ部113b、第3のレンズ部11 3c、および第4のレンズ部113dにおいて、被写� �側から入射した光は、撮像素子123側へ射出� �れ、撮像素子123上に4つの像が結像される。� ��お、図2に示すように、第1のレンズ部113aの� ��軸及び第2のレンズ部113bの光軸は、x軸方向� ��はDxだけ離れており、y軸方向では一致する� ��第1のレンズ部113aの光軸及び第3のレンズ部1 13cの光軸は、x軸方向では一致しており、y軸� ��向ではDyだけ離れている。第3のレンズ部113c の光軸及び第4のレンズ部113dの光軸は、x軸方 向ではDxだけ離れており、y軸方向は一致する 。第4のレンズ部113dの光軸及び第1のレンズ部 113aの光軸は、x軸方向ではDxだけ離れており� �y軸方向ではDyだけ離れている。

 基板121は、樹脂基板から構成され、上面� ��鏡筒111がその底面を接して接着剤などによ� ��固着される。このようにして、レンズモジ� ��ール部110と回路部120とが固定され、撮像装� ��101を構成する。

 パッケージ122は、金属端子を有する樹脂� ��らなり、鏡筒111の内側において、基板121の� ��面にその金属端子部が半田づけ等されて固� ��される。

 撮像素子123は、CCDセンサやCMOSセンサのよ うな固体撮像素子であり、その受光面が第1� �レンズ部113a、第2のレンズ部113b、第3のレン� ��部113c、および第4のレンズ部113dの光軸と略� ��直になるようにして配置される。撮像素子1 23の各端子は、パッケージ122の内側の底部の� ��属端子にワイヤーボンディングにより金線1 27で接続され、基板121を介して、SLSI125と電気 的に接続される。撮像素子123の受光面に、第 1のレンズ部113a、第2のレンズ部113b、第3のレ� ��ズ部113c、および第4のレンズ部113dから射出� ��れた光がそれぞれ結像し、その光の情報が� ��像素子123の画素を構成するフォトダイオー� ��により電気の情報へ変換され、その電気の� ��報がSLSI125に転送される。

 図3Aは、本発明の実施の形態1に係る撮像� ��置の回路部120の構成を示す平面図である。� ��ッケージカバーガラス124は、平板状であり� ��透明樹脂により形成され、パッケージ122の� ��面に接着などにより固着される。なお、図3 Aにおいては、便宜上、パッケージカバーガ� �ス124を透して見える撮像素子123などは省略� �ている。

 SLSI125は、後述の方法で、撮像素子123を駆 動し、撮像素子123からの電気情報を入力し、 各種演算を行い、上位CPUと通信を行い、外部 に画像情報や距離情報などを出力する。なお 、SLSI125は、電源(例えば3.3V)とグランド(例え� ��、0V)に接続される。

 図3Bは、本発明の実施の形態1に係る撮像� ��置の撮像素子の構成を示す平面図である。� ��3Bに示すように、撮像素子123は、第1の撮像� ��域123a、第2の撮像領域123b、第3の撮像領域123 c、および第4の撮像領域123dで構成されている 。これらの第1~第4の撮像領域123a~123dは、それ ぞれの受光面が、第1~第4のレンズ部113a~113dの 光軸と略垂直になるようにして2行2列で配置� ��れる。これらの各撮像領域123a~123dにて撮像� ��号が生成される。

 図4は、本発明の実施の形態1に係る撮像� �置の温度センサの回路図である。図4に示す� ��うに、温度センサ126は、第1の固定抵抗126a� �サーミスタ126bと第2の固定抵抗126cとが直列� �接続されて構成されている。ここで、第1の� ��定抵抗126aの他端(サーミスタ126bに接続され� ��い端)は電源126d(例えば3.3V)に接続され、第2� ��固定抵抗126cの他端(サーミスタ126bに接続さ� ��ない端)はグランド126e(例えば、0V。SLSI125の� ��ランドと同一電位)に接続される。また、第 1の固定抵抗126aとサーミスタ126bとの接続点126 fがSLSI125に接続されている。

 次に、被写体距離と視差との関係を説明� ��る。本発明の実施の形態1に係る撮像装置は 、4つのレンズ部(第1のレンズ部113a、第2のレ� ��ズ部113b、第3のレンズ部113c、及び第4のレン ズ部113d)を有するため、4つのレンズ部がそれ ぞれ形成する4つの物体像の相対的位置が、� �写体距離に応じて変化する。

 図5は、本発明の実施の形態1に係る撮像� �置において、無限遠にある物体像の位置を� �明するための図である。図5においては、簡� ��のため、レンズアレイ113において、第1のレ ンズ部113a、および第2のレンズ部113bのみを記 す。無限遠の物体10からの光の第1のレンズ部 113aへの入射光L1と、第2のレンズ部113bへの入� ��光L2とは平行である。このため、第1のレン� ��部113aと第2のレンズ部113bとの距離と、撮像� ��子123上の物体像11aと物体像11bとの距離とは� ��しい。すなわち、視差はない。

 図6は、本発明の実施の形態1に係る撮像� �置において、有限距離の位置にある物体像� �位置を説明するための図である。図6におい� ��、簡単のため、レンズアレイ113において、� ��1のレンズ部113a、および第2のレンズ部113bの みを記す。有限距離の物体12からの光の第1の レンズ部113aへの入射光L1と第2のレンズ部113b� ��の入射光L2とは平行ではない。従って、第1� ��レンズ部113aと第2のレンズ部113bとの距離に� ��べて、撮像素子123上の物体像13aと物体像13b� ��の距離は長い。すなわち、視差がある。

 物体像12までの距離(被写体距離)をL、第1� ��レンズ部113aと第2のレンズ部113bとの距離をD x、レンズ部113a,113bの焦点距離をfとすると、� ��6の直角を挟む2辺の長さがL、Dxの直角三角� �と、直角を挟む2辺の長さがf、δの直角三角� ��とが相似であることより、視差δは、下記� �(7)のように表される。

 L = f × Dx / δ   ・・・(7)
その他のレンズ部間についても同様の関係が 成立する。このように、被写体距離に応じて 4つのレンズ部113a,113b,113c,113dがそれぞれ形成� ��る4つの物体像の相対的位置が変化する。例 えば、被写体距離Lが小さくなると、視差δが 大きくなる。

 図7は、本発明の実施の形態1に係る撮像� �置の構成を示すブロック図である。SLSI125は� ��システム制御部131と、当該システム制御部1 31により制御される、撮像素子駆動部132、撮� ��信号入力部133、入力バッファ134、前処理部1 35、演算部136、出力バッファ137、入出力部138� ��及び温度補償部139とを有している。前処理� ��135は、第1の中間バッファ135a、第2の中間バ� ��ファ135b、第3の中間バッファ135c、第4の中間 バッファ135d、及び前処理演算部135eを有し、� ��述するようにして撮像信号を補正する撮像� ��号補正部として機能する。演算部136は、第1 の演算バッファ141a及び第2の演算バッファ141b を具備する演算バッファ141と、視差演算部142 と、距離演算部143とを有する。また、出力バ ッファ137は、第1の出力バッファ137a、および� ��2の出力バッファ137bを有する。さらに、温� �補償部139は、温度センサ信号入力部139a、お� ��び温度補償演算部139bを有し、後述するよう にして各レンズ部113a~113dの光軸の移動量を推 定する移動量推定部として機能する。また、 温度補償部139と前処理部135とは、温度補償/� �像信号補正部を構成している。

 システム制御部131は、CPU(中央演算処理装 置:Central Processing Unit)及びロジック回路など から構成され、SLSI125の全体を制御する。

 撮像素子駆動部132は、ロジック回路など� ��ら構成され、撮像素子123を駆動する信号を� ��生し、この信号に応じた電圧を撮像素子123� ��印加する。

 撮像信号入力部133は、CDS回路(相関二重サ ンプリング回路:Correlated Double Sampling Circuit) 、AGC(自動利得制御器:Automatic Gain Controller)、 及びADC(アナログ/デジタル変換器:Analog Digital  Converter)が直列に接続されて構成される。撮 像素子123からの電気信号が入力された場合、 撮像信号入力部133におけるCDS回路により固定 ノイズを除去し、AGCによりゲインを調整し、 ADCによりアナログ信号からデジタル値に変換 し、強度補正を行って、撮像信号I0とする。

 図8は、本発明の実施の形態1に係る撮像� �置の撮像信号の切り出し位置を説明するた� �の図である。撮像信号入力部133に入力され� �撮像信号I0(x,y)は、x軸方向にH0画素、y軸方向 にV0画素を持っている。この撮像信号I0(x,y)は 、I0(0,0)((x,y)=(0,0))、I0(1,0)、I0(2,0)、・・・、I0 (H0-1,V0-1)の順に撮像信号入力部133に入力され� ��順次、入力バッファ134に転送される。また� ��各座標(x,y)における強度補正係数ks(x,y)を用� ��て、下記式(8)のように強度補正が行われる� ��なお、強度補正係数ks(x,y)は、検査工程など において特定チャート(例えば、白色チャー� �)を撮影し決定され、EEPROMやフラッシュメモ� ��に保存される。

 I0(x,y) = ks(x,y) × I0(x,y) …(8)
 入力バッファ134は、DRAM(Dynamic Random Access M emory)などにより構成され、撮像信号入力部133 から入力された撮像信号I0(x,y)を保存する。

 前処理部135は、ロジック回路、DRAMなどか ら構成される。この前処理部135においては、 前処理演算部135eにより入力バッファ134に保� �された撮像信号I0から各レンズ部により結像 された被写体像に係る画像を切り出し、歪曲 補正処理を行い、第1のレンズ部131aに対応す� ��第1の撮像信号I1(x,y)、第2のレンズ部131bに対 応する第2の撮像信号I2(x,y)、第3のレンズ部に 対応する第3の撮像信号I3(x,y)、および第4のレ ンズ部に対応する第4の撮像信号I4(x,y)を生成� ��る。これらの撮像信号はそれぞれ第1の中間 バッファ135a、第2の中間バッファ135b、第3の� �間バッファ135c、および第4の中間バッファ135 dに転送され、保存される。そして、下記式(9 )のように、座標変換テーブルtx1(x,y)、ty1(x,y)� ��基づき撮像信号I0(x,y)から第1の撮像信号I1(x, y)が生成される。すなわち、座標(tx1(x,y), ty1( x,y))の撮像信号I0が第1の撮像信号I1(x,y)となる 。座標(tx1(x,y), ty1(x,y))は、小数点を持っても よい。その場合、座標変換テーブルtx1(x,y)の� ��数部分をtx1i(x,y)とし、小数部分をtx1f(x,y)と� ��て、下記式(10)のように4画素を利用し演算� �る。同様に、下記式(11)のように、座標変換� ��ーブルtx2(x,y)、ty2(x,y)に基づき撮像信号I0(x,y )から第2の撮像信号I2(x,y)が生成され、下記式 (12)のように、座標変換テーブルtx3(x,y)、ty3(x, y)に基づき撮像信号I0(x,y)から第3の撮像信号I3 (x,y)が生成され、下記式(13)のように、座標変 換テーブルtx4(x,y)、ty4(x,y)に基づき撮像信号I0 (x,y)から第4の撮像信号I4(x,y)が生成される。� �お、座標変換テーブルtx1(x,y)、ty1(x,y)、tx2(x,y )、ty2(x,y)、tx3(x,y)、ty3(x,y)、tx4(x,y)、ty4(x,y)は� ��後述の温度補償演算部139bにより生成される 。

 I1(x,y) = I0(tx1(x,y),ty1(x,y)) …(9)
 I1(x,y) = {1 - tx1f(x,y)} × {1 - ty1f(x,y)} ×  I0(tx1i(x,y),ty1i(x,y))
+ tx1f(x,y) × {1 - ty1f(x,y)} ×I0(tx1i(x,y)+1,ty1i(x ,y))
+ {1 - tx1f(x,y)} × ty1f(x,y) ×I0(tx1i(x,y),ty1i(x,y )+1)
+ tx1f(x,y) × ty1f(x,y) ×I0(tx1i(x,y)+1,ty1i(x,y)+1)   …(10)
 I2(x,y) = I0(tx2(x,y),ty2(x,y)) …(11)
 I3(x,y) = I0(tx3(x,y),ty3(x,y)) …(12)
 I4(x,y) = I0(tx4(x,y),ty4(x,y)) …(13)
 歪みがなく、温度によるレンズの膨張がな� ��場合、図8のように、第1の撮像信号I1(x,y)は� ��原点を(x01,y01)として、x軸方向にH1画素、y軸 方向にV1画素だけ撮像信号I0を切り出した領� �の画像を示す信号であり、第2の撮像信号I2(x ,y)は、原点を(x02,y02)として、x軸方向にH1画素 、y軸方向にV1画素だけ撮像信号I0を切り出し� ��領域の画像を示す信号である。また、第3の 撮像信号I3(x,y)は、原点を(x03,y03)として、x軸� ��向にH1画素、y軸方向にV1画素だけ撮像信号I0 を切り出した領域の画像を示す信号であり、 第4の撮像信号I4(x,y)は、原点を(x04,y04)として� ��x軸方向にH1画素、y軸方向にV1画素だけ撮像� ��号I0を切り出した領域の画像を示す信号で� �る。

 第1の中間バッファ135aは、DRAMなどから構� ��され、座標変換テーブルtx1(x,y)、ty1(x,y)を用 いた座標変換により歪曲補正処理された第1� �撮像信号I1を順次読み込み、H1*V1画素(x軸方� �にH1画素、y軸方向にV1画素)のデータを保存� �る。第2の中間バッファ135bは、DRAMなどから� �成され、座標変換テーブルtx2(x,y)、ty2(x,y)を� ��いた座標変換により歪曲補正処理された第2 の撮像信号I2を順次読み込み、H1*V1画素(x軸方 向にH1画素、y軸方向にV1画素)のデータを保存 する。また、第3の中間バッファ135cは、DRAMな どから構成され、座標変換テーブルtx3(x,y)、t y3(x,y)を用いた座標変換により歪曲補正処理� �れた第3の撮像信号I3を順次読み込み、H1*V1画 素(x軸方向にH1画素、y軸方向にV1画素)のデー� ��を保存する。さらに、第4の中間バッファ135 dは、DRAMなどから構成され、座標変換テーブ� ��tx4(x,y)、ty4(x,y)を用いた座標変換により歪曲 補正処理された第4の撮像信号I4を順次読み込 み、H1*V1画素(x軸方向にH1画素、y軸方向にV1画 素)のデータを保存する。

 演算部136は、SRAM(Static Random Access Memory)� ��ら構成された第1の演算バッファ141a及び第2� ��演算バッファ141bと、ロジック回路やCPUなど から構成された視差演算部142と、ロジック回 路やCPUなどから構成された距離演算部143とか ら構成される。演算部136は、第1の撮像信号I1 、第2の撮像信号I2、第3の撮像信号I3、および 第4の撮像信号I4をブロック単位で読み込み、 これらの撮像信号を第1の演算バッファ141a及� ��第2の演算バッファ141bに保存する。そして� �視差演算部142において第1の演算バッファ141a 及び第2の演算バッファ141bのデータなどに基� ��き視差を演算し、この視差に基づき距離演� ��部143において距離を演算し、求められた距� ��データを出力バッファ137に転送する。この� ��作の詳細は、後述する。

 出力バッファ137は、DRAMなどから構成され 、演算部136から転送された画像データと距離 データとを保存し、入出力部138に順次転送す る。

 入出力部138は、上位CPU(図示せず)との間� �通信を行うとともに、上位CPU、外部メモリ(� ��示せず)、及び液晶ディスプレイなどの外部 表示装置(図示せず)に対して、画像データ及� ��距離データを出力する。

 温度センサ信号入力部139aは、ADC(Analog Dig ital Converter:アナログ・デジタル変換器)など� ��ら構成され、温度センサ126からアナログ電� ��信号である温度センサ信号の入力を受ける� ��そして、温度センサ信号入力部139aは、入力 されたアナログ信号をデジタル値に変換し、 その値を温度値Thとして温度補償演算部139bに 出力する。

 温度補償演算部139bは、温度値Thに基づき� ��前処理部135にて利用される座標変換テーブ� ��tx1(x,y)、ty1(x,y)、tx2(x,y)、ty2(x,y)、tx3(x,y)、ty3 (x,y)、tx4(x,y)、ty4(x,y)を生成する。この座標変 換テーブルを用いた変換処理により、各レン ズ部113a~113dの光軸の移動量が推定されること になる。以下、この座標変換テーブルの生成 の詳細について説明する。

 レンズアレイ113の温度が上昇した場合、� ��レンズ部113a~113dが膨張するため、図2におい て矢印で示すように各レンズ部113a~113dの光軸 中心がレンズ外側に移動する。このレンズ膨 張に伴う光軸間の間隔の変化は、下記式(14)� �び(15)で表される。ここで、dbxは温度上昇に� ��うレンズ部の光軸間の間隔のx軸方向の変化 量であり、撮像素子123の画素間隔を単位とす る。また、dbyは温度上昇に伴うレンズ部の光 軸間の間隔のy軸方向の変化量であり、撮像� �子123の画素間隔を単位とする。また、Dxは基 準温度Th0におけるx軸方向のレンズ部の光軸� �の間隔であり、aLはレンズ部113の熱線膨張率 であり、aSは撮像素子123の熱線膨張率である� ��また、Thは前述のようにセンサ温度であり� �Th0は基準温度であり、pは撮像素子123の画素� ��隔であり、Dyは基準温度Th0におけるy軸方向� ��レンズ部の光軸間の間隔である。

 dbx = Dx × (aL - aS) × (Th - Th0) / p …(1 4)
 dby = Dy × (aL - aS) × (Th - Th0) / p …(1 5)
 レンズアレイ113は略円形であるため、温度� ��昇に伴い各レンズ部は等方的に膨張する。� ��なわち、図8に示すように、温度上昇に伴う レンズ部の光軸間の間隔の変化の半分(x軸方� ��にdbx/2、y軸方向にdby/2)だけ移動する。そこ� ��、第1の撮像信号I1(x,y)用の変換テーブルtx1(x ,y)及びty1(x,y)を下記式(16)、(17)及び(18)のよう� ��生成する。ここで、(x01,y01)は撮像信号I0に� �ける歪みがないときの原点座標、(xc1,yc1)は� �像信号I1(x,y)における基準温度Th0での光軸中� ��座標、(-dbx/2,-dby/2)は温度上昇による光軸中� ��の移動量、kd2及びkd4は歪曲係数である。な� ��、式(18)における^2は二乗値を示す。また、� ��2の撮像信号I2(x,y)用の変換テーブルtx2(x,y)及 びty2(x,y)を下記式(19)、(20)、及び(21)のように� ��成する。ここで、(x02,y02)は撮像信号I0にお� �る歪みがないときの原点座標、(xc2,yc2)は撮� �信号I2(x,y)における基準温度Th0での光軸中心� ��標、(+dbx/2,-dby/2)は温度上昇による光軸中心� ��移動量、kd2及びkd4は歪曲係数である。なお� ��式(21)における^2は二乗値を示す。また、第3 の撮像信号I3(x,y)用の変換テーブルtx3(x,y)及び ty3(x,y)を下記式(22)、(23)、及び(24)のように生� ��する。ここで、(x03,y03)は撮像信号I0におけ� �歪みがないときの原点座標、(xc3,yc3)は撮像� �号I3(x,y)における基準温度Th0での光軸中心座� ��、(-dbx/2,+dby/2)は温度上昇による光軸中心の� ��動量、kd2及びkd4は歪曲係数である。なお、� ��(24)における^2は二乗値を示す。さらに、第4 の撮像信号I4(x,y)用の変換テーブルtx4(x,y)及び ty4(x,y)を下記式(25)、(26)、及び(27)のように生� ��する。ここで、(x04,y04)は撮像信号I0におけ� �歪みがないときの原点座標、(xc4,yc4)は撮像� �号I4(x,y)における基準温度Th0での光軸中心座� ��、(+dbx/2,+dby/2)は温度上昇による光軸中心の� ��動量、kd2及びkd4は歪曲係数である。なお、� ��(27)における^2は二乗値を示す。

 tx1(x,y) = x01 + xc1 + {x - xc1 - dbx/2}×(1 +� �kd2 × r2 + kd4 × r4) …(16)
 ty1(x,y) = y01 + yc1 + {y - yc1 - dby/2}×(1 +� �kd2 × r2 + kd4 × r4) …(17)
 r2 = {x - xc1 - dbx/2}^2+ {y - yc1 - dby/2}^2� �r4 = r2^2  …(18)
 tx2(x,y) = x02 + xc2 + {x - xc2 + dbx/2}×(1 +� �kd2 × r2 + kd4 × r4) …(19)
 ty2(x,y) = y02 + yc2 + {y - yc2 - dby/2}×(1 +� �kd2 × r2 + kd4 × r4) …(20)
 r2 = {x - xc2 + dbx/2}^2+ {y - yc2 - dby/2}^2� �r4 = r2^2  …(21)
 tx3(x,y) = x03 + xc3 + {x - xc3 - dbx/2}×(1 +� �kd2 × r2 + kd4 × r4) …(22)
 ty3(x,y) = y03 + yc3 + {y - yc3 + dby/2}×(1 +� �kd2 × r2 + kd4 × r4) …(23)
 r2 = {x - xc3 - dbx/2}^2+ {y - yc3 + dby/2}^2� �r4 = r2^2  …(24)
 tx4(x,y) = x04 + xc4 + {x - xc4 + dbx/2}×(1 +� �kd2 × r2 + kd4 × r4) …(25)
 ty4(x,y) = y04 + yc4 + {y - yc4 + dby/2}×(1 +� �kd2 × r2 + kd4 × r4) …(26)
 r2 = {x - xc4 + dbx/2}^2+ {y - yc4 + dby/2}^2� �r4 = r2^2  …(27)
 なお、歪みが生じない場合、上記の座標変� ��テーブルを用いてなされる座標変換は、下� ��式(28)乃至(31)のように、撮像信号I0(x,y)から� ��像を切り出し、その後、下記式(32)乃至(35)� �ように、平行移動を行うことに相当する。

 I1(x, y) = I0(x + x01, y + y01) …(28)
 I2(x, y) = I0(x + x02, y + y02) …(29)
 I3(x, y) = I0(x + x03, y + y03) …(30)
 I4(x, y) = I0(x + x04, y + y04) …(31)
 I1(x, y) = I1(x-dbx/2, y-dby/2) …(32)
 I2(x, y) = I2(x+dbx/2, y-dby/2) …(33)
 I3(x, y) = I3(y-dbx/2, x+dby/2) …(34)
 I4(x, y) = I4(x+dbx/2, y+dby/2) …(35)
 図9Aは、本発明の実施の形態1に係る撮像装� ��の動作を示すフローチャートである。SLSI125 のシステム制御部131により、撮像装置101は、 このフローチャートのとおりに動作される。

 ステップS1010において、撮像装置101は動� �を開始する。例えば、上位CPU(図示せず)が、 入出力部136を介し、撮像装置101に動作の開始 を命令することにより、撮像装置101は、動作 を開始する。次に、ステップS1020を実行する� ��

 ステップS1020において、撮像信号を入力� �る。システム制御部131の命令により、撮像� �子駆動部132が電子シャッターの動作及び撮� �信号の転送を行うための信号を随時出力す� �。その結果、x軸方向にH0画素分、y軸方向にV 0画素分の撮像信号I0(x,y)が撮像信号入力部133� ��入力される。この場合、撮像信号入力部133� ��は、撮像信号I0(x,y)がI0(0,0)((x,y)=(0,0))、I0(1,0) 、I0(2,0)、・・・、I0(H0-1,V0-1)の順に入力され� ��順次、これらの信号が入力バッファ134に転� ��される。次に、ステップS1030を実行する。

 ステップS1030において、温度センサ信号� �力部139aは、温度センサ126から温度センサ信� ��の入力を受け、これをデジタル値に変換し� ��温度値Thとして温度補償演算部139aに出力す� ��。次に、ステップS1040を実行する。

 ステップS1040において、温度補償演算部13 9bは、前述のようにして、温度値Thに基づき� �前処理部135で用いられる座標変換テーブルtx 1(x,y)、ty1(x,y)、tx2(x,y)、ty2(x,y)、tx3(x,y)、ty3(x,y )、tx4(x,y)、ty4(x,y)を生成する。次に、ステッ� ��S1050を実行する。

 ステップS1050において、前処理演算部135e� ��、前述のようにして、入力バッファ134に保� ��された撮像信号I0から各レンズ部により結� �された被写体像に係る画像を切り出し、平� �移動処理(温度上昇に伴うレンズ部の光軸間� ��間隔の変化の半分(x軸方向にdbx/2、y軸方向� �dby/2)だけ光軸がレンズアレイ113の外側に平� �移動するように座標変換テーブルを補償す� �ことにより実現される平行移動処理)と、歪� ��補正とを行い、第1のレンズ部113aに対応す� �第1の撮像信号I1(x,y)、第2のレンズ部113bに対� ��する第2の撮像信号I2(x,y)、第3のレンズ部113c に対応する第3の撮像信号I3(x,y)、および第4の レンズ部113dに対応する第4の撮像信号I4(x,y)を 生成する。これらの撮像信号はそれぞれ第1� �中間バッファ135a、第2の中間バッファ135b、� �3の中間バッファ135c、および第4の中間バッ� �ァ135dに転送され、保存される。

 ここで、温度補償により歪曲補正の精度� ��向上することを説明する。図9Bは、平行移� �処理と歪曲補正処理との前後の撮像信号を� �す図である。図9Bにおいては、中央部の十字 が太く表された格子が描画された平面板であ る被写体を撮像したときの撮像信号(画像)を� ��している。簡略化のため、第1の撮像信号の 被写体像のみ示し、第2乃至第4の撮像信号の� ��写体像を省略している。ここで、撮像装置1 01は、この平面板に正対させ、第1のレンズ部 113aの光軸上に中央部の十字の交点が位置す� �ように配置する。図9B(a)は、基準温度におけ る撮像信号を示す図であり、図9B(b)は、平行� ��動処理と歪曲補正処理とを行わないときの� ��1の撮像信号を示す図である。図9B(b)に示す� ��うに、基準温度のとき、中央に太い十字が� ��置する。図9B(c)は、平行移動処理を行わず� �曲補正処理を行うときの第1の撮像信号を示� ��図である。図9B(c)に示すように、歪曲補正� �より、格子が再現される。図9B(d)は、基準温 度よりも温度が高いときにおける撮像信号を 示す図であり、図9B(e)は、平行移動処理と歪� ��補正処理とを行わないときの第1の撮像信号 を示す図である。図9B(e)に示すように、基準� ��度より温度が高いときには、第1のレンズ部 113aの光軸が左上に移動するに伴い被写体像� �左上に移動するため、中央よりも左上に太� �十字の交点が移動する。図9B(f)は、平行移動 処理を行わず歪曲補正処理を行うときの第1� �撮像信号を示す図である。図9B(f)に示すよう に、歪曲補正の光軸中心と歪曲の中心とがず れるため、格子が完全には再現されず、歪み が残る。図9B(g)は、基準温度よりも温度が高� ��ときにおける撮像信号を示す図であり、図9 B(h)は、平行移動処理を行い、歪曲補正処理� �行わないときの第1の撮像信号を示す図であ� ��。図9B(h)に示すように、基準温度より温度� �高いのとき、第1のレンズ部113aの光軸が左上 に移動するに伴い被写体像が左上に移動する が、平行移動処理により左上への移動が補償 され、中央に太い十字の交点が位置する。図 9B(i)は、平行移動処理と歪曲補正処理とを行� ��ときの第1の撮像信号を示す図である。図9B( i)に示すように、歪曲補正の光軸中心と歪曲� ��中心とが一致するため、格子が再現される� ��このように、温度が高くなると光軸原点が� ��側に平行移動するように座標変換テーブル� ��設定し平行移動を行うことにより、歪曲の� ��正精度を向上し、ひいては、視差演算精度� ��向上し、測距演算精度を向上する。

 次に、温度補償により被写体像が動かな� ��ことを説明する。図9Cは、平行移動処理の� �後の撮像信号(画像)を示す図である。図9Cに� ��いて、説明を簡単にするために、各レンズ� ��(第1のレンズ部113a、第2のレンズ部113b、第3� ��レンズ部113c、および第4のレンズ部113d)が歪 曲を持たず、それゆえ歪曲補正を行わないと きの撮像信号を示す。図9Cにおいて、撮像装� ��101を車両前方に配置し、車両前方の被写体� ��して車線のみが撮像されたときの撮像信号� ��示している。図9C(a)は、基準温度における� �像信号を示す図であり、図9C(b)は、平行移動 処理を行わないときの第1の撮像信号を示す� �である。図9C(b)に示すように、基準温度のと き、中央に被写体が位置する。図9C(d)は、基� ��温度よりも温度が高いときにおける撮像信� ��を示す図であり、図9C(e)は、平行移動処理� �行わないときの第1の撮像信号を示す図であ� ��。図9C(e)のように、基準温度より温度が高� �ときには、第1のレンズ部113aの光軸が左上に 移動するに伴い被写体像が左上に移動する。 図9C(g)は、基準温度よりも温度が高いときに� ��ける撮像信号を示す図であり、図9C(h)は、� �行移動処理を行うときの第1の撮像信号を示� ��図である。図9C(h)に示すように、基準温度� �り温度が高いとき、第1のレンズ部113aの光軸 が左上に移動するに伴い被写体像が左上に移 動するが、平行移動処理により左上への移動 が補償され、中央に被写体が位置する。この ように、温度が高くなると光軸原点が外側に 平行移動するように座標変換テーブルを設定 し平行移動を行うことにより、被写体の画像 中心の移動を抑制する。次に、ステップS1100� ��実行する。

 ステップS1100において、演算部136が、距� �データを生成し、順次、第2の出力バッファ1 37bに転送する。この動作の詳細は後述する。 また、演算部136は、距離データの他に画像デ ータを生成し、順次、第1の出力バッファ137a� ��転送する。次に、ステップS1910を実行する� �

 ステップS1910において、外部にデータを� �力する。入出力部138は、第1の出力バッファ1 37a上の画像データ、および第2の出力バッフ� �137b上の距離データを、上位CPU及び外部表示� ��置に出力する。次に、ステップS1920を実行� �る。

 ステップS1920において、動作を終了する� �どうかを判断する。例えば、システム制御� �131は、入出力部136を介し、上位CPUと通信し� �動作を終了するかどうかの命令を要求する� �そして、上位CPUが終了を命令した場合(S1920� �YES)、撮像装置101はステップS1930へ進み、動� �を終了する。一方、上位CPUが終了を命令し� �かった場合(S1920でNO)、撮像装置101は、動作� �継続し、次に、ステップS1020を実行する。す なわち、上位CPUが終了を命令しない限り、ス テップS1020、ステップS1030、ステップS1040、ス テップS1050、ステップS1100、およびステップS1 910のループの実行が継続される。

 次に、ステップS1100における動作の詳細� �説明する。図10は、本発明の実施の形態1に� �る撮像装置の演算部の動作を示すフローチ� �ートである。図10のフローチャートは、ステ ップS1100の動作の詳細を示す。ステップS1100� �演算では、まず、ステップS1210を実行する。

 ステップS1210において、演算の動作を開� �する。次に、ステップS1220を実行する。

 ステップS1220において、第1の撮像信号と� ��2の撮像信号とを利用した視差演算を実行す る。図11は、本発明の実施の形態1に係る撮像 装置の第1の撮像信号と第2の撮像信号とを利� ��した視差演算の動作を示すフローチャート� ��ある。図11のフローチャートは、ステップS1 220の動作の詳細を示す。ステップS1220の演算� ��は、まず、ステップS1310を実行する。

 ステップS1310において、第1の撮像信号と� ��2の撮像信号とを利用した視差演算の動作を 開始する。次に、ステップS1320を実行する。

 ステップS1320において、ブロックインデ� �クスibを0に初期化する。次に、ステップS1330 を実行する。

 ステップS1330において、ブロックを選択� �る。図12は、本発明の実施の形態1に係る撮� �装置の第1の撮像信号と第2の撮像信号とを利 用した視差演算における第1の撮像信号の分� �ブロック及び演算順番を説明するための図� �あり、図13は、本発明の実施の形態1に係る� �像装置の第1の撮像信号と第2の撮像信号とを 利用した視差演算における第2の撮像信号の� �割ブロック及び演算順番を説明するための� �である。

 図12に示すように、第1の撮像信号I1は、x� ��方向にHB画素、y軸方向にVB画素の長方形状� �ブロックに分割される。各ブロックは、x軸� ��向にHB画素、y軸方向にVB画素ずれて配置さ� �るため、各ブロックはx軸方向、y軸方向とも に重なる部分はない。その結果、第1の撮像� �号I1は、x軸方向にNh個、y軸方向にNv個のブロ ックを持つことになる。

 第2の撮像信号I2は、図13(b)に示すようなx� ��方向に(HB+SB)画素、y軸方向にVB画素の長方形 状のブロックに分割される。各ブロックは、 x軸方向にHB画素、y軸方向にVB画素ずれて配置 されるため、x軸方向では隣のブロックと重� �るものの、y軸方向では隣のブロックと重な� ��ない。その結果、図13(a)に示すように、第2� ��撮像信号I2は、x軸方向にNh個、y軸方向にNv� �のブロックを持つことになる。なお、図面� �右側のブロックにおいてx軸方向に(HB+SB)画素 が取れない場合、適宜x軸方向の右端部が削� �される。以下では、HB=32、VB=32の場合の例を� ��す。

 図12及び図13において、各ブロックの上段 に記述された数字はブロックインデックスib� ��示す。また、図12及び図13において、各ブロ ックの下段に記述された座標(ibx、iby)は、各� ��ロックがx軸方向にibx番目、y軸方向にiby番� �のブロックであることを示す。ここで、ibx� �0からNh-1まで、ibyは0からVh-1まで存在する。� ��テップS1330においては、図12及び図13でブロ� ��クインデックスibにより示されるブロックB( ib)(座標(ibx、iby)で示されるブロックB(ibx,iby))� ��選択される。次に、ステップS1340を実行す� �。

 ステップS1340において、撮像信号を転送� �る。より具体的には、ステップS1330において 選択されたブロックB(ibx,iby)に該当する座標� �第1の撮像信号I1を式(9)に従い演算し、その� �果得られた信号を第1の演算バッファ141aに転 送する。第1の演算バッファ141aの座標(x,y)に� �ける値をBc1(x,y)とする。ここで、HB=32、VB=32� �あるため、x=0~31、y=0~31である。

 また、ステップS1330において選択された� �ロックB(ibx,iby)に該当する座標の第2の撮像信 号I2を式(11)に従い演算し、その結果得られた 信号を第2の演算バッファ141bに転送する。第2 の演算バッファ141bの座標(x,y)における値をBc2 (x,y)とする。ここで、HB=32、VB=32であるため、 x=0~31+SB、y=0~31である。

 例えば、ib=0のとき、第1の演算バッファ14 1aには、座標(0,0)と座標(31,31)とで囲まれる1024 画素の撮像信号I1が転送され、第2の演算バッ ファ141bには、図13において右斜上となる斜線 が描かれた座標(0,0)と座標(31+SB,31)とで囲まれ る(1024+32*SB)画素の撮像信号I2が転送される。

 次に、ib=1のとき、第1の演算バッファ141a� ��は、座標(32,0)と座標(63,31)とで囲まれる1024� �素の撮像信号I1が転送される。またこの場合 、第2の演算バッファ141bには、図13において� �斜下となる斜線が描かれた座標(32,0)と座標(6 3+SB,31)とで囲まれる(1024+32*SB)画素の撮像信号I 2が必要となるが、ib=0と重なる部分(座標(32,0) と座標(31+SB,31)とで囲まれる32*SB画素の領域)� �すでに第2の演算バッファ141bに転送されてい るため、新たに座標(32+SB,0)と座標(63+SB,31)と� �囲まれる1024画素のみを転送すればよい。な� ��、適宜、出力用の画像データとして、第1の 出力バッファ137aにも転送する。次に、ステ� �プS1350を実行する。

 ステップS1350において、視差演算を実行� �る。まず、視差評価値R(kx)を演算する。ここ で、kxは画像をどれだけずらすかを示すずら� ��量であり、kx=0、1、2、…、SBのように変化� �せる。図14は、本発明の実施の形態1に係る� �像装置において、第1の撮像信号と第2の撮像 信号を利用したときの視差評価値の演算領域 を説明するための図である。図14のように、B c1で示される領域は、第1の演算バッファ141a� �領域であり、Bc2で示される領域は、第2の演� ��バッファ141bにおいて、Bc1で示されるブロッ クからx軸方向にずらし量kxだけ移動した領域 である。そして、ずらし量kx=0からSBについて 、下記式(36)に示される絶対値差分総和(SAD:Sum  of Absolute Differences)を演算し、視差評価値R( kx)とする。ここで、σσはx軸方向及びy軸方向 の総和を示し、x軸方向に0~HB-1(ここでは31)、y 軸方向に0~VB-1(ここでは31)まで変化させる。

 R(kx) = σσ|Bc1(x,y) - Bc2(x+k,y)| …(36)
 この視差評価値R(kx)は、第1の演算バッファ1 41aのデータBc1と、x軸方向にkxだけ離れた領域 における第2の演算バッファ141bのデータBc2と� ��どれだけ相関があるかを示し、値が小さい� ��ど相関が大きい(よく似ている)ことを示す� �ここで、第1の演算バッファ141aのデータBc1は 、第1の撮像信号I1を転送したものであり、第 2の演算バッファ141bのデータBc2は、第2の撮像 信号I2を転送したものであるため、視差評価� ��R(kx)は、第1の撮像信号I1と対応する第2の撮� ��信号I2とがどれだけ相関があるかを示すこ� �になる。

 図15は、本発明の実施の形態1に係る撮像� ��置の第1の撮像信号及び第2の撮像信号を利� �したときの視差演算における視差と視差評� �値との関係を説明するための図である。図15 のように、視差評価値R(kx)はずらし量kxの値� �よって変化し、ずらし量kx=δのとき極小値を 持つ。第1の演算バッファ141aのデータBc1は、� ��該データBc1をx軸方向にδだけ移動した領域� ��存在する第2の演算バッファ141bのデータBc2� �最も相関がある(最も似ている)ことを示す。 したがって、第1の演算バッファ141aのデータB c1と第2の演算バッファ141bのデータBc2とのx軸� ��向の視差がδであることが分かる。そして� �このときの視差δを、第1の撮像信号及び第2� ��撮像信号を利用したときのブロックB(ibx,iby) における視差値δ12(ibx,iby)として保存する。

 次に、第1の撮像信号と第2の撮像信号を� �用したときのブロックB(ibx,iby)における視差� ��δ12(ibx,iby)の信頼度を演算する。図16は、本� ��明の実施の形態1に係る撮像装置において、 第1の撮像信号と第2の撮像信号とを利用した� ��きの視差演算における視差評価値の信頼度� ��演算領域を説明するための図である。デー� ��Bc1は第1の演算バッファ141aの領域内に格納� �れたデータである。また、データBc2は、デ� �タBc1をx軸方向にδ12(ibx,iby)だけ移動した第2� �演算バッファ141bにおけるデータである。そ� ��て、下記式(37)のように、それぞれの領域の データBc1(x,y)、Bc2(x+δ12(ibx,iby),y)について、正 規化相関係数を、第1の撮像信号及び第2の撮� ��信号を利用したときのブロックB(ibx,iby)にお ける信頼度E12(ibx,iby)とする。σσはx軸方向及� ��y軸方向の総和を示し、x軸方向に0~HB-1(ここ� ��は31)、y軸方向に0~VB-1(ここでは31)まで変化� �せる。次に、ステップS1360を実行する。

 E12(ibx,iby) = σσ(Bc1(x,y)-avg1)(Bc2(x+δ12(ibx,iby),y )-avg2)
/ σσ(Bc1(x,y)-avg1)(Bc1(x,y)-avg1)
/ σσ(Bc2(x+δ12(ibx,iby),y)-avg2)(Bc2(x+δ12(ibx,iby),y)- avg2)
 avg1 = σσBc1(x,y)/(HB*VB)
 avg2 = σσBc2(x+δ12(ibx,iby),y)/(HB*VB) …(37)
 ステップS1360において、ブロックインデッ� �スibに1を加える。次に、ステップS1370を実行 する。

 ステップS1370において、第1の撮像信号と� ��2の撮像信号とを利用した視差演算を終了す るかどうかを判断する。ブロックインデック スibがNh*Nv未満のとき(S1370でNO)、次のブロッ� �の視差を演算するために、ステップS1330に戻 る。一方、ブロックインデックスibがNh*Nv以� �のとき(S1370でYES)、全てのブロックの視差を� ��算したと判断し、次に、ステップS1380を実� �する。

 ステップS1380において、第1の撮像信号と� ��2の撮像信号とを利用した視差演算を終了し 、上位ルーチンへ戻る。

 このようにして、第1の撮像信号と第2の� �像信号とを利用した視差演算において、ブ� �ックインデックスibで示される32x32画素のブ� ��ックB(ibx,iby)について、視差値δ12(ibx,iby)と� �の信頼度E12(ibx,iby)とが求められた。ここで� �12は第1の撮像信号と第2の撮像信号とを利用� ��ていることを示し、(ibx,iby)は図12において� �ブロックの下段に示される座標を示す(ibxは0 からNh-1まで、ibyはVh-1まで変化する)。次に、 図10のステップS1230を実行する。

 ステップS1230において、第1の撮像信号と� ��3の撮像信号とを利用した視差演算を実行す る。図17は、本発明の実施の形態1に係る撮像 装置の第1の撮像信号と第3の撮像信号とを利� ��した視差演算の動作を示すフローチャート� ��ある。図17のフローチャートは、ステップS1 230の動作の詳細を示す。ステップS1230の演算� ��は、まず、ステップS1410を実行する。

 ステップS1410において、第1の撮像信号と� ��3の撮像信号とを利用した視差演算の動作を 開始する。次に、ステップS1420を実行する。

 ステップS1420において、ブロックインデ� �クスibを0に初期化する。次に、ステップS1430 を実行する。

 ステップS1430において、ブロックを選択� �る。第1の撮像信号のブロック分割は、ステ� ��プS1330と同様であり、説明を省略する。図18 は、本発明の実施の形態1に係る撮像装置の� �1の撮像信号と第3の撮像信号とを利用した視 差演算における第3の撮像信号の分割ブロッ� �と演算順番を説明するための図である。第3� ��撮像信号I3は、x軸方向にHB画素、図18(b)に示 すようにy軸方向に(VB+SB)画素の長方形状のブ� ��ックに分割される。各ブロックは、x軸方向 にHB画素、y軸方向にVB画素ずれて配置される� ��め、y軸方向では隣のブロックと重なるもの の、x軸方向では隣のブロックと重ならない� �その結果、図18(a)に示すように、第3の撮像� �号I3は、x軸方向にNh個、y軸方向にNv個のブロ ックを持つことになる。なお、図面の下側の ブロックにおいてy軸方向に(VB+SB)画素を取れ� ��いブロックは、適宜y軸方向の下端部が削除 される。以下では、HB=32、VB=32の場合の例を� �す。

 図18において、各ブロックの上段に記述� �れた数字はブロックインデックスibを示す。 また、図18において、各ブロックの下段に記� ��された座標(ibx、iby)は、各ブロックがx軸方� ��にibx番目、y軸方向にiby番目のブロックであ ることを示す。ここで、ibxは0からNh-1まで、i byは0からVh-1まで存在する。ステップS1430にお いて、図12及び図18においてブロックインデ� �クスibで示されるブロックB(ib)(座標(ibx、iby)� ��示されるブロックB(ibx,iby))が選択される。� �に、ステップS1440を実行する。

 ステップS1440において、撮像信号を転送� �る。より具体的には、ステップS1430において 選択されたブロックB(ibx,iby)に該当する座標� �第1の撮像信号I1を式(9)に従い演算し、その� �果得られた信号を第1の演算バッファBc1に転� ��する。第1の演算バッファ141aの座標(x,y)にお ける値をBc1(x,y)とする。ここで、HB=32、VB=32で あるため、x=0~31、y=0~31である。

 また、ステップS1430において選択されたブ� �ックB(ibx,iby)に該当する座標の第3の撮像信号 I3を式(12)に従い演算し、その結果得られた第 2の演算バッファ141bに転送する。第2の演算バ ッファ141bの座標(x,y)における値をBc2(x,y)とす� ��。
ここで、HB=32、VB=32であるため、x=0~31、y=0~31+S Bである。

 例えば、ib=0のとき、第1の演算バッファ14 1aには、座標(0,0)と座標(31,31)とで囲まれる1024 画素の撮像信号I1が転送され、第2の演算バッ ファ141bには、図18において右斜上となる斜線 が描かれた座標(0,0)と座標(31,31+SB)とで囲まれ る(1024+32*SB)画素の撮像信号I2が転送される。

 次に、ib=1のとき、第1の演算バッファ141a� ��は、座標(0,32)と座標(31,63)とで囲まれる1024� �素の撮像信号I1が転送される。またこの場合 、第2の演算バッファ141bには、図18において� �斜下となる斜線が描かれた座標(0,32)と座標(3 1,63+SB)とで囲まれる(1024+32*SB)画素の撮像信号I 2が必要となるが、ib=0と重なる部分(座標(0,32) と座標(31,31+SB)で囲まれる32*SB画素の領域)は� �でに第2の演算バッファ141aに転送されている ため、新たに座標(0,32+SB)と座標(31,63+SB)とで� �まれる1024画素のみを転送すればよい。次に� ��ステップS1450を実行する。

 ステップS1450において、視差演算を実行� �る。まず、視差評価値R(ky)を演算する。ここ で、kyは画像をどれだけずらすかを示すずら� ��量であり、ky=0、1、2、…、SBのように変化� �せる。図19は、本発明の実施の形態1に係る� �像装置において、第1の撮像信号と第3の撮像 信号とを利用したときの視差評価値の演算領 域を説明するための図である。図19のように� ��Bc1で示される領域は、第1の演算バッファ141 aの領域であり、Bc2で示される領域は、第2の� ��算バッファ141bにおいて、Bc1で示されるブロ ックからy軸方向にずらし量kyだけ移動した領 域である。そして、ずらし量ky=0からSBについ て、下記式(38)に示される絶対値差分総和を� �算し、視差評価値R(ky)とする。ここで、σσ� �x軸方向及びy軸方向の総和を示し、x軸方向� �0~HB-1(ここでは31)、y軸方向に0~VB-1(ここでは31 )まで変化させる。

 R(ky) = σσ|Bc1(x,y) -Bc2(x,y+k)| …(38)
 この視差評価値R(ky)は、第1の演算バッファ1 41aのデータBc1と、y軸方向にkyだけ離れた領域 における第2の演算バッファ141bのデータBc2と� ��どれだけ相関があるかを示し、値が小さい� ��ど相関が大きい(よく似ている)ことを示す� �ここで、第1の演算バッファ141aのデータBc1は 、第1の撮像信号I1を転送したものであり、第 2の演算バッファ141bのデータBc2は、第3の撮像 信号I3を転送したものであるため、視差評価� ��R(ky)は、第1の撮像信号I1と対応する第3の撮� ��信号I3とがどれだけ相関があるかを示すこ� �になる。

 図20は、本発明の実施の形態1に係る撮像� ��置の第1の撮像信号と第3の撮像信号とを利� �したときの視差演算における視差と視差評� �値との関係を説明するための図である。図20 のように、視差評価値R(ky)はずらし量kyの値� �よって変化し、ずらし量ky=δのとき極小値を 持つ。第1の演算バッファ141aのデータBc1のデ� ��タは、当該データBc1をy軸方向にδだけ移動� ��た領域に存在する第2の演算バッファ141bの� �ータBc2と最も相関がある(最も似ている)こと を示す。したがって、第1の演算バッファ141a� ��データBc1と第2の演算バッファ141bのデータBc 2とのy軸方向の視差がδであることが分かる� �そして、このときの視差δを第1の撮像信号� �び第3の撮像信号を利用したときのブロックB (ibx,iby)における視差値δ13(ibx,iby)として保存� �る。

 次に、第1の撮像信号と第3の撮像信号を� �用したときのブロックB(ibx,iby)における視差� ��δ13(ibx,iby)の信頼度を演算する。図21は、本� ��明の実施の形態1に係る撮像装置において、 第1の撮像信号と第3の撮像信号とを利用した� ��きの視差演算における視差評価値の信頼度� ��演算領域を説明するための図である。Bc1で� ��される領域は第1の演算バッファ141aの領域� �あり、Bc2で示される領域は、第2の演算バッ� ��ァ141bにおいてy軸方向にδ13(ibx,iby)だけ移動� ��た領域である。そして、下記式(39)のように 、それぞれの領域のデータBc1(x,y)、Bc2(x,y+δ13( ibx,iby))について、正規化相関係数を第1の撮� �信号と第3の撮像信号を利用したときのブロ� ��クB(ibx,iby)における信頼度E13(ibx,iby)とする。 σσはx軸方向及びy軸方向の総和を示し、x軸� �向に0~HB-1(ここでは31)、y軸方向に0~VB-1(ここ� �は31)まで変化させる。次に、ステップS1460を 実行する。

 E13(ibx,iby) = σσ(Bc1(x,y)-avg1)(Bc2(x,y+δ13(ibx,iby) )-avg2)
/ σσ(Bc1(x,y)-avg1)(Bc1(x,y)-avg1)
/ σσ(Bc2(x,yδ13(ibx,iby))-avg2)(Bc2(x,y+δ13(ibx,iby))-a vg2)
 avg1 = σσBc1(x,y)/(HB*VB)
 avg2 = σσBc2(x,y+δ13(ibx,iby))/(HB*VB) …(39)
 ステップS1460において、ブロックインデッ� �スibに1を加える。次に、ステップS1470を実行 する。

 ステップS1470において、第1の撮像信号と� ��3の撮像信号とを利用した視差演算を終了す るかどうかを判断する。ブロックインデック スibがNh*Nv未満のとき(S1470でNO)、次のブロッ� �の視差を演算するために、ステップS1430に戻 る。一方、ブロックインデックスibがNh*Nv以� �のとき(S1470でYES)、全てのブロックの視差を� ��算したと判断し、ステップS1480に進む。

 ステップS1480において、第1の撮像信号と� ��3の撮像信号とを利用した視差演算を終了し 、上位ルーチンへ戻る。このようにして、第 1の撮像信号と第3の撮像信号とを利用した視� ��演算において、ブロックインデックスibで� �される32x32画素のブロックB(ibx,iby)について� �視差量δ13(ibx,iby)とその信頼度E13(ibx,iby)とが� ��められた。ここで、13は第1の撮像信号と第3 の撮像信号とを利用していることを示し、(ib x,iby)は図12において各ブロックの下段に示さ� ��る座標を示す(ibxは0からNh-1まで、ibyはVh-1ま で変化する)。次に、図10のステップS1240を実� ��する。

 ステップS1240において、第1の撮像信号と� ��4の撮像信号とを利用した視差演算を実行す る。図22は、本発明の実施の形態1に係る撮像 装置の第1の撮像信号と第4の撮像信号とを利� ��した視差演算の動作を示すフローチャート� ��ある。図22のフローチャートは、ステップS1 240の動作の詳細を示す。ステップS1240の演算� ��は、まず、ステップS1510を実行する。

 ステップS1510において、第1の撮像信号と� ��4の撮像信号とを利用した視差演算の動作を 開始する。次に、ステップS1520を実行する。

 ステップS1520において、ブロックインデ� �クスibを0に初期化する。次に、ステップS1530 を実行する。

 ステップS1530において、ブロックを選択� �る。第1の撮像信号のブロック分割は、ステ� ��プS1320と同様であり、説明を省略する。図23 は、本発明の実施の形態1に係る撮像装置の� �1の撮像信号と第4の撮像信号とを利用した視 差演算における第4の撮像信号の分割ブロッ� �と演算順番を説明するための図である。図23 おいて、第4の撮像信号I4は、図23(b)のような( HB+SB)*(VB+SB*Dy/Dx)-SB*SB*Dy/Dx画素のブロックに分� ��され、x軸方向にHB画素、y軸方向にVB画素ず� ��て配置され、x軸方向にNh個、y軸方向にNv個� ��ブロックを持つ。また、図23において、図23 (b)のようなブロックを取れないブロック(例� �ば、右上や右下や左下のブロック)は、適宜� ��れない部分が削除される(例えば、右上のブ ロックはHB*VBの長方形状のブロックとなる)。 なお、実施の形態1では、以下、HB=32、VB=32の� ��を示す。また、第4の撮像信号I4のブロック� ��長さがx軸方向とy軸方向とで異なるように� �定したが、これは、レンズ間隔がx軸方向とy 軸方向とで異なり、視差の発生する大きさの 比がDx:Dyとなることを考慮したためである。

 図23において、各ブロックの上段に記述� �れた数字はブロックインデックスibを示す。 また、図23において、各ブロックの下段に記� ��された座標(ibx、iby)は、各ブロックがx軸方� ��にibx番目、y軸方向にiby番目のブロックであ ることを示す。ここで、ibxは0からNh-1まで、i byは0からVh-1まで存在する。ステップS1530にお いて、図23でブロックインデックスibで示さ� �るブロックB(ib)(座標(ibx、iby)で示されるブロ ックB(ibx,iby))が選択される。次に、ステップS 1540を実行する。

 ステップS1540において、撮像信号を転送� �る。より具体的には、ステップS1530において 選択されたブロックB(ibx,iby)に該当する座標� �第1の撮像信号I1を式(9)に従い演算し、その� �果得られた信号を第1の演算バッファ141aに転 送する。第1の演算バッファ141aの座標(x,y)に� �ける値をBc1(x,y)とする。ここで、HB=32、VB=32� �あるため、x=0~31、y=0~31である。

 また、ステップS1530において選択された� �ロックB(ibx,iby)に該当する座標の第4の撮像信 号I4を式(13)に従い演算し、第2の演算バッフ� �141bに転送する。第2の演算バッファ141bの座� �(x,y)における値をBc2(x,y)とする。ここで、HB=3 2、VB=32であるため、x=0~31+SB、y=0~31+SB*Dy/Dxであ る。

 例えば、ib=0のとき、第1の演算バッファ14 1aには、座標(0,0)と座標(31,31)とで囲まれる1024 画素の撮像信号I1が転送され、第2の演算バッ ファ141bには、図23において右斜下となる斜線 が描かれた座標(0,0)と座標(31+SB,31+SB*Dy/Dx)とで 囲まれる領域の撮像信号I4が転送される。

 また、ib=1のとき、第1の演算バッファ141a� ��は、座標(32,0)と座標(63,31)とで囲まれる1024� �素の撮像信号I1が転送される。またこの場合 、第2の演算バッファ141bには、図23において� �斜下となる斜線が描かれた座標(32,0)と座標(6 3+SB,31+SB*Dy/Dx)とで囲まれる領域の撮像信号I4� �必要となるが、ib=0と重なる部分はすでに第2 の演算バッファ141bに転送されているため、� �複部分は転送しなくてもよい。次に、ステ� �プS1550を実行する。

 ステップS1550において、視差演算を実行� �る。まず、視差評価値R(kx)を演算する。ここ で、kxは画像をどれだけずらすかを示すずら� ��量であり、kx=0、1、2、・・・、SBのように� �化させる。図24は、本発明の実施の形態1に� �る撮像装置において、第1の撮像信号と第4の 撮像信号とを利用したときの視差評価値の演 算領域を説明するための図である。図24のよ� ��に、Bc1で示される領域は、第1の演算バッフ ァ141aの領域であり、Bc2で示される領域は、� �2の演算バッファ141bにおいて、Bc1で示される ブロックからx軸方向にkxだけy軸方向にずら� �量kyだけ移動した領域である。そして、ずら し量kx=0からSBについて、下記式(40)に示され� �絶対値差分総和(SAD。Sum of Absolute Differences) を演算し、視差評価値R(ky)とする。ここで、� �σはx軸方向とy軸方向の総和を示し、x軸方向 に0~HB-1(ここでは31)、y軸方向に0~VB-1(ここでは 31)まで変化させる。なお、第1の撮像信号I1を 結像するレンズ部113aと第4の撮像信号を結像� ��るレンズ部113dとがx軸方向にDxだけy軸方向� �Dyだけ離れて配置され、発生する視差のx軸� �向に対するy軸方向の比がDy/Dxとなるため、y� ��方向のずらし量kyは下記式(41)のように、x軸 方向のずらし量にDy/Dxを乗じた値とする。

 R(k) = σσ|Bc1(x,y) - Bc2(x+kx,y+ky)| …(40)
 ky = kx * Dy / Dx …(41)
 この視差評価値R(kx)は、第1の演算バッファ1 41aのデータBc1と、x軸方向にkxだけy軸方向にky だけ離れた領域における第2の演算バッファ14 1bのデータBc2と
がどれだけ相関があるかを示し、値が小さい ほど相関が大きい(よく似ている)ことを示す� ��ここで、第1の演算バッファ141aのデータBc1� �、第1の撮像信号I1を転送したものであり、� �2の演算バッファ141bのデータBc2は、第4の撮� �信号I4を転送したものであるため、視差評価 値R(kx)は、第1の撮像信号I1と対応する第4の撮 像信号I4とがどれだけ相関があるかを示すこ� ��になる。

 図25は、本発明の実施の形態1に係る撮像� ��置の第1の撮像信号と第4の撮像信号とを利� �したときの視差演算における視差と視差評� �値との関係を説明するための図である。図25 のように、視差評価値R(kx)はずらし量kxの値� �よって変化し、ずらし量kx=δのとき極小値を 持つ。第1の演算バッファ141aのデータBc1は、� ��該データBc1をx軸方向にδだけy軸方向にδ×Dy /Dxだけ移動した領域に存在する第2の演算バ� �ファ141bのデータBc2と最も相関がある(最も似 ている)ことを示す。したがって、第1の演算� ��ッファ141aのデータBc1と第2の演算バッファ14 1bのデータBc2とのx軸方向の視差がδである(y� �方向の視差がδ×Dy/Dxである)ことが分かる。� ��して、このときの視差δを第1の撮像信号と� ��4の撮像信号とを利用したときのブロックB(i bx,iby)における視差値δ14(ibx,iby)として保存す� ��。

 次に、第1の撮像信号と第4の撮像信号を� �用したときのブロックB(ibx,iby)における視差� ��δ14(ibx,iby)の信頼度を演算する。図26は、本� ��明の実施の形態1に係る撮像装置において、 第1の撮像信号と第4の撮像信号とを利用した� ��きの視差演算における視差評価値の信頼度� ��演算領域を説明するための図である。デー� ��Bc1は、第1の演算バッファ141aの領域内に格� �されたデータである。また、データBc2は、� �ータBc1をx軸方向にδ14(ibx,iby)だけy軸方向にδ 14(ibx,iby)×Dy/Dxだけ移動した第2の演算バッフ� �141bにおけるデータである。そして、下記式( 42)のように、それぞれの領域のデータBc1(x,y)� ��Bc2(x+δ14(ibx,iby),y+δ14(ibx,iby)×Dy/Dx)について、 正規化相関係数を第1の撮像信号と第4の撮像� ��号とを利用したときのブロックB(ibx,iby)にお ける信頼度E14(ibx,iby)とする。σσはx軸方向とy 軸方向の総和を示し、x軸方向に0~HB-1(ここで� ��31)、y軸方向に0~VB-1(ここでは31)まで変化さ� �る。次に、ステップS1560を実行する。

 E14(ibx,iby)
  = σσ(Bc1(x,y)-avg1)(Bc2(xδ14(ibx,iby),y+δ14(ibx,iby )*Dy/Dx)-avg2)
  / σσ(Bc1(x,y)-avg1)(Bc1(x,y)-avg1)
  / σσ(Bc2(x+δ14(ibx,iby),y+δ14(ibx,iby)*Dy/Dx)-avg2)
  (Bc2(x+δ14(ibx,iby),y+δ14(ibx,iby)*Dy/Dx)-avg2)
 avg1 = σσBc1(x,y)/(HB*VB)
 avg2 = σσBc2(x+δ14(ibx,iby),y+δ14(ibx,iby))/(HB*VB)� �…(42)
 ステップS1560において、ブロックインデッ� �スibに1を加える。次に、ステップS1570を実行 する。

 ステップS1570において、第1の撮像信号と� ��4の撮像信号とを利用した視差演算を終了す るかどうかを判断する。ブロックインデック スibがNh*Nv未満のとき(S1570でNO)、次のブロッ� �の視差を演算するために、ステップS1530に戻 る。一方、ブロックインデックスibがNh*Nv以� �のとき(S1570でYES)、全てのブロックの視差を� ��算したと判断し、次に、ステップS1580を実� �する。

 ステップS1580において、第1の撮像信号と� ��4の撮像信号とを利用した視差演算を終了し 、上位ルーチンへ戻る。

 このようにして、第1の撮像信号と第4の� �像信号とを利用した視差演算において、ブ� �ックインデックスibで示される32x32画素のブ� ��ックB(ibx,iby)について、視差量δ14(ibx,iby)と� �の信頼度E14(ibx,iby)とが求められた。ここで� �14は第1の撮像信号と第4の撮像信号とを利用� ��ていることを示し、(ibx,iby)は図12において� �ブロックの下段に示される座標を示す(ibxは0 からNh-1まで、ibyはVh-1まで変化する)。次に、 図10のステップS1250を実行する。

 ステップS1250において、視差を選択する� �それぞれのブロックに対し、信頼度E12(ibx,iby )、E13(ibx,iby)、およびE14(ibx,iby)を比較し、最� �の信頼度を与える視差をそのブロックでの� �差δ(ibx,iby)とする。なお、x軸方向の視差に� �わせるように、下記式(43)の変換を行う。次� ��、ステップS1260を実行する。

 δ(ibx,iby) = δ12(ibx,iby)    E12(ibx,iby)が最大 のとき
 δ(ibx,iby) = δ13(ibx,iby)*Dx/Dy   E13(ibx,iby)が� �大のとき
 δ(ibx,iby) = δ14(ibx,iby)    E14(ibx,iby)が最大 のとき …(43)
 ステップS1260において、距離演算部143は、� �離演算を行い、その結果を、順次、第2の出� ��バッファ137bに、距離データとして転送する 。前述のように式 (7)に基づき距離を演算す� ��。すなわち、視差δ(ibx,iby)を持つブロック� �おける被写体の距離L(ibx,iby)は、下記式(44)の ように演算される。なお、fはレンズ部113の� �点距離であり、Dxは各レンズ部113a~113dのx軸� �向の間隔であり、pは撮像素子の素子間隔で� ��る。次に、ステップS1270を実行する。

 L(ibx,iby) = f ×Dx / p / δ(ibx,iby) …(44)
 ステップS1270において、演算動作を終了し� �上位ルーチンへ戻る。次に、ステップS1910を 実行する。

 本実施の形態の撮像装置が以上のように� ��成されて動作することにより、以下の効果� ��奏される。

 以上のとおり、実施の形態1の撮像装置は 、温度センサ126によりレンズアレイ113の周囲 温度を計測し、温度値Thとして入力する。そ� ��て、レンズアレイ113が略円形であるために� ��方的に膨張することを利用し、式(14)及び(15 )によって、レンズアレイ113の各レンズ部の� �軸の間隔を求め、その間隔の半分だけ光軸� �変化するものとして、座標変換テーブルを� �成する。このことにより、温度が変化しレ� �ズアレイ113が変形しても、光軸の位置を正� �く補償することができるため、温度の影響� �低減した視差を得て、この視差に基づき正� �い距離計測ができる。また、温度センサ126� �より検知された温度に基づき複数のレンズ� �の間隔の変化量を求め、複数のレンズの光� �原点をその変化量の半分だけ移動させて、� �軸原点周りの歪みをなくすように画像を補� �することにより、正しく歪みの影響を低減� �きるため、視差の検知及び距離測定を高精� �に行うことができる。

 温度によりレンズ部の光軸の位置が変化� ��ると、撮影される画像が移動することにな� ��。例えば、自動車の前方監視に撮像装置を� ��用する場合、その撮像装置により得られた� ��像中心を運転者が見た画像の中心に合わせ� ��も、温度が変化すると画像中心がずれる。� ��のため、運転者は違和感を覚える。これに� ��し、実施の形態1の撮像装置の場合、温度が 変化しても、画像中心の変化を抑制すること ができる。そのため、自動車の前方監視にも 適した撮像装置を実現することができる。

 なお、光軸中心から離れるほど歪曲が大� ��くなり、測距精度は一般的に悪くなる。本� ��施の形態の撮像装置によれば、光軸を上記� ��ように補償することにより、歪曲が大きい� ��域の利用を避けるという効果も期待できる� ��

 一組のレンズ部に対応した撮像信号にお� ��て、それぞれのレンズ部の光軸中心を結ぶ� ��線に平行な形状をなす撮像対象に対しては� ��それぞれのレンズ部により得られる撮像信� ��において同一形状となるため、視差を求め� ��ことができない。実施の形態1の撮像装置に よれば、3つの撮像信号の組(第1の撮像信号I1� ��び第2の撮像信号I2、第1の撮像信号I1及び第3 の撮像信号I3、並びに第1の撮像信号I1及び第4 の撮像信号I4)を選択し、それぞれの組に対し それぞれの視差δ12(ibx,iby)、δ13(ibx,iby)、及び� �14(ibx,iby)を得る。このことにより、1つの組� �正しく視差を求められない撮像対象であっ� �も、他の組で正しく視差を求めることがで� �るため、その視差に基づき距離を計測でき� �。例えば、水平な線状の撮像対象は、水平� �向に並べられた組(第1の撮像信号I1及び第2の 撮像信号I2)からは距離を計測することができ ないが、鉛直方向に並べられた組(第1の撮像� ��号I1及び第3の撮像信号I3、並びに第2の撮像� ��号I2及び第4の撮像信号I4)、及び斜めに並べ� ��れた組(第1の撮像信号I1及び第4の撮像信号I4 )を用いることにより、距離を計測すること� �できる。そのため、多様な形状の撮像対象� �対応することができる。

 また、実施の形態1の撮像装置によれば、 複数の前記視差の信頼度(E12(ibx,iby)、E13(ibx,iby )、及びE14(ibx,iby))をそれぞれ演算し、ブロッ� ��B(ibx,iby)毎に、視差(δ12(ibx,iby)、δ13(ibx,iby)、 及びδ14(ibx,iby))のうち信頼度が最も大きい視� ��δ(ibx,iby)を特定し、その視差δ(ibx,iby)に基づ いて距離を演算する。このように、信頼性が 高い視差δ(ibx,iby)に基づき視差演算するため� ��信頼性が高い距離計測が可能となる。また� ��全ての組の視差(δ12(ibx,iby)、δ13(ibx,iby)、及� ��δ14(ibx,iby))において距離演算を行わず、信� �性が高い視差(δ(ibx,iby))のみの距離演算を行� ��ため、高速な距離計測が可能となる。

 なお、実施の形態1に係る撮像装置におい て、温度センサ126は、基板121上に配設されて いる。このように、温度センサ126を基板121上 に配設する場合、基板121上の配線を用いて温 度センサ126と温度センサ信号入力部139aとを� �続すればよいため、実装が容易であるとい� �利点がある。しかし、このような構成に限� �されるわけではない。温度センサ126は、レ� �ズアレイ113近傍の基板121の温度を検出して� �るが、その目的は、レンズアレイ113の温度� �検出することにある。レンズアレイ113の温� �は直接または間接的に検出することができ� �。レンズアレイ113の温度を間接的に検出す� �には、レンズアレイ113の温度と相関関係を� �する温度あるいは温度以外の物理量を検出� �ればよい。そして、それらをレンズアレイ11 3の温度に補正し、あるいはレンズアレイ113� �温度との差異を見込むことによって、それ� �を、直接検出するレンズアレイ113の温度の� �わりに用いることができる。本実施の形態� �は、この観点から、レンズアレイ113近傍の� �板121の温度を検出している。従って、これ� �外に、例えば、温度センサ126をパッケージ12 2内部の撮像素子123に並列して配設するよう� �してもよい。この場合、撮像素子123の近傍� �温度センサ126が配置されるため、温度セン� �126の実装時にゴミ等が撮像素子123に付着し� �いようにする配慮が必要となるものの、レ� �ズアレイ113により近くなることにより、温� �検出の精度が増す。その結果、光軸の変化� �より正しく補正し、歪曲をより正しく補正� �ることができるので、距離測定精度を向上� �せることができる。

 また、SLSI125の一部が温度センサ126となる ような製造プロセスを用いてSLSI125を作成し� �もよい。この場合、温度センサ126を実装す� �必要がないため、その分だけ実装コストを� �減できる。

 また、温度センサ126が、鏡筒111の外壁ま� ��は内壁に貼設されていてもよい。この場合� ��温度センサ126の配線に考慮が必要だが、レ� ��ズアレイ113に近い鏡筒111に温度センサ126を� ��置することができるため、温度検出の精度� ��増す。よって、光軸の変化をより正しく補� ��し、歪曲をより正しく補正することができ� ��距離測定精度を向上させることができる。� ��た、鏡筒111の内部に埋設されていてもよい� ��この場合、温度センサ126の配線及び鏡筒111� ��製造方法に考慮が必要だが、レンズアレイ1 13に近い鏡筒111の内部に温度センサ126を配置� ��ることができるため、同様にして距離測定� ��度を向上させることができる。

 また、温度センサ126をレンズアレイ113の� ��宜の位置に配設し、適宜配線により接続し� ��もよい。この場合、温度センサ126の配線に� ��慮が必要だが、レンズアレイ113に温度セン� ��126を直接配設するため、さらに温度検出の� ��度が増し、その結果距離測定精度を向上さ� ��ることができる。また、レンズ部の内部に� ��設されていてもよい。この場合、温度セン� ��126の配線及びレンズアレイ113の製造方法に� ��慮が必要だが、レンズアレイ113の内部に温� ��センサ126を配置するため、さらに温度検出� ��精度が増し、距離測定精度を向上させるこ� ��ができる。

 また、実施の形態1に係る撮像装置におい て、レンズアレイ113は略円形に成型されてい るが、これに限定されない。図27は、実施の� ��態1の変形例に係る撮像装置のレンズアレイ の構成を示す平面図である。図27(a)に示すレ� ��ズアレイ113Aのように、長方形状に成型され てもよい。さらに、図27(b)に示すレンズアレ� ��113Bのように、その端面等に平面方向に伸び る突起等が設けられていてもよい。このよう にレンズアレイが略円形でない構成において も、レンズ部はほぼ等方に膨張するため、実 施の形態1と同様に動作させることにより、� �施の形態1の場合と同様の効果を得ることが� ��きる。

 (実施の形態2)
 本発明の実施の形態1に係る撮像装置は、レ ンズアレイ113が略円形に成型され、各レンズ 部(第1のレンズ部113a、第2のレンズ部113b、第3 のレンズ部113c、および第4のレンズ部113d)が� �ンズアレイ113の中心から同一距離に配置さ� �ている。そして、温度センサ126によって検� �された温度に基づきレンズアレイ113の各レ� �ズ部の光軸の間隔の変化量を求め、各レン� �部の光軸原点を変化量の半分だけ移動し、� �軸原点周りの歪みをなくすように画像を補� �する。これにより、温度が変化しても正し� �歪みの影響を低減できるため、高精度な視� �を検知し、それゆえ高精度に距離測定する� �像装置を実現した。また、温度が変化して� �、画像中心が変化しない撮像装置を実現し� �。

 これに対し、本発明の実施の形態2に係る 撮像装置は、レンズアレイの中心から同一距 離に配置されない各レンズ部を備えている。 このように、各レンズ部がレンズアレイの中 心から同一距離に配置されない場合において も、温度変化に影響されることなく高精度な 視差を検知し、それゆえ高精度に距離測定し 、かつ、画像中心の変化を抑制することがで きる。

 実施の形態2の撮像装置は、実施の形態1� �レンズアレイ113をレンズアレイ213に置換え� �さらに、実施の形態1の温度補償部139bを温度 補償演算部239bに置き換えたものである。そ� �他の構成は実施の形態1と同様であり、同一� ��符号を付与し、説明を省略する。

 図28は、本発明の実施の形態2に係る撮像� ��置のレンズアレイの構成を示す平面図であ� ��。レンズアレイ213は、略円盤状であり、光� ��ガラス材や透明樹脂などから形成され、第1 のレンズ部213a、第2のレンズ部213b、第3のレ� �ズ部213c、および第4のレンズ部213dが碁盤目� �に配置される。第1~第4のレンズ部213a~213dの� �置方向に沿って、図28に示すようにx軸及びy� ��を設定する。第1のレンズ部213a、第2のレン� ��部213b、第3のレンズ部213c、および第4のレン ズ部213dにおいて、被写体側から入射した光� �、撮像素子123側へ射出し、撮像素子123上に4� ��の像を結像する。なお、図28に示すように� �第1のレンズ部213aの光軸と第2のレンズ部213b� ��光軸とは、水平方向(x軸方向)ではDxだけ離� �、垂直方向(y軸方向)では一致しており、レ� �ズアレイ213の中心213oを通るy軸方向の軸に対 して対称な位置に配置される。そして、第1� �レンズ部213aの光軸と第2のレンズ部213bの光� �とは、レンズアレイ213の中心213oからy軸方向 にDy1だけ離れて配置される。また、第3のレ� �ズ部213cの光軸と第4のレンズ部213dの光軸と� �、水平方向(x軸方向)ではDxだけ離れ、垂直方 向(y軸方向)では一致しており、レンズアレイ の中心213oを通るy軸方向の軸に対して対称な� ��置に配置される。そして、第3のレンズ部213 cの光軸と第4のレンズ部213dの光軸とは、レン ズアレイ213の中心213oからy軸方向にDy2だけ離� ��て配置される。

 温度補償演算部139bは、温度値Thに基づき� ��前処理部135にて利用される座標変換テーブ� ��tx1(x,y)、ty1(x,y)、tx2(x,y)、ty2(x,y)、tx3(x,y)、ty3 (x,y)、tx4(x,y)、ty4(x,y)を生成する。レンズアレ イ213の温度が上昇した場合、各レンズ部213a~2 13dが膨張する。この場合、レンズアレイ213は 略円形であるため、図28において矢印で示す� ��うに、各レンズ部213a~213dの光軸中心がレン� ��アレイ213の中心213oに対してレンズ外側に移 動する。この移動量は、レンズアレイ213の中 心213oから各レンズ部213a~213dの光軸までの距� �に略比例する。すなわち、温度上昇による� �ンズアレイ213の膨張に伴う第1のレンズ部213a のx軸方向の移動量dbx1及びy軸方向の移動量dby 1は、撮像素子123の画素間隔を単位として、� �記式(45)及び(46)のように表される。ここで、 Dx/2は基準温度Th0におけるレンズアレイ213の� �心213oを通るx軸方向の軸と第1のレンズ部213a� ��光軸との距離であり、Dy1は同じくy軸方向の 軸と第1のレンズ部213aの光軸との距離である� ��また、aLはレンズアレイ213の熱線膨張率で� �り、aSは撮像素子123の熱線膨張率であり、Th� ��前述のように温度値であり、Th0は基準温度� ��あり、pは撮像素子123の画素間隔である。

 また、温度上昇によるレンズアレイ膨張� ��伴う第2のレンズ部213bのx軸方向の移動量dbx2 及びy軸方向の移動量dby2は、撮像素子123の画� ��間隔を単位として、下記式(47)及び(48)のよ� �に表される。ここで、Dx/2は基準温度Th0にお� ��るレンズアレイ213の中心213oを通るx軸方向� �軸と第2のレンズ部213bの光軸との距離であり 、Dy1は同じくy軸方向の軸と第2のレンズ部213b の光軸との距離である。また、温度上昇によ るレンズアレイ膨張に伴う第3のレンズ部213c� ��x軸方向の移動量dbx3及びy軸方向の移動量dby3 は、撮像素子123の画素間隔を単位として、下 記式(49)及び(50)のように表される。ここで、D x/2は基準温度Th0におけるレンズアレイの中心 213oを通るx軸方向の軸と第3のレンズ部213cの� �軸との距離であり、Dy2は同じくy軸方向の軸� ��第3のレンズ部213cの光軸との距離である。� �らに、温度上昇によるレンズアレイ膨張に� �う第4のレンズ部213dのx軸方向の移動量dbx4及� ��y軸方向の移動量dby4は、撮像素子123の画素� �隔を単位として、下記式(51)及び(52)のように 表される。ここで、Dx/2は基準温度Th0におけ� �レンズアレイの中心213oを通る軸と第4のレン ズ部213dの光軸との距離であり、Dy2は同じくy� ��方向の軸と第4のレンズ部213dの光軸との距� �である。

 dbx1 = (Dx/2) × (aL - aS) × (Th - Th0) / p  …(45)
 dby1 = Dy1 × (aL - aS) × (Th - Th0) / p … (46)
 dbx2 = (Dx/2) × (aL - aS) × (Th - Th0) / p  …(47)
 dby2 = Dy1 × (aL - aS) × (Th - Th0) / p … (48)
 dbx3 = (Dx/2) × (aL - aS) × (Th - Th0) / p  …(49)
 dby3 = Dy2 × (aL - aS) × (Th - Th0) / p … (50)
 dbx4 = (Dx/2) × (aL - aS) × (Th - Th0) / p  …(51)
 dby4 = Dy2 × (aL - aS) × (Th - Th0) / p … (52)
 撮像装置は、上述の温度上昇に伴う移動量� ��け、各撮像信号を補正する。すなわち、第1 の撮像信号I1(x,y)用の変換テーブルtx1(x,y)及び ty1(x,y)を下記式(53)、(54)及び(55)のように生成� ��る。ここで、(x01,y01)は撮像信号I0における� �みがないときの原点座標、(xc1,yc1)は撮像信� �I1(x,y)における基準温度Th0での光軸中心座標� ��(-dbx1,-dby1)は温度上昇による光軸中心の移動 量、kd2及びkd4は歪曲係数である。なお、式(55 )における^2は二乗値を示す。また、第2の撮� �信号I2(x,y)用の変換テーブルtx2(x,y)及びty2(x,y) を下記式(56)、(57)及び(58)のように生成する。 ここで、(x02,y02)は撮像信号I0における歪みが� ��いときの原点座標、(xc2,yc2)は撮像信号I2(x,y) における基準温度Th0での光軸中心座標、(+dbx2 ,-dby2)は温度上昇による光軸中心の移動量、kd 2及びkd4は歪曲係数である。なお、式(58)にお� ��る^2は二乗値を示す。また、第3の撮像信号I 3(x,y)用の変換テーブルtx3(x,y)及びty3(x,y)を下� �式(59)、(60)及び(61)のように生成する。ここ� �、(x03,y03)は撮像信号I0における歪みがないと きの原点座標、(xc3,yc3)は撮像信号I3(x,y)にお� �る基準温度Th0での光軸中心座標、(-dbx3,+dby3)� ��温度上昇による光軸中心の移動量、kd2及びk d4は歪曲係数である。なお、式(61)における^2� ��二乗値を示す。また、第4の撮像信号I4(x,y)� �の変換テーブルtx4(x,y)及びty4(x,y)を下記式(62) 、(63)及び(64)のように作成する。ここで、(x04 ,y04)は撮像信号I0における歪みがないときの� �点座標、(xc4,yc4)は撮像信号I4(x,y)における基� ��温度Th0での光軸中心座標、(+dbx4,+dby4)は温度 上昇による光軸中心の移動量、kd2及びkd4は歪 曲係数である。なお、式(64)における^2は二乗 値を示す。

 tx1(x,y) = x01 + xc1 + {x - xc1 - dbx1}×(1 +  kd2 × r2 + kd4 × r4) …(53)
 ty1(x,y) = y01 + yc1 + {y - yc1 - dby1}×(1 +  kd2 × r2 + kd4 × r4) …(54)
 r2= {x - xc1 - dbx1}^2 + {y - yc1 - dby1}^2、r 4 = r2^2 …(55)
 tx2(x,y) = x02 + xc2 + {x - xc2 + dbx2}×(1 +  kd2 × r2 + kd4 × r4) …(56)
 ty2(x,y) = y02 + yc2 + {y - yc2 - dby2}×(1 +  kd2 × r2 + kd4 × r4) …(57)
 r2= {x - xc2 + dbx2}^2 + {y - yc2 - dby2}^2、r 4 = r2^2 …(58)
 tx3(x,y) = x03 + xc3 + {x - xc3 - dbx3}×(1 +  kd2 × r2 + kd4 × r4) …(59)
 ty3(x,y) = y03 + yc3 + {y - yc3 + dby3}×(1 +  kd2 × r2 + kd4 × r4) …(60)
 r2= {x - xc3 - dbx3}^2 + {y - yc3 + dby3}^2、r 4 = r2^2 …(61)
 tx4(x,y) = x04 + xc4 + {x - xc4 + dbx4}×(1 +  kd2 × r2 + kd4 × r4) …(62)
 ty4(x,y) = y04 + yc4 + {y - yc4 + dby4}×(1 +  kd2 × r2 + kd4 × r4) …(63)
 r2= {x - xc4 + dbx4}^2 + {y - yc4 + dby4}^2、r 4 = r2^2 …(64)
 なお、歪みが生じない場合、上記の座標変� ��テーブルを用いてなされる座標変換は、下� ��式(65)乃至(68)のように、撮像信号I0(x,y)から� ��像を切り出し、その後、下記式(69)乃至(72)� �ように、平行移動することに相当する。

 I1(x, y) = I0(x + x01, y + y01) …(65)
 I2(x, y) = I0(x + x02, y + y02) …(66)
 I3(x, y) = I0(x + x03, y + y03) …(67)
 I4(x, y) = I0(x + x04, y + y04) …(68)
 I1(x, y) = I1(x-dbx1, y-dby1) …(69)
 I2(x, y) = I2(x+dbx2, y-dby2) …(70)
 I3(x, y) = I3(y-dbx3, x+dby3) …(71)
 I4(x, y) = I4(x+dbx4, y+dby4) …(72)
 本実施の形態の撮像装置が以上のように構� ��されて動作することにより、実施の形態1と 同様の効果が奏される。

 (実施の形態3)
 本発明の実施の形態3に係る撮像装置は、温 度毎の係数を持ち、温度センサにより検知さ れた温度に基づき複数のレンズの光軸の間隔 の変化量を求め、複数のレンズの光軸原点を 変化量の半分だけ移動し、光軸原点周りの歪 みをなくすように画像を補正する。これによ り、小規模の回路で歪みの影響を適切に低減 できるため、高精度な視差を検知でき、低コ ストで高精度に距離測定できる。

 実施の形態3の撮像装置は、実施の形態1� �撮像装置101のシステムLSI125をシステムLSI225� �変更したものである。その他の構成は、実� �の形態1の撮像装置と同様であり、説明を省� ��する。

 SLSI225は、後述の方法で、撮像素子123を駆 動し、撮像素子123からの電気情報を入力し、 各種演算を行い、上位CPUと通信を行い、外部 に画像情報や距離情報などを出力する。なお 、SLSI225は、電源(例えば3.3V)とグランド(例え� ��、0V)に接続される。

 次に、光軸中心の温度補償の原理を説明� ��る。図2の矢印のように、温度上昇に伴いレ ンズアレイ113が膨張し光軸中心がレンズ外側 に移動する。レンズアレイが温度上昇に比例 し等方的に膨張すると仮定すると、光軸中心 の間隔は、下記式(109)、(110)で表される。こ� �で、dbxは温度上昇に伴う光軸間の間隔のx方� ��の変化量であり、単位は撮像素子123の受光� ��子の間隔である。また、dbyは温度上昇に伴� ��光軸間の間隔のy方向の変化量であり、単位 は撮像素子122の受光素子の間隔である。また 、Dxは基準温度Th0におけるx方向のレンズ間の 光軸の間隔であり、Dyは基準温度Th0におけるy 方向のレンズ間の光軸の間隔であり、aLはレ� ��ズアレイ113の熱線膨張率であり、aSは撮像� �子123の熱線膨張率であり、Tは温度であり、T h0は基準温度であり、pは撮像素子123の受光素 子の間隔である。

 dbx = Dx * (aL - aS) * (T - Th0) / p ・・� �(109)
 dby = Dy * (aL - aS) * (T - Th0) / p ・・� �(110)
 そして、温度上昇に伴い各レンズ部の光軸� ��心は等方的に膨張するため、図2のように、 温度上昇に伴うレンズ間の光軸間の間隔の変 化の半分(x方向にp*dbx/2、y方向にp*dby/2)だけ移 動する。すなわち、第1のレンズ部113aの光軸� ��心は、x方向に-p*dbx/2、y方向に-p*dby/2だけ移� ��する。また、第2のレンズ部113bの光軸中心� �、x方向に+p*dbx/2、y方向に-p*dby/2だけ移動す� �。また、第3のレンズ部113cの光軸中心は、x� �向に-p*dbx/2、y方向に+p*dby/2だけ移動する。ま た、第4のレンズ部113dの光軸中心は、x方向に +p*dbx/2、y方向に+p*dby/2だけ移動する。

 したがって、温度Tを検知し、その温度T� �らレンズアレイ113の各レンズ間の光軸の間� �の変化dbx,dbyを求め、その変化dbx,dbyの半分だ けレンズアレイ113の各レンズの光軸が移動す ると推定し補償することにより、温度変化に 伴うレンズアレイ113の膨張の影響を低減し、 正確な視差を求めることができ、それゆえ、 正確な距離を求めることができる。

 次に、焦点距離の温度補正を説明する。� ��ンズアレイ113が樹脂から構成されるとき、� ��度上昇に伴い屈折率が小さくなり、それゆ� ��、焦点距離が長くなり、撮像素子123に結像� ��れる像が大きくなり(倍率が大きくなり)、� �差が長くなる。そこで、温度Tを検知し、そ� ��温度Tから焦点距離の変化を推定し、推定さ れた焦点距離fを式(7)に代入することにより� �温度変化に伴うレンズアレイ113の焦点距離� �変化の影響を低減し、正確な視差を求める� �とができ、それゆえ、正確な距離を求める� �とができる。なお、式(7)の焦点距離fを一定� ��して、その分だけ像の倍率が変化するもの� ��して撮像信号を補正してもよい。

 次に、鏡筒伸びの温度補正を説明する。� ��筒111が樹脂から構成されるとき、温度上昇� ��伴い鏡筒111が伸び、それゆえ、レンズアレ� ��113の主点から撮像素子123の受光面までの距� ��が長くなり、撮像素子123に結像される像が� ��きくなり(倍率が大きくなり)、視差が大き� �なる。そこで、温度Tを検知し、その温度Tか ら鏡筒111の長さの変化を推定し、倍率の変化 を推定し補償することにより、温度変化に伴 う鏡筒111の伸びの影響を低減し、正確な視差 を求めることができ、それゆえ、正確な距離 を求めることができる。

 次に、本発明の実施の形態3に係る撮像装 置の動作を説明する。図29は、本発明の実施� ��形態3に係る撮像装置の構成を示すブロック 図である。SLSI225は、システム制御部131、撮� �素子駆動部132、撮像信号入力部133、温度セ� �サ信号入力部234、入出力部235、係数保存部24 1、温度補償演算部242、撮像信号補正部243、� �よび距離演算部244を有する。ここで、温度� �償演算部242と撮像信号補正部243とは、温度� �償/撮像信号補正部を構成している。

 システム制御部131は、CPU(中央演算処理装 置:Central Processing Unit)、ロジック回路などか ら構成され、SLSI225の全体を制御する。

 図30は、本発明の実施の形態3に係る撮像� ��置の動作を示すフローチャートである。SLSI 225のシステム制御部131により、撮像装置は、 このフローチャートのとおりに動作する。な お、図30において、実施の形態1の図9Aのフロ� ��チャートと同一又は相当するステップには� ��一の参照符号を付している。

 ステップS1010において、撮像装置101は動� �を開始する。例えば、上位CPU(図示せず)が、 入出力部235を介し、撮像装置101に動作の開始 を命令することにより、撮像装置101は、動作 を開始する。次に、ステップS1020を実行する� ��

 ステップS1020において、撮像信号を入力� �る。撮像素子駆動部132は、ロジック回路な� �から構成され、システム制御部131の命令に� �り電子シャッターや転送を行うための信号� �像素子123を駆動する信号を発生し、この信� �に応じた電圧を撮像素子122に印加する。撮� �信号入力部133は、CDS回路(相関二重サンプリ� ��グ回路:Correlated Double Sampling Circuit)、AGC(自 動利得制御器:Automatic Gain Controller)、ADC(アナ ログ/デジタル変換器:Analog Digital Converter)が� ��列に接続されて構成され、撮像素子123から� ��電気信号が入力され、CDS回路により固定ノ� ��ズを除去し、AGCによりゲインを調整し、ADC� ��よりアナログ信号からデジタル値に変換し� ��像信号I0を出力する。ここで、撮像信号入� �部133は、撮像信号I0(x,y)を、x方向にH0画素、y 方向にV0画素だけ、I0(0,0)((x,y)=(0,0))、I0(1,0)、I 0(2,0)、・・・、I0(H0-1,V0-1)の順に出力する。� �に、ステップS1030を実行する。

 ステップS1030において、温度センサ信号� �入力する。温度センサ信号入力部234は、ADC(A nalog Digital Converter:アナログ・デジタル変換� ��)などから構成され、温度センサ126からアナ ログ電圧信号である温度センサ信号を入力し 、アナログ信号からデジタル値に変換し、温 度センサ信号Tsとして出力する。例えば12bit� �ADCを用いると、温度センサ信号Tsは、0~4095ま での値を取る。以下、温度センサ信号Tsは、1 2bitのADCを用いて作成されたものとして説明� �る。次に、ステップS1110を実行する。

 ステップS1110において、各種の係数を温� �補償する。温度補償演算部242は、温度セン� �信号Tsを入力し、係数保存部241に保存された データを用いて、歪曲係数kd2,kd4、倍率(rx,ry)� ��第1のレンズ部113aの光軸中心(xc1,yc1)、第2の� ��ンズ部113bの光軸中心(xc2,yc2)、第3のレンズ� �113cの光軸中心(xc3,yc3)、第4のレンズ部113dの� �軸中心(xc4,yc4)、焦点距離f、および各レンズ� ��のx方向の光軸間距離Dxを出力する。

 図31は、本発明の実施の形態3に係る係数� ��存部を説明するための図である。図31にお� �て、簡単のため、第1のレンズ部113aの光軸中 心x座標xc1のみが記述されている。図31のよう に、センサ温度信号Tsが0、256、512、768、1024� �・・・、3840、4096のときの光軸中心x座標xc1� �それぞれxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024� ��・・・、xc1_3040、xc1_4096として係数保存部241 に保存されている。そして、温度補償演算部 242は、温度センサ値Tsに対応する光軸中心x座 標xc1を補間演算して作成する。例えば、温度 センサ値Tsが512以上1024未満のとき、温度セン サ信号Ts=512、768のときの光軸中心x座標xc1_512� ��xc1_768を用いて、下記式(111)のように補間演� ��を行い、xc1を作成する。他の係数も同様に� ��成する。すなわち、第1のレンズ部113aの光� �中心y座標yc1、第2のレンズ部113bの光軸中心(x c2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、 第4のレンズ部113dの光軸中心(xc4,yc4)、歪曲係� ��k2,k4、倍率(rx,ry)、焦点距離f、および各レン ズ部のx方向の光軸間距離Dxは、それぞれ係数 保存部241に各温度での値が保存され、温度セ ンサ信号Tsに関して補間演算を行って作成さ� ��る。

 xc1 = xc1_512 + (Ts-512)/(768-512)*(xc_768-xc1_512) � ��・・(111)
 なお、係数保存部241に保存される係数は以� ��のように作成され保存される。各レンズ部� ��光軸中心は、式(109)、(110)に基づき、下記式 (112)、(113)のように、温度上昇に伴う光軸間� �間隔のx方向の変化量dbx、y方向の変化量dbyを 演算し、その半分(x方向にp*dbx/2、y方向にp*dby /2)だけ光軸中心が移動するとして作成する。 ここで、T(Ts)はADCによりデジタル値に変換さ� ��た温度センサ信号Tsのときの物理的な温度� �示す。具体的には、下記式(114)、(115)のよう� ��、第1のレンズ部113aの光軸中心(xc1,yc1)は、� �準温度Th0における光軸中心(xc10,yc10)からx方� �に-dbx/2、y方向に-dby/2だけ移動するように作� ��する。また、下記式(116)、(117)のように、第 2のレンズ部113bの光軸中心(xc2,yc2)は、基準温� ��Th0における光軸中心(xc20,yc20)からx方向に+dbx /2、y方向に-dby/2だけ移動するように作成する 。また、下記式(118)、(119)のように、第3のレ� ��ズ部113cの光軸中心(xc3,yc3)は、基準温度Th0に おける光軸中心(xc30,yc30)からx方向に-dbx/2、y� �向に+dby/2だけ移動するように作成する。ま� �、第4のレンズ部113dの光軸中心(xc4,yc4)は、基 準温度Th0における光軸中心(xc40,yc40)からx方向 に+dbx/2、y方向に+dby/2だけ移動するように作� �する。

 dbx = Dx * (aL - aS) * (T(Ts) - Th0) / p ・� ��・(112)
 dby = Dy * (aL - aS) * (T(Ts) - Th0) / p ・� ��・(113)
 xc1 = xc10 - dbx/2 ・・・(114) 
 yc1 = yc10 - dby/2 ・・・(115)
 xc2 = xc20 + dbx/2 ・・・(116) 
 yc2 = yc20 - dby/2 ・・・(117)
 xc3 = xc30 - dbx/2 ・・・(118) 
 yc3 = yc30 + dby/2 ・・・(119)
 xc4 = xc40 + dbx/2 ・・・(120) 
 yc4 = yc40 + dby/2 ・・・(121)
 歪曲係数k2,k4は、光学解析や実験などで各� �度における値を求め、作成する。

 鏡筒の長さlkは下記式(122)のように推定さ れる。ここで、Th0は基準温度であり、lk0は基 準温度Th0における鏡筒の長さであり、kkは鏡� ��の熱線膨張率、T(Ts)は温度センサ信号Tsが示 す温度センサの物理的な温度である。そこで 、鏡筒の長さの変化の比率を倍率とする。具 体的には、下記式(123)、(124)のように、x方向� ��倍率rx、y方向の倍率ryとして作成する。

 lk = lk0*{1+kk*(T(Ts)-Th0)} ・・・(122)
 rx = {1+kk*(T(Ts)-Th0)} ・・・(123)
 ry = {1+kk*(T(Ts)-Th0)} ・・・(124)
 焦点距離fは、光学解析や実験などで各温度 における値を求め、作成する。

 x方向の光軸間距離Dxは、x方向の光軸間距 離の変化量が式(112)のdbxで示されることより� ��このdbxを用いて下記式(125)のように作成す� �。

 Dx = Dx0 + dbx * p ・・・(125)
 なお、各温度で各種方法で測定された係数� ��保存してもよい。次に、ステップS1120を実� �する。

 ステップS1120において、画像を補正し切� �出す。撮像信号補正部243は、撮像信号I0、歪 曲係数kd2,kd4、倍率(rx,ry)、第1のレンズ部113a� �光軸中心(xc1,yc1)、第2のレンズ部113bの光軸中 心(xc2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc 3)、および第4のレンズ部113dの光軸中心(xc4,yc4 )を入力し、撮像信号I0から各レンズ部により 結像された被写体像を撮像した画像を切り出 し、歪曲補正などの補正処理を行い、第1の� �ンズ部113aに対応する第1の撮像信号I1(x,y)、� �2のレンズ部113bに対応する第2の撮像信号I2(x, y)、第3のレンズ部113cに対応する第3の撮像信� ��I3(x,y)、および第4のレンズ部113dに対応する� ��4の撮像信号I4(x,y)を出力する。

 図32は、本発明の実施の形態3に係る撮像� ��置の撮像信号の切り出し位置を説明するた� ��の図である。歪みがなく、温度によるレン� ��の膨張がない場合、図32のように、第1の撮� ��信号I1(x,y)は、撮像信号I0を原点(x01,y01)、x方 向にH1画素、y方向にV1画素だけ切り出した領� ��の画像であり、第2の撮像信号I2(x,y)は、撮� �信号I0を原点(x02,y02)、x方向にH1画素、y方向� �V1画素だけ切り出した領域の画像であり、第 3の撮像信号I3(x,y)は、撮像信号I0を原点(x03,y03 )、x方向にH1画素、y方向にV1画素だけ切り出� �た領域の画像であり、第4の撮像信号I4(x,y)は 、撮像信号I0を原点(x04,y04)、x方向にH1画素、y 方向にV1画素だけ切り出した領域の画像であ� ��。実施の形態3の撮像装置は、熱膨張による 光軸中心の移動、歪み補正、倍率補正を加味 し、以下のような処理を行う。

 下記式(126)、(127)、(128)のように、歪曲係� ��kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸 中心(xc1,yc1)を用いて、第1の撮像信号用の参� �先座標(tx1,ty1)を演算し、下記式(129)のように 、第1の撮像信号用の参照先座標(tx1,ty1)を用� �て撮像信号I0から第1の撮像信号I1(x,y)を演算� ��る。なお、第1の撮像信号用の参照先座標(tx 1, ty1)は、小数点を持ってもよい。その場合� ��第1の撮像信号用の参照先座標(tx1,ty1)の整数 部分を(tx1i,ty1i)とし、小数部分を(tx1f,ty1f)と� �、下記式(130)のように4画素を利用し演算す� �。ここで、式(126)、(127)、(128)、(129)、(130)に� ��いて、xに関して0からH1-1まで、yに関して0� �らV1-1までの演算を行う。同様に、下記式(131 )、(132)、(133)のように、歪曲係数kd2,kd4、倍率 (rx,ry)、第2のレンズ部113bの光軸中心(xc2,yc2)を 用いて、第2の撮像信号用の参照先座標(tx2,ty2 )を演算し、下記式(134)のように、第2の撮像� �号用の参照先座標(tx2,ty2)を用いて撮像信号I0 から第2の撮像信号I2(x,y)を演算する。また、� ��記式(135)、(136)、(137)のように、歪曲係数kd2, kd4、倍率(rx,ry)、第3のレンズ部113cの光軸中心 (xc3,yc3)を用いて、第3の撮像信号用の参照先� �標(tx3,ty3)を演算し、下記式(138)のように、第 3の撮像信号用の参照先座標(tx3,ty3)を用いて� �像信号I0から第3の撮像信号I3(x,y)を演算する� ��また、下記式(139)、(140)、(141)のように、歪� ��係数kd2,kd4、倍率(rx,ry)、第4のレンズ部113dの 光軸中心(xc4,yc4)を用いて、第4の撮像信号用� �参照先座標(tx4,ty4)を演算し、下記式(142)のよ うに、第4の撮像信号用の参照先座標(tx4,ty4)� �用いて撮像信号I0から第4の撮像信号I4(x,y)を� ��算する。なお、以下の式において、^2は二� �演算を示し、^4は四乗演算を示す。

 tx1 = x01 + xc1 + (x - xc1) * (1 + kd2 * r1^ 2 + kd4 * r1^4) * rx ・・・(126)
 ty1 = y01 + yc1 + (y - yc1} * (1 + kd2 * r1^ 2 + kd4 * r1^4) * ry ・・・(127)
 r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2) ^2 ・・・(128)
 I1(x,y) = I0(tx1,ty1) ・・・(129)
 I1(x,y) = (1 - tx1f) * (1 - ty1f) * I0(tx1i,ty1i )
        + tx1f * (1 - ty1f) * I0(tx1i+1,ty1i)
        + (1 - tx1f) * ty1f * I0(tx1i,ty1i+1)
        + tx1f * ty1f * I0(tx1i+1,ty1i+1) ・� ��・(130)
 tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^ 2 + kd4 * r2^4) * rx ・・・(131)
 ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^ 2 + kd4 * r2^4) * ry ・・・(132)
 r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2) ^2 ・・・(133)
 I2(x,y) = I0(tx2,ty2) ・・・(134)
 tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^ 2 + kd4 * r3^4) * rx ・・・(135)
 ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^ 2 + kd4 * r3^4) * ry ・・・(136)
 r3^2 = (x - xc3)^2 + (y - yc3)^2、r2^4 = (r2^2) ^2 ・・・(137)
 I3(x,y) = I0(tx3,ty3) ・・・(138)
 tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^ 2 + kd4 * r4^4) * rx ・・・(139)
 ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^ 2 + kd4 * r4^4) * ry ・・・(140)
 r4^2 = (x - xc4)^2 + (y - yc4)^2、r2^4 = (r2^2) ^2 ・・・(141)
 I4(x,y) = I0(tx4,ty4) ・・・(142)
 なお、上記の変換において、歪みがなく、� ��率を補正しないとき、下記式(143)、(144)、(14 5)、(146)のように、撮像信号I0(x,y)から画像を� ��り出し、その後、下記式(147)、(148)、(149)、( 150)のように、平行移動することに相当する� �次に、ステップS1200を実行する。

 I1(x, y) = I0(x + x01, y + y01) ・・・(143)
 I2(x, y) = I0(x + x02, y + y02) ・・・(144)
 I3(x, y) = I0(x + x03, y + y03) ・・・(145)
 I4(x, y) = I0(x + x04, y + y04) ・・・(146)
 I1(x, y) = I1(x-dbx/2, y-dby/2) ・・・(147)
 I2(x, y) = I2(x+dbx/2, y-dby/2) ・・・(148)
 I3(x, y) = I3(y-dbx/2, x+dby/2) ・・・(149)
 I4(x, y) = I4(x+dbx/2, y+dby/2) ・・・(150)
 ステップS1200において、距離を演算する。� �離演算部244は、第1の撮像信号I1、第2の撮像� ��号I2、第3の撮像信号I3、第4の撮像信号I4、� �点距離f、x方向の光軸間距離Dxを入力し、距� ��を演算し、距離データDISを出力する。

 図33は、本発明の実施の形態3に係る撮像� ��置の距離演算部の動作を示すフローチャー� ��である。図33のフローチャートは、ステッ� �S1200の動作の詳細を示す。ステップS1200の演� ��では、まず、ステップS1310を実行する。

 ステップS1310において、演算の動作を開� �する。次に、ステップS1330を実行する。

 ステップS1330において、ブロックを分割� �る。

 図34は、本発明の実施の形態3に係る撮像� ��置において、ブロック分割を説明する図で� ��る。図34において、第1の撮像信号I1は、x方� ��にHB画素、y方向にVB画素を有する長方形状� �ブロックに分割され、x方向にNh個、y方向にN v個のブロックを持つ。次に、ステップS1340を 実行する。

 ステップS1340において、ブロックを選択� �る。ステップS1310(図33)を実行後、初めてこ� �ステップS1340を実行するときは(0,0)で示され� ��ブロックを選択し、以後、ステップS1340が� �行されるときは、右側に順にずらしたブロ� �クを選択する。なお、図34において右端のブ ロック((Nh-1,0)、(Nh-1,1)、・・・で示されるブ� ��ック)を選択した次は、1つ下の行の左端の� �ロック((0,1)、(0,2)、・・・で示されるブロッ ク)を選択する。すなわち、ステップS1310を実 行後、初めてこのステップS1340を実行すると� ��を0番目としたとき、i番目において(i%Nh, int (i/Nh))で示されるブロックを選択する。ここ� �、i%NhはiをNhで除算したときの剰余、int(i/Nh)� ��iをNhで除算したときの商の整数部である。� ��後このブロックを選択ブロックB(ih,iv)と呼� �。次に、ステップS1350を実行する。

 ステップS1350において、視差演算する。� �ず、第1のレンズ撮像信号I1と第2のレンズ撮� ��信号I2との視差と視差信頼度とを演算する� �最初に、第1のレンズ撮像信号I1と第2のレン� ��撮像信号I2との視差評価値R12(kx)を演算する� ��ここで、kxは画像をどれだけずらすかを示� �ずらし量であり、kx=0、1、2、・・・、SBのよ うに変化させる。

 図35は、本発明の実施の形態3に係る撮像� ��置において、第1の撮像信号と第2の撮像信� �を利用したときの視差演算における視差評� �値の演算領域を説明する図である。図35にお いて、I1で示される領域は、第1のレンズ撮像 信号I1の選択ブロックB(ih,iv)で選択された領� �を示し、I2で示される領域は、選択ブロック の座標からx方向にkxだけずれた領域の第2の� �ンズ撮像信号I2である。ずらし量kx=0からSBに ついて、下記式(151)に示される絶対値差分総� ��(SAD:Sum of Absolute Differences)を演算し、視差� ��価値R12(kx)とする。すなわち、第1のレンズ� �像信号I1を基準として、視差評価値R12(kx)を� �算する。

 R12(kx) = σσ|I1(x,y)-I2(x+kx,y)| ・・・(151)
 この視差評価値R12(kx)は、選択ブロックB(ih,i v)の第1のレンズ撮像信号I1と選択ブロックか� ��x方向にkxだけずれた領域における第2のレン ズ撮像信号I2とがどれだけ相関があるかを示� ��、値が小さいほど相関が大きい(よく似てい る)ことを示す。

 図36は、本発明の実施の形態3に係る撮像� ��置の第1の撮像信号と第2の撮像信号を利用� �たときの視差演算におけるずらし量と視差� �価値との関係を説明する図である。図36のよ うに、視差評価値R12(kx)はずらし量kxの値によ って変化し、ずらし量kx=δのとき極小値を持� ��。そのため、選択ブロックB(ih,iv)の第1のレ� ��ズ撮像信号I1と選択ブロックからx方向にδ� �けずれた領域における第2のレンズ撮像信号I 2とが最も相関が高い、すなわち、最も似て� �ることを示す。従って、選択ブロックB(ih,iv) における第1のレンズ撮像信号I1と第2のレン� �撮像信号I2との視差がδであることが分かる� ��そこで、下記式(152)のように、この視差δを 選択ブロックB(ih,iv)における第1のレンズ撮像 信号I1と第2のレンズ撮像信号I2との視差値δ12 (ih,iv)とし、下記式(153)のように、視差評価値 R12(δ)を選択ブロックB(ih,iv)における第1のレ� �ズ撮像信号I1と第2のレンズ撮像信号I2との視 差信頼度C12(ih,iv)とする。

 δ12(ih,iv) = δ ・・・ (152)
 C12(ih,iv) = R12(δ) ・・・ (153)
 次に、第1のレンズ撮像信号I1と第3のレンズ 撮像信号I3との視差と信頼信頼度も同様に求� ��る。ただし、ずらす方向をy方向に変更し、 ずらし量をkyとする。下記式(154)のように、� �択ブロックB(ih,iv)における第1のレンズ撮像� �号I1と第3のレンズ撮像信号I3の視差評価値R13 (ky)を求める。すなわち、第1のレンズ撮像信� ��I1を基準として、視差評価値R13(ky)を演算す� ��。そして、最小値を与えるずらし量、すな� ��ち視差δを、下記式(155)のように、選択ブロ ックB(ih,iv)における第1のレンズ撮像信号I1と� ��3のレンズ撮像信号I3との視差値δ13(ih,iv)と� �、下記式(156)のように、視差評価値R13(δ)を� �択ブロックB(ih,iv)における第1のレンズ撮像� �号I1と第3のレンズ撮像信号I3との信頼度C13(ih ,iv)とする。

 R13(ky) = σσ|I1(x,y)-I3(x,y+ky)| ・・・(154)
 δ13(ih,iv) = δ ・・・ (155)
 C13(ih,iv) = R13(δ) ・・・ (156)
 次に、第1のレンズ撮像信号I1と第4のレンズ 撮像信号I4との視差と信頼信頼度も同様に求� ��る。ただし、ずらす方向を斜め方向(第1の� �ンズ部113aの光軸と第4のレンズ部113dの光軸� �を結ぶ方向)に変更し、ずらし量はx方向にkx� ��y方向にkx*Dy/Dxとする。下記式(157)のように� �選択ブロックB(ih,iv)における第1のレンズ撮� �信号I1と第4のレンズ撮像信号I4の視差評価値 R14(kx)を求める。すなわち、第1のレンズ撮像� ��号I1を基準として、視差評価値R14(kx)を演算� ��る。そして、最小値を与えるずらし量、す� ��わち視差δを、下記式(158)のように、選択ブ ロックB(ih,iv)における第1のレンズ撮像信号I1� ��第4のレンズ撮像信号I4との視差値δ14(ih,iv)� �し、下記式(159)のように、視差評価値R14(δ)� �選択ブロックB(ih,iv)における第1のレンズ撮� �信号I1と第4のレンズ撮像信号I4との信頼度C14 (ih,iv)とする。なお、式(157)において座標(x+kx, y+kx*Dy/Dx)が小数となるとき、レンズ撮像信号I 4は周辺画素から線形補間などにより求める� �なお、図2のように、Dx、およびDyは、第1の� �ンズ部113aと第4のレンズ部113dにおけるx方向� ��レンズ部の間隔、およびy方向のレンズ部の 間隔である。

 R14(ky) = σσ|I1(x,y)-I4(x+kx,y+kx*Dy/Dx)| ・・・  (157)
 δ14(ih,iv) = δ ・・・ (158)
 C14(ih,iv) = R14(δ) ・・・ (159)
 そして、上記3つの視差信頼度を比較し最も 信頼できる視差値をこのブロックにおける視 差値とする。すなわち、下記式(60)のように� �3つの視差信頼度C12(ih,iv)、C13(ih,iv)、C14(ih,iv)� ��比較し、C12(ih,iv)が最も小さいときδ12(ih,iv)� ��ブロックB(ih,iv)における視差値δ(ih,iv)とし� �C13(ih,iv)が最も小さいときδ13(ih,iv)をブロッ� �B(ih,iv)における視差値δ(ih,iv)とし、C14(ih,iv)� �最も小さいときδ14(ih,iv)をブロックB(ih,iv)に� ��ける視差値δ(ih,iv)とする。なお、信頼度(C12 、C13、C14)として絶対値差分総和(式(53)、(56)� �(59))を用いたが正規化相関係数を用いてもよ い。この場合、最も大きい信頼度を与える視 差値を選択する。ここで、視差値をx方向に� �一するため、δ13(ih,iv)を採用するとき、レン ズ部の間隔の比であるDx/Dyを乗ずる。次に、� ��テップS1360を実行する。

 δ(ih,iv) = δ12(ih,iv)        (C12(ih,iv)が最 も小さいとき) ・・・ (160)
          = δ13(ih,iv)*Dx/Dy (C13(ih,iv)が最� ��小さいとき)
          = δ14(ih,iv)        (C14(ih,iv )が最も小さいとき)
 ステップS1360において、視差から距離を演� �する。式(7)を距離Aについて解くと式(8)のよ� ��に表されるため、ブロックB(ih,iv)に含まれ� �領域の距離DIS(x,y)は、下記式(161)にように示� ��れる。ここで、fは焦点距離、Dxはx方向の光 軸間距離、pは撮像素子123の受光素子の間隔� �ある。視差値δが画素単位であるため、視差 値δにpを乗ずることにより、焦点距離fなど� �同一の単位系に変換する。次に、ステップS1 370を実行する。

 DIS(x,y) = {f*Dx}/{p*δ(ih,iv)} ((x,y)はB(ih,iv)の範 囲) ・・・ (161)
 ステップS1370において、距離演算を終了す� �かどうかを判断する。全てのブロックが選� �されたとき(選択ブロックがB(Nh-1,Nv-1)のとき) 、距離演算を終了すると判断し、次に、ステ ップS1380を実行する。一方、全てのブロック� ��選択されたされていないとき(選択ブロック がB(Nh-1,Nv-1)でないとき)、距離演算を継続す� �と判断し、次に、ステップS1340を実行する。

 ステップS1380において、距離演算を終了� �、上位ルーチンへ戻る。このようにして、� �出し後の座標(x,y)における距離DIS(x,y)が求め� ��れた。次に、ステップS1910(図30)を実行する� ��

 ステップS1910において、入出力部235は、� �像データ、距離データ、および温度データ� �撮像装置101の外部に出力する。画像データ� �して、撮像信号I0、あるいは第1の撮像信号I1 を出力する。距離データとして、距離DISを出 力する。温度データとして、温度センサ信号 Tsを出力する。次に、ステップS1920を実行す� �。

 ステップS1920において、動作を終了する� �どうかを判断する。例えば、システム制御� �131は、入出力部235を介し、上位CPU(図示せず) と通信し、動作を終了するかどうかの命令を 要求する。そして、上位CPUが終了を命令すれ ば動作を終了し、次に、ステップS1930を実行� ��る。一方、上位CPUが終了を命令しなければ� ��作を継続し、次に、ステップS1020を実行す� �。すなわち、上位CPUが終了を命令しない限� �、ステップS1020、ステップS1030、ステップS111 0、ステップS1120、ステップS1200、およびステ� ��プS1910のループの実行を継続する。

 ステップS1930において、撮像装置101の動� �を終了する。

 本実施の形態の撮像装置が以上のように� ��成されて動作することにより、以下の効果� ��奏される。

 以上のとおり、実施の形態3の撮像装置は 、温度センサ126によりレンズアレイ113の周囲 温度を計測し、温度センサ信号Tsとして入力� ��る。そして、レンズアレイ113が略円形であ� ��ために等方的に膨張することを利用し、式( 112)及び(113)によって、レンズアレイ113の温度 上昇に伴う光軸間の間隔のx方向の変化量dbx� �y方向の変化量dbyを求め、その間隔の半分だ� ��光軸が変化するものとして、式(114)から(121) によって、第1のレンズ部113aの光軸中心(xc1,yc 1)、第2のレンズ部113bの光軸中心(xc2,yc2)、第3� ��レンズ部113cの光軸中心(xc3,yc3)、および第4� �レンズ部113dの光軸中心(xc4,yc4)を作成し、こ� ��らに基づき座標変換する。このことにより� ��実施の形態1と同様の効果を奏する。

 また、実施の形態3の撮像装置は、例えば 、第1のレンズ部113aの光軸中心x座標xc1ならば 、温度センサ信号Tsに応じた複数組の補正係� ��(センサ温度信号Tsが0、256、512、768、1024、� �・・、3840、4096のときの値であるxc1_0、xc1_256 、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1 _4096)を係数保存部241に保存し、温度センサ信 号Tsに関して式(111)のように補間処理を行い� �当該温度センサ信号Tsに応じた補正係数を作 成する。同様に、第1のレンズ部113aの光軸中� ��y座標yc1、第2のレンズ部113bの光軸中心(xc2,yc 2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4� ��レンズ部113dの光軸中心(xc4,yc4)、歪曲係数k2, k4、倍率(rx,ry)、焦点距離f、および各レンズ� �のx方向の光軸間距離Dxは、それぞれ係数保� �部241に各温度での値を持ち、温度センサ信� �Tsを用いて補間演算を行い、当該温度センサ 信号Tsに応じたものが作成される。

 このことより、補正式から補正係数を演� ��すること(例えば、式(112)から(121)のような� �算をすること)が不要になるため、その分だ� ��演算時間や演算回路が不要となり、低コス� ��な撮像装置を実現することができる。また� ��温度に応じて複雑な非線形な変化をする補� ��係数について、光学解析や実験で求めた値� ��保存し用いることにより、補正式で表現さ� ��る変化と実際の変化との誤差を防止し、正� ��く歪みの影響を低減できるため、視差の検� ��及び距離測定を高精度に行うことができる� ��

 また、実施の形態3の撮像装置は、予め各 温度センサ信号Tsに応じた補正係数を保存す� ��にあたり、全ての温度センサ信号Ts(0から409 5までのデジタル値を取る)に対応した補正係� ��を保存せずに256おきに間引いた補正係数を� ��存し、温度に対して補間した補正係数を作� ��する。例えば、第1のレンズ部113aの光軸中� �x座標xc1ならば、温度センサ信号Tsに対し256� �きに間引いた補正係数(センサ温度信号Tsが0� ��256、512、768、1024、・・・、3840、4096のとき� ��値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024 、・・・、xc1_3040、xc1_4096)を保存し、温度セ� ��サ信号Tsに関して補間して用いる。このこ� �により、間引いた分だけ記憶領域を1/256倍に 省略することができるため、その分だけ回路 規模を縮小した低コストな撮像装置を実現す ることができる。

 また、実施の形態3の撮像装置は、撮像信 号補正部243において、第1のレンズ部113aの光� ��中心(xc1,yc1)、第2のレンズ部113bの光軸中心(x c2,yc2)、第3のレンズ部113cの光軸中心(xc3,yc3)、 第4のレンズ部113dの光軸中心(xc4,yc4)、歪曲係� ��k2,k4、および倍率(rx,ry)に基づき、式(126)、(1 27)、(128)を用いて第1の撮像信号用の参照先座 標(tx1,ty1)を、式(131)、(132)、(133)を用いて第2� �撮像信号用の参照先座標(tx2,ty2)を、式(135)、 (136)、(137)を用いて第3の撮像信号用の参照先� ��標(tx3,ty3)を、式(139)、(140)、(141)を用いて第4 の撮像信号用の参照先座標(tx4,ty4)を求める。 そして、参照先座標が示す複数の撮像信号を 参照して式(129)、(130)、(134)、(138)、(142)のよ� �に補間処理を施し、補正後撮像信号である� �1の撮像信号I1、第2の撮像信号I2、第3の撮像� ��号I3、および第4の撮像信号I4を作成する。

 予め参照先座標を演算し保持する場合、� ��正後撮像信号(第1の撮像信号I1、第2の撮像� �号I2、第3の撮像信号I3、および第4の撮像信� �I4)の全ての画素(全て合わせて画素数が4*H1*V1 )に関し参照先座標(第1の撮像信号用の参照先 座標(tx1,ty1)、第2の撮像信号用の参照先座標(t x2,ty2)、第3の撮像信号用の参照先座標(tx3,ty3)� ��および第4の撮像信号用の参照先座標(tx4,ty4) )が必要となるため、膨大な記憶容量が必要� �なり、その分だけ高コストとなる。特に、� �度により参照先座標を変化させる必要があ� �場合、温度毎の参照先座標が必要であり、� �らに膨大な記憶容量が必要となる。本実施� �形態の構成により、逐次、補正係数(第1のレ ンズ部113aの光軸中心(xc1,yc1)、第2のレンズ部1 13bの光軸中心(xc2,yc2)、第3のレンズ部113cの光� ��中心(xc3,yc3)、第4のレンズ部113dの光軸中心(x c4,yc4)、歪曲係数k2,k4、および倍率(rx,ry))から� ��照先座標(第1の撮像信号用の参照先座標(tx1, ty1)、第2の撮像信号用の参照先座標(tx2,ty2)、� ��3の撮像信号用の参照先座標(tx3,ty3)、および 第4の撮像信号用の参照先座標(tx4,ty4))を求め� ��補正後撮像信号(第1の撮像信号I1、第2の撮� �信号I2、第3の撮像信号I3、および第4の撮像� �号I4)を作成する。このことにより、補正係� �のみに記憶領域を割り当てればよく、大き� �容量の記憶領域は不要であるため、低コス� �な撮像装置を実現する。特に、温度に基づ� �て参照先座標を変化させる必要がある場合� �その効果は顕著である。

 また、実施の形態3の撮像装置は、温度補 償演算部242において温度センサ信号Tsに基づ� ��焦点距離fを作成し、距離演算部244の式(161)� ��おいて距離演算に利用する。温度変化に伴� ��レンズアレイ113の屈折率変化が変化し、焦� ��距離fが変化するため、一定の焦点距離fを� �いると焦点距離fの温度変化分だけ距離精度� ��悪化する。本発明の構成により、レンズア� ��イ113の温度変化に対応した焦点距離fを距離 演算に用いることができるため、高精度な距 離演算を実現することができる。

 また、実施の形態3の撮像装置は、温度補 償演算部242において温度センサ信号Tsに基づ� ��倍率(rx,ry)を作成し、撮像信号補正部243にお いて倍率(rx,ry)などに基づき撮像信号I0を補正 し、補正後撮像信号(第1の撮像信号I1、第2の� ��像信号I2、第3の撮像信号I3、および第4の撮� ��信号I4)を作成する。温度変化に伴い鏡筒111� ��長さ(レンズアレイ113の各レンズ部(第1のレ� ��ズ部113a、第2のレンズ部113b、第3のレンズ部 113c、および第4のレンズ部113d)の主点と撮像� �子123の受光面との距離)が変化し、その分だ� ��倍率が変化するため、倍率変化を考慮しな� ��れば鏡筒の長さが温度変化する分だけ距離� ��度が悪化する。本実施の形態の構成により� ��鏡筒111の長さの温度変化に対応した倍率(rx, ry)だけ撮像信号を補正することにより、鏡筒 の長さの温度変化の影響を低減することがで きるため、高精度な視差演算を実現し、それ ゆえ高精度な距離演算を実現することができ る。

 なお、実施の形態3の撮像装置において、 温度センサ信号Tsに基づき焦点距離fを変化さ せたが、焦点距離fを一定に保ち、倍率(rx,ry)� ��変化させてもよい。fの変化に比例して倍率 が変化するため、基準温度Th0のときの焦点距 離に対する比を焦点距離に関する倍率の変化 の比とする。具体的には、fを温度がT(Ts)のと きの焦点距離、f0を基準温度Th0のときの焦点� ��離とし、焦点距離の変化の比(f/f0)を式(123)� �(124)の右辺に乗じ、下記式(162)、(163)のよう� �倍率(rx,ry)を演算する。

 rx = {1+kk*(T(Ts)-Tk0)}*(f/f0) ・・・(162)
 ry = {1+kk*(T(Ts)-Tk0)}*(f/f0) ・・・(163)
 また、実施の形態3の撮像装置において、レ ンズアレイ113は4つのレンズ部を持ったがこ� �に限定されない。レンズ部の数が異なって� �てもよい。

 図37は、実施の形態3の変形例に係る撮像� ��置のレンズアレイの構成を示す平面図であ� ��。図37(a)に示すレンズアレイ113Cのように、x 方向にDxだけ離れた2つのレンズ部(第1のレン� ��部113Ca、および第2のレンズ部113Cb)を持つも� ��でもよい。なお、係数保存部241にぞれぞれ� ��レンズ部の光軸中心を以下のように決定し� ��存する。式(112)、(113)のように、温度上昇に 伴う光軸間の間隔のx方向の変化量dbx、y方向� ��変化量dbyを演算し、その半分(x方向にp*dbx/2� ��y方向にp*dby/2)だけ光軸中心が移動するとし� ��作成する。具体的には、下記式(164)、(165)の ように、第1のレンズ部113Caの光軸中心(xc1,yc1) は、基準温度Th0における光軸中心(xc10,yc10)か� ��x方向に-dbx/2だけ移動するように作成する。 また、下記式(166)、(167)のように、第2のレン� ��部113Cbの光軸中心(xc2,yc2)は、基準温度Th0に� �ける光軸中心(xc20,yc20)からx方向に+dbx/2だけ� �動するように作成する。

 xc1 = xc10 - dbx/2 ・・・(164) 
 yc1 = yc10         ・・・(165)
 xc2 = xc20 + dbx/2 ・・・(166) 
 yc2 = yc20         ・・・(167)
 また、図37(b)に示すレンズアレイ113Dのよう� ��、最外周部のレンズ部同士がx方向にDxだけ� ��y方向にDyだけ離れた9つのレンズ部(第1のレ� ��ズ部113Da、第2のレンズ部113Db、第3のレンズ� ��113Dc、第4のレンズ部113Dd、第5のレンズ部113D e、第6のレンズ部113Df、第7のレンズ部113Dg、� �8のレンズ部113Dh、および第9のレンズ部113Di� �x方向、y方向に関してそれぞれ等間隔に配置 されたもの)を持つものでもよい。なお、係� �保存部241にぞれぞれのレンズ部の光軸中心� �以下のように決定し保存する。

 式(112)、(113)のように、温度上昇に伴う光 軸間の間隔のx方向の変化量dbx、y方向の変化� ��dbyを演算し、その半分(x方向にp*dbx/2、y方向 にp*dby/2)だけ光軸中心が移動するとして作成� ��る。具体的には、下記式(168)、(169)のように 、第1のレンズ部113Daの光軸中心(xc1,yc1)は、基 準温度Th0における光軸中心(xc10,yc10)からx方向 に-dbx/2、y方向に-dby/2だけ移動するように作� �する。また、下記式(170)、(171)のように、第2 のレンズ部113Dbの光軸中心(xc2,yc2)は、基準温� ��Th0における光軸中心(xc20,yc20)からy方向に-dby /2だけ移動するように作成する。また、下記� ��(172)、(173)のように、第3のレンズ部113Dcの光 軸中心(xc3,yc3)は、基準温度Th0における光軸中 心(xc30,yc30)からx方向に+dbx/2、y方向に-dby/2だ� �移動するように作成する。また、下記式(174) 、(175)のように、第4のレンズ部113Ddの光軸中� ��(xc4,yc4)は、基準温度Th0における光軸中心(xc4 0,yc40)からx方向に-dbx/2だけ移動するように作� ��する。また、下記式(176)、(177)のように、第 5のレンズ部113Deの光軸中心(xc5,yc5)は、基準温 度Th0における光軸中心(xc10,yc10)から移動しな� ��ように作成する。また、下記式(178)、(179)の ように、第6のレンズ部113Dfの光軸中心(xc6,yc6) は、基準温度Th0における光軸中心(xc60,yc60)か� ��x方向に+dbx/2だけ移動するように作成する。 また、下記式(180)、(181)のように、第7のレン� ��部113Dgの光軸中心(xc7,yc7)は、基準温度Th0に� �ける光軸中心(xc70,yc70)からx方向に-dbx/2、y方� ��に+dby/2だけ移動するように作成する。また� ��下記式(182)、(183)のように、第8のレンズ部11 3Dhの光軸中心(xc8,yc8)は、基準温度Th0における 光軸中心(xc80,yc80)からy方向に+dby/2だけ移動す るように作成する。また、下記式(84)、(85)の� ��うに、第9のレンズ部113Diの光軸中心(xc9,yc9)� ��、基準温度Th0における光軸中心(xc90,yc90)か� �x方向に+dbx/2、y方向に+dby/2だけ移動するよう に作成する。

 xc1 = xc10 - dbx/2 ・・・(168) 
 yc1 = yc10 - dby/2 ・・・(169)
 xc2 = xc20         ・・・(170) 
 yc2 = yc20 - dby/2 ・・・(171)
 xc3 = xc30 + dbx/2 ・・・(172) 
 yc3 = yc30 - dby/2 ・・・(173)
 xc4 = xc40 - dbx/2 ・・・(174) 
 yc4 = yc40         ・・・(175)
 xc5 = xc50         ・・・(176) 
 yc5 = yc50         ・・・(177)
 xc6 = xc60 + dbx/2 ・・・(178) 
 yc6 = yc60         ・・・(179)
 xc7 = xc70 - dbx/2 ・・・(180) 
 yc7 = yc70 + dby/2 ・・・(181)
 xc8 = xc80         ・・・(182) 
 yc8 = yc80 + dby/2 ・・・(183)
 xc9 = xc90 + dbx/2 ・・・(184) 
 yc9 = yc90 + dby/2 ・・・(185)
 また、実施の形態3の撮像装置は、歪曲係数 kd2,kd4、倍率(rx,ry)、第1のレンズ部113aの光軸� �心(xc1,yc1)、第2のレンズ部113bの光軸中心(xc2,y c2)、第3のレンズ部113cの光軸中心(xc3,yc3)、第4 のレンズ部113dの光軸中心(xc4,yc4)、焦点距離f� ��および各レンズ部のx方向の光軸間距離Dxを� ��度補償し、撮像信号を補正したが、これに� ��定されない。例えば、高次歪曲係数や、各� ��ンズ部ごとの倍率や、各レンズ部ごとの回� ��補正などをしてもよい。

 なお、実施の形態1及び2では、温度セン� �により検知された温度に基づいて複数のレ� �ズの光軸の移動量を推定し、その推定した� �軸の移動量に基づいて撮像信号を補正した� �また、実施の形態3では、温度センサにより� ��知された温度に基づいて複数のレンズの光� ��の移動量を含む補正係数を作成し、その補� ��係数に基づいて撮像信号を補正した。しか� ��、本発明における撮像信号の補正はこれら� ��限定されるものではなく、温度センサによ� ��検知された温度に基づいて、温度変化によ� ��複数のレンズの光軸の移動量に応じて撮像� ��号を補正すればよい。

 上記説明から、当業者にとっては、本発� ��の多くの改良や他の実施形態が明らかであ� ��。従って、上記説明は、例示としてのみ解� ��されるべきであり、本発明を実行する最良� ��態様を当業者に教示する目的で提供された� ��のである。本発明の精神を逸脱することな� ��、その構造及び/又は機能の詳細を実質的に 変更できる。