OKUTOMI MASATOSHI (JP)
TANAKA MASAYUKI (JP)
RUKKANCHANUNT THAPANAPONG (JP)
TOKYO INST TECH (JP)
WO2017056473A1 | 2017-04-06 | |||
WO2006120759A1 | 2006-11-16 |
JP2016017913A | 2016-02-01 |
〇 2020/175621 22 卩(:171? 2020 /008034 請求の範囲 [請求項 1 ] 2台以上のカメラの各々から、 カメラ校正用夕ーゲッ トが撮影され た画像を取得する画像取得手段と、 前記画像取得手段が取得した画像の各々から、 その画像の特徴点の 座標を検出する特徴点検出手段と、 前記特徴点検出手段が検出した特徴点を用いて前記カメラの各々の 内部パラメタを算出する内部パラメタ推定手段と、 前記特徴点検出手段が検出した前記特徴点の座標の誤差の大きさを 、 前記カメラ毎に算出する誤差量推定手段と、 前記誤差量推定手段が算出した誤差の大きさと、 前記特徴点検出手 段が検出した特徴点の座標と、 前記特徴点の座標の誤差が大きい画像 ほど、 外部パラメタの算出における誤差に対するペナルテイが小さく なるように設定された誤差関数とを用いて、 前記カメラの外部パラメ 夕の値を算出する外部パラメタ推定手段と、 を備えるカメラ校正情報取得装置。 [請求項 2] 前記外部パラメタ推定手段は、 前記 2台以上のカメラの間の関係に おいて、 回転あるいは並進に関する座標変換を指定したカメラの順番 に沿って行った際に、 カメラ姿勢の相対的な位置関係が矛盾ない旨の 制約条件の下で、 外部パラメタを算出する、 請求項 1 に記載のカメラ校正情報取得装置。 [請求項 3] 請求項 1 または請求項 2に記載のカメラ校正情報取得装置と、 前記内部パラメタ推定手段にて算出された内部パラメタと、 前記外 部パラメタ推定手段にて算出された外部パラメタとから、 各カメラで 取得された画像の位置を合わせる画像位置合わせ手段と、 前記画像位置合わせ手段にて位置合わせされた画像を出力する画像 出力手段と、 を備える画像処理装置。 [請求項 4] 前記画像位置合わせ手段は、 複数の画像が重複する重複領域におい 〇 2020/175621 23 卩(:171? 2020 /008034 て、 両者の画像の画素値を用いて画像を再計算する、 請求項 3に記載の画像処理装置。 [請求項 5] 2台以上のカメラの各々から、 カメラ校正用夕ーゲッ トが撮影され た画像を取得する工程と、 取得した画像の各々から、 その画像の特徴点の座標を検出する工程 と、 検出した特徴点を用いて前記カメラの各々の内部パラメタを算出す る工程と、 検出した前記特徴点の座標の誤差の大きさを、 前記カメラ毎に算出 する工程と、 算出した誤差の大きさと、 検出した特徴点の座標と、 前記特徴点の 座標の誤差が大きい画像ほど、 外部パラメタの算出における誤差に対 するペナルティが小さくなるように設定された誤差関数とを用いて、 前記カメラの外部パラメタの値を算出する工程と、 を含むカメラ校正情報取得方法。 [請求項 6] コンピュータに、 2台以上のカメラの各々から、 カメラ校正用夕ーゲッ トが撮影され た画像を取得する工程と、 取得した画像の各々から、 その画像の特徴点の座標を検出する工程 と、 検出した特徴点を用いて前記カメラの各々の内部パラメタを算出す る工程と、 検出した前記特徴点の座標の誤差の大きさを、 前記カメラ毎に算出 する工程と、 算出した誤差の大きさと、 検出した特徴点の座標と、 前記特徴点の 座標の誤差が大きい画像ほど、 外部パラメタの算出における誤差に対 するペナルティが小さくなるように設定された誤差関数とを用いて、 前記カメラの外部パラメタの値を算出する工程と、 \¥0 2020/175621 24 卩(:17 2020 /008034 を実行させるためのプログラムを記憶した記録媒体。 |
発明の名称 :
カメラ校正情報取得装置、 画像処理装置、 カメラ校正情報取得方法および 記録媒体
技術分野
[0001] 本発明は、 カメラ校正情報取得装置、 画像処理装置、 カメラ校正情報取得 方法および記録媒体に関する。
背景技術
[0002] 画像認識において、 単ーモーダル (例:可視画像) のみを用いるよりも別 のモーダル(例:遠赤外画像)の情報を併用 する方が、 より多様なシーンに対 応でき精度が向上することが知られている。 別のモーダルの画像は、 多くの 場合別のカメラから得られるので視差が生じ 、 実際の空間上で同じ対象が、 異なるカメラの画像上では位置がずれて見え る。
この問題を解決するために、 非特許文献 1では、 特殊な装置により、 可視 カメラと遠赤外カメラの光軸をそろえること で、 視差が除去されたデータを 用いる。 しかし、 特殊な装置により視差を合わせることは高い コストを要す る。 このような特殊な装置を用いない場合、 異なるカメラの画像上での位置 のずれをカメラ校正 (Camera Calibration) によって修正し画像間の位置合 わせを行う必要がある。
[0003] かかるカメラ校正に関し、 非特許文献 2では、 光軸の異なる可視カメラの 画像と遠赤外カメラの画像とに対してカメラ 校正を行う方法が開示されてい る。
先行技術文献
非特許文献
[0004] 非特許文献 1 : Soonmin Hwang、 外 4名、 ” MuLtispectraL Pedestrian Detect i on:Benchmark Dataset and Baseline N 2015 IEEE Conference on し omputer Vision and Pattern Recognition、 201 5年 \¥02020/175621 2 卩(:17 2020 /008034
非特許文献 2 : Shibata、 外 2名、 ” Accurate Joint Geometric Camera Calibr at i on of Visible and Far-Infrared Cameras’’、 IS&T International Sympos ium on Electronic Imaging 2017、 201 7年
発明の概要
発明が解決しようとする課題
[0005] 非特許文献 2に記載の方法のように、 光軸の異なる複数のカメラの画像を 校正する場合など、 カメラによつて撮影画像から得られる情報の 精度が異な る場合に、 この精度の違いによるカメラ校正の精度の低 下を軽減できること が好ましい。
[0006] 本発明は、 上述の課題を解決することのできるカメラ校 正情報取得装置、 画像処理装置、 カメラ校正情報取得方法および記録媒体を提 供することを目 的としている。
課題を解決するための手段
[0007] 本発明の第 1の態様によれば、 カメラ校正情報取得装置は、 2台以上の力 メラの各々から、 カメラ校正用夕ーゲッ トが撮影された画像を取得する画像 取得手段と、 前記画像取得手段が取得した画像の各々から 、 その画像の特徴 点の座標を検出する特徴点検出手段と、 前記特徴点検出手段が検出した特徴 点を用いて前記カメラの各々の内部パラメタ を算出する内部パラメタ推定手 段と、 前記特徴点検出手段が検出した前記特徴点の 座標の誤差の大きさを、 前記カメラ毎に算出する誤差量推定手段と、 前記誤差量推定手段が算出した 誤差の大きさと、 前記特徴点検出手段が検出した特徴点の座標 と、 前記特徴 点の座標の誤差が大きい画像ほど、 外部パラメタの算出における誤差に対す るペナルティが小さくなるように設定された 誤差関数とを用いて、 前記カメ ラの外部パラメタの値を算出する外部パラメ タ推定手段と、 を備える。
[0008] 本発明の第 2の態様によれば、 カメラ校正情報取得方法は、 2台以上の力 メラの各々から、 カメラ校正用夕ーゲッ トが撮影された画像を取得する工程 と、 取得した画像の各々から、 その画像の特徴点の座標を検出する工程と、 検出した特徴点を用いて前記カメラの各々の 内部パラメタを算出する工程と 〇 2020/175621 3 卩(:171? 2020 /008034
、 検出した前記特徴点の座標の誤差の大きさを 、 前記カメラ毎に算出するエ 程と、 算出した誤差の大きさと、 検出した特徴点の座標と、 前記特徴点の座 標の誤差が大きい画像ほど、 外部パラメタの算出における誤差に対するペ ナ ルティが小さくなるように設定された誤差関 数とを用いて、 前記カメラの外 部パラメタの値を算出する工程と、 を含む。
[0009] 本発明の第 3の態様によれば、 記録媒体は、 コンピュータに、 2台以上の カメラの各々から、 カメラ校正用夕ーゲッ トが撮影された画像を取得するエ 程と、 取得した画像の各々から、 その画像の特徴点の座標を検出する工程と 、 前記特徴点検出部が検出した特徴点を用いて 前記カメラの各々の内部パラ メタを算出する工程と、 検出した前記特徴点の座標の誤差の大きさを 、 前記 カメラ毎に算出する工程と、 算出した誤差の大きさと、 検出した特徴点の座 標と、 前記特徴点の座標の誤差が大きい画像ほど、 外部パラメタの算出にお ける誤差に対するペナルティが小さくなるよ うに設定された誤差関数とを用 いて、 前記カメラの外部パラメタの値を算出する工 程と、 を実行させるため のプログラムを記憶する。 発明の効果
[0010] この発明によれば、 カメラによって撮影画像から得られる情報の 精度が異 なる場合に、 この精度の違いによるカメラ校正の精度の低 下を軽減させるこ とができる。
図面の簡単な説明
[001 1] [図 1]実施形態に係る画像処理システムの装置 成の例を示す概略構成図であ る。
[図 2]実施形態に係る画像処理装置の機能構成 例を示す概略ブロック図であ る。
[図 3]実施形態に係る画像処理装置が、 画像の位置合わせを行って位置合わせ された画像を出力する処理手順の例を示すフ ローチヤートである。
[図 4]実施形態に係るカメラ校正情報取得装置 機能構成の例を示す概略ブロ ック図である。 [図 5]実施形態に係るカメラ校正情報取得装置 構成例を示す図である。
[図 6]実施形態に係るカメラ校正情報取得方法 おける処理手順の例を示す図 である。
[図 7]少なくとも 1つの実施形態に係るコンピュータの構成を す概略ブロッ ク図である。
発明を実施するための形態
[0012] 以下、 本発明の実施形態を説明するが、 以下の実施形態は請求の範囲にか かる発明を限定するものではない。 また、 実施形態の中で説明されている特 徴の組み合わせの全てが発明の解決手段に必 須であるとは限らない。
図 1は、 実施形態に係る画像処理システムの装置構成 の例を示す概略構成 図である。 図 1 に示す構成で、 画像処理システム 1は、 N台のカメラ 2— 1 〜 2— Nと、 画像処理装置 3とを備える。 カメラ 2— 1〜 2— Nを総称して カメラ 2と表記する。
カメラ 2の各々は、 撮影を行い、 撮影で得られた画像を画像データにて画 像処理装置 3へ送信する。 複数のカメラ 2は、 カメラ間で少なくとも一部が 重なり合う画像を撮影する。
[0013] カメラ 2の各々は、 可視光カメラ (可視光を画像化するカメラ) に限定さ れない。 例えば、 赤外線カメラまたはサーモグラフィなど、 空間的な広がり に対応した画像またはセンサ測定値を取得す るいろいろなカメラをカメラ 2 として用いることができる。
画像処理システム 1が備えるカメラの台数は 2台以上であればよい。 すな わち、 Nは、 N ³ 2の整数であればよい。
[0014] 画像処理装置 3は、 複数のカメラ 2が撮影する複数の画像に対してまとめ てカメラ校正を行って画像間の位置合わせを 行い、 これらの画像を重ね合わ せた画像を合成する。
画像処理装置 3は、 例えばパソコン (Persona l Computer : P C ) またはワ —クステーシヨン (Workstat i on) などのコンピュータを用いて構成される。 [0015] 図 2は、 画像処理装置 3の機能構成の例を示す概略ブロック図であ 。 図 2に示す構成で、 画像処理装置 3は、 画像取得部 (画像取得手段) 1 0と、 画像処理部 (画像処理手段) 2 0と、 画像出力部 (画像出力手段) 3 0とを 備える。 画像処理部 2 0は、 特徴点検出部 (特徴点検出手段) 2 0 1 と内部 パラメタ推定部 (内部パラメタ推定手段) 2 0 2と、 外部パラメタ推定部 ( 外部パラメタ推定手段) 2 0 3と、 画像位置合わせ部 (画像位置合わせ手段 ) 2 0 4と、 誤差量推定部 (誤差量推定手段) 2 0 5と、 カメラ位置制約部 (カメラ位置制約手段) 2 0 6とを備える。
画像処理装置の各部について説明する。
[0016] 画像取得部 1 0 :
画像取得部 1 〇は、 2台以上のカメラ 2の各々から、 カメラ校正 (Camera Ca l i brat i on) 用夕ーゲッ トが撮影された画像を、 一枚以上取得する。 画像取 得部 1 0には、 複数のカメラ 2によって得られた複数の画像が入力される 画像取得部 1 〇が取得する画像は、 可視画像に限定されない。 例えば、 カメ ラ 2がサーモグラフィである場合など、 画像取得部 1 0が取得する画像は、 センシングデータが二次元画像として示され たものでもよい。 より具体的に は、 画像取得部 1 〇が取得する画像に、 温度画像 (撮影範囲における温度分 布を示す画像) または深度画像 (撮影範囲における奥行きを示す画像) など が含まれていてもよい。
[0017] そして、 画像取得部 1 0は、 入力された画像或いは測定値を、 画像処理装 置 3が備えるメモリ等に記録する。 なお、 画像取得部 1 0が取得する画像は 、 これに限定されない。 例えば、 深層学習の途中の処理結果を多チャンネル の画像として画像取得部 1 0に入力するようにしてもよい。 或いは、 数値シ ミュレーシヨンなどにより算出したベクトル データ (速度場、 密度場など) を多チャンネルの画像として画像取得部 1 0に入力するようにしてもよい。 以下では、 これら画像取得部 1 0が取得した複数の画像をまとめて校正用画 像と呼ぶ。
[0018] なお、 画像処理装置 3のカメラ校正用のターゲッ ト (撮影対象物) は、 特 定のものに限定されない。 例えば、 画像処理装置 3のカメラ校正用の夕ーゲ ッ トとして、 非特許文献 2に記載の校正用夕ーゲッ トを用いてもよいし、 あ るいは、 より一般的な物体をカメラ校正用夕ーゲッ トとして用いてもよい。
[0019] 特徴点検出部 2 0 1 :
特徴点検出部 2 0 1は、 画像取得部 1 0が取得した複数の画像の各々につ いて、 カメラ校正に使用するための特徴点の座標を 検出する。 特徴点検出部 2 0 1が特徴点の座標を検出する方法は、 特定の方法に限定されず、 公知の いろいろな方法を用いることができる。
[0020] 例えば、 特徴点検出部 2 0 1が、 ハリスのコーナー点検出などの手法を用 いて特徴点の座標を検出するようにしてもよ い。 あるいは、 特徴点検出部 2 0 1が、 S I F T (Sea lelnvar i ant Feature Transform) などの特徴点検出 を用いて、 校正用夕ーゲッ トが撮影されている画像から特徴点の座標を 検出 するようにしてもよい。 すなわち、 一般的な画像のコーナーや輪郭などから 特徴点の座標を検出する方法を用いて、 画像の特徴点の座標を検出すればよ い。
[0021 ] あるいは、 特徴点検出部 2 0 1が、 利用者が手動にて検出した特徴点の座 標を取得するようにしてもよい。 あるいは、 特徴点検出部 2 0 1は、 利用者 が手動にて入力した特徴点の座標と、 ハリスのコーナー点検出などを用いて 自動的に検出した特徴点の座標とを併用して 、 特徴点の座標を検出するよう にしてもよい。 例えば、 特徴点検出部 2 0 1が、 まずは、 ハリスのコーナー 点検出などを用いて、 自動的に特徴点の座標を検出した後、 これを手動で補 正するようにしてもよい。 あるいは、 特徴点検出部 2 0 1が自動的に検出し た特徴点の座標と、 利用者が手動で入力した特徴点の座標との平 均値を、 特 徴点の座標として用いてもよい。
[0022] ここで、 各カメラを添え字 (インデックス) i ( i = 1、 へ N) (
Nはカメラの台数を示す) で区別し、 校正用夕ーゲッ トにおける各コーナー 点を添え字」 ( i = 1、 . P) (Pは、 コーナー点の個数を示す) で 区別し、 各校正用ターゲッ トの姿勢を添え字 k (k = 1、 へ M) (M は、 校正用夕ーゲッ トの姿勢の個数を示す) で区別する。 この場合、 各特徴 〇 2020/175621 7 卩(:171? 2020 /008034
点は、 カメラの添え字し 校正用夕ーゲッ トの各コーナー点の添え字」、 お よび各校正用夕ーゲッ トの姿勢の添え字 1<の三つで区別することができる。 以下では、 各特徴点を X (し 」, 1<) と表し区別する。 特徴点 X ( 」
, 1<) の座標についても、 X ( 」, 1<) と表記する。 ただし、 し 」、
1<は上記のようにインデックスであり、 直接座標値を示すものではない。
[0023] 内部パラメタ推定部 2 0 2 :
内部パラメタ推定部 2 0 2は、 特徴点検出部 2 0 1 にて検出された特徴点 の座標を用いて、 カメラ 2毎に内部パラメタ値を算出 (推定) する。 ここで いう内部パラメタは、 カメラパラメタ (カメラ画像の位置合わせにおけるパ ラメタ) のうち、 レンズ歪および光学中心など、 カメラ 2自らの特性または 状態に起因するパラメタである。 すなわち、 ここでは、 カメラパラメタを、 カメラの配置 (位置および向き) に起因する外部パラメタ (カメラの相対的 な姿勢) と、 カメラの配置によらない内部パラメタ (例えば、 レンズ歪およ び光学中心) とに分類している。
[0024] 例えば、 内部パラメタ推定部 2 0 2が、 あらかじめ、 レンズひずみおよび 光学中心などの内部パラメタをモデルのパラ メタとして含み、 カメラとその カメラの撮影画像における座標との関係 (特に、 内部パラメタ値と撮影画像 における座標との関係) を示すモデル (以下、 カメラモデルと称する) を備 えておく (例えば、 記憶しておく) 。 そして、 内部パラメタ推定部 2 0 2は 、 このカメラモデルから算出される特徴点の座 標と、 特徴点検出部 2 0 1 に て検出された特徴点の座標との差の大きさを 小さくする、 カメラモデルのパ ラメタ (内部パラメタ) を求める。
[0025] さらに例えば、 内部パラメタ推定部 2 0 2は、 カメラモデルから算出され る特徴点の座標と、 特徴点検出部 2 0 1 にて検出された特徴点の座標との誤 差を二乗誤差などで定義し、 この誤差が最小となるように、 最小二乗法など を用いてカメラモデルのパラメタを算出する 。
なお、 以下では、 各カメラを添え字丨 (丨 = 1、 へ 1\!) で区別し、 各カメラの内部パラメタを< | と表記する。 [0026] 画像位置合わせ部 204 :
画像位置合わせ部 204は、 内部パラメタ推定部 202が算出した内部パ ラメタと、 後述する外部パラメタ推定部 203が算出した外部パラメタとに 基づいて、 各カメラ 2で取得された画像の位置を合わせる。 より具体的には 、 画像位置合わせ部 204は、 内部パラメタ推定部 202および外部パラメ 夕推定部 203が算出した、 内部パラメタ (カメラのレンズひずみ、 画像中 心) および外部パラメタ (カメラの相対的な姿勢) を用いて、 解像度の違い や位置ずれがある各画像の位置ずれが補正さ れた画像を生成する。
[0027] なお、 画像境界において、 より滑らかな画像を生成するために、 異なる力 メラで撮影された画像において、 重なり合っている部分については、 画像位 置合わせ部 204が、 画像の位置合わせ処理の後に、 各画素にて両者の画像 値を平均するようにしてもよい。 あるいは、 画像位置合わせ部 204が、 勾 配ベースの方法を用いて位置合わせされた画 像を生成するようにしてもよい 。 この場合の勾配ベースの方法として、 例えば、 以下の非特許文献に記載さ れた方法を用いることができるが、 これに限定されない。
非特許文献: Shibata、 外 2名、 ” Gradient-Domain Image Reconstruction Fr amework with Intensity-Range and Base-Structure Constraints.”、 2016 I EEE Conference on Computer Vision and Pattern Recognition、 201 6年 [0028] 誤差量推定部 205 :
誤差量推定部 205は、 特徴点検出部 201が検出した特徴点と、 画像取 得部 1 0が取得したカメラ画像およびカメラ情報と 基づいて、 特徴点検出 部 201 による特徴点検出の誤差量 (特徴点の座標の誤差量) を、 カメラ 2 毎に算出 (推定) する。 ここでいう誤差量は、 誤差の大きさである。
[0029] 例えば、 誤差量推定部 205が、 カメラの解像度をカメラ情報として用い て、 誤差量を算出するようにしてもよい。 具体的には、 誤差量推定部 205 が、 カメラ 2の解像度が小さいほうが、 誤差量が大きくなるとして、 誤差量 を見積もるようにしてもよい。
例えば一般的に、 可視カメラに比べて遠赤外カメラのほうが、 解像度が大 きい。 このような特性に鑑み、 誤差量推定部 2 0 5が、 可視カメラにて取得 された画像から得られた特徴点の座標のほう が、 遠赤外カメラにて取得され た画像から得られる特徴点の座標に比べて誤 差量が小さくなるように、 カメ ラ 2毎に特徴点の座標の誤差量を見積もるよう してもよい。
[0030] あるいは、 誤差量推定部 2 0 5が、 事前に、 画像取得部 1 0が取得する画 像とは別に、 校正用ターゲッ トを撮影した画像と、 その画像の特徴点の座標 の真値とをあらかじめ取得しておくようにし てもよい。 そして、 誤差量推定 部 2 0 5が、 画像取得部 1 0が取得した画像における特徴点の座標と、 あら かじめ取得した特徴点の座標の真値との差分 から直接的に、 誤差量を算出す るようにしてもよい。
[0031 ] あるいは、 誤差量推定部 2 0 5が、 機械学習などの手法を用いて、 画像の 見え (アピアランス、 Appearance) と真値との関係から誤差量を算出するよ うにしてもよい。
あるいは、 誤差量推定部 2 0 5が、 画像取得部 1 0が取得する画像とは別 に、 校正用夕ーゲッ トを撮影した画像と、 利用者が手動で入力するその画像 の特徴点の座標とをあらかじめ取得しておく ようにしてもよい。 そして、 誤 差量推定部 2 0 5が、 画像取得部 1 0が取得した画像における特徴点の座標 と、 あらかじめ取得した特徴点の座標 (手入力値) との差分から、 誤差量を 算出するようにしてもよい。
[0032] 上述したように、 カメラ 2の各々を添え字 i ( i = 1、 、 N) で区 別し、 校正用夕ーゲッ トにおける各コーナー点を添え字」 ( i = 1、
、 P) で区別し、 各校正用ターゲッ トの姿勢を添え字 k (k = 1、 、 M) で区別する。 この場合、 各特徴点の座標に対応する誤差量は、 カメラの 添え字し 校正用ターゲッ トの各コーナー点の添え字」、 および各校正用夕 —ゲッ トの姿勢の添え字 kの三つで区別することができる。 以下では、 各特 徴点の誤差量を 0 ( i , j , k) と表記する。
[0033] 外部パラメタ推定部 2 0 3 :
外部パラメタ推定部 2 0 3は、 誤差量推定部 2 0 5が算出した誤差量と、 〇 2020/175621 10 卩(:171? 2020 /008034
特徴点検出部 2 0 1が検出した特徴点の座標と、 内部パラメタ推定部 2 0 2 が算出した内部パラメタとに基づいてカメラ 2の各々の外部パラメタを算出 (推定) する。 その際、 外部パラメタ推定部 2 0 3は、 特徴点の座標の誤差 量が大きい画像ほど誤差量のペナルティが小 さくなるように誤差関数を設定 し、 例えば誤差関数の値を最小化する外部パラメ タを求める。
[0034] ここで、 一般的にカメラの姿勢は、 カメラの回転と並進で表すことができ る。
上記のように、 カメラ 2の各々を添え字丨 (丨 = 1、 へ 1\!) で区別 し、 校正用夕ーゲッ トにおける各コーナー点を添え字」 ( 1 = 1 . へ ) で区別し表す。 カメラ 丨 と校正用夕ーゲッ ト」 との間の回転を とし 、 基準となるカメラ (丨 = 1のカメラ) から 丨番目のカメラへの回転を | と すると、 式 (1) のような関係式が成立する。
[0035] [数 1 ]
[0036] また、 カメラ 丨 と校正用夕ーゲッ ト」 との間の並進を丁 とし、 基準とな るカメラ (丨 = 1のカメラ) から 丨番目のカメラへの並進を丁 | とすると、 式 (2) のような関係式が成立する。
[0037] [数 2]
[0038] このとき、 カメラの内部パラメタ、 外部パラメタ、 および各特徴点の座標 の間に、 理想的には (すなわち、 誤差の影響を無視できれば) 式 (3) の関 係式が成立する。
[0039] [数 3]
[0040] ただし、 (し 」, 1<) は、 射影幾何における画像のスケールファクタ 一である。 また、 Xパよ、 3次元の世界座標系での座標値を示す。 〇 2020/175621 1 1 卩(:171? 2020 /008034
このとき、 外部パラメタを算出するための誤差関数は、 誤差量推定部 2 0 5で得られた各特徴点の誤差量 0 (し 」, 1<) を用いて、 式 (4) のよう に表すことができる。
[0041 ] [数 4]
[0042] ただし、 チ () は、 誤差量とペナルティの重みを調整するための 関数であ り、 特徴点の誤差が大きい画像ほど、 外部パラメタ推定部 2 0 3における誤 差量のペナルティが小さくなるように、 誤差関数 (特に、 関数干 (0 ( 」, 1<) ) ) を設定する。 なお、 式 (4) の上付の 「2」 は 2乗を示し、 下 付の 「2」 は !_ 2ノルムを示す。
例えば、 式 (4) の 「干 (0 (し 」, !<) )
(し 」, 1<) _ X (丨, 」, 1<) I 2 2 」 が誤差量のペナルティの例に該 当する。 そして、 特徴点の誤差量 ø (し 」, 1<) が大きいほど、 関数干 ( 0 ( 1 , ] , 1<) ) の値が小さくなるように、 関数干 (0 (し 」, 1<) ) を設定するようにしてもよい。
外部パラメタ推定部 2 0 3は、 式 (4) に示される誤差関数の値巳を最小 化することで、 外部パラメタを算出することができる。
[0043] ここで、 上記のように、 カメラの内部パラメタ、 外部パラメタ、 および各 特徴点の座標の間に、 理想的には式 (3) の関係式が成立する。 一方、 特徴 点の座標に含まれる誤差を無視できない場合 、 および、 内部パラメタの値に 含まれる誤差を無視できない場合のいずれも 、 式 (3) の関係を用いて特徴 点の座標および内部パラメタの値に基づいて 外部パラメタの値を算出すると 、 得られる外部パラメタの値は、 特徴点の座標に含まれる誤差の影響、 およ び、 内部パラメタの値に含まれる誤差の影響を受 ける。
[0044] 式 (4) の場合、 「 , ( 」, 1<) -父 ( 」, 1<) 」 の値を 0に近づけるほど、 外部パラメタの値が、 特徴点の座標に 含まれる誤差の影響、 および、 内部パラメタの値に含まれる誤差の影響を大 〇 2020/175621 12 卩(:171? 2020 /008034
きく受けるようになる。 いわば、 特徴点の座標に含まれる誤差、 および、 内 部パラメタの値に含まれる誤差が、 外部/ ラメタの値に含まれる誤差に伝搬 し、 外部パラメタの値に含まれる誤差が大きくな ることが考えられる。
[0045] そこで、 外部パラメタ推定部 2 0 3は、 上記のように、 特徴点の座標の誤 差量 0 (し 」, 1<) が大きいほど、 誤差量のペナルティが小さくなるよう に演算を行う。 これにより、 特徴点の座標の誤差が大きいことに影響され て 、 外部パラメタの値の精度が悪くなることを低 減させる (外部パラメタの値 の精度を比較的よくする) ことができる。
内部パラメタの値の誤差量が大きい場合も、 それによって特徴点の誤差量 が大きくなると考えられる。 この場合も、 上記ように特徴点の誤差量 0 (丨 , 」, 1<) が大きいほど、 誤差量のペナルティを小さくすることで、 内部パ ラメタの値の誤差が大きいことに影響されて 、 外部パラメタの値の精度が悪 くなることを低減させる (外部パラメタの値の精度を比較的よくする ) こと ができる。
[0046] 例えば、 可視カメラと遠赤外カメラのそれぞれの解像 度が大きく異なる場 合など、 複数のカメラ 2の解像度が大きく異なる場合、 解像度の違いによっ てカメラの光学中心およびレンズ歪など内部 パラメタの算出精度が異なり、 算出精度の悪い内部パラメタの値の影響を受 けて特徴点の座標の算出精度が 悪くなり、 さらには、 外部パラメタの算出精度が悪くなることが考 えられる この場合、 上記のように、 特徴点の誤差が大きい画像ほど、 外部パラメタ 推定部 2 0 3における誤差量のペナルティが小さくなる うにすることで、 算出精度の悪い内部パラメタの値の影響によ り外部パラメタの算出精度が悪 くなることを低減させる(外部パラメタの算 出精度を比較的よくする)ことが できる。
[0047] カメラ位置制約部 2 0 6 :
カメラ位置制約部 2 0 6は、 2台以上のカメラ間の関係において、 回転あ るいは並進に関する座標変換を指定したカメ ラの順番に沿って行った際に、 〇 2020/175621 13 卩(:171? 2020 /008034
カメラ姿勢の相対的な位置関係が矛盾ない ことを制約する。
より具体的には、 以下のような制約を課しながら、 式 (4) で表される誤 差関数を最小化すればよい。 制約の 1つ目は、 式 (5) のように示される。
[0048] [数 5]
11 1 ^ 1 = I . . .(5)
[0049] ただし、 丨 は単位行列を示す。
制約の 2つ目は、 式 (6) のように示される。
[0050] [数 6]
[0051 ] ただし、 0は零行列を示す。
なお、 本発明におけるカメラ位置制約手段は、 これに限定されない。 例え ば、 カメラ位置制約手段は、 式 (5) 或いは式 (6) を用いてカメラ姿勢の 相対的な位置関係が矛盾ないことを制約する だけでなく、 例えば、 式 (1) 及び式 (2) を用いて、 はじめにカメラ姿勢の相対的な位置関係が矛 盾ない ことを制約するようにしてもよい。 より具体的には、 以下の最適化関数を用 いて, カメラ姿勢の相対的な位置関係を制約するよ うにしてもよい。
例えば、 まず式 (7) を用いて、 回転の自由度に関して、 カメラ姿勢の相 対的な位置関係が矛盾ないことを制約する。
[0052] [数 7]
[0053] なお、 ここで、 は利用者によりあらかじめ決定されるパラメ タである。
そして、 式 (8) を用いて並進の自由度に関してカメラ姿勢の 相対的な位 置関係を制約するようにしてもよい。
[0054] [数 8]
[0055] [動作の説明] 〇 2020/175621 14 卩(:171? 2020 /008034
次に、 図 3を用いて、 画像処理装置 3の動作について説明する。 図 3は、 画像処理装置 3が、 画像の位置合わせを行って位置合わせされた 画像を出力する処理手順の例を示すフローチ ヤートである。
図 3の処理で、 まず、 画像取得部 1 0にて画像を取得する (3 0 0 1) 。 次に、 特徴点検出部 2 0 1 にて、 特徴点を検出する (3 0 0 2) 。 内部パ ラメタ推定部 2 0 2にて、 内部パラメタを算出する (3 0 0 3) 。 誤差量推 定部 2 0 5にて、 誤差量を算出する (3 0 0 4) 。 カメラ位置制約部 2 0 6 にて、 カメラ位置の制約条件を算出する (3 0 0 5) 。 画像位置合わせ部 2 0 4にて、 位置合わせされた画像を出力する (3 0 0 6) 。 画像出力部 3 0 にて、 位置合わせされた画像を出力する (3 0 0 7) 。
ステップ 3 0 0 7の後、 画像処理装置 3は、 図 3の処理を終了する。
[0056] [効果の説明]
上記のように、 実施形態に係る画像処理装置 3は、
画像取得部 1 0が一台以上のカメラから、 カメラ校正用夕ーゲッ トが撮影 された画像を一枚以上取得し、
特徴点検出部 2 0 1が画像取得部 1 0にて得られた一枚以上の画像から、 校正に使用する特徴点を検出し、
誤差量推定部 2 0 5が特徴点検出部 2 0 1 にて検出された特徴点と、 画像 取得部 1 〇にて取得したカメラ画像およびカメラ情報 とから、 特徴点検出の 誤差量を、 画像取得部 1 0にて用いたカメラ毎に算出し、
内部パラメタ推定部 2 0 2が、 特徴点検出部 2 0 1 にて検出された特徴点 、 レンズ歪や光学中心などのカメラパラメタを 算出し、
外部パラメタ推定部 2 0 3が誤差量推定部 2 0 5にて算出した誤差量と、 特徴点検出部 2 0 1 にて検出された特徴点と、 内部パラメタ推定部 2 0 2と から、 特徴点の誤差が大きい画像ほど、 外部パラメタ推定部 2 0 3における 誤差量のペナルティが小さくなるように、 誤差関数を設定し、 カメラの姿勢 などの外部パラメタを算出する
という構成になっている。 〇 2020/175621 15 卩(:171? 2020 /008034
以上のような構成を有することで、 カメラの解像度が大きく異なるカメラ の間のカメラ校正 (各カメラの光軸、 レンズひずみ、 カメラ同士の姿勢など ) を高精度かつ頑健に算出することができる。
[0057] なお、 画像処理装置 3 (図 2) の各部のうち、 画像取得部 1 0と、 特徴点 検出部 2 0 1 と内部パラメタ推定部 2 0 2と、 外部パラメタ推定部 2 0 3と 、 画像位置合わせ部 2 0 4と、 誤差量推定部 2 0 5と、 カメラ位置制約部 2 〇 6との組み合わせは、 カメラ校正情報取得装置の例に該当する。
図 4は、 実施形態に係るカメラ校正情報取得装置の機 能構成の例を示す概 略ブロック図である。 図 4に示す構成で、 カメラ校正情報取得装置 4は、 画 像取得部 1 〇と、 画像処理部 2 1 とを備える。 画像処理部 2 1は、 特徴点検 出部 2 0 1 と内部パラメタ推定部 2 0 2と、 外部パラメタ推定部 2 0 3と、 画像位置合わせ部 2 0 4と、 誤差量推定部 2 0 5と、 カメラ位置制約部 2 0 6とを備える。
[0058] 図 4の各部のうち、 図 2の各部に対応して同様の機能を有する部分 は同 -の符号 (1 0、 2 0 1、 2 0 2、 2 0 3、 3 0 5、 2 0 6) を付して説明 を省略する。
カメラ校正情報取得装置 4は、 画像出力部を備えていない点、 および、 画 像処理部 2 1が画像位置合わせ部を備えていない点で、 画像処理装置 3と異 なる。 それ以外の点では、 カメラ校正情報取得装置 4は、 画像処理装置 3の 場合と同様である。
[0059] 図 4に示す構成により、 カメラ校正情報取得装置 4は、 画像処理装置 3の 場合と同様に、 カメラ校正用の情報として内部パラメタの値 および外部パラ メタの値を取得する。
例えば、 カメラ校正情報取得装置 4が、 得られた内部パラメタおよび外部 パラメタを他の装置に送信するようにしても よい。 そして、 内部パラメタ及 び外部/ ラメタを受信した装置が、 得られた内部パラメタおよび外部パラメ 夕を用いて画像位置合わせ部 2 0 4 (図 2) と同様の処理を行うようにして もよい。 〇 2020/175621 16 卩(:171? 2020 /008034
あるいは、 カメラ校正情報取得装置 4が、 得られた内部パラメタおよび外 部パラメタを、 カメラの特性および状態を示す情報として表 示するようにし てもよい。
[0060] 以上のように、 画像取得部 1 0は、 2台以上のカメラ 2の各々から、 カメ ラ校正用夕ーゲッ トが撮影された画像を取得する。 特徴点検出部 2 0 1は、 画像取得部 1 〇が取得した画像の各々から、 その画像の特徴点の座標を検出 する。 内部パラメタ推定部 2 0 2は、 特徴点検出部 2 0 1が検出した特徴点 を用いて前記カメラの各々の内部パラメタを 算出する。 誤差量推定部 2 0 5 は、 特徴点検出部 2 0 1が検出した特徴点の座標の誤差の大きさを カメラ 2毎に算出する。 外部パラメタ推定部 2 0 3は、 誤差量推定部 2 0 5が算出 した誤差の大きさと、 特徴点検出部 2 0 1が検出した特徴点の座標と、 誤差 関数とを用いて、 カメラ 2の外部パラメタの値を算出する。 誤差関数は、 特 徴点の座標の誤差が大きい画像ほど、 外部パラメタの算出における誤差に対 するペナルテイが小さくなるように設定され る。
[0061 ] これにより、 カメラ校正情報取得装置 4によれば、 カメラによって撮影画 像から得られる情報の精度が異なる場合に、 この精度の違いによるカメラ校 正の精度の低下を軽減させることができる。
特に、 カメラ校正情報取得装置 4によれば、 カメラによって特徴点の座標 の算出精度が異なる場合に、 そのことによる (特に、 算出精度の悪い特徴点 の座標による) 外部パラメタの算出精度の低下を軽減させる ことができる。 カメラによって内部パラメタの算出精度が異 なり、 これによって特徴点の座 標の算出精度が異なる場合も同様である。
画像処理装置 3 (図 2) についても同様である。
[0062] また、 外部パラメタ推定部 2 0 3は、 2台以上のカメラの間の関係におい て、 回転あるいは並進に関する座標変換を指定し たカメラの順番に沿って行 った際に、 カメラ姿勢の相対的な位置関係が矛盾ない旨 の制約条件の下で、 外部パラメタを算出する。
これにより、 外部パラメタ推定部 2 0 3は、 カメラ姿勢の位置関係の矛盾 \¥0 2020/175621 17 卩(:17 2020 /008034
が生じないように外部パラメタを算出する ことができる。 カメラ校正情報取 得装置 4によれば、 この点で、 外部パラメタを精度よく算出することができ る。
画像処理装置 3についても同様である。
[0063] また、 画像処理装置 3の画像位置合わせ部 2 0 4は、 複数の画像が重複す る重複領域において、 両者の画像の画素値を用いて画像を再計算す る。 これにより、 画像処理装置 3では、 境界領域がより滑らかに重ね合わせら れた画像を得られる。
[0064] 次に、 図 5および図 6を参照して、 実施形態の構成について説明する。
図 5は、 実施形態に係るカメラ校正情報取得装置の構 成例を示す図である 。 図 5に示すカメラ校正情報取得装置 3 0 0は、 画像取得部 (画像取得手段 ) 3 0 1 と、 特徴点検出部 (特徴点検出手段) 3 0 2と、 内部パラメタ推定 部 (内部パラメタ推定手段) 3 0 3と、 誤差量推定部 (誤差量推定手段) 3 0 4と、 外部パラメタ推定部 (外部パラメタ推定手段) 3 0 5と、 を備える かかる構成にて、 画像取得部 3 0 1は、 2台以上のカメラの各々から、 力 メラ校正用夕ーゲッ トが撮影された画像を取得する。 特徴点検出部 3 0 2は 、 画像取得部 3 0 1が取得した画像の各々から、 その画像の特徴点の座標を 検出する。 内部パラメタ推定部 3 0 3は、 特徴点検出部 3 0 2が検出した特 徴点を用いてカメラの各々の内部パラメタを 算出する。 誤差量推定部 3 0 4 は、 特徴点検出部 3 0 2が検出した特徴点の座標の誤差の大きさを カメラ 毎に算出する。 外部パラメタ推定部 3 0 5は、 誤差量推定部 3 0 4が算出し た誤差の大きさと、 特徴点検出部 3 0 2が検出した特徴点の座標と、 特徴点 の座標の誤差が大きい画像ほど、 外部パラメタの算出における誤差に対する ペナルティが小さくなるように設定された誤 差関数とを用いて、 カメラの外 部パラメタの値を算出する。
[0065] これにより、 カメラ校正情報取得装置 3 0 0によれば、 カメラによって撮 影画像から得られる情報の精度が異なる場合 に、 この精度の違いによるカメ 〇 2020/175621 18 卩(:171? 2020 /008034
ラ校正の精度の低下を軽減させることがで きる。
特に、 カメラ校正情報取得装置 3 0 0によれば、 カメラによって特徴点の 座標の算出精度が異なる場合に、 そのことによる (特に、 算出精度の悪い特 徴点の座標による) 外部パラメタの算出精度の低下を軽減させる ことができ る。 カメラによって内部パラメタの算出精度が異 なり、 これによって特徴点 の座標の算出精度が異なる場合も同様である 。
[0066] 図 6は、 実施形態に係るカメラ校正情報取得方法にお ける処理手順の例を 示す図である。 図 6に示すカメラ校正情報取得方法は、 画像を取得する工程 (3 0 1 1) と、 特徴点の座標を検出する工程 (3 0 1 2) と、 内部パラメ 夕を算出する工程 (3 0 1 3) と、 特徴点の座標の誤差の大きさを算出する 工程 (3 0 1 4) と、 外部パラメタの値を算出する工程 (3 0 1 5) とを含 む。 画像を取得する工程 (3 0 1 1) では、 2台以上のカメラの各々から、 カメラ校正用夕ーゲッ トが撮影された画像を取得する。 特徴点の座標を検出 する工程 (3 0 1 2) では、 ステップ 3 0 1 1で取得した画像の各々から、 その画像の特徴点の座標を検出する。 内部パラメタを算出する工程 (3 0 1
3) では、 ステップ 3 0 1 2で検出した特徴点を用いてカメラの各々の 部 パラメタを算出する。 特徴点の座標の誤差の大きさを算出する工程 (3 0 1
4) では、 ステップ 3 0 1 2で検出した特徴点の座標の誤差の大きさを 力 メラ毎に算出する。 外部パラメタの値を算出する工程 (3 0 1 5) では、 ス テップ3 0 1 4で算出した誤差の大きさと、 ステップ 3 0 1 2で検出した特 徴点の座標と、 特徴点の座標の誤差が大きい画像ほど、 外部パラメタの算出 における誤差に対するペナルティが小さくな るように設定された誤差関数と を用いて、 カメラの外部パラメタの値を算出する。
[0067] このカメラ校正情報取得方法によれば、 カメラによって撮影画像から得ら れる情報の精度が異なる場合に、 この精度の違いによるカメラ校正の精度の 低下を軽減させることができる。
特に、 このカメラ校正情報取得方法によれば、 カメラによって特徴点の座 標の算出精度が異なる場合に、 そのことによる (特に、 算出精度の悪い特徴 〇 2020/175621 19 卩(:171? 2020 /008034
点の座標による) 外部パラメタの算出精度の低下を軽減させる ことができる 。 カメラによって内部パラメタの算出精度が異 なり、 これによって特徴点の 座標の算出精度が異なる場合も同様である。
[0068] 図 7は、 少なくとも 1つの実施形態に係るコンピュータの構成を す概略 ブロック図である。
図 7に示す構成で、 コンビュータ 7 0 0は、 〇 II 7 1 0と、 主記憶装置 7 2 0と、 補助記憶装置 7 3 0と、 インタフェース 7 4 0とを備える。 上記の画像処理装置 3、 カメラ校正情報取得装置 4およびカメラ校正情報 取得装置 3 0 0のうち何れか 1つ以上が、 コンピュータ 7 0 0に実装されて もよい。 その場合、 上述した各処理部の動作は、 プログラムの形式で補助記 憶装置 7 3 0に記憶されている。 0 9 11 7 ] 0は、 プログラムを補助記憶装 置 7 3 0から読み出して主記憶装置 7 2 0に展開し、 当該プログラムに従っ て上記処理を実行する。 また、 0 9 ^ 7 ^ 0は、 プログラムに従って、 上述 した各記憶部に対応する記憶領域を主記憶装 置 7 2 0に確保する。
[0069] 画像処理装置 3、 カメラ校正情報取得装置 4またはカメラ校正情報取得装 置 3 0 0と他の装置との通信は、 インタフェース 7 4 0が通信機能を有し、
〇 II 7 1 0の制御に従って通信を行うことで実行され 。 画像処理装置 3 、 カメラ校正情報取得装置 4またはカメラ校正情報取得装置 3 0 0のユーザ インタフェースは、 インタフェース 7 4 0が表示デバイスを備えてデータ表 示し、 また、 入カデバイスを備えてデータの入力を受け付 けることで実行さ れる。
[0070] 画像処理装置 3がコンピュータ 7 0 0に実装される場合、 画像取得部 1 0
、 画像処理部 2 0、 画像出力部 3 0、 および、 画像処理部 2 0の各部の動作 は、 プログラムの形式で補助記憶装置 7 3 0に記憶されている。 0 9 11 7 ] 0は、 プログラムを補助記憶装置 7 3 0から読み出して主記憶装置 7 2 0に 展開し、 当該プログラムに従って上記処理を実行する 。
[0071 ] カメラ校正情報取得装置 4がコンピュータ 7 0 0に実装される場合、 画像 取得部 1 0、 画像処理部 (画像処理手段) 2 1、 および、 画像処理部 2 1の 各部の動作は、 プログラムの形式で補助記憶装置 730に記憶されている。 C P U 7 1 0は、 プログラムを補助記憶装置 730から読み出して主記憶装 置 720に展開し、 当該プログラムに従って上記処理を実行する 。
[0072] カメラ校正情報取得装置 300がコンピュータ 700に実装される場合、 画像取得部 301、 特徴点検出部 302、 内部パラメタ推定部 303、 誤差 量推定部 304、 および、 外部パラメタ推定部 305の動作は、 プログラム の形式で補助記憶装置 730に記憶されている。 C P U 7 1 0は、 プログラ ムを補助記憶装置 730から読み出して主記憶装置 720に展開し、 当該プ ログラムに従って上記処理を実行する。
[0073] なお、 画像処理システムの各部は、 ハードウェアとソフトウェアとの組み 合わせを用いて実現すればよい。 ハードウェアとソフトウェアとを組み合わ せた形態では、 RAM (random access memory) に画像処理プログラムが展 開され、 該プログラムに基づいて制御部 (C P U (central processing unit ) ) 等のハードウェアを動作させることによって 、 各部を各種部として実現 する。 また、 該プログラムは、 記録媒体に記録されて頒布されても良い。 当 該記録媒体に記録されたプログラムは、 有線、 無線、 又は記録媒体そのもの を介して、 メモリに読込まれ、 制御部等を動作させる。 尚、 記録媒体を例示 すれば、 オプティカルディスクや磁気ディスク、 半導体メモリ装置、 ハード ディスクなどが挙げられる。
[0074] また、 本発明の具体的な構成は前述の実施の形態に 限られるものではなく 、 この発明の要旨を逸脱しない範囲の変更があ ってもこの発明に含まれる。 以上、 実施の形態を参照して本願発明を説明したが 、 本願発明は上記実施 の形態に限定されるものではない。 本願発明の構成や詳細には、 本願発明の スコープ内で当業者が理解し得る様々な変更 をすることができる。
[0075] この出願は、 201 9年2月 28日に出願された日本国特願 201 9-0
36372を基礎とする優先権を主張し、 その開示の全てをここに取り込む
産業上の利用可能性 [0076] 本発明は、 カメラ校正情報取得装置、 画像処理装置、 カメラ校正情報取得 方法および記録媒体に適用してもよい。
符号の説明
[0077] 1 画像処理システム
2 カメラ
3 画像処理装置
4、 300 カメラ校正情報取得装置
1 0、 301 画像取得部
20、 2 1 画像処理部
30 画像出力部
201、 302 特徴点検出部
202、 303 内部パラメタ推定部
203、 305 外部パラメタ推定部
204 画像位置合わせ部
205、 304 誤差量推定部
206 カメラ位置制約部
Next Patent: LASER DEVICE