| WO/2020/136037 | METHOD AND PROCESSING DEVICE FOR PROCESSING MEASURED DATA OF AN IMAGE SENSOR |
| JPS6481588 | COLOR IMAGE PICKUP DEVICE |
| JPH0564043 | IMAGE PICKUP DEVICE |
MURATA TSUKASA (JP)
| JP2005286482A | 2005-10-13 | |||
| JP2005011269A | 2005-01-13 | |||
| JP2001036749A | 2001-02-09 |
| 各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第1波長成分の画素値および第2波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、 前記第1波長成分および前記第2波長成分について、倍率色収差の前記像高に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第1収差量補正手段と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および前記第2波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第1収差量補正手段によって第1波長成分および第2波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第1位置算出手段と を備えたことを特徴とする画像処理装置。 |
| 正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の2次元イメージセンサによって得られるBayer画像について像高に依存する収差を補正する処理を行う画像処理装置において、 前記基準波長とは異なる第1波長成分および第2波長成分に対応するフィルタが配置された画素の像高に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第2収差量補正手段と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の歪曲収差量を、第2収差量補正手段によって第1波長成分および第2波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第2位置算出手段と を備えたことを特徴とする画像処理装置。 |
| 矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第1波長成分または第2波長成分に対応するフィルタが配置された構成の2次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、 前記第1波長成分および第2波長成分に対応するフィルタが配置された画素の前記像高に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第2収差量補正手段と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第2収差量補正手段によって第1波長成分および第2波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第2位置算出手段と を備えたことを特徴とする画像処理装置。 |
| 各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第1波長成分の画素値および第2波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理装置において、 前記第1波長成分および第2波長成分について、倍率色収差の前記像高に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第1変倍率補正手段と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の基準波長についての変倍率を、前記第1変倍率補正手段によって第1波長成分および第2波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第3位置算出手段と を備えたことを特徴とする画像処理装置。 |
| 正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の2次元イメージセンサによって得られるBayer画像について像高に依存する収差を補正する処理を行う画像処理装置において、 前記基準波長とは異なる第1波長成分および第2波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第2変倍率補正手段と、 前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第2変倍率補正手段によって第1波長成分および第2波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第4位置算出手段と を備えたことを特徴とする画像処理装置。 |
| 矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第1波長成分または第2波長成分に対応するフィルタが配置された構成の2次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、 前記第1波長成分および第2波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第2変倍率補正手段と、 前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第2変倍率補正手段によって第1波長成分および第2波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第4位置算出手段と を備えたことを特徴とする画像処理装置。 |
| 各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第1波長成分の画素値および第2波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理方法において、 前記第1波長成分および第2波長成分について、倍率色収差の前記像高に対応する補正値を用いて、像高における歪曲収差量をそれぞれ補正する第1収差量補正手順と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第1収差量補正手順によって第1波長成分および第2波長成分について求められた補正後の収差量に置き換えて、倍率色収差による補正を含んだ歪曲収差による結像位置のずれ量を推定する第1位置算出手順と を備えたことを特徴とする画像処理方法。 |
| 正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の2次元イメージセンサによって得られるBayer画像について像高に依存する収差を補正する処理を行う画像処理方法において、 前記基準波長とは異なる第1波長成分および第2波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第2収差量補正手順と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第2収差量補正手順によって第1波長成分および第2波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第2位置算出手順と を備えたことを特徴とする画像処理方法。 |
| 矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第1波長成分または第2波長成分に対応するフィルタが配置された構成の2次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、 前記第1波長成分および第2波長成分に対応するフィルタが配置された画素の像高に関する倍率色収差に対応する補正値を用いて、前記像高における歪曲収差量をそれぞれ補正する第2収差量補正手順と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の歪曲収差量を、前記第2収差量補正手順によって第1波長成分および第2波長成分について求められた補正後の収差量に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第2位置算出手順と を備えたことを特徴とする画像処理方法。 |
| 各画素の色を所定の基準波長成分の画素値とこの基準波長とは異なる第1波長成分の画素値および第2波長成分の画素値とで表す画像データについて像高に依存する収差を補正する処理を行う画像処理方法において、 前記第1波長成分および第2波長成分について、倍率色収差の前記像高に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第1変倍率補正手順と、 前記基準波長の各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分の各画素に対しては、前記基本式の基準波長についての変倍率を、第1変倍率補正手順によって第1波長成分および第2波長成分について求められた補正後の変倍率に置き換えて、倍率色収差の補正を含んだ歪曲収差による結像位置のずれ量を推定する第3位置算出手順と を備えたことを特徴とする画像処理方法。 |
| 正方形の画素が碁盤の目状に配列されており、基準波長成分に対応するフィルタが斜め方向に連続して配列された構成の2次元イメージセンサによって得られるBayer画像について像高に依存する収差を補正する処理を行う画像処理方法において、 前記基準波長とは異なる第1波長成分および第2波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第2変倍率補正手順と、 前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第2変倍率補正手段によって第1波長成分および第2波長成分について求められた補正後の変倍率に置き換えて、倍率色収差による補正を含んだ歪曲収差による結像位置のずれ量を推定する第4位置算出手順と を備えたことを特徴とする画像処理方法。 |
| 矩形の画素が碁盤の目状に配列されており、各画素に基準波長成分あるいはこれとは異なる第1波長成分または第2波長成分に対応するフィルタが配置された構成の2次元イメージセンサによって得られる画像について像高に依存する収差を補正する処理を行う画像処理装置において、 前記第1波長成分および第2波長成分に対応するフィルタが配置された画素の前記像高に関する倍率色収差に対応する補正値を用いて、歪曲収差補正に伴う変倍率をそれぞれ補正する第2変倍率補正手順と、 前記基準波長に対応する各画素に対しては、前記像高における歪曲収差量と位置ずれ量との関係を基準波長についての変倍率を用いて示す基本式を用いて歪曲収差による結像位置のずれ量を推定し、前記第1波長成分および第2波長成分に対応する画素については、前記基本式の基準波長についての変倍率を、前記第2変倍率補正手段によって第1波長成分および第2波長成分について求められた補正後の変倍率に置き換えて、倍率色収差による補正を含んだ歪曲収差による結像位置のずれ量を推定する第4位置算出手順と を備えたことを特徴とする画像処理方法。 |
本発明は、本発明は、デジタルカメラな で撮影した画像について、歪曲収差や倍率 収差などの像高に応じて変化する収差を補 する画像処理装置および画像処理方法に関 る。
デジタルカメラやカラーイメージスキ ナなどに搭載されている2次元イメージセン の受光面には、光の3原色に対応する3色の ラーフィルタがイメージセンサにおける画 の配置に従って配置されており、カラーフ ルタを透過した成分の光の強度を反映する 気信号が各画素において得られる。
一般的な2次元イメージセンサでは、正方 形の画素が碁盤の目状に配置されており、R G、B各成分に対応する分光フィルタがBayer配 に従って配置されている。このBayer配列で 、輝度成分を反映しているG成分に対応する 長の光を透過するフィルタが斜め方向に連 して配置されており、R成分およびB成分に 応する波長の光を透過するフィルタは、行 列ともにそれぞれ一つ飛びで配置されてい 。
上述したようなBayer配列で分光フィルタ が配置されたイメージセンサでは、各画素の 画素値は対応する分光フィルタの透過波長に 対応する成分の強度のみを示しているので、 イメージセンサ上に結像された像の各画素の 位置における色は、周囲の画素値をR、G、B成 分それぞれについて補間することによって求 められている。
このようにして、Bayer配列の分光フィル が配置されたイメージセンサで得られるBayer 画像から各画素の位置における色を示すR、G B成分の揃った画像データを求める補間処理 は、deBayer処理と呼ばれている。
2次元イメージセンサによってBayer画像 得られる場合には、一般に、まず、上述し ようなdeBayer処理を行って各画素についてR、 G、B成分の揃った画像データを得た後に、歪 収差や倍率色収差の補正処理などの様々な 像処理を行う場合が多かった(特許文献1参 )。
一方、倍率色収差は、基準波長に対応するG
成分とR、B成分との各像高における色ずれと
て捉えられるので、倍率色収差を補間処理
のBayer画像の段階で、Bayer画像において分布
している各R画素および各B画素の位置におけ
画素値を線形補間によって求めて補正する
とにより、倍率色収差の補正に要する計算
の削減を図る技術も提案されている。
ところで、特許文献1に記載された技法 ように、deBayer処理後の画像データについて 歪曲収差および倍率色収差の補正処理を行う 場合には、R、G、B成分それぞれについて1画 分の画像データについて、補正処理のため 位置計算処理および補間演算処理を行う必 があり、計算量が膨大である。
収差補正処理にかかわる計算量の削減の めには、歪曲収差および倍率色収差を含む 高に依存する収差を、Bayer画像の段階で一 して補正する手法が有効であると考えられ 。
しかしながら、特許文献1に記載された 法では、各画素の位置に対応する像高にお てG成分について求めた歪曲収差の成分に、 R成分およびB成分についての倍率色収差の成 を加算することによって、注目している位 におけるR成分およびB成分についての補正 を算出しているため、Bayer画像段階での収差 補正処理を行うメリットを十分に生かすこと ができない。なぜなら、特許文献1に記載さ た技法をそのまま適用したのでは、R画素お びB画素についての位置計算においても、こ れらの画素位置におけるG成分についての歪 収差量を求める必要があるからである。
本発明は、2次元イメージセンサを用い 取得された画像データについて、倍率色収 および歪曲収差を含む像高に依存する収差 一括して補正する画像処理装置および画像 理方法を提供することを目的とする。
上述した目的は、以下のように構成され 画像処理装置によって達成される。
各画素の色を所定の基準波長成分の画素 とこの基準波長とは異なる第1波長成分の画 素値および第2波長成分の画素値とで表す画 データについて像高に依存する収差を補正 る処理を行う画像処理装置において、第1収 量補正手段は、第1波長成分および第2波長 分について、倍率色収差の像高に対応する 正値を用いて、像高における歪曲収差量を れぞれ補正する。第1位置算出手段は、基準 長の各画素に対しては、像高における歪曲 差量と位置ずれ量との関係を示す基本式を いて歪曲収差による結像位置のずれ量を推 し、第1波長成分および第2波長成分それぞ の各画素に対しては、基本式の歪曲収差量 、第1収差量補正手段によって第1波長成分お よび第2波長成分について求められた補正後 収差量に置き換えて、倍率色収差の補正を んだ歪曲収差による結像位置のずれ量を推 する。
上述した目的は、以下のように構成され 画像処理装置によって達成される。
正方形の画素が碁盤の目状に配列されて り、基準波長成分に対応するフィルタが斜 方向に連続して配列された構成の2次元イメ ージセンサによって得られるBayer画像につい 像高に依存する収差を補正する処理を行う 像処理装置において、第2収差量補正手段は 、基準波長とは異なる第1波長成分および第2 長成分に対応するフィルタが配置された画 の像高に対応する補正値を用いて、像高に ける歪曲収差量をそれぞれ補正する。第2位 置算出手段は、基準波長の各画素に対しては 、像高における歪曲収差量と位置ずれ量との 関係を示す基本式を用いて歪曲収差による結 像位置のずれ量を推定し、第1波長成分およ 第2波長成分それぞれの各画素に対しては、 本式の歪曲収差量を、第2収差量補正手段に よって第1波長成分および第2波長成分につい 求められた補正後の収差量に置き換えて、 率色収差の補正を含んだ歪曲収差による結 位置のずれ量を推定する。
上述した目的は、以下のように構成され 画像処理装置によって達成される。
各画素の色を所定の基準波長成分の画素 とこの基準波長とは異なる第1波長成分の画 素値および第2波長成分の画素値とで表す画 データについて像高に依存する収差を補正 る処理を行う画像処理装置において、第1変 率補正手段は、第1波長成分および第2波長 分について、倍率色収差の像高に対応する 正値を用いて、歪曲収差補正に伴う変倍率 それぞれ補正する。第3位置算出手段は、基 波長の各画素に対しては、像高における歪 収差量と位置ずれ量との関係を基準波長に いての変倍率を用いて示す基本式を用いて 曲収差による結像位置のずれ量を推定し、 1波長成分および第2波長成分それぞれの各 素に対しては、基本式の基準波長について 変倍率を、第1変倍率補正手段によって第1波 長成分および第2波長成分について求められ 補正後の変倍率に置き換えて、倍率色収差 補正を含んだ歪曲収差による結像位置のず 量を推定する。
上述した目的は、以下のように構成され 画像処理装置によって達成される。
正方形の画素が碁盤の目状に配列されて り、基準波長成分に対応するフィルタが斜 方向に連続して配列された構成の2次元イメ ージセンサによって得られるBayer画像につい 像高に依存する収差を補正する処理を行う 像処理装置において、第2変倍率補正手段は 、基準波長とは異なる第1波長成分および第2 長成分に対応するフィルタが配置された画 の像高に関する倍率色収差に対応する補正 を用いて、歪曲収差補正に伴う変倍率をそ ぞれ補正する。第4位置算出手段は、基準波 長に対応する各画素に対しては、像高におけ る歪曲収差量と位置ずれ量との関係を基準波 長についての変倍率を用いて示す基本式を用 いて歪曲収差による結像位置のずれ量を推定 し、第1波長成分および第2波長成分それぞれ 対応する画素については、基本式の基準波 についての変倍率を、第2変倍率補正手段に よって第1波長成分および第2波長成分につい 求められた補正後の変倍率に置き換えて、 率色収差の補正を含んだ歪曲収差による結 位置のずれ量を推定する。
上述した目的は、以下のように構成され 画像処理方法によって達成される。
各画素の色を所定の基準波長成分の画素 とこの基準波長とは異なる第1波長成分の画 素値および第2波長成分の画素値とで表す画 データについて像高に依存する収差を補正 る処理を行う画像処理方法において、第1収 量補正手順は、第1波長成分および第2波長 分について、倍率色収差の像高に対応する 正値を用いて、像高における歪曲収差量を れぞれ補正する。第1位置算出手順は、基準 長の各画素に対しては、像高における歪曲 差量と位置ずれ量との関係を示す基本式を いて歪曲収差による結像位置のずれ量を推 し、第1波長成分および第2波長成分それぞ の各画素に対しては、基本式の歪曲収差量 、第1収差量補正手順によって第1波長成分お よび第2波長成分について求められた補正後 収差量に置き換えて、倍率色収差による影 を含んだ歪曲収差による結像位置のずれ量 推定する。
上述した目的は、以下のように構成され 画像処理方法によって達成される。
正方形の画素が碁盤の目状に配列されて り、基準波長成分に対応するフィルタが斜 方向に連続して配列された構成の2次元イメ ージセンサによって得られるBayer画像につい 像高に依存する収差を補正する処理を行う 像処理方法において、第2収差量補正手順は 、基準波長とは異なる第1波長成分および第2 長成分に対応するフィルタが配置された画 の像高に関する倍率色収差に対応する補正 を用いて、像高における歪曲収差量をそれ れ補正する。第2位置算出手順は、基準波長 の各画素に対しては、像高における歪曲収差 量と位置ずれ量との関係を示す基本式を用い て歪曲収差による結像位置のずれ量を推定し 、第1波長成分および第2波長成分それぞれの 画素に対しては、基本式の歪曲収差量を、 2収差量補正手順によって第1波長成分およ 第2波長成分について求められた補正後の収 量に置き換えて、倍率色収差の補正を含ん 歪曲収差による結像位置のずれ量を推定す 。
上述した目的は、以下のように構成され 画像処理方法によって達成される。
各画素の色を所定の基準波長成分の画素 とこの基準波長とは異なる第1波長成分の画 素値および第2波長成分の画素値とで表す画 データについて像高に依存する収差を補正 る処理を行う画像処理方法において、第1変 率補正手順は、第1波長成分および第2波長 分について、倍率色収差の像高に対応する 正値を用いて、歪曲収差補正に伴う変倍率 それぞれ補正する。第3位置算出手順は、基 波長の各画素に対しては、像高における歪 収差量と位置ずれ量との関係を基準波長に いての変倍率を用いて示す基本式を用いて 曲収差による結像位置のずれ量を推定し、 1波長成分および第2波長成分それぞれの各 素に対しては、基本式の基準波長について 変倍率を、第1変倍率補正手順によって第1波 長成分および第2波長成分について求められ 補正後の変倍率に置き換えて、倍率色収差 補正を含んだ歪曲収差による結像位置のず 量を推定する。
上述した目的は、以下のように構成され 画像処理方法によって達成される。
正方形の画素が碁盤の目状に配列されて り、基準波長成分に対応するフィルタが斜 方向に連続して配列された構成の2次元イメ ージセンサによって得られるBayer画像につい 像高に依存する収差を補正する処理を行う 像処理方法において、第2変倍率補正手順は 、基準波長とは異なる第1波長成分および第2 長成分に対応するフィルタが配置された画 の像高に関する倍率色収差に対応する補正 を用いて、歪曲収差補正に伴う変倍率をそ ぞれ補正する。第4位置算出手順は、基準波 長に対応する各画素に対しては、像高におけ る歪曲収差量と位置ずれ量との関係を基準波 長についての変倍率を用いて示す基本式を用 いて歪曲収差による結像位置のずれ量を推定 し、第1波長成分および第2波長成分それぞれ 対応する画素については、基本式の基準波 についての変倍率を、第2変倍率補正手段に よって第1波長成分および第2波長成分につい 求められた補正後の変倍率に置き換えて、 率色収差による影響を含んだ歪曲収差によ 結像位置のずれ量を推定する。
以下、図面に基づいて、本発明の実施形 について詳細に説明する。
図1に、本発明にかかわる画像処理装置の 実施形態を示す。
図1に示したデジタルカメラにおいて、画 像の撮影の際に撮影光学系21によって撮像素 22上に結像された光は、この撮像素子22によ ってその強度に応じた電気信号に変換され、 更に、アナログ/デジタル(A/D)変換器23によっ デジタルデータに変換されてメモリ24に保 される。
図1に示したメモリ24は、バスを介して画 処理部25、記録処理部26および撮影制御部28 接続されている。上述したようにしてメモ 24に格納されたデジタルデータについて、 像処理部25により、符号化処理を含む画像処 理が行われ、この画像処理結果として得られ た圧縮画像データがバスを介して記録処理部 26に渡されて、記憶媒体27に記録される。ま 、これらの各部、図示しないオートフォー ス制御部およびストロボの光源を駆動する トロボ駆動回路の動作は、操作パネル(図示 ず)を介して利用者が入力した指示に従って 撮影制御部28によって制御される。
図1に示した撮像素子22として、Bayer配列 に従って分光フィルタが配置された2次元CCD メージセンサが備えられている場合には、 ナログ・デジタル変換器23によって得られた Bayer画像データが、メモリ24を介して画像処 部25による処理に供される。
この画像処理部25において、収差補正部31 は、Bayer画像から上述した2次元イメージセン サを構成する各画素についてR、G、B成分が揃 った画像データを生成するために補間処理部 32によって行われるdeBayer処理に先立って、歪 曲収差および倍率色収差を補正する処理とと もにこれに伴う変倍処理を行う。また、補間 処理部32によって得られた画像データは、符 化処理部33において圧縮符号化され、記録 理部26に渡される。
図1に示した収差補正部31により、例え 、歪曲収差を補正する場合には、まず、位 計算部35により、歪曲収差補正のための座標 位置の計算を行った後に、画素値算出部36で 記座標位置の画素値が求められる。
歪曲収差の補正のための位置計算では、一 に、2次元CCDイメージセンサにおける画素の 配置に従って表す座標系における位置を表す 座標値(x CCD 、y CCD )と歪曲収差が補正された画像における座標(x o 、y o )との関係を、2次元イメージセンサの中心Sc 示す座標値(x c 、y c )と像高比rにおける歪曲収差量D(r)および歪曲 補正後の画像のトリミングするための変倍率 D α とを用いて結ぶ式(1)で表すことで、座標(x o 、y o )が求められる。
ここで、基準波長であるG成分に比べ 波長の長いR成分および逆に波長の短いB成分 の光は、撮像光学系において、G成分の光と わずかに異なる光路を通って結像するため Bayer画像を構成するR画素およびB画素につい は、上述した歪曲収差に加えて、倍率色収 を補正する必要がある。
この倍率色収差は、G画素について適用する 変倍率D α と、R画素およびB画素について歪曲収差を補 するための位置計算において適用すべき変 率との差異として捉えることができる。
したがって、像高比rにおけるR成分および B成分の倍率色収差による変倍率の変動量を すδD R (r)、δD B (r)を用いて、式(1)の変倍率を補正することに より、式(2)、(3)に示すように、R成分およびB 分に関する歪曲収差補正のための位置計算 を得ることができる。
図1に示した位置計算部35は、Bayer画像を構 成するG画素については式(1)を適用し、R画素 よびB画素については、それぞれ式(2)、(3)を 適用して、それぞれの画素位置に関する位置 計算を行う。このとき、位置計算部35は、撮 光学系に関する設計データと撮影制御部28 ら渡される撮影条件(焦点距離、焦点位置、 りなど)とに基づいて、上述した歪曲収差量 D(r)および変倍率の変動量δD R (r)、δD B (r)を、注目画素に関する像高比rについて求 、位置計算処理に適用する。
このようにしてR画素およびB画素について 得られた座標値(x o 、y o )には、倍率色収差による変倍率の変動量を すδD R (r)、δD B (r)が適切に反映されている。
したがって、位置計算部35によって算出さ た座標値(x o 、y o )を図1に示した画素値算出部36に渡し、この 標値(x o 、y o )で示される位置の近傍の対応する成分の画 値を用いた補間処理に供することにより、 目している画素について像高に依存する収 が補正された画素値を高い精度で求めるこ ができる。
この画素値算出部36によって、Bayer画像 構成するR画素、G画素およびB画素それぞれ ついて補正後の画素値を求め、この補正後 画素値を用いてメモリ24に格納されたBayer画 像の対応する画素値を書き換えることにより 、歪曲収差と倍率色収差とが一括して補正さ れたBayer画像を得ることができる。
このようにして歪曲収差および倍率色収 が補正されたBayer画像を補間処理部32による deBayer処理に供することにより、歪曲収差お び倍率色収差が高速に補正された画像デー を得ることができる。
Bayer画像では、R画素、G画素およびB画素 の画素数の総和が2次元イメージセンサの画 数であるので、上述した手法により、Bayer画 像の段階でR、G、B画素について独立に歪曲収 差および倍率色収差を補正することにより、 R、G、B成分が全て揃った画像データについて 収差補正のための計算を行う場合に比べて、 位置計算処理および画素値算出処理の対象と なる画素数を大幅に削減し、計算量の抑制を 図ることができる。
また、一般に倍率色収差による変倍率の変 量を示すδD R (r)、δD B (r)は歪曲収差量D(r)に比べて十分小さいため 上述した式(2)および式(3)は、それぞれ式(4) よび式(5)のように表されるR成分およびB成分 について倍率色収差を含んだ歪曲収差量D R (r)、D B (r)を用いて、式(6)および式(7)のように近似す ることができる。
式(4)および式(5)で示したように、R成分お びB成分について倍率色収差を含んだ歪曲収 差量D R (r)、D B (r)は、G成分についての歪曲収差量D(r)を倍率 収差による変倍率の変動量を示すδD R (r)、δD B (r)をそれぞれ用いて補正した値とみることが できる。
すなわち、倍率色収差による変倍率の変動 を示すδD R (r)、δD B (r)を用いてR成分およびB成分について倍率色 差を含んだ歪曲収差量D R (r)、D B (r)をそれぞれ表し、これらによって基本式で ある式(1)の歪曲収差D(r)を置き換えた式(6)お び式(7)を用いた近似計算を位置計算部35にお いて行うことにより、倍率色収差を含む像高 に依存する収差にかかわる位置計算を行い、 十分な精度の座標値を求めることができる。
なお、図2に示すように、補間処理部32 よるdeBayer処理の完了後に、R、G、B成分が揃 た画像データを位置計算部35および画素値 出部36の処理に供し、それぞれ一画面分のR,G ,B画素値について、歪曲収差および倍率色収 の補正を行うことも可能である。
また、図3に示すように、位置計算部35 よび画素値算出部36において行われる処理の ための画像処理ソフトウェアをパーソナルコ ンピュータ40のCPU41によって実行することに って、収差補正部31を実現することも可能で ある。
図3に示した画像入力装置50は、例えば、B ayer配列で分光フィルタが配列された2次元CCD メージセンサを備え、取得したBayer画像を 力する機能を持つデジタルカメラやカラー キャナであり、この画像入力装置50から渡さ れたBayer画像は、パーソナルコンピュータ40 メモリ42に格納される。
図3に示した収差補正部31は、画像入力 置50から渡される歪曲収差および倍率色収差 に関する情報に基づいて、上述したデジタル カメラに関する実施形態において説明したよ うにして、収差補正処理を行う。このとき、 画素値算出部36によって算出したBayer画像を 成する各色成分の画素値を用いて、メモリ42 に格納されたBayer画像を書き換えることによ 、歪曲収差および倍率色収差が補正されたB ayer画像が得られる。
この歪曲収差補正後のBayer画像は、図3 示した補間処理部32によってメモリ42から読 出され、この補間処理部32によるdeBayer処理 よって、画像入力装置50に備えられた2次元C CDイメージセンサの全ての画素についてRGB成 が揃った画像データが得られる。
このようにして得られた画像データは、 示処理部44および表示部45による表示処理に 供される他、更に、様々な画像処理に供され る。
このように、本発明にかかわる画像処 装置は、デジタルカメラなどに備えられたBa yer画像を出力する機能とパーソナルコンピュ ータの高い処理能力とを組み合わせることに より、例えば、画像入力装置50に備えられた 学系に関する歪曲収差についてより詳細な 報をパーソナルコンピュータ40に保持して き、この詳細な情報を用いて高精度の収差 正を実現することができる。
本発明にかかわる画像処理装置は、デ タルカメラやカラースキャナなどの画像入 装置に組み込むことにより、歪曲収差およ 倍率色収差を含む像高に依存する収差を一 して高精度に補正することができる。
また、本発明にかかわる画像処理装置お び画像処理方法によれば、倍率色収差およ 歪曲収差を含む像高に依存する収差による 像位置のずれ量が1度の処理で計算可能にな り、画像データを構成する各色成分について それぞれ独立に計算することができる。
特に、Bayer画像段階において、倍率色収 と歪曲収差との一括補正を実現することに り、収差補正処理の高速化を図ることもで る。
したがって、デジタルカメラやカラースキ
ナなどの画像入力装置の分野においても、
た、画像入力装置によって取得された画像
ータについて様々な処理を行う画像処理装
分野においても極めて有効である。