以下、図面に基づいて、本発明の実施形態� ��ついて詳細に説明する。
(第1の実施形態)
 図1に、本発明にかかわる画像処理装置の第 1の実施形態を示す。

 図1に示したデジタルカメラにおいて、画 像の撮影の際に撮影光学系21によって撮像素� ��22上に結像された光は、この撮像素子22によ ってその強度に応じた電気信号に変換され、 更に、アナログ/デジタル(A/D)変換器23によっ� ��デジタルデータに変換されてメモリ24に保� �される。

 図1に示したメモリ24は、バスを介して画� ��処理部25、記録処理部26および撮影制御部28� ��接続されている。上述したようにしてメモ� ��24に格納されたデジタルデータについて、� �像処理部25により、符号化処理を含む画像処 理が行われ、この画像処理結果として得られ た圧縮画像データがバスを介して記録処理部 26に渡されて、記憶媒体27に記録される。ま� �、これらの各部、図示しないオートフォー� �ス制御部およびストロボの光源を駆動する� �トロボ駆動回路の動作は、操作パネル(図示� ��ず)を介して利用者が入力した指示に従って 撮影制御部28によって制御される。

 図1に示した撮像素子22として、図2に示す ようなBayer配列に従って分光フィルタが配置� ��れた2次元CCDイメージセンサが備えられてい る場合には、アナログ・デジタル変換器23に� ��ってBayer画像データが得られ、メモリ24を介 して画像処理部25による処理に供される。な� ��、図2において、R、G、B成分にそれぞれ対応 する分光フィルタの配置は、網掛けの種類を 変えて示されている。

 この画像処理部25において、収差補正部31 は、Bayer画像から上述した2次元イメージセン サを構成する各画素についてR、G、B成分が揃 った画像データを生成するために補間処理部 32によって行われるdeBayer処理に先立って、歪 曲収差を補正する処理とともにこれに伴う変 倍処理を行う。また、補間処理部32によって� ��られた画像データは、符号化処理部33にお� �て圧縮符号化され、記録処理部26に渡される 。

 図1に示した収差補正部31により、例えば� ��歪曲収差を補正する場合には、まず、位置� ��算部35により、歪曲収差の補正を行った後� �補正対象の画素の位置となる位置を示す座� �が求められる。

 このとき、位置計算部35により、2次元CCDイ� ��ージセンサにおける画素の配置に従って表� ��座標系(図2において、座標軸X _CCD 、Y _CCD として示す)における位置を表す座標値(x _CCD 、y _CCD )と歪曲収差が補正された画像における座標(x _o 、y _o )とを、2次元イメージセンサの中心Scを示す� �標値(x _c 、y _c )と像高比rにおける歪曲収差量D(r)および歪曲 補正後の画像のトリミングするための変倍率 D _α とを用いて結ぶ式(1)を成立させる座標(x _o 、y _o )が求められる。

 以下、この座標(x _o 、y _o )で示される位置における画素値を補間処理� �よって求める処理を座標変換を利用して高� �化する手法について説明する。

 図1に示した収差補正部31において、座標� ��換部34は、位置計算部35による計算による計 算結果について、Bayer画像を構成するR画素、 G画素およびB画素それぞれの位置を上述した2 次元CCDイメージセンサにおける画素の配置に 従って表す座標系から、それぞれの配置の特 徴に適合する座標系における座標に変換する 処理を行う。

 この座標変換部34は、例えば、図3に示すよ� ��に、R画素について、撮像素子22である2次元 CCDイメージセンサの中心Scに最も近いR画素の 中心位置を原点とし、上述した座標軸X _CCD 、Y _CCD に平行な座標軸X _VR 、Y _VR で示される仮想座標系を考え、このR画素に� �いての仮想座標系において、2次元CCDイメー� ��センサにおけるR画素の配置間隔を単位とし て各R画素の位置を表す座標を算出する。

 同様に、座標変換部34は、B画素について、� ��3に示すように、2次元CCDイメージセンサの� �心Scに最も近いB画素の中心位置を原点とし� �上述した座標軸X _CCD 、Y _CCD に平行な座標軸X _VB 、Y _VB で示される仮想座標系を考え、このB画素に� �いての仮想座標系において、2次元CCDイメー� ��センサにおけるB画素の配置間隔を単位とし て各B画素の位置を表す座標を算出する。

 一方、座標変換部34は、G画素について、図4 に示すように、2次元CCDイメージセンサの中� �Scに最も近いG画素のいずれか一方の中心位� �を原点とし、上述した座標軸X _CCD 、Y _CCD から半時計回りにπ/4だけ回転した座標軸X _VG 、Y _VG で示される仮想座標系を考え、このG画素に� �いての仮想座標系において、2次元CCDイメー� ��センサにおけるG画素の斜め方向での配置間 隔を単位として各G画素の位置を表す座標を� �出する。

 R、G、B画素について、これらの座標変換に� ��って得られる各色成分に対応する仮想座標� ��における座標値(x _i 、y _i )(i=R、G、B)は、座標軸X _CCD 、Y _CCD で示される座標系における位置を表す座標値 (x _CCD 、y _CCD )と、この座標系において2次元イメージセン� ��の中心Scを示す座標値(x _c 、y _c )を用いて、下に示す式(2)、式(3)および式(4)� �ように表される。

 これらの式(2)、式(3)および式(4)で表される� ��標変換のための演算処理は、加算、減算お� ��びビットシフト演算によって実現可能であ� ��ので、極めて高速に処理可能である。

 また、これらの式(2)、式(3)および式(4)に� ��式(1)を代入することにより、位置計算部35� �よって各R画素、各G画素および各B画素につ� �て求められた補正処理後の座標に対応する� �標変換結果を示す式(5)、式(6)および式(7)が� �られる。

 これらの式(5)、式(6)および式(7)によって得� ��れた座標値(x _i 、y _i )(i=R、G、B)について、シフト処理部37により� �適切なビットシフト処理を行うことにより� �各色成分についての仮想座標系において座� �値(x _i 、y _i )で示される位置における画素値を補間処理� �よって求める際に、考慮すべき画素値を与� �る近傍の画素の組み合わせを特定する情報� �、これらの画素に対応する画素値について� �用すべき重みを示す情報とが得られる。

 例えば、座標変換部34による座標軸X _VR 、Y _VR で示される仮想座標系への変換によって得ら れた座標値(x _R 、y _R )に対して、シフト処理部37により、適切なビ ットシフト処理を行うことにより、図5(a)に� �い二点鎖線で示すように、座標値(x _R 、y _R )を囲むR画素からなる最小の格子を特定する� ��準を示す座標(x _RS 、y _RS )(この場合は、格子の左下に当たる原点座標) と、この格子を形成するR画素それぞれの中� �座標から座標値(x _R 、y _R )までの距離比とが得られる。

 同様にして、座標変換部34による座標軸X _VB 、Y _VB で示される仮想座標系への変換によって得ら れた座標値(x _B 、y _B )に対して、シフト処理部37により、適切なビ ットシフト処理を行うことにより、図5(a)に� �い破線で示すように、座標値(x _B 、y _B )を囲むB画素からなる最小の格子を特定する� ��準を示す座標(x _BS 、y _BS )(この場合は、格子の左下に当たる座標)と、 この格子を形成するB画素それぞれの中心座� �から座標値(x _B 、y _B )までの距離比とが得られる。

 同様にして、座標変換部34による座標軸X _VG 、Y _VG で示される仮想座標系への変換によって得ら れた座標値(x _G 、y _G )に対して、シフト処理部37により、適切なビ ットシフト処理を行うことにより、図5(b)に� �い破線で示すように、座標値(x _G 、y _G )を囲むG画素からなる最小の格子を特定する� ��準を示す座標(x _GS 、y _GS )(この場合は、格子の左下に当たる座標)と、 この格子を形成するG画素それぞれの中心座� �から座標値(x _G 、y _G )までの距離比とが得られる。

 このようにして得られた基準を示す座標(x _iS 、y _iS )(i=R、G、B)について、図1に示した逆変換部36� ��より、下に示す式(8)、式(9)および式(10)で表 される逆変換演算を行うことにより、図2あ� �いは図3に示した座標軸X _CCD 、Y _CCD で示される座標系における座標値(x _CCDiS 、y _CCDiS )(i=R、G、B)を得ることができる。

 このようにして逆変換部36によって得られ� �座標値は、注目している色成分の画素から� �る格子の基準位置の画素の2次元CCDイメージ� ��ンサのアドレスに相当している。

 したがって、図1に示した画素値算出部38� ��、この座標値に基づいて、画素値を求める� ��き位置を囲む格子の頂点に対応する4つの画 素の2次元CCDイメージセンサ上でのアドレス� �求め、これらのアドレスに従ってメモリ24か ら読み出した画素値に、シフト処理部37から� ��け取った距離比を適用した補間処理を行う� ��とにより、歪曲収差補正を適用した注目し� ��いる成分の画素値を求めることができる。

 上述したように、図1に示した本発明の実 施形態では、Bayer画像における各色成分の画� ��の配列の特徴を利用した座標変換を適用す� ��ことにより、複雑な場合分けを必要として� ��た計算処理をビットシフト処理のみで実現� ��ることができる。これにより、歪曲収差補� ��のために画素値を求めるべき位置を囲む格� ��の頂点に対応する4つの画素を特定する処理 およびこれらの画素の画素値の寄与分を特定 する処理を格段に高速化することができる。

 特に、G画素に関する歪曲収差補正処理で は、Bayer配列におけるG画素の配列密度の高さ を活用することが可能となる上に、2次元CCD� �メージセンサのアドレスに対応する座標系� �おける位置計算では、特に場合分けが複雑� �あったので、本発明にかかわる座標変換と� �ットシフト処理を組み合わせた処理を適用� �たことによる高速化で得られる利点が非常� �大きい。

 また、歪曲収差は光軸対称に現れること� ��利用して、計算量の更なる削減を図ること� ��できる。

 例えば、G画素については、座標軸X _VG 、Y _VG で示される座標系において、座標値yが数値� �0」以上である範囲(CCDの半分から上の領域)� �の各G画素に個々のG画素に対応して画素値を 求めるべき座標値(x _G 、y _G )がそれぞれ得られれば、注目しているG画素� ��中心対称な位置にあるCCDの下側の領域のG画 素に対応する座標値(x _Gt 、y _Gt )は、座標値(x _G 、y _G )を用いて、式(11)のように表される。

 このようにして、Bayer画像の段階でBayer画像 を構成する各色成分の画素値について歪曲収 差の補正処理を行い、歪曲収差補正後のBayer� ��像について、図1に示した補間処理部32によ� ��deBayer処理を行うことにより、歪曲収差が補 正された画像データが得られる。

 更に、Bayer画像を構成するR画素およびB画素 について、上述した歪曲収差に加えて倍率色 収差を補正することにも可能である。これに より、エッジ付近の擬色を除去して、画質を 更に向上させることができる。
(第2の実施形態)
 図6に、本発明にかかわる画像処理装置の第 2の実施形態を示す。

 なお、図6に示す構成要素のうち、図1に� �した各部と同等のものについては、図1に示� ��た符号を付して示し、その説明を省略する� ��

 図6において、本発明にかかわる画像処理 装置は、パーソナルコンピュータ(PC)41に備え られたCPU43において、収差補正部31および補� �処理部32の機能を実現するソフトウェアによ って実現されている。

 図6に示した画像入力装置40は、例えば、B ayer配列で分光フィルタが配列された2次元CCD� ��メージセンサを備え、取得したBayer画像を� �力する機能を持つデジタルカメラやカラー� �キャナであり、この画像入力装置40から渡さ れたBayer画像は、パーソナルコンピュータ41� �メモリ42に格納される。

 図6に示した収差補正部31は、画像入力装� ��40から渡される歪曲収差および倍率色収差� �関する情報に基づいて、上述した第一の実� �形態において説明したようにして、収差補� �処理を行う。このとき、画素値算出部38によ って算出したBayer画像を構成する各色成分の� ��素値を用いて、メモリ42に格納されたBayer画 像を書き換えることにより、歪曲収差および 倍率色収差が補正されたBayer画像が得られる� ��

 この歪曲収差補正後のBayer画像は、図6に� ��した補間処理部32によってメモリ42から読み 出され、この補間処理部32によるdeBayer処理に よって、画像入力装置40に備えられた2次元CCD イメージセンサの全ての画素についてRGB成分 が揃った画像データが得られる。

 このようにして得られた画像データは、� ��示処理部44および表示部45による表示処理に 供される他、更に、様々な画像処理に供され る。

 このように、本発明にかかわる画像処理� ��置は、デジタルカメラなどに備えられたBaye r画像を出力する機能とパーソナルコンピュ� �タの高い処理能力とを組み合わせることに� �り、例えば、歪曲収差に関するより詳細な� �報を用いて高精度の収差補正を実現するこ� �ができる。