《実施形態の構成》
 図1は、本実施形態の撮像装置11を示すブロ� ��ク図である。

 図1において、撮像装置11は、撮像部12、� �像処理装置13、および記録部14を備えて概略� ��成される。

 この撮像部12には、撮像素子12aが搭載さ� �る。この撮像素子12aの素子サイズは、一度� �可能なフォトリソ工程の露光サイズを上回� �。そのため、撮像素子12aの製造工程では、� �2に示すように、露光領域Z0~Z3をずらしなが� �、撮像域を4回に分けて分割露光が実施され� ��。ここでの分割露光は、半導体層、カラー� ��ィルタ層、およびマイクロレンズ層の少な� ��とも一つを製造する際の分割露光である。

 さらに、画像処理装置13は、下記の構成を� �える。
(1)画像取得部21…撮像部12から出力される画� �データを取り込む。
(2)領域別記憶部22…撮像素子12aのカラーシェ� ��ディングを、露光領域Z0~Z3の領域別に記憶� �る。
(3)領域別除去部23…画像データからカラーシ� ��ーディングを除去する。
(4)スロープ生成部24…画像データの信号ムラ( 信号段差やスロープ変化など)を修正するた� �のスロープ補正データを生成する。
(5)スロープ修正部25…スロープ補正データを� ��いて、画像データ中の信号ムラを修正する� ��
《画像処理装置13の較正方法》
 撮像素子12aには、製造工程に起因して画像� ��ータに信号ムラが生じる。この信号ムラは� ��個々の撮像素子12aごとにばらつくため、個� ��差を生じる。このような個体差に対応する� ��め、撮像装置11ごとに画像処理装置13を個別 に較正することが好ましい。

 図3は、この画像処理装置13の較正手順を� ��す流れ図である。この較正手順は、較正者( 工場出荷時の調整者、ユーザーなど)によっ� �実施される。なお、制御部を撮像装置11に搭 載し、この制御部が下記の較正手順を実行し てもよい。

 以下、図3に示すステップ番号に沿って、こ の較正手順を説明する。
ステップS1: 撮像部12を用いて予め定められ� �テストチャートを撮影し、テスト用画像デ� �タを得る。なお、テスト用画像データに複� �な画像情報が含まれると、信号ムラの検出� �困難になるため、テスト用画像データの生� �時には、一様な階調の白色(灰色)面を撮影す ることが好ましい。

 撮像部12内では、このテスト用画像データ� �対して、次の処理が施される。
(1)撮像素子12aの読み出しチャンネル間に生じ るゲイン差やラインクロールの補正
(2)撮像素子12aのオプチカルブラック出力(暗� �状態の画素の出力)を用いた、画像の黒レベ� ��補正
(3)欠陥画素補正
(4)ホワイトバランス補正(RGB画素の感度差の� �正も含む)
ステップS2: 撮影レンズの光学特性などに起� ��して、画像データにはレンズシェーディン� ��が生じる。この撮影レンズの光学特性を除� ��ため、テスト用画像データからレンズシェ� ��ディングを除去することが好ましい。

 撮影レンズのレンズシェーディングが予� ��実測済みの場合には、このレンズシェーデ� ��ングの実測データをテスト用画像データか� ��除けばよい。

 一方、撮影レンズのレンズシェーディング� ��未測定の場合には、次の手順によってテス� ��用画像データからレンズシェーディングを� ��くことができる。
(1)テスト用画像データから輝度成分を算出し て、輝度画像を生成する。
(2)輝度画像を、例えば30画素×20画素に縮小し 、縮小画像を生成する。
(3)縮小画像の輝度最大値Ymaxを求める。
(4)縮小画像をレンズシェーディングの近似式 にフィッティングする。通常のレンズシェー ディングは、撮影レンズの光軸中心に対して 点対称を示す近似曲面f(x,y)の式を用いてフィ ッティングすることができる。

 なお、撮影レンズが、屈曲光学系、チル� ��光学系のように特殊なレンズの場合には、� ��り一般的な[1]式を用いてレンズシェーディ� ��グをフィッティングすることができる。

 ただし、(x,y)は画素空間の座標位置である� �
(5)テスト用画像データの画素値Zoを下式に代� ��し、レンズシェーディングを除去した画素� ��Z ₁ を求める。

 ただし、Wはテスト用画像データの横画素数 であり、Hはテスト用画像データの縦画素数� �ある。
ステップS3: レンズシェーディングを除去し� ��テスト用画像データに、必要に応じて色補� ��処理を実施し、画素単位にRGB成分を揃えたR GB画像に変換する。

 このRGB画像を、図2に示す露光領域Z0~Z3に合� ��せて区画し、下記の画素数サイズの領域別� ��像Mi(i=0~3)に分割する。
領域別画像M0:横500画素 ×縦2500画素
領域別画像M1:横1500画素×縦2500画素
領域別画像M2:横1500画素×縦2500画素
領域別画像M3:横500画素 ×縦2500画素
ステップS4: 次に、領域別画像Mi(i=0~3)を、高� ��ノイズの除去と、フィッティング計算量の� ��減とを目的として、下記の画素数サイズに� ��像度変換する。
領域別画像M0の縮小画像:横55画素×縦57画素
領域別画像M1の縮小画像:横63画素×縦57画素
領域別画像M2の縮小画像:横63画素×縦57画素
領域別画像M3の縮小画像:横55画素×縦57画素
 この領域別画像Miの縮小画像からRGB値の最� �値Vmaxをそれぞれ求める。この最大値Vmaxを基 準にして、領域別画像Miの縮小画像の画素値( Ri,Gi,Bi)の逆数を1以上の数値に正規化し、領� �別のシェーディング補正マップSi(i=0~3)を求� �る。
Si(x,y)=[Vmax/Ri(x,y),Vmax/Gi(x,y),Vmax/Bi(x,y)]
 次に、領域別のシェーディング補正マップS i(i=0~3)をRGB成分ごとに、上述の[1]式が示す近� ��曲面にフィッティングし、係数k ₁ ~k ₁₀ を求める。

 この係数k ₁ ~k ₁₀ は、縮小画像の画素数サイズの近似曲面を表 す。そこで、この近似曲面を領域別画像Miの� ��素数サイズに拡大するように、係数k ₁ ~k ₁₀ の値を換算する。
ステップS5: 換算後の係数k ₁ ~k ₁₀ を、領域別記憶部22の内部レジスタに設定す� ��。なお、内部レジスタに設定可能な数値範� ��を超える大きな係数値については、[1]式か� ��その係数項を制限または省いて再度フィッ� ��ィングを行う。このような処理により、全� ��の係数k ₁ ~k ₁₀ を領域別記憶部22の内部レジスタに設定する� ��とができる。
ステップS6: ステップS5で領域別記憶部22に設 定した係数k ₁ ~k ₁₀ を用いて、領域別のシェーディング補正マッ プSi(i=0~3)の近似曲面を求める。

 レンズシェーディングを除去したテスト用� ��像データに対し、領域別の近似曲面が示すR GB成分の補正係数を乗算する。この処理によ� ��、テスト用画像データから領域別のカラー� ��ェーディングを除去することができる。
ステップS7: ステップS6で修正されたテスト� �画像データから、露光領域Z0~Z3の境界D01,D12,D 23に生じる信号段差を検出し、ステッチ補正� ��数を求める(図4参照)。

 例えば、境界D01,D12,D23に沿ってS=2 ^m (ただしmは自然数)おきにサンプリング点を設 定する。このサンプリング点ごとに、縦横r(� ��えばr=20)画素の局所領域を設定する(図5参照 )。この局所領域の境界左側においてR,Gr,Gb,B� �分の左側平均値をそれぞれ求める。同様に� �この局所領域の境界右側においてR,Gr,Gb,B成� �の右側平均値をそれぞれ求める。なお、こ� �でのGr成分は、R画素行に存在するG画素の出� ��成分である。また、Gb画素は、B画素行に存� ��するG画素の出力成分である。

 次に、サンプリング点ごとに信号段差の左� ��比率を計算し、ステッチ補正係数とする。
R成分のステッチ補正係数=(R成分の左側平均� �)/(R成分の右側平均値)
Gr成分のステッチ補正係数=(Gr成分の左側平均 値)/(Gr成分の右側平均値)
Gb成分のステッチ補正係数=(Gb成分の左側平均 値)/(Gb成分の右側平均値)
B成分のステッチ補正係数=(B成分の左側平均� �)/(B成分の右側平均値)
 なお、ここでは境界右側を乗算で補正する� ��とを想定して、左側平均値を分子、右側平� ��値を分母とするステッチ補正係数を求めて� ��る。そのため、図4の境界D23のように、境界 左側を乗算で補正する場合には、右側平均値 を分子、左側平均値を分母として、ステッチ 補正係数を求めることが好ましい。
ステップS8: ステップS7で求めたステッチ補� �係数を、スロープ生成部24の内部レジスタに 設定する。
ステップS9: サンプリング点ごとに、ステッ� ��S7で求めたステッチ補正係数を所定幅Wzで1� �収束させるスロープ変化を生成する。この� �定幅Wzは、信号段差がなだらかに変化して目 立たなくなる程度の幅にすればよい。このス ロープ変化を、境界線方向に補間することに より、スロープ補正データを生成する。

 このスロープ補正データを境界D01,D12,D23の� �側または両側に乗算することにより、テス� �画像データの信号段差をなだらかなスロー� �変化に修正する。
ステップS10: ステップS9で修正されたテスト� ��画像データから、周縁部のスロープ変化を� ��出する。

 例えば、テスト用画像データから、図6に 示すように中央部のRGB成分を抽出し、その平 均値(R0,G0,B0)を算出する。

 次に、テスト用画像データの上辺から中� ��部に向かって、図6に示すように、16画素程� ��の間隔で矩形域を複数設定する。そして、� ��れらの矩形域ごとにRGB成分の平均値[R(i),G(i) ,B(i)]を算出する(例えばi=0,1,2…31)。

 この[R(i),G(i),B(i)]を下式に代入して、上辺に おけるスロープ変化のゲイン比をそれぞれ計 算する。
g _R (i)=R0/R(i)
g _G (i)=G0/G(i)
g _B (i)=B0/B(i)
 次に、最外周のゲイン比g _R (0),g _G (0),g _B (0)を比較し、最も大きなスロープ変化を示す 色成分を決定する。決定された色成分のゲイ ン比g(i)をiが小さい方から順に調べて、|g(i)-1 |≦|g(0)-1|/2を満足するiを探す。このiに基づ� �て、2 ⁿ >(i×16)を満足する最小のnを求め、上辺のス ロープ変化の実効幅W1=2 ⁿ を決定する。なお、2 ⁿ <(i×16)を満足する最大のnを求め、スロープ 変化の実効幅W1=2 ⁿ としてもよい。

 上記と同様の処理を、テスト用画像デー� ��の左辺、下辺、および右辺についても実施� ��、それぞれの実効幅W2,W3,W4を求める。

 このように求めた実効幅W1~W4に従って、テ� �ト用画像データをブロック区分することに� �り、図7に示す白丸および黒丸のサンプリン� ��点を決定する。これらサンプリング点それ� ��れについて、スロープ変化のゲイン比(R0/R,G 0/G,B0/B)を算出する。
ステップS11: ステップS10で求めたサンプリン グ点ごとにゲイン比(g _R ,g _G ,g _B )を、額縁補正係数としてスロープ生成部24の 内部レジスタに設定する。
《画像処理装置13の動作》
 図8は、画像処理装置13による画像データの� ��理を説明する流れ図である。以下、図8に示 すステップ番号に沿って、この処理動作を説 明する。
ステップS21: 画像取得部21は、撮像部12から� �力される画像データを取り込み、内部メモ� �上に格納する。
ステップS22: 領域別記憶部22は、ステップS5� �領域別記憶部22に設定された係数k ₁ ~k ₁₀ を[1]式に代入して、領域別のシェーディング 補正マップSi(i=0~3)の近似曲面を生成する。
ステップS23: 領域別除去部23は、画像データ� ��RGB成分に対して、領域別の近似曲面が示すR GB成分の補正係数を乗算する。この処理によ� ��、画像データに含まれる露光領域Z0~Z3ごと� �領域別カラーシェーディングが削減される� �
ステップS24: ステップS8でスロープ生成部24� �設定されたステッチ補正係数を所定幅Wzで1� �収束させるスロープ変化をサンプリング点(� ��4参照)ごとに生成する。このスロープ変化� �、境界線方向に補間することにより、スロ� �プ補正データを生成する。
ステップS25: スロープ修正部25は、このスロ� ��プ補正データを、画像データの境界D01,D12,D2 3の片側または両側に乗算することにより、� �像データの信号段差をなだらかなスロープ� �化に修正する。
ステップS26: スロープ生成部24は、額縁補正� ��数に基づいて、コーナー領域/垂直辺/水平� �に分けて、画像データの周縁部のスロープ� �化を打ち消すスロープ補正データを生成す� �。
(1)コーナー領域
 図9[A]に示すように、画像データのコーナー 領域(横Wi画素×縦Wj画素)の頂点には、R成分に 関するゲイン比gR0~gR3が設定される。スロー� �生成部24は、これらのゲイン比g _R 0~g _R 3を下式に代入することにより、コーナー領� �のスロープ補正データk _R (x,y)を算出する。

 上式中の(x,y)は、コーナー領域の左上を原� �とする相対座標である。

 上記と同様の処理を、GB成分についても実� �し、コーナー領域のスロープ補正データk _G (x,y),k _B (x,y)を算出する。
(2)水平辺
 図9[B]に示すように、水平辺の部分領域(横S2 画素×縦Wj画素)の頂点には、R成分に関するゲ イン比g _R 0~g _R 3が設定される。スロープ生成部24は、これら のゲイン比g _R 0~g _R 3を下式に代入することにより、水平辺の部� �領域のスロープ補正データk _R (x,y)を算出する。

 上式中の(x,y)は、部分領域の左上を原点と� �る相対座標である。

 上記と同様の処理を、GB成分についても実� �し、水平辺の部分領域のスロープ補正デー� �k _G (x,y),k _B (x,y)を算出する。
(3)垂直辺
 図9[C]に示すように、垂直辺の部分領域(横Wi 画素×縦S1画素)の頂点には、R成分に関するゲ イン比g _R 0~g _R 3が設定される。スロープ生成部24は、これら のゲイン比g _R 0~g _R 3を下式に代入することにより、垂直辺の部� �領域のスロープ補正データk _R (x,y)を算出する。

 上式中の(x,y)は、部分領域の左上を原点と� �る相対座標である。

 上記と同様の処理を、GB成分についても実� �し、垂直辺の部分領域のスロープ補正デー� �k _G (x,y),k _B (x,y)を算出する。
ステップS27: スロープ修正部25は、ステップS 26で求めたスロープ補正データを、画像デー� ��の周縁部のRGB成分に乗算することにより、� ��縁部のスロープ変化を修正する。

 上述した処理を完了した画像データは、記� ��部14によって不図示の記録媒体に記録され� �。
《本実施形態の効果など》
 本実施形態では、撮像素子12aを製造する際� ��分割露光によって生じる信号段差を、なだ� ��かなスロープ変化に修正する。この場合、� ��像データの修正範囲は、スロープ変化の幅� ��限定されるため、修正の影響は広範囲に及� ��ない。

 また、本実施形態では、撮像素子12aの周� ��部に起因するスロープ変化を、スロープ状� ��補正データで打ち消す。この場合も、画像� ��ータの修正範囲は、周縁部に限定される。

 このように、本実施形態では、スロープ� ��の補正データを局所的に組み合わせること� ��よって、2次元的に複雑に発生する信号ムラ を柔軟に修正することが可能になる。

 さらに、本実施形態では、テスト用画像� ��ータに生じるカラーシェーディングを、分� ��露光の領域別に近似する。上述したように� ��分割露光の境界には不連続な信号段差が生� ��る。この不連続な信号段差の付近ではフィ� ��ティングが困難となり、カラーシェーディ� ��グを忠実に近似できない。しかし、本実施� ��態では、このカラーシェーディングを分割� ��光の領域に分けて近似する。そのため、個� ��の露光領域Z0~Z3は不連続箇所を含まず、カ� �ーシェーディングをより忠実に近似できる� �その結果、本実施形態では、画像データに� �畳するカラーシェーディングを一段と正確� �除去することが可能になる。

 また、本実施形態では、テスト用画像デー� ��から先に領域別のカラーシェーディングを� ��去する。そのため、テスト用画像データに� ��存する信号ムラ(信号段差やスロープ変化な ど)をより正確に検出することができる。そ� �結果、この正確な信号ムラに合わせて、画� �処理装置13を一段と正確に較正することが可 能になる。
《実施形態の補足事項》
 なお、上述した実施形態では、画像処理装� ��13を撮像装置11に搭載するケースについて説 明した。しかしながら、本発明はこれに限定 されるものではない。例えば、コンピュータ および画像処理プログラム(図8参照)によって 、本発明の画像処理装置をソフトウェア的に 実現することができる。

 また、上述した実施形態では、露光境界� ��信号段差と、周縁部のスロープ変化とを別� ��に除去している。しかしながら、本発明は� ��れに限定されるものではない。信号段差と� ��ロープ変化は、どちらもスロープ状の補正� ��ータによって修正される。そのため、ステ� ��チ補正係数と額縁補正係数とを統合してス� ��ープ生成部24に設定することにより、両方� �スロープ補正データを区別なく生成するこ� �ができる。具体的には、ステッチ補正係数� �、額縁補正係数と同様にブロックの頂点位� �の係数値によって定義することが好ましい� �

 なお、双方の補正情報のブロックが重複� ��る場合には、線形補間により補正情報を統� ��することが好ましい。例えば、図10に示す� �うに、ステッチ補正係数a1~a4のブロックと、 額縁補正係数b1~b4のブロックが一部重複する� ��ースが生じる。この場合、図10に示す重複� �(これもブロック)の頂点位置の係数値C1~C4を� ��下式により新たに求めることができる。

 このような演算により、ブロックの重複域� ��新たなブロックに変換することにより、よ� ��複雑な信号ムラの補正情報を生成すること� ��可能になる。

 なお、撮影レンズの光学特性と撮像素子1 2aとの相乗作用によって、撮像素子12aに生じ� ��信号ムラが変化する場合がある。この場合� ��撮影レンズの種類ごとに、補正情報(ステッ チ補正係数や額縁補正係数、カラーシェーデ ィング)を求めて画像処理装置13に設定しても よい。このような設定により、撮影レンズの 種類に応じて、適切な補正情報を選択使用す ることができる。

 また、撮影レンズの射出瞳位置や射出瞳� ��などの光学的条件ごとに、補正情報(ステッ チ補正係数や額縁補正係数、カラーシェーデ ィング)を求めて画像処理装置13に設定しても よい。このような設定により、撮影レンズの 光学的条件に応じて、適切な補正情報を選択 使用することができる。

 さらに、シフトレンズやチルトレンズな� ��の撮影レンズの場合には、シフト量やチル� ��量ごとに、補正情報(ステッチ補正係数や額 縁補正係数、カラーシェーディング)を求め� �画像処理装置13に設定してもよい。このよう な設定により、撮影レンズの光学的条件に応 じて、適切な補正情報を選択使用することが できる。