以下、図面に基づいて、本発明の実施形態� ��ついて詳細に説明する。
(第1の実施形態)
[電子カメラの構成説明]
 図1は、本実施形態の電子カメラ10(画像処理 装置25を含む)を示すブロック図である。

 図1において、電子カメラ10には、撮影レ� ��ズ12が装着される。この撮影レンズ12の像空 間には、撮像素子11の撮像面が配置される。� ��の撮像素子11は、高解像度画像を読み出す� �ードと、素子内部で画素間引きや画素加算� �行って低解像度画像を読み出すモードとを� �える。これらの読み出しモードは、撮像制� �部14によって制御される。この撮像素子11で� ��成された画像信号は、信号処理部15、およ� �A/D変換部16を介して処理された後、メモリ17� ��一時蓄積される。

 このメモリ17は、バス18に接続される。こ のバス18には、撮像制御部14、マイクロプロ� �ッサ19、記録部22、画像圧縮部24、モニタ表� �部30、および画像処理装置25なども接続され� ��。上記のマイクロプロセッサ19には、レリ� �ズ釦などの操作部19aが接続される。また、� �記の記録部22には、記憶媒体22aが着脱自在に 装着される。

 [画像処理装置25の説明]
 図2は、画像処理装置25の構成を模式的に示� ��たブロック図である。

 ゲイン補正部31は、メモリ17内の画像に対 してゲイン補正や階調補正を実施する。メモ リ17から読み出される高解像度画像は、縮小� ��像生成部32、特徴量抽出部33、および階調合 成部34bにそれぞれ供給される。縮小画像生成 部32の出力データは、特徴量抽出部35を介し� �、粗検出部36に供給される。特徴量抽出部33� ��出力データは、位相分割部37を介して、精� �検出部38に供給される。また、特徴量抽出部 33からエッジに関する情報がゲイン補正部31� �供給される。

  一方、メモリ17から読み出される複数の 低解像度画像は、特徴量抽出部39および位置� ��わせ部34aにそれぞれ供給される。特徴量抽� ��部39の出力データは、粗検出部36および精密 検出部38にそれぞれ供給される。

 粗検出部36で粗く検出された位置ズレは� �精密検出部38に供給される。精密検出部38で� ��精度に検出された位置ズレは、位置合わせ� ��34aに供給される。位置合わせ部34aは、この� ��置ズレに基づいて低解像度画像の画素位置� ��調整し、階調合成部34bへ出力する。階調合� ��部34bは、ゲイン補正部31からゲイン補正量� �関する情報を取得し、この取得情報に基づ� �て、高解像度画像に複数の低解像度画像を� �成する。

 なお、請求項記載の階調拡大部は、位置� ��わせ部34aおよび階調合成部34bに対応する。

 [動作説明]
 図3および図4は、電子カメラ10の動作を説明 する流れ図である。以下、これらの図に示す ステップ番号に沿って、この動作を説明する 。

 ステップS1: 電子カメラ10の主電源が投入 されると、マイクロプロセッサ19は、撮像制� ��部14にスルー画像の読み出しを指示する。� �像制御部14は、撮像素子11を低解像度の読み� ��しモードで駆動し、図5に示すようにスルー 画像を例えば30フレーム/秒で順次に読み出す 。

 ステップS2: 撮像素子11から読み出された スルー画像は、信号処理部15、およびA/D変換� ��16を介して処理される。スルー画像の内、� �述する露出調整による明暗変化の少ないも� �が、モニタ表示部30に動画表示される。ユー ザーは、このスルー画像の動画表示を見るこ とで、電子カメラ10の撮影構図を決定するこ� ��ができる。

 一方、マイクロプロセッサ19は、測光部(� ��図示)の測光結果やスルー画像の明るさに基 づいて露出計算を実施し、高解像度画像の露 出条件を決定する。

 ステップS3: 撮像制御部14は、スルー画像 の撮影の期間中、撮像素子11を低解像度読み� ��しモードで駆動する。その結果、図5に示す ように、1つまたは複数のスルー画像(低解像� ��画像)が生成される。

 このとき、撮像制御部14は、高解像度画� �とは階調再現域が異なるように、低解像度� �像の露出条件を調整する。例えば、高解像� �画像の露光時間に対して、低解像度画像の� �光時間を-2段,-1段,+1段,+2段に変化させる。こ のように生成される低解像度画像は、メモリ 17に一時記録される。

 なお、低解像度画像の記録枚数が、予め� ��められた上限枚数を超えた場合は、撮像制� ��部14は、古い低解像度画像から順番に消去� �る。この上限枚数は、メモリ17の使用可能な 記憶容量などに応じて定めておくことが好ま しい。

 ステップS4: ここで、マイクロプロセッ� �19は、ユーザーによってレリーズ釦が全押し 操作されたか否かを判断する。

 レリーズ釦が全押し操作された場合、マ� ��クロプロセッサ19は、ステップS5に動作を移 行する。

 一方、レリーズ釦が全押し操作されてい� ��い場合、マイクロプロセッサ19は、ステッ� �S1に動作を戻す。

 ステップS5: ここで、マイクロプロセッ� �19は、ステップS2で決定した高解像度画像の� ��光時間が、ブレの目立たない許容上限以下� ��否かを判定する。例えば、この許容上限は� ��1/(撮影レンズ12の35mm判換算の焦点距離)秒程 度に設定される。

 露光時間設定が許容上限以下の場合、マ� ��クロプロセッサ19はステップS6に動作を移行 する。

 一方、露光時間設定が許容上限を超える� ��合、マイクロプロセッサ19はステップS7に動 作を移行する。

 ステップS6: 撮像制御部14は、設定された 露光時間に従って撮像素子11に対してシャッ� ��制御を行う。続いて、撮像制御部14は、撮� �素子11を高解像度の読み出しモードで駆動し 、高解像度画像を読み出す。この高解像度画 像(静止画像)は、信号処理部15およびA/D変換� �16を介して、メモリ17に一時記録される。

 この動作の後、マイクロプロセッサ19は� �作をステップS9に移行する。

 ステップS7: 一方、露光時間設定がブレ� �許容上限を超えると判断された場合、マイ� �ロプロセッサ19は、露光時間を、ブレの生じ ない許容上限以下に制限する。

 撮像制御部14は、短く制限された露光時� �に従って撮像素子11に対してシャッタ制御を 行う。その状態で、撮像制御部14は、撮像素� ��11を高解像度の読み出しモードで駆動し、� �解像度画像を読み出す。この高解像度画像� �、露光不足のために信号レベルは低いが、� �像ブレの少ない画像である。この高解像度� �像は、メモリ17に一時記録される。

 ステップS8: ゲイン補正部31は、露光不足 の高解像度画像をゲイン補正する。

 ステップS9: ゲイン補正部31は、メモリ17� ��の高解像度画像と低解像度画像がガンマ補� ��済みか否かを判断する。ガンマ補正済みの� ��像に対し、ゲイン補正部31は逆ガンマ補正� �実施する(このとき、画像の階調幅が実質的� ��制限されないよう、階調成分の量子化ビッ� ��数を増やすことが好ましい)。

 この処理により、後述する画像の合成処� ��を、ほぼリニアな階調軸上で行うことが可� ��になる。

 ステップS10: 特徴量抽出部33は、高解像� �画像を取り込み、エッジ抽出フィルタを用� �て、縦エッジ成分gvと横エッジ成分ghを抽出� ��る。

 なお、ここでのエッジ抽出フィルタは、低� ��像度画像の読み出し方式に応じて、下記の� ��うに切り替えることが好ましい。
・低解像度画像が画素加算または画素平均に よって作成される場合
gv(x,y)=[-f(x,y-4)-f(x,y-3)-f(x,y-2)-f(x,y-1)+f(x,y+4)+f(x,y +5)+f(x,y+6)+f(x,y+7)]/4
gh(x,y)=[-f(x-4,y)-f(x-3,y)-f(x-2,y)-f(x-1,y)+f(x+4,y)+f(x+5 ,y)+f(x+6,y)+f(x+7,y)]/4
・低解像度画像が画素間引きによって作成さ れる場合
gv(x,y)=-f(x,y-4)+f(x,y+4)
gh(x,y)=-f(x-4,y)+f(x+4,y)
 なお、ノイズの影響を軽減するため、特徴� ��抽出部33は、所定の微小振幅に収まる縦エ� �ジ成分gvと横エッジ成分ghについては、ゼロ� ��置き換えることが好ましい。
特徴量抽出部33は、このエッジ成分gv,ghに基� �いて、画像中でエッジ成分の多い領域を選� �し、その領域を注目領域に定める。

 ステップS11: 低解像度画像は、高解像度� ��像とは露出条件が異なるため、輝度レベル� ��異なる。そこで、ゲイン補正部31は、メモ� �17内の低解像度画像に対してゲイン補正を実 施し、高解像度画像の輝度レベルに合わせる 。

 例えば、n段の露出補正を行った低解像度画 像については、リニアな輝度レベルを1/(2 ⁿ )倍することで高解像度画像の輝度レベルに� �わせることができる。

 なお、ステップS10で求めた注目領域にお� ��て、高解像度画像と低解像度画像の輝度レ� ��ルが一致するように、低解像度画像をゲイ� ��補正してもよい。

 ステップS12: 縮小画像生成部32は、ゲイ� �調整後の高解像度画像を解像度変換して、� �解像度画像の画素数と合わせる。

 例えば、4×4画素の平均値を抽出すること により、高解像度画像の縦横画素数をそれぞ れ1/4に解像度変換することができる。

 このように低解像度化された画像(以下、 縮小画像という)は、特徴量抽出部35に伝達さ れる。

 ステップS13: 続いて、粗検出部36は、縮� �画像と低解像度画像との間で位置ズレを検� �する。

  図6は、この位置ズレを射影エッジの比� ��によって求める手順を示す図である。以下� ��この図6を用いて、位置ズレを高速検出する 処理を説明する。

 まず、特徴量抽出部35は、下式に示す縦エ� �ジ抽出用のフィルタ(図6[A]参照)を用いて、� �小画像f(x,y)から縦エッジ成分gv″を抽出する 。
gv″(x,y)=-f(x,y-1)+f(x,y+1)
 さらに、特徴量抽出部35は、下式に示す横� �ッジ抽出用のフィルタ(図6[B]参照)を用いて� �縮小画像f(x,y)から横エッジ成分gh″を抽出す る。
gh″(x,y)=-f(x-1,y)+f(x+1,y)
 なお、ノイズの影響を軽減するため、特徴� ��抽出部35は、所定の微小振幅に収まる縦エ� �ジ成分gv″と横エッジ成分gh″については、� ��ロに置き換えることが好ましい。

 次に、特徴量抽出部35は、図6[A]に示すよ� ��に、縦エッジ成分gv″を水平行の単位に累� �加算することにより、縦射影波形を算出す� �。

 さらに、特徴量抽出部35は、図6[B]に示す� ��うに、横エッジ成分gh″を垂直列の単位に� �積加算することにより、横射影波形を算出� �る。

 一方、特徴量抽出部39は、メモリ17から複 数の低解像度画像を取り込む。特徴量抽出部 39は、個々の低解像度画像に対して特徴量抽� ��部35と同一の処理を実施し、縦射影波形お� �び横射影波形をそれぞれ求める。

 ここで、粗検出部36は、図6[A]に示すよう� ��、縮小画像の中央域の縦射影波形と、低解� ��度画像の中央域の縦射影波形とをずらしな� ��ら差分をとり、その差分の絶対値和が最小� ��なる波形ズレを検出する。この波形ズレは� ��縮小画像と低解像度画像との縦方向の位置� ��レに相当する。

 また、粗検出部36は、図6[B]に示すように� ��縮小画像の中央域の横射影波形と、低解像� ��画像の中央域の横射影波形とをずらしなが� ��差分をとり、差分の絶対値和が最小となる� ��形ズレを検出する。この波形ズレは、縮小� ��像と低解像度画像との横方向の位置ズレに� ��当する。

 このようにして、粗検出部36は、縮小画� �を位置基準として複数の低解像度画像の位� �ズレ(粗検出結果)をそれぞれ求め、精密検出 部38に出力する。

 ステップS14: 次に、高解像度画像と低解� ��度画像の位置ズレを精密に検出する。

 まず、特徴量抽出部33は、ステップS10で� �めた縦エッジ成分gvを水平行の単位に累積加 算することにより、高解像度画像の縦射影波 形を算出する。また、特徴量抽出部33は、ス� ��ップS10で横エッジ成分ghを垂直列の単位に� �積加算することにより、高解像度画像の横� �影波形を算出する。

 位相分割部37は、高解像度画像の縦射影� �形を4画素おきにサブサンプリングする。こ� ��とき、位相分割部37は、サブサンプリング� �位相をずらすことによって、図7に示すよう� ��、位相が互いにずれた4種類のサンプリング 情報を生成する。

 同様に、位相分割部37は、高解像度画像� �横射影波形を4画素おきにサブサンプリング� ��る。このとき、サブサンプリングの位相を� ��らすことにより、位相が互いにずれた4種類 のサンプリング情報を生成する。

 ステップS15: 精密検出部38は、粗検出部36 による位置ズレの粗検出結果を出発点として 、高解像度画像から求めた縦射影波形のサン プリング情報と、低解像度画像の縦射影波形 とをずらしながら差分をとり、差分の絶対値 和が最小となる波形ズレを検出する。

 精密検出部38は、この波形ズレの検出を4� ��類のサンプリング情報それぞれについて実� ��することにより、絵柄の特徴(ここでは波形 )が最も一致する波形ズレを求める。この波� �ズレは、横方向の位置ズレに相当する。さ� �に、精密検出部38は、同様にして縦方向の位 置ズレを検出する。

 このようにして、精密検出部38は、高解� �度画像を位置基準として複数の低解像度画� �の位置ズレ(精密検出結果)を、低解像度画像 の画素間隔よりも細かな精度で求め、位置合 わせ部34aに出力する。

 ステップS16: 位置合わせ部34aは、低解像� ��画像を拡大(4×4倍)する。このとき、位置合� ��せ部34aは、画素補間を行わず、画素間隔の� ��いた拡大画像を得る。

 次に、位置合わせ部34aは、精密検出部38� �求めた位置ズレの精密検出結果に基づいて� �低解像度画像の拡大画像の画素位置をそれ� �れ変位させ、図8に示すようにマッピング(再 配置)を行う。このようにして、高解像度画� �と同程度の縦横画素数を有する再配置画像� �得ることができる。

 ステップS17: マッピング処理を完了した� ��配置画像には、隙間の埋まらない画素や、� ��規の画素位置からずれた画素や、重なった� ��素が存在する。

 そこで、位置合わせ部34aは、この再配置� ��像の正規の画素位置ごとに、近傍画素をピ� ��クアップする。位置合わせ部34aは、これら� ��傍画素の色差成分に、下式のガウシアンフ� ��ルタをかける。

f(x,y)は、再配列画像の画素位置(x,y)の色差� ��分である。mは近傍画素の範囲である。σは� ��重比率を調整する数値である。例えば、具� ��的な数値としては、m=5,σ=3が好ましい。

 位置合わせ部34aは、ガウシアンフィルタ� ��計算結果を、正規の画素位置の色差成分と� ��ることにより、再配置画像の色差成分を決� ��する。

 ステップS18: 階調合成部34bは、高解像度� ��像の輝度成分に対して、次のフィルタ処理� ��実施する。まず、階調合成部34bは、ゲイン� ��正後の高解像度画像から輝度成分を抽出し� ��メディアン処理およびガウシアンフィルタ� ��合わせたフィルタ処理を施す。例えば、フ� ��ルタサイズを3×3画素に設定し、このフィル タサイズ内の9つの画素から中央3つの値を抽� ��して、ガウシアンフィルタを実施する。こ� ��処理により、露光不足などの原因で輝度成� ��に生じるノイズ分を低減することができる� ��

 ステップS19: 階調合成部34bは、高解像度� ��像から階調潰れの可能性が高い画像領域を� ��ップ情報として抽出する。例えば、輝度レ� ��ルが撮像素子11の飽和レベルに達する画像� �域を、高輝度領域として抽出する。また例� �ば、輝度レベルが撮像素子11の黒潰れ範囲を 超えない画像領域を、低輝度領域として抽出 する。

 ステップS20: 階調合成部34bは、ステップS11� ��実施した低解像度画像のゲイン補正量をゲ� ��ン補正部31から情報取得する。このゲイン� �正量に従って、階調合成部34bは、高解像度� �像と低解像度画像の合成比率を次のように� �定する。
(1)高解像度画像の低輝度領域…ゲイン補正量 が1より小さい低解像度画像の合成比率を
例えば30~50%程度に高く設定する。一方、ゲイ ン補正量が1より大きい低解像度画像につい� �は合成比率を0%程度に低く設定する。この設 定により、プラス露出補正された低解像度画 像が有する暗部の階調情報を、高解像度画像 に反映させることができる。
(2)高解像度画像の高輝度領域…ゲイン補正量 が1より大きい低解像度画像の合成比率を
例えば30~50%程度に高く設定する。一方、ゲイ ン補正量が1より小さい低解像度画像につい� �は合成比率を0%程度に低く設定する。この設 定により、マイナス露出補正された低解像度 画像が有する明部の階調情報を、高解像度画 像に反映させることができる。(3)高解像度画 像のエッジ…輝度成分が局所的に所定比率を 超えて変化する箇所(エッジ
)を抽出する。このエッジに対する低解像度� �像の合成比率を0%程度に低くする。この設定 により、高解像度画像のエッジ構造を保持す ることができる。

 ステップS21: 位置合わせ部34aは、ステッ� ��S15で検出した位置ズレの精密検出結果に従� ��て、低解像度画像の位置ズレを補正する。� ��調合成部34bは、位置ズレ補正後の低解像度� ��像から輝度成分を抽出し、ステップS20で定� ��た合成比率に従って高解像度画像の輝度成� ��に加重加算する。この加重加算により、合� ��画像の階調再現域はほぼリニアに拡大され� ��。

 ステップS22: 階調合成部34bは、この合成� ��像の輝度成分を、図9に示すような階調変換 特性を用いて階調補正する。この階調変換特 性では、中~高輝度の階調範囲を階調圧縮す� �ことにより、高輝度領域に復元された階調� �報を実用的な信号値の範囲に収める。さら� �低輝度の階調範囲については、黒潰れを抑� �たり、暗部ノイズが増加しない程度に階調� �張することにより、低輝度領域に復元され� �階調情報を実用的な信号値の範囲に収める� �

 ステップS23: ステップS17で生成された色� ��成分(再配置画像)と、ステップS22で生成さ� �た輝度成分(合成画像)とを組み合わせ、階調 再現域を拡大したカラー画像を完成する。

 このカラー画像は、画像圧縮部24および� �録部22などを介して、記憶媒体22aに記録保存 される。

 [実施形態の効果など]
 本実施形態では、低解像度読み出しモード� ��生成される低解像度画像を、静止画像(高解 像度画像)の階調拡大に利用する。この低解� �度画像は、例えば30~60フレーム/秒と高速で� �み出される。そのため、高解像度画像と低� �像度画像の合成に際して、絵柄の違いに起� �する破綻は生じづらく、良好な階調拡大効� �を得ることができる。

  さらに、本実施形態では、プラス方向� �よびマイナス方向に露出補正しながら、複� �枚の低解像度画像を生成する。そのため、� �々な階調域について階調情報を得ることが� �能になる。そのため、図10に示すように、高 輝度および低輝度の階調域において、良好な 階調拡大効果を得ることができる。

  また、このように複数枚の低解像度画� �を撮影しても、高フレームレートで連続撮� �できるため、一瞬で撮影は完了する。その� �め、従来に比べ、ユーザーがカメラアング� �を固定すべき時間は格段に短くなる。その� �め、ユーザーは、手軽に階調拡大撮影を行� �ことができる。

  さらに、本実施形態では、高解像度画� �から、サンプリング位相が互いにずれた複� �のサンプリング情報を生成する。これらサ� �プリング情報と低解像度画像との間で位置� �レ検出を行うことにより、低解像度画像の� �素間隔よりも細かな精度で位置ズレを検出� �きる。その結果、高解像度画像と低解像度� �像との絵柄の位置合わせ精度を一段と高め� �ことが可能になり、一段と良好な階調拡大� �果を得ることができる。

  また、本実施形態では、階調潰れの少� �い領域については、低解像度画像の合成比� �を適応的に下げる。そのため、高解像度画� �の本来の階調情報を忠実に残すことも可能� �なる。

  さらに、本実施形態では、高解像度画� �のエッジにおいて、低解像度画像の合成比� �を局所的に下げる。そのため、合成後にエ� �ジが多重線化するなどの弊害を回避するこ� �ができる。

 《実施形態の補足事項》
 なお、本発明者は、特願2005-345715において� �位置ズレ検出を更に高速化する手順を開示� �ている。この手順に従って、本実施形態の� �置ズレ検出を高速化してもよい。

  また、ステップS13では、高解像度画像� �縮小画像と、低解像度画像との間で絶対的� �位置ズレを粗く検出している。しかしなが� �、本発明はこれに限定されるものではない� �複数の低解像度画像の間で相対的な位置ズ� �を粗く検出してもよい。精密検出部38は、こ の相対的な粗検出結果と、少なくとも1つの� �置ズレの精密検出結果とに基づいて、残り� �絶対的な位置ズレを粗く知ることができる� �精密検出部38は、この絶対的な粗検出結果を 出発点として位置ズレ探索を行うことで、精 密な位置ズレを迅速に検出することが可能に なる。

  なお、上述した実施形態では、射影波� �の比較により画像の位置ズレを検出してい� �。しかしながら、本発明はこれに限定され� �ものではない。例えば、両画像の画素配列� �空間比較によって位置ズレを検出してもよ� �。

  また、上述した実施形態では、電子カ� �ラ10に画像処理装置25を搭載するケースにつ� ��て説明した。しかしながら、本発明はこれ� ��限定されるものではない。上述した画像処� ��をプログラムコード化した画像処理プログ� ��ムを作成してもよい。この画像処理プログ� ��ムをコンピュータで実行することにより、� ��解像度画像の階調情報を有効活用して、高� ��像度画像の階調を拡大することが可能にな� ��。

  なお、上述した実施形態では、高解像� �画像の撮影前に、低解像度画像を取得する� �しかしながら、本発明はこれに限定される� �のではない。

  例えば、高解像度画像の撮影後に、低� �像度画像を取得してもよい。また、高解像� �画像の撮影前および撮影後にまたがって、� �数の低解像度画像を取得してもよい。

  なお、上述した実施形態では、高輝度� �域および低輝度領域の双方に対して、低解� �度画像の階調情報を補っている。しかしな� �ら、本発明はこれに限定されるものではな� �。高輝度領域または低輝度領域の一方に対� �て、低解像度画像の階調情報を補ってもよ� �。例えば、マイナス露出補正した低解像度� �像の階調情報を、高解像度画像の高輝度領� �に補うことにより、高輝度領域の階調再現� �を拡大することができる。また例えば、プ� �ス露出補正した低解像度画像の階調情報を� �高解像度画像の低輝度領域に補うことによ� �、低輝度領域の階調再現域を拡大すること� �できる。

  なお、上述した実施形態では、輝度色� �の画像信号を扱うケースについて説明した� �しかしながら、本発明はこれに限定される� �のではない。一般に、本発明をRGB、Labその� �の画像信号を扱うケースに適用してもよい� �

  また、上述した実施形態では、画像処� �によって絵柄の位置ズレを検出している。� �かしながら、本発明はこれに限定されるも� �ではない。例えば、カメラ側に加速度セン� �などを搭載してカメラの撮影域の移動(振動) を求め、この撮影域の移動(振動)から複数画� ��の絵柄の位置ズレを検出してもよい。

  なお、上述した実施形態では、露出条� �を変えた低解像度画像のみを、高解像度画� �に合成している。しかしながら、本発明は� �れに限定されるものではない。例えば、高� �像度画像と露出条件の等しい低解像度画像� �合成に加えてもよい。この露出条件の等し� �低解像度画像については、例えば合成画像� �S/Nを高める効果がある。

 上述したように、課題を解決するための� ��段の項において開示した第1の画像処理装置 は、露出条件の異なる低解像度画像と高解像 度画像とを合成して、階調再現域を拡大する 。この場合、低解像度画像については、画素 数が少ないため、撮影時の読み出し時間を短 くできる。そのため、高解像度画像と低解像 度画像の撮影時刻を接近させ、画像間の絵柄 の一致度を高めることができる。その結果、 画像合成に際して絵柄が良く一致するので、 良好な階調拡大効果を得ることができる。

 また、同じく課題を解決するための手段� ��項において開示した電子カメラは、露出条� ��を変えて高解像度画像と低解像度画像を撮� ��する。この場合、低解像度画像の読み出し� ��間は短いため、低解像度画像の撮影を短期� ��に完了できる。そのため、ユーザーがカメ� ��アングルを固定すべき期間は短くなり、従� ��よりも手軽な階調拡大撮影が可能になる。

 (第2の実施形態)
 図11に、本発明にかかわる画像処理装置の� �2の実施形態を示す。

 なお、図11に示す構成要素のうち、図1ま� ��は図2に示した構成要素と同等のものについ ては、同一の符号を付して示し、その説明は 省略する。

 図11に示したデジタルカメラにおいて、� �像の撮影の際に撮影光学系12によって撮像素 子11上に結像された光は、撮像素子11によっ� �その強度に応じた電気信号に変換され、更� �、アナログ/デジタル(A/D)変換器23によってデ ジタルデータに変換されてメモリ17に保持さ� ��る。図11に示したメモリ17は、バスを介して 画像処理装置25、画像圧縮部24、記録部22およ び撮影制御部28に接続されており、この撮影� ��御部28により、撮像素子11に対する読み出し モードの切り換えが行われる。

 図11に示した撮影制御部28は、利用者によ るレリーズボタンの操作に応じて、上述した 撮像素子11に全ての画素に対応するデータの� ��出を指示する高解像度モードを指示し、こ� ��に応じて撮像素子11から読み出された電気� �号から得られた高解像度画像データはメモ� �17に蓄積されるとともに画像処理装置25の処� ��に供される。一方、レリーズボタンが操作� ��れる時点の前後では、撮影制御部28により� �撮像素子11からの読み出しモードは、スルー 画モードに切り換えられ、これに応じて、撮 像素子11内部での画素間引きや画素加算によ� ��て得られる低解像度画像データがメモリ17� �介して表示部29による表示処理に供され、利 用者に撮像範囲に関する情報を提供する。

 上述したスルー画モードが適用されてい� ��期間において、様々な露出条件の下で取得� ��れた撮像素子11の出力信号から得られた低� �像度画像データがメモリ17に保持され、上述 した高解像度画像データとともに画像処理装 置25の処理に供される。また、この画像処理� ��置25による処理が完了した画像データは、� �像圧縮部24によって圧縮された後にバスを介 して記録部22に渡され、記憶媒体22aに記録さ� ��る。

 図11に示した画像処理装置25において、位 置合わせ処理部42により、メモリ17から受け� �った高解像度画像と複数の低解像度画像と� �ついてそれぞれ特徴抽出が行われ、抽出さ� �た特徴に基づいて互いの位置ずれが補正さ� �る。また、図11に示したゲイン補正部31によ� ��、高解像度画像と個々の低解像度画像との� ��出条件の違いに応じたゲイン補正が行われ� ��補正後の低解像度画像が、階調合成部34bに� ��り、上述した位置合わせ処理部42による処� �結果に基づいて高解像度画像と合成され、� �像圧縮部24の処理に供される。

 なお、上述した位置合わせ処理部42は、� �2に示した画像処理装置25において、位置ズ� �の補正処理にかかわる機能を提供する各部� �ら構成されている。

 図11に示した画像処理装置25において、分 布解析部44は、ゲイン補正部31によって補正� �れた高解像度画像および低解像度画像につ� �て、階調値のヒストグラムをそれぞれ作成� �、後述するようにして、このヒストグラム� �解析を行い、解析結果を合成制御部45の処理 に供する。

 また、図11に示した合成制御部45は、分布 解析部44による解析結果に基づいて、階調合� ��部34bにおける階調合成処理に適用すべき様� ��なパラメータを決定し、これらのパラメー� ��を階調合成部34bの処理に供することにより� ��この階調合成部34bの処理を制御する。

 以下、本撮影で得られた適正露出の高解� ��度画像と適正露出に対して1段および2段ア� �ダーで取得されたスルー画像(低解像度画像) とを合成して、階調再現域が拡大された広ダ イナミックレンジの高解像度画像を生成する 場合を例にとって、分布解析部44および合成� ��御部45の詳細な動作を説明する。

 図12に、画像合成処理を表す流れ図を示� �。また、図13に、分布解析処理を説明する図 を示す。

 メモリ17に蓄積されていたスルー画像か� �本撮影で適用された露出条件に比べて低い� �出値が適用されたスルー画像が抽出され、� �撮影で得られた高解像度画像とともに画像� �理装置25に読み込まれる(ステップS31)。メモ� ��17には、本撮影に先立って露出値決定処理� �ために様々な露出条件で取得されたスルー� �像が蓄積されており、これらのスルー画像� �中から、例えば、本撮影で適用された適正� �出に対して1段アンダーで取得されたスルー� ��像と2段アンダーで取得されたスルー画像と がメモリ17から読み出され、以降の処理に供� ��れる。

 このようにして読み出されたスルー画像� ��ついて、ゲイン補正部31により、スルー画� �を構成する各画素の階調値に、それぞれに� �用された露出値と適正露出との比に応じた� �数を乗算することにより、ゲイン補正が行� �れる(ステップS32)。ここで、読み出されたス ルー画像について既にガンマ変換が施されて いる場合には、ゲイン補正に先立って、逆ガ ンマ変換が施される。これにより、1段アン� �ーで取得されたスルー画像のヒストグラム(� ��13(b)参照)および2段アンダーで取得されたス ルー画像のヒストグラム(図13(d)参照)は、適� �露出で撮影された高解像度画像のヒストグ� �ムにおける画素の分布(図13(a)参照)とリニア� ��空間で比較可能なヒストグラムに変換され� ��(図13(c)、(e)参照)。

 このようにして得られたスルー画像のヒ� ��トグラムについて、分布解析部44は、適正� �出が適用されたときに飽和状態となる高輝� �領域(図13において、破線で示した階調値以� �の範囲)において、所定の閾値以上の画素が� ��布している範囲を探索し、該当する範囲を� ��輝度領域における階調変化の特徴として抽� ��する(ステップS3)。

 ステップS3において、例えば、図13(c)、(e) に破線で囲んで示すような範囲が検出された 場合に、分布解析部44は、高輝度領域におけ� ��階調変化の特徴が抽出された旨を合成制御� ��45に通知し、これに応じて、合成制御部45は 、階調変化の特徴が抽出されたスルー画像を 合成対象の低解像度画像として選択する(ス� �ップS34)。

 合成処理を実行する場合に、分布解析部4 4は、メモリ17から読み込んだ高解像度画像に ついて、所定の閾値以上の階調値を持つ高輝 度領域の画素の数を集計し、この高輝度領域 の画素数が全画素数に占める割合を算出し(� �テップS35)、この割合に基づいて、合成制御� ��45は、最終的に階調値を表示装置などの制� �に合わせて8ビットの階調値に変換するため� ��階調変換曲線における屈曲点の位置(図14(a)� ��おいて符号(イ)を付して示す)を決定する(ス テップS36)。

 このとき、分布解析部44は、例えば、12ビ ットの階調値を8ビットの階調値に変換する� �めの一般的な階調変換曲線(図14において、� �い破線で示す)を用いた変換によって所定の� ��(例えば、数値200)以上に変換される階調値� �持つ画素の割合を算出する。この割合が所� �の閾値よりも大きい場合に、合成制御部45は 、例えば、上述した割合と閾値との差に応じ て、屈曲点の位置を入力階調値の小側(図14の 左側)に移動させる。逆に、上述した割合が� �定の閾値よりも小さい場合に、合成制御部45 は、上述した割合と閾値との差に応じて、屈 曲点の位置を入力階調値の大側(図14の右側)� �移動させる。

 例えば、明るく輝く雲が画面において無� ��できない大きさを占めているような構図で� ��写体が撮影された場合に、ステップS35にお� ��て分布解析部44によって得られる高輝度領� �の割合は大きくなり、これに応じて、階調� �換曲線の屈曲点の位置は、図14に符号(イ)で� ��した位置よりも入力階調値が小さい側にず� ��される。

 次いで、分布解析部44は、上述したステ� �プS4において合成対象として選択されたスル ー画像について、個々のスルー画像において 階調値が飽和していない範囲であって、高解 像度画像における階調値の分布範囲を超える 範囲に分布している画素について、階調値の 平均値を算出し(ステップS37)、この平均値に� ��づいて、合成処理部35は、上述した階調変� �曲線による階調再現域の上限の位置(図14(a)� �おいて符号(ロ)を付して示す)を決定する(ス� ��ップS38)。

 例えば、図13に示したヒストグラムを持� �1段アンダーのスルー画像と2段アンダーのス ルー画像について、それぞれ上述したステッ プS3で抽出した範囲(図13(c)、(e)参照)に分布し ている画素について階調値の平均値を求め、 これらを更に平均した値に応じて、階調再現 域の上限は、図14に符号(ロ)で示した位置(つ� ��り、12ビットの階調値の上限)よりも入力階� ��値が大きい側にずらされる。ここで、露出� ��の異なるスルー画像が複数枚取得されてい� ��場合は、これらについてそれぞれ求めた平� ��値を更に平均した値に応じて、階調再現域� ��上限を決定すればよい。このとき、合成制� ��部45は、例えば、上述した平均値と12ビット の階調値の上限、即ち、高解像度画像の階調 値の上限との差分をこの平均値に加えた位置 に階調再現域の上限をずらすこともできる。

 このようにして、中程度以下の輝度を持� ��領域における階調変化を圧縮して、高輝度� ��対応する階調値の変化が8ビットの階調値の 変化として再現される範囲を広げることによ り、高輝度領域における階調変化を8ビット� �階調値によって再現可能な階調変換曲線が� �成され、この階調変換曲線が合成処理部35に おいて得られたスルー画像と高解像度画像と を合成して得られた合成画像の階調変換処理 に適用される(ステップS39)。

 なお、ステップS33において、全てのスル� ��画像で上述した範囲に所定数以上の画素が� ��布している範囲が抽出されなかった場合は� ��高解像度画像に反映すべき高輝度領域にお� ��る階調変化の特徴はないと判断して、合成� ��理を実施しないで終了することも可能であ� ��。

 また、高解像度画像において「黒つぶれ� ��状態となっているような低輝度領域につい� ��は、図14(b)に示すように、複数の屈曲点を� �つ階調変換曲線を適用することで、階調再� �可能域の低輝度方向への拡大を図ることも� �能である。

 次に、階調合成部34bによる合成処理につ� ��て説明する。

 位置合わせ処理部42によって高解像度画� �と取得された各スルー画像との間の位置合� �せが行われ、この位置合わせ処理結果に基� �いて、階調合成部34bにより、スルー画像を� �成する各画素の輝度成分および色差成分が� �図8に示したように、高解像度画像と同密度� ��画素空間に再配置される。

 このとき、階調合成部34bは、高解像度画像� ��露出値を基準として各スルー画像について� ��上述したゲイン補正部31によってゲイン補� �を施して得られた輝度成分を上述したよう� �して再配置することにより、再配置画像の� �度成分B’ _y (i,j)を得ることができる。

 次いで、階調合成部34bは、高解像度画像に� ��いて既にガンマ変換が施されている場合は� ��高解像度画像の画素値A _y (i,j)に逆ガンマ変換を施して、リニア空間に� ��ける画素値を求め、このリニア変換された� ��解像度画像の輝度成分A’ _y (i,j)に、同じくリニア空間の再配置画像の輝� ��成分B’ _y (i,j)を重み付け加算することにより、合成画� ��の輝度成分g’ _y (i,j)を求める。

 この階調合成部34bは、例えば、式(1)に示す� ��うに、高解像度画像の注目画素(i、j)の画素 値pに近い値を持つ再配置画像の輝度成分B’ _y (i,j)に大きな重みを与える重み関数G(i,j,p)を� �いて、式(2)に示すように、注目画素を中心� �するフィルタサイズmの重み付け加算処理を� ��うことで、合成画像のリニア空間における� ��度成分g’ _y (i,j)を求めることができる。

 また一方、階調合成部34bは、高解像度画像� ��合成対象のスルー画像との画素値に基づい� ��、上述と同様にして、高解像度画像の色差� ��分A’ _CbCr (i,j)および再配置画像の色差成分B’ _CbCr (i,j)を求め、これらを重み付け加算すること� ��より、合成画像の色差成分g’ _CbCr (i,j)を求める。

 このとき、高解像度画像において「白とび� ��状態となっている高輝度領域では、色差成� ��が小さくなっていることを考慮して、階調� ��成部34bは、式(4)に示すように、輝度成分に� ��づく重み付けを再配置画像の色差成分B’ _CbCr (i,j)に施して足し合わせることで得られた色� ��成分g’ _CbCr (i,j)と、高解像度画像の色差成分A’ _CbCr (i,j)とを、式(3)で表される重みをつけて加算� ��る(式(5)参照)。

 これにより、高輝度領域では再配置画像の� ��差成分B’ _CbCr (i,j)を、合成画像の色差成分g’ _CbCr (i,j)に、より高い重みで反映させ、自然な色� ��成分を復元することができる。

 同様にして、「黒つぶれ」状態となってい� ��低輝度領域についても、再配置画像の色差� ��分B’ _CbCr (i,j)を、合成画像の色差成分g’ _CbCr (i,j)により高い重みで反映させることにより� ��自然な色差成分を復元することができる。

 ここで、図8に示したように、高解像度画 像に合成されるスルー画像の輝度成分および 式差成分は、それぞれ再配置画像にマッピン グされるので、合成処理に供されるスルー画 像の枚数が増えれば、再配置画像と高解像度 画像とを合成する際に、重み付け加算対象と なるフィルタ内にマッピングされた画素が増 えるので、合成画像の画素値に反映される情 報が増大する。

 したがって、合成対象のスルー画像の数� ��応じて、合成処理において適用するフィル� ��サイズmを調整することで、合成画像におけ る画質を維持しつつ、画像処理装置における 画像合成処理にかかる処理負担を軽減するこ とができる。例えば、合成処理に供されるス ルー画像の数が、所定の枚数以下の場合には 、基準となるフィルタサイズ(例えば、m=5)を� ��用し、スルー画像の数が上述した所定数を� ��える場合には、フィルタサイズを一段階縮� ��することで、スルー画像の枚数の増大によ� ��処理負担の増加を抑えつつ、位置合わせ誤� ��が合成画像の画質に与える影響を抑えるこ� ��ができる。

 また、上述したようにして得られた合成画� ��の輝度成分g’ _y (i,j)について、図11に示した分布解析部44およ び合成制御部45によって得られた階調変換曲� ��を適用することにより、高解像度画像にお� ��て「白とび」状態となっていた高輝度領域� ��階調値の変化をスルー画像に含まれる情報� ��利用して復元し、ガンマ変換後の階調値(8� �ット)の変化として再現することができる。

 上述したように、本発明にかかわる画像� ��理装置および画像処理方法によれば、合成� ��理に供される高解像度画像と低解像度画像� ��おける階調値の分布や合成に供される画像� ��数を含む様々な特徴を考慮して、適切な合� ��手法を選択的に適用することができる。

 これにより、本撮影で得られた高解像度画� ��とスルー画像とを合成して広いダイナミッ� ��レンジを持つ高解像度の合成画像を得る手� ��において、例えば、明るく輝く雲や青空を� ��景に撮影された桜などの被写体における階� ��の変化を過不足なく適切に再現することが� ��き、画質の向上を図ることができる。
(第3の実施形態)
 図15に、本発明にかかわる画像処理装置の� �3の実施形態を示す。 

 なお、図15に示す構成要素のうち、図11に 示した各部と同等のものについては、図11に� ��した符号を付して示し、その説明を省略す� ��。

 図15に示したパソコンにおいて、CPU48とメ モリ17、カードリーダ46および表示処理部47と はバスを介して接続されており、画像処理装 置25は、図11に示した画像処理装置25の各部の 処理をCPU48に実行させるプログラムによって� ��現される。

 例えば、記憶媒体30に、デジタルカメラ� �よる本撮影で得られた高解像度画像ととも� �1段アンダーおよび2段アンダーのスルー画像 を記録しておき、これらの画像データをカー ドリーダ46によって読み出してメモリ17に格� �し、画像処理装置25の処理に供することによ り、合成処理に供される高解像度画像と低解 像度画像における階調値の分布や合成に供さ れる画像の数を含む様々な特徴を考慮して、 適切な合成手法を選択的に適用し、広いダイ ナミックレンジを持つ高解像度の合成画像を 得ることができる。

 このように、高解像度画像と低解像度画� ��とを合成する画像処理をパソコンに分担す� ��ことにより、デジタルカメラ側で必要な処� ��を合成処理に供される画像情報の抽出およ� ��記録に限定することができるので、デジタ� ��カメラの更なる高速動作を可能とすること� ��できる。また、このようにして得られた合� ��画像を表示処理部47および表示部49による表 示処理に供し、利用者に提供することにより 、利用者は、大きな見やすい画面に表示され た画像に基づいて、上述した画像処理結果を 確認することもできる。

 上述したように、露出条件の異なる複数の� ��解像度画像を高解像度画像に合成すること� ��より、階調再現域を拡大と処理の高速性と� ��両立させる技術において、合成処理に供さ� ��る高解像度画像と低解像度画像の特徴を考� ��した適切な合成手法を選択的に適用するこ� ��で、最終的に得られる合成画像の画質の向� ��を図ることができる。
(第4の実施形態)
 図16に、本発明にかかわる画像処理装置の� �施形態を示す。

 なお、図16に示す構成要素のうち、図1、� ��2あるいは図11に示した構成要素と同等のも� ��については、同一の符号を付して示し、そ� ��説明は省略する。

 図16に示したデジタルカメラにおいて、� �像の撮影の際に撮影光学系12によって撮像素 子11上に結像された光は、撮像素子11によっ� �その強度に応じた電気信号に変換され、更� �、アナログ/デジタル(A/D)変換器23によってデ ジタルデータに変換されてメモリ17に保持さ� ��る。図1に示したメモリ17は、本発明にかか� ��る画像処理装置25、表示部29、記録部22およ� ��撮影制御部28にバスを介して接続されてお� �、この撮影制御部28により、撮像素子11に対� ��る読み出しモードの切り換えが行われる。

 図1に示した撮影制御部28は、利用者によ� ��レリーズボタンの操作に応じて、上述した� ��像素子11に全ての画素に対応するデータの� �出を指示する高解像度モードを指示し、こ� �に応じて撮像素子11から読み出された電気信 号から得られた高解像度画像データはメモリ 17に蓄積されるとともに画像処理装置25の処� �に供される。一方、レリーズボタンが操作� �れる時点の前後では、撮影制御部28により、 撮像素子11からの読み出しモードは、スルー� ��モードに切り換えられ、これに応じて、撮� ��素子11内部での画素間引きや画素加算によ� �て得られる低解像度画像データがメモリ17を 介して表示部29による表示処理に供され、利� ��者に撮像範囲に関する情報を提供する。

 上述したスルー画モードが適用されてい� ��期間において、様々な露出条件の下で取得� ��れた撮像素子11の出力信号から得られた低� �像度画像データがメモリ17に保持され、上述 した高解像度画像データとともに画像処理装 置25の処理に供される。このようにしてメモ� ��17に保持されたスルー画像は、本撮影で取� �された高解像度画像と同一の被写体を微小� �時間間隔で撮影して得られた低解像度画像� �ある。

 以下、本撮影で適用された適正露出とは� ��なる露出値で取得された低解像度画像を用� ��て、本撮影で得られた高解像度画像に表れ� ��いる白とび領域や黒つぶれ領域における本� ��の階調変化を復元する画像合成処理のため� ��補助情報を作成する場合を例として、画像� ��理装置25の詳細構成および動作を説明する� �

 図16に示した画像処理装置25において、読 込処理部50は、利用者によるレリーズ操作に� ��じて実行された本撮影で得られた高解像度� ��像と、この高解像度画像に対応して保持さ� ��たスルー画像とを上述したメモリ17から読� �込み、ゲイン補正部31の処理に供する。

 上述した読込処理部50によって読み込ま� �た高解像度画像あるいはスルー画像に既に� �ンマ変換が施されている場合には、ゲイン� �正部31により、まず、逆ガンマ変換が施され 、次いで、高解像度画像と個々のスルー画像 との露出条件の違いに応じたゲイン補正が行 われる。具体的には、読み出されたスルー画 像について、ゲイン補正部31により、スルー� ��像を構成する各画素の階調値に、それぞれ� ��適用された露出値と適正露出との比に応じ� ��定数を乗算することにより、ゲイン補正が� ��われ、このゲイン補正結果の画像について� ��ヒストグラム作成部52により、それぞれの� �像について階調値に関するヒストグラムが� �成される。

 このように、ゲイン補正後のスルー画像� ��ついてヒストグラムを作成することにより� ��1段アンダーで取得されたスルー画像のヒス トグラム(図13(b)参照)および2段アンダーで取� ��されたスルー画像のヒストグラム(図13(d)参� ��)に代えて、適正露出で撮影された高解像度 画像のヒストグラムHにおける画素の分布(図1 3(a)参照)とリニアな空間で比較可能なヒスト� ��ラムLを作成することができる(図13(c)、(e)参 照)。

 このようにして得られた高解像度画像の� ��ストグラムHおよびスルー画像のヒストグラ ムLは、それぞれ図16に示した飽和領域検出部 53および分布解析部44の処理に供される。

 飽和領域検出部53は、高解像度画像のヒ� �トグラムHを解析し、例えば、階調値の上限� ��相当する閾値を超えている画素数および下� ��に相当する閾値を下回っている画素数をそ� ��ぞれ求め、これらの画素数がそれぞれ所定� ��閾値を超えるか否かに基づいて、高解像度� ��像においていわゆる「白とび」あるいは「� ��つぶれ」領域の発生を検出し、この検出結� ��を選択処理部55に通知する。

 また、図16に示した分布解析部44は、上述 したようにして得られたスルー画像のヒスト グラムを解析し、例えば、適正露出が適用さ れたときに飽和状態となる高輝度領域(図13に おいて、破線で示した階調値以上の範囲)に� �いて、所定の閾値以上の画素が分布してい� �範囲を高輝度領域における階調変化の復元� �利用可能な情報として探索し、この探索結� �を選択処理部55に通知する。この分布解析部 44は、例えば、図13(c)、(e)に破線で囲んで示� �ような範囲を探索し、このような範囲を検� �したときに、高解像度画像における白とび� �域における階調変化の復元に利用可能な情� �を含んでいる旨の検出結果を通知する。

 図16に示した選択処理部55は、例えば、飽 和領域検出部53から高解像度画像において階� ��値が飽和している領域が検出された旨が通� ��され、また、分布解析部44からスルー画像� �高解像度画像における白とび領域における� �調変化の復元に利用可能な情報を含んでい� �旨の検出結果が通知されたときに、上述し� �情報を含むスルー画像を主画像である高解� �度画像に対する画像処理(合成処理)に用いる 補助情報として選択する。

 このようにして選択されたスルー画像お� ��び主画像である高解像度画像は、画像圧縮� ��56によってそれぞれ圧縮され、記録部22の処 理に供される。

 図16に示した記録部22において、ヘッダ作 成部57は、上述した画像圧縮部56によって圧� �されたスルー画像を含む補助情報を受け取� �、この補助情報とバスを介して撮影制御部28 から得られる撮影情報とを含んだヘッダ情報 を作成し、画像ファイル形成部58の処理に供� ��る。

 この画像ファイル形成部58により、図17に 示すように、画像データ部に画像圧縮部56か� ��受け取った主画像の圧縮データが格納され� ��これに上述したようにして作成されたヘッ� ��が付加されて画像ファイルが形成され、こ� ��画像ファイルが、書込処理部59を介して記� �媒体26に書き込まれて記録される。

 このように、本発明にかかわる画像処理� ��置を搭載したデジタルカメラでは、主画像� ��記憶媒体に記録する際に、上述した処理が� ��動的に行われ、この主画像の高輝度領域あ� ��いは低輝度領域における階調変化の復元に� ��用な情報を持つスルー画像が、選択的に画� ��処理に供される補助情報として付加される� ��これにより、階調値が飽和した領域につい� ��画像合成を利用した階調変化の復元処理を� ��うか否か、また、どの画像を合成処理に供� ��るかといった煩わしい選択指示から利用者� ��解放し、利用者の作業負担を軽減して、利� ��者を撮影に専念させることができる。

 また、上述したように、合成処理に供さ� ��るスルー画像を画像圧縮部56によって圧縮� �てデータ量を低減することにより、主画像� �格納した画像ファイルにおけるヘッダ部の� �ータ量の増大を抑制することができる。

 なお、上述したように、スルー画像全体� ��圧縮して補助情報とする代わりに、高輝度� ��域(あるいは低輝度領域)についての階調変� �の復元を目的とする合成処理に直接利用さ� �る画素値のみを抽出し、抽出した画素値を� �助情報として画像ファイルのヘッダに付加� �ることも可能である。

 例えば、メモリ17から読み込まれた高解� �度画像と複数のスルー画像とについて、上� �した第1の実施形態において詳細に説明した� ��うにして、それぞれ特徴抽出を行い、抽出� ��た特徴に基づいて互いの位置ずれを補正し� ��後に、高解像度画像について、白とびある� ��は黒つぶれが発生している領域に対応する� ��ルー画像の領域の画像データを補助情報と� ��て抽出することができる。

 図18(a)に網掛けを付して示すように、高� �像度画像に捉えられた雲の部分および太陽� �部分に白とびが発生している場合に、1段ア� ��ダーで取得されたスルー画像および2段アン ダーで取得されたスルー画像の対応する領域 (図18(b)、(c)において網掛けを付して示す)の� �像データを抽出し、抽出した画像データと� �述した位置ずれに関する情報とから補助情� �を作成することにより、補助情報のデータ� �を格段に削減することができる。

 更に、低解像度のスルー画像と高解像度� ��主画像とを合成する際に、図8に示すように 、スルー画像を主画像と同密度の画素空間に 再配置して再配置画像が形成されることと、 上述した白とびあるいは黒つぶれの領域に含 まれる各画素の輝度値および色差データの算 出に、所定のサイズ(例えば、5×5あるいは3×3 )のガウシアンフィルタを用いた平均化処理� �行われることを考慮して、補助情報として� �ルー画像から抽出する画像データを画素単� �で精選することも可能である。

 また、低解像度のスルー画像の代わりに� ��異なる露出値を適用して同一の被写体を本� ��影と微小な時間差で撮影して得られた高解� ��度画像を補助情報として用いることも可能� ��ある。高解像度画像のデータ量は、本撮影� ��得られた主画像データと同等であるが、上� ��したように、合成処理に直接利用される領� ��の画像データのみを補助情報とすることに� ��り、ヘッダとして付加される情報量を現実� ��な範囲に抑えることができる。

 また、図16に示したヘッダ作成部57は、上 述した画像合成処理に供される画像あるいは 画像の一部に限らず、撮影段階で取得される 様々な情報を補助情報として画像ファイルの データ部に付加するヘッダに挿入することが できる。

 上述したように、課題を解決するための� ��段の項で開示した第2の画像処理装置では、 パーソナルコンピュータによる画像処理に有 効に利用可能な他の画像データを自動的に選 択して主画像データに補助情報として付加し 、画像処理対象の主画像データと補助情報と の双方を含んだ画像ファイルを形成すること ができる。

 このような画像ファイルをコンパクトフラ� ��シュメモリカードやSDカードなどの記憶媒� �に記録して、パーソナルコンピュータなど� �よる高度な画像処理に供することにより、� �ジタルカメラなどで取得した画像データに� �する画像処理に関する自由度を維持するこ� �ができる。また、撮影時に、利用者が補助� �報を付加するか否か、また、どの画像デー� �を補助情報として付加するかを選択指示す� �必要性をなくし、利用者の負担を軽減する� �とができる。
(第5の実施形態)
 図19に、本発明にかかわる画像処理方法の� �施形態を示す。

 なお、図19に示した構成要素のうち、図1, 2,15に示した構成要素と同等のものについて� �、同一の符号を付して示し、その説明は省� �する。

 図19に示したパソコンにおいて、CPU48とカ ードリーダ46および表示処理部47とはバスを� �して接続されており、画像処理装置43は、後 述する読込処理部62、補助情報解析部63、画� �合成処理部64および画像補正処理部65の処理� ��CPU43に実行させるプログラムによって実現� �れる。

 図19に示した読込処理部62は、カードリー ダ46を介して、記憶媒体30に格納された画像� �ァイル(図17参照)を読み込み、この画像ファ� ��ルに含まれるヘッダ部分を補助情報解析部6 3による解析処理に供する。

 補助情報解析部63は、ヘッダ情報に含ま� �る補助情報を解析し、補助情報が適用され� �べき画像処理の種類を判定し、この判定結� �に基づいて、読込処理部62に画像ファイルの データ部に格納された画像データの送出先を 指示するとともに、適切な補助情報を画像デ ータの送出先に渡す。

 例えば、図17に示したヘッダ部の補助情� �として、露出値の異なるスルー画像が記録� �れている場合に、補助情報解析部63は、画素 値が飽和している領域について階調変化を復 元するための合成処理に用いられる補助情報 であると判断し、読込処理部62に、画像デー� ��を画像合成処理部64に送出する旨を指示す� �とともに、補助情報に含まれるスルー画像� �ータを画像合成処理部64に送出する。

 これに応じて、画像合成処理部64が、上� �した第1の実施形態において開示した手法を� ��いて画像合成処理を行うことにより、処理� ��象の主画像の指定に応じて、適切な低解像� ��画像を利用した画像合成処理を自動的に実� ��させ、広いダイナミックレンジを持つ高解� ��度の合成画像を得ることができる。

 このようにして得られた合成画像は、表� ��処理部47および表示部49による表示処理に供 され、利用者に提供されるので、利用者は、 大きな見やすい画面に表示された画像に基づ いて、上述した画像処理結果を確認すること ができる。

 上述したように、本発明にかかわる画像� ��理方法の実施形態によれば、読み込みが指� ��された画像ファイルに含まれている補助情� ��に基づいて、自動的に、補助情報を利用し� ��適切な画像処理が画像ファイルに格納され� ��主画像に適用される。したがって、利用者� ��、単に、画像処理の対象となる主画像が格� ��された画像ファイルの読み込みを指示する� ��みで十分であり、主画像に合成すべき他の� ��像が格納された画像ファイルを指定すると� ��った煩わしい作業を行う必要がない。

 同様にして、様々な画像処理に適用され� ��補助情報を補助情報解析部63によって判別� �ることにより、画像ファイルに含まれる画� �データおよび補助情報を適切な画像処理に� �することができる。

 図19に示したように、課題を解決するた� �の手段の項において開示した第2の画像処理� ��法を実現するプログラムをコンピュータに� ��って実行することにより、図16に示した構� �の画像処理装置によって記録された画像フ� �イルから読み出された補助情報を利用して� �主画像データに対する適切な画像処理を行� �ことができる。

 このとき、利用者は、画像処理対象の主� ��像データが格納された画像ファイルを指定� ��るのみで適切な補助情報を用いた画像処理� ��行うことができるので、利用者の作業負担� ��軽減することができる。

 なお、本発明は、その精神または主要な� ��徴から逸脱することなく、他のいろいろな� ��で実施することができる。そのため、前述� ��実施例はあらゆる点で単なる例示に過ぎず� ��限定的に解釈してはならない。本発明の範� ��は、特許請求の範囲によって示すものであ� ��て、明細書本文には、何ら拘束されない。� ��らに、特許請求の範囲の均等範囲に属する� ��形や変更は、すべて本発明の範囲内のもの� ��ある。