背景技術で示した画像補正方法では、複� ��の対象物が混在する画像を適切に補正する� ��とができず、複数の対象物の各々に応じた� ��正画像を生成して合成する方法を採用する� ��、処理コストが増大し、また、シーン認識� ��理において誤認識を起こした場合に画質の� ��綻を招くという問題があった。

 そこで、本発明では、画像補正装置に、� ��数の対象物が混在する画像を適切に補正す� ��ために、様々なシーンカテゴリに対応した� ��数のシーン帰属率算出手段を設ける。また� ��処理コストを低減するために、補正画像を� ��成するのではなく補正パラメータを合成す� ��補正パラメータ合成手段を設ける。更に、� ��ーンの誤認識を防止するために、上記複数� ��シーン帰属率算出手段に加えて未知シーン� ��属率指定手段を設ける。以下、図面を参照� ��て詳細に説明する。

 なお、本実施形態の画像補正装置は、携� ��電話機やデジタルカメラ、コンピュータ機� ��、プリンタなどの画像補正を行う任意の機� ��に組み込まれて動作するものであるが、以� ��では本発明の特徴部分である画像補正装置� ��みについて説明する。

 [実施形態1]
 まず、本発明の第1の実施形態に係る画像補 正方法及び画像補正装置並びにプログラムに ついて、図1及び図2を参照して説明する。図1 は、本実施形態の画像補正装置の構成を示す ブロック図であり、図2は、シーン別補正パ� �メータの例を示すテーブルである。

 図1を参照すると、本実施形態の画像補正 装置は、入力画像を解析して各カテゴリのシ ーンに属する確率を規定する値(シーン帰属� �と呼ぶ。)を算出するシーン帰属率算出手段1 と、未知のシーンに属する確率を規定する値 (未知シーン帰属率と呼ぶ。)を指定する未知� ��ーン帰属率指定手段2と、シーンカテゴリ別 の補正パラメータを保存するシーン別補正パ ラメータ保存手段3と、シーン別補正パラメ� �タを合成する補正パラメータ合成手段4と、� ��成した補正パラメータに基づいて画像補正� ��実行する画像補正手段5を備える。また、シ ーン帰属率算出手段1は、n個のシーン帰属率� ��出手段1aを含む。以下、各々の手段につい� �詳述する。

 シーン帰属率算出手段1は、複数のシーン カテゴリに対するシーン帰属率pc(c=1,2,…n)を� ��出する。このシーン帰属率算出手段1の例と して、例えば、線形判別式を用いたシーン分 類方法がある。入力画像をn個のカテゴリに� �類するための線形判別式は、式(1)の通りで� �る。

 xiはm次元の特徴量であり、yは任意のシーン カテゴリcに属するときに1、そうでないとき� ��-1と定義する。まず、複数の教師画像を用� �して手動でy値を与え、式(1)を最小二乗法に� ��って解くことにより、最適な係数aiを求め� �。次に、入力画像に対して特徴量xiを算出し 、係数aiと特徴量xiを式(1)に当てはめること� �より、入力画像に対するy値を得ることがで� ��る。このy値が1に近ければ入力画像はシー� �カテゴリcに属し、-1に近ければ、シーンカ� �ゴリcに属さないと判定することができる。
このシーン帰属率は、例えばy値が1のときに1 .0、y値が-1のときに0.0となるように正規化す� ��こともできる。判別式がyc(-1≦yc≦1)である� ��合の、シーン帰属率pcの算出法の一例を式(2 )に示す。

 そして、係数aiを複数のシーンカテゴリc( c=1,2,…n)について算出しておくことにより、� ��数のシーンカテゴリに対するシーン帰属率� ��計算することができる。このようにして、� ��ーン帰属率算出手段1は、n個のシーンカテ� �リに対するシーン帰属率pc(c=1,2,…n)を算出す る。

 未知シーン帰属率指定手段2は、入力画像 が想定するどのシーンカテゴリにも属さない 確率(未知シーン帰属率)を指定する手段であ� ��。この未知シーン帰属率は、シーン帰属率� ��出手段1の誤認識を補償するために用いるも のであり、ユーザが手動で指定することもで きるし、あらかじめ固定値を指定しておくこ とも可能である。

 シーン別補正パラメータ保存手段3は、ROM (Read Only Memory)やRAM(Random Access Memory)などの� ��モリ、HDD(Hard Disk Drive)などからなり、シー ンカテゴリ別の、最適な補正パラメータを保 存する。

 図2にシーン別補正パラメータ保存手段3� �保存するデータの一例を示す。図2は、シー� ��別補正パラメータ6として、未知シーンを含 む、0から4までの5つのシーンカテゴリにおけ る彩度強調量kを保存している例である。こ� �彩度強調量kは、式(3)によって補正される色� ��彩度を強調するパラメータである。

 行列Mは、YCbCr座標系への変換行列であり� ��式(4)で表される。

 補正パラメータ合成手段4は、入力画像の 複数のシーン帰属率pcと未知シーン帰属率と� ��用いて、シーン別補正パラメータ6を合成し て、入力画像に適した補正パラメータを算出 する。ここで、未知シーンを含めたシーン帰 属率ベクトルを式(5)で表す。p0は未知シーン� ��属率指定手段2によって指定された未知シー ン帰属率であり、p1~pnは、シーン帰属率算出� ��段1によって算出されたn個のシーンカテゴ� �に対するシーン帰属率である。

 シーンカテゴリcに対する補正パラメータ をkcとすると、新たな合成後の補正パラメー� ��k’は、式(6)によって算出される。これを合 成補正パラメータと呼ぶ。

 画像補正手段5は、補正パラメータ合成手 段4によって算出された合成補正パラメータk� ��を用いて、画像補正処理を行う。画像補正� ��段5の一例として、式(3)を実行する画像処理 手段がある。

 このように、入力画像の複数のシーン帰� ��率pcと未知シーン帰属率とを用いて、シー� �別補正パラメータの加重平均である合成補� �パラメータを求め、この合成補正パラメー� �に基づいて画像補正処理を実行することに� �り、複数の対象物が混在する画像であって� �適切に補正することができ、中間処理画像� �保存する必要がないため余分なワークメモ� �の消費を抑えて処理コストを低減すること� �でき、シーン認識処理の誤認識を防止する� �とができる。

 なお、シーン帰属率算出手段1及び補正パ ラメータ合成手段4はハードウェアとして構� �してもよい。また、コンピュータを、シー� �帰属率算出手段1及び補正パラメータ合成手� ��4として機能させるプログラムとして構成し 、該プログラムをCPU(Central Processing Unit)及び メモリで構成される制御手段上で動作させる 構成としてもよい。

 以下、具体例を挙げて説明する。

 今、シーンカテゴリA、B、Cの3つに対する シーン分類を行うものと仮定する。シーンカ テゴリAへの分類が正しい場合には、Aに対す� ��シーン帰属率のみが高く、シーンカテゴリB 、Cに対するシーン帰属率は相対的に低くな� �のが一般的である。このような場合には、� �ーンカテゴリAへの分類は正しいと考えられ� ��ので、補正パラメータもシーンカテゴリAの ものを用いればよい。

 ところが、シーンカテゴリAへの帰属率が 高く、かつシーンカテゴリBへの帰属率も高� �という場合には、入力画像がシーンカテゴ� �Aである信頼性は低くなる。このような結果� ��なる場合として、画像中にシーンカテゴリA とBの両方の対象物が混在している場合が考� �られる。このような場合の補正量は、シー� �カテゴリAだけでなく、シーンカテゴリBの補 正パラメータを考慮するほうが望ましい。こ のような場合において、本実施形態の画像補 正装置では他のシーンカテゴリのシーン帰属 率を利用しているため、単一のシーン帰属率 への過信を防止することができる。

 また、シーンカテゴリA、B、Cのいずれも� ��中程度、あるいはすべてが低い値というケ� ��スがある。これはシーンカテゴリA、B、Cの� ��れにも属さない入力画像の場合にしばしば� ��こる。このような画像の場合には、未知シ� ��ンの補正パラメータ、あるいは、シーンカ� ��ゴリA、B、Cの補正パラメータの中庸に抑え� ��のが望ましい。このような場合において、� ��実施形態の画像補正装置では未知シーン帰� ��率を利用しているため、破綻のない適切な� ��像補正を行うことができる。

 [実施形態2]
 次に、本発明の第2の実施形態に係る画像補 正方法及び画像補正装置並びにプログラムに ついて、図3を参照して説明する。図3は、本� ��施形態の画像補正装置の構成を示すブロッ� ��図である。

 前記した第1の実施形態では、複数のシー ン帰属率を同等に扱う場合を示したが、入力 画像によっては、シーン帰属率を重み付けし た方が誤認識に対する悪影響を抑制すること ができる。そこで、本実施形態では、図3に� �すように、画像補正装置を、入力画像を解� �して複数のシーン帰属率を算出する、シー� �帰属率算出手段1と、入力画像が未知シーン� ��ある確率値(未知シーン帰属率)を指定する� �知シーン帰属率指定手段2と、シーン別の補� ��パラメータを保存するシーン別補正パラメ� ��タ保存手段3と、シーン別の誤分類に対する 重み値(シーン別誤分類重みと呼ぶ。)を保存� ��るシーン別誤分類重み保存手段7と、シーン 別補正パラメータを合成する補正パラメータ 合成手段8と、合成した補正パラメータに基� �いて画像補正を実行する画像補正手段5を備� ��る。

 そして、補正パラメータ合成手段8は、入 力画像の各シーンカテゴリのシーン帰属率pc� ��、未知シーン帰属率と、シーン別補正パラ� ��ータと、シーン別誤分類重みとに基づいて� ��入力画像に適した補正パラメータを算出す� ��。

 具体的に説明すると、未知シーンを含め� ��シーン帰属率ベクトルを式(5)で表し、シー� ��別誤分類重みを式(7)で表す。式(7)において� ��w0は未知シーンにおける誤分類重みである� �w1~wnは、n個のシーン別の誤分類重みである� �

 シーンcに対する補正パラメータをkc、誤� ��類係数をrcとすると、合成補正パラメータ� �、式(8)を用いて算出される。

 誤分類係数rcは、シーンカテゴリ別の、� �認識に対する悪影響を反映する係数である� �誤分類係数rcの算出方法の一例を式(9)に示す 。

 具体的に説明すると、例えば、風景を夜景� ��間違えると出力画質が極端に悪くなるが、� ��景を風景と間違えたときにはあまり影響が� ��い、といった設定であったとする。この場� ��には夜景シーンに対する分類誤りのほうが� ��質への影響が大きいので、夜景分類の誤認� ��の影響をなるべく低減する必要がある。こ� ��ような場合には夜景シーンに対する誤分類� ��みwcを大きくしておくことにより、シーン� �属率が低い場合にはrcが小さくなって、合成 パラメータ算出への影響を低減させることが できる。

 このように、画像補正装置にシーン別誤� ��類重みを保存し、シーン帰属率pcと未知シ� �ン帰属率とシーン別誤分類重みとを用いて� �シーン別補正パラメータを合成することに� �り、シーンカテゴリの誤分類による悪影響� �、誤分類重み値を用いて低減することがで� �る。

 なお、本発明は上記記載に限定されるも� ��ではなく、本発明の趣旨を逸脱しない限り� ��おいて適宜変更可能である。