以下、本発明の第1の実施の形態に係る画 像処理装置1について図を参照しながら説明� �る。なお、この画像処理装置1は、撮像部にC CD(Charge Coupled Device)を使用した民生用のいわ ゆるデジタルカメラとしているが、撮像部に CCD等の撮像素子を用いる監視用カメラ、テレ ビ用カメラ用、内視鏡用カメラ等、他の用途 のカメラとしたり、顕微鏡用、双眼鏡用、さ らには核磁気共鳴撮影用等の画像診断装置等 、カメラ以外の機器にも適用できる。また、 画像処理方法については、画像処理装置1の� �明と併せて行うこととする。

 画像処理装置1は、人物等の映像を撮影す る撮像部2と、その撮像部2を駆動する制御系� ��3と、撮像部2で撮影された画像を処理する� �理部4とを有している。また、この実施の形� ��に係る画像処理装置1は、さらに処理部4で� �理された画像を記録する記録部5と、角速度� ��ンサ等からなり、撮影される画像の変化(劣 化)の要因となる変化要因情報を検知する検� �部6と、画像の変化等を生じさせる既知の変� ��要因情報を保存する要因情報保存部7を有す る。

 撮像部2は、レンズを有する撮影光学系や レンズを通過した光を電気信号に変換するCCD やCMOS(Complementary Metal Oxide Semiconductor)等の撮 像素子を備える部分である。この撮像部2は� �R(赤)、G(緑)、B(青)の三色のカラー画像信号� �生成し出力する。撮像部2は、撮像面にRGB別� ��フィルタがレイヤ配列されている撮像素子� ��1つ使用するいわゆる単板式のもの、あるい は、撮影光学系を通過した撮影光をダイクロ イックプリズムによりRGBの三色、別々の色光 に分離し、各色光毎に撮像素子を備えるいわ ゆる3板式のもの、いずれのもの(単板式/3板� �)でもよい。制御系部3は、撮像部2、処理部4� ��記録部5、検出部6、および要因情報保存部7� ��、画像処理装置1内の各部を制御するもので ある。

 処理部4は、画像処理プロセサで構成され ており、ASIC(Application Specific Integrated Circuit) のようなハードウェアで構成されている。こ の処理部4には、後述する比較用画像の画像� �度データ(以下、比較画像輝度データ)や比較 用画像の画像色差データ(以下、比較画像色� �データ)を生成する際の元となる画像が保管� ��れることもある。処理部4は、ASICのような� �ードウェアとして構成されるのではなく、� �フトウェアで処理する構成としても良い。� �録部5は、半導体メモリで構成されているが� ��ハードディスクドライブ等の磁気記録手段� ��、DVD等を使用する光記録手段等を採用して� ��良い。

 検出部6は、図2に示すように、画像処理� �置1の光軸であるZ軸に対して垂直方向となる X軸、Y軸の回りの速度を検出する2つの角速度 センサを備えるものである。ところで、カメ ラで撮影する際の手ぶれは、X方向、Y方向、Z 方向の各方向への移動やZ軸回りの回動も生� �るが、各変動により最も大きな影響を受け� �のは、Y軸回りの回転とX軸回りの回転である 。これら2つの変動は、ほんのわずかに変動� �ただけで、その撮影された画像は大きくぼ� �る。このため、この実施の形態では、図2のX 軸回りとY軸回りの2つの角速度センサのみを� ��置している。しかし、より完全を期すためZ 軸回りの角速度センサをさらに付加したり、 X方向やY方向への移動を検出するセンサを付� ��しても良い。また、使用するセンサとして� ��、角速度センサではなく、角加速度センサ� ��しても良い。

 要因情報保存部7は、撮影画像を変化させ る変化要因の情報であって撮影を開始する前 に判っている既知の変化要因データが保存さ れる。既知の変化要因の情報としては、例え ば、光学系の収差等である。なお、この実施 の形態では、要因情報保存部7には、光学系� �収差やレンズのひずみの情報が保存されて� �るが、後述する手ぶれのぼけの復元の際に� �それらの情報は、利用していない。

 次に、以上のように構成された画像処理� ��置1の処理部4の処理方法の概要を説明する� �

 処理部4では、先ず、処理対象となる撮影 画像データである原画像データImg″から、YUV の信号を分離する。すなわち、原画像データ Img″から、撮影画像の輝度情報である原画像 輝度データYImg″と、撮影画像の青色につい� �の色差情報である原画像色差データUImg″と� ��赤色についての色差情報である原画像色差� ��ータVImg″とを分離する。かかる分離を行う 処理ステップの後、原画像輝度データYImg″� �原画像色差データUImg″および原画像色差デ� ��タVImg″のそれぞれについて、図3に示す復� �処理を行う。図3は、原画像輝度データYImg″ の処理(復元処理)につて説明したフローであ� ��が、原画像色差データUImg″および原画像色 差データVImg″についても同様の復元処理を� �う。

 図3中、「YI ₀ 」は、任意の画像の輝度データである任意画 像輝度データであり、この任意画像輝度デー タYI ₀ は、処理部4の記録部に予め保存されている� �「YI ₀ ″」は、その任意画像輝度データYI ₀ の変化画像のデータを示し、比較のための画 像輝度データ(以下、比較画像輝度データ)で� ��る。「G」は、検出部6で検出された変化要� �の情報(=劣化要因の情報(点像関数))となる変 化要因データであり、処理部4の記録部に保� �されているものである。なお、原画像輝度� �ータYImg″は、撮影画像データから分離され� ��ものである。すなわち、撮影時の手ぶれ等� ��よる変化要因によって変化させられている� ��画像データImg″(撮影画像データ)から分離� �れた輝度データであり、この原画像輝度デ� �タYImg″も変化要因によって、変化させられ� ��いる。

 「Yδ」は、原画像輝度データYImg″と、比較 画像輝度データYI ₀ ″との差分のデータである差分輝度データで ある。「k」は、変化要因データGに基づく配� ��比である。「YI _0+n 」は、任意画像輝度データYI ₀ に、差分輝度データYδを変化要因データに基 づいて配分して新たに生成した復元画像輝度 データである。「YImg」は、原画像データImg� �の基となった、変化する前の本来の画像の� �像データ(以下、基画像データという)につい ての輝度データである(以下、基画像輝度デ� �タという。)。ここで、YImgとYImg″の関係は� �次の(1)式で現されるものとする。
  YImg″=YImg*G ・・・(1)
 「*」は、重畳積分を表わす演算子である。
 なお、差分輝度データYδは、対応する画素� ��単純な差分でも良い場合もあるが、一般的� ��は、変化要因データGにより異なり、次の(2) 式で表わされる。
  Yδ=f(YImg″,YI ₀ ,G)・・・(2)

 処理部4の処理ルーチンは、まず、任意画像 輝度データYI ₀ を初期データとして用意することから始まる (ステップS101)。この初期データである任意画 像輝度データYI ₀ としては、撮影した画像のデータである原画 像データImg″の輝度データを用いても良く、 また、黒ベタ、白ベタ、灰色ベタ、市松模様 等どのような画像の輝度データを用いても良 い。ステップS102で、(1)式のYImgの代わりに任� ��画像輝度データYI ₀ を入れ、この任意画像輝度データYI ₀ が変化要因データGにより変化させられた比� �画像輝度データYI ₀ ″を求める。次に、原画像輝度データYImg″� �比較画像輝度データYI ₀ ″とを比較し、差分輝度データYδを算出する (ステップS103)。

 次に、ステップS104で、この差分輝度データ Yδが所定値以上であるか否かを判断し、所定 値以上であれば、ステップS105で新たな任意� �像輝度データ(=復元画像輝度データ)YI _0+n を生成する処理を行う。すなわち、差分輝度 データYδを変化要因データGに基づいて、任� �画像輝度データYI ₀ に配分し、復元画像輝度データYI _0+n を生成する。その後、復元画像輝度データYI _0+n をステップS102における任意画像輝度データYI ₀ の代わりに、ステップS102,S103,S104を繰り返す� ��

 ステップS104において、差分輝度データYδが 所定値より小さい場合、処理を終了する(ス� �ップS106)。そして、処理を終了した時点での 復元画像輝度データYI _0+n を正しい輝度データ、すなわち劣化のない基 画像データImgの輝度データと推定し、その輝 度データを記録部5に記録する。なお、記録� �5には、任意画像輝度データYI ₀ や変化要因データGを記録しておき、必要に� �り処理部4に渡すようにしても良い。

 以上の処理方法の考え方をまとめると以� ��のようになる。すなわち、この処理方法に� ��いては、処理の解を逆問題としては解かず� ��合理的な解を求める最適化問題として解く� ��である。逆問題として解く場合、特許文献2 の記載にもあるように、理論上は可能である が、現実問題としては困難である。

 最適化問題として解くということは、次の� ��件を前提としている。
すなわち、
(1)入力に対する出力は、一意に決まる。
(2)出力が同じであれば、入力は同じである。
(3)出力が同じになるように、入力を更新しな がら反復処理することにより、解を収束させ ていく。

 このことを換言すれば、図4(A)(B)に示すよう に、原画像輝度データYImg″と近似である比� �画像輝度データYI ₀ ″(YI _0+n ″)を生成できれば、その生成の基データと� �る任意画像輝度データYI ₀ または復元画像輝度データYI _0+n は、原画像輝度データYImg″の基となる基画� �輝度データYImgに近似したものとなる。

 なお、この実施の形態では、角速度検出� ��ンサは5μsec毎に角速度を検出している。ま� ��、差分輝度データYδの判定基準となる値は� ��各データを8ビット(0~255)で表わした場合に� �この実施の形態では「6」としている。すな� ��ち、6より小さい、つまり5以下の時は、処� �を終了している。また、角速度検出センサ� �検出した手ぶれの生データは、センサ自体� �校正が不十分なときは、実際の手ぶれとは� �応しない。よって実際の手ぶれに対応させ� �ため、センサが校正されていないときは、� �ンサで検出した生データに所定の倍率をか� �たりする補正が必要とされる。

 次に、図3および図4に示す処理方法の詳� �を、図5,図6,図7,図8,図9,図10,図11および図12に 基づいて説明する。

 (手ぶれの復元アルゴリズム)
 手ぶれが無いとき、所定の画素に対応する� ��エネルギーは、露光時間中、その画素に集� ��する。また、撮影時の露光時間中に手ぶれ� ��より画像処理装置1がぶれた場合、光エネル ギーは、露光時間中にぶれた画素に分散する 。さらに、露光時間中のぶれが判れば、露光 時間中の光エネルギーの分散の仕方が判るた め、ぶれた画像からぶれの無い画像を作るこ とが可能となる。

 以下、簡単のため、横一次元で説明する� ��画素を左から順に、・・・,n-1,n,n+1,n+2,n+3,・ ・・とし、ある画素nに注目する。ぶれが無� �とき、露光時間中の光エネルギーは、その� �素に集中するため、光エネルギーの集中度� �「1.0」である。この状態を図5に示す。この� ��きの各画素についての輝度情報についての� ��エネルギー量分布を図6の表に示す。この図 6に示すものが、手ぶれによる劣化のない基� �像データImgについての輝度情報についての� �画像輝度データYImgとなる。なお、各データ� ��、8ビット(0~255)のデータで表わしている。

 露光時間中にぶれがあり、露光時間中の5 0%の時間はn番目の画素に、30%の時間はn+1番目 の画素に、20%の時間はn+2番目の画素に、それ ぞれぶれていたとする。光エネルギーの分散 の仕方は、図7に示す表の通りとなる。これ� �変化要因データGとなる。

 ぶれは、全ての画素で一様であるので、� ��ぶれ(縦ぶれ)が無いとすると、ぶれの状況� �、図8に示す表の通りとなる。図8中の「理想 画像」として示されるデータは、基画像デー タImgの基画像輝度データYImgで、「ぶれ画像� �として示されるデータが、撮影された画像� �ある原画像データImg″の原画像輝度データYI mg″となる。具体的には、たとえば「n-3」の� ��素の「120」は、画像変化の要因であるぶれ� ��ついての変化要因データGの「0.5」「0.3」「 0.2」の配分比に従い、「n-3」の画素に「60」� ��「n-2」の画素に「36」、「n-1」の画素に「24 」というように分散する。同様に、「n-2」の 画素のデータである「60」は、「n-2」に「30� �、「n-1」に「18」、「n」に「12」として分散 する。この原画像輝度データYImg″と、図7に� ��す変化要因データGからぶれの無い撮影画像 を算出することとなる。

 ステップS101に示す任意画像輝度データYI ₀ としては、どのようなものでも採用できるが 、この説明に当たっては、原画像輝度データ YImg″を用いる。すなわち、YI ₀ =YImg″として処理を開始する。図9の表中に「 入力」とされたものが任意画像輝度データYI ₀ に相当する。この任意画像輝度データYI ₀ 、すなわち原画像輝度データYImg″に、ステ� �プS102で変化要因データGを作用させる。すな わち、たとえば、任意画像データYI ₀ の「n-3」の画素の「60」は、n-3の画素に「30� �が、「n-2」の画素に「18」が、「n-1」の画素 に「12」がそれぞれ割り振られる。他の画素� ��ついても同様に配分され、「出力」として� ��される比較画像輝度データYI ₀ ″が生成される。その結果、ステップS103の� �分輝度データYδは、図9の最下欄に示すよう� ��なる。

 この後、ステップS104にて差分輝度データYδ の大きさを判断する。具体的には、差分輝度 データYδが全て絶対値で5未満となった場合� �処理を終了するが、図9に示す差分輝度デー� ��Yδは、この条件に合わないため、ステップS 105に進む。すなわち、差分輝度データYδを変 化要因データGを使用して、任意画像輝度デ� �タYI ₀ に配分して、図10中の「次回入力」として示� ��れる復元画像輝度データYI _0+n を生成する。この場合、第1回目であるため� �図10では、n=1として、YI ₀₊₁ と表している。

 差分輝度データYδの配分は、たとえば「n-3� ��の画素のデータ「30」に自分の所(=「n-3」の 画素)の配分比である0.5をかけた「15」を「n-3 」の画素に配分し、また「n-2」の画素のデー タ「15」にその「n-2」の画素に来ているはず� ��配分比である0.3をかけた「4.5」を配分し、� ��らに、「n-1」の画素のデータ「9.2」に、そ� ��「n-1」の画素に来ているはずの配分比であ� ��0.2をかけた「1.84」を配分する。「n-3」の画 素に配分された総量は、「21.34」となり、こ� ��値を任意画像輝度データYI ₀ (ここでは撮影画像の輝度データである原画� �輝度データYImg″を使用)にプラスして、復元 画像輝度データYI ₀₊₁ を生成している。この復元画像輝度データYI ₀₊₁ は、図10の表中の「次回入力」に相当するも� ��である。

 図11に示すように、この復元画像輝度デー� �YI ₀₊₁ がステップS102の入力画像のデータ(=任意画像 輝度データYI ₀ )になり、ステップS102が実行される。図11の� �中の「入力」は、復元画像輝度データYI ₀₊₁ に相当する。そして、ステップS103へと移行� �、新しい差分輝度データYδを得る。この新� �い差分輝度データYδの大きさをステップS104� ��判断し、所定値以上の場合、ステップS105で 新しい差分輝度データYδを前回の復元画像輝 度データYI ₀₊₁ に配分し、新しい復元画像輝度データYI ₀₊₂ を生成する。この復元画像輝度データYI ₀₊₂ は、図12の表中の「次回入力」に相当するも� ��である。その後、ステップS102の遂行により 、復元画像輝度データYI ₀₊₂ から新しい比較用画像輝度データYI ₀₊₂ ″が生成される。このように、ステップS102,S 103が実行された後、ステップS104へ行き、そ� �での判断によりステップS105へ行ったり、ス� ��ップS106へ移行する。このような処理を繰り 返す。

 この画像処理装置1では、処理するに当た り、ステップS104において、事前に処理回数� �、差分輝度データYδの判断基準値のいずれ� �一方または両者を設定できる。たとえば処� �回数として20回、50回等任意の回数を設定で� ��る。また、処理を停止させる差分輝度デー� ��Yδの値を8ビット(0~255)中の「5」と設定し、5 以下になったら処理を終了させたり、「0.5」 と設定し「0.5」以下になったら処理を終了さ せることができる。この設定値を任意に設定 できる。処理回数と判断基準値の両者を入力 した場合、いずれか一方が満足されたとき処 理は停止される。なお、両者の設定を可能と したとき、判断基準値を優先し、所定の回数 の処理では判断基準値内に入らなかった場合 、さらに所定回数の処理を繰り返すようにし ても良い。

 上述した図3に示す処理を、原画像色差デ ータUImg″および原画像色差データVImg″につ� ��てもそれぞれ行う。この場合、原画像色差� ��ータUImg″について処理を行う場合には、図 3に示すステップS101からステップS105の内容は 以下のようになる。

 先ず、ステップS101においては、任意画像輝 度データYI ₀ の変わりに、任意画像色差データUI ₀ が用意される。この任意画像色差データUI ₀ は、処理部4の記録部に予め保存されている� �うにしても良いが、ここでは、原画像デー� �Img″の色差データである原画像色差データUI mg″を用いる。

 ステップS102では、任意画像色差データUI ₀ に、変化要因データGを作用させ、比較画像� �差データUI ₀ ″を求める。そして、ステップS103では、原� �像色差データUImg″と比較画像色差データUI ₀ ″とを比較し、差分色差データUδを算出する 。

 ステップS104では、差分色差データUδが所定 値以上であるかどうか否かを判断し、所定値 以上でれば、ステップS105において、新たな� �意画像色差データ(=復元画像色差データ)UI ₀₊₁ を生成する処理が行われる。その後、復元画 像色差データUI ₀₊₁ をステップS102における任意画像色差データUI ₀ として、ステップ102、ステップ103、ステップ 104を繰り返す。

 そして、ステップS104において、差分色差デ ータUδが所定値より小さい場合、処理を終了 する(S106)。この処理が終了した時点での復元 画像色差データUI _0+n ″を正しい色差データ、すなわち、劣化のな い基画像データImgの青色についての色差情報 のデータと推定し、この復元画像色差データ UI _0+n ″を記録部5に記録する。

 次に、原画像色差データVImg″について、 図3に示すステップS101からステップS105の処理 を行う場合について説明する。

 先ず、ステップS101においては、任意画像輝 度データYI ₀ の変わりに、任意画像色差データVI ₀ が用意される。この任意画像色差データVI ₀ は、処理部4の記録部に予め保存されている� �うにしても良いが、ここでは、原画像デー� �Img″の色差データである原画像色差データVI mg″を用いる。

 ステップS102では、任意画像色差データVI ₀ に、変化要因データGを作用させ、比較画像� �差データVI ₀ ″を求める。そして、ステップS103では、原� �像色差データVImg″と比較画像データVI ₀ ″とを比較し、差分色差データVδを算出する 。

 ステップS104では、差分色差データVδが所定 値以上であるかどうか否かを判断し、所定値 以上でれば、ステップS105において、新たな� �意画像色差データ(=復元画像色差データ)VI ₀₊₁ を生成する処理が行われる。その後、復元画 像色差データVI ₀₊₁ をステップS102における任意画像色差データVI ₀ として、ステップ102、ステップ103、ステップ 104を繰り返す。

 そして、ステップS104において、差分色差デ ータVδが所定値より小さい場合、処理を終了 する(S106)。この処理が終了された時点での復 元画像色差データVI _0+n ″を正しい色差データ、すなわち、劣化のな い基画像データImgの赤色についての色差情報 のデータと推定し、この復元画像色差データ VI _0+n ″を記録部5に記録する。

 なお、図3に示す処理の変形例や、図4か� �図12を参照しながら説明した原画像輝度デー タの処理は、そのまま、原画像色差データUIm g″および原画像色差データVImg″の処理に適� ��することができる。

 以上のようにして求められ、そして、記録� ��5に記録されている復元画像輝度データYI _0+n ″、復元画像色差データUI _0+n ″および復元画像色差データVI _0+n ″をRGBの信号に変換し合成することで、ぶれ が解消またはほとんど解消された復元画像デ ータI _0+n ″を生成する。そして、この復元画像データ I _0+n ″を、基画像データImgと推定し、図示外のデ ィスプレー等の表示部に表示したり、あるい は、記録部5に記録する。

 ところで、原画像データImg″からYUVの信号( すなわち、原画像輝度データYImg″、原画像� �差データUImg″および原画像色差データVImg″ )の分離は、例えば、次の式により行う。
 
 YImg″=0.29891×R+0.58661×G+0.11448×B ・・・ (3)
 UImg″=-0.16974×R‐0.33126×G+0.50000×B ・・・ (4 )
 VImg″=0.50000×R-0.41869×G+0.08131×B ・・・ (5)
 
 ここで、R、G、Bは、原画像データImg″のR(� �)、G(緑)、B(青)の色成分についての光エネル� ��ー量(輝度)のデータである。そして、上述� �た図3の処理により復元された結果の、復元� ��像輝度データYI _0+n ″、復元画像色差データUI _0+n ″および復元画像輝度データVI _0+n ″を、例えば、次の式により、RGBの信号に変 換する。
 
 R=YI _0+n ″+1.40200×VI _0+n ″ ・・・ (6)
 G=YI _0+n ″-0.34414×UI _0+n ″-0.71414×VI _0+n ″ ・・・ (7)
 B=YI _0+n ″+1.77200×UI _0+n ″ ・・・ (8)
 
 そして、上記の式により求めたRGBの信号を� ��成することで、復元画像I _0+n ″を求める。なお、上記(3)から(8)式は、例示 であり、他の変換式を採用してもよい。

 ここで、RGB信号から「UImg″」および「VImg� �」への変換式である(4)(5)式において、減算� �演算を行う項がある。そのため、「UImg″」� ��「VImg″」が負の値となる場合がある。この 場合には、8ビットを0から255と設定した場合� ��は、図3の処理に支障がでる。そこで、8ビ� �トの値の-128から127とすることで、「UImg″」 、「VImg″」が負の値となっても対応するこ� �ができる。また、原画像色差データUImg″、� ��画像色差データVImg″の復元処理において、 繰り返し処理の途中で、「UI _0+n ″」あるいは「VI _0+n ″」が、-128から127の範囲を超えた場合につ� �ては、負側(マイナス側)に越えた分は、-128� �、逆に、正側(プラス側)に超えた分は127とし て処理する。なお、「YI _0+n ″」についても、255を越える値が復元された 場合には、255に制限する処理を行う。このよ うにすることで、異常な処理がされることや おかしな色に復元されることを防止すること ができる。

 また、(6)(7)(8)式において、「UI _0+n ″」、「VI _0+n ″」の値によっては、計算式上、RGBの値が負 になってしまうことがあるが、現実的にはRGB の値が負になってしまうことはない。この場 合にも、0から255の範囲を超えた部分につい� �は、負側(マイナス側)に越えた分は、0に、� �に、正側(プラス側)に超えた分は255に補正し た値をRGBの値とし、このRGBとして処理する。 あるいは、さらに、補正したRGBの値から、(3) (4)(5)式により、「YImg″」、「UImg″」、「VImg ″」を算出し、これらの「YImg″」、「UImg″� ��、「VImg″」により図3に示す復元処理を行� �、再び、(6)(7)(8)の式によりRGBを算出する。� �して、RGBの値が正の値になるまで、RGBの値� �補正とこの補正されたRGBの値に基づく「YImg� ��」、「UImg″」、「VImg″」を算出および図3� ��示す復元処理、そして、RGBの算出という処� ��を繰り返すようにしてもよい。

 ところで、人間の目は、色の変化に対する� ��度は、明るさの変化に対する感度よりも低� ��。すなわち、撮影された画像を見た人間の� ��覚は、輝度の変化に対する感度に比べて、� ��の変化についての感度は鈍い。したがって� ��色差についての情報量を低めにしても、人� ��の視覚には判別できない場合がある。そこ� ��、色差に関するデータである原画像色差デ� ��タUImg″および原画像色差データVImg″につ� �ては、圧縮処理を行いデータ量を少なくし� �圧縮処理された原画像色差データUImg″およ� ��原画像色差データVImg″について上述した復 元処理を行うことにより、復元処理の処理速 度を速めることができる。また、圧縮処理を 行うことによりデータ量が少なくなるので、 記録部5あるいは処理部4の記録部の記録容量� ��減らすことができる。このように圧縮され� ��データに基づいて復元処理された結果の復� ��画像色差データUI _0+n ″および復元画像輝度データVI _0+n ″は、復元の精度が低いものとなっている。

 しかしながら、人間の目に敏感な明るさに� ��する原画像輝度データYImg″については、圧 縮処理を行うことなく復元処理を行っている 。すなわち、復元画像データI _0+n ″は輝度の成分については、精度高く復元さ れている。そのため、復元画像データI _0+n ″に基づいて表示される映像は、人間の目に は、良好に復元された画像として認識するこ とができる。

 なお、圧縮の方法としては、原画像デー� ��輝度データYImg″については8ビットで処理� �るのに対し、原画像色差データUImg″および� ��画像色差データVImg″については、6ビット� �処理するというようにデータのビット数を� �くして処理する方法の他、処理画素を間引� �(例えば、処理画素を1つ置き、あるいは2つ� �きにする)方法がある。処理画素を間引いた� ��合には、RGBの信号に変換した後、処理され� ��画素を用いて、処理されなかった画素のRGB� ��信号を補完する。

 また、スッテプS104において、差分輝度デー タYδおよび差分色差データUδ,Vδに判断基準� �を設定している場合には、原画像色差デー� �UImg″および原画像色差データVImg″の復元処 理については、差分色差データUδ,Vδについ� �の判断基準値を差分輝度データYδに対する� �断基準値よりも差分のデータが大きいもの� �あっても、復元処理を終了(ステップS106)さ� �るようにすることで、復元処理の処理時間� �短縮化を図るようにしてもよい。原画像色� �データUImg″および原画像色差データVImg″に ついては、色差に関するデータであるため、 原画像輝度データYImg″ほど精度よく復元し� �くても、復元画像データI _0+n ″に基づいて表示される映像は、人間の目に は、良好に復元された画像として認識するこ とができる。したがって、例えば、上記の説 明では、差分輝度データYδが5未満になった� �合に、処理を終了(ステップS106)することと� �ているが、原画像色差データUImg″および原� ��像色差データVImg″の復元処理については、 差分色差データUδ,Vδが10未満になった場合に 処理を終了(ステップS106)することとすること で、原画像色差データUImg″および原画像色� �データVImg″の復元処理の短時間化を図って� ��良い。

 また、ステップS104において、事前に処理 回数を設定している場合には、原画像輝度デ ータYImg″については、たとえば処理回数と� �て20回と設定するのに対し、原画像色差デー タUImg″および原画像色差データVImg″の復元� ��理については、処理回数として10回と設定� �てもよい。このようにすることで、原画像� �差データUImg″および原画像色差データVImg″ の復元処理の短時間化を図ることができ、ひ いては、原画像データImg″の復元処理の時間 を短縮することができる。なお、2つの原画� �色差データUImg″,VImg″についての繰り返し� �理回数を異ならせてもよい。

 以上に説明した実施の形態の説明の中で� ��、要因情報保存部7に保存されている情報を 利用しなかったが、ここに保存されている既 知の変化要因、たとえば光学収差やレンズの ひずみ等のデータを使用するようにしても良 い。その場合、たとえば、先の例(図3)の処理 方法では、ぶれの情報と光学収差の情報を合 わせて1つの変化要因として捉えて処理を行� �のが好ましいが、ぶれの情報での処理を終� �した後に光学収差の情報での補正を行うよ� �にしても良い。また、この要因情報保存部7� ��設置しないようにして、撮影時の動的要因� ��たとえばぶれのみで画像を修正したり復元� ��たりしても良い。

 以上、本発明の実施の形態に係る画像処� ��装置1について説明したが、本発明の要旨を 逸脱しない限り種々変更実施可能である。た とえば、処理部4で行った処理は、ソフトウ� �アで構成しているが、それぞれ、一部の処� �を分担して行うようにした部品からなるハ� �ドウェアで構成しても良い。

 また、処理対象となる原画像としては撮� ��画像の他に、その撮影画像を色補正したり� ��フーリエ変換したり等、加工を施したもの� ��しても良い。さらに、比較用画像データと� ��ては、変化要因データGを使用して生成した データ以外に、変化要因データGを使用して� �成したものに色補正を加えたり、フーリエ� �換したりしたデータとしても良い。また、� �化要因データとしては、手ぶれによる画像� �劣化の要因のデータ(情報)の他に、単に画像 を変化させる情報や、劣化とは逆に、画像を 良くする情報を含であってもよい。

 また、上述した各処理方法は、プログラ� ��化されても良い。また、プログラム化され� ��ものが記憶媒体、たとえばCD、DVD、USBメモ� �に入れられ、コンピュータによって読み通� �可能とされても良い。この場合、画像処理� �置1は、その記憶媒体内のプログラムを読み� ��む読み込み手段を持つこととなる。さらに� ��、そのプログラム化されたものが画像処理� ��置1の外部のサーバに入れられ、必要により ダウンロードされ、使用されるようにしても 良い。この場合、画像処理装置1は、その記� �媒体内のプログラムをダウンロードする通� �手段を持つこととなる。