[第1の実施形態]
 以下に、本発明に係るノイズ除去装置並び� ��プログラムおよび方法の第1の実施形態につ いて、図面を参照して説明する。
 図1は、本実施形態に係るノイズ除去装置が 備える機能を展開して示した機能ブロック図 である。
 本実施形態に係るノイズ除去装置は、入力� ��像に対して複数の方向に関する評価値を計� ��する評価値計算部103と、評価値計算部103よ� ��与えられた評価値からエッジ成分の方向を� ��別する方向判別処理部105と、評価値計算部1 03より与えられた評価値から平坦部かエッジ� ��かを判別する平坦度判別処理部107と、方向� ��別処理部105の結果に基づいてフィルタ処理� ��行う方向性フィルタ処理部101と、平坦度判� ��処理部107の結果に基づいてコアリング処理� ��行うコアリング処理部102とを備えている。

 上記構成を有するノイズ除去装置におい� ��、入力画像100は、方向性フィルタ処理部101� ��より、エッジ方向に沿った方向にフィルタ� ��理がなされた後、コアリング処理部102によ� ��、平坦部での残留ノイズがエッジ部に比べ� ��より強く除去され、出力画像109となる。こ� ��で、方向性フィルタ処理部101で適用される� ��ィルタ特性は、方向判別処理部105の出力で� ��る方向判別結果106により制御される。

 評価値計算部103は、方向判別の候補とな� ��方向それぞれに対応する評価値104を、入力� ��像100を参照して計算し、方向判別処理部105� ��、この評価値104を基にして方向判別処理を� ��う。また、評価値104は平坦度判別処理部107� ��も出力され、平坦度判別処理部107は画像の� ��目画素が平坦部に位置するのかエッジ部に� ��置するのかを表す平坦度判別処理結果108を� ��アリング処理部102に出力し、コアリング処� ��の強度を制御する。

 以下、各処理部の詳細について主に図5を参 照して説明する。
 まず、評価値計算部103と方向判別処理部105� ��ついて説明する。ここでは、ある注目画素� ��おけるエッジの方向を判別する際に、注目� ��素の周囲5×5の画素ブロックを用いるとし、 判別するエッジの方向を4方向とした場合を� �として説明する。なお、このブロックサイ� �は必要に応じて7×7等他のサイズにすること� ��可能であり、方向数については必要に応じ� ��8方向等に増やすことも可能である。

 図5のA00~A44を、入力画像100における画素ブ� �ックの画素とみなし、中心画素A22が注目画� �位置に相当するものとする。方向判別にお� �ては、方向1から方向4までについて、どれが 最もエッジに沿った方向であるかを決定する ため、評価値計算部103において、それぞれの 方向について評価値を計算する。評価値とし ては様々な物が考えられるが、本実施形態に おいては以下の評価値を使用する。
 E1 = | A22-A23 | + | A22-A24 | + | A22-A21 |  + | A22-A20 |
 E2 = | A22-A13 | + | A22-A04 | + | A22-A31 |  + | A22-A40 |
 E3 = | A22-A12 | + | A22-A02 | + | A22-A32 |  + | A22-A42 |
 E4 = | A22-A11 | + | A22-A00 | + | A22-A33 |  + | A22-A44 |

 E1からE4はそれぞれ方向1から方向4に対応� ��た評価値104であり、評価する方向において� ��ッジが存在する場合はこの評価値104が大き� ��なり、エッジが存在しない場合には小さく� ��る特徴を有する。方向判別処理部105では、� ��価値104のE1からE4の中で最小値を検出し、そ れに対応する方向はエッジが存在しないと判 断することで、その方向をエッジに沿った方 向と判定し、方向判別結果106とする。

 次に、評価値計算部103と平坦度判別処理部1 07について説明する。
 平坦度判別処理部107は、評価値計算部103が� ��算した評価値104を基に、画像の注目画素が� ��坦部に位置するのかエッジ部に位置するの� ��を表す平坦度判別処理結果108を出力する。� ��実施形態における評価値E1からE4は、当該方 向がエッジをまたぐ場合に値が大きくなると いう特性を有する。そこで、平坦度判別処理 部107は、E1からE4の最大値を計算し、この最� �値をもって平坦度を表す平坦度判別処理結� �108とする。この値が大きければ、注目画素� �辺に強いエッジ信号が存在することとなり� �この値が小さければ、注目画素周辺には強� �エッジ信号が存在しないこととなり、平坦� �としての特性が強いこととなる。

 コアリング処理部102は、平坦度判別処理� ��果108を受け取り、この値に応じて当該注目� ��素におけるコアリング閾値を設定し、コア� ��ング処理を行う。平坦度判別処理結果108が� ��さい値の場合には、当該注目画素が平坦部� ��存在するので、コアリング閾値を大きくし� ��平坦度判別処理結果108が大きい値の場合に� ��、エッジ部に相当することとなるので、コ� ��リング閾値を小さくする。このようなコア� ��ング閾値と平坦度判別処理結果108との関係� ��図2に示されている。例えば、コアリング処 理部102は、予め設定された図2に示す関係を� �アリング閾値設定テーブルとして記憶して� �き、算出された平坦度判別処理結果108に対� �するコアリング閾値をコアリング閾値設定� �ーブルから読み出すことによって、コアリ� �グ閾値を設定する。

 以上のように、本実施形態に係るノイズ� ��去方法によれば、方向判別処理と平坦部判� ��処理において評価値演算を共通化すること� ��、平坦部において問題となる模様状のノイ� ��を低演算量、低回路規模で除去することが� ��能となる。

〔第2の実施形態〕 
 次に、本発明の第2の実施形態について、図 3を用いて説明する。
 本実施形態に係るノイズ除去装置並びにプ� ��グラムおよび方法が第1の実施形態と異なる 点は、入力された画像を少なくとも2つの帯� �画像に分割し、各帯域画像それぞれについ� �、評価値を計算し、該評価値を用いて方向� �別処理および平坦度判別処理を行う点であ� �。以下、本実施形態のノイズ除去方法およ� �プログラム並びに装置について、第1の実施� ��態と共通する点については説明を省略し、� ��なる点について主に説明する。

 図3は本実施形態に係るノイズ除去装置が備 える機能を展開して示した機能ブロック図で ある。ここでは、ラプラシアンピラミッドに よる多重解像度変換に基づくノイズ除去方法 を例として説明する。
 本実施形態に係るノイズ除去装置は、ラプ� ��シアンピラミッドにより多重解像度変換を� ��す多重解像度変換部と、各帯域の信号に対� ��てノイズ除去をするNR処理部とを備えてい� �。

 上記多重解像度変換部は、複数段のフィル� ��処理・縮小処理部201,210,218と、各フィルタ� �理・縮小処理部201,210,218に対応して設けられ る拡大処理部202,211,219と、ノイズ除去後の画� ��を用いて信号を再合成する合成部とを備え� ��いる。
 このような構成において、入力画像200は、� ��ィルタ処理・縮小処理部201にてローパスフ� ��ルタ処理後に縮小される。この処理により� ��画像サイズは水平方向、垂直方向共に半分� ��なる。縮小された画像は、次段のフィルタ� ��理・縮小処理部210に供給され、順次さらに� ��小されていく。

 このように縮小された画像は、拡大処理� ��202にて元の画像サイズに拡大された後、減� ��器203にて帯域画像204が作成される。この帯� ��画像204は、フィルタ処理・縮小処理部201で� ��いられたローパスフィルタ特性により遮断� ��れた高域部分の信号に相当する。この高域� ��分を多く含む帯域画像204に対して、NR処理� �205にてノイズ除去処理を施す。次段の処理� �も同様に、フィルタ処理・縮小処理部210、� �大処理部211、減算器212により、次段に相当� �る帯域画像が生成され、これに対してNR処理 部213でノイズ除去処理を適用する。このよう にして順次の帯域分割された信号に対してノ イズ除去処理が適用されることとなる。

 NR処理部221の出力は、低域側の信号と加� �器224で加算され、拡大処理部225によって拡� �された後、高域側の処理に送られる。この� �うにして順次低域側から信号が再合成され� �いき、最終的に最高域の信号が加算器209に� �り加算されて、出力画像226となる。

 図4は、NR処理部205の詳細を示した図である� ��なお、他の帯域におけるNR処理部であるNR処 理部213やNR処理部221等は、NR処理部205と同様� �構成なので説明を省略する。
 帯域画像204は、方向性フィルタ処理部301に� ��り、エッジ方向に沿った方向にフィルタ処� ��がなされた後、コアリング処理部302により� ��平坦部での残留ノイズがエッジ部に比べて� ��り強く除去され、出力信号206となる。方向� ��フィルタ処理部301で適用されるフィルタ特� ��は、方向判別処理部305の出力である方向判� ��処理結果306により制御される。

 方向判別処理部305では、評価値計算部303� ��て計算された評価値304を基に、方向判別処� ��が実行される。また、評価値304は平坦度判� ��処理部307にも出力され、平坦度判別処理部3 07は画像の注目画素が平坦部に位置するのか� ��ッジ部に位置するのかを表す平坦度判別処� ��結果308をコアリング処理部302に出力し、コ� ��リング処理の強度を制御する。

 評価値計算部303は、第1の実施形態における 評価値計算部103と同様に、注目画素における エッジの方向を判別するための評価値を計算 するものである。
 ここで、第1の実施形態においては、入力画 像100から画素ブロックを生成し(A00~A44)、評価 値E1~E4を計算していた。これに対し、本実施� ��態においては、帯域画像204を含む高域画像( 第1の画像)207と、低域画像(第2の画像)208から� ��素ブロックを生成し、第1の実施形態と同様 の評価値を生成するものとする。

 当該画素ブロックを生成するにあたっては� ��低域画像208のみから画素ブロックを生成す� ��ば、ノイズによる影響の少ない方向判別を� ��現できる。また、高域画像207のみから画素� ��ロックを生成すれば、ノイズによる影響は� ��るものの、エッジ成分を含む高域成分を有� ��ることから細かい構造物に対応した方向判� ��が実現できる。あるいは、高域画像207と低� ��画像208を組み合わせて画素ブロックを生成� ��ることも可能である。例えば、高域画像207� ��低域画像208との加重平均を行うことで、双� ��の特性を有する画像(第3の画像)を生成する� ��とが可能である。高域画像207と低域画像208� ��組み合わせた場合には、高域画像207および� ��域画像208の双方の特性を利用することによ� ��て、入力画像の細かい構造の変化にも対応� ��つつ、ノイズに影響されない安定した方向� ��別を実現することができる。
 なお、評価値計算部303は、上述した複数の� ��素ブロックの生成方法を帯域画像204の特性� ��に応じて選択可能な構成としてもよい。

 評価値304は、第1の実施形態におけるE1か� ��E4と同様であり、それぞれ方向1から方向4に 対応しており、評価する方向においてエッジ が存在する場合はこの評価値304が大きくなり 、エッジが存在しない場合には小さくなる特 徴を有する。方向判別処理部305では、評価値 304のE1からE4の中で最小値を検出し、それに� �応する方向はエッジが存在しないと判断す� �ことで、その方向をエッジに沿った方向と� �定し、方向判別処理結果306とする。

 評価値計算部303において計算された評価� ��304は、第1の実施形態と同様に、平坦度判別 処理部307において利用され、画像の注目画素 が平坦部に位置するのかエッジ部に位置する のかを表す平坦度判別処理結果308が計算され る。コアリング処理部302は、第1の実施形態� �同様に、平坦度判別処理結果308を受け取り� �この値に応じて当該注目画素におけるコア� �ング閾値を設定し、コアリング処理を行う� �

 以上のように、本実施形態に係るノイズ除� ��装置によれば、多重解像度変換に基づくノ� ��ズ除去と、方向性フィルタ処理を組み合わ� ��て実現することによって、より効率的にノ� ��ズを除去することが可能となる。
 また、多重解像度変換に基づくノイズ除去� ��、方向性フィルタ処理によりエッジ保存性� ��の高いノイズ除去を組み合わせて実現する� ��でも、本実施形態のように各帯域におけるN R処理において、方向判別処理と平坦部判別� �理における評価値演算を共通化することで� �平坦部において問題となる模様状のノイズ� �低演算量、低回路規模で除去することが可� �となる。

 なお、本実施形態においては、方向判別処� ��部305と平坦度判別処理部307で使用する評価� ��304を同一のものとしているが、これを異な� ��ものとした場合でも、同一の評価値計算部3 03にて計算できるのであれば、低回路規模で� ��現するという効果は依然として得ることが� ��きる。例えば、方向判別処理においては、� ��像の細かい構造に対応した方向判別処理を� ��現するために、その評価値は高域画像207を� ��いて計算し、平坦度判別処理はノイズの影� ��を受けにくい安定した判別処理を実現する� ��めに、低域画像208を用いて計算することも� ��能である。この場合、評価値計算部303の回� ��を双方の評価値演算に利用することにより� ��回路規模の削減が可能となる。
 また、本実施形態においては、複数の帯域� ��像に分割して各帯域画像にノイズ除去を行� ��方法として、ラプラシアンピラミッドによ� ��多重解像度変換に基づくノイズ除去方法を� ��として説明したが、この例に限定されるも� ��ではない。

〔第3の実施形態〕 
 次に、本発明の第3の実施形態について、図 6を用いて説明する。
 本実施形態は、前述の各実施形態において� ��明したノイズ除去装置をデジタルカメラ等� ��撮像システムに組み込んだ形態である。以� ��に、本実施形態に係る撮像システムついて� ��6を参照して説明する。なお、前述の各実施 形態と共通する点については説明を省略し、 異なる点について主に説明する。

 本実施形態に係る撮像システムは、レン� ��系500と、CCD501と、画像処理部502と、ノイズ� ��去部503と、画像圧縮部504と、記録メディア5 05と、ノイズ除去条件設定部506と、ノイズ除� ��パラメータ設定部507とを主な構成要素とし� ��備えている。

 レンズ系500を通してCCD501で撮像された画� ��信号は、画像処理部502においてホワイトバ� ��ンス処理やエッジ強調処理、色信号処理等� ��施された後、ノイズ除去部503においてノイ� ��除去がなされる。ノイズが除去された画像� ��号は、画像圧縮部504でJPEG形式等に圧縮され た後、メモリーカード等の記録メディア505に 保存される。ノイズ除去部503は、前述の各実 施形態において説明したノイズ除去装置を適 用したものである。

 ノイズの除去にあたっては、画像処理部5 02が出力する画像信号をRGB信号からなる画像� ��し、ノイズ除去部503において3面からなるRGB 画像に対して個別にノイズ除去処理をしても よいし、画像処理部502が出力する信号をYCbCr� ��して、ノイズ除去部503において3面からなる YCbCr画像に対して個別にノイズ除去処理をし� ��もよい。さらには、画像処理部502はRGB信号� ��出力し、ノイズ除去部503内でRGB信号をYCbCr� �号等に変換した後に、3面からなるYCbCr画像� �対して個別にノイズ除去処理をしてもよい� �また、ノイズ除去部503と画像処理部502は本� �施形態のように分離する必要はなく、例え� �、画像処理部502のエッジ強調処理とノイズ� �去部503の処理順序を入れ替えることも可能� �ある。また、ノイズ除去部503は、上述した� �ずれかの実施形態に係るノイズ除去装置が� �える機能を有している。

 ノイズ除去部503の動作は、ノイズ除去パ� ��メータ設定部507により制御される。ノイズ� ��去パラメータ設定部507には、ノイズ除去パ� ��メータとして、必要とされるノイズ除去の� ��度に応じた複数のパラメータ候補が工場出� ��時に記憶されている。ノイズ除去パラメー� ��設定部507は、ユーザのノイズ除去強度に関� ��る設定値や、ノイズ除去条件設定部506から� ��ISO感度情報等に基づいてノイズ除去の強度� ��決定し、当該複数のパラメータ候補から適� ��なパラメータを選択してノイズ除去部503の� ��イズ除去動作を制御する。

 このノイズ除去に関するパラメータの中に� ��、本発明に関する構成の選択等も含まれる� ��ととしてもよい。例えば、第2の実施形態に 対応するノイズ除去方法をノイズ除去部503に 適用した場合、以下のようなパラメータを候 補として、ノイズ除去パラメータ設定部507に 記憶させてもよい。
 第2の実施形態においては方向判別に使用す る参照画像を、高周波成分を含む高域画像207 と低周波成分からなる低域画像208の組み合わ せにより生成していた。この組み合わせに関 する選択として、注目画素位置のみ高域画像 207の画素とするのか、注目画素の周辺3×3画� �とするのか、あるいは全てを高域画像207、� �るいは、低域画像208とするのかというよう� �選択がありうる。この選択により、細かい� �造の変化にも対応した方向判別と、ノイズ� �影響されない安定した方向判別のバランス� �決定される。したがって、図7に示すように� ��パラメータ候補として上述のような参照画� ��の生成方法を複数設定しておき、予め設定� ��れた条件に基づいて参照画像を生成しても� ��い。ノイズ除去パラメータ設定部507は、適� ��な構成をユーザ設定やISO感度情報等から選� ��し、ノイズ除去部503を制御する。

 なお、多重解像度の各帯域における設定は� ��一である必要はなく、高域における設定と� ��域における設定が異なっていても良い。例� ��ば、各帯域画像信号について図7に示す条件 を予め設定しておき、該条件に基づいて参照 画像を生成しても良い。
 また、ノイズのレベルによって多重解像度� ��換の縮小回数を予め設定しておき、入力画� ��信号のノイズの大きさに応じて多重解像度� ��換の縮小回数を決定してもよい。
 さらに、ノイズ除去部503は、前述の各実施� ��態のどれか一つを選択するのではなく、パ� ��メータによりいずれの実施形態に係るノイ� ��除去方法を選択することとしてもよい。例� ��ば、撮像条件(ISO感度等)に応じて、多重解� �度変換における解像度変換の回数を変化さ� �る。

 以上のように、少なくともいずれかの実� ��形態に係るノイズ除去方法を採用して、撮� ��システムを構成することにより、入力画像� ��細かい構造の変化にも対応しつつ、ノイズ� ��影響されない安定した方向判別を実現する� ��とができる。また、この構成をユーザ設定� ��ISO感度情報等により適宜変更することによ� ��、撮像される画像のノイズレベルやユーザ� ��好みに適した画像を得ることが可能な撮像� ��ステムとすることが可能となる。

 なお、上述した各実施形態では、ノイズ� ��去装置としてハードウェアによる処理を前� ��としていたが、このような構成に限定され� ��必要はない。例えば、別途ソフトウェアに� ��処理する構成も可能である。この場合、ノ� ��ズ除去装置は、CPU、RAM等の主記憶装置、上� ��処理の全て或いは一部を実現させるための� ��ログラムが記録されたコンピュータ読み取� ��可能な記録媒体を備えている。そして、CPU� ��上記記憶媒体に記録されているプログラム� ��読み出して、情報の加工・演算処理を実行� ��ることにより、上述のノイズ除去装置と同� ��の処理を実現させる。ここでコンピュータ� ��み取り可能な記録媒体とは、磁気ディスク� ��光磁気ディスク、CD-ROM、DVD-ROM、半導体メモ リ等をいう。

 上記のソフトウェアによる具体的な処理に� ��いて、図8に示すフローチャートに基づいて 以下に説明する。
 まず、入力画像信号は、多重解像度変換が� ��われることにより順次縮小され、複数の縮� ��画像が生成される(S1)。
 次に、各縮小画像は、縮小前の画像サイズ� ��拡大され(S2)、縮小前のそれぞれの画像との 減算が行われることにより、ノイズ除去の対 象となる帯域画像がそれぞれ作成される(S3)� �
 次に、作成された各帯域画像に対してノイ� ��除去処理が施される(S4)。
 そして、ノイズ除去がされた後の各帯域画� ��は再合成され、再合成された画像は出力画� ��として出力される(S5)。

 次にノイズ除去処理(S4)の詳細について主に 図9を参照して説明する。ここでは、一例と� �て、上述の処理において作成された複数の� �域画像のうち、図3に示される帯域画像204の� ��イズ除去処理について説明する。
 まず、ノイズ除去処理では、エッジに沿っ� ��方向を判別するために、各方向について評� ��値の計算が行われる(S11)。この処理では、� �域画像207と低域画像208とを用いて参照画像� �作成し、この参照画像の各方向について評� �値の計算が行われる。
 次に、各方向についての評価値に基づいて� ��向判別処理が行われる(S12)。具体的には各� �価値の中で最小値を検出し、該評価値に対� �する方向にはエッジが存在しないと判断さ� �る。これにより、該評価値に対応する方向� �エッジに沿った方向であると判定される。
 次に、方向判別処理の結果が示すエッジの� ��向に基づきフィルタ係数等が決定され、ノ� ��ズ除去の対象となる帯域画像204に対してフ� ��ルタ処理が施される(S13)。
 次に、各方向についての評価値に基づいて� ��坦度判別処理が行われる(S14)。具体的には� �各評価値の中で最大値を検出し、該評価値� �大きければ注目画素周辺に強いエッジ信号� �存在することとなり、該評価値が小さけれ� �強いエッジ信号が存在しないと判断される� �これにより、注目画素が平坦部に位置する� �か、あるいはエッジ部に位置するのかを表� �平坦度が判定される。
 
 次に、フィルタ処理が施された帯域画像に� ��して、微小信号をゼロにするようなコアリ� ��グ処理が行われ、ノイズ除去がされた帯域� ��像206として出力される(S15)。

 なお、上記の例において、多重解像度変換� ��一段目の処理において作成される帯域画像2 04について説明したが、多重解像度変換の二� ��目以降の処理において作成される各帯域画� ��においても同様の処理が行われる。
 さらに、上記において、第2の実施形態に対 応するノイズ除去方法について説明したが、 他の実施形態についても同様に、ソフトウェ アにて処理することが可能である。