以下、本発明の実施形態について図面を� ��照して説明する。

実施形態1
 図1は、本発明の第1の実施形態の画像処理� �ステムの例を示すブロック図である。第1の� ��施形態の画像処理システムは、例えば、プ� ��グラム制御により動作するコンピュータ100� ��よって実現される。コンピュータ100は、中� ��処理装置(プロセッサ、データ処理装置でも よい。)を備える計算機である。

 画像処理システムとなるコンピュータ100� ��、輝度勾配算出部102と、輪郭抽出部103と、� ��郭補正部104とを含む。

 輝度勾配算出部102には、補間処理(例えば 、バイリニア補間やバイキュービック補間)� �よって拡大された画像(以下、補間画像と記� ��。)Saが入力される。補間画像Saは、拡大前� �画像の画素間に内挿された画素を含む拡大� �れた画像である。輝度勾配算出部102は、補� �画像Saの画素毎に、輝度勾配の強度(以下、� �度勾配強度)、および輝度勾配の方向(以下、 輝度勾配方向)を計算する。なお、ここでは� �低解像度画像(拡大前の画像)から拡大後の画 像への拡大率が一定である場合を例にして説 明する。

 輝度勾配とは、画素の輝度が、その画素� ��近傍の画素に対してどれだけ変化している� ��を表す値である。例えば、座標が1変化した ときの、画素の輝度の変化量である。輝度勾 配が大きいほど、輝度の変化量が大きいこと になる。輝度勾配は、x軸方向(水平方向)、y� �方向(垂直方向)それぞれについて計算される 。図2は、輝度勾配強度および輝度勾配方向� �示す説明図である。図2では、画像中の一つ� ��画素71に着目して輝度勾配強度および輝度� �配方向を説明するが、他の各画素について� �同様に輝度勾配強度および輝度勾配方向が� �出される。一つの画素71における水平方向の 輝度の変化量を表す値が、画素71におけるx軸 方向の輝度勾配である。図2に示すベクトル72 は、大きさが画素71におけるx軸方向の輝度勾 配であり、x軸方向を向くベクトルである。� �下、このベクトル72をx軸方向輝度勾配ベク� �ルと記す。また、画素71における垂直方向の 輝度の変化量を表す値が、画素71におけるy軸 方向の輝度勾配である。図2に示すベクトル73 は、大きさが画素71におけるy軸方向の輝度勾 配であり、y軸方向を向くベクトルである。� �下、このベクトル73をy軸方向輝度勾配ベク� �ルと記す。画素71における輝度勾配強度とは 、x軸方向輝度勾配ベクトル72とy軸方向輝度� �配ベクトル73の合成ベクトル74(図2参照)の大� ��さである。また、画素71における輝度勾配� �向とは、基準となる方向(具体的にはx軸方向 )と上記の合成ベクトル74の方向とのなす角度 である。図2では、輝度勾配方向を"θ"として� ��している。輝度勾配算出部102は、補間画像S aの画素毎に、輝度勾配強度(合成ベクトル74� �大きさ)、および輝度勾配方向(θ)を求める。

 輪郭抽出部103は、各画素における輝度勾� ��強度および輝度勾配方向を用いて、補完画� ��Saに含まれる画素のうち劣化する前の本来� �輪郭を表す画素を判定する。例えば、輪郭� �出部103は、輪郭を表す画素であるか否かの� �定対象となる画素(以下、輪郭判定対象画素) を中心として、輝度勾配方向の隣接画素と、 その反対方向の隣接画素の輝度勾配強度を比 較する。そして、輪郭抽出部103は、輪郭判定 対象画素の輝度勾配強度が閾値(輪郭抽出閾� �)よりも大きく、また上記の2つの隣接画素に おける輝度勾配強度よりも大きいことを条件 に、輪郭判定対象画素は輪郭上の画素(輪郭� �表す画素)であると判定する。

 輪郭補正部104は、輪郭を境に接する2つの 領域それぞれを代表する代表色を推定し、こ れに基づいて輪郭周辺の色を補正する。輪郭 補正部104は、輪郭を表す画素(基準画素と記� �。)からその基準画素における輝度勾配方向� ��一定距離離れた画素(第1の隔離画素と記す� �)を特定する。輪郭補正部104は、第1の隔離画 素の色を第1の代表色とし、基準画素と第1の� ��離画素とを結ぶ直線上に存在する各画素を� ��第1の代表色に補正する。また、輪郭を表す 画素(基準画素)からその基準画素における輝� ��勾配方向を180°回転した方向に一定距離離� �た画素(第2の隔離画素と記す。)を特定する� �輪郭補正部104は、第2の隔離画素の色を、第2 の代表色とし、第1の隔離画素と第2の隔離画� ��とを結ぶ直線上に存在する各画素のうち、� ��1の代表色に補正していない画素を、第2の� �表色に補正する。輪郭補正部104は、この処� �を、輪郭を表す画素毎に行う。なお、ここ� �は、上記の一定距離が、予め定められてい� �ものとする。

 輪郭補正部104が輪郭上の画素の近傍の画� ��の色を補正することにより、目的とする高� ��質な拡大画像が得られる。

 輝度勾配算出部102と、輪郭抽出部103と、� ��郭補正部104は、例えば、プログラムに従っ� ��動作する中央処理装置(CPU)によって実現さ� �る。すなわち、中央処理装置が、コンピュ� �タ100が備える記憶装置(図示せず。)から画像 処理用プログラムを読み込み、画像処理用プ ログラムに従って、輝度勾配算出部102、輪郭 抽出部103および輪郭補正部104として動作して もよい。また、輝度勾配算出部102、輪郭抽出 部103および輪郭補正部104がそれぞれ別個の回 路として実現されていてもよい。

 次に、動作について詳細に説明する。
 図3は、第1の実施形態の処理経過の例を示� �フローチャートである。画像処理システム� �は、補間処理により拡大された補間画像Sa(� �えば、図28に例示する画像)が入力される。� �像処理システムは、補間画像Saにおける輪郭 部分の周辺の画素の色(具体的には画素値)を� ��正して、輪郭が明瞭な高品質の画像を生成� ��る。

 本実施形態では、輝度勾配算出部102およ� ��輪郭補正部104に補間画像Saが入力される。� �間画像Saが入力されると、輝度勾配算出部102 は、補間画像Saの画素毎に輝度勾配強度およ� ��輝度勾配方向を算出し、各画素の輝度勾配� ��度および輝度勾配方向を輪郭抽出部103に出� ��する(ステップS11)。このとき、輝度勾配算� �部102は、各画素の輝度勾配方向を輪郭補正� �104にも出力する。以下、輝度勾配強度をSbと 記し、輝度勾配方向をScと記す。また、座標� ��指定して、輝度勾配強度Sbおよび輝度勾配� �向Scを表す場合もある。すなわち、座標(x,y)� ��おける輝度勾配強度をSb(x,y)と記し、座標(x, y)における輝度勾配方向ScをSc(x,y)と記す場合� ��ある。

 ステップS11において、まず輝度勾配算出� ��102は、個々の画素毎に、画素値から輝度値� ��特定する。画素値は、入力された画像の個� ��の画素に設定されている値であり、例えば� ��画素がRGB形式で表されている場合、画素の� ��素値はR,G,Bそれぞれの濃淡を表す値である� �輝度値は、輝度の大きさを表す値である。� �えば、画素がRGB形式で表されているとする� �この場合、輝度勾配算出部102は、個々の画� �毎に以下に示す式(1)の計算を行い、各画素� �輝度値を計算すればよい。

 Y(x,y)=0.299・R(x,y)+0.587・G(x,y)+0.114・B(x,y)   式(1)

 式(1)においてY(x,y)は、座標(x,y)の画素の� �度値である。また、R(x,y)、G(x,y)、B(x,y)は、� �標(x,y)の画素におけるR,G,Bの画素値である。

 ステップS11において、輝度勾配算出部102� ��、各画素の輝度値から輝度勾配強度および� ��度勾配方向を計算する。輝度勾配算出部102� ��輝度勾配強度および輝度勾配方向を計算す� ��処理の例を説明する。輝度勾配強度および� ��度勾配方向の計算処理として、例えば、エ� ��ジ検出オペレータを用いる方法がある。エ� ��ジ検出オペレータを用いる方法では、予め� ��められn行n列に配置された値(係数)と、画像 中に含まれるn行n列の画素とを対応させて、� ��応する係数と画素の輝度値との積を求め、� ��の和を計算することにより、輝度勾配を計� ��する。この計算に用いる係数をエッジ検出� ��ペレータの係数と呼ぶ。エッジ検出オペレ� ��タの例として、Sobelフィルタ、Robinsonのオペ レータ、Prewittのオペレータ等が挙げられる� �以下、Sobelフィルタの係数を用いて、輝度勾 配を計算する場合を例示するが、他のエッジ 検出オペレータの係数(Robinsonのオペレータの 係数やPrewittのオペレータの係数等)を用いる� ��合の処理も同様である。

 Sobelフィルタの係数は、3行3列、5行5列、7 行7列等のように所定の数を並べたn行n列の数 の並びとして予め定められている。ここで、 nは奇数である。また、Sobelフィルタの係数と して、水平方向の輝度勾配算出のために用い られる係数と、垂直方向の輝度勾配算出のた めに用いられる係数の2種類が定められる。� �4は、Sobelフィルタの係数の例を示す説明図� �ある。以下、Sobelフィルタの係数が、3行3列� ��数の並びである場合を例にして説明する。� ��4(a)は、水平方向(x軸方向)の輝度勾配算出に 用いるSobelフィルタ(以下、水平方向Sobelフィ� ��タと記す。)の係数を示している。また、図 4(b)は、垂直方向(y軸方向)の輝度勾配算出に� �いるSobelフィルタ(以下、垂直方向Sobelフィル タと記す。)の係数を示している。

 輝度勾配算出部102は、補間画像Saの各輝� �値に水平方向Sobelフィルタを畳み込み、水平 方向の輝度勾配画像(Dhとする。)を生成する� �また、輝度勾配算出部102は、補間画像Saに垂 直方向Sobelフィルタを畳み込み、垂直方向の� ��度勾配画像(Dvとする。)を生成する。水平方 向の輝度勾配画像Dhは、個々の画素に対して� ��補間画像Saにおける対応画素の水平(x軸)方� �の輝度勾配を割り当てた画像である。垂直� �向の輝度勾配画像Dvは、個々の画素に対して 、補間画像Saにおける対応画素の垂直(y軸)方� ��の輝度勾配を割り当てた画像である。

 また、Sobelフィルタの畳み込みとは、輝� �勾配の計算対象とする画素を中心とする、So belフィルタの係数と同じ配置の複数の画素を 特定し、その各画素それぞれについて、対応 するSobelフィルタの係数との積を計算し、そ� ��積の和を求める処理である。ここでは、Sobe lフィルタの係数が3行3列の数の並びである場 合を例にしているので、輝度勾配算出部102は 、輝度勾配の計算対象画素を中心とする3行3� ��の画素を特定する。図5は、輝度勾配の計算 対象画素を中心とするn行n列(3行3列)の各画素 の輝度値を示すイメージ図である。輝度勾配 算出部102は、図5に例示する輝度値l~tの9個の� ��素を特定すると、その複数の画素毎に、輝� ��値と、対応するSobelフィルタの係数との積� �計算する。特定したn行n列の画素の中心に位 置する計算対象画素は、n行n列のSobelフィル� �の係数のうち中心に配置された係数に対応� �る。また、計算対象画素を基準とする画素� �位置が、Sobelフィルタの係数のうち中心に配 置された係数を基準とする係数の位置と同じ 位置になっている場合、その画素および係数 は対応しているものとする。例えば、図5に� �示する輝度値qの画素は、図4(a)に示すSobelフ� ��ルタの係数"2"に対応する。輝度勾配算出部1 02は、対応するSobelフィルタの係数と、画素� �輝度値との積を計算し、その和を求める。

 図4(a),(b)に示すように、Sobelフィルタの係 数は水平方向、垂直方向の2種類あるので、� �度勾配算出部102は、水平方向Sobelフィルタ、 垂直方向Sobelフィルタそれぞれを用いて上記� ��計算を行う。水平方向Sobelフィルタの係数� �並びに含まれる個々の係数をSobelh(i,j)と表す とする。iは係数の並びにおける列を表し、� �こでは-1,0,1の値をとる。また、jは係数の並� ��における行を表し、ここでは-1,0,1の値をと� ��。補間画像Saにおける座標(x,y)の画素の輝度 値をSa(x,y)と表す。このとき、輝度勾配算出� �102は、上記の積および和の計算として、以� �に示す式(2)の計算を行うことにより、座標(x ,y)の画素における水平方向の輝度勾配(Dh(x,y)� ��する。)を求めることができる。

 また、垂直方向Sobelフィルタの係数の並� �に含まれる個々の係数をSobelv(i,j)と表すとす る。このとき、輝度勾配算出部102は、上記の 積および和の計算として、以下に示す式(3)の 計算を行うことにより、座標(x,y)の画素にお� ��る垂直方向の輝度勾配(Dv(x,y)とする。)を求� ��ることができる。

 輝度勾配算出部102は、補間画像Sa中の各� �素について、水平方向、垂直方向の輝度勾� �を求める。さらに、輝度勾配算出部102は、� �平方向、垂直方向の輝度勾配を用いて、画� �毎に、輝度勾配強度および輝度勾配方向を� �算する。

 座標(x,y)の輝度勾配強度Sb(x,y)は、x軸方向 輝度勾配ベクトル72とy軸方向輝度勾配ベクト ル73の合成ベクトル74の大きさである(図2参照 )。輝度勾配算出部102は、このベクトルの大� �さ(輝度勾配強度Sb(x,y))を計算する。輝度勾� �算出部102は、以下に示す式(4)の計算により� �輝度勾配強度Sb(x,y)を計算してもよい。

 Sb(x,y)=abs(Dh(x,y))+abs(Dv(x,y)) 式(4)

 式(4)は、合成ベクトルの大きさを求める� ��似式である。また、輝度勾配算出部102は、� ��(4)の近似式ではなく、以下に示す式(5)の計� ��によって輝度勾配強度Sb(x,y)を計算してもよ い。

 Sb(x,y)=√(Dh(x,y) ² +Dv(x,y) ² )  式(5)

 また、輝度勾配算出部102は、座標(x,y)の� �度勾配方向Sc(x,y)を、以下に示す式(6)の計算� ��より求めればよい。

 Sc(x,y)=tan-1(Dv(x,y)/Dh(x,y))  式(6)

 なお、輝度勾配算出部102は、算出した輝� ��勾配強度Sb、輝度勾配方向Scを適当なステッ プで量子化しておいてもよい。すなわち、輝 度勾配算出部102は、計算した輝度勾配強度お よび輝度勾配方向を、より少ないビット数で 表すように変換してもよい。例えば、計算し た輝度勾配強度が8ビットで表されている場� �、3ビットで表すように変換してもよい。8ビ ットを3ビットに変換する場合、8ビットで表� ��れる輝度勾配強度を16で除算し、小数点以� �を四捨五入すればよい。

 次に、輪郭抽出部103は、輝度勾配算出部1 02が算出した各画素の輝度勾配強度Sb、輝度� �配方向Scと、輪郭抽出閾値Pcとを用いて、補� ��画像Sa中で輪郭を表している画素を判定す� �(ステップS12)。ここでは、輪郭抽出閾値Pcは� ��予め定められているものとする。図6は、輪 郭を表す画素の判定処理の例を示す説明図で ある。図6に示す画素300は、輪郭判定対象画� �である。また、図6に示す方向301は、輪郭判� ��対象画素300の輝度勾配方向(Sc(x,y))を示して� ��る。図6に示す方向302は、輪郭判定対象画素 の輝度勾配方向302をπラジアン(180°)回転させ た方向(Sc(x,y)+π)を示している。輪郭抽出部103 は、輪郭判定対象画素300の輝度勾配強度が輪 郭抽出閾値Pcよりも大きく、かつ、輪郭判定� ��象画素の輝度勾配方向301の隣接画素303の輝� ��勾配強度と、輝度勾配方向301を180°回転さ� �た方向302の隣接画素304の輝度勾配強度のい� �れよりも大きい場合、輪郭判定対象画素300� �輪郭を表す画素であると判定する。一方、� �郭判定対象画素300の輝度勾配強度が輪郭抽� �閾値Pc以下である場合には、輪郭判定対象画 素300は輪郭を表す画素でないと判定する。ま た、輪郭判定対象画素300の輝度勾配強度が輪 郭判定対象画素の輝度勾配方向301の隣接画素 303の輝度勾配強度と、輝度勾配方向301を180°� ��転させた方向302の隣接画素304の輝度勾配強� ��のいずれよりも大きいという条件を満たし� ��いない場合にも、輪郭判定対象画素300は輪� ��を表す画素でないと判定する。輪郭抽出部1 03は、この判定を個々の画素毎に行う。なお� ��輪郭上の画素の判定処理方法は上記の方法� ��限定されず、輪郭抽出部103は他の方法によ� ��て、輪郭上の画素を判定してもよい。

 輪郭抽出部103は、輪郭を表すと判定した� ��素に対して0以外の画素値を格納し、それ以 外の画素に対して画素値"0"を格納した画像(� �郭画像Sdと記す。)を輪郭補正部104に出力す� �。輪郭画像Sdにより、輪郭補正部104は、輪郭 を表すと判定された画素とその他の画素とを 区別することができる。また、輪郭抽出部103 は、輪郭を表すと判定した画素の座標値を輪 郭補正部104に出力してもよい。輪郭抽出部103 は、輪郭を表すと判定された画素とその他の 画素とを区別できるように、輪郭を表すと判 定した画素を輪郭補正部104に出力すればよい 。

 ステップS12の後、輪郭補正部104は、輪郭� ��境に接する2つの領域それぞれを代表する代 表色を定め、補間画像Saにおける輪郭周辺の� ��素値を補正する(ステップS13)。図7は、輪郭� ��辺の画素の補正処理の例を示す説明図であ� ��。図7(a)は補正前の補間画像を表し、図7(b)� �補正後の補間画像を表している。図7(a)に斜� ��で示した画素は、輪郭を表していると判定� ��れた画素であり、この画素の連なりが画像� ��輪郭となっている。ステップS13において、� ��郭補正部104は、輪郭抽出部103によって輪郭� ��表すと判定された画素(基準画素)を一つ選� �する。図7における画素400は、基準画素を表� ��ている。また、図7に示す方向401は、基準画 素400の輝度勾配方向(Sc(x,y))を示している。図 7に示す403は、基準画素の輝度勾配方向401をπ ラジアン(180°)回転させた方向(Sc(x,y)+π)を示� �ている。

 輪郭補正部104は、基準画素400から基準画� ��400における輝度勾配方向に一定距離離れた� ��1の隔離画素402を特定する。輪郭補正部104は 、補間画像Sa中の第1の隔離画素402の色を第1� �代表色とする。そして、輪郭補正部104は、� �準画素400と第1の隔離画素402とを結ぶ直線上� ��存在する各画素の色を、第1の代表色と同じ 色に補正する。すなわち、基準画素400と第1� �隔離画素402とを結ぶ直線上に存在する各画� �の画素値を、第1の隔離画素402の画素値に置� ��する。例えば、補間画像Saの各画素がRGB形� �で表されている場合、第1の隔離画素402のR,G, Bそれぞれの値に置換すればよい。また、輪� �補正部104は、基準画素400の画素値も、第1の� ��離画素402の画素値に置換する。

 同様に、輪郭補正部104は、基準画素400か� ��方向403(図7(a)参照。輝度勾配方向401を180°反 転した方向)に一定距離離れた第2の隔離画素4 04を特定する。輪郭補正部104は、補間画像Sa� �の第2の隔離画素404の色を第2の代表色とする 。そして、輪郭補正部104は、第2の隔離画素40 4と第1の隔離画素402とを結ぶ直線上に存在す� ��画素のうち、第1の隔離画素402の画素値に置 換していない画素の画素値を、第2の隔離画� �404の画素値に置換する。

 この処理の結果、図7(b)に示すように、基 準画素400および画素405は第1の代表色に補正� �れ、画素407は第2の代表色に補正される。こ� ��では、基準画素400の画素値を第1の隔離画素 402の画素値に置換する場合を示したが、基準 画素400の画素値を第2の隔離画素404の画素値� �置換してもよい。

 輪郭補正部104は、輪郭抽出部103によって� ��郭を表すと判定された全ての画素を順次選� ��して、上記の処理を繰り返し、輪郭の周辺� ��画素値を補正する。そして、補正後の画像� ��出力する。輪郭補正部104による補正処理に� ��り生成された拡大画像の例を図8に示す。図 8に示すように、輪郭の明瞭な高品質の画像� �得られる。

 次に、本実施形態の効果について説明する� ��
 本実施形態では、輪郭抽出部103が、画像の� ��郭上の画素を特定し、輪郭補正部104がその� ��素を間に挟む第1の隔離画素および第2の隔� �画素の間の各画素を2つの代表色で区分する� ��うに画素を補正する。そのため、輪郭が明� ��な、高品質な拡大画像を生成することがで� ��る。また、第1の隔離画素および第2の隔離� �素として、基準画素から一定距離離れた画� �を特定するので、混色の影響を受けていな� �色を代表色とすることができ、高品質な拡� �画像を生成することができる。

 次に、第1の実施形態の変形例について説 明する。上記の第1の実施形態では、Sobelフィ ルタの係数がn行n列(例えば3行3列)で固定であ り、輪郭抽出閾値Pcは予め定められた定数で� ��る場合を例に説明した。また、ステップS13� ��、第1の隔離画素402および第2の隔離画素404(� ��7(a)参照)を特定する際に用いる一定距離も� �予め定められているものとして説明した。� �下に説明する第1の実施形態の変形例では、� ��れらの値を可変とする。図9は、第1の実施� �態の変形例を示すブロック図である。既に� �明した構成要素と同様の構成要素について� �、図1と同一の符号を付す。図9に示すように 、画像処理システムは、輝度勾配算出部102、 輪郭抽出部103および輪郭補正部104に加えて、 パラメータ設定部110を備えていてもよい。な お、図9では、コンピュータ100とは別にパラ� �ータ設定部110を備える場合を示しているが� �コンピュータ100がパラメータ設定部110を含� �でいてもよい。そして、パラメータ設定部11 0は、プログラムに従って動作する中央処理� �置によって実現されてもよい。すなわち、� �央処理装置が、画像処理用プログラムを読� �込み、画像処理用プログラムに従って、パ� �メータ設定部110、輝度勾配算出部102、輪郭� �出部103、輪郭補正部104として動作してもよ� �。

 この第1の実施形態の変形例では、Sobelフ� ��ルタの係数としてn行n列に並べられる係数� �個数は可変である。すなわち、n行n列の"n"を 可変とし、3行3列、5行5列等のSobelフィルタの 係数を選択可能とする。パラメータ設定部110 は、輝度勾配算出部102がSobelフィルタの係数� ��して何行何列の係数を選択するのかを決定� ��るためのパラメータを算出し、輝度勾配算� ��部102に出力する。以下、このパラメータを� ��度勾配算出用パラメータと記し、"Pb"と表す 。輝度勾配算出部102は、予め3行3列、5行5列� �7行7列等の行数列数に応じたSobelフィルタの� ��数を予め保持しておき、輝度勾配算出用パ� ��メータPbに応じた行数および列数のSobelフィ ルタの係数を選択し、ステップS11を行う。

 また、パラメータ設定部110は、輪郭抽出� ��値Pcを計算し、輪郭抽出部103に出力する。� �郭抽出部103は、パラメータ設定部110が計算� �た輪郭抽出閾値Pcを用いて、ステップS12を行 う。

 また、パラメータ設定部110は、ステップS 13において、基準画素から第1および第2の隔� �画素を定めるための距離を計算し、輪郭補� �部104に出力する。この距離を、輪郭補正用� �ラメータと記し、"Pd"と表す。輪郭補正部104� ��、ステップS13において第1および第2の隔離� �素を定める際に、輪郭補正用パラメータPdが 示す距離だけ基準画素から離れた画素として 、第1の隔離画素および第2の隔離画素を定め� ��。

 ここで、Sobelフィルタの係数の並びの大� �さを表す"n(列数および行数を表すn)"、輪郭� �出閾値Pc、輪郭補正用パラメータPdの値の意� ��について説明する。

 Sobelフィルタの係数はn行n列の数の並びで あるが、このnが小さい場合、狭い範囲内で� �輝度の起伏に対して、大きな輝度勾配を算� �する。すなわちnを小さくすると、狭い範囲� ��で少しの輝度の起伏がある場合でも、その� ��囲内で輝度が極大となる箇所の画素を、輪� ��を表す画素として判定しやすくなる。一方� ��nが大きい場合、狭い範囲内での輝度の起伏 に対して大きな輝度勾配を算出しなくなる。 すなわちnを大きくすると、狭い範囲内での� �しの輝度の起伏は輪郭として検出しにくく� �、広い範囲内で輝度の起伏がある場合に輝� �が極大となる箇所の画素を、輪郭を表す画� �として判定しやすくなる。nを小さくしすぎ� ��と、ノイズが輪郭として検出されやすくな� ��。

 輪郭抽出閾値Pcは、輪郭として判定され� �ための輝度勾配強度の下限を表す。輪郭抽� �閾値Pcを小さくしすぎると、ノイズにより輝 度勾配強度が大きくなった場合であっても、 輪郭を表す画素であると誤判定しやすくなる 。一方、輪郭抽出閾値Pcを大きくしすぎると� ��ノイズを輪郭とする誤判定はなくなるが、� ��郭を表す画素を、輪郭を表していないと誤� ��定しやすくなる。

 図10は、画素毎の輝度勾配の起伏を示す� �メージ図である。図10に示す輝度勾配の極大 点に該当する画素が、輪郭を表す画素となる 。輝度勾配算出用パラメータPbに応じて定め� ��れる"n"は、どの程度の広がりを持つ範囲内� ��輝度勾配強度の起伏を強調するのかを定め� ��値である。また、輪郭抽出閾値Pcは、どの� �度の大きさの輝度勾配強度であれば、輪郭� �表す画素と言えるのかを定める値である。

 図11は、画像の拡大前後における輪郭付� �での画素値の変化を示すイメージ図である� �図11(a)は画像拡大前の輪郭付近の画素値の変 化を示し、図11(b)は画像拡大後の輪郭付近の� ��素値の変化を示している。図11(b)に示すよ� �に、画像を拡大することにより、輪郭周辺� �の画素値の変化は緩やかになる。輪郭補正� �104は、図11(b)に示す状態から、基準画素から 輝度勾配方向の一定距離以内の画素を第1の� �表色に補正し、反対方向の一定距離以内の� �素を第2の代表色に補正する(図11(c)参照)。こ の結果、図11(c)に示すように、輪郭を境に、� ��1の代表色と第2の代表色とで区分され、輝� �変化が急峻になり、輪郭が明確化する。輪� �補正用パラメータPdは、この基準画素からの 距離を表している。

 また、第1の実施形態で説明したように、 輝度勾配算出部102および輪郭補正部104には補 間画像Saが入力される。また、本変形例では� ��低解像度画像(拡大前の画像)から補間画像Sa への拡大率(Paとする。)がパラメータ設定部11 0に入力される。パラメータ設定部110は、入� �された拡大率Paから、輝度勾配算出用パラメ ータPb、輪郭抽出閾値Pcおよび輪郭補正用パ� �メータPdを計算する。

 また、低解像度画像から補間画像Saへの� �大率Paが不変である場合、パラメータ設定部 110は、拡大率Paを定数として記憶しておき、� ��の拡大率Paから、輝度勾配算出用パラメー� �Pb、輪郭抽出閾値Pcおよび輪郭補正用パラメ� ��タPdを計算してもよい。

 なお、Paは、低解像度画像(拡大前の画像) の横幅(水平方向の画素数)をWlとし、補間画� �Saの横幅をWhとしたときに、Wh/Wlで表される� �である。また、補間画像Saの縦幅を低解像度 画像の縦幅で除算した値を拡大率Paとしても� ��い。

 図12は、第1の実施形態の変形例の処理経� ��を示すフローチャートである。第1の実施形 態で説明した処理と同様の処理については、 図3と同一の符号を付す。パラメータ設定部11 0は、拡大率Paが入力されると、その拡大率Pa� ��用いて、Pb,Pc,Pdを計算する(ステップS1)。

 ステップS1において、パラメータ設定部11 0は、以下に示す式(7)の計算を行い、輝度勾� �算出用パラメータPbを算出し、そのPbを輝度� ��配算出部102に出力する。

 Pb=α・Pa+β     式(7)

 α,βは定数である。また、αは0より大き� �値であり、Paが大きくなるほど、Pbも大きな� ��となる。また、βはPbの下限を表す値である 。βをPbの下限値として定めることにより、� �大率Paの値が小さくとも、Pbの値は下限値以� ��であることが保証される。α,βは、例えば� �画像処理システムの管理者等に予め設定さ� �る。画像処理システムの管理者等は、拡大� �に応じたSobelフィルタの係数が選択されるよ うに、α,βを決定すればよい。

 また、パラメータ設定部110は、ステップS 1において、式(8)の計算を行い、輪郭抽出閾� �Pcを算出し、そのPcを輪郭抽出部103に出力す� ��。

 Pc=γ・Pa       式(8)

 γは定数であり、例えば画像処理システ� �の管理者等に予め設定される。画像処理シ� �テムの管理者等は、拡大率と輪郭抽出閾値Pc との関係が所望の比例関係になるようにγを� ��めればよい。

 また、パラメータ設定部110は、ステップS 1において、式(9)の計算を行い、輪郭補正用� �ラメータPdを計算し、そのPdを輪郭補正部104� ��出力する。

 Pd=δ・Pa       式(9)

 δは定数であり、例えば画像処理システ� �の管理者等に予め設定される。画像処理シ� �テムの管理者等は、拡大率と輪郭補正用パ� �メータPdとの関係が所望の比例関係になるよ うにδを定めればよい。

 Pb,Pc,Pdは、例えば拡大率Paを変数とする一 次関数として計算される。

 上記のα,β,γ,δの例として、α=2.0、β=1.0� �γ=10.0、δ=1.5等の値が挙げられるが、これら� ��値に限定されるわけではない。

 なお、Pb,Pc,Pdの一部を予め固定値として� �めておき、ステップS1でパラメータ設定部110 は、Pb,Pc,Pdのうち固定値として定められてい� ��いパラメータについて計算を行ってもよい� ��

 ステップS1でパラメータ設定部110がPb,Pc,Pd を求めた後、画像処理システムはステップS11 ~S13の処理を行う。

 輝度勾配算出部102は、「Pbがx1以上x2未満� ��らば、3行3列のSobelフィルタの係数を選択す る。」等のルールを予め保持しておき、その ルールに従って、パラメータ設定部110が計算 した輝度勾配算出用パラメータPbに応じたSobe lフィルタの係数を選択する。そして、選択� �たSobelフィルタの係数を用いて、補間画像Sa� ��画素毎に輝度勾配強度および輝度勾配方向� ��算出し、各画素の輝度勾配強度および輝度� ��配方向を輪郭抽出部103に出力する(ステップ S11)。Sobelフィルタの係数を選択する点の他は 、既に説明したステップS11と同様である。

 輪郭抽出部103は、パラメータ設定部110が� ��算した輪郭抽出閾値Pcを用いて、補間画像Sa 中で輪郭を表している画素を判定する(ステ� �プS12)。パラメータ設定部110が輪郭抽出閾値P cを定める点の他は、既に説明したステップS1 2と同様である。

 輪郭補正部104は、パラメータ設定部110が� ��算した輪郭補正用パラメータPdを、基準画� �から第1および第2の隔離画素を定めるための 距離として用い、輪郭周辺の画素値を補正す る(ステップS13)。パラメータ設定部110が基準� ��素から第1および第2の隔離画素を定めるた� �の距離を定める点の他は、既に説明したス� �ップS13と同様である。

 この第1の実施形態の変形例によれば、低 解像度画像から補間画像Saへの拡大率が一定� ��はない場合であっても、拡大率に応じた適� ��なパラメータで輪郭を明瞭化することがで� ��る。

 次に、第1の実施形態の他の変形例につい て説明する。図13は、第1の実施形態の他の変 形例を示すブロック図である。既に説明した 構成要素と同様の構成要素については、図1� �図9と同一の符号を付す。図13に示すように� �画像処理システムは、輝度勾配算出部102、� �郭抽出部103、輪郭補正部104およびパラメー� �設定部110に加えて、補間画像生成部101を備� �ていてもよい。図13では、コンピュータ100が 補間画像生成部101を含む場合を示している。 補間画像生成部101は、プログラムに従って動 作する中央処理装置によって実現されてもよ い。すなわち、中央処理装置が、画像処理用 プログラムを読み込み、画像処理用プログラ ムに従って、補間画像生成部101、輝度勾配算 出部102、輪郭抽出部103、輪郭補正部104、パラ メータ設定部110として動作してもよい。

 補間画像生成部101には低解像度画像(Siと� ��す。)が入力され、補間画像生成部101は補間 によりその低解像度画像Siを拡大して補間画� ��Saを生成し、補間画像Saを輝度勾配算出部102 および輪郭補正部104に出力する。すなわち、 補間画像生成部101は、低解像度画像Siの画素� ��に画素を内挿して、拡大画像である補間画� ��Saを生成する。補間画像生成部101は、例え� �、バイリニア補間あるいはバイキュービッ� �補間により、低解像度画像Siを拡大する。

 また、パラメータ設定部110には、生成す� ��き拡大画像の解像度が入力される。例えば� ��拡大後の補間画像Saの横幅(水平方向の画素� ��)が入力されてもよい。また、パラメータ設 定部110には、拡大前の低解像度画像Siの情報( 例えば、低解像度画像Siの横幅)も入力される 。パラメータ設定部110は、入力された情報を 用いて、拡大率Paを計算し、補間画像生成部1 01に出力する。

 パラメータ設定部110に入力される情報が� ��拡大後の補間画像Saの横幅(水平方向の画素� ��)Whと、低解像度画像Siの横幅Wlであるとする 。この場合、パラメータ設定部110は、Pa=Wh/Wl� ��計算して、拡大率Paを求めればよい。また� �パラメータ設定部110に入力される情報は、� �間画像Saの縦幅(垂直方向の画素巣)Vhと低解� �度画像Siの縦幅Vlであってもよい。この場合� ��パラメータ設定部110は、Pa=Vh/Vlを計算して� �拡大率Paを求めればよい。

 パラメータ設定部110は、拡大率Paを計算� �た後、既に説明したように拡大率PaからPb,Pc, Pdの各パラメータを計算してもよい。

 補間画像生成部101は、パラメータ設定部1 10が計算した拡大率Paで低解像度画像Siを補間 して補間画像Saを生成する。補間画像生成部1 01は、拡大率Paに応じて、低解像度画像Siにお ける隣接する画素間に画素を内挿する。補間 画像Saは、内挿された画素を含んでいること� ��、低解像度画像Siよりも拡大された画像と� �っている。補間画像生成部101は、拡大率Paが 大きいほど、内挿する画素の数を増加させれ ばよい。

 図14は、本変形例の処理経過を示すフロ� �チャートである。第1の実施形態で説明した� ��理と同様の処理については、図3と同一の符 号を付す。パラメータ設定部110には、例えば 、低解像度画像Siの横幅Wlおよびユーザの所� �の補間画像Saの横幅Whが入力される。パラメ� ��タ設定部110は、WlおよびWhが入力されると、 Wh/Wlを計算することにより、拡大率Paを計算� �る。ただし、ここで示した拡大率Paの計算方 法は一例であり、他の方法で拡大率Paを計算� ��てもよい。パラメータ設定部110は、計算し� ��拡大率Paを補間画像生成部101に出力する。� �た、パラメータ設定部110は、その拡大率Paを 用いて、輝度勾配算出用パラメータPb、輪郭� ��出閾値Pcおよび輪郭補正用パラメータPdを計 算する(ステップS2)。パラメータ設定部110は� �Pbを輝度勾配算出部102に出力し、Pcを輪郭抽� ��部103に出力し、Pdを輪郭補正部104に出力す� �。拡大率Paから、Pb,Pc,Pdを算出する動作は、� ��に説明したステップS1(図12参照)と同様であ� ��。

 補間画像生成部101には、低解像度画像Si(� ��大前の画像)が入力される。ステップS2の後� ��補間画像生成部101は、拡大率Paで低解像度� �像Siを補間して、ユーザの所望の解像度の補 間画像Saを生成する(ステップS10)。補間画像� �成部101は、低解像度画像Siにおける隣接する 画素間に拡大率Paに応じた数の画素を内挿す� ��ことで画像を拡大すればよい。補間画像生� ��部101は、例えば、バイリニア補間またはバ� ��キュービック補間を行って画素を補間し、� ��像を拡大すればよい。

 補間画像生成部101がバイリニア補間を行� ��場合の動作について説明する。図15は、バ� �リニア補間の例を示すイメージ図である。� �15に示す縦軸は画素値を表し、他の2軸はそ� �ぞれx軸方向、y軸方向の座標を表している。 図15に示す座標(u,v)は、補間される画素の座� �である。ただし、(u,v)は低解像度画像Siにお� ��る座標であり、小数で表される。低解像度� ��像Siに含まれる画素のx座標、y座標は1,2,3,・ ・・等の整数で表され、その座標間に画素を 内挿するので、内挿される画素の座標は小数 で表される。図15に示す座標(u,v)は、このよ� �な低解像度画像Siにおける座標値である。ま た、図15に示す各座標(k,l),(k+1,l),(k,l+1),(k+1,l+1) は、低解像度画像Siに存在する画素の座標値� ��あり、それらの画素の画素値は既知である� ��また、これらの4つの画素は、補間する画素 (u,v)を囲む画素であり、kはuの小数点以下を� �り捨てた値であり、lはvの小数点以下を切り 捨てた値である。補間画像生成部101は、補間 する座標(u,v)における画素値を算出する。

 バイリニア補間で座標(u,v)における画素� �を求める場合、y座標が等しい2つの座標(k,l), (k+1,l)における画素値を用いて、座標(u,l)にお ける画素値を線形補間する。同様に、(k,l+1),( k+1,l+1)における画素値を用いて、座標(u,l+1)に おける画素値を線形補間する。さらに、x座� �が等しい2つの座標(u,l),(u,l+1)における画素値 を用いて、座標(u,v)における画素値を線型補� ��する。

 この座標(u,v)における画素値Pは、以下に� ��す式(10)によって求めることができる。

 補間画像生成部101は、式(10)に示す式を計 算して補間する画素における画素値Pを算出� �れよばい。なお、式(10)におけるP1,P2,P3,P4は� �それぞれ座標(k,l),(k+1,l),(k,l+1),(k+1,l+1)におけ� ��画素値である。このように画素値Pが定めら れた座標(u,v)の画素が、内挿される画素であ� ��。

 補間画像生成部101がバイキュービック補� ��を行う場合の動作について説明する。図16� �、バイキュービック補間の例を示すイメー� �図である。図16に示す縦軸は画素値を表し、 他の2軸はそれぞれx軸方向、y軸方向の座標を 表している。図16に示す座標(u,v)は、補間さ� �る画素の座標である。図15に示す場合と同様 に、(u,v)は低解像度画像Siにおける座標であ� �、小数で表される。バイキュービック補間� �は、(u,v)を囲む16個の画素(k-1,l-1),(k,l-1),(k+1,l- 1),(k+2,l-1),(k-1,l),(k,l),(k+1,l),(k+2,l),(k-1,l+1),(k,l+1) ,(k+1,l+1),(k+2,l+1),(k-1,l+2),(k,l+2),(k+1,l+2),(k+2,l+2)� �画素値から(u,v)における画素値を補間する。 kはuの小数点以下を切り捨てた値であり、lは vの小数点以下を切り捨てた値である。

 バイキュービック補間で座標(u,v)におけ� �画素値を求める場合、y座標が等しい4つの座 標(k-1,l-1),(k,l-1),(k+1,l-1),(k+2,l-1)の画素値を用� �て、(u,l-1)における画素値を補間する。同様� ��、y座標が等しい4つの座標を用いて、(u,l),(u ,l+1),(u,l+2)における画素値をそれぞれ補間す� �。さらに、x座標が等しい4つの座標(u,l-1),(u,l ),(u,l+1),(u,l+2)における画素値を用いて、座標( u,v)の画素値を補間する。

 この座標(u,v)における輝度Pは、以下に示� ��式(11)によって求めることができる。このよ うに画素値Pが定められた座標(u,v)の画素が、 内挿される画素である。

 補間画像生成部101は、式(11)に示す式を計 算して補間する画素における画素値Pを算出� �ればよい。式9におけるP1~P16は、(k-1,l-1),(k,l-1 ),(k+1,l-1),(k+2,l-1),(k-1,l),(k,l),(k+1,l),(k+2,l),(k-1,l+1 ),(k,l+1),(k+1,l+1),(k+2,l+1),(k-1,l+2),(k,l+2),(k+1,l+2),(k +2,l+2)における画素値である。

 また、式(11)において、f-1(t),f0(t),f1(t),f2(t) は、それぞれ以下の式で表される。

 f-1(t)=(-t3+2t2-t)/2     式(12)

 f0(t)=(3t3-5t2+2)/2      式(13)

 f1(t)=(-3t3+4t2+t)/2     式(14)

 f2(t)=(t3-t2)/2          式(15)

 また、式(11)におけるu'は、u'=u-kとして計� ��される値である。式(11)におけるv'は、v'=v-l� ��して計算される値である。

 なお、RGB形式で表される画素のように複� ��種類(例えばR,G,Bの3種類)の画素値が設定さ� �ている場合、R,G,B等の画素値の種類毎にそれ ぞれ別々に画素値を補間すればよい。

 ここでは、バイリニア補間やバイキュー� ��ック補間を例示したが、補間画像生成部101� ��他の方法で補間を行って低解像度画像Siを� �大してもよい。

 補間画像生成部101は、低解像度画像Siに� �して画素を補間して生成した補間画像Saを輝 度勾配算出部102および輪郭補正部104に出力す る。輝度勾配算出部102は、パラメータ設定部 110が計算した輝度勾配算出用パラメータPbに� ��じたSobelフィルタの係数を選択する。輝度� �配算出部102は、Sobelフィルタの係数を用いて 、補間画像Saの画素毎に輝度勾配強度および� ��度勾配方向を算出し、各画素の輝度勾配強� ��および輝度勾配方向を輪郭抽出部103に出力� ��る(ステップS11)。輪郭抽出部103は、パラメ� �タ設定部110が計算した輪郭抽出閾値Pcを用い て、補間画像Sa中で輪郭を表している画素を� ��定する(ステップS12)。輪郭補正部104は、パ� �メータ設定部110が計算した輪郭補正用パラ� �ータPdを、基準画素から第1および第2の隔離� ��素を定めるための距離として用い、輪郭周� ��の画素値を補正する(ステップS13)。ステッ� �S11~S13の動作は、既に説明した変形例におけ� ��ステップS11~S13と同様である。

 本変形例によれば、補間画像生成部101は� ��解像度画像Siに補間処理を行うことにより� �間画像Saを生成するので、低解像度画像Siを� ��力すれば、高品質の拡大画像を得ることが� ��きる。

 また、補間画像生成部101を備える構成に� ��いて、パラメータ設定部110が設けられてい� ��くてもよい。その場合、輝度勾配算出部102� ��おいて輝度勾配算出用パラメータPbを予め� �定しておけばよい。あるいは、Sobelフィルタ の係数を予め設定しておいてもよい。また、 輪郭抽出部103では輪郭抽出閾値Pcを予め設定� ��ておき、輪郭補正部104では輪郭補正用パラ� ��ータPdを予め設定しておけばよい。

実施形態2
 図17は、本発明の第2の実施形態の画像処理� ��ステムの例を示すブロック図である。第1の 実施形態と同様に、本実施形態の画像処理シ ステムは、例えば、プログラム制御により動 作するコンピュータ800によって実現される。 コンピュータ800は、代表色推定部802と、色補 正部803とを含む。なお、ここでは、低解像度 画像(拡大前の画像)から拡大後の画像への拡� ��率が一定である場合を例にして説明する。� ��た、画素がRGB形式で表されている場合を例� ��して説明するが、画素の表現はRGB形式に限� ��されない。

 代表色推定部802には、補間処理(例えば、 バイリニア補間やバイキュービック補間)に� �って拡大された補間画像Saが入力される。代 表色推定部802は、補間画像Saに含まれる個々� ��画素を選択する。代表色推定部802は、選択� ��た画素を中心とする一定サイズの画素のブ� ��ック(例えば、5行5列のブロック)を抽出し、 そのブロック内の画素の色を二つのクラスに クラスタリングする。代表色推定部802は、そ の二つのクラスのそれぞれについて、クラス を代表する代表色M1,M2を特定する。また、ブ� ��ック内の各画素の色が第1のクラスに属する 確率および第2のクラスに属する確率を求め� �。この確率や代表色は、例えばEMアルゴリズ ム(Expectation Maximizationアルゴリズム)によって 求めればよい。代表色推定部802は、補間画像 Sa内の個々の画素を選択して、画素毎にブロ� ��クの抽出、代表色および上記の確率の導出� ��行う。

 図18は、クラスタリングおよび代表色を� �明するイメージ図である。選択した画素を� �心とする5行5列の範囲をブロックとして抽出 するとする。このブロックの左上部分には、 赤系の画素181が存在し、右下部分には緑系の 画素182が存在するものとする(図18(a)参照)。� �系の画素181の画素値(R,G,B)は、例えば(255,0,0)� ��(240,0,0)、(250,1,0)等で表され、RGB色空間では� ��いに近い位置に存在する(図18(b)参照)。同様 に、緑系の画素182の画素値は、例えば、(0,255 ,0)、(0,255,3)、(1,240,5)等で表され、RGB空間で互 いに近い位置に存在する(図18(b)参照)。代表� �推定部802は、このような画素の色のクラス� �代表する代表色を決定し、クラス毎に各画� �の色がそのクラスに属する確率を求める。� �18では、画素の赤系の色と緑系の色に明確に 区分される場合を例示したが、ブロック内の 画素が同系統の色であっても、例えばEMアル� ��リズムにより代表色や上記の確率を求める� ��とができる。

 色補正部803は、代表色M1,M2の色空間での� �離が閾値以上である場合、代表色推定部802� �抽出したブロック内の画素毎に、第1のクラ� ��に属する確率および第2のクラスに属する確 率に応じて、画素の色を代表色M1,M2のいずれ� ��に補正する。色補正部803は、この処理を代� ��色推定部802が抽出したブロック毎に行う。

 ブロックは補間画像Saの各画素を中心と� �る一定サイズの画素の集合であるので、一� �の画素が複数のブロックに属することが生� �る。この場合、色補正部803は、各ブロック� �おける補正結果の平均をその画素に設定す� �。

 代表色推定部802および色補正部803は、例� ��ば、プログラムに従って動作する中央処理� ��置(CPU)によって実現される。すなわち、中� �処理装置が、コンピュータ800が備える記憶� �置(図示せず。)から画像処理用プログラムを 読み込み、画像処理用プログラムに従って、 代表色推定部802および色補正部803として動作 してもよい。また、代表色推定部802および色 補正部803がそれぞれ別個の回路として実現さ れていてもよい。

 次に、動作について詳細に説明する。
 図19は、第2の実施形態の処理経過の例を示� ��フローチャートである。本実施形態では、� ��表色推定部802および色補正部803に補間画像S aが入力される。補間画像Saが入力されると、 代表色推定部802は、補間画像Sa中の画素を一� ��選択し、選択した画素を中心とする一定範� ��のブロックを抽出する(ステップS51)。この� �ロックの範囲は、例えば5行5列等のように予 め定められているものとする。

 次に、代表色推定部802は、抽出したブロ� ��ク内の各画素の色を2つのクラスC1,C2にクラ� ��タリング(分類)し、各クラスの代表色M1,M2を 特定する(ステップS52)。ステップS52において� ��代表色推定部802は、抽出したブロック内の� ��画素について、第1のクラスC1に属する確率� ��よび第2のクラスC2に属する確率を求める。� ��下、EMアルゴリズムを用いる場合を例にし� �、ステップS52の処理について説明する。

 以下の説明において、μは、クラスの中� �の色(代表色となる色)のR,G,Bの値を要素とす� ��ベクトルであるとする。また、ωは、混合� �ラメータと呼ばれる重み係数である。σは、 クラスタリングされた画素の画素値が色空間 においてどれだけ広がっているかを表す値で ある。また、jは、2つのクラスを識別するた� ��の変数であり、例えばj=0は第1のクラスを意 味し、j=1は第2のクラスを意味する。このjは� ��記号の添え字として用いられることもある� ��代表色推定部802は、任意に定めたω,μ,σの� �期値の組を二組生成する。この2組は、第1の クラスおよび第2のクラスに対応している。� �表色推定部802は、各組それぞれについて、ω ,μ,σそれぞれを再計算することを繰り返す。 この再計算により、μ(ここでは、R,G,Bの値)を 収束させ、代表色を決定する。また、θは、� �,μ,σの組を示す記号である。各記号に(t)を� �加して記した場合、そのtは再計算の回数を� ��しているものとする。また、ステップS51で� ��出されたブロック内の各画素の画素値(R,G,B) の値を要素とするベクトルをxと記し、ブロ� �ク内のn番目の画素についてのベクトルxにつ いては添え字nを付加してxnと記す。

 代表色推定部802は、任意に定めたω,μ,σ� �初期値の組を二組生成すると、各組毎に、� �ロック内の画素がその組のクラスに属して� �る確率を計算する。この確率をP(j|xn,θ(t))と� ��す。代表色推定部802は、以下に示す式(16)に よりP(j|xn,θ(t))を求める。

 代表色推定部802は、式(16)の計算を行うと きに、右辺のP(xn|j)を以下の式(17)を計算する� ��とによって求める。

 代表色推定部802は、式(16)の計算を行うと きに、右辺のp(xn)を以下の式(18)を計算するこ とによって求める。

 wjは、混合パラメータと呼ばれる重み係数� �あり、以下の条件を満たす。

 代表色推定部802は、各jについて(すなわ� �各クラスについて)、式(16)によりP(j|xn,θ(t))� �計算すると、各jについてωj,μj,σjを再計算� �る。

 ωjは以下に示す式(19)の左辺に相当し、代 表色推定部802は、式(19)の計算によりωjを再� �算する。

 μjは以下に示す式(20)の左辺に相当し、代 表色推定部802は、式(20)の計算によりμjを再� �算する。

 σjは以下に示す式(21)の左辺に相当し、代表 色推定部802は、式(21)の計算によりσjを再計� �する。

 式(19)から式(20)におけるNは、ステップS51� ��抽出されたブロックに属する画素の総数で� ��る。また、Mは、データ(画素値)の次元の数� ��ある。本例では、画素値は、R,G,Bの3次元の� ��ータであるので、M=3である。

 代表色推定部802は、ωj,μj,σjを再計算し� �ら、そのωj,μj,σjから式(16)によりP(j|xn,θ(t))� ��再計算し、さらに式(19)~(21)によりωj,μj,σj� �計算する。

 代表色推定部802は、計算前後でのμjの変� ��量が閾値以下になったときに、μjが収束し� ��と判定し、再計算を停止する。そのときに� ��られたμjが、代表色のR,G,Bの各成分の値と� �る。また、代表色推定部802は、収束したと� �のωj,μj,σjからさらにP(j|xn,θ(t))を計算する� �このP(j|xn,θ(t))が、画素xnの色が、クラスjに� ��する確率である。

 以上のステップS52の処理により、ブロッ� ��内の各画素の第1のクラスに属する確率、第 2のクラスに属する確率、および代表色M1,M2が 得られる。以下、ブロック内の画素(x,y)の色� ��第1のクラスに属する確率をP1(x,y)と記し、� �2のクラスに属する確率をP2(x,y)と記す。

 次に、色補正部803は、代表色M1,M2の距離D� ��応じた指標を計算する。2つの色の距離は、 色を表す成分毎に差の二乗を計算し、その計 算結果の和の平方根として得られる値である 。本例のように色がR,G,Bの各成分で表される� ��合、R成分の差の二乗、G成分の差の二乗、� �よびB成分の差の二乗をそれぞれ計算し、そ� ��和の平方根が距離となる。すなわち、代表� ��M1のR,G,B各成分を(R1,G1,B1)とし、代表色M2のR,G ,B各成分を(R2,G2,B2)とすると、距離Dは以下に� �す式(22)で表される。

 D=√{(R1-R2) ² +(G1-G2) ² +(B1-B2) ² }  式(22)

 色補正部803は、距離D自体を計算してもよく 、あるいは、距離Dに応じた指標を計算して� �よい。ここでは、距離Dに応じた指標として� ��(R1-R2) ² +(G1-G2) ² +(B1-B2) ² を計算する。色補正部803は、距離Dに応じた� �標が所定値以上であるか否かにより、代表� �同士の距離が閾値以上であるか否かを判定� �る(ステップS53)。

 (R1-R2) ² +(G1-G2) ² +(B1-B2) ² の計算結果が所定値以上である場合、色補正 部803は、距離Dが閾値以上であると判定する� �この場合(ステップS53のYes)、色補正部803は、 ステップS51で抽出されたブロック内の画素毎 に、第1のクラスに属する確率および第2のク� ��スに属する確率に応じて、画素の色を補正� ��る(ステップS54)。

 ステップS54において、色補正部803は、ブ� ��ック内の各画素を選択し、その画素の色が� ��1のクラス(代表色M1のクラス)に属する確率P1 (x,y)と、第2のクラス(代表色M2のクラス)に属� �る確率P2(x,y)とを比較する。P1(x,y)>P2(x,y)で� ��れば、色補正部803は、選択した画素(x、y)の 色を代表色M1に置換する。すなわち、選択し� ��画素の画素値(R,G,Bの値)を、代表色M1のR,G,B� �値に置換する。一方、P1(x,y)>P2(x,y)が成立� �ていなければ、色補正部803は、選択した画� �(x、y)の色を代表色M2に置換する。すなわち� �選択した画素の画素値(R,G,Bの値)を、代表色M 2のR,G,Bの値に置換する。色補正部803は、この 置換をブロック内の画素毎に行う。ブロック 内の各画素について置換が終了したならば、 ステップS55に移行する。

 (R1-R2) ² +(G1-G2) ² +(B1-B2) ² の計算結果が所定値未満である場合、色補正 部803は、距離Dが閾値未満であると判定する� �この場合(ステップS53のNo)、ステップS54を行� ��ずにステップS55に移行する。

 ステップS55において、色補正部803は、補� ��画像Sa中の各画素を中心とする各ブロック� �ついてステップS51以降の処理を完了してい� �か否かを判定する。未だステップS51以降の� �理が行われていないブロックがあれば、未� �理のブロックについてステップS51以降の処� �を行う。全ブロックについてステップS51以� �の処理が完了していれば、処理を終了する� �

 ただし、一つの画素が複数のブロックに� ��し、ブロック毎にその画素の置換後の色(画 素値)が導出される場合、色補正部803は、ブ� �ック毎にその一つの画素に対して導出され� �置換後の画素値の平均値を、その画素の画� �値とする。

 本実施形態によれば、ブロック内の2つの 代表色の距離が閾値以上である場合、そのブ ロック内の画素を代表色に置換することによ り、画素を補正するので、輪郭が明瞭な、高 品質な拡大画像を生成することができる。ま た、代表色M1,M2を特定する際に、クラスタリ� ��グによる統計的処理を用いるため、ノイズ� ��どの影響を受けずに、安定して代表色を取� ��できる。

 次に、第2の実施形態の変形例について説 明する。上記の第2の実施形態では、補間画� �Saに属する個々の画素をそれぞれ選択し、そ の画素を中心とするブロックを抽出して、ブ ロック毎にステップS51以降の処理を行う場合 を示した。以下に示す変形例では、補間画像 Sa中の選択対象画素を輪郭上の画素とし、そ� ��輪郭上の各画素を中心とするブロックを抽� ��してステップS51以降の処理を行う。図20は� �第2の実施形態の変形例を示すブロック図で� ��る。既に説明した構成要素と同様の構成要� ��については、図17と同一の符号を付す。図20 に示すように、画像処理システムは、代表色 推定部802、色補正部803に加えて、輝度勾配算 出部102と輪郭抽出部103とを備えていてもよい 。図20では、コンピュータ800が輝度勾配算出� ��102と輪郭抽出部103とを含む場合を示してい� ��。輝度勾配算出部102および輪郭抽出部103は� ��プログラムに従って動作する中央処理装置� ��よって実現されてもよい。すなわち、中央� ��理装置が、画像処理用プログラムを読み込� ��、画像処理用プログラムに従って、輝度勾� ��算出部102、輪郭抽出部103、代表色推定部802� ��よび色補正部803として動作してもよい。

 本変形例における輝度勾配算出部102およ� ��輪郭抽出部103は、第1の実施形態の画像処理 システムが備える輝度勾配算出部102および輪 郭抽出部103と同様の処理を行う。本変形例の 輝度勾配算出部102および輪郭抽出部103には、 第1の実施形態と同一の符号を付して説明す� �。

 輝度勾配算出部102には、補間画像Saが入� �され、輝度勾配算出部102は、補間画像Saの画 素毎に、輝度勾配強度および輝度勾配方向を 計算する。また、輪郭抽出部103は、各画素に おける輝度勾配強度および輝度勾配方向を用 いて、劣化する前の本来の輪郭を表す画素を 判定する。

 図21は、第2の実施形態の変形例の処理経� ��を示すフローチャートである。第2の実施形 態で説明した処理と同様の処理については、 図19と同一の符号を付す。

 輝度勾配算出部102は、補間画像Saが入力� �れると、第1の実施形態と同様に、補間画像S a中の個々の画素毎に、画素値から輝度値を� �定する。例えば、式(1)の計算により、画素� �に輝度値を計算する。そして、輝度勾配算� �部102は、予め定められたSobelフィルタの係数 の畳み込みを行い、補間画像Saの画素毎に、� ��平方向の輝度勾配、垂直方向の輝度勾配を� ��算する。さらに、輝度勾配算出部102は、画� ��毎に、輝度勾配強度Sb(x,y)および輝度勾配方 向Sc(x,y)を計算する(ステップS49)。輝度勾配強 度Sb(x,y)は、例えば式(4)または式(5)によって� �算すればよい。輝度勾配方向Sc(x,y)は、例え� ��式(6)によって計算すればよい。なお、ここ� ��は、Sobelフィルタの係数を用いる場合を例� �しているが、他のエッジ検出オペレータの� �数(Robinsonのオペレータの係数やPrewittのオペ� ��ータの係数等)を用いる場合の処理も同様で ある。

 ステップS49の後、輪郭抽出部103は、輝度� ��配算出部102が算出した各画素の輝度勾配強� ��、輝度勾配方向と、予め定められた輪郭抽� ��閾値Pcとを用いて、補間画像Sa中で輪郭を表 している画素を判定する(ステップS50)。輪郭� ��出部103は、各画素を輪郭判定対象画素とし� ��選択する。そして、輪郭判定対象画素の輝� ��勾配強度が輪郭抽出閾値Pcよりも大きく、� �つ、輪郭判定対象画素の輝度勾配方向の隣� �画素の輝度勾配強度と、輝度勾配方向を180° 回転させた方向の隣接画素の輝度勾配強度の いずれよりも大きい場合、輪郭判定対象画素 が輪郭上の画素であると判定する。輪郭抽出 部103は、輪郭を表す画素と判定した画素を代 表色推定部802に通知する。

 ステップS49,S50は、第1の実施形態におけ� �ステップS11,S12と同様の処理である。

 ステップS50の後、代表色推定部802および� ��補正部803は、第2の実施形態で説明したステ ップS51~ステップS55の処理を行う。ただし、� �表色推定部802は、ステップS51において、輪� �抽出部103から通知された輪郭を表す画素の� �を選択対象とする。また、色補正部803は、� �テップS55において、補間画像Sa中の輪郭を表 す各画素について、ステップS51以降の処理を 完了しているか否かを判定する。輪郭を表す 各画素のうち、ステップS51以降の処理が行わ れていない画素が残っていればステップS51以 降の処理を繰り返す。輪郭を表す各画素につ いてステップS51以降の処理が完了していれば 処理を終了する。その他の点については、第 2の実施形態と同様である。

 この結果、輪郭を表していない画素につ� ��てはステップS51以降の処理が省略されるの� ��、処理を簡略して処理時間を短縮すること� ��できる。

 次に、第2の実施形態の他の変形例につい て説明する。以下に示す変形例では、ステッ プS51で抽出するブロックの範囲等を可変とす る。図22は、第2の実施形態の他の変形例を示 すブロック図である。既に説明した構成要素 と同一の構成要素については、図20と同一の� ��号を付す。図22に示すように、画像処理シ� �テムは、輝度勾配算出部102、輪郭抽出部103� �代表色推定部802および色補正部803に加えて� �パラメータ設定部810を備えていてもよい。� �22では、コンピュータ800とは別にパラメータ 設定部810を備える場合を示しているが、コン ピュータ800がパラメータ設定部810を含んでい てもよい。そして、パラメータ設定部810は、 プログラムに従って動作する中央処理装置に よって実現されてもよい。すなわち、中央処 理装置が、画像処理用プログラムを読み込み 、画像処理用プログラムに従って、輝度勾配 算出部102、輪郭抽出部103、代表色推定部802、 色補正部803、パラメータ設定部810として動作 してもよい。

 パラメータ設定部810は、ステップS51で抽� ��する画素のブロックとして何行何列のブロ� ��クを抽出するのかを定めるパラメータを算� ��し、代表色推定部802および色補正部803に出� ��する。以下、このパラメータをブロック決� ��用パラメータと記し、"Pe"と表す。代表色推 定部802は、ステップS51において、ブロック決 定用パラメータPeに応じた大きさのブロック� ��抽出する。

 また、パラメータ設定部810には、低解像� ��画像から補間画像Saへの拡大率Paが入力され る。パラメータ設定部810は、入力された拡大 率Paからブロック決定用パラメータPeを計算� �る。なお、拡大率Paが不変である場合、パラ メータ設定部810は、拡大率Paを定数として記� ��しておき、その拡大率Paからブロック決定� �パラメータPeを計算してもよい。

 パラメータ設定部810は、以下に示す式(23) の計算を行い、ブロック決定用パラメータPe� ��計算すればよい。

 Pe=ε・Pa+ζ      式(23)

 ε,ζは定数である。また、εは0より大き� �値であり、Paが大きくなるほど、Peも大きな� ��となる。また、ζはPeの下限を表す値である 。ζをPeの下限値として定めることにより、� �大率Peの値が小さくともPbの値は下限値以上� ��あることが保証される。ε,ζは、例えば、� �像処理システムの管理者等に予め設定され� �。画像処理システムの管理者等は、拡大率� �応じた大きさのブロック数が選択されるよ� �に、ε,ζを決定すればよい。Peは、例えば拡� ��率Paを変数とする一次関数として計算され� �。ε,ζの例として、ε=2.0、ζ=-1.0等の値が挙� �られるが、これらの値に限定されるわけで� �ない。

 また、パラメータ設定部810は、第1の実施 形態の変形例におけるパラメータ設定部110と 同様に、輝度勾配算出用パラメータPbおよび� ��郭抽出閾値Pcを計算し、輝度勾配算出用パ� �メータPbを輝度勾配算出部102に出力し、輪郭 抽出閾値Pcを輪郭抽出部103に出力する。輝度� ��配算出部102は、その輝度勾配算出用パラメ� ��タPbに応じたSobelフィルタの係数を選択し、 補間画像Saの画素毎に輝度勾配強度および輝� ��勾配方向を算出する。また、輪郭抽出部103� ��、その輪郭抽出閾値Pcを用いて、補間画像Sa 中で輪郭を表している画素を判定する。

 図23は、第2の実施形態の他の変形例の処� ��経過を示すフローチャートである。既に説� ��した処理と同様の処理については、図19お� �び図21と同一の符号を付す。パラメータ設定 部810は、拡大率Paが入力されると、その拡大� ��Paを用いて、輝度勾配算出用パラメータPb、 輪郭抽出閾値Pcおよびブロック決定用パラメ� ��タPeを計算する(ステップS41)。なお、Pb,Pc,Pe� ��一部を予め固定値として定めておき、ステ� ��プS41でパラメータ設定部810は、Pb,Pc,Peのう� �固定値として定められていないパラメータ� �ついて計算を行ってもよい。

 輝度勾配算出部102は、補間画像Saが入力� �れると、補間画像Sa中の個々の画素毎に、画 素値から輝度値を特定する。また、「Pbがx1� �上x2未満ならば、3行3列のSobelフィルタの係� �を選択する。」等のルールを予め保持して� �き、そのルールに従って、輝度勾配算出用� �ラメータPbに応じたSobelフィルタの係数を選� ��する。輝度勾配算出部102は、選択したSobel� �ィルタの係数を用いて、補間画像Saの画素毎 に輝度勾配強度および輝度勾配方向を算出す る(ステップS49)。Sobelフィルタの係数を選択� �る点の他は、既に説明したステップS49と同� �である。

 輪郭抽出部103は、パラメータ設定部810が� ��算した輪郭抽出閾値Pcを用いて、補間画像Sa 中で輪郭を表している画素を判定する(ステ� �プS50)。パラメータ設定部810が輪郭抽出閾値P cを定める点の他は、既に説明したステップS5 0と同様である。

 ステップS50後、代表色推定部802および色� ��正部803は、既に説明した第2の実施形態の変 形例と同様に、ステップS51~S55の処理を行う� �代表色推定部802は、ステップS51において、� �郭抽出部103から通知された輪郭を表す画素� �みを選択対象とする。また、色補正部803は� �ステップS55において、補間画像Sa中の輪郭を 表す各画素について、ステップS51以降の処理 を完了しているか否かを判定する。輪郭を表 す各画素のうち、ステップS51以降の処理が行 われていない画素が残っていればステップS51 以降の処理を繰り返す。輪郭を表す各画素に ついてステップS51以降の処理が完了していれ ば処理を終了する。

 本変形例においても、輪郭を表していな� ��画素についてはステップS51以降の処理が省� ��されるので、処理を簡略して処理時間を短� ��することができる。また、低解像度画像か� ��補間画像Saへの拡大率が一定ではない場合� �あっても、拡大率に応じた適切なパラメー� �で輪郭を明瞭化することができる。

 次に、第2の実施形態の他の変形例につい て説明する。図24は、第2の実施形態の他の変 形例を示すブロック図である。既に説明した 構成要素と同様の構成要素については、図17� ��図20、図22と同一の符号を付す。図24に示す� ��うに、画像処理システムは、輝度勾配算出� ��102、輪郭抽出部103、代表色推定部802、色補� ��部803、パラメータ設定部810に加えて、補間� ��像生成部101を備えていてもよい。補間画像� ��成部101は、第1の実施形態の変形例で示した 補間画像生成部101(図13参照)と同様の処理を� �う。図24では、コンピュータ800が補間画像生 成部101を含む場合を示している。補間画像生 成部101は、プログラムに従って動作する中央 処理装置によって実現されてもよい。すなわ ち、中央処理装置が、画像処理用プログラム を読み込み、画像処理用プログラムに従って 、補間画像生成部101、輝度勾配算出部102、輪 郭抽出部103、代表色推定部802、色補正部803、 パラメータ設定部810として動作してもよい。

 補間画像生成部101には低解像度画像Siが� �力され、補間画像生成部101は補間によりそ� �低解像度画像Siを拡大して補間画像Saを生成� ��、補間画像Saを輝度勾配算出部102、代表色� �定部802および色補正部803に出力する。すな� �ち、補間画像生成部101は、低解像度画像Siの 画素間に画素を内挿して、拡大画像である補 間画像Saを生成する。補間画像生成部101は、� ��えば、バイリニア補間あるいはバイキュー� ��ック補間により、低解像度画像Siを拡大す� �。

 また、パラメータ設定部810には、生成す� ��き拡大画像の解像度が入力される。例えば� ��拡大後の補間画像Saの横幅(水平方向の画素� ��)が入力されてもよい。また、パラメータ設 定部810には、拡大前の低解像度画像Siの情報( 例えば、低解像度画像Siの横幅)も入力される 。パラメータ設定部810は、入力された情報を 用いて、拡大率Paを計算し、補間画像生成部1 01に出力する。パラメータ設定部810は、拡大� ��Paを計算した後、既に説明したように拡大� �PaからPb,Pc,Pdの各パラメータを計算してもよ� ��。この動作は、第1の実施形態の変形例で示 したパラメータ設定部110(図13参照)と同様の� �作である。

 補間画像生成部101は、パラメータ設定部8 10が計算した拡大率Paで低解像度画像Siを補間 して補間画像Saを生成する。

 図25は、本変形例の処理経過を示すフロ� �チャートである。既に説明した処理と同様� �処理については、図19および図21と同一の符� ��を付す。パラメータ設定部810には、例えば� ��低解像度画像Siの横幅Wlおよびユーザの所望 の補間画像Saの横幅Whが入力される。パラメ� �タ設定部810は、WlおよびWhが入力されると、W h/Wlを計算することにより、拡大率Paを計算す る。ただし、ここで示した拡大率Paの計算方� ��は一例であり、他の方法で拡大率Paを計算� �てもよい。パラメータ設定部810は、計算し� �拡大率Paを補間画像生成部101に出力する。ま た、パラメータ設定部810は、その拡大率Paを� ��いて、輝度勾配算出用パラメータPb、輪郭� �出閾値Pcおよびブロック決定用パラメータPe� ��計算する(ステップS47)。パラメータ設定部81 0は、Pbを輝度勾配算出部102に出力し、Pcを輪� ��抽出部103に出力し、ブロック決定用パラメ� ��タPeを代表色推定部802および色補正部803に� �力する。拡大率Paから、Pb,Pc,Pdを算出する動� ��は、既に説明した動作と同様である。

 補間画像生成部101には、低解像度画像Si� �入力される。ステップS47の後、補間画像生� �部101は、拡大率Paで低解像度画像Siを補間し� ��、ユーザの所望の解像度の補間画像Saを生� �する(ステップS48)。この処理は、第1の実施� �態の変形例で説明したステップS10(図14参照)� ��同様である。

 補間画像生成部101は、低解像度画像Siに� �して画素を補間して生成した補間画像Saを輝 度勾配算出部102、代表色推定部802および色補 正部803に出力する。輝度勾配算出部102は、パ ラメータ設定部810が計算した輝度勾配算出用 パラメータPbに応じたSobelフィルタの係数を� �択する。輝度勾配算出部102は、Sobelフィルタ の係数を用いて、補間画像Saの画素毎に輝度� ��配強度および輝度勾配方向を算出し、各画� ��の輝度勾配強度および輝度勾配方向を輪郭� ��出部103に出力する(ステップS49)。輪郭抽出� �103は、パラメータ設定部810が計算した輪郭� �出閾値Pcを用いて、補間画像Sa中で輪郭を表� ��ている画素を判定する(ステップS50)。

 ステップS50後、代表色推定部802および色� ��正部803は、既に説明した第2の実施形態の変 形例と同様に、ステップS51~S55の処理を行う� �代表色推定部802は、ステップS51において、� �郭抽出部103から通知された輪郭を表す画素� �みを選択対象とする。また、色補正部803は� �ステップS55において、補間画像Sa中の輪郭を 表す各画素について、ステップS51以降の処理 を完了しているか否かを判定する。輪郭を表 す各画素のうち、ステップS51以降の処理が行 われていない画素が残っていればステップS51 以降の処理を繰り返す。輪郭を表す各画素に ついてステップS51以降の処理が完了していれ ば処理を終了する。

 本変形例によれば、補間画像生成部101が� ��解像度画像Siに補間処理を行うことにより� �間画像Saを生成するので、低解像度画像Siを� ��力すれば、高品質の拡大画像を得ることが� ��きる。

 また、パラメータ設定部810を備える構成( 例えば、図22、図24に示す構成)において、画� ��処理システムは、輝度勾配算出部102および� ��郭抽出部103を備えていなくともよい。この� ��合、パラメータ設定部810は、Pb,Pcを計算し� �くてもよい。

実施形態3
 図26は、本発明の第3の実施形態を示すブロ� ��ク図である。本発明の第3の実施形態は、画 像を圧縮して送信する画像圧縮装置600と、そ の画像を受信して伸張する画像伸張装置610と を含む画像伝送システムである。画像圧縮装 置600と画像伸張装置610は、伝送路620を介して 画像を送受信する。

 画像圧縮装置600には、高解像度の入力画� ��604が入力される。画像圧縮装置600は、入力� ��像604をダウンサンプリングした低解像度画� ��605と、そのダウンサンプリング後の画像と� ��力画像との残差606とを併せて圧縮データ607� ��して、伝送路620に送出する。また、画像伸� ��装置610は、受信した圧縮データ607に含まれ� ��低解像度画像605を拡大し、圧縮データ607に� ��まれる残差606を加算して、伸張画像615を生� ��する。以下、画像圧縮装置600および画像伸� ��装置610の構成を説明する。

 画像圧縮装置600は、ローパス・ダウンサ� ��プリング部601と、拡大画像生成部602と、画� ��減算部603とを備える。

 ローパス・ダウンサンプリング部601には� ��入力画像(高解像度画像)604が入力される。� �お、入力画像604は、画像減算部603にも入力� �れる。ローパス・ダウンサンプリング部601� �、入力画像604に対してローパスフィルタを� �用し、入力画像604を所定の解像度にダウン� �ンプリングする。ダウンサンプリングとは� �水平方向および垂直方向に並ぶ画素を周期� �に取り除き、画像を低解像度化することを� �う。ローパス・ダウンサンプリング部601は� �生成した低解像度画像605を伝送路620に送信� �、また、拡大画像生成部602に出力する。

 拡大画像生成部602は、ローパス・ダウン� ��ンプリング部601が生成した低解像度画像605� ��入力として、その低解像度画像605を入力画� ��604と同じ解像度の画像に拡大する。また、� ��大画像生成部602は、その拡大画像中の輪郭� ��明瞭化する画像処理を行い、その結果得ら� ��る画像を画像減算部603に出力する。この処� ��は、第1の実施形態の変形例として説明した 補間画像生成部101を備える画像処理システム 、または第2の実施形態の変形例として説明� �た補間画像生成部101を備える画像処理シス� �ムが実行する処理と同様の処理である。

 拡大画像生成部602は、例えば、第1の実施 形態の変形例として説明した補間画像生成部 101を備える画像処理システム(図13参照)によ� �て実現される。また、パラメータ設定部110� �拡大率Pa、輝度勾配算出用パラメータPb、輪� ��抽出閾値Pc、輪郭補正用パラメータPdを設定 してもよい。パラメータ設定部110が拡大率Pa� ��計算するための情報(Wh,Wl)は、例えば、予め 定めておけばよい。

 拡大画像生成部602は、第2の実施形態の変 形例として説明した補間画像生成部101を備え る画像処理システム(図24参照)によって実現� �れてもよい。また、パラメータ設定部110が� �大率Pa、輝度勾配算出用パラメータPb、輪郭� ��出閾値Pc、ブロック決定用パラメータPeを設 定してもよい。パラメータ設定部810が拡大率 Paを計算するための情報(Wh,Wl)は、例えば、予 め定めておけばよい。

 また、図13や図24に示すパラメータ設定部 110,810を備えずに、拡大率Pa、輝度勾配算出用 パラメータPb、輪郭抽出閾値Pc、輪郭補正用� �ラメータPd、ブロック決定用パラメータPeが� ��め定められていてもよい。また、輝度勾配� ��出用パラメータPbの代わりに、Sobelフィルタ の係数が予め定められていてもよい。

 画像減算部603は、入力画像604と、拡大画� ��生成部602が出力した高解像度画像(入力画像 604と同じ解像度の画像)との残差606を計算す� �。入力画像604における座標(x,y)の画素の画素 値をI1(x,y)とする。また、拡大画像生成部602� �生成した高解像度画像における座標(x,y)の画 素の画素値をI2(x,y)とする。画像減算部603は� �入力画像604と拡大画像生成部602が拡大して� �力した高解像度画像の対応する画素毎に(す� ��わち同じ座標の画素毎に)、I2(x,y)-I1(x,y)を計 算する。この計算結果が残差606である。残差 は、高解像度画像および入力画像604の対応す る画素同士の画素値の差を表すデータである 。

 また、画像減算部603は、ローパス・ダウ� ��サンプリング部601が低解像度画像605を送信� ��るときに、併せてその残差606を送信する。� ��解像度画像605と残差606をあわせたデータが� ��縮データ607である。

 画像圧縮装置600は上記のような構成であ� ��、ローパス・ダウンサンプリング部601およ� ��画像減算部603に入力画像604が入力されると� ��ローパス・ダウンサンプリング部601はその� ��力画像604をダウンサンプリングして低解像� ��画像605を生成する。そして、拡大画像生成� ��602は、その低解像度画像605を拡大し、画像� ��算部603は、その結果得られた拡大画像と入� ��画像との残差606を計算する。そして、ロー� ��ス・ダウンサンプリング部601は、低解像度� ��像605を画像伸張装置610に送信し、画像減算� ��603は、その低解像度画像605と併せて残差606� ��画像伸張装置610に送信する。

 画像伸張装置610は、拡大画像生成部611と� ��画像加算部612とを備える。

 画像伸張装置610は、受信した圧縮データ6 07から低解像度画像605と残差606とを取り出す� ��

 拡大画像生成部611には、受信した圧縮デ� ��タ607中の低解像度画像605が入力される。拡� ��画像生成部611は、低解像度画像605を入力と� ��て、その低解像度画像605を入力画像604と同� ��解像度の画像に拡大する。また、拡大画像� ��成部611は、その拡大画像中の輪郭を明瞭化� ��る画像処理を行い、その結果得られる画像� ��画像加算部612に出力する。この処理は、第1 の実施形態の変形例として説明した補間画像 生成部101を備える画像処理システム、または 第2の実施形態の変形例として説明した補間� �像生成部101を備える画像処理システムが実� �する処理と同様の処理である。

 画像伸張装置610が備える拡大画像生成部6 11は、画像圧縮装置600が備える拡大画像生成� ��602と同様であり、例えば、第1の実施形態の 変形例として説明した補間画像生成部101を備 える画像処理システム(図13参照)によって実� �される。また、例えば、第2の実施形態の変� ��例として説明した補間画像生成部101を備え� ��画像処理システム(図24参照)によって実現さ れてもよい。

 画像加算部612には、受信した圧縮データ6 07中の残差606が入力される。画像加算部612は� ��拡大画像生成部611が出力した拡大画像と、� ��差606とを加算する。拡大画像における座標( x,y)の画素の画素値をI3(x,y)とする。また、残� ��606における座標(x,y)の画素の画素値をI4(x,y)� ��する。画像加算部612は、拡大画像生成部611� ��生成した拡大画像と残差606の対応する画素� ��に(すなわち同じ座標の画素毎に)、I3(x,y)+I4( x,y)を計算することで、目的とする高解像度� �伸張画像615を生成する。

 画像伸張装置610は上記のような構成であ� ��、拡大画像生成部611に低解像度画像605が入� ��されると、拡大画像生成部611はその低解像� ��画像605を拡大する。画像加算部612は、その� ��果得られた拡大画像と残差606とを加算し、� ��張画像615を生成する。

 なお、画像圧縮装置600は、伝送路620を介� ��て低解像度画像605および残差606を画像伸張� ��置610に送信する際、その低解像度画像605お� ��び残差606(圧縮データ607)を既存のデータ圧� �方法を用いてさらに圧縮してもよい。この� �合、画像伸張装置610は、その既存のデータ� �縮方法に対応するデータ伸張方法でデータ� �伸張してから、上記の処理を実行すればよ� �。

 第3の実施形態によれば、画像伸張装置610 は、第1の実施形態または第2の実施形態で説� ��した画像拡大処理を用いた画像圧縮装置600� ��ら受信した低解像度画像605と残差606から高� ��質な拡大画像を生成することができる。第1 の実施形態または第2の実施形態で説明した� �像拡大処理によって生成される拡大画像は� �既存の拡大画像処理によって生成される拡� �画像より入力画像に等しい画像であるので� �残差606はより小さいデータ量となり、その� �果、画像圧縮装置600は、伝送路620を介して� �信する残差606のデータ量を削減することが� �きる。

 以上、説明した実施形態には、輝度勾配� ��出部が、輝度勾配の強度および輝度勾配の� ��向の計算対象画素を中心としてエッジ検出� ��ペレータの係数と同じ配置となる複数の画� ��を特定し、特定した各画素それぞれについ� ��、対応するエッジ検出オペレータの係数と� ��積を計算し、その和を求めることにより、� ��平方向および垂直方向の輝度勾配を計算し� ��大きさがその水平方向の輝度勾配であるベ� ��トルと、大きさが垂直方向の輝度勾配であ� ��ベクトルとの合成ベクトルの大きさを計算� ��象画素の輝度勾配の強度とし、垂直方向の� ��度勾配を水平方向の輝度勾配で除算した結� ��のアークタンジェントを輝度勾配の方向と� ��、輪郭抽出部が、輪郭を表す画素であるか� ��かの判定対象画素を選択し、判定対象画素� ��輝度勾配の強度が輪郭抽出閾値より大きく� ��判定対象画素の輝度勾配の方向の隣接画素� ��よびその方向を180°回転させた方向の隣接� �素それぞれの輝度勾配の強度よりも大きい� �きに、判定対象画素は輪郭を表す画素であ� �と判定する構成が記載されている。

 また、拡大前の画像から補間画像への拡� ��率から、エッジ検出オペレータの係数を選� ��するための輝度勾配算出用パラメータと、� ��郭抽出閾値と、第1の隔離画素および第2の� �離画素を特定するための距離とを定めるパ� �メータ設定部とを備え、輝度勾配算出部が� �予め複数種類のエッジ検出オペレータの係� �を保持し、輝度勾配算出用パラメータに応� �たエッジ検出オペレータの係数を用いて輝� �勾配の強度および輝度勾配の方向を計算し� �輪郭抽出部が、パラメータ設定部が定めた� �郭抽出閾値を用いて、輪郭を表す画素を特� �し、輪郭補正部が、パラメータ設定部が定� �た距離を用いて、第1の隔離画素および第2の 隔離画素を特定する構成が記載されている。

 また、パラメータ設定部が、パラメータ� ��定部に入力される拡大率から、輝度勾配算� ��用パラメータと、輪郭抽出閾値と、第1の隔 離画素および第2の隔離画素を特定するため� �距離とを定める構成が記載されている。

 また、パラメータ設定部が、予め定めら� ��た拡大率から、輝度勾配算出用パラメータ� ��、輪郭抽出閾値と、第1の隔離画素および第 2の隔離画素を特定するための距離とを定め� �構成が記載されている。

 また、拡大対象画像が入力され、その拡� ��対象画像の画素間に画素を内挿することに� ��り、拡大対象画像を拡大した補間画像を生� ��する補間画像生成部を備える構成が記載さ� ��ている。

 以上、実施形態を参照して本願発明を説� ��したが、本願発明は上記実施形態に限定さ� ��るものではない。本願発明の構成や詳細に� ��、本願発明のスコープ内で当業者が理解し� ��る様々な変更をすることができる。

 本発明は、低解像度の静止画や動画から� ��大された画像中の輪郭を明瞭にする画像処� ��を行う画像処理システムに好適に適用され� ��また、高解像度の静止画、動画を圧縮して� ��送したり保存したりするシステムにも適用� ��能である。

 この出願は、2007年12月25日に出願された� �本出願特願2007-332029を基礎とする優先権を主 張し、その開示の全てをここに取り込む。