以下、図面を参照して本発明の実施の形� ��について説明する。なお、以下で説明する� ��施の形態のそれぞれはあくまで一例であり� ��様々な改変を行うことが可能である。

 (実施の形態1)
 図1は本発明の実施の形態1の画像通信装置A1 の全体構成を示すブロック図である。この実 施の形態は、ネットワークなどの伝送容量が 限られたデータ通信回線を介して、膨大なデ ータ量を持つ画像を伝送するシステムである 。本実施の形態はネットワークに限らず、画 像送信装置と画像受信装置とを接続する様々 なデータ通信回線に応用できる。

 本実施の形態の特徴は、1フレームにおい て、画像データの色情報を構成する複数の色 成分の中の一部の色成分の画像データを、符 号化対象色成分として送信し、受信側で受信 した現在の符号化対象色成分の画像データと 過去の符号化対象色成分(現在の符号化対象� �成分とは色が異なる)の画像データとを合成� ��ることにある。これによって、画像の情報� ��を削減し画像の符号化率を抑圧することが� ��き、限られた伝送容量での画像通信時にも� ��化の少ない画像を伝送することができる。

 画像通信装置A1は、画像送信装置10Aと、� �像受信装置20Aと、ネットワーク30とを備える 。ネットワーク30は、画像送信装置10Aと画像� ��信装置20Aとの間でデータ伝送を行う。画像� ��信装置10Aには撮像装置40が接続され、画像� �信装置20Aには表示装置50が接続される。画像 送信装置10Aには撮像装置40だけでなく、画像� ��ータを出力する機器を接続することができ� ��。

 画像送信装置10Aは、画像取得部11と、符� �化部12と、データ転送部13とを備える。画像� ��得部11は、撮像装置40から入力された画像デ ータをメモリに取り込む処理を行う。画像取 得部11では、入力画像データをYUV形式とする� ��とも、RGB形式とすることも可能である。YUV� ��輝度・色差マルチプレクス信号のことであ� ��、Yは輝度信号、Uは赤の色差信号、Vは青の� ��差信号である。

 符号化部12は、
・画像取得部11のメモリから画像データを読� ��出す、
・読み出した画像データの色情報を構成する 複数の色成分データの中の一部の色成分を、 符号化対象色成分としてその都度選択する、
・選択した符号化対象色成分の画像データを 予測符号化、直交変換符号化、ベクトル量子 化など既知の画像圧縮アルゴリズムで符号化 する、
・符号化対象色成分の画像データをデータ転 送部13に出力する、
 という処理を行う。なお、符号化対象色成� ��の選択は、色成分分割パターンに従って行� ��れる。色成分分割パターンとは、画像デー� ��の送受信を例えば図2に示す色成分分割パタ ーンと、図3に示す色成分分割パターンとを� �む複数の色成分分割パターンの中で、いず� �のパターンで行うかを示す情報である。色� �分分割パターンは、ROMなどの記憶器にあら� �じめ設定されている。上記構成において、� �号化対象色成分は、色成分分割パターンに� �って順次周期的に入れ替えられる。

 データ転送部13は、符号化対象色成分の� �像データをネットワーク30に送信する。

 画像受信装置20Aは、データ受信部21と、� �号化部22と、蓄積部23と、合成部24とを備え� �。データ受信部21は、ネットワーク30から受� ��した符号化対象色成分の符号化データを受� ��して、復号化部22に出力する。復号化部22は 、符号化対象色成分の符号化データを復号化 して蓄積部23に出力する。合成部24は、復号� �部22で復号化され現在の符号化対象色成分の 画像データと、色を異にする過去の符号化対 象色成分の画像データであって蓄積部23から� ��み出された画像データとを合成することで� ��像を復元する。合成部24は、このような画� �復号処理を、あらかじめ設定しておいた色� �分分割パターン情報に従って行う。

 合成部24による画像復号処理を、入力画� �データがYUV形式で、その色成分をY成分、U成 分、V成分に分割してYUVYUVの順に送信してい� �場合を例にして、図2を参照して説明する。

 いま、画像送信装置10Aの画像取得部11がn� ��レーム目の画像データを取得したとする。

 (nフレームにおける処理)
 このタイミングにおいて、符号化部12は、n� ��レーム目の入力画像データのY成分Y _n  を符号化対象色成分として符号化したうえで 符号化した結果をデータ転送部13に出力する� ��データ転送部13はネットワーク30に、符号化 対象色成分の符号化データを送信する。nフ� �ーム目の入力画像データのY成分Y _n  の符号化データを受信した画像受信装置20Aの 復号化部22は、符号化データを復号化し蓄積� ��23に格納する。

 合成部24は、
・蓄積部23に格納してある現フレームで受信� ��たnフレーム目の符号化対象色成分であるY� �分Y _n  と、
・1フレーム前に受信した(n-1)フレーム目の符 号化対象色成分であるV成分V _n-1  と、
・2フレーム前に受信した(n-2)フレーム目の符 号化対象色成分であるU成分U _n-2  と、
 を合成したうえで、その合成結果をnフレー ム目の再生画像P _n  として再生する。

 ((n+1)フレームにおける処理)
 このタイミングにおいて、合成部24は、
・(n-1)フレーム目の符号化対象色成分であるV 成分V _n-1  と、
・nフレーム目の符号化対象色成分であるY成� ��Y _n  と、
・(n+1)フレーム目の符号化対象色成分であるU 成分U _n+1  と、
を合成したうえで、その合成結果を(n+1)フレ� ��ム目の再生画像P _n+1  として再生する。

 画像送信装置10Aと画像受信装置20Aとは、� ��次更新する符号化対象色成分を変更しなが� ��上記処理を繰り返す。

 なお、図3、図4に示すように、画像デー� �の色成分を分割して送信してもよい。図3の� ��では、画像データをY成分、U成分、V成分に� ��割したうえで、符号化対象色成分を、Y・U� �Y・V・Y・U・Y・Vのように入れ替えながら送� �する。

 この場合、
・(n-2)フレーム目では入力画像データのU成分 U _n-2 の符号化データ   が、
・(n-1)フレーム目では入力画像データのY成分 Y _n-1  の符号化データが、
 それぞれ符号化対象色成分として送信され� ��。

 復号化部22は、
・蓄積部23に蓄積されている(n-2)フレーム目� �符号化対象色成分であるU成分U _n-2  の符号化データと、
・(n-1)フレーム目の符号化対象色成分であるY 成分Y _n-1 の符号化データと、
 を復号化する。

 合成部24は、
・復号化部22によって復号化された(n-2)フレ� �ム目と、(n-1)フレーム目とにおける符号化対 象色成分の復号化データであるU成分U _n-2  ,Y成分Y _n-1 と、
・nフレーム目の再生画像データと、
・現フレームで受信した入力画像のV成分V _n と、
を合成し、その合成結果を表示装置50に出力� ��て再生画像P _n  として再生する。

 (n+1)フレーム目では、復号化部22において入 力画像データのY成分Y _n+1  の符号化データが更新される。

 合成部24は、
・(n+1)フレーム目の入力画像データのY成分Y _n+1  と、
・nフレーム目の入力画像のV成分V _n  と、
・(n-2)フレーム目の入力画像データのU成分U _n-2  と、
を合成し、その合成結果を表示装置50に出力� ��て再生する。

 図4の例では、画像データをY成分とUV成分 とに分割して交互に送信している。

 (nフレーム目の処理)
 このタイミングにおいて、
・画像送信装置10Aでは、データ転送部13が、� ��力画像データのUV成分UV _n  (nフレーム目の符号化対象色成分)の符号化デ ータをネットワーク30に送信し、
・画像受信装置20Aでは、合成部24が、蓄積部2 3で蓄積されている(n-1)フレーム目に受信した 画像データのY成分Y _n-1  ((n-1)フレーム目の符号化対象色成分)と、現� �レーム(nフレーム)で受信した画像データのUV 成分UV _n  (nフレーム目の符号化対象色成分)とを合成し てその合成画像を再生する。

 ((n+1)フレーム目の処理)
 このタイミングにおいて、
・画像送信装置10Aでは、データ転送部13が、� ��力画像データのY成分Y _n+1  ((n+1)フレーム目の符号化対象色成分)の符号� �データをネットワーク30に送信し、
・画像受信装置20Aでは、合成部24が、nフレー ム目で受信した画像データのUV成分UV _n  (nフレーム目の符号化対象色成分)と、現フレ ーム((n+1)フレーム))で受信した画像データのY 成分Y _n+1  ((n+1)フレーム目の符号化対象色成分)とを合� �してその合成画像を再生する。

 なお、合成部24は、画像データを再生す� �とともに、再生後の画像データを表示装置50 に出力する。以後同様に交互にY成分とUV成分 との更新を繰り返す。

 上記で説明した例に限らず、画像データ� ��YU成分とYV成分とを1フレームおきに送信す� �など様々な色成分の分割方法と組み合わせ� �考えられる。YUV形式の信号は、YUV444に限ら� �、YUV422、YUV420、YUV411などのフォーマットを� �いることでさらに情報量を削減することが� �きる。画像取得部11にはRGB形式の画像も入力 可能であるし、画像取得部11にYUV形式をRGB形� ��に変換する機能を持たせ、図5に示すように 、R成分、G成分、B成分に分割して送信するこ ともできる。

 以上のように本実施の形態によれば、符� ��化部12は、1フレーム内で入力画像データに� ��ける複数の色成分の中の一部の色成分を符� ��化対象色成分として取り出したうえで、そ� ��符号化対象色成分の画像データを符号化し� ��その符号化データをデータ転送部13が画像� �信装置20Aに転送する。そのため、処理すべ� �画像データの情報量が削減されて符号化率� �抑圧される。その結果、ネットワーク30の伝 送容量が限られている場合であっても、画像 データを劣化の少ない状態で送信することが できる。また、画像受信装置20Aでは受信した 現在の符号化対象色成分の画像データと過去 の符号化対象色成分の画像データとを合成す るように構成してあるので、元の入力画像デ ータを劣化のない状態で再現することができ る。

 (実施の形態2)
 図6は本発明の実施の形態2の画像通信装置A2 の全体構成を示すブロック図である。図6に� �いて、実施の形態1の図1におけるのと同じ符 号は同一構成要素を示しており、それらにつ いての詳しい説明は省略する。画像通信装置 A2では、画像送信装置10Bに分割パターン設定� ��14がさらに設けられている。分割パターン� �定部14はレジスタなどの変更可能な記憶器を 有しており、この記憶器には入力画像のデー タ形式と色成分分割パターンとが格納されて いる。ここで色成分分割パターンとは、実施 の形態1と同様、画像データの送受信を例え� �図2に示す色成分分割パターンと、図3に示す 色成分分割パターンとを含む複数の色成分分 割パターンの中で、いずれのパターンで行う かを示す情報である。

 画像送信装置10Bにおいて、符号化部12は、� �施の形態1と同様、
・画像取得部11のメモリから画像データを読� ��出す、
・読み出した画像データの色情報を構成する 複数の色成分データの一部の色成分データを 、符号化対象色成分データとしてその都度選 択する、
・選択した符号化対象色成分の画像データを 予測符号化、直交変換符号化、ベクトル量子 化など既知の画像圧縮アルゴリズムで符号化 する、
・符号化対象色成分の符号化データをデータ 転送部13に出力する、
 という処理を行う。

 データ転送部13は、符号化データに色成� �分割パターン情報を付加してネットワーク30 に送信する。

 画像受信装置20Bにおいて、データ受信部2 1は、ネットワーク30から受信した符号化対象 色成分の符号化データを受信して、復号化部 22に出力する。復号化部22は、符号化対象色� �分の符号化データを復号化して蓄積部23に出 力する。合成部24は、復号化部22で復号化さ� �現在の符号化対象色成分の画像データと、� �積部23に先に蓄積されている過去の符号化対 象色成分の画像データ(現在の符号化対象色� �分とは色を異にする)とを読み出して合成す� ��ことで画像を復元する。合成部24は、この� �うな画像復号処理を、画像データとともに� �像送信装置10Bから送られてきた色成分分割� �ターン情報に従って行う。画像データの送� �と再生の様子は実施の形態1と同様であるの� ��、その説明を省略する。

 以上のように本実施の形態によれば、分� ��パターン設定部14において、ネットワーク30 の混雑状況の変化に応じて色成分分割パター ンを設定することが可能であるので、ネット ワーク30の混雑状況の変化にかかわらず、画� ��データを劣化の少ない状態で送信すること� ��できる。

 なお、データ転送部13にネットワーク30の トラフィック測定機能を設けたうで、ネット ワーク30の負荷状況に応じて、分割パターン� ��定部14において色成分分割パターンを自動� �変更するように構成することも可能である� �このように構成した場合、ネットワーク30の 負荷が軽いときには1フレーム内に画像デー� �の色成分すべてを送信し、ネットワーク30が 混雑しているときには一部の色成分を符号化 対象色成分として選択し、その符号化対象色 成分の画像データのみを送信するようにする 。その結果として、ネットワーク30の輻輳状� ��に応じて画像データの容量を増減すること� ��できる。

 (実施の形態3)
 図7は本発明の実施の形態3の画像通信装置A3 の全体構成を示すブロック図である。図7に� �いて、実施の形態1の図1におけるのと同じ符 号は同一構成要素を示しており、それらにつ いての詳しい説明は省略する。画像通信装置 A3では、画像送信装置10Cに動き検出部15がさ� �に設けられている。画像取得部11が有するメ モリに1フレーム前の入力画像データを記憶� �たうえで、動き検出部15が現在のフレームで の入力画像データと1フレーム前の入力画像� �ータとの間の差分から画像の動き量を検出� �る。動き検出部15が有する記憶部には、画像 データの色成分分割パターンを切り替えるた めの閾値が記憶されている。符号化部12では� ��ROMなどの記憶器にあらかじめ色成分分割パ� ��ーンが記憶されている。

 符号化部12は、動き検出部15が検出した画像 の動き量と上記閾値とを比較し、動き量が閾 値以下であると判断すると、実施の形態1と� �様、
・あらかじめ設定しておいた色成分分割パタ ーンに従って、読み出した画像データの色情 報を構成する複数の色成分データの中の一部 の色成分データを、符号化対象色成分データ としてその都度選択する、
・選択した符号化対象色成分の画像データを 予測符号化、直交変換符号化、ベクトル量子 化など既知の画像圧縮アルゴリズムで符号化 する、
・符号化データをデータ転送部13に出力する� ��
 という処理を行う。

 一方、検出した画像の動き量が上記閾値� ��りも大きいと判断すると、符号化部12は、� �像データの色成分を分割せずに、1フレーム� ��おいてすべての色成分の画像データを符号� ��する。

 データ転送部13は、符号化データに色成� �分割パターン情報を付加してネットワーク30 に送信する。

 画像受信装置20Cのデータ受信部21は、ネ� �トワーク30から符号化対象色成分の符号化デ ータを受信して、復号化部22に出力する。復� ��化部22は、符号化対象色成分の符号化デー� �を復号化して蓄積部23に出力する。合成部24� ��、ネットワーク30から受信した符号化デー� �が色成分分割されたものであるか否かを判� �する。符号化データが色成分分割されたも� �であると判断すると、合成部24は実施の形態 1と同様、復号化部22で復号化され現在の符号 化対象色成分の画像データと、過去の符号化 対象色成分の画像データ(現在の符号化対象� �成分とは色を異にする)とを蓄積部23から読� �出して合成することで画像を復元する。合� �部24は、このような画像復号処理を、あらか じめ設定しておいた色成分分割パターン情報 に従って行う。一方、ネットワーク30から受� ��した符号化データが色成分分割されたもの� ��なくすべての色成分を含むものであると判� ��すると、合成部24は、復号化部22からの復号 化された画像データをそのまま表示装置50に� ��力する。

 なお、画像送信装置10Cに実施の形態2と同 様の分割パターン設定部を設けて、2つの色� �分分割パターンを設定しておき、色成分分� �パターン切り替えの閾値によって2つの色成� ��分割パターンを切り替えるようにしてもよ� ��。

 以上のように本実施の形態によれば、動� ��検出部15によって画像の動きの速さを検出� �、画像の動き量が所定の閾値より大きいと� �は、符号化対象色成分と色の選択をやめ、� �べての色成分の画像データの符号化に切り� �える。これは、画像の動きが速い状態では� �解像度が低いことに起因して画質劣化が生� �るものの、その画質劣化が視覚上はあまり� �題とならないことを利用したものである。� �の結果として、画像処理の速度アップを図� �ことができる。

 (実施の形態4)
 図8は本発明の実施の形態4の画像通信装置A4 の全体構成を示すブロック図である。図8に� �いて、実施の形態3の図7におけるのと同じ符 号は同一構成要素を指しているので、詳しい 説明は省略する。画像通信装置A4では、画像� ��信装置20Dにおいて、合成部24は、あらかじ� �設定しておいた色成分分割パターン情報に� �って、復号化部22で復号化されて蓄積部23に� ��積された現在の符号化対象色成分の画像デ� ��タと、過去において復号化されて蓄積部23� �蓄積された符号化対象色成分の画像データ(� ��在の符号化対象色成分とは色を異にする)と を蓄積部23から読み出して合成して画像を復� ��する。このとき現フレームにおける符号化� ��象色成分の画像データと過去フレーにおけ� ��符号化対象色成分の画像データとは時間的� ��差異が生じているため、動きのある被写体� ��は合成時に色ずれが生じるおそれがある。� ��実施の形態は、この色ずれを緩和するもの� ��ある。

 画像通信装置A4では、画像受信装置20Dに� �き補償部25と滑化部26とがさらに設けられて� ��る。動き補償部25は、現フレームにおいて� �号化対象色成分の画像データと一緒に画像� �信装置10Dから送られてきた予測誤差と動き� �クトルとを用いて、蓄積部23に蓄積されてい る過去フレームにおける符号化対象色成分の 画像データに動き補償処理を行ったうえで、 その動き補償後の画像データを平滑化部26に� ��力する。予測誤差と動きベクトルとは画像� ��信装置10Dにおいて動き検出部15で算出され� �うえで、データ転送部13からネットワーク30� ��介して画像受信装置20Dに送信される。平滑� ��部26は、符号化対象色成分の画像データと� �もに送られてきた画像の動き量に応じて画� �データをぼかす処理を行う。平滑化部26は、 画像データをぼかす処理を、移動平均法など の平滑化フィルタを用いて行う。

 画像送信装置10Dの動き検出部15は、入力画� �と1フレーム前の画像データとの間の動きベ� ��トルを検出したうえで、1フレーム前の画像 データと動きベクトルとに基づいて予測画像 を作成する。そのうえで動き検出部15は、
・現フレームで送信を行わない色成分の予測 画像と、
・入力画像の差分である予測誤差と、
・動きベクトルと、
 を、
 動き量とともに現フレームの符号化対象色� ��分の画像データに付加して送信する。

 ここでいう動きベクトルとは、入力画像� ��m×nブロックに区切り符号化しようとしてい るブロック(以下、符号化対象ブロックとい� �)に最も似ているブロック(以下、類似ブロッ クという)を予測画像の中から検出したとき� �符号化対象ブロックと類似ブロックとの間� �の間に生じる動きベクトルのことである。� �9に予測誤差と動きベクトルの模式図を示す� ��

 データ転送部13は、符号化された画像デー� �をネットワーク30に送信する際に、動き検出 部15で算出された、
・予測誤差、
・動きベクトル、
・画像の動き量、
 のデータを画像データに付加して送信する� ��

 例えば図2のように画像データをY成分、U成� ��、V成分に分割したうえで、nフレーム目の� �像データのY成分Y _n  を送信する際を例にして説明する。この場合 、
動き検出部15は、
・nフレーム目の画像データのV成分V _n  と(n-1)フレーム目の画像データのV成分V _n-1  とから予測誤差と動きベクトルとを、
・nフレーム目の画像データのU成分U _n  と(n-1)フレーム目のU成分の予測画像U _n-1  ″とから予測誤差と動きベクトルとを、
それぞれ算出し、
データ転送部13は、これら動き検出部15の算� �結果を画像データに付加して送信する。こ� �で、予測画像U _n-1  ″は、(n-1)フレーム目の画像データのU成分U _n-1  と(n-2)フレーム目の画像データのU成分U _n-2  とから作成される。

 これらの画像データを受信した画像受信装� ��20Dの動き補償部25は、蓄積部23に蓄積されて いる、
・(n-1)フレーム目の符号化対象色成分の画像� ��ータであるV成分V _n-1  と、
・(n-2)フレーム目の符号化対象色成分の画像� ��ータであるU成分U _n-2  と、
に、
現フレーム(nフレーム)において現在の符号化 対象色成分の画像データとともに送られてき た予測誤差と動きベクトルとを用いて動き補 償処理を行う。

 平滑化部26は、
・動き補償後の(n-1)フレーム目の符号化対象� ��成分の画像データであるV成分V _n-1  と、
・動き補償後(n-2)フレーム目の符号化対象色� ��分の画像データであるU成分U _n-2  と、
・現フレーム(nフレーム)の符号化対象色成分 の画像データであるY成分Y _n  と、
を、
画像データとともに受信した動き量に応じて 平滑化する。

 合成部24は、
・平滑化後の現フレーム(nフレーム目)の符号 化対象色成分の画像データであるY成分Y _n  と、
・動き補償/平滑化後の(n-1)フレーム目の符号 化対象色成分の画像データであるV成分V _n-1  と、
・動き補償/平滑化後の(n-2)フレーム目の符号 化対象色成分の画像データであるU成分U _n-2  と、
を、
合成して画像を再生する。

 人間の目は、動きのある被写体に対して� ��視力が低下する。そのため、過去フレーム� ��よび現フレームの符号化対象色成分の画像� ��ータをぼかした後、合成部24で合成すれば� �各符号化対象色成分の時間的差異による色� �れを緩和することが可能となる。

 なお、動き検出部15で入力画像データをm� �nブロックに区切り、そのブロックごとに動� ��量を検出して画像データに付加して送信し� ��平滑化部26でm×nブロックごとに動き量に応� ��て平滑化を行うようにしてもよい。そうす� ��ば、さらに自然な画像を再生できるように� ��る。ただし、ブロックのサイズが小さくな� ��につれて情報量は増加するため、適当なサ� ��ズのブロック数を選択する必要がある。

 また、ブロック毎に動き量に応じて平滑� ��を行うことで画像の一部分のみがぼけるこ� ��を防ぐために、最も動き量が大きいブロッ� ��に合わせて画像全体を平滑化するようにし� ��もよい。また、動き量が大きい場合には色� ��分の彩度を落とし、色ずれを目立たなくす� ��ようにしてもよい。

 なお、画像送信装置10Dに分割パターン設� ��部をもたせ、設定した色成分分割パターン� ��従って符号化を行い、データ転送部13から� �像データ、動き量とともに色成分分割パタ� �ン情報を送付するようにしてもよい。