Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
VIDEO DECODER AND DIGITAL BROADCASTING RECEIVER
Document Type and Number:
WIPO Patent Application WO/2009/040904
Kind Code:
A1
Abstract:
A video decoder has a memory means for storage of vector data. In the event of defect in input streams, an image generation section generates and displays an image on which a motion is imparted to an image represented by the data before the input stream becomes abnormal based on the data prior to defect in the input streams and the vector data stored in the memory means, thereby making viewers easily imagine the progress of programs without freezing video images even in a bad receiving state. The video decoder also has notification means, which superimposes a noise pattern on the image generated by the image generator section or lowers chroma saturation of the image generated by the image generator section to notify to viewers that the input stream is abnormal. At the time of recovery from the error, chroma saturation of the image is raised, or block decoding is performed by setting a DC component value to a specific value, or data of a block referred to by the vector data is used.

Inventors:
NISHIKAWA SHO (JP)
Application Number:
PCT/JP2007/068703
Publication Date:
April 02, 2009
Filing Date:
September 26, 2007
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
FUJITSU MICROELECTRONICS LTD (JP)
NISHIKAWA SHO (JP)
International Classes:
H04N19/00; H04N19/103; H04N19/134; H04N19/176; H04N19/186; H04N19/196; H04N19/44; H04N19/51; H04N19/513; H04N19/625; H04N19/65; H04N19/89; H04N19/895; H04N19/91
Foreign References:
JP2006203598A2006-08-03
JP2002064759A2002-02-28
JP2007036816A2007-02-08
JP2006157948A2006-06-15
JP2003069915A2003-03-07
JP2000115654A2000-04-21
JP2007096802A2007-04-12
JP2006352911A2006-12-28
Attorney, Agent or Firm:
SAKAI, Akinori (20F Kasumigaseki Building,2-5, Kasumigaseki 3-chom, Chiyoda-ku Tokyo 20, JP)
Download PDF:
Claims:
 ベクトルデータを記憶する記憶手段と、
 入力ストリームが異常であるときに、入力ストリームが異常になる前のデータと前記記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する画像生成手段と、
 を備えることを特徴とするビデオデコーダ。
 前記画像生成手段は、所定のフレーム数ごとに前記ベクトルデータを減衰させて画像を生成することを特徴とする請求項1に記載のビデオデコーダ。
 前記画像生成手段により生成される画像に対して、入力ストリームが異常であることを報知する処理を行う報知手段、をさらに備えることを特徴とする請求項1に記載のビデオデコーダ。
 前記報知手段は、前記画像生成手段により生成される画像にノイズパターンを重畳する処理を行うことを特徴とする請求項3に記載のビデオデコーダ。
 前記報知手段は、所定のフレーム数ごとにノイズパターンの重畳の度合いを変化させることを特徴とする請求項4に記載のビデオデコーダ。
 前記報知手段は、前記画像生成手段により生成される画像の彩度を下げる処理を行うことを特徴とする請求項3に記載のビデオデコーダ。
 前記報知手段は、所定のフレーム数ごとに前記画像生成手段により生成される画像の彩度を変えることを特徴とする請求項6に記載のビデオデコーダ。
 前記報知手段は、所定のフレーム数ごとにフレームレートを変更することを特徴とする請求項3に記載のビデオデコーダ。
 前記報知手段は、前記画像生成手段により生成される画像に対して、視聴者に受信状態の悪化を報せ得る画像処理を行うことを特徴とする請求項3に記載のビデオデコーダ。
 前記報知手段は、前記画像生成手段により生成される画像の解像度を低くする処理を行うことを特徴とする請求項9に記載のビデオデコーダ。
 前記報知手段は、入力ストリームが異常状態から正常状態に復帰した後、前記画像生成手段により生成される画像の彩度を上げる処理を行うことを特徴とする請求項6に記載のビデオデコーダ。
 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがイントラデータであり、かつDC予測が不可である場合に、DC成分の値を所定の値にしてデコード処理を行うことを特徴とする請求項1に記載のビデオデコーダ。
 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがインターデータである場合に、該ブロックのベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けることを特徴とする請求項1に記載のビデオデコーダ。
 入力ストリームの状況を出力する出力手段と、
 ベクトルデータを記憶する記憶手段と、
 前記出力手段から入力ストリームが異常であるという情報を取得したときに、入力ストリームが異常になる前のデータと前記記憶手段に記憶されているベクトルデータに基づいて、入力ストリームが異常になる前のデータにより表示される画像に動きを付与した画像を生成する画像生成手段と、
 を備えることを特徴とするデジタル放送受信装置。
 前記画像生成手段は、所定のフレーム数ごとに前記ベクトルデータを減衰させて画像を生成することを特徴とする請求項14に記載のデジタル放送受信装置。
 前記画像生成手段により生成される画像に対して、入力ストリームが異常であることを報知する処理を行う報知手段、をさらに備えることを特徴とする請求項14に記載のデジタル放送受信装置。
 前記報知手段は、前記画像生成手段により生成される画像にノイズパターンを重畳する処理を行うことを特徴とする請求項16に記載のデジタル放送受信装置。
 前記報知手段は、所定のフレーム数ごとにノイズパターンの重畳の度合いを変化させることを特徴とする請求項17に記載のデジタル放送受信装置。
 前記報知手段は、前記画像生成手段により生成される画像の彩度を下げる処理を行うことを特徴とする請求項16に記載のデジタル放送受信装置。
 前記報知手段は、所定のフレーム数ごとに前記画像生成手段により生成される画像の彩度を変えることを特徴とする請求項19に記載のデジタル放送受信装置。
 前記報知手段は、所定のフレーム数ごとにフレームレートを変更することを特徴とする請求項16に記載のデジタル放送受信装置。
 前記報知手段は、前記画像生成手段により生成される画像に対して、視聴者に受信状態の悪化を報せ得る画像処理を行うことを特徴とする請求項16に記載のデジタル放送受信装置。
 前記報知手段は、前記画像生成手段により生成される画像の解像度を低くする処理を行うことを特徴とする請求項22に記載のデジタル放送受信装置。
 前記報知手段は、入力ストリームが異常状態から正常状態に復帰した後、前記画像生成手段により生成される画像の彩度を上げる処理を行うことを特徴とする請求項19に記載のデジタル放送受信装置。
 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがイントラデータであり、かつDC予測が不可である場合に、DC成分の値を所定の値にしてデコード処理を行うことを特徴とする請求項14に記載のデジタル放送受信装置。
 前記画像生成手段は、入力ストリームが異常状態から正常状態に復帰した後、ブロックのデータがインターデータである場合に、該ブロックのベクトルデータによって参照されるブロックのデータを、デコードするフレームに貼り付けることを特徴とする請求項14に記載のデジタル放送受信装置。
Description:
ビデオデコーダおよびデジタル 送受信装置

 本発明は、ビデオデコーダおよびデジタ 放送受信装置に関するものである。

 図8は、従来のMPEG-2ビデオデコーダの構成 を示す図である。図8に示すように、従来のMP EG-2ビデオデコーダ1では、入力したビデオス リームは、可変長符号復号部2で可変長復号 化され、逆量子化部3で逆量子化され、逆離 コサイン変換部4で逆離散コサイン変換され 。入力データがイントラデータの場合には スイッチ5が逆離散コサイン変換部4側に切 替わり、逆離散コサイン変換部4の出力デー がそのままフレームバッファ6に格納される 。一方、インターデータの場合には、スイッ チ5が加算器7側に切り替わり、ベクトルデー および参照フレームのデータに基づいて動 補償予測部8による動き補償予測により生成 されたデータと、逆離散コサイン変換部4の 力データとが、加算器7で加算されて、フレ ムバッファ6に格納される。なお、MPEG-1また はMPEG-4のビデオデコーダの構成は、厳密には これとは異なるが、およそ同様である。

 図9は、従来のH.264ビデオデコーダの構成 示す図である。図9に示すように、従来のH.2 64ビデオデコーダ11では、入力したビデオス リームは、可変長符号復号部12で可変長復号 化され、逆量子化逆変換部13で逆量子化され 逆変換される。入力データがイントラデー の場合には、スイッチ14がイントラ予測部15 側に切り替わり、イントラ予測部15によるイ トラ予測により生成されたデータと逆量子 逆変換部13の出力データとが加算器16で加算 される。一方、インターデータの場合には、 スイッチ14が動き補償予測部17側に切り替わ 、ベクトルデータおよび参照フレームのデ タに基づいて動き補償予測部17による動き補 償予測により生成されたデータと、逆量子化 逆変換部13の出力データとが加算器16で加算 れる。加算器16の出力データは、デブロッキ ングフィルタ18を介して、フレームバッファ1 9に格納される。

 図10は、図8または図9に示す従来のビデオ デコーダによるフレームデコード処理の流れ を説明する図である。図10に示すデコード処 は、1フレームに対する処理である。図10に すように、フレームのデコード処理が開始 れると、まず、ストリームの入力が正常で るか異常であるかを判断する(ステップS1)。 ストリームの入力が正常である場合(ステッ S1:正常)、エラー復帰の途中であるか否かを 断する(ステップS2)。エラー復帰の途中でな い場合(ステップS2:No)、フレーム内の全ブロ クについて終了するまで、フレーム内のブ ックごとに次のステップS3およびステップS4 行う。

 ステップS3では、フレーム内のブロック 対して、ストリームの入力が正常であるか 常であるかを判断する。ストリームの入力 正常である場合(ステップS3:正常)、次のブロ ックの処理に進む。また、ストリームの入力 が異常である場合(ステップS3:異常)、前回出 したフレームの該当ブロックをそのまま出 する(ステップS4)。フレーム内の全ブロック について終了したら、当該フレームのデコー ド処理を終了し、次のフレームのデコード処 理を開始する。

 一方、フレームのデコード処理を開始し 直後の段階でストリームの入力が異常であ 場合(ステップS1:異常)、前回出力したフレ ムをそのまま出力し(ステップS5)、当該フレ ムのデコード処理を終了する。そして、次 フレームのデコード処理を開始する。

 フレームのデコード処理を開始した直後 段階でストリームの入力が正常であり(ステ ップS1:正常)、さらにエラー復帰の途中であ 場合(ステップS2:Yes)、キーフレーム(Iピクチ 、H.264ではIDRピクチャ)を検出したか否かを 断する(ステップS6)。キーフレームを検出し た場合(ステップS6:Yes)、エラー復帰が完了す 。この場合、フレーム内の全ブロックにつ て前記ステップS3および前記ステップS4を行 い、当該フレームのデコード処理を終了し、 次のフレームのデコード処理を開始する。一 方、キーフレームを検出できない場合(ステ プS6:No)、前回出力したフレームをそのまま 力し(ステップS7)、当該フレームのデコード 理を終了する。そして、次のフレームのデ ード処理を開始する。

 図11は、従来のビデオデコーダによるエ ー検出時の表示画像の変遷を説明する図で る。図11において、画像21は、上述したフレ ムデコード処理のステップS1で正常、ステ プS2でNo、ステップS3で正常のときのフレー の画像である。画像22は、次のフレームのデ コード処理中に、途中のブロックまでステッ プS3で正常であり、途中のブロックでのステ プS3で異常になり、ステップS4を行うときの フレームの画像である。画像22において、矢 で指し示すエラー検出位置までの上半部の 像23は、今回のフレームデコード処理によ てデコードされたデータによる画像であり エラー検出位置からの下半部の画像24は、前 回出力したフレームの画像である。画像25,26, 27は、ステップS1で異常であり、ステップS5を 行うときのフリーズした画像である。

 図12は、従来のビデオデコーダによるエ ー復帰時にキーフレームから入力したとき 表示画像の変遷を説明する図である。図12に おいて、画像28は、ステップS1で異常のとき フリーズした画像である。画像29は、ステッ プS1で正常、ステップS2でYes、ステップS6でYes 、ステップS3で正常のときのフレームの画像 ある。このように、ストリームの入力が復 し、キーフレームが入力することによって 画像が突然動き出すことになる。画像30は ステップS1で正常、ステップS2でNo、ステッ S3で正常のときのフレームの画像である。

 図13は、従来のビデオデコーダによるエ ー復帰時にキーフレーム以外から入力した きの表示画像の変遷を説明する図である。 13において、画像31は、ステップS1で異常の きのフリーズした画像である。画像32,33,34は 、ステップS1で正常、ステップS2でYes、ステ プS6でNoであり、ステップS7を行うときのフ ーズした画像である。このように、ストリ ムの入力が復帰しても、キーフレームが入 するまでは、画像はフリーズしたままであ 。画像がフリーズしている間、入力したス リームのPピクチャやBピクチャは捨てられて しまう。画像35は、次のフレームでのステッ S1で正常、ステップS2でYes、ステップS6でYes ステップS3で正常のときのフレームの画像 ある。このように、ストリームの入力がす に復帰している状態でキーフレームが入力 ることによって、画像が突然動き出すこと なる。

 上述したように、従来のビデオデコーダ 備えたデジタル放送受信装置では、デジタ 放送の受信状態が悪くなると、映像が突然 リーズした状態となってしまう。そして、 信状態が回復しても、キーフレームが入力 れてデコードされるまでは、フリーズした 態が続き、映像が復帰しない。従って、フ ーズ期間が長くなり、映像の連続性が損な れてしまうため、視聴者が違和感を覚える とになる。

 そこで、映像が突然フリーズした状態と るのを回避するため、映像がフリーズ状態 なる前に受信状態が悪くなってきているこ を視聴者に知らせるようにしたデジタル放 受信装置が公知である。このデジタル放送 信装置は、復調したデジタル信号に対する り訂正機能を備えており、放送波の受信状 を検出する検出手段と、放送波の受信状態 劣化が誤り訂正可能な範囲を超えることと る前の段階で受信状態が劣化していること 映像で報知する受信状態報知手段とを備え いる。そして、受信状態報知手段は、ノイ を発生するノイズ発生手段と、映像にノイ を加える加算手段とを備えている(例えば、 特許文献1参照。)。

 また、デジタル放送の受信状態をもとに 力映像のフリーズ処理の開始および終了を 定するフリーズ判定手段と、前記フリーズ 理を実行中である場合に、表示画面にユー から識別可能な変化を行うフリーズ通知表 を表示する表示制御手段と、を備え、前記 示制御手段は、前記フリーズ通知表示とし 擬似ノイズ画面を作成し、該擬似ノイズ画 をユーザから識別可能に変化させるように たデジタル放送受信装置が公知である。こ デジタル放送受信装置では、フリーズ判定 は、誤りの発生したトランスポートストリ ムパケットの数に基づいてフリーズ処理の 始および終了を判定する(例えば、特許文献 2参照。)。

 また、デジタル放送の瞬断を防止する技 も提案されている。例えば、パケットの欠 に備えて、インデクス番号を持つヘッダが 加されたパケットからなる同一のコンテン データ二つで時間をずらして多重化された 送データを受信するアンテナと、当該放送 ータを元の二つのコンテンツデータに分離 て、第一のコンテンツデータと第二のコン ンツデータとを生成する分離手段と、前記 二のコンテンツデータを格納する格納手段 、前記第一のコンテンツデータのパケット 欠落を判定する判定手段と、前記判定手段 よって、前記第一のコンテンツデータのパ ットに欠落があると判定された場合には、 記格納手段に格納された第二のコンテンツ ータから当該欠落したパケットのインデク 番号に対応するインデクス番号のパケット 選択する選択手段と、前記選択手段によっ 選択された各パケットから再生用データを コードするデコード手段と、を有するデジ ル放送受信装置が公知である(例えば、特許 文献3参照。)。

特開2002-64759号公報(段落[0006]、[0009])

特開2005-260605号公報(段落[0012]、[0016]、[00 52]~[0054])

特開2004-320394号公報(請求項8)

 しかしながら、前記特許文献1に開示され たデジタル放送受信装置では、入力ストリー ムに誤り訂正情報が付加されていない場合に は、映像にノイズを加えることができないと いう問題点がある。また、受信状態の劣化が 誤り訂正可能な範囲を超えない程度、すなわ ち誤り訂正可能な程度であっても、映像にノ イズが加えられることがあるという問題点も ある。さらに、Iピクチャからデコードを開 する装置の場合、エラー復帰時にエラー訂 を行う必要がなくて、Iピクチャが入力され いなければ、ノイズの付加されていない画 がフリーズした状態になるという問題点が る。

 また、前記特許文献2に開示されたデジタ ル放送受信装置では、トランスポートストリ ームパケット内にビットエラーがある場合に フリーズ処理が行われるが、ビデオストリー ムのエラーには対応していないという問題点 がある。また、前記特許文献3に開示された ジタル放送受信装置では、受信状態の劣化 視聴者に知らせることができないという問 点や、第二のコンテンツデータを格納する 納手段を用意する必要があるという問題点 ある。

 本発明は、上記に鑑みてなされたもので って、受信状態が悪くても、映像をフリー させずに、視聴者に番組の進行状況を容易 想像させることができるビデオデコーダお びデジタル放送受信装置を提供することを 的とする。また、本発明は、受信状態が劣 していることを視聴者に知らせることがで るビデオデコーダおよびデジタル放送受信 置を提供することを目的とする。

 上述した課題を解決し、目的を達成する めに、本発明は、ベクトルデータを記憶す 記憶手段を有する。そして、入力ストリー が異常であるときに、画像生成手段により 入力ストリームが異常になる前のデータと 憶手段に記憶されているベクトルデータに づいて、入力ストリームが異常になる前の ータにより表示される画像に動きを付与し 画像を生成する。また、本発明は、入力ス リームが異常であることを報知する処理を う報知手段を有する。そして、画像生成手 により生成された画像に、報知手段により 例えばノイズパターンを重畳する。あるい 、報知手段により、画像生成手段により生 された画像の彩度を下げるようにしてもよ 。あるいは、報知手段により、フレームレ トを変更するようにしてもよい。

 この発明によれば、受信状態が悪くて入 ストリームが異常になっても、画像生成手 により生成される画像が表示される。また 受信状態が悪くて入力ストリームが異常に ると、表示される画像にノイズが現われた 、表示される画像の彩度が下がったりする また、この発明では、デコーダ内部で入力 トリームのエラーを検知するので、エラー 正情報が付加されていないストリームにも 応できる。さらに、ストリームにエラー訂 情報が付加されている場合、そのエラー訂 状況をビデオデコーダに通知することによ て、ビデオデコーダにストリームが入力さ ない状態であっても、画像を更新して表示 る。

 本発明にかかるビデオデコーダおよびデ タル放送受信装置は、受信状態が悪くても 映像をフリーズさせずに、視聴者に番組の 行状況を容易に想像させることができると う効果を奏する。また、受信状態が劣化し いることを視聴者に知らせることができる いう効果を奏する。

図1は、この発明の実施例1にかかるデ タル放送受信装置の構成を示す図である。 図2は、この発明の実施例1にかかるMPEG デオデコーダの構成を示す図である。 図3は、この発明の実施例1にかかるビ オデコーダによるフレームデコード処理の れを説明する図である。 図4は、この発明の実施例1にかかるビ オデコーダによるエラー検出時の表示画像 変遷を説明する図である。 図5は、この発明の実施例1にかかるビ オデコーダによるエラー復帰時にキーフレ ムから入力したときの表示画像の変遷を説 する図である。 図6は、この発明の実施例1にかかるビ オデコーダによるエラー復帰時にキーフレ ム以外から入力したときの表示画像の変遷 説明する図である。 図7は、この発明の実施例2にかかるH.264 ビデオデコーダの構成を示す図である。 図8は、従来のMPEGビデオデコーダの構 を示す図である。 図9は、従来のH.264ビデオデコーダの構 を示す図である。 図10は、従来のビデオデコーダによる レームデコード処理の流れを説明する図で る。 図11は、従来のビデオデコーダによる ラー検出時の表示画像の変遷を説明する図 ある。 図12は、従来のビデオデコーダによる ラー復帰時にキーフレームから入力したと の表示画像の変遷を説明する図である。 図13は、従来のビデオデコーダによる ラー復帰時にキーフレーム以外から入力し ときの表示画像の変遷を説明する図である

符号の説明

 8,17 動き補償予測部
 41 デジタル放送受信装置
 45 トランスポートストリーム・デマルチプ レクサ
 46,51,71 ビデオデコーダ
 52,82 メモリ
 53,54,83,84 乗算器
 55,85 重み付き加算器
 56,57,58,59,86,87,88,89 スイッチ

 以下に、本発明にかかるビデオデコーダ よびデジタル放送受信装置の実施例を図面 基づいて詳細に説明する。なお、この実施 によりこの発明が限定されるものではない

 図1は、この発明の実施例1にかかるデジ ル放送受信装置の構成を示す図である。図1 示すように、デジタル放送受信装置41は、 ンテナ42、チューナ43およびデジタル復調部4 4を介して入力するトランスポートストリー パケット(TSパケット)をトランスポートスト ーム・デマルチプレクサ(TS-Demux)45でビデオ トリームとオーディオストリームに分離し ビデオストリームおよびオーディオストリ ムを、それぞれ、ビデオデコーダ46および ーディオデコーダ47でデコードすることによ って、ビデオ出力48とオーディオ出力49を得 。

 ビデオデコーダ46は、トランスポートス リームパケットの入力の有無によって、そ 動作が異なる。ビデオデコーダ46の構成およ び動作については、後述する。トランスポー トストリーム・デマルチプレクサ45は、トラ スポートストリームパケットの入力がある 合、ビデオデコーダ46にストリームの入力 況が正常であることを伝え、トランスポー ストリームパケットの入力がない場合、ビ オデコーダ46にストリームの入力状況が異常 であることを伝える。従って、トランスポー トストリーム・デマルチプレクサ45は、入力 トリームの状況を出力する出力手段として 機能を有する。なお、トランスポートスト ーム・デマルチプレクサ45においてエラー 正状況を確認することができるが、ストリ ム中にエラーが発生している場合に、ビデ デコーダ46の内部でエラー判定を行うので、 ビデオストリームのデコードに関してこのエ ラー訂正状況の情報は使用されない。

 図2は、この発明の実施例1にかかるMPEGビ オデコーダの構成を示す図である。ここで 、図1に示すビデオデコーダ46がMPEG-2のビデ デコーダ51(以下、MPEGビデオデコーダとする )であるとして説明する。なお、MPEG-1またはMP EG-4のビデオデコーダの構成は、厳密にはMPEG デオデコーダ51とは異なるが、およそ同様 ある。

 図2に示すように、MPEGビデオデコーダ51は 、図8に示す従来のMPEGビデオデコーダ1の構成 に、メモリ52と2個の乗算器53,54と重み付き加 器55と4個のスイッチ56,57,58,59を追加した構 となっている。これら4個のスイッチ56,57,58,5 9と、従来構成において設けられている、イ トラデータとインターデータによってフレ ムバッファ6へのデータ入力経路を切り換え スイッチ5と、を区別するため、これ以降、 従来構成におけるスイッチ5を第1のスイッチ する。また、追加された重み付き加算器55 、従来構成において設けられている、動き 償予測部8により生成されたデータと逆離散 サイン変換部4の出力データを加算する加算 器7と、を区別するため、これ以降、従来構 における加算器7を第1の加算器とする。従来 と同様の構成については、図8と同じ符号を して、重複する説明を省略する。

 メモリ52は、可変長符号復号部2から出力さ るベクトルデータを記憶する。従って、メ リ52は、ベクトルデータを記憶する記憶手 としての機能を有する。第1の乗算器53は、 モリ52に記憶されているベクトルデータに減 衰係数rを乗算する。具体的には、例えば、 ベクトル値(符号付数値)を次式のように変換 する。減衰係数rの値は、0.0よりも大きく、 つ1.0よりも小さい値であり、特に限定しな が、例えば、0.8である。
[ベクトル値]=r×[ベクトル値]

 第1の乗算器53の乗算結果は、新たなベク ルデータとして、メモリ52に記憶される。 2のスイッチ56は、ストリームの入力状況が 常である場合に、可変長符号復号部2側に切 替わり、ストリームの入力状況が異常であ 場合に、第1の乗算器53側に切り替わる。従 て、ストリームの入力状況が正常である場 、メモリ52には可変長符号復号部2から出力 れるベクトルデータが記憶され、ストリー の入力状況が異常である場合、メモリ52に 減衰係数rが乗算されて減衰したベクトルデ タが記憶される。ストリームの入力状況は 上述したように、トランスポートストリー ・デマルチプレクサ45(図1参照)から与えら る。

 第3のスイッチ57は、ストリームの入力状 が正常である場合に、可変長符号復号部2側 に切り替わり、ストリームの入力状況が異常 である場合に、メモリ52側に切り替わる。従 て、ストリームの入力状況が正常である場 、動き補償予測部8には可変長符号復号部2 ら出力されるベクトルデータが入力し、ス リームの入力状況が異常である場合、動き 償予測部8にはメモリ52から出力されるベク ルデータが入力する。

 第4のスイッチ58は、デコードが正常であ 場合に、第1の加算器7側に切り替わり、デ ードが異常である場合に、動き補償予測部8 に切り替わる。従って、インターデータの 合に第1のスイッチ5により選択される側に 、デコードが正常である場合、逆離散コサ ン変換部4の出力データと動き補償予測部8の 出力データを加算器7で加算したデータが供 され、デコードが異常である場合、動き補 予測部8の出力データが供給される。デコー が正常であるか異常であるかという情報は 可変長符号復号部2から与えられる。ここで 、逆離散コサイン変換部4には、DC予測が可能 でない場合、DC成分として所定の値、例えば 間値が与えられる。

 第2の重み付き加算器55は、動き補償予測部8 の出力データに、ノイズパターンのデータを 加算する。具体的には、例えば、各画素の輝 度信号(符号なし数値)を次式のように変換す 。係数aの値は、0.0以上1.0以下の値であり、 ストリーム入力が正常で、かつエラー復帰途 中でない場合には0.0であり、ストリーム入力 が異常である場合にはフレーム処理単位ごと に1.0までインクリメントされる。インクリメ ント幅は、任意の値であり、特に限定しない が、例えば、0.01である。
[画素の輝度信号]=(1.0-a)×[画素の輝度信号]+a× [ノイズパターン信号]

 第5のスイッチ59は、ストリームの入力状 が正常である場合に、第1のスイッチ5側に り替わり、ストリームの入力状況が異常で る場合に、第2の重み付き加算器55側に切り わる。従って、ストリームの入力状況が正 である場合、フレームバッファ6には、従来 様、逆離散コサイン変換部4の出力データ、 または逆離散コサイン変換部4の出力データ 動き補償予測部8の出力データを加算器7で加 算したデータ、のいずれかが格納される。ス トリームの入力状況が異常である場合、フレ ームバッファ6には、第2の重み付き加算器55 より動き補償予測部8の出力データにノイズ ターンのデータを加算したデータが格納さ る。

 第2の乗算器54は、フレームバッファ6から出 力されるビデオ出力の色差信号に係数bを乗 して、ビデオ出力に対して色差レベル制御 行う。具体的には、例えば、各画素の色差 号(符号付数値)を次式のように変換する。係 数bの値は、0.0以上1.0以下の値であり、スト ーム入力が正常で、かつエラー復帰途中で い場合には1.0であり、ストリーム入力が異 である場合にはフレーム処理単位ごとに0.0 でデクリメントされる。また、ストリーム 力が正常で、かつエラー復帰途中である場 にはフレーム処理単位ごとに1.0までインク メントされる。インクリメント幅またはデ リメント幅は、任意の値であり、特に限定 ないが、例えば、0.01である。
[画素の色差信号]=b×[画素の色差信号]

 動き補償予測部8、第1の乗算器53、第2の イッチ56、第3のスイッチ57、第4のスイッチ58 、第5のスイッチ59、可変長符号復号部2、逆 子化部3、第1のスイッチ5、メモリ52および逆 離散コサイン変換部4は、画像生成手段とし の機能を有する。また、第2の乗算器54およ 第2の重み付き加算器55は、報知手段として 機能を有する。

 図3は、この発明の実施例1にかかるビデ デコーダによるフレームデコード処理の流 を説明する図である。図3に示すデコード処 は、1フレームに対する処理である。図3に すように、フレームのデコード処理が開始 れると、まず、ストリームの入力が正常で るか異常であるかを判断する(ステップS11)。 ストリームの入力が正常である場合(ステッ S11:正常)、エラー復帰の途中であるか否かを 判断する(ステップS12)。エラー復帰の途中で い場合(ステップS12:No)、フレーム内の全ブ ックについて終了するまで、フレーム内の ロックごとに次のステップS13と、ステップS1 4もしくはステップS15を行う。

 ステップS13では、フレーム内のブロック 対して、ストリームの入力が正常であるか 常であるかを判断する。ストリームの入力 正常である場合(ステップS13:正常)、通常の コード処理を行ってデータをフレームバッ ァ6に格納するとともに、ベクトルデータを メモリ52に格納し(ステップS14)、次のブロッ の処理に進む。また、ストリームの入力が 常である場合(ステップS13:異常)、フレーム ッファ6から前回のフレームの該当するブロ ク位置のデータを読み出し、第2の重み付き 加算器55により、そのデータにノイズパター のデータを加算してフレームバッファ6に格 納する(ステップS15)。画像のデータにノイズ ターンのデータを加算することによって、 像にノイズパターンを重畳(ブレンド)させ ことができる。フレーム内の全ブロックに いて終了したら、当該フレームのデコード 理を終了し、次のフレームのデコード処理 開始する。

 一方、フレームのデコード処理を開始し 直後の段階でストリームの入力が異常であ 場合(ステップS11:異常)、画像にノイズパタ ンをブレンドする際の前記係数aをフレーム 処理単位ごとにインクリメントして、第2の み付き加算器55によりブレンドするノイズパ ターンの度合いを強める(ステップS16)。また 第2の乗算器54により色差レベル制御を行う の前記係数bをフレーム処理単位ごとにデク リメントして、画像の彩度を下げる(ステッ S17)。そして、フレーム内の全ブロックにつ て終了するまで、次のステップS18とステッ S19を行う。

 ステップS18では、メモリ52から、該当す ブロック位置のベクトルデータを読み出し 第2の重み付き加算器55により、このベクト データによって参照されるブロックの画像 ノイズパターンをブレンドし、それを、デ ードするフレームに貼り付けてフレームバ ファ6に格納する(ステップS18)。そして、第1 乗算器53により、ここで用いたベクトルデ タに減衰係数rを乗算し、ベクトルデータを 衰させてメモリ52に格納する(ステップS19)。 そして、当該フレームのデコード処理を終了 し、次のフレームのデコード処理を開始する 。

 フレームのデコード処理を開始した直後 段階でストリームの入力が正常であり(ステ ップS11:正常)、さらにエラー復帰の途中であ 場合(ステップS12:Yes)、キーフレーム(Iピク ャ)を検出したか否かを判断する(ステップS20 )。キーフレームを検出できない場合(ステッ S20:No)、第2の乗算器54により色差レベル制御 を行う際の前記係数bをフレーム処理単位ご にインクリメントして、画像の彩度を上げ (ステップS21)。そして、フレーム内の全ブロ ックについて終了するまで、次のステップS22 とステップS23と、ステップS24もしくはステッ プS25、またはステップS26を行う。

 ステップS22では、ブロックのデータがイ トラデータとインターデータのいずれであ かを判断する(ステップS22)。ブロックのデ タがイントラデータである場合(ステップS22: Intra)、さらに、DC予測が可能であるか否かを 断する(ステップS23)。DC予測が可能である場 合(ステップS23:Yes)、通常のデコード処理を行 ってデータをフレームバッファ6に格納する( テップS24)。DC予測が可能でない場合(ステッ プS23:No)、逆離散コサイン変換部4にDC成分と て所定の値、例えば中間値を与えて、デコ ド処理を行い、データをフレームバッファ6 格納する(ステップS25)。

 ステップS22でブロックのデータがインタ データである場合(ステップS22:Inter)、メモ 52から、そのブロックのベクトルデータを読 み出し、このベクトルデータによって参照さ れるブロックのデータを、デコードするフレ ームに貼り付けてフレームバッファ6に格納 る(ステップS26)。そして、当該フレームのデ コード処理を終了し、次のフレームのデコー ド処理を開始する。

 一方、ステップS20でキーフレームを検出 た場合(ステップS20:Yes)、第2の重み付き加算 器55における前記係数aの値を0.0に戻して、画 像にブレンドするノイズパターンの度合いを リセットする(ステップS27)。また、第2の乗算 器54における前記係数bの値を1.0に戻して、画 像の彩度の調整を解除する(ステップS28)。こ によって、エラー復帰が完了する。この場 、フレーム内の全ブロックについて前記ス ップS13と、ステップS14もしくはステップS15 行い、当該フレームのデコード処理を終了 、次のフレームのデコード処理を開始する

 上述したフレームデコード処理において ストリームの入力が異常である場合に、ノ ズパターンとのブレンド処理、色差レベル 御処理およびベクトルデータの減衰処理を めたデコード処理を、表示フレーム時間単 で動作させたり、停止させたりすることに って、フレームレートを調整するようにし もよい。その場合には、次のような構成と ればよい。ストリームの入力が正常である きに、毎秒p枚のフレームを出力するとする 。pは、2よりも大きい自然数である。この場 、1/p秒の周期でフレームが出力される。ス リームの入力が異常になった場合、q/p秒の 期でデコード処理を動作させて、出力フレ ムを更新する。

 そうすれば、フレームレートが1/qとなる qは1よりも大きな自然数であり、ストリー の入力が異常となってからm枚のフレームを 力するたびにインクリメントされる。mは、 任意の自然数であり、特に限定しないが、例 えば、30である。インクリメント幅は、任意 値であり、特に限定しないが、例えば、1で ある。そして、ストリームの入力が正常に戻 ったら、qの値を1にリセットする。このよう 、ストリームの入力が異常となった場合に フレームレートを下げることによって、視 者に不快感を与えないようにすることがで るとともに、ビデオデコーダが一定期間停 するので、消費電力を削減することができ 。

 図4は、この発明の実施例1にかかるビデ デコーダによるエラー検出時の表示画像の 遷を説明する図である。図4において、画像9 1は、図3に示すフレームデコード処理のステ プS11で正常、ステップS12でNo、ステップS13 正常であり、ステップS14を行うときのフレ ムの画像である。画像92は、次のフレームの デコード処理中に、途中のブロックまでステ ップS13で正常であり、途中のブロックでのス テップS13で異常になり、ステップS15を行うと きのフレームの画像である。画像92において 矢印で指し示すエラー検出位置までの上半 の画像93は、今回のフレームデコード処理 よってデコードされたデータによる画像で り、エラー検出位置からの下半部の画像94は 、前回出力したフレームの画像にノイズパタ ーンがブレンドされた画像である。

 画像95,96,97は、ステップS11で異常であり ステップS16からステップS19までを行うとき フレームの画像である。ここでは、ストリ ムの入力が異常になったことを検知した後 ストリームの入力が正常であったときのベ トルの履歴データを用いて画像を構成し、 の画像に慣性的な動きを付ける。そして、 きベクトルの履歴データを減衰させること よって、映像が突然フリーズ状態になるの 避け、視聴者に違和感を与えないようにし いる。

 また、時間が経過して、画像95、画像96、 画像97というように、表示されるフレームの 像が進むのに連れて、ノイズパターンのブ ンドの度合いが徐々に強くなっていき、そ に反して、画像の色情報については彩度が 々に下がっていく。さらに、フレームレー が徐々に下がっていってもよい。このよう することによって、視聴者に受信状態が悪 なっていることを知らせることができる。

 図5は、この発明の実施例1にかかるビデ デコーダによるエラー復帰時にキーフレー から入力したときの表示画像の変遷を説明 る図である。図5において、画像98は、ステ プS11で異常であり、ステップS16からステッ S19までを行うときのフレームの画像である この画像には、ノイズパターンがブレンド れている。画像99は、ステップS11で正常、ス テップS12でYes、ステップS20でYesとなり、ステ ップS27およびステップS28を行い、さらに、ス テップS13で正常であり、ステップS14を行うと きのフレームの画像である。画像100は、ステ ップS11で正常、ステップS12でNo、ステップS13 正常であり、ステップS14を行うときのフレ ムの画像である。

 図6は、この発明の実施例1にかかるビデ デコーダによるエラー復帰時にキーフレー 以外から入力したときの表示画像の変遷を 明する図である。図6において、画像101は、 テップS11で異常であり、ステップS16からス ップS19までを行うときのフレームの画像で る。画像102,103,104は、ステップS11で正常、 テップS12でYes、ステップS20でNoであり、ステ ップS21からステップS26までを行うときのフレ ームの画像である。画像105は、次のフレーム でのステップS11で正常、ステップS12でYes、ス テップS20でYesとなり、ステップS27およびステ ップS28を行い、さらに、ステップS13で正常で あり、ステップS14を行うときのフレームの画 像である。

 ストリームの入力が復帰した後、キーフ ームが入力するまでは、インターデータの ロックについては、ベクトルデータのみを 用し、一方、イントラデータのブロックに いては、通常のデコード処理またはDC成分 中間値等の値に設定してデコード処理を行 ことによって、受信したデータのうち、利 可能なデータを最大限に利用してブロック 動きを表示する。その際、イントラデータ ブロックについては、無彩色から徐々に彩 を上げていく。そうすることによって、視 者に受信状態が良くなっていることを知ら ることができる。

 図7は、この発明の実施例2にかかるH.264ビ デオデコーダの構成を示す図である。ここで は、図1に示すビデオデコーダ46がH.264ビデオ コーダ71であるとして説明する。図7に示す うに、H.264ビデオデコーダ71は、図9に示す 来のH.264ビデオデコーダ11の構成において、 イッチ14の代わりに第1Aのスイッチ74および 1Bのスイッチ75を設け、加算器16の代わりに 1Aの加算器72および第1Bの加算器73を設け、 らに、メモリ82と2個の乗算器83,84と重み付き 加算器85と4個のスイッチ86,87,88,89を追加した 成となっている。従来と同様の構成につい は、図9と同じ符号を付して、重複する説明 を省略する。

 メモリ82、第1の乗算器83、第2のスイッチ8 6および第3のスイッチ87については、実施例1 メモリ52、第1の乗算器53、第2のスイッチ56 よび第3のスイッチ57と同様であるので、重 する説明を省略する。メモリ82は、ベクトル データを記憶する記憶手段としての機能を有 する。第1Aの加算器72は、逆量子化逆変換部13 の出力データと、ベクトルデータおよび前の フレームのデータに基づいて動き補償予測部 17による動き補償予測により生成されたデー と、を加算する。第1Bの加算器73は、逆量子 化逆変換部13の出力データと、イントラ予測 15によるイントラ予測により生成されたデ タと、を加算する。

 第1Aのスイッチ74は、入力データがインタ ーデータの場合に、第1Aの加算器72側に切り わり、入力データがイントラデータの場合 、第1Bの加算器73側に切り替わる。第1Aのス ッチ74の出力データは、イントラ予測部15と ブロッキングフィルタ18へ送られる。第1Bの スイッチ75は、入力データがインターデータ 場合に、動き補償予測部17側に切り替わり 入力データがイントラデータの場合に、第1B の加算器73側に切り替わる。第1Bのスイッチ75 の出力データは、第4のスイッチ88へ送られる 。

 第4のスイッチ88は、デコードが正常であ 場合に、デブロッキングフィルタ18側に切 替わり、デコードが異常である場合に、第1B のスイッチ75側に切り替わる。第4のスイッチ 88の出力データは、第5のスイッチ89へ送られ 。第2の重み付き加算器85については、実施 1の第2の重み付き加算器55と同様であるので 、重複する説明を省略する。第5のスイッチ89 は、ストリームの入力状況が正常である場合 に、第4のスイッチ88側に切り替わり、ストリ ームの入力状況が異常である場合に、第2の み付き加算器85側に切り替わる。第2の乗算 84については、実施例1の第2の乗算器54と同 であるので、重複する説明を省略する。

 動き補償予測部17、第1の乗算器83、第2の イッチ86、第3のスイッチ87、第4のスイッチ8 8、第5のスイッチ89、可変長符号復号部12、逆 量子化逆変換部13、第1Aの加算器72、第1Aのス ッチ74、第1Bのスイッチ75、デブロッキング ィルタ18、メモリ82およびイントラ予測部15 、画像生成手段としての機能を有する。ま 、第2の乗算器84および第2の重み付き加算器 85は、報知手段としての機能を有する。

 上述した構成のH.264ビデオデコーダ71によ るフレームデコード処理の流れは、図3に示 例と同様であるので、説明を省略する。ま 、エラー検出時、エラー復帰時にキーフレ ムから入力したとき、およびエラー復帰時 キーフレーム以外から入力したときの各表 画像の変遷については、それぞれ、図4、図5 および図6に示す例と同様であるので、説明 省略する。

 なお、上述した実施例1または2では、入 ストリームに異常が検出された場合に、ノ ズパターンとのブレンド処理を行うとした 、これに限らず、視聴者に受信状態が悪く っていることを知らせることができれば、 の画像処理を行う構成としてもよい。例え 、入力ストリームが異常になったブロック 解像度を調整する構成とし、受信状態が悪 場合にモザイクのかかったような画像を表 するようにしてもよい。

 また、本発明は、デジタル放送のチャン ル切り替え時の時間短縮を目的とする場合 も、適用可能である。デジタル放送受信装 がチューナやトランスポートストリーム・ マルチプレクサを1系統しか有していない場 合、チャンネルを切り替えると、実際に映像 が開始されるまでに時間がかかってしまう。 本発明の特徴の一つである、ストリームの入 力が復帰してからの動作を適用することによ って、チャンネルの切り替えから映像の表示 までの時間を短縮することができる。この場 合、キーフレームをデコードするまでは、視 聴者に映像を想像させるような画像が表示さ れることになる。

 通常、チャンネルの切り替えを行うと、 デオストリーム中の映像サイズ等の情報(シ ーケンス情報)を抽出してからでないと、ビ オデコーダを正常に動作させることができ い。しかし、予めチャンネルの番組情報か 映像サイズ情報を抽出しておいてビデオデ ーダをセットアップしておけば、シーケン 情報を抽出する前でも、ビデオデコーダを 作させることができる。従って、このよう すれば、視聴者に映像を想像させるような 像を表示させることができる。また、デジ ル放送以外に、生中継のネットワーク配信 も本発明を適用することができる。この場 、トランスポートストリーム・デマルチプ クサより前段部分のブロックが、ネットワ ク受信部となる。

 以上のように、本発明にかかるビデオデ ーダおよびデジタル放送受信装置は、動画 データを再生する装置に有用であり、特に MPEG-1、MPEG-2もしくはMPEG-4、またはH.264等の ジタル動画像圧縮方式に従って圧縮された 画像データを再生する装置に適している。