JP4863379B2 - 圧縮ビデオの高速チャンネル変更を可能にする符号化方法および装置 - Google Patents

Description

（関連出願の説明）
本出願は、２００３年６月１６日に出願された米国仮特許出願第６０／４７８，９２３号（発明の名称は「圧縮ビデオの高速チャンネル変更を可能にする方法および装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＥＮＡＢＬＩＮＧ ＦＡＳＴ ＣＨＡＮＮＥＬ ＣＨＡＮＧＥ ＯＦ ＣＯＭＰＲＥＳＳＥＤ ＶＩＤＥＯ）」）（代理人整理番号ＰＵ０３０１７０）の優先権を主張し、その全文を本出願の参照文献とする。

この発明は、ビデオの符号器および復号器（コーデック）（ＣＯＤＥＣ）に関し、詳しくは、チャンネル変更後の復号化ビデオ・コンテンツの初期表示の知覚遅延を低減する装置および方法に関する。

ＭＰＥＧ―２やＪＶＴ／Ｈ．２６４／ＭＰＥＧ・ＡＶＣのような一般的なビデオ圧縮規格では、イントラ符号化とインター符号化が用いられている。適切な復号化を得るには、復号器が、イントラ符号化（Ｉ）ピクチャから始まる圧縮ビデオ・シーケンスを復号化し、次に、それに続くインター符号化（ＰおよびＢ）ピクチャを続けて復号化する。ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）には、１つのＩピクチャとそれに続く数個のＰピクチャおよびＢピクチャとが含まれている。一般的に、Ｉピクチャは、符号化する際、同等のビデオ品質のＰピクチャまたはＢピクチャよりも多くのビットが必要である。

受信機が、最初に、あるチャンネルの番組を受信し始めるとき、例えば、チャンネルを変更したとき、或いは、受信機の電源スイッチを入れたとき、Ｉピクチャが受信され、復号化が適切に開始されるまで待つ必要があり、これにより遅延が生じる。デジタル・ビデオ放送システムに於いてチャンネル変更による遅延を最小限にする目的で、一般的に、Ｉピクチャを頻繁に、例えば、Ｎ個のピクチャ毎に、送信する。例えば、デジタル・ビデオ放送システムのビデオ復元部の遅延を１／２秒にする目的で、通常、３０ｆｐｓのコンテンツに対してＮ＝１５が適用されている。その結果、ビット・レートは、圧縮Ｉピクチャが圧縮Ｐピクチャおよび圧縮Ｂピクチャに比べて相当大きいので、Ｉピクチャをそれ程頻繁に挿入しない場合に必要なビット・レートに比べて、著しく増大する。

ビデオ復号化システムで生じるチャンネル変更遅延時間を抑制する目的で、殆どの放送システムは、Ｉピクチャを頻繁に例えば１／２秒毎に送信している。一部のシステムでは、完全なＩピクチャを送信する代わりに、ピクチャのセクションがイントラ符号化される「プログレッシブ・リフレッシュ（ｐｒｏｇｒｅｓｓｉｖｅ ｒｅｆｒｅｓｈ）」と呼ばれる技術が用いられている。一般的に、ピクチャ内の全てのマクロブロックは、Ｎ個のピクチャの周期中、少なくとも１回、イントラ符号化される。

ＪＶＴ／Ｈ．２６４／ＭＰＥＧ・ＡＶＣ圧縮規格では、ＰピクチャとＢピクチャの予測が、それに先行するＩピクチャの前の各ピクチャを含む複数の基準ピクチャを使用して行われることがある。この規格では、任意のアクセス・ポイントをＩＤＲ（Ｉｎｄｅｐｅｎｄｅｎｔ（ｏｒ Ｉｎｓｔａｎｔａｎｅｏｕｓ） Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）として識別するが、これには、ＩＤＲの後のピクチャを予測する際、そのＩＤＲの前の基準ピクチャを使用しないという制約がある。

ＪＶＴ／Ｈ．２６４／ＭＰＥＧ・ＡＶＣ圧縮規格には、「冗長ピクチャ（ｒｅｄｕｎｄａｎｔ ｐｉｃｔｕｒｅ）」と呼ばれるツールが含まれている。これは、当該規格に於いて、次のように定義されている。
「冗長符号化ピクチャ：ピクチャの符号化されたもの、或いは、ピクチャの一部。冗長符号化ピクチャのコンテンツは、この推奨国際規格（Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ）に準拠したビット・ストリームについて、復号化処理には、使用されない。冗長符号化ピクチャは、主要符号化ピクチャ内の全てのマクロブロックを含む必要はない。冗長符号化ピクチャは、復号化処理に対して、規格に関係する影響を及ぼさない。主要符号化ピクチャ参照。」

スライス・ヘッダには、ｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔフィールドが含まれており、そのセマンティクス（ｓｅｍａｎｔｉｃｓ：意味）は、以下のように規定されている。
「ｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔは、主要符号化ピクチャに属するスライスとスライス・データ・パーティションとについて、ゼロに等しい。また、ｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔは、冗長符号化ピクチャ内の符号化スライスと符号化スライス・データ・パーティションとについて、ゼロより大きい。ｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔが存在しないとき、その値は、ゼロに等しいと推定する。ｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔの値は、ゼロから１２７までの範囲内（ゼロと１２７を含む）にある。
スライス・データ・パーティションＡ・ＲＢＳＰのシンタックス（ｓｙｎｔａｘ：構文）要素が、あるスライスについて、スライス・データ内にカテゴリ３のシンタックス要素の存在を示す場合、そのスライス・データ・パーティションＡ・ＲＢＳＰと同じｓｌｉｃｅ＿ｉｄおよびｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔの値を有するスライス・データ・パーティションＢ・ＲＢＳＰが存在する。
その他の場合（即ち、スライス・データ・パーティションＡ・ＲＢＳＰのシンタックス要素が、あるスライスについて、スライス・データ内にカテゴリ３のシンタックス要素の存在を示さない場合）、スライス・データ・パーティションＡ・ＲＢＳＰと同じｓｌｉｃｅ＿ｉｄおよびｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔの値を有するスライス・データ・パーティションＢ・ＲＢＳＰは存在しない。」

従って、チャンネル変更後の復号化ビデオ・コンテンツの初期表示についての知覚遅延を低減する装置および方法が必要である。

（発明の概要）
従来技術の上記およびその他の欠点と問題は、圧縮ビデオ・コンテンツの高速チャンネル変更を実現する装置および方法によって解決される。

入力ピクチャを受信して圧縮ストリーム・データを供給するビデオ符号器には、入力ピクチャを受信して通常ストリーム・データを供給する通常符号化部と、入力ピクチャを受信してチャンネル変更ストリーム・データを供給する低品質符号化部と、通常符号化部と低品質符号化部の各々に、信号通信が可能な形態で、接続されており、通常ストリーム・データのストリームとチャンネル変更ストリーム・データのストリームとを受信して合成するマルチプレクサとが含まれている。

本発明の上記およびその他の形態、特徴、および、利点は、以下図面を参照しつつ説明する各実施例から明らかである。

本発明の実施例では、チャンネル変更遅延を、任意の所望の割合に、従来技術の方法より低いビット・レートで、設定できる。即ち、本発明は、圧縮ビデオ放送システムに於けるチャンネル変更遅延時間を短くでき、一方、従来技術のチャンネル変更遅延時間を短くする方法に比べて、ビット・レートを大幅に低減できる。ＪＶＴ／Ｈ．２６４／ＭＰＥＧ・ＡＶＣ規格では、個々のＰピクチャとＢピクチャは、１つまたは複数の異なるスライス・タイプ（Ｉ、Ｐおよび／またはＢ）を用いて、符号化されるが、Ｉピクチャは、Ｉスライスのみを用いて、符号化される。従って、以下の説明では、文脈と適用可能な規格に従って、用語「ピクチャ」の代わりに、用語「スライス」を置き換えることが出来る。従来技術のシステムでは、チャンネル変更を可能にする目的で、頻繁に、例えば、Ｎ個のピクチャ毎に、Ｉピクチャを送信している。本発明の各実施例では、通常のＩピクチャの送信頻度を少なくし、補助的な低品質のＩピクチャの送信頻度を多くしている。

本発明の原理に従えば、従来技術のシステムに於けるようにＩピクチャを頻繁に送信する必要なく、所望のチャンネル変更遅延が得られる。即ち、補助的な低品質符号化ピクチャを、ここで呼ぶ「チャンネル変更ストリーム」内に含ませて、通常品質符号化ピクチャに加えて、送信する。チャンネル変更ストリームでは、低品質Ｉピクチャが、所望のチャンネル変更頻度で送信され、復号器に於いて、チャンネル変更後の初期に使用される。通常品質のＩピクチャは、通常のストリーム内に含まれて、低い頻度で送信され、復号器に於いて、受信された時点で、使用される。

例えば、あるシステムに於いて、Ｉピクチャが通常のストリーム内でＮ＊Ｋ個のピクチャ毎に送信され、低品質Ｉピクチャがチャンネル変更ストリーム内でＮ個のピクチャ毎に送信される（但し、Ｋ＞１）とする。チャンネル変更ストリーム内の各符号化ピクチャは、通常ストリーム符号化ピクチャに対応している。従って、チャンネル変更ストリーム内に１つの符号化ピクチャが存在するとき、当該ピクチャの２つの符号化されたものが実際に送信される。

チャンネル変更が生じたとき、復号化システムは、通常ストリーム或いはチャンネル変更ストリームのどちらかのＩピクチャを受信すると直ぐに、圧縮ビデオの復号化を開始する。若し最初に到着したＩピクチャが通常ストリーム内のものである場合、復号器は、通常の態様で、復号化を継続する。他方、最初に到着したＩピクチャがチャンネル変更ストリーム内の低品質Ｉピクチャである場合、復号器は、その低品質Ｉピクチャを復号化して使用する。その結果、低品質のビデオが、通常品質のＩピクチャが到着するまで、表示されることになる。この低品質のビデオの期間は、短く、且つ、チャンネル変更の直後であるため、視聴者には、あまり分からない。これは、人間の視覚系が、新たな視覚場面に適応するのに、ある程度の時間を要するためである。

チャンネル変更ストリームには、低品質Ｉピクチャのみが含まれるか、或いは、低品質のＩピクチャ、ＰピクチャおよびＢピクチャが含まれることがある。チャンネル変更ストリームのピクチャの割合は、通常ストリームのそれに比べて、低い場合がある。低品質ピクチャは、通常ピクチャと同じ解像度であり、且つ、通常ピクチャに比べて低いビット・レートで符号化されることがあり、或いは、通常ピクチャよりも低い解像度であることもある。チャンネル変更ストリーム内の低品質符号化Ｉピクチャのビット・ストリーム・サイズは、通常ストリーム内の通常品質符号化Ｉピクチャのそれに比べて、小さい。従って、同じピクチャの符号化されたものを追加して送信しているにも拘わらず、全体のビット・レートは、節約できる。これは、一般的に、通常品質のＰピクチャまたはＢピクチャに低品質Ｉピクチャを加えたサイズは、通常品質のＩピクチャのみのサイズよりも、著しく小さいためである。

チャンネル変更ストリームに低品質のＩピクチャ、ＰピクチャおよびＢピクチャが含まれている場合、復号器システムは、チャンネル変更後、低品質Ｉピクチャの到着を待ち、チャンネル変更ストリーム内の各低品質ピクチャを復号化して表示し、通常品質のＩピクチャが受信された時点で、その通常品質ストリームに切替える。

チャンネル変更ストリームにＩピクチャのみが含まれている場合、復号化システムは、チャンネル変更後、通常ストリーム内のＩピクチャか、或いは、チャンネル変更ストリーム内のＩピクチャかのどちらかの到着を待つ。若し最初に到着したＩピクチャがチャンネル変更ストリーム内のものである場合、復号化システムは、低品質Ｉピクチャを復号化して表示する。次に、この低品質ピクチャは、通常復号器ピクチャ記憶装置に記憶され、復号化システムは、このチャンネル変更ストリーム内の低品質Ｉピクチャを基準として使用して、後続する通常ストリームのＰピクチャとＢピクチャの復号化を開始する。これは、これらの通常品質のＰピクチャとＢピクチャが、チャンネル変更ストリーム内の対応する低品質Ｉピクチャではなく、通常ストリーム内の先行ピクチャに基づいてインター符号化されているため、ある程度の復号化ドリフトを生じさせる。

しかし、実験の結果、そのようなドリフトの視覚的な影響は、この場合、小さいと判った。これは、その影響が、ほんの短い時間だけしか持続せず、且つ、チャンネル変更に対応する場面変更の直後に生じるためである。符号器は、ドリフトがどの程度生じるかを管理して、そのドリフトが妥当な限度を超えないように、通常ストリームおよび／またはチャンネル変更ストリームの各ピクチャの符号化パラメータを適切に調整できる。

本説明は、本発明の原理を例示するものである。当業者であれば、ここに明示的に説明或いは図示されていないが、本発明の原理を実施する、本発明の精神から逸脱せず且つ本発明の範囲内にある様々な構成を考案できるであろう。

ここに記載した全ての例と諸条件とは、教示目的として、本説明の読者が、本発明の原理と本発明者の提案する概念とを理解するのを助け、当該技術を促進するためのものである。また、本発明は、ここに具体的に記載した各例と各条件に限定されるものではない。

更に、本発明の原理、特徴および実施形態と本発明の具体例とを説明した本記載は、本発明の構造的等価物と機能的等価物の両方を包含するものである。また、そのような等価物には、既知の等価物と、将来開発される等価物、即ち、構造に拘わりなく同じ機能を実現するように開発された任意の要素とが含まれる。

従って、例えば、当業者であれば、本出願の図面の各ブロック図が、本発明の原理を実施した回路例の概念的な図であることを理解できるであろう。同様に、全てのフローチャート、流れ図、状態遷移図、擬似コード等が、コンピュータ読み取り可能メディアで実質的に表すことができ、従って、たとえ明示されていなくても、コンピュータ或いはプロセッサによって実行できる種々の処理行程を表している、ことを理解できるであろう。

本出願の図面に示される種々の要素の各機能は、専用ハードウェアの使用、或いは、適切なソフトウェアに対応するソフトウェア実行可能ハードウェアの使用によって、実現できる。これらの機能は、プロセッサで実現される場合、単一の専用プロセッサ、単一の共用プロセッサ、或いは、複数の個別プロセッサ（その一部は、共用されてもよい）によって、実現される。また、「プロセッサ」或いは「コントローラ」という用語を明示していても、それは、ソフトウェアを実行できるハードウェアを限定的に意味するものではなく、暗示的に、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリード・オンリ・メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および、不揮発性記憶装置も非限定的に含むものである。

その他の通常のハードウェアおよび／または特定用途のハードウェアも含まれることがある。同様に、図面に示される全てのスイッチは、単に概念的なものである。それらの機能は、プログラム論理動作によって、専用論理によって、プログラム制御と専用論理とのインターアクションによって、或いは、手動によってでも、実行でき、個々の技術は、本説明から更に具体的に理解できるように、実施者によって選択可能である。

本出願の特許請求の範囲の各請求項に於いて、明記した機能を実現する手段として表現された全ての要素は、例えば、（ａ）「当該機能を実現する各回路要素の組み合わせ」、或いは、（ｂ）「任意の形態のソフトウェア、従って、ファームウェア、マクロコード等を含むソフトウェアであり、そのソフトウェアを実行する適切な回路と組み合わされて当該機能を実現するソフトウェア」を含む、当該機能を実現する任意の形態を包含するものである。更に、各請求項に記載する発明の本質は、各請求項に記載する種々の手段によって実現される各機能が、組み合わされて、各請求項に記載された態様で、統合されることにある。従って、本出願人は、それらの各機能を実現できる全ての手段が、本明細書に記載した手段と等価であると考える。

図１には、本発明の原理に従う符号器（エンコーダ）の全体が、参照番号１００で示されている。符号器１００は、通常ストリームとチャンネル変更ストリームの各々について、同じ解像度を使用する。符号器１００には、通常ストリームを生成する通常符号化部１３０と、チャンネル変更ストリームを生成する低品質符号化部１４０とが含まれており、各々、同じ解像度入力ピクチャを受信する。通常符号化部１３０および低品質符号化部１４０は、マルチプレクサ（ＭＵＸ）１５０に、信号通信が可能な形態で、接続されており、それぞれ、通常ストリームおよびチャンネル変更ストリームをマルチプレクサ１５０に供給して送信する。

図２には、本発明の原理に従う復号器（デコーダ）の全体が、参照番号２００で示されている。復号器２００は、通常ストリームとチャンネル変更ストリームの各々について、同じ解像度を使用する。復号器２００には、圧縮ビデオ・データを受信して通常ストリームとチャンネル変更ストリームとに多重分離するデマルチプレクサ（ＤＥＭＵＸ）２１０が含まれている。多重分離された通常ストリームとチャンネル変更ストリームは、通常復号器部２１２に選択的に供給される。通常復号器部２１２は、フレーム記憶装置２１４に、信号通信が可能な形態で、接続されており、復号化ビデオをディスプレイに出力する。

上述のように、図１と図２にそれぞれ示される符号化システムと復号化システムは、各々、通常ストリームとチャンネル変更ストリームの両方について、同じ解像度映像を使用する。これらの動作を説明すると、通常符号化部は、通常ストリーム用の通常品質圧縮ビデオ・ピクチャを生成し、並列接続された低品質符号化部は、チャンネル変更ストリーム用の低品質圧縮ビデオ・ピクチャを生成する。尚、図示の符号器１００には、２つの符号化機能を実現する２つの個別の符号器ブロックが含まれているが、当業者であれば分かるように、これらの２つの符号化機能は、同一の符号化装置を用いて実現できる。通常ストリームとチャンネル変更ストリームは、必要に応じて、共に、多重化されて送信される。復号化システムに於いて、通常ストリームとチャンネル変更ストリームがＤＥＭＵＸによって分離され、どちらのストリームのピクチャを復号器に送るべきかが選択される。

図３には、本発明の原理に従う別の符号器（エンコーダ）の全体が、参照番号３００で示されている。符号器３００は、チャンネル変更ストリームについて、濾波済みデータを使用する。符号器３００には、通常ストリームを生成する通常符号化部３３０と、低品質符号化部３４０に信号通信が可能な形態で接続されており、濾波済みチャンネル変更ストリームを生成する低域通過フィルタ３３２とが含まれている。通常符号化部３３０および低品質符号化部３４０は、各々、マルチプレクサ（ＭＵＸ）３５０に、信号通信が可能な形態で、接続されており、それぞれ、通常ストリームとチャンネル変更ストリームをマルチプレクサ３５０に供給して出力する。

上述のように、図３に示される別の符号化システムでは、入力ピクチャについて、低品質符号器の前に低域通過フィルタが設けられている。チャンネル変更ストリーム内の各ピクチャは、比較的低いビット・レートで符号化されるので、可視符号化アーティファクトを含むことがある。符号化の前に、各映像を低域通過濾波することによって、これらの可視符号化アーティファクトの一部を取り除くことが出来る。

マルチプレクサは、符号化ピクチャの送信のタイミングを調整して、チャンネル変更ストリームのＩピクチャを、通常ストリームの符号化ピクチャに割り込ますようにする。チャンネル変更ストリーム符号化ピクチャの送信は、同じ入力ピクチャに対応する通常ストリーム・ピクチャが送信される時点の近くであり、且つ、そのピクチャについてインター予測される通常ストリーム・ピクチャの前が望ましい。

図４には、ピクチャ・パターン例の全体が、参照番号４００で示されている。このピクチャ・パターン例４００の場合、Ｎ＝１２、Ｋ＝３で、Ｉピクチャのみがチャンネル変更ストリームに含まれている。１／２秒のチャンネル変更開始周期が望ましい２４ｆｐｓシーケンスの例では、低品質Ｉピクチャが、チャンネル変更ストリームに、１２個のピクチャ毎に挿入される。また、通常品質のＩピクチャは、通常ストリームに、３６個のピクチャ毎に挿入される。

受信機が当該チャンネルに同調して、ピクチャ５が受信されている場合を考える。受信機は、どちらかのストリーム内の最初のＩピクチャが到着するまで待ち、この例では、チャンネル変更ストリーム内の１２を待ち、これを復号化して表示する。次に、このチャンネル変更ストリームからの復号化低品質Ｉピクチャ１２は、復号器のピクチャ記憶装置に格納され、通常ストリームのピクチャ１２から２３の復号化に使用される。これらの復号化ピクチャには、ドリフトが含まれることになる。通常ストリームの通常品質Ｐピクチャ２４が到着したとき、受信機は、この通常ストリームのＰピクチャ２４を復号化するか、或いは、チャンネル変更ストリームのＩピクチャ２４を復号化するかを選択できる。この選択は、どちらの方がドリフトが少ないかに基づいて、受信機側で決定してもよいし、或いは、符号器が、この選択を決定する信号をビット・ストリーム内に入れてもよい。次に、通常ストリームのピクチャ２５から３５が復号化されるが、それらもドリフトを伴う。次に、Ｉピクチャである通常ストリームのピクチャ３６が受信されたとき、復号器は、適切に復号化を開始でき、それに続く全てのピクチャについて、ドリフトは付加されない。視聴者から見ると、チャンネル変更後の短い期間、この例では、約１．５秒間、低品質のビデオが表示され、次いで通常品質のビデオが表示される。

サイズが大きい通常ストリームＩピクチャを送信する頻度が、従来技術システムに比べて少ないため、ビット・レートを従来技術システムに比べて節約できる。チャンネル変更ストリーム内で送信される低品質Ｉピクチャは、通常品質Ｉピクチャよりも遙に小さい。符号化システムでは、低品質Ｉピクチャを、チャンネル変更ストリーム内で、所望の頻度で、且つ、任意のパターンで送信できる。通常ストリーム内のＩピクチャも、規則的なパターンに従う必要はなく、例えば、場面変更が生じる時はいつでも、挿入してもよい。また、ある符号化システムでは、通常ストリーム内のＩピクチャ相互間の距離が所望の値を超えなければ、チャンネル変更ストリームのＩピクチャを挿入する必要はない。更に、この符号化システムでは、例えば、所望のチャンネル変更遅延限度に対応する最大Ｉピクチャ相互間隔を維持する必要がある時はいつでも、チャンネル変更ストリーム内のＩピクチャの挿入を選択するようにしてもよい。

チャンネル変更ストリーム内には、相異なる解像度のピクチャが含まれてもよい。例えば、チャンネル変更ストリーム内の一部のＩピクチャは、通常ストリームと同じ解像度であり、その他のＩピクチャは、それより低い解像度であってもよい。或いは、チャンネル変更ストリーム内のピクチャについて、通常ストリームより低い解像度を２種類以上使用してもよい。

チャンネル変更ストリームのピクチャを予測子として使用して通常ストリームのピクチャを復号化する際に生じるドリフトを低減する目的で、符号器は、チャンネル変更ストリームのＩピクチャに対応する通常ストリームのピクチャに続くＰピクチャとＢピクチャについて、許容できる基準ピクチャの範囲を制限できる。ＪＶＴ／Ｈ．２６４ビデオ圧縮規格では、ＰピクチャとＢピクチャの予測に、複数の基準ピクチャが使用されることがあるが、これには、単一の基準ピクチャを使用するよりも符号化効率が良いという利点がある。図４の例では、通常ストリーム内のピクチャ１２から２３は、ピクチャ１２より前の基準ピクチャを使用できないという制限を課してもよい。この制限が課されなければ、チャンネル変更後に生じるドリフトは増大する。例えば、ピクチャ１５がピクチャ１２とピクチャ９の両方から予測され、且つ、チャンネル変更が、ピクチャ５が受信されている時に、生じる場合、復号化システムは、チャンネル変更ストリームＩピクチャ１２からのピクチャ１２は持っているが、ピクチャ９は持っていない。これは、ピクチャ１３から２３を復号化する際、視覚的品質が著しく低下することになり得る。しかし、ピクチャ１５をピクチャ１２だけから予測するような制限を課しておけば、ピクチャ１５の符号化効率が若干低下しても、この著しいドリフトは回避できる。

図５には、本発明の原理に従う更に別の符号器の全体が、参照番号５００で示されている。符号器５００は、チャンネル変更ストリームについて、ダウンサンプリング済みデータを使用する。符号器５００には、通常ストリームを生成する通常符号化部５３０と、低品質符号化部５４０に、信号通信が可能な形態で、接続されており、ダウンサンプリング済みチャンネル変更ストリームを生成するダウンサンプラ５３４とが含まれている。通常符号化部５３０および低品質符号化部５４０は、各々、マルチプレクサ（ＭＵＸ）５５０に、信号通信が可能な形態で、接続されており、それぞれ、通常ストリームおよびチャンネル変更ストリームをマルチプレクサ５５０に供給して出力する。

図６には、本発明の原理に従う更に別の復号器の全体が、参照番号６００で示されている。復号器６００は、チャンネル変更ストリームについて、ダウンサンプリング済みデータを使用する。復号器６００には、圧縮ビデオ・データを受信するデマルチプレクサ（ＤＥＭＵＸ）６１０が含まれており、通常復号器部６１２と低解像度復号器部６１８の各々に、信号通信が可能な形態で、接続されている。通常復号器部６１２は、フレーム記憶装置６１４に、信号通信が可能な形態で、接続されており、復号化ビデオを、ディスプレイとフレーム記憶装置６１４とに、選択的に出力できる。低解像度復号器部６１８は、フレーム記憶装置６２０に、信号通信が可能な形態で、接続されており、アップサンプラ６２２に復号化ビデオを出力する。アップサンプラ６２２は、アップサンプリング済み復号化ビデオを、ディスプレイとフレーム記憶装置６１４とに、選択的に出力できる。

上述のように、図５および図６にそれぞれ示される符号化システムと復号化システムは、各々、チャンネル変更ストリーム内の低品質ピクチャについて、通常ピクチャよりも低い解像度の映像を使用する。例えば、通常ピクチャについては７０４×４８０ピクセルが使用でき、チャンネル変更ピクチャについては３５２×２４０ピクセルが使用できる。入力ピクチャは、通常ストリームについては、通常通りに符号化されるが、チャンネル変更ストリームについては、低解像度にサイズ変更されて、その低解像度で符号化される。通常ストリームとチャンネル変更ストリームは、多重化されて送信される。復号化システムに於いて、通常ストリームとチャンネル変更ストリームがＤＥＭＵＸによって分離され、どちらのストリームのピクチャを復号化して表示しようとするかが選択される。チャンネル変更ストリームが復号化されて表示される場合、復号化ピクチャは、通常ストリーム復号器のピクチャ記憶装置に格納され、次の通常ストリームの符号化ピクチャの復号化に使用される。尚、図６では、通常復号器部と低品質復号器とについて、個別のブロックが示されているが、当業者であれば分かるように、両者の機能は、１つの装置を用いて実現できる。

復号化システムでは、チャンネル変更後に、低品質のビデオが最初に表示される。次いで、通常ストリーム内のＩピクチャが受信されると、通常品質のビデオの表示が開始される。この低品質ビデオから通常品質ビデオへの急激な変化は、視聴者から見て、低品質ビデオ自体よりも目立つことがある。この急激な変化を低減する目的で、ポストプロセッサを復号器の後段に設けて、復号化ピクチャを濾波してもよい。フィルタ強度を数個のピクチャに亘って調節して、復号化ピクチャの解像度、即ち、品質を徐々に増大するようにしてもよい。

図７には、本発明の原理に従う更に別の復号器の全体が、参照番号７００で示されている。復号器７００は、チャンネル変更ストリームについて、ダウンサンプリング済みデータを使用する。復号器７００には、圧縮ビデオ・データを受信するデマルチプレクサ（ＤＥＭＵＸ）７１０が含まれており、通常復号器部７１２と低解像度復号器部７１８の各々に、信号通信が可能な形態で、接続されている。通常復号器部７１２は、フレーム記憶装置７１４に、信号通信が可能な形態で、接続されており、復号化ビデオをディスプレイとフレーム記憶装置７１４とに選択的に出力できる。通常復号器部７１２は、更に、後処理フィルタ７１６に、信号通信が可能な形態で、接続されている。後処理フィルタ７１６は、後処理済み復号化ビデオをディスプレイとフレーム記憶装置７１４とに選択的に出力できる。低解像度復号器部７１８は、フレーム記憶装置７２０に、信号通信が可能な形態で、接続されており、アップサンプラ７２２に復号化ビデオを出力する。アップサンプラ７２２は、アップサンプリング済み復号化ビデオをディスプレイとフレーム記憶装置７１４とに選択的に出力できる。

上述のように、図７には、後処理フィルタが組み込まれた復号化システムが示されている。後処理機能を低品質復号器の後段にも加えて、圧縮に因るアーティファクトを隠すようにしてもよい。

図８には、入力ピクチャを受信して圧縮ストリーム・データを供給するビデオ符号化方法の全体が、参照番号８００で示されている。方法８００に含まれている開始ブロック８１０が制御権を入力ブロック８１２に渡し、入力ブロック８１２は、入力ピクチャを受信する。次に、入力ブロック８１２は制御権を機能ブロック８１４に渡し、機能ブロック８１４は、受信入力ピクチャからの通常ストリーム・データを符号化する。次に、機能ブロック８１４は制御権を機能ブロック８１６に渡し、機能ブロック８１６は、受信入力ピクチャからのチャンネル変更ストリーム・データを符号化する。このチャンネル変更ストリーム・データには、通常ストリーム・データよりも低品質な符号化データが含まれている。次に、機能ブロック８１６は制御権を機能ブロック８１８に渡し、機能ブロック８１８は、通常ストリーム・データのストリームとチャンネル変更ストリーム・データのストリームとを合成出力ストリームに多重化して、制御権を終了ブロック８２０に渡す。

図９には、圧縮ストリーム・データを受信して復元ビデオ出力を供給するビデオ復号化方法の全体が、参照番号９００で示されている。方法９００に含まれている開始ブロック９１０が制御権を入力ブロック９１２に渡し、入力ブロック９１２は、圧縮ストリーム・データを受信し、制御権を機能ブロック９１４に渡す。機能ブロック９１４は、通常ストリームとチャンネル変更ストリームとを分離する。次に、機能ブロック９１４は制御権を機能ブロック９１６に渡し、機能ブロック９１６は、圧縮通常ストリームと圧縮チャンネル変更ストリームの少なくとも一方を受信して、復元ビデオ出力を供給する。次に、機能ブロック９１６は制御権を機能ブロック９１８に渡し、機能ブロック９１８は、基準ピクチャを記憶して、これをインター符号化ピクチャの復号化の際に使用する。次に、機能ブロック９１８は、制御権を終了ブロック９２０に渡す。

通常ストリームとチャンネル変更ストリームとの多重化を行うには、幾つかの実行可能な方法がある。通常ストリームの復号化が、既存の復号器に変更を加えることなく、行えるバックワード・コンパチブルなシステム（既存システムと互換性を有するシステム）を実現する目的で、チャンネル変更ストリームの低品質符号化ピクチャを、通常ストリームの対応するピクチャに関連したユーザ・データの中に、入れる方法がある。

この方法によって、復号化システムは、チャンネル変更ストリーム符号化ピクチャのピクチャ・タイム（ｐｉｃｔｕｒｅ ｔｉｍｅ）を識別できる。この方法を使用する場合、チャンネル変更ストリーム符号化ピクチャの固有ピクチャ開始コードに変更を加える必要がある。例えば、ビット・スタッフィング（ｂｉｔ ｓｔｕｆｆｉｎｇ）或いはバイト・スタッフィング（ｂｙｔｅ ｓｔｕｆｆｉｎｇ）によって、既存の通常復号器が、ユーザ・データ内のチャンネル変更ストリーム・ピクチャのピクチャ開始コードを検出しないようにする。復号化システムに於いて、このビット・スタッフィング或いはバイト・スタッフィングの行程を逆に行った後、データを規格対応復号器に送るようにしてもよい。

別の多重化方法は、チャンネル変更ストリームについて、通常ストリームとは異なるＰＩＤを使用する。この場合、チャンネル変更ストリームは、通常ストリーム・ピクチャと同期した符号化ピクチャについて、タイミング情報を含む必要がある。また、通常ストリームのＰＩＤとチャンネル変更ストリームのＰＩＤとを互いに関連付ける必要がある。

ＪＶＴ／Ｈ．２６４／ＭＰＥＧ・ＡＶＣ圧縮規格がこのシステムに使用され、且つ、通常ピクチャとチャンネル変更ピクチャの解像度が同じである場合、ＪＶＴの冗長ピクチャ・シンタックスを使用して、スライス・ヘッダ内のｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔフィールドを、チャンネル変更ピクチャについて、１に設定することによって、チャンネル変更ピクチャを符号化できる。この場合、復号化システムに於いて、チャンネル変更ストリーム・ピクチャは、スライス・ヘッダ内で１に等しいｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔフィールドを含むピクチャをサーチすることによって、識別できる。

本発明の上記およびその他の特徴と利点は、当業者であれば、ここに開示した事項に基づいて、容易に把握できる筈である。また、本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、或いは、それらを任意に組み合わせた様々な形態で実施できる。

本発明の原理は、ハードウェアとソフトウェアの組み合わせとして実施されることが最も望ましい。更に、そのソフトウェアは、プログラム記憶装置上に実装されたアプリケーション・プログラムとして、実施されることが望ましい。このアプリケーション・プログラムは、適切な任意のアーキテクチャから成るマシンにアップロードされて、そのマシンによって実行されるようにしてもよい。そのマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、および、入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータ・プラットホームで実施されることが望ましい。このコンピュータ・プラットホームには、また、オペレーティング・システムおよびマイク命令コードも含まれている。ここに説明する種々の処理および機能は、マイク命令コードの一部、或いは、アプリケーション・プログラムの一部（或いは、それらの組み合わせ）であってよく、ＣＰＵを介して実行される。更に、例えば、増設データ記憶装置や印刷装置のような様々なその他の周辺装置をコンピュータ・プラットホームに接続してもよい。

更に、添付図面に示されている各システム構成部分および本方法の一部は、ソフトウェアの形態で実施することが望ましく、従って、システム構成部分相互間、或いは、処理機能ブロック相互間の実際の各関係は、本発明がプログラムされる形態によって、異なる場合がある。当業者であれば、ここに開示された事項に基づいて、本発明のこれらの実施形態または構成、および、それに類似した実施形態または構成を考案できるであろう。

尚、ここでは各実施例を、添付図面を参照して、説明したが、本発明は、これらの具体的な各実施例に限定されるものではなく、当業者であれば、本発明の精神から逸脱することなく、且つ、本発明の範囲内で、様々な変更と修正を上記各実施例に加えることが出来る。そのような変更と変形は、全て、本願の特許請求の範囲の各請求項に規定される本発明の範囲に含まれるものである。

図１は、本発明の原理に従って、チャンネル変更ストリームについて、通常の解像度を使用した符号器のブロック図である。 図２は、本発明の原理に従って、チャンネル変更ストリームについて、通常の解像度を使用した復号器のブロック図である。 図３は、本発明の原理に従って、低域通過濾波済みチャンネル変更ストリームを使用した符号器のブロック図である。 図４は、本発明の原理に従うピクチャ・パターン例を示す表である。 図５は、本発明の原理に従って、ダウンサンプリング済みチャンネル変更ストリームを使用した符号器のブロック図である。 図６は、本発明の原理に従って、ダウンサンプリング済みチャンネル変更ストリームを使用した復号器のブロック図である。 図７は、本発明の原理に従って、ダウンサンプリング済みチャンネル変更ストリームと後処理フィルタとを使用した復号器のブロック図である。 図８は、本発明の原理に従うビデオ符号化方法のフローチャートである。 図９は、本発明の原理に従うビデオ復号化方法のフローチャートである。

Claims (13)

1. 入力ピクチャを受信して圧縮ストリーム・データを供給するビデオ符号化器であって、
   入力ピクチャを受信して、イントラ符号化ピクチャとインター符号化ピクチャとの両方を含む通常ストリーム・データを供給する通常符号化部と、
   入力ピクチャを受信して、該通常ストリームにおけるイントラ符号化ピクチャよりも少ないビットを用いるイントラ符号化ピクチャを、受信され圧縮されたストリーム・データの前記通常ストリームにおけるイントラ符号化ピクチャの頻度よりも高い頻度で含むチャンネル変更ストリーム・データを供給する低品質符号化部と、
   前記通常符号化部と前記低品質符号化部の各々に、信号通信が可能な形態で接続されており、前記通常ストリーム・データのストリームと前記チャンネル変更ストリーム・データのストリームとを受信して合成するマルチプレクサと、
   を含み、前記通常ストリーム・データと前記チャンネル変更ストリーム・データとが、同一のビデオソースから生成された符号化データを表す、前記ビデオ符号化器。
2. 前記低品質符号化部に、信号通信が可能な形態で接続されており、低域通過濾波済み入力ピクチャを前記低品質符号化部に供給する低域通過フィルタをさらに含む、請求項１記載のビデオ符号化器。
3. 前記低品質符号化部に、信号通信が可能な形態で接続されており、ダウンサンプリング済み入力ピクチャを前記低品質符号化部に供給するダウンサンプリング装置をさらに含む、請求項１記載のビデオ符号化器。
4. 対応する通常ストリームよりも多くのイントラ符号化ピクチャを含むチャンネル変更ストリームを生成する手段をさらに含む、請求項１記載のビデオ符号化器。
5. ダウンサンプリングして低解像度チャンネル変更ストリーム・ピクチャを生成する手段をさらに含む、請求項４記載のビデオ符号化器。
6. ＪＶＴ規格に従って冗長ピクチャ・シンタックスを符号化する手段をさらに含む、請求項１記載のビデオ符号化器。
7. チャンネル変更ストリーム・ピクチャを符号化して、対応する通常ストリーム・ピクチャのユーザ・データ内に入れる手段をさらに含む、請求項１記載のビデオ符号化器。
8. 後続するチャンネル変更ストリーム・イントラ符号化ピクチャについて、通常ストリーム・ピクチャとチャンネル変更ストリーム・ピクチャの何れを使用するかを復号化器に知らせる手段をさらに含む、請求項１記載のビデオ符号化器。
9. 前記低品質符号化部に、信号通信が可能な形態で接続されており、チャンネル変更ストリームについて、符号化しようとする一部の入力ピクチャを選択するピクチャ・セレクタをさらに含む、請求項１記載のビデオ符号化器。
10. 入力ピクチャを受信して圧縮ストリーム・データを供給するビデオ符号化方法であって、
    入力ピクチャを受信するステップと、
    前記受信した入力ピクチャから、イントラ符号化ピクチャとインター符号化ピクチャとの両方を含む通常ストリーム・データを符号化するステップと、
    前記受信した入力ピクチャからチャンネル変更ストリーム・データを符号化するステップであって、該通常ストリームにおけるイントラ符号化ピクチャよりも少ないビットを用いるイントラ符号化ピクチャを、受信され圧縮されたストリーム・データの前記通常ストリームにおけるイントラ符号化ピクチャの頻度よりも高い頻度で含む前記チャンネル変更ストリーム・データを符号化するステップと、
    前記通常ストリーム・データのストリームと前記チャンネル変更ストリーム・データのストリームとを合成出力ストリームに多重化するステップと、
    を含み、前記通常ストリーム・データと前記チャンネル変更ストリーム・データとが、同一のビデオソースから生成された符号化データを表す、前記ビデオ符号化方法。
11. 対応する通常ストリームよりも多くのイントラ符号化ピクチャを含むチャンネル変更ストリームを生成するステップ、
    ダウンサンプリングして低解像度チャンネル変更ストリーム・ピクチャを生成するステップ、
    ＪＶＴ規格に従って冗長ピクチャ・シンタックスを符号化するステップ、
    チャンネル変更ストリーム・ピクチャを符号化して、対応する通常ストリーム・ピクチャのユーザ・データに入れるステップ、および
    後続するチャンネル変更ストリーム・イントラ符号化ピクチャについて、通常ストリーム・ピクチャとチャンネル変更ストリーム・ピクチャの何れを使用するかを復号化器に知らせるステップ、
    のうちの少なくとも１つのステップをさらに含む、請求項１０記載のビデオ符号化方法。
12. 前記チャンネル変更ストリームについて、符号化しようとする一部の入力ピクチャを選択するステップをさらに含む、請求項１０記載のビデオ符号化方法。
13. 入力ピクチャを受信して圧縮ストリーム・データを供給するビデオ符号化装置であって、
    入力ピクチャを受信する手段と、
    前記受信した入力ピクチャから、イントラ符号化ピクチャとインター符号化ピクチャとの両方を含む通常ストリーム・データを符号化する手段と、
    前記受信した入力ピクチャからチャンネル変更ストリーム・データを符号化する手段であって、該通常ストリームにおけるイントラ符号化ピクチャよりも少ないビットを用いるイントラ符号化ピクチャを、受信され圧縮されたストリーム・データの前記通常ストリームにおけるイントラ符号化ピクチャの頻度よりも高い頻度で含む前記チャンネル変更ストリーム・データを符号化する手段と、
    前記通常ストリーム・データのストリームと前記チャンネル変更ストリーム・データのストリームとを合成出力ストリームに合成する手段と、
    を含み、前記通常ストリーム・データと前記チャンネル変更ストリーム・データとが、同一のビデオソースから生成された符号化データを表す、ビデオ符号化装置。

Images