JP5688773B2 - ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 - Google Patents

Description

本願は、２００９年２月３日出願の米国仮出願第６１／１４９４９５号の利益を主張するものであり、これを参照することによりその開示内容全体が本明細書中に組み込まれる。

本発明の原理は、一般にビデオの符号化および復号に関し、さらに詳細には、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置に関する。

近年、例えば医療用画像処理、プロダクションおよびポストプロダクションにおけるディジタル映画ワークフロー、ホーム・シアター関連分野など、多くの応用分野において、８より大きいビット深度を有するディジタル画像／ビデオがますます望ましくなっている。将来の何れかの時点で従来の８ビット深度と高ビット深度のディジタル撮像システムとが共存するようになることを考えると、ビット深度のスケーラビリティが有用である可能性がある。８ビット・ビデオと１０ビット・ビデオとの共存に対処する方法はいくつかある。第１の従来の解決策では、１０ビット符号化ビット・ストリームのみを伝送し、１０ビット・プレゼンテーションにトーン・マッピング方法を適用することにより、標準的な８ビット表示装置用の８ビット表現を得る。第２の従来技術の解決策では、８ビット符号化プレゼンテーションと１０ビット符号化プレゼンテーションとを含む同時放送ビット・ストリームを伝送する。どちらのビット深度を選んで復号するかは、デコーダの選好による。例えば、１０ビット対応デコーダは１０ビット・ビデオを復号して出力することができるが、８ビットにしか対応していない通常のデコーダは、８ビット・ビデオしか出力することができない。第１の従来技術の解決策は、本質的に、国際標準化機構国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４） Ｐａｒｔ１０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準、国際電気通信連合電気通信標準化セクター（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下「ＭＰＥＧ−４ ＡＶＣ標準」）の８ビット・プロファイルに準拠していない。第２の従来技術の解決策は、現行の全ての標準に準拠しているが、必要なオーバヘッドが多くなる。しかしながら、ビット削減と後方標準互換性との間の良好な兼ね合いが、スケーラブルな解決策となる可能性がある。ＭＰＥＧ−４ ＡＶＣ標準のスケーラブルな拡張とも呼ばれるスケーラブル・ビデオ符号化（ＳＶＣ）は、ビット深度スケーラビリティのサポートを考慮している。ビット深度スケーラブル符号化には、後処理（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）や同時放送（ｓｉｍｕｌｃａｓｔ）に優る利点が少なくとも３つある。１つの利点は、ビット深度スケーラブル符号化では、ＭＰＥＧ−４ ＡＶＣ標準のハイ・プロファイルとの後方互換性を維持した状態で、１０ビット・ビデオが可能であることである。第２の利点は、ビット深度スケーラブル符号化では、様々なネットワーク帯域幅または装置の機能への適応が可能であることである。第３の利点は、ビット深度スケーラブル符号化は、複雑でなく、効率が高く、柔軟性が高いことである。

ＭＰＥＧ−４ ＡＶＣ ＳＶＣ拡張
ＭＰＥＧ−４ ＡＶＣ標準のＳＶＣ拡張の現在のバージョンでは、単一ループ復号をサポートして、復号の複雑さを軽減している。動き補償予測およびデブロッキングも含めたインター符号化マクロブロックの完全な復号は、現在の空間的または粗粒子スケーラビリティ（ＣＧＳ；ｃｏａｒｓｅ−ｇｒａｉｎ ｓｃａｌａｂｉｌｉｔｙ）レイヤに必要なだけである。これは、インターレイヤ・イントラ・テクスチャ予測を、低レイヤ・ピクチャのイントラ・マクロブロックで符号化された部分に制限することによって行われる。ビット深度スケーラビリティのためにインターレイヤ・イントラ・テクスチャ予測を拡張するためには、逆トーン・マッピングが使用される。ＳＶＣも、インターレイヤ残差予測をサポートしている。トーン・マッピングは、通常はピクセル領域で使用されるので、残差領域における対応する逆トーン・マッピングを見つけるのは極めて困難である。第３および第４の従来技術の手法では、インターレイヤ残差予測のためにビット・シフトを使用している。

ＭＰＥＧ−４ ＡＶＣ標準のスケーラブル・ビデオ符号化（ＳＶＣ）拡張のジョイント・ドラフト８（ＪＤ８）では、以下では第３の従来技術の手法とも呼ぶ、平滑参照予測（ＳＲＰ；ｓｍｏｏｔｈ ｒｅｆｅｒｅｎｃｅ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる技術を提案している。シンタックス要素ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇおよびｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇの両方が設定されたときに、１ビット・シンタックス要素ｓｍｏｏｔｈｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが送信される。ｓｍｏｏｔｈｅｄ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ＝１であるときには、デコーダにおいて以下のステップを行い、再構築されたビデオ・ブロックを取得する。
１．エンハンスメント・レイヤ・リファレンスフレームおよびベース・レイヤからのアップサンプリング動きベクトルを用いて、予測ブロックＰを取得する。
２．対応するベース・レイヤ残差ブロックｒ_ｂをアップサンプリングし、Ｕ（ｒ_ｂ）をＰに付加してＰ＋Ｕ（ｒ_ｂ）を形成する。
３．タップ［１，２，１］の平滑化フィルタを、最初に水平方向に、次いで垂直方向に適用して、Ｓ（Ｐ＋Ｕ（ｒ_ｂ））を取得する。
４．直前のステップ（３）の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックＲ＝Ｓ（Ｐ＋Ｕ（ｒ_ｂ））＋ｒ_ｅを取得する。

さらに、第４の従来技術の手法は、ＢＤＳ（ビット深度スケーラビリティ）のためのインターレイヤ残差予測の技術を提案するものである。この第４の従来技術の手法では、インターレイヤ残差予測のために逆トーン・マッピングの問題を残差領域からピクセル領域に変換する。インターレイヤ残差予測を用いる場合には、トーン・マッピング補償済み予測とベース・レイヤからのアップサンプリング残差の合計に逆トーン・マッピングを適用する。インターレイヤ残差予測を用いるときには、デコーダにおいて以下のステップを行い、再構築されたビデオ・ブロックを取得する。
１．エンハンスメント・レイヤ・リファレンスフレームを用いて予測ブロックＰを取得し、次いでＰをベース・レイヤ・ビット深度にトーン・マッピングしてＴ（Ｐ）を取得する。
２．対応するベース・レイヤ残差ブロックｒ_ｂを空間的にアップサンプリングし、Ｕ（ｒ_ｂ）をＰに付加してＴ（Ｐ）＋Ｕ（ｒ_ｂ）を形成する。
３．フィルタを使用して、Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ））を取得する。
４．次いで、逆トーン・マッピングを適用して、Ｔ^−１（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））を取得する。
５．直前のステップ（４）の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックＲ＝Ｔ^−１（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））＋ｒ_ｅを取得する。

しかしながら、上述の従来技術の解決策は全て不十分である。例えば、第３の従来技術の手法では、トーン・マッピング演算および逆トーン・マッピング演算が欠けているために、エンハンスメント・レイヤとベース・レイヤとにおいて異なるビット深度を扱うことができない。さらに、第４の従来技術の手法に関しては、エンハンスメント・レイヤ予測の正確さにおいて改善の余地がある。

本発明の原理は、従来技術の上記その他の欠点および不都合に対処するものであり、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置を対象とするものである。

本発明の原理の一態様によれば、装置が提供される。この装置は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するエンコーダを有する。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。

本発明の原理の他の一態様によれば、方法が提供される。この方法は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するステップを含む。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。

本発明の原理のさらに他の一態様によれば、装置が提供される。この装置は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを復号するデコーダを有する。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。

本発明の原理のさらに他の一態様によれば、方法が提供される。この方法は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを復号するステップを含む。ここで逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。

本発明の原理の上記その他の特徴、特性および利点は、以下の例示的な実施例の詳細な説明を添付の図面と関連付けて読むことにより明らかになるであろう。

本発明の原理は、以下の例示的な図面によってより理解することができる。

本発明の原理の実施例による、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いる例示的なビデオ・エンコーダを示すブロック図である。 本発明の原理の実施例による、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いる例示的なビデオ・デコーダを示すブロック図である。 本発明の原理の実施例による、オリジナル・リファレンスおよびベース・レイヤ残差情報を用いる平滑リファレンス生成の一例を示すハイレベル・ブロック図である。 本発明の原理の実施例による、ビデオ・エンコーダにおけるビット深度スケーラビリティのためのインターレイヤ残差予測の例示的な方法を示す流れ図である。 本発明の原理の実施例による、平滑参照復号の一例を示すハイレベル・ブロック図である。 本発明の原理の実施例による、ビデオ・デコーダにおけるビット深度スケーラビリティのためのインターレイヤ残差予測の例示的な方法を示す流れ図である。

本発明の原理は、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置を対象とするものである。

本明細書は、本発明の原理を例示するものである。従って、本明細書に明示的には記述または図示していなくても、本発明の趣旨および範囲に含まれる本発明の原理を実現する様々な構成を、当業者なら考案することができることを理解されたい。

本明細書に記載する全ての例および条件に関する表現は、本発明の原理と、当技術分野をさらに進歩させるために発明者（等）が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に列挙した例および条件に限定されるわけではないものと解釈されたい。

さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的な均等物および機能的な均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する将来開発される任意の要素も含まれるものとする。

従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことも理解されたい。

図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置（コントローラ）」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）を黙示的に含むことがある。

従来の、かつ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理との相互作用によっても、あるいは手作業でも実施することができ、インプリメンタ（ｉｍｐｌｅｍｅｎｔｅｒ）が、前後関係から適宜判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。特許請求の範囲によって定義される本発明の原理は、記載した様々な手段が実施する機能を、特許請求の範囲が要求する仕方で組み合わせ、まとめることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

本明細書において、本発明の原理の「一実施例」または「実施例」あるいはその変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも１つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、あるいはそうした表現の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」ならびに「ＡおよびＢの少なくとも１つ」の場合など、「／」、「および／または」ならびに「の少なくとも１つ」の何れかを使用している場合、それは、最初に挙げた選択肢（Ａ）のみを選択すること、２番目に挙げた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを含むものであることを理解されたい。さらに別の例として、「Ａ、Ｂおよび／またはＣ」ならびに「Ａ、ＢおよびＣの少なくとも１つ」の場合には、この表現は、最初に挙げた選択肢（Ａ）のみを選択すること、２番目に挙げた選択肢（Ｂ）のみを選択すること、３番目に挙げた選択肢（Ｃ）のみを選択すること、最初と２番目の選択肢（ＡおよびＢ）のみを選択すること、最初と３番目の選択肢（ＡおよびＣ）のみを選択すること、２番目と３番目の選択肢（ＢおよびＣ）のみを選択すること、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択することを含むものである。当技術分野および関連技術分野の当業者には容易に分かるように、このことは、列挙されている項目の数に応じて拡張することができる。

本発明の原理および従来技術を説明するために、本明細書では低ビット深度および高ビット深度という用語を使用する。これらの用語は、２つの異なるレベルのビット深度定義を定義するためのものである。高ビット深度は、低ビット深度より高いビット深度であることを特徴とするので、相対的な用語である。説明および例示のために、低ビット深度は８ビット、高ビット深度は１０ビットであるものと仮定する。低ビット深度および高ビット深度という、これらの用語の相対的な性質から容易に分かるように、ここで求められる要件は、低ビット深度が高ビット深度未満であるということであり、それ以外の点に関しては、この用語は任意である。従って、例えば、低ビット深度は、４ビットでも６ビットでも、さらには１２ビットでも良い。想定する高ビット深度が低ビット深度より大きいことが唯一の要件であるからである。従って、１２ビットのビット深度を低ビット深度として定義すると仮定した場合には、高ビット深度は、１４ビットや１６ビットなど、１２より大きいその他の任意のビット深度であると考えることができる。ここで、本発明の原理の説明および例示において低ビット深度が８ビットに等しいと仮定する場合には、高ビット深度の要件は、８ビットを超えていれば何ビットでも良いということになる（ここでは説明のために１０ビットを仮定するが、１２ビットや１４ビットのビット深度など、８より大きいその他の任意のビット深度を含むことができる）。低ビット深度と高ビット深度の比較を説明する別の方法は、ベース・レイヤ・ビット深度と、ベース・レイヤ・ビット深度より大きいエンハンスト・レイヤ・ビット深度である。従って、本発明の原理の１つまたは複数の実施例では１０ビット・ピクチャを高ビット深度の例として使用するが、本発明の原理はこれに限定されるわけではなく、従って、本発明の原理で使用する高ビット深度は、１２ビットや１４ビットなど（ただしこれらに限定されない）を含む８より大きいその他の値（１０以外の値）を取ることもできることを、理解されたい。

さらに、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用しても良く、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであっても良い。

さらに、本明細書では、ＭＰＥＧ−４ ＡＶＣ標準のスケーラブル・ビデオ符号化（ＳＶＣ）拡張に関連して本発明の原理の１つまたは複数の実施例について述べるが、本発明の原理は、この拡張および／またはこの標準のみに限定されるわけではなく、従って、本発明の原理の趣旨を維持しながら、その他のビデオ符号化標準および勧告、ならびにそれらの拡張について利用することもできる。

図１を参照すると、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いた例示的なビデオ・エンコーダの全体が、参照番号１００で示されている。ビデオ・エンコーダ１００は、変換器１１０の入力部と信号通信する出力部を有する結合器１０５を含む。変換器１１０の出力部は、量子化器１１５の入力部に信号通信するように接続されている。量子化器１１５の出力部は、エントロピ符号化器１２０の第１の入力部および逆量子化器／逆変換器１２５の入力部に信号通信するように接続されている。逆量子化器／逆変換器１２５の出力部は、結合器１３０の第１の非反転入力部に信号通信するように接続されている。結合器１３０の出力部は、ループ・フィルタ１３５の入力部に信号通信するように接続されている。ループ・フィルタ１３５の出力は、インターレイヤ動き推定またはインターレイヤ動き予測決定を行う装置１４０の入力部に信号通信するように接続されている。装置１４０の出力部は、エントロピ符号化器１２０の第２の入力部および動き補償器１４５の入力部に信号通信するように接続されている。動き補償器１４５の出力部は、結合器１３０の第２の非反転入力部および結合器１０５の反転入力部に信号通信するように接続されている。装置１４０および動き補償器１４５は、装置１３３に含まれる。リファレンス・プロバイダ（ｒｅｆｅｒｅｎｃｅ ｐｒｏｖｉｄｅｒ）２２２は、平滑リファレンス・プロバイダ１５０およびオリジナル・リファレンス・プロバイダ１５５を含む。オリジナル・リファレンス・プロバイダ１５５の出力部は、スイッチ１６０の第１の入力部に信号通信するように接続されている。平滑リファレンス・プロバイダ１５０の出力部は、スイッチ１６０の第２の入力部に信号通信するように接続されている。スイッチ１６０の出力部は装置１３３に信号通信するように接続されており、スイッチ１６０の出力は装置１４０および／または動き補償器１４５に供給されることが可能である。結合器１０５の非反転入力部は、高ビット深度信号を受信するための、ビデオ・エンコーダ１００の入力部として利用することができる。エントロピ符号化器１２０の出力部は、高ビット深度ビット・ストリームを出力するための、ビデオ・エンコーダ１００の出力部として利用することができる。

図２を参照すると、ビット深度スケーラビリティのためにインターレイヤ残差予測を使用する例示的なビデオ・デコーダの全体が、参照番号２００で示されている。ビデオ・デコーダ２００は、逆変換器および逆量子化器２１０の入力部と信号通信するように接続されている第１の出力部を有するエントロピ・デコーダ２０５を含んでいる。逆変換器および逆量子化器２１０の出力部は、結合器２１５の第１の非反転入力部に信号通信するように接続されている。結合器２１５の出力部は、ループ・フィルタ２２０の入力部に信号通信するように接続されている。ループ・フィルタ２２０の第１の出力部は、リファレンス・プロバイダ２２２の入力部に信号通信するように接続されている。リファレンス・プロバイダ２２２は、オリジナル・リファレンス・プロバイダ２３０および平滑リファレンス・プロバイダ２２５を含んでいる。オリジナル・リファレンス・プロバイダ２３０の出力部は、スイッチ２３５の第１の入力部に信号通信するように接続されている。平滑リファレンス・プロバイダ２２５の出力部は、スイッチ２３５の第２の入力部に信号通信するように接続されている。スイッチの出力部は、動き補償器２４０の第１の入力部に接続されている。動き補償器２４０の出力部は、結合器２１５の第２の非反転入力部に信号連絡で接続されている。エントロピ・デコーダ２０５の第２の出力部は、動き補償器２４０の第２の入力部に信号通信するように接続されている。エントロピ・デコーダ２０５の入力部は、高ビット深度ビット・ストリームを受信するための、ビデオ・デコーダ２００の入力部として利用することができる。ループ・フィルタ２２０の第２の出力部は、高ビット深度ピクチャを出力するための、ビデオ・デコーダ２００の出力部として利用することができる。

本発明の原理に従って、発明者等は、逆トーン・マッピングした平滑参照を動き補償の参照フレームとして使用することを提案する。一実施例では、発明者等は、逆トーン・マッピング問題を、インターレイヤ残差予測のために残差領域からピクセル領域に変換する。例示のために、本明細書では、ビット深度スケーラビリティのみを含み、単一ループ復号アーキテクチャを使用する１つまたは複数の実施例について説明する。しかし、本発明の原理はこれらに限定されるわけではなく、従って、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の原理の趣旨を維持したまま、ビット深度スケーラビリティと空間的スケーラビリティなどのスケーラビリティの組合せ、および複数ループ復号アーキテクチャを含むように、本発明の原理を容易に拡張することができることを理解されたい。

発明者等は、代替の平滑参照を動き補償に使用する符号化モードを追加することも提案する。この代替の平滑参照は、エンハンスメント・レイヤの参照フレーム、ならびにベース・レイヤの動きデータおよび残差データを用いて構築される。

図３を参照すると、オリジナル・リファレンスおよびベース・レイヤ残差情報を用いた平滑リファレンスの作成の一例の全体が、参照番号３００で示されている。オリジナル・フレーム・バッファからのエンハンスメント・レイヤ予測ｐ_ｅ３０５をトーン・マッピングして、ｐ_ｂ＝Ｔ（ｐ_ｅ）３１０を取得する。トーン・マッピング・フレームｐ_ｂ３１０は、結合器３１５の第１の非反転入力部に入力される。ベース・レイヤ残差ｒ_ｂ３２０は、結合器３１５の第２の非反転入力部に入力される。結合器３１５の出力は、平滑ベース・レイヤ・フレームｐ_ｂ＋ｒ_ｂ３２５を含む。平滑ベース・レイヤ・フレームｐ_ｂ＋ｒ_ｂ３２５を逆トーン・マッピングして、Ｐ_{ｅ,ｓｍｏｏｔｈ}＝Ｔ^−１（ｐ_ｂ＋ｒ_ｂ）３３０を得る。

本発明の原理の一実施例によるビデオ符号化手順は、以下の通りである。
１．以下のサブステップを用いて、各ブロックごとに代替の参照フレームＲＥＦ_ａｌｔを作成する。
ａ．配列（ｃｏｌｌｏｃａｔｅｄ）ベース・レイヤ・ブロックがイントラ符号化されている場合には、逆トーン・マッピング復号ブロックをコピーする。そうでない場合には、以下のサブステップｂまたはｃの一方を実行する。
ｂ．一実施例では、１０ビット・エンハンスメント・レイヤ・リファレンスピクチャおよびベース・レイヤ・アップサンプリング動きデータを使用して動き補償を実行して、予測ブロックＰを作成する。次いで、Ｐを８ビット・バージョン画像Ｔ（Ｐ）にトーン・マッピングする。
ｃ．他の実施例では、エンハンスメント・レイヤからの８ビット・トーン・マッピング参照ピクチャおよびベース・レイヤからのアップサンプリング動きデータを使用して動き補償を実行して、予測ブロックＴ（Ｐ）を形成する。
ｄ．対応するベース・レイヤ残差フレームｒ_ｂを、Ｕ（ｒ_ｂ）まで空間的にアップサンプリングする。次いで、Ｕ（ｒ_ｂ）をＴ（Ｐ）に付加して、Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）を形成する。
ｅ．フィルタを使用して、Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ））を取得する。
ｆ．次いで、逆トーン・マッピングを適用して、Ｔ^−１（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））を取得する。
２．次いで、ＲＥＦ_ａｌｔを参照フレームとして使用して、動き推定を適用する。動きベクトルｍｖおよび残差ｒ_ｅを符号化して伝送する。

マクロブロック（ＭＢ）レベル・シンタックスにおけるフラグｓｍｏｏｔｈ＿ｒｅｆ＿ｆｌａｇは、この符号化モードを使用していることを示すために使用される。

他の実施例では、この符号化モードをＩＮＴＥＲ符号化プロセスに埋め込み、代替のリファレンスを示すエントリが、エンハンスメント・レイヤのリファレンス・リストにもう１つ追加されるようにすることができる。この実施例では、この符号化モードを使用していることを示すフラグは必要ない。

図４を参照すると、ビデオ・エンコーダにおいてビット深度スケーラビリティのためのインターレイヤ残差予測を行う例示的な方法の全体が、参照番号４００で示されている。この方法４００は、機能ブロック４１５に制御をパスする開始ブロック４０５を含んでいる。機能ブロック４１５は、ベース・レイヤ動きベクトル（ｍｖ）を使用し、制御を機能ブロック４２０にパスする。機能ブロック４２０は、ベース・レイヤ動きベクトルをアップサンプリングし、制御を機能ブロック４２５にパスする。機能ブロック４２５は、現在のブロックに対応する動き補償済みブロックＰを取得し、制御を機能ブロック４３０にパスする。機能ブロック４３０は、動き補償済みブロックに対してトーン・マッピングを実行して低ビット深度予測Ｔ（Ｐ）を取得して、制御を機能ブロック４３５にパスする。機能ブロック４３５は、ベース・レイヤ・テクスチャ残差ｒ_ｂを読み取り、制御を機能ブロック４４０にパスする。機能ブロック４４０は、ベース・レイヤ・テクスチャ残差ｒ_ｂを低ビット深度予測Ｔ（Ｐ）に結合して、平滑参照ピクチャ、すなわちＰ’＝Ｔ（Ｐ）＋ｒ_ｂを取得して、制御を決定ブロック４４５にパスする。決定ブロック４４５は、平滑参照を適用するか否かを判定する。適用する場合には、制御は機能ブロック４５０に移る。そうでない場合には、制御は機能ブロック４５５に移る。

機能ブロック４５０は、平滑参照ピクチャＰ’に平滑フィルタを適用し、制御を機能ブロック４５５にパスする。

機能ブロック４５５は、Ｐ’に対して逆トーン・マッピングを実行して高ビット深度予測Ｔ^−１（Ｐ’）を取得して、制御を機能ブロック４６０にパスする。機能ブロック４６０は、Ｔ’（Ｐ’）をリファレンス（参照）として使用して動き推定を実行して動きベクトル（ｍｖ）およびエンハンスメント残差ｒ_ｅを取得して、制御を終了ブロック４９９にパスする。

図５を参照すると、平滑参照復号の一例の全体が、参照番号５００で示されている。オリジナル・フレーム・バッファ５０５の出力部および平滑フレーム・バッファ５１０の出力部が、結合器５１５の第１の非反転入力部に信号通信するように接続されている。結合器５１５の出力部は、動き補償器５２０の第１の入力部に信号通信するように接続されている。動き補償器５２０の出力部は、結合器５２５の第１の非反転入力部に信号通信するように接続されている。結合器５１５の第２の非反転入力部は、ｓｍｏｏｔｈ＿ｒｅｆ＿ｆｌａｇを受信するための、平滑参照復号５００の入力部として利用することができる。動き補償器５２０の第２の入力部は、動きベクトルを受信するための、平滑参照復号５００の入力部として利用することができる。結合器５２５の第２の非反転入力部は、エンハンスメント・レイヤ残差を受信するための、平滑参照復号５００の入力部として利用することができる。結合器５２５の出力部は、再構築ブロックＲを出力するための、平滑参照復号５００の出力部として利用することができる。オリジナル・フレーム・バッファ５０５および平滑フレーム・バッファ５１０は、メモリ５７７に含まれる。オリジナル・フレーム・バッファ５０５および平滑フレーム・バッファ５１０の両方を単一のメモリ５７７に関して示しているが、これらのバッファ５０５および５１０は、別個のメモリに記憶することもできる。このような変形形態およびその他の変形形態は、本発明の原理の趣旨に含まれる。

本発明の原理の一実施例によるビデオ復号手順は、以下の通りである。
１．以下のサブステップを用いて、各ブロックごとに代替の参照フレームＲＥＦ_ａｌｔを作成する。
ａ．配列ベース・レイヤ・ブロックがイントラ符号化されている場合には、逆トーン・マッピング復号ブロックをコピーする。そうでない場合には、以下のサブステップｂまたはｃの一方を実行する。
ｂ．一実施例では、１０ビット・エンハンスメント・レイヤ・リファレンスピクチャおよびベース・レイヤ・アップサンプリング動きデータを使用して動き補償を実行して、予測ブロックＰを作成する。次いで、Ｐを８ビット・バージョン画像Ｔ（Ｐ）にトーン・マッピングする。
ｃ．他の実施例では、エンハンスメント・レイヤからの８ビット・トーン・マッピング参照ピクチャおよびベース・レイヤからのアップサンプリング動きデータを使用して動き補償を実行して、予測ブロックＴ（Ｐ）を形成する。
ｄ．対応するベース・レイヤ残差フレームｒ_ｂを、Ｕ（ｒ_ｂ）まで空間的にアップサンプリングする。次いで、Ｕ（ｒ_ｂ）をＴ（Ｐ）に付加して、Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）を形成する。
ｅ．フィルタを使用して、Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ））を取得する。
ｆ．次いで、逆トーン・マッピングを適用して、Ｔ^−１（Ｓ（Ｔ（Ｐ）＋Ｕ（ｒ_ｂ）））を取得する。
２．次いで、動き補償を適用してＭＣ（ＲＥＦ_ａｌｔ，ｍｖ）を取得する。ここで、ｍｖは動きベクトルである。
３．直前のステップ（２）の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックＲ＝ＭＣ（ＲＥＦ_ａｌｔ，ｍｖ）＋ｒ_ｅを取得する。

図６を参照すると、ビデオ・デコーダにおいてビット深度スケーラビリティのためにインターレイヤ残差予測を行う例示的な方法の全体が、参照番号６００で示されている。この方法６００は、制御を機能ブロック６１５にパスする開始ブロック６０５を含んでいる。機能ブロック６１５は、ベース・レイヤ動きベクトル（ｍｖ）を読み取り、エントロピ復号して、制御を機能ブロック６２０にパスする。機能ブロック６２０は、ベース・レイヤ動きベクトル（ｍｖ）をアップサンプリングして、制御を機能ブロック６２５にパスする。機能ブロック６２５は、動き補償済みブロックＰを取得して、制御を機能ブロック６３０にパスする。機能ブロック６３０は、Ｐに対してトーン・マッピングを実行して低ビット深度予測Ｔ（Ｐ）を取得して、制御を機能ブロック６３５にパスする。機能ブロック６３５は、ベース・レイヤ・テクスチャ残差ｒ_ｂを読み取り、エントロピ復号し、制御を機能ブロック６４０にパスする。機能ブロック６４０は、ベース・レイヤ・テクスチャ残差ｒ_ｂを低ビット深度予測Ｔ（Ｐ）に結合して平滑参照ピクチャすなわちＰ’＝Ｔ（Ｐ）＋ｒ_ｂを取得して、制御を決定ブロック６４５にパスする。決定ブロック６４５は、平滑参照フラグが真であるか否かを判定する。真である場合には、制御は機能ブロック６５０にパスされる。そうでない場合には、制御は機能ブロック６５５にパスされる。

機能ブロック６５０は、平滑参照ピクチャＰ’に平滑フィルタを適用し、制御を機能ブロック６５５にパスする。

機能ブロック６５５は、Ｐ’に逆トーン・マッピングを実行して高ビット深度予測Ｔ^−１（Ｐ’）を取得して、制御を機能ブロック６６０にパスする。機能ブロック６６０は、動きベクトル（ｍｖ）およびエンハンスメント・レイヤ残差ｒ_ｅを読み取り、エントロピ復号し、制御を機能ブロック６６５にパスする。機能ブロック６６５は、動き補償を実行してブロックＲ’を取得して、機能ブロック６７０に移行する。機能ブロック６７０は、高ビット深度予測Ｔ^−１（Ｐ’）をエンハンスメント・レイヤ残差ｒ_ｅに結合することによって得られた現在のブロックの再構築ブロックＲ、すなわちＲ＝Ｔ^−１（Ｐ’）＋ｒ_ｅを生成し、制御を終了ブロック６９９にパスする。

一部については上記で述べたが、本発明に付属する多数の利点／特性の一部を次に説明する。例えば、１つの利点／特性は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するエンコーダを有する装置である。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。

他の利点／特性は、上述のエンコーダを有する装置であって、このエンコーダは、エンハンスメント・レイヤ・リファレンスを用いた動き補償を実行してエンハンスメント・レイヤ予測を生成し、エンハンスメント・レイヤ予測をベース・レイヤ・リファレンスにトーン・マッピングしてトーン・マッピング予測を生成し、上記部分のベース・レイヤ残差をトーン・マッピング予測に結合して平滑ベース・レイヤ・リファレンスを取得し、平滑ベース・レイヤ・リファレンスを逆トーン・マッピングして逆トーン・マッピング予測を生成することによって、上記インターレイヤ残差予測を生成する装置である。エンコーダは、逆トーン・マッピング予測を用いた動き推定および動き補償を実行して動きベクトルを取得し、動きベクトルならびに逆トーン・マッピング予測と入力ピクチャとの間の誤差を符号化して伝送する。

さらに他の利点／特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、この動き補償をエンハンスメント・レイヤ・リファレンスおよびベース・レイヤ・アップサンプリング動きデータを用いて実行してエンハンスメント・レイヤ予測を生成する装置である。このエンハンスメント・レイヤ・リファレンスはベース・レイヤ・リファレンスと同じビット深度を有する。

さらに他の利点／特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、この動き補償をエンハンスメント・レイヤ・リファレンスおよびベース・レイヤ・アップサンプリング動きデータを用いて実行してエンハンスメント・レイヤ予測を生成する装置である。このエンハンスメント・レイヤ・リファレンスはベース・レイヤ・リファレンスより大きいビット深度を有する。

さらに、他の利点／特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、空間的にアップサンプリングされたベース・レイヤ残差をトーン・マッピング予測に結合して平滑ベース・レイヤ・リファレンスを取得する装置である。

さらに、他の利点／特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、マクロブロック・レベル・シンタックスのフラグを使用して、インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す装置である。

また、他の利点／特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、平滑ベース・レイヤ・リファレンスを指すエントリがエンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを既存のインター・モードに埋め込んだ状態で送信する装置である。

本発明の原理の上記その他の特性および利点は、本明細書の教示に基づいて、当業者であれば容易に確かめることができる。これらの本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの様々な組合せの形態で実施することができる。

本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、１つまたは複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、および入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。

さらに、添付の図面に示す構成要素となるシステム構成要素および方法の一部は、ソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。

本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲に含まれる。

Claims (20)

1. トーン・マッピングしたエンハンスメント・レイヤ参照フレームをベース・レイヤ残差に結合させて平滑ベース・レイヤ参照フレームを生成し、ビット深度スケーラビリティのためにピクセル領域において実行される前記平滑ベース・レイヤ参照フレームについての逆トーン・マッピング演算を用いることにより、フレームの少なくとも一部分に関する逆トーン・マッピングしたインターレイヤ残差予測を生成することによって、前記部分のフレーム・データを符号化するエンコーダを有する装置であって、
   前記逆トーン・マッピング演算が行われる領域が残差領域から前記ピクセル領域にシフトされる、前記装置。
2. 前記エンコーダは、トーン・マッピングしていないエンハンスメント・レイヤ参照フレームを用いた動き補償を実行してエンハンスメント・レイヤ予測を生成し、前記エンハンスメント・レイヤ予測をベース・レイヤ参照フレームにトーン・マッピングしてトーン・マッピング予測を生成し、前記部分に関する前記ベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得し、前記平滑ベース・レイヤ参照フレームを逆トーン・マッピングすることによって、前記逆トーン・マッピングしたインターレイヤ残差予測を生成し、前記エンコーダは、前記逆トーン・マッピングしたインターレイヤ残差予測を用いた動き推定および動き補償を実行して動きベクトルを取得し、前記動きベクトルならびに前記逆トーン・マッピングしたインターレイヤ残差予測と前記フレームとの間の誤差を符号化して伝送する、請求項１に記載の装置。
3. 前記動き補償を前記エンハンスメント・レイヤ参照フレームおよびベース・レイヤ・アップサンプリング動きデータを用いて実行して前記エンハンスメント・レイヤ予測を生成し、前記エンハンスメント・レイヤ参照フレームは前記ベース・レイヤ参照フレームと同じビット深度を有している、請求項２に記載の装置。
4. 前記ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、前記空間的にアップサンプリングされたベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得する、請求項２に記載の装置。
5. マクロブロック・レベル・シンタックスのフラグを使用して、前記インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す、請求項２に記載の装置。
6. 前記平滑ベース・レイヤ参照フレームを指すエントリが前記エンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、前記インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを既存のインター・モードに埋め込んだ状態で送信する、請求項２に記載の装置。
7. トーン・マッピングしたエンハンスメント・レイヤ参照フレームをベース・レイヤ残差に結合させて平滑ベース・レイヤ参照フレームを生成し、ビット深度スケーラビリティのためにピクセル領域において実行される前記平滑ベース・レイヤ参照フレームについての逆トーン・マッピング演算を用いることにより、フレームの少なくとも一部分に関する逆トーン・マッピングしたインターレイヤ残差予測を生成することによって、前記部分のフレーム・データを符号化するステップを含む方法であって、
   前記逆トーン・マッピング演算が行われる領域が残差領域から前記ピクセル領域にシフトされる、前記方法。
8. 前記逆トーン・マッピングしたインターレイヤ残差予測の生成が、
   トーン・マッピングしていないエンハンスメント・レイヤ参照フレームを用いた動き補償を実行してエンハンスメント・レイヤ予測を生成するステップと、
   前記エンハンスメント・レイヤ予測をベース・レイヤ参照フレームにトーン・マッピングしてトーン・マッピング予測を生成するステップと、
   前記部分に関する前記ベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得するステップと、
   前記平滑ベース・レイヤ参照フレームを逆トーン・マッピングするステップとを含み、
   前記符号化するステップが、
   前記逆トーン・マッピングしたインターレイヤ残差予測を用いて動き推定および動き補償を実行して動きベクトルを取得するステップと、
   前記動きベクトルならびに前記逆トーン・マッピングしたインターレイヤ残差予測と前記フレームとの間の誤差を符号化して伝送するステップとをさらに含む、請求項７に記載の方法。
9. 前記動き補償を前記エンハンスメント・レイヤ参照フレームおよびベース・レイヤ・アップサンプリング動きデータを用いて実行して前記エンハンスメント・レイヤ予測を生成し、前記エンハンスメント・レイヤ参照フレームは前記ベース・レイヤ参照フレームと同じビット深度を有する、請求項８に記載の方法。
10. 前記ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、前記空間的にアップサンプリングされたベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得する、請求項８に記載の方法。
11. マクロブロック・レベル・シンタックスのフラグを使用して、前記インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す、請求項８に記載の方法。
12. 前記平滑ベース・レイヤ参照フレームを指すエントリが前記エンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードが、既存のインター・モードに埋め込んだ状態で送信される、請求項８に記載の方法。
13. 前記動き補償を前記エンハンスメント・レイヤ参照フレームおよびベース・レイヤ・アップサンプリング動きデータを用いて実行して前記エンハンスメント・レイヤ予測を生成し、前記エンハンスメント・レイヤ参照フレームは前記ベース・レイヤ参照フレームと同じビット深度を有する、請求項８に記載の方法。
14. 前記ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、前記空間的にアップサンプリングされたベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得する、請求項８に記載の方法。
15. マクロブロック・レベル・シンタックスのフラグを使用して、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す、請求項８に記載の方法。
16. 前記平滑ベース・レイヤ参照フレームを指すエントリが前記エンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードが、既存のインター・モードに埋め込んだ状態で受信される、請求項８に記載の方法。
17. 前記動き補償を前記エンハンスメント・レイヤ参照フレームおよびベース・レイヤ・アップサンプリング動きデータを用いて実行して前記エンハンスメント・レイヤ予測を生成し、前記エンハンスメント・レイヤ参照フレームは前記ベース・レイヤ参照フレームと同じビット深度を有する、請求項２に記載の装置。
18. 前記ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、前記空間的にアップサンプリングされたベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得する、請求項２に記載の装置。
19. マクロブロック・レベル・シンタックスのフラグを使用して、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す、請求項２に記載の装置。
20. 前記平滑ベース・レイヤ参照フレームを指すエントリが前記エンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードが、既存のインター・モードに埋め込んだ状態で受信される、請求項２に記載の装置。
    

Images