[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5722468B2 - ビデオコーディングにおける量子化パルスコード変調 - Google Patents

ビデオコーディングにおける量子化パルスコード変調 Download PDF

Info

Publication number
JP5722468B2
JP5722468B2 JP2013557720A JP2013557720A JP5722468B2 JP 5722468 B2 JP5722468 B2 JP 5722468B2 JP 2013557720 A JP2013557720 A JP 2013557720A JP 2013557720 A JP2013557720 A JP 2013557720A JP 5722468 B2 JP5722468 B2 JP 5722468B2
Authority
JP
Japan
Prior art keywords
video data
bit depth
samples
quantization step
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013557720A
Other languages
English (en)
Other versions
JP2014511649A (ja
Inventor
ソル・ロジャルス、ジョエル
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014511649A publication Critical patent/JP2014511649A/ja
Application granted granted Critical
Publication of JP5722468B2 publication Critical patent/JP5722468B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

優先権の主張
本出願は、その全体が参照により本明細書に組み込まれる、2011年3月4日に出願された米国仮出願第61/449,413号の利益を主張する。
本開示は、ビデオコーディングに関し、より詳細には、ビデオデータの量子化パルスコード変調(PCM:pulse code modulation)のための技法に関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,Advanced Video Coding(AVC)によって定義された規格、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および/または時間的予測を含む。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスはブロックに区分され得る。各ブロックはさらに区分され得る。イントラコード化(I)フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに関する空間的予測を使用して符号化される。インターコード化(PまたはB)フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに関する空間的予測、あるいは他の参照フレーム中の参照サンプルに関する時間的予測を使用し得る。空間的予測または時間的予測は、コーディングされるべきブロックについての予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。
[0005]インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され得、次いで量子化され得る残差変換係数を生じる。最初は2次元アレイに構成される量子化された変換係数は、エントロピーコーディングのために変換係数の1次元ベクトルを生成するために、特定の順序で走査され得る。
[0006]概して、本開示では、量子化パルスコード変調(PCM)を使用したビデオコーディングのためのデバイスおよび方法について説明する。量子化PCMは、いくつかの状況では、ひずみがコード化ビデオに加算され得るようにビデオサンプルを量子化するステップを含む。このようにして、量子化PCMを用いてコーディングされたビデオブロックは、インター予測コーディングまたはイントラ予測コーディングなど、他の非可逆圧縮(lossy compression)技法を用いてコーディングされた隣接するビデオブロックとより均一に見える。
[0007]ビデオエンコーダは、たとえば、量子化されたサンプルをPCMコーディングするより前に、まず、量子化ステップを用いて入力ビデオサンプルを量子化し得る。量子化ステップは、概して、ビデオにひずみを加算し、量子化されたPCMコード化サンプルの出力ビット深度を定義する。この量子化ステップおよび/または出力ビット深度は、符号化ビデオビットストリーム中でデコーダにシグナリングされ得る。一例として、出力ビット深度の指示が、4ビットシンタックス要素として符号化ビットストリームのシーケンスヘッダ中に含まれ得る。
[0008]ビデオデコーダは、別の例として、量子化されたPCMコード化ビデオサンプルを含む符号化ビデオビットストリームを受信し得る。これらのサンプルは、最初に、パルスコード復調を使用して復号され、次いで、ビデオを符号化するために使用されるのと同じ量子化ステップを用いて逆量子化される。一例として、ビデオデコーダは、符号化ビデオビットストリームからこの量子化ステップを抽出し得る。
[0009]一例では、本開示では、出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングすることを備える、ビデオデータをコーディングするための方法について説明する。量子化パルスコード変調は、出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータのブロックのサンプルを量子化することと、量子化されたサンプルをパルスコード変調することとを含む。本開示ではまた、パルスコード復調を使用してビデオデータのコード化ブロックのサンプルを復号することと、量子化ステップに従って、復号されたサンプルを逆量子化することとを備える、ビデオデータを復号するための方法について説明する。
[0010]別の例では、本開示では、ビデオデータをコーディングするように構成された装置について説明する。本装置は、出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングするように構成されたビデオ符号化ユニットを含む。ビデオコーディングユニットは、出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータのブロックのサンプルを量子化するように構成された量子化ユニットと、パルスコード変調を使用して、量子化されたサンプルをコーディングするように構成された変調ユニットとを含む。本開示ではまた、ビデオデータを復号するように構成された装置について説明する。本装置は、出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータのコード化ブロックのサンプルを復号するように構成されたビデオ復号ユニットを含む。ビデオ復号ユニットは、パルスコード復調を使用してビデオデータのコード化ブロックのサンプルを復号するように構成された復調ユニットと、量子化ステップに従って、復号されたサンプルを逆量子化するように構成された逆量子化ユニットとを含む。
[0011]別の例では、本開示では、実行されたとき、出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングすることを、ビデオをコーディングするためのデバイスのプロセッサに行わせる命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品について説明する。量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングするための命令は、出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータのブロックのサンプルを量子化することと、量子化されたサンプルをパルスコード変調することとを行うための命令を含む。本開示ではまた、出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータのコード化ブロックのサンプルを復号するための命令を含むビデオデータを復号するためのコンピュータプログラム製品について説明する。ビデオデータのブロックのサンプルを復号するための命令は、パルスコード復調を使用してビデオデータのコード化ブロックのサンプルを復号することと、量子化ステップに従って、復号されたサンプルを逆量子化することとを行うための命令を含む。
[0012]本発明の1つまたは複数の実施形態の詳細を添付の図面および以下の説明に記載する。本発明の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。
例示的なビデオ符号化および復号システムを示すブロック図。 例示的なビデオエンコーダを示すブロック図。 ビデオエンコーダの例示的な量子化PCMユニットを示すブロック図。 シーケンスヘッダをもつ例示的な符号化ビデオビットストリームを示す図。 例示的なビデオデコーダを示すブロック図。 ビデオデコーダの例示的な量子化PCM復号ユニットを示すブロック図。 例示的な符号化プロセスを示すフローチャート。 例示的な復号プロセスを示すフローチャート。
[0021]デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信および受信するためのビデオ圧縮技法を実装する。ビデオ圧縮は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(すなわち、フレーム内)予測および/または時間的(すなわち、フレーム間)予測技法を適用し得る。
[0022]高効率ビデオコーディング(HEVC)規格に従うビデオコーディングでは、ビデオフレームが、コーディングユニットと、予測ユニットと、変換ユニットとに区分され得る。コーディングユニットは、概して、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く画像領域を指す。コーディングユニットは、一般に方形であり、たとえば、ITU−T H.264などの他のビデオコーディング規格の下でのいわゆるマクロブロックと同様であると見なされ得る。コーディングユニットは、4分木区分(quadtree partitioning)スキームに従って、ますます小さいコーディングユニットに区分され得る。
[0023]より良好なコーディング効率を達成するために、コーディングユニットは、ビデオコンテンツに応じて可変サイズを有し得る。さらに、コーディングユニットは、予測または変換のためにより小さいブロックに分割され得る。具体的には、各コーディングユニットは、予測ユニットと変換ユニットとにさらに区分され得る。予測ユニットは、他のビデオコーディング規格の下でのいわゆるマクロブロックパーティションと同様であると見なされ得る。変換ユニットは、変換係数を生成するために変換が適用される残差データのブロックを指す。
[0024]コーディングユニットは、通常、Yとして示される1つのルミナンス成分と、UおよびVとして示される2つのクロマ成分とを有する。ビデオサンプリングフォーマットに応じて、サンプル数で表されるUおよびV成分のサイズは、Y成分のサイズと同じであるかまたはそれとは異なり得る。
[0025]ブロック(たとえば、ビデオデータの予測ユニット)をコーディングするために、ブロックの予測子が最初に導出される。予測子は、イントラ(I)予測(すなわち、空間的予測)またはインター(PまたはB)予測(すなわち、時間的予測)のいずれかを通して導出され得る。したがって、いくつかの予測ユニットは、同じフレーム中の隣接参照ブロックに関する空間的予測を使用してイントラコーディング(I)され得、他の予測ユニットは、他のフレーム中の参照ブロックに関してインターコーディング(PまたはB)され得る。
[0026]予測子が識別されると、元のビデオデータブロックとそれの予測子との間の差分が計算される。この差分は、予測残差とも呼ばれ、コーディングされるべきブロック中のピクセルと、参照ブロック、すなわち、予測子との間のピクセル差分を指す。より良好な圧縮を達成するために、予測残差は、概して、たとえば、離散コサイン変換(DCT)、整数変換、カルーネンレーベ(Karhunen-Loeve)(K−L)変換、または他の変換を使用して変換され得る。
[0027]変換は、空間領域におけるピクセル差分値を、変換領域、たとえば、周波数領域における変換係数に変換する。変換係数は、通常、各変換ユニットのための2次元(2D)アレイに配列される。さらなる圧縮のために、変換係数は量子化され得る。次いで、エントロピーコーダが、量子化された変換係数に、エントロピーコーディング、それぞれコンテキスト適応型可変長コーディング(CAVLC:Context Adaptive Variable Length Coding)、コンテキスト適応型バイナリ算術コーディング(CABAC:Context Adaptive Binary Arithmetic Coding)などを適用する。
[0028]場合によっては、上記で説明した技法を使用するときに、ビデオエンコーダがデータコンプレッサではなくデータエキスパンダとして働くことが可能である。エンコーダは、概して、大部分のビデオコンテンツに対して極めて良好な圧縮を達成するが、変換領域において非定型コンテンツを含んでいるビデオフレームの分離部分(isolated parts)は大量の符号化データを生成し得る。したがって、あるビデオコンテンツでは、エンコーダは、ビデオデータを圧縮する目的を果たさないことがあり、代わりに、過剰なデータを生成することがある。これらの場合では、予測コーディングの代わりにパルスコード変調(PCM)コーディングを適用することによって、ビデオエンコーダが全体的なビデオ圧縮を改善し得る。PCMコーディングは、通常、予測ベース圧縮なしにビデオデータの個々のサンプルを符号化する可逆コーディングプロセスである。
[0029]MPEG−2ビデオコーディング規格は、一例として、ビデオデータの符号化されたマクロブロックのために生成され得るコード化ビットの数に対する上限を指定する。上限は、マクロブロック復号のために取得され、次いで処理される特定のデータ量を指定することによって、デコーダ設計を助ける。この上限を上回るコーディングビットの生成はMPEG−2デコーダ設計と矛盾することになる。
[0030]ITU−T H.264/MPEG−4 AVC規格(以下H.264)によって指定されたイントラPCMモードでは、エンコーダは、予測、変換コーディング、およびエントロピーコーディングなしにマクロブロックのサンプル値を送信する。すなわち、マクロブロックのためのイントラPCMモードでは、エンコーダは、たとえば、サンプル当たり8ビットを使用して、単にマクロブロックの領域中のピクセル値を符号化する。エンコーダは、未加工バイト値としてPCM符号化ピクセル値を生成する。イントラPCMモードは、エンコーダが、複雑な計算なしに各マクロブロックのビット数を所定の値またはそれ以下に調整することを可能にする。
[0031]H.264におけるイントラPCMモードコーディングの使用はマクロブロックモードシンタックス要素によって示される。イントラPCMモードコーディングが使用されるとき、各関連するマクロブロックのサンプル値は、予測、変換コーディング、およびエントロピーコーディングなしに送信される。エントロピーコーディングがコンテキスト適応型バイナリ算術コーディング(CABAC)であるとき、バイナリ算術コーディング(BAC)は、サンプル値を送信するより前に終了され、初期化されることに留意されたい。
[0032]HEVCの現在のモデルは、H.264におけるイントラPCMに匹敵するツールを有しない。1つの問題は、HEVCの特性がH.264の特性とは異なるということである。H.264では、データ量は、16×16ピクセルのサイズを有するマクロブロックレベルにおいて制限される。対照的に、HEVCは、64×64ピクセルまでの、または場合によってはより大きいコーディングユニットおよび予測ユニットを有する。したがって、ユニット当たりのデータ量を制限する制約は、実際に発見された、いくつかのネットワーク要件を満たすために、H.264の場合よりもHEVCのほうが高い。
[0033]H.264におけるイントラPCMモードの別の問題は、それが可逆であるということである。可逆コーディングの場合、符号化データはデコーダ側において完全再構成を有する。したがって、完全に無ひずみのマクロブロックは、そうではない不可逆の符号化フレーム中に現れることがある。これは、可逆(lossless)データと隣接する不可逆(lossy)データとの間の視覚的差異により、視覚的に衝撃的であるか、または少なくとも視覚的に顕著であり得る。
[0034]HEVCのさらに別の問題は、それが8ビット、10ビット、12ビットまたはさらに大きいビット深度のコンテンツをサポートし得るということである。したがって、サンプル当たり12ビットの64×64コーディングユニット(またはより大きい)のシグナリングは、PCMモードのための望ましくないデータ量を生じ得る。
[0035]本開示は、H.264およびHEVC規格に従って定義されるビデオコーディングプロセスなど、ビデオコーディングプロセスにおいて使用する量子化PCMモードの概念を導入する。量子化PCMモードでは、ビデオエンコーダは、PCMコーディングの適用より前に入力ピクセルのブロックを量子化する。同様に、ビデオデータが量子化PCMモードを使用してコーディングされると、ビデオデコーダは、最初にコード化ビデオデータをパルス復調し、次いで逆量子化を適用することになる。コーディングユニット(HEVC)、予測ユニット(HEVC)、変換ユニット(HEVC)、マクロブロック(H.264)、およびパーティション(H.264)を、本開示では概してブロックと呼ぶ。
[0036]量子化PCMモードは2つの目的をサポートし得る。第1に、量子化PCMコーディングは、エンコーダが、異なるレベル、プロファイル、フレームレート、量子化パラメータ(QP)、解像度など、異なる状況におけるコーディングユニットのための最大データ量に対するフレキシブルな制限を指定することを可能にし得る。そのような制限がない場合、PCMコーディングは、ブロックのための利用可能なコーディングビットのレベルに勝ることがある。このフレキシビリティは、出力ビット深度、したがってPCMコード化ビデオデータのために生成される最大データ量を制御するようにコンテキスト固有量子化ステップを適用することによって達成され得る。第2に、PCMプロセスに損失を導入することによって、量子化PCMコーディングは、簡単な方法で不可逆(lossy)部分と可逆(lossless)部分との両方を含むビデオフレームの望ましくない視覚的外観を低減または除去し得る。
[0037]図1は、本開示の例による量子化パルスコード変調/復調のための技法を利用するように構成され得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、通信チャネル16を介して符号化ビデオを宛先デバイス14に送信するソースデバイス12を含む。符号化ビデオはまた、記憶媒体34またはファイルサーバ36に記憶され得、必要に応じて宛先デバイス14によってアクセスされ得る。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆるスマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、多種多様なデバイスのいずれかを備え得る。多くの場合、そのようなデバイスはワイヤレス通信が可能であり得る。したがって、通信チャネル16は、符号化ビデオデータの送信に好適なワイヤレスチャネル、ワイヤードチャネル、またはワイヤレスチャネルとワイヤードチャネルとの組合せを備え得る。同様に、ファイルサーバ36は、インターネット接続を含む任意の標準データ接続を介して宛先デバイス14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、またはその両方の組合せを含み得る。
[0038]本開示の例による、量子化パルスコード変調/復調のための技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0039]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、変調器/復調器22と、送信機24とを含む。ソースデバイス12において、ビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
[0040]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は、ワイヤレス通信プロトコルなどの通信規格に従ってモデム22によって変調され、送信機24を介して宛先デバイス14に送信され得る。モデム22は、信号変調のために設計された様々なミキサ、フィルタ、増幅器または他の構成要素を含み得る。送信機24は、増幅器、フィルタ、および1つまたは複数のアンテナを含む、データを送信するために設計された回路を含み得る。
[0041]ビデオエンコーダ20によって符号化された、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオはまた、後で消費するために記憶媒体34またはファイルサーバ36に記憶され得る。記憶媒体34は、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、または符号化ビデオを記憶するための他の好適なデジタル記憶媒体を含み得る。記憶媒体34に記憶された符号化ビデオは、次いで、復号および再生のために宛先デバイス14によってアクセスされ得る。
[0042]ファイルサーバ36は、符号化ビデオを記憶することと、その符号化ビデオを宛先デバイス14に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、ローカルディスクドライブ、または符号化ビデオデータを記憶することと、符号化ビデオデータを宛先デバイスに送信することとが可能な他のタイプのデバイスを含む。ファイルサーバ36からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。ファイルサーバ36は、インターネット接続を含むいずれかの標準データ接続を通して宛先デバイス14によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル(たとえば、Wi−Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデム、イーサネット(登録商標)、USBなど)、またはその両方の組合せを含み得る。
[0043]図1の例では、宛先デバイス14は、受信機26と、モデム28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。宛先デバイス14の受信機26はチャネル16を介して情報を受信し、モデム28はその情報を復調して、ビデオデコーダ30のための復調されたビットストリームを生成する。チャネル16を介して通信される情報は、ビデオデータを復号する際にビデオデコーダ30が使用する、ビデオエンコーダ20によって生成された様々なシンタックス情報を含み得る。そのようなシンタックスはまた、記憶媒体34またはファイルサーバ36に記憶された符号化ビデオデータとともに含まれ得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、ビデオデータを符号化または復号することが可能であるそれぞれのエンコーダデコーダ(コーデック)の一部を形成し得る。
[0044]ディスプレイデバイス32は、宛先デバイス14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス32は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0045]図1の例では、通信チャネル16は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル16は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信チャネル16は、概して、ワイヤード媒体またはワイヤレス媒体の任意の好適な組合せを含む、ビデオデータをソースデバイス12から宛先デバイス14に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル16は、ソースデバイス12から宛先デバイス14への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0046]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中の高効率ビデオコーディング(HEVC)規格などのビデオ圧縮規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4,Part10,Advanced Video Coding(AVC)と呼ばれるITU−T H.264規格、またはそのような規格の拡張など、他のプロプライエタリまたは業界標準に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。他の例には、MPEG−2およびITU−T H.263がある。
[0047]図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットはITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0048]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法がソフトウェアで部分的に実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0049]ビデオエンコーダ20は、ビデオ符号化プロセスにおいて量子化PCMモードを使用するために本開示の技法のいずれかまたはすべてを実装し得る。同様に、ビデオデコーダ30は、ビデオ復号プロセスにおいて量子化PCMモードを使用するためにこれらの技法のいずれかまたはすべてを実装し得る。本開示で説明するビデオコーダは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオエンコーダおよびビデオデコーダは、それぞれビデオ符号化ユニットおよびビデオ復号ユニットと呼ばれることがある。同様に、ビデオコーディングはビデオ符号化またはビデオ復号を指し得る。
[0050]図2は、本開示で説明するビデオコーディングプロセスにおける量子化PCMモードのための技法を使用し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20について、例示のためにHEVCコーディングのコンテキストにおいて説明するが、量子化PCMモードから恩恵を受け得る他のコーディング規格または方法に関して本開示を限定するものではない。量子化PCMビデオコーディングに加えて、ビデオエンコーダ20は、ビデオフレーム内のコーディングユニットのイントラコーディングおよびインターコーディングを実行し得る。
[0051]イントラコーディングは、所与のビデオフレーム内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの現在のフレームと前にコーディングされたフレームとの間の時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのビデオ圧縮モードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースのビデオ圧縮モードのいずれかを指し得る。
[0052]図2に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、量子化PCMユニット47と、参照フレームバッファ64と、加算器50と、変換ユニット52と、変換量子化ユニット54と、エントロピーコーディングユニット56とを含む。図2に示す変換ユニット52は、残差データのブロックに実際の変換を適用するユニットであり、CUの変換ユニット(TU)と呼ばれることもある変換係数のブロックと混同されるべきでない。ビデオブロック再構成のために、ビデオエンコーダ20はまた、変換逆量子化ユニット58と、逆変換ユニット60と、加算器62とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ(図2に図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。
[0053]符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロック、たとえば、最大コーディングユニット(LCU)に分割され得る。動き推定ユニット42および動き補償ユニット44は、時間圧縮を行うために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対する受信したビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット46は、空間圧縮を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する受信したビデオブロックのイントラ予測コーディングを実行し得る。量子化PCMユニット47は、本開示の技法に従って、入力ビデオブロックに対して量子化PCMコーディングを実行する。
[0054]モード選択ユニット40は、たとえば、各モードについての誤差(すなわち、ひずみ)および/または圧縮結果に基づいて、コーディングモードのうちの1つ、すなわちイントラ、インターまたは量子化PCMを選択し得る。インターモードまたはイントラモードが選択された場合、モード選択ユニット40は、残差ブロックデータを生成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器50に与え、参照フレーム中で使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器62に与え得る。いくつかのビデオフレームはIフレームに指定され得、Iフレーム中のすべてのブロックはイントラ予測モードで符号化される。場合によっては、たとえば、動き推定ユニット42によって実行された動き探索によって得られたブロックの予測が不十分であったとき、イントラ予測ユニット46は、PフレームまたはBフレーム中のブロックのイントラ予測符号化を実行し得る。
[0055]動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照フレームの参照サンプルに対する、現在のフレーム中の予測ユニットの変位を示し得る。参照サンプルは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされているPUを含むCUの部分にぴったり一致することがわかるブロックであり得る。動き補償ユニット44によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ユニットの値をフェッチまたは生成することを伴い得る。
[0056]動き推定ユニット42は、予測ユニットを参照フレームバッファ64に記憶された参照フレームの参照サンプルと比較することによってインターコード化フレームの予測ユニットの動きベクトルを計算する。いくつかの例では、ビデオエンコーダ20は、参照フレームバッファ64に記憶された参照フレームのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照フレームの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を計算し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。動き推定ユニット42は、計算された動きベクトルをエントロピーコーディングユニット56と動き補償ユニット44とに送る。動きベクトルによって識別される参照フレームの部分は参照サンプルと呼ばれることがある。動き補償ユニット44は、たとえば、PUの動きベクトルによって識別される参照サンプルを取り出すことによって、現在CUの予測ユニットについての予測値を計算し得る。
[0057]イントラ予測ユニット46は、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測コーディングの代替として、受信ブロックに対してイントラ予測符号化を実行し得る。イントラ予測ユニット46は、隣接する、前にコーディングされたブロック、たとえば、ブロックについての左から右へ、上から下への符号化順序を仮定すると、現在ブロックの上、右上、左上、または左のブロックに対して受信ブロックを符号化し得る。イントラ予測ユニット46は多種多様なイントラ予測モードで構成され得る。たとえば、イントラ予測ユニット46は、符号化されているCUのサイズに基づいて、一定数の方向性予測モード、たとえば、33個の方向性予測モードで構成され得る。
[0058]イントラ予測ユニット46は、たとえば、様々なイントラ予測モードの誤差値を計算し、最も低い誤差値を生じるモードを選択することによって、イントラ予測モードを選択し得る。方向性予測モードは、PUのための予測ブロックの1つまたは複数のピクセルを形成するために、空間的に隣接するピクセルの値を合成し、その合成された値を適用するための機能を含み得る。PU中のすべてのピクセル位置の値が計算されると、イントラ予測ユニット46は、PUと予測ブロックとの間のピクセル差分に基づいて予測モードの誤差値を計算し得る。イントラ予測ユニット46は、許容できる誤差値を生じるイントラ予測モードが発見されるまでイントラ予測モードをテストし続け得る。イントラ予測ユニット46は、次いで、PUを加算器50に送り得る。
[0059]ビデオエンコーダ20は、コーディングされている元のビデオブロックから、動き補償ユニット44またはイントラ予測ユニット46によって計算された予測データを減算することによって残差ブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。残差ブロックはピクセル差分値の2次元行列に対応し得、残差ブロック中の値の数は、残差ブロックに対応するPU中のピクセルの数と同じである。残差ブロック中の値は、PU中のコロケートピクセルの値と、コーディングされるべき元のブロック中のコロケートピクセルの値との間の差分、すなわち、誤差に対応し得る。差分は、コーディングされるブロックのタイプに応じてクロマ差分またはルーマ差分になり得る。
[0060]変換ユニット52は、残差ブロックから1つまたは複数の変換ユニット(TU)を形成し得る。変換ユニット52は、離散コサイン変換(DCT)、方向性変換、または概念的に同様の変換などの変換をTUに適用して、変換係数を備えるビデオブロックを生成する。変換ユニット52は、得られた変換係数を変換量子化ユニット54に送り得る。変換量子化ユニット54は、次いで、その変換係数を量子化し得る。次いで、エントロピー符号化ユニット56は、指定された走査順序に従って行列中の量子化された変換係数の走査を実行して、1次元アレイを生成し得る。本開示では、エントロピーコーディングユニット56が走査を実行するものとして説明する。ただし、他の例では、変換量子化ユニット54などの他の処理ユニットが走査を実行することができることを理解されたい。エントロピー符号化ユニット56は、次いで、変換係数の1Dアレイをエントロピー符号化してエントロピーコード化ビットストリームを生成する。
[0061]エントロピー符号化ユニット56は、走査された係数にCAVLCまたはCABACなどのエントロピーコーディングを適用し得る。さらに、エントロピーコーディングユニット56は、動きベクトル(MV)情報と、ビデオデコーダ30においてビデオデータを復号する際に有用な様々なシンタックス要素のいずれかとを符号化し得る。ビデオデコーダ30は、これらのシンタックス要素を使用して符号化ビデオデータを再構成し得る。エントロピーコーディングユニット56によるエントロピーコーディングの後に、得られた符号化ビデオは、ビデオデコーダ30などの別のデバイスに送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
[0062]変換逆量子化ユニット58および逆変換ユニット60は、たとえば、参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット44は、残差ブロックを参照フレームバッファ64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、参照フレームバッファ64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0063]量子化PCMユニット47は、量子化PCMモードが選択されると、モード選択ユニット40からビデオブロック(たとえば、コーディングユニット)を受信する。上記で説明したように、量子化PCMモードは、他のコーディングモード(たとえば、イントラ予測コーディングまたはインター予測コーディング)がビデオフレームの1つまたは複数のコーディングユニットのためのデータコンプレッサではなく、データエキスパンダとして働くであろうと決定されたときに選択され得る。たとえば、モード選択ユニット40は、ブロックに対する様々なコーディングモードをテストし、それらのモードが所望のレートひずみメトリックを満たすか否かを決定し得る。あるコーディングモードが、ひずみの所望の最大量を達成するために割り振られるべき大量のコーディングビットを生じることをテストが示す場合、モード選択ユニット40は量子化PCMモードを選択し得る。したがって、上記で説明したように、ビデオブロックに対して予測技法を実行するのではなく、エンコーダは、量子化PCMユニット47を使用してブロックの各サンプル(すなわち、ピクセル)に対して量子化PCMコーディングプロセスを実行し、ビデオデータの符号化ビットストリーム中でそれらの量子化PCMコード化ブロックを送信することになる。
[0064]PCMコーディングの使用は、符号化ビデオビットストリーム中でビデオデコーダにシグナリングされ得る。PCMコーディングが使用されたことを示すために、予測ユニットレベルにおいてPCMフラグ(pcm_flag)がシグナリングされ得る。予測モードがイントラであり、パーティションサイズが2N×2Nであり、ブロックサイズが最小PCMブロックサイズよりも大きいかまたはそれに等しい場合、pcm_flagはシグナリングされる。pcm_flagが1に等しい場合、いくつかの0ビットは、(たとえば、バイトアラインメントを有するために)次のバイトの開始までパディングするためにビットストリーム中でシグナリングされ得ることに留意されたい。PCMコーディングに関する追加のシンタックス要素は、シーケンスパラメータセット(SPS)中でシグナリングされ得る。たとえば、シンタックス要素は、ピクセルのルーマ成分とクロマ成分の両方(たとえば、pcm_bit_depth_luma_minus1とpcm_bit_depth_chroma_minus1)のためのPCMビット深度(または量子化ステップ)を示す。
[0065]図3に、本開示の一態様による量子化PCMユニット47のブロック図を示す。上述のように、本開示は、ビデオデータのブロック中で量子化PCMコーディングをビデオサンプル(すなわち、ピクセル)に適用するための技法を提示する。量子化PCMコーディングは、PCMコーディングの前に量子化ステップを導入することによって達成され得る。このコンテキストでは、量子化は圧縮プロセスであり、したがって、あるビット深度m(たとえば、10ビットによって表されるピクセルデータ)における入力値が、より小さいビット深度n(たとえば、6ビット)をもつ出力値にマッピングされる。したがって、入力ビット深度mは出力ビット深度nよりも大きい。このプロセスは、本質的に、入力値のいくつかを丸めることを伴い、したがって、圧縮に損失を導入する。
[0066]図3に示すように、ビデオサンプルは、量子化PCMユニット47によって受信され、最初に量子化ユニット49によって量子化される。この場合、ビデオサンプルの量子化は、量子化されたPCMコード化ビデオの最終的な出力ビット深度を定義する。そのような「ピクセル領域」量子化(すなわち、ビット深度を定義すること)は、ピクセルの入力値を量子化するために使用され得、図2に示した変換量子化ユニット54などによって、残差変換係数を量子化するために一般に使用される「変換領域」量子化パラメータ(QP)とは異なることを理解されたい。入力サンプルは、出力ビット深度を定義するためにこのピクセル領域量子化ステップを使用して量子化ユニット49によって量子化され得る。図5〜図6を参照しながらより詳細に論じるように、デコーダは、量子化ステップと丸めオフセットとを使用してコード化サンプルを逆量子化し得る。丸めオフセットは、ビットストリーム中でエンコーダによって指定されるか、または量子化ステップのちょうど半分(または量子化ステップの何らかの他の指定された部分)になるように課され得る。
[0067]量子化ステップ選択ユニット53は、量子化ステップを選択するように構成され得る。代替的に、量子化ステップユニット49は所定の量子化ステップを使用するように構成され得る。所定の量子化ステップが量子化ステップ選択メモリ55に記憶され得る。量子化ステップ選択ユニット53は、量子化PCMプロセスによってコーディングされるべきビデオデータのブロックの特性、または量子化PCMプロセスによってコーディングされるべきビデオデータのブロックの空間的に近くのビデオデータのブロックの特性を含む、様々な基準のいずれかに基づいて量子化ステップを選択し得る。
[0068]たとえば、量子化ステップは、所与のブロックに対して許可される最大データ量を満たす符号化ビデオデータを生成するために選択され得る。より高い量子化ステップ、したがってより小さい出力ビット深度は、より低いデータサイズの量子化PCMコード化データを生じることになる。逆に、より低い量子化ステップ、したがってより大きい出力ビット深度は、より高いデータサイズの量子化PCMコード化データを生じることになる。したがって、量子化ステップは、出力ビット深度を定義する選択可能なパラメータであり得る。量子化ステップは、出力ビット深度自体のフォーマットであり得るか、または量子化を実行するために使用される右シフトの数として示され得、量子化は、次いで、ある出力ビット深度において、量子化されたPCMコード化ビデオサンプルを生じる。以下でより詳細に説明するように、出力ビット深度および/または量子化ステップは、デコーダが量子化ステップおよび/または出力ビット深度を受信し、コード化ビットストリーム中でPCMビデオデータを復号し得るように、符号化ビットストリーム中で示され得る。
[0069]別の例として、量子化ステップは、PCMコード化ビデオデータと、空間的に近くのブロック中の予測コーディングによって生成された不可逆データとの間の外観の差を低減するために選択され得る。特に、量子化ステップは、PCMコード化ビデオデータによって提示されるひずみの量が予測コード化ビデオデータによって提示されるひずみの量と同様であるように選択され得る。ひずみの量は、たとえば、予測コード化ビデオデータのための変換量子化ユニット54によって使用される量子化パラメータ(QP)に基づいて、エンコーダ20によって明示的に決定されるか、または推定され得る。
[0070]量子化ステップを選択するために量子化ステップ選択ユニット53によって使用され得る他の基準は、フレーム空間解像度、適切なコーディングユニットのための量子化(QP)、適切なコーディングユニットのコーディング構造、フレームレート、フレームタイプ(たとえば、イントラ(I)またはインター(PまたはB)フレーム)、入力データ、内部データまたは出力データのビット深度、特定のビデオアプリケーション、あるいは適切なビデオシーケンスが符号化されるレベルまたはプロファイルを含む。
[0071]PCMブロックの所望の品質は特定のフレームの全体的な品質に関係する。フレームの品質(たとえば、フレームタイプ、ビット深度)が良好であるほど、PCMモードについてより良好な品質が望まれる。また、解像度が極めて大きく、PCMブロックが小さい場合、その逆の場合よりも視覚的影響がはるかに少ない。一例として、ビデオ会議アプリケーションのためのビデオは、一般に、DVDのためのビデオよりもPCMの品質が低い。また、PCMに費やされるビットを低減することがビデオ会議おいて大いに必要である。これらの基準の組合せを考慮することは、単一の基準を考慮することよりも良い結果をもたらし得る。
[0072]これらの例の各々では、量子化ステップは、量子化ステップ選択ユニット53によって実行されるアルゴリズムに基づいて選択され得る。別の例として、異なるコンテキスト状況に適した複数の所定の量子化ステップは、量子化ステップ選択ユニット53によってアクセスされ得る量子化ステップ選択メモリ55に記憶され得る。
[0073]一例では、量子化ユニット49は、単に入力データを右シフトすることによってビデオサンプルに対して量子化を実行し得る。右シフト量子化プロセスでは、事実上、入力サンプル(すなわち、ピクセル)の各々の最下位ビットを落とす。この例では、量子化ステップは、右シフトの量を示す整数として、量子化ステップ選択ユニット53によって量子化ユニット49に与えられ得る。たとえば、入力データの2だけの右シフトは4による除算と同じである。8ビットピクセル入力の場合、入力データの2だけの右シフトは、75%低い最大データ量を暗示し、すなわち、サンプル当たり8ビットからサンプル当たり6ビットになる。別の例では、右シフトを適用する前に、ピクセル値にオフセットが加算される。別の例では、量子化ユニット49によって実行される量子化(または右シフト)は、入力ビデオサンプルのビット深度に基づき得る。入力ビデオサンプルのビット深度が大きくなるほど、顕著なアーティファクトなしにそれはより多く量子化され得る。したがって、量子化ステップ選択ユニット53は、10ビット入力データに対し、8ビット入力データの量子化ステップよりも大きい量子化ステップを選択するように構成され得る。
[0074]量子化の後に、パルスコード変調ユニット51は量子化ビデオサンプルをパルスコード変調する。H.264のための従来のイントラPCMモードは、符号化ビットストリームに圧縮されていないピクセルのデジタル値を単に受け渡す。したがって、H.264のためのイントラPCMは可逆(lossless)である。本開示によれば、パルスコード変調ユニット51は、量子化(すなわち、不可逆(lossy)圧縮の形態)の後にビデオサンプルのデジタル値を変調する。したがって、量子化ステップ選択ユニット53によって選択された量子化ステップは、パルスコード変調ユニットによってコーディングされたビデオサンプルの出力ビット深度を定義する。上述のように、いくつかの状況では、量子化ステップは、出力ビット深度自体のフォーマットであり得るか、または出力ビット深度を定義する右シフトの数として示され得る。
[0075]出力ビット深度、丸めオフセット、および/または量子化ステップは、符号化ビットストリーム中でシンタックス要素としてエンコーダによってシグナリングされ得る。このコンテキストでは、符号化ビットストリーム中でシンタックス要素をシグナリングすることは、エンコーダからデコーダへのそのような要素のリアルタイム送信を必要とするのではなく、そのようなシンタックス要素がビットストリーム中に符号化され、任意の方法でデコーダにとってアクセス可能にされることを意味する。これは、(たとえば、ビデオ会議における)リアルタイム送信、ならびに(たとえば、ストリーミング、ダウンロード、ディスクアクセス、カードアクセス、DVD、ブルーレイなどにおける)デコーダによる将来の使用のために符号化ビットストリームをコンピュータ可読媒体に記憶することを含み得る。上述のように、量子化ステップは、出力ビット深度自体を示し得るか、または入力ビデオサンプルを量子化するために実行された右シフトの数を表し得る。出力ビット深度または量子化ステップのいずれかは、符号化データを復号するために、デコーダが適切なプロセスを適用するためにデコーダにシグナリングされ得る。
[0076]一例では、量子化ステップは、エンコーダとデコーダの両方によってすべての状況のために使用される所定の値であり得る。別の例では、上記で説明したように、量子化ステップ選択ユニット53は、入力ビデオブロックおよび/または周囲のビデオブロックの特性に基づいて量子化ステップを決定し得る。デコーダは、量子化ステップを選択するためにエンコーダによって使用されるのと同じ特性に基づいて、量子化PCMコード化ビデオデータの量子化ステップのある値を推測し得る。
[0077]別の例として、出力ビット深度および/または量子化ステップは、符号化ビットストリーム中でデコーダにシグナリングされ得る。さらに、丸めオフセットは、ビットストリーム中でエンコーダによって指定され得るか、または量子化ステップの半分(または量子化ステップの何らかの他の指定された分数(fraction))になるようにあらかじめ決定され得る。出力ビット深度、丸めオフセット、および/または量子化ステップをシグナリングするための1つの方法は、量子化PCMサンプルのビット深度を示すシンタックス要素を符号化することによるものである。図3に、符号化ビットストリーム中で、選択された量子化ステップを符号化する量子化ステップ選択ユニット53を示す。ただし、このプロセスは、量子化ユニット49、パルスコード変調ユニット51、あるいは量子化PCMユニット47またはエンコーダ20の別のユニットによって達成され得る。
[0078]別の例では、シンタックス要素は、シーケンスヘッダ、シーケンスパラメータセットレベル(たとえば、ピクチャパラメータセットレベル)において送られるか、スライスレベルにおいて送られるか、または符号化ビットストリーム中の他のシンタックスレベルにおいて送られ得る。図4に、シーケンスヘッダをもつ例示的な符号化ビデオビットストリームを示す。シーケンスヘッダ67は、量子化PCM符号化ビデオの出力ビット深度を示すビット深度シンタックス要素65を含む。一例として、ビット深度シンタックス要素65は、1ビットから16ビットまでのビット深度低減または拡張を示す4ビットシンタックス要素であり得る。出力ビット深度を示すために任意の長さのシンタックス要素が選択され得ることに留意されたい。図4の例では、シンタックス要素65は、符号化されたサンプルの出力ビット深度、したがって、デコーダにおいて続くプロセスを示す。シンタックス要素はまた、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはスライスヘッダ中でシグナリングされ得る。
[0079]別の例では、量子化ステップ自体(たとえば、右シフトの数)は、エンコーダによってデコーダにシグナリングされるか、シーケンスヘッダにおいてシグナリングされるか、フレームヘッダにおいてシグナリングされるか、またはコーディングユニット、予測ユニットまたはブロックのためのPCMモードのシグナリングの直後にシグナリングされ得る。量子化PCMモードがフレーム中で選択された第1のブロックについてPCMモードがシグナリングされると、エンコーダはビットストリーム中で量子化ステップをシグナリングし得る。フレーム中の量子化PCMモードブロックの残りは、フレーム中の第1のPCMモードブロックについてシグナリングされるのと同じ量子化ステップをとることになる。
[0080]別の例では、フレーム中で遭遇する後続の量子化PCMモードブロックは、ベースライン量子化ステップからそのブロックのために使用される量子化ステップのデルタをシグナリングし得る。いくつかの例では、ベースライン量子化は、量子化PCMモードが使用された前のブロックにおいて使用される量子化ステップであり得る。この例では、ベースライン量子化ステップは、量子化PCMが使用された第1のブロックについてビットストリーム中でシグナリングされる第1の量子化ステップであろう。次いで、フレーム中の後続のPCMモードブロックの各々のための量子化ステップは、前にシグナリングされた量子化ステップに対するデルタ値としてシグナリングされ得る。
[0081]したがって、フレームまたはスライス中の各PCMモードブロックは、ブロックについて個別に明示的にシグナリングされる量子化ステップを有するか、フレームまたはスライス中の第1のPCMモードブロックについて初めにシグナリングされるのと同じ量子化ステップを共有するか、またはフレームまたはスライス中の第1のPCMモードブロックについて初めにシグナリングされる量子化ステップに対するデルタによってシグナリングされる量子化ステップを有し得る。
[0082]説明しやすいように別個の機能的ユニットとして示されているが、量子化ユニット49、パルスコード変調ユニット51、量子化ステップ選択ユニット53、および量子化ステップ選択メモリ55の構造および機能は互いに高度に統合され得ることに留意されたい。
[0083]図5は、符号化ビデオシーケンスを復号するビデオデコーダ30の一例を示すブロック図である。図5の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、量子化PCM復号ユニット71と、動き補償ユニット72と、イントラ予測ユニット74と、逆変換量子化ユニット76と、逆変換ユニット78と、参照フレームバッファ82と、加算器80とを含む。ビデオデコーダ30は、いくつかの例では、図2を参照しながら説明したビデオエンコーダ20に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信した動きベクトルに基づいて予測データを生成し得る。イントラ予測ユニット74は、シグナリングされたイントラ予測モードと、現在フレームの前に復号されたブロックからのデータとに基づいて、現在フレームの現在ブロックについての予測データを生成し得る。
[0084]いくつかの例では、エントロピー復号ユニット70(または逆変換量子化ユニット76)は、ビデオエンコーダ20のエントロピー符号化ユニット56(または変換量子化ユニット54)によって使用された走査順序をミラーリングする走査を使用して受信値を走査し得る。係数の走査は逆変換量子化ユニット76において実行され得るが、走査については、例示のために、エントロピー復号ユニット70によって実行されるものとして説明する。さらに、説明しやすいように別個の機能ユニットとして示されているが、ビデオデコーダ30のエントロピー復号ユニット70、逆変換量子化ユニット76、および他のユニットの構造および機能は互いに高度に統合され得る。
[0085]エントロピー復号ユニット70は、変換係数の1Dベクトルを変換係数の2Dアレイに変換するために走査順序を適用するように構成され得る。エントロピー復号ユニット70は、走査順序の逆を使用して1Dベクトルを2Dアレイに走査する。エントロピー復号ユニット70によって生成された変換係数の2Dアレイは、量子化され得、変換係数の1Dベクトルを生成するためにビデオエンコーダ20のエントロピー符号化ユニット56によって走査された変換係数の2Dアレイに概して一致し得る。
[0086]逆変換量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、たとえば、HEVCのために提案されたプロセスまたはH.264復号規格によって定義されたプロセスと同様の、従来のプロセスを含み得る。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、コーディングユニットについてビデオエンコーダ20によって計算される量子化パラメータの使用を含み得る。逆変換量子化ユニット76は、係数が1Dベクトルから2Dアレイに変換される前または変換された後のいずれかに変換係数を逆量子化し得る。
[0087]逆変換ユニット78は、逆変換、たとえば、逆DCT、逆整数変換、逆KLT、逆回転変換、逆方向性変換、または別の逆変換を適用する。いくつかの例では、逆変換ユニット78は、ビデオエンコーダ20からのシグナリングに基づいて、あるいはブロックサイズ、コーディングモードなどの1つまたは複数のコーディング特性から変換を推論することによって、逆変換を決定し得る。いくつかの例では、逆変換ユニット78は、現在ブロックを含む最大コーディングユニットのための4分木のルートノードにおけるシグナリングされた変換に基づいて、現在ブロックに適用すべき変換を決定し得る。いくつかの例では、逆変換ユニット78はカスケード逆変換を適用し得る。
[0088]動き補償ユニット72は動き補償ブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行する。サブピクセル精度をもつ動き推定に使用されるべき補間フィルタの識別子は、シンタックス要素中に含まれ得る。動き補償ユニット72は、ビデオブロックの符号化中にビデオエンコーダ20によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償ユニット72は、受信されたシンタックス情報に従って、ビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0089]動き補償ユニット72およびイントラ予測ユニット74は、HEVCの例では、(たとえば、4分木によって与えられる)シンタックス情報の一部を使用して、符号化ビデオシーケンスの(1つまたは複数の)フレームを符号化するために使用される最大コーディングユニットのサイズと、符号化ビデオシーケンスのフレームの各コーディングユニットがどのように分割されるか(および、同様に、サブコーディングユニットがどのように分割されるか)を記述する分割情報と、各分割がどのように符号化されるかを示すモード(たとえば、イントラ予測またはインター予測、およびイントラ予測の場合はイントラ予測符号化モード)と、各インター符号化予測ユニットについての1つまたは複数の参照フレーム(および/またはそれらの参照フレームの識別子を含んでいる参照リスト)と、符号化ビデオシーケンスを復号するための他の情報とを決定し得る。
[0090]加算器80は、残差ブロックを、動き補償ユニット72またはイントラ予測ユニット74によって生成される対応する予測ブロックと合成して、復号ブロックを形成する。また、所望される場合、ブロッキネスアーティファクトを除去するために、デブロッキングフィルタを適用して、復号ブロックをフィルタ処理し得る。復号ビデオブロックは、次いで、参照フレームバッファ82に記憶され、参照フレームバッファ82は、参照ブロックを後続の動き補償に与え、また、(図1のディスプレイデバイス32などの)ディスプレイデバイス上での提示のために復号ビデオを生成する。
[0091]量子化PCM復号ユニット71は、量子化PCMモードがエンコーダ20によって使用されたときに符号化ビデオを復号するように構成される。量子化PCM復号ユニット71は、最初に、符号化ビデオをパルスコード復調する。次に、量子化PCM復号ユニット71は、符号化プロセスにおいて使用されるのと同じ量子化ステップと丸めオフセットとを使用して、パルスコード復調されたビデオを逆量子化する。量子化ステップは、符号化ビデオビットストリーム中で直接シグナリングされ得るか、または符号化ビデオビットストリーム中でシグナリングされる出力ビット深度から推測され得る。
[0092]図6に、量子化PCM復号ユニット71の一例を示すブロック図を示す。量子化PCM復号ユニットは、パルスコード復調ユニット73と、逆量子化ステップユニット75と、量子化ステップ選択ユニット77と、量子化ステップ選択メモリ79とを含み得る。説明しやすいように別個の機能的ユニットとして示されているが、パルスコード復調ユニット73、逆量子化ステップユニット75、量子化ステップ選択ユニット77、および量子化ステップ選択メモリ79の構造および機能は互いに高度に統合され得ることに留意されたい。
[0093]初めに、パルスコード復調ユニット73は量子化PCM符号化ビデオをパルスコード復調する。このステップは、エンコーダによって適用されたパルスコード変調を本質的に逆転させる。次に、逆量子化ユニット75は、ビデオを符号化するために使用されるのと同じ量子化ステップならびに丸めオフセットを使用して、復調されたビデオを逆量子化する。
[0094]量子化ステップ選択ユニット77は、符号化ビットストリームから出力ビット深度および/または量子化ステップを示すシンタックス要素を取り出し得る。一例として、図4に示したように、出力ビット深度は、1ビットから16ビットまでのビット深度低減または拡張を示す4ビットシンタックス要素としてシグナリングされ得る。別の例では、出力ビット深度は、間接的ではなく、明示的にシグナリングされ得る。代替的に、デコーダは、フレーム空間解像度(spatial resolution)、適切なコーディングユニットのための量子化(QP)、適切なコーディングユニットのコーディング構造、またはフレームタイプ(たとえば、イントラ(I)またはインター(PまたはB)フレーム)、入力データ、内部データまたは出力データのビット深度、特定のビデオアプリケーション、あるいは適切なビデオシーケンスが符号化されるレベルまたはプロファイルなど、量子化ステップを選択するためにエンコーダによって使用されるのと同じ基準またはビデオ特性に基づいて、PCMサンプルの量子化ステップのある値を推測し得る。別の例として、量子化ステップ選択ユニット77は、量子化ステップ選択メモリ79に記憶された所定の量子化ステップに単にアクセスし得る。
[0095]シグナリングされた、所定の、または推測された量子化ステップが与えられれば、逆量子化ユニット75は、その量子化ステップと、シグナリングされた、推測された、または所定の丸めオフセットとを使用して逆量子化を実行し得る。逆量子化を実行するために、逆量子化ユニット75は、単に、ビット(すなわち、エンコーダにおいて使用される右シフトの数に等しい左シフトの数)を復調されたサンプルに加算し、選択された丸めオフセットを適用して、復号されたビデオを生成し得る。
[0096]図7は、例示的な符号化プロセスを示すフローチャートである。方法100は、図2〜図4を参照しながら上記で説明した量子化PCMコーディングプロセスに従ってビデオのブロックを符号化する。方法100では、ビデオエンコーダ20が、出力ビット深度を定義するために量子化ステップを選択する(120)。この出力ビット深度に基づいて、ビデオエンコーダ20は量子化PCM符号化を実行する(121)。量子化PCM符号化の第1のステップは、選択された量子化ステップに従ってビデオデータのブロックのサンプルを量子化することである(122)。ステップ122は、ビデオデータのブロックのサンプルをある数だけ右シフトすることによってビデオデータのブロックのサンプルを量子化することを含み得、右シフトの数が量子化ステップに基づく。次に、ビデオエンコーダ20は、量子化されたサンプルをパルスコード変調する(124)。オプションのステップとして、ビデオエンコーダ20はまた、出力ビット深度の指示を生成し、符号化ビデオビットストリーム中でその指示をシグナリングする(126)。
[0097]上記で説明したように、出力ビット深度は定義可能なパラメータである。その点において、それは、量子化プロセスのために使用される量子化ステップの選択によって定義され得る。量子化ステップは、所定の値であり得るか、またはビデオデータの1つまたは複数の特性に基づいて選択され得る。別の例として、量子化ステップは、PCMコード化ビデオデータと、予測コーディングによって生成された不可逆データとの間の外観の差を低減するために選択され得る。特に、量子化ステップは、PCMコード化ビデオデータによって提示されるひずみの量が予測コード化ビデオデータによって提示されるひずみの量と同様であるように選択され得る。ひずみの量は、たとえば、予測コード化ビデオデータのための変換量子化ユニット54によって使用される量子化パラメータ(QP)に基づいて、明示的に決定されるか、または推定され得る。量子化ステップを選択するために使用され得る他の基準および特性は、フレーム空間解像度、適切なコーディングユニットのための量子化(QP)、適切なコーディングユニットのコーディング構造、フレームレート、フレームタイプ(たとえば、イントラ(I)またはインター(PまたはB)フレーム)、入力データ、内部データまたは出力データのビット深度、特定のビデオアプリケーション、あるいは適切なビデオシーケンスが符号化されるレベルまたはプロファイルを含む。量子化ステップは、ビデオデータの複数のブロックに共通であり得るか、またはビデオデータの各個々のブロックのために選択され得る。
[0098]ステップ126は、出力ビット深度および/または量子化ステップ自体の指示を生成し、符号化ビデオデータのビットストリーム中でその指示をシグナリングし得る。出力ビット深度および/または量子化ステップの指示は、デコーダが量子化プロセスを逆にすることを可能にする。特に、出力ビット深度は、1ビットから16ビットまでのビット深度低減または拡張を示す4ビットシンタックス要素としてシーケンスヘッダ中でシグナリングされ得る。さらに、ステップ126はまた、デコーダが逆量子化プロセスをどのように実行するかを示すためにビデオビットストリーム中で丸めオフセットをシグナリングし得る。個々の量子化ステップがビデオデータの異なるブロックのために使用される場合、エンコーダ20はベース量子化ステップに対するデルタ値として個々の量子化ステップを表し得る。
[0099]図8は、例示的な復号プロセスを示すフローチャートである。方法150は、図5および図6を参照しながら上記で説明した量子化PCM復号プロセスに従ってビデオのブロックを復号する。方法150では、ビデオデコーダ30が、最初に量子化ステップを決定する(160)。次に、ビデオデコーダは量子化PCM復号プロセス161を実行する。量子化PCM復号プロセスは、パルスコード復調を用いて符号化ビデオブロック復号することを含む(162)。次に、決定された量子化ステップと丸めオフセットとを使用して、ビデオデコーダ30は、復調されたビデオブロックを逆量子化する。
[0100]ステップ160では、量子化ステップは、あらかじめ選択された値を使用することによって決定されるか、出力ビットストリーム中で出力ビット深度および/または量子化ステップの指示を受信することによって決定されるか、または符号化プロセスにおいて量子化ステップを選択するのと同じ方法でビデオデータ自体の特性から決定され得る。
[0101]1つまたは複数の例では、本開示において説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、コンピュータ可読命令またはコードの形態のソフトウェアを実行する1つまたは複数のプロセッサなど、ハードウェアベースの処理ユニットによって実行され得る。そのような命令またはコードは、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形、非一時的媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0102]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROMまたは光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイスを含む、他の固体、光学または磁気データ記憶媒体、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、有形コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)(登録商標)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
[0103]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素において完全に実装され得る。
[0104]本開示の技法は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆるスマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、多種多様なデバイスまたは装置によって実行され得る。多くの場合、そのようなデバイスはワイヤレス通信が可能であり得る。さらに、そのような技法は、集積回路(IC)またはICのセット(たとえば、チップセット)によって実装され得る。本開示の技法を実行するように構成されたデバイスは、前述のデバイスのいずれかを含み得、場合によっては、ビデオエンコーダまたはビデオデコーダ、あるいはハードウェア、ソフトウェア、およびファームウェアの組合せによって形成され得る複合ビデオエンコーダデコーダ、すなわち、ビデオコーデックであり得る。本開示では、開示した技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて説明することがあるが、それらの構成要素、モジュール、またはユニットを必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0105]本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1] ビデオデータをコーディングするための方法であって、前記方法は、
出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングすること、
を備える方法。
[2] 出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記ブロックのサンプルをコーディングすることは、
前記出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータの前記ブロックの前記サンプルを量子化することと、
前記量子化されたサンプルをパルスコード変調することと、
を備える[1]に記載の方法。
[3] 前記出力ビット深度は定義可能なパラメータである、[2]に記載の方法。
[4] 前記出力ビット深度を定義するために前記量子化されたサンプルのための前記量子化ステップを選択すること、
をさらに備える[3]に記載の方法。
[5] 前記量子化ステップを選択することは、前記ビデオデータの1つまたは複数の特性に基づいて前記量子化ステップを選択することを備える、[4]に記載の方法。
[6] 量子化ステップに従ってビデオデータの前記ブロックの前記サンプルを量子化することは、ビデオデータの前記ブロックの前記サンプルの右シフトの数を備え、前記右シフトの数は前記量子化ステップに基づく、[2]に記載の方法。
[7] 量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングすることは、
共通の量子化ステップに従ってビデオデータの複数のブロックのサンプルを量子化することと、
ビデオデータの前記複数のブロック中で前記量子化されたサンプルをパルスコード変調することと、
を備える[1]に記載の方法。
[8] 量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングすることは、
第1の量子化ステップに従ってビデオデータの第1のブロックのサンプルを量子化することと、
前記第1の量子化ステップとは異なる第2の量子化ステップに従ってビデオデータの第2のブロックのサンプルを量子化することと、
ビデオデータの前記第1のブロックおよび前記第2のブロック中で前記量子化されたサンプルをパルスコード変調することと、
を備える[1]に記載の方法。
[9] 前記第1の量子化ステップと前記第2の量子化ステップとをベース量子化ステップに対するデルタ値として表すこと
をさらに備える[8]に記載の方法。
[10] 前記出力ビット深度の指示を生成することと、前記指示を符号化ビットストリーム中に含めることと、
をさらに備える[1]に記載の方法。
[11] 前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含めること、
さらに備える[10]に記載の方法。
[12] ビデオデータの前記コード化ブロックを含む符号化ビットストリーム中に丸めオフセットの指示を含めること、
をさらに備える[10]に記載の方法。
[13] ビデオデータのコード化ブロックを復号するための方法であって、前記方法は、
出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータの前記コード化ブロックのサンプルを復号すること、
を備える方法。
[14] 出力ビット深度に従ってビデオデータのブロックのサンプルを復号することは、
パルスコード復調を使用してビデオデータの前記コード化ブロックの前記サンプルを復号することと、
量子化ステップに従って前記復号されたサンプルを逆量子化することと、
を備える[13]に記載の方法。
[15] 前記量子化ステップは前記出力ビット深度に基づく、[14]に記載の方法。
[16] 前記復号されたサンプルを逆量子化することは、
前記量子化ステップと丸めオフセットとに従って前記復号されたサンプルを逆量子化すること、を備える[15]に記載の方法。
[17] ビデオデータの前記コード化ブロックを含む符号化ビットストリームから、前記出力ビット深度と、前記量子化ステップと、前記丸めオフセットとのうちの少なくとも1つを受信すること、をさらに備える[16]に記載の方法。
[18] ビデオデータの前記コード化ブロックの1つまたは複数の特性に基づいて前記量子化ステップを決定すること、をさらに備える[14]に記載の方法。
[19] ビデオデータをコーディングするように構成された装置であって、前記装置は、
出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングするように構成されたビデオ符号化ユニット、
を備える装置。
[20] 前記ビデオ符号化ユニットは、
前記出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータの前記ブロックの前記サンプルを量子化するように構成された量子化ユニットと、
パルスコード変調を使用して前記量子化されたサンプルをコーディングするように構成された変調ユニットと、
を備える[19]に記載の装置。
[21] 前記出力ビット深度は定義可能なパラメータである、[20]に記載の装置。
[22] 前記ビデオコーディングユニットは、前記出力ビット深度を定義するために前記量子化されたサンプルのための前記量子化ステップを選択するようにさらに構成された、[21]に記載の装置。
[23] 前記ビデオ符号化ユニットは、前記ビデオデータの1つまたは複数の特性に基づいて前記量子化ステップを選択するように構成された、[22]に記載の装置。
[24] 前記量子化ユニットは、ビデオデータの前記ブロックの前記サンプルの右シフトの数を使用してビデオデータの前記ブロックの前記サンプルを量子化するように構成され、右シフトの前記数は前記量子化ステップに基づく、[20]に記載の装置。
[25] 前記ビデオ符号化ユニットは、
共通の量子化ステップに従ってビデオデータの複数のブロックのサンプルを量子化するように構成された量子化ユニットと、
ビデオデータの前記複数のブロック中でパルスコード変調を使用して前記量子化されたサンプルをコーディングするように構成された変調ユニットと、
を備える[19]に記載の装置。
[26] 前記ビデオ符号化ユニットは、
第1の量子化ステップに従ってビデオデータの第1のブロックのサンプルを量子化し、前記第1の量子化ステップとは異なる第2の量子化ステップに従ってビデオデータの第2のブロックのサンプルを量子化するように構成された量子化ユニットと、
パルスコード変調を使用してビデオデータの前記第1のブロックおよび前記第2のブロック中で前記量子化されたサンプルをコーディングするように構成された変調ユニットと、
を備える[19]に記載の装置。
[27] 前記ビデオ符号化ユニットは、前記第1の量子化ステップと前記第2の量子化ステップとをベース量子化ステップに対するデルタ値として表すようにさらに構成された、[26]に記載の装置。
[28] 前記ビデオ符号化ユニットは、前記出力ビット深度の指示を生成し、前記指示を符号化ビットストリーム中に含めるようにさらに構成された、[19]に記載の装置。
[29] 前記ビデオ符号化ユニットは、前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含めるようにさらに構成された、[28]に記載の装置。
[30] 前記ビデオ符号化ユニットは、ビデオデータの前記コード化ブロックを含む符号化ビットストリーム中に丸めオフセットの指示を含めるようにさらに構成された、[28]に記載の装置。
[31] ビデオデータのコード化ブロックを復号するように構成された装置であって、前記装置は、
出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータの前記コード化ブロックのサンプルを復号するように構成されたビデオ復号ユニット、
を備える装置。
[32] 前記ビデオ復号ユニットは、
パルスコード復調を使用してビデオデータの前記コード化ブロックの前記サンプルを復号するように構成された復調ユニットと、
量子化ステップに従って前記復号されたサンプルを逆量子化するように構成された逆量子化ユニットと、
を備える[31]に記載の装置。
[33] 前記量子化ステップは前記出力ビット深度に基づく、[32]に記載の装置。
[34] 前記逆量子化ユニットは、前記量子化ステップと丸めオフセットとに従って前記復号されたサンプルを逆量子化するようにさらに構成された、[33]に記載の装置。
[35] 前記ビデオ復号ユニットは、ビデオデータの前記コード化ブロックを含む符号化ビットストリームから、前記出力ビット深度と、前記量子化ステップと、前記丸めオフセットとのうちの少なくとも1つを受信するようにさらに構成された、[34]に記載の装置。
[36] 前記ビデオ復号ユニットは、ビデオデータの前記コード化ブロックの1つまたは複数の特性に基づいて前記量子化ステップを決定するようにさらに構成された、[32]に記載の装置。
[37] ビデオデータをコーディングするように構成された装置であって、前記装置は、
出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータのブロックのサンプルを量子化する手段と、
前記量子化されたサンプルをパルスコード変調する手段と、
を備える装置。
[38] 前記出力ビット深度の指示を生成し、前記出力ビット深度の前記指示を要素としてシーケンスヘッダ中に含める手段と、
をさらに備える[37]に記載の装置。
[39] ビデオデータのコード化ブロックを復号するように構成された装置であって、前記装置は、
パルスコード復調を使用してビデオデータの前記コード化ブロックのサンプルを復号する手段と、
量子化ステップに従って前記復号されたサンプルを逆量子化する手段と、
を備える装置。
[40] 前記量子化ステップは出力ビット深度に基づく、[39]に記載の装置。
[41] ビデオデータの前記コード化ブロックを含む符号化ビットストリームから、前記出力ビット深度と、前記量子化ステップと、丸めオフセットとのうちの少なくとも1つを受信する手段、
をさらに備える[39]に記載の装置。
[42] 実行されたとき、ビデオをコーディングするためのデバイスのプロセッサに、
出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングさせる
命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[43] 出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータのブロックのサンプルをコーディングするための前記命令は、
前記出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータの前記ブロックの前記サンプルを量子化し、
前記量子化されたサンプルをパルスコード変調する
ための命令を備える、[42]に記載のコンピュータプログラム製品。
[44] プロセッサに、さらに、
前記出力ビット深度の指示を生成させ、前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含める、[42]に記載のコンピュータプログラム製品。
[45] 実行されたとき、ビデオデータの前記コード化ブロックを復号するためのデバイスのプロセッサに、
出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータのコード化ブロックのサンプルを復号させる
命令を記憶したコンピュータ可読記憶媒体を備えるコンピュータプログラム製品。
[46] 出力ビット深度に従って、ビデオデータのブロックのサンプルを復号するための前記命令は、
パルスコード復調を使用してビデオデータの前記コード化ブロックの前記サンプルを復号し、
量子化ステップに従って前記復号されたサンプルを逆量子化する
ための命令を備える、[45]に記載のコンピュータプログラム製品。
[47] 前記量子化ステップは前記出力ビット深度に基づく、[45]に記載のコンピュータプログラム製品。
[48] 前記プロセッサに、
ビデオデータの前記コード化ブロックを含む符号化ビットストリームから、前記出力ビット深度と、前記量子化ステップと、丸めオフセットとのうちの少なくとも1つを受信させる
[45]に記載のコンピュータプログラム製品。

Claims (42)

  1. ビデオデータを符号化するための方法であって、前記方法は、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して符号化することと、
    出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを符号化すること、ビデオデータの前記1つまたは複数の他のブロックの前記サンプルは、前記出力ビット深度よりも大きいビット深度を有し、
    を備え、
    前記出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記1つまたは複数の他のブロックのサンプルを符号化することは、
    前記出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータの前記1つまたは複数の他のブロックの前記サンプルを量子化することと、前記量子化ステップは、前記量子化パルスコード変調を使用して符号化される前記1つまたは複数の他のブロックとイントラ予測を使用して符号化される前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入し、
    前記量子化されたサンプルをパルスコード変調することと、
    を備える、方法。
  2. 前記出力ビット深度は定義可能なパラメータである、請求項1に記載の方法。
  3. 前記出力ビット深度を定義するために前記量子化されたサンプルのための前記量子化ステップを選択すること、
    をさらに備える請求項1に記載の方法。
  4. 前記量子化ステップを選択することは、前記ビデオデータの1つまたは複数の特性に基づいて前記量子化ステップを選択することを備える、請求項3に記載の方法。
  5. 前記量子化ステップに従ってビデオデータの前記1つまたは複数の他のブロックの前記サンプルを量子化することは、ビデオデータの前記ブロックの前記サンプルの右シフトの数を備え、前記右シフトの数は前記量子化ステップに基づく、請求項1に記載の方法。
  6. 量子化パルスコード変調を使用してビデオデータの前記1つまたは複数の他のブロックのサンプルを符号化することは、
    共通の量子化ステップに従ってビデオデータの複数のブロックのサンプルを量子化することと、
    ビデオデータの前記複数のブロック中で前記量子化されたサンプルをパルスコード変調することと、
    を備える請求項1に記載の方法。
  7. 量子化パルスコード変調を使用してビデオデータの前記1つまたは複数の他のブロックのサンプルを符号化することは、
    第1の量子化ステップに従ってビデオデータの第1のブロックのサンプルを量子化することと、
    前記第1の量子化ステップとは異なる第2の量子化ステップに従ってビデオデータの第2のブロックのサンプルを量子化することと、
    ビデオデータの前記第1のブロックおよび前記第2のブロック中で前記量子化されたサンプルをパルスコード変調することと、
    を備える請求項1に記載の方法。
  8. 前記第1の量子化ステップと前記第2の量子化ステップとをベース量子化ステップに対するデルタ値として表すこと
    をさらに備える請求項7に記載の方法。
  9. 前記出力ビット深度の指示を生成することと、前記指示を符号化ビットストリーム中に含めることと、
    をさらに備える請求項1に記載の方法。
  10. 前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含めること、
    さらに備える請求項9に記載の方法。
  11. ビデオデータのコーディングされたブロックを含む符号化ビットストリーム中に丸めオフセットの指示を含めること、
    をさらに備える請求項9に記載の方法。
  12. ビデオデータを復号するための方法であって、前記方法は、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して復号することと、
    復号されたサンプルを生成するために出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを復号すること、前記復号されたサンプルは、前記出力ビット深度よりも大きいビット深度を有する、
    を備え、
    前記出力ビット深度に従ってビデオデータの前記1つまたは複数の他のブロックのサンプルを復号することは、
    パルスコード復調を使用してビデオデータの前記1つまたは複数の他のブロックの前記サンプルを復号することと、
    量子化ステップに従って前記復号されたサンプルを逆量子化することと、前記量子化ステップは、前記量子化パルスコード変調を用いてコーディングされる前記1つまたは複数のブロックとイントラ予測を使用して復号された前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入する、
    を備える、方法。
  13. 前記量子化ステップは前記出力ビット深度に基づく、請求項12に記載の方法。
  14. 前記復号されたサンプルを逆量子化することは、
    前記量子化ステップと丸めオフセットとに従って前記復号されたサンプルを逆量子化すること、を備える請求項13に記載の方法。
  15. ビデオデータの前記フレームを含む符号化ビットストリームにおける前記出力ビット深度を受信すること、をさらに備える請求項12に記載の方法。
  16. ビデオデータの前記フレームの1つまたは複数の特性に基づいて前記量子化ステップを決定すること、をさらに備える請求項12に記載の方法。
  17. ビデオデータを符号化するように構成された装置であって、前記装置は、
    ビデオデータを記憶するように構成されたメモリと、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して符号化し、
    出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを符号化するように構成されたビデオ符号化ユニットと、ビデオデータの前記1つまたは複数の他のブロックの前記サンプルは、前記出力ビット深度よりも大きいビット深度を有する、
    を備え、
    前記ビデオ符号化ユニットは、
    前記出力ビット深度を生成するための量子化の量を定義する量子化ステップに従ってビデオデータの前記1つまたは複数の他のブロックの前記サンプルを量子化するように構成された量子化ユニットと、前記量子化ステップは、前記量子化パルスコード変調を使用してコーディングされる前記1つまたは複数のブロックとイントラ予測を使用して符号化される前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入し、
    パルスコード変調を使用して前記量子化されたサンプルを符号化するように構成された変調ユニットと、
    を備える、装置。
  18. 前記出力ビット深度は定義可能なパラメータである、請求項17に記載の装置。
  19. 前記ビデオ符号化ユニットは、前記出力ビット深度を定義するために前記量子化されたサンプルのための前記量子化ステップを選択するようにさらに構成された、請求項18に記載の装置。
  20. 前記ビデオ符号化ユニットは、前記ビデオデータの1つまたは複数の特性に基づいて前記量子化ステップを選択するように構成された、請求項19に記載の装置。
  21. 前記量子化ユニットは、ビデオデータの前記ブロックの前記サンプルの右シフトの数を使用してビデオデータの前記1つまたは複数の他のブロックの前記サンプルを量子化するように構成され、右シフトの前記数は前記量子化ステップに基づく、請求項17に記載の装置。
  22. 前記量子化ユニットは、共通の量子化ステップに従ってビデオデータの複数のブロックのサンプルを量子化するように構成され、
    前記変調ユニットは、ビデオデータの前記複数のブロック中でパルスコード変調を使用して前記量子化されたサンプルを符号化するように構成された、
    請求項17に記載の装置。
  23. 前記量子化ユニットは、第1の量子化ステップに従ってビデオデータの第1のブロックのサンプルを量子化し、前記第1の量子化ステップとは異なる第2の量子化ステップに従ってビデオデータの第2のブロックのサンプルを量子化するように構成され、
    前記変調ユニットは、パルスコード変調を使用してビデオデータの前記第1のブロックおよび前記第2のブロック中で前記量子化されたサンプルを符号化するように構成された、
    請求項17に記載の装置。
  24. 前記ビデオ符号化ユニットは、前記第1の量子化ステップと前記第2の量子化ステップとをベース量子化ステップに対するデルタ値として表すようにさらに構成された、請求項23に記載の装置。
  25. 前記ビデオ符号化ユニットは、前記出力ビット深度の指示を生成し、前記指示を符号化ビットストリーム中に含めるようにさらに構成された、請求項17に記載の装置。
  26. 前記ビデオ符号化ユニットは、前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含めるようにさらに構成された、請求項25に記載の装置。
  27. 前記ビデオ符号化ユニットは、ビデオデータの前記コーディングされたブロックを含む符号化ビットストリーム中に丸めオフセットの指示を含めるようにさらに構成された、請求項25に記載の装置。
  28. ビデオデータを復号するように構成された装置であって、前記装置は、
    ビデオデータを記憶するように構成されたメモリと、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して復号し、
    復号されたサンプルを生成するために出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを復号するように構成されたビデオ復号ユニット、ビデオデータの前記1つまたは複数の他のブロックの前記サンプルは、前記出力ビット深度よりも大きいビット深度を有する、
    を備え、
    前記ビデオ復号ユニットは、
    パルスコード復調を使用してビデオデータの前記1つまたは複数の他のブロックの前記サンプルを復号するように構成された復調ユニットと、
    量子化ステップに従って前記復号されたサンプルを逆量子化するように構成された逆量子化ユニットと、前記量子化ステップは、前記量子化パルスコード変調を用いてコーディングされた前記1つまたは複数の他のブロックとイントラ予測を使用して復号された前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入する、
    を備える、装置。
  29. 前記量子化ステップは前記出力ビット深度に基づく、請求項28に記載の装置。
  30. 前記逆量子化ユニットは、前記量子化ステップと丸めオフセットとに従って前記復号されたサンプルを逆量子化するようにさらに構成された、請求項29に記載の装置。
  31. 前記ビデオ復号ユニットは、ビデオデータの前記フレームを含む符号化ビットストリームから前記出力ビット深度を受信するようにさらに構成された、請求項30に記載の装置。
  32. 前記ビデオ復号ユニットは、ビデオデータの前記フレームの1つまたは複数の特性に基づいて前記量子化ステップを決定するようにさらに構成された、請求項28に記載の装置。
  33. ビデオデータを符号化するように構成された装置であって、前記装置は、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して符号化する手段と、
    出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを符号化する手段と、ビデオデータの前記1つまたは複数の他のブロックの前記サンプルは、前記出力ビット深度よりも大きいビット深度を有し、
    前記出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記1つまたは複数の他のブロックのサンプルを符号化する手段は、
    前記出力ビット深度を生成するために量子化の量を定義する量子化ステップに従ってビデオデータの前記1つまたは複数の他のブロックの前記サンプルを量子化する手段と、前記量子化ステップは、前記量子化パルスコード変調を使用して符号化される前記1つまたは複数の他のブロックとイントラ予測を使用して符号化される前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入し、
    前記量子化されたサンプルをパルスコード変調する手段と、
    を備える、装置。
  34. 前記出力ビット深度の指示を生成し、前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含める手段と、
    をさらに備える請求項33に記載の装置。
  35. ビデオデータを復号するように構成された装置であって、前記装置は、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して復号する手段と、
    復号されたサンプルを生成するために出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを復号する手段と、前記復号されたサンプルは、前記出力ビット深度よりも大きいビット深度を有する、
    を備え、
    前記出力ビット深度に従ってビデオデータの前記1つまたは複数の他のブロックのサンプルを復号する手段は、
    パルスコード復調を使用してビデオデータの前記1つまたは複数の他のブロックのサンプルを復号する手段と、
    量子化ステップに従って前記復号されたサンプルを逆量子化する手段と、前記量子化ステップは、前記量子化パルスコード変調を用いてコーディングされた前記1つまたは複数の他のブロックとイントラ予測を使用して復号された前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入する、
    を備える、装置。
  36. 前記量子化ステップは前記出力ビット深度に基づく、請求項35に記載の装置。
  37. ビデオデータの前記フレームを含む符号化ビットストリームにおける前記出力ビット深度を受信する手段、
    をさらに備える請求項35に記載の装置。
  38. 実行されたとき、ビデオを符号化するためのデバイスの1つまたは複数のプロセッサに、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して符号化させ、
    出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを符号化させる
    命令を備え、
    ビデオデータの前記1つまたは複数の他のブロックの前記サンプルは、前記出力ビット深度よりも大きいビット深度を有し、
    前記出力ビット深度に従って、量子化パルスコード変調を使用してビデオデータの前記1つまたは複数の他のブロックのサンプルを符号化するための前記命令は、
    前記出力ビット深度を生成するための量子化の量を定義する量子化ステップに従ってビデオデータの前記1つまたは複数の他のブロックの前記サンプルを量子化し、前記量子化ステップは、前記量子化パルスコード変調を使用してコーディングされる前記1つまたは複数の他のブロックとイントラ予測を使用して符号化される前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入する、
    前記量子化されたサンプルを、パルスコード変調を使用して符号化する
    ための命令を備える、コンピュータプログラム。
  39. 前記1つまたは複数のプロセッサに、さらに、
    前記出力ビット深度の指示を生成させ、前記出力ビット深度の前記指示をシンタックス要素としてシーケンスヘッダ中に含めさせる、請求項38に記載のコンピュータプログラム。
  40. 実行されたとき、ビデオデータを復号するためのデバイスの1つまたは複数のプロセッサに、
    ビデオデータのフレームの少なくとも1つのブロックを、ビデオデータの前記フレームの別のブロックに関するイントラ予測を使用して復号させ、
    復号されたサンプルを生成するために出力ビット深度に従って、量子化パルスコード変調を用いて符号化されたビデオデータの前記フレームの1つまたは複数の他のブロックのサンプルを復号させる
    命令を備え、
    ビデオデータの前記1つまたは複数の他のブロックの前記サンプルは、前記出力ビット深度よりも大きいビット深度を有し、
    前記出力ビット深度に従って、ビデオデータの前記1つまたは複数の他のブロックのサンプルを復号するための前記命令は、
    パルスコード復調を使用してビデオデータの前記1つまたは複数の他のブロックの前記サンプルを復号し、
    量子化ステップに従って前記復号されたサンプルを逆量子化する、前記量子化ステップは、前記量子化パルスコード変調を使用してコーディングされる前記1つまたは複数の他のブロックとイントラ予測を使用して復号された前記少なくとも1つのブロックとの間の視覚的差異を低減するように前記サンプルに損失を導入する、
    ための命令を備える、コンピュータプログラム。
  41. 前記量子化ステップは前記出力ビット深度に基づく、請求項40に記載のコンピュータプログラム。
  42. 前記1つまたは複数のプロセッサに、さらに、
    ビデオデータの前記フレームを含む符号化ビットストリームにおける前記出力ビット深度を受信させる
    請求項40に記載のコンピュータプログラム。
JP2013557720A 2011-03-04 2012-02-01 ビデオコーディングにおける量子化パルスコード変調 Active JP5722468B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161449413P 2011-03-04 2011-03-04
US61/449,413 2011-03-04
US13/362,928 2012-01-31
US13/362,928 US10200689B2 (en) 2011-03-04 2012-01-31 Quantized pulse code modulation in video coding
PCT/US2012/023497 WO2012121820A1 (en) 2011-03-04 2012-02-01 Quantized pulse code modulation in video coding

Publications (2)

Publication Number Publication Date
JP2014511649A JP2014511649A (ja) 2014-05-15
JP5722468B2 true JP5722468B2 (ja) 2015-05-20

Family

ID=46753282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013557720A Active JP5722468B2 (ja) 2011-03-04 2012-02-01 ビデオコーディングにおける量子化パルスコード変調

Country Status (19)

Country Link
US (1) US10200689B2 (ja)
EP (1) EP2681914B1 (ja)
JP (1) JP5722468B2 (ja)
KR (1) KR101732767B1 (ja)
CN (1) CN103404144B (ja)
AU (1) AU2012226301B2 (ja)
BR (1) BR112013022516B1 (ja)
CA (1) CA2828556C (ja)
DK (1) DK2681914T3 (ja)
ES (1) ES2692183T3 (ja)
HU (1) HUE039796T2 (ja)
IL (1) IL227926A (ja)
MX (1) MX2013010148A (ja)
MY (1) MY164711A (ja)
RU (1) RU2578724C2 (ja)
SG (1) SG192741A1 (ja)
SI (1) SI2681914T1 (ja)
UA (1) UA109312C2 (ja)
WO (1) WO2012121820A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
EP2685719B1 (en) * 2011-03-09 2019-10-30 Panasonic Intellectual Property Corporation of America Video image decoding device
EP2685721B1 (en) * 2011-03-09 2019-10-30 Panasonic Intellectual Property Corporation of America Video image encoding device
KR102135841B1 (ko) * 2011-05-10 2020-07-22 코닌클리케 필립스 엔.브이. 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
US20120320972A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co., Ltd. Apparatus and method for low-complexity optimal transform selection
EP2774362B1 (en) * 2011-11-03 2023-07-26 Sun Patent Trust Quantization parameter for blocks coded in the pcm mode
US9706200B2 (en) 2012-06-18 2017-07-11 Qualcomm Incorporated Unification of signaling lossless coding mode and pulse code modulation (PCM) mode in video coding
US9749645B2 (en) * 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
JP6115568B2 (ja) * 2012-06-26 2017-04-19 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
KR20160054530A (ko) * 2013-09-06 2016-05-16 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템
DK3047639T3 (en) 2013-09-20 2018-10-15 Vid Scale Inc Video Codes and Methods to Provide 3D Lookup Table Encoding for Color Game Scalability
TWI652937B (zh) * 2013-10-07 2019-03-01 Vid衡器股份有限公司 多層視訊編碼組合可調能力處理方法
JP6254294B2 (ja) * 2013-10-14 2017-12-27 寰發股▲ふん▼有限公司HFI Innovation Inc. Hevc範囲拡張の剰余差分パルス符号変調の方法
US9892084B2 (en) 2013-12-10 2018-02-13 Apple Inc. Methods and apparatus for virtual channel allocation via a high speed bus interface
US10459674B2 (en) * 2013-12-10 2019-10-29 Apple Inc. Apparatus and methods for packing and transporting raw data
US10477232B2 (en) 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
US9830289B2 (en) 2014-09-16 2017-11-28 Apple Inc. Methods and apparatus for aggregating packet transfer over a virtual bus interface
US9971397B2 (en) 2014-10-08 2018-05-15 Apple Inc. Methods and apparatus for managing power with an inter-processor communication link between independently operable processors
US9749636B2 (en) * 2014-10-24 2017-08-29 Intel Corporation Dynamic on screen display using a compressed video stream
US9544069B2 (en) 2014-11-21 2017-01-10 Apple Inc. Methods and apparatus for link training, initialization and management via a high speed bus interface
US9716889B2 (en) * 2014-12-09 2017-07-25 Sony Corporation Intra and inter-color prediction for Bayer image coding
US10425659B2 (en) * 2015-01-30 2019-09-24 Qualcomm Incorporated Coding escape pixels for palette coding
US10042794B2 (en) 2015-06-12 2018-08-07 Apple Inc. Methods and apparatus for synchronizing uplink and downlink transactions on an inter-device communication link
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10085214B2 (en) 2016-01-27 2018-09-25 Apple Inc. Apparatus and methods for wake-limiting with an inter-device communication link
US10191852B2 (en) 2016-02-29 2019-01-29 Apple Inc. Methods and apparatus for locking at least a portion of a shared memory resource
US10191859B2 (en) 2016-03-31 2019-01-29 Apple Inc. Memory access protection apparatus and methods for memory mapped access between independently operable processors
CN105847758A (zh) * 2016-05-18 2016-08-10 深圳市神州龙资讯服务有限公司 一种高清航拍图片高速实时传输方法
US10523867B2 (en) 2016-06-10 2019-12-31 Apple Inc. Methods and apparatus for multi-lane mapping, link training and lower power modes for a high speed bus interface
US10551902B2 (en) 2016-11-10 2020-02-04 Apple Inc. Methods and apparatus for providing access to peripheral sub-system registers
US10775871B2 (en) 2016-11-10 2020-09-15 Apple Inc. Methods and apparatus for providing individualized power control for peripheral sub-systems
US10346226B2 (en) 2017-08-07 2019-07-09 Time Warner Cable Enterprises Llc Methods and apparatus for transmitting time sensitive data over a tunneled bus interface
US10331612B1 (en) 2018-01-09 2019-06-25 Apple Inc. Methods and apparatus for reduced-latency data transmission with an inter-processor communication link between independently operable processors
US11792307B2 (en) 2018-03-28 2023-10-17 Apple Inc. Methods and apparatus for single entity buffer pool management
US11381514B2 (en) 2018-05-07 2022-07-05 Apple Inc. Methods and apparatus for early delivery of data link layer packets
US10430352B1 (en) 2018-05-18 2019-10-01 Apple Inc. Methods and apparatus for reduced overhead data transfer with a shared ring buffer
US10585699B2 (en) 2018-07-30 2020-03-10 Apple Inc. Methods and apparatus for verifying completion of groups of data transactions between processors
US10719376B2 (en) 2018-08-24 2020-07-21 Apple Inc. Methods and apparatus for multiplexing data flows via a single data structure
US10846224B2 (en) 2018-08-24 2020-11-24 Apple Inc. Methods and apparatus for control of a jointly shared memory-mapped region
WO2020056763A1 (en) * 2018-09-21 2020-03-26 Alibaba Group Holding Limited Adaptive coding of video coding units based on coding block type
US11825120B2 (en) * 2019-02-28 2023-11-21 Qualcomm Incorporated Subblock coding by generalized intra prediction in video coding
CA3137163C (en) * 2019-04-24 2024-05-14 Bytedance Inc. Constraints on quantized residual differential pulse code modulation representation of coded video
CN113796069B (zh) 2019-05-01 2024-03-08 字节跳动有限公司 使用量化残差差分脉冲编解码调制编解码的帧内编解码视频
CN113785306B (zh) 2019-05-02 2024-06-14 字节跳动有限公司 基于编解码树结构类型的编解码模式
EP3949387A4 (en) 2019-05-02 2022-05-18 ByteDance Inc. SIGNALING IN A TRANSFORM JUMP MODE
US11829303B2 (en) 2019-09-26 2023-11-28 Apple Inc. Methods and apparatus for device driver operation in non-kernel space
US11558348B2 (en) 2019-09-26 2023-01-17 Apple Inc. Methods and apparatus for emerging use case support in user space networking
GB2589066B (en) * 2019-10-24 2023-06-28 Advanced Risc Mach Ltd Encoding data arrays
US11606302B2 (en) 2020-06-12 2023-03-14 Apple Inc. Methods and apparatus for flow-based batching and processing
US11775359B2 (en) 2020-09-11 2023-10-03 Apple Inc. Methods and apparatuses for cross-layer processing
US11954540B2 (en) 2020-09-14 2024-04-09 Apple Inc. Methods and apparatus for thread-level execution in non-kernel space
US11799986B2 (en) 2020-09-22 2023-10-24 Apple Inc. Methods and apparatus for thread level execution in non-kernel space
US11818353B2 (en) * 2021-05-13 2023-11-14 Qualcomm Incorporated Reduced complexity transforms for high bit-depth video coding
CN113162731B (zh) * 2021-05-26 2022-09-16 中南大学 混合数模广播通信方法
US11876719B2 (en) 2021-07-26 2024-01-16 Apple Inc. Systems and methods for managing transmission control protocol (TCP) acknowledgements
US11882051B2 (en) 2021-07-26 2024-01-23 Apple Inc. Systems and methods for managing transmission control protocol (TCP) acknowledgements

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150432A (en) 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
JP2507204B2 (ja) 1991-08-30 1996-06-12 松下電器産業株式会社 映像信号符号化装置
JP3749752B2 (ja) 1995-03-24 2006-03-01 アイティーティー・マニュファクチャリング・エンタープライジズ・インコーポレーテッド ブロック適応型差分パルスコード変調システム
US5777679A (en) 1996-03-15 1998-07-07 International Business Machines Corporation Video decoder including polyphase fir horizontal filter
US6031575A (en) 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP3748088B2 (ja) 1996-07-17 2006-02-22 ソニー株式会社 画像処理装置および方法、並びに学習装置および方法
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
KR100303685B1 (ko) 1996-09-30 2001-09-24 송문섭 영상 예측부호화 장치 및 그 방법
US6256347B1 (en) 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
WO1999033266A2 (en) 1997-12-22 1999-07-01 Koninklijke Philips Electronics N.V. Embedding supplemental data in an encoded signal
US7143432B1 (en) 1999-10-01 2006-11-28 Vidiator Enterprises Inc. System for transforming streaming video data
GB2364843A (en) 2000-07-14 2002-02-06 Sony Uk Ltd Data encoding based on data quantity and data quality
US7058677B1 (en) 2001-07-17 2006-06-06 Vixs, Inc. Method and apparatus for selectible quantization in an encoder
FI114071B (fi) 2003-01-13 2004-07-30 Nokia Corp Kuvien käsitteleminen rajoitetulla bittimäärällä
CN1795680B (zh) 2003-03-03 2010-06-16 新加坡科技研究局 采用avc帧内预测以便对数字视频进行编码的方法和装置
US7403561B2 (en) 2003-04-04 2008-07-22 Avid Technology, Inc. Fixed bit rate, intraframe compression and decompression of video
US7979273B2 (en) * 2003-07-25 2011-07-12 Sennheiser Electronic Gmbh & Co. Kg Method and apparatus for the digitization of and for the data compression of analog signals
US8045614B2 (en) 2005-05-11 2011-10-25 Dolby Laboratories Licensing Corporation Quantization control for variable bit depth
EP1605706A2 (en) 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
US20060227871A1 (en) * 2005-03-31 2006-10-12 Madhukar Budagavi Video thumbnail method
US7634727B2 (en) 2005-04-26 2009-12-15 Microsoft Corporation System for abstracting audio-video codecs
KR20070024211A (ko) 2005-08-26 2007-03-02 삼성전자주식회사 영상압축장치 및 방법
US20070110151A1 (en) 2005-11-14 2007-05-17 Ess Technology, Inc. System and method for video frame buffer compression
CN101356823A (zh) * 2006-01-09 2009-01-28 马蒂亚斯·纳罗施克 混合视频编码中预测误差的自适应编码
JP5396711B2 (ja) 2006-02-09 2014-01-22 日本電気株式会社 動画像復号装置、動画像復号方法及びプログラム
CN102611892B (zh) 2006-03-16 2014-10-08 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
US8208545B2 (en) 2006-06-01 2012-06-26 Electronics And Telecommunications Research Institute Method and apparatus for video coding on pixel-wise prediction
JP4555257B2 (ja) 2006-06-06 2010-09-29 パナソニック株式会社 画像符号化装置
US8611418B2 (en) 2006-11-30 2013-12-17 Lsi Corporation Decoding a progressive JPEG bitstream as a sequentially-predicted hybrid video bitstream
JP5045950B2 (ja) * 2006-12-14 2012-10-10 日本電気株式会社 映像符号化方法、映像符号化装置および映像符号化プログラム
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
KR20100014553A (ko) 2007-04-25 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
EP2169962A4 (en) 2007-07-17 2012-04-11 Nippon Telegraph & Telephone VIDEO CODING DEVICE AND METHOD, VIDEO CODING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
EP2183922A4 (en) 2007-08-16 2011-04-27 Nokia Corp METHOD AND APPARATUSES FOR ENCODING AND DECODING AN IMAGE
US9521433B2 (en) 2007-09-06 2016-12-13 Nec Corporation Video encoding device, video decoding device, video encoding method, video decoding method, video encoding or decoding program
US20090074315A1 (en) 2007-09-19 2009-03-19 Himax Technologies Limited Method of image compression and device thereof
CN101816182B (zh) 2007-10-01 2012-11-21 夏普株式会社 图像编码装置、图像编码方法、图像编解码系统
US8406314B2 (en) 2007-11-28 2013-03-26 Sharp Laboratories Of America, Inc. Two-dimensional DPCM with PCM escape mode
TW201006251A (en) 2008-07-30 2010-02-01 Etron Technology Inc Symbol-sharing differential pulse code modulator/demodulator, multiple differential pulse code modulator/demodulator, image encoding/decoding system and method thereof
GB0817977D0 (en) 2008-10-01 2008-11-05 Craven Peter G Improved lossy coding of signals
KR20100079121A (ko) * 2008-12-30 2010-07-08 주식회사 동부하이텍 이미지 인코더 및 이미지 인코딩 방법
US8934543B2 (en) 2009-02-13 2015-01-13 Blackberry Limited Adaptive quantization with balanced pixel-domain distortion distribution in image processing
EP2396969A4 (en) 2009-02-13 2012-12-12 Research In Motion Ltd MODIFIED ENTROPIC CODING FOR IMAGES AND VIDEOS
KR101196920B1 (ko) 2009-04-08 2012-11-05 한국전자통신연구원 적응적 비트 심도 감소를 통한 부호화와 복호화 방법 및 그 장치
US8848788B2 (en) * 2009-05-16 2014-09-30 Thomson Licensing Method and apparatus for joint quantization parameter adjustment
TWI433542B (zh) * 2009-05-25 2014-04-01 Mstar Semiconductor Inc 反量化處理方法與裝置
US9152875B2 (en) 2009-06-11 2015-10-06 Texas Instruments Incorporated Preserving text quality in video encoding
JP2011029998A (ja) 2009-07-27 2011-02-10 Sony Corp 画像記録装置、画像記録方法、及びプログラム
US8588801B2 (en) * 2009-08-21 2013-11-19 Qualcomm Incorporated Multi-point equalization framework for coordinated multi-point transmission
US9154798B2 (en) * 2009-09-14 2015-10-06 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
EP3499883A3 (en) * 2010-05-14 2019-08-14 Interdigital VC Holdings, Inc Methods and apparatus for intra coding a block having pixels assigned to groups
US20110292247A1 (en) * 2010-05-27 2011-12-01 Sony Corporation Image compression method with random access capability
BR122022001405B1 (pt) 2010-07-13 2023-01-10 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
US8660375B2 (en) 2011-02-22 2014-02-25 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus

Also Published As

Publication number Publication date
JP2014511649A (ja) 2014-05-15
SI2681914T1 (sl) 2018-10-30
BR112013022516B1 (pt) 2022-04-19
AU2012226301B2 (en) 2015-11-05
SG192741A1 (en) 2013-09-30
DK2681914T3 (en) 2018-11-12
MY164711A (en) 2018-01-30
RU2578724C2 (ru) 2016-03-27
HUE039796T2 (hu) 2019-02-28
CN103404144A (zh) 2013-11-20
IL227926A0 (en) 2013-09-30
MX2013010148A (es) 2013-10-01
KR101732767B1 (ko) 2017-05-04
CN103404144B (zh) 2017-08-29
RU2013144556A (ru) 2015-04-10
EP2681914B1 (en) 2018-07-25
ES2692183T3 (es) 2018-11-30
US20120224640A1 (en) 2012-09-06
KR20130129459A (ko) 2013-11-28
US10200689B2 (en) 2019-02-05
AU2012226301A1 (en) 2013-09-12
EP2681914A1 (en) 2014-01-08
CA2828556C (en) 2017-09-12
UA109312C2 (uk) 2015-08-10
BR112013022516A2 (pt) 2016-12-06
WO2012121820A1 (en) 2012-09-13
CA2828556A1 (en) 2012-09-13
IL227926A (en) 2016-04-21

Similar Documents

Publication Publication Date Title
JP5722468B2 (ja) ビデオコーディングにおける量子化パルスコード変調
US11838548B2 (en) Video coding using mapped transforms and scanning modes
JP5922245B2 (ja) クロマ成分のための適応ループフィルタ処理
JP5805861B2 (ja) 隣接モードを使用したビデオコーディングのための拡張イントラ予測モードシグナリング
US9247254B2 (en) Non-square transforms in intra-prediction video coding
US9807401B2 (en) Transform unit partitioning for chroma components in video coding
JP5784830B2 (ja) ビデオコード化のための複数領域走査順序
US20140198855A1 (en) Square block prediction
US20120063515A1 (en) Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
JP2016534649A (ja) イントラブロックコピー実行時の領域決定
JP2013520875A (ja) ビデオコーディングのための適応動き解像度
KR20140110957A (ko) 비디오 코딩을 위한 모션 벡터 예측의 수행
JP2013543317A (ja) ジョイントコンテキストモデルを使用した係数のエントロピー符号化
KR20170016994A (ko) 일원화된 병합 모드 및 적응적 모션 벡터 예측 모드 후보 선택
JP2015516770A (ja) ビデオコーディングにおける量子化行列のための均一粒度
JP2015502093A (ja) イントラモードコーディングにおける参照モード選択
RU2574831C2 (ru) Унифицированный выбор кандидатов для режима слияния и адаптивного режима предсказания вектора движения

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150325

R150 Certificate of patent or registration of utility model

Ref document number: 5722468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250