[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7577150B2 - ビデオコーディングにおける参照ピクチャ管理 - Google Patents

ビデオコーディングにおける参照ピクチャ管理 Download PDF

Info

Publication number
JP7577150B2
JP7577150B2 JP2023039811A JP2023039811A JP7577150B2 JP 7577150 B2 JP7577150 B2 JP 7577150B2 JP 2023039811 A JP2023039811 A JP 2023039811A JP 2023039811 A JP2023039811 A JP 2023039811A JP 7577150 B2 JP7577150 B2 JP 7577150B2
Authority
JP
Japan
Prior art keywords
reference picture
picture list
entries
picture
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023039811A
Other languages
English (en)
Other versions
JP2023085317A (ja
Inventor
フヌ・ヘンドリー
イェ－クイ・ワン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2023085317A publication Critical patent/JP2023085317A/ja
Application granted granted Critical
Publication of JP7577150B2 publication Critical patent/JP7577150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本開示は全般に、ビデオコーディングにおける参照ピクチャ管理のための技法に関する。より具体的には、本開示は、参照ピクチャリストの構築および参照ピクチャのマーキングのための技法を説明する。
比較的短いビデオであってもそれを描画するために必要なビデオデータの量は相当なものであることがあり、このことは、限られた帯域幅容量でデータがストリーミングされるとき、または通信ネットワークを介して別様に通信されるときに、困難さをもたらし得る。したがって、ビデオデータは一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。メモリリソースは限られていることがあるので、ビデオが記憶デバイスに記憶されるときにも、ビデオのサイズは問題となり得る。ビデオ圧縮デバイスはしばしば、送信または記憶の前にビデオデータをコーディングするためにソースにおけるソフトウェアおよび/またはハードウェアを使用し、それにより、デジタルビデオ画像を表現するために必要なデータの量を減らす。次いで、圧縮されたデータが、ビデオデータを復号するビデオ展開デバイスによってデスティネーションにおいて受信される。限られたネットワークリソースと、より高品質なビデオの増え続ける需要により、画像品質をほとんどまたはまったく犠牲にすることなく圧縮比を高める、改善された圧縮および展開技法が望ましい。
第1の態様は、コーディングされたビデオビットストリームを復号する方法に関する。方法は、コーディングされたビデオビットストリームにおいて表される現在のスライスに対する参照ピクチャリスト構造を取得するステップであって、参照ピクチャリスト構造がある数のエントリを含む、ステップと、現在のスライスに対する参照ピクチャリストの中のデフォルトの数のアクティブエントリを取得するステップと、現在のスライスに対する参照ピクチャリストを構築するステップであって、参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含む、ステップと、参照ピクチャリストの中のアクティブエントリのデフォルトの数が参照ピクチャリスト構造の中のエントリの数より大きいとき、参照ピクチャリスト構造の中のエントリの数に等しく、参照ピクチャリストの中のアクティブエントリの数を設定するステップと、参照ピクチャリストの少なくとも1つのアクティブエントリに基づいて、現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える。
方法は、参照ピクチャリストのシグナリングを簡潔に、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
第1の態様による方法の第1の実装形態自体において、参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。
第1の態様による方法の第2の実装形態自体または第1の態様のあらゆる先行する実装形態において、順序は0から示される値までである。
第1の態様による方法の第3の実装形態自体または第1の態様のあらゆる先行する実装形態において、示される値は、0からsps_max_dec_pic_buffering_minus1によって示される値までである。
第1の態様による方法の第4の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストはRefPictList[0]と呼ばれる。
第1の態様による方法の第5の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストはRefPictList[1]と呼ばれる。
第1の態様による方法の第6の実装形態自体または第1の態様のあらゆる先行する実装形態において、電子デバイスのディスプレイに表示される画像を生成するために、少なくとも1つの再構築されたブロックが使用される。
第1の態様による方法の第7の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストは、インター予測のために使用される参照ピクチャのリストを備える。
第1の態様による方法の第8の実装形態自体または第1の態様のあらゆる先行する実装形態において、インター予測はPスライスまたはBスライスのためのものである。
第1の態様による方法の第9の実装形態自体または第1の態様のあらゆる先行する実装形態において、スライスヘッダは、ref_pic_list_sps_flag[i]と呼ばれる参照ピクチャリストシーケンスパラメータセット(SPS)フラグを含む。
第1の態様による方法の第10の実装形態自体または第1の態様のあらゆる先行する実装形態において、スライスヘッダは、num_ref_idx_active_override_flagによって指定される番号参照インデックスアクティブ上書きフラグを含む。
第1の態様による方法の第11の実装形態自体または第1の態様のあらゆる先行する実装形態において、参照ピクチャリストはRefPictList[0]またはRefPictList[1]と呼ばれ、参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。
第2の態様は、コーディングされたビデオビットストリームを受信するように構成される受信機と、受信機に結合されるメモリであって、命令を記憶する、メモリと、メモリに結合されるプロセッサとを含む、復号デバイスに関し、プロセッサは、プロセッサに、コーディングされたビデオビットストリームにおいて表される現在のスライスに対する参照ピクチャリスト構造を取得させ、参照ピクチャリスト構造がある数のエントリを含み、現在のスライスに対する参照ピクチャリストの中のデフォルトの数のアクティブエントリを取得させ、現在のスライスに対する参照ピクチャリストを構築させ、参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、参照ピクチャリストの中のアクティブエントリのデフォルトの数が参照ピクチャリスト構造の中のエントリの数より大きいとき、参照ピクチャリスト構造の中のエントリの数に等しく、参照ピクチャリストの中のアクティブエントリの数を設定させ、参照ピクチャリストの少なくとも1つのアクティブエントリに基づいて、現在のスライスの少なくとも1つの再構築されたブロックを取得させるように、メモリに記憶されている命令を実行するように構成される。
復号デバイスは、参照ピクチャリストのシグナリングを簡潔に、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
第2の態様による復号デバイスの第1の実装形態自体において、復号デバイスはさらに、少なくとも1つの再構築されたブロックに基づいて画像を表示するように構成されるディスプレイを含む。
第3の態様は、復号すべきビットストリームを受信するように構成される受信機と、受信機に結合される送信機であって、復号された画像をディスプレイに送信するように構成される、送信機と、受信機または送信機のうちの少なくとも1つに結合されるメモリであって、命令を記憶するように構成される、メモリと、メモリに結合されるプロセッサであって、前述の態様または実装形態のいずれかにおける方法を実行するように、メモリに記憶されている命令を実行するように構成される、プロセッサとを含む、コーディング装置に関する。
第4の態様は、エンコーダと、エンコーダと通信しているデコーダとを含む、システムに関する。エンコーダまたはデコーダは、前述の態様もしくは実装形態のいずれかの復号デバイスまたはコーディング装置を含む。
システムは、参照ピクチャリストのシグナリングを簡潔にし、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
第5の態様は、符号化すべきピクチャを受信し、または復号すべきビットストリームを受信するように構成される受信手段と、受信手段に結合される送信手段であって、ビットストリームをデコーダに送信し、または復号された画像を表示手段に送信するように構成される、送信手段と、受信手段または送信手段のうちの少なくとも1つに結合される記憶手段であって、命令を記憶するように構成される、記憶手段と、記憶手段に結合される処理手段であって、記憶手段に記憶されている命令を実行して前述の態様または実装形態のいずれかの方法を実行するように構成される、処理手段とを含む、コーディングのための手段に関する。
コーディングのための手段は、参照ピクチャリストのシグナリングを簡潔に、かつより効率的にする技法を提供する。したがって、コーディングプロセス全体が改善される。
本開示のより完全な理解のために、添付の図面および詳細な説明に関連して、ここで以下の簡単な説明に対する参照が行われ、同様の参照番号は同様の部分を表す。
両側予測技法を利用し得る例示的なコーディングシステムを示すブロック図である。 両側予測技法を実施し得る例示的なビデオエンコーダを示すブロック図である。 両側予測技法を実施し得るビデオデコーダの例を示すブロック図である。 参照ピクチャセット(RPS)のすべてのサブセットの中のエントリを伴うピクチャを有するRPSを示す概略図である。 コーディングされたビデオビットストリームを復号する方法の実施形態である。 ビデオコーディングデバイスの概略図である。 コーディングのための手段の実施形態の概略図である。
図1は、本明細書で説明されるようなビデオコーディング技法を利用し得る例示的なコーディングシステム10を示すブロック図である。図1に示されるように、コーディングシステム10は、デスティネーションデバイス14によって後で復号されることになる符号化されたビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して、ビデオデータをデスティネーションデバイス14に提供し得る。ソースデバイス12およびデスティネーションデバイス14は、デスクトップコンピュータ、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広い範囲のデバイスのいずれかを備え得る。いくつかの場合、ソースデバイス12およびデスティネーションデバイス14は、ワイヤレス通信に対応し得る。
デスティネーションデバイス14は、コンピュータ可読媒体16を介して復号されることになる、符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、符号化されたビデオデータをソースデバイス12からデスティネーションデバイス14に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12が符号化されたビデオデータをリアルタイムでデスティネーションデバイス14に直接送信することを可能にするための、通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、デスティネーションデバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理送信線などの、任意のワイヤレス通信媒体または有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成し得る。通信媒体は、ソースデバイス12からデスティネーションデバイス14への通信を容易にするのに有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。
いくつかの例では、符号化されたデータは、出力インターフェース22から記憶デバイスへ出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイスからアクセスされ得る。記憶デバイスは、ハードドライブ、Blu-ray(登録商標)ディスク、デジタルビデオディスク(DVD)、コンパクトディスク読取り専用メモリ(CD-ROM)、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、多様な分散型データ記憶媒体またはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス12によって生成される符号化されたビデオを記憶し得る、ファイルサーバまたは別の中間記憶デバイスに対応し得る。デスティネーションデバイス14は、ストリーミングまたはダウンロードを介して記憶デバイスからの記憶されているビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することと、符号化されたビデオデータをデスティネーションデバイス14に送信することとが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ(たとえば、ウェブサイトのための)、ファイル転送プロトコル(FTP)サーバ、ネットワークアタッチトストレージ(NAS)デバイス、またはローカルディスクドライブを含む。デスティネーションデバイス14は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、有線接続(たとえば、デジタル加入者線(DSL)、ケーブルモデムなど)、または、ファイルサーバに記憶されている符号化されたビデオデータにアクセスするのに適した両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはこれらの組合せであり得る。
本開示の技法は、ワイヤレスの適用例または設定には必ずしも限定されない。この技法は、over-the-airテレビ放送、ケーブルテレビ送信、衛星テレビ送信、dynamic adaptive streaming over HTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体に符号化されるデジタルビデオ、データ記憶媒体に記憶されるデジタルビデオの復号、または他の適用例などの、多様なマルチメディア適用例のいずれをサポートするビデオコーディングにも適用され得る。いくつかの例では、コーディングシステム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などの適用例をサポートするために、片方向または双方向のビデオ送信をサポートするように構成され得る。
図1の例では、ソースデバイス12は、ビデオソース18、ビデオエンコーダ20、および出力インターフェース22を含む。デスティネーションデバイス14は、入力インターフェース28、ビデオデコーダ30、および表示デバイス32を含む。本開示によれば、ソースデバイス12のビデオエンコーダ20および／またはデスティネーションデバイス14のビデオデコーダ30は、ビデオコーディングのための技法を適用するように構成され得る。他の例では、ソースデバイスおよびデスティネーションデバイスは、他のコンポーネントまたは構成を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部のビデオソースからビデオデータを受信してもよい。同様に、デスティネーションデバイス14は、統合された表示デバイスを含むのではなく、外部の表示デバイスとインターフェースしてもよい。
図1の示されるコーディングシステム10は一例にすぎない。ビデオコーディングのための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行され得る。本開示の技法は全般にビデオコーディングデバイスによって実行されるが、この技法は、通常は「コーデック」と呼ばれる、ビデオエンコーダ/デコーダによっても実行され得る。その上、本開示の技法は、ビデオプリプロセッサによっても実行され得る。ビデオエンコーダおよび/またはデコーダは、グラフィクス処理装置(GPU)または同様のデバイスであり得る。
ソースデバイス12およびデスティネーションデバイス14は、ソースデバイス12がデスティネーションデバイス14への送信のためにコーディングされたビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、ソースデバイス12およびデスティネーションデバイス14は、ソースデバイス12とデスティネーションデバイス14の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントを含むように、実質的に対称的に動作してもよい。したがって、コーディングシステム10は、たとえばビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のために、ビデオデバイス12と14との間の片方向または双方向のビデオ送信をサポートし得る。
ソースデバイス12のビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、および/または、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、コンピュータグラフィクスベースのデータをソースビデオとして生成し、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータで生成されたビデオの組合せを生成し得る。
いくつかの場合、ビデオソース18がビデオカメラであるとき、ソースデバイス12およびデスティネーションデバイス14は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかしながら、上で言及されたように、本開示において説明される技法は、ビデオコーディング全般に適用可能であってもよく、ワイヤレスおよび/または有線の適用例に適用されてもよい。各々の場合において、キャプチャされた、事前にキャプチャされた、またはコンピュータで生成されたビデオが、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は次いで、出力インターフェース22によってコンピュータ可読媒体16へと出力され得る。
コンピュータ可読媒体16は、ワイヤレスブロードキャストもしくは有線ネットワーク送信などの一時的媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイス12から符号化されたビデオデータを受信し、たとえばネットワーク送信を介して、符号化されたビデオデータをデスティネーションデバイス14に提供し得る。同様に、ディスクスタンピング施設などの媒体生産施設のコンピューティングデバイスが、ソースデバイス12から符号化されたビデオデータを受信し、符号化されたビデオデータを含むディスクを生産してもよい。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むものとして理解され得る。
デスティネーションデバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオデコーダ30によっても使用される、ブロックおよび他のコーディングされたユニット、たとえばピクチャグループ(GOP)の特性ならびに/または処理を記述するシンタックス要素を含む、ビデオエンコーダ20により定義されるシンタックス情報を含み得る。表示デバイス32は、復号されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示デバイスなどの、多様な表示デバイスのいずれかを備え得る。
ビデオエンコーダ20およびビデオデコーダ30は、現在開発中のHigh Efficiency Video Coding(HEVC)規格などの、ビデオコーディング規格に従って動作してもよく、HEVC Test Model(HM)に準拠してもよい。代替として、ビデオエンコーダ20およびビデオデコーダ30は、代替的にはMoving Picture Expert Group(MPEG)-4, Part 10, Advanced Video Coding(AVC)とも呼ばれる、国際電気通信連合電気通信規格化部門(ITU-T)H.264規格、H.265/HEVC、またはそのような規格の拡張などの、他のプロプライエタリ規格または業界規格に従って動作し得る。しかしながら、本開示の技法は、どのような特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、MPEG-2およびITU-T H.263がある。図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は各々、オーディオエンコーダおよびデコーダと統合されてもよく、共通のデータストリームおよび別々のデータストリームにおいてオーディオとデータの両方の符号化を扱うための、適切なマルチプレクサ-デマルチプレクサ(MUX-DEMUX)ユニット、または他のハードウェアおよびソフトウェアを含んでもよい。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ20およびビデオデコーダ30は各々、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組合せなどの、多様な適切なエンコーダ回路のいずれとしても実装され得る。技法がソフトウェアで部分的に実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアで命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々が、1つまたは複数のエンコーダまたはデコーダに含まれてもよく、それらのいずれもが、それぞれのデバイスにおいて合成エンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/または携帯電話などのワイヤレス通信デバイスを備え得る。
図2は、ビデオコーディング技法を実施し得るビデオエンコーダ20の例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的な冗長性を低減または除去するために、空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオにおける時間的な冗長性を低減または除去するために、時間予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのいずれをも指し得る。単方向(単予測としても知られている)予測(Pモード)または双予測(bi-prediction)(双予測(bi prediction)としても知られている)(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれをも指し得る。
図2に示されるように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40、参照フレームメモリ64、加算器50、変換処理ユニット52、量子化ユニット54、およびエントロピーコーディングユニット56を含む。そして、モード選択ユニット40は、動き補償ユニット44、動き推定ユニット42、イントラ予測(intra-prediction)(イントラ予測(intra prediction)としても知られている)ユニット46、および区分ユニット48を含む。ビデオブロック再構築のために、ビデオエンコーダ20は、逆量子化ユニット58、逆変換ユニット60、および加算器62も含む。デブロッキングフィルタ(図2に示されない)も、ブロック境界をフィルタリングして再構築されたビデオからブロッキネスアーティファクトを除去するために含まれ得る。望まれる場合、デブロッキングフィルタは通常、加算器62の出力をフィルタリングする。追加のフィルタ(ループ内またはループ後の)も、デブロッキングフィルタに加えて使用され得る。簡潔にするためにそのようなフィルタは示されていないが、望まれる場合、加算器50の出力をフィルタリングし得る(ループ内フィルタとして)。
符号化プロセスの間、ビデオエンコーダ20は、コーディングされることになるビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット42および動き補償ユニット44は、1つまたは複数の参照フレームの中の1つまたは複数のブロックに対して相対的な、受信されたビデオブロックのインター予測コーディングを実行して、時間予測を行う。イントラ予測ユニット46は代替として、コーディングされることになるブロックと同じフレームまたはスライスの中にある1つまたは複数の近隣ブロックに対して相対的な、受信されたビデオブロックのイントラ予測コーディングを実行して、空間予測を行い得る。ビデオエンコーダ20は、たとえばビデオデータの各ブロックに対する適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
その上、区分ユニット48は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックへと区分し得る。たとえば、区分ユニット48は、最初にフレームまたはスライスを最大コーディングユニット(LCU)へと区分し、レート歪み分析(たとえば、レート歪み最適化)に基づいて、LCUの各々をサブコーディングユニット(sub-CU)へと区分し得る。モード選択ユニット40はさらに、サブCUへのLCUの区分を示す四分木データ構造を生み出し得る。四分木のリーフノードCUは、1つまたは複数の予測ユニット(PU)および1つまたは複数の変換ユニット(TU)を含み得る。
本開示は、HEVCの文脈におけるCU、PU、もしくはTU、または、他の規格の文脈における類似のデータ構造(たとえば、H.264/AVCにおけるマクロブロックおよびマクロブロックのサブブロック)のいずれかを指すために、「ブロック」という用語を使用する。CUは、コーディングノード、PU、およびコーディングノードと関連付けられるTUを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形である。CUのサイズは、8×8ピクセルから、最大で64×64ピクセル以上のツリーブロックのサイズにまでわたり得る。各CUは、1つまたは複数のPUおよび1つまたは複数のTUを含み得る。CUと関連付けられるシンタックスデータは、たとえば、1つまたは複数のPUへのCUの区分を記述し得る。区分モードは、CUがスキップモードもしくはダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、またはインター予測(inter-prediction)(インター予測(inter prediction)としても知られている)モードで符号化されるかで異なり得る。PUは形状が非正方形となるように区分され得る。CUと関連付けられるシンタックスデータはまた、たとえば、四分木に従った1つまたは複数のTUへのCUの区分を記述し得る。TUは、形状が正方形または非正方形(たとえば、長方形)であり得る。
モード選択ユニット40は、たとえば誤差の結果に基づいて、コーディングモード、すなわちイントラコーディングモードまたはインターコーディングモードのうちの1つを選択し、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを加算器50に提供して残差ブロックデータを生成し、加算器62に提供して参照フレームとして使用するための符号化されたブロックを再構築する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピーコーディングユニット56に提供する。
動き推定ユニット42および動き補償ユニット44は高度に統合され得るが、概念上の目的で別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム(または他のコーディングされるユニット)内でコーディングされている現在のブロックに対する参照フレーム(または他のコーディングされるユニット)内の予測ブロックに対する現在のビデオフレームまたはピクチャ内でのビデオブロックのPUのずれを示し得る。予測ブロックは、ピクセル差分に関して、コーディングされるべきブロックとよく一致することが見いだされるブロックであり、これは、絶対差分和(SAD)、平方差分和(SSD)、または他の差分尺度によって決定され得る。いくつかの例では、ビデオエンコーダ20は、参照フレームメモリ64に記憶されている参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、4分の1ピクセル位置、8分の1ピクセル位置、または参照ピクチャの他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、全ピクセル位置および分数ピクセル位置に対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスの中のビデオブロックのPUに対する動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択されてもよく、それらの各々が、参照フレームメモリ64に記憶されている1つまたは複数の参照ピクチャを特定する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56および動き補償ユニット44に送信する。
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定される動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを伴い得る。やはり、いくつかの例では、動き推定ユニット42および動き補償ユニット44は機能的に統合され得る。現在のビデオブロックのPUの動きベクトルを受信すると、動き補償ユニット44は、参照ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックを見つけ得る。以下で論じられるように、加算器50は、ピクセル差分値を形成する、コーディングされている現在のビデオブロックのピクセル値から、予測ブロックのピクセル値を差し引くことによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルマ成分に対する動き推定を実行し、動き補償ユニット44は、クロマ成分とルマ成分の両方に対して、ルマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30により使用するための、ビデオブロックおよびビデオスライスと関連付けられるシンタックス要素を生成し得る。
上で説明されたように、イントラ予測ユニット46は、動き推定ユニット42および動き補償ユニット44によって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。具体的には、イントラ予測ユニット46は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット46は、たとえば、別々の符号化パスの間に、様々なイントラ予測モードを使用して現在のブロックを符号化してもよく、イントラ予測ユニット46(または、いくつかの例ではモード選択ユニット40)は、試験されたモードから使用すべき適切なイントラ予測モードを選択してもよい。
たとえば、イントラ予測ユニット46は、様々な試験されるイントラ予測モードに対するレート歪み分析を使用してレート歪み値を計算し、試験されたモードの中から最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は一般に、符号化されたブロックと、符号化されたブロックを生み出すために符号化された元の符号化されていないブロックとの間の歪み(または誤差)の量、ならびに、符号化されたブロックを生み出すために使用されたビットレート(すなわち、ビットの数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化されたブロックに対する歪みおよびレートから比を計算し得る。
加えて、イントラ予測ユニット46は、深度モデリングモード(DMM)を使用して深度マップの深度ブロックをコーディングするように構成され得る。モード選択ユニット40は、たとえばレート歪み最適化(RDO)を使用して、利用可能なDMMモードがイントラ予測モードおよび他のDMMモードより良いコーディング結果を生み出すかどうかを決定し得る。深度マップに対応するテクスチャ画像に対するデータは、参照フレームメモリ64に記憶され得る。動き推定ユニット42および動き補償ユニット44はまた、深度マップの深度ブロックをインター予測するように構成され得る。
ブロックに対するイントラ予測モード(たとえば、従来のイントラ予測モードまたはDMMモードのうちの1つ)を選択した後、イントラ予測ユニット46は、ブロックに対する選択されたイントラ予測モードを示す情報をエントロピーコーディングユニット56に提供し得る。エントロピーコーディングユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル(符号語マッピングテーブルとも呼ばれる)を含み得る、送信されるビットストリーム構成データに、様々なブロックに対する符号化コンテキストの定義、最も確率の高いイントラ予測モードの指示、イントラ予測モードインデックステーブル、および、コンテキストの各々に対して使用すべき修正されたイントラ予測モードインデックステーブルを含め得る。
ビデオエンコーダ20は、コーディングされている元のビデオブロックから、モード選択ユニット40からの予測データを差し引くことによって、残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数のコンポーネントを表す。
変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を残差ブロックに適用して、残差変換係数値を備えるビデオブロックを生み出す。変換処理ユニット52は、DCTと概念的に同様の他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用され得る。
変換処理ユニット52は、残差ブロックに変換を適用し、残差変換係数のブロックを生み出す。この変換は、ピクセル値領域から、周波数領域などの変換領域に、残差情報を変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送信し得る。量子化ユニット54は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスは、係数の一部またはすべてと関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット54は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行してもよい。
量子化に続いて、エントロピーコーディングユニット56が、量子化された変換係数をコーディングする。たとえば、エントロピーコーディングユニット56は、コンテキスト適応可変長コーディング(CALVC)、コンテキスト適応バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディング、または別のエントロピーコーディング技法を実行し得る。コンテキストベースのエントロピーコーディングの場合、コンテキストは近隣ブロックに基づき得る。エントロピーコーディングユニット56によるエントロピーコーディングに続いて、符号化されたビットストリームが、別のデバイス(たとえば、ビデオデコーダ30)に送信され、または、より後の送信もしくは取り出しのために保管され得る。
逆量子化ユニット58および逆変換ユニット60は、逆量子化および逆変換をそれぞれ適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構築する。動き補償ユニット44は、参照フレームメモリ64のフレームのうちの1つの予測ブロックに残差ブロックを追加することによって、参照ブロックを計算し得る。動き補償ユニット44はまた、1つまたは複数の補間フィルタを再構築された残差ブロックに適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器62は、再構築された残差ブロックを動き補償ユニット44によって生み出される動き補償された予測ブロックに加算して、参照フレームメモリ64に記憶するための再構築されたビデオブロックを生み出す。再構築されたビデオブロックは、後続のビデオフレームの中のブロックをインターコーディングするために、参照ブロックとして動き推定ユニット42および動き補償ユニット44によって使用され得る。
図3は、ビデオコーディング技法を実施し得るビデオデコーダ30の例を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70、動き補償ユニット72、イントラ予測ユニット74、逆量子化ユニット76、逆変換ユニット78、参照フレームメモリ82、および加算器80を含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図2)に関して説明された符号化パスと全般に逆の復号パスを実行する。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得るが、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
復号プロセスの間、ビデオデコーダ30は、符号化されたビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化されたビデオビットストリームを、ビデオエンコーダ20から受信する。ビデオデコーダ30のエントロピー復号ユニット70は、ビットストリームをエントロピー復号して、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成する。エントロピー復号ユニット70は、動きベクトルおよび他のシンタックス要素を動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
ビデオスライスがイントラコーディングされる(I)スライスとしてコーディングされるとき、イントラ予測ユニット74は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックに対する予測データを生成し得る。ビデオフレームがインターコーディングされる(たとえば、B、P、またはGPB)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックに対する予測ブロックを生み出す。予測ブロックは、参照ピクチャリストのうちの1つの中の参照ピクチャのうちの1つから生み出され得る。ビデオデコーダ30は、参照フレームメモリ82に記憶されている参照ピクチャに基づくデフォルトの構築技法を使用して、リスト0およびリスト1という参照フレームリストを構築し得る。
動き補償ユニット72は、動きベクトルおよび他のシンタックス要素を解析することによって現在のビデオスライスのビデオブロックに対する予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックに対する予測ブロックを生み出す。たとえば、動き補償ユニット72は、受信されたシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラ予測またはインター予測)、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数に対する構築情報、スライスの各々のインター符号化されたビデオブロックに対する動きベクトル、スライスの各々のインターコーディングされたビデオブロックに対するインター予測ステータス、および現在のビデオスライスの中のビデオブロックを復号するための他の情報を決定する。
動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、ビデオブロックの符号化の間にビデオエンコーダ20によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間された値を計算し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生み出し得る。
深度マップに対応するテクスチャ画像に対するデータは、参照フレームメモリ82に記憶され得る。動き補償ユニット72はまた、深度マップの深度ブロックをインター予測するように構成され得る。
画像およびビデオ圧縮は急速な進歩をとげており、様々なコーディング規格につながった。そのようなコーディング規格には、ITU-T H.261、ISO/IEC Motion Picture Experts Group(MPEG)-1 Part 2、ITU-T H.262またはInternational Organization for Standardization(ISO)/International Electrotechnical Commission(IEC) MPEG-2 Part 2、ITU-T H.263、ISO/IEC MPEG-4 Part 2、ITU-T H.264またはISO/IEC MPEG-4 Part 10としても知られているAdvanced Video Coding(AVC)、ITU-T H.265またはMPEG-H Part 2としても知られているHigh Efficiency Video Coding(HEVC)がある。AVCは、Scalable Video Coding(SVC)、Multiview Video Coding(MVC)、およびMultiview Video Coding plus Depth(MVC+D)、ならびに3D AVC(3D-AVC)などの拡張を含む。HEVCは、Scalable HEVC(SHVC)、Multiview HEVC(MV-HEVC)、および3D HEVC(3D-HEVC)などの拡張を含む。
Versatile Video Coding(VVC)は、ITU-TおよびISO/IECのjoint video expert team(JVET)によって開発中の新しいビデオコーディング規格である。執筆の時点で、VVCの最新のワーキングドラフト(WD)は、JVET-K1001-v1に含まれる。JVET文書JVET-K0325-v3は、VVCの高水準シンタックスに対する更新を含む。
一般に、本開示は、VVC規格の開発中に基づく技法を説明する。しかしながら、この技法は他のビデオ/メディアコーデック仕様にも適用される。
ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性を低減または除去するために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)がビデオブロックへと区分されてもよく、このビデオブロックは、ツリーブロック、コーディングツリーブロック(CTB)、コーディングツリーユニット(CTU)、コーディングユニット(CU)、および/またはコーディングノードとも呼ばれ得る。ピクチャのイントラコーディングされた(I)スライスの中のビデオブロックは、同じピクチャの中の近隣ブロックの中の参照サンプルに関する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライスの中のビデオブロックは、同じピクチャの中の近隣ブロックの中の参照サンプルに関する空間予測、または他の参照ピクチャの中の参照サンプルに関する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
空間予測または時間予測は、コーディングされることになるブロックに対する予測ブロックをもたらす。残差データは、コーディングされることになる元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指し示す動きベクトルと、コーディングされたブロックと予測ブロックとの差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データはピクセル領域から変換領域に変換されてもよく、残差変換係数をもたらし、これは次いで量子化され得る。最初に2次元アレイに並べられる量子化された変換係数は、変換係数の1次元ベクトルを生み出すために走査されてもよく、さらなる圧縮を達成するために、エントロピーコーディングが適用されてもよい。
ビデオコーデック仕様において、ピクチャは、インター予測における参照ピクチャとしての使用、復号ピクチャバッファ(DPB)からのピクチャの出力、動きベクトルのスケーリング、加重予測などを含めた、複数の目的で特定される。AVCおよびHEVCにおいて、ピクチャはピクチャ順序カウント(POC)によって特定され得る。AVCおよびHEVCにおいて、DPBの中のピクチャは、「短期参照のために使用される」、「長期参照のために使用される」、または「参照のために使用されない」としてマークされ得る。ピクチャが「参照のために使用されない」とマークされると、もはや予測のためにそのピクチャを使用することはできない。ピクチャが出力にもはや必要とされないとき、ピクチャをDPBから削除することができる。
AVCにおいて、短期および長期という2つのタイプの参照ピクチャがある。参照ピクチャは、予測参照のためにもはや必要とされなくなると、「参照のために使用されない」とマークされ得る。これらの3つのステータス(短期、長期、および参照のために使用されない)の変換は、復号参照ピクチャマーキングプロセスによって制御される。暗黙的スライディングウィンドウプロセスおよび明示的メモリ管理制御操作(MMCO)プロセスという、2つの代替的な復号参照ピクチャマーキング機構がある。スライディングウィンドウプロセスは、参照フレームの数が所与の最大の数(シーケンスパラメータセット(SPS)におけるmax_num_ref_frames)に等しいとき、「参照のために使用されない」と短期参照ピクチャをマークする。短期参照ピクチャは、直近の復号された短期ピクチャがDPBに保持されるように、first-in、first-out方式で記憶される。
明示的MMCOプロセスは、複数のMMCOコマンドを含み得る。MMCOコマンドは、1つまたは複数の短期または長期参照ピクチャを「参照のために使用されない」とマークしてもよく、すべてのピクチャを「参照のために使用されない」とマークしてもよく、または、現在の参照ピクチャもしくは既存の短期参照ピクチャを長期としてマークして、次いで長期ピクチャインデックスをその長期参照ピクチャに割り当ててもよい。
AVCにおいて、参照ピクチャマーキング操作、ならびにDPBからのピクチャの出力および削除のためのプロセスは、ピクチャが復号された後に実行される。
HEVCは、参照ピクチャセット(RPS)と呼ばれる、参照ピクチャ管理のための異なる手法を導入する。AVCのMMCO/スライディングウィンドウプロセスと比較したときの、RPSの概念についての最も基本的な違いは、各々の特定のスライスに対して、現在のピクチャまたは任意の後続のピクチャによって使用される参照ピクチャの完全なセットが提供されるということである。したがって、現在または未来のピクチャによる使用のためにDPBに保持されなければならないすべてのピクチャの完全なセットがシグナリングされる。これは、DPBに対する相対的な変化のみがシグナリングされるAVC方式とは異なる。RPSの概念により、DPBに参照ピクチャの正しいステータスを維持するために、復号順序においてより早いピクチャからの情報は必要とされない。
RPSの利点を活用して誤り耐性を高めるために、HEVCにおけるピクチャ復号とDPB操作の順序は、AVCと比較して変更される。AVCでは、ピクチャマーキングおよびバッファ操作(DPBからの復号されたピクチャの出力と削除の両方)は一般に、現在のピクチャが復号された後に適用される。HEVCでは、RPSがまず現在のピクチャのスライスヘッダから復号され、次いで、ピクチャマーキングおよびバッファ操作が一般に現在のピクチャを復号する前に適用される。
HEVCにおける各スライスヘッダは、スライスを含むピクチャに対するRPSのシグナリングのためのパラメータを含まなければならない。唯一の例外は、瞬時復号リフレッシュ(IDR)スライスに対してはRPSがシグナリングされないことである。代わりに、RPSは空であると推測される。IDRピクチャに属しないIスライスに対して、復号順序においてIピクチャの前にあったピクチャからのインター予測を使用する、復号順序においてIピクチャの後にあるピクチャがあり得るので、IスライスがIピクチャに属する場合であっても、RPSが提供されることがある。RPSの中のピクチャの数は、SPSにおけるsps_max_dec_pic_bufferingシンタックス要素によって指定されるようなDPBサイズ限界を超えないものとする。
各ピクチャは、出力順序を表すPOC値と関連付けられる。スライスヘッダは、完全なPOC値の最下位ビット(LSB)を表す固定長の符号語、pic_order_cnt_lsbを含み、これはPOC LSBとしても知られている。符号語の長さはSPSにおいてシグナリングされ、たとえば4ビットと16ビットの間であり得る。RPSの概念は、参照ピクチャを特定するためにPOCを使用する。それ自体のPOC値の他に、各スライスヘッダは、RPSの中の各ピクチャのPOC値(またはLSB)のコーディングされた表現を直接含み、またはSPSから継承する。
各ピクチャに対するRPSは、5つのRPSサブセットとも呼ばれる、参照ピクチャの5つの異なるセットからなる。RefPicSetStCurrBeforeは、復号順序と出力順序の両方で現在のピクチャより前にあり、かつ現在のピクチャのインター予測において使用され得る、すべての短期参照ピクチャからなる。RefPicSetStCurrAfterは、復号順序において現在のピクチャの前にあり、出力順序において現在のピクチャの後にあり、かつ現在のピクチャのインター予測において使用され得る、すべての短期参照ピクチャからなる。RefPicSetStFollは、復号順序において現在のピクチャの後にあるピクチャのうちの1つまたは複数のインター予測において使用され得る、かつ現在のピクチャのインター予測において使用されない、すべての短期参照ピクチャからなる。RefPicSetLtCurrは、現在のピクチャのインター予測において使用され得るすべての長期参照ピクチャからなる。RefPicSetLtFollは、復号順序において現在のピクチャの後にあるピクチャのうちの1つまたは複数のインター予測において使用され得る、かつ現在のピクチャのインター予測において使用されない、すべての長期参照ピクチャからなる。
RPSは、現在のピクチャよりPOC値の低い短期参照ピクチャ、現在のピクチャよりPOC値の高い短期参照ピクチャ、および長期参照ピクチャという、異なるタイプの参照ピクチャにわたって反復する最大で3つのループを使用してシグナリングされる。加えて、参照ピクチャが現在のピクチャによる参照のために使用される(リストRefPicSetStCurrBefore、RefPicSetStCurrAfter、またはRefPicSetLtCurrのうちの1つに含まれる)か、またはされない(リストRefPicSetStFollまたはRefPicSetLtFollのうちの1つに含まれる)かを示すフラグ(used_by_curr_pic_X_flag)が、各参照ピクチャに対して送信される。
図4は、RPS400のすべてのサブセット402の中のエントリ(たとえば、ピクチャ)を伴う現在のピクチャB14を有するRPS400を示す。図4の例では、現在のピクチャB14は、5つのサブセット402(RPSサブセットとしても知られている)の各々の中の厳密に1つのピクチャを含む。P8は、RefPicSetStCurrBeforeと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが出力順序において前にありB14によって使用されるからである。P12は、RefPicSetStCurrAfterと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが出力順序において後にありB14によって使用されるからである。P13は、RefPicSetStFollと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャがB14によって使用されない(しかし、B15によって使用されるのでDPBに保持されなければならない)短期参照ピクチャであるからである。P4は、RefPicSetLtCurrと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャがB14によって使用される長期参照ピクチャであるからである。I0は、RefPicSetStLtFollと呼ばれるサブセット402の中のピクチャであり、それは、ピクチャが現在のピクチャによって使用されない(しかし、B15によって使用されるのでDPBに保持されなければならない)長期参照ピクチャであるからである。
RPS400の短期部分は、スライスヘッダに直接含まれ得る。代替的に、スライスヘッダは、アクティブなSPSにおいて送信されるRPSのあらかじめ定められたリストを参照するインデックスを表すシンタックス要素のみを含み得る。RPS402の短期部分は、以下で説明されるようなインターRPSと、ここで説明されるようなイントラRPSという、2つの異なる方式のいずれかを使用してシグナリングされ得る。イントラRPSが使用されるとき、参照ピクチャの2つの異なるリストの長さを表すnum_negative_picsおよびnum_positive_picsがシグナリングされる。これらのリストは、それぞれ、現在のピクチャと比較して負のPOC差分および正のPOC差分を伴う参照ピクチャを含む。これらのリストの中の各要素は、リストの中の前の要素に対する相対的なPOC値の差から1を引いたものを表す可変長符号を用いて符号化される。
シーケンスパラメータセットにおいて再発するRPSを符号化するとき、シーケンスパラメータセットにおいてすでに符号化されている別のRPSに関連して1つのRPS(たとえば、RPS400)の要素を符号化することが可能である。これはインターRPSと呼ばれる。シーケンスパラメータセットのすべてのRPSは同じネットワーク抽象化レイヤ(NAL)ユニットの中にあるので、この方法と関連付けられる誤り耐性問題はない。インターRPSシンタックスは、現在のピクチャのRPSが以前に復号されたピクチャのRPSから予測され得るという事実を利用する。これは、現在のピクチャのすべての参照ピクチャが以前のピクチャの参照ピクチャまたは以前に復号されたピクチャ自体のいずれかでなければならないからである。これらのピクチャのいずれが参照ピクチャであるべきであるか、および現在のピクチャの予測のために使用されるべきであるかを示すことだけが必要である。したがって、シンタックスは、予測子として使用するためのRPSを指し示すインデックス、現在のRPSのdelta POCを取得するために予測子のdelta_POCに加算されるべきdelta_POC、ならびに、どのピクチャが参照ピクチャであるか、およびそれらが未来のピクチャの予測のためだけに使用されるかどうかを示すためのインジケータのセットを備える。
長期参照ピクチャの使用を活用することを望むエンコーダは、SPSシンタックス要素long_term_ref_pics_present_flagを1に設定しなければならない。長期参照ピクチャは次いで、各長期ピクチャの完全なPOC値の最下位ビットを表す固定長の符号語pos_lst_ltによってスライスヘッダにおいてシグナリングされ得る。各pos_lsb_ltは、特定の長期ピクチャのためにシグナリングされたpic_order_cnt_lsb符号語のコピーである。SPSの中の長期ピクチャのセットをPOC LSB値のリストとしてシグナリングすることも可能である。長期ピクチャに対するPOC LSBは、このリストに対するインデックスとしてスライスヘッダにおいてシグナリングされ得る。
現在のピクチャに対する長期参照ピクチャの完全なPOC距離の計算を可能にするために、delta_poc_msb_cycle_lt_minus1シンタックス要素が追加でシグナリングされ得る。符号語delta_poc_msb_cycle_lt_minus1は、RPSの中の任意の他の参照ピクチャと同じPOC LSB値を有する各長期参照ピクチャに対してシグナリングされることが必要とされる。
HEVCにおける参照ピクチャマーキングのために、通常は、ピクチャ復号の前にDPBの中にある数のピクチャが存在する。それらのピクチャの一部は、予測に利用可能であり得るので、「参照のために使用される」とマークされる。他のピクチャは予測に利用不可能であり得るが出力を待機しているので、「参照のために使用されない」とマークされる。スライスヘッダが解析されると、スライスデータが復号される前に、ピクチャマーキングプロセスが行われる。DPBの中に存在し「参照のために使用される」とマークされるがRPSに含まれないピクチャは。「参照のために使用されない」とマークされる。DPBの中に存在しないが参照ピクチャセットに含まれるピクチャは、used_by_curr_pic_X_flagが0に等しいとき無視される。しかしながら、代わりにused_by_curr_pic_X_flagが1に等しいとき、この参照ピクチャは、現在のピクチャにおける予測のために使用されることが意図されていたが、失われている。そして、意図しないピクチャの喪失が推測され、デコーダは適切な行動をとらなければならない。
現在のピクチャを復号した後、それは「短期参照のために使用される」とマークされる。
次に、HEVCにおける参照ピクチャリスト構築が論じられる。HEVCでは、現在の復号されたピクチャ以外の参照ピクチャのデータ要素(たとえば、サンプル値または動きベクトル)から導出される予測を示すために、インター予測という用語が使用される。AVCのように、ピクチャは複数の参照ピクチャから予測され得る。インター予測のために使用される参照ピクチャは、1つまたは複数の参照ピクチャリストにおいて編成される。参照インデックスは、リストの中の参照ピクチャのいずれが予測信号を作成するために使用されるべきかを特定する。
単一の参照ピクチャリスト、リスト0がPスライスのために使用され、2つの参照ピクチャリスト、リスト0およびリスト1がBスライスのために使用される。AVCと同様に、HEVCにおける参照ピクチャリスト構築は、参照ピクチャリスト初期化および参照ピクチャリスト修正を含む。
AVCでは、リスト0に対する初期化プロセスは、(復号順序が使用される)Pスライスおよび(出力順序が使用される)Bスライスに対しては異なる。HEVCでは、出力順序は両方の場合において使用される。
参照ピクチャリスト初期化は、3つのRPSサブセット、RefPicSetStCurrBefore、RefPicSetStCurrAfter、およびRefPicSetLtCurrに基づいて、デフォルトのリスト0およびリスト1(スライスがBスライスである場合)を作成する。出力順序がより前(後)の短期ピクチャがまず、現在のピクチャまでのPOC距離の昇順でリスト0(リスト1)に挿入され、次いで、出力順序がより後(前)の短期ピクチャが、現在のピクチャまでのPOC距離の昇順でリスト0(リスト1)に挿入され、次いで最後に、長期ピクチャが末尾に挿入される。RPSに関して、リスト0に対して、RefPicSetStCurrBeforeの中のエントリは初期のリストに挿入され、RefPicSetStCurrAfterの中のエントリが後に続く。その後、利用可能であれば、RefPicSetLtCurrの中のエントリが付加される。
HEVCにおいて、リストの中のエントリの数がアクティブな参照ピクチャの目標の数(ピクチャパラメータセットまたはスライスヘッダにおいてシグナリングされる)より少ないとき、上記のプロセスが繰り返される(参照ピクチャリストにすでに追加されている参照ピクチャが再び追加される)。エントリの数が目標の数より多いとき、リストは切り詰められる。
参照ピクチャリストが初期化された後で、参照ピクチャリスト修正コマンドに基づいて、1つの特定の参照ピクチャがリストの中の1つより多くの位置において現れ得る事例を含めて、現在のピクチャに対する参照ピクチャが任意の順序で並べられ得るように、参照ピクチャリストが修正され得る。リスト修正の存在を示すフラグが1に設定されるとき、固定された数(参照ピクチャリストの中のエントリの目標の数に等しい)のコマンドがシグナリングされ、各コマンドが参照ピクチャリストに対して1つのエントリを挿入する。参照ピクチャは、RPSシグナリングから導出される現在のピクチャに対する参照ピクチャのリストへのインデックスによって、コマンドにおいて特定される。これは、H.264/AVCにおける参照ピクチャリスト修正とは異なり、ピクチャはピクチャ番号(frame_numシンタックス要素から導出される)または長期参照ピクチャインデックスのいずれかによって特定され、たとえば、初期リストの最初の2つのエントリを交換するために、または、初期リストの最初に1つのエントリを挿入して他方のエントリをシフトするために、より少数のコマンドしか必要とされないことがあり得る。
参照ピクチャリストは、現在のピクチャより大きいTemporalIdを伴う任意の参照ピクチャを含むことが許容される。HEVCビットストリームは、いくつかの時間的なサブレイヤからなり得る。各NALユニットは、TemporalId(temporal_id_plus1-1に等しい)によって示されるような特定のサブレイヤに属する。
参照ピクチャ管理は、参照ピクチャリストに直接基づく。JCT-VC文書JCTVC-G643は、DPBの中の参照ピクチャの管理のために、参照ピクチャリスト0、参照ピクチャリスト1、およびアイドル参照ピクチャリストという3つの参照ピクチャリストを直接使用するための手法を含み、それにより、1)スライディングウィンドウおよびMMCOプロセス、ならびにAVCにおける参照ピクチャリスト初期化および修正プロセス、または、2)参照ピクチャセット、ならびにHEVCにおける参照ピクチャリスト初期化および修正プロセスのいずれかを含む、シグナリングおよび復号プロセスの必要をなくす。
参照ピクチャ管理のための手法にはいくつかの問題があり得る。AVC手法は、スライディングウィンドウ、MMCOプロセス、ならびに参照ピクチャリスト初期化および修正プロセスを伴い、これらは複雑である。さらに、ピクチャの喪失は、さらなるインター予測参照の目的でどのピクチャがDPBの中にあるべきであったかに関しての、DPBのステータスの喪失につながり得る。HEVC手法には、DPBステータスの喪失の問題がない。しかしながら、HEVC手法は、複雑な参照ピクチャセットシグナリングおよび導出プロセス、ならびに参照ピクチャリスト初期化および修正プロセスを伴い、これらは複雑である。DPBの中の参照ピクチャの管理のために、参照ピクチャリスト0、参照ピクチャリスト1、ならびにアイドル参照ピクチャリストという3つの参照ピクチャリストを直接使用するための、JCTVC-G643における手法は、第3の参照ピクチャリスト、すなわちアイドル参照ピクチャリスト、「短期」部分およびue(v)コーディングされる「長期」部分としてのPOC差分の二部コーディング、POC差分コーディングのためのTemporalIdベースのPOC粒度、「短期参照のために使用される」または「長期参照のために使用される」のマーキングを決定するためのPOC差分の二部コーディングの使用、何らかのより前の参照ピクチャリスト記述の末尾から参照ピクチャを削除することによって参照ピクチャリストを指定する能力を可能にする、参照ピクチャリストサブセット記述、シンタックス要素ref_pic_list_copy_flagによって可能にされる参照ピクチャリストコピーモード、ならびに参照ピクチャリスト記述プロセスを伴う。先行する態様の各々が手法を不必要に複雑にする。さらに、JCTVC-G643における参照ピクチャリストに対する復号プロセスも複雑である。長期参照ピクチャのシグナリングは、スライスヘッダにおけるPOCサイクルのシグナリングを必要とし得る。これは効率的ではない。
上で列挙された問題に対処するために、本明細書で開示されるのは以下の解決法であり、それらの各々が個別に適用されてもよく、それらの一部が組合せで適用されてもよい。1)参照ピクチャマーキングが、2つの参照ピクチャリスト、すなわち参照ピクチャリスト0および参照ピクチャリスト1に直接基づく。1a)2つの参照ピクチャリストの導出のための情報が、SPS、PPS、および/またはスライスヘッダの中のシンタックス要素とシンタックス構造に基づいてシグナリングされる。1b)ピクチャに対する2つの参照ピクチャリストの各々が、参照ピクチャリスト構造において明示的にシグナリングされる。1b.i)1つまたは複数の参照ピクチャリスト構造がSPSにおいてシグナリングされてもよく、それらの各々がスライスヘッダからのインデックスによって参照されてもよい。1b.ii)参照ピクチャリスト0および1の各々がスライスヘッダにおいて直接シグナリングされ得る。2)2つの参照ピクチャリストの導出のための情報は、すべてのタイプのスライス、すなわち、B(双予測)、P(単予測)、およびI(イントラ)スライスのためにシグナリングされる。スライスという用語は、HEVCまたは最新のVVC WDにおけるスライスなどのコーディングツリーユニットの集合体を指し、HEVCにおけるタイルなどのコーディングツリーユニットの何らかの他の集合体も指し得る。3)2つの参照ピクチャリストが、すべてのタイプのスライス、すなわちBスライス、Pスライス、およびIスライスに対して生成される。4)2つの参照ピクチャリストが、参照ピクチャリスト初期化プロセスおよび参照ピクチャリスト修正プロセスを使用することなく直接構築される。5)2つの参照ピクチャリストの各々において、現在のピクチャのインター予測のために使用され得る参照ピクチャが、リストの最初のある数のエントリのみによって参照され得る。これらのエントリはリストの中のアクティブエントリと呼ばれ、他のエントリはリストの中の非アクティブエントリと呼ばれる。リストの中の全体のエントリの数とアクティブエントリの数の両方が導出され得る。6)参照ピクチャリストの中の非アクティブエントリによって参照されるピクチャは、参照ピクチャリストの中の別のエントリ、または他の参照ピクチャリストの中のエントリによって参照されることが許容されない。7)長期参照ピクチャは、ある数のPOC LSBのみによって特定され、この数は、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBの数より大きいことがあり、この数はSPSにおいて示される。8)参照ピクチャリスト構造はスライスヘッダのみにおいてシグナリングされ、短期参照ピクチャと長期参照ピクチャの両方がそれらのPOC LSBによって特定され、それらは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なるビットの数によって表されてもよく、短期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数と、長期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数は異なってもよい。9)参照ピクチャリスト構造はスライスヘッダのみにおいてシグナリングされ、短期参照ピクチャと長期参照ピクチャは区別されず、すべての参照ピクチャが単に参照ピクチャと名付けられ、参照ピクチャはそれらのPOC LSBによって特定され、それらのPOC LSBは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なる数のビットによって表されてもよい。
本開示の第1の実施形態が提供される。この説明は最新のVVC WDに対するものである。この実施形態では、参照ピクチャリスト0および参照ピクチャリスト1の各々に対して1つの、参照ピクチャリスト構造の2つのセットがSPSにおいてシグナリングされる。
本明細書で使用される用語のいくつかの定義が与えられる。イントラランダムアクセスポイント(IRAP)ピクチャ:各ビデオコーディングレイヤ(VCL)NALユニットがIRAP_NUTに等しいnal_unit_typeを有するコーディングされたピクチャ。非IRAPピクチャ:各VCL NALユニットがNON_IRAP_NUTに等しいnal_unit_typeを有するコーディングされたピクチャ。参照ピクチャリスト:PまたはBスライスのインター予測のために使用される参照ピクチャのリスト。2つの参照ピクチャリスト、参照ピクチャリスト0および参照ピクチャリスト1は、非IRAPピクチャの各スライスに対して生成される。ピクチャと関連付けられる2つの参照ピクチャリストの中のすべてのエントリによって参照される固有のピクチャのセットは、関連するピクチャ、または復号順序において関連するピクチャの後にある任意のピクチャのインター予測のために使用され得る、すべての参照ピクチャからなる。Pスライスのスライスデータを復号するために、参照ピクチャリスト0だけがインター予測のために使用される。Bスライスのスライスデータを復号するために、両方の参照ピクチャリストがインター予測のために使用される。Iスライスのスライスデータを復号するために、インター予測のために参照ピクチャリストは使用されない。長期参照ピクチャ(LTRP):「長期参照のために使用される」とマークされるピクチャ。短期参照ピクチャ(STRP):「短期参照のために使用される」とマークされるピクチャ。
「短期参照のために使用される」、「長期参照のために使用される」、または「参照のために使用されない」という用語は、VVCの8.3.3項「参照ピクチャマーキングのための復号プロセス」において定義され、HEVCの8.3.2項「参照ピクチャセットのための復号プロセス」において定義され、AVCの7.4.3.3項「復号参照ピクチャマーキングセマンティクス」において定義される。本明細書では、これらの用語は同じ意味を有する。
第1の実施形態のための関連するシンタックスおよびセマンティクスが以下で与えられる。
NALユニットヘッダシンタックス
シーケンスパラメータセットRaw Byte Sequence Payload(RBSP)シンタックス
ピクチャパラメータセットRBSPシンタックス
スライスヘッダシンタックス
参照ピクチャリスト構造シンタックス
NALユニットヘッダセマンティクス
forbidden_zero_bitは0に等しいものとする。nal_unit_typeはNALユニットに含まれるRBSPデータ構造のタイプを指定する。
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、TemporalId=nuh_temporal_id_plus1-1のように指定される。nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、SEI NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
シーケンスパラメータセットRBSPセマンティクス
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのために復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を、MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)として指定する。log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。0に等しいlong_term_ref_pics_flagは、LTRPがCVSにおいていずれのコーディングされるピクチャのインター予測にも使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、LTRPがCVSにおいて1つまたは複数のコーディングされるピクチャのインター予測のために使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのために復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を、MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb)として指定する。additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。num_ref_pic_lists_in_sps[i]は、SPSに含まれる、listIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の数を指定する。num_ref_pic_lists_in_sps[i]の値は、両端を含めて0から64の範囲にあるものとする。listIdx(0または1に等しい)の各値に対して、デコーダは、全体でnum_ref_pic_lists_in_sps[i]個のref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のためにメモリを割り振るべきであり、それは、現在のピクチャのスライスヘッダにおいて直接シグナリングされる1つのref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造があり得るからである。
ピクチャパラメータセットRBSPセマンティクス
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
スライスヘッダセマンティクス
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeはTable 7-3(表7)に従ってスライスのコーディングタイプを指定する。
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、アクティブSPSの中のlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、現在のピクチャのスライスヘッダに直接含まれる、listIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造に基づいて導出されることを指定する。num_ref_pic_lists_in_sps[i]が0に等しいとき、ref_pic_list_sps_flag[i]の値は0に等しいものとする。ref_pic_list_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用されるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の、アクティブSPSに含まれるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_idx[i]は、Ceil(Log2(num_ref_pic_lists_in_sps[i]))ビットによって表される。存在しないとき、ref_pic_list_idx[i]の値は0に等しいと推測される。ref_pic_list_idx[i]の値は、両端を含めて0からnum_ref_pic_lists_in_sps[i]-1の範囲にあるものとする。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在することと、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することとを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を、NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1として指定する。num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]は、num_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]は、num_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[i]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。
代替として、0または1に等しいiに対して、上記の後で次のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
参照ピクチャリスト構造セマンティクス
ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造は、参照ピクチャリストlistIdxに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[listIdx]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_strp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx][rplsIdx]の値は、0に等しいと推測される。変数NumEntriesInList[listIdx][rplsIdx]は、NumEntriesInList[listIdx][rplsIdx]=num_strp_entries[listIdx][rplsIdx]+num_ltrp_entries[listIdx][rplsIdx]のように導出される。NumEntriesInList[listIdx][rplsIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][rplsIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[listIdx][rplsIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][rplsIdx][i]の合計は、num_ltrp_entries[listIdx][rplsIdx]に等しくなければならないということが、ビットストリーム適合の要件である。delta_poc_st[listIdx][rplsIdx][i]は、i番目のエントリがref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
復号プロセスが論じられる。復号プロセスは、現在のピクチャCurrPicに対して次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの最初のスライスだけに対して呼び出される必要がある。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」または「長期参照のために使用される」とマークされ得る。これは、ピクチャの最初のスライスだけに対して呼び出される必要がある。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「短期参照のために使用される」とマークされる。
NALユニット復号プロセスが論じられる。このプロセスへの入力は、現在のピクチャのNALユニットおよび関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
ピクチャ順序カウントのための復号プロセスを含む、スライス復号プロセスが論じられる。このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。
現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
PicOrderCntValは次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。
復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする。関数PicOrderCnt(picX)は、PicOrderCnt(picX)=ピクチャpicXのPicOrderCntValのように規定される。関数DiffPicOrderCnt(picA,picB)は、DiffPicOrderCnt(picA,picB)=PicOrderCnt(picA)-PicOrderCnt(picB)のように規定される。ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じコーディングビデオシーケンス(CVS)の中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
参照ピクチャリスト構築のための復号プロセスが論じられる。このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i][RplsIdx[i]]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][RplsIdx[i]][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
参照ピクチャマーキングのための復号プロセス
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値によって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。次のことが当てはまる。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
本開示の第2の実施形態の詳細な説明が与えられる。このセクションは、上で説明されたような本開示の第2の実施形態を詳細に記述する。説明は最新のVVC WDに対するものである。この実施形態では、参照ピクチャリスト構造の1つのセットがSPSにおいてシグナリングされ、参照ピクチャリスト0と参照ピクチャリスト1によって共有される。
シーケンスパラメータセットRBSPシンタックス
ピクチャパラメータセットRBSPシンタックス
スライスヘッダシンタックス
参照ピクチャリスト構造シンタックス
NALユニットヘッダセマンティクスが論じられる。
シーケンスパラメータセットRBSPセマンティクス
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのために復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を、MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)として指定する。log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。num_ref_pic_lists_in_spsは、SPSに含まれるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の数を指定する。num_ref_pic_lists_in_spsの値は、両端を含めて0から128の範囲にあるものとする。デコーダは、全体でnum_short_term_ref_pic_sets+2個のref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のためにメモリを割り振るべきであり、それは、現在のピクチャのスライスヘッダにおいて直接シグナリングされる2つのref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造があることがあるからである。0に等しいlong_term_ref_pics_flagは、CVSの中のいずれのコーディングされるピクチャのインター予測にもLTRPが使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、CVSの中の1つまたは複数のコーディングされるピクチャのインター予測のためにLTRPが使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を、MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb)として指定する。additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。
ピクチャパラメータセットRBSPセマンティクスが論じられる。
スライスヘッダセマンティクス
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeはTable 7-3(表12)に従ってスライスのコーディングタイプを指定する。
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、アクティブSPSの中のref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、現在のピクチャのスライスヘッダに直接含まれる、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造に基づいて導出されることを指定する。num_ref_pic_lists_in_spsが0に等しいとき、ref_pic_list_sps_flag[i]の値は0に等しいものとする。ref_pic_list_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用されるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の、アクティブSPSに含まれるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_idx[i]は、Ceil(Log2(num_ref_pic_lists_in_sps))ビットによって表される。存在しないとき、ref_pic_list_idx[i]の値は0に等しいと推測される。ref_pic_list_idx[i]の値は、両端を含めて0からnum_ref_pic_lists_in_sps-1の範囲にあるものとする。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在することと、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することとを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。
num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を、NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1のように指定する。num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]は、num_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]は、num_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[1]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。
代替として、0または1に等しいiに対して、上記の後で次のことが当てはまる。rplsIdx1をref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]をnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
参照ピクチャリスト構造セマンティクス
ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造は、参照ピクチャリスト候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[i]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_strp_entries[rplsIdx]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[rplsIdx]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[rplsIdx]の値は、0に等しいと推測される。
変数NumEntriesInList[rplsIdx]は、NumEntriesInList[rplsIdx]=num_strp_entries[rplsIdx]+num_ltrp_entries[rplsIdx]のように導出される。NumEntriesInList[rplsIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[rplsIdx][i]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[rplsIdx][i]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[rplsIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[rplsIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[rplsIdx][i]の合計は、num_ltrp_entries[rplsIdx]に等しくなければならないということが、ビットストリーム適合の要件である。delta_poc_st[rplsIdx][i]は、i番目のエントリがref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[rplsIdx][i]の値は、両端を含めて0から215-1の範囲にあるものとする。poc_lsb_lt[rplsIdx][i]は、ref_pic_list_struct(rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
本開示の第1の実施形態の詳細な説明の一部として規定される一般的な復号プロセスが適用される。NALユニット復号プロセスが説明される。本開示の第1の実施形態の詳細な説明の一部として規定されるNALユニット復号プロセスが適用される。
スライス復号プロセスが提供される。
ピクチャ順序カウントのための復号プロセス
本開示の第1の実施形態の詳細な説明の一部として規定されるピクチャ順序カウントのための復号プロセスが適用される。
参照ピクチャリスト構築のための復号プロセス
このプロセスは、非IRAPピクチャの各スライスのための復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、参照ピクチャリストはスライスデータの復号において使用されない。Pスライスを復号するとき、スライスデータの復号において、参照ピクチャリスト0(すなわち、RefPicList[0])のみが使用される。Bスライスを復号するとき、スライスデータの復号において、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方が使用される。非IRAPピクチャの各スライスのための復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングおよびスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]はビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。
参照ピクチャリストRefPicList[0]およびRefPicList[1]が次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps
for(j=0,pocBase=PicOrderCntVal;j< NumEntriesInList[RplsIdx[i]];j++){
if(!lt_ref_pic_flag[RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[RplsIdx[i]]-1の範囲にあるjに対する各エントリRefPicList[i][j]は、lt_ref_pic_flag[RplsIdx[i]][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
参照ピクチャマーキングのための復号プロセスが論じられる。
このプロセスは、スライスヘッダの復号と、スライスの参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値によって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。
次のことが当てはまる。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
図5は、ビデオデコーダ(たとえば、ビデオデコーダ30)によって実施されるコーディングされたビデオビットストリームを復号する方法500の実施形態である。方法500は、復号されたビットストリームがビデオエンコーダ(たとえば、ビデオエンコーダ20)から直接または間接的に受信された後で実行され得る。方法500は、復号プロセスを改善する(たとえば、復号プロセスを従来の復号プロセスよりも効率的にする、高速にするなど)ために実行されてもよく、それは、参照ピクチャリストの中のアクティブエントリのデフォルトの数が参照ピクチャリスト構造の中のエントリの数より大きいとき、参照ピクチャリストの中のアクティブエントリの数が参照ピクチャリスト構造の中のエントリの数に等しく設定されるからである。これは、HEVCおよびAVCにおいて参照ピクチャリストが扱われる方式とは対照的である。したがって、実際に、コーデックの性能を改善することができ、これはより良いユーザ体験につながる。
ブロック502において、参照ピクチャリスト構造が、コーディングされたビデオビットストリームにおいて表される現在のスライスに対して取得される。ある実施形態では、参照ピクチャリスト構造はある数のエントリを含む。ある実施形態では、参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。ある実施形態では、順序は0から示される値までである。ある実施形態では、示される値は、0からsps_max_dec_pic_buffering_minus1によって示される値までである。
ブロック504において、参照ピクチャリストの中のデフォルトの数のアクティブエントリが現在のスライスに対して取得される。ある実施形態では、参照ピクチャリストはRefPictList[0]またはRefPictList[1]と呼ばれる。
ブロック506において、参照ピクチャリストが現在のスライスに対して構築される。ある実施形態では、参照ピクチャリストは、ある数のアクティブエントリおよびある数の非アクティブエントリを含む。
ブロック508において、参照ピクチャリストの中のアクティブエントリのデフォルトの数が参照ピクチャリスト構造の中のエントリの数より大きいとき、参照ピクチャリストの中のアクティブエントリの数が参照ピクチャリスト構造の中のエントリの数に等しく設定される。
ブロック510において、現在のスライスの少なくとも1つの再構築されたブロックが、参照ピクチャリストの少なくとも1つのアクティブエントリに基づいて取得される。ある実施形態では、電子デバイスのディスプレイに表示される画像を生成するために、少なくとも1つの再構築されたブロックが使用される。
ある実施形態では、参照ピクチャリストは、インター予測のために使用される参照ピクチャのリストを備える。ある実施形態では、インター予測はPスライスまたはBスライスのためのものである。
ある実施形態では、スライスヘッダは、ref_pic_list_sps_flag[i]と呼ばれる参照ピクチャリストシーケンスパラメータセット(SPS)フラグを含む。このフラグが1に等しいとき、第iの参照ピクチャリスト、すなわちRefPictList[i]は、スライスヘッダにおいて直接シグナリングされず、SPSから参照される。このフラグが0に等しいとき、第iの参照ピクチャリスト、すなわちRefPictList[i]は、スライスヘッダにおいて直接シグナリングされ、SPSから参照されない。ある実施形態では、スライスヘッダは、num_ref_idx_active_override_flagによって指定される番号参照インデックスアクティブ上書きフラグを含む。このフラグが1に等しいとき、各参照ピクチャリストの中のアクティブエントリの数は、PPSにおいてシグナリングされるデフォルトの値である。このフラグが0に等しいとき、各参照ピクチャリストの中のアクティブエントリの数は、スライスヘッダにおいて明示的にシグナリングされる。
ある実施形態では、参照ピクチャリストはRefPictList[0]またはRefPictList[1]と呼ばれ、参照ピクチャリスト構造の中のエントリの順序は、参照ピクチャリストの中の対応する参照ピクチャの順序と同じである。
第1および第2の実施形態に基づく代替的な実施形態の概要が提供される。
このセクションは、本開示の他の代替的な実施形態の簡単な概要を提供する。概要は、第1の実施形態の説明に対するものである。しかしながら、以下の代替的な実施形態に対する本開示の基本的な概念は、第2の実施形態に対する開示に加えて実装形態に対して適用可能である。そのような実装形態は、態様が第1の実施形態に加えてどのように実装されるかということと同じ趣旨である。
短期参照ピクチャエントリのデルタPOCのセマンティクス
本開示の1つの代替的な実施形態では、参照ピクチャリスト構造ref_pic_list_struct()の中のi番目のエントリのデルタPOCを指定するシンタックス要素のセマンティクスは、現在のピクチャとそのi番目のエントリと関連付けられる参照ピクチャとのPOC差分として定義される。本明細書で使用される記述の一部は、現在の標準的なドラフト(たとえば、VVCワーキングドラフト)に対する相対的なものであり、差分のみが示され、または説明される。削除されたテキストが取り消し線によって示され、あらゆる追加されるテキストが強調される。
delta_poc_st[listIdx][rplsIdx][i]のセマンティクスは次のように定義される。delta_poc_st[listIdx][rplsIdx][i]は、現在のピクチャのピクチャ順序カウント値とi番目のエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。
参照ピクチャリスト構築プロセスにおける式が更新される必要がある。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=PicOrderCntVal-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
長期参照ピクチャエントリのシグナリング
本開示の1つの代替的な実施形態では、短期参照ピクチャエントリを含む同じ参照ピクチャリスト構造において、長期参照ピクチャエントリはシグナリングされない。長期参照ピクチャエントリは別個の構造においてシグナリングされ、構造の中の各エントリに対して、最終的な参照ピクチャリストにおける対応するエントリインデックスの導出のための、長期参照ピクチャエントリの意図される位置を記述するシンタックス要素がある。
シーケンスパラメータセットRBSPシンタックス
スライスヘッダシンタックス
参照ピクチャリスト構造シンタックス
長期参照ピクチャリスト構造シンタックス
シーケンスパラメータセットRBSPセマンティクス
num_ref_pic_lists_lt_in_spsは、SPSに含まれるref_pic_list_lt_struct(ltRplsIdx)シンタックス構造の数を指定する。num_ref_pic_lists_lt_in_spsの値は、両端を含めて0から64の範囲にあるものとする。存在しないとき、num_ref_pic_lists_lt_in_spsの値は0に等しいと推測される。
スライスヘッダセマンティクス
ref_pic_list_lt_idx[i]は、現在のピクチャの参照ピクチャリストiの導出のために使用される、アクティブSPSに含まれるref_pic_list_lt_struct(ltRplsIdx)シンタックス構造のリストへのインデックスを指定する。シンタックス要素ref_pic_list_lt_idx[i]は、Ceil(Log2(num_ref_pic_lists_lt_in_sps))ビットによって表される。ref_pic_list_lt_idxの値は、両端を含めて0からnum_ref_pic_lists_lt_in_sps-1の範囲にあるものとする。
参照ピクチャリスト構造セマンティクス
ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、短期参照ピクチャリストlistIdxに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のリストへのインデックスに等しいref_pic_list_idx[listIdx]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_strp_entries[listIdx][rplsIdx]は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中のSTRPエントリの数を指定する。
delta_poc_st[listIdx][rplsIdx][i]は、i番目のエントリがref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][rplsIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。
長期参照ピクチャリスト構造セマンティクス
ref_pic_list_lt_struct(ltRplsIdx)シンタックス構造は、SPSまたはスライスヘッダに存在し得る。シンタックス構造がスライスヘッダに含まれるかSPSに含まれるかに応じて、次のことが当てはまる。スライスヘッダに存在する場合、ref_pic_list_lt_struct(ltRplsIdx)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の長期参照ピクチャリストを指定する。それ以外(SPSに存在する)の場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は、長期参照ピクチャリストに対する候補を指定し、このセクションの残りにおいて指定されるセマンティクスにおける「現在のピクチャ」という用語は、1)SPSに含まれるref_pic_list_lt_struct(ltRplsIdx)シンタックス構造のリストへのインデックスに等しいref_pic_list_lt_idx[i]を含む1つまたは複数のスライスを有し、2)アクティブSPSとしてSPSを有するCVSの中にある、各ピクチャを指す。num_ltrp_entries[ltRplsIdx]は、ref_pic_list_lt_struct(ltRplsIdx)シンタックス構造の中のLTRPエントリの数を指定する。poc_lsb_lt[rplsIdx][i]は、ref_pic_list_lt_struct(rplsIdx)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。lt_pos_idx[rplsIdx][i]は、参照ピクチャリスト構築の後の参照ピクチャリストにおけるref_pic_list_lt_struct(rplsIdx)シンタックス構造の中のi番目のエントリのインデックスを指定する。lt_pos_idx[rplsIdx][i]シンタックス要素の長さは、Log2(sps_max_dec_pic_buffering_minus1+1)ビットである。num_ltrp_entries[ltRplsIdx]が1より大きいとき、poc_lsb_lt[rplsIdx][i]およびlt_pos_idx[rplsIdx][i]は、lt_pos_idx[rplsIdx][i]値の降順であるものとする。
復号プロセスが説明される。
参照ピクチャリスト構築のための復号プロセス
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}
if(ref_pic_list_lt_sps_flag[i])
LtRplsIdx=ref_pic_list_lt_idx[i]
else
LtRplsIdx=num_ref_pic_lists_lt_in_sps[i]
for(j=0;j<num_ltrp_entries[LtRplsIdx[i]];j++){
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[LtRplsIdx[i]][j]に等しい参照picAがDPBの中にある)
for(k=sps_max_dec_pic_buffering_minus1;k>lt_pos_idx[LtRplsIdx[i]][j];k--)
RefPicList[i][k]=RefPicList[i][k-1]
RefPicList[i][lt_pos_idx[LtRplsIdx[i]][j]]=picA
}else{
for(k=sps_max_dec_pic_buffering_minus1;k>lt_pos_idx[LtRplsIdx[i]][j];k--)
RefPicList[i][k]=RefPicList[i][k-1]
RefPicList[i][lt_pos_idx[RplsIdx[i]][j]]="参照ピクチャなし"
}
}
}
0または1に等しい各iに対して、次のことが当てはまる。RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i][RplsIdx[i]]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][RplsIdx[i][j]]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にあることがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、RefPicList[i]の中のエントリの数はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
短期参照ピクチャエントリの数のシグナリングが論じられる。
本開示の1つの代替的な実施形態では、参照ピクチャリスト構造ref_pic_list_struct()の中の短期参照ピクチャと関連付けられるエントリの数を指定するシンタックス要素は、num_strp_entries[listIdx][rplsIdx]ではなくnum_strp_entries_minus1[listIdx][rplsIdx]として定義される。この変更は、参照ピクチャリストのシグナリングに対して2つの効果を有する。すなわち、これは、要素がue(v)を使用してコーディングされるので、参照ピクチャリスト構造の中の短期参照ピクチャと関連付けられるエントリの数をシグナリングするためのビットを節約し得る。これは、各参照ピクチャリストが少なくとも1つの短期参照ピクチャを含むものとするという制約を暗黙的に課す。この案に対処するには、第1の実施形態に対するいくつかの変更が必要である。
スライスヘッダにおける参照ピクチャリストシグナリングのために、必要な参照ピクチャリスト、すなわち、IまたはPスライスに対する1つの参照ピクチャリスト(すなわち、参照ピクチャリスト0)およびBスライスに対する2つの参照ピクチャリスト(すなわち、参照ピクチャリスト0と参照ピクチャリスト1の両方)が、スライスタイプに従ってシグナリングされる。スライスヘッダシンタックスは次のように変更される。
スライスヘッダの上記の変更を適用することによって(すなわち、IまたはPスライスに対する参照ピクチャリスト0、Bスライスに対する参照ピクチャ0および参照ピクチャ1)、この方式において、Pスライスに対して1つの短期参照ピクチャしかないという問題が避けられる。しかしながら、重複した短期参照ピクチャを、参照ピクチャリスト0および参照ピクチャリスト1においてシグナリングすることはできず、参照ピクチャリスト1の中のアクティブエントリの数は0に等しくなければならないので、参照ピクチャリスト1の中のエントリは非アクティブエントリである。num_strp_entries_minus1[listIdx][rplsIdx]のセマンティクスは次のように変更される。num_strp_entries_minus1[listIdx][rplsIdx]に1を足したものが、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。変数NumEntriesInList[listIdx][rplsIdx]は、NumRefPicEntriesInRpl[listIdx][rplsIdx]=num_strp_entries_minus1[listIdx][rplsIdx]+1+numb_ltrp_entries[listIdx][rplsIdx]のように導出される。NumRefPicEntries[listIdx][rplsIdx]の値は、両端を含めて1からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。
参照ピクチャリストに現在のピクチャを含めるのを許容すること
本開示の1つの代替的な実施形態では、現在のピクチャは、その参照ピクチャリストに含まれることが許容される。この特徴をサポートするために、第1および第2の実施形態の記述に対して必要なシンタックスおよびセマンティクスの変更はない。しかしながら、参照ピクチャリスト構築のための復号プロセスにおいて説明されるビットストリーム適合性の制約は、次のように修正される必要がある。次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャがRefPicList[i]の中のエントリによって参照されるとき、0または1に等しいiに対して、エントリインデックスはNumRefIdxActive[i]未満であるものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。現在のピクチャがsetOfRefPicsに含まれない場合、setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、それ以外の場合、setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1+1以下であるものとする。setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
参照ピクチャリストの中のLTRPエントリに対して異なるPOC LSBビットを使用すること
本開示の1つの代替的な実施形態では、参照ピクチャリスト構造の中の長期参照ピクチャを特定するために使用されるビットの数は、参照ピクチャリスト0と参照ピクチャリスト1との差であることが許容される。この特徴をサポートするために、次の変更が必要である。
additional_lt_poc_lsb[i]は、iに等しい参照ピクチャリストlistIdxに対する復号プロセスにおいて使用される変数MaxLtPicOrderCntLsb[i]の値を、MaxLtPicOrderCntLsb[i]=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_lt_poc_lsb[i])のように指定する。additional_lt_poc_lsb[i]の値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。存在しないとき、additional_lt_poc_lsb[i]の値は0に等しいと推測される。
poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsb[listIdx]の値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb[listIdx])ビットである。
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]である参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb[i]-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
参照ピクチャリスト0および1に対して同じref_pic_list_sps_flagを使用すること
本開示の1つの代替的な実施形態では、参照ピクチャリスト0および参照ピクチャリスト1がアクティブSPSの中のref_pic_list_struct()シンタックス構造に基づいて導出されるかどうかを示すために2つのフラグを使用する代わりに、両方の参照ピクチャのために1つのフラグが使用される。そのような代替形態には、両方の参照ピクチャリストがアクティブSPSの中のref_pic_list_struct()に基づいて導出されること、または、それらが現在のピクチャのスライスヘッダに直接含まれるref_pic_list_struct()シンタックス構造に基づいて導出されることという、いずれかの制約がある。この特徴をサポートするために、以下の変更が必要である。
1に等しいref_pic_list_sps_flagは、現在のピクチャの参照ピクチャリストが、アクティブSPSの中のref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)に基づいて導出されることを指定する。0に等しいref_pic_list_sps_flagは、現在のピクチャの参照ピクチャリストが現在のピクチャのスライスヘッダに直接含まれるref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)に基づいて導出されることを指定する。num_ref_pic_lists_in_sps[0]またはnum_ref_pic_lists_in_sps[1]のいずれかが0に等しいとき、ref_pic_list_sps_flagの値は0に等しいものとする。pic_lists_in_sps[1]が0に等しいとき、ref_pic_list_sps_flagの値は0に等しいものとする。
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag)
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
長期参照ピクチャエントリのためのデルタPOC最上位ビット(MSB)のシグナリング
本開示の1つの代替的な実施形態において、ref_pic_list_struct()の中の長期参照ピクチャエントリのPOC LSBを表すために追加のビットを使用するのではなく、長期参照ピクチャを区別するためにPOC MSBサイクルがシグナリングされる。シグナリングされるとき、POC MSBサイクル情報は、長期参照ピクチャを参照するref_pic_list_struct()の中の各エントリに対してシグナリングされる。ref_pic_list_struct()シンタックス構造は、SPSにおいてシグナリングされず、スライスヘッダにおいてのみシグナリングされる。この特徴をサポートするために、次の変更が必要である。
ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、スライスヘッダに存在し得る。スライスヘッダに存在するとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。num_strp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx][rplsIdx]の値は0に等しいと推測される。
変数NumEntriesInList[listIdx]は次のように導出される。
NumRefPicEntriesInRpl[listIdx]=num_strp_entries[listIdx]+num_ltrp_entries[listIdx]のように導出される。
NumRefPicEntries[listIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][i]の値は0に等しいと推測される。両端を含めて0からNumRefPicEntries[listIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][i]の合計は、num_ltrp_entries[listIdx]に等しくなければならないということが、ビットストリーム適合の要件である。delta_poc_st[listIdx][i]は、i番目のエントリがref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリであるとき、現在のピクチャのピクチャ順序カウント値とi番目のエントリにより参照されるピクチャのピクチャ順序カウント値との差を指定し、または、i番目のエントリがSTRPエントリであるが、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中の最初のSTRPエントリではないとき、i番目のエントリにより参照されるピクチャのピクチャ順序カウント値とref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中の以前のSTRPエントリによって参照されるピクチャのピクチャ順序カウント値との差を指定する。delta_poc_st[listIdx][i]の値は、両端を含めて-215から215-1の範囲にあるものとする。poc_lsb_lt[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][i]シンタックス要素の長さは、Log2(MaxPicOrderCntLsb)ビットである。1に等しいdelta_poc_msb_present_flag[listIdx][i]は、delta_poc_msb_cycle_lt[listIdx][i]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[listIdx][i]は、delta_poc_msb_cycle_lt[listIdx][i]が存在しないことを指定する。num_ltrp_entries[listIdx]が0より大きく、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderCntLsbがpoc_lsb_lt[listIdx][i]に等しい参照ピクチャがDPBの中に1つより多くあるとき、delta_poc_msb_present_flag[listIdx][i]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[listIdx][i]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリのピクチャ順序カウント値の最上位ビットの値を決定するために使用される。delta_poc_msb_cycle_lt[listIdx][i]が存在しないとき、それは0に等しいと推測される。ピクチャ順序カウントのための復号プロセスに対する変更:
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){
if(!lt_ref_pic_flag[i][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][j])+poc_lsb_lt[i][j])に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
代替的に、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が以下のように更新され得るように差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
prevMsbCycle=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){ (8-5)
if(!lt_ref_pic_flag[i][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][j]+ prevMsbCycle))+poc_lsb_lt[i][j])に等しい参照picAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][j]
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
各STRPは、そのPicOrderCntVal値によって特定される。各LTRPに対して、delta_poc_msb_present_flag[listIdx][i]が1に等しいRefPicList[0]またはRefPicList[1]の中のエントリによってLTRPが参照される場合、それはそのPicOrderCntVal値によって特定され、それ以外の場合、それはそのPicOrderCntVal値のLog2(MaxPicOrderCntLsb)個のLSBによって特定される。
長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1
この実施形態は、前のセクションにおいて説明された実施形態に対する代替形態を提供する。前のセクションにおける考え方と同様に、ref_pic_list_struct()の中で長期参照ピクチャのPOC LSBを表すために追加のビットを使用する代わりに、長期参照ピクチャを区別するためにPOC MSBサイクルがシグナリングされる。しかしながら、この代替形態では、シグナリングされると、POC MSBサイクル情報は、ref_pic_list_struct()内でシグナリングされず、代わりに、POC MSBサイクル情報が必要とされるときに、スライスヘッダにおいてシグナリングされる。ref_pic_list_struct()シンタックス構造は、SPSおよびスライスヘッダにおいてシグナリングされ得る。
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。NumLtrpEntries[i]が0より大きく、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリに対して、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderCntLsbがpoc_lsb_lt[i][rplsIdx][jj]に等しい参照ピクチャがDPBの中に1つより多くあり、jjがref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリであるref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のエントリのエントリインデックスであるとき、delta_poc_msb_present_flag[i][j]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[i][j]は、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリのピクチャ順序カウント値の最上位ビットの値を決定するために、delta_poc_msb_cycle_lt[i][j]が使用される。delta_poc_msb_cycle_lt[i][j]が存在しないとき、それは0に等しいと推測される。
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。NumLtrpEntries[i]が0より大きく、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderCntLsbがpoc_lsb_lt[i][rplsIdx][j]に等しい参照ピクチャがDPBの中に1つより多くあるとき、delta_poc_msb_present_flag[i][j]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[i][j]は、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のエントリのピクチャ順序カウント値の最上位ビットの値を決定するために使用される。delta_poc_msb_cycle_lt[i][j]が存在しないとき、それは0に等しいと推測される。poc_lsb_lt[listIdx][rplsIdx][i]は、ref_pic_list_struct(listIdx,rplsIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][rplsIdx][i]シンタックス要素の長さは、Log2(MaxPicOrderCntLsb)ビットである。
ピクチャ順序カウントのための復号プロセスに対する変更:
スライスヘッダ設計1に対して、参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[ i ]=ref_pic_list_idx[ i ]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][msbCycleIdx])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
代替的に、スライスヘッダ設計1に対して、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が次のように更新され得るように、差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
pevMsbCycle=0
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][msbCycleIdx]+prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][msbCycleIdx]
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
スライスヘッダ設計2に対して、参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][j]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*delta_poc_msb_cycle_lt[i][j])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
代替的に、スライスヘッダ設計2に対して、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が次のように更新され得るように差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
prevMsbCycle=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][j]が0に等しい&&
PicOrderCntVal&(MaxPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][j]+ prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][j]
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
各STRPは、そのPicOrderCntVal値によって特定される。各LTRPに対して、delta_poc_msb_present_flag[i][j]が1に等しいRefPicList[0]またはRefPicList[1]の中のエントリによってLTRPが参照される場合、それはそのPicOrderCnVal値によって特定され、それ以外の場合、それはそのPicOrderCntVal値のLog2(MaxPicOrderCntLsb)個のLSBによって特定される。
長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態2
本開示の1つの代替的な実施形態では、第1の実施形態または第2の実施形態において説明される開示は、上で説明された実施形態と組み合わされ、それぞれ、「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリング」および「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1」と名付けられ得る。組み合わされることになる本開示の態様は、additional_lt_poc_lsb(すなわち、第1の実施形態または第2の実施形態からの)およびPOC MSBサイクル情報(すなわち、上で説明され、「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリング」または「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1」と名付けられる実施形態からの)のシグナリングである。この組合せ、すなわち、第1の実施形態と、上で説明され「長期参照ピクチャエントリのためのデルタPOC MSBのシグナリングの代替形態1」と名付けられる実施形態との組合せがどのように行われ得るかの一例が、次のように説明される。
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][i]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。NumLtrpEntries[i]が0より大きく、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリに対して、このスライスヘッダが復号されるときに、PicOrderCntVal modulo MaxPicOrderLtCntLsbがpoc_lsb_lt[i][rplsIdx][jj]に等しい参照ピクチャがDPBの中に1つより多くあり、jjがref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリであるref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のエントリのエントリインデックスであるとき、delta_poc_msb_present_flag[i][j]は1に等しいものとする。存在しないとき、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。delta_poc_msb_cycle_lt[i][j]は、ref_pic_list_struct(i,rplsIdx,1)シンタックス構造の中のj番目のLTRPエントリのピクチャ順序カウント値の最上位ビットの値を決定するために、delta_poc_msb_cycle_lt[i][j]が使用される。delta_poc_msb_cycle_lt[i][j]が存在しないとき、それは0に等しいと推測される。
ピクチャ順序カウントのための復号プロセスに対する変更:
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxLtPicOrderCntLsb*delta_poc_msb_cycle_lt[i][msbCycleIdx])+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
代替的に、delta_poc_msb_cycle_lt[listIdx][i]のセマンティクスは、参照ピクチャリスト構築が以下のように更新され得るように差分の差分として表現され得る。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
if(ref_pic_list_sps_flag[i])
RplsIdx[i]=ref_pic_list_idx[i]
else
RplsIdx[i]=num_ref_pic_lists_in_sps[i]
prevMsbCycle=0
msbCycleIdx=0
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i][RplsIdx[i]];j++){
if(!lt_ref_pic_flag[i][RplsIdx[i]][j]){
RefPicPocList[i][j]=pocBase-delta_poc_st[i][RplsIdx[i]][j]
if(PicOrderCntValがRefPicPocList[i][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
pocBase=RefPicPocList[i][j]
}else{
if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が0に等しい&&
PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][RplsIdx[i]][j]に等しい参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else if(delta_poc_msb_cycle_lt[i][msbCycleIdx]が1に等しい&&
PicOrderCntValが(MaxLtPicOrderCntLsb*(delta_poc_msb_cycle_lt[i][msbCycleIdx]+prevMsbCycle)+poc_lsb_lt[i][RplsIdx[i]][j])に等しい参照ピクチャpicAがDPBの中にある){
RefPicList[i][j]=picA
prevMsbCycle+=delta_poc_msb_cycle_lt[i][msbCycleIdx]
msbCycleIdx++
}else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i][RplsIdx[i]]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中のいずれの非アクティブエントリのエントリインデックスも、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
各STRPは、そのPicOrderCntVal値によって特定される。各LTRPに対して、delta_poc_msb_present_flag[i][j]が1に等しいRefPicList[0]またはRefPicList[1]の中のエントリによってLTRPが参照される場合、それはそのPicOrderCntVal値によって特定され、それ以外の場合、それはそのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。
短期参照ピクチャと長期参照ピクチャを区別してスライスヘッダにおいて参照ピクチャリストを常にシグナリングすること
このセクションは、本開示の別の代替的な実施形態を説明する。この説明は、最新のVVC WDに対するものである(すなわち、JVET-K1001-v1の最新のVVC WDに対する差分のみが説明されるが、以下で言及されない最新のVVC WDのテキストはそのまま適用される)。この代替的な実施形態は次のように要約される。参照ピクチャリスト構造はスライスヘッダのみにおいてシグナリングされる。短期参照ピクチャと長期参照ピクチャの両方がそれらのPOC LSBによって特定され、それらのPOC LSBは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なる数のビットによって表され得る。さらに、短期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数と、長期参照ピクチャを特定するためのPOC LSBを表すために使用されるビットの数は異なり得る。
NALユニットヘッダシンタックス
シーケンスパラメータセットRBSPシンタックス
ピクチャパラメータセットRBSPシンタックス
スライスヘッダシンタックス
参照ピクチャリスト構造シンタックス
NALユニットヘッダセマンティクス
forbidden_zero_bitは0に等しいものとする。nal_unit_typeは、NALユニットに含まれるRBSPデータ構造のタイプを指定する。
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、TemporalId=nuh_temporal_id_plus1-1のように指定される。
nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、補足強化情報(SEI)NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
シーケンスパラメータセットRBSPセマンティクス
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのための復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を次のように指定する。
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)
log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。additional_st_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxStPicOrderCntLsbの値を次のように指定する。
MaxStPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_st_poc_lsb)
additional_st_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。0に等しいlong_term_ref_pics_flagは、LTRPがCVSの中のいずれのコーディングされたピクチャのインター予測にも使用されないことを指定する。1に等しいlong_term_ref_pics_flagは、LTRPがCVSの中の1つまたは複数のコーディングされたピクチャのインター予測に使用され得ることを指定する。additional_lt_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxLtPicOrderCntLsbの値を次のように指定する。
MaxLtPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_st_poc_lsb+additional_lt_poc_lsb)
additional_lt_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4-additional_st_poc_lsbの範囲にあるものとする。存在しないとき、additional_lt_poc_lsbの値は0に等しいと推測される。
ピクチャパラメータセットRBSPセマンティクス
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
スライスヘッダセマンティクス
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeは、Table 7-3(表33)に従ってスライスのコーディングタイプを指定する。
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。
slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在し、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を次のように指定する。
NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1
num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]はnum_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]はnum_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[1]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。代替として、0または1に等しいiに対して、上記の後で以下のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
参照ピクチャリスト構造セマンティクス
ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、スライスヘッダに存在し得る。スライスヘッダに存在するとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。num_strp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のSTRPエントリの数を指定する。num_ltrp_entries[listIdx]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のLTRPエントリの数を指定する。存在しないとき、num_ltrp_entries[listIdx]の値は0に等しいと推測される。変数NumEntriesInList[listIdx]は次のように導出される。
NumEntriesInList[listIdx]=num_strp_entries[listIdx]+num_ltrp_entries[listIdx]
NumEntriesInList[listIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。1に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがLTRPエントリであることを指定する。0に等しいlt_ref_pic_flag[listIdx][i]は、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリがSTRPエントリであることを指定する。存在しないとき、lt_ref_pic_flag[listIdx][i]の値は0に等しいと推測される。両端を含めて0からNumEntriesInList[listIdx]-1の範囲にあるiのすべての値に対するlt_ref_pic_flag[listIdx][i]の合計がnum_ltrp_entries[listIdx]に等しいことが、ビットストリーム適合の要件である。poc_lsb_st[listIdx][i]は、lt_ref_pic_flag[listIdx][i]が0に等しいとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxStPicOrderCntLsbの値を指定する。poc_lsb_st[listIdx][i]シンタックス要素の長さは、Log2(MaxStPicOrderCntLsb)ビットである。poc_lsb_lt[listIdx][i]は、lt_ref_pic_flag[listIdx][i]が1に等しいとき、ref_pic_list_struct(listIdx,ltrpFlag)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxLtPicOrderCntLsbの値を指定する。poc_lsb_lt[listIdx][i]シンタックス要素の長さは、Log2(MaxLtPicOrderCntLsb)ビットである。
復号プロセスが論じられる。
一般的な復号プロセス
現在のピクチャCurrPicに対して、復号プロセスは次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」または「長期参照のために使用される」とマークされ得る。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「短期参照のために使用される」とマークされる。
NALユニット復号プロセス
このプロセスへの入力は、現在のピクチャのNALユニットおよびそれらの関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
スライス復号プロセス
ピクチャ順序カウントのための復号プロセス
このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
PicOrderCntValは、次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの短期参照ピクチャに対するPicOrderCntVal&(MaxStPicOrderCntLsb-1)の値は同じではないものとする。復号プロセスの任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCnvVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする。
関数PicOrderCnt(picX)は、次のように規定される。
PicOrderCnt(picX)=ピクチャpicXのPicOrderCntVal
関数DiffPicOrderCnt(picA,picB)は、次のように規定される。
DiffPicOrderCnt(picA,piB)=PicOrderCnt(picA)-PicOrderCnt(picB)
ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じCVSの中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
参照ピクチャリスト構築のための復号プロセス
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。
参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
for(j=0;j<NumEntriesInList[i];j++){
if(lt_ref_pic_flag[i][j]){
if(PicOrderCntVal&(MaxLtPicOrderCntLsb-1)がpoc_lsb_lt[i][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
for(i=0;i<2;i++){
for(j=0;j<NumEntriesInList[i];j++){
if(!lt_ref_pic_flag[i][j]){
if(PicOrderCntVal&(MaxStPicOrderCntLsb-1)がpoc_lsb_st[i][j]に等しい短期参照ピクチャpicAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
}
0または1に等しい各iに対して、次のことが当てはまる。
RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。両端を含めて、0からNumEntriesInList[i]-1の範囲にあるjに対するRefPicList[i][j]の中の各エントリは、lt_ref_pic_flag[i][j]が0に等しい場合STRPエントリと呼ばれ、それ以外の場合LTRPエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にないことがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。ピクチャのスライスのRefPicList[0]またはRefPicList[1]の中のSTRPエントリ、および同じスライスまたは同じピクチャの異なるスライスのRefPicList[0]もしくはRefPicList[1]の中のLTRPエントリは、同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるLTRPエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
参照ピクチャマーキングのための復号プロセス
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」または「長期参照のために使用される」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」、「短期参照のために使用される」、または「長期参照のために使用される」ものとして、しかしこれら3つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。ピクチャが「参照のために使用される」とマークされるものとして参照されるとき、これは、ピクチャが「短期参照のために使用される」または「長期参照のために使用される」(しかし両方ではない)とマークされることを集合的に指す。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。STRPは、それらのPicOrderCntVal値のLog2(MaxStPicOrderCntLsb)個のLSBによって特定される。LTRPは、それらのPicOrderCntVal値のLog2(MaxLtPicOrderCntLsb)個のLSBによって特定される。
次のことが当てはまる。RefPicList[0]またはRefPicList[1]の中の各LTRPエントリに対して、参照されるピクチャがSTRPであるとき、ピクチャは「長期参照のために使用される」とマークされる。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
短期参照ピクチャと長期参照ピクチャを区別せずにスライスヘッダにおいて参照ピクチャリストを常にシグナリングすること
このセクションは、本開示の別の代替的な実施形態を説明する。この説明は、最新のVVC WDに対するものである(すなわち、JVET-K1001-v1の最新のVVC WDに対する差分のみが説明されるが、以下で言及されない最新のVVC WDのテキストはそのまま適用される)。この代替的な実施形態は次のように要約される。参照ピクチャリスト構造は、スライスヘッダのみにおいてシグナリングされる。短期参照ピクチャと長期参照ピクチャは区別されない。すべての参照ピクチャは単に参照ピクチャと名付けられる。参照ピクチャはそれらのPOC LSBによって特定され、それらのPOC LSBは、POC値の導出のためにスライスヘッダにおいてシグナリングされるPOC LSBを表すために使用されるビットの数とは異なる数のビットによって表され得る。
略語。VVC WDの第4項のテキストが適用される。
NALユニットヘッダシンタックス
シーケンスパラメータセットRBSPシンタックス
ピクチャパラメータセットRBSPシンタックス
スライスヘッダシンタックス
参照ピクチャリスト構造シンタックス
NALユニットヘッダセマンティクス
forbidden_zero_bitは0に等しいものとする。nal_unit_typeはNALユニットに含まれるRBSPデータ構造のタイプを指定する。
nuh_temporal_id_plus1から1を引いたものは、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は0に等しくないものとする。変数TemporalIdは、次のように指定される。
TemporalId=nuh_temporal_id_plus1-1
nal_unit_typeがIRAP_NUTに等しいとき、コーディングされるスライスはIRAPピクチャに属し、TemporalIdは0に等しいものとする。TemporalIdの値は、アクセスユニットのすべてのVCL NALユニットに対して同じであるものとする。コーディングされたピクチャまたはアクセスユニットのTemporalIdの値は、コーディングされたピクチャまたはアクセスユニットのVCL NALユニットのTemporalIdの値である。非VCL NALユニットに対するTemporalIdの値は次のように制約される。
nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しいものとし、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。そうではなく、nal_unit_typeがEOS_NUTまたはEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。それ以外の場合、TemporalIdはNALユニットを含むアクセスユニットのTemporalId以上であるものとする。NALユニットが非VCL NALユニットであるとき、TemporalIdの値は、非VCL NALユニットが適用されるすべてのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しいとき、TemporalIdは含んでいるアクセスユニットのTemporalId以上であることがあり、それは、すべてのピクチャパラメータセット(PPS)がビットストリームの最初に含まれ得るからであり、第1のコーディングされたピクチャは0に等しいTemporalIdを有する。nal_unit_typeがPREFIX_SEI_NUTまたはSUFFIX_SEI_NUTに等しいとき、TemporalIdは、含んでいるアクセスユニットのTemporalId以上であることがあり、それは、SEI NALユニットが、SEI NALユニットを含んでいるアクセスユニットのTemporalIdよりTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報を含み得るからである。nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、ITU-T|ISO/IECによって今後規定され得る。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を伴うNALユニットを無視する(すなわち、ビットストリームから削除して廃棄する)ものとする。
シーケンスパラメータセットRBSPセマンティクス
log2_max_pic_order_cnt_lsb_minus4は、ピクチャ順序カウントのための復号プロセスにおいて使用される変数MaxPicOrderCntLsbの値を次のように指定する。
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4)
log2_max_pic_order_cnt_lsb_minus4の値は、両端を含めて0から12の範囲にあるものとする。sps_max_dec_pic_buffering_minus1に1を足したものは、ピクチャストレージバッファの単位で、CVSのための復号ピクチャバッファの最大の必要とされるサイズを指定する。sps_max_dec_pic_buffering_minus1の値は、両端を含めて0からMaxDpbSize-1の範囲にあるものとし、MaxDpbSizeは他の箇所で指定されるようなものである。additional_ref_poc_lsbは、参照ピクチャリストのための復号プロセスにおいて使用される変数MaxRefPicOrderCntLsbの値を次のように指定する。
MaxRefPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4+4+additional_ref_poc_lsb)
additional_ref_poc_lsbの値は、両端を含めて0から32-log2_max_pic_order_cnt_lsb_minus4-4の範囲にあるものとする。
ピクチャパラメータセットRBSPセマンティクス
num_ref_idx_default_active_minus1[i]に1を足したものは、iが0に等しいとき、num_ref_idx_active_override_flagが0に等しいPまたはBスライスに対する変数NumRefIdxActive[0]の推測される値を指定し、iが1に等しいとき、num_ref_idx_active_override_flagが0に等しいBスライスに対するNumRefIdxActive[1]の推測される値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。
スライスヘッダセマンティクス
存在するとき、スライスヘッダシンタックス要素slice_pic_parameter_set_idおよびslice_pic_order_cnt_lsbの各々の値は、コーディングされたピクチャのすべてのスライスヘッダにおいて同じであるものとする。slice_typeは、Table 7-3(表40)に従ってスライスのコーディングタイプを指定する。
nal_unit_typeがIRAP_NUTに等しい、すなわちピクチャがIRAPピクチャであるとき、slice_typeは2に等しいものとする。slice_pic_order_cnt_lsbは、現在のピクチャに対するピクチャ順序カウントmodulo MaxPicOrderCntLsbを指定する。slice_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。slice_pic_order_cnt_lsbの値は、両端を含めて0からMaxPicOrderCntLsb-1の範囲にあるものとする。slice_pic_order_cnt_lsbが存在しないとき、slice_pic_order_cnt_lsbは0に等しいと推測される。1に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]がPおよびBスライスに対して存在し、シンタックス要素num_ref_idx_active_minus1[1]がBスライスに対して存在することを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]およびnum_ref_idx_active_minus1[1]が存在しないことを指定する。num_ref_idx_active_minus1[i]は、存在するとき、変数NumRefIdxActive[i]の値を次のように指定する。
NumRefIdxActive[i]=num_ref_idx_active_minus1[i]+1
num_ref_idx_active_minus1[i]の値は、両端を含めて0から14の範囲にあるものとする。NumRefIdxActive[i]-1の値は、スライスを復号するために使用され得る参照ピクチャリストiに対する最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiに対する参照インデックスは、スライスを復号するために使用されないことがある。0または1に等しいiに対して、現在のスライスがBスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[i]はnum_ref_idx_default_active_minus1[i]+1に等しいと推測される。現在のスライスがPスライスであり、num_ref_idx_active_override_flagが0に等しいとき、NumRefIdxActive[0]はnum_ref_idx_default_active_minus1[0]+1に等しいと推測される。現在のスライスがPスライスであるとき、NumRefIdxActive[i]は0に等しいと推測される。現在のスライスがIスライスであるとき、NumRefIdxActive[0]とNumRefIdxActive[1]の両方が0に等しいと推測される。代替として、0または1に等しいiに対して、上記の後で以下のことが当てはまる。rplsIdx1がref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]に等しく設定されるものとし、numRpEntries[i]がnum_strp_entries[i][rplsIdx1]+num_ltrp_entries[i][rplsIdx1]に等しいものとする。NumRefIdxActive[i]がnumRpEntries[i]より大きいとき、NumRefIdxActive[i]の値はnumRpEntries[i]に等しく設定される。
参照ピクチャリスト構造セマンティクス
ref_pic_list_struct(listIdx)シンタックス構造は、スライスヘッダに存在し得る。スライスヘッダに存在するとき、ref_pic_list_struct(listIdx)シンタックス構造は、現在のピクチャ(スライスを含むピクチャ)の参照ピクチャリストlistIdxを指定する。num_ref_entries[listIdx]は、ref_pic_list_struct(listIdx)シンタックス構造の中のエントリの数を指定する。変数NumEntriesInList[listIdx]は次のように導出される。
NumRefEntriesInRpl[listIdx]=num_ref_entries[listIdx]
NumRefPicEntries[listIdx]の値は、両端を含めて0からsps_max_dec_pic_buffering_minus1の範囲にあるものとする。poc_ref_lsb[listIdx][i]は、ref_pic_list_struct(listIdx)シンタックス構造の中のi番目のエントリによって参照されるピクチャのピクチャ順序カウントmodulo MaxRefPicOrderCntLsbの値を指定する。poc_ref_lsb[listIdx][i]シンタックス要素の長さはLog2(MaxRefPicOrderCntLsb)ビットである。
復号プロセスが論じられる。
一般的な復号プロセス
現在のピクチャCurrPicに対して、復号プロセスは次のように動作する。NALユニットの復号が以下で規定される。以下のプロセスは、スライスヘッダレイヤの中の、および上記のシンタックス要素を使用して、次の復号プロセスを規定する。ピクチャ順序カウントに関する変数および関数が導出される。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリスト構築のための復号プロセスは、参照ピクチャリスト0(RefPicList[0])および参照ピクチャリスト1(RefPicList[1])の導出のために呼び出される。参照ピクチャマーキングのための復号プロセスが呼び出され、参照ピクチャは、「参照のために使用されない」とマークされ得る。これは、ピクチャの第1のスライスだけに対して呼び出される必要がある。コーディングツリーユニット、スケーリング、変換、ループ内フィルタリングなどのための復号プロセスが呼び出される。現在のピクチャのすべてのスライスが復号された後で、現在の復号されるピクチャは「参照のために使用される」とマークされる。
NALユニット復号プロセス
このプロセスへの入力は、現在のピクチャのNALユニットおよびそれらの関連する非VCL NALユニットである。このプロセスの出力は、NALユニット内に封入される構文解析されたRBSPシンタックス構造である。各NALユニットのための復号プロセスは、NALユニットからRBSPシンタックス構造を抽出し、次いでRBSPシンタックス構造を構文解析する。
スライス復号プロセス
ピクチャ順序カウントのための復号プロセス
このプロセスの出力は、現在のピクチャのピクチャ順序カウントであるPicOrderCntValである。マージモードにおける動きパラメータの導出および動きベクトルの予測のために、ならびにデコーダ適合性確認のために、ピクチャ順序カウントが、ピクチャを特定するために使用される。各々のコーディングされたピクチャは、PicOrderCntValと表記されるピクチャ順序カウント変数と関連付けられる。現在のピクチャがIRAPピクチャではないとき、変数prevPicOrderCntLsbおよびprevPicOrderCntMsbは次のように導出される。prevTid0Picを、0に等しいTemporalIdを有する、復号順序において以前のピクチャとする。変数prevPicOrderCntLsbは、prevTid0Picのslice_pic_order_cnt_lsbに等しく設定される。変数prevPicOrderCntMsbは、prevTid0PicのPicOrderCntMsbに等しく設定される。現在のピクチャの変数PicOrderCntMsbは次のように導出される。現在のピクチャがIRAPピクチャである場合、PicOrderCntMsbは0に等しく設定される。それ以外の場合、PicOrderCntMsbは次のように導出される。
if((slice_pic_order_cnt_lsb<prevPicOrderCntLsb)&&
((prevPicOrderCntLsb-slice_pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb
else if((slice_pic_order_cnt_lsb>prevPicOrderCntLsb)&&
((slice_pic_order_cnt_lsb-prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))
PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb
else
PicOrderCntMsb=prevPicOrderCntMsb
PicOrderCntValは、次のように導出される。
PicOrderCntVal=PicOrderCntMsb+slice_pic_order_cnt_lsb
すべてのIRAPピクチャが0に等しいPicOrderCntValを有し、それは、slice_pic_order_cnt_lsbがIRAPピクチャに対して0に等しいと推測され、prevPicOrderCntLsbとprevPicOrderCntMsbがともに0に等しく設定されるからである。PicOrderCntValの値は、両端を含めて-231から231-1の範囲にあるものとする。1つのCVSにおいて、任意の2つのコーディングされたピクチャに対するPicOrderCntVal値は、同じではないものとする。復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxRefPicOrderCntLsb-1)の値は同じではないものとする。
関数PicOrderCnt(picX)は、次のように規定される。
PicOrderCnt(picX)=ピクチャpicXのPicOrderCntVal
関数DiffPicOrderCnt(picA,picB)は、次のように規定される。
DiffPicOrderCnt(picA,piB)=PicOrderCnt(picA)-PicOrderCnt(picB)
ビットストリームは、両端を含めて-215から215-1の範囲にない復号プロセスにおいて使用されるDiffPicOrderCnt(picA,picB)の値をもたらすデータを含まないものとする。Xを現在のピクチャとし、YおよびZを同じCVSの中の2つの他のピクチャであるものとすると、YおよびZは、DiffPicOrderCnt(X,Y)およびDiffPicOrderCnt(X,Z)がともに正であるとき、またはともに負であるとき、Xから同じ出力順序方向にあると考えられる。
参照ピクチャリスト構築のための復号プロセス
このプロセスは、非IRAPピクチャの各スライスに対する復号プロセスの最初に呼び出される。参照ピクチャは参照インデックスを通じてアドレス指定される。参照インデックスは参照ピクチャリストへのインデックスである。Iスライスを復号するとき、スライスデータの復号の際に参照ピクチャリストは使用されない。Pスライスを復号するとき、参照ピクチャリスト0(すなわち、RefPicList[0])だけがスライスデータの復号の際に使用される。Bスライスを復号するとき、参照ピクチャリスト0と参照ピクチャリスト1(すなわち、RefPicList[1])の両方がスライスデータの復号の際に使用される。非IRAPピクチャの各スライスに対する復号プロセスの最初において、参照ピクチャリストRefPicList[0]およびRefPicList[1]が導出される。参照ピクチャリストは、参照ピクチャのマーキングまたはスライスデータの復号において使用される。ピクチャの最初のスライスではない非IRAPピクチャのIスライスに対して、RefPicList[0]およびRefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、それらの導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。ピクチャの最初のスライスではないPスライスに対して、RefPicList[1]が、ビットストリーム適合性確認の目的で導出され得るが、その導出は、現在のピクチャまたは復号順序において現在のピクチャの後にあるピクチャの復号に必要ではない。参照ピクチャリストRefPicList[0]およびRefPicList[1]は次のように構築される。
for(i=0;i<2;i++){
for(j=0,pocBase=PicOrderCntVal;j<NumEntriesInList[i];j++){
if(PicOrderCntVal&(MaxRefPicOrderCntLsb-1)がpoc_ref_lsb[i][j]に等しい参照picAがDPBの中にある)
RefPicList[i][j]=picA
else
RefPicList[i][j]="参照ピクチャなし"
}
}
0または1に等しい各iに対して、RefPicList[i]の中の最初のNumRefIdxActive[i]エントリは、RefPicList[i]の中のアクティブエントリと呼ばれ、RefPicList[i]の中の他のエントリは、RefPicList[i]の中の非アクティブエントリと呼ばれる。特定のピクチャが、RefPicList[0]の中のエントリとRefPicList[1]の中のエントリの両方によって参照されることがあり得る。特定のピクチャが、RefPicList[0]の中の1つより多くのエントリまたはRefPicList[1]の中の1つより多くのエントリによって参照されることもあり得る。RefPicList[0]の中のアクティブエントリおよびRefPicList[1]の中のアクティブエントリは集合的に、現在のピクチャのインター予測のために使用され得るすべての参照ピクチャと、復号順序において現在のピクチャの後にある1つまたは複数のピクチャとを指す。RefPicList[0]の中の非アクティブエントリおよびRefPicList[1]の中の非アクティブエントリは、現在のピクチャのインター予測のために使用されないが復号順序において現在のピクチャの後にある1つまたは複数のピクチャのためのインター予測において使用され得る、すべての参照ピクチャを集合的に指す。対応するピクチャがDPBの中に存在しないので、「参照ピクチャなし」に等しい1つまたは複数のエントリがRefPicList[0]またはRefPicList[1]の中にないことがある。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[0]の中の各非アクティブエントリは無視されるべきである。「参照ピクチャなし」に等しいRefPicList[0]またはRefPicList[1]の中の各アクティブエントリに対して、意図しないピクチャの喪失が推測されるべきである。
次の制約が適用されることが、ビットストリーム適合の要件である。0または1に等しい各iに対して、NumEntriesInList[i]はNumRefIdxActive[i]未満ではないものとする。RefPicList[0]またはRefPicList[1]の中の各アクティブエントリによって参照されるピクチャは、DPBに存在するものとし、現在のピクチャ以下のTemporalIdを有するものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリのエントリインデックスは、現在のピクチャの復号のための参照インデックスとして使用されないものとする。任意選択で、次の制約がさらに規定され得る。RefPicList[0]またはRefPicList[1]の中の非アクティブエントリは、RefPicList[0]またはRefPicList[1]の中の他のエントリと同じピクチャを参照しないものとする。現在のピクチャ自体が、RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないものとする。現在のピクチャのPicOrderCntValとエントリによって参照されるピクチャのPicOrderCntValとの差が224以上であるエントリは、RefPicList[0]またはRefPicList[1]の中にないものとする。setOfRefPicsを、RefPicList[0]の中のすべてのエントリおよびRefPicList[1]の中のすべてのエントリによって参照される固有のピクチャのセットとする。setOfRefPicsの中のピクチャの数はsps_max_dec_pic_buffering_minus1以下であるものとし、setOfRefPicsはピクチャのすべてのスライスに対して同じであるものとする。
参照ピクチャマーキングのための復号プロセス
このプロセスは、スライスヘッダの復号と、スライスに対する参照ピクチャリスト構築のための復号プロセスの後で、しかしスライスデータの復号の前に、ピクチャごとに一度呼び出される。このプロセスにより、DPBの中の1つまたは複数の参照ピクチャが、「参照のために使用されない」とマークされるようになり得る。DPBの中の復号されたピクチャは、復号プロセスの動作の間の任意の所与の瞬間において、「参照のために使用されない」または「参照のために使用される」ものとして、しかしこれら2つのうちの1つだけとしてマークされ得る。これらのマーキングのうちの1つをピクチャに割り当てることは、適用可能なときこれらのマーキングのうちの別のものを暗黙的に排除する。現在のピクチャがIRAPピクチャであるとき、現在DPBの中にあるすべての参照ピクチャ(もしあれば)が、「参照のために使用されない」とマークされる。DPBの中の参照ピクチャは、それらのPicOrderCntVal値のLog2(MaxRefPicOrderCntLsb)個のLSBによって特定される。RefPicList[0]またはRefPicList[1]の中のいずれのエントリによっても参照されないDPBの中の各参照ピクチャは、「参照のために使用されない」とマークされる。
さらに別の代替的な実施形態
このセクションは、「短期参照ピクチャと長期参照ピクチャを区別せずにスライスヘッダにおいて参照ピクチャリストを常にシグナリングすること」と名付けられた上で規定された手法に対する代替的な実施形態を説明する。この代替的な実施形態では、スライスヘッダにおいて、HEVCまたは上で説明された手法と同様に、各LTRPエントリに対してPOC MSBサイクルがシグナリングされてもよく、以下の制約、すなわち、復号プロセスの間の任意の瞬間において、DPBの中の任意の2つの参照ピクチャに対するPicOrderCntVal&(MaxLtPicOrderCntLsb-1)の値は同じではないものとする、という制約が削除される。
図6は、本開示のある実施形態によるビデオコーディングデバイス600(たとえば、ビデオエンコーダ20またはビデオデコーダ30)の概略図である。ビデオコーディングデバイス600は、本明細書で説明されるような開示された実施形態を実施するのに適している。ビデオコーディングデバイス600は、データを受信するための入口ポート610および受信機ユニット(Rx)620、データを処理するためのプロセッサ、論理ユニット、または中央処理装置(CPU)630、データを送信するための送信機ユニット(Tx)640および出口ポート650、ならびにデータを記憶するためのメモリ660を備える。ビデオコーディングデバイス600は、光または電気信号の出入のために、入口ポート610、受信機ユニット620、送信機ユニット640、および出口ポート650に結合された、光-電子(OE)コンポーネントおよび電子-光(EO)コンポーネントも備え得る。
プロセッサ630はハードウェアおよびソフトウェアによって実装される。プロセッサ630は、1つまたは複数のCPUチップ、コア(たとえば、マルチコアプロセッサとして)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、およびデジタルシグナルプロセッサ(DSP)として実装され得る。プロセッサ630は、入口ポート610、受信機ユニット620、送信機ユニット640、出口ポート650、およびメモリ660と通信している。プロセッサ630はコーディングモジュール670を備える。コーディングモジュール770は、上で説明された開示された実施形態を実装する。たとえば、コーディングモジュール670は、様々なネットワーキング機能を実装し、処理し、準備し、または提供する。したがって、コーディングモジュール670を含むことは、ビデオコーディングデバイス600の機能にかなりの改善をもたらし、異なる状態へのビデオコーディングデバイス600の変換を生み出す。代替として、コーディングモジュール670は、メモリ660に記憶されておりプロセッサ630によって実行される命令として実装される。
ビデオコーディングデバイス600はまた、ユーザとの間でデータをやり取りするための入力および/または出力(I/O)デバイス680を含み得る。I/Oデバイス680は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカーなどの、出力デバイスを含み得る。I/Oデバイス680は、キーボード、マウス、トラックボールなどの入力デバイス、および/またはそのような出力デバイスとインターフェースするための対応するインターフェースも含み得る。
メモリ660は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを備え、そのようなプログラムが実行のために選択されるときにプログラムを記憶するための、およびプログラム実行の間に読み取られる命令とデータを記憶するための、オーバーフローデータストレージデバイスとして使用され得る。メモリ660は、揮発性および/または不揮発性であってもよく、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、三項コンテンツアドレス指定可能メモリ(TCAM)、および/またはスタティックランダムアクセスメモリ(SRAM)であってもよい。
図7は、コーディングのための手段700のある実施形態の概略図である。実施形態において、コーディングのための手段700は、ビデオコーディングデバイス702(たとえば、ビデオエンコーダ20またはビデオデコーダ30)において実装される。ビデオコーディングデバイス702は受信手段701を含む。受信手段701は、符号化すべきピクチャを受信し、または復号すべきビットストリームを受信するように構成される。ビデオコーディングデバイス702は、受信手段701に結合された送信手段707を含む。送信手段707は、ビットストリームをデコーダに送信し、または復号された画像を表示手段(たとえば、I/Oデバイス680のうちの1つ)に送信するように構成される。
ビデオコーディングデバイス702は記憶手段703を含む。記憶手段703は、受信手段701または送信手段707のうちの少なくとも1つに結合される。記憶手段703は命令を記憶するように構成される。ビデオコーディングデバイス702はまた処理手段705を含む。処理手段705は記憶手段703に結合される。処理手段705は、本明細書で開示される方法を実行するために、記憶手段703に記憶されている命令を実行するように構成される。
いくつかの実施形態が本開示において提供されたが、開示されるシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく多くの他の具体的な形式で具現化され得ることを理解されたい。これらの例は、限定ではなく例示であると見なされるべきであり、意図は本明細書で与えられる詳細に限定されないものとする。たとえば、別のシステムでは様々な要素およびコンポーネントが組み合わされ、もしくは統合されてもよく、またはいくつかの特徴が省略され、または実装されなくてもよい。
加えて、様々な実施形態において個別または別個のものとして説明され例示されている技法、システム、サブシステム、および方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技法、もしくは方法と組み合わされ、または統合され得る。結合される、または直接結合される、または互いに通信するものとして、示されもしくは論じられた他の項目は、電気的に、機械的に、または別様にのいずれでも、何らかのインターフェース、デバイス、または中間コンポーネントを通じて、間接的に結合され、または通信していてもよい。変更、置換、および変形の他の例が、当業者により認識可能であり、本明細書で開示される趣旨および範囲から逸脱することなく行われ得る。
12 ソースデバイス
14 デスティネーションデバイス
16 コンピュータ可読媒体
18 ビデオソース
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
32 表示デバイス
40 モード選択ユニット
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 区分ユニット
52 変換処理ユニット
54 量子化ユニット
56 エントロピーコーディングユニット
58 逆量子化ユニット
60 逆変換ユニット
64 参照フレームメモリ
70 エントロピー復号ユニット
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
82 参照フレームメモリ
610 入口ポート
620 受信機ユニット
630 プロセッサ
640 送信機ユニット
650 出口ポート
660 メモリ
670 コーディングモジュール
680 I/Oデバイス
701 受信手段
702 ビデオコーディングデバイス
703 記憶手段
705 処理手段
707 送信手段

Claims (23)

  1. ビデオデコーダによって実施されるコーディングされたビデオビットストリームを復号する方法であって、
    シンタックス要素を取得するために、エントロピー復号処理、逆量子化処理、および逆変換処理を、受信された、コーディングされたビデオビットストリームに行うステップであって、前記シンタックス要素がシーケンスパラメータセット(SPS)を含み、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含む、ステップと、
    前記コーディングされたビデオビットストリームに基づいて、前記現在のスライスが位置する現在のピクチャに対する参照ピクチャリストの中のデフォルトの数のアクティブエントリを取得するステップと、
    前記参照ピクチャリストシンタックス構造に基づいて前記現在のスライスに対する参照ピクチャリストを構築するステップであって、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含む、ステップと、
    前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数が前記参照ピクチャリストシンタックス構造の中のエントリの前記数より大きいとき、および、前記オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストシンタックス構造の中のエントリの前記数に等しく、前記参照ピクチャリストの中のアクティブエントリの数を設定するステップと、
    アクティブエントリの前記数によって決定される前記参照ピクチャリストの少なくとも1つのアクティブエントリに基づいて、前記現在のスライスの少なくとも1つの再構築されたブロックを取得するステップとを備える、方法。
  2. 前記参照ピクチャリストシンタックス構造のエントリの順序が、前記参照ピクチャリスト中の対応する参照ピクチャの順序と同じであり、前記参照ピクチャリストシンタックス構造の各エントリが前記参照ピクチャリスト中の対応する参照ピクチャを示すものである、請求項１の方法。
  3. 前記方法が、前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数が、前記参照ピクチャリストシンタックス構造の中のエントリの前記数より小さいとき、前記参照ピクチャリストの中のアクティブエントリの前記数を、前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数に設定するステップをさらに含む、請求項１または２の方法。
  4. 前記方法が、前記コーディングされたビデオビットストリームからオーバーライドフラグを取得するステップを含み、前記オーバーライドフラグの値がfalseであるときに、前記参照ピクチャリストシンタックス構造の中のエントリの前記数に等しく、前記参照ピクチャリストの中のアクティブエントリの前記数を設定する前記ステップが行われる、請求項１から３のいずれか一項に記載の方法。
  5. 前記コーディングされたビデオビットストリームにおいて表される、ピクチャパラメタセットからの第１のシンタックス要素に基づいて、前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数が取得されるものであり、前記方法が更に、前記オーバーライドフラグの値がtrueであるときに、前記現在のスライスのスライスヘッダから第２のシンタックス要素を取得するステップを含み、前記第１のシンタックス要素に１を加えたものが、前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数で、前記第２のシンタックス要素に１を加えたものが、前記参照ピクチャリストの中のアクティブエントリの前記数である、請求項４の方法。
  6. 前記非アクティブエントリが、前記現在のピクチャのインター予測に使用されない、請求項１から５のいずれか一項に記載の方法。
  7. 前記少なくとも1つの再構築されたブロックが、電子デバイスのディスプレイに表示される画像の生成に使用される、請求項１から６のいずれか一項に記載の方法。
  8. 前記参照ピクチャリストの前記少なくとも1つのアクティブエントリが、前記少なくとも1つの再構築されたブロックのインター予測に使用される、請求項１から７のいずれか一項に記載の方法。
  9. 前記現在のスライスはＰスライスもしくはＢスライスである、請求項１から８のいずれか一項に記載の方法。
  10. 前記参照ピクチャリストシンタックス構造がref_pic_list_struct (listIdx, rplsIdx)として示され、ref_pic_list_struct (listIdx, rplsIdx)が、第１のパラメタlistIdxと第２のパラメタrplsIdxを含み、rplsIdxが参照ピクチャリストシンタックス構造のインデックスを指定し、listIdxが参照ピクチャリストを指定するためにiの値を有し、前記listIdxがの値が0または1に等しい、請求項１から９のいずれか一項に記載の方法。
  11. 前記参照ピクチャリストシンタックス構造がSPS中に表され、短期参照ピクチャリストlistIdxを指定し、前記現在のピクチャが、1)前記SPSに含まれるref_pic_list_struct(listIdx, rplsIdx)のリストへのインデックスに等しいref_pic_list_idx[ listIdx ]を含む１もしくはより多くのスライスを有し、2)アクティブSPSとして前記SPSを有するCVS中にある、各ピクチャを参照する、請求項１から１０のいずれか一項に記載の方法。
  12. 前記参照ピクチャリストシンタックス構造の中のエントリの前記数に等しく、前記参照ピクチャリストの中のアクティブエントリの前記数を設定する前記ステップが、
    前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数NumRefIdxActive[ i ]が、前記参照ピクチャリストシンタックス構造の中のエントリの前記数より大きいときに、前記参照ピクチャリストの中のアクティブエントリの前記数NumRefIdxActive[ i ]を、前記参照ピクチャリストシンタックス構造の中のエントリの前記数に等しく設定するステップ、を含む、請求項１から１１のいずれか一項に記載の方法。
  13. コーディングされたビデオビットストリームを受信するよう構成されたレシーバと、
    前記レシーバに結合されたメモリであって、前記メモリが命令を格納する、前記メモリと、
    前記メモリに結合されたプロセッサであって、
    シンタックス要素を取得するために、エントロピー復号処理、逆量子化処理、および逆変換処理を、受信された、コーディングされたビデオビットストリームに行うことであって、前記シンタックス要素がシーケンスパラメータセット(SPS)を含み、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、
    前記コーディングされたビデオビットストリームに基づいて、前記現在のスライスが位置する現在のピクチャに対する参照ピクチャリストの中のデフォルトの数のアクティブエントリを取得することと、
    前記参照ピクチャリストシンタックス構造に基づいて前記現在のスライスに対する参照ピクチャリストを構築することであって、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    前記参照ピクチャリストの中のアクティブエントリの前記デフォルトの数が前記参照ピクチャリストシンタックス構造の中のエントリの前記数より大きいとき、および、前記オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストシンタックス構造の中のエントリの前記数に等しく、前記参照ピクチャリストの中のアクティブエントリの数を設定することと、
    アクティブエントリの前記数によって決定される前記参照ピクチャリストの少なくとも1つのアクティブエントリに基づいて、前記現在のスライスの少なくとも1つの再構築されたブロックを取得することと、
    を前記プロセッサに行わせるために前記メモリに格納された前記命令を実行するよう構成された前記プロセッサと、
    を備える復号デバイス。
  14. 前記プロセッサが、請求項１から１２のいずれか一項に記載の方法を行うよう更に構成された、請求項１３の復号デバイス。
  15. 前記少なくとも1つの再構築されたブロックに基づいて画像を表示するように構成されたディスプレイをさらに備える、請求項１３または１４の復号デバイス。
  16. コンピュータまたはプロセッサにおいて実行されたときに、請求項１から１２のいずれか一項に記載の方法を行うためのプログラムコードを備えた、コンピュータプログラム。
  17. コンピュータ装置によって実行されたときに、請求項１から１２のいずれか一項に記載の方法を、前記コンピュータ装置に行わせるプログラムコードを担持する、非一時的なコンピュータ可読媒体。
  18. コーディングされたビットストリームを格納する装置であって、前記装置が少なくとも１つの記憶媒体と少なくとも１つの通信インタフェースを含み、
    前記ビットストリームが、
    シーケンスパラメータセット(SPS)であって、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、前記参照ピクチャリストシンタックス構造が、前記現在のスライスに対する参照ピクチャリストを構築するために用いられ、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    ピクチャパラメタセット（PPS）であって、前記PPSが、前記現在のスライスが位置する現在のピクチャについての参照ピクチャリストのアクティブエントリのデフォルト数が導出されることを示すnum_ref_idx_default_active_minus1[ i ]フラグを含み、
    前記現在のスライスのスライスヘッダであって、前記スライスヘッダが参照ピクチャリストシーケンスパラメータセット(SPS)フラグを有し、前記参照ピクチャリストSPSフラグ、およびi番目の参照ピクチャリストが前記スライスヘッダにおいて直接シグナリングされる場合に、前記i番目の参照ピクチャリストが前記SPSから参照され、
    前記参照ピクチャリストのエントリの前記デフォルト数が前記参照ピクチャリストシンタックス構造のエントリの前記数より大きいとき、また、オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストのアクティブエントリの前記数が前記参照ピクチャリストシンタックス構造のエントリの前記数に等しく設定される、
    を含むものである、装置。
  19. ビットストリームを格納する方法であって、
    通信インタフェースを介してビットストリームを受信もしくは送信するステップと、
    前記ビットストリームを、１もしくはより多くの記憶媒体に格納するステップとを備え、前記ビットストリームが、
    シーケンスパラメータセット(SPS)であって、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、前記参照ピクチャリストシンタックス構造が、前記現在のスライスに対する参照ピクチャリストを構築するために用いられ、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    ピクチャパラメタセット（PPS）であって、前記PPSが、前記現在のスライスが位置する現在のピクチャについての参照ピクチャリストのアクティブエントリのデフォルト数が導出されることを示すnum_ref_idx_default_active_minus1[ i ]フラグを含み、
    前記現在のスライスのスライスヘッダであって、前記スライスヘッダが参照ピクチャリストシーケンスパラメータセット(SPS)フラグを有し、前記参照ピクチャリストSPSフラグ、およびi番目の参照ピクチャリストが前記スライスヘッダにおいて直接シグナリングされる場合に、前記i番目の参照ピクチャリストが前記SPSから参照され、
    前記参照ピクチャリストのエントリの前記デフォルト数が前記参照ピクチャリストシンタックス構造のエントリの前記数より大きいとき、また、オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストのアクティブエントリの前記数が前記参照ピクチャリストシンタックス構造のエントリの前記数に等しく設定される、
    を含むものである、方法。
  20. ビットストリームを送信する装置であって、前記装置が、
    少なくとも１つのビットストリームを格納するように構成された、少なくとも１つの記憶媒体を含み、前記ビットストリームが、
    シーケンスパラメータセット(SPS)であって、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、前記参照ピクチャリストシンタックス構造が、前記現在のスライスに対する参照ピクチャリストを構築するために用いられ、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    ピクチャパラメタセット（PPS）であって、前記PPSが、前記現在のスライスが位置する現在のピクチャについての参照ピクチャリストのアクティブエントリのデフォルト数が導出されることを示すnum_ref_idx_default_active_minus1[ i ]フラグを含み、
    前記現在のスライスのスライスヘッダであって、前記スライスヘッダが参照ピクチャリストシーケンスパラメータセット(SPS)フラグを有し、前記参照ピクチャリストSPSフラグ、およびi番目の参照ピクチャリストが前記スライスヘッダにおいて直接シグナリングされる場合に、前記i番目の参照ピクチャリストが前記SPSから参照され、
    前記参照ピクチャリストのエントリの前記デフォルト数が前記参照ピクチャリストシンタックス構造のエントリの前記数より大きいとき、また、オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストのアクティブエントリの前記数が前記参照ピクチャリストシンタックス構造のエントリの前記数に等しく設定される、
    を含むものである、装置。
  21. ビットストリームを送信する方法であって、前記方法が、
    少なくとも１つの記憶媒体に少なくとも１つのビットストリームを格納するステップを含み、前記ビットストリームが、
    シーケンスパラメータセット(SPS)であって、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、前記参照ピクチャリストシンタックス構造が、前記現在のスライスに対する参照ピクチャリストを構築するために用いられ、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    ピクチャパラメタセット（PPS）であって、前記PPSが、前記現在のスライスが位置する現在のピクチャについての参照ピクチャリストのアクティブエントリのデフォルト数が導出されることを示すnum_ref_idx_default_active_minus1[ i ]フラグを含み、
    前記現在のスライスのスライスヘッダであって、前記スライスヘッダが参照ピクチャリストシーケンスパラメータセット(SPS)フラグを有し、前記参照ピクチャリストSPSフラグ、およびi番目の参照ピクチャリストが前記スライスヘッダにおいて直接シグナリングされる場合に、前記i番目の参照ピクチャリストが前記SPSから参照され、
    前記参照ピクチャリストのエントリの前記デフォルト数が前記参照ピクチャリストシンタックス構造のエントリの前記数より大きいとき、また、オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストのアクティブエントリの前記数が前記参照ピクチャリストシンタックス構造のエントリの前記数に等しく設定される、
    を含むものである、方法。
  22. ビットストリームを処理するシステムであって、前記システムが、サーバと、ソースデバイスと、１もしくはより多くの記憶装置と、宛先デバイスと、を含み、
    前記ソースデバイスは、前記サーバからビデオソースを取得する、ように構成され、
    前記ソースデバイスは、前記ビデオソースを符号化して１もしくはより多くのビットストリームを取得する、ように更に構成され、また、前記ビットストリームが、
    シーケンスパラメータセット(SPS)であって、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、前記参照ピクチャリストシンタックス構造が、前記現在のスライスに対する参照ピクチャリストを構築するために用いられ、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    ピクチャパラメタセット（PPS）であって、前記PPSが、前記現在のスライスが位置する現在のピクチャについての参照ピクチャリストのアクティブエントリのデフォルト数が導出されることを示すnum_ref_idx_default_active_minus1[ i ]フラグを含み、
    前記現在のスライスのスライスヘッダであって、前記スライスヘッダが参照ピクチャリストシーケンスパラメータセット(SPS)フラグを有し、前記参照ピクチャリストSPSフラグ、およびi番目の参照ピクチャリストが前記スライスヘッダにおいて直接シグナリングされる場合に、前記i番目の参照ピクチャリストが前記SPSから参照され、
    前記参照ピクチャリストのエントリの前記デフォルト数が前記参照ピクチャリストシンタックス構造のエントリの前記数より大きいとき、また、オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストのアクティブエントリの前記数が前記参照ピクチャリストシンタックス構造のエントリの前記数に等しく設定される、
    を含むものである、システム。
  23. ビットストリームを処理する方法であって、前記方法が、
    サーバからビデオソースを取得し、前記ビデオソースを符号化して１もしくはより多くのビットストリームを取得する、ステップを含み、前記ビットストリームが、
    シーケンスパラメータセット(SPS)であって、前記SPSが、現在のスライスに対する参照ピクチャリストシンタックス構造とオーバーライドフラグを含み、前記参照ピクチャリストシンタックス構造がある数のエントリを含み、前記参照ピクチャリストシンタックス構造が、前記現在のスライスに対する参照ピクチャリストを構築するために用いられ、前記参照ピクチャリストがある数のアクティブエントリおよびある数の非アクティブエントリを含み、
    ピクチャパラメタセット（PPS）であって、前記PPSが、前記現在のスライスが位置する現在のピクチャについての参照ピクチャリストのアクティブエントリのデフォルト数が導出されることを示すnum_ref_idx_default_active_minus1[ i ]フラグを含み、
    前記現在のスライスのスライスヘッダであって、前記スライスヘッダが参照ピクチャリストシーケンスパラメータセット(SPS)フラグを有し、前記参照ピクチャリストSPSフラグ、およびi番目の参照ピクチャリストが前記スライスヘッダにおいて直接シグナリングされる場合に、前記i番目の参照ピクチャリストが前記SPSから参照され、
    前記参照ピクチャリストのエントリの前記デフォルト数が前記参照ピクチャリストシンタックス構造のエントリの前記数より大きいとき、また、オーバーライドフラグの値がfalseであるとき、前記参照ピクチャリストのアクティブエントリの前記数が前記参照ピクチャリストシンタックス構造のエントリの前記数に等しく設定される、
    を含むものである、方法。
JP2023039811A 2018-08-17 2023-03-14 ビデオコーディングにおける参照ピクチャ管理 Active JP7577150B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862719360P 2018-08-17 2018-08-17
US62/719,360 2018-08-17
PCT/US2019/046934 WO2020037278A1 (en) 2018-08-17 2019-08-16 Reference picture management in video coding
JP2021507958A JP7278366B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021507958A Division JP7278366B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理

Publications (2)

Publication Number Publication Date
JP2023085317A JP2023085317A (ja) 2023-06-20
JP7577150B2 true JP7577150B2 (ja) 2024-11-01

Family

ID=69525847

Family Applications (13)

Application Number Title Priority Date Filing Date
JP2021507904A Active JP7564090B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507958A Active JP7278366B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507956A Pending JP2021534676A (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507913A Active JP7223118B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507940A Active JP7556846B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507884A Active JP7547319B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャの管理
JP2023015477A Active JP7543461B2 (ja) 2018-08-17 2023-02-03 ビデオコーディングにおける参照ピクチャ管理
JP2023039811A Active JP7577150B2 (ja) 2018-08-17 2023-03-14 ビデオコーディングにおける参照ピクチャ管理
JP2023045824A Pending JP2023088995A (ja) 2018-08-17 2023-03-22 ビデオコーディングにおける参照ピクチャ管理
JP2023051948A Pending JP2023086737A (ja) 2018-08-17 2023-03-28 ビデオコーディングにおける参照ピクチャ管理
JP2023068781A Pending JP2023095886A (ja) 2018-08-17 2023-04-19 ビデオコーディングにおける参照ピクチャの管理
JP2023068782A Pending JP2023095887A (ja) 2018-08-17 2023-04-19 ビデオコーディングにおける参照ピクチャの管理
JP2024000194A Pending JP2024032732A (ja) 2018-08-17 2024-01-04 ビデオコーディングにおける参照ピクチャ管理

Family Applications Before (7)

Application Number Title Priority Date Filing Date
JP2021507904A Active JP7564090B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507958A Active JP7278366B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507956A Pending JP2021534676A (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507913A Active JP7223118B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507940A Active JP7556846B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャ管理
JP2021507884A Active JP7547319B2 (ja) 2018-08-17 2019-08-16 ビデオコーディングにおける参照ピクチャの管理
JP2023015477A Active JP7543461B2 (ja) 2018-08-17 2023-02-03 ビデオコーディングにおける参照ピクチャ管理

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2023045824A Pending JP2023088995A (ja) 2018-08-17 2023-03-22 ビデオコーディングにおける参照ピクチャ管理
JP2023051948A Pending JP2023086737A (ja) 2018-08-17 2023-03-28 ビデオコーディングにおける参照ピクチャ管理
JP2023068781A Pending JP2023095886A (ja) 2018-08-17 2023-04-19 ビデオコーディングにおける参照ピクチャの管理
JP2023068782A Pending JP2023095887A (ja) 2018-08-17 2023-04-19 ビデオコーディングにおける参照ピクチャの管理
JP2024000194A Pending JP2024032732A (ja) 2018-08-17 2024-01-04 ビデオコーディングにおける参照ピクチャ管理

Country Status (24)

Country Link
US (11) US11956420B2 (ja)
EP (7) EP3831064B1 (ja)
JP (13) JP7564090B2 (ja)
KR (12) KR20230165889A (ja)
CN (13) CN114205590B (ja)
AU (1) AU2019322914B2 (ja)
BR (6) BR112021002499A2 (ja)
CA (1) CA3109799C (ja)
CL (1) CL2021000397A1 (ja)
DK (1) DK3831064T3 (ja)
ES (1) ES2981233T3 (ja)
FI (1) FI3831064T3 (ja)
HU (1) HUE066343T2 (ja)
IL (1) IL280944B1 (ja)
MX (9) MX2021001744A (ja)
NZ (1) NZ773625A (ja)
PH (1) PH12021550312A1 (ja)
PL (1) PL3831064T3 (ja)
PT (1) PT3831064T (ja)
SG (6) SG11202101404WA (ja)
SI (1) SI3831064T1 (ja)
UA (1) UA128290C2 (ja)
WO (6) WO2020037272A1 (ja)
ZA (2) ZA202100951B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191890A1 (zh) 2018-04-02 2019-10-10 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
KR20230165889A (ko) 2018-08-17 2023-12-05 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩의 참조 픽처 관리
WO2020059687A1 (en) * 2018-09-21 2020-03-26 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
EP3895432A4 (en) * 2018-12-10 2022-08-31 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNIFICANT REFERENCE IMAGES IN VIDEO CODING
CN113597768B (zh) * 2019-01-28 2024-10-15 Op方案有限责任公司 扩展长期参考图片保留的在线和离线选择
US11395006B2 (en) * 2019-03-06 2022-07-19 Tencent America LLC Network abstraction layer unit header
US20230134652A1 (en) * 2020-03-18 2023-05-04 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters in video coding
WO2021188555A1 (en) * 2020-03-19 2021-09-23 Bytedance Inc. Constraints on reference picture order
CN115362686A (zh) * 2020-03-31 2022-11-18 夏普株式会社 运动图像解码装置、运动图像编码装置、运动图像解码方法以及运动图像编码方法
WO2021200658A1 (ja) * 2020-04-02 2021-10-07 シャープ株式会社 動画像復号装置及び動画像復号方法
KR20220003091A (ko) * 2020-05-20 2022-01-07 텐센트 아메리카 엘엘씨 코딩된 비디오 스트림에서의 랜덤 액세스 포인트 지시 및 픽처 출력을 위한 기술
US11558630B2 (en) * 2020-05-20 2023-01-17 Tencent America LLC Techniques for random access point indication and picture output in coded video stream
JP2023526585A (ja) * 2020-05-21 2023-06-22 アリババ グループ ホウルディング リミテッド 映像の符号化における参照ピクチャ処理のための方法
US11695938B2 (en) * 2021-01-05 2023-07-04 Dish Network Technologies India Private Limited Method and apparatus for thumbnail generation for a video device
CN116781907A (zh) * 2022-03-11 2023-09-19 华为技术有限公司 编解码方法及电子设备
WO2023234133A1 (en) * 2022-05-31 2023-12-07 Sharp Kabushiki Kaisha Systems and methods for signaling reference picture list entry information in video coding
WO2024126057A1 (en) * 2022-12-16 2024-06-20 Interdigital Ce Patent Holdings, Sas Reference picture marking process based on temporal identifier

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043887A1 (en) 2011-09-23 2013-03-28 Qualcomm Incorporated Reference picture list construction for video coding
WO2013111605A1 (en) 2012-01-25 2013-08-01 Sharp Kabushiki Kaisha Video decoding methods and video encoding methods

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8073048B2 (en) * 2003-08-26 2011-12-06 Thomson Licensing Method and apparatus for minimizing number of reference pictures used for inter-coding
FI115589B (fi) * 2003-10-14 2005-05-31 Nokia Corp Redundanttien kuvien koodaaminen ja dekoodaaminen
KR101368493B1 (ko) * 2006-10-13 2014-02-28 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 참조 화상 목록 관리 구문
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
CN103561273B (zh) 2009-03-26 2016-10-05 松下电器（美国）知识产权公司 编码装置及方法、错误检测装置及方法、解码装置及方法
WO2010126613A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
KR101752418B1 (ko) 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9008176B2 (en) * 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US8934552B2 (en) 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
WO2012148139A2 (ko) * 2011-04-26 2012-11-01 엘지전자 주식회사 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
MX2013014857A (es) * 2011-06-30 2014-03-26 Ericsson Telefon Ab L M Señalizacion de imagenes de referencia.
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
MX337446B (es) 2011-09-29 2016-03-07 Sharp Kk Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y dispositivo de codificacion de imagenes.
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
CN104025599B (zh) * 2011-11-08 2018-12-14 诺基亚技术有限公司 参考图片处理
US20130114710A1 (en) * 2011-11-08 2013-05-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list
KR102332492B1 (ko) * 2011-11-11 2021-12-01 엘지전자 주식회사 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
KR101606661B1 (ko) * 2011-11-18 2016-03-25 모토로라 모빌리티 엘엘씨 고효율 비디오 코딩(ｈｅｖｃ)을 위한 병치된 화상을 시그널링하기 위한 명시적 방법
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
PL3016391T3 (pl) 2012-01-17 2017-09-29 Telefonaktiebolaget Lm Ericsson (Publ) Obsługa listy obrazów referencyjnych
US8867852B2 (en) * 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
WO2013116415A1 (en) * 2012-01-31 2013-08-08 Vid Scale, Inc. Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
US9369710B2 (en) * 2012-02-06 2016-06-14 Qualcomm Incorporated Reference picture list modification for video coding
KR101456501B1 (ko) * 2012-04-15 2014-11-03 삼성전자주식회사 참조픽처리스트 변경이 가능한 인터 예측 방법과 그 장치
WO2013162980A2 (en) * 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
EP2843946A4 (en) 2012-04-25 2016-01-20 Samsung Electronics Co Ltd MULTILOSYVIEW VIDEO COORDINATION METHOD USING A REFERENCE FILMS FOR MULTILOOK VIEW VIEW AND DEVICE THEREFOR, AND MULTIPLE VIDEO VIDEO CODING METHODS USING A REFERENCE FILMS FOR MULTILOOK VIEWS AND METHOD THEREFOR
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9319679B2 (en) * 2012-06-07 2016-04-19 Qualcomm Incorporated Signaling data for long term reference pictures for video coding
US9591303B2 (en) 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
CN108347606B (zh) * 2012-07-01 2022-08-19 夏普株式会社 电子设备及方法
WO2014008402A1 (en) 2012-07-05 2014-01-09 Vid Scale, Inc. Layer dependency and priority signaling design for scalable video coding
US9167248B2 (en) * 2012-07-13 2015-10-20 Qualcomm Incorporated Reference picture list modification for video coding
US9398284B2 (en) * 2012-08-16 2016-07-19 Qualcomm Incorporated Constructing reference picture lists for multi-view or 3DV video coding
US9584825B2 (en) * 2012-09-27 2017-02-28 Qualcomm Incorporated Long-term reference picture signaling in video coding
KR102252415B1 (ko) * 2012-11-21 2021-05-14 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
CN104854868B (zh) 2012-12-21 2018-05-01 索尼公司 图像处理设备和方法
JPWO2014103529A1 (ja) 2012-12-28 2017-01-12 シャープ株式会社 画像復号装置、およびデータ構造
CN104919803B (zh) * 2013-01-15 2017-09-12 华为技术有限公司 一种用于解码视频比特流的方法
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
CN105122816A (zh) * 2013-04-05 2015-12-02 夏普株式会社 层间参考图像集的解码和参考图像列表构建
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
US9860529B2 (en) 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
CN105453564B (zh) * 2013-07-30 2019-05-10 株式会社Kt 支持多个层的图像编码和解码方法以及使用该方法的装置
US9894369B2 (en) 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
CN105637879B (zh) 2013-10-10 2019-04-19 夏普株式会社 图序计数的对齐方法
US9942546B2 (en) * 2013-12-12 2018-04-10 Qualcomm Incorporated POC value design for multi-layer video coding
EP3090558A4 (en) 2014-01-03 2017-08-16 Nokia Technologies OY Parameter set coding
US10110925B2 (en) 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US9756355B2 (en) 2014-06-20 2017-09-05 Qualcomm Incorporated Value ranges for syntax elements in video coding
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
JP2017532885A (ja) * 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding
AU2016253924B2 (en) * 2015-04-29 2018-11-01 Hfi Innovation Inc. Method and apparatus for intra block copy reference list construction
CA2985872C (en) 2015-05-29 2020-04-14 Hfi Innovation Inc. Method of decoded picture buffer management for intra block copy mode
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
US10516891B2 (en) * 2015-11-20 2019-12-24 Intel Corporation Method and system of reference frame caching for video coding
US10555002B2 (en) 2016-01-21 2020-02-04 Intel Corporation Long term reference picture coding
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
KR20230165889A (ko) 2018-08-17 2023-12-05 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩의 참조 픽처 관리
MX2021002952A (es) 2018-09-12 2021-07-21 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
EP3895432A4 (en) * 2018-12-10 2022-08-31 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNIFICANT REFERENCE IMAGES IN VIDEO CODING
MX2021011013A (es) 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
US10986353B2 (en) * 2019-03-15 2021-04-20 Tencent America LLC Decoded picture buffer management for video coding
EP3954124A4 (en) 2019-05-12 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. SIGNALING FOR RE-SAMPLING REFERENCE IMAGE
US11418813B2 (en) 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
WO2021079948A1 (en) 2019-10-25 2021-04-29 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in video coding
US12088848B2 (en) 2019-12-11 2024-09-10 Sharp Kabushiki Kaisha Systems and methods for signaling output layer set information in video coding
JP2023513344A (ja) * 2020-02-14 2023-03-30 北京字節跳動網絡技術有限公司 映像コーディングにおける参照ピクチャリサンプリングの起動
US11496771B2 (en) 2020-02-24 2022-11-08 Qualcomm Incorporated Reference picture list and collocated picture signaling in video coding
US11743503B2 (en) * 2020-05-14 2023-08-29 Qualcomm Incorporated Reference picture list constraints and signaling in video coding
CN115699733A (zh) 2020-05-21 2023-02-03 字节跳动有限公司 在视频编解码中信令通知层间参考图片
JP2023526585A (ja) * 2020-05-21 2023-06-22 アリババ グループ ホウルディング リミテッド 映像の符号化における参照ピクチャ処理のための方法
WO2021242716A1 (en) 2020-05-26 2021-12-02 Bytedance Inc. Identification of inter-layer reference pictures in coded video
CN115769586A (zh) 2020-05-28 2023-03-07 抖音视界有限公司 视频编解码中的参考图片列表信令通知
US11882270B2 (en) * 2020-06-09 2024-01-23 Hfi Innovation Inc. Method and apparatus for video coding with constraints on reference picture lists of a RADL picture
JP2023068781A (ja) 2021-11-04 2023-05-18 株式会社日立製作所 異常検出装置、異常検出システム、及び異常検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043887A1 (en) 2011-09-23 2013-03-28 Qualcomm Incorporated Reference picture list construction for video coding
WO2013111605A1 (en) 2012-01-25 2013-08-01 Sharp Kabushiki Kaisha Video decoding methods and video encoding methods

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Sachin Deshpande, Kiran Misra, and Andrew Segall，AHG21: Reference Picture Set Signaling Method，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，JCTVC-H0433，8th Meeting: San Jose, CA, USA，2012年01月，pp.1-7
Sachin Deshpande，On Reference Pictures Signaling and Management for VVC，Joint Video Experts Team (JVET) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，JVET-l0450-v2，12th Meeting: Macao, CN，2018年10月，pp.1-6
Ye-Kui Wang, and Hendry，On reference picture management for VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-L0112-v4，12th Meeting: Macao, CN，2018年10月，pp.1-12
Ye-Kui Wang, et al.，On reference picture management for VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0128-v1，13th Meeting: Marrakech, MA，2019年01月，pp.1-9

Also Published As

Publication number Publication date
EP3831056A1 (en) 2021-06-09
CN114205590A (zh) 2022-03-18
US20210176489A1 (en) 2021-06-10
KR20230169435A (ko) 2023-12-15
JP7564090B2 (ja) 2024-10-08
KR20210036398A (ko) 2021-04-02
JP7543461B2 (ja) 2024-09-02
MX2024008568A (es) 2024-07-22
CA3109799A1 (en) 2020-02-20
MX2024001656A (es) 2024-02-27
WO2020037278A1 (en) 2020-02-20
CN114205590B (zh) 2023-06-06
KR102610092B1 (ko) 2023-12-04
CN113412620A (zh) 2021-09-17
KR20210041062A (ko) 2021-04-14
BR112021002486A2 (pt) 2021-07-27
US12015761B2 (en) 2024-06-18
CL2021000397A1 (es) 2021-12-10
KR20230169439A (ko) 2023-12-15
US11477438B2 (en) 2022-10-18
ES2981233T3 (es) 2024-10-07
JP2023085317A (ja) 2023-06-20
JP2023088995A (ja) 2023-06-27
US20240259553A1 (en) 2024-08-01
ZA202110257B (en) 2024-10-30
NZ773625A (en) 2022-12-23
US11997257B2 (en) 2024-05-28
WO2020037273A1 (en) 2020-02-20
CN114554196A (zh) 2022-05-27
US11991349B2 (en) 2024-05-21
JP2024032732A (ja) 2024-03-12
EP3831064A4 (en) 2021-10-06
MX2024010756A (es) 2024-09-10
BR112021002501A2 (pt) 2021-07-27
US12058317B2 (en) 2024-08-06
JP2021534673A (ja) 2021-12-09
US20240214555A1 (en) 2024-06-27
JP2023065392A (ja) 2023-05-12
BR112021002832A2 (pt) 2021-05-04
JP2021534676A (ja) 2021-12-09
CN112567746A (zh) 2021-03-26
EP4336832A2 (en) 2024-03-13
KR20210036401A (ko) 2021-04-02
CN114501018A (zh) 2022-05-13
CN112585974A (zh) 2021-03-30
CN112567744A (zh) 2021-03-26
SI3831064T1 (sl) 2024-06-28
JP2023095886A (ja) 2023-07-06
WO2020037277A1 (en) 2020-02-20
KR20230165889A (ko) 2023-12-05
MX2021001838A (es) 2021-05-13
WO2020037276A1 (en) 2020-02-20
WO2020037274A1 (en) 2020-02-20
KR102610093B1 (ko) 2023-12-04
EP3831054A4 (en) 2021-10-13
CN112585973A (zh) 2021-03-30
MX2021001744A (es) 2021-07-16
CN118660154A (zh) 2024-09-17
BR112021002499A2 (pt) 2021-07-27
US20230128843A1 (en) 2023-04-27
EP3831057A1 (en) 2021-06-09
WO2020037272A1 (en) 2020-02-20
JP7556846B2 (ja) 2024-09-26
US20210168359A1 (en) 2021-06-03
EP3831070A1 (en) 2021-06-09
EP3831055A1 (en) 2021-06-09
US11758123B2 (en) 2023-09-12
EP3831056A4 (en) 2021-10-13
US20210258567A1 (en) 2021-08-19
EP4336832A3 (en) 2024-05-22
KR102659936B1 (ko) 2024-04-22
US11979553B2 (en) 2024-05-07
CA3109799C (en) 2024-04-23
CN114697663B (zh) 2024-01-30
US20210168360A1 (en) 2021-06-03
JP2021534670A (ja) 2021-12-09
DK3831064T3 (da) 2024-05-13
AU2019322914B2 (en) 2023-06-29
HUE066343T2 (hu) 2024-07-28
JP2021534677A (ja) 2021-12-09
US20210258568A1 (en) 2021-08-19
CN114584774B (zh) 2023-05-09
EP3831064A1 (en) 2021-06-09
US20210185308A1 (en) 2021-06-17
SG11202100648RA (en) 2021-02-25
JP7223118B2 (ja) 2023-02-15
KR20240058947A (ko) 2024-05-03
SG11202101399VA (en) 2021-03-30
US11956420B2 (en) 2024-04-09
CN114584774A (zh) 2022-06-03
BR112021002491A2 (pt) 2021-08-10
KR20230170122A (ko) 2023-12-18
MX2021001745A (es) 2021-07-16
JP2023086737A (ja) 2023-06-22
UA128290C2 (uk) 2024-05-29
EP3831070A4 (en) 2022-02-16
JP7278366B2 (ja) 2023-05-19
KR20210036399A (ko) 2021-04-02
KR20230169440A (ko) 2023-12-15
MX2024008569A (es) 2024-07-22
IL280944A (en) 2021-04-29
CN114554196B (zh) 2023-04-28
FI3831064T3 (fi) 2024-05-08
MX2021001743A (es) 2021-06-23
KR20210036400A (ko) 2021-04-02
IL280944B1 (en) 2024-08-01
EP3831055A4 (en) 2021-10-13
US20240244184A1 (en) 2024-07-18
PL3831064T3 (pl) 2024-06-03
SG11202101407QA (en) 2021-03-30
CN113141784A (zh) 2021-07-20
MX2024003663A (es) 2024-04-15
KR20210036402A (ko) 2021-04-02
JP2021534671A (ja) 2021-12-09
CN114584775B (zh) 2023-04-11
KR102609949B1 (ko) 2023-12-04
AU2019322914A1 (en) 2021-03-18
US20220201284A1 (en) 2022-06-23
JP2021534668A (ja) 2021-12-09
JP2023095887A (ja) 2023-07-06
CN114697663A (zh) 2022-07-01
ZA202100951B (en) 2023-07-26
EP3831054A1 (en) 2021-06-09
CN114584775A (zh) 2022-06-03
SG11202101406PA (en) 2021-03-30
SG11202100647TA (en) 2021-02-25
BR112021002483A2 (pt) 2021-07-27
PT3831064T (pt) 2024-05-10
KR102610094B1 (ko) 2023-12-04
KR102610089B1 (ko) 2023-12-04
PH12021550312A1 (en) 2021-10-11
CN114501018B (zh) 2024-01-09
EP3831057A4 (en) 2021-09-22
EP3831064B1 (en) 2024-02-07
SG11202101404WA (en) 2021-03-30
JP7547319B2 (ja) 2024-09-09

Similar Documents

Publication Publication Date Title
JP7577150B2 (ja) ビデオコーディングにおける参照ピクチャ管理
JP7547530B2 (ja) ビデオエンコーダ、ビデオデコーダ、および対応物
JP2023086737A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241022

R150 Certificate of patent or registration of utility model

Ref document number: 7577150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150