[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6556905B2 - 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法 - Google Patents

映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法 Download PDF

Info

Publication number
JP6556905B2
JP6556905B2 JP2018085608A JP2018085608A JP6556905B2 JP 6556905 B2 JP6556905 B2 JP 6556905B2 JP 2018085608 A JP2018085608 A JP 2018085608A JP 2018085608 A JP2018085608 A JP 2018085608A JP 6556905 B2 JP6556905 B2 JP 6556905B2
Authority
JP
Japan
Prior art keywords
picture
video
information
reference picture
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018085608A
Other languages
English (en)
Other versions
JP2018152866A (ja
Inventor
カン、ジョン、ウォン
リー、ハ、ヒョン
チェ、ジン、ス
キム、ジン、ウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49635785&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6556905(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2018152866A publication Critical patent/JP2018152866A/ja
Application granted granted Critical
Publication of JP6556905B2 publication Critical patent/JP6556905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of El Displays (AREA)

Description

本発明は、ビデオ符号化及び復号化処理に関し、より詳しくは、ビットストリーム内のビデオの情報をデコーディングする方法及び装置に関する。
最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送サービスが韓国内だけではなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像に慣れており、それによって、多くの機関が次世代映像機器に対する開発に拍車を掛けている。また、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)に対する関心が増大しながら、より高い解像度、高画質の映像に対する圧縮機術が要求されている。
映像圧縮のために、時間的に以前及び/または以後のピクチャから現在ピクチャに含まれている画素値を予測するインター(ｉｎｔｅｒ)予測技術、現在ピクチャ内の画素情報を利用して現在ピクチャに含まれている画素値を予測するイントラ(ｉｎｔｒａ)予測技術、出現頻度が高いシンボル(ｓｙｍｂｏｌ)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。
映像圧縮技術には、流動的なネットワーク環境を考慮せずにハードウェアの制限的な動作環境下で一定のネットワーク帯域幅を提供する技術がある。しかし、随時帯域幅が変化するネットワーク環境に適用される映像データを圧縮するためには新たな圧縮技術が要求され、そのために、スケーラブル(ｓｃａｌａｂｌｅ)ビデオ符号化/復号化方法が使われることができる。
本発明の技術的課題は、階層的ビットストリーム内の抽出及びスケーラビリティ情報を記述する方法及び装置を提供することである。
本発明の他の技術的課題は、柔軟な方式で多様な種類のビットストリームのスケーラビリティ情報を表現する方法及び装置を提供することである。
本発明の他の技術的課題は、階層的ビットストリーム内の抽出及びスケーラビリティ情報をパケットレベルでの適応的に変換可能に提供する方法及び装置を提供することである。
本発明の一実施例に係る映像情報デコーディング方法は、エンコーディングされた映像に関連した情報を含むＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニットを含むビットストリームを受信するステップと、前記ＮＡＬユニットのＮＡＬユニットヘッダをパーシングするステップとを含み、前記ＮＡＬユニットヘッダは、前記ＮＡＬユニットのエンコーディング時、全体ビットストリームで非参照ピクチャであるか、または参照ピクチャであるかを示す１ビットのフラグ情報を含まない。
本発明の一実施例に係る映像デコーディング方法は、受信されたピクチャをデコーディングするステップと、デコーディングされたピクチャをＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)に参照ピクチャで表示するステップと、前記デコーディングされたピクチャの次のピクチャに対するスライスヘッダをパーシングするステップと、前記スライスヘッダに含まれている参照ピクチャ情報に基づき、前記デコーディングされたピクチャが参照ピクチャであるか、または非参照ピクチャであるかを表示するステップとを含む。
本発明の他の実施例として、活性化されるパラメータセットに対する情報を含むＳＥＩ(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)メッセージを受信し、前記パラメータセットに対する情報をパーシングする。
本発明の一実施例によると、階層的ビットストリーム内の抽出及びスケーラビリティ情報を記述する方法及び装置が提供される。
本発明の一実施例によると、柔軟な方式で多様な種類のビットストリームのスケーラビリティ情報を表現する方法及び装置が提供される。
本発明の他の実施例によると、階層的ビットストリーム内の抽出及びスケーラビリティ情報をパケットレベルでの適応的に変換可能に提供する方法及び装置が提供される。
映像符号化装置の一実施例に係る構成を示すブロック図である。 映像復号化装置の一実施例に係る構成を示すブロック図である。 本発明が適用されることができる、複数階層を利用したスケーラブルビデオコーディング構造の一実施例を概略的に示す概念図である。 本発明による映像情報のエンコーディング方法を説明するための制御流れ図である。 本発明による映像情報のデコーディング方法を説明するための制御流れ図である。
以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成または機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合、その詳細な説明は省略する。
一構成要素が他の構成要素に“連結されている”または“接続されている”と言及された場合、該当他の構成要素に直接的に連結されている、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解しなければならない。また、本発明において、特定構成を“含む”と記述する内容は、該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施または本発明の技術的思想の範囲に含まれることができることを意味する。
第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。
また、本発明の実施例に示す構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、各々の構成部として羅列して含むものであり、各構成部のうち少なくとも２個の構成部が統合されて一つの構成部からなり、または一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り、本発明の権利範囲に含まれる。
また、一部の構成要素は、本発明で本質的な機能を遂行する必須な構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質を具現するのに必須な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的構成要素を除いた必須構成要素のみを含む構造も本発明の権利範囲に含まれる。
図１は、映像符号化装置の一実施例に係る構成を示すブロック図である。スケーラブル(ｓｃａｌａｂｌｅ)ビデオ符号化/復号化方法または装置は、スケーラビリティ(ｓｃａｌａｂｉｌｉｔｙ)を提供しない一般的な映像符号化/復号化方法または装置の拡張(ｅｘｔｅｎｓｉｏｎ)により具現されることができ、図１のブロック図は、スケーラブルビデオ符号化装置のベースになることができる映像符号化装置の一実施例を示す。
図１を参照すると、前記映像符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０及び参照映像バッファ１９０を含む。
映像符号化装置１００は、入力映像に対してイントラ(ｉｎｔｒａ)モードまたはインター(ｉｎｔｅｒ)モードに符号化を実行することで、ビットストリーム(ｂｉｔ ｓｔｒｅａｍ)を出力することができる。イントラ予測は画面内予測を意味し、インター予測は画面間予測を意味する。イントラモードである場合、スイッチ１１５がイントラに切り替えられ、インターモードである場合、スイッチ１１５がインターに切り替えられる。映像符号化装置１００は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックとの差分を符号化することができる。
イントラモードである場合、イントラ予測部１２０は、現在ブロック周辺の既に符号化されたブロックの画素値を利用して空間的予測を実行することで、予測ブロックを生成することができる。
インターモードである場合、動き予測部１１１は、動き予測過程で参照映像バッファ１９０に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動きベクトルを求めることができる。動き補償部１１２は、動きベクトルと参照映像バッファ１９０に格納されている参照映像を利用して動き補償を実行することによって、予測ブロックを生成することができる。
減算器１２５は、入力ブロックと生成された予測ブロックとの差分により残余ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を生成することができる。変換部１３０は、残余ブロックに対して変換(ｔｒａｎｓｆｏｒｍ)を実行することで、変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。そして、量子化部１４０は、入力された変換係数を量子化パラメータによって量子化し、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。
エントロピー符号化部１５０は、量子化部１４０で算出された値または符号化過程で算出された符号化パラメータ値などに基づき、シンボル(ｓｙｍｂｏｌ)を確率分布によってエントロピー符号化することで、ビットストリーム(ｂｉｔ ｓｔｒｅａｍ)を出力することができる。エントロピー符号化方法は、多様な値を有するシンボルの入力を受け、統計的な重複性を除去すると共に、復号可能な２進数の列で表現する方法である。
ここで、シンボルとは、符号化/復号化対象構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)及び符号化パラメータ(ｃｏｄｉｎｇ ｐａｒａｍｅｔｅｒ)、残余信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ)の値などを意味する。符号化パラメータは、符号化及び復号化に必要な媒介変数であって、構文要素のように符号化器で符号化されて復号化器に伝達される情報だけでなく、符号化または復号化過程で類推されることができる情報を含むことができ、映像を符号化または復号化する時に必要な情報を意味する。符号化パラメータは、例えば、イントラ/インター予測モード、移動/動きベクトル、参照映像索引、符号化ブロックパターン、残余信号有無、変換係数、量子化された変換係数、量子化パラメータ、ブロックの大きさ、ブロック分割情報などの値または統計を含むことができる。また、残余信号は、原信号と予測信号との差を意味し、また、原信号と予測信号との差が変換(ｔｒａｎｓｆｏｒｍ)された形態の信号または原信号と予測信号との差が変換されて量子化された形態の信号を意味する。残余信号は、ブロック単位では残余ブロックという。
エントロピー符号化が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まることができる。
エントロピー符号化のために、指数ゴロム(ｅｘｐｏｎｅｎｔｉａｌ ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような符号化方法が使われることができる。例えば、エントロピー符号化部１５０には、可変長さ符号化(ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｈｔｈ Ｃｏｄｉｎｇ/Ｃｏｄｅ)テーブルのようなエントロピー符号化を実行するためのテーブルが格納されることができ、エントロピー符号化部１５０は、格納された可変長さ符号化(ＶＬＣ)テーブルを使用してエントロピー符号化を実行することができる。また、エントロピー符号化部１５０は、対象シンボルの２進化(ｂｉｎａｒｉｚａｔｉｏｎ)方法及び対象シンボル/ビン(ｂｉｎ)の確率モデル(ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ)を導出した後、導出された２進化方法または確率モデルを使用してエントロピー符号化を実行することもできる。
量子化された係数は、逆量子化部１６０で逆量子化され、逆変換部１７０で逆変換されることができる。逆量子化、逆変換された係数は、加算器１７５を介して予測ブロックと加えられて復元ブロックが生成されることができる。
復元ブロックは、フィルタ部１８０を経て、フィルタ部１８０は、デブロッキングフィルタ(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)のうち少なくとも一つ以上を復元ブロックまたは復元ピクチャに適用することができる。フィルタ部１８０を経た復元ブロックは、参照映像バッファ１９０に格納されることができる。
図２は、映像復号化装置の一実施例に係る構成を示すブロック図である。図１で詳述したように、スケーラブルビデオ符号化/復号化方法または装置は、スケーラビリティを提供しない一般的な映像符号化/復号化方法または装置の拡張により具現されることができ、図２のブロック図は、スケーラブルビデオ復号化装置のベースになることができる映像復号化装置の一実施例を示す。
図２を参照すると、前記映像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、フィルタ部２６０及び参照映像バッファ２７０を含む。
映像復号化装置２００は、符号化器から出力されたビットストリームの入力を受けてイントラモードまたはインターモードに復号化を実行することで、再構成された映像、即ち、復元映像を出力することができる。イントラモードである場合、スイッチがイントラに切り替えられ、インターモードである場合、スイッチがインターに切り替えられる。映像復号化装置２００は、入力されたビットストリームから復元された残余ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を得て、予測ブロックを生成した後、復元された残余ブロックと予測ブロックを加えて再構成されたブロック、即ち、復元ブロックを生成することができる。
エントロピー復号化部２１０は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)形態のシンボルを含むシンボルを生成することができる。エントロピー復号化方法は、２進数の列の入力を受けて各シンボルを生成する方法である。エントロピー復号化方法は、前述したエントロピー符号化方法と同様である。
量子化された係数は、逆量子化部２２０で逆量子化され、逆変換部２３０で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元された残余ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)が生成されることができる。
イントラモードである場合、イントラ予測部２４０は、現在ブロック周辺の既に符号化されたブロックの画素値を利用して空間的予測を実行することで、予測ブロックを生成することができる。インターモードである場合、動き補償部２５０は、動きベクトル及び参照映像バッファ２７０に格納されている参照映像を利用して動き補償を実行することによって、予測ブロックを生成することができる。
復元された残余ブロックと予測ブロックは、加算器２５５を介して加えられ、加えられたブロックは、フィルタ部２６０を経る。フィルタ部２６０は、デブロッキングフィルタ、ＳＡＯ、ＡＬＦのうち少なくとも一つ以上を復元ブロックまたは復元ピクチャに適用することができる。フィルタ部２６０は、再構成された映像、即ち、復元映像を出力する。
復元映像は、参照映像バッファ２７０に格納されて画面間予測に使われることができる。
前記映像復号化装置２００に含まれているエントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、フィルタ部２６０及び参照映像バッファ２７０のうち、映像の復号化に直接的に関連した構成要素、例えば、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、フィルタ部２６０などを他の構成要素と区分して復号化部またはデコーディング部で表現することができる。
また、映像復号化装置２００は、ビットストリームに含まれているエンコーディングされた映像に関連した情報をパーシングするパーシング部(図示せず)をさらに含むことができる。パーシング部は、エントロピー復号化部２１０を含むこともでき、エントロピー復号化部２１０に含まれることもできる。また、このようなパーシング部は、デコーディング部の一つの構成要素で具現されることもできる。
図３は、本発明が適用されることができる、複数階層を利用したスケーラブルビデオコーディング構造の一実施例を概略的に示す概念図である。図３において、ＧＯＰ(Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ)は、ピクチャ群、即ち、ピクチャのグループを示す。
映像データを送信するためには送信媒体が必要であり、その性能は、多様なネットワーク環境によって送信媒体別に異なる。このような多様な送信媒体またはネットワーク環境への適用のためにスケーラブルビデオコーディング方法が提供されることができる。
スケーラブルビデオコーディング方法は、階層(ｌａｙｅｒ)間のテクスチャ情報、動き情報、残余信号などを活用して階層間重複性を除去して符号化/復号化性能を高めるコーディング方法である。スケーラブルビデオコーディング方法は、送信ビット率、送信エラー率、システムリソースなどの周辺条件によって、空間的、時間的、画質的な観点で多様なスケーラビリティを提供することができる。
スケーラブルビデオコーディングは、多様なネットワーク状況に適用可能なビットストリームを提供することができるように、複数階層(ｍｕｌｔｉｐｌｅ ｌａｙｅｒｓ)構造を使用して実行されることができる。例えば、スケーラブルビデオコーディング構造は、一般的な映像符号化方法を利用して映像データを圧縮処理する基本階層を含むことができ、基本階層の符号化情報及び一般的な映像符号化方法を共に使用して映像データを圧縮処理する向上階層を含むことができる。
ここで、階層(ｌａｙｅｒ)は、空間(ｓｐａｔｉａｌ、例えば、映像の大きさ)、時間(ｔｅｍｐｏｒａｌ、例えば、符号化順序、映像出力順序、フレームレート)、画質、複雑度などを基準にした区分される映像及びビットストリーム(ｂｉｔ ｓｔｒｅａｍ)の集合を意味する。また、基本階層は、参照階層またはＢａｓｅ ｌａｙｅｒを意味し、向上階層は、Ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒを意味する。また、複数の階層は、相互間に従属性を有することもできる。
図３を参照すると、例えば、基本階層は、ＳＤ(ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ)、１５Ｈｚのフレーム率、１Ｍｂｐｓビット率で定義されることができ、第１の向上階層は、ＨＤ(ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、３０Ｈｚのフレーム率、３.９Ｍｂｐｓビット率で定義されることができ、第２の向上階層は、４Ｋ−ＵＨＥ(ｕｌｔｒａ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、６０Ｈｚのフレーム率、２７.２Ｍｂｐｓビット率で定義されることができる。前記フォーマット(ｆｏｒｍａｔ)、フレーム率、ビット率等は、一つの実施例に過ぎず、必要によって異なるように決まることができる。また、使われる階層の数も本実施例に限定されるものではなく、状況によって異なるように決まることができる。
例えば、送信帯域幅が４Ｍｂｐｓの場合、前記第１の向上階層ＨＤのフレームレートを減らして１５Ｈｚ以下に送信することができる。スケーラブルビデオコーディング方法は、前記図３の実施例で詳述した方法により時間的、空間的、画質的スケーラビリティを提供することができる。
以下、スケーラブルビデオコーディングは、符号化観点において、スケーラブルビデオ符号化と同じ意味を有し、復号化観点において、スケーラブルビデオ復号化と同じ意味を有する。
前述したように、異種の通信網及び多様な端末によって、スケーラビリティは、現在ビデオフォーマットの重要な機能になった。ＡＶＣ(Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)の拡張標準であるＳＶＣ(Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)は、圧縮効率を最大限維持すると共に、多様な範囲のビットレートを有するビットストリームを生成することができるように開発された。多様なデバイス及びネットワークの特性と変化を満たすために、ＳＶＣビットストリームは、容易に多様な方式で抽出されることができる。即ち、ＳＶＣ標準は、空間的(ｓｐａｔｉａｌ)、時間的(ｔｅｍｐｏｒａｌ)、画質(ＳＮＲ)スケーラビリティを提供する。
一方、複数の階層を含むビットストリームは、パケットスイッチングネットワーク(ｐａｃｋｅｔ−ｓｗｉｔｃｈｉｎｇ ｎｅｔｗｏｒｋ)を介してビデオの適応的送信を容易にするＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ｕｎｉｔで構成される。複数の階層と同様に、ビットストリーム内の複数の多視点映像を含むマルチビュービデオコーディング(ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ)における複数の視点間の関係は、複数のレイヤをサポートするビデオでの空間的階層(ｓｐａｔｉａｌ ｌａｙｅｒ)間の関係と同様である。
コンテンツ伝達経路(ｃｏｎｔｅｎｔ ｄｅｌｉｖｅｒｙ ｐａｔｈ)における全てのノードでビットストリームを効果的且つ効率的に変換するためにはビットストリームのスケーラビリティ情報が相当重要である。現在単一レイヤに対するビデオコーディングの標準(ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ)では、ＮＡＬ Ｕｎｉｔ(以下、ＮＡＬＵ)ヘッダ(ｈｅａｄｅｒ)に階層情報と関連した２個のフィールドであるｔｅｍｐｏｒａｌ_ｉｄとｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓが存在する。３ｂｉｔｓの長さを有するｔｅｍｐｏｒａｌ_ｉｄは、ビデオビットストリームの時間的レイヤ(ｔｅｍｐｏｒａｌ ｌａｙｅｒ)を示し、ｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓは、以後に他の階層情報を示すための領域に該当する。
時間的レイヤは、ビデオコーディングレイヤ(ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ＶＣＬ)ＮＡＬ ｕｎｉｔで構成された時間的にスケールされることができるビットストリームのレイヤを意味し、時間的レイヤは、特定のｔｅｍｐｏｒａｌ_ｉｄ値を有する。
本発明は、複数のレイヤをサポートするビットストリーム内で映像の抽出情報(ｅｘｔｒａｃｔｉｏｎ)及び階層的情報(ｓｃａｌａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ)を効果的に記述し、それをシグナリングするための方法及びそれを具現する装置に関する発明である。
本発明では、ビットストリームを２つのタイプ、時間スケーラビリティ(ｔｅｍｐｏｒａｌ ｓｃａｌａｂｉｌｉｔｙ)のみをサポートする基本タイプ(ｂａｓｅ ｔｙｐｅ)と、時間を含む空間/画質/視点をサポートするスケーラビリティを有することができる拡張タイプ(ｅｘｔｅｎｄｅｄ ｔｙｐｅ)とに分けて説明する。
ビットストリームの第１のタイプは、単一階層ビデオをサポートするビットストリームに対するものであり、第２のタイプは、ＨＥＶＣベースの階層的ビデオ符号化で向上階層のためのものである。以下、２つのビットストリームタイプのスケーラビリティ情報を表現するための改善方案を提案する。本発明によると、拡張タイプにおいて、５ｂｉｔのｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓは、スケーラブル階層の識別子を示すｌａｙｅｒ_ｉｄとして使われることができる。
ＮＡＬＵヘッダからｎａｌ_ｒｅｆ_ｆｌａｇ除去
ｎａｌ_ｒｅｆ_ｆｌａｇは、非参照ピクチャ(ｎｏｎ−ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ)を示すために使われる。この情報は、非参照ピクチャと参照ピクチャ(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ)との間の概略的な優先順位を示すが、送信のためのｎａｌ_ｒｅｆ_ｆｌａｇの使用は多少制限的である。
参照ピクチャ(Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ)は、デコーディング順序上、後続のピクチャ(ｓｕｂｓｅｑｕｅｎｔ ｐｉｃｔｕｒｅｓ)のデコーディング時、画面間予測のために使われることができるサンプルを含むピクチャを意味する。
非参照ピクチャ(ｎｏｎ−ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ)は、デコーディング順序上、後続のピクチャのデコーディング時、画面間予測のために使われないサンプルを含むピクチャを意味する。
ｎａｌ_ｒｅｆ_ｆｌａｇは、エンコーディング時、該当ｎａｌユニットが全体ビットストリーム上で非参照ピクチャであるか、または参照ピクチャであるかを示す情報を示すフラグである。
ｎａｌ_ｒｅｆ_ｆｌａｇが１の場合、ＮＡＬＵは、ＳＰＳ(ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、ＰＰＳ(ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、ＡＰＳ(ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ)または参照ピクチャのスライスを含むことを意味し、ｎａｌ_ｒｅｆ_ｆｌａｇが０の場合、ＮＡＬＵは、非参照ピクチャの一部または全部を含むスライスを含むことを意味する。
このとき、ｎａｌ_ｒｅｆ_ｆｌａｇ値が１であるＮＡＬＵは、参照ピクチャのスライスを含むことができ、ｎａｌ_ｒｅｆ_ｆｌａｇは、ＶＰＳ(ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ)、ＳＰＳ(ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、ＰＰＳ(ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)のＮＡＬＵに対して１の値を有する。特定ピクチャのＶＣＬ ＮＡＬＵのうち一つが、ｎａｌ_ｒｅｆ_ｆｌａｇ値が０の場合、該当ピクチャの全てのＶＣＬ ＮＡＬＵに対してｎａｌ_ｒｅｆ_ｆｌａｇは、０の値を有する。
一方、全ての非参照ピクチャ(ｎｏｎ−ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ)、特に、大部分最上位時間的レイヤに該当する非参照ピクチャが抽出されると、抽出後に残った全てのピクチャのｎａｌ_ｒｅｆ_ｆｌａｇは１になる。
しかし、適応変換された(抽出された)ビットストリームの一部ピクチャ、即ち、残ったビットストリームで最上位時間的レイヤに該当するピクチャは、ｎａｌ_ｒｅｆ_ｆｌａｇが１であるとしても非参照ピクチャになる。
即ち、ＮＡＬＵヘッダの他のシンタックス要素(例えば、ｔｅｍｐｏｒａｌ_ｉｄ)が適応変換(抽出)をサポートするのに一層効果的である。即ち、ビットストリームが含む全体時間的レイヤの個数とＮＡＬＵヘッダのｔｅｍｐｏｒａｌ_ｉｄ値を利用し、所望の時間的レイヤを含むビットストリームを抽出することができる。
また、ｎａｌ_ｒｅｆ_ｆｌａｇは、ｎａｌ_ｒｅｆ_ｆｌａｇを含むＮＡＬＵで構成されたピクチャをデコーディング(復元)した後、ＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)のようなメモリに格納する時、該当ピクチャを以後に参照ピクチャとして使用するかどうかを表示する時も使われることができる。ｎａｌ_ｒｅｆ_ｆｌａｇが１の場合、以後に参照ピクチャとして使われると表示し、ｎａｌ_ｒｅｆ_ｆｌａｇが０の場合、以後に参照ピクチャとして使用しないと表示することができる。
ｎａｌ_ｒｅｆ_ｆｌａｇを介して該当ＮＡＬＵが非参照ピクチャであるか、または参照ピクチャであるかを判断せずに、デコーディングされたピクチャをＤＰＢに格納する時、参照ピクチャで表示することができる。この場合、デコーディングされたピクチャが非参照ピクチャであるが、参照ピクチャで表示されても、デコーディング順序上、該当ピクチャの次のピクチャをデコーディングするにあたって、次のピクチャのヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)に伝達される参照ピクチャリストに該当ピクチャが含まれていないため、問題が発生しない。
即ち、次のピクチャをデコーディングする時、スライスヘッダに含まれている参照ピクチャリストによって以前にデコーディングされたピクチャが参照ピクチャであるか、または非参照ピクチャであるかが表示される。したがって、ｎａｌ_ｒｅｆ_ｆｌａｇを介してデコーディングされたピクチャが参照ピクチャであるかどうかが判断されずに、参照ピクチャで表示されても、デコーディングされたピクチャを参照ピクチャまたは非参照ピクチャと判断するのに問題が発生しない。
本発明では、ＮＡＬＵヘッダからｎａｌ_ｒｅｆ_ｆｌａｇを削除し、またはｎａｌ_ｒｅｆ_ｆｌａｇの意味(ｓｅｍａｎｔｉｃｓ)を変更することを提案する。ｎａｌ_ｒｅｆ_ｆｌａｇ削除と関連した実施例は、下記の通りである。
実施例１
ｎａｌ_ｒｅｆ_ｆｌａｇをｓｌｉｃｅ_ｒｅｆ_ｆｌａｇに変更し、フラグの位置をＮＡＬＵヘッダからスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)に移す。スライスヘッダのシンタックスは、表１のように修正されることができる。
Figure 0006556905
表１において、ｓｌｉｃｅ_ｒｅｆ_ｆｌａｇの値が１の場合、スライスが参照ピクチャの一部であることを指示し、０の場合、スライスが非参照ピクチャの一部であることを指示する。
実施例２
ｎａｌ_ｒｅｆ_ｆｌａｇをａｕ_ｒｅｆ_ｆｌａｇに変更し、フラグの位置をＮＡＬＵヘッダからアクセスユニットデリミタ(ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ)に移す。アクセスユニットデリミタのシンタックスは、表２の通りである。
Figure 0006556905
表２において、ａｕ_ｒｅｆ_ｆｌａｇが１の場合、アクセスユニットが参照ピクチャを含むことを指示し、０の場合、アクセスユニットが非参照ピクチャを含むことを指示する。
実施例３
ｎａｌ_ｒｅｆ_ｆｌａｇを他のシンタックスに移動させずに、ｎａｌ_ｒｅｆ_ｆｌａｇをＮＡＬＵヘッダから削除する。
エンコーディング時、全体ビットストリームで非参照ピクチャであるか、または参照ピクチャであるかを示す１ビットのフラグ情報であるｎａｌ_ｒｅｆ_ｆｌａｇが削除されると、ｎａｌ_ｒｅｆ_ｆｌａｇによって実行されたピクチャが参照ピクチャであるかどうかに対する判断は、他の過程を介して実行されることができる。受信されたピクチャをデコーディングした後、デコーディングされたピクチャをＤＰＢ(ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ)に無条件参照ピクチャで表示する。即ち、デコーディングされたピクチャが参照ピクチャであるかどうかを判断せずに、参照ピクチャで表示されることができる。
その後、デコーディングされたピクチャの次のピクチャに対するスライスヘッダをパーシングし、スライスヘッダに含まれている参照ピクチャ情報に基づいてデコーディングされたピクチャが参照ピクチャであるか、または非参照ピクチャであるかを表示することができる。
実施例４
ＮＡＬＵヘッダからｎａｌ_ｒｅｆ_ｆｌａｇを削除し、非参照ピクチャのＮＡＬＵという情報を示すためにｔｅｍｐｏｒａｌ_ｉｄを使用することができる。ｔｅｍｐｏｒａｌ_ｉｄは“７”、またはビットストリームに含まれている最大時間的レイヤの個数−１(即ち、ｍａｘ_ｔｅｍｐｏｒａｌ_ｌａｙｅｒｓ_ｍｉｎｕｓ１)、または“０”を除いた既設定された値になることができる。
実施例５
ＮＡＬＵヘッダからｎａｌ_ｒｅｆ_ｆｌａｇを削除し、非参照ピクチャのＮＡＬＵという情報を示すためにｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓをｐｒｉｏｒｉｔｙ_ｉｄ構成要素として使用することができる。ｐｒｉｏｒｉｔｙ_ｉｄは、該当ＮＡＬＵの優先順位(ｐｒｉｏｒｉｔｙ)を示す識別子であって、異なる空間、時間及び画質に関係なく優先順位によるビットストリーム抽出機能を提供するために使われる。
即ち、もし、ｔｅｍｐｏｒａｌ_ｉｄ＝Ｔａが最上位時間的レイヤの識別子である場合、ｔｅｍｐｏｒａｌ_ｉｄ＝Ｔａであり、ｐｒｉｏｒｉｔｙ_ｉｄ＝３１(または、他の特定値)であるＮＡＬＵを非参照ピクチャのＮＡＬＵであることを示すために使用する。
ｎａｌ_ｒｅｆ_ｆｌａｇをシグナリングするために使われた１ｂｉｔは、下記のうちいずれか一つとして使われることができる。
(１)ｎａｌ_ｕｎｉｔ_ｔｙｐｅの指示に使われることができる。ｎａｌ_ｕｎｉｔ_ｔｙｐｅは、７ｂｉｔｓ信号になることができ、ＮＡＬＵタイプの個数は、２倍に増加することができる。
(２)ｔｅｍｐｏｒａｌ_ｉｄの指示に使われることができる。ｔｅｍｐｏｒａｌ_ｉｄは、４ｂｉｔｓ信号になることができ、最大時間的レイヤの数が２倍に増加することができる。
(３)ｌａｙｅｒ_ｉｄを指示するために使われることができる。ｌａｙｅｒ_ｉｄは、階層的ビットストリームのスケーラブル階層の識別子を意味し、ｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓシンタックス要素によってシグナリングされることができる。スケーラブル階層を識別するために使われたｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓの５ｂｉｔにｎａｌ_ｒｅｆ_ｆｌａｇのシグナリングのために使用した１ｂｉｔが追加されることで、ｌａｙｅｒ_ｉｄは６ｂｉｔ信号になることができる。６ｂｉｔを使用するようになると、６４個のスケーラブル階層を識別することができる。
(４)ｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓがｐｒｉｏｒｉｔｙを示すかどうかを知らせるｆｌａｇとして使われることができる。
(５)ｒｅｓｅｒｖｅｄ_ｂｉｔとして使われることができる。
もし、ｎａｌ_ｒｅｆ_ｆｌａｇをＮＡＬＵヘッダから削除しない場合、ｎａｌ_ｒｅｆ_ｆｌａｇの意味は、下記のように修正されることができる。
ｎａｌ_ｒｅｆ_ｆｌａｇが０の場合、ＮＡＬＵは、非参照ピクチャのスライスのみを含むことを指示し、ｎａｌ_ｒｅｆ_ｆｌａｇが１の場合、ＮＡＬＵは、参照ピクチャまたは非参照ピクチャのスライスを含むことができることを指示する。
ビデオパラメータセットの活性化シグナリング
ビデオパラメータセット(ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ)は、映像をデコーディングするための最も基本的な情報を含み、既存のＳＰＳに存在した内容を含むことができる。
ビデオパラメータセットには、時間的スケーラビリティをサポートする時間的レイヤを示すサブレイヤ(ｓｕｂ−ｌａｙｅｒ)に対する情報と、空間的(ｓｐａｔｉａｌ)、クオリティ的(ｑｕａｌｉｔｙ)及び視点的(ｖｉｅｗ)スケーラビリティをサポートする複数の階層に対する情報とを含むことができる。即ち、ビデオパラメータセットは、複数の階層情報、即ち、ＨＥＶＣ ｅｘｔｅｎｓｉｏｎのためのシンタックスを含むこともできる。
Ａ．ビデオパラメータセット(Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)
ビデオパラメータセットに対するシンタックスは、表３の通りである。
Figure 0006556905
表３において、大部分のシンタックスは、単一レイヤを含むビットストリームに適用されるＳＰＳシンタックスと同じ意味を有し、追加的な部分は、下記の通りである。
−ｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄは、ビデオパラメータセット(ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ)の識別子を意味し、ＳＰＳ(ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、ＳＥＩ(ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)、アクセスユニットデリミタ(ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ)で参照されることができる。
−ｐｒｉｏｒｉｔｙ_ｉｄ_ｆｌａｇが１の場合、ｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓがＳＶＣ標準のｐｒｉｏｒｉｔｙ_ｉｄと同じく使われることを意味し、ｐｒｉｏｒｉｔｙ_ｉｄ_ｆｌａｇが０の場合、ｒｅｓｅｒｖｅｄ_ｏｎｅ_５ｂｉｔｓがｌａｙｅｒ_ｉｄとして使われることを意味する。
−ｅｘｔｅｎｓｉｏｎ_ｉｎｆｏ_ｆｌａｇが０の場合、ビットストリームがＨＥＶＣの単一階層標準に従うことを指示し、１の場合、スケーラビリティのサポートのための向上階層(ＨＥＶＣ ｅｘｔｅｎｓｉｏｎをサポートする場合)を示し、階層と関連した情報が提供される。
Ｂ．シーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ)修正
表４のように、既存シンタックスのうち一部は、ＶＰＳに反映され、ＳＰＳから削除されることができる。一方、ＳＰＳにはｖｐｓ_ｉｄシンタックス要素が追加されることができる。ｖｐｓ_ｉｄが追加されたＳＰＳシンタックスは、表４の通りである。表４において、削除されたシンタックスは、シンタックス中間に線を引いて表現される。
ｖｐｓ_ｉｄは、ＳＰＳにより参照されるビデオパラメータセット(ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ)を識別するための識別子を指示し、ｖｐｓ_ｉｄは、０〜Ｘの範囲を有することができる。
Figure 0006556905
Ｃ．ビデオパラメータセット(Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)のための活性化(ａｃｔｉｖａｔｉｏｎ)シグナリング
スライスヘッダには、該当スライスが参照するピクチャパラメータセットに対するインデックス情報が含まれており、ピクチャパラメータセットには、該当ピクチャが参照するシーケンスパラメータセットに対するインデックス情報が含まれている。シーケンスパラメータセットには、該当シーケンスが参照するビデオパラメータセットに対する情報が含まれている。このようにパラメータセットに対する情報をパーシングし、パーシングされた該当パラメータセット情報を参照することを活性化(ａｃｔｉｖａｔｉｏｎ)という。
特定パラメータセットに対する情報を利用するために、即ち、パラメータセットを活性化するためにはスライスヘッダから順次にパーシングされなければならない。いずれのＳＰＳが活性化されるか(ａｃｔｉｖｅ)を知るために、全てのスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)及び関連したＰＰＳが分析されなければならないことを意味する。
単一階層を含むビットストリームのうち、サブレイヤ(時間的レイヤ)の中から一部を抽出する時、抽出器(ｅｘｔｒａｃｔｏｒ)は、ＮＡＬＵヘッダと複数のパラメータセット(ｐａｒａｍｅｔｅｒ ｓｅｔ)を分析(パーシング)する必要がある。
もし、ビデオパラメータセットまたはシーケンスパラメータセットにＮＡＬＵの抽出のための情報が含まれている場合、抽出器は、スライスヘッダから順次に上位のパラメータセットをパーシングしなければならない。これは抽出器がパラメータセット(ｐａｒａｍｅｔｅｒ ｓｅｔ)とスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)の全てのシンタックス要素を理解しなければならないということを意味する。
また、映像のデコーディング過程でも複雑なパーシング過程無しでｖｐｓ_ｉｄまたはｓｐｓ_ｉｄを探し、必要なパラメータセットのみを活性化することができる。この場合、ビデオパラメータセットまたはシーケンスパラメータセットが活性化されるパラメータインデックス情報を含む場合、複雑なスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)及び関連したＰＰＳに対するパーシング手順を減少させることができる。
一方、このようなシンタックスの要素のうち、一部分のみがビットストリーム抽出のために必要な情報を含むことができる。それにも拘わらず、抽出器が全てのシンタックス要素を分析することは、大きい負担になることができる。このような問題を解決するために、下記のような方法を提案する。
本発明において、パラメータセットの活性化(ａｃｔｉｖａｔｉｏｎ)は、抽出器がスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)及びそれと関連したＰＰＳ(ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)の分析無しでいずれのパラメータセットが活性化されるかを知ることができるようにシグナリングすることを意味する。
本発明によると、いずれのビデオパラメータセット、シーケンスパラメータセットまたはピクチャパラメータセットが活性化されるかどうかを別途にシグナリングすることで、抽出器は、全てのスライスヘッダ(ｓｌｉｃｅ ｈｅａｄｅｒ)及び関連したＰＰＳを分析しなければならない負担を減少させることができる。
ビデオパラメータセットは、アップデートされることもできる。抽出器がスライスヘッダを分析せずに、現在活性化されるＶＰＳ及び関連したＳＰＳまたはＰＰＳを知ることができるように、下記の方法のうち一つが使われることができる。
(１)ｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄをアクセスユニットデリミタ(ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ)に含ませることができる。ｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄは、各々、関連したＡＵ内のＮＡＬＵのために使われたビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセットの識別子を示す。
アクセスユニットデリミタ(Ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ)内に各識別子の存在可否を示すために、ｖｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｓｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｐｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇを使用し、提案するアクセスユニットデリミタのシンタックスは、表５の通りである。
Figure 0006556905
(１−１)他の方法は、表６のように、ｓｐｓ_ｉｄ及びｐｐｓ_ｉｄを除いてｖｐｓ_ｉｄのみをアクセスユニットデリミタ(ａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｍｉｔｅｒ)に含ませることができる。
Figure 0006556905
(２)ビデオパラメータセットの活性化シグナリングのための他の方法は、新たなＳＥＩメッセージ(ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｒｅｆｅｒｅｎｃｅ)を使用することである。ＳＥＩメッセージは、関連したＡＵ内のＮＡＬＵのために使われたビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセットの識別子を示すｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄの存在可否を知らせるためのシンタックスを含む。
各識別子の存在可否を示すために、ｖｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｓｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｐｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇシンタックスが使われることができ、ＳＥＩシンタックスは、表７の通りである。
Figure 0006556905
(２−１)また、表８のようにｐｐｓ_ｉｄを除いてｓｐｓ_ｉｄとｖｐｓ_ｉｄをＳＥＩメッセージに含ませて活性化を知らせることもできる。ＳＥＩメッセージに含まれているｓｐｓ_ｉｄとｖｐｓ_ｉｄは、該当ＳＥＩメッセージと関連したアクセスユニット(ａｃｃｅｓｓ ｕｎｉｔ)のビデオコーディングレイヤＮＡＬＵが参照するｓｐｓ_ｉｄとｖｐｓ_ｉｄを含むことができる。したがって、ｓｐｓ_ｉｄとｖｐｓ_ｉｄは、活性化される可能性があるパラメータセットの情報を示すことができる。
Figure 0006556905
表８において、ｖｐｓ_ｉｄは、現在活性化されるビデオパラメータセットのｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを示す。ｖｐｓ_ｉｄ値は、０〜１５の値を有することができる。
ｓｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇが１の値を有する場合、現在活性化されるシーケンスパラメータセットのｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄが該当ＳＥＩメッセージに含まれていることを示し、ｓｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇが０の値を有する場合、活性化されるシーケンスパラメータセットのｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄが該当ＳＥＩメッセージに含まれていないことを示す。
ｓｐｓ_ｉｄは、現在活性化されるシーケンスパラメータセットのｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを示す。ｓｐｓ_ｉｄは、０〜３１の値、より限定的には、０〜１５の値を有することができる。
ｐｓｒ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇが０の場合、ｐａｒａｍｅｔｅｒ ｓｅｔ ｒｅｆｅｒｅｎｃｅ ＳＥＩ ｍｅｓｓａｇｅ ｅｘｔｅｎｓｉｏｎシンタックス要素がｐａｒａｍｅｔｅｒ ｓｅｔ ｒｅｆｅｒｅｎｃｅ ＳＥＩメッセージに含まれていないことを意味し、ｐｓｒ_ｅｘｔｅｎｓｉｏｎ_ｆｌａｇが１の場合、ｐａｒａｍｅｔｅｒ ｓｅｔ ｒｅｆｅｒｅｎｃｅ ＳＥＩ ｍｅｓｓａｇｅ ｅｘｔｅｎｓｉｏｎシンタックス要素をｐａｒａｍｅｔｅｒ ｓｅｔ ｒｅｆｅｒｅｎｃｅ ＳＥＩメッセージが含まれてシンタックスを拡張して使用することを意味する。
ｐｓｒ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈは、ｐｓｒ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａの長さを示す。ｐｓｒ_ｅｘｔｅｎｓｉｏｎ_ｌｅｎｇｔｈは、０〜２５６の範囲を値を有することができ、ｐｓｒ_ｅｘｔｅｎｓｉｏｎ_ｄａｔａ_ｂｙｔｅは、どのような値も有することができる。
(２−２)また、表９のように、ｐｐｓ_ｉｄを除いて一つ以上のｓｐｓ_ｉｄとｖｐｓ_ｉｄをＳＥＩメッセージに含ませてシグナリングすることもできる。
Figure 0006556905
表９において、ｖｐｓ_ｉｄは、現在活性化されるビデオパラメータセットのｖｉｄｅｏ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを示す。ｖｐｓ_ｉｄは、０〜１５の値を有することができる。
ｎｕｍ_ｒｅｆｅｒｅｎｃｅ_ｓｐｓは、現在活性化されるｖｐｓ_ｉｄを参照するシーケンスパラメータセットの個数を示す。
ｓｐｓ_ｉｄ(ｉ)は、現在活性化されるシーケンスパラメータセットのｓｅｑｕｅｎｃｅ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄを示し、ｓｐｓ_ｉｄは、０〜３１の値、より限定的には、０〜１５の値を有することができる。
(２−３)また、表１０のように、ｓｐｓ_ｉｄ及びｐｐｓ_ｉｄを除いてｖｐｓ_ｉｄのみをＳＥＩメッセージに含ませてシグナリングすることもできる。
Figure 0006556905
(３)ビデオパラメータセットの活性化シグナリングのための他の方法は、Ｂｕｆｆｅｒｉｎｇ ｐｅｒｉｏｄ ＳＥＩメッセージにｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄを知らせる情報を含ませることである。表１１は、ｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄ識別子の存在可否を示すためのｖｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｓｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｐｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇを含んでいるシンタックスを示す。
Figure 0006556905
(３−１)また、表１２のように、ｓｐｓ_ｉｄ及びｐｐｓ_ｉｄを除いてｖｐｓ_ｉｄのみをＢｕｆｆｅｒｉｎｇ ｐｅｒｉｏｄ ＳＥＩメッセージに含ませてパラメータセットの活性化をシグナリングすることもできる。
Figure 0006556905
(４)パラメータセットの活性化シグナリングのための他の方法は、Ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ ＳＥＩメッセージにｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄを知らせる情報を含ませることである。表１３は、ｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄ識別子の存在可否を示すためのｖｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｓｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｐｐｓ_ｉｄ_ｐｒｅｓｅｎｔ_ｆｌａｇを含んでいるシンタックスを示す。
Figure 0006556905
(４−１)また、表１４のように、ｓｐｓ_ｉｄ及びｐｐｓ_ｉｄを除いてｖｐｓ_ｉｄのみをＲｅｃｏｖｅｒｙ ｐｏｉｎｔ ＳＥＩメッセージに含ませて知らせる方法もある。
Figure 0006556905
前述したｖｐｓ_ｉｄまたはｓｐｓ_ｉｄを伝達するメッセージは、ＩＲＡＰ(ｉｎｔｒａ ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ)アクセスユニットに含まれることができる。
前述した情報シグナリング方法のうち少なくとも一つがアクセスユニットに含まれて使われる場合、抽出器は、ビットストリームを抽出するために、前記シグナリング方法を介してｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄ値を探し、一つ以上のｖｐｓ/ｓｐｓ/ｐｐｓを管理することができる。
また、デコーディング装置またはデコーディングを実行するデコーディング部は、前記シグナリング方法を介してｖｐｓ_ｉｄ、ｓｐｓ_ｉｄ、ｐｐｓ_ｉｄ値を探し、該当パラメータセットを活性化してパラメータセットと関連したＡＵをデコーディングすることができる。
拡張タイプ(Ｅｘｔｅｎｄｅｄ ｔｙｐｅ)におけるビットストリームの表現
以下、階層拡張をサポートするビットストリームを含む場合、スケーラブル階層に対する情報を表示し、これをシグナリングするためのＶＰＳのｅｘｔｅｎｓｉｏｎ_ｉｎｆｏ()と新たなＳＥＩメッセージを提案する。拡張タイプ(Ｅｘｔｅｎｄｅｄ ｔｙｐｅ)において、ビットストリームを表現するためには下記のような情報がシグナリングされることができる。
ｌａｙｅｒ_ｉｄは、レイヤの優先順位(ｐｒｉｏｒｉｔｙ)値を伝達するかどうかを示すものをシグナリングする。
このとき、各ｌａｙｅｒ_ｉｄ値に対応して空間階層(ｄｅｐｅｎｄｅｎｃｙ_ｉｄ値により識別)、画質階層(ｑｕａｌｉｔｙ_ｉｄ値により識別)、視点(ｖｉｅｗ_ｉｄ値により識別)などをシグナリングすることができ、時間的レイヤは、ＮＡＬＵヘッダのｔｅｍｐｏｒａｌ_ｉｄにより識別されることができる。
また、ｌａｙｅｒ_ｉｄと関連したビデオの領域はｒｅｇｉｏｎ_ｉｄによりシグナリングされることができる。
また、スケーラブル階層のうち、ｄｅｐｅｎｄｅｎｃｙ情報、各スケーラブル階層のｂｉｔｒａｔｅ情報、各スケーラブル階層の品質情報がシグナリングされることができる。
ｅｘｔｅｎｓｉｏｎ_ｉｎｆｏ()シンタックスは、表１５の通りである。
Figure 0006556905
Figure 0006556905
表１５のシンタックスに対する意味は、下記の通りである。
−ｎｕｍ_ｆｒａｍｅ_ｓｉｚｅｓ_ｍｉｎｕｓ１ ｐｌｕｓ１は、符号化されたビデオシーケンス内に含まれている他の種類の映像の大きさ情報(例えば、ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｐｉｃ_ｃｒｏｐｐｉｎｇ_ｆｌａｇ[ｉ]、ｐｉｃ_ｃｒｏｐｐｉｎｇ_ｆｌａｇ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｌｅｆｔ_ｏｆｆｓｅｔ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｒｉｇｈｔ_ｏｆｆｓｅｔｖ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｔｏｐ_ｏｆｆｓｅｔ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｂｏｔｔｏｍ_ｏｆｆｓｅｔ[ｉ])の最大個数を示す。ｎｕｍ_ｆｒａｍｅ_ｓｉｚｅｓ_ｍｉｎｕｓ１値は、０〜Ｘの範囲を有することができる。他の種類の映像とは、異なる解像度を有する映像を含むことができる。
−ｎｕｍ_ｒｅｐ_ｆｏｒｍａｔｓ_ｍｉｎｕｓ１ ｐｌｕｓ１は、符号化されたビデオシーケンス内に含まれている他の種類のビット深さ(ｂｉｔ ｄｅｐｔｈ)と色差フォーマット(ｃｈｒｏｍａ ｆｏｒｍａｔ)(例えば、ｂｉｔ_ｄｅｐｔｈ_ｌｕｍａ_ｍｉｎｕｓ８[ｉ]、ｂｉｔ_ｄｅｐｔｈ_ｃｈｒｏｍａ_ｍｉｎｕｓ８[ｉ]、及びｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ ｖａｌｕｅｓ[ｉ])の最大個数を示す。ｎｕｍ_ｒｅｐ_ｆｏｒｍａｔｓ_ｍｉｎｕｓ１値は、０〜Ｘの範囲を有する。
−ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｐｉｃ_ｃｒｏｐｐｉｎｇ_ｆｌａｇ[ｉ]、ｐｉｃ_ｃｒｏｐｐｉｎｇ_ｆｌａｇ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｌｅｆｔ_ｏｆｆｓｅｔ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｒｉｇｈｔ_ｏｆｆｓｅｔｖ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｔｏｐ_ｏｆｆｓｅｔ[ｉ]、ｐｉｃ_ｃｒｏｐ_ｂｏｔｔｏｍ_ｏｆｆｓｅｔ[ｉ]は、符号化されたビデオシーケンスのｉ番目のｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ、ｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ、ｐｉｃ_ｃｒｏｐｐｉｎｇ_ｆｌａｇ、ｐｉｃ_ｃｒｏｐｐｉｎｇ_ｆｌａｇ、ｐｉｃ_ｃｒｏｐ_ｌｅｆｔ_ｏｆｆｓｅｔ、ｐｉｃ_ｃｒｏｐ_ｒｉｇｈｔ_ｏｆｆｓｅｔｖ、ｐｉｃ_ｃｒｏｐ_ｔｏｐ_ｏｆｆｓｅｔ、ｐｉｃ_ｃｒｏｐ_ｂｏｔｔｏｍ_ｏｆｆｓｅｔ値を示す。
−ｂｉｔ_ｄｅｐｔｈ_ｌｕｍａ_ｍｉｎｕｓ８[ｉ]、ｂｉｔ_ｄｅｐｔｈ_ｃｈｒｏｍａ_ｍｉｎｕｓ８[ｉ]、及びｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ[ｉ]は、符号化されたビデオシーケンスのｉ番目のｂｉｔ_ｄｅｐｔｈ_ｌｕｍａ_ｍｉｎｕｓ８、ｂｉｔ_ｄｅｐｔｈ_ｃｈｒｏｍａ_ｍｉｎｕｓ８、及びｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ値を示す。
−ｎｕｍ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、ビットストリームで可能なスケーラブル階層の数を示す。
−ｄｅｐｅｎｄｅｎｃｙ_ｉｄ_ｆｌａｇが１の場合、ｌａｙｅｒ_ｉｄ値と関連した一つ以上のｄｅｐｅｎｄｅｎｃｙ_ｉｄ値があることを示す。
−ｑｕａｌｉｔｙ_ｉｄ_ｆｌａｇが１の場合、ｌａｙｅｒ_ｉｄ値と関連した一つ以上のｑｕａｌｉｔｙ_ｉｄ値があることを示す。
−ｖｉｅｗ_ｉｄ_ｆｌａｇが１の場合、ｌａｙｅｒ_ｉｄ値と関連した一つ以上のｖｉｅｗ_ｉｄ値があることを示す。
−ｒｅｇｉｏｎ_ｉｄ_ｆｌａｇが１の場合、ｌａｙｅｒ_ｉｄ値と関連した一つ以上のｒｅｇｉｏｎ_ｉｄ値があることを示す。
−ｌａｙｅｒ_ｄｅｐｅｎｄｅｎｃｙ_ｉｎｆｏ_ｆｌａｇが１の場合、スケーラブル階層のｄｅｐｅｎｄｅｎｃｙ情報を提供することを示す。
−ｆｒａｍｅ_ｓｉｚｅ_ｉｄｘ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉである階層に適用されるｆｒａｍｅ ｓｉｚｅのセットに対するインデックスを示す。ｆｒａｍｅ_ｓｉｚｅ_ｉｄｘ[ｉ]は、０〜Ｘ範囲の値を有する。
−ｒｅｐ_ｆｏｒｍａｔ_ｉｄｘ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉである階層に適用されるビット深さ(ｂｉｔ ｄｅｐｔｈ)と色差フォーマット(ｃｈｒｏｍａ ｆｏｒｍａｔ)のセットに対するインデックスを示す。ｒｅｐ_ｆｏｒｍａｔ_ｉｄｘ[ｉ]は、０〜Ｘ範囲の値を有する。
−ｏｎｅ_ｄｅｐｅｎｄｅｎｃｙ_ｉｄ_ｆｌａｇ[ｉ]が１の場合、ｌａｙｅｒ_ｉｄ値がｉと関連した一つのｄｅｐｅｎｄｅｎｃｙ_ｉｄのみが存在することを示し、ｏｎｅ_ｄｅｐｅｎｄｅｎｃｙ_ｉｄ_ｆｌａｇ[ｉ]が０の場合、ｌａｙｅｒ_ｉｄ値がｉと関連した二つまたはそれ以上のｄｅｐｅｎｄｅｎｃｙ_ｉｄ値が存在することを示す。
−ｄｅｐｅｎｄｅｎｃｙ_ｉｄ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉと関連したｄｅｐｅｎｄｅｎｃｙ_ｉｄ値を示す。
−ｄｅｐｅｎｄｅｎｃｙ_ｉｄ_ｍｉｎ[ｉ]及びｄｅｐｅｎｄｅｎｃｙ_ｉｄ_ｍａｘ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉと関連した最小ｄｅｐｅｎｄｅｎｃｙ_ｉｄ値と最大ｄｅｐｅｎｄｅｎｃｙ_ｉｄ値を各々示す。
−ｏｎｅ_ｑｕａｌｉｔｙ_ｉｄ_ｆｌａｇ[ｉ]が１の場合、ｌａｙｅｒ_ｉｄ値がｉと関連した一つのｑｕａｌｉｔｙ_ｉｄのみ存在することを示し、ｏｎｅ_ｑｕａｌｉｔｙ_ｉｄ_ｆｌａｇ[ｉ]が０の場合、ｌａｙｅｒ_ｉｄ値がｉと関連した二つまたはそれ以上のｑｕａｌｉｔｙ_ｉｄ値が存在することを示す。
−ｑｕａｌｉｔｙ_ｉｄ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉと関連したｑｕａｌｉｔｙ_ｉｄ値を示す。
−ｑｕａｌｉｔｙ_ｉｄ_ｍｉｎ[ｉ]及びｑｕａｌｉｔｙ_ｉｄ_ｍａｘ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉと関連した最小ｑｕａｌｔｉｙ_ｉｄ値と最大ｑｕａｌｉｔｙ_ｉｄ値を各々示す。
−ｏｎｅ_ｖｉｅｗ_ｉｄ_ｆｌａｇ[ｉ]が１の場合、ｌａｙｅｒ_ｉｄ値がｉと関連した一つのｖｉｅｗ_ｉｄが存在することを示し、０の場合、ｌａｙｅｒ_ｉｄ値がｉと関連した二つまたはそれ以上のｖｉｅｗ_ｉｄ値が存在することを示す。
−ｖｉｅｗ_ｉｄ[ｉ]はｌａｙｅｒ_ｉｄ値がｉと関連したｖｉｅｗ_ｉｄ値を示す。
−ｄｅｐｔｈ_ｆｌａｇ[ｉ]が１の場合、ｌａｙｅｒ_ｉｄ値がｉである現在スケーラブル階層が３Ｄビデオビットストリームの深さ情報を含んでいることを示す。
−ｖｉｅｗ_ｉｄ_ｍｉｎ[ｉ]及びｖｉｅｗ_ｉｄ_ｍａｘ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉと関連した最小ｖｉｅｗ_ｉｄ値と最大ｖｉｅｗ_ｉｄ値を各々示す。
−ｎｕｍ_ｒｅｇｉｏｎｓ_ｍｉｎｕｓ１ ｐｌｕｓ１は、ｌａｙｅｒ_ｉｄ値がｉと関連した領域の個数を示す。
−ｒｅｇｉｏｎ_ｉｄ[ｊ]は、ｌａｙｅｒ_ｉｄ値がｉと関連した領域ｊの識別子を示す。
−ｎｕｍ_ｄｉｒｅｃｔｌｙ_ｄｅｐｅｎｄｅｎｔ_ｌａｙｅｒｓ[ｉ]は、現在スケーラブル階層ｉが直接的に関連したスケーラブル階層(デコーディング時、予測信号の形成に必要な階層)の数を示す。
−ｄｉｒｅｃｔｌｙ_ｄｅｐｅｎｄｅｎｔ_ｌａｙｅｒ_ｉｄ_ｄｅｌｔａ_ｍｉｎｕｓ１[ｉ][ｊ] ｐｌｕｓ１は、現在スケーラブル階層であるｌａｙｅｒ_ｉｄ[ｉ]と、現在スケーラブル階層が直接的に関連したｊ番目のスケーラブル階層の階層識別子との間の差を示す。ｊ番目の直接的に関連したスケーラブル階層の階層識別子は、(ｌａｙｅｒ_ｉｄ[ｉ]−ｄｉｒｅｃｔｌｙ_ｄｅｐｅｎｄｅｎｔ_ｌａｙｅｒ_ｉｄ_ｄｅｌｔａ_ｍｉｎｕｓ１[ｉ][ｊ]−１)である。
他の実施例に係るｅｘｔｅｎｓｉｏｎ_ｉｎｆｏ()シンタックスは、表１６の通りである。
Figure 0006556905
表１６に示すように、ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]及びｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｂｉｔ_ｄｅｐｔｈ_ｌｕｍａ_ｍｉｎｕｓ８[ｉ]、ｂｉｔ_ｄｅｐｔｈ_ｃｈｒｏｍａ_ｍｉｎｕｓ８[ｉ]、及びｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ[ｉ]は、異なるリプリゼンテーションフォーマットに対する情報にシグナリングされることができる。
他の実施例によると、ｐｉｃ_ｗｉｄｔｈ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｐｉｃ_ｈｅｉｇｈｔ_ｉｎ_ｌｕｍａ_ｓａｍｐｌｅｓ[ｉ]、ｂｉｔ_ｄｅｐｔｈ_ｌｕｍａ_ｍｉｎｕｓ８[ｉ]、ｂｉｔ_ｄｅｐｔｈ_ｃｈｒｏｍａ_ｍｉｎｕｓ８[ｉ]、及びｃｈｒｏｍａ_ｆｏｒｍａｔ_ｉｄｃ[ｉ]は、異なる映像、即ち、異なる解像度を有するピクチャに対する情報にシグナリングされることができる。
ビットレートとクオリティ情報のシグナリングのための活性化ＳＥＩメッセージに対するシンタックスは、表１７の通りである。
Figure 0006556905
表１７のシンタックスに対する意味は、下記の通りである。
−ｎｕｍ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、ビットストリームで提供可能なスケーラブル階層の数を示す。
−ｂｉｔｒａｔｅ_ｉｎｆｏ_ｆｌａｇが１の場合、各々のスケーラブル階層に対するビットレート情報が提供されることを指示する。
−ｑｕａｌｉｔｙ_ｉｎｆｏ_ｆｌａｇが１の場合、各々のスケーラブル階層に対するクオリティ値に対する情報が提供されることを示す。
−ｑｕａｌｉｔｙ_ｔｙｐｅ_ｆｌａｇが１の場合、各々のスケーラブル階層に対するクオリティタイプに対する情報が提供されることを示す。
−ｍａｘ_ｂｉｔｒａｔｅ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉであるスケーラブル階層の最大ビットレートを示し、ａｖｅｒａｇｅ_ｂｉｔｒａｔｅ[ｉ]は、ｌａｙｅｒ_ｉｄ値がｉであるスケーラブル階層の平均ビットレートを示す。
−ｑｕａｌｉｔｙ_ｖａｌｕｅ[ｉ]は、スケーラブル階層ｉのクオリティ値を示す。
−ｑｕａｌｉｔｙ_ｔｙｐｅ_ｕｒｉ[ＱｕａｌｉｔｙＴｙｐｅＵｒｉＩｄｘ]は、ＵＴＦ−８ ｃｈａｒａｃｔｅｒで符号化されたｎｕｌｌ０ｔｅｒｍｉｎａｔｅｄ ｓｔｒｉｎｇのＱｕａｌｉｔｙＴｙｐｅＵｒｉＩｄｘ−ｔｈバイト(ｂｙｔｅ)であり、クオリティ値のタイプに対する表現を含むＵＲＩ(ｕｎｉｖｅｒｓａｌ ｒｅｓｏｕｒｃｅ ｉｄｅｎｔｉｆｉｅｒ)を示す。
以下、効率的なビットストリーム抽出のための記述方式の改善として、ＶＰＳ(ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ)を改善させる方案を提案する。
階層参照(Ｌａｙｅｒ ｒｅｆｅｒｅｎｃｉｎｇ)
複数の階層をサポートするビットストリームでｌａｙｅｒ_ｉｄとスケーラビリティ次元ＩＤ(ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ＩＤ)との間の関係を指示する方法として、ｌａｙｅｒ_ｉｄとスケーラビリティ次元ＩＤ(ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ＩＤ)との間のマッピング方法を知らせる第１の方法と、ｌａｙｅｒ_ｉｄのビットを分割(ｐａｒｔｉｔｉｏｎｉｎｇまたはｓｐｌｉｃｉｎｇ)して割り当てられたビットにどのような次元タイプが存在するかを知らせる第２の方法とが存在できる。
複数の階層をサポートするビットストリームで次元タイプ(ｄｉｍｅｎｓｉｏｎ ｔｙｐｅ)とは、空間的スケーラビリティ、クオリティ的スケーラビリティのようなスケーラビリティのタイプを意味し、次元ＩＤ(ｄｉｍｅｎｓｉｏｎ ＩＤ)は、特定の次元タイプが有することができるレイヤに対するインデックスを意味する。
複数の階層をサポートするビットストリームで、特定次元(ｄｉｍｅｎｓｉｏｎ)では特定階層(理解を助けるために、例えば、単一階層のビットストリームで時間的スケーラビリティをサポートする場合、時間的レイヤ(ｓｕｂ−ｌａｙｅｒ)３)が次の低い階層(例えば、時間的レイヤ(ｓｕｂ−ｌａｙｅｒ))を直接的に参照することは一般的である。
また、例えば、空間スケーラビリティをサポートする場合は、空間レイヤ２が次の低い空間階層１を直接的に参照することを意味する。
したがって、前記のような場合を示すために、基本参照(ｄｅｆａｕｌｔ ｄｉｒｅｃｔ ｄｅｐｅｎｄｅｎｃｙ)を有する次元を先に記述することを提案する。
その後、特定連関性(ｄｅｐｅｎｄｅｎｃｙ)を階層(ｓｃａｌａｂｌｅ ｌａｙｅｒ)に対する説明パート(ｄｅｓｃｒｉｐｔｉｏｎ ｌｏｏｐ)で具体的に記述することができる。
以下、前記二つの方法を利用して階層参照に対するシグナリングをするための方案を提示する。ｖｐｓ_ｅｘｔｅｎｓｉｏｎのための改善されたシンタックスは、表１８乃至表２１の通りである。
Figure 0006556905
表１８は、第１の方法を利用してｌａｙｅｒ_ｉｄとスケーラビリティ次元ＩＤ(ｓｃａｌａｂｉｌｉｔｙ ｄｉｍｅｎｓｉｏｎ ＩＤ)をマッピングさせているシンタックスを示している。表１８のシンタックスに対する意味は、下記の通りである。
−ａｌｌ_ｄｅｆａｕｌｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇが１の場合、全ての階層次元が基本参照(ｄｅｆａｕｌｔ ｄｅｐｅｎｄｅｎｃｙ)を有することを指示する。即ち、特定次元ｉにおいて、ｄｉｍｅｎｓｉｏｎ_ｉｄ[ｉ]＝ｎである階層は、デフォルトとしてｄｉｍｅｎｓｉｏｎ_ｉｄ[ｉ]＝ｎ−１を有する他の階層を直接的に参照することを意味する。
ａｌｌ_ｄｅｆａｕｌｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇが０の場合、全ての階層次元が基本参照を有するものではないことを示す。ａｌｌ_ｄｅｆａｕｌｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇが０の場合、下のｎｕｍ_ｄｅｆａｕｌｔ_ｄｉｍ_ｍｉｎｕｓ１がシグナリングされる。
−ｎｕｍ_ｄｅｆａｕｌｔ_ｄｉｍ_ｍｉｎｕｓ１は、基本参照(ｄｅｆａｕｌｔ ｄｅｐｅｎｄｅｎｃｙ)を有する次元の数を示す。
−ｄｉｍｅｎｓｉｏｎ[ｊ]は、基本参照(ｄｅｆａｕｌｔ ｄｅｐｅｎｄｅｎｃｙ)を有する階層次元のタイプを明示する。即ち、基本参照(ｄｅｆａｕｌｔ ｄｅｐｅｎｄｅｎｃｙ)を有する次元の数を一つずつ増加させながら、基本参照を有する階層次元のタイプに対する情報がシグナリングされる。該当次元において、上位階層(例えば、ｄｉｍｅｎｓｉｏｎ_ｉｄ＝ｎ)は、次の下位階層(例えば、ｄｉｍｅｎｓｉｏｎ_ｉｄ＝ｎ−１)を直接的に参照する。
−ｓｐｅｃｉｆｉｃ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ]が１の場合、該当階層のために具体的に記述された直接参照(ｄｉｒｅｃｔ ｄｅｐｅｎｄｅｎｃｅｓ/ｒｅｆｅｒｅｎｃｅｓ)があることを意味する。したがって、ｓｐｅｃｉｆｉｃ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ]が１の場合、該当階層が直接参照するレイヤの個数と該当レイヤのＩＤがシグナリングされる。
階層Ｃが階層Ｂを直接的に参照するということは、階層Ｃを復号化するために、デコーダは、階層Ｂの情報(デコーディングされ、またはデコーディングされない)を使用しなければならないという意味である。しかし、もし、階層Ｂが直接的に階層Ａの情報を使用する場合、階層Ｃは階層Ａを直接的に参照すると判断されない。
Figure 0006556905
表１９は、第２の方法を利用してｌａｙｅｒ_ｉｄのビットをスケーラビリティ次元タイプに割り当て、割り当てられた次元タイプの長さをシグナリングするシンタックスを示している。
表１９に含まれているｎｕｍ_ｄｉｍｅｎｓｉｏｎｓ_ｍｉｎｕｓ１は、ＮＡＬＵヘッダ内に存在する階層次元の数を示す。即ち、ＮＡＬＵヘッダに存在する階層次元の数を把握し、該当階層次元毎に存在する階層タイプと次元タイプに割り当てられたビット数を把握する。
表１９のシンタックス階層参照のためのシンタックスａｌｌ_ｄｅｆａｕｌｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ、ｎｕｍ_ｄｅｆａｕｌｔ_ｄｉｍ_ｍｉｎｕｓ１、ｄｉｍｅｎｓｉｏｎ[ｊ]及びｓｐｅｃｉｆｉｃ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ]に対する説明は、表１８に含まれているシンタックスと同じ意味を有する。
表２０及び表２１は、表１８及び表１９と異なる方式のシンタックスを示す。表２０は、第１の方法を利用する場合、基本参照(ｄｅｆａｕｌｔ ｄｅｐｅｎｄｅｎｃｙ)を示す他のシンタックスを示し、表２１は、第２の方法を利用する場合、基本参照(ｄｅｆａｕｌｔ ｄｅｐｅｎｄｅｎｃｙ)を示す他のシンタックスを示す。
Figure 0006556905
Figure 0006556905
表２０及び表２１のシンタックスのうち、表１８及び表１９と重複するシンタックスに対する説明は省略する。
表２０及び表２１に含まれている新たなシンタックスｄｅｆａｕｌｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ]は、次元タイプｉが基本参照を使用するかどうかを示す。該当次元において、高い階層(例えば、ｄｉｍｅｎｓｉｏｎ_ｉｄ[ｉ]＝ｎ)は、下の階層(例えば、ｄｉｍｅｎｓｉｏｎ_ｉｄ[ｉ]＝ｎ−１)を直接的に参照する。
即ち、ｎｕｍ_ｄｉｍｅｎｓｉｏｎｓ_ｍｉｎｕｓ１とｄｉｍｅｎｓｉｏｎ_ｔｙｐｅ[ｉ]によって特定次元タイプが指定される場合、該当次元タイプが基本参照を使用するかどうかをシグナリングし、そうでない場合、該当階層が直接的に参照するレイヤに対する情報をシグナリングする。
本発明による次元タイプ(ｄｉｍｅｎｓｉｏｎｓ ｔｙｐｅ)を示す場合、表２２の通りである。
Figure 0006556905
本発明によると、既存の次元タイプで次元タイプ４及び５、即ち、ｐｒｉｏｒｉｔｙ ＩＤ及びｒｅｇｉｏｎ ＩＤを示すタイプが追加された。
ｄｉｍｅｎｓｉｏｎ_ｔｙｐｅ[ｉ][ｊ]は、基本的に０〜５の値を有することができる。他の値は、以後に定義されることができ、デコーダは、０〜５の値でない場合、ｄｉｍｅｎｓｉｏｎ_ｔｙｐｅ[ｉ][ｊ]の値を無視することができる。
ｄｉｍｅｎｓｉｏｎ_ｔｙｐｅが４の値を有する場合、該当ｄｉｍｅｎｓｉｏｎ_ｉｄは、ＳＶＣ標準でビットストリームのｐｒｉｏｒｉｔｙ階層のｉｄを示す。
ｄｉｍｅｎｓｉｏｎ_ｔｙｐｅが５の値を有する場合、該当ｄｉｍｅｎｓｉｏｎ_ｉｄは、ビットストリームの特定領域のｉｄを示す。特定領域は、ビットストリーム内で一つ以上の時空間セグメント(ｓｐａｔｉａｌ−ｔｅｍｐｏｒａｌ ｓｅｇｍｅｎｔ)になることができる。
図４は、本発明による映像情報のエンコーディング方法を説明するための制御流れ図である。
図示されているように、符号化装置は、映像に関連した情報を含むＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニットをエンコーディングする(Ｓ４０１)。
ＮＡＬユニットのＮＡＬユニットヘッダは、ＮＡＬユニットが非参照ピクチャの少なくとも一部または全部を含むスライスを含むかどうかを示す情報を含まない。
一方、ＮＡＬユニットヘッダは、スケーラブル階層をサポートするビットストリームでスケーラブル階層を識別するための階層識別情報を含んでいる。
このとき、ＮＡＬユニットヘッダに含まれないＮＡＬユニットが非参照ピクチャの少なくとも一部または全部を含むスライスを含むかどうかを示す情報をシグナリングするために使われたビットは、階層識別情報をシグナリングするために使われることができる。
また、ＮＡＬユニットは、映像のデコーディングのために必要な多様な前記パラメータセットに対する情報を含むことができる。
符号化装置は、活性化されるパラメータセットに対する情報を含むＳＥＩ(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)メッセージを独立されたＮＡＬユニットにエンコーディングすることができる。
活性化されるパラメータセットに対する情報は、活性化されるビデオパラメータセットをインデクシングする情報及び活性化されるシーケンスパラメータセットをインデクシングする情報のうち少なくとも一つを含むことができる。
また、活性化されるパラメータセットに対する情報は、活性化されるビデオパラメータセットをインデクシングする情報、活性化されるビデオパラメータセットを参照するシーケンスパラメータセットの個数を示す情報、及びシーケンスパラメータセットをインデクシングする情報を含むことができる。
このようなパラメータセットに対する情報は、復号化装置が時間的スケーラビリティを提供するサブレイヤを抽出する時に利用されることができる。
また、デコーディング装置またはデコーディングを実行するデコーディング部は、ビデオコーディングレイヤＮＡＬＵのデコーディング時に必要なパラメータセットを活性化する時、前記パラメータセットに対する情報を利用することができる。
符号化装置は、エンコーディングされた映像に関連した情報を含むＮＡＬユニットをビットストリームに送信する(Ｓ４０２)。
図５は、本発明による映像情報のデコーディング方法を説明するための制御流れ図である。
図５を参照すると、復号化装置は、ビットストリームを介してエンコーディングされた映像に関連した情報を含むＮＡＬユニットを受信する(Ｓ５０１)。
復号化装置は、ＮＡＬユニットのヘッダ及びＮＡＬペイロード(ｐａｙｌｏａｄ)をパーシングする(Ｓ５０２)。映像情報に対するパーシングは、エントロピー復号化部または別途のパーシング部で実行されることができる。
復号化装置は、パーシングを介してＮＡＬユニットヘッダ及びＮＡＬペイロードに含まれている多様な情報を取得することができる。
ＮＡＬユニットヘッダは、スケーラブル階層をサポートするビットストリームでスケーラブル階層を識別するための階層識別情報を含み、ＮＡＬユニットのエンコーディング時、全体ビットストリームで非参照ピクチャであるか、または参照ピクチャであるかを示す１ビットのフラグ情報を含まない。
このとき、ＮＡＬユニットヘッダに含まれないＮＡＬユニットが非参照ピクチャの少なくとも一部または全部を含むスライスを含むかどうかを示す情報をシグナリングするために使われたビットは、階層識別情報をシグナリングするために使われることができる。
また、復号化装置は、パーシングを介してＳＥＩメッセージに含まれている該当ＳＥＩメッセージと関連したＮＡＬＵをデコーディングするために必要なパラメータセットに対する情報を取得することができる。
活性化されるパラメータセットに対する情報は、活性化されるビデオパラメータセットをインデクシングする情報及び活性化されるシーケンスパラメータセットをインデクシングする情報のうち少なくとも一つを含むことができる。
また、活性化されるパラメータセットに対する情報は、活性化されるビデオパラメータセットをインデクシングする情報、活性化されるビデオパラメータセットを参照するシーケンスパラメータセットの個数を示す情報、及びシーケンスパラメータセットをインデクシングする情報を含むことができる。
このようなパラメータセットに対する情報は、復号化装置が時間的スケーラビリティを提供するサブレイヤを抽出する時に利用されることができる。
追加的にパラメータセットに対する情報は、ビットストリームを復号化する時またはセッションネゴシエーション(例えば、ＩＰ網おけるストリーミング時、ｓｅｓｓｉｏｎ ｎｅｇｏｔｉａｔｉｏｎ)する時に利用されることができる。
前述した実施例において、方法は一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当該技術分野において、通常の知識を有する当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本発明の範囲に影響を及ぼさすに削除可能であることを理解することができる。
前述した実施例は、多様な態様の例示を含む。多様な態様を示す全ての可能な組合せを記述することはできないが、当該技術分野の通常の知識を有する者であれば、他の組合せが可能であることを認識することができる。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正、及び変更を含む。

Claims (5)

  1. 第１のピクチャをエンコードし、第２のピクチャのスライスヘッダをエンコードするエンコーディング部を含み、
    前記スライスヘッダは、参照ピクチャ情報を含み、
    前記エンコーディング部は、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのＮＡＬユニットヘッダをエンコードし、前記ＮＡＬユニットヘッダは、前記第１のピクチャが参照ピクチャまたは非参照ピクチャかどうかを示す情報を含まず、
    前記第１のピクチャおよび前記第２のピクチャを含む映像のデコーディング過程のために、前記参照ピクチャ情報は、前記第１のピクチャが参照ピクチャまたは非参照ピクチャであるかどうかを再表示するために用いられ、
    前記ＮＡＬユニットヘッダは、前記ＮＡＬユニットの時間的識別子に関連する情報を含むことを特徴とする映像エンコーディング装置。
  2. 前記エンコードされた映像は、前記第２のピクチャに対応することを特徴とする請求項１に記載の映像エンコーディング装置。
  3. 第１のピクチャおよびＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのＮＡＬユニットヘッダをエンコードする段階；および
    第２のピクチャのスライスヘッダをエンコードする段階を含み、
    前記スライスヘッダは、参照ピクチャ情報を含み、
    前記ＮＡＬユニットヘッダは、前記第１のピクチャが参照ピクチャまたは非参照ピクチャかどうかを示す情報を含まず、
    前記第１のピクチャおよび前記第２のピクチャを含む映像のデコーディング過程のために、前記参照ピクチャ情報は、前記第１のピクチャが参照ピクチャまたは非参照ピクチャであるかどうかを再表示するために用いられ、
    前記ＮＡＬユニットヘッダは、前記ＮＡＬユニットの時間的識別子に関連する情報を含むことを特徴とする映像エンコーディング方法。
  4. 第１のピクチャの情報、第２のピクチャのスライスヘッダの情報、およびＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのＮＡＬユニットヘッダを含むデータストリームを生成する段階；および
    前記データストリームを記憶する段階を含み、
    前記スライスヘッダは、参照ピクチャ情報を含み、
    前記ＮＡＬユニットヘッダは、前記第１のピクチャが参照ピクチャまたは非参照ピクチャかどうかを示す情報を含まず、
    前記第１のピクチャおよび前記第２のピクチャを含む映像のデコーディング過程のために、前記参照ピクチャ情報は、前記第１のピクチャが参照ピクチャまたは非参照ピクチャであるかどうかを再表示するために用いられ、
    前記ＮＡＬユニットヘッダは、前記ＮＡＬユニットの時間的識別子に関連する情報を含むことを特徴とするデータストリームを記憶する方法。
  5. 第１のピクチャの情報、第２のピクチャのスライスヘッダの情報、およびＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットのＮＡＬユニットヘッダを含むデータストリームを生成する段階を含み、
    前記スライスヘッダは、参照ピクチャ情報を含み、
    前記ＮＡＬユニットヘッダは、前記第１のピクチャが参照ピクチャまたは非参照ピクチャかどうかを示す情報を含まず、
    前記第１のピクチャおよび前記第２のピクチャを含む映像のデコーディング過程のために、前記参照ピクチャ情報は、前記第１のピクチャが参照ピクチャまたは非参照ピクチャであるかどうかを再表示するために用いられ、
    前記ＮＡＬユニットヘッダは、前記ＮＡＬユニットの時間的識別子に関連する情報を含むことを特徴とするデータストリームを生成する方法。
JP2018085608A 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法 Active JP6556905B2 (ja)

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
KR20120038870 2012-04-16
KR10-2012-0038870 2012-04-16
KR10-2012-0066606 2012-06-21
KR20120066606 2012-06-21
KR10-2012-0067925 2012-06-25
KR20120067925 2012-06-25
KR20120071933 2012-07-02
KR10-2012-0071933 2012-07-02
KR10-2012-0077012 2012-07-16
KR20120077012 2012-07-16
KR1020120108925A KR20130116782A (ko) 2012-04-16 2012-09-28 계층적 비디오 부호화에서의 계층정보 표현방식
KR10-2012-0108925 2012-09-28
KR1020120112598A KR20130116783A (ko) 2012-04-16 2012-10-10 계층적 비디오 부호화에서의 계층정보 표현방식
KR10-2012-0112598 2012-10-10
KR1020130041862A KR101378861B1 (ko) 2012-04-16 2013-04-16 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
KR10-2013-0041862 2013-04-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017146933A Division JP6549189B2 (ja) 2012-04-16 2017-07-28 映像エンコーディング方法およびビットストリームの生成方法

Publications (2)

Publication Number Publication Date
JP2018152866A JP2018152866A (ja) 2018-09-27
JP6556905B2 true JP6556905B2 (ja) 2019-08-07

Family

ID=49635785

Family Applications (29)

Application Number Title Priority Date Filing Date
JP2015506892A Active JP5933815B2 (ja) 2012-04-16 2013-04-16 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016031335A Active JP6186026B2 (ja) 2012-04-16 2016-02-22 映像デコーディング装置
JP2016092752A Active JP6224163B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016092749A Active JP6163230B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016092743A Active JP6224162B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016092745A Active JP6163229B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2017146933A Active JP6549189B2 (ja) 2012-04-16 2017-07-28 映像エンコーディング方法およびビットストリームの生成方法
JP2018085634A Active JP6556907B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085564A Active JP6556903B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085624A Active JP6556906B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085588A Active JP6556904B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085608A Active JP6556905B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018087395A Active JP6553245B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2018087408A Active JP6553246B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2018087426A Active JP6549283B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2018087416A Active JP6549282B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2019122109A Active JP6871312B2 (ja) 2012-04-16 2019-06-28 映像デコーディング方法、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2019122072A Active JP6841869B2 (ja) 2012-04-16 2019-06-28 映像デコーディング方法および映像エンコーディング方法
JP2021024625A Active JP7041294B2 (ja) 2012-04-16 2021-02-18 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2021069283A Active JP7123210B2 (ja) 2012-04-16 2021-04-15 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022037465A Active JP7305831B2 (ja) 2012-04-16 2022-03-10 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127390A Active JP7367141B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127407A Active JP7367143B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127399A Active JP7367142B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127432A Active JP7367144B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127436A Active JP7367145B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022128503A Active JP7431290B2 (ja) 2012-04-16 2022-08-10 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022128498A Active JP7432668B2 (ja) 2012-04-16 2022-08-10 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2024015010A Pending JP2024050775A (ja) 2012-04-16 2024-02-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置

Family Applications Before (11)

Application Number Title Priority Date Filing Date
JP2015506892A Active JP5933815B2 (ja) 2012-04-16 2013-04-16 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016031335A Active JP6186026B2 (ja) 2012-04-16 2016-02-22 映像デコーディング装置
JP2016092752A Active JP6224163B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016092749A Active JP6163230B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016092743A Active JP6224162B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2016092745A Active JP6163229B2 (ja) 2012-04-16 2016-05-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2017146933A Active JP6549189B2 (ja) 2012-04-16 2017-07-28 映像エンコーディング方法およびビットストリームの生成方法
JP2018085634A Active JP6556907B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085564A Active JP6556903B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085624A Active JP6556906B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2018085588A Active JP6556904B2 (ja) 2012-04-16 2018-04-26 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法

Family Applications After (17)

Application Number Title Priority Date Filing Date
JP2018087395A Active JP6553245B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2018087408A Active JP6553246B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2018087426A Active JP6549283B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2018087416A Active JP6549282B2 (ja) 2012-04-16 2018-04-27 映像デコーディング方法および映像エンコーディング方法
JP2019122109A Active JP6871312B2 (ja) 2012-04-16 2019-06-28 映像デコーディング方法、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法
JP2019122072A Active JP6841869B2 (ja) 2012-04-16 2019-06-28 映像デコーディング方法および映像エンコーディング方法
JP2021024625A Active JP7041294B2 (ja) 2012-04-16 2021-02-18 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2021069283A Active JP7123210B2 (ja) 2012-04-16 2021-04-15 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022037465A Active JP7305831B2 (ja) 2012-04-16 2022-03-10 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127390A Active JP7367141B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127407A Active JP7367143B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127399A Active JP7367142B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127432A Active JP7367144B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022127436A Active JP7367145B2 (ja) 2012-04-16 2022-08-09 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022128503A Active JP7431290B2 (ja) 2012-04-16 2022-08-10 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2022128498A Active JP7432668B2 (ja) 2012-04-16 2022-08-10 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置
JP2024015010A Pending JP2024050775A (ja) 2012-04-16 2024-02-02 映像情報デコーディング方法、映像デコーディング方法及びそれを利用する装置

Country Status (16)

Country Link
US (10) US10602160B2 (ja)
EP (7) EP2840787A4 (ja)
JP (29) JP5933815B2 (ja)
KR (24) KR20130116782A (ja)
CN (12) CN104303503B (ja)
CY (1) CY1122257T1 (ja)
DK (1) DK2840788T3 (ja)
ES (1) ES2748463T3 (ja)
HR (1) HRP20191726T1 (ja)
HU (1) HUE045980T2 (ja)
LT (1) LT2840788T (ja)
PL (2) PL3340630T3 (ja)
PT (1) PT2840788T (ja)
RS (1) RS59596B1 (ja)
SI (1) SI2840788T1 (ja)
WO (2) WO2013157828A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
WO2014038906A1 (ko) * 2012-09-09 2014-03-13 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
US10129550B2 (en) * 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
CN104769946B (zh) * 2013-06-05 2018-11-16 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
WO2015054634A2 (en) * 2013-10-11 2015-04-16 Vid Scale, Inc. High level syntax for hevc extensions
WO2015060699A1 (ko) 2013-10-26 2015-04-30 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015083988A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015083986A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
JP6474815B2 (ja) 2013-12-16 2019-02-27 エルジー エレクトロニクス インコーポレイティド トリックプレイサービス提供のための信号送受信装置及び信号送受信方法
US10375412B2 (en) 2014-01-13 2019-08-06 Samsung Electronics Co., Ltd. Multi-layer video encoding method and apparatus, and multi-layer video decoding method and apparatus
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6150134B2 (ja) * 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
US10284867B2 (en) 2014-12-18 2019-05-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
EP3313079B1 (en) * 2015-06-18 2021-09-01 LG Electronics Inc. Image filtering method in image coding system
KR102602690B1 (ko) * 2015-10-08 2023-11-16 한국전자통신연구원 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
WO2018037985A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6350638B2 (ja) * 2016-11-16 2018-07-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10692262B2 (en) 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
WO2020004420A1 (en) * 2018-06-30 2020-01-02 Sharp Kabushiki Kaisha Systems and methods for signaling picture types of pictures included in coded video
US10904545B2 (en) * 2018-12-26 2021-01-26 Tencent America LLC Method for syntax controlled decoded picture buffer management
JP7446329B2 (ja) * 2019-03-11 2024-03-08 ヴィド スケール インコーポレイテッド サブ画像ビットストリーム抽出および再位置付け
WO2020184673A1 (ja) * 2019-03-12 2020-09-17 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
US11310560B2 (en) 2019-05-17 2022-04-19 Samsung Electronics Co., Ltd. Bitstream merger and extractor
WO2020235552A1 (en) * 2019-05-19 2020-11-26 Sharp Kabushiki Kaisha Systems and methods for signaling picture property information in video coding
WO2020242229A1 (ko) * 2019-05-28 2020-12-03 삼성전자주식회사 작은 크기의 인트라 블록을 방지하기 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20220256194A1 (en) * 2019-06-20 2022-08-11 Sony Semiconductor Solutions Corporation Image processing apparatus and method
US11457242B2 (en) * 2019-06-24 2022-09-27 Qualcomm Incorporated Gradual random access (GRA) signalling in video coding
US11032548B2 (en) * 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
CN116708795A (zh) 2019-07-08 2023-09-05 华为技术有限公司 视频译码中的混合nal单元图像约束
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置
CN114503593B (zh) * 2019-10-07 2024-02-13 华为技术有限公司 编码器、解码器及对应方法
WO2021071257A1 (ko) * 2019-10-07 2021-04-15 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115104315A (zh) * 2019-12-23 2022-09-23 Lg电子株式会社 基于nal单元相关信息的图像或视频编码
US12075064B2 (en) 2019-12-23 2024-08-27 Lg Electronics Inc. NAL unit type-based image or video coding for slice or picture
CN115136604A (zh) 2019-12-23 2022-09-30 Lg电子株式会社 基于nal单元类型的图像或视频编码
WO2021133672A1 (en) * 2019-12-27 2021-07-01 Alibaba Group Holding Limited Method and apparatus for signaling subpicture partitioning information
CN115280781A (zh) * 2020-01-02 2022-11-01 Lg电子株式会社 图像解码方法及其装置
CN115211121A (zh) * 2020-01-02 2022-10-18 Lg电子株式会社 Ph nal单元编码相关图像解码方法及其装置
BR112022012587A2 (pt) * 2020-01-02 2022-09-06 Lg Electronics Inc Método de decodificação de imagem e aparelho para codificar informações de imagem incluindo cabeçalhos de figuração
EP4093030A4 (en) * 2020-01-14 2023-12-27 LG Electronics, Inc. METHOD AND DEVICE FOR IMAGE ENCODING/DECODING FOR SIGNALING INFORMATION RELATING TO A SUB-PICTURE AND AN IMAGE HEADER, AND METHOD FOR TRANSMITTING A BIT STREAM
WO2021188453A1 (en) * 2020-03-16 2021-09-23 Bytedance Inc. Gradual decoding refresh access unit in scalable video coding
WO2021185278A1 (en) * 2020-03-17 2021-09-23 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods
CN113453006B (zh) * 2020-03-25 2024-04-16 腾讯美国有限责任公司 一种图片封装方法、设备以及存储介质
US11418564B2 (en) * 2020-04-12 2022-08-16 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR20230011990A (ko) * 2020-05-12 2023-01-25 엘지전자 주식회사 영상/비디오 코딩 시스템에서 단일 레이어 비트스트림 내 파라미터 세트의 참조를 처리하는 방법 및 장치
KR102421720B1 (ko) * 2020-05-29 2022-07-18 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
US11223841B2 (en) 2020-05-29 2022-01-11 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2021251611A1 (en) 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
US20220321918A1 (en) 2021-04-02 2022-10-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding
JP2024512602A (ja) * 2021-04-02 2024-03-19 クゥアルコム・インコーポレイテッド ビデオコーディングのためのピクチャ向きおよび品質メトリクス補足拡張情報メッセージ
WO2024167266A1 (ko) * 2023-02-09 2024-08-15 삼성전자 주식회사 전자 장치 및 전자 장치에서 스케일러블 코덱을 처리하는 방법

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1578136A3 (en) * 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
JP2006505024A (ja) * 2002-04-29 2006-02-09 ソニー エレクトロニクス インク データ処理方法及び装置
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
CN100423581C (zh) * 2002-12-30 2008-10-01 Nxp股份有限公司 动态图形的编码/解码方法及其设备
JP4479160B2 (ja) * 2003-03-11 2010-06-09 チッソ株式会社 シルセスキオキサン誘導体を用いて得られる重合体
KR100596706B1 (ko) 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
CA2547628C (en) 2003-12-01 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
CN101695116B (zh) * 2004-06-02 2013-01-02 松下电器产业株式会社 图像编码装置、图像解码装置、图像编码方法、图像解码方法、以及记录方法
JP4575129B2 (ja) 2004-12-02 2010-11-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよびプログラム記録媒体
KR20060068254A (ko) 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
JP2006203661A (ja) * 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置、動画像復号装置及び符号化ストリーム生成方法
JP2006211274A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法
MX2007012564A (es) 2005-04-13 2007-11-15 Nokia Corp Codificacion, almacenamiento y senalizacion de informacion de escalabilidad.
KR100931870B1 (ko) * 2005-04-13 2009-12-15 노키아 코포레이션 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
WO2006126841A1 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method for providing and using information about inter-layer prediction for video signal
KR100878811B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
EP1773063A1 (en) 2005-06-14 2007-04-11 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
FR2888424A1 (fr) * 2005-07-07 2007-01-12 Thomson Licensing Sas Dispositif et procede de codage et de decodage de donnees video et train de donnees
KR20080066784A (ko) 2005-10-11 2008-07-16 노키아 코포레이션 규모가변적 비디오 코딩을 위한 효율적 디코딩 화상 버퍼관리
WO2007046957A1 (en) * 2005-10-12 2007-04-26 Thomson Licensing Method and apparatus for using high-level syntax in scalable video encoding and decoding
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
KR100889745B1 (ko) 2006-01-09 2009-03-24 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치
JP4731343B2 (ja) * 2006-02-06 2011-07-20 富士通東芝モバイルコミュニケーションズ株式会社 復号装置
EP1827023A1 (en) * 2006-02-27 2007-08-29 THOMSON Licensing Method and apparatus for packet loss detection and virtual packet generation at SVC decoders
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
JP2009531967A (ja) * 2006-03-29 2009-09-03 トムソン ライセンシング マルチビュービデオ符号化方法および装置
CN101455082B (zh) * 2006-03-30 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法和装置
KR101450921B1 (ko) * 2006-07-05 2014-10-15 톰슨 라이센싱 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치
KR20080007086A (ko) * 2006-07-14 2008-01-17 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
CN102158697B (zh) 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101401433A (zh) * 2006-09-07 2009-04-01 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US20100111163A1 (en) * 2006-09-28 2010-05-06 Hua Yang Method for p-domain frame level bit allocation for effective rate control and enhanced video encoding quality
CN101548550B (zh) 2006-10-16 2014-08-27 诺基亚公司 用于在多视点视频编码中实施有效的已解码缓存器管理的系统和方法
EP2077037A2 (en) * 2006-10-16 2009-07-08 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
EP2080380A2 (en) * 2006-10-24 2009-07-22 Thomson Licensing Picture identification for multi-view video coding
EP2082580A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
JP5157140B2 (ja) * 2006-11-29 2013-03-06 ソニー株式会社 記録装置、記録方法、情報処理装置、情報処理方法、撮像装置およびビデオシステム
WO2008088497A2 (en) * 2006-12-21 2008-07-24 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
EP2116065A2 (en) 2007-01-05 2009-11-11 Thomson Licensing Hypothetical reference decoder for scalable video coding
WO2008085013A1 (en) 2007-01-12 2008-07-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
EP2137973B1 (en) * 2007-04-12 2019-05-01 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
CA2695142C (en) 2007-08-24 2013-06-18 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
JP5264919B2 (ja) * 2007-10-05 2013-08-14 トムソン ライセンシング マルチビュービデオ（ｍｖｃ）符号化システム内にビデオユーザビリティ情報（ｖｕｉ）を取り込む方法及び装置
KR101345287B1 (ko) 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
US8798145B2 (en) 2008-07-22 2014-08-05 Thomson Licensing Methods for error concealment due to enhancement layer packet loss in scalable video coding (SVC) decoding
CN102210152A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
US20100226227A1 (en) * 2009-03-09 2010-09-09 Chih-Ching Yu Methods and apparatuses of processing readback signal generated from reading optical storage medium
JP5332773B2 (ja) * 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
CA2711311C (en) 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
KR101124723B1 (ko) * 2009-08-21 2012-03-23 에스케이플래닛 주식회사 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JPWO2011052215A1 (ja) 2009-10-30 2013-03-14 パナソニック株式会社 復号方法、復号装置、符号化方法、および符号化装置
EP2346261A1 (en) * 2009-11-18 2011-07-20 Tektronix International Sales GmbH Method and apparatus for multiplexing H.264 elementary streams without timing information coded
CN102103651B (zh) 2009-12-21 2012-11-14 中国移动通信集团公司 一种一卡通系统的实现方法和系统以及一种智能卡
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
KR20120015260A (ko) 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
KR20120038870A (ko) 2010-10-14 2012-04-24 정태길 클라우드 컴퓨팅 기반의 모바일 오피스 프린팅 부가 서비스 방법
KR101158244B1 (ko) 2010-12-14 2012-07-20 주식회사 동호 하천 친환경 생태 조성 구조체 및 시스템
JP2012142551A (ja) 2010-12-16 2012-07-26 Nisshin:Kk 加熱処理方法およびその装置
KR101740425B1 (ko) 2010-12-23 2017-05-26 에스케이텔레콤 주식회사 중계기 및 상기 중계기의 신호 중계 방법
KR101214465B1 (ko) 2010-12-30 2012-12-21 주식회사 신한엘리베이타 가볍고 방수성이 우수한 방수발판부재가 구비된 에스컬레이터 장치
US20120183077A1 (en) * 2011-01-14 2012-07-19 Danny Hong NAL Unit Header
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
US20120230431A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Dependency parameter set for scalable video coding
JP5708124B2 (ja) 2011-03-25 2015-04-30 三菱電機株式会社 半導体装置
MX2013014857A (es) * 2011-06-30 2014-03-26 Ericsson Telefon Ab L M Señalizacion de imagenes de referencia.
CN103650502A (zh) * 2011-07-13 2014-03-19 瑞典爱立信有限公司 用于参考画面管理的编码器、解码器及其方法
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
TWI711298B (zh) 2012-04-13 2020-11-21 美商Ｇｅ影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9554146B2 (en) 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
CN105009578B (zh) * 2012-12-21 2018-04-13 瑞典爱立信有限公司 多层视频流编解码方法和设备
CN105122816A (zh) 2013-04-05 2015-12-02 夏普株式会社 层间参考图像集的解码和参考图像列表构建
US20140307803A1 (en) * 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information

Also Published As

Publication number Publication date
PL2840788T3 (pl) 2020-06-01
CN108769706A (zh) 2018-11-06
JP2017225148A (ja) 2017-12-21
KR101640583B1 (ko) 2016-07-19
KR20160086806A (ko) 2016-07-20
US10958919B2 (en) 2021-03-23
JP6553246B2 (ja) 2019-07-31
JP2022160640A (ja) 2022-10-19
US11483578B2 (en) 2022-10-25
KR20140071514A (ko) 2014-06-11
CN108769710A (zh) 2018-11-06
KR101904242B1 (ko) 2018-10-05
KR101488496B1 (ko) 2015-02-03
JP2021093747A (ja) 2021-06-17
JP2018152867A (ja) 2018-09-27
KR20180035758A (ko) 2018-04-06
CY1122257T1 (el) 2020-11-25
JP7041294B2 (ja) 2022-03-23
JP2016174385A (ja) 2016-09-29
CN108769713A (zh) 2018-11-06
JP2019198103A (ja) 2019-11-14
KR101931719B1 (ko) 2018-12-24
KR20140071517A (ko) 2014-06-11
KR20160086805A (ko) 2016-07-20
KR20140071515A (ko) 2014-06-11
WO2013157828A1 (ko) 2013-10-24
EP3086556A1 (en) 2016-10-26
JP2021108492A (ja) 2021-07-29
CN108769710B (zh) 2021-04-30
JP2018152868A (ja) 2018-09-27
EP2840787A4 (en) 2016-03-16
JP2023179726A (ja) 2023-12-19
US20150092836A1 (en) 2015-04-02
US20230032927A1 (en) 2023-02-02
CN108769708A (zh) 2018-11-06
JP2019198102A (ja) 2019-11-14
CN108769713B (zh) 2023-09-26
JP2016178664A (ja) 2016-10-06
US20240205428A1 (en) 2024-06-20
KR20180035757A (ko) 2018-04-06
JP2018152872A (ja) 2018-09-27
KR20140074875A (ko) 2014-06-18
JP2022160642A (ja) 2022-10-19
KR101719344B1 (ko) 2017-03-24
JP7305831B2 (ja) 2023-07-10
CN108769712A (zh) 2018-11-06
CN108769711B (zh) 2021-08-10
US11949890B2 (en) 2024-04-02
US10595026B2 (en) 2020-03-17
JP2015517274A (ja) 2015-06-18
KR101904234B1 (ko) 2018-10-05
CN108769707B (zh) 2023-08-25
KR20130129338A (ko) 2013-11-28
CN108769711A (zh) 2018-11-06
KR101843566B1 (ko) 2018-03-30
JP2022160679A (ja) 2022-10-19
JP2016174384A (ja) 2016-09-29
JP6841869B2 (ja) 2021-03-10
KR101488494B1 (ko) 2015-02-03
KR101904258B1 (ko) 2018-10-05
JP6549189B2 (ja) 2019-07-24
KR20140071516A (ko) 2014-06-11
US20200169741A1 (en) 2020-05-28
JP7367141B2 (ja) 2023-10-23
KR101488495B1 (ko) 2015-02-03
CN108769707A (zh) 2018-11-06
JP7367142B2 (ja) 2023-10-23
KR102062329B1 (ko) 2020-01-03
KR20180035759A (ko) 2018-04-06
JP7367145B2 (ja) 2023-10-23
KR20180035760A (ko) 2018-04-06
KR101488493B1 (ko) 2015-02-03
JP6553245B2 (ja) 2019-07-31
JP6556906B2 (ja) 2019-08-07
KR101904247B1 (ko) 2018-10-05
CN108769687B (zh) 2022-10-04
JP6224163B2 (ja) 2017-11-01
PL3340630T3 (pl) 2021-11-08
US20200177895A1 (en) 2020-06-04
CN108769709B (zh) 2021-02-19
KR101719345B1 (ko) 2017-03-24
US10958918B2 (en) 2021-03-23
JP2024050775A (ja) 2024-04-10
US10602160B2 (en) 2020-03-24
KR20170117935A (ko) 2017-10-24
KR101904255B1 (ko) 2018-10-05
JP7367143B2 (ja) 2023-10-23
KR20180035755A (ko) 2018-04-06
JP2016146636A (ja) 2016-08-12
JP7432668B2 (ja) 2024-02-16
JP7367144B2 (ja) 2023-10-23
EP2840788A1 (en) 2015-02-25
DK2840788T3 (da) 2019-10-07
CN108769705B (zh) 2023-06-30
JP6163229B2 (ja) 2017-07-12
JP7123210B2 (ja) 2022-08-22
CN108769712B (zh) 2021-11-19
KR101953703B1 (ko) 2019-03-05
KR20130116783A (ko) 2013-10-24
RS59596B1 (sr) 2020-01-31
JP2022160644A (ja) 2022-10-19
US20210136393A1 (en) 2021-05-06
CN108769687A (zh) 2018-11-06
JP2022160645A (ja) 2022-10-19
HRP20191726T1 (hr) 2020-01-24
KR101904264B1 (ko) 2018-10-05
JP6549282B2 (ja) 2019-07-24
JP2018152866A (ja) 2018-09-27
JP2018152873A (ja) 2018-09-27
KR20160086807A (ko) 2016-07-20
JP2022091806A (ja) 2022-06-21
CN108769686B (zh) 2021-07-27
US20230035462A1 (en) 2023-02-02
JP6224162B2 (ja) 2017-11-01
KR20180036927A (ko) 2018-04-10
EP3340630B1 (en) 2021-06-30
JP2018152865A (ja) 2018-09-27
EP2840788A4 (en) 2016-07-06
JP2022160641A (ja) 2022-10-19
JP2022160680A (ja) 2022-10-19
CN104303503B (zh) 2018-05-22
JP6556904B2 (ja) 2019-08-07
KR101673291B1 (ko) 2016-11-09
ES2748463T3 (es) 2020-03-16
EP3893511A1 (en) 2021-10-13
CN108769709A (zh) 2018-11-06
SI2840788T1 (sl) 2020-01-31
US12028538B2 (en) 2024-07-02
US20150063453A1 (en) 2015-03-05
CN108769706B (zh) 2023-04-14
EP2840787A1 (en) 2015-02-25
JP2018152874A (ja) 2018-09-27
KR20190025584A (ko) 2019-03-11
CN108769708B (zh) 2021-02-19
KR20130118254A (ko) 2013-10-29
LT2840788T (lt) 2019-12-10
PT2840788T (pt) 2019-10-18
US20210176481A1 (en) 2021-06-10
CN108769705A (zh) 2018-11-06
EP3340630A1 (en) 2018-06-27
JP6163230B2 (ja) 2017-07-12
JP2018152864A (ja) 2018-09-27
JP6871312B2 (ja) 2021-05-12
KR101843565B1 (ko) 2018-03-30
US11490100B2 (en) 2022-11-01
EP2840788B1 (en) 2019-08-14
KR20180036928A (ko) 2018-04-10
JP2016178665A (ja) 2016-10-06
US20240155140A1 (en) 2024-05-09
CN104303503A (zh) 2015-01-21
JP5933815B2 (ja) 2016-06-15
JP6556903B2 (ja) 2019-08-07
EP3570546A1 (en) 2019-11-20
JP6549283B2 (ja) 2019-07-24
JP6556907B2 (ja) 2019-08-07
KR101904237B1 (ko) 2018-10-05
WO2013157826A1 (ko) 2013-10-24
KR101739748B1 (ko) 2017-05-25
KR20130118253A (ko) 2013-10-29
KR20130116782A (ko) 2013-10-24
CN108769686A (zh) 2018-11-06
KR101378861B1 (ko) 2014-04-02
KR20170017965A (ko) 2017-02-15
EP3866472A1 (en) 2021-08-18
HUE045980T2 (hu) 2020-02-28
JP7431290B2 (ja) 2024-02-14
KR20180035754A (ko) 2018-04-06
JP2018152871A (ja) 2018-09-27
JP6186026B2 (ja) 2017-08-23

Similar Documents

Publication Publication Date Title
JP6556905B2 (ja) 映像エンコーディング装置、映像エンコーディング方法、データストリーム記憶方法、およびデータストリーム生成方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190710

R150 Certificate of patent or registration of utility model

Ref document number: 6556905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350