JPWO2012172668A1 - Moving picture encoding method and apparatus, and moving picture decoding method and apparatus - Google Patents
Moving picture encoding method and apparatus, and moving picture decoding method and apparatus Download PDFInfo
- Publication number
- JPWO2012172668A1 JPWO2012172668A1 JP2013520374A JP2013520374A JPWO2012172668A1 JP WO2012172668 A1 JPWO2012172668 A1 JP WO2012172668A1 JP 2013520374 A JP2013520374 A JP 2013520374A JP 2013520374 A JP2013520374 A JP 2013520374A JP WO2012172668 A1 JPWO2012172668 A1 JP WO2012172668A1
- Authority
- JP
- Japan
- Prior art keywords
- motion information
- predicted motion
- prediction
- predicted
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一実施形態に係る動画像符号化方法は、動き情報が付与されている複数のブロックを含む符号化済み領域から、第1予測動き情報及び第2予測動き情報を取得することと、第1条件が満たされる場合に、(1)前記符号化済み領域から前記第1予測動き情報及び前記第2予測動き情報とは異なる第3予測動き情報を取得し、前記第1予測動き情報及び前記第3予測動き情報の両方、(2)前記第1予測動き情報及び前記第2予測動き情報のうち、(1)又は(2)のいずれか一方を用いて符号化対象ブロックの予測画像を生成することと、を具備する。前記第1条件は、前記第1予測動き情報及び前記第2予測動き情報が参照するブロックが同一であることである。 The moving image encoding method according to an embodiment acquires first prediction motion information and second prediction motion information from an encoded region including a plurality of blocks to which motion information is assigned, and a first condition Are satisfied, (1) acquiring third predicted motion information different from the first predicted motion information and the second predicted motion information from the encoded region, and the first predicted motion information and the third (2) Generating a prediction image of an encoding target block using either (1) or (2) of the first prediction motion information and the second prediction motion information. And. The first condition is that the blocks referred to by the first predicted motion information and the second predicted motion information are the same.
Description
本発明の実施形態は、動画像符号化方法及び装置並びに動画復号化方法及び装置に関する。 Embodiments described herein relate generally to a moving picture coding method and apparatus, and a moving picture decoding method and apparatus.
近年、大幅に符号化効率を向上させた画像符号化方法が、ITU-TとISO/IECとの共同で、ITU-T Rec. H.264及びISO/IEC 14496-10(以下、H.264という)として勧告されている。H.264では、予測処理、変換処理及びエントロピー符号化処理は、矩形ブロック単位(例えば、16×16画素ブロック単位、8×8画素ブロック単位等)で行われる。 In recent years, image coding methods that have greatly improved coding efficiency have been jointly developed by ITU-T and ISO / IEC in accordance with ITU-T Rec. H.264 and ISO / IEC 14496-10 (hereinafter referred to as H.264). Recommended). In H.264, prediction processing, conversion processing, and entropy encoding processing are performed in units of rectangular blocks (for example, 16 × 16 pixel block units, 8 × 8 pixel block units, etc.).
予測処理においては、符号化対象の矩形ブロック(符号化対象ブロック)に対して、既に符号化済みのフレーム(参照フレーム)を参照して、時間方向の予測を行う動き補償が行われる。このような動き補償では、符号化対象ブロックと参照フレーム内において参照されるブロックとの空間的シフト情報としての動きベクトルを含む動き情報を符号化して復号化側に送る必要がある。また、複数の参照フレームを用いて動き補償を行う場合、動き情報とともに参照フレーム番号も符号化する必要がある。このため、動き情報及び参照フレーム番号に関する符号量が増大する場合がある。 In the prediction process, motion compensation is performed on a rectangular block to be encoded (encoding target block) with reference to an already encoded frame (reference frame) to perform prediction in the time direction. In such motion compensation, it is necessary to encode motion information including a motion vector as spatial shift information between an encoding target block and a block referred to in a reference frame and send the encoded motion information to the decoding side. In addition, when motion compensation is performed using a plurality of reference frames, it is necessary to encode a reference frame number together with motion information. For this reason, the amount of codes related to motion information and reference frame numbers may increase.
さらに、参照フレームの動き情報メモリに格納されている動き情報を参照して、符号化対象ブロックの予測動き情報を導出する動き情報予測方法がある(特許文献1及び非特許文献1参照)。
Furthermore, there is a motion information prediction method for deriving predicted motion information of an encoding target block with reference to motion information stored in a motion information memory of a reference frame (see
しかしながら、非特許文献1に開示される予測動き情報の導出方法では、双方向予測に用いる2種類の予測動き情報が同一のブロックを参照する問題がある。
However, the method for deriving predicted motion information disclosed in Non-Patent
本発明が解決しようとする課題は、符号化効率を向上させることができる動画像符号化方法及び装置、並びに復号化効率を向上させることができる動画像復号化方法及び装置を提供することである。 The problem to be solved by the present invention is to provide a moving picture coding method and apparatus capable of improving the coding efficiency, and a moving picture decoding method and apparatus capable of improving the decoding efficiency. .
一実施形態に係る動画像符号化方法は、入力画像信号を分割した複数の画素ブロックごとにインター予測を行う。この動画像符号化方法は、動き情報が付与されている複数のブロックを含む符号化済み領域から、第1予測動き情報及び第2予測動き情報を取得することと、第1条件が満たされる場合に、(1)前記符号化済み領域から前記第1予測動き情報及び前記第2予測動き情報とは異なる第3予測動き情報を取得し、前記第1予測動き情報及び前記第3予測動き情報の両方、(2)前記第1予測動き情報及び前記第2予測動き情報のうち、(1)及び(2)のいずれか一方を用いて符号化対象ブロックの予測画像を生成することと、を具備する。前記第1条件は、(A)前記第1予測動き情報及び前記第2予測動き情報が参照する参照フレームが同一であること、(B)前記第1予測動き情報及び前記第2予測動き情報が参照するブロックが同一であること、(C)前記第1予測動き情報及び前記第2予測動き情報に含まれる参照フレーム番号が同一であること、(D)前記第1予測動き情報及び前記第2予測動き情報に含まれる動きベクトルが同一であること、(E)前記第1予測動き情報に含まれる動きベクトルと前記第2予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること、の少なくとも1つである。 The moving image encoding method according to an embodiment performs inter prediction for each of a plurality of pixel blocks obtained by dividing an input image signal. In this moving image encoding method, first prediction motion information and second prediction motion information are acquired from an encoded region including a plurality of blocks to which motion information is assigned, and the first condition is satisfied (1) acquiring third predicted motion information different from the first predicted motion information and the second predicted motion information from the encoded region, and obtaining the first predicted motion information and the third predicted motion information. And (2) generating a prediction image of a coding target block using either one of (1) and (2) among the first prediction motion information and the second prediction motion information. To do. The first condition is that (A) the reference frames referred to by the first predicted motion information and the second predicted motion information are the same, and (B) the first predicted motion information and the second predicted motion information are The reference blocks are the same, (C) the reference frame numbers included in the first predicted motion information and the second predicted motion information are the same, and (D) the first predicted motion information and the second (E) the absolute value of the difference between the motion vector included in the first predicted motion information and the motion vector included in the second predicted motion information is predetermined. It is at least one of being below the threshold.
以下、必要に応じて図面を参照しながら、実施形態に係る動画像符号化方法及び装置並びに動画復号化方法及び装置を説明する。一実施形態に係る動画像符号化装置を第1の実施形態として説明し、この動画像符号化装置に対応する動画像復号化装置を第2の実施形態として説明する。なお、本明細書で使用される用語「画像」は、「映像」、「画素」、「画像信号」、「画像データ」などの用語として適宜読み替えることができる。また、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。 Hereinafter, a moving picture encoding method and apparatus and a moving picture decoding method and apparatus according to embodiments will be described with reference to the drawings as necessary. A video encoding device according to an embodiment will be described as a first embodiment, and a video decoding device corresponding to the video encoding device will be described as a second embodiment. Note that the term “image” used in this specification can be appropriately read as terms such as “video”, “pixel”, “image signal”, “image data”, and the like. Moreover, in the following embodiment, the same number is attached | subjected about what performs the same operation | movement, and repeated description is abbreviate | omitted.
(第1の実施形態)
図1は、第1の実施形態に係る動画像符号化装置100を概略的に示している。この動画像符号化装置100は、図1に示されるように、減算部101、直交変換部102、量子化部103、逆量子化部104、逆直交変換部105、加算部106、参照画像メモリ107、インター予測部108、動き情報メモリ109、予測動き情報取得部110、動き検出部111、動き情報選択スイッチ112及びエントロピー符号化部113を含む。(First embodiment)
FIG. 1 schematically shows a moving
図1の動画像符号化装置100は、LSI(Large-Scale Integration circuit)チップ、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)などのハードウェアにより実現することができる。また、動画像符号化装置100は、コンピュータに画像符号化プログラムを実行させることによって実現することもできる。
1 can be realized by hardware such as a large scale integration circuit (LSI) chip, a digital signal processor (DSP), and a field programmable gate array (FPGA). The moving
動画像符号化装置100を制御する符号化制御部120、及び動画像符号化装置100から出力される符号化データ163を一時的に記憶する出力バッファ130は、通常、動画像符号化装置100の外部に設けられる。なお、動画像符号化装置100に符号化制御部120及び出力バッファ130が含まれてもよい。
The
符号化制御部120は、発生符号量のフィードバック制御、量子化制御、予測モード制御及びエントロピー符号化制御といった動画像符号化装置100の符号化処理全般を制御する。具体的には、符号化制御部120は、符号化制御情報170を動画像符号化装置100に与え、動画像符号化装置100からフィードバック情報171を適宜受け取る。符号化制御情報170には、予測情報、動き情報及び量子化情報などが含まれる。予測情報は、予測モード情報及びブロックサイズ情報を含む。動き情報は、動きベクトル、参照フレーム番号及び予測方向(単方向予測、双方向予測)を含む。量子化情報は、量子化パラメータ及び量子化マトリクスを含む。フィードバック情報171は、動画像符号化装置100での発生符号量に関する情報を含む。発生符合量は、例えば、量子化パラメータを決定するために使用される。
The
図1の動画像符号化装置100には、入力画像信号151が外部から与えられる。入力画像信号151は、例えば、動画像のデータである。動画像符号化装置100は、入力画像信号151を構成するフレーム(又は、フィールド、スライス)の各々を複数の画素ブロックに分割し、分割した画素ブロックごとに予測符号化を行って符号化データ163を生成する。具体的には、動画像符号化装置100は、入力画像信号151を複数の画素ブロックに分割する分割部(図示せず)をさらに備えている。この分割部は、入力画像信号151を分割して得られた複数の画素ブロックを減算部101に所定の順序で供給する。本実施形態では、図2に示されるように、ラスタースキャン順に、即ち、符号化対象フレーム201の左上から右下に向かう順序で、画素ブロックに対して予測符号化を行う。ラスタースキャン順に予測符号化を行う場合、符号化対象フレーム201において、符号化済みの画素ブロックは、符号化対象ブロック202よりも左側及び上側に位置する。符号化対象ブロック202は、減算部101に供給されて符号化処理の対象になっている画素ブロックを指し、符号化対象フレームは、符号化対象ブロックが属するフレームを指す。図2では、符号化済みの画素ブロックからなる符号化済み領域203は、斜線を施して示されている。符号化済み領域203以外の領域204は、未符号化領域である。
An
本明細書で使用される画素ブロックは、例えば、L×Mサイズのブロック(L及びMは自然数である。)、コーディングツリーユニット、マクロブロック、サブブロック、1画素などのように、画像を符号化する処理単位を指す。本実施形態では、画素ブロックをコーディングツリーユニットの意味で基本的に使用する。しかしながら、説明を適宜読み替えることにより画素ブロックを上述した意味で解釈することも可能であることに留意されたい。なお、符号化の処理単位は、コーディングツリーユニットのような画素ブロックの例に限らず、フレーム、フィールド、スライス、又はこれらの組み合わせを用いることができる。 The pixel blocks used in this specification are, for example, coded images such as L × M size blocks (L and M are natural numbers), coding tree units, macroblocks, sub-blocks, one pixel, and the like. Refers to the processing unit to be converted. In this embodiment, a pixel block is basically used in the sense of a coding tree unit. However, it should be noted that the pixel block can be interpreted in the above-described meaning by appropriately reading the description. Note that the encoding processing unit is not limited to an example of a pixel block such as a coding tree unit, and a frame, a field, a slice, or a combination thereof can be used.
典型的には、コーディングツリーユニットは、図3Aに示される16×16画素ブロックである。なお、コーディングツリーユニットは、図3Bに示される32×32画素ブロック、図3Cに示される64×64画素ブロック、図示しない8×8画素ブロック、又は図示しない4×4画素ブロックなどであってもよい。また、コーディングツリーユニットは、必ずしも正方形の画素ブロックである必要はない。以下では、入力画像信号151の符号化対象ブロック又はコーディングツリーユニットを「予測対象ブロック」と称することもある。
Typically, the coding tree unit is a 16 × 16 pixel block shown in FIG. 3A. The coding tree unit may be a 32 × 32 pixel block shown in FIG. 3B, a 64 × 64 pixel block shown in FIG. 3C, an 8 × 8 pixel block not shown, or a 4 × 4 pixel block not shown. Good. Further, the coding tree unit is not necessarily a square pixel block. Hereinafter, the encoding target block or coding tree unit of the
図4Aから図4Dを参照して、コーディングツリーユニットについて具体的に説明する。図4Aは、コーディングツリーユニットの一例として、ブロックサイズが64画素×64画素であるコーディングツリーユニットCU0を示している。コーディングツリーユニットCU0は、四分木構造を持つ。即ち、コーディングツリーユニットCU0は、4つの画素ブロックに再帰的に分割されることができる。本実施形態では、基準となるコーディングツリーユニットのサイズを表す自然数Nを導入し、四分木分割して得られる画素ブロックの各々のサイズをN画素×N画素と定義する。このように定義すると、四分木分割する前のコーディングツリーユニットのサイズは、2N画素×2N画素と表される。図4AのコーディングツリーユニットCU0では、N=32である。The coding tree unit will be described in detail with reference to FIGS. 4A to 4D. FIG. 4A shows a coding tree unit CU 0 having a block size of 64 pixels × 64 pixels as an example of the coding tree unit. The coding tree unit CU 0 has a quadtree structure. That is, the coding tree unit CU 0 can be recursively divided into four pixel blocks. In the present embodiment, a natural number N representing the size of a standard coding tree unit is introduced, and the size of each pixel block obtained by quadtree division is defined as N pixels × N pixels. If defined in this way, the size of the coding tree unit before the quadtree division is expressed as 2N pixels × 2N pixels. In the coding tree unit CU 0 of FIG. 4A, N = 32.
図4Bは、図4AのコーディングツリーユニットCU0を四分木分割する例を示している。四分木分割して得られる4つの画素ブロック(コーディングツリーユニット)には、Zスキャン順でインデックスが付される。図4Bの各画素ブロック内に示される番号がZスキャンの順番を表す。四分木分割して得られる画素ブロックの各々は、さらに四分木分割されることができる。本実施形態では、分割の深さをDepthで表す。例えば、図4AのコーディングツリーユニットCU0は、Depth=0のコーディングツリーユニットである。FIG. 4B shows an example of quadtree partitioning of the coding tree unit CU 0 of FIG. 4A. Four pixel blocks (coding tree units) obtained by quadtree division are indexed in the Z-scan order. The numbers shown in each pixel block in FIG. 4B indicate the order of Z scanning. Each of the pixel blocks obtained by dividing the quadtree can be further divided into quadtrees. In the present embodiment, the depth of division is represented by Depth. For example, the coding tree unit CU 0 in FIG. 4A is a coding tree unit with Depth = 0.
図4Cは、Depth=1であるコーディングツリーユニットCU1の1つを示す。このコーディングツリーユニットCU1は、図4AのコーディングツリーユニットCU0を四分木分割して得られる4つの画素ブロックのうちの1つに対応する。コーディングツリーユニットCU1のサイズは、32画素×32画素である。即ち、N=16である。図4Dに示されるように、コーディングツリーユニットCU1は、さらに四分木分割されることができる。このようにして、ブロックサイズが例えば8画素×8画素(N=4)になるまで、コーディングツリーユニットは、再帰的に四分木分割されることができる。FIG. 4C shows one of the coding tree units CU 1 with Depth = 1. This coding tree unit CU 1 corresponds to one of four pixel blocks obtained by dividing the coding tree unit CU 0 of FIG. 4A by quadtree division. The size of the coding tree unit CU 1 is 32 pixels × 32 pixels. That is, N = 16. As shown in FIG. 4D, the coding tree unit CU 1 may be further divided into quadtrees. In this way, the coding tree unit can be recursively divided into quadtrees until the block size is, for example, 8 pixels × 8 pixels (N = 4).
このようなコーディングツリーユニットのうちの最も大きいコーディングツリーユニットをラージコーディングツリーユニット若しくはツリーブロックと称する。動画像符号化装置100では、この単位で入力画像信号151がラスタースキャン順に符号化される。なお、ラージコーディングツリーユニットは、64×64画素ブロックの例に限らず、いかなるサイズの画素ブロックであってもよい。また、最小のコーディングツリーユニットは、8×8画素ブロックの例に限らず、ラージコーディングツリーユニットより小さければ、いかなるサイズの画素ブロックであってもよい。
The largest coding tree unit among such coding tree units is referred to as a large coding tree unit or tree block. In the moving
図1の動画像符号化装置100は、ブロックサイズ及び予測画像信号159の生成方法がそれぞれ異なる複数の予測モードを選択的に適用して、入力画像信号151を符号化する。予測画像信号159の生成方法は、大別すると、符号化対象フレーム内で予測を行うイントラ予測と、時間的に異なる1つ又は複数の参照フレーム(符号化済みのフレーム)を用いて予測を行うインター予測の2種類ある。
The
動画像符号化装置100は、符号化制御部120から与えられる符号化パラメータに基づいて、入力画像信号151を分割した各画素ブロックに対してインター予測又はイントラ予測を行い、画素ブロックに対応する予測画像信号159を生成する。インター予測は、画面間予測、フレーム間予測、動き補償予測などとも称される。イントラ予測は、画面内予測、フレーム内予測などとも称される。具体的には、動画像符号化装置100は、インター予測を行うインター予測部108又はイントラ予測を行うイントラ予測部(図示せず)を選択的に使用して、画素ブロックに対応する予測画像信号159を生成する。続いて、動画像符号化装置100は、画素ブロックと予測画像信号159との間の差を表す予測誤差信号152を直交変換及び量子化して、量子化変換係数154を生成する。さらに、動画像符号化装置100は、量子化変換係数154に対してエントロピー符号化を行い、符号化データ163を生成する。
The
次に、図1の動画像符号化装置100に含まれる各要素を説明する。
減算部101は、入力画像信号151の符号化対象ブロックから対応する予測画像信号159を減算して予測誤差信号152を生成する。減算部101は、予測誤差信号152を直交変換部102に出力する。Next, each element included in the moving
The
直交変換部102は、減算部101からの予測誤差信号152に対して直交変換を行い、変換係数153を生成する。直交変換としては、例えば、離散コサイン変換(DCT:Discrete Cosine Transform)、アダマール変換、ウェーブレット変換、独立成分解析などを利用することができる。直交変換部102は、変換係数153を量子化部103に出力する。
The
量子化部103は、直交変換部102からの変換係数153を量子化して量子化変換係数154を生成する。具体的には、量子化部103は、量子化パラメータ及び量子化マトリクスなどを含む量子化情報に従って、変換係数153を量子化する。量子化に必要とされる量子化パラメータ及び量子化マトリクスは、符号化制御部120によって指定される。量子化パラメータは、量子化の細かさを示す。量子化マトリクスは、量子化の細かさを変換係数の成分毎に重み付けするために使用される。量子化マトリクスは、必ずしも使用する必要はない。量子化マトリクスの使用又は不使用は、実施形態の本質部分ではない。量子化部103は、量子化変換係数154をエントロピー符号化部113及び逆量子化部104に出力する。
The
エントロピー符号化部113は、量子化部103からの量子化変換係数154、後述する動き情報選択スイッチ112からの動き情報160、並びに符号化制御部120によって指定される予測情報及び量子化情報などの符号化パラメータに対してエントロピー符号化(例えば、ハフマン符号化、算術符号化など)を行う。ここで、符号化パラメータとは、復号化に必要となるパラメータであり、予測情報、動き情報160、変換係数に関する情報(量子化変換係数154)、量子化に関する情報(量子化情報)などを含む。例えば、符号化制御部120が内部メモリ(図示せず)を備え、このメモリに符号化パラメータが保持され、予測対象ブロックの符号化には、予測対象ブロックに隣接する符号化済みの画素ブロックに適用した符号化パラメータを利用することができる。
The
図5は、エントロピー符号化部113をより詳細に示している。エントロピー符号化部113は、図5に示されるように、パラメータ符号化部501、変換係数符号化部502、動き情報符号化部503及び多重化部504を備える。
FIG. 5 shows the
パラメータ符号化部501は、符号化制御部120からの符号化制御情報170に含まれる符号化パラメータを符号化して符号化データ551を生成する。パラメータ符号化部501により符号化される符号化パラメータには、予測情報及び量子化情報などが含まれる。変換係数符号化部502は、量子化部103から受け取る量子化変換係数154を符号化して符号化データ552を生成する。
The
動き情報符号化部503は、予測動き情報取得部110から受け取る予測動き情報167と、符号化制御部120からの符号化制御情報170に含まれる予測動き情報位置とを参照して、インター予測部108に適用する動き情報160を符号化し、符号化データ553を生成する。動き情報符号化部503については後に詳細に説明する。
The motion
多重化部504は、符号化データ551、552及び553を多重化して符号化データ163を生成する。生成された符号化データ163は、動き情報160、予測情報、変換係数に関する情報(量子化変換係数154)、量子化情報などの復号化の際に必要になるあらゆるパラメータを含む。
The
図1に示されるように、エントロピー符号化部113によって生成された符号化データ163は、出力バッファ130に一時的に蓄積され、符号化制御部120が管理する適切な出力タイミングに従って出力される。符号化データ163は、例えば、図示しない蓄積系(蓄積メディア)又は伝送系(通信回線)へ送られる。
As shown in FIG. 1, the encoded
逆量子化部104は、量子化部103から受け取る量子化変換係数154を逆量子化して復元変換係数155を生成する。具体的には、逆量子化部104は、量子化部103において使用された量子化情報と同じ量子化情報に従って、量子化変換係数154を逆量子化する。逆量子化部104が使用する量子化情報は、符号化制御部120の内部メモリからロードされる。逆量子化部104は、復元変換係数155を逆直交変換部105に出力する。
The inverse quantization unit 104 inversely quantizes the
逆直交変換部105は、逆量子化部104からの復元変換係数155に対して、直交変換部102において行われた直交変換に対応する逆直交変換を行い、復元予測誤差信号156を生成する。例えば、直交変換部102での直交変換が離散コサイン変換(DCT)である場合、逆直交変換部105は、逆離散コサイン変換(IDCT:Inverse Discrete Cosine Transform)を行う。逆直交変換部105は、復元予測誤差信号156を加算部106に出力する。
The inverse orthogonal transform unit 105 performs inverse orthogonal transform corresponding to the orthogonal transform performed in the
加算部106は、復元予測誤差信号156と、対応する予測画像信号159とを加算し、局所的な復号画像信号157を生成する。復号画像信号157は、フィルタリング処理を施された後に参照画像メモリ107へ送られる。復号画像信号157のフィルタリングには、例えば、デブロッキングフィルタ又はウィナーフィルタなどが用いられる。
The
参照画像メモリ107は、フィルタリング処理後の復号画像信号157を蓄積する。参照画像メモリ107に保存されている復号画像信号157は、予測画像を生成するために、必要に応じてインター予測部108によって参照画像信号158として参照される。
The
インター予測部108は、参照画像メモリ107に保存されている参照画像信号158を利用してインター予測を行う。具体的には、インター予測部108は、予測対象ブロックと参照画像信号158との間の動きのズレ量を示す動き情報160に基づいて、動き補償(少数画素精度の動き補償が可能である場合は補間処理)を行ってインター予測画像を生成する。例えば、H.264では、1/4画素精度までの補間処理が可能である。
The
動き情報メモリ109は、動き情報160を参照動き情報166として一時的に格納する。動き情報メモリ109では、動き情報160に対してサブサンプリングなどの圧縮処理を行うことにより情報量を削減してもよい。参照動き情報166は、フレーム(又はスライス)単位で保持される。具体的には、図6に示されるように、動き情報メモリ109は、符号化対象フレームの動き情報160を参照動き情報166として格納する空間方向参照動き情報メモリ601と、既に符号化済みのフレームの動き情報160を参照動き情報166として格納する時間方向参照動き情報メモリ602とを含む。時間方向参照動き情報メモリ602は、符号化対象フレームの予測に用いる参照フレームの数に応じた数だけ用意されることができる。
The
なお、空間方向参照動き情報メモリ601及び時間方向参照動き情報メモリ602は、物理的に同一のメモリを論理的に区切ることにより同一のメモリ上に設けられてもよい。さらに、空間方向参照動き情報メモリ601は、符号化対象フレームの符号化に必要になる空間方向動き情報のみを保持し、この符号化対象フレームの符号化において参照されることがなくなった空間方向動き情報は、順次圧縮されて時間方向参照動き情報メモリ602に格納されてもよい。 The spatial direction reference motion information memory 601 and the temporal direction reference motion information memory 602 may be provided on the same memory by logically dividing the physically same memory. Furthermore, the spatial direction reference motion information memory 601 holds only the spatial direction motion information necessary for encoding the encoding target frame, and the spatial direction motion that is no longer referred to in the encoding of the encoding target frame. The information may be sequentially compressed and stored in the time direction reference motion information memory 602.
参照動き情報166は、所定の領域単位(例えば、4×4画素ブロック単位)で空間方向参照動き情報メモリ601及び時間方向参照動き情報メモリ602に保持される。参照動き情報166は、その領域がインター予測及びイントラ予測のいずれを適用されたのかを示す情報をさらに含む。
The
H.264で規定されるスキップモード、ダイレクトモード、若しくは後述するマージモードでは、動き情報160内の動きベクトルの値は符号化されない。このようなモードに従って、符号化済み領域から予測若しくは取得された動き情報160を用いてコーディングツリーユニット(又はプレディクションユニット)がインター予測を施される場合においても、このコーディングツリーユニット(又はプレディクションユニット)の動き情報160は、参照動き情報166として保持される。
H. In the skip mode, the direct mode, or the merge mode described later in H.264, the value of the motion vector in the
符号化対象フレーム又はスライスの符号化処理が終了すると、このフレームに関する参照動き情報166を保持する空間方向参照動き情報メモリ601は、次に符号化処理を行うフレームに用いる時間方向参照動き情報メモリ602としてその扱いが変更される。この際、時間方向参照動き情報メモリ602のメモリ容量を削減するために、参照動き情報166を圧縮し、圧縮された参照動き情報160を時間方向参照動き情報メモリ602に格納してもよい。例えば、時間方向参照動き情報メモリ602は、16×16画素ブロック単位で参照動き情報166を保持することができる。
When the encoding process of the encoding target frame or slice is completed, the spatial direction reference motion information memory 601 that holds the
図1に示されるように、予測動き情報取得部110は、動き情報メモリ109に保持されている参照動き情報166を参照して、符号化対象プレディクションユニットに用いる動き情報候補160A、及びエントロピー符号化部113において動き情報の差分符号化に用いる予測動き情報167を生成する。予測動き情報取得部110については後に詳細に説明する。
As illustrated in FIG. 1, the predicted motion
動き検出部111は、予測対象ブロックと参照画像信号158との間でブロックマッチング等の処理を行って動きベクトルを生成し、生成した動きベクトルを含む動き情報を動き情報候補160Bとして出力する。
The
動き情報選択スイッチ112は、符号化制御部120からの符号化制御情報170に含まれる予測情報に従って、予測動き情報取得部110から出力される動き情報候補160A及び動き検出部111から出力される動き情報候補160Bの一方を選択する。動き情報選択スイッチ112は、選択したものを動き情報160としてインター予測部108、動き情報メモリ109及びエントロピー符号化部113に出力する。
The motion
予測情報は、符号化制御部120が制御する予測モードに従っており、動き情報選択スイッチ112を制御するための切替情報、予測画像信号159の生成のためにインター予測及びイントラ予測のいずれを適用するかを示す選択情報を含む。符号化制御部120は、動き情報候補160A及び動き情報候補160Bのどちらが最適であるかを判定し、この判定結果に応じた切替情報を生成する。また、符号化制御部120は、イントラ予測及びインター予測の複数の予測モードのうちいずれの予測モードが最適な予測モードであるかを判定し、最適な予測モードを示す選択情報を生成する。例えば、符号化制御部120は、次の数式(1)に示すコスト関数を用いて最適な予測モードを判定する。
数式(1)において、OHは予測情報(例えば、動きベクトル情報、予測ブロックサイズ情報)に関する符号量を示し、SADは予測対象ブロックと予測画像信号159との間の差分絶対値和(即ち、予測誤差信号152の絶対値の累積和)を示す。また、λは量子化情報(量子化パラメータ)の値に基づいて決定されるラグランジュ未定乗数を示し、Kは符号化コストを示す。
In Equation (1), OH represents a code amount related to prediction information (for example, motion vector information and prediction block size information), and SAD represents a sum of absolute differences (ie, prediction) between the prediction target block and the
数式(1)を用いる場合には、符号化コスト(簡易符号化コストともいう)Kを最小化する予測モードが、発生符号量及び予測誤差の観点から最適な予測モードとして判断される。なお、簡易符号化コストは、数式(1)の例に限らず、符号量OHのみ又は差分絶対値和SADのみから見積もられてもよいし、差分絶対値和SADにアダマール変換を施した値又はその近似値を利用して見積もられてもよい。 When Expression (1) is used, the prediction mode that minimizes the coding cost (also referred to as simple coding cost) K is determined as the optimum prediction mode from the viewpoint of the generated code amount and the prediction error. Note that the simple coding cost is not limited to the example of Equation (1), and may be estimated from only the code amount OH or the difference absolute value sum SAD, or a value obtained by performing Hadamard transform on the difference absolute value sum SAD. Or you may estimate using the approximate value.
また、図示しない仮符号化ユニットを用いることにより最適な予測モードを判定することも可能である。例えば、符号化制御部120は、次の数式(2)に示すコスト関数を用いて最適な予測モードを決定する。
数式(2)において、Dは予測対象ブロックと局所復号画像との間の二乗誤差和、即ち、符号化歪を示し、Rは予測対象ブロックと予測モードの予測画像信号159との間の予測誤差について仮符号化によって見積もられた符号量を示し、Jは符号化コストを示す。数式(2)の符号化コスト(詳細符号化コストともいう)Jを算出する場合には、予測モードごとに仮符号化処理及び局部復号化処理が必要なので、回路規模又は演算量が増大する。その反面、より正確な符号化歪と符号量とに基づいて符号化コストJが算出されるので、最適な予測モードを高精度に判定して高い符号化効率を維持することができる。
In Equation (2), D represents a square error sum between the prediction target block and the locally decoded image, that is, encoding distortion, and R represents a prediction error between the prediction target block and the
なお、詳細符号化コストは、数式(2)の例に限らず、符号量Rのみ又は符号化歪Dのみから見積もられてもよいし、符号量R又は符号化歪Dの近似値を利用して見積もられてもよい。また、これらのコスト関数を階層的に用いてもよい。例えば、符号化制御部120は、予測対象ブロックに関して事前に得られる情報(例えば、周囲の画素ブロックの予測モード、画像解析の結果など)に基づいて、数式(1)又は数式(2)を用いた判定を行う予測モードの候補の数を予め絞り込むことができる。
The detailed coding cost is not limited to the example of Equation (2), but may be estimated from only the code amount R or the coding distortion D, or an approximate value of the code amount R or the coding distortion D is used. And may be estimated. Further, these cost functions may be used hierarchically. For example, the
本実施形態の変形例として、数式(1)と数式(2)を組み合わせた二段階のモード判定を行うことで、符号化性能を維持しつつ、予測モードの候補数をさらに削減することが可能となる。ここで、数式(1)で示される簡易符号化コストは、数式(2)と異なり局部復号化処理が必要ないため、高速に演算が可能である。H.264と比較しても予測モード数が多い本実施形態の動画像符号化装置100では、詳細符号化コストJのみを用いたモード判定は、処理の遅延を生じさせる可能性がある。そこで、第1ステップにおいて、符号化制御部120は、画素ブロックに利用可能な予測モードに関する簡易符号化コストKを算出し、利用可能な予測モードの中から予測モード候補を選出する。第2ステップでは、符号化制御部120は、予測モード候補に関して詳細符号化コストJを算出し、詳細符号化コストJが最小となる予測モード候補を最適な予測モードとして決定する。ここで、量子化の粗さを定める量子化パラメータの値が大きくなるほど、簡易符号化コストと詳細符号化コストとの相関が高くなる性質を利用して、予測モード候補の数を変更することができる。
As a modification of the present embodiment, the number of prediction mode candidates can be further reduced while maintaining encoding performance by performing two-stage mode determination combining Formula (1) and Formula (2). It becomes. Here, unlike the formula (2), the simple encoding cost represented by the formula (1) does not require a local decoding process, and can be calculated at high speed. H. In the moving
次に、動画像符号化装置100の予測処理について説明する。
図1の動画像符号化装置100には、複数の予測モードが用意されており、各予測モードでは、予測画像信号159の生成方法及び動き補償ブロックサイズが互いに異なる。インター予測部108が予測画像信号159を生成する方法としては、1以上の符号化済みの参照フレーム(又は参照フィールド)の参照画像信号158を用いて予測画像を生成するインター予測がある。Next, the prediction process of the moving
A plurality of prediction modes are prepared in the moving
図7Aを参照して、インター予測について説明する。インター予測は、典型的には、プレディクションユニットの単位で実行され、プレディクションユニット単位で異なる動き情報160を有することが可能である。インター予測では、図7Aに示されるように、既に符号化済みの参照フレーム(例えば、1フレーム前の符号化済みフレーム)内の画素ブロックであって、符号化対象プレディクションユニットと同じ位置のブロック701から、動き情報160に含まれる動きベクトルに応じて空間的にシフトした位置のブロック702の参照画像信号158を使用して、予測画像信号159が生成される。即ち、予測画像信号159の生成では、符号化対象ブロックの位置(座標)及び動き情報160に含まれる動きベクトルで特定される参照フレーム内のブロックの参照画像信号158が使用される。
The inter prediction will be described with reference to FIG. 7A. Inter prediction is typically performed in units of prediction units, and may have
インター予測では、少数画素精度(例えば、1/2画素精度又は1/4画素精度)の動き補償が可能であり、参照画像信号158に対してフィルタリング処理を行うことによって補間画素の値が生成される。例えば、H.264では、輝度信号に対して1/4画素精度までの補間処理が可能である。この補間処理は、H.264で規定されるフィルタリング以外の任意のフィルタリングを用いて実行されてもよい。
In inter prediction, motion compensation with small pixel accuracy (for example, 1/2 pixel accuracy or 1/4 pixel accuracy) is possible, and a value of an interpolated pixel is generated by performing filtering processing on the
なお、インター予測では、図7Aに示されるような1フレーム前の参照フレームを使用する例に限らず、符号化済みであればいずれの参照フレームが使用されてもよい。例えば、図7Bに示されるように、符号化対象フレームより2フレーム前の参照フレームがインター予測に使用されることができる。時間位置が異なる複数の参照フレームの参照画像信号158が参照画像メモリ107に保持されている場合、どの時間位置の参照画像信号158から予測画像信号159を生成したかを示す情報は、参照フレーム番号で表わされる。参照フレーム番号は、動き情報160に含まれる。参照フレーム番号は、領域単位(ピクチャ、スライス、ブロック単位など)で変更することができる。即ち、プレディクションユニット毎に異なる参照フレームが使用されることができる。一例として、符号化済みの1フレーム前の参照フレームを予測に使用した場合、この領域の参照フレーム番号は、0に設定され、符号化済みの2フレーム前の参照フレームを予測に使用した場合、この領域の参照フレーム番号は、1に設定される。他の例として、1フレーム分だけの参照画像信号158が参照画像メモリ107に保持されている(保持されている参照フレームの数が1つのみである)場合、参照フレーム番号は、常に0に設定される。
In inter prediction, not only an example of using a reference frame one frame before as shown in FIG. 7A, but any reference frame may be used as long as it has been encoded. For example, as illustrated in FIG. 7B, a reference frame two frames before the encoding target frame can be used for inter prediction. When reference image signals 158 of a plurality of reference frames having different time positions are held in the
さらに、インター予測では、予め用意される複数のプレディクションユニットのサイズの中から符号化対象ブロックに適したサイズを選択して用いることができる。例えば、図8Aから図8Gに示されるように、コーディングツリーユニットを分割して得られるプレディクションユニットごとに動き補償を行うことが可能である。図8Aから図8Iでは、ブロックPUx(x=0,1,2,3)がプレディクションユニットを示す。図8Aは、プレディクションユニットとコーディングツリーユニットが同一のサイズである例を示している。この場合、コーディングツリーユニット内には1つのプレディクションユニットPU0が存在する。Furthermore, in inter prediction, a size suitable for a block to be encoded can be selected and used from the sizes of a plurality of prediction units prepared in advance. For example, as shown in FIGS. 8A to 8G, motion compensation can be performed for each prediction unit obtained by dividing a coding tree unit. In FIG. 8A to FIG. 8I, the block PUx (x = 0, 1, 2, 3) indicates a prediction unit. FIG. 8A shows an example in which the prediction unit and the coding tree unit are the same size. In this case, there is one prediction unit PU 0 in the coding tree unit.
図8Bから図8Iは、コーディングツリーユニット内に複数のプレディクションユニットが存在する例をそれぞれ示している。図8B及び図8Cでは、コーディングツリーユニット内に2つのプレディクションユニットPU0及びPU1が存在する。図8Bでは、プレディクションユニットPU0及びPU1は、コーディングツリーユニットを縦方向に2分割したブロックであり、図8Cでは、プレディクションユニットPU0及びPU1は、コーディングツリーユニットを横に2分割したブロックである。図8Dは、プレディクションユニットがコーディングツリーユニットを4分割したブロックである例を示している。FIGS. 8B to 8I respectively show examples in which a plurality of prediction units exist in the coding tree unit. 8B and 8C, there are two prediction units PU 0 and PU 1 in the coding tree unit. In FIG. 8B, prediction units PU 0 and PU 1 are blocks obtained by dividing a coding tree unit into two in the vertical direction. In FIG. 8C, prediction units PU 0 and PU 1 are divided into two coding tree units horizontally. Block. FIG. 8D shows an example in which the prediction unit is a block obtained by dividing the coding tree unit into four.
なお、図8Eに示されるように、コーディングツリーユニット内に存在する複数のプレディクションユニットのブロックサイズが互いに異なってもよい。また、プレディクションユニットは、矩形状である例に限らず、図8F及び図8Gに示されるように、コーディングツリーユニットを任意の線分若しくは円弧などの曲線で分割して得られる形状のブロックであってもよい。 As shown in FIG. 8E, the block sizes of the plurality of prediction units existing in the coding tree unit may be different from each other. Further, the prediction unit is not limited to the rectangular shape, and is a block having a shape obtained by dividing the coding tree unit by an arbitrary line segment or a curve such as an arc as shown in FIGS. 8F and 8G. There may be.
前述したように、インター予測に使用する符号化対象フレーム内の符号化済みの画素ブロック(例えば、4×4画素ブロック)の動き情報160は、参照動き情報166として動き情報メモリ109に保持されている。これにより、入力画像信号151の局所的な性質に従って、最適な動き補償ブロックの形状及び動きベクトル、参照フレーム番号を利用することができる。また、コーディングツリーユニット及びプレディクションユニットは任意に組み合わせることができる。前述したように、コーディングツリーユニットが64×64画素ブロックである場合、64×64画素ブロックを分割した4つのコーディングツリーユニット(32×32画素ブロック)の各々に対して、さらにコーディングツリーユニットを4つに分割することで、階層的に64×64画素ブロックから16×16画素ブロックまでの画素ブロックを利用することができる。同様にして、階層的に64×64画素ブロックから8×8画素ブロックまでの画素ブロックを利用することもできる。ここで、プレディクションユニットがコーディングツリーユニットを4つに分割したものであるとすれば、64×64画素ブロックから4×4画素ブロックまでの階層的な動き補償処理を実行することが可能となる。
As described above, the
また、インター予測では、符号化対象ブロックに対して2種類の動き補償を用いた双方向予測を実行することができる。H.264の双方向予測は、符号化対象ブロックに対し2種類の動き補償を行って2種類の予測画像信号を生成し、これら2種類の予測画像信号を加重平均することで、新しい予測画像信号を得る。双方向予測において2種類の動き補償をそれぞれリスト0予測及びリスト1予測と称する。
In inter prediction, bi-directional prediction using two types of motion compensation can be performed on a current block. H. In the H.264 bidirectional prediction, two types of motion compensation are performed on the encoding target block to generate two types of predicted image signals, and a weighted average of these two types of predicted image signals is used to generate a new predicted image signal. obtain. Two types of motion compensation in bidirectional prediction are referred to as
次に、スキップモード、マージモード、インターモードについて説明する。
本実施形態に係る動画像符号化装置100は、図9に示す符号化処理の異なる複数の予測モードを使用する。図9に示されるように、スキップモードは、予測動き情報位置に関するシンタクスのみを符号化し、その他のシンタクスを符号化しないモードである。マージモードは、予測動き情報位置に関するシンタクス、及び変換係数に関する情報を符号化し、その他のシンタクスを符号化しないモードである。インターモードは、予測動き情報位置に関するシンタクス、差分動き情報、変換係数に関する情報を符号化するモードである。これらのモードは、符号化制御部120が制御する予測情報によって切り替えられる。Next, skip mode, merge mode, and inter mode will be described.
The moving
次に、予測動き情報取得部110について説明する。
図10は、予測動き情報取得部110をより詳細に示している。予測動き情報取得部110は、図10に示されるように、参照動き情報取得部1001、動き情報設定部1002−1〜1002−W、及び予測動き情報選択スイッチ1003を備える。ここで、Wは、参照動き情報取得部1001で生成される予測動き情報候補の数を表す。Next, the predicted motion
FIG. 10 shows the predicted motion
参照動き情報取得部1001は、動き情報メモリ109から参照動き情報166を取得する。参照動き情報取得部1001は、取得した参照動き情報166を用いて、1つ以上の予測動き情報候補1051−1、1051−2、…、1051−Wを生成する。予測動き情報候補は、予測動きベクトル候補とも称される。
The reference motion
予測動き情報設定部1002−1〜1002−Wは、参照動き情報取得部1001から予測動き情報候補1051−1〜1051−Wをそれぞれ受け取り、符号化対象プレディクションユニットに適用する予測方法(単方向予測、双方向予測)及び参照フレーム番号の設定、並びに動きベクトル情報のスケーリングを行って、修正予測動き情報候補1052−1〜1052−Wをそれぞれ生成する。
The prediction motion information setting units 1002-1 to 1002-W receive the prediction motion information candidates 1051-1 to 1051-W from the reference motion
予測動き情報選択スイッチ1003は、符号化制御部120からの符号化制御情報170に含まれる指令に従って、1以上の修正予測動き情報候補1052−1〜1052−Wのいずれか1つを選択する。そして、予測動き情報選択スイッチ1003は、選択したものを動き情報候補160Aとして動き情報選択スイッチ112に出力するとともに、エントロピー符号化部113において動き情報の差分符号化に用いる予測動き情報167を出力する。典型的には、動き情報候補160Aと予測動き情報167は、同一の動き情報を含むが、符号化制御部120の指示に従って、互いに異なる動き情報を含んでもよい。なお、符号化制御部120の代わりに予測動き情報選択スイッチ1003が、後述する予測動き情報位置情報を出力してもよい。符号化制御部120は、例えば数式(1)又は数式(2)などの評価関数を用いて、修正予測動き情報候補1052−1〜1052−Wのいずれを選択するかを決定する。
The predicted motion
また、動き情報候補160Aが動き情報選択スイッチ112によって動き情報160として選択されて動き情報メモリ109に格納される場合、動き情報候補160Aが保持するリスト0予測動き情報候補がリスト1予測動き情報候補にコピーされてもよい。この場合、リスト0予測動き情報と、このリスト0予測動き情報と同じ情報であるリスト1予測動き情報を含む参照動き情報166は、後続のプレディクションユニットの符号化の際に隣接プレディクションユニットの参照動き情報166として予測動き情報取得部110によって使用される。
When the
以下では、予測動き情報設定部1002−1〜1002−W、予測動き情報候補1051−1〜1051−W、修正予測動き情報候補1052−1〜1052−Wの各々を特に区別せずに説明する場合には、参照符号の末尾の番号(「−1」〜「−W」)を省略して、単に予測動き情報設定部1002、予測動き情報候補1051、修正予測動き情報候補1052と記載する。
Hereinafter, each of the predicted motion information setting units 1002-1 to 1002-W, the predicted motion information candidates 1051-1 to 1051-W, and the modified predicted motion information candidates 1052-1 to 1052-W will be described without particular distinction. In this case, the numbers at the end of the reference signs (“−1” to “−W”) are omitted, and are simply described as the predicted motion
次に、参照動き情報取得部1001が予測動き情報候補1051を生成する方法を具体的に説明する。
図11A、図11B及び図12は、参照動き情報取得部1001が予測動き情報候補1051を生成するために参照する隣接プレディクションユニットの位置の例をそれぞれ示している。図11Aは、符号化対象プレディクションユニットに空間的に隣接しているプレディクションユニットを隣接プレディクションユニットに設定する一例を示している。ブロックAX(X=0,1,…,nA−1)は、符号化対象プレディクションユニットに対して左に隣接するプレディクションユニットを示す。ブロックBY(Y=0,1,…,nB−1)は、符号化対象プレディクションユニットに対して上に隣接するプレディクションユニットを示す。ブロックC、ブロックD及びブロックEは、符号化対象プレディクションユニットに対してそれぞれ右上、左上、左下に隣接するプレディクションユニットを示す。Next, a method in which the reference motion
FIGS. 11A, 11B, and 12 illustrate examples of positions of adjacent prediction units that are referred to by the reference motion
図11Bは、符号化対象プレディクションユニットに空間的に隣接しているプレディクションユニットを隣接プレディクションユニットに設定する他の例を示している。図11Bでは、隣接プレディクションユニットA0及びA1はそれぞれ符号化対象プレディクションユニットの左下及び左に位置する。さらに、隣接プレディクションユニットB0、B1及びB2は、それぞれ符号化対象プレディクションユニットの右上、上及び左上に位置する。FIG. 11B shows another example in which a prediction unit spatially adjacent to the encoding target prediction unit is set as an adjacent prediction unit. In FIG. 11B, adjacent prediction units A 0 and A 1 are located at the lower left and the left of the encoding target prediction unit, respectively. Furthermore, the adjacent prediction units B 0 , B 1 and B 2 are located at the upper right, upper and upper left of the encoding target prediction unit, respectively.
図12は、符号化対象プレディクションユニットに時間的に隣接しているプレディクションユニット(符号化済み参照フレーム内のプレディクションユニット)を隣接プレディクションユニットに設定する一例を示している。図12に示される隣接プレディクションユニットは、符号化対象プレディクションユニットと同一座標に位置する参照フレーム内のプレディクションユニットである。この隣接プレディクションユニットの位置を位置Colと表す。 FIG. 12 shows an example in which a prediction unit (prediction unit in an encoded reference frame) that is temporally adjacent to the encoding target prediction unit is set as the adjacent prediction unit. The adjacent prediction unit shown in FIG. 12 is a prediction unit in a reference frame located at the same coordinate as the encoding target prediction unit. The position of this adjacent prediction unit is represented as position Col.
図13Aは、参照動き情報取得部1001が予測動きベクトル候補1051を生成するために参照するブロック位置とブロック位置インデクスMvpidxの関係を示すリストの一例を示している。ブロック位置Aは、例えば図12Aに示されるように、空間方向に位置する隣接プレディクションユニットAX(X=0,1,…,nA−1)のいずれか1つの隣接プレディクションユニットの位置に設定される。一例として、隣接プレディクションユニットAX(X=0,1,…,nA−1)の中から、インター予測を適用されている、即ち、参照動き情報166を有する隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でXの値が最も小さい隣接プレディクションユニットの位置がブロック位置Aに決定される。ブロック位置インデクスMvpidxが0である予測動きベクトル候補1051は、空間方向に位置するブロック位置Aの隣接プレディクションユニットの参照動き情報から生成される。FIG. 13A illustrates an example of a list indicating the relationship between the block position and the block position index Mvpidx that the reference motion
また、ブロック位置Bは、例えば図11Aに示されるように、空間方向に位置する隣接プレディクションユニットBY(Y=0,1,…,nB−1)のいずれか1つの隣接プレディクションユニットの位置に設定される。例えば、隣接プレディクションユニットBY(Y=0,1,…,nB−1)の中から、インター予測を適用されている、即ち、参照動き情報166を有する隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でYの値が最も小さい隣接プレディクションユニットの位置がブロック位置Bに決定される。ブロック位置インデクスMvpidxが1である予測動きベクトル候補1051は、空間方向に位置するブロック位置Bの隣接プレディクションユニットの参照動き情報から生成される。Further, for example, as shown in FIG. 11A, the block position B is the value of any one of the adjacent prediction units B Y (Y = 0, 1,..., NB−1) positioned in the spatial direction. Set to position. For example, an adjacent prediction unit to which inter prediction is applied, that is, having
さらに、ブロック位置インデクスMvpidxが2である予測動きベクトル候補1051は、参照フレーム内の位置Colの隣接プレディクションユニットの参照動き情報166から生成される。
Further, the motion
参照動き情報取得部1001が図13Aのリストに従って予測動きベクトル候補を生成する場合、3つの予測動きベクトル候補が生成される。この場合、インデクスMvpidxが0である予測動きベクトル候補は、図10に示される予測動きベクトル候補1051−1に対応する。さらに、インデクスMvpidxが1である予測動きベクトル候補は、予測動きベクトル候補1051−2に対応し、インデクスMvpidxが3である予測動きベクトル候補は、予測動きベクトル候補1051−3に対応する。
When the reference motion
図13Bは、参照動き情報取得部1001が予測動きベクトル候補1051を生成するために参照するブロック位置とブロック位置インデクスMvpidxの関係を示すリストの他の例を示している。参照動き情報取得部1001が図13Bのリストに従って予測動きベクトル候補を生成する場合、5つの予測動きベクトル候補が生成される。ブロック位置C及びDは、例えば図12Aに示される隣接プレディクションユニットC及びDの位置を指す。ブロック位置Cの隣接プレディクションユニットがインター予測を適用されていない場合、ブロック位置Dの隣接プレディクションユニットの参照動き情報166をブロック位置Cの隣接プレディクションユニットの参照動き情報166として置き換える。ブロック位置C及びDの隣接プレディクションユニットがインター予測を適用されていない場合、ブロック位置Eの隣接プレディクションユニットの参照動き情報166をプレディクションユニット位置Cの参照動き情報166として置き換える。
FIG. 13B illustrates another example of a list indicating the relationship between the block position and the block position index Mvpidx that the reference motion
さらに、図13Cに示すように、時間方向に位置する複数の隣接プレディクションユニットから複数の予測動き情報候補が生成されてもよい。図13Cに示されるブロック位置Col(C3)は、図14Aから図16Fを参照して後述するように、ブロック位置Colの隣接プレディクションユニット内の所定位置のプレディクションユニットの位置を示す。また、図13Cに示されるブロック位置Col(H)は、図17Aから図17Fなどを参照して後述するように、ブロック位置Colの隣接プレディクションユニットの外側の所定位置のプレディクションユニットの位置を示す。 Furthermore, as illustrated in FIG. 13C, a plurality of predicted motion information candidates may be generated from a plurality of adjacent prediction units located in the time direction. The block position Col (C3) shown in FIG. 13C indicates the position of the prediction unit at a predetermined position in the adjacent prediction unit of the block position Col, as will be described later with reference to FIGS. 14A to 16F. Further, the block position Col (H) shown in FIG. 13C indicates the position of the prediction unit at a predetermined position outside the adjacent prediction unit at the block position Col, as will be described later with reference to FIGS. 17A to 17F. Show.
符号化対象プレディクションユニットのサイズが最小のプレディクションユニットのサイズ(例えば、4画素×4画素)より大きい場合には、ブロック位置Colの隣接プレディクションユニットは、複数の参照動き情報166を時間方向参照動き情報メモリ602に保持している可能性がある。この場合、参照動き情報取得部1001は、予め定められた方法に従って、ブロック位置Colの隣接プレディクションユニットに保持されている複数の参照動き情報166から1つの参照動き情報166を取得する。本実施形態では、ブロック位置Colの隣接プレディクションユニット中の参照動き情報の取得位置を参照動き情報取得位置と称する。
When the size of the prediction target encoding unit is larger than the size of the smallest prediction unit (for example, 4 pixels × 4 pixels), the adjacent prediction unit at the block position Col receives the plurality of
図14Aから図14Fは、参照動き情報取得位置が位置Colの隣接プレディクションユニットの中心付近に設定される例を示す。図14Aから図14Fは、符号化対象プレディクションユニットが32x32画素ブロック、32×16画素ブロック、16×32画素ブロック、16×16画素ブロック、16×8画素ブロック、8×16画素ブロックである場合にそれぞれ対応する。図14Aから図14Fにおいて、各ブロックは、4x4プレディクションユニットを示し、丸印は、参照動き情報取得位置を示す。図14Aから図14Fの例では、丸印で示される4x4プレディクションユニットの参照動き情報166が位置予測動き情報候補として使用される。
14A to 14F show an example in which the reference motion information acquisition position is set near the center of the adjacent prediction unit at the position Col. 14A to 14F, the encoding target prediction unit is a 32 × 32 pixel block, a 32 × 16 pixel block, a 16 × 32 pixel block, a 16 × 16 pixel block, a 16 × 8 pixel block, and an 8 × 16 pixel block. Correspond to each. 14A to 14F, each block indicates a 4 × 4 prediction unit, and a circle indicates a reference motion information acquisition position. In the examples of FIGS. 14A to 14F, the
図15Aから図15Fは、参照動き情報取得位置が位置Colの隣接プレディクションユニットの中心に設定される例を示す。図15Aから図15Fは、符号化対象プレディクションユニットが32x32画素ブロック、32×16画素ブロック、16×32画素ブロック、16×16画素ブロック、16×8画素ブロック、8×16画素ブロックである場合にそれぞれ対応する。図15Aから図15Fにおいて、丸印で示される参照動き情報取得位置には、4x4プレディクションユニットが存在しないため、参照動き情報取得部1001は、予め定められた方式に従って、予測動き情報候補1051を生成する。一例として、参照動き情報取得部1001は、参照動き情報取得位置に隣接する4つの4x4プレディクションユニットの参照動き情報の平均値又はメディアン値を算出し、算出した平均値又はメディアン値を予測動き情報候補1051として生成する。
15A to 15F illustrate an example in which the reference motion information acquisition position is set at the center of the adjacent prediction unit at the position Col. 15A to 15F, the encoding target prediction unit is a 32 × 32 pixel block, a 32 × 16 pixel block, a 16 × 32 pixel block, a 16 × 16 pixel block, a 16 × 8 pixel block, and an 8 × 16 pixel block. Correspond to each. In FIG. 15A to FIG. 15F, since there is no 4 × 4 prediction unit at the reference motion information acquisition position indicated by a circle, the reference motion
図16Aから図16Fは、参照動き情報取得位置が位置Colの隣接プレディクションユニット中の左上端に設定される例を示す。図16Aから図16Fは、符号化対象プレディクションユニットが32x32画素ブロック、32×16画素ブロック、16×32画素ブロック、16×16画素ブロック、16×8画素ブロック、8×16画素ブロックである場合にそれぞれ対応する。図16Aから図16Fにおいて、ブロック位置Colの隣接プレディクションユニットの左上端に位置する4x4プレディクションユニットの参照動き情報が予測動き情報候補として使用される。 16A to 16F illustrate an example in which the reference motion information acquisition position is set at the upper left corner in the adjacent prediction unit at the position Col. 16A to 16F, the encoding target prediction unit is a 32 × 32 pixel block, a 32 × 16 pixel block, a 16 × 32 pixel block, a 16 × 16 pixel block, a 16 × 8 pixel block, and an 8 × 16 pixel block. Correspond to each. In FIG. 16A to FIG. 16F, the reference motion information of the 4 × 4 prediction unit located at the upper left corner of the adjacent prediction unit at the block position Col is used as a predicted motion information candidate.
参照フレーム内のプレディクションユニットを参照して予測動き情報候補1051を生成する方法は、図14Aから図16Fに示される方式に限定されず、予め定められた方式であればいかなる方式に従っていてもよい。例えば、図17Aから図17Fに示されるように、ブロック位置Colの隣接プレディクションユニットの外側の位置が参照動き情報取得位置として設定されてもよい。図17Aから図17Fは、符号化対象プレディクションユニットが32x32画素ブロック、32×16画素ブロック、16×32画素ブロック、16×16画素ブロック、16×8画素ブロック、8×16画素ブロックである場合にそれぞれ対応する。図17Aから図17Fにおいて、丸印で示される参照動き情報取得位置は、ブロック位置Colの隣接プレディクションユニットの右下に外接する4x4プレディクションユニットの位置に設定される。この4x4プレディクションユニットが画面外である若しくはインター予測を適用されていないなどとして、参照不可能である場合には、代わりに図14Aから図16Fに示される参照動き情報取得位置のプレディクションユニットが参照されてもよい。
The method of generating the predicted
なお、隣接プレディクションユニットが参照動き情報166を有しない場合は、参照動き情報取得部1001は、ゼロベクトルを有する参照動き情報を予測動き情報候補1051として生成する。
If the adjacent prediction unit does not have the
このようにして、参照動き情報取得部(予測動き情報候補生成部ともいう)1001は、動き情報メモリ109を参照して、1つ以上の予測動き情報候補1051−1〜1051−Wを生成する。予測動き情報候補の生成のために参照された隣接プレディクションユニット、即ち、予測動き情報候補が取得若しくは出力された隣接プレディクションユニットは、参照動きブロックと称される。なお、参照動きブロックが単方向予測を適用された場合には、予測動き情報候補1051は、リスト0予測に用いるリスト0予測動き情報候補、及びリスト1予測に用いるリスト1予測動き情報候補のうちの一方を含む。また、参照動きブロックが双方向予測を適用された場合には、予測動き情報候補1051は、リスト0予測動き情報候補及びリスト1予測動き情報候補の両方を含む。
In this manner, the reference motion information acquisition unit (also referred to as a predicted motion information candidate generation unit) 1001 refers to the
図18は、予測動き情報設定部1002の処理の一例を示している。図18に示されるように、まず、予測動き情報設定部1002は、予測動き情報候補1051が空間方向の参照動きブロックから出力されたものか、或いは、時間方向の参照動きブロックから出力されたものかを判定する(ステップS1801)。予測動き情報候補1051が空間方向の参照動きブロックから出力された(ステップS1801の判定がNOである)場合、予測動き情報設定部1002は、予測動き情報候補1051を修正予測動き情報候補1052として出力する(ステップS1812)。
FIG. 18 illustrates an example of processing of the predicted motion
一方、予測動き情報候補1051が空間方向の参照動きブロックから出力された(ステップS1802の判定がYESである)場合、予測動き情報設定部1002は、符号化対象プレディクションユニットに適用する予測方向及び参照フレーム番号を設定する(ステップS1802)。具体的には、符号化対象プレディクションユニットが、単方向予測のみを適用するPスライス内の画素ブロックである場合、予測方向は、単方向予測に設定される。さらに、符号化対象プレディクションユニットが、単方向予測及び双方向予測を適用可能なBスライス内の画素ブロックである場合、予測方向は、双方向予測に設定される。参照フレーム番号は、空間方向に位置する符号化済みの隣接プレディクションユニットを参照して設定される。
On the other hand, when the prediction
図19は、参照フレーム番号を設定するために用いる隣接プレディクションユニットの位置を例示している。図19に示されるように、隣接プレディクションユニットF、G及びHは、それぞれ符号化対象プレディクションユニットに対して左、上及び右上に隣接する符号化済みのプレディクションユニットである。参照フレーム番号は、隣接プレディクションユニットF、G及びHの参照フレーム番号を用いて多数決で決められる。前述したように、参照フレーム番号は、参照動き情報に含まれている。一例として、隣接プレディクションユニットF、G及びHの参照フレーム番号がそれぞれ0、1及び1である場合、符号化対象プレディクションユニットの参照フレーム番号は1に設定される。 FIG. 19 illustrates the position of the adjacent prediction unit used for setting the reference frame number. As shown in FIG. 19, adjacent prediction units F, G, and H are encoded prediction units that are adjacent to the encoding target prediction unit on the left, upper, and upper right, respectively. The reference frame number is determined by majority using the reference frame numbers of the adjacent prediction units F, G, and H. As described above, the reference frame number is included in the reference motion information. As an example, when the reference frame numbers of adjacent prediction units F, G, and H are 0, 1, and 1, respectively, the reference frame number of the encoding target prediction unit is set to 1.
隣接プレディクションユニットF、G及びHの参照フレーム番号が全て異なる場合、符号化対象プレディクションユニットの参照フレーム番号は、これらの参照フレーム番号の中で最も小さい参照フレーム番号に設定される。さらに、隣接プレディクションユニットF、G及びHがインター予測を適用されていない場合、或いは、隣接プレディクションユニットF、G及びHがフレーム又はスライスの外側に位置するために隣接プレディクションユニットF、G及びHが参照不可能な場合、符号化対象プレディクションユニットの参照フレーム番号は、0に設定される。他の実施形態では、符号化対象プレディクションユニットの参照フレーム番号は、隣接プレディクションユニットF、G及びHのうちの1つを用いて設定されてもよく、或いは、固定値(例えば、ゼロ)に設定されてもよい。ステップS1802の処理は、符号化対象プレディクションユニットが属するスライスがPスライスの場合にはリスト0予測に対して行われ、Bスライスの場合にはリスト0予測及びリスト1予測の両方に対して行われる。
When the reference frame numbers of adjacent prediction units F, G, and H are all different, the reference frame number of the encoding target prediction unit is set to the smallest reference frame number among these reference frame numbers. Furthermore, if the adjacent prediction units F, G and H are not applied with inter prediction, or because the adjacent prediction units F, G and H are located outside the frame or slice, the adjacent prediction units F, G When H and H cannot be referred to, the reference frame number of the encoding target prediction unit is set to 0. In other embodiments, the reference frame number of the target prediction unit may be set using one of the neighboring prediction units F, G, and H, or a fixed value (eg, zero). May be set. The process of step S1802 is performed for the
次に、予測動き情報設定部1002は、符号化対象プレディクションユニットが属するスライス(符号化スライスともいう)がBスライスであるか否かを判定する(ステップS1803)。符号化スライスがBスライスでない、即ち、Pスライスである(ステップS1803の判定がNOである)場合、予測動き情報候補1051は、リスト0予測動き情報候補及びリスト1予測動き情報候補の一方を含む。この場合、予測動き情報設定部1002は、ステップS1802で設定された参照フレーム番号を用いて、リスト0予測動き情報候補又はリスト1予測動き情報候補に含まれる動きベクトルをスケーリングする(ステップS1810)。さらに、予測動き情報設定部1002は、スケーリングした動きベクトルを含むリスト0予測動き情報候補又はリスト1予測動き情報候補を修正予測動き情報候補1052として出力する(ステップS1811)。
Next, the predicted motion
符号化スライスがBスライスである(ステップS1803の判定がYESである)場合、予測動き情報設定部1002は、参照動きブロックが単方向予測を適用されたか否かを判定する(ステップS1804)。参照動きブロックが単方向予測を適用された(ステップS1804の判定がYESである)場合、リスト1予測動き情報候補は予測動き情報候補1051に存在しないため、予測動き情報設定部1002は、リスト0予測動き情報候補をリスト1予測動き情報候補にコピーする(ステップS1805)。参照動きブロックが双方向予測を適用された(ステップS1804の判定がNOである)場合、処理は、ステップS1805を省略してステップS1806に進む。
If the encoded slice is a B slice (YES in step S1803), the motion estimation
次に、予測動き情報設定部1002は、ステップS1802で設定された参照フレーム番号を用いて、リスト0予測動き情報候補の動きベクトル及びリスト1予測動き情報候補の動きベクトルをそれぞれスケーリングする(ステップS1806)。次に、予測動き情報設定部1002は、リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一であるか否かを判定する(ステップS1807)。
Next, the predicted motion
リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一である(ステップS1807の判定がYESである)場合、双方向予測で生成される予測値(予測画像)は、単方向予測で生成される予測値(予測画像)と等価になる。このため、予測動き情報設定部1002は、予測方向を双方向予測から単方向予測に変更し、リスト0予測動き情報候補のみを含む修正予測動き情報候補1052を出力する(ステップS1808)。このように、リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一である場合には、予測方向を双方向予測から単方向予測に変更することにより、インター予測における動き補償処理及び平均処理を削減することができる。
When the block referred to by the
リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一でない(ステップS1807の判定がNOである)場合、予測動き情報設定部1002は、予測方向を双方向予測に設定し、リスト0予測動き情報候補及びリスト1予測動き情報候補を含む修正予測動き情報候補1052を出力する(ステップS1809)。
When the block referred to by the
このようにして、予測動き情報設定部1002は、予測動き情報候補1051を修正して修正予測動き情報候補1052を生成する。
In this way, the predicted motion
以上説明したように、本実施形態によれば、インター予測を行うために、符号化済みの画素ブロックの動き情報を利用して、符号化対象プレディクションユニットの動き情報を設定し、リスト0予測における動き情報が参照するブロックとリスト1予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができる。
As described above, according to the present embodiment, in order to perform inter prediction, the motion information of the encoding target prediction unit is set using the motion information of the encoded pixel block, and the
次に、予測動き情報設定部1002の処理の他の実施形態について、図20に示すフローチャートを用いて説明する。図20のステップS2001〜S2006、S2010〜S2012は、図18に示すステップS1801〜1806、S1810〜S1812と同一であるので説明を省略する。
Next, another embodiment of the process of the predicted motion
ステップS2007では、予測動き情報設定部1002は、ステップS2001〜S2006で生成されたリスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一であるか否かを判定する。リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一である(ステップS2007の判定がYESである)場合、双方向予測で生成される予測値(予測画像)は、単方向予測で生成される予測値(予測画像)と等価になる。このため、予測動き情報設定部1002は、リスト1予測動き情報候補を導出した参照動き情報取得位置とは空間的に異なる位置からリスト1予測動き情報候補を再度導出する(ステップS2008)。以下では、図20に示される処理の開始時点で使用した参照動き情報取得位置を第1参照動き情報取得位置と称し、ステップS2008で参照動き情報を再度導出するために用いる参照動き情報取得位置を第2参照動き情報取得位置と称する。
In step S2007, the predicted motion
典型的には、第1参照動き情報取得位置は、図17Aの丸印で示されるように、参照フレーム内の位置Colのプレディクションユニットの右下に外接する位置に設定され、第2参照動き情報取得位置は、図14Aの丸印で示されるように、同じ参照フレーム内の位置Colのプレディクションユニット内の所定の位置に設定される。或いは、第1参照動き情報取得位置及び第2参照動き情報取得位置は、図14Aから図16Fに示される位置、或いは、図示しない位置に設定されてもよい。 Typically, the first reference motion information acquisition position is set to a position circumscribing to the lower right of the prediction unit at the position Col in the reference frame, as indicated by a circle in FIG. 17A. The information acquisition position is set to a predetermined position in the prediction unit at the position Col in the same reference frame, as indicated by a circle in FIG. 14A. Alternatively, the first reference motion information acquisition position and the second reference motion information acquisition position may be set to positions shown in FIGS. 14A to 16F or positions not shown.
さらに、第1参照動き情報取得位置及び第2参照動き情報取得位置は、互いに時間的に異なる参照フレームに位置してもよい。図21Aは、第1参照動き情報取得位置及び第2参照動き情報取得位置を時間的に異なる参照フレームに設定する例を示している。図21Aに示されるように、第1参照動き情報取得位置は、参照フレーム番号(RefIdx)が0である参照フレーム内の位置Colのプレディクションユニットの右下の位置Xに設定される。さらに、第2参照動き情報取得位置Yは、参照フレーム番号が1である参照フレーム内の位置であって、第1参照動き情報取得位置Xと同じ位置に設定される。また、図21Bに示されるように、第1参照動き情報取得位置及び第2参照動き情報取得位置は、時空間的に異なる位置に設定されてもよい。図21Bでは、第2参照動き情報取得位置Yは、参照フレーム番号が1である参照フレーム内の位置であって、符号化対象プレディクションユニットと同じ座標に位置するプレディクション内の所定の位置に設定される。さらに、図21Cに示されるように、第1参照動き情報取得位置が属する参照フレーム位置及び第2参照動き情報取得位置が属する参照フレーム位置は、任意の時間位置であってもよい。図21Cでは、第1参照動き情報取得位置Xは、参照フレーム番号が0である参照フレーム上の位置に設定され、第2参照動き情報取得位置Yは、参照フレーム番号が2である参照フレーム内の位置であって、第1参照動き情報取得位置Xと同じ位置に設定される。 Further, the first reference motion information acquisition position and the second reference motion information acquisition position may be located in reference frames that are temporally different from each other. FIG. 21A illustrates an example in which the first reference motion information acquisition position and the second reference motion information acquisition position are set to different reference frames in time. As shown in FIG. 21A, the first reference motion information acquisition position is set to the lower right position X of the prediction unit of the position Col in the reference frame whose reference frame number (RefIdx) is 0. Furthermore, the second reference motion information acquisition position Y is a position in the reference frame whose reference frame number is 1, and is set to the same position as the first reference motion information acquisition position X. In addition, as illustrated in FIG. 21B, the first reference motion information acquisition position and the second reference motion information acquisition position may be set at different positions in time and space. In FIG. 21B, the second reference motion information acquisition position Y is a position in the reference frame whose reference frame number is 1, and is a predetermined position in the prediction located at the same coordinates as the encoding target prediction unit. Is set. Furthermore, as illustrated in FIG. 21C, the reference frame position to which the first reference motion information acquisition position belongs and the reference frame position to which the second reference motion information acquisition position belongs may be any time position. In FIG. 21C, the first reference motion information acquisition position X is set to a position on the reference frame whose reference frame number is 0, and the second reference motion information acquisition position Y is in the reference frame whose reference frame number is 2. And the same position as the first reference motion information acquisition position X.
以上説明したように、この実施形態によれば、インター予測を行うために、符号化済みの画素ブロックの動き情報を利用して、符号化対象プレディクションユニットの動き情報を設定し、リスト0予測における動き情報が参照するブロックとリスト1予測における動き情報が参照するブロックが同一である場合には、リスト1予測における動き情報をリスト0予測における動き情報の取得方法と異なる方法で取得することにより、単方向予測より予測効率の高い双方向予測を実現することができる。また、リスト1予測における動き情報の取得位置は、従来の取得位置の位置に応じて近い位置に設定することで、双方向予測に適した2種類の動き情報を取得することが可能となるため、さらに予測効率が向上する。
As described above, according to this embodiment, in order to perform inter prediction, the motion information of the encoded prediction unit is set using the motion information of the encoded pixel block, and the
次に、予測動き情報設定部1002の処理のさらに他の実施形態について、図22に示すフローチャートを用いて説明する。図22に示されるように、まず、予測動き情報設定部1002は、符号化済み領域から2種類の動き情報(第1予測動き情報及び第2予測動き情報)を取得する(ステップS2201)。例えば、2種類の動き情報は、上述した参照動き情報取得位置から取得されることができる。また、2種類の動き情報を取得する方法としては、これまで符号化対象プレディクションユニットに適応した動き情報の頻度を計算しておいて頻度の高い動き情報を用いてもよく、予め定められた動き情報を用いてもよい。
Next, still another embodiment of the process of the predicted motion
次に、予測動き情報設定部1002は、ステップS2201で取得した2種類の動き情報が第1条件を満たすか否かを判定する(ステップS2202)。第1条件は、下記の条件(A)〜(F)の少なくとも1つを含む。
(A)2種類の動き情報が参照する参照フレームが同一である
(B)2種類の動き情報が参照する参照ブロックが同一である
(C)2種類の動き情報に含まれる参照フレーム番号が同一である
(D)2種類の動き情報に含まれる動きベクトルが同一である
(E)2種類の動き情報に含まれる動きベクトルの差の絶対値が所定のしきい値以下である
(F)リスト0予測とリスト1予測に用いる参照フレームの数及び構成が同一である
ステップS2202では、条件(A)〜(F)のうちの1つ以上が満たされる場合に、2種類の動き情報が第1条件を満たすと判定される。また、第1条件は常に満たすと判定されても構わない。動画像符号化装置100には、第2の実施形態で説明する動画像復号化装置に設定される第1条件と同一の第1条件が設定される。或いは、動画像符号化装置100に設定される第1条件は、付加情報として動画像復号化装置に送信されてもよい。Next, the predicted motion
(A) Reference frames referenced by two types of motion information are the same (B) Reference blocks referenced by two types of motion information are the same (C) Reference frame numbers included in the two types of motion information are the same (D) The motion vectors included in the two types of motion information are the same. (E) The absolute value of the difference between the motion vectors included in the two types of motion information is less than or equal to a predetermined threshold. (F) List In step S2202, in which the number and configuration of reference frames used for 0 prediction and
第1条件が満たされない(ステップS2202の判定がNOである)場合、2種類の動き情報を変更することなく、符号化対象プレディクションユニットは双方向予測を適用される(ステップS2104)。第1条件が満たされる(ステップS2202の判定がYESである)場合、予測動き情報設定部1002は、第1対応を行う(ステップS2203)。第1対応は、下記の対応(1)〜(6)のうち1つ又は複数を含む。
(1)予測方法を単方向予測に設定し、2種類の動き情報のいずれか一方をリスト0予測動き情報候補として出力する
(2)予測方法を双方向予測に設定し、動き情報の取得位置とは空間的に異なるブロック位置から動き情報を取得して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
(3)予測方法を双方向予測に設定し、動き情報の取得位置とは時間的に異なるブロック位置から動き情報を取得して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
(4)予測方法を双方向予測に設定し、動き情報に含まれる参照フレーム番号を変更して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
(5)予測方法を双方向予測に設定し、動き情報に含まれる動きベクトルを変更して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
対応(2)〜(5)は、2種類の動き情報のうちの一方の動き情報のみに適用してもよいし、両方の動き情報に適用してもよい。また、典型的には、対応(4)は、元の動き情報を取得した参照フレームではなく、符号化対象フレームから最も近い参照フレームを適用する。典型的には、対応(5)は、動きベクトルをある固定値だけシフトさせた動きベクトルを適用する。If the first condition is not satisfied (the determination in step S2202 is NO), the prediction target prediction unit is applied with bi-directional prediction without changing the two types of motion information (step S2104). When the first condition is satisfied (Yes in step S2202), the motion estimation
(1) The prediction method is set to unidirectional prediction, and one of the two types of motion information is output as a
次に、予測動き情報設定部1002の処理のさらにまた他の実施形態について、図23に示すフローチャートを用いて説明する。図23のステップS2301〜S2303、S2306は、それぞれ図22に示すステップS2201〜S2203、S2204と同様の処理である。これらのステップについての説明は省略する。図22のフローチャートと異なる点は、S2303に示される第1対応の後に、第2条件の判定(ステップS2304)及び第2対応(ステップS2305)が追加されていることである。一例として、第1条件及び第2条件に上記条件(B)を用い、第1対応に上記対応(2)、第2対応に上記対応(1)をそれぞれ用いる場合について説明する。
Next, still another embodiment of the process of the predicted motion
対応(2)は、空間的に異なるブロック位置から動き情報が取得される。このため、空間的に動き情報が変化しない場合には、第1対応前後で動き情報は同一となる。このように第1対応前後で動き情報が同一となる場合には、第2対応を適用することで予測方向を単方向予測に設定する(ステップS2305)ことにより、動き補償の処理量を削減する。従って、本実施形態は、双方向予測の予測効率を向上させるとともに、空間的に動き情報が変化しない場合には動き補償の処理量を削減することができる。その結果、符号化効率を向上することができる。 In correspondence (2), motion information is acquired from spatially different block positions. For this reason, when the motion information does not change spatially, the motion information is the same before and after the first correspondence. As described above, when the motion information is the same before and after the first correspondence, the prediction direction is set to unidirectional prediction by applying the second correspondence (step S2305), thereby reducing the amount of motion compensation processing. . Therefore, this embodiment can improve the prediction efficiency of bidirectional prediction and reduce the amount of motion compensation processing when the motion information does not change spatially. As a result, encoding efficiency can be improved.
次に、H.264に示される重み付き予測(Weighted Prediction)が適用される場合について、図22に示される予測動き情報設定部1002の処理を例に説明する。
Next, H.I. A case where the weighted prediction shown in H.264 is applied will be described using the process of the predicted motion
図23A及び図23Bは、重み付き予測を適用する際の参照フレームの構成が例示されている。図23A及び図23Bにおいて、tは符号化対象フレームの時刻を示し、参照フレーム位置t−1及びt−2は、その参照フレームが符号化対象フレームに対してそれぞれ1フレーム及び2フレーム分過去に位置することを示す。この例では、参照フレームの数は4であり、各参照フレームに参照フレーム番号が割り当てられている。 23A and 23B illustrate the configuration of a reference frame when weighted prediction is applied. In FIGS. 23A and 23B, t indicates the time of the encoding target frame, and reference frame positions t-1 and t-2 indicate that the reference frame is one frame and two frames in the past with respect to the encoding target frame, respectively. Indicates that it is located. In this example, the number of reference frames is 4, and a reference frame number is assigned to each reference frame.
図23Aでは、参照フレーム番号が0及び1の参照フレームはともに位置t−1の参照フレームであるが、重み付き予測の有無(on/off)が異なる。この場合、参照フレーム番号0及び1の参照フレームは同一の参照フレームとして扱わない。即ち、参照フレーム番号0及び1の参照フレームは、重み付き予測の有無が異なっていれば、同じ位置の参照フレームであっても異なる参照フレームと見なす。従って、第1条件に条件(A)が含まれていて、符号化済み領域から取得した2種類の動き情報がそれぞれ参照フレーム番号0及び1に対応する参照フレームを参照する場合は、2種類の動き情報ともに位置t−1の参照フレームを参照するが重み付き予測の有無が異なるため、予測動き情報設定部1002は、第1条件が満たされていないと判定する。
In FIG. 23A, the reference frames having
図23Bは、重み付き予測パラメータが異なる際の参照フレームの構成を例示されている。重み付き予測パラメータとは、重み付き予測に用いる重み係数(weight)a及びオフセット(offset)bであり、輝度及び色差信号に対してそれぞれ保持される。図23Bにおいて参照フレーム番号0の参照フレームに対して輝度信号の重み係数a0及びオフセットb0が保持され、参照フレーム番号1の参照フレームに対して輝度信号の重み係数a1及びオフセットb1が保持されている。この場合、参照フレーム番号0、1及び2は同一の参照フレームとして扱わない。
FIG. 23B illustrates the configuration of the reference frame when the weighted prediction parameters are different. The weighted prediction parameters are a weight coefficient (weight) a and an offset (b) used for weighted prediction, and are held for the luminance and chrominance signals, respectively. In FIG. 23B, the luminance signal weight coefficient a0 and the offset b0 are held for the reference frame of
次に、図25を参照して動き情報符号化部503について説明する。
図25は、動き情報符号化部503をより詳細に示している。動き情報符号化部503は、図25に示されるように、減算部2501、差分動き情報符号化部2502、予測動き情報位置符号化部2503及び多重化部2504を備える。Next, the motion
FIG. 25 shows the motion
減算部2501は、動き情報160から予測動き情報167を減算して差分動き情報2551を生成する。差分動き情報符号化部2502は、差分動き情報2551を符号化して符号化データ2552を生成する。なお、スキップモード及びマージモードでは、差分動き情報符号化部2502での差分動き情報2551の符号化は不要となる。
The
予測動き情報位置符号化部2503は、予測動き情報候補1051−1〜1051−Yのうちのいずれを選択したかを示す予測動き情報位置情報(図13A、図13B又は図13Cに示されるインデックスMpvidx)を符号化して符号化データ2553を生成する。予測動き情報位置情報は、符号化制御部120から与えられる符号化制御情報170に含まれる。予測動き情報位置情報は、予測動き情報取得部110において修正予測動き情報候補1052の総数から生成される符号表を用いて符号化(等長符号化又は可変長符号化)される。隣接ブロックとの相関を利用して予測動き情報位置情報を可変長符号化しても構わない。さらに、複数の修正予測動き情報候補1052で重複する情報を有する場合、重複する予測動き情報候補1051を削除した修正予測動き情報候補1052の総数から符号表を作成し、この符号表に従って予測動き情報位置情報を符号化しても構わない。また、修正予測動き情報候補の総数が1である場合、この修正予測動き情報候補が予測動き情報167及び動き情報候補160Aと決定されるため、予測動き情報位置情報を符号化する必要はない。
The predicted motion information
多重化部2504は、符号化データ2552及び符号化データ2553を多重化して符号化データ553を生成する。
The
また、スキップモード、マージモード、インターモードそれぞれにおいて、修正予測動き情報候補1052の導出方法は同一である必要はなく、それぞれ独立に修正予測動き情報候補1052の導出方法を設定しても構わない。本実施形態では、スキップモードとマージモードの修正予測動き情報候補1052の導出方法は同一であり、インターモードの修正予測動き情報候補1052の導出方法は異なる。
In the skip mode, the merge mode, and the inter mode, the derivation method of the corrected predicted
次に、図1の動画像符号化装置100が利用するシンタクスについて説明する。
シンタクスは、動画像符号化装置が動画像データを符号化する際の符号化データ(例えば、図1の符号化データ163)の構造を示している。この符号化データを復号化する際に、同じシンタクス構造を参照して動画像復号化装置がシンタクス解釈を行う。図1の動画像符号化装置100が利用するシンタクス2600を図26に例示する。Next, the syntax used by the
The syntax indicates the structure of encoded data (for example, encoded
シンタクス2600は、ハイレベルシンタクス2601、スライスレベルシンタクス2602及びコーディングツリーレベルシンタクス2603の3つのパートを含む。ハイレベルシンタクス2601は、スライスよりも上位のレイヤのシンタクス情報を含む。スライスとは、フレーム又はフィールドに含まれる矩形領域若しくは連続領域を指す。スライスレベルシンタクス2602は、各スライスを復号化するために必要な情報を含む。コーディングツリーレベルシンタクス2603は、各コーディングツリー(即ち、各コーディングツリーユニット)を復号化するために必要な情報を含む。これらパートの各々は、さらに詳細なシンタクスを含む。
The
ハイレベルシンタクス2601は、シーケンスパラメータセットシンタクス2604及びピクチャパラメータセットシンタクス2605などといったシーケンス及びピクチャレベルのシンタクスを含む。スライスレベルシンタクス2602は、スライスヘッダーシンタクス2606及びスライスデータシンタクス2607などを含む。コーディングツリーレベルシンタクス2603は、コーディングツリーユニットシンタクス2608、トランスフォームユニットシンタクス2609及びプレディクションユニットシンタクス2610などを含む。
コーディングツリーユニットシンタクス2608は、四分木構造を持つことができる。具体的には、コーディングツリーユニットシンタクス2608のシンタクス要素として、さらにコーディングツリーユニットシンタクス2608を再帰呼び出しすることができる。即ち、1つのコーディングツリーユニットを四分木で細分化することができる。また、コーディングツリーユニットシンタクス2608内にはトランスフォームユニットシンタクス2609及びプレディクションユニットシンタクス2610が含まれている。トランスフォームユニットシンタクス2609及びプレディクションユニットシンタクス2610は、四分木の最末端の各コーディングツリーユニットシンタクス2608において呼び出される。プレディクションユニットシンタクス2610は、予測に関する情報、トランスフォームユニットシンタクス2609は、逆直交変換及び量子化などに関する情報がそれぞれ記述されている。
The coding tree unit syntax 2608 may have a quadtree structure. Specifically, the coding tree unit syntax 2608 can be recursively called as a syntax element of the coding tree unit syntax 2608. That is, one coding tree unit can be subdivided with a quadtree. The coding tree unit syntax 2608 includes a
図27は、プレディクションユニットシンタクスの一例を示す。図27に示されるskip_flagは、プレディクションユニットシンタクスが属するコーディングツリーユニットの予測モードがスキップモードであるか否かを示すフラグである。予測モードがスキップモードである場合、skip_flagは1に設定される。skip_flagが1である場合、予測動き情報位置情報2554以外のシンタクス(コーディングツリーユニットシンタクス、プレディクションユニットシンタクス、トランスフォームユニットシンタクス)を符号化しないことを示す。NumMergeCandidatesは、例えば図13Aのリストを使用して生成される修正予測動き情報候補1052の数を示す。修正予測動き情報候補1052が存在する(NumMergeCandidates>1)場合、修正予測動き情報候補1052のうちどのブロックからマージするかを示す予測動き情報位置情報2554であるmerge_idxが符号化される。merge_idxが符号化されない場合、その値は0に設定される。
FIG. 27 shows an example of the prediction unit syntax. The skip_flag shown in FIG. 27 is a flag indicating whether or not the prediction mode of the coding tree unit to which the prediction unit syntax belongs is the skip mode. When the prediction mode is the skip mode, skip_flag is set to 1. When skip_flag is 1, it indicates that syntaxes other than the predicted motion information position information 2554 (coding tree unit syntax, prediction unit syntax, transform unit syntax) are not encoded. NumMergeCandidates indicates the number of modified prediction
skip_flagが0である場合、プレディクションユニットシンタクスが属するコーディングツリーユニットの予測モードがスキップモードではないことを示す。NumMergeCandidatesは、例えば図13Aのリストを使用して生成される修正予測動き情報候補1052の数を示す。まず、後述するmerge_flagを符号化するか否かを示すInferredMergeFlagがFALSEの場合に、プレディクションユニットの予測モードがマージモードであるか否かを示すフラグであるmerge_flagが符号化される。merge_flagの値が1である場合、プレディクションユニットの予測モードがマージモードであることを示す。merge_flagの値が0である場合、プレディクションユニットにインターモードを適用することを示す。merge_flagが符号化されない場合、merge_flagの値は1に設定される。
When skip_flag is 0, it indicates that the prediction mode of the coding tree unit to which the prediction unit syntax belongs is not the skip mode. NumMergeCandidates indicates the number of modified prediction
merge_flagが1であり且つ修正予測動き情報候補1052が2つ以上存在する(NumMergeCandidates>1)場合、修正予測動き情報候補1052のうちどのブロックからマージするかを示す予測動き情報位置情報2554であるmerge_idxが符号化される。
When merge_flag is 1 and there are two or more modified predicted motion information candidates 1052 (NumMergeCandidates> 1), merge_idx which is predicted motion information position information 2554 indicating which block of the modified predicted
merge_flagが1である場合、merge_flag、merge_idx以外のプレディクションユニットシンタクスを符号化する必要はない。 When merge_flag is 1, it is not necessary to encode prediction unit syntax other than merge_flag and merge_idx.
merge_flagが0である場合、プレディクションユニットの予測モードがインターモードであることを示す。インターモードでは、差分動き情報2551に含まれる差分動きベクトル情報を示すmvd_lX(X=0若しくは1)及び参照フレーム番号ref_idx_lXが符号化される。さらに、プレディクションユニットがBスライス内の画素ブロックである場合、プレディクションユニットが単方向予測(リスト0若しくはリスト1)であるか双方向予測であるかを示すinter_pred_idcが符号化される。また、NumMVPCand(L0)、NumMVPCand(L1)を取得する。NumMVPCand(L0)、NumMVPCand(L1)は、それぞれリスト0予測、リスト1予測における修正予測動き情報候補1052の数を示す。修正予測動き情報候補1052が存在する(NumMVPCand(LX)>0、X=0若しくは1)場合、予測動き情報位置情報2554を示すmvp_idx_lXが符号化される。
When merge_flag is 0, it indicates that the prediction mode of the prediction unit is the inter mode. In the inter mode, mvd_lX (X = 0 or 1) indicating the difference motion vector information included in the
以上が、本実施形態に係るシンタクス構成である。 The above is the syntax configuration according to the present embodiment.
以上のように、本実施形態に係る動画像符号化装置は、インター予測を行うために、符号化済みの画素ブロックの動き情報を利用して、符号化対象プレディクションユニットの動き情報を設定し、リスト0予測における動き情報が参照するブロックとリスト1予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができ、符号化効率が向上される。
As described above, the video encoding apparatus according to the present embodiment sets the motion information of the encoding target prediction unit using the motion information of the encoded pixel block in order to perform inter prediction. When the block referred to by the motion information in the
(第2の実施形態)
第2の実施形態では、第1の実施形態の動画像符号化装置100に対応する動画像復号化装置について説明する。本実施形態に係る動画像復号化装置は、例えば第1の実施形態に係る動画像符号化装置100によって生成された符号化データを復号化する。(Second Embodiment)
In the second embodiment, a video decoding device corresponding to the
図28は、第2の実施形態に係る動画像復号化装置2800を概略的に示している。この動画像復号化装置2800には、符号化データ2850が、例えば図1の動画像符号化装置100などから図示しない蓄積系又は伝送系を経て入力される。動画像復号化装置2800は、受け取った符号化データ2850を復号化して復号画像信号2854を生成する。生成された復号画像信号2854は、出力バッファ2830に一時的に記憶されて出力画像として送出される。具体的には、動画像復号化装置2800は、図28に示されるように、エントロピー復号化部2801、逆量子化部2802、逆直交変換部2803、加算部2804、参照画像メモリ2805、インター予測部2806、参照動き情報メモリ2807、予測動き情報取得部2808、動き情報選択スイッチ2809及び復号化制御部2820を備える。さらに、動画像復号化装置2800は、図示しないイントラ予測部を備えることができる。
FIG. 28 schematically shows a
図28の動画像復号化装置2800は、LSI(Large-Scale Integration circuit)チップ、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)などのハードウェアにより実現することができる。また、動画像復号化装置2800は、コンピュータに画像復号化プログラムを実行させることによって実現することもできる。
28 can be realized by hardware such as an LSI (Large-Scale Integration circuit) chip, a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or the like. The moving
エントロピー復号化部2801は、符号化データ2850を復号化するために、シンタクスに基づいて解読を行う。エントロピー復号化部2801は、各シンタクスの符号列を順次にエントロピー復号化し、動き情報2859A、予測情報2860、量子化変換係数2851などの復号化対象ブロックに関する符号化パラメータを再生する。符号化パラメータとは、予測情報、変換係数に関する情報、量子化に関する情報などの復号に必要となるパラメータである。
The
具体的には、エントロピー復号化部2801は、図29に示すように、分離部2901、パラメータ復号化部2902、変換係数復号化部2903、及び動き情報復号化部2904を備える。分離部2901は、符号化データ2850をパラメータに関する符号化データ2951、変換係数に関する符号化データ2952、及び動き情報に関する符号化データ2953に分離する。分離部2901は、パラメータに関する符号化データ2951をパラメータ復号化部2902に、変換係数に関する符号化データ2952を変換係数復号化部2903に、動き情報に関する符号化データ2953を動き情報復号化部2904にそれぞれ出力する。
Specifically, the
パラメータ復号化部2902は、パラメータに関する符号化データ2951を復号化して予測情報2860などの符号化パラメータ2870を得る。パラメータ復号化部2902は、符号化パラメータ2870を復号化制御部2820に出力する。予測情報2860は、復号化対象プレディクションユニットにインター予測及びイントラ予測のいずれを適用するかを切り替えるために、また、動き情報復号化部2904から出力される動き情報候補2859Aと、予測動き情報取得部2808から出力される動き情報候補2859Bとのいずれを用いるかを動き情報選択スイッチ2809で切り替えるために使用される。
The
変換係数復号化部2903は、符号化データ2952を復号化して量子化変換係数2851を得る。変換係数復号化部2903は、量子化変換係数2851を逆量子化部2802に出力する。
The transform
動き情報復号化部2904は、分離部2901から符号化データ2953を復号化し、予測動き情報位置情報2861及び動き情報2859Aを生成する。具体的には、動き情報復号化部2904は、図30に示すように、分離部3001、差分動き情報復号化部3002、予測動き情報位置復号化部3003及び加算部3004を備える。
The motion
動き情報復号化部2904において、動き情報に関する符号化データ2953は分離部3001に入力される。分離部3001は、符号化データ2953を、差分動き情報に関する符号化データ3051及び予測動き情報位置に関する符号化データ3052に分離する。
In the motion
差分動き情報復号化部3002は、差分動き情報に関する符号化データ3051を復号化して差分動き情報3053を得る。なお、スキップモード及びマージモードでは、差分動き情報符号化部3002での差分動き情報3053の復号化は不要となる。
The differential motion
加算部3004は、差分動き情報3053を予測動き情報取得部2808からの予測動き情報2862と加算して動き情報2859Aを生成する。動き情報2859Aは、動き情報選択スイッチ2809に送出される。
The adding
予測動き情報位置復号化部3003は、予測動き情報位置に関する符号化データ3052を復号化して予測動き情報位置情報2861を得る。予測動き情報位置情報2861は、予測動き情報取得部2808に送出される。
The predicted motion information
予測動き情報位置情報2861は、修正予測動き情報候補3052の総数から生成される符号表を用いて復号化(等長復号化又は可変長復号化)される。隣接ブロックとの相関を利用して予測動き情報位置情報2861を可変長復号化しても構わない。さらに、複数の修正予測動き情報候補1052が重複する場合、重複を削除した修正予測動き情報候補1052の総数から生成される復号表に従って予測動き情報位置情報2861を復号化しても構わない。また、修正予測動き情報候補1052の総数が1種類である場合、この修正予測動き情報候補1052が予測動き情報候補2859Bと決定されるため、予測動き情報位置情報2861を復号化する必要はない。
The predicted motion
図28に示される逆量子化部2802は、エントロピー復号化部2801からの量子化変換係数2851を逆量子化して、復元変換係数2852を得る。具体的には、逆量子化部2802は、エントロピー復号化部2801によって得られた量子化情報に従って逆量子化処理を行う。逆量子化部2802は、復元変換係数2852を逆直交変換部2803に出力する。
The
逆直交変換部2803は、逆量子化部2802からの復元変換係数2852に対して、符号化側において行われた直交変換に対応する逆直交変換を行い、復元予測誤差信号2853を得る。例えば、図1の直交変換部102での直交変換がDCTである場合、逆直交変換部2803は、IDCTを行う。逆直交変換部2803は、復元予測誤差信号2853を加算部2804に出力する。
The inverse
加算部2804は、復元予測誤差信号2853と、対応する予測画像信号2856とを加算し、復号画像信号2854を生成する。復号画像信号2854は、フィルタリング処理を施された後に、出力画像信号として出力バッファ2830に一時的に蓄積される。出力バッファ2830に蓄積されている復号画像信号2854は、復号化制御部2820によって管理される出力タイミングに従って出力される。復号画像信号2854のフィルタリングには、例えば、デブロッキングフィルタ又はウィナーフィルタなどが用いられる。
The adding
さらに、フィルタリング処理後の復号画像信号2854は、参照画像信号2855として参照画像メモリ2805にも保存される。参照画像メモリ2805に保存されている参照画像信号2855は、インター予測部2806によって必要に応じてフレーム単位又はフィールド単位で参照される。
Further, the decoded
インター予測部2806は、参照画像メモリ2805に保存されている参照画像信号2855を利用してインター予測を行う。具体的には、インター予測部2806は、予測対象ブロックと参照画像信号2855との間の動きのズレ量(動きベクトル)を含む動き情報2859を動き情報選択スイッチ2809から受け取り、この動きベクトルに基づいて補間処理(動き補償)を行ってインター予測画像を生成する。インター予測画像の生成に関しては、第1の実施形態と同一であるので、詳細な説明を省略する。
The
動き情報メモリ2807は、インター予測部2806でのインター予測に用いられた動き情報2859を参照動き情報2858として一時的に格納する。動き情報メモリ2807は、第1の実施形態に示す動き情報メモリ109と同一の機能を有するので、重複する説明を適宜省略する。参照動き情報2858は、フレーム(又はスライス)単位で保持される。具体的には、動き情報メモリ2807は、復号対象フレームの動き情報2859を参照動き情報2858として格納する空間方向参照動き情報メモリと、既に復号化済みのフレームの動き情報2859を参照動き情報2858として格納する時間方向参照動き情報メモリとを含む。時間方向参照動き情報メモリは、復号化対象フレームの予測に用いる参照フレームの数に応じた数だけ用意されることができる。
The
参照動き情報2858は、所定の領域単位(例えば、4×4画素ブロック単位)で空間方向参照動き情報メモリ及び時間方向参照動き情報メモリに保持される。参照動き情報2858は、その領域がインター予測及びイントラ予測のいずれを適用されたのかを示す情報をさらに含む。
The
予測動き情報取得部2808は、動き情報メモリ2807に格納されている参照動き情報2858を参照して、復号化対象プレディクションユニットに用いる動き情報候補2859B、及びエントロピー復号化部2801において動き情報の差分符号化に用いる予測動き情報2862を生成する。
The predicted motion
復号化制御部2820は、図28の動画像復号化装置2800の各要素を制御する。具体的には、復号化制御部2820は、エントロピー復号化部2801からの符号化パラメータ2870を含む情報を動画像復号化装置2800から受け取り、動画像復号化装置2800に復号化制御情報2871を与えて復号化処理のための種々の制御を行う。
The
本実施形態に係る動画像復号化装置2800は、図9を参照して説明した符号化処理と同様に、復号化処理の異なる複数の予測モードを使用する。スキップモードは、予測動き情報位置情報2861に関するシンタクスのみを復号化し、その他のシンタクスを復号化しないモードである。マージモードは、予測動き情報位置情報2861に関するシンタクス、及び変換係数に関する情報を復号化し、その他のシンタクスを復号化しないモードである。インターモードは、予測動き情報位置情報2861に関するシンタクス、差分動き情報、及び変換係数に関する情報を復号化するモードである。これらのモードは、復号化制御部2820が制御する予測情報によって切り替えられる。
The moving
図31は、予測動き情報取得部2808をより詳細に示している。予測動き情報取得部2808は、図10に示されるような動画像符号化装置の予測動き情報取得部110と同じ構成を有するので、予測動き情報取得部2808についての詳細な説明は省略する。
FIG. 31 shows the predicted motion
図31に示される予測動き情報取得部2808は、参照動き情報取得部3101、動き情報設定部3102−1〜3102−W、及び予測動き情報選択スイッチ3103を備える。ここで、Wは、参照動き情報取得部3101で生成される予測動き情報候補の数を表す。
A prediction motion
参照動き情報取得部3101は、動き情報メモリ2807から参照動き情報2858を取得する。参照動き情報取得部3101は、取得した参照動き情報2858を用いて、1つ以上の予測動き情報候補3151−1、3151−2、…、3151−Wを生成する。予測動き情報候補は、予測動きベクトル候補とも称される。
The reference motion
予測動き情報設定部3102−1〜3102−Wは、参照動き情報取得部3101から予測動き情報候補3151−1〜3151−Wをそれぞれ受け取り、復号化対象プレディクションユニットに適用する予測方法(単方向予測、双方向予測)及び参照フレーム番号の設定、並びに動きベクトル情報のスケーリングを行って、修正予測動き情報候補3152−1〜3152−Wをそれぞれ生成する。
The prediction motion information setting units 3102-1 to 3102-W receive prediction motion information candidates 3151-1 to 3151 -W from the reference motion
予測動き情報選択スイッチ3103は、復号化制御部2820からの符号化制御情報2871に含まれる指令に従って、1以上の修正予測動き情報候補3152−1〜3152−Wのいずれか1つを選択する。そして、予測動き情報選択スイッチ3103は、選択したものを動き情報候補2859Bとして動き情報選択スイッチ2809に出力するとともに、エントロピー復号化部2801において動き情報の差分復号化に用いる予測動き情報2862を出力する。典型的には、動き情報候補2859Bと予測動き情報2862は、同一の動き情報を含むが、復号化制御部2820の指示に従って、互いに異なる動き情報を含んでもよい。なお、復号化制御部2820の代わりに予測動き情報選択スイッチ3103が予測動き情報位置情報を出力してもよい。復号化制御部2820は、例えば上述した数式(1)又は数式(2)などの評価関数を用いて、修正予測動き情報候補3152−1〜3152−Wのいずれを選択するかを決定する。
The predicted motion
また、動き情報候補2859Bが動き情報選択スイッチ2809によって動き情報2859として選択されて動き情報メモリ2807に格納される場合、動き情報候補2859Bが保持するリスト0予測動き情報候補がリスト1予測動き情報候補にコピーされてもよい。この場合、リスト0予測動き情報と、このリスト0予測動き情報と同じ情報であるリスト1予測動き情報を含む参照動き情報2858は、後続のプレディクションユニットの復号化の際に隣接プレディクションユニットの参照動き情報2858として予測動き情報取得部2808によって使用される。
When
以下では、予測動き情報設定部3102−1〜3102−W、予測動き情報候補3151−1〜3151−W、修正予測動き情報候補3152−1〜3152−Wの各々を特に区別せずに説明する場合には、参照符号の末尾の番号(「−1」〜「−W」)を省略して、単に予測動き情報設定部3102、予測動き情報候補3151、修正予測動き情報候補3152と記載する。
Hereinafter, each of the predicted motion information setting units 3102-1 to 3102-W, the predicted
予測動き情報設定部3102は、例えば図10に示される動画像符号化装置100の予測動き情報候補1001と同様の方法で、1つ以上の予測動き情報候補3151を生成する。予測動き情報候補3151の生成方法については、図11Aから図17Fを参照して動画像符号化装置に関して説明したものと同様であるので、詳細な説明は省略する。
For example, the predicted motion
一例として、参照動き情報取得部3101が図13Aのリストに従って予測動き情報候補3151を生成する方法を簡単に説明する。図13Aのリストによれば、復号化対象プレディクションユニットに空間的に隣接するプレディクションユニットを参照して2つの予測動き情報候補3151−1及び3151−2が生成され、復号化対象プレディクションユニットに時間的に隣接するプレディクションユニットを参照して1つの動き情報候補3151−3が生成される。
As an example, a method in which the reference motion
例えば、図11Aに示されるように、隣接プレディクションユニットAX(X=0,1,…,nA−1)の中から、インター予測を適用されている隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でXの値が最も小さい隣接プレディクションユニットの位置がブロック位置Aに決定される。インデックスMvpidxが0である予測動き情報候補3151−1は、空間方向に位置するブロック位置Aの隣接プレディクションユニットの参照動き情報から生成される。For example, as shown in FIG. 11A, adjacent prediction units to which inter prediction is applied are selected and selected from adjacent prediction units A X (X = 0, 1,..., NA−1). The position of the adjacent prediction unit having the smallest value of X among the adjacent prediction units is determined as the block position A. The predicted motion information candidate 3151-1 with the index Mvpidx of 0 is generated from the reference motion information of the adjacent prediction unit at the block position A located in the spatial direction.
また、例えば図11Aに示されるように、隣接プレディクションユニットBY(Y=0,1,…,nB−1)の中から、インター予測を適用されている隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でYの値が最も小さい隣接プレディクションユニットの位置がブロック位置Bに決定される。インデクスMvpidxが1である予測動きベクトル候補3151−2は、空間方向に位置するブロック位置Bの隣接プレディクションユニットの参照動き情報から生成される。For example, as shown in FIG. 11A, an adjacent prediction unit to which inter prediction is applied is selected from the adjacent prediction units B Y (Y = 0, 1,..., NB−1). The position of the adjacent prediction unit having the smallest Y value among the determined adjacent prediction units is determined as the block position B. The predicted motion vector candidate 3151-2 with the index Mvpidx of 1 is generated from the reference motion information of the adjacent prediction unit at the block position B located in the spatial direction.
さらに、インデクスMvpidxが2である予測動きベクトル候補3151−3は、参照フレーム内の位置Colの隣接プレディクションユニットの参照動き情報から生成される。 Further, the motion vector predictor candidate 3151-3 whose index Mvpidx is 2 is generated from the reference motion information of the adjacent prediction unit at the position Col in the reference frame.
このようにして、参照動き情報取得部(予測動き情報候補生成部ともいう)3101は、動き情報メモリ2807を参照して、1つ以上の予測動き情報候補3151−1〜3151−Wを生成する。予測動き情報候補3151の生成のために参照されたプレディクションユニット、即ち、予測動き情報候補が取得若しくは出力されたプレディクションユニットは、参照動きブロックと称される。なお、参照動きブロックが単方向予測を適用された場合には、予測動き情報候補3151は、リスト0予測に用いるリスト0予測動き情報候補、及びリスト1予測に用いるリスト1予測動き情報候補のうちの一方を含む。また、参照動きブロックが双方向予測を適用された場合には、予測動き情報候補3151は、リスト0予測動き情報候補及びリスト1予測動き情報候補の両方を含む。
In this manner, the reference motion information acquisition unit (also referred to as a predicted motion information candidate generation unit) 3101 refers to the
図32は、予測動き情報設定部3102の処理の一例を示している。図32に示される予測動き情報設定部3102は、図10に示される動画像符号化装置100の予測動き情報設定部1002と同様の機能を有する。図32の処理手順は、図18の処理手順の説明において「符号化」を「復号化」と読み替えることにより理解されることができるので、その詳細な説明を適宜省略する。
FIG. 32 illustrates an example of processing of the predicted motion
図32に示されるように、まず、予測動き情報設定部3102は、予測動き情報候補3151が空間方向の参照動きブロックから出力されたものか、或いは、時間方向の参照動きブロックから出力されたものかを判定する(ステップS3201)。予測動き情報候補3151が空間方向の参照動きブロックから出力された(ステップS3101の判定がNOである)場合、予測動き情報設定部3102は、予測動き情報候補3151を修正予測動き情報候補3152として出力する(ステップS3212)。
As shown in FIG. 32, first, the predicted motion
予測動き情報候補3151が空間方向の参照動きブロックから出力された(ステップS3202の判定がYESである)場合、予測動き情報設定部3102は、復号化対象プレディクションユニットに適用する予測方向及び参照フレーム番号を設定する(ステップS3202)。具体的には、復号化対象プレディクションユニットが、単方向予測のみを適用するPスライス内の画素ブロックである場合、予測方向は、単方向予測に設定される。さらに、復号化対象プレディクションユニットが、単方向予測及び双方向予測を適用可能なBスライス内の画素ブロックである場合、予測方向は、双方向予測に設定される。参照フレーム番号は、空間方向に位置する復号化済みのプレディクションユニットを参照して設定される。例えば、参照フレーム番号は、復号化対象プレディクションユニットに隣接する所定位置のプレディクションユニットの参照フレーム番号を用いて多数決で決められる。
When the prediction
次に、予測動き情報設定部3102は、復号化対象プレディクションユニットが属するスライス(復号化スライスともいう)がBスライスであるか否かを判定する(ステップS3203)。復号化スライスがPスライスである(ステップS3203の判定がNOである)場合、予測動き情報候補3151は、リスト0予測動き情報候補及びリスト1予測動き情報候補の一方を含む。この場合、予測動き情報設定部3102は、ステップS3202で設定された参照フレーム番号を用いて、リスト0予測動き情報候補又はリスト1予測動き情報候補に含まれる動きベクトルをスケーリングする(ステップS3210)。さらに、予測動き情報設定部3102は、スケーリングした動きベクトルを含むリスト0予測動き情報候補又はリスト1予測動き情報候補を修正予測動き情報候補3152として出力する(ステップS3211)。
Next, the motion estimation
復号化スライスがBスライスである(ステップS3203の判定がYESである)場合、予測動き情報設定部3102は、参照動きブロックが単方向予測を適用されたか否かを判定する(ステップS3204)。参照動きブロックが単方向予測を適用された(ステップS3204の判定がYESである)場合、リスト1予測動き情報候補は予測動き情報候補3151に存在しないため、予測動き情報設定部3102は、リスト0予測動き情報候補をリスト1予測動き情報候補にコピーする(ステップS3205)。参照動きブロックが双方向予測を適用された(ステップS3204の判定がNOである)場合、処理は、ステップS3205を省略してステップS3206に進む。
If the decoded slice is a B slice (YES in step S3203), the motion estimation
次に、予測動き情報設定部3102は、ステップS3202で設定された参照フレーム番号を用いて、リスト0予測動き情報候補の動きベクトル及びリスト1予測動き情報候補の動きベクトルをそれぞれスケーリングする(ステップS3206)。次に、予測動き情報設定部3102は、リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一であるか否かを判定する(ステップS3207)。
Next, the predicted motion
リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一である(ステップS3207の判定がYESである)場合、双方向予測で生成される予測値(予測画像)は、単方向予測で生成される予測値(予測画像)と等価になる。このため、予測動き情報設定部3102は、予測方向を双方向予測から単方向予測に変更し、リスト0予測動き情報候補のみを含む修正予測動き情報候補3152を出力する(ステップS3208)。このように、リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一である場合には、予測方向を双方向予測から単方向予測に変更することにより、インター予測における動き補償処理及び平均処理を削減することができる。
When the block referred to by the
リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一でない(ステップS3207の判定がNOである)場合、予測動き情報設定部3102は、予測方向を双方向予測に設定し、リスト0予測動き情報候補及びリスト1予測動き情報候補を含む修正予測動き情報候補3152を出力する(ステップS3209)。
When the block referred to by the
以上説明したように、本実施形態によれば、インター予測を行うために、復号化済みの画素ブロックの動き情報を利用して、復号化対象プレディクションユニットの動き情報を設定し、リスト0予測における動き情報が参照するブロックとリスト1予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができる。
As described above, according to the present embodiment, in order to perform the inter prediction, the motion information of the decoding target prediction unit is set using the motion information of the decoded pixel block, and the
次に、予測動き情報設定部3102の処理の他の実施形態について、図33に示すフローチャートを用いて説明する。図33の処理手順は、図20の処理手順の説明において「符号化」を「復号化」と読み替えることにより理解されることができるので、詳細な説明を適宜省略する。また、図33のステップS3301〜S3306、S3310〜S3312は、図32に示すステップS3201〜3206、S3210〜S3212と同一であるので説明を省略する。
Next, another embodiment of the process of the predicted motion
ステップS3307では、予測動き情報設定部3102は、ステップS3301〜S3306で生成されたリスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一であるか否かを判定する。リスト0予測動き情報候補が参照するブロックとリスト1予測動き情報候補が参照するブロックが同一である(ステップS3307の判定がYESである)場合、双方向予測で生成される予測値(予測画像)は、単方向予測で生成される予測値(予測画像)と等価になる。このため、予測動き情報設定部1002は、リスト1予測動き情報候補を導出した参照動き情報取得位置とは空間的に異なる位置からリスト1予測動き情報候補を再度導出する(ステップS3308)。以下では、図33に示される処理の開始時点で使用した参照動き情報取得位置を第1参照動き情報取得位置と称し、ステップS3308で参照動き情報を再度導出するために用いる参照動き情報取得位置を第2参照動き情報取得位置と称する。
In step S3307, the predicted motion
典型的には、第1参照動き情報取得位置は、図17Aの丸印で示されるように、参照フレーム内の位置Colのプレディクションユニットの右下に外接する位置に設定され、第2参照動き情報取得位置は、図14Aの丸印で示されるように、同じ参照フレームの位置Colのプレディクションユニット内の所定の位置に設定される。なお、第1参照動き情報取得位置及び第2参照動き情報取得位置は、互いに時間的に異なる参照フレームに位置してもよく、時空間的に異なる位置に設定されてもよい。 Typically, the first reference motion information acquisition position is set to a position circumscribing to the lower right of the prediction unit at the position Col in the reference frame, as indicated by a circle in FIG. 17A. The information acquisition position is set to a predetermined position in the prediction unit at the position Col of the same reference frame, as indicated by a circle in FIG. 14A. Note that the first reference motion information acquisition position and the second reference motion information acquisition position may be located in reference frames that are temporally different from each other, or may be set to positions that are different in time and space.
以上説明したように、この実施形態によれば、インター予測を行うために、復号化済みの画素ブロックの動き情報を利用して、復号化対象プレディクションユニットの動き情報を設定し、リスト0予測における動き情報が参照するブロックとリスト1予測における動き情報が参照するブロックが同一である場合には、リスト1予測における動き情報をリスト0予測における動き情報の取得方法と異なる方法で取得することにより、単方向予測より予測効率の高い双方向予測を実現することができる。また、リスト1予測における動き情報の取得位置は、従来の取得位置の位置に応じて近い位置に設定することで、双方向予測に適した2種類の動き情報を取得することが可能となるため、さらに予測効率が向上する。
As described above, according to this embodiment, in order to perform the inter prediction, the motion information of the decoding target prediction unit is set using the motion information of the decoded pixel block, and the
次に、予測動き情報設定部3102の処理のさらに他の実施形態について、図34に示すフローチャートを用いて説明する。図34の処理手順は、図22の処理手順の説明において「符号化」を「復号化」と読み替えることにより理解されることができる。
Next, still another embodiment of the process of the predicted motion
図34に示されるように、まず、予測動き情報設定部3102は、復号化済み領域から2種類の動き情報(第1予測動き情報及び第2予測動き情報)を取得する(ステップS3401)。例えば、2種類の動き情報は、上述した参照動き情報取得位置から取得されることができる。また、2種類の動き情報を取得する方法としては、これまで復号化対象プレディクションユニットに適応した動き情報の頻度を計算しておいて頻度の高い動き情報を用いてもよく、予め定められた動き情報を用いてもよい。
As shown in FIG. 34, first, the predicted motion
次に、予測動き情報設定部3102は、ステップS3401で取得した2種類の動き情報が第1条件を満たすか否かを判定する(ステップS3402)。第1条件は、下記の条件(A)〜(F)の少なくとも1つを含む。
(A)2種類の動き情報が参照する参照フレームが同一である
(B)2種類の動き情報が参照する参照ブロックが同一である
(C)2種類の動き情報に含まれる参照フレーム番号が同一である
(D)2種類の動き情報に含まれる動きベクトルが同一である
(E)2種類の動き情報に含まれる動きベクトルの差の絶対値が所定のしきい値以下である
(F)リスト0予測とリスト1予測に用いる参照フレームの数及び構成が同一である
ステップS3402では、条件(A)〜(F)のうちの1つ以上が満たされる場合に、2種類の動き情報が第1条件を満たすと判定される。また、第1条件は常に満たすと判定されても構わない。動画像復号化装置2800には、第1の実施形態で説明した動画像復号化装置100に設定される第1条件と同一の第1条件が設定される。或いは、動画像復号化装置2800は、動画像符号化装置100から第1条件に関する情報を付加情報として受け取ってもよい。Next, the predicted motion
(A) Reference frames referenced by two types of motion information are the same (B) Reference blocks referenced by two types of motion information are the same (C) Reference frame numbers included in the two types of motion information are the same (D) The motion vectors included in the two types of motion information are the same. (E) The absolute value of the difference between the motion vectors included in the two types of motion information is less than or equal to a predetermined threshold. (F) List In step S3402, in which the number and configuration of the reference frames used for 0 prediction and
第1条件が満たされない(ステップS3402の判定がNOである)場合、2種類の動き情報を変更することなく、復号化対象プレディクションユニットは双方向予測を適用される(ステップS3404)。第1条件が満たされる(ステップS3402の判定がYESである)場合、予測動き情報設定部3102は、第1対応を行う(ステップS3403)。第1対応は、下記の対応(1)〜(6)のうち1つ又は複数を含む。
(1)予測方法を単方向予測に設定し、2種類の動き情報のいずれか一方をリスト0予測動き情報候補として出力する
(2)予測方法を双方向予測に設定し、動き情報の取得位置とは空間的に異なるブロック位置から動き情報を取得して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
(3)予測方法を双方向予測に設定し、動き情報の取得位置とは時間的に異なるブロック位置から動き情報を取得して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
(4)予測方法を双方向予測に設定し、動き情報に含まれる参照フレーム番号を変更して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
(5)予測方法を双方向予測に設定し、動き情報に含まれる動きベクトルを変更して、2種類の動き情報をリスト0予測動き情報候補及びリスト1予測動き情報候補として出力する
対応(2)〜(5)は、2種類の動き情報のうちの一方の動き情報のみに適用してもよいし、両方の動き情報に適用してもよい。また、典型的には、対応(4)は、元の動き情報を取得した参照フレームではなく、復号化対象フレームから最も近い参照フレームを適用する。典型的には、対応(5)は、動きベクトルをある固定値だけシフトさせた動きベクトルを適用する。If the first condition is not satisfied (determination in step S3402 is NO), bi-prediction is applied to the decoding target prediction unit without changing the two types of motion information (step S3404). If the first condition is satisfied (YES in step S3402), the motion vector
(1) The prediction method is set to unidirectional prediction, and one of the two types of motion information is output as a
次に、予測動き情報設定部3102の処理のさらにまた他の実施形態について、図35に示すフローチャートを用いて説明する。図35のステップS3501〜S3503、S3506は、それぞれ図34に示すステップS3401〜S3403、S3404と同様の処理であるので、これらのステップについての説明は省略する。図34の処理手順と異なる点は、S3503に示される第1対応の後に、第2条件の判定(ステップS3504)及び第2対応(ステップS3505)が追加されていることである。一例として、第1条件及び第2条件に上記条件(B)を用い、第1対応に上記対応(2)、第2対応に上記対応(1)をそれぞれ用いる場合について説明する。
Next, still another embodiment of the process of the predicted motion
対応(2)は、空間的に異なるブロック位置から動き情報が取得される。このため、空間的に動き情報が変化しない場合には、第1対応前後で動き情報は同一となる。このように第1対応前後で動き情報が同一となる場合には、第2対応を適用することで予測方向を単方向予測に設定する(ステップS3505)ことにより、動き補償の処理量を削減する。従って、本実施形態は、双方向予測の予測効率を向上させるとともに、空間的に動き情報が変化しない場合には動き補償の処理量を削減することができる。 In correspondence (2), motion information is acquired from spatially different block positions. For this reason, when the motion information does not change spatially, the motion information is the same before and after the first correspondence. Thus, when the motion information is the same before and after the first correspondence, the prediction direction is set to unidirectional prediction by applying the second correspondence (step S3505), thereby reducing the amount of motion compensation processing. . Therefore, this embodiment can improve the prediction efficiency of bidirectional prediction and reduce the amount of motion compensation processing when the motion information does not change spatially.
本実施形態では、H.264に示される重み付き予測(Weighted Prediction)が適用されてもよい。図23Aに示されるように、参照フレーム番号が0及び1の参照フレームはともに位置t−1の参照フレームであるが、重み付き予測の有無(on/off)が異なる場合、参照フレーム番号0及び1の参照フレームは同一の参照フレームとして扱わない。即ち、参照フレーム番号0及び1の参照フレームは、重み付き予測の有無が異なっていれば、同じ位置の参照フレームであっても異なる参照フレームと見なす。従って、第1条件に条件(A)が含まれていて、復号化済み領域から取得した2種類の動き情報がそれぞれ参照フレーム番号0及び1に対応する参照フレームを参照する場合は、2種類の動き情報ともに位置t−1の参照フレームを参照するが重み付き予測の有無が異なるため、予測動き情報設定部3102は、第1条件が満たされていないと判定する。
In this embodiment, H.264 is used. The weighted prediction shown in H.264 may be applied. As shown in FIG. 23A, the reference frames having the
また、図23B示されるように、参照フレーム番号0の参照フレームに対して輝度信号の重み係数a0及びオフセットb0が保持され、参照フレーム番号1の参照フレームに対して輝度信号の重み係数a1及びオフセットb1が保持されている場合、参照フレーム番号0、1及び2は同一の参照フレームとして扱わない。
Further, as shown in FIG. 23B, the luminance signal weight coefficient a0 and the offset b0 are held for the reference frame of
図28の動画像復号化装置2800は、図26を参照して説明したシンタクスと同一又は類似のシンタクスを利用することができるので、その詳細な説明を省略する。
The moving
以上のように、本実施形態に係る動画像復号化装置は、インター予測を行うために、復号化済みの画素ブロックの動き情報を利用して、復号化対象プレディクションユニットの動き情報を設定し、リスト0予測における動き情報が参照するブロックとリスト1予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができ、復号化効率が向上される。
As described above, the video decoding apparatus according to the present embodiment sets the motion information of the decoding target prediction unit using the motion information of the decoded pixel block in order to perform inter prediction. When the block referred to by the motion information in the
以下に、各実施形態の変形例を列挙して紹介する。
第1及び第2の実施形態において、入力画像信号を構成する各フレームを16×16画素サイズなどの矩形ブロックに分割し、図2に示されるように、画面左上のブロックから右下に向かって順に符号化/復号化を行う例について説明している。しかしながら、符号化順序及び復号化順序はこの例に限定されない。例えば、右下から左上に向かって順に符号化及び復号化が行われてもよいし、画面中央から画面端に向かって渦巻を描くように符号化及び復号化が行われてもよい。さらに、右上から左下に向かって順に符号化及び復号化が行われてもよいし、画面端から画面中央に向かって渦巻きを描くように符号化及び復号化が行われてもよい。Hereinafter, modifications of each embodiment will be listed and introduced.
In the first and second embodiments, each frame constituting the input image signal is divided into rectangular blocks of 16 × 16 pixel size and the like, as shown in FIG. 2, from the upper left block to the lower right side of the screen. An example in which encoding / decoding is performed in order will be described. However, the encoding order and the decoding order are not limited to this example. For example, encoding and decoding may be performed sequentially from the lower right to the upper left, or encoding and decoding may be performed so as to draw a spiral from the center of the screen toward the screen end. Furthermore, encoding and decoding may be performed in order from the upper right to the lower left, or encoding and decoding may be performed so as to draw a spiral from the screen edge toward the center of the screen.
また、第1及び第2の実施形態において、4×4画素ブロック、8×8画素ブロック、16×16画素ブロックなどの予測対象ブロックサイズを例示して説明を行ったが、予測対象ブロックは均一なブロック形状でなくてもよい。例えば、予測対象ブロック(プレディクションユニット)のサイズは、16×8画素ブロック、8×16画素ブロック、8×4画素ブロック、4×8画素ブロックなどであってもよい。また、1つのコーディングツリーユニット内で全てのブロックサイズを統一させる必要はなく、複数の異なるブロックサイズを混在させてもよい。1つのコーディングツリーユニット内で複数の異なるブロックサイズを混在させる場合、分割数の増加に伴って分割情報を符号化または復号化するための符号量も増加する。そこで、分割情報の符号量と局部復号画像または復号画像の品質との間のバランスを考慮して、ブロックサイズを選択することが望ましい。 In the first and second embodiments, the description has been given by exemplifying the prediction target block size such as the 4 × 4 pixel block, the 8 × 8 pixel block, and the 16 × 16 pixel block, but the prediction target block is uniform. It does not have to be a simple block shape. For example, the size of the prediction target block (prediction unit) may be a 16 × 8 pixel block, an 8 × 16 pixel block, an 8 × 4 pixel block, a 4 × 8 pixel block, or the like. Also, it is not necessary to unify all the block sizes within one coding tree unit, and a plurality of different block sizes may be mixed. When a plurality of different block sizes are mixed in one coding tree unit, the amount of codes for encoding or decoding the division information increases as the number of divisions increases. Therefore, it is desirable to select the block size in consideration of the balance between the code amount of the division information and the quality of the locally decoded image or the decoded image.
さらに、第1及び第2の実施形態において、簡単化のために、輝度信号と色差信号とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる予測方法が用いられてよい。輝度信号と色差信号との間で異なる予測方法が用いられる場合、色差信号に対して選択した予測方法を輝度信号と同様の方法で符号化又は復号化できる。 Further, in the first and second embodiments, for simplification, the luminance signal and the color difference signal are not distinguished from each other, and a comprehensive description is described regarding the color signal component. However, when the prediction process is different between the luminance signal and the color difference signal, the same or different prediction methods may be used. When different prediction methods are used between the luminance signal and the chrominance signal, the prediction method selected for the chrominance signal can be encoded or decoded in the same manner as the luminance signal.
第1及び第2までの実施形態において、シンタクス構成に示す表の行間には、実施形態で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても構わない。或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても構わない。 In the first and second embodiments, syntax elements not defined in the embodiment can be inserted between the rows of the table shown in the syntax configuration, and other conditional branch descriptions are included. It does not matter. Alternatively, the syntax table can be divided and integrated into a plurality of tables. Moreover, it is not always necessary to use the same term, and it may be arbitrarily changed depending on the form to be used.
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の動画像符号化装置及び動画像復号化装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の動画像符号化装置及び動画像復号化装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。The instructions shown in the processing procedure shown in the above embodiment can be executed based on a program that is software. A general-purpose computer system stores this program in advance, and by reading this program, it is also possible to obtain the same effects as those obtained by the video encoding device and video decoding device of the above-described embodiment. is there. The instructions described in the above-described embodiments are, as programs that can be executed by a computer, magnetic disks (flexible disks, hard disks, etc.), optical disks (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD). ± R, DVD ± RW, etc.), semiconductor memory, or a similar recording medium. As long as the recording medium is readable by the computer or the embedded system, the storage format may be any form. If the computer reads the program from the recording medium and causes the CPU to execute instructions described in the program based on the program, the computer is similar to the video encoding device and video decoding device of the above-described embodiment. Operation can be realized. Of course, when the computer acquires or reads the program, it may be acquired or read through a network.
In addition, the OS (operating system), database management software, MW (middleware) such as a network, etc. running on the computer based on the instructions of the program installed in the computer or embedded system from the recording medium implement this embodiment. A part of each process for performing may be executed.
Furthermore, the recording medium in the present embodiment is not limited to a medium independent of a computer or an embedded system, but also includes a recording medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored. Further, the program for realizing the processing of each of the above embodiments may be stored on a computer (server) connected to a network such as the Internet and downloaded to the computer (client) via the network.
Further, the number of recording media is not limited to one, and when the processing in this embodiment is executed from a plurality of media, it is included in the recording medium in this embodiment, and the configuration of the media may be any configuration.
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。The computer or the embedded system in the present embodiment is for executing each process in the present embodiment based on a program stored in a recording medium. The computer or the embedded system includes a single device such as a personal computer or a microcomputer. The system may be any configuration such as a system connected to the network.
In addition, the computer in this embodiment is not limited to a personal computer, but includes an arithmetic processing device, a microcomputer, and the like included in an information processing device. ing.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
Claims (12)
動き情報が付与されている複数のブロックを含む符号化済み領域から、第1予測動き情報及び第2予測動き情報を取得することと、
第1条件が満たされる場合に、(1)前記符号化済み領域から前記第1予測動き情報及び前記第2予測動き情報とは異なる第3予測動き情報を取得し、前記第1予測動き情報及び前記第3予測動き情報の両方、(2)前記第1予測動き情報及び前記第2予測動き情報のうち、(1)又は(2)のいずれか一方を用いて符号化対象ブロックの予測画像を生成することと、
を具備し、
前記第1条件は、
(A)前記第1予測動き情報及び前記第2予測動き情報が参照する参照フレームが同一であること、
(B)前記第1予測動き情報及び前記第2予測動き情報が参照するブロックが同一であること、
(C)前記第1予測動き情報及び前記第2予測動き情報に含まれる参照フレーム番号が同一であること、
(D)前記第1予測動き情報及び前記第2予測動き情報に含まれる動きベクトルが同一であること、
(E)前記第1予測動き情報に含まれる動きベクトルと前記第2予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも1つである動画像符号化方法。A video encoding method for performing inter prediction for each of a plurality of pixel blocks obtained by dividing an input image signal,
Obtaining first predicted motion information and second predicted motion information from an encoded region including a plurality of blocks to which motion information is assigned;
When the first condition is satisfied, (1) acquiring third predicted motion information different from the first predicted motion information and the second predicted motion information from the encoded region, and the first predicted motion information and Using both of the third predicted motion information and (2) either the first predicted motion information or the second predicted motion information (1) or (2), the predicted image of the encoding target block is obtained. Generating,
Comprising
The first condition is:
(A) Reference frames referred to by the first predicted motion information and the second predicted motion information are the same.
(B) The blocks referred to by the first predicted motion information and the second predicted motion information are the same,
(C) Reference frame numbers included in the first predicted motion information and the second predicted motion information are the same.
(D) Motion vectors included in the first predicted motion information and the second predicted motion information are the same.
(E) A moving image that is at least one of an absolute value of a difference between a motion vector included in the first predicted motion information and a motion vector included in the second predicted motion information being a predetermined threshold value or less. Image coding method.
(A)前記第2予測動き情報が取得されたブロックが属する参照フレームと同一の参照フレーム内のブロックであって、前記第2予測動き情報が取得されたブロックの位置とは空間的に異なる位置のブロックの動き情報であること、
(B)前記第2予測動き情報が取得されたブロックが属する参照フレームとは時間的に異なる参照フレーム内のブロックの動き情報であること、
(C)前記第2予測動き情報に含まれる、参照フレームの時間位置を示す参照フレーム番号とは異なる参照フレーム番号を含む動き情報であること、及び
(D)前記第2予測動き情報に含まれる動きベクトルとは異なる動きベクトルを含む動き情報であること、
のうち少なくとも1つを満たす、請求項1に記載の動画像符号化方法。The third predicted motion information is
(A) A block in the same reference frame as the reference frame to which the block from which the second predicted motion information is acquired belongs, and a position spatially different from the position of the block from which the second predicted motion information is acquired Block movement information,
(B) the motion information of a block in a reference frame that is temporally different from the reference frame to which the block from which the second predicted motion information is acquired belongs;
(C) motion information including a reference frame number different from a reference frame number indicating a temporal position of a reference frame included in the second predicted motion information; and (D) included in the second predicted motion information. The motion information includes a motion vector different from the motion vector,
The moving picture encoding method according to claim 1, wherein at least one of the above is satisfied.
動き情報が付与されている複数のブロックを含む符号化済み領域から、第1予測動き情報及び第2予測動き情報を取得する予測動き情報取得部と、
第1条件が満たされる場合に、(1)前記符号化済み領域から前記第1予測動き情報及び前記第2予測動き情報とは異なる第3予測動き情報が前記予測動き情報取得部によって取得され、前記第1予測動き情報及び前記第3予測動き情報の両方、(2)前記第1予測動き情報及び前記第2予測動き情報のうち、(1)又は(2)のいずれか一方を用いて符号化対象ブロックの予測画像を生成するインター予測部と、
を具備し、
前記第1条件は、
(A)前記第1予測動き情報及び前記第2予測動き情報が参照する参照フレームが同一であること、
(B)前記第1予測動き情報及び前記第2予測動き情報が参照するブロックが同一であること、
(C)前記第1予測動き情報及び前記第2予測動き情報に含まれる参照フレーム番号が同一であること、
(D)前記第1予測動き情報及び前記第2予測動き情報に含まれる動きベクトルが同一であること、
(E)前記第1予測動き情報に含まれる動きベクトルと前記第2予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも1つである動画像符号化装置。A video encoding device that performs inter prediction for each of a plurality of pixel blocks obtained by dividing an input image signal,
A predicted motion information acquisition unit that acquires first predicted motion information and second predicted motion information from an encoded region including a plurality of blocks to which motion information is assigned;
When the first condition is satisfied, (1) third predicted motion information different from the first predicted motion information and the second predicted motion information is acquired from the encoded region by the predicted motion information acquisition unit, Code using both of the first predicted motion information and the third predicted motion information, and (2) either (1) or (2) of the first predicted motion information and the second predicted motion information. An inter prediction unit that generates a prediction image of the block to be processed,
Comprising
The first condition is:
(A) Reference frames referred to by the first predicted motion information and the second predicted motion information are the same.
(B) The blocks referred to by the first predicted motion information and the second predicted motion information are the same,
(C) Reference frame numbers included in the first predicted motion information and the second predicted motion information are the same.
(D) Motion vectors included in the first predicted motion information and the second predicted motion information are the same.
(E) A moving image that is at least one of an absolute value of a difference between a motion vector included in the first predicted motion information and a motion vector included in the second predicted motion information being a predetermined threshold value or less. Image encoding device.
動き情報が付与されている複数のブロックを含む復号化済み領域から、第1予測動き情報及び第2予測動き情報を取得することと、
第1条件が満たされる場合に、(1)前記復号化済み領域から前記第1予測動き情報及び前記第2予測動き情報とは異なる第3予測動き情報を取得し、前記第1予測動き情報及び前記第3予測動き情報の両方、(2)前記第1予測動き情報及び前記第2予測動き情報のうち、(1)又は(2)のいずれか一方を用いて復号化対象ブロックの予測画像を生成することと、
を具備し、
前記第1条件は、
(A)前記第1予測動き情報及び前記第2予測動き情報が参照する参照フレームが同一であること、
(B)前記第1予測動き情報及び前記第2予測動き情報が参照するブロックが同一であること、
(C)前記第1予測動き情報及び前記第2予測動き情報に含まれる参照フレーム番号が同一であること、
(D)前記第1予測動き情報及び前記第2予測動き情報に含まれる動きベクトルが同一であること、
(E)前記第1予測動き情報に含まれる動きベクトルと前記第2予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも1つである動画像復号化方法。A video decoding method for performing inter prediction for each of a plurality of pixel blocks obtained by dividing an input image signal,
Obtaining first predicted motion information and second predicted motion information from a decoded region including a plurality of blocks to which motion information is assigned;
When the first condition is satisfied, (1) acquiring third predicted motion information different from the first predicted motion information and the second predicted motion information from the decoded region, and the first predicted motion information and Using both of the third predicted motion information and (2) either the first predicted motion information or the second predicted motion information (1) or (2), the predicted image of the decoding target block is obtained. Generating,
Comprising
The first condition is:
(A) Reference frames referred to by the first predicted motion information and the second predicted motion information are the same.
(B) The blocks referred to by the first predicted motion information and the second predicted motion information are the same,
(C) Reference frame numbers included in the first predicted motion information and the second predicted motion information are the same.
(D) Motion vectors included in the first predicted motion information and the second predicted motion information are the same.
(E) A moving image that is at least one of an absolute value of a difference between a motion vector included in the first predicted motion information and a motion vector included in the second predicted motion information being a predetermined threshold value or less. Image decoding method.
(A)前記第2予測動き情報が取得されたブロックが属する参照フレームと同一の参照フレーム内のブロックであって、前記第2予測動き情報が取得されたブロックの位置とは空間的に異なる位置のブロックの動き情報であること、
(B)前記第2予測動き情報が取得されたブロックが属する参照フレームとは時間的に異なる参照フレーム内のブロックの動き情報であること、
(C)前記第2予測動き情報に含まれる、参照フレームの時間位置を示す参照フレーム番号とは異なる参照フレーム番号を含む動き情報であること、及び
(D)前記第2予測動き情報に含まれる動きベクトルとは異なる動きベクトルを含む動き情報であること、
のうち少なくとも1つを満たす、請求項7に記載の動画像復号化方法。The third predicted motion information is
(A) A block in the same reference frame as the reference frame to which the block from which the second predicted motion information is acquired belongs, and a position spatially different from the position of the block from which the second predicted motion information is acquired Block movement information,
(B) the motion information of a block in a reference frame that is temporally different from the reference frame to which the block from which the second predicted motion information is acquired belongs;
(C) motion information including a reference frame number different from a reference frame number indicating a temporal position of a reference frame included in the second predicted motion information; and (D) included in the second predicted motion information. The motion information includes a motion vector different from the motion vector,
The moving picture decoding method according to claim 7, wherein at least one of them is satisfied.
動き情報が付与されている複数のブロックを含む復号化済み領域から、第1予測動き情報及び第2予測動き情報を取得する予測動き情報取得部と、
第1条件が満たされる場合に、(1)前記復号化済み領域から前記第1予測動き情報及び前記第2予測動き情報とは異なる第3予測動き情報が前記予測動き情報取得部によって取得され、前記第1予測動き情報及び前記第3予測動き情報の両方、(2)前記第1予測動き情報及び前記第2予測動き情報のうち、(1)又は(2)のいずれか一方を用いて復号化対象ブロックの予測画像を生成するインター予測部と、
を具備し、
前記第1条件は、
(A)前記第1予測動き情報及び前記第2予測動き情報が参照する参照フレームが同一であること、
(B)前記第1予測動き情報及び前記第2予測動き情報が参照するブロックが同一であること、
(C)前記第1予測動き情報及び前記第2予測動き情報に含まれる参照フレーム番号が同一であること、
(D)前記第1予測動き情報及び前記第2予測動き情報に含まれる動きベクトルが同一であること、
(E)前記第1予測動き情報に含まれる動きベクトルと前記第2予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも1つである動画像復号化装置。A video decoding device that performs inter prediction for each of a plurality of pixel blocks obtained by dividing an input image signal,
A predicted motion information acquisition unit that acquires first predicted motion information and second predicted motion information from a decoded region including a plurality of blocks to which motion information is assigned;
When the first condition is satisfied, (1) third predicted motion information different from the first predicted motion information and the second predicted motion information is acquired from the decoded region by the predicted motion information acquisition unit, Decoding using both of the first predicted motion information and the third predicted motion information, and (2) either (1) or (2) of the first predicted motion information and the second predicted motion information An inter prediction unit that generates a prediction image of the block to be processed,
Comprising
The first condition is:
(A) Reference frames referred to by the first predicted motion information and the second predicted motion information are the same.
(B) The blocks referred to by the first predicted motion information and the second predicted motion information are the same,
(C) Reference frame numbers included in the first predicted motion information and the second predicted motion information are the same.
(D) Motion vectors included in the first predicted motion information and the second predicted motion information are the same.
(E) A moving image that is at least one of an absolute value of a difference between a motion vector included in the first predicted motion information and a motion vector included in the second predicted motion information being a predetermined threshold value or less. Image decoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013520374A JPWO2012172668A1 (en) | 2011-06-15 | 2011-06-15 | Moving picture encoding method and apparatus, and moving picture decoding method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013520374A JPWO2012172668A1 (en) | 2011-06-15 | 2011-06-15 | Moving picture encoding method and apparatus, and moving picture decoding method and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2012172668A1 true JPWO2012172668A1 (en) | 2015-02-23 |
Family
ID=52687712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013520374A Pending JPWO2012172668A1 (en) | 2011-06-15 | 2011-06-15 | Moving picture encoding method and apparatus, and moving picture decoding method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPWO2012172668A1 (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007379A (en) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | Method for encoding moving image and method for decoding moving image |
JP2004023458A (en) * | 2002-06-17 | 2004-01-22 | Toshiba Corp | Moving picture encoding/decoding method and apparatus |
WO2004008775A1 (en) * | 2002-07-15 | 2004-01-22 | Hitachi, Ltd. | Moving picture encoding method and decoding method |
JP2004056756A (en) * | 2002-07-18 | 2004-02-19 | Lg Electronics Inc | Predictive motion vector operating method |
JP2008541502A (en) * | 2005-05-26 | 2008-11-20 | 株式会社エヌ・ティ・ティ・ドコモ | Method and apparatus for encoding motion and prediction weighting parameters |
JP2010010950A (en) * | 2008-06-25 | 2010-01-14 | Toshiba Corp | Image coding/decoding method and apparatus |
WO2012081246A1 (en) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | Image encoding method and image decoding method |
WO2012081225A1 (en) * | 2010-12-14 | 2012-06-21 | パナソニック株式会社 | Image encoding method and image decoding method |
WO2012090478A1 (en) * | 2010-12-28 | 2012-07-05 | パナソニック株式会社 | Moving image coding method and moving image decoding method |
WO2012098866A1 (en) * | 2011-01-18 | 2012-07-26 | パナソニック株式会社 | Video encoding method and video decoding method |
-
2011
- 2011-06-15 JP JP2013520374A patent/JPWO2012172668A1/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007379A (en) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | Method for encoding moving image and method for decoding moving image |
JP2004023458A (en) * | 2002-06-17 | 2004-01-22 | Toshiba Corp | Moving picture encoding/decoding method and apparatus |
WO2004008775A1 (en) * | 2002-07-15 | 2004-01-22 | Hitachi, Ltd. | Moving picture encoding method and decoding method |
JP2004056756A (en) * | 2002-07-18 | 2004-02-19 | Lg Electronics Inc | Predictive motion vector operating method |
JP2008541502A (en) * | 2005-05-26 | 2008-11-20 | 株式会社エヌ・ティ・ティ・ドコモ | Method and apparatus for encoding motion and prediction weighting parameters |
JP2010010950A (en) * | 2008-06-25 | 2010-01-14 | Toshiba Corp | Image coding/decoding method and apparatus |
WO2012081225A1 (en) * | 2010-12-14 | 2012-06-21 | パナソニック株式会社 | Image encoding method and image decoding method |
WO2012081246A1 (en) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | Image encoding method and image decoding method |
WO2012090478A1 (en) * | 2010-12-28 | 2012-07-05 | パナソニック株式会社 | Moving image coding method and moving image decoding method |
WO2012098866A1 (en) * | 2011-01-18 | 2012-07-26 | パナソニック株式会社 | Video encoding method and video decoding method |
Non-Patent Citations (4)
Title |
---|
BIN LI ET AL.: "Redundancy reduction in B-frame coding at temporal level zero", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 3RD M, JPN6015030641, October 2010 (2010-10-01), ISSN: 0003126284 * |
JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VECG (ISO/IEC JTC1/SC29/WG11 AND ITU T SG16 Q.6) 14TH, JPN7014003467, 28 January 2005 (2005-01-28), pages 105 - 106, ISSN: 0002957603 * |
TOSHIYASU SUGIO AND TAKAHIRO NISHI: "Modified usage of predicted motion vectors in forward directional bi-predictive coding frame", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH M, JPN6015030640, January 2011 (2011-01-01), ISSN: 0003126283 * |
次世代動画像符号化方式 MPEG-4 AVC|H.264, JPN6014051199, 12 March 2004 (2004-03-12), pages 65, ISSN: 0002957604 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012172668A1 (en) | Video encoding method and device, and video decoding method and device | |
TWI717586B (en) | Deriving motion vector information at a video decoder | |
US12075083B2 (en) | Image encoding and decoding method with merge flag and motion vectors | |
RU2715017C1 (en) | Video prediction encoding device, video prediction encoding method, video prediction decoding device and video prediction decoding method | |
KR102606778B1 (en) | Memory access windows and padding for motion vector refinement and motion compensation | |
JP6716611B2 (en) | Slice-level intra block copy and other video coding improvements | |
JP6342477B2 (en) | Memory reduction for video coding prediction | |
KR101647376B1 (en) | A method and an apparatus for processing a video signal | |
KR102013093B1 (en) | Dynamic image decoding device, dynamic image decoding method, dynamic image encoding device, dynamic image encoding method, and recoding medium | |
US8948243B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
JP2017511620A (en) | Innovations in block vector prediction and estimation of reconstructed sample values in overlapping areas | |
KR20130016172A (en) | Decoding method of inter coded moving picture | |
KR20130099243A (en) | Inter prediction encoding method | |
KR20060127155A (en) | Image information encoding device and image information encoding method | |
US11997255B2 (en) | Video encoding and decoding using intra block copy | |
JP7447097B2 (en) | Image encoding/decoding method and device | |
KR20120009861A (en) | Method and Apparatus for Encoding/Decoding of Video Data Using Expanded Skip Mode | |
KR20230153350A (en) | Inter prediction method and apparatus | |
KR20190140399A (en) | Inter prediction method and apparatus | |
CN114830646A (en) | Image encoding method and image decoding method | |
KR20200110164A (en) | Video Encoding and Decoding Using Intra Block Copy | |
CN112565767B (en) | Video decoding method, video encoding method and related equipment | |
RU2810727C1 (en) | Methods, equipment and devices for decoding, encoding and encoding/decoding | |
JPWO2012172668A1 (en) | Moving picture encoding method and apparatus, and moving picture decoding method and apparatus | |
KR20240113380A (en) | Method and Apparatus for Video Coding Using Far Reference Pixels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160322 |