JP2019054517A - Encoding device, decoding device, and program - Google Patents
Encoding device, decoding device, and program Download PDFInfo
- Publication number
- JP2019054517A JP2019054517A JP2018171407A JP2018171407A JP2019054517A JP 2019054517 A JP2019054517 A JP 2019054517A JP 2018171407 A JP2018171407 A JP 2018171407A JP 2018171407 A JP2018171407 A JP 2018171407A JP 2019054517 A JP2019054517 A JP 2019054517A
- Authority
- JP
- Japan
- Prior art keywords
- intra prediction
- encoding
- prediction mode
- processing order
- target block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、符号化装置、復号装置及びプログラムに関する。 The present invention relates to an encoding device, a decoding device, and a program.
次世代映像圧縮技術に代表されるH.265/HEVC(High Efficiency Video Coding)動画像(映像)符号化方式においては、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の2種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理、ループフィルタ処理、及びエントロピー符号化処理を行う。そして、このエントロピー符号化処理により得られたストリームを出力するように構成されている。 In the H.265 / HEVC (High Efficiency Video Coding) video (video) coding system represented by next-generation video compression technology, inter prediction using temporal correlation between frames and spatial correlation within the frames are performed. After performing prediction while switching between two types of intra prediction used, a residual signal is generated, and then orthogonal transform processing, loop filter processing, and entropy coding processing are performed. And it is comprised so that the stream obtained by this entropy encoding process may be output.
HEVCにおけるイントラ予測には、Planar予測やDC予測や方向予測等を含む計35種類のイントラ予測モードが用意されている。復号装置では、符号化装置(エンコーダ)で決定されたイントラ予測モードに従って、隣接する復号済み参照画素を用いてイントラ予測を行い、予測画像を生成するように構成されている。以下、特に記載が無い場合には、「参照画素」とは、復号済み参照画素をいうものとする。 For intra prediction in HEVC, a total of 35 types of intra prediction modes including Planar prediction, DC prediction, direction prediction, and the like are prepared. The decoding device is configured to perform intra prediction using adjacent decoded reference pixels according to the intra prediction mode determined by the encoding device (encoder), and generate a prediction image. Hereinafter, unless otherwise specified, the “reference pixel” refers to a decoded reference pixel.
従来のHEVCは、動画像を構成するフレーム単位の原画像を固定の大きさの複数のブロック(以下、CTU:Coding Tree Unitと呼ぶ)に分割した後、各CTUに対して階層的な四分木分割を適用することにより符号化するように構成されている。 In the conventional HEVC, a frame-unit original image constituting a moving image is divided into a plurality of blocks having a fixed size (hereinafter referred to as CTU: Coding Tree Unit), and then divided into hierarchical quadrants for each CTU. It is configured to encode by applying tree partitioning.
符号化装置は、分割された符号化対象ブロック(以下、CU:Coding Unitと呼ぶ)に対してイントラ予測とインター予測とを切り替えながら符号化処理を施す。そして、この符号化処理は、左上から右下に向かって予め規定された符号化処理順(左上のCU→右上のCU→左下のCU→右下のCUというような符号化処理順、以下、Zスキャンと呼ぶ)で行われる。 The encoding apparatus performs encoding processing while switching between intra prediction and inter prediction on a divided encoding target block (hereinafter referred to as CU: Coding Unit). This encoding process is performed in a predetermined encoding process order from the upper left to the lower right (the upper left CU → the upper right CU → the lower left CU → the lower right CU, for example, This is called Z scan).
上述のように、イントラ予測モードは、参照画素を利用して予測画像を生成する。しかしながら、このイントラ予測モードは、符号化処理の順序を後述するZスキャンで進めるため、CUの右上や左下の参照画素が復号済みでない場合がある。 As described above, in the intra prediction mode, a prediction image is generated using reference pixels. However, in this intra prediction mode, the order of the encoding process is advanced by a Z scan described later, and therefore the upper right and lower left reference pixels of the CU may not be decoded.
このような場合には、参照画素として最も近い復号済み参照画素を0次外挿した値を用いて予測画像を生成するように構成されている(例えば、非特許文献1参照)。 In such a case, the predicted image is generated using a value obtained by extrapolating the nearest decoded reference pixel as a reference pixel (see, for example, Non-Patent Document 1).
また、HEVCでは、フレーム内の最も左上に位置するブロック等、隣接する復号済み参照画素が存在しないブロックでは、規定した値(例えば、10ビットの動画像であれば「512」等)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。 Also, in HEVC, in a block where there is no adjacent decoded reference pixel, such as a block located at the upper left in a frame, a specified value (for example, “512” for a 10-bit moving image) is filled. Thus, the reference pixel used when generating the predicted image is created.
上述のように、復号済みでない参照画素が存在する場合、復号済みでない参照画素の位置する方向からの方向予測を行うと予測精度が低下するため、符号化効率が低減してしまう。 As described above, when there is a reference pixel that has not been decoded, if the direction prediction is performed from the direction in which the reference pixel that has not been decoded is located, the prediction accuracy is lowered, and thus the coding efficiency is reduced.
そこで、イントラ予測において、Zスキャンの他、逆Nスキャン(右上のCU→右下のCU→左上のCU→左下のCUというような符号化処理順)や逆Zスキャン(左下のCU→右下のCU→左上のCU→右上のCUというような符号化処理順)のように符号化処理順に自由度を持たせることによって予測精度の向上を図る技術が知られている(非特許文献2参照)。 Therefore, in intra prediction, in addition to Z scan, inverse N scan (encoding processing order such as upper right CU → lower right CU → upper left CU → lower left CU) or reverse Z scan (lower left CU → lower right) There is known a technique for improving the prediction accuracy by providing a degree of freedom in the order of encoding processing, such as CU → upper left CU → upper right CU) (see Non-Patent Document 2). ).
非特許文献2に規定されている技術では、CU単位でどのような符号化処理順を用いるのかについてのフラグを伝送した上で、各CUに適用可能なイントラ予測モードを示すフラグを伝送するように構成されている。
In the technique defined in
また、非特許文献2に規定されている技術では、各CUのイントラ予測モードは、HEVCと同様に、固定の35個のイントラ予測モードの中から選択するように構成されており、伝送するイントラ予測モードのエントロピー符号化処理もHEVCと同様になっている。
Further, in the technology defined in
しかしながら、非特許文献2のように、符号化処理順(スキャン順)を選択可能とした場合であって、逆ZスキャンやNスキャンを選択したときであってもイントラ予測の精度が低下してしまう場合があるという問題点があった。
However, as in
例えば、図9に示すように、分割されたCUに対する符号化処理順に逆Zスキャンを選択した場合には、CU#3(左下のCU)→CU#4(右下のCU)→CU#1(左上のCU)→CU#2(右上のCU)という順でイントラ予測処理が行われる。
For example, as shown in FIG. 9, when the reverse Z scan is selected in the encoding processing order for the divided CU, CU # 3 (lower left CU) → CU # 4 (lower right CU) →
ここで、図9の例のように、各CUのイントラ予測モードが、左側や上側に隣接する参照画素を利用するようなイントラ予測モードである場合には、符号化処理が、逆Zスキャンで行われる。このため、CU#4(右下のCU)やCU#3(左下のCU)では、Zスキャンであれば参照可能な上側の参照画素が利用不可能となる。 Here, when the intra prediction mode of each CU is an intra prediction mode using reference pixels adjacent to the left side or the upper side as in the example of FIG. 9, the encoding process is performed by inverse Z scan. Done. For this reason, in CU # 4 (lower right CU) and CU # 3 (lower left CU), an upper reference pixel that can be referred to in the case of Z scan cannot be used.
つまり、図9の例のように、逆Zスキャンが選択された場合には、左側や上側に位置する参照画素を利用するイントラ予測モードが選択される可能性は低くなる。 That is, as in the example of FIG. 9, when the inverse Z scan is selected, the possibility of selecting an intra prediction mode using reference pixels located on the left side or the upper side is low.
上述したように、非特許文献2では、符号化処理順によって選択されるイントラ予測モードの確率に偏りがあるにもかかわらずイントラ予測モードを示すフラグのエントロピー符号化をHEVCと同様としており、上述したイントラ予測モードの確率の偏りについて考慮されていない。
As described above, in Non-Patent
また、非特許文献2では、全ての選択可能な符号化処理順において、各CUに対しどのようなイントラ予測モードを選択するかについて、符号化装置側で全ての組み合わせを試す必要があり、符号化装置側の計算時間が増大してしまうという問題点があった。
Further, in
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化装置によって伝送する情報量を低減し、符号化装置側の計算時間を低減しつつ、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problem, and reduces the amount of information transmitted by the encoding device and improves the encoding efficiency while reducing the calculation time on the encoding device side. An object of the present invention is to provide an encoding device, a decoding device, and a program.
本発明の第1の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、符号化対象ブロックの符号化処理順を決定するように構成されている符号化処理順決定部と、前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、前記イントラ予測モード候補の中から前記符号化対象ブロックに適用するイントラ予測モードを決定するように構成されているイントラ予測モード決定部と、決定された前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部と、前記符号化処理順及び前記イントラ予測モードに対して、エントロピー符号化処理を施すように構成されているエントロピー符号化部とを具備することを要旨とする。 A first feature of the present invention is an encoding apparatus configured to divide a frame-unit original image constituting a moving image into blocks and encode them, and to perform encoding processing sequence of encoding target blocks. An encoding processing order determining unit configured to determine the encoding processing block, a generating unit configured to generate an intra prediction mode candidate for the encoding target block based on the encoding processing order, and the intra Based on the intra prediction mode determination unit configured to determine the intra prediction mode to be applied to the encoding target block from among the prediction mode candidates, the determined encoding processing order, and the intra prediction mode, An intra prediction unit configured to perform an intra prediction process on the encoding target block, the encoding processing order, and the intra prediction mode; And, a gist that includes an entropy encoding unit is configured to perform entropy coding process.
本発明の第2の特徴は、動画像を構成するフレーム単位の画像を分割したブロックごとに復号するように構成されている復号装置であって、符号化装置から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化対象ブロックの符号化処理順を取得するように構成されている符号化処理順復号部と、前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、前記イントラ予測モード候補に基づいて、前記ストリームに対してエントロピー復号処理を施すことによって、前記符号化対象ブロックに適用するイントラ予測モードを取得するように構成されているイントラ予測モード復号部と、前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部とを具備することを要旨とする。 A second feature of the present invention is a decoding device configured to decode each block obtained by dividing a frame unit image constituting a moving image, and entropy is applied to a stream output from the encoding device. An encoding process order decoding unit configured to acquire the encoding process order of the encoding target block by performing a decoding process; and the intra prediction mode of the encoding target block based on the encoding process order An intra prediction mode to be applied to the encoding target block is obtained by performing entropy decoding processing on the stream based on the generation unit configured to generate a candidate and the intra prediction mode candidate. Based on the intra prediction mode decoding unit configured as described above, the encoding processing order and the intra prediction mode And gist by comprising an intra prediction unit is configured to perform the intra prediction process for the encoding target block.
本発明の第3の特徴は、コンピュータを、上述の第1の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。 The gist of a third feature of the present invention is a program for causing a computer to function as the encoding device described in the first feature.
本発明の第4の特徴は、コンピュータを、上述の第2の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。 The gist of the fourth feature of the present invention is that it is a program for causing a computer to function as the decoding device described in the second feature.
本発明によれば、符号化装置によって伝送する情報量を低減し、符号化装置側の計算時間を低減しつつ、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。 According to the present invention, there are provided an encoding device, a decoding device, and a program capable of improving the encoding efficiency while reducing the amount of information transmitted by the encoding device and reducing the calculation time on the encoding device side. be able to.
(第1の実施形態)
以下、図1〜図6を参照して、本発明の第1の実施形態に係る符号化装置1及び復号装置3について説明する。
(First embodiment)
Hereinafter, the
ここで、本実施形態に係る符号化装置1及び復号装置3は、HEVC等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置1及び復号装置3は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
Here, the
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を符号化対象CUに分割して符号化するように構成されている。以下、本実施形態では、動画像を構成するフレーム単位の原画像を階層的に四分木分割して符号化するケースを例に挙げて説明する。
The
図1に示すように、本実施形態に係る符号化装置1は、符号化処理順決定部11と、イントラ予測モード候補生成部12と、イントラ予測モード決定部13と、イントラ予測部14と、エントロピー符号化部15とを具備している。
As illustrated in FIG. 1, the
符号化処理順決定部11は、符号化対象CU(符号化対象ブロック)の符号化処理順(以下、スキャン順)を決定(選択)するように構成されている。 The encoding process order determination unit 11 is configured to determine (select) the encoding process order (hereinafter, scan order) of an encoding target CU (encoding target block).
具体的には、符号化処理順決定部11は、分割された各CUをどのような順序で符号化処理してくかについて決定するように構成されている。 Specifically, the encoding process order determination unit 11 is configured to determine in what order the divided CUs should be encoded.
図2に、符号化処理順決定部11によって選択可能なスキャン順の例を示す。図2(a)に示すスキャン順は、Zスキャン(左上のCU→右上のCU→左下のCU→右下のCU)と呼ばれ、図2(b)に示す符号化処理順は、逆Zスキャン(左下のCU→右下のCU→左上のCU→右上のCU)と呼ばれ、図2(b)に示すスキャン順は、Nスキャン(右上のCU→右下のCU→左上のCU→左下のCU)と呼ばれるものとする。 FIG. 2 shows an example of scan order that can be selected by the encoding process order determination unit 11. The scan order shown in FIG. 2A is called Z scan (upper left CU → upper right CU → lower left CU → lower right CU), and the encoding processing order shown in FIG. It is called a scan (lower left CU → lower right CU → upper left CU → upper right CU), and the scan order shown in FIG. 2B is N scan (upper right CU → lower right CU → upper left CU → It shall be called CU in the lower left.
本明細書では、以後、符号化処理順決定部11によってZスキャンや逆ZスキャンやNスキャンが選択可能である場合を例に挙げて説明するが、本発明は、図2に示すスキャン順の他、図3に示すスキャン順にも適用可能である。 In the present specification, hereinafter, a case where the Z scan, the reverse Z scan, and the N scan can be selected by the encoding process order determination unit 11 will be described as an example. In addition, the present invention can be applied to the scan order shown in FIG.
ここで、図3(a)に示すスキャン順が適用される場合には、Nスキャンと同様の処理が適用可能であり、図3(b)に示すスキャン順が適用される場合には、逆Zスキャンと同様の処理が適用可能である。 Here, when the scan order shown in FIG. 3A is applied, the same processing as N scan can be applied, and when the scan order shown in FIG. A process similar to the Z scan can be applied.
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定(選択)されたスキャン順に基づいて、符号化対象CUのイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
以下、HEVCで適用可能なイントラ予測モードを例に挙げて説明する。 Hereinafter, the intra prediction mode applicable to HEVC will be described as an example.
図4に示すように、35個のイントラ予測モードについて、参照する方向別に、A、B、Cにカテゴリ分けを行う。 As shown in FIG. 4, the 35 intra prediction modes are categorized into A, B, and C for each reference direction.
本実施形態では、HEVCのイントラ予測モードを例に説明するが、隣接する復号済み参照画素を用いてイントラ予測を行うどのような符号化処理に対しても適用可能である。 In the present embodiment, HEVC intra prediction mode will be described as an example, but the present invention can be applied to any encoding process that performs intra prediction using adjacent decoded reference pixels.
HEVCにおいて、モード2からモード10の計9個のイントラ予測モードについては、カテゴリAとし、モード11からモード25までの計15個のイントラ予測モードをカテゴリBとし、モード26からモード34の計9個のイントラ予測モードをカテゴリCとする。
In HEVC, a total of 9 intra prediction modes from
なお、HEVC以外の方式等において、適用可能なイントラ予測モードのうち方向予測を行うモードについて、上側に位置する参照画素を利用しないイントラ予測モード群をカテゴリAとし、左側に位置する参照画素を利用しないイントラ予測モード群をカテゴリCとし、上側及び左側に位置する参照画素のどちらも利用するイントラ予測モード群をカテゴリBとなるように設定する。 It should be noted that, in a method other than HEVC or the like, among the applicable intra prediction modes, a mode for performing direction prediction uses an intra prediction mode group that does not use upper reference pixels as category A and uses reference pixels located on the left side. The intra prediction mode group not to be used is set as category C, and the intra prediction mode group using both the upper and left reference pixels is set to be category B.
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順に基づいて、符号化対象CUのイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
例えば、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定されたスキャン順がZスキャンである場合には、HEVCのケースと同様に、A、B、Cの3個のカテゴリ、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とするように構成されている。
For example, when the scan order determined by the encoding process order determination unit 11 is a Z scan, the intra prediction mode
一方、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定された符号化処理の順序が逆Zスキャンである場合には、カテゴリAに属するイントラ予測モード、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とするように構成されている。
On the other hand, when the order of the encoding processes determined by the encoding process order determination unit 11 is an inverse Z scan, the intra prediction mode
さらに、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定されたスキャン順がNスキャンである場合には、カテゴリCに属するイントラ予測モード、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とするように構成されている。
Further, when the scan order determined by the encoding processing order determination unit 11 is N scan, the intra prediction mode
イントラ予測モード決定部13は、イントラ予測モード候補生成部12によって生成されたイントラ予測モード候補の中から符号化対象CUに適用するイントラ予測モードを決定するように構成されている。
The intra prediction
例えば、イントラ予測モード決定部13は、イントラ予測モード候補生成部12によって定められたカテゴリに所属するイントラ予測モードのうち、符号化装置1側での最適化等により各CUに適用するイントラ予測モードを決定するよう構成されている。
For example, the intra prediction
イントラ予測部14は、符号化処理順決定部11によって決定されたスキャン順及びイントラ予測モード決定部13によって決定されたイントラ予測モードに基づいて、符号化対象CUに対するイントラ予測処理を施すように構成されている。
The
具体的には、イントラ予測部14は、各CUに適用するイントラ予測モード及び各CUに隣接する復号済み参照画素の存在する位置に応じて、符号化対象CUに対するイントラ予測処理を施すよう構成されている。
Specifically, the
以下、図5を参照して、本実施形態に係るイントラ予測処理の一例について説明する。 Hereinafter, an example of the intra prediction process according to the present embodiment will be described with reference to FIG.
上述のように、イントラ予測モード候補生成部12は、符号化処理順決定部11で決定されスキャン順が逆Zスキャンである場合には、カテゴリAに属するイントラ予測モード、DCモード及びPlanarモードを、各CUに対して選択可能なイントラ予測モード候補とする。
As described above, the intra prediction mode
図5(a)及び図5(b)に示すように、イントラ予測部14は、CU#3(左下のCU)及びCU#4(右下のCU)については、従来のHEVCと同様にイントラ予測処理を行うように構成されている。HEVCでは、イントラ予測処理が行われる場合、復号画像を逐次生成することで、後続に符号化処理を行うCUにおけるイントラ予測処理において、かかる復号画像を再利用可能となるように構成されている。
As shown in FIG. 5A and FIG. 5B, the
そのため、図5(c)及び図5(d)に示すように、イントラ予測部14は、CU#1(左上のCU)及びCU#2(右上のCU)に対するイントラ予測を行う際には、下側に位置するCU(CU#3及びCU#4)が復号済みであるため、これらのCUの復号画像を参照画素として再利用可能である。
Therefore, as shown in FIGS. 5C and 5D, the
そこで、イントラ予測部14は、各CUのスキャン順が逆Zスキャンである場合には、下側のCUが既に復号済みのCUに対しては、通常のHEVCで行われるイントラ予測処理の代わりに、少なくとも下側及び左側に隣接する参照画素を用いてイントラ予測処理を行うように構成されている。
Therefore, when the scan order of each CU is a reverse Z scan, the
同様に、イントラ予測部14は、各CUのスキャン順がNスキャンである場合には、右側のCUが既に復号済みのCUに対しては、通常のHEVCで行われるイントラ予測処理の代わりに、少なくとも右側及び上側に隣接する参照画素を用いてイントラ予測処理を行うように構成されている。
Similarly, when the scanning order of each CU is N scans, the
エントロピー符号化部15は、符号化処理順決定部11によって決定されたスキャン順及びイントラ予測モード決定部13によって決定されたイントラ予測モードに対して、エントロピー符号化処理を施すように構成されている。
The
具体的には、図1に示すように、エントロピー符号化部15は、符号化処理順符号化部151と、イントラ予測モード符号化部152とを具備している。
Specifically, as illustrated in FIG. 1, the
符号化処理順符号化部151は、符号化処理順決定部11により決定されたスキャン順に対してエントロピー符号化処理を施すように構成されている。
The encoding process
イントラ予測モード符号化部152は、イントラ予測モード候補生成部12により生成されたイントラ予測モード候補及びイントラ予測モード決定部13により決定されたイントラ予測モードに基づいて、イントラ予測モードに対してエントロピー符号化処理を施すように構成されている。
The intra prediction mode encoding unit 152 generates an entropy code for the intra prediction mode based on the intra prediction mode candidate generated by the intra prediction mode
従来のHEVCでは、35個のイントラ予測モードのうち、より選択される確率の高いMPM(Most Probable Mode)に登録されている3個のイントラ予測モードを除いた32個のイントラ予測モードに対して、5ビットのフラグ情報をストリーム出力するよう構成されている。 In the conventional HEVC, among the 35 intra prediction modes, 32 intra prediction modes other than the three intra prediction modes registered in MPM (Most Probable Mode) having a higher probability of being selected are selected. It is configured to output 5-bit flag information as a stream.
一方、本実施形態では、イントラ予測モード符号化部152は、イントラ予測モード候補生成部12によってカテゴリAに属するイントラ予測モード、DCモード及びPlanarモードのみが選択可能であると判定された場合(すなわち、符号化対象CUに逆Zスキャンが適用されると判定された場合)、或いは、イントラ予測モード候補生成部12によってカテゴリCに属するイントラ予測モード、DCモード及びPlanarモードのみが選択可能であると判定された場合(すなわち、符号化対象CUにNスキャンが適用されると判定された場合)には、選択される可能性のあるイントラ予測モードは、計10個となることから、MPMに登録されている3個のイントラ予測モードを除いた7個のモードに対して、3ビットのフラグ情報をストリーム出力するように構成することができる。かかる構成によれば、イントラ予測モードの符号化に必要な情報量を削減することができ、符号化効率が向上する。
On the other hand, in the present embodiment, the intra prediction mode encoding unit 152 determines that only the intra prediction mode, the DC mode, and the Planar mode belonging to the category A can be selected by the intra prediction mode candidate generation unit 12 (that is, If it is determined that the inverse Z scan is applied to the encoding target CU), or only the intra prediction mode, the DC mode, and the Planar mode belonging to the category C can be selected by the intra prediction mode
上述の例では、固定長符号化した場合を例に3ビットと説明したが、可変長符号化やコンテキスト適応算術符号化(CABAC)等を用いてエントピー符号化を行う場合には、ストリーム出力されるビット数は3ビットとは限らない。 In the above example, the case of fixed-length encoding has been described as an example of 3 bits. However, when entropy encoding is performed using variable-length encoding, context adaptive arithmetic encoding (CABAC), or the like, a stream is output. The number of bits that are not necessarily 3 bits.
また、本実施形態に係る復号装置3は、動画像を構成するフレーム単位の画像を分割したCUごとに復号するように構成されている。ここで、本実施形態に係る復号装置3は、本実施形態に係る符号化装置1と同様に、動画像を構成するフレーム単位の画像を階層的に四分木分割することができるように構成されている。
In addition, the
図6に示すように、本実施形態に係る復号装置3は、エントロピー復号部31と、イントラ予測モード候補生成部32と、イントラ予測部33とを具備している。
As illustrated in FIG. 6, the
エントロピー復号部31は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化対象CUの符号化処理順を取得するように構成されている。
The
具体的には、エントロピー復号部31は、符号化処理順復号部311と、イントラ予測モード復号部312とを具備している。
Specifically, the
符号化処理順復号部311は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、各CUに対するスキャン順を示すフラグ情報を取得するように構成されている。
The encoding processing
イントラ予測モード候補生成部32は、符号化処理順復号部311によって復号されたフラグ情報によって示されているスキャン順に基づいて、符号化対象CUのイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
具体的には、イントラ予測モード候補生成部32は、符号化装置1を構成するイントラ予測モード候補生成部12と同様に、各CUに適用するスキャン順に基づいて、図4に示すカテゴリA、B、C、DCモード、Planarモードのうち、各CUに適用可能なイントラ予測モード候補を生成するよう構成されている。
Specifically, the intra-prediction mode
イントラ予測モード復号部312は、イントラ予測モード候補生成部32によって生成されたイントラ予測モード候補に基づいて、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、各CUに適用するイントラ予測モードを取得するよう構成されている。
The intra prediction
イントラ予測部33は、符号化処理順復号部311によって取得されたスキャン順及びイントラ予測モード復号部312によって取得されたイントラ予測モードに基づいて、符号化対象CUに対するイントラ予測処理を施すように構成されている。
The
具体的には、イントラ予測部33は、符号化装置1を構成するイントラ予測部14と同様に、各CUに適用するイントラ予測モード及び各CUに隣接する復号済み参照画素の存在する位置に応じて、イントラ予測処理を施すよう構成されている。
Specifically, the
本実施形態に係る符号化装置1及び復号装置3によれば、符号化装置1によってスキャン順を制御することにより、イントラ予測効率を向上させることができ、また、適用するスキャン順に基づいて伝送するイントラ予測モードの情報量を低減することができ、符号化効率を向上させることができる。
According to the
(第2の実施形態)
以下、図7を参照して、本発明の第2の実施形態に係る符号化装置1及び復号装置3について、上述の第1の実施形態に係る符号化装置1及び復号装置3との相違点に着目して説明する。
(Second Embodiment)
Hereinafter, with reference to FIG. 7, the
本実施形態に係る符号化装置1は、動画像を構成するフレーム単位の原画像を階層的な二分木分割によりCUに分割して符号化するように構成されている。
The
上述の第1の実施形態では、四分木分割によって分割されているCUに対するスキャン順の決定、イントラ予測モード候補の生成、イントラ予測モード及びスキャン順に対するエントロピー符号化処理について記載したが、本実施形態では、CUに対して二分木分割を適用した場合について記載する。 In the first embodiment described above, determination of scan order for CUs divided by quadtree partitioning, generation of intra prediction mode candidates, and entropy coding processing for intra prediction mode and scan order have been described. In the form, a case where binary tree division is applied to a CU will be described.
CUに対して二分木分割を適用する場合には、縦長の2つのCUに分割する場合と、横長の2つのCUに分割する場合の2種類の分割方法からさらに選択可能である。 When binary tree division is applied to a CU, it is possible to further select from two types of division methods: division into two vertically long CUs and division into two horizontally long CUs.
さらに、縦長の2つのCUに分割する場合には、図7(a)に示すCU#1(左側のCU)→CU#2(右側のCU)の左右順スキャンと、図7(b)に示すCU#2(右側のCU)→CU#1(左側のCU)の左右逆スキャンの2種類のスキャン順が選択可能である。 Furthermore, in the case of dividing into two vertically long CUs, a left-right sequential scan of CU # 1 (left CU) → CU # 2 (right CU) shown in FIG. 7A and FIG. It is possible to select two types of scan order: left-right reverse scan of CU # 2 (right CU) → CU # 1 (left CU).
一方、横長の2つのCUに分割する場合には、図7(c)に示すCU#1(上側のCU)→CU#2(下側のCU)の上下順スキャンと、図7(d)に示すCU#2(下側のCU)→CU#1(上側のCU)の上下逆スキャンの2種類のスキャン順が選択可能である。 On the other hand, in the case of dividing into two horizontally long CUs, a vertical order scan of CU # 1 (upper CU) → CU # 2 (lower CU) shown in FIG. 7C, and FIG. Can be selected from two types of scan order: CU # 2 (lower CU) → CU # 1 (upper CU).
符号化処理順決定部11は、CUを縦長の2つのCUに分割する場合には、左右順スキャン及び左右逆スキャンのうちのどちらの符号化処理を適用するかについて決定するように構成されている。 The encoding process order determination unit 11 is configured to determine which encoding process to apply, that is, a left-right forward scan or a left-right reverse scan, when dividing a CU into two vertically long CUs. Yes.
一方、符号化処理順決定部11は、CUを横長の2つのCUに分割する場合には、上下順スキャン及び上下逆スキャンのうちのどちらのスキャン順を適用するかについて決定するように構成されている。 On the other hand, the encoding process order determination unit 11 is configured to determine which scan order to apply, that is, a vertical scan or a reverse scan, when dividing a CU into two horizontally long CUs. ing.
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順に基づいて、各CUに適用可能なイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
以下、本実施形態に係るイントラ予測処理について説明する。 Hereinafter, the intra prediction process according to the present embodiment will be described.
イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順が左右順スキャン及び上下順スキャンである場合には、A、B、Cの3つのカテゴリ、DCモード及びPlanarモードを、各CUの選択可能なイントラ予測モード候補とするように構成されている(すなわち、HEVCでのイントラ予測モードの候補と同様)。
When the scan order determined by the encoding processing order determination unit 11 is the left-right order scan and the up-down order scan, the intra prediction mode
一方、イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順が左右逆スキャンである場合には、カテゴリCに属するイントラ予測モード、DCモード及びPlanarモードを、各CUの選択可能なイントラ予測モード候補とするように構成されている。
On the other hand, when the scan order determined by the encoding process order determination unit 11 is the left-right reverse scan, the intra prediction mode
さらに、イントラ予測モード候補生成部12は、符号化処理順決定部11によって決定されたスキャン順が上下逆スキャン順である場合には、カテゴリAに属するイントラ予測モード、DCモード及びPlanarモードを、各CUの選択可能なイントラ予測モード候補とするように構成されている。
Furthermore, when the scan order determined by the encoding process order determination unit 11 is the upside down scan order, the intra prediction mode
なお、上述の第1の実施形態では、階層的な四分木分割の場合について説明し、本実施形態では、階層的な二分木分割の場合について説明したが、これらのどちらも選択可能な階層分割可能な符号化方式に対しても各CUが四分木分割及び二分木分割のどちらの分割を選択したかに応じて切り替えることで適用可能である。 In the first embodiment, the case of hierarchical quadtree partitioning has been described. In the present embodiment, the case of hierarchical binary tree partitioning has been described. The present invention can also be applied to an encoding method that can be divided by switching according to whether each CU selects a quadtree partition or a binary tree partition.
すなわち、符号化対象CUは、原画像に対して四分木分割及び二分木分割の少なくとも一方を階層的に適用することによって得られるように構成されていてもよい。 That is, the encoding target CU may be configured to be obtained by hierarchically applying at least one of quadtree division and binary tree division to the original image.
(その他の実施形態)
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As described above, the present invention has been described by using the above-described embodiment. However, it should not be understood that the description and drawings constituting a part of the disclosure in the embodiment limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
また、上述の実施形態では特に触れていないが、上述の符号化装置1及び復号装置3によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
Further, although not particularly mentioned in the above-described embodiment, a program for causing a computer to execute each process performed by the above-described
或いは、上述の符号化装置1及び復号装置3内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
Alternatively, a chip configured by a memory that stores a program for realizing at least a part of the functions in the
1…符号化装置
11…符号化処理順決定部
12…イントラ予測モード候補生成部
13…イントラ予測モード決定部
14…イントラ予測部
15…エントロピー符号化部
151…符号化処理順符号化部
152…イントラ予測モード符号化部
3…復号装置
31…エントロピー復号部
311…符号化処理順復号部
312…イントラ予測モード復号部
32…イントラ予測モード候補生成部
33…イントラ予測部
DESCRIPTION OF
Claims (6)
符号化対象ブロックの符号化処理順を決定するように構成されている符号化処理順決定部と、
前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、
前記イントラ予測モード候補の中から前記符号化対象ブロックに適用するイントラ予測モードを決定するように構成されているイントラ予測モード決定部と、
決定された前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部と、
前記符号化処理順及び前記イントラ予測モードに対して、エントロピー符号化処理を施すように構成されているエントロピー符号化部とを具備することを特徴とする符号化装置。 An encoding device configured to divide and encode an original image of a frame unit constituting a moving image into blocks,
An encoding processing order determination unit configured to determine the encoding processing order of the encoding target block;
A generating unit configured to generate an intra prediction mode candidate of the encoding target block based on the encoding processing order;
An intra prediction mode determination unit configured to determine an intra prediction mode to be applied to the encoding target block from among the intra prediction mode candidates;
An intra prediction unit configured to perform an intra prediction process on the encoding target block based on the determined encoding processing order and the intra prediction mode;
An encoding apparatus comprising: an entropy encoding unit configured to perform entropy encoding processing on the encoding processing order and the intra prediction mode.
符号化装置から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化対象ブロックの符号化処理順を取得するように構成されている符号化処理順復号部と、
前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、
前記イントラ予測モード候補に基づいて、前記ストリームに対してエントロピー復号処理を施すことによって、前記符号化対象ブロックに適用するイントラ予測モードを取得するように構成されているイントラ予測モード復号部と、
前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部とを具備することを特徴とする復号装置。 A decoding device configured to decode each block obtained by dividing a frame-unit image constituting a moving image,
An encoding processing order decoding unit configured to obtain an encoding processing order of a block to be encoded by performing entropy decoding processing on the stream output from the encoding device;
A generating unit configured to generate an intra prediction mode candidate of the encoding target block based on the encoding processing order;
An intra prediction mode decoding unit configured to acquire an intra prediction mode to be applied to the encoding target block by performing an entropy decoding process on the stream based on the intra prediction mode candidates;
A decoding apparatus comprising: an intra prediction unit configured to perform an intra prediction process on the encoding target block based on the encoding processing order and the intra prediction mode.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177136 | 2017-09-14 | ||
JP2017177136 | 2017-09-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019054517A true JP2019054517A (en) | 2019-04-04 |
JP7194539B2 JP7194539B2 (en) | 2022-12-22 |
Family
ID=66015426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018171407A Active JP7194539B2 (en) | 2017-09-14 | 2018-09-13 | Encoding device, decoding device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7194539B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020040124A1 (en) * | 2018-08-20 | 2020-02-27 | 日本放送協会 | Encoding device, decoding device, and program |
US11876084B2 (en) | 2020-01-08 | 2024-01-16 | Delta Electronics (Shanghai) Co., Ltd. | Power supply system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004253826A (en) * | 2002-10-03 | 2004-09-09 | Matsushita Electric Ind Co Ltd | Adaptive macroblock scanning method for video and image compression |
WO2008012918A1 (en) * | 2006-07-28 | 2008-01-31 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
WO2008084817A1 (en) * | 2007-01-09 | 2008-07-17 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and device |
WO2017131233A1 (en) * | 2016-01-28 | 2017-08-03 | 日本放送協会 | Encoding device, decoding device, and program |
-
2018
- 2018-09-13 JP JP2018171407A patent/JP7194539B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004253826A (en) * | 2002-10-03 | 2004-09-09 | Matsushita Electric Ind Co Ltd | Adaptive macroblock scanning method for video and image compression |
WO2008012918A1 (en) * | 2006-07-28 | 2008-01-31 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
WO2008084817A1 (en) * | 2007-01-09 | 2008-07-17 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and device |
WO2017131233A1 (en) * | 2016-01-28 | 2017-08-03 | 日本放送協会 | Encoding device, decoding device, and program |
Non-Patent Citations (1)
Title |
---|
HAN HUANG ET AL.: "EE2.1: Quadtree plus binary tree structure integration with JEM tools", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-C0024_r1, JPN6018020438, May 2016 (2016-05-01), pages 1 - 5, ISSN: 0004844959 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020040124A1 (en) * | 2018-08-20 | 2020-02-27 | 日本放送協会 | Encoding device, decoding device, and program |
JPWO2020040124A1 (en) * | 2018-08-20 | 2021-08-26 | 日本放送協会 | Coding device, decoding device and program |
US11546585B2 (en) | 2018-08-20 | 2023-01-03 | Nippon Hoso Kyokai | Encoding device, decoding device, and program |
JP7410033B2 (en) | 2018-08-20 | 2024-01-09 | 日本放送協会 | Encoding device, decoding device and program |
US11876084B2 (en) | 2020-01-08 | 2024-01-16 | Delta Electronics (Shanghai) Co., Ltd. | Power supply system |
Also Published As
Publication number | Publication date |
---|---|
JP7194539B2 (en) | 2022-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6995952B2 (en) | Inter-prediction method and its device | |
JP6378433B2 (en) | AMVP and merge candidate list derivation for intra BC and inter prediction integration | |
US10785477B2 (en) | Method for processing video on basis of inter prediction mode and apparatus therefor | |
TWI634783B (en) | Methods and apparatuses of candidate set determination for binary-tree splitting blocks | |
JP2020022171A (en) | Intra-prediction method and encoder and decoder using the same | |
US11729411B2 (en) | Inter prediction mode-based image processing method and apparatus therefor | |
KR102412934B1 (en) | Method for intra prediction and apparatus thereof | |
US10178405B2 (en) | Enhanced coding and decoding using intra block copy mode | |
US20150350674A1 (en) | Method and apparatus for block encoding in video coding and decoding | |
US20180376150A1 (en) | Encoding device, decoding device, and program | |
JP2017535150A (en) | Method and apparatus for vector coding in video coding and decoding | |
KR20130085977A (en) | Multiple sign bit hiding within a transform unit | |
JP7246449B2 (en) | Encoding device, decoding device and program | |
BR112021002335A2 (en) | Image decoding method based on affine motion prediction and device using affine fusion candidate list in image encoding system | |
US20200336747A1 (en) | Inter prediction mode-based image processing method and device therefor | |
KR20130004181A (en) | Method and apparatus for encoding and decoding motion information using skip mode | |
JP7194539B2 (en) | Encoding device, decoding device and program | |
JP7093152B2 (en) | Encoding device, decoding device and program | |
JP7410033B2 (en) | Encoding device, decoding device and program | |
JP2021193797A (en) | Determination device, coding device, decoding device, and program | |
JP6887296B2 (en) | Coding device, decoding device and program | |
US10805611B2 (en) | Method and apparatus of constrained sequence header | |
JP2017212555A (en) | Encoder, decoder and program | |
JP2021090221A (en) | Encoder, decoder and program | |
JP2018121317A (en) | Encoder, decoder and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200529 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20200612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7194539 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |