[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5719401B2 - ブロックサイズ決定方法、映像符号化装置、及びプログラム - Google Patents

ブロックサイズ決定方法、映像符号化装置、及びプログラム Download PDF

Info

Publication number
JP5719401B2
JP5719401B2 JP2013077258A JP2013077258A JP5719401B2 JP 5719401 B2 JP5719401 B2 JP 5719401B2 JP 2013077258 A JP2013077258 A JP 2013077258A JP 2013077258 A JP2013077258 A JP 2013077258A JP 5719401 B2 JP5719401 B2 JP 5719401B2
Authority
JP
Japan
Prior art keywords
block
block size
target block
target
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013077258A
Other languages
English (en)
Other versions
JP2014204207A (ja
Inventor
忍 工藤
忍 工藤
正樹 北原
正樹 北原
真由子 渡邊
真由子 渡邊
藤井 寛
寛 藤井
清水 淳
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013077258A priority Critical patent/JP5719401B2/ja
Priority to US14/781,255 priority patent/US10327003B2/en
Priority to EP23196969.2A priority patent/EP4270951A3/en
Priority to EP14779132.1A priority patent/EP2963925A4/en
Priority to PCT/JP2014/057372 priority patent/WO2014162871A1/ja
Publication of JP2014204207A publication Critical patent/JP2014204207A/ja
Application granted granted Critical
Publication of JP5719401B2 publication Critical patent/JP5719401B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ブロックサイズ決定方法、映像符号化装置、及びプログラムに関する。
動画像データを符号化するための技術として、MPEG−4やH.264/AVC(以下、H.264という。)という符号化方式が知られている。近年では、次世代規格としてHEVC(High Efficiency Video Coding)という符号化方式の標準化作業が進められており、従来のH.264よりも多くの演算量が要求されるが、より高い符号化効率を実現することが知られている。この符号化方式では画面内のブロック構造が従来のH.264等よりも自由度の高い階層構造となり、ブロックのサイズ候補数が増えた。以下にHEVC参照ソフトウェアのブロック構造の決定処理手順を述べる。
HEVC参照ソフトウェアでは符号化対象の画像領域を64pixel×64pixel(以降、64×64という。)の大きさの階層型ブロック構造を有するLCU(Largest Coding Unit:最大符号化単位)と呼ばれる正方形のブロック単位に分け、LCUごとに符号化を行う。符号化において、LCUを再帰的に4等分割することを最大で3回まで繰り返して、より小さい領域を符号化対象とすることができる。LCUが64×64である場合、64×64の領域は、領域に対する4分割を再帰的に行って得られる四分木構造の32×32、16×16、8×8の4階層の領域に分割することができる。LCUを分割したブロックはCU(Coding Unit:符号化単位又はコーディング・ユニット)と呼ばれ、LCUは異なるブロックサイズのCU又は同じブロックサイズのCUの組み合わせで構成することができる。
図15は、LCUを複数のCUの組み合わせで構成する一例を示す図である。同図に示す例では、2つの32×32のCUと、7つの16×16のCUと、4つの8×8のCUとの組み合わせでLCUを構成している。動画像データを符号化する際には、LCUを構成するそれぞれのCUを更に分割したPU(Prediction Unit:予測単位)ごとにイントラ予測或いはインター予測を行い、予測モードを決定できる。ブロック分割予測モードの決定には、一般に、次式(1)で表されるRDコストと呼ばれる評価値が用いられる。
(評価値)=D+λR ・・・(1)
式(1)において、Dはある予測モードでの復元信号と原信号との誤差であり、Rは情報量であり、λはラグランジアンパラメータである。式(1)で算出される評価値が最小となる予測モードとCUの組み合わせが、最終的な符号化におけるLCUのブロック構造として決定される。LCUのブロック構成決定処理を最適化しないで行う場合、LCU内のCUの組み合わせ1つ1つに対して予測モードの決定を行うことになる。この場合、LCUのブロック構造を決定する処理における演算が増加するため、当該処理の負荷が符号化処理全体において大幅に増加して大きな負担になってしまう。よって、符号化効率の低下を抑えつつ、LCUのブロック構造を決定する処理に要する負荷を抑えることは、符号化処理全体の演算量を削減するという観点から重要性は高く、そのような手法が望まれていた。
これに対して、LCUのブロック構造を決定する際に、選択の対象とするブロックサイズの候補を制限することにより、負荷を軽減させる方法が提案されている(例えば、非特許文献1)。例えば、LCUのブロック構造を決定する際に、隣接するブロック(PU)の最小ブロックサイズより1階層小さいブロックサイズから、隣接するブロックの最大ブロックサイズより1階層大きいブロックサイズまでを候補にする方法がある。
図16は、隣接ブロックにおけるブロック構造に基づいて、符号化対象ブロックにおけるブロック構造を定める一例を示す図である。図16(A)には、隣接ブロックのブロック構造が3つの32×32のブロックと、3つの16×16のブロックと、4つの8×8のブロックとからなる場合が示されている。この場合、符号化対象ブロックのブロック構造を決定する際のブロックサイズの候補は、同図に示すように、64×64から8×8までになる。図16(B)には、隣接ブロックのブロック構造が4つの32×32のブロックからなる場合が示されている。この場合、符号化対象ブロックのブロック構造を決定する際のブロックサイズの候補は、同図に示すように、64×64から16×16までになる。
Adaptive CU Depth Range, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, document JCTVC-E090, 5th Meeting. Geneva, Switzerland, pp.16-23, April 2011
しかしながら、前述の方法では、符号化対象映像が画面全体にわたって複雑で動きの激しい映像やテクスチャの細かい領域で示されている映像において、様々なブロックサイズが混在し、隣接するブロックのブロックサイズが複数存在する場合には、結果的に全階層分(すべてのブロックサイズ)の評価値を算出することになってしまう。すなわち、前述の方法を用いて、ブロック構造を決定する際のブロックサイズの候補に対して制限を加えたとしても、全探索とほぼ変わらない演算を行うことになり、演算量や負荷の軽減できないことがあるという問題がある。
上記事情に鑑み、本発明は、符号化効率の低下を抑えつつ、符号化対象の領域におけるブロック構造を決定する際の演算量を削減することができるブロックサイズ決定方法、映像符号化装置、及びプログラムを提供することを目的としている。
本発明の一態様は、映像符号化において画像領域を分割した符号化対象ブロックに対して符号化対象ブロック内の領域を構成するブロックのサイズを決定するブロックサイズ決定方法であって、前記符号化対象ブロックを再帰的に分割して得られる各ブロックを予め定められた順序で対象ブロックに選択するステップと、選択された対象ブロックごとに隣接するブロックにおいて最小のブロックサイズを取得するステップと、取得したブロックサイズ、前記取得したブロックサイズより1階層大きいブロックサイズ、又は前記取得したブロックサイズより1階層小さいブロックサイズのいずれかと、前記対象ブロックのブロックサイズとが一致する場合に前記対象ブロックの評価値を算出するステップと、前記符号化対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定するステップとを有することを特徴とするブロックサイズ決定方法である。
また、本発明の一態様は、上記に記載の発明において、前記順序は、前記符号化対象ブロックにおいて最大のブロックサイズから始まる順序であり、前記対象ブロックを分割したブロックそれぞれの評価値を算出し、算出した評価値の総和を算出するステップと、前記対象ブロックの評価値が前記総和より小さい場合、前記対象ブロックを分割して得られるブロックを評価値の算出対象から除外するステップとを更に有することを特徴とする。
また、本発明の一態様は、上記に記載の発明において、前記順序は、前記符号化対象ブロックにおいて最小のブロックサイズから始まる順序であり、前記対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定するステップと、決定した前記対象ブロック内のブロックの組み合わせが前記対象ブロックを分割する複数のブロックの組み合わせである場合、前記対象ブロックを含むブロックであって前記対象ブロックより上位のブロックを評価値の算出対象から除外するステップとを更に有することを特徴とする。
また、本発明の一態様は、上記に記載の発明において、前記対象ブロックに隣接するブロックにおける最小のブロックサイズが所定ブロックサイズ以上である場合、前記対象ブロックを分割したブロックそれぞれの評価値を算出し、算出した評価値の総和を算出し、前記対象ブロックの評価値が前記総和より小さいとき、前記対象ブロックを分割して得られるブロックを評価値の算出対象から除外し、前記対象ブロックに隣接するブロックにおける最小のブロックサイズが前記所定ブロックサイズ以上でない場合、前記対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定し、決定した前記対象ブロック内のブロックの組み合わせが前記対象ブロックを分割する複数のブロックの組み合わせであるとき、前記対象ブロックを含むブロックであって前記対象ブロックより上位のブロックを評価値の算出対象から除外するステップを更に有し、前記順序は、前記対象ブロックに隣接するブロックにおける最小のブロックサイズが所定ブロックサイズ以上である場合、前記符号化対象ブロックにおいて最大のブロックサイズから始まる第1の順序であり前記対象ブロックに隣接するブロックにおける最小のブロックサイズが前記所定ブロックサイズ以上でない場合、前記符号化対象ブロックにおいて最小のブロックサイズから始まる第2の順序であることを特徴とする。
また、本発明の一態様は、上記に記載の発明において、前記符号化対象ブロックのピクチャタイプがインターである場合、前記対象ブロックを分割したブロックそれぞれの評価値を算出し、算出した評価値の総和を算出し、前記対象ブロックの評価値が前記総和より小さいとき、前記対象ブロックを分割して得られるブロックを評価値の算出対象から除外し、前記符号化対象ブロックのピクチャタイプがインターでない場合、前記対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定し、決定した前記対象ブロック内のブロックの組み合わせが前記対象ブロックを分割する複数のブロックの組み合わせであるとき、前記対象ブロックを含むブロックであって前記対象ブロックより上位のブロックを評価値の算出対象から除外するステップを更に有し、前記順序は、前記符号化対象ブロックのピクチャタイプがインターである場合、前記符号化対象ブロックにおいて最大のブロックサイズから始まる第1の順序であり前記符号化対象ブロックのピクチャタイプがインターでない場合、前記符号化対象ブロックにおいて最小のブロックサイズから始まる第2の順序である。
また、本発明の一態様は、映像符号化において画像領域を分割した符号化対象ブロックに対して符号化対象ブロック内の領域を構成するブロックのサイズを決定する映像符号化装置であって、前記符号化対象ブロックを再帰的に分割して得られる各ブロックを予め定められた順序で対象ブロックに選択するブロック選択手段と、選択された対象ブロックごとに隣接するブロックにおいて最小のブロックサイズを取得するブロックサイズ取得手段と、取得したブロックサイズ、前記取得したブロックサイズより1階層大きいブロックサイズ、又は前記取得したブロックサイズより1階層小さいブロックサイズのいずれかと、前記対象ブロックのブロックサイズとが一致する場合に前記対象ブロックの評価値を算出する評価値算出手段と前記符号化対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定するブロック構成決定手段とを備えることを特徴とする映像符号化装置である。
また、本発明の一態様は、上記発明のブロックサイズ決定方法をコンピュータに実行させるためのプログラムである。
本発明によれば、評価値を算出するブロックを、対象ブロックに隣接するブロックにおける最小のブロックサイズに基づいて選択することにより、評価値を算出する対象のブロック数を削減することができる。このとき、隣接するブロックのサイズに応じて評価値を算出する対象のブロックを選択しているので、符号化効率の低下を抑えつつ符号化対象の領域におけるブロック構造を決定する際の演算量を削減することができる。
第1の実施形態における映像符号化装置100の構成を示すブロック図である。 同実施形態におけるLCU内の各ブロックに対する処理の優先度(順序)を示す図である。 同実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。 比較例におけるブロックサイズ決定処理を示すフローチャートである。 第2の実施形態におけるLCU内の各ブロックに対する処理の優先度(順序)を示す図である。 同実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。 第3実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。 第4の実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理の第1のフローチャートである。 同実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理の第2のフローチャートである。 第5の実施形態における映像符号化装置200の構成を示すブロック図である。 同実施形態におけるブロックサイズ決定処理切替部211が行う選択処理を示すフローチャートである。 第6の実施形態におけるブロックサイズ決定処理切替部211が行う選択処理を示すフローチャートである。 各実施形態におけるブロックサイズ決定処理の効果を説明する図である。 第3及び第4の実施形態におけるブロックサイズ決定処理の効果を説明する図である。 LCUを複数のCUの組み合わせで構成する一例を示す図である。 隣接ブロックにおけるブロック構造に基づいて、符号化対象ブロックにおけるブロック構造を定める一例を示す図である。
以下、図面を参照して、本発明の実施形態におけるブロックサイズ決定方法、映像符号化装置、及びプログラムを説明する。なお、HEVCを例に説明するが、HEVC以外の映像符号化に適用してもよい。つまり、符号化対象の映像又は画像の領域をHEVCのように階層型ブロック構造に基づいて分割する符号化方式全般に適用することができる。
ここで、各実施形態における処理の概要を述べる。符号化対象ブロックであるLCUに含まれる各対象ブロックであるCUに対して順次以下の処理を行う。対象ブロックに隣接するブロック(以下、隣接ブロックという。)において最小のブロックサイズを取得する。対象ブロックにおいて評価値を算出するブロックサイズを、取得した隣接ブロックにおける最小のブロックサイズと同じ、当該最小のブロックサイズより1階層大きいブロックサイズ、又は、当該最小のブロックサイズより1階層小さいブロックサイズの最大3つのブロックサイズに制限する。なお、ここではHEVCに適用することを前提にしているので、ブロックサイズは64×64、32×32、16×16、8×8のうち最大で3つのブロックサイズが選択されることになる。隣接ブロックにおける最小ブロックサイズに基づいて選択されるブロックサイズを初期候補とする。
初期候補の中から1階層又は2階層分の評価値を算出及び比較を行い、比較結果に応じて評価値を算出するブロックサイズの候補を更に制限する。また、隣接ブロックや対象ブロックの属性などに応じて、ブロックサイズの候補制限する方法を切り替えて適用する。なお、隣接ブロックは、符号化対象ブロック(以下、対象ブロックともいう。)の上側に隣接するブロックや、左側に隣接するブロック、或いは隣接する周辺の複数のブロックのいずれか又は全てを意味する。なお、隣接ブロックとするブロックを適宜切り替えるようにしてもよい。
<第1の実施形態>
図1は、第1の実施形態における映像符号化装置100の構成を示すブロック図である。映像符号化装置100は、ピクチャ(符号化対象の映像)を示す映像信号を入力し、入力した映像信号の各フレームの画像領域を複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化データとして出力する。なお、映像とは、静止画像、動画像を含むものである。
映像符号化装置100は、イントラ予測部101、インター予測部102、イントラ/インター切替スイッチ103、予測残差信号生成部104、直交変換/量子化部105、逆量子化/逆直交変換部106、復元信号生成部107、ループフィルタ部108、復号ピクチャメモリ109、ブロックサイズ決定部110、及び、可変長符号化部111を備えている。
イントラ予測部101は、復元信号生成部107から復元信号を入力し、入力した復元信号から予測信号を生成する。復元信号は、符号化対象ブロックに対するピクチャを符号化した後に復号して得られたピクチャを示す信号である。
インター予測部102は、復号ピクチャメモリに記憶されているピクチャを読み出し、読み出したピクチャから予測信号を生成する。
イントラ/インター切替スイッチ103は、ブロックサイズ決定部110の制御に基づいて、イントラ予測部101が生成する予測信号と、インター予測部102が生成する予測信号とのいずれかの予測信号を選択する。イントラ/インター切替スイッチ103は、選択した予測信号を予測残差信号生成部104に出力する。
予測残差信号生成部104は、映像符号化装置100に入力される映像信号からイントラ/インター切替スイッチ103から出力される予測信号を減じる演算を行い、予測ピクチャの差分である予測残差信号を算出する。予測残差信号生成部104は、入力されるピクチャの符号化対象ブロックLCUに対してPU単位で予測残差信号を算出する。予測残差信号生成部104は、算出した予測残差信号を直交変換/量子化部105に出力する。
直交変換/量子化部105は、予測残差信号生成部104から出力される予測残差信号、すなわち各PUにおける差分に対して直交変換と量子化とを施して得られた信号を、逆量子化/逆直交変換部106と可変長符号化部111とに出力する。
逆量子化/逆直交変換部106は、直交変換/量子化部105から出力される信号に対して逆量子化と逆直交変換とを施すことにより、誤差を含む予測残差信号に逆変換する。逆量子化/逆直交変換部106は逆変換により得られた予測残差信号を復元信号生成部107に出力する。
復元信号生成部107は、逆量子化/逆直交変換部106が出力する予測残差信号と、イントラ/インター切替スイッチ103が選択した予測信号とを加算することにより、符号化対象ブロックに対応する復元信号を算出する。復元信号生成部107は、算出した復元信号をイントラ予測部101とループフィルタ部108とに出力する。
ループフィルタ部108は、復元信号生成部107が出力する復元信号、すなわち符号化対象ブロックの復元されたピクチャが1画面分入力されると、当該ピクチャに対してループフィルタを施す。ループフィルタ部108は、ループフィルタを施して得られたピクチャを復号ピクチャメモリ109に出力して記憶させる。復号ピクチャメモリ109には、ループフィルタ部108から出力されるピクチャが記憶される。
ブロックサイズ決定部110は、イントラ予測部101が生成する予測信号、インター予測部102が生成する予測信号、予測残差信号生成部104が出力する予測残差信号、直交変換/量子化部105が出力する信号、及び、可変長符号化部111から入力される符号化データに基づいて、符号化対象ブロックのブロック構造を決定する。また、ブロックサイズ決定部110は、決定したブロック構造に基づいて、イントラ/インター切替スイッチ103をブロックごとに制御して、イントラ予測部101が生成する予測信号と、インター予測部102が生成する予測信号とのいずれかの予測信号を予測残差信号生成部104に出力させる。ブロックサイズ決定部110は、符号化対象ブロックの予測モードに応じて、いずれの予測信号を選択させるかを決定する。
ブロックサイズ決定部110がイントラ/インター切替スイッチ103を制御することにより、決定したブロック構造が直交変換/量子化部105、逆量子化/逆直交変換部106、復元信号生成部107等を経由して後のブロック及びピクチャの予測に反映される。
可変長符号化部111は、直交変換/量子化部105から出力される信号を符号化データに変換して外部に出力する。
以下、本実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理について説明する。図2は、本実施形態におけるLCU内の各ブロックに対する処理の優先度(順序)を示す図である。同図において、各ブロックに付されている数字は、各ブロックが処理対象となる優先度を表している。本実施形態では、LCU内の最も大きいブロック(64×64のブロック)に対する処理を最初に行い、LCUに対して4分割を再帰的に行って得られる四分木構造に沿って各ブロックに対する処理を順に行う。四分木構造に沿って順に処理するとは、四分木の各ノードをブロックに対応させたときに四分木の各ノードを探索する順で処理するという意味である。図2に示す処理順序は、探索アルゴリズムにおける「行きがけ順」に対応する。また、ブロックサイズ決定処理では、四分木構造に沿って処理を行うため、同一階層におけるブロックでは処理の順序はZスキャン順になる。なお、Zスキャン順は分割されたブロック内においてはラスタースキャン順である。ブロックが4分割される場合おいては処理の順序が「Z」字状に行われる。
図3は、本実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。本実施形態では、LCUにおいて最大のブロックサイズの64×64のブロックを最初の対象ブロックに設定した上で、ブロックサイズ決定処理が開始される。ブロックサイズ決定部110は、ブロックサイズ決定処理が開始されると、対象ブロックについて処理が終了したか否かを判定する(ステップS101)。
対象ブロックについて処理が終了していない場合(ステップS101:NO)、ブロックサイズ決定部110は、対象ブロックに対して隣接ブロックが存在するか否かを判定する(ステップS102)。
隣接ブロックが存在しない場合(ステップS102:NO)、ブロックサイズ決定部110は処理をステップS106に進める。
隣接ブロックが存在する場合(ステップS102:YES)、ブロックサイズ決定部110は、対象ブロックに隣接するブロックのうちブロックのサイズが最小のブロックを検出し、検出したブロックのブロックサイズを取得する(ステップS103)。
ブロックサイズ決定部110は、対象ブロックのブロックサイズと、ステップS103において取得したブロックサイズとの関係が次の条件1を満たすか否かを判定する(ステップS104)。
[条件1]:対象ブロックのブロックサイズが、ステップS103において取得したブロックサイズ、取得したブロックサイズより1階層大きいブロックサイズ、又は、取得したブロックサイズより1階層小さいブロックサイズを含む初期候補のいずれかと一致する。
ブロックサイズ決定部110は、判定の結果が条件1を満たしたか否かを判定し(ステップS105)、条件1が満たされていない場合(ステップS105:NO)、処理をステップS107に進め、条件1が満たされている場合(ステップS105:YES)、対象ブロックの評価値を算出する(ステップS106)。
ブロックサイズ決定部110は、図2に示した処理順序において、現在の対象ブロックの次のブロックを対象ブロックに設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS107)。
ステップS101において、対象ブロックについて処理が終了している場合(ステップS101:YES)、ブロックサイズ決定部110は、対象ブロックにおいて評価値が最小となるCUの組み合わせを、対象ブロックにおけるブロック構造に決定し(ステップS108)、ブロックサイズ決定処理を終了する。なお、ブロック構造を決定する際に、評価値が算出されていないブロックはCUの組み合わせの対象外とする。また、終了するブロックサイズ決定処理が再帰的に呼び出されたブロックサイズ決定処理であれば、図2に示した処理順序において1つ前のブロックに対するブロックサイズ決定処理のステップS107に戻ることになる。
図4は、本実施形態のブロックサイズ決定処理に対する比較例としてのブロックサイズ決定処理を示すフローチャートである。比較例のブロックサイズ決定処理は、図16に示したように評価値を算出する対象のブロックサイズを限定する場合の処理である。図4に示すブロックサイズ決定処理は、ステップS203とステップS204とにおける処理が図3に示した本実施形態におけるブロックサイズ決定処理と異なる。ステップS203では、対象ブロックに隣接する全てのブロックサイズを取得する。ステップS204では、取得したブロックサイズに基づいて、対象ブロックのブロックサイズが条件1を満たすか否かを判定する。ステップS203において、隣接ブロック全てのブロックサイズを取得してしまうため、評価値を算出する対象のブロック数を削減できない可能性がある。
これに対して、本実施形態のブロックサイズ決定処理(図3)では、隣接ブロックのうち最小のブロックサイズを取得し、条件1を満たすブロックサイズに対して評価値を算出するようにしているので、評価値を算出する対象のブロック数を削減でき、ブロックサイズ決定処理における演算量及び負荷を削減することができる。
<第2の実施形態>
第2の実施形態においては、第1の実施形態とLCU内の各ブロックに対する処理の優先度が異なる。第1の実施形態では64×64のブロックから処理を開始していたのに対して、本実施形態では8×8のブロックから処理を開始する。なお、本実施形態における映像符号化装置は第1の実施形態における映像符号化装置100と同じ構成であるので説明を省略する。
図5は、第2の実施形態におけるLCU内の各ブロックに対する処理の優先度(順序)を示す図である。同図において、各ブロックに付されている数字は、各ブロックが処理対象となる優先度を表している。本実施形態では、LCU内の最も小さいブロック(8×8のブロック)に対する処理を最初に行い、LCUにおける四分木構造に沿って各ブロックに対する処理を順に行う。図5に示す処理順序は、四分木に対する探索アルゴリズムにおける「帰りがけ順」に対応する。
具体的には、同一の階層に含まれるブロックであって同一の1階層大きいブロック(親ブロック)に含まれるブロック全てに対して処理が終わると、当該1階層大きいブロックを対象ブロックに設定する。例えば、図5において、8×8のブロック「1」、「2」、「3」、及び「4」に対して処理が終わると、16×16のブロックに含まれる8×8のブロック(「1」〜「4」)に対して処理が終わると、16×16のブロック「5」が対象ブロックに設定される。
同一親ブロックに含まれるブロックのうち処理が終わっていないブロックがある場合には、当該ブロックが対象ブロックに設定される。また、対象ブロックにおいて、自身のブロックを分割したブロックに処理が終わっていないブロックがある場合には、分割したブロックの処理が先に行われる。例えば、ブロック「5」の処理が終わると、ブロックが「5」に隣接するブロック「10」が対象ブロックに設定されるが、当該ブロックを分割した8×8のブロック「6」〜「9」の処理が終わっていないため、8×8のブロック「6」〜「9」に対する処理が先に行われる。
図6は、本実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。本実施形態では、LCUにおいて最小のブロックサイズ8×8のブロックを最初の対象ブロックに設定した上で、ブロックサイズ決定処理が開始される。ブロックサイズ決定部110は、ブロックサイズ決定処理が開始されると、対象ブロックについて評価値の算出が完了したか否かを判定する(ステップS301)。
対象ブロックについて評価値の算出が終了していない場合(ステップS301:NO)、ブロックサイズ決定部110は、対象ブロックに対して隣接ブロックが存在するか否かを判定する(ステップS302)。
隣接ブロックが存在しない場合(ステップS302:NO)、ブロックサイズ決定部110は処理をステップS306に進める。
隣接ブロックが存在する場合(ステップS302:YES)、ブロックサイズ決定部110は、対象ブロックに隣接するブロックのうちブロックのサイズが最小のブロックを検出し、検出したブロックのブロックサイズを取得する(ステップS303)。
ブロックサイズ決定部110は、対象ブロックのブロックサイズと、ステップS303において取得したブロックサイズとの関係が、第1の実施形態において示した条件1を満たすか否かを判定する(ステップS304)。
ブロックサイズ決定部110は、判定の結果が条件1を満たしたか否かを判定し(ステップS305)、条件1が満たされていた場合(ステップS305:YES)、対象ブロックの評価値を算出する(ステップS306)。
ブロックサイズ決定部110は、図5に示した処理順序において、現在の対象ブロックの次のブロックを対象ブロックに設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS107)。
ステップS305において、ステップS304における判定の結果、条件1が満たされていない場合(ステップS305:NO)、ブロックサイズ決定部110は、図5に示した処理順序において現在の対象ブロックのブロックサイズよりも1階層大きいブロックサイズまで処理順序を進め、当該処理順序のブロックを対象ブロックに設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS308)。
ステップS308における処理は、条件1を満たさない場合、すなわち隣接ブロックの最小ブロックサイズが2階層以上大きいブロックサイズである場合、現在の対象ブロック及び親ブロックを現在の対象ブロックと同一にするブロックに対する処理をスキップする処理である。
ステップS301において、対象ブロックについて処理が終了している場合(ステップS301:YES)、ブロックサイズ決定部110は、対象ブロックにおいて評価値が最小となるCUの組み合わせを、対象ブロックにおけるブロック構造に決定し(ステップS309)、ブロックサイズ決定処理を終了する。なお、ブロック構造を決定する際において、第1の実施形態と同様に評価値が算出されていないブロックはCUの組み合わせの対象外とする。また、終了するブロックサイズ決定処理が再帰的に呼び出されたブロックサイズ決定処理であれば、呼び出されたステップS307又はステップS308に戻ることになる。本実施形態では、対象ブロックの評価値と、対象ブロック以下の階層の各ブロックとの評価値を用いて、評価値が最小となるCUの組み合わせをブロック構造に決定する。
四分木構造に沿って、最小のブロックサイズ(8×8)のブロックから順に最大のブロックサイズ(64×64)のブロックまで処理を進める際に、条件1を満たさないブロックに対する処理をスキップして評価値を算出するようにしているので、評価値を算出する対象のブロック数を削減でき、ブロックサイズ決定処理における演算量及び負荷を削減することができる。
<第3の実施形態>
第3の実施形態におけるブロックサイズ決定処理は、第1の実施形態におけるブロックサイズ決定処理に対して変更を加えた処理となっている。なお、本実施形態における映像符号化装置は第1の実施形態における映像符号化装置100と同じ構成であるので説明を省略する。また、本実施形態における各ブロックに対する処理の優先度(順序)も同一であり、図2に示した優先度である。
図7は、第3実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。LCUにおいて最大のブロックサイズの64×64のブロックを最初の対象ブロックに設定した上で、ブロックサイズ決定処理が開始される。ブロックサイズ決定部110は、ブロックサイズ決定処理が開始されると、対象ブロックについて処理が終了したか否かを判定する(ステップS401)。
対象ブロックについて処理が終了していない場合(ステップS401:NO)、ブロックサイズ決定部110は、対象ブロックに対して隣接ブロックが存在するか否かを判定する(ステップS402)。
隣接ブロックが存在しない場合(ステップS402:NO)、ブロックサイズ決定部110は、対象ブロックの評価値を算出し(ステップS403)、図2に示した処理順序において、現在の対象ブロックの次のブロックを対象ブロックに設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS404)。
一方、隣接ブロックが存在する場合(ステップS402:YES)、ブロックサイズ決定部110は、対象ブロックに隣接するブロックのうちブロックのサイズが最小のブロックを検出し、検出したブロックのブロックサイズを取得する(ステップS405)。
ブロックサイズ決定部110は、対象ブロックのブロックサイズとステップS405において取得したブロックサイズとの関係が、第1の実施形態において示した条件1と、次の条件2とを満たすか否かを判定する(ステップS406)。
[条件2]:対象ブロックのブロックサイズより1階層小さいブロックサイズが、ステップS405において取得したブロックサイズ、取得したブロックサイズより1階層大きいブロックサイズ、又は、取得したブロックサイズより1階層小さいブロックサイズを含む初期候補のいずれかと一致する。
ブロックサイズ決定部110は、条件1が満たされていたか否かを判定し(ステップS407)、条件1が満たされていない場合(ステップS407:NO)、処理をステップS404に進め、条件1が満たされていた場合(ステップS407:YES)、対象ブロックの評価値を算出する(ステップS408)。
ブロックサイズ決定部110は、条件2が満たされていたか否かを判定し(ステップS409)、条件2が満たされていない場合(ステップS409:NO)、処理をステップS412に進め、条件2が満たされていた場合(ステップS409:YES)、対象ブロックを4つに分割した際の評価値を算出する(ステップS410)。
なお、4つに分割した際の評価値は、対象ブロックを4つに分割して得られる4つの分割ブロックそれぞれの評価値を加算した総和である。
ブロックサイズ決定部110は、ステップS408において算出した評価値(評価値A)が、ステップS410において算出した評価値(評価値B)より小さいか否かを判定する(ステップS411)。
評価値Aが評価値Bより小さくない場合(ステップS411:NO)、ブロックサイズ決定部110は処理をステップS404に進める。
一方、評価値Aが評価値Bより小さい場合(ステップS411:YES)、ブロックサイズ決定部110は、現在の対象ブロックを分割したブロックに対する処理をスキップし、図2に示した処理順序において現在の対象ブロックの次のブロックを処理対象に設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS412)。なお、ステップS412における次のブロックとは、現在の対象ブロック以降の処理順序のブロックのうち、現在の対象ブロックを分割して得られるブロック以外のブロックであって最小の処理順序のブロックである。
ステップS401において、対象ブロックについて処理が終了している場合(ステップS401:YES)、ブロックサイズ決定部110は、対象ブロックにおいて評価値が最小になるCUの組み合わせを、対象ブロックにおけるブロック構造に決定し(ステップS413)、ブロックサイズ決定処理を終了する。なお、ブロック構造を決定する際において、第1の実施形態と同様に評価値が算出されていないブロックはCUの組み合わせの対象外とする。また、終了するブロックサイズ決定処理が再帰的に呼び出されたブロックサイズ決定処理であれば、呼び出されたステップS404又はステップS412に戻ることになる。
本実施形態におけるブロックサイズ決定処理は、条件1を満たした場合において、条件2を満たしたか否かの判定(ステップS409)と評価値の比較(ステップS411)とを加えている点が第1の実施形態におけるブロックサイズ決定処理と異なる。
本実施形態では、ステップS409における処理で、現在の対象ブロックを分割したブロックが条件1を満たすか否かを事前に判定し、条件1を満たさない場合に下の階層のブロックに対する処理をスキップする。これにより、第1の実施形態におけるブロックサイズ決定処理より、更に演算量及び負荷を削減することができる。
また、ステップS411における処理で、現在の対象ブロックの評価値(評価値A)と、対象ブロックを分割したブロックで構成したときの評価値(評価値B)とを比較して、下の階層のブロックを組み合わせた方が小さい評価値が得られるかを判定する。下の階層のブロックを組み合わせても小さい評価値が得られないと判定すると、現在の対象ブロックを分割したブロックに対する処理をスキップする。これにより、第1の実施形態におけるブロックサイズ決定処理より、更に演算量及び負荷を削減することができる。
<第4の実施形態>
第3の実施形態におけるブロックサイズ決定処理は、第2の実施形態におけるブロックサイズ決定処理に対して変更を加えた処理となっている。なお、本実施形態における映像符号化装置は第1の実施形態における映像符号化装置100と同じ構成であるので説明を省略する。また、本実施形態における各ブロックに対する処理の優先度(順序)は、第2の実施形態における優先度と同一であり、図5に示した優先度である。
図8及び図9は、第4の実施形態におけるブロックサイズ決定部110が行うブロックサイズ決定処理のフローチャートである。LCUにおいて最小のブロックサイズの8×8のブロックを最初の対象ブロックに設定した上で、ブロックサイズ決定処理が開始される。ブロックサイズ決定部110は、ブロックサイズ決定処理が開始されると、対象ブロックについて処理が終了したか否かを判定する(ステップS501)。
対象ブロックについて処理が終了していない場合(ステップS501:NO)、ブロックサイズ決定部110は、対象ブロックに対して隣接ブロックが存在するか否かを判定する(ステップS502)。
隣接ブロックが存在しない場合(ステップS502:NO)、ブロックサイズ決定部110は、対象ブロックの評価値を算出し(ステップS503)、図5に示した処理順序において、現在の対象ブロックの次のブロックを対象ブロックに設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS504)。
一方、隣接ブロックが存在する場合(ステップS502:YES)、ブロックサイズ決定部110は、対象ブロックに隣接するブロックのうちブロックのサイズが最小のブロックを検出し、検出したブロックのブロックサイズを取得する(ステップS505)。
ブロックサイズ決定部110は、対象ブロックのブロックサイズとステップS505において取得したブロックサイズとの関係が、第1の実施形態において示した条件1と、次の条件3とを満たすか否かを判定する(ステップS506)。
[条件3]:対象ブロックのブロックサイズより1階層大きいブロックサイズが、ステップS505において取得したブロックサイズ、取得したブロックサイズより1階層大きいブロックサイズ、又は、取得したブロックサイズより1階層小さいブロックサイズを含む初期候補のいずれかと一致する。
ブロックサイズ決定部110は、条件1が満たされていたか否かを判定し(ステップS507)、条件1が満たされていない場合(ステップS507:NO)、現在の対象ブロックよりも1階層大きいブロックまで処理順序を進め、そのブロックを対象ブロックに設定し、ブロックサイズ決定処理を再帰的に実行する(ステップS508)。
一方、条件1が満たされていた場合(ステップS507:YES)、ブロックサイズ決定部110は、対象ブロックの評価値を算出する(ステップS509)。
ブロックサイズ決定部110は、条件3が満たされていたか否かを判定し(ステップS510)、条件3が満たされていない場合(ステップS510:NO)、処理をステップS504に進める。
一方、条件3が満たされていた場合(ステップS510:YES)、ブロックサイズ決定部110は、対象ブロックが現在の対象ブロックより1階層大きいブロックになるまで、ブロックサイズ決定処理を繰り返す(ステップS511)。
ブロックサイズ決定部110は、対象ブロックが1階層大きいブロックになると、評価値が最小となるCUの組み合わせを検出する(ステップS512)。
ブロックサイズ決定部110は、ステップS512において検出したCUの組み合わせが現在の対象ブロックであるか否かを判定し(ステップS513)、現在の対象ブロックである場合(ステップS513:YES)、処理をステップS504に進める。
一方、現在の対象ブロックでない場合(ステップS513:NO)、ブロックサイズ決定部110は、現在の対象ブロックを含むブロックであって現在の対象ブロックよりブロックサイズが大きいブロックに対する処理をスキップし、処理順序で次のブロックを対象ブロックに設定して、ブロックサイズ決定処理を再帰的に実行する(ステップS514)。なお、ステップS514における次のブロックとは、現在の対象ブロック以降の処理順序のブロックのうち、現在の対象ブロックを含む上位の階層のブロック以外のブロックであって最小の処理順序のブロックである。
ステップS501において、対象ブロックについて処理が終了している場合(ステップS501:YES)、ブロックサイズ決定部110は、対象ブロックにおいて評価値が最小になるCUの組み合わせを、対象ブロックにおけるブロック構造に決定し(ステップS515)、ブロックサイズ決定処理を終了する。なお、ブロック構造を決定する際において、第1の実施形態と同様に評価値が算出されていないブロックはCUの組み合わせの対象外とする。また、終了するブロックサイズ決定処理が再帰的に呼び出されたブロックサイズ決定処理であれば、呼び出されたステップS504、ステップS508、ステップS511、又はステップS514のいずれかに戻ることになる。
本実施形態におけるブロックサイズ決定処理は、条件1を満たした場合において、条件3を満たしたか否かの判定(ステップS510)と、1階層大きいブロックまで処理を進めた際に評価値が最小となる組み合わせが1階層大きいブロックであるか否かの判定(ステップS513)とを加えている点が第2の実施形態におけるブロックサイズ決定処理と異なる。
本実施形態では、ステップS513における処理で、1階層大きいブロックまで処理を進めた段階において評価値が最小となる組み合わせが対象ブロックで構成されているか否かを判定し、構成されていない場合(ステップS513:NO)には対象ブロックを含み階層の大きいブロックを処理の対象から外し、上の階層のブロックに対する処理をスキップする。これにより、第2の実施形態におけるブロックサイズ決定処理より、更に演算量及び負荷を削減することができる。
換言すると、本実施形態におけるブロックサイズ決定処理では、LCUの領域を再帰的に4等分して得られる四分木で表される領域の階層構造に沿って、図5に示す処理順序で最小のブロックサイズ(8×8)のブロックから評価値を算出する。このとき、対象ブロックに含まれるブロックであって当該対象ブロックを分割するブロックに対する評価値が算出されていれば、対象ブロックにおいて評価値が最小になるブロック構成を仮に算出する。このとき、対象ブロックに対するブロック構成が当該対象ブロックを分割するブロックで構成される場合、対象ブロックの上位の階層のブロックであって対象ブロックを含むブロックに対する処理及び評価値の算出をスキップすることにより、演算量及び負荷を削減することができる。
<第5の実施形態>
図10は、第5の実施形態における映像符号化装置200の構成を示すブロック図である。映像符号化装置200は、第1の実施形態における映像符号化装置100(図1)と同様に、ピクチャ(符号化対象の映像)を示す映像信号を入力し、入力した映像信号の各フレームを複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化データとして出力する。なお、映像とは、静止画像、動画像を含むものである。以下、映像符号化装置100における機能部と同じ機能部に対しては同じ符号を付して、その説明を省略する。
映像符号化装置200は、イントラ予測部101、インター予測部102、イントラ/インター切替スイッチ103、予測残差信号生成部104、直交変換/量子化部105、逆量子化/逆直交変換部106、復元信号生成部107、ループフィルタ部108、復号ピクチャメモリ109、ブロックサイズ決定部210、可変長符号化部111、及び、ブロックサイズ決定処理切替部211を備えている。映像符号化装置200は、ブロックサイズ決定処理切替部211を更に備えている点と、ブロックサイズ決定部110に代えてブロックサイズ決定部210を備えている点とが、映像符号化装置100と異なる。
ブロックサイズ決定部210は、ブロックサイズ決定部110と同様に符号化対象ブロックのブロック構造を決定する。なお、ブロックサイズ決定部210は、2種類のブロックサイズ決定処理を実行することができ、ブロックサイズ決定処理切替部211の制御に応じて、2種類のブロックサイズ決定処理のいずれか一方を実行してLCUに対するブロック構造を決定する。ブロックサイズ決定部210が実行できる2種類のブロックサイズ決定処理の組み合わせは、第1及び第2の実施形態におけるブロックサイズ決定処理の組み合わせ、第1及び第4の実施形態におけるブロックサイズ決定処理の組み合わせ、第3及び第2の実施形態におけるブロックサイズ決定処理の組み合わせ、第3及び第4の実施形態におけるブロックサイズ決定処理の組み合わせのいずれか一つである。また、ブロックサイズ決定部210は、ブロックサイズ決定部110と同様にイントラ/インター切替スイッチ103をブロックごとに制御する。
ブロックサイズ決定処理切替部211は、映像符号化装置200に入力されるピクチャのピクチャタイプ(予測モード)に基づいて、ブロックサイズ決定部210が実行するブロックサイズ決定処理を切り替える制御を行う。図11は、本実施形態におけるブロックサイズ決定処理切替部211が行う選択処理を示すフローチャートである。
ブロックサイズ決定処理切替部211は、選択処理を開始すると、映像符号化装置200に入力されるピクチャのピクチャタイプがインターであるか否かを判定し(ステップS601)、ピクチャタイプがインターである場合(ステップS601:YES)、第1又は第3の実施形態におけるブロックサイズ決定処理をブロックサイズ決定部210に実行させ(ステップS602)、選択処理を終了させる。
一方、ピクチャタイプがインターでない場合(ステップS601:NO)、ブロックサイズ決定処理切替部211は、第2又は第4の実施形態におけるブロックサイズ決定処理をブロックサイズ決定部210に実行させ(ステップS603)、選択処理を終了させる。
<第6の実施形態>
第6の実施形態においては、第5の実施形態と選択処理が異なる。第5の実施形態では、入力されるピクチャのピクチャタイプに応じてブロックサイズ決定処理を切り替えていたのに対して、例えば対象ブロックを64×64のブロックサイズとした際の隣接ブロックの有無、及び、隣接ブロックのブロックサイズに応じてブロックサイズ決定処理を切り替える。なお、本実施形態における映像符号化装置は第5の実施形態における映像符号化装置200と同じ構成であるので説明を省略する。
図12は、第6の実施形態におけるブロックサイズ決定処理切替部211が行う選択処理を示すフローチャートである。
ブロックサイズ決定処理切替部211は、選択処理を開始すると、対象ブロックを64×64のブロックサイズ(LCUのブロックサイズ)に設定し、対象ブロックに対して隣接ブロックが存在するか否かを判定し(ステップS701)、隣接ブロックが存在しない場合(ステップS701:NO)、第1又第3の実施形態におけるブロックサイズ決定処理をブロックサイズ決定部210に実行させ(ステップS702)、選択処理を終了させる。
一方、隣接ブロックが存在する場合(ステップS701:YES、ブロックサイズ決定処理切替部211は、対象ブロックに隣接するブロックにおいて最小のブロックサイズが64×64又は32×32のブロックサイズであるか否かを判定する(ステップS704)。
最小のブロックサイズが64×64又は32×32のブロックサイズである場合(ステップS704:YES)、ブロックサイズ決定処理切替部211は、処理をステップS702に進める。
最小のブロックサイズが64×64及び32×32のブロックサイズでない場合(ステップS704:NO)、ブロックサイズ決定処理切替部211は、第2又は第4の実施形態におけるブロックサイズ決定処理をブロックサイズ決定部210に実行させ(ステップS705)、選択処理を終了させる。
このように、隣接ブロックの有無、及び、隣接ブロックのブロックサイズに応じて、ブロックサイズ決定部210が実行するブロックサイズ決定処理を切り替えることにより、ブロックサイズ決定処理において最初に設定する対象ブロックを切り替えることができ、更に演算量及び負荷を削減することができる。
なお、選択処理を開始する際に、対象ブロックのサイズを64×64のブロックサイズに設定する構成を説明したが、LCUのブロックサイズが64×64のブロックサイズ以外の場合には、選択処理を開始する際にLCUのブロックサイズを対象ブロックのサイズに設定するようにしてもよい。
以上、説明したように、各実施形態におけるブロックサイズ決定処理では、隣接ブロックの最小のブロックサイズを基準にして、各ブロックの評価値を算出するか否かを判定する処理、及び、評価値を算出する処理を行うか否かを切り替えている。また、複数の候補の中から先に2つを比較し、比較結果に応じて3つ目の処理を行うか否かを決めている。また、ブロックサイズ決定処理を、隣接ブロックやピクチャタイプに応じて切り替えている。これらにより、符号化対象の領域におけるブロック構造を決定する際の演算量を削減することができる。
例えば、図13に示すように、符号化済みの隣接ブロックにブロックサイズが小さいブロックが含まれている場合、その領域にはイントラであればテクスチャ領域が存在する可能性が高い。この場合、隣り合うブロックにおいても小さいブロックサイズが選ばれやすい。同様にインターにおいても、動きがばらついた領域が存在する可能性が高く、小さいブロックが選ばれやすい。逆にブロックサイズが大きいブロックがあった場合、その領域にはイントラであれば平坦領域が存在しやすいため、小さすぎるブロックサイズはブロック構成の候補から除外しても符号化効率に影響が少ない。同様にインターにおいても、動きのそろった領域が存在する可能性が高いため、小さすぎるブロックサイズはブロック構成の候補から除外しても符号化効率に影響が少ない。よって、隣接ブロックにおける最小のブロックサイズを基準とし、隣接ブロックの最小ブロックよりも2階層以上異なるブロックサイズをブロック構造の候補から省いても、符号化効率を低下させることなく演算量及び負荷を削減することができる。更に、符号化対象のブロック構造における階層が4階層以上ある場合には、少なくとも1階層以上の演算量の削減が可能になる。
また、図14に示すように処理の候補となる階層が3階層以上あった場合、候補のうち最小のブロックサイズ(III)のブロック構成で評価値が最小になるときは、ピクチャタイプがイントラであればテクスチャ領域である可能性が高く、インターであれば動きがばらついている領域である可能性が高い。このようなとき、符号化領域に対して予測或いは動きを1つしか表現できない最大のブロックサイズ(I)よりも、動きを細かく表現できるブロックサイズ(II)の方が評価値は小さくなりやすい。そのため、3階層全てに対して処理又は評価値の算出を行わず、2階層に対する評価値を算出した後に、評価値の比較結果に基づいて残りの階層に対する処理及び評価値の算出を行うか否かを決定する。これにより、符号化効率を低下させることなく演算量及び負荷を削減することができる。
また、対象ブロックに隣接するブロックのブロックサイズが64×64又は32×32である場合には、最初の対象ブロックを64×64のブロックとしてブロックサイズ決定処理を開始させる。これにより、ブロックサイズ決定処理における判定処理などの演算を削減することができ、更に演算量及び負荷を削減することができる。また、対象ブロックに隣接するブロックのブロックサイズが64×64及び32×32でない場合には、最初の対象ブロックを8×8ブロックとしてブロックサイズ決定処理を開始させる。これにより、ブロックサイズ決定処理における判定処理などの演算を削減することができ、更に演算量及び負荷を削減することができる。
また、ピクチャタイプがインターである場合、画面間の動きが複雑でない領域では大きいブロックサイズでも予測が当たるため、大きいブロックサイズが選ばれやすく、同様に大きいブロックサイズから順に評価を行うことでループ処理の回数を削減することができる。また、第3の実施形態において示したブロックサイズ決定処理では、ブロックに対する処理を打ち切る判定を加えているので、更なる演算量及び負荷の削減が可能になり高速化を図ることができる。また、ピクチャタイプがイントラである場合、小さいブロックサイズが多く選ばれやすいため、小さいブロックサイズから順に処理することにより、インターの場合と同様に演算量及び負荷を削減することができる。
上述した実施形態におけるブロックサイズ決定処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、HEVCに適用する場合について説明したため、符号化対象ブロックを64×64から8×8までのブロックの組み合わせでブロック構成を表す処理について説明したが、4階層のブロックサイズに限らずに5階層以上のブロックサイズを処理の対象としてもよい。また、符号化対象ブロックを再帰的に4分割する場合について説明したが、符号化対象ブロックを再帰的にn分割する階層構成を処理の対象としてもよい。
再帰的に領域を分割した階層構成を有する符号化対象ブロックに対して、ブロック構成を決定することが必要な処理に適用することができる。
100、200…映像符号化装置
101…イントラ予測部
102…インター予測部
103…イントラ/インター切替スイッチ
104…予測残差信号生成部
105…直交変換/量子化部
106…逆量子化/逆直交変換部
107…復元信号生成部
108…ループフィルタ部
109…復号ピクチャメモリ
110、210…ブロックサイズ決定部
111…可変長符号化部
211…ブロックサイズ決定処理切替部

Claims (7)

  1. 映像符号化において画像領域を分割した符号化対象ブロックに対して符号化対象ブロック内の領域を構成するブロックのサイズを決定するブロックサイズ決定方法であって、
    前記符号化対象ブロックを再帰的に分割して得られる各ブロックを予め定められた順序で対象ブロックに選択するステップと、
    選択された対象ブロックごとに隣接するブロックにおいて最小のブロックサイズを取得するステップと、
    取得したブロックサイズ、前記取得したブロックサイズより1階層大きいブロックサイズ、又は前記取得したブロックサイズより1階層小さいブロックサイズのいずれかと、前記対象ブロックのブロックサイズとが一致する場合に前記対象ブロックの評価値を算出するステップと、
    前記符号化対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定するステップと
    を有することを特徴とするブロックサイズ決定方法。
  2. 請求項1に記載のブロックサイズ決定方法であって、
    前記順序は、前記符号化対象ブロックにおいて最大のブロックサイズから始まる順序であり、
    前記対象ブロックを分割したブロックそれぞれの評価値を算出し、算出した評価値の総和を算出するステップと、
    前記対象ブロックの評価値が前記総和より小さい場合、前記対象ブロックを分割して得られるブロックを評価値の算出対象から除外するステップと
    を更に有することを特徴とするブロックサイズ決定方法。
  3. 請求項1に記載のブロックサイズ決定方法であって、
    前記順序は、前記符号化対象ブロックにおいて最小のブロックサイズから始まる順序であり、
    前記対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定するステップと、
    決定した前記対象ブロック内のブロックの組み合わせが前記対象ブロックを分割する複数のブロックの組み合わせである場合、前記対象ブロックを含むブロックであって前記対象ブロックより上位のブロックを評価値の算出対象から除外するステップと
    を更に有することを特徴とするブロックサイズ決定方法。
  4. 請求項1に記載のブロックサイズ決定方法であって、
    前記対象ブロックに隣接するブロックにおける最小のブロックサイズが所定ブロックサイズ以上である場合、
    前記対象ブロックを分割したブロックそれぞれの評価値を算出し、算出した評価値の総和を算出し、前記対象ブロックの評価値が前記総和より小さいとき、前記対象ブロックを分割して得られるブロックを評価値の算出対象から除外し、
    前記対象ブロックに隣接するブロックにおける最小のブロックサイズが前記所定ブロックサイズ以上でない場合、
    前記対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定し、決定した前記対象ブロック内のブロックの組み合わせが前記対象ブロックを分割する複数のブロックの組み合わせであるとき、前記対象ブロックを含むブロックであって前記対象ブロックより上位のブロックを評価値の算出対象から除外するステップ
    を更に有し、
    前記順序は、
    前記対象ブロックに隣接するブロックにおける最小のブロックサイズが所定ブロックサイズ以上である場合、前記符号化対象ブロックにおいて最大のブロックサイズから始まる第1の順序であり
    前記対象ブロックに隣接するブロックにおける最小のブロックサイズが前記所定ブロックサイズ以上でない場合、前記符号化対象ブロックにおいて最小のブロックサイズから始まる第2の順序である
    ことを特徴とするブロックサイズ決定方法。
  5. 請求項1に記載のブロックサイズ決定方法であって、
    前記符号化対象ブロックのピクチャタイプがインターである場合、
    前記対象ブロックを分割したブロックそれぞれの評価値を算出し、算出した評価値の総和を算出し、前記対象ブロックの評価値が前記総和より小さいとき、前記対象ブロックを分割して得られるブロックを評価値の算出対象から除外し、
    前記符号化対象ブロックのピクチャタイプがインターでない場合、
    前記対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定し、決定した前記対象ブロック内のブロックの組み合わせが前記対象ブロックを分割する複数のブロックの組み合わせであるとき、前記対象ブロックを含むブロックであって前記対象ブロックより上位のブロックを評価値の算出対象から除外するステップ
    を更に有し、
    前記順序は、
    前記符号化対象ブロックのピクチャタイプがインターである場合、前記符号化対象ブロックにおいて最大のブロックサイズから始まる第1の順序であり
    前記符号化対象ブロックのピクチャタイプがインターでない場合、前記符号化対象ブロックにおいて最小のブロックサイズから始まる第2の順序である
    ことを特徴とするブロックサイズ決定方法。
  6. 映像符号化において画像領域を分割した符号化対象ブロックに対して符号化対象ブロック内の領域を構成するブロックのサイズを決定する映像符号化装置であって、
    前記符号化対象ブロックを再帰的に分割して得られる各ブロックを予め定められた順序で対象ブロックに選択するブロック選択手段と、
    選択された対象ブロックごとに隣接するブロックにおいて最小のブロックサイズを取得するブロックサイズ取得手段と、
    取得したブロックサイズ、前記取得したブロックサイズより1階層大きいブロックサイズ、又は前記取得したブロックサイズより1階層小さいブロックサイズのいずれかと、前記対象ブロックのブロックサイズとが一致する場合に前記対象ブロックの評価値を算出する評価値算出手段と
    前記符号化対象ブロック内の領域を構成するブロックの組み合わせを評価値に基づいて決定するブロック構成決定手段と
    を備えることを特徴とする映像符号化装置。
  7. 請求項1から請求項5のいずれか一項に記載のブロックサイズ決定方法をコンピュータに実行させるためのプログラム。
JP2013077258A 2013-04-02 2013-04-02 ブロックサイズ決定方法、映像符号化装置、及びプログラム Active JP5719401B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013077258A JP5719401B2 (ja) 2013-04-02 2013-04-02 ブロックサイズ決定方法、映像符号化装置、及びプログラム
US14/781,255 US10327003B2 (en) 2013-04-02 2014-03-18 Block size determination method, video encoding apparatus, and program
EP23196969.2A EP4270951A3 (en) 2013-04-02 2014-03-18 Block size determination method, video encoding device, and program
EP14779132.1A EP2963925A4 (en) 2013-04-02 2014-03-18 BLOCK SIZE PROCEDURE, VIDEO CODING DEVICE AND PROGRAM
PCT/JP2014/057372 WO2014162871A1 (ja) 2013-04-02 2014-03-18 ブロックサイズ決定方法、映像符号化装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013077258A JP5719401B2 (ja) 2013-04-02 2013-04-02 ブロックサイズ決定方法、映像符号化装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014204207A JP2014204207A (ja) 2014-10-27
JP5719401B2 true JP5719401B2 (ja) 2015-05-20

Family

ID=51658171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013077258A Active JP5719401B2 (ja) 2013-04-02 2013-04-02 ブロックサイズ決定方法、映像符号化装置、及びプログラム

Country Status (4)

Country Link
US (1) US10327003B2 (ja)
EP (2) EP2963925A4 (ja)
JP (1) JP5719401B2 (ja)
WO (1) WO2014162871A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6337904B2 (ja) * 2013-10-22 2018-06-06 日本電気株式会社 ブロック構造決定回路およびブロック構造決定方法
US20160373744A1 (en) * 2014-04-23 2016-12-22 Sony Corporation Image processing apparatus and image processing method
CN104363452B (zh) * 2014-10-17 2018-02-09 深圳市云宙多媒体技术有限公司 一种视频块划分方法及系统
JP6648753B2 (ja) * 2015-03-04 2020-02-14 ソニー株式会社 画像符号化装置および方法
JP6510902B2 (ja) * 2015-06-15 2019-05-08 日本放送協会 符号化装置、復号装置及びプログラム
JP6665611B2 (ja) 2016-03-18 2020-03-13 富士通株式会社 符号化処理プログラム、符号化処理方法及び符号化処理装置
JP6616242B2 (ja) * 2016-05-20 2019-12-04 日本電信電話株式会社 映像符号化装置、ブロック構造決定方法及びコンピュータプログラム
CN109219959A (zh) * 2016-06-08 2019-01-15 索尼公司 图像处理装置及方法
EP4387232A3 (en) * 2016-10-04 2024-08-21 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
CN114531588A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
EP3306928A1 (en) 2016-10-07 2018-04-11 Thomson Licensing Method and apparatus for encoding a video
US11042771B2 (en) * 2016-11-10 2021-06-22 Nippon Telegraph And Telephone Corporation Image evaluation device, image evaluation method, and image evaluation program
CA3046942A1 (en) * 2016-12-16 2018-06-21 Sharp Kabushiki Kaisha Image decoding device and image encoding device
CN113242429B (zh) * 2021-05-11 2023-12-05 杭州网易智企科技有限公司 视频编码模式决策方法、装置、设备及存储介质
CN117440157B (zh) * 2023-09-26 2024-05-28 书行科技(北京)有限公司 视频编码方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122020007918B1 (pt) * 2010-04-13 2022-11-29 Ge Video Compression, Llc Fusão de região de amostra
CN105959703B (zh) 2010-04-13 2019-06-04 Ge视频压缩有限责任公司 解码器、编码器、生成数据流的方法及解码数据流的方法
CN105120279B (zh) 2010-07-20 2018-05-29 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
JP5881361B2 (ja) 2011-09-30 2016-03-09 セコム株式会社 警備システム
US10863184B2 (en) * 2012-08-15 2020-12-08 Texas Instruments Incorporated Fast intra-prediction mode selection in video coding

Also Published As

Publication number Publication date
JP2014204207A (ja) 2014-10-27
EP2963925A4 (en) 2016-07-27
EP4270951A3 (en) 2024-01-03
US10327003B2 (en) 2019-06-18
WO2014162871A1 (ja) 2014-10-09
EP4270951A2 (en) 2023-11-01
US20160057433A1 (en) 2016-02-25
EP2963925A1 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
JP5719401B2 (ja) ブロックサイズ決定方法、映像符号化装置、及びプログラム
KR102616766B1 (ko) 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR102127687B1 (ko) 참조 유닛 결정 방법 및 장치
KR102303515B1 (ko) 비디오 신호의 처리 방법 및 장치
JP7101818B2 (ja) マージモードでのビデオ符号化/復号のための方法および装置
JP7171925B2 (ja) ビデオデコードおよびエンコード方法、プログラム、および装置
JP7085021B2 (ja) 動画の符号化並びに復号の方法、装置及びコンピュータプログラム
KR20210058782A (ko) 영상의 부호화/복호화 방법 및 장치
JP5616984B2 (ja) 画像復号化装置
KR102006443B1 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
JP2022507670A (ja) ビデオ復号化方法、ビデオ復号化装置、コンピュータ・プログラム及びビデオ符号化方法
JP7541599B2 (ja) 復号化方法、復号化デバイス、復号化側機器、電子機器及び不揮発性記憶媒体
WO2014087861A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7357679B2 (ja) 改善された最確モードリスト生成方法
JP6502739B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
JP5307681B2 (ja) 画像符号化構造の自動生成方法,画像符号化構造の自動生成装置およびそのプログラム
US20170201773A1 (en) Video coding apparatus, video coding method, and recording medium
KR102585179B1 (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
JP6075898B1 (ja) 映像符号化装置、映像符号化方法及びプログラム
CN118266214A (zh) 用于在帧间预测模式中对语法元素进行编码和解码的上下文设计
KR20230145277A (ko) 효율적인 움직임 정보 예측을 이용한 영상 부호화/복호화 방법과 장치
CN118266213A (zh) 用于在帧间预测模式中对语法元素进行编码和解码的上下文设计

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150320

R150 Certificate of patent or registration of utility model

Ref document number: 5719401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150