[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6652068B2 - 動画像符号化装置、動画像符号化方法および動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法および動画像符号化プログラム Download PDF

Info

Publication number
JP6652068B2
JP6652068B2 JP2016570215A JP2016570215A JP6652068B2 JP 6652068 B2 JP6652068 B2 JP 6652068B2 JP 2016570215 A JP2016570215 A JP 2016570215A JP 2016570215 A JP2016570215 A JP 2016570215A JP 6652068 B2 JP6652068 B2 JP 6652068B2
Authority
JP
Japan
Prior art keywords
encoding
code amount
parameter
block size
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016570215A
Other languages
English (en)
Other versions
JPWO2016116984A1 (ja
Inventor
誠也 柴田
誠也 柴田
貴之 石田
貴之 石田
慶一 蝶野
慶一 蝶野
紀章 鈴木
紀章 鈴木
栄太 小林
栄太 小林
健太 徳満
健太 徳満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016116984A1 publication Critical patent/JPWO2016116984A1/ja
Application granted granted Critical
Publication of JP6652068B2 publication Critical patent/JP6652068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、再帰的クアッドツリー構造に基づくユニットについて符号化処理を行う動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
非特許文献１には、ITU-T 勧告H.265 規格に基づく映像符号化方式であるHEVC（High Efficiency Video Coding）が記載されている。
HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）といい、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。
CUは、イントラ予測またはフレーム間予測（インター予測）によって予測符号化される。
図１９は、CTU サイズが６４×６４（６４画素×６４画素）の場合のCU分割例を示す説明図である。図１９（Ａ）には、分割形状（以下、ブロック構造ともいう。）の一例が示され、図１９（Ｂ）には、図１９（Ａ）に示す分割形状に対応するCUクアッドツリー構造が示されている。
また、CUは、クアッドツリー構造でTUに分割される。分割の仕方は、図１９（Ａ）に示すCU分割の場合と同様である。
図２０は、CUのPU分割例を示す説明図である。ただし、図２０（Ａ）には、CTU のCU分割例が例示されている。
図２０（Ｂ）において、上段には、インター予測のPU分割例が示され、下段には、イントラ予測のPU分割例が示されている。インター予測で符号化が行われる場合には、ＣＵサイズと同じサイズ（２Ｎ×２Ｎ）、２通りの対称な長方形分割（２Ｎ×Ｎ、Ｎ×２Ｎ）、および４通りの非対称な長方形分割（２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、ｎＬ×２Ｎ）の計７通りのいずれかを選択しうる。イントラ予測で符号化が行われる場合は、ＣＵサイズと同じサイズ（２Ｎ×２Ｎ）とＣＵサイズを４分割したサイズ（Ｎ×Ｎ）とのいずれかを選択しうる。ただし、Ｎ×ＮはＣＵが最小サイズの場合に選択可能である。
インター予測で符号化が行われる場合、PU毎に動きベクトルを伝送できる。よって、CUクアッドツリー構造によって、CTU あたりの動きベクトルの数が変化する。分割が細かいほど動きベクトルの数は増え、動きベクトルの符号量が増大する。
イントラ予測で符号化が行われる場合で分割がなされるときには、TUは、CUと同じサイズのブロックまたはCUが４分割されたブロックであるPUを起点にして逐次分割される。インター予測で符号化が行われる場合には、TUは、CUを起点にして逐次分割される。
図２１を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する一般的な動画像符号化装置の構成と動作を説明する。
図２１に示す動画像符号化装置は、符号化パラメータ探索器２１０と符号化器２２０とを備える。符号化器２２０は、変換器２２１、量子化器２２２、エントロピー符号化器２２７、逆量子化器２２３、逆変換器２２４、バッファ２２５、および予測器２２６を含む。
符号化パラメータ探索器２１０は、CTU のCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造、CUの予測モード、イントラPUのイントラ予測方向、およびインターPUの動きベクトルに関して、それぞれの符号化コストを計算し、それぞれの符号化コストを比較することによって、符号化パラメータを決定する。符号化コストには、符号量に関する値と符号化歪み（画質に相関する。）とが反映されている。符号化パラメータ探索器２１０は、一例として、以下のRD（Rate Distortion ）コストを使用する。
Cost ＝ D ＋ λ・R
D は符号化歪みであり、R は、変換係数まで加味した符号量であり、λはラグランジェ乗数である。
符号化パラメータ探索器２１０は、CTU 毎に、画像の特徴に合わせて符号化効率が高くなるように、CUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。
予測器２２６は、符号化パラメータ探索器２１０が決定したCUクアッドツリー構造およびPU分割形状に基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測に基づいて生成される。
変換器２２１は、符号化パラメータ探索器２１０が決定したTUクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像（予測誤差信号）を周波数変換する。変換器２２１は、予測誤差信号の変換符号化において、周波数変換に基づいた４×４、８×８、１６×１６または３２×３２ブロックサイズの直交変換を使用する。具体的には、イントラ符号化またはインター符号化されるCUの輝度成分の４×４TUに対して、整数演算で近似した（整数精度の）DST （Discrete Sine Transform ：離散サイン変換）を使用する。その他のTUに対して、そのブロックサイズに対応する、整数演算で近似した（整数精度の）DCT （Discrete Cosine Transform ：離散コサイン変換）を使用する。
量子化器２２２は、量子化パラメータQpと変換器２２１から供給される変換係数（直交変換係数）cij を入力として量子化処理を行い、量子化係数qij を得る。qij は以下の計算で得られる。
qij = Int(cij / Qstep)
Qstep = (mij * 2qbit) / (Qscale(Qp%6))
qbit = 25 + (Qp / 6) - (BitDepth - log2(N)
mij は量子化重み付け係数、Qscaleは量子化ステップ係数、BitDepthは入力画像の画素ビット精度、N は直交変換のサイズである。Qpが大きいほどQstep が大きくなり、結果として得られる値qij の符号量は小さくなる。
逆量子化器２２３は、量子化係数を逆量子化する。さらに、逆変換器２２４は、逆量子化結果を逆変換する。逆変換により得られた予測誤差画像は、予測信号が加えられて、バッファ２２５に供給される。バッファ２２５は、画像を参照画像として格納する。
動画像符号化装置は、符号量制御部（図示せず）を含む。符号量制御部は、現在符号化中のフレームを符号化した結果の符号量が、目標符号量となるように符号化処理を制御する。たとえば量子化パラメータQpを変化させることにより、量子化係数qij の符号量を制御する。なお、λをQpの関数とすることにより、Qpを介して符号化パラメータ探索器２１０の機能（CUクアッドツリー構造／PU分割形状／TUクアッドツリー構造の決定）を制御することもできる。
特許文献１には、上記の符号量制御とは異なる技術であって、符号量が目標符号量を超過すると判断されたときの符号量制御技術が開示されている。具体的には、目標符号量を超過しないようにするために、符号化済みフレームのコピーであるとの情報のみを伝送することによって符号量を削減する。コピーであるとの情報は、スキップモードであることのみをシグナリングすることで実現される。
スキップモードは、隣接ブロックの動きベクトルと同じであり、かつ、予測誤差信号の量子化係数がブロック中にないことを示すモードである。換言すれば、動画像符号化方式が提供する複数の符号化モードのうち、符号化対象ブロックの持つ動きベクトルが、空間的または時間的に隣接するブロックの持つ動きベクトルと同一であることのみを伝送する伝送モードである。
図２２には、８個存在するブロックのうち、左上端のブロック以外の全てをスキップモードにする前後での動きベクトルの変化が例示されている。図２２（Ａ）に示す例では、スキップモードにする前では、それぞれのブロックが異なる動きベクトルを保持している。しかし、図２２（Ｂ）に示すように、スキップモードにした後では、全てのブロックが左上端のブロックと同じベクトルを持つ。さらに、左上端のブロックもスキップモードにすると、動きベクトルは０になる。よって、画面全体でスキップモードを使用することによって、動きがなく、かつ予測残差信号もないこと、すなわち参照画像をそのまま使用したコピー画像であることを伝送することができる。
なお、特許文献１には、伝送レートが所定値を超える場合に、スキップモードを適用することが記載されている。
特開平６−３０３０９６号公報
ITU-T 勧告 H.265 High efficiency video coding, April 2013
例えば、映像が大きく変化する場合（シーンチェンジ）や、符号化困難な映像が原画として入力された場合、さらには動きベクトルなどの符号化パラメータの選択が適切でなかった場合などに、画面間予測に用いる動きベクトルの符号量だけで、目標符号量を超過してしまう可能性がある。そのような場合には、量子化パラメータQpの制御による量子化係数の符号量制御だけでは目標符号量を達成することはできないので、動きベクトルの符号量を削減する必要がある。
特許文献１に記載された動画像符号化装置は、動きベクトルの符号量を削減するために、伝送レートが所定値（目標符号量に相当）を超える場合にスキップモードを強制的に使用する。スキップモードを画面全体で強制的に用いることによって、全てのブロックの動きベクトルが０であること、すなわち、動きが全くないことのみを伝送し、伝送される符号量を少なくすることができる。
しかし、動きがある映像に対して、画面全体へのスキップモードを適用する場合には、本来動きのある映像であるのに対して静止した映像が伝送されることになり、画質劣化が生ずる。
本発明は、動きベクトルの符号量削減に伴う画質劣化を軽減できる動画像符号化装置、動画像符号化方法および動画像符号化プログラムを提供することを目的とする。
本発明による動画像符号化装置は、入力映像を入力として符号化パラメータを探索し出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、符号化パラメータは、符号化の単位である、入力映像が分割されて得られるブロックのブロックサイズと、それらブロックそれぞれの符号化に用いる動きベクトルを特定可能なパラメータとを含み、目標符号量と、符号化手段が出力する符号量が目標符号量を超過するか否かの判定のための指標である符号化状況情報とを用い、符号量が目標符号量を超過すると判定したときにブロックサイズの拡大の程度を示すブロックサイズ拡大パラメータを、ブロックサイズを拡大することを示す値に決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大し、拡大前の複数のブロックの動きベクトルから拡大後のブロックの動きベクトルを選択するブロックサイズ拡大手段とを備えることを特徴とする。
本発明による動画像符号化方法は、入力映像を入力として符号化パラメータを生成し、入力映像と符号化パラメータとを入力して符号化を行う動画像符号化方法であって、符号化パラメータは、符号化の単位である、入力映像が分割されて得られるブロックのブロックサイズと、それらブロックそれぞれの符号化に用いる動きベクトルを特定可能なパラメータとを含み、目標符号量と符号化状況情報とに基づいて、符号量が目標符号量を超過すると判定したときにブロックサイズの拡大の程度を示すブロックサイズ拡大パラメータを、ブロックサイズを拡大することを示す値に決定し、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大し、拡大前の複数のブロックの動きベクトルから拡大後のブロックの動きベクトルを選択することを特徴とする。
本発明による動画像符号化プログラムは、入力映像を入力として符号化パラメータを生成し、入力映像と符号化パラメータとを入力して符号化を行うための動画像符号化プログラムであって、符号化パラメータは、符号化の単位である、入力映像が分割されて得られるブロックのブロックサイズと、それらブロックそれぞれの符号化に用いる動きベクトルを特定可能なパラメータとを含み、コンピュータに、目標符号量と、符号化による符号量が目標符号量を超過するか否かの判定のための指標である符号化状況情報とを用い、符号量が目標符号量を超過すると判定したときにブロックサイズの拡大の程度を示すブロックサイズ拡大パラメータを、ブロックサイズを拡大することを示す値に決定する処理と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大し、拡大前の複数のブロックの動きベクトルから拡大後のブロックの動きベクトルを選択する処理とを実行させることを特徴とする。
本発明によれば、動きベクトルの符号量削減に伴う画質劣化を軽減できる。
動画像符号化装置の第１の実施形態を示すブロック図である。 動きベクトル選定方法を示す説明図である。 動きベクトルの平均ベクトルを説明するための説明図である。 動画像符号化装置の動作を示すフローチャートである。 第１の実施形態の動画像符号化装置の第１の例を示すブロック図である。 パラメータテーブルの記憶内容の一例を示す説明図である。 ブロックサイズ拡大パラメータの選択方法を示すフローチャートである。 第１の実施形態の動画像符号化装置の第２の例を示すブロック図である。 動画像符号化装置の第２の実施形態を示すブロック図である。 第２の実施形態の動画像符号化装置の第１の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第２の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第３の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第４の例を示すブロック図である。 第２の実施形態の動画像符号化装置の第５の例を示すブロック図である。 動画像符号化装置の第３の実施形態を示すブロック図である。 ブロック拡大の前後での動きベクトルの変化を示す説明図である。 本発明による動画像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による動画像符号化装置の主要部を示すブロック図である。 CTU サイズが６４×６４の場合のCU分割例を示す説明図である。 CUのPU分割例を示す説明図である。 一般的な動画像符号化装置を示すブロック図である。 スキップモードにする前後での動きベクトルの変化を示す説明図である。
実施形態１．
図１は、動画像符号化装置の第１の実施形態を示すブロック図である。図１に示す動画像符号化装置は、入力映像を入力として符号化パラメータを生成して出力する符号化パラメータ探索器１１０と、符号化器１２０と、ブロック拡大器１４０と、符号量制御器１３０とを含む。符号化器１２０は、図２１に示された符号化器２２０と同様に構成される。
ブロック拡大器１４０は、符号化パラメータとブロックサイズ拡大パラメータとを入力として、符号化パラメータ中のブロック分割および動きベクトル情報を変更して出力する。変更の方法は、ブロックサイズ拡大パラメータに応じて変化する。出力された符号化パラメータは符号化器１２０に入力される。
ブロックサイズ拡大パラメータは大別すると以下の３つの情報に分けることができる。
（１）拡大可否判断条件
（２）拡大方針
（３）拡大時の動きベクトル選択方法
「拡大可否判断条件」は、例えば、以下のうちのいずれかである。
第１条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つ全てがインター予測ブロックであり、さらに、それら４つが２Ｎ×２ＮのPUである場合に拡大（複数ブロックを１つにマージ）。
第２条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つ全てがインター予測ブロックである場合に拡大。それら４つのPUサイズについては不問。
第３条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、全て２Ｎ×２ＮのPUであり、かつ、それら４つのうちｍ（予め定められている４未満の自然数）個以下がイントラ予測ブロックである場合に拡大。なお、この場合には、拡大後の１つのブロックは、インター予測ブロックとされる。
第４条件：４分木構造の子ノードに相当する４つのブロックがすべて同じサイズであり、かつ、それら４つのうちｍ個以下がイントラ予測ブロックである場合に拡大。このとき、４つのブロックのPUサイズについては不問。
なお、上記のｍは、任意に定められるが、一例として、符号量制御器１３０は、符号化器１２０が出力する単位時間当たりの符号量（ビットレート）が第１の閾値（目標符号量に基づいて決定されるが、目標符号量よりも少ない量）を超える場合、または、超えそうな場合に、ｍの値を最大（上記の例では、３）にし、第１の閾値よりも小さい第２の閾値を超える場合、または、超えそうな場合に、ｍの値を最大値よりも小さい値に設定する。
また、符号量制御器１３０は、拡大可否判断条件のブロックサイズ拡大パラメータとして、第１条件〜第４条件の全てを出力してもよいが、状況（例えば、符号化器１２０が出力する単位時間当たりの符号量）に応じて、拡大可否判断条件のブロックサイズ拡大パラメータを変更してもよい。例えば、符号量制御器１３０は、最初は第１条件のみを出力し、単位時間当たりの符号量が増えるに従って、他の条件を追加する。
第１条件〜第４条件の各々が選択された場合、以下のような状態が生ずる。
第１条件について：例えば、４つのブロックが１つのブロックにマージされるので、その場合、４つの動きベクトルが１つの動きベクトルで代表される。よって、画質が悪くなるが、動きベクトルを表現するための符号量が１／４程度に減ることが期待される。ただし、動画像が静止した映像になるというほどではないが、画質はやや劣化する。
第２条件について：例えば、４つのブロックの中に、２Ｎ×２Ｎのブロックではないブロック（図２０（Ｂ）の上段に示されたPU分割によれば、複数のPUに分割される。）がある場合には、拡大前に存在する５つ以上のPUについての動きベクトルが１つの動きベクトルで代表される。よって、動きベクトルを表現するための符号量は、第１条件が選択された場合に比べて減ることが期待される。ただし、動画像が静止した映像になるというほどではないが、画質は劣化する。
第３条件および第４条件について：拡大前にインター予測ブロックとイントラ予測ブロックとが混在している場合に、１つのインター予測ブロックにマージされるので、符号量削減効果が大きい。ただし、動画像が静止した映像になるというほどではないが、第１条件および第２条件の場合よりも画質は劣化する。
なお、符号量制御器１３０は、第１条件〜第４条件のうち一部のみを使用してもよい。
「拡大方針」は、例えば、以下のうちのいずれかである。すなわち、「拡大方針」は、拡大の程度を示す。
０：拡大しない
１：１段階大きいサイズへ拡大
２：２段階大きいサイズへ拡大
３：３段階大きいサイズへ拡大
４：１６×１６より小さいサイズのブロックをすべて１６×１６に拡大
５：３２×３２より小さいサイズのブロックをすべて３２×３２に拡大
６：６４×６４より小さいサイズのブロックをすべて６４×６４に拡大
以下、ブロックサイズを拡大しないことを、ブロックサイズ拡大パラメータが０であるということがある。
なお、符号量制御器１３０は、拡大方針のブロックサイズ拡大パラメータとして、上記の７つのパラメータを任意に出力できる。一例として、符号量制御器１３０は、符号化器１２０が出力する単位時間当たりの符号量が第１の閾値（目標符号量に基づいて決定されるが、目標符号量よりも少ない量）を超える場合、または、超えそうな場合に、上記の１〜３のうちの「３」のパラメータ、または、上記の４〜６のうちの「６」のパラメータを出力する。
なお、符号量制御器１３０は、上記の７つのパラメータのうち一部のみを使用してもよい。
「拡大時の動きベクトル選定方法」は、例えば、以下のうちのいずれかである。
０：左上位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ａ）参照）。
１：右上位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｂ）参照）。
２：左下位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｃ）参照）。
３：右下位置ブロックの動きベクトルを、拡大後ブロックの動きベクトルとする（図２（Ｄ）参照）。
４：４ブロックの動きベクトルの平均ベクトルを、拡大後ブロックの動きベクトルとする（図３参照）。
なお、符号量制御器１３０は、上記の５つのパラメータのうちのいずれかのパラメータを常に出力するように構成されていてもよいし、状況（例えば、画像の内容）に応じて、使用するパラメータを切り替えるように構成されていてもよい。
また、符号量制御器１３０は、上記の５つのパラメータのうちの一部のみを使用してもよい。
符号量制御器１３０は、目標符号量と符号量情報（例えば、符号化器１２０が出力する単位時間当たりの符号量）とを入力として、現在符号化中の映像の符号量が目標符号量を超過しないようにブロックサイズ拡大パラメータを出力する。
次に、図４のフローチャートを参照して本実施形態の動画像符号化装置の動作を説明する。
入力画像の符号化が開始されると、まず、符号化パラメータ探索器１１０が、ブロック分割を行い、ブロック毎の符号化モードおよび予測モードを探索し符号化パラメータ＃１を決定する（ステップＳ１０１）。符号化パラメータ探索器１１０は、例えば、RDコストが高くなるように符号化パラメータを決定し、符号化パラメータ＃１として出力する。同時に、符号量制御器１３０は、目標符号量と符号化状況情報を基にしてブロックサイズ拡大パラメータを決定する（ステップＳ１０２）。なお、符号化状況情報は、例えば、符号化器１２０が出力する符号量のビットレートである。しかし、符号化状況情報は、ビットレートに限定されない。後述するように、符号化器１２０の動作状況（すなわち、例えば、ビットレートの増加状況）を認識可能な情報であれば、他の情報を用いてもよい（第２の実施形態参照）。
符号量制御器１３０は、上記の「拡大可否判断条件」、「拡大方針」および「拡大時の動きベクトル選定方法」のブロックサイズ拡大パラメータを出力する。
次に、ブロック拡大器１４０は、「拡大方針」によって、ブロックサイズ拡大パラメータが０であるかどうかを判断する（ステップＳ１０３）。ブロックサイズ拡大パラメータが０でない場合、ブロック拡大器１４０は、ブロックサイズ拡大パラメータに基づいて、ステップＳ１０２の処理で得られた符号化パラメータ＃１を修正し、符号化パラメータ＃２を出力する（ステップＳ１０４）。具体的には、ブロック拡大器１４０は、「拡大可否判断条件」に含まれる条件（第１条件〜第４条件のいずれか）に基づいてブロックを拡大すべきか否か決定し、ブロックを拡大すべきと決定した場合には、「拡大方針」に従って拡大の仕方を決定し、符号量制御器１３０から入力した「拡大時の動きベクトル選定方法」を動きベクトルの決定方法とする。
ブロック拡大器１４０は、ブロックサイズ拡大パラメータが０である場合には、符号化パラメータ＃１を修正せず、符号化パラメータ＃１を符号化パラメータ＃２とする。そして、符号化器１２０は、符号化パラメータ＃２を用いて、入力画像を符号化する（ステップＳ１０５）。なお、ブロック拡大器１４０は、「拡大方針」が「拡大しない」（＝０）でない場合であっても、「拡大可否判断条件」が満たされない場合には、符号化パラメータ＃１を修正しない。
次に、符号量制御器１３０の具体例を説明する。図５は、第１の実施形態の動画像符号化装置の第１の例を示すブロック図である。図５に示す符号量制御器１３０は、ブロックサイズ拡大パラメータを出力するために、パラメータテーブル１３１を記憶する。
図６は、パラメータテーブル１３１の記憶内容の一例を示す。図６に示す例では、パラメータテーブル１３１には、閾値とブロックサイズ拡大パラメータとの組（Ｔｈ１とｐａｒａｍ１、Ｔｈ２とｐａｒａｍ２、ＴｈＮとｐａｒａｍＮ）が複数記憶される。なお、ｐａｒａｍ１、ｐａｒａｍ２およびｐａｒａｍＮの各々は、上記の「拡大可否判断条件」、「拡大方針」および「拡大時の動きベクトル選定方法」のパラメータを含む。
図７は、ブロックサイズ拡大パラメータの選択方法を示すフローチャートである。図７に示すように、符号量制御器１３０は、符号化状況情報が各々の閾値を超えているか否かに応じたブロックサイズ拡大パラメータを出力する。
具体的には、符号量制御器１３０は、符号化状況情報が示す値が第１の閾値（Ｔｈ１）よりも小さいときには、「拡大しない」（＝０）を示すデータを出力する（ステップＳ１０１１）。符号化状況情報が示す値が第２の閾値（Ｔｈ２）よりも小さいときには、第１のブロックサイズ拡大パラメータ（ｐａｒａｍ１）を出力する（ステップＳ１０１２）。符号化状況情報が示す値が第３の閾値（ＴｈＮ）よりも小さいときには、第２のブロックサイズ拡大パラメータ（ｐａｒａｍ２）を出力する（ステップＳ１０１３）。また、符号化状況情報が示す値が第３の閾値（ＴｈＮ）以上であるときには、第Ｎのブロックサイズ拡大パラメータ（ｐａｒａｍＮ）を出力する。
なお、この例では、ｐａｒａｍＮは、最も符号量低減効果が高くなるブロックサイズ拡大パラメータを含む。符号量低減効果が高くなるパラメータは、例えば、より大きいサイズに拡大されたり（「拡大方針」に関して）、「拡大」が選択されやすいこと（「拡大可否判断条件」に関して）に対応するパラメータである。
次に、符号化状況情報の具体例について説明する。
図８は、第１の実施形態の動画像符号化装置の第２の例を示すブロック図である。図８に示す例では、符号量制御器１３０は、第１の例における閾値に代えて、過去統計情報１３２を使用する。過去統計情報１３２は、過去に入力された符号化状況情報の統計情報（例えば、ビットレートの平均値）である。符号量制御器１３０は、過去統計情報１３２と、現在の符号化状況情報とを用いて比較することによって符号量が目標符号量を超過するかどうか判断し、超過すると判断した場合には、０ではないブロックサイズ拡大パラメータを出力する。
なお、符号量制御器１３０は、過去統計情報１３２と第１の例におけるパラメータテーブル１３１とを併用してもよい。その場合、一例として、過去統計情報１３２に基づいて、符号量が目標符号量を超過しそうであると判断したときに、第１の例に基づいてブロックサイズ拡大パラメータを出力する。ただし、第１の例では、符号量制御器１３０は、「拡大しない」（＝０）を示すデータを出力することがあるが、第２の例では、「拡大しない」（＝０）を示すデータを出力しないようにする。第２の例では、符号量が目標符号量を超過すると判断した場合に、０ではないブロックサイズ拡大パラメータを出力するように制御されるからである。
実施形態２．
図９は、動画像符号化装置の第２の実施形態を示すブロック図である。図９には、符号化状況情報を出力する符号化状況情報出力器１５０が明示されている。
図１０は、第２の実施形態の動画像符号化装置の第１の例を示すブロック図である。図１０に示す符号化状況情報出力器１５０は、符号量出力器１５１を含む。
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
符号量出力器１５１は、符号化器１２０がブロックまたはピクチャの符号化を完了するごとに、そのブロックまたはピクチャの符号化データの量（符号量）を入力し、符号量を符号化状況情報として出力する。
図１１は、第２の実施形態の動画像符号化装置の第２の例を示すブロック図である。図１１に示す符号化状況情報出力器１５０は、複雑度算出器１５２を含む。
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
複雑度算出器１５２は、入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を出力する。複雑度算出器１５２は、一例として、１フレームを所定サイズのブロックに分割したときの各ブロック内の画素値の分散を算出したり、あるフレームとその前フレームとの差分フレームを所定のサイズのブロックに分割したときの各ブロック内の画素値の分散を算出し、算出した値を特徴量として出力する。従って、特徴量は、入力映像の符号化の困難さの度合い（符号化器１２０が発生する符号量の程度（多い／少ない））を示す。
符号化状況情報出力器１５０は、複雑度算出器１５２が出力した特徴量を符号化状況情報として出力する。
符号量制御器１３０は、符号化状況情報出力器１５０が出力した符号化状況情報（特徴量）に基づいて、符号化器１２０の符号化結果（具体的には、符号化されたデータ）の符号量を予測する。そして、符号量制御器１３０は、符号量が目標符号量を超過するかどうか判断し、超過すると判断した場合には、０ではないブロックサイズ拡大パラメータを出力する。
図１２は、第２の実施形態の動画像符号化装置の第３の例を示すブロック図である。図１２に示す符号化状況情報出力器１５０は、動きベクトルバッファ占有率算出器１５３を含む。動きベクトルバッファ占有率算出器１５３は、符号化結果バッファ１５３１と占有率算出器１５３２とを有する。
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
動きベクトルバッファ占有率算出器１５３は、符号化器１２０の符号化結果（具体的には、符号化されたデータ）を一時記憶する。占有率算出器１５３２は、符号化結果バッファ１５３１に蓄積されたデータ量（符号量）のうち動きベクトルの符号量が占める割合を算出する。そして、符号化状況情報出力器１５０は、占有率算出器１５３２が算出した割合を符号化状況情報として出力する。
符号量制御器１３０は、符号化状況情報として割合に基づいて、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。この例では、符号化状況情報が示す値（すなわち、動きベクトルの符号量が占める割合）が大きいほど、符号量低減効果が高くなるブロックサイズ拡大パラメータを出力する。
図１３は、第２の実施形態の動画像符号化装置の第４の例を示すブロック図である。図１３に示す符号化状況情報出力器１５０は、シーンチェンジ検出器１５４を含む。
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
シーンチェンジ検出器１５４は、入力映像の急峻な変化（シーンチェンジ）を検出すると、符号量制御器１３０に、シーンチェンジ検出信号を符号化状況情報として出力する。なお、シーンチェンジを検出する方法として種々の方法があるが、基本的には連続するフレームの特徴量を比較し、その変化が大きいフレームをシーンチェンジが発生したフレームとする。
符号量制御器１３０は、シーンチェンジ検出信号が入力されると、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。ただし、第１の実施形態では、符号量制御器１３０は、複数のブロックサイズ拡大パラメータから選択されたパラメータを出力可能であるが、この例では、シーンチェンジ検出信号が入力されないときには、符号量制御器１３０は、「拡大しない」（＝０）を示すデータを出力し、シーンチェンジ検出信号が入力されたときには、一例として、あらかじめ決められているブロックサイズ拡大パラメータを出力する。
図１４は、第２の実施形態の動画像符号化装置の第５の例を示すブロック図である。図１４に示す符号化状況情報出力器１５０は、ＧＯＰ（Group of Picture）構造決定器１５５を含む。ＧＯＰ構造決定器１５５は、符号化状況情報出力器１５０の外部に設けられていてもよい。
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
ＧＯＰ構造決定器１５５は、映像符号化時のピクチャのグループ構成（ＧＯＰ構造）を決定する。そして、ＧＯＰ構造決定器１５５は、グループ構成を変更するときに、ＧＯＰ構造を変更することを示すデータと変更後のＧＯＰ構造を示すデータとを符号化状況情報として出力する。
符号量制御器１３０は、ＧＯＰ構造を変更することを示すデータと変更後のＧＯＰ構造を示すデータが入力されると、第１の実施形態について説明された制御によって、ブロックサイズ拡大パラメータを出力する。例えば、ＧＯＰ構造を変更することを示すデータが入力されると、「拡大しない」（＝０）を示すデータを出力することに決定し、変更後のＧＯＰ構造を示すデータを基に、いずれのブロックサイズ拡大パラメータを出力するのかを決定する。
なお、上記の第１の例〜第５の例として示された方法のうちのいずれか１つが用いられてもよいし、それらの方法のうちの任意の２つ以上の方法が併用されてもよい。
実施形態３．
図１５は、動画像符号化装置の第３の実施形態を示すブロック図である。図１５に示す動画像符号化装置において、符号化状況情報出力器１５０は、目標符号量決定器１５６を含む。
なお、符号化パラメータ探索器１１０、符号量制御器１３０、ブロック拡大器１４０および符号化器１２０の動作は第１の実施形態の場合と同様である。
また、符号化状況情報出力器１５０は、第２の実施形態における第１の例〜第５の例のいずれか１つ以上の方法を実行する機能（図１０〜図１４参照）を備えていてもよい。
目標符号量決定器１５６は、例えば、目標符号量が変更されたときに、変更後の目標符号量を符号量制御器１３０に供給する。なお、目標符号量が変更される契機は、例えば、動画像符号化装置の外部から入力される目標符号量が変化するときや、符号量制御器１３０における過去の符号量が設定済の目標符号量を超過しない期間が所定期間以上継続したときや、符号量制御器１３０における過去の符号量が設定済の目標符号量を超過する頻度が所定の閾値を超えたときなどである。
また、目標符号量決定器１５６は、目標符号量が変化することを示すデータを符号化状況情報として出力するように構成されていてもよい。その場合、符号量制御器１３０は、目標符号量が変化するときに、いずれのブロックサイズ拡大パラメータを出力するのかを決定する。
本発明では、ブロック拡大器１４０および符号化器１２０が、符号量制御器１３０が出力するブロックサイズ拡大パラメータに従って動作することによって、符号量が急激に多くなりそのままでは目標符号量を超過するような状況においても、動きベクトルの数を削減し、目標符号量を超過しないような映像符号化を行うことができる。ブロックサイズが拡大されることによって動きベクトルの数が削減されるからである。
スキップモードを使用する場合、スキップモードにした後では、全てのブロックの動きベクトルの向きが同じになり画質が劣化するが（図２２参照）、本発明によれば、ブロックサイズが拡大された後の動きベクトルの向きが常に同じということにはならず、動き情報がある程度保存される（図１６参照）。すなわち、画質劣化を軽減することができる。
なお、上記の実施形態の動画像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図１７に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図１７に示された情報処理システムにおいて、プログラムメモリ１００２には、上記の実施形態の動画像符号化装置における各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、上記の実施形態の動画像符号化装置の機能を実現する。
図１８は、本発明による動画像符号化装置の主要部を示すブロック図である。図１８に示すように、動画像符号化装置は、入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段１０（一例として、図１に示す符号化パラメータ探索器１１０で実現される。）と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段２０（一例として、図１に示す符号化器１２０で実現される。）とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段３０（一例として、図１に示す符号量制御器１３０で実現される。）と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段４０（一例として、図１に示すブロック拡大器１４０で実現される。）とを備える。
動画像符号化装置は、符号化状況情報に関する閾値とブロックサイズ拡大パラメータとの組を複数記憶するパラメータテーブル（図５に示すパラメータテーブル１３１に相当）を備え、符号量制御手段３０が、入力された符号化状況情報が示す値と閾値との比較結果に応じたブロックサイズ拡大パラメータをパラメータテーブルから選択するように構成されていてもよい。
動画像符号化装置は、符号量制御手段３０が、過去に入力された符号化状況情報の統計情報と入力された符号化状況情報が示す値との比較結果に応じたブロックサイズ拡大パラメータを選択するように構成されていてもよい。
動画像符号化装置は、符号化データの符号量を符号化状況情報として出力する符号量出力手段（図１０に示す符号量出力器１５１に相当）を備えていてもよい。
動画像符号化装置は、入力映像を解析し、符号化後の符号量の予測に使用可能な特徴量を算出して符号化状況情報として出力する複雑度算出手段（図１１に示す複雑度算出器１５２に相当）を備えていてもよい。
動画像符号化装置は、符号化データの符号量のうち動きベクトルの符号量が占める割合を算出して符号化状況情報として出力する占有率算出手段（図１２に示す占有率算出器１５３２に相当）を備えていてもよい。
動画像符号化装置は、入力映像のシーンチェンジを検出すると、シーンチェンジ検出信号を符号化状況情報として出力するシーンチェンジ検出手段（図１３に示すシーンチェンジ検出器１５４に相当）を備えていてもよい。
動画像符号化装置は、ＧＯＰが変更されるときに、変更後のＧＯＰ構造を示すデータを符号化状況情報として出力するＧＯＰ構造決定手段（図１４に示すＧＯＰ構造決定器１５５に相当）を備えていてもよい。
なお、本発明は、固定ビットレートでの映像圧縮装置や、固定ビットレートでの映像圧縮をコンピュータ上で実現するためのプログラムに適用可能である。また、上限ビットレートが存在する変動ビットレートでの映像圧縮装置や、上限ビットレートが存在する変動ビットレートでの映像圧縮をコンピュータで実現するためのプログラムにも適用可能である。
上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、符号化状況情報が、目標符号量信号が変化したことの通知である動画像符号化装置。
（付記２）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大可能判断条件を供給する動画像符号化装置。
（付記３）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大方針を供給する動画像符号化装置。
（付記４）入力映像を入力として符号化パラメータを出力する符号化パラメータ探索手段と、入力映像と符号化パラメータとを入力して符号化を行う符号化手段とを有する動画像符号化装置であって、目標符号量と符号化状況情報とに基づいて、少なくとも拡大の程度を示すブロックサイズ拡大パラメータを決定する符号量制御手段と、ブロックサイズ拡大パラメータに基づいて入力映像ブロックサイズを拡大するブロックサイズ拡大手段とを備え、ブロックサイズ拡大手段が、ブロックサイズ拡大パラメータとして、ブロックサイズ拡大時の動きベクトル選択方法を供給する動画像符号化装置。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１５年１月１９日に出願された日本特許出願２０１５−００７５６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 符号化パラメータ探索手段
２０ 符号化手段
３０ 符号量制御手段
４０ ブロックサイズ拡大手段
１１０ 符号化パラメータ探索器
１２０ 符号化器
１３０ 符号量制御器
１３１ パラメータテーブル
１３２ 過去統計情報
１４０ ブロック拡大器
１５０ 符号化状況情報出力器
１５１ 符号量出力器
１５２ 複雑度算出器
１５３ 動きベクトルバッファ占有率算出器
１５３１ 符号化結果バッファ
１５３２ 占有率算出器
１５４ シーンチェンジ検出器
１５５ ＧＯＰ構造決定器
１５６ 目標符号量決定器
２１０ 符号化パラメータ探索器
２２０ 符号化器
２２１ 変換器
２２２ 量子化器
２２３ 逆量子化器
２２４ 逆変換器
２２５ バッファ
２２６ 予測器
２２７ エントロピー符号化器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (9)

  1. 入力映像を入力として符号化パラメータを探索し出力する符号化パラメータ探索手段と、
    前記入力映像と前記符号化パラメータとを入力として符号化を行う符号化手段とを有する動画像符号化装置であって、
    前記符号化パラメータは、符号化の単位である、前記入力映像が分割されて得られるブロックのブロックサイズと、それらブロックそれぞれの符号化に用いる動きベクトルを特定可能なパラメータとを含み、
    目標符号量と、前記符号化手段が出力する符号量が前記目標符号量を超過するか否かの判定のための指標である符号化状況情報とを用い、符号量が前記目標符号量を超過すると判定したときに前記ブロックサイズの拡大の程度を示すブロックサイズ拡大パラメータを、前記ブロックサイズを拡大することを示す値に決定する符号量制御手段と、
    前記ブロックサイズ拡大パラメータに基づいて前記ブロックサイズを拡大し、拡大前の複数の前記ブロックの動きベクトルから拡大後のブロックの動きベクトルを選択するブロックサイズ拡大手段とを備える
    ことを特徴とする動画像符号化装置。
  2. 符号化状況情報に関する閾値とブロックサイズ拡大パラメータとの組を複数記憶するパラメータテーブルを備え、
    前記符号量制御手段は、入力された符号化状況情報が示す値と閾値との比較結果に応じた前記ブロックサイズ拡大パラメータを前記パラメータテーブルから選択する
    請求項１記載の動画像符号化装置。
  3. 符号化データの符号量を符号化状況情報として出力する符号量出力手段を備え、
    前記符号量制御手段は、過去に入力された前記符号化状況情報の統計情報と入力された符号化状況情報が示す値とを比較し、比較結果に応じて前記ブロックサイズ拡大パラメータを決定する
    請求項１記載の動画像符号化装置。
  4. 入力映像を解析し、符号化後の符号量の多寡を示す特徴量を算出して符号化状況情報として出力する符号化状況情報出力手段を備える
    請求項１から請求項３のうちのいずれか１項に記載の動画像符号化装置。
  5. 符号化データの符号量のうち動きベクトルの符号量が占める割合を算出して符号化状況情報として出力する占有率算出手段を備える
    請求項１から請求項４のうちのいずれか１項に記載の動画像符号化装置。
  6. 入力映像のシーンチェンジを検出すると、シーンチェンジ検出信号を符号化状況情報として出力するシーンチェンジ検出手段を備える
    請求項１から請求項５のうちのいずれか１項に記載の動画像符号化装置。
  7. ＧＯＰが変更されるときに、変更後のＧＯＰ構造を示すデータを符号化状況情報として出力するＧＯＰ構造決定手段を備える
    請求項１から請求項６のうちのいずれか１項に記載の動画像符号化装置。
  8. 入力映像を入力として符号化パラメータを生成し、
    前記入力映像と前記符号化パラメータとを入力して符号化を行う動画像符号化方法であって、
    前記符号化パラメータは、符号化の単位である、前記入力映像が分割されて得られるブロックのブロックサイズと、それらブロックそれぞれの符号化に用いる動きベクトルを特定可能なパラメータとを含み、
    目標符号量と、前記符号化による符号量が前記目標符号量を超過するか否かの判定のための指標である符号化状況情報とを用い、符号量が前記目標符号量を超過すると判定したときに前記ブロックサイズの拡大の程度を示すブロックサイズ拡大パラメータを、前記ブロックサイズを拡大することを示す値に決定し、
    前記ブロックサイズ拡大パラメータに基づいて前記ブロックサイズを拡大し、拡大前の複数の前記ブロックの動きベクトルから拡大後のブロックの動きベクトルを選択する
    ことを特徴とする動画像符号化方法。
  9. 入力映像を入力として符号化パラメータを生成し、前記入力映像と前記符号化パラメータとを入力して符号化を行うための動画像符号化プログラムであって、
    前記符号化パラメータは、符号化の単位である、前記入力映像が分割されて得られるブロックのブロックサイズと、それらブロックそれぞれの符号化に用いる動きベクトルを特定可能なパラメータとを含み、
    コンピュータに、
    目標符号量と、前記符号化による符号量が前記目標符号量を超過するか否かの判定のための指標である符号化状況情報とを用い、符号量が前記目標符号量を超過すると判定したときに前記ブロックサイズの拡大の程度を示すブロックサイズ拡大パラメータを、前記ブロックサイズを拡大することを示す値に決定する処理と、
    前記ブロックサイズ拡大パラメータに基づいて前記ブロックサイズを拡大し、拡大前の複数の前記ブロックの動きベクトルから拡大後のブロックの動きベクトルを選択する処理とを実行させる
    ための動画像符号化プログラム。
JP2016570215A 2015-01-19 2015-12-16 動画像符号化装置、動画像符号化方法および動画像符号化プログラム Active JP6652068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015007562 2015-01-19
JP2015007562 2015-01-19
PCT/JP2015/006271 WO2016116984A1 (ja) 2015-01-19 2015-12-16 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Publications (2)

Publication Number Publication Date
JPWO2016116984A1 JPWO2016116984A1 (ja) 2017-10-26
JP6652068B2 true JP6652068B2 (ja) 2020-02-19

Family

ID=56416554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016570215A Active JP6652068B2 (ja) 2015-01-19 2015-12-16 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Country Status (3)

Country Link
US (1) US20180027256A1 (ja)
JP (1) JP6652068B2 (ja)
WO (1) WO2016116984A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721468B2 (en) 2016-09-12 2020-07-21 Nec Corporation Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program
WO2019170259A1 (en) 2018-03-09 2019-09-12 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients
EP3928513A4 (en) * 2019-02-20 2022-09-21 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND APPARATUS FOR ROUNDING, SHAPING AND STORING MOTION VECTOR FOR INTERPREDICTION
CN115379228A (zh) * 2022-08-25 2022-11-22 北京大学深圳研究生院 一种视频编码的码率控制方法、装置及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3778960B2 (ja) * 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
JP4649318B2 (ja) * 2004-12-13 2011-03-09 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2009147807A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
JP5470405B2 (ja) * 2009-12-28 2014-04-16 パナソニック株式会社 画像符号化装置および方法
WO2011125286A1 (ja) * 2010-04-02 2011-10-13 パナソニック株式会社 無線通信装置及び無線通信方法
US9031341B2 (en) * 2011-02-28 2015-05-12 Megachips Corporation Image coding apparatus
JP5727873B2 (ja) * 2011-06-10 2015-06-03 日本放送協会 動きベクトル検出装置、符号化装置、及びこれらのプログラム

Also Published As

Publication number Publication date
US20180027256A1 (en) 2018-01-25
JPWO2016116984A1 (ja) 2017-10-26
WO2016116984A1 (ja) 2016-07-28

Similar Documents

Publication Publication Date Title
US11553185B2 (en) Method and apparatus for processing a video signal
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
KR20240017042A (ko) 영상 부호화/복호화 방법 및 장치
US7643559B2 (en) Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
KR102412934B1 (ko) 인트라 예측 방법 및 그 장치
WO2016049834A1 (en) Hash-based encoder decisions for video coding
US10652570B2 (en) Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program
KR20180046875A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2014162871A1 (ja) ブロックサイズ決定方法、映像符号化装置、及びプログラム
JP2008227670A (ja) 画像符号化装置
JP6965887B2 (ja) イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム
JP6652068B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2017034531A (ja) 動画像符号化装置及び動画像符号化方法
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
WO2013014693A1 (ja) 動画像復号化方法及び画像符号化方法
JP2008153907A (ja) 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法
JP2010206751A (ja) 動画像圧縮符号化装置
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP2015211269A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
JP2007208802A (ja) 画像符号化装置及び画像符号化方法
JP6867763B2 (ja) 符号化装置及びプログラム
JP5957513B2 (ja) 動画像復号化方法
JP6323185B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10034011B2 (en) Video coding apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R150 Certificate of patent or registration of utility model

Ref document number: 6652068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150