[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2003018603A - 動画像符号化方法及び装置 - Google Patents

動画像符号化方法及び装置

Info

Publication number
JP2003018603A
JP2003018603A JP2001200158A JP2001200158A JP2003018603A JP 2003018603 A JP2003018603 A JP 2003018603A JP 2001200158 A JP2001200158 A JP 2001200158A JP 2001200158 A JP2001200158 A JP 2001200158A JP 2003018603 A JP2003018603 A JP 2003018603A
Authority
JP
Japan
Prior art keywords
frame
allocation
encoding
code amount
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001200158A
Other languages
English (en)
Other versions
JP3866538B2 (ja
Inventor
Shinichiro Koto
晋一郎 古藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001200158A priority Critical patent/JP3866538B2/ja
Priority to US10/183,516 priority patent/US7075982B2/en
Publication of JP2003018603A publication Critical patent/JP2003018603A/ja
Application granted granted Critical
Publication of JP3866538B2 publication Critical patent/JP3866538B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】フレームレート可変のフレーム間予測符号化に
おいて正確なＶＢＶ管理と最適な符号量割り当てを両立
させた高能率な２パス動画像符号化方法を提供する。 【解決手段】フレーム単位で入力される入力動画像信号
を固定フレームレートで符号化してフレーム毎の発生符
号量を含む統計データを生成する第１符号化を行い（ス
テップＳ１）、得られた統計データに従って各フレーム
に対する符号量割り当て及び量子化スケール割り当ての
少なくとも一方を決定し（ステップＳ２〜Ｓ３）、さら
に各フレームのフレームスキップの実行の有無を示すフ
レームスキップ割り当てを決定し（ステップＳ６）、決
定された符号量割り当て及び量子化スケール割り当ての
少なくとも一方とフレームキップ割り当てに従って入力
動画像信号を符号化して符号列を生成する第２符号化を
行う（ステップＳ７）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術の分野】本発明は、少なくとも２回
の符号化により動画像を符号化する動画像符号化システ
ムにおいて、特に１回目の符号化結果によって入力動画
像の統計的性質を分析し、その分析結果に基づいて２回
目の符号化を行う動画像符号化方法及び装置に関する。
【０００２】
【従来の技術】ＤＶＤ(Digital Versatile Disc)に代表
されるような可変レートのデータ読み出しが可能な蓄積
メディアでは、動画像信号を記録する際に可変ビットレ
ートの動画像符号化を用いることで、一定のディスク容
量の中で高能率な動画像圧縮を実現している。例えば、
ＤＶＤではＭＰＥＧ２（Moving Picture Experts Group
phase 2）動画像符号化方式が採用されている。
【０００３】ＭＰＥＧ２では、エントロピー符号化を用
いているため、入力動画像の解像度や動きの激しさ等に
応じて、一定の画質を得るための必要な符号量が異なっ
てくる。従って動画像の性質に合わせてビットレートを
変動させることで、固定ビットレートの符号化に比べ
て、平均ビットレートを下げることが可能となり、総符
号量を削減することが可能となる。
【０００４】ＤＶＤのような蓄積メディアへの記録のた
めの動画像符号化では、最適なビット配分を実現するた
め、２回の符号化により動画像を符号化する、いわゆる
２パス符号化がしばしば行われる。例えば、特開平８−
１８６８２１には、１回目の符号化によってフレーム単
位の統計データを取得し、それに基づいて動画像シーケ
ンス全体にわたってフレーム単位の符号量割り当てを行
い、可変ビットレートによる２回目の符号化を行う技術
が開示されている。
【０００５】インターネットやモバイル端末での動画像
伝送をターゲットとして、ＤＶＤの記録ビットレートよ
りも低ビットレートで動画像信号を符号化することを目
的としたＭＰＥＧ４（Moving Picture Experts Group p
hase 4）動画像符号化方式が１９９９年に規格化され
た。ＭＰＥＧ４は、ＭＰＥＧ２に比べて圧縮効率の向上
やエラー耐性の強化、オブジェクト符号化に代表される
アプリケーションの多様性など、様々な機能拡張がなさ
れた動画像符号化方式である。ＭＰＥＧ２では、ＴＶ信
号やシネフィルムを想定した固定フレームレートでの符
号化が基本となっているのに対して、ＭＰＥＧ４では低
レートの符号化を実現するため、フレームスキップを用
いることで任意のフレームレートでの符号化が可能とな
っている。
【０００６】ＭＰＥＧ４動画像符号化方式では、フレー
ムレートをいかに動的に制御するかが、同じ平均ビット
レートの下での画質の良否に大きく影響する。例えば、
特開２０００−３５０２１１に示されるように、入力画
像の動きの有無などを事前に検出し、シーン毎にフレー
ムレートを変更して符号化を行う方法などが知られてい
る。
【０００７】ＭＰＥＧ２およびＭＰＥＧ４動画像符号化
方式では、ＶＢＶ(Video BufferingVerifier)と呼ばれ
る、仮想デコーダにおける受信バッファモデルにおい
て、バッファのアンダーフローやオーバーフローが発生
しないように、レート制御を伴って符号化を行うことが
要求されている。しかし、特開２０００−３５０２１１
では、ＶＢＶの管理が考慮されていない。
【０００８】また、ＶＢＶの動作はフレームを単位とす
るバッファ変動モデルであるため、ＶＢＶの制御と高能
率符号化のための符号量割り当てを実現するには、フレ
ーム単位の発生符号量を正確に推定する必要がある。Ｍ
ＰＥＧ２やＭＰＥＧ４では、フレーム間予測符号化が行
われるため、フレームスキップがある場合、予測画像と
参照画像とのフレーム間隔が大きくなり、予測効率が低
下して符号化効率が低下する場合がある。従って、１回
目の符号化と２回目の符号化においてフレームスキップ
の位置が異なると、１回目の符号化で２回目の符号化に
おける発生符号量を予測することが直接的には困難とな
る。
【０００９】
【発明が解決しようとする課題】上述したように従来の
２パス符号化による動画像符号化技術においては、２回
目の符号化でフレームレート可変のフレーム間予測符号
化を行う場合、ＶＢＶ管理の下で正確かつ最適な符号量
割り当てを行うことが困難であるという問題があった。
【００１０】本発明は、フレームレート可変のフレーム
間予測符号化において最適な符号量割り当ての両立を可
能とする、２パス符号化による高能率の動画像符号化方
法及び装置を提供することを主たる目的とする。
【００１１】本発明の他の目的は、２パスの符号化にお
いて正確なＶＢＶ管理と最適な符号量割り当ての両立を
可能とすることにある。
【００１２】
【課題を解決するための手段】上記課題を解決するた
め、本発明は少なくとも２回の符号化によって動画像を
符号化する動画像符号化において、フレーム単位で入力
される入力動画像信号を固定フレームレートで符号化し
てフレーム毎の発生符号量を含む統計データを生成する
第１符号化を行う。次に、第１符号化で生成された統計
データに従って各フレームに対する符号量割り当て及び
量子化スケール割り当ての少なくとも一方を決定し、さ
ら各フレームのフレームスキップの実行の有無を示すフ
レームスキップ割り当てを決定する。こうして決定され
た符号量割り当て及び量子化スケール割り当ての少なく
とも一方とフレームキップ割り当てに従って入力動画像
信号を符号化して符号列を生成する第２符号化を行う。
【００１３】また、本発明によると少なくとも２回の符
号化によって動画像を符号化する処理をコンピュータに
実行させるためのプログラムであって、フレーム単位で
入力される入力動画像信号を固定フレームレートで符号
化してフレーム毎の発生符号量を含む統計データを生成
する処理と、前記統計データに従って各フレームに対す
る符号量割り当て及び量子化スケール割り当ての少なく
とも一方を決定する処理と、前記統計データに従って各
フレームのフレームスキップの実行の有無を示すフレー
ムスキップ割り当てを決定する処理と、前記符号量割り
当て及び量子化スケール割り当ての少なくとも一方と前
記フレームキップ割り当てに従って前記入力動画像信号
を符号化して符号列を生成する処理とをコンピュータに
実行させるためのプログラムが提供される。
【００１４】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は、本発明の一実施形態に係
る動画像符号化装置の概略的な構成を示すブロック図で
ある。この動画像符号化装置は、全体がハードウェアに
より実現されていてもよいが、一部または全部がコンピ
ュータにによるソフトウェア処理によって実現されても
よい。
【００１５】図１において、蓄積メディア１は例えばハ
ードディスクやディジタルＶＴＲであり、この蓄積メデ
ィア１から再生される動画像信号（映像信号）は符号化
部２に符号化対象の画像信号（入力動画像信号という）
として入力される。符号化部２は、例えばＭＰＥＧ４方
式に基づく動画像符号化器（ＭＰＥＧ４エンコーダ）に
よって構成される。符号化部２は、蓄積メディア１から
繰り返し再生される同じ動画像シーケンスの入力動画像
信号を少なくとも２回符号化することによって最終的な
符号化データを出力する。
【００１６】符号化部２においては、まず１回目の符号
化（以下、第１符号化という）において入力動画像信号
のフレーム毎の符号化特性を反映した統計データが抽出
される。この統計データは、符号化特性推定部３に入力
される。符号化特性推定部３では、入力された統計デー
タに基づき符号化部２の後述する符号化特性が推定され
る。
【００１７】符号化特性推定部３で推定された符号化特
性に基づいて、符号量／量子化スケール割り当て部４に
より各フレームに対する符号化割り当て及び量子化スケ
ール割り当ての少なくとも一方が行われる。すなわち、
符号化部２において入力動画像信号１を符号化するとき
の各フレームに対する符号量割り当てまたは量子化スケ
ールあるいはその両方が決定される。
【００１８】さらに、符号化特性推定部３で推定された
符号化特性に基づいて、フレームスキップ割り当て部５
により各フレームのフレームスキップの実行の有無を示
すフレームスキップ割り当てが行われる。すなわち、フ
レームスキップ割り当て部５では、符号化部２が２回目
の符号化（以下、第２符号化という）を行うときの各フ
レームのフレームスキップの有無が決定される。
【００１９】こうしてフレーム毎に決定された符号量割
り当て及び量子化スケールの少なくとも一方とフレーム
スキップ割り当てに基づいて、符号化部２において第２
符号化が行われる。第２符号化で符号化部２により生成
された符号列は、最終的な符号化データとして動画像符
号化装置から出力される。
【００２０】次に、図２に示すフローチャートを用いて
本実施形態における概略的な処理の流れを説明する。な
お、本実施形態では各フレームに対する符号量割り当て
及び量子化スケール割り当てのうち符号量割り当てのみ
を決定する場合について説明するが、フレーム毎の符号
量割り当てに代えてフレーム毎の量子化スケール割り当
てを決定してもよく、あるいはフレーム毎の符号量割り
当てと量子化スケール割り当ての両方を決定してもよ
い。
【００２１】まず、符号化対象である入力動画像信号１
０に対して、第１符号化を行う（ステップＳ１）。第１
符号化は、入力動画像信号１０のフレーム毎の符号化特
性を示す統計データ１１を収集することが目的であり、
例えば固定の量子化スケールを用い、さらに例えばＭＰ
ＥＧ４などの標準化された動画像符号化方式により、固
定フレームレートで符号化を行う。統計データ１１に
は、各フレームの量子化スケールの情報と発生符号量の
情報を含むものとする。
【００２２】次に、ステップＳ１で得られた統計データ
１１から、符号化特性の推定を行う（ステップＳ２）。
符号化特性とは、例えばフレーム毎の発生符号量と量子
化スケールの関係を表す関数であり、ステップＳ２では
その関数のパラメータを出力する。
【００２３】次に、ステップＳ２で得られた符号化特性
のパラメータを用いて、フレーム毎の符号量割り当て
（ビットアロケーションともいう）を動画像シーケンス
全体にわたって、つまり一連の連続した入力動画像信号
１０の全体にわたって行う（ステップＳ３）。この符号
量割り当ては、与えられた平均ビットレートの下で均一
な画質が得られるように行われる。次に、ステップＳ３
により割り当てられた符号量の下で、ＶＢＶ(Video Buf
fering Verifier)の条件チェックを行う（ステップＳ
４）。ＶＢＶは既に知られているように、ＭＰＥＧビデ
オ符号化で定義される仮想デコーダモデルであり、仮想
デコーダにおける受信バッファ（ＶＢＶバッファ）モデ
ルにおいて、アンダーフロー及びオーバーフローが発生
しないように発生符号量のバースト性を制限しなければ
ならないというものである。
【００２４】ＭＰＥＧビデオ符号化データは、ＶＢＶモ
デルに適合することが規格上、義務付けられている。任
意の符号量割り当てを行うと、ＶＢＶの条件を満たさな
くなる場合がある。このような場合には、ステップＳ４
の後にステップＳ３で行われた符号量割り当てについて
の修正（ビットアロケーション修正）を行い（ステップ
Ｓ５）、また必要に応じたフレームスキップ（フレーム
間引き）の挿入、すなわちフレームスキップ割り当て
（フレームスキップアロケーション）を行う（ステップ
Ｓ６）。ステップＳ５及びＳ６の処理は、ステップＳ４
でＶＢＶの条件が満たされるまで繰り返される。
【００２５】ＶＢＶ条件が満たされる符号量割り当ての
修正及びフレームスキップの割り当てが完了した後、ス
テップＳ３で行われた符号量割り当て（ステップＳ５で
符号量割り当てが修正された場合は修正後の符号量割り
当て）とステップＳ６で行われたフレームスキップ割り
当ての結果を表す符号量割り当て／フレームスキップ割
り当てデータ１２を用いて、第１符号化に供されたのと
同じ動画像信号１０に対して第２符号化を行う（ステッ
プＳ７）。
【００２６】第２符号化では、基本的に第１符号化と同
一の符号化方式を用いる。但し、第２符号化では符号量
割り当て／フレームスキップ割り当てデータ１２に従っ
て、発生符号量が与えられた符号量になるようにレート
制御が行われ、またフレームスキップ処理が適宜行われ
る。第２符号化によって、最適化された符号化データ１
３が出力される。
【００２７】次に、図３を用いて図２中の符号化特性推
定ステップ（Ｓ２）の処理について具体的に説明する。
一般に、動画像符号化データの発生符号量は量子化スケ
ールに対して変化するので、量子化スケールの調整によ
って発生符号量の制御が行われる。図３（ａ）に、量子
化スケールと発生符号量の関係を表したグラフを示す。
図３（ａ）において横軸は量子化スケール、縦軸は発生
符号量を示している。また、これら発生符号量と量子化
スケールの関係は、画像毎に、つまり画像の性質に応じ
て変化する。例えば、画像の解像度が高くなるに従い、
あるいは画像の変化が激しくなるに従って、符号化特性
は図３（ａ）において破線矢印で示した方向に変化す
る。符号化特性推定ステップ（Ｓ２）では、図３（ａ）
に示したような符号化特性が求められる。
【００２８】一方、図３（ｂ）は量子化スケールと復号
再生画像信号のＳＮ比との関係を示している。復号再生
画像信号は、動画像符号化装置により得られた動画像符
号化データを動画像復号化装置により復号して得られる
動画像信号である。ＭＰＥＧビデオ符号化のような量子
化を伴う符号化では、量子化スケールの増加に伴って符
号化歪が増加し、復号再生画像信号のＳＮ比が低下す
る。符号化歪は、一義的には量子化スケールによって決
まり、画像の性質には依存しない。視覚特性を考慮した
量子化重み（空間周波数ごとに量子化幅が変動する）を
用いる場合は、必ずしもこの限りではないが、一般に量
子化スケールに対してＳＮ比は単調減少する特徴があ
る。
【００２９】従って、動画像シーケンス全体にわたって
安定した再生画質を得るためには、量子化スケールの変
動を抑制して、なるべく均一の量子化スケールを用いれ
ばよい。但し、仮に量子化スケールを同一とした場合、
上述の通りフレーム毎の発生符号量は画像の性質に依存
して変化するものとなる。
【００３０】量子化スケールの変動を抑え、かつ所定の
ビットレートで符号化を行うためには、図３（ａ）に示
した符号化特性を周期的に、例えばフレーム毎に求める
必要がある。符号化特性、すなわち発生符号量と量子化
スケールの関係は、指数関数や高次の関数で近似するこ
とが可能である。ここでは、最も単純な例として、次式
により符号化特性を近似した場合について説明する。
【００３１】
【数１】
【００３２】式（１）において、Ｒｉはｉ番目のフレー
ムの推定発生符号量、Ａｉ及びＢｉはｉ番目のフレーム
の符号化特性を示すパラメータ、Ｑは量子化スケールで
ある。ここでＡｉは符号化困難度を示し、これが大きい
ほど同一量子化スケールを用いた場合の発生符号量が大
きくなる。Ｂｉは量子化スケールに依存しない一定の符
号量を示す項であり、例えばヘッダ部分などの固定の符
号量などを示す。
【００３３】第１符号化において、フレーム毎に固定の
量子化スケールを用いて符号化を行い、フレーム毎の発
生符号量を量子化の影響を受ける部分とヘッダ等の量子
化の影響を受けない部分とに分離して集計することで、
式（１）におけるパラメータＡi及びＢiをフレーム毎に
決定することが可能である。
【００３４】次に、図４及び図５を用いて図２中の符号
量割り当てステップ（Ｓ３）について詳しく説明する。
ＭＰＥＧビデオ符号化のような動画像符号化における符
号量制御は、大きく分けて固定ビットレート符号化（Ｃ
ＢＲ）と可変ビットレート符号化（ＶＢＲ）に分類でき
る。ＣＢＲでは、一定のビットレートで符号化を行うた
め、量子化スケールを変動させて符号量を一定にする必
要がある。量子化スケールを変動させると、それに応じ
て画質変動が発生する。一般に、符号化困難度（Ａｉ）
の高い高解像度あるいは動きの激しい画像で、画質が低
下する。
【００３５】図４（ａ）（ｂ）（ｃ）は、ＣＢＲにおけ
るビットレート変動、ＶＢＶバッファの占有量変動及び
ＳＮ比の変動を示している。ビットレート及びＶＢＶバ
ッファの変動は非常に小さくなり、逆に画像の性質の変
化に応じてＳＮ比、つまり画質が変動するものとなる。
【００３６】一方、図５（ａ）（ｂ）（ｃ）は、ＶＢＲ
におけるビットレート変動、ＶＢＶバッファの占有量変
動及びＳＮ比の変動を示している。ＶＢＲでは、画像の
性質に合わせてビットレートを変動させることによりＳ
Ｎ比の変動が小さくなり、安定した画質が得られること
が分かる。
【００３７】また、ＭＰＥＧビデオ符号化におけるＶＢ
Ｖモデルでは、ＶＢＶバッファで吸収できる範囲内で、
ピークレートを超える瞬間ビットレートで符号化するこ
とも可能である。ピークレートを超える部分では、ＶＢ
Ｖバッファ占有量がアンダーフロー側に遷移していくこ
とになり、この期間が長く継続すると、ＶＢＶバッファ
がアンダーフローして破綻することになる。
【００３８】次に、ＶＢＲにおける図２の符号量割り当
てステップ（Ｓ３）、ＶＢＶチェックステップ（Ｓ
４）、符号量割り当て修正ステップ（Ｓ５）及びフレー
ムスキップ割り当てステップ（Ｓ６）の処理について具
体的に説明する。なお、ここではＶＢＲの場合について
説明するが、本発明はＶＢＲに限定されるものではな
く、ＣＢＲのＶＢＶモデルに従って一連の処理ステップ
を実行することで、２パスのＣＢＲ符号化を行う場合に
対しても適用可能である。
【００３９】ＶＢＲの場合、画像の性質に合わせてビッ
トレートの制約及びＶＢＶの制約の範囲内で符号量割り
当てを大きく変動させることが可能となる。まず、符号
量割り当てステップ（Ｓ３）において、符号化特性推定
ステップ（Ｓ２）で得られた各フレームの符号化特性を
用いて、総符号量が所定の平均ビットレートと動画像シ
ーケンス総時間から求まる符号量となるように動画像シ
ーケンス全体にわたって一定の量子化スケールを決定
し、各フレームに対する符号量割り当てを決定する。
【００４０】次に、ＭＰＥＧビデオ規格で定義されるＶ
ＢＶモデルに従って、この符号量割り当ての下でのＶＢ
Ｖバッファ占有量の時間変化を計算する。ＶＢＶチェッ
クステップ（Ｓ４）では、ＶＢＶバッファがアンダーフ
ロー（バッファ占有量が０を下回る）を起こすかどうか
の判断を行い、アンダーフローが発生しなければ、符号
量割り当てを終了し、またフレームスキップの実行は無
しとする。ＶＢＶアンダーフローが発生した場合、以下
の手順でステップＳ５の符号量割り当て修正及びステッ
プＳ６のフレームスキップ割り当て処理を行う。
【００４１】図６〜図７は、ＶＢＲにおけるＶＢＶモデ
ルのバッファ占有量の時間変化の例を示した図であり、
横軸がフレーム番号、縦軸がバッファ占有量を表してい
る。これは各フレームにおいて発生符号量分だけバッフ
ァから瞬時にデータが抜き出されてデコードされ、フレ
ーム間ではフレーム間隔に相当する時間だけピークレー
トで符号化データがバッファに充填されるというモデル
となっている。また、ＶＢＲのＶＢＶモデルではバッフ
ァのオーバフローは発生せず、ＶＢＶバッファの最大値
に達した時点で、データ転送が停止するというモデルと
なっている。
【００４２】図６（ａ）は、途中でバッファのアンダー
フローが発生した例を示している。このままの符号量配
分で第２符号化を行うと、符号化データがＶＢＶ違反と
なるため、符号量割り当ての修正を行う。
【００４３】図６（ｂ）は、アンダーフローが最初に発
生するフレームに対する符号量割り当てを削減した例で
あり、これによりバッファアンダーフローが回避される
場合は、符号量割り当ての修正処理を終了する。符号量
割り当ての削減は、該当するフレームに対する量子化ス
ケールを符号量割り当てステップ（Ｓ３）で得られた量
子化スケールより徐々に大きくすることで、符号化特性
推定ステップ（Ｓ２）で求めた該当するフレームの符号
化特性から符号量の削減量を推定して行われる。但し、
大幅に量子化スケールを大きくすると、そのフレームの
画質が大幅に低下するため、量子化スケールの上限は、
符号量割り当てステップ（Ｓ３）で求めた量子化スケー
ルを基準とした所定範囲の値を超えない値とする。これ
により、ＶＢＶの制約に伴う急激な画質劣化を抑制する
ことが可能となる。
【００４４】図６（ｃ）は、図６（ｂ）とは異なる符号
量割り当て修正方法を示したものである。図６（ｃ）で
は、アンダーフローが発生するフレームから、ＶＢＶバ
ッファ占有量が最大値となるフレームまで遡って、その
間全てのフレームにおける符号量割り当てを削減するこ
とで、アンダーフローを防ぐ。この場合、各フレームに
対する符号量割り当ての修正量を最小限に抑えられるた
め、ＶＢＶの制約に伴う画質変動を図６（ｂ）の場合に
比べて、さらに小さくすることが可能となる。
【００４５】図７（ｄ）は、図６（ｃ）の処理によりＶ
ＢＶアンダーフローを防ぐための符号量割り当ての修正
を行ったが、量子化スケールの上限値までの間にアンダ
ーフローが回避できなかった場合の例を示している。こ
の場合は、フレームスキップ割り当てステップＳ６によ
り、フレームスキップを挿入することで、ＶＢＶバッフ
ァのアンダーフローを回避する。
【００４６】図７（ｄ）の例では、図７（ｅ）のように
１フレームをスキップする（間引く）だけでは、アンダ
ーフローが回避されない。この場合は、さらに図７
（ｆ）のように複数のフレーム（ここでは２フレーム）
スキップさせることで、ＶＢＶアンダーフローを回避す
る。但し、図７（ｆ）のように連続する複数のフレーム
がスキップされると、動画像として局所的なフレームレ
ートが大幅に低下し、動きが荒い映像となってしまう。
【００４７】そこで、図７（ｇ）のように、連続したフ
レームのスキップは避けて、アンダーフローが発生する
フレームから、時間的に遡って間欠的にフレームスキッ
プさせることで、局所的なフレームレートの大幅な低下
を抑えることが可能となり、自然な動きを保ちつつＶＢ
Ｖアンダーフローを防ぐことが可能となる。
【００４８】ところで、上述したようにＶＢＶの制限を
満たすために第２符号化でフレームスキップを実行する
と、第２符号化でのフレーム間予測の予測構造が第１符
号化と異なる構造に変化し、第１符号化において符号化
特性推定ステップ（Ｓ２）で求めた符号化特性の精度が
第２符号化で低下する場合がある。図８はフレームスキ
ップによる予測構造の変化の一例であり、（ａ）が第１
符号化における各フレームのピクチャタイプを示し、
（ｂ）が第２符号化における各フレームのピクチャタイ
プを示している。ピクチャタイプは予測符号化における
符号化の種類を示す符号化タイプであり、Ｉはフレーム
内符号化を行うフレーム（Ｉピクチャ）、Ｐは前方予測
符号化を行うフレーム（Ｐピクチャ）をそれぞれ表す。
【００４９】図８の例では、第１符号化に供された図８
（ａ）に示す入力動画像信号のフレームのうち、参照符
号２０〜２３で示すフレームがスキップフレームとして
割り当てられ、図８（ｂ）のように第２符号化において
間引かれる。通常、Ｉピクチャは固定の符号化対象フレ
ーム数毎に用いられることが一般的であり、ここでは第
１符号化及び第２符号化において、１３符号化対象フレ
ーム毎に１回の割合でＩピクチャが用いられる例を示し
ている。
【００５０】この場合、スキップするフレーム数に応じ
て第１符号化と第２符号化とでＩピクチャとして符号化
されるフレームの位置が異なってしまう。すなわち、フ
レームスキップにより第１符号化と第２符号化とでピク
チャタイプのミスマッチが生じる。図８の例では、参照
符号２４，２５で示すフレームにおいて、第１符号化と
第２符号化とでピクチャタイプのミスマッチが発生す
る。ＩピクチャとＰピクチャとでは符号化特性が大幅に
異なるため、このようなピクチャタイプのミスマッチが
あると、図２中の符号化特性推定ステップ（Ｓ２）で求
めた符号化特性で正しく発生符号量の推定を行うことが
困難となり、符号量割り当ての最適化が困難となる。
【００５１】この問題に対しては、図９に示すようにフ
レームスキップの有無によらず各フレームのピクチャタ
イプを第１符号化と第２符号化とで一致させることによ
り、ピクチャタイプのミスマッチに伴う符号化特性の推
定精度低下を抑えることが可能となる。
【００５２】但し、図９のように各フレームのピクチャ
タイプを一致させた場合でも、フレーム間予測における
参照画像と符号化対象画像との関係は変化する場合があ
る。図１０は、Ｐピクチャのフレームスキップに伴うフ
レーム間予測関係の変化を示している。図１０（ａ）
は、固定フレームレートの符号化であり、この予測構造
により第１符号化が実施される。図中の矢印は、フレー
ム間予測における参照画像から符号化対象画像への関係
を示している。
【００５３】図１０（ｂ）は、図１０（ａ）におけるフ
レームＰ２が第２符号化においてスキップされた例を示
している。符号化対象画像がＰ３の場合、第１符号化で
は参照画像はＰ２が用いられるが、第２符号化では参照
画像はＰ１としてＰ３の符号化が行われる。
【００５４】図１０（ｃ）は、図１０（ａ）におけるフ
レームＰ２及びＰ３がスキップされた例である。符号化
対象画像がＰ４の場合、第１符号化においてはＰ３を参
照画像とするが、第２符号化においてはＰ１を参照画像
とすることになる。
【００５５】一般に、参照画像と符号化対象画像とのフ
レーム間距離が大きくなるほど、予測効率が低下し、同
一量子化スケールに対して発生符号量は増加する。さら
に、スキップしたフレームの中にシーンチェンジ点が含
まれていると、予測効率は大幅に低下する。
【００５６】一方、図１１（ａ）に示すように符号化対
象画像に両方向予測符号化画像（Ｂピクチャ）が含まれ
る場合は、Ｂピクチャ自体は参照画像として用いられな
いため、図１１（ｂ）に示すようにＢピクチャとして符
号化されるフレームの中からをスキップフレームを選択
すれば、図１２に示すように第２符号化において符号化
されるフレームの予測構造は第１符号化のそれと一致す
る。
【００５７】すなわち、図１２（ａ）は固定フレームレ
ートの符号化であり、この予測構造により第１符号化が
実施される。図１２（ｂ）は、図１２（ａ）におけるフ
レームＢ１が第２符号化においてスキップされた例を示
している。図１２（ｃ）は、図１２（ａ）におけるフレ
ームＢ１及びＢ２がスキップされた例である。図１２
（ｂ）（ｃ）のいずれの第２符号化においても、予測構
造は第１符号化の図１２（ａ）の場合と同じである。従
って、図２中の符号化特性推定ステップ（Ｓ２）で求め
られた符号化特性は、フレームスキップの有無によら
ず、修正することなく利用することが可能となる。
【００５８】図９及び図１０で説明したように、フレー
ムスキップに伴う予測効率の低下が発生する場合は、符
号化特性推定ステップ（Ｓ２）で求めた符号化特性の精
度が低下し、ＶＢＶを考慮した符号量配分の最適化が困
難となる。そこで、以下に示す手順で符号化特性の修正
を行う。
【００５９】図１３に、フレームスキップの決定とそれ
に伴う符号化特性修正の手順のフローチャートを示す。
図１３は、図２におけるフレームスキップ割り当てステ
ップ（Ｓ６）の処理を詳細に示したものである。
【００６０】ＶＢＶチェックステップ（Ｓ４）によりＶ
ＢＶのアンダーフローが推定された場合、上述の通り符
号量割り当て修正ステップ（Ｓ５）により符号量割り当
てを修正した後、ステップＳ１０によりＶＢＶのアンダ
ーフローが改善されたか否か、つまりフレームスキップ
の必要性をチェックし、ＶＢＶアンダーフローが改善さ
れていない場合は、フレームスキップが必要と判断し
て、フレームスキップを行うフレームの決定を行う。
【００６１】第２符号化において、フレームスキップを
行うべきフレームの直後にスキップされずに符号化され
るフレームがＩピクチャ（ステップＳ１１でＹｅｓ）の
場合は、第２符号化においてフレームスキップに伴う第
１符号化とのフレーム間予測構造の違いは発生しないた
め、スキップフレームを追加し、符号化特性の修正は行
わない。また、スキップ可能なＢピクチャがＶＢＶアン
ダーフロー推定フレームの前方の存在している場合（Ｓ
１２）は、該当するＢピクチャをスキップフレームとす
る。この場合も、第１符号化とのフレーム間予測構造の
違いは発生しないため、符号化特性の修正は行わない。
【００６２】一方、図１０に示したように、第２符号化
におけるフレームスキップにより、スキップフレーム直
後に符号化されるフレームにおいて参照画像が第１符号
化における参照画像と異なってしまう場合、以下に示す
ような符号化特性パラメータの修正を行い、また符号化
特性パラメータの修正に応じて当該符号化対象フレーム
に対する符号量割り当てを修正する。
【００６３】ここでは、図１０の場合を例にとって符号
化特性パラメータの修正を行う方法について述べる。前
述した通り、式（１）におけるＡｉはｉ番目のフレーム
の符号化困難度を示している。ｉ番目のフレームがフレ
ーム間予測符号化フレーム（ＰピクチャまたはＢピクチ
ャ）の場合、Ａｉはフレーム間予測効率の影響を受け
る。Ａｉの時間変化を見ることで、シーンチェンジ点を
検出することが可能である。例えば、図１０（ａ）にお
いてＰ１，Ｐ２，Ｐ３の各フレームにおけるＡｉをそれ
ぞれＡ１，Ａ２，Ａ３とすると、Ａ２の値がＡ１，Ａ３
の値に比べて突出して大きくなっている場合、Ｐ１とＰ
２の間でシーンが切り替わったということが推測可能で
ある。この場合、図１０（ｂ）におけるＰ３あるいは図
１０（ｃ）におけるＰ４に対する参照画像となるＰ１
は、符号化対象であるＰ３あるいはＰ４と異なるシーン
の映像となってしまい、符号化効率が低下することが予
測される。
【００６４】このようにフレームスキップの結果、スキ
ップフレームの直後に符号化されるフレームと参照画像
との間にシーンチェンジ点が含まれている場合は、シー
ンチェンジ点直後のフレームにおける符号化特性パラメ
ータをスキップフレームの直後に符号化されるフレーム
の符号化特性パラメータとして用いる。図１０の例で
は、Ｐ２の符号化特性パラメータを図１０（ｂ）におけ
るＰ３あるいは図１０（ｃ）におけるＰ４の符号化特性
パラメータとして用いる。このように、シーンチェンジ
を考慮して符号化パラメータの修正を行うことで、符号
化特性の推定精度の低下を抑制することができ、その結
果、効率的な符号量配分を行うことが可能となる。
【００６５】連続するフレームスキップの中にシーンチ
ェンジが含まれない場合でも、参照画像と符号化対象画
像とのフレーム間距離が大きくなると、完全な静止画像
でない限り、一般に予測効率が低下する。そこで、フレ
ームスキップの中にシーンチェンジが含まれない場合
は、次のように符号化特性の修正を行う。
【００６６】今、ｎ番目のフレームがフレームスキップ
直後の符号化対象画像であり、そのフレームに関する式
（１）で示した符号化特性パラメータをＡｎ，Ｂｎとす
る。また、ｎ番目のフレームに最も時間的に近いＩピク
チャの符号化特性パラメータをＡｎＩ，ＢｎＩとする。
さらに、ｎ番目のフレームの直前の連続するフレームス
キップ数をｒとする。ここで、これらのパラメータに応
じて、ｎ番目のフレームの符号化特性パラメータを次式
に示すように修正する。
【００６７】
【数２】
【００６８】ここで、Ａｎ′及びＢｎ′が修正後の符号
化特性パラメータである。また、Ｋは定数である。式
（２）では、れこらのパラメータのうち符号化困難度を
表すパラメータＡｎ′は、フレームスキップが無い場
合、すなわちｒ＝０の場合はＡｎと一致し、またフレー
ムスキップ数が大きくなると、符号化対象画像と参照画
像とのフレーム間距離の２乗に反比例して低下し、フレ
ーム間距離が無限大のとき近傍のＩピクチャの符号化困
難度ＡｎＩに収束するというものである。
【００６９】図１４に、式（２）の特性をグラフで示
す。横軸は参照画像と符号化対象画像のフレーム間距離
（ｒ＋１）、縦軸は修正後の符号化特性パラメータ
Ａｎ′をＡ ｎＩで正規化した値を示す。また、図中の破
線矢印は第１符号化における符号化困難度ＡｎをＡｎＩ
で正規化した値Ａｎ／ＡｎＩの増加方向を示している。
図１４からも分かる通り、符号化対象画像の符号化特性
は符号化対象画像と参照画像とのフレーム間距離が大き
くなるにつれて、近傍のＩピクチャの符号化特性に近づ
くものとなる。
【００７０】このような符号化特性パラメータ補正処理
により、ＶＢＶの制約を満たすために第２符号化におい
てフレームスキップが用いられる場合でも、符号化特性
の推定制度の低下を防ぐことが可能となり、ＶＢＶの制
約を満たしつつ安定した高画質を得るための最適な符号
量割り当てを求めることが可能なる。
【００７１】以上説明した本実施形態の特徴と、それに
よる効果を整理すると、次の通りである。 （１）まず、第１符号化ステップにおいて、フレーム単
位で入力される入力動画像信号を固定フレームレートで
符号化してフレーム毎の発生符号量を含む統計データを
生成し、この統計データに従って入力動画像信号の各フ
レームに対する符号量割り当て及び量子化スケール割り
当ての少なくとも一方と、各フレームのフレームスキッ
プ割り当てを決定する。次に、第２符号化ステップにお
いて、決定された符号量割り当て及び量子化スケール割
り当ての少なくとも一方と各フレームのフレームスキッ
プ割り当てに従って入力動画像信号を符号化し、最終的
な符号化データである符号列を生成する。これにより、
第２符号化においてフレームレート可変の符号化を行う
場合でも、最適な符号量割り当てを行うことができる。
【００７２】すなわち、第１符号化と第２符号化でフレ
ームスキップの発生が異なってしまうと、第１符号化に
より統計データを用いて第２符号化のための正確かつ最
適なフレーム単位の符号量割り当てを行うことが困難と
なってしまう。これに対し、本実施形態では第１符号化
においてはフレームスキップを発生させず、入力動画像
信号を固定フレームレートで全てのフレームについて符
号化することで、全てのフレームに対する発生符号量の
情報が得られるため、第２符号化における最適なフレー
ムスキップ割り当てを決定して、第２符号化を行うこと
が可能となる。
【００７３】また、通常フレームスキップの発生率は、
第２符号化におけるビットレートによって変動するが、
本実施形態によれば第２符号化におけるビットレートに
よらずに、第１符号化を行うことができる。すなわち、
第１符号化を一度行えば、第１符号化で得られた統計デ
ータから、複数の異なるビットレートにおける符号量割
り当て及び最適なフレームスキップ割り当てを算出する
ことが可能となる。従って、同一の動画像素材に対して
複数の異なるビットレートの符号化データを作成する場
合には、各ビットレート毎に２回の符号化を行う必要が
なくなり、第１符号化は一度で済むので、総符号化回数
が削減される。
【００７４】（２）符号量割り当て及び量子化スケール
割り当ての少なくとも一方を決定する際、第２符号化で
可変ビットレートの符号化を行うように、符号量割り当
て及び量子化スケール割り当ての少なくとも一方を決定
する。固定レート符号化において画質変動を抑制しよう
とすると、一般にフレームスキップが多く発生し、逆に
フレームスキップを抑制しようとすると、画質変動が大
きくなってしまう。これに対して、本実施形態では第２
符号化が可変ビットレート符号化となるように、各フレ
ームに対する符号量割り当て及び量子化スケール割り当
ての少なくとも一方を決定しているため、可変ビットレ
ート符号化とフレームスキップの最適配置の相乗効果に
より、フレームスキップの発生率を最小限に抑え、かつ
画質変動をなくすことが可能となる。
【００７５】（３）統計データから第２符号化ステップ
における各フレームの発生符号量と量子化スケールとの
関係を示す関数のパラメータを推定し、該パラメータを
用いて前記符号量割り当てを決定する。また、こうして
決定された符号量割り当て及び量子化無スケールの少な
くとも一方を用いて仮想受信バッファの占有量の時間変
化を推定し、最大の量子化スケールを用いても仮想受信
バッファのアンダーフローの発生が推定された場合に
は、アンダーフローの発生を防止すべくフレームスキッ
プ割り当てを決定する。フレームレートやビットレート
をシーン毎に画像の性質に合わせて変動させる場合、Ｍ
ＰＥＧで規定されるＶＢＶの制限は一般に満たされなく
なり、バッファのオーバフローあるいはアンダーフロー
が発生する危険性がある。一方、本実施形態によると第
１符号化における統計データから、各フレームの発生符
号量と量子化スケールとの関係を高精度に示す関数のパ
ラメータを推定することが可能となるため、フレーム毎
の最適符号量割り当てに伴う仮想受信バッファ占有量の
時間変化を精度よく推定することができる。推定した仮
想受信バッファ占有量の時間変化において、バッファア
ンダーフローの発生が予測される場合にフレームスキッ
プの実行を決定することにより、ＶＢＶの制限を満た
し、かつフレームスキップの発生を最小限に抑制して、
スムーズな画質を得ることが可能となる。また、仮想受
信バッファ占有量の時間変化の推定において、量子化ス
ケール変動の最大値を抑制することで、ＶＢＶの制限に
伴う画質の低下も抑制することができる。
【００７６】（４）仮想受信バッファのアンダーフロー
の発生が推定された場合、アンダーフローの発生が推定
されるフレームより時間的に遡ったフレームのフレーム
スキップ割り当てを決定する。ＶＢＶ管理を満たすため
のフレームスキップ割り当ての決定において、連続した
複数のフレームをスキップするように決定すると、その
部分でのフレームレートが大幅に低下し、再生される動
画像の動きが荒くなってしまい、違和感がある動画像と
なってしまう。本実施形態によると、フレームスキップ
割り当ての決定がオフライン処理となっており、すなわ
ち第２符号化中にフレームスキップ割り当てを決定する
のではなく、第１符号化の終了後、動画像シーケンス全
体にわたって符号量割り当てとフレームスキップ割り当
てを決定し、その後に第２符号化を行うという構成とな
るため、仮想受信バッファのアンダーフロー発生が予測
されるフレームから、時間的に遡ったフレームにおける
フレームスキップ割り当てを決定することができる。こ
の性質を利用して、仮想受信バッファのアンダーフロー
発生が予測される時点より遡った時刻から、徐々にフレ
ームレートが低下するように、連続してスキップされる
フレーム数が最小となるように、フレームスキップ割り
当てを決定する。これによりフレームレートの低下を最
小限に抑えることが可能となり、フレームスキップに伴
って再生される動画像の動きが荒くなることを抑制する
ことができる。
【００７７】（５）フレームスキップ割り当て決定する
ステップによってフレームスキップの実行が決定された
フレームの直後に符号化されるフレームにおいて、
（ａ）フレームスキップの実行が決定されたフレーム
数、（ｂ）フレームスキップの実行が決定されたフレー
ムにおける前記発生符号量と量子化スケールとの関係を
示す関数のパラメータ及び（ｃ）フレームスキップの実
行が決定されたフレームの直後に符号化されるフレーム
の符号化タイプに応じて、フレームスキップの実行が決
定されたフレームの直後に符号化されるフレームの発生
符号量と量子化スケールとの関係を示す関数のパラメー
タを変更することにより、符号量割り当て及び量子化ス
ケールの少なくとも一方を修正するステップをさらに有
する。フレーム間予測符号化を用いる場合、フレームス
キップが発生すると予測画像と参照画像の関係が変化す
るため、第１符号化で得られた統計データから第２符号
化における発生符号量を精度良く推定することが困難と
なる。発生符号量モデルの制度が低下すると、ＶＢＶの
管理や符号量割り当てが正確にできなくなり、第２符号
化において安定した高画質符号化が困難となる。一方、
本実施形態ではスキップしたフレーム数と、スキップし
たフレームの発生符号量モデルと次に符号化するフレー
ムの符号化タイプに応じて、符号化すべきフレームの発
生符号量と量子化スケールとの関係を示すモデルを修正
することで、第２符号化における発生符号量推定の精度
を上げることが可能となり、第２符号化において安定し
た高画質符号化を行うことが可能となる。
【００７８】（６）第１符号化及び第２符号化において
フレーム毎に符号化タイプを選択可能とし、入力動画像
信号の同一フレームに対する第１符号化及び第２符号化
における符号化タイプを一致させる。ＭＰＥＧ動画像符
号化方式では、通常、フレーム内符号化を行うＩピクチ
ャ、前方フレーム間予測を行うピクチャ、両方向フレー
ム間予測を行うＢピクチャを組み合わせて符号化を行
う。これらの符号化タイプは、それぞれ符号化効率が異
なり、同一動画像であっても符号化タイプにより量子化
スケールに対する発生符号量の大きさが異なってくる。
従って、第１符号化と第２符号化とで同一のフレームに
対する符号化タイプが異なってしまった場合、第２符号
化における発生符号量予測を正確に行うことが困難とな
る。本実施形態のように第１符号化と第２符号化とで同
一フレームに対する符号化タイプをそれぞれ一致させる
と、第２符号化における発生符号量予測を正確に行うこ
とが可能となる。
【００７９】
【発明の効果】以上説明したように、本発明によれば固
定フレームレートの下で第１符号化を行い、第１符号化
で得られた統計データに基づいて例えば各フレームの符
号化特性パラメータを算出し、これらの符号化特性パラ
メータを用いてＶＢＶの制約と安定した高画質を両立す
るフレーム毎の符号量割り当て及び量子化スケール割り
当ての少なくとも一方とフレームスキップ割り当てを行
い、割り当てられた符号及びフレームスキップに従って
第２符号化を行うことで、所定のビットレート条件の下
で最適化された高画質符号化を実現することが可能とな
る。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動画像符号化装置の
概略構成を示すブロック図
【図２】同実施形態に係る動画像符号化の処理手順を示
すフローチャート
【図３】動画像の符号化特性を説明する図
【図４】固定ビットレート符号化の特性を説明する図
【図５】可変ビットレート符号化の特性を説明する図
【図６】同実施形態における符号量及びフレームスキッ
プ割り当てを説明する図
【図７】同実施形態における符号量及びフレームスキッ
プ割り当てを説明する図
【図８】同実施形態におけるＰピクチャのフレームスキ
ップに伴う予測構造の変化の一例を説明する図
【図９】同実施形態におけるＰピクチャのフレームスキ
ップに伴う予測構造の変化の他の例として第１符号化と
第２符号化とで各フレームのピクチャタイプを一致させ
た例を説明する図
【図１０】同実施形態におけるＰピクチャのフレームス
キップに伴うフレーム間予測関係の変化を説明する図
【図１１】同実施形態におけるＢピクチャのフレームス
キップに伴う予測構造の変化を説明する図
【図１２】同実施形態におけるＢピクチャのフレームス
キップに伴うフレーム間予測関係の変化を説明する図
【図１３】同実施形態におけるフレームスキップに伴う
符号化特性の修正処理の手順を示すフローチャート
【図１４】同実施形態におけるフレームスキップに伴う
符号化特性の修正を説明する図
【符号の説明】
１…蓄積メディア ２…符号化部 ３…符号化特性推定部 ４…符号量／量子化スケール割り当て部 ５…フレームスキップ割り当て部 １０…動画像信号蓄積メディア １１…符号化統計データ １２…符号量割り当て／フレームスキップ割り当てデー
タ １３…符号化データ Ｓ１…第１符号化ステップ Ｓ２…符号化特性推定ステップ Ｓ３…符号量割り当てステップ Ｓ４…ＶＢＶチェックステップ Ｓ５…符号量割り当て修正ステップ Ｓ６…フレームスキップ割り当てステップ Ｓ７…第２符号化ステップ

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】少なくとも２回の符号化によって動画像を
    符号化する動画像符号化方法において、 フレーム単位で入力される入力動画像信号を固定フレー
    ムレートで符号化してフレーム毎の発生符号量を含む統
    計データを生成する第１符号化ステップと、 前記統計データに従って各フレームに対する符号量割り
    当て及び量子化スケール割り当ての少なくとも一方を決
    定するステップと、 前記統計データに従って各フレームのフレームスキップ
    の実行の有無を示すフレームスキップ割り当てを決定す
    るステップと、 前記符号量割り当て及び量子化スケール割り当ての少な
    くとも一方と前記フレームキップ割り当てに従って前記
    入力動画像信号を符号化して符号列を生成する第２符号
    化ステップとを有する動画像符号化方法。
  2. 【請求項２】前記符号量割り当て及び量子化スケール割
    り当ての少なくとも一方を決定するステップは、前記第
    ２符号化ステップが可変ビットレートの符号化を行うよ
    うに前記符号量割り当て及び量子化スケール割り当ての
    少なくとも一方を決定する請求項１記載の動画像符号化
    方法。
  3. 【請求項３】前記符号量割り当て及び量子化スケール割
    り当ての少なくとも一方を決定するステップは、前記統
    計データから前記第２符号化ステップにおける各フレー
    ムの発生符号量と量子化スケールとの関係を示す関数の
    パラメータを推定し、該パラメータを用いて前記符号量
    割り当てを決定し、 前記フレームスキップ割り当てを決定するステップは、
    該決定された符号量割り当て及び量子化スケールの少な
    くとも一方を用いて仮想受信バッファの占有量の時間変
    化を推定し、最大の量子化スケールを用いても該仮想受
    信バッファのアンダーフローの発生が推定された場合
    に、該アンダーフローの発生を防止すべく前記フレーム
    スキップ割り当てを決定する請求項１または２記載の動
    画像符号化方法。
  4. 【請求項４】前記フレームスキップ割り当てを決定する
    ステップは、前記仮想受信バッファのアンダーフローの
    発生が推定された場合、該アンダーフローの発生が推定
    されるフレームより時間的に遡ったフレームのフレーム
    スキップ割り当てを決定する請求項３記載の動画像符号
    化方法。
  5. 【請求項５】前記フレームスキップ割り当て決定するス
    テップによってフレームスキップの実行が決定されたフ
    レームの直後に符号化されるフレームにおいて、（ａ）
    フレームスキップの実行が決定されたフレーム数、
    （ｂ）フレームスキップの実行が決定されたフレームに
    おける前記発生符号量と量子化スケールとの関係を示す
    関数のパラメータ及び（ｃ）フレームスキップの実行が
    決定されたフレームの直後に符号化されるフレームの符
    号化タイプに応じて、前記フレームスキップの実行が決
    定されたフレームの直後に符号化されるフレームの前記
    発生符号量と量子化スケールとの関係を示す関数のパラ
    メータを変更することにより前記符号量割り当て及び量
    子化スケールの少なくとも一方を修正するステップをさ
    らに有する請求項３または４記載の動画像符号化方法。
  6. 【請求項６】前記第１符号化ステップ及び第２符号化ス
    テップは、フレーム毎に符号化タイプを選択可能であ
    り、前記入力動画像信号の同一フレームに対する前記第
    １符号化ステップ及び第２符号化ステップにおける符号
    化タイプを一致させることを特徴とする請求項１乃至５
    のいずれか１項記載の動画像符号化方法。
  7. 【請求項７】少なくとも２回の符号化によって動画像を
    符号化する動画像符号化装置において、 フレーム単位で入力される入力動画像信号を符号化する
    符号化部と、 前記符号化部が前記入力動画像信号を固定フレームレー
    トで符号化したときのフレーム毎の発生符号量を含む統
    計データに従って、各フレームに対する符号量割り当て
    及び量子化スケール割り当ての少なくとも一方を決定す
    る手段と、 前記統計データに従って各フレームのフレームスキップ
    の実行の有無を示すフレームスキップ割り当てを決定す
    る手段とを備え、 前記符号化部が前記符号量割り当て及び量子化スケール
    割り当ての少なくとも一方と前記フレームスキップ割り
    当てに従って前記入力動画像信号を符号化したときに生
    成される符号列を符号化データとして出力する動画像符
    号化装置。
  8. 【請求項８】少なくとも２回の符号化によって動画像を
    符号化する処理をコンピュータに実行させるためのプロ
    グラムであって、 フレーム単位で入力される入力動画像信号を固定フレー
    ムレートで符号化してフレーム毎の発生符号量を含む統
    計データを生成する処理と、 前記統計データに従って各フレームに対する符号量割り
    当て及び量子化スケール割り当ての少なくとも一方を決
    定する処理と、 前記統計データに従って各フレームのフレームスキップ
    の実行の有無を示すフレームスキップ割り当てを決定す
    る処理と、 前記符号量割り当て及び量子化スケール割り当ての少な
    くとも一方と前記フレームキップ割り当てに従って前記
    入力動画像信号を符号化して符号列を生成する処理とを
    コンピュータに実行させるためのプログラム。
JP2001200158A 2001-06-29 2001-06-29 動画像符号化方法及び装置 Expired - Fee Related JP3866538B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001200158A JP3866538B2 (ja) 2001-06-29 2001-06-29 動画像符号化方法及び装置
US10/183,516 US7075982B2 (en) 2001-06-29 2002-06-28 Video encoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001200158A JP3866538B2 (ja) 2001-06-29 2001-06-29 動画像符号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2003018603A true JP2003018603A (ja) 2003-01-17
JP3866538B2 JP3866538B2 (ja) 2007-01-10

Family

ID=19037325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001200158A Expired - Fee Related JP3866538B2 (ja) 2001-06-29 2001-06-29 動画像符号化方法及び装置

Country Status (2)

Country Link
US (1) US7075982B2 (ja)
JP (1) JP3866538B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109259A (ja) * 2006-10-24 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
JP2008236333A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 映像符号化装置及び映像符号化方法
JP2009049551A (ja) * 2007-08-15 2009-03-05 Kddi Corp 動画像符号化装置、動画像符号化方法およびプログラム
JP2010074783A (ja) * 2008-09-22 2010-04-02 Kddi Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
WO2011138923A1 (ja) 2010-05-07 2011-11-10 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
WO2011142291A1 (ja) 2010-05-12 2011-11-17 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
JPWO2011138900A1 (ja) * 2010-05-06 2013-07-22 日本電信電話株式会社 映像符号化制御方法および装置
JP2016197841A (ja) * 2015-04-06 2016-11-24 日本電信電話株式会社 符号量算出方法、符号量算出装置及び符号量算出プログラム
JP2016213698A (ja) * 2015-05-11 2016-12-15 日本放送協会 映像符号化装置及びプログラム
CN115052157A (zh) * 2012-07-02 2022-09-13 韩国电子通信研究院 图像编码/解码方法和非暂时性计算机可读记录介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2846179B1 (fr) * 2002-10-21 2005-02-04 Medialive Embrouillage adaptatif et progressif de flux audio
JP4179917B2 (ja) * 2003-04-22 2008-11-12 株式会社東芝 動画像符号化装置及び方法
WO2005004487A1 (ja) * 2003-06-30 2005-01-13 Mitsubishi Denki Kabushiki Kaisha 画像符号化装置及び画像符号化方法
JP2005072742A (ja) * 2003-08-21 2005-03-17 Sony Corp 符号化装置及び符号化方法
BRPI0506846B1 (pt) * 2004-01-30 2018-12-11 Thomson Licensing codificador de vídeo e método para codificar quadros de imagens divisíveis em macro-blocos
US7680326B2 (en) * 2004-03-18 2010-03-16 Fujifilm Corporation Method, system, and program for correcting the image quality of a moving image
JP4655191B2 (ja) * 2004-09-02 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20060233237A1 (en) * 2005-04-15 2006-10-19 Apple Computer, Inc. Single pass constrained constant bit-rate encoding
CN101578793B (zh) 2007-01-04 2014-03-05 高通股份有限公司 无线通信的分布式频谱感测方法和装置
US8073049B2 (en) * 2007-02-01 2011-12-06 Google Inc. Method of coding a video signal
KR101379537B1 (ko) * 2007-07-19 2014-03-28 삼성전자주식회사 무선망 채널 정보를 이용한 동영상 부호화 제어 방법
KR20100122386A (ko) * 2009-05-12 2010-11-22 삼성전자주식회사 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치
US8958475B2 (en) 2009-07-02 2015-02-17 Qualcomm Incorporated Transmitter quieting and null data encoding
US9112618B2 (en) * 2009-07-02 2015-08-18 Qualcomm Incorporated Coding latency reductions during transmitter quieting
US8902995B2 (en) 2009-07-02 2014-12-02 Qualcomm Incorporated Transmitter quieting and reduced rate encoding
KR101854469B1 (ko) * 2011-11-30 2018-05-04 삼성전자주식회사 오디오 컨텐츠의 비트레이트 판단장치 및 방법
US20140003494A1 (en) * 2012-01-05 2014-01-02 Yaniv Frishman Device, system and method of video encoding
US9591254B2 (en) 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
US10979747B2 (en) 2017-12-21 2021-04-13 Arris Enterprises Llc Statistical multiplexing system for variable bit rate encoding with constant bit rate encoder

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3734286B2 (ja) 1994-12-27 2006-01-11 株式会社東芝 動画像符号化装置及び動画像伝送装置
JPH0998427A (ja) 1995-09-29 1997-04-08 Toshiba Corp 動画像符号化装置
JP3218994B2 (ja) 1996-10-23 2001-10-15 松下電器産業株式会社 画像符号化方法および装置
US6192154B1 (en) 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
JP2000350211A (ja) 1999-06-07 2000-12-15 Toshiba Corp 動画像符号化方法及び動画像符号化装置
US6493386B1 (en) * 2000-02-02 2002-12-10 Mitsubishi Electric Research Laboratories, Inc. Object based bitstream transcoder
US6574279B1 (en) * 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4609411B2 (ja) * 2006-10-24 2011-01-12 日本ビクター株式会社 動画像符号化装置及び動画像符号化プログラム
JP2008109259A (ja) * 2006-10-24 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
JP2008236333A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 映像符号化装置及び映像符号化方法
US8218646B2 (en) 2007-08-15 2012-07-10 Kddi Corporation Moving image encoding apparatus, moving image encoding method, and program
JP2009049551A (ja) * 2007-08-15 2009-03-05 Kddi Corp 動画像符号化装置、動画像符号化方法およびプログラム
JP2010074783A (ja) * 2008-09-22 2010-04-02 Kddi Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
JPWO2011138900A1 (ja) * 2010-05-06 2013-07-22 日本電信電話株式会社 映像符号化制御方法および装置
JP2014135741A (ja) * 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置
JP5584757B2 (ja) * 2010-05-06 2014-09-03 日本電信電話株式会社 映像符号化制御方法および装置
WO2011138923A1 (ja) 2010-05-07 2011-11-10 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
US9179165B2 (en) 2010-05-07 2015-11-03 Nippon Telegraph And Telephone Corporation Video encoding control method, video encoding apparatus and video encoding program
WO2011142291A1 (ja) 2010-05-12 2011-11-17 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
US9179149B2 (en) 2010-05-12 2015-11-03 Nippon Telegraph And Telephone Corporation Video encoding control method, video encoding apparatus, and video encoding program
CN115052157A (zh) * 2012-07-02 2022-09-13 韩国电子通信研究院 图像编码/解码方法和非暂时性计算机可读记录介质
JP2016197841A (ja) * 2015-04-06 2016-11-24 日本電信電話株式会社 符号量算出方法、符号量算出装置及び符号量算出プログラム
JP2016213698A (ja) * 2015-05-11 2016-12-15 日本放送協会 映像符号化装置及びプログラム

Also Published As

Publication number Publication date
JP3866538B2 (ja) 2007-01-10
US20030031251A1 (en) 2003-02-13
US7075982B2 (en) 2006-07-11

Similar Documents

Publication Publication Date Title
JP3866538B2 (ja) 動画像符号化方法及び装置
US7068718B2 (en) Advanced method for rate control and apparatus thereof
JP2963416B2 (ja) 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置
JPH11346362A (ja) リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器
JP4358215B2 (ja) 動画像符号化装置及びその方法
JP4366571B2 (ja) 動画像符号化装置及び方法
JP3907875B2 (ja) 符号化レート制御装置及び情報符号化装置
JP4632049B2 (ja) 動画像符号化方法及び装置
JP2001008215A (ja) 動画像符号化装置及びその方法
US8494047B2 (en) Encoding device, method for adjusting target amount of code and record medium
JP2004514352A (ja) Ｍｐｅｇ−２スケーラブル復号器内の複雑さの動的な適応
KR100950525B1 (ko) 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
US20110134997A1 (en) Transcoder
JP2004040811A (ja) 動映像符号化のためのｄｃｔ演算量調節方法及びその装置
JP4073541B2 (ja) 動画像再符号化装置
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
JP2001025015A (ja) 動画像符号化装置及びその方法
JP2001008207A (ja) 動画像符号化装置及びその方法
JP4871848B2 (ja) 動画像再符号化装置
JPH114445A (ja) 画像符号化装置および方法
JP3425130B2 (ja) 符号化装置及び符号化方法
JPH114444A (ja) 画像符号化装置および方法
JP4273385B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP4239734B2 (ja) 符号化装置、および、符号化方法、並びに、プログラム
JP4273386B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061005

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131013

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees