JP2008061133A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】 フレーム内予測符号化及びフレーム間予測符号化を併用するとともに、フレーム間予測符号化における動き検出に用いる参照データの転送量を抑制することの可能な符号化装置を提供すること。
【解決手段】
動画像を圧縮符号化する符号化装置において、フレーム内予測符号化方式及びフレーム間予測符号化方式の両方を適用し、符号化効率が高くなると考えられる符号化方式による予測画像を用いて予測符号化を行なう。効率の高い予測符号化方式を利用するので、高い符号化効率を実現することができる。
【選択図】 図１

Description

本発明は、画像符号化技術に関し、特に動き補償を用いた画像符号化技術に関する。

国際標準として定められた動画像の圧縮符号化方式として、ITU-T Recommendation H.264又はISO/IEC International Standard 14496-10（以下、単にH.264と記す）や、MPEG2方式等が知られている。
これらの符号化方式では、画像を複数の矩形ブロック（マクロブロック）に分割し、マクロブロック単位で符号化を行う。また、動画像を構成するフレーム画像が時間的及び空間的に大きな相関を持つ性質を利用して符号量を削減している。

時間的な相関性を利用した符号化方式としては、動き補償フレーム間予測符号化方式が広く用いられている。これは、符号化対象マクロブロックの動き情報（動きベクトル）を検出し、この動き情報を用いて生成した予測画像と、符号化対象マクロブロックとの差分を符号化するものである。

また、空間的な相関性を利用した符号化方式としては、フレーム内予測符号化方式が広く用いられている。これは、同一フレーム内の、符号化対象マクロブロックの周囲のマクロブロック内の画素を用いて予測画像を生成し、その予測画像と符号化対象マクロブロックとの差分を符号化するものである。

特にこのフレーム内予測方式は、複数の予測方向に対応する多くの予測モードを有し、他の符号化方式と比べてフレーム内における予測精度が高い。H.264におけるフレーム内予測符号化ツール及び他の符号化ツールの詳細は、それぞれの勧告書を参照されたい。

符号化対象となる画像の多様化などにより、様々な符号化方式が標準化されてきているが、動き補償フレーム間予測符号化方式における動き検出については、新しく標準化された符号化方式であっても、従前の手法が踏襲されたままである。
従前の動き検出の手法としては、例えば、特許文献１、非特許文献１、非特許文献２及び非特許文献３に記載されるようなものがある。

ここで、従前から行なわれている、一般的なブロックマッチングによる動き検出手法について簡単に説明する。
図６は、従来の符号化装置における動き検出処理に係る構成を模式的に示した図である。
図において、動き検出装置６０１は、参照フレームメモリ６０４とバス６０３を介して接続されている。参照フレームメモリ６０４には、現処理対象フレームの動き検出のために参照する参照フレームが格納される。動き検出装置６０１はさらに、現処理対象ブロックの動き検出処理に必要な探索範囲の参照データを格納する、探索範囲ＲＡＭ６０２を備える。

動き検出装置６０１は、現処理対象ブロックの動き検出処理を行う際に、まず参照フレームメモリ６０４より、探索範囲の参照データをバス６０３を介して読み出し、探索範囲ＲＡＭ６０２に格納する。そして、現処理対象ブロックのデータと、探索範囲ＲＡＭ６０２内の参照データとの位置をずらしながら、順次マッチングをとり、最も類似度の高い位置を動きベクトルとして検出する。

参照データは処理対象ブロック毎に異なるが、図５に示すように、現在処理中のブロックの探索範囲と、直前に処理したブロックの探索範囲とには重複部分がある。そのため、参照データを探索範囲ＲＡＭ６０２へ書き込む際には、重複部分を除いた探索範囲のデータのみを書き込むのが普通である。

近年、符号化対象となる動画像コンテンツは、１フレーム当たりの画素数及びフレーム・レートが増加する傾向にあり、単位時間あたりに符号化処理すべきデータ量が増加している。

そのため、参照フレームメモリ６０４から動き検出範囲の参照データをバス６０３を介して読み出し、探索範囲ＲＡＭ６０２に格納する処理における、バス６０３の単位時間当たりのデータ転送量が増大することになる。一般的に、参照フレームメモリ６０４は、動き検出装置６０１を含む画像符号化装置等におけるＣＰＵや他の画像処理部なども用いる共用メモリ空間の一部であることが多い。

そのため、参照フレームメモリ６０４から探索範囲ＲＡＭ６０２への転送量の増大は、共用メモリを使用する他の構成要素の処理に影響を及ぼし、場合によって画像符号化装置全体の正常動作を妨げる事態を招く。

このような事態を防止するには、参照フレームメモリ６０４を共用メモリの一部空間ではなく、専用メモリとして設ける等の対策が必要である。しかし、このような対策は、回路規模やコストの増加を伴うため、好ましくない。

特開平７−１５４８０１号公報 R. Li, B. Zeng, and M. L. Liou, "A new three-step search algorithm for block estimation," IEEE Trans. Circuits Syst. Video Technol., vol. 4, pp.438-442, Aug. 1994. L. M. Po and W. C. Ma, "A Novel four-step search algorithm for fast block estimation," IEEE Trans. Circuits Syst. Video Technol., vol. 6, pp.313-317, June 1996. S. Zhu and K.-K. Ma, "A new diamond-search algorithm for fast block-matching motion estimation," IEEE Trans. Image Processing, vol. 9, pp.287-290, Feb. 2000.

H.264等、フレーム内予測符号化及びフレーム間予測符号化を併用する符号化方式を実現する従来の符号化装置において、フレーム間予測符号化に用いる動き検出処理に際し、フレーム内予測符号化との親和性は考慮されてこなかった。

また、H.264など新しい符号化方式は、それ以前の符号化方式と比べて符号化効率が高い反面複雑であり、多くの演算を必要とする。そのため、符号化処理時間の増大や回路規模の増大を抑制するのが困難であった。
また、従来の動き検出処理では、探索範囲の参照データ群を準備するためのデータ伝送量が多く、バスの帯域を圧迫していた。

本発明はこのような従来技術の課題に鑑みなされたものであり、フレーム内予測符号化及びフレーム間予測符号化を併用する画像符号化装置及び画像符号化方法において、動き検出に必要なデータ転送量及び符号化に必要な演算量を低減することにある。

上述の目的は、動画像のフレームをブロック単位で符号化する画像符号化装置であって、フレーム内予測符号化方式を用いて、入力動画像の処理対象ブロックに対する処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測符号化手段と、動き補償フレーム間予測符号化方式を用いて、処理対象ブロックに対する処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測符号化手段と、予め定められた評価方法に従って、フレーム内予測手段とフレーム間予測手段を選択する選択手段と、選択された、第１及び第２の予測画像ブロックの一方と、処理対象ブロックとの差分である予測差分画像を符号化する符号化手段とを有し、フレーム間予測符号化手段が、処理対象ブロックと、処理対象ブロックの動きを検出するための参照フレーム画像の階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロック及びＮ値化参照フレーム画像を生成するＮ値化画像生成手段と、Ｎ値化画像生成手段の出力を記憶する記憶手段を有し、フレーム間予測手段は、Ｎ値化画像生成手段の出力と記憶手段からの出力処理対象ブロック及びＮ値化参照フレーム画像とを用いてＮ値化処理対象ブロックの動きを検出をする動き検出手段と、動き検出手段が検出した検出結果動きに基づいて、第２の予測画像ブロックを生成する予測画像生成手段とを有することを特徴とする本発明の画像符号化装置によって達成される。

また、上述の目的は、動画像フレームをブロック単位で符号化する画像符号化方法であって、入力動画像の処理対象ブロックに対する処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測工程と、処理対象ブロックに対する処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測工程と、予め定められた評価方法に従って、フレーム内予測工程とフレーム間予測工程を選択する選択工程と、処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成するＮ値化画像生成工程と、Ｎ値化画像生成工程の結果を記憶する記憶工程を有し、前期フレーム間予測工程は、Ｎ値化画像生成工程の結果と記憶工程からの記憶情報を用いてＮ値化処理対象ブロックの動き検出をする動き検出工程と、動き検出工程が検出した検出結果に基づいて、第２の予測画像ブロックを生成する予測画像生成工程とを有することを特徴とする本発明の画像符号化方法によっても達成される。

このような構成により、フレーム内予測符号化及びフレーム間予測符号化を併用する符号化装置及び画像符号化方法において、動き検出に必要なデータ転送量及び符号化に必要な演算量を低減することが可能となる。

以下、図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る画像符号化装置の構成例を示す図である。
動画像符号化装置１００は、以下の構成要素を有してなる。フレーム内予測部１０１、二値化画像生成部１０２、二値化画像フレームバッファ１０３、フレーム間予測部１０４、選択器１０５、差分生成器１０６、直交変換部１０７、エントロピー符号化部１０８、局所復号部１０９及び、フレームバッファ１１０。

符号化対象動画像として入力される原画像は、フレームを矩形領域に分割した、複数の画素群よりなるブロックの単位でそれぞれフレーム内予測部１０１、二値化画像生成部１０２、フレーム間予測部１０４、及び差分生成器１０６へと入力される。

フレーム内予測部１０１は、入力された原画像よりフレーム内予測を行ない、フレーム内予測画像を生成して選択器１０５へと出力する。
二値化画像生成部１０２は、入力された原画像の高周波成分の特徴を抽出して二値化画像を生成し、フレーム間予測部１０４及び二値化画像フレームバッファ１０３へと出力する。

二値化画像フレームバッファ１０３は、二値化画像生成部１０２より出力された二値化画像を記憶保持し、少なくとも次のフレームまで遅延させた後、二値化遅延フレーム画像つまり参照フレーム画像としてフレーム間予測部１０４へと出力する。
フレーム間予測部１０４は、原画像、二値化画像、二値化遅延フレーム画像及び遅延フレーム画像を元にフレーム間予測を行ない、フレーム間予測画像を生成して選択器１０５へと出力する。

選択器１０５は、フレーム内予測部１０１より出力されるフレーム内予測画像及び、フレーム間予測部より出力されるフレーム間予測画像のうち、いずれか一方を選択して被選択予測画像として差分生成器１０６へと出力する。
差分生成器１０６は、原画像と選択器１０５より出力される被選択予測画像との差分をとり、予測差分画像として直交変換部１０７へと出力する。

直交変換部１０７は、差分生成器１０６より出力される予測差分画像に直交変換及び量子化処理を施し、量子化変換係数としてエントロピー符号化部１０８及び局所復号部１０９へと出力する。

エントロピー符号化部１０８は、直交変換部１０７より出力される変換係数、フレーム内予測のモード情報（図示されない）及びフレーム間予測の動き情報（図示されない）についてそれぞれエントロピー符号化を施し、符号化ストリームとして出力する。
選択器１０５、差分生成器１０６、直交変換部１０７及びエントロピー符号化部１０８は、全体として符号化部１２０を構成する。符号化部１２０は、フレーム内予測画像とフレーム間予測画像の選択された一方と処理対象ブロックとの予測差分画像を符号化する手段として機能する。

局所復号部１０９は、直交変換部１０７より出力される変換係数に対して逆量子化及び逆直交変換を施し、局所復号画像としてフレームバッファ１１０へと出力する。
フレームバッファ１１０は、局所復号部１０９より出力される局所復号画像を記憶保持し、少なくとも次のフレームまで遅延させた後、遅延フレーム画像としてフレーム間予測部１０４へと出力する。

次に、本発明の実施形態の動画像符号化装置の動作について説明する。
多値画像（Ｍ（Ｍ＞２）値画像）である原画像が入力されると、フレーム内予測部１０１では、所定サイズの矩形ブロック（以下、単にブロックという）を単位としたフレーム内予測を行なう。フレーム内予測部１０１は、適切なモード（予測方向、予測単位ブロックサイズ等）を決定し、対応する近隣画素からブロック内の画素を予測したフレーム内予測画像（第１の予測画像ブロック）を生成して出力する。

また、フレーム内予測部１０１は、生成したフレーム内予測画像と、処理対象ブロックの画像との類似度を評価する指標として、例えば後述するSAD値を算出する。この指標の値は、例えば選択器１０５において予測画像を選択する際の評価基準として利用することができる。
一方、原画像は二値化画像生成部１０２へも入力され、ブロック単位で二値化処理が適用される。

図２は二値化画像生成部１０２の内部構成例を示した図である。
二値化画像生成部１０２はフィルタ部１０２１、差分生成器１０２２、及び二値化部１０２３より構成される。原画像はブロック単位でフィルタ部１０２１及び差分生成器１０２２へと入力される。フィルタ部１０２１において、入力された原画像ブロックはフィルタ処理が施され、被フィルタ画像として差分生成器１０２２へと出力される。

フィルタ部１０２１は、後述の差分生成器１０２２と組合わせて原画像の高周波成分の特徴を抽出するためのフィルタであり、例えば原画像の有する空間周波数成分より低いカットオフ周波数である低域通過フィルタを用いることができる。フィルタ部１０２１に用いる低域通過フィルタとしては、例えば図３（ａ）〜図３（ｃ）に示されるような２次元タップ係数を有する空間フィルタを例示することができる。この時フィルタのタップ数に応じて、ブロックの周辺画素を多く用いる事でブロック分割によるブロック端部の悪影響が低減される。差分生成器１０２２は、原画像とフィルタ部１０２１より出力される被フィルタ画像との差分を求め、高周波成分抽出画像として二値化部１０２３へ出力する。

原画像の持つ各画素値と、低域通過フィルタ処理が施された被フィルタ画像の対応画素値との差分をとることによって、原画像の高周波成分の持つ特徴画像を得ることができる。差分生成器１０２２より出力される高周波成分抽出画像は、二値化部１０２３において二値化処理が施され、二値化画像として出力される。二値化部１０２３は、高周波成分抽出画像が持つ各画素値について、所定値以上、例えば１以上の画素は「１」、そうでない画素は「０」として二値化する。

こうして二値化画像生成部１０２によって得られた二値化画像は、原画像の高周波成分の特徴が反映された二値化画像となる。このように原画像の高周波成分の特徴が反映された二値化画像を用いる理由は、概ね以下に述べる理由による。

第一の理由は、二値化画像を用いることによって画像データ量が大幅に減少することである。これにより、二値化フレームバッファ１０３へのアクセス量及び、動き検出のための演算量を低減させることが可能となる。

第二の理由としては、高周波成分の特徴が反映された二値化画像は、フレーム間の差分、即ち動きの特徴が現れやすいためである。そのため、高周波成分の特徴が反映された二値化画像を用いて動き検出を行なうことによって、原画像が高周波成分を十分に有する画像であれば、精度良く動きを検出することが可能となる。

第三の理由としては、空間的相関を利用したフレーム内予測と併用する場合、結果として高い符号化効率を得られるためである。前述したように、原画像が高周波成分を十分に有する画像であれば、二値化画像を用いることで精度良く動き検出ができる。しかし反面、原画像の高周波成分が少ない場合には、二値化画像に画像の特徴が反映されにくくなり、動き検出の精度は低下する。この点、フレーム内予測においては、近隣の画素から予測画素を生成するため、画素間相関が高いほど、すなわち高周波成分が少ない画像であるほど予測精度が向上する。従って、高周波成分が少ない原画像に対してはフレーム内予測が有効である。

実際の動画像では、高速なパニング等によって画面内の動きが大きくなっているようなケースでは、隣接画素間相関が高くなり、高周波成分が少なくなる傾向があるため、フレーム内予測の予測精度が高くなる。従って高周波成分の特徴が反映された二値化画像を用いて動き検出を行ないフレーム間予測を行なうと同時に、空間的相関を利用したフレーム内予測を行なうことによって、全体で高い符号化効率を得ることができる。

二値化画像生成部１０２において得られた二値化画像ブロックは、現在処理対象となっている原画像ブロックの動き検出に用いるため、フレーム間予測部１０４へと送られる。さらに、次フレーム画像以降の動き検出時に参照画像として用いるために、一旦、二値化画像フレームバッファ１０３へ送られ、記憶保持される。

フレーム間予測部１０４において、二値化画像及び原画像を用いて動き検出処理に基づくフレーム間予測が行なわれる。図４は、フレーム間予測部１０４の内部構成例を示す図である。以下、図４を用いてフレーム間予測部１０４の動作を説明する。

ブロック単位で入力される原画像は、ブロックＲＡＭ１０４１に格納される。また、同じくブロック単位で入力される二値化画像は、二値化画像ブロックＲＡＭ１０４２に格納される。また、二値化画像フレームバッファ１０３から読み出された二値化遅延フレーム画像は二値化画像探索範囲ＲＡＭ１０４３に格納される。

二値化画像ブロックＲＡＭ１０４２及び二値化画像探索範囲ＲＡＭ１０４３への格納がそれぞれ終了すると、二値化画像動き検出部１０４５においてブロックマッチング処理に基づく動き検出処理が開始される。二値化画像ブロックＲＡＭ１０４２は、二値化画像動き検出部１０４５の必要に応じて、適宜処理対象二値化画像ブロックのデータを出力する。二値化画像探索範囲ＲＡＭ１０４３は、参照フレームとして用いる二値化遅延フレーム画像の参照データのうち、探索範囲として設定された二値化画像参照データ群を格納し、二値化画像動き検出部１０４５の必要に応じて、参照データを出力する。

二値化画像動き検出部１０４５は、処理対象ブロックに対応する探索範囲を計算する。そして、計算された探索範囲に含まれる参照データ群のうち、既に二値化画像探索範囲ＲＡＭ１０４３内に書き込まれている参照データを除いた新規部分のみを二値化画像フレームバッファ１０３から取得し、二値化画像探索範囲ＲＡＭ１０４３を更新する。

ところで、探索範囲参照データをバッファから取得する処理において、参照データを本来の階調のまま取得する場合と、本実施形態のように二値化したものを取得する場合とではデータ量に大幅な差が生じる。例えば、原画像が２５６階調を持っていたとすると、１画素当り８ビット必要であり、二値化画像の８倍のデータを取得する必要がある。このように、二値化画像を用いて動き検出処理を行なうことで、探索範囲の参照データの転送量を大きく低減させることが可能である。

また、二値化画像動き検出部１０４５は、二値化画像ブロックＲＡＭ１０４２より処理対象二値化画像ブロックのデータを読み出し、二値化画像探索範囲ＲＡＭ１０４３より読み出した探索範囲内の二値化画像参照データとブロックマッチングを行なう。探索範囲内における二値化画像参照データに対し、処理対象二値化画像ブロックデータを順次ずらしていきながら順次マッチングを行う。そして、最も高い類似度と評価された際の位置をもとに第１の動きベクトルＭＶｂｉｎを算出し、動き検出部１０４６へと出力する。

二値化画像ブロック相互の類似度の指標としては、対応画素間の排他的論理和の合計(XORSUM)が一般的によく用いられる。例えば、処理対象二値化画像ブロック（ｘ画素×ｙ画素）の各画素値をOrgbin(0,0)〜Orgbin(x-1,y-1)とし、マッチング対象として対応する二値化画像参照データ（ｘ画素×ｙ画素）の各画素値をRefbin(0,0)〜Refbin(x-1,y-1)とすると、これらのXORSUM値は、下記式（１）より得られる。

排他的論理和は、入力値が異なる際に真となるため、XORSUM値が小さいほど類似度が高く、大きいほど類似度が低いと見なすことができる。

本実施形態において、二値化画像動き検出部１０４５は、探索範囲内の全候補点に対してブロックマッチング評価を行なう全探索法により動き検出を行なう。しかしながら、処理時間や回路コスト等に応じて探索方法を適宜選択することが可能であり、全探索法の利用は必須ではない。

動き検出処理が終了すると、二値化画像動き検出部１０４５は、検出結果である第１の動きベクトルＭＶｂｉｎを出力する。動き検出部１０４６は、第１の動きベクトルＭＶｂｉｎを基に、処理対象ブロックに対応する探索範囲の位置を計算する。そして、動き検出部１０４６は、探索範囲の位置に含まれる参照データ群をフレームバッファ１１０より読み出し、探索範囲ＲＡＭ１０４４へ格納する。二値化画像から検出された第１の動きベクトルを利用することにより、動き検出部１０４６が計算する探索範囲の大きさは、二値化画像動き検出部１０４５が計算する探索範囲の大きさよりも小さくすることが可能である。そのため、二値化画像から検出した第１の動きベクトルを利用しない場合に比べ、フレームバッファ１１０から探索範囲ＲＡＭ１０４４へ読み込むデータ量を大幅に削減することが可能である。

次いで、動き検出部１０４６は、ブロックＲＡＭ１０４１から読み出した処理対象ブロックのデータと、探索範囲ＲＡＭ１０４４より読み出した、処理対象ブロックに対応する探索範囲内の参照データとの類似度を評価する。類似度は、第１の動きベクトルＭＶｂｉｎで示される探索点を中心に、探索範囲内における参照データの位置をずらしながら順次ブロックマッチングした結果により評価する。最も類似度が高いと評価された位置をもとに、最終的な動きベクトル（第２の動きベクトル）が検出される。

多値画像の類似度を評価する指標として、例えば対応画素同士の差分絶対値和(SAD, Sum of Absolute Difference)がよく用いられており、本実施形態においても利用可能である。処理対象ブロック（ｘ画素×ｙ画素）の各画素値をOrg(0,0)〜Org(x-1,y-1)とし、マッチング対象として用いる参照データ（ｘ画素×ｙ画素）の各画素値をRef(0,0)〜Ref(x-1,y-1)とすると、これらのSAD値は、下記式（２）より得られる。

対応画素の値の差が小さければSAD値も小さくなる。従って、SAD値がが小さいほど類似度が高く、大きいほど類似度が低いと評価することができる。

ここで、二値化画像動き検出部１０４５及び動き検出部１０４６において実行するブロックマッチング処理に必要な、類似度を表す指標値（二値化画像においてはXORSUM、それ以外の通常の階調を有する画像においてはSAD）の算出負荷について考える。それぞれの類似度の指標値の算出式（１）及び（２）とを比較すれば明らかなように、多値の減算処理及び加算処理を行なう式（２）に対し、論理演算と１ビット値の加算処理である式（１）の演算量は非常に少なくて済む。従って、同じ計算負荷であれば、二値化画像を用いて動き検出処理を行なうことにより、ずっと多くの探索点について類似度を評価することが可能となり、動きベクトルの検出精度を向上することが可能となる。

上述したように、動き検出部１０４６における動き検出処理は、ＭＶｂｉｎの示す探索点を中心に比較的狭い探索範囲で行なわれればよく、必要であれば半画素単位、1/4画素単位の探索が行なわれるようにしてもよい。本実施形態では、ＭＶｂｉｎの示す探索点を中心に周辺の８点を探索し、類似度が最も高い点を決定する。次いで、この点を中心に半画素単位、1/4画素単位の動き検出を行なう。しかし、必ずしもこれらの手順が全て行なわれなくてもよい。動き検出部１０４６は、探索処理によって決定した第２の動きベクトルを用い、処理対象ブロックに対応する予測画像を生成して、フレーム間予測画像（第２の予測画像ブロック）として出力する。

フレーム内予測部１０１より出力されるフレーム内予測画像、及びフレーム間予測部１０４より出力されるフレーム間予測画像はそれぞれ、選択器１０５へと入力される。
選択器１０５は、予め定められた評価方法に従い、フレーム内予測画像とフレーム間予測画像のうち、符号化効率が高くなると判定される一方を選択し、予測画像として差分生成器１０６へと出力する。

選択器１０５における具体的な評価方法としては、例えば、フレーム内予測部１０１及びフレーム間予測部１０４において算出した類似度の指標の値（例えばSAD値）を比較し、類似度の高い（SAD値の小さい）方の予測画像を選択する方法がある。すなわち、処理対象ブロックとの類似度が高い予測画像を選択することで、符号量を抑制し、符号化効率を高めることができる。

また、コスト情報の比較により選択を行なっても良い。コスト情報とは、符号化効率が最も良くなる選択を行なうために使用する指標値であり、原画像と予測画像の予測差分量に加え、モード情報や動き情報等を符号化したときのビット量を考慮して算出することができる。

フレーム内予測画像のコスト情報は、上述したSAD値及び、フレーム内予測を行なう際に発生するモード情報とに基いて算出することができる。
また、フレーム間予測画像のコスト情報は、上述したSAD値、フレーム間予測を行なう際に発生するモード情報、及び、動き情報とに基いて算出することができる。

コスト情報を算出する具体的な計算式の例を、式（３）に示す。
ＣＯＳＴ＝ＳＡＤ＋Ｑ×HeaderBits・・・（３）
式（３）において、COSTは、フレーム内予測画像及びフレーム間予測画像それぞれに求めるコスト情報である。また、SADは、フレーム内予測画像及びフレーム間予測画像それぞれにおいて得られるSAD値である。Qは、予測差分情報に対して量子化処理を施す際に用いる量子化スケール情報である。また、HeaderBitsは、フレーム内予測画像に対してはフレーム内予測モード情報、フレーム間予測画像に対しては動き情報を表す。

量子化スケール情報Ｑは、画像情報を符号化する際に量子化処理を行う場合に用いる量子化ステップ値を基に算出する。以下に、量子化スケール情報Ｑの算出例を示す。
上記量子化ステップ値をＱｓとしたとき、量子化パラメータ値Ｑｐを式（４）によって定義する。
Ｑｐ＝６・Ｑｓ＋２・・・（４）

さらに、上記量子化パラメータＱｐの関数として、ラグランジュ乗数を近似的に求め、これをＱとする。ＱｐとＱとの対応表の一例を、表１に示す。

次に、HeaderBitsの算出例を以下に示す。
本例では、HeaderBitsを予測モード情報もしくは動き情報をビット列に変換した際のビット数を表すものとする。例えば該動き情報は前記第２の動きベクトルと、予め定めた方法で導出した予測動きベクトルとの差分ベクトルを各成分ごとに絶対値をとり、それぞれ足し合わせた値を abs_mvd とすると、表２に示すような対応表でHeaderBits を得る。

選択器１０５は、フレーム内予測画像及びフレーム間予測画像のそれぞれについてこのコスト値を求め、コスト値の小さい（符号量の少ない）と判定される方の予測画像を選択して出力する。
差分生成器１０６は、原画像ブロックと、選択器１０５より出力される予測画像との差分をとり、予測差分画像として直交変換部１０７へと出力する。

直交変換部１０７は、差分生成器１０６より出力される予測差分画像に直交変換を行って変換係数を求めた後、変換係数に所定の量子化スケールを適用して量子化し、量子化変換係数としてエントロピー符号化部１０８及び局所復号部１０９へと出力する。直交変換部１０７が適用する直交変換には、DCT(Discrete Cosine Transfer) や、アダマール変換等が一般的に用いられるが、これらに制限されない。

エントロピー符号化部１０８は、直交変換部１０７の出力する量子化変換係数と、フレーム内予測のモード情報（図示されない）又はフレーム間予測の動き情報（図示されない）についてそれぞれエントロピー符号化を施し、符号化ストリームとして出力する。

一方、局所復号部１０９は、直交変換部１０７より出力される量子化変換係数に対して逆量子化及び逆直交変換を施し、局所復号画像としてフレームバッファ１１０へと出力する。フレームバッファ１１０は、局所復号部１０９より出力される局所復号画像を保持し、少なくとも次のフレームまで遅延させた後、フレーム間予測部１０４の要求に応じて遅延フレーム画像としてフレーム間予測部１０４へと出力する。遅延フレーム画像は、フレーム間予測画像を生成するために用いられる。

以上説明したように、本実施形態によれば、動画像を圧縮符号化する符号化装置において、フレーム内予測符号化方式及びフレーム間予測符号化方式の両方を適用し、符号化効率が高くなると考えられる符号化方式による予測画像を用いて予測符号化を行なう。このように、常に効率の高い予測符号化方式を利用するので、高い符号化効率を実現することができる。

また、フレーム間予測画像の生成において、まず原画像よりも階調数の少ない画像を用いて動きベクトルを検出し、次いで、この動きベクトルを用いて定めた探索範囲で原画像を用いた動き検出を行なう。

階調数を落とした画像を用いた動き検出により、参照画像のデータ転送量も演算量も削減しながら、高精度で動きベクトルを検出することができる。そして、この動きベクトルを元に、元の階調数の原画像と参照データとを用いた動き検出の探索範囲を定めるため、十分小さな探索範囲とすることが可能となる。従って、フレームバッファから読み出す、探索に用いる多階調の参照データの量を大幅に削減することができる。
このようにして、本実施形態によれば、演算量やデータ転送量を削減しながら、符号化効率の高い動画像の符号化を行なうことが可能となる。

＜第２の実施形態＞
第２の実施形態として、図１の二値化画像フレームバッファ１０３の入力を局所復号の二値化画像に変える事でも同様な効果を得る事ができる。新たに二値化処理部を設けて局所復号化部１０９の出力を二値化画像処理して二値化画像フレームバッファ１０３に入力する。この実施形態の場合は、新たに二値化処理部を必要とするが、局所復号後の画像を用いる事でより予測符号化精度の高い符号化が実現可能となる。

＜他の実施形態＞
上述の実施形態においては、二値化画像を用いて第１の動きベクトルを検出する構成について説明した。しかし、原画像の高周波成分を抽出して階調数を低減した任意の階調数を有する画像を用いることによっても同様の効果を達成することが可能であることは、本技術分野の当業者には容易に理解されるところであろう。従って、二値化画像生成部１０２をＮ値化画像生成部（Ｍ＞Ｎ≧２。Ｍ＞２で、Ｍは原画像の階調数）とし、二値化画像の代わりにＮ値化画像を用いて、評価値をXORSUMの代りにSADを用いる構成としてもよい。

また、上述の実施形態の動画符号化装置は、フレーム内予測部１０１及びフレーム間予測部１０４において予測画像をそれぞれ生成し、選択器１０５で一方を選択して差分生成器１０６に供給して予測差分画像を生成する構成であった。しかしながら、フレーム内予測部１０１及びフレーム間予測部１０４において予測差分画像を生成して出力し、選択器１０５でいずれかを選択して直接直交変換部１０７へ供給する構成としても良い。

この場合、フレーム内予測部１０１では、原画像と生成したフレーム内予測画像との差分をフレーム内予測差分画像として出力し、フレーム間予測部１０４では原画像と生成したフレーム間予測画像との差分をフレーム間予測差分画像として出力すればよい。

さらに、上述の実施形態は、システムあるいはコンピュータ（ＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一実施形態である。

なお、上述の実施形態をコンピュータで実現するためのプログラムは、コンピュータで実行可能な形式に変換可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態を取りうるが、これらに限るものではない。

上述の実施形態をコンピュータで実現するためのプログラムは、コンピュータが読み取り可能な記憶媒体や、有線／無線通信を通じてコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、コンピュータに上述の実施形態を実現させるプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルは、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

従って、上述の実施形態をコンピュータで実現するためのプログラムファイルを、クライアントコンピュータに提供するサーバも本発明の一実施形態である。

また、上述の実施形態をコンピュータで実現するためのプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによってユーザのコンピュータに供給することができる。

また、上述の実施形態をコンピュータで実現するためのプログラムは、コンピュータ上で通常稼働している他のソフトウェア、代表的には基本ソフトウェア（ＯＳ）の機能を利用するものであってもよい。

さらに、上述の実施形態をコンピュータで実現するためのプログラムは、その一部をコンピュータに装着される拡張ボード等で動作するファームウェアで構成してもよいし、あるいは拡張ボード等が備えるＣＰＵで一部を実行するようにしてもよい。

本発明の第１の実施形態に係る動画像符号化装置の構成例を示す図である。 図１における二値化画像生成部１０２の内部構成例を示した図である。 図２に示す二値化画像生成部１０２のフィルタ部１０２１として適用可能な空間フィルタの２次元タップ係数の例を示す図である。 図１におけるフレーム間予測部１０４の内部構成例を示す図である。 動き検出時の探索範囲の重複について説明する図である。 従来の符号化装置における動き検出処理に係る構成を模式的に示した図である。

Claims (9)

1. 動画像のフレームをブロック単位で符号化する画像符号化装置であって、
   入力動画像の処理対象ブロックに対する前記処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測手段と、
   前記処理対象ブロックに対する前記処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測手段と、
   予め定められた評価方法に従って、前記フレーム内予測手段と前記フレーム間予測手段を選択する選択手段と、
   前記処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成するＮ値化画像生成手段と、
   前記Ｎ値化画像生成手段の出力を記憶する記憶手段を有し、
   前記フレーム間予測手段は、
   前記Ｎ値化画像生成手段の出力と前記記憶手段からの出力を用いて前記Ｎ値化処理対象ブロックの動き検出をする動き検出手段と、
   前記動き検出手段が検出した検出結果に基づいて、前記第２の予測画像ブロックを生成する予測画像生成手段とを有することを特徴とする画像符号化装置。
2. 前記Ｎ値化画像生成手段は、画像の高域成分抽出手段を有し、前記高域成分抽出手段の出力をＮ値化する事を特徴とする請求項１記載の画像符号化装置。
3. 前記高域成分抽出手段は、低域通過フィルタ手段を有し、前記低域通過フィルタ手段の適用前と適応後の差分から高域成分を抽出することを特徴とする請求項１記載の画像符号化装置。
4. 前記選択手段が、前記第１及び第２の予測画像ブロックのうち、前記処理対象ブロックとの類似度が高い方を選択することを特徴とする請求項１乃至請求項３いずれか１項に記載の画像符号化装置。
5. 前記選択手段が、前記第１の予測画像ブロックについて、前記処理対象ブロックとの類似度及び前記フレーム内予測手段における予測モード情報とを用いて算出される第１のコスト情報と、前記第２の予測画像ブロックについて、前記処理対象ブロックとの類似度及び前記フレーム間予測手段における動き検出情報とを用いて算出される第２のコスト情報との比較に基づいて、前記第１の予測画像ブロック及び前記第２の予測画像ブロックの一方を選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像符号化装置。
6. 前記Ｎ値化画像生成手段が、二値化画像生成手段であることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像符号化装置。
7. 動画像のフレームをブロック単位で符号化する画像符号化装置であって、
   入力動画像の処理対象ブロックに対する前記処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測手段と、
   前記処理対象ブロックに対する前記処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測手段と、
   予め定められた評価方法に従って、前記フレーム内予測手段と前記フレーム間予測手段を選択する選択手段と、
   符号化画像を局所復号化する局所復号化手段と、
   前記処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成する第１のＮ値化画像生成手段と、
   前記局所復号化手段の出力画像の階調数を低減し、Ｎ値化（Ｎは２以上の整数）画像を生成する第２のＮ値化画像生成手段と、
   前記第２のＮ値化画像生成手段の出力を記憶する記憶手段を有し、
   前記フレーム間予測手段は、
   前記第１のＮ値化画像生成手段の出力と前記記憶手段からの出力を用いてＮ値化された処理対象ブロックの動き検出をする動き検出手段と、
   前記動き検出手段が検出した検出結果に基づいて、前記第２の予測画像ブロックを生成する予測画像生成手段とを有することを特徴とする画像符号化装置。
8. 動画像フレームをブロック単位で符号化する画像符号化方法であって、
   入力動画像の処理対象ブロックに対する前記処理対象ブロックと同一フレーム内から第１の予測画像ブロックを生成するフレーム内予測工程と、
   、前記処理対象ブロックに対する前記処理対象ブロックと異なるフレーム内から第２の予測画像ブロックを生成するフレーム間予測工程と、
   予め定められた評価方法に従って、前記フレーム内予測工程と前記フレーム間予測工程を選択する選択工程と、
   前記処理対象ブロックの階調数を低減し、Ｎ値化（Ｎは２以上の整数）処理対象ブロックを生成するＮ値化画像生成工程と
   前記Ｎ値化画像生成工程の結果を記憶する記憶工程を有し、
   前期フレーム間予測工程は、
   前記Ｎ値化画像生成工程の結果と前記記憶工程からの記憶情報を用いて前記Ｎ値化処理対象ブロックの動き検出をする動き検出工程と、
   前記動き検出工程が検出した検出結果に基づいて、前記第２の予測画像ブロックを生成する予測画像生成工程とを有することを特徴とする画像符号化方法。
9. コンピュータを請求項１乃至請求項７のいずれか１項に記載の画像符号化装置として機能させるプログラム。

Images