JP2008227602A - 直交変換・量子化装置 - Google Patents

Abstract

【課題】動画像符号化装置の符号化効率を常に良くすることが可能な直交変換・量子化装置を提供する。
【解決手段】整数変換部１１ａ、１１ｂは、差分画像１０１を４画素×４画素の変換サイズと８画素×８画素の変換サイズでそれぞれ整数変換する。量子化部１２ａは、整数変換部１１ａによる変換結果１１０ａを量子化する。量子化部１２ｂは、整数変換部１１ｂによる変換結果１１０ｂを量子化する。絶対値総和算出部１３１ａは、量子化結果１２０ａを構成する各量子化値の絶対値とその総和１３０ａを算出する。絶対値総和算出部１３１ｂは、量子化結果１２０ｂを構成する各量子化値の絶対値とその総和１３０ｂを算出する。総和比較部１３２は総和１３０ａと総和１３０ｂを比較する。量子化結果出力部１３は総和１３０ａの方が小さい場合、量子化結果１２０ａを出力し、総和１３０ａの方が小さい場合、量子化結果１２０ａを出力する。
【選択図】図１

Description

本発明は、画像を直交変換し、さらに量子化する直交変換・量子化装置に関し、特に直交変換・量子化装置が使用される動画像符号化装置の符号化効率を常に良くするための技術に関するものである。

動画像符号化方式の規格の１つとして、Ｈ．２６４が知られている。

図２は、この規格に基づいて構成された動画像符号化装置を例示するブロック図である。Ａ／Ｄ変換部２１は、アナログの入力信号をデジタルの信号に変換するものである。このデジタルの信号は、時系列のフレームごとの画像からなる動画を構成するものである。画面並べ替えバッファ２２は、画像を符号化の順に並べ替えるためのバッファである。動き補償予測部２３は、画像間の差分を取得するものである。イントラ予測部２４は、画像を複数のブロックに分割し、互いに隣接するブロック同士の差分を取得するものである。 直交変換・量子化部２５は、差分画像を直交変換し、さらに量子化するものである。可変長符号化部２６は、量子化結果を符号化するものである。蓄積バッファ２７は、量子化結果を符号化した結果である画像圧縮情報が蓄積されるバッファである。画像圧縮情報はパケット化されて出力されることとなる。レート制御部２８は、画像圧縮情報の情報量に基づき、量子化ステップを制御するものである。

逆量子化部２９は、量子化結果に量子化ステップを乗算するものである。逆直交変換部３０は、乗算の結果を画像に変換するものである。デブロックフィルタ３１は、画像の符号化時に生じるブロック歪を減少させるためのフィルタリングを行うフィルタである。フレームメモリ３２は、符号化済みのフレームごとの画像が保存されるメモリである。

下記の非特許文献１に開示されたJoint Modelでは、上記の直交変換・量子化部が行う直交変換における変換サイズをアダマール変換の結果に基づいて定める技術を開示している。

また、下記の特許文献１では、変換サイズを画像の解像度、符号化後のビットレート、輝度変化や色変化の多さに基づいて定める技術を開示している。

また、下記の特許文献２では、変換サイズを画像の大きさに基づいて定める技術を開示している。
特開２００４−２５４３２７号公報 特開２００６−１５７４８１号公報 "Joint Model"、［online］、［平成１９年２月１６日検索］、インターネット＜ＵＲＬ：http://iphome.hhi.de/suehring/tml＞

図３は、直交変換の変換サイズをアダマール変換の結果に基づいて定める直交変換・量子化装置を例示するブロック図である。ここでは、直交変換の１つである整数変換が用いられる。

図３において、アダマール変換部１４ａが、差分画像１０１を４画素×４画素のブロックごとにアダマール変換する。また、アダマール変換部１４ｂが、差分画像１０１を８画素×８画素のブロックごとにアダマール変換する。アダマール変換とは、後述する整数変換部１１ａなどが行う整数変換を擬似的に再現する変換である。

選択部１５の絶対値総和算出部１５１ａは、アダマール変換部１４ａにおける変換結果１４０ａを構成する各周波数成分の絶対値の総和１５０ａを算出する。一方、選択部１５の絶対値総和算出部１５１ｂは、アダマール変換部１４ｂにおける変換結果１４０ｂを構成する各周波数成分の絶対値の総和１５０ｂを算出する。

選択部１５の総和比較部１５２は、総和１５０ａと総和１５０ｂを比較する。総和１５０ａの方が小さい場合、選択部１５はスイッチＳＷ１を整数変換部１１ａの方へ、スイッチＳＷ２を量子化部１２ａの方へそれぞれ接続する。一方、総和１５０ｂの方が小さい場合、選択部１５はスイッチＳＷ１を整数変換部１１ｂの方へ、スイッチＳＷ２を量子化部１２ｂの方へそれぞれ接続する。

総和１５０ａの方が小さい場合、整数変換部１１ａは、スイッチＳＷ１を介して入力された差分画像１０１を４画素×４画素のブロックごとに整数変換する。次に量子化部１２ａが、整数変換部１１ａにおける変換結果１１０ａを量子化マトリクス２００ａを使用して量子化する。そして、量子化部１２ａにおける量子化結果１２０ａがスイッチＳＷ２を介して出力される。

一方、総和１５０ｂの方が小さい場合、整数変換部１１ｂは、スイッチＳＷ１を介して入力された差分画像１０１を８画素×８画素のブロックごとに整数変換する。次に量子化部１２ｂが、整数変換部１１ｂにおける変換結果１１０ｂを量子化マトリクス２００ｂを使用して量子化する。そして、量子化部１２ｂにおける量子化結果１２０ｂがスイッチＳＷ２を介して出力される。

出力される量子化結果内の情報量が少ないときは、動画像符号化装置の符号化効率が良いとされるので、直交変換・量子化装置は、量子化結果内の情報量を少なくすべく、上記のように変換サイズを選択するのである。

しかし、例えば、８画素×８画素の変換サイズを選択すれば符号化効率が良くなるのに、実際には４画素×４画素の変換サイズが選択され、そのため、符号化効率が悪くなる場合がある。

これは、整数変換の変換結果に含まれる小さな周波数成分が量子化において除去され、量子化結果に反映されないのに対し、アダマール変換の変換結果に含まれる小さな周波数成分は除去されず、総和に反映されるからである。

つまり、符号化効率が悪くなるのは、量子化前に行った比較結果に基づいて、量子化後に得られる量子化結果についての選択を行うからである。

そのため、変換サイズをアダマール変換の結果に基づいて定める場合、動画像符号化装置の符号化効率は必ずしも良くならないという問題があった。

また、この直交変換・量子化装置では、アダマール変換部が必要なので、回路規模を小さくすることが困難であった。例えば、図３の直交変換・量子化装置のゲート規模は３５０Ｋゲート程度にも達する場合があった。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、動画像符号化装置の符号化効率を常に良くすることが可能な直交変換・量子化装置を提供することにある。

上記の課題を解決するために、本発明の直交変換・量子化装置は、画像を第１の変換サイズで直交変換する第１直交変換手段と、前記画像を第２の変換サイズで直交変換する第２直交変換手段と、前記第１直交変換手段における変換結果を量子化する第１量子化手段と、前記第２直交変換手段における変換結果を量子化する第２量子化手段と、前記第１量子化手段により得られた第１の量子化結果の情報量と前記第２量子化手段により得られた第２の量子化結果の情報量とを比較し、前記第１の量子化結果の情報量が前記第２の量子化結果の情報量より少ない場合は、前記第１の量子化結果を出力する一方、前記第２の量子化結果の情報量が前記第１の量子化結果の情報量より少ない場合は、前記第２の量子化結果を出力する量子化結果出力手段とを備えることを特徴とする。

本発明によれば、第１の量子化結果の情報量と第２の量子化結果の情報量とを比較し、第１の量子化結果の情報量が第２の量子化結果の情報量より少ない場合は、第１の量子化結果を出力する一方、第２の量子化結果の情報量が第１の量子化結果の情報量より少ない場合は、第２の量子化結果を出力することで、出力される量子化結果の情報量を常に少なくでき、よって、動画像符号化装置の符号化効率を常に良くすることができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本実施の形態に係る直交変換・量子化装置１のブロック図である。直交変換・量子化装置１は、例えば、図２に示す動画像符号化装置の直交変換・量子化部２５として使用される。直交変換・量子化装置１は、いわゆるコンピュータプログラム（ソフトウェアまたはファームウェア）により機能するものである。

直交変換・量子化装置１は、入力される画像（動画像符号化装置での例にならい、「差分画像」という）１０１を２つの変換サイズのそれぞれで整数変換し、各変換結果１１０ａ、１１０ｂを量子化し、各量子化結果１２０ａ、１２０ｂの一方を選択して出力する装置である。整数変換は、直交変換の１つである。

直交変換・量子化装置１は、差分画像１０１を４画素×４画素の変換サイズで整数変換する整数変換部１１ａと、差分画像１０１を８画素×８画素の変換サイズで整数変換する整数変換部１１ｂと、整数変換部１１ａでの変換結果１１０ａを、予め設定された量子化マトリクスまたは入力された量子化マトリクス（いずれにしても、以下、「量子化マトリクス」という）２００ａを使用して量子化する量子化部１２ａと、整数変換部１１ｂでの変換結果１１０ｂを量子化マトリクス２００ｂを使用して量子化する量子化部１２ｂと、量子化部１２ａでの量子化結果１２０ａまたは量子化部１２ｂでの量子化結果１２０ｂを選択して出力する量子化結果出力部１３とを備える。

整数変換部１１ａ、整数変換部１１ｂ、変換結果１１０ａ、変換結果１１０ｂ、量子化部１２ａ、量子化部１２ｂ、量子化結果１２０ａ、量子化結果１２０ｂ、量子化結果出力部１３は、それぞれ第１直交変換手段、第２直交変換手段、第１の変換結果、第２の変換結果、第１量子化手段、第２量子化手段、第１の量子化結果、第２の量子化結果、量子化結果出力手段に相当するものである。

量子化結果出力部１３は、量子化結果１２０ａを構成する各量子化値の絶対値を求め、求めた各絶対値の総和１３０ａを算出する絶対値総和算出部１３１ａと、量子化結果１２０ｂを構成する各量子化値の絶対値を求め、求めた各絶対値の総和１３０ｂを算出する絶対値総和算出部１３１ｂと、総和１３０ａと総和１３０ｂを比較する総和比較部１３２を備える。

絶対値総和算出部１３１ａ、絶対値総和算出部１３１ｂ、総和１３０ａ、総和１３０ｂは、それぞれ第１絶対値総和算出部、第２絶対値総和算出部、第１の総和、第２の総和に相当するものである。

（本実施の形態の動作）
図１において、直交変換・量子化装置１に差分画像１０１が入力される。差分画像１０１は、差分画像１０１が表示される画面を構成する画素ごとの値を有するものである。

整数変換部１１ａは、差分画像１０１を４画素×４画素の変換サイズで整数変換する。つまり、整数変換部１１ａは、差分画像１０１を、垂直、水平方向に各４画素分の長さを有する画面の部分に対応するブロック（「４画素×４画素のブロック」という）ごとに整数変換する。４画素×４画素の変換サイズは、このブロックの大きさをいうのである。

一方、整数変換部１１ｂは、差分画像１０１を８画素×８画素の変換サイズで整数変換する。つまり、整数変換部１１ｂは、差分画像１０１を、垂直、水平方向に各８画素分の長さを有する画面の部分に対応するブロック（「８画素×８画素のブロック」という）ごとに整数変換する。８画素×８画素の変換サイズは、このブロックの大きさをいうのである。

次に、量子化部１２ａが、整数変換部１１ａでの変換結果１１０ａを構成する各周波数成分を、量子化マトリクス２００ａを乗じた量子化ステップで除し、商を求める。量子化結果１２０ａは、この商を量子化値として各周波数成分について有するものである。

一方、量子化部１２ｂは、整数変換部１１ｂでの変換結果１１０ｂを構成する各周波数成分を、量子化マトリクス２００ｂを乗じた量子化ステップで除し、商を求める。量子化結果１２０ｂは、この商を量子化値として各周波数成分について有するものである。

次に、絶対値総和算出部１３１ａが、量子化結果１２０ａを構成する各量子化値の絶対値を求め、求めた各絶対値の総和１３０ａを算出する。一方、絶対値総和算出部１３１ｂは、量子化結果１２０ｂを構成する各量子化値の絶対値を求め、求めた各絶対値の総和１３０ｂを算出する。

次に、総和比較部１３２が、総和１３０ａと総和１３０ｂを比較する。総和１３０ａの方が総和１３０ｂより小さい場合、量子化結果出力部１３は、量子化結果１２０ａを出力する。この場合、量子化結果１２０ａの情報量は、量子化結果１２０ｂの情報量より少なくなる。

一方、総和１３０ｂの方が総和１３０ａより小さい場合、量子化結果出力部１３は、量子化結果１２０ｂを出力する。この場合、量子化結果１２０ｂの情報量は、量子化結果１２０ａの情報量より少なくなる。

量子化結果出力部１３は、直接的には、総和１３０ａと総和１３０ｂを比較し、小さい方に対応する量子化結果を出力しているが、間接的には、量子化結果１２０ａの情報量と量子化結果１２０ｂの情報量とを比較し、少ない方の量子化結果を出力しているのである。

また、直交変換・量子化装置１は、量子化前でなく、量子化後に行った比較結果に基づいて、量子化結果を選択するのである。

以上説明したように、本実施の形態の直交変換・量子化装置１によれば、量子化結果１２０ａの情報量と量子化結果１２０ｂの情報量とを比較し、量子化結果１２０ａの情報量が量子化結果１２０ｂの情報量より少ない場合は、量子化結果１２０ａを出力する一方、量子化結果１２０ｂの情報量が量子化結果１２０ａの情報量より少ない場合は、量子化結果１２０ｂを出力することで、出力される量子化結果の情報量を常に少なくでき、よって、動画像符号化装置の符号化効率を常に良くすることができる。

また、８画素×８画素の変換サイズを選択すれば符号化効率が良くなるのに、実際には４画素×４画素の変換サイズが選択されるような不都合の発生を防止することができる。

また、直交変換・量子化装置１は、アダマール変換部が不要なので、回路規模を小さくすることができる。例えば、図３に示す２つのアダマール変換部の合計のゲート規模である７０Ｋゲート程度を削減することができる。

なお、本実施の形態は、直交変換の１つである整数変換を行うものだが、離散コサイン変換などの他の直交変換を行うようにしてもよい。

また、本実施の形態は、４画素×４画素の変換サイズと、８画素×８画素の変換サイズを使用するものだが、他の変換サイズを使用してもよい。

また、本実施の形態は、２つの変換サイズを使用するものだが、３つ以上の変換サイズを使用してもよい。

また、直交変換・量子化装置１を上記のとおり機能させるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

本実施の形態に係る直交変換・量子化装置１のブロック図である。 動画像符号化装置を例示したブロック図である。 アダマール変換の結果に基づいて変換サイズを定める直交変換・量子化装置のブロック図である。

符号の説明

１…直交変換・量子化装置
１１ａ、１１ｂ…整数変換部
１２ａ、１２ｂ…量子化部
１３…量子化結果出力部
１０１…差分画像
１１０ａ、１１０ｂ…変換結果
１２０ａ、１２０ｂ…量子化結果
１３０ａ、１３０ｂ…総和
１３１ａ、１３１ｂ…絶対値総和算出部
１３２…総和比較部
２００ａ、２００ｂ…量子化マトリクス

Claims (3)

1. 画像を第１の変換サイズで直交変換する第１直交変換手段と、
   前記画像を第２の変換サイズで直交変換する第２直交変換手段と、
   前記第１直交変換手段における変換結果を量子化する第１量子化手段と、
   前記第２直交変換手段における変換結果を量子化する第２量子化手段と、
   前記第１量子化手段により得られた第１の量子化結果の情報量と前記第２量子化手段により得られた第２の量子化結果の情報量とを比較し、前記第１の量子化結果の情報量が前記第２の量子化結果の情報量より少ない場合は、前記第１の量子化結果を出力する一方、前記第２の量子化結果の情報量が前記第１の量子化結果の情報量より少ない場合は、前記第２の量子化結果を出力する量子化結果出力手段と
   を備えることを特徴とする直交変換・量子化装置。
2. 前記量子化結果出力手段は、
   前記第１の量子化結果を構成する各量子化値の絶対値を求め、求めた各絶対値の総和である第１の総和を算出する第１絶対値総和算出部と、
   前記第２の量子化結果を構成する各量子化値の絶対値を求め、求めた各絶対値の総和である第２の総和を算出する第２絶対値総和算出部と、
   前記第１の総和と前記第２の総和とを比較する総和比較部と
   を備えることを特徴とする請求項１記載の直交変換・量子化装置。
3. 前記第１直交変換手段と前記第２直交変換手段は、それぞれ前記画像を整数変換することを特徴とする請求項１または２記載の直交変換・量子化装置。

Images