JP2010288070A - 画像符号化装置 - Google Patents

Abstract

【課題】非圧縮映像素材には、映像の有効画素データ領域の最下位ビットに補助データを多重して伝送する場合がある。この補助データは情報を欠落することなく伝送する必要があるが、映像素材の情報圧縮にデータが欠落し、映像信号に多重された補助データが伝送できないという問題があった。
【解決手段】入力した画像の最下位ビットに多重された補助データを、量子化係数の最下位ビットに置き換え、置き換えられた量子化係数を画像符号化装置に内蔵された可変長符号化処理部に入力し圧縮符号化を行うことにより、補助データの情報量圧縮伝送を実現する。復号化では、可変長符号化されたデータを、量子化係数に復号し、復号した量子化係数の最下位ビットを抽出して、適応予測部から出力される再構成画像データの最下位ビットに置き換えることにより、入力映像に多重された補助データを欠落なく効率的に伝送する。
【選択図】図１

Description

本発明は、画像符号化及び画像復号化技術に関する。

近年、地上波デジタル放送の開始によりＳＤ（ Standard Definition ）からＨＤＴＶ（ High Definition Tele-Vision ）への移行が急速に進んでいる。
従来から配備されているＳＤ非圧縮映像素材伝送回線の伝送帯域幅は、２７０Ｍｂｐｓである。従って、この伝送帯域を有するＳＤ非圧縮映像素材伝送回線を用いて、１．５Ｇｂｐｓ相当のＨＤ素材を伝送するためには、ＨＤ素材の圧縮伝送が必要となる（特許文献１参照。）。
このＨＤ素材の圧縮には、ＭＰＥＧ２（ Moving Picture Experts Group ，ISO/IEC 13818-1 ）、Ｈ．２６４（ ISO/IEC 14496-10 ）等で知られる映像符号化技術が用いられることが多い。
これら映像符号化技術は、入力画像を周波数成分に分解し、人間の目では劣化が知覚し難い高周波成分に関わる情報を削減することで情報量の圧縮を行う、ロッシー符号化技術を用いている。

特開２００４−１８０２３８号公報

非圧縮映像素材には、映像の有効画素データ領域の最下位ビットに補助データを画素毎に多重して伝送する場合がある。この補助データは、情報を欠落することなく伝送する必要がある。しかし、映像素材の情報圧縮にロッシー符号化技術を用いる場合、この最下位ビットの情報が欠落するという問題があった。また多重された補助データを抽出して、抽出した補助データのみを非圧縮伝送を行う場合には、１００Ｍｂｐｓ以上の伝送帯域を必要とし、映像素材の圧縮データに割り当てられる伝送帯域を圧迫し、映像素材の画質低下を招くという問題がある。
また、補助データを可逆符号化方式で圧縮して伝送する方法もある。しかし、この場合でも、ランダムノイズのように、エントロピー最大の場合のような、最悪のケースでは、非圧縮伝送と同等程度のビットレートを確保する必要がある。
本発明の目的は、情報の欠落なく、効率的に、補助データを伝送し、かつ映像素材の圧縮伝送を実現する画像符号化装置及び画像復号化装置を提供することにある。

上記課題を解決するために、本発明は、入力映像を複数のブロックに分割したブロック毎に、適応予測、変換量子化及び可変長符号化を用いる画像符号化装置において、適応予測を行う前に、入力画像の最下位ビットを抽出する手段と、量子化係数の最下位ビットを前記抽出した最下位ビットに置き換える手段を有する。また、画像復号化装置においては、可変長データから復号された量子化係数の最下位ビットを抽出する手段と、適応予測された再構成画像の最下位ビットに前記量子化係数から抽出した最下位ビットを置き換える手段を有するものである。
好ましくは、入力映像を、マクロブロックと呼ばれる、１６×１６画素の正方ブロックに分割したブロック毎に、適応予測、変換量子化及び可変長符号化を用いる画像符号化に適用する。

本発明によれば、補助データの情報量圧縮伝送が可能な画像符号化、及び画像復号化を実現できる。この場合の画像符号化装置における可変長符号化処理部での圧縮処理では、情報の欠落がないため、画像復号装置側でも情報の欠落なく補助データを復元することが可能である。
また画像復号化装置においては、可変長符号化されたデータを、量子化係数に復号し、復号した量子化係数の最下位ビットを抽出して、適応予測部から出力される再構成画像データの最下位ビットに置き換えることにより、補助データを復元することを可能とする。
本発明によれば、補助データを抽出して映像符号化データとは別に伝送する場合に比べ、映像符号化データと補助データの伝送帯域を共用できるため、別々に伝送する場合よりも画質が向上する。

本発明における画像符号化装置の一実施例の構成を示すブロック図である。 本発明における画像符号化装置の一実施例の構成を示すブロック図である。 本発明における画像符号化装置の発生符号量予測部の詳細を説明した図である。 本発明の一実施例のマクロブロック単位でのＳＡＤ値と発生符号量予測値の関係を示す図である。 本発明の一実施例で、量子化値をパラメータとした、マクロブロック単位でのＳＡＤ値と発生符号量予測値の関係を示す図である。 本発明の一実施例のＳＡＤ値の総和を演算する処理動作を説明するためのフローチャートである。 本発明の一実施例の推定量子化値を定めたときの発生符号量予測処理動作を説明するためのフローチャートである。 本発明の一実施例の平均量子化値の決定処理動作を説明するためのフローチャートである。 本発明における画像復号化装置の一実施例の構成を示すブロック図である。 本発明における補助データ多重識別情報のストリーム多重方法の一例である。

以下に本発明の一実施形態を説明する。なお、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本願発明の範囲に含まれる。

本発明の一実施例における画像符号化装置を図１に示す。図１は、本発明における画像符号化装置の一実施例の構成を示すブロック図である。１は画像符号化装置、１０は適応予測部、１１はＬＳＢ抽出部、１２は直交変換部、１３は量子化部、１４は遅延部、１５はＬＳＢ多重部、１６は切替（ＳＷ）部、１７は可変長符号化部、１８は逆量子化部、１９は逆直交変換部である。また、１００は映像信号、１０１は差分画像、１０２は補助データ（映像信号の最下位ビット）、１０３は直交変換係数、１０４は量子化係数、１０５は補助データの遅延データ、１０６は補助データが多重された量子化係数、１０７は補助データ多重識別信号、１０８は量子化係数、１０９は符号化ストリーム、１１０は逆量子化係数、１１１は逆変換画像である。

図１において、本発明の一実施例の画像符号化装置１には、映像信号１００と、補助データ多重識別信号１０７が入力される。
映像信号１００は、例えば、ＨＤ−ＳＤＩ（ SMPTE−292M ）等で規定される入力信号である。また、補助データ多重識別信号１０７は、何らかのピクセル位置情報を示すための信号で、例えば、肌検知領域、画像位置合わせ場所、等を抽出するためのデータである。
即ち、図１の画像符号化装置１は、映像信号１００を入力し、補助データ多重識別信号１０７に応じて、量子化係数１０４に補助データ１０２の遅延データ１０５を多重するかどうかを切り替え、圧縮された画像符号化ストリーム１０９を出力するものである。以下、図１の画像符号化装置１の詳細について説明する。
なお、例えば、符号化方式が、Ｈ．２６４の場合には、入力される映像信号は、マクロブロックと呼ばれる１６×１６画素ブロック単位で符号化処理される。

図１の画像符号化装置１において、映像信号１００は、適応予測部１０及びＬＳＢ抽出部１１に入力される。
適応予測部１０は、逆直交変換部１９より入力した逆変換画像１１１から参照画像を生成し、さらに生成した参照画像と入力した映像信号１００とを比較しながら適応予測処理に用いる好適な予測画像を生成する。そして、生成した予測画像と入力画像の差分を算出した後、差分画像１０１を直交変換部１２に出力する。
また、ＬＳＢ抽出部１１は、入力した映像信号１００の最下位ビットを抽出し、映像信号の最下位ビットとなる補助データ１０２を遅延部１４に出力する。

直交変換部１４は、入力された差分画像１０１に対し、４×４画素ブロック、若しくは８×８画素ブロック単位に、ＤＣＴ（ Direct Cosign Transform ）等の直交変換処理を実施し、直交変換係数１０３を量子化部１３に出力する。
量子化部１３は、入力された直交変換係数１０３に、量子化処理を実施して量子化係数１０４をＬＳＢ多重化部１５とＳＷ部１６に出力する。
遅延部１４は、入力した映像信号１００が、量子化処理を経てＬＳＢ多重部１５に入力するまでの遅延時間に合わせて、抽出した補助データ１０２を遅延させ、遅延データ１０５としてＬＳＢ多重部１５に出力する。
ＬＳＢ多重部１５は、量子化係数１０４及び補助データ１０２の遅延データ１０５を入力し、入力した量子化係数１０４の最下位ビットを補助データ１０２の遅延データ１０５に置き換え、補助データ１０６をＳＷ部１６に出力する。

ＳＷ部１６は、補助データ多重識別信号１０７が制御端子からアサートされていれば、補助データ１０５（補助データ１０２の遅延データ）が多重された量子化係数１０６を、量子化係数１０８として可変長符号化部１７及び逆量子化部１８とに出力する。
またＳＷ部１６は、補助データ多重識別信号１０７が制御端子からディアサートされていれば、入力した量子化係数１０４を量子化係数１０８として可変長符号化部１７及び逆量子化部１８とに出力する。

逆量子化部１８は、入力された量子化係数１０８に、逆量子化処理を実施し、逆量子化係数１１０を逆直交変換部１９に出力する。逆直交変換部１９は、逆量子化係数１１０に逆ＤＣＴ演算を実施し、逆変換画像１１１を適応予測部１０に出力する。
可変長符号化部１７は、入力した量子化データ１０８に可変長符号化処理を実施し、符号化ストリーム１０９として出力する。さらに可変長符号化部１７は、入力した補助データ多重識別信号１０７を、符号化ストリーム１０９のヘッダ情報に多重して出力する。

ここでシステムによっては、輝度信号の有効画像領域のみに補助データが多重される場合や、クロマ信号の有効画像領域のみに補助データが多重される場合がある。この場合、補助データ多重識別信号１０７は、輝度成分Ｙ、Ｐｂ成分、Ｐｒ成分、それぞれ、１ｂｉｔずつを要し、計３ｂｉｔの信号により制御を行う。

補助データ多重識別信号１０７の符号化ストリーム１０９への多重方法の一例を図１０に示す。図１０は、本発明における補助データ多重識別情報のストリーム多重方法の一例であり、Ｈ．２６４画像符号化標準におけるストリームシンタクスのＳＥＩ（ Supplementary Enhancement Information ）の一部を抜粋したものである。３１はａｎｃ＿ｄａｔａ＿ｉｎｓｅｒｔｉｏｎ、３２はａｎｃ＿ｄａｔａ＿ｉｎｓｅｒｔｉｏｎ３１の下位３ｂｉｔである。
本発明では、補助データ多重識別信号１０７は、ＳＥＩのユーザデータ領域に多重し、ａｎｃ＿ｄａｔａ＿ｉｎｓｅｒｔｉｏｎ３１の下位３ｂｉｔ３２にデータを多重し伝送するのが望ましい。

上記図１、図１０の実施例によれば、補助データの情報量圧縮伝送が可能な画像符号化を実現できる。この場合の画像符号化装置における可変長符号化処理部での圧縮処理では、情報の欠落がないため、画像復号装置側でも情報の欠落なく補助データを復元することが可能である。
またその結果、画像符号化装置側では、可変長符号化されたデータを、量子化係数に復号し、復号した量子化係数の最下位ビットを抽出して、適応予測部から出力される再構成画像データの最下位ビットに置き換えることにより、補助データを復元することを可能とする。
さらに上記実施例によれば、補助データを抽出して映像符号化データとは別に伝送する場合に比べ、映像符号化データと補助データの伝送帯域を共用できるため、別々に伝送する場合よりも画質が向上する。

Ｈ．２６４符号化方式では、マクロブロックと呼ばれる１６×１６画素ブロック単位で符号化処理を行う。画面内あるいは画面間予測においては、１６×１６画素や４×４画素、８×８画素等にマクロブロックをブロック単位に分割し、各ブロック単位で予測処理を行い、予測画像との差分をＤＣＴ（ Discrete Cosine Transform ：離散コサイン変換）などの変換及び量子化処理を行った後に可変長符号化を行い、符号化を行うことが規定されている。
Ｈ．２６４では、マクロブロックの画像の状態により発生符号量に違いが生じる。また、量子化を粗く施すことにより発生符号量を抑制することが可能である。しかしその際、画質が劣化するという副作用が生じる。そのため、与えられるビットレートを十分に使用し符号化を行うことが重要である。それ故、何らかの手段を用いて発生符号量を予測し、予測結果に基づいて量子化制御などを行い高画質かつ求められる符号量に調整するレート制御が行われる。

図２によって、本発明の符号化装置の一実施例の構成を説明する。図２は、本発明の画像符号化装置の一実施例の構成を示すブロック図である。図１と同一の構成要素には同一の参照番号を付し、説明を省略する。２０３は直交変換部１２と量子化部１３で構成される変換・量子化部、２０８は発生符号化量予測部、２０９は閾値のデータ、２１０はビットレートを示すデータ、２１１はマクロブロック分割部、２１２は差分処理部、２１３は加算処理部、２１４は予測部２０２から出力されるＳＡＤ値のデータ、２１５はマクロブロック数を示すデータ、２１６は符号量を示すデータ、２１７は量子化値のデータ（符号量予測値を示すデータ）である。
図２の動画像符号化装置は、例えば、ＬＳＩ（ Large Scale Integrated circuit ）内に構成される。図２は、例えば、Ｈ．２６４形式で符号化する動画像符号化装置である。

図２において、変換・量子化部２０３は、適応予測部１０から入力されたデータを、例えば、直交変換等によって変換し、さらに量子化して、逆量子化部１８及び可変長符号化部１７に出力する。可変長符号化部１７は、入力されたデータを可変長符号化して、符号化ストリーム１０９として出力する。また、可変長符号化部１７は、可変長符号化したデータの符号量を示すデータ２１６を発生符号化量予測部２０８に出力する。

また適応処理部１０は、予測実行時に、発生符号量の予測に必要なデータ、例えば、ＳＡＤ値のデータ２１４を発生符号量予測部２０８に出力する。
発生符号量予測部２０８は、マクロブロック数を示すデータ２１５、閾値のデータ２０９、ビットレートを示すデータ２１０、可変長符号化したデータの符号量を示すデータ２１６、及び、ＳＡＤ値のデータ２１４に基づき、各マクロブロックの量子化値を定め、その量子化値のデータ２１７を変換・量子化部２０３に出力する。なお、発生符号量を予測するためのマクロブロック数のデータ２１５は、例えば、１列以上のマクロブロックラインを対象領域（例えば水平画素数が１９２０画素の場合、１マクロブロックラインの対象領域では、マクロブロック数が１２０である。）とする場合から、複数のフレームを対象領域とする場合まで、任意の数で良い。
発生符号量予測部２０８について、詳細を図３に示す。なお、図３〜図８は、本発明と同一出願人が出願した特願２００８−２９３４４７号から引用したものである。

図３によって、本発明の動画像符号化装置の発生符号量予測部の一実施例を説明する。図３は、図２の発生符号量予測部２０８の詳細を説明した図である。３０１は閾値制御部、３０２はＳＡＤ値比較部、３０３はＳＡＤ値蓄積制御部、３０５は区分１のＳＡＤ値蓄積部、３０６は区分１のＳＡＤ平均値算出部、３０７は区分１の符号量予測値算出部、３０８は区分２のＳＡＤ値蓄積部、３０９は区分２のＳＡＤ平均値算出部、３１０は区分２の符号量予測値算出部、３１１はＳＡＤ値／符号量対応テーブル、３１２は比重加算部、３０４は量子化値決定部である。

図３の発生符号量予測部２０８において、閾値制御部３０１は、発生符号量予測部２０８の外部より入力された閾値のデータ２０９を保持し、ＳＡＤ値比較部３０２の要求に応じて閾値のデータを出力する。ＳＡＤ値比較部３０２は、発生符号量予測部２０８の外部より入力されたＳＡＤ値と閾値制御部３０１から入手した閾値のデータを比較し、ＳＡＤ値が閾値より大きいか小さいかの情報をＳＡＤ値と共に、ＳＡＤ値蓄積制御部３０３に出力する。ＳＡＤ値蓄積制御部３０３は、以下の２つの動作を行う。第１の動作は、ＳＡＤ値比較部３０２より入力されたＳＡＤ値、及びＳＡＤ値と閾値の比較情報に基づき、当該マクロブロックを区分１か区分２に分類する選択を行い、当該マクロブロックのＳＡＤ値を選択された区分に出力する。例えば、区分１に分類された場合には、当該マクロブロックのＳＡＤ値を区分１のＳＡＤ値蓄積部に出力し、区分２に分類された場合には、当該マクロブロックのＳＡＤ値を区分２のＳＡＤ値蓄積部３０８に出力する。第２の動作は、発生符号量予測部２０８の外部より入力された対象マクロブロック数を示すデータ２１５を保持し、ＳＡＤ値の蓄積動作を行ったマクロブロック数がデータ２１５の値と同一になった時に、区分１のＳＡＤ値蓄積部３０５と区分２のＳＡＤ値蓄積部３０８にＳＡＤの総和と対象となるマクロブロック数の出力を命じるコマンド、及び、量子化値決定部３０４に量子化値決定の実行を命じるコマンドを出力する。

区分１のＳＡＤ値蓄積部３０５は、ＳＡＤ値蓄積制御部３０３より入力されたＳＡＤ値の総和の演算、及びマクロブロック数のカウントを実行する。そして、ＳＡＤ値蓄積制御部３０３の要求に応じてＳＡＤ値の総和並びに対象のマクロブロック数のデータをＳＡＤ平均値算出１部３０６に出力する。
区分１のＳＡＤ平均値算出部３０６は、区分１のＳＡＤ値蓄積部３０５より入力されたＳＡＤ値の総和の演算、及びマクロブロック数のデータからＳＡＤの平均値を算出し、算出した平均値のデータを区分１の符号量予測値算出部３０７に出力する。
区分１の符号量予測値算出部３０７は、区分１のＳＡＤ平均値算出部３０６より入力されたＳＡＤの平均値のデータを保持し、量子化値決定部３０４の要求に応じて、ＳＡＤの平均値のデータと量子化値決定部３０４から入手した推測量子化値のデータ並びにＳＡＤ値／符号量対応テーブル３１１からの情報に基づいて符号量予測値のデータと対象マクロブロック数のデータを比重加算部３１２に出力する。
区分２のＳＡＤ値蓄積部３０８、区分２のＳＡＤ平均値算出部３０９と区分２の符号量予測値算出部３１０は、区分１のＳＡＤ値蓄積部３０５、区分１のＳＡＤ平均値算出部３０６、区分１の符号量予測値算出部３０７それぞれと同様の動作を区分２のデータに対して実行する。

ＳＡＤ値／符号量対応テーブル３１１は、量子化値決定部３０４より入力された量子化値のデータに基づき、ＳＡＤ値から発生符号量を予測するための情報を、区分１の符号量予測値算出部３０７と区分２の符号量予測値算出部３１０に出力する。
比重加算部３１２は、区分１の符号量予測値算出部３０７と区分２の符号量予測値算出部３１０より入力されたそれぞれの発生符号量予測値のデータと、マクロブロック数のデータから比重加算を行い、比重加算された発生符号量予測値のデータを量子化値決定部３０４に出力する。
量子化値決定部３０４は、ＳＡＤ値蓄積制御部３０３より量子化値決定コマンドが入力された時に動作を開始し、推測量子化値を定める。そして、量子化値決定部３０４は、区分１の符号量予測値算出部３０７、区分２の符号量予測値算出部３１０、ＳＡＤ値／符号量対応テーブル３１１、それぞれに定めた推測量子化値を出力すると、同時に、実行要求を出力する。

即ち、量子化値決定部３０４は、発生符号量予測部２０８の外部より入力されるビットレートを示すデータ２１０及び符号量を示すデータ２１６から、対象領域の発生符号量を決定し、比重加算部３１２から入手する発生符号量予測値のデータとの比較により、対象領域の平均量子化値を決定する。決定された量子化値２１７は、発生符号量予測部２０８の外部（図２参照）に出力される。
なお、図２及び図３において、マクロブロック数示すデータ２１５、閾値のデータ２０９、及びビットレートを示すデータ２１０は、ディップスイッチでデータを保持しても良いし、ＬＳＩのレジスタ内に保持しても良い。

図４によって、発生符号量予測にて説明した区分１と区分２についてさらに説明する。図４は、本発明の一実施例のマクロブロック単位でのＳＡＤ値と発生符号量予測値の関係を示す図である。横軸がＳＡＤ値、縦軸が発生符号量予測値である。また、量子化値は固定である。
図４のＳＡＤ値に対する発生符号量予測値は、図１で示した分布から、区分１と区分２の２つの一次式となるように、直線近似を行った結果である。４０１は特定のＳＡＤ値、４０２−１と４０２−２は近似式を示す直線である。
即ち、図４の実施例における発生符号量予測値は、特定のＳＡＤ値４０１にて折れ曲がりを持つ直線にて近似を行う。本実施例では、折れ曲がり点の数を１点としている。このため、ＳＡＤ値４０１を境界として、ＳＡＤ値４０１よりＳＡＤ値が小さい領域を、直線４０２−１で近似し、その領域を区分１としている。また、ＳＡＤ値４０１を境界として、ＳＡＤ値４０１よりＳＡＤ値が大きい領域を、直線４０２−２で近似し、その領域を区分２としている。なお、図２及び図３における閾値のデータ２０９が、ＳＡＤ値４０１のデータに相当する。式（１）は、ＳＡＤ値に対する発生符号量予測値（ bits ）について、図４のように２つの一次式（直線４０２−１及び直線４０２−２）で近似した場合の一実施例である。

図４及び式（１）は、発生符号量予測値とＳＡＤ値の関係をプロットした図１に示す分布のデータから、例えば、最小二乗法近似を行い、１次関数にて近似したものである。この場合、発生符号量予測値（ bits ）とＳＡＤには、定数ｂ０、ｂ１、ｃ０ 、及びｃ１を用いている。定数ｂ０とｂ１は、それぞれの直線の傾きで、定数ｃ０とｃ１は、それぞれの直線のＹ切片である。ここで、Ｎは全てのマクロブロックの数、Ｍは区分１内のＳＡＤ値を有するマクロブロックの数、Ｎ−Ｍ は区分２内のＳＡＤ値を有するマクロブロックの数、ｉは、０〜Ｎ−１のいずれかのマクロブロックのＳＡＤ値である（Ｍ、及びＮは自然数、０＜ｉ＜Ｎ、及び０＜ｉ＜Ｍ）。

図５によって、発生符号量予測にて説明した区分１と区分２についてさらに説明する。図５は、本発明の一実施例で、量子化値をパラメータとした、マクロブロック単位でのＳＡＤ値と発生符号量予測値の関係を示す図である。横軸がＳＡＤ値、縦軸が発生符号量予測値である。５０１は特定のＳＡＤ値（即ち、閾値）、５０２−１及び５０２−２は、近似式を示す直線であり、直線５０２−１は、区分１内（ＳＡＤ値が閾値以下）の発生符号量予測値を算出するための一次式、直線５０２−２は、区分２内（ＳＡＤ値が閾値以上）の発生符号量予測値を算出するための一次式である。同様に、複数の異なる量子化値について、それぞれ区分１内のＳＡＤ値によって発生符号量予測値を算出するための一次式を示す直線５０３−１、５０４−１及び５０５−１、並びに、それぞれ区分２内のＳＡＤ値によって発生符号量予測値を算出するための一次式を示す直線５０３−２、５０４−２及び５０５−２を作成している。ここで、直線５０２−１と５０２−２で１つの量子化値の一次式を構成し、直線５０３−１と５０３−２、直線５０４−１と５０４−２、及び直線５０５−１と５０５−２でもそれぞれ１つの量子化値による一次式を構成している。

このように、図５の実施例では、異なる量子化値においても、区分１と区分２とに分類する特定のＳＡＤ値（即ち、閾値）を同一としている。そのため、複数の量子化値をパラメータとして、発生符号量予測値を算出するために作成された一次式の組み合わせは、全て、同一のＳＡＤ値で折れ曲がる複数の折れ線となる。これらの量子化値をパラメータとした、ＳＡＤ値に対応する発生符号量予測値は、テーブル化して図３のＳＡＤ値／符号量対応テーブル３１１に格納される。また、その演算式のまま、として、図３のＳＡＤ値／符号量対応テーブル３１１の替りに、演算処理を実行して発生符号量予測値を算出しても良い。
図５の実施例のように、量子化値の異なる複数の近似式を作成する場合に、特定のＳＡＤ値（閾値）を同一のＳＡＤ値に設けることによって、発生符号量予測値の算出に要する演算量が低減できる。

図６〜図８を用いて、本発明の発生符号化量予測部の一実施例の処理動作を説明する。図６は、本発明の一実施例のＳＡＤ値の総和を演算する処理動作を説明するためのフローチャートである。図７は、本発明の一実施例の推定量子化値を定めたときの発生符号量予測処理動作を説明するためのフローチャートである。図８は、本発明の一実施例の平均量子化値の決定処理動作を説明するためのフローチャートである。図６〜図８の処理は、図２若しくは図３の発生符号化量予測部２０８が実行する。

図６を用いて、まず、ＳＡＤ値の総和を演算する処理動作について説明する。
最初に、ステップ６０１では、区分１のＳＡＤ値蓄積メモリとマクロブロック（ MB ）数カウンタを初期化し、ステップ６０２では、区分２のＳＡＤ値蓄積メモリとマクロブロック（ MB ）数カウンタを初期化する。なお、ステップ６０１とステップ６０２の処理の順番は、逆でも良いし、同時でも良い。
続いて、対象領域のマクロブロックを１つ選択し（ステップ６０３）、選択したマクロブロックのＳＡＤ値を読み込む（ステップ６０４）。
続いて、ステップ６０５では、選択されたマクロブロックのＳＡＤ値と、設定された閾値との比較を行う。選択されたマクロブロックのＳＡＤ値が閾値未満の場合には、区分１を選択しステップ６０６の処理に移行する。閾値以上の場合には、区分２を選択しステップ６１０の処理に移行する。なお、この実施例では、閾値未満と以上とで、選択されたマクロブロックのＳＡＤ値を区分１か区分２かに選択したが、閾値以下を区分１とし、閾値超を区分２にしても良い。

ステップ６０６０〜６０９では、区分１のマクロブロック数カウンタを１増加し（ステップ６０６）、
区分１のＳＡＤ値蓄積メモリより総和値を読み込む（ステップ６０７）。そして、総和値に選択したマクロブロックのＳＡＤ値を加算し（ステップ６０８）、結果を区分１のメモリに書き込みステップ６１４の処理に移行する（ステップ６０９）。
ステップ６１０〜６１３では、区分２のマクロブロック数カウンタを１増加し（ステップ６１０）、区分２のＳＡＤ値蓄積メモリより総和値を読み込む（ステップ６１１）。そして、総和値に選択したマクロブロックのＳＡＤ値を加算し（ステップ６１２）、結果を区分１のメモリに書き込みステップ６１４の処理に移行する（ステップ６１３）。
ステップ６１４では、対象領域の処理の終了判定を行い、終了していない場合は、ステップ６０３に戻り、再度別のマクロブロックを選択し、ステップ６１４までの処理を繰り返す。また、対象領域の処理が終了したと判定した場合には、図６の処理を終了する。

次に、図７を用いて、推定量子化値を定めたときの発生符号量予測処理動作を説明する。まず、推定量子化値を選択し（ステップ７０１）、区分１のＳＡＤ値の総和と区分１のマクロブロック数のデータによりＳＡＤの平均値を算出する（ステップ７０２）。続いて、図５で説明した一次式（若しくは、ＳＡＤ値／符号量対応テーブル）を使用して、区分１の発生符号量予測値を算出する（ステップ ７０３）。さらに、区分２のＳＡＤ値の総和と区分２のマクロブロック数のデータとよりＳＡＤの平均値を算出する（ステップ７０４）。続いて、図５で説明した一次式（若しくは、ＳＡＤ値／符号量対応テーブル）を使用して、区分２の発生符号量予測値を算出する（ステップ７０５）。最後に、区分１の発生符号量予測値と区分２の発生符号量予測値を、それぞれの区分のマクロブロック数を用いて加重平均をして、発生符号量予測値とする（ステップ７０６）。
なお、ステップ７０２〜７０３の処理とステップ７０４〜７０５の処理の順番は、逆であっても良いし、同時に実行しても良い。

最後に、図８を用いて平均量子化値を決定する処理動作について説明する。
まず、ステップ６００では、図６で説明したＳＡＤ値の総和処理を実行する。
引き続いて、ステップ７００では、図７で説明した推定量子化値を定めたときの発生符号量予測処理を実行する。
ステップ８０１では、上記ステップ６００と７００の処理の結果得られた発生符号量予測値と量子化値を保持する。そして、ステップ８０２では、実行すべき量子化値を満たしたかの判定を行い、満たしていない場合は、推定量子化値を定めたときの発生符号量予測処理（ステップ７００）に戻る。また、満たしている場合は、ステップ８０３の処理に移行する。そして、ステップ８０３では、量子化値を出力し、平均量子化値の決定処理を終了する。

なお、図６〜図８の実施例では、ＳＡＤ値を用いて発生符号量を予測したが、ＳＡＤ値である必要はない。例えば、各画素の差分値をアダマール変換した後に絶対値和をとった値でも良いし、アダマール変換に替わりＤＣＴ変換（離散コサイン変換）を適用しても良い。
また、ＳＡＤ値と発生符号量予測値の関係で折れ曲がり点は１点としたが、２点以上であっても良い。

次に本発明の実一施例における画像復号化装置を図９に示す。図９は、本発明における画像復号化装置の一実施例の構成を示すブロック図である。９は画像復号化装置、２０は可変長復号化部、２１は逆量子化部、２２はＬＳＢ抽出部、２３は逆直交変換部、２４は適応予測部、２５は遅延部、２６はＬＳＢ多重部、２７は切替（ＳＷ）部である。また、２９９は符号化ストリーム、２９０は量子化係数、２９１は補助データ多重識別信号、２９２は逆量子化係数、２９３は逆変換画像、２９４は再構成画像、２９５は補助データ、２９６は遅延データ、２９７は補助データが多重された差分画像、２９８は復号画像である。

図２において、本発明の画像復号化装置２には、符号化ストリーム２９９が入力され、所定の復号化処理を実施したのち、復号画像２９８を出力する機能を有する。
符号化ストリーム２９９は、まず画像復号化装置２の可変長復号化部２０に入力する。可変長復号化部２０は、入力された符号化ストリーム２９９に所定の可変長復号処理を実施し、ストリームのヘッダ情報に多重された補助データ多重識別信号２９１をＳＷ部２７に出力し、可変長符号化された量子化係数を復号し、復号された量子化係数２９０を、逆量子化部２１とＬＳＢ抽出部２２とに出力する。

逆量子化部２１は、入力された量子化係数２９０に逆量子化処理を施し、逆量子化係数２９２を逆直交変換部２３に出力する。
逆直交変換部２３は、入力された逆量子化係数２９２に逆ＤＣＴ演算を実施し、逆変換画像２９３を適応予測部２４に出力する。
適応予測部２４は、適応予測画像を生成し、入力された逆変換画像２９３と加算して、再構成画像２９４をＬＳＢ多重部２６とＳＷ部２７とに出力する。

ＬＳＢ抽出部２２は、入力した量子化係数２９０の最下位ビットを抽出し、補助データ２９５を遅延部２５に出力する。
遅延部２５は、入力した量子化係数２９０が、逆量子化部２１からＬＳＢ多重部２１に入力するまでの遅延時間に合わせて、抽出した補助データ２９５を遅延させ、遅延データ２９６としてＬＳＢ多重部２６に出力する。

ＬＳＢ多重部２６は、入力された再構成画像２９４の最下位ビットを、補助データ情報２９６に置き換え、補助データ多重された２９７に出力する。
ＳＷ部２７は、入力した補助データ多重識別信号２９１がアサートされている場合は補助データ２９７から入力したデータを線２９８へ出力し、ディアサートされている場合には、再構成画像２９４を復号画像２９８として出力する。

上記図９の実施例によれば、補助データの情報量圧縮伝送が可能な画像復号化を実現できる。この場合の画像符号化装置における可変長符号化処理部での圧縮処理では、情報の欠落がないため、画像復号装置側でも情報の欠落なく補助データを復元することが可能であり、また画像復号化装置においては、可変長符号化されたデータを、量子化係数に復号し、復号した量子化係数の最下位ビットを抽出して、適応予測部から出力される再構成画像データの最下位ビットに置き換えることにより、補助データを復元することを可能とする。
上記図９の実施例によれば、補助データを抽出して映像符号化データとは別に伝送する場合に比べ、映像符号化データと補助データの伝送帯域を共用できるため、別々に伝送する場合よりも画質が向上する。

本発明による画像符号化装置は、ＨＤ素材伝送への適用が期待できる。

１：画像符号化装置、 ２：画像復号化装置、 １０：適応予測部、 １１：ＬＳＢ抽出部、 １２：直交変換部、 １３：量子化部、 １４：遅延部、 １５：ＬＳＢ多重部、 １６：ＳＷ部、 １７：可変長符号化部、 １８：逆量子化部、 １９：逆直交変換部、 ２０：可変長復号化部、 ２１：逆量子化部、 ２２：ＬＳＢ抽出部、 ２３：逆直交変換部、 ２４：適応予測部、 ２５：遅延部、 ２６：ＬＳＢ多重部、 ２７：ＳＷ部、 １００：映像信号、 １０１：差分画像、 １０２：補助データ（映像信号の最下位ビット）、 １０３：直交変換係数、 １０４：量子化係数、 １０５：遅延データ、 １０６：補助データが多重された量子化係数、 １０７：補助データ多重識別信号、 １０８：量子化係数、 １０９：符号化ストリーム、 １１０：逆量子化係数、 １１１：逆変換画像、 ２０１：入力画像データ、 ２０２：予測処理部、 ２０３：変換・量子化部、 ２０４：可変長符号化部、 ２０５：逆量子化・逆変換部、 ２０６：フレームメモリ、 ２０７：ビットストリームデータ、 ２０８：発生符号化量予測部、 ２０９：閾値のデータ、 ２１０：ビットレートを示すデータ、 ２１１：マクロブロック分割部、 ２１２：差分処理部、 ２１３：加算処理部、 ２１４：予測部２０２から出力されるＳＡＤ値のデータ、 ２１５：マクロブロック数を示すデータ、 ２１６：符号量を示すデータ、 ２１７：量子化値のデータ（符号量予測値を示すデータ）、 ２９０：量子化係数、 ２９１：補助データ多重識別信号、 ２９２：逆量子化係数、 ２９３：逆変換画像、 ２９４：再構成画像、 ２９５：補助データ、 ２９６：遅延データ、 ２９７：補助データが多重された差分画像、 ２９８：復号画像、 ２９９：符号化ストリーム。

Claims (1)

1. 入力映像を複数のブロックに分割したブロック毎に、適応予測、変換量子化及び可変長符号化を用いる画像符号化装置において、適応予測を行う前に、入力画像の最下位ビットを抽出する手段と、量子化係数の最下位ビットを前記抽出した最下位ビットに置き換える手段を有する画像符号化装置。

Images