JP2010062881A - 画像符号化方法及び画像復号装置 - Google Patents

Abstract

【課題】静止画像の符号化を行う場合に、静止画像を分割して動画像符号化を用いる画像圧縮方法、及び圧縮効率を向上させる画像圧縮方法を提供する。
【解決手段】デジタルデータの静止画像を符号化する画像符号化方法において、１枚の静止画像をＮ画素×Ｍ画素の矩形ブロックを基本単位として分割し、分割した各矩形ブロック内の同位置の画素を集めた分解画像を生成する画像分解部と、前記分解画像を動画像符号化してストリームを生成する符号化部と、を備える。
【選択図】図１

Description

本発明は、画像符号化方法及び画像復号装置に関する。

近年、動画像と静止画像の両方を記録できるビデオカメラ等が普及している。このようなビデオカメラでは、動画像に比べて、静止画像の解像度が大きく、動画像用のエンコーダは高解像度である静止画像の画像サイズに対応していないのが一般的である。

一方、静止画像と動画像を共に記録できるビデオカメラ装置で、動画像用と静止画像用のエンコーダを両方持つのは、装置の構成が複雑になり、高価になるために避けたいという要請がある。また、動画像と静止画像を符号化した際に画像フォーマットが違う場合には、装置でのファイル管理が複雑になるという問題点がある。そのために、エンコーダは、一種類にしたいが、例えば、Ｈ．２６４やＭＰＥＧなどの動画像符号化を採用する場合には、画像サイズの制約上、高解像度の画像を分割して圧縮を行う必要がある。
本技術分野の背景技術として、例えば特開２００４-１２０４９９号公報がある。該公報には、「ＨＤＴＶ画像より多い（ＱＨＤＴＶ）画素数を有する画像入力部１５から供給された元画像を必要な数のＨＤＴＶ画像に画面分割部１２において、元画像の近傍画素に必要なＨＤＴＶ画像の数と同じ数でマスクをかけサンプリングし圧縮するためのＨＤＴＶ画像１３ａ，１３ｂ，１３ｃ，１３ｄを得た後、ＭＰＥＧエンコーダ１４及びＭＰＥＧデコーダ２４にて符号化及び復号化を行うことにより画面分割により生じる画面内の境界線の影響を無くし、ＨＤＴＶ画像より多い画素数を有する高解像度動画像であっても良好な画質を効率的に得ることができる。」と記載されている。

特開２００４−１２０４９９号公報

上記特許文献１では、高解像度の動画像を分割して動画像符号化を行う方法について記載されているが、高解像度の静止画像を分割して動画像符号化を行う方法及び、圧縮効率を向上する方法について記載されていない。

本発明は、高解像度の静止画像の符号化を行う場合に動画像符号化を用いる画像符号化方法、及び圧縮効率を向上させる画像圧縮方法を提供する。

上記目的は、特許請求の範囲に記載の発明により達成される。

本発明によれば、高解像度の静止画像の符号化を行う場合に、静止画像を分割して動画像符号化を用いる画像圧縮方法、及び圧縮効率を向上させる画像圧縮方法を提供することができる。

以下、本発明の実施の形態を、図面を用いて説明する。

本発明の第一の実施形態を表すビデオカメラ装置100は、図１に示されるように、撮像部101と、画像分解部102と、バッファ部103と、符号化制御部104と、符号化部105と、記録媒体制御部106と記録媒体部107とからなる。

撮像部101は、静止画像と動画像の両方をデジタルデータとして取り込む機能を有する。特に、この撮像部101は、高解像度の静止画像を取り込むことができるものとする。画像分解部102は、撮像部で取り込んだ静止画像150を、後の処理で説明するように複数の分解画像151を生成する。バッファ部103は前記分解画像を一時的にバッファする記憶領域である。

符号化制御部104は、画像分解部102から分解情報152を受け取り、前記分解情報152をもとに符号化部104の制御153と、記録媒体制御部105の制御154を行う。符号化部105は、バッファから前記分解画像155を読み出して、動画像符号化を行い、ストリーム156を生成する。記録媒体制御部106は、前記ストリーム156と前記分解情報152を記録データ157として記録媒体107に記録する。

なお、以上の説明では、画像処理装置の一例としてビデオカメラ装置を取り上げたが、本実施形態の画像符号化方法は、静止画像と動画像の双方を扱える他の装置、例えば、デジタルテレビジョン受信機、動画像のエンコーダを備えたスチルカメラなどの機器にも適用することができる。また、パーソナルコンピュータなどにより、専用のハードウエアを持たなくても、ＣＰＵが画像符号化プログラムを実行することにより、画像符号化を行うようにしてもよい。さらに、静止画像と動画像の双方を扱える装置ではなく、静止画像のみを扱える装置でもよい。

前記画像分解部の画像の分解方法を、図２の２５６０×１９２０画素の静止画像200を用いて説明する。静止画像200を２画素×２画素の矩形ブロックに分割し、前記矩形ブロック内の同位置の画素（同一番号）の画素を集めて、201〜204の分解画像（１２８０×９６０画素）を生成する。

なお、説明のため、図２に示したそれぞれの画像は、画素の一部分のみを表している。また、２５６０×１９２０画素の静止画像200を使用したが、任意の画像サイズでも良い。更に、前記２画素×２画素の矩形ブロックもＮ画素×Ｍ画素の任意の矩形ブロックでも良い。その際は、Ｎ×Ｍ枚の分解画像が生成される。
図２の例の場合、前記分解情報152はＮ＝２、Ｍ＝２となる。図２の高解像度静止画像200の（１）〜（４）のように左上からラスタスキャン順に番号を振るなどとルールを決めておくことで、復号時に分解情報152を使用して高解像度静止画像200に復号することが可能となる。この分解情報152は、ストリームに付加データとして埋め込んでも良いし、別情報として記録しても良い。また、ＮとＭを符号化装置と復号化装置で予め決めておくことで分解情報を無くしても良い。

図３は、前記分解方法で分解した例である。例えば、静止画像300を前記分解方法で分解を行うと、画像どおしの相関が高い分解画像301〜304が生成される。前記分解画像301〜304を、動画像として動画像符号化を行うと、フレーム間の相関が高いため、フレーム間予測を効率良く行うことができる。その結果、圧縮効率が向上する。

図４は、動画像符号化を行った際のピクチャタイプと符号化順番を示している。ＭＰＥＧやＨ．２６４などの動画像符号化は、画面内の予測だけで符号化を行うIピクチャ（Intra coded picture）と、フレーム間の順方向の予測を行って差分の符号化を行うＰピクチャ（Predictive coded picture）と、時間的に過去と未来の双方向の予測を行い、差分の符号化を行うＢピクチャ（Bidirectionally coded predictive picture）がある。図４では、分解画像301〜304の符号化結果の一例を表しているが、Ｉピクチャは一枚以上、ＰピクチャとＢピクチャは何枚でも良い。
ここで、ＪＰＥＧ（静止画像符号化）とＭＰＥＧ２（動画像符号化）で符号化した場合の符号量の例を図５に示す。一般的にＭＰＥＧ２では、Ｉ、Ｐ、Ｂピクチャのすべてのピクチャを同一の画質にするための符号量の比率は、Ｉピクチャの符号量を２０とすると、Ｐピクチャの符号量は１０、Ｂピクチャの符号量は５と言われている。ＭＰＥＧ２のＩピクチャとＪＰＥＧはほぼ同じ圧縮率であると考えると、図４のようにＩピクチャ301、Ｐピクチャ302、Ｂピクチャ303、Ｂピクチャ304と順番に符号化を行った場合の合計符号量501は、前記符号量の比率からすべて足してＩピクチャの２倍の符号量となる。一方、前記静止画像300をＪＰＥＧで符号化する場合の合計符号量500は、分解画像301〜304をすべてＩピクチャで符号化した場合と等しくなるのでＩピクチャの符号量の４倍となる。よって、ＭＰＥＧ２で符号化するとＪＰＥＧで符号化した場合に比較して、符号量を２分の１にすることができる。
以上説明した例によれば、動画像と静止画像の双方を扱う装置において、動画像の符号化装置だけ持っていればよく、低コスト化を図ることができる。また、静止画像の符号化を行う場合に、圧縮効率を向上することができる。

一般的にＰピクチャやＢピクチャの符号化を行う際は、最適な動きベクトルを求めるため、±６４画素などの広範囲な探索範囲を探索している。本発明では、同じ様な絵柄がフレーム間のほぼ同位置に存在することから、前記探索範囲を±１画素などの狭い範囲に制限することで、広範囲な探索範囲と同等の符号化効率を保ちつつ、動きベクトル探索の処理を大幅に削減することができ、符号化時の消費電力の低減が可能となる。

動画像符号化に可逆符号化を用いる場合について図６を用いて説明する。非可逆符号化では、復号画像をフレーム間予測に使用するため、複数の分解画像を同時に符号化することができない。しかし、データが完全に元に戻る可逆符号化を行う場合、復号画像と原画像が一致するため、復号画像の代りに原画像を参照画像として用いてフレーム間予測を行うことができるので、複数枚の分解画像を同時に符号化することが可能となる。前記同時に符号化することにより、処理時間の削減を実現できる。
なお、以上の説明では、分解画像301〜304をすべて同時に符号化する場合について述べたが、２枚の分解画像を同時に符号化するなど、何枚を同時に符号化してもよい。また、分解画像だけでなく動画像を可逆符号化する場合にも、原画像を参照画像として用いることで複数枚の同時符号化が可能となる。

図７は画像復号装置600であり、記録媒体部601、復号部602、画像合成制御部603、画像合成部604、画像調整部605で構成される。

記録媒体部601はストリームと分解情報650が記録されている。復号部602は、前記記録媒体に記録されたストリーム651を復号し、復号画像655を作成する。画像合成制御部603では、前記記録媒体に記録された分解情報650を基に、復号部602の制御652、画像合成部604の制御653、画像調整部605の制御654を行う。画像合成部604では、分解情報を基に複数枚の復号画像から一枚の静止画像656を作成する。
画像調整部605では、画像合成部604で作成した静止画像656を表示部のサイズに合わせて、画像サイズを調整した表示画像657を作成する。表示部606は、前記表示画像657を表示する。

前記画像合成部の静止画像の合成方法について図２を用いて説明する。まず始めに、分解情報を基に復号後の画像201〜204を同一座標の画素を集めてＮ画素×Ｍ画素の矩形ブロックを生成する。次に前記矩形ブロックを集めた画素の座標順に並べることで、元の高精細静止画像200に復元することができる。ここで、座標順に並べるとは（１、１）の座標の画素を集めた矩形ブロックが画像の左上の端、（２、１）の座標の画素を集めた矩形ブロックは（１、１）の矩形ブロックの右隣、（１、２）の座標の画素を集めた矩形ブロックは、（１、１）の矩形ブロックの下に並べるということを意味する。
表示部と連携した復号装置の例を図８を用いて説明する。一般的に表示サイズが小さい場合、例えばサムネイル表示をする場合などは、高解像度な画像をすべて復号してから表示サイズに縮小している。本発明では、分解画像が符号化前の静止画像の縮小画像となるので、表示サイズに合わせて、Ｉピクチャのみを復号する、Ｉピクチャ、Ｐピクチャを復号するなど、すべての画像を復号しなくても縮小画像を得ることができる。そこで、表示サイズ700に最も近い画像サイズになるまで復号する。例えば、Iピクチャの復号画像701が表示サイズに最も近い画像サイズであった場合は、表示サイズに拡大する。またIピクチャの復号画像が表示サイズより大きい場合は、表示サイズに縮小する。

前記処理により、復号時の処理負荷を大幅に削減することができ、消費電力の低減、復号速度の向上が実現できる。また、復号の速度が向上することによりサムネイルの表示速度も向上する。

なお、図７では復号装置のみで説明したが、図７の復号装置は、図１の画像処理装置に含まれていてもよい。

第一実施例のビデオカメラ装置の一例である。 画像分解方法の一例である。 分割画像の一例である。 符号化方法の一例である。 ＪＰＥＧとＭＰＥＧ２で符号化した場合の符号量の一例である。 可逆符号化を用いた場合の処理の高速化の一例である。 画像復号装置の一例である。 表示部と連携した復号装置の一例である。

符号の説明

100 ビデオカメラ装置
101 撮像部
102 画像分割部
103 バッファ部
104 符号化制御部
105 符号化部
106 記録媒体制御部

Claims (9)

1. デジタルデータの静止画像を符号化する画像符号化方法において、
   １枚の静止画像をＮ画素×Ｍ画素の矩形ブロックを基本単位として分割し、分割した各矩形ブロック内の同位置の画素を集めた分解画像を生成する画像分解部と、
   前記分解画像を動画像符号化してストリームを生成する符号化部と、
   を備えることを特徴とする画像符号化方法。
2. 請求項１に記載の画像符号化方法において、前記動画像符号化は、フレーム間予測を使用することを特徴とする画像符号化方法。
3. 請求項１に記載の画像符号化方法において、前記符号化部は、動画像を入力して符号化する機能を持つことを特徴とする画像符号化方法。
4. 請求項２に記載の画像符号化方法において、前記符号化部は、動画像を入力して符号化する機能を持つことを特徴とする画像符号化方法。
5. 請求項４に記載の画像符号化方法において、前記分解画像を動画像符号化する際、動画像を入力して符号化する場合と比べて、動きベクトルを探索する範囲を狭い範囲に限定することを特徴とする画像符号化方法。
6. デジタルデータの複数枚の画像を動画像符号化する画像符号化方法において、可逆符号化を用いる場合、原画像をフレーム間予測時に使用する参照画像とすることで、同時に符号化処理を行うことを特徴とする画像符号化方法。
7. 請求項１に記載の画像符号化方法において、動画像符号化に可逆符号化を用いる場合、原画像をフレーム間予測時に使用する参照画像とすることで、同時に符号化処理を行うことを特徴とする画像符号化方法。
8. 請求項１に記載の画像符号化方法で符号化されたストリームを復号する復号部と、復号された分解画像の同一座標の画素を集めてＮ画素×Ｍ画素の矩形ブロックを生成し、集めた画素の座標順に前記矩形ブロックを並べることで１枚の静止画像を復元する画像合成部と、を備えることを特徴とする画像復号装置。
9. 請求項１に記載の画像符号化方法で符号化されたストリームを復号する復号部と、復号された分解画像の同一座標の画素を集めてＮ画素×Ｍ画素の矩形ブロックを生成し、集めた画素の座標順に前記矩形ブロックを並べることで１枚の静止画像を復元する画像合成部と、
   表示サイズに合わせて画像のサイズを拡大／縮小する画像調整部と、を備え表示サイズに応じて復号部で復号する復号画像の枚数を変更することを特徴とする画像復号装置。

Images