JP2005142986A - 動画像符号化方法、動画像符号化装置および動画像符号化プログラム - Google Patents

Abstract

【課題】 動画像符号化のフレーム間予測に使用される動き検出処理は多数の動きベクトル候補から動きベクトルを検出しなければならないため、動き検出に膨大な処理量が必要であった。
【解決手段】フレーム間予測評価値InterCostを計算する動き検出部MEと、フレーム内予測評価値計算部IntraCostCalcと、フレーム間予測とフレーム内予測の何れかを予測モードとして選択するモード判定部ModeSelと、符号化信号BitStrmとして出力する可変長符号化部VLCとを備えた画像符号化装置において、InterCostの計算終了前にフレーム間予測評価値推定値を計算するフレーム間予測評価値推定部と、フレーム内予測評価値とフレーム間予測評価値推定値とが所定の条件を満たす場合には、フレーム内予測を予測モードとして選択し、動き検出部MEのフレーム間予測評価値の計算の終了を指示するフレーム内予測判定部IntraDetとを有す。
【選択図】 図１

Description

本発明は動画像符号化に用いられるフレーム間予測処理の高速化方法、並びにそれをソフトウェアで実施するためのプログラムに係るものである。

近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある。

これらの動画像符号化方式に共通の技術として動き補償を伴うフレーム間予測がある。フレーム間予測はフレーム間の相関を利用した予測方法で、符号化済み画像の画素値から入力画素の予測をする方法である。このとき、画面内の物体の動きに対応するため、参照する符号化済み画像（以降、参照画像と呼ぶ）のどの位置の画素を予測画素としたかを示す動きベクトル情報を符号化信号に付加しておく。動きベクトルは、ＭＰＥＧ等では入力画像を所定サイズに分割した矩形領域（以降、ブロックと呼ぶ）毎に付加される。

ところが、新たな物体がフレームインする場合や、物体が移動した際に後ろに隠れていた背景が現れる場合など、参照画像中に対応する部分が存在しない場合がある。このような場合には、フレーム間予測よりもフレーム内予測の予測効率が高い場合がある。

これに対応するため、ＭＰＥＧ等ではブロック毎にフレーム間予測とフレーム内予測が切り替え可能になっている。選択した予測モードを示す信号（予測モード情報）が符号化信号中に格納されるので、画像復号装置はこの情報から画像符号化装置と同じ予測モードを選択することができる。画像符号化装置では各モードでの予測誤差を計算・比較し、予測モードを選択する。動きベクトルMVに対するフレーム間予測の評価値としては、例えば、式１で示した２乗誤差が使用される場合や式２で示した絶対値誤差が使用される。

一方、フレーム内予測の評価値としては、例えば、式３で示した分散値や式４で示した値が使用される。

これらの評価値は予測誤差を表すため、値が小さい程、予測は正確になり符号化効率が高くなる。従って、例えば、式５で示すようにフレーム間予測とフレーム内予測の評価値を比較し、評価値がより小さいモードを選択すれば、より符号化効率が高くなる。

なお、式１〜４は評価値の一例であり、他の計算式で定義される評価値を用いてもよい。

なお、式５はモード判定式の一例であり、フレーム間予測評価値とフレーム内予測評価値を変数とし、符号化効率が高い予測モードを選択するのに適した他の判定式を用いてもよい。

図１０は従来の画像符号化装置である。図１０の従来の画像符号化装置は、画像信号Imgをブロックに分割し、そのブロック毎に処理を行う。減算器Subは、画像符号化装置に入力した画像信号Imgから予測画像信号Predを減算し、残差信号Resとして出力する。残差符号化部ResEncは、残差信号Resを入力し、ＤＣＴ変換・量子化などの符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号EResを出力する。残差復号部ResDecは、残差符号化信号EResを入力し、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号DResを出力する。加算器Addは、残差復号信号DResと予測画像信号Predを加算し、復号画像信号DecImgとして出力する。復号画像信号DecImgで、以降のフレーム間予測で参照される可能性がある信号は、フレームメモリFMに格納される。画素予測部PredictorはフレームメモリFMに蓄積された符号化済画像を参照画像信号Refとして入力し予測画像信号Predを出力する。画素予測部Predictorは、画素予測を行い、予測モードを示す予測モード情報Modeとフレーム間予測時の動きベクトルMVを出力する。可変長符号化部VLCは、残差信号Resと予測モード情報Modeと動きベクトルMVを可変長符号化し、符号化信号BitStrmとして出力する。

次に画素予測部Predictorの詳細説明を行う。図１１は画素予測部Predictorのブロック図である。動き検出部MEは参照画像信号Refと画像信号Imgから動きベクトルMVを検出・出力し、動きベクトルMVでフレーム間予測を行った場合の評価値であるフレーム間予測評価値InterCostも出力する。フレーム内予測評価値計算部IntraCostCalcは、画像信号Imgを入力しフレーム内予測を行った場合の評価値であるフレーム内予測評価値IntraCostを出力する。モード判定部ModeSelは、フレーム間予測評価値InterCostとフレーム内予測評価値IntraCostを入力比較し、予測モードを選択し、選択した予測モードを予測モード情報Modeとして出力する。動き補償部MCは、動きベクトルMVを使用してフレーム間予測を行い、予測結果をフレーム間予測画像信号MCPredとして出力する。フレーム内予測部IntraPredictorは、フレーム内予測を行い、予測結果をフレーム内予測画像信号IPredとして出力する。予測モード情報Modeがフレーム間予測を示す場合にはスイッチSW1は”１”側に切り替わり、フレーム間予測画像信号MCPredを予測画像信号Predとして出力し、予測モード情報Modeがフレーム内予測を示す場合にはスイッチSW1は”０”側に切り替わり、フレーム内予測画像信号IPredを予測画像信号Predとして出力する。

フレーム間予測では多数の動きベクトル候補から１つの動きベクトルを選択することになる。そのため、動き検出部MEは複数の動きベクトル候補から評価値が最小となる１つの動きベクトルを選択する。各動きベクトル候補に対し、例えば、式１、式２で示した評価値を計算し、評価値を最小とする動きベクトル候補を選択することで動きベクトルを検出する。選択した動きベクトルに対応した評価値がフレーム間予測評価値InterCostとなる。

図１２は画素予測部Predictorの処理フローを示した図である。S11では動き検出部MEにより動きベクトル検出を行い、動きベクトルMVとフレーム間予測評価値InterCostを得る。S12ではフレーム内予測評価値計算部IntraCostCalcによりフレーム内予測評価値IntraCostを計算する。S13ではモード判定部ModeSelにより、フレーム間予測評価値InterCostとフレーム内予測評価値IntraCostの比較を行い、予測モードを判定する。

図１３は、図１１の従来の画像符号化装置に対応する画像復号装置の構成を示したブロック図である。可変長復号部VLDは、符号化信号BitStrmを入力し可変長復号を行い、残差符号化信号EResと動きベクトルMVと予測モード情報Modeを出力する。残差復号部ResDecは、残差符号化信号EResを入力し、逆量子化・逆ＤＣＴ変換などの復号処理を行い、残差復号信号DResを出力する。動き補償部MCは、フレームメモリFMから復号済み画像を参照画像信号Refとして入力し、動きベクトルMVを使用して動き補償を伴うフレーム間予測した結果をフレーム間予測画像信号MCPredとして出力する。フレーム内予測部IntraPredictorはフレーム内予測画像信号IPredを出力する。予測モード情報Modeがフレーム内予測を示す場合には、スイッチSW1は“０”側に切り替わりフレーム内予測画像信号IPredを予測画像信号Predとして出力する。予測モード情報Modeがフレーム間予測を示す場合には、スイッチSW1は“１”側に切り替わりフレーム間予測画像信号MCPredを予測画像信号Predとして出力する。加算器Addは、残差復号信号DResと予測画像信号Predを加算し、復号画像信号DecImgとして画像復号装置外に出力する。フレームメモリFMは、フレーム間予測のために復号画像信号DecImgを格納する。以上、説明した処理により画像復号装置は符号化信号BitStrmを復号し復号画像信号DecImgとして出力する。

ところで、フレーム間予測では、各動きベクトル候補に対し式１、式２で示したような評価値を計算しなければならないため、動きベクトル候補が多数あると計算時間が膨大になる。例えば、動きベクトルの各成分が−16〜16の範囲内の全画素位置を動きベクトル候補とすると、候補数は33×33＝1089個となる。処理能力が低い演算器でリアルタイムの符号化処理を行う場合には全候補の評価を行うのは処理量の観点から不可能な場合がある。そのため、これまでも、評価を行う動きベクトル候補数を減らすことで、動き検出の処理量を減らす方法が検討されてきた。その場合、全候補を評価するわけではないので評価値を最小とする動きベクトルを選択できるとは限らず、予測誤差は大きくなり符号化効率が落ちる。そのため、評価する動きベクトルの数を減らしても符号化効率が殆ど劣化しない動き検出方法が望ましい。その方法の１つとして局所探索による動き検出がある。以下、局所探索による動き検出について説明する。

局所探索は、予測誤差が真の動きベクトル（予測誤差が最小となる動きベクトル）を中心に、距離に応じて予測誤差が大きくなる傾向を利用し、予測誤差が小さくなる方向に順に動きベクトル候補を評価していく方法である。ここで局所探索の一例を示す。図１４は局所探索の概念図である。局所探索ではまず探索開始点（探索中心の初期値）を選択し評価する。ここでは番号０（動きベクトルPMVが指す点）の点を探索開始点とする。次に探索中心の周辺の画素位置を指す動きベクトルを評価する。図では探索中心の4近傍を評価する場合を示す。探索中心とその4近傍の点の中で、探索中心以外の点での評価値が最小となる場合にはその点に探索中心を移動する。探索中心の評価値が最小であれば、その時点で動きベクトル検出を終了し、探索中心を指す動きベクトル候補を動きベクトルMVとする。図の例では、０，２，５，９の順で探索中心が移動している。局所探索において評価すべき動きベクトル候補数を減らすためには、できるだけ真の動きベクトルに近い探索開始点を選択することが重要である。そのような探索開始点の一例として、予測ベクトル（周辺ブロックの動きベクトルから予測した動きベクトル）等が使用される。また、探索開始点を選択する際に、予測ベクトルやゼロベクトル等の複数の候補を評価して、その中で評価値を最小とする点を探索開始点とする方法もある。

図１５は局所探索を行う画素予測部Predictorを示したブロック図である。図１１と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。探索開始点選択部ME1は、探索開始点を選択し、選択した探索開始点を指す動きベクトルを初期動きベクトルMV1として出力する。局所探索部ME2は、初期動きベクトルMV1を入力し、局所探索を行い、動きベクトルMVと動きベクトルMVに対する評価値をフレーム間予測評価値InterCostとして出力する。図１６は図１５の画素予測部Predictorの処理フローを示した図である。図１２と同じ処理ステップは同じ記号を付し、説明を省略する。S14で探索開始点選択部ME1により探索開始点を選択する。S15では局所探索部ME2により局所探索を行う。

また、複数の予測モードを切り替える画像符号化装置において、モード判定を高速化する方法についての従来技術が知られている（例えば、特許文献１参照。）。この従来技術では、第１符号化モードの符号化効率の推定値と設定値とを比較し、比較結果が第１符号化モードで十分符号量を小さくできることが保証される条件を満たす時には、第１符号化モードを選択し第２符号化モードの符号化効率の推定を行わないことで処理量を削減する方法を示している。
特開平８−１８６７２２（実施例７）

従来の画像符号化装置のフレーム間予測処理の処理量軽減では、動きベクトル検出処理のみに注目して高速化していたが、本発明では、フレーム内予測の評価値を使用して動きベクトル検出を打ち切ることで、フレーム間予測の処理量を軽減する方法を提供する。

前記従来の課題を解決するために、本発明では、フレーム間予測評価値を計算する動き検出手段と、フレーム内予測評価値を計算するフレーム内予測評価値計算手段と、フレーム間予測評価値とフレーム内予測評価値からフレーム間予測とフレーム内予測の何れかを予測モードとして選択するモード判定手段と、モード判定手段が選択した予測モードを示す予測モード情報を多重化し符号化信号として出力する可変長符号化手段とを備えたことを特徴とする画像符号化装置において、フレーム間予測評価値の計算終了前にフレーム間予測評価値の推定値を計算するフレーム間予測評価値推定手段と、フレーム内予測評価値とフレーム間予測評価値の推定値とが所定の条件を満たす場合には、フレーム内予測を予測モードとして選択し、動き検出手段のフレーム間予測評価値の計算の終了を指示するフレーム内予測判定手段とを有す。

本構成によって、最終的にブロックがフレーム内予測とモード判定される可能性が高い場合には、その時点で動き検出処理を打ち切ることができ、従来の画像符号化装置から符号化効率を殆ど劣化させずに動き検出の処理量を削減できる。

本発明の画像符号化装置によれば、フレーム間予測の処理量を軽減でき、結果として画像符号化装置の処理量を軽減できる。

以下本発明の実施の形態について、図面を参照しながら説明する。本発明のポイントはフレーム間予測の評価値を推定し使用することで、最終的にブロックがフレーム内予測とモード判定される可能性が高い場合には、その時点で動き検出処理を打ち切ることである。これにより従来の画像符号化装置から符号化効率を殆ど劣化させずに動き検出の処理量を削減できる。本発明は、フレーム内予測と判定されるブロックが多数ある場合に特に効果が高くなる。例えば、カメラを大きく動かした場合や大きな物体がフレームインする場合では、フレーム間相関が低くなり、フレーム内予測となるブロックが多くなる。このような場合に本発明の効果が高くなる。

（実施の形態１）
本発明の画像符号化装置は図１０で示す従来の画像符号化装置に対して、画素予測部Predictorのみ異なる。そこで、ここでは画素予測部Predictorについて説明し、その他の部分は従来の画像符号化装置と同じとし、説明を省略する。

図１は実施の形態１の画素予測部Predictorを示したブロック図である。図１１と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。図１１の従来の画像符号化装置の画素予測部Predictorとの相違点は、フレーム間予測評価値推定部InterCostEstとフレーム内予測判定部IntraDetとスイッチSW2が追加されていることである。フレーム間予測評価値推定部InterCostEstはフレーム間予測評価値を推定し、フレーム間予測評価値推定値EInterCostを出力する。フレーム内予測判定部IntraDetは、フレーム内予測評価値IntraCostとフレーム間予測評価値推定値EInterCostを入力し、所定の条件を満たす場合には動き検出を行わないように動き検出部MEに指示し、スイッチSW2を“０”に切り替える。所定の条件を満たさない場合には、スイッチSW2を“１”に切り替え、従来の画像符号化装置と同じ処理を行う。

図２は図１の画素予測部Predictorの処理フローを示した図である。図１２と同じ処理ステップは同じ記号を付し、説明を省略する。本発明ではS12のフレーム内予測評価値計算とS16のフレーム間予測評価値推定をS11の動きベクトル探索前に行い、S17のフレーム内予測判定で所定の条件を満たす場合には、そこで予測モードをフレーム内予測と判定し終了する。ここでは、S12、S16の順で処理を行っているが、この順番は逆でもよい。

フレーム内予想判定で使用する条件には、例えば、式６で示す条件が考えられる。

ここでフレーム間予測評価値推定値Eは、フレーム間予測評価値の推定値である。式６は、モード判定部ModeSelで使用される判定式（式５）でフレーム内予測と判定される条件式のフレーム間予測評価値を推定値Eで置き換えたものに相当する。従って、当該ブロックのフレーム間予測評価値に近い値を推定値Eとして選択できれば、選択される予測モードは従来の画像符号化装置と殆ど同じ結果となるはずである。フレーム間予測評価値推定値Eの計算処理量が、動き検出部MEによるフレーム間予測評価値の計算処理量より小さければ、画素予測部Predictorの処理量は減少することになる。このような、フレーム間予測評価値の推定値Eの例として、直前のブロックのフレーム間予測評価値等、過去に符号化したブロックの符号化で得られた値を使用することが考えられる。

以上のように本実施の形態によれば、従来の画像符号化装置から符号化効率を殆ど劣化させずに動き検出の処理量を削減できる。

背景技術で示した特許文献１の方法ではフレーム内予測評価値を予め設定された値と比較するのに対して、本発明では過去に符号化したブロックの情報等からフレーム間予測評価値を推定し使用するため、より高い精度でフレーム内予測を予め判定できる。

なお、式６はフレーム内予測判定式の一例であり、フレーム間予測評価値推定値とフレーム内予測評価値を変数とした他の判定式を用いてもよい。

なお、本実施の形態は、２種類の予測モードのみの場合を説明したが、３種類以上の予測モードの場合にも、１種類以上の予測モードに対し評価値を推定し、各予測モードの評価値もしくは評価値の推定値を比較することで、本実施の形態と同様の処理を行うことができる。

なお、本実施の形態では、予測モードとしてフレーム間予測とフレーム内予測を例に説明したが、他の予測方法を使用してもよい。

（実施の形態２）
実施の形態１の式６で説明したフレーム間予測の推定値について、動き検出の処理の一部を行い、その結果からフレーム間予測評価値の推定することで、よりフレーム間予測評価値の推定精度を上げる方法も考えられる。以下、説明する。

本発明の画像符号化装置は図１０で示す従来の画像符号化装置に対して、画素予測部Predictorのみ異なる。そこで、ここでは画素予測部Predictorについて説明し、その他の部分は従来の画像符号化装置と同じとし、説明を省略する。

図３は実施の形態２の画素予測部Predictorを示したブロック図である。図１、図１５と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。フレーム内予測判定部IntraDetは、初期動きベクトルMV1によるフレーム間予測評価値InterCost1とフレーム内予測評価値IntraCostを入力し、所定の条件を満たす場合には動き検出を行わないように動き検出部MEに指示し、スイッチSW2を“０”に切り替える。所定の条件を満たさない場合には、スイッチSW2を“１”に切り替え、従来の画像符号化装置と同じ処理を行う。初期動きベクトルMV1によるフレーム間予測評価値InterCost1は、実施の形態１におけるフレーム間予測評価値推定値EInterCostに相当する。

図４は図３の画素予測部Predictorの処理フローを示した図である。図１６と同じ処理ステップは同じ記号を付し、説明を省略する。S12のフレーム内予測評価値計算とS16のフレーム間予測評価値推定をS15での局所探索の前に行い、S17のフレーム内予測判定で所定の条件を満たす場合には、そこで予測モードをフレーム内予測と判定し終了する。ここでは、S14、S12、S16の順で処理を行っているが、これらの処理の順序は変えても構わない。

本発明の所定の条件は、実施の形態１と同様に式６で判定できる。最終的にフレーム内予測と判定される場合には、探索開始点の位置に関わらず常に式６はフレーム内予測となるはずである。従って、問題は、最終的にフレーム間予測と判定されるのに関わらず、式６でフレーム内予測と判定される場合である。ただし、最終的にフレーム間予測と判定される場合には、初期動きベクトル時点でフレーム間予測評価値interCost1はフレーム内予測評価値IntraCostに対して十分に小さな値をとることが期待できる。そのため、前記のような問題は殆ど発生せず、従って、従来の画像符号化装置に対する符号化効率劣化は殆どない。

以上のように本実施の形態によれば、従来の画像符号化装置から符号化効率を殆ど劣化させずに動き検出の処理量を削減できる。

なお、式６はフレーム内予測判定式の一例であり、フレーム間予測評価値推定値とフレーム内予測評価値を変数とした他の判定式を用いてもよい。

なお、実施の形態１の判定と実施の形態２の判定を組み合わせてもよい。例えば、両方の判定式がフレーム内予測を示す場合のみフレーム内予測としてもよい。

なお、本実施の形態は、２種類の予測モードのみの場合を説明したが、３種類以上の予測モードの場合にも、１種類以上の予測モードに対し評価値を推定し、各予測モードの評価値もしくは評価値の推定値を比較することで、本実施の形態と同様の処理を行うことができる。

なお、本実施の形態では、予測モードとしてフレーム間予測とフレーム内予測を例に説明したが、他の予測方法を使用してもよい。

（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図５は実施の形態１、２の画像符号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。

図５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態４）
本発明の実施の形態４として、上記で説明した動画像符号化方法、動画像符号化装置および動画像符号化プログラムの応用例とそれを用いたシステムを図６〜図９を用いて説明する。

図６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

コンテンツの符号化処理あるいは復号化処理に際して、上記実施形態で説明した動画像符号化方法、動画像符号化装置および動画像符号化プログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示した動画像符号化装置を備え、動画像符号化方法、動画像符号化プログラムを実現できるものであってよい。

一例として携帯電話について説明する。
図７は、上記実施形態の動画像符号化方法、動画像符号化装置および動画像符号化プログラムを用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

以上の構成において、画像符号化部ｅｘ３１２は、上記実施形態の動画像符号化装置を備えている。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図９に示すようにディジタル放送用システムにも上記実施形態で説明した動画像符号化方法、動画像符号化装置および動画像符号化プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態で説明した動画像符号化装置を備えていてもよい。また、上記実施形態の動画像符号化方法を用いるものであってもよい。さらに、動画像符号化プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態で説明した動画像符号化方法、動画像符号化装置および動画像符号化プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態で説明した動画像符号化方法、動画像符号化装置および動画像符号化プログラムを実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に上記実施形態で説明した動画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施形態で説明した動画像符号化方法、動画像符号化装置および動画像符号化プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。

本発明にかかる装置は、フレーム間予測の処理量を軽減でき、結果として画像符号化装置の処理量を軽減できる効果を有し、例えば、動画像符号化装置等に有用である。

実施の形態１の画素予測部のブロック図 実施の形態１の画素予測部の処理フロー 実施の形態２の画素予測部のブロック図 実施の形態２の画素予測部の処理フロー 実施の形態１〜実施の形態２の画像符号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図 コンテンツ供給システムの全体構成について説明するブロック図 本発明の動画像符号化装置を搭載する携帯電話の例 携帯電話の構成について説明するブロック図 ディジタル放送用システムの例 従来の画像符号化装置のブロック図 従来の画素予測部のブロック図 従来の画素予測部の処理フロー 画像復号装置のブロック図 局所探索の概念図 局所探索を行う従来の画像符号化装置内の画素予測部のブロック図 局所探索を行う従来の画素予測部の処理フロー

符号の説明

Img 画像信号
BitStrm 符号化信号
Res 残差信号
ERes 残差符号化信号
DRes 残差復号信号
DecImg 復号画像信号
Ref 参照画像信号
Pred 予測画像信号
MV 動きベクトル
Mode 予測モード情報
InterCost フレーム間予測評価値
IntraCost フレーム内予測評価値
MCPred フレーム間予測画像信号
IPred フレーム内予測画像信号
MV1 初期動きベクトル
InterCost1 初期動きベクトルのフレーム間予測評価値
EInterCost フレーム間予測評価値推定値
Sub 減算器
Add 加算器
ResEnc 残差符号化部
ResDec 残差復号部
FM フレームメモリ
Predictor 画素予測部
VLC 可変長符号化部
SW1,SW2 スイッチ
ME 動き検出部
IntraCostCalc フレーム内予測評価値計算部
ModeSel モード判定部
MC 動き補償部
IntraPredictor フレーム内予測部
VLD 可変長復号部
ME1 探索開始点選択部
ME2 局所探索部
IntraDet フレーム内予測判定部
InterCostEst フレーム間予測評価値推定部
Cs コンピュータ・システム
FD フレキシブルディスク
FDD フレキシブルディスクドライブ

Claims (6)

1. ２種類以上の予測モードから１つの予測モードを選択し、選択された前記１つの予測モードを示す種別情報を符号化する動画像符号化方法において、
   前記２種類以上の予測モードのうち１種類以上を第１予測モードとし、前記第１予測モード以外を第２予測モードとすると、前記第１予測モードの評価値計算終了前に前記第１予測モードの評価値の推定値と前記第２予測モードの評価値とを計算し、前記第１予測モードの評価値の推定値と前記第２予測モードの評価値とが所定の条件を満たす場合には、前記第１予測モードの評価値計算を終了し、前記第２予測モードを前記１つの予測モードとして選択することを特徴とした動画像符号化方法。
2. 請求項１の動画像符号化方法において、前記第１予測モードの評価値計算開始前に、前記第１予測モードの評価値の推定値と前記第２予測モードの評価値とを計算し、前記第１予測モードの評価値の推定値と前記第２予測モードの評価値とが所定の条件を満たす場合には、前記第１予測モードの評価値計算を終了し、前記第２予測モードを前記１つの予測モードとして選択することを特徴とした動画像符号化方法。
3. 請求項１の動画像符号化方法において、前記第１予測モードの評価値計算を途中で中断し、計算途中結果から前記第１予測モードの評価値を推定し、前記第１予測モードの評価値の推定値と前記第２予測モードの評価値が所定の条件を満たす場合には、前記第１予測モードの評価値計算を終了し、前記第２予測モードを前記１つの予測モードとして選択することを特徴とした動画像符号化方法。
4. 請求項１〜３の動画像符号化方法において、フレーム間予測を示す予測モードを前記第１予測モードとし、フレーム内予測を示す予測モードを前記第２予測モードとすることを特徴とした動画像符号化方法。
5. フレーム間予測評価値を計算する動き検出手段と、フレーム内予測評価値を計算するフレーム内予測評価値計算手段と、前記フレーム間予測評価値と前記フレーム内予測評価値からフレーム間予測とフレーム内予測の何れかを予測モードとして選択するモード判定手段と、前記モード判定手段が選択した予測モードを示す予測モード情報を多重化し符号化信号として出力する可変長符号化手段とを備えたことを特徴とする画像符号化装置において、
   前記フレーム間予測評価値の計算終了前に前記フレーム間予測評価値の推定値を計算するフレーム間予測評価値推定手段と、前記フレーム内予測評価値と前記フレーム間予測評価値の推定値とが所定の条件を満たす場合には、フレーム内予測を予測モードとして選択し、前記動き検出手段の前記フレーム間予測評価値の計算の終了を指示するフレーム内予測判定手段とを備えたことを特徴とする動画像符号化装置。
6. コンピュータにより、２種類以上の予測モードから１つの予測モードを選択し、選択された前記１つの予測モードを示す種別情報を符号化する動画像符号化方法を行うためのプログラムであって、
   前記２種類以上の予測モードのうち１種類以上を第１予測モードとし、前記第１予測モード以外を第２予測モードとすると、前記第１予測モードの評価値計算終了前に前記第１予測モードの評価値の推定値と前記第２予測モードの評価値とを計算し、前記第１予測モードの評価値の推定値と前記第２予測モードの評価値とが所定の条件を満たす場合には、前記第１予測モードの評価値計算を終了し、前記第２予測モードを前記１つの予測モードとして選択することを特徴とした動画像符号化方法をコンピュータに行わせることを特徴とする動画像符号化プログラム。
   

Images