JP2004215215A - 動きベクトル検出方法 - Google Patents
動きベクトル検出方法 Download PDFInfo
- Publication number
- JP2004215215A JP2004215215A JP2003068058A JP2003068058A JP2004215215A JP 2004215215 A JP2004215215 A JP 2004215215A JP 2003068058 A JP2003068058 A JP 2003068058A JP 2003068058 A JP2003068058 A JP 2003068058A JP 2004215215 A JP2004215215 A JP 2004215215A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- candidate
- picture
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】フェードが生じても最適な動きベクトルを検出する動きベクトル検出方法を提供する。
【解決手段】参照フレームＲｆ１に基づく第１動きベクトル候補ＭＶＣ１と参照フレームＲｆ２に基づく第２動きベクトル候補ＭＶＣ２とを生成するステップ（Ｓ３００）と、第１動きベクトル候補ＭＶＣ１が示す予測用ブロックＰＢ１と第２動きベクトル候補ＭＶＣ２が示す予測用ブロックＰＢ２とに基づいて、画素値の補間を行うことで補間予測ブロックＰＢ０を作成するステップ（Ｓ３０２，Ｓ３０４）と、補間予測ブロックＰＢ０と符号化対象ブロックとの画素値の差に基づく予測誤差評価値を算出するステップ（Ｓ３０６〜Ｓ３１０）と、予測誤差評価値が最小となる第１及び第２の動きベクトル候補ＭＶＣ１，ＭＶＣ２をそれぞれ符号化対象ブロックの動きベクトルＭＶ１及び動きベクトルＭＶ２として検出するステップ（Ｓ３１２，Ｓ３１４）とを含む。
【選択図】 図６
【解決手段】参照フレームＲｆ１に基づく第１動きベクトル候補ＭＶＣ１と参照フレームＲｆ２に基づく第２動きベクトル候補ＭＶＣ２とを生成するステップ（Ｓ３００）と、第１動きベクトル候補ＭＶＣ１が示す予測用ブロックＰＢ１と第２動きベクトル候補ＭＶＣ２が示す予測用ブロックＰＢ２とに基づいて、画素値の補間を行うことで補間予測ブロックＰＢ０を作成するステップ（Ｓ３０２，Ｓ３０４）と、補間予測ブロックＰＢ０と符号化対象ブロックとの画素値の差に基づく予測誤差評価値を算出するステップ（Ｓ３０６〜Ｓ３１０）と、予測誤差評価値が最小となる第１及び第２の動きベクトル候補ＭＶＣ１，ＭＶＣ２をそれぞれ符号化対象ブロックの動きベクトルＭＶ１及び動きベクトルＭＶ２として検出するステップ（Ｓ３１２，Ｓ３１４）とを含む。
【選択図】 図６
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化を行う際の、画像内の領域の動きを示す動きベクトルを検出する動きベクトル検出方法に関する。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報をディジタル化することにより統一的に扱うことが一般的になってきた。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、又はＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある（例えば、非特許文献１および非特許文献２参照。）。
【０００３】
これらの標準規格の動画像符号化方式に共通の技術として動き補償を伴うフレーム間予測がある。これらの動画像符号化方式の動き補償では、入力画像のフレームを所定のサイズの矩形（以降、ブロックと呼ぶ）に分割し、各ブロック毎にフレーム間の動きを示す動きベクトルから予測画素を生成する。
【０００４】
図３１は、動きベクトルを説明するための説明図である。
例えば、ビデオカメラで動きのある被写体を撮影した場合、各フレーム毎に被写体の写っているブロックの位置は移動する。つまり、動きのある被写体がフレームＲｆのブロックＢに含まれ、フレームＴｆではその被写体がブロックＢ０に含まれていれば、ブロックＢ０はブロックＢから変位することとなり、ブロックＢ０に対するその変位が動きベクトルＭＶとして表される。
【０００５】
そして、上述の動き補償では各ブロックに対して動きベクトルＭＶが検出され、その検出は、一般に、参照元となるフレーム（図３１ではフレームＲｆ）の中から、検出の対象となるブロック（図３１ではブロックＢ０）と画素値が近いブロックを探すことで行われる。
【０００６】
また、現在、ＩＴＵ−Ｔで標準化中のＨ．２６Ｌでは、符号化対象フレームの直前２枚のフレームを参照フレームとして画素補間することで予測画素を得る方法が検討されている。ここで、符号化対象フレームより表示時刻が前の２枚のフレームを参照して画素補間により予測画像（予測画素）を生成する予測方法を、前方補間予測という。
【０００７】
図３２は、２枚のフレームを用いて予測画像を生成する様子を説明するための説明図である。
この図３２に示すように、符号化対象フレームＴｆのブロックＢ０の予測画像を生成するときには、例えば、表示時刻から見て、符号化対象フレームＴｆの直前にあるフレームＲｆ１と、符号化対象フレームＴｆの２枚前にある参照フレームＲｆ２とが参照フレームとして用いられる。即ち、これらの参照フレームＲｆ１，Ｒｆ２の中からブロックＢ０と画素値が近いブロックＢ１，Ｂ２が探し出され、そのブロックＢ１，Ｂ２とブロックＢ０の位置の変位から動きベクトルＭＶ１，ＭＶ２が検出される。
【０００８】
そして、動きベクトルＭＶ１で示される参照フレームＲｆ１のブロックＢ１と、動きベクトルＭＶ２で示される参照フレームＲｆ２のブロックＢ２とからブロックＢ０の予測画像が生成される。つまり、ブロックＢ１の画素値とブロックＢ２の画素値とを用いて、ブロックＢ０に対して画素値の補間を行うことによって上記予測画像が生成される。このような画素値の補間方法には、例えば、平均値や外挿補間などがある。外挿補間はフェードなど時刻経過に対し画素値が線形に変化していく画面効果の予測に高い効果がある。
【０００９】
また、ブロックＢ０は上述のように生成された予測画像を用いて符号化される。
図３３は、上記従来の動画像符号化方式により動画像を符号化する動画像符号化装置８００の構成を示すブロック図である。
【００１０】
この動画像符号化装置８００は、マルチフレームバッファ８０１と、動き推定部８０２と、動き補償部８０３と、画像符号化部８０４と、画像復号部８０５と、可変長符号化部８０６と、動きベクトルスケーリング部８０７と、加算器８０８と、減算器８０９，８１０と、スイッチ８１１，８１２とを備え、画像信号Ｉｍｇにより示されるフレームをブロックに分割し、そのブロック毎に処理を行う。
【００１１】
減算器８０９は、動画像符号化装置８００に入力された画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算し、残差信号Ｒｅｓを出力する。
画像符号化部８０４は、残差信号Ｒｅｓを取得してＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号Ｅｒを出力する。
【００１２】
画像復号部８０５は、残差符号化信号Ｅｒを取得して逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。加算器８０８は、残差復号信号Ｄｒと予測画像信号Ｐｒｅを加算し、再構成画像信号Ｒｃを出力する。また、再構成画像信号Ｒｃのうち、以降のフレーム間予測で参照される可能性がある信号は、マルチフレームバッファ８０１に格納される。
【００１３】
図３４は、動き推定部８０２の構成を示すブロック図である。
動き推定部８０２は、ブロック毎の動きベクトルを検出するものであって、動きベクトル候補生成部８２１と画素取得部８２２と減算器８２３と動きベクトル選択部８２４とを備えている。
【００１４】
動きベクトル候補生成部８２１は、符号化対象となるブロックの動きベクトルＭＶの候補として、動きベクトル候補ＭＶＣを生成する。ここで、動きベクトル候補生成部８２１は、所定の動きベクトル検出範囲内から幾つかの動きベクトル候補ＭＶＣを順次生成する。
【００１５】
画素取得部８２２は、動きベクトル候補ＭＶＣが示す参照フレームＲｆ中の１ブロックを取得して、予測ブロックＰＢとして減算器８２３に出力する。
減算器８２３は、画像信号Ｉｍｇの符号化対象となるブロックと、予測ブロックＰＢとの画素値の差分を計算し、予測誤差ブロックＲＢとして動きベクトル選択部８２４に出力する。
【００１６】
動きベクトル選択部８２４は、動きベクトル候補生成部８２１で生成された各動きベクトル候補ＭＶＣに対する予測誤差ブロックＲＢを取得すると、これらの予測誤差ブロックＲＢのそれぞれに対して、そのブロック内の画素値からＳＡＤ（予測誤差値の絶対値和）やＳＳＤ（予測誤差値の２乗和）などの予測誤差評価値を算出する。そして、動きベクトル選択部８２４は、その予測誤差評価値が最小となるときの動きベクトル候補ＭＶＣを選択し、その選択した動きベクトル候補ＭＶＣを動きベクトルＭＶとして出力する。
【００１７】
このような動きベクトル推定部８０２は、前方補間予測時には、上述のような処理動作を繰り返し行うことで、符号化対象ブロックに対して２つの参照フレームＲｆ１，Ｒｆ２に基づく動きベクトルＭＶ１，ＭＶ２を検出する。
【００１８】
図３５は、動きベクトルＭＶ１，ＭＶ２を検出する様子を説明するための説明図である。
動き推定部８０２は、スイッチ８１１，８１２の接点が接点０側に切り換えられると、上述のように予測誤差評価値を算出することで、符号化対象フレームＴｆ中の符号化対象ブロックと画素値の近いブロック（予測誤差評価値が最小のブロック）を参照フレームＲｆ１から探し出し、符号化対象フレームＴｆ中のブロックの画素Ｐｔ０と、参照フレームＲｆ１から探し出されたブロック内において画素Ｐｔ０とブロック内の相対位置が等しい画素Ｐｔ１との変位を示す動きベクトルＭＶ１を検出する。
【００１９】
次に、動き推定部８０２は、スイッチ８１１，８１２の接点が接点１側に切り換えられると、上述と同様、符号化対象フレームＴｆ中の符号化対象ブロックと画素値の近いブロック（予測誤差評価値が最小のブロック）を参照フレームＲｆ２から探し出し、符号化対象フレームＴｆ中のブロックの画素Ｐｔ０と、参照フレームＲｆ２から探し出されたブロック内において画素Ｐｔ０とブロック内の相対位置が等しい画素Ｐｔ２との変位を示す動きベクトルＭＶ２を検出する。
【００２０】
動き補償部８０３は、前方補間予測時には、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ８０１から取り出す。そして動き補償部８０３は、これらのブロックに基づいて画素値の補間処理を行って予測画像を示す予測画像信号Ｐｒｅを作成し、これを出力する。
【００２１】
なお、この前方補間予測により予測画像を得る場合の符号化対象ブロックを前方補間予測ブロックと呼ぶ。また、動き補償部８０３はブロック毎に他の予測方法、例えば表示時刻より前の１枚のフレームのみから予測を行う前方予測、に切り替えることも可能である。
【００２２】
ここで、画素値（輝度値）が時間的に変化するフェードについて説明する。上述のように被写体を含むブロックの位置はその被写体の動きに応じて変位するとともに、そのブロック内の画素値は時間的に変化する。
【００２３】
図３６は、フェードによる画素値の変化を説明するための説明図である。
上述の動きベクトルＭＶ２で示される画素Ｐｔ２の画素値は、動きベクトルＭＶ１で示される画素Ｐｔ１の画素値に変化する。このような変化は時間間隔が短ければ図３６中の線Ｌで示されるように時間に比例すると仮定することができる。
【００２４】
そこで、符号化対象フレームＴｆのブロックＢ０の画素Ｐｔ０の画素値Ｐ０は、参照フレームＲｆ１，Ｒｆ２の画素Ｐｔ１，Ｐｔ２の画素値Ｐ１，Ｐ２から外挿して、計算式「Ｐ０＝２×Ｐ１−Ｐ２」により予測される。
【００２５】
動き補償部８０３は、上式の外挿を行うことでフェードに対する予測効果を高めて符号化効率を向上している。また、動き補償部８０３は、フェードがない画像に対しては、外挿の代わりに内挿（平均値）による補間を行っており、その結果、より最適な予測方法の選択の幅を広げて符号化効率を向上している。
【００２６】
動きベクトルスケーリング部８０７は、動きベクトルＭＶ１に対してスケーリングを行う。
動き推定部８０２で検出された動きベクトルＭＶ１に対して、動きベクトルスケーリング部８０７は、図３５に示すように、符号化対象フレームＴｆ及び参照フレームＲｆ１が表示される時間差を示す表示時間差Ｔ１と、符号化対象フレームＴｆ及び参照フレームＲｆ２が表示される時間差を示す表示時間差Ｔ２とに基づいて、スケーリングを行う。
【００２７】
即ち、動きベクトルスケーリング部８０７は、表示時間差Ｔ１に対する表示時間差Ｔ２の割合（Ｔ２／Ｔ１）を、動きベクトルＭＶ１に乗じることで、動きベクトルＭＶ１に対するスケーリングを行い、動きベクトルＭＶｓを求める。
【００２８】
また、このような表示時間差Ｔ１，Ｔ２に関する情報は、マルチフレームバッファ８０１から取得される。つまり、再生構成画像信号Ｒｃにより示されるフレームは、そのフレームの表示時間に関する情報と共にマルチフレームバッファ８０１に記録されている。
【００２９】
減算器８１０は、動き推定部８０２で検出された動きベクトルＭＶ２から、上述の動きベクトルＭＶｓを減算して、図３５に示す差分ベクトルＭＶｄを出力する。
【００３０】
可変長符号化部８０６は、動きベクトルＭＶ１と差分ベクトルＭＶｄと残差符号化信号Ｅｒとを可変長符号化し、画像符号化信号Ｂｓを出力する。
以上、説明した処理により動画像符号化装置８００は画像信号Ｉｍｇを符号化して、画像符号化信号Ｂｓを出力する。
【００３１】
図３７は、画像符号化信号Ｂｓのフォーマットの概念を示す概念図である。
画像符号化信号Ｂｓには、前方補間予測により符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ９が含まれ、さらにこのフレーム符号化信号Ｂｓｆ９には符号化された前方補間予測ブロック（符号化対象ブロック）を示す内容のブロック符号化信号Ｂｓｂ９が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ９には、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１と、符号化された差分ベクトルＭＶｄを示す内容の差分ベクトル符号化信号Ｂｓｄとが含まれる。
【００３２】
このような動画像符号化装置８００が実行する動きベクトル符号化方法では、動きベクトルスケーリング部８０７及び減算器８１０並びに可変長符号化部８０６により、動きベクトルＭＶ１と差分ベクトルＭＶｄが符号化されるため、符号化対象フレームＴｆ、参照フレームＲｆ１及び参照フレームＲｆ２の各フレーム間で、画面内の被写体の動きの向き・速度が一定と仮定すると、差分ベクトルＭＶｄが０に近くなって、動きベクトルの符号化効率が良い。
【００３３】
次に、動画像符号化装置８００により符号化された画像を復号化する動画像復号化装置について説明する。
図３８は、従来の動画像復号化装置の構成を示すブロック図である。
【００３４】
この動画像復号化装置９００は、マルチフレームバッファ９０１と、動き補償部９０３と、画像復号化部９０５と、可変長復号化部９０６と、動きベクトルスケーリング部９０７と、加算器９０９，９１０とを備えている。
【００３５】
可変長復号化部９０６は、画像符号化信号Ｂｓを取得して可変長復号を行い、残差符号化信号Ｅｒと動きベクトルＭＶ１と差分ベクトルＭＶｄとを出力する。画像復号化部９０５は、残差符号化信号Ｅｒを取得して、逆量子化や逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
【００３６】
動きベクトルスケーリング部９０７は、動画像符号化装置８００の動きベクトルスケーリング部８０７と同様、可変長復号化部９０６から出力された動きベクトルＭＶ１を取得すると、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１に対してスケーリングを行い、その結果生成された動きベクトルＭＶｓを出力する。
【００３７】
加算器９１０は、スケーリング済みの動きベクトルＭＶｓと差分ベクトルＭＶｄとを加算し、その加算結果を動きベクトルＭＶ２として出力する。
動き補償部９０３は、動画像符号化装置８００の動き補償部８０３と同様、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ９０１から取り出す。そして動き補償部９０３は、これらのブロックに基づいて画素値の補間処理を行って予測画像信号Ｐｒｅを作成しこれを出力する。
【００３８】
加算器９０９は、動き補償部９０３からの予測画像信号Ｐｒｅと、画像復号化部９０５からの残差復号信号Ｄｒとを加算し、その結果を復号画像信号Ｄｉとして出力する。
【００３９】
マルチフレームバッファ９０１は、動画像符号化装置８００のマルチフレームバッファ８０１と同様の構成を有し、復号画像信号Ｄｉのうち、フレーム間予測で参照される可能性がある信号を格納する。
【００４０】
このような動画像復号化装置９００は画像符号化信号Ｂｓを復号化して、その復号結果を復号画像信号Ｄｉとして出力する。
以上のように動画像符号化装置８００を含む多くの従来の動画像符号化装置における動きベクトルの検出方法には、ＳＡＤやＳＳＤなどの予測誤差評価値が用いられている。
【００４１】
【非特許文献１】
“Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ”Ｈ．２６３，ＩＴＵ−Ｔ，１９９６．３
【００４２】
【非特許文献２】
ＤＲＡＦＴ ＦＯＲ “Ｈ．２６３＋＋” ＡＮＮＥＸＥＳ Ｕ， Ｖ， ＡＮＤ Ｗ ＴＯ ＲＥＣＯＭＭＥＮＤＡＴＩＯＮ Ｈ．２６３（Ｕ．４ Ｄｅｃｏｄｅｒ Ｐｒｏｃｅｓｓ），ＩＴＵ−Ｔ，２０００．１１
【００４３】
【発明が解決しようとする課題】
しかしながら、上記従来の動きベクトル検出方法では、フェードによる画素値の変化が考慮されていないため、符号化対象ブロックと予測画像との画素値に差が生じ易く、つまり上述のＳＡＤやＳＳＤなどの予測誤差評価値の値が増加し易く、最適な動きベクトルを検出することができないといった問題がある。
【００４４】
そこで本発明では、フェードが生じても最適な動きベクトルを検出する動きベクトル検出方法を提供することを目的とする。
【００４５】
【課題を解決するための手段】
上記目的を達成するために、本発明の動きベクトル検出方法は、動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法であって、前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間ステップと、前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出ステップと、前記評価値に基づいて、前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補の中から１つを選択するとともに、前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補の中から１つを選択する選択ステップと、選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出ステップとを含むことを特徴とする。例えば、前記選択ステップでは、前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する。
【００４６】
これにより、画素値の補間処理を行った結果に基づいて評価値が算出されるため、フェードが生じる場合であってもその影響による評価値の誤差の増加を防止して、最適な動きベクトルを検出することができる。
【００４７】
さらに、本発明に係る動きベクトル符号化方法は、動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを符号化する動きベクトル符号化方法であって、上記本発明に係る動きベクトル検出方法で第１及び第２の動きベクトルを検出する動きベクトル検出ステップと、前記第１及び第２の動きベクトルをそれぞれ符号化する符号化ステップとを含むことを特徴とする。
【００４８】
これにより、最適な動きベクトルをそれぞれ符号化することができる。
また、本発明に係る動きベクトル符号化方法は、動画像における符号化の対象となる符号化対象ピクチャに対して、他の２つのピクチャを参照ピクチャとして参照することで第１及び第２の動きベクトルの符号化方法を特定し、前記第１及び第２の動きベクトルに関する情報を符号化する動きベクトル符号化方法であって、ピクチャがその表示時刻に関する情報と共に記録される第１の領域と前記第１の領域に記録されていないピクチャが記録される第２の領域とを有する記憶手段から前記２つの参照ピクチャを読み出す読出ステップと、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたか否かを判定する判定ステップと、前記判定ステップで、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたと判定されたときには、前記第１の動きベクトルと前記第２の動きベクトルとの差分を示す差分ベクトルを求める差分ベクトル導出ステップと、前記第１の動きベクトルと前記差分ベクトルとを符号化する符号化ステップとを含むことを特徴としても良い。
【００４９】
これにより、前記２つの参照ピクチャのうちの少なくとも１つがメモリの第２の領域から読み出されたときには、従来例のように動きベクトルのスケーリングが行われないため、無理なスケーリングの実行を省き、動きベクトルの符号化効率の向上を図ることができる。
【００５０】
一方、本発明に係る動きベクトル復号化方法は、動画像における復号化の対象となる復号化対象ピクチャに対して、他の２つのピクチャを参照ピクチャとして参照することで第１及び第２の動きベクトルの復号化方法を特定し、前記第１及び第２の動きベクトルに関する情報を符号化した符号化情報を復号化する動きベクトル復号化方法であって、前記符号化情報から前記第１の動きベクトルと前記第１及び第２の動きベクトルに関する関連ベクトルとを復号化する復号化ステップと、ピクチャがその表示時刻に関する情報と共に記録される第１の領域と前記第１の領域に記録されていないピクチャが記録される第２の領域とを有する記憶手段から前記２つの参照ピクチャを読み出す読出ステップと、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたか否かを判定する判定ステップと、前記判定ステップで、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたと判定されたときには、前記関連ベクトルと前記第１の動きベクトルを加算して前記第２の動きベクトルを求める演算ステップとを含むことを特徴とする。
【００５１】
これにより、前記２つの参照ピクチャのうちの少なくとも１つがメモリの第２の領域から読み出されたときには、従来例のように動きベクトルのスケーリングが行われないため、無理なスケーリングの実行を省き、動きベクトルの復号化効率の向上を図ることができる。
【００５２】
なお、本発明は、上記動きベクトル検出方法や動きベクトル符号化方法を用いる動画像符号化装置、プログラム、及びそのプログラムを格納する記憶媒体としても実現することができる。
【００５３】
【発明の実施の形態】
（実施の形態１）
以下、本発明の第１の実施の形態における動画像符号化装置について図面を参照しながら説明する。
【００５４】
図１は、本実施の形態における動画像符号化装置３００Ａの構成を示すブロック図である。
本実施の形態の動画像符号化装置３００Ａは、最適な動きベクトルを検出して符号化するものであって、マルチフレームバッファ３０１と、動き推定部３０２と、動き補償部３０３と、画像符号化部３０４と、画像復号部３０５と、可変長符号化部３０６と、加算器３０８及び減算器３０９とを備える。
【００５５】
動き推定部３０２は、マルチフレームバッファ３０１から読み出された参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、画像信号Ｉｍｇにより示される符号化対象フレームＴｆ中のブロック（符号化対象ブロック）の最適な動きベクトルＭＶ１，ＭＶ２を検出する。
【００５６】
動き補償部３０３は、動画像符号化装置８００の動き補償部８０３と同様に、前方補間予測時には、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ８０１から取り出す。そして、動き補償部３０３はこれらのブロックに基づいて、図３６で説明したような外挿による画素値の補間処理を行って予測画像を示す予測画像信号Ｐｒｅを作成してこれを出力する。このように外挿による画素値の補間処理を行うことでフェードに対する予測効果を高めることができる。なお、動き補償部３０３は、符号化対象のブロック毎に予測方法を、前方補間予測と他の予測方法、例えば表示時刻より前の１枚のフレームのみから予測を行う前方予測と、に切り替えても良い。
【００５７】
減算器３０９は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算して残差信号Ｒｅｓを出力する。
画像符号化部３０４は、残差信号Ｒｅｓを取得してＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号Ｅｒを出力する。
【００５８】
画像復号部３０５は、残差符号化信号Ｅｒを取得して、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
加算器１０８は、残差復号信号Ｄｒと予測画像信号Ｐｒｅを加算して再構成画像信号Ｒｃを出力する。
【００５９】
マルチフレームバッファ３０１は、再構成画像信号Ｒｃのうち、フレーム間予測で参照される可能性がある信号を格納する。
可変長符号化部３０６は、動き推定部３０２で検出された動きベクトルＭＶ１，ＭＶ２と、画像符号化部３０４から出力される残差符号化信号Ｅｒとを可変長符号化し、これらの符号化された結果を画像符号化信号Ｂｓ１として出力する。
【００６０】
このような動画像符号化装置３００Ａは、画像信号Ｉｍｇにより示される符号化対象フレームＴｆの各ブロックを符号化するときには、２枚の参照フレームＲｆ１，Ｒｆ２を参照して、これらの参照フレームＲｆ１，Ｒｆ２に基づく符号化対象ブロックの動きベクトルＭＶ１，ＭＶ２を検出する。そして動画像符号化装置３００Ａは、検出した動きベクトルＭＶ１，ＭＶ２をそれぞれ符号化するとともに、参照フレームＲｆ１，Ｒｆ２及び動きベクトルＭＶ１，ＭＶ２から予測される予測画像と、符号化対象ブロックとの画素値の差を符号化する。
【００６１】
ここで、参照フレームＲｆ１，Ｒｆ２はそれぞれ、符号化対象フレームＴｆに対して時間的に前方にあっても後方にあっても良い。
図２は、参照フレームＲｆ１，Ｒｆ２と符号化対象フレームＴｆの時間的な位置関係を示すフレーム配置図である。
【００６２】
この図２中の（ａ）に示すように、動画像符号化装置３００Ａは、符号化対象フレームＴｆの前方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良く、図２中の（ｂ）に示すように、符号化対象フレームＴｆの後方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良い。さらに、図２中の（ｃ）に示すように、符号化対象フレームＴｆの前方に位置する１つのフレームを参照フレームＲｆ２として参照し、符号化対象フレームＴｆの後方に位置する１つのフレームを参照フレームＲｆ１として参照しても良く、その逆、つまり符号化対象フレームＴｆの前方に位置する１つのフレームを参照フレームＲｆ１として参照し、符号化対象フレームＴｆの後方に位置する１つのフレームを参照フレームＲｆ２として参照しても良い。
【００６３】
このような本実施の形態における動画像符号化装置３００Ａの動き推定部３０２について詳細に説明する。
動き推定部３０２は、上述のように参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、符号化対象ブロックの動きベクトルＭＶ１，ＭＶ２を検出し、これらの動きベクトルＭＶ１，ＭＶ２を動き補償部３０３に出力する。
【００６４】
図３は、動き推定部３０２の構成を示すブロック図である。
本実施の形態における上述の動き推定部３０２は、第１動きベクトル候補生成部３２１と、第２動きベクトル候補生成部３２２と、画素取得部３２３，３２４と、補間部３２５と、減算器３２６と、動きベクトル選択部３２７とを備えている。
【００６５】
第１動きベクトル候補生成部３２１は、符号化対象ブロックの参照フレームＲｆ１に基づく動きベクトルＭＶ１の候補を、所定の検出範囲から全て抽出し、これらをそれぞれ第１動きベクトル候補ＭＶＣ１として順次出力する。
【００６６】
第２動きベクトル候補生成部３２２は、第１動きベクトル候補生成部３２１と同様、符号化対象ブロックの参照フレームＲｆ２に基づく動きベクトルＭＶ２の候補を、所定の検出範囲から全て抽出し、これらをそれぞれ第２動きベクトル候補ＭＶＣ２として順次出力する。
【００６７】
図４は、第１動きベクトル候補ＭＶＣ１及び第２動きベクトル候補ＭＶＣ２の生成方法を説明するための説明図である。
第１動きベクトル候補生成部３２１は、参照フレームＲｆ１の動きベクトル検出範囲ＳＲから何れかの画素Ｐｔ１を選択し、符号化対象ブロックの画素Ｐｔ０と画素Ｐｔ１との変位を第１動きベクトル候補ＭＶＣ１として出力し、第２動きベクトル候補生成部３２２は、参照フレームＲｆ２の動きベクトル検出範囲ＳＲ１から何れかの画素Ｐｔ２を選択し、符号化対象ブロックの画素Ｐｔ０と画素Ｐｔ２との変位を第２動きベクトル候補ＭＶＣ２として出力する。
【００６８】
画素取得部３２３は、第１動きベクトル候補ＭＶＣ１が示す参照フレームＲｆ１中の１ブロック（図４中の画素Ｐｔ１を含むブロック）を取得して、予測ブロックＰＢ１として補間部３２５に出力する。
【００６９】
画素取得部３２４は、第２動きベクトル候補ＭＶＣ２が示す参照フレームＲｆ２中の１ブロック（図４中の画素Ｐｔ２を含むブロック）を取得して、予測ブロックＰＢ２として補間部３２５に出力する。
【００７０】
補間部３２５は、予測ブロックＰＢ１，ＰＢ２のブロック内での相対位置が互いに等しい２つの画素を用いて画素値の補間を行うことで、符号化対象ブロックに対する補間予測ブロックＰＢ０を作成し、これを減算器３２６に出力する。
【００７１】
このような画素値の補間処理は、前方補間予測の場合であれば、図３６で説明したように、２つの画素値を外挿することにより行われる。つまり、図３６に示すように、予測ブロックＰＢ１内の画素Ｐｔ１と、予測ブロックＰＢ２内の画素Ｐｔ２とがブロック内での相対位置が互いに等しい場合、画素Ｐｔ１の画素値Ｐ１と画素Ｐｔ２の画素値Ｐ２とから計算式「Ｐ０’＝２×Ｐ１−Ｐ２」の計算を行い、画素Ｐｔ１，Ｐｔ２に対応する符号化対象ブロック内の画素Ｐｔ０の補間予測画素値Ｐ０’を算出する。そして補間部３２５は、符号化対象ブロック内の全ての画素に対する補間予測画素値Ｐ０’を算出することで補間予測ブロックＰＢ０を作成している。
【００７２】
減算器３２６は、画像信号Ｉｍｇに示される符号化対象ブロックと、補間予測ブロックＰＢ０との互いに対応する画素の画素値の差分（Ｐ０−Ｐ０’）を計算し、その結果を予測誤差ブロックＲＢ０として動きベクトル選択部３２７に出力する。
【００７３】
動きベクトル選択部３２７は、減算器３２６から予測誤差ブロックＲＢ０を取得すると、以下の（式１）で示されるＳＡＤ（予測誤差値の絶対値和）や、以下の（式２）で示されるＳＳＤ（予測誤差値の２乗和）などの予測誤差評価値を算出する。
【００７４】
【数１】
このような予測誤差評価値は、第１動きベクトル候補生成部３２１で生成される第１動きベクトル候補ＭＶＣ１と、第２動きベクトル候補生成部３２２で生成される第２動きベクトル候補ＭＶＣ２との全ての組合せに対して算出される。
【００７５】
そして、動きベクトル選択部３２７は、予測誤差評価値が最も小さくなる第１動きベクトル候補ＭＶＣ１及び第２動きベクトル候補ＭＶＣ２を選択し、選択した第１動きベクトル候補ＭＶＣ１を、参照フレームＲｆ１に基づく符号化対象ブロックの動きベクトルＭＶ１として出力するとともに、選択した第２動きベクトル候補ＭＶＣ２を、参照フレームＲｆ２に基づく符号化対象ブロックの動きベクトルＭＶ２として出力する。
【００７６】
これにより、本実施の形態の動き推定部３０２は、フェードによる画素値の変化が生じても、これを考慮して動きベクトルを検出するため、最適な動きベクトルを検出することができる。
【００７７】
そして可変長符号化部３０６は、上述のように動き推定部３０２で検出された動きベクトルＭＶ１，ＭＶ２を可変長符号化し、画像符号化信号Ｂｓ１に含めて出力する。なお、可変長復号化部３０６は、符号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１，ＭＶ２の予測値を、それぞれ動きベクトルＭＶ１，ＭＶ２から差し引いて、それぞれの差分を符号化しても良い。
【００７８】
図５は、画像符号化信号Ｂｓ１のフォーマットの概念を示す概念図である。
画像符号化信号Ｂｓ１には、符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ１が含まれ、さらにこのフレーム符号化信号Ｂｓｆ１には符号化されたブロックを示す内容のブロック符号化信号Ｂｓｂ１が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ１には、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１と、符号化された動きベクトルＭＶ２を示す内容の第２動きベクトル符号化信号Ｂｓ２とが含まれる。
【００７９】
図６は、動画像符号化装置３００Ａが動きベクトルを検出して符号化するまでの動作を示すフロー図である。
まず、動画像符号化装置３００Ａの動き推定部３０２は、第１動きベクトル候補ＭＶＣ１と第２動きベクトル候補ＭＶＣ２をそれぞれ１つ生成する（ステップＳ３００）。
【００８０】
そして動き推定部３０２は、その第１動きベクトル候補ＭＶＣ１で示される予測ブロックＰＢ１と、第２動きベクトル候補ＭＶＣ２で示される予測ブロックＰＢ２とを取得する（ステップＳ３０２）。
【００８１】
次に、動き推定部３０２は、予測ブロックＰＢ１，ＰＢ２から画素補間処理を行うことにより補間予測ブロックＰＢ０を作成する（ステップＳ３０４）。
その後、動き推定部３０２は、符号化対象ブロックを取得して（ステップＳ３０６）、その符号化対象ブロックと補間予測ブロックＰＢ０との差分を求め、予測誤差ブロックＲＢ０を作成する（ステップＳ３０８）。
【００８２】
そして動き推定部３０２は、ステップＳ３０８で作成された予測誤差ブロックＲＰ０から予測誤差評価値を算出し（ステップＳ３１０）、第１動きベクトル候補ＭＶＣ１と第２動きベクトル候補ＭＶＣ２との全ての組合せに対して予測誤差評価値を算出したか否かを判断する（ステップＳ３１２）。
【００８３】
ここで、動き推定部３０２が、全ての組合せに対して予測誤差評価値を算出していないと判断したときには（ステップＳ３１２のＮ）、再び前回と異なる第１動きベクトル候補ＭＶＣ１と第２動きベクトル候補ＭＶＣ２との組み合わせを生成してステップＳ３００からの動作を繰り返し実行する。また、動き推定部３０２が全ての組合せに対して予測誤差評価値を算出したと判断したときには（ステップＳ３１２のＹ）、ステップＳ３１０で算出された全ての予測誤差評価値の中で、最小の予測誤差評価値が算出されたときにステップＳ３００で生成された第１動きベクトル候補ＭＶＣ１を動きベクトルＭＶ１として検出するとともに、このときの第２動きベクトル候補ＭＶＣ２を動きベクトルＭＶ２として検出する（ステップＳ３１４）。
【００８４】
そして動画像符号化装置３００Ａの可変長符号化部３０６は、ステップＳ３１４で検出された動きベクトルＭＶ１，ＭＶ２をそれぞれ符号化する（ステップＳ３１６）。
【００８５】
このように本実施の形態では、画素値の補間処理を行った結果に基づいて予測誤差評価値を算出するため、フェードが生じる場合であってもその影響による予測誤差評価値の増加を防止して、最適な動きベクトルを検出することができる。また、その結果、動きベクトルの符号化効率を向上することができる。
【００８６】
（実施の形態２）
以下、本発明の第２の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【００８７】
図７は、本実施の形態における動画像復号化装置３００Ｂの構成を示すブロック図である。
本実施の形態の動画像復号化装置３００Ｂは、実施の形態１の動画像符号化装置３００Ａにより符号化された動画像を復号化するものであって、可変長復号化部３３６と、動き補償部３３３と、画像復号化部３３５と、マルチフレームバッファ３３１と、加算器３３９とを備えている。
【００８８】
可変長復号化部３３６は、画像符号化信号Ｂｓ１を取得して可変長復号を行い、残差符号化信号Ｅｒと動きベクトルＭＶ１と動きベクトルＭＶ２とを出力する。なお、動きベクトルＭＶ１，ＭＶ２のそれぞれが、復号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１，ＭＶ２の予測値を差し引いて符号化されているときには、可変長復号化部２３３６はその符号化された差分をそれぞれ復号化して、そのそれぞれの差分に対して上述の予測値を加算することで動きベクトルＭＶ１，ＭＶ２を生成しても良い。
【００８９】
画像復号化部３３５は、残差符号化信号Ｅｒを取得して、逆量子化や逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
動き補償部３３３は、動画像符号化装置３００Ａの動き補償部３０３と同様に、前方補間予測時には、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ３３１から取り出す。そして、動き補償部３３３はこれらのブロックに基づいて、図３６で説明したような外挿による画素値の補間処理を行って予測画像信号Ｐｒｅを作成してこれを出力する。
【００９０】
加算器３３９は、動き補償部３３３からの予測画像信号Ｐｒｅと、画像復号化部３３５からの残差復号信号Ｄｒとを加算し、その結果を復号画像信号Ｄｉとして出力する。
【００９１】
マルチフレームバッファ３３１は、復号画像信号Ｄｉのうち、フレーム間予測で参照される可能性がある信号を格納する。
このような本実施の形態における動画像復号化装置３００Ｂは、動きベクトルＭＶ１，ＭＶ２に基づく動き補償を行うことで、動画像符号化装置３００Ａで符号化された画像を正確に復号することができる。
【００９２】
（実施の形態３）
以下、本発明の第３の実施の形態における動画像符号化装置について図面を参照しながら説明する。
【００９３】
図８は、本実施の形態における動画像符号化装置４００Ａの構成を示すブロック図である。
本実施の形態の動画像符号化装置３００Ａは、実施の形態１と同様、最適な動きベクトルを検出して符号化するものであって、マルチフレームバッファ４０１と、動き推定部４０２と、動き補償部４０３と、画像符号化部４０４と、画像復号部４０５と、可変長符号化部４０６と、加算器４０８及び減算器４０９とを備える。
【００９４】
ここで本実施の形態におけるマルチフレームバッファ４０１と、動き補償部４０３と、画像符号化部４０４と、画像復号部４０５と、加算器４０８及び減算器４０９とは、実施の形態１のマルチフレームバッファ３０１と、動き補償部３０３と、画像符号化部３０４と、画像復号部３０５と、加算器３０８及び減算器３０９とそれぞれ同様の機能及び構成を有する。
【００９５】
このような本実施の形態の動画像符号化装置４００Ａでは、実施の形態１と比べて、動きベクトルの検出方法と動きベクトルの符号化方法とが異なっており、前方補間予測時であっても動きベクトルを実質的に１つだけ検出してこれを符号化する点に特徴がある。
【００９６】
図９は、本実施の形態の動き推定部４０２の構成を示すブロック図である。
本実施の形態における動き推定部４０２は、第１動きベクトル候補生成部４２１と、動きベクトルスケーリング部４２２と、画素取得部４２３，４２４と、補間部４２５と、減算器４２６と、動きベクトル選択部４２７とを備えている。そして、このような動き推定部４０２は、マルチフレームバッファ４０１から読み出された参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、画像信号Ｉｍｇにより示される符号化対象フレームＴｆ中のブロック（符号化対象ブロック）の最適な動きベクトルＭＶ１，ＭＶ２を検出する。
【００９７】
ここで、第１動きベクトル候補生成部４２１と画素取得部４２３，４２４と補間部４２５と減算器４２６と動きベクトル選択部４２７は、実施の形態１の動き推定部３０２における第１動きベクトル候補生成部３２１と画素取得部３２３，３２４と補間部３２５と減算器３２６と動きベクトル選択部３２７とそれぞれ同様の機能及び構成を有している。
【００９８】
即ち本実施の形態における動き推定部４０２は、実施の形態１の第２動きベクトル候補生成部３２２の代わりに動きベクトルスケーリング部４２２を備えており、第１動きベクトル候補ＭＶＣ１をスケーリングすることで第２動きベクトル候補ＭＶＣ２を生成している。
【００９９】
図１０は、第１動きベクトル候補ＭＶＣ１及び第２動きベクトル候補ＭＶＣ２の生成方法を説明するための説明図である。
第１動きベクトル候補生成部４２１は、参照フレームＲｆ１の動きベクトル検出範囲ＳＲから何れかの画素Ｐｔ１を選択し、符号化対象ブロックの画素Ｐｔ０と画素Ｐｔ１との変位を第１動きベクトル候補ＭＶＣ１として出力する。
【０１００】
動きベクトルスケーリング部４２２は、上述のように生成された第１動きベクトル候補ＭＶＣ１を取得すると、符号化対象フレームＴｆ及び参照フレームＲｆ１が表示される時間差を示す表示時間差Ｔ１と、符号化対象フレームＴｆ及び参照フレームＲｆ２が表示される時間差を示す表示時間差Ｔ２とに基づいて、第１動きベクトル候補ＭＶＣ１に対してスケーリングを行う。
【０１０１】
即ち、動きベクトルスケーリング部４２２は、表示時間差Ｔ１に対する表示時間差Ｔ２の割合（Ｔ２／Ｔ１）を、第１動きベクトル候補ＭＶＣ１に乗じることで、第１動きベクトル候補ＭＶＣ１に対するスケーリングを行い、動きベクトルＭＶＣｓを求める。
【０１０２】
そして動きベクトルスケーリング部４２２はこのようにスケーリングして求めた動きベクトルＭＶＣｓを画素取得部４２４と動きベクトル選択部４２７へ出力する。
【０１０３】
画素取得部４２４と動きベクトル選択部４２７は、動きベクトルスケーリング部４２２から動きベクトルＭＶＣｓを取得すると、この動きベクトルＭＶＣｓを第２動きベクトル候補ＭＶＣ２として扱い、それぞれ実施の形態１と同様の動作を行う。
【０１０４】
また、第１動きベクトル候補生成部４２１は、動きベクトル検出範囲ＳＲから順次全ての第１動きベクトル候補ＭＶＣ１を作成し、動きベクトルスケーリング部４２２は、その第１動きベクトル候補ＭＶＣ１を取得するごとにスケーリングを行い、動きベクトルＭＶＣｓを作成する。
【０１０５】
動きベクトル選択部４２７は、第１動きベクトル候補生成部４２１で第１動きベクトル候補ＭＶＣ１が生成されるたびに、その第１動きベクトル候補ＭＶＣ１と、こらから求められた動きベクトルＭＶＣｓとに基づく予測誤差評価値を算出し、その結果、予測誤差評価値が最小となる第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを選択する。そして動きベクトル選択部４２７は、選択した第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを、動きベクトルＭＶ１，ＭＶ２として出力する。
【０１０６】
上述のような動き推定部４０２の一連の動作について以下に説明する。
まず、第１動きベクトル候補生成部４２１は、動きベクトルＭＶ１の候補である第１動きベクトル候補ＭＶＣ１を生成する。
【０１０７】
次に、動きベクトルスケーリング部４２２は、第１動きベクトル候補ＭＶＣ１に対してスケーリングを行うことで動きベクトルＭＶＣｓを生成してこれを出力する。
【０１０８】
そして画素取得部４２３は、第１動きベクトル候補ＭＶＣ１により示される参照フレームＲｆ１の画素を含む１ブロックを予測ブロックＰＢ１として取得し、これを補間部４２５に出力する。画素取得部４２４は、動きベクトルＭＶＣｓにより示される参照フレームＲｆ２の画素を含む１ブロックを予測ブロックＰＢ２として取得し、これを補間部４２５に出力する。
【０１０９】
補間部４２５は、画素取得部４２３，４２４がそれぞれ取得した２つの予測ブロックＰＢ１，ＰＢ２のそれぞれにおいて、対応する画素の画素値を補間処理することで補間予測ブロックＰＢ０を生成する。
【０１１０】
減算器４２６は、補間予測ブロックＰＢ０と画像信号Ｉｍｇ中の符号化対象ブロックとの間の画素値の差分を計算し、その計算結果を予測誤差ブロックＲＢ０として出力する。
【０１１１】
動きベクトル選択部４２７は、予測誤差ブロックＲＢ０内の画素の画素値に基づいて予測誤差評価値を算出する。そして動きベクトル選択部４２７は、第１動きベクトル候補生成部４２１で生成された全ての第１動きベクトル候補ＭＶＣ１に対してそれぞれ上述のように予測誤差評価値を算出すると、予測誤差評価値が最小となる第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを選択する。
【０１１２】
そして動きベクトル選択部４２７は、選択した第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを、動きベクトルＭＶ１，ＭＶ２として出力する。
このように本実施の形態における動き推定部４０２では、実施の形態１と同様に、画素値の補間処理を行った結果に基づいて予測誤差評価値を算出するため、フェードが生じる場合であってもその影響による予測誤差評価値の増加を防止して、最適な動きベクトルを検出することができる。また、本実施の形態における動き推定部４０２では、前方補間予測時であっても実質的な動きベクトルＭＶ２の検出を行っておらず、動きベクトルＭＶ１に対してスケーリングが行われたものを動きベクトルＭＶ２とするため、動きベクトルＭＶ２の検出にかかる手間を省いて、符号化効率を向上することができる。
【０１１３】
また本実施の形態の可変長符号化部４０６は、動きベクトルＭＶ１と残差符号化信号Ｅｒとを可変長符号化し、画像符号化信号Ｂｓ２を出力する。
図１１は、画像符号化信号Ｂｓ２のフォーマットの概念を示す概念図である。
【０１１４】
画像符号化信号Ｂｓ２には、符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ２が含まれ、さらにこのフレーム符号化信号Ｂｓｆ２には符号化されたブロックを示す内容のブロック符号化信号Ｂｓｂ２が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ２には、符号化された動きベクトルＭＶ１を示す内容の動きベクトル符号化信号Ｂｓ１が含まれる。
【０１１５】
このように本実施の形態では、符号化された動きベクトルＭＶ２を示す第２動きベクトル符号化信号Ｂｓ２を、画像符号化信号Ｂｓ２に格納しなくてもよいため、符号量を減少して符号化効率を向上することができる。
【０１１６】
なお、本実施の形態では、図３８に示すように、前方補間予測の場合について説明したが、実施の形態１と同様、参照フレームＲｆ１，Ｒｆ２はそれぞれ符号化対象フレームＴｆの前方又は後方の何れにあっても良い。
【０１１７】
さらに、本実施の形態では、符号化対象フレームＴｆを基準とした表示時間差が参照フレームＲｆ１よりも長くなるフレームを、参照フレームＲｆ２として選択し、参照フレームＲｆ１に基づく第１動きベクトル候補ＭＶＣ１に対してスケーリングを行ったが、符号化対象フレームＴｆの表示時刻よりも前にあるフレームを参照フレームＲｆ１として選択するとともに、符号化対象フレームＴｆの表示時刻よりも後にあるフレームを参照フレームＲｆ２として選択して、その参照フレームＲｆ１に基づく第１動きベクトル候補ＭＶＣ１に対してスケーリングを行っても良い。
【０１１８】
なお、可変長符号化部４０６は、動きベクトルＭＶ１と、符号化対象ブロックの周辺にある周辺ブロックの動きベクトルから予測される予測値との差分を符号化し、その結果を示す符号化信号を動きベクトル符号化信号Ｂｓ１の代わりにブロック符号化信号Ｂｓｂ２に含めても良い。この場合には符号化効率をさらに向上することができる。
【０１１９】
（実施の形態４）
以下、本発明の第４の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【０１２０】
図１２は、本実施の形態における動画像復号化装置４００Ｂの構成を示すブロック図である。
本実施の形態の動画像復号化装置４００Ｂは、実施の形態３の動画像符号化装置４００Ａにより符号化された動画像を復号化するものであって、可変長復号化部４３６と、動きベクトルスケーリング部４３７と、動き補償部４３３と、画像復号化部４３５と、マルチフレームバッファ４３１と、加算器４３９とを備えている。
【０１２１】
ここで本実施の形態における画像復号化部４３５と動き補償部４３３とマルチフレームバッファ４３１と加算器４３９とは、実施の形態２の動画像復号化装置３００Ｂの画像復号化部３３５と動き補償部３３３とマルチフレームバッファ３３１と加算器３３９とそれぞれ同様の機能及び構成を有する。
【０１２２】
可変長復号化部３３６は、画像符号化信号Ｂｓを取得して可変長復号を行い、残差符号化信号Ｅｒと動きベクトルＭＶ１とを出力する。なお、動きベクトルＭＶ１が、復号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１の予測値を差し引いて符号化されているときには、可変長復号化装置３３６は、その符号化された差分を復号化してこれに上述の予測値を加算することで、動きベクトルＭＶ１を生成して出力しても良い。
【０１２３】
動きベクトルスケーリング部４３７は、動画像復号化装置９００の動きベクトルスケーリング部９０７と同様、可変長復号化部９０６から出力された動きベクトルＭＶ１を取得すると、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１に対してスケーリングを行う。そして動きベクトルスケーリング部４３７は、その結果生成された動きベクトルを、参照フレームＲｆ２に基づいて検出された動きベクトルＭＶ２として動き補償部４３３に出力する。
【０１２４】
動き補償部４３３は、実施の形態２の動き補償部３３３と同様、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ４３１から取り出す。そして動き補償部４３３は、これらのブロックに基づいて画素値の補間処理を行って予測画像信号Ｐｒｅを作成してこれを出力する。
【０１２５】
このような本実施の形態における動画像符号化装置４００Ｂは、動きベクトルＭＶ１に対してスケーリングを行うことで動きベクトルＭＶ２を導出し、動画像符号化装置４００Ａで符号化された画像を正確に復号することができる。
【０１２６】
（実施の形態５）
以下、本発明の第５の実施の形態における動画像符号化装置について図面を参照しながら説明する。
【０１２７】
図１３は、本実施の形態における動画像符号化装置５００Ａの構成を示すブロック図である。
この動画像符号化装置５００Ａは、マルチフレームバッファ５０１、動き推定部５０２、動き補償部５０３、画像符号化部５０４、画像復号部５０５、可変長符号化部５０６、動きベクトルスケーリング部５０７、加算器５０８、減算器５０９，５１０を備え、画像信号Ｉｍｇにより示されるフレームをブロックに分割し、そのブロック毎に処理を行う。
【０１２８】
ここで本実施の形態におけるマルチフレームバッファ５０１、動き補償部５０３、画像符号化部５０４、画像復号部５０５、可変長符号化部５０６、動きベクトルスケーリング部５０７、加算器５０８、減算器５０９，５１０は、従来の動画像符号化装置８００におけるマルチフレームバッファ８０１、動き補償部８０３、画像符号化部８０４、画像復号部８０５、可変長符号化部８０６、動きベクトルスケーリング部８０７、加算器８０８、減算器８０９，８１０とそれぞれ同様の機能及び構成を有する。
【０１２９】
つまり、本実施の形態は、動き推定部５０２の動きベクトルの検出方法に特徴があり、動きベクトル符号化方法などの動作処理は動画像符号化装置８００と共通する。
【０１３０】
図１４は、本実施の形態の動き推定部５０２の構成を示すブロック図である。動き推定部５０２は、第１動きベクトル候補生成部５２１と、第２動きベクトル候補生成部５２２と、動きベクトルスケーリング部５２１ａと、画素取得部５２３，５２４と、補間部５２５と、減算器５２６と、動きベクトル選択部５２７と、スイッチ５２８，５２９とを備えている。
【０１３１】
また、動き推定部５０２における第１動きベクトル候補生成部５２１と、動きベクトルスケーリング部５２１ａと、画素取得部５２３，５２４と、補間部５２５と、減算器５２６とは、実施の形態３の動き推定部４０２における第１動きベクトル候補生成部４２１と、動きベクトルスケーリング部４２２と、画素取得部４２３，４２４と、補間部４２５と、減算器４２６とそれぞれ同様の機能及び構成を有する。
【０１３２】
そして第２動きベクトル候補生成部５２２は、符号化対象ブロックの参照フレームＲｆ２に基づく動きベクトルＭＶ２の候補を、所定の動きベクトル検出範囲から全て抽出し、これらをそれぞれ第２動きベクトル候補ＭＶＣ２として出力する。
【０１３３】
実施の形態３で説明したように実施の形態３における動き推定部４０２は、幾つかの第１動きベクトル候補ＭＶＣ１を生成するとともに、それぞれの第１動きベクトル候補ＭＶＣ１に対してスケーリングを行うことで動きベクトルＭＶＣｓを生成し、最も予測誤差評価値が小さくなる第１動きベクトル候補ＭＶＣ１とそれに対応する動きベクトルＭＶＣｓとを動きベクトルＭＶ１，ＭＶ２として検出した。即ち動き推定部４０２は、動きベクトルＭＶ１に対してスケーリングを行ったものを動きベクトルＭＶ２として検出している。
【０１３４】
しかし、本実施の形態における動き推定部５０２は、実施の形態３における動き推定部４０２と同様の方法で動きベクトルＭＶ１を検出するが、動きベクトルＭＶ１に対してスケーリングを行ったものを動きベクトルＭＶ２とすることなく、検出した動きベクトルＭＶ１を用いて予測誤差評価値が最も小さくなる動きベクトルＭＶ２をさらに検出する点に特徴がある。
【０１３５】
このような動き推定部５０２の具体的な動作について、図１４及び図１５を用いて説明する。
動き推定部５０２は、スイッチ５２８，５２９の接点が接点０側に切り換えられているときには、実施の形態３と同様の方法で第１動きベクトル候補ＭＶＣ１及び動きベクトルＭＶＣｓの生成し、動きベクトルＭＶ１を検出する。
【０１３６】
図１５の（ａ）は、第１動きベクトル候補ＭＶＣ１及び動きベクトルＭＶＣｓの生成方法を説明するための説明図である。
第１動きベクトル候補生成部５２１は、参照フレームＲｆ１の動きベクトル検出範囲ＳＲから何れかの第１動きベクトル候補ＭＶＣ１を生成する。
【０１３７】
動きベクトルスケーリング部５２１ａは、表示時間差Ｔ１に対する表示時間差Ｔ２の割合（Ｔ２／Ｔ１）を、上述のように生成された第１動きベクトル候補ＭＶＣ１に乗じることで、第１動きベクトル候補ＭＶＣ１に対するスケーリングを行い、動きベクトルＭＶＣｓを生成する。
【０１３８】
画素取得部５２３は、第１動きベクトル候補ＭＶＣ１が示す参照フレームＲｆ１中の１ブロック（画素Ｐｔ１を含むブロック）を取得して、予測ブロックＰＢ１として補間部５２５に出力する。
【０１３９】
画素取得部５２４は、動きベクトル候補ＭＶＣｓが示す参照フレームＲｆ２中の１ブロック（画素Ｐｔ２を含むブロック）を取得して、予測ブロックＰＢ２として補間部５２５に出力する。
【０１４０】
補間部５２５は、予測ブロックＰＢ１，ＰＢ２のブロック内での相対位置が互いに等しい２つの画素を用いて画素値の補間を行うことで、符号化対象ブロックに対する補間予測ブロックＰＢ０を作成し、これを減算器５２６に出力する。
【０１４１】
減算器５２６は、画像信号Ｉｍｇに示される符号化対象ブロックと、補間予測ブロックＰＢ０との互いに対応する画素の画素値の差分を計算し、その結果を予測誤差ブロックＲＢ０として動きベクトル選択部５２７に出力する。
【０１４２】
動きベクトル選択部５２７は、減算器５２６から予測誤差ブロックＲＢ０を取得すると、ＳＡＤやＳＳＤなどの予測誤差評価値を算出する。
そして、動きベクトル選択部５２７は、予測誤差評価値が最も小さくなる第１動きベクトル候補ＭＶＣ１及び動きベクトル候補ＭＶＣｓを選択し、選択した第１動きベクトル候補ＭＶＣ１を、参照フレームＲｆ１に基づく符号化対象ブロックの動きベクトルＭＶ１として出力する。
【０１４３】
次に、動き推定部５０２は、スイッチ５２８，５２９の接点が接点０側に切り換えられると、上述のように検出した動きベクトルＭＶ１を用いて予測誤差評価値が最も小さくなる動きベクトルＭＶ２を検出する。
【０１４４】
図１５の（ｂ）は、第２動きベクトル候補ＭＶＣ２の生成方法を説明するための説明図である。
第２動きベクトル候補生成部５２２は、動きベクトルＭＶ１のスケーリングにより示される参照フレームＲｆ２中の位置Ｃを中心とした動きベクトル検出範囲ＳＲ２から、幾つかの第２動きベクトル候補ＭＶＣ２を順次生成する。
【０１４５】
画素取得部５２３は、上述のように既に検出された動きベクトルＭＶ１が示す参照フレームＲｆ１中の１ブロックを取得して、予測ブロックＰＢ１として補間部５２５に出力する。
【０１４６】
画素取得部５２４は、第２動きベクトル候補ＭＶＣ２が示す参照フレームＲｆ２中の１ブロックを取得して、予測ブロックＰＢ２として補間部５２５に出力する。
【０１４７】
補間部５２５は、上述と同様に、予測ブロックＰＢ１，ＰＢ２のブロック内での相対位置が互いに等しい２つの画素を用いて画素値の補間を行うことで、符号化対象ブロックに対する補間予測ブロックＰＢ０を作成し、これを減算器５２６に出力する。
【０１４８】
減算器５２６は、画像信号Ｉｍｇに示される符号化対象ブロックと、補間予測ブロックＰＢ０との互いに対応する画素の画素値の差分を計算し、その結果を予測誤差ブロックＲＢ０として動きベクトル選択部５２７に出力する。
【０１４９】
動きベクトル選択部５２７は、減算器５２６から予測誤差ブロックＲＢ０を取得すると、ＳＡＤやＳＳＤなどの予測誤差評価値を算出する。
そして、動きベクトル選択部５２７は、予測誤差評価値が最も小さくなる第２動きベクトル候補ＭＶＣ２を選択し、選択した第２動きベクトル候補ＭＶＣ２を、参照フレームＲｆ２に基づく符号化対象ブロックの動きベクトルＭＶ２として出力する。
【０１５０】
ここで、被写体の動きがフレーム間で一定であるとすれば、既に検出した動きベクトルＭＶ１のスケーリングにより示される位置Ｃに近いほど、動きベクトルＭＶ２が存在する確率が高い。
【０１５１】
従って、本実施の形態の動き推定部５０２は、動きベクトルＭＶ２を検出するときに、位置Ｃを中心とした動きベクトル検出範囲ＳＲ２を設定して、その動きベクトル検出範囲ＳＲ２から第２動きベクトル候補ＭＶＣ２を生成するため、動きベクトル検出範囲ＳＲ２を狭くすることができ、動きベクトルの検出効率を向上することができる。また、スパイラルサーチなどの手法を用いたときには、より高速に動きベクトルＭＶ２を検出することができる。
【０１５２】
なお、本実施の形態では、動きベクトルＭＶ１を検出した後に、その動きベクトルＭＶ１を固定して用いて動きベクトルＭＶ２の検出を行ったが、さらに、このように検出された動きベクトルＭＶ２を固定して用い、動きベクトルＭＶ１の検出をもう一度行っても良い。この場合、画素取得部５２４が一度検出された固定の動きベクトルＭＶ２を取得している状態で、画素取得部５２３は、所定の動きベクトル検出範囲から幾つか抽出された可変の第１動きベクトル候補ＭＶＣ１を第１動きベクトル候補生成部５２１から取得する。そして、動きベクトル選択部５２７は、抽出された第１動きベクトル候補ＭＶＣ１の中から予測誤差評価値が最も小さくなる第１動きベクトル候補ＭＶＣ１を動きベクトルＭＶ１として検出する。これにより、さらに適切な動きベクトルを検出することができ、検出効率を向上することができる。
【０１５３】
またさらに、このように再度検出された動きベクトルＭＶ１を固定して用い、動きベクトルＭＶ２の検出をもう一度行っても良い。このような動きベクトルの検出の繰り返しは何度行っても良く、その繰り返し回数が所定の回数に達するまで、又は、予測誤差評価値の減少率が所定の値以下となるまで行っても良い。
【０１５４】
このように本実施の形態では、実施の形態１又は３と同様、画素値の補間処理を行った結果に基づいて予測誤差評価値を算出するため、フェードが生じる場合であってもその影響による予測誤差評価値の増加を防止して、最適な動きベクトルを検出することができる。また、本実施の形態では、実施の形態３と異なり、各参照フレーム毎にそれぞれ独立した動きベクトルを使用するため、フレーム間で動きが一定でない場合でも予測効率を向上することができる。
【０１５５】
（変形例）
次に、上記本実施の形態における動画像符号化装置５００Ａの変形例について説明する。
【０１５６】
図１６は、本実施の形態の変形例に係る動画像符号化装置５５０Ａの構成を示すブロック図である。
この変形例に係る動画像符号化装置５５０Ａは、動画像符号化装置５００Ａの動き推定部５０２や動き補償部５０３などの他、減算器５１０から出力される差分ベクトルＭＶｄに応じて「１」又は「２」を示すコードＮｕを生成するコード生成部５１２と、減算器５１０と可変長符号化部５０６ａとの間を開閉するスイッチ５１１とを備えている。
【０１５７】
コード生成部５１２は、減算器５１０から差分ベクトルＭＶｄを取得すると、その差分ベクトルＭＶｄが「０」か否かを判別し、「０」であれば、スイッチ５１１を開くことで可変長符号化部５０６ａが差分ベクトルＭＶｄを取得するのを禁止し、「１」を示すコードＮｕを生成して可変長符号化部５０６ａに出力する。また、差分ベクトルＭＶｄが「０」でなければ、コード生成部５１２は、スイッチ５１１を閉じることで可変長符号化部５０６ａに差分ベクトルＭＶｄを取得させ、「２」を示すコードＮｕを生成して可変長符号化部５０６ａに出力する。
【０１５８】
そしてこの変形例に係る可変長符号化部５０６ａは、コードＮｕが「１」を示すときには、残差符号化信号Ｅｒと動きベクトルＭＶ１とコードＮｕとを可変長符号化し、コードＮｕが「２」を示すときには、残差符号化信号Ｅｒと動きベクトルＭＶ１と差分ベクトルＭＶｄとコードＮｕとを可変長符号化する。つまり、可変長符号化部５０６ａは、コードＮｕが「１」のとき、即ち差分ベクトルＭＶｄが「０」のときには差分ベクトルＭＶｄの符号化を行わない。そして可変長符号化部５０６ａは、上述のように可変長符号化した結果を、画像符号化信号Ｂｓ３として出力する。
【０１５９】
図１７は、画像符号化信号Ｂｓ３のフォーマットの概念を示す概念図である。
画像符号化信号Ｂｓ３には、符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ３が含まれ、さらにこのフレーム符号化信号Ｂｓｆ３には符号化されたブロックを示す内容のブロック符号化信号Ｂｓｂ３，Ｂｓｂ４が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ３には、符号化されたコードＮｕ（２）を示す内容のコード信号Ｂｓｎ２と、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１と、符号化された差分ベクトルＭＶｄを示す内容の差分ベクトル符号化信号Ｂｓｄとが含まれる。また、ブロック符号化信号Ｂｓｂ４には、符号化されたコードＮｕ（１）を示す内容のコード信号Ｂｓｎ１と、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１とが含まれる。
【０１６０】
つまり、ブロック符号化信号Ｂｓｂ３で示されるブロックに対しては差分ベクトルＭＶｄが「０」ではないので、ブロック符号化信号Ｂｓｂ３には、第１動きベクトル符号化信号ＢＳ１以外にコード信号Ｂｓｎ２と差分ベクトル符号化信号Ｂｓｄが含まれ、ブロック符号化信号Ｂｓｂ４で示されるブロックに対しては差分ベクトルＭＶｄが「０」なので、ブロック符号化信号Ｂｓｂ４には、第１動きベクトル符号化信号ＢＳ１以外にはコード信号Ｂｓｎ１しか含まれない。
【０１６１】
ここで、コードＮｕは「１」又は「２」を示すため、コードＮｕに対する情報量は１ビットあれば十分である。一方、差分ベクトルＭＶｄに対する情報量は、差分ベクトルＭＶｄを横方向成分及び縦方向成分に独立して可変長符号化するような場合には、少なくとも２ビットは必要である。また、多くの場合において、短い時間では画像内の被写体の動きは一定であるため、殆どの符号化対象ブロックに対する差分ベクトルＭＶｄは「０」となる。
【０１６２】
従って、本変形例では、画像符号化信号Ｂｓ３には、差分ベクトル符号化信号Ｂｓｄを省略して情報量を少なくしたブロック符号化信号Ｂｓｂ４が多く含まれるために、符号化効率を向上することができる。
【０１６３】
また、殆どの符号化対象ブロックに対する差分ベクトルＭＶｄが「０」となると、コードＮｕにより示される値の出現頻度に偏りが生じて、そのコードＮｕに対する情報量は１ビットよりも小さくなる。従って、ハフマン符号などの整数ビット単位の可変長符号化方法で動きベクトルの符号化を行う場合には、コードＮｕを他の種類のコードと組み合わせて符号化することで、上述のように単独でコードＮｕを符号化するよりも符号化効率を向上することができる。
【０１６４】
なお、本実施の形態では、コード信号Ｂｓｎ１，Ｂｓｎ２をブロック符号化信号ごとに格納したが、ブロック符号化信号ごとではなく、例えば、ＭＰＥＧのマクロブロックやスライスなどのように、ブロックより大きな単位で画像が符号化された内容を示す信号毎に、コード信号Ｂｓｎ１，Ｂｓｎ２を格納するようにしてもよい。これにより、コード信号Ｂｓｎ１，Ｂｓｎ２を減らすことができ、より符号化効率を改善することができる。
【０１６５】
以上のように本変形例によれば、画像符号化信号Ｂｓ３にコード信号Ｂｓｎ１の情報を格納して差分ベクトル符号化信号Ｂｓｄを省くことで、情報量を削減することができ、符号化効率を向上することができる。
【０１６６】
（実施の形態６）
以下、本発明の第６の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【０１６７】
図１８は、本実施の形態における動画像復号化装置５５０Ｂの構成を示すブロック図である。
本実施の形態の動画像復号化装置５５０Ｂは、実施の形態５の変形例に係る動画像符号化装置５５０Ａにより符号化された動画像を復号化するものであって、可変長復号化部５３６と、動きベクトルスケーリング部５３７と、動き補償部５３３と、画像復号化部５３５と、マルチフレームバッファ５３１と、加算器５３９，５４０と、スイッチ５４１とを備えている。
【０１６８】
ここで本実施の形態における画像復号化部５３５と動き補償部５３３とマルチフレームバッファ５３１と加算器５３９，５４０とは、従来例に示す動画像復号化装置９００における画像復号化部９０５と動き補償部９０３とマルチフレームバッファ９０１と加算器９０９，９１０とそれぞれ同様の機能及び構成を有するため説明を省略する。
【０１６９】
本実施の形態における可変長復号化部５３６は、画像符号化信号Ｂｓ３を取得して可変長復号を行い、コードＮｕが「１」を示しているときには、そのコードＮｕと残差符号化信号Ｅｒと動きベクトルＭＶ１とを出力し、コードＮｕが「２」を示しているときには、そのコードＮｕと残差符号化信号Ｅｒと動きベクトルＭＶ１と差分ベクトルＭＶｄとを出力する。
【０１７０】
スイッチ５４１は、可変長復号化部５３６と加算器５４０との間を、可変長復号化部５３６からのコードＮｕに応じて開閉する。即ち、コードＮｕが「１」を示すときにはスイッチ５４１は開いて、可変長復号化部５３６から加算器５４０に差分ベクトルＭＶｄが出力されるのを禁止し、コードＮｕが「２」を示すときにはスイッチ５４１は閉じて、可変長復号化部５３６から加算器５４０への差分ベクトルＭＶｄの出力を許可する。
【０１７１】
その結果、スイッチ５４１が開いたときには、加算器４０は、動きベクトルスケーリング部５３７で生成された動きベクトルＭＶｓのみを取得するので、その動きベクトルＭＶｓを動きベクトルＭＶ２として動き補償部５３３に出力する。また、スイッチ５４１が閉じたときには、加算器４０は、動きベクトルスケーリング部５３７で生成された動きベクトルＭＶｓと、可変長復号化部５３６から出力される差分ベクトルＭＶｄとを取得するので、その動きベクトルＭＶｓに差分ベクトルＭＶｄを加算して、その加算結果を動きベクトルＭＶ２として動き補償部５３３に出力する。
【０１７２】
これにより、本実施の形態では、画像復号化信号Ｂｓ３に差分ベクトルＭＶｄを含む情報が含まれていれば、その差分ベクトルＭＶｄに、スケーリング処理された動きベクトルＭＶｓを加算することで、動きベクトルＭＶ２が生成され、画像復号化信号Ｂｓ３に差分ベクトルＭＶｄを含む情報が含まれていなければ、スケーリング処理された動きベクトルＭＶｓを動きベクトルＭＶ２とすることで、動きベクトルＭＶ２が生成される。
【０１７３】
従って本実施の形態によれば、実施の形態５の変形例に係る動画像符号化装置５５０Ａで符号化された動きベクトルに関する情報を正しく復号化し、その結果、動画像を正確に復号化することができる。
【０１７４】
（実施の形態７）
ところで、従来例で示した動画像符号化装置８００の動きベクトル符号化方法では、動きベクトルＭＶ１に対してスケーリングを行うが、スケーリングを行うために必要な表示時間差Ｔ１，Ｔ２に関する情報がマルチフレームバッファ８０１から取得できない場合があり、このような場合には動きベクトルを符号化できないといった問題がある。また、マルチフレームバッファ８０１から表示時間差Ｔ１，Ｔ２に関する情報を取得できたとしても、表示時間差Ｔ１，Ｔ２のうちの少なくとも一方が非常に大きいときには、スケーリングを行うことに意味を成さず、動きベクトルの符号化効率が低下してしまうといった問題がある。
【０１７５】
つまり、マルチフレームバッファ８００には短時間メモリと長時間メモリの２種類の領域が確保されており、長時間メモリには、表示時間に関する情報が省かれた状態でフレームが記録されている場合があり、このようなフレームが参照フレームとして読み出されたときには、スケーリングを行うことができない。また、長時間メモリには、符号化対象フレームと表示時間差が非常に大きいフレームが記録されている場合があり、このようなフレームが参照フレームとして読み出されたときには、意味を成さないスケーリングが行われてしまうのである。
【０１７６】
そこで、本発明の第７の実施の形態における動画像符号化装置は、意味を成さないスケーリングを避けて動きベクトルを符号化効率が高まるように符号化する点に特徴がある。
【０１７７】
以下、本発明の第７の実施の形態における動画像符号化装置について図面を参照しながら説明する。
図１９は、本実施の形態における動画像符号化装置１００の構成を示すブロック図である。
【０１７８】
本実施の形態の動画像符号化装置１００は、マルチフレームバッファ１０１と、動き推定部１０２と、動き補償部１０３と、画像符号化部１０４と、画像復号部１０５と、可変長符号化部１０６と、動きベクトルスケーリング部１０７と、加算器１０８及び減算器１０９，１１０と、スイッチ１１１，１１２，１１３と、判定部１１４とを備える。
【０１７９】
この動画像符号化装置１００は、画像信号Ｉｍｇにより示される符号化対象フレームＴｆの各ブロックを符号化するときには、２枚の参照フレームＲｆ１，Ｒｆ２を参照して、これらの参照フレームＲｆ１，Ｒｆ２に対する符号化対象ブロックの動きベクトルＭＶ１，ＭＶ２に関する情報と、参照フレームＲｆ１，Ｒｆ２及び動きベクトルＭＶ１，ＭＶ２から予測される予測画像に基づく情報とを符号化する。
【０１８０】
ここで、本実施の形態においても実施の形態１と同様、参照フレームＲｆ１，Ｒｆ２はそれぞれ、符号化対象フレームＴｆに対して時間的に前方にあっても後方にあっても良い。
【０１８１】
図２中の（ａ）に示すように、動画像符号化装置１００は、符号化対象フレームＴｆの前方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良く、図２中の（ｂ）に示すように、符号化対象フレームＴｆの後方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良く、さらに、図２中の（ｃ）に示すように、符号化対象フレームＴｆの前方に位置する１つのフレームを参照フレームＲｆ２として参照し、符号化対象フレームＴｆの後方に位置する１つのフレームを参照フレームＲｆ１として参照しても良い。
【０１８２】
スイッチ１１１，１１２は、符号化対象ブロック毎に、参照される２つのフレーム（参照フレームＲｆ１，Ｒｆ２）に応じて、その接点０，１を切り換える。例えば、参照フレームＲｆ１が参照されるときには、スイッチ１１１，１１２は、それぞれ接点０を動き推定部１０２に接続し、参照フレームＲｆ２が参照されるときには、スイッチ１１１，１１２は、それぞれ接点１を動き推定部１０２に接続する。
【０１８３】
動き推定部１０２は、マルチフレームバッファ１０１から読み出された参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、画像信号Ｉｍｇにより示される符号化対象フレームＴｆ中のブロックに対する動きベクトルＭＶ１，ＭＶ２を、実施の形態１の動き推定部３０２、又は実施の形態３の動き推定部４０２、又は実施の形態５の動き推定部５０２と同様の方法で検出する。
【０１８４】
動き補償部１０３は、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ１０１から取り出す。そして動き補償部１０３は、これらのブロックに基づいて画素の補間処理を行って予測画像信号Ｐｒｅを作成しこれを出力する。
【０１８５】
減算器１０９は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算して残差信号Ｒｅｓを出力する。
画像符号化部１０４は、残差信号Ｒｅｓを取得してＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号Ｅｒを出力する。
【０１８６】
画像復号部１０５は、残差符号化信号Ｅｒを取得して、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
加算器１０８は、残差復号信号Ｄｒと予測画像信号Ｐｒｅを加算して再構成画像信号Ｒｃを出力する。
【０１８７】
マルチフレームバッファ１０１は、再構成画像信号Ｒｃのうち、フレーム間予測で参照される可能性がある信号を格納する。
図２０は、マルチフレームバッファ１０１における上記信号を格納するメモリの概略構成を示す構成図である。
【０１８８】
マルチフレームバッファ１０１には、図２０に示すように、短時間メモリ１０１ｓと長時間メモリ１０１ｌとが確保され、再構成画像信号Ｒｃにより示されるフレームは短時間メモリ１０１ｓと長時間メモリ１０１ｌとに適宜分別して保存される。
【０１８９】
短時間メモリ１０１ｓは、先入れ先出し方式（ＦＩＦＯ）のメモリであり、新規の信号が短時間メモリ１０１ｓに記録されると、記録された時刻が古い順から記録内容が破棄され、短時間メモリ１０１ｓには常に最新の一定フレーム数の画像が保存される。また、この短時間メモリ１０１ｓに、再構成画像信号Ｒｃの示すフレームが記録されるときには、そのフレームの表示時刻に関する情報と共に記録される。
【０１９０】
長時間メモリ１０１ｌは、ランダムアクセス方式のメモリであり、任意の領域にフレームを格納したり、任意の領域に格納されたフレームの読み出しが可能な構成を有する。この長時間メモリ１０１ｌは、背景画像や、シーン挿入前の画像など、主に長時間に渡って参照される画像を保存し、短時間メモリ１０１ｓよりも長い時間分のフレームを保存する。また、長時間メモリ１０１ｌへのフレームの保存は、短時間メモリ１０１ｓに保存されたものが長時間メモリ１０１ｌに移動するという形式で行われる。
【０１９１】
さらに、この長時間メモリ１０１ｌに、再構成画像信号Ｒｃの示すフレームが記録されるときには、そのフレームの表示時刻に関する情報と共に記録されたり、その時刻に関する情報が省かれた状態で記録されたりする。
【０１９２】
また本実施の形態のマルチフレームバッファ１０１は通知部１１５を備えており、この通知部１１５は、スイッチ１１１を介して動き推定部１０２によって読み出される参照フレームＲｆ１，Ｒｆ２が短時間メモリ１０１ｓから読み出されたものか、長時間メモリ１０１ｌから読み出されたものかを通知する内容の通知信号Ｉｎｆを出力する。
【０１９３】
図２１は、マルチフレームバッファ１０１に保存されたフレームの状態を示す状態図である。
短時間メモリ１０１ｓには、時間の経過ととともに、フレームｆｓ１、フレームｆｓ２、フレームｆｓ３…が順に保存され、長時間メモリ１０１ｌには、短時間メモリ１０１ｓに保存されたフレームのうち、後に参照される可能性のあるフレームｆｌ１とフレームｆｌ２が順に保存されている。
【０１９４】
ここでマルチフレームバッファ１０１から、図２１中の（ａ）に示すように、短時間メモリ１０１ｓに保存されているフレームｆｓ２が参照フレームＲｆ１として読み出されると、マルチフレームバッファ１０１の通知部１１５は、短時間メモリ１０１ｓからフレームが読み出されたことを知らせる内容の通知信号Ｉｎｆを出力する。また、マルチフレームバッファ１０１から、長時間メモリ１０１ｌに保存されているフレームｆｌ２が参照フレームＲｆ２として読み出されると、マルチフレームバッファ１０１の通知部１１５は、長時間メモリ１０１ｌからフレームが読み出されたことを知らせる内容の通知信号Ｉｎｆを出力する。
【０１９５】
これと同様、図２１の（ｂ）に示すように、マルチフレームバッファ１０１から、長時間メモリ１０１ｌに保存されているフレームｆｌ１，ｆｌ２がそれぞれ参照フレームＲｆ１，Ｒｆ２として読み出されると、マルチフレームバッファ１０１の通知部１１５は、フレームｆｌ１，ｆｌ２が読み出されるごとに、長時間メモリ１０１ｌからフレームが読み出されたことを知らせる内容の通知信号Ｉｎｆを出力する。
【０１９６】
判定部１１４は、通知部１１５からの通知信号Ｉｎｆを取得して、符号化対象ブロックごとに参照される参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたものか否かを判定する。そして、判定部１１４は、その判定結果に基づいてスイッチ１１３の接点の切り換えを指示する切換信号ｓｉ１を出力する。
【０１９７】
スイッチ１１３は、上述の切換信号ｓｉ１に応じて接点を切り換えることで、動き推定部１０２の動きベクトルＭＶ１の出力先を、動きベクトルスケーリング部１０７と減算器１１０とに切り換える。
【０１９８】
即ち上述の判定部１１４は、参照フレームＲｆ１，Ｒｆ２が短時間メモリ１０１ｓから読み出されたものであると判定したときには、スイッチ１１３の出力先が動きベクトルスケーリング部１０７になるように指示する切換信号ｓｉ１を出力し、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたものであると判定したときには、スイッチ１１３の出力先が減算器１１０になるように指示する切換信号ｓｉ１を出力する。
【０１９９】
動きベクトルスケーリング部１０７は、図３５を参照して説明した動作と同様、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１をスケーリングし、その結果生成された動きベクトルＭＶｓを出力する。
【０２００】
減算器１１０は、スイッチ１１３の出力先が動きベクトルスケーリング部１０７に設定されているときには、動き推定部１０２から取得された動きベクトルＭＶ２と、動きベクトルスケーリング部１０７から取得された動きベクトルＭＶｓとの差分を求め、その結果を示す差分ベクトルＭＶｄを出力する。
【０２０１】
また、減算器１１０は、自らがスイッチ１１３の出力先として設定されているときには、動きベクトルスケーリング部１０７からの動きベクトルＭＶｓの代わりに、動き推定部１０２からスイッチ１１３を介して取得された動きベクトルＭＶ１を用い、動きベクトルＭＶ２と動きベクトルＭＶ１との差分を求めて、その差分結果を差分ベクトルＭＶｄとして出力する。
【０２０２】
図２２は、差分ベクトルＭＶｄの作成される様子を説明するための説明図である。
この図２２に示すように、減算器１１０は、動きベクトルＭＶｓの代わりに動きベクトルＭＶ１を取得したときには、動きベクトルＭＶ２と動きベクトルＭＶ１との差分を求めて差分ベクトルＭＶｄを作成する。
【０２０３】
可変長符号化部１０６は、この差分ベクトルＭＶｄと動きベクトルＭＶ１と残差符号化信号Ｅｒとを可変長符号化し、これらの符号化された結果を画像符号化信号Ｂｓとして出力する。
【０２０４】
このような本実施の形態における動画像符号化装置１００の動きベクトルの符号化の一連の動作について、図２３を参照して説明する。
図２３は、動きベクトルの符号化の一連の動作を示すフロー図である。
【０２０５】
まず、動画像符号化装置１００の判定部１１４は、通知信号Ｉｎｆに基づいて参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたか否かを判定する（ステップＳ１０１）。
【０２０６】
そして、判定部１１４は、参照フレームＲｆ１，Ｒｆ２の２つのフレームが短時間メモリ１０１ｓから読み出されたと判定したときには（ステップＳ１０１のＮ）、スイッチ１１３の出力先が動きベクトルスケーリング部１０７となるようにスイッチ１１３の接点を切り換えさせる。その結果、動きベクトルスケーリング部１０７は、動きベクトルＭＶ１を取得してこれをスケーリングすることで動きベクトルＭＶｓを作成する（ステップＳ１０２）。そして、減算器１１０は、その作成された動きベクトルＭＶｓを取得する。
【０２０７】
一方、判定部１１４は、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたと判定したときには（ステップＳ１０１のＹ）、スイッチ１１３の出力先が減算器１１０となるようにスイッチ１１３の接点を切り換えさせる。その結果、減算器１１０は、スイッチ１１３を介して動き推定部１０２から取得された動きベクトルＭＶ１を、動きベクトルスケーリング部１０７から出力された動きベクトルＭＶｓとして扱う（ステップＳ１０３）。
【０２０８】
次に、減算器１１０は、動きベクトルＭＶ２と、上述の動きベクトルＭＶｓとの差分を求め、その差分結果を示す差分ベクトルＭＶｄを可変長符号化部１０６に出力する（ステップＳ１０４）。
【０２０９】
そして、可変長符号化部１０６は、動き推定部１０２から取得された動きベクトルＭＶ１を可変長符号化し（ステップＳ１０５）、減算器１１０から取得された差分ベクトルＭＶｄを可変長符号化する（ステップＳ１０６）。
【０２１０】
このように本実施の形態では、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたときには、動きベクトルスケーリング部１０７にスケーリングさせないため、フレームの表示時間に関する情報が長時間メモリ１０１ｌに記録されている場合であっても、その情報を利用した意味を成さないスケーリングの実行を省き、動きベクトルの符号化効率の向上を図ることができる。また、フレームの表示時間に関する情報が長時間メモリ１０１ｌに記録されていない場合には、無理なスケーリングの実行を省き、動きベクトルの符号化効率の向上を図ることができる。
【０２１１】
なお、本実施の形態では、スイッチ１１３の切り換えにより動きベクトルスケーリング部１０７に対してスケーリングを行わせたり、スケーリングを行わせないようにしたが、スイッチ１１３を備えずに図３３に示すような構成として、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたときには、常に動きベクトルスケーリング部１０７にスケーリングを行わないようにさせても良い。
【０２１２】
また、本実施の形態では、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたときには、動きベクトルＭＶ１と差分ベクトルＭＶｄを符号化したが、差分ベクトルＭＶｄを求めずに動きベクトルＭＶ１と動きベクトルＭＶ２を符号化しても良い。これは、２つの参照フレームＲｆ１，Ｒｆ２のうち少なくとも１つが長時間メモリ１０１ｌから読み出された場合には差分ベクトルＭＶｄを符号化するのではなく、動きベクトルＭＶ２を符号化することを意味する。この場合にはさらに、符号化対象ブロックの周辺にある周辺ブロックから動きベクトルＭＶ１，ＭＶ２の予測値を求めて動きベクトルＭＶ１，ＭＶ２のそれぞれとの予測値の差分を計算し、その差分を符号化しても良い。
【０２１３】
また、本実施の形態では、通知部１１５をマルチフレームバッファ１０１に備えたが、マルチフレームバッファ１０１以外の他の構成要素に備えても良く、通知部１１５を単独で備えても良い。
【０２１４】
（実施の形態８）
以下、本発明の第８の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【０２１５】
図２４は、本実施の形態における動画像復号化装置２００の構成を示すブロック図である。
本実施の形態の動画像復号化装置２００は、実施の形態７の動画像符号化装置１００により符号化された動画像を復号化するものであって、可変長復号化部２０６と、動きベクトルスケーリング部２０７と、動き補償部２０３と、画像復号化部２０４と、マルチフレームバッファ２０１と、判定部２１４と、加算器２０９，２１０と、スイッチ２１３とを備えている。
【０２１６】
可変長復号化部２０６は、画像符号化信号Ｂｓを取得して可変長復号を行い、残差符号化信号Ｅｒと、動きベクトルＭＶ１と、差分ベクトルＭＶｄとを出力する。
【０２１７】
画像復号化部２０４は、残差符号化信号Ｅｒを取得して、逆量子化や逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
動き補償部２０３は、実施の形態１の動き補償部１０３と同様、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ２０１から取り出す。そして動き補償部２０３は、これらのブロックに基づいて画素の補間処理を行って予測画像信号Ｐｒｅを作成しこれを出力する。
【０２１８】
加算器２０９は、動き補償部２０３からの予測画像信号Ｐｒｅと、画像復号化部２０４からの残差復号信号Ｄｒとを加算し、その結果を復号画像信号Ｄｉとして出力する。
【０２１９】
動きベクトルスケーリング部２０７は、実施の形態７の動きベクトルスケーリング部１０７と同様、可変長復号化部２０６から出力された動きベクトルＭＶ１を取得すると、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１に対してスケーリングを行い、その結果生成された動きベクトルＭＶｓを出力する。
【０２２０】
マルチフレームバッファ２０１は、復号画像信号Ｄｉのうち、フレーム間予測で参照される可能性がある信号を格納する。また、このマルチフレームバッファ２０１には、実施の形態７のマルチフレームバッファ１０１の短時間メモリ１０１ｓ及び長時間メモリ１０１ｌと同様の機能及び構成を有する、短時間メモリ２０１ｓと長時間メモリ２０１ｌとが確保されている。つまり、復号画像信号Ｄｉが示すフレームは短時間メモリ２０１ｓと長時間メモリ２０１ｌとに適宜分別して保存される。
【０２２１】
さらに、このマルチフレームバッファ２０１は、実施の形態７のマルチバッファフレーム１０１の通知部１１５と同様の機能及び構成を有する通知部２１５を備えている。即ち、この通知部２１５は、動き補償部２０３によって読み出される参照フレームＲｆ１，Ｒｆ２が短時間メモリ２０１ｓから読み出されたものか、長時間メモリ２０１ｌから読み出されたものかを通知する内容の通知信号Ｉｎｆを出力する。
【０２２２】
判定部２１４は、実施の形態７の判定部１１４と同様の機能及び構成を有し、通知部２１５からの通知信号Ｉｎｆを取得して、符号化対象ブロックごとに参照される参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたものか否かを判定する。そして、判定部２１４は、その判定結果に基づいてスイッチ２１３の接点の切り換えを指示する切換信号ｓｉ１を出力する。
【０２２３】
スイッチ２１３は、上述の切換信号ｓｉ１に応じて接点を切り換えることで、可変長復号化部２０６から取得された動きベクトルＭＶ１の出力先を、動きベクトルスケーリング部２０７と加算器２１０とに切り換える。
【０２２４】
即ち上述の判定部２１４は、参照フレームＲｆ１，Ｒｆ２が短時間メモリ２０１ｓから読み出されたものであると判定したときには、スイッチ２１３の出力先が動きベクトルスケーリング部２０７になるように指示する切換信号ｓｉ１を出力し、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたものであると判定したときには、スイッチ２１３の出力先が加算器２１０になるように指示する切換信号ｓｉ１を出力する。
【０２２５】
加算器２１０は、スイッチ２１３の出力先が動きベクトルスケーリング部２０７に設定されているときには、可変長復号化部２０６から取得された動きベクトルＭＶｄと、動きベクトルスケーリング部２０７から取得された動きベクトルＭＶｓとを加算し、その結果を示す動きベクトルＭＶ２を動き補償部２０３に対して出力する。
【０２２６】
また、加算器２１０は、自らがスイッチ２１３の出力先として設定されているときには、動きベクトルスケーリング部２０７からの動きベクトルＭＶｓの代わりに、可変長復号化部２０６からスイッチ２１３を介して取得された動きベクトルＭＶ１を用い、動きベクトルＭＶｄと動きベクトルＭＶ１とを加算し、その結果を動きベクトルＭＶ２として動き補償部２０３に対して出力する。
【０２２７】
このような本実施の形態における動画像復号化装置２００の動きベクトルの復号化の一連の動作について、図２５を参照して説明する。
図２５は、動きベクトルの復号化の一連の動作を示すフロー図である。
【０２２８】
まず、動画像復号化装置２００の可変長復号化部２０６は、画像符号化信号Ｂｓを取得して可変長復号することで、動きベクトルＭＶ１を復号化するとともに（ステップＳ２０１）、差分ベクトルＭＶｄを復号化する（ステップＳ２０２）。
【０２２９】
次に、判定部２１４は、通知信号Ｉｎｆに基づいて参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたか否かを判別する（ステップＳ２０３）。
【０２３０】
そして、判定部２１４は、参照フレームＲｆ１，Ｒｆ２の２つのフレームが短時間メモリ２０１ｓから読み出されたと判定したときには（ステップＳ２０３のＮ）、スイッチ２１３の出力先が動きベクトルスケーリング部２０７となるようにスイッチ２１３の接点を切り換えさせる。その結果、動きベクトルスケーリング部２０７は、動きベクトルＭＶ１を取得してこれに対してスケーリングを行うことで動きベクトルＭＶｓを作成する（ステップＳ２０４）。そして、加算器２１０は、その作成された動きベクトルＭＶｓを取得する。
【０２３１】
一方、判定部２１４は、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたと判定したときには（ステップＳ２０３のＹ）、スイッチ２１３の出力先が加算器２１０となるようにスイッチ２１３の接点を切り換えさせる。その結果、加算器２１０は、スイッチ２１３を介して可変長復号化部２０６から取得された動きベクトルＭＶ１を、動きベクトルスケーリング部１０７から出力された動きベクトルＭＶｓとして扱う（ステップＳ２０５）。
【０２３２】
そして、加算器２１０は、差分ベクトルＭＶｄに動きベクトルＭＶｓを加算し、その加算結果を示す動きベクトルＭＶ２を動き補償部２０３に出力する（ステップＳ２０６）。
【０２３３】
このように本実施の形態では、実施の形態７と同様、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたときには、動きベクトルスケーリング部２０７にスケーリングをさせないため、フレームの表示時間に関する情報が長時間メモリ２０１ｌに記録されている場合であっても、その情報を利用した意味を持たないスケーリングの実行を省き、動きベクトルの復号化効率の向上を図ることができる。また、フレームの表示時間に関する情報が長時間メモリ２０１ｌに記録されていない場合には、無理なスケーリングの実行を省き、動きベクトルの復号化効率の向上を図ることができる。
【０２３４】
なお、本実施の形態では、スイッチ２１３の切り換えにより動きベクトルスケーリング部２０７に対してスケーリングを行わせたり、スケーリングを行わせないようにしたが、スイッチ２１３を備えずに、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたときには、常に動きベクトルスケーリング部２０７にスケーリングを行わせないようにしても良い。
【０２３５】
また、本実施の形態では、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたときには、動きベクトルＭＶ１に差分ベクトルＭＶｄを加算して動きベクトルＭＶ２を導出したが、加算せずに動きベクトルＭＶ２を直接復号化しても良い。これは、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出された場合には差分ベクトルＭＶｄを復号化するのではなく、動きベクトルＭＶ２を復号化することを意味する。この場合にはさらに、動きベクトルＭＶ１，ＭＶ２のそれぞれが、復号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１，ＭＶ２の予測値を差し引いて符号化されているときには、その符号化された動きベクトルＭＶ１，ＭＶ２と上述の予測値を加算して、動きベクトルＭＶ１，ＭＶ２を復号化しても良い。
【０２３６】
また、本実施の形態では、通知部２１５をマルチフレームバッファ２０１に備えたが、マルチフレームバッファ２０１以外の他の構成要素に備えても良く、通知部２１５を単独で備えても良い。
【０２３７】
なお、実施の形態１〜８で説明したフレームは、フィールドであっても良い。また、フレームとフィールドを総称してピクチャと呼ぶ。
以上のように、本発明に係る動きベクトル検出方法と、この方法を用いた動きベクトル符号化方法と、動きベクトル復号化方法と、これらの方法を用いた装置について実施の形態１〜８を用いて説明したが、本発明は実施の形態１〜８に限定されるものではなく、他の形態によっても実現されるのは言うまでもない。
【０２３８】
（実施の形態９）
さらに、上記各実施の形態で示した動きベクトル検出方法及び動きベクトル符号化方法並びに動きベクトル復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０２３９】
図２６は、実施の形態１〜８の動きベクトル検出方法及び動きベクトル符号化方法並びに動きベクトル復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
【０２４０】
図２６中の（ｂ）は、フレキシブルディスクＦＤの正面からみた外観、断面構造、及びディスク本体ＦＤ１を示し、図２６中の（ａ）は、記録媒体の本体であるディスク本体ＦＤ１の物理フォーマットの例を示している。
【０２４１】
ディスク本体ＦＤ１はケースＦ内に内蔵され、ディスク本体ＦＤ１の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記ディスク本体ＦＤ１上に割り当てられた領域に、上記プログラムとしての動きベクトル符号化方法や動きベクトル復号化方法が記録されている。
【０２４２】
また、図２６中の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓが上記プログラムとしての動きベクトル符号化方法または動きベクトル復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記動きベクトル符号化方法又は動きベクトル復号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムがフレキシブルディスクＦＤから読み出され、コンピュータシステムＣｓに転送される。
【０２４３】
なお、上記説明では、記録媒体としてフレキシブルディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０２４４】
（実施の形態１０）
さらにここで、上記実施の形態で示した動きベクトル検出方法及び動きベクトル符号化方法並びに動きベクトル復号化方法の応用例とそれを用いたシステムを説明する。
【０２４５】
図２７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０２４６】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０２４７】
しかし、コンテンツ供給システムｅｘ１００は図２７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０２４８】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０２４９】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０２５０】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０２５１】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０２５２】
図２８は、上記実施の形態で説明した動きベクトル検出方法及び動きベクトル符号化方法と動きベクトル復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０２５３】
さらに、携帯電話ｅｘ１１５について図２９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０２５４】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０２５５】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０２５６】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０２５７】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０２５８】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０２５９】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０２６０】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０２６１】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０２６２】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０２６３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図３０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０２６４】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０２６５】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０２６６】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０２６７】
このように、上記実施の形態で示した動きベクトル検出方法、符号化方法、復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０２６８】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０２６９】
【発明の効果】
以上の説明から明らかなように、本発明に係る動きベクトル検出方法によれば、動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法であって、前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間ステップと、前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出ステップと、前記評価値に基づいて、前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補の中から１つを選択するとともに、前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補の中から１つを選択する選択ステップと、選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出ステップとを含むことを特徴とする。例えば、前記選択ステップでは、前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する。
【０２７０】
これにより、画素値の補間処理を行った結果に基づいて評価値が算出されるため、フェードが生じる場合であってもその影響による評価値の誤差の増加を防止して、最適な動きベクトルを検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図２】同上の参照フレームと符号化対象フレームの時間的位置関係を示すフレーム配置図である。
【図３】同上の動き推定部の構成を示すブロック図である。
【図４】同上の第１動きベクトル候補及び第２動きベクトル候補の生成方法を説明するための説明図である。
【図５】同上の画像符号化信号のフォーマットの概念を示す概念図である。
【図６】同上の動画像符号化装置が動きベクトルを検出して符号化するまでの動作を示すフロー図である。
【図７】本発明の第２の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図８】本発明の第３の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図９】同上の動き推定部の構成を示すブロック図である。
【図１０】同上の第１動きベクトル候補及び第２動きベクトル候補の生成方法を説明するための説明図である。
【図１１】同上の画像符号化信号のフォーマットの概念を示す概念図である。
【図１２】本発明の第４の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図１３】本発明の第５の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図１４】同上の動き推定部の構成を示すブロック図である。
【図１５】第１動きベクトル候補及び動きベクトル並びに第２動きベクトル候補の生成方法を説明するための説明図である。
【図１６】同上の変形例に係る動画像符号化装置の構成を示すブロック図である。
【図１７】同上の変形例に係る動画像符号化装置の画像符号化信号のフォーマットの概念を示す概念図である。
【図１８】本発明の第６の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図１９】本発明の第７の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図２０】同上のマルチフレームバッファの内部のメモリの概略構成を示す構成図である。
【図２１】同上のマルチフレームバッファに保存されたフレームの状態を示す状態図である。
【図２２】同上の差分ベクトルの作成される様子を説明するための説明図である。
【図２３】同上の動きベクトルの符号化の一連の動作を示すフロー図である。
【図２４】本発明の第８の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図２５】同上の動きベクトルの復号化の一連の動作を示すフロー図である。
【図２６】本発明の第９の実施の形態における記録媒体についての説明図である。
【図２７】本発明の第１０の実施の形態におけるコンテンツ供給システムの全体構成を示すブロック図である。
【図２８】同上の携帯電話の正面図である。
【図２９】同上の携帯電話のブロック図である。
【図３０】同上のディジタル放送用システムの全体構成を示すブロック図である。
【図３１】動きベクトルを説明するための説明図である。
【図３２】２枚のフレームを用いて予測画像を生成する様子を説明するための説明図である。
【図３３】従来例を示す動画像符号化装置の構成を示すブロック図である。
【図３４】同上の動き推定部の構成を示すブロック図である。
【図３５】同上の動きベクトルを検出する様子を説明するための説明図である。
【図３６】フェードによる画素値の変化を説明するための説明図である。
【図３７】従来例を示す動画像符号化装置が出力する画像符号化信号のフォーマットの概念を示す概念図である。
【図３８】従来例を示す動画像復号化装置の構成を示すブロック図である。
【符号の説明】
３０１ マルチフレームバッファ
３０２ 動き推定部
３０３ 動き補償部
３０４ 画像符号化部
３０５ 画像復号部
３０６ 可変長符号化部
３０８ 加算機
３０９ 減算器
Ｂｓ１ 画像符号化信号
Ｄｒ 残差復号信号
Ｅｒ 残差符号化信号
Ｉｍｇ 画像信号
ＭＶ１，ＭＶ２ 動きベクトル
Ｐｒｅ 予測画像信号
Ｒｃ 再構成画像信号
Ｒｆ１，Ｒｆ２ 参照フレーム
【発明の属する技術分野】
本発明は、動画像の符号化を行う際の、画像内の領域の動きを示す動きベクトルを検出する動きベクトル検出方法に関する。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報をディジタル化することにより統一的に扱うことが一般的になってきた。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、又はＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある（例えば、非特許文献１および非特許文献２参照。）。
【０００３】
これらの標準規格の動画像符号化方式に共通の技術として動き補償を伴うフレーム間予測がある。これらの動画像符号化方式の動き補償では、入力画像のフレームを所定のサイズの矩形（以降、ブロックと呼ぶ）に分割し、各ブロック毎にフレーム間の動きを示す動きベクトルから予測画素を生成する。
【０００４】
図３１は、動きベクトルを説明するための説明図である。
例えば、ビデオカメラで動きのある被写体を撮影した場合、各フレーム毎に被写体の写っているブロックの位置は移動する。つまり、動きのある被写体がフレームＲｆのブロックＢに含まれ、フレームＴｆではその被写体がブロックＢ０に含まれていれば、ブロックＢ０はブロックＢから変位することとなり、ブロックＢ０に対するその変位が動きベクトルＭＶとして表される。
【０００５】
そして、上述の動き補償では各ブロックに対して動きベクトルＭＶが検出され、その検出は、一般に、参照元となるフレーム（図３１ではフレームＲｆ）の中から、検出の対象となるブロック（図３１ではブロックＢ０）と画素値が近いブロックを探すことで行われる。
【０００６】
また、現在、ＩＴＵ−Ｔで標準化中のＨ．２６Ｌでは、符号化対象フレームの直前２枚のフレームを参照フレームとして画素補間することで予測画素を得る方法が検討されている。ここで、符号化対象フレームより表示時刻が前の２枚のフレームを参照して画素補間により予測画像（予測画素）を生成する予測方法を、前方補間予測という。
【０００７】
図３２は、２枚のフレームを用いて予測画像を生成する様子を説明するための説明図である。
この図３２に示すように、符号化対象フレームＴｆのブロックＢ０の予測画像を生成するときには、例えば、表示時刻から見て、符号化対象フレームＴｆの直前にあるフレームＲｆ１と、符号化対象フレームＴｆの２枚前にある参照フレームＲｆ２とが参照フレームとして用いられる。即ち、これらの参照フレームＲｆ１，Ｒｆ２の中からブロックＢ０と画素値が近いブロックＢ１，Ｂ２が探し出され、そのブロックＢ１，Ｂ２とブロックＢ０の位置の変位から動きベクトルＭＶ１，ＭＶ２が検出される。
【０００８】
そして、動きベクトルＭＶ１で示される参照フレームＲｆ１のブロックＢ１と、動きベクトルＭＶ２で示される参照フレームＲｆ２のブロックＢ２とからブロックＢ０の予測画像が生成される。つまり、ブロックＢ１の画素値とブロックＢ２の画素値とを用いて、ブロックＢ０に対して画素値の補間を行うことによって上記予測画像が生成される。このような画素値の補間方法には、例えば、平均値や外挿補間などがある。外挿補間はフェードなど時刻経過に対し画素値が線形に変化していく画面効果の予測に高い効果がある。
【０００９】
また、ブロックＢ０は上述のように生成された予測画像を用いて符号化される。
図３３は、上記従来の動画像符号化方式により動画像を符号化する動画像符号化装置８００の構成を示すブロック図である。
【００１０】
この動画像符号化装置８００は、マルチフレームバッファ８０１と、動き推定部８０２と、動き補償部８０３と、画像符号化部８０４と、画像復号部８０５と、可変長符号化部８０６と、動きベクトルスケーリング部８０７と、加算器８０８と、減算器８０９，８１０と、スイッチ８１１，８１２とを備え、画像信号Ｉｍｇにより示されるフレームをブロックに分割し、そのブロック毎に処理を行う。
【００１１】
減算器８０９は、動画像符号化装置８００に入力された画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算し、残差信号Ｒｅｓを出力する。
画像符号化部８０４は、残差信号Ｒｅｓを取得してＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号Ｅｒを出力する。
【００１２】
画像復号部８０５は、残差符号化信号Ｅｒを取得して逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。加算器８０８は、残差復号信号Ｄｒと予測画像信号Ｐｒｅを加算し、再構成画像信号Ｒｃを出力する。また、再構成画像信号Ｒｃのうち、以降のフレーム間予測で参照される可能性がある信号は、マルチフレームバッファ８０１に格納される。
【００１３】
図３４は、動き推定部８０２の構成を示すブロック図である。
動き推定部８０２は、ブロック毎の動きベクトルを検出するものであって、動きベクトル候補生成部８２１と画素取得部８２２と減算器８２３と動きベクトル選択部８２４とを備えている。
【００１４】
動きベクトル候補生成部８２１は、符号化対象となるブロックの動きベクトルＭＶの候補として、動きベクトル候補ＭＶＣを生成する。ここで、動きベクトル候補生成部８２１は、所定の動きベクトル検出範囲内から幾つかの動きベクトル候補ＭＶＣを順次生成する。
【００１５】
画素取得部８２２は、動きベクトル候補ＭＶＣが示す参照フレームＲｆ中の１ブロックを取得して、予測ブロックＰＢとして減算器８２３に出力する。
減算器８２３は、画像信号Ｉｍｇの符号化対象となるブロックと、予測ブロックＰＢとの画素値の差分を計算し、予測誤差ブロックＲＢとして動きベクトル選択部８２４に出力する。
【００１６】
動きベクトル選択部８２４は、動きベクトル候補生成部８２１で生成された各動きベクトル候補ＭＶＣに対する予測誤差ブロックＲＢを取得すると、これらの予測誤差ブロックＲＢのそれぞれに対して、そのブロック内の画素値からＳＡＤ（予測誤差値の絶対値和）やＳＳＤ（予測誤差値の２乗和）などの予測誤差評価値を算出する。そして、動きベクトル選択部８２４は、その予測誤差評価値が最小となるときの動きベクトル候補ＭＶＣを選択し、その選択した動きベクトル候補ＭＶＣを動きベクトルＭＶとして出力する。
【００１７】
このような動きベクトル推定部８０２は、前方補間予測時には、上述のような処理動作を繰り返し行うことで、符号化対象ブロックに対して２つの参照フレームＲｆ１，Ｒｆ２に基づく動きベクトルＭＶ１，ＭＶ２を検出する。
【００１８】
図３５は、動きベクトルＭＶ１，ＭＶ２を検出する様子を説明するための説明図である。
動き推定部８０２は、スイッチ８１１，８１２の接点が接点０側に切り換えられると、上述のように予測誤差評価値を算出することで、符号化対象フレームＴｆ中の符号化対象ブロックと画素値の近いブロック（予測誤差評価値が最小のブロック）を参照フレームＲｆ１から探し出し、符号化対象フレームＴｆ中のブロックの画素Ｐｔ０と、参照フレームＲｆ１から探し出されたブロック内において画素Ｐｔ０とブロック内の相対位置が等しい画素Ｐｔ１との変位を示す動きベクトルＭＶ１を検出する。
【００１９】
次に、動き推定部８０２は、スイッチ８１１，８１２の接点が接点１側に切り換えられると、上述と同様、符号化対象フレームＴｆ中の符号化対象ブロックと画素値の近いブロック（予測誤差評価値が最小のブロック）を参照フレームＲｆ２から探し出し、符号化対象フレームＴｆ中のブロックの画素Ｐｔ０と、参照フレームＲｆ２から探し出されたブロック内において画素Ｐｔ０とブロック内の相対位置が等しい画素Ｐｔ２との変位を示す動きベクトルＭＶ２を検出する。
【００２０】
動き補償部８０３は、前方補間予測時には、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ８０１から取り出す。そして動き補償部８０３は、これらのブロックに基づいて画素値の補間処理を行って予測画像を示す予測画像信号Ｐｒｅを作成し、これを出力する。
【００２１】
なお、この前方補間予測により予測画像を得る場合の符号化対象ブロックを前方補間予測ブロックと呼ぶ。また、動き補償部８０３はブロック毎に他の予測方法、例えば表示時刻より前の１枚のフレームのみから予測を行う前方予測、に切り替えることも可能である。
【００２２】
ここで、画素値（輝度値）が時間的に変化するフェードについて説明する。上述のように被写体を含むブロックの位置はその被写体の動きに応じて変位するとともに、そのブロック内の画素値は時間的に変化する。
【００２３】
図３６は、フェードによる画素値の変化を説明するための説明図である。
上述の動きベクトルＭＶ２で示される画素Ｐｔ２の画素値は、動きベクトルＭＶ１で示される画素Ｐｔ１の画素値に変化する。このような変化は時間間隔が短ければ図３６中の線Ｌで示されるように時間に比例すると仮定することができる。
【００２４】
そこで、符号化対象フレームＴｆのブロックＢ０の画素Ｐｔ０の画素値Ｐ０は、参照フレームＲｆ１，Ｒｆ２の画素Ｐｔ１，Ｐｔ２の画素値Ｐ１，Ｐ２から外挿して、計算式「Ｐ０＝２×Ｐ１−Ｐ２」により予測される。
【００２５】
動き補償部８０３は、上式の外挿を行うことでフェードに対する予測効果を高めて符号化効率を向上している。また、動き補償部８０３は、フェードがない画像に対しては、外挿の代わりに内挿（平均値）による補間を行っており、その結果、より最適な予測方法の選択の幅を広げて符号化効率を向上している。
【００２６】
動きベクトルスケーリング部８０７は、動きベクトルＭＶ１に対してスケーリングを行う。
動き推定部８０２で検出された動きベクトルＭＶ１に対して、動きベクトルスケーリング部８０７は、図３５に示すように、符号化対象フレームＴｆ及び参照フレームＲｆ１が表示される時間差を示す表示時間差Ｔ１と、符号化対象フレームＴｆ及び参照フレームＲｆ２が表示される時間差を示す表示時間差Ｔ２とに基づいて、スケーリングを行う。
【００２７】
即ち、動きベクトルスケーリング部８０７は、表示時間差Ｔ１に対する表示時間差Ｔ２の割合（Ｔ２／Ｔ１）を、動きベクトルＭＶ１に乗じることで、動きベクトルＭＶ１に対するスケーリングを行い、動きベクトルＭＶｓを求める。
【００２８】
また、このような表示時間差Ｔ１，Ｔ２に関する情報は、マルチフレームバッファ８０１から取得される。つまり、再生構成画像信号Ｒｃにより示されるフレームは、そのフレームの表示時間に関する情報と共にマルチフレームバッファ８０１に記録されている。
【００２９】
減算器８１０は、動き推定部８０２で検出された動きベクトルＭＶ２から、上述の動きベクトルＭＶｓを減算して、図３５に示す差分ベクトルＭＶｄを出力する。
【００３０】
可変長符号化部８０６は、動きベクトルＭＶ１と差分ベクトルＭＶｄと残差符号化信号Ｅｒとを可変長符号化し、画像符号化信号Ｂｓを出力する。
以上、説明した処理により動画像符号化装置８００は画像信号Ｉｍｇを符号化して、画像符号化信号Ｂｓを出力する。
【００３１】
図３７は、画像符号化信号Ｂｓのフォーマットの概念を示す概念図である。
画像符号化信号Ｂｓには、前方補間予測により符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ９が含まれ、さらにこのフレーム符号化信号Ｂｓｆ９には符号化された前方補間予測ブロック（符号化対象ブロック）を示す内容のブロック符号化信号Ｂｓｂ９が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ９には、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１と、符号化された差分ベクトルＭＶｄを示す内容の差分ベクトル符号化信号Ｂｓｄとが含まれる。
【００３２】
このような動画像符号化装置８００が実行する動きベクトル符号化方法では、動きベクトルスケーリング部８０７及び減算器８１０並びに可変長符号化部８０６により、動きベクトルＭＶ１と差分ベクトルＭＶｄが符号化されるため、符号化対象フレームＴｆ、参照フレームＲｆ１及び参照フレームＲｆ２の各フレーム間で、画面内の被写体の動きの向き・速度が一定と仮定すると、差分ベクトルＭＶｄが０に近くなって、動きベクトルの符号化効率が良い。
【００３３】
次に、動画像符号化装置８００により符号化された画像を復号化する動画像復号化装置について説明する。
図３８は、従来の動画像復号化装置の構成を示すブロック図である。
【００３４】
この動画像復号化装置９００は、マルチフレームバッファ９０１と、動き補償部９０３と、画像復号化部９０５と、可変長復号化部９０６と、動きベクトルスケーリング部９０７と、加算器９０９，９１０とを備えている。
【００３５】
可変長復号化部９０６は、画像符号化信号Ｂｓを取得して可変長復号を行い、残差符号化信号Ｅｒと動きベクトルＭＶ１と差分ベクトルＭＶｄとを出力する。画像復号化部９０５は、残差符号化信号Ｅｒを取得して、逆量子化や逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
【００３６】
動きベクトルスケーリング部９０７は、動画像符号化装置８００の動きベクトルスケーリング部８０７と同様、可変長復号化部９０６から出力された動きベクトルＭＶ１を取得すると、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１に対してスケーリングを行い、その結果生成された動きベクトルＭＶｓを出力する。
【００３７】
加算器９１０は、スケーリング済みの動きベクトルＭＶｓと差分ベクトルＭＶｄとを加算し、その加算結果を動きベクトルＭＶ２として出力する。
動き補償部９０３は、動画像符号化装置８００の動き補償部８０３と同様、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ９０１から取り出す。そして動き補償部９０３は、これらのブロックに基づいて画素値の補間処理を行って予測画像信号Ｐｒｅを作成しこれを出力する。
【００３８】
加算器９０９は、動き補償部９０３からの予測画像信号Ｐｒｅと、画像復号化部９０５からの残差復号信号Ｄｒとを加算し、その結果を復号画像信号Ｄｉとして出力する。
【００３９】
マルチフレームバッファ９０１は、動画像符号化装置８００のマルチフレームバッファ８０１と同様の構成を有し、復号画像信号Ｄｉのうち、フレーム間予測で参照される可能性がある信号を格納する。
【００４０】
このような動画像復号化装置９００は画像符号化信号Ｂｓを復号化して、その復号結果を復号画像信号Ｄｉとして出力する。
以上のように動画像符号化装置８００を含む多くの従来の動画像符号化装置における動きベクトルの検出方法には、ＳＡＤやＳＳＤなどの予測誤差評価値が用いられている。
【００４１】
【非特許文献１】
“Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ”Ｈ．２６３，ＩＴＵ−Ｔ，１９９６．３
【００４２】
【非特許文献２】
ＤＲＡＦＴ ＦＯＲ “Ｈ．２６３＋＋” ＡＮＮＥＸＥＳ Ｕ， Ｖ， ＡＮＤ Ｗ ＴＯ ＲＥＣＯＭＭＥＮＤＡＴＩＯＮ Ｈ．２６３（Ｕ．４ Ｄｅｃｏｄｅｒ Ｐｒｏｃｅｓｓ），ＩＴＵ−Ｔ，２０００．１１
【００４３】
【発明が解決しようとする課題】
しかしながら、上記従来の動きベクトル検出方法では、フェードによる画素値の変化が考慮されていないため、符号化対象ブロックと予測画像との画素値に差が生じ易く、つまり上述のＳＡＤやＳＳＤなどの予測誤差評価値の値が増加し易く、最適な動きベクトルを検出することができないといった問題がある。
【００４４】
そこで本発明では、フェードが生じても最適な動きベクトルを検出する動きベクトル検出方法を提供することを目的とする。
【００４５】
【課題を解決するための手段】
上記目的を達成するために、本発明の動きベクトル検出方法は、動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法であって、前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間ステップと、前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出ステップと、前記評価値に基づいて、前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補の中から１つを選択するとともに、前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補の中から１つを選択する選択ステップと、選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出ステップとを含むことを特徴とする。例えば、前記選択ステップでは、前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する。
【００４６】
これにより、画素値の補間処理を行った結果に基づいて評価値が算出されるため、フェードが生じる場合であってもその影響による評価値の誤差の増加を防止して、最適な動きベクトルを検出することができる。
【００４７】
さらに、本発明に係る動きベクトル符号化方法は、動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを符号化する動きベクトル符号化方法であって、上記本発明に係る動きベクトル検出方法で第１及び第２の動きベクトルを検出する動きベクトル検出ステップと、前記第１及び第２の動きベクトルをそれぞれ符号化する符号化ステップとを含むことを特徴とする。
【００４８】
これにより、最適な動きベクトルをそれぞれ符号化することができる。
また、本発明に係る動きベクトル符号化方法は、動画像における符号化の対象となる符号化対象ピクチャに対して、他の２つのピクチャを参照ピクチャとして参照することで第１及び第２の動きベクトルの符号化方法を特定し、前記第１及び第２の動きベクトルに関する情報を符号化する動きベクトル符号化方法であって、ピクチャがその表示時刻に関する情報と共に記録される第１の領域と前記第１の領域に記録されていないピクチャが記録される第２の領域とを有する記憶手段から前記２つの参照ピクチャを読み出す読出ステップと、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたか否かを判定する判定ステップと、前記判定ステップで、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたと判定されたときには、前記第１の動きベクトルと前記第２の動きベクトルとの差分を示す差分ベクトルを求める差分ベクトル導出ステップと、前記第１の動きベクトルと前記差分ベクトルとを符号化する符号化ステップとを含むことを特徴としても良い。
【００４９】
これにより、前記２つの参照ピクチャのうちの少なくとも１つがメモリの第２の領域から読み出されたときには、従来例のように動きベクトルのスケーリングが行われないため、無理なスケーリングの実行を省き、動きベクトルの符号化効率の向上を図ることができる。
【００５０】
一方、本発明に係る動きベクトル復号化方法は、動画像における復号化の対象となる復号化対象ピクチャに対して、他の２つのピクチャを参照ピクチャとして参照することで第１及び第２の動きベクトルの復号化方法を特定し、前記第１及び第２の動きベクトルに関する情報を符号化した符号化情報を復号化する動きベクトル復号化方法であって、前記符号化情報から前記第１の動きベクトルと前記第１及び第２の動きベクトルに関する関連ベクトルとを復号化する復号化ステップと、ピクチャがその表示時刻に関する情報と共に記録される第１の領域と前記第１の領域に記録されていないピクチャが記録される第２の領域とを有する記憶手段から前記２つの参照ピクチャを読み出す読出ステップと、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたか否かを判定する判定ステップと、前記判定ステップで、前記２つの参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたと判定されたときには、前記関連ベクトルと前記第１の動きベクトルを加算して前記第２の動きベクトルを求める演算ステップとを含むことを特徴とする。
【００５１】
これにより、前記２つの参照ピクチャのうちの少なくとも１つがメモリの第２の領域から読み出されたときには、従来例のように動きベクトルのスケーリングが行われないため、無理なスケーリングの実行を省き、動きベクトルの復号化効率の向上を図ることができる。
【００５２】
なお、本発明は、上記動きベクトル検出方法や動きベクトル符号化方法を用いる動画像符号化装置、プログラム、及びそのプログラムを格納する記憶媒体としても実現することができる。
【００５３】
【発明の実施の形態】
（実施の形態１）
以下、本発明の第１の実施の形態における動画像符号化装置について図面を参照しながら説明する。
【００５４】
図１は、本実施の形態における動画像符号化装置３００Ａの構成を示すブロック図である。
本実施の形態の動画像符号化装置３００Ａは、最適な動きベクトルを検出して符号化するものであって、マルチフレームバッファ３０１と、動き推定部３０２と、動き補償部３０３と、画像符号化部３０４と、画像復号部３０５と、可変長符号化部３０６と、加算器３０８及び減算器３０９とを備える。
【００５５】
動き推定部３０２は、マルチフレームバッファ３０１から読み出された参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、画像信号Ｉｍｇにより示される符号化対象フレームＴｆ中のブロック（符号化対象ブロック）の最適な動きベクトルＭＶ１，ＭＶ２を検出する。
【００５６】
動き補償部３０３は、動画像符号化装置８００の動き補償部８０３と同様に、前方補間予測時には、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ８０１から取り出す。そして、動き補償部３０３はこれらのブロックに基づいて、図３６で説明したような外挿による画素値の補間処理を行って予測画像を示す予測画像信号Ｐｒｅを作成してこれを出力する。このように外挿による画素値の補間処理を行うことでフェードに対する予測効果を高めることができる。なお、動き補償部３０３は、符号化対象のブロック毎に予測方法を、前方補間予測と他の予測方法、例えば表示時刻より前の１枚のフレームのみから予測を行う前方予測と、に切り替えても良い。
【００５７】
減算器３０９は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算して残差信号Ｒｅｓを出力する。
画像符号化部３０４は、残差信号Ｒｅｓを取得してＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号Ｅｒを出力する。
【００５８】
画像復号部３０５は、残差符号化信号Ｅｒを取得して、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
加算器１０８は、残差復号信号Ｄｒと予測画像信号Ｐｒｅを加算して再構成画像信号Ｒｃを出力する。
【００５９】
マルチフレームバッファ３０１は、再構成画像信号Ｒｃのうち、フレーム間予測で参照される可能性がある信号を格納する。
可変長符号化部３０６は、動き推定部３０２で検出された動きベクトルＭＶ１，ＭＶ２と、画像符号化部３０４から出力される残差符号化信号Ｅｒとを可変長符号化し、これらの符号化された結果を画像符号化信号Ｂｓ１として出力する。
【００６０】
このような動画像符号化装置３００Ａは、画像信号Ｉｍｇにより示される符号化対象フレームＴｆの各ブロックを符号化するときには、２枚の参照フレームＲｆ１，Ｒｆ２を参照して、これらの参照フレームＲｆ１，Ｒｆ２に基づく符号化対象ブロックの動きベクトルＭＶ１，ＭＶ２を検出する。そして動画像符号化装置３００Ａは、検出した動きベクトルＭＶ１，ＭＶ２をそれぞれ符号化するとともに、参照フレームＲｆ１，Ｒｆ２及び動きベクトルＭＶ１，ＭＶ２から予測される予測画像と、符号化対象ブロックとの画素値の差を符号化する。
【００６１】
ここで、参照フレームＲｆ１，Ｒｆ２はそれぞれ、符号化対象フレームＴｆに対して時間的に前方にあっても後方にあっても良い。
図２は、参照フレームＲｆ１，Ｒｆ２と符号化対象フレームＴｆの時間的な位置関係を示すフレーム配置図である。
【００６２】
この図２中の（ａ）に示すように、動画像符号化装置３００Ａは、符号化対象フレームＴｆの前方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良く、図２中の（ｂ）に示すように、符号化対象フレームＴｆの後方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良い。さらに、図２中の（ｃ）に示すように、符号化対象フレームＴｆの前方に位置する１つのフレームを参照フレームＲｆ２として参照し、符号化対象フレームＴｆの後方に位置する１つのフレームを参照フレームＲｆ１として参照しても良く、その逆、つまり符号化対象フレームＴｆの前方に位置する１つのフレームを参照フレームＲｆ１として参照し、符号化対象フレームＴｆの後方に位置する１つのフレームを参照フレームＲｆ２として参照しても良い。
【００６３】
このような本実施の形態における動画像符号化装置３００Ａの動き推定部３０２について詳細に説明する。
動き推定部３０２は、上述のように参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、符号化対象ブロックの動きベクトルＭＶ１，ＭＶ２を検出し、これらの動きベクトルＭＶ１，ＭＶ２を動き補償部３０３に出力する。
【００６４】
図３は、動き推定部３０２の構成を示すブロック図である。
本実施の形態における上述の動き推定部３０２は、第１動きベクトル候補生成部３２１と、第２動きベクトル候補生成部３２２と、画素取得部３２３，３２４と、補間部３２５と、減算器３２６と、動きベクトル選択部３２７とを備えている。
【００６５】
第１動きベクトル候補生成部３２１は、符号化対象ブロックの参照フレームＲｆ１に基づく動きベクトルＭＶ１の候補を、所定の検出範囲から全て抽出し、これらをそれぞれ第１動きベクトル候補ＭＶＣ１として順次出力する。
【００６６】
第２動きベクトル候補生成部３２２は、第１動きベクトル候補生成部３２１と同様、符号化対象ブロックの参照フレームＲｆ２に基づく動きベクトルＭＶ２の候補を、所定の検出範囲から全て抽出し、これらをそれぞれ第２動きベクトル候補ＭＶＣ２として順次出力する。
【００６７】
図４は、第１動きベクトル候補ＭＶＣ１及び第２動きベクトル候補ＭＶＣ２の生成方法を説明するための説明図である。
第１動きベクトル候補生成部３２１は、参照フレームＲｆ１の動きベクトル検出範囲ＳＲから何れかの画素Ｐｔ１を選択し、符号化対象ブロックの画素Ｐｔ０と画素Ｐｔ１との変位を第１動きベクトル候補ＭＶＣ１として出力し、第２動きベクトル候補生成部３２２は、参照フレームＲｆ２の動きベクトル検出範囲ＳＲ１から何れかの画素Ｐｔ２を選択し、符号化対象ブロックの画素Ｐｔ０と画素Ｐｔ２との変位を第２動きベクトル候補ＭＶＣ２として出力する。
【００６８】
画素取得部３２３は、第１動きベクトル候補ＭＶＣ１が示す参照フレームＲｆ１中の１ブロック（図４中の画素Ｐｔ１を含むブロック）を取得して、予測ブロックＰＢ１として補間部３２５に出力する。
【００６９】
画素取得部３２４は、第２動きベクトル候補ＭＶＣ２が示す参照フレームＲｆ２中の１ブロック（図４中の画素Ｐｔ２を含むブロック）を取得して、予測ブロックＰＢ２として補間部３２５に出力する。
【００７０】
補間部３２５は、予測ブロックＰＢ１，ＰＢ２のブロック内での相対位置が互いに等しい２つの画素を用いて画素値の補間を行うことで、符号化対象ブロックに対する補間予測ブロックＰＢ０を作成し、これを減算器３２６に出力する。
【００７１】
このような画素値の補間処理は、前方補間予測の場合であれば、図３６で説明したように、２つの画素値を外挿することにより行われる。つまり、図３６に示すように、予測ブロックＰＢ１内の画素Ｐｔ１と、予測ブロックＰＢ２内の画素Ｐｔ２とがブロック内での相対位置が互いに等しい場合、画素Ｐｔ１の画素値Ｐ１と画素Ｐｔ２の画素値Ｐ２とから計算式「Ｐ０’＝２×Ｐ１−Ｐ２」の計算を行い、画素Ｐｔ１，Ｐｔ２に対応する符号化対象ブロック内の画素Ｐｔ０の補間予測画素値Ｐ０’を算出する。そして補間部３２５は、符号化対象ブロック内の全ての画素に対する補間予測画素値Ｐ０’を算出することで補間予測ブロックＰＢ０を作成している。
【００７２】
減算器３２６は、画像信号Ｉｍｇに示される符号化対象ブロックと、補間予測ブロックＰＢ０との互いに対応する画素の画素値の差分（Ｐ０−Ｐ０’）を計算し、その結果を予測誤差ブロックＲＢ０として動きベクトル選択部３２７に出力する。
【００７３】
動きベクトル選択部３２７は、減算器３２６から予測誤差ブロックＲＢ０を取得すると、以下の（式１）で示されるＳＡＤ（予測誤差値の絶対値和）や、以下の（式２）で示されるＳＳＤ（予測誤差値の２乗和）などの予測誤差評価値を算出する。
【００７４】
【数１】
【００７５】
そして、動きベクトル選択部３２７は、予測誤差評価値が最も小さくなる第１動きベクトル候補ＭＶＣ１及び第２動きベクトル候補ＭＶＣ２を選択し、選択した第１動きベクトル候補ＭＶＣ１を、参照フレームＲｆ１に基づく符号化対象ブロックの動きベクトルＭＶ１として出力するとともに、選択した第２動きベクトル候補ＭＶＣ２を、参照フレームＲｆ２に基づく符号化対象ブロックの動きベクトルＭＶ２として出力する。
【００７６】
これにより、本実施の形態の動き推定部３０２は、フェードによる画素値の変化が生じても、これを考慮して動きベクトルを検出するため、最適な動きベクトルを検出することができる。
【００７７】
そして可変長符号化部３０６は、上述のように動き推定部３０２で検出された動きベクトルＭＶ１，ＭＶ２を可変長符号化し、画像符号化信号Ｂｓ１に含めて出力する。なお、可変長復号化部３０６は、符号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１，ＭＶ２の予測値を、それぞれ動きベクトルＭＶ１，ＭＶ２から差し引いて、それぞれの差分を符号化しても良い。
【００７８】
図５は、画像符号化信号Ｂｓ１のフォーマットの概念を示す概念図である。
画像符号化信号Ｂｓ１には、符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ１が含まれ、さらにこのフレーム符号化信号Ｂｓｆ１には符号化されたブロックを示す内容のブロック符号化信号Ｂｓｂ１が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ１には、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１と、符号化された動きベクトルＭＶ２を示す内容の第２動きベクトル符号化信号Ｂｓ２とが含まれる。
【００７９】
図６は、動画像符号化装置３００Ａが動きベクトルを検出して符号化するまでの動作を示すフロー図である。
まず、動画像符号化装置３００Ａの動き推定部３０２は、第１動きベクトル候補ＭＶＣ１と第２動きベクトル候補ＭＶＣ２をそれぞれ１つ生成する（ステップＳ３００）。
【００８０】
そして動き推定部３０２は、その第１動きベクトル候補ＭＶＣ１で示される予測ブロックＰＢ１と、第２動きベクトル候補ＭＶＣ２で示される予測ブロックＰＢ２とを取得する（ステップＳ３０２）。
【００８１】
次に、動き推定部３０２は、予測ブロックＰＢ１，ＰＢ２から画素補間処理を行うことにより補間予測ブロックＰＢ０を作成する（ステップＳ３０４）。
その後、動き推定部３０２は、符号化対象ブロックを取得して（ステップＳ３０６）、その符号化対象ブロックと補間予測ブロックＰＢ０との差分を求め、予測誤差ブロックＲＢ０を作成する（ステップＳ３０８）。
【００８２】
そして動き推定部３０２は、ステップＳ３０８で作成された予測誤差ブロックＲＰ０から予測誤差評価値を算出し（ステップＳ３１０）、第１動きベクトル候補ＭＶＣ１と第２動きベクトル候補ＭＶＣ２との全ての組合せに対して予測誤差評価値を算出したか否かを判断する（ステップＳ３１２）。
【００８３】
ここで、動き推定部３０２が、全ての組合せに対して予測誤差評価値を算出していないと判断したときには（ステップＳ３１２のＮ）、再び前回と異なる第１動きベクトル候補ＭＶＣ１と第２動きベクトル候補ＭＶＣ２との組み合わせを生成してステップＳ３００からの動作を繰り返し実行する。また、動き推定部３０２が全ての組合せに対して予測誤差評価値を算出したと判断したときには（ステップＳ３１２のＹ）、ステップＳ３１０で算出された全ての予測誤差評価値の中で、最小の予測誤差評価値が算出されたときにステップＳ３００で生成された第１動きベクトル候補ＭＶＣ１を動きベクトルＭＶ１として検出するとともに、このときの第２動きベクトル候補ＭＶＣ２を動きベクトルＭＶ２として検出する（ステップＳ３１４）。
【００８４】
そして動画像符号化装置３００Ａの可変長符号化部３０６は、ステップＳ３１４で検出された動きベクトルＭＶ１，ＭＶ２をそれぞれ符号化する（ステップＳ３１６）。
【００８５】
このように本実施の形態では、画素値の補間処理を行った結果に基づいて予測誤差評価値を算出するため、フェードが生じる場合であってもその影響による予測誤差評価値の増加を防止して、最適な動きベクトルを検出することができる。また、その結果、動きベクトルの符号化効率を向上することができる。
【００８６】
（実施の形態２）
以下、本発明の第２の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【００８７】
図７は、本実施の形態における動画像復号化装置３００Ｂの構成を示すブロック図である。
本実施の形態の動画像復号化装置３００Ｂは、実施の形態１の動画像符号化装置３００Ａにより符号化された動画像を復号化するものであって、可変長復号化部３３６と、動き補償部３３３と、画像復号化部３３５と、マルチフレームバッファ３３１と、加算器３３９とを備えている。
【００８８】
可変長復号化部３３６は、画像符号化信号Ｂｓ１を取得して可変長復号を行い、残差符号化信号Ｅｒと動きベクトルＭＶ１と動きベクトルＭＶ２とを出力する。なお、動きベクトルＭＶ１，ＭＶ２のそれぞれが、復号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１，ＭＶ２の予測値を差し引いて符号化されているときには、可変長復号化部２３３６はその符号化された差分をそれぞれ復号化して、そのそれぞれの差分に対して上述の予測値を加算することで動きベクトルＭＶ１，ＭＶ２を生成しても良い。
【００８９】
画像復号化部３３５は、残差符号化信号Ｅｒを取得して、逆量子化や逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
動き補償部３３３は、動画像符号化装置３００Ａの動き補償部３０３と同様に、前方補間予測時には、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ３３１から取り出す。そして、動き補償部３３３はこれらのブロックに基づいて、図３６で説明したような外挿による画素値の補間処理を行って予測画像信号Ｐｒｅを作成してこれを出力する。
【００９０】
加算器３３９は、動き補償部３３３からの予測画像信号Ｐｒｅと、画像復号化部３３５からの残差復号信号Ｄｒとを加算し、その結果を復号画像信号Ｄｉとして出力する。
【００９１】
マルチフレームバッファ３３１は、復号画像信号Ｄｉのうち、フレーム間予測で参照される可能性がある信号を格納する。
このような本実施の形態における動画像復号化装置３００Ｂは、動きベクトルＭＶ１，ＭＶ２に基づく動き補償を行うことで、動画像符号化装置３００Ａで符号化された画像を正確に復号することができる。
【００９２】
（実施の形態３）
以下、本発明の第３の実施の形態における動画像符号化装置について図面を参照しながら説明する。
【００９３】
図８は、本実施の形態における動画像符号化装置４００Ａの構成を示すブロック図である。
本実施の形態の動画像符号化装置３００Ａは、実施の形態１と同様、最適な動きベクトルを検出して符号化するものであって、マルチフレームバッファ４０１と、動き推定部４０２と、動き補償部４０３と、画像符号化部４０４と、画像復号部４０５と、可変長符号化部４０６と、加算器４０８及び減算器４０９とを備える。
【００９４】
ここで本実施の形態におけるマルチフレームバッファ４０１と、動き補償部４０３と、画像符号化部４０４と、画像復号部４０５と、加算器４０８及び減算器４０９とは、実施の形態１のマルチフレームバッファ３０１と、動き補償部３０３と、画像符号化部３０４と、画像復号部３０５と、加算器３０８及び減算器３０９とそれぞれ同様の機能及び構成を有する。
【００９５】
このような本実施の形態の動画像符号化装置４００Ａでは、実施の形態１と比べて、動きベクトルの検出方法と動きベクトルの符号化方法とが異なっており、前方補間予測時であっても動きベクトルを実質的に１つだけ検出してこれを符号化する点に特徴がある。
【００９６】
図９は、本実施の形態の動き推定部４０２の構成を示すブロック図である。
本実施の形態における動き推定部４０２は、第１動きベクトル候補生成部４２１と、動きベクトルスケーリング部４２２と、画素取得部４２３，４２４と、補間部４２５と、減算器４２６と、動きベクトル選択部４２７とを備えている。そして、このような動き推定部４０２は、マルチフレームバッファ４０１から読み出された参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、画像信号Ｉｍｇにより示される符号化対象フレームＴｆ中のブロック（符号化対象ブロック）の最適な動きベクトルＭＶ１，ＭＶ２を検出する。
【００９７】
ここで、第１動きベクトル候補生成部４２１と画素取得部４２３，４２４と補間部４２５と減算器４２６と動きベクトル選択部４２７は、実施の形態１の動き推定部３０２における第１動きベクトル候補生成部３２１と画素取得部３２３，３２４と補間部３２５と減算器３２６と動きベクトル選択部３２７とそれぞれ同様の機能及び構成を有している。
【００９８】
即ち本実施の形態における動き推定部４０２は、実施の形態１の第２動きベクトル候補生成部３２２の代わりに動きベクトルスケーリング部４２２を備えており、第１動きベクトル候補ＭＶＣ１をスケーリングすることで第２動きベクトル候補ＭＶＣ２を生成している。
【００９９】
図１０は、第１動きベクトル候補ＭＶＣ１及び第２動きベクトル候補ＭＶＣ２の生成方法を説明するための説明図である。
第１動きベクトル候補生成部４２１は、参照フレームＲｆ１の動きベクトル検出範囲ＳＲから何れかの画素Ｐｔ１を選択し、符号化対象ブロックの画素Ｐｔ０と画素Ｐｔ１との変位を第１動きベクトル候補ＭＶＣ１として出力する。
【０１００】
動きベクトルスケーリング部４２２は、上述のように生成された第１動きベクトル候補ＭＶＣ１を取得すると、符号化対象フレームＴｆ及び参照フレームＲｆ１が表示される時間差を示す表示時間差Ｔ１と、符号化対象フレームＴｆ及び参照フレームＲｆ２が表示される時間差を示す表示時間差Ｔ２とに基づいて、第１動きベクトル候補ＭＶＣ１に対してスケーリングを行う。
【０１０１】
即ち、動きベクトルスケーリング部４２２は、表示時間差Ｔ１に対する表示時間差Ｔ２の割合（Ｔ２／Ｔ１）を、第１動きベクトル候補ＭＶＣ１に乗じることで、第１動きベクトル候補ＭＶＣ１に対するスケーリングを行い、動きベクトルＭＶＣｓを求める。
【０１０２】
そして動きベクトルスケーリング部４２２はこのようにスケーリングして求めた動きベクトルＭＶＣｓを画素取得部４２４と動きベクトル選択部４２７へ出力する。
【０１０３】
画素取得部４２４と動きベクトル選択部４２７は、動きベクトルスケーリング部４２２から動きベクトルＭＶＣｓを取得すると、この動きベクトルＭＶＣｓを第２動きベクトル候補ＭＶＣ２として扱い、それぞれ実施の形態１と同様の動作を行う。
【０１０４】
また、第１動きベクトル候補生成部４２１は、動きベクトル検出範囲ＳＲから順次全ての第１動きベクトル候補ＭＶＣ１を作成し、動きベクトルスケーリング部４２２は、その第１動きベクトル候補ＭＶＣ１を取得するごとにスケーリングを行い、動きベクトルＭＶＣｓを作成する。
【０１０５】
動きベクトル選択部４２７は、第１動きベクトル候補生成部４２１で第１動きベクトル候補ＭＶＣ１が生成されるたびに、その第１動きベクトル候補ＭＶＣ１と、こらから求められた動きベクトルＭＶＣｓとに基づく予測誤差評価値を算出し、その結果、予測誤差評価値が最小となる第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを選択する。そして動きベクトル選択部４２７は、選択した第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを、動きベクトルＭＶ１，ＭＶ２として出力する。
【０１０６】
上述のような動き推定部４０２の一連の動作について以下に説明する。
まず、第１動きベクトル候補生成部４２１は、動きベクトルＭＶ１の候補である第１動きベクトル候補ＭＶＣ１を生成する。
【０１０７】
次に、動きベクトルスケーリング部４２２は、第１動きベクトル候補ＭＶＣ１に対してスケーリングを行うことで動きベクトルＭＶＣｓを生成してこれを出力する。
【０１０８】
そして画素取得部４２３は、第１動きベクトル候補ＭＶＣ１により示される参照フレームＲｆ１の画素を含む１ブロックを予測ブロックＰＢ１として取得し、これを補間部４２５に出力する。画素取得部４２４は、動きベクトルＭＶＣｓにより示される参照フレームＲｆ２の画素を含む１ブロックを予測ブロックＰＢ２として取得し、これを補間部４２５に出力する。
【０１０９】
補間部４２５は、画素取得部４２３，４２４がそれぞれ取得した２つの予測ブロックＰＢ１，ＰＢ２のそれぞれにおいて、対応する画素の画素値を補間処理することで補間予測ブロックＰＢ０を生成する。
【０１１０】
減算器４２６は、補間予測ブロックＰＢ０と画像信号Ｉｍｇ中の符号化対象ブロックとの間の画素値の差分を計算し、その計算結果を予測誤差ブロックＲＢ０として出力する。
【０１１１】
動きベクトル選択部４２７は、予測誤差ブロックＲＢ０内の画素の画素値に基づいて予測誤差評価値を算出する。そして動きベクトル選択部４２７は、第１動きベクトル候補生成部４２１で生成された全ての第１動きベクトル候補ＭＶＣ１に対してそれぞれ上述のように予測誤差評価値を算出すると、予測誤差評価値が最小となる第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを選択する。
【０１１２】
そして動きベクトル選択部４２７は、選択した第１動きベクトル候補ＭＶＣ１と動きベクトルＭＶＣｓとを、動きベクトルＭＶ１，ＭＶ２として出力する。
このように本実施の形態における動き推定部４０２では、実施の形態１と同様に、画素値の補間処理を行った結果に基づいて予測誤差評価値を算出するため、フェードが生じる場合であってもその影響による予測誤差評価値の増加を防止して、最適な動きベクトルを検出することができる。また、本実施の形態における動き推定部４０２では、前方補間予測時であっても実質的な動きベクトルＭＶ２の検出を行っておらず、動きベクトルＭＶ１に対してスケーリングが行われたものを動きベクトルＭＶ２とするため、動きベクトルＭＶ２の検出にかかる手間を省いて、符号化効率を向上することができる。
【０１１３】
また本実施の形態の可変長符号化部４０６は、動きベクトルＭＶ１と残差符号化信号Ｅｒとを可変長符号化し、画像符号化信号Ｂｓ２を出力する。
図１１は、画像符号化信号Ｂｓ２のフォーマットの概念を示す概念図である。
【０１１４】
画像符号化信号Ｂｓ２には、符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ２が含まれ、さらにこのフレーム符号化信号Ｂｓｆ２には符号化されたブロックを示す内容のブロック符号化信号Ｂｓｂ２が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ２には、符号化された動きベクトルＭＶ１を示す内容の動きベクトル符号化信号Ｂｓ１が含まれる。
【０１１５】
このように本実施の形態では、符号化された動きベクトルＭＶ２を示す第２動きベクトル符号化信号Ｂｓ２を、画像符号化信号Ｂｓ２に格納しなくてもよいため、符号量を減少して符号化効率を向上することができる。
【０１１６】
なお、本実施の形態では、図３８に示すように、前方補間予測の場合について説明したが、実施の形態１と同様、参照フレームＲｆ１，Ｒｆ２はそれぞれ符号化対象フレームＴｆの前方又は後方の何れにあっても良い。
【０１１７】
さらに、本実施の形態では、符号化対象フレームＴｆを基準とした表示時間差が参照フレームＲｆ１よりも長くなるフレームを、参照フレームＲｆ２として選択し、参照フレームＲｆ１に基づく第１動きベクトル候補ＭＶＣ１に対してスケーリングを行ったが、符号化対象フレームＴｆの表示時刻よりも前にあるフレームを参照フレームＲｆ１として選択するとともに、符号化対象フレームＴｆの表示時刻よりも後にあるフレームを参照フレームＲｆ２として選択して、その参照フレームＲｆ１に基づく第１動きベクトル候補ＭＶＣ１に対してスケーリングを行っても良い。
【０１１８】
なお、可変長符号化部４０６は、動きベクトルＭＶ１と、符号化対象ブロックの周辺にある周辺ブロックの動きベクトルから予測される予測値との差分を符号化し、その結果を示す符号化信号を動きベクトル符号化信号Ｂｓ１の代わりにブロック符号化信号Ｂｓｂ２に含めても良い。この場合には符号化効率をさらに向上することができる。
【０１１９】
（実施の形態４）
以下、本発明の第４の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【０１２０】
図１２は、本実施の形態における動画像復号化装置４００Ｂの構成を示すブロック図である。
本実施の形態の動画像復号化装置４００Ｂは、実施の形態３の動画像符号化装置４００Ａにより符号化された動画像を復号化するものであって、可変長復号化部４３６と、動きベクトルスケーリング部４３７と、動き補償部４３３と、画像復号化部４３５と、マルチフレームバッファ４３１と、加算器４３９とを備えている。
【０１２１】
ここで本実施の形態における画像復号化部４３５と動き補償部４３３とマルチフレームバッファ４３１と加算器４３９とは、実施の形態２の動画像復号化装置３００Ｂの画像復号化部３３５と動き補償部３３３とマルチフレームバッファ３３１と加算器３３９とそれぞれ同様の機能及び構成を有する。
【０１２２】
可変長復号化部３３６は、画像符号化信号Ｂｓを取得して可変長復号を行い、残差符号化信号Ｅｒと動きベクトルＭＶ１とを出力する。なお、動きベクトルＭＶ１が、復号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１の予測値を差し引いて符号化されているときには、可変長復号化装置３３６は、その符号化された差分を復号化してこれに上述の予測値を加算することで、動きベクトルＭＶ１を生成して出力しても良い。
【０１２３】
動きベクトルスケーリング部４３７は、動画像復号化装置９００の動きベクトルスケーリング部９０７と同様、可変長復号化部９０６から出力された動きベクトルＭＶ１を取得すると、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１に対してスケーリングを行う。そして動きベクトルスケーリング部４３７は、その結果生成された動きベクトルを、参照フレームＲｆ２に基づいて検出された動きベクトルＭＶ２として動き補償部４３３に出力する。
【０１２４】
動き補償部４３３は、実施の形態２の動き補償部３３３と同様、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ４３１から取り出す。そして動き補償部４３３は、これらのブロックに基づいて画素値の補間処理を行って予測画像信号Ｐｒｅを作成してこれを出力する。
【０１２５】
このような本実施の形態における動画像符号化装置４００Ｂは、動きベクトルＭＶ１に対してスケーリングを行うことで動きベクトルＭＶ２を導出し、動画像符号化装置４００Ａで符号化された画像を正確に復号することができる。
【０１２６】
（実施の形態５）
以下、本発明の第５の実施の形態における動画像符号化装置について図面を参照しながら説明する。
【０１２７】
図１３は、本実施の形態における動画像符号化装置５００Ａの構成を示すブロック図である。
この動画像符号化装置５００Ａは、マルチフレームバッファ５０１、動き推定部５０２、動き補償部５０３、画像符号化部５０４、画像復号部５０５、可変長符号化部５０６、動きベクトルスケーリング部５０７、加算器５０８、減算器５０９，５１０を備え、画像信号Ｉｍｇにより示されるフレームをブロックに分割し、そのブロック毎に処理を行う。
【０１２８】
ここで本実施の形態におけるマルチフレームバッファ５０１、動き補償部５０３、画像符号化部５０４、画像復号部５０５、可変長符号化部５０６、動きベクトルスケーリング部５０７、加算器５０８、減算器５０９，５１０は、従来の動画像符号化装置８００におけるマルチフレームバッファ８０１、動き補償部８０３、画像符号化部８０４、画像復号部８０５、可変長符号化部８０６、動きベクトルスケーリング部８０７、加算器８０８、減算器８０９，８１０とそれぞれ同様の機能及び構成を有する。
【０１２９】
つまり、本実施の形態は、動き推定部５０２の動きベクトルの検出方法に特徴があり、動きベクトル符号化方法などの動作処理は動画像符号化装置８００と共通する。
【０１３０】
図１４は、本実施の形態の動き推定部５０２の構成を示すブロック図である。動き推定部５０２は、第１動きベクトル候補生成部５２１と、第２動きベクトル候補生成部５２２と、動きベクトルスケーリング部５２１ａと、画素取得部５２３，５２４と、補間部５２５と、減算器５２６と、動きベクトル選択部５２７と、スイッチ５２８，５２９とを備えている。
【０１３１】
また、動き推定部５０２における第１動きベクトル候補生成部５２１と、動きベクトルスケーリング部５２１ａと、画素取得部５２３，５２４と、補間部５２５と、減算器５２６とは、実施の形態３の動き推定部４０２における第１動きベクトル候補生成部４２１と、動きベクトルスケーリング部４２２と、画素取得部４２３，４２４と、補間部４２５と、減算器４２６とそれぞれ同様の機能及び構成を有する。
【０１３２】
そして第２動きベクトル候補生成部５２２は、符号化対象ブロックの参照フレームＲｆ２に基づく動きベクトルＭＶ２の候補を、所定の動きベクトル検出範囲から全て抽出し、これらをそれぞれ第２動きベクトル候補ＭＶＣ２として出力する。
【０１３３】
実施の形態３で説明したように実施の形態３における動き推定部４０２は、幾つかの第１動きベクトル候補ＭＶＣ１を生成するとともに、それぞれの第１動きベクトル候補ＭＶＣ１に対してスケーリングを行うことで動きベクトルＭＶＣｓを生成し、最も予測誤差評価値が小さくなる第１動きベクトル候補ＭＶＣ１とそれに対応する動きベクトルＭＶＣｓとを動きベクトルＭＶ１，ＭＶ２として検出した。即ち動き推定部４０２は、動きベクトルＭＶ１に対してスケーリングを行ったものを動きベクトルＭＶ２として検出している。
【０１３４】
しかし、本実施の形態における動き推定部５０２は、実施の形態３における動き推定部４０２と同様の方法で動きベクトルＭＶ１を検出するが、動きベクトルＭＶ１に対してスケーリングを行ったものを動きベクトルＭＶ２とすることなく、検出した動きベクトルＭＶ１を用いて予測誤差評価値が最も小さくなる動きベクトルＭＶ２をさらに検出する点に特徴がある。
【０１３５】
このような動き推定部５０２の具体的な動作について、図１４及び図１５を用いて説明する。
動き推定部５０２は、スイッチ５２８，５２９の接点が接点０側に切り換えられているときには、実施の形態３と同様の方法で第１動きベクトル候補ＭＶＣ１及び動きベクトルＭＶＣｓの生成し、動きベクトルＭＶ１を検出する。
【０１３６】
図１５の（ａ）は、第１動きベクトル候補ＭＶＣ１及び動きベクトルＭＶＣｓの生成方法を説明するための説明図である。
第１動きベクトル候補生成部５２１は、参照フレームＲｆ１の動きベクトル検出範囲ＳＲから何れかの第１動きベクトル候補ＭＶＣ１を生成する。
【０１３７】
動きベクトルスケーリング部５２１ａは、表示時間差Ｔ１に対する表示時間差Ｔ２の割合（Ｔ２／Ｔ１）を、上述のように生成された第１動きベクトル候補ＭＶＣ１に乗じることで、第１動きベクトル候補ＭＶＣ１に対するスケーリングを行い、動きベクトルＭＶＣｓを生成する。
【０１３８】
画素取得部５２３は、第１動きベクトル候補ＭＶＣ１が示す参照フレームＲｆ１中の１ブロック（画素Ｐｔ１を含むブロック）を取得して、予測ブロックＰＢ１として補間部５２５に出力する。
【０１３９】
画素取得部５２４は、動きベクトル候補ＭＶＣｓが示す参照フレームＲｆ２中の１ブロック（画素Ｐｔ２を含むブロック）を取得して、予測ブロックＰＢ２として補間部５２５に出力する。
【０１４０】
補間部５２５は、予測ブロックＰＢ１，ＰＢ２のブロック内での相対位置が互いに等しい２つの画素を用いて画素値の補間を行うことで、符号化対象ブロックに対する補間予測ブロックＰＢ０を作成し、これを減算器５２６に出力する。
【０１４１】
減算器５２６は、画像信号Ｉｍｇに示される符号化対象ブロックと、補間予測ブロックＰＢ０との互いに対応する画素の画素値の差分を計算し、その結果を予測誤差ブロックＲＢ０として動きベクトル選択部５２７に出力する。
【０１４２】
動きベクトル選択部５２７は、減算器５２６から予測誤差ブロックＲＢ０を取得すると、ＳＡＤやＳＳＤなどの予測誤差評価値を算出する。
そして、動きベクトル選択部５２７は、予測誤差評価値が最も小さくなる第１動きベクトル候補ＭＶＣ１及び動きベクトル候補ＭＶＣｓを選択し、選択した第１動きベクトル候補ＭＶＣ１を、参照フレームＲｆ１に基づく符号化対象ブロックの動きベクトルＭＶ１として出力する。
【０１４３】
次に、動き推定部５０２は、スイッチ５２８，５２９の接点が接点０側に切り換えられると、上述のように検出した動きベクトルＭＶ１を用いて予測誤差評価値が最も小さくなる動きベクトルＭＶ２を検出する。
【０１４４】
図１５の（ｂ）は、第２動きベクトル候補ＭＶＣ２の生成方法を説明するための説明図である。
第２動きベクトル候補生成部５２２は、動きベクトルＭＶ１のスケーリングにより示される参照フレームＲｆ２中の位置Ｃを中心とした動きベクトル検出範囲ＳＲ２から、幾つかの第２動きベクトル候補ＭＶＣ２を順次生成する。
【０１４５】
画素取得部５２３は、上述のように既に検出された動きベクトルＭＶ１が示す参照フレームＲｆ１中の１ブロックを取得して、予測ブロックＰＢ１として補間部５２５に出力する。
【０１４６】
画素取得部５２４は、第２動きベクトル候補ＭＶＣ２が示す参照フレームＲｆ２中の１ブロックを取得して、予測ブロックＰＢ２として補間部５２５に出力する。
【０１４７】
補間部５２５は、上述と同様に、予測ブロックＰＢ１，ＰＢ２のブロック内での相対位置が互いに等しい２つの画素を用いて画素値の補間を行うことで、符号化対象ブロックに対する補間予測ブロックＰＢ０を作成し、これを減算器５２６に出力する。
【０１４８】
減算器５２６は、画像信号Ｉｍｇに示される符号化対象ブロックと、補間予測ブロックＰＢ０との互いに対応する画素の画素値の差分を計算し、その結果を予測誤差ブロックＲＢ０として動きベクトル選択部５２７に出力する。
【０１４９】
動きベクトル選択部５２７は、減算器５２６から予測誤差ブロックＲＢ０を取得すると、ＳＡＤやＳＳＤなどの予測誤差評価値を算出する。
そして、動きベクトル選択部５２７は、予測誤差評価値が最も小さくなる第２動きベクトル候補ＭＶＣ２を選択し、選択した第２動きベクトル候補ＭＶＣ２を、参照フレームＲｆ２に基づく符号化対象ブロックの動きベクトルＭＶ２として出力する。
【０１５０】
ここで、被写体の動きがフレーム間で一定であるとすれば、既に検出した動きベクトルＭＶ１のスケーリングにより示される位置Ｃに近いほど、動きベクトルＭＶ２が存在する確率が高い。
【０１５１】
従って、本実施の形態の動き推定部５０２は、動きベクトルＭＶ２を検出するときに、位置Ｃを中心とした動きベクトル検出範囲ＳＲ２を設定して、その動きベクトル検出範囲ＳＲ２から第２動きベクトル候補ＭＶＣ２を生成するため、動きベクトル検出範囲ＳＲ２を狭くすることができ、動きベクトルの検出効率を向上することができる。また、スパイラルサーチなどの手法を用いたときには、より高速に動きベクトルＭＶ２を検出することができる。
【０１５２】
なお、本実施の形態では、動きベクトルＭＶ１を検出した後に、その動きベクトルＭＶ１を固定して用いて動きベクトルＭＶ２の検出を行ったが、さらに、このように検出された動きベクトルＭＶ２を固定して用い、動きベクトルＭＶ１の検出をもう一度行っても良い。この場合、画素取得部５２４が一度検出された固定の動きベクトルＭＶ２を取得している状態で、画素取得部５２３は、所定の動きベクトル検出範囲から幾つか抽出された可変の第１動きベクトル候補ＭＶＣ１を第１動きベクトル候補生成部５２１から取得する。そして、動きベクトル選択部５２７は、抽出された第１動きベクトル候補ＭＶＣ１の中から予測誤差評価値が最も小さくなる第１動きベクトル候補ＭＶＣ１を動きベクトルＭＶ１として検出する。これにより、さらに適切な動きベクトルを検出することができ、検出効率を向上することができる。
【０１５３】
またさらに、このように再度検出された動きベクトルＭＶ１を固定して用い、動きベクトルＭＶ２の検出をもう一度行っても良い。このような動きベクトルの検出の繰り返しは何度行っても良く、その繰り返し回数が所定の回数に達するまで、又は、予測誤差評価値の減少率が所定の値以下となるまで行っても良い。
【０１５４】
このように本実施の形態では、実施の形態１又は３と同様、画素値の補間処理を行った結果に基づいて予測誤差評価値を算出するため、フェードが生じる場合であってもその影響による予測誤差評価値の増加を防止して、最適な動きベクトルを検出することができる。また、本実施の形態では、実施の形態３と異なり、各参照フレーム毎にそれぞれ独立した動きベクトルを使用するため、フレーム間で動きが一定でない場合でも予測効率を向上することができる。
【０１５５】
（変形例）
次に、上記本実施の形態における動画像符号化装置５００Ａの変形例について説明する。
【０１５６】
図１６は、本実施の形態の変形例に係る動画像符号化装置５５０Ａの構成を示すブロック図である。
この変形例に係る動画像符号化装置５５０Ａは、動画像符号化装置５００Ａの動き推定部５０２や動き補償部５０３などの他、減算器５１０から出力される差分ベクトルＭＶｄに応じて「１」又は「２」を示すコードＮｕを生成するコード生成部５１２と、減算器５１０と可変長符号化部５０６ａとの間を開閉するスイッチ５１１とを備えている。
【０１５７】
コード生成部５１２は、減算器５１０から差分ベクトルＭＶｄを取得すると、その差分ベクトルＭＶｄが「０」か否かを判別し、「０」であれば、スイッチ５１１を開くことで可変長符号化部５０６ａが差分ベクトルＭＶｄを取得するのを禁止し、「１」を示すコードＮｕを生成して可変長符号化部５０６ａに出力する。また、差分ベクトルＭＶｄが「０」でなければ、コード生成部５１２は、スイッチ５１１を閉じることで可変長符号化部５０６ａに差分ベクトルＭＶｄを取得させ、「２」を示すコードＮｕを生成して可変長符号化部５０６ａに出力する。
【０１５８】
そしてこの変形例に係る可変長符号化部５０６ａは、コードＮｕが「１」を示すときには、残差符号化信号Ｅｒと動きベクトルＭＶ１とコードＮｕとを可変長符号化し、コードＮｕが「２」を示すときには、残差符号化信号Ｅｒと動きベクトルＭＶ１と差分ベクトルＭＶｄとコードＮｕとを可変長符号化する。つまり、可変長符号化部５０６ａは、コードＮｕが「１」のとき、即ち差分ベクトルＭＶｄが「０」のときには差分ベクトルＭＶｄの符号化を行わない。そして可変長符号化部５０６ａは、上述のように可変長符号化した結果を、画像符号化信号Ｂｓ３として出力する。
【０１５９】
図１７は、画像符号化信号Ｂｓ３のフォーマットの概念を示す概念図である。
画像符号化信号Ｂｓ３には、符号化されたフレームを示す内容のフレーム符号化信号Ｂｓｆ３が含まれ、さらにこのフレーム符号化信号Ｂｓｆ３には符号化されたブロックを示す内容のブロック符号化信号Ｂｓｂ３，Ｂｓｂ４が含まれている。そしてさらに、このブロック符号化信号Ｂｓｂ３には、符号化されたコードＮｕ（２）を示す内容のコード信号Ｂｓｎ２と、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１と、符号化された差分ベクトルＭＶｄを示す内容の差分ベクトル符号化信号Ｂｓｄとが含まれる。また、ブロック符号化信号Ｂｓｂ４には、符号化されたコードＮｕ（１）を示す内容のコード信号Ｂｓｎ１と、符号化された動きベクトルＭＶ１を示す内容の第１動きベクトル符号化信号Ｂｓ１とが含まれる。
【０１６０】
つまり、ブロック符号化信号Ｂｓｂ３で示されるブロックに対しては差分ベクトルＭＶｄが「０」ではないので、ブロック符号化信号Ｂｓｂ３には、第１動きベクトル符号化信号ＢＳ１以外にコード信号Ｂｓｎ２と差分ベクトル符号化信号Ｂｓｄが含まれ、ブロック符号化信号Ｂｓｂ４で示されるブロックに対しては差分ベクトルＭＶｄが「０」なので、ブロック符号化信号Ｂｓｂ４には、第１動きベクトル符号化信号ＢＳ１以外にはコード信号Ｂｓｎ１しか含まれない。
【０１６１】
ここで、コードＮｕは「１」又は「２」を示すため、コードＮｕに対する情報量は１ビットあれば十分である。一方、差分ベクトルＭＶｄに対する情報量は、差分ベクトルＭＶｄを横方向成分及び縦方向成分に独立して可変長符号化するような場合には、少なくとも２ビットは必要である。また、多くの場合において、短い時間では画像内の被写体の動きは一定であるため、殆どの符号化対象ブロックに対する差分ベクトルＭＶｄは「０」となる。
【０１６２】
従って、本変形例では、画像符号化信号Ｂｓ３には、差分ベクトル符号化信号Ｂｓｄを省略して情報量を少なくしたブロック符号化信号Ｂｓｂ４が多く含まれるために、符号化効率を向上することができる。
【０１６３】
また、殆どの符号化対象ブロックに対する差分ベクトルＭＶｄが「０」となると、コードＮｕにより示される値の出現頻度に偏りが生じて、そのコードＮｕに対する情報量は１ビットよりも小さくなる。従って、ハフマン符号などの整数ビット単位の可変長符号化方法で動きベクトルの符号化を行う場合には、コードＮｕを他の種類のコードと組み合わせて符号化することで、上述のように単独でコードＮｕを符号化するよりも符号化効率を向上することができる。
【０１６４】
なお、本実施の形態では、コード信号Ｂｓｎ１，Ｂｓｎ２をブロック符号化信号ごとに格納したが、ブロック符号化信号ごとではなく、例えば、ＭＰＥＧのマクロブロックやスライスなどのように、ブロックより大きな単位で画像が符号化された内容を示す信号毎に、コード信号Ｂｓｎ１，Ｂｓｎ２を格納するようにしてもよい。これにより、コード信号Ｂｓｎ１，Ｂｓｎ２を減らすことができ、より符号化効率を改善することができる。
【０１６５】
以上のように本変形例によれば、画像符号化信号Ｂｓ３にコード信号Ｂｓｎ１の情報を格納して差分ベクトル符号化信号Ｂｓｄを省くことで、情報量を削減することができ、符号化効率を向上することができる。
【０１６６】
（実施の形態６）
以下、本発明の第６の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【０１６７】
図１８は、本実施の形態における動画像復号化装置５５０Ｂの構成を示すブロック図である。
本実施の形態の動画像復号化装置５５０Ｂは、実施の形態５の変形例に係る動画像符号化装置５５０Ａにより符号化された動画像を復号化するものであって、可変長復号化部５３６と、動きベクトルスケーリング部５３７と、動き補償部５３３と、画像復号化部５３５と、マルチフレームバッファ５３１と、加算器５３９，５４０と、スイッチ５４１とを備えている。
【０１６８】
ここで本実施の形態における画像復号化部５３５と動き補償部５３３とマルチフレームバッファ５３１と加算器５３９，５４０とは、従来例に示す動画像復号化装置９００における画像復号化部９０５と動き補償部９０３とマルチフレームバッファ９０１と加算器９０９，９１０とそれぞれ同様の機能及び構成を有するため説明を省略する。
【０１６９】
本実施の形態における可変長復号化部５３６は、画像符号化信号Ｂｓ３を取得して可変長復号を行い、コードＮｕが「１」を示しているときには、そのコードＮｕと残差符号化信号Ｅｒと動きベクトルＭＶ１とを出力し、コードＮｕが「２」を示しているときには、そのコードＮｕと残差符号化信号Ｅｒと動きベクトルＭＶ１と差分ベクトルＭＶｄとを出力する。
【０１７０】
スイッチ５４１は、可変長復号化部５３６と加算器５４０との間を、可変長復号化部５３６からのコードＮｕに応じて開閉する。即ち、コードＮｕが「１」を示すときにはスイッチ５４１は開いて、可変長復号化部５３６から加算器５４０に差分ベクトルＭＶｄが出力されるのを禁止し、コードＮｕが「２」を示すときにはスイッチ５４１は閉じて、可変長復号化部５３６から加算器５４０への差分ベクトルＭＶｄの出力を許可する。
【０１７１】
その結果、スイッチ５４１が開いたときには、加算器４０は、動きベクトルスケーリング部５３７で生成された動きベクトルＭＶｓのみを取得するので、その動きベクトルＭＶｓを動きベクトルＭＶ２として動き補償部５３３に出力する。また、スイッチ５４１が閉じたときには、加算器４０は、動きベクトルスケーリング部５３７で生成された動きベクトルＭＶｓと、可変長復号化部５３６から出力される差分ベクトルＭＶｄとを取得するので、その動きベクトルＭＶｓに差分ベクトルＭＶｄを加算して、その加算結果を動きベクトルＭＶ２として動き補償部５３３に出力する。
【０１７２】
これにより、本実施の形態では、画像復号化信号Ｂｓ３に差分ベクトルＭＶｄを含む情報が含まれていれば、その差分ベクトルＭＶｄに、スケーリング処理された動きベクトルＭＶｓを加算することで、動きベクトルＭＶ２が生成され、画像復号化信号Ｂｓ３に差分ベクトルＭＶｄを含む情報が含まれていなければ、スケーリング処理された動きベクトルＭＶｓを動きベクトルＭＶ２とすることで、動きベクトルＭＶ２が生成される。
【０１７３】
従って本実施の形態によれば、実施の形態５の変形例に係る動画像符号化装置５５０Ａで符号化された動きベクトルに関する情報を正しく復号化し、その結果、動画像を正確に復号化することができる。
【０１７４】
（実施の形態７）
ところで、従来例で示した動画像符号化装置８００の動きベクトル符号化方法では、動きベクトルＭＶ１に対してスケーリングを行うが、スケーリングを行うために必要な表示時間差Ｔ１，Ｔ２に関する情報がマルチフレームバッファ８０１から取得できない場合があり、このような場合には動きベクトルを符号化できないといった問題がある。また、マルチフレームバッファ８０１から表示時間差Ｔ１，Ｔ２に関する情報を取得できたとしても、表示時間差Ｔ１，Ｔ２のうちの少なくとも一方が非常に大きいときには、スケーリングを行うことに意味を成さず、動きベクトルの符号化効率が低下してしまうといった問題がある。
【０１７５】
つまり、マルチフレームバッファ８００には短時間メモリと長時間メモリの２種類の領域が確保されており、長時間メモリには、表示時間に関する情報が省かれた状態でフレームが記録されている場合があり、このようなフレームが参照フレームとして読み出されたときには、スケーリングを行うことができない。また、長時間メモリには、符号化対象フレームと表示時間差が非常に大きいフレームが記録されている場合があり、このようなフレームが参照フレームとして読み出されたときには、意味を成さないスケーリングが行われてしまうのである。
【０１７６】
そこで、本発明の第７の実施の形態における動画像符号化装置は、意味を成さないスケーリングを避けて動きベクトルを符号化効率が高まるように符号化する点に特徴がある。
【０１７７】
以下、本発明の第７の実施の形態における動画像符号化装置について図面を参照しながら説明する。
図１９は、本実施の形態における動画像符号化装置１００の構成を示すブロック図である。
【０１７８】
本実施の形態の動画像符号化装置１００は、マルチフレームバッファ１０１と、動き推定部１０２と、動き補償部１０３と、画像符号化部１０４と、画像復号部１０５と、可変長符号化部１０６と、動きベクトルスケーリング部１０７と、加算器１０８及び減算器１０９，１１０と、スイッチ１１１，１１２，１１３と、判定部１１４とを備える。
【０１７９】
この動画像符号化装置１００は、画像信号Ｉｍｇにより示される符号化対象フレームＴｆの各ブロックを符号化するときには、２枚の参照フレームＲｆ１，Ｒｆ２を参照して、これらの参照フレームＲｆ１，Ｒｆ２に対する符号化対象ブロックの動きベクトルＭＶ１，ＭＶ２に関する情報と、参照フレームＲｆ１，Ｒｆ２及び動きベクトルＭＶ１，ＭＶ２から予測される予測画像に基づく情報とを符号化する。
【０１８０】
ここで、本実施の形態においても実施の形態１と同様、参照フレームＲｆ１，Ｒｆ２はそれぞれ、符号化対象フレームＴｆに対して時間的に前方にあっても後方にあっても良い。
【０１８１】
図２中の（ａ）に示すように、動画像符号化装置１００は、符号化対象フレームＴｆの前方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良く、図２中の（ｂ）に示すように、符号化対象フレームＴｆの後方に位置するフレームを参照フレームＲｆ１，Ｒｆ２として参照しても良く、さらに、図２中の（ｃ）に示すように、符号化対象フレームＴｆの前方に位置する１つのフレームを参照フレームＲｆ２として参照し、符号化対象フレームＴｆの後方に位置する１つのフレームを参照フレームＲｆ１として参照しても良い。
【０１８２】
スイッチ１１１，１１２は、符号化対象ブロック毎に、参照される２つのフレーム（参照フレームＲｆ１，Ｒｆ２）に応じて、その接点０，１を切り換える。例えば、参照フレームＲｆ１が参照されるときには、スイッチ１１１，１１２は、それぞれ接点０を動き推定部１０２に接続し、参照フレームＲｆ２が参照されるときには、スイッチ１１１，１１２は、それぞれ接点１を動き推定部１０２に接続する。
【０１８３】
動き推定部１０２は、マルチフレームバッファ１０１から読み出された参照フレームＲｆ１，Ｒｆ２のそれぞれに基づいて、画像信号Ｉｍｇにより示される符号化対象フレームＴｆ中のブロックに対する動きベクトルＭＶ１，ＭＶ２を、実施の形態１の動き推定部３０２、又は実施の形態３の動き推定部４０２、又は実施の形態５の動き推定部５０２と同様の方法で検出する。
【０１８４】
動き補償部１０３は、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ１０１から取り出す。そして動き補償部１０３は、これらのブロックに基づいて画素の補間処理を行って予測画像信号Ｐｒｅを作成しこれを出力する。
【０１８５】
減算器１０９は、画像信号Ｉｍｇから予測画像信号Ｐｒｅを減算して残差信号Ｒｅｓを出力する。
画像符号化部１０４は、残差信号Ｒｅｓを取得してＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号Ｅｒを出力する。
【０１８６】
画像復号部１０５は、残差符号化信号Ｅｒを取得して、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
加算器１０８は、残差復号信号Ｄｒと予測画像信号Ｐｒｅを加算して再構成画像信号Ｒｃを出力する。
【０１８７】
マルチフレームバッファ１０１は、再構成画像信号Ｒｃのうち、フレーム間予測で参照される可能性がある信号を格納する。
図２０は、マルチフレームバッファ１０１における上記信号を格納するメモリの概略構成を示す構成図である。
【０１８８】
マルチフレームバッファ１０１には、図２０に示すように、短時間メモリ１０１ｓと長時間メモリ１０１ｌとが確保され、再構成画像信号Ｒｃにより示されるフレームは短時間メモリ１０１ｓと長時間メモリ１０１ｌとに適宜分別して保存される。
【０１８９】
短時間メモリ１０１ｓは、先入れ先出し方式（ＦＩＦＯ）のメモリであり、新規の信号が短時間メモリ１０１ｓに記録されると、記録された時刻が古い順から記録内容が破棄され、短時間メモリ１０１ｓには常に最新の一定フレーム数の画像が保存される。また、この短時間メモリ１０１ｓに、再構成画像信号Ｒｃの示すフレームが記録されるときには、そのフレームの表示時刻に関する情報と共に記録される。
【０１９０】
長時間メモリ１０１ｌは、ランダムアクセス方式のメモリであり、任意の領域にフレームを格納したり、任意の領域に格納されたフレームの読み出しが可能な構成を有する。この長時間メモリ１０１ｌは、背景画像や、シーン挿入前の画像など、主に長時間に渡って参照される画像を保存し、短時間メモリ１０１ｓよりも長い時間分のフレームを保存する。また、長時間メモリ１０１ｌへのフレームの保存は、短時間メモリ１０１ｓに保存されたものが長時間メモリ１０１ｌに移動するという形式で行われる。
【０１９１】
さらに、この長時間メモリ１０１ｌに、再構成画像信号Ｒｃの示すフレームが記録されるときには、そのフレームの表示時刻に関する情報と共に記録されたり、その時刻に関する情報が省かれた状態で記録されたりする。
【０１９２】
また本実施の形態のマルチフレームバッファ１０１は通知部１１５を備えており、この通知部１１５は、スイッチ１１１を介して動き推定部１０２によって読み出される参照フレームＲｆ１，Ｒｆ２が短時間メモリ１０１ｓから読み出されたものか、長時間メモリ１０１ｌから読み出されたものかを通知する内容の通知信号Ｉｎｆを出力する。
【０１９３】
図２１は、マルチフレームバッファ１０１に保存されたフレームの状態を示す状態図である。
短時間メモリ１０１ｓには、時間の経過ととともに、フレームｆｓ１、フレームｆｓ２、フレームｆｓ３…が順に保存され、長時間メモリ１０１ｌには、短時間メモリ１０１ｓに保存されたフレームのうち、後に参照される可能性のあるフレームｆｌ１とフレームｆｌ２が順に保存されている。
【０１９４】
ここでマルチフレームバッファ１０１から、図２１中の（ａ）に示すように、短時間メモリ１０１ｓに保存されているフレームｆｓ２が参照フレームＲｆ１として読み出されると、マルチフレームバッファ１０１の通知部１１５は、短時間メモリ１０１ｓからフレームが読み出されたことを知らせる内容の通知信号Ｉｎｆを出力する。また、マルチフレームバッファ１０１から、長時間メモリ１０１ｌに保存されているフレームｆｌ２が参照フレームＲｆ２として読み出されると、マルチフレームバッファ１０１の通知部１１５は、長時間メモリ１０１ｌからフレームが読み出されたことを知らせる内容の通知信号Ｉｎｆを出力する。
【０１９５】
これと同様、図２１の（ｂ）に示すように、マルチフレームバッファ１０１から、長時間メモリ１０１ｌに保存されているフレームｆｌ１，ｆｌ２がそれぞれ参照フレームＲｆ１，Ｒｆ２として読み出されると、マルチフレームバッファ１０１の通知部１１５は、フレームｆｌ１，ｆｌ２が読み出されるごとに、長時間メモリ１０１ｌからフレームが読み出されたことを知らせる内容の通知信号Ｉｎｆを出力する。
【０１９６】
判定部１１４は、通知部１１５からの通知信号Ｉｎｆを取得して、符号化対象ブロックごとに参照される参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたものか否かを判定する。そして、判定部１１４は、その判定結果に基づいてスイッチ１１３の接点の切り換えを指示する切換信号ｓｉ１を出力する。
【０１９７】
スイッチ１１３は、上述の切換信号ｓｉ１に応じて接点を切り換えることで、動き推定部１０２の動きベクトルＭＶ１の出力先を、動きベクトルスケーリング部１０７と減算器１１０とに切り換える。
【０１９８】
即ち上述の判定部１１４は、参照フレームＲｆ１，Ｒｆ２が短時間メモリ１０１ｓから読み出されたものであると判定したときには、スイッチ１１３の出力先が動きベクトルスケーリング部１０７になるように指示する切換信号ｓｉ１を出力し、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたものであると判定したときには、スイッチ１１３の出力先が減算器１１０になるように指示する切換信号ｓｉ１を出力する。
【０１９９】
動きベクトルスケーリング部１０７は、図３５を参照して説明した動作と同様、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１をスケーリングし、その結果生成された動きベクトルＭＶｓを出力する。
【０２００】
減算器１１０は、スイッチ１１３の出力先が動きベクトルスケーリング部１０７に設定されているときには、動き推定部１０２から取得された動きベクトルＭＶ２と、動きベクトルスケーリング部１０７から取得された動きベクトルＭＶｓとの差分を求め、その結果を示す差分ベクトルＭＶｄを出力する。
【０２０１】
また、減算器１１０は、自らがスイッチ１１３の出力先として設定されているときには、動きベクトルスケーリング部１０７からの動きベクトルＭＶｓの代わりに、動き推定部１０２からスイッチ１１３を介して取得された動きベクトルＭＶ１を用い、動きベクトルＭＶ２と動きベクトルＭＶ１との差分を求めて、その差分結果を差分ベクトルＭＶｄとして出力する。
【０２０２】
図２２は、差分ベクトルＭＶｄの作成される様子を説明するための説明図である。
この図２２に示すように、減算器１１０は、動きベクトルＭＶｓの代わりに動きベクトルＭＶ１を取得したときには、動きベクトルＭＶ２と動きベクトルＭＶ１との差分を求めて差分ベクトルＭＶｄを作成する。
【０２０３】
可変長符号化部１０６は、この差分ベクトルＭＶｄと動きベクトルＭＶ１と残差符号化信号Ｅｒとを可変長符号化し、これらの符号化された結果を画像符号化信号Ｂｓとして出力する。
【０２０４】
このような本実施の形態における動画像符号化装置１００の動きベクトルの符号化の一連の動作について、図２３を参照して説明する。
図２３は、動きベクトルの符号化の一連の動作を示すフロー図である。
【０２０５】
まず、動画像符号化装置１００の判定部１１４は、通知信号Ｉｎｆに基づいて参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたか否かを判定する（ステップＳ１０１）。
【０２０６】
そして、判定部１１４は、参照フレームＲｆ１，Ｒｆ２の２つのフレームが短時間メモリ１０１ｓから読み出されたと判定したときには（ステップＳ１０１のＮ）、スイッチ１１３の出力先が動きベクトルスケーリング部１０７となるようにスイッチ１１３の接点を切り換えさせる。その結果、動きベクトルスケーリング部１０７は、動きベクトルＭＶ１を取得してこれをスケーリングすることで動きベクトルＭＶｓを作成する（ステップＳ１０２）。そして、減算器１１０は、その作成された動きベクトルＭＶｓを取得する。
【０２０７】
一方、判定部１１４は、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたと判定したときには（ステップＳ１０１のＹ）、スイッチ１１３の出力先が減算器１１０となるようにスイッチ１１３の接点を切り換えさせる。その結果、減算器１１０は、スイッチ１１３を介して動き推定部１０２から取得された動きベクトルＭＶ１を、動きベクトルスケーリング部１０７から出力された動きベクトルＭＶｓとして扱う（ステップＳ１０３）。
【０２０８】
次に、減算器１１０は、動きベクトルＭＶ２と、上述の動きベクトルＭＶｓとの差分を求め、その差分結果を示す差分ベクトルＭＶｄを可変長符号化部１０６に出力する（ステップＳ１０４）。
【０２０９】
そして、可変長符号化部１０６は、動き推定部１０２から取得された動きベクトルＭＶ１を可変長符号化し（ステップＳ１０５）、減算器１１０から取得された差分ベクトルＭＶｄを可変長符号化する（ステップＳ１０６）。
【０２１０】
このように本実施の形態では、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたときには、動きベクトルスケーリング部１０７にスケーリングさせないため、フレームの表示時間に関する情報が長時間メモリ１０１ｌに記録されている場合であっても、その情報を利用した意味を成さないスケーリングの実行を省き、動きベクトルの符号化効率の向上を図ることができる。また、フレームの表示時間に関する情報が長時間メモリ１０１ｌに記録されていない場合には、無理なスケーリングの実行を省き、動きベクトルの符号化効率の向上を図ることができる。
【０２１１】
なお、本実施の形態では、スイッチ１１３の切り換えにより動きベクトルスケーリング部１０７に対してスケーリングを行わせたり、スケーリングを行わせないようにしたが、スイッチ１１３を備えずに図３３に示すような構成として、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたときには、常に動きベクトルスケーリング部１０７にスケーリングを行わないようにさせても良い。
【０２１２】
また、本実施の形態では、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ１０１ｌから読み出されたときには、動きベクトルＭＶ１と差分ベクトルＭＶｄを符号化したが、差分ベクトルＭＶｄを求めずに動きベクトルＭＶ１と動きベクトルＭＶ２を符号化しても良い。これは、２つの参照フレームＲｆ１，Ｒｆ２のうち少なくとも１つが長時間メモリ１０１ｌから読み出された場合には差分ベクトルＭＶｄを符号化するのではなく、動きベクトルＭＶ２を符号化することを意味する。この場合にはさらに、符号化対象ブロックの周辺にある周辺ブロックから動きベクトルＭＶ１，ＭＶ２の予測値を求めて動きベクトルＭＶ１，ＭＶ２のそれぞれとの予測値の差分を計算し、その差分を符号化しても良い。
【０２１３】
また、本実施の形態では、通知部１１５をマルチフレームバッファ１０１に備えたが、マルチフレームバッファ１０１以外の他の構成要素に備えても良く、通知部１１５を単独で備えても良い。
【０２１４】
（実施の形態８）
以下、本発明の第８の実施の形態における動画像復号化装置について図面を参照しながら説明する。
【０２１５】
図２４は、本実施の形態における動画像復号化装置２００の構成を示すブロック図である。
本実施の形態の動画像復号化装置２００は、実施の形態７の動画像符号化装置１００により符号化された動画像を復号化するものであって、可変長復号化部２０６と、動きベクトルスケーリング部２０７と、動き補償部２０３と、画像復号化部２０４と、マルチフレームバッファ２０１と、判定部２１４と、加算器２０９，２１０と、スイッチ２１３とを備えている。
【０２１６】
可変長復号化部２０６は、画像符号化信号Ｂｓを取得して可変長復号を行い、残差符号化信号Ｅｒと、動きベクトルＭＶ１と、差分ベクトルＭＶｄとを出力する。
【０２１７】
画像復号化部２０４は、残差符号化信号Ｅｒを取得して、逆量子化や逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号Ｄｒを出力する。
動き補償部２０３は、実施の形態１の動き補償部１０３と同様、参照フレームＲｆ１における動きベクトルＭＶ１により指し示される位置のブロックと、参照フレームＲｆ２における動きベクトルＭＶ２により指し示される位置のブロックとを、マルチフレームバッファ２０１から取り出す。そして動き補償部２０３は、これらのブロックに基づいて画素の補間処理を行って予測画像信号Ｐｒｅを作成しこれを出力する。
【０２１８】
加算器２０９は、動き補償部２０３からの予測画像信号Ｐｒｅと、画像復号化部２０４からの残差復号信号Ｄｒとを加算し、その結果を復号画像信号Ｄｉとして出力する。
【０２１９】
動きベクトルスケーリング部２０７は、実施の形態７の動きベクトルスケーリング部１０７と同様、可変長復号化部２０６から出力された動きベクトルＭＶ１を取得すると、符号化対象フレームＴｆと参照フレームＲｆ１との表示時間差Ｔ１、及び符号化対象フレームＴｆと参照フレームＲｆ２との表示時間差Ｔ２に基づいて、動きベクトルＭＶ１に対してスケーリングを行い、その結果生成された動きベクトルＭＶｓを出力する。
【０２２０】
マルチフレームバッファ２０１は、復号画像信号Ｄｉのうち、フレーム間予測で参照される可能性がある信号を格納する。また、このマルチフレームバッファ２０１には、実施の形態７のマルチフレームバッファ１０１の短時間メモリ１０１ｓ及び長時間メモリ１０１ｌと同様の機能及び構成を有する、短時間メモリ２０１ｓと長時間メモリ２０１ｌとが確保されている。つまり、復号画像信号Ｄｉが示すフレームは短時間メモリ２０１ｓと長時間メモリ２０１ｌとに適宜分別して保存される。
【０２２１】
さらに、このマルチフレームバッファ２０１は、実施の形態７のマルチバッファフレーム１０１の通知部１１５と同様の機能及び構成を有する通知部２１５を備えている。即ち、この通知部２１５は、動き補償部２０３によって読み出される参照フレームＲｆ１，Ｒｆ２が短時間メモリ２０１ｓから読み出されたものか、長時間メモリ２０１ｌから読み出されたものかを通知する内容の通知信号Ｉｎｆを出力する。
【０２２２】
判定部２１４は、実施の形態７の判定部１１４と同様の機能及び構成を有し、通知部２１５からの通知信号Ｉｎｆを取得して、符号化対象ブロックごとに参照される参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたものか否かを判定する。そして、判定部２１４は、その判定結果に基づいてスイッチ２１３の接点の切り換えを指示する切換信号ｓｉ１を出力する。
【０２２３】
スイッチ２１３は、上述の切換信号ｓｉ１に応じて接点を切り換えることで、可変長復号化部２０６から取得された動きベクトルＭＶ１の出力先を、動きベクトルスケーリング部２０７と加算器２１０とに切り換える。
【０２２４】
即ち上述の判定部２１４は、参照フレームＲｆ１，Ｒｆ２が短時間メモリ２０１ｓから読み出されたものであると判定したときには、スイッチ２１３の出力先が動きベクトルスケーリング部２０７になるように指示する切換信号ｓｉ１を出力し、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたものであると判定したときには、スイッチ２１３の出力先が加算器２１０になるように指示する切換信号ｓｉ１を出力する。
【０２２５】
加算器２１０は、スイッチ２１３の出力先が動きベクトルスケーリング部２０７に設定されているときには、可変長復号化部２０６から取得された動きベクトルＭＶｄと、動きベクトルスケーリング部２０７から取得された動きベクトルＭＶｓとを加算し、その結果を示す動きベクトルＭＶ２を動き補償部２０３に対して出力する。
【０２２６】
また、加算器２１０は、自らがスイッチ２１３の出力先として設定されているときには、動きベクトルスケーリング部２０７からの動きベクトルＭＶｓの代わりに、可変長復号化部２０６からスイッチ２１３を介して取得された動きベクトルＭＶ１を用い、動きベクトルＭＶｄと動きベクトルＭＶ１とを加算し、その結果を動きベクトルＭＶ２として動き補償部２０３に対して出力する。
【０２２７】
このような本実施の形態における動画像復号化装置２００の動きベクトルの復号化の一連の動作について、図２５を参照して説明する。
図２５は、動きベクトルの復号化の一連の動作を示すフロー図である。
【０２２８】
まず、動画像復号化装置２００の可変長復号化部２０６は、画像符号化信号Ｂｓを取得して可変長復号することで、動きベクトルＭＶ１を復号化するとともに（ステップＳ２０１）、差分ベクトルＭＶｄを復号化する（ステップＳ２０２）。
【０２２９】
次に、判定部２１４は、通知信号Ｉｎｆに基づいて参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたか否かを判別する（ステップＳ２０３）。
【０２３０】
そして、判定部２１４は、参照フレームＲｆ１，Ｒｆ２の２つのフレームが短時間メモリ２０１ｓから読み出されたと判定したときには（ステップＳ２０３のＮ）、スイッチ２１３の出力先が動きベクトルスケーリング部２０７となるようにスイッチ２１３の接点を切り換えさせる。その結果、動きベクトルスケーリング部２０７は、動きベクトルＭＶ１を取得してこれに対してスケーリングを行うことで動きベクトルＭＶｓを作成する（ステップＳ２０４）。そして、加算器２１０は、その作成された動きベクトルＭＶｓを取得する。
【０２３１】
一方、判定部２１４は、参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたと判定したときには（ステップＳ２０３のＹ）、スイッチ２１３の出力先が加算器２１０となるようにスイッチ２１３の接点を切り換えさせる。その結果、加算器２１０は、スイッチ２１３を介して可変長復号化部２０６から取得された動きベクトルＭＶ１を、動きベクトルスケーリング部１０７から出力された動きベクトルＭＶｓとして扱う（ステップＳ２０５）。
【０２３２】
そして、加算器２１０は、差分ベクトルＭＶｄに動きベクトルＭＶｓを加算し、その加算結果を示す動きベクトルＭＶ２を動き補償部２０３に出力する（ステップＳ２０６）。
【０２３３】
このように本実施の形態では、実施の形態７と同様、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたときには、動きベクトルスケーリング部２０７にスケーリングをさせないため、フレームの表示時間に関する情報が長時間メモリ２０１ｌに記録されている場合であっても、その情報を利用した意味を持たないスケーリングの実行を省き、動きベクトルの復号化効率の向上を図ることができる。また、フレームの表示時間に関する情報が長時間メモリ２０１ｌに記録されていない場合には、無理なスケーリングの実行を省き、動きベクトルの復号化効率の向上を図ることができる。
【０２３４】
なお、本実施の形態では、スイッチ２１３の切り換えにより動きベクトルスケーリング部２０７に対してスケーリングを行わせたり、スケーリングを行わせないようにしたが、スイッチ２１３を備えずに、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたときには、常に動きベクトルスケーリング部２０７にスケーリングを行わせないようにしても良い。
【０２３５】
また、本実施の形態では、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出されたときには、動きベクトルＭＶ１に差分ベクトルＭＶｄを加算して動きベクトルＭＶ２を導出したが、加算せずに動きベクトルＭＶ２を直接復号化しても良い。これは、２つの参照フレームＲｆ１，Ｒｆ２のうちの少なくとも１つが長時間メモリ２０１ｌから読み出された場合には差分ベクトルＭＶｄを復号化するのではなく、動きベクトルＭＶ２を復号化することを意味する。この場合にはさらに、動きベクトルＭＶ１，ＭＶ２のそれぞれが、復号化対象ブロックの周辺にある周辺ブロックから求められた動きベクトルＭＶ１，ＭＶ２の予測値を差し引いて符号化されているときには、その符号化された動きベクトルＭＶ１，ＭＶ２と上述の予測値を加算して、動きベクトルＭＶ１，ＭＶ２を復号化しても良い。
【０２３６】
また、本実施の形態では、通知部２１５をマルチフレームバッファ２０１に備えたが、マルチフレームバッファ２０１以外の他の構成要素に備えても良く、通知部２１５を単独で備えても良い。
【０２３７】
なお、実施の形態１〜８で説明したフレームは、フィールドであっても良い。また、フレームとフィールドを総称してピクチャと呼ぶ。
以上のように、本発明に係る動きベクトル検出方法と、この方法を用いた動きベクトル符号化方法と、動きベクトル復号化方法と、これらの方法を用いた装置について実施の形態１〜８を用いて説明したが、本発明は実施の形態１〜８に限定されるものではなく、他の形態によっても実現されるのは言うまでもない。
【０２３８】
（実施の形態９）
さらに、上記各実施の形態で示した動きベクトル検出方法及び動きベクトル符号化方法並びに動きベクトル復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０２３９】
図２６は、実施の形態１〜８の動きベクトル検出方法及び動きベクトル符号化方法並びに動きベクトル復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
【０２４０】
図２６中の（ｂ）は、フレキシブルディスクＦＤの正面からみた外観、断面構造、及びディスク本体ＦＤ１を示し、図２６中の（ａ）は、記録媒体の本体であるディスク本体ＦＤ１の物理フォーマットの例を示している。
【０２４１】
ディスク本体ＦＤ１はケースＦ内に内蔵され、ディスク本体ＦＤ１の表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤでは、上記ディスク本体ＦＤ１上に割り当てられた領域に、上記プログラムとしての動きベクトル符号化方法や動きベクトル復号化方法が記録されている。
【０２４２】
また、図２６中の（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓが上記プログラムとしての動きベクトル符号化方法または動きベクトル復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより上記動きベクトル符号化方法又は動きベクトル復号化方法をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムがフレキシブルディスクＦＤから読み出され、コンピュータシステムＣｓに転送される。
【０２４３】
なお、上記説明では、記録媒体としてフレキシブルディスクＦＤを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０２４４】
（実施の形態１０）
さらにここで、上記実施の形態で示した動きベクトル検出方法及び動きベクトル符号化方法並びに動きベクトル復号化方法の応用例とそれを用いたシステムを説明する。
【０２４５】
図２７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０２４６】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０２４７】
しかし、コンテンツ供給システムｅｘ１００は図２７のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０２４８】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０２４９】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０２５０】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０２５１】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０２５２】
図２８は、上記実施の形態で説明した動きベクトル検出方法及び動きベクトル符号化方法と動きベクトル復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０２５３】
さらに、携帯電話ｅｘ１１５について図２９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０２５４】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０２５５】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０２５６】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０２５７】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０２５８】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０２５９】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０２６０】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０２６１】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０２６２】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０２６３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図３０に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０２６４】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０２６５】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０２６６】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０２６７】
このように、上記実施の形態で示した動きベクトル検出方法、符号化方法、復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０２６８】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０２６９】
【発明の効果】
以上の説明から明らかなように、本発明に係る動きベクトル検出方法によれば、動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法であって、前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間ステップと、前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出ステップと、前記評価値に基づいて、前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補の中から１つを選択するとともに、前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補の中から１つを選択する選択ステップと、選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出ステップとを含むことを特徴とする。例えば、前記選択ステップでは、前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する。
【０２７０】
これにより、画素値の補間処理を行った結果に基づいて評価値が算出されるため、フェードが生じる場合であってもその影響による評価値の誤差の増加を防止して、最適な動きベクトルを検出することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図２】同上の参照フレームと符号化対象フレームの時間的位置関係を示すフレーム配置図である。
【図３】同上の動き推定部の構成を示すブロック図である。
【図４】同上の第１動きベクトル候補及び第２動きベクトル候補の生成方法を説明するための説明図である。
【図５】同上の画像符号化信号のフォーマットの概念を示す概念図である。
【図６】同上の動画像符号化装置が動きベクトルを検出して符号化するまでの動作を示すフロー図である。
【図７】本発明の第２の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図８】本発明の第３の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図９】同上の動き推定部の構成を示すブロック図である。
【図１０】同上の第１動きベクトル候補及び第２動きベクトル候補の生成方法を説明するための説明図である。
【図１１】同上の画像符号化信号のフォーマットの概念を示す概念図である。
【図１２】本発明の第４の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図１３】本発明の第５の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図１４】同上の動き推定部の構成を示すブロック図である。
【図１５】第１動きベクトル候補及び動きベクトル並びに第２動きベクトル候補の生成方法を説明するための説明図である。
【図１６】同上の変形例に係る動画像符号化装置の構成を示すブロック図である。
【図１７】同上の変形例に係る動画像符号化装置の画像符号化信号のフォーマットの概念を示す概念図である。
【図１８】本発明の第６の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図１９】本発明の第７の実施の形態における動画像符号化装置の構成を示すブロック図である。
【図２０】同上のマルチフレームバッファの内部のメモリの概略構成を示す構成図である。
【図２１】同上のマルチフレームバッファに保存されたフレームの状態を示す状態図である。
【図２２】同上の差分ベクトルの作成される様子を説明するための説明図である。
【図２３】同上の動きベクトルの符号化の一連の動作を示すフロー図である。
【図２４】本発明の第８の実施の形態における動画像復号化装置の構成を示すブロック図である。
【図２５】同上の動きベクトルの復号化の一連の動作を示すフロー図である。
【図２６】本発明の第９の実施の形態における記録媒体についての説明図である。
【図２７】本発明の第１０の実施の形態におけるコンテンツ供給システムの全体構成を示すブロック図である。
【図２８】同上の携帯電話の正面図である。
【図２９】同上の携帯電話のブロック図である。
【図３０】同上のディジタル放送用システムの全体構成を示すブロック図である。
【図３１】動きベクトルを説明するための説明図である。
【図３２】２枚のフレームを用いて予測画像を生成する様子を説明するための説明図である。
【図３３】従来例を示す動画像符号化装置の構成を示すブロック図である。
【図３４】同上の動き推定部の構成を示すブロック図である。
【図３５】同上の動きベクトルを検出する様子を説明するための説明図である。
【図３６】フェードによる画素値の変化を説明するための説明図である。
【図３７】従来例を示す動画像符号化装置が出力する画像符号化信号のフォーマットの概念を示す概念図である。
【図３８】従来例を示す動画像復号化装置の構成を示すブロック図である。
【符号の説明】
３０１ マルチフレームバッファ
３０２ 動き推定部
３０３ 動き補償部
３０４ 画像符号化部
３０５ 画像復号部
３０６ 可変長符号化部
３０８ 加算機
３０９ 減算器
Ｂｓ１ 画像符号化信号
Ｄｒ 残差復号信号
Ｅｒ 残差符号化信号
Ｉｍｇ 画像信号
ＭＶ１，ＭＶ２ 動きベクトル
Ｐｒｅ 予測画像信号
Ｒｃ 再構成画像信号
Ｒｆ１，Ｒｆ２ 参照フレーム
Claims (17)
- 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法であって、
前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、
前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、
前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間ステップと、
前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出ステップと、
前記評価値に基づいて、前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補の中から１つを選択するとともに、前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補の中から１つを選択する選択ステップと、
選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出ステップと
を含むことを特徴とする動きベクトル検出方法。 - 前記選択ステップでは、
前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する
ことを特徴とする請求項１記載の動きベクトル検出方法。 - 前記第２の候補生成ステップでは、
前記検出対象ブロックを含むピクチャを基準とした前記第１及び第２の参照ピクチャの表示時間差に応じた割合で、前記第１の動きベクトル候補に対してスケーリングを行うことで第２の動きベクトル候補を生成する
ことを特徴とする請求項１又は２記載の動きベクトル検出方法。 - 前記第２の候補生成ステップでは、
前記検出対象ブロックを含むピクチャを基準とした表示時間差が、
前記第１の参照ピクチャよりも長くなるピクチャを、前記第２の参照ピクチャとして選択する
ことを特徴とする請求項３記載の動きベクトル検出方法。 - 前記第１の候補生成ステップでは、
前記検出対象ブロックを含むピクチャの表示時刻よりも前にあるピクチャを前記第１の参照ピクチャとして選択する
ことを特徴とする請求項３記載の動きベクトル検出方法。 - 前記第１の候補生成ステップでは、
前記検出対象ブロックを含むピクチャの表示時刻よりも前にあるピクチャを前記第１の参照ピクチャとして選択し、
前記第２の候補生成ステップでは、
前記検出対象ブロックを含むピクチャの表示時刻よりも前にあるピクチャを前記第２の参照ピクチャとして選択する
ことを特徴とする請求項１又は２記載の動きベクトル検出方法。 - 前記第１の候補生成ステップでは、
前記検出対象ブロックを含むピクチャの表示時刻よりも後にあるピクチャを前記第１の参照ピクチャとして選択し、
前記第２の候補生成ステップでは、
前記検出対象ブロックを含むピクチャの表示時刻よりも後にあるピクチャを前記第２の参照ピクチャとして選択する
ことを特徴とする請求項１又は２記載の動きベクトル検出方法。 - 前記第２の候補生成ステップでは、
前記検出対象ブロックを含むピクチャの表示時刻を基準に、表示時刻の前後が前記第１の参照ピクチャと異なるピクチャを第２の参照ピクチャとして選択する
ことを特徴とする請求項１項又は２記載の動きベクトル検出方法。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法であって、
前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、
前記検出対象ブロックを含むピクチャを基準とした第１及び第２の参照ピクチャの表示時間差に応じた割合で、前記第１の動きベクトル候補に対してスケーリングを行うことで、前記検出対象ブロックの第２の参照ピクチャに基づくスケーリングベクトルを生成するスケーリングベクトル生成ステップと、
前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおけるスケーリングベクトルが示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで第１の補間予測ブロックを作成する第１の補間ステップと、
前記第１の補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する第１の算出ステップと、
前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補の中から、前記第１の算出ステップで算出される評価値が最小となる第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出する第１の検出ステップと、
前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、
前記第１の参照ピクチャにおける前記第１の動きベクトルが示す第３の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第４の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで第２の補間予測ブロックを作成する第２の補間ステップと、
前記第２の補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する第２の算出ステップと、
前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補の中から、前記第２の算出ステップで算出される評価値が最小となる第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する第２の検出ステップと
を含むことを特徴とする動きベクトル検出方法。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを符号化する動きベクトル符号化方法であって、
請求項１又は２の動きベクトル検出方法で第１及び第２の動きベクトルを検出する動きベクトル検出ステップと、
前記第１及び第２の動きベクトルをそれぞれ符号化する符号化ステップと
を含むことを特徴とする動きベクトル符号化方法。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを符号化する動きベクトル符号化方法であって、
ピクチャがその表示時刻に関する情報と共に記録される第１の領域と他のピクチャが記録される第２の領域とを有する記憶手段から第１及び第２の参照ピクチャを読み出す読出ステップと、
請求項１又は２の動きベクトル検出方法で、前記第１及び第２の参照ピクチャを用いて第１及び第２の動きベクトルを検出する動きベクトル検出ステップと、
前記第１及び第２の参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたか否かを判定する判定ステップと、
前記判別ステップで、前記第１及び第２の参照ピクチャのうちの少なくとも１つが前記第２の領域から読み出されたと判定されたときには、前記第１及び第２の動きベクトルをそれぞれ符号化する符号化ステップと
を含むことを特徴とする動きベクトル符号化方法。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出装置であって、
前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成手段と、
前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成手段と、
前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間手段と、
前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出手段と、
前記第１の候補生成手段で生成された複数の第１の動きベクトル候補と、前記第２の候補生成手段で生成された複数の第２の動きベクトル候補との中から、前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する選択手段と、
選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出手段と
を備えることを特徴とする動きベクトル検出装置。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを符号化する動きベクトル符号化装置であって、
請求項１２記載の動きベクトル検出装置と、
前記動きベクトル検出装置で検出された第１及び第２の動きベクトルをそれぞれ符号化する符号化手段と
を備えることを特徴とする動きベクトル符号化装置。 - 動画像を構成するピクチャを符号化する動画像符号化装置であって、
請求項１３記載の動きベクトル符号化装置と、
前記動きベクトル符号化装置により符号化された第１及第２の動きベクトルに対応するブロックを符号化する画像符号化手段と
を備えることを特徴とする動画像符号化装置。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを検出する動きベクトル検出方法を、コンピュータに実行させるプログラムであって、
前記検出対象ブロックの第１の参照ピクチャに基づく第１の動きベクトル候補を生成する第１の候補生成ステップと、
前記検出対象ブロックの第２の参照ピクチャに基づく第２の動きベクトル候補を生成する第２の候補生成ステップと、
前記第１の参照ピクチャにおける第１の動きベクトル候補が示す第１の予測用ブロックと、前記第２の参照ピクチャにおける第２の動きベクトル候補が示す第２の予測用ブロックとに基づいて、互いに対応する画素の画素値の補間を行うことで補間予測ブロックを作成する補間ステップと、
前記補間予測ブロックと前記検出対象ブロックとの互いに対応する画素の画素値の差に基づく評価値を算出する算出ステップと、
前記第１の候補生成ステップで生成された複数の第１の動きベクトル候補と、前記第２の候補生成ステップで生成された複数の第２の動きベクトル候補との中から、前記評価値が最小となる第１及び第２の動きベクトル候補をそれぞれ１つ選択する選択ステップと、
選択された前記第１の動きベクトル候補を、前記検出対象ブロックにおける前記第１の参照ピクチャに基づく第１の動きベクトルとして検出するとともに、選択された前記第２の動きベクトル候補を、前記検出対象ブロックにおける前記第２の参照ピクチャに基づく第２の動きベクトルとして検出する検出ステップと
を含むことを特徴とするプログラム。 - 動画像を構成するピクチャの中のブロックにおける、他のピクチャからの変位を示す動きベクトルを符号化する動きベクトル符号化方法を、コンピュータに実行させるプログラムであって、
請求項１５記載のプログラムに含まれるステップと、
前記第１及び第２の動きベクトルをそれぞれ符号化する符号化ステップと
を含むことを特徴とするプログラム。 - 請求項１６記載のプログラムを格納する記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003068058A JP2004215215A (ja) | 2002-03-14 | 2003-03-13 | 動きベクトル検出方法 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070046 | 2002-03-14 | ||
| US37795502P | 2002-05-07 | 2002-05-07 | |
| JP2002332846 | 2002-11-15 | ||
| JP2003068058A JP2004215215A (ja) | 2002-03-14 | 2003-03-13 | 動きベクトル検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004215215A true JP2004215215A (ja) | 2004-07-29 |
Family
ID=32830998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003068058A Withdrawn JP2004215215A (ja) | 2002-03-14 | 2003-03-13 | 動きベクトル検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004215215A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013232973A (ja) * | 2011-10-27 | 2013-11-14 | Panasonic Corp | 符号化復号装置 |
| JP2014042291A (ja) * | 2011-10-28 | 2014-03-06 | Panasonic Corp | 符号化方法および符号化装置 |
| JP2015039227A (ja) * | 2012-05-09 | 2015-02-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 符号化復号装置 |
| CN105445332A (zh) * | 2015-12-24 | 2016-03-30 | 安徽泓森物联网有限公司 | 电子叶片 |
| US10321152B2 (en) | 2011-10-28 | 2019-06-11 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
-
2003
- 2003-03-13 JP JP2003068058A patent/JP2004215215A/ja not_active Withdrawn
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013232973A (ja) * | 2011-10-27 | 2013-11-14 | Panasonic Corp | 符号化復号装置 |
| US10893293B2 (en) | 2011-10-28 | 2021-01-12 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US11356696B2 (en) | 2011-10-28 | 2022-06-07 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10567792B2 (en) | 2011-10-28 | 2020-02-18 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10631004B2 (en) | 2011-10-28 | 2020-04-21 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2017099001A (ja) * | 2011-10-28 | 2017-06-01 | サン パテント トラスト | 符号化復号システム |
| US9699474B2 (en) | 2011-10-28 | 2017-07-04 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US9912962B2 (en) | 2011-10-28 | 2018-03-06 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10045047B2 (en) | 2011-10-28 | 2018-08-07 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US12132930B2 (en) | 2011-10-28 | 2024-10-29 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US10321152B2 (en) | 2011-10-28 | 2019-06-11 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US11902568B2 (en) | 2011-10-28 | 2024-02-13 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2014042291A (ja) * | 2011-10-28 | 2014-03-06 | Panasonic Corp | 符号化方法および符号化装置 |
| US11115677B2 (en) | 2011-10-28 | 2021-09-07 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2014042292A (ja) * | 2011-10-28 | 2014-03-06 | Panasonic Corp | 予測動きベクトル導出方法および予測動きベクトル導出装置 |
| US11622128B2 (en) | 2011-10-28 | 2023-04-04 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| US11831907B2 (en) | 2011-10-28 | 2023-11-28 | Sun Patent Trust | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
| JP2015039227A (ja) * | 2012-05-09 | 2015-02-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 符号化復号装置 |
| CN105445332A (zh) * | 2015-12-24 | 2016-03-30 | 安徽泓森物联网有限公司 | 电子叶片 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100985236B1 (ko) | 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법 | |
| JP4718578B2 (ja) | 画像復号化方法および画像復号化装置 | |
| KR100967237B1 (ko) | 동화상 부호화 방법 및 동화상 복호화 방법 | |
| JP4949028B2 (ja) | 復号化装置、符号化装置、復号化方法、符号化方法 | |
| KR100557911B1 (ko) | 화상 부호화 방법 및 화상 복호화 방법 | |
| EP1489848A1 (en) | Motion vector detection method | |
| JP2004096705A (ja) | 動きベクトル符号化方法および動きベクトル復号化方法 | |
| JP2003169337A (ja) | 画像符号化方法および画像復号化方法 | |
| JP2004088737A (ja) | 画像符号化方法および画像復号化方法 | |
| JP2004215215A (ja) | 動きベクトル検出方法 | |
| JP2005142986A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
| JP2004040512A (ja) | 画像符号化方法および画像復号方法 | |
| JP4406239B2 (ja) | 動き補償方法および動き補償装置 | |
| JP4503959B2 (ja) | 画像符号化方法 | |
| KR20050018729A (ko) | 화상 부호화 방법 및 화상 복호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060113 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070501 |