JP4003149B2

JP4003149B2 - Image encoding apparatus and method

Info

Publication number: JP4003149B2
Application number: JP10543098A
Authority: JP
Inventors: 英史小倉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-03-31
Filing date: 1998-03-31
Publication date: 2007-11-07
Anticipated expiration: 2018-03-31
Also published as: JPH11289540A

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
【０００２】
発明の属する技術分野
従来の技術（図１２〜図１４）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態（図１〜図１１）
発明の効果
【０００３】
【発明の属する技術分野】
本発明は画像符号化装置及びその方法に関し、入力画像の動きベクトルを検出し当該動きベクトルに基づいて入力画像を符号化する画像符号化装置及びその方法に適用して好適なものである。
【０００４】
【従来の技術】
従来、例えばＭＰＥＧ(Moving Picture Experts Group)規格に基づいて動画像を符号化する画像符号化装置においては、例えば１５フレームの動画像データをＧＯＰ(Group Of Pictures) と呼ばれる１つの処理単位として符号化するようになされている。
【０００５】
１つのＧＯＰには、Ｉピクチヤ(Intra-Picture：フレーム内符号化画像）、Ｐピクチヤ(Predictive-Picture:フレーム間順方向予測符号化画像）、Ｂピクチヤ(Bidirectionally Predictive-Picture:双方向予測符号化画像）と呼ばれるフレーム単位の符号化タイプがある。
【０００６】
Ｉピクチヤは、ＧＯＰの独立性を保つためのものであり、その画面全体が符号化されるものである。
【０００７】
Ｐピクチヤは、符号化しようとする現在のフレーム（基準フレーム）内を例えば１６×１６画素のマクロブロツク単位で分割し、当該分割されてなる各マクロブロツクを基準ブロツクする。そして、過去のＩピクチヤ又はＰピクチヤを検索フレームとして当該検索フレーム内の所定のサーチ範囲内を検索し、マクロブロツク単位で基準ブロツクとのブロツクマツチングを行う。この結果、最もマツチングするブロツクの距離を動きベクトルとして検出し、検索フレームとの差分データを符号化する際に当該動きベクトルを用いて動き補償を行うと共に、これを復号装置側に伝送し復号時の動き補償に用いる。因みに、ブロツクマツチングの方法としては、基準ブロツク及び検索ブロツク内のすべての画素同士の引き算を行い、その絶対値和又は二乗和を求め、その演算結果が最小の位置をマツチングしたブロツクとする方法（フルサーチブロツクマツチング法）が用いられている。
【０００８】
また、Ｂピクチヤは、符号化しようとする現在のフレーム（基準フレーム）の各マクロブロツクを基準ブロツクとして、過去及び未来の双方向のＩピクチヤ及びＰピクチヤを検索する。そして当該検索フレーム内の所定のサーチ範囲内においてマクロブロツク単位で基準ブロツクとのブロツクマツチングを行う。この結果、最もマツチングするブロツクの距離を動きベクトルとして検出し、検索フレームとの差分データを符号化する際に当該動きベクトルを用いて動き補償を行うと共に、これを復号装置側に伝送し復号時の動き補償に用いる。
【０００９】
ここで図１２に示すように、双方向予測を行う際には、始めにＰピクチヤ（Ｐ６）を基準フレームとし、当該基準フレーム（Ｐ６）から３フレーム離れたＩピクチヤ（Ｉ３）を検索フレームとして前方向のみの動きベクトル検出を行う。次に、Ｂピクチヤ（Ｂ４）を基準フレームとしてＩピクチヤ（Ｉ３）を検索フレームとした前方向の動きベクトル検出とＰピクチヤ（Ｐ６）を検索フレームとした後方向の動きベクトル検出とからなる双方向予測を行う。そして次に、Ｂピクチヤ（Ｂ５）を基準フレームとしてＩピクチヤ（Ｉ３）を検索フレームとした前方向の動きベクトル検出とＰピクチヤ（Ｐ６）を検索フレームとした後方向の動きベクトル検出とからなる双方向予測を行う。
【００１０】
かかる双方向予測符号化における動きベクトルの検出順序を図１３に示す。図１３において、入力画像Ｂ１、Ｂ２、Ｉ３、Ｂ４、……はそれぞれピクチヤタイプ（Ｉピクチヤ、Ｂピクチヤ、Ｐピクチヤ）をアルフアベツト（Ｉ、Ｂ、Ｐ）で表すと共にエンコードされる順序をフレーム番号で表している。
【００１１】
図１３においては、双方向予測を行うＢピクチヤを２枚使用した場合を示し、図中「○」印が付されたフレームは、現在符号化されるフレームを示している。また図中の矢印の始点は基準フレームを示し、当該矢印の指すフレームは検索フレームを示している。因みに図１３において縦軸は時刻をフレーム単位で表している。
【００１２】
この図１３において、例えば時刻「３」において、現フレーム（Ｂ４）を基準のマクロブロツクとして前方向予測の検索フレーム（Ｉ３）及び後方向予測の検索フレーム（Ｐ６）への双方向予測を行い、２つの動きベクトルを求めている。
【００１３】
【発明が解決しようとする課題】
ところで、動きベクトルの検出を過去及び未来の双方向で行う場合、シーンチエンジ点が途中に存在すると双方向の動き検出のうち一方の検出が困難になる場合があつた。また例えば図１２に示したように、２枚のＢピクチヤを用いて符号化を行う場合には、一方の動きベクトル検出が１フレーム間で行われ、他方の動きベクトル検出が２フレーム間で行われることになる。この場合、画像の動きが大きいと、２フレーム間での動きベクトル検出において検索範囲が不足したり、さらに画像の動きが大きくなると双方向での動きベクトル検出が困難になる問題があつた。
【００１４】
すなわち、図１４に示すように、±Ａ画素の検索範囲ＡＲ１、ＡＲ２を有する動き検出回路が前方向予測及び後方向予測用にそれぞれ２つある場合において、例えばビデオカメラが高速でパン（移動）しており実際の動きが１フレーム間でＢ画素分（Ｂ＞Ａ）あるとすると、例えばＢピクチヤを基準フレームとした１フレーム間の前方向予測においては、図１４（Ａ）に示すようにブロツクマツチングすべきブロツクが検索範囲ＡＲ１の外に外れることになり、正確な動きベクトルの検出が困難になる。この場合、図１４（Ｂ）に示すように、２フレーム間の後方向予測においては当然のごとくブロツクマツチングすべきブロツクは基準位置から２Ｂ画素分移動することにより検索範囲ＡＲ２の外に外れ、正確な動きベクトル検出は困難になる。
【００１５】
かかる問題点を解決するための一つの方法として、図１４（Ｃ）に示すように、探索範囲ＡＲ３を広げる方法か考えられるが、この場合においても画像の動きが大きいと動きベクトルの検出が困難になることを避け得ず、符号化画像の画質劣化を招く問題があつた。
【００１６】
本発明は以上の点を考慮してなされたもので、画像の動きが大きい場合においても画質の大幅な劣化を回避し得る画像符号化装置及びその方法を提案しようとするものである。
【００１７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像のうち、双方向による動きベクトルを検出するべき双方向予測画像に対し、基準となる基準検索範囲において過去の参照画像に対して双方向予測画像を比較して動きベクトルを検出する前方向予測、及び未来の参照画像に対して双方向予測画像を比較して動きベクトルを検出する後方向予測のうち、一方向の予測よりも先に実行する逆方向の予測を当該一方向の予測よりも少ない画像間隔で実行する際、基準検索範囲で検索範囲が足りていると判別した場合には一方向の予測を実行し、基準検索範囲では検索範囲が不足していると判別した場合には検索範囲を基準検索範囲から変更して逆方向の予測を再度実行し、一方向の予測を省略することにより、画像の動きが大きい場合においても少なくとも片方向の動き検出を確実に行うことができ、この分符号化画像の画質を向上し得る。
【００１８】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１９】
図１において２０は全体として画像符号化装置を示し、入力画像データＤ１０を動きベクトル検出部２１及び演算部２４に受ける。動きベクトル検出部２１は、内部に設けられたフレームメモリに格納された２つのフレーム（ピクチヤ）間の動きベクトル情報Ｄ２１を検出し、これを動き補償部３１に供給する。
【００２０】
動き補償部３１はこのときフレームメモリ３０に格納されている参照画像に対して動きベクトル情報Ｄ２１を用いた動き補償処理を施すことにより予測画像データＤ３１を生成し、これを演算部２４に供給する。
【００２１】
演算部２４は入力画像データＤ１０と予測画像データＤ３１との差分を算出し、この差分データＤ２４をＤＣＴ(Discrete Cosine Transform) 部２５に供給する。ＤＣＴ部２５は差分データＤ２４に対してＤＣＴ（離散コサイン変換）処理を施すことにより、ＤＣＴ係数列Ｄ２５を生成し、これを量子化部２６に供給する。量子化部２６は、ＤＣＴ係数列Ｄ２５を量子化することにより量子化データＤ２６を生成し、これを可変長符号化部３３及び逆量子化部２７にそれぞれ供給する。
【００２２】
逆量子化部２７は、量子化データＤ２６を逆量子化処理することによりＤＣＴ係数列Ｄ２７を復元する。ＤＣＴ係数列Ｄ２７は、さらに逆ＤＣＴ部２８に供給され逆ＤＣＴ処理が施される。かくして逆ＤＣＴ部２８はピクチヤタイプに応じた差分データＤ２８を復元し、これを演算部２９に出力する。
【００２３】
演算部２９は差分データＤ２８に対して動き補償部３１から出力される予測画像データＤ３１を加算演算することにより、参照画像データＤ２９を生成しこれをフレームメモリ３０に格納する。
【００２４】
かくしてＤＣＴ部２５及び量子化部２６を介して量子化された差分データは、逆量子化部２７及び逆ＤＣＴ部２８によつて差分データＤ２８として復元され、演算部２９において予測画像データＤ３１と加算されることにより参照画像データＤ２９となる。これにより続くフレーム（ピクチヤ）に対する参照画像がフレームメモリ３０に用意されることになる。
【００２５】
ここで動きベクトル検出部２１は、図２に示すように、入力画像データＤ１０をフレームメモリ５１に一旦格納し、制御判定部６２から出力される読出し制御信号Ｄ５２に基づいて、符号化しようとする基準フレームの画像データを各マクロブロツク単位で読み出し、これを基準ブロツクデータＤ５３として２つの動き検出部ＭＥ１及びＭＥ２に供給する。
【００２６】
またフレームメモリ５１は制御判定部６２から出力される読出し制御信号Ｄ５２に基づいて検索フレームにおける所定の検索範囲の画像データを順次各マクロブロツク単位で読み出し、これを検索ブロツクデータＤ５４として動き検出部ＭＥ１及びＭＥ２に供給する。
【００２７】
この場合、制御判定部６２は、双方向予測において前方向予測に用いる検索フレームの検索ブロツクデータＤ５４を一方の動き検出部ＭＥ１（又は動き検出部ＭＥ２）に供給すると共に、後方向予測に用いる検索フレームの検索ブロツクデータＤ５４を他方の動き検出部ＭＥ２（又は動き検出部ＭＥ１）に供給する。
【００２８】
各動き検出部ＭＥ１及びＭＥ２は、基準ブロツクデータＤ５３及び検索ブロツクデータＤ５４に基づき、当該基準ブロツクと検索ブロツクとの距離を動きベクトルデータＤ５６、Ｄ６０としてそれぞれ制御判定部６２に供給すると共に、基準ブロツク及び検索ブロツクの画像データの差分を残差データＤ５７及びＤ６１として制御判定部６２に供給する。
【００２９】
制御判定部６２は、動き検出部ＭＥ１から供給される動きベクトルデータＤ５６及び残差データＤ５７に基づき、所定の検索範囲内でのブロツクマツチングを行う。このブロツクマツチングにおいて、制御判定部６２は、基準ブロツクと検索ブロツクのすべての画素同士の引き算を行つた結果の絶対値和又は二乗和が最小となるブロツクを検索し、当該ブロツクマツチングの結果得られた検索ブロツクと基準ブロツクとの動きベクトルを前方向予測（又は後方向予測）における動きベクトルとして動き補償モード等の制御情報と共に動き情報Ｄ６３として動き補償部３１（図１）及び可変長符号化部３３（図１）に供給する。
【００３０】
また、これと同様にして、制御判定部６２は、動き検出部ＭＥ２から供給される動きベクトルデータＤ６０及び残差データＤ６１に基づき、所定の検索範囲内でのブロツクマツチングを行う。このブロツクマツチングにおいて、制御判定部６２は、基準ブロツクと検索ブロツクのすべての画素同士の引き算を行つた結果の絶対値和又は二乗和が最小となるブロツクを検索し、当該ブロツクマツチングの結果得られた検索ブロツクと基準ブロツクとの動きベクトルを後方向予測（又は前方向予測）における動きベクトルとして動き補償モード等の制御情報と共に動き情報Ｄ６３として動き補償部３１（図１）及び可変長符号化部３３（図１）に供給する。
【００３１】
ここで、制御判定部６２は、双方向予測を行う際の検索フレームと、当該検索フレームにおける検索範囲を動きベクトル及び残差等の動き情報に基づいて決定し、これにより決定された検索フレーム及び検索範囲を読出し制御信号Ｄ５２によつて指定し、決定された検索フレーム及び検索範囲のマクロブロツクを読み出すようになされている。
【００３２】
すなわち、この実施の形態の動きベクトル検出部２１における基本的動き予測方法を図３に示す。この図３において、入力画像Ｂ１、Ｂ２、Ｉ３、Ｂ４、……はそれぞれピクチヤタイプ（Ｉピクチヤ、Ｂピクチヤ、Ｐピクチヤ）をアルフアベツト（Ｉ、Ｂ、Ｐ）で表すと共にエンコードされる順序をフレーム番号で表している。この実施の形態の場合、双方向予測を行うＢピクチヤを２枚使用するようにされており、図中「○」印が付されたフレームは、現在符号化されるフレームを示している。また図中の矢印の始点は基準フレームを示し、当該矢印の指すフレームは検索フレームを示している。因みに図３において縦軸は時刻をフレーム単位で表している。
【００３３】
この図３において、例えば時刻「３」において、現フレームであるＢピクチヤ（Ｂ４）を基準フレームとして双方向予測を行う場合、時刻「０」において予めＩピクチヤ（Ｉ３）を検索フレームとする前方向予測を行つておき、時刻「３」においてはＰピクチヤ（Ｐ６）を検索フレームとする後予測を行うようになされている。
【００３４】
また例えば時刻「４」において現フレームであるＢピクチヤ（Ｂ５）を基準フレームとして双方向予測を行う場合、時刻「１」において予めＩピクチヤ（Ｉ３）を検索フレームとする前方向予測を行つておき、時刻「４」においてはＰピクチヤ（Ｐ６）を検索フレームとする後予測を行うようになされている。
【００３５】
このように、動きベクトル検出部２１の制御判定部６２（図２）は、Ｂピクチヤを基準フレームとした場合の双方向予測を行う際に、一方の予測を予め行うようになされている。
【００３６】
因みに、図３において例えば時刻「２」のＰピクチヤ（Ｐ６）を基準フレームとした場合のＩピクチヤ（Ｉ３）への検索において同じ時刻に矢印が１本だけ示されている場合、動きベクトル検出部２１の２つの動き検出部ＭＥ１及びＭＥ２に対して検索フレーム（Ｉ３）の別々の検索範囲を割り当てて検索を行う。
【００３７】
かかる基本的動き予測方法において、制御判定部６２は予め行われる一方の予測（例えば図３の時刻「０」における基準フレーム（Ｂ４）から検索フレーム（Ｉ３）への検索）において、検索範囲が足りるか否かを判定する。
【００３８】
すなわち、動き検出部ＭＥ１及びＭＥ２は、それぞれフレームメモリ５１から供給される基準フレームの基準ブロツクデータＤ５３及び検索フレームの検索ブロツクデータＤ５４をそれぞれフイールドごとに読み出し、当該フイールドごとに動きベクトル及び残差を求め、これを動きベクトルデータＤ５６、Ｄ６０及び残差データＤ５７、Ｄ６１として制御判定部６２に供給する。
【００３９】
制御判定部６２は、複数のフイールド間隔の動きベクトル検出の残差を比較して、Ｍフイールド間の動きベクトル検出時の残差がＮフイールド間の残差よりも小さい時（Ｍ＜Ｎ）、検索範囲が不足していると判定する。
【００４０】
すなわち、図３において時刻「０」における基準フレーム（Ｂ４）から検索フレーム（Ｉ３）への動きベクトル検出を行う場合には、図４に示すように、４種類のフイールド動きベクトルＶ１〜Ｖ４が存在し、フイールド間隔は、１フイールド間隔、２フイールド間隔及び３フイールド間隔の３種類が存在する。
【００４１】
ここで１フイールド間の残差をＭＡＥ１とし、２フイールド間の残差をＭＡＥ２とし、３フイールド間の残差をＭＡＥ３とし、動き補償を行うことが可能であるか否の閾値をＴｈとする。閾値Ｔｈは一定ではなく画像ごとやマクロブロツクごとにより変化する場合がある。この閾値Ｔｈの例としては、動き補償せずにそのままマクロブロツクデータを伝送した場合に予測される情報量が考えられる。
【００４２】
そして、制御判定部６２は、フイールド間隔ごとに得られる３つの残差ＭＡＥ１、ＭＡＥ２及びＭＡＥ３の値に応じて検索範囲が足りているか否かを判定する。
【００４３】
すなわち、残差ＭＡＥ１、ＭＡＥ２及びＭＡＥ３の各値が、次式、
【００４４】
【数１】

【００４５】
を満足するとき、制御判定部６２は検索範囲が十分に足りていると判定する。
【００４６】
従つて、この場合図５（Ａ）及び（Ｂ）に示すように、予め設定されている検索範囲にブロツクマツチングした検索ブロツクが存在していることになり、制御判定部６２は、図３の時刻「０」及び「３」において前方向予測及び後方向予測を行うことにより、各動きベクトルを検出する。
【００４７】
これに対して、次式、
【００４８】
【数２】

【００４９】
で表される場合、又は次式、
【００５０】
【数３】

【００５１】
で表されるように、１フイールド間の残差ＭＡＥ１及び２フイールド間の残差ＭＡＥ２が３フイールド間の残差ＭＡＥ３よりも小さい場合が圧倒的に多いとき、これは１フイールド間及び２フイールド間の動き検出においては、検索範囲が足りているのに対して３フイールド間の動き検出において検索範囲が不足していると判定される。因みに（３）式においてＴｈ２は１フイールド間の残差ＭＡＥ１の比率を表す閾値である。
【００５２】
またこれに対して、次式、
【００５３】
【数４】

【００５４】
又は次式、
【００５５】
【数５】

【００５６】
で表されるように、１フイールド間の残差ＭＡＥ１が閾値よりも小さく、２フイールド間の残差ＭＡＥ２及び３フイールド間の残差ＭＡＥ３が閾値Ｔｈよりも大きい場合か多いとき、制御判定部６２は１フイールド間の動き検出のみが検索範囲が足りていると判定する。
【００５７】
このようにして、少なくとも１フイールド間の動き検出において探索範囲が足りていると判定された場合、制御判定部６２は、探索範囲が足りている動きベクトル分布から１フイールド間の最大動き量を推定し、必要なフイールド間隔分の検索範囲の予測を行う。
【００５８】
すなわち、１フイールド間の動きベクトルをＭＶ１、２フイールド間の動きベクトルをＭＶ２、３フイールド間の動きベクトルをＭＶ３とすると、次式、
【００５９】
【数６】

【００６０】
【数７】

【００６１】
によつて表される関係があると推定する。
【００６２】
そして少なくとも１フイールド間の動き検出のみにおいて検索範囲が足りている状態では、図６（Ａ）に示すように、１フイールド間の動きベクトルＭＶ１のみが検索範囲ＡＲ１内に収まつており、２フイールド間の動きベクトルＭＶ２及び３フイールド間の動きベクトルＭＶ３は、検索範囲ＡＲ１の外にあると予想される。
【００６３】
従つて、このとき制御判定部６２は、（６）式及び（７）式に基づいて、２フイールド間の動きベクトルＭＶ２及び３フイールド間の動きベクトルＭＶ３を予測し、これに応じて検索範囲ＡＲ１の場所を変更する。この結果、図６（Ｂ）に示すように動きベクトルＭＶ２及びＭＶ３を検索するために足りる検索範囲ＡＲ１´が検索範囲ＡＲ１と同じ面積のまま異なる場所に求まる。因みに、図６においては１つの動きベクトルのみに注目して検索範囲ＡＲ１´を求めたが、本発明はこれに限らず、１画面すべてのマクロブロツクについて１フイールド間における動きベクトルＭＶ１の分布を求め、これに基づいて２フイールド間及び３フイールド間における多くの動きベクトルＭＶ２及びＭＶ３を求め、当該求められた動きベクトルＭＶ２及びＭＶ３のうち、できるだけ多くのベクトルが検出されるような検索範囲を決定することもできる。
【００６４】
このようにして図３の時刻「０」における基準フレーム（Ｂ４）から検索フレーム（Ｉ３）への動き検出において検索範囲が少なくとも２フイールド間で不足していると判定され新たな検索範囲ＡＲ１´が求められると、制御判定部６２は、図３の時刻「１」における基準フレーム（Ｂ５）から２フレーム離れた検索フレーム（Ｉ３）への動き検出を行わず、これに代えて図７に示すように、時刻「１」において再び基準フレームをＢピクチヤ（Ｂ４）として検索フレーム（Ｉ３）への１フレーム間での動き検出を新たに設定した検索範囲ＡＲ１´を用いて実行する。
【００６５】
この結果、図８（Ａ）に示すように、新たに設定された検索範囲ＡＲ１´を用いて動きベクトルが求められる。因みに図８（Ａ）は、水平右方向に大きな動きかあると判定された場合に設定された新たな検索範囲ＡＲ１´を示す。かくして図７の時刻「１」における基準フレーム（Ｂ４）の２回目の検索において、基準フレーム（Ｂ４）から検索フレーム（Ｉ３）への動きベクトルが検出される。
【００６６】
このようにして図７の時刻「１」において基準フレーム（Ｂ４）の動きベクトルが検出されると、時刻「３」において実行される予定の基準フレーム（Ｂ４）から検索フレーム（Ｐ６）への検索は行われず、これに代えて、新たな基準フレーム（Ｂ５）の１フレーム後方の検索フレーム（Ｐ６）への検索が行われる。このとき、図９（Ａ）に示すように、検索範囲ＡＲ２内に検出すべき動きベクトルが存在しないと、これに続く時刻「４」において図３に示すように基準フレーム（Ｂ８）から２フレーム前方の検索フレーム（Ｐ６）を検索しても図９（Ｂ）に示すように、検索範囲ＡＲ２が不足することが明らかである。従つて、このとき制御判定部６２は、図７の時刻「４」に示すように、基準フレーム（Ｂ５）から１フレーム離れた検索フレーム（Ｐ６）への検索と、基準フレーム（Ｂ７）から１フレーム離れた検索フレーム（Ｐ６）への検索を行う。
【００６７】
この結果、図９（Ｃ）に示すように、新たに検索範囲ＡＲ２´を設定して動きベクトルを求めることができる。
【００６８】
因みに、全く検索を行わなかつた方向の動きベクトルは、例えば強制的にゼロベクトルとして設定し、静止画部分については、画質が当該操作によつて低下しないようにする。
【００６９】
かくして図７の時刻「１」、「３」、「４」及び「６」においてそれぞれＢピクチヤ（Ｂ４、Ｂ５、Ｂ７及びＢ８）を基準フレームとする検索を、新たに設定した検索範囲を用いて１フレーム間で行うことにより、このとき２フレーム間の検索で検索範囲が不足していても、１フレーム間の検索で確実に動きベクトルを検出することができる。
【００７０】
ここで、図１０は制御判定部６２における検索処理手順を示し、制御判定部６２はステツプＳＰ０から当該処理手順に入ると、ステツプＳＰ１において動き検出部ＭＥ１から基準フレームを構成する２フイールド分の動きベクトルと残差を受け取り、また動き検出部ＭＥ２から検索フレームを構成する２フイールド分の動きベクトルと残差を受け取る。
【００７１】
そして制御判定部６２はステツプＳＰ２に移り、動き検出部ＭＥ１及びＭＥ２から受け取つた４フイールド分の動きベクトル及び残差から、１フイールド間の残差ＭＡＥ１と、２フイールド間の残差ＭＡＥ２と３フイールド間の残差ＭＡＥ３とを求め、閾値Ｔｈとの判定を上述の（１）式〜（５）式に基づいて行う。
【００７２】
そしてステツプＳＰ２における判定結果が、上述の（１）式を満足する場合（条件ａ）、制御判定部６２はステツプＳＰ３に移つて、図３に示す通常の双方向予測の検索範囲を設定し、当該設定された検索範囲及び検索フレームに基づき、ステツプＳＰ７において読出し制御信号Ｄ５２（図２）をフレームメモリ５１（図２）に供給することにより、動き検出部ＭＥ１及びＭＥ２で動き検出を行う。
【００７３】
これに対してステツプＳＰ２における判定が、上述の（２）式又は（３）式を満足する場合（条件ｂ）、制御判定部６２はステツプＳＰ４に移り、図６について上述した１フイールド間の動きベクトルＭＶ１及び２フイールド間の動きベクトルＭＶ２を用いて検索範囲を決定し、図７について上述したように１フレーム間の片方向予測のみを行うように設定する。かくしてステツプＳＰ７に移り、設定された検索範囲を用いて動き検出を行う。
【００７４】
これに対してステツプＳＰ２における判定が、上述の（４）式又は（５）式を満足する場合（条件ｃ）、制御判定部６２はステツプＳＰ５に移り、図６について上述した１フイールド間の動きベクトルＭＶ１を用いて検索範囲を決定し、図７について上述したように１フレーム間の片方向予測のみを行うように設定する。かくしてステツプＳＰ７に移り、設定された検索範囲を用いて動き検出を行う。
【００７５】
これに対してステツプＳＰ２における判定が、次式、
【００７６】
【数８】

【００７７】
を満足する場合（条件ｄ）、このことはすべてのフイールド間の検索範囲が不足していることを表しており、このとき制御判定部６２はステツプＳＰ６に移り、通常の双方向予測における検索範囲を用い、ステツプＳＰ７において動き検出を行う。
【００７８】
因みに、図７の時刻「７」においては、制御判定部６２は各残差が十分に小さくなつたと判断し、図３に示す通常の処理に戻る。
【００７９】
以上の構成において、制御判定部６２は、双方向予測を行うＢピクチヤについて、異なる時刻で片方（前方向又は後方向）ごとに検索フレームに対する動き予測を行う（図３）。このとき、例えば図３の時刻「０」において始めに行つた片方の動きベクトルの検索において、このとき設定されている検索範囲の残差が大きく、検出すべき動きベクトルが見つからないと、制御判定部６２はこのときの検索フレームに対して最も短い間隔で動きを検出し得る１フイールド間の動きベクトルを基に２フイールド間での動きベクトルを検索し得る検索場所を予測し、これを新たな検索範囲として設定する。
【００８０】
そして図３に示す双方向予測のうち、２フレーム離れた予測を１フレーム間の予測に変更して動きベクトルの検索を行う。このように、動画像の動きが大きい場合でも、少なくとも１フイールド間における動きベクトルは正確に求められると予測される点と、動きが大きい場合には２フレーム間での動きベクトルの検索は困難である点とに着目し、双方向予測のうち２フレーム間の予測を１フレーム間に変更すると共に、検索範囲（場所）を変更して１フレーム間で動きベクトルを検索することにより、確実に動きベクトルを検出することができる。
【００８１】
かくして以上の構成によれば、双方向予測を行う符号化において画像の動きが大きい場合でも、少なくとも片方向予測の動きベクトルを検出することができ、この結果符号化効率を向上し得ると共に符号化画像の画質を向上できる。
【００８２】
なお上述の実施の形態においては、図７について上述したように別々のタイミングで動き検出部ＭＥ１及びＭＥ２を用いて１フレーム間の動き予測を行う場合について述べたが、本発明はこれに限らず、例えば図１１に示すように、２つの動き検出部ＭＥ１及びＭＥ２を用いて同時に異なる検索範囲を検索するようにしても良い。この場合、図８（Ｄ）及び図９（Ｄ）に示すように、２つの動き検出部ＭＥ１及びＭＥ２の検索範囲が設定される。
【００８３】
また上述の実施の形態においては、Ｂピクチヤが２枚である場合（Ｍ＝３）について述べたが、本発明はこれに限らず、Ｂピクチヤの数は１枚又は３枚以上であつても良い。
【００８４】
また上述の実施の形態においては、マクロブロツク単位でブロツクマツチングを行う場合について述べたが、本発明はこれに限らず、他の種々のデータ単位で検索を行うようにしても良い。
【００８５】
【発明の効果】
上述のように本発明によれば、画像のうち、双方向による動きベクトルを検出するべき双方向予測画像に対し、基準となる基準検索範囲において過去の参照画像に対して双方向予測画像を比較して動きベクトルを検出する前方向予測、及び未来の参照画像に対して双方向予測画像を比較して動きベクトルを検出する後方向予測のうち、一方向の予測よりも先に実行する逆方向の予測を当該一方向の予測よりも少ない画像間隔で実行する際、基準検索範囲で検索範囲が足りていると判別した場合には一方向の予測を実行し、基準検索範囲では検索範囲が不足していると判別した場合には検索範囲を基準検索範囲から変更して逆方向の予測を再度実行し、一方向の予測を省略することにより、画像の動きが大きい場合においても少なくとも片方向の動き検出を確実に行うことができ、この分符号化画像の画質を向上し得る。
【図面の簡単な説明】
【図１】本発明による画像符号化装置の一実施の形態を示すブロツク図である。
【図２】本発明による画像符号化装置の動きベクトル検出部の構成を示すブロツク図である。
【図３】通常状態における動き検出手順を示す略線図である。
【図４】フイールド間の動き検出の説明に供する略線図である。
【図５】検索範囲が足りている状態を示す略線図である。
【図６】検索範囲の決定方法の説明に供する略線図である。
【図７】検索範囲が不足しているときの動き検出手順を示す略線図である。
【図８】検索範囲の再設定の説明に供する略線図である。
【図９】検索範囲の再設定の説明に供する略線図である。
【図１０】本発明による動き検出処理手順を示すフローチヤートである。
【図１１】他の実施の形態による動き検出手順を示す略線図である。
【図１２】双方向予測における動き検出の説明に供する略線図である。
【図１３】従来の動き検出手順を示す略線図である。
【図１４】従来の問題点の説明に供する略線図である。
【符号の説明】
２０……画像符号化装置、２１……動きベクトル検出部、２４、２９……演算部、２５……ＤＣＴ部、２６……量子化部、２７……逆量子化部、２８……逆ＤＣＴ部、３０、５１……フレームメモリ、３１……動き補償部、３３……可変長符号化部、６２……制御判定部、ＭＥ１、ＭＥ２……動き検出部。[0001]
【table of contents】
The present invention will be described in the following order.
[0002]
TECHNICAL FIELD OF THE INVENTION
Conventional technology (FIGS. 12 to 14)
Problems to be solved by the invention
Means for solving the problem
BEST MODE FOR CARRYING OUT THE INVENTION (FIGS. 1 to 11)
The invention's effect
[0003]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding apparatus and method, and is suitable for application to an image encoding apparatus and method for detecting a motion vector of an input image and encoding the input image based on the motion vector.
[0004]
[Prior art]
2. Description of the Related Art Conventionally, in an image encoding apparatus that encodes moving images based on, for example, the MPEG (Moving Picture Experts Group) standard, for example, 15 frames of moving image data are encoded as one processing unit called GOP (Group Of Pictures). It is made to do.
[0005]
One GOP includes an I-picture (Intra-Picture: intra-frame encoded picture), a P-picture (Predictive-Picture: inter-frame forward prediction encoded picture), and a B-picture (Bidirectionally Predictive-Picture: bidirectional predictive encoding). There is a frame-by-frame encoding type called (image).
[0006]
The I picture is for maintaining the independence of the GOP, and the entire screen is encoded.
[0007]
The P-picture divides the current frame (reference frame) to be encoded in units of macroblocks of 16 × 16 pixels, for example, and performs reference block for each of the divided macroblocks. Then, the past I-picture or P-picture is used as a search frame to search the predetermined search range in the search frame, and block matching with the reference block is performed in units of macro blocks. As a result, the distance of the most matching block is detected as a motion vector, and when the difference data from the search frame is encoded, motion compensation is performed using the motion vector, and this is transmitted to the decoding device side for decoding. Used for motion compensation. Incidentally, as a method of block clipping, a method of subtracting all the pixels in the reference block and the search block, obtaining the sum of absolute values or the sum of squares, and making the block matching the position where the operation result is the minimum is used. (Full search blotting method) is used.
[0008]
Further, the B picture searches past and future bidirectional I and P pictures using each macro block of the current frame (reference frame) to be encoded as a reference block. Then, block matching with the reference block is performed in units of macro blocks within a predetermined search range in the search frame. As a result, the distance of the most matching block is detected as a motion vector, and when the difference data from the search frame is encoded, motion compensation is performed using the motion vector, and this is transmitted to the decoding device side for decoding. Used for motion compensation.
[0009]
Here, as shown in FIG. 12, when bi-directional prediction is performed, first, the P-picture (P6) is used as a reference frame, and the I-picture (I3) that is 3 frames away from the reference frame (P6) is used as a search frame. Perform motion vector detection only in the forward direction. Next, a bi-directional operation consisting of forward motion vector detection using B picture (B4) as a reference frame and forward motion vector detection using I picture (I3) as a search frame and backward motion vector detection using P picture (P6) as a search frame. Make a prediction. Next, both the forward motion vector detection using the B picture (B5) as the reference frame and the forward motion vector detection using the I picture (I3) as the search frame and the backward motion vector detection using the P picture (P6) as the search frame. Make a direction prediction.
[0010]
FIG. 13 shows the motion vector detection order in such bidirectional predictive coding. In FIG. 13, input images B1, B2, I3, B4,... Each represent a picture type (I picture, B picture, P picture) with alphabet (I, B, P) and the order in which they are encoded by a frame number. ing.
[0011]
FIG. 13 shows a case where two B-pictures that perform bi-directional prediction are used, and a frame marked with “◯” in the figure indicates a frame that is currently encoded. In addition, the start point of the arrow in the figure indicates a reference frame, and the frame indicated by the arrow indicates a search frame. Incidentally, the vertical axis in FIG. 13 represents time in units of frames.
[0012]
In FIG. 13, for example, at time “3”, bidirectional prediction is performed on the forward prediction search frame (I3) and the backward prediction search frame (P6) using the current frame (B4) as a reference macroblock. Two motion vectors are obtained.
[0013]
[Problems to be solved by the invention]
By the way, when the motion vector is detected in both the past and the future, if a scene change point exists in the middle, it may be difficult to detect one of the bidirectional motion detection. For example, as shown in FIG. 12, when encoding is performed using two B-pictures, one motion vector is detected in one frame and the other motion vector is detected in two frames. It will be. In this case, if the motion of the image is large, there is a problem that the search range is insufficient in motion vector detection between two frames, and if the motion of the image further increases, bidirectional motion vector detection becomes difficult.
[0014]
That is, as shown in FIG. 14, when there are two motion detection circuits each having a search range AR1 and AR2 of ± A pixels for forward prediction and backward prediction, for example, the video camera pans (moves) at high speed. Assuming that the actual motion is B pixels (B> A) in one frame, for example, in the forward prediction between one frame using the B picture as a reference frame, as shown in FIG. The block to be blocked is out of the search range AR1, and it is difficult to detect an accurate motion vector. In this case, as shown in FIG. 14B, in the backward prediction between the two frames, the block to be blocked naturally moves out of the search range AR2 by moving by 2B pixels from the reference position. Accurate motion vector detection becomes difficult.
[0015]
As a method for solving such a problem, as shown in FIG. 14C, a method of expanding the search range AR3 is conceivable. However, even in this case, it is difficult to detect a motion vector if the motion of the image is large. Inevitably, the image quality of the encoded image is degraded.
[0016]
The present invention has been made in consideration of the above points, and an object of the present invention is to propose an image encoding apparatus and method capable of avoiding a significant deterioration in image quality even when the image motion is large.
[0017]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, a bidirectional prediction image is compared with a past reference image in a standard reference search range for a bidirectional prediction image in which a bidirectional motion vector is to be detected. Among forward prediction to detect motion vectors by comparison, and backward prediction to detect motion vectors by comparing bidirectional prediction images to future reference images, Run before one-way prediction Reverse prediction Than the one-way prediction Run with fewer image intervals When If it is determined that the search range is sufficient in the reference search range, one-way prediction is performed, and if it is determined that the search range is insufficient in the reference search range, the search range is changed from the reference search range. And run the reverse prediction again , Omit one-way prediction As a result, even when the motion of the image is large, at least one-way motion detection can be reliably performed, and the image quality of the encoded image can be improved accordingly.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0019]
In FIG. 1, reference numeral 20 denotes an image encoding device as a whole, and the input image data D <b> 10 is received by the motion vector detection unit 21 and the calculation unit 24. The motion vector detection unit 21 detects motion vector information D21 between two frames (pictures) stored in a frame memory provided therein, and supplies this to the motion compensation unit 31.
[0020]
At this time, the motion compensation unit 31 generates predicted image data D31 by performing motion compensation processing using the motion vector information D21 on the reference image stored in the frame memory 30, and supplies this to the calculation unit 24. .
[0021]
The calculation unit 24 calculates a difference between the input image data D10 and the predicted image data D31, and supplies the difference data D24 to a DCT (Discrete Cosine Transform) unit 25. The DCT unit 25 performs a DCT (Discrete Cosine Transform) process on the difference data D24 to generate a DCT coefficient sequence D25 and supplies it to the quantization unit 26. The quantization unit 26 generates quantized data D26 by quantizing the DCT coefficient sequence D25, and supplies the quantized data D26 to the variable length encoding unit 33 and the inverse quantization unit 27, respectively.
[0022]
The inverse quantization unit 27 restores the DCT coefficient sequence D27 by performing inverse quantization processing on the quantized data D26. The DCT coefficient sequence D27 is further supplied to the inverse DCT unit 28 and subjected to inverse DCT processing. Thus, the inverse DCT unit 28 restores the difference data D28 corresponding to the picture type and outputs it to the arithmetic unit 29.
[0023]
The calculation unit 29 adds the predicted image data D31 output from the motion compensation unit 31 to the difference data D28 to generate reference image data D29 and stores it in the frame memory 30.
[0024]
Thus, the difference data quantized through the DCT unit 25 and the quantization unit 26 is restored as the difference data D28 by the inverse quantization unit 27 and the inverse DCT unit 28, and is added to the predicted image data D31 by the calculation unit 29. As a result, reference image data D29 is obtained. As a result, a reference image for the following frame (picture) is prepared in the frame memory 30.
[0025]
Here, as shown in FIG. 2, the motion vector detection unit 21 temporarily stores the input image data D10 in the frame memory 51 and attempts to encode based on the read control signal D52 output from the control determination unit 62. The image data of the reference frame is read in units of each macro block, and this is supplied as reference block data D53 to the two motion detectors ME1 and ME2.
[0026]
The frame memory 51 sequentially reads out image data in a predetermined search range in the search frame in units of macroblocks based on the read control signal D52 output from the control determination unit 62, and uses this as search block data D54 for the motion detection unit ME1. And to ME2.
[0027]
In this case, the control determination unit 62 supplies search block data D54 of a search frame used for forward prediction in bidirectional prediction to one motion detection unit ME1 (or motion detection unit ME2) and also uses search for backward prediction. The frame search block data D54 is supplied to the other motion detector ME2 (or motion detector ME1).
[0028]
Based on the reference block data D53 and the search block data D54, each of the motion detection units ME1 and ME2 supplies the distance between the reference block and the search block to the control determination unit 62 as motion vector data D56 and D60, respectively. And the difference of the image data of the search block is supplied to the control determination unit 62 as residual data D57 and D61.
[0029]
The control determination unit 62 performs blocking within a predetermined search range based on the motion vector data D56 and the residual data D57 supplied from the motion detection unit ME1. In this block cutting, the control determination unit 62 searches for a block having the minimum sum of absolute values or sum of squares obtained by subtracting all pixels of the reference block and the search block, and the result of the block cutting. The motion compensation unit 31 (FIG. 1) and the variable length code are used as motion information D63 together with control information such as motion compensation mode as motion vectors in the forward prediction (or backward prediction) using the obtained motion vectors of the search block and the reference block. It supplies to the conversion part 33 (FIG. 1).
[0030]
Similarly, the control determination unit 62 performs block clipping within a predetermined search range based on the motion vector data D60 and the residual data D61 supplied from the motion detection unit ME2. In this block cutting, the control determination unit 62 searches for a block having the minimum sum of absolute values or sum of squares obtained by subtracting all pixels of the reference block and the search block, and the result of the block cutting. The motion vector of the obtained search block and the reference block is used as a motion vector in backward prediction (or forward prediction) as control information such as motion compensation mode as motion information D63, and the motion compensation unit 31 (FIG. 1) and variable length code. It supplies to the conversion part 33 (FIG. 1).
[0031]
Here, the control determination unit 62 determines a search frame when performing bidirectional prediction and a search range in the search frame based on motion information such as a motion vector and a residual, and the search frame and The search range is designated by the read control signal D52, and the determined search frame and macro block of the search range are read.
[0032]
That is, FIG. 3 shows a basic motion prediction method in the motion vector detection unit 21 of this embodiment. In FIG. 3, input images B1, B2, I3, B4,... Each represent a picture type (I picture, B picture, P picture) with alphabets (I, B, P) and are encoded in frame numbers. Represents. In the case of this embodiment, two B pictures for bi-directional prediction are used, and a frame marked with “◯” in the figure indicates a frame that is currently encoded. In addition, the start point of the arrow in the figure indicates a reference frame, and the frame indicated by the arrow indicates a search frame. Incidentally, the vertical axis in FIG. 3 represents time in units of frames.
[0033]
In FIG. 3, for example, when bi-directional prediction is performed using the B picture (B4), which is the current frame, as a reference frame at time “3”, the forward direction using the I picture (I3) as a search frame in advance at time “0”. Prediction is performed, and at time “3”, post-prediction is performed using the P picture (P6) as a search frame.
[0034]
Also, for example, when bi-directional prediction is performed using the B-picture (B5), which is the current frame, as the reference frame at time “4”, forward-direction prediction using the I-picture (I3) as a search frame is performed in advance at time “1”. At time “4”, post-prediction is performed using the P picture (P6) as a search frame.
[0035]
In this way, the control determination unit 62 (FIG. 2) of the motion vector detection unit 21 performs one prediction in advance when performing bi-directional prediction when the B picture is used as a reference frame.
[0036]
Incidentally, in FIG. 3, for example, when only one arrow is shown at the same time in the search to the I-picture (I3) when the P-picture (P6) at the time “2” is used as the reference frame, the motion vector detection unit The search is performed by assigning different search ranges of the search frame (I3) to the two motion detection units ME1 and ME2.
[0037]
In such a basic motion prediction method, the control determination unit 62 has a sufficient search range in one of the predictions performed in advance (for example, a search from the reference frame (B4) to the search frame (I3) at time “0” in FIG. 3). It is determined whether or not.
[0038]
That is, the motion detection units ME1 and ME2 respectively read the reference block data D53 of the reference frame and the search block data D54 of the search frame supplied from the frame memory 51 for each field, and obtain the motion vector and the residual for each field. This is obtained and supplied to the control determination unit 62 as motion vector data D56 and D60 and residual data D57 and D61.
[0039]
The control determination unit 62 compares motion vector detection residuals at a plurality of field intervals, and when the residual at the time of motion vector detection between M fields is smaller than the residual between N fields (M <N), It is determined that the search range is insufficient.
[0040]
That is, in the case where motion vector detection from the reference frame (B4) to the search frame (I3) at time “0” in FIG. 3 is performed, there are four types of field motion vectors V1 to V4 as shown in FIG. There are three types of field intervals: 1 field interval, 2 field interval, and 3 field interval.
[0041]
Here, a residual between one field is MAE1, a residual between two fields is MAE2, a residual between three fields is MAE3, and a threshold value indicating whether motion compensation can be performed is Th. The threshold value Th is not constant and may vary from image to image or macroblock. As an example of the threshold Th, an amount of information predicted when macroblock data is transmitted as it is without motion compensation can be considered.
[0042]
And the control determination part 62 determines whether the search range is enough according to the value of three residual MAE1, MAE2, and MAE3 obtained for every field interval.
[0043]
That is, each value of the residuals MAE1, MAE2, and MAE3 is expressed by the following equation:
[0044]
[Expression 1]

[0045]
Is satisfied, the control determination unit 62 determines that the search range is sufficient.
[0046]
Accordingly, in this case, as shown in FIGS. 5A and 5B, there is a search block that is blocked in a preset search range, and the control determination unit 62 performs processing as shown in FIG. Each motion vector is detected by performing forward prediction and backward prediction at times “0” and “3”.
[0047]
In contrast, the following equation:
[0048]
[Expression 2]

[0049]
Or the following formula:
[0050]
[Equation 3]

[0051]
When the residual MAE1 between 1 field and the residual MAE2 between 2 fields are overwhelmingly larger than the residual MAE3 between 3 fields, this is between 1 field and 2 fields. In the motion detection, it is determined that the search range is insufficient in the motion detection between the three fields while the search range is sufficient. Incidentally, in equation (3), Th2 is a threshold value representing the ratio of the residual MAE1 between one field.
[0052]
On the other hand,
[0053]
[Expression 4]

[0054]
Or
[0055]
[Equation 5]

[0056]
When the residual MAE1 between 1 field is smaller than the threshold value and the residual MAE2 between 2 fields and the residual MAE3 between 3 fields are larger than the threshold Th as shown in FIG. Determines that the search range is sufficient only for motion detection between one field.
[0057]
In this way, when it is determined that the search range is sufficient in the motion detection between at least one field, the control determination unit 62 estimates the maximum amount of motion between one field from the motion vector distribution with the sufficient search range. Then, the search range for the required field interval is predicted.
[0058]
That is, when the motion vector between 1 field is MV1, the motion vector between fields is MV2, and the motion vector between 3 fields is MV3,
[0059]
[Formula 6]

[0060]
[Expression 7]

[0061]
It is assumed that there is a relationship expressed by
[0062]
In a state where the search range is sufficient only for motion detection between at least one field, only the motion vector MV1 between one field is within the search range AR1, as shown in FIG. The motion vector MV2 between and the motion vector MV3 between the three fields are expected to be outside the search range AR1.
[0063]
Accordingly, at this time, the control determination unit 62 predicts the motion vector MV2 between the two fields and the motion vector MV3 between the three fields based on the equations (6) and (7), and the search range AR1 accordingly. Change the location. As a result, as shown in FIG. 6B, a search range AR1 ′ sufficient for searching for the motion vectors MV2 and MV3 is obtained at a different location while maintaining the same area as the search range AR1. Incidentally, in FIG. 6, the search range AR1 ′ is obtained by paying attention to only one motion vector, but the present invention is not limited to this, and the distribution of the motion vector MV1 between one field is obtained for all macroblocks in one screen. Based on this, many motion vectors MV2 and MV3 between two fields and between three fields are obtained, and a search range in which as many vectors as possible are detected among the obtained motion vectors MV2 and MV3 is determined. You can also
[0064]
In this way, it is determined that the search range is insufficient between at least two fields in motion detection from the reference frame (B4) to the search frame (I3) at time “0” in FIG. 3, and a new search range AR1 ′ is set. When obtained, the control determination unit 62 does not detect the motion to the search frame (I3) that is two frames away from the reference frame (B5) at the time “1” in FIG. 3, but instead performs detection as shown in FIG. At time “1”, the reference frame is again set as the B picture (B4), and the motion detection between the frames to the search frame (I3) is newly executed using the search range AR1 ′.
[0065]
As a result, as shown in FIG. 8A, a motion vector is obtained using the newly set search range AR1 ′. Incidentally, FIG. 8A shows a new search range AR1 ′ set when it is determined that there is a large movement in the horizontal right direction. Thus, in the second search of the reference frame (B4) at time “1” in FIG. 7, a motion vector from the reference frame (B4) to the search frame (I3) is detected.
[0066]
When the motion vector of the reference frame (B4) is detected at time “1” in FIG. 7, the search from the reference frame (B4) scheduled to be executed at time “3” to the search frame (P6) is performed. Instead of this, instead of this, a search is performed for a search frame (P6) one frame behind the new reference frame (B5). At this time, as shown in FIG. 9A, if there is no motion vector to be detected in the search range AR2, at time “4” following this, two frames from the reference frame (B8) as shown in FIG. As shown in FIG. 9B, it is clear that the search range AR2 is insufficient even if the search frame (P6) in the front is searched. Therefore, at this time, as shown at time “4” in FIG. 7, the control determination unit 62 searches for the search frame (P6) one frame away from the reference frame (B5), and 1 from the reference frame (B7). A search is performed for a search frame (P6) separated from the frame.
[0067]
As a result, as shown in FIG. 9C, the motion vector can be obtained by newly setting the search range AR2 ′.
[0068]
Incidentally, the motion vector in the direction in which no search is performed is forcibly set as a zero vector, for example, so that the image quality of the still image portion is not deteriorated by the operation.
[0069]
Thus, the search using the B picture (B4, B5, B7 and B8) as the reference frame at the times “1”, “3”, “4” and “6” in FIG. 7 is performed using the newly set search range. By performing the process between one frame, a motion vector can be reliably detected by the search between one frame even if the search range is insufficient in the search between two frames.
[0070]
Here, FIG. 10 shows a search processing procedure in the control determination unit 62. When the control determination unit 62 enters the processing procedure from step SP0, the motion for two fields constituting the reference frame from the motion detection unit ME1 in step SP1. The vector and the residual are received, and the motion vector and residual for two fields constituting the search frame are received from the motion detection unit ME2.
[0071]
Then, the control determination unit 62 moves to step SP2, and from the motion vectors and residuals for 4 fields received from the motion detection units ME1 and ME2, residual MAE1 between 1 field and residuals MAE2 and 3 fields between 2 fields. The residual MAE3 is obtained, and the threshold Th is determined based on the above formulas (1) to (5).
[0072]
If the determination result in step SP2 satisfies the above-described expression (1) (condition a), the control determination unit 62 moves to step SP3 and sets the normal bidirectional prediction search range shown in FIG. Based on the set search range and search frame, the motion detection units ME1 and ME2 perform motion detection by supplying the read control signal D52 (FIG. 2) to the frame memory 51 (FIG. 2) at step SP7.
[0073]
On the other hand, when the determination at step SP2 satisfies the above-described expression (2) or (3) (condition b), the control determination unit 62 moves to step SP4, and the movement between one field described above with reference to FIG. The search range is determined using the motion vector MV2 between the vector MV1 and the two fields, and is set so as to perform only one-way prediction between one frame as described above with reference to FIG. Thus, the process proceeds to step SP7, and motion detection is performed using the set search range.
[0074]
On the other hand, when the determination in step SP2 satisfies the above-described expression (4) or (5) (condition c), the control determination unit 62 moves to step SP5, and the movement between one field described above with reference to FIG. The search range is determined using the vector MV1, and is set so as to perform only one-way prediction between one frame as described above with reference to FIG. Thus, the process proceeds to step SP7, and motion detection is performed using the set search range.
[0075]
On the other hand, the determination in step SP2 is as follows:
[0076]
[Equation 8]

[0077]
If this condition is satisfied (condition d), this means that the search range between all the fields is insufficient. At this time, the control determination unit 62 moves to step SP6, and the search range in the normal bi-directional prediction. And motion detection is performed at step SP7.
[0078]
Incidentally, at time “7” in FIG. 7, the control determination unit 62 determines that each residual has become sufficiently small, and returns to the normal processing shown in FIG. 3.
[0079]
In the above configuration, the control determination unit 62 performs motion prediction on the search frame for each one (forward or backward) at different times with respect to the B-picture for which bidirectional prediction is performed (FIG. 3). At this time, for example, in the search for one of the motion vectors first performed at time “0” in FIG. 3, if the residual of the search range set at this time is large and no motion vector to be detected is found, the control determination The unit 62 predicts a search place where a motion vector between two fields can be searched based on a motion vector between one field where motion can be detected at the shortest interval with respect to the search frame at this time, and this is determined as a new location. Set as search range.
[0080]
Then, the motion vector search is performed by changing the prediction two frames away from the bidirectional prediction shown in FIG. 3 to the prediction for one frame. As described above, even when the motion of the moving image is large, it is predicted that the motion vector between at least one field is accurately obtained, and when the motion is large, it is difficult to search for the motion vector between two frames. Focusing on a certain point, the prediction between two frames in the bidirectional prediction is changed between one frame, and the search range (location) is changed and the motion vector is searched between the frames, thereby reliably moving. Vectors can be detected.
[0081]
Thus, according to the above configuration, even when the motion of the image is large in the encoding that performs bidirectional prediction, it is possible to detect the motion vector of at least one-way prediction, and as a result, the encoding efficiency can be improved and the encoding can be performed. The image quality can be improved.
[0082]
In the above-described embodiment, as described above with reference to FIG. 7, the case of performing motion prediction between one frame using the motion detection units ME <b> 1 and ME <b> 2 at different timings is described, but the present invention is not limited to this. For example, as shown in FIG. 11, different search ranges may be searched simultaneously using two motion detection units ME1 and ME2. In this case, as shown in FIGS. 8D and 9D, the search ranges of the two motion detection units ME1 and ME2 are set.
[0083]
In the above-described embodiment, the case where there are two B pictures (M = 3) has been described. However, the present invention is not limited to this, and the number of B pictures may be one or three or more. good.
[0084]
In the above-described embodiment, the case of performing block clipping in units of macroblocks has been described. However, the present invention is not limited to this, and search may be performed in other various data units.
[0085]
【The invention's effect】
As described above, according to the present invention, a bidirectional prediction image is compared with a past reference image in a standard reference search range for a bidirectional prediction image in which a bidirectional motion vector is to be detected. Forward prediction to detect a motion vector and backward prediction to detect a motion vector by comparing a bidirectional prediction image against a future reference image, Run before one-way prediction Reverse prediction Than the one-way prediction Run with fewer image intervals When If it is determined that the search range is sufficient in the reference search range, one-way prediction is performed, and if it is determined that the search range is insufficient in the reference search range, the search range is changed from the reference search range. And run the reverse prediction again , Omit one-way prediction As a result, even when the motion of the image is large, at least one-way motion detection can be reliably performed, and the image quality of the encoded image can be improved accordingly.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an image encoding device according to the present invention.
FIG. 2 is a block diagram showing a configuration of a motion vector detection unit of the image encoding device according to the present invention.
FIG. 3 is a schematic diagram illustrating a motion detection procedure in a normal state.
FIG. 4 is a schematic diagram for explaining motion detection between fields.
FIG. 5 is a schematic diagram showing a state where a search range is sufficient.
FIG. 6 is a schematic diagram for explaining a method of determining a search range.
FIG. 7 is a schematic diagram illustrating a motion detection procedure when a search range is insufficient.
FIG. 8 is a schematic diagram for explaining the resetting of a search range.
FIG. 9 is a schematic diagram for explaining the resetting of a search range.
FIG. 10 is a flowchart showing a motion detection processing procedure according to the present invention.
FIG. 11 is a schematic diagram illustrating a motion detection procedure according to another embodiment.
FIG. 12 is a schematic diagram for explaining motion detection in bidirectional prediction.
FIG. 13 is a schematic diagram illustrating a conventional motion detection procedure.
FIG. 14 is a schematic diagram for explaining a conventional problem.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 20 ... Image coding apparatus, 21 ... Motion vector detection part, 24, 29 ... Operation part, 25 ... DCT part, 26 ... Quantization part, 27 ... Inverse quantization part, 28 ... Inverse DCT , 30, 51: Frame memory, 31: Motion compensation unit, 33: Variable length coding unit, 62: Control determination unit, ME1, ME2: Motion detection unit.

Claims

In an image encoding device that encodes an input image,
Of the image, with respect to the bidirectional prediction image to detect a motion-out vector by the bi-directional, by comparing the bidirectional predictive picture for past reference picture in a reference search range as a reference detecting the motion vector to forward prediction, and among the backward prediction after detecting the motion vector by comparing the bidirectional predictive picture for the future of the reference image, the backward prediction to be executed prior to the unidirectional prediction When executing with a smaller image interval than the one-way prediction, if it is determined that the search range is sufficient in the reference search range, the one-way prediction is executed, and the search range is insufficient in the reference search range. A motion vector detection unit that changes the search range from the reference search range and performs the backward prediction again , and omits the one-way prediction ;
An image encoding apparatus comprising: an encoding unit that encodes a bidirectional prediction image using the motion vector.

The motion detector is
The image coding apparatus according to claim 1, wherein forward prediction or backward prediction is simultaneously executed for each of the two bidirectional prediction images sharing the reference image.

The motion detector is
When performing the backward prediction for one of the bidirectional prediction image with less image intervals than the prediction of the one direction, when it is determined that the search range is the reference search range is insufficient, the upper Symbol The image code according to claim 1, wherein the backward prediction is omitted for the next bidirectional prediction image in which the backward prediction is performed at a larger image interval than the one- way prediction. Device.

The motion detector is
When the backward prediction for the bidirectional prediction image is performed with a smaller image interval than the one- way prediction, the residual between the bidirectional prediction image and the reference image is compared with a predetermined threshold value. Thus, it is determined whether or not the search range is insufficient in the reference search range. The image encoding apparatus according to claim 1, wherein:

The motion detector is
When performing the backward prediction for the bidirectional prediction image with less image intervals than the prediction of the one direction, and detects the inter-field motion vectors between fields image included in the above bidirectional prediction image and the reference image If it is determined that the search range is insufficient in the reference search range, but the inter-field motion vector is detected, the search range is changed by estimating the motion vector from the inter-field motion vector. The image coding apparatus according to claim 1, wherein:

In an image encoding method for encoding an input image,
Among the images, a bidirectional prediction image whose bidirectional motion vector is to be detected is detected by comparing the bidirectional prediction image with a past reference image in a standard reference search range. forward prediction, and among the backward prediction after detecting the motion vector by comparing the bidirectional predictive picture for the future of the reference image, the backward prediction to be executed prior to the unidirectional prediction When executing with a smaller image interval than the one-way prediction, if it is determined that the search range is sufficient in the reference search range, the one-way prediction is executed, and the search range is insufficient in the reference search range. A motion vector detection step that changes the search range from the reference search range and executes the reverse direction prediction again and omits the one-way prediction ;
An image encoding method comprising: an encoding step for encoding a bidirectional prediction image using the motion vector.