JP5100495B2 - 画像処理装置 - Google Patents

Description

この発明は、動画像の品質を改善する画像処理装置に関する。

周知のように、単位時間当たりの表示フレーム数を増加させる技術として、フレーム補間方法がある。このフレーム補間方法は、入力信号である動画像フレームからそれらフレーム間に存在するであろうフレームを予測・内挿することで、単位時間当たりの表示フレーム数を増加させるものであり、このフレーム補間によってフレーム間のつながりが滑らかになるだけでなく、表示のボケ感がなくなるなどの利点が得られる。

また、特許文献１では、補間ブロック内に存在するエッジ画素を検出し、エッジか否かに応じて異なる動きベクトル補正を行っているため、動き精度は非常に高いが、処理量が多くモバイル向けとは言えない。
特開２００４−１１２２２９

従来の画像処理装置で採用していたフレーム補間方法では、処理過程が複雑であるためにプロセッサへの負荷が大きく、例えばプロセッサ能力や消費電力の点でモバイル機器への応用の問題となっていた。
この発明は上記の問題を解決すべくなされたもので、プロセッサに大きな負荷を掛けることなく、フレーム補間を行うことが可能で、モバイル機器にも好適する画像処理装置を提供することを目的とする。

上記の目的を達成するために、この発明は、時間的に連続する動画像フレームの間を補間する補間フレームを生成する画像処理装置において、補間フレームを構成するブロック毎に動きベクトルを記憶する動きベクトル蓄積手段と、動画像フレームを構成するブロック毎にエッジを検出するエッジ検出手段と、このエッジ検出手段が検出したエッジに基づいて、ブロック毎に、隣接するブロックのエッジとの相関を求める相関検出手段と、補間フレームを構成するブロック毎に、相関検出手段が検出した相関に基づいて、動きベクトル蓄積手段が記憶する動きベクトルから、動きベクトルの候補を決定する候補決定手段と、この候補決定手段が決定した候補から、補間フレームを構成する各ブロックの動きベクトルを検出する動きベクトル検出手段と、この動きベクトル検出手段が検出した動きベクトルを動きベクトル蓄積手段に記録する制御手段とを具備して構成するようにした。

以上述べたように、この発明では、動画像フレームを構成するブロック毎にエッジを検出し、このエッジに基づいて、ブロック毎に、隣接するブロックのエッジとの相関を求め、補間フレームを構成するブロック毎に、上記相関に基づいて、以前に求めた補間フレームの動きベクトルから動きベクトルの候補を決定し、これらの候補から補間フレームを構成する各ブロックの動きベクトルを検出するようにしている。

したがって、この発明によれば、画素単位ではなくブロック毎にエッジを検出するので処理負荷が小さく、またエッジについて隣接ブロックとの相関を考慮して、動きベクトルの候補を求めるようにしているので、精度の高いフレーム補間を行うことが可能な画像処理装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる画像処理装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信する機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する機能とを備える。

無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、この無線通信により、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示部２０は、例えばLCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを用いた表示手段であって、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。

通話部３０は、スピーカ３１やマイクロホン３２を備え、マイクロホン３２を通じて入力されたユーザの音声を音声データに変換して制御部１００に出力したり、通話相手などから受信した音声データを復号してスピーカ３１から出力するものである。
操作部４０は、文字や数字、所定の命令を入力するための複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。

記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、具体的には、ＨＤＤ、ＲＡＭ、ＲＯＭ、フラッシュメモリなどで構成され、これらの１つで、または複数を組み合わせて構成することができる。

放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号を受信するチューナであって、例えば上記放送信号のうち、ワンセグメントを受信し、映像信号が、例えばＨ．２６４などの形式で符号化された放送データ（符号化ストリーム）を得る。

制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、当該移動無線端末装置の各部を統括して制御し、音声通信やデータ通信を実現するものである。また制御部１００は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって動作し、電子メールの送受信や、Ｗｅｂブラウジング、ダウンロードしたストリーミングデータに基づいて動画像を表示部２０に表示したり、音声通信を行う通信制御機能を備える。

さらに制御部１００は、画像処理部１００ａを備える。この画像処理部１００ａは、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される動画像のフレームに、フレームを補間して表示部２０に表示する。画像処理部１００ａは、例えば図２に示すように、動画像復号部１１０と、フレーム補間部１２０ａと、表示ドライバ１３０とを備える。この他に、図示しないが、放送受信部６０で受信されたオーディオデータを復号して、放送された音声信号を得るオーディオ復号部も備える。

動画像復号部１１０は、動画像の符号化データ（Video Elementary Stream）を復号し、これによって複数の動画像フレームで構成される動画像データを得る。なお、この時点で得られる動画像データのフレームレートは、１５Ｈｚとする。動画像データは、フレーム補間部１２０ａと表示ドライバ１３０に出力される。

また、動画像復号部１１０による動画像の復号処理では、受信した符号化ストリームから復号の際に参照する動画像フレームを示す情報、符号化された画像データ、及び符号化された動きベクトルなどを抽出し、これらを用いて画像データを復号する。そして、この復号することで得た画像データと、参照する画像フレームから得た画像データとを合成して動画像フレームを得る。なお、この復号処理は、動画像フレームがインター符号化されている場合の説明であり、動画像フレームがイントラ符号化されている場合は、他のフレームを参照する必要がないので、符号化された画像データを復号することで動画像フレームが得られる。

フレーム補間部１２０ａは、動画像復号部１１０によって得た動画像フレームFtと、その１フレーム前の動画像フレームFt-1との間に内挿する補間フレームを生成するものである。以下の説明では、例として、時間的にFtとFt-1との中間に位置する補間フレームFt-0.5を生成するものとする。フレーム補間部１２０ａは、エッジマップ作成部／エッジ重み係数作成部１２１と、動きベクトル制御部１２２ａと、動きベクトル平滑化部１２５と、動きベクトル蓄積部１２７と、αブレンディング部１２８とを備える。

エッジマップ作成部／エッジ重み係数作成部１２１のうち、エッジマップ作成部は、図３に示すような処理を実施する。すなわち、エッジマップ作成部は、動画像フレームFtを参照フレームとし、これを矩形ブロック単位に分割し、そしてこれらの分割したブロックを左上ブロックからラスタースキャン順にエッジ検出を行い（ステップ３ａ）、この検出した各ブロックのエッジを予め定めておいたエッジ方向（例えば、３６０度を９０度毎の４分類とする）に分類し、内部に備えたメモリにブロック毎に検出したエッジの方向を示すエッジ情報を記録することで、エッジマップを作成する（ステップ３ｂ）。なお、エッジマップ作成部は、時間的に連続する少なくとも２フレーム（動画像フレームFtと１フレーム前の動画像フレームFt-1）について、作成したエッジマップ（各ブロックのエッジ情報）を記憶する。

また、上述した手法は、エッジ検出を行った場合の例であるが、図４に示すように処理対象ブロックや隣接ブロックがイントラ予測で符号化されたブロックであった場合は、ステップ３ａにおいて、イントラ予測モードの隣接ブロックのモード情報（図４では矢印で例示したもの）を検出し、これをエッジ情報として利用してもよい。

そして、エッジマップ作成部／エッジ重み係数作成部１２１のうち、エッジ重み係数作成部は、エッジマップ作成部が作成したエッジマップに含まれる各エッジ情報を、そのブロック（処理対象ブロック）に隣接するブロックのエッジ情報に基づくエッジ重み係数に変換する。具体的には、処理対象ブロックのエッジ情報が示すエッジ方向に対して、隣接するブロックのエッジ情報が示すエッジ方向が離れる度合いをエッジ重み係数として算出する。例えば、処理対象ブロックのエッジ方向をエッジ重み係数を０とし、このエッジ方向（処理対象ブロックのエッジ方向）から離れた方向ほど、エッジ重み係数を大きくする。

つまり、例えばエッジを９０度毎の４つに分類した場合、処理対象ブロックのエッジ方向に対して、隣接するブロックのエッジ方向が０度以上９０度未満ならばエッジ重み係数を０とし、９０度以上１８０度未満あるいは２７０以上３６０度未満ならばエッジ重み係数を１とし、１８０度以上２７０度未満のエッジ重み係数を２とする。ここでは、４つに分類した場合を例に挙げたが、それ以上に分類した場合でも、上記概念は同様である。

なお、エッジ重み係数作成部は、時間的に連続する少なくとも２フレーム（動画像フレームFtと１フレーム前の動画像フレームFt-1）について、各ブロックの重み係数を記憶する。

動きベクトル制御部１２２ａは、動画像復号部１１０で得た動画像フレームFtと、エッジマップ作成部／エッジ重み係数作成部１２１で得たエッジ重み係数と、後段の動きベクトル蓄積部１２７に蓄積しておいた、１フレーム前に生成した補間フレームFt-1.5の動きベクトルに基づいて、補間フレームFt-0.5を構成する矩形ブロック毎に複数の動きベクトル（予測ベクトル）の候補を決定し、そして、矩形ブロック毎にその複数の候補から動きベクトルを検出する。
すなわち、動きベクトル制御部１２２ａは、補間フレームFt-0.5を構成する各矩形ブロックの動きベクトルを求める。このような動作を実現するために、動きベクトル制御部１２２ａは、予測ベクトル候補決定部１２３ａと動きベクトル検出部１２４を備える。

具体的には、まず予測ベクトル候補決定部１２３ａが、図５乃至図７に示す処理を、補間フレームFt-0.5を構成する１つの矩形ブロックについて実施して、複数の予測ベクトルの候補を決定する。そして、動きベクトル検出部１２４が、図８に示す処理を実施して、上記複数の予測ベクトルの候補から上記矩形ブロックの予測ベクトル（動きベクトル）を決定し、これをメモリに保持する。このような予測ベクトル候補決定部１２３ａと動きベクトル検出部１２４による処理を、矩形ブロック毎にラスタスキャン順に実施して、補間フレームFt-0.5を構成する各矩形ブロックの動きベクトルを求める。

以下、図５乃至図７を参照して、予測ベクトル候補決定部１２３ａの動作について、より具体的に説明する。予測ベクトル候補決定部１２３ａは、動画像フレームFtが与えられると、補間フレームFt-0.5を構成する各矩形ブロックについて、図５に示す処理をラスタスキャン順に実施する。

ステップ５ａにおいて予測ベクトル候補決定部１２３ａは、エッジマップ作成部／エッジ重み係数作成部１２１に対して、補間フレームFt-0.5を構成する矩形ブロックのうち、処理対象となるブロック（以下、処理対象ブロックと称する）のブロックインデックスを通知する。これに対して、エッジマップ作成部／エッジ重み係数作成部１２１は、動画像フレームFtを構成する矩形ブロックについてそれぞれ求めておいたエッジ重み係数のうち、予測ベクトル候補決定部１２３ａから通知されたブロックインデックスに対応する矩形ブロックのエッジ重み係数を予測ベクトル候補決定部１２３ａに出力する。予測ベクトル候補決定部１２３ａは、上記エッジ重み係数を取得すると、処理対象ブロックについての候補数のカウンタNcを０に設定し、ステップ５ｂに移行する。

ステップ５ｂにおいて予測ベクトル候補決定部１２３ａは、判定値として、ステップ５ａで取得したエッジ重み係数を設定し、ステップ５ｃに移行する。
ステップ５ｃおよびステップ５ｇの処理は、予め設定したインデックステーブルを参照し、このテーブルで示される順にしたがい処理対象ブロックに隣接するブロック（以下、隣接ブロックと称する）を検査対象として１つずつ順に選択するループ処理であって、選択した隣接ブロック毎に、ステップ５ｄから５ｆの処理を実施する。このため、まずステップ５ｃにおいて予測ベクトル候補決定部１２３ａは、インデックステーブルを参照して、隣接ブロックのインデックスを１つ選択する。

ここで、インデックステーブルの一例を図６に示す。図６において、補間フレームFt-1.5は、現在生成している補間フレームFt-0.5に対して、１つ前に生成した補間フレームを示すものであって、各ブロックの動きベクトルは、動きベクトル蓄積部１２７に蓄積されている。また補間フレームFt-0.5において、すでに検出された動きベクトルは、後段の動きベクトル検出部１２４のメモリに保持されている。ブロック中の数値０〜１２は、上記ループ処理で選択する順序を示しており、この情報をインテックステーブルに記録している。

ステップ５ｃにおいて予測ベクトル候補決定部１２３ａは、まず始めに、過去の補間フレームFt-1.5上の同じ位置のブロック「０」を選択する。その後、「１」〜「４」を付与した隣接ブロック群Ａに属するブロックを順に選択する。このブロック群Ａは、対象ブロックを中心とした対象の位置に存在するものである。さらにその後、「５」〜「８」を付与した隣接ブロック群Ｂに属するブロックを順に選択する。このブロック群Ｂは、対象ブロックを中心とした対象の位置に存在するものである。そしてさらにその後、残るブロック群Ｃに属する「９」〜「１２」を順に選択する。このようなインデックステーブルによれば、類似性の高い動きベクトルを優先的に候補とすることができる。

なお、補間フレームFt-0.5の「１」、「５」、「２」、「６」のブロックについては、当該処理によりラスタスキャン順に実施されているため、以前の処理により動きベクトル検出部１２４によって既に動きベクトルが求められて、メモリに保持されている。また、補間フレームFt-1.5の「９」、「１２」、「１０」、「１１」、「０」、「８」、「３」、「７」、「４」のブロックについては、１つ前の補間処理によって、動きベクトルが求められて、これが動きベクトル蓄積部１２７に蓄積されている。

また、予測ベクトル候補決定部１２３ａは、補間フレームFt-1.5の動きベクトルに代わり、もしくは補間フレームFt-1.5の動きベクトルとともに、動画フレームFt-1の動きベクトルを用いるようにしてもよい。この場合、動画像復号部１１０において動画フレームFt-1を構成した際に動画像ストリームから生成した動きベクトルを流用するために、この動きベクトルを動きベクトル蓄積部１２７に記憶しておく（図２中の破線矢印）。またインデックステーブルには、補間フレームFt-1.5に代わり、もしくは補間フレームFt-1.5とともに、動画フレームFt-1のブロックインデックスを設定する。そして、ステップ５ｃにおいて予測ベクトル候補決定部１２３ａは、上記インデックステーブルにしたがって、動きベクトル蓄積部１２７に記憶しておいた動画フレームFt-1の動きベクトルを、予測ベクトルの候補を検出するために順次選択する。

ステップ５ｄにおいて予測ベクトル候補決定部１２３ａは、エッジマップ作成部／エッジ重み係数作成部１２１に対して、ステップ５ｃで選択したインデックスを通知する。これに対してエッジマップ作成部／エッジ重み係数作成部１２１は、動画像フレームFtもしくは動画像フレームFt-1を構成する矩形ブロックについてそれぞれ求めておいたエッジ重み係数のうち、予測ベクトル候補決定部１２３ａから通知されたインデックスに対応する矩形ブロックのエッジ重み係数を予測ベクトル候補決定部１２３ａに出力する。予測ベクトル候補決定部１２３ａは、上記エッジ重み係数を取得し、このエッジ重み係数とステップ５ｂで設定した判定値とが等しいか否かを判定する。ここで、等しい場合には、ステップ５ｆに移行し、一方、等しくない場合には、ステップ５ｅに移行する。

ステップ５ｅにおいて予測ベクトル候補決定部１２３ａは、ステップ５ｄで判定値に等しいと判定した隣接ブロック（ステップ５ｃで選択したインデックスに対応する隣接ブロック）の動きベクトルを、予測ベクトルの候補とする。また候補数Ncに１を加算し、ステップ５ｆに移行する。図６の例では、ステップ５ｃで選択したインデックスが「１」、「５」、「２」、「６」に対応する矩形ブロックの場合には、動きベクトル検出部１２４から動きベクトルを取得して予測ベクトルの候補とする。一方、ステップ５ｃで選択したインデックスが「９」、「１２」、「１０」、「１１」、「０」、「８」、「３」、「７」、「４」に対応する矩形ブロックの場合には、動きベクトル蓄積部１２７から動きベクトルを取得して予測ベクトルの候補とする。

ステップ５ｆにおいて予測ベクトル候補決定部１２３ａは、処理対象ブロックについての予測ベクトルの候補数Ncが、予め設定した規定値以上であるか否かを判定する。ここで、候補数Ncが規定値以上の場合には、処理対象ブロックについての当該処理を終了し、一方、候補数Ncが規定値未満の場合には、ステップ５ｇに移行する。

ステップ５ｇにおいて予測ベクトル候補決定部１２３ａは、ステップ５ｄ〜５ｆの処理を施していない隣接ブロックがまだ残っていれば、ステップ５ｃに移行して残る隣接ブロックのインデックスを選択してステップ５ｄから処理を実施し、一方、残っていない場合には、ステップ５ｈに移行する。

ステップ５ｈは、予測ベクトルの候補数Ncが規定数以下であった場合に、予測ベクトルの候補を追加するために実施される。ステップ５ｈにおいて予測ベクトル候補決定部１２３ａは、図７に示す処理を実施して、予測ベクトルの候補を追加する。以下、図７を参照して説明する。

なお、この処理では、すべての重み係数（Ｎ種類）をそれぞれ処理の対象とするものである。また、ステップ７ａからステップ７ｈの処理は、すべての重み係数を１つずつ順に選択するループ処理であって、選択した重み係数毎に、ステップ７ｂから７ｇの処理を実施する。このため、まずステップ７ａにおいて予測ベクトル候補決定部１２３ａは、重み係数のインデックスを１つずつ小さい値から順に選択する。

ステップ７ｂにおいて予測ベクトル候補決定部１２３ａは、判定値として、ステップ７ａで選択したインデックスの重み係数を設定し、ステップ７ｃに移行する。すなわち、図５に示す処理では、判定値として、処理対象ブロックのエッジ重み係数を設定したのに対して、図７に示す処理では、あらゆる重み係数を判定値として、小さい値から順に採用するものである。

ステップ７ｃおよびステップ７ｇの処理は、予め設定したインデックステーブルを参照し、このテーブルで示される順にしたがい処理対象ブロックに隣接するブロック（隣接ブロック）を検査対象として１つずつ順に選択するループ処理であって、選択した隣接ブロック毎に、ステップ７ｄから７ｆの処理を実施する。このため、インデックステーブルを参照して、ステップ７ｃでは、隣接ブロックのインデックス１つ選択する。なお、インデックステーブルとしては、図５に示した処理と同様に、図６に示したものを用いてもよい。

ステップ７ｄにおいて予測ベクトル候補決定部１２３ａは、エッジマップ作成部／エッジ重み係数作成部１２１に対して、ステップ７ｃで選択したインデックスを通知する。これに対してエッジマップ作成部／エッジ重み係数作成部１２１は、動画像フレームFtもしくは動画像フレームFt-1を構成する矩形ブロックについてそれぞれ求めておいたエッジ重み係数のうち、予測ベクトル候補決定部１２３ａから通知されたインデックスに対応する矩形ブロックのエッジ重み係数を予測ベクトル候補決定部１２３ａに出力する。予測ベクトル候補決定部１２３ａは、上記エッジ重み係数を取得し、このエッジ重み係数とステップ７ｂで設定した判定値とが等しいか否かを判定する。ここで、等しい場合には、ステップ７ｅに移行し、一方、等しくない場合には、ステップ７ｆに移行する。

ステップ７ｅにおいて予測ベクトル候補決定部１２３ａは、ステップ７ｄで判定値と等しいと判定した隣接ブロック（ステップ７ｃで選択したインデックスに対応する隣接ブロック）の動きベクトルを、予測ベクトルの候補とする。また候補数Ncに１を加算し、ステップ７ｆに移行する。図６の例では、ステップ７ｃで選択したインデックスが「１」、「５」、「２」、「６」に対応する矩形ブロックの場合には、動きベクトル検出部１２４から動きベクトルを取得して予測ベクトルの候補とする。一方、ステップ７ｃで選択したインデックスが「９」、「１２」、「１０」、「１１」、「０」、「８」、「３」、「７」、「４」に対応する矩形ブロックの場合には、動きベクトル蓄積部１２７から動きベクトルを取得して予測ベクトルの候補とする。

ステップ７ｆにおいて予測ベクトル候補決定部１２３ａは、処理対象ブロックについての予測ベクトルの候補数Nc（ステップ５ｅおよびステップ７ｅで候補とした合計数）が、予め設定した規定値以上であるか否かを判定する。ここで、候補数Ncが規定値以上の場合には、処理対象ブロックについての当該処理を終了し、一方、候補数Ncが規定値未満の場合には、ステップ７ｇに移行する。

ステップ７ｇにおいて予測ベクトル候補決定部１２３ａは、ステップ７ｄ〜７ｆの処理を施していない隣接ブロックがまだ残っていれば、ステップ７ｃに移行して残る隣接ブロックを選択してステップ７ｄから処理を実施し、一方、残っていない場合には、ステップ７ｈに移行する。

ステップ７ｈにおいて予測ベクトル候補決定部１２３ａは、ステップ７ｂから７ｇの処理を施していない重み係数がまだ残っていれば、ステップ７ａに移行して残る重み係数のインデックスを選択してステップ７ｂからの処理を実施し、一方、残っていない場合には、処理対象ブロックについての当該処理を終了する。

動きベクトル検出部１２４は、予測ベクトル候補決定部１２３ａが決定した予測ベクトルの候補について、これら予測ベクトルを処理対象ブロックに割り当てた際の予測誤差を算出し、この算出結果に基づいて、最小の評価値を有する予測ベクトルをそのブロックの動きベクトルとして検出し、これをメモリに保持する。

最小の評価値を算出する処理の一例を図８に示す。この処理は、ブロック毎に実施する。なお、ステップ８ａからステップ８ｆの処理は、予測ベクトルの候補を１つずつ順に選択するループ処理であって、選択した予測ベクトル毎に、ステップ８ｂから８ｅの処理を実施する。このため、ステップ８ａにおいて動きベクトル検出部１２４は、予測ベクトルの候補のインデックスを１つずつ順に選択する。

ステップ８ｂにおいて動きベクトル検出部１２４は、補間フレーム上の処理対象ブロックにステップ８ａで選択したインデックスの予測ベクトルの候補を割り当てる。その後、時間方向を軸とし、上記で選択した予測ベクトルを前後の復号画像フレームに向かって点対称に推移させた先にある輝度値の差を予測誤差として算出する。ここで予測誤差は、動きベクトルにより指し示された輝度値の差分絶対値和でもよいし、二乗誤差和でもよい。その後、ステップ８ｃに移行する。

ステップ８ｃにおいて動きベクトル検出部１２４は、予め設定した評価式を用いて評価値を算出し、ステップ８ｄに移行する。評価式の一例を以下に示す。
評価値＝予測誤差＋λ＊（動きベクトルコスト）
なお、この式において、動きベクトルコストとは、ステップ８ａで選択したインデックスの予測ベクトルと、隣接ブロックが有する動きベクトルとの親和性を表す。つまり予測ベクトルと隣接ブロックの動きベクトルが似通っていれば、その値は小さくなる。またλは、歪みと動きベクトルコストの次元を合わせるための正規化係数である。

ステップ８ｄにおいて動きベクトル検出部１２４は、保持しておいた最小評価値が、ステップ８ｃで求めた評価値以上の場合には、ステップ８ｅに移行し、一方、ステップ８ｃで求めた評価値未満の場合には、ステップ８ｆに移行する。なお、当該処理の初期状態では、十分に大きな値を最小評価値として用いる。

ステップ８ｅにおいて動きベクトル検出部１２４は、最小評価値をステップ８ｃで求めた評価値とする更新を行ってこれを保持し、ステップ８ｆに移行する。
ステップ８ｆにおいて動きベクトル検出部１２４は、すべての予測ベクトルについてステップ８ｂから８ｅの処理を実施した場合には、ステップ８ｅで最後に保持した評価値に対応する予測ベクトルを動きベクトルとしてメモリに保持し当該処理を終了する。一方、すべての予測ベクトルについて上記処理を実施していない場合には、ステップ８ａに移行して次の予測ベクトルのインデックスを選択してステップ８ｂから処理を実施する。

動きベクトル平滑化部１２５は、矩形ブロック毎に、動きベクトル検出部１２４で検出した動きベクトル（メモリに保持した動きベクトル）に平滑化処理を実施して、インパルスノイズ的な動きベクトルを除去する。具体的な処理の一例としては、当該処理の対象となる矩形ブロック（以下、平滑化対象ブロックと称する）の動きベクトルと、平滑化対象ブロックに隣接している矩形ブロックの動きベクトルとを候補動きベクトル群Ｗ（MV1〜MVN）とし、候補動きベクトル群Ｗのうち、基点とする動きベクトルMVi（iは1〜Nまで順次変更する）を定め、MViから他の候補動きベクトルMVj（MV1〜MVN）までの距離を算出し、それらの和（|MVi-MV1|+|MVi-MV2|+……+|MVi-MVN|）を算出する。MVi（iは1〜Nまで）を変更し、距離和が最小となる動きベクトルを、平滑化対象ブロックの動きベクトル（以下、平滑化動きベクトルと称する）として出力する。すなわち、下式に基づいて、平滑化動きベクトルを求める。

なお、上記隣接しているブロックとは、時間方向に隣接したブロックや、空間方向に隣接したブロックであって、このうち、一方のブロックの動きベクトルを参照するようにしてもよいし、両方のブロックの動きベクトルを参照してもよい。

αブレンディング部１２８は、動きベクトル平滑化部１２５で平滑化された平滑化動きベクトルに基づいて、画像の統計量、歪みおよび動きベクトルの各連続性から平滑化動きベクトルの信頼度を算出する。そして、αブレンディング部１２８は、上記信頼度に基づいて、補間フレームを構成する補償ブロックを生成する。そして、これらのブロックを対応するもの同士で合成して、補間フレームFt-0.5を生成する。なお、この合成の際に、上記信頼度に基づく合成比で合成する。

表示ドライバ１３０は、動画像復号部１１０から与えられる動画像フレームFtと、フレーム補間部１２０ａから与えられる補間フレームFt-0.5とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームFtおよび補間フレームFt-0.5は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１３０が交互に出力することで３０Ｈｚのフレームレートの動画像データを出力することができる。そして、表示部２０は、３０Ｈｚのフレームレートの動画像データを表示する。

以上のように、上記構成の画像処理装置では、動画像フレームFtを構成する各ブロックについてエッジ検出を行い、各ブロックのエッジとそれに隣接するブロックのエッジとの相関をエッジ重み係数として求める。そしてこのエッジ重み係数に基づいて各ブロック毎に動きベクトルの候補を複数求め、このうち予測誤差と動きベクトルコストに基づく評価値が小さな候補を動きベクトルとして求め、補間フレームFt-0.5を生成するようにしている。

したがって、上記構成の画像処理装置によれば、画素単位ではなくブロック毎にエッジを検出するので処理負荷が小さく、従来の手法に比べてプロセッサに要求される処理能力が低くて済む。またそのエッジについて隣接ブロックとの相関を考慮して、動きベクトルの候補を求めるようにしているので、ある程度の精度の向上を図ることができ、実用上、十分な精度の補間フレームが生成できる。

（第２の実施形態）
次に、この発明の第２の実施形態に係わる画像処理装置を適用した移動無線端末装置について説明する。この移動無線端末装置は、前述の第１の実施形態の移動無線端末装置と同様に、図１に示すような構成を有している。すなわち、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信する機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する機能とを備える。各構成は、第１の実施形態の移動無線端末装置と同様であることより、詳細な説明は省略し、前述の実施形態と異なる点を中心に説明する。

第２の実施形態の移動無線端末装置では、制御部１００が図９に示すような画像処理部１００ｂを備える。この画像処理部１００ｂは、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される動画像のフレームに、フレームを補間して表示部２０に表示する。画像処理部１００ｂは、例えば図９に示すように、動画像復号部１１０と、フレーム補間部１２０ｂと、表示ドライバ１３０とを備える。この他に、図示しないが、放送受信部６０で受信されたオーディオデータを復号して、放送された音声信号を得るオーディオ復号部も備える。なお、以下の説明では、図２に示した画像処理部１００ａと異なる部分を中心に説明する。

動画像復号部１１０は、動画像の符号化データ（Video Elementary Stream）を復号し、これによって複数の動画像フレームで構成される動画像データを得る。なお、この時点で得られる動画像データのフレームレートは、１５Ｈｚである。動画像データは、フレーム補間部１２０ｂと表示ドライバ１３０に出力される。

また、動画像復号部１１０による動画像の復号処理では、受信した符号化ストリームから復号の際に参照する動画像フレームを示す情報、符号化された画像データ、及び符号化された動きベクトルなどを抽出し、これらを用いて画像データを復号する。そして、この復号することで得た画像データと、参照する画像フレームから得た画像データとを合成して動画像フレームを得る。なお、この復号処理は、動画像フレームがインター符号化されている場合の説明であり、動画像フレームがイントラ符号化されている場合は、他のフレームを参照する必要がないので、符号化された画像データを復号することで動画像フレームが得られる。

フレーム補間部１２０ｂは、動画像復号部１１０によって得た動画像フレームFtと、その１フレーム前の動画像フレームFt-1との間に内挿する補間フレームを生成するものである。例えば時間的にFtとFt-1との中間に位置する補間フレームFt-0.5を生成するものである。フレーム補間部１２０ｂは、エッジマップ作成部／エッジ重み係数作成部１２１と、動きベクトル制御部１２２ｂと、動きベクトル平滑化部１２５と、動きベクトル蓄積部１２７と、αブレンディング部１２８とを備える。

エッジマップ作成部／エッジ重み係数作成部１２１のうち、エッジマップ作成部は、図３に示すような処理を実施して、エッジマップを作成する。そして、エッジマップ作成部／エッジ重み係数作成部１２１のうち、エッジ重み係数作成部は、エッジマップ作成部が作成したエッジマップに含まれる各エッジ情報を、そのブロック（処理対象ブロック）に隣接するブロックのエッジ情報に基づくエッジ重み係数に変換する。

動きベクトル制御部１２２ｂは、動画像復号部１１０で得た動画像フレームFtと、後段の動きベクトル蓄積部１２７に蓄積しておいた、１つ前に生成した補間フレームFt-1.5の動きベクトルに基づいて、補間フレームFt-0.5を構成する矩形ブロック毎に複数の動きベクトル（予測ベクトル）の候補を決定し、そして、矩形ブロック毎にその複数の候補から動きベクトルを検出する。

すなわち、動きベクトル制御部１２２ｂは、補間フレームFt-0.5を構成する各矩形ブロックの動きベクトルを求める。このような動作を実現するために、動きベクトル制御部１２２ｂは、予測ベクトル候補決定部１２３と動きベクトル検出部１２４ｂを備える。
具体的には、まず予測ベクトル候補決定部１２３が、図１０に示す処理を、補間フレームFt-0.5を構成する１つの矩形ブロックについて実施して、複数の予測ベクトルの候補を決定する。そして、動きベクトル検出部１２４ｂが、図１１に示す処理を実施して、上記複数の予測ベクトルの候補から上記矩形ブロックの予測ベクトル（動きベクトル）を決定し、これをメモリに保持する。このような予測ベクトル候補決定部１２３と動きベクトル検出部１２４ｂによる処理を、矩形ブロック毎にラスタスキャン順に実施して、補間フレームFt-0.5を構成する各矩形ブロックの動きベクトルを求める。

以下、図１０を参照して、予測ベクトル候補決定部１２３の動作について、より具体的に説明する。予測ベクトル候補決定部１２３は、動画像フレームFtが与えられると、補間フレームFt-0.5を構成する各矩形ブロックについて、図１０に示す処理をラスタスキャン順に実施する。

ステップ１０ａおよび１０ｅの処理は、予め設定したインデックステーブルを参照し、このテーブルで示される順にしたがい処理対象ブロック隣接ブロックを検査対象として１つずつ順に選択するループ処理であって、選択した隣接ブロック毎に、ステップ１０ｂから１０ｄの処理を実施する。このため、まずステップ１０ａにおいて予測ベクトル候補決定部１２３は、インデックステーブルを参照して、隣接ブロックのインデックスを１つ選択する。なお、インデックステーブルとしては、図５に示した処理と同様に、図６に示したものを用いてもよい。

このため、まずステップ１０ａにおいて予測ベクトル候補決定部１２３は、隣接ブロックのインデックスを１つずつ順に選択する。そして、ステップ１０ａでは、上記インデックスの選択の度に、処理対象となるブロックについての候補数のカウンタNcを０に設定し、ステップ１０ｂに移行する。

ステップ１０ｂにおいて予測ベクトル候補決定部１２３は、ステップ１０ａで選択した隣接ブロックの動きベクトルが参照可能であるか否かを判定する。参照可能である場合には、ステップ１０ｃに移行し、一方、参照不可能な場合には、ステップ１０ｅに移行する。なお、参照可能とは、隣接ブロックの動きベクトルが、既に動きベクトル検出部１２４ｂで求められている場合や、動きベクトル蓄積部１２７に蓄積されている場合である。

ステップ１０ｃにおいて予測ベクトル候補決定部１２３は、ステップ１０ａで選択した隣接ブロックの動きベクトルを、動きベクトル検出部１２４ｂあるいは動きベクトル蓄積部１２７から取得し、これを予測ベクトルの候補とする。また候補数Ncに１を加算し、ステップ１０ｄに移行する。

ここで、予測ベクトル候補決定部１２３は、補間フレームFt-1.5の動きベクトルに代わり、もしくは補間フレームFt-1.5の動きベクトルとともに、動画フレームFt-1の動きベクトルを用いるようにしてもよい。この場合、動画像復号部１１０において動画フレームFt-1を構成した際に動画像ストリームから生成した動きベクトルを流用するために、この動きベクトルを動きベクトル蓄積部１２７に記憶しておく（図９中の破線矢印）。そして、ステップ１０ｃにおいて予測ベクトル候補決定部１２３は、動きベクトル蓄積部１２７に記憶しておいた動画フレームFt-1の動きベクトルを参照して、予測ベクトルの候補として設定する。

ステップ１０ｄにおいて予測ベクトル候補決定部１２３は、処理対象ブロックについての予測ベクトルの候補数Ncが、予め設定した規定値以上であるか否かを判定する。ここで、候補数Ncが規定値以上の場合には、処理対象ブロックについての当該処理を終了し、一方、候補数Ncが規定値未満の場合には、ステップ１０ｅに移行する。

ステップ１０ｅにおいて予測ベクトル候補決定部１２３は、ステップ１０ｂ〜１０ｄの処理を施していない隣接ブロックがまだ残っていれば、ステップ１０ａに移行して残る隣接ブロックのインデックスを選択してステップ１０ｂから処理を実施し、一方、残っていない場合には、当該処理を終了する。

動きベクトル検出部１２４ｂは、予測ベクトル候補決定部１２３が決定した予測ベクトルの候補について、これら予測ベクトルを処理対象ブロックに割り当てた際の予測誤差を算出し、この算出結果に基づいて、最小の評価値を有する予測ベクトルをそのブロックの動きベクトルとして検出し、これをメモリに保持する。

最小の評価値を算出する処理の一例を図１１に示す。この処理は、ブロック毎に実施する。なお、ステップ１１ａからステップ１１ｆの処理は、予測ベクトルの候補を１つずつ順に選択するループ処理であって、選択した予測ベクトル毎に、ステップ１１ｂから１１ｅの処理を実施する。このため、ステップ１１ａにおいて動きベクトル検出部１２４ｂは、予測ベクトルの候補のインデックスを１つずつ順に選択する。

ステップ１１ｂにおいて動きベクトル検出部１２４ｂは、補間フレーム上の処理対象ブロックにステップ１１ａで選択したインデックスの予測ベクトルの候補を割り当てる。その後、時間方向を軸とし、上記で選択した予測ベクトルを前後の復号画像フレームに向かって点対称に推移させた先にある輝度値の差を予測誤差として算出する。ここで予測誤差は、動きベクトルにより指し示された輝度値の差分絶対値和でもよいし、二乗誤差和でもよい。その後、ステップ１１ｃに移行する。

ステップ１１ｃにおいて動きベクトル検出部１２４ｂは、処理対象ブロックのインデックスを通知して、エッジマップ作成部／エッジ重み係数作成部１２１から、処理対象ブロックのエッジ重み係数を取得し、予め設定した評価式を用いて評価値を算出し、ステップ１１ｄに移行する。評価式の一例を以下に示す。
評価値＝予測誤差＋λ＊（動きベクトルコスト＋エッジ重み係数）
なお、この式において、動きベクトルコストとは、ステップ１１ａで選択したインデックスの予測ベクトルと、隣接ブロックが有する動きベクトルとの親和性を表す。つまり予測ベクトルと隣接ブロックの動きベクトルが似通っていれば、その値は小さくなる。またλは、歪みと動きベクトルコストの次元を合わせるための正規化係数である。

ステップ１１ｄにおいて動きベクトル検出部１２４ｂは、保持しておいた最小評価値が、ステップ１１ｃで求めた評価値以上の場合には、ステップ１１ｅに移行し、一方、ステップ１１ｃで求めた評価値未満の場合には、ステップ１１ｆに移行する。なお、当該処理の初期状態では、十分に大きな値を最小評価値として用いる。

ステップ１１ｅにおいて動きベクトル検出部１２４ｂは、最小評価値をステップ１１ｃで求めた評価値とする更新を行ってこれを保持し、ステップ１１ｆに移行する。
ステップ１１ｆにおいて動きベクトル検出部１２４ｂは、すべての予測ベクトルについてステップ１１ｂから１１ｅの処理を実施した場合には、ステップ１１ｅで最後に保持した評価値に対応する予測ベクトルを動きベクトルとしてメモリに保持し当該処理を終了する。一方、すべての予測ベクトルについて上記処理を実施していない場合には、ステップ８ａに移行して次の予測ベクトルを選択してステップ１１ｂから処理を実施する。

動きベクトル平滑化部１２５は、第１の実施形態で説明したように、矩形ブロック毎に、動きベクトル検出部１２４ｂで検出した動きベクトル（メモリに保持した動きベクトル）に平滑化処理を実施して、インパルスノイズ的な動きベクトルを除去する。

αブレンディング部１２８は、動きベクトル平滑化部１２５で平滑化された平滑化動きベクトルに基づいて、画像の統計量、歪みおよび動きベクトルの各連続性から平滑化動きベクトルの信頼度を算出する。そして、αブレンディング部１２８は、上記信頼度に基づいて、補間フレームを構成する補償ブロックを生成する。そして、これらのブロックを対応するもの同士で合成して、補間フレームFt-0.5を生成する。なお、この合成の際に、上記信頼度に基づく合成比で合成する。

表示ドライバ１３０は、動画像復号部１１０から与えられる動画像フレームFtと、フレーム補間部１２０ｂから与えられる補間フレームFt-0.5とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームFtおよび補間フレームFt-0.5は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１３０が交互に出力することで３０Ｈｚのフレームレートの動画像データを出力することができる。そして、表示部２０は、３０Ｈｚのフレームレートの動画像データを表示する。

以上のように、上記構成の画像処理装置では、動画像フレームFtを構成するブロック毎に、隣接するブロックの動きベクトルを予測ベクトルの候補とし、一方、動画像フレームFtを構成する各ブロックについてエッジ検出を行い、各ブロックのエッジとそれに隣接するブロックのエッジとの相関をエッジ重み係数として求める。そして、予測ベクトルの候補のうち、予測誤差、動きベクトルコストおよびエッジ重み係数に基づく評価値が小さな予測値を動きベクトルとして求め、補間フレームFt-0.5を生成するようにしている。

したがって、上記構成の画像処理装置によれば、画素単位ではなくブロック毎にエッジを検出するので処理負荷が小さく、従来の手法に比べてプロセッサに要求される処理能力が低くて済む。またそのエッジについて隣接ブロックとの相関を考慮して、各ブロックの動きベクトルを決定するようにしているので、ある程度の精度の向上を図ることができ、実用上、十分な精度の補間フレームが生成できる。

（第３の実施形態）
次に、この発明の第３の実施形態に係わる画像処理装置を適用した移動無線端末装置について説明する。この移動無線端末装置は、前述の第１の実施形態および第２の実施形態の移動無線端末装置と同様に、図１に示すような構成を有している。すなわち、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信する機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する機能とを備える。各構成は、第１の実施形態および第２の実施形態の移動無線端末装置と同様であることより、詳細な説明は省略し、前述の実施形態と異なる点を中心に説明する。

第３の実施形態の移動無線端末装置では、制御部１００が図１２に示すような画像処理部１００ｃを備える。この画像処理部１００ｃは、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される動画像のフレームに、フレームを補間して表示部２０に表示する。画像処理部１００ｃは、例えば図１２に示すように、動画像復号部１１０と、フレーム補間部１２０ｃと、表示ドライバ１３０とを備える。この他に、図示しないが、放送受信部６０で受信されたオーディオデータを復号して、放送された音声信号を得るオーディオ復号部も備える。なお、以下の説明では、図２に示した画像処理部１００ａと異なる部分を中心に説明する。

動画像復号部１１０は、動画像の符号化データ（Video Elementary Stream）を復号し、これによって複数の動画像フレームで構成される動画像データを得る。なお、この時点で得られる動画像データのフレームレートは、１５Ｈｚである。動画像データは、フレーム補間部１２０ｃと表示ドライバ１３０に出力される。

フレーム補間部１２０ｃは、動画像復号部１１０によって得た動画像フレームFtと、その１フレーム前の動画像フレームFt-1との間に内挿する補間フレームを生成するものである。例えば時間的にFtとFt-1との中間に位置する補間フレームFt-0.5を生成するものである。フレーム補間部１２０ｃは、エッジマップ作成部／エッジ重み係数作成部１２１と、動きベクトル制御部１２２ｃと、動きベクトル平滑化部１２５と、動きベクトル補正部１２６と、動きベクトル蓄積部１２７と、αブレンディング部１２８とを備える。

エッジマップ作成部／エッジ重み係数作成部１２１のうち、エッジマップ作成部は、図３に示すような処理を実施して、エッジマップを作成する。そして、エッジマップ作成部／エッジ重み係数作成部１２１のうち、エッジ重み係数作成部は、エッジマップ作成部が作成したエッジマップに含まれる各エッジ情報を、そのブロック（処理対象ブロック）に隣接するブロックのエッジ情報に基づくエッジ重み係数に変換する。

動きベクトル制御部１２２ｃは、動画像復号部１１０によって得た動画像フレームFtと、後段の動きベクトル蓄積部１２７に蓄積しておいた、１つ前に生成した補間フレームFt-1.5の動きベクトルに基づいて、補間フレームFt-0.5構成する矩形ブロック毎に予測ベクトルの候補を決定し、そして、矩形ブロック毎にその複数の候補から動きベクトルを検出する。すなわち、動きベクトル制御部１２２ｃは、補間フレームFt-0.5を構成する各矩形ブロックの動きベクトルを求める。このような動作を実現するために、動きベクトル制御部１２２ｃは、予測ベクトル候補決定部１２３と動きベクトル検出部１２４を備える。

予測ベクトル候補決定部１２３は、第２の実施形態で説明したように、図１０に示す処理を、補間フレームFt-0.5を構成する１つの矩形ブロックについて実施して、複数の予測ベクトルの候補を決定する。そして、動きベクトル検出部１２４が、第１の実施形態で説明したように、図８に示す処理を実施して、上記複数の予測ベクトルの候補から上記矩形ブロックの予測ベクトル（動きベクトル）を決定し、これをメモリに保持する。このような予測ベクトル候補決定部１２３と動きベクトル検出部１２４による処理を、矩形ブロック毎にラスタスキャン順に実施して、補間フレームFt-0.5を構成する各矩形ブロックの動きベクトルを求める。

動きベクトル平滑化部１２５は、第１の実施形態で説明したように、矩形ブロック毎に、動きベクトル検出部１２４で検出した動きベクトルに平滑化処理を実施して、インパルスノイズ的な動きベクトルを除去する。

動きベクトル補正部１２６は、例えばガウス窓を用いて、動きベクトル平滑化部１２５にて平滑化された動きベクトルを補正する処理を実施する。具体的には、図１３に示す動きベクトル補正処理を実施する。これらの図に示す処理は、動きベクトル補正部１２６によって、補間フレームFt-0.5を構成する矩形ブロック毎に実施される。

ステップ１３ａからステップ１３ｄの処理は、補間フレームFt-0.5を構成する矩形ブロックをラスタスキャン順に１つずつ選択するループ処理であって、選択したブロック毎に、ステップ１３ｂおよび１３ｃの処理を実施する。
ステップ１３ａにおいて動きベクトル補正部１２６は、補間フレームFt-0.5を構成する矩形ブロックのうち、処理対象となるブロックのインデックスを検出し、ステップ１３ｂに移行する。

ステップ１３ｂにおいて動きベクトル補正部１２６は、ステップ１３ａで選択したブロックのインデックスをエッジマップ作成部／エッジ重み係数作成部１２１に通知する。これに対して、エッジマップ作成部／エッジ重み係数作成部１２１は、動画像フレームFtを構成する矩形ブロックについてそれぞれ求めておいたエッジ重み係数のうち、動きベクトル補正部１２６から通知されたインデックスに対応するブロックのエッジ重み係数を動きベクトル補正部１２６に出力する。動きベクトル補正部１２６は、処理対象ブロックのエッジ重み係数を取得すると、ステップ１３ｃに移行する。

ステップ１３ｃにおいて動きベクトル補正部１２６は、ステップ１３ｂで取得したエッジ重み係数を、ＭＶ補正テーブルに基づいて、同一エッジ方向の動きベクトルが優位に働くように補正する。例えば、下式を用いる。

補正した動きベクトル＝(Σ[ＭＶ＊ＭＶ補正テーブル＊(n+1-エッジ重み係数)])／正規化係数
ここでＭＶ補正テーブルは、例えば図１４に示すように、補正の対象となる矩形ブロックから離れたブロックほど重みが小さくなるように設定する。あるいは、類似性の高い方向のエッジを持つ隣接ブロックの位置の重みを高く設定し、異なる方向のエッジを持つ隣接ブロックの位置の重みを低く設定するようにしてもよい。なお、図１４の例では、３×３のガウス窓に基づいて、隣接ブロックを参照するものとしたが、これ以上のサイズであってもよく、あるいは上下左右の隣接ブロックだけを適用してもよい。

ステップ１３ｄにおいて動きベクトル補正部１２６は、補間フレームFt-0.5を構成するすべての矩形ブロックについて、ステップ１３ｂおよびステップ１３ｃの処理を実施した場合には、当該処理を終了する。一方、すべての矩形ブロックについて処理を実施していない場合には、ステップ１３ａに移行して、次の矩形ブロックを選択する。

αブレンディング部１２８は、動きベクトル補正部１２６で補正された動きベクトルに基づいて、画像の統計量、歪みおよび動きベクトルの各連続性から動きベクトルの信頼度を算出する。そして、αブレンディング部１２８は、上記信頼度に基づいて、補間フレームを構成する補償ブロックを生成する。そして、これらのブロックを対応するもの同士で合成して、補間フレームFt-0.5を生成する。なお、この合成の際に、上記信頼度に基づく合成比で合成する。

表示ドライバ１３０は、動画像復号部１１０から与えられる動画像フレームFtと、フレーム補間部１２０ｃから与えられる補間フレームFt-0.5とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームFtおよび補間フレームFt-0.5は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１３０が交互に出力することで３０Ｈｚのフレームレートの動画像データを出力することができる。そして、表示部２０は、３０Ｈｚのフレームレートの動画像データを表示する。

以上のように、上記構成の画像処理装置では、動画像フレームFtを構成するブロック毎に、隣接するブロックの動きベクトルを予測ベクトルの候補とし、このうち、予測誤差および動きベクトルコストに基づく評価値が小さな予測値を動きベクトルとして求める。一方、動画像フレームFtを構成する各ブロックについてエッジ検出を行い、各ブロックのエッジとそれに隣接するブロックのエッジとの相関をエッジ重み係数として求める。そして上記動きベクトルを、エッジ重み係数に基づいて補正して、補間フレームFt-0.5を生成するようにしている。

したがって、上記構成の画像処理装置によれば、画素単位ではなくブロック毎にエッジを検出するので処理負荷が小さく、従来の手法に比べてプロセッサに要求される処理能力が低くて済む。また各ブロックの動きベクトルを、そのブロックのエッジと隣接ブロックのエッジとの相関に基づくエッジ重み係数で補正するようにしているので、ある程度の精度の向上を図ることができ、実用上、十分な精度の補間フレームが生成できる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

この発明に係わる画像処理装置を適用した移動無線端末装置の構成を示す回路ブロック図。 図１に示した移動無線端末装置に適用した画像処理装置の第１の実施形態の構成を示す回路ブロック図。 図２に示した画像処理装置のエッジマップ作成部／エッジ重み係数作成部の動作を説明するためのフローチャート。 図３に示した処理においてイントラ予測のモード情報をエッジ情報として用いる動作を説明するための図。 図２に示した画像処理装置の予測ベクトル候補決定部の動作を説明するためのフローチャート。 図５に示した処理で用いるインデックステーブルの一例を示す図。 図２に示した画像処理装置の予測ベクトル候補決定部の動作を説明するためのフローチャート。 図２に示した画像処理装置の動きベクトル検出部の動作を説明するためのフローチャート。 図１に示した移動無線端末装置に適用した画像処理装置の第２の実施形態の構成を示す回路ブロック図。 図９に示した画像処理装置の予測ベクトル候補決定部の動作を説明するためのフローチャート。 図９に示した画像処理装置の動きベクトル検出部の動作を説明するためのフローチャート。 図１に示した移動無線端末装置に適用した画像処理装置の第３の実施形態の構成を示す回路ブロック図。 図１２に示した画像処理装置の動きベクトル補正部の動作を説明するためのフローチャート。 図１２に示した画像処理装置の動きベクトル補正部で用いるＭＶ補正テーブルの一例を示す図。

符号の説明

１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１００ａ，１００ｂ，１００ｃ…画像処理部、１１０…動画像復号部、１２０ａ，１２０ｂ，１２０ｃ…フレーム補間部、１２１…係数作成部、１２２ａ，１２２ｂ，１２２ｃ…ベクトル制御部、１２３，１２３ａ…予測ベクトル候補決定部、１２４，１２４ｂ…ベクトル検出部、１２５…ベクトル平滑化部、１２６…ベクトル補正部、１２７…ベクトル蓄積部、１２８…ブレンディング部、１３０…表示ドライバ、１２１…エッジマップ作成部／エッジ重み係数作成部、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網。

Claims (6)

1. 時間的に連続する動画像フレームの間を補間する補間フレームを生成する画像処理装置において、
   補間フレームを構成するブロック毎に動きベクトルを記憶する動きベクトル蓄積手段と、
   動画像フレームを構成するブロック毎にエッジを検出するエッジ検出手段と、
   このエッジ検出手段が検出したエッジに基づいて、ブロック毎に、隣接するブロックのエッジとの相関を求める相関検出手段と、
   補間フレームを構成するブロック毎に、前記相関検出手段が検出した相関に基づいて、前記動きベクトル蓄積手段が記憶する動きベクトルから、動きベクトルの候補を決定する候補決定手段と、
   この候補決定手段が決定した候補から、補間フレームを構成する各ブロックの動きベクトルを検出する動きベクトル検出手段と、
   この動きベクトル検出手段が検出した動きベクトルを前記動きベクトル蓄積手段に記録する制御手段とを具備することを特徴とする画像処理装置。
2. 前記エッジ検出手段は、動画像フレームを構成するブロックのうち、イントラ予測モードのブロックのモード情報からエッジを検出することを特徴とする請求項１に記載の画像処理装置。
3. さらに、動画像フレームを復号する際に用いた第２の動きベクトルを記憶する第２の動きベクトル蓄積手段を備え、
   前記候補決定手段は、補間フレームを構成するブロック毎に、前記相関検出手段が検出した相関に基づいて、前記動きベクトル蓄積手段が記憶する動きベクトルと前記第２の動きベクトル蓄積手段が記憶する第２の動きベクトルとから、動きベクトルの候補を決定することを特徴とする請求項１に記載の画像処理装置。
4. 時間的に連続する動画像フレームの間を補間する補間フレームを生成する画像処理装置において、
   動画像フレームを構成するブロック毎にエッジを検出するエッジ検出手段と、
   このエッジ検出手段が検出したエッジに基づいて、ブロック毎に、隣接するブロックのエッジとの相関を求める相関検出手段と、
   補間フレームを構成するブロック毎に動きベクトルを記憶する動きベクトル蓄積手段と、
   この動きベクトル蓄積手段が記憶する隣接ブロックの動きベクトルから、動きベクトルの候補を決定する候補決定手段と、
   前記相関検出手段が検出した相関に基づいて、前記候補決定手段が決定した候補から、補間フレームを構成する各ブロックの動きベクトルを検出する動きベクトル検出手段と、
   この動きベクトル検出手段が検出した動きベクトルを前記動きベクトル蓄積手段に記録する制御手段とを具備することを特徴とする画像処理装置。
5. 時間的に連続する動画像フレームの間を補間する補間フレームを生成する画像処理装置において、
   動画像フレームを構成するブロック毎にエッジを検出するエッジ検出手段と、
   このエッジ検出手段が検出したエッジに基づいて、ブロック毎に、隣接するブロックのエッジとの相関を求める相関検出手段と、
   補間フレームを構成するブロック毎に動きベクトルを記憶する動きベクトル蓄積手段と、
   この動きベクトル蓄積手段が記憶する隣接ブロックの動きベクトルから、動きベクトルの候補を決定する候補決定手段と、
   この候補決定手段が決定した候補から、補間フレームを構成する各ブロックの動きベクトルを検出する動きベクトル検出手段と、
   このベクトル検出手段が検出した動きベクトルを、前記相関検出手段が求めた相関で補正する補正手段と、
   この補正手段が補正した動きベクトルを前記動きベクトル蓄積手段に記録する制御手段とを具備することを特徴とする画像処理装置。
6. さらに、動画像フレームを復号する際に用いた第２の動きベクトルを記憶する第２の動きベクトル蓄積手段を備え、
   前記候補決定手段は、補間フレームを構成するブロック毎に、前記動きベクトル蓄積手段が記憶する動きベクトルと前記第２の動きベクトル蓄積手段が記憶する第２の動きベクトルとから、動きベクトルの候補を決定することを特徴とする請求項４または請求項５に記載の画像処理装置。

Images