JP5887763B2 - 動き補償フレーム生成装置及び方法 - Google Patents

Description

本発明は、画像の動きを検出して実フレーム間に内挿する補償フレームを生成する動き補償フレーム生成装置及び方法に関する。

液晶ディスプレイ等に動画像を表示する際に、動画ぼやけを低減させるために、動き補償フレーム生成方法を用いてフレームレートを変換することが行われている。動き補償フレーム生成方法においては、画像の動きを検出して補償フレームを生成することから、動きの検出を誤った場合には補償フレーム内に誤った補償によって生成された領域を含むことになる。従って、画質を劣化させてしまう。そこで、動き補償フレーム生成方法を用いたフレームレート変換装置等の映像信号処理装置においては、画像の動きを的確に検出して動き補償品質を高めることが求められる。

特許第３８８３５８９号公報 特開２００９−１５９３００号公報

動き補償フレーム生成装置及び方法において、補償フレームを構成する各補間画素を生成する際には、画像の動きを表す動きベクトルに応じて静止補間処理と動補間処理とを使い分けたり、静止補間処理による補間画素と動補間処理よる補間画素とを混合したりすることが行われている。動きベクトルを誤検出すれば、誤ったベクトルにより動き補償されるだけでなく、静止補間処理と動補間処理との使い分けや静止補間処理による補間画素と動補間処理よる補間画素との混合のさせ方が不適切となることも原因となり、誤った動き補償となる。

そこで、動きベクトルを誤検出なく検出することが望まれるが、動きベクトルを全くの誤検出なく検出することは困難である。動き補償品質を高める一手法として、特許文献１に記載されているように、ブロックマッチング誤差値によって動きベクトルの信頼度を評価して、信頼度に応じて静止補間処理による補間画素と動補間処理よる補間画素との混合比率を変化させるという手法がある。しかしながら、単にブロックマッチング誤差値に基づいた動きベクトルの信頼度に応じて混合比率を変化させても動画ぼやけが発生してしまい、動き補償品質を高めることができない場合があり、改善が求められた。

そこで、本発明は、動画ぼやけをさらに改善することができ、動き補償品質を大幅に高めることができる動き補償フレーム生成装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位の内、一部の検出単位を間引いた選択的な検出単位へと向かう複数の動きベクトル候補の中から、ブロックマッチングを用いて最も相関の高い検出単位へと向かう動きベクトルを検出し、前記動きベクトルに対応する前記注目検出単位それぞれのブロックマッチング誤差値を出力する動きベクトル検出部と、前記動きベクトルの１実フレーム内におけるヒストグラムを算出し、算出したヒストグラムの内の最大値を示す最大値動きベクトルを検出し、前記最大値動きベクトルに対応するヒストグラム値と前記ヒストグラムにおける前記最大値動きベクトルの周辺の動きベクトルに対応するヒストグラム値とを積算して周辺積算値を算出し、前記周辺積算値に基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成する全体スクロール判定部と、前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成する信頼度生成部と、前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力する信頼度調整部と、前記調整信頼度データに応じて、前記動きベクトルを用いない静止補間処理によって生成された第１の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第２の補間画素とを混合して、動き補償フレームを構成するそれぞれの補間画素を生成する補間画素生成部とを備えることを特徴とする動き補償フレーム生成装置を提供する。

上記の動き補償フレーム生成装置において、前記補間画素生成部は、前記第１の補間画素を生成する静止補間部と、前記第２の補間画素を生成する動補間部と、前記調整信頼度データの値に応じて、前記第１の補間画素と前記第２の補間画素とを適応的に混合する適応混合部とを備えることが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位の内、一部の検出単位を間引いた選択的な検出単位へと向かう複数の動きベクトル候補それぞれで、ブロックマッチングによって相関の程度を算出するステップと、前記複数の動きベクトル候補の内、最も相関の高い検出単位に向かう動きベクトルを検出するステップと、前記動きベクトルに対応する前記注目検出単位それぞれの相関の程度をブロックマッチング誤差値として出力するステップと、前記動きベクトルの１実フレーム内におけるヒストグラムを算出するステップと、算出したヒストグラムの内の最大値を示す最大値動きベクトルを検出するステップと、前記最大値動きベクトルに対応するヒストグラム値と前記ヒストグラムにおける前記最大値動きベクトルの周辺の動きベクトルに対応するヒストグラム値とを積算して周辺積算値を算出するステップと、前記周辺積算値に基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成するステップと、前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成するステップと、前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力するステップと、前記調整信頼度データに応じて、前記動きベクトルを用いない静止補間処理によって生成された第１の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第２の補間画素とを混合して、動き補償フレームを構成するそれぞれの補間画素を生成するステップとを含むことを特徴とする動き補償フレーム生成方法を提供する。

上記の動き補償フレーム生成方法において、前記補間画素を生成するステップは、前記第１の補間画素を生成するステップと、前記第２の補間画素を生成するステップと、前記調整信頼度データの値に応じて、前記第１の補間画素と前記第２の補間画素とを適応的に混合するステップとを含むことが好ましい。

本発明の動き補償フレーム生成装置及び方法によれば、動画ぼやけをさらに改善することができ、動き補償品質を大幅に高めることができる。

第１実施形態の動き補償フレーム生成装置を示すブロック図である。 図１中の動きベクトル検出部１２ａにおける動きベクトル検出動作を説明するための図である。 図１中の動きベクトル検出部１２ａにおける動きベクトル候補の間引きを説明するための図である。 図１中の全体スクロール判定部１３ａにおける全体スクロール度DSの生成動作を示すフローチャートである。 図４中のステップＳ４の処理を説明するための図である。 全体スクロール度DSの特性例を示す特性図である。 図１中の信頼度生成部１４で生成する信頼度データDR1の特性例を示す特性図である。 図１中の信頼度調整部１５で生成する調整信頼度データDR2の特性例を示す特性図である。 図１中の静止補間部１６１における静止補間処理を説明するための図である。 図１中の動補間部１６２における動補間処理を説明するための図である。 第２実施形態の動き補償フレーム生成装置を示すブロック図である。 図１１中の全体スクロール判定部１３ｂの具体的構成例を示すブロック図である。 図１２中の水平動きベクトル境界判定部１３１及び垂直動きベクトル境界判定部１３２における境界判定動作を説明するための図である。 境界判定動作の他の例を示す図である。 図１２中の境界判定信号集計部１３４における集計動作を説明するための図である。 境界判定信号集計部１３４における集計動作を示すフローチャートである。 全体スクロール判定部１３ｂが全体スクロール判定度DSを生成する際の特性例を示す特性図である。 水平動きベクトル境界判定部１３１が境界判別値MV_H_LEFTを生成する際の特性例を示す特性図である。 第３実施形態の動き補償フレーム生成装置を示すブロック図である。 第４実施形態の動き補償フレーム生成装置を示すブロック図である。 図２０中のベクトル一致度判定部１９におけるベクトル一致度の判定方法を説明するための図である。

以下、本発明の動き補償フレーム生成装置及び方法の各実施形態について、添付図面を参照して説明する。

＜第１実施形態＞
図１は、第１実施形態の動き補償フレーム生成装置１０１を示している。動き補償フレーム生成装置１０１は、フレームメモリ１１，動きベクトル検出部１２ａ，全体スクロール判定部１３ａ，信頼度生成部１４，信頼度調整部１５，補間画素生成部１６を備える。補間画素生成部１６は、静止補間部１６１，動補間部１６２，適応混合部１６３を備える。

図１において、映像信号は、フレームメモリ１１，動きベクトル検出部１２ａ，補間画素生成部１６に入力される。フレームメモリ１１，動きベクトル検出部１２ａ，補間画素生成部１６に入力される実フレームを現在フレームＦ０とする。フレームメモリ１１は、現在フレームＦ０の映像信号を１フレーム期間遅延させて出力する。フレームメモリ１１より出力される、現在フレームＦ０に対して１フレーム過去の実フレームを過去フレームＦ１とする。過去フレームＦ１の映像信号は、動きベクトル検出部１２ａ及び補間画素生成部１６に入力される。

動きベクトル検出部１２ａは、現在フレームＦ０と過去フレームＦ１の映像信号を用いて、過去フレームＦ１上の検出単位毎の動きベクトルを検出する。ここで、図２を用いて動きベクトル検出部１２ａによる動きベクトルの検出動作について説明する。図２において、過去フレームＦ１内の所定の座標（ｘ，ｙ）に位置する注目画素Ｐｉに対する動きベクトルを検出するとする。動きベクトル検出部１２ａは、現在フレームＦ０上の所定の座標（ｘ，ｙ）のｘ，ｙそれぞれに対して例えば±４０画素の範囲を探索範囲とする。動きベクトル検出部１２ａは、注目画素Ｐｉから探索範囲内の後述する選択した画素に向かう複数の動きベクトル候補ＭＶｃの中から、最も相関の高い現在フレームＦ０内の画素Ｐｊに向かう動きベクトルＭＶｓを検出する。

第１実施形態においては、相関を判断する指標の一例として、２フレーム間の輝度の差分絶対値和（SAD：Sum of Absolute Differences）を用いる。図２に示すように、動きベクトル検出部１２ａは、SAD値を、一例として、注目画素Ｐｉの周辺の水平７画素及び垂直７画素のブロックＢｉと画素Ｐｊの周辺の水平７画素及び垂直７画素のブロックＢｊ内の各画素を用いて、式（１）により計算する。式（１）において、（mvx_c,mvy_c）は図２の動きベクトル候補ＭＶｃに相当する動きベクトル候補、SAD(mvx_c,mvy_c)は動きベクトル候補（mvx_c,mvy_c）に対するSAD値、L0(x,y)，L1(x,y)はそれぞれ現在フレームＦ０、過去フレームＦ１内の座標（ｘ，ｙ）での画素の輝度値である。

式（１）で計算したSAD値が最小となる画素が最も相関が高い。動きベクトル検出部１２ａは、複数の動きベクトル候補ＭＶｃの中からSAD値が最小となる画素Ｐｊに向かう動きベクトルＭＶｓを抽出して、抽出した動きベクトルＭＶｓを動きベクトルＭＶとして出力する。

第１実施形態においては、動きベクトル検出部１２ａの回路規模及び動きベクトル検出部１２ａで行う計算量を削減するために、注目画素Ｐｉから探索範囲内の全ての画素に向かう動きベクトル候補ＭＶｃを求めるのではなく、図３に示すように、水平方向及び垂直方向で選択した画素に向かう動きベクトル候補ＭＶｃを求めるようにしている。図３に示す例では、破線で示す探索範囲Ａrs内の垂直方向における奇数番目のラインを間引くと共に、水平方向における奇数番目の画素を間引いている。図３では、画素を円形で示しており、探索範囲Ａrs内の破線で示す円は間引かれた画素である。

動きベクトル検出部１２ａは、注目画素Ｐｉから、水平方向及び垂直方向それぞれに２画素おきである実線で示す画素Ｐj22,Ｐj42,Ｐj62,…,Ｐj24,Ｐj44,Ｐj64,…に向かう複数の動きベクトル候補ＭＶｃの中から最も相関の高い画素Ｐｊに向かう動きベクトルＭＶｓを検出する。即ち、動きベクトル検出部１２ａは、探索範囲Ａrs内の奇数番目のラインと奇数番目の画素を間引いていることから、水平方向及び垂直方向で奇数動きベクトル候補を間引いて、偶数動きベクトル候補から動きベクトルＭＶｓを検出することになる。奇数動きベクトル候補の代わりに偶数動きベクトル候補を間引いてもよい。

図１に戻り、動きベクトル検出部１２ａは、検出した動きベクトルＭＶに対応するSAD値をブロックマッチング誤差値BMEとして信頼度生成部１４に供給する。動きベクトル検出部１２ａは、ブロックマッチング誤差値BMEを最大値が２５５となるように正規化して出力する。

動きベクトル検出部１２ａにおける動きベクトルＭＶの検出単位、動きベクトルＭＶの探索範囲、相関の指標は上記の例に限定されるものではない。相関の指標としてSAD値を用いる場合、ブロックＢｉ，Ｂｊのサイズ及び形状は上記の例に限定されるものではない。動きベクトルＭＶの検出単位が画素単位ではなく、ブロック単位の場合は、注目単位としては注目画素Ｐｉではなく、注目ブロックとなる。また、動きベクトル検出部１２ａは図２に示すように隣接する２フレーム内の画素ではなく、隣接していない２フレーム内の画素を用いて動きベクトルＭＶを検出してもよい。さらに、動きベクトルＭＶの検出精度を高めるために２フレームより多いフレーム内の画素を用いて動きベクトルＭＶを検出してもよい。動きベクトル検出部１２ａにおける動きベクトルＭＶの検出方法は任意である。

動きベクトル検出部１２ａが検出した動きベクトルＭＶは、全体スクロール判定部１３ａ及び補間画素生成部１６内の動補間部１６２に入力される。全体スクロール判定部１３ａは、フレーム内で画像が全体的にほぼ一方向にスクロールするいわゆる全体スクロールしているか否かを判定して、全体スクロールの程度を示す全体スクロール度DSを生成する。

図４を用いて全体スクロール判定部１３ａにおける全体スクロール度DSの生成動作について説明する。全体スクロール判定部１３ａは、ステップＳ１にて、動きベクトルＭＶの１フレーム内におけるヒストグラムを検出する。全体スクロール判定部１３ａは、方向の異なる全ての動きベクトルＭＶに対応したカウンタを有する。全体スクロール判定部１３ａはフレームの開始時にカウンタをリセットし、１フレームが終了するまでそれぞれの動きベクトルＭＶが入力される度にカウンタをインクリメントさせて、動きベクトルＭＶに対応するヒストグラム値Hist(mvx_c,mvy_c)を算出する。

全体スクロール判定部１３ａは、ステップＳ２にて、式（２）に基づいて、ヒストグラム値Hist(mvx_c,mvy_c)を０〜２５５の範囲に値が収まるように正規化して、正規化ヒストグラム値Hist_nrm(mvx_c,mvy_c)として出力する。式（２）中のTotal_numは、全体スクロール判定部１３ａに入力される動きベクトルＭＶの１フレーム期間中の総入力回数である。正規化後の値の範囲は０〜２５５に限定されるものではない。ステップＳ２の正規化処理は設ける方が好ましいが、省略可能である。
Hist_nrm(mvx_c,mvy_c)=Hist(mvx_c,mvy_c)×255/Total_num …（２）

なお、動きベクトルＭＶを１フレームの全画素に対して検出すればTotal_numは１フレームの画素数となる。画面の上下または左右端部では動きベクトルＭＶの検出精度はさほどよくない。そこで、１フレーム内の上下左右の端部を除く、中央部の所定の範囲で動きベクトルＭＶのヒストグラム値Hist(mvx_c,mvy_c)を算出してもよい。この場合は、Total_numは中央部で検出した動きベクトルＭＶの１フレーム期間中の総入力回数となる。

全体スクロール判定部１３ａは、ステップＳ３にて、正規化ヒストグラム値Hist_nrm(mvx_c,mvy_c)における最大値を検出する。具体的には、全体スクロール判定部１３ａは、正規化ヒストグラム値Hist_nrm(mvx_c,mvy_c)の中で最大値（最大頻度）を示すヒストグラム値Hist_nrm(mvx_c_hmax,mvy_c_hmax)を検出する。動きベクトルＭＶの中で、最大のヒストグラム値が検出された動きベクトルを最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)とする。最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)は、画像の全体スクロールの方向を示す全体スクロール動きベクトルである。
次に、全体スクロール判定部１３ａは、ステップＳ４にて、式（３）に基づいて、正規化ヒストグラム値Hist_nrm(mvx_c,mvy_c)において最大のヒストグラム値Hist_nrm(mvx_c_hmax,mvy_c_hmax)と、最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)の周辺の動きベクトルに対応するヒストグラム値とを積算した周辺積算値Sum_Histを算出する。

図５を用いて、ステップＳ４における周辺積算値Sum_Histの算出動作を概念的に説明する。図５において、探索範囲Ａrs内でハッチングを付した画素Ｐj64が注目画素Ｐｉと最も相関の高い画素Ｐｊであるとする。前述のように、動きベクトル検出部１２ａでは奇数動きベクトル候補を間引いていることから、例えば注目画素Ｐｉから図５の画素Ｐj54に向かう動きベクトルは、水平方向では、画素Ｐj44に向かう動きベクトルまたは画素Ｐj64に向かう動きベクトルとなる。本来の画素Ｐj54に向かう動きベクトルは、画素Ｐj44に向かう動きベクトルと画素Ｐj64に向かう動きベクトルとのいずれかに振り分けられることになる。

従って、画像が奇数動きベクトルのスクロール画像であった場合には、本来検出すべき最大値動きベクトルの値は、奇数動きベクトル近傍の偶数動きベクトルに分散することになる。そこで、式（３）によって、分散した正規化ヒストグラムHist_nrm(mvx_c,mvy_c)をまとめるために、周辺積算値Sum_Histを算出する。式（３）においては、図５に一点鎖線で囲んだ、画素Ｐj64と、画素Ｐj64周辺の画素Ｐj42,Ｐj62，Ｐj82，Ｐj44,Ｐj62，Ｐj84，Ｐj46，Ｐj66，Ｐj86の範囲で正規化ヒストグラムHist_nrm(mvx_c,mvy_c)の値を積算している。

式（３）において、動きベクトル候補ＭＶｃのｘ成分及びｙ成分をそれぞれ２ずつずらすのは、奇数動きベクトル候補を間引いているからである。周辺積算値Sum_Histを算出する積算範囲は図５に示す例に限定されるものではない。

図４に戻り、全体スクロール判定部１３ａは、ステップＳ５にて、周辺積算値Sum_Histと所定の閾値とを比較して全体スクロール度DSを生成して出力する。図６は、周辺積算値Sum_Histに対する全体スクロール度DSの特性の例を示している。図６に示すように、周辺積算値Sum_Histが閾値TH3以上のとき全体スクロール度DSを“３”、周辺積算値Sum_Histが閾値TH2以上閾値TH3未満のとき全体スクロール度DSを“２”、周辺積算値Sum_Histが閾値TH1以上閾値TH2未満のとき全体スクロール度DSを“１”、周辺積算値Sum_Histが閾値TH1未満のとき全体スクロール度DSを“０”としている。

全体スクロール度DSの値が大きい方が、フレーム内で画像が全体的にほぼ一方向にスクロールする全体スクロールの程度が大きいということである。図６の例では、全体スクロール度DSを“０”〜“３”の４段階としたが、これに限定されるものではない。全体スクロール度DSを“０”と“１”の２段階、即ち、全体スクロールしているか否かを判定してもよい。全体スクロールの程度とは、全体スクロール度DSを“０”と“１”の２段階とした場合を含む。全体スクロール判定部１３ａは、以上のように生成した全体スクロール度DSを信頼度調整部１５に供給する。

信頼度生成部１４は、入力されたブロックマッチング誤差値BMEに基づいて、動きベクトル検出部１２ａが検出した動きベクトルＭＶの信頼度を示す指標である信頼度データDR1を生成する。信頼度生成部１４は、図７に示すように、ブロックマッチング誤差値BMEが小さいほど大きくなり、ブロックマッチング誤差値BMEが大きいほど小さくなる信頼度データDR1を生成する。信頼度データDR1は信頼度調整部１５に入力される。

信頼度調整部１５は、入力された信頼度データDR1を、全体スクロール度DSの値に応じてゲインを調整して、調整信頼度データDR2として出力する。信頼度調整部１５は、図８に示すように、全体スクロール度DSの値が大きいほど調整信頼度データDR2の下限値を大きくするようゲインを調整する。信頼度調整部１５は、図８に示す特性より分かるように、全体スクロール度DSの値が大きいほど、調整信頼度データDR2の値を大きくして信頼度を上昇させる。調整信頼度データDR2は、補間画素生成部１６の適応混合部１６３に入力される。

次に、補間画素生成部１６の動作について説明する。静止補間部１６１は、入力された現在フレームＦ０内の画素と過去フレームＦ１内の画素とを用いて、常に静止補間処理によって現在フレームＦ０と過去フレームＦ１との間の補償フレームＦ１０内の補間画素を生成する。具体的には、図９に示すように、現在フレームＦ０と過去フレームＦ１との間の補償フレームＦ１０内の補間画素Ｐｓを、補間画素Ｐｓとそれぞれ同じ位置にある過去フレームＦ１内の画素Ｐｒと現在フレームＦ０内の画素Ｐｔとを平均することによって生成する。

動補間部１６２は、入力された現在フレームＦ０内の画素と過去フレームＦ１内の画素と動きベクトルＭＶとを用いて、動きベクトルＭＶに基づいた動補間処理によって現在フレームＦ０と過去フレームＦ１との間の補償フレームＦ１０内の補間画素を生成する。具体的には、図１０に示すように、補償フレームＦ１０内の補間画素Ｐｍを生成する際に、補間画素Ｐｍと同じ位置にある過去フレームＦ１内の画素において検出された動きベクトルＭＶを１／２にした動きベクトル１／２×ＭＶと、−１／２にした動きベクトル−１／２×ＭＶとを用いる。動補間部１６２は、動きベクトル−１／２×ＭＶで示す過去フレームＦ１内の画素Ｐｉと動きベクトル１／２×ＭＶで示す現在フレームＦ０内の画素Ｐｊとを平均して補間画素Ｐｍを生成する。

特に図示しないが、動補間部１６２は、補間画素Ｐｍを中心とした所定の水平方向及び垂直方向の複数の画素の範囲で画素Ｐｉと画素Ｐｊとを選択することができるよう、入力された現在フレームＦ０内の画素と過去フレームＦ１内の画素をそれぞれ水平方向及び垂直方向に遅延させる遅延回路を備える。
第１実施形態においては、静止補間部１６１及び動補間部１６２の補間処理を図９及び図１０に示すように隣接する２フレーム内の画素を用いて行っているが、隣接していない２フレーム内の画素を用いて補間処理を行ってもよい。

適応混合部１６３には、静止補間部１６１より出力された補間画素Ｐｓと動補間部１６２より出力された補間画素Ｐｍとが入力される。適応混合部１６３は、調整信頼度データDR2の値に応じて補間画素Ｐｓと補間画素Ｐｍとを適応的に混合する。適応混合部１６３は、式（４）に基づいて補間画素Ｐｓと補間画素Ｐｍとを混合して補間画素Ｐｘを生成する。
Ｐｘ＝Ｐｓ×(256-DR2)/256＋Ｐｍ×DR2/256 …（４）

式（４）より分かるように、補間画素Ｐｘは、調整信頼度データDR2の値が大きいほど、動補間処理によって生成した補間画素Ｐｍの割合が大きくなる。前述のように、信頼度調整部１５は、全体スクロール判定部１３ａが生成する全体スクロール度DSの値が大きいほど信頼度データDR1の値を大きくして調整信頼度データDR2とする。即ち、補間画素生成部１６は、全体スクロール度DSの値が大きいほど静止補間処理によって生成した補間画素Ｐｓの割合を少なくして補間画素Ｐｍの割合を大きくする。

入力される映像信号として、実フレームを構成する各画素が順次入力され、補間画素生成部１６によって補償フレームＦ１０を構成する補間画素Ｐｘが順次生成されることになる。これによって、動き補償フレーム生成装置１０１からは、過去フレームＦ１と現在フレームＦ０との間に内挿するそれぞれの補償フレームＦ１０が生成されることになる。

第１実施形態においては、図３で説明したように、動きベクトル候補ＭＶｃを間引くことによって奇数動きベクトル候補または偶数動きベクトル候補を間引いたが、動きベクトル候補の間引き方は図３の手法に限定されない。例えば、１フレームの画素数を水平及び垂直方向双方で１／２に間引き、１フレームの大きさを１／４とする。１／４の大きさのフレーム間で動きベクトルを検出する。この動きベクトルを、水平及び垂直方向それぞれ２倍して、動き補償フレーム生成装置１０１で実際に用いる動きベクトルＭＶとする。この場合、奇数動きベクトル候補が間引かれることになる。

第１実施形態の動き補償フレーム生成装置１０１によれば、全体スクロール度DSを用いて動きベクトルＭＶの信頼度を調整するようにしているので、動画ぼやけを従来と比較してさらに改善することができ、動き補償品質を大幅に高めることができる。第１実施形態の動き補償フレーム生成装置１０１においては、動きベクトル検出部１２ａにおいて動きベクトル候補ＭＶｃを間引いているので、動きベクトル検出部１２ａの回路規模及び計算量を削減することが可能となる。これに併せて、全体スクロール判定部１３ａでの全体スクロール度DSの生成の際に、最大値動きベクトル（全体スクロール動きベクトル）の周辺の値を積算した周辺積算値Sum_Histを用いているので、動きベクトル候補を間引いたことによる悪影響を回避しつつ全体スクロール度DSを的確に生成することができる。

＜第２実施形態＞
図１１に示す第２実施形態の動き補償フレーム生成装置１０２において、第１実施形態の動き補償フレーム生成装置１０１と同一部分には同一符号を付し、その説明を適宜省略することとする。第２実施形態の動き補償フレーム生成装置１０２における動きベクトル検出部１２は、図１の動きベクトル検出部１２ａと同じでもよいし、動きベクトル候補ＭＶｃを間引かず動きベクトルＭＶを検出する構成であってもよい。第２実施形態の動き補償フレーム生成装置１０２は、全体スクロール判定部１３ａの代わりに、全体スクロール度DSを生成する構成が異なる全体スクロール判定部１３ｂを備える。

図１２を用いて全体スクロール判定部１３ｂの具体的構成について説明する。動きベクトル検出部１２より出力された動きベクトルＭＶは、水平動きベクトル境界判定部１３１及び垂直動きベクトル境界判定部１３２に入力される。水平動きベクトル境界判定部１３１は、動きベクトルＭＶに基づいて、水平方向の動きベクトルの境界を判定する。垂直動きベクトル境界判定部１３２は、動きベクトルＭＶに基づいて、垂直方向の動きベクトルの境界を判定する。

図１３を用いて、水平動きベクトル境界判定部１３１で行われる水平方向の動きベクトルＭＶの境界を判定する方法について説明する。図１３において、注目画素Ｐｉで検出された動きベクトルＭＶをMV_REF、注目画素Ｐｉの左側に隣接する画素Ｐａで検出された動きベクトルＭＶをMV_LEFT、注目画素Ｐｉの上側に隣接する画素Ｐｂで検出された動きベクトルＭＶをMV_ABOVEとする。まず、水平動きベクトル境界判定部１３１は、式（５）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における水平方向の動きベクトルの境界の有無を判定する。式（５）において、MV_REF_H，MV_LEFT_HはMV_REF，MV_LEFTの水平成分、TH_Hは所定の閾値である。

|MV_REF_H-MV_LEFT_H| ＞ TH_H …（５）

水平動きベクトル境界判定部１３１は、式（５）を満たす場合には、注目画素Ｐｉと左側の画素Ｐａとの境界判別値MV_H_LEFTを“１”とし、式（５）を満たさない場合には、境界判別値MV_H_LEFTを“０”とする。境界判別値MV_H_LEFTが“１”であれば、注目画素Ｐｉと左側の画素Ｐａとの間には、動きベクトルＭＶの水平成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの水平成分は、左側の画素Ｐａにおける動きベクトルＭＶの水平成分に対して変化していることを示す。なお、閾値TH_Hの値は、動きベクトルＭＶの探索範囲の大きさ等に応じて適宜設定する。

次に、水平動きベクトル境界判定部１３１は、式（６）を用いて、注目画素Ｐｉと、注目画素Ｐｉの直上に位置する上側の画素Ｐｂとの間における水平方向の動きベクトルの境界の有無を判定する。式（６）において、MV_ABOVE_HはMV_ABOVEの水平成分である。

|MV_REF_H-MV_ABOVE_H| ＞ TH_H …（６）

水平動きベクトル境界判定部１３１は、式（６）を満たす場合には、注目画素Ｐｉと上側の画素Ｐｂとの境界判別値MV_H_ABOVEを“１”とし、式（６）を満たさない場合には、境界判別値MV_H_ABOVEを“０”とする。境界判別値MV_H_ABOVEが“１”であれば、注目画素Ｐｉと上側の画素Ｐｂとの間には、動きベクトルＭＶの水平成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの水平成分は、上側の画素Ｐｂおける動きベクトルＭＶの水平成分に対して変化していることを示す。

ここでは、水平動きベクトル境界判定部１３１は、式（５）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における水平方向の動きベクトルの境界の有無を判定し、次に、式（６）を用いて、注目画素Ｐｉと上側の画素Ｐｂとの間における水平方向の動きベクトルの境界の有無を判定すると説明したが、順番は逆でもよく、両者を同時に判定してもよい。第２実施形態では式（５）と式（６）とで同じ値の閾値TH_Hを用いているが、式（５）と式（６）とで異なる閾値を用いてもよい。

水平動きベクトル境界判定部１３１は、境界判別値MV_H_LEFTと境界判別値MV_H_ABOVEとのＯＲ演算を行って、水平動きベクトル境界判定信号MV_H_EDGEとして出力する。

図１３を用いて、垂直動きベクトル境界判定部１３２で行われる垂直方向の動きベクトルＭＶの境界を判定する方法について説明する。図１３において、注目画素Ｐｉで検出された動きベクトルＭＶの垂直成分をMV_REF_V、注目画素Ｐｉの左側に隣接する画素Ｐａで検出された動きベクトルＭＶの垂直成分をMV_LEFT_V、注目画素Ｐｉの上側に隣接する画素Ｐｂで検出された動きベクトルＭＶの垂直成分をMV_ABOVE_Vとする。垂直動きベクトル境界判定部１３２は、式（７）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における垂直方向の動きベクトルの境界の有無を判定する。また、垂直動きベクトル境界判定部１３２は、式（８）を用いて、注目画素Ｐｉと上側の画素Ｐｂとの間における垂直方向の動きベクトルの境界の有無を判定する。TH_Vは所定の閾値である。

第２実施形態では式（７）と式（８）とで同じ値の閾値TH_Vを用いているが、式（７）と式（８）とで異なる閾値を用いてもよい。

|MV_REF_V-MV_LEFT_V| ＞ TH_V …（７）
|MV_REF_V-MV_ABOVE_V| ＞ TH_V …（８）

垂直動きベクトル境界判定部１３２は、式（７）を満たす場合には、注目画素Ｐｉと左側の画素Ｐａとの境界判別値MV_V_LEFTを“１”とし、式（７）を満たさない場合には、境界判別値MV_V_LEFTを“０”とする。境界判別値MV_V_LEFTが“１”であれば、注目画素Ｐｉと左側の画素Ｐａとの間には、動きベクトルＭＶの垂直成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの垂直成分は、左側の画素Ｐａにおける動きベクトルＭＶの垂直成分に対して変化していることを示す。なお、閾値TH_Vの値は、動きベクトルＭＶの探索範囲の大きさ等に応じて適宜設定する。

垂直動きベクトル境界判定部１３２は、式（８）を満たす場合には、注目画素Ｐｉと上側の画素Ｐｂとの境界判別値MV_V_ABOVEを“１”とし、式（８）を満たさない場合には、境界判別値MV_V_ABOVEを“０”とする。境界判別値MV_V_ABOVEが“１”であれば、注目画素Ｐｉと上側の画素Ｐｂとの間には、動きベクトルＭＶの垂直成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの垂直成分は、上側の画素Ｐｂおける動きベクトルＭＶの垂直成分に対して変化していることを示す。

垂直動きベクトル境界判定部１３２は、境界判別値MV_V_LEFTと境界判別値MV_V_ABOVEとのＯＲ演算を行って、垂直動きベクトル境界判定信号MV_V_EDGEとして出力する。

図１３に示す例では、注目画素Ｐｉにおける動きベクトルＭＶと、左側の画素Ｐａと上側の画素Ｐｂにおける動きベクトルＭＶとを比較したが、これに限定されることはない。図１４（Ａ）に示すように、左側の画素Ｐａの代わりに右側に隣接する画素Ｐｃを用いてもよく、図１４（Ｂ）に示すように、上側の画素Ｐｂ代わりに注目画素Ｐｉの直下に位置する下側の画素Ｐｄを用いてもよい。図１４（Ｃ）に示すように、右側の画素Ｐｃと下側の画素Ｐｄを用いてもよく、図１４（Ｄ）に示すように、上下左右の画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄを用いてもよい。さらに、図１４（Ｅ）に示すように、左側の画素Ｐａのみを用いたり、図１４（Ｆ）に示すように、上側の画素Ｐｂのみを用いたりして、簡略化することもできる。但し、全体スクロールの判定精度を向上させるためには、左または右と上または下との双方を用いることが好ましい。

また、必ずしも、注目画素Ｐｉにおける動きベクトルＭＶと、注目画素Ｐｉと隣接する画素の動きベクトルＭＶとを比較しなくてもよい。図１４（Ｇ）に示すように、注目画素Ｐｉにおける動きベクトルＭＶと、左側の画素Ｐａのさらに左側の画素Ｐｅにおける動きベクトルＭＶとを比較し、注目画素Ｐｉにおける動きベクトルＭＶと、上側の画素Ｐｂのさらに上側の画素Ｐｆにおける動きベクトルＭＶとを比較してもよい。即ち、注目画素Ｐｉと注目画素Ｐｉに対して左方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して右方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して上方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して下方に位置する画素との動きベクトルＭＶどうしの少なくとも１つを比較すればよい。さらに言えば、注目画素Ｐｉと異なる画素（互いに異なる検出単位）の動きベクトルＭＶを比較すればよい。

図１２において、境界判定信号混合部１３３には、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとが入力される。境界判定信号混合部１３３は、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとをＯＲ演算することによって両信号を混合し、動きベクトル境界判定信号MV_EDGEとして出力する。以上のようにして、破線で囲んだ境界判定信号生成部３１２３は、動きベクトル境界判定信号MV_EDGEを生成する。動きベクトル境界判定信号MV_EDGEは、境界判定信号集計部１３４に入力される。

境界判定信号集計部１３４は、動きベクトル境界判定信号MV_EDGEを集計する。第２実施形態においては、動きベクトルＭＶは１画素単位で検出されるので、動きベクトル境界判定信号MV_EDGEは、図１５に示すように、１画素単位で順次出力されることになる。図１５において、それぞれの矩形は画素を示し、矩形内の“１”または“０”は動きベクトル境界判定信号MV_EDGEが示す値である。境界判定信号集計部１３４は、図１６のステップＳ２１にて、１フレーム内の動きベクトル境界判定信号MV_EDGEをカウントする。即ち、注目画素Ｐｉに対して得られた動きベクトル境界判定信号MV_EDGEが“１”のときカウンタをインクリメントして、１フレーム内の動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求める。

次に、境界判定信号集計部１３４は、ステップＳ２２にて、総数EDGE_SUMを式（９）を用いて正規化して正規化集計値EDGE_SUM_NRMを出力する。式（９）において、TOTAL_NUMは総数EDGE_SUMの取り得る最大値を意味し、第２実施形態では動きベクトル境界判定信号MV_EDGEが２値で表されているため、動きベクトル境界判定信号MV_EDGEの検出単位の１フレーム内における総数である。即ち、動きベクトル境界判定信号MV_EDGEは１画素単位で出力されるので、TOTAL_NUMの値は１フレーム内の総画素数となる。

EDGE_SUM_NRM=EDGE_SUM×255/TOTAL_NUM …（９）

１フレーム内の全ての画素に対して得られる動きベクトル境界判定信号MV_EDGEを集計してもよいが、１フレーム内の部分的な画素に対して得られる動きベクトル境界判定信号MV_EDGEを集計してもよい。前述のように、画面の上下または左右端部では動きベクトルＭＶの検出精度はさほどよくない。そこで、１フレーム内の上下左右の端部を除く、中央部の所定の範囲で動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求めてもよい。総数EDGE_SUMを式（９）を用いて正規化して正規化集計値EDGE_SUM_NRMとすれば、正規化集計値EDGE_SUM_NRMは、動きベクトル境界判定信号MV_EDGEの集計範囲に関係なく、０〜２５５の値となる。

図１６のステップＳ２２による正規化は必須ではないが、動きベクトル境界判定信号MV_EDGEの集計範囲を変更した場合でも正規化集計値EDGE_SUM_NRMは０〜２５５の値となるので、後段の判定部１３５における判定処理に影響を与えることがない。そこで、ステップＳ２２を設けて総数EDGE_SUMを正規化することが好ましい。

正規化集計値EDGE_SUM_NRMは、判定部１３５に入力される。判定部１３５は、正規化集計値EDGE_SUM_NRMと所定の閾値TH11，TH12，TH13とを比較することによって、フレーム内の画像が全体スクロールしているか否か及び全体スクロールの程度を判定して、全体スクロール度DSを出力する。図１７を用いて、判定部１３５が出力する全体スクロール度DSの特性について説明する。図１７に示すように、閾値TH11，TH12，TH13と３つの閾値を設け、全体スクロール度DSを、正規化集計値EDGE_SUM_NRMが閾値TH11以下のとき“３”、閾値TH11を超えて閾値TH12以下のとき“２”、閾値TH12を超えて閾値TH13以下のとき“１”、閾値TH13を越えれば“０”とする。

第２実施形態においては、まず、動きベクトル検出部１２が、それぞれのフレーム内の所定の検出単位毎に画像の動きベクトルＭＶを検出する。境界判定信号生成部３１２３が、１フレーム内の異なる検出単位で検出された動きベクトルＭＶを比較することによって、異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号MV_EDGEを生成する。境界判定信号集計部１３４が、動きベクトル境界判定信号MV_EDGEを集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値（EDGE_SUMまたはEDGE_SUM_NRM）を生成する。

そして、判定部１３５は、集計値と所定の閾値（TH11，TH12，TH13）とを比較することによって、画像が全体的にスクロールしている程度を示す全体スクロール度DSを生成する。全体スクロール判定部１３ｂは、動きベクトルＭＶの比較、集計、閾値との比較という比較的簡単な処理を行うだけでよいので、小さな回路規模で実現することができる。しかも、全体スクロールの程度を的確に判定することが可能である。

上記の例では、水平動きベクトル境界判定部１３１及び垂直動きベクトル境界判定部１３２は、境界判別値を“１”と“０”の２値で判定するようにしたが、３値以上で判定するようにしてもよい。水平動きベクトル境界判定部１３１が境界判別値を３値以上で判定する例を、図１８を用いて説明する。図１８は水平動きベクトル境界判定部１３１が境界判別値MV_H_LEFTを生成する際の一例を示す特性図である。閾値TH_H1，TH_H2，TH_H3と３つの閾値を設け、境界判別値MV_H_LEFTを、|MV_REF_H-MV_LEFT_H|が閾値TH_H3より大きいとき“３”、閾値TH_H3以下かつ閾値TH_H2より大きいとき“２”、閾値TH_H2以下かつ閾値TH_H1より大きいとき“１”、閾値TH_H1以下のとき“０”とした４値で表している。境界判別値MV_H_LEFTは、値が大きいほど境界度合いが大きいことを示す。

図１８は境界判別値MV_H_LEFTを生成する特性を示しているが、水平動きベクトル境界判定部１３１または垂直動きベクトル境界判定部１３２は図１８と同様の特性で境界判別値MV_H_ABOVE，MV_V_LEFT，MV_V_ABOVEを生成する。

水平動きベクトル境界判定部１３１は、求めた境界判別値MV_H_LEFTと境界判別値MV_H_ABOVEとを比較し、値の大きいもの、即ち、境界度合いの大きい値を選択して水平動きベクトル境界判定信号MV_H_EDGEとして出力する。境界判別値を３値以上で判定する場合には、ＯＲ演算は用いない。垂直動きベクトル境界判定部１３２も同様の方法で境界判定信号MV_V_EDGEを出力する。

境界判定信号混合部１３３では、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとをＯＲ演算することで動き境界判定信号MV_EDGEを生成するのではなく、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEの内、値の大きい方、即ち、より境界度合いの大きい方を選択することで動き境界判定信号MV_EDGEとして出力する。境界判定信号集計部１３４は、１フレーム内の動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求める際に、動きベクトル境界判定信号MV_EDGEに応じてカウンタをインクリメントする。例えば動きベクトル境界判定信号MV_EDGEが２であればカウンタを２インクリメントし、３であればカウンタを３インクリメントする。

図１１において、信頼度調整部１５は、図１と同様、全体スクロール度DSに応じて信頼度データDR1のゲインを調整して調整信頼度データDR2として出力する。補間画素生成部１６は、調整信頼度データDR2の値に応じて補間画素Ｐｓと補間画素Ｐｍとを適応的に混合して補間画素Ｐｘを生成する。

第２実施形態の動き補償フレーム生成装置１０２によれば、全体スクロール度DSを用いて動きベクトルＭＶの信頼度を調整するようにしているので、動画ぼやけを従来と比較してさらに改善することができ、動き補償品質を大幅に高めることができる。第２実施形態の動き補償フレーム生成装置１０２においては、図１２に示す構成の全体スクロール判定部１３ｂを用いているので、小さな回路規模で全体スクロールの程度を的確に判定することが可能となる。全体スクロールの程度を的確に判定することができるので、動画ぼやけ改善の効果を高めることができる。

＜第３実施形態＞
図１９に示す第３実施形態の動き補償フレーム生成装置１０３において、第１実施形態の動き補償フレーム生成装置１０１または第２実施形態の動き補償フレーム生成装置１０２と同一部分には同一符号を付し、その説明を適宜省略することとする。第３実施形態の動き補償フレーム生成装置１０３における動きベクトル検出部１２は、図１の動きベクトル検出部１２ａと同じでもよいし、動きベクトル候補ＭＶｃを間引かず動きベクトルＭＶを検出する構成であってもよい。

動きベクトル検出部１２が動きベクトル候補ＭＶｃを間引かず動きベクトルＭＶを検出する構成の場合、全体スクロール判定部１３ａは、図４のステップＳ４の処理を実行する必要はない。全体スクロール判定部１３ａは、全体スクロール動きベクトルである最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)に対応するヒストグラム値と所定の閾値とを比較して全体スクロール度DSを生成すればよい。

第１及び第２実施形態においては、図８の特性図より分かるように、全体スクロールする画像に対して局所的に誤った動きベクトルＭＶを検出した場合であっても、信頼度データDR1よりも値が大きくなるように調整された調整信頼度データDR2が用いられることになる。その結果、誤った動きベクトルＭＶを検出した部分で画質改善効果が低下することになる。第３実施形態は、局所的に誤った動きベクトルＭＶを検出した場合の画質改善効果の低下を防ぐように構成したものである。

図１９において、全体スクロール判定部１３ａは、図４のステップＳ３で求めた最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)を全体スクロール動きベクトルＳＭＶとして出力する。ベクトル判定部の第１の例であるベクトル一致判定部１７は、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとが一致しているか否かを判定し、一致判定信号CMPを出力する。動きベクトルＭＶの水平成分をMVX、垂直成分をMVY、全体スクロール動きベクトルＳＭＶの水平成分をSMVX、垂直成分をSMVY、X_TH，Y_THを所定の閾値とする。全体スクロール判定部１３ａは、式（１０）〜式（１３）を全て満たす場合に一致判定信号CMPを“１”、いずれか１つでも満たさない場合は一致判定信号CMPを“０”とする。

(SMVX-X_TH)≦MVX …（１０）
MVX≦(SMVX+X_TH) …（１１）
(SMVY-Y_TH)≦MVY …（１２）
MVY≦(SMVY+Y_TH) …（１３）

信頼度選択部１８には、信頼度生成部１４より出力された信頼度データDR1と、信頼度調整部１５より出力された調整信頼度データDR2と、ベクトル一致判定部１７より出力された一致判定信号CMPとが入力される。信頼度選択部１８は、一致判定信号CMPが“１”であれば動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとが一致しているので、選択信頼度データDR_SELとして、調整信頼度データDR2を選択して出力する。また、信頼度選択部１８は、一致判定信号CMPが“０”であれば動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとが一致していないので、選択信頼度データDR_SELとして、調整信頼度データDR2よりも小さい値である信頼度データDR1を選択して出力する。

適応混合部１６３は、信頼度選択部１８より出力された選択信頼度データDR_SELの値に応じて補間画素Ｐｓと補間画素Ｐｍとを適応的に混合する。これによって、全体スクロールする画像に対して局所的に誤った動きベクトルＭＶを検出した画素または領域では、調整信頼度データDR2ではなく信頼度データDR1に応じて補間画素Ｐｓと補間画素Ｐｍとが適応的に混合されるので、画質改善効果の低下を効果的に防ぐことができる。

＜第４実施形態＞
図２０に示す第４実施形態の動き補償フレーム生成装置１０４において、第１実施形態の動き補償フレーム生成装置１０１、第２実施形態の動き補償フレーム生成装置１０２、第３実施形態の動き補償フレーム生成装置１０３と同一部分には同一符号を付し、その説明を適宜省略することとする。第４実施形態も、第３実施形態と同様、局所的に誤った動きベクトルＭＶを検出した場合の画質改善効果の低下を防ぐように構成したものである。

図２０において、全体スクロール判定部１３ａは、図４のステップＳ３で求めた最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)を全体スクロール動きベクトルＳＭＶとして出力する。ベクトル判定部の第２の例であるベクトル一致度判定部１９は、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとがどの程度一致しているかを判定し、一致度判定信号DCMPを出力する。

図２１を用いて、ベクトル一致度判定部１９における動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致度の判定方法について説明する。図２１において、X_TH1〜X_TH4及びY_TH1〜Y_TH4は所定の閾値であり、X_TH1≦X_TH2≦X_TH3≦X_TH4、Y_TH1≦Y_TH2≦Y_TH3≦Y_TH4となっている。図２１において、全体スクロール判定部１３ａより出力される水平成分SMVX及び垂直成分SMVYよりなる全体スクロール動きベクトルＳＭＶを図２１の中心に円にて示している。領域Ｒ４は、全体スクロール動きベクトルＳＭＶの水平成分SMVXから±X_TH1、垂直成分SMVYから±Y_TH1の範囲の部分である。

領域Ｒ３は、全体スクロール動きベクトルＳＭＶの水平成分SMVXから±X_TH2、垂直成分SMVYから±Y_TH2の範囲で、領域Ｒ４を除いた部分である。領域Ｒ２は、全体スクロール動きベクトルＳＭＶの水平成分SMVXから±X_TH3、垂直成分SMVYから±Y_TH3の範囲で、領域Ｒ３及び領域Ｒ４を除いた部分である。領域Ｒ１は、全体スクロール動きベクトルＳＭＶの水平成分SMVXから±X_TH4、垂直成分SMVYから±Y_TH4の範囲で、領域Ｒ２〜領域Ｒ４を除いた部分である。領域Ｒ０は、全体スクロール動きベクトルＳＭＶの水平成分SMVXから±X_TH4を超え、垂直成分SMVYから±Y_TH4を超える領域Ｒ１よりも外側の部分である。

式で表せば、式（１４）〜式（１７）を全て満たすのが領域Ｒ４である。ベクトル一致度判定部１９は、式（１４）〜式（１７）を全て満たす場合、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致度が最も高いと判定し、一致度判定信号DCMPを“４”とする。

(SMVX-X_TH1)≦MVX …（１４）
MVX≦(SMVX+X_TH1) …（１５）
(SMVY-Y_TH1)≦MVY …（１６）
MVY≦(SMVY+Y_TH1) …（１７）

式（１４）〜式（１７）のいずれかを満たさず、式（１８）〜式（２１）を全て満たすのが領域Ｒ３である。ベクトル一致度判定部１９は、式（１４）〜式（１７）のいずれかを満たさず、式（１８）〜式（２１）を全て満たす場合、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致度は領域Ｒ４の次に高いと判定し、一致度判定信号DCMPを“３”とする。

(SMVX-X_TH2)≦MVX …（１８）
MVX≦(SMVX+X_TH2) …（１９）
(SMVY-Y_TH2)≦MVY …（２０）
MVY≦(SMVY+Y_TH2) …（２１）

式（１８）〜式（２１）のいずれかを満たさず、式（２２）〜式（２５）を全て満たすのが領域Ｒ２である。ベクトル一致度判定部１９は、式（１８）〜式（２１）のいずれかを満たさず、式（２２）〜式（２５）を全て満たす場合、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致度は領域Ｒ３の次に高いと判定し、一致度判定信号DCMPを“２”とする。

(SMVX-X_TH3)≦MVX …（２２）
MVX≦(SMVX+X_TH3) …（２３）
(SMVY-Y_TH3)≦MVY …（２４）
MVY≦(SMVY+Y_TH3) …（２５）

式（２２）〜式（２５）のいずれかを満たさず、式（２６）〜式（２９）を全て満たすのが領域Ｒ１である。ベクトル一致度判定部１９は、式（２２）〜式（２５）のいずれかを満たさず、式（２６）〜式（２９）を全て満たす場合、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致度は領域Ｒ２の次に高いと判定し、一致度判定信号DCMPを“１”とする。

(SMVX-X_TH4)≦MVX …（２６）
MVX≦(SMVX+X_TH4) …（２７）
(SMVY-Y_TH4)≦MVY …（２８）
MVY≦(SMVY+Y_TH4) …（２９）

式（２６）〜式（２９）のいずれかを満たさないのが領域Ｒ０である。ベクトル一致度判定部１９は、式（２６）〜式（２９）のいずれかを満たさない場合、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致度は低いと判定し、一致度判定信号DCMPを“０”とする。

図２１に示す例では、一致度判定信号DCMPを５段階としたが、これに限定されるものではない。閾値の数を増やして一致度判定信号DCMPの段階数を増やしてもよい。

信頼度混合部２０には、信頼度生成部１４より出力された信頼度データDR1と、信頼度調整部１５より出力された調整信頼度データDR2と、ベクトル一致度判定部１９より出力された一致度判定信号DCMPとが入力される。信頼度混合部２０は、式（３０）に基づいて、信頼度データDR1と調整信頼度データDR2とを混合して、混合信頼度データDR_MIXとして出力する。
DR_MIX=DR2×DCMP/4＋DR1×(1-DCMP/4) …（３０）

式（３０）より分かるように、一致度判定信号DCMPが“４”であれば、混合信頼度データDR_MIXは調整信頼度データDR2となる。一致度判定信号DCMPが“３”であれば、混合信頼度データDR_MIXは、調整信頼度データDR2の比率を多くした状態で信頼度データDR1と調整信頼度データDR2とを混合した値となる。一致度判定信号DCMPが“２”であれば、混合信頼度データDR_MIXは、信頼度データDR1と調整信頼度データDR2とを均等に混合した値となる。一致度判定信号DCMPが“１”であれば、混合信頼度データDR_MIXは、信頼度データDR1の比率を多くした状態で信頼度データDR1と調整信頼度データDR2とを混合した値となる。一致度判定信号DCMPが“０”であれば、混合信頼度データDR_MIXは信頼度データDR1となる。

適応混合部１６３は、信頼度混合部２０より出力された混合信頼度データDR_MIXの値に応じて補間画素Ｐｓと補間画素Ｐｍとを適応的に混合する。これによって、全体スクロールする画像に対して局所的に誤った動きベクトルＭＶを検出した画素または領域では、調整信頼度データDR2ではなく信頼度データDR1に応じて補間画素Ｐｓと補間画素Ｐｍとが適応的に混合されたり、局所的に誤った動きベクトルＭＶと全体スクロールベクトルＳＭＶとの差分の程度によって信頼度データDR1と調整信頼度データDR2とを混合した混合信頼度データDR_MIXに応じて補間画素Ｐｓと補間画素Ｐｍとが適応的に混合されたりする。よって、画質改善効果の低下を効果的に防ぐことができる。

ところで、第３実施形態の動き補償フレーム生成装置１０３では、ベクトル判定部の第１の例であるベクトル一致判定部１７において、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致の程度を２段階で判定している。第４実施形態の動き補償フレーム生成装置１０４では、ベクトル判定部の第２の例であるベクトル一致度判定部１９において、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致の程度を５段階で判定している。即ち、動き補償フレーム生成装置１０４は、動きベクトルＭＶと全体スクロール動きベクトルＳＭＶとの一致の程度の判定を動き補償フレーム生成装置１０３における判定よりも増やしたということである。

また、動き補償フレーム生成装置１０３では、信頼度選択部１８において、信頼度データDR1と調整信頼度データDR2とを選択的に出力する選択信頼度データDR_SELを生成している。動き補償フレーム生成装置１０４では、信頼度混合部２０において、信頼度データDR1のみとする場合と、調整信頼度データDR2のみとする場合と、信頼度データDR1と調整信頼度データDR2との双方を用いる場合とを選択する混合信頼度データDR_MIXを生成している。即ち、動き補償フレーム生成装置１０４は、動き補償フレーム生成装置１０３のように信頼度データDR1と調整信頼度データDR2との一方のみを選択的に用いる状態に、信頼度データDR1と調整信頼度データDR2との双方を用いる状態を加えたということである。

本発明は以上説明した第１〜第４実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本発明をハードウェアによって構成してもよいし、ソフトウェア（コンピュータプログラム）によって構成してもよい。ハードウェアとソフトウェアとを混在させてもよく、ハードウェアとソフトウェアとの使い分けは任意である。
第１〜第４実施形態では、フレームレートを２倍にする動き補償フレーム生成装置を例として説明しているがこれに限るものではない。本発明は、フレームレートを３倍，４倍等の２倍以外のフレームレートにアップコンバートする動き補償フレーム生成装置にも用いることができる。また、本発明はフィルムジャダ除去装置等にも用いることができる。

１１ フレームメモリ
１２，１２ａ 動きベクトル検出部
１３ａ，１３ｂ 全体スクロール判定部
１４ 信頼度生成部
１５ 信頼度調整部
１６ 補間画素生成部
１７ ベクトル一致判定部（ベクトル判定部）
１８ 信頼度選択部
１９ ベクトル一致度判定部（ベクトル判定部）
２０ 信頼度混合部
１０１〜１０４ 動き補償フレーム生成装置
１３１ 水平動きベクトル境界判定部
１３２ 垂直動きベクトル境界判定部
１３３ 境界判定信号混合部
１３４ 境界判定信号集計部
１３５ 判定部
１６１ 静止補間部
１６２ 動補間部
１６３ 適応混合部
３１２３ 境界判定信号生成部

Claims (4)

1. 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位の内、一部の検出単位を間引いた選択的な検出単位へと向かう複数の動きベクトル候補の中から、ブロックマッチングを用いて最も相関の高い検出単位へと向かう動きベクトルを検出し、前記動きベクトルに対応する前記注目検出単位それぞれのブロックマッチング誤差値を出力する動きベクトル検出部と、
   前記動きベクトルの１実フレーム内におけるヒストグラムを算出し、算出したヒストグラムの内の最大値を示す最大値動きベクトルを検出し、前記最大値動きベクトルに対応するヒストグラム値と前記ヒストグラムにおける前記最大値動きベクトルの周辺の動きベクトルに対応するヒストグラム値とを積算して周辺積算値を算出し、前記周辺積算値に基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成する全体スクロール判定部と、
   前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成する信頼度生成部と、
   前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力する信頼度調整部と、
   前記調整信頼度データに応じて、前記動きベクトルを用いない静止補間処理によって生成された第１の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第２の補間画素とを混合して、動き補償フレームを構成するそれぞれの補間画素を生成する補間画素生成部と、
   を備えることを特徴とする動き補償フレーム生成装置。
2. 前記補間画素生成部は、
   前記第１の補間画素を生成する静止補間部と、
   前記第２の補間画素を生成する動補間部と、
   前記調整信頼度データの値に応じて、前記第１の補間画素と前記第２の補間画素とを適応的に混合する適応混合部と、
   を備えることを特徴とする請求項１記載の動き補償フレーム生成装置。
3. 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位の内、一部の検出単位を間引いた選択的な検出単位へと向かう複数の動きベクトル候補それぞれで、ブロックマッチングによって相関の程度を算出するステップと、
   前記複数の動きベクトル候補の内、最も相関の高い検出単位に向かう動きベクトルを検出するステップと、
   前記動きベクトルに対応する前記注目検出単位それぞれの相関の程度をブロックマッチング誤差値として出力するステップと、
   前記動きベクトルの１実フレーム内におけるヒストグラムを算出するステップと、
   算出したヒストグラムの内の最大値を示す最大値動きベクトルを検出するステップと、
   前記最大値動きベクトルに対応するヒストグラム値と前記ヒストグラムにおける前記最大値動きベクトルの周辺の動きベクトルに対応するヒストグラム値とを積算して周辺積算値を算出するステップと、
   前記周辺積算値に基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成するステップと、
   前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成するステップと、
   前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力するステップと、
   前記調整信頼度データに応じて、前記動きベクトルを用いない静止補間処理によって生成された第１の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第２の補間画素とを混合して、動き補償フレームを構成するそれぞれの補間画素を生成するステップと、
   を含むことを特徴とする動き補償フレーム生成方法。
4. 前記補間画素を生成するステップは、
   前記第１の補間画素を生成するステップと、
   前記第２の補間画素を生成するステップと、
   前記調整信頼度データの値に応じて、前記第１の補間画素と前記第２の補間画素とを適応的に混合するステップと、
   を含むことを特徴とする請求項３記載の動き補償フレーム生成方法。

Images