JP5049882B2

JP5049882B2 - 補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置

Info

Publication number: JP5049882B2
Application number: JP2008143884A
Authority: JP
Inventors: 洋平濱川; 雅也山崎; 考佐藤; 桂子平山; 日美生山内
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-05-30
Filing date: 2008-05-30
Publication date: 2012-10-17
Anticipated expiration: 2028-05-30
Also published as: JP2009290802A

Description

この発明は、補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置に関し、特に補間フレーム作成のために必要な動きベクトル検出の技術を改善したものである。

液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。

ＬＣＤに表示されたこのような映像が視聴される場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。

動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチング処理が実行され、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルが利用され、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームが２枚の入力フレーム間に挿入されることで、フレーム数が増加された動画像を表示することができる。

上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックが選択され、次に、両ブロック間の互いに対応する画素間の差分が計算される。この差分結果を累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中の画像ブロックが、前フレーム中の画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。

ＳＡＤを用いたブロックマッチングに基づいて動画の動きを推定する時、入力フレーム内に周期的パターンをもつ絵柄が存在する場合、該周期的パターン内の画像ブロックでは、正確な動きベクトルを推定できない。このような場合、動きベクトル検出のために使用するブロックサイズを切換えて、動きベクトルを検出することも考えられる。

ブロックサイズを変更して信号処理を行う技術として例えば特許文献１がある。しかしこの文献１の技術は、圧縮データを復号したときに生じるブロック歪みを軽減することが目的の技術である。ブロック歪みを見つけるために、階調差が生じている位置を検出し、この位置をブロック境界としている。基本となる１ブロックの大きさは量子化処理のブロック単位に選定されている。そして、この１ブロックのエッジで階調差が見つからない場合は、Ｎ×１ブロック（Ｎは整数）の大きさにブロックサイズを変更し、この可変されたブロックのエリアに境界付近の階調差を検出している。
特願平６−１１３１４７号公報

この発明の目的は、動きベクトルを検出するために適合したブロックサイズを得ることができる補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置を提供することにある。

上記課題を解決するために、複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置であって、前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を含み、前記動きベクトル検出部は、入力フレームの画像の周期的繰り返しパターンの幅全てを包含するサイズの大ブロックを設定する大ブロック設定部と、前記大ブロックに含まれる画像の平坦模様領域と、繰り返し模様領域とを識別し、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して、前記大ブロックを分割し最適ブロックを設定し最適ブロック設定部と、前記最適ブロックのサイズで前記探索エリア内をブロックマッチング処理し、補間フレーム内の補間ブロックのための動きベクトル候補を抽出する動きベクトル抽出部を含むことを特徴とする。

上記の手段によると、最適ブロックのエッジの決め方によりブロックマッチング処理を行うブロックサイズが決まるために、周期的パターンをもつ絵柄や平坦パターンをもつ絵柄に惑わされることなく動きベクトル検出可能となり的確な動画対応補間ブロックを得ることができる。

以下図面を参照して、この発明の実施の形態を説明する。図１は、本発明による補間フレーム作成装置（フレーム数変換装置）の一実施形態を示すブロック構成図である。

補間フレーム作成装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間画像作成部１３を含む。動きベクトル検出部１２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。入力画像信号のフレームレートは例えば６０フレーム／秒である。

補間画像作成部１３は、動きベクトル検出部１２の検出結果及び判定結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。動きベクトル検出部１２及び補間画像作成部１３は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示されず）にて実行されるソフトウエアとして構成できる。

動きベクトル検出部１２は、サイズの異なる複数のブロックを用いて動きベクトル候補を検出する。この動きベクトル検出部１２内には、大ブロック設定部１２ａ、最適ブロック設定部１２ｂ、動きベクトル抽出部１２ｃを含む。大ブロック設定部１２ａは、入力フレームの画像の周期的繰り返しパターンの幅全てを包含するサイズの大ブロックを設定する。最適ブロック設定部１２ｂは、大ブロックに含まれる画像の周波数及びレンジを検出し、平坦模様領域と周期的な繰り返しの領域を識別し、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して大ブロックを分割し、適性ブロックを得る。動きベクトル抽出部１２ｃは、最適ブロックのサイズで探索エリア内をブロックマッチング処理し、補間フレーム内の補間ブロックのための動きベクトル候補を抽出する。

図２はブロックマッチング処理の一例を説明するための図である。前フレーム２０と後フレーム２２は、連続して入力されるフレームである。

補間フレーム２１の画像の挿入位置２１Ａを設定する。挿入位置２１Ａを中心にした点対象として、補間フレーム２１を挟む前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが平行方向に順次に選定される。また前後２枚のフレーム２０，２２上でそれぞれ、所定形状の比較用ブロックが垂直方向に順次に選定される。このようにブロックの選定箇所は探索範囲内で平行に変遷移動される。

対応する２つのブロックが選定されたとき、２つのブロック内の対応画素間の画素値の差分の絶対値がブロック内の画素全てについて計算され、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が求められ、このＳＡＤ値が最小となる方向が前フレームのブロックに対する画像動きベクトルとされる。

即ち、例えば図３のように水平方向の各領域１−９のＳＡＤの極小値が求められる。実際には図２で示したように探索範囲内の各ブロックの極小値が求められるのであるが、ここでは説明をわかり易くするために水平方向の各領域１−９を代表して示している。今、ＳＡＤの変化曲線ＳＡＤ−１が得られたとする。ここで各領域の極小値のうち、予め設定している閾値内に存在するのは、領域３の極小値Ｐ１である。したがってこの場合は、この値Ｐ１が選択され、この値Ｐ１を得た領域の方向へ画像が動いているものとされる。つまりこの値Ｐ１が動きベクトルとして利用される。

しかし、図３の例では都合よく１つの値Ｐ１が動きベクトルとして現われたが、映像のパターンあるいは絵柄によっては、図４に示すＳＡＤの変化曲線ＳＡＤ−２のように、複数の極小値Ｐ０，Ｐ１、Ｐ２が現われることがある。このような場合にいずれの極小値を適切な動きベクトルとして採用すべきかは不定である。

ブロックマッチングによる動きベクトル検出を精度良く行うために最適なブロックサイズは、映像の解像度や映像内に含まれる対象画像の動き方によって変わってくる。マッチングを行うためには対象画像の形状を識別できる画素値の変化がブロック内に含まれていることが必要であるが、ブロックサイズを大きくしすぎると、そのブロック内に複数の動きをした対象画像が含まれる可能性が大きくなるという問題が発生する。そこで、ブロックサイズはある程度の大きさに制限せざるを得ない。

しかしながら、例えばこのブロックサイズの水平サイズよりも幅の広い、水平方向の周期パターンが対象画像に含まれている場合には、対象画像の動きと周期的な画像の繰り返しとが区別できず、正しい動きの検出が出来なくなる。

図５（Ａ）、図５（Ｂ）、図５（Ｃ）には、周期的な画像の繰り返しパターン５０を有するフレーム上で、小ブロック５１を用いて動きベクトルを検出する様子を示している。このような場合、図５（Ａ）、図５（Ｂ）、図５（Ｃ）の小ブロック５１の位置では、同じＳＡＤ値が得られ、複数の動きベクトルが検出されることになる。

これに対して、図６（Ａ）、図６（Ｂ）、図６（Ｃ）にはブロックサイズを大きくして大ブロック５２を利用して動きベクトル検出を行なった場合を示している。この場合は、図６（Ａ）、図６（Ｂ）、図６（Ｃ）の大ブロック５２のそれぞれの位置で異なるＳＡＤ値が得られ、例えば１つの動きベクトルが得られる。動きベクトルが得られない場合もある。

上記のようにＳＡＤの変化曲線は、周期パターンの含まれていない一般的な自然画像では、あるベクトルの方向においてただ一つの極小点(＝最小点)を持つことが多いが、周期パターンが映像に含まれる場合には、ＳＡＤの値が探索範囲内で複数のベクトル方向で極小点を持つという特徴がある。尚、この動きベクトル（大きさと方向を含む）は、図２では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。

図７には、同じ絵柄に対して、小ブロックによる動きベクトル検出、大ブロックによる動きベクトル検出を実施したときに得られる変化曲線ＳＡＤ−２、ＳＡＤ−３を示している。このような場合、選択される動きベクトルは、図８に示すフローチャートの如く設定される。

即ち図８において、小ブロックを用いた動きベクトル検出において、
｜最小値−極小値ｉ｜＜閾値（ＴＨ）・・・（１）、ｉは探索範囲内のブロックの番号
を満たすｉが２個以上存在するかが判断される（ステップＳＡ１）。存在しない場合にはＳＡＤの最小値で決まったベクトルを選択する（ステップＳＡ２）。

ステップＳＡ１において、（１）式を満たすｉが複数存在した場合には、大ブロックで求めたベクトルを参照する（ステップＳＡ３）。そして、（１）式を満たす複数の極小値方向のベクトルの中で、大ブロックで求めたベクトルと最も距離が近いベクトルが選択される（ステップＳＡ４）。

上記したブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法は、大きさの異なるブロックを少なくとも２つ以上用いる手法である。通常時には該２つ以上のブロックのうち、小ブロックで検出した動きベクトルを採用する。しかし小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合、小ブロックよりも大きい大ブロックを用いて検出されたベクトルを参照する。そして小ブロックにおいて検出された確からしい動きベクトルの中から、前記大ブロックで検出された動きベクトルに近い動きベクトルを採用する。これにより、ブロック内に含まれる細かい画像の動きベクトルの検出精度を落とすことなく、周期的なパターンを含んだ映像の動きベクトルの検出精度を向上させることができる。

さらに大ブロックの動き検出を行う際のブロックサイズとして、どれほどの大きさにすれば周期的繰り返しパターンに惑わされずに大ブロックの動きベクトルが正しく検出できるかを検討した。周期的繰り返しパターン幅全てを包含するブロックサイズを適切に設定すれば良い事が分かった。

すなわち、図５、図６に示したように小ブロック５１では各々矩形領域内に同一の画像しか含まないため図５（Ａ）−５（Ｃ）の状態を区別ができない。しかし図６（Ａ）−図６（Ｃ）に示すように、周期的繰り返しパターン幅全てを包含するサイズの大ブロック５２では各々の矩形領域内に含まれる画像は異なるため一意に正しい動きベクトルを検出することが可能である。

この考え方に基づいて、大ブロックの動き検出時ブロックサイズとして、周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさである、というブロックサイズを最適化する手法を実現することができる。

なお、周期的繰り返しパターン幅の算出に関しては、（ａ）小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった事象(つまりベクトルを一意に検出できず迷っている状態)の、連続発生回数を測定する。（ｂ）入力画像のライン上での単位パターン繰り返し回数を測定する。等の手法が挙げられる。

絵柄の動きによっては、大ブロックを駆使してもなお正しいベクトルを検出できない場合がある。このような場合、検出できなかった補間ブロックに対しては、ベクトル検出を素直にあきらめて入力画像を再描画するという選択肢もある。

上記したブロックサイズ、即ち、動き検出時ブロックサイズとして、周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさである、というブロックサイズは、図１に示した大ブロック設定部１２ａにより決定される。

ここで本発明ではさらに上記大ブロックに対して加工を加え、最適ブロックを設定するものである。大ブロックに着目すると、異なる動きを持つ複数の模様を包含した不具合な大ブロックが求められることがある。

このような大ブロックを用いた場合、動きベクトル候補として複数が得られることがあり、採用する動きベクトルを決定付けることができないことになる。そこでこの発明は、さらに最適ブロック設定部１２ｂは、大ブロックに含まれる画像の周波数及びレンジを検出し、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して大ブロックを分割し、適性ブロックを得る。

＜不具合な大ブロックが設定される例＞
繰り返し模様Ａと平坦な模様Ｂが連続する場合、両者の区別がつかずＡとＡを包含するような不具合な大ブロックサイズが適用されてしまう。またそれぞれ繰返し周期の異なる２者の繰り返し模様ＡとＢが連続する場合も、両者の区別がつかずＡとＢを包含するような大ブロックサイズが適用されてしまう。

＜上記問題の生ずる原因＞
平坦な模様が周期0の繰り返しパターンだとみなされることにより、繰り返し模様と平坦な模様が連続した繰り返しパターンだと判定されるために２者を区別できない。もしくは、平坦な模様周辺でベクトル探索を行なう場合、信頼し得る動きベクトルの候補は複数存在してしまい、それらの連続発生回数を計測するだけでは繰り返し模様と平坦な模様の区別がつかない。

上記のように一般化した問題では、繰り返しパターンであるかどうかだけを基準に大ブロックサイズを決定しようとすると、繰り返し周期の異なる２者が連続した場合にはそれらを区別できない。

図９は、大ブロック７０１が絵柄部Ａ１，繰り返し部Ｂ１、平坦部Ｃ、繰り返し部Ｂ２，絵柄部Ａ２に渡って設定された例である。この大ブロック７０１は、最適ブロック７０１Ａ，７０１Ｂ，７０１Ｃに分割されている。この分割を行なう場合、最適ブロック設定部１２ｂは、大ブロック７０１に含まれる画像の周波数及びレンジを検出し、周波数成分をもち周期的な繰り返しの領域を繰り返し模様領域とし、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して大ブロックを分割し、適性ブロック７０１Ａ，７０１Ｂ，７０１Ｃを得ている。

このような最適ブロックを用いることにより、動きベクトルをより的確に検出することができる。

図１０には、複数の種類の繰り返し模様領域（繰り返し部Ｂ１１，Ｂ１２，Ｂ１３）が存在し、この領域の外側に絵柄部Ａ１１，Ａ１２が存在する場合である。図１０の場合、繰り返し部Ｂ１１，Ｂ１２，Ｂ１３の繰り返し周波数（ピッチ）が互いに異なる。このような場合、大ブロックは、周期的繰り返しパターンの幅全てを包含するサイズの大ブロック８０１として設定される。この大ブロック８０１は、最適ブロック設定部１２ｂにより、最適ブロック８０１Ａ，８０１Ｂ，８０１Ｃに分割される。これにより繰り返し部Ｂ１１，Ｂ１２，Ｂ１３のそれぞれについて、動きベクトルを検出することができる。

図１１には、上記した大ブロックを最適ブロック（小ブロック）に分割するときの動作をフローチャートで示している。以下大ブロック幅算出手順を図１１のフローチャートを参照しながら以下に示す。

STEP1 :大ブロックサイズを求める、
STEP2 : 大ブロック内に繰り返し模様の周期が異なる境界があるかどうかを検出する、STEP3 : STEP2で周期の異なる境界が検出された場合、その境界で大ブロックをより小さなブロックへ分割する、
STEP4 : STEP2で周期の異なる境界が検出されなかった場合、STEP1で求めた大ブロック幅をそのまま適用する。

図１２（Ａ）、図１２（Ｂ）は、繰返し模様の周期が異なる点の抽出方法(平坦度の検出)を説明するために示している。

“繰返し模様の周期が異なる境界の抽出方法”について（特に“平坦な模様”を検出する方法について）は、大ブロックに含まれる小ブロックのＳＡＤ分布を使った以下のような方法（ａ），（ｂ）が挙げられる。

（ａ）図１２（Ａ）のようにＳＡＤ分布のダイナミックレンジと規定の閾値を比較して、ダイナミックレンジが閾値よ小さければ平坦であると見なす方法,
つまり最適ブロック設定部において、大ブロックについて、探索領域内で前後のフレームのブロック間の互いに対応する画素間の差分結果を累積した値(ＳＡＤ）を計算し、このＳＡＤの最大値と最小値の間にある動きベクトルの検出領域を前記平坦模様領域とするのである。

（ｂ）図１２（Ｂ）のようにＳＡＤ分布のＳＡＤ平均値からの分散値と規定の閾値を比較して、分散値が閾値より小さければ平坦であると見なす方法、
つまり最適ブロック設定部において、大ブロックについて、探索領域内で前後のフレームのブロック間の互いに対応する画素間の差分結果を累積した値(ＳＡＤ）を計算し、このＳＡＤの平均値から所定の分散範囲内の動きベクトルの検出領域を前記平坦模様領域とするのである。

図１３には、上記平坦度の検出手順のフローチャートを示している。

STEP1 : 大ブロックに含まれるある一つの小ブロックに注目する、
STEP2 : 小ブロックのSAD分布から、“ダイナミックレンジ((a)の場合)”または“SAD平均値からの分散値((b)の場合)”の値を算出する、
STEP3 : STEP2で算出された値と、予め規定された閾値[THR]の値を比較する((a)の場合と(b)の場合でTHRの値は異なってよい)、
STEP4 : STEP3での比較結果より、STEP2で算出された値がTHRより小さければ、注目した小ブロックは平坦であると判定される、
STEP5 : STEP3での比較結果より、STEP2で算出された値がTHRより大きければ、注目した小ブロックは平坦でないと判定される、
大ブロックに含まれる全ての小ブロックに対してSTEP1〜STEP5を実施する。

上記の処理により図９、図１０に示したように大ブロックが小ブロック（最適ブロック）に分割される。

＜繰返し模様の周期が異なる点の抽出方法＞
繰返し模様の周期が異なる点の抽出方法としては以下の方法が可能である。

（１）フーリエ変換(FFT等)などの周波数解析手法を用いる方法
（２）周期パターンテンプレートを必要個数用意し、テンプレートマッチングにより周期の推定、周期の異なる境界を検出する方法
である。

この発明は上記の実施の形態に限定されるものではない。平坦度の検出方法において、ＳＡＤ分布を使わずに入力画像のライン上から直接平坦度を検出しても良い。

ブロックマッチング処理により動きベクトルの検出を行って補間フレームを作成する方法において固定長の小ブロックと絵柄に応じて可変長となる大ブロックを利用して動きベクトル検出する処理がある。

可変長の大ブロックのサイズを求める際、周期的繰り返しパターンであるかどうかだけで絵柄を判定するのに対し、本発明では繰り返しパターンの周期が異なる境界や、平坦である絵柄を検出し、それらの境界で大ブロックサイズを分割している。これにより隣接する周期の異なる複数の繰り返しパターンや隣接する繰り返しパターンと平坦な絵柄が存在する場合においても個々の絵柄に最適なブロックサイズを決定することができるようになった。これにより精度の高い動きベクトル検出を可能とする。

上記したように本発明は、基本的には小ブロックを利用した動きベクトル検出を行い、使用する動きベクトルを特定する。ここで、入力フレームの画像に周期的な繰り返しパターンなどが存在したときは大ブロックが設定されるが、図９、図１０で説明したようにできるだけ小さいブロックの単位で動きベクトルが検出されるように大ブロックが分割処理される。これにより動きベクトルの確定率が上がり、動きベクトルが複数得られるような不定な状況が少なくなる。

本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置一例を図１４に示す。図１４において、放送受信装置１００は、テレビジョン装置であり、制御部１３０は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置１００は、再生側を構成するＭＰＥＧデコーダ部１１６と、装置本体の動作を制御する制御部１３０とを主たる構成要素としている。放送受信装置１００は、入力側のセレクタ部１１４と出力側のセレクタ部１２０とを有しており、入力側のセレクタ部１１４には、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２と、ＢＳ／地上波アナログチューナ部１１３が接続される。また、ＬＡＮ等やメール機能をもった通信部１１１がデータバスに接続されて設けられている。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２からの復調信号を一時格納するバッファ部１１５と、格納された復調信号であるパケットを種類別に分離する分離部１１７と、分離部１１７から供給された映像音声用のパケットにＭＰＥＧデコード処理を施し映像音声信号を出力するＭＰＥＧデコーダ部１１６と、操作情報等を重畳するための映像信号を生成し映像信号に重畳するＯＳＤ（On Screen Display）重畳部１３４を有している。放送受信装置１００は、更に、ＭＰＥＧデコーダ部１１６からの音声信号に増幅処理等を施す音声処理部１１８と、ＭＰＥＧデコーダ部１１６から映像信号を受けて、所望の映像処理を施す映像処理部１１９と、上述した本発明の一実施形態に係る補間フレーム生成部１０と、ＯＳＤ重畳部１３４と、音声信号及び映像信号の出力先を選択するセレクタ部１２０と、音声処理部１１８からの音声信号に応じて音声を出力するスピーカ部１２１と、セレクタ部１２０に接続されて与えられた映像信号に応じた映像を液晶表示画面等に表示する表示部１２２と、外部装置との通信を行うインタフェース部１２３を有する。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２及びＢＳ／地上波アナログチューナ部１１３からの映像情報等を適宜記録する記憶部１３５と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部１３６を有しており、これらは、データバスを介して制御部１３０に接続されている。放送受信装置１００は、更に、データバスを介して制御部１３０に接続されユーザの操作やリモコンＲの操作を受ける操作部１３２及び操作信号を表示する表示部１３３を有している。ここで、リモコンＲは、放送受信装置１００の本体に設けられる操作部１３２とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。

このような構成をもった放送受信装置１００は、放送信号が受信アンテナからＢＳ／ＣＳ／地上波デジタルチューナ部１１２等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部１１７により、種類別のパケットに分離され、音声映像用パケットがＭＰＥＧデコーダ部１１６等でデコード処理されて映像音声信号となって、音声処理部１１８及び映像処理部１１９に供給される。

映像処理部１１９は、与えられた映像信号について、例えば、ＩＰ変換部１４１によりインターレース信号をプログレッシブに変換する等の画像処理を行う。更に、上述した補間フレーム生成部１０により上述したように、検出困難な動きベクトルの影響を排して安定した補間画像を提供することができるものであり、処理された信号がセレクタ部１２０に供給される。

セレクタ部１２０は、制御部１３０の制御信号に応じて例えば表示部１２２に映像信号を供給し、これにより映像信号に応じた映像が表示部１２２に表示される。また、音声処理部１１８からの音声信号に応じた音声がスピーカ部１２１から出力される。

また、ＯＳＤ重畳部１３４で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部１１９を経てこれに応じた映像が表示部１２２に表示される。

上記の受信装置に本発明の補間フレーム成生部１０が設けられることにより、動画像が円滑で高品位の映像として出力される。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施形態に係る補間フレーム生成装置の構成例を示すブロック図である。本発明の一実施形態に係る補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。ブロックマッチング処理時に得られる動きベクトル候補の変遷例を示す説明図である。ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。ブロックマッチング処理を行うときの小ブロックの例を示す説明図である。ブロックマッチング処理を行うときの大ブロックの例を示す説明図である。ブロックマッチング処理時に得られる動きベクトル候補の他の変遷例を示す説明図である。小ブロックと大ブロックを利用して動きベクトル候補を求める際の動作を説明するためのフローチャートである。大ブロックを分割し最適ブロックを得るときの例を示す説明図である。大ブロックを分割し最適ブロックを得るときの他の例を示す説明図である。本発明の一実施形態の動作を説明するために示したフローチャートである。図１１で説明した絵柄の平坦部を検出するときの条件を示す図であり、ＳＡＤのダイナミックレンジを用いる例とＳＡＤの平均値を用いる例を示す図である。本発明の一実施形態において、大ブロックを小ブロック（最適ブロック）に分割するときの動作例を説明するためのフローチャートである。本発明が放送受信装置に適用された例を示すブロック図である。

符号の説明

１０・・・補間フレーム作成装置、１１・・・フレームメモリ部、１２・・・動きベクトル検出部、１２ａ・・・大ブロック設定部，１２ｂ・・・最適ブロック設定部、１２ｃ・・・動きベクトル抽出部、１３・・・補間画像作成部、１００・・・放送受信装置、１１２・・・ＢＳ／ＣＳ／地上波デジタルチューナ部、１１３・・・ＢＳ／地上波アナログチューナ部、１１４・・・セレクタ部、１１５・・・バッファ部、１１６・・・ＭＰＥＧデコーダ部、１１７・・・分離部、１１８・・・音声処理部、１１９・・・映像処理部、１２２・・・表示部。

Claims

複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置であって、
前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を含み、
前記動きベクトル検出部は、入力フレームの画像の周期的繰り返しパターンの幅全てを包含するサイズの大ブロックを設定する大ブロック設定部と、
前記大ブロックに含まれる画像の平坦模様領域と、繰り返し模様領域とを識別し、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して、前記大ブロックを分割した最適ブロックを設定する最適ブロック設定部と、
前記最適ブロックのサイズで前記探索エリア内をブロックマッチング処理し、補間フレーム内の補間ブロックのための動きベクトル候補を抽出する動きベクトル抽出部を含むことを特徴とする補間フレーム作成装置。
前記最適ブロック設定部は、
前記大ブロックに含まれる画像の周波数及びレンジを検出し、隣り合う画素間の差分が所定のレンジに収まり連続している絵柄領域を平坦模様領域とし、周波数成分を持ち周期的な繰り返しの絵柄領域を繰り返し模様領域としていることを特徴とする請求項１記載の補間フレーム作成装置。
前記最適ブロック設定部は、
前記大ブロックが複数個数の小ブロックで構成される場合、小ブロックにおいて探索領域内で前後のフレームのブロック間の互いに対応する画素間の差分結果を累積した値の分布(ＳＡＤ分布）を計算し、このＳＡＤ分布の最大値と最小値の差がある閾値より小さければその小ブロックを前記平坦模様領域とすることを特徴とする請求項１記載の補間フレーム作成装置。
前記最適ブロック設定部は、
前記大ブロックが複数個数の小ブロックで構成される場合、小ブロックにおいて探索領域内で前後のフレームのブロック間の互いに対応する画素間の差分結果を累積した値の分布(ＳＡＤ分布）を計算し、このＳＡＤの平均値から所定の分散範囲内に全てのＳＡＤ値が含まれている場合にその小ブロックを前記平坦模様領域とすることを特徴とする請求項１記載の補間フレーム作成装置。
複数の入力フレームの画像を用いて、前記複数の入力フレームの間に位置する新たな補間フレームの画像を作成するために、前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックのための動きベクトル候補を検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレーム内の各補間ブロックの画像を作成する補間画像作成部を用いる補間フレーム作成方法において、
前記動きベクトル検出部では、
入力フレームの画像の周期的繰り返しパターンの幅全てを包含するサイズの大ブロックを設定し、
前記大ブロックに含まれる画像の平坦模様領域と、繰り返し模様領域とを識別し、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して、前記大ブロックを分割した最適ブロックを設定し、
前記最適ブロックのサイズで前記探索エリア内をブロックマッチング処理し、補間フレーム内の補間ブロックのための動きベクトル候補を抽出することを特徴とする補間フレーム作成方法。
放送信号を選局するチューナ部と、前記チューナ部からの放送信号をデコードして映像信号を出力するデコーダ部と、前記デコーダ部から出力される複数の入力フレームの間に位置する新たな補間フレームの画像を作成する補間フレーム作成装置と、前記補間フレーム作成装置からの前記補間フレームの画像が挿入された連続フレーム画像に基づいて、映像を画面表示する表示部と、を有し、
前記補間フレーム作成装置は、
前記入力フレーム間の探索エリア内のブロックマッチング処理により、前記補間フレーム内の補間ブロックの動きベクトル候補を検出するフレーム内の画像の動きベクトルを検出する動きベクトル検出部と、前記検出した動きベクトルを用いて前記補間フレームの画像を作成する補間画像作成部を含み、
前記動きベクトル検出部は、入力フレームの画像の周期的繰り返しパターンの幅全てを包含するサイズの大ブロックを設定する大ブロック設定部と、
前記大ブロックに含まれる画像の平坦模様領域と、繰り返し模様領域とを識別し、この繰り返し模様領域と前記平坦模様領域が隣接している隣接部分を検出し、この隣接部分を最適ブロックのエッジとして設定して、前記大ブロックを分割した最適ブロックを設定する最適ブロック設定部と、
前記最適ブロックのサイズで前記探索エリア内をブロックマッチング処理し、補間フレーム内の補間ブロックのための動きベクトル候補を抽出する動きベクトル抽出部を含むことを特徴とする放送受信装置。