WO2005015908A1

WO2005015908A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2005015908A1
Application number: PCT/JP2004/011386
Authority: WO
Inventors: Hideo Morita
Original assignee: Sony Corporation
Priority date: 2003-08-06
Filing date: 2004-08-02
Publication date: 2005-02-17
Also published as: JP2005057616A; KR20060036892A; TWI264681B; EP1653740A4; EP1653740A1; US20060152620A1; JP4003713B2; CN100356782C; CN1701609A; TW200519769A

Abstract

一定速度で動く周期パターンなどを有する画面で動画部分が誤って判断されることと、背景が動画の静止画エッジ部分が動画処理されることとを同時に防止する。インターレース画像の画素データＰｉ（０）と、その２フィールド（２Ｆ）遅延の画素データＰｉ（＋２Ｆ）とを入力し動き検出を行う動き検出部（３，５１）と、動き検出の結果（Ｄｉｆ（０））で連続して「静止画」と判断された回数を示す履歴値（Ｈｋ）を生成する履歴値生成部（５２，５３）と、インターレース画像の画素データに基づくフィールド内の補間による画素データ（Ｐｍ）および複数のフィールド間での補間による画素データ（Ｐｓ）を前記動き検出の結果（Ｄｉｆ（０））および前記履歴値（Ｈｋ）に応じた比率（Ｒｍｉｘ）で混合する画素データ補間部（４）とを有する。この画素データ補間部（４）は、前記履歴値（Ｈｋ）が大きいほど前記フィールド間の補間による画素データ（Ｐｓ）を、より多く混合する。

Description

画像処理装置および画像処理方法

技術分野

本発明は、インターレース画像の動きを検出し、その結果に応じた補間方法によりノンィンターレース画像とするためにラインを補完するデータを生成する画像処理装置と画像処理方法とに関す明るものである。田

背景技術

現行のテレビジョン信号方式は、ィンターレース走査を前提としたィンターレース信号方式と、ノンィンターレース走査を前提としたノンィンターレース信号方式とに大別される。インターレース走査とは、飛び越し走査とも呼ばれ、テレビジョン画像の 1画面を構成する 5 2 5本または 1 1 2 5本の走査線中、 1本ずつ走査線を飛び越して走査する方式である。この方式では、 1つの表示画面（1 フレーム）は 2回のインターレース走査により生成され、走査線が互い違いの 2 つの走査画面（第 1および第 2フィールド）により 1フレームが構成される。一方、ノンインターレース走査は飛び越し走查ではなく、走査線 1本ずつ順次に走查する方法である。

画像表示装置では、たとえば動画中の一部に別の静止画を表示させる場合、静止画でちらつきを抑え、かつ高画質化するために、インターレース信号をノンィンターレース信号に変換して静止画像を表示させる必要がある。この変換は I P (Interlace-Progressive)変換とも呼ばれており、多画面表示のための I P変換機能を有する画像表示装置が知られている。以下、インターレースとノンインタ —レースの変換を I P変換という呼ぴ方で統一して用いる。

また、画像表示パネルの種類によって、とくに自発光の P D P (Plasma Display Panel)や L E D (Light Emitting Diode)を用いた画像表示パネルなどのように、ノンィンタレースのプログレツシブ信号により駆動されるものがあり、これらの画像表示パネルも I P変換機能を有している。

I P変換の手法はさまざまなものが存在するが、とくに最近では高画質化のために、フィールド間の画素データの違いから画像の動きを検出して、動画はフィ一ルド内補間、静止画はフィールド間補間を行うことにより画像の種類（動画か静止画か）に応じて適応的にラインデータを生成する動き適応型 I P変換手法が多く用いられている。この手法では、ラインデータを生成すべきフィールド内の画像から補間し動画に適した画像データ（以下、動画用補間データという）と、ラインを生成すベきフィールドを含む 2つのフィールド間の画像から補間し静止画に適した画像データ（以下、静止画補間データという）とを、適応的に混合して新たなラインの画像データを生成している。その混合比を決める際に、補間する画素の前後フィールドのフレーム差分をもとに、フレーム差分が大きいときは動画用補間データの混合比を高くし、小さいときは静止画用捕間データの混合比を高くする手法がとられている。

この動き適応型 I P変換の方法では、混合比を決める際に、動画寄りの判定

(すなわち、動画用補間データの混合比を高くするとの判定）をすれば、動画用捕間が同じフィールド内での処理であるため画面に大きな破綻は起きない。これに対し、動画を誤って静止画と判定すると、動きに応じて異なったデータとなつた 2枚のフィールドから 1枚の画面を作成することになることから、像の輪郭がギザギザとなり、あるいは横筋が目立ち、ひどいときは画像が 2重に見えるなど絵として破綻してしまう。そこで、従来の動き適応型 I P変換では、動画寄りの判定を行う傾向になっていた。

しかし、静止画を正しく静止画と判定しないと垂直解像度が高い静止画像が生成できないことから、動画寄りの判定を行う従来の動き適応型 I P変換では、静止画の垂直解像度を犠牲にして絵としての破綻を防止していた。この基本的な I P変換方法を発展させて、隣接した 2フィールドだけでなく、たとえば 6フィールドとさらに多くのフィールドの情報を用いて、補間する画素の時間的あるいは空間的に異なる画素の情報を反映させる I P変換方法が提案されている（たとえば日本国特許公開公報「2 0 0 2— 1 8 5 9 3 3号」参照、以下、先行技術文献 1と称する）。

この先行技術文献 1で時間的に異なる多くの画素情報を反映させる方法としては、たとえば、現フィールドと 2フィールド遅延データとの差分、 1フィールド遅延データと 3フィールド遅延データとの差分、 2フィールド遅延データと 6フィ一ルド遅延データとの差分、現フィールド遅延データと 6フィールド遅延データとの差分といった広範で複雑に組み合わせたフィールド差分を計算する。この各差分を、あらかじめ決められたしきい値と比較してフラグを立て、得られたフラグデータの論理和を算出し、このフラグデータの論理和によって動画と静止画の混合比を決めている。また、空間的に異なる画素の情報を用いる場合としては、上記先行技術文献 1に記載されているように、補間したい画素の上下合わせて 4 ラインで補間演算を行う場合などが、これにあたる。

これらの方法では、補間画素の時間的あるいは空間的に異なる画素の情報を反映させて混合比を決定することから、たとえば、周期的なパターンがその周期にほぼ適合した速さで動く場合に、ある時間間隔でみるとミクロ的にはデータがほとんど変化しないことから静止画と誤検出がされやすい動画部分に対して確実に「動画である」との検出がなされる。また、たとえば、アルファベットなどの文字（テロップ）が画面内を移動する場合でも、一部の画素で動画を静止画と誤つて検出されることが減る。よって、先行技術文献 1に記載された I P変換方法を用いれば、動画が静止画と誤って検出され、画像のエッジがギザギザに見えるなどの画質劣化が防止できる。

ところが、この先行技術文献 1に記載された I P変換方法では、動画と静止画の判定に参照するフィールドが多く、大容量のフィールドメモリを必要とする。また、たとえば、 T V番組においてカメラで撮影された動画に対し、 P C (パ一ソナルコンピュータ）などで作成され静止したテロップが重ねて表示される場合に、余りに広い範囲の周辺画素あるいは多くのフィールドを参照すると、このような広範な検出結果の影響がマイナスの効果として現れる場合がある。つまり同じデータが表示されるべき静止画（テロップ）のエッジ部分で、周囲が動画であるため必要以上に動画寄りの判定がなされる可能性がある。この場合、静止したテロップのエッジ部分だけが他のテロップ部分よりくつきりと見えたり、逆にぼやけて見えたりすることがある。テロップは、背景の動画像に比べると水平おょぴ垂直の方向の周波数成分が高いのでェッジがぼやけたりすると非常に目立つことから、この意味で画質が低下する。

一方、背景が動画である静止画のエッジ部分を目立たなくする方法として、静止画と動画の境界を判定する処理を含む I P変換方法が知られている（たとえば日本国特許公報「第 3 3 4 7 2 3 4号」参照、以下、先行技術文献 2という）。この方法では、動き検出の結果から、現ライン、 1ライン前の出力および 1ライン後の出力を用いて 3ラインとも動きあり、または、 3ラインとも動きなし以外の場合、境界ありと判断する。この境界判定の結果と、動き検出の結果が矛盾する箇所がなくなるようにラインデータの置き換えを行う。

この先行技術文献 2に記載された I P変換方法は、大容量のフィールドメモリを用いることなく、背景が動画である静止画のェッジ部分を目立たなくすることができるという点では優れた方法である。

しかし、この先行技術文献 2に記載された方法では、広範な画素情報が反映されないことから、前記した先行技術文献 1が解決しょうとした課題、すなわち一定速度で動く周期的なパターンあるいは動くテロップを有する画面で、動画部分 (動く周期的パターンおよび動くテロップ）が誤って静止画と判断される課題を解決することができない。発明の開示

本発明の目的は、一定速度で動く周期的なパターンあるいは動くテロップなどを有する画面で動画部分が誤って静止画と判断されること、および、背景が動画である静止画のエッジ部分が動画処理されて目立つことを同時に防止することで本発明にかかる画像処理装置は、ィンターレース画像データをノンィンターレース画像データに変換する画像処理装置であって、ィンターレース画像の画素データ（フィールド画面 P i (0) ， P i (+ 2 F) を構成する画素データ D i (0) ， D i (+ 2 F) 、ただし、以下、図面との対応を考慮し画素データを、その画素データが属するフィールド画面の符号で表記する）をフレーム間で画素毎に比較して動き検出を行う動き検出部（3， 5 1) と、前記動き検出部（3， 5 1) からの動き検出の結果（D i f (0) ) により連続して静止画と判断された回数を示す履歴値（Hk) を生成する履歴値生成部（5 2， 5 3) と、インタ一レース画像の画素データに基づくフィールド内での捕間による画素データ（P m) および複数のフィールド間での補間による画素データ（P s ) を前記動き検出部（3， 5 1) による動き検出の結果（D i f (0) ) および前記履歴値（H k) に応じた比率（Rm i x) で混合する画素データ補間部であって、前記履歴値（Hk) が大きいほど前記フィールド間の補間による画素データ（P s) を多く混合する画素データ補間部（4) とを備える。

この画素データ捕間部は、前記フィールド内の画素データ（P i (+F) ) からの補間により画素データ（Pm) を生成するフィールド内捕間部（4 1) と、前記複数のフィールド間の画素データ（P i (+ F) , P i (+ 2 F) ) からの補間により画素データ（P s ) を生成するフィールド間補間部（42) と、前記フィールド内補間部（41) からの画素データ（Pm) と、前記フィールド間捕間部（42) からの画素データ（P s ) とを所定の比率（Rm i x) で混合する画素データ混合部（4 3) と、前記動き検出部（3， 5 1) の検出結果（D i f (0) ) と前記履歴値（Hk) により決まる混合比（Rm i x) を、前記履歴値 (Hk) が大きいほどフィールド間補間部（42) からの画素データ（P s ) の比率が高まるように変化させる混合比設定部（44) とを有する。

本発明にかかる画像処理方法は、ィンターレース画像データをノンィンターレース画像データに変換する画像処理方法であって、インターレース画像の画素データ（P i (0) , P i (+ 2 F) ) をフレーム間で画素毎に比較して動き検出を行う動き検出ステップと、前記動き検出の結果で連続して静止画と判断された回数を示す履歴値（Hk) を生成する履歴値生成ステップ（ST 4 B, ST 5) と、インターレース画像の画素データに基づくフィールド内での補間による画素データ（Pm) および複数のフィールド間での補間による画素データ（P s ) を前記動き検出部（3) による動き検出の結果（D i f (0) ) および前記履歴値 (Hk) に応じた比率（Rm i x) で混合するステップであって、前記履歴値 (Hk) が大きいほど前記フィールド間の補間による画素データ（P s) を多く混合する画素データの補間ステップとを含む。

この画素データの補間ステップは、さらに、フィールド内で画素データが存在しないラインの画素データ（Pm) を前記フィールド内の画素データ（P i ( + F) ) からの捕間により生成するフィールド内補間のステップと、前記ラインの画素データ（P s ) を複数のフィールド内の画素データ（P i (+ F) , P i (+ 2 F) ) からの補間により生成するフィールド間補間のステップと、前記フィールド内補間による画素データ（Pm) と、前記フィールド間捕間による画素データ（P s) とを所定の比率（Rm i x) で混合する画素データ混合のステツプと、前記動き検出の結果（D i f (0) ) と前記履歴値（Hk) により決まる混合比（Rm i x) を、前記履歴値（Hk) が大きいほどフィールド間補間による画素データ（P s ) の比率（Rm i x) が高まるように変化させる混合比設定のステップとを有する。

本発明では、インターレース画像の画素データを動き検出部（3, 5 1) で動き検出した結果、画素データに差がないあるいは差が小さい場合、静止画と判断され、差が大きい場合、動画と判断される。履歴値生成については、連続して静止画と判断される回数である履歴値（Hk) を画素ごとに生成する。画素データ補間部（4) (あるいは、補間ステップで）は、この生成した履歴値（Hk) に応じて、データを新たに作成すべき画素の補間方法が決定される。より詳細には、画素データ補間部（4) は、動画に適合したフィールド内補間部（41) と、静止画に適合したフィールド間補間部（4 2) と、両補間部の出力を所定の比率 (Rm i x) で混合する画素データ混合部（43) と、この混合の比率（Rm i X ) を設定する混合比設定部（44) とを有する。混合比設定部（44) は、履歴値（Hk) が大きいほど静止画寄りの補間となるように、つまりフィールド間補間により生成された画素データ（P s ) の比率が高くなるように上記混合比 (Rm i x) を決める。

このような画像処理では、たとえば、所定周期の繰り返しパターンが当該周期に適合した速さで動く場合、そのパターンが繰り返し表示される画素位置では、ある時間間隔でみると常に静止画と判断されるパタン部分が存在する。ところ力本発明では画素ごとに静止画との判断が連続して起こる回数すなわち履歴値 (Hk) がカウントされていることから、その静止画の履歴値（Hk) がパターンの幅に対応した周期で途切れ途切れになる。

つまり、履歴値（Hk) を用いて大局的にみると、このような所定周期の繰り返しパターンは完全な静止画と判断されないし、完全な動画とも判断されない。このため、繰り返しパターンの周期や動く速さに適合した混合比（Rm i x) となり、その混合比で、当該画素位置に新たな画素データ（P o) が生成される。また、アルファベットなどのテロップが流れるように移動する場合、文字の間で履歴値（Hk) が途切れ途切れとなることから、同様に、この文字間隔や動く速さに適合した混合比（Rm i x) で、テロップを表示する位置に画素データ (P o) が生成される。さらに、周囲が動画である静止画テロップのエッジ部分では、周辺の画素情報は反映されずに、当該画素での履歴値（H k ) のみが判断材料となるため、当該画素での履歴値（H k ) はテロップの表示時間に依存して十分大きく完全な静止画に近い判断がなされる。よって、この静止画テロップのエッジ部分では静止画寄りの混合比（R m i x ) で新たな画素データ（P o ) が生成される。図面の簡単な説明図 1は、第 1の実施の形態にかかる画像処理装置のプロック図である。

図 2は、 3つの連続したフィールド画面の位置関係を示す図である。

図 3は、図 2に示す正面 Aの側から見た 3画面の位置関係でフレーム差分のとりかたを示す図である。

図 4は、図 3と同様な 3画面の位置関係でフィールド内補間を示す図である。図 5は、図 3と同様な 3画面の位置関係でフィールド間補間を示す図である。図 6は、履歴値生成処理のフローチャートである。

図 7は、混合比設定処理のフローチャートである。

図 8は、混合比参照テーブルにおける 2つの入力パラメータと混合比との関係の一例を示すグラフである。

図 9は、静止した背景内で円形画像が動く場合の混合比の推移を説明する図である。

図 1 0は、周囲が動画である静止画テロップ（アルファベットの文字）を有する画面を示す図である。

図 1 1は、第 2の実施の形態にかかる画像処理装置のブロック図である。発明を実施するための最良の形態

以下、本究明に係る画像処理装置および画像処理方法の実施の形態を、図面を参照して説明する。この画像処理装置は、動き適応型 I P変換機能を有した装置あるいは集積回路（I C) として実現される。

[第 1の実施の形態]

図 1に、第 1の実施の形態にかかる画像処理装置のプロック図を示す。

図 1に示す画像処理装置 1 Aは、大別すると、フィールド遅延部 2、フレーム差分演算部 3、画素データ捕間部 4、および、静止画の履歴値生成部 5から構成されている。

フィールド遅延部 2は、入力したフィールド画面 P i ( 0 ) を 1フィールド遅延させて出力する第 1のフィールド遅延部 2 1と、第 1のフィールド遅延部 2 1 から入力した 1フィールド（ 1 F) 遅延後の画面 P i (+F) をさらに 1フィールド遅延させる第 2のフィールド遅延部 2 2とを有する。第 2のフィールド遅延部 22からは 2フィールド ( 2 F) 、すなわち 1フレームだけ遅延されたフィールド画面 P i (+ 2 F) が出力される。

ここで 1フィールドの表示時間（または時間軸上でのフィールド画面間隔）を「F」で表し、位相が進んでいることを「十」、位相が遅れていることを「一」の符号で示す。また、現時点を「0」で表記する。図 1に示す状態では、フィールド画像 F i (0) が入力されている時（現時点）において、それより 1フィールド表示時間（以下、単に 1 Fという）だけ前に第 1のフィールド遅延部 2 1に入力され、 1 Fだけ位相が進んだ隣のフィールド画面 P i (+F) が第 1のフィ一ルド遅延部 2 1から出力されている。また、 2フィールド表示時間（以下、単に 2 Fという）だけ現時点より前に第 1のフィールド遅延部 2 1に入力され、 2 Fだけ位相が進んださらに隣のフィールド画面 P i (+ 2 F) が第 2のフィールド遅延部 2 2から出力されている。

この 3つのフィールド画面 P i (0) 、 P i (+F) 、 P i (+ 2 F) の位置関係を、図 2に示している。図 2は、画面の 2次元空間に時間軸を導入して 3次元的に示すものであり、時間軸を「→ t」により示している。また図 3〜図 5に、図 2に示す正面 Aの側から 3画面の位置関係を見た囪を示す。

インターレース表示画面は、絵として完成された画面（1フレーム）を 2回の飛び越し走查を経て表示することは先に述べたが、図 2において、第 1回目の走査による第 1フィールド画面に属する画素（あるいは画素データ）を白丸で表示し、第 2回目の走査による第 2フィールド画面に属する画素（あるいは画素データ）を黒丸で表示しているものとする。この場合、現時点の入力画面 P i (0) と、これより 1 Fだけ位相が進んだ画面 P i (+F) との組み合わせで 1フレームが構成され、そのさらに位相が進んだ隣の画像の組、すなわち P i (+ 2 F) と不図示の P i (+ 3 F) とにより他の 1フレームが構成される。図 3に示すように、画素を黒丸で示した第 2フィールド画面 P i (+F) と、その両側の第 1 フィールド画面 P i (0) および P i (+ 2 F) とは、 1ライン走査間隔 Lだけずれた垂直方向の位置関係にある。また、飛び越し走査であることから、各画面の画素データラインの間隔は 2ライン走査間隔（2 L) に設定されている。

図 1に示すフレーム差分演算部（図中、「Δ Ρ」と表記） 3は、入力した現時点のフィールド画面 P i (0) と、第 2のフィールド遅延部 22からの 1フレーム遅延後のフィールド画面 P i (+ 2 F) とを入力し、フレーム間で画素ごとに、たとえば輝度データの差分の絶対値（以下、フレーム差分という）を演算により求める。たとえば図 3に示すように、フィールド画面 P i (0) 内の画素データ D k (0) と、フィールド画面 P i (+ 2 F) 内の画素データ D k (+ 2 F) とからフレーム差分 D i f (0) を求め、この処理を画素ごとに操り返す。フレーム差分 D i f (0) は画素ごとに演算によって順次生成され、画素データ補間部 4と履歴値生成部 5のそれぞれに入力される。

画素データ補間部 4は、図 1に示すように、フィールド内補間部 4 1、フィールド間補間部 42、画素データ混合部（図中「MI X. J と表記） 43、および、混合比 Rm i Xの設定部 44を有する。

フィールド内捕間部 4 1は、とくに図示しないが、入力したフィールド画像データをラインごとに遅延させるライン遅延部と、遅延後のラインデータ等を用いた補間により、ィンターレース画像のライン間に新たなラインデータを生成する補間部とを有する。これにより、フィールド内補間部 4 1は動画に適した補間方法、すなわち同一フィールド内のデータのみでノンィンターレース画像に必要なラインの画素データを新たに生成することができる。

フィールド内補間方法に限定はないが、たとえば図 4に示す例のように、 I F 遅延後のフィールド画面 P i (+F) 内で、注目しているラインの画素データ D k (+F) と、その 1ライン（フレーム内でみると 2走査ライン）遅延後の画素データ D k— 2 (+ F) とにそれぞれ 0. 5の係数をかけて混合することにより、画素データがなかった中間の走査ラインに新たな画素データ D k— 1 (+ F) を生成する。

以下、このように同じフィールド内の複数の画素データから生成された動画用の新たな画素データからなるフィールド画面を「動画補間画面 Pm」という。フィールド間補間部 42は、互いに 1フィールド分だけ位相がずれた 2系統の画素データ列（2つのフィールド画面）を入力する。フィールド間補間部 42は、とくに図示しないが、この入力した 2系統の画素データ列から補間によりインタ一レース画像のライン間に新たなラインデータを生成する補間部を有する。これにより、フィールド間補間 42は静止画に適した補間方法、すなわち時間的に隣接した異なるフィールド内のデータからノンィンターレース画像に必要なラインの画素データを新たに生成することができる。

フィールド間補間方法に限定はないが、たとえば図 5に示す例のように、 1 F 遅延後のフィールド画面 P i (+F) に属し注目しているラインの画素データ D k (+F) と、 2 F遅延後のフィールド画面 P i (+ 2 F) の対応する画素データ Dk (+ 2 F) とにそれぞれ 0. 5 係数をかけて混合することにより、 1 F 遅延後のフィールド画面 P i (+F) で画素データがなかった走査ラインに新たな画素データ D k— 1 (+ F) を生成する。以下、このように異なるフィールドに属する複数の画素データから生成された静止画用の新たな画素データからなるフィールド画面を「静止画補間画面 P _S」という。

画素データ混合部 43は、動画補間画面 Pmをフィールド内補間部 4 1から入力し、静止画補間画面 P sをフィールド間補間部 42から入力し、 2つの補間画面 Pmと P sの画素データを、画素ごとに決められる所定の混合比 Rm i xによつて順次混合し、新たな画素データ列（出力画面） P oを出力する。このような画素データ混合部 4 3の機能は、とくに図示しないが、たとえば、各補間データに混合比 Rm i Xを実現するために適した係数をかける 2つの乗算器と、 2つの乗算器の出力を加算する加算器とにより実現される。

本実施の形態における画素データ混合部 43の混合比 Rm i xは変更可能となつている。たとえば上記構成では、 2つの乗算器の係数が変更可能になっている。混合比 Rm i Xを設定し、変更する手段としての混合比設定部 44は、混合比 Rm i Xを、入力した履歴値に応じて制御する。混合比設定部 44は、通常、フレーム差分演算部 3からフレーム差分 D i f (0) を入力し、フレーム差分 D i f (0) に応じた混合比を基準とし、この基準となる混合比を、入力した履歴値 Hに応じて変化させる。このように混合比設定部 44が履歴値 Hに応じて混合比を制御することと、履歴値生成部 5を有することが本実施の形態の大きな特徴の一つである。

履歴値生成部 5は、入力したフレーム差分 D i f (0) と基準 REFとの大小関係を比較し、動画または静止画を判定する動き比較部（図中、「COMP. 」と表記） 5 1と、この動き比較部 5 1で「静止画」と連続して判断された回数を履歴値 Hとして画素ごとに保持し、更新する履歴値メモリ（図中、「Hメモリ」と表記） 5 2と、保持している履歴値 Hを 2フィールド（2 F) 分、すなわち 1 フレーム分遅延させる履歴値遅延部 5 3とを有する。履歴値メモリ 5 2は、画素ごとにァドレスが割り当てられたメモリ空間を有し、ァドレスにより指定された画素ごとの保持データ（履歴値）をインクリメント可能に構成されている。なお、図 1においては、注目している画素の現時点の履歴値を Hk (0) と表記し、 2 F遅延後の履歴値を Hk (+ 2 F) と表記している。

より詳細には、動き比較部 5 1は、入力したフレーム差分 D i f (0) を、動画と静止画の境界を定める所定の基準 RE Fと比較して、入力したフレーム差分 D i f (0) が基準 RE F以上であれば「動画」、入力したフレーム差分 D i f (0) が基準 RE F未満であれば「静止画」といった判断を行う。動き比較部 5 1は、「静止画」との判断を行うたびに、たとえばハイレベルのパルスを出力するような信号 S 5 1を出力しており、履歴値メモリ 5 2は、この信号 S 5 1でハィレベルのパルスが立ったびに、記憶している 1フレーム前（位相が 1フレーム分進んだ）当該画素の履歴値 Hk (0) をインクリメントし、出力する。履歴値 Hk (0) は順次 2 Fだけ遅延され、遅延後の履歴値 Hk (+ 2 F) が混合比設定部 44に順次入力される。履歴値メモリ 5 2の記憶内容は、混合比設定部 44 に出力された履歴値 Hk (+ 2 F) により書き換えられる。このため、混合比設定部 44に出力された履歴値 Hk (+ 2 F) を基礎として静止画と判断されるたびに履歴値が 1つずつ加算される仕組みになっている。履歴値算出がフレーム差分 D i f (0) にもとづいて行われることから、この点では、図 3に示す画素 D k (0) または D k (+ 2 F) で履歴値をカウントすることが望ましい。一方、図 5に示すようにフィールド間補間で画素 D k (+ 2 F) が用いられ、画素 D k (0) は用いられない。その意味で、画素 Dk (+ 2 F) で履歴値をカウントすることが望ましく、本実施の形態では、履歴値 Hk (0) を 2 F遅延させた後、混合比設定に用いることとしている。

なお、この動き比較部 5 1と前述したフレーム差分演算部 3とは、本発明の「動き検出部」の一実施態様を構成する。

図 6に、この履歴値生成処理のフローチャートを示す。

図 6に示す処理がスタートする時点では、履歴値メモリ 5 2に記憶されている履歴値が Hk (- 2 F) であるとする。ステップ ST 1において、前回の処理で 1フレーム、すなわち 2フィールド（2 F) 遅延された履歴値、すなわち Hk (0) が履歴値メモリ 5 2に入力される。

ステップ ST 2でフレーム差分 D i f (0) が入力されると、つぎのステップ ST 3で、フレーム差分 D i f (0) を基準 RE Fと比較する。フレーム差分 D i f (0) が基準 RE F以上なら、当該画素が動画に属すると判断し、ステップ ST4Aで履歴値メモリ 5 2の該当するァドレスに記憶された画素の履歴値 Hk (0) をリセットする。これにより処理対象の画像部分が静止状態から脱し動画状態に入ったとの判断がなされる。一方、フレーム差分 D i f (0) が基準 RE F未満なら、当該画素が静止画に属すると判断し、ステップ S T 4 Bで履歴値メモリ 5 2の該当するアドレスに記憶された静止画の履歴値 Hk (0) をインクリメントし、処理対象の画像部分で静止画状態が続いていると判断される。

その後、ステップ S T 5において、この履歴値 Hk (0) が履歴値遅延部 5 3 によって 2 Fだけ遅延され、遅延後の履歴値 Hk (+ 2 F) が混合比設定部 44 に送られるとともに、この遅延後の履歴値 Hk (+ 2 F) の値によって、履歴値メモリ 5 2の当該画素に対応したアドレスの記憶領域の内容が書き換えられる。この処理は、画素ごとにフレーム差分 D i f が入力されるたびに繰り返し実行される。

図 7に、混合比設定処理のフローチャートを示す。

混合比設定部 44は、ステップ ST 1 0でフレーム差分 D i f (0) を入力し、ステップ S T 1 1でフレーム差分 D i f (0) に対応する履歴値 Hk (+ 2 F) を入力すると、つぎのステップ ST 1 2で動画捕間画面 Pmと静止画補間画面 P sとの混合比 Rm i Xを求める。逐一演算を行ってもよいが、ここでは、フレーム差分および履歴値の 2つの入力パラメータによって混合比が特定されるテープルを内蔵しており、そのテーブルを参照することによって混合比 Rm i Xを求めるとする。図 8に、このテーブルにおける 2つの入力パラメータと混合比との関係の一例をグラフによって示す。

従来は、静止画と判断された回数に関係なくフレーム差分のみで混合比が決められていたが、本実施の形態で図 8に示す例では、履歴値がある値より小さいときはフレーム差分に関係なく混合比を一定とするように決められている。このグラフは一例であり混合比の決め方は様々考えられる。大局的にみると、同じフレーム差分なら履歴値が大きいほど混合比が静止画寄りに決められ、同じ履歴値ならフレーム差分が小さいほど混合比が静止画寄りに決められる。ここで、同じフレーム差分なら履歴値が大きいと必ず履歴値も静止画寄りでなければならいないというわけではない。図 8の例のように、履歴値が変化しても混合比が変化しない部分を一部に含んでいてもよい。「大局的にみると」は、大きなスパンでみると履歴値にともなって混合比が変化しているという意味である。

なお、本発明で「履歴値が大きいほど静止画用の補間方法に近い補間方法に変化させ」とは、このように大局的にみる場合も含む。すなわち、本発明では、履歴値が大きいほど漸次静止画寄りの補間方法をとる場合のほかに、途中で履歴値が変化しても捕間方法は変わらない部分が存在するが、大局的にみると履歴値が大きくなるにしたがって補間方法が静止画寄りに変化している場合も含む。

なお、図 8には、静止画の混合比の数値を例示している。この場合、完全な動画の場合は R m i X = 0、完全な静止画の場合 R m i x = 1 . 0をとり、その間は静止画寄りにするほど R m i xの値を 1に近い値に設定することができる。本実施の形態では、フレーム差分 D i f にもとづいて動画補間画面 P mと静止画補間画面 P sの混合比を決定する際に、静止画と連続して判断された回数である履歴値を参照することによって、多くのフィールド遅延メモリを用いた場合と同様に、多くの過去のフィールドの動き状態を参照することができる。そのため、動画であるか静止画であるかの判断が確実なものとなる。また、捕間画面の混合比をよりなだらかに変化できるので、静止したばかりの画像が、急に静止画処理をされ、突然、解像度が上がった様に見えることが防止できる。

さらに、図 8に示す静止画の履歴値を演算する際に用いる静止画履歴のしきい値（基準 R E F ) は、フレーム差分のノイズ成分に比べ十分大きく設定することができるため、履歴値はフレーム差分のノイズに影響され難い。

本実施の形態で導入されている履歴値というパラメータは、その値が大きいほど静止画である可能性が高いことを意味する。したがって、静止画の履歴値が大きい場合は、フィールド差分のみの判定に比べ静止画寄りの判定を行うことができる。その結果、さまざまなケースに対応し、動き適応型のインターレースとノンインターレースとの変換の効果を高められる。

たとえば、所定周期の繰り返しパターンが当該周期に適合した速さで動く場合、そのパターンが繰り返し表示される画素位置では、ある時間間隔でみると常に静止画と判断されるパターン部分が存在する。ところが、本実施の形態では画素ごとに静止画との判断が連続して起こる回数（履歴値）がカウントされていることから、その静止画の履歴値がパターンの幅に対応した周期で途切れ途切れになる。つまり、履歴値がある程度大きくなるとリセットされることから、履歴値を用いて大局的にみると、このような所定周期の繰り返しパターンは完全な静止画と判断されないし、完全な動画とも判断されない。このため、繰り返しパターンの周期や動く速さに適合した混合比となり、その混合比で、当該画素位置に新たな画素データが生成される。また、図 9に示すように、最初は静止画寄りに判断されていても、あるパターンが動く時間が長いと動画寄りに判断される利点がある。また、アルファベットなどのテロップが流れるように移動する場合、文字の間で履歴値が途切れ途切れとなることから、同様に、この文字の間隔や動く速さに適合した混合比で、テロップを表示する位置に画素データが生成される。

さらに、図 1 0に示すように、周囲が動画である静止画テロップ（アルファべットの文字）のエッジ部分では、周辺の画素情報は反映されずに、当該画素での履歴値のみが判断材料となるため、当該画素での履歴値はテロップの表示時間に依存して十分大きく完全な静止画に近い判断がなされる。よって、この静止画テ口ップのエッジ部分では静止画寄りの混合比で新たな画素データが生成される。

[第 2実施形態]

本実施の形態は、履歴値生成部の変更に関する。

図 1 1に、第 2の実施の形態にかかる画像処理装置のプロック図を示す。

この画像処理装置 1 Bが、図 1に示す画像処理装置 1 A (第 1の実施の形態）と異なる点は、履歴値生成部 5の履歴値遅延部が 1フィールドずつ遅延させる第 1の履歴値フィールド遅延部 54と第 2の履歴値フィールド遅延部 5 5に分離され、その中間接続点から 1 F遅延後の履歴値 Hk (+F) が出力されていることである。この 1 F遅延後の履歴値 Hk (+ F) は、第 2の履歴値フィールド遅延部 5 5から出力される 2 F遅延後の履歴値 Hk (+ 2 F) とともに混合比設定部 44に入力される。

その結果、本実施の形態における混合比設定部 44は、 1 F遅延画面 P i ( + F) 内の補間に用いる画素、たとえば図 4に示す例では、画素 D k (+ F) および Zまたは Dk— 2 (+F) の履歴値 Hk (+F) も参照している。このため、より複雑できめ細かな判断が可能となる。

第 1の実施の形態では、同じフレーム差分 D i f で履歴値 Hk (+ 2 F) ならば混合比 Rm i Xは 1つに決められていたが、本実施の形態では、さらに履歴値 Hk (+F) の値によって、混合比を細かく変える制御ができる。また、たとえば図 4に示す画素 Dk (+F) と D k— 2 (+F) の履歴値 H k (+F) がともに「0」のとき、言い換えると共に動画である傾向が高いと判断する。そして、 . これらの画素に挟まれた補間する画素は、たとえ第 1の実施の形態に示す履歴値 Hk (+ 2 F) による判断で静止画であるとされても、動画である画素に上下を挟まれているので、動画寄りの混合比を出力する判定を追加することができる。このように、第 2の実施の形態では、より多くの履歴値を組み合わせて様々な判断を行うことができる、その結果、信頼性が高い動き適応制御が可能となる。なお、第 1および第 2の実施の形態では、フレーム差分を、図 2の「B」で示す矢印の方向（走查方向）に隣接する画素でもとって、動画と静止画の判断の精度を高めることができる。また、履歴値もこの走査方向に隣接する画素でカウントするようにして、履歴値の精度を高めることもできる。

Claims

請求の範囲

1. ィンターレース画像データをノンィンターレース画像データに変換する画像処理装置であって、

インターレース画像の画素データ（フィールド画面 P i (0) ， P i

(+ 2 F) を構成する画素データ D i (0) ， D i (+ 2 F) 、ただし、以下、図面との対応を考慮し画素データを、その画素データが属するフィールド画面の符号で表記する）をフレーム間で画素毎に比較して動き検出を行う動き検出部 (3, 5 1) と、

前記動き検出部（3, 5 1) からの動き検出の結果（D i f (0) ) により連続して静止画と判断された回数を示す履歴値（Hk) を生成する履歴値生成部（5 2， 5 3) と、

インターレース画像の画素データに基づくフィールド内での補間による画素データ（Pm) および複数のフィールド間での補間による画素データ（P s) を前記動き検出部（3， 5 1) による動き検出の結果（D i f (0) ) および前記履歴値（Hk) に応じた比率（Rm i x) で混合する画素データ補間部であって、前記履歴値（Hk) が大きいほど前記フィールド間の補間による画素データ（P s) を多く混合する画素データ補間部（4) と

を備える画像処理装置。 '

2. 前記画素データ補間部（4) は、

前記フィールド内の画素データ（P i (+F) ) からの捕間により画素データ（Pm) を生成するフィールド内補間部（4 1) と、

前記複数のフィールド間の画素データ（P i (+ F) ， P i (+ 2 F) ) からの補間により画素データ（P s ) を生成するフィールド間補間部（4 2) と、

前記フィールド内補間部（4 1) からの画素データ（Pm) と、前記フィールド間補間部（4 2) からの画素データ（P s ) とを所定の比率（Rm i X ) で混合する画素データ混合部（4 3) と、

前記動き検出部（3， 5 1) の検出結果（D i f (0) ) と前記履歴値 (Hk) により決まる混合比（Rm i x) を、前記履歴値（Hk) が大きいほどフィールド間補間部（42) からの画素データ（P s) の比率が高まるように変化させる混合比設定部（44) と

を有することを特徴とする請求項 1に記載の画像処理装置。

3. 前記履歴値生成部（5 2， 5 3) は、補間により画素データを作成するフィールドより 1フィールド遅延したフィールドでの隣接画素の補間時の履歴値 (Hk (+ 2 F) ) を生成し、補間ごとに更新する

ことを特徴とする請求項 1に記載の画像処理装置。

4. 前記履歴値生成部（5 2, 5 3) は、補間により画素データを作成するフィールドと異なるフィールドでの隣接画素の補間時の履歴値（Hk (+ F) ) と、補間により画素データを作成するフィールドと同じフィールド内での隣接画素の補間時の履歴値（Hk (+ 2 F) ) とを生成し、それぞれ補間ごとに更新する

ことを特徴とする請求項 1に記載の画像処理装置。

5. ィンターレース画像データをノンィンターレース画像データに変換する画像処理方法であって、

インターレース画像の画素データ（P i (0) ， P i (+ 2 F) ) をフレーム間で画素毎に比較して動き検出を行う動き検出ステップと、

前記動き検出の結果で連続して静止画と判断された回数を示す履歴値 (Hk) を生成する履歴値生成ステップ（ST4 B, ST 5) と、

インターレース画像の画素データに基づくフィールド内での補間による画素データ（Pm) および複数のフィールド間での補間による画素データ（P s) を前記動き検出部（3) による動き検出の結果（D i f (0) ) および前記履歴値（Hk) に応じた比率（Rm i x) で混合するステップであって、前記履歴値（Hk) が大きいほど前記フィールド間の補間による画素データ（P s) を多く混合する画素データの補間ステップと

を含む画像処理方法。

6. 前記画素データの補間ステップは、さらに、

フィールド内で画素データが存在しないラインの画素データ（Pm) を前記フィールド内の画素データ（P i (+F) ) からの補間により生成するフィールド内捕間のステップと、

前記ラインの画素データ（P s ) を複数のフィーノレド内の画素データ (P i (+F) , P i (+ 2 F) ) からの補間により生成するフィールド間補間のステップと、

前記フィールド内補間による画素データ（Pm) と、前記フィールド間捕間による画素データ（P s) とを所定の比率（Rm i x) で混合する画素データ混合のステップと、

前記動き検出の結果（D i f (0) ) と前記履歴値（Hk) により決まる混合比（Rm i χ ) を、前記履歴値（Hk) が大きいほどフィールド間補間による画素データ（P s ) の比率（Rm i x) が高まるように変化させる混合比設定のステップと

を有することを特徴とする請求項 5に記載の画像処理方法。