JP4507841B2 - 画像信号処理装置、および画像信号処理方法 - Google Patents

Description

本発明は、たとえば、フレーム毎に画像サイズがシームレスに変化するインターレース信号をプログレッシブ信号に変換（ＩＰ変換）する画像信号処理装置、および画像信号処理方法に関するものである。

テレビジョン信号には、たとえばインターレース信号やプログレッシブ信号等の異なる方式の信号が知られている。
たとえば、インターレース信号として、ＮＴＳＣ（National Television System Committee）方式やＰＡＬ（Phase Alternation by Line）方式が知られている。

インターレース方式は、たとえば、ひとつの画像フレームを奇偶のふたつのフィールドで構成し、これらを交互に書き換えて表示を行う方式である。
一方、ノンインターレース方式であるプログレッシブ方式は、フレームをフィールドに分けず、上のラインから順次書き換えながら表示を行う方式である。

たとえば、大型のテレビジョン放送受像装置等の表示装置にて、インターレース信号に応じた画面表示を行うと、走査線の間隔が目立つ場合がある。そのため、インターレース信号をプログレッシブ信号に変換（ＩＰ：Interlace-Progressive変換とも言う）して画面表示を行う表示装置が知られている（たとえば、特許文献１参照）。
また、ブラウン管タイプだけはなく、液晶、ＰＤＰ（Plasma Display Panel）等の表示装置では、デバイスを駆動するドライバがプログレッシブで設計されているものもあり、その場合もＩＰ変換が必要になる。

ＩＰ変換について簡単に説明する。
インターレース信号は、互いにずれた１ラインおきのラインデータをもつ２つのフィールドで一枚のフレームを構成する。これに対して、プログレッシブ信号は、最初から全てのラインデータが存在している（つまっている）。
インターレース信号からプログレッシブ信号に変換する場合、インターレース信号では、１ラインおきのデータしか存在しないため、データのないラインについて、補間データを作成して出力する。

図９は、ＩＰ変換の説明図である。
この補間データは、いろいろな作り方があるが、一般的には図９に示すように、通常は動き検出を行い、動領域と静止領域に分け、動領域についてはフィールド内のデータから補間データを作成し、静止領域については、前フィールドの同じラインのデータをそのまま持ってくるという方法が用いられる。

図１０（ａ）は、インターレース信号によるボトムフィールドアウトプットの一具体例を示す図である。図１０（ｂ）は、インターレース信号によるトップフィールドアウトプットの一具体例を示す図である。
より詳細には、たとえば図１０（ａ），（ｂ）に示すように、動き検出やライン補間を行うのに必要なフィールドやラインは、現フィールドデータ（１ＦＤ）、１フィール遅延データ（２ＦＤ）、２フィールド遅延データ（３ＦＤ）、３フィールド遅延データ（４ＦＤ）である。

フィールド間補間は、隣接するフィールドの走査線を補間（内挿）するが、補間処理に必要なフィールドのラインデータは、たとえば図１０（ａ），（ｂ）に示すピクセルＤＡＴ１とＤＡＴ３である。ここで白丸印はボトムフィールドライン（ＢＦＬ）を示し、黒丸印はトップフィールドライン（ＴＦＬ）を示し、黒三角印は補間により生成されるラインを示す。

また、動き検出は、隣接するいくつかのフィールドの、各ピクセルのフィールドあるいはフレーム間差分値を求めるが、動き検出に必要なフィールドのラインデータはたとえば図１０（ａ），（ｂ）に示すピクセルＤＡＴ２０、ＤＡＴ４０、ＤＡＴ２１、ＤＡＴ４１、ＤＡＴ１、ＤＡＴ３である。また、この際、ピクセルＲのラインが最下のラインの場合は、ピクセルＤＡＴ２０、ＤＡＴ４０、ＤＡＴ１、ＤＡＴ３である。

ここで、一般的にＩＰ変換処理により生成される補間画像（補間フィールド）の画像サイズは、１フィールド遅延データ（２ＦＤ）の画像サイズと等しい。
特開２００２−６４７９２号公報

一般的な動き検出処理や補間処理では、予め設定された水平走査期間を周期として、その処理を行う。
つまり、入力する画像データの水平（Ｈ）サイズは、フィールド毎に不変であり、ＮＴＳＣ方式・ＰＡＬ方式では７２０ピクセルとなる。また、動き検出では、隣接するいくつかのフィールドの、各ピクセルのフィールドあるいはフレーム間差分値を求めるためフィールド毎のライン数はピクセルＲを基準に不変としており、垂直（Ｖ）サイズとして、ＮＴＳＣ方式では２４０ライン、ＰＡＬ方式では２８８ライン分の処理を行う。

図１１（ａ）〜（ｄ）は、インターレース信号において、フレーム毎に画像サイズがシームレスに変化する場合を説明するための図である。
このため、たとえばフィールド毎に画像サイズがシームレスに変化するインターレース信号をＩＰ変換する場合、１フィールド遅延（２ＦＤ）に隣接するフィールドの水平方向（Ｈ）や垂直方向（Ｖ）の画像サイズが異なり、１フィールド遅延データ（２ＦＤ）の画像サイズよりも小さい画像サイズのフィールドでは、１フィールド遅延データ（２ＦＤ）の画像サイズに満たない領域に有効な画像データが無い（通常は不定値となる）ので、フィールド間補間処理では、この１フィールド遅延データ（２ＦＤ）の画像サイズに満たない領域において、このフィールドの走査線（ライン）を使って補間すると画質が劣化する。

詳細にはたとえば図１１（ａ）〜（ｃ）に示すように、１フィールド遅延データ（２ＦＤ）を等倍画像として、画像の左上を原点とすると、水平方向（Ｈ）、垂直方向（Ｖ）の画像サイズが共に１ＦＤ＜２ＦＤ＜３ＦＤの場合や、たとえば図１１（ｄ）〜（ｆ）に示すように、水平方向（Ｈ）、垂直方向（Ｖ）の画像サイズが共に１ＦＤ＜２ＦＤ＞３ＦＤの場合には、上述したように、１フィールド遅延データ（２ＦＤ）の画像サイズよりも小さい画像サイズのフィールドでは、１フィールド遅延データ（２ＦＤ）の画像サイズに満たない領域に有効な画像データが無い（通常は不定値となる）ので、フィールド間補間処理では、この１フィールド遅延データ（２ＦＤ）の画像サイズに満たない領域において、このフィールド（ライン）の走査線を使って補間すると画質が劣化する。
図１１（ａ）〜（ｆ）において、水平方向（Ｈ）に沿った画像サイズが２ピクセル、垂直方向（Ｖ）に沿った画像サイズが１ピクセルずつ拡大または縮小している。

また、たとえば図１０（ａ），（ｂ）に示すようにフィールド毎に画像サイズが拡大するインターレース信号が入力された場合に、補間対象のピクセルＲを画像の最下ラインまたは最右端ピクセルとすると、ＤＡＴ１は有効な値を持つがＤＡＴ３は不定値となるため補間の画質が劣化する。

また、たとえば図１０（ａ），（ｂ）に示すように、動き検出では、１フィールド遅延データ（２ＦＤ）の画像サイズに満たない領域において、このフィールドの走査線を使って動き検出すると誤検出する。このため動き検出を誤検出すると、たとえば、本来静止画と判断されるべきピクセルが動きと判定され、フィールド内補間寄りのデータとなり画質が劣化する。

また、たとえば図１０（ａ），（ｂ）に示すように、フィールド毎に画像サイズが拡大している時、ピクセルＲを画像の最下ラインまたは最右端ピクセルとして考えれば、フレーム間データのＤＡＴ１は有効な値を持つがＤＡＴ３は不定値であり、さらに４ＦＤのＤＡＴ２０は有効な値を持つがＤＡＴ４０は不定値となるため動き検出が誤検出する。

上述したように、画像サイズがフィールド毎にシームレスに変化するインターレース信号が入力された場合に、ＩＰ変換された補間画像の境界部分では、画質が劣化する場合がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像サイズがフィールド毎に変化する場合であっても、高精度にインターレース−プログレッシブ変換を行うことができる画像信号処理装置、および画像信号処理方法を提供することにある。

前記目的を達成するために、本発明の第１の観点の画像信号処理装置は、入力制御手段および処理手段を含む画像信号処理装置であって、前記入力制御手段は、画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、注目フィールドを含む連続した所定数のフィールドのそれぞれについて画像サイズが前記注目フィールドの画像サイズよりも小さいか否かを判別する判別手段と、前記判別手段が前記連続した所定数のフィールドの中に、前記注目フィールドの画像サイズと比較して小さい画像サイズのフィールドが存在する場合に、当該画像サイズのフィールドを補正フィールドとし、該補正フィールドの前記注目フィールドの画像サイズに満たない領域に、前記補正フィールドの境界領域近傍の画像データに応じた付加データを付加して、前記注目フィールドの画像サイズと同じ画像サイズのフィールドの画像データを生成する付加手段と、を含み、前記処理手段は、前記入力制御手段により、少なくとも、前記補正フィールドに対応する現フィールドの画像データ、前記注目フィールドに対応し、前記現フィールドに対して１フィールド遅延の画像データ、前記現フィールドに対して２フィールド遅延の画像データ、前記現フィールドに対して３フィールド遅延の画像データからお互い２フィールド遅延差があるフィールドの画像データを２つ用い、当該２つの画像データの差の絶対値による動き量を表す関数の値に基づいて動き検出処理を行い、前記動き検出処理の結果に基づいて補間データを生成し、当該生成された補間データに基づいて前記１フィールド遅延の画像データをインターレース信号からプログレッシブ信号に変換する。

さらに、前記目的を達成するために、本発明の第２の観点の画像信号処理方法は、画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、注目フィールドを含む連続した所定数のフィールドのそれぞれについて画像サイズが前記注目フィールドの画像サイズよりも小さいか否かを判別する第１のステップと、前記第１のステップにより、前記連続した所定数のフィールドの中に、前記注目フィールドの画像サイズと比較して小さい画像サイズのフィールドが存在する場合に、当該画像サイズのフィールドを補正フィールドとし、該補正フィールドの前記注目フィールドの画像サイズに満たない領域に、前記補正フィールドの境界領域近傍の画像データに応じた付加データを付加して、前記注目フィールドの画像サイズと同じ画像サイズのフィールドの画像データを生成する第２のステップと、少なくとも、前記補正フィールドに対応する現フィールドの画像データ、前記注目フィールドに対応し、前記現フィールドに対して１フィールド遅延の画像データ、前記現フィールドに対して２フィールド遅延の画像データ、前記現フィールドに対して３フィールド遅延の画像データからお互い２フィールド遅延差があるフィールドの画像データを２つ用い、当該２つの画像データの差の絶対値による動き量を表す関数の値に基づいて動き検出処理を行い、前記動き検出処理の結果に基づいて補間データを生成し、当該生成された補間データに基づいて前記１フィールド遅延の画像データをインターレース信号からプログレッシブ信号に変換する第３のステップとを有する。

本発明によれば、画像サイズがフィールド毎に変化する場合であっても、高精度にインターレース−プログレッシブ変換を行うことができる画像信号処理装置、および画像信号処理方法を提供することができる。

図１は、本発明の一実施形態に係る画像信号処理装置のブロック図である。

本実施形態に係る画像信号処理装置１０は、たとえば図１に示すように、ディジタルシグナルプロセッサ（ＤＳＰ）１１、画像サイズ制御回路（ＳＣＴ）１２、メモリ（Ｍ１）１３、メモリ（Ｍ２）１４、メモリ（Ｍ３）１５、メモリ（Ｍ４）１６、読出制御回路１７、書込制御回路（ＷＣＴ）１８、およびメイン制御回路（ＣＰＵ：Central processing unit）１９を有する。

本実施形態では、読出制御回路１７は複数の読出制御回路を含む。たとえば読出制御回路（ＲＣＴ１）１７１〜読出制御回路（ＲＣＴ５）１７５を有する。

ＤＳＰ１１は、本発明に係る処理手段の一例に相当する。読出制御回路１７は、本発明に係る入力制御手段の一例に相当する。
書込制御回路１８は、本発明に係る出力制御手段の一例に相当する。

画像データの入力ラインが、画像サイズ制御回路１２の入力端子に接続されている。
画像サイズ制御回路１２の出力端子が、メモリ１３の入力端子と、読出制御回路１７１の入力端子に接続されている。読出制御回路１７１の出力端子が、ＤＳＰ１１の第１入力端子（Ｉ１）に接続されている。
メモリ１３の出力端子が、メモリ１４の入力端子と、読出制御回路１７２の入力端子に接続されている。読出制御回路１７２の出力端子が、ＤＳＰ１１の第２入力端子（Ｉ２）に接続されている。
メモリ１４の出力端子が、読出制御回路１７３の入力端子に接続されている。読出制御回路１７３の出力端子が、ＤＳＰ１１の第３入力端子（Ｉ３）に接続されている。

メモリ１５の入力端子が、ＤＳＰ１１の演算で求めた動き量を出力する第２出力端子（Ｏ２）に接続されている。メモリ１５の出力端子が、読出制御回路１７４の入力端子に接続されている。読出制御回路１７４の出力端子が、ＤＳＰ１１の第４入力端子（Ｉ４）に接続されている。
メモリ１６の入力端子が、ＤＳＰ１１による動き検出カウント値を出力する第３出力端子（Ｏ３）に接続されている。メモリ１６の出力端子が、読出制御回路１７５の入力端子に接続されている。読出制御回路１７５の出力端子が、ＤＳＰ１１の第５の入力端子に接続されている。
ＤＳＰ１１の第１出力端子は、書込制御回路１８の入力端子に接続されている。
各構成要素とメイン制御回路１９が信号線により接続されている。

ＤＳＰ１１は、内部のメモリに、入力端子Ｉ１へのデータＤＩ１と、入力端子Ｉ３へのデータＤＩ３のデータを蓄えておく。
また、ＤＳＰ１１は、内部のメモリに、入力端子Ｉ２へのデータＤＩ２を２ライン分蓄えておく。

ＤＳＰ１１は、たとえばメイン制御回路１９から入力されたパラメータを示す制御信号ＣＴＬ１９１に基づいて、画像ソースによる画像信号をインターレース信号からプログレッシブ信号に変換するＩＰ変換処理を行う。

図２（ａ），（ｂ）は、図１に示したＤＳＰ１１のＩＰ変換時の動き検出処理を説明するための図である。
図２（ａ）は、インターレース信号によるボトムフィールドの一具体例を示す図である。図２（ｂ）は、インターレース信号によるトップフィールドの一具体例を示す図である。

ＤＳＰ１１は、動き検出を行い、動領域と静止領域に分け、動領域についてはフィールド内のデータから補間データを作成し、静止領域については、前フィールドの同じラインのデータを補間データとする。
また、詳細にはＤＳＰ１１は、静止画領域に適したフレーム間補間と、動画領域に適したフィールド内補間とを動き量に応じて混合比を変化させる、いわゆる動き補正型補間方式を行う。

この際、ＤＳＰ１１は、少なくとも現フィールドの画像データ、１フィールド遅延の画像データ、２フィールド遅延の画像データ、３フィールド遅延の画像データに応じた、２つの画像データの差の絶対値による動き量を表す関数の値に基づいて、画像データをインターレース信号からプログレッシブ信号に変換する際の動き検出を行う。

より詳細には、ＤＳＰ１１は、画像データをインターレース信号からプログレッシブ信号に変換する際の動き検出を、たとえば次のように行ってもよい。
すなわち、ＤＳＰ１１は、現フィールドの画像データ、１フィールド遅延の画像データ、２フィールド遅延の画像データ、３フィールド遅延の画像データを使い、２つの画像データの差の絶対値による動き量を表す関数を定め、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと、２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量と、動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士の画像データの動き量と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＦ同士の画像データの動き量との最大値と、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ、Ｃからフィールド内補間によって得た画像データと２フィールド値現の同じ位置のピクセルＤ同士のデータの動き量と、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量との最大値とを求め、前記求めた２つの最大値のうちの小さい方を動き検出を行いたいピクセルＲの動き量として動き検出を行う。
そして、ＤＳＰ１１は、動き検出処理の結果に基づいて補間データを生成し、生成された補間データに基づいて前記画像データをインターレース信号からプログレッシブ信号に変換する。

また、ＤＳＰ１１は、現フィールドのデータと、２フィールド遅延のデータを使い、２つのデータの差の絶対値による動き量を表す関数を定め、たとえば図２（ａ）、（ｂ）に示すように、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと、２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量を求め、この値をメモリ１５に書き込み、同メモリ１５から、さらに１フィールド前の動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士のデータの動き量と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＲの１ライン下の１フィールド遅延のピクセルＦ同士のデータの動き量を取り出し、これらの動き量を使って動き検出を行うことによって、２フィールド遅延までのデータでそれ以前のデータまで使っての動き検出と同等の結果を得る。

図３は、図１に示したＤＳＰ１１のＩＰ変換において動き量を求める関数について説明する図である。
ＤＳＰ１１は、たとえば２つのデータの差の絶対値による動き量をあらわす関数を図３に示すように定める。たとえばこの関数は２つのデータの差が０から２までの場合に動き量を０とし、２つのデータの差が２から１０までの場合に、動き量を０から８まで等加級数的に増加する。

また、ＤＳＰ１１は、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと、２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量（動き量１）を求め、メモリ１５にこの動き量を書き込み、同メモリ１５から、さらに１フィールド前の動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士のデータの動き量（動き量２）と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＦ同士のデータの動き量（動き量３）を取り出し、動き量１と動き量２の最大値（動き量４）と、動き量１と動き量３の最大値（動き量５）を求め、その両者（動き量４と動き量５）の最小値をそのピクセルの動き量とし、動き量の大きいところでは、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ，Ｃからフィールド内補間によって得たデータを用い、動き量の小さいところでは、２フィールド遅延の同じ位置のピクセルＤのデータを用いる。

また、ＤＳＰ１１は、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量（動き量１）を求め、メモリ１５にこの動き量を書き込み、同メモリ１５からさらに１フィールド前の動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士の、データの動き量（動き量２）と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと、３フィールド遅延の同じ位置のピクセルＦ同士のデータの動き量（動き量３）を取り出し、動き量１と動き量２の最大値（動き量４）と、動き量１と動き量３の最大値（動き量５）を求め、その両者（動き量４と動き量５）の最小値をそのピクセルの動き量とし、動き量の大きいところでは、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ、Ｃからフィールド内補間により得たデータを用い、動き量の小さいところでは、２フィールド遅延の同じ位置のピクセルＤのデータを用いる。

また、ＤＳＰ１１は、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量（動き量１）を求め、メモリ１５にこの動き量を書き込み、同メモリ１５から、さらに１フィールド前の動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士のデータの動き量（動き量２）と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＦ同士のデータの動き量（動き量３）を取り出し、動き量１と動き量２の最大値（動き量４）と、動き量１と動き量３の最大値（動き量５）を求め、その両者（動き量４と動き量５）の最小値（動き量６）を求め、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ、Ｃからフィールド内補間によって得たデータと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量（動き量７）と、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量（動き量１）の最大値（動き量８）を求め、動き量６による関数で、１画面分の値を保存するメモリ２５に対して、動き量６が、所定の閾値以上であれば、そのメモリ１６にある初期値を書き込み、そうでなければ、そのメモリ１６から読み込んだ値から１を減算し、その結果０より小さい値になった場合には０にして、そのメモリ１６に書き込み、その値が、０ならば、動き量６を動き検出結果とし、そうでなければ、動き量８を動き検出結果とし、動き量の大きいところでは、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ、Ｃからフィールド内補間によって得たデータを用い、動き量の小さいところでは、２フィールド遅延の同じ位置のピクセルＤのデータを用いる。

ＤＳＰ１１は、動き量の大きいところでは、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ、Ｃからフィールド内補間によって得たデータを用い、動き量の小さいところでは、現フィールドの同じ位置のピクセルＡと２フィールド遅延の同じ位置のピクセルＤのデータの平均値を用いる。

さらに、ＤＳＰ１１は、フィールド内補間のデータを求める際、前後のラインの真上と真下のデータの差の絶対値がある閾値よりも小さい場合には、前後のラインの真上と真下のデータの平均値で補間し、そうでない場合には、前後のラインの近傍複数画素（本実施形態では近傍６画素）のデータの中の２つの中央値のデータの平均値で補間する。

画像サイズ制御回路１２は、たとえば、メイン制御回路１９の制御により、入力されたインターレース信号のうち画像サイズをフレーム毎にシームレスに変化させる。
詳細には、画像サイズ制御回路１２は、たとえばメイン制御回路１９から画像サイズを変化させる制御信号ＣＴＬ１９２を受けて、その制御信号ＣＴＬ１９２に基づいて、入力されたインターレース信号に応じてフレーム毎にシームレスに画像サイズを拡大または縮小して、その処理結果を示す信号Ｄ２を出力する。

メモリ１３は、現フィールドの画像データに対して１フィールド遅延の画像データを生成するためのメモリである。
メモリ１４は、現フィールドの画像データに対して２フィールド遅延の画像データを生成するためのメモリである。
メモリ１５は、現フィールドと２フィールド遅延の画像データから演算して求めた動き量を保存するためのメモリである。
メモリ１６は、動き検出カウント値を保存するメモリである。
メモリ１３〜１６は、たとえば応答速度が比較的高速なメモリ、具体的にはＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を採用することが好ましい。

読出制御回路１７は、画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、前記フィールド毎に設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力されたか否かを判別する判別部と、判別部が設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力されたと判別した場合に、入力された画像サイズの設定された画像サイズに満たない領域に、入力されたフィールドの境界領域近傍の画像データに応じた付加データを付加して、当該設定された画像サイズと同じ画像サイズのフィールドの画像データを生成する付加部とを有する。
そして、制御回路１７は、その生成したフィールドの画像データをＤＳＰ１１に出力する。

図４（ａ）〜（ｃ）は、図１に示した画像信号処理装置の動作を説明するための図である。
図４（ａ）は、読出制御回路１７に入力されるフィールドの画像データを示す図である。図４（ｂ）は、読出制御回路１７により設定された画像サイズに満たない領域に付加データが付加された画像データを示す図である。図４（ｃ）は、ＤＳＰ１１によるＩＰ変換処理後に書込制御回路１８によりマスク処理された画像データを示す図である。図４（ａ）〜（ｃ）において、原点Ｏを、画像データ（Ａｃｔｗ）の左上部に規定する。

詳細には読出制御回路１７は、たとえば図１１（ａ）〜（ｆ）に示すように画像サイズがフィールド毎にシームレスに変化した場合に、実際のフィールド間補間または動き検出時にフィールド毎に固定の画像サイズになるように、ＤＳＰ１１にフィールド分の画像データまたは動きデータを入力（読み込み：Read）時に、ＤＳＰ１１のシステム上の制約としての画像サイズ（たとえば、７２０ピクセルｘ２４０ライン）に満たない領域ＡＲ１は、最小でも２ＦＤの画像サイズになるように、画像の境界直前の画像データで埋める。

ここで、画像の境界直前のデータとは、たとえば、水平方向（Ｈ）では、画像の境界直前の最近隣ピクセルのデータを記憶しておき、これを繰り返したデータであり、垂直方向（Ｖ）では、画像の境界直前の１ラインのデータを必要回数読み出したデータであり、共に入力画像の境界部分と相関性のあるデータである。

図５（ａ）は、設定された画像サイズがＤＳＰ１１のシステムの制約上の最大の画像サイズ（７２０×２４０）で、アクティブな画像データ（Ａｃｔｗ）の画像サイズがその制約上の画像サイズよりも小さい場合に領域ＡＲ１を付加データで埋める際の動作を説明するための図である。

読出制御回路１７は、たとえば図５（ａ）に示すように、アクティブな画像データ（Ａｃｔｗ）が、格子上にＤ１１〜Ｄ３４が配列している場合に、領域ＡＲ１内において、水平方向（Ｈ）に沿って、画像の境界直前の最近隣ピクセルのデータＤ１４，Ｄ２４，Ｄ３４を記憶しておき、このデータＤ１４，Ｄ２４，Ｄ３４を水平方向に沿って付加データとして領域ＡＲ１内に埋める。
また、アクティブ画像データ（Ａｃｔｗ）の最下のラインよりも下のラインについては、垂直方向（Ｖ）に沿って、画像の境界直前の１ラインのデータＤ３１〜Ｄ３４を、そのラインよりも下の領域ＡＲ１内に付加データとして埋める。

図５（ｂ）は、設定された画像サイズが１フィールド遅延（２ＦＤ）画像サイズで、アクティブな画像データ（Ａｃｔｗ）の画像サイズが２ＦＤよりも小さい場合に領域ＡＲ１を付加データで埋める際の動作を説明するための図である。
また、読出制御回路１７は、画像サイズが、設定された２ＦＤの画像サイズよりも小さい場合には、２ＦＤの画像サイズに満たない領域ＡＲ１に、図５（ｂ）に示すように、境界近傍の直前の画像データを付加データとして埋めてもよい。

上述したように本実施形態では、読出制御回路１７１は、メモリ１３〜メモリ１６それぞれの出力端子とＤＳＰ１１の入力段の間に、読出制御回路（ＲＣＴ１〜ＲＣＴ５）１７１〜１７５を有する。

読出制御回路１７１は、画像サイズ制御回路１２からの現フィールド（１ＦＤ）の画像データＤ２を基に、予め規定された画像サイズ、たとえば１フィールド遅延データ（２ＦＤ）の画像サイズと等しい画像サイズとなるように付加データを付加してＤＳＰ１１に出力する。
読出制御回路１７２は、メモリ１３からの１フィールド遅延データ（２ＦＤ）の画像データＤ３を基に、予め規定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する。
読出制御回路１７３は、メモリ１４からの２フィールド遅延データ（３ＦＤ）の画像データＤ４を基に、予め規定された画像サイズ、たとえば１フィールド遅延データ（２ＦＤ）の画像サイズと等しい画像サイズとなるように付加データを付加してＤＳＰ１１に出力する。
読出制御回路１７４は、たとえば、メモリ１５からの現フィールドと２フィールド遅延の画像データから演算して求めた動き量に基づいて、設定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する。
読出制御回路１７５は、たとえば、メモリ１６からの動き検出カウント値に基づいて、設定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する。

書込制御回路１８は、たとえば、ＤＳＰ１１により生成された画像データのうち読出制御回路１７により付加された付加データを無効なデータとする。
詳細には書込制御回路１８は、補間フィールドが、１フィールド遅延（２ＦＤ）の画像サイズとなるように、補間画像のうち、埋め込んだ領域に相当する補間データをマスクして出力する。

メイン制御回路１９は、装置全体を統括的に制御する。
メイン制御回路１９は、たとえば、画像サイズを変化させる制御信号ＣＴＬ１９２を、画像サイズ制御回路１２に出力する。
また、メイン制御回路１９は、制御信号ＣＴＬ１９７を読出制御回路１７に出力して、読出制御回路１７に本発明に係る処理を行わせる。
また、メイン制御回路１９は、たとえば制御信号ＣＴＬ１９１をＤＳＰ１１に出力して、ＤＳＰ１１に本発明に係るＩＰ変換処理を行わせる。
また、メイン制御回路１９は、たとえば書込制御回路１８に制御信号ＣＴＬ１９８を出力して、書込制御回路１８に本発明に係る処理を行わせる。

図６は、図１に示した画像信号処理装置１０の読出制御回路１７１の動作の一具体例を説明するためのフローチャートである。
図６を参照しながら、読出制御回路１７１が、たとえば２ＦＤの画像サイズに満たない領域に、その境界領域付近の画像データに応じた付加画像データを付加する場合の動作を説明する。
たとえば本具体例では原点Ｏを画像の左上部に規定する。
また、処理対象のフィールドの垂直方向に沿った画像サイズＶの初期値は１である。

ステップＳＴ１において、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの垂直方向に沿った位置Ｖが、０よりも大きく、かつ現フィールド（１ＦＤ）の垂直方向に沿った画像サイズ１ＦＤ（Ｖ）以下か否かを判別する。
読出制御回路１７１は、その条件を満たすと判別した場合に、画像サイズ制御回路１２から出力されるデータＤ２のＶライン目の画像データを読み出して内部メモリに記憶する（ＳＴ２）。

ステップＳＴ３において、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの水平方向に沿った位置Ｈが、０よりも大きく、かつ現フィールド（１ＦＤ）の水平方向に沿った画像サイズ１ＦＤ（Ｈ）以下であるか否かを判別する。

その条件を満たすと判別した場合に、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの水平方向に沿った位置Ｈが、１フィールド遅延（２ＦＤ）の水平方向に沿った画像サイズ２ＦＤ（Ｈ）と等しいか否かを判別する（ＳＴ４）。

ステップＳＴ４の判別において、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの水平方向に沿った位置Ｈが、１フィールド遅延（２ＦＤ）の水平方向に沿った画像サイズ２ＦＤ（Ｈ）と等しいか否かを判別する。
ステップＳＴ４の判別において、読出制御回路１７１は、処理対象のピクセルの水平方向に沿った位置Ｈが、画像サイズ２ＦＤ（Ｈ）と等しいと判別した場合に、その読み出したラインの水平方向に沿った境界直前のデータ、本実施形態では境界が２ＦＤ（Ｈ）と規定しているので、その近傍のデータ、つまりその境界よりも１小さい水平位置の画像データを、内部メモリに記憶して、ステップＳＴ６の処理に進む。

一方、ステップＳＴ４の判別において、読出制御回路１７１は、処理対象の現フィールドのピクセルの水平方向に沿った位置Ｈが２ＦＤ（Ｈ）と等しくないと判断した場合は、ステップＳＴ６の処理に進む。

ステップＳＴ６において、読出制御回路１７１は、内部メモリに記憶している、処理対象の現フィールドの水平方向に沿ったＨ番目の画像データをＤＳＰ１１に出力し、処理対象の現フィールドのピクセルの水平方向に沿った位置Ｈを１だけ隣の位置Ｈ＋１に設定する（ＳＴ７）。

ステップＳＴ８において、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの水平方向に沿った位置Ｈが、ＤＳＰ１１により予め規定された値、たとえば７２０よりも大きいか否かを判別し、その条件を満たすと判別した場合にステップＳＴ１３の処理に進む。

一方、ステップＳＴ８の判別において、処理対象の現フィールド（１ＦＤ）内のピクセルの水平方向に沿った位置Ｈが、ＤＳＰ１１により予め規定された値、たとえば７２０よりも大きくないと判別した場合に、ステップＳＴ３の処理に戻る。

一方、ステップＳＴ３の判別において、処理対象の現フィールド（１ＦＤ）内のピクセルの水平方向に沿った位置Ｈが、０よりも小さく、または現フィールドの１ＦＤの水平方向に沿った画像サイズ１ＦＤ（Ｈ）よりも大きいと判断した場合に、読出制御回路１７１は、処理対象の現フィールドのピクセルの水平方向に沿った位置Ｈが、１フィールド遅延（２ＦＤ）の水平方向に沿った画像サイズ２ＦＤ（Ｈ）以下か否を判別し（ＳＴ９）、その条件を満たすと判別した場合に、境界直前の画像データを、その処理対象のピクセルでの画像データとして（ＳＴ１０）、ステップＳＴ６の処理に戻る。

一方、ステップＳＴ９の判別において、処理対象の現フィールドのピクセルの水平方向に沿った位置Ｈが、１フィールド遅延（２ＦＤ）の水平方向に沿った画像サイズ２ＦＤ（Ｈ）以下でないと判別した場合、つまり処理対象の現フィールドのピクセルの水平方向に沿った位置Ｈが、１フィールド遅延（２ＦＤ）の水平方向に沿った画像サイズ２ＦＤ（Ｈ）よりも大きいと判断した場合には、ステップＳＴ６の処理に進む。

一方、ステップＳＴ１において、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの垂直方向に沿った位置Ｖが、０よりも大きく、かつ現フィールド（１ＦＤ）の垂直方向に沿った画像サイズ１ＦＤ（Ｖ）以下でないと判断した場合、つまり、処理対象の現フィールド（１ＦＤ）内のピクセルの垂直方向に沿った位置Ｖが、現フィールド（１ＦＤ）の垂直方向に沿った画像サイズ１ＦＤ（Ｖ）よりも大きいと判別した場合には、処理対象の現フィールド（１ＦＤ）内のピクセルの垂直方向に沿った位置Ｖが、１フィールド遅延（２ＦＤ）の垂直方向に沿った画像サイズ２ＦＤ（Ｖ）以下か否かを判別する（ＳＴ１１）。

ステップＳＴ１１の判断において、読出制御回路１７１は、処理対象の現フィールド（１ＦＤ）内のピクセルの垂直方向に沿った位置Ｖが、１フィールド遅延（２ＦＤ）の垂直方向に沿った画像サイズ２ＦＤ（Ｖ）以下であると判断した場合には、境界直前のラインのデータを読み出してステップＳＴ３の処理に進む。
つまり、読出制御回路１７１は、画像サイズ制御回路１２から出力されたデータＤ２を基に、境界直前のデータ、本実施形態では境界を２ＦＤ（Ｖ）と規定しているので、その近傍のデータ、つまりその境界よりも垂直方向に沿って１だけ小さい位置の画像データを、内部メモリに記憶して、ステップＳＴ３の処理に進む。

一方、ステップＳＴ１１の判別において、その条件を満たさないと判別した場合には、読出制御回路１７１は、ステップＳＴ１３の処理に進む。

ステップＳＴ１３の処理において、読出制御回路１７１は、処理対象の現フレーム内のピクセルの水平方向に沿った位置Ｖを、１だけ大きくした隣の位置Ｖ＋１に規定して、ステップＳＴ１４の処理に進む。

ステップＳＴ１４において、読出制御回路１７１は、処理対象の現フレーム内のピクセルの水平方向に沿った位置Ｖが、予め規定された値、詳細には予め規定された１フレームの画像サイズの最大値よりも大きいか否かが判別される。
詳細には、たとえば、予め規定された１フレームの画像サイズの最大値は、ＮＴＳＣ方式を採用した場合には２４０、ＰＡＬ方式を採用した場合には２８８である。

ステップＳＴ１４において、処理対象の現フレーム内のピクセルの水平方向に沿った位置Ｖが、予め規定された値、詳細には予め規定された１フレームの画像サイズの最大値以下であると判別した場合に、読出制御回路１７１は、ステップＳＴ１の処理に戻り、処理対象のフィールド内の次のラインについて、本発明に係る処理を行う。

一方、ステップＳＴ１４の判別において、処理対象の現フレーム内のピクセルの水平方向に沿った位置Ｖが、予め規定された値、詳細には予め規定された１フレームの画像サイズの最大値より大きいを判別した場合に、読出制御回路１７１は、一連の処理を終了する。

図７は、図１に示した画像信号処理装置１０の読出制御回路１７の動作の一具体例を説明するためのフローチャートである。
図７を参照しながら、読出制御回路１７が、たとえば２ＦＤの画像サイズに満たない領域に、その境界領域付近の画像データに応じた付加画像データを付加する場合の動作を説明する。図７において、たとえばｎは１，２，３，４であり、ｎフィールド遅延を示す数である。

上述したように、読出制御回路１７は、現フィールド（１ＦＤ）に関してはたとえば図６に示したように処理を行うが、１フィールド遅延（２ＦＤ）や、２フィールド遅延（３ＦＤ）、３フィールド遅延（４ＦＤ）に関しても図７に示すような同様な処理を行う。
図６に示す動作と図７に示す動作の相違点は、図６に示す処理対象のフィールドが現フィールド（１ＦＤ）であるが、図７に示す処理対象のフィールドは、現フィールド（１ＦＤ）、２フィールド遅延（３ＦＤ）、３フィールド遅延（４ＦＤ）の画像データである点なので、図６に関する動作説明（ＳＴ１〜ＳＴ１４）において、処理対象のフィールドの画像データを現フィールド（１ＦＤ）、２フィールド遅延（３ＦＤ）、または３フィールド遅延（４ＦＤ）の画像データに読み替えればよいので、図７に関する動作説明（ＳＴ２１〜３４）を省略する。

例えば本発明に係る、画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、フィールド毎に設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力されたか否かを判別する判別手段は、図６に示すステップＳＴ１，ＳＴ３，ＳＴ４，ＳＴ８，ＳＴ９，ＳＴ１１等や、図７に示すステップＳＴ２１，ＳＴ２３，ＳＴ２４，ＳＴ２８，ＳＴ２９，ＳＴ３１等に相当する。

また、その判別手段が設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力されたと判別した場合に、入力された画像サイズの設定された画像サイズに満たない領域に、入力されたフィールドの境界領域近傍の画像データに応じた付加データを付加して、当該設定された画像サイズと同じ画像サイズのフィールドの画像データを生成する付加手段は、図６に示すステップＳＴ１０や図７に示すステップＳＴ３０に相当する。

図８は、図１に示した画像信号処理装置１０の動作を説明するためのフローチャートである。図８を参照しながら、ＤＳＰ１１および読出制御回路１７の動作を中心に簡単に説明する。

ステップＳＴ１０１において、メイン制御回路１９は、たとえば、画像サイズを変化させる制御信号ＣＴＬ１９２を、画像サイズ制御回路１２に出力する。
画像サイズ制御回路１２は、その信号ＣＴＬ１９２を受けて、入力されたインターレース信号Ｄ１のうち画像サイズをフレーム毎にシームレスに変化させて信号Ｄ２としてメモリ１３や読出制御回路１７１に出力する。

メモリ１３は、画像サイズ制御回路１２から出力された信号Ｄ２を基に、現フィールドの画像データに対して１フィールド遅延の画像データを生成し信号Ｄ３としてメモリ１４や読出制御回路１７２に出力する。

メモリ１４は、メモリ１３から出力された信号Ｄ３を基に現フィールドの画像データに対して２フィールド遅延の画像データを生成し、信号Ｄ４として読出制御回路１７３に出力する。

読出制御回路１７は、画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、フィールド毎に設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力された場合に、たとえば図４（ｂ）に示すように、設定された画像サイズに満たない領域ＡＲ１に、入力されたフィールドの境界領域近傍の画像データに応じた付加データを付加して、当該設定された画像サイズと同じ画像サイズのフィールドの画像データを生成して、ＤＳＰ１１に出力する。

詳細には、読出制御回路１７１は、上述したようにたとえば図６に示すような動作を行い、また読出制御回路１７２，読出制御回路１７３は、図７に示すような動作を行い、図５（ａ），（ｂ）に示すように、少なくとも１ディレイ画像データ（２ＦＤ）の画像サイズになるように、領域ＡＲ１に付加データを付加してＤＳＰ１１に出力する。

ステップＳＴ１０２において、ＤＳＰ１１は、読出制御回路１７により設定された画像サイズのフィールドの画像データに基づいて動き検出処理を行い、動き検出処理の結果に基づいて補間データを生成し、生成された補間データに基づいて画像データをインターレース信号からプログレッシブ信号に変換する。

詳細には、ＤＳＰ１１は、画像データをインターレース信号からプログレッシブ信号に変換する際の動き検出を、少なくとも現フィールドの画像データ、１フィールド遅延の画像データ、２フィールド遅延の画像データ、３フィールド遅延の画像データを使い、２つの画像データの差の絶対値による動き量を表す関数を定め、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと、２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量と、動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士の画像データの動き量と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＦ同士の画像データの動き量との最大値と、動き検出を行いたいピクセルＲの前後のラインのピクセルＢ、Ｃからフィールド内補間によって得た画像データと２フィールド値現の同じ位置のピクセルＤ同士のデータの動き量と、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量との最大値とを求め、前記求めた２つの最大値のうちの小さい方を動き検出を行いたいピクセルＲの動き量として動き検出を行い、動き検出処理の結果に基づいて補間データを生成し、生成された補間データに基づいて記画像データをインターレース信号からプログレッシブ信号に変換して、変換した結果を示す信号を書込制御回路１８に出力する。

書込制御回路１８は、たとえば、図４（ｃ）に示すように、ＤＳＰ１１により生成された画像データのうち読出制御回路１７により付加された付加データを無効なデータとする。
詳細には、書込制御回路１８は、メイン制御回路１９からの制御信号ＣＴＬ１９８に応じて、補間フィールドが１フィールド遅延（２ＦＤ）の画像サイズとなるように、補間画像のうち、埋め込んだ領域に相当する補間データをマスクして出力することで、１フィールド遅延（２ＦＤ）の画像サイズのプログレッシブ信号を出力する。
また、画像信号処理装置１０の各構成要素はフィールド毎に上述した本発明に係る処理を行うことで、シームレスに画像サイズが変化するインターレース信号をプログレッシブ信号に変換して出力する。

以上、説明したように、画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、フィールド毎に設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力された場合に、設定された画像サイズに満たない領域に、入力されたフィールドの境界領域近傍の画像データに応じた付加データを付加して、当該設定された画像サイズと同じ画像サイズのフィールドの画像データを生成する読出制御回路１７と、読出制御回路１７により設定された画像サイズのフィールドの画像データに基づいて動き検出処理を行い、動き検出処理の結果に基づいて補間データを生成し、生成された補間データに基づいて画像データをインターレース信号からプログレッシブ信号に変換するＤＳＰ１１とを設けたので、画像サイズがフィールド毎に変化するインターレース信号が入力された場合であっても、高精度にインターレース−プログレッシブ変換を行うことができる。

つまり、画像サイズがフィールド毎にシームレスに変化するインターレース信号をＩＰ変換する場合に、補間画像の境界部分におけるフィールド間補間での画質を向上することができる。さらに、補間画像の境界部分における動き検出の誤検出を低減することができる。

また、読出制御回路１７は、ＤＳＰ１１に対して生成すべき補正フィールドの画像サイズを、フィールド毎に設定される画像サイズとして設定し、ＤＳＰ１１は、読出制御回路１７により設定された画像サイズのフィールドの画像データに基づいて動き検出処理および前記インターレース信号からプログレッシブ信号に変換する処理を行うので、各補正フィールド毎の画像サイズに適した動き検出処理、および補間処理を行うことができる。

また、ＤＳＰ１１は、画像データをインターレース信号からプログレッシブ信号に変換する際の動き検出を、少なくとも現フィールド（１ＤＦ）の画像データ、１フィールド遅延（２ＤＦ）の画像データ、２フィールド遅延（３ＤＦ）の画像データ、３フィールド遅延（４ＤＦ）の画像データを使い、２つの画像データの差の絶対値による動き量を表す関数を定め、上述したように各フィールド内の画像データに応じて動き検出を行い、
読出制御回路１７は、ＤＳＰ１１による動き検出時に、現フィールド（１ＤＦ）の画像データ、２フィールド遅延（３ＤＦ）の画像データ、および３フィールド遅延（４ＤＦ）の画像データそれぞれの画像サイズが、１フィールド遅延の画像データの画像サイズとなるように、前記付加データを付加する処理を行うので、より高精度にＤＳＰ１１による動き検出処理および補間処理を行うことができる。

また、ＤＳＰ１１より生成された画像データのうち読出制御回路１７により付加された付加データを無効なデータとする書込制御回路１８を設けたので、各フィールドの画像サイズがシームレスに変化した場合であっても、補間画像のサイズが１フィールド遅延（２ＦＤ）の画像サイズのプログレッシブ信号を出力することができる。

なお、本発明は本実施形態に限られるものではなく、任意好適な改変が可能である。
たとえば、上述した実施形態の画像信号処理装置１０は、画像サイズ制御回路１２を設けなくともよい。この際、フレーム毎に画像サイズがシームレスに変化するインターレース信号が、画像信号処理装置１０に入力され、そのインターレース信号に基づいて本発明に係る付加処理およびＩＰ変換処理を行ってもよい。

また、本実施形態では、設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力されたと判別した場合に、入力された画像サイズの設定された画像サイズに満たない領域に、入力されたフィールドの境界領域近傍の画像データに応じた付加データを付加して、当該設定された画像サイズと同じ画像サイズのフィールドの画像データを生成したが、この形態に限られるものではない。
例えば、設定された画像サイズよりも小さい画像サイズのフィールドの画像データが入力されたと判別した場合に、入力された画像サイズの設定された画像サイズに満たない領域に、予め規定された値の付加データを付加して、当該設定された画像サイズと同じ画像サイズのフィールドの画像データを生成してもよい。こうすることで演算処理の負荷を低減することができる。

また、本実施形態では、画像信号処理装置１０は、メモリ１３〜メモリ１６およびそれぞれに対応した読出制御回路１７（１７１〜１７５）を設けたが、この形態に限られるものではない。
たとえば、現フィールドの画像データに対して１フィールド遅延の画像データを生成するためのメモリ１３、現フィールドの画像データに対して２フィールド遅延の画像データを生成するためのメモリ１４、現フィールドと２フィールド遅延の画像データから演算して求めた動き量を保存するためのメモリ１５、現フィールドの画像データに対して３フィールド遅延の画像データを生成するためのメモリ１１５を設け、さらに、画像サイズ制御回路１２からの現フィールド（１ＦＤ）の画像データＤ２を基に、予め規定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する読出制御回路１７１、メモリ１３からの１フィールド遅延データ（２ＦＤ）の画像データＤ３を基に、予め規定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する読出制御回路１７２、メモリ１４からの２フィールド遅延データ（３ＦＤ）の画像データＤ４を基に、予め規定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する読出制御回路１７３、メモリ１１５からの３フィールド遅延データ（４ＦＤ）の画像データＤ４を基に、予め規定された画像サイズとなるように付加データを付加してＤＳＰ１１に出力する読出制御回路１１７４とを設け、ＤＳＰ１１は、読出制御回路１７１〜１７３，１１７４から出力された画像データを基に、本発明に係る処理を行ってもよい。

本発明は、たとえばフレーム毎に画像サイズがシームレスに変化するインターレース信号をプログレッシブ信号に変換（ＩＰ変換）する画像信号処理装置に適用できる。

本発明の一実施形態に係る画像信号処理装置のブロック図である。 図１に示したＤＳＰ１１のＩＰ変換時の動き検出処理を説明するための図である。（ａ）はインターレース信号によるボトムフィールドの一具体例を示す図である。（ｂ）はインターレース信号によるトップフィールドの一具体例を示す図である。 図１に示したＤＳＰ１１のＩＰ変換において動き量を求める関数について説明する図である。 図１に示した画像信号処理装置の動作を説明するための図である。（ａ）は読出制御回路１７に入力されるフィールドの画像データを示す図である。（ｂ）は読出制御回路１７により設定された画像サイズに満たない領域に付加データが付加された画像データを示す図である。（ｃ）はＤＳＰ１１によるＩＰ変換処理後に書込制御回路１８によりマスク処理された画像データを示す図である。 （ａ）は、設定された画像サイズがＤＳＰ１１のシステムの制約上の最大の画像サイズ（７２０×２４０）で、アクティブな画像データ（Ａｃｔｗ）の画像サイズがその制約上の画像サイズよりも小さい場合に領域ＡＲ１を付加データで埋める際の動作を説明するための図である。（ｂ）は設定された画像サイズが１フィールド遅延（２ＦＤ）画像サイズで、アクティブな画像データ（Ａｃｔｗ）の画像サイズが２ＦＤよりも小さい場合に領域ＡＲ１を付加データで埋める際の動作を説明するための図である。 図１に示した画像信号処理装置の読出制御回路の動作の一具体例を説明するためのフローチャートである。 図１に示した画像信号処理装置の読出制御回路の動作の一具体例を説明するためのフローチャートである。 図１に示した画像信号処理装置の動作を説明するためのフローチャートである。 ＩＰ変換の説明図である。 （ａ）はインターレース信号によるボトムフィールドアウトプットの一具体例を示す図である。（ｂ）はインターレース信号によるトップフィールドアウトプットの一具体例を示す図である。 （ａ）〜（ｆ）は、インターレース信号において、フレーム毎に画像サイズがシームレスに変化する場合を説明するための図である。

符号の説明

１０…画像信号処理装置、１１…ディジタルシグナルプロセッサ（ＤＳＰ）、１２…画像サイズ制御回路（ＳＣＴ）、１３…メモリ（Ｍ１）、１４…メモリ（Ｍ２）、１５…メモリ（Ｍ３）、１６…メモリ（Ｍ４）、１７…読出制御回路、１８…書込制御回路（ＷＣＴ）、１９…メイン制御回路（ＣＰＵ：Central processing unit）、１７１〜１７５…読出制御回路。

Claims (6)

1. 入力制御手段および処理手段を含む画像信号処理装置であって、
   前記入力制御手段は、
   画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、注目フィールドを含む連続した所定数のフィールドのそれぞれについて画像サイズが前記注目フィールドの画像サイズよりも小さいか否かを判別する判別手段と、
   前記判別手段が前記連続した所定数のフィールドの中に、前記注目フィールドの画像サイズと比較して小さい画像サイズのフィールドが存在する場合に、当該画像サイズのフィールドを補正フィールドとし、該補正フィールドの前記注目フィールドの画像サイズに満たない領域に、前記補正フィールドの境界領域近傍の画像データに応じた付加データを付加して、前記注目フィールドの画像サイズと同じ画像サイズのフィールドの画像データを生成する付加手段と、を含み、
   前記処理手段は、
   前記入力制御手段により、少なくとも、前記補正フィールドに対応する現フィールドの画像データ、前記注目フィールドに対応し、前記現フィールドに対して１フィールド遅延の画像データ、前記現フィールドに対して２フィールド遅延の画像データ、前記現フィールドに対して３フィールド遅延の画像データからお互い２フィールド遅延差があるフィールドの画像データを２つ用い、当該２つの画像データの差の絶対値による動き量を表す関数の値に基づいて動き検出処理を行い、前記動き検出処理の結果に基づいて補間データを生成し、当該生成された補間データに基づいて前記１フィールド遅延の画像データをインターレース信号からプログレッシブ信号に変換する
   画像信号処理装置。
2. 前記入力制御手段は、フィールド毎に変化するインターレース信号の入力を受けて、前記フィールド毎に画像サイズを前記注目フィールドの画像サイズとして設定する
   請求項１に記載の画像信号処理装置。
3. 前記入力制御手段は、前記処理手段による動き検出時に、前記現フィールドの画像データ、該現フィールドの画像データに対して、前記２フィールド遅延の画像データ、および前記３フィールド遅延の画像データそれぞれの画像サイズが、前記１フィールド遅延の画像データの画像サイズとなるように、前記付加データを付加する処理を行う
   請求項１に記載の画像信号処理装置。
4. 前記処理手段は、前記動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと、２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量と、動き検出を行いたいピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士の画像データの動き量と、動き検出を行いたいピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＦ同士の画像データの動き量との最大値と、動き検出を行いたい前記ピクセルＲが存在するラインに対して１ライン上の１フィールド遅延のピクセルＢと１ライン下の１フィールド遅延のピクセルＣからフィールド内補間によって得た画像データと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量と、動き検出を行いたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量との最大値とを求め、前記求めた２つの最大値のうちの小さい方を動き検出を行いたいピクセルＲの動き量として前記動き検出を行う
   請求項３に記載の画像信号処理装置。
5. 前記処理手段により生成された画像データのうち前記入力制御手段により付加された付加データを無効なデータとする出力制御手段をさらに有する
   請求項１に記載の画像信号処理装置。
6. 画像サイズがフィールド毎に変化するインターレース信号の入力を受けて、
   注目フィールドを含む連続した所定数のフィールドのそれぞれについて画像サイズが前記注目フィールドの画像サイズよりも小さいか否かを判別する第１のステップと、
   前記第１のステップにより、前記連続した所定数のフィールドの中に、前記注目フィールドの画像サイズと比較して小さい画像サイズのフィールドが存在する場合に、当該画像サイズのフィールドを補正フィールドとし、該補正フィールドの前記注目フィールドの画像サイズに満たない領域に、前記補正フィールドの境界領域近傍の画像データに応じた付加データを付加して、前記注目フィールドの画像サイズと同じ画像サイズのフィールドの画像データを生成する第２のステップと、
   少なくとも、前記補正フィールドに対応する現フィールドの画像データ、前記注目フィールドに対応し、前記現フィールドに対して１フィールド遅延の画像データ、前記現フィールドに対して２フィールド遅延の画像データ、前記現フィールドに対して３フィールド遅延の画像データからお互い２フィールド遅延差があるフィールドの画像データを２つ用い、当該２つの画像データの差の絶対値による動き量を表す関数の値に基づいて動き検出処理を行い、前記動き検出処理の結果に基づいて補間データを生成し、当該生成された補間データに基づいて前記１フィールド遅延の画像データをインターレース信号からプログレッシブ信号に変換する第３のステップと
   を有する画像信号処理方法。

Images