JP4708811B2 - インターレス画像データをプログレッシブ画像データに変換する方法、その装置及びそのプログラム - Google Patents

Description

本発明は、インターレス画像データをプログレッシブ画像データに変換する方法、その装置及びそのプログラムに関する。

従来、パーソナルコンピュータで、テレビを視聴する場合、ＮＴＳＣ(National Television Standards Committee)方式、ＰＡＬ(Phase Alternation by Line)方式又はＳＥＣＡＭ(SEquential Couleur A Memoire)方式の映像信号をパーソナルコンピュータのノンインターレス（プログレッシブ）・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームにコーミング(combing)除去処理を施していた。
特開２００１−３３９６９４号公報 特開２００２−１８５９３３号公報

上記処理をした場合、１秒間に表示されるフレーム数は、約３０又は約２５であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。

このような、問題を改善するための方法として、例えば、ＮＴＳＣ信号の各フィールドをそれぞれ１つのフレームに変換して、１秒間に約６０フレーム表示できるようにするインターレス／プログレッシブ変換方法がある。このインターレス／プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。

特許文献１には、高速スクロールの画面に対しインターレス／プログレッシブ変換を行う際に発生する動き検出の破綻を軽減することを目的とした発明が記載されているが、この発明によれば、動き検出のためのしきい値を可変とするので、１フレーム分余計なバッファ・メモリが必要となる。

特許文献２には、動き補正を伴うインターレス／プログレッシブ変換における動き検出の精度を向上させることを目的とした発明が記載されているが、１フィールド前、２フィールド前、３フィールド前及び６フィールド前のフィールドデータを利用する必要があり、このために、４フィールド分の余分なバッファ・メモリが必要となる。

また、インターレス／プログレッシブ変換方法においては、動きの判定が正しくできないために、動画部分が静止画部分と判断され、これにより、その部分に静止画用の補間処理が適用される場合があった。そして、動画部分に対し静止画用の補間処理が適用されると、映像にゴミ状のノイズが含まれることとなる。このようなノイズは視覚上目立ってしまう。

そこで、本発明は、インターレス画像データをプログレッシブ画像データに変換する方法において、動画部分が静止画部分として判断されてしまうことを防止することを１つの目的とする。

本発明の第一の観点によれば、インターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、前記第１の動き量を基に、第１の累積動き量を算出するステップと、前記第２の動き量を基に、第２の累積動き量を算出するステップと、前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出するステップと、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、を備え、
前記第１の動き量を基に、第１の累積動き量を算出するステップは、現在の第１の累積動き量に第１の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第１の累積動き量とするステップを備え、
前記第２の動き量を基に、前記第２の累積動き量を算出するステップは、現在の第２の累積動き量に第２の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第２の累積動き量とするステップを備えることを特徴とする方法が提供される。

本発明の第２の観点によれば、交互に相補的に書込みフレーム・メモリ及び表示フレーム・メモリとなる２つのフレーム・メモリを用い、タイミング制御部が、書込部に対し、書込み要求を出力するステップと、前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返すステップと、前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレーム・メモリに書き込むステップと、前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新するステップと、前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とするステップと、前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力するステップとし、上記の動作を繰り返すステップと、を備え、前記画像処理は、インターレス／プログレッシブ変換処理であり、前記インターレス／プログレッシブ変換処理は、第１の観点による方法によるものであることを特徴とするレンダリング方法が提供される。

本発明の第３の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、を備え、前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力し、前記他の画像処理とは、インターレス／プログレッシブ変換処理であり、前記インターレス／プログレッシブ変換処理は、第１の観点による方法によるものであることを特徴とする画像表示方法が提供される。

本発明の第４の観点によれば、インターレス画像データをプログレッシブ画像データに変換する装置において、対象となっているフィールドの補間をするべき画素について第１の動き量を算出する手段と、対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出する手段と、前記第１の動き量を基に、第１の累積動き量を算出する手段と、前記第２の動き量を基に、第２の累積動き量を算出する手段と、前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出する手段と、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段と、を備え、前記第１の動き量を基に、第１の累積動き量を算出する手段は、現在の第１の累積動き量に第１の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第１の累積動き量とする手段を備え、前記第２の動き量を基に、前記第２の累積動き量を算出する手段は、現在の第２の累積動き量に第２の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第２の累積動き量とする手段を備えることを特徴とする装置が提供される。

本発明の第５の観点によれば、交互に相補的に書込みフレーム・メモリ及び表示フレーム・メモリとなる２つのフレーム・メモリと、タイミング制御部が、書込部に対し、書込み要求を出力する手段と、前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返す手段と、前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレーム・メモリに書き込む手段と、前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新する手段と、前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とする手段と、前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力する手段とし、上記の動作を繰り返す手段と、を備え、前記画像処理は、インターレス／プログレッシブ変換処理であり、前記インターレス／プログレッシブ変換処理は、第４の観点による装置によるものであることを特徴とするレンダリング装置が提供される。

本発明の第６の観点によれば、フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、を備え、前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力し、前記他の画像処理とは、インターレス／プログレッシブ変換処理であり、前記インターレス／プログレッシブ変換処理は、第４の観点による装置によるものであることを特徴とする画像表示装置が提供される。

本発明によれば、動画部分が静止画部分として判断されてしまうことを防止することができる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

［実施形態１］
図１は、本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。

第１のフィールド・メモリ１０１−１は、処理対象となっているフィールドの１つ先のフィールドの画像データを格納する。第２のフィールド・メモリ１０１−２は、処理対象となっているフィールドの画像データを格納する。第３のフィールド・メモリ１０１−３は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。

画像データ書込部１０３は、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３に画像データを書き込む。なお、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３をリング・バッファ構成とし、循環的に、３つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。

動画補間画素生成部１０５は、第２のフィールド・メモリ１０１−２に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。

ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。

静止画補間画素生成部１０７は、第１のフィールド・メモリ１０１−１に格納されている画素データ及び第３のフィールド・メモリ１０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。

ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。

差分計算部１０９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（３）に従って求める。

ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。

差分補正部１１１は、式（４）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。

ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。

差分累積部１１５は、累積動き量メモリ１１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（５）に従って更新する。

ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１１９に格納されている。ＴＨの値は、例えば、１６である。

上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、それから１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式（５）を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式（５）を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、式（５）を導入しても、間違って、動画部であると判断されることはない。

動き量計算部１２１は、式（６）に従って動き量Ｍ（ｉ，ｊ）を算出する。

合成補間画素生成部１２３は、式（７）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。

選択部１２５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。

なお、図１に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図１に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

次に、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することの効果について説明する。

図２に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量ｍ（ｉ，ｊ）を式（８）に従って計算するものとする。

そうすると、式（６）を用いずに、仮に、式（９）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図２に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。

すなわち、図２において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値が画素２３４の動き量となるが、この値はゼロであるため、画素２３４は、静止画画素であると間違って判断される。そうすると、画素１３４と画素３３４の平均値が画素２３４の補間値となり、画素２３４は白となってしまう。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であるのに対し、画素２１４、２３４、２５４は間違って白となってしまい、コーミングが発生する。

一方、本発明に従って、式（６）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図３に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。

すなわち、図３において、図２の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値と画素０４４と画素２４４との差分の絶対値の和としきい値ＴＨのうちの小さい方が画素２３４の動き量となるが、この値はしきい値ＴＨであるため、画素２３４は、動画画素であると正しく判断される。そうすると、画素２２４と画素２４４の平均値が画素２３４の補間値となり、画素２３４は黒となる。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であり、且つ、画素２１４、２３４、２５４も正しく黒であるため、コーミングは発生しない。

このように、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。

次に、図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明する。

図４を参照すると、まず、動画補間画素生成部１０５は、式（１）に従って、動画補間画素を生成する（ステップＳ２０１）。次に、静止画補間画素生成部１０７は、式（２）に従って、静止画補間画素を生成する（ステップＳ２０３）。次に、差分計算部１０９は、式（３）に従って、差分を計算する（ステップＳ２０５）。次に、差分補正部１１１は、式（４）に従って、差分を補正する（ステップＳ２０７）。次に、差分累積部１１５は、式（５）に従って、累積動き量を更新する（ステップＳ２０９）。次に、動き量計算部１２１は、式（６）に従って、動き量を計算する（ステップＳ２１１）。次に、合成補間画素生成部１２３は、式（７）に従って、合成補間画素を生成する（ステップＳ２１３）。

［実施形態２］
実施形態１の構成でインターレス／プログレッシブ変換を行うと、動画像に付随する音声に対して動画像のタイミングが遅れてしまう場合がある。実施形態２は、音声に対して動画像のタイミングが遅れないようにするものである。このために、将来のフィールドの画像データを用いずに処理を行う。

図５は、本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。

第１のフィールド・メモリ１３１−１は、処理対象となっているフィールドの画像データを格納する。第２のフィールド・メモリ１３１−２は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。第３のフィールド・メモリ１３１−３は、処理対象となっているフィールドの２つ前のフィールドの画像データを格納する。第４のフィールド・メモリ１３１−４は、処理対象となっているフィールドの３つ前のフィールドの画像データを格納する。

画像データ書込部１３３は、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−４に画像データを書き込む。なお、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−３をリング・バッファ構成とし、循環的に、４つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。

動画補間画素生成部１０５は、第１のフィールド・メモリ１３１−１に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１０）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。

ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。

静止画補間画素生成部１３７は、第２のフィールド・メモリ１３１−２に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１１）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。

ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。但し、処理の対象となっているフィールドの過去の近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。

差分計算部１３９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（１２）に従って求める。

ここで、ｘ（ｎ−３，ｉ，ｊ）は、処理の対象となっているフィールドの３つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。

差分補正部１４１は、式（１３）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。

ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。

差分累積部１４５は、累積動き量メモリ１４７に格納されている累積動き量ｍ（ｉ，ｊ）を式（１４）に従って更新する。

ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１４９に格納されている。ＴＨの値は、例えば、１６である。

上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。

動き量計算部１５１は、式（１５）に従って動き量Ｍ（ｉ，ｊ）を算出する。

合成補間画素生成部１５３は、式（１６）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。

選択部１５５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。

なお、図５に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図５に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

［実施形態３］
実施形態１の構成に従った場合、図６に示すように、シーンチェンジの境界の前後のフィールド（図６の例では、フィールドＢ２とフィールドＡ３）では、全ての補間画素について動画補間（フィールド内補間）をするべきである。しかし、画像データの内容によっては、一部の補間画素について静止画補間が行われる可能性がある。そこで、実施形態３では、各フィールド毎にシーンチェンジを検出し、シーンチェンジの境界の前後のフィールドでは、全ての補間画素について強制的に動画補間（フィールド内補間）を行う。

図７は、本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。

図７と図１を比較すると明らかなように、実施形態３によるインターレス／プログレッシブ変換装置は、実施形態１によるインターレス／プログレッシブ変換装置と比較すると、シーンチェンジ検出部１６１が追加されている点のみが異なる。従って、シーンチェンジ検出部１６１及びその周辺部のみについて説明する。

図６を参照すると、フィールドＢ２について処理を行っている時には、フィールドＢ２の直前のフィールドであるフィールドＡ２とフィールドＢ２の直後のフィールドであるフィールドＡ３が異なったシーンに属するものであることを検出すればよい。同様に、フィールドＡ３について処理を行っている時には、フィールドＡ３の直前のフィールドであるフィールドＢ２とフィールドＡ３の直後のフィールドであるフィールドＢ３が異なったシーンに属するものであることを検出すればよい。従って、処理しているフィールドの直前のフィールドと直後のフィールドが異なったシーンに属するものであることを検出すればよい。異なったシーンに属するものであるかを検出するためには、例えば、両フィールドの間の相互相関値がしきい値以下であるか否かを判断したり、両フィールドの間の相互相関値が急に変化したか否かを判断すればよい。

このために、シーンチェンジ検出部１６１は、第１のフィールド・メモリ１０１−１から現在のフィールドの１つ後のフィールドの画像データを入力し、第３のフィールド・メモリ１０１−３から現在のフィールドの１つ前のフィールドの画像データを入力し、両画像データの間の相互相関値等を計算することにより、シーンチェンジを検出する。シーンチェンジ検出部１６１は、シーンチェンジを検出した場合には、累積動き量メモリ１１７に格納されている全ての累積動き量をしきい値ＴＨに設定する。こうすることにより、フィールド内の全ての補間画素は、動画補間画素となる。

なお、図７に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図７に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

［実施形態４］
実施形態４では、画像データ書込部１３３の前段にノイズ除去フィルタを配置する。このノイズ除去フィルタにより平坦部のノイズを除去する。

図８にノイズ除去フィルタの構成例を示す。図８を参照すると、このノイズ除去フィルタは、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７、加算器１７３、比較器１７４及びセレクタ１７５を備える。

遅延回路１７１−１〜１７１−６は、１画素単位で画素を遅延させる。掛算器１７２−１〜１７２−７と加算器１７３は積和回路を構成する。掛算器１７２−１〜１７２−７の係数を適切に選ぶことにより（例えば、１／８、１／８、１／８、２／８、１／８、１／８、１／８）、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７及び加算器１７３を低域通過フィルタにする。比較器１７４は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にあるか否かを判断する。セレクタ１７５は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にある場合には、加算器１７３の出力データを選択し、そうでない場合には、遅延回路１７１−３の出力データを選択する。こうすることにより、平坦部のノイズを除去することが可能となる。

なお、図８に示すノイズ除去フィルタは、ハードウェアによって実現することもできるが、コンピュータを図８に示すノイズ除去フィルタとして機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

［実施形態５］
実施形態１から実施形態４では、レンダラを考慮していなかったが、図９に示すように、インターレス／プログレッシブ変換装置の最終段にはレンダラ１９１が存在する。レンダラ１９１は、画像データをモニタのクロック周波数、水平同期周波数及びフレーム周波数でモニタに出力する機能を持つ。

図９を参照すると、レンダラ１９１は、書込部１９２、Ａフレーム・メモリ１９３、Ｂフレーム・メモリ１９４及び読出部１９５を備える。Ａフレーム・メモリ１９３及びＢフレーム・メモリ１９４は、交互に、相補的に、書込みフレーム・メモリ及び表示フレーム・メモリとなる。

書込部１９２は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込む。読出部１９５は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在表示フレーム・メモリとなっているものから画像データを読み出し、それをモニタに供給する。

図９に示すフィールド・メモリ群１０１（又は１３１）は、例えば、図１の例でいうと、フィールド・メモリ１０１−１〜１０１−３の群である。画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）は、例えば、図１の例でいうと、図１の符号１８２Ａの枠で囲まれたブロック群を含む。書込み時刻メモリ１８１には、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ群１０１（又は１３１）に書き込む時刻を格納する。タイミング制御部１８３は、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）が画像データの読出し及び補間を行い、その結果得られたプログレッシブの画像データを書込部１９２に供給し、書込部１９２がＡフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込むためのタイミングを制御する。

次に、図１０を参照して、特に、タイミング制御部１８３により行われるタイミング制御を説明する。

図１０を参照すると、画像データ書込部１０３（又は１３３）が、最初に、画像データをフィールド・メモリ１０１（又は１３１）に書き込む時刻をＴ−Ｉｎ（１）とする。時刻Ｔ−Ｉｎ（１）は、書込み時刻メモリ１８１に書き込まれる。以降、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ１０１（又は１３１）に書き込む度に、書き込み時刻Ｔ−Ｉｎ（２）、Ｔ−Ｉｎ（３）、Ｔ−Ｉｎ（４）、・・・が書込み時刻メモリ１８１に書き込まれる。

時刻Ｔ−Ｉｎ（１）において、タイミング制御部１８３は、書込部１９２に対し、書き込み要求を出力する。図１０では、ＶＲＡＭ取得の短冊の左端が書込み要求を出力する時刻である。この時、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれている（Ｂフレーム・メモリ１９４の画像データはまだ読み出されていない）ので、読出部１９５によるＡフレーム・メモリ１８３からの画像データの読み出しの処理が完了してＡフレーム・メモリ１９３が空く時刻Ｔ−Ｒ（１）まで待ちが発生し、時刻Ｔ−Ｒ（１）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。図１０では、ＶＲＡＭ取得の短冊の右端が肯定応答を返す時刻である。従って、ＶＲＡＭ取得の短冊の幅は、タイミング制御部１８３が書き込み要求を書込部１９２に出力してから書込部１９２が肯定応答をタイミング制御部１８３に返すまでの待ち期間を表す。

そして、時刻Ｔ−Ｒ（１）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。図１０では、処理の短冊で表される部分がインターレス／プログレッシブ変換の処理及び書込みを行っている期間である。

そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、次に述べるように、ｄｉｆｆ（２）及びＴ−Ｏｕｔ（２）の計算等を行う。図１０では、計算の短冊の部分がこの計算等を行う期間である。まず、インターレス／プログレッシブ変換の処理及び書込みの終了の時刻を、時刻Ｔ−Ｉｎ（１）から所定のオフセット時間ΔＴだけ遅れた時刻Ｔ−Ｏｕｔ（１）と比較する。この例では、前者が後者よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（２）＝Ｄｉｆｆ（１）＋α１にする。ここで、Ｄｉｆｆ（１）は、Ｄｉｆｆ（ｉ）の初期値である。ｄｉｆｆ（ｉ）は、Ｔ−Ｏｕｔ（ｉ）からＴ−Ｏｕｔ（ｉ＋１）までの時間差である。従って、Ｔ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）となる。また、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻は、常に、時刻Ｔ−Ｏｕｔ（ｉ）からオフセット時間ΔＴだけ先行した時刻である。従って、タイミング制御部１８３が、（ｉ＋１）回目に、書込部１９２に対し、書き込み要求を出力する時刻は、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻からｄｉｆｆ（ｉ）だけ遅れた時刻となる。

タイミング制御部１８３が、１回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）であるので、タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）である。タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻でも、書込みフレーム・メモリであるＡフレーム・メモリ１９３に既に画像データが書き込まれている（Ａフレーム・メモリ１８３に書き込まれている画像データはまだ読み出されていない）ので、読出部１９５によるＢフレーム・メモリ１９４からの画像データの読み出しの処理が完了してＢフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（２）まで待ちが発生し、時刻Ｔ−Ｒ（２）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（２）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＢフレーム・メモリ１９３に書き込む。

そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（２）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（２）＝Ｔ−ｏｕｔ（１）＋ｄｉｆｆ（１）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（２）よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値未満である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（３）＝Ｄｉｆｆ（２）にする。

タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）である。タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれているので、読出部１９５による読み出しの処理が完了してＡフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（３）まで待ちが発生し、時刻Ｔ−Ｒ（３）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（３）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。

そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（３）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（３）＝Ｔ−ｏｕｔ（２）＋ｄｉｆｆ（２）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（３）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（４）＝Ｄｉｆｆ（３）−α２にする。

タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）＋ｄｉｆｆ（３）である。タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４が空いているので、待ちが発生せず、その時刻の直後に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、肯定応答（ＡＣＫ）の返信の直後から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。

そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（４）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（４）＝Ｔ−ｏｕｔ（３）＋ｄｉｆｆ（３）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（４）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（５）＝Ｄｉｆｆ（４）−α２にする。

以下、同様なことが繰り返される。このようにして、ｄｉｆｆの値が進み又は遅れかにより更新されていき、次回の書き込み要求を出力する時刻は、今回の書込み要求を出力する時刻にｄｉｆｆを加算した時刻となり、次回のインターレス／プログレッシブ変換処理を終了した時刻は、今回の時刻Ｔ−ｏｕｔにｄｉｆｆを加算した時刻と比較され、再度、ｄｉｆｆの値が進み又は遅れかにより更新されていく。この結果、Ａフレーム・メモリ１９３又はＢフレーム・メモリの何れかが空いている期間に、インターレス／プログレッシブ変換処理及び空いているフレーム・メモリへの画像データの書込みが行われる。収束状態においては、図１０に示すように、ｄｉｆｆの値は振動する。

また、レンダラの動作周波数が遅い場合には、書込み時刻Ｔ−Ｉｎの周期が読出し時刻Ｔ−Ｏｕｔの周期と比べて短くなることがある。このような場合、タイミング制御部１８３は、書込み時刻メモリ１８１に書き込まれている最後の時刻Ｔ−Ｉｎから今回の時刻Ｔ−Ｏｕｔまでの時間が所定時間以上である場合には、最後の時刻Ｔ−Ｉｎに書き込まれた画像データを破棄する。この様子を図１１に示す。

なお、図９に示すレンダラ１９１及びタイミング制御部１８３は、ハードウェアによって実現することもできるが、コンピュータを図９に示すレンダラ１９１及びタイミング制御部１８３として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

［実施形態６］
実施形態６は、２４ｆｐｓのフィルム画像データから作成された約６０ｆｐｓのインターレス画像データを、元の２４ｆｐｓのフィルム画像データとして表示するものである。

図１２を参照すると、まず、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する（ステップＳ２２１）。この判断のためには、例えば、画素毎の差分の絶対値を求め、その絶対値がフィールドの全部又は一部の画素についてしきい値以下であるか否かを判断する。

同一である（変化がない）と判断した場合には（ステップＳ２２１で「変化なし」）、変数である「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２２）。「パターン・カウント」は、フィルム画像から作成された画像データを表示している期間は、５、４，３、２、１、５、４、３、２、１、５・・・と変化し、フィルム画像から作成されたのでない画像を表示している期間は、ゼロである。

「パターン・カウント」がゼロである場合には（ステップＳ２２２で「＝０」）、「パターン・カウント」を５に初期化し、また、変数である「２４ｆｐｓ可能性」を１増加させる（ステップＳ２２４）。ステップＳ２２４で「パターン・カウント」を５に初期化することにより、「パターン・カウント」の位相が初期化される。「２４ｆｐｓ可能性」は、現在のフィールドがフィルム画像から得られたものである可能性を示すものであり、この値が大きいほど、その可能性が高い。

「パターン・カウント」がゼロでない場合には（ステップＳ２２２で「≠０」）、ステップＳ２２４をスキップする。これは、静止画である場合、又は、変化があるのに間違って変化がないと判断された場合に生じる。

２フィールド前の画像データと現在のフィールドの画像データが同一でない（変化がある）と判断した場合には（ステップＳ２２１で「変化あり」）、「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２３）。

「パターン・カウント」がゼロでない場合には（ステップＳ２２３で「≠０」）、「２４ｆｐｓ可能性」を１だけ増加させる（ステップＳ２２６）。但し、「２４ｆｐｓ可能性」の上限値を、一例として、１１とする。従って、１だけ増加させて１２になる場合には、１１とする。フィルム画像から得られたフィールドのうち、重複しないフィールドを処理している時には、ステップＳ２２６を実行することとなる。

「パターン・カウント」がゼロである場合には（ステップＳ２２３で「＝０」）、「２４ｆｐｓ可能性」を１だけ減少させ、また、「２４ｆｐｓ可能性」が１０以上である場合には、「パターン・カウント」を５に初期化する（ステップＳ２２５）。但し、「２４ｆｐｓ可能性」を１だけ減少させる場合には、「２４ｆｐｓ可能性」の下限値を、一例として、ゼロとする。従って、１だけ減少させて−１になる場合には、ゼロとする。フィルム画像から得られたフィールドのうち重複しているフィールドを処理しているのに、ステップＳ２２１で、誤って、「変化あり」と判断した場合に、ステップＳ２２５を実行することとなる。また、フィルム画像から得られたのではないフィールドを処理する場合にも、ステップＳ２２５を実行することとなる。

ステップＳ２２４で「≠０」である場合にステップＳ２２７に進む。また、ステップＳ２２４、Ｓ２２５又はＳ２２６からもステップＳ２２７に進む。

ステップＳ２２７では、「パターン・カウント」がゼロであるか否かを判断する。「パターン・カウント」がゼロであるとは、現在のフィールドが、フィルム画像から得られたものではないことを意味するので、このような場合には（ステップＳ２２７で「＝０」）、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。インターレス／プログレッシブ変換処理のためには、実施形態１乃至４を利用する。

「パターン・カウント」がゼロでない場合には（ステップＳ２２７で「≠０」）、「パターン・カウント」を１だけ減少させる（ステップＳ２２８）。これにより、フィルム画像から得られたフィールドが連続している場合に、各フィールド毎に「パターン・カウント」が１だけ減少するようになる。

次に、「２４ｆｐｓ可能性」が５以上であるか否かを判断する（ステップＳ２２９）。

「２４ｆｐｓ可能性」が５未満である場合には（ステップＳ２２９で「＜５」）、「パターン・カウント」がゼロではなくても、現在のフィールドがフィルム画像から得られたものではない可能性が高いので、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。

「２４ｆｐｓ可能性」が５以上である場合には（ステップＳ２２９で「＞＝５」）、「パターン・カウント」が２又は０であるか否かを判断する（ステップＳ２３０）。

「パターン・カウント」が２又は０である場合には、２フィールド前の画像データと現在のフィールドの画像データが同一であると判断されたフィールドから２フィールド後又は４フィールド後のフィールドを現在扱っていることを意味する。このようなフィールドは、重複したフィールドを除いて考えると、フィルム画像から得られた２つのフィールドのうちの後半部のフィールドである。従って、このような場合には（ステップＳ２３０で「＝２または＝０」）、１つ前のフィールドと現在のフィールドを合わせてフレームを作成し、このフレームを表示する（ステップＳ２３２）。１つ前のフィールドと現在のフィールドを合わせてフレームを作成するためには、インターレス／プログレッシブ変換処理装置において、現在のフレームの全ての領域が静止画領域であるとして扱った上で処理を行えばよい。

「パターン・カウント」が２でも０でもない場合には、最後のフレームの画像データをそのまま再度表示する（ステップＳ２３３）。

ステップＳ２２７で「＝０」である場合、及びステップＳ２２９で「＜５」である場合には、インターレス／プログレッシブ変換処理を行い、その結果得られるフレームを表示する（ステップＳ２３１）。

ステップＳ２２１での判断ミスが全くない場合の動作を図１３及び図１４に示す。また、図１３及び図１４に示す処理を行った後にステップＳ２２１での第１種の判断ミスが１回生じた場合の動作を図１５に示す。更に、図１３及び図１４に示す処理を行った後にステップＳ２２１で第２種の判断ミスが３回生じた場合の動作を図１６に示す。図１５及び図１６に示すように、ステップＳ２２１で判断ミスが生じた場合であっても、正しい処理が最終的に選択されることが分かる。

なお、図１２に示す表示方法は、ハードウェアによって実現することもできるが、コンピュータを図１２に示す表示方法を行わせるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。 本発明の実施形態１の効果を説明するための第１の図である。 本発明の実施形態１の効果を説明するための第２の図である。 図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明するためのフロー・チャートである。 本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。 本発明の実施形態３によるインターレス／プログレッシブ変換装置の動作を説明するためのタイミング図である。 本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。 本発明の実施形態４によるノイズ除去フィルタの構成例を示すブロック図である。 本発明の実施形態５による、レンダラを含んだインターレス／プログレッシブ変換装置の構成を示すブロック図である。 図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。 図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。 本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するためのフロー・チャートである。 本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。 本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。 本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第３のタイミング図である。 本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第４のタイミング図である。

符号の説明

１０１−１〜１０１−３ フィールド・メモリ
１０３ 画像データ書込部
１０５ 動画補間画素生成部
１０７ 静止画補間画素生成部
１０９ 差分計算部
１１１ 差分補正部
１１３ 補正値保持部
１１５ 差分累積部
１１７ 累積動き量メモリ
１１９ しきい値保持部
１２１ 動き量計算部
１２３ 合成補間画素生成部
１２５ 選択部

Claims (35)

1. インターレス画像データをプログレッシブ画像データに変換する方法において、
   対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、
   対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、
   前記第１の動き量を基に、第１の累積動き量を算出するステップと、
   前記第２の動き量を基に、第２の累積動き量を算出するステップと、
   前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出するステップと、
   前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、
   を備え、
   前記第１の動き量を基に、第１の累積動き量を算出するステップは、現在の第１の累積動き量に第１の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第１の累積動き量とするステップを備え、
   前記第２の動き量を基に、前記第２の累積動き量を算出するステップは、現在の第２の累積動き量に第２の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第２の累積動き量とするステップを備えることを特徴とする方法。
2. 請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップは、
   対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記第１の動き量を算出するステップを備えることを特徴とする方法。
3. 請求項２に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   前記第１のフィールドは、対象となっているフィールドの前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの後のフィールドであることを特徴とする方法。
4. 請求項２に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   前記第１のフィールドは、対象となっているフィールドの３つ前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの１つ前のフィールドであることを特徴とする方法。
5. 請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出するステップは、
   前記第１の累積動き量と前記第２の累積動き量の和を前記第３の動き量とするステップを備えることを特徴とする方法。
6. 請求項５に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出するステップは、
   前記第１の累積動き量と前記第２の累積動き量の和が所定のしきい値より大きい場合には、前記所定のしきい値を前記第３の動き量にするステップを更にそなえることを特徴とする方法。
7. 請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   前記第１の動き量を基に、第１の累積動き量を算出するステップは、前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな第１の累積動き量にするステップを更に備え、
   前記第２の動き量を基に、第２の累積動き量を算出するステップは、前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな第２の累積動き量にするステップを更に備えることを特徴とする方法。
8. 請求項１又は７に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   現在の第１の累積動き量に第１の動き量を加算する代わりに、現在の第１の累積量に、第１の動き量から所定値を差し引いた値を加算し、
   現在の第２の累積動き量に第２の動き量を加算する代わりに、現在の第２の累積量に、第２の動き量から所定値を差し引いた値を加算することを特徴とする方法。
9. 請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
   対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップと、
   対象となっているフィールドの補間をするべき画素について動画補間画素を生成するステップと、
   を更に備え、
   前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、
   前記第３の動き量に応じた重みで、前記静止画像補間画素と前記動画補間画素とを加重加算するステップを備えることを特徴とする方法。
10. 請求項９に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
    対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップは、
    対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記静止画補間画素を生成するステップを備えることを特徴とする方法。
11. 請求項９に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
    対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップは、
    対象となっているフィールドと異なったフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素を基に、前記静止画補間画素を生成するステップを備えることを特徴とする方法。
12. 請求項９に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
    対象となっているフィールドの補間をするべき画素について動画補間画素を生成するステップは、
    対象となっているフィールドの補間をするべき画素から垂直方向に離れた１以上の画素を基に、前記動画補間画素を生成するステップを備えることを特徴とする方法。
13. 請求項９に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
    シーンチェンジを検出するステップを更に備え、
    前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、
    前記シーンチェンジが検出された場合には、対象となっているフィールドの補間をするべき画素の値を前記動画補間画素の値とするステップを更に備えることを特徴とする方法。
14. 請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
    平坦部のノイズを除去するステップを更に備えることを特徴とする方法。
15. 請求項１４に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
    前記平坦部のノイズを除去するステップは、
    注目画素の周辺部の画素の加重平均値を求めるステップと、
    前記加重平均値を所定のしきい値と比較するステップと、
    前記注目画素の値と前記加重平均値との差分の絶対値が前記所定のしきい値よりも小さい場合には、前記注目画素の値を前記加重平均値に置き換えるステップと、
    を備えることを特徴とする方法。
16. 交互に相補的に書込みフレーム・メモリ及び表示フレーム・メモリとなる２つのフレーム・メモリを用い、
    タイミング制御部が、書込部に対し、書込み要求を出力するステップと、
    前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返すステップと、
    前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレーム・メモリに書き込むステップと、
    前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新するステップと、
    前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とするステップと、
    前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力するステップとし、上記の動作を繰り返すステップと、
    を備え、
    前記画像処理は、インターレス／プログレッシブ変換処理であり、
    前記インターレス／プログレッシブ変換処理は、請求項１乃至１５の何れか１項に記載の方法によるものであることを特徴とするレンダリング方法。
17. フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、
    各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、
    ２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、
    ２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、
    を備え、
    前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力し、
    前記他の画像処理とは、インターレス／プログレッシブ変換処理であり、
    前記インターレス／プログレッシブ変換処理は、請求項１乃至１５の何れか１項に記載の方法によるものであることを特徴とする画像表示方法。
18. インターレス画像データをプログレッシブ画像データに変換する装置において、
    対象となっているフィールドの補間をするべき画素について第１の動き量を算出する手段と、
    対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出する手段と、
    前記第１の動き量を基に、第１の累積動き量を算出する手段と、
    前記第２の動き量を基に、第２の累積動き量を算出する手段と、
    前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出する手段と、
    前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段と、
    を備え、
    前記第１の動き量を基に、第１の累積動き量を算出する手段は、現在の第１の累積動き量に第１の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第１の累積動き量とする手段を備え、
    前記第２の動き量を基に、前記第２の累積動き量を算出する手段は、現在の第２の累積動き量に第２の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな第２の累積動き量とする手段を備えることを特徴とする装置。
19. 請求項１８に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    対象となっているフィールドの補間をするべき画素について第１の動き量を算出する手段は、
    対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記第１の動き量を算出する手段を備えることを特徴とする装置。
20. 請求項１９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    前記第１のフィールドは、対象となっているフィールドの前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの後のフィールドであることを特徴とする装置。
21. 請求項１９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    前記第１のフィールドは、対象となっているフィールドの３つ前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの１つ前のフィールドであることを特徴とする装置。
22. 請求項１８に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出する手段は、
    前記第１の累積動き量と前記第２の累積動き量の和を前記第３の動き量とする手段を備えることを特徴とする装置。
23. 請求項２２に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    前記第１の累積動き量と前記第２の累積動き量を基に、第３の動き量を算出する手段は、
    前記第１の累積動き量と前記第２の累積動き量の和が所定のしきい値より大きい場合には、前記所定のしきい値を前記第３の動き量にする手段を更にそなえることを特徴とする装置。
24. 請求項１８に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    前記第１の動き量を基に、第１の累積動き量を算出する手段は、前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな第１の累積動き量にする手段を更に備え、
    前記第２の動き量を基に、第２の累積動き量を算出する手段は、前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな第２の累積動き量にする手段を更に備えることを特徴とする装置。
25. 請求項１８又は２４に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    現在の第１の累積動き量に第１の動き量を加算する代わりに、現在の第１の累積量に、第１の動き量から所定値を差し引いた値を加算し、
    現在の第２の累積動き量に第２の動き量を加算する代わりに、現在の第２の累積量に、第２の動き量から所定値を差し引いた値を加算することを特徴とする装置。
26. 請求項１８に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    対象となっているフィールドの補間をするべき画素について静止画補間画素を生成する手段と、
    対象となっているフィールドの補間をするべき画素について動画補間画素を生成する手段と、
    を更に備え、
    前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段は、
    前記第３の動き量に応じた重みで、前記静止画像補間画素と前記動画補間画素とを加重加算する手段を備えることを特徴とする装置。
27. 請求項２６に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    対象となっているフィールドの補間をするべき画素について静止画補間画素を生成する手段は、
    対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記静止画補間画素を生成する手段を備えることを特徴とする装置。
28. 請求項２６に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    対象となっているフィールドの補間をするべき画素について静止画補間画素を生成する手段は、
    対象となっているフィールドと異なったフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素を基に、前記静止画補間画素を生成する手段を備えることを特徴とする装置。
29. 請求項２６に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    対象となっているフィールドの補間をするべき画素について動画補間画素を生成する手段は、
    対象となっているフィールドの補間をするべき画素から垂直方向に離れた１以上の画素を基に、前記動画補間画素を生成する手段を備えることを特徴とする装置。
30. 請求項２６に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    シーンチェンジを検出する手段を更に備え、
    前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段は、
    前記シーンチェンジが検出された場合には、対象となっているフィールドの補間をするべき画素の値を前記動画補間画素の値とする手段を更に備えることを特徴とする装置。
31. 請求項１８に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    平坦部のノイズを除去する手段を更に備えることを特徴とする装置。
32. 請求項３１に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
    前記平坦部のノイズを除去する手段は、
    注目画素の周辺部の画素の加重平均値を求める手段と、
    前記加重平均値を所定のしきい値と比較する手段と、
    前記注目画素の値と前記加重平均値との差分の絶対値が前記所定のしきい値よりも小さい場合には、前記注目画素の値を前記加重平均値に置き換える手段と、
    を備えることを特徴とする装置。
33. 交互に相補的に書込みフレーム・メモリ及び表示フレーム・メモリとなる２つのフレーム・メモリと、
    タイミング制御部が、書込部に対し、書込み要求を出力する手段と、
    前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返す手段と、
    前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレーム・メモリに書き込む手段と、
    前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新する手段と、
    前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とする手段と、
    前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力する手段とし、上記の動作を繰り返す手段と、
    を備え、
    前記画像処理は、インターレス／プログレッシブ変換処理であり、
    前記インターレス／プログレッシブ変換処理は、請求項１８乃至３２の何れか１項に記載の装置によるものであることを特徴とするレンダリング装置。
34. フィルム画像から生成された画像データを再生する場合に、フィールド周期で変化するとともに所定数のフィールド周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、
    各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、
    ２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、
    ２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、
    を備え、
    前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力し、
    前記他の画像処理とは、インターレス／プログレッシブ変換処理であり、
    前記インターレス／プログレッシブ変換処理は、請求項１８乃至３２の何れか１項に記載の装置によるものであることを特徴とする画像表示装置。
35. コンピュータに請求項１乃至１７の何れか１項に記載の方法を行わせるためのプログラム。

Images