JP4250807B2

JP4250807B2 - フィールド周波数変換装置および変換方法

Info

Publication number: JP4250807B2
Application number: JP12729399A
Authority: JP
Inventors: 哲二郎近藤; 正明服部; 靖立平; 真史内田; 岳志宮井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-05-07
Filing date: 1999-05-07
Publication date: 2009-04-08
Anticipated expiration: 2019-05-07
Also published as: JP2000324496A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばフィールド倍速化処理を行うフィールド周波数変換装置および変換方法に関する。
【０００２】
【従来の技術】
フィールド周波数を例えば５０Ｈｚから１００Ｈｚに変換する変換するフィールド周波数変換処理の方法として、本願出願人は、クラス分類適応処理を用いて元の画像中のフィールドの間に新たなフィールドを生成する方法を先に提案している。ここで、クラス分類適応処理は以下のような処理である。すなわち、入力画像から所定の範囲の画像データを切り出し、切り出した画像データのレベル分布を検出し、検出結果に基づいてクラス分類を行う。そして、分類されたクラス毎に予め決定されている予測係数と、入力画像から別途を切り出した所定範囲の画像データとに基づく演算の結果として例えばフィールド倍速化画像等の出力画像を得る。
【０００３】
ここで、予測係数は、出力画像と同一の信号形式を有する画像（教師画像と称される）と、入力画像と同一の信号形式を有する画像（生徒画像と称される）とに基づく演算処理によって決定される。
【０００４】
【発明が解決しようとする課題】
これまでに提案されている方法では、教師画像および生徒画像は以下のようにして生成される。すなわち、教師画像が例えば１００Ｈｚインターレース画像である場合、１００Ｈｚプログレッシブ画像に垂直間引き（走査線間引き）処理を施すことによって教師画像が生成される。さらに、同じ１００Ｈｚプログレッシブ画像に時間間引き（フィールド間引き）および垂直間引き（走査線間引き）処理を施すことによって例えば５０Ｈｚインターレース画像の生徒画像が生成される。
【０００５】
このようにして生成される例えば５０Ｈｚの生徒画像は、例えば５０Ｈｚ画像を生成するビデオカメラの出力として得られる画像とは時間方向の解像度が異なる。このため、上述したような生徒画像に基づく学習によって決定される予測係数の下では、高精度の画像情報変換を行うことはできず、出力画像をある程度以上高画質とすることができないという問題があった。
【０００６】
従って、この発明の目的は、より高画質な出力画像を生成することが可能なフィールド周波数変換装置および変換方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、入力画像のフィールド間に新たなフィールドを生成することによって入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換装置において、
入力画像から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出し手段と、
第１の画像切り出し手段によって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいてクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出手段と、
入力画像から注目画素の周辺の複数の画像データを切り出す第２の画像切り出し手段と、
クラスのそれぞれに対応して予め決定され、出力画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、クラス検出手段からのクラス検出情報に対応するものを出力する係数記憶手段と、
第２の画像切り出し手段によって切り出される複数の画像データと、係数記憶手段から供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理手段とを有し、
予測係数は、クラス毎に予め学習によって求められて係数記憶手段に記憶され、
学習は、
出力画像と同一のフィールド数を有する教師画像を間引き処理することによって、入力画像と同一のフィールド数を有する中間画像を形成し、中間画像のフィールドの時間的に近傍の教師画像の複数フィールドの対応する位置の画素の値を重み付け加算することによって生徒画像を形成し、
積和演算によって、生徒画像から教師画像を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
ことを特徴とするフィールド周波数変換装置である。
【０００８】
請求項４の発明は、入力画像のフィールド間に新たなフィールドを生成することによって入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換方法において、
入力画像から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出しステップと、
第１の画像切り出しステップによって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいてクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出ステップと、
入力画像から注目画素の周辺の複数の画像データを切り出す第２の画像切り出しステップと、
クラスのそれぞれに対応して予め決定され、出力画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、クラス検出ステップからのクラス検出情報に対応するものを出力する係数記憶ステップと、
第２の画像切り出しステップによって切り出される複数の画像データと、係数記憶ステップから供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理ステップとを有し、
予測係数は、クラス毎に予め学習によって求められて記憶され、
学習は、
出力画像と同一のフィールド数を有する教師画像を間引き処理することによって、入力画像と同一のフィールド数を有する中間画像を形成し、中間画像のフィールドの時間的に近傍の教師画像の複数フィールドの対応する位置の画素の値を重み付け加算することによって生徒画像を形成し、
積和演算によって、生徒画像から教師画像を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
ことを特徴とするフィールド周波数変換方法である。
【０００９】
以上のような発明によれば、時間軸平滑化処理により、動画像におけるぼけ成分等を反映する生徒画像が生成され、そのような生徒画像に基づいて予測係数が算出される。
【００１０】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、理解を容易とするために、クラス分類適応処理を用いたフィールド周波数変換について説明する。図１に、入力画像としての５０Ｈｚインターレース画像を、出力画像としての１００Ｈｚインターレース画像に変換するフィールド周波数変換を行う構成の一例を示す。５０Ｈｚインターレース画像が領域切り出し部１、２に供給される。領域切り出し部１は、入力画像から所定の画素領域をクラスタップとして、切り出したクラスタップのデータをクラス検出部４に供給する。
【００１１】
クラス検出部４は、供給されるデータにＡＤＲＣ(Adaptive Dynamic Range Coding) 等の処理を施し、処理結果に基づいて、時空間内での画像データのレベル分布に応じたクラス分類を行う。そして、クラス検出部４は、分類したクラスを示すクラスコードを生成し、クラスコードを予測係数メモリ５に供給する。予測係数メモリ５は、後述するようにして予め算出された予測係数を記憶しており、記憶した予測係数の内から、クラスコードに対応する予測係数を出力する。出力される予測係数が予測演算部６に供給される。ここで、予測係数は後述するようにして予めクラスに対応して予め決定され、予測係数メモリ５に記憶されている。
【００１２】
一方、領域切り出し部２は、入力画像から所定の画素領域を予測タップとして切り出し、切り出した予測タップのデータを予測演算部６に供給する。予測演算部６は、供給されるデータと、クラス検出部４から供給されるクラスコードに対応する予測係数とに基づいて以下の式（１）に従う積和演算を行うことによって出力画像としての１００Ｈｚインターレース画像を生成する。
【００１３】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋‥‥＋ｗ_n×ｘ_n （１）
ここで、ｘ₁，‥‥，ｘ_nが各予測タップの画素データであり、ｗ₁，‥‥，ｗ_nが各予測係数である。
【００１４】
次に、図２を参照して、学習、すなわちクラス毎の予測係数を求める処理について説明する。１００Ｈｚのプログレッシブ画像が間引き処理部１２および１６に供給される。間引き処理部１２は、供給される画像にフィールド間引き処理と、垂直間引き処理とを施して、５０Ｈｚインターレース画像を生成する。この５０Ｈｚインターレース画像が生徒画像として領域切り出し部１３、１４に供給される。領域切り出し部１３、１４は、図１中の領域切り出し部１、２とそれぞれ同様に、クラスタップ、予測タップを切り出す。領域切り出し部１３の出力であるクラスタップのデータは、クラス検出部１４に供給される。
【００１５】
クラス検出部１４は、供給されるデータに基づいて、図１中のクラス検出部４と同様にクラス分類を行い、クラスコードを正規方程式加算部１７に供給する。また、領域切り出し部１５の出力である予測タップのデータは、正規方程式加算部１７に供給される。一方、間引き処理部１６は、供給される１００Ｈｚプログレッシブ画像に垂直間引き処理を施すことにより、１００Ｈｚインターレース画像を生成する。この１００Ｈｚインターレース画像が教師画像として正規方程式加算部１７に供給される。正規方程式加算部１７は、クラス検出部１４の出力、領域切り出し部１５の出力、および間引き処理部１６の出力に基づく演算処理により、正規方程式のデータを生成する。
【００１６】
正規方程式のデータは、予測係数決定部１８に供給される。予測係数決定部１８は、供給されるデータに基づいて正規方程式を解く演算を行うことにより、予測係数を生成する。生成される予測係数は、係数メモリ１９に供給されて記憶される。係数メモリ１９の記憶内容が図１中の予測係数メモリ５にロードされる。
【００１７】
正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数ｗ₁，‥‥，ｗ_nが未定係数である。学習は、クラス毎に複数の教師画像を入力することによって行う。教師画像の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００１８】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn （２）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ₁，‥‥，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅ_kを以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００１９】
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝（３）
（ｋ＝１，２，‥‥ｍ）
【００２０】
【数１】

【００２１】
式（４）のｅ²を最小とする予測係数を求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i(i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを定めれば良い。
【００２２】
【数２】

【００２３】
式（５）から各予測係数ｗ_iを定める具体的な手順について説明する。式（６）、（７）のようにＸ_ji，Ｙ_iを定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２４】
【数３】

【００２５】
【数４】

【００２６】
【数５】

【００２７】
式（８）が一般に正規方程式と呼ばれるものである。正規方程式加算部１７は、供給されるデータに基づいて正規方程式（８）中の各パラメータを算出する。予測係数決定部１８は、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くことにより、予測係数ｗ_i（ｉ＝１，２，‥‥，ｎ）を算出する。
【００２８】
上述したようなフィールド周波数変換における、入力画像内の画素位置と出力画像内の画素位置との関係の一例を図３に示す。ここで、水平方向が時間を示し、垂直方向が画像内の垂直方向を示す。入力画像内の画素を六角形で示し、出力画像内の画素を菱形で示した。この一例では、入力画像内のフィールド（フィールド周波数５０Ｈｚ）と同一の時間位置と、入力画像内のフィールドの中間の時間位置とに、出力画像内のフィールド（フィールド周波数１００Ｈｚ）が生成される。入力画像、出力画像ともインターレース画像であるため、入力画像内のフィールド上では、入力画像内の画素位置と出力画像内の画素位置とが垂直方向に一致する場合と、入力画像内のフィールド上では、入力画像内の画素位置と出力画像内の画素位置とが垂直方向に異なる場合がある。
【００２９】
上述したような処理において、間引き処理部１２の出力として得られる生徒画像は、例えば５０Ｈｚ画像を生成するビデオカメラの出力として得られる画像とは時間方向の解像度が異なる。従って、上述したような学習によって決定される予測係数の下では、５０Ｈｚ画像を生成するビデオカメラの出力に対するフィールド周波数変換の処理精度に限界がある。この点についてより詳細に説明する。フィールド周波数が１００Ｈｚの画像を生成するビデオカメラの出力と、フィールド周波数が例えば５０Ｈｚの画像を生成するビデオカメラの出力とを比較すると、後者は前者に比べてフィールド周波数が小さい点、および時間方向の解像度が低い点で相違している。
【００３０】
シャッタースピードを上げることにより、５０Ｈｚの画像を生成するビデオカメラの出力においても時間方向の解像度を向上させることは可能である。但し、フィールド周波数を変えずにシャッタースピードを上げると、全体としてコマ送りのようなぎこちない動画像に対応する画像が生成されてしまう。間引き処理部１２の出力として得られる生徒画像は、コマ送りのようなぎこちない動画像に対応する画像に相当するものである。
【００３１】
このような生徒画像は、例えばフィールド周波数が５０Ｈｚの画像を生成するビデオカメラの通常の（すなわちシャッタースピードを上げずに撮影した時の）出力とは特に時間方向の解像度において異なったものとなる。より具体的には、上述したような生徒画像は、ＣＣＤ(Charge Coupled Device) の電荷蓄積に要する時間等に起因する時間方向のぼけ等の影響を反映していない。従って、図２を参照して上述したような学習によって決定される予測係数の下では、ある程度以上画質の良いフィールド倍速画像を得ることができない。
【００３２】
そこで、この発明は、生徒画像を生成するに際して、動画像におけるぼけ成分が加えられるようにしたものである。この発明の一実施形態における、学習処理について、図４を参照して説明する。図４において、図２中の各構成要素と同一の構成要素には同一の符号を付し、重複する説明を省略する。入力する１００Ｈｚプログレッシブ画像は、平滑化処理部１１に供給される。平滑化処理部１１は、時間軸平滑化フィルタを有しており、フレーム間での平滑化処理を行うことによって動画像におけるぼけ成分を含む５０Ｈｚプログレッシブ画像を生成し、この５０Ｈｚプログレッシブ画像を間引き処理部１２０に供給する。
【００３３】
間引き処理部１２０は、供給される５０Ｈｚプログレッシブ画像に垂直間引き処理を施すことにより、５０Ｈｚインターレース画像を生成する。間引き処理部１２０の出力は、動画像におけるぼけ成分を含む５０Ｈｚインターレース画像が得られる。間引き処理部１２０の出力を生徒画像として使用して学習処理を行うことにより、動画像におけるぼけ成分を反映した予測係数を得ることができる。平滑化処理部１１についてより詳細に説明する。図５は、１００Ｈｚプログレッシブ画像の画素位置（黒丸で示す）、教師画像としての１００Ｈｚインターレース画像の画素位置（白丸で示す）、および生徒画像としての５０Ｈｚインターレース画像の画素位置（正方形で示す）の関係の一例を示す。
【００３４】
ここで、水平方向が時間方向を示し、垂直方向が画像内の垂直方向を示す。ここでは、生徒画像内のフィールドが１００Ｈｚプログレッシブ画像のフィールドと重なる時間位置に生成される。このため、生徒画像のフィールドと同じ時間位置における１００Ｈｚプログレッシブ画像の画素と、時間的に当該画素の前後に位置する画素とに基づいて、生徒画像内の画素値を生成する処理が可能である。すなわち、点線で囲んだ３個の画素値の重み付け加算値として、正方形で示した、中央の画素に対応する位置にある生徒画像内の画素値を算出する。より具体的には、平滑化処理部１１内の時間軸平滑フィルタとして、図６に示すような構成を用いるようにすれば良い。
【００３５】
ここで、Ｐ〔ｋ〕は、生徒画素内のフィールドと同じ時間位置にある１００Ｈｚプログレッシブ画像の画素値を示し、Ｐ〔ｋ−１〕およびＰ〔ｋ＋１〕は、Ｐ〔ｋ〕に対して時間的に直前および直後に位置する、１００Ｈｚプログレッシブ画像の画素値を示す。Ｐ〔ｋ−１〕，Ｐ〔ｋ〕およびＰ〔ｋ＋１〕は、それぞれ、アンプ２４、２５および２６に供給される。各アンプは、供給される画素値に対してそれぞれ所定のゲインを付与する。アンプ２４、２５および２６の出力が加算器２７に供給される。加算器２７は各アンプの出力を加算する。加算器２７の出力として、生徒画像の画素値ｓ〔ｋ〕が得られる。
【００３６】
次に、図７は、１００Ｈｚプログレッシブ画像の画素位置（黒丸で示す）、教師画像としての１００Ｈｚインターレース画像の画素位置（白丸で示す）、および生徒画像としての５０Ｈｚインターレース画像の画素位置（正方形で示す）の関係の他の例を示す。ここで、水平方向が時間方向を示し、垂直方向が画像内の垂直方向を示す。ここでは、生徒画像のフィールドが１００Ｈｚプログレッシブ画像のフィールドの間に位置している。このため、生徒画像内各フィールド上の画素値を、時間的に当該フィールドの前後に位置する１００Ｈｚプログレッシブ画像のフィールド上の画素値に基づいて算出することが可能である。すなわち、点線で囲んだ３個の画素の内で、中央の正方形の画素に対応する５０Ｈｚ画像内の画素値を、その両側の１００Ｈｚプログレッシブ画像の画素の重み付け加算値として生成する。
【００３７】
より具体的には、平滑化処理部１１内の時間軸平滑フィルタとして、図８に示すような構成を用いるようにすれば良い。ここで、Ｐ〔ｋ−１〕およびＰ〔ｋ＋１〕は、生徒画素内のフィールドに対して時間的に直前および直後に位置する、１００Ｈｚプログレッシブ画像内のフィールド内の画素値を示す。Ｐ〔ｋ−１〕およびＰ〔ｋ＋１〕は、それぞれ、アンプ３３および３４に供給される。各アンプは、供給される画素値に対してそれぞれ所定のゲインを付与する。アンプ３３および３４の出力が加算器３５に供給される。加算器３５は各アンプの出力を加算する。加算器３５の出力、すなわちＰ〔ｋ−１〕およびＰ〔ｋ＋１〕の加重平均として、生徒画像の画素値ｓ〔ｌ〕が得られる。
【００３８】
このように、生徒画像としての例えば５０Ｈｚインターレース画像内のフィールドと、教師画像としての例えば１００Ｈｚインターレース画像内のフィールドとの時間位置関係に適合する時間軸平滑化処理を行うことができる。時間軸平滑化処理は、図５〜図８を参照して上述した一例および他の例に限定されるものではない。すなわち、フィルタの次数や、アンプゲインの設定に係る重み付け係数は任意に変えることができる。また、重み付け加算に用いられる画素値は、生徒画像内の画素位置に対して時間的に対称に分布していなくても良い。
【００３９】
重み付け加算に用いられる画素値を、生徒画像内の画素位置に対して時間的に対称に分布するように選択する場合には、▲１▼教師画像のフィールドの時間位置と生徒画像のフィールドの時間位置とが一致する場合にはフィルタの次数を奇数とする必要があり（例えば上述の一例）、また、▲２▼教師画像のフィールドの間に生徒画像のフィールドのが位置する場合にはフィルタの次数を奇数とする必要がある（例えば上述の他の例）。
【００４０】
一方、重み付け加算に用いられる画素値を、生徒画像内の画素位置に対して時間的に非対称に分布するように選択する場合には、選択される各画素に乗じる係数の重みによって、生徒画素のフィールド位相を変化させることができる。従って、フィールド周波数変換によって生成したい画像と入力画像との間の関係、例えばフィールド周波数、フィールドの時間位置等に応じて、生徒画像を得るためにより適切な処理を行うことができる。
【００４１】
上述したこの発明の一実施形態は、５０Ｈｚインターレース画像を１００Ｈｚインターレース画像に変換するフィールド倍速化処理を行うものであるが、この発明は、フィールド倍速化処理以外にも、より一般的な周波数変換フィールド周波数、フレーム周波数の変換処理に対して広範に適用することが可能である。例えば、ＰＡＬ方式フリッカーフリーテレビジョン受像器等の、テレビジョン受像器におけるフィールド周波数変換を行う場合にこの発明を適用することができる。また、放送方式変換装置、映画フィルムコマ数変換装置等におけるフィールド周波数変換を行う場合にこの発明を適用することができる。
【００４２】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４３】
【発明の効果】
この発明によれば、時間軸平滑化処理を含む処理によって生徒画像が生成される。このような生徒画像は、動画におけるぼけ成分等が加えられる等、入力画像の性質をより的確に反映するものとなる。このため、このような生徒画像を使用して学習を行うことにより、入力画像の性質により適合性の高い予測係数を得ることができる。このような予測係数を用いたクラス分類適応処理によってフィールド周波数変換を行うことにより、より画質の良い出力画像を生成することができる。
【００４４】
また、時間軸平滑化処理において用いられる画素の画素位置、重み付け係数等を、フィールド周波数変換によって生成したい画像と入力画像との間の関係、例えばフィールド周波数、フィールドの時間位置等に応じて、適宜設定することにより、より適切な処理を行うことができる。
【図面の簡単な説明】
【図１】クラス分類適応処理における予測推定に係る一般的な構成について説明するためのブロック図である。
【図２】クラス分類適応処理における一般的な学習処理について説明するためのブロック図である。
【図３】フィールド周波数変換における入力画像の画素位置素と出力画像の画素位置との関係の一例を示す略線図である。
【図４】この発明の一実施形態における学習処理について説明するための略線図である。
【図５】この発明の一実施形態における時間軸平滑化処理の一例について説明するための略線図である。
【図６】図５に示す時間軸平滑化処理を実現する構成について説明するためのブロック図である。
【図７】この発明の一実施形態における時間軸平滑化処理の他の例について説明するための略線図である。
【図８】図７に示す時間軸平滑化処理を実現する構成について説明するためのブロック図である。
【符号の説明】
１１・・・平滑化処理部

Claims

入力画像のフィールド間に新たなフィールドを生成することによって上記入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換装置において、
上記入力画像から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出し手段と、
上記第１の画像切り出し手段によって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいてクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出手段と、
上記入力画像から上記注目画素の周辺の複数の画像データを切り出す第２の画像切り出し手段と、
上記クラスのそれぞれに対応して予め決定され、上記出力画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、上記クラス検出手段からの上記クラス検出情報に対応するものを出力する係数記憶手段と、
上記第２の画像切り出し手段によって切り出される複数の画像データと、上記係数記憶手段から供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理手段とを有し、
上記予測係数は、上記クラス毎に予め学習によって求められて上記係数記憶手段に記憶され、
上記学習は、
上記出力画像と同一のフィールド数を有する教師画像を間引き処理することによって、上記入力画像と同一のフィールド数を有する中間画像を形成し、上記中間画像のフィールドの時間的に近傍の上記教師画像の複数フィールドの対応する位置の画素の値を重み付け加算することによって生徒画像を形成し、
上記積和演算によって、上記生徒画像から上記教師画像を生成した時に、生成された画素値と上記画素の真値との誤差を最小にするように、求める処理である
ことを特徴とするフィールド周波数変換装置。
請求項１において、
上記出力画像が上記入力画像の２倍のフィールド周波数を有することを特徴とするフィールド周波数変換装置。
請求項１において、
上記教師画像がプログレッシブ画像であり、上記生徒画像がインタ−レス画像であることを特徴とするフィールド周波数変換装置。
入力画像のフィールド間に新たなフィールドを生成することによって上記入力画像のフィールド数より多いフィールド数の出力画像を形成するフィールド周波数変換方法において、
上記入力画像から処理対象の注目画素の周辺の複数の画像データを切り出す第１の画像切り出しステップと、
上記第１の画像切り出しステップによって切り出される複数の画像データのレベル分布を検出し、検出したレベル分布に基づいてクラスを決定し、決定したクラスを表現するクラス検出情報を出力するクラス検出ステップと、
上記入力画像から上記注目画素の周辺の複数の画像データを切り出す第２の画像切り出しステップと、
上記クラスのそれぞれに対応して予め決定され、上記出力画像信号を推定するための予測係数を記憶し、記憶した予測係数の内から、上記クラス検出ステップからの上記クラス検出情報に対応するものを出力する係数記憶ステップと、
上記第２の画像切り出しステップによって切り出される複数の画像データと、上記係数記憶ステップから供給される予測係数との積和演算を行い、上記出力画像の画像データの予測値を生成する演算処理ステップとを有し、
上記予測係数は、上記クラス毎に予め学習によって求められて記憶され、
上記学習は、
上記出力画像と同一のフィールド数を有する教師画像を間引き処理することによって、上記入力画像と同一のフィールド数を有する中間画像を形成し、上記中間画像のフィールドの時間的に近傍の上記教師画像の複数フィールドの対応する位置の画素の値を重み付け加算することによって生徒画像を形成し、
上記積和演算によって、上記生徒画像から上記教師画像を生成した時に、生成された画素値と上記画素の真値との誤差を最小にするように、求める処理である
ことを特徴とするフィールド周波数変換方法。