JP4066146B2 - データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像データを、より高画質の画像データに変換すること等ができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行うデータ変換処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ(Standard Definition)画像という）データが、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ(High Definition)画像という）データに変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像データを構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像データを構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【０００６】
【数１】

【０００７】
但し、式（１）において、ｘ_nは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素（以下、適宜、ＳＤ画素という）の画素値を表し、ｗ_nは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。
【０００８】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００９】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。
【００１０】
【数２】

【００１１】
式（２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。
【００１２】
【数３】

【００１３】
但し、式（３）において、ｘ_n,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１４】
式（３）の予測誤差ｅ_kを０とするタップ係数ｗ_nが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。
【００１５】
そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００１６】
【数４】

【００１７】
但し、式（４）において、Ｋは、ＨＤ画素ｙ_kと、そのＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。
【００１８】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【００１９】
【数５】

【００２０】
そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【００２１】
【数６】

【００２２】
式（５）と（６）から、次式が得られる。
【００２３】
【数７】

【００２４】
式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００２５】
【数８】

【００２６】
式（８）の正規方程式は、ＨＤ画素ｙ_kとＳＤ画素ｘ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_nの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_nにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_nを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００２７】
以上のように、多数のＨＤ画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_nを求める学習を行っておき、さらに、そのタップ係数ｗ_nを用い、式（１）により、ＳＤ画像データを、ＨＤ画像データにマッピング（変換）するのが適応処理である。
【００２８】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_nが、教師データとしてのＨＤ画像データと生徒データとしてのＳＤ画像データとを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２９】
ここで、タップ係数ｗ_nの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_nを求めることができる。
【００３０】
即ち、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データにノイズやぼけを付加したＳＤ画像データを採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_nを得ることができる。また、例えば、教師データｙとして、ＨＤ画像データを採用するとともに、生徒データｘとして、そのＨＤ画像データの解像度を劣化させたＳＤ画像データを採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_nを得ることができる。さらに、例えば、教師データｙとして、画像データを採用するとともに、生徒データｘとして、その画像データをＤＣＴ(Discrete Cosine Transform)変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像データに変換するタップ係数ｗ_nを得ることができる。
【００３１】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理においては、式（４）の自乗誤差の総和を最小にするタップ係数ｗ_nがクラスごとに求められ、そのタップ係数ｗ_nを用い、式（１）が演算されることにより、ＳＤ画像が、高画質のＨＤ画像に変換される。即ち、タップ係数ｗ_nと、ＳＤ画像から生成される予測タップｘ_nとを用いて、式（１）が演算されることにより、ＨＤ画像を構成するＨＤ画素が求められる。
【００３２】
このため、例えば、予測タップのダイナミックレンジが小さい場合には、予測タップのダイナミックレンジが大きい場合に比較して、予測タップｘ_nの値（予測タップを構成するＳＤ画素ｘ_nの画素値）の変動の影響を受けやすかった。
【００３３】
即ち、例えば、いま、説明を簡単にするために、予測タップが、図１Ａに示すように、２つのＳＤ画素（の画素値）ｘ₁とｘ₂で構成され、ＨＤ画素（の画素値）ｙが、式（１）に対応する次式で求められるものとする。
【００３４】
【数９】

【００３５】
また、予測タップのダイナミックレンジは、その予測タップを構成する最大値から最小値を減算したものとなるから、図１Ａの予測タップのダイナミックレンジＤは、次式で表される。
【００３６】
【数１０】

【００３７】
この場合、式（９）のＨＤ画素ｙは、式（１０）から、次式で表される。
【００３８】
【数１１】

【００３９】
一方、図１Ｂに示すように、図１Ａの予測タップを構成するＳＤ画素ｘ₁とｘ₂のうちの、例えば、ＳＤ画素ｘ₂が、△ｘ₂だけ変動したＳＤ画素をｘ₂’と表すこととすると、ＳＤ画素ｘ₁とｘ₂’で構成される予測タップによれば、次式にしたがって、ＨＤ画素ｙ’が求められる。
【００４０】
【数１２】

【００４１】
また、図１Ｂの予測タップのダイナミックレンジＤ’は、次式で表される。
【００４２】
【数１３】

【００４３】
この場合、式（１２）のＨＤ画素ｙ’は、式（１３）から、次式で表される。
【００４４】
【数１４】

【００４５】
ところで、ＳＤ画素ｘ₂’は、ＳＤ画素ｘ₂から、△ｘ₂だけ変動したものであるから、次式で表すことができる。
【００４６】
【数１５】

【００４７】
式（１５）から、式（１３）のダイナミックレンジＤ’は、次式で表すことができる。
【００４８】
【数１６】

【００４９】
式（１６）を、式（１４）に代入することにより、ＨＤ画素ｙ’は、次式によって求めることができる。
【００５０】
【数１７】

【００５１】
従って、図１Ａの予測タップを構成するＳＤ画素ｘ₂△ｘ₂だけ変動した場合、求められるＨＤ画素は、式（１１）で表されるｙから、式（１７）で表されるｙ’に変動することになる。
【００５２】
いま、予測タップが変動することにより、求められるＨＤ画素が、変動前の予測タップから求められるＨＤ画素に対して、どれだけ変動するかを表す値を、変動率Ｒというものとすると、この変動率Ｒは、例えば、次式で表すことができる。
【００５３】
【数１８】

【００５４】
式（１８）に、式（１１）と（１７）を代入することにより、変動率Ｒは、次式で求められる。
【００５５】
【数１９】

【００５６】
式（１９）によれば、変動率Ｒは、予測タップのダイナミックレンジＤが大きいほど小さく、逆に、予測タップのダイナミックレンジＤが小さいほど大きくなる。
【００５７】
このことは、予測タップのダイナミックレンジＤが大きい場合には、予測タップの変動が、求められるＨＤ画素にほとんど影響しないが、逆に、予測タップのダイナミックレンジＤが小さい場合には、予測タップの変動が、求められるＨＤ画素に大きく影響することを意味する。
【００５８】
従って、予測タップのダイナミックレンジが大きい場合には、予測タップが変動しても、その大きなダイナミックレンジによる、いわばマスキングの効果（以下、適宜、ＤＲマスキング効果という）（大きなダイナミックレンジによって、予測タップの変動に対するＨＤ画素への影響がマスクされる効果）によって、求められるＨＤ画素への影響が抑えられるが、予測タップのダイナミックレンジが小さい場合には、上述のＤＲマスキング効果がほとんど働かず、予測タップの変動は、求められるＨＤ画素に大きな変動を与える。
【００５９】
このため、ダイナミックレンジが大きい予測タップが構成される場合と、ダイナミックレンジが小さい予測タップが構成される場合とで、求められるＨＤ画像の画質に差が生じることがあり、ユーザに違和感を感じさせるおそれがあった。
【００６０】
また、ＤＲマスキング効果を働かせる程度により、クラス分類適応処理によって得られるＨＤ画像の画質に対する影響が変化する。従って、ＤＲマスキング効果を働かせる程度を、ユーザが調整することが可能となれば、ユーザは、自身の好みに応じた画質の画像を得ることが可能となる。
【００６１】
本発明は、このような状況に鑑みてなされたものであり、例えば、画像データを、より高画質の画像データに変換することができるようにし、さらには、その画質の調整をユーザが可能とすることができるようにするものである。
【００６２】
【課題を解決するための手段】
本発明のデータ変換装置は、注目している第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第１のデータから抽出するクラスタップ生成手段と、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第１のデータから抽出する予測タップ生成手段と、第１のデータから第２のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を１以上のクラスごとに求めるための学習に用いるための、第２のデータに対応する教師データと、学習に用いるための、第１のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を１以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得手段と、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算手段とを備えることを特徴とする。
【００６３】
本発明のデータ変換方法は、注目している第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第１のデータから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第１のデータから抽出する予測タップ生成ステップと、第１のデータから第２のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を１以上のクラスごとに求めるための学習に用いるための、第２のデータに対応する教師データと、学習に用いるための、第１のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を１以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得ステップと、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算ステップとを備えることを特徴とする。
【００６４】
本発明の第１のプログラムは、注目している第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第１のデータから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第１のデータから抽出する予測タップ生成ステップと、第１のデータから第２のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を１以上のクラスごとに求めるための学習に用いるための、第２のデータに対応する教師データと、学習に用いるための、第１のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を１以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得ステップと、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算ステップとを備えることを特徴とする。
【００６５】
本発明の第１の記録媒体は、注目している第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、注目データの周辺に位置する第１のデータから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する第１のデータから抽出する予測タップ生成ステップと、第１のデータから第２のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を１以上のクラスごとに求めるための学習に用いるための、第２のデータに対応する教師データと、学習に用いるための、第１のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を１以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数を取得するタップ係数取得ステップと、注目データのクラスのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データを求める演算ステップとを備えるプログラムが記録されていることを特徴とする。
【００６６】
本発明の第１の学習装置は、タップ係数の学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒データから抽出するクラスタップ生成手段と、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成手段と、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求める学習手段と、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習手段における重み付けを制御する重み付け制御手段とを備えることを特徴とする。
【００６７】
本発明の第１の学習方法は、タップ係数の学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【００６８】
本発明の第２のプログラムは、タップ係数の学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【００６９】
本発明の第２の記録媒体は、タップ係数の学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数を求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えるプログラムが記録されていることを特徴とする。
【００７０】
本発明の第２の学習装置は、係数種データの学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒から抽出するクラスタップ生成手段と、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類手段と、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成手段と、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとの係数種データを求める学習手段と、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習手段における重み付けを制御する重み付け制御手段とを備えることを特徴とする。
【００７１】
本発明の第２の学習方法は、係数種データの学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒から抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとの係数種データを求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【００７２】
本発明の第３のプログラムは、係数種データの学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒から抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとの係数種データを求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えることを特徴とする。
【００７３】
本発明の第３の記録媒体は、係数種データの学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒から抽出するクラスタップ生成ステップと、クラスタップである複数のデータサンプルの値に基づいて、注目データをクラス分類するクラス分類ステップと、注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、注目データの周辺に位置する生徒データから抽出する予測タップ生成ステップと、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、生徒データと教師データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとの係数種データを求める学習ステップと、注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、学習ステップにおける重み付けを制御する重み付け制御ステップとを備えるプログラムが記録されていることを特徴とする。
【００７４】
本発明のデータ変換装置およびデータ変換方法、並びに第１のプログラムおよび第１の記録媒体においては、注目している第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップと、注目データを求めるのに用いる予測タップが、注目データの周辺に位置する第１のデータから抽出され、クラスタップである複数のデータサンプルの値に基づいて、注目データがクラス分類される。さらに、第１のデータから第２のデータを予測する際に予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を１以上のクラスごとに求めるための学習に用いるための、第２のデータに対応する教師データと、学習に用いるための、第１のデータに対応する生徒データとを用い、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、教師データと生徒データとの関係を１以上のクラスごとに学習し、正規方程式を解くことにより得られたタップ係数から、注目データのクラスのタップ係数が取得され、そのタップ係数と、予測タップである複数のデータサンプルの値との線形結合により、注目データが求められる。
【００７５】
本発明の第１の学習装置および第１の学習方法、並びに第２のプログラムおよび第２の記録媒体においては、タップ係数の学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップと、注目データを求めるのに用いる予測タップが、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒データから抽出され、クラスタップである複数のデータサンプルの値に基づいて、注目データがクラス分類される。さらに、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとのタップ係数が求められる。一方、注目データについて得られた予測タップのアクティビティが求められ、そのアクティビティに基づいて、注目データと予測タップに対する重み付けが制御される。
【００７６】
本発明の第２の学習装置および第２の学習方法、並びに第３のプログラムおよび第３の記録媒体においては、係数種データの学習に用いるための、第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップと、注目データを求めるのに用いる予測タップが、学習に用いるための、注目データの周辺に位置する第１のデータに対応する生徒データから抽出され、クラスタップである複数のデータサンプルの値に基づいて、注目データがクラス分類される。さらに、注目データと予測タップに対して、予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、教師データ、生徒データ、及びタップ係数との関係を示す正規方程式内の教師データと生徒データとから構成される各項に、順に設定される教師データとしての注目データ、及び生徒データとしての予測タップを代入して正規方程式を解くことで、教師データと生徒データとの関係を１以上のクラスごとに学習することにより、１以上のクラスごとの係数種データが求められる。一方、注目データについて得られた予測タップのアクティビティが求められ、そのアクティビティに基づいて、注目データと予測タップに対する重み付けが制御される。
【００７７】
【発明の実施の形態】
図２は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００７８】
この画像処理装置においては、例えば、ぼけたＳＤ画像が入力され、そのＳＤ画像に対して、クラス分類適応処理が施されることにより、ＳＤ画像のぼけ度にかかわらず、そのぼけが十分に改善されたＨＤ画像（ぼけ改善画像）が出力されるようになっている。
【００７９】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、および予測演算回路６から構成され、そこには、ぼけの改善を行う対象となるＳＤ画像が入力される。
【００８０】
フレームメモリ１は、画像処理装置に入力されるＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。なお、本実施の形態では、フレームメモリ１は、複数フレームのＳＤ画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力されるＳＤ画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００８１】
クラスタップ生成回路２は、クラス分類適応処理により求めようとするＨＤ画素（ここでは、ＳＤ画素からぼけを完全に排除した、ぼけのない理想的なＨＤ画素）を、注目画素として、その注目画素についてのクラス分類に用いるクラスタップを、フレームメモリ１に記憶されたＳＤ画像から生成し、クラス分類回路４に出力する。即ち、クラスタップ生成回路２は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から抽出することによりクラスタップとし、クラス分類回路４に出力する。
【００８２】
予測タップ生成回路３は、予測演算回路６において注目画素（の予測値）を求めるのに用いる予測タップを、フレームメモリ１に記憶されたＳＤ画像から生成し、予測演算回路６に供給する。即ち、予測タップ生成回路３は、例えば、注目画素の位置から空間的または時間的に近い位置にある複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から抽出することにより予測タップとし、予測演算回路６に供給する。
【００８３】
なお、ここでは、ＳＤ画素そのものによって、予測タップやクラスタップ（以下、適宜、両方含めて、単に、タップという）を構成するようにしたが、タップは、その他、例えば、ＳＤ画像から、その動きベクトルなど検出し、その動きベクトルを含めて構成することが可能である。
【００８４】
また、予測タップとするＳＤ画素と、クラスタップとするＳＤ画素とは、同一であっても良いし、同一でなくても良い。即ち、予測タップとクラスタップは、それぞれ独立に構成（生成）することが可能である。
【００８５】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与える。即ち、クラス分類回路４は、クラスタップ生成回路２からのクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力する。
【００８６】
ここで、KビットADRC処理においては、クラスタップを構成するＳＤ画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＳＤ画素がKビットに再量子化される。即ち、クラスタップを構成する各ＳＤ画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各ＳＤ画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。なお、クラス分類は、その他、例えば、クラスタップを構成するＳＤ画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類回路４は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【００８７】
係数RAM５は、学習の教師となるＨＤ画像データである教師データ（第２の学習用データ）と、学習の生徒となるＳＤ画像データある生徒データ（第１の学習用データ）とを用い、その教師データと生徒データに対して、生徒データから生成される予測タップのアクティビティに基づく重み付けを行いながら、教師データと生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数RAM５は、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、予測演算回路６に供給する。なお、タップ係数の学習方法についての詳細は、後述する。
【００８８】
予測演算回路６は、係数RAM５から供給される、注目画素のクラスについてのタップ係数ｗ ₁ ，ｗ₂，・・・と、予測タップ生成回路３からの予測タップ（を構成する各ＳＤ画素の画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した演算を行うことにより、注目画素ｙ（の予測値）を求め、これを、ぼけを改善したＨＤ画素の画素値として出力する。
【００８９】
次に、図３のフローチャートを参照して、図２の画像処理装置が行う、ＳＤ画像をＨＤ画像に変換する画像変換処理について説明する。
【００９０】
フレームメモリ１には、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【００９１】
そして、ステップＳ１において、クラスタップ生成回路２は、まだ求めてられていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ２に進む。
【００９２】
ステップＳ２では、クラスタップ生成回路２と予測タップ生成回路３が、注目画素の位置に空間的または時間的に近い複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から抽出することにより、クラスタップと予測タップをそれぞれ生成し、クラス分類回路４と予測演算回路６にそれぞれ供給する。
【００９３】
そして、ステップＳ３に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に対して、アドレスとして出力して、ステップＳ４に進む。ステップＳ４では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【００９４】
その後、ステップＳ５に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ６に進む。
【００９５】
ここで、予測演算回路６は、１フレーム分のＨＤ画素が求められるまで、ステップＳ５で得られたＨＤ画素を記憶しており、１フレーム分のＨＤ画素が求められると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。
【００９６】
ステップＳ６では、クラスタップ生成回路２が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１に戻り、以下、同様の処理を繰り返す。
【００９７】
また、ステップＳ６において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【００９８】
次に、図４は、図２の係数RAM５に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成例を示している。
【００９９】
学習用データベース６１には、タップ係数の学習用の画像データとしての、例えばＨＤ画像データが記憶されている。
【０１００】
学習対生成回路６２は、学習用データベース６１に記憶された学習用の画像データから、タップ係数の学習に用いられる教師データと生徒データのセットである学習対データを生成し、学習対データベース６３に供給する。
【０１０１】
即ち、学習対生成回路６２は、学習用データベース６１に記憶された学習用の画像データを読み出し、その学習用の画像データであるＨＤ画像データを、例えば、そのまま教師データとする。ここで、図２の画像処理装置で得られるＨＤ画像は、図４の学習装置で教師データとして用いられるＨＤ画像データの画質に対応したものとなる。
【０１０２】
さらに、学習対生成回路６２は、教師データとしてのＨＤ画像データの画質を劣化させることにより、即ち、例えば、教師データとしてのＨＤ画像データの画素を間引き、さらに、ＬＰＦ(Low Pass Filter)でフィルタリングすること等により、その教師データとしてのＨＤ画像データをぼかしたＳＤ画像データである生徒データを生成する。ここで、生徒データとしてのＳＤ画像データは、図２の画像処理装置で処理対象となるＳＤ画像データに対応した画質のものとする必要がある。
【０１０３】
学習対生成回路６２は、上述のようにして、教師データと、その教師データに対応する生徒データ（教師データから生成された生徒データ）とを生成すると、その教師データと生徒データのセットを、学習対データとして、学習対データベース６３に供給する。
【０１０４】
学習対データベース６３は、学習対生成回路６２からの学習対データを一時記憶する。
【０１０５】
クラスタップ生成回路６４と予測タップ生成回路６５は、学習対データベース６３に記憶された学習対データにおける生徒データとしてのＳＤ画像を構成するＳＤ画素を用い、注目画素となっている教師データとしてのＨＤ画素について、図２のクラスタップ生成回路２または予測タップ生成回路３における場合と同一のタップ構造のクラスタップと予測タップをそれぞれ生成し、クラス分類回路６６と足し込み回路６７にそれぞれ供給する。
【０１０６】
クラス分類回路６６は、図２のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、足し込み回路６７に供給する。
【０１０７】
足し込み回路６７およびタップ係数演算回路６８は、学習対データベース６３に記憶された学習対データにおける、注目画素となっている教師データと、予測タップ生成回路６５から供給される予測タップに対して、重み制御回路７１からの制御にしたがった重み付けを行いながら、学習対データベース６３に記憶された学習対データとしての教師データと生徒データとの関係を、クラス分類回路６６から供給されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０１０８】
即ち、足し込み回路６７は、クラス分類回路６６が出力するクラスコードごとに、予測タップ生成回路６５から供給される予測タップと、学習対データベース６３に記憶された学習対データにおける、注目画素となっているＨＤ画素とを対象とした、式（８）の足し込みを行う。
【０１０９】
具体的には、足し込み回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘ_n,kを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０１１０】
さらに、足し込み回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘ_n,kと注目画素となっている教師データであるＨＤ画素ｙ_kを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘ_n,kおよび注目画素ｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０１１１】
但し、足し込み回路６７は、予測タップと注目画素を対象とした、式（８）の足し込みを行う際に、その予測タップと注目画素に対して、重み制御回路７１からの制御にしたがった重み付けを行う。従って、いま、第ｋサンプルの注目画素ｙ_kと、その注目画素ｙ_kについて生成された予測タップｘ_n,kに対する重みをｈ_kと表すこととすると、足し込み回路６７は、式（８）の左辺の行列と右辺のベクトルの各コンポーネントに重みｈ_kを乗算した式（２０）の足し込みを行う。
【０１１２】
【数２０】

【０１１３】
即ち、足し込み回路６７は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘ_n,kを用い、式（２０）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_n,kｘ_n',k）と、重みｈ_kによる重み付け（ｘ_n,kｘ_n',kｈ_k）を行い、さらに、サメーション（Σ）に相当する演算を行う。
【０１１４】
また、足し込み回路６７は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、予測タップを構成するＳＤ画素ｘ_n,kと注目画素となっている教師データであるＨＤ画素ｙ_kを用い、式（２０）の右辺のベクトルにおけるＳＤ画素ｘ_n,kおよび注目画素ｙ_kの乗算（ｘ_n,kｙ_k）と、重みｈ_kによる重み付け（ｘ_n,kｙ_kｈ_k）を行い、さらに、サメーション（Σ）に相当する演算を行う。
【０１１５】
ここで、図５は、図４の足し込み回路６７の構成例を示している。
【０１１６】
加算回路８１には、予測タップ生成回路６５から、新たな注目画素ｙ_k+1の予測タップｘ_n,k+1が供給されるとともに、重み制御回路７１から、新たな注目画素ｙ_k+1と予測タップｘ_n,k+1に対する重みｈ_k+1を表す重み情報が供給される。また、メモリ８３は、前回、注目画素ｙ_kとされた教師データについて求められた式（２０）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',kｈ_k）を記憶している。そして、メモリ８３には、クラス分類回路６６が出力する、新たな注目画素ｙ_k+1のクラスコードが供給されるようになっており、メモリ８３は、そのクラスコードに対応する、式（２０）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',kｈ_k）を読み出し、加算回路８１に供給する。
【０１１７】
加算回路８１は、新たな注目画素ｙ_k+1の予測タップｘ_n,k+1と重みｈ_k+1を用いて、式（２０）における左辺の行列のコンポーネントｘ_n,k+1ｘ_n',k+1ｈ_k+1を計算し、メモリ８３から供給される、対応するコンポーネントΣｘ_n,kｘ_n',kｈ_kに足し込むことにより、新たなコンポーネントΣｘ_n,k+1ｘ_n',k+1ｈ_k+1を求める。そして、加算回路８１は、その新たなコンポーネントΣｘ_n,k+1ｘ_n',k+1ｈ_k+1を、メモリ８３に供給し、前回までに求められていたコンポーネントΣｘ_n,kｘ_n',kｈ_kに上書きする形で記憶させる。
【０１１８】
一方、加算回路８２にも、予測タップ生成回路６５から、新たな注目画素ｙ_k+1の予測タップｘ_n,k+1が供給されるとともに、重み制御回路７１から、新たな注目画素ｙ_k+1と予測タップｘ_n,k+1に対する重みｈ_k+1を表す重み情報が供給される。また、メモリ８４は、前回、注目画素ｙ_kとされた教師データについて求められた式（２０）における右辺のベクトルのコンポーネントΣｘ_n,kｙ_kｈ_kを記憶している。そして、メモリ８４にも、クラス分類回路６６が出力する、新たな注目画素ｙ_k+1のクラスコードが供給されるようになっており、メモリ８４は、そのクラスコードに対応する、式（２０）における右辺のベクトルのコンポーネントΣｘ_n,kｙ_kｈ_kを読み出し、加算回路８２に供給する。
【０１１９】
加算回路８２は、学習対データベース６３から、新たな注目画素ｙ_k+1を読み出し、その新たな注目画素ｙ_k+1、予測タップｘ_n,k+1、および重みｈ_k+1を用いて、式（２０）における右辺のベクトルのコンポーネントｘ_n,k+1ｙ_k+1ｈ_k+1を計算する。さらに、加算回路８２は、そのコンポーネントｘ_n,k+1ｙ_k+1ｈ_k+1を、メモリ８４から供給される、対応するコンポーネントΣｘ_n,kｙ_kｈ_kに足し込むことにより、新たなコンポーネントΣｘ_n,k+1ｙ_k+1ｈ_k+1を求める。そして、加算回路８２は、その新たなコンポーネントΣｘ_n,k+1ｙ_k+1ｈ_k+1を、メモリ８４に供給し、前回までに求められていたコンポーネントΣｘ_n,kｙ_kｈ_kに上書きする形で記憶させる。
【０１２０】
図４に戻り、足し込み回路６７は、学習対データベース６３に記憶された学習対データにおける教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式（図５のメモリ８３に記憶された式（２０）の左辺の行列のコンポーネントと、メモリ８４に記憶された式（２０）の右辺のベクトルのコンポーネント）を、タップ係数演算回路６８に供給する。
【０１２１】
タップ係数演算回路６８は、足し込み回路６７から、各クラスについての式（２０）の正規方程式を受信し、その正規方程式を解くことにより、クラスごとのタップ係数を求めて出力する。
【０１２２】
タップ係数メモリ６９は、タップ係数演算回路６８が出力するクラスごとのタップ係数を記憶する。
【０１２３】
ＤＲ（ダイナミックレンジ）検出回路７０は、予測タップ生成回路６５が出力する、注目画素の予測タップのアクティビティを表す値として、例えば、そのダイナミックレンジを検出し、重み制御回路７１に供給する。即ち、ＤＲ検出回路７０は、予測タップを構成するＳＤ画素のうちの最大値から最小値を減算し、その減算値を、ダイナミックレンジとして、重み制御回路７１に供給する。
【０１２４】
重み制御回路７１は、ＤＲ検出回路７０から供給される予測タップのアクティビティとしてのダイナミックレンジに基づいて、注目画素とその予測タップに対する、上述の足し込み回路６７における重み付けを制御する。
【０１２５】
即ち、重み制御回路７１は、アクティビティと、重みｈとを対応付けた、所定の重み付け特性を記憶している。そして、重み制御回路７１は、その重み付け特性にしたがい、ＤＲ検出回路７０から供給される予測タップのダイナミックレンジに対応する重みｈを求め、その重みｈによって、注目画素と予測タップに対する重み付けを行うことを指示する重み情報を、足し込み回路６７に供給する。
【０１２６】
ここで、図６に、重み付け特性の例を示す。
【０１２７】
図６においては、横軸が予測タップのダイナミックレンジを表し、縦軸が重みを表す。なお、図６では、ＳＤ画素が８ビットで表されるものとしてあり、従って、ダイナミックレンジは、０乃至２５５の範囲の整数値をとる。
【０１２８】
図６においては、図６Ａ乃至図６Ｆの６つの重み付け特性を示してある。図６Ａ乃至図６Ｃの重み付け特性は、いずれも、ステップ関数状の重みになっており、ダイナミックレンジが０乃至１２７の場合の重みが１より大で、ダイナミックレンジが１２８乃至２５５の場合の重みが１になっている。但し、図６Ａの重み付け特性は、ダイナミックレンジが０乃至１２７の場合の重みと、ダイナミックレンジが１２８乃至２５５の場合の重みとの差が大になっており、図６Ｂの重み付け特性は、ダイナミックレンジが０乃至１２７の場合の重みと、ダイナミックレンジが１２８乃至２５５の場合の重みとの差が中になっている。また、図６Ｃの重み付け特性は、ダイナミックレンジが０乃至１２７の場合の重みと、ダイナミックレンジが１２８乃至２５５の場合の重みとの差が小になっている。
【０１２９】
さらに、図６Ｄ乃至図６Ｆの重み付け特性は、ダイナミックレンジが小さいほど、重みが１より大の値になり、ダイナミックレンジが大きくなるほど、重みが１に近づくものとなっている。但し、図６Ｄの重み付け特性は、ダイナミックレンジが大きくなるほど、重みが、指数関数的に小さくなるようになっている。また、図６Ｅの重み付け特性は、重みが、ダイナミックレンジに比例して小さくなるようになっている。さらに、図６Ｆの重み付け特性は、重みが、ダイナミックレンジが小さい場合には、徐々に変化するが、ダイナミックレンジが大きい場合には、急激に変化するようになっている。
【０１３０】
なお、重み制御回路７１に記憶させる重み付け特性は、図６に示したものに限定されるものではない。
【０１３１】
また、図６に示した重み付け特性は、いずれも、ダイナミックレンジが小さい場合の重みが、ダイナミックレンジが大きい場合の重みよりも大になっているが、これは、次のような理由による。
【０１３２】
即ち、前述したように、予測タップのダイナミックレンジが大きい場合には、ＤＲマスキング効果によって、予測タップの変動による、求められるＨＤ画素への影響が抑えられるが、予測タップのダイナミックレンジが小さい場合には、ＤＲマスキング効果がほとんど働かず、予測タップの変動は、求められるＨＤ画素に大きな変動を与える。
【０１３３】
従って、予測タップのダイナミックレンジが小さい場合には、予測タップのダイナミックレンジが大きい場合に比較して、式（１）で求められるＨＤ画素ｙの予測値の予測精度を高くする必要がある。即ち、予測タップのダイナミックレンジが小さい場合には、予測タップのダイナミックレンジが大きい場合に比較して、式（３）で表される予測誤差ｅ_kが小さくなるように、式（１）の予測タップｗ_nの学習を行う必要がある。これは、予測タップのダイナミックレンジが小さい場合は、予測タップのダイナミックレンジが大きい場合よりも大きな重み付けを行って、学習を行うことにより実現することができる。このため、重み制御回路７１に記憶された重み付け特性は、ダイナミックレンジが小さい場合の重みが、ダイナミックレンジが大きい場合の重みよりも大となるようになっている。
【０１３４】
次に、図７のフローチャートを参照して、図４の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０１３５】
まず最初に、ステップＳ２１において、学習対生成回路６２は、学習用データベース６１から学習用の画像データを読み出し、教師データと生徒データを生成する。さらに、ステップＳ２１では、学習対生成回路６２は、その教師データと生徒データとをセットにすることで学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０１３６】
そして、ステップＳ２２に進み、クラスタップ生成回路６４は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ２３に進む。ステップＳ２３では、クラスタップ生成回路６４と予測タップ生成回路６５は、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成し、そのクラスタップと予測タップを、クラス分類回路６６と足し込み回路６７にそれぞれ供給して、ステップＳ２４に進む。なお、予測タップ生成回路６５は、予測タップを、ＤＲ検出回路７０にも供給する。
【０１３７】
ステップＳ２４では、クラス分類回路６６が、図２のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路６７に供給して、ステップＳ２５に進む。
【０１３８】
ステップＳ２５では、ＤＲ検出回路７０が、予測タップ生成回路６５からの予測タップのダイナミックレンジを検出し、重み制御回路７１に供給して、ステップＳ２６に進む。ステップＳ２６では、重み制御回路７１は、ＤＲ検出回路７０から供給されるダイナミックレンジに基づいて、注目画素と予測タップに対する重みを決定し、その重みを表す重み情報を、足し込み回路６７に供給する。
【０１３９】
そして、ステップＳ２７に進み、足し込み回路６７が、クラス分類回路６６から供給されるクラスコードが表す注目画素のクラスごとに、予測タップ生成回路６５から供給される予測タップ、学習対データベース６３に記憶された注目画素としての教師データ、および重み制御回路７１から供給される重み情報が表す重みを対象とした、上述した式（２０）における足し込みを行い、ステップＳ２８に進む。
【０１４０】
そして、ステップＳ２８では、クラスタップ生成回路６４は、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２８において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあると判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１４１】
また、ステップＳ２８において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがないと判定された場合、足し込み回路６７は、いままでのステップＳ２７における足し込みによって、クラスごとに得られた式（２０）の正規方程式を、タップ係数演算回路６８に供給して、ステップＳ２９に進む。
【０１４２】
ステップＳ２９では、タップ係数演算回路６８は、足し込み回路６７から供給される、各クラスごとの式（２０）の正規方程式を解くことにより、クラスごとのタップ係数を求め、タップ係数メモリ６９に供給して記憶させ、処理を終了する。
【０１４３】
なお、以上のようなタップ係数の学習処理において、用意する学習用の画像データ等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像データを用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する係数種データの学習についても、同様である。
【０１４４】
以上のように、教師データと生徒データとを用い、その教師データと生徒データに対して、生徒データから生成される予測タップのダイナミックレンジに基づく重み付けを行いながら、教師データと生徒データとの関係を、クラスごとに学習することにより、クラスごとのタップ係数を求めるようにしたので、予測タップのダイナミックレンジの全体に亘って、予測精度を高くするタップ係数を得ることができる。
【０１４５】
そして、図２の画像処理装置では、係数RAM５に、そのようなタップ係数が記憶され、そのタップ係数を用いて、ＳＤ画像データがＨＤ画像データに変換されるので、ダイナミックレンジが大きい予測タップが構成される場合と、ダイナミックレンジが小さい予測タップが構成される場合とで、求められるＨＤ画像の画質に差が生じることを防止して、より高画質の画像データを、ユーザに提供することができる。
【０１４６】
なお、上述の場合には、予測タップのアクティビティとして、予測タップのダイナミックレンジを採用することとしたが、アクティビティとしては、例えば、特開平11-27564号公報、特開2000-115721号公報、特開2000-299862号公報、特開2000-348019号公報、特願2000-241803号などに記載されている種類のものを採用することが可能である。
【０１４７】
即ち、特開平11-27564号公報に記載の方法によれば、予測タップのＳＤ画素の自己相関が、アクティビティとして算出される。また、特開2000-115721号公報に記載の方法によれば、予測タップのＳＤ画素が間引かれて補完され、その補間後のＳＤ画素と元の画素との誤差の絶対値和が、アクティビティとして算出される。さらに、特開2000-299862号公報に記載の方法によれば、予測タップのＳＤ画素のＤＣＴ係数などの直交変換係数の分散が、アクティビティとして算出される。さらに、特開2000-348019号公報に記載の方法では、予測タップのＳＤ画素の標準偏差や、分散、差分絶対値和、差分値の差分（２次差分）の絶対値和が、アクティビティとして算出される。また、特願2000-241803号に記載の方法では、予測タップ内のＳＤ画像の動きが、アクティビティとして算出される。
【０１４８】
また、上述の場合には、重み制御回路７１において、足し込み回路６７で求められる式（２０）の重みｈ_kを制御することにより、注目画素と予測タップに対する重み付けを行うようにしたが、その他、重み制御回路７１では、式（８）において、注目画素と予測タップを足し込む回数を制御することにより、実質的に式（２０）の重みｈ_kを制御する場合と同様の、注目画素と予測タップに対する重み付けを行うようにすることが可能である。後述する図１０の重み制御回路７１Ａ乃至７１Ｃや、図１４の重み制御回路１２６においても、同様である。
【０１４９】
上述したように、図４の学習装置においては、教師データと生徒データに対して、生徒データから生成される予測タップのダイナミックレンジに基づく重み付けを行いながら、教師データと生徒データとの関係を、クラスごとに学習することにより、クラスごとのタップ係数を求めるようにしたので、予測タップのダイナミックレンジの全体に亘って、予測精度を高くするタップ係数を得ることができ、さらに、図２の画像処理装置において、そのようなタップ係数を用いて、ＳＤ画像データをＨＤ画像データに変換することにより、前述のＤＲマスキング効果が、予測タップのダイナミックレンジの全体に亘って、例えば同じ程度働いた、定性的に高画質の画像データ（S/N(Signal to Noise ratio)が高いという定量的に高画質である画像データであるとは限らないが、ユーザから見た、いわゆる見た目が良い画像データ）を、ユーザに提供することができる。
【０１５０】
しかしながら、画質の好みには、個人差があり、従って、ＤＲマスキング効果を働かせる程度を、ユーザが調整することが可能であれば、ユーザは、自身の好みに応じた画質の画像を得ることができ、便利である。
【０１５１】
そこで、図８は、ＤＲマスキング効果を働かせる程度を、ユーザが調整することが可能な画像処理装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図８の画像処理装置は、３つのタップ係数メモリ１０１Ａ乃至１０１Ｃ、操作部１０２、およびセレクタ１０３が新たに設けられている他は、図２における場合と同様に構成されている。
【０１５２】
３つのタップ係数メモリ１０１Ａ乃至１０１Ｃには、クラスごとのタップ係数が記憶されている。但し、タップ係数メモリ１０１Ａ乃至１０１Ｃに記憶されているタップ係数それぞれは、例えば、図４の学習装置において、異なる３種類の特性の重み付けをそれぞれ行いながら教師データと生徒データとの関係を学習することにより得られた、３種類の特性の重み付けそれぞれに対応するタップ係数となっている。即ち、タップ係数メモリ１０１Ａ乃至１０１Ｃに記憶されているタップ係数それぞれは、図４の学習装置において、重み制御回路７１に、異なる３種類の重み付け特性を記憶させて学習を行うことにより得られたものとなっている。
【０１５３】
操作部１０２は、ユーザによって操作され、その操作に対応する操作信号を、セレクタ１０３に供給する。
【０１５４】
セレクタ１０３は、操作部１０２からの操作信号に対応して、タップ係数メモリ１０１Ａ乃至１０１Ｃのうちの１つを選択し、その選択したタップ係数メモリに記憶されているタップ係数を読み出す。さらに、セレクタ１０３は、その読み出したタップ係数を係数RAM５に供給して、上書きする形で記憶させる。
【０１５５】
従って、図８の画像処理装置では、ユーザによる操作部１０２の操作に対応した重み付け特性に対応するタップ係数を用いて、ＳＤ画像データがＨＤ画像データに変換される。
【０１５６】
次に、図９のフローチャートを参照して、図８の画像処理装置が行う、ＳＤ画像をＨＤ画像に変換する画像変換処理について説明する。
【０１５７】
フレームメモリ１には、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【０１５８】
そして、ステップＳ３１において、セレクタ１０３は、操作部１０２がユーザによって操作されることにより、その操作に対応する操作信号が供給されたかどうかを判定する。ステップＳ３１において、操作信号が供給されていないと判定された場合、ステップＳ３２をスキップして、ステップＳ３３に進む。
【０１５９】
また、ステップＳ３１において、操作信号が供給されたと判定された場合、ステップＳ３２に進み、セレクタ１０３は、操作部１０２から供給された操作信号に対応して、タップ係数メモリ１０１Ａ乃至１０１Ｃのうちの１つを選択し、その選択したタップ係数メモリに記憶されているタップ係数を読み出して、係数RAM５に供給し、上書きする形で記憶させる。
【０１６０】
そして、ステップＳ３３に進み、ステップＳ３３乃至Ｓ３８において、図３のステップＳ１乃至Ｓ６における場合とそれぞれ同様の処理が行われる。
【０１６１】
即ち、ステップＳ３３では、クラスタップ生成回路２は、まだ求めてられていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ３４に進む。
【０１６２】
ステップＳ３４では、クラスタップ生成回路２と予測タップ生成回路３が、注目画素の位置に空間的または時間的に近い複数のＳＤ画素を、フレームメモリ１に記憶されたＳＤ画像から抽出することにより、クラスタップと予測タップをそれぞれ生成し、クラス分類回路４と予測演算回路６にそれぞれ供給する。
【０１６３】
そして、ステップＳ３５に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に対して、アドレスとして出力して、ステップＳ３６に進む。ステップＳ３６では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【０１６４】
その後、ステップＳ３７に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ３８に進む。
【０１６５】
ステップＳ３８では、クラスタップ生成回路２が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ３１に戻り、以下、同様の処理を繰り返す。
【０１６６】
また、ステップＳ３８において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【０１６７】
従って、図８の画像処理装置では、ユーザによる操作部１０２の操作に対応して、所定の重み付け特性に対応するタップ係数を用いて、ＳＤ画像データがＨＤ画像データに変換されるので、ユーザは、操作部１０２を操作することにより、ＤＲマスキング効果を働かせる程度を調整した、自身の好みに応じた画質の画像を得ることができる。
【０１６８】
なお、図８の画像処理装置では、３種類の重み付け特性それぞれに対応するタップ係数をあらかじめ記憶しておき、その中から、ＳＤ画像データをＨＤ画像データに変換するのに用いるものを選択するようにしたが、画像処理装置においては、２種類または４種類以上の重み付け特性それぞれに対応するタップ係数を記憶しておくようにすることも可能である。
【０１６９】
次に、上述の場合には、図４の学習装置において、重み制御回路７１に、異なる３種類の重み付け特性を順次記憶させて繰り返し学習を行うことにより得られた、３種類の重み付け特性に対応するタップ係数を、タップ係数メモリ１０１Ａ乃至１０１Ｃにそれぞれ記憶させるようにしたが、タップ係数メモリ１０１Ａ乃至１０１Ｃにそれぞれ記憶させる３種類の重み付け特性に対応するタップ係数は、一度の学習によって求めることが可能である。
【０１７０】
図１０は、一度の学習によって、３種類の重み付け特性に対応するタップ係数を求める学習装置の一実施の形態の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１０の学習装置においては、図４の学習装置に対して、スイッチ制御回路９１、並びにスイッチ９２および９３が新たに設けられている。また、図１０の学習装置においては、図４の学習装置における１つの重み制御回路７１に代えて、３つの重み制御回路７１Ａ乃至７１Ｃが設けられているとともに、１つのタップ係数メモリ６９に代えて、３つのタップ係数メモリ６９Ａ乃至６９Ｃが設けられている。
【０１７１】
タップ係数メモリ６９Ａ乃至６９Ｃそれぞれは、タップ係数演算回路６８が出力する、後述する３種類の重み付け特性に対応するクラスごとのタップ係数を記憶する。重み制御回路７１Ａ乃至７１Ｃそれぞれは、異なる重み付け特性を記憶しており、その記憶している重み付け特性にしたがい、スイッチ９２を介してＤＲ検出回路７０から供給される予測タップのダイナミックレンジに対応する重みを決定し、その重みを表す重み情報を、スイッチ９３を介して、足し込み回路６７に供給する。
【０１７２】
スイッチ制御回路９１は、予測タップ生成回路６５において、注目画素について予測タップが生成されるタイミングを監視しており、そのタイミングを基準に、スイッチ９２と９３を制御する。
【０１７３】
スイッチ９２は、スイッチ制御回路９１の制御にしたがい、重み制御回路７１Ａ乃至７１Ｃのうちの１つを選択し、その選択した重み制御回路に、ＤＲ検出回路７０が出力する予測タップのダイナミックレンジを供給する。スイッチ９３も、やはり、スイッチ制御回路９１の制御にしたがい、重み制御回路７１Ａ乃至７１Ｃのうちの１つを選択し、その選択した重み制御回路が出力する重み情報を、足し込み回路６７に供給する。
【０１７４】
次に、図１１のフローチャートを参照して、図１０の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０１７５】
ステップＳ４１乃至Ｓ４５では、図７のステップＳ２１乃至Ｓ２５における場合とそれぞれ同様の処理が行われる。
即ち、ステップＳ４１において、学習対生成回路６２は、学習用データベース６１から学習用の画像データを読み出し、教師データと生徒データのセットである学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０１７６】
そして、ステップＳ４２に進み、クラスタップ生成回路６４は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ４３に進む。ステップＳ４３では、クラスタップ生成回路６４と予測タップ生成回路６５は、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成する。クラスタップは、クラスタップ生成回路６４からクラス分類回路６６に供給され、予測タップは、予測タップ生成回路６５から足し込み回路６７とＤＲ検出回路７０に供給される。
【０１７７】
そして、ステップＳ４４に進み、クラス分類回路６６が、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路６７に供給して、ステップＳ４５に進む。
【０１７８】
ステップＳ４５では、ＤＲ検出回路７０が、予測タップ生成回路６５からの予測タップのダイナミックレンジを検出して出力する。このＤＲ検出回路７０が出力する予測タップのダイナミックレンジは、スイッチ９２に供給される。
【０１７９】
そして、ステップＳ４６に進み、スイッチ制御回路９１は、ステップＳ４３で、予測タップ生成回路３において予測タップが生成されたのに同期して、重み制御回路７１Ａ乃至７１Ｃそれぞれに記憶された３種類の重み付け特性のうち、注目画素に対して、まだ、注目重み付け特性として選択していないものの１つを、注目重み付け特性として選択する。さらに、ステップＳ４６では、スイッチ制御回路９１は、重み制御回路７１Ａ乃至７１Ｃの中から、注目重み付け特性を記憶している重み制御回路（以下、適宜、注目重み制御回路という）を選択するように、スイッチ９２および９３を制御し、ステップＳ４７に進む。
【０１８０】
ここで、このステップＳ４６の処理によって、ＤＲ検出回路７０と注目重み制御回路とが、スイッチ９２を介して接続されるとともに、注目重み制御回路と足し込み回路６７とが、スイッチ９３を介して接続される。
【０１８１】
ステップＳ４７では、注目重み制御回路が、スイッチ９２を介して、ＤＲ検出回路７０が出力する予測タップのダイナミックレンジを受信し、そのダイナミックレンジに基づき、自身が記憶している注目重み付け特性にしたがい、注目画素と予測タップに対する重みを決定する。さらに、ステップＳ４７では、注目重み制御回路が、その決定した重みを表す重み情報を、スイッチ９３を介して、足し込み回路６７に供給する。
【０１８２】
そして、ステップＳ４８に進み、足し込み回路６７が、クラス分類回路６６から供給されるクラスコードが表す注目画素のクラスごとに、予測タップ生成回路６５から供給される予測タップ、学習対データベース６３に記憶された注目画素としての教師データ、および注目重み制御回路からスイッチ９３を介して供給される重み情報が表す重みを対象とした、上述した式（２０）における足し込みを行い、ステップＳ４９に進む。
【０１８３】
ここで、ステップＳ４８において、足し込み回路６７は、式（２０）の足し込みを、重み制御回路７１Ａ乃至７１Ｃに記憶された重み付け特性ごとに行う。従って、図１０の実施の形態では、足し込み回路６７において、３つの重み付け特性それぞれについて、１以上のクラスごとに、式（２０）の正規方程式が、独立にたてられる。
【０１８４】
ステップＳ４９では、スイッチ制御回路９１が、注目画素に対して、重み制御回路７１Ａ乃至７１Ｃそれぞれに記憶された３種類の重み付け特性すべてを、注目重み付け特性として選択したかどうかを判定する。
【０１８５】
ステップＳ４９において、注目画素に対して、３種類の重み付け特性すべてを、まだ、注目重み付け特性として選択していないと判定された場合、ステップＳ４６に戻り、以下、同様の処理を繰り返す。
【０１８６】
即ち、この場合、ステップＳ４６では、３種類の重み付け特性のうち、注目画素に対して、まだ、注目重み付け特性として選択していないものの１つが、新たに注目重み付け特性として選択され、以下、同様の処理が繰り返される。
【０１８７】
また、ステップＳ４９において、注目画素に対して、３種類の重み付け特性すべてを、注目重み付け特性として選択したと判定された場合、ステップＳ５０に進み、クラスタップ生成回路６４は、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ５０において、学習対データベース６３に記憶された教師データの中に、まだ注目画素としていないものがあると判定された場合、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１８８】
また、ステップＳ５０において、学習対データベース６３に記憶された教師データの中に、注目画素としていないものがないと判定された場合、足し込み回路６７は、いままでのステップＳ４８における足し込みによって、３種類の重み付け特性それぞれについて、クラスごとに得られた式（２０）の正規方程式を、タップ係数演算回路６８に供給して、ステップＳ５１に進む。
【０１８９】
ステップＳ５１では、タップ係数演算回路６８は、足し込み回路６７から供給される、３種類の重み付け特性それぞれについての、各クラスごとの式（２０）の正規方程式を解くことにより、３種類の重み付け特性それぞれに対応するクラスごとのタップ係数を求め、タップ係数メモリ６９Ａ乃至６９Ｃにそれぞれ供給して記憶させ、処理を終了する。
【０１９０】
ところで、図８の画像処理装置によれば、上述したように、ユーザは、操作部１０２を操作することにより、３種類の重み付け特性のうちの任意の１つに対応するタップ係数を用いてＳＤ画像データを変換したＨＤ画像データを得ることができる。従って、ユーザは、３種類のＨＤ画像データの中から、自身の好みの画質のものを選択することができる。
【０１９１】
しかしながら、この場合、３種類のＨＤ画像データの中に、ユーザの好みの画質のものがないことがある。
【０１９２】
そこで、図８の画像処理装置に、より多くの種類の重み付け特性に対応するタップ係数を記憶させておき、その中から、ＳＤ画像データをＨＤ画像データに変換するのに用いるタップ係数を選択可能とする方法がある。
【０１９３】
しかしながら、図８の画像処理装置に、多くの種類の重み付け特性に対応するタップ係数を記憶させておく場合には、そのタップ係数を記憶させておくためのメモリが必要となり、装置規模が大になる。
【０１９４】
さらに、図８の画像処理装置に、多くの種類の重み付け特性に対応するタップ係数を記憶させた場合であっても、記憶されていない重み付け特性に対応するタップ係数によって得られる画質のＨＤ画像データは得ることができない。
【０１９５】
そこで、図１２は、任意の重み付け特性に対応するタップ係数を生成し、そのタップ係数を用いて、ＳＤ画像データを、ユーザの好みに合致した画質のＨＤ画像データに変換する画像処理装置の一実施の形態の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１２の画像処理装置は、操作部１１１、パラメータメモリ１１２、係数生成回路１１３、および係数種RAM１１４が新たに設けられている他は、図２における場合と同様に構成されている。
【０１９６】
操作部１１１は、ユーザによって、重み付け特性を表すパラメータｚを入力するときに操作され、その操作に対応したパラメータｚを、パラメータメモリ１１２に供給する。
【０１９７】
パラメータメモリ１１２は、操作部１１１から供給されるパラメータｚを、上書きする形で記憶する。
【０１９８】
係数生成回路１１３は、パラメータメモリ１１２に記憶されたパラメータｚに基づき、そのパラメータｚが表す重み付け特性に対応するクラスごとのタップ係数を、係数種RAM１１４に記憶されたクラスごとの係数種データを用いて生成し、係数RAM５に供給して、上書きする形で記憶させる。
【０１９９】
係数種RAM１１４は、後述する図１４の学習装置によって求められる、クラスごとのタップ係数を生成する元となる、クラスごとの係数種データを記憶している。
【０２００】
次に、図１３のフローチャートを参照して、図１２の画像処理装置による画像変換処理について説明する。
【０２０１】
画像処理装置において、フレームメモリ１には、図２における場合と同様に、画像変換処理の対象としてのＳＤ画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給されるＳＤ画像が順次記憶されていく。
【０２０２】
そして、ステップＳ６１において、パラメータメモリ１１２は、操作部１１１が操作されることにより、新たなパラメータｚが操作部１１１から供給されたかどうかを判定する。
【０２０３】
ステップＳ６１において、操作部１１１からパラメータメモリ１１２に対して、新たなパラメータｚが供給されたと判定された場合、ステップＳ６２に進み、パラメータメモリ１１２は、その新たなパラメータｚを上書きする形で記憶し、ステップＳ６３に進む。
【０２０４】
また、ステップＳ６１において、操作部１１１からパラメータメモリ１１２に対して、新たなパラメータｚが供給されていないと判定された場合、ステップＳ６２をスキップして、ステップＳ６３に進む。
【０２０５】
従って、ユーザが、操作部１１１を操作することにより、新たなパラメータｚが入力された場合、その新たなパラメータｚによって、パラメータメモリ１１２の記憶内容が更新される。
【０２０６】
ステップＳ６３では、係数生成回路１１３が、係数種RAM１１４からクラスごとの係数種データを読み出すとともに、パラメータメモリ１１２からパラメータｚを読み出し、パラメータｚが表す重み付け特性に対応するクラスごとのタップ係数を、係数種データから求める。そして、ステップＳ６４に進み、係数生成回路１１３は、そのクラスごとのタップ係数を、係数RAM５に供給し、上書きする形で記憶させる。
【０２０７】
その後、ステップＳ６５乃至Ｓ７０に順次進み、図３のステップＳ１乃至Ｓ６における場合とそれぞれ同様の処理が行われる。
【０２０８】
即ち、ステップＳ６５では、クラスタップ生成回路２は、まだ求めていないＨＤ画素のうちの１つを注目画素として選択し、ステップＳ６６に進む。ステップＳ６６では、クラスタップ生成回路２と予測タップ生成回路３は、注目画素について、クラスタップと予測タップをそれぞれ生成し、クラスタップをクラス分類回路４に、予測タップを予測演算回路６にそれぞれ供給する。
【０２０９】
そして、ステップＳ６７に進み、クラス分類回路４は、クラスタップ生成回路２から供給されるクラスタップに基づき、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数RAM５に供給して、ステップＳ６９に進む。ステップＳ６９では、係数RAM５は、クラス分類回路４からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、これにより、注目画素のクラスのタップ係数を取得して、予測演算回路６に供給する。
【０２１０】
ここで、係数RAM５には、上述したように、係数生成回路１１３において生成された、パラメータメモリ１１２に記憶されたパラメータｚが表す重み付け特性に対応するタップ係数が記憶されている。従って、予測演算回路６には、そのようなタップ係数が供給される。
【０２１１】
その後、ステップＳ６９に進み、予測演算回路６は、予測タップ生成回路３からの予測タップと、係数RAM５からのタップ係数とを用いて、式（１）に示した演算を行い、注目画素であるＨＤ画素ｙ（の予測値）を求め、ステップＳ７０に進む。
【０２１２】
ここで、予測演算回路６は、図２における場合と同様に、１フレーム分のＨＤ画素が求められるまで、ステップＳ６９で得られたＨＤ画素を記憶しており、１フレーム分のＨＤ画素が求められると、そのＨＤ画素で構成される１フレームのＨＤ画像を出力する。
【０２１３】
ステップＳ７０では、クラスタップ生成回路２が、まだ、注目画素としていないＨＤ画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ６１に戻り、以下、同様の処理を繰り返す。
【０２１４】
また、ステップＳ７０において、注目画素としていないＨＤ画素が存在しないと判定された場合、処理を終了する。
【０２１５】
以上のように、重み付け特性を表すパラメータｚを、ユーザが操作部１１１を操作することによって入力可能としたので、ユーザは、操作部１１１を操作することによって重み付け特性を変更することができ、自身の好みにあった画質のＨＤ画像を得ることができる。
【０２１６】
なお、図１３において、ステップＳ６３およびＳ６４の処理は、パラメータメモリ１１２に、異なる値の新たなパラメータｚが上書きされた場合にのみ行い、他の場合はスキップすることが可能である。
【０２１７】
次に、図１２の係数生成回路１１３によるタップ係数の生成、および係数種RAM１１４に記憶させる係数種データの学習について説明する。
【０２１８】
図１２の実施の形態では、係数生成回路１１３において、式（１）の演算に用いられるタップ係数ｗ_nが、係数種RAM１１４に記憶された係数種データと、パラメータメモリ１１２に記憶されたパラメータｚとから生成される。そこで、いま、係数生成回路１１３におけるタップ係数ｗ_nの生成が、例えば、係数種データとパラメータを用いた次式によって行われることとする。
【０２１９】
【数２１】

【０２２０】
但し、式（２１）において、β_m,nは、ｎ番目のタップ係数ｗ_nを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（２１）では、タップ係数ｗ_nが、Ｍ個の係数種データβ_n,1，β_n,2，・・・，β_n,Mを用いて求められるようになっている。
【０２２１】
ここで、タップ係数ｗ_nを求める式は、式（２１）に限定されるものではない。
【０２２２】
いま、式（２１）におけるパラメータｚによって決まる値ｚ^m-1を、新たな変数ｔ_mを導入して、次式で定義する。
【０２２３】
【数２２】

【０２２４】
式（２２）を、式（２１）に代入することにより、次式が得られる。
【０２２５】
【数２３】

【０２２６】
式（２３）によれば、タップ係数ｗnは、係数種データβn,mと変数ｔmとの線形１次式によって求められることになるが、いま、この式（２３）によって求められるタップ係数を、ｗn'と表すこととすると、次の式（２４）で表される、式（４）の自乗誤差の総和を最小にするタップ係数（以下、適宜、最適なタップ係数という）ｗnと式（２３）により求められるタップ係数ｗn'との誤差ｅnを０とする係数種データβn,mが、最適なタップ係数ｗnを求めるのに最適なものとなる。
【０２２７】
【数２４】

【０２２８】
しかしながら、すべてのタップ係数ｗnについて、式（２４）の誤差ｅｎを０とする係数種データβn,mを求めることは、一般には困難である。
【０２２９】
そこで、係数種データβn,mが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、まず、式（２４）は、式（２３）によって、次式のように変形することができる。
【０２３０】
【数２５】

【０２３１】
そして、最小自乗法によれば、最適な係数種データβn,mは、次式で表される、式（２５）の誤差ｅｎの自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２３２】
【数２６】

【０２３３】
式（２６）の自乗誤差の総和Ｅの最小値（極小値）は、式（２７）に示すように、総和Ｅを係数種データβn,mで偏微分したものを０とするβn,mによって与えられる。
【０２３４】
【数２７】

【０２３５】
式（２５）を、式（２７）に代入することにより、次式が得られる。
【０２３６】
【数２８】

【０２３７】
いま、Ｘi,j,とＹ_iを、式（２９）と（３０）に示すように定義する。
【０２３８】
【数２９】

【数３０】

【０２３９】
この場合、式（２８）は、Ｘ_i,jとＹ_iを用いた式（３１）に示す正規方程式で表すことができる。
【０２４０】
【数３１】

【０２４１】
式（３１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_n,mについて解くことができる。
【０２４２】
次に、図１４は、式（３１）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の一実施の形態の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１４の学習装置は、足し込み回路６７、タップ係数演算回路６８、およびタップ係数メモリ６９に代えて、足し込み回路１２１、タップ係数演算回路１２２、足し込み回路１２３、係数種演算回路１２４、および係数種データメモリ１２５が設けられているとともに、重み制御回路７１に代えて、重み制御回路１２６が設けられ、さらに、パラメータ生成回路１２７が新たに設けられている他は、図４における場合と同様に構成されている。
【０２４３】
足し込み回路１２１、タップ係数演算回路１２２、足し込み回路１２３、および係数種演算回路１２４は、学習対データベース６３に記憶された学習対データにおける、注目画素となっている教師データと、予測タップ生成回路６５から供給される予測タップに対して、重み制御回路１２６からの制御にしたがった重み付けを行いながら、学習対データベース６３に記憶された学習対データとしての教師データと生徒データとの関係を、クラス分類回路６６から供給されるクラスごとに学習することにより、クラスごとの係数種データを求める。
【０２４４】
即ち、足し込み回路１２１には、学習対データベースに記憶された注目画素としての教師データ、予測タップ生成回路６５が出力する注目画素についての予測タップ、クラス分類回路６６が出力する注目画素についてのクラスコード、重み制御回路１２６が出力する重み情報、およびパラメータ生成回路１２７が出力するパラメータｚが供給される。
【０２４５】
足し込み回路１２１は、図４の足し込み回路６７と同様に、注目画素ｙ_k、予測タップを構成するＳＤ画素ｘ_n,k、および重み情報が表す重みｈ_kを対象として、式（２０）における左辺の行列と右辺のベクトルを構成する各コンポーネントを求める足し込みを行う。但し、図４の足し込み回路６７は、式（２０）の足し込みを、クラスごとのみに行うが、足し込み回路１２１は、式（２０）の足し込みを、クラスごとに、かつパラメータｚの値ごとに行う。
【０２４６】
即ち、足し込み回路１２１は、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路１２７が出力するパラメータｚの値ごとに、予測タップｘ_n,kを用い、式（２０）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',kｈ_k）と、サメーション（Σ）に相当する演算を行う。
【０２４７】
さらに、足し込み回路１２１は、やはり、クラス分類回路６６から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成回路１２７が出力するパラメータｚの値ごとに、予測タップｘ_n,kと教師データｙ_kを用い、式（２０）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_kｈ_k）と、サメーション（Σ）に相当する演算を行う。
【０２４８】
具体的には、足し込み回路１２１は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',kｈ_k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_kｈ_k）を、その内蔵するメモリ（図５に示した足し込み回路６７を構成するメモリ８３と８４に相当するメモリ）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',kｈ_k）またはベクトルのコンポーネント（Σｘ_n,kｙ_kｈ_k）に対して、新たに注目画素とされた教師データについて、その注目画素ｙ_k+1および予測タップｘ_n,k+1、並びに重みｈ_k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1ｈ_k+1またはｘ_n,k+1ｙ_k+1ｈ_k+1をそれぞれ足し込む（式（２０）のサメーションで表される加算を行う）。
【０２４９】
そして、足し込み回路１２１は、学習対データベース６３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（２０）に示した正規方程式をたてると、その正規方程式を、タップ係数演算回路１２２に供給する。
【０２５０】
タップ係数演算回路１２２は、足し込み回路１２１から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗ_nを求め、足し込み回路１２３に供給する。
【０２５１】
足し込み回路１２３は、各クラスごとに、パラメータｚ（に対応する変数ｔ_m）と、最適なタップ係数ｗ_nを対象とした足し込みを行う。
【０２５２】
即ち、足し込み回路１２３は、パラメータｚから式（２２）によって求められる変数ｔ_i（ｔ_j）を用い、式（３１）の左辺の行列における、式（２９）で定義されるコンポーネントＸ_i,jを求めるためのパラメータｚに対応する変数ｔ_i（ｔ_j）どうしの乗算（ｔ_iｔ_j）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２５３】
ここで、コンポーネントＸ_i,jは、パラメータｚによってのみ決まるものであり、注目画素のクラスとは関係がないので、コンポーネントＸ_i,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０２５４】
さらに、足し込み回路１２３は、パラメータｚから式（２２）によって求められる変数ｔ_iと、最適なタップ係数ｗ_nとを用い、式（３１）の右辺のベクトルにおける、式（３０）で定義されるコンポーネントＹ_iを求めるためのパラメータｚに対応する変数ｔ_iおよび最適なタップ係数ｗ_nの乗算（ｔ_iｗ_n）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２５５】
足し込み回路１２３は、各クラスごとに、式（２９）で表されるコンポーネントＸ_i,jと、式（３０）で表されるコンポーネントＹ_iを求めることにより、各クラスについて、式（３１）の正規方程式をたてると、その正規方程式を、係数種演算回路１２４に供給する。
【０２５６】
係数種演算回路１２４は、足し込み回路１２３から供給されるクラスごとの式（３１）の正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求めて出力する。
【０２５７】
係数種データメモリ１２５は、係数種演算回路１２４が出力するクラスごとの係数種データβ_m,nを記憶する。
【０２５８】
重み制御回路１２６は、図４の重み制御回路７１と同様に、ＤＲ検出回路７０から供給される予測タップのアクティビティとしてのダイナミックレンジに基づいて、注目画素とその予測タップに対する、上述の足し込み回路１２１における重み付けを制御する。
【０２５９】
但し、重み制御回路１２６には、パラメータ生成回路１２７が出力するパラメータｚが供給されるようになっている。そして、重み制御回路１２６は、複数種類の重み付け特性を、パラメータ生成回路１２７が出力するパラメータｚの各値と対応付けて記憶しており、パラメータ生成回路１２７が出力するパラメータｚに対応付けられている重み特性にしたがい、ＤＲ検出回路７０から供給される予測タップのダイナミックレンジに対応する重みｈを求め、その重みｈによって、注目画素と予測タップに対する重み付けを行うことを指示する重み情報を、足し込み回路１２１に供給する。
【０２６０】
ここで、重み制御回路１２６に記憶させる複数種類の重み付け特性としては、例えば、図６Ａ乃至図６Ｃに示したような、２値の重みを取り得るステップ状の関数であって、その２値の重みのうちのいずれか一方または両方が、パラメータｚの値に対応して大きくなっていく、あるいは小さくなっていく関数を採用することができる。また、複数種類の重み付け特性としては、図６Ａ乃至図６Ｃに示したようなステップ状の関数であって、２値の重みの切り換えが行われるダイナミックレンジの閾値が、パラメータｚの値に対応して変化する関数を採用することもできる。さらに、複数種類の重み付け特性としては、例えば、図６Ｄ乃至図６Ｆに示したような、重みが、ダイナミックレンジに応じて滑らかに変化する関数であって、その関数の形状（変化の仕方）が、パラメータｚの値に対応して変化する関数を採用することもできる。
【０２６１】
パラメータ生成回路１２７は、図１２の操作部１１１がパラメータメモリ１１２に供給するパラメータｚが取り得る範囲の幾つかの値としての、例えば、ｚ＝０，１，・・・，Ｚを生成し、足し込み回路１２１と重み制御回路１２６に供給する。
【０２６２】
ここで、パラメータ生成回路１２７が出力するパラメータＺとしては、上述のような０，１，・・・，Ｚなどの整数値を採用することができる。一方、図１２の係数生成回路１１３では、タップ係数が、式（２１）に示したように、係数種データβ_m,nとパラメータＺを用いて計算されることから、図１２の操作部１１１が出力するパラメータＺとしては、小数点以下の値を有する実数値などを採用することができる。
【０２６３】
次に、図１５のフローチャートを参照して、図１４の学習装置の処理（学習処理）について説明する。
【０２６４】
まず最初に、ステップＳ７１において、学習対生成回路６２は、図７のステップＳ２１における場合と同様に、学習用データベース６１に記憶された学習用の画像データから、教師データと生徒データとをセットにした学習対データを生成し、学習対データベース６３に供給して記憶させる。
【０２６５】
そして、ステップＳ７２に進み、クラスタップ生成回路６４は、学習対データベース６３に記憶された学習対データにおける教師データとしてのＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択し、ステップＳ７３に進む。
【０２６６】
ステップＳ７３では、パラメータ生成回路１２７が、パラメータｚを、初期値としての、例えば０にセットし、足し込み回路１２１と重み制御回路１２６に供給して、ステップＳ７４に進む。
【０２６７】
ステップＳ７４では、重み制御回路１２６は、足し込み回路１２１における重み付けを制御するのに用いる重み付け特性を決定する。即ち、ステップＳ７４では、重み制御回路１２６は、自身が記憶している複数種類の重み付け特性の中から、パラメータ生成回路１２７から供給されたパラメータｚに対応付けられている重み付け特性を選択し、その重み付け特性（以下、適宜、選択重み付け特性という）を、足し込み回路１２１における重み付けを制御するのに用いる重み付け特性として決定する。
【０２６８】
そして、ステップＳ７５に進み、クラスタップ生成回路６４と予測タップ生成回路６５は、注目画素についてのクラスタップと予測タップを、学習対データベース６３に記憶された生徒データとしてのＳＤ画素から、それぞれ生成する。さらに、ステップＳ７５では、クラスタップ生成回路６４が、クラスタップをクラス分類回路６６に供給するとともに、予測タップ生成回路６５が、予測タップを、ＤＲ検出回路７０と足し込み回路１２１に供給し、ステップＳ７６に進む。
【０２６９】
ステップＳ７６では、クラス分類回路６６が、クラスタップ生成回路６４からのクラスタップを用いて、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み回路１２１に供給して、ステップＳ７７に進む。
【０２７０】
ステップＳ７７では、ＤＲ検出回路７０が、予測タップ生成回路６５からの予測タップのダイナミックレンジを検出し、重み制御回路１２６に供給して、ステップＳ７８に進む。ステップＳ７８では、重み制御回路１２６は、直前のステップＳ７４で決定された選択重み付け特性にしたがい、その選択重み付け特性において、ＤＲ検出回路７０から供給されるダイナミックレンジに対応付けられている重みを、注目画素と予測タップに対する重みとして決定し、その重みを表す重み情報を、足し込み回路１２１に供給する。
【０２７１】
そして、ステップＳ７９に進み、足し込み回路１２１は、学習対データベース６３から注目画素となっている教師データであるＨＤ画素を読み出し、パラメータ生成回路１２７から供給されるパラメータｚについて、注目画素ｙ_k、予測タップ生成回路６５から供給される予測タップｘ_n,k、および重み制御回路１２６から供給される重みｈ_kを用いて、式（２０）における左辺の行列のコンポーネントｘ_n,kｘ_n',kｈ_kと、右辺のベクトルのコンポーネントｘ_n,kｙ_kｈ_kを計算する。さらに、足し込み回路１２１は、パラメータ生成回路１２７から供給されるパラメータｚについて既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類回路６６からのクラスコードに対応するものに対して、注目画素および予測タップから求められた行列のコンポーネントｘ_n,kｘ_n',kｈ_kとベクトルのコンポーネントｘ_n,kｙ_kｈ_kを足し込み、ステップＳ８０に進む。
【０２７２】
ステップＳ８０では、パラメータ生成回路１２７が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ８０において、パラメータ生成回路１２７が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ８１に進み、パラメータ生成回路１２７は、パラメータｚに、例えば１を加算し、その加算値を新たなパラメータとして、足し込み回路１２１と重み制御回路１２６に出力する。そして、ステップＳ７４に戻り、以下、同様の処理が繰り返される。
【０２７３】
即ち、この場合、ステップＳ７４では、重み制御回路１２６は、自身が記憶している複数種類の重み付け特性の中から、パラメータ生成回路１２７から供給される新たなパラメータｚに対応付けられている重み付け特性を選択し、その重み付け特性（選択重み付け特性）を、足し込み回路１２１における重み付けを制御するのに用いる重み付け特性として決定する。そして、以下、同様の処理を繰り返す。
【０２７４】
また、ステップＳ８０において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ８２に進み、クラスタップ生成回路６４が、学習対データベース６３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ８２において、注目画素としていない教師データが、まだ、学習対データベース６３に記憶されていると判定された場合、ステップＳ７２に戻り、以下、同様の処理が繰り返される。
【０２７５】
また、ステップＳ８２において、注目画素としていない教師データが、学習対データベース６３に記憶されていないと判定された場合、足し込み回路１２１は、いままでの処理によって得られた、パラメータｚの各値についての、クラスごとの式（２０）における左辺の行列と、右辺のベクトルを、タップ係数演算回路１２２に供給し、ステップＳ８３に進む。
【０２７６】
ステップＳ８３では、タップ係数演算回路１２２は、足し込み回路１２１から供給される、パラメータｚの各値についての、クラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成される正規方程式を解くことにより、パラメータｚの各値について、各クラスごとのタップ係数ｗ_nを求める。さらに、タップ係数演算回路１２２は、そのパラメータｚの各値について、各クラスごとのタップ係数ｗ_nを、足し込み回路１２３に供給して、ステップＳ８４に進む。
【０２７７】
ステップＳ８４では、足し込み回路１２３は、タップ係数演算回路１２２から供給される、パラメータｚの各値についての、各クラスごとのタップ係数ｗ_nと、そのパラメータｚとを対象として、式（３１）における、式（２９）で定義されるコンポーネントＸ_i,jと、式（３０）で定義されるコンポーネントＹ_iを求めるための足し込みを行う。
【０２７８】
即ち、ステップＳ８４では、足し込み回路１２３は、パラメータｚの各値について、式（２２）によって求められる変数ｔ_i（ｔ_j）を用い、式（３１）の左辺の行列における、式（２９）で定義されるコンポーネントＸ_i,jを求めるためのパラメータｚに対応する変数ｔ_i（ｔ_j）どうしの乗算（ｔ_iｔ_j）と、サメーション（Σ）に相当する演算を行う。さらに、ステップＳ８４では、足し込み回路１２３は、パラメータｚの各値から式（２２）によって求められる変数ｔ_iと、そのパラメータｚの各値についての、タップ係数演算回路１２２からのタップ係数ｗ_nとを用い、式（３１）の右辺のベクトルにおける、式（３０）で定義されるコンポーネントＹ_iを求めるためのパラメータｚに対応する変数ｔ_iおよび最適なタップ係数ｗ_nの乗算（ｔ_iｗ_n）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２７９】
足し込み回路１２３は、各クラスごとに、式（２９）で表されるコンポーネントＸ_i,jと、式（３０）で表されるコンポーネントＹ_iを求め、これにより、各クラスについて、式（３１）の正規方程式をたてると、その正規方程式を、係数種演算回路１２４に供給し、ステップＳ８４からＳ８５に進む。
【０２８０】
ステップＳ８５では、係数種演算回路１２４は、足し込み回路１２３から供給されるクラスごとの式（３１）の正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求め、係数種データメモリ１２５に供給して記憶させ、処理を終了する。
【０２８１】
以上のようにして得られた係数種データが、図１２の画像処理装置における係数種RAM１１４に記憶されている。
【０２８２】
ここで、図８の画像処理装置において、図１４のタップ係数演算回路１２２が出力するパラメータｚの各値ごとの最適なタップ係数ｗ_nを記憶させておき、操作部１０２の操作に対応するパラメータｚに応じた最適なタップ係数を選択して用いることとした場合、図８の画像処理装置には、パラメータｚが取り得る離散値（ここでは、０，１，・・・，Ｚ）の数に比例した大きな容量のメモリが必要となる。これに対して、図１２の画像処理装置では、係数種データが記憶される係数種RAM１１４の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種RAM１１４として、小さな容量のメモリを採用することができる。さらに、係数種データβ_m,nを記憶させておく場合には、その係数種データβ_m,nと、パラメータｚの値とから、式（２１）によりタップ係数ｗ_nが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗ_nを得ることができる。
【０２８３】
そして、図１２の画像処理装置では、上述のように、パラメータｚの値に応じて連続的に変化する重み付け特性に対応するタップ係数を得ることができるので、ユーザは、自身の好みに合致した画質の画像を得ることができる。
【０２８４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２８５】
そこで、図１６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２８６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２８７】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２８８】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２８９】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２９２】
なお、本実施の形態では、本発明を、ＳＤ画像データをＨＤ画像データに変換する場合を例に説明したが、本発明は、その他、例えば、音声データを、より高音質の音声データに変換する場合にも適用可能である。
【０２９３】
さらに、本発明は、ＳＤ画像データを、その画素数を多くしたＨＤ画像データ、即ち、空間解像度を向上させたＨＤ画像データに変換したり、時間方向の解像度（フレームまたはフィールド数）を向上させたＨＤ画像データや、レベル方向の解像度（画素値に割り当てられたビット数）を向上させたＨＤ画像データに変換する場合の他、例えば、画像を拡大する場合などにも適用可能である。
【０２９４】
また、本実施の形態では、画像を変換する画像処理装置と、その画像処理装置で用いるクラスごとのタップ係数または係数種データを学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いるタップ係数を、リアルタイムで更新させるようにすることが可能である。
【０２９５】
さらに、本実施の形態では、係数RAM５に、あらかじめクラスごとのタップ係数を記憶させておくようにしたが、このタップ係数は、例えば、ＳＤ画像とともに、画像処理装置に供給するようにすることも可能である。
【０２９６】
また、本実施の形態では、パラメータｚをユーザに入力させるようにしたが、パラメータｚは、その他、例えば、ＳＤ画像とともに、画像処理装置に供給するようにすることが可能である。
【０２９７】
さらに、本実施の形態では、式（１）の１次式によって、ＨＤ画素を求めるようにしたが、ＨＤ画素は、２次以上の式によって、求めるようにすることも可能である。
【０２９８】
なお、図２や、図８、図１２の画像処理装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、ＤＶＤから画像データを再生して出力するＤＶＤ再生装置、ビデオテープから画像データを再生して出力するＶＴＲその他の画像を処理する装置などに適用可能である。
【０２９９】
ここで、本件出願人は、特開平8-79712号公報において、変換対象の画像を構成する複数の画素のダイナミックレンジをも用いてクラス分類を行い、適応処理によって、画像を、高画質の画像に変換する方法について先に提案している。この特開平8-79712号公報に記載の方法によれば、ダイナミックレンジを考慮したクラスごとのタップ係数、即ち、各ダイナミックレンジに適したタップ係数によって、画像が変換されることから、より高画質の画像を得ることができるという効果を生じる点において、本願発明と共通する。
【０３００】
しかしながら、特開平8-79712号公報に記載の方法は、あくまで、ダイナミックレンジを考慮したクラス分類を行うだけであり、注目画素と予測タップに対して、その予測タップのダイナミックレンジに応じた重み付けをしながら、タップ係数の学習を行い、そのタップ係数を用いて画像を変換する本願発明とは、まったく異質のものである。
【０３０１】
また、本件出願人は、特開2001-8056号公報において、送信側で、ＨＤ画像とＳＤ画像をそれぞれ教師データと生徒データとした学習を、予測誤差が小さい注目画素と予測タップに対して、大きな重み付けをしながら行うことにより、タップ係数を求め、そのタップ係数とＳＤ画像を送信し、受信側で、送信側からのＳＤ画像を、そのＳＤ画像とともに送信されてくるタップ係数を用いて、ＨＤ画像に変換する方法について、先に提案している。この特開2001-8056号公報に記載の方法によれば、タップ係数の学習に用いられたＳＤ画像が、そのタップ係数を用いてＨＤ画像に変換されるので、超高画質のＨＤ画像を得ることができ、従って、高画質のＨＤ画像を得ることができるという効果を生じる点においては、やはり、本願発明と共通する。さらに、特開2001-8056号公報に記載の方法は、タップ係数の学習を、注目画素と予想タップに対して重み付けをしながら行う点においても、本願発明と共通する。
【０３０２】
しかしながら、特開2001-8056号公報に記載の方法では、重み付けが、予測誤差に応じて行われるため、学習により求められたタップ係数を用いて、その学習で用いられたＳＤ画像をＨＤ画像に変換し、さらに、その学習で用いられたＨＤ画像との予測誤差を求めなければならず、その結果、タップ係数を求める学習に比較的多大な時間を要することになる。これに対して、本願発明においては、予測タップのダイナミックレンジ等のアクティビティに応じて重み付けが行われるため、予測誤差を求める必要がないので、高速に、タップ係数の学習を行うことができる。
【０３０３】
さらに、特開2001-8056号公報に記載の方法は、タップ係数の学習が、予測誤差が小さい注目画素と予測タップに対する重み付けを大にして行われるため、その学習に用いられたＳＤ画像については、予測誤差が非常に小さいＨＤ画像を得ることができる。
【０３０４】
しかしながら、特開2001-8056号公報に記載の方法は、予測誤差に応じた重み付けが行われるのに関係して、タップ係数の学習が、予測誤差の値に応じてグループ分けして行われるため、タップ係数を用いた変換の対象となるのは、基本的に、予測誤差を求めることができるＳＤ画像、即ち、タップ係数の学習に用いられたＳＤ画像に限られる。即ち、特開2001-8056号公報に記載の方法により求められたタップ係数は、そのタップ係数の学習に用いられたＳＤ画像でないＳＤ画像の変換には適さない（タップ係数の学習に用いられたＳＤ画像でないＳＤ画像を変換しても、高画質のＨＤ画像を得ることが困難である）。これに対して、本願発明においては、タップ係数の学習に用いたＳＤ画像以外のＳＤ画像であっても、高画質のＨＤ画像に変換することができる。
【０３０５】
【発明の効果】
以上の如く、本発明によれば、データを、より品質の良いデータに変換することが可能となる。
【図面の簡単な説明】
【図１】予測タップの変動に対する予測値の変動を説明するための図である。
【図２】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図３】画像処理装置の処理を説明するフローチャートである。
【図４】本発明を適用した学習装置の第１実施の形態の構成例を示すブロック図である。
【図５】足し込み回路６７の構成例を示すブロック図である。
【図６】重み付け特性の例を示す図である。
【図７】学習装置の処理を説明するフローチャートである。
【図８】本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図９】画像処理装置の処理を説明するフローチャートである。
【図１０】本発明を適用した学習装置の第２実施の形態の構成例を示すブロック図である。
【図１１】学習装置の処理を説明するフローチャートである。
【図１２】本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１３】画像処理装置の処理を説明するフローチャートである。
【図１４】本発明を適用した学習装置の第３実施の形態の構成例を示すブロック図である。
【図１５】学習装置の処理を説明するフローチャートである。
【図１６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ６１ 学習用データベース， ６２ 学習対生成回路， ６３ 学習対データベース， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 足し込み回路， ６８ タップ係数演算回路， ６９，６９Ａ乃至６９Ｃ タップ係数メモリ， ７０ ＤＲ検出回路， ７１，７１Ａ乃至７１Ｃ 重み制御回路， ８１，８２ 加算回路， ８３，８４ メモリ， 画素値記憶部， ９１ スイッチ制御回路， ９２，９３ スイッチ， １０１Ａ乃至１０１Ｃ タップ係数メモリ， １０２ 操作部， １０３ セレクタ， ８３ タップ生成領域決定回路， １１１ 操作部， １１２ パラメータメモリ， １１３ 係数生成回路， １１４ 係数種RAM， １２１ 足し込み回路，１２２ タップ係数演算回路， １２３ 足し込み回路， １２４ 係数種演算回路， １２５ 係数種データメモリ， １２６ 重み制御回路， １２７ パラメータ生成回路， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部，２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (29)

1. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するデータ変換装置であって、
   注目している前記第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第１のデータから抽出するクラスタップ生成手段と、
   前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類手段と、
   前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第１のデータから抽出する予測タップ生成手段と、
   前記第１のデータから前記第２のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記１以上のクラスごとに求めるための学習に用いるための、前記第２のデータに対応する教師データと、前記学習に用いるための、前記第１のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得手段と、
   前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算手段と
   を備えることを特徴とするデータ変換装置。
2. 前記１以上のクラスごとのタップ係数を記憶するタップ係数記憶手段をさらに備える
   ことを特徴とする請求項１に記載のデータ変換装置。
3. 複数の特性の重み付けをそれぞれ行いながら前記教師データと前記生徒データとの関係を学習することにより得られた、前記複数の特性の重み付けそれぞれに対応するタップ係数から、所定の特性の重み付けに対応するタップ係数を選択するタップ係数選択手段をさらに備え、
   前記タップ係数取得手段は、前記タップ係数選択手段によって選択された所定の特性の重み付けに対応するタップ係数から、前記注目データのクラスのタップ係数を取得する
   ことを特徴とする請求項１に記載のデータ変換装置。
4. ユーザによって操作される操作手段をさらに備え、
   前記タップ係数選択手段は、前記操作手段の操作にしたがった特性の重み付けに対応するタップ係数を選択する
   ことを特徴とする請求項３に記載のデータ変換装置。
5. 前記タップ係数の元となる係数種データが、複数の特性の重み付けをそれぞれ行いながら前記教師データと前記生徒データとの関係を学習することにより得られた、前記複数の特性の重み付けそれぞれに対応するタップ係数を更なる教師データとし、前記重み付けの特性を表すパラメータを更なる生徒データとした学習により、前記１以上のクラスごとに求められ、前記係数種データとパラメータとの線形結合により、そのパラメータが表す重み付けの特性に対応するタップ係数を生成するタップ係数生成手段をさらに備える
   ことを特徴とする請求項１に記載のデータ変換装置。
6. 前記タップ係数の元となる係数種データを記憶する係数種記憶手段をさらに備える
   ことを特徴とする請求項５に記載のデータ変換装置。
7. 前記タップ係数生成手段は、前記係数種データと、前記重み付けの特性を表すパラメータとを用いて、そのパラメータが表す特性の重み付けに対応するタップ係数を生成する
   ことを特徴とする請求項５に記載のデータ変換装置。
8. 前記パラメータを入力する入力手段をさらに備える
   ことを特徴とする請求項５に記載のデータ変換装置。
9. 前記第１と第２のデータは、それぞれ、第１と第２の画像データである
   ことを特徴とする請求項１に記載のデータ変換装置。
10. 前記アクティビティは、前記予測タップのダイナミックレンジの大きさである
    ことを特徴とする請求項１に記載のデータ変換装置。
11. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するデータ変換方法であって、
    注目している前記第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第１のデータから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第１のデータから抽出する予測タップ生成ステップと、
    前記第１のデータから前記第２のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記１以上のクラスごとに求めるための学習に用いるための、前記第２のデータに対応する教師データと、前記学習に用いるための、前記第１のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得ステップと、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算ステップと
    を備えることを特徴とするデータ変換方法。
12. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
    注目している前記第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第１のデータから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第１のデータから抽出する予測タップ生成ステップと、
    前記第１のデータから前記第２のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記１以上のクラスごとに求めるための学習に用いるための、前記第２のデータに対応する教師データと、前記学習に用いるための、前記第１のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒デー タとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得ステップと、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算ステップと
    を備えることを特徴とするプログラム。
13. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    注目している前記第２のデータである注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記注目データの周辺に位置する前記第１のデータから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記第１のデータから抽出する予測タップ生成ステップと、
    前記第１のデータから前記第２のデータを予測する際に前記予測タップである複数のデータサンプルの値と線形結合するためのタップ係数を前記１以上のクラスごとに求めるための学習に用いるための、前記第２のデータに対応する教師データと、前記学習に用いるための、前記第１のデータに対応する生徒データとを用い、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入する際に当該予測タップのアクティビティが小さい程大きくなるような重み付けを行うことにより、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習し、前記正規方程式を解くことにより得られたタップ係数から、前記注目データのクラスのタップ係数を取得するタップ係数取得ステップと、
    前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により、前記注目データを求める演算ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
14. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数を学習する学習装置であって、
    前記タップ係数の学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒データから抽出するクラスタップ生成手段と、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとして の予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記タップ係数を求める学習手段と、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習手段における重み付けを制御する重み付け制御手段と
    を備えることを特徴とする学習装置。
15. 前記学習手段は、前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により前記注目データを求めるためのタップ係数を学習する
    ことを特徴とする請求項１４に記載の学習装置。
16. 前記重み付け制御手段は、複数の特性の重み付けそれぞれにしたがい、前記予測タップのアクティビティに基づいて、前記注目データと予測タップに対する重み付けを制御し、
    前記学習手段は、前記注目データと予測タップに対して、前記複数の特性の重み付けをそれぞれ行いながら、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習することにより、前記複数の特性の重み付けそれぞれ対応する、前記１以上のクラスごとの前記タップ係数を求める
    ことを特徴とする請求項１４に記載の学習装置。
17. 前記第１と第２のデータは、画像データである
    ことを特徴とする請求項１４に記載の学習装置。
18. 前記アクティビティは、前記予測タップのダイナミックレンジの大きさである
    ことを特徴とする請求項１４に記載の学習装置。
19. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数を学習する学習方法であって、
    前記タップ係数の学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記タップ係数を求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とする学習方法。
20. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムであって、
    前記タップ係数の学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記タップ係数を求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とするプログラム。
21. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記タップ係数の学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒データから抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記教師データと前記生徒データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記タップ係数を求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
22. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習装置であって、
    前記係数種データの学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒から抽出するクラスタップ生成手段と、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類手段と、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成手段と、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記係数種データを求める学習手段と、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出手段と、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習手段における重み付けを制御する重み付け制御手段と
    を備えることを特徴とする学習装置。
23. 前記学習手段は、前記注目データのクラスのタップ係数と、前記予測タップである複数のデータサンプルの値との線形結合により前記注目データを求めるためのタップ係数の元となる係数種データを学習する
    ことを特徴とする請求項２２に記載の学習装置。
24. 前記重み付けの特性を表すパラメータを生成するパラメータ生成手段をさらに備え、
    前記重み付け制御手段は、前記パラメータが表す特性の重み付けにしたがい、前記予測タップのアクティビティに基づいて、前記注目データと予測タップに対する重み付けを制御し、
    前記学習手段は、
    前記注目データと予測タップに対して、複数の前記パラメータが表す特性の重み付けをそれぞれ行いながら、前記教師データと前記生徒データとの関係を、前記１以上のクラスごとに学習することにより、前記複数のパラメータが表す特性の重み付けそれぞれ対応する、前記１以上のクラスごとの前記タップ係数を求める第１の学習手段と、
    前記複数のパラメータが表す特性の重み付けそれぞれに対応する、前記１以上のクラスごとの前記タップ係数と、前記複数のパラメータとの関係を学習することにより、前記１以上のクラスごとの前記係数種データを求める第２の学習手段と
    を有する
    ことを特徴とする請求項２２に記載の学習装置。
25. 前記第１と第２のデータは、画像データである
    ことを特徴とする請求項２２に記載の学習装置。
26. 前記アクティビティは、前記予測タップのダイナミックレンジの大きさである
    ことを特徴とする請求項２２に記載の学習装置。
27. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習方法であって、
    前記係数種データの学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒から抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記係数種データを求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とする学習方法。
28. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習処理を、コンピュータに行わせるプログラムであって、
    前記係数種データの学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒から抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記係数種データを求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えることを特徴とするプログラム。
29. 第１のデータを、前記第１のデータよりも高品質な第２のデータに変換するときに用いられるタップ係数の元となる係数種データを学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記係数種データの学習に用いるための、前記第２のデータに対応する教師データのうちの注目している注目データを１以上のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる複数のデータサンプルからなるクラスタップを、前記学習に用いるための、前記注目データの周辺に位置する前記第１のデータに対応する生徒から抽出するクラスタップ生成ステップと、
    前記クラスタップである複数のデータサンプルの値に基づいて、前記注目データをクラス分類するクラス分類ステップと、
    前記注目データを求めるのに用いる複数のデータサンプルからなる予測タップを、前記注目データの周辺に位置する前記生徒データから抽出する予測タップ生成ステップと、
    前記注目データと予測タップに対して、前記予測タップのアクティビティが小さい程大きくなるような重み付けを行いながら、前記教師データ、前記生徒データ、及び前記タップ係数との関係を示す正規方程式内の前記教師データと前記生徒データとから構成される各項に、順に設定される前記教師データとしての注目データ、及び前記生徒データとしての予測タップを代入して前記正規方程式を解くことで、前記生徒データと前記教師データとの関係を前記１以上のクラスごとに学習することにより、前記１以上のクラスごとの前記係数種データを求める学習ステップと、
    前記注目データについて得られた予測タップのアクティビティを求めるアクティビティ検出ステップと、
    前記注目データについて得られた予測タップのアクティビティに基づいて、その注目データと予測タップに対する、前記学習ステップにおける重み付けを制御する重み付け制御ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。

Images