JP2004266381A - 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】データの定常性を利用して、より正確で、より精度の高い処理結果を得る。
【解決手段】データ定常性検出部８０３は、注目画素に対応する入力画像の複数の周辺画素のデータの定常性を検出する。クラスタップ抽出部８０４は、データの定常性に基づいて、注目画素に対応する、クラスタップを抽出する。予測タップ抽出部８０７は、データの定常性に基づいて、注目画素に対応する、予測タップを抽出する。特徴量検出部８０５は、抽出されたクラスタップの特徴量を検出する。足し込み演算部８０８および正規方程式演算部８１１は、検出された特徴量毎に、予測タップから注目画素を予測するための予測係数を演算する。本発明は、予測係数を演算する学習装置に適用できる。
【選択図】 図１１９

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関し、特に、より高解像度の画像を創造する画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
本件出願人は、例えば、画像の画質等の向上その他の画像の変換を行う画像処理として、クラス分類適応処理を、先に提案している。
【０００３】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、画像のデータを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【０００４】
即ち、適応処理では、例えば、低画質または標準画質の画像（以下、適宜、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像という）が、所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像（以下、適宜、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像という）に変換される。
【０００５】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）（の画素値）ｙは、ＳＤ画像を構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【数１】

【０００６】
但し、式（１）において、ｘ_ｎは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像の画素の画素値を表し、ｗ_ｎは、ｎ番目のＳＤ画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のＳＤ画素ｘ_１，ｘ_２，・・・，ｘ_Ｎで構成されるものとしてある。
【０００７】
ここで、ＨＤ画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０００８】
いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_ｋと表すとともに、式（１）によって得られるその真値ｙ_ｋの予測値をｙ_ｋ’と表すと、その予測誤差ｅ_ｋは、次式で表される。
【数２】

【０００９】
式（２）の予測値ｙ_ｋ’は、式（１）にしたがって求められるため、式（２）のｙ_ｋ’を、式（１）にしたがって置き換えると、次式が得られる。
【数３】

【００１０】
但し、式（３）において、ｘ_ｎ，ｋは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【００１１】
式（３）の予測誤差ｅ_ｋを０とするタップ係数ｗ_ｎが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗ_ｎを求めることは、一般には困難である。
【００１２】
そこで、タップ係数ｗ_ｎが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_ｎは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数４】

【００１３】
但し、式（４）において、Ｋは、ＨＤ画素ｙ_ｋと、そのＨＤ画素ｙ_ｋについての予測タップを構成するＳＤ画素ｘ_１，ｋ，ｘ_２，ｋ，・・・，ｘ_Ｎ，ｋとのセットのサンプル数を表す。
【００１４】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_ｎは、その総和Ｅをタップ係数ｗ_ｎで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数５】

【００１５】
そこで、上述の式（３）をタップ係数ｗ_ｎで偏微分すると、次式が得られる。
【数６】

【００１６】
式（５）と（６）から、次式が得られる。
【数７】

【００１７】
式（７）のｅ_ｋに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【数８】

【００１８】
式（８）の正規方程式は、ＨＤ画素ｙ_ｋとＳＤ画素ｘ_ｎ，ｋのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_ｎの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗ_ｎにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗ_ｎを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）などを採用することが可能である。
【００１９】
以上のように、多数のＨＤ画素ｙ_１，ｙ_２，・・・，ｙ_Ｋを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_ｋについての予測タップを構成するＳＤ画素ｘ_１，ｋ，ｘ_２，ｋ，・・・，ｘ_Ｎ，ｋを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗ_ｎを求める学習を行っておき、さらに、そのタップ係数ｗ_ｎを用い、式（１）により、ＳＤ画像を、ＨＤ画像にマッピング（変換）するのが適応処理である。
【００２０】
以下、タップ係数は、予測係数とも称する。
【００２１】
なお、適応処理は、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗ_ｎが、教師データとしてのＨＤ画像と生徒データとしてのＳＤ画像とを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【００２２】
ここで、タップ係数ｗ_ｎの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗ_ｎを求めることができる。
【００２３】
即ち、例えば、教師データｙとして、ＨＤ画像を採用するとともに、生徒データｘとして、そのＨＤ画像にノイズやぼけを付加したＳＤ画像を採用した場合には、画像を、そのノイズやぼけを除去した画像に変換するタップ係数ｗ_ｎを得ることができる。また、例えば、教師データｙとして、ＨＤ画像を採用するとともに、生徒データｘとして、そのＨＤ画像の解像度を劣化させたＳＤ画像を採用した場合には、画像を、その解像度を向上させた画像に変換するタップ係数ｗ_ｎを得ることができる。さらに、例えば、教師データｙとして、画像を採用するとともに、生徒データｘとして、その画像をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換したＤＣＴ係数を採用した場合には、ＤＣＴ係数を画像に変換するタップ係数ｗ_ｎを得ることができる。
【００２４】
次に、クラス分類適応処理を実行する、従来の画像処理装置の構成を説明する。
【００２５】
図１は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置の構成を説明するブロック図である。
【００２６】
図１に構成を示す画像処理装置において、入力画像は、クラスタップ抽出部１１および予測タップ抽出部１５に供給される。
【００２７】
クラスタップ抽出部１１は、注目している画素（以下、注目画素とも称する）に対応する、所定の画素であるクラスタップを入力画像から抽出し、抽出したクラスタップを入力画像と共に特徴量検出部１２に供給する。特徴量検出部１２は、クラスタップ抽出部１１を介して供給された入力画像から、注目画素に対応する画像の特徴量を検出し、クラスタップと共に検出した特徴量をクラス分類部１３に供給する。画像の特徴量とは、動き、またはフレーム内の画素値の変化などをいう。
【００２８】
クラス分類部１３は、特徴量検出部１２から供給されたクラスタップおよび特徴量を基に、注目画素をクラス分けし、クラス分けの結果を示すクラスコードを係数メモリ１４および予測タップ抽出部１５に供給する。
【００２９】
係数メモリ１４は、クラス分類部１３から供給されたクラスコードを基に、注目画素のクラスに対応するタップ係数を画素値演算部１６に供給する。
【００３０】
予測タップ抽出部１５は、クラス分類部１３から供給されたクラスコードを基に、注目画素に対応して、所定の予測タップを入力画像から抽出する。予測タップ抽出部１５は、抽出した予測タップを画素値演算部１６に供給する。
【００３１】
画素値予測部１６は、予測タップ抽出部１５から供給された予測タップおよび係数メモリ１４から供給されたタップ係数から、式（１）に示す演算により、ＨＤ画像の注目画素の画素値を予測する。画素値予測部１６は、ＨＤ画像の全ての画素を順次注目画素として予測された画素値からなるＨＤ画像を出力する。
【００３２】
図２は、クラス分類適応処理により、ＳＤ画像である入力画像から、ＨＤ画像である出力画像を創造する、従来の画像処理装置による画像の創造の処理を説明するフローチャートである。
【００３３】
ステップＳ１１において、クラスタップ抽出部１１は、ＳＤ画像である入力画像から、選択された注目画素に対応するクラスタップを抽出する。ステップＳ１２において、特徴量検出部１２は、入力画像から、注目画素に対応する特徴量を検出する。
【００３４】
ステップＳ１３において、クラス分類部１３は、ステップＳ１１の処理により抽出されたクラスタップ、およびステップＳ１２の処理により検出された特徴量を基に、注目画素のクラスを分類する。
【００３５】
ステップＳ１４において、予測タップ抽出部１５は、ステップＳ１３の処理によるクラスの分類の結果に対応して、入力画像から、注目画素に対応する予測タップを抽出する。ステップＳ１５において、係数メモリ１４は、ステップＳ１３の処理によるクラスの分類の結果に対応して、予め記憶している予測係数のなかから、分類されたクラスに対応する予測係数を読み出す。
【００３６】
ステップＳ１６において、画素値予測部１６は、ステップＳ１４の処理で抽出された予測タップ、およびステップＳ１５の処理で読み出された予測係数を基に、適応処理により注目画素に対応する画素値を予測する。
【００３７】
ステップＳ１７において、画像処理装置は、全ての画素について予測が終了したか否かを判定し、全ての画素について予測が終了していないと判定された場合、次の画素を注目画素として、ステップＳ１１に戻り、クラスの分類および適応の処理を繰り返す。
【００３８】
ステップＳ１７において、全ての画素について予測が終了したと判定された場合、処理は終了する。
【００３９】
図３は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。
【００４０】
図３に示す画像処理装置に入力される入力画像は、ＨＤ画像である教師画像であり、生徒画像生成部３１および教師画素抽出部３８に供給される。教師画像に含まれる画素（の画素値）は、教師データとして使用される。
【００４１】
生徒画像生成部３１は、入力されたＨＤ画像である教師画像から、画素を間引いて、教師画像に対応するＳＤ画像である生徒画像を生成し、生成した生徒画像を画像メモリ３２に供給する。
【００４２】
画像メモリ３２は、生徒画像生成部３１から供給されたＳＤ画像である生徒画像を記憶し、記憶している生徒画像をクラスタップ抽出部３３および予測タップ抽出部３６に供給する。
【００４３】
クラスタップ抽出部３３は、注目画素を順次選択し、選択された注目画素に対応して生徒画像からクラスタップを抽出し、生徒画像と共に抽出されたクラスタップを特徴量検出部３４に供給する。特徴量検出部３４は、注目画素に対応して、生徒画像から特徴量を検出し、検出された特徴量をクラスタップと共にクラス分類部３５に供給する。
【００４４】
クラス分類部３５は、特徴量検出部３４から供給されたクラスタップおよび特徴量を基に、注目画素のクラスを分類し、分類されたクラスを示すクラスコードを予測タップ抽出部３６および学習メモリ３９に供給する。
【００４５】
予測タップ抽出部３６は、クラス分類部３５から供給されたクラスコードを基に、画像メモリ３２から供給された生徒画像から、分類されたクラスに対応する予測タップを抽出して、抽出した予測タップを足し込み演算部３７に供給する。
【００４６】
教師画素抽出部３８は、教師データ、すなわち、教師画像の注目画素を抽出して、抽出した教師データを足し込み演算部３７に供給する。
【００４７】
足し込み演算部３７は、式（８）の正規方程式に、ＨＤ画素である教師データおよびＳＤ画素である予測タップを足し込み、教師データおよび予測タップを足し込んだ正規方程式を学習メモリ３９に供給する。
【００４８】
学習メモリ３９は、クラス分類部３５から供給されたクラスコードを基に、足し込み演算部３７から供給された正規方程式をクラス毎に記憶する。学習メモリ３９は、クラス毎に記憶している、教師データおよび予測タップが足し込まれた正規方程式を正規方程式演算部４０に供給する。
【００４９】
正規方程式演算部４０は、学習メモリ３９から供給された正規方程式を掃き出し法により解いて、クラス毎に予測係数を求める。正規方程式演算部４０は、クラス毎の予測係数を係数メモリ４１に供給する。
【００５０】
係数メモリ４１は、正規方程式演算部４０から供給された、クラス毎の予測係数を記憶する。
【００５１】
図４は、ＳＤ画像である入力画像からＨＤ画像である出力画像を創造するクラス分類適応処理に使用される予測係数を生成する、従来の画像処理装置による学習の処理を説明するフローチャートである。
【００５２】
ステップＳ３１において、生徒画像生成部３１は、教師画像である入力画像から生徒画像を生成する。ステップＳ３２において、クラスタップ抽出部３３は、注目画素を順次選択し、選択された注目画素に対応するクラスタップを生徒画像から抽出する。
【００５３】
ステップＳ３３において、特徴量検出部３４は、生徒画像から、注目画素に対応する特徴量を検出する。ステップＳ３４において、クラス分類部３５は、ステップＳ３２の処理により抽出されたクラスタップ、およびステップＳ３３の処理により検出された特徴量を基に、注目画素のクラスを分類する。
【００５４】
ステップＳ３５において、予測タップ抽出部３６は、ステップＳ３４の処理により分類されたクラスを基に、注目画素に対応する予測タップを生徒画像から抽出する。
【００５５】
ステップＳ３６において、教師画素抽出部３８は、教師画像である入力画像から注目画素、すなわち教師画素（教師データ）を抽出する。
【００５６】
ステップＳ３７において、足し込み演算部３７は、ステップＳ３５の処理で抽出された予測タップ、およびステップＳ３６の処理で抽出された教師画素（教師データ）を正規方程式に足し込む演算を実行する。
【００５７】
ステップＳ３８において、画像処理装置は、教師画像の全画素について足し込みの処理が終了したか否かを判定し、全画素について足し込みの処理が終了していないと判定された場合、ステップＳ３２に戻り、まだ注目画素とされていない画素を注目画素として、予測タップおよび教師画素を抽出して、正規方程式に足し込む処理を繰り返す。
【００５８】
ステップＳ３８において、教師画像の全画素について足し込みの処理が終了したと判定された場合、ステップＳ３９に進み、正規方程式演算部４０は、予測タップおよび教師画素が足し込まれた正規方程式を演算して、予測係数を求める。
【００５９】
ステップＳ４０において、画像処理装置は、全クラスの予測係数を演算したか否かを判定し、全クラスの予測係数を演算していないと判定された場合、ステップＳ３９に戻り、正規方程式を演算して、予測係数を求める処理を繰り返す。
【００６０】
ステップＳ４０において、全クラスの予測係数を演算したと判定された場合、処理は終了する。
【００６１】
また、入力画像のレベル分布パターンに基づいて、入力画像をクラス分類するだけでなく、入力画像の動きに基づいて、入力画像をクラス分類して、クラスコードを発生しているものもある（特許文献１参照）。
【００６２】
【特許文献１】
特開平９−７４５４３号公報
【００６３】
【発明が解決しようとする課題】
しかしながら、画像データのデータの定常性を考慮した画像処理はこれまで考えられていなかった。
【００６４】
本発明はこのような状況に鑑みてなされたものであり、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。
【００６５】
【課題を解決するための手段】
本発明の画像処理装置は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、第１の注目画素に時間的または空間的に隣接する高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第２の周辺画素の、現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出手段と、画像データ定常性検出手段により検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出し、画像データ定常性検出手段により検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出手段と、画像データ定常性検出手段により検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第５の周辺画素を抽出し、画像データ定常性検出手段により検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第３の周辺画素の第１の特徴量を検出し、第１の抽出手段により抽出された複数の第４の周辺画素の第２の特徴量を検出する第１の特徴量検出手段と、第１の特徴量検出手段により検出された第１の特徴量に基づいて、第２の抽出手段により抽出された複数の第５の周辺画素から第１の注目画素を予測し、第１の特徴量検出手段により検出された第２の特徴量に基づいて、第２の抽出手段により抽出された複数の第６の周辺画素から第２の注目画素を予測し、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を出力する第１の予測手段と、第１の予測手段により予測された第１の注目画素の第１の予測値と、第１の予測手段により予測された第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第１の予測手段から出力される第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を選択的に出力する選択出力手段とを含むことを特徴とする。
【００６６】
画像処理装置は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第７の周辺画素を抽出し、高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第８の周辺画素を抽出する第３の抽出手段と、第１の注目画素に対応する、入力画像データ内の複数の第９の周辺画素を抽出し、第２の注目画素に対応する、入力画像データ内の複数の第１０の周辺画素を抽出する第４の抽出手段と、第３の抽出手段により抽出された複数の第７の周辺画素の第３の特徴量を検出し、第３の抽出手段により抽出された複数の第８の周辺画素の第４の特徴量を検出する第２の特徴量検出手段と、第２の特徴量検出手段により検出された第３の特徴量に基づいて、第４の抽出手段により抽出された複数の第９の周辺画素から第１の注目画素を予測し、第２の特徴量検出手段により検出された第４の特徴量に基づいて、第４の抽出手段により抽出された複数の第１０の周辺画素から第２の注目画素を予測し、第１の注目画素の第３の予測値および第２の注目画素の第４の予測値を出力する第２の予測手段とをさらに設け、選択出力手段は、第１の予測手段により予測された第１の注目画素の第１の予測値と、第１の予測手段により予測された第２の注目画素の第２の予測値と、入力画像データの対応画素の画素値との関係を検出し、検出結果に応じて第１の予測値と第２の予測値とからなる予測値の第１の組および第３の予測値と第４の予測値とからなる予測値の第２の組のうちいずれか一方を選択的に出力するようにすることができる。
【００６７】
選択出力手段は、対応画素の画素値から、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を引き算した結果の絶対値が、所定の閾値未満であるとき、第１の予測値と第２の予測値とからなる予測値の第１の組を選択的に出力するようにすることができる。
【００６８】
本発明の画像処理方法は、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、第１の注目画素に時間的または空間的に隣接する高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第２の周辺画素の、現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第５の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第３の周辺画素の第１の特徴量を検出し、第１の抽出ステップにおいて抽出された複数の第４の周辺画素の第２の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された第１の特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第５の周辺画素から第１の注目画素を予測し、特徴量検出ステップにおいて検出された第２の特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第６の周辺画素から第２の注目画素を予測し、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を出力する予測ステップと、予測ステップにおいて予測された第１の注目画素の第１の予測値と、予測ステップにおいて予測された第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を選択的に出力する選択出力ステップとを含むことを特徴とする。
【００６９】
本発明の第１の記録媒体のプログラムは、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、第１の注目画素に時間的または空間的に隣接する高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第２の周辺画素の、現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第５の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第３の周辺画素の第１の特徴量を検出し、第１の抽出ステップにおいて抽出された複数の第４の周辺画素の第２の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された第１の特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第５の周辺画素から第１の注目画素を予測し、特徴量検出ステップにおいて検出された第２の特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第６の周辺画素から第２の注目画素を予測し、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を出力する予測ステップと、予測ステップにおいて予測された第１の注目画素の第１の予測値と、予測ステップにおいて予測された第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を選択的に出力する選択出力ステップとを含むことを特徴とする。
【００７０】
本発明の第１のプログラムは、コンピュータに、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、第１の注目画素に時間的または空間的に隣接する高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第２の周辺画素の、現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第５の周辺画素を抽出し、画像データ定常性検出ステップにおいて検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第３の周辺画素の第１の特徴量を検出し、第１の抽出ステップにおいて抽出された複数の第４の周辺画素の第２の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された第１の特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第５の周辺画素から第１の注目画素を予測し、特徴量検出ステップにおいて検出された第２の特徴量に基づいて、第２の抽出ステップにおいて抽出された複数の第６の周辺画素から第２の注目画素を予測し、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を出力する予測ステップと、予測ステップにおいて予測された第１の注目画素の第１の予測値と、予測ステップにおいて予測された第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を選択的に出力する選択出力ステップとを実行させることを特徴とする。
【００７１】
本発明の学習装置は、高質画像データ内の注目画素に対応する入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出手段と、画像データ定常性検出手段により検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出手段と、画像データ定常性検出手段により検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出手段と、第１の抽出手段により抽出された複数の第２の周辺画素の特徴量を検出する特徴量検出手段と、特徴量検出手段により検出された特徴量毎に、第２の抽出手段により抽出された複数の第３の周辺画素から注目画素を予測するための予測手段を学習する学習手段とを含むことを特徴とする。
【００７２】
本発明の学習方法は、高質画像データ内の注目画素に対応する入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第２の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第３の周辺画素から注目画素を予測するための予測手段を学習する学習ステップとを含むことを特徴とする。
【００７３】
本発明の第２の記録媒体のプログラムは、高質画像データ内の注目画素に対応する入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第２の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第３の周辺画素から注目画素を予測するための予測手段を学習する学習ステップとを含むことを特徴とする。
【００７４】
本発明の第２のプログラムは、コンピュータに、高質画像データ内の注目画素に対応する入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出ステップと、画像データ定常性検出ステップにおいて検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出ステップと、第１の抽出ステップにおいて抽出された複数の第２の周辺画素の特徴量を検出する特徴量検出ステップと、特徴量検出ステップにおいて検出された特徴量毎に、第２の抽出ステップにおいて抽出された複数の第３の周辺画素から注目画素を予測するための予測手段を学習する学習ステップとを実行させることを特徴とする。
【００７５】
本発明の画像処理装置および方法、第１の記録媒体、並びに第１のプログラムにおいては、高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの第１の定常性が検出され、第１の注目画素に時間的または空間的に隣接する高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第２の周辺画素の、現実世界の光信号の定常性に対応する画像データの第２の定常性が検出され、検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第３の周辺画素が抽出され、検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第４の周辺画素が抽出され、検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第５の周辺画素が抽出され、検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第６の周辺画素が抽出され、抽出された複数の第３の周辺画素の第１の特徴量が検出され、抽出された複数の第４の周辺画素の第２の特徴量が検出され、検出された第１の特徴量に基づいて、抽出された複数の第５の周辺画素から第１の注目画素が予測され、検出された第２の特徴量に基づいて、抽出された複数の第６の周辺画素から第２の注目画素が予測され、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値が出力され、予測された第１の注目画素の第１の予測値と、予測された第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係が検出され、検出結果に応じて第１の注目画素の第１の予測値および第２の注目画素の第２の予測値が選択的に出力される。
【００７６】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００７７】
本発明の学習装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、高質画像データ内の注目画素に対応する入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性が検出され、検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第２の周辺画素が抽出され、検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第３の周辺画素が抽出され、抽出された複数の第２の周辺画素の特徴量が検出され、検出された特徴量毎に、抽出された複数の第３の周辺画素から注目画素を予測するための予測手段が学習される。
【００７８】
学習装置は、独立した装置であっても良いし、学習の処理を行うブロックであっても良い。
【００７９】
【発明の実施の形態】
図５は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。図５に構成を示す画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に２倍および垂直方向に２倍の解像度の画像を創造して出力する。
【００８０】
図５に示す画像処理装置においては、例えば、入力画像の一例であるＳＤ画像が入力され、入力されたＳＤ画像からデータの定常性が検出され、検出されたデータの定常性を基に、ＳＤ画像に対して、クラス分類適応処理が施されることにより、ＨＤ画像が創造される。データの定常性については、後述する。
【００８１】
すなわち、この画像処理装置は、データ定常性検出部１０１、クラスタップ抽出部１０２、特徴量検出部１０３、クラス分類部１０４、係数メモリ１０５、予測タップ抽出部１０６、および画素値予測部１０７から構成される。
【００８２】
画像処理装置に入力された、空間解像度の創造の対象となる入力画像は、データ定常性検出部１０１、クラスタップ抽出部１０２、特徴量検出部１０３、および予測タップ抽出部１０６に供給される。
【００８３】
データ定常性検出部１０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部１０２および予測タップ抽出部１０６に供給する。データ定常性情報は、例えば、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）（以下、データの定常性の方向とも称する。）を含む。データ定常性検出部１０１の構成の詳細は、後述する。
【００８４】
クラスタップ抽出部１０２は、クラス分類適応処理により求めようとするＨＤ画像のＨＤ画素のうちの１つを、順次、注目画素とする。そして、クラスタップ抽出部１０２は、データ定常性検出部１０１により検出されたデータの定常性に基いて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部１０２は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部１０３に出力する。
【００８５】
例えば、クラスタップ抽出部１０２は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部１０３に出力する。
【００８６】
なお、データ定常性検出部１０１、クラスタップ抽出部１０２、および予測タップ抽出部１０６は、それぞれの内部の前段に、図示せぬフレームメモリを内蔵し、画像処理装置に入力されたＳＤ画像を、例えば、フレーム（またはフィールド）単位で一時記憶する。本実施の形態では、データ定常性検出部１０１、クラスタップ抽出部１０２、および予測タップ抽出部１０６は、内蔵しているフレームメモリに、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００８７】
この場合、データ定常性検出部１０１、クラスタップ抽出部１０２、および予測タップ抽出部１０６のそれぞれにフレームメモリを設けることにより、データ定常性検出部１０１、クラスタップ抽出部１０２、および予測タップ抽出部１０６のそれぞれが、要求するフレームを即座に読み出すことができるようになり、より高速に処理を実行することができるようになる。
【００８８】
また、画像処理装置は、入力側に１つのフレームメモリを設け、複数フレームの入力画像を、バンク切換によって記憶し、記憶した入力画像を、データ定常性検出部１０１、クラスタップ抽出部１０２、および予測タップ抽出部１０６に供給するようにしてもよい。この場合、１つのフレームメモリで足り、画像処理装置をより簡単な構成とすることができる。
【００８９】
例えば、クラスタップ抽出部１０２は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横×縦が３×３個の画素を入力画像から抽出することによりクラスタップとする。
【００９０】
このように、クラスタップ抽出部１０２は、抽出されたクラスタップを、特徴量検出部１０３に供給する。
【００９１】
特徴量検出部１０３は、クラスタップまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部１０４に供給する。
【００９２】
例えば、特徴量検出部１０３は、クラスタップまたは入力画像を基に、入力画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部１０４に供給する。また、例えば、特徴量検出部１０３は、クラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部１０４に供給する。
【００９３】
さらに、例えば、特徴量検出部１０３は、クラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部１０４に供給する。
【００９４】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【００９５】
特徴量検出部１０３は、特徴量とは別に、クラスタップをクラス分類部１０４に供給する。
【００９６】
クラス分類部１０４は、特徴量検出部１０３からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ１０５と予測タップ抽出部１０６とに供給する。例えば、クラス分類部１０４は、クラスタップ抽出部１０２からのクラスタップを、１ビットＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）処理し、その結果得られるＡＤＲＣコードを、クラスコードとする。
【００９７】
なお、ＫビットＡＤＲＣ処理においては、クラスタップを構成する入力画像の画素値の最大値ＭＡＸと最小値ＭＩＮが検出され、ＤＲ＝ＭＡＸ−ＭＩＮを、局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する画素値がＫビットに再量子化される。即ち、クラスタップを構成する各画素値から、最小値ＭＩＮが減算され、その減算値がＤＲ／２^Ｋで除算（量子化）される。従って、クラスタップが、１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素値についての１ビットの値を、所定の順番で並べたビット列が、ＡＤＲＣコードとして出力される。
【００９８】
ただし、クラス分類は、その他、例えば、クラスタップを構成する画素値を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によって行うことも可能である。また、クラス分類としては、１クラスのクラス分類を行うことも可能である。この場合、クラス分類部１０４は、どのようなクラスタップが供給されても、固定のクラスコードを出力するものとなる。
【００９９】
また、例えば、クラス分類部１０４は、特徴量検出部１０３からの特徴量を、そのままクラスコードとする。さらに、例えば、クラス分類部１０４は、特徴量検出部１０３からの複数の特徴量を、直交変換して、得られた値をクラスコードとする。
【０１００】
例えば、クラス分類部１０４は、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードを結合し（合成し）、最終的なクラスコードを生成して、最終的なクラスコードを係数メモリ１０５と予測タップ抽出部１０６とに供給する。
【０１０１】
なお、クラスタップを基にしたクラスコード、および特徴量を基にしたクラスコードのいずれか一方を、最終的なクラスコードとするようにしてもよい。
【０１０２】
係数メモリ１０５は、学習の教師となる、出力画像の一例であるＨＤ画像のＨＤ画素である教師データと、学習の生徒となる、入力画像の一例であるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ１０５は、クラス分類部１０４から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部１０７に供給する。なお、係数メモリ１０５に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０１０３】
予測タップ抽出部１０６は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部１０６は、データ定常性検出部１０１により検出されたデータの定常性およびクラス分類部１０４から供給されるクラスコードを基に、画素値予測部１０７において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部１０７に供給する。
【０１０４】
例えば、予測タップ抽出部１０６は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部１０７に供給する。例えば、予測タップ抽出部１０６は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横×縦が３×３個の画素を、入力画像から抽出することにより予測タップとする。
【０１０５】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０１０６】
なお、クラスタップや予測タップのタップ構造は、３×３個の画素値に限定されるものではない。
【０１０７】
画素値予測部１０７は、係数メモリ１０５から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部１０６からの予測タップ（を構成する画素値）ｘ_１，ｘ_２，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ（の予測値）を予測し、これを、ＨＤ画素の画素値とする。画素値予測部１０７は、このように演算された画素値からなるＨＤ画像を出力画像として出力する。
【０１０８】
以上のように、図５に構成を示す画像処理装置は、入力された入力画像に対応する、より高解像度の出力画像を創造して、創造した出力画像を出力することができる。
【０１０９】
次に、図６のフローチャートを参照して、図５の画像処理装置が行う、入力画像からより高解像度の出力画像を創造する画像創造処理について説明する。
【０１１０】
ステップＳ１０１において、データ定常性検出部１０１は、定常性の検出の処理を実行する。データ定常性検出部１０１は、入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報をクラスタップ抽出部１０２および予測タップ抽出部１０６に供給する。例えば、データ定常性検出部１０１は、入力画像からデータの定常性の方向を検出する。
【０１１１】
ここで、データの定常性、データ定常性検出部１０１の構成、およびデータの定常性の抽出の処理について、具体的に説明する。
【０１１２】
まず、センサによって射影されたデータである入力画像について説明する。
【０１１３】
空間、時間、および質量の次元を有する実世界の事象（現象）は、センサにより取得され、データ化される。実世界の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどをいう。実世界の事象は、時空間方向に分布している。例えば、実世界の画像は、実世界の光の強度の時空間方向の分布である。
【０１１４】
センサに注目すると、空間、時間、および質量の次元を有する実世界の事象のうち、センサが取得可能な、実世界の事象が、センサにより、データに変換される。センサによって、実世界の事象を示す情報が取得されるとも言える。
【０１１５】
すなわち、センサは、実世界の事象を示す情報を、データに変換する。空間、時間、および質量の次元を有する実世界の事象（現象）を示す情報である信号がセンサにより取得され、データ化されるとも言える。
【０１１６】
以下、実世界における、画像、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどの事象の分布を、実世界の事象を示す情報である信号とも称する。また、実世界の事象を示す情報である信号を、単に、実世界の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【０１１７】
センサから出力されるデータ（検出信号）は、実世界の事象を示す情報を、実世界に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータは、実世界の３次元の空間方向および時間方向の画像が、２次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データがデジタルデータであるとき、データは、サンプリングの単位に応じて、丸められている。データがアナログデータであるとき、データにおいて、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【０１１８】
このように、所定の次元を有する実世界の事象を示す情報である信号をデータ（検出信号）に射影することにより、実世界の事象を示す情報の一部が欠落する。すなわち、センサが出力するデータにおいて、実世界の事象を示す情報の一部が欠落している。
【０１１９】
しかしながら、射影により実世界の事象を示す情報の一部が欠落しているものの、データは、実世界の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。
【０１２０】
本発明においては、実世界の情報である信号を推定するための有意情報として、データに含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。
【０１２１】
ここで、実世界に注目すると、実世界の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。
【０１２２】
従って、実世界の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。
【０１２３】
より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。
【０１２４】
従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。
【０１２５】
また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。
【０１２６】
同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。
【０１２７】
このように、実世界（現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界の信号は、所定の次元の方向に一定の特徴を有する。
【０１２８】
本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界（現実世界）の信号の定常性とは、実世界（現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。
【０１２９】
実世界（現実世界）には、このような定常性が無数に存在する。
【０１３０】
次に、データに注目すると、データは、センサにより、所定の次元を有する実世界の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データは、実世界の信号の定常性が射影された定常性を含んでいるとも言える。
【０１３１】
しかしながら、上述したように、センサが出力するデータにおいて、実世界の情報の一部が欠落しているので、データから、実世界（現実世界）の信号に含まれる定常性の一部が欠落してしまう。
【０１３２】
換言すれば、データは、データの定常性として、実世界（現実世界）の信号の定常性の中の、一部の定常性を含む。データの定常性とは、データが有している、所定の次元の方向に一定の特徴である。
【０１３３】
本発明においては、実世界の事象を示す情報である信号を推定するための有意情報として、データが有する、データの定常性が利用される。
【０１３４】
なお、本発明においては、実世界の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。
【０１３５】
次に、図７乃至図１０を参照して、画像の空間的時間的な積分について説明する。
【０１３６】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを１フレーム単位で出力する。すなわち、イメージセンサは、実世界の対象物で反射された光である、実世界の信号を取得し、データを出力する。
【０１３７】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【０１３８】
図７は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサ上の画素の配置の例を説明する図である。図７中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界の画像を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【０１３９】
実世界の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界の光を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータを生成する。
【０１４０】
図８で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界の情報（信号）である。実世界の光の強度の分布は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる。
【０１４１】
ＣＣＤである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【０１４２】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データとして出力される。従って、イメージセンサから出力される個々の画素値は、実世界の情報（信号）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、１次元の空間に射影した値を有する。
【０１４３】
すなわち、１つの画素の画素値は、Ｆ（ｘ，ｙ，ｔ）の積分で表される。Ｆ（ｘ，ｙ，ｔ）は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Ｐは、式（９）で表される。
【数９】

【０１４４】
式（９）において、ｘ_１は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。ｘ_２は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（９）において、ｙ_１は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。ｙ_２は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、ｔ_１は、入射された光の電荷への変換を開始した時刻である。ｔ_２は、入射された光の電荷への変換を終了した時刻である。
【０１４５】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【０１４６】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界の光の波形は、積分値としての画素値に隠されてしまう。
【０１４７】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【０１４８】
このように、実世界の画像は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界の画像の定常性の一部が欠落し、実世界の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界の画像の定常性から変化してしまった定常性が含まれることがある。
【０１４９】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【０１５０】
図９は、画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。図９のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界の光の強度の分布を表す関数の例である。言い換えれば、Ｆ（ｘ）は、空間方向Ｙおよび時間方向に一定である場合の、実世界の光の強度の分布を表す関数の例である。図９において、Ｌは、画素Ｄ乃至画素Ｆに対応する検出素子の受光面の空間方向Ｘの長さを示す。
【０１５１】
１つの画素の画素値は、Ｆ（ｘ）の積分で表される。例えば、画素Ｅの画素値Ｐは、式（１０）で表される。
【数１０】

【０１５２】
式（１０）において、ｘ_１は、画素Ｅに対応する検出素子の受光面の左側の境界の空間方向Ｘの空間座標である。ｘ_２は、画素Ｅに対応する検出素子の受光面の右側の境界の空間方向Ｘの空間座標である。
【０１５３】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【０１５４】
図１０は、時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図１０のＦ（ｔ）は、時刻ｔを変数とする、実世界の光の強度の分布を表す関数である。言い換えれば、Ｆ（ｔ）は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界の光の強度の分布を表す関数の例である。ｔ_ｓは、シャッタ時間を示す。
【０１５５】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０１５６】
なお、図１０で示される例において、シャッタ時間ｔ_ｓとフレーム間隔とが同一である。
【０１５７】
１つの画素の画素値は、Ｆ（ｔ）の積分で表される。例えば、フレーム＃ｎの画素の画素値Ｐは、式（１１）で表される。
【数１１】

【０１５８】
式（１１）において、ｔ_１は、入射された光の電荷への変換を開始した時刻である。ｔ_２は、入射された光の電荷への変換を終了した時刻である。
【０１５９】
以下、センサによる空間方向の積分効果を単に空間積分効果と称し、センサによる時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【０１６０】
次に、積分効果を有するイメージセンサにより取得されたデータに含まれるデータの定常性の例について説明する。
【０１６１】
図１１は、実世界の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図１１において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１６２】
実世界の線状の物の画像には、所定の定常性が含まれる。すなわち、図１１で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１６３】
図１２は、図１１で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。
【０１６４】
図１３は、図１２に示す画像データの模式図である。
【０１６５】
図１３で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１３で示される画像データが取得されたときにイメージセンサに入射された画像は、図１１の実世界の線状の物の画像である。
【０１６６】
図１３において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１３における画素値を示す方向は、図１１におけるレベルの方向に対応し、図１３における空間方向Ｘ、および空間方向Ｙは、図１１における方向と同じである。
【０１６７】
各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。１つの円弧形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１３における１つの円弧形状は、縦に１列の画素の上に形成される。
【０１６８】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向Ｙにおける断面形状が同じであるという定常性が失われている。また、実世界の線状の物の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１６９】
図１４は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像、すなわち光の強度の分布の例を示す図である。図１４において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１７０】
背景とは異なる色の、直線状の縁を有する物の実世界の画像には、所定の定常性が含まれる。すなわち、図１４で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１７１】
図１５は、図１４で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図１５で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。
【０１７２】
図１６は、図１５に示す画像データの模式図である。
【０１７３】
図１６で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１６で示される画像データが取得されたときにイメージセンサに入射された画像は、図１４で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像である。
【０１７４】
図１６において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１６における画素値を示す方向は、図１４におけるレベルの方向に対応し、図１６における空間方向Ｘ、および空間方向Ｙは、図１４における方向と同じである。
【０１７５】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ（ｐａｗｌ）形状で表される。各つめ形状は、ほぼ同じ形状である。１つのつめ形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１６において、１つのつめ形状は、縦に１列の画素の上に形成される。
【０１７６】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１７７】
データ定常性検出部１０１は、このような、例えば、入力画像であるデータが有するデータの定常性を検出する。例えば、データ定常性検出部１０１は、同じ円弧形状の並び方または同じつめ形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０１７８】
また、例えば、データ定常性検出部１０１は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。
【０１７９】
以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像がセンサにより射影されたデータの部分を２値エッジとも称する。
【０１８０】
図１７は、データ定常性検出部１０１の構成を示すブロック図である。
【０１８１】
図１７に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたアクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０１８２】
データの定常性の角度とは、基準軸と、データが有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データにおける位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。
【０１８３】
基準軸は、例えば、空間方向Ｘを示す軸（画面の水平方向）、または空間方向Ｙを示す軸（画面の垂直方向）などとすることができる。
【０１８４】
入力画像は、アクティビティ検出部４０１およびデータ選択部４０２に供給される。
【０１８５】
アクティビティ検出部４０１は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０１８６】
例えば、アクティビティ検出部４０１は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。
【０１８７】
アクティビティ検出部４０１は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０１８８】
垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図１８で示されるように、垂直方向に１列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、４５度乃至９０度のいずれかの値である。
【０１８９】
水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に１列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、０度乃至４５度のいずれかの値である。
【０１９０】
例えば、アクティビティ検出部４０１は、図１９で示される、注目画素を中心とした３×３の９つの画素からなるブロックを入力画像から抽出する。アクティビティ検出部４０１は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆは、式（１２）で求められる。
【０１９１】

【０１９２】
同様に、縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆは、式（１３）で求められる。
【０１９３】

【０１９４】
式（１２）および式（１３）において、Ｐは、画素値を示し、ｉは、画素の横方向の位置を示し、ｊは、画素の縦方向の位置を示す。
【０１９５】
アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆを比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部４０１は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。
【０１９６】
例えば、横に１列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に１列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データである入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。
【０１９７】
例えば、図２０に示すように、アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆを比較して、横に隣接する画素についての画素値の差分の和ｈ_ｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、４５度乃至１３５度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和ｖ_ｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、０度乃至４５度のいずれかの値、または１３５度乃至１８０度のいずれかの値であると判定する。
【０１９８】
例えば、アクティビティ検出部４０１は、判定の結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０１９９】
なお、アクティビティ検出部４０１は、５×５の２５の画素からなるブロック、または７×７の４９の画素からなるブロックなど、任意の大きさのブロックを抽出して、アクティビティを検出することができる。
【０２００】
データ選択部４０２は、入力画像の画素から注目画素を順に選択し、アクティビティ検出部４０１から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０２０１】
例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、４５度乃至１３５度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０２０２】
アクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、０度乃至４５度または１３５度乃至１８０度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０２０３】
また、例えば、データの定常性の角度が４５度乃至１３５度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０２０４】
データの定常性の角度が０度乃至４５度または１３５度乃至１８０度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０２０５】
データ選択部４０２は、抽出した画素からなる複数の組を誤差推定部４０３に供給する。
【０２０６】
誤差推定部４０３は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。
【０２０７】
例えば、誤差推定部４０３は、１つの角度に対応する、垂直方向に１列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部４０３は、１つの角度に対応する、水平方向に１列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。
【０２０８】
誤差推定部４０３は、検出した相関を示す相関情報を定常方向導出部４０４に供給する。誤差推定部４０３は、相関を示す値として、データ選択部４０２から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部４０４に供給する。
【０２０９】
定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基づいて、欠落した実世界の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基づいて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。
【０２１０】
以下の説明において、適宜、０度乃至９０度の範囲（いわゆる第１象限）のデータの定常性の角度を検出するものとして説明する。
【０２１１】
図２１は、図１７に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０２１２】
データ選択部４０２は、画素選択部４１１−１乃至画素選択部４１１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌを含む。定常方向導出部４０４は、最小誤差角度選択部４１３を含む。
【０２１３】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０２１４】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０２１５】
例えば、図２２で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素から、注目画素を中心として９つの画素を画素の組として選択する。
【０２１６】
図２２において、マス目状の１つの四角（１つのマス目）は、１つの画素を示す。図２２において、中央に示す丸は、注目画素を示す。
【０２１７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図２２において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２１８】
例えば、図２２で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０２１９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図２２において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２２０】
例えば、図２２で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０２２１】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図２２において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２２２】
例えば、図２２で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０２２３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図２２において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２２４】
例えば、図２２で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０２２５】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０２２６】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部４１１−１は、４５度についての、画素の組を選択し、画素選択部４１１−２は、４７．５度についての、画素の組を選択し、画素選択部４１１−３は、５０度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、５２．５度から１３５度までの、２．５度毎の角度についての、画素の組を選択する。
【０２２７】
なお、画素の組の数は、例えば、３つ、または７つなど、任意の数とすることができ、本発明を限定するものではない。また、１つの組として選択された画素の数は、例えば、５つ、または１３など、任意の数とすることができ、本発明を限定するものではない。
【０２２８】
なお、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に１２１個の画素（注目画素に対して、上方向に６０画素、下方向に６０画素）から、画素の組を選択する。この場合、データ定常性検出部１０１は、空間方向Ｘを示す軸に対して、８８．０９度まで、データの定常性の角度を検出することができる。
【０２２９】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０２３０】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、相関を示す値として、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０２３１】
より具体的には、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０２３２】
そして、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０２３３】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。
【０２３４】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部４１３に供給する。
【０２３５】
なお、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。
【０２３６】
最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基づいて、欠落した実世界の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基づいて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０２３７】
例えば、最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部４１３は、選択された総和が算出された画素の組について、注目画素に対して、左側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。
【０２３８】
図２２で示されるように、最小誤差角度選択部４１３は、注目画素の位置に対する、参照する画素の位置の縦方向の距離Ｓを求める。最小誤差角度選択部４１３は、図２３で示すように、式（１４）から、欠落した実世界の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向Ｘを示す軸を基準としたデータの定常性の角度θを検出する。
θ＝ｔａｎ^−１（ｓ／２） ・・・（１４）
【０２３９】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０２４０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０２４１】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２４２】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２４３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２４４】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０２４５】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０２４６】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部４１１−１は、０度についての、画素の組を選択し、画素選択部４１１−２は、２．５度についての、画素の組を選択し、画素選択部４１１−３は、５度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、７．５度から４５度および１３５度から１８０度までの、２．５度毎の角度についての、画素の組を選択する。
【０２４７】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０２４８】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０２４９】
最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基づいて、欠落した実世界の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０２５０】
次に、図２４のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１７で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０２５１】
ステップＳ４０１において、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、注目している画素である注目画素を選択する。アクティビティ検出部４０１およびデータ選択部４０２は、同一の注目画素を選択する。例えば、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０２５２】
ステップＳ４０２において、アクティビティ検出部４０１は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部４０１は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、アクティビティを検出する。
【０２５３】
アクティビティ検出部４０１は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０２５４】
ステップＳ４０３において、データ選択部４０２は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０２５５】
ステップＳ４０４において、データ選択部４０２は、ステップＳ４０２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に１列または２列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０２５６】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０２５７】
ステップＳ４０５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０２５８】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０２５９】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０２６０】
ステップＳ４０６において、定常方向導出部４０４は、ステップＳ４０５の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部４０４は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度θを検出する。
【０２６１】
定常方向導出部４０４は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０２６２】
ステップＳ４０７において、データ選択部４０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０２６３】
ステップＳ４０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０２６４】
このように、データ定常性検出部１０１は、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０２６５】
なお、図１７で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０２６６】
例えば、図２５に示すように、データ選択部４０２は、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム＃ｎ、フレーム＃ｎ−１、およびフレーム＃ｎ＋１のそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０２６７】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０２６８】
誤差推定部４０３は、抽出した画素からなる複数の組について、１つの角度および１つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部４０４は、画素の組の相関に基づいて、欠落した実世界の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０２６９】
図２６は、図１７に示すデータ定常性検出部１０１のより詳細な他の構成を示すブロック図である。図２１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０２７０】
データ選択部４０２は、画素選択部４２１−１乃至画素選択部４２１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌを含む。
【０２７１】
図２６で示すデータ定常性検出部１０１においては、角度の範囲に対する数の画素からなる、画素の組であって、角度の範囲に対する数の組が抽出されて、抽出された画素の組の相関が検出され、検出された相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０２７２】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４２１−１乃至画素選択部４２１−Ｌの処理を説明する。
【０２７３】
図２７の左側に示すように、図２１で示されるデータ定常性検出部１０１においては、設定された直線の角度によらず、一定の数の画素からなる画素の組が抽出されるのに対して、図２６で示されるデータ定常性検出部１０１においては、図２７の右側に示すように、設定された直線の角度の範囲に応じた数の画素からなる画素の組が抽出される。また、図２６で示されるデータ定常性検出部１０１においては、画素の組が、設定された直線の角度の範囲に応じた数だけ抽出される。
【０２７４】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、４５度乃至１３５度の範囲の、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【０２７５】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、それぞれに設定された直線の角度の範囲に応じた数の、注目画素の上側の画素、および注目画素の下側の画素、並びに注目画素を画素の組として選択する。
【０２７６】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する縦に１列の画素の列に対して、画素を基準とした横方向に所定の距離にある、左側および右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択し、選択された画素に対して縦に１列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の上側の画素、および選択された画素の下側の画素、並びに選択された画素を画素の組として選択する。
【０２７７】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【０２７８】
例えば、空間方向Ｘに対してほぼ４５度の角度に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサで撮像された場合、細線の画像は、空間方向Ｙに１列に並ぶ３つの画素に円弧形状が形成されるように、データに射影される。これに対して、空間方向Ｘに対してほぼ垂直に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサで撮像された場合、細線の画像は、空間方向Ｙに１列に並ぶ、多数の画素に円弧形状が形成されるように、データに射影される。
【０２７９】
画素の組に同じ数の画素が含まれるとすると、細線が空間方向Ｘに対してほぼ４５度の角度に位置する場合、画素の組において、細線の画像が射影された画素の数が少なくなり、分解能が低下することになる。逆に、細線が空間方向Ｘに対してほぼ垂直に位置する場合、画素の組において、細線の画像が射影された画素のうちの、一部の画素について処理が実行されることになり、正確さが低下する恐れがある。
【０２８０】
そこで、細線の画像が射影された画素がほぼ同等になるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定する直線が空間方向Ｘに対して４５度の角度により近いとき、それぞれ画素の組に含まれる画素の数を少なくして、画素の組の数を多くし、設定する直線が空間方向Ｘに対して垂直により近い場合、それぞれの画素の組に含まれる画素の数を多くして、画素の組の数を少なくするように、画素および画素の組を選択する。
【０２８１】
例えば、図２８および図２９で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、４５度以上６３．４度未満の範囲（図２８および図２９において、Ａで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。
【０２８２】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、４５度以上６３．４度未満の範囲にあるとき、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素は、注目画素に対して、縦方向に５画素乃至９画素離れた位置にある。
【０２８３】
図２９において、列の数は、注目画素の左側または右側の、画素の組として画素が選択される画素の列の数を示す。図２９において、１列の画素の数は、注目画素に対して、縦に１列の画素の列、または注目画素の左側または右側の列から、画素の組として選択される画素の数を示す。図２９において、画素の選択範囲は、注目画素に対する、設定された直線に最も近い位置の画素として、選択される画素の縦方向の位置を示す。
【０２８４】
図３０で示されるように、例えば、画素選択部４２１−１は、設定された直線の角度が、４５度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。すなわち、画素選択部４２１−１は、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に５画素離れた位置にある。
【０２８５】
なお、図３０乃至図３７において、点線で表された四角（点線で仕切られた１つのマス目）は、１つの画素を示し、実線で表された四角は、画素の組を示す。図３０乃至図３７において、注目画素の空間方向Ｘの座標を０とし、注目画素の空間方向Ｙの座標を０とした。
【０２８６】
また、図３０乃至図３７において、斜線で表された四角は、注目画素または設定された直線に最も近い位置の画素を示す。図３０乃至図３７において、太線で表された四角は、注目画素を中心として選択された画素の組を示す。
【０２８７】
図３１で示されるように、例えば、画素選択部４２１−２は、設定された直線の角度が、６０．９度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。すなわち、画素選択部４２１−２は、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に９画素離れた位置にある。
【０２８８】
例えば、図２８および図２９で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、６３．４度以上７１．６度未満の範囲（図２８および図２９において、Ｂで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。
【０２８９】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、６３．４度以上７１．６度未満の範囲囲にあるとき、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、８画素乃至１１画素である。
【０２９０】
図３２で示されるように、例えば、画素選択部４２１−３は、設定された直線の角度が、６３．４度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。すなわち、画素選択部４２１−３は、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に８画素離れた位置にある。
【０２９１】
また、図３３で示されるように、例えば、画素選択部４２１−４は、設定された直線の角度が、７０．０度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。すなわち、画素選択部４２１−４は、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に１１画素離れた位置にある。
【０２９２】
例えば、図２８および図２９で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７１．６度以上７６．０度未満の範囲（図２８および図２９において、Ｃで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。
【０２９３】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７１．６度以上７６．０度未満の範囲にあるとき、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、９画素乃至１１画素である。
【０２９４】
図３４で示されるように、例えば、画素選択部４２１−５は、設定された直線の角度が、７１．６度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。すなわち、画素選択部４２１−５は、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に９画素離れた位置にある。
【０２９５】
また、図３５で示されるように、例えば、画素選択部４２１−６は、設定された直線の角度が、７４．７度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。すなわち、画素選択部４２１−６は、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に１１画素離れた位置にある。
【０２９６】
例えば、図２８および図２９で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７６．０度以上８７．７度以下の範囲（図２８および図２９において、Ｄで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７６．０度以上８７．７度以下の範囲にあるとき、入力画像から、それぞれ１１の画素からなる、５つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、８画素乃至５０画素である。
【０２９７】
図３６で示されるように、例えば、画素選択部４２１−７は、設定された直線の角度が、７６．０度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−７は、入力画像から、それぞれ１１の画素からなる、５つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に８画素離れた位置にある。
【０２９８】
また、図３７で示されるように、例えば、画素選択部４２１−８は、設定された直線の角度が、８７．７度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−８は、入力画像から、それぞれ１１の画素からなる、５の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に５０画素離れた位置にある。
【０２９９】
このように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、それぞれ、角度の範囲に対応した所定の数の画素からなる、角度の範囲に対応した所定の数の画素の組を選択する。
【０３００】
画素選択部４２１−１は、選択した画素の組を推定誤差算出部４２２−１に供給し、画素選択部４２１−２は、選択した画素の組を推定誤差算出部４２２−２に供給する。同様に、画素選択部４２１−３乃至画素選択部４２１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４２２−３乃至推定誤差算出部４２２−Ｌのそれぞれに供給する。
【０３０１】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、注目画素を含む画素の組の画素の画素値と、他の画素の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、注目画素を含む画素の組以外の画素の組に含まれる画素の数で、算出された和を割り算する。算出された和を、注目画素を含む組以外の組に含まれる画素の数で、割り算するのは、設定された直線の角度に応じて選択される画素の数が異なるので、相関を示す値を正規化するためである。
【０３０２】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、正規化された画素値の差分の絶対値の和を最小誤差角度選択部４１３に供給する。
【０３０３】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４２１−１乃至画素選択部４２１−Ｌの処理を説明する。
【０３０４】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、０度乃至４５度または１３５度乃至１８０度の範囲の、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【０３０５】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する横に１列の画素の列に属する画素であって、設定された直線の角度の範囲に応じた数の、注目画素の左側の画素、および注目画素の右側の画素、並びに注目画素を画素の組として選択する。
【０３０６】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する横に１列の画素の列に対して、画素を基準とした縦方向に所定の距離にある、上側および下側の横に１列の画素の列に属する画素であって、設定された直線に最も近い位置の画素を選択し、選択された画素に対して横に１列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の左側の画素、および選択された画素の右側の画素、並びに選択された画素を画素の組として選択する。
【０３０７】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【０３０８】
画素選択部４２１−１は、選択した画素の組を推定誤差算出部４２２−１に供給し、画素選択部４２１−２は、選択した画素の組を推定誤差算出部４２２−２に供給する。同様に、画素選択部４２１−３乃至画素選択部４２１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４２２−３乃至推定誤差算出部４２２−Ｌのそれぞれに供給する。
【０３０９】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。
【０３１０】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０３１１】
次に、図３８のフローチャートを参照して、ステップＳ１０１の処理に対応する、図２６で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０３１２】
ステップＳ４２１およびステップＳ４２２の処理は、ステップＳ４０１およびステップＳ４０２の処理と同様なので、その説明は省略する。
【０３１３】
ステップＳ４２３において、データ選択部４０２は、ステップＳ４２２の処理で検出されたアクティビティに対する所定の範囲の角度毎に、注目画素を含む画素の列から、注目画素を中心とした、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、設定する直線の角度に対して、角度の範囲により定めた数の、注目画素の上側または左側の画素、および注目画素の下側または右側の画素、並びに注目画素を画素の組として選択する。
【０３１４】
ステップＳ４２４において、データ選択部４０２は、ステップＳ４２２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、角度の範囲に対して定めた数の画素の列から、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に、設定する直線の角度の範囲に対して所定の範囲だけ離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の、設定する直線の角度の範囲に対する数の画素、および選択された画素の下側または右側の、設定する直線の角度の範囲に対する数の画素、並びに選択された線に最も近い画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０３１５】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０３１６】
ステップＳ４２５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、他の組に属する画素の数で、画素値の差分の絶対値の和を割り算することにより、相関を計算する。
【０３１７】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０３１８】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０３１９】
ステップＳ４２６およびステップＳ４２７の処理は、ステップＳ４０６およびステップＳ４０７の処理と同様なので、その説明は省略する。
【０３２０】
このように、データ定常性検出部１０１は、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を、より正確に、より精度良く検出することができる。図２６に構成を示すデータ定常性検出部１０１は、特に、データの定常性の角度が４５度付近である場合において、細線の画像が射影された、より多くの画素の相関を評価することができるので、より精度良くデータの定常性の角度を検出することができる。
【０３２１】
なお、図２６で構成が示されるデータ定常性検出部１０１においても、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の、空間的な角度の範囲に対して定めた数の画素からなる画素の組を、空間的な角度の範囲に対して定めた数だけ抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０３２２】
図３９は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０３２３】
図３９に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックが抽出され、注目画素を中心としたブロックと周辺のブロックとの相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０３２４】
データ選択部４４１は、入力画像の画素から注目画素を順に選択し、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出し、抽出したブロックを誤差推定部４４２に供給する。
【０３２５】
例えば、データ選択部４４１は、注目画素を中心とした５×５画素からなるブロック、注目画素の周辺から、注目画素および基準軸を基準とした所定の角度の範囲毎に、５×５画素からなる２つのブロックを抽出する。
【０３２６】
誤差推定部４４２は、データ選択部４４１から供給された、注目画素を中心としたブロックと、注目画素の周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部４４３に供給する。
【０３２７】
例えば、誤差推定部４４２は、角度の範囲毎に、注目画素を中心とした５×５画素からなるブロックと、１つの角度の範囲に対応する、５×５画素からなる２つのブロックとについて、画素値の相関を検出する。
【０３２８】
定常性方向導出部４４３は、誤差推定部４４２から供給された相関情報に基づいて、相関の最も強い、注目画素の周辺のブロックの位置から、欠落した実世界の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４４３は、誤差推定部４４２から供給された相関情報に基づいて、注目画素を中心とした５×５画素からなるブロックに対して最も相関の強い、５×５画素からなる２つのブロックに対する角度の範囲を、データの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【０３２９】
図４０は、図３９に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０３３０】
データ選択部４４１は、画素選択部４６１−１乃至画素選択部４６１−Ｌを含む。誤差推定部４４２は、推定誤差算出部４６２−１乃至推定誤差算出部４６２−Ｌを含む。定常方向導出部４４３は、最小誤差角度選択部４６３を含む。
【０３３１】
例えば、データ選択部４４１には、画素選択部４６１−１乃至画素選択部４６１−８が設けられる。例えば、誤差推定部４４２には、推定誤差算出部４６２−１乃至推定誤差算出部４６２−８が設けられる。
【０３３２】
画素選択部４６１−１乃至画素選択部４６１−Ｌのそれぞれは、注目画素を中心とした、所定の数の画素からなるブロック、並びに注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなる２つのブロックを抽出する。
【０３３３】
図４１は、画素選択部４６１−１乃至画素選択部４６１−Ｌにより抽出される、５×５画素のブロックの例を説明する図である。図４１における中央の位置は、注目画素の位置を示す。
【０３３４】
なお、５×５画素のブロックは、一例であって、ブロックに含まれる画素の数は、本発明を限定するものではない。
【０３３５】
例えば、画素選択部４６１−１は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応した、注目画素に対して、右側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ａで示す）を抽出し、注目画素に対して、左側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ａ’で示す）を抽出する。画素選択部４６１−１は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−１に供給する。
【０３３６】
画素選択部４６１−２は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１８．４度乃至３３．７度の範囲に対応した、注目画素に対して、右側に１０画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｂで示す）を抽出し、注目画素に対して、左側に１０画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｂ’で示す）を抽出する。画素選択部４６１−２は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−２に供給する。
【０３３７】
画素選択部４６１−３は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、３３．７度乃至５６．３度の範囲に対応した、注目画素に対して、右側に５画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｃで示す）を抽出し、注目画素に対して、左側に５画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｃ’で示す）を抽出する。画素選択部４６１−３は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−３に供給する。
【０３３８】
画素選択部４６１−４は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、５６．３度乃至７１．６度の範囲に対応した、注目画素に対して、右側に５画素移動し、上側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｄで示す）を抽出し、注目画素に対して、左側に５画素移動し、下側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｄ’で示す）を抽出する。画素選択部４６１−４は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−４に供給する。
【０３３９】
画素選択部４６１−５は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、７１．６度乃至１０８．４度の範囲に対応した、注目画素に対して、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｅで示す）を抽出し、注目画素に対して、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｅ’で示す）を抽出する。画素選択部４６１−５は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−５に供給する。
【０３４０】
画素選択部４６１−６は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１０８．４度乃至１２３．７度の範囲に対応した、注目画素に対して、左側に５画素移動し、上側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｆで示す）を抽出し、注目画素に対して、右側に５画素移動し、下側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｆ’で示す）を抽出する。画素選択部４６１−６は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−６に供給する。
【０３４１】
画素選択部４６１−７は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１２３．７度乃至１４６．３度の範囲に対応した、注目画素に対して、左側に５画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｇで示す）を抽出し、注目画素に対して、右側に５画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｇ’で示す）を抽出する。画素選択部４６１−７は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−７に供給する。
【０３４２】
画素選択部４６１−８は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１４６．３度乃至１６１．６度の範囲に対応した、注目画素に対して、左側に１０画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｈで示す）を抽出し、注目画素に対して、右側に１０画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図４１中Ｈ’で示す）を抽出する。画素選択部４６１−８は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−８に供給する。
【０３４３】
以下、注目画素を中心とした、所定の数の画素からなるブロックを注目ブロックと称する。
【０３４４】
以下、注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなるブロックを参照ブロックと称する。
【０３４５】
このように、画素選択部４６１−１乃至画素選択部４６１−８は、例えば、注目画素を中心として、２５×２５画素の範囲から、注目ブロックおよび参照ブロックを抽出する。
【０３４６】
推定誤差算出部４６２−１乃至推定誤差算出部４６２−Ｌは、画素選択部４６１−１乃至画素選択部４６１−Ｌから供給された、注目ブロックと、２つの参照ブロックとの相関を検出して、検出した相関を示す相関情報を最小誤差角度選択部４６３に供給する。
【０３４７】
例えば、推定誤差算出部４６２−１は、注目画素を中心とした、５×５画素からなる注目ブロックと、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応して抽出された、注目画素に対して、右側に５画素移動した位置にある画素を中心とした、５×５画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【０３４８】
この場合において、推定誤差算出部４６２−１は、図４２に示されるように、注目ブロックの中央の画素と参照ブロックの中央の画素とが重なる位置を基準として、画素値の差分の絶対値の算出に、注目画素の画素値が使用されるように、参照ブロックに対して、注目ブロックの位置を、左側に２画素乃至右側に２画素のいずれか、上側に２画素乃至下側に２画素のいずれか移動させた場合に重なる位置となる画素の画素値の差分の絶対値を算出する。すなわち、注目ブロックと参照ブロックとの２５種類の位置における、対応する位置の画素の画素値の差分の絶対値が算出される。言い換えれば、画素値の差分の絶対値が算出される場合において、相対的に移動される注目ブロックおよび参照ブロックとからなる範囲は、９×９画素である。
【０３４９】
図４２において、四角は、画素を示し、Ａは、参照ブロックを示し、Ｂは、注目ブロックを示す。図４２において、太線は、注目画素を示す。すなわち、図４２は、参照ブロックに対して、注目ブロックが右側に２画素、および上側に１画素移動した場合の例を示す図である。
【０３５０】
さらに、推定誤差算出部４６２−１は、注目画素を中心とした、５×５画素からなる注目ブロックと、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応して抽出された、注目画素に対して、左側に５画素移動した位置にある画素を中心とした、５×５画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【０３５１】
そして、推定誤差算出部４６２−１は、算出された差分の絶対値の和を求めて、差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０３５２】
推定誤差算出部４６２−２は、５×５画素からなる注目ブロックと、１８．４度乃至３３．７度の範囲に対応して抽出された、５×５画素の２つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４６２−１は、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０３５３】
同様に、推定誤差算出部４６２−３乃至推定誤差算出部４６２−８のそれぞれは、５×５画素からなる注目ブロックと、所定の角度の範囲に対応して抽出された、５×５画素の２つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４６２−３乃至推定誤差算出部４６２−８のそれぞれは、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０３５４】
最小誤差角度選択部４６３は、推定誤差算出部４６２−１乃至推定誤差算出部４６２−８から供給された、相関情報としての画素値の差分の絶対値の和のうち、最も強い相関を示す、最小の値が得られた参照ブロックの位置から、２つの参照ブロックに対する角度をデータの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【０３５５】
ここで、参照ブロックの位置と、データの定常性の角度の範囲との関係について説明する。
【０３５６】
実世界の信号を近似する近似関数ｆ（ｘ）をｎ次の一次元多項式で近似した場合、近似関数ｆ（ｘ）は、式（１５）で表すことができる。
【数１２】

【０３５７】
近似関数ｆ（ｘ）で近似される実世界の信号の波形が、空間方向Ｙに対して一定の傾き（角度）を有する場合、式（１５）における、ｘをｘ＋γｙとすることにより得られた式（１６）で、実世界の信号を近似する近似関数（ｘ，ｙ）は、表現される。
【数１３】

【０３５８】
γは、空間方向Ｙの位置の変化に対する、空間方向Ｘの位置の変化の割合を示す。以下、γをシフト量とも称する。
【０３５９】
図４３は、注目画素の位置と、角度θを有する直線との空間方向Ｘの距離を０としたとき、すなわち、注目画素を直線が通るときの、注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Ｘの距離を示す図である。ここで、画素の位置は、画素の中心の位置である。また、位置と直線との距離は、位置が直線に対して左側にあるとき、負の値で示され、位置が直線に対して右側にあるとき、正の値で示される。
【０３６０】
例えば、注目画素の右側に隣接する画素の位置、すなわち空間方向Ｘの座標ｘが１増加する位置と、角度θを有する直線との空間方向Ｘの距離は、１であり、注目画素の左側に隣接する画素の位置、すなわち空間方向Ｘの座標ｘが１減少する位置と、角度θを有する直線との空間方向Ｘの距離は、−１である。注目画素の上側に隣接する画素の位置、すなわち空間方向Ｙの座標ｙが１増加する位置と、角度θを有する直線との空間方向Ｘの距離は、−γであり、注目画素の下側に隣接する画素の位置、すなわち空間方向Ｙの座標ｙが１減少する位置と、角度θを有する直線との空間方向Ｘの距離は、γである。
【０３６１】
角度θが４５度を超え、９０度未満であり、シフト量γが、０を超え、１未満であるとき、シフト量γと角度θとの間には、γ＝１／ｔａｎθの関係式が成り立つ。図４４は、シフト量γと角度θとの関係を示す図である。
【０３６２】
ここで、シフト量γの変化に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離の変化に注目する。
【０３６３】
図４５は、シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離を示す図である。図４５において、右上がりの一点鎖線は、シフト量γに対する、注目画素の下側に隣接する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの一点鎖線は、シフト量γに対する、注目画素の上側に隣接する画素の位置と直線との空間方向Ｘの距離を示す。
【０３６４】
図４５において、右上がりの二点鎖線は、シフト量γに対する、注目画素から、２画素下側で、１画素左側に位置する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの二点鎖線は、シフト量γに対する、注目画素から、２画素上側で、１画素右側に位置する画素の位置と直線との空間方向Ｘの距離を示す。
【０３６５】
図４５において、右上がりの三点鎖線は、シフト量γに対する、注目画素から、１画素下側で、１画素左側に位置する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの三点鎖線は、シフト量γに対する、注目画素から、１画素上側で、１画素右側に位置する画素の位置と直線との空間方向Ｘの距離を示す。
【０３６６】
図４５から、シフト量γに対して、距離が最も小さい画素がわかる。
【０３６７】
すなわち、シフト量γが０乃至１／３であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。すなわち、角度θが７１．６度乃至９０度であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。
【０３６８】
シフト量γが１／３乃至２／３であるとき、注目画素に対して、２画素上側で、１画素右側に位置する画素、および注目画素に対して、２画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが５６．３度乃至７１．６度であるとき、注目画素に対して、２画素上側で、１画素右側に位置する画素、および注目画素に対して、２画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。
【０３６９】
また、シフト量γが２／３乃至１であるとき、注目画素に対して、１画素上側で、１画素右側に位置する画素、および注目画素に対して、１画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが４５度乃至５６．３度であるとき、注目画素に対して、１画素上側で、１画素右側に位置する画素、および注目画素に対して、１画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。
【０３７０】
角度θが０度から４５度までの範囲の直線と画素との関係も、同様に考えることができる。
【０３７１】
図４３に示す画素を、注目ブロックおよび参照ブロックに置き換えて、参照ブロックと直線との空間方向Ｘの距離を考えることができる。
【０３７２】
図４６に、注目画素を通り、空間方向Ｘの軸に対して角度θの直線との距離が最小の参照ブロックを示す。
【０３７３】
図４６におけるＡ乃至ＨおよびＡ’乃至Ｈ’は、図４１におけるＡ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックを示す。
【０３７４】
すなわち、注目画素を通り、空間方向Ｘの軸を基準とした、０度乃至１８．４度および１６１．６度乃至１８０．０度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＡおよびＡ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＡおよびＡ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＡおよびＡ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲にあると言える。
【０３７５】
注目画素を通り、空間方向Ｘの軸を基準とした、１８．４度乃至３３．７度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＢおよびＢ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＢおよびＢ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＢおよびＢ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１８．４度乃至３３．７度の範囲にあると言える。
【０３７６】
注目画素を通り、空間方向Ｘの軸を基準とした、３３．７度乃至５６．３度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＣおよびＣ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＣおよびＣ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＣおよびＣ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、３３．７度乃至５６．３度の範囲にあると言える。
【０３７７】
注目画素を通り、空間方向Ｘの軸を基準とした、５６．３度乃至７１．６度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＤおよびＤ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＤおよびＤ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＤおよびＤ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、５６．３度乃至７１．６度の範囲にあると言える。
【０３７８】
注目画素を通り、空間方向Ｘの軸を基準とした、７１．６度乃至１０８．４度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＥおよびＥ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＥおよびＥ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＥおよびＥ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、７１．６度乃至１０８．４度の範囲にあると言える。
【０３７９】
注目画素を通り、空間方向Ｘの軸を基準とした、１０８．４度乃至１２３．７度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＦおよびＦ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＦおよびＦ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＦおよびＦ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１０８．４度乃至１２３．７度の範囲にあると言える。
【０３８０】
注目画素を通り、空間方向Ｘの軸を基準とした、１２３．７度乃至１４６．３度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＧおよびＧ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＧおよびＧ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＧおよびＧ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１２３．７度乃至１４６．３度の範囲にあると言える。
【０３８１】
注目画素を通り、空間方向Ｘの軸を基準とした、１４６．３度乃至１６１．６度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＨおよびＨ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＨおよびＨ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＨおよびＨ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１４６．３度乃至１６１．６度の範囲にあると言える。
【０３８２】
このように、データ定常性検出部１０１は、注目ブロックと参照ブロックとの相関を基に、データの定常性の角度を検出することができる。
【０３８３】
なお、図３９に構成を示すデータ定常性検出部１０１においては、データの定常性の角度の範囲をデータ定常性情報として出力するようにしても良く、データの定常性の角度の範囲を示す代表値をデータ定常性情報として出力するようにしても良い。例えば、データの定常性の角度の範囲の中央値を代表値とすることができる。
【０３８４】
さらに、図３９に構成を示すデータ定常性検出部１０１は、相関が最も強い参照ブロックの周辺の参照ブロックの相関を利用することにより、検出するデータの定常性の角度の範囲を１／２に、すなわち、検出するデータの定常性の角度の分解能を２倍にすることができる。
【０３８５】
例えば、注目ブロックと、ＥおよびＥ’の参照ブロックとの相関が最も強いとき、最小誤差角度選択部４６３は、図４７で示されるように、注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関と、注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関とを比較する。注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関が、注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部４６３は、データの定常性の角度に、７１．６度乃至９０度の範囲を設定する。また、この場合、最小誤差角度選択部４６３は、データの定常性の角度に、代表値として８１度を設定するようにしてもよい。
【０３８６】
注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関が、注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部４６３は、データの定常性の角度に、９０度乃至１０８．４度の範囲を設定する。また、この場合、最小誤差角度選択部４６３は、データの定常性の角度に、代表値として９９度を設定するようにしてもよい。
【０３８７】
最小誤差角度選択部４６３は、同様の処理で、他の角度の範囲についても、検出するデータの定常性の角度の範囲を１／２にすることができる。
【０３８８】
尚、図４７を参照して説明した手法を、簡易１６方位検出手法とも称する。
【０３８９】
このように、図３９に構成を示すデータ定常性検出部１０１は、簡単な処理で、より範囲の狭い、データの定常性の角度を検出することができる。
【０３９０】
次に、図４８のフローチャートを参照して、ステップＳ１０１の処理に対応する、図３９で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０３９１】
ステップＳ４４１において、データ選択部４４１は、入力画像から、注目している画素である注目画素を選択する。例えば、データ選択部４４１は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０３９２】
ステップＳ４４２において、データ選択部４４１は、注目画素を中心とする所定の数の画素からなる注目ブロックを選択する。例えば、データ選択部４４１は、注目画素を中心とする５×５画素からなる注目ブロックを選択する。
【０３９３】
ステップＳ４４３において、データ選択部４４１は、注目画素の周辺の所定の位置の所定の数の画素からなる参照ブロックを選択する。例えば、データ選択部４４１は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックの大きさを基準とした、所定の位置の画素を中心とする５×５画素からなる参照ブロックを選択する。
【０３９４】
データ選択部４４１は、注目ブロックおよび参照ブロックを誤差推定部４４２に供給する。
【０３９５】
ステップＳ４４４において、誤差推定部４４２は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックと、角度の範囲に対応した参照ブロックとの相関を計算する。誤差推定部４４２は、算出された相関を示す相関情報を定常方向導出部４４３に供給する。
【０３９６】
ステップＳ４４５において、定常方向導出部４４３は、注目ブロックに対して、相関が最も強い参照ブロックの位置から、欠落した実世界の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０３９７】
定常方向導出部４４３は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０３９８】
ステップＳ４４６において、データ選択部４４１は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４４１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０３９９】
ステップＳ４４６において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０４００】
このように、図３９に構成を示すデータ定常性検出部１０１は、より簡単な処理で、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。また、図３９に構成を示すデータ定常性検出部１０１は、入力画像の中の、比較的狭い範囲の画素の画素値を使用して、データの定常性の角度を検出することができるので、入力画像にノイズ等が含まれていても、より正確にデータの定常性の角度を検出することができる。
【０４０１】
なお、図３９で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、注目フレームから、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出すると共に、注目フレームに対して時間的に前または後ろのフレームから、所定の数の画素からなる、注目画素に対応する位置の画素を中心としたブロックと、注目画素に対応する位置の画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出し、注目画素を中心としたブロックと空間的または時間的に周辺のブロックとの相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０４０２】
例えば、図４９に示すように、データ選択部４４１は、注目フレームであるフレーム＃ｎから注目画素を順に選択し、フレーム＃ｎから、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。また、データ選択部４４１は、フレーム＃ｎ−１およびフレーム＃ｎ＋１のそれぞれから、注目画素の位置に対応する位置の画素を中心とした、所定の数の画素からなるブロック、および、注目画素の位置に対応する位置の画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。データ選択部４４１は、抽出したブロックを誤差推定部４４２に供給する。
【０４０３】
誤差推定部４４２は、データ選択部４４１から供給された、注目画素を中心としたブロックと、空間的または時間的に周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部４４３に供給する。定常性方向導出部４４３は、誤差推定部４４２から供給された相関情報に基づいて、相関の最も強い、空間的または時間的に周辺のブロックの位置から、欠落した実世界の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０４０４】
また、データ定常性検出部１０１は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行することができる。
【０４０５】
図５０は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【０４０６】
データ定常性検出部４８１−１乃至４８１−３のそれぞれは、上述した、または後述するデータ定常性検出部１０１と同様の構成を有し、入力画像のコンポーネント信号のそれぞれを処理の対象として、上述した、または後述する処理を実行する。
【０４０７】
データ定常性検出部４８１−１は、入力画像の第１のコンポーネント信号を基に、データの定常性を検出し、第１のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−１は、入力画像の輝度信号を基に、データの定常性を検出し、輝度信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０４０８】
データ定常性検出部４８１−２は、入力画像の第２のコンポーネント信号を基に、データの定常性を検出し、第２のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−２は、入力画像の色差信号であるＩ信号を基に、データの定常性を検出し、Ｉ信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０４０９】
データ定常性検出部４８１−３は、入力画像の第３のコンポーネント信号を基に、データの定常性を検出し、第３のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−２は、入力画像の色差信号であるＱ信号を基に、データの定常性を検出し、Ｑ信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０４１０】
決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性を示す情報を基に、入力画像における最終的なデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を出力する。
【０４１１】
例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最大のデータの定常性を最終的なデータの定常性とする。また、例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最小のデータの定常性を最終的なデータの定常性とする。
【０４１２】
さらに、例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性の平均値を最終的なデータの定常性とする。決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のメディアン（中央値）を最終的なデータの定常性とするようにしてもよい。
【０４１３】
また、例えば、決定部４８２は、外部から入力された信号を基に、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、外部から入力された信号で指定されるデータの定常性を最終的なデータの定常性とする。決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、予め定めたデータの定常性を最終的なデータの定常性とするようにしてもよい。
【０４１４】
なお、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号のデータの定常性の検出の処理で求めた誤差を基に、最終的なデータの定常性を決定するようにしてもよい。データの定常性の検出の処理で求められる誤差については、後述する。
【０４１５】
図５１は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の他の構成を示す図である。
【０４１６】
コンポーネント処理部４９１は、入力画像のコンポーネント信号を基に、１つの信号を生成し、データ定常性検出部４９２に供給する。例えば、コンポーネント処理部４９１は、入力画像の各コンポーネント信号における値を、画面上で同じ位置の画素について、加算することにより、コンポーネント信号の値の和からなる信号を生成する。
【０４１７】
例えば、コンポーネント処理部４９１は、入力画像の各コンポーネント信号における画素値を、画面上で同じ位置の画素について、平均することにより、コンポーネント信号の画素値の平均値からなる信号を生成する。
【０４１８】
データ定常性検出部４９２は、コンポーネント処理部４９１から供給された、信号を基に、入力画像における、データの定常性を検出し、検出したデータの定常性を示すデータ定常性情報を出力する。
【０４１９】
データ定常性検出部４９２は、上述した、または後述するデータ定常性検出部１０１と同様の構成を有し、コンポーネント処理部４９１から供給された信号を対象として、上述した、または後述する処理を実行する。
【０４２０】
このように、データ定常性検出部１０１は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、入力画像にノイズなどが含まれていても、より正確に、データの定常性を検出することができる。例えば、データ定常性検出部１０１は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、より正確に、データの定常性の角度（傾き）、混合比、またはデータの定常性を有する領域を検出することができる。
【０４２１】
なお、コンポーネント信号は、輝度信号および色差信号に限らず、ＲＧＢ信号、またはＹＵＶ信号など他の方式のコンポーネント信号であっても良い。
【０４２２】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの、欠落した現実世界の光信号の定常性に対応するデータの定常性の、基準軸に対する角度を検出し、検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４２３】
また、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している注目画素および基準軸を基準とした角度毎に、所定の数の画素からなる画素の組であって、複数の組を抽出し、角度毎に抽出された、複数の組における対応する位置の画素の画素値の相関を検出し、検出された相関に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出し、検出された画像データにおける基準軸に対するデータの定常性の角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４２４】
図５２は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０４２５】
図５２に示されるデータ定常性検出部１０１においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基づいて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性が検出される。
【０４２６】
フレームメモリ５０１は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部５０２に供給する。フレームメモリ５０１は、１つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して１つ前（過去）のフレームの画素の画素値を画素取得部５０２に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部５０２に、動画である入力画像のフレームの画素の画素値を供給することができる。
【０４２７】
画素取得部５０２は、フレームメモリ５０１から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部５０２は、注目画素を中心とする５×５画素からなる領域を選択する。
【０４２８】
画素取得部５０２が選択する領域の大きさは、本発明を限定するものではない。
【０４２９】
画素取得部５０２は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部５０３に供給する。
【０４３０】
度数検出部５０３は、画素取得部５０２から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部５０３における、相関値に基づく度数の設定の処理の詳細は、後述する。
【０４３１】
度数検出部５０３は、検出した度数を回帰直線演算部５０４に供給する。
【０４３２】
回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部５０４は、演算された回帰線および演算の結果を示す演算結果パラメータを角度算出部５０５に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【０４３３】
角度算出部５０５は、回帰直線演算部５０４から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像のデータの定常性を検出する。例えば、角度算出部５０５は、回帰直線演算部５０４から供給された演算結果パラメータで示される、回帰直線に基づいて、欠落した実世界の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。角度算出部５０５は、力画像における、基準軸を基準としたデータの定常性の角度を示すデータ定常性情報を出力する。
【０４３４】
図５３乃至図５５を参照して、入力画像における、基準軸を基準としたデータの定常性の角度について説明する。
【０４３５】
図５３において、丸は、１つの画素を示し、２重丸は、注目画素を示す。丸の色は、画素の画素値の概略を示し、より明るい色は、より大きい画素値を示す。例えば、黒は、３０である画素値を示し、白は、１２０である画素値を示す。
【０４３６】
図５３で示される画素からなる画像を人間が見た場合、画像を見た人間は、斜め右上方向に直線が伸びていると認識することができる。
【０４３７】
図５２に構成を示すデータ定常性検出部１０１は、図５３で示される画素からなる入力画像を入力したとき、斜め右上方向に直線が伸びていることを検出する。
【０４３８】
図５４は、図５３で示される画素の画素値を数値で表した図である。丸は、１つの画素を示し、丸の中の数値は、画素値を示す。
【０４３９】
例えば、注目画素の画素値は、１２０であり、注目画素の上側の画素の画素値は、１００であり、注目画素の下側の画素の画素値は、１００である。また、注目画素の左側の画素の画素値は、８０であり、注目画素の右側の画素の画素値は、８０である。同様に、注目画素の左下側の画素の画素値は、１００であり、注目画素の右上側の画素の画素値は、１００である。注目画素の左上側の画素の画素値は、３０であり、注目画素の右下側の画素の画素値は、３０である。
【０４４０】
図５２に構成を示すデータ定常性検出部１０１は、図５４で示される入力画像に対して、図５５で示されるように、回帰直線Ａを引く。
【０４４１】
図５６は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Ａとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図５６に示すように、山脈状に変化している。
【０４４２】
図５２に構成を示すデータ定常性検出部１０１は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Ａを引く。データ定常性検出部１０１により求められた回帰直線Ａは、注目画素の周辺におけるデータの定常性を表現している。
【０４４３】
入力画像における、基準軸を基準としたデータの定常性の角度は、図５７で示されるように、回帰直線Ａと、例えば、基準軸である空間方向Ｘを示す軸との角度θを求めることにより、検出される。
【０４４４】
次に、図５２に構成を示すデータ定常性検出部１０１における、回帰直線の具体的な算出方法について説明する。
【０４４５】
度数検出部５０３は、例えば、画素取得部５０２から供給された、注目画素を中心とする、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【０４４６】
例えば、度数検出部５０３は、式（１７）で示される演算により、度数を算出することにより、領域に属する、座標（ｘ_ｉ，ｙ_ｊ）の度数Ｌ_ｉ，ｊを検出する。
【数１４】

【０４４７】
式（１７）において、Ｐ_０，０は、注目画素の画素値を示し、Ｐ_ｉ，ｊは、座標（ｘ_ｉ，ｙ_ｊ）の画素の画素値を示す。Ｔｈは、閾値を示す。
【０４４８】
ｉは、領域内における、空間方向Ｘの画素の順番を示し、１≦ｉ≦ｋである。ｊは、領域内における、空間方向Ｙの画素の順番を示し、１≦ｊ≦ｌである。
【０４４９】
ｋは、領域における、空間方向Ｘの画素の数を示し、ｌは、領域における、空間方向Ｙの画素の数を示す。例えば、領域が、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなるとき、Ｋは、９であり、ｌは、５である。
【０４５０】
図５８は、画素取得部５０２において取得される領域の例を示す図である。図５８において、点線の四角は、１つの画素を示す。
【０４５１】
例えば、図５８で示されるように、領域が、空間方向Ｘについて、注目画素を中心とした９画素、空間方向Ｙについて、注目画素を中心とした５画素からなり、注目画素の座標（ｘ，ｙ）が（０，０）であるとき、領域の左上の画素の座標（ｘ，ｙ）は、（−４，２）であり、領域の右上の画素の座標（ｘ，ｙ）は、（４，２）であり、領域の左下の画素の座標（ｘ，ｙ）は、（−４，−２）であり、領域の右下の画素の座標（ｘ，ｙ）は、（４，−２）である。
【０４５２】
領域の左側の画素の、空間方向Ｘにおける、画素の順番ｉは、１であり、領域の右側の画素の、空間方向Ｘにおける、画素の順番ｉは、９である。領域の下側の画素の、空間方向Ｙにおける、画素の順番ｊは、１であり、領域の上側の画素の、空間方向Ｙにおける、画素の順番ｊは、５である。
【０４５３】
すなわち、注目画素の座標（ｘ_５，ｙ_３）を（０，０）としたとき、領域の左上の画素の座標（ｘ_１，ｙ_５）は、（−４，２）であり、領域の右上の画素の座標（ｘ_９，ｙ_５）は、（４，２）であり、領域の左下の画素の座標（ｘ_１，ｙ_１）は、（−４，−２）であり、領域の右下の画素の座標（ｘ_９，ｙ_１）は、（４，−２）である。
【０４５４】
度数検出部５０３は、式（１７）において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像が射影された、入力画像における、２値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【０４５５】
なお、度数検出部５０３は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【０４５６】
また、式（１７）において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【０４５７】
閾値Ｔｈは、任意の値とすることができる。例えば、閾値Ｔｈは、３０とすることができる。
【０４５８】
このように、度数検出部５０３は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【０４５９】
また、例えば、度数検出部５０３は、式（１８）で示される演算により、度数を算出することにより、領域に属する、座標（ｘ_ｉ，ｙ_ｊ）の度数Ｌ_ｉ，ｊを検出する。
【数１５】

【０４６０】
座標（ｘ_ｉ，ｙ_ｊ）における度数をＬ_ｉ，ｊ（１≦ｉ≦ｋ，１≦ｊ≦ｌ）としたとき、座標ｘ_ｉにおける、空間方向Ｙの度数Ｌ_ｉ，ｊの和ｑ_ｉは、式（１９）で表され、座標ｙ_ｊにおける、空間方向Ｘの度数Ｌ_ｉ，ｊの和ｈ_ｊは、式（２０）で表される。
【数１６】

【０４６１】
【数１７】

【０４６２】
度数の総和ｕは、式（２１）で表される。
【数１８】

【０４６３】
図５８で示される例において、注目画素の座標の度数Ｌ_５，３は、３であり、注目画素の上側の画素の座標の度数Ｌ_５，４は、１であり、注目画素の右上側の画素の座標の度数Ｌ_６，４は、４であり、注目画素に対して、２画素上側であって、１画素右側の画素の座標の度数Ｌ_６，５は、２であり、注目画素に対して、２画素上側であって、２画素右側の画素の座標の度数Ｌ_７，５は、３である。また、注目画素の下側の画素の座標の度数Ｌ_５，２は、２であり、注目画素の左側の画素の座標の度数Ｌ_４，３は、１であり、注目画素の左下側の画素の座標の度数Ｌ_４，２は、３であり、注目画素に対して、１画素下側であって、２画素左側の画素の座標の度数Ｌ_３，２は、２であり、注目画素に対して、２画素下側であって、２画素左側の画素の座標の度数Ｌ_３，１は、４である。図５８で示される領域の他の画素の座標の度数は、０であり、図５８において、０である度数の記載は省略する。
【０４６４】
図５８で示される領域において、空間方向Ｙの度数の和ｑ_１は、ｉが１である度数Ｌが全て０なので、０であり、ｑ_２は、ｉが２である度数Ｌが全て０なので、０である。ｑ_３は、度数Ｌ_３，２が２であり、度数Ｌ_３，１が４なので、６である。同様に、ｑ_４は、４であり、ｑ_５は、６であり、ｑ_６は、６であり、ｑ_７は、３であり、ｑ_８は、０であり、ｑ_９は、０である。
【０４６５】
図５８で示される領域において、空間方向Ｘの度数の和ｈ_１は、度数Ｌ_３，１が４なので、４である。ｈ_２は、度数Ｌ_３，２が２であり、度数Ｌ_４，２が３であり、度数Ｌ_５，２が２なので、７である。同様に、ｈ_３は、４であり、ｈ_４は、５であり、ｈ_５は、５である。
【０４６６】
図５８で示される領域において、度数の総和ｕは、２５である。
【０４６７】
空間方向Ｙの度数Ｌ_ｉ，ｊの和ｑ_ｉに、座標ｘ_ｉを乗じた結果を加算した和Ｔ_ｘは、式（２２）で表される。
【数１９】

【０４６８】
空間方向Ｘの度数Ｌ_ｉ，ｊの和ｈ_ｊに、座標ｙ_ｊを乗じた結果を加算した和Ｔ_ｙは、式（２２）で表される。
【数２０】

【０４６９】
例えば、図５８で示される領域において、ｑ_１が０であり、ｘ_１が−４なので、ｑ_１ｘ_１は０であり、ｑ_２が０であり、ｘ_２が−３なので、ｑ_２ｘ_２は０である。同様に、ｑ_３が６であり、ｘ_３が−２なので、ｑ_３ｘ_３は−１２であり、ｑ_４が４であり、ｘ_４が−１なので、ｑ_４ｘ_４は、−４であり、ｑ_５が６であり、ｘ_５が０なので、ｑ_５ｘ_５は０である。同様に、ｑ_６が６であり、ｘ_６が１なので、ｑ_６ｘ_６は６であり、ｑ_７が３であり、ｘ_７が２なので、ｑ_７ｘ_７は６であり、ｑ_８が０であり、ｘ_８が３なので、ｑ_８ｘ_８は０であり、ｑ_９が０であり、ｘ_９が４なので、ｑ_９ｘ_９は０である。従って、ｑ_１ｘ_１乃至ｑ_９ｘ_９の和であるＴ_ｘは、−４である。
【０４７０】
例えば、図５８で示される領域において、ｈ_１が４であり、ｙ_１が−２なので、ｈ_１ｙ_１は−８であり、ｈ_２が７であり、ｙ_２が−１なので、ｈ_２ｙ_２は−７である。同様に、ｈ_３が４であり、ｙ_３が０なので、ｈ_３ｙ_３は０であり、ｈ_４が５であり、ｙ_４が１なので、ｈ_４ｙ_４は、５であり、ｈ_５が５であり、ｙ_５が２なので、ｈ_５ｙ_５は１０である。従って、ｈ_１ｙ_１乃至ｈ_５ｙ_５の和であるＴ_ｙは、０である。
【０４７１】
また、Ｑ_ｉを以下のように定義する。
【数２１】

【０４７２】
ｘの変動Ｓ_ｘは、式（２５）で表される。
【数２２】

【０４７３】
ｙの変動Ｓ_ｙは、式（２６）で表される。
【数２３】

【０４７４】
共変動Ｓ_ｘｙは、式（２７）で表される。
【数２４】

【０４７５】
式（２８）に示す１次の回帰直線を求めることを考える。
【０４７６】
ｙ＝ａｘ＋ｂ ・・・（２８）
【０４７７】
傾きａおよび切片ｂは、最小自乗法により、以下のように求めることができる。
【数２５】

【０４７８】
【数２６】

【０４７９】
ただし、正しい回帰直線を求めるための必要条件は、度数Ｌ_ｉ，ｊが、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部５０３は、度数Ｌ_ｉ，ｊがガウス分布するように、領域の画素の画素値を度数Ｌ_ｉ，ｊに変換する必要がある。
【０４８０】
回帰直線演算部５０４は、式（２９）および式（３０）で示される演算を実行して、回帰直線を求める。
【０４８１】
角度算出部５０５は、式（３１）に示す演算により、回帰直線の傾きａを、基準軸である空間方向Ｘの軸に対する角度θに変換する。
θ＝ｔａｎ^−１（ａ） ・・・（３１）
【０４８２】
なお、回帰直線演算部５０４が所定の曲線である回帰線を演算する場合、角度算出部５０５は、基準軸に対する、注目画素の位置における回帰線の角度θを求める。
【０４８３】
ここで、画素毎にデータの定常性を検出するためには、切片ｂは、不要である。そこで、式（３２）に示す１次の回帰直線を求めることを考える。
ｙ＝ａｘ ・・・（３２）
【０４８４】
この場合、回帰直線演算部５０４は、最小自乗法により、傾きａを式（３３）で求めることができる。
【数２７】

【０４８５】
図５９のフローチャートを参照して、ステップＳ１０１の処理に対応する、図５２で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０４８６】
ステップＳ５０１において、画素取得部５０２は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部５０２は、ラスタスキャン順に、注目画素を選択する。ステップＳ５０２において、画素取得部５０２は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部５０３に供給する。例えば、画素取得部５０２は、注目画素を中心とした、９×５画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【０４８７】
ステップＳ５０３において、度数検出部５０３は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部５０３は、式（１７）に示される演算により、画素値を度数Ｌ_ｉ，ｊに変換する。この場合において、度数Ｌ_ｉ，ｊがガウス分布するように、領域の画素の画素値が度数Ｌ_ｉ，ｊに変換される。度数検出部５０３は、変換された度数を回帰直線演算部５０４に供給する。
【０４８８】
ステップＳ５０４において、回帰直線演算部５０４は、度数検出部５０３から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部５０４は、式（２９）および式（３０）で示される演算を実行して、回帰直線を求める。回帰直線演算部５０４は、算出された結果である回帰直線を示す演算結果パラメータを角度算出部５０５に供給する。
【０４８９】
ステップＳ５０５において、角度算出部５０５は、基準軸に対する回帰直線の角度を算出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する。例えば、角度算出部５０５は、式（３１）に示す演算により、回帰直線の傾きａを、基準軸である空間方向Ｘの軸に対する角度θに変換する。角度算出部５０５は、基準軸に対する回帰直線の角度を示すデータ定常性情報を出力する。
【０４９０】
なお、角度算出部５０５は、傾きａを示すデータ定常性情報を出力するようにしてもよい。
【０４９１】
ステップＳ５０６において、画素取得部５０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ５０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０４９２】
ステップＳ５０６において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０４９３】
このように、図５２に構成を示すデータ定常性検出部１０１は、欠落した実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０４９４】
特に、図５２に構成を示すデータ定常性検出部１０１は、比較的狭い領域の画素の画素値を基に、画素以下の角度を求めることができる。
【０４９５】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基づいて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出し、検出された画像データのデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４９６】
なお、図５２に構成を示すデータ定常性検出部１０１は、注目画素の属する注目フレームと、注目フレームの時間的に前後のフレームについて、所定の領域に属する画素の画素値を度数に変換し、度数を基に、回帰平面を求めるようにすれば、空間方向のデータの定常性の角度と共に、時間方向のデータの定常性の角度を検出することができる。
【０４９７】
図６０は、データ定常性検出部１０１のその他の実施の形態の構成を示している。
【０４９８】
図６０のデータ定常性検出部１０１は、データ選択部７０１、データ足し込み部７０２、および、定常方向導出部７０３より構成される。
【０４９９】
データ選択部７０１は、入力画像の各画素を注目画素として、その注目画素毎に対応する画素の画素値データを選択して、データ足し込み部７０２に出力する。
【０５００】
データ足し込み部７０２は、データ選択部７０１より入力されたデータに基づいて、最小自乗法における足し込み演算を行い、足し込み演算結果を定常方向導出部７０３に出力する。このデータ足し込み部７０２による足し込み演算とは、後述する最小自乗法の演算に用いるサメーションの項における演算であり、その演算結果は、定常性の角度を検出するための画像データの特徴であると言える。
【０５０１】
定常方向導出部７０３は、データ足し込み部７０２より入力された足し込み演算結果から定常方向、すなわち、データの定常性が有する基準軸からの角度（例えば、細線、または２値エッジなどの傾き、または方向）を演算し、これをデータ定常性情報として出力する。
【０５０２】
次に、図６１を参照して、データ定常性検出部１０１における定常性（方向、または、角度）を検出する動作の概要について説明する。尚、図６１，図６２中、における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５０３】
図６１で示されるように、実世界の信号（例えば、画像）は、光学系１４１（例えば、レンズ、またはＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）などからなる）により、センサ（例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）など）の受光面に結像される。センサは、例えば、ＣＣＤやＣＭＯＳのような積分特性を有する素子から構成される。このような構成により、センサから出力されるデータから得られる画像は、実世界の画像とは異なる画像となる（実世界の画像とは差が生じることになる）。
【０５０４】
そこで、データ定常性検出部１０１は、図６２で示されるように、モデル７０５を用いて、実世界を近似式により近似的に記述して、その近似式からデータ定常性を抽出する。モデル７０５は、例えば、Ｎ個の変数で表現される。より正確には、モデル７０５は、実世界の信号を近似（記述）する。
【０５０５】
データ定常性検出部１０１は、モデル７０５を予測するために、データから、Ｍ個のデータ７０６を抽出する。その結果、モデル７０５は、データの定常性に拘束されることになる。
【０５０６】
すなわち、モデル７０５は、センサで取得されたとき、データにおいてデータのデータ定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界の事象（を示す情報（信号））を近似する。
【０５０７】
ここで、データ７０６の数Ｍが、モデル７０５の変数の数Ｎ以上であれば、Ｍ個のデータ７０６から、Ｎ個の変数で表現されるモデル７０５を予測することができる。
【０５０８】
さらに、データ定常性検出部１０１は、実世界（の信号）を近似（記述）するモデル７０５を予測することにより、実世界の情報である信号に含まれるデータ定常性を、例えば、細線や２値エッジの方向（傾き、または、所定の方向を軸としたときの軸とのなす角度）として導出し、データ定常性情報として出力する。
【０５０９】
次に、図６３を参照して、入力画像より細線の方向（角度）をデータ定常性情報として出力するデータ定常性検出部１０１について説明する。
【０５１０】
データ選択部７０１は、水平・垂直判定部７１１、および、データ取得部７１２から構成されている。水平・垂直判定部７１１は、注目画素とその周辺の画素間の画素値の差分から、入力画像の細線の水平方向に対する角度が、水平方向に近い細線か、垂直方向に近い細線かを判定し、判定結果をデータ取得部７１２、および、データ足し込み部７０２にそれぞれ出力する。
【０５１１】
より詳細には、例えば、この手法という意味で、他の手法でもよい。例えば、簡易１６方位検出手法をここで使用してもよい。図６４で示されるように、水平・垂直判定部７１１は、注目画素と、その注目画素に隣接する画素間の差分（画素間の画素値の差分）のうち、水平方向の画素間の差分（アクティビティ）の和（ｈｄｉｆｆ）と、垂直方向の画素間の差分（アクティビティ）の和の差分（ｖｄｉｆｆ）を求めて、注目画素が垂直方向に隣接する画素間との差分の和が大きいか、または、水平方向に隣接する画素間との差分の和が大きいかを判定する。ここで、図６４においては、各マス目が画素を示し、図中の中央の画素が注目画素である。また、図中の点線の矢印で示す画素間の差分が、水平方向の画素間の差分であり、その和がｈｄｉｆｆで示される。さらに、図中の実線の矢印で示す画素間の差分が、垂直方向の画素間の差分であり、その和がｖｄｉｆｆで示される。
【０５１２】
このように求められた水平方向の画素間の画素値の差分和ｈｄｉｆｆと、垂直方向の画素間の画素値の差分和ｖｄｉｆｆに基づいて、水平・垂直判定部７１１は、（ｈｄｉｆｆ−ｖｄｉｆｆ）が正であれば、垂直方向よりも水平方向の画素間の画素値の変化（アクティビティ）が大きいので、図６５で示されるように、水平方向に対する角度がθ（０度度≦θ≦１８０度度）で示される場合、４５度度＜θ≦１３５度度、すなわち、垂直方向に近い角度の細線に属している画素であると判定し、逆に負であれば垂直方向の画素間の画素値の変化（アクティビティ）が大きいので、０度度≦θ＜４５度度、または、１３５度度＜θ≦１８０度度、すなわち、水平方向に近い角度の細線に属している画素であると判定する（細線が続く方向（角度）に存在する画素は、いずれも細線を表現する画素であるので、その画素間の変化（アクティビティ）は小さくなるはずである）。
【０５１３】
また、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタ（図示せず）を備えており、適宜必要に応じて使用する。
【０５１４】
尚、図６４においては、注目画素を中心として、３画素×３画素の範囲における垂直方向と水平方向の画素間の画素値の差分の和を比較して、細線が垂直方向に近いか、または、水平方向に近いかを判定する例について説明したが、それ以上の画素数を用いて同様の手法で細線の方向を判定するようにしてもよく、例えば、注目画素を中心として５画素×５画素や、７画素×７画素など、それ以上の画素数のブロックに基づいて判定するようにしてもよい。
【０５１５】
データ取得部７１２は、水平・垂直判定部７１１より入力された細線の方向の判定結果に基づいて、注目画素に対応する水平方向に並ぶ複数の画素からなるブロック単位、または、垂直方向に並ぶ複数の画素のブロック単位で画素値を読み出し（取得し）、読み出した（取得した）注目画素毎に対応する複数の画素間における、水平・垂直方向判定部７１１の判定結果の方向に隣接する画素間の差分データとともに、所定の画素数のブロックに含まれる画素から、画素値の最大値と最小値のデータをデータ足し込み部７０２に出力する。尚、以下においては、データ取得部７１２により、注目画素に対応して取得される複数の画素のブロックを取得ブロックと称する（取得ブロックは、例えば、後述する図７８で示される複数の画素（各マス目で示される）のうち、黒線の正方形が示された画素を注目画素とするとき、その上下３画素分と、左右１画素分の合計１５画素などである）。
【０５１６】
データ足し込み部７０２の差分足し込み部７２１は、データ選択部７０１より入力された差分データを検出し、データ選択部７０１の水平・垂直判定部７１１より入力される水平方向、または、垂直方向の判定結果に基づいて、後述する最小自乗法の解法に必要な足し込み処理を実行し、その足し込み結果を定常方向導出部７０３に出力する。より具体的には、複数の画素のうち水平・垂直判定部７１１による判定方向に隣接する画素ｉと画素（ｉ＋１）の画素間の画素値の差分データをｙｉとし、注目画素に対応する取得ブロックがｎ個の画素から構成された場合、差分足し込み部７２１は、水平方向、または、垂直方向毎に（ｙ１）^２＋（ｙ２）^２＋（ｙ３）^２＋・・・を足し込んで演算し、定常方向導出部７０３に出力する。
【０５１７】
ＭａｘＭｉｎ取得部７２２は、データ選択部７０１より入力される注目画素に対応する取得ブロックに含まれる各画素毎に設定されるブロック（以下、ダイナミックレンジブロックと称する（ダイナミックレンジブロックは、後述する図７８で示される取得ブロックの画素のうち、例えば、画素ｐｉｘ１２について、黒の実線で囲まれている、ダイナミックレンジブロックＢ１で示される、画素ｐｉｘ１２の上下３画素分の合計７画素などである））に含まれる画素の画素値の最大値と最小値を取得すると、その差分からダイナミックレンジＤｒｉ（取得ブロック内のｉ番目の画素に対応する、ダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値の差分）を演算（検出）して、差分足し込み部７２３に出力する。
【０５１８】
差分足し込み部７２３は、ＭａｘＭｉｎ取得部７２２より入力されたダイナミックレンジＤｒｉと、データ選択部７０１より入力された差分データを検出し、検出したダイナミックレンジＤｒｉと差分データに基づいて、データ選択部７０１の水平・垂直判定部７１１より入力される水平方向、または、垂直方向毎に、ダイナミックレンジＤｒｉと差分データｙｉを乗じた値を足し込んで、演算結果を定常方向導出部７０３に出力する。すなわち、差分足し込み部７２３が出力する演算結果は、水平方向、または、垂直方向毎にｙ１×Ｄｒ１＋ｙ２×Ｄｒ２＋ｙ３×Ｄｒ３＋・・・となる。
【０５１９】
定常方向導出部７０３の定常方向演算部７３１は、データ足し込み部７０２より入力されてくる、水平方向、または、垂直方向毎の足し込み演算結果に基づいて、細線の角度（方向）を演算し、演算された角度を定常性情報として出力する。
【０５２０】
ここで、細線の方向（細線の傾き、または、角度）の演算方法について説明する。
【０５２１】
図６６Ａで示されるような入力画像中の白線により囲まれる部分を拡大すると、細線（図中、右上がりで、かつ斜め方向の白線）は、実際には、図６６Ｂで示されるように表示されている。すなわち、現実世界においては、図６６Ｃで示されるように、画像は、細線のレベル（図６６Ｃ中では濃度の薄い斜線部）と背景レベルの２種類のレベルが境界を形成し、その他のレベルが存在しない状態となる。これに対して、センサにより撮像された画像、すなわち、画素単位で撮像された画像は、図６６Ｂで示されるように、その積分効果により背景レベルと細線レベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックが細線方向に繰り返して配置されたような画像となる。尚、図６６Ｂにおいて、各正方形状のマス目は、ＣＣＤの１画素を示し、各辺の長さをｄ＿ＣＣＤであるものとする。また、マス目は、格子状に塗りつぶされた部分が背景のレベルに相当する画素値の最小値であり、その他の斜線状に塗りつぶされた部分は、斜線の密度が低くなるに連れて画素値が高くなるものとする（従って、斜線のない白色のマス目が画素値の最大値となる）。
【０５２２】
図６７Ａで示されるように、現実世界の背景上に細線が存在する場合、現実世界の画像は、図６７Ｂで示されるように、横軸にレベル、縦軸にそのレベルに対応する部分の画像上の面積を示すと、画像中の背景に相当する面積と、細線に相当する部分の面積との、画像上における占有面積の関係が示される。
【０５２３】
同様にして、センサで撮像された画像は、図６８Ａで示されるように、背景レベルの画素の中に、縦に並んだ背景レベルと細線レベルとが混合した画素が、その混合比を所定のパターンで変化させながら縦方向に配置されたブロックが、細線の存在する方向に繰り返して配置されたような画像となるため、図６８Ｂで示すように、背景のレベルとなる領域（背景領域）と、細線のレベルの中間のレベルをとる、背景と細線が空間的に混合した結果生じる画素からなる空間混合領域が存在する。ここで、図６８Ｂにおいて縦軸は、画素数であるが、１画素の面積は（ｄ＿ＣＣＤ）^２となるため、図６８Ｂの画素値のレベルと画素数の関係は、画素値のレベルと面積の分布の関係と同様であるといえる。
【０５２４】
これは、図６９Ａの実際の画像中の白線で囲まれる部分（３１画素×３１画素の画像）においても、図６９Ｂで示されるように同様の結果が得られる。すなわち、図６９Ａで示される背景部分（図６９Ａ中では、黒色に見える部分）は、図６９Ｂで示されるように、画素値レベルの低い（画素値が２０付近の）画素が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図６９Ｂの画素値レベルが低くない部分、すなわち、画素値レベルが４０付近乃至１６０付近に分布する画素は、細線の画像を形成する、空間混合領域に属する画素であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。
【０５２５】
ところで、現実世界の画像における背景と細線のそれぞれのレベルは、例えば、図７０Ａで示される矢印方向（Ｙ座標方向）に見ると、図７０Ｂで示されるように変化することになる。すなわち、矢印の起点から細線までの背景領域では、比較的レベルの低い背景レベルとなり、細線の領域では、レベルの高い細線のレベルとなり、細線領域を通過して再び背景領域に戻ると、レベルの低い背景のレベルとなる。結果として、細線領域のみが高いレベルとなるパルス状の波形となる。
【０５２６】
これに対して、センサで撮像された画像のうち、図７０Ａ中の矢印の向きに対応する、図７１Ａの空間方向Ｘ＝Ｘ１上の画素（図７１Ａにおいては、黒丸で示されている画素）の画素値と、その画素の空間方向Ｙの関係は、図７１Ｂに示されるようになる。尚、図７１Ａにおいて、右上がりの２本の白線の間が、現実世界の画像上における細線を示している。
【０５２７】
すなわち、図７１Ｂで示されるように、図７１Ａ中の中央の画素に対応する画素が最も高い画素値をとるため、各画素の画素値は、空間方向Ｙの位置が、図中の下部から中央の画素に向かうに連れて高くなり、中央の位置を通過すると、徐々に減少することになる。結果として、図７１Ｂで示すように、山型の波形が形成される。また、図７１Ａの空間方向Ｘ＝Ｘ０，Ｘ２に対応する各画素の画素値の変化は、空間方向Ｙのピーク位置が、細線の傾きに応じてずれるものの、同様の外形となる。
【０５２８】
例えば、図７２Ａで示されるような、実際にセンサにより撮像された画像における場合においても、図７２Ｂで示されるように、同様の結果が得られる。すなわち、図７２Ｂは、図７２Ａの画像中の白線で囲まれる範囲の細線付近の画素値を所定の空間方向Ｘ（図中では、Ｘ＝５６１，５６２，５６３）毎の、空間方向Ｙに対応した画素値の変化を示している。このように、実際のセンサにより撮像された画像においても、Ｘ＝５６１においては、Ｙ＝７３０付近で、Ｘ＝５６２においては、Ｙ＝７０５付近で、Ｘ＝５６３においては、Ｙ＝６８５付近で、それぞれピークとなる山型の波形となっている。
【０５２９】
このように、現実世界の画像の細線付近のレベルの変化を示す波形はパルス状の波形となるのに対して、センサにより撮像された画像の画素値の変化を示す波形は山型の波形となる。
【０５３０】
すなわち、換言すれば、現実世界の画像のレベルは、図７０Ｂで示されるような波形になるべきところが、センサにより撮像されることにより、撮像された画像は、図７１Ｂで示されるように、その変化に歪が生じて、現実世界の画像とは異なる（現実世界の情報が欠落した）波形に変化していると言える。
【０５３１】
そこで、このセンサにより撮像された画像から、現実世界の画像の定常性情報を取得するため、センサより取得された画像のデータから現実世界を近似的に記述するためのモデル（図６２のモデル７０５に相当する）を設定する。例えば、細線の場合、図７３で示されるように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをＢ１、図中右側の背景部分のレベルをＢ２、細線部分のレベルをＬ、細線の混合比をα、細線の幅をＷ、細線の水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する近似関数を求め、その近似関数から細線の方向（傾き、または、基準軸に対する角度）を求める。
【０５３２】
このとき、背景領域は、左部、および、右部は、同一であるものとして近似することができるので、図７４で示されるように、統一してＢ（＝Ｂ１＝Ｂ２）とする。また、細線の幅を１画素以上であるものとする。このように設定された現実世界をセンサで撮像するとき、撮像された画像は、図７５Ａで示されるように撮像されることになる。尚、図７５Ａにおいて、右上がりの２本の白線の間が、現実世界の画像上における細線を示している。
【０５３３】
すなわち、現実世界の細線上の位置に存在する画素は、細線のレベルに最も近いレベルとなり、垂直方向（空間方向Ｙの方向）に対して細線から離れるに従って画素値が減少し、細線領域に接することのない位置に存在する画素の画素値、すなわち、背景領域の画素は、背景レベルの画素値となる。このとき、細線領域と背景領域に跨る位置に存在する画素の画素値は、背景レベルの画素値Ｂと、細線レベルの画素値Ｌが、混合比αで混合された画素値となっている。
【０５３４】
このように、撮像された画像の各画素を注目画素とした場合、データ取得部７１２は、その注目画素に対応する取得ブロックの画素を抽出し、その抽出した取得ブロックを構成する画素毎に、ダイナミックレンジブロックを抽出し、そのダイナミックレンジブロックを構成する画素のうちの最大値となる画素値をとる画素と、最小値となる画素値をとる画素とを抽出する。すなわち、図７５Ａで示すように、取得ブロック中の所定の画素（図中の１マスの中に黒の実線で正方形が記述された画素ｐｉｘ４）に対応したダイナミックレンジブロックの画素（例えば、図中の黒の実線で囲まれた画素ｐｉｘ１乃至７の７画素））が抽出された場合、その各画素に対応する現実世界の画像は、図７５Ｂで示されるようになる。
【０５３５】
すなわち、図７５Ｂで示されるように、画素ｐｉｘ１は、左部の略１／８の面積を占める部分が背景領域となり、右部の略７／８の面積を占める部分が細線領域となる。画素ｐｉｘ２は、略全領域が細線領域となる。画素ｐｉｘ３は、左部の略７／８の面積を占める部分が細線領域となり、右部１／８の面積を占める部分が細線領域となる。画素ｐｉｘ４は、左部の略２／３の面積を占める部分が細線領域となり、右部の略１／３の面積を占める部分が背景領域となる。画素ｐｉｘ５は、左部の略１／３の面積を占める部分が細線領域となり、右部の略２／３の面積を占める部分が背景領域となる。画素ｐｉｘ６は、左部の略１／８の面積を占める部分が細線領域となり、右部の略７／８の面積を占める部分が背景領域となる。さらに、画素ｐｉｘ７は、全体が背景領域となる。
【０５３６】
結果として、図７５で示されるダイナミックレンジブロックの各画素ｐｉｘ１乃至７の画素値は、細線領域と背景領域の面積の比率に対応した混合比で、背景レベルと細線レベルが混合された画素値となる。すなわち、背景レベル：前景レベルの混合比は、画素ｐｉｘ１が略１：７、画素ｐｉｘ２が略０：１、画素ｐｉｘ３が略１：７、画素ｐｉｘ４が略１：２、画素ｐｉｘ５が略２：１、画素ｐｉｘ６が略７：１、および、画素ｐｉｘ７が略１：０となる。
【０５３７】
従って、抽出されたダイナミックレンジブロックの画素ｐｉｘ１乃至７の各画素の画素値は、画素ｐｉｘ２が最も高く、次いで画素ｐｉｘ１，３が続き、以下画素値が高い順に画素ｐｉｘ４，５，６，７となる。従って、図７５Ｂで示される場合、最大値は、画素ｐｉｘ２の画素値であり、最小値は、画素ｐｉｘ７の画素値となる。
【０５３８】
また、図７６Ａで示されるように、細線の方向は、画素値の最大値をとる画素が連続する方向であると言えるので、この最大値をとる画素が配置された方向が細線の方向となる。
【０５３９】
ここで、細線の方向を示す傾きＧ_ｆｌは、空間方向Ｘの単位距離に対する、空間方向Ｙへの変化（距離の変化）の比であるので、図７６Ａで示されるような場合、図中の空間方向Ｘへの１画素の距離に対する、空間方向Ｙの距離が傾きＧ_ｆｌとなる。
【０５４０】
空間方向Ｘ０乃至Ｘ２の各々の空間方向Ｙに対する画素値の変化は、図７６Ｂで示されるように、各空間方向Ｘ毎に所定の間隔で山型の波形が繰り返されることになる。上述のように、センサにより撮像された画像において、細線は、最大値をとる画素が連続する方向であるので、各空間方向Ｘの最大値となる空間方向Ｙの間隔Ｓが、細線の傾きＧ_ｆｌとなる。すなわち、図７６Ｃで示されるように、水平方向に１画素の距離に対する垂直方向の変化量が傾きＧ_ｆｌとなる。従って、この細線の傾きＧ_ｆｌ（水平方向を基準軸としたときの角度に対応する）は、図７６Ｃで示すように、その傾きに対応する水平方向を基準軸とした細線の角度をθとして表現する場合、以下の式（３４）で示される関係が成立することになる。
θ＝Ｔａｎ^−１（Ｇ_ｆｌ）（＝Ｔａｎ^−１（Ｓ））・・・（３４）
【０５４１】
また、図７４で示されるようなモデルを設定し、さらに、空間方向Ｙの画素と画素値の関係が、図７６Ｂで示される山型の波形が、完全な三角波形（立ち上がり、または、立下りが直線的に変化する、二等辺三角形状の波形）であると仮定する場合、図７７で示すように、所定の注目画素の空間方向Ｘにおける、空間方向Ｙ上に存在する各画素の画素値の最大値をＭａｘ＝Ｌ（ここでは、現実世界の細線のレベルに対応する画素値）、最小値をＭｉｎ＝Ｂ（ここでは、現実世界の背景のレベルに対応する画素値）とするとき、以下の式（３５）で示される関係が成立する。
Ｌ−Ｂ＝Ｇ_ｆｌ×ｄ＿ｙ・・・（３５）
【０５４２】
ここで、ｄ＿ｙは、空間方向Ｙの画素間の画素値の差分を示す。
【０５４３】
すなわち、空間方向の傾きＧ_ｆｌは、大きいほど細線がより垂直なものに近づくため、山型の波形は、底辺の大きな二等辺三角形状の波形となり、逆に、傾きＳが小さいほど底辺の小さな二等辺三角形状の波形となる。この結果、傾きＧ_ｆｌが大きいほど、空間方向Ｙの画素間の画素値の差分ｄ＿ｙは小さく、傾きＳが小さいほど、空間方向Ｙの画素間の画素値の差分ｄ＿ｙは大きくなる。
【０５４４】
そこで、上述の式（３５）の関係が成立する傾きＧ_ｆｌを求めることにより、細線の基準軸に対する角度θを求めることが可能となる。式（３５）は、傾きＧ_ｆｌを変数とする１変数の関数であるため、注目画素について、周辺の画素間の画素値の（垂直方向の）差分ｄ＿ｙ、並びに、最大値、および、最小値の差分（Ｌ−Ｂ）を１組用いれば求めることが可能であるが、上述のように、空間方向Ｙの画素値の変化が完全な三角波形であることを前提とした近似式を用いたものであるので、注目画素に対応する抽出ブロックの各画素についてダイナミックレンジブロックを抽出し、さらに、その最大値と最小値からダイナミックレンジＤｒを求めるとともに、抽出ブロックの各画素毎の空間方向Ｙの画素間の画素値の差分ｄ＿ｙを用いて、最小自乗法により統計的に求める。
【０５４５】
ここで、最小自乗法による統計的な処理の説明にあたり、まず、抽出ブロック、および、ダイナミックレンジブロックについて、詳細を説明する。
【０５４６】
抽出ブロックは、例えば、図７８で示すように、注目画素（図中の黒の実線で正方形が描かれているマス目の画素）の、空間方向Ｙについて上下３画素分、空間方向Ｘについて、左右１画素分の合計１５画素などでもよい。また、この場合、抽出ブロックの各画素の画素間の画素値の差分ｄ＿ｙは、例えば、画素ｐｉｘ１１に対応する差分がｄ＿ｙ１１で示されるとき、空間方向Ｘ＝Ｘ０の場合、画素ｐｉｘ１１とｐｉｘ１２、ｐｉｘ１２とｐｉｘ１３、ｐｉｘ１３とｐｉｘ１４、ｐｉｘ１５とｐｉｘ１６、ｐｉｘ１６とｐｉｘ１７の画素間の画素値の差分ｄ＿ｙ１１乃至ｄ＿ｙ１６が得られることになる。このとき、空間方向Ｘ＝Ｘ１，Ｘ２についても、同様にして画素間の画素値の差分が得られる。結果として、この場合、画素間の画素値の差分ｄ＿ｙは、１８個存在することになる。
【０５４７】
さらに、抽出ブロックの各画素について、ダイナミックレンジブロックの画素が、例えば、画素ｐｉｘ１１については、水平・垂直判定部７１１の判定結果に基づいて、今の場合、垂直方向であると判定されるので、図７８で示されるように、画素ｐｉｘ１１を含めて、垂直方向（空間方向Ｙ）の上下方向にそれぞれ３画素分のダイナミックレンジブロックＢ１の範囲の７画素であるものとすると、このダイナミックレンジブロックＢ１の画素の画素値の最大値と最小値を求め、さらに、この最大値と最小値から得られるダイナミックレンジをダイナミックレンジＤｒ１１とする。同様にして、抽出ブロックの画素ｐｉｘ１２については、図７８中のダイナミックレンジブロックＢ２の７画素から同様にしてダイナミックレンジＤｒ１２を求める。このようにして、抽出ブロック内の１８個の画素間差分ｄ＿ｙｉと、対応するダイナミックレンジＤｒｉとの組み合わせに基づいて、最小自乗法を用いて統計的に傾きＧ_ｆｌが求められる。
【０５４８】
次に、１変数の最小自乗法の解法について説明する。尚、ここでは、水平・垂直判定部７１１の判定結果が垂直方向であったものとする。
【０５４９】
１変数の最小自乗法による解法は、例えば、図７９で示される黒点で示される全ての実測値に対しての距離を最小とする、予測値Ｄｒｉ＿ｃからなる直線の傾きＧ_ｆｌを求めるものである。そこで、上述の式（３５）で示される関係から以下のような手法により、傾きＳが求められる。
【０５５０】
すなわち、上述の式（３５）は、最大値と最小値の差分をダイナミックレンジＤｒとするとき、以下の式（３６）で示すように記述される。
Ｄｒ＝Ｇ_ｆｌ×ｄ＿ｙ・・・（３６）
【０５５１】
上述の式（３６）に、抽出ブロックの各画素間についての差分ｄ＿ｙｉを代入することによりダイナミックレンジＤｒｉ＿ｃが求められることになる。従って、各画素について、以下の式（３７）の関係が満たされることになる。
Ｄｒｉ＿ｃ＝Ｇ_ｆｌ×ｄ＿ｙｉ・・・（３７）
【０５５２】
ここで、差分ｄ＿ｙｉは、各画素ｉの空間方向Ｙの画素間の画素値の差分（例えば、画素ｉに対して、上方向、または、下方向に隣接した画素との画素間の画素値の差分であり、Ｄｒｉ＿ｃは、画素ｉについて式（７０）が成立するときに得られるダイナミックレンジである。
【０５５３】
上述のように、ここでいう最小自乗法は、抽出ブロックの画素ｉのダイナミックレンジＤｒｉ＿ｃと、図７５を参照して説明した方法で得られる、画素ｉの実測値となるダイナミックレンジＤｒｉ＿ｒとの差分自乗和Ｑが、画像内のすべての画素において最小となるときの傾きＧ_ｆｌを求める方法である。従って、差分自乗和Ｑは以下の式（３８）により求められることになる。
【数２８】

【０５５４】
式（３８）で示される差分自乗和Ｑは、２次関数であるので、変数Ｇ_ｆｌ（傾きＧ_ｆｌ）について図８０で示すような下に凸の曲線となるため、傾きＧ_ｆｌが最小となるＧ_ｆｌｍｉｎが最小自乗法の解となる。
【０５５５】
式（３８）で示される差分自乗和Ｑは、変数Ｇ_ｆｌで微分されると、以下に示す式（３９）で示されるｄＱ／ｄＧ_ｆｌとなる。
【数２９】

【０５５６】
式（３９）が、０となるＧ_ｆｌが図８０で示す差分自乗和Ｑの最小値をとるＧ_ｆｌｍｉｎとなるので、式（３９）が０となるときの式を展開することにより、以下の式（４０）で傾きＧ_ｆｌが求められることになる。
【数３０】

【０５５７】
上述の式（４０）は、いわゆる、１変数（傾きＧ_ｆｌ）の正規方程式となる。
【０５５８】
このようにして、得られた傾きＧ_ｆｌを上述の式（３４）に代入することにより、細線の傾きＧ_ｆｌに対応する、水平方向を基準軸としたときの細線の角度θを得ることができる。
【０５５９】
尚、以上の説明においては、注目画素が、水平方向を基準軸としたときの角度θが４５度度≦θ＜１３５度度の範囲となる細線上の画素である場合の例について説明してきたが、例えば、注目画素が、水平方向を基準軸に対する細線の角度θが０度度≦θ＜４５度度、または、１３５度度≦θ＜１０８度度となる、水平方向に近い細線上の画素である場合、画素ｉに隣接する画素間の画素値の差分は、水平方向に隣接する画素間の画素値の差分ｄ＿ｘｉとなり、同様に、画素ｉに対応する複数の画素から画素値の最大値、または、最小値を求める際に、抽出するダイナミックレンジブロックの画素についても、画素ｉに対して水平方向に存在する複数の画素のうちから選択されることになる。この場合の処理については、上述の説明における水平方向と垂直方向の関係が入れ替わるのみであるので、その説明は省略する。
【０５６０】
また、同様の手法により、２値エッジの傾きに対応する角度を求めることも可能である。
【０５６１】
すなわち、図８１Ａで示されるような入力画像中の白線により囲まれる部分を拡大すると、画像中のエッジ部分（図中、黒地の旗に描かれた「十」という白で描かれた文字の下の部分）（以下、このように、２値のレベルからなる画像上のエッジ部分を２値エッジとも称する）は、実際には、図８１Ｂで示されるように表示されている。すなわち、現実世界においては、図８１Ｃで示されるように、画像では、第１のレベル（旗の地のレベル）と、第２のレベル（文字のレベル（図８１Ｃ中では濃度の薄い斜線部））との２種類のレベルからなる境界が形成されており、その他のレベルが存在しない。これに対して、センサにより撮像された画像、すなわち、画素単位で撮像された画像は、図８１Ｂで示されるように、第１のレベルと第２のレベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックがエッジが構成されている方向に繰り返して配置されたような領域を境とした第１のレベルの画素が配置される部分と、第２のレベルの画素が配置される部分とが存在する画像となる。
【０５６２】
すなわち、図８２Ａで示されるように、空間方向Ｘ＝Ｘ０，Ｘ１，Ｘ２について、それぞれの空間方向Ｙへの画素値の変化は、図８２Ｂ中では、各画素値は、図中の下から２値エッジ（図８２Ａ中の右上がりの直線）の境界手前付近までは、所定の最小値の画素値になっているが、２値エッジの境界手前付近で、画素値が徐々に増大し、エッジを越えると図中の点Ｐ_Ｅにおいて、画素値が所定の最大値となる。より詳細には、空間方向Ｘ＝Ｘ０の変化は、図８２Ｂで示されるように、画素値の最小値となる点Ｐ_Ｓを通過した後、徐々に画素値が増大し、画素値の最大値となる点Ｐ０となる。これに対して、空間方向Ｘ＝Ｘ１に対応する各画素の画素値の変化は、空間方向にずれた波形となるため、図８２Ｂで示されるように、画素値の最小値から徐々に画素値が増大する位置が空間方向Ｙの正方向にずれて、図中の点Ｐ１を経由して、画素値の最大値にまで増大する。さらに、空間方向Ｘ＝Ｘ２における空間方向Ｙの画素値の変化は、空間方向Ｙの正の方向にさらにずれ込んだ図中の点Ｐ２を経由して減少し、画素値の最大値から最小値となる。
【０５６３】
これは、実際の画像中の白線で囲まれる部分においても、同様の傾向が見られる。すなわち、図８３Ａの実際の画像中の白線で囲まれる部分（３１画素×３１画素の画像）において、背景部分（図８３Ａ中では、黒色に見える部分）は、図８３Ｂで示されるように、画素値の低い（画素値が９０付近の）画素数が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図８３Ｂの画素値が低くない部分、すなわち、画素値が１００付近乃至２００付近に分布する画素は、文字領域と背景領域との空間混合領域に属する画素の分布であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。さらに、画素値の高い文字領域（図８３Ａ中では、白色に見える部分）の画素が、２２０で示される画素値の付近に多く分布している。
【０５６４】
この結果、図８４Ａで示されるエッジ画像における所定の空間方向Ｘに対する、空間方向Ｙの画素値の変化は、図８４Ｂで示されるようになものとなる。
【０５６５】
すなわち、図８４Ｂは、図８４Ａの画像中の白線で囲まれる範囲のエッジ付近の画素値を所定の空間方向Ｘ（図中では、Ｘ＝６５８，６５９，６６０）毎の、空間方向Ｙに対応した画素値の変化を示している。このように、実際のセンサにより撮像された画像においても、Ｘ＝６５８において、画素値は、Ｙ＝３７４付近で増大を開始し（図中、黒丸で示される分布）、Ｘ＝３８２付近で最大画素値に到達する。また、Ｘ＝６５９においては、空間方向Ｙに対して正方向にずれ込んで、画素値は、Ｙ＝３７８付近で増大を開始し（図中、黒三角で示される分布）、Ｘ＝３８６付近で最大画素値に到達する。さらに、Ｘ＝６６０においては、空間方向Ｙに対して、さらに、正方向にずれ込んで、画素値は、Ｙ＝３８２付近で増大を開始し（図中、黒四角で示される分布）、Ｘ＝３９０付近で最大画素値に到達する。
【０５６６】
そこで、このセンサにより撮像された画像から、現実世界の画像の定常性情報を取得するため、センサより取得された画像のデータから現実世界を近似的に記述するためのモデルを設定する。例えば、２値エッジの場合、図８５で示すように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをＶ１、図中右側の文字部分のレベルをＶ２、２値エッジ付近の画素間の混合比をα、エッジの水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する関数を求め、その近似関数からエッジの方向（傾き、または、基準軸に対する角度）を求める。
【０５６７】
ここで、エッジの方向を示す傾きは、空間方向Ｘの単位距離に対する、空間方向Ｙへの変化（距離の変化）の比であるので、図８６Ａで示されるような場合、図中の空間方向Ｘへの１画素の距離に対する、空間方向Ｙの距離が傾きとなる。
【０５６８】
空間方向Ｘ０乃至Ｘ２の各々の空間方向Ｙに対する画素値の変化は、図８６Ｂで示されるように、各空間方向Ｘ毎に所定の間隔で同様の波形が繰り返されることになる。上述のように、センサにより撮像された画像において、エッジは、類似した画素値の変化（今の場合、最小値から最大値へと変化する、所定の空間方向Ｙ上の画素値の変化）が空間的に連続する方向であるので、各空間方向Ｘにおいて、空間方向Ｙの画素値の変化が開始される位置、または、変化が終了する位置となる空間方向Ｙの間隔Ｓが、エッジの傾きＧ_ｆｅとなる。すなわち、図８６Ｃで示されるように、水平方向に１画素の距離に対する垂直方向の変化量が傾きＧ_ｆｅとなる。
【０５６９】
ところで、この関係は、図７６Ａ乃至Ｃを参照して上述した細線の傾きＧ_ｆｌにおける関係と同様である。従って、その関係式についても、同様のものとなる。すなわち、２値エッジにおける場合の関係式は、図８７で示すものとなり、背景領域の画素値をＶ１、文字領域の画素値をＶ２、それぞれは最小値、および、最大値となる。また、エッジ付近の画素の混合比をαとし、エッジの傾きをＧ_ｆｅとおけば、成立する関係式は、上述の式（３４）乃至式（３６）と同様となる（ただし、Ｇ_ｆｌは、Ｇ_ｆｅに置き換えられる）。
【０５７０】
このため、図６３で示されるデータ定常性検出部１０１は、同様の処理により、細線の傾きに対応する角度、および、エッジの傾きに対応する角度を、データ定常性情報として検出することができる。そこで、以下においては、傾きは、細線の傾きと、２値エッジの傾きとを総称して、傾きＧ_ｆと称する。また、上述の式（３８）乃至式（４０）の式における傾きＧ_ｆｌは、Ｇ_ｆｅであってもよいものであり、結果として、傾きＧ_ｆと置き換えて考えるものとする。
【０５７１】
次に、図８８のフローチャートを参照して、データ定常性の検出の処理を説明する。
【０５７２】
ステップＳ７０１において、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタＴを初期化する。
【０５７３】
ステップＳ７０２において、水平・垂直判定部７１１は、後段の処理に必要なデータの抽出処理を実行する。
【０５７４】
ここで、図８９のフローチャートを参照して、データを抽出する処理について説明する。
【０５７５】
ステップＳ７１１において、データ選択部７０１の水平・垂直判定部７１１は、各注目画素Ｔについて、図６４を参照して説明したように、水平方向、垂直方向、および対角方向に隣接する９画素の水平方向に隣接する画素間の画素値の差分（アクティビティ）の和ｈｄｉｆｆと、垂直方向に隣接する画素間の画素値の差分（アクティビティ）の和ｖｄｉｆｆとを演算し、さらに、その差分（ｈｄｉｆｆ−ｖｄｉｆｆ）を求め、差分（ｈｄｉｆｆ−ｖｄｉｆｆ）≧０の場合、その注目画素Ｔが、水平方向を基準軸としたとき、その基準軸との角度θが４５度度≦θ＜１３５度度となる、垂直方向に近い細線、または、２値エッジ付近の画素であるものとみなし、使用する抽出ブロックを垂直方向に対応したものとする判定結果をデータ取得部７１２、および、データ足し込み部７０２に出力する。
【０５７６】
一方、差分（ｈｄｉｆｆ−ｖｄｉｆｆ）＜０の場合、水平・垂直判定部７１１は、その注目画素が、水平方向を基準軸にしたとき、その基準軸との細線、または、２値エッジのなす角度θが０度度≦θ＜４５度度、または、１３５度度≦θ＜１８０度度となる、水平方向に近い細線、または、エッジ付近の画素であるものとみなし、使用する抽出ブロックを水平方向に対応したものとする判定結果をデータ取得部７１２、および、データ足し込み部７０２に出力する。
【０５７７】
すなわち、細線、または、２値エッジの傾きが垂直方向に近いと言うことは、例えば、図７０Ａで示されているように、図中の矢印が細線と交差する部分が増えることになるため、垂直方向の画素数を多めにした抽出ブロックを設定する（縦長な抽出ブロックを設定する）。同様にして、細線の傾きが水平方向に近い場合についても、水平方向の画素数を多めにした抽出ブロックを設定するようにする（横長な抽出ブロックを設定する）。このようにすることにより、不要な計算量を増やすことなく、正確な最大値と最小値の演算が可能となる。
【０５７８】
ステップＳ７１２において、データ取得部７１２は、注目画素について水平・垂直判定部７１１より入力される水平方向、または、垂直方向の判定結果に対応した抽出ブロックの画素を抽出する。すなわち、例えば、図７８で示されるように、注目画素を中心として、（水平方向に３画素）×（垂直方向に７画素）の合計２１画素を抽出ブロックとして抽出し、記憶する。
【０５７９】
ステップＳ７１３において、データ取得部７１２は、抽出ブロックの各画素について、水平・垂直判定部７１１の判定結果に対応した方向に対応するダイナミックレンジブロックの画素を抽出し、記憶する。すなわち、図７８を参照して、上述したように、例えば、抽出ブロックの画素ｐｉｘ１１については、今の場合、水平・垂直判定部７１１の判定結果が垂直方向になるので、データ取得部７１２は、垂直方向に、ダイナミックレンジブロックＢ１を、同様にして、画素ｐｉｘ１２は、ダイナミックレンジブロックＢ２を抽出する。その他の抽出ブロックについても同様にしてダイナミックレンジブロックが抽出される。
【０５８０】
すなわち、このデータ抽出処理により、所定の注目画素Ｔについて、正規方程式の演算に必要な画素の情報がデータ取得部７１２に蓄えられることになる（処理される領域が選択されることになる）。
【０５８１】
ここで、図８８のフローチャートの説明に戻る。
【０５８２】
ステップＳ７０３において、データ足し込み部７０２は、正規方程式（ここでは、式（７４））の演算の各項に必要な値の足し込み処理を実行する。
【０５８３】
ここで、図９０のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【０５８４】
ステップＳ７２１において、差分足し込み部７２１は、データ選択部７０１の水平・垂直判定部７１１の判定結果に応じて、データ取得部７１２に記憶されている抽出ブロックの画素間の画素値の差分を求め（検出し）、さらに、２乗（自乗）して足し込む。すなわち、水平・垂直判定部７１１の判定結果が垂直方向である場合、差分足し込み部７２１は、抽出ブロックの各画素について垂直方向に隣接する画素間の画素値の差分を求めて、さらに２乗して足し込む。同様にして、水平・垂直判定部７１１の判定結果が水平方向である場合、差分足し込み部７２１は、抽出ブロックの各画素について水平方向に隣接する画素間の画素値の差分を求めて、さらに２乗して足し込む。結果として、差分足し込み部７２１は、上述の式（４０）の分母となる項の差分の自乗和を生成し、記憶する。
【０５８５】
ステップＳ７２２において、ＭａｘＭｉｎ取得部７２２は、データ取得部７１２に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、ステップＳ７２３において、その最大値と最小値との差分からダイナミックレンジを求め（検出し）、差分足し込み部７２３に出力する。すなわち、図７５Ｂで示されているような、画素ｐｉｘ１乃至７からなる７画素のダイナミックレンジブロックの場合、ｐｉｘ２の画素値が最大値として検出され、ｐｉｘ７の画素が最小値として検出され、これらの差分がダイナミックレンジとして求められる。
【０５８６】
ステップＳ７２４において、差分足し込み部７２３は、データ取得部７１２に記憶されている抽出ブロックの画素間のうち、データ選択部７０１の水平・垂直判定部７１１の判定結果に対応する方向に隣接する画素間の画素値の差分を求め（検出し）、ＭａｘＭｉｎ取得部７２２より入力されたダイナミックレンジを乗じた値を足し込む。すなわち、差分足し込み部７２１は、上述の式（４０）の分子となる項の和を生成し、記憶する。
【０５８７】
ここで、図８８のフローチャートの説明に戻る。
【０５８８】
ステップＳ７０４において、差分足し込み部７２１は、抽出ブロックの全ての画素の画素間の画素値の差分（水平・垂直判定部７１１の判定結果に対応する方向に隣接する画素間の画素値の差分）を足し込んだか否かを判定し、例えば、抽出ブロックの全ての画素の画素間の差分を足し込んでいないと判定した場合、その処理は、ステップＳ７０２に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定されるまで、ステップＳ７０２乃至Ｓ７０４の処理が繰り返される。
【０５８９】
ステップＳ７０４において、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定された場合、ステップＳ７０５にいて、差分足し込み部７２１，７２３は、自らで記憶している足し込み結果を定常方向導出部７０３に出力する。
【０５９０】
ステップＳ７０６において、定常方向演算部７３１は、データ足し込み部７０２の差分足し込み部７２１より入力された、取得ブロックの各画素間のうち、水平・垂直判定部７１１により判定された方向に隣接する画素間の画素値の差分の自乗和、差分足し込み部７２３より入力された、取得ブロックの各画素間のうち、水平・垂直判定部７１１により判定された方向に隣接する画素間の画素値の差分、および、取得ブロックの各画素に対応するダイナミックレンジとの積の和に基づいて、上述の式（４０）で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、定常性の方向を示す角度（細線、または、２値エッジの傾きを示す角度）を演算し、出力する。
【０５９１】
ステップＳ７０７において、データ取得部７１２は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、細線、または、２値エッジの角度の情報を出力していないと判定した場合、ステップＳ７０８において、カウンタＴを１インクリメントして、その処理は、ステップＳ７０２に戻る。すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について処理がなされるまで、ステップＳ７０２乃至Ｓ７０８の処理が繰り返されることになる。このカウンタＴによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【０５９２】
ステップＳ７０７において、入力画像の全ての画素について処理がなされたと判定された場合、ステップＳ７０９において、データ取得部７１２は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップＳ７０１に戻り、それ以降の処理が繰り返される。
【０５９３】
ステップＳ７０９において、次の入力画像はないと判定された場合、その処理は、終了する。
【０５９４】
以上の処理により、細線、または、２値エッジの角度が、定常性情報として検出されて、出力される。
【０５９５】
このように統計的処理により得られる細線、または、エッジの傾きの角度は、相関を用いて得られる細線、または、２値エッジの角度とほぼ一致する。すなわち、図９１Ａで示すような画像の白線で囲まれる範囲の画像について、細線上の所定の水平方向の座標上の空間方向Ｙへの傾きの変化は、図９１Ｂで示されるように、相関を用いた方法により得られる細線の傾きを示す角度（図中の黒丸印）と、図６３で示されたデータ定常性検出部１０１により統計処理により得られる細線の角度（図中の黒三角印）は、細線近傍の空間方向Ｙの座標上で、それぞれがほぼ一致している。尚、図９１Ｂにおいては、図中の黒実線で挟まれた空間方向Ｙ＝６８０乃至７３０が細線上の座標である。
【０５９６】
同様にして、図９２Ａで示すような画像の白線で囲まれる範囲の画像について、２値エッジ上の所定の水平方向の座標上の空間方向Ｙへの傾きの変化は、図９２Ｂで示されるように、相関を用いた方法により得られる２値エッジの傾きを示す角度（図中の黒丸印）と、図６３で示されたデータ定常性検出部１０１により統計処理により得られる２値エッジの角度（図中の黒三角印）は、細線近傍の空間方向Ｙの座標上で、それぞれがほぼ一致している。尚、図９２Ｂにおいては、空間方向Ｙ＝３７６（付近）乃至３８８（付近）が細線上の座標であるである。
【０５９７】
結果として、図６３に示されるデータ定常性検出部１０１は、データの定常性として細線、または、２値エッジの角度を求める際、所定の画素からなるブロックによる相関を用いる方法と異なり、各画素の周辺の情報を用いて、統計的に細線、または、２値エッジの傾きを示す角度（ここでは、水平方向を基準軸とした角度）を求めることができるので、相関を用いた方法に見られるように、所定の角度の範囲に応じて切り替わることが無いので、全ての細線、または、２値エッジの傾きの角度を同一の処理により求めることが可能となるため、処理を簡単なものとすることが可能となる。
【０５９８】
また、以上においては、データ定常性検出部１０１は、細線、または、２値エッジの所定の基準軸とのなす角度を定常性情報として出力する例について説明してきたが、後段の処理によっては、傾きをそのまま出力する方が、処理効率が向上することも考えられる。そのような場合、データ定常性検出部１０１の定常方向導出部７０３の定常方向演算部７３１は、最小自乗法により求められた細線、または、２値エッジの傾きＧ_ｆを、そのまま定常性情報として出力するようにしてもよい。
【０５９９】
さらに、以上においては、式（４０）において、ダイナミックレンジＤｒｉ＿ｒは、抽出ブロックの各画素について求められるものとして演算してきたが、このダイナミックレンジは、ダイナミックレンジブロックを十分に大きく設定することにより、すなわち、多くの注目画素について、その周辺の多くの画素を用いて設定することにより、画像中の画素の画素値の最大値と最小値が、常に選択されることになるはずである。従って、ダイナミックレンジＤｒｉ＿ｒは、抽出ブロックの各画素について演算することなく、抽出ブロック中、または、画像データ中の画素の最大値と最小値から得られるダイナミックレンジを固定値として演算するようにしてもよい。
【０６００】
すなわち、以下の式（４１）のように、画素間の画素値の差分のみを足し込むことにより細線の角度θ（傾きＧ_ｆ）を求めるようにしてもよい。このように、ダイナミックレンジを固定することにより、演算処理をより簡素化することができ、高速で処理を行うことが可能となる。
【数３１】

【０６０１】
次に、図９３を参照して、データ定常性情報として、各画素の混合比を検出するデータ定常性検出部１０１について説明する。
【０６０２】
尚、図９３のデータ定常性検出部１０１においては、図６３のデータ定常性検出部１０１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６０３】
図９３のデータ定常性検出部１０１において、図６３のデータ定常性検出部１０１と異なるのは、データ足し込み部７０２、および、定常性方向導出部７０３に代えて、データ足し込み部７５１、および、混合比導出部７６１が設けられている点である。
【０６０４】
データ足し込み部７５１のＭａｘＭｉｎ取得部７５２は、図６３におけるＭａｘＭｉｎ取得部７２２と同様の処理を行うものであるが、ダイナミックレンジブロックの各画素の画素値の最大値と最小値を取得し、最大値と最小値の差分（ダイナミックレンジ）を求め、足し込み部７５３，７５５に出力すると共に、最大値を差分演算部７５４に出力する。
【０６０５】
足し込み部７５３は、ＭａｘＭｉｎ取得部より入力された値を自乗して、抽出ブロックの全ての画素について足し込み、その和を求めて、混合比導出部７６１に出力する。
【０６０６】
差分演算部７５４は、データ取得部７１２の取得ブロックの各画素について、対応するダイナミックレンジブロックの最大値との差分を求めて、足し込み部７５５に出力する。
【０６０７】
足し込み部７５５は、取得ブロックの各画素について、ＭａｘＭｉｎ取得部７５２より入力された最大値と最小値の差分（ダイナミックレンジ）と、差分演算部７５４より入力された取得ブロックの各画素の画素値と、対応するダイナミックレンジブロックの最大値との差分と乗じて、その和を求め、混合比導出部７６１に出力する。
【０６０８】
混合比導出部７６１の混合比算出部７６２は、データ足し込み部の足し込み部７５３，７５５のそれぞれより入力された、値に基づいて、注目画素の混合比を最小自乗法により統計的に求め、データ定常性情報として出力する。
【０６０９】
次に、混合比の導出方法について説明する。
【０６１０】
図９４Ａで示されるように、画像上に細線が存在する場合、センサで撮像された画像は、図９４Ｂで示されるような画像となる。個の画像について、図９４Ｂの空間方向Ｘ＝Ｘ１上の黒の実線で囲まれた画素について注目する。尚、図９４Ｂの白線ではさまれた範囲は、細線領域に対応する位置を示す。この画素の画素値Ｍは、背景領域のレベルに対応する画素値Ｂと、細線領域のレベルに対応する画素値Ｌの中間色となっているはずであり、さらに詳細には、この画素値Ｐ_Ｓは、背景領域と細線領域の面積比で、それぞれのレベルが混合されているはずである。従って、この画素値Ｐ_Ｓは、以下の式（４２）により表現される。
Ｐ_Ｓ＝α×Ｂ＋（１−α）×Ｌ・・・（４２）
【０６１１】
ここで、αは、混合比であり、より具体的には、注目されている画素中の背景領域の占める面積の割合を示すものである。従って、（１−α）は、細線領域の占める面積の割合を示しているともいえる。尚、背景領域の画素は、背景に存在するオブジェクトの成分とも考えられるので、背景オブジェクト成分とも言える。また、細線領域の画素は、背景オブジェクトに対して前景オブジェクトの成分であると考えられるので、前景オブジェクト成分とも言える。
【０６１２】
この結果、混合比αは、式（４２）を展開することにより、以下の式（４３）で表現できることになる。
α＝（Ｐ_Ｓ−Ｌ）／（Ｂ−Ｌ）・・・（４３）
【０６１３】
さらに、今の場合、画素値は、第１の画素値（画素値Ｂ）の領域と第２の画素値（画素値Ｌ）の領域とをまたいだ位置に存在することが前提であるので、画素値Ｌは、画素値の最大値Ｍａｘで置き換えることができ、さらに、画素値Ｂは、画素値の最小値と置き換えることができる。従って、混合比αは、以下の式（４４）でも表現することができる。
α＝（Ｐ_Ｓ−Ｍａｘ）／（Ｍｉｎ−Ｍａｘ）・・・（４４）
【０６１４】
以上の結果、混合比αは、注目画素についてのダイナミックレンジブロックのダイナミックレンジ（（Ｍｉｎ−Ｍａｘ）に相当する）と、注目画素と、ダイナミックレンジブロック内の画素の最大値との差分から求めることが可能となるが、より精度を向上させるため、ここでは、最小自乗法により統計的に混合比αを求める。
【０６１５】
すなわち、上述の式（４４）は、展開すると以下の式（４５）となる。
（Ｐ_Ｓ−Ｍａｘ）＝α×（Ｍｉｎ−Ｍａｘ）・・・（４５）
【０６１６】
この式（４５）は、上述の式（３６）と同様の１変数の最小自乗法の式となる。すなわち、式（３６）においては、最小自乗法により傾きＧ_ｆが求められていたが、ここでは、混合比αが求められることになる。従って、以下の式（４６）で示される正規方程式を解くことにより、混合比αは、統計的に求められる。
【数３２】

【０６１７】
ここで、ｉは、抽出ブロックの各画素を識別するものである。従って、式（４６）においては、抽出ブロックの画素数はｎである。
【０６１８】
次に、図９５のフローチャートを参照して、混合比をデータ定常性としたときのデータ定常性の検出の処理について説明する。
【０６１９】
ステップＳ７３１において、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタＵを初期化する。
【０６２０】
ステップＳ７３２において、水平・垂直判定部７１１は、後段の処理に必要なデータの抽出処理を実行する。尚、ステップＳ７３２の処理は、図８９のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０６２１】
ステップＳ７３３において、データ足し込み部７５１は、正規方程式（ここでは、式（４６））の演算の各項に必要な値の足し込み処理を実行する。
【０６２２】
ここで、図９６のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【０６２３】
ステップＳ７５１において、ＭａｘＭｉｎ取得部７５２は、データ取得部７１２に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、そのうち、最小値を差分演算部７５４に出力する。
【０６２４】
ステップＳ７５２において、ＭａｘＭｉｎ取得部７５２は、その最大値と最小値との差分からダイナミックレンジを求め、差分足し込み部７５３，７５５に出力する。
【０６２５】
ステップＳ７５３において、足し込み部７５３は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジ（Ｍａｘ−Ｍｉｎ）を自乗して、足し込む。すなわち、足し込み部７５３は、上述の式（４６）の分母に相当する値を足し込みにより生成する。
【０６２６】
ステップＳ７５４において、差分演算部７５４は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジブロックの最大値と、抽出ブロックにおける今現在処理中の画素の画素値との差分を求めて、足し込み部７５５に出力する。
【０６２７】
ステップＳ７５５において、足し込み部７５５は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジと、差分演算部７５４より入力された、今現在処理している画素の画素値と、ダイナミックレンジブロックの画素のうち最大値となる値との差分を乗じて、足し込む。すなわち、足し込み部７５５は、上述の式（４６）の分子の項に相当する値を生成する。
【０６２８】
以上のように、データ足し込み部７５１は、足し込み処理により、上述の式（４６）の各項の演算を実行する。
【０６２９】
ここで、図９５のフローチャートの説明に戻る。
【０６３０】
ステップＳ７３４において、差分足し込み部７２１は、抽出ブロックの全ての画素について、足し込みが終了したか否かを判定し、例えば、抽出ブロックの全ての画素についての足し込み処理が終了していないと判定した場合、その処理は、ステップＳ７３２に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素について、足し込み処理が終了したと判定されるまで、ステップＳ７３２乃至Ｓ７３４の処理が繰り返される。
【０６３１】
ステップＳ７３４において、抽出ブロックの全ての画素について足し込みが終了したと判定された場合、ステップＳ７３５にいて、足し込み部７５３，７５５は、自らで記憶している足し込み結果を混合比導出部７６１に出力する。
【０６３２】
ステップＳ７３６において、混合比導出部７６１の混合比算出部７６２は、データ足し込み部７５１の足し込み部７５３，７５５より入力された、ダイナミックレンジの自乗和、および、抽出ブロックの各画素の画素値とダイナミックレンジブロックの最大値との差分と、ダイナミックレンジとを乗じた和に基づいて、上述の式（４６）で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、混合比を演算し、出力する。
【０６３３】
ステップＳ７３７において、データ取得部７１２は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、混合比を出力していないと判定した場合、ステップＳ７３８において、カウンタＵを１インクリメントして、その処理は、ステップＳ７３２に戻る。
【０６３４】
すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について混合比が演算されるまで、ステップＳ７３２乃至Ｓ７３８の処理が繰り返されることになる。このカウンタＵによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【０６３５】
ステップＳ７３７において、入力画像の全ての画素について処理がなされたと判定された場合、ステップＳ７３９において、データ取得部７１２は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップＳ７３１に戻り、それ以降の処理が繰り返される。
【０６３６】
ステップＳ７３９において、次の入力画像はないと判定された場合、その処理は、終了する。
【０６３７】
以上の処理により、各画素の混合比が、定常性情報として検出されて、出力される。
【０６３８】
以上の手法により、例えば、図９７Ａで示される画像中の白線内の細線の画像について、所定の空間方向Ｘ（＝５６１，５６２，５６３）上の混合比の変化が、図９７Ｂに示されている。図９７Ｂで示されるように、水平方向に連続する空間方向Ｙの混合比の変化は、それぞれ、空間方向Ｘ＝５６３の場合、混合比は、空間方向Ｙ＝６６０付近で立ち上がり、Ｙ＝６８５付近でピークとなり、Ｙ＝７１０まで減少する。また、空間方向Ｘ＝５６２の場合、混合比は、空間方向Ｙ＝６８０付近で立ち上がり、Ｙ＝７０５付近でピークとなり、Ｙ＝７３５まで減少する。さらに、空間方向Ｘ＝５６１の場合、混合比は、空間方向Ｙ＝７０５付近で立ち上がり、Ｙ＝７２５付近でピークとなり、Ｙ＝７５５まで減少する。
【０６３９】
このように、図９７Ｂで示されるように、連続する空間方向Ｘのそれぞれの混合比の変化は、混合比により変化する画素値の変化（図７２Ｂで示した画素値の変化）と同様の変化であり、周期的に連続していることから、細線近傍の画素の混合比が正確に表現されていることが分かる。
【０６４０】
また、同様にして、図９８Ａで示される画像中の白線内の２値エッジの画像について、所定の空間方向Ｘ（＝６５８，６５９，６６０）上の混合比の変化が、図９８Ｂに示されている。図９８Ｂで示されるように、水平方向に連続する空間方向Ｙの混合比の変化は、それぞれ、空間方向Ｘ＝６６０の場合、混合比は、空間方向Ｙ＝７５０付近で立ち上がり、Ｙ＝７６５付近でピークとなる。また、空間方向Ｘ＝６５９の場合、混合比は、空間方向Ｙ＝７６０付近で立ち上がり、Ｙ＝７７５付近でピークとなる。さらに、空間方向Ｘ＝６５８の場合、混合比は、空間方向Ｙ＝７７０付近で立ち上がり、Ｙ＝７８５付近でピークとなる。
【０６４１】
このように、図９８Ｂで示されるように、２値エッジの混合比の変化は、混合比により変化する画素値の変化（図８４Ｂで示した画素値の変化）と同様の変化とほぼ同様であり、周期的に連続していることから、２値エッジ近傍の画素値の混合比が正確に表現されていることが分かる。
【０６４２】
以上によれば、最小自乗法により統計的にデータ定常性情報として、各画素の混合比を求めることが可能となる。さらに、この混合比に基づいて、各画素の画素値を直接生成することが可能となる。
【０６４３】
また、混合比の変化が、定常性を有するものであり、さらに、この混合比の変化が直線的なもので近似すると、以下の式（４７）で示されるような関係が成立する。
α＝ｍ×ｙ＋ｎ・・・（４７）
【０６４４】
ここで、ｍは、混合比αが、空間方向Ｙに対して変化するときの傾きを示し、また、ｎは、混合比αが直線的に変化するときの切片に相当するものである。
【０６４５】
すなわち、図９９で示されるように、混合比を示す直線は、背景領域のレベルに相当する画素値Ｂと、細線のレベルに相当するレベルＬの境界を示す直線であり、この場合、空間方向Ｙについて単位距離進んだときの混合比の変化量が傾きｍとなる。
【０６４６】
そこで、式（４７）を、式（４２）に代入すると以下の式（４８）が導出される。
Ｍ＝（ｍ×ｙ＋ｎ）×Ｂ＋（１−（ｍ×ｙ＋ｎ））×Ｌ・・・（４８）
【０６４７】
さらに、この式（４８）を展開すると、以下の式（４９）が導出される。
Ｍ−Ｌ＝（ｙ×Ｂ−ｙ×Ｌ）×ｍ＋（Ｂ−Ｌ）×ｎ・・・（４９）
【０６４８】
式（４９）においては、第１項のｍが、混合比の空間方向の傾きを示し、第２項が混合比の切片を示す項である。従って、上述の式（４９）のｍ，ｎを２変数の最小自乗法を用いて、正規方程式を生成し、求めるようにすることもできる。
【０６４９】
しかしながら、混合比αの傾きｍは、上述した細線や２値エッジの傾き（上述の傾きＧ_ｆ）そのものであるので、予め、上述の方法を用いて、細線、または、２値エッジの傾きＧ_ｆを求めた後、その傾きを用いて、式（４９）に代入することにより、切片の項についての１変数の関数とし、上述した手法と同様に、１変数の最小自乗法により求めるようにしてもよい。
【０６５０】
以上の例においては、空間方向の細線、または、２値エッジの角度（傾き）、または、混合比をデータ定常性情報として検出するデータ定常性検出部１０１について説明してきたが、例えば、空間内の軸（空間方向Ｘ，Ｙ）のいずれかを、時間方向（フレーム方向）Ｔの軸に置き換えることにより得られる、空間方向における角度に対応するものであってもよい。すなわち、空間内の軸（空間方向Ｘ，Ｙ）のいずれかを、時間方向（フレーム方向）Ｔの軸に置き換えることにより得られる角度に対応するものとは、物体の動きベクトル（動きベクトルの方向）である。
【０６５１】
より具体的には、図１００Ａで示すように、物体が、時間が進むにつれて空間方向Ｙについて、図中の上方向に移動している場合、図中の細線に相当する部分（図７０Ａとの比較）には、物体の移動の軌跡が現れることになる。従って、時間方向Ｔの細線における傾きは、図１００Ａにおいては、物体の動く方向（物体の動きを示す角度）を示すもの（動きベクトルの方向と同値のもの）である。従って、現実世界において、図１００Ａ中の矢印で示される、所定の時刻におけるフレームでは、図１００Ｂで示すように物体の軌跡となる部分が、物体の（色の）レベルとなり、それ以外の部分が、背景のレベルとなったパルス状の波形となる。
【０６５２】
このように、センサにより動きのある物体を撮像したした場合、図１０１Ａで示されるように、時刻Ｔ１乃至Ｔ３におけるフレームの各画素の画素値の分布は、図１０１Ｂで示されるように、空間方向Ｙに対して、それぞれ山型の波形をとる。この関係は、図７１Ａ，Ｂを参照して、説明した空間方向Ｘ，Ｙにおける関係と同様であるものと考えることができる。従って、フレーム方向Ｔに対して、物体に動きがある場合、上述した細線の傾き、または、２値エッジの角度（傾き）の情報と同様の手法により、物体の動きベクトルの方向をデータ定常性情報として求めることも可能である。尚、図１０１Ｂにおいては、フレーム方向Ｔ（時間方向Ｔ）について、各マス目は、１フレームの画像を構成するシャッタ時間となる。
【０６５３】
また、同様にして、図１０２Ａで示されるように、フレーム方向Ｔ毎に、空間方向Ｙについて物体に動きがある場合、図１０２Ｂで示されるように、所定の時刻Ｔ１に相当するフレーム上で空間方向Ｙに向けて、物体の動きに対応して、各画素値が得られることになる。このとき、例えば、図１０２Ｂにおける、黒の実線で囲まれた画素の画素値は、図１０２Ｃで示されるように、物体の動きに対応して、背景のレベルと物体のレベルがフレーム方向に混合比βで混合している画素値である。
【０６５４】
この関係は、図９４Ａ，Ｂ，Ｃを参照して説明した関係と同様である。
【０６５５】
さらに、図１０３で示されるように、物体のレベルＯと背景のレベルＢとは、フレーム方向（時間方向）の混合比βにより直線近似することも可能である。個の関係は、図９９を参照して説明した空間方向の混合比の直線近似と同様の関係である。
【０６５６】
従って、空間方向の混合比αと同様の手法により、時間（フレーム）方向の混合比βをデータ定常性情報として求めることも可能である。
【０６５７】
また、フレーム方向、または、空間方向のいずれか１次元を選択して、定常性の角度、または、動きベクトルの方向を求めるようにしてもよいし、同様にして混合比α，βを選択的に求めるようにしてもよい。
【０６５８】
以上によれば、現実世界の光信号を射影し、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択し、選択した領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出し、検出した特徴に基づいて統計的に角度を検出し、検出した画像データの定常性の基準軸に対する角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにしたので、定常性の角度（動きベクトルの方向）、または、（時空間の）混合比を求めることが可能となる。
【０６５９】
以上のように、データ定常性検出部１０１は、注目画素に対応する、入力画像の複数の周辺画素の、現実世界の光信号の定常性に対応するデータの定常性を検出する。
【０６６０】
図６に戻り、ステップＳ１０１において、データ定常性検出部１０１により検出されるデータの定常性は、入力画像に含まれる、実世界の画像の定常性の一部であるか、または、実世界の信号の定常性から変化してしまった定常性である。
【０６６１】
例えば、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０６６２】
なお、データ定常性情報は、データの特徴を示す特徴量として利用することができる。
【０６６３】
ステップＳ１０２において、クラスタップ抽出部１０２は、創造しようとするＨＤ画像の注目しているＨＤ画素である注目画素を選択する。クラスタップ抽出部１０２は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。クラスタップは、特徴量検出部１０３に供給され、手続は、ステップＳ１０３に進む。例えば、クラスタップ抽出部１０２は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。
【０６６４】
次に、図１０４乃至図１０８を参照して、クラスタップ抽出部１０２による、データの定常性に基づいた、注目画素に対応する、入力画像の複数の周辺画素の抽出の処理について説明する。
【０６６５】
図１０４は、従来の時間方向により高解像度の画像のフレームを創造するクラス分類適応処理における、動きベクトルｖを基にした、クラスタップの抽出の処理を説明する図である。
【０６６６】
図１０４において、横方向は、画像の空間方向を示し、縦方向は、時間方向を示す。フレーム＃１は、フレーム＃０の次のフレーム、すなわちフレーム＃０に対して時間的に後のフレームである。注目フレームは、フレーム＃０およびフレーム＃１の間に配置される。
【０６６７】
図１０４において、黒丸は、注目画素を示し、白丸は、抽出される周辺画素を示す。
【０６６８】
従来のクラス分類適応処理において、注目画素に対応する動きベクトルｖが検出され、検出された動きベクトルｖが、注目画素を通過し、始点がフレーム＃０に位置し、終点がフレーム＃１に位置するように配置される。そして、配置された動きベクトルｖの始点に位置する画素ｘ^（２）、動きベクトルｖの終点に位置する画素ｘ^（５）が、クラスタップとして抽出される。
【０６６９】
さらに、従来のクラス分類適応処理において、画素ｘ^（２）に隣接する、フレーム＃０の画素ｘ^（１）および画素ｘ^（３）が、クラスタップとして抽出され、画素ｘ^（５）に隣接する、フレーム＃１の画素ｘ^（４）および画素ｘ^（６）が、クラスタップとして抽出される。
【０６７０】
図１０５は、本発明の画像処理装置における、データの定常性の方向Ｃを基にした、クラスタップの抽出の処理を説明する図である。
【０６７１】
以下の説明において、画素の単位は、入力画像における画素を基準とする。
【０６７２】
なお、図１０５の上側において、空間方向Ｙの座標値が増加し（プラス側）、図１０５の下側において、空間方向Ｙの座標値が減少する（マイナス側）。また、図１０５の右側において、空間方向Ｘの座標値が増加し（プラス側）、図１０５の左側において、空間方向Ｘの座標値が減少する（マイナス側）。
【０６７３】
図１０５で示されるデータの定常性の方向Ｃにおいて、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量は、３．２５画素である。
【０６７４】
例えば、データの定常性を有する領域に属する注目画素（図中黒丸で示す）に対して、空間方向Ｘに−０．２５画素および空間方向Ｙに−０．７５画素の画素ｘ^（５）、空間方向Ｘに−０．２５画素および空間方向Ｙに＋０．２５画素の画素ｘ^（４）、並びに空間方向Ｘに−０．２５画素および空間方向Ｙに−１．７５画素の画素ｘ^（６）がクラスタップとして抽出される。
【０６７５】
また、データの定常性を有する領域に属する注目画素に対して、空間方向Ｘに＋０．７５画素および空間方向Ｙに＋２．７５画素の画素ｘ^（２）、空間方向Ｘに＋０．７５画素および空間方向Ｙに＋３．７５画素の画素ｘ^（１）、並びに空間方向Ｘに＋０．７５画素および空間方向Ｙに＋１．７５画素の画素ｘ^（３）がクラスタップとして抽出される。
【０６７６】
さらに、データの定常性を有する領域に属する注目画素に対して、空間方向Ｘに−１．２５画素および空間方向Ｙに−３．７５画素の画素ｘ^（８）、空間方向Ｘに−１．２５画素および空間方向Ｙに−２．７５画素の画素ｘ^（７）、並びに空間方向Ｘに−１．２５画素および空間方向Ｙに−４．７５画素の画素ｘ^（９）がクラスタップとして抽出される。
【０６７７】
図１０６および図１０７を参照して、データの定常性に基づく、クラスタップとして抽出される画素の位置の決定について説明する。
【０６７８】
図１０６および図１０７において、×印は、ＨＤ画素を示し、丸印は、ＳＤ画素を示す。
【０６７９】
以下、注目画素などの所定の基準位置から、空間方向Ｘにａ画素および空間方向Ｙにｂ画素の位置を、（ａ，ｂ）で表す。
【０６８０】
例えば、注目画素の対応する位置の入力画素（対応画素）が含まれる空間方向Ｙに１列の画素であって、対応画素から定まる中心画素を中心とし、中心画素に空間方向Ｙに隣接する画素からなる３つの周辺画素、さらに３つの周辺画素に空間方向Ｘに隣接する６つの周辺画素の位置が基準として予め定められている。
【０６８１】
なお、周辺画素の基準の位置は、空間方向Ｘに１画素おき、または空間方向Ｙに１画素おきなど、任意に定めることができる。
【０６８２】
対応画素は、注目画素に対して、空間方向Ｘに−０．２５画素乃至＋０．２５画素、および空間方向Ｙに−０．２５画素乃至＋０．２５画素の範囲に位置する。
【０６８３】
中心画素は、対応画素と同じである場合もあるが、対応画素と同じでない場合もある。すなわち、中心画素は、対応画素と同じとは限らない。
【０６８４】
例えば、図１０６に示すように、注目画素であるＨＤ画素ｙ_１の位置が、対応画素ｘ_１１を基準として（−０．２５，＋０．２５）であるとき、対応画素ｘ_１１から空間方向Ｘに１画素の位置の画素ｘ_１２と、注目画素ｙ_１との空間方向Ｘの距離は、１．２５画素、すなわち５／４画素である。
【０６８５】
データの定常性における、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量が、１画素であるとき（データの定常性の傾きが１であるとき）、注目画素ｙ_１から空間方向Ｘに１．２５画素であって、空間方向Ｙに１．２５画素（空間方向Ｘの距離１．２５に傾き１を乗算して得られた距離１．２５）の位置に最も近い入力画素、例えば、入力画素ｘ_６がクラスタップとして選択される。
【０６８６】
そして、選択された入力画素ｘ_６を基準として、入力画素ｘ_６に空間方向Ｙに１列に並ぶ入力画素であって、入力画素ｘ_６に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素ｘ_６に空間方向Ｙに隣接する入力画素ｘ_３および入力画素ｘ_９がクラスタップとして選択される。
【０６８７】
データの定常性における、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量が、２画素であるとき（データの定常性の傾きが２であるとき）、図１０６に示すように、注目画素ｙ_１から空間方向Ｘに１．２５画素であって、空間方向Ｙに２．５０画素（空間方向Ｘの距離１．２５に傾き２を乗算して得られた距離２．５０）の位置に最も近い入力画素、例えば、入力画素ｘ_３がクラスタップとして選択される。
【０６８８】
そして、選択された入力画素ｘ_３を基準として、入力画素ｘ_３に空間方向Ｙに１列に並ぶ入力画素であって、入力画素ｘ_３に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素ｘ_３に空間方向Ｙに隣接する入力画素が選択される。
【０６８９】
例えば、図１０６に示すように、注目画素であるＨＤ画素ｙ_１の位置が対応画素ｘ_１１に対して（−０．２５，＋０．２５）なので、対応画素ｘ_１１と注目画素ｙ_１との空間方向Ｘの距離は、０．２５画素、すなわち１／４画素である。
【０６９０】
データの定常性における、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量が、２画素であるとき（データの定常性の傾きが２であるとき）、図１０６に示すように、注目画素ｙ_１から空間方向Ｘに０．２５画素であって、空間方向Ｙに０．５０画素（空間方向Ｘの距離０．２５に傾き２を乗算して得られた距離０．５０）の位置に最も近い入力画素、例えば、入力画素ｘ_１１が中心画素として、選択される。
【０６９１】
そして、例えば、選択された入力画素ｘ_１１に空間方向Ｙに隣接する入力画素ｘ_８および入力画素ｘ_１４が選択される。
【０６９２】
すなわち、この場合、対応画素と中心画素とは、同じ画素となる。
【０６９３】
データの定常性における、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量が、３．２５画素であるとき（データの定常性の傾きが３．２５であるとき）、図１０６に示すように、注目画素ｙ_１から空間方向Ｘに０．２５画素であって、空間方向Ｙに０．８１２５画素（空間方向Ｘの距離０．２５に傾き３．２５を乗算して得られた距離０．８１２５）の位置に最も近い入力画素、例えば、入力画素ｘ_１４が中心画素として、選択される。
【０６９４】
そして、例えば、選択された入力画素ｘ_１４に空間方向Ｙに隣接する入力画素ｘ_１１および入力画素ｘ_１７が選択される。
【０６９５】
すなわち、この場合、対応画素と中心画素とは、異なる画素となる。
【０６９６】
例えば、図１０７に示すように、注目画素であるＨＤ画素ｙ_２の位置が、対応画素ｘ_１１に対して（＋０．２５，＋０．２５）であるとき、対応画素ｘ_１１から空間方向Ｘに１画素の位置の画素ｘ_１２と、注目画素ｙ_２との空間方向Ｘの距離は、０．７５画素、すなわち３／４画素である。
【０６９７】
データの定常性における、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量が、１画素であるとき（データの定常性の傾きが１であるとき）、注目画素ｙ_２から空間方向Ｘに０．７５画素であって、空間方向Ｙに０．７５画素（空間方向Ｘの距離０．７５に傾き１を乗算して得られた距離０．７５）の位置に最も近い入力画素、例えば、入力画素ｘ_９がクラスタップとして選択される。
【０６９８】
そして、選択された入力画素ｘ_９を基準として、入力画素ｘ_９に空間方向Ｙに１列に並ぶ入力画素であって、入力画素ｘ_９に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素ｘ_９に空間方向Ｙに隣接する入力画素ｘ_６および入力画素ｘ_１２が選択される。
【０６９９】
データの定常性における、空間方向Ｘに１画素の距離に対する空間方向Ｙの変化量が、２画素であるとき（データの定常性の傾きが２であるとき）、図１０７に示すように、注目画素ｙ_２から空間方向Ｘに０．７５画素であって、空間方向Ｙに１．５０画素（空間方向Ｘの距離０．７５に傾き２を乗算して得られた距離１．５０）の位置に最も近い入力画素、例えば、入力画素ｘ_６がクラスタップとして選択される。
【０７００】
そして、選択された入力画素ｘ_６を基準として、入力画素ｘ_６に空間方向Ｙに１列に並ぶ入力画素であって、入力画素ｘ_６に対して所定の位置にある入力画素がクラスタップとして選択される。例えば、選択された入力画素ｘ_６に空間方向Ｙに隣接する入力画素ｘ_３および入力画素ｘ_９が選択される。
【０７０１】
このように、注目画素に対する、周辺画素の所定の方向の距離に、データの定常性の傾きを乗算することにより、周辺画素の他の方向の距離を求めて、データの定常性の方向を基に、クラスタップとして抽出される周辺画素の位置が特定される。
【０７０２】
このようにすることで、データの定常性を有する周辺画素をクラスタップとして選択できる。これにより、共通した特徴を有する周辺画素がクラスタップとして選択されるので、より適切にクラスを分類することができるようになる。
【０７０３】
また、本発明の画像処理装置においては、時空間方向のデータの定常性の方向を検出し、検出された時空間方向のデータの定常性の方向を基にして、時空間方向のクラスタップを抽出することができる。
【０７０４】
図１０８は、本発明の画像処理装置における、データ定常性検出部１０１により検出された時空間方向のデータの定常性の方向Ｃを基にした、時空間方向のクラスタップの抽出の処理を説明する図である。
【０７０５】
図１０８において、入力画像に対して、出力画像の一方の空間方向の画素の数は２倍であり、出力画像の単位時間当たりのフレームの数は２倍である。
【０７０６】
図１０８において、過去の時刻が、図中の左側の位置に対応し、未来の時刻が、図中の右側の位置に対応する。図１０８の上側において、空間方向の座標値が増加し（プラス側）、図１０８の下側において、空間方向の座標値が減少する（マイナス側）。
【０７０７】
図１０８において、ｆ_−１，ｆ_０，ｆ_１は、入力画像のフレームを示し、Ｆ_−２，Ｆ_−１，Ｆ_０，Ｆ_１，Ｆ_２，Ｆ_３は、出力画像のフレームを示す。
【０７０８】
図１０８で示されるデータの定常性の方向Ｃにおいて、入力画像を基準として、時間方向に１フレームの距離に対する空間方向の変化量が、３．２５画素である。
【０７０９】
例えば、データの定常性を有する領域に属する注目画素（図中黒丸で示す）に対して、時間方向に−０．２５フレームおよび空間方向に−０．７５画素の画素ｘ^（５）、時間方向に−０．２５フレームおよび空間方向に＋０．２５画素の画素ｘ^（４）、並びに時間方向に−０．２５フレームおよび空間方向に−１．７５画素の画素ｘ^（６）がクラスタップとして抽出される。
【０７１０】
データの定常性を有する領域に属する注目画素に対して、時間方向に＋０．７５フレームおよび空間方向に＋２．７５画素の画素ｘ^（２）、時間方向に＋０．７５フレームおよび空間方向に＋３．７５画素の画素ｘ^（１）、並びに時間方向に＋０．７５フレームおよび空間方向に＋１．７５画素の画素ｘ^（３）がクラスタップとして抽出される。
【０７１１】
さらに、データの定常性を有する領域に属する注目画素に対して、時間方向に−１．２５フレームおよび空間方向に−３．７５画素の画素ｘ^（８）、時間方向に−１．２５フレームおよび空間方向に−２．７５画素の画素ｘ^（７）、並びに時間方向に−１．２５フレームおよび空間方向に−４．７５画素の画素ｘ^（９）がクラスタップとして抽出される。
【０７１２】
時空間方向のデータの定常性の傾きを基に、時空間方向にクラスタップを抽出する処理は、図１０６および図１０７を参照して説明した処理において、空間方向の一方を時間方向に置き換えたものと同様なので、その説明は省略する。
【０７１３】
時空間方向のデータの定常性の傾きを基に、時空間方向にクラスタップを抽出することにより、時空間方向のデータの定常性を考慮したクラスタップを抽出することができるようになる。
【０７１４】
図６に戻り、ステップＳ１０３において、特徴量検出部１０３は、入力画像またはクラスタップから特徴量を検出して、検出された特徴量をクラス分類部１０４に供給すると共に、クラスタップをクラス分類部１０４に供給して、ステップＳ１０４に進む。
【０７１５】
ステップＳ１０４において、クラス分類部１０４は、特徴量検出部１０３から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１０５および予測タップ抽出部１０６に供給して、ステップＳ１０５に進む。
【０７１６】
ステップＳ１０５において、予測タップ抽出部１０６は、データ定常性検出部１０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。
【０７１７】
予測タップ抽出部１０６による予測タップの抽出の処理は、クラスタップ抽出部１０２における処理と同様なので、その詳細な説明は省略する。
【０７１８】
このようにすることで、データの定常性を有する周辺画素を予測タップとして選択できる。これにより、共通した特徴を有する周辺画素が予測タップとして選択されるので、より精度良く、またはより正確に画素値を予測することができるようになる。
【０７１９】
すなわち、予測タップ抽出部１０６は、予測タップ抽出部１０６は、データ定常性検出部１０１により検出されたデータの定常性およびクラス分類部１０４から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部１０７に供給され、手続は、ステップＳ１０６に進む。
【０７２０】
ステップＳ１０６において、係数メモリ１０５は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部１０７に供給し、ステップＳ１０７に進む。
【０７２１】
ステップＳ１０７において、画素値予測部１０７は、特徴量検出部１０３により検出された特徴量に基づいて、適応処理により、予測タップ抽出部１０６により抽出された複数の周辺画素から注目画素（の予測値）を予測し、ステップＳ１０８に進む。すなわち、ステップＳ１０７では、画素値予測部１０７は、予測タップ抽出部１０６からの予測タップと、係数メモリ１０５からの予測係数（タップ係数）とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。
【０７２２】
ステップＳ１０８において、クラスタップ抽出部１０２は、ＨＤ画像の注目しているフレームの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ１０２に戻り、以下、同様の処理を繰り返す。
【０７２３】
また、ステップＳ１０８において、注目フレームの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべてのＨＤ画素が、予測された場合、画素値予測部１０７は、予測された画素からなる出力画像を出力して、処理は終了する。
【０７２４】
このように、図５に構成を示す画像処理装置は、入力画像から、より高解像度の出力画像を生成して、生成した出力画像を出力することができる。
【０７２５】
図１０９乃至図１１８は、本発明に係る画像処理装置の処理結果の例を説明する図である。
【０７２６】
図１０９は、入力画像の例を示す図である。図１１０は、入力画像の元になった画像を示す図である。すなわち、図１１０で示される画像の４画素の画素値の平均から、図１０９で示される入力画像の画素値を計算した。
【０７２７】
図１１１は、図１０９で示される入力画像に、従来のクラス分類適応処理を適用することにより生成した画像を示す図である。
【０７２８】
図１１２は、図１０９で示される入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが常に同じになるように、クラスタップおよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成した画像を示す図である。
【０７２９】
図１１３は、図５で示される画像処理装置により、図１０９で示される入力画像から生成された画像を示す図である。すなわち、図１１３は、入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが適宜異なるように、クラスタップおよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成された画像を示す図である。
【０７３０】
図１１４は、入力画像の他の例を示す図である。図１１５は、図１１４で示される入力画像の元になった画像を示す図である。すなわち、図１１５で示される画像の４画素の画素値の平均から、図１１４で示される入力画像の画素値を計算した。
【０７３１】
図１１６は、図１１４で示される入力画像に、従来のクラス分類適応処理を適用することにより生成した画像を示す図である。
【０７３２】
図１１７は、図１１４で示される入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが常に同じになるように、クラスタップおよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成した画像を示す図である。
【０７３３】
データの定常性の傾きを基に、クラスタップおよび予測タップを抽出しても、対応画素と中心画素とが常に同じになるようにした場合、滑らかな画像を得ることはできない。これは、垂直方向に同じ波形を含むタップが抽出されてしまい、水平方向に波形の変化がないとしてマッピングされた結果によるものと考えられる。
【０７３４】
図１１８は、図５で示される画像処理装置により、図１１４で示される入力画像から生成された画像を示す図である。すなわち、図１１８は、入力画像からデータの定常性の傾きを検出し、データの定常性の傾きを基に、対応画素と中心画素とが適宜異なるように、クラスタップおよび予測タップを抽出して、クラス分類し、適応処理を適用することにより生成された画像を示す図である。
【０７３５】
図５で示される画像処理装置により、入力画像から生成された画像は、従来のクラス分類適応処理を適用することにより生成された画像に比較して、より滑らかな画像であって、元の画像により近い画像であることがわかる。特に、図１１８で示される画像からわかるように、本発明によれば、２本線によるモアレ部分の画像をほぼ完全に復元できる。
【０７３６】
次に、図１１９は、図５の係数メモリ１０５に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０７３７】
図１１９の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えばＨＤ画像が入力される。学習装置に入力された入力画像は、生徒画像生成部８０１および教師画素抽出部８０９に供給される。
【０７３８】
生徒画像生成部８０１は、入力された入力画像（教師画像）から、生徒画像であるＳＤ画像を生成し、画像メモリ８０２に供給する。生徒画像生成部８０１は、例えば、教師画像としてのＨＤ画像の水平方向または垂直方向に互いに隣接する４つのＨＤ画素の画素値の平均値を求めてＳＤ画像の画素値とすることにより、その教師画像としてのＨＤ画像に対応した生徒画像としてのＳＤ画像を生成する。ここで、ＳＤ画像は、図５の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。画像メモリ８０２は、生徒画像生成部８０１からの生徒画像であるＳＤ画像を一時記憶する。
【０７３９】
図１１９で示される学習装置においては、ＳＤ画像を生徒データとして、タップ係数が生成される。
【０７４０】
データ定常性検出部８０３は、図５のデータ定常性検出部１０１における場合と同様に、画像メモリ８０２に記憶された生徒画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部８０４および予測タップ抽出部８０７に供給する。
【０７４１】
データ定常性検出部８０３の構成の詳細は、データ定常性検出部１０１と同様なので、その説明は省略する。
【０７４２】
クラスタップ抽出部８０４は、図５のクラスタップ抽出部１０２における場合と同様に、画像メモリ８０２に記憶された生徒画像であるＳＤ画像に対応する教師画像としてのＨＤ画像に含まれる画素のうちの１つの画素を、順次、注目画素とする。
【０７４３】
さらに、クラスタップ抽出部８０４は、データ定常性検出部８０４により検出されたデータの定常性に基づいて、注目画素に対応する、画像メモリ８０２に記憶された生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部８０４は、データ定常性検出部８０３により検出されたデータの定常性に基づいて、注目画素についてのクラスタップを、画像メモリ８０２に記憶されたＳＤ画像から抽出し、特徴量検出部８０５に供給する。ここで、クラスタップ抽出部８０４は、図５のクラスタップ抽出部１０２が生成するのと同一のタップ構造のクラスタップを生成する。
【０７４４】
特徴量検出部８０５は、図５の特徴量検出部１０３と同様の処理で、画像メモリ８０２から供給された生徒画像またはクラスタップ抽出部８０４から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部８０６に供給する。
【０７４５】
例えば、特徴量検出部８０５は、画像メモリ８０２から供給されたＳＤ画像またはクラスタップ抽出部８０４から供給されたクラスタップを基に、ＳＤ画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部８０６に供給する。また、例えば、特徴量検出部８０５は、ＳＤ画像またはクラスタップを基に、ＳＤ画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部８０６に供給する。
【０７４６】
さらに、例えば、特徴量検出部８０５は、画像メモリ８０２から供給されたＳＤ画像またはクラスタップ抽出部８０４から供給されたクラスタップを基に、クラスタップまたはＳＤ画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部８０６に供給する。
【０７４７】
なお、特徴量検出部８０５は、特徴量検出部１０３と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０７４８】
すなわち、特徴量検出部８０５は、図５の特徴量検出部１０３と同一の特徴量を検出する。
【０７４９】
特徴量検出部８０５は、特徴量とは別に、クラスタップをクラス分類部８０６に供給する。
【０７５０】
クラス分類部８０６は、図５のクラス分類部１０４と同様に構成され、特徴量検出部８０５からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部８０７および学習メモリ８１０に供給する。
【０７５１】
予測タップ抽出部８０７は、図５の予測タップ抽出部１０６と同様に構成され、データ定常性検出部８０３により検出されたデータの定常性に基づいて、注目画素に対応する、生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部８０７は、データ定常性検出部８０３により検出されたデータの定常性およびクラス分類部８０６から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ８０２に記憶されたＳＤ画像から抽出し、足し込み演算部８０８に供給する。ここで、予測タップ抽出部８０７は、図５の予測タップ抽出部１０６が生成するのと同一のタップ構造の予測タップを生成する。
【０７５２】
教師画素抽出部８０９は、教師画像である入力画像（ＨＤ画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部８０８に供給する。即ち、教師画素抽出部８０９は、入力された学習用の画像であるＨＤ画像を、例えば、そのまま教師データとする。ここで、図５の画像処理装置で得られるＨＤ画像は、図１１９の学習装置で教師データとして用いられるＨＤ画像の画質に対応したものとなる。
【０７５３】
足し込み演算部８０８および正規方程式演算部８１１は、注目画素となっている教師データと、予測タップ抽出部８０７から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部８０６から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０７５４】
即ち、足し込み演算部８０８は、予測タップ抽出部８０７から供給される予測タップ（ＳＤ画素）と、注目画素となっている教師データであるＨＤ画素とを対象とした、式（８）の足し込みを行う。
【０７５５】
具体的には、足し込み演算部８０８は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_ｎ，ｋを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_ｎ，ｋｘ_ｎ’，ｋ）と、サメーション（Σ）に相当する演算を行う。
【０７５６】
さらに、足し込み演算部８０８は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_ｎ，ｋと、注目画素となっている教師データであるＨＤ画素ｙ_ｋを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘ_ｎ，ｋおよびＨＤ画素ｙ_ｋの乗算（ｘ_ｎ，ｋｙ_ｋ）と、サメーション（Σ）に相当する演算を行う。
【０７５７】
足し込み演算部８０８は、教師データとしてのＨＤ画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に対応した正規方程式をたてると、その正規方程式を、学習メモリ８１０に供給する。
【０７５８】
学習メモリ８１０は、足し込み演算部８０８から供給された、生徒データとしてＳＤ画素、教師データとしてＨＤ画素が設定された、式（８）に対応した正規方程式を記憶する。
【０７５９】
正規方程式演算部８１１は、学習メモリ８１０から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０７６０】
すなわち、足し込み演算部８０８および正規方程式演算部８１１は、検出された特徴量毎に、抽出された複数の周辺画素から注目画素を予測する予測手段を学習する。
【０７６１】
この場合、予測手段は、複数の周辺画素から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値予測部１０７、または画素値予測部１０７における処理を言う。複数の周辺画素から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０７６２】
従って、複数の周辺画素から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値予測部１０７、または画素値予測部１０７における処理が具体的に特定され、画素値予測部１０７を実現し、または画素値予測部１０７における処理を実行することができるようになるからである。
【０７６３】
係数メモリ８１２は、正規方程式演算部８１１が出力するクラスごとのタップ係数を記憶する。
【０７６４】
次に、図１２０のフローチャートを参照して、図１１９の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０７６５】
まず最初に、ステップＳ８０１において、生徒画像生成部８０１は、例えば、ＨＤ画像である、学習用の入力画像（教師画像）を取得し、画素を間引くことにより、例えば、ＳＤ画像である生徒画像を生成する。例えば、生徒画像生成部８０１は、ＨＤ画像の水平方向または垂直方向に互いに隣接する４つのＨＤ画素の画素値の平均値を求めて、平均値をＳＤ画像の画素値とすることにより、ＳＤ画像を生成する。ＳＤ画像は、画像メモリ８０２に供給される。
【０７６６】
ステップＳ８０２において、データ定常性検出部８０３は、図５のデータ定常性検出部１０１における場合と同様に、画像メモリ８０２に記憶された生徒画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部８０４および予測タップ抽出部８０７に供給し、ステップＳ８０３に進む。
【０７６７】
ステップＳ８０２における、データの定常性の検出の処理の詳細は、ステップＳ１０１における処理と同様なので、その詳細の説明は省略する。
【０７６８】
そして、ステップＳ８０３に進み、クラスタップ抽出部８０４は、教師データとしてのＨＤ画像のＨＤ画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択する。クラスタップ抽出部８０４は、図５のクラスタップ抽出部１０２における場合と同様に、ステップＳ８０２の処理において検出されたデータの定常性に基づいて、注目画素に対応する、画像メモリ８０２に記憶された生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素をクラスタップとする。
【０７６９】
すなわち、クラスタップ抽出部８０４は、データ定常性検出部８０３により検出されたデータの定常性に基づいて、注目画素についてのクラスタップを、画像メモリ８０２に記憶されたＳＤ画像から抽出し、特徴量検出部８０５に供給する。クラスタップ抽出部８０４は、クラスタップを特徴量検出部８０５に供給して、ステップＳ８０４に進む。
【０７７０】
ステップＳ８０４において、特徴量検出部８０５は、図５の特徴量検出部１０３における場合と同様に、ステップＳ８０１の処理において生成された生徒画像またはステップＳ８０３の処理において抽出されたクラスタップから、例えば、動きベクトル、またはＳＤ画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部８０６に供給し、ステップＳ８０５に進む。
【０７７１】
ステップＳ８０５では、クラス分類部８０６が、図５のクラス分類部１０４における場合と同様にして、特徴量検出部８０５からの特徴量またはクラスタップを用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部８０７および学習メモリ８１０に供給して、ステップＳ８０６に進む。
【０７７２】
ステップＳ８０６において、予測タップ抽出部８０７は、図５の予測タップ抽出部１０６における場合と同様に、データ定常性検出部８０３により検出されたデータの定常性に基づいて、注目画素に対応する、生徒画像の複数の周辺画素を抽出し、抽出した生徒画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部８０７は、データ定常性検出部８０３により検出されたデータの定常性およびクラス分類部８０６から供給されるクラスコードに基づいて、注目画素に対応する予測タップを、画像メモリ８０２に記憶されている生徒画像としてのＳＤ画像から抽出し、足し込み演算部８０８に供給して、ステップＳ８０７に進む。
【０７７３】
ステップＳ８０７において、教師画素抽出部８０９は、注目画素、すなわちＨＤ画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部８０８に供給し、ステップＳ８０８に進む。
【０７７４】
ステップＳ８０８では、足し込み演算部８０８が、予測タップ抽出部８０７から供給される予測タップ（生徒データ）、および教師画素抽出部８０９から供給される教師画素（教師データ）を対象とした、上述した式（８）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ８１０に記憶させ、ステップＳ８０９に進む。
【０７７５】
そして、ステップＳ８０９では、クラスタップ抽出部８０４は、教師データとしてのＨＤ画像のＨＤ画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ８０９において、教師データとしてのＨＤ画像のＨＤ画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ８０３に戻り、以下、同様の処理が繰り返される。
【０７７６】
また、ステップＳ８０９において、教師データとしてのＨＤ画像のＨＤ画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ８１０に進み、正規方程式演算部８１１は、いままでのステップＳ８０８における足し込みによって、クラスごとに得られた式（８）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ８１０から読み出し、読み出した式（８）の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ８１２に供給する。係数メモリ８１２は、正規方程式演算部８１１から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ８１１に進む。
【０７７７】
すなわち、ステップＳ８０８およびステップＳ８１０において、特徴量検出部８０５により検出された特徴量毎に、予測タップ抽出部８０７により抽出された複数の周辺画素から注目画素を予測するための予測手段が学習される。
【０７７８】
ステップＳ８１１において、正規方程式演算部８１１は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ８１０に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０７７９】
ステップＳ８１１において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０７８０】
以上のようにして、係数メモリ８１２に記憶されたクラスごとの予測係数が、図５の画像処理装置における係数メモリ１０５に記憶されている。
【０７８１】
なお、以上のような予測係数（タップ係数）の学習処理において、用意する学習用の画像等によっては、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、正規方程式演算部８１１において、デフォルトのタップ係数を出力するようにすること等が可能である。あるいは、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じた場合には、新たに学習用の画像を用意して、再度、タップ係数の学習を行うようにしても良い。このことは、後述する学習装置におけるタップ係数の学習についても、同様である。
【０７８２】
図１２１は、本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【０７８３】
図１２１で構成が示される画像処理装置は、入力画像を取得し、入力された入力画像に対して、画面の水平方向に２倍の解像度の画像（以下、水平倍密画像と称する）を創造して出力する。
【０７８４】
図１２１で示される画像処理装置においては、例えば、入力画像の一例であるＳＤ画像が入力され、入力されたＳＤ画像からデータの定常性が検出され、検出されたデータの定常性を基に、ＳＤ画像に対して、クラス分類適応処理が施されることにより、水平倍密画像の画素（以下、水平倍密画素と称する）が創造されると共に、データの定常性を利用せずに、ＳＤ画像に対して、クラス分類適応処理が施されることにより、水平倍密画素が創造される。そして、ＳＤ画像に対する、データの定常性を基に創造された水平倍密画素の積分特性が判定され、判定結果を基に、データの定常性を基に創造された水平倍密画素およびデータの定常性を利用せずに創造された水平倍密画素のいずれか一方が選択され、選択された水平倍密画素で水平倍密画像である出力画像が合成され、合成された出力画像が出力される。
【０７８５】
すなわち、図１２１で構成が示される画像処理装置においては、データ定常性検出部９０１、クラスタップ抽出部９０２、特徴量検出部９０３、クラス分類部９０４、係数メモリ９０５、予測タップ抽出部９０６、画素値予測部９０７、積分特性判定部９０８、画像合成部９０９、クラスタップ抽出部９１０、特徴量検出部９１１、クラス分類部９１２、係数メモリ９１３、予測タップ抽出部９１４、および画素値予測部９１５が設けられている。
【０７８６】
入力画像は、データ定常性検出部９０１、クラスタップ抽出部９０２、特徴量検出部９０３、予測タップ抽出部９０６、積分特性判定部９０８、クラスタップ抽出部９１０、特徴量検出部９１１、および予測タップ抽出部９１４に供給される。
【０７８７】
データ定常性検出部９０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報をクラスタップ抽出部９０２および予測タップ抽出部９０６に供給する。データ定常性情報は、例えば、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）（以下、データの定常性の方向とも称する。）を含む。
【０７８８】
データ定常性検出部９０１は、データ定常性検出部１０１と同様に構成され、その詳細な説明は省略する。データ定常性検出部９０１によるデータの定常性の検出の処理は、データ定常性検出部１０１における場合と同様なので、その説明は省略する。
【０７８９】
クラスタップ抽出部９０２は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素のうちの１つを、順次、注目画素とする。そして、クラスタップ抽出部９０２は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部９０２は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部９０３に出力する。
【０７９０】
例えば、クラスタップ抽出部９０２は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部９０３に出力する。
【０７９１】
なお、データ定常性検出部９０１、クラスタップ抽出部９０２、および予測タップ抽出部９０６は、データ定常性検出部１０１、クラスタップ抽出部１０２、および予測タップ抽出部１０６における場合と同様にフレームメモリを設けることができる。
【０７９２】
また、図１２１で示される画像処理装置においても、入力側に１つのフレームメモリを設けるようにしてもよい。
【０７９３】
例えば、クラスタップ抽出部９０２は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横×縦が３×３個の画素を入力画像から抽出することによりクラスタップとする。
【０７９４】
クラスタップ抽出部９０２は、抽出されたクラスタップを、特徴量検出部９０３に供給する。
【０７９５】
クラスタップ抽出部９０２によるクラスタップの抽出の処理は、クラスタップ抽出部１０２における場合と同様なので、その詳細な説明は省略する。
【０７９６】
特徴量検出部９０３は、クラスタップ抽出部９０２から供給されたクラスタップまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部９０４に供給する。
【０７９７】
例えば、特徴量検出部９０３は、クラスタップ抽出部９０２から供給されたクラスタップまたは入力画像を基に、入力画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部９０４に供給する。また、例えば、特徴量検出部９０３は、クラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部９０４に供給する。
【０７９８】
さらに、例えば、特徴量検出部９０３は、クラスタップ抽出部９０２から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部９０４に供給する。
【０７９９】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【０８００】
特徴量検出部９０３は、特徴量とは別に、クラスタップをクラス分類部９０４に供給する。
【０８０１】
クラス分類部９０４は、特徴量検出部９０３からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ９０５と予測タップ抽出部９０６とに供給する。
【０８０２】
クラス分類部９０４は、クラス分類部１０４と同様の処理でクラスコードを生成するので、その詳細な説明は省略する。
【０８０３】
係数メモリ９０５は、学習の教師となる、出力画像の一例である水平倍密画像の水平倍密画素である教師データと、学習の生徒となる、入力画像の一例であるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ９０５は、クラス分類部９０４から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部９０７に供給する。
【０８０４】
なお、係数メモリ９０５に記憶されるタップ係数は、図１１９で構成が示される学習装置または図１２０のフローチャートを参照して説明した学習の処理により学習される。この場合において、図１１９で構成が示される学習装置には、入力画像として水平倍密画像が入力され、生徒画像生成部８０１は、水平倍密画像からＳＤ画像を生成する。同様に、ステップＳ８０１においては、入力画像である水平倍密画像からＳＤ画像が生成される。
【０８０５】
予測タップ抽出部９０６は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部９０６は、データ定常性検出部９０１により検出されたデータの定常性およびクラス分類部９０４から供給されるクラスコードを基に、画素値予測部９０７において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部９０７に供給する。
【０８０６】
例えば、予測タップ抽出部９０６は、データの定常性に基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部９０７に供給する。例えば、予測タップ抽出部９０６は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素について、注目画素の位置から近い横×縦が３×３個の画素を、入力画像から抽出することにより予測タップとする。
【０８０７】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０８０８】
なお、クラスタップや予測タップのタップ構造は、３×３個の画素値に限定されるものではない。
【０８０９】
予測タップ抽出部９０６による予測タップの抽出の処理は、予測タップ抽出部１０６における場合と同様なので、その詳細な説明は省略する。
【０８１０】
画素値予測部９０７は、係数メモリ９０５から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部９０６からの予測タップ（を構成する画素値）ｘ_１，ｘ_２，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ（の予測値）を予測し、これを、水平倍密画素の画素値とする。画素値予測部９０７は、演算された水平倍密画素の画素値を積分特性判定部９０８および画像合成部９０９に供給する。
【０８１１】
例えば、クラスタップ抽出部９０２は、図１２２で示される、入力画像の対応画素ｘ^（５）に空間方向に包含される画素ｙ^（１）および画素ｙ^（２）を注目画素とし、画素値予測部９０７は、図１２２で示される注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を予測し、予測した注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を積分特性判定部９０８および画像合成部９０９に供給する。
【０８１２】
積分特性判定部９０８は、画素値予測部９０７により予測された第１の注目画素の第１の予測値と、画素値予測部９０７により予測された、第１の注目画素に空間的に隣接する出力画像の第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを空間方向に対して包含する位置に配される入力画像の対応画素の画素値との関係を検出する。
【０８１３】
すなわち、例えば、積分特性判定部９０８は、図１２２で示される注目画素ｙ^（１）の予測値と、注目画素ｙ^（２）の予測値と、注目画素ｙ^（１）と注目画素ｙ^（２）とを空間方向に包含する位置に配される入力画像の対応画素ｘ^（５）との関係を検出する。
【０８１４】
ここで、注目画素ｙ^（１）と、注目画素ｙ^（２）と、注目画素ｙ^（１）および注目画素ｙ^（２）を空間方向に包含する対応画素ｘ^（５）との関係について説明する。
【０８１５】
図１２３は、図７に対応する、ＣＣＤであるイメージセンサに設けられている画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。図１２３中において、Ａ乃至Ｉは、個々の画素を示す。領域ａ乃至ｒは、画素Ａ乃至Ｉの個々の画素を縦に半分にした受光領域である。画素Ａ乃至Ｉの受光領域の幅が、２Ｌであるとき、領域ａ乃至ｒの幅は、Ｌである。図１２１に構成を示す画像処理装置は、領域ａ乃至ｒに対応する画素の画素値を算出する。
【０８１６】
図１２４は、領域ｇ乃至領域ｌに入射される光に対応する画素の画素値を説明する図である。図１２４のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界の光の強度の分布を表す関数の例である。
【０８１７】
１つの画素の画素値が、Ｆ（ｘ）の一様な積分で表されるとすれば、領域ｉに対応する画素の画素値Ｙ１は、式（５０）で表され、領域ｊに対応する画素の画素値Ｙ２は、式（５１）で表され、画素Ｅの画素値Ｙ３は、式（５２）で表される。
【数３３】

【０８１８】
【数３４】

【０８１９】
【数３５】

【０８２０】
式（５０）乃至式（５２）において、ｘ１，ｘ２、およびｘ３は、画素Ｅの受光領域、領域ｉ、および領域ｊのそれぞれの境界の空間座標である。
【０８２１】
式（５０）乃至式（５２）における、Ｙ１およびＹ２は、それぞれ、図１２１の画像処理装置が求めようとする、ＳＤ画像に対する水平倍密画像の水平倍密画素（注目画素ｙ^（１）または注目画素ｙ^（２））の画素値に対応する。また、式（５２）における、Ｙ３は、水平倍密画像の水平倍密画素の画素値Ｙ１およびＹ２に対応するＳＤ画素（対応画素）の画素値に対応する。
【０８２２】
Ｙ３をｘ^（５）に、Ｙ１をｙ^（１）に、Ｙ２をｙ^（２）にそれぞれ置き換えると、式（５２）から、式（５３）を導くことができる。
ｘ^（５）＝（ｙ^（１）＋ｙ^（２））／２ ・・・（５３）
【０８２３】
積分特性判定部９０８は、図１１２で示される注目画素ｙ^（１）の予測値と、注目画素ｙ^（２）の予測値と、注目画素ｙ^（１）および注目画素ｙ^（２）を空間方向に包含する位置に配される入力画像の対応画素ｘ^（５）とについて、式（５３）が成立するか否かを判定する。
【０８２４】
式（５３）が成立すれば、注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値は、正しいと言える。換言すれば、式（５３）が成立していないとき、注目画素ｙ^（１）の予測の処理および注目画素ｙ^（２）の予測の処理は、破綻していると言える。
【０８２５】
より詳しく説明すれば、積分特性判定部９０８は、入力画像の対応画素ｘ^（５）の画素値から、画素値予測部９０７から供給された注目画素ｙ^（１）の画素値（の予測値）および注目画素ｙ^（２）の画素値（の予測値）を減算する。積分特性判定部９０８は、減算した結果と、予め定めた閾値とを比較する。積分特性判定部９０８は、減算した結果が閾値より小さいとき、式（５３）の関係が成立していると判定し、減算した結果が閾値以上であるとき、式（５３）の関係が成立していないと判定する。積分特性判定部９０８は、判定の結果を示す積分特性判定情報を画像合成部９０９に供給する。
【０８２６】
なお、閾値は、積分特性判定部９０８において、予め記憶するようにしてもよく、外部から積分特性判定部９０８に供給するようにしてもよい。
【０８２７】
クラスタップ抽出部９１０は、クラス分類適応処理により求めようとする水平倍密画像の水平倍密画素のうちの１つを、順次、注目画素とする。クラスタップ抽出部９１０は、クラスタップ抽出部９０２により注目画素とされる画素を注目画素とする。すなわち、クラスタップ抽出部９１０およびクラスタップ抽出部９０２は、同じ画素を注目画素とする。
【０８２８】
そして、クラスタップ抽出部９１０は、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。すなわち、クラスタップ抽出部９１０は、注目画素についてのクラス分類に用いるクラスタップを、入力画像から抽出し、抽出したクラスタップを特徴量検出部９１１に出力する。
【０８２９】
例えば、クラスタップ抽出部９１０は、注目画素の位置から空間的または時間的に近い位置にある複数の画素を、入力された入力画像から抽出することによりクラスタップとし、特徴量検出部９１１に出力する。
【０８３０】
なお、クラスタップ抽出部９１０および予測タップ抽出部９１４は、クラスタップ抽出部１０２および予測タップ抽出部１０６における場合と同様にフレームメモリを設けることができる。
【０８３１】
例えば、図１２２で示されるように、クラスタップ抽出部９１０は、注目画素ｙ^（１）について、注目画素の位置から近い横×縦が３×３個の画素ｘ^（１）乃至ｘ^（９）を入力画像から抽出することによりクラスタップとする。
【０８３２】
クラスタップ抽出部９１０は、抽出されたクラスタップを、特徴量検出部９１１に供給する。
【０８３３】
なお、クラスタップ抽出部９１０により抽出されるクラスタップは、クラスタップ抽出部９０２により抽出されるクラスタップと同一のものであっても異なるものであってもよい。
【０８３４】
特徴量検出部９１１は、クラスタップ抽出部９１０から供給されたクラスタップまたは入力画像から特徴量を検出して、検出した特徴量をクラス分類部９１２に供給する。
【０８３５】
例えば、特徴量検出部９１１は、クラスタップ抽出部９１０から供給されたクラスタップまたは入力画像を基に、入力画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部９１２に供給する。また、例えば、特徴量検出部９１１は、クラスタップ抽出部９１０から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的または時間的な変化（アクティビティ）を検出して、検出した画素値の変化を特徴量としてクラス分類部９１２に供給する。
【０８３６】
さらに、例えば、特徴量検出部９１１は、クラスタップ抽出部９１０から供給されたクラスタップまたは入力画像を基に、クラスタップまたは入力画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部９１２に供給する。
【０８３７】
なお、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを採用することができる。
【０８３８】
特徴量検出部９１１は、特徴量とは別に、クラスタップをクラス分類部９１２に供給する。
【０８３９】
クラス分類部９１２は、特徴量検出部９１１からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その結果得られる注目画素のクラスに対応するクラスコードを、係数メモリ９１３と予測タップ抽出部９１４とに供給する。
【０８４０】
係数メモリ９１３は、学習の教師となる、出力画像の一例である水平倍密画像の水平倍密画素である教師データと、学習の生徒となる、入力画像の一例であるＳＤ画像の画素値である生徒データとの関係を、１以上のクラスごとに学習することにより得られたタップ係数を記憶している。そして、係数メモリ９１３は、クラス分類部９１２から注目画素のクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されているタップ係数を読み出すことにより、注目画素のクラスのタップ係数を取得し、画素値予測部９１５に供給する。
【０８４１】
なお、係数メモリ９１３に記憶されるタップ係数の学習方法についての詳細は、後述する。
【０８４２】
予測タップ抽出部９１４は、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部９１４は、クラス分類部９１２から供給されるクラスコードを基に、画素値予測部９１５において注目画素（の予測値）を求めるのに用いる予測タップを入力画像から抽出し、抽出した予測タップを画素値予測部９１５に供給する。
【０８４３】
例えば、予測タップ抽出部９１４は、クラス分類部９１２から供給されるクラスコードに基づいて、注目画素の位置から空間的または時間的に近い位置にある複数の画素値を、入力画像から抽出することにより予測タップとし、画素値予測部９１５に供給する。例えば、図１２２で示されるように、予測タップ抽出部９１４は、クラス分類部９１２から供給されるクラスコードに基づいて、注目画素ｙ^（１）について、注目画素の位置から近い横×縦が３×３個の画素ｘ^（１）乃至ｘ^（９）を入力画像から抽出することにより予測タップとする。
【０８４４】
なお、クラスタップとする画素値と、予測タップとする画素値とは、同一であっても、異なるものであってもよい。即ち、クラスタップと予測タップは、それぞれ独立に構成（生成）することが可能である。また、予測タップとする画素値は、クラス毎に異なるものであっても、同一であってもよい。
【０８４５】
また、クラスタップや予測タップのタップ構造は、３×３個の画素値に限定されるものではない。
【０８４６】
なお、予測タップ抽出部９１４により抽出される予測タップは、予測タップ抽出部９０６により抽出される予測タップと同一のものであっても異なるものであってもよい。
【０８４７】
画素値予測部９１５は、係数メモリ９１３から供給される、注目画素のクラスについてのタップ係数ｗ_１，ｗ_２，・・・と、予測タップ抽出部９１４からの予測タップ（を構成する画素値）ｘ_１，ｘ_２，・・・とを用いて、式（１）に示した積和演算を行うことにより、注目画素ｙ（の予測値）を予測し、これを、水平倍密画素の画素値とする。画素値予測部９１５は、演算された水平倍密画素の画素値を画像合成部９０９に供給する。
【０８４８】
例えば、クラスタップ抽出部９１０は、図１２２で示される、入力画像の対応画素ｘ^（５）に空間方向に包含される画素ｙ^（１）および画素ｙ^（２）を注目画素とし、画素値予測部９１５は、図１２２で示される注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を予測し、予測した注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を画像合成部９０９に供給する。
【０８４９】
画像合成部９０９は、積分特性判定部９０８から供給された積分特性判定情報を基に、画素値予測部９０７から供給された予測値および画素値予測部９１５から供給された予測値のいずれか一方を選択して、選択した予測値を画素値として出力画像に設定することにより画像を合成する。
【０８５０】
すなわち、画像合成部９０９は、式（５３）の関係が成立していることを示す積分特性判定情報が積分特性判定部９０８から供給されたとき、画素値予測部９０７から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値が正しいので、画素値予測部９０７から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値を出力画像の画素値に設定する。
【０８５１】
一方、画像合成部９０９は、式（５３）の関係が成立していないことを示す積分特性判定情報が積分特性判定部９０８から供給されたとき、画素値予測部９０７から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値が正しくない、すなわち、画素値予測部９０７における予測の処理が破綻しているので、画素値予測部９１５から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値を出力画像の画素値に設定する。
【０８５２】
画像合成部９０９は、このように合成された出力画像を出力する。
【０８５３】
すなわち、画像合成部９０９は、画素値予測部９０７により予測された注目画素ｙ^（１）の予測値と、画素値予測部９０７により予測された注目画素ｙ^（２）の予測値と、少なくとも注目画素ｙ^（１）と注目画素ｙ^（２）とを空間方向に対して包含する位置に配される入力画像内の対応画素ｘ^（５）の画素値との関係の検出結果に応じて画素値予測部９０７から出力される注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値を選択的に出力する。
【０８５４】
図１２５は、式（５３）の関係が成立していない、画素値予測部９０７による予測値を含む出力画像の例を示す図である。
【０８５５】
図１２６は、図１２１で示される画像処理装置の出力画像の例、すなわち、式（５３）の関係が成立していない、画素値予測部９０７による予測値を、画素値予測部９１５による予測値に置き換えた出力画像の例を示す図である。
【０８５６】
このように、本発明に係る画像処理装置においては、予測の破綻を回避することができる。
【０８５７】
このように、図１２１に構成を示す画像処理装置は、入力された入力画像に対応する、より高解像度の出力画像を創造して、創造した出力画像を出力することができる。
【０８５８】
次に、図１２７のフローチャートを参照して、図１２１の画像処理装置が行う、入力画像からより高解像度の出力画像を創造する画像の創造の処理について説明する。
【０８５９】
ステップＳ９０１において、データ定常性検出部９０１は、定常性の検出の処理を実行する。データ定常性検出部９０１は、入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報をクラスタップ抽出部９０２および予測タップ抽出部９０６に供給する。例えば、データ定常性検出部９０１は、入力画像からデータの定常性の方向を検出する。
【０８６０】
ステップＳ９０２において、クラスタップ抽出部９０２は、創造しようとする水平倍密画像の注目している水平倍密画素である注目画素を選択する。クラスタップ抽出部９０２は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。クラスタップは、特徴量検出部９０３に供給され、手続は、ステップＳ９０３に進む。例えば、クラスタップ抽出部９０２は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。
【０８６１】
ステップＳ９０３において、特徴量検出部９０３は、入力画像またはステップＳ９０２の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部９０４に供給すると共に、クラスタップをクラス分類部９０４に供給して、ステップＳ９０４に進む。
【０８６２】
ステップＳ９０４において、クラス分類部９０４は、特徴量検出部９０３から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ９０５および予測タップ抽出部９０６に供給して、ステップＳ９０５に進む。
【０８６３】
ステップＳ９０５において、予測タップ抽出部９０６は、データ定常性検出部９０１により検出されたデータの定常性に基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。予測タップ抽出部９０６による予測タップの抽出の処理は、クラスタップ抽出部９０２における処理と同様なので、その説明は省略する。
【０８６４】
予測タップ抽出部９０６は、データ定常性検出部９０１により検出されたデータの定常性およびクラス分類部９０４から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部９０７に供給され、手続は、ステップＳ９０６に進む。
【０８６５】
ステップＳ９０６において、係数メモリ９０５は、クラス分類部９０４から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部９０７に供給し、ステップＳ９０７に進む。
【０８６６】
ステップＳ９０７において、画素値予測部９０７は、特徴量検出部９０３により検出された特徴量に基づいて、適応処理により、予測タップ抽出部９０６により抽出された複数の周辺画素から注目画素（の予測値）を予測し、ステップＳ９０８に進む。すなわち、ステップＳ９０７では、画素値予測部９０７は、予測タップ抽出部９０６からの予測タップと、係数メモリ９０５からの予測係数（タップ係数）とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。
【０８６７】
ステップＳ９０１乃至ステップＳ９０７において、データの定常性を基に、入力画像の１つの対応画素に空間方向に包含される２つの注目画素の画素値が予測される。
【０８６８】
ステップＳ９０８において、クラスタップ抽出部９１０は、創造しようとする水平倍密画像の注目している水平倍密画素である注目画素を選択する。クラスタップ抽出部９１０は、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素をクラスタップとする。クラスタップは、特徴量検出部９１１に供給され、手続は、ステップＳ９０９に進む。例えば、クラスタップ抽出部９１０は、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像からクラスタップとして抽出して、クラスタップを生成する。
【０８６９】
ステップＳ９０９において、特徴量検出部９１１は、入力画像またはステップＳ９０８の処理において抽出されたクラスタップから特徴量を検出して、検出された特徴量をクラス分類部９１２に供給すると共に、クラスタップをクラス分類部９１２に供給して、ステップＳ９１０に進む。
【０８７０】
ステップＳ９１０において、クラス分類部９１２は、特徴量検出部９１１から供給される特徴量またはクラスタップに基づき、１以上のクラスのうちのいずれかのクラスに、注目画素についてクラス分類を行い、その結果得られる注目画素のクラスを表すクラスコードを、係数メモリ９１３および予測タップ抽出部９１４に供給して、ステップＳ９１１に進む。
【０８７１】
ステップＳ９１１において、予測タップ抽出部９１４は、クラス分類部９１２から供給されたクラスコードに基づいて、注目画素に対応する、入力画像の複数の周辺画素を抽出し、抽出した入力画像の複数の周辺画素を予測タップとする。すなわち、予測タップ抽出部９１４は、クラス分類部９１２から供給されたクラスコードに基づいて、注目画素の位置に空間的または時間的に近い複数の画素値を入力画像から予測タップとして抽出して、予測タップを生成する。予測タップは、画素値予測部９１５に供給され、手続は、ステップＳ９１２に進む。
【０８７２】
ステップＳ９１２において、係数メモリ９１３は、クラス分類部９１２から供給されるクラスコードに対応するアドレスに記憶されている予測係数（タップ係数）を読み出し、これにより、注目画素のクラスの予測係数を取得して、予測係数を画素値予測部９１５に供給し、ステップＳ９１３に進む。
【０８７３】
ステップＳ９１３において、画素値予測部９１５は、特徴量検出部９１１により検出された特徴量に基づいて、適応処理により、予測タップ抽出部９１４により抽出された複数の周辺画素から注目画素（の予測値）を予測し、ステップＳ９１４に進む。すなわち、ステップＳ９１３では、画素値予測部９１５は、予測タップ抽出部９１４からの予測タップと、係数メモリ９１３からの予測係数（タップ係数）とを用いて、式（１）に示した演算を行い、注目画素（の予測値）を予測する。
【０８７４】
ステップＳ９０８乃至ステップＳ９１３において、データの定常性を利用することなく、入力画像の１つの対応画素に空間方向に包含される２つの注目画素の画素値が予測される。
【０８７５】
ステップＳ９１４において、積分特性判定部９０８は、ステップＳ９０７の処理で予測された２つの注目画素の予測値、および２つの注目画素を空間方向に包含する位置に配される入力画像の対応画素について、積分特性が成立しているか否かを判定し、ステップＳ９１５に進む。
【０８７６】
例えば、ステップＳ９１４において、入力画像の対応画素の画素値から、画素値予測部９０７から供給された２つの注目画素の画素値（の予測値）が減算される。減算した結果と、予め定めた閾値とが比較される。そして、減算した結果が閾値より小さいとき、積分特性が成立していると判定され、減算した結果が閾値以上であるとき、積分特性が成立していないと判定される。判定の結果を示す積分特性判定情報は、画像合成部９０９に供給される。
【０８７７】
すなわち、ステップＳ９１４において、画素値予測部９０７により予測された第１の注目画素の第１の予測値と、画素値予測部９０７により予測された、第１の注目画素に空間的に隣接する出力画像の第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを空間方向に対して包含する位置に配される入力画像の対応画素の画素値との関係が検出される。
【０８７８】
ステップＳ９１５において、画像合成部９０９は、ステップＳ９１４における判定の結果を基に、画素値予測部９０７により予測された予測値および画素値予測部９１５により予測された予測値のいずれか一方を選択して、選択した予測値を画素値に設定することにより出力画像を合成し、ステップＳ９１６に進む。
【０８７９】
すなわち、ステップＳ９１５において、画像合成部９０９は、ステップＳ９１４において、積分特性が成立していると判定されたとき、ステップＳ９０７の処理において予測された２つの注目画素の予測値が正しいので、ステップＳ９０７の処理において予測された２つの注目画素の予測値を出力画像の画素値に設定することにより、出力画像を合成する。
【０８８０】
一方、ステップＳ９１５において、画像合成部９０９は、ステップＳ９１４において、積分特性が成立していないと判定されたとき、ステップＳ９０７の処理において予測された２つの注目画素の予測値が正しくない、すなわち、ステップＳ９０７における予測の処理が破綻しているので、ステップＳ９１３の処理で予測された２つの注目画素の予測値を出力画像の画素値に設定する。
【０８８１】
ステップＳ９１６において、クラスタップ抽出部９０２は、水平倍密画像の注目しているフレームの画素のうち、まだ、注目画素としていない画素が存在するかどうかを判定し、存在すると判定した場合、ステップＳ９０２に戻り、以下、同様の処理を繰り返す。
【０８８２】
また、ステップＳ９１６において、注目フレームの画素のうち、注目画素としていない画素が存在しないと判定された場合、即ち、注目フレームを構成するすべての水平倍密画素が、予測された場合、画像合成部９０９は、合成された出力画像を出力して、処理は終了する。
【０８８３】
すなわち、ステップＳ９１６において、ステップＳ９０７の処理において予測された２つの注目画素の予測値と、少なくとも２つの注目画素を空間方向に対して包含する位置に配される入力画像内の対応画素の画素値との関係の検出結果に応じて、ステップＳ９０７の処理において予測される２つの注目画素の予測値が選択的に出力される。
【０８８４】
このように、図１２１に構成を示す画像処理装置は、入力画像から、破綻無く、より高解像度の出力画像を生成して、生成した出力画像を出力することができる。
【０８８５】
なお、図１２１で示される画像処理装置は、入力画像を取得し、水平倍密画像を創造して出力すると説明したが、時間方向に２倍の解像度の画像（以下、時間倍密画像と称する）を創造して出力するようにすることもできる。
【０８８６】
図１２８は、時間倍密画像を創造する場合における、注目画素を説明する図である。図１２８において、図の横方向は、入力画像（ＳＤ画像）および時間倍密画像の時間方向に対応し、図の縦方向は、入力画像および時間倍密画像の一方の空間方向、例えば、画面の縦方向である空間方向Ｙに対応する。なお、図１２８において、過去の時刻が、図中の左側の位置に対応し、未来の時刻が、図中の右側の位置に対応する。
【０８８７】
ここで、図１２８において、○印がＳＤ画像を構成するＳＤ画素を表し、×印が時間倍密画像を構成する時間倍密画素を表している。また、図１２８では、時間倍密画像は、入力画像に対して、時間方向に２倍の数のフレームを配置した画像になっている。例えば、１秒間に３０フレームからなる入力画像に対して、時間倍密画像は、１秒間に６０フレームからなる。なお、時間倍密画像の１つのフレームに配置されている画素の数は、入力画像の１つのフレームに配置されている画素の数と同じである。
【０８８８】
図１２８において、ｆ_−２，ｆ_−１，ｆ_０，ｆ_１，ｆ_２は、入力画像のフレームを示し、Ｆ_−４，Ｆ_−３，Ｆ_−２，Ｆ_−１，Ｆ_０，Ｆ_１，Ｆ_２，Ｆ_３，Ｆ_４，Ｆ_５は、時間倍密画像のフレームを示す。
【０８８９】
時間倍密画像を創造する場合において、データ定常性検出部９０１は、時空間方向のデータの定常性を検出する。クラスタップ抽出部９０２は、図１２８で示される、入力画像の対応画素ｘ^（５）に時間方向に包含される、時間倍密画像の画素ｙ^（１）および画素ｙ^（２）を注目画素とする。画素値予測部９０７は、データの定常性を基に、図１２８で示される注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を予測し、予測した注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を積分特性判定部９０８および画像合成部９０９に供給する。
【０８９０】
図１２９を参照して、注目画素ｙ^（１）と、注目画素ｙ^（２）と、注目画素ｙ^（１）および注目画素ｙ^（２）を時間方向に包含する対応画素ｘ^（５）との関係について説明する。
【０８９１】
図１２９のＦ（ｔ）は、時刻ｔを変数とする、実世界の光の強度の分布を表す関数である。図１２９において、入力画像であるＳＤ画像を撮像するセンサのシャッタ時間は、時刻ｔ１から時刻ｔ３までの期間であり、２ｔｓで示す。
【０８９２】
ＳＤ画像の１つの画素値が、Ｆ（ｘ）の一様な積分で表されるとすれば、時刻ｔ１から時刻ｔ２までの期間に対応する画素の画素値Ｙ１は、式（５４）で表され、時刻ｔ２から時刻ｔ３までの期間に対応する画素の画素値Ｙ２は、式（５５）で表され、ＳＤ画像としてセンサから出力される画素値Ｙ３は、式（５６）で表される。
【数３６】

【０８９３】
【数３７】

【０８９４】
【数３８】

【０８９５】
式（５４）乃至式（５６）における、Ｙ１およびＹ２は、それぞれ、図１２１の画像処理装置が求めようとする、ＳＤ画像に対する時間倍密画像の時間倍密画素（注目画素ｙ^（１）または注目画素ｙ^（２））の画素値に対応する。また、式（５６）における、Ｙ３は、時間倍密画像の時間倍密画素の画素値Ｙ１およびＹ２に対応するＳＤ画素（対応画素）の画素値に対応する。
【０８９６】
Ｙ３をｘ^（５）に、Ｙ１をｙ^（１）に、Ｙ２をｙ^（２）にそれぞれ置き換えると、式（５６）から、式（５７）を導くことができる。
ｘ^（５）＝（ｙ^（１）＋ｙ^（２））／２ ・・・（５７）
【０８９７】
積分特性判定部９０８は、図１２８で示される注目画素ｙ^（１）の予測値と、注目画素ｙ^（２）の予測値と、注目画素ｙ^（１）および注目画素ｙ^（２）を空間方向に包含する位置に配される入力画像の対応画素ｘ^（５）とについて、式（５７）が成立するか否かを判定する。
【０８９８】
式（５７）が成立すれば、注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値は、正しいと言える。換言すれば、式（５７）が成立していないとき、注目画素ｙ^（１）の予測の処理および注目画素ｙ^（２）の予測の処理は、破綻していると言える。
【０８９９】
より詳しく説明すれば、積分特性判定部９０８は、入力画像の対応画素ｘ^（５）の画素値から、画素値予測部９０７から供給された注目画素ｙ^（１）の画素値（の予測値）および注目画素ｙ^（２）の画素値（の予測値）を減算する。積分特性判定部９０８は、減算した結果と、予め定めた閾値とを比較する。積分特性判定部９０８は、減算した結果が閾値より小さいとき、式（５７）の関係が成立していると判定し、減算した結果が閾値以上であるとき、式（５７）の関係が成立していないと判定する。
【０９００】
クラスタップ抽出部９１０は、図１２８で示される、入力画像の対応画素ｘ^（５）に時間方向に包含される画素ｙ^（１）および画素ｙ^（２）を注目画素とし、画素値予測部９１５は、図１２８で示される注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を予測し、予測した注目画素ｙ^（１）の画素値および注目画素ｙ^（２）の画素値を画像合成部９０９に供給する。
【０９０１】
画像合成部９０９は、積分特性判定部９０８から供給された積分特性判定情報を基に、画素値予測部９０７から供給された予測値および画素値予測部９１５から供給された予測値のいずれか一方を選択して、選択した予測値を画素値として出力画像に設定することにより画像を合成する。
【０９０２】
すなわち、画像合成部９０９は、式（５７）の関係が成立していることを示す積分特性判定情報が積分特性判定部９０８から供給されたとき、画素値予測部９０７から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値が正しいので、画素値予測部９０７から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値を出力画像の画素値に設定する。
【０９０３】
一方、画像合成部９０９は、式（５７）の関係が成立していないことを示す積分特性判定情報が積分特性判定部９０８から供給されたとき、画素値予測部９０７から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値が正しくない、すなわち、画素値予測部９０７における予測の処理が破綻しているので、画素値予測部９１５から供給された注目画素ｙ^（１）の予測値および注目画素ｙ^（２）の予測値を出力画像の画素値に設定する。
【０９０４】
すなわち、積分特性判定部９０８は、画素値予測部９０７により予測された第１の注目画素の第１の予測値と、画素値予測部９０７により予測された、第１の注目画素に時間的に隣接する出力画像の第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向に対して包含する位置に配される入力画像の対応画素の画素値との関係を検出する。
【０９０５】
画像合成部９０９は、画素値予測部９０７により予測された第１の注目画素の予測値と、画素値予測部９０７により予測された第２の注目画素の予測値と、対応画素の画素値との関係の検出結果に応じて、画素値予測部９０７から出力される第１の注目画素の予測値および第２の注目画素の予測値を選択的に出力する。
【０９０６】
画像合成部９０９は、このように合成された時間倍密画像である出力画像を出力する。
【０９０７】
以上のように、図１２１に示す画像処理装置は、入力画像を取得し、時間倍密画像を創造して出力することができる。
【０９０８】
このように、入力画像にクラス分類適応処理を適用するようにした場合には、より高画質の画像を得ることができる。
【０９０９】
高質画像データ内の第１の注目画素に対応する、入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、第１の注目画素に時間的または空間的に隣接する高質画像データ内の第２の注目画素に対応する、入力画像データ内の複数の第２の周辺画素の、現実世界の光信号の定常性に対応する画像データの第２の定常性を検出し、検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出し、検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第４の周辺画素を抽出し、検出された画像データの第１の定常性に基づいて、第１の注目画素に対応する、入力画像データ内の複数の第５の周辺画素を抽出し、検出された画像データの第２の定常性に基づいて、第２の注目画素に対応する、入力画像データ内の複数の第６の周辺画素を抽出し、抽出された複数の第３の周辺画素の第１の特徴量を検出し、抽出された複数の第４の周辺画素の第２の特徴量を検出し、検出された第１の特徴量に基づいて、抽出された複数の第５の周辺画素から第１の注目画素を予測し、検出された第２の特徴量に基づいて、抽出された複数の第６の周辺画素から第２の注目画素を予測し、第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を出力し、予測された第１の注目画素の第１の予測値と、予測された第２の注目画素の第２の予測値と、少なくとも第１の注目画素と第２の注目画素とを時間方向または空間方向に対して包含する位置に配される入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて第１の注目画素の第１の予測値および第２の注目画素の第２の予測値を選択的に出力するようにした場合には、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０９１０】
図１３０は、図１２１の係数メモリ９１３に記憶させるクラスごとのタップ係数を求める学習を行う学習装置の一実施の形態の構成を示すブロック図である。
【０９１１】
図１３０の学習装置には、タップ係数の学習用の画像（教師画像）としての、例えば水平倍密画像が入力される。学習装置に入力された入力画像は、生徒画像生成部９５１および教師画素抽出部９５８に供給される。
【０９１２】
生徒画像生成部９５１は、入力された入力画像（教師画像）から、生徒画像であるＳＤ画像を生成し、画像メモリ９５２に供給する。生徒画像生成部９５１は、例えば、教師画像としての水平倍密画像の水平方向に隣接する２つの水平倍密画素の画素値の平均値を求めてＳＤ画像の画素値とすることにより、その教師画像としての水平倍密画像に対応した生徒画像としてのＳＤ画像を生成する。ここで、ＳＤ画像は、図１２１の画像処理装置で処理対象となるＳＤ画像に対応した画質のものとする必要がある。画像メモリ９５２は、生徒画像生成部９５１からの生徒画像であるＳＤ画像を一時記憶する。
【０９１３】
図１３０に示す学習装置においては、ＳＤ画像を生徒データとして、タップ係数が生成される。
【０９１４】
クラスタップ抽出部９５３は、図１２１のクラスタップ抽出部９１０における場合と同様に、画像メモリ９５２に記憶された生徒画像であるＳＤ画像に対応する教師画像としての水平倍密画像に含まれる画素を、順次、注目画素とする。
【０９１５】
さらに、クラスタップ抽出部９５３は、注目画素についてのクラスタップを、画像メモリ９５２に記憶されたＳＤ画像から抽出し、特徴量検出部９５４に供給する。ここで、クラスタップ抽出部９５３は、図１２１のクラスタップ抽出部９１０が生成するのと同一のタップ構造のクラスタップを生成する。
【０９１６】
特徴量検出部９５４は、図１２１の特徴量検出部９１１と同様の処理で、画像メモリ９５２に記憶された生徒画像またはクラスタップ抽出部９５３から供給されたクラスタップから特徴量を検出して、検出した特徴量をクラス分類部９５５に供給する。
【０９１７】
例えば、特徴量検出部９５４は、画像メモリ９５２に記憶されたＳＤ画像またはクラスタップ抽出部９５３から供給されたクラスタップを基に、ＳＤ画像の画素の動きベクトルを検出して、検出した動きベクトルを特徴量としてクラス分類部９５５に供給する。また、例えば、特徴量検出部９５４は、画像メモリ９５２から供給されたＳＤ画像またはクラスタップ抽出部９５３から供給されたクラスタップを基に、ＳＤ画像またはクラスタップの複数の画素の画素値の空間的または時間的な変化を検出して、検出した画素値の変化を特徴量としてクラス分類部９５５に供給する。
【０９１８】
さらに、例えば、特徴量検出部９５４は画像メモリ９５２から供給されたＳＤ画像またはクラスタップ抽出部９５３から供給されたクラスタップを基に、クラスタップまたはＳＤ画像の複数の画素の画素値の空間的な変化の傾きを検出して、検出した画素値の変化の傾きを特徴量としてクラス分類部９５５に供給する。
【０９１９】
なお、特徴量検出部９５４は、特徴量検出部９１１と同様に、特徴量として、画素値の、ラプラシアン、ソーベル、または分散などを求めることができる。
【０９２０】
すなわち、特徴量検出部９５４は、図１２１の特徴量検出部９１１と同一の特徴量を検出する。
【０９２１】
特徴量検出部９５４は、特徴量とは別に、クラスタップをクラス分類部９５５に供給する。
【０９２２】
クラス分類部９５５は、図１２１のクラス分類部９１２と同様に構成され、特徴量検出部９５４からの特徴量またはクラスタップに基づいて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、予測タップ抽出部９５６および学習メモリ９５９に供給する。
【０９２３】
予測タップ抽出部９５６は、図１２１の予測タップ抽出部９１４と同様に構成され、クラス分類部９５５から供給されたクラスコードに基づいて、注目画素についての予測タップを、画像メモリ９５２に記憶されたＳＤ画像から抽出し、足し込み演算部９５７に供給する。ここで、予測タップ抽出部９５６は、図１２１の予測タップ抽出部９１４が生成するのと同一のタップ構造の予測タップを生成する。
【０９２４】
教師画素抽出部９５８は、教師画像である入力画像（水平倍密画像）から、注目画素を教師データ（教師画素）として抽出して、抽出した教師データを足し込み演算部９５７に供給する。即ち、教師画素抽出部９５８は、入力された学習用の画像である水平倍密画像を、例えば、そのまま教師データとする。ここで、図１２１の画像処理装置で得られる水平倍密画像は、図１３０の学習装置で教師データとして用いられる水平倍密画像の画質に対応したものとなる。
【０９２５】
足し込み演算部９５７および正規方程式演算部９６０は、注目画素となっている教師データと、予測タップ抽出部９５６から供給される予測タップとを用い、教師データと生徒データとの関係を、クラス分類部９５５から供給されるクラスコードで示されるクラスごとに学習することにより、クラスごとのタップ係数を求める。
【０９２６】
即ち、足し込み演算部９５７は、予測タップ抽出部９５６から供給される予測タップ（ＳＤ画素）と、注目画素となっている教師データである水平倍密画素とを対象とした、式（８）の足し込みを行う。
【０９２７】
具体的には、足し込み演算部９５７は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_ｎ，ｋを用い、式（８）の左辺の行列におけるＳＤ画素どうしの乗算（ｘ_ｎ，ｋｘ_ｎ’，ｋ）と、サメーション（Σ）に相当する演算を行う。
【０９２８】
さらに、足し込み演算部９５７は、予測タップを構成する生徒データとしてのＳＤ画素ｘ_ｎ，ｋと、注目画素となっている教師データである水平倍密画素ｙ_ｋを用い、式（８）の右辺のベクトルにおけるＳＤ画素ｘ_ｎ，ｋおよび水平倍密画素ｙ_ｋの乗算（ｘ_ｎ，ｋｙ_ｋ）と、サメーション（Σ）に相当する演算を行う。
【０９２９】
足し込み演算部９５７は、教師データとしての水平倍密画像の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に対応した正規方程式をたてると、その正規方程式を、学習メモリ９５９に供給する。
【０９３０】
学習メモリ９５９は、足し込み演算部９５７から供給された、生徒データとしてＳＤ画素、教師データとして水平倍密画素が設定された、式（８）に対応した正規方程式を記憶する。
【０９３１】
正規方程式演算部９６０は、学習メモリ９５９から、各クラスについての式（８）の正規方程式を取得し、例えば、掃き出し法により、その正規方程式を解くことにより（クラスごとに学習し）、クラスごとのタップ係数を求めて出力する。
【０９３２】
すなわち、足し込み演算部９５７および正規方程式演算部９６０は、検出された特徴量毎に、抽出された複数の周辺画素から注目画素を予測する予測手段を学習する。
【０９３３】
この場合、予測手段は、複数の周辺画素から注目画素を予測する具体的手段であり、例えば、クラス毎のタップ係数により動作が規定される画素値予測部９１５、または画素値予測部９１５における処理を言う。複数の周辺画素から注目画素を予測する予測手段を学習するとは、例えば、複数の周辺画素から注目画素を予測する予測手段の実現（構築）を可能にすることを意味する。
【０９３４】
従って、複数の周辺画素から注目画素を予測するための予測手段を学習するとは、例えば、クラス毎のタップ係数を得ることを言う。クラス毎のタップ係数を得ることにより、画素値予測部９１５、または画素値予測部９１５における処理が具体的に特定され、画素値予測部９１５を実現し、または画素値予測部９１５における処理を実行することができるようになるからである。
【０９３５】
係数メモリ９６１は、正規方程式演算部９６０が出力するクラスごとのタップ係数を記憶する。
【０９３６】
次に、図１３１のフローチャートを参照して、図１３０の学習装置において行われる、クラスごとのタップ係数を求める学習処理について説明する。
【０９３７】
まず最初に、ステップＳ９５１において、生徒画像生成部９５１は、例えば、水平倍密画像である、学習用の入力画像（教師画像）を取得し、画素を間引くことにより、例えば、ＳＤ画像である生徒画像を生成する。例えば、生徒画像生成部９５１は、水平倍密画像の水平方向に隣接する２つの水平倍密画素の画素値の平均値を求めて、平均値をＳＤ画像の画素値とすることにより、ＳＤ画像を生成する。ＳＤ画像は、画像メモリ９５２に供給される。
【０９３８】
そして、ステップＳ９５２に進み、クラスタップ抽出部９５３は、教師データとしての水平倍密画像の水平倍密画素の中から、まだ注目画素としていないもののうちの１つを注目画素として選択する。クラスタップ抽出部９５３は、図１２１のクラスタップ抽出部９１０における場合と同様に、注目画素に対応するクラスタップを、画像メモリ９５２に記憶されている生徒画像としてのＳＤ画像から抽出する。クラスタップ抽出部９５３は、クラスタップを特徴量検出部９５４に供給して、ステップＳ９５３に進む。
【０９３９】
ステップＳ９５３において、特徴量検出部９５４は、図１２１の特徴量検出部９１１における場合と同様に、ステップＳ９５１の処理で生成された生徒画像またはステップＳ９５３の処理で生成されたクラスタップから、例えば、動きベクトル、またはＳＤ画像の画素の画素値の変化などの特徴量を検出して、検出した特徴量をクラス分類部９５５に供給し、ステップＳ９５４に進む。
【０９４０】
ステップＳ９５４では、クラス分類部９５５が、図１２１のクラス分類部９１２における場合と同様にして、特徴量検出部９５４からの特徴量またはクラスタップを用いて、１以上のクラスのうちのいずれかのクラスに注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、予測タップ抽出部９５６および学習メモリ９５９に供給して、ステップＳ９５５に進む。
【０９４１】
ステップＳ９５５において、予測タップ抽出部９５６は、クラス分類部９５５から供給されるクラスコードに基づいて、図１２１の予測タップ抽出部９１４における場合と同様に、注目画素に対応する予測タップを、画像メモリ９５２に記憶されている生徒画像としてのＳＤ画像から抽出し、足し込み演算部９５７に供給して、ステップＳ９５６に進む。
【０９４２】
ステップＳ９５６において、教師画素抽出部９５８は、注目画素、すなわち水平倍密画素である教師画素（教師データ）を入力画像から抽出し、抽出した教師画素を足し込み演算部９５７に供給し、ステップＳ９５７に進む。
【０９４３】
ステップＳ９５７では、足し込み演算部９５７が、予測タップ抽出部９５６から供給される予測タップ（生徒データ）、および教師画素抽出部９５８から供給される教師画素（教師データ）を対象とした、上述した式（８）における足し込みを行い、生徒データおよび教師データが足し込まれた正規方程式を学習メモリ９５９に記憶させ、ステップＳ９５８に進む。
【０９４４】
そして、ステップＳ９５８では、クラスタップ抽出部９５３は、教師データとしての水平倍密画像の水平倍密画素の中に、まだ注目画素としていないものがあるかどうか、すなわち対象となる全画素の足し込みを終了したか否かを判定する。ステップＳ９５８において、教師データとしての水平倍密画像の水平倍密画素の中に、まだ注目画素としていないものがあると判定された場合、ステップＳ９５２に戻り、以下、同様の処理が繰り返される。
【０９４５】
また、ステップＳ９５８において、教師データとしての水平倍密画像の水平倍密画素の中に、注目画素としていないものがない、すなわち対象となる全画素の足し込みを終了したと判定された場合、ステップＳ９５９に進み、正規方程式演算部９６０は、いままでのステップＳ９５７における足し込みによって、クラスごとに得られた式（８）の正規方程式から、まだタップ係数が求められていないクラスの正規方程式を、学習メモリ９５９から読み出し、読み出した式（８）の正規方程式を掃き出し法などで解くことにより（クラス毎に学習し）、所定のクラスの予測係数（タップ係数）を求め、係数メモリ９６１に供給する。係数メモリ９６１は、正規方程式演算部９６０から供給された所定のクラスの予測係数（タップ係数）を、クラス毎に記憶し、ステップＳ９６０に進む。
【０９４６】
ステップＳ９６０において、正規方程式演算部９６０は、全クラスの予測係数の演算を終了したか否かを判定し、全クラスの予測係数の演算を終了していないと判定された場合、ステップＳ９５９に戻り、次のクラスの予測係数を求める処理を繰り返す。
【０９４７】
ステップＳ９６０において、全クラスの予測係数の演算を終了したと判定された場合、処理は終了する。
【０９４８】
以上のようにして、係数メモリ９６１に記憶されたクラスごとの予測係数が、図１２１の画像処理装置における係数メモリ９１３に記憶されている。
【０９４９】
このように、学習を行うようにした場合には、予測において、より高画質の画像を得ることができるようになる。
【０９５０】
高質画像データ内の注目画素に対応する入力画像データ内の複数の第１の周辺画素の、現実世界の光信号の定常性に対応する画像データの定常性を検出し、検出された画像データの定常性に基づいて、高質画像データ内の注目画素に対応する、入力画像データ内の複数の第２の周辺画素を抽出し、検出された画像データの定常性に基づいて、注目画素に対応する、入力画像データ内の複数の第３の周辺画素を抽出し、抽出された複数の第２の周辺画素の特徴量を検出し、検出された特徴量毎に、抽出された複数の第３の周辺画素から注目画素を予測するための予測手段を学習するようにした場合には、予測において、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０９５１】
なお、画像処理装置は、ＳＤ画像を入力して、ＳＤ画像に対応する空間方向または時間方向により高解像度の画像を生成して出力すると説明したが、入力される画像が、ＳＤ画像に限られるものではないことは勿論である。例えば、画像処理装置は、時間倍密画像または垂直倍密画像を入力して、ＨＤ画像を出力するようにしてもよい。
【０９５２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０９５３】
図１３２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２または記憶部１００８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３には、ＣＰＵ１００１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３は、バス１００４により相互に接続されている。
【０９５４】
ＣＰＵ１００１にはまた、バス１００４を介して入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウス、マイクロホンなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続されている。ＣＰＵ１００１は、入力部１００６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１００１は、処理の結果得られた画像や音声等を出力部１００７に出力する。
【０９５５】
入出力インタフェース１００５に接続されている記憶部１００８は、例えばハードディスクなどで構成され、ＣＰＵ１００１が実行するプログラムや各種のデータを記憶する。通信部１００９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部１００９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０９５６】
また、通信部１００９を介してプログラムを取得し、記憶部１００８に記憶してもよい。
【０９５７】
入出力インタフェース１００５に接続されているドライブ１０１０は、磁気ディスク１０５１、光ディスク１０５２、光磁気ディスク１０５３、或いは半導体メモリ１０５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１００８に転送され、記憶される。
【０９５８】
一連の処理をさせるプログラムが格納されている記録媒体は、図１３２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１０５１（フレキシブルディスクを含む）、光ディスク１０５２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク１０５３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（商標）を含む）、若しくは半導体メモリ１０５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１００２や、記憶部１００８に含まれるハードディスクなどで構成される。
【０９５９】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０９６０】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０９６１】
【発明の効果】
以上のように、第１の本発明によれば、より高解像度の画像を出力することができる。
【０９６２】
また、第１の本発明によれば、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０９６３】
第２の本発明によれば、画像処理装置において、より高解像度の画像を出力することができる。
【０９６４】
また、第２の本発明によれば、画像処理装置において、データの定常性を利用して、より正確で、より精度の高い処理結果を得ることができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の構成を説明するブロック図である
【図２】従来の画像の創造の処理を説明するフローチャートである。
【図３】予測係数を生成する、従来の画像処理装置の構成を説明するブロック図である。
【図４】従来の学習の処理を説明するフローチャートである。
【図５】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図６】より高解像度の出力画像を創造する画像創造処理を説明するフローチャートである。
【図７】イメージセンサ上の画素の配置の例を説明する図である。
【図８】ＣＣＤである検出素子の動作を説明する図である。
【図９】画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図１０】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図１１】実世界の線状の物の画像の例を示す図である。
【図１２】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１３】画像データの模式図である。
【図１４】背景とは異なる色であって、単色の、直線状の縁を有する物の実世界の画像の例を示す図である。
【図１５】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１６】画像データの模式図である。
【図１７】データ定常性検出部１０１の構成を示すブロック図である。
【図１８】データの定常性を有する入力画像におけるアクティビティを説明する図である。
【図１９】アクティビティを検出するためのブロックを説明する図である。
【図２０】アクティビティに対するデータの定常性の角度を説明する図である。
【図２１】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図２２】画素の組を説明する図である。
【図２３】画素の組の位置とデータの定常性の角度との関係を説明する図である。
【図２４】データの定常性の検出の処理を説明するフローチャートである。
【図２５】時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。
【図２６】データ定常性検出部１０１のより詳細な他の構成を示すブロック図である。
【図２７】設定された直線の角度の範囲に応じた数の画素からなる画素の組を説明する図である。
【図２８】設定された直線の角度の範囲を説明する図である。
【図２９】設定された直線の角度の範囲と、画素の組の数、および画素の組毎の画素の数を説明する図である。
【図３０】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３１】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３２】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３３】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３４】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３５】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３６】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３７】画素の組の数および画素の組毎の画素の数を説明する図である。
【図３８】データの定常性の検出の処理を説明するフローチャートである。
【図３９】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図４０】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図４１】ブロックの例を説明する図である。
【図４２】注目ブロックと参照ブロックとの、画素値の差分の絶対値の算出の処理を説明する図である。
【図４３】注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Ｘの距離を説明する図である。
【図４４】シフト量γと角度θとの関係を示す図である。
【図４５】シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離を示す図である。
【図４６】注目画素を通り、空間方向Ｘの軸に対して角度θの直線との距離が最小の参照ブロックを示す図である。
【図４７】検出するデータの定常性の角度の範囲を１／２にする処理を説明する図である。
【図４８】データの定常性の検出の処理を説明するフローチャートである。
【図４９】間方向および空間方向のデータの定常性の角度を検出するとき、抽出されるブロックを示す図である。
【図５０】入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【図５１】入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【図５２】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図５３】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図５４】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図５５】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図５６】入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図５７】回帰直線Ａと、例えば、基準軸である空間方向Ｘを示す軸との角度を説明する図である。
【図５８】領域の例を示す図である。
【図５９】図５２で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明するフローチャートである。
【図６０】本発明を適用した細線、または、２値エッジの角度をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図６１】データ定常性情報の検出方法を説明する図である。
【図６２】データ定常性情報の検出方法を説明する図である。
【図６３】図６０のデータ定常性検出部のより詳細な構成を示す図である。
【図６４】水平・垂直判定処理を説明する図である。
【図６５】水平・垂直判定処理を説明する図である。
【図６６】現実世界の細線とセンサにより撮像される細線の関係を説明する図である。
【図６７】現実世界の画像の細線と背景の関係を説明する図である。
【図６８】センサにより撮像された画像の細線と背景の関係を説明する図である。
【図６９】センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図７０】現実世界の画像の細線と背景の関係を説明する図である。
【図７１】センサにより撮像された画像の細線と背景の関係を説明する図である。
【図７２】センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図７３】細線の角度を求めるためのモデルを示す図である。
【図７４】細線の角度を求めるためのモデルを示す図である。
【図７５】注目画素に対応するダイナミックレンジブロックの画素値の最大値と最小値を説明する図である。
【図７６】細線の角度の求め方を説明する図である。
【図７７】細線の角度の求め方を説明する図である。
【図７８】抽出ブロックとダイナミックレンジブロックを説明する図である。
【図７９】最小自乗法の解法を説明する図である。
【図８０】最小自乗法の解法を説明する図である。
【図８１】２値エッジを説明する図である。
【図８２】センサにより撮像された画像の２値エッジを説明する図である。
【図８３】センサにより撮像された画像の２値エッジの例を説明する図である。
【図８４】センサにより撮像された画像の２値エッジを説明する図である。
【図８５】２値エッジの角度を求めるためのモデルを示す図である。
【図８６】２値エッジの角度を求める方法を説明する図である。
【図８７】２値エッジの角度を求める方法を説明する図である。
【図８８】細線、または、２値エッジの角度をデータ定常性と検出する処理を説明するフローチャートである。
【図８９】データ抽出処理を説明するフローチャートである。
【図９０】正規方程式への足し込み処理を説明するフローチャートである。
【図９１】本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図９２】本発明を適用して求めた２値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図９３】本発明を適用した混合比をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図９４】混合比の求め方を説明する図である。
【図９５】混合比をデータ定常性と検出する処理を説明するフローチャートである。
【図９６】正規方程式への足し込み処理を説明するフローチャートである。
【図９７】細線の混合比の分布例を示す図である。
【図９８】２値エッジの混合比の分布例を示す図である。
【図９９】混合比の直線近似を説明する図である。
【図１００】物体の動きをデータ定常性情報として求める方法を説明する図である。
【図１０１】物体の動きをデータ定常性情報として求める方法を説明する図である。
【図１０２】物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。
【図１０３】物体の動きによる混合比をデータ定常性情報として求める際の混合比の直線近似を説明する図である。
【図１０４】従来のクラスタップの抽出の処理を説明する図である。
【図１０５】本発明に係る画像処理装置におけるクラスタップの抽出の処理を説明する図である。
【図１０６】データの定常性に基づく、クラスタップとして抽出される画素の位置の決定を説明する図である。
【図１０７】データの定常性に基づく、クラスタップとして抽出される画素の位置の決定を説明する図である。
【図１０８】本発明に係る画像処理装置におけるクラスタップの抽出の処理を説明する図である。
【図１０９】入力画像の例を示す図である。
【図１１０】入力画像の元になった画像を示す図である。
【図１１１】従来のクラス分類適応処理により生成された画像を示す図である。
【図１１２】対応画素と中心画素とが常に同じになるようにした場合に、生成された画像を示す図である。
【図１１３】本発明に係る画像処理装置により生成された画像を示す図である。
【図１１４】入力画像の例を示す図である。
【図１１５】入力画像の元になった画像を示す図である。
【図１１６】従来のクラス分類適応処理により生成された画像を示す図である。
【図１１７】対応画素と中心画素とが常に同じになるようにした場合に、生成された画像を示す図である。
【図１１８】本発明に係る画像処理装置により生成された画像を示す図である。
【図１１９】本発明に係る学習装置の一実施の形態の構成を示すブロック図である。
【図１２０】学習処理を説明するフローチャートである。
【図１２１】本発明に係る画像処理装置の一実施の形態の他の構成を示すブロック図である。
【図１２２】注目画素を説明する図である。
【図１２３】イメージセンサに設けられている画素の配置、および水平倍密画像の画素に対応する領域を説明する図である。
【図１２４】領域ａ乃至ｒに入射される光に対応する画素の画素値を説明する図である。
【図１２５】式（５３）の関係が成立していない、画素値予測部９０７による予測値を含む出力画像の例を示す図である。
【図１２６】式（５３）の関係が成立していない、画素値予測部９０７による予測値を、画素値予測部９１５による予測値に置き換えた出力画像の例を示す図である。
【図１２７】画像の創造の処理を説明するフローチャートである。
【図１２８】時間倍密画像を創造する場合における、注目画素を説明する図である。
【図１２９】注目画素ｙ^（１）と、注目画素ｙ^（２）と、注目画素ｙ^（１）および注目画素ｙ^（２）を時間方向に包含する対応画素ｘ^（５）との関係について説明する図である。
【図１３０】学習装置の一実施の形態の構成を示すブロック図である。
【図１３１】学習処理を説明するフローチャートである。
【図１３２】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１０１ データ定常性検出部， １０２ クラスタップ抽出部， １０３ 特徴量検出部， １０４ クラス分類部， １０５ 係数メモリ， １０６ 予測タップ抽出部， １０７ 画素値予測部， ４０１ アクティビティ検出部， ４０２ データ選択部， ４０３ 誤差推定部， ４０４ 定常方向導出部， ４１１−１乃至４１１−Ｌ 画素選択部， ４１２−１乃至４１２−Ｌ 推定誤差算出部， ４１３ 最小誤差角度選択部， ４２１−１乃至４２１−Ｌ 画素選択部， ４２２−１乃至４２２−Ｌ 推定誤差算出部， ４４１ データ選択部， ４４２ 誤差推定部， ４４３ 定常方向導出部， ４６１−１乃至４６１−Ｌ 画素選択部， ４６２−１乃至４６２−Ｌ 推定誤差算出部， ４６３最小誤差角度選択部， ４８１−１乃至４８１−３ データ定常性検出部， ４８２ 決定部， ４９１ コンポーネント処理部， ４９２ データ定常性検出部， ５０２ 画素取得部， ５０３ 度数検出部， ５０４ 回帰直線演算部， ５０５ 角度算出部， ６０２ 画素取得部， ６０３ 度数検出部， ６０４ 回帰直線演算部， ６０５ 領域算出部， ７０１ データ選択部， ７０２ データ足し込み部， ７０３ 定常方向導出部， ７１１ 水平・垂直判定部， ７１２ データ取得部， ７２１ 差分足し込み部， ７２２ ＭａｘＭｉｎ取得部， ７２３ 差分足し込み部， ７３１ 定常方向演算部， ７５１ データ足し込み部， ７５２ ＭａｘＭｉｎ取得部， ７５３ 足し込み部， ７５４差分演算部， ７５５ 足し込み部， ７６１ 混合比導出部， ７６２ 混合比算出部， ８０１ 生徒画像生成部， ８０２ 画像メモリ， ８０３ データ定常性検出部， ８０４ クラスタップ抽出部， ８０５ 特徴量検出部，８０６ クラス分類部， ８０７ 予測タップ抽出部， ８０８ 足し込み演算部， ８０９ 教師画素抽出部， ８１０ 学習メモリ， ８１１ 正規方程式演算部， ８１２ 係数メモリ， ９０１ データ定常性検出部， ９０２ クラスタップ抽出部， ９０３ 特徴量検出部， ９０４ クラス分類部， ９０５ 係数メモリ， ９０６ 予測タップ抽出部， ９０７ 画素値予測部， ９０８ 積分特性判定部， ９０９ 画像合成部， ９１０ クラスタップ抽出部， ９１１ 特徴量検出部， ９１２ クラス分類部， ９１３ 係数メモリ， ９１４ 予測タップ抽出部， ９１５ 画素値予測部， ９５１ 生徒画像生成部， ９５２ 画像メモリ， ９５３ クラスタップ抽出部， ９５４ 特徴量検出部， ９５５ クラス分類部， ９５６ 予測タップ抽出部， ９５７足し込み演算部， ９５８ 教師画素抽出部， ９５９ 学習メモリ， ９６０ 正規方程式演算部， ９６１ 係数メモリ， １００１ ＣＰＵ， １００２ ＲＯＭ， １００３ ＲＡＭ， １００８ 記憶部， １０５１ 磁気ディスク， １０５２ 光ディスク， １０５３ 光磁気ディスク， １０５４ 半導体メモリ

Claims (10)

1. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理装置において、
   前記高質画像データ内の第１の注目画素に対応する、前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、前記第１の注目画素に時間的または空間的に隣接する前記高質画像データ内の第２の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出手段と、
   前記画像データ定常性検出手段により検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出し、前記画像データ定常性検出手段により検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出手段と、
   前記画像データ定常性検出手段により検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第５の周辺画素を抽出し、前記画像データ定常性検出手段により検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された複数の前記第３の周辺画素の第１の特徴量を検出し、前記第１の抽出手段により抽出された複数の前記第４の周辺画素の第２の特徴量を検出する第１の特徴量検出手段と、
   前記第１の特徴量検出手段により検出された前記第１の特徴量に基づいて、前記第２の抽出手段により抽出された複数の前記第５の周辺画素から前記第１の注目画素を予測し、前記第１の特徴量検出手段により検出された前記第２の特徴量に基づいて、前記第２の抽出手段により抽出された複数の前記第６の周辺画素から前記第２の注目画素を予測し、前記第１の注目画素の第１の予測値および前記第２の注目画素の第２の予測値を出力する第１の予測手段と、
   前記第１の予測手段により予測された前記第１の注目画素の前記第１の予測値と、前記第１の予測手段により予測された前記第２の注目画素の前記第２の予測値と、少なくとも前記第１の注目画素と前記第２の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第１の予測手段から出力される前記第１の注目画素の前記第１の予測値および前記第２の注目画素の前記第２の予測値を選択的に出力する選択出力手段と
   を含むことを特徴とする画像処理装置。
2. 前記高質画像データ内の前記第１の注目画素に対応する、前記入力画像データ内の複数の第７の周辺画素を抽出し、前記高質画像データ内の前記第２の注目画素に対応する、前記入力画像データ内の複数の第８の周辺画素を抽出する第３の抽出手段と、
   前記第１の注目画素に対応する、前記入力画像データ内の複数の第９の周辺画素を抽出し、前記第２の注目画素に対応する、前記入力画像データ内の複数の第１０の周辺画素を抽出する第４の抽出手段と、
   前記第３の抽出手段により抽出された複数の前記第７の周辺画素の第３の特徴量を検出し、前記第３の抽出手段により抽出された複数の前記第８の周辺画素の第４の特徴量を検出する第２の特徴量検出手段と、
   前記第２の特徴量検出手段により検出された前記第３の特徴量に基づいて、前記第４の抽出手段により抽出された複数の前記第９の周辺画素から前記第１の注目画素を予測し、前記第２の特徴量検出手段により検出された前記第４の特徴量に基づいて、前記第４の抽出手段により抽出された複数の前記第１０の周辺画素から前記第２の注目画素を予測し、前記第１の注目画素の第３の予測値および前記第２の注目画素の第４の予測値を出力する第２の予測手段と
   をさらに含み、
   前記選択出力手段は、
   前記第１の予測手段により予測された前記第１の注目画素の前記第１の予測値と、前記第１の予測手段により予測された前記第２の注目画素の前記第２の予測値と、前記入力画像データの前記対応画素の画素値との関係を検出し、検出結果に応じて前記第１の予測値と前記第２の予測値とからなる予測値の第１の組および前記第３の予測値と前記第４の予測値とからなる予測値の第２の組のうちいずれか一方を選択的に出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択出力手段は、前記対応画素の画素値から、前記第１の注目画素の前記第１の予測値および前記第２の注目画素の前記第２の予測値を引き算した結果の絶対値が、所定の閾値未満であるとき、前記第１の予測値と前記第２の予測値とからなる予測値の前記第１の組を選択的に出力する
   ことを特徴とする請求項２に記載の画像処理装置。
4. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理方法において、
   前記高質画像データ内の第１の注目画素に対応する、前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、前記第１の注目画素に時間的または空間的に隣接する前記高質画像データ内の第２の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第５の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第３の周辺画素の第１の特徴量を検出し、前記第１の抽出ステップにおいて抽出された複数の前記第４の周辺画素の第２の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記第１の特徴量に基づいて、前記第２の抽出ステップにおいて抽出された複数の前記第５の周辺画素から前記第１の注目画素を予測し、前記特徴量検出ステップにおいて検出された前記第２の特徴量に基づいて、前記第２の抽出ステップにおいて抽出された複数の前記第６の周辺画素から前記第２の注目画素を予測し、前記第１の注目画素の第１の予測値および前記第２の注目画素の第２の予測値を出力する予測ステップと、
   前記予測ステップにおいて予測された前記第１の注目画素の前記第１の予測値と、前記予測ステップにおいて予測された前記第２の注目画素の前記第２の予測値と、少なくとも前記第１の注目画素と前記第２の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第１の注目画素の前記第１の予測値および前記第２の注目画素の前記第２の予測値を選択的に出力する選択出力ステップと
   を含むことを特徴とする画像処理方法。
5. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理用のプログラムであって、
   前記高質画像データ内の第１の注目画素に対応する、前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、前記第１の注目画素に時間的または空間的に隣接する前記高質画像データ内の第２の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第５の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第３の周辺画素の第１の特徴量を検出し、前記第１の抽出ステップにおいて抽出された複数の前記第４の周辺画素の第２の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記第１の特徴量に基づいて、前記第２の抽出ステップにおいて抽出された複数の前記第５の周辺画素から前記第１の注目画素を予測し、前記特徴量検出ステップにおいて検出された前記第２の特徴量に基づいて、前記第２の抽出ステップにおいて抽出された複数の前記第６の周辺画素から前記第２の注目画素を予測し、前記第１の注目画素の第１の予測値および前記第２の注目画素の第２の予測値を出力する予測ステップと、
   前記予測ステップにおいて予測された前記第１の注目画素の前記第１の予測値と、前記予測ステップにおいて予測された前記第２の注目画素の前記第２の予測値と、少なくとも前記第１の注目画素と前記第２の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第１の注目画素の前記第１の予測値および前記第２の注目画素の前記第２の予測値を選択的に出力する選択出力ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
6. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データを、前記入力画像データよりも高質な高質画像データに変換する画像処理を、コンピュータに行わせるプログラムにおいて、
   前記高質画像データ内の第１の注目画素に対応する、前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第１の定常性を検出し、前記第１の注目画素に時間的または空間的に隣接する前記高質画像データ内の第２の注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの第２の定常性を検出する画像データ定常性検出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第４の周辺画素を抽出する第１の抽出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの第１の定常性に基づいて、前記第１の注目画素に対応する、前記入力画像データ内の複数の第５の周辺画素を抽出し、前記画像データ定常性検出ステップにおいて検出された前記画像データの第２の定常性に基づいて、前記第２の注目画素に対応する、前記入力画像データ内の複数の第６の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第３の周辺画素の第１の特徴量を検出し、前記第１の抽出ステップにおいて抽出された複数の前記第４の周辺画素の第２の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記第１の特徴量に基づいて、前記第２の抽出ステップにおいて抽出された複数の前記第５の周辺画素から前記第１の注目画素を予測し、前記特徴量検出ステップにおいて検出された前記第２の特徴量に基づいて、前記第２の抽出ステップにおいて抽出された複数の前記第６の周辺画素から前記第２の注目画素を予測し、前記第１の注目画素の第１の予測値および前記第２の注目画素の第２の予測値を出力する予測ステップと、
   前記予測ステップにおいて予測された前記第１の注目画素の前記第１の予測値と、前記予測ステップにおいて予測された前記第２の注目画素の前記第２の予測値と、少なくとも前記第１の注目画素と前記第２の注目画素とを時間方向または空間方向に対して包含する位置に配される前記入力画像データ内の対応画素の画素値との関係を検出し、検出結果に応じて前記第１の注目画素の前記第１の予測値および前記第２の注目画素の前記第２の予測値を選択的に出力する選択出力ステップと
   を含むことを特徴とするプログラム。
7. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習装置において、
   前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出手段と、
   前記画像データ定常性検出手段により検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出手段と、
   前記画像データ定常性検出手段により検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出手段と、
   前記第１の抽出手段により抽出された複数の前記第２の周辺画素の特徴量を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された前記特徴量毎に、前記第２の抽出手段により抽出された複数の前記第３の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習手段と
   を含むことを特徴とする学習装置。
8. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習方法において、
   前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第２の周辺画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記第２の抽出ステップにおいて抽出された複数の前記第３の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習ステップと
   を含むことを特徴とする学習方法。
9. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習処理用のプログラムであって、
   前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出ステップと、
   前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出ステップと、
   前記第１の抽出ステップにおいて抽出された複数の前記第２の周辺画素の特徴量を検出する特徴量検出ステップと、
   前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記第２の抽出ステップにおいて抽出された複数の前記第３の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
10. それぞれ時間積分効果または空間積分効果を有する複数の画素を有する撮像素子が現実世界の光信号を撮像することにより取得された複数の画素データからなる入力画像データから、前記入力画像データよりも高質な高質画像データを予測する予測手段を学習する学習処理を、コンピュータに行わせるプログラムにおいて、
    前記高質画像データ内の注目画素に対応する前記入力画像データ内の複数の第１の周辺画素の、前記現実世界の光信号の定常性に対応する画像データの定常性を検出する画像データ定常性検出ステップと、
    前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記高質画像データ内の前記注目画素に対応する、前記入力画像データ内の複数の第２の周辺画素を抽出する第１の抽出ステップと、
    前記画像データ定常性検出ステップにおいて検出された前記画像データの定常性に基づいて、前記注目画素に対応する、前記入力画像データ内の複数の第３の周辺画素を抽出する第２の抽出ステップと、
    前記第１の抽出ステップにおいて抽出された複数の前記第２の周辺画素の特徴量を検出する特徴量検出ステップと、
    前記特徴量検出ステップにおいて検出された前記特徴量毎に、前記第２の抽出ステップにおいて抽出された複数の前記第３の周辺画素から前記注目画素を予測するための前記予測手段を学習する学習ステップと
    を含むことを特徴とするプログラム。

Images