JP5822937B2 - 不可視スペクトル領域の画像を処理する方法、相応するカメラおよび測定装置 - Google Patents

Description

本発明は、不可視画像を処理する方法並びに相応するカメラおよび相応する測定装置に関する。

不可視スペクトル領域における撮影のためのこの種のカメラの例としては、サーモグラフィカメラが既知である。

既知のサーモグラフィカメラではしばしば、既存の検出器ユニットによって得られる解像度を改善することが所望されている。

得られる解像度を改善する基本的な手法は、検出装置のピクセル数を増やすことである。しかしこれには、構造的なコストがかかり、サーモグラフィカメラの製造コストを不所望に上げてしまう。

さらに、同様の問題が生じている、ＵＶカメラ、ＴＨｚカメラ、μ波カメラおよび不可視スペクトル領域の不可視画像を撮影する別のカメラが知られている。

ＷＯ２００９／１２６４４５Ａ１から、短波赤外画像を改善する方法が知られている。この方法は、超解像技術と局所的な処理技術を使用している。ここではより高い解像度の画像が、最近傍補間、双一次補間または双三次補間によって作成される。
ＭＯＨＡＭＭＡＤ Ｓ ＡＬＡＭ等著「Ｉｎｆｒａｒｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｌａｔｉｏｎａｌｌｙ Ｓｈｉｆｔｅｄ Ａｌｉａｓｅｄ Ｖｉｄｅｏ Ｆｒａｍｅｓ（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＮＳＴＲＵＭＥＮＴＡＴＩＯＮ ＡＮＤ ＭＥＡＳＵＲＥＭＥＮＴ、ＩＥＥＥ ＳＥＲＶＩＣＥ ＣＥＮＴＥＲ、ＰＩＳＣＡＴＡＷＡＹ、ＮＪ、ＵＳ、第４９巻、第５．１号、２０００年１０月（２０００−１０−０１））」から赤外画像位置合せのための方法および複数の並進シフトおよびエイリアス妨害されたビデオフレームを用いた高解像度再構築の方法が知られている。ここでは、撮影されたフレーム間のシフトの見積もりを得るために、勾配に基づいた位置合せアルゴリズムが利用され、高解像度画像を得るために、統一された格子内にこれらのフレームを位置付けするために重み付けされた最近傍見積もりが使用される。
ＭＩＮ ＫＹＵ ＰＡＲＫ等著「Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ａ ｔｅｃｈｎｉｃａｌ ｏｖｅｒｖｉｅｗ（ＩＥＥＥ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ ＭＡＧＡＺＩＮＥ、ＩＥＥＥ ＳＥＲＶＩＣＥ ＣＥＮＴＥＲ、ＰＩＳＣＡＴＡＷＡＹ、ＮＪ、ＵＳ、第２０巻、第３．１号、２００３年５月（２００３−０５−０１）、第２１〜３６頁）」には、超解像画像再構築に関する概観が記載されている。
ＥＵＮＣＨＥＯＬ ＣＨＯＩ等著「Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ａｐｐｒｏａｃｈ ｔｏ ｏｖｅｒｃｏｍｅ ｐｈｙｓｉｃａｌ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｉｍａｇｉｎｇ ｓｅｎｓｏｒｓ：ａｎ ｏｖｅｒｖｉｅｗ（ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＪＯＵＲＮＡＬ ＯＦ ＩＭＡＦＧＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ、ＷＩＬＥＹ ＡＮＤ ＳＯＮＳ、ＮＥＷ ＹＯＵＲ、ＵＳ、第１４巻、第２．１号、２００４年１月（２００４−０１−０１）、第３６頁〜第４６頁）」には、画像撮影センサの物理的な制限に対する超解像アクセスに関する概観が記載されている。
ＢＡＫＥＲ Ｓ 等著「Ｌｉｍｉｔｓ ｏｎ ｓｕｐｅ−ｒｅｓｏｌｕｔｉｏｎ ａｎｄ ｈｏｗ ｔｏ ｂｒｅａｋ ｔｈｅｍ（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＩＧＥＮＣＥ（ＩＥＥＥ ＳＥＲＶＩＣＥ ＣＥＮＴＥＲ、ＬＯＳ ＡＬＡＭＩＴＯＳ ＣＡ、ＵＳ、第２４巻、第９．１号、２００２年９月（２００２−０９−０１）、第１１６７〜１１８３頁）」から、超解像再構築時の点拡がり関数として、ガウス関数を使用することが知られている。
ＦＩＬＩＰ ＳＲＯＵＢＥＫ等著「Ａ Ｕｎｉｆｉｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｓｕｐｐｅｒｏｌｕｔｉｏｎ ａｎｄ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｂｌｉｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ、ＩＥＥＥ ＳＥＲＶＩＣＥ ＣＥＮＴＥＲ、ＰＩＳＣＡＴＡＷＡＹ、ＮＪ、ＵＳ、第１６巻、第９．１号、２００７年９月（２００７−０９−０１）、第２３２２〜２３３２頁）」から、超解像およびマルチチャネルブラインド・デコンボリューションへの統一したアクセスが知られている。ここでは結像プロセスを表す点拡がり関数が、最適化方法において再帰的に計算される。
Ｓｔｅｖｅｎ Ｗ．Ｓｍｉｔｈ著「ｔｈｅ Ｓｃｉｅｎｔｉｓｔ ａｎｄ Ｅｎｇｉｎｅｅｒ’ｓ Ｇｕｉｄｅ ｔｏ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （第２４章：Ｌｉｎｅａｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（１９９７年１月１日（１９９７−０１−０１）、第３９７頁〜４２２頁）」から、可視スペクトル領域の画像を処理するための線形の画像処理方法が知られている。ここでは、実施するのに必要な時間を低減させる２つの技術が記載されている。すなわち、可分性によるたたみ込みとＦＦＴたたみ込みである。
ＺＯＭＥＴ Ａ 等著「Ｒｏｂｕｓｔ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ（ＰＲＯＣＥＥＤＩＮＧＳ ２００１ ＩＥＥＥ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＮＤ ＰＡＴＴＥＲＮ ＲＥＣＯＧＮＩＴＩＯＮ ＣＶＰＲ ２００１（ＫＡＵＡＩ ＨＡＷＡＩＩ ２００１年１２月８〜１４日（ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ ＩＥＥＥ ＣＯＭＰＵＴＥＲ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＮＤ ＰＡＴＴＥＲＮ ＲＥＣＯＧＮＩＴＩＯＮ）、ＬＯＳ ＡＬＡＭＩＴＯＳ ＣＡ、ＩＥＥＥ ＣＯＭＰ．ＳＯＣ、ＵＳ、第１．８巻、２００１年１２月（２００１−１２−０８）、第６４５頁〜第６５０頁））」から、ロバストな超解像のための方法が知られている。ここでは、超解像アルゴリズムを得るために、反復方法においてロバストな、メディアン見積もりが組み合わされる。ここでこの方法は画像解像度を、異常値を有する領域においても高めることができる。ここでは、別の超解像方法が実際に画像を悪化させている。
ＲＵＳＳＥＬ Ｃ ＨＡＲＤＩＥ等著「Ｊｏｉｎｔ ＭＡＰ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｅｑｕｅｎｃｅ ｏｆ Ｕｎｄｅｒｓａｍｐｌｅｄ Ｉｍａｇｅ（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ、ＩＥＥＥ ＳＥＲＶＩＣＥ ＣＥＮＴＥＲ、ＰＩＳＣＡＴＡＷＡＹ、ＮＪ、ＵＳ、第６巻、第１２．１号、１９９７年１２月（１９９７−１２−０１））」から、最大事後確率位置合せおよび高解像度画像見積もりが知られている。ここでは、一連のアンダーサンプリングされた画像が使用される。
ＥＬＡＤ Ｍ等著「Ｆａｓｔ ａｎｄ Ｒｏｂｕｓｔ Ｍｕｌｔｉｆｒａｍｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ、ＩＥＥＥ ＳＥＲＶＩＣＥ ＣＥＮＴＥＲ、ＰＩＳＣＡＴＡＷＡＹ、ＮＪ、ＵＳ、第１３巻、第１０．１号、２００４年１０月（２００４−１０−０１）、第１３２７〜１３４４頁）」から、迅速かつロバストなマルチフレーム超解像のための方法が知られている。ここでは高い解像度を有する、試験的に作成された画像が、たたみ込みの前に、点拡がり関数によってシフトされる。
Ｍｉｃｈａｅｌ Ｅ．Ｔｉｐｐｉｎｇ等著「Ｂａｙｅｓｉａｎ Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ（Ａｄｖａｎｃｅ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｅｓ、２００２年１月１日（２００２−０１−０１）、第１３０３頁〜１３１０頁）」から、Ｂａｙｅｓ画像超解像のための方法が知られている。ここでは、未知の点拡がり関数が見積もられる。
従って、本発明の課題は、サーモグラフィカメラまたは不可視（ＮＯＮ−ＶＩＳ）スペクトル領域の不可視画像を撮影するその他のカメラで得られる解像度を、別の方法によって改善することである。

この課題を解決するために、本発明では、冒頭に挙げた方法において、請求項１の特徴部分に記載されている構成が採用される。殊に本発明では、不可視スペクトル領域の不可視画像を撮影するカメラのランダム運動の間および／または前後に、撮影画像解像度で、複数の不可視画像から成る不可視画像データストリームが撮影され、撮影された複数の不可視画像を組み合わせることによって、出力画像解像度を有する、処理されたＳＲ画像が作成されることが提案される。ここでこの出力画像解像度は、撮影画像解像度よりも高い。これによって、本発明の方法は、個々の不可視画像に比べて高い画像解像度を有するＳＲ画像を提供する。処理された画像はここでは、検出器の全ての測定値または測定値サブセットを含んでいる。

不可視画像とは、測定値の一次元、二次元、三次元またはそれよりも多い次元の配置であると理解されたい。これは例えば、測定値の空間的または空間−時間的な割り当てをあらわす。不可視画像が二次元の測定値配置であるのは、本発明には特に有利である。

本願ではカメラは例えば、ＩＲ（赤外）スペクトル領域、ＵＶ（紫外）スペクトル領域、ＴＨｚスペクトル領域および／またはμ波スペクトル領域の不可視画像を撮影するように構成されている。

ランダム運動は、多様に生じ得る。例えば、カメラは手に持って動作され得る。従って、ランダム運動は、手の無意識の運動によって生じる。

カメラが、車両に取り付けられることもある。この場合には、ランダム運動は、カメラを担っている、動いている車両の運動から生じる。

ランダム運動が他の形態で生じることもある。

用語「画像データストリーム」は一般的に、画像の集合体またはシーケンスをあらわす。これは、連続したデータストリームである必要はない。

特筆すべき用途では、カメラがＩＲスペクトル領域での撮影のために構成されており、カメラがサーモグラフィカメラである。この場合には、ＩＲ画像である不可視画像は、ＩＲ画像データストリームで存在する。この場合には本発明では、より良好な解像度でＩＲ画像を処理する方法において、有利には手持ち式のサーモグラフィカメラのランダム運動の間および／または前後、または、サーモグラフィカメラを携行している移動車両のランダム運動の間および／または前後に、ＩＲ画像のＩＲ画像データストリームを撮影画像解像度で撮影し、撮影された複数のＩＲ画像を組み合わせることによって、出力画像解像度を伴う、処理されたＳＲ画像を作成する。ここでこの出力画像解像度は、撮影画像解像度よりも高い。従って本発明は、サーモグラフィカメラの運動中、ないしはこの運動の前後に、ＩＲ画像データストリームの形態で複数のＩＲ画像を撮影することによって、処理のためのＩＲ画像が準備される、という知識を利用している。これらのＩＲ画像は僅かに相違しているので、組み合わせることで、サーモグラフィカメラの検出器ユニットのピクセルによる画像解像度制限を下回ることが可能になる。この画像データストリームを作成するために、今日のサーモグラフィカメラではしばしば既に設けられている、連続画像を撮影する機能が使用される。高い解像度のＳＲ−ＩＲ−画像を作成するために必要な撮影時間は、個別撮影に比べて僅かに長いだけである。なぜなら、少数のＩＲ画像の組み合わせが既に、満足できる結果を示しているからである。簡単に言えば、ランダム運動によって、サーモグラフィカメラの検出器ユニットは、ＩＲ画像データストリームの個々のＩＲ画像の撮影の間に、検出器ユニットのピクセル間隔よりも短い距離ぶん動かされる。

利用されている運動は偶然のものである。すなわち、運動方向および運動距離は、本発明の実施において既知ではない。典型的な使用例は、ここでは手持ち式の（サーモグラフィ）カメラである。このカメラは、無意識の手の動きによって、常に、ランダム運動の影響を受ける。

他の使用例は、運転者サポートのための暗視装置として、車両で使用される（サーモグラフィ）カメラである。この車両は例えば、陸上車両（人員輸送車、貨物自動車、二輪車、チェーンホイール車両等）、航空機および／または船舶である。本発明は、この場合には、車両に固定して取り付けられている（サーモグラフィ）カメラでさえ、車両運動の間には、偶然の、無意識の運動の影響を受けることを利用している。この運動は、本発明の方法に使用される。これによって、ＳＲ−（ＩＲ−）画像が、本発明によって、改善された暗視画像が提供される。

撮影された不可視画像の組み合わせに対して、エネルギーオプションが最適化される。ここではエネルギー関数が、試験的に、ＳＲ画像に組み合わされた不可視画像に関して評価される。エネルギー関数を使用することによっては、容易に処理可能な判断基準が得られる。この判断基準は、最適化の実行および計算ユニットでのこの全体的な方法の実行時に使用可能であり、さらなる処理が可能である。この判断基準によって、試験的に作成されたＳＲ画像が変えられて、最適な判断基準、例えば最大値または最小値が得られる。最適状態の代わりに、エネルギー関数が僅かにだけ、例えば所定の閾値内で変化する状態を得るようにしてもよい。

撮影された不可視画像を組み合わせる前に、各不可視画像に対して変換を求めてもよい。これによって、不可視画像が相互にまたは基準に関して位置合せされ、殊にサブピクセルの精度で位置合せされる。これによって既に、撮影された不可視画像の可能な組み合わせの数が著しく制限され、最適化の実行に必要な計算容量、殊に記憶量および／または計算時間が低減されて、この方法を、現在サーモグラフィカメラ内に既に設けられている計算ユニット上で実施することも可能になる。

試験的に作成されたＳＲ画像を評価するため、および／またはこのＳＲ画像を作成するために、撮影された不可視画像を組み合わせる前に、各不可視画像に、用意されている点拡がり関数テストセットから、点拡がり関数を割り当てることができる。ここでは、テストセットの点拡がり関数は、種々の撮影方向および／または種々の撮影位置に対するサーモグラフィカメラの光学的な結像特性をシミュレートする。テストセットは、種々の点拡がり関数によって、および／または点拡がり関数の種々のパラメータ値によって形成され得る。本発明は、光学的な結像プロセスの数学的記載での点拡がり関数の既知の使用を利用している。有利には、不可視画像データストリームの各不可視画像には、各不可視画像の撮影時点でサーモグラフィカメラによってとられた撮影位置を最も良く表している点拡がり関数が割り当てられる。従って、位置合せ時に計算されたシフト分が、ＳＲ画像のラスターにシフトされた不可視画像をちょうどはめ込むように、点拡がり関数をシフトさせるために使用される。

ここで撮影時点での実際の撮影位置ないしは撮影方向は既知である必要はなく、位置合せ時にそれぞれ求められた変換に相応する点拡がり関数を撮影された各不可視画像に割り当てることができる。この場合には、本発明による方法を実施するために必要な、求められた変換のパラメータ内に含まれている、各不可視画像の撮影時点での撮影方向ないしは撮影位置に関する情報が使用される。

テストセットに点拡がり関数が既に用意されている場合には、多くの用途に対して充分である、比較的小さいパラメータ空間が、使用可能な変換を表すために得られる。これによって、種々の相対的な画像シフトが表される。従って、リソースを節約して、本発明の方法を実施することができる。殊に、ブラインド・デコンボリューションは不必要である。

この場合には、点拡がり関数は、属する画像シフトによってパラメータ化される。ここでこの画像シフトは、並進および／または回転および／または伸張および圧縮を表し得る。テストセットに、単純な並進によって相互に移行する点拡がり関数が用意されている場合には、特に小さいパラメータ空間が生じる。二次元の点拡がり関数が対称的におよび／または可分に、すなわち２つの一次元の関数の積として表される場合には、顕著な計算技術的な簡易化が得られる。特に有利には、点拡がり関数は、デルタ関数によって規定される。この場合には、容易に、デルタ関数の中心位置が、相対的な画像シフトを表すために用いられる。

最適化のために、エネルギー関数が、撮影された不可視画像と、各不可視画像に対して選択された点拡がり関数によって結像された試験的なＳＲ画像との偏差を評価するように設定できる。有利には、この偏差は、差分形成および絶対値形成によって計算される。このようにして、ＳＲ画像ができるだけ僅かに、不可視画像データストリームによって撮影されたシーンから偏差している場合に、エネルギー関数が最適な値を取ることが実現される。数学的にこれは次のことによって実現される。すなわち、選択された点拡がり関数に対する最適なＳＲ画像が、実際に不可視画像データストリーム内で撮影された不可視画像を最も良く再現することによって、数学的にこれが実現される。

エネルギー関数の最適化の出発点として、出力画像解像度のテストピクセルマトリクスが、不可視画像の画像値によって、求められた各変換および／または割り当てられた各点拡がり関数に依存して満たされ、試験的に作成されたＳＲ画像として使用される。このようにして、多くの用途において出発点が既に最適状態の近傍に位置し、これによって、さらに、計算リソースを節約することができる。

位置合せに対する基準として、不可視画像データストリームから、１つの不可視画像が不可視基準画像として選択される。

この方法が継続的に、すなわち連続して実施されるべき場合、この方法を、進化した不可視画像データストリーム内で共に移動する不可視基準画像によって実施することができる。この場合には有利には、サーモグラフィカメラのランダム運動によって生じた、基準に対する不可視画像の画像シフトが、過度に大きくならない。本発明の方法に対して必要な記憶領域を制限する前に、この方法を、進行する不可視画像データストリーム内で共に移動する選択された不可視画像によって、継続的に実施することができる。従って時間的に過去の、撮影された不可視画像は、これが高い解像度のＳＲ画像の現在の計算に必要でなくなるとすぐに、拒否される。ＳＲ画像の出力画像解像度が、不可視画像の画像解像度のＳＲ_Ｆ倍である場合には、本発明の方法では、有利には、少なくともまたはちょうどＳＲ_Ｆ ^２+１の不可視画像が選択され、評価される。多くの場合には、ＳＲ_Ｆ ^２個の不可視画像、むしろＳＲ_Ｆ個の不可視画像で既に充分である。

エネルギー関数の最適化の間に、例えば勾配方法によってＳＲ画像が変化してもよい。

択一的または付加的に、エネルギー関数の最適化の間に、不可視画像に割り当てられた点拡がり関数が変化してもよい。これは例えば、各点拡がり関数の中心がずらされることによって行われる。

各不可視画像に対して、ピクセル精度の位置合せが二段階の方法で求められる場合には、さらに計算リソースを節約することができる。この場合には、第１のステップにおいて粗い位置合せが求められ、第２の方法において、サブピクセル精度の位置合せが、オプティカルフローによって求められる。不可視画像相互の位置合せを、おおよそ、検出器ユニットのピクセル間隔の精度によって行う粗い位置合せは、例えば、位相相関法または他の方法で求められる。ステップを２つに分けることによって、サブピクセル精度のレジストレレーションのための計算コストを制限することができる。

有利には、サブピクセル精度の位置合せは、ピクセル毎に求められる。この場合には、各不可視画像において、所定の閾値より大きく、求められた各位置合せ、殊に、シフトの方向および値の平均値から偏差しているピクセル値がマスキングされる。このようにして、撮影レンズのいわゆる異常値または結像エラーが最適化方法に不必要に負担をかける、むしろ誤った結果に導いてしまうことが阻止される。

殊に、エネルギー関数の評価時の結像過程を数学的にシミュレートするために、選択された点拡がり関数でのＳＲ画像の結像時に、各点拡がり関数での各ＳＲ画像のたたみ込みが計算されてもよい。

本発明の方法は、上述の課題を解決するために、サーモグラフィカメラで使用される。このサーモグラフィカメラは、複数の不可視画像から成る不可視画像データストリームを形成するように構成されている検出器ユニットと、不可視画像データストリームを処理するように構成されている画像処理ユニットと、処理されたＳＲ画像を出力するように構成されている出力ユニットとを有している。ここで、この画像処理ユニットは、本発明の方法を実施するように、例えば計算ユニットのプログラミングによって、構成されており、ここで、撮影画像解像度は検出器ユニットによって与えられ、出力画像解像度は撮影画像解像度よりも高い。出力画像解像度が出力ユニットによって、例えば出力ユニットの技術的な手段によって設定されてもよい。従って出力ユニットは、処理されたＳＲ画像またはその一部の出力を許容する解像度を提供する。

この出力を、例えば、データインタフェースまたはディスプレイを介して行うことができる。

本発明の方法は、上述の課題を解決するために、測定装置においても使用可能である。この測定装置は、不可視スペクトル領域の不可視画像を撮影するカメラ、殊にサーモグラフィカメラを含んでおり、ここでこのカメラは、複数の不可視画像の不可視画像データストリームを作成するように構成された検出器ユニットを有している。さらに測定装置は、不可視画像データストリームを処理するように構成されている画像処理ユニットと、処理されたＳＲ画像を出力するように構成されている出力ユニットとを含んでおり、さらに、画像処理ユニットが、本発明の方法を実施するように構成されている、という特徴を有する。ここで撮影画像解像度は検出器ユニットによって設定され、出力画像解像度は撮影画像解像度よりも高い。画像処理ユニットは、ここではカメラ内に組み込まれていても、カメラと別個に構成されていてもよい。画像処理ユニットは、カメラの動作時間の間に、またはカメラの動作時間に続いて動作される。

次に本発明を、実施例に基づいて詳細に説明する。しかし本発明は、この実施例に限定されない。他の実施例が、請求項の個々の特徴または複数の特徴を相互に組み合わせることによって、および／または実施例の個々の特徴または複数の特徴によって得られる。

分かりやすくするために、説明される実施例では、カメラがサーモグラフィカメラとして存在していると仮定されている。他の実施例では、他の不可視スペクトル領域において撮影するカメラも使用可能である。これは例えば、ＵＶ、ＴＨｚおよび／またはμ波スペクトル領域における画像を撮影するためのカメラである。

実施例の説明では、本発明を具体的に説明するために、不可視画像をＩＲ画像と称し、不可視画像データストリームをＩＲ画像データストリームと称し、不可視スペクトル領域において撮影するカメラをサーモグラフィカメラと称し、検出器ニットをＩＲ検出器ユニットと称し、ＳＲ画像をＳＲ−ＩＲ−画像と称する。

本発明のサーモグラフィカメラの前方からの斜視図 本発明のサーモグラフィカメラの後方からの斜視図 本発明の方法のフローチャート 本発明の方法の基本図

図１および図２に示された、全体的に参照番号１で表されているサーモグラフィカメラは、それ自体公知の方法で、ＩＲレンズ２の後方に配置、構成されているＩＲ検出器ユニット３を有している。

ＩＲ検出器ユニット３は、図４に概略的に示されているＩＲ画像４を、ＩＲ画像データストリーム５で、連続して撮影するように構成されている。ＩＲ画像４のピクセル化を明確にするために、各画像コンテンツは、市松模様によって置き換えられている。

サーモグラフィカメラ１は手持ち式の機器として構成されており、手持ち式動作のためにグリップ６が設けられている。このグリップの中には、サーモグラフィカメラ１を動かすためのエネルギー蓄積器７が、取り外し可能に配置されている。

サーモグラフィカメラはさらに、ディスプレイとして構成されている出力ユニット８を有している。これは、ＩＲ画像４に比べて高い出力画像解像度を有する、図４に概略的に示されているＳＲ−ＩＲ−画像９を再生するように構成されている。この、より高い出力画像解像度は、市松模様のフィールドがより多いことによって表されている。

サーモグラフィカメラ１の内部には、詳細には図示されていない画像処理ユニット１０が計算ユニットの形態で実現されている。これは、図４および図５に基づいて以降で記載されている、本発明の方法を実行するように構成されている。

サーモグラフィカメラ１のランダム運動の間または、少なくとも前後に、ＩＲ検出器ユニット３によって、１つのシーンの複数のＩＲ画像から成るＩＲ画像データストリーム５が撮影される。このＩＲ画像４は、ＩＲ検出器ユニットのピクセル間隔１１によって得られる撮影画像解像度を有している。

ＩＲ画像データストリーム５の、ＳＲ−ＩＲ画像９を計算するために選択されたＩＲ画像４は、位置合せ方法１３の第１のステップ１２において、ＩＲ基準画像１４として選択された、ＩＲ画像データストリーム５の第１のＩＲ画像４に関して、粗く位置合せされる。説明している実施例ではこれは、位相相関法によって行われるが、他の実施例では、別の方法で粗い位置合せが計算されてもよい。

位置合せ方法１３の第２のステップ１５では、ＩＲ画像４相互の、およびＩＲ基準画像１４に関する、サブピクセル精度の位置合せが計算される。これは、それ自体公知の方法によって、ＩＲ画像４間のオプティカルフローがピクセル毎に求められることによって行われる。

この結果、各ＩＲ画像４に対して、変換のパラメーターセットが存在する。この変換によって、ＩＲ画像４が相互に、かつＩＲ基準画像１４に関してサブピクセル精度で位置合せされる。ここでは、サブピクセル精度で、とは、ピクセル間隔１１によって設定された値よりも詳細な位置合せを意味する。変換は数学的にＩＲ画像の変化をあらわす。この変化は撮影条件の変化によって生じる変化であり得、殊に、変換、回転、伸張および圧縮である。

画像処理ユニット１０のメモリ内には、点拡がり関数１７のテストセット１６が容易されている。

点拡がり関数１７は、数学的に、サーモグラフィカメラ１のビーム路の種々の向きに対する、ＩＲレンズ２および／またはＩＲ検出器ユニット３の光学的な結像特性を表している。

従って種々の点拡がり関数１７には、同様に、上述した変換のパラメータが割り当てられ得る。

それ自体公知の数学的な表記に従って、このシーンをあらわす二次元の関数に対して、ＩＲ検出器ユニット３で撮影されたＩＲ画像４が、現在の撮影条件をあらわす点拡がり関数１７でのこの関数のたたみ込みによって生じる。

使用可能な点拡がり関数１７は図４に、分かりやすくするために一次元のデルタ関数として表されている。実際に使用される二次元の点拡がり関数１７は、２つの一次元のデルタ関数の積である。このデルタ関数は、自身の中心１８、すなわちその数学的なキャリヤーによって特徴付けられる。従って、中心１８の異なる位置は、異なる画像シフトに相応する。従って点拡がり関数１７は、並進によって相互に移行する。

２つのデルタ関数の積としての点拡がり関数１７の可分表示によって、点拡がり関数は自動的に対称になる。別の実施例では、他の、場合によっては対称であるが、可分ではない関数が使用される。可分点拡がり関数１７の場合には、付加的な利点として、二次元のたたみ込み積分が簡単に計算される。この計算は有利にはＦＦＴを用いて行われる。点拡がり関数のこの簡易化によって、計算はむしろ、位置空間において行われる。

図３に示された本発明の方法では、割り当てステップ１９において、ＩＲ画像データストリーム５の各ＩＲ画像４にテストセット１６からの各点拡がり関数１７が割り当てられる。これは、位置合せ方法１３において計算された変換に属している。

ここで存在する情報およびデータによって、本発明に従って、ＩＲ画像データストリーム５のＩＲ画像４を組み合わせて、ＳＲ−ＩＲ画像９が得られる。

このためにまずは、ＳＲ−ＩＲ−画像９の出力画像解像度を有するテストピクセルマトリクスが、ＩＲ画像４の画像値２４によって次のように満たされる。すなわち、ＩＲ画像４によって満たされたピクセルのピクセル位置が少なくとも近似的に、ＩＲ基準画像１４に対する、該当するＩＲ画像４の画像シフトをあらわすように、満たされる。

満たされたこのテストピクセルマトリクスは、最適化されたＳＲ−ＩＲ−画像９が計算される、最適化方法２１に対する開始点を形成する。最適化方法２１では、ループ２２において、ＳＲ−ＩＲ画像９が変化し、ループ通過毎に、評価ステップ２３において、エネルギー関数が評価される。エネルギー関数の評価のために、ループ２２内に現在準備されているＳＲ−ＩＲ画像９が、属する点拡がり関数１７で各ＩＲ画像４に対してたたみ込まれ、ＩＲ画像４と比較される。このようにして、どのＩＲ画像が、試験的に、ループ２２において準備されたＳＲ−ＩＲ画像９に対して、位置合せ方法１３において特定された撮影条件下で生じたのかが求められる。この、想定的なＩＲ画像の、実際に撮影されたＩＲ画像４からの偏差が次に、差および絶対値形成によって評価され、ＩＲ画像４に対して、エネルギー関数において累計される。

エネルギー関数はさらに項を有することがある。これは、付加的な影響を、光学的な結像時にシミュレートし、これは例えば、ＩＲレンズ２または検出器ユニット３のノイズおよび／または結像エラーである。

例えば、Ｊ．Ｆｌｕｓｓｅｒ等著「Ａ Ｕｎｉｆｉｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｓｕｐｐｅｒｓｏｌｕｔｉｏｎ ａｎｄ Ｍｕｌｔｉｃｈａｎｎｅｌ Ｂｌｉｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ（ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ、 ＶＯＬ１６ Ｎｏ．９ ２００７年９月、 ２３２２頁〜２３３２頁）」に記載されているエネルギー関数が使用される。ここで紹介されている、簡易な方法によって、ＳＲ−ＩＲ−画像と点拡がり関数の変化は必要ないので、両者のうちの１つで充分である。

最適化方法２１が最適なＳＲ−ＩＲ画像９を求めるとすぐに、これは、サーモグラフィカメラの出力ユニット８上に出力され、表示される。

本発明の方法は、継続的に続けられる。ここで、ＳＲ−ＩＲ画像９の計算のために選択された、ＩＲ画像データストリーム５の各ＩＲ画像４は、ＩＲ画像データストリーム５の時間的な経過において共に移動する窓から選択される。

本発明による方法のこの継続的な実施によって、出力ユニット８に、同様に、高い解像度を有するＳＲ−ＩＲ画像９の画像データストリームが準備される。

サーモグラフィカメラ１では、サーモグラフィカメラ１のランダム運動の間に、複数のＩＲ画像４のＩＲ−画像データストリーム５が撮影され、これらのＩＲ画像４が、より高い解像度を有するＳＲ−ＩＲ画像９に組み合わされる。

Claims (11)

1. 画像解像度を改善するための不可視画像（４）の処理方法であって、前記方法は、
   不可視スペクトル領域の不可視画像（４）を撮影するカメラ（１）のランダム運動の間および前後の少なくともいずれかに、
   複数の不可視画像（４）の不可視画像データストリーム（５）を撮影画像解像度で撮影するステップと、
   各不可視画像（４）に対して変換を求め、当該変換によって前記不可視画像（４）を相互におよび不可視基準画像（１４）に関して、サブピクセル精度で位置合わせするステップ（１３）であって、前記サブピクセル精度の位置合わせをピクセル毎に求め、求められた各位置合わせから、所定の閾値よりも大きく偏差しているピクセル値を各不可視画像（４）においてマスキングするステップを含む位置合わせするステップ（１３）と、
   各不可視画像（４）に、用意された複数の点拡がり関数（１７）のテストセット（１６）から、前記求められた変換に対応する１つの点拡がり関数（１７）を割り当てるステップ（１９）と、
   エネルギー関数を最適化するステップ（２１）であって、
   前記エネルギー関数を、撮影された不可視画像と、各不可視画像に対して選択された点拡がり関数によって結像された試験的に作成されたＳＲ画像（９）と、の偏差を評価することによって設定するステップと、
   前記ＳＲ画像（９）を変化させるステップと、
   前記各点拡がり関数（１７）の中心（１８）をずらすことによって、前記各不可視画像（４）に割り当てられた前記各点拡がり関数（１７）を変化させるステップと、
   を含む最適化するステップ（２１）と、
   前記撮影された複数の不可視画像（４）を組み合わせる（２０）ことによって、前記撮影画像解像度よりも高い出力画像解像度を有する、処理されたＳＲ画像（９）を作成するステップと、
   を含み、
   前記テストセット（１６）の前記点拡がり関数（１７）は、前記カメラ（１）の前記光学的な結像プロセスを、種々の撮影方向および種々の撮影位置の少なくとも一方に対してシミュレートするものであり、
   前記位置合わせするステップ（１３）は、第１のステップ（１２）および第２のステップ（１５）を含み、
   前記第１のステップ（１２）では、粗い位置合わせを、位相相関法によって求め、
   前記第２のステップ（１５）では、前記サブピクセル精度の位置合わせをオプティカルフローによって求める、
   ことを特徴とする方法。
2. 前記カメラ（１）の前記ランダム運動は、前記カメラ（１）が取り付けられた車両のランダム運動から生ずる、
   請求項１記載の方法。
3. 前記不可視スペクトル領域は、ＩＲスペクトル領域、ＵＶスペクトル領域、ＴＨｚスペクトル領域およびμ波スペクトル領域を含む、
   請求項１または２記載の方法。
4. 前記点拡がり関数（１７）によって、種々の相対的な画像シフトが表される、
   前記点拡がり関数（１７）は並進によって相互に移行される、
   前記点拡がり関数（１７）は対称的であり、デルタ関数によって規定される、
   ことのうちの少なくともいずれかである、
   請求項１から３までのいずれか１項記載の方法。
5. 前記最適化ステップ（２１）の開始点として、前記各不可視画像（４）の画像値（２４）によって、前記各求められた変換、および、前記各割り当てられた点拡がり関数（１７）の少なくとも一方に依存して、前記出力画像解像度のテストピクセルマトリクスを満たし、前記試験的に作成されたＳＲ画像（９）として使用する、
   請求項１から４までのいずれか１項記載の方法。
6. 前記不可視画像データストリーム（５）から、１つの不可視画像（４）を不可視基準画像（１４）として選択し、
   前記方法を、前記進行する不可視画像データストリーム（５）内で共に移動する不可視基準画像（１４）を用いて、継続的に実施する、
   請求項１から５までのいずれか１項記載の方法。
7. 前記方法を、前記進行する不可視画像データストリーム（５）内で共に移動する、選択された各不可視画像（４）を用いて、継続的に実施する、
   請求項１から５までのいずれか１項記載の方法。
8. 前記ＳＲ画像（９）の出力画像解像度は、前記不可視画像（４）の画像解像度のＳＲ_Ｆ倍であり、選択されるべき不可視画像（４）の前記所定数は、ＳＲ _Ｆ 、ＳＲ _Ｆ ^２ 、（ＳＲ _Ｆ ^２ ＋１）のうちの少なくとも１つと同じである、
   請求項１から７までのいずれか１項記載の方法。
9. 前記選択された各点拡がり関数（１７）による前記ＳＲ画像（９）の結像時に、前記各ＳＲ画像（９）のたたみ込みを、各点拡がり関数（１７）によって計算する、
   請求項１から８までのいずれか１項記載の方法。
10. 不可視スペクトル領域の不可視画像（４）を撮影するカメラ（１）であって、
    複数の不可視画像（４）の不可視画像データストリーム（５）を形成するように構成されている検出器ユニット（３）と、
    前記不可視画像データストリーム（５）を処理するように構成されている画像処理ユニット（１０）と、
    処理されたＳＲ画像を出力するように構成されている出力ユニット（９）と、
    を有しているものにおいて、
    前記画像処理ユニット（１０）は、請求項１から９までのいずれか１項記載の方法を実施するように構成されており、
    前記撮影画像解像度は前記検出器ユニット（３）によって設定され、前記出力画像解像度は前記撮影画像解像度よりも高い、
    ことを特徴とするカメラ（１）。
11. 不可視スペクトル領域の不可視画像（４）を撮影するカメラ（１）を含んでいる測定装置であって、
    前記カメラ（１）は、複数の不可視画像（４）の不可視画像データストリーム（５）を形成するように構成されている検出器ユニット（３）と、
    前記不可視画像データストリーム（５）を処理するように構成されている画像処理ユニット（１０）と、
    処理されたＳＲ画像を出力するように構成されている出力ユニット（９）と、
    を有しているものにおいて、
    前記画像処理ユニット（１０）は、請求項１から９までのいずれか１項記載の方法を実施するように構成されており、
    前記撮影画像解像度は前記検出器ユニット（３）によって設定され、前記出力画像解像度は前記撮影画像解像度よりも高い、
    ことを特徴とする測定装置。

Images