JP2022512341A - 撮像システム及び撮像方法 - Google Patents

Abstract

一態様によれば、対象を撮像するための撮像システム１が提供される。撮像システム１は、複数のスペクトル時間点を有するスペクトル捕捉期間において対象６のスペクトル画像を捕捉するように構成され、該スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、該複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、スペクトルカメラ２と、複数の基準時間点を有し、該スペクトル捕捉期間に対応する、基準捕捉期間において、対象６の基準画像を捕捉するように構成され、該基準画像は、それぞれが該複数の基準時間点のうちの１つの基準時間点及び該複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、基準カメラ３と、該複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するよう構成された、算出ユニット４と、各算出された動きベクトルを、該複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、該スペクトルフレームを互いに対して整合させるよう構成された、整合ユニット５と、を有する。他の態様によれば、対象の撮像のための撮像方法、及び、計算装置上で実行されたときに、対象の撮像の方法を実行するコンピュータプログラムが提供される。

Description

本発明は、本発明は、例えば、マルチスペクトル及びハイパースペクトル撮像システムのような撮像システム、並びに撮像方法、コンピュータプログラム及びコンピュータ可読媒体に関する。

本発明の一般的な背景は、スペクトル画像又はスペクトル解析である。マルチスペクトル又はハイパースペクトル画像などのスペクトル画像は、単一又は三重スペクトルチャネル（例えばＲＧＢ）画像からは容易に得られない豊富な量の情報を提供する。スペクトル画像の利点は、例えば、人間の皮膚のような、より複雑な対象を画像する場合に、より明白である。人間の皮膚を画像化する場合、検出された後方散乱光は、ヘモグロビン、メラニン、水、脂質、カロテノイド及びビリルビンを含むいくつかの発色団によって調節される。

反射分光法は波長の関数としての光の研究である。本発明は、例えば、医療用途、材料分析及び土壌分析などの多くの用途を見出す。反射分光法は、異なる材料が異なる吸収及び散乱スペクトルを持つことによって可能になる。このことは、酸素化及び脱酸素化されたヘモグロビン、カロテノイド、メラニン、ビリルビンなどの人間の皮膚における発色団にも当てはまる。それ故、人間の皮膚の反射分光法は、存在する発色団の詳細な分解を可能にする。それ故、検出された発色団を（全身）健康、並びに人間の目及び／又は伝統的なＲＧＢカメラシステムでは解決できない特定の皮膚状態に関連付けることは興味深い技術である。

反射分光法は、通常、単一の点又は領域のスペクトルのみを観察する。マルチスペクトル画像化又はハイパースペクトル画像化を参照する場合、グリッド（又は画像）全体が異なる波長で観察される。ハイパースペクトル撮像は、典型的には、広帯域画像捕捉による狭帯域照明及び狭帯域画像捕捉による広帯域ライティング（調整可能なフィルタを通して）の２つの技術のうちの１つに依存し得る。前者技術は、狭帯域光の限られたセットしか容易に発生できないという欠点を有する。このため、後者の技術が好ましい場合が多い。ハイパースペクトルプッシュブルームスキャン、モザイクマルチスペクトル撮像、勾配カラーフィルタ撮像などの他の方法も存在する。

フレームシーケンシャルハイパースペクトル撮像の場合、スペクトル画像は、典型的には、フレームのシーケンス（ショートムービーと考えることができる）からなり、各フレームについて、フィルタは、特定の波長又は波長勾配／マップの波長に同調される。従って、実際には、斯かるスペクトル画像スキャンは、通常、完了するのに数秒かかる。撮像される対象の動きは、シーケンスのフレームが整列されず、その結果、スペクトル画像のぼけ及びより低い空間コントラストが生じることを意味し得る。

それ故、ぼけを最小化し、空間解像度を最大化するために、スペクトル画像のフレームが整合される撮像システムを提供することが望ましい。

第１の態様の一実施例によれば、対象を撮像するための撮像システムであって、複数のスペクトル時間点を有するスペクトル捕捉期間において対象のスペクトル画像を捕捉するように構成され、前記スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、前記複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、スペクトルカメラと、複数の基準時間点を有し、前記スペクトル捕捉期間に対応する、基準捕捉期間において、前記対象の基準画像を捕捉するように構成され、前記基準画像は、それぞれが前記複数の基準時間点のうちの１つの基準時間点及び前記複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、基準カメラと、前記複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するよう構成された、算出ユニットと、各算出された動きベクトルを、前記複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、前記スペクトルフレームを互いに対して整合させるよう構成された、整合ユニットと、を有する、撮像システムが提供される。

従って、本発明の実施例によれば、捕捉されたスペクトル画像のフレームは、捕捉された基準画像のフレームを使用して整合されても良い。従って、スペクトル画像のフレームが整合されるので、画像内のぼけが最小化され、画像の空間分解能が最大化され得る。撮像システムは、画像整合システム及び／又は画像処理システムと考えることもできる。

スペクトルフレームは、それぞれ、複数の波長のうちの１つの波長で捕捉される。複数の波長は、各スペクトルフレームが波長勾配／マップの波長で捕捉されるように、波長勾配／マップとして考えることができる。波長勾配／マップは、ハイパースペクトル画像化のための勾配フィルタ技術に関連し得る。斯かる技術は、画像が撮影されている間にカメラの前で勾配カラーフィルタを前後にシフトすること、又は、関連する波長に対応するフレームを有するハイパースペクトル立方体を構築するために、連続する画像を撮影している間にカメラ全体をフィルタ（又は代替的に物体）でシフトすることに依拠することができる。この技術はまた、迅速な掃引のために可変勾配カラーＬＣＤフィルタを使用し得る。斯かる技法は、依然として、不整合に悩まされており、従って、本発明の実施例による動き補償及び再整合が適用可能である。

各スペクトルフレームは、異なる波長で捕捉されても良く、又は２つ以上のスペクトルフレームは、同じ波長で捕捉されても良い。更に、全てのフレームは、同じ波長で捕捉されても良い。例えば、スペクトルカメラは、画像の全てのフレームが単一の波長で捕捉されるスペクトル画像を捕捉するように、又は２つの波長で捕捉されるように（例えば２つのスペクトルカメラで）構成されても良い。２つの波長のうちの同一又は１つで捕捉されたスペクトルフレームは、特定の波長又は波長のペアの映画又はビデオを提供すると考えることができる。このことは、例えば、対象の血液酸素化を時間の関数として捕捉する場合に使用されても良い。

それ故、撮像システムのスペクトルカメラは、スペクトル捕捉期間において対象の第２のスペクトル画像を捕捉するように更に構成されても良い。第２のスペクトル画像は、複数の波長の波長でそれぞれ捕捉され、各々が複数のスペクトル時間点のスペクトル時間点に対応する複数の第２のスペクトルフレームを含み得る。第２のスペクトルフレームの各々は、（第１の）スペクトル画像の（第１の）スペクトルフレームの各々に対して異なる波長で捕捉することができる。このことは、例えば、両方のスペクトル画像の個々のフレームを交互に捕捉することができる時間多重方式で実現することができる。

２つのスペクトル画像を捕捉するスペクトルカメラの代わりに、撮像システムは、２つのスペクトルカメラ（第１のスペクトルカメラ及び第２のスペクトルカメラ）を有しても良い。即ち、上述したスペクトルカメラは、第１のスペクトルカメラであっても良く、撮像システムは、スペクトル捕捉期間において対象の第２のスペクトル画像を捕捉するように構成された第２のスペクトルカメラを更に有しても良い。第２のスペクトル画像は、各々が複数の波長の波長で捕捉された複数の第２のスペクトルフレームを有しても良い。第２のスペクトルフレームの各々は、（第１の）スペクトル画像の（第１の）スペクトルフレームの各々に対して異なる波長で捕捉することができる。

例えば、各カメラセンサが捕捉することができる限られた帯域幅のような、複数のスペクトルカメラを撮像システムに組み込むための実用的な理由が存在する可能性がある。例えば、可視範囲から赤外範囲にわたる広い帯域幅がスキャンされる場合、１つのカメラに可視範囲を実質的に捕捉させ、別のカメラに赤外範囲を捕捉させることが好ましい場合がある。また、複数のカメラを有することにより、画像を並列に捕捉することができるので、捕捉時間を速めることができる。

スペクトルフレームは、複数のスペクトル時間点を含むスペクトル捕捉期間中に捕捉され、基準フレームは、複数の基準時間点を含む基準捕捉期間中に捕捉される。スペクトル捕捉期間は、スペクトル時間点が基準時間点に対応し、それぞれの時間点で捕捉されたフレームも対応するように、基準捕捉期間に対応する。スペクトル時間点の数は、スペクトルフレームがスペクトル時間点の各々で捕捉されるように、スペクトルフレームの数に等しくても良い。逆に、スペクトルフレームの数は、スペクトル時間点の数より少なくても多くても良い。例えば、スペクトルフレームは、他のスペクトル時間点毎に捕捉することができる。基準カメラの時間点（基準捕捉期間の基準時間点）及びスペクトルカメラの時間点（スペクトル捕捉期間のスペクトル時間点）は、例えば、後述するように、補間を使用するアプローチの場合のように、一致することも、一致しないこともある。

スペクトル捕捉期間と基準捕捉期間とは、独立しているが、スペクトル画像と基準画像とが略同時に捕捉されるように、類似又は実質的に等しくすることができる。従って、基準カメラは、スペクトル画像を撮像している間に生じる対象の動きを捕捉することができる。捕捉期間は、必ずしも同じではなく、同じフレームレートを有していなくても良い。スペクトルフレームの数は、基準フレームの数と同じでなくても良い。
しかしながら、捕捉期間とそれらのそれぞれの期間との間の対応する関係が与えられると、各スペクトルフレームは、１つ以上の基準フレームに対応し、各基準フレームは、１つ以上のスペクトルフレームに対応する。即ち、スペクトルフレームは、略同時に捕捉された基準フレームに対応し、その結果、対象の位置は、フレームのそれぞれにおいて実質的に同じであり得る。スペクトルフレームはまた、２つ以上の基準フレームに対応しても良く、逆もまた同様である。例えば、基準カメラの動きが時間ｔ１及びｔ３（それぞれＭ１及びＭ３と呼ぶことができる）で確立され、スペクトルフレームが時間ｔ２で捕捉され、ここでｔ１＜ｔ２＜ｔ３である場合、動きＭ２は、例えば、Ｍ１＋（Ｍ３－Ｍ１）＊（ｔ２－ｔ１）／（ｔ３－ｔ１）を使用して線形に補間することができる。

換言すれば、スペクトルカメラ（例えばマルチスペクトルカメラ又はハイパースペクトルカメラなど）は、複数の連続フレームを捕捉する。最初のフレームの時間から最後のフレームの時間まで定義された捕捉間隔に対して、動き補正が適用されても良い。動きは、略同じ時間間隔で捕捉される基準フレームから推定されても良い。このことは、第１の基準フレームが、第１のスペクトルフレームよりもごく遅くても僅かに遅くても良く（しかしながら好適には、前又は同時であっても良い）、最後の基準フレームが、最後のスペクトルフレームよりもごく早くても僅かに前であっても良い（しかしながら好適には、後又は同時であっても良い）ことを意味する。動きを決定するために、間に十分な基準フレームがあることを条件として、補正が提供されても良い。スペクトルフレームのタイミングでの正確な動きは、次いで補間されても良い（又は、必要であれば、端部で僅かに外挿されても良い）。換言すれば、スペクトル捕捉期間と参照捕捉期間とを同期させる必要はない。捕捉期間のタイムスタンプは、予め決定されても良いし、捕捉されたフレームから確立されても良い。

対象の動きは、１秒間に１０コマ以上の基準カメラで撮影するのが理想的である。（人間の）対象が、例えば、ヘッドレストによって十分に機械的に安定化されると、運動は高度に正確に捕捉されることができる。斯かるフレームレートでは、動きは、２又は３フレームまで信頼性があると予測することができる。それ故、基準カメラの捕捉期間は、スペクトルカメラの捕捉期間の開始後、２００～３００ｍｓより遅れて開始することはない。同様に、基準カメラの捕捉期間は、スペクトルカメラの捕捉期間の終了よりも２００～３００ｍｓ前に終了することはない。しかしながら、基準カメラの捕捉期間がスペクトルカメラの捕捉期間を完全にカプセル化することが好ましい場合がある。

基準フレームが時間ｔ１及びｔ３で捕捉され、スペクトルフレームが時間ｔ２で捕捉される例を考慮すると、ｔ２で動きを確立するために、補間が適用されても良い。ｔ０における何らかの基準フレームを基準とする時間ｔ１における動きをＭ１とし、ｔ０における同じ基準フレームを基準とする時間ｔ３における動きをＭ３とする場合、時間ｔ２における動きＭ２は、Ｍ１＋（ｔ２－ｔ１）／（ｔ３－ｔ１）＊（Ｍ３－Ｍ１）を使用して近似することができる。より高度な補間スキームも適用することができ、これは例えば立方補間のようなより多くの時間点に依存することができる。

ここでは、スペクトル画像及び基準画像を構成する一連の画像の一部として取り込まれた個々の画像を、フレーム、例えば、スペクトルフレーム及び基準フレームと呼ぶことに留意されたい。フレームのセット又はシーケンスは、画像と呼ばれる。即ち、複数又は一連のスペクトルフレームは、集合的にスペクトル画像を提供し、複数又は一連の基準フレームは集合的に基準画像を提供する。

撮像される対象は、例えば、人間の対象（即ち人間又は顔などの人間の特定領域）とすることができ、本発明の実施例は、人間の対象を撮像することに関して説明することができる。しかしながら、本発明の撮像システムは、撮像される特定のタイプの対象に限定されず、任意のスペクトル撮像システム及び任意の対象の撮像に適用されても良い。

複数のスペクトルフレームは、スペクトル画像を一緒に提供するスペクトルフレームのシーケンス、スタック、又は集合と見なすことができる。スペクトル画像はまた、短いビデオを提供するフレームのシーケンス又は集合と見なされても良く、フレームの各々は、複数の波長の任意の波長で捕捉される。即ち、各スペクトルフレームは、異なる波長で捕捉されても良く、又は１つ以上のスペクトルフレームは、同じ波長で捕捉されても良い。複数の基準フレームは、一緒に基準画像を提供する基準フレームのシーケンス、スタック、又は集合と見なすことができる。スペクトル画像が捕捉される複数の波長は、２つ以上の連続したスペクトルバンドの波長の中から波長であっても良い。スペクトル帯域は、紫外線範囲から赤外線範囲までであっても良く、赤外線範囲を含んでも良い。また該波長は、１つ以上のスペクトル帯域にわたる特定の波長範囲からの波長であっても良い。

算出ユニットは、複数の基準フレームのサブセットの各基準フレームについて動きベクトルを計算する。複数の基準フレームのサブセットは、１つの基準フレームから複数の基準フレームの全てまでの任意の数の基準フレームを含むことができる。従って、動きベクトルは、１つの基準フレームのみ、複数の基準フレームの各基準フレーム、又はその間の任意の数の基準フレームについて計算することができる。従って、基準フレームのサブセット内の基準フレームの数は、１と、基準カメラによって取り込まれた基準フレームの総数に等しい数と、の間の任意の整数とすることができる。該サブセットは、好適には、複数の基準フレームの大部分、例えば、捕捉された基準フレームの９０％を含むことができ、その結果、動きベクトルは、基準フレームの大部分の各々について算出される。

基準フレームの動きベクトルは、動きベクトルのセット又はマップを含むことができる。即ち、算出ユニットは、複数の基準フレームのサブセットの各基準フレームについて動きベクトルのセット又はマップを算出するように構成され得る。動きベクトルの各セット又はマップは、それぞれが基準フレーム内の画素に対応する、２つ以上の動きベクトルを含み得る。換言すれば、動きベクトルのセット又はマップは、それぞれが（ｘ，ｙ）座標対の組合せに対応する複数の動きベクトルを含むことができる。整合ユニットは、対象の整合部位がハイパースペクトルフレームの各々において同じ座標を有するように、スペクトルフレームを整合しても良い。即ち、撮像された対象の特徴は、整合部位又は基準点であっても良く、フレームは、特徴が各フレーム内の同じ座標に現れるように整合されても良い。対象の整合部位は、撮像システムに対する対象の位置に関連する空間位置に対応しても良い。換言すれば、整合部位は、対象の特徴が撮像システム、特にスペクトルカメラに対して位置決めされる空間的位置であっても良い。

撮像システムは、ハイパースペクトル画像又はマルチスペクトル画像を捕捉するためのシステムであっても良い従って、スペクトルカメラはハイパースペクトルカメラであっても良く、スペクトル画像はハイパースペクトル画像であっても良く、複数のスペクトルフレームはハイパースペクトルフレームであっても良い。同様に、スペクトルカメラはマルチスペクトルカメラであっても良く、スペクトル画像はマルチスペクトル画像であっても良く、複数のスペクトルフレームはマルチスペクトルフレームであっても良い。

スペクトルカメラの画像軸は、基準カメラの画像軸に対応し得る。カメラの撮像軸は、基準カメラの撮像軸がスペクトルカメラの撮像軸に対応し、これに相当するが、同一ではないように、共通／共有されても良く、又は実質的に共通であっても良い。

算出ユニットは、複数の基準フレームのうちの所与の基準フレームに対する複数の基準フレームのそれぞれの空間変位の量を推定することと、基準フレームとハイパースペクトルフレームとの間の所定のマッピング関数を使用して、各基準フレームの変位をマッピングすることとによって、動きベクトルのそれぞれを計算するように構成され得る。整合ユニットは、各基準フレームのマッピングされた変位を対応するスペクトルフレームに適用することによって、スペクトルフレームを互いに整合するように構成されても良い。

基準フレームの各動きベクトルは、動きベクトルのセット又はマップを含むことができる。算出ユニットは、複数の基準フレームのうちの所与の基準フレームのｘ、ｙ座標一対に一対する複数の基準フレームのそれぞれにおけるｘ、ｙ座標一対の各組み合わせについて空間変位量を推定することと、基準フレームとハイパースペクトルフレームとの間の所定のマッピング関数を使用して、各基準フレームについて各ｘ、ｙ座標一対の変位をマッピングすることとによって、動きベクトルのセット又はマップの各動きベクトルを計算するように構成され得る。整合ユニットは、各基準フレーム内のｘ，ｙ座標一対の各組み合わせについてマッピングされた変位を一対応するスペクトルフレームに適用することによって、スペクトルフレームを互いに整合するように構成されても良い。

基準フレームにおけるｘ，ｙ座標一対の各組み合わせの空間変位を推定しマッピングする代わりに、算出ユニットは、複数の基準フレームの所与の基準フレームの一対応するｘ，ｙ座標一対に一対する複数の基準フレームの各々におけるｘ，ｙ座標一対のサブセットのｘ，ｙ座標一対の各組み合わせについて空間変位の量を推定し、基準フレームとハイパースペクトルフレームとの間の所定のマッピング関数を使用して、各基準フレームについてｘ，ｙ座標一対のサブセットの各ｘ，ｙ座標一対の変位をマッピングするように構成されても良い。ｘ，ｙ座標対のサブセットは、基準フレームのｘ，ｙ座標対の過半数（例えば９０％）を含むことができる。

フレームからフレームへの変換は、典型的には、空間位置の関数であっても良く、その結果、空間変位は、所与の基準フレームに対してｘ方向及びｙ方向であっても良い。所与の基準フレームは、第１の取り込まれた基準フレーム、即ち、基準取り込み期間の開始時に取り込まれたフレームとすることができる。空間的置換は、例えば、Farenbaeckのオプティカルフロー（optical flow）のような、任意の適切なアルゴリズムを用いて決定することができる。複数の基準フレームの各々は、変位を決定する前にグレースケールに変換されても良い。
マッピング関数を計算することができる。

具体的には、算出ユニットは、対象の特徴に対応するスペクトル画像内の点のスペクトル組を識別することと、対象の特徴に対応する基準画像内の点の参照組を識別することと、点のスペクトル組と点の参照組との間で回帰を実行することと、回帰からマッピング関数を決定することとによって、マッピング関数を計算するように構成され得る。撮像システムは、撮像システムのユーザから入力を受け取るように構成されたユーザ入力部を更に備えることができる。点のスペクトル集合及び点の基準集合は、ユーザからの入力に従って識別されても良い。

代替としては、算出ユニットは、第１の時点に対応するスペクトルフレームにランドマーク検出技術を適用することと、第１の時点に対応する基準フレームにランドマーク検出技術を適用することと、準同型マッピング技術をスペクトルフレーム及び基準フレームに適用することと、準同型マッピング技術からマッピング関数を決定することとによって、マッピング関数を計算するように構成され得る。
基準カメラは、広帯域可視範囲カメラであっても良く、又は基準カメラは、狭帯域カメラであっても良い。

基準カメラは、モノクロカメラであっても良いし、ＲＧＢカメラであっても良い。モノクロカメラは、グレースケールカメラ、即ち、モノクロ又はグレースケールの画像及びフレームを得るためのカメラと考えることもできる。好適には、広帯域信号を使用することができる。

基準カメラは、所定の（固定された）帯域幅で基準画像を捕捉するように構成されても良い。基準カメラは、所定の（固定された）波長で基準画像を捕捉するように構成されても良い。

スペクトルカメラは、対象から反射された光を捕捉するように構成された光学系と、捕捉された光が通過し、複数の波長の波長に光をフィルタリングするように構成された調整可能なフィルタと、調整可能なフィルタを通過する光をスペクトルフレームに捕捉するように構成された広帯域撮像センサと、を備えても良い。調整可能なフィルタは、複数の波長の各々に順次調整され、スペクトルフレームが複数の波長の各々で捕捉されるようにすることができる。フィルタは、異なる波長を有するスペクトルフレームが各時点で捕捉されるように、スペクトル捕捉期間のスペクトル時間点の各々において再チューニングされても良い。スペクトル時間点の数は、複数の波長の波長の数に対応し得る。例えば、波長の数及びスペクトル時間点の数は等しくても良く、又は波長の数は、分数、例えば、スペクトル時間点の数の半分であっても良い。

代替としては、フィルタは、スペクトルフレームの各々が同じ波長で捕捉されるように、又は２つ以上のフレームが同じ波長で捕捉されるように、調整されても良い。この場合、例えば、フィルタは、各スペクトル時間ではなく、ｎ個の時間の各時間で再調整されても良く、ここでｎは、スペクトル捕捉期間におけるスペクトル時間の数以下の整数である。

基準カメラは、対象から反射された光を捕捉するように構成された光学系と、捕捉された光が通過し、基準フレームを出力するように構成された撮像センサと、を有しても良い。基準フレームは、基準捕捉期間の基準時点の各々において捕捉されても良い。

本発明は、システム態様に対応する方法態様に拡張される。なお、撮像方法は、画像の整合方法や画像処理方法としても考えられる。

特に、第２の態様の一実施例によれば、対象を撮像するための撮像方法であって、複数のスペクトル時間点を有するスペクトル捕捉期間において対象のスペクトル画像を捕捉するステップであって、前記スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、前記複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、ステップと、複数の基準時間点を有し、前記スペクトル捕捉期間に対応する、基準捕捉期間において、前記対象の基準画像を捕捉するステップであって、前記基準画像は、それぞれが前記複数の基準時間点のうちの１つの基準時間点及び前記複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、ステップと、前記複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するステップと、各算出された動きベクトルを、前記複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、前記スペクトルフレームを互いに対して整合させるステップと、を有する、撮像方法が提供される。

システム及び装置の態様の特徴及び副次的特徴は、方法の態様に適用されても良く、逆もまた同様である。

本発明は、計算装置上で実行されるときに、本発明の方法態様のいずれか、又はそれらの任意の組合せに従って、撮像方法を実行するコンピュータプログラム態様にまで拡張される。

特に、第３の態様によれば、計算装置上で実行されたときに、対象を撮像する方法を実行するコンピュータプログラムであって、前記方法は、複数のスペクトル時間点を有するスペクトル捕捉期間において対象のスペクトル画像を捕捉するステップであって、前記スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、前記複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、ステップと、複数の基準時間点を有し、前記スペクトル捕捉期間に対応する、基準捕捉期間において、前記対象の基準画像を捕捉するステップであって、前記基準画像は、それぞれが前記複数の基準時間点のうちの１つの基準時間点及び前記複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、ステップと、前記複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するステップと、各算出された動きベクトルを、前記複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、前記スペクトルフレームを互いに対して整合させるステップと、を有する、コンピュータプログラムが提供される。

例えば、コントローラのような本発明の態様は、ディジタル電子回路において、又はコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はそれらの組み合わせにおいて実装されても良い。本発明の態様は、１つ又は複数のハードウェアモジュールによる命令実行のために、又は１つ又は複数のハードウェアモジュールの動作を制御するために、コンピュータプログラム又はコンピュータプログラム製品、即ち、情報キャリア、例えば、機械可読記憶デバイス、又は伝搬信号において有形に実施されるコンピュータプログラムとして実装され得る。コンピュータプログラムは、スタンドアロン型プログラム、コンピュータプログラム部分、又は１つ以上のコンピュータプログラムの形式であっても良く、コンパイル又は解釈された言語を含む任意の形成のプログラミング言語で記述することができ、スタンドアロン型プログラムとして、又は通信システム環境での使用に適したモジュール、コンポーネント、サブルーチン、又はその他のユニットとして含む任意の形成で展開することができる。コンピュータプログラムは、１つのモジュール上、又は１つのサイトの複数のモジュール上で実行されるように配備されても良く、又は複数のサイトに分散され、通信ネットワークによって相互接続されても良い。

本発明の方法ステップの態様は、入力データに対して動作し、出力を生成することによって、本発明の機能を実行するためのコンピュータプログラムを実行する１つ又は複数のプログラマブルプロセッサによって実行され得る。本発明の装置の態様は、プログラムされたハードウェアとして、又は、例えば、ＦＰＧＡ (フィールドプログラマブルゲートアレイ）又はＡＳＩＣ (特定用途向け集積回路）を含む専用論理回路として実装されても良い。

コンピュータプログラムの命令実行に適したプロセッサには、一例として、汎用及び特殊目的マイクロプロセッサの両方、及び任意の種類のディジタルコンピュータの任意の１つ以上のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリ又はランダムアクセスメモリ、あるいはその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令及びデータを記憶するために、１つ以上の記憶装置に結合された命令を実行するためのプロセッサである。

それ故、本発明の実施例は、ぼけを最小限に抑えることができ、空間解像度を最大限にすることができるように、マルチスペクトル画像又はハイパースペクトル画像などのスペクトル画像内のフレームを整合するための手段を提供することができることが分かるであろう。

本開示の実施例は、様々な構成要素及び構成要素の配置、並びに様々なステップ及びステップの配置の形態をとることができる。従って、図面は、様々な実施例を例示するためのものであり、実施例を限定するものとして解釈されるべきではない。図面において、同様の参照番号は同様の要素を指す。更に、図面は一定の縮尺で描かれていないことに留意されたい。

本発明の一般的な実施例による撮像システムのブロック図である。 本発明の一般的な実施例による撮像方法のフロー図である。 複数のハイパースペクトルフレームを含むハイパースペクトル画像の一例を示す図である。 本発明の一態様の一実施例によるカメラ構成例のブロック図である。

本開示の実施例、並びにその様々な特徴及び有利な詳細は、図面に記載及び／又は図示され、以下の説明で詳述される非限定的な例を参照して、より完全に説明される。図面に示される特徴は、必ずしも縮尺通りに描かれておらず、１つの実施例の特徴は、ここで明示的に述べられていなくても、当業者が認識するように、他の実施例とともに使用されても良いことに留意されたい。本開示の実施例を不必要に曖昧にしないように、周知の構成要素及び処理技術の説明は省略され得る。ここで使用される例は、単に、本発明の実施例を実施することができる方法の理解を容易にすること、及び当業者がそれを実施することを更に可能にすることを意図している。従って、ここでの実施例は、添付の特許請求の範囲及び適用可能な法律によってのみ定義される、本開示の実施例の範囲を限定するものとして解釈されるべきではない。

本開示の実施例は、ここで説明される特定の方法、プロトコル、デバイス、装置、材料、アプリケーションなどに限定されず、これらは変化し得ることが理解される。また、ここで使用される用語は、特定の実施例を説明する目的のためだけに使用され、特許請求される実施例の範囲を限定することを意図していないことを理解されたい。
ここ及び添付の特許請求の範囲で使用されるように、単数形「１つの（a、an）」及び「その（the）」は、文脈が明らかにそうでないことを指示しない限り、複数の参照を含むことに留意されたい。

別段の定義がない限り、ここで使用される全ての技術用語及び科学用語は、本開示の実施例が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。好適な方法、デバイス、及び材料が説明されるが、ここで説明されるものと類似又は同等の任意の方法及び材料が、実施例の実施又は試験で使用されても良い。

以上に議論されたように、ぼけが最小化され、空間解像度が最大化され得るように、スペクトル画像のフレームを整列させることによって、撮像される対象の動きが補償され得るスペクトル画像システム及び方法を提供することが望ましい。本発明の実施例は、動きベクトルを計算し、ハイパースペクトル画像のフレームのようなスペクトル画像フレームに適用して、スペクトルカメラによって撮像されたフレームを整列させる撮像システム及び撮像方法を提供する。動きベクトルは、基準画像のフレームから計算される。本発明の実施例は、マルチスペクトル画像化、ハイパースペクトル画像化、画像整合、及び／又は画像整合に関すると考えることができる。

図１は、本発明の一般的な実施例による撮像システムのブロック図を示す。撮像システム１は、スペクトルカメラ２と、基準カメラ３と、算出ユニット４と、整合ユニット５とを備える。スペクトルカメラ２は、例えば、人間の対象のような、撮像されている対象のスペクトル画像を取り込むように構成される。基準カメラ３は、対象の基準画像を捕捉するように構成される。基準画像は、所定の波長及び／又は所定の帯域幅で捕捉することができる。算出ユニット４は、複数の基準フレームのサブセットの基準フレームごとに動きベクトルを計算するように構成される。整合ユニット５は、演算された動きベクトルを対応する複数のスペクトルフレームのスペクトルフレームにそれぞれ適用することによって、スペクトルフレームを互いに整合するように構成されている。

撮像システム１の配置は、理解を助けるための例示的なブロック図としてのみ図１に示されており、撮像システムの配置要素は、本発明の実施例に従って、異なるように配置することができる。例えば、スペクトルカメラ２及び基準カメラ３は、要素を共有しても良く、又は空間的に分離された個々の構成要素であっても良い。算出ユニット４及び整合ユニット５は、スペクトルカメラ２及び基準カメラ３によって取り込まれた画像データを処理するように構成されたコンピュータシステムの一部として、プロセッサ又は別個のプロセッサによって提供されても良い。算出ユニット４は、スペクトルカメラ２及び／又は基準カメラ３の一部として設けることができる。同様に、整合ユニット５は、スペクトルカメラ２及び／又は基準カメラ３の一部として提供されても良い。

図２は、本発明の一般的な実施例による撮像方法のフロー図を示す。ステップＳ５１において、対象のスペクトル画像が捕捉される。スペクトル画像は、複数のスペクトル時間点を含む、スペクトル捕捉期間である時間周期で捕捉される。捕捉されたスペクトル画像は、各々が複数の波長の波長で捕捉され、各々が複数のスペクトル時間点のスペクトル時間点に対応する複数のスペクトルフレームを含む。各スペクトルフレームは、異なる波長で捕捉されても良く、又は１つ以上のスペクトルフレームは、同じ波長で捕捉されても良い。ステップＳ５２では、対象の基準画像を撮像する。基準画像は、所定の波長及び／又は所定の帯域幅で捕捉することができる。基準画像は、複数の基準時点を含む基準捕捉期間である期間に捕捉される。基準捕捉期間は、スペクトル捕捉期間に対応する。基準画像は、それぞれが複数の参照時間点の参照時間点に対応する複数の基準フレームと、複数のスペクトルフレームのスペクトルフレームとを含む。ステップＳ５３において、複数の基準フレームのサブセットの各基準フレームに対する動きベクトルが計算される。最後に、ステップＳ５４にてスペクトルフレームを互いに整列させる。スペクトルフレームは、それが対応する複数のスペクトルフレームのスペクトルフレームにそれぞれ計算された動きベクトルを適用することによって整合される。

本発明は、スペクトル画像に関し、特に、本発明の一態様の実施例は、人間の対象のスペクトル画像に関する。スペクトル撮像システムは、人間の対象を撮像するためのハイパースペクトルカメラを含む高解像度ハイパースペクトル撮像システムであっても良い。しかしながら、人間の対象を画像化する場合、対象は、画像化プロセスの間、随意的又は不随意的に、動き得る。

本発明の実施例によれば、複数のハイパースペクトル又はマルチスペクトル画像フレームを捕捉するプロセス中の人間の対象の自然な動きに起因する空間依存画像アーチファクトは、各画像フレームに動きベクトルを適用することによって補償することができる。動きベクトルは、基準カメラ（基準フレーム）を使用して同時に捕捉された画像フレームから導出される。それ故、本発明の実施例は、高解像度合成画像をもたらす各画像ピクセルにおけるモーションアーチファクトのないスペクトル解析を可能にすることができる。

基準カメラは、両方のカメラの画像が共通の撮像軸に沿って取り込まれるように、ハイパースペクトルカメラと共通の撮像軸を有することができる。カメラの撮像軸は、基準カメラの撮像軸が、スペクトルカメラの撮像軸に対応し、同一ではないが同等であるように、実質的に共通であっても良い。例えば、スペクトルカメラ及び基準カメラは、同じ撮像素子の一部として提供されても良いが、撮像軸が同一ではなく、類似しているように、互いに隣接していても良い。具体例としては、ハイパー／マルチスペクトルカメラが、通常のＲＧＢカメラの隣のスマートフォンに配置されている場合が挙げられる。それ故、画像軸は同一であっても類似していても良い。

基準カメラによって捕捉された物体の動き推定を可能にし、推定された動きをスペクトルカメラに適用するために、両方のカメラは物体（オブジェクト）の実質的に共通のビューを有するべきである。それ故、基準カメラの軸とスペクトルカメラの軸との間の角度は、数度（例えば２度）を超えてはならない。１ｍの物体距離（即ち、対象がカメラから１ｍの距離にある場合）では、このことは、スペクトルカメラ及び基準カメラが約数センチメートル離れていることに変換される。しかしながら、物体が実質的に平坦である場合には、より大きな角度が許容される。

以上に議論されたように、スペクトル画像は、典型的には、フレームのシーケンス（ショートムービーと考えることができる）からなり、各フレームに対して、フィルタが特定の波長に同調される。ハイパースペクトル画像では、各フレームは、例えば、ＵＶ範囲から赤外範囲まで、連続したスペクトルバンドの波長とは異なる波長で捕捉され得る。それ故、ハイパースペクトル画像スキャンは、完了するのに数秒かかる。

人間の対象を画像化する場合、人間の対象は、通常、スキャン中に微小な動きをするであろう。一つは、典型的には、スペクトル撮像における特定の空間位置でのスペクトルに関心があり、そのため、スペクトル画像の捕捉されたフレームの全てが整列されることが不可欠である。即ち、例えば、波長４４０ｎｍで走査され、座標（Ｘ、Ｙ）に存在する人間の顔のような対象のある点に対して、例えば、７００ｎｍで走査された顔の全く同じ点は、同じ座標（Ｘ、Ｙ）に存在すべきである。点が複数のフレーム内の同じ座標で発生しない場合、行われる処理は、ぼけ、及び空間コントラストの低下をもたらす可能性がある。

図３は、複数のスペクトルフレームを含むスペクトル画像の一例を示す図である。具体的には、スペクトル画像は、複数のハイパースペクトルフレームを含む人間の顔のハイパースペクトル画像であっても良い。複数のハイパースペクトルフレームの各々は、複数の波長の波長で捕捉される。即ち、各フレームに対して、ハイパースペクトルカメラのフィルタは、フレームが特定の波長で捕捉されるように、特定の波長に同調される。各スペクトルフレームは、異なる波長で捕捉されても良く、又は１つ以上のスペクトルフレームは、同じ波長で捕捉されても良い。

図３のｘ軸は時間を表し、ｙ軸は波長値を表す。従って、ある期間内の各時点について、フレームがある波長で捕捉されることが分かる。波長は、複数の連続したスペクトルバンドの波長であっても良く、赤外線範囲まで及びそれを含むＵＶ範囲から広がっていても良い。各スペクトルフレームは、異なる波長で捕捉されても良く、又は１つ以上のスペクトルフレームは、同じ波長で捕捉されても良い。赤、緑、及び青の画像のみが導出される従来の写真とは対照的に、異なる波長の複数（スタック、シーケンス、収集など）の画像（フレームと呼ばれる）が生成される。

ハイパースペクトル又はマルチスペクトル画像化における画像整合の処理は、画像が特定の波長（例えばＩＲ範囲）で非常に限定された空間コントラスト又は細部を有し得るという事実によって、更に妨げられる。例えば、４９０ｎｍのような可視スペクトル内の波長で捕捉されるフレームは、１０１０ｎｍのようなＩＲ範囲内の波長におけるフレームよりもはるかに高い空間的詳細を有することになる。また、最大の機械的安定性が保証されたとしても、小さな動きが依然として起こりやすいことにも留意されたい。

以上に議論されたように、本発明の実施例の主な要素は、一連の画像を生成する波長で画像（フレーム）を連続的に撮像する対象を撮像するためのスペクトル撮像カメラアセンブリ（マルチスペクトル又はハイパースペクトルなど）と、スペクトル撮像カメラアセンブリと共通の（又は実質的に共通の）撮像軸を有するように構成された、固定された帯域幅及び波長で対象を撮像する基準カメラアセンブリと、スペクトル撮像カメラ及び基準カメラによる画像フレームの同時記録と、基準画像フレームからの動きベクトルの計算と、フレームを整合するためのスペクトル画像フレームへの計算された動きベクトルの適用と、を含む。

図４は、本発明の一態様の実施例に係るカメラ構成例のブロック図である。
カメラ構成は、対象６の画像を捕捉し、複数のハイパースペクトルフレームからなるハイパースペクトル画像２０と、複数の基準フレーム３０からなる基準画像とを出力する。図４のカメラ構成は、光学系２１と、調整可能なフィルタ２２と、広帯域撮像センサ２３と、ＲＧＢ撮像センサ３１とを有する。

カメラ構成は、光学系２１、同調可能フィルタ２２及び広帯域センサ２３を含むハイパースペクトル撮像システムと、ＲＧＢセンサ３１を含み、ハイパースペクトルシステムの光学系２１を共有する（同調可能フィルタ２２を除く）基準カメラシステムとを備えると考えることができる。対象６から反射された光は、システムの光学系２１によって捕捉される。この光は、ハイパースペクトル画像の各フレームに対して特定の波長に移動する同調可能フィルタ２２を介して供給される。広帯域撮像センサ２３は、フィルタ２２を通って到来する光を、ハイパースペクトル画像を提供するハイパースペクトルフレームのシーケンスに捕捉する。並行して、光学系２１によって捕捉された光は、ＲＧＢカメラセンサ３１にも供給され、ＲＧＢフレームのシーケンスを出力し、このＲＧＢフレームは、基準画像を提供する。

基準カメラの重要な態様は、十分な空間的詳細を有する基準画像及び基準フレームを提供すべきであるということである。このことは、典型的には、可視スペクトルのかなりの部分を捕捉する基準システムの適切な光学系を選択することによって実現され得る。それ故、基準カメラは、広帯域可視範囲を捕捉するカメラであっても良く、代替的に、カメラの帯域幅が、十分な空間的詳細及び解像度を捕捉するように選択されることを条件に、狭帯域カメラであっても良い。フルフェイスハイパースペクトル／マルチスペクトル画像化の適用のためには、基準カメラは、少なくともＶＧＡ解像度（６４０×４８０ピクセル）を有することが好ましい場合がある。基準カメラは、ＲＧＢカメラ又はグレースケールカメラであっても良い。

基準画像の空間的詳細は、基準フレーム間の変位が決定され得るように必要とされる。特定の波長におけるスペクトル画像のフレームの空間的詳細は変位を決定するのに十分ではないので、変位はスペクトル画像から直接決定することはできない。例えば、ＩＲ範囲の波長において捕捉されるスペクトルフレームの空間的細部は、基準フレームの空間的細部に比べて大幅に減少するであろう。

マッピングベクトルは、基準画像の基準フレームから決定される。第一段階として、基準カメラ（ＲＧＢカメラなど）を用いた対象の動きを推定する。この目的のために、ＲＧＢ画像（信号）は、最初に、複数のグレースケールフレームを含むグレースケール画像に変換されても良い。次いで、グレースケールフレームは、予め定義された基準フレーム、例えば第１のフレームに対する各フレームの（局所的である）変位の量を推定する動き推定器を介して供給される。

換言すれば、動きベクトルは、第２の基準フレームに向かう第１のフレームの局所変位を推定することによって推定される。従って、Ｈ×Ｗピクセルの２つの画像が与えられた場合、出力はＨ×Ｗピクセルの変位マップであり、基準フレーム上にマッピングされるために最初のフレームの各ピクセルがどれだけ変位される必要があるかを記述する。変位を決定するための多くのアルゴリズム、例えばFarnebaeckのオプティカルフロー（optical flow）が当技術分野で知られている。

その結果、ＲＧＢフレーム毎に（局所的な）変位量が分かる。これらの変位は、ハイパースペクトルフレームに重ね合わせる必要がある。第一に、センサの微小な変位と同様に、異なるセンササイズのために、光学系を共有しているにもかかわらず、ハイパースペクトルフレームとＲＧＢフレームは、典型的には、完全に一致しないであろう。従って、変位が重ね合わされる前に、それらはマッピングされる必要がある。この目的のために、所定のマッピング関数が、基準フレームをスペクトルフレームにマッピングするために使用される。更に、基準カメラとハイパー／マルチスペクトルカメラの両方が、両方のカメラに向かう光学軌道が異なる部分における異なるセンササイズ、解像度、及び追加の光学素子のために、（実質的に）同じ光軸を共有し得るという事実にもかかわらず、基準フレームにおけるピクセル位置（ｘ、ｙ）における物体は、ハイパー／マルチスペクトルフレームにおけるその同じピクセル位置（ｘ、ｙ）に対応しないことに留意されたい。マッピングは、差を補償するために提供される。実際には、元の画像の広帯域表現を生成する任意のマッピングが適切である。

マッピングはまた、算出のために提供される以下の２つの技術を用いて算出されても良い。マッピングを算出するための２つの方法は、オフライン対オンラインと見なすことができる。

第１の技法では、１組の画像が取り込まれ、これらの画像について、多数の点が、ハイパースペクトル及びＲＧＢカメラ画像において二重に手動で注釈付けされる。点は、例えば、個々の毛、しわ、目、そばかすなどであっても良い。次に、両方の点の組の間で回帰が行われ、これにより、マッピング式が効果的に導かれる。カメラ解像度テストチャートのような、十分な空間的細部を有する基準物体の画像を使用することが好ましい。

この第一の技術により、このアイデアは、基準カメラの画素位置（ｘ、ｙ）がハイパー／マルチスペクトルカメラ上の画素位置（ｘ'、ｙ）'にどのようにマッピングされるかを示すマッピングを見つけることである。撮影された１つ又は複数の画像に基づいて、人は、座標（ｘ、ｙ）、（ｘ'、ｙ'）のマッチングペアの大きなセットに注釈を付ける。次に、これらの一対は全て、任意の（ｘ、ｙ）を（ｘ'、ｙ'）にマッピングするための最良のパラメータ化を見つけるアルゴリズムに供給される。非常に単純な例では、アルゴリズムは、ｘ'＝（ａ＊ｘ）＋（ｂ＊ｙ）、及びｙ'＝（ｃ＊ｘ）＋（ｄ＊ｙ）のａ、ｂ、ｃ、及びｄを見つける。

第２の技術では、（例えばスケール不変特徴変換（Scale Invariant Feature Transforms－ＳＩＦＴ）ランドマーク検出技術が、ハイパースペクトルフレームの一方と、略同じ時点でショットされるＲＧＢフレームの一方との両方に適用される。次いで、準同型マッピング技術（例えばランダムサンプルコンセンサス（ＲＡＮＳＡＣ）など）を使用して、ハイパースペクトルフレームとＲＧＢフレームとの間の最適マッピングを決定する。

この第２の技法は、第１の技法と同様のものを確立しようとするが、特徴検出及びマッチング／フィルタリングを使用して、マッチング点（座標の一対）を見つける。このことは、（時間の経過及び／又は装置の経過に伴って）生じる小さな偏差が補償されるという利点を有する。この第２の技術の欠点は、追加の複雑さと、不十分なマッチングが行われている場合に誤差が導入される可能性があることである。

マッピング関数が決定された後、検出された動きは、各基準フレームについてマッピング関数を介してマッピングされ、ハイパースペクトル画像の対応するハイパースペクトルフレームに適用される。その結果、ハイパースペクトル画像のシーケンスは適切に整列される。以上に議論されたように、基準カメラとしてＲＧＢカメラの代わりにグレースケール又は狭帯域カメラを使用しても良い。画像に十分な空間的詳細が存在する任意のカメラが適している。

以上から分かるように、本発明の実施例は、基準画像を使用してスペクトル画像のフレームが整合される撮像システムを提供することができ、その結果、画像処理中に撮像されている対象の動きを補償することができ、ぼけを最小限に抑えることができ、空間解像度を最大限にすることができる。本発明の実施例は、上述の技術における欠点を克服することができる。

幾つかの例示的な実施例のみが上記で詳細に説明されたが、当業者は、本開示の実施例の新規な教示及び利点から実質的に逸脱することなく、例示的な実施例において多くの修正が可能であることを容易に理解するであろう。本発明の上述の実施例は、有利には、他の実施例とは独立して、又は実施例のうちの１つ以上の他の実施例との任意の実現可能な組み合わせで使用されても良い。

従って、斯かる修正は全て、以下の特許請求の範囲に定義されるような本開示の実施例の範囲内に含まれることが意図される。特許請求の範囲において、ミーンズプラスファンクション節は、列挙された機能を実行するものとしてここに記載された構造、並びに構造的等価物だけでなく、同等の構造も包含するように意図されている。

更に、１つ以上の請求項において括弧内に付された参照記号は、請求項を限定するものと解釈してはならない。「有する（comprising及びcomprises）」等の語は、請求項又は明細書全体に列挙された要素又はステップ以外の要素又はステップの存在を排除するものではない。要素の単数形の参照は、斯かる要素の複数形の参照を排除するものではなく、その逆も同様である。実施例のうちの１つ又は複数は、幾つかの別個の要素を備えるハードウェアによって実装され得る。幾つかの手段を列挙するデバイス又は装置の請求項において、これらの手段の幾つかは、ハードウェアの１つの同じアイテムによって具現化されても良い。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

Claims (14)

1. 対象を撮像するための撮像システムであって、
   複数のスペクトル時間点を有するスペクトル捕捉期間において対象のスペクトル画像を捕捉するように構成され、前記スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、前記複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、スペクトルカメラと、
   複数の基準時間点を有し、前記スペクトル捕捉期間に対応する、基準捕捉期間において、前記対象の基準画像を捕捉するように構成され、前記基準画像は、それぞれが前記複数の基準時間点のうちの１つの基準時間点及び前記複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、基準カメラと、
   前記複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するよう構成された、算出ユニットと、
   各算出された動きベクトルを、前記複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、前記スペクトルフレームを互いに対して整合させるよう構成された、整合ユニットと、
   を有する、撮像システム。
2. 前記撮像ユニットは、前記対象の整合部位が、前記スペクトルフレームのそれぞれにおいて同じ座標を持つよう、前記スペクトルフレームを整合させるよう構成された、請求項１に記載の撮像システム。
3. 前記対象の前記整合部位は、前記撮像システムに対する前記対象の位置に関連する空間的位置に対応する、請求項２に記載の撮像システム。
4. 前記スペクトルカメラは、ハイパースペクトルカメラであり、前記スペクトル画像は、ハイパースペクトル画像であり、前記複数のスペクトルフレームは、ハイパースペクトルフレームである、又は、
   前記スペクトルカメラは、マルチスペクトルカメラであり、前記スペクトル画像は、マルチスペクトル画像であり、前記複数のスペクトルフレームは、マルチスペクトルフレームである、
   請求項１乃至３のいずれか一項に記載の撮像システム。
5. 前記スペクトルカメラの撮像軸は、前記基準カメラの撮像軸に対応する、請求項１乃至４のいずれか一項に記載の撮像システム。
6. 前記算出ユニットは、
   前記複数の基準フレームのうち所与の基準フレームに対して前記複数の基準フレームのそれぞれについての空間的変位の量を推定し、
   前記基準フレームと前記ハイパースペクトルフレームとの間の所定のマッピング関数を用いて、各基準フレームについての変位をマッピングする
   ことにより、前記動きベクトルのそれぞれを算出するよう構成され、
   前記整合ユニットは、
   各基準フレームについての前記マッピングされた変位を前記対応するスペクトルフレームに適用する
   ことにより、前記スペクトルフレームを互いに対して整合させるよう構成された、
   請求項１乃至５のいずれか一項に記載の撮像システム。
7. 前記基準カメラは、広帯域可視範囲カメラである、請求項１乃至６のいずれか一項に記載の撮像システム。
8. 前記基準カメラは、狭帯域カメラである、請求項１乃至６のいずれか一項に記載の撮像システム。
9. 前記基準カメラは、
   モノクロカメラ、及び
   ＲＧＢカメラ
   のうちの一方である、請求項１乃至８のいずれか一項に記載の撮像システム。
10. 前記基準カメラは、
    所定の波長、及び
    所定の帯域幅
    のうちの１つ以上で前記基準画像を捕捉するよう構成された、請求項１乃至９のいずれか一項に記載の撮像システム。
11. 前記スペクトルカメラは、
    前記対象から反射された光を捕捉するよう構成された光学系と、
    前記捕捉される光が通過し、前記複数の波長のうち１つの波長に前記光をフィルタリングするよう構成された、調整可能なフィルタと、
    前記調整可能なフィルタを通ってスペクトルフレームへと到来する光を捕捉するよう構成された、広帯域撮像センサと、
    を有する、請求項１乃至１０のいずれか一項に記載の撮像システム。
12. 前記基準カメラは、
    前記対象から反射された光を捕捉するよう構成された光学系と、
    前記捕捉される光が通過し、基準フレームを出力するよう構成された、撮像センサと、
    を有する、請求項１乃至１１のいずれか一項に記載の撮像システム。
13. 対象を撮像するための撮像方法であって、
    複数のスペクトル時間点を有するスペクトル捕捉期間において対象のスペクトル画像を捕捉するステップであって、前記スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、前記複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、ステップと、
    複数の基準時間点を有し、前記スペクトル捕捉期間に対応する、基準捕捉期間において、前記対象の基準画像を捕捉するステップであって、前記基準画像は、それぞれが前記複数の基準時間点のうちの１つの基準時間点及び前記複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、ステップと、
    前記複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するステップと、
    各算出された動きベクトルを、前記複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、前記スペクトルフレームを互いに対して整合させるステップと、
    を有する、撮像方法。
14. 計算装置上で実行されたときに、対象を撮像する方法を実行するコンピュータプログラムであって、前記方法は、
    複数のスペクトル時間点を有するスペクトル捕捉期間において対象のスペクトル画像を捕捉するステップであって、前記スペクトル画像は、それぞれが複数の波長のうちの１つの波長で捕捉され、前記複数のスペクトル時間点のうちの１つのスペクトル時間点に対応する、複数のスペクトルフレームを有する、ステップと、
    複数の基準時間点を有し、前記スペクトル捕捉期間に対応する、基準捕捉期間において、前記対象の基準画像を捕捉するステップであって、前記基準画像は、それぞれが前記複数の基準時間点のうちの１つの基準時間点及び前記複数のスペクトルフレームのうちの１つのスペクトルフレームに対応する、複数の基準フレームを有する、ステップと、
    前記複数の基準フレームのサブセットのそれぞれの基準フレームについての動きベクトルを算出するステップと、
    各算出された動きベクトルを、前記複数のスペクトルフレームのうちの対応するスペクトルフレームに適用することにより、前記スペクトルフレームを互いに対して整合させるステップと、
    を有する、コンピュータプログラム。

Images