JP7207875B2 - ビデオ画像の背景クラッタの抑制 - Google Patents

Description

本開示は一般的に撮像及び追跡に係り、特にビデオ画像（動画）の背景クラッタ（雑音）の抑制に関する。

撮像及び追跡システムは典型的には物体を特定及び追跡するセンサを含む。例えば、レーダーシステム等の一部センサは信号を送信し、その信号は物体から反射してシステムによって受信される。電気光学センサ等の他のセンサは、物体自体から電磁放射信号を受信する。この分野における改善は、センサがより正確になるように改良することを目的としてきた。

具体的には、電気光学センサは典型的には望遠鏡と、赤外（ＩＲ，ｉｎｆｒａｒｅｄ）放射を検出する焦点面アレイとを用いる。クラッタのある環境における自動光学検出用の多くの手法は、シグネチャ増強と、形状マッチングと、動き検出との組み合わせに依存している。こうした手法は、所与の条件及び状況において示される関心物体と背景との間の差異を利用しようとするものである。例えば、地球大気背景と物体との間の大きな温度差は、連続的な検出器出力アレイに対する適応閾値化を可能にして、一貫した超過量を生じさせ、その超過量を高確率目標検出と相関させることができる。検出及び誤警報率の確率に対する要求は、センサハードウェア、プロセッサアーキテクチャ、データ分析アルゴリズムと性能的に引き換えになる。

宇宙から地上を偵察する場合、特定のＩＲ帯域を用いて、背景応答を抑制しながら、既知の目標シグネチャ応答の最適マッチングを行う。場合によっては、複数の帯域を用いて、それらの間の応答の差を利用することで、多重チャネルデータセットを生成して、それらから、関心物体を望ましくない背景クラッタと区別する。

地球低軌道領域において小型（未分解）でぼんやりした（背景限界）の対象を探すコスト効率的な偵察システムでは、目標信号積分と最大背景放射輝度レベルと任務タイムラインとによって決定されるフレームレートにおいて途切れずにスキャン処理を行うことが要求される。要求は、一般的に、見通し線（視線）（ＬＯＳ，ｌｉｎｅ ｏｆ ｓｉｇｈｔ）レート及び投影画素サイズによるものか、又は地上サンプル距離（ＧＳＤ，ｇｒｏｕｎｄ ｓａｍｐｌｅ ｄｉｓｔａｎｃｅ）によるものである。こうした種類のシステムに関する検出を制限する影響として、静的な（雑音の）視野パターン、固定パターンノイズ（ＦＰＮ，ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ）、経時的ノイズ（例えば、熱的、光子ショット、デジタル読み出し等）、ＩＲセンサの検出器画素の不完全性（動作不能な画素）が挙げられ、目標シグネチャと競合する局所的な背景クラッタ構造は抑制される。

既存の手法では、ＦＰＮを除去するのに、較正ステップを要し、そのステップでは、現在のパターンが推定される。これは通常、入力無しでの「ダークフレーム」を発生させることを含み、ＦＰＮ成分のみが存在しているフレームを生成する。ＦＰＮパターンは、検出処理間隔よりも大きな時間スケールでドリフトし得るので、周期的なＦＰＮ較正が必要とされる。宇宙関連応用では、センサのＬＯＳを空っぽな宇宙に向けて、フレームセットを収集し、次いで平均化して現在のＦＰＮの推定とすることによって、ダークフレームを発生させることができる。このプロセスは、タイムラインの連続性及びリソース操作に影響する。

検出器の経時的ノイズについては、ノイズを平均化する一方で比較的一定な目標シグネチャを増強するフレーム積分を用いて対処することが多い。効果的なフレーム積分は、一定な背景パターン同士を相関させる登録プロセスを要する。登録プロセスは、画像フレームの相互相関に基づいたものとなるか、又はナビゲーションユニットデータによるものとなり得る。積分間隔（つまりは、フレームの追加数）は、その期間にわたる目標の動きが、シグネチャが蓄積可能な登録画素内に保たれるように設定される。その結果として、目標プラス背景の画像フレームにおいて画素ノイズが減る。

次いで、目標シグネチャを背景パターンから分離しなければならない。背景は、目標が存在しない同じ登録済みの積分フレームに現れているので、この分離は、背景の局所的推定の減算によって行われる。実際的には、目標が異なる画素へと僅かにその位置をずらした僅かに異なる時点において、第二の積分フレームを発生させる。そうすると、差分フレームが、移動している物体の存在を、残留背景クラッタによって囲まれた同じ位置の二重パルスとして示す。

検出性能にとって重要なのは、検出及び誤警報率の要求に対して適切な信号対ノイズ比（ＳＮＲ，ｓｉｇｎａｌ‐ｔｏ‐ｎｏｉｓｅ ｒａｔｉｏ）を生じさせる程度に残留クラッタを抑制することである。

本開示の例示的な実施形態は、ビデオ画像において前景目標に対して背景クラッタを抑制するための改良された装置、方法、及びコンピュータ可読記憶媒体を対象としている。例示的な実施形態は、静的構造デコンボリューションを、無限インパルス応答（ＩＩＲ，ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）フレーム積分と動作不能画素抑制と組み合わせて用いて、クラッタ中のぼんやりとした目標の検出に対する解決策を提供する。一部例の第一ステージでは、周期的なダークフレーム較正の必要性を無くす継続的プロセスとして、非常に高い精度でＦＰＮを推定し除去する。ＩＩＲ積分は、動き検出差分用の偵察場面の画素ノイズ抑制済み推定を生じさせる。システム統合中に検出器アレイから測定された一定な不良画素マップ（ＢＰＭ，ｂａｄ ｐｉｘｅｌ ｍａｐ）に基づいた重み付け平均化法を用いて、動作不能な画素が推定プロセスから除去される。

本開示の例示的な実施形態は、既存の方法よりも良好にクラッタ画像のＦＰＮ除去を行う。同様に、動きを補償したＩＩＲフィルタリングは、従来の方法と比較してフレーム積分中にはるかに少ないメモリを使用し、画像の背景（クラッタ）、前景（目標）、及びＦＰＮ成分の分離を個別に目的とする異なる積分時定数に対して、並列で動作することを可能にする。他の手法は、より多くのメモリを用い、目標、背景、及びＦＰＮの分離を向上させるために時定数を異ならせることを用いない。更に、外部較正を必要とする不均一性補正（ＮＵＣ，ｎｏｎ－ｕｎｉｆｏｒｍｉｔｙ ｃｏｒｒｅｃｔｉｏｎ）に頼るのではなくて、統計プロセスを形態フィルタリングと組み合わせて用いて、個々の不良画素を画像から特定し除去する。ＩＲカメラの場合、較正は時間と共にドリフトするので、繰り返しの較正が必要とされる。例示的な実施形態は自動較正であって、外部較正の必要性を回避する。

本開示は、以下の例示的な実施形態を含むが、これらに限定されるものではない。

一部の例示的実施形態は、ビデオ画像における前景対象に対して背景クラッタを抑制する方法を提供し、本方法は、移動プラットフォームに搭載されたカメラからビデオ画像（そのビデオ画像は前景目標及び背景クラッタを含む場面のものであって、前景目標が背景クラッタに対して移動している）を受信することと、ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセスにかけることによって、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することとを含み、その背景クラッタ抑制プロセスは、各画像について、その各画像が連続画像の現在画像である際に、カメラに関連する固定パターンノイズを除去するようにビデオ画像の現在画像を処理することと、連続画像の参照画像における場面の固定ジオロケーション又は既知のクラッタパターンに現在画像を空間的に再登録することと、その後、現在画像の独立したコピーを、異なる時定数を有する二つの無限インパルス応答（ＩＩＲ）フィルタにかけて、互いに関して時間遅延されているフィルタリング済み画像を生成することと、背景クラッタを抑制するようにフィルタリング済み画像を差分処理することによって、背景クラッタが前景目標に対して抑制されている現在画像のクラッタ抑制済み版を生成することとを含み、また、本方法は、連続画像のクラッタ抑制済み版を含む導出場面のビデオ画像をレンダリングすることを含む。

以上の又は以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、現在画像を処理することは、現在画像から除去される固定パターンノイズを決定することを含み、固定パターンノイズを決定することは、最大で現在画像までであって現在画像を含む複数の連続画像をＩＩＲローパスフィルタにかけて、背景クラッタが局所的平均値に平滑化されていて固定パターンノイズが変更されていないＩＩＲフィルタリング済み画像（そのＩＩＲフィルタリング済み画像は、現在画像のＩＩＲフィルタリング済み版を含む）を生成することと、空間コンボリューション演算を用いて、ＩＩＲフィルタリング済み画像及び現在画像から局所的平均値を除去することと、現在画像のＩＩＲフィルタリング済み版からＤＣ成分を除去して、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を生成することと、ＩＩＲフィルタリング済み画像及び現在画像を除去された局所的平均値と組み合わせることによって、倍率を求めることと、倍率を用いて、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、現在画像における固定パターンノイズに少なくとも部分的に整合する固定パターンノイズの不偏推定を求めることとを含む。

以上の又は以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、現在画像を処理することは、現在画像からの固定パターンノイズの画素単位減算を行うことによって、固定パターンノイズが低減し又は存在せず前景目標及び背景クラッタを含む処理済み画像を生成することを含む。

以上の又は以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、クラッタ抑制プロセスは、現在画像に不良画素マップを適用して、その中の不良画素からの無効画像データを除去することを更に含み、不良画素マップは、現在画像の独立したコピーを二つのＩＩＲフィルタにかける際に、適用される。

以上の又は以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、連続画像は規則的な間隔でクラッタ抑制プロセスにかけられ、その各々について、本方法は、場面の特定のジオロケーションでクラッタ抑制プロセスを始動させることによって、現在画像が空間的に再登録される参照画像及び固定ジオロケーション又は既知のクラッタパターンを定めることを更に備える。

以上の又は以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、前記クラッタ抑制プロセスは、同一のプロセスであるが異なる時点において交互に始動される二つの並列なクラッタ抑制プロセスの一方であり、連続画像をクラッタ抑制プロセスにかけることは、連続画像を二つのクラッタ抑制プロセスの各々に別々に独立してかけることを含み、本方法は、二つのクラッタ抑制プロセスの間で交互に切り替えることによって導出場面のビデオ画像を構築することを更に備える。

以上の又は以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、連続画像は、二つのクラッタ抑制プロセスそれぞれにビデオ画像のフレーム数の分数の分だけずれている規則的な間隔においてかけられ、二つのクラッタ抑制プロセスのいずれかが始動する際に、連続画像のクラッタ抑制済み版を構築することは、二つのＩＩＲフィルタが定常状態に達している二つのクラッタ抑制プロセスの他方に切り替わる。

一部の例示的実施形態は、ビデオ画像において前景目標に対して背景クラッタを抑制するための装置を提供し、本装置は、複数の動作を装置に行わせるように構成されたプロセッサを備え、装置は、以上のいずれかの例示的実施形態又はこれらの組み合わせの方法を少なくとも行うようにされる。

一部の例示的実施形態は、ビデオ画像において前景目標に対して背景クラッタを抑制するためのコンピュータ可読記憶媒体を提供し、本コンピュータ可読記憶媒体は非一時的であり、それに記憶されているコンピュータ可読プログラムコード部を有し、そのコンピュータ可読プログラムコード部は、プロセッサによる実行に応答して、以上のいずれかの例示的実施形態又はこれらの組み合わせの方法を少なくとも装置に行わせる。

本開示の上記及び他の特徴、態様及び利点は、以下簡単に説明する添付図面と共に以下の詳細な説明を読むことで明らかとなるものである。本開示は、本開示に与えられている二つ、三つ、四つ又はそれ以上の特徴や要素のあらゆる組み合わせを、そのような特徴や要素が本願に記載の具体的な例示的実施形態において明示的に組み合わせられているか又は記載されているかにかかわりなく、含むものである。本開示は、本開示の個別の特徴や素子が、そのいずれの態様や例示的な実施形態においても、特に断らない限り、組み合わせ可能であるとみなされるように総合的に読まれるものである。

従って、本概要は、一部の例示的実施形態をまとめて、本開示の一部態様の基本的な理解を与えることを単に目的として与えられていることを理解されたい。よって、上記例示的な実施形態は、単に例であって、本開示の範囲や要旨をいかようにも狭めるものとして解釈されるものではないことを理解されたい。他の例示的な実施形態、態様及び利点は、添付図面と共に以下の詳細な説明から明らかとなるものであり、添付図面は、記載されている一部の例示的実施形態の原理を例として示すものである。

本開示の例示的な実施形態を一般的な表現で説明してきたが、以下では、必ずしも縮尺通りではない添付図面を参照する。

本開示の例示的実施形態に係るクラッタ抑制システムを概略的に示す。 一部の例示的実施形態に係るクラッタ抑制プロセスの機能ブロック図である。 同一ではあるが異なる時点において交互に始動される二つの並列なクラッタ抑制プロセスを含む更なる例示的実施形態の機能ブロック図である。 一部の例示的実施形態に係る図３の二つのクラッタ抑制プロセス間のタイミングを示す。 一部の例示的実施形態に係るビデオ画像における前景目標に対して背景クラッタを抑制する方法の多様な動作を含むフローチャートを示す。 一部の例示的実施形態に係る計算装置に対応し得る装置を示す。

以下、本開示の一部実施形態を添付図面を参照してより完全に説明するが、図面には、本開示の全部ではなくて一部の実施形態が示されている。実際には、本開示の多様な実施形態は多様な形態で実施可能であり、本願に与えられている実施形態に限定して解釈されるものではなく、むしろ、これら例示的な実施形態は、本開示を完全で完璧とし、本開示の範囲を当業者に完全に伝えるように与えられているものである。例えば、特に断らない限り、何かを第一、第二等で言及する場合、これは特定の順序を示唆するものとして解釈されるものではない。また、例えば、本願では、定量的な尺度、値、関係性等について言及し得るが、特に断らない限り、それらのうち全部ではないにしろ、一つ以上は、絶対的なものであるか、又は、工学的許容誤差等に起因して生じ得る許容可能な変動を踏まえた近似的なものであり得る。更に、一部例で行われるステップ、動作、機能は任意選択的なものであって、他の例では省略され得ることを理解されたい。全体にわたって、同様の番号は同様の要素を指称する。

本開示の例示的実施形態は、撮像及び追跡を対象としており、特に、ビデオ画像のクラッタを抑制することによって、クラッタによって曖昧にされて非常にぼんやりとした又は検出が難しい目標の検出を可能にすることを対象としている。例示的実施形態は自動較正であることによって、カメラの外部較正の必要性を回避する。このことは、宇宙関連偵察応用等の一部応用において、カメラ較正に費やされる時間とリソースを多大に節約することに繋がり得る。更に、例示的実施形態は、他の移動目標指標（ＭＴＩ，ｍｏｖｉｎｇ ｔａｒｇｅｔ ｉｎｄｉｃａｔｏｒ）法よりもはるかに少ないメモリを要する計算手法を利用し、既存の宇宙適格のハードウェア上で実施可能である。このメモリ利用の利点は、宇宙関連応用におけるサイズ、重量及び電力（ＳＷａＰ，ｓｉｚｅ ｗｅｉｇｈｔ ａｎｄ ｐｏｗｅｒ）の多大な節約をもたらし得る。

図１は、本開示の例示的実施形態に係るクラッタ抑制システム１００を概略的に示す。図示されるように、一部例では、クラッタ抑制システムは、焦点面アレイ（ＦＰＡ，ｆｏｃａｌ ｐｌａｎｅ ａｒｒａｙ）１０２等の画像検出デバイスを含み、その画像検出デバイスは可動プラットフォーム１０４に固定して取り付けられる。適切な可動プラットフォームの例として、地上車両（ランドビークル）、鉄道車両、航空機（エアビークル）、宇宙船、船舶等のビークル（搬送体）が挙げられる。適切な可動プラットフォームの他の例として、人工衛星、ミサイル、アドバンストキラービークル（次期迎撃物体）等が挙げられる。

一部例では、ＦＰＡ１０２はカメラ１０６や他の光学センサの部品であり、カメラ１０６は一組の光学系１０８も含む。例えば、一組の光学系は、望遠鏡の一部であり、一つ以上のレンズ、反射体等を含み得る。ＦＰＡは、一組の光学系を介して集束される赤外線又は他の波長を検出し、焦点面アレイのデータ、又はそれを示すより具体的なビデオ画像を生成するように構成された検出器の物理的アレイを含み得る。例えば、焦点面アレイの検出器は、長波帯域検出器及び／又は短波帯域検出器を含み得るが、他の種類の検出器、例えば可視検出器等も使用可能である。

また、図示されるように、一部例では、クラッタ抑制システム１００は、計算装置１１０を含み、その計算装置１１０は、カメラ１０６と通信して、一般的には、カメラからのビデオ画像において前景目標に対して背景クラッタを抑制するように構成される。計算装置は、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成し、その導出場面のビデオ画像を目標検出プロセッサ１１２による受信、ディスプレイ１１４による表示、及び／又は不揮発性メモリ１１６への記憶等のためにレンダリングし得るが、これら１１２、１１４、１１６のうち一つ以上は、計算装置に集積されるか、又は計算装置とは別々であり得る。計算装置は、プロセッサ１１８等の一種以上の部品をそれぞれ一つ以上含み、その適切な例の一つはフィールドプログラマブルゲートアレイ（ＦＰＧＡ，ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）である。多様な例示的実施形態に係る適切な計算装置については以下でより詳細に説明する。

本開示の例示的な実施形態によると、プロセッサ１１８は、計算装置１１０（場合によっては、より単純に「装置」と称する）に複数の演算を実行させるように構成される。これに関し、装置は、可動（又は移動）プラットフォーム１０４に搭載されたカメラ１０６からビデオ画像を受信するようにされる。ビデオ画像は、前景目標及び背景クラッタを含む場面のものであり、前景目標は背景クラッタに対して移動している。装置は、ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセスにかけることによって、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成するようにされる。また、装置は、連続画像のクラッタ抑制済み版を含む導出場面のビデオ画像をレンダリングするようにされる。

図２は、本開示の一部の例示的実施形態に係るクラッタ抑制プロセス２００の機能ブロック図である。一部例では、カメラ１０６は、前景目標と背景クラッタ（前景は背景に対して移動している）と望ましくない固定パターンノイズ（ＦＰＮ）とを含むモーションスキャン場面の既知の一定のフレームレートでの画像のフレームを発生させるように構成され、そのＦＰＮは、画像フレームに対して固定された一定の幾何学的強度パターンで構成される。例示的な実施形態によると、クラッタ抑制プロセスは、各画像について、その画像が連続画像のうちの現在画像である際に、装置１１０にビデオ画像の現在画像２０２を処理されて、カメラに関するＦＰＮ２０４を除去することを少なくとも行わせる。これは、装置に、現在画像からＦＰＮの画素単位減算２０６を行わせることによって、ＦＰＮ無しで前景目標及び背景クラッタを含む処理済み画像を生成させることを含み得る。

また、図示されるように、クラッタ抑制プロセス２００は、装置１１０に、連続画像の参照画像の場面の固定ジオロケーション（地理位置情報）又は既知のクラッタパターンに対して現在画像を空間的に再登録２０８させることを含み、その既知のクラッタパターンは、一部例では、固定ジオロケーションに対応する地形である。一部例では、連続画像は規則的な間隔でクラッタ抑制プロセスにかけられ、各間隔において、更に、装置１１０に場面の特定のジオロケーションでクラッタ抑制プロセス２００を始動させることによって、現在画像が空間的に再登録２０８される固定ジオロケーション又は既知のクラッタパターンにおける参照画像を定める。クラッタ抑制プロセスが始動される（又は再始動される）時点における慣性系に対する線形シフト内挿によって、現在画像（ＦＰＮ除去済み画像）が再登録され得る。このシフト登録プロセスは、可動プラットフォーム１０４からのガイダンス情報と画像相関との組み合わせを用いて行われ得て、未分解の前景目標の空間的完全性を維持するのに必要な正確なサブ画素登録を達成し得る。

空間的再登録２０８の後で、クラッタ抑制プロセス２００は、現在画像の独立したコピーを、異なる時定数τ_１、τ_２を有する二つの無限インパルス応答（ＩＩＲ）フィルタ２１０ａ、２１０ｂにかけて、互いに関して時間遅延されたフィルタリング済み画像を生成することを装置１１０にやらせることを含む。このようにして、現在画像の独立したコピー同士の間の背景クラッタがほぼ同一になる一方で、前景目標の位置はコピー同士の間で僅かに位置的にずらされる。一部例では、クラッタ抑制プロセスは、不良画素マップ（ＢＰＭ）２１２を現在画像に適用して、そのうちの不良画素からの無効画像データを除去することを装置１１０にやらせることを更に含む。こうした例では、ＢＰＭは、現在画像の独立したコピーが二つのＩＩＲフィルタにかけられる際に、適用される。装置は、更に、フィルタリング済み画像を差分処理２１４して、背景クラッタを低減することによって、背景クラッタが前景目標に対して抑制されているという現在画像のクラッタ抑制済み版２１６を生成するようにされる。一部例では、二つのＩＩＲフィルタリング済み画像を画素単位で差分処理することによって、背景クラッタを減算する一方で、位置がシフトしている前景目標はそのまま変更されない。

一部例では、装置１１０に現在画像２０２を処理させてＦＰＮ２０４を除去することは、現在画像から除去されるＦＰＮを決定させることを含む。より具体的には、一部例では、装置にＦＰＮを決定させることは、複数の連続画像（最大で現在画像までで、現在画像を含む）をＩＩＲローパスフィルタにかけて、背景クラッタが局所的な平均値に平滑化されている一方でＦＰＮが変更されていないというＩＩＲフィルタリング済み画像を生成させることを含む。ＩＩＲフィルタリング済み画像は、現在画像のＩＩＲフィルタリング済み版を含む。

上記例では、ＦＰＮの決定は、空間コンボリューション演算を用いて、ＩＩＲフィルタリング済み画像と現在画像から局所的平均値を除去させることを装置１１０にさせることも含む。更に、装置に、現在画像のＩＩＲフィルタリング済み版からＤＣ（直流）成分を除去させて、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を生成させる。一部例では、空間コンボリューションは、ＦＰＮの既知の幾何学的構造に応じて選択されたコンボリューションカーネルを利用する。装置は、ＩＩＲフィルタリング済み画像及び現在画像を除去された局所的平均値と組み合わせることによって、倍率を求めるようにされる。装置は、その倍率を用いて、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、現在画像のＦＰＮに少なくとも部分的に（最良でないとしても）整合する（最小二乗法的な意味合いにおいて）ＦＰＮの不偏推定を与える。

現在画像は、ＩＩＲフィルタ実現の過程にわたって単一の静的なジオロケーションに再登録２０８されるので、クラッタ抑制プロセス２００は限られた有効持続時間を有し得る。一部の更なる例では、プラットフォーム１０４の移動を踏まえるため、クラッタ抑制プロセス２００は、同一のプロセスではあるが異なる時点において交互に始動される二つの並列クラッタ抑制プロセスのうち一方となる。これが図３に示されていて、例示的実施形態３００は並列クラッタ抑制プロセス２００ａ、２００ｂを含む。こうした更なる例では、連続画像をクラッタ抑制プロセスにかけることを装置１１０にさせることは、連続画像を二つのクラッタ抑制プロセスの各々に別々に独立してかけさせることを含む。また、こうした例では、プロセッサ１１８は、二つのクラッタ抑制プロセスの間で交互に切り替える３０２ことによって導出場面のビデオ画像を構築することを装置にさせるように更に構成される。

更なる一部例では、連続画像をビデオ画像のフレーム数の規則的な間隔において二つのクラッタ抑制プロセス２００ａ、２００ｂにそれぞれかけるが、それらの規則的な間隔はフレーム数の分数の分だけずれ（オフセット）を有する。こうした更なる例では、二つのクラッタ抑制プロセスのいずれかが始動３０４する際に、装置１１０に連続画像のクラッタ抑制済み版を構築させることは、二つのＩＩＲフィルタ２１０ａ、２１０ｂが定常状態に達している二つのクラッタ抑制プロセスの他方への切り替え（スイッチ）３０２を含む。

図３では、上記交互の切り替えが、逆位相タイミングフラッグ３０６によって示されていて、その逆位相タイミングフラッグ３０６はフレーム番号でトリガされ、二つのクラッタ抑制プロセス２００ａ、２００ｂのうち一方が再始動するようにし、逆に、二つのクラッタ抑制プロセスのうち他方（定常状態のＩＩＲフィルタを有する）がレンダリング用に連続画像のクラッタ抑制済み版を出力するようにする。一部例では、二つのクラッタ抑制プロセスの各々はＮフレーム（例えば、Ｎ＝１５０）の持続時間を有する。二つのプロセスの各々はＮフレーム後に再始動するが、逆位相タイミングフラッグが、プロセススイッチングによって、Ｎの分数（例えば、Ｎ／２）の後に二つのプロセスのうち一方をクリアして再始動させる。このようにして、出力用に切り替えられる二つのプロセスのうち一方が、現在場面のレンダリング用に定常状態のＩＩＲ動作を既に達成しているようになる。

上記例示的実施形態を更に示すため、図４は、一部例に係る二つのクラッタ抑制プロセス間のタイミングを示し、一方のプロセスは再始動してＩＩＲフィルタを定常状態（有効）に構築し、他方は定常状態（有効）に達していて、レンダリング用にクラッタ抑制済み版を出力し、両画像は移動（可動）プラットフォーム１０４上のカメラ１０６から受信される。

図５は、本開示の一部の例示的実施形態に係るビデオ画像において前景目標に対して背景クラッタを抑制する方法５００の多様な動作を含むフローチャートを示す。ブロック５０２に示されるように、本方法は、移動プラットフォーム１０４に搭載されたカメラ１０６からビデオ画像を受信することを含む。ビデオ画像は前景目標及び背景クラッタを含む場面のものであって、前景目標が背景クラッタに対して移動している。５０４に示されるように、本方法は、ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセスにかけることによって、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することを含む。ブロック５０６に示されるように、本方法は、連続画像のクラッタ抑制済み版を含む導出場面のビデオ画像をレンダリングすることを含む。

クラッタ抑制プロセスは、５０４において、各画像について、その画像が連続画像のうちの現在画像である際に、ブロック５０８に示されるように、カメラに関連する固定パターンノイズを除去するようにビデオ画像の現在画像を処理することを含む。本プロセスは、ブロック５１０に示されるように、連続画像のうち参照画像における場面の固定ジオロケーション又は既知のクラッタパターン（例えば、その場面の固定ジオロケーションに対応する地形）に現在画像を空間的に再登録することを含む。その後、本プロセスは、ブロック５１２に示されるように、現在画像の独立したコピーを、異なる時定数を有する無限インパルス応答（ＩＩＲ）フィルタにかけて、互いに関して時間遅延されているフィルタリング済み画像を生成することを含む。本プロセスは、ブロック５１４に示されるように、フィルタリング済み画像を差分処理して、背景クラッタを低減することによって、背景クラッタが前景目標に対して抑制されている現在画像のクラッタ抑制済み版を生成することを含む。

上述のように、計算装置１１０は、プロセッサ１１８等の一種以上の部品をそれぞれ一つ以上含み、その適切な例の一つはＦＰＧＡである。一部例では、大抵の画像処理については、多数の画像処理演算を高速で効率的に行うことができる性能のため、ＦＰＧＡを用いてプロセッサが実施される。この種のハードウェア実施は、高速ビデオ画像における実時間クラッタ抑制に非常に適しているが、これが唯一可能なハードウェア実施ではない。実際には、計算装置は多様は手段（ハードウェア単独で、コンピュータ可読記憶媒介からの一つ以上のコンピュータプログラムの指示の下等）によって実施可能である。一部の例示的実施形態では、計算装置はグラフィックス処理ユニット（ＧＰＵ，ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含んでそれを最大限に活用するが、ＧＰＵは、多数の座標変換を並列で処理するように設計されているので、当然に適合するものである。

一部例では、一つ以上の装置が、本願に図示され説明されている計算装置１１０として機能するように又は計算装置１１０を実現するように構成されて設けられる。複数の装置を含む例では、各装置は、多様な方法で、例えば、直接的に、若しくは有線又は無線ネットワークを介して間接的に互いに接続され、又は互いに通信し得る。

図６は、装置６００をより具体的に示すが、その装置６００は一部例では計算装置１１０に対応し得る。一般的に、本開示の例示的実施形態の装置は、一つ以上の固定又は携帯電子デバイスを備え、含む、又はそうした電子デバイスにおいて実現され得る。適切な電子デバイスの例として、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュータ等が挙げられる。本装置は、複数種の部品、例えば、メモリ６０４（例えば、記憶デバイス）に接続されたプロセッサ６０２（例えば、プロセッサ１１８）をそれぞれ一つ以上含み得る。

プロセッサ６０２とは一般的に、情報、例えば、データ、コンピュータプログラム、及び／又は他の適切な電子情報を処理することができるコンピュータハードウェアの部分である。プロセッサは、一組の電子回路で構成され、それら電子回路の一部は一つの集積回路として、又は複数の相互接続集積回路としてパッケージングされ得る（集積回路は、場合によってはより一般的に「チップ」と称される）。プロセッサは、コンピュータプログラムを実行するように構成され得て、そのコンピュータプログラムは、プロセッサに記憶されているか、又は（同じ装置又は他の装置の）メモリ６０４に記憶され得る。

プロセッサ６０２は、具体的な実施形態に応じて、複数のプロセッサ、多重プロセッサコア、他の種類のプロセッサとなり得る。更に、プロセッサは、複数の異種プロセッサシステム（メインプロセッサが一つ以上の二次プロセッサと共に単一チップ上に存在している）を用いて実施可能である。他の例示的な例では、プロセッサは、同じ種類の複数プロセッサを含む対称多重プロセッサシステムであり得る。更に他の例では、プロセッサは、一つ以上の特定用途集積回路（ＡＳＩＣ，ａｐｐｌｉｃａｔｉｏｎ‐ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ等として具現され、又はこれらを含み得る。従って、プロセッサは、コンピュータプログラムを実行して、一つ以上の機能を行うことができるものであるが、多様な例のプロセッサは、コンピュータプログラムの助けを借りずに一つ以上の機能を行うことができ得るものである。

メモリ６０４は、一般的には、情報、例えば、データ、コンピュータプログラム（例えば、コンピュータ可読プログラムコード６０６）及び／又は他の適切な情報を一時的に及び／又は永続的に記憶することができるコンピュータハードウェアの部品である。メモリは、揮発性メモリ及び／又は不揮発性メモリを含み得て、固定されたもの又は取り外し可能なものであり得る。適切なメモリの例として、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ，ＲＡＭ）、リードオンリメモリ（ＲＯＭ，ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ハードドライブ、フラッシュメモリ、サムドライブ、リムーバブルコンピュータディスケット、光学ディスク、磁気テープ、又はこれらの組み合わせが挙げられる。光学ディスクとして、コンパクトディスク‐リードオンリメモリ（ＣＤ‐ＲＯＭ，ｃｏｍｐａｃｔ ｄｉｓｋ‐ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、コンパクトディスク‐リード／ライト（ＣＤ‐Ｒ／Ｗ，ｃｏｍｐａｃｔ ｄｉｓｋ‐ｒｅａｄ／ｗｒｉｔｅ）、ＤＶＤ等が挙げられる。多様な場合において、メモリはコンピュータ可読記憶媒体と称され得る。コンピュータ可読記憶媒体は、情報を記憶することができる非一時的デバイスであり、情報を或る箇所から他の箇所を運ぶことができる電子的な一時的信号等のコンピュータ可読送信媒体とは区別される。本願におけるコンピュータ可読媒体は、広くコンピュータ可読記憶媒体やコンピュータ可読送信媒体を称し得る。

メモリに加えて、プロセッサは、情報の表示や送受信用の一つ以上のインターフェースにも接続され得る。インターフェースは、通信インターフェース６０８（例えば、通信ユニット）及び／又は一つ以上のユーザインターフェースを含み得る。通信インターフェースは、他の装置やネットワーク等に対して情報を送受信するように構成され得る。通信インターフェースは、物理的に（有線）及び／又は無線通信リンクによって情報を送受信するように構成され得る。適切な通信インターフェースの例として、ネットワークインターフェースコントローラ（ＮＩＣ，ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ）、無線ＮＩＣ（ＷＮＩＣ，ｗｉｒｅｌｅｓｓ ＮＩＣ）等が挙げられる。

ユーザインターフェースは、ディスプレイ６１０（例えば、ディスプレイ１１４）及び／又は一つ以上のユーザ入力インターフェース６１２（例えば、入力／出力ユニット）を含み得る。ディスプレイは情報をユーザに提示又は表示するように構成されて得て、その適切な例として、液晶ディスプレイ（ＬＣＤ，ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオードディスプレイ（ＬＥＤ，ｌｉｇｈｔ‐ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイパネル（ＰＤＰ，ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ）等が挙げられる。

ユーザ入力インターフェース６１２は有線又は無線であり得て、また、例えば、処理、記憶及び／又は表示のためにユーザからの情報を装置内において受けるように構成され得る。ユーザ入力インターフェースの適切な例として、マイクロフォン、イメージ又はビデオキャプチャデバイス、キーボード、キーパッド、ジョイスティック、タッチ式感知面（タッチスクリーンと別又は集積されている）、生体認証センサ等が挙げられる。ユーザインターフェースは、プリンタやスキャナ等の周辺機器と通信するための一つ以上のインターフェースを更に含み得る。

上述のように、プログラムコード命令はメモリに記憶され、プロセッサによって実行されて、本願に記載のシステム、サブシステム、個々の要素の機能を実行し得る。適切なプログラムコード命令は、コンピュータ可読記憶媒体からコンピュータ又は他のプログラマブル装置上にロードされて、特定のマシンを生成し、その特定のマシンが本願で特定されている機能を実施するための手段となるようにし得ることを理解されたい。プログラムコード命令は、コンピュータ可読記憶媒体にも記憶され得て、コンピュータ、プロセッサ、又は他のプログラマブル装置を特定の方法で機能させて、特定のマシンや製品を発生させ得る。コンピュータ可読記憶媒体に記憶されている命令は、製品を生成し、その製品が本願に記載の機能を実施するための手段となるようにし得る。プログラムコード命令はコンピュータ可読記憶媒体から回収され、コンピュータ、プロセッサ、又は他のプログラマブル装置にロードされて、コンピュータ、プロセッサ、又は他のプログラマブル装置が、そのコンピュータ、プロセッサ、又は他のプログラマブル装置で行われる演算を実行するように構成し得る。

プログラムコード命令の回収、ロード及び実行は逐次的に行われ得て、一度に一つの命令が回収され、ロードされ、実行される。一部の例示的実施形態では、回収、ロード及び／又は実行は並列に行われ得て、複数の命令が共に回収、ロード及び／又は実行されるようにし得る。プログラムコード命令の実行は、コンピュータで実施されるプロセスを生成し、コンピュータ、プロセッサ、又は他のプログラマブル装置によって実行される命令が、本願に記載の機能を実施するための演算を提供するようにし得る。

プロセッサによる命令の実行、コンピュータ可読記憶媒体への命令の記憶は、特定の機能を行うための演算の組み合わせをサポートしている。このようにして、装置６００は、プロセッサ６０２と、プロセッサに結合されたコンピュータ可読記憶媒体又はメモリ６０４を含み得て、そのプロセッサは、メモリに記憶されたコンピュータ可読プログラムコード６０６を実行するように構成される。また、一つ以上の機能や、機能の組み合わせが、特別仕様のハードウェアベースのコンピュータシステム、及び／又は特定の機能を行うプロセッサによって、又は、特別仕様のハードウェアとプログラムコード命令の組み合わせによって行われ得ることを理解されたい。

更に、本開示は以下の項に係る実施形態を含む。

項１
ビデオ画像において前景目標に対して背景クラッタを抑制するための装置であって、
プロセッサを備え、プロセッサが、少なくとも、
可動プラットフォームに搭載されたカメラからビデオ画像（そのビデオ画像は、前景目標及び背景クラッタを含む場面のものであり、前景目標が背景クラッタに対して移動している）を受信することと、
ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセスにかけることによって、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することであって、そのクラッタ抑制プロセスでは、各画像について、その各画像が連続画像のうちの現在画像である際に、プロセッサが、少なくとも、
カメラに関連する固定パターンノイズを除去するようにビデオ画像の現在画像を処理することと、
連続画像の参照画像において場面の固定ジオロケーション又は既知のクラッタパターンに現在画像を空間的に再登録することと、その後、
現在画像の独立したコピーを、異なる時定数を有する二つの無限インパルス応答（ＩＩＲ）フィルタにかけて、互いに関して時間遅延されているフィルタリング済み画像を生成することと、
背景クラッタを低減するようにフィルタリング済み画像を差分処理することによって、背景クラッタが前景目標に対して抑制されている現在画像のクラッタ抑制済み版を生成することとを行うように構成されている、
ことと、
連続画像のクラッタ抑制済み版を含む導出場面のビデオ画像をレンダリングすることとを行うように構成されている、装置。

項２
プロセッサが現在画像を処理するように構成されていることは、プロセッサが現在画像から除去される固定パターンノイズを決定するように構成されていることを含み、プロセッサが固定パターンノイズを決定するように構成されていることは、少なくとも、
最大で現在画像までであって現在画像を含む複数の連続画像をＩＩＲローパスフィルタにかけて、背景クラッタが局所的平均値に平滑化されていて固定パターンノイズが変更されていないＩＩＲフィルタリング済み画像（ＩＩＲフィルタリング済み画像は現在画像のＩＩＲフィルタリング済み版を含む）を生成することと、
空間コンボリューション演算を用いて、ＩＩＲフィルタリング済み画像及び現在画像から局所的平均値を除去することと、
現在画像のＩＩＲフィルタリング済み版からＤＣ成分を除去して、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を生成することと、
ＩＩＲフィルタリング済み画像及び現在画像を除去された局所的平均値と組み合わせることによって、倍率を求めることと、
倍率を用いて、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、現在画像の固定パターンノイズに少なくとも部分的に整合する固定パターンノイズの不偏推定を求めることとを行うように構成されていることを含む、項１に記載の装置。

項３
プロセッサが現在画像を処理するように構成されていることが、現在画像からの固定パターンノイズの画素単位減算を行うことによって、固定パターンノイズが低減し又は存在せず前景目標及び背景クラッタを含む処理済み画像を生成するように構成されていることを含む、項１又は２に記載の装置。

項４
クラッタ抑制プロセスでは、プロセッサが不良画素マップを現在画像に適用して、その中の不良画素からの無効画像データを除去するように更に構成されていて、不良画素マップが、現在画像の独立したコピーが二つのＩＩＲフィルタにかけられる際に適用される、項１から３のいずれか一項に記載の装置。

項５
連続画像が規則的な間隔においてクラッタ抑制プロセスにかけられ、各間隔において、プロセッサが、場面の特定のジオロケーションでクラッタ抑制プロセスを始動させることによって、現在画像が空間的に再登録される参照画像及び固定ジオロケーション又は既知のクラッタパターンを定めるように更に構成されている、項１から４のいずれか一項に記載の装置。

項６
前記クラッタ抑制プロセスが、同一のプロセスであるが異なる時点において交互に始動される二つの並列なクラッタ抑制プロセスの一方であり、プロセッサが連続画像をクラッタ抑制プロセスにかけるように構成されていることが、連続画像を二つのクラッタ抑制プロセスの各々に別々に独立してかけるように構成されていることを含み、
プロセッサが、二つのクラッタ抑制プロセスの間で交互に切り替わることによって、導出場面のビデオ画像を構築するように更に構成されている、項５に記載の装置。

項７
連続画像が、二つのクラッタ抑制プロセスそれぞれにフレーム数の分数の分だけずれているビデオ画像のフレーム数の規則的な間隔においてかけられ、
二つのクラッタ抑制プロセスのいずれかが始動する際に、プロセッサが連続画像のクラッタ抑制済み版を構築するように構成されていることが、二つのＩＩＲフィルタが定常状態に達している二つのクラッタ抑制プロセスの他方に切り替えることを含む、項６に記載の装置。

項８
ビデオ画像において前景目標に対して背景クラッタを抑制する方法であって、
可動プラットフォームに搭載されたカメラからビデオ画像（そのビデオ画像は、前景目標及び背景クラッタを含む場面のものであって、前景目標が背景クラッタに対して移動している）を受信することと、
ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセスにかけることによって、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することであって、クラッタ抑制プロセスが、各画像について、その各画像が連続画像のうちの現在画像である際に、
カメラに関連する固定パターンノイズを除去するようにビデオ画像の現在画像を処理することと、
連続画像の参照画像における場面の固定ジオロケーション又は既知のクラッタパターンに現在画像を空間的に再登録することと、
現在画像の独立したコピーを、異なる時定数を有する二つの無限インパルス応答（ＩＩＲ）フィルタにかけて、互いに関して時間遅延されているフィルタリング済み画像を生成することと、
背景クラッタを低減するようにフィルタリング済み画像を差分処理することによって、背景クラッタが前景目標に対して抑制されている現在画像のクラッタ抑制済み版を生成することとを含む
ことと、
連続画像のクラッタ抑制済み版を含む導出場面のビデオ画像をレンダリングすることとを含む方法。

項９
現在画像を処理することが、現在画像から除去される固定パターンノイズを決定することを含み、固定パターンノイズを決定することが、
最大で現在画像までであって現在画像を含む複数の連続画像をＩＩＲローパスフィルタにかけて、背景クラッタが局所的平均値に平滑化されていて固定パターンノイズが変更されていないＩＩＲフィルタリング済み画像（ＩＩＲフィルタリング済み画像は現在画像のＩＩＲフィルタリング済み版を含む）を生成することと、
空間コンボリューション演算を用いて、ＩＩＲフィルタリング済み画像及び現在画像から局所的平均値を除去することと、
現在画像のＩＩＲフィルタリング済み版からＤＣ成分を除去して、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を生成することと、
ＩＩＲフィルタリング済み画像及び現在画像を除去された局所的平均値と組み合わせることによって、倍率を求めることと、
倍率を用いて、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、現在画像の固定パターンノイズに少なくとも部分的に整合する固定パターンノイズの不偏推定を求めることとを含む、項８に記載の方法。

項１０
現在画像を処理することが、現在画像からの固定パターンノイズの画素単位減算を行うことによって、固定パターンノイズが低減し又は存在せずに前景目標及び背景クラッタを含む処理済み画像を生成することを含む、項８又は９に記載の方法。

項１１
クラッタ抑制プロセスが、不良画素マップを現在画像に適用して、その中の不良画素からの無効画像データを除去することを更に含み、不良画素マップが、現在画像の独立したコピーが二つのＩＩＲフィルタにかけられる際に適用される、項８から１０のいずれか一項に記載の方法。

項１２
連続画像が規則的間隔においてクラッタ抑制プロセスにかけられ、各間隔において、本方法が、場面の特定のジオロケーションでクラッタ抑制プロセスを始動させることによって、現在画像が空間的に再登録される参照画像及び固定ジオロケーション又は既知のクラッタパターンを定めることを更に備える、項８から１１のいずれか一項に記載の方法。

項１３
前記クラッタ抑制プロセスが、同一のプロセスであるが異なる時点において交互に始動される二つの並列なクラッタ抑制プロセスの一方であり、連続画像をクラッタ抑制プロセスにかけることが、連続画像を二つのクラッタ抑制プロセスの各々に別々に独立してかけることを含み、
本方法が、二つのクラッタ抑制プロセスの間で交互に切り替えることによって導出場面のビデオ画像を構築することを更に備える、項１２に記載の方法。

項１４
連続画像が二つのクラッタ抑制プロセスにフレーム数の分数の分だけずれているビデオ画像のフレーム数の規則的な間隔においてかけられ、
二つのクラッタ抑制プロセスのいずれかが始動する際に、連続画像のクラッタ抑制済み版を構築することが、二つのＩＩＲフィルタが定常状態に達している二つのクラッタ抑制プロセスの他方に切り替わる、項１３に記載の方法。

項１５
ビデオ画像において前景目標に対して背景クラッタを抑制するためのコンピュータ可読記憶媒体であって、本コンピュータ可読記憶媒体は非一時的であって、これに記憶されているコンピュータ可読プログラムコード部を有し、該コンピュータ可読プログラムコード部は、プロセッサによる実行に応答して、装置に、少なくとも、
可動プラットフォームに搭載されたカメラからビデオ画像（そのビデオ画像は前景目標及び背景クラッタを含む場面のものであって、前景目標が背景クラッタに対して移動している）を受信することと、
ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセスにかけることによって、背景クラッタが前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することであって、クラッタ抑制プロセスが、各画像について、その各画像が連続画像のうちの現在画像である際に、装置に、少なくとも、
カメラに関連する固定パターンノイズを除去するようにビデオ画像の現在画像を処理することと、
連続画像の参照画像における場面の固定ジオロケーション又は既知のクラッタパターンに現在画像を空間的に再登録することと、
現在画像の独立したコピーを、異なる時定数を有する二つの無限インパルス応答（ＩＩＲ）にかけて、互いに関して時間遅延されているフィルタリング済み画像を生成することと、
背景クラッタを低減するようにフィルタリング済み画像を差分処理することによって、背景クラッタが前景目標に対して抑制されている現在画像のクラッタ抑制済み版を生成することとをさせる、ことと、
連続画像のクラッタ抑制済み版を含む導出場面のビデオ画像をレンダリングすることとをさせる、コンピュータ可読記憶媒体。

項１６
装置に現在画像を処理させることが、装置に現在画像から除去される固定パターンノイズを決定させることを含み、装置に固定パターンノイズを決定させることが、少なくとも、
最大で現在画像までであって現在画像を含む複数の連続画像をＩＩＲローパスフィルタにかけて、背景クラッタが局所的平均値に平滑化されていて固定パターンノイズが変更されていないＩＩＲフィルタリング済み画像（ＩＩＲフィルタリング済み画像は現在画像のＩＩＲフィルタリング済み版を含む）を生成することと、
空間コンボリューション演算を用いて、ＩＩＲフィルタリング済み画像及び現在画像から局所的平均値を除去することと、
現在画像のＩＩＲフィルタリング済み版からＤＣ成分を除去して、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を生成することと、
ＩＩＲフィルタリング済み画像及び現在画像を除去された局所的平均値と組み合わせることによって、倍率を求めることと、
倍率を用いて、現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、現在画像の固定パターンノイズに少なくとも部分的に整合する固定パターンノイズの不偏推定を求めることと
をさせることを含む、項１５に記載のコンピュータ可読記憶媒体。

項１７
装置に現在画像を処理させることが、現在画像からの固定パターンノイズの画素単位減算を行うことによって、固定パターンノイズが低減し又は存在せず前景目標及び背景クラッタを含む処理済み画像を生成させることを含む、項１５又は１６に記載のコンピュータ可読記憶媒体。

項１８
クラッタ抑制プロセスが、現在画像に不良画素マップを適用して、その中の不良画素からの無効画像データを除去することを装置にさせることを更に含み、不良画素マップが、現在画像の二つの独立したコピーが二つのＩＩＲフィルタにかけられる際に、適用される、項１５から１７のいずれか一項に記載のコンピュータ可読記憶媒体。

項１９
連続画像がクラッタ抑制プロセスに規則的な間隔においてかけられ、各間隔において、装置に場面の特定のジオロケーションでクラッタ抑制プロセスを始動させることによって、現在画像が空間的に再登録される参照画像及び固定ジオロケーション又は既知のクラッタパターンを定めることを更にさせる、項１５から１８のいずれか一項に記載のコンピュータ可読記憶媒体。

項２０
前記クラッタ抑制プロセスが、同一のプロセスであるが異なる時点において交互に始動される二つの並列なクラッタ抑制プロセスの一方であり、装置に連続画像をクラッタ抑制プロセスにかけさせることが、連続画像を二つのクラッタ抑制プロセスの各々に別々に独立してかけさせることを含み、
コンピュータ可読記憶媒体に記憶されているコンピュータ可読プログラムコード部が、プロセッサによる実行に応答して、二つのクラッタ抑制プロセスの間で交互に切り替えることによって導出場面のビデオ画像を構築することを更に装置にさせる、項１９に記載のコンピュータ可読記憶媒体。

項２１
連続画像が二つのクラッタ抑制プロセスにフレーム数の分数の分だけずれているビデオ画像のフレーム数の規則的な間隔においてかけられ、
二つのクラッタ抑制プロセスのいずれかが始動する際に、装置に連続画像のクラッタ抑制済み版を構築させることが、二つのＩＩＲフィルタが定常状態に達している二つのクラッタ抑制プロセスの他方への切り替えを含む、項２０に記載のコンピュータ可読記憶媒体。

上記説明及び添付図面に与えられている教示の恩恵を受ける当業者には、本開示の多くの修正や他の実施形態が思い付くものである。従って、本開示は、開示されている特定の実施形態に限定されるものではなく、修正及び他の実施形態も添付の特許請求の範囲内に含まれるものである。更に、上記説明及び添付図面は、要素及び／又は機能の特定の例示的な組み合わせの文脈において例示的な実施形態を説明しているが、要素及び／又は機能の異なる組み合わせが代替実施形態によって添付の特許請求の範囲から逸脱せずに与えられ得ることを理解されたい。これに関し、例えば、上記で明示的に示されているもの以外の要素及び／又は機能の異なる組み合わせは、添付の特許請求の範囲に与えられているものとして想定される。本願では特定の用語が使用されているが、これらは汎用的で説明的な意味合いにおいてのみ使用されているものであって、限定目的のものではない。

１００ クラッタ抑制システム
１０２ 焦点面アレイ
１０４ 可動プラットフォーム
１０６ カメラ
１０８ 光学系
１１０ 計算装置
１１２ 目標検出プロセッサ
１１４ ディスプレイ
１１６ 不揮発性メモリ
１１８ プロセッサ

Claims (15)

1. ビデオ画像において前景目標に対して背景クラッタを抑制するための装置であって、
   前記装置がプロセッサ（１１８）を備え、
   前記プロセッサ（１１８）が、少なくとも、
   移動プラットフォーム（１０４）に搭載されたカメラ（１０６）から、前景目標及び背景クラッタを含み前記前景目標が前記背景クラッタに対して移動している場面のビデオ画像を受信することと、
   前記ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセス（２００）にかけることによって、前記背景クラッタが前記前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することであって、前記クラッタ抑制プロセス（２００）では、各画像について、該各画像が前記連続画像のうちの現在画像（２０２）である際に、前記プロセッサ（１１８）が、少なくとも、
   前記カメラ（１０６）に関連する固定パターンノイズ（２０４）を除去するように前記ビデオ画像の現在画像（２０２）を処理すること、
   前記連続画像の参照画像における場面の固定ジオロケーション又は既知のクラッタパターンに前記現在画像（２０２）を空間的に再登録（２０８）すること、
   空間的に再登録された前記現在画像（２０２）の独立したコピーを、異なる時定数（τ_１、τ_２）を有する二つの無限インパルス応答（ＩＩＲ）フィルタ（２１０ａ、２１０ｂ）にかけて、互いに関して時間遅延されているフィルタリング済み画像を生成すること、及び、
   前記背景クラッタを低減するように前記フィルタリング済み画像を差分処理（２１４）して前記背景クラッタが前記前景目標に対して抑制されている前記現在画像（２０２）のクラッタ抑制済み版（２１６）を生成することを行うように構成されている
   ことと、
   前記連続画像のクラッタ抑制済み版（２１６）を含む前記導出場面のビデオ画像をレンダリングすることとを行うように構成されている、装置。
2. 前記プロセッサ（１１８）が前記現在画像（２０２）を処理するように構成されていることが、前記プロセッサ（１１８）が前記現在画像（２０２）から除去される固定パターンノイズ（２０４）を決定するように構成されていることを含み、前記プロセッサ（１１８）が固定パターンノイズ（２０４）を決定するように構成されていることが、少なくとも、
   前記現在画像（２０２）までであって前記現在画像（２０２）を含む複数の連続画像をＩＩＲローパスフィルタ（２１０ａ、２１０ｂ）にかけて、前記背景クラッタが局所的平均値に平滑化されていて、前記固定パターンノイズ（２０４）が変更されておらず、前記現在画像のＩＩＲフィルタリング済み版を含むＩＩＲフィルタリング済み画像を生成することと、
   空間コンボリューション演算を用いて、前記ＩＩＲフィルタリング済み画像及び前記現在画像から前記局所的平均値を除去すること、
   前記現在画像のＩＩＲフィルタリング済み版からＤＣ成分を除去して、前記現在画像のＤＣ除去済みでＩＩＲフィルタリング済み版を生成すること、
   前記ＩＩＲフィルタリング済み画像及び現在画像（２０２）を除去された局所的平均値と組み合わせることによって、正規化係数を求めること、及び、
   前記正規化係数を用いて、前記現在画像（２０２）のＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、前記現在画像（２０２）の固定パターンノイズ（２０４）に少なくとも部分的に整合する固定パターンノイズの不偏推定を与えることを行うように構成されていることを含む、請求項１に記載の装置。
3. 前記プロセッサ（１１８）が前記現在画像（２０２）を処理するように構成されていることが、前記現在画像（２０２）からの前記固定パターンノイズ（２０４）の画素単位減算（２０６）を行うことによって、前記固定パターンノイズ（２０４）が低減し又は存在せず前記前景目標及び前記背景クラッタを含む処理済み画像を生成するように構成されていることを含む、請求項１又は２に記載の装置。
4. 前記クラッタ抑制プロセス（２００）では、前記プロセッサ（１１８）が、前記現在画像（２０２）に不良画素マップ（２１２）を適用して、不良画素からの無効画像データを除去するように更に構成されていて、前記不良画素マップ（２１２）が、前記現在画像（２０２）の独立したコピーが二つのＩＩＲフィルタ（２１０ａ、２１０ｂ）にかけられる際に適用される、請求項１から３のいずれか一項に記載の装置。
5. 前記連続画像が前記クラッタ抑制プロセス（２００）に規則的間隔でかけられ、各間隔において、前記プロセッサ（１１８）が、前記場面の特定のジオロケーションで前記クラッタ抑制プロセス（２００）を始動させることによって、前記現在画像（２０２）が空間的に再登録（２０８）される前記固定ジオロケーション又は既知のクラッタパターンを決定するように更に構成されている、請求項１から４のいずれか一項に記載の装置。
6. 前記クラッタ抑制プロセス（２００）が、同一のプロセスであるが異なる時点において交互に始動される並列な二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の一方であり、前記プロセッサ（２００）が前記連続画像を前記クラッタ抑制プロセス（２００）にかけるように構成されていることが、前記連続画像を前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の各々に別々に独立してかけるように構成されていることを含み、
   前記プロセッサ（１１８）が、前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の間で交互に切り替えることによって前記導出場面のビデオ画像を構築するように更に構成されている、請求項５に記載の装置。
7. 前記連続画像が、前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）にフレーム数の分数の分だけずれている前記ビデオ画像のフレーム数の規則的な間隔においてそれぞれかけられ、
   前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の一方が始動する際に、前記プロセッサ（１１８）が前記連続画像のクラッタ抑制済み版を構築するように構成されていることが、二つのＩＩＲフィルタ（２１０ａ、２１０ｂ）が定常状態に達している前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の他方への切り替え（３０２）を含む、請求項６に記載の装置。
8. ビデオ画像において前景目標に対して背景クラッタを抑制する方法であって、
   可動プラットフォーム（１０４）に搭載されたカメラ（１０６）から、前景目標及び背景クラッタを含み前記前景目標が前記背景クラッタに対して移動している場面のビデオ画像を受信すること（５０２）と、
   前記ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセス（２００）にかけることによって、前記背景クラッタが前記前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することであって、前記クラッタ抑制プロセス（２００）が、各画像について、該各画像が前記連続画像のうちの現在画像（２０２）である際に、
   前記カメラ（１０６）に関連する固定パターンノイズ（２０４）を除去するように前記ビデオ画像の現在画像（２０２）を処理すること（５０８）、
   前記連続画像の参照画像において前記場面の固定ジオロケーション又は既知のクラッタパターンに前記現在画像（２０２）を空間的に再登録すること（５１２）、
   空間的に再登録された前記連続画像（２０２）の独立したコピーを、異なる時定数（τ_１、τ_２）を有する二つの無限インパルス応答（ＩＩＲ）フィルタ（２１０ａ、２１０ｂ）にかけて、互いに関して時間遅延されているフィルタリング済み画像を生成すること（５１２）、及び
   前記背景クラッタを低減するように前記フィルタリング済み画像を差分処理することによって、前記背景クラッタが前記前景目標に対して抑制されている前記現在画像（２０２）のクラッタ抑制済み版（２１６）を生成すること（５１４）を含む
   ことと、
   前記連続画像のクラッタ抑制済み版を含む前記導出場面のビデオ画像をレンダリングすること（５０６）とを含む方法。
9. 前記現在画像（２０２）を処理すること（５０８）が、前記現在画像（２０２）から除去される固定パターンノイズ（２０４）を決定することを含み、前記固定パターンノイズ（２０４）を決定することが、
   前記現在画像（２０２）までであって前記現在画像（２０２）を含む複数の連続画像をＩＩＲローパスフィルタ（２１０ａ、２１０ｂ）にかけて、前記背景クラッタが局所的平均値に平滑化されていて、前記固定パターンノイズ（２０４）が変更されておらず、前記現在画像（２０２）のＩＩＲフィルタリング済み版を含むＩＩＲフィルタリング済み画像を生成すること、
   空間コンボリューション演算を用いて、前記ＩＩＲフィルタリング済み画像及び前記現在画像（２０２）から前記局所的平均値を除去すること、
   前記現在画像（２０２）のＩＩＲフィルタリング済み版からＤＣ成分を除去して、前記現在画像（２０２）のＤＣ除去済みでＩＩＲフィルタリング済み版を生成すること、
   前記ＩＩＲフィルタリング済み画像及び前記現在画像（２０２）を除去された局所的平均値と組み合わせることによって、正規化係数を求めること、及び、
   前記正規化係数を用いて、前記現在画像（２０２）の前記ＤＣ除去済みでＩＩＲフィルタリング済み版を正規化して、前記現在画像（２０２）の固定パターンノイズ（２０４）に少なくとも部分的に整合する固定パターンノイズ（２０４）の不偏推定を求めることを含む、請求項８に記載の方法。
10. 前記現在画像（２０２）を処理することが、前記現在画像（２０２）からの前記固定パターンノイズ（２０４）の画素単位減算（２０６）を行うことによって、前記固定パターンノイズ（２０４）が低減し又は存在せず前記前景目標及び前記背景クラッタを含む処理済み画像を生成することを含む、請求項８又は９に記載の方法。
11. 前記クラッタ抑制プロセス（２００）が、不良画素マップ（２１２）を前記現在画像（２０２）に適用して、不良画素からの無効画像データを除去することを更に含み、前記不良画素マップが、前記現在画像（２０２）の独立したコピーが二つのＩＩＲフィルタ（２１０ａ、２１０ｂ）にかけられる際に適用される、請求項８から１０のいずれか一項に記載の方法。
12. 前記連続画像が前記クラッタ抑制プロセス（２００）に規則的な間隔においてかけられ、各間隔において、前記場面の特定のジオロケーションで前記クラッタ抑制プロセス（２００）を始動させることによって、前記現在画像（２０２）が空間的に再登録（２０８）される前記固定ジオロケーション又は既知のクラッタパターンを決定することを更に備える請求項８から１１のいずれか一項に記載の方法。
13. 前記クラッタ抑制プロセス（２００）が、同一のプロセスであるが異なる時点において交互に始動される並列な二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の一方であり、前記連続画像を前記クラッタ抑制プロセス（２００）にかけることが、前記連続画像を前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の各々に別々に独立してかけることを含み、
    前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の間で交互に切り替えることによって、前記導出場面のビデオ画像を構築することを更に備える請求項１２に記載の方法。
14. 前記連続画像が、前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）にフレーム数の分数の分だけずれている前記ビデオ画像のフレーム数の規則的な間隔においてそれぞれかけられ、
    前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の一方が始動する際に、前記連続画像のクラッタ抑制済み版を構築することが、二つのＩＩＲフィルタ（２１０ａ、２１０ｂ）が定常状態に達している前記二つのクラッタ抑制プロセス（２００ａ、２００ｂ）の他方に切り替わる、請求項１３に記載の方法。
15. ビデオ画像において前景目標に対して背景クラッタを抑制するための非一時的なコンピュータ可読記憶媒体（６０４）であって、コンピュータ可読プログラムコード部（６０６）が前記コンピュータ可読記憶媒体（６０４）に記憶されていて、
    前記コンピュータ可読プログラムコード部（６０６）が、プロセッサ（１１８、６０２）による実行に応答して、装置に、少なくとも、
    可動プラットフォーム（１０４）に搭載されたカメラ（１０６）から、前景目標及び背景クラッタを含み前記前景目標が前記背景クラッタに対して移動している場面のビデオ画像を受信することと、
    前記ビデオ画像の連続フレームの連続画像をクラッタ抑制プロセス（２００）にかけることによって、前記背景クラッタが前記前景目標に対して抑制されるように導出された導出場面のビデオ画像を生成することであって、前記クラッタ抑制プロセス（２００）が、各画像について、該各画像が前記連続画像のうちの現在画像（２０２）である際に、前記装置に、
    前記カメラ（１０６）に関連する固定パターンノイズ（２０４）を除去するように前記ビデオ画像の現在画像（２０２）を処理すること、
    前記連続画像の参照画像において前記場面の固定ジオロケーション又は既知のクラッタパターンに前記現在画像（２０２）を空間的に再登録すること、
    空間的に再登録された前記現在画像（２０２）の独立したコピーを、異なる時定数（τ_１、τ_２）を有する二つの無限インパルス応答（ＩＩＲ）フィルタ（２１０ａ、２１０ｂ）にかけて、互いに関して時間遅延されているフィルタリング済み画像を生成すること、及び、
    前記背景クラッタを低減するように前記フィルタリング済み画像を差分処理することによって、前記背景クラッタが前記前景目標に対して抑制されている前記現在画像（２０２）のクラッタ抑制済み版を生成することをさせる
    ことと、
    前記連続画像のクラッタ抑制済み版を含む前記導出場面のビデオ画像をレンダリングすることとをさせる、コンピュータ可読記録媒体（６０４）。

Images