JP2008185375A - Ｓａｒ画像の３ｄ形状算出装置及びｓａｒ画像の歪補正装置 - Google Patents

Abstract

【課題】ＳＡＲ画像について精度の高い形状推定を行うことも目的とする。また、ＳＡＲ画像のレイオーバーについて補正を行うことを目的とする。
【解決手段】同一方向からスクイント角を変えて撮像を行うことで得た、同一個所を撮像した２枚以上のＳＡＲ画像を入力画像として用い、ＳＡＲ画像の３Ｄ形状の推定を行う。また、推定した３Ｄ形状と、入力画像とに基づき、フォアショートニングと光学の倒れこみの補正を行うとともに、複数の入力画像における対応点の相関から、歪補正後の画素の輝度を算出し、レイオーバーを補正する。
【選択図】図１

Description

本発明は、例えば、人工衛星等のプラットフォームから撮像された合成開口レーダ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ，ＳＡＲ）画像について、撮像ターゲットに発生する歪を補正し、視認性の高い画像を生成する技術に関する。

従来のＳＡＲ画像の歪補正の方法としては、オルソ補正がある。オルソ補正処理は、観測対象地域の標高データＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）及び地上の基準点ＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）を用いて、高度を持つターゲットのフォアショートニングを補正する処理である（例えば、特許文献１参照）。
また、撮像条件の異なる複数ＳＡＲ画像のフォアショートニングの量を基に観測対象の形状を推定する処理としては、ドップラーゼロの方向からの撮像において、オフナディア角の異なる２枚のＳＡＲ画像から標高データＤＥＭを求める処理（ＳＡＲステレオＤＥＭ作成処理）がある。
特開２００３−３２３６１１号公報

従来のオルソ補正では、フォアショートニングのみを補正するので、レイオーバーを補正することはできない。したがって、人口構造物など垂直な面を有するターゲットに対しては、その視認性を向上することはできないという課題がある。
また、ＳＡＲステレオＤＥＭ作成処理では、オフナディア角の異なる２枚のＳＡＲ画像を用いる。そのため、レーダ反射断面積がレーダ波の入射角に大きく依存する。この結果、２枚のＳＡＲ画像間の相関が悪くなる。したがって、ＳＡＲステレオＤＥＭ作成処理では、形状推定精度が悪くなるという課題がある。

本発明は、例えば、同一箇所を撮像した２枚以上のＳＡＲ画像を用いて、精度の高い形状推定を行うことを目的とする。また、本発明は、例えば、複数画像の情報を総合することにより、レイオーバーについても補正を行うことを目的とする。

本発明に係るＳＡＲ画像の３Ｄ形状算出装置は、例えば、同一箇所を異なる合成開口レーダで撮像した複数のＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像を入力して記憶装置に記憶するＳＡＲ画像入力部と、
上記ＳＡＲ画像入力部が入力した複数のＳＡＲ画像間の歪量の差を処理装置により算出する歪量算出部と、
上記複数のＳＡＲ画像と地上の形状を表すＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）データとに基づき、歪量の差を高さに変換する高さ変換係数を処理装置により算出する高さ変換係数算出部と、
上記歪量算出部が算出した歪量の差と、上記高さ変換係数算出部が算出した高さ変換係数とに基づき、ＳＡＲ画像に撮像された箇所の高さを算出して、上記複数のＳＡＲ画像に撮像された箇所の３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）形状データを求めて記憶装置に記憶する３Ｄ形状算出部と
を備えることを特徴とする。

本発明に係るＳＡＲ画像の３Ｄ形状算出装置によれば、複数のＳＡＲ画像の歪量の差と高さ変換係数とに基づき、３Ｄ形状データを求めることができる。また、上記３Ｄ形状データに基づき、ＳＡＲ画像について、精度の高い形状推定を行えるとともに、レイオーバーについても補正することができる。

実施の形態１．
実施の形態１では、複数のＳＡＲ画像とＧＣＰデータとに基づき、ＳＡＲ画像に撮像された箇所の３Ｄ形状データを求める方法について説明する。また、上記３Ｄ形状データに基づき、ＳＡＲ画像の歪を補正する方法について説明する。

まず、ＳＡＲ画像の歪と歪補正処理とについて説明する。
ＳＡＲは、衛星のアンテナと地上のターゲットの距離（スラントレンジ）を計測して画像化する。そのため、標高の高いターゲットは衛星側に近寄った位置に画像化される。この現象をフォアショートニング（倒れこみ）と呼ぶ。通常の地図では、地表面より高い位置にあるターゲットはターゲットの垂下の位置にあるはずである。しかし、ＳＡＲ画像では、地表面より高い位置にあるターゲットはスラントレンジが等しい位置、即ち手前にずれて（倒れこんで）画像化される。

また、フォアショートニングにより、標高の高いターゲットが手前の地表面上にずれて表示される場合に、上記地表面上に別のターゲットがある場合がある。この場合、上記標高の高いターゲットと上記別のターゲットとは、ＳＡＲ画像では重なって表示される。この現象をレイオーバーと呼ぶ。ＳＡＲ画像で重なって表示された上記標高の高いターゲットと上記別のターゲットとを分離することは困難である。

ここで、歪補正処理とは、観測対象の形状を、撮像条件の異なる複数画像のフォアショートニングの量を基に推定し、フォアショートニングとレイオーバーを補正する処理である。

次に、図１に基づき実施の形態１に係るＳＡＲ画像の歪補正システム１００の概要を説明する。図１は、実施の形態１に係るＳＡＲ画像のＳＡＲ画像の歪補正システム１００（オルソ補正処理装置）の全体構成図である。

ＳＡＲ画像の歪補正システム１００は、形状推定処理部５、歪補正処理部６を備える。まず、形状推定処理部５へ、ＳＡＲ画像１、ＳＡＲ画像２、ＧＣＰデータ３とが入力される。そして、形状推定処理部５は、入力されたＳＡＲ画像に撮像された箇所の３Ｄ形状データ４を出力する。また、歪補正処理部６へ、ＳＡＲ画像１、ＳＡＲ画像２、３Ｄ形状データ４が入力される。そして、歪補正処理部６は、歪補正画像７を出力する。
ここで、形状推定処理部５と歪補正処理部６とへ入力されるＳＡＲ画像は、３つ以上でも構わない。しかし、ここでは説明の簡単のため、２つのＳＡＲ画像が入力されたものとして説明する。
また、形状推定処理部５は、ＳＡＲ画像の３Ｄ形状算出装置である。また、歪補正処理部６は、ＳＡＲ画像の歪補正装置である。
ここで、ＳＡＲ画像１は合成開口の位置情報を含み、かつ各画素の地図情報（緯度経度または地図座標）が取得可能である。ＳＡＲ画像２は、ＳＡＲ画像１と同一箇所を別の合成開口を用いて撮像したＳＡＲ画像である。ＳＡＲ画像２も、ＳＡＲ画像１と同様に合成開口の位置情報を含み、かつ各画素の地図情報が取得可能である。ＧＣＰデータ３は地図データ等から取得した位置、高度のデータである。３Ｄ形状データ４は入力されたＳＡＲ画像に撮像された箇所の３Ｄ形状を示すデータである。歪補正画像７はフォアショートニングとレイオーバーとを補正した後の画像である。

次に、図２に基づきフォアショートニングとレイオーバーについて説明する。図２は、衛星搭載アンテナを用いたＳＡＲのフォアショートニングの概念を示す概念図である。
上述したように、ＳＡＲは、合成開口と地上のターゲットの距離（スラントレンジ）を計測して画像化する。そのため、標高の高いターゲットは衛星側に近寄った位置に画像化されるフォアショートニングと呼ぶ現象が発生する。
図２において、高度を持つターゲットＡは、地図では位置Ｂにあるはずである。しかし、ＳＡＲ画像ではスラントレンジが等しい位置Ｃ（距離Ｓ−Ａ＝距離Ｓ−Ｃ）に画像化される。これをフォアショートニングと呼ぶ。また、距離Ｓ−Ｃと衛星からの距離が等しい位置Ｄは、同様に位置Ｃに画像化される。つまり、位置Ａと位置Ｄとは、いずれも位置Ｃに重なって画像化される。これをレイオーバーと呼ぶ。

次に図３に基づき形状推定処理部５の機能について説明する。図３は、形状推定処理部５の機能を示す機能ブロック図である。
形状推定処理部５は、ＳＡＲ画像入力部５１、相関領域分割部５２、歪量算出部５３、高さ変換係数算出部５４、３Ｄ形状算出部５５、ＧＣＰデータ入力部５６を備える。
ＳＡＲ画像入力部５１は、同一箇所を異なる合成開口レーダで撮像した複数のＳＡＲ画像を入力して記憶装置に記憶する。
相関領域分割部５２は、複数のＳＡＲ画像それぞれを処理装置により複数の微小領域に分割する。つまり、相関領域分割部５２は、ＳＡＲ画像１及びＳＡＲ画像２を入力とし、各ＳＡＲ画像を分割して微小領域を出力する。
歪量算出部５３は、ＳＡＲ画像入力部５１が入力した複数のＳＡＲ画像間の歪量の差を処理装置により算出する。つまり、歪量算出部５３は、相関領域分割部５２が分割した複数の微小領域の各微小領域において複数のＳＡＲ画像それぞれ間での相関をとる。そして、複数のＳＡＲ画像間での相対的な位置のずれを求めて、複数のＳＡＲ画像間の歪量の差を算出する。すなわち、歪量算出部５３は、分割された微小領域とＳＡＲ画像１及びＳＡＲ画像２を入力とし各微小領域の歪量の差を出力する。
高さ変換係数算出部５４は、複数のＳＡＲ画像と地上の形状を表すＧＣＰデータとに基づき、歪量の差を高さに変換する高さ変換係数を処理装置により算出する。つまり、高さ変換係数算出部５４は、ＳＡＲ画像１、ＳＡＲ画像２及びＧＣＰデータを入力とし、高さ変換係数を出力する。
３Ｄ形状算出部５５は、歪量算出部５３が算出した歪量の差と、高さ変換係数算出部５４が算出した高さ変換係数とに基づき、ＳＡＲ画像に撮像された箇所の高さを算出する。そして、３Ｄ形状算出部５５は、複数のＳＡＲ画像に撮像された箇所の３Ｄ形状データを求めて記憶装置に記憶する。つまり、３Ｄ形状算出部５５は、各微小領域の歪量の差と高さ変換係数とを基に、３Ｄ形状データ４を出力する。
ＧＣＰデータ入力部５６は、ＧＣＰデータを入力装置により入力する。

次に、図４に基づき歪補正処理部６の機能について説明する。図４は、歪補正処理部６の機能を示す機能ブロック図である。
歪補正処理部６は、ＳＡＲ画像入力部６１、３Ｄ形状データ入力部６２、座標算出部６３、画像対応点算出部６４、座標輝度算出部６５、歪補正画像生成部６６を備える。
ＳＡＲ画像入力部６１は、同一箇所を異なる合成開口レーダで撮像した複数のＳＡＲ画像を入力して記憶装置に記憶する。
３Ｄ形状データ入力部６２は、ＳＡＲ画像入力部６１が入力した複数のＳＡＲ画像に撮像されている箇所の３Ｄ形状データを入力して記憶装置に記憶する。つまり、３Ｄ形状データ入力部６２は、３Ｄ形状算出部５５が算出した３Ｄ形状データ４を入力する。
座標算出部６３は、３Ｄ形状データ入力部が入力した３Ｄ形状データに基づき、複数のＳＡＲ画像の歪補正後の各点の座標を処理装置により算出する。つまり、座標算出部６３は、ＳＡＲ画像１、ＳＡＲ画像２及び３Ｄ形状データ４を入力し、歪補正画像の各点（格子点）の座標を出力する。
画像対応点算出部６４は、座標算出部６３が座標を算出した歪補正後の各点に対応するＳＡＲ画像における画素を処理装置により算出する。つまり、画像対応点算出部６４は、歪補正画像の格子点の座標、ＳＡＲ画像１、ＳＡＲ画像２及び３Ｄ形状データ４を入力し、各格子点に対応する各ＳＡＲ画像中の画素の座標を出力する。
座標輝度算出部６５は、画像対応点算出部６４が算出した歪補正後の各点に対応する複数のＳＡＲ画像それぞれにおける画素の輝度に基づき、歪補正後の各点の輝度を処理装置により算出する。つまり、座標輝度算出部６５は、各格子点に対応する各ＳＡＲ画像中の画素の座標、ＳＡＲ画像１、ＳＡＲ画像２及び３Ｄ形状データ４を入力し、歪補正後の各点の輝度を算出する。
歪補正画像生成部６６は、歪補正後の各点の座標と、座標輝度算出部６５が算出した歪補正後の各点の輝度とに基づき、ＳＡＲ画像の歪を補正した歪補正画像を生成する。つまり、歪補正画像生成部６６は、歪補正後の各点の座標と歪補正後の各点の輝度とを入力として、歪補正画像７を出力する。

次に、図５に基づき実施の形態１に係るＳＡＲ画像の歪補正システムの動作について説明する。図５は、実施の形態１に係るＳＡＲ画像のオルソ補正処理における動作を示すフローチャートである。

図５に示すように、実施の形態１に係るＳＡＲ画像のオルソ補正処理は、大きく２つのＳＴＥＰからなる。
まず、ＳＴＥＰ１（形状推定処理）では、形状推定処理部５がＳＡＲ画像１、ＳＡＲ画像２及びＧＣＰデータを基に３Ｄ形状データを算出（推定）する。
次に、ＳＴＥＰ２（歪補正処理）では、歪補正処理部６がＳＡＲ画像１、ＳＡＲ画像２及び３Ｄ形状データ４を基に、歪補正画像７を出力する。

次に、図６、図７に基づきＳＴＥＰ１（形状推定処理）の概要について説明する。ＳＴＥＰ１の目的は、ＳＴＥＰ２を行う前に、ＳＡＲ画像の歪の基となる対象物の３次元形状を求めることである。

図６は、ＳＡＲ画像中に現れる目標の歪を示す概念図である。図７は、ＳＡＲ画像におけるフォアショートニング、レイオーバー及びシャドーを示す概念図である。
図６において、ｈは目標の高さ、θは合成開口から目標を見たときの俯角である。上述したように、ＳＡＲの位置Ｓから目標の位置Ａまでの距離は、ＳＡＲの位置Ｓから倒れこみした位置Ｃまでの距離と同一である。ここで、一般にｈは、ＳＡＲの位置Ｓ（合成開口）と目標の位置Ａとの間の距離より十分に小さい。そのため、ＳＡＲの位置Ｓと目標の位置Ａとを繋ぐ直線と倒れこみした位置Ｃと目標の位置Ａとを繋ぐ直線とは直交すると近似できる。なおこの図では簡単の為、スクイント角は０、即ち合成開口はドップラーゼロの方向にあるとする。
この場合、ＳＡＲ画像において、目標の手前（ＳＡＲ側）の側面はｈ・ｔａｎθだけ手前にフォアショートニングを起こす。また、目標の手前の側面は手前の地面との間でレイオーバーを発生させる。また、高さがある目標の後ろ側（ＳＡＲと反対側）はＳＡＲからは撮像できない。そのため、目標の後方にはｈ／ｔａｎθだけシャドー（撮像できない部分）が発生する。図６の状態でＳＡＲを撮像した場合、図７に示すようにフォアショートニング、レイオーバー及びシャドーを生じる。
ＳＴＥＰ１（形状推定処理）は、複数のＳＡＲ画像から、各画像間のフォアショートニングの量の差を算出し、目標の形状を推定する。

図８は、上記フォアショートニング量と合成開口との関係式に関して、合成開口の位置を一般化した場合の概念図である。
図８では、合成開口を形成するアンテナを衛星で示している。図８のｈは目標の高さベクトル、Ｒは合成開口から目標を見た場合の変位ベクトル、Ｖは合成開口を形成するアンテナの速度ベクトル、Ｌは合成開口の位置からの速度ベクトルの延長線、Ｒ_０は目標からＬに下ろした垂線の足Ｓから目標を見た場合の変位ベクトル、ｘはフォアショートニングによる歪を表すベクトルを示す。
ここで、フォアショートニングによる歪ｘは、Ｖと直交する平面内に発生する。

次に、図９に基づきＳＴＥＰ１（形状推定処理）の処理を詳細に説明する。図９は、ＳＴＥＰ１（形状推定処理）の処理を示すフローチャートである。

まず、ＳＴＥＰ１−１（相関領域分割処理）では、ＳＡＲ画像入力部５１は、同一箇所を異なる合成開口で撮像した２枚以上のＳＡＲ画像を入力する。そして、相関領域分割部５２は、各々の画像を特徴的なパターンを有する微小領域に分割する。ここで、特徴的なパターンを有する微小領域とは、例えば、輝度の高い地点を含む小領域である。

次に、ＳＴＥＰ１−２（歪量算出処理）では、歪量算出部５３は、ＳＴＥＰ１−１で分割された微小領域を入力とし、微小領域とＳＡＲ画像１あるいはＳＡＲ画像２との相関を取る。そして、歪量算出部５３は、ＳＡＲ画像中の微小領域について、ＳＡＲ画像１とＳＡＲ画像２の間の相対的な位置のずれを求め、その微小領域における相対的な歪量の差異を算出する。
ここで、歪量算出部５３は、全ての微小領域に対して相対的な歪量の差異を算出する。

次にＳＴＥＰ１−３（高さ変換係数算出処理）では、高さ変換係数算出部５４は、ＳＡＲ画像に含まれる合成開口の位置情報と、ＧＣＰデータを基に、複数のＳＡＲ画像の相対的な歪量の差を高さに変換する係数を算出する。
まず、高さ変換係数算出部５４は、ＧＣＰの位置と合成開口の位置とから、合成開口からＧＣＰを見た場合の変位ベクトルＲ_ＧＣＰを求める。ＧＣＰは目標と同一ＳＡＲ画像上にありかつ合成開口が目標から十分にはなれていることを仮定すると、合成開口から目標を見た場合の変位ベクトルＲはＲ_ＧＣＰとほぼ同一と扱っても良い。
つまり、
Ｒ＞＞Ｒ−Ｒ_ＧＣＰ
したがって、
Ｒ≒Ｒ_ＧＣＰ
が成立する。
さらに、Ｒ_０は目標からＬへ下ろした垂線の足Ｓから目標を見た場合の変位ベクトルであるから、ＲとＶとからＲ_０を求めることができる。つまり、Ｒ_ＧＣＰとＶとからＲ_０を求めることができる。

図８において、合成開口から目標を見たときの俯角θに対応する角は、Ｒ_０×Ｖとｈのなす角である。また、フォアショートニングによる歪ｘは、Ｒ_０×Ｖとｈとで張られる平面内でｈに垂直である。さらに、フォアショートニングによる歪ｘは、
｜ｘ｜≒ｈ・ｔａｎθ
である。
この場合、
ｓｉｎθ＝｜（Ｒ_０×Ｖ）×ｈ｜／｜Ｒ_０×Ｖ｜・｜ｈ｜，
ｃｏｓθ＝（Ｒ_０×Ｖ）・ｈ／｜Ｒ_０×Ｖ｜・｜ｈ｜
である。
したがって、フォアショートニングによる歪ｘは、
ｘ≒（ｈ×Ｒ_０×Ｖ×ｈ）／（（Ｒ_０×Ｖ）・ｈ） （式３）
ｘ：フォアショートニングによる歪，
ｈ：目標の高さベクトル，
Ｒ_０：ドップラーゼロから目標へのベクトル，
Ｖ：移動速度ベクトル，
×：外積，
・：内積又は積
となる。

ここで、上記の通りジオメトリが一般化されていることから、合成開口から目標を見たときに、スクイントしている場合についても式３は適用できる。つまり、同一方向からスクイント角を変えて、複数の撮像を行うことで得た複数のＳＡＲ画像を入力画像として用いることができる。同一方向からスクイント角を変えて撮像することで、画像間の相関を維持したまま、異なる歪量を有する複数のＳＡＲ画像を得ることができる。したがって、同一方向からスクイント角を変えて、複数の撮像を行うことで得た複数のＳＡＲ画像を入力画像とすることで、形状推定の精度を高めることができる。

ここで、目標の大きさが、Ｒと比べて十分小さいとすれば、歪量ｘは同じ撮像条件の画像中では、すべての場所で同じ方向であり、かつ大きさは｜ｈ｜に比例する。つまり、式３に示すように、Ｒ_０とＶとが等しい場合には、歪量ｘは画像中ではすべての場所で同じ方向であり、かつ大きさは｜ｈ｜に比例する。したがって、ＳＡＲ画像１の点での歪をｘ_１、ＳＡＲ画像１の点に対応するＳＡＲ画像２の点での歪をｘ_２とすると次の式４が成り立つ。
ｘ_１＝ａ_１・｜ｈ｜・ｘ_１０，
ｘ_２＝ａ_２・｜ｈ｜・ｘ_２０
（ａ_１，ａ_２は数値であり定数、ｘ_１０，ｘ_２０はベクトルであり定数） （式４）

したがって、ＳＡＲ画像１とＳＡＲ画像２の間で、対応する点の倒れこみベクトルの差分Δｘについては、次の式５が成り立つ。
Δｘ＝ｘ_２−ｘ_１＝｜ｈ｜（ａ_２・ｘ_２０−ａ_１・ｘ_１０） （式５）

ここで、ａ_２・ｘ_２０−ａ_１・ｘ_１０は、画像を固定すると定数ベクトルとなる。
したがって、２枚のＳＡＲ画像間で対応する点の倒れこみの差分は、すべての場所で、同じ方向かつ、大きさは｜ｈ｜に比例する。また、歪量を高さに変換する係数は、式５から、上記定数の逆数として求められることがわかる。つまり、
｜ｈ｜＝｜Δｘ｜／｜（ａ_２・ｘ_２０−ａ_１・ｘ_１０）｜ （式６）
である。

つまり、高さ変換係数算出部５４は、上記ａ_２・ｘ_２０−ａ_１・ｘ_１０を算出することで、複数のＳＡＲ画像の相対的な歪量の差を高さに変換する係数を得る。

ＳＴＥＰ１−４（３Ｄ形状算出処理）では、３Ｄ形状算出部５５は、高さ変換係数と各微小領域の歪量を基に、ＳＡＲ画像の各点の高さを求める。そして、３Ｄ形状算出部５５は、ＳＡＲ画像の各点の座標及び高さから散乱点の三次元的な分布を表す３Ｄ形状データを出力する。ここで、３Ｄ形状データとは、例えば、対象領域中にある全散乱点の３次元的な位置情報を含むデータ（ファイル）である。

つまり、ＳＴＥＰ１（形状推定処理）では、対象領域中にある全散乱点の３次元的な位置情報を含むデータを出力する。

次に、図１０、図１１に基づきＳＴＥＰ２（歪補正処理）について、概要を説明する。ＳＴＥＰ２では、３Ｄ形状データ４の高さ情報を基に、ＳＡＲ画像１とＳＡＲ画像２の歪量を算出する。そして、算出した歪量に基づき、歪を補正した歪補正画像７を出力する。

まず、歪補正処理では、ＳＡＲ画像の各点の位置の補正を行う。つまり、ＳＡＲ画像の各点が、補正後の歪補正画像７のどの点になるのかを算出する。
図１０は、ＳＡＲ画像中の歪の補正し、視認性の高い画像に復元する操作を示す概念図である。図１０に示すケースにおいては、画像の各点の（１）フォアショートニングによる歪量を補正する。その後更に画像の各点の（２）光学の倒れこみに相当する歪量を補正する。（１）と（２）とを実行した結果、ＳＡＲ画像中のシャドーの部分がカバーされる。つまり、（１）と（２）とを実行することにより、フォアショートニングによりＳＡＲ側へ倒れこんで表示されていた画像が、光学写真と同様に、撮像機器（ＳＡＲ）と反対側へ倒れこんで表示される。図１０の復元画像の上面はフォアショートニング分を戻した後、更に、光学の倒れこみ相当を移動している。

さらに、歪補正処理では、フォアショートニングによりレイオーバーを起こしていた点の補正後の画像での輝度を求める。つまり、上記（１）と（２）とでは、補正後の各点の位置を求めることはできるが、フォアショートニングによりレイオーバーを起こしていた点の補正後の輝度については求まらない。すなわち、フォアショートニングによりレイオーバーを起こしていた箇所（画素）については、補正後の画素の輝度を求める必要がある。そこで、フォアショートニングによりレイオーバーを起こしていた箇所（画素）については、複数のＳＡＲ画像中の対応点の相関から、適切な値（画素の輝度）を算出し、レイオーバーを補正する。
図１１は、レイオーバーの概念を示す図である。ＳＡＲ画像の原理上、図８のＳを含みＶと直行する平面上で、Ｓから等距離にある点は、同一の画像上の点に結像する。すなわち、図中ＳＡＲ画像１のＳ１から等距離Ｒ１にあるＡ１、Ｂ１およびＣ１は同一の箇所に結像し、図中ＳＡＲ画像２のＳ２から等距離Ｒ２にあるＡ２、Ｂ２およびＣ２についても同一の箇所に結像する。つまり、ＳＡＲ画像では、Ａ１、Ｂ１およびＣ１は、１つの画素として表示され、Ａ１、Ｂ１およびＣ１それぞれに分離して表示する場合に、Ａ１、Ｂ１およびＣ１それぞれの画素の輝度はわからない。Ａ２、Ｂ２およびＣ２についても同様である。そこで、上述したように、複数ＳＡＲ画像の対応点の相関から、Ａ１、Ｂ１およびＣ１それぞれの画素の輝度を算出し、レイオーバーを補正する。

次に、図１２基づきＳＴＥＰ２（歪補正処理）の処理を詳細に説明する。図１２は、ＳＴＥＰ２（歪補正処理）の処理を示すフローチャートである。

まず、ＳＴＥＰ２−１（座標算出処理）では、座標算出部６３は、ＳＡＲ画像と３Ｄ形状データをもとに、歪補正後の各点（格子点）の座標を算出する。つまり、座標算出部６３は、ＳＴＥＰ２の最終出力である歪補正画像７の画素となる格子点の座標を算出する。ＳＴＥＰ２−１では、歪補正画像７の格子点の座標値を求めるのみで、格子点の輝度は求めていない。つまり、ＳＴＥＰ２−１では、歪を補正した後の画像では、どの位置に格子点があるかという情報が求まる。ＳＴＥＰ２−１では、座標算出部６３は、ＳＡＲ画像に撮像されている範囲を機械的に等分に（ブロックに）分割し、等分された領域のコーナーを格子点とする。つまり、座標算出部６３は、例えば、画像を等分して座標を計算することで、格子点の座標を求める。

次に、ＳＴＥＰ２−２（画像対応点算出処理）では、画像対応点算出部６４は、ＳＴＥＰ２−１で算出した格子点の、ＳＡＲ画像毎の歪量を算出する。つまり、画像対応点算出部６４は、格子点の座標に基づき、各ＳＡＲ画像に対応した歪量を算出する。格子点のＳＡＲ画像毎の歪量を求めることにより、格子点に対応する各ＳＡＲ画像の画素の座標を求める。ここで、合成開口レーダ（プラットフォーム）の位置と目標の位置との関係が図８に示す場合に発生する歪量を定式化すると、フォアショートニングによる歪量は上述した式５の通りである。また、光学の倒れこみに相当する歪量ｙは、その歪量が図８に示すＲとｈで張られる平面内で発生することから、式５と同様に、以下の式７で表される。
ｙ≒ｈ×（ｈ×Ｒ）／Ｒ・ｈ （式７）

ＳＴＥＰ２−２を、全ての格子点について実施する。つまり、全ての格子点について、対応する各ＳＡＲ画像の画素の座標を求める。
すなわち、ＳＴＥＰ２−２では、歪補正画像７の各格子点に各ＳＡＲ画像のどの画素が対応するかを求めることができる。

次に、ＳＴＥＰ２−３（座標輝度算出処理）では、座標輝度算出部６５は、各格子点に対応する各ＳＡＲ画像の画素から、各対応するＳＡＲ画像の画素の輝度（画素値）を算出する。そして、座標輝度算出部６５は、各対応するＳＡＲ画像の画素の輝度から歪補正画像７の画素の輝度を算出（推定）する。つまり、座標輝度算出部６５は、レイオーバーしていた画素を補正した後の画素の輝度を算出する。

歪補正画像７の画素の輝度の推定方法としては、いくつかの方法が考えられる。
１つ目の方法として、歪補正画像７の輝度を算出する画素に対応する各ＳＡＲ画像の画素の中から、最小の輝度の画素を選択し、その輝度を歪補正画像７の画素の輝度として採用する方法がある。つまり、座標輝度算出部６５は、歪補正後の各点に対応する上記複数のＳＡＲ画像それぞれにおける画素の輝度の内、最小の輝度を上記歪補正後の当該点の輝度とする。
この方法では、複数のＳＡＲ画像の中のいずれかの画像で、輝度を算出しようとしている画素がレイオーバーしていない場合には、原則としてレイオーバーしていないＳＡＲ画像における画素が選ばれる。また、全てのＳＡＲ画像において、輝度を算出しようとしている画素がレイオーバーしている場合には、最もレイオーバーの影響の少ない画素が選ばれる。つまり、輝度を算出する画素に対応する各ＳＡＲ画像の画素の中から、最小の輝度の画素を選択することで、複数のＳＡＲ画像における対応する画素の中から、最も本来の輝度に近い輝度を持つ画素を選択することができる。しかし、この方法では、全てのＳＡＲ画像において、輝度を算出しようとしている画素がレイオーバーしている場合には正確な輝度を算出することができない。

２つ目の方法として、各ＳＡＲ画像の画素毎にレイオーバーにより重畳された歪補正画像７の座標を全て算出し、ＳＡＲ画像の画素の輝度と算出した歪補正画像７の座標との対応関係から得られる連立方程式を解く方法がある。
つまり、ＳＡＲ画像の画素値は、レイオーバーにより重畳される座標点の持つ輝度の和であると考えられる。したがって、座標輝度算出部６５は、歪補正後の各点と複数のＳＡＲ画像それぞれにおける画素及び当該画素の輝度との対応関係に基づき連立方程式を導く。そして、座標輝度算出部６５は、連立方程式を解くことにより、歪補正後の各点の輝度を算出することができる。つまり、あるＳＡＲ画像のある画素にレイオーバーにより重畳された歪補正画像７の座標点を全て算出する。すると、算出された全ての座標点の輝度の和は、上記ＳＡＲ画像の上記画素の輝度であるという式が成り立つ。算出された上記全ての座標点に対して、他のＳＡＲ画像に基づき式を求め、連立方程式を解くことにより、目標の各座標点の輝度を求めることができる。
この方法では、１つ目の方法とは異なり、全てのＳＡＲ画像において、輝度を算出しようとしている画素がレイオーバーしている場合であっても正確な輝度を算出することが可能である。

そして、歪補正画像生成部６６は、座標算出部６３が算出した歪補正後の各点の座標と、座標輝度算出部６５が算出した歪補正後の各点の輝度とに基づき、ＳＡＲ画像の歪を補正した歪補正画像を生成する。

以上のように、従来の補正方式ではオフナディア角の異なる２枚のＳＡＲ画像を用いるため、画像間の相関が悪くなり、結果として形状推定精度が悪くなるという課題があった。また、フォアショートニングのみを補正するので、レイオーバーを補正することはできないという課題があった。しかしながら、本実施の形態に係る歪補正システムでは、ジオメトリが一般化されていることから、同一方向からスクイント角を変えて、複数の撮像を行うことで得た、画像間の相関を維持しつつ、異なる歪量を有する複数のＳＡＲ画像を用いて補正を行うことができる。また、本実施の形態に係る歪補正システムでは、複数画像の情報を総合することにより、レイオーバーを起こしている箇所についても、補正を行うことができる。

ここで、上記実施の形態をまとめると以下のようになる。
上記実施の形態に係るＳＡＲ画像の歪補正システムは、同一箇所を異なる合成開口で撮像した２枚以上のＳＡＲ画像を入力とし、各々の画像を、相関をとる微小領域に分割する相関領域分割部と、分割された微小領域とＳＡＲ画像を入力とし、相関を取ることにより、複数ＳＡＲ画像間の相対的な歪量の差異を求める歪量算出部と、ＳＡＲ画像に含まれる合成開口の位置情報と、ＧＣＰデータを基に、歪量を高さに変換する係数を算出する高さ変換係数算出部と、高さ変換係数と各微小領域の歪量を基に、３Ｄ形状データを出力する３Ｄ形状推定部と、ＳＡＲ画像と３Ｄ形状データを基に、歪補正画像の格子点の座標を算出する格子点算出部と、歪補正画像の格子点の座標とＳＡＲ画像像と３Ｄ形状データを基に、各格子点に対応する各ＳＡＲ画像中の画素を算出する画像対応点算出部と、各格子点に対応する各ＳＡＲ画像中の画素の算出結果とＳＡＲ画像と３Ｄ形状データを基に各格子点の輝度を決定し歪補正画像を出力する格子点輝度推定部とを備えたことを特徴とする。

また、上記ＳＡＲ画像の歪補正システムを用いた歪補正方法は、合成開口から目標を見たときに、スクイントしている場合についても適用できるよう歪量の算出式を一般化し、同一方向からスクイント角を変えて、複数の撮像を行うことで、画像間の相関を維持したままで、異なる歪量を有する複数のＳＡＲ画像を得る事ができるようにしたことを特徴とする。

さらに、上記ＳＡＲ画像の歪補正システムを用いた歪補正方法は、各格子点に対応する各ＳＡＲ画像中の画素の座標から、各々対応するＳＡＲ画像上の画素値をもとめ、それらの画素値から歪補正画像の画素値を推定し出力する際、対応する複数の画素値の中から、最小のものを歪補正画像の画素値として採用することを特徴とする。

また、さらに、上記ＳＡＲ画像の歪補正システムを用いた歪補正方法は、各格子点に対応する各ＳＡＲ画像中の画素の座標から、各々対応するＳＡＲ画像上の画素値をもとめ、それらの画素値から歪補正画像の画素値を推定し出力する際、画素毎にレイオーバーにより重畳される座標点を全て算出し、その全ての座標に対して、他のＳＡＲ画像上の画素値を求め、連立方程式を解くことにより、目標の各座標点の輝度を求めることを特徴とする。

次に、図１３に基づき、上記実施の形態に係る３Ｄ形状処理装置及び歪補正装置のハードウェア構成について説明する。図１３は、実施の形態に係る３Ｄ形状処理装置及び歪補正装置のハードウェア構成の一例を示す図である。
図１３において、３Ｄ形状処理装置及び歪補正装置は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、キーボード９０２、通信ボード９１５、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。３Ｄ形状処理装置及び歪補正装置は、さらに、ＬＣＤ９０１等を備えていても構わない。

ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
通信ボード９１５、キーボード９０２などは、入力装置の一例である。

通信ボード９１５は、通信装置の一例である。
磁気ディスク装置９２０又はＲＯＭ９１３などには、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。

上記プログラム群９２３には、上記で説明した実施の形態において３Ｄ形状処理装置及び歪補正装置の各機能を実行するプログラムがそれぞれ記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、上記で説明した実施の形態において、「〜データ」、「〜画像」として説明する情報やデータや信号値や変数値やパラメータが、「ファイル」や「データベース」の各項目として記憶されている。「ファイル」や「データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵ９１１の動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵ９１１の動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、上記で説明した実施の形態において、処理フロー及びフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、コンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、上記で説明した実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、上記で説明した実施の形態において「〜部」としてコンピュータを機能させるものである。あるいは、上記で説明した実施の形態において「〜部」の手順や方法をコンピュータに実行させるものである。

実施の形態１に係るＳＡＲ画像のＳＡＲ画像の歪補正システム１００（オルソ補正処理装置）の全体構成図。 衛星搭載アンテナを用いたＳＡＲのフォアショートニングの概念を示す概念図。 形状推定処理部５の機能を示す機能ブロック図。 歪補正処理部６の機能を示す機能ブロック図。 実施の形態１に係るＳＡＲ画像のオルソ補正処理における動作を示すフローチャート。 ＳＡＲ画像中に現れる目標の歪を示す概念図。 ＳＡＲ画像におけるフォアショートニング、レイオーバー及びシャドーを示す概念図。 上記フォアショートニング量と合成開口との関係式に関して、合成開口の位置を一般化した場合の概念図。 ＳＴＥＰ１（形状推定処理）の処理を示すフローチャート。 ＳＡＲ画像中の歪の補正し、視認性の高い画像に復元する操作を示す概念図。 レイオーバーの概念を示す図。 ＳＴＥＰ２（歪補正処理）の処理を示すフローチャート。 実施の形態に係る３Ｄ形状処理装置及び歪補正装置のハードウェア構成の一例を示す図。

符号の説明

１，２ ＳＡＲ画像、３ ＧＣＰデータ、４ ３Ｄ形状データ、５ 形状推定処理部、５１，６１ ＳＡＲ画像入力部、５２ 相関領域分割部、５３ 歪量算出部、５４ 高さ変換係数算出部、５５ ３Ｄ形状算出部、５６ ＧＣＰデータ入力部、６ 歪補正処理部、６２ ３Ｄ形状データ入力部、６３ 座標算出部、６４ 画像対応点算出部、６５ 座標輝度算出部、６６ 歪補正画像生成部、７ 歪補正画像、１００ ＳＡＲ画像の歪補正システム、９０２ Ｋ／Ｂ、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群。

Claims (7)

1. 同一箇所を異なる合成開口で撮像した複数のＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像を入力して記憶装置に記憶するＳＡＲ画像入力部と、
   上記ＳＡＲ画像入力部が入力した複数のＳＡＲ画像間の歪量の差を処理装置により算出する歪量算出部と、
   上記複数のＳＡＲ画像と地上の形状を表すＧＣＰ（Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）データとに基づき、歪量の差を高さに変換する高さ変換係数を処理装置により算出する高さ変換係数算出部と、
   上記歪量算出部が算出した歪量の差と、上記高さ変換係数算出部が算出した高さ変換係数とに基づき、ＳＡＲ画像に撮像された箇所の高さを算出して、上記複数のＳＡＲ画像に撮像された箇所の３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）形状データを求めて記憶装置に記憶する３Ｄ形状算出部と
   を備えることを特徴とするＳＡＲ画像の３Ｄ形状算出装置。
2. 上記３Ｄ形状算出装置は、さらに、
   上記複数のＳＡＲ画像それぞれを複数の微小領域に分割する相関領域分割部を備え、
   上記歪量算出部は、上記相関領域分割部が分割した複数の微小領域の各微小領域において上記複数のＳＡＲ画像それぞれ間での相関をとることにより、上記複数のＳＡＲ画像間での相対的な位置のずれを求めて、上記複数のＳＡＲ画像間の歪量の差を算出する
   ことを特徴とする請求項１記載のＳＡＲ画像の３Ｄ形状算出装置。
3. 上記ＳＡＲ画像入力部は、同一方向からスクイント角を変えて撮像した複数のＳＡＲ画像を入力し、
   上記高さ変換係数算出部は、上記同一方向からスクイント角を変えて撮像した複数のＳＡＲ画像とＧＣＰデータとに基づき、歪量の差を高さに変換する高さ変換係数を算出する
   ことを特徴とする請求項１記載のＳＡＲ画像の３Ｄ形状算出装置。
4. 上記高さ変換係数算出部は、歪量を表す式１に基づき求められた式２に基づき、歪量を高さに変換する高さ変換係数を算出する
   ことを特徴とする請求項３記載のＳＡＲ画像の３Ｄ形状算出装置。
   ｘ≒（ｈ×Ｒ_０×Ｖ×ｈ）／（（Ｒ_０×Ｖ）・ｈ） （式１）
   ｜ｈ｜＝Δｘ／（ａ_２・ｘ_２０−ａ_１・ｘ_１０） （式２）
   ｘ：フォアショートニングによる歪，
   ｈ：目標の高さベクトル，
   Ｒ_０：ドップラーゼロから目標へのベクトル，
   Ｖ：移動速度ベクトル，
   Δｘ：２つのＳＡＲ画像の間での対応する点の倒れこみベクトルの差分，
   ａ_１，ｘ_１０，ａ_２，ｘ_２０：定数（ａ_１，ａ_２：数値，ｘ_１０，ｘ_２０：ベクトル）
   ×：外積，
   ・：内積又は積
5. 同一箇所を異なる合成開口で撮像した複数のＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像を入力して記憶装置に記憶するＳＡＲ画像入力部と、
   上記ＳＡＲ画像入力部が入力した複数のＳＡＲ画像に撮像されている箇所の３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）形状データを入力して記憶装置に記憶する３Ｄ形状データ入力部と、
   上記３Ｄ形状データ入力部が入力した３Ｄ形状データに基づき、上記複数のＳＡＲ画像の歪補正後の各点の座標を処理装置により算出する座標算出部と、
   上記座標算出部が座標を算出した歪補正後の各点に対応する上記ＳＡＲ画像における画素を処理装置により算出する画像対応点算出部と、
   上記画像対応点算出部が算出した歪補正後の各点に対応する上記複数のＳＡＲ画像それぞれにおける画素の輝度に基づき、上記歪補正後の各点の輝度を処理装置により算出する座標輝度算出部と、
   上記歪補正後の各点の座標と、上記座標輝度算出部が算出した上記歪補正後の各点の輝度とに基づき、ＳＡＲ画像の歪を補正した歪補正画像を生成する歪補正画像生成部と
   を備えることを特徴とするＳＡＲ画像の歪補正装置。
6. 上記座標輝度算出部は、上記歪補正後の各点に対応する上記複数のＳＡＲ画像それぞれにおける画素の輝度の内、最小の輝度を上記歪補正後の当該点の輝度とする
   ことを特徴とする請求項５記載のＳＡＲ画像の歪補正装置。
7. 上記座標輝度算出部は、上記歪補正後の各点と上記複数のＳＡＲ画像それぞれにおける画素及び当該画素の輝度との対応関係に基づき導いた連立方程式を解くことにより、上記歪補正後の各点の輝度を算出する
   ことを特徴とする請求項５記載のＳＡＲ画像の歪補正装置。

Images