JP6135972B2

JP6135972B2 - 標定方法、標定プログラム、及び標定装置

Info

Publication number: JP6135972B2
Application number: JP2012238204A
Authority: JP
Inventors: 元気高橋; 村井　俊治; 俊治村井; 浩志武田
Original assignee: Kokusai Kogyo Co Ltd
Current assignee: Airport Facilities Co Ltd
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2017-05-31
Anticipated expiration: 2032-10-29
Also published as: JP2014089078A

Description

本願発明は、移動体で移動しながら撮像した沿道状況の画像に基づいて、沿道対象物を計測する技術に関するものであり、より具体的には、概略の標定要素に基づいて取得画像の偏位修正を行い、この偏位修正画像を用いてペア画像の照合（マッチング）を行うとともに、その照合結果から正確な標定要素を求める技術に関する。

従来から、道路及び道路側方の地形など、いわゆる沿道の地形情報（空間情報）に対する需要は高く、その需要に応えるようにその計測技術も進歩してきた。

道路沿いには、家屋や集合住宅、商用ビル、擁壁といった構造物、あるいは標識や信号、屋外広告物など種々の施設が設置されている。このような構造物や施設は目視で確認しやすく、沿道の空間情報を整備することは、目的地までの目印を把握するためにも、目的地そのものを把握するためにも、極めて有用である。また、沿道に設置される構造物や施設（例えば屋外広告物）を管理する者にとっても、その管理業務が容易となるので有益である。

一方で道路沿いの土地は、その利用価値が高いこともあって、比較的変化しやすい。特に市街地では、商用ビルなどの入れ替わりが激しく、屋外広告物も頻繁に変更されている。さらに、自然災害等によって予期せぬ地形変化が生ずることもある。そのため、沿道の空間情報は一度整備すれば足りるというものではなく、地形が変化するたびに、もしくは定期的に再整備していく必要がある。

従来、沿道状況の空間情報を取得するための技術としてはトータルステーションを利用した現地測量が主流であった。この手法によれば、作業上の手間と時間を著しく要する上に相当の費用もかかることから、沿道状況を頻繁に計測することは現実的には難しく、最新の沿道状況を反映した空間情報を維持し続けることは困難であった。

昨今、トータルステーションを利用した現地測量よりも手軽に実施できる方法として注目されているのが、計測機器を搭載した車両で移動しながら空間情報を取得するという計測技術である。この計測技術は、モバイルマッピングシステム（ＭｏｂｉｌｅＭａｐｐｉｎｇＳｙｓｔｅｍ：ＭＭＳ）と呼ばれるもので、測位計（例えば、ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）、慣性計測装置（例えば、ＩＭＵ：ＩｎｅｒｔｉａｌＭｅａｓｕｒｅｍｅｎｔＵｎｉｔ）、距離計（ＤＭＩ：ＤｉｓｔａｎｃｅＭｅａｓｕｒｉｎｇｉｎｓｔｒｕｍｅｎｔ）、レーザー距離計、撮像手段（例えばデジタルカメラ）などを適宜組み合わせて車両に搭載し、移動しながらこれらの計測機器によって沿道の空間情報を取得するものである。

レーザー距離計を搭載したＭＭＳは、沿道の計測対象に対して照射したレーザーパルスの反射信号を受けて計測するものであり、通常、ＧＰＳとＩＭＵが車両に搭載されているのでレーザーパルスの照射位置（ｘ，ｙ，ｚ）と照射姿勢（ω，φ，κ）が得られ、その結果、照射時刻と受信時刻の時間差から計測点の３次元座標を取得することができる。レーザー計測を行うＭＭＳは、一度の走行で大量の計測点を取得できるため、微地形を把握することができる効果がある反面、ＩＭＵやレーザー距離計などは非常に高価であり、費用面で考えれば容易に実施できる手法ではないという問題を抱えていた。

そこで特許文献１では、レーザー距離計を設けることなく、観測車で移動しながらビデオカメラの撮影によって道路の３次元形状を計測する技術を提案している。

特開２００２−０８１９４１

特許文献１は、同一対象物を異なる方向からカメラで撮影した２枚の写真（いわゆるステレオぺア）を用いて対象物の位置座標を特定する技術であり、従来から行われてきたいわゆる写真測量である。

撮像手段を搭載したＭＭＳで写真測量を行う場合、主点位置のずれや、放射性ひずみ、非対称性ひずみといった撮像手段の内部標定要素を求めるほか、撮像した時の撮像位置や撮像方向といった外部標定要素を求める必要がある。この外部標定要素を求めるための手段がＧＰＳやＩＭＵ、ＤＭＩといった計測器であるが、測量用の高精度なＧＰＳやＩＭＵは著しく高価であり、ＤＭＩを取り付けるには車両を改造しなければならない。その結果、レーザー距離計を搭載したＭＭＳに比べるとレーザー距離計を使用しない分だけ費用は軽減されるものの、それほど著しい費用の低減が期待きるものではない。

ところで、近年では非測量用のＧＰＳやジャイロが広く市場に流通しており、携帯電話などの携帯端末では当たり前のように搭載されている。これら非測量用のＧＰＳやジャイロは測量用のものよりはるかに安価であり、これらを利用して高精度な写真測量を実現する技術は極めて有用である。

ＭＭＳによる写真測量において、測量用のＧＰＳやＩＭＵを使用することなく外部標定要素を求めるには、撮像画像を利用することが考えられる。しかしながらこの場合、撮像間隔と画像ひずみの問題を指摘することができる。例えば、動画のように撮像間隔を小さくした画像群に対して特徴点追跡や画像マッチングを行って外部標定要素を求める手法が挙げられるが、画像の数の分だけ誤差が累積する可能性があり、その結果期待した精度が得られないおそれがある。逆に、撮像間隔を大きくした画像群で外部標定要素を求めるとすると、画像上のテクスチャの歪みが大きくなる結果、特徴点抽出や画像マッチングが不安定となり、やはり期待した精度が得られないおそれがある。

本願発明の課題は、前記のような問題を解決する技術を提供することであり、すなわち、高価な測量用測位計や慣性計測装置を用いることなく、移動しながら高精度な写真測量を実現することであり、撮像間隔を大きくした画像群に対して高精度に外部標定要素を求めることができる、標定方法、標定プログラム、及び標定装置を提供することにある。

本願発明は、仮の標定要素に基づいて偏位修正を行った偏位修正画像で画像照合（マッチング）を行い、その結果から正確な標定要素を求める、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

本願発明の標定方法は、移動中に撮像した画像に基づいて標定要素を求める標定方法であり、撮像工程と、画像抽出工程、ペア画像抽出工程、画像照合工程、標定工程を備えた方法である。このうち撮像工程では、移動しながら撮像して２以上の撮像画像を取得するとともに、撮像時における撮像位置及び撮像方向を取得する。画像変換工程では、撮像位置及び撮像方向に基づいて、それぞれの撮像画像を、所定の基準面の画像となるよう変換して、基準面画像を得る。ペア画像抽出工程では、同一箇所を含む２つの基準面画像を抽出し、これらを１組のペア画像とする。画像照合工程では、ペア画像を用いて部分画像の照合を行う。標定工程では、画像照合工程の照合結果に基づいて、撮像工程のそれぞれの撮像時における標定要素を求める。

本願発明の標定方法は、画像位置特定工程を備えた方法とすることもできる。この場合、画像位置特定工程では、撮像時における撮像位置及び撮像方向に基づいてそれぞれの基準面画像に対して画像位置を特定し、ペア画像抽出工程では、画像位置に基づいて２つの基準面画像を抽出する。

本願発明の標定方法は、撮像工程において、移動体の移動前方の前方撮像画像と、移動後方の後方撮像画像とを取得する方法とすることもできる。この場合ペア画像抽出工程では、前方撮像画像と後方撮像画像から１つずつ基準面画像を抽出する。

本願発明の標定プログラムは、移動中に撮像した画像に基づいて標定要素を求める処理をコンピュータに実行させる標定プログラムであり、画像変換処理と、ペア画像抽出処理、画像照合処理、標定処理をコンピュータに実行させるプログラムである。このうち画像変換処理は、移動しながら撮像した２以上の撮像画像と、撮像時における撮像位置及び撮像方向と、に基づいて、それぞれの撮像画像を、所定の基準面の画像となるよう変換して、基準面画像を得る処理である。ペア画像抽出処理は、同一箇所を含む２つの基準面画像を抽出し、これらを１組のペア画像として記憶する処理である。画像照合処理は、ペア画像を用いて部分画像の照合を行う処理である。標定処理は、画像照合処理による照合結果に基づいて、それぞれ撮像時における標定要素を求める演算処理である。

本願発明の標定プログラムは、画像位置特定処理をコンピュータに実行させるプログラムとすることもできる。この場合、画像位置特定処理は、撮像時における撮像位置及び撮像方向に基づいてそれぞれの基準面画像に対して画像位置を特定する処理であり、ペア画像抽出処理は、画像位置に基づいて２つの基準面画像を抽出する処理である。

本願発明の標定プログラムは、ペア画像抽出処理を、移動前方を撮像した前方撮像画像と、移動後方を撮像した後方撮像画像とから、それぞれ１つずつ基準面画像を抽出する処理とすることもできる。

本願発明の標定装置は、移動中に撮像した画像に基づいて標定要素を求める標定装置であり、移動体と、撮像手段、位置計測手段、画像変換手段、ペア画像抽出手段、画像照合手段、標定手段を備えた装置である。このうち撮像手段は、移動体に搭載され、移動体の前方を撮像して撮像画像を取得するとともに、移動体の後方を撮像して後方撮像画像を取得するものである。位置計測手段は、移動体に搭載され、撮像時における撮像手段の位置を取得するものである。画像変換手段は、撮像時における撮像位置及び撮像方向に基づいて、それぞれ前方撮像画像及び後方撮像画を、所定の基準面の画像となるよう変換して、基準面画像を得るものである。ペア画像抽出手段は、同一箇所を含む前方撮像画像と後方撮像画像を１つずつ抽出し、これらを１組のペア画像とするものである。画像照合手段は、ペア画像を用いて部分画像の照合を行うものである。標定手段は、画像照合手段による照合結果に基づいて、それぞれ撮像時における標定要素を求めるものである。

本願発明の標定方法、標定プログラム、及び標定装置には、次のような効果がある。
（１）高価な測量用測量用測位計（ＧＰＳ等）や慣性計測装置（ＩＭＵ等）、あるいは移動体（車両等）の改造を要する距離計（ＤＭＩ等）を必要としないので、比較的安価に沿道状況の空間情報を取得することができる。
（２）照合（マッチング）に用いるペア画像は偏位修正を行っているので、画像上のテクスチャの歪みが抑制される結果、高精度の画像照合が可能となり、ひいては高精度の空間情報を取得することができる。
（３）移動前方の「前方撮像画像」と、移動後方の「後方撮像画像」で画像照合を行えば、さらに高精度の画像照合が可能となり、ひいては高精度の空間情報を取得することができる。

本願発明の主な流れを示すフロー図。撮像工程を示す説明図。前後２方向の撮像画像を取得する場合の撮像工程を示す説明図。撮像画像を基準面画像に変換するしくみを説明するモデル図。白線を含む道路面を撮像した際の、撮像画像のイメージと基準面画像のイメージを示す説明図。前方基準面画像と後方基準面画像を照合したときの解像度を示す説明図。

本願発明の標定方法、標定プログラム、及び標定装置の実施形態の一例を、図に基づいて説明する。

１．全体概要
写真測量を行う場合、画像を取得するカメラやビデオといった撮像手段や撮像条件に関する標定要素を定める必要がある。この標定要素には、既述のとおり、撮像手段が備える内部標定要素（主点位置のずれ、放射性ひずみなど）と、撮像時の条件である外部標定要素（撮像位置や撮像方向）がある。本願発明は、取得した画像から標定要素を求めるものであり、３次元の空間情報をもとにした演算処理を行う。そこで、まずは３次元の空間情報について説明する。

３次元の空間情報は、平面座標値と高さの情報を持つ点や線、面、あるいはこれらの組み合わせで構成される情報である。さらに平面座標値とは、緯度と経度あるいはＸ座標とＹ座標で表されるものであり、高さとは標高など所定の基準水平面からの鉛直方向の距離を意味する。また３次元座標とは、平面座標と高さの組み合わせで表す座標を指す。

次に、本願発明の一連の流れについて簡単に説明する。図１は、本願発明を説明するフロー図である。この図では、中央の列に実施する行為（工程、処理、手段）を示し、左列にはその行為に必要な入力情報を、右列にはその行為から生まれる出力情報を示している。なお図１は、本願発明の標定方法を例示するもので各行為を工程として示しているが、本願発明の標定プログラムの場合は各行為を処理として、本願発明の標定装置の場合は各行為を手段としてこの図を読み替えることができる。

図１にしたがって説明する。撮像工程（Ｓｔｅｐ１０）では、複数の画像を取得し、仮の標定要素を設定する（Ｓｔｅｐ１１）。このとき、内部標定要素は、使用した撮像手段の諸元等から求め、外部標定要素は、簡易の測位計（ＧＰＳ等）と慣性計測装置（ＩＭＵや電子コンパス、鉛直センサ等）によって取得する。

複数の撮像画像と、仮の標定要素が得られると、これらを入力情報として撮像画像の変換を行う（Ｓｔｅｐ２０）。ここでいう変換とは、撮像画像を水平面など所定の基準面の画像とすることであり、これにより得られる変換後の画像を便宜上「基準面画像」ということとする。取得した複数の撮像画像は、当然ながら様々な角度から撮像されているため、同じ対象物でもそれぞれ変形した画像として取得されている。その結果、後の工程で行う画像照合でうまく照合（マッチング）しない現象が起きる。この照合不一致を防ぐため、複数の撮像画像を所定基準面（例えば水平面）に、つまり共通する平面の画像に変換するわけである。

対象とする全ての撮像画像に対して基準面画像が得られると、基準面画像ごとに画像位置を特定する（Ｓｔｅｐ３０）。この結果、各基準面画像には、それぞれ画像位置が情報として紐づけられる。なお画像位置とは、その基準面画像が実際にどの場所を撮像したものかを示すもので、例えば基準面画像の輪郭を構成する各点の平面座標で表される。

次に、ペア画像を抽出し（Ｓｔｅｐ４０）、画像の照合を行う（Ｓｔｅｐ５０）。ペア画像とは、一部が重なりあう２枚の基準面画像からなるもので、つまり２枚の基準面画像で一組のペア画像を構成する。ペア画像を抽出する場合、人によって判断することもできるが、先に求めた画像位置を利用して好適なペア画像を抽出するとよい。ペア画像を構成するそれぞれの基準面画像には、重なり合う部分があって同一の対象物が撮像されているので、その対象物を頼りに部分的な画像の照合を行う。この場合の対象物としては、他と識別しやすい特徴的な物（以下、「特徴物」という。）を選択するとよい。

複数の特徴物について画像照合ができると、バンドル調整等により標定要素を求める、いわゆる「標定」を行う（Ｓｔｅｐ６０）。この場合、内部標定要素と外部標定要素の両方を算出することもできるが、撮像手段の諸元等から求めた内部標定要素が信頼できるときは、この内部標定要素を用いて外部標定要素のみを算出することもできる。ここで算出されたものが、種々の調整を経て得られた高い精度の標定要素である。高精度な標定要素が得られれば、取得した撮像画像に示される様々な地物の３次元座標を求めることができる（Ｓｔｅｐ７０）。

以下、本願発明の標定方法、標定プログラム、及び標定装置を、構成する要素ごとに詳述する。

２．撮像
本願発明の標定方法を構成する撮像工程について説明する。図２は撮像工程を示す説明図である。この図に示すように、車や列車、自転車、航空機といった移動体１０で移動しながら、移動体１０に搭載した撮像手段２０で、複数の画像を撮像していく。撮像画像は、移動体１０が所定距離だけ、もしくは所定時間だけ進むたびに取得され、撮像間隔としては、移動体が１０ｃｍ進行するたびに撮像したり、移動体が３ｍ進行するたびに撮像したり、１秒経過するたびに撮像したり、状況に応じて適宜設計することができる。ただし、少なくとも進行方向に隣接する撮像画像どうしは、その一部が重なり合うような撮像間隔にする必要がある。なお既述のとおり、撮像間隔が小さすぎると誤差の累積が大きくなるため、２〜５ｍを撮像間隔とすることが望ましい。

図３は、前後２方向の撮像画像を取得する場合の撮像工程を示す説明図である。この図に示すように、移動体１０に搭載した２台の撮像手段２０で、移動方向における前方の撮像画像（以下、「前方撮像画像」）と、移動方向における後方の撮像画像（以下、「後方撮像画像」）の２枚の撮像画像を取得することもできる。この場合、前方撮像画像と後方撮像画像が一部重なるような撮像間隔とすれば、必ずしも隣接する前方撮像画像どうしが重なり合うような間隔とする必要がない。なお図３では、前方撮像画像と後方撮像画像を取得するため２台の撮像手段２０（つまり、前方撮像手段２１と後方撮像手段２２）を設置しているが、前方も後方も撮像し得る全方位カメラなどを利用すれば、１台の撮像手段２０の設置とすることもできる。

撮像画像を取得する際には、撮影時（撮影したタイミング）における撮像位置、及び撮像方向を計測する。撮像位置とは、撮像手段２０の主点位置の３次元座標（例えばＸ，Ｙ，Ｚ）であり、撮像方向とは、撮像手段２０が撮像した方向で、例えば３軸からの回転角（ω，φ，κなど）で表される。撮像位置は測位計（ＧＰＳ等）で計測することができ、撮像方向は慣性計測装置（ＩＭＵ等）によって計測することができる。ただし、ここで計測して得られた撮像位置と撮像方向は、あくまで仮の外部標定要素として設定するものであり、それほど高い精度を必要とせず概略の値でよい。したがってここで用いる測位計は、簡易な（測量用ではない）ＧＰＳとすることができる。また慣性計測装置も高価なＩＭＵとする必要はなく、電子コンパスや鉛直センサを慣性計測装置として用いることもできるし、あるいはＧＰＳを利用した慣性計測装置とすることもできる。ＧＰＳを利用した慣性計測装置とは、移動体１０の移動前後の３次元座標に基づいて撮像手段２０の姿勢を求める仕組みであり、例えば、移動体１０の３箇所に搭載したＧＰＳによって撮像手段２０の姿勢を求めるなど、種々の手法で撮像手段２０の姿勢を求めて撮像方向を推定することができる。

ここで説明した移動体１０、撮像手段２０、測位計（位置計測手段）、及び慣性計測装置は、本願発明の標定装置を構成する。

３．画像変換
本願発明の標定方法を構成する画像変換工程、本願発明の標定プログラムを構成する画像変換処理、本願発明の標定方法を構成する画像変換手段、について説明する。既述のとおり、撮像画像は様々な撮像方向で取得されるため、たとえ２枚の撮像画像に同じ特徴物があったとしても、それぞれの特徴物は独特な変形を生じているのでうまく画像照合しないこともある。そこで、照合する撮像画像どうしを共通の平面に変換したうえで画像照合を行えば、比較的精度よく照合する結果が得られる。

図４は、撮像画像を基準面画像に変換するしくみを説明するモデル図である。この図に示すように、撮像手段２０で撮像して得られる撮像画像は、実際には撮像面Ｐに投影されている。このときの撮像画像は、図に示す「撮像範囲」を現実空間として撮像している。この現実の撮像範囲を推定し、その範囲を鉛直上方から仮想の撮像手段２０ｖで撮像したと仮定した結果、得られる画像が基準面画像である。換言すれば基準面画像は、撮像面Ｐに投影された撮像画像を、基準面Ｓ（この場合は水平面）に投影した画像に変換したものである。なお、ここでは仮想の撮像手段２０ｖを鉛直上方から撮像すると仮定して、基準面Ｓを水平面としたが、これに限らず任意の傾きを持った平面を基準面Ｓとして選定することができる。

基準面画像は、撮像画像を偏位修正することで作成され、いわゆるオルソ画像（正射投影画像）を作成する要領で行われる。具体的には、以下の式を用いて偏位修正を行う。

ここで、左辺にある（ｘ，ｙ）は撮像画像上の任意座標系における平面座標で、右辺にある（Ｘ，Ｙ，Ｚ）は実空間の３次元座標である。また、（Ｘ_０，Ｙ_０，Ｚ_０）は撮像手段２０の主点位置の３次元座標、△ｘと△ｙは内部標定要素の補正量、ｃは撮像手段２０の焦点距離、ａ_１１〜ａ_３３は外部標定要素（撮像手段２０の姿勢）によって定まる定数である。

上記変換を行うためには標定要素が必要となるが、内部標定要素は撮像手段２０の諸元等から求めた値を利用し、外部標定要素は先に取得した仮の撮像位置と撮像方向を使用する。また、撮像対象（図２や図３の場合は道路面）の高さも既知でなければならないため、移動体１０の高さなどを参考に仮の高さを設定する。仮定した撮像対象の高さと、撮像手段２０の高さによる比高差を、図４に符号ｈで示す。標定要素が与えられ、さらに図４の比高差ｈが与えられれば（つまり、上記式でＺ＝ｈとすれば）、上記式（１）と式（２）の定数ａ_１１〜ａ_３３を求めることができ、その結果、基準面Ｓに投影した基準面画像を得ることができる。

図５は、白線を含む道路面を撮像した際の、撮像画像のイメージと基準面画像のイメージを示す説明図である。この図に示すように、撮像画像では白線の形状が変形しており、撮像手段２０の主点から遠い位置にあるほど大きな歪が生じている。一方、基準面画像は真上から撮像されたようにほとんど変形することなく白線が表示されている。この図からも、撮像画像のままでは他の画像と画像照合しにくいが、基準面画像にすれば画像照合しやすくなることが分かる。

標定方法を構成する画像変換工程は、ここで説明した画像変換を行う工程であり、人によって実行することもできるし、オペレータが本願発明の標定プログラムや標定装置を操作して処理することもできる。また、標定プログラムを構成する画像変換処理は、ここで説明した画像変換をコンピュータに実行させる処理である。さらに、標定装置を構成する画像変換手段は、ここで説明した画像変換をコンピュータ等によって実行する手段である。

４．ペア画像抽出
本願発明の標定方法を構成するペア画像抽出工程、本願発明の標定プログラムを構成するペア画像抽出処理、本願発明の標定方法を構成するペア画像抽出手段、について説明する。画像照合を行うため、ステレオペアと呼ばれる２枚一組の基準面画像（ペア画像）を抽出する。

ペア画像は、それぞれ基準面画像の一部が重なりあい、つまりそれぞれの基準面画像は同一箇所を含む画像である。ところが、通常は一度の計測で多数の撮像画像、すなわち基準面撮像が得られるため、その中から適切なペア画像を抽出するのは容易ではない。撮像した順に基準面画像に連続番号を付与し、連続する基準面画像をペア画像とすることも考えられるが、重なりあう範囲（以下、「ラップ長」という。）が大きすぎて非効率となるなど、必ずしも隣接する基準面画像がペア画像に適しているとはいえない。そこで、それぞれの基準面画像に対して画像位置を付与し、この画像位置に基づいて好適なペア画像を抽出する。基準面画像は、先に説明した偏位修正を経て得られることから、基準面画像の輪郭を構成する各点等の平面座標は既に算出されており、これらを画像位置として基準面画像ごとに付与する。画像位置に基づいて好適なペア画像を抽出する手法としては、例えば、ラップ長が基準値（例えば、画像面積の６０％等）に近くなる組み合わせをペア画像として抽出するなど座標計算による抽出手法が挙げられる。座標計算によってペア画像を抽出する手法とすれば、コンピュータ等を利用した自動抽出も可能となる。なお、ここで説明した基準面画像に対する画像位置の付与は、標定方法を構成する画像位置特定工程で行われ、標定プログラムを構成する画像位置特定処理に基づきコンピュータによって実行され、標定装置を構成する画像位置特定手段によって実行される。

ペア画像は、既述した前方撮像画像に基づく基準面画像（以下、「前方基準面画像」という。）から２枚を抽出することもできるが、後方撮像画像に基づく基準面画像（以下、「後方基準面画像」という。）を含めるとより好適となる。すなわち、前方基準面画像から１枚を抽出し、後方基準面画像から１枚を抽出してこれら２枚の基準面画像をペア画像とするわけである。

図６は、前方基準面画像と後方基準面画像を照合したときの解像度を示す説明図である。この図に示すように、撮像手段２０の主点から遠い位置にあるほど同じ地物（この図では例えば白線）でも小さく表示され、あわせて解像度も低くなる。前方基準面画像の場合は画像のうち前方にいくほど解像度が低くなり、逆に後方基準面画像の場合は画像のうち後方にいくほど解像度が低くなる。前方基準面画像のみからペア画像を抽出すると、一方の画像の前方範囲と、他方の画像の後方範囲が重なり合うこととなり、すなわち一方の画像は解像度の低い部分で画像照合を行うこととなる。その結果、画像照合の精度が低くなることも考えられる。図６に示すように、前方基準面画像と後方基準面画像からペア画像を抽出すると、前方基準面画像の後方範囲と、後方基準面画像の前方範囲が重なり合うこととなり、すなわち両方の画像ともに解像度の高い部分で画像照合を行うこととなる。その結果、画像照合の精度は向上する。

標定方法を構成するペア画像抽出工程は、ここで説明したペア画像の抽出を行う工程であり、人の判断によって抽出することもできるし、オペレータが本願発明の標定プログラムや標定装置を操作して処理することもできる。また、標定プログラムを構成するペア画像抽出処理は、ここで説明した画像変換をコンピュータに実行させる処理である。さらに、標定装置を構成する画像変換手段は、ここで説明した画像変換をコンピュータ等によって実行する手段である。

５．画像照合
本願発明の標定方法を構成する画像照合工程、本願発明の標定プログラムを構成する画像照合処理、本願発明の標定方法を構成する画像照合手段、について説明する。抽出されたペア画像（ステレオペア）を構成する２枚の基準面画像は、互いに、重なり合う部分があり、その中には同一の対象物が撮像されている。その対象物を手掛かりとして、部分的な画像の照合を行う。一つのペア画像に対して、照合する部分は複数個所検出する。既述のとおり、他と識別しやすい特徴物を多数抽出し、これら特徴物を頼りに照合するとよい。なお、ここで行う画像照合は、従来から行われている技術を利用することができ、コンピュータを用いた画像認識技術を応用して特徴物を自動検出し、これによって画像照合を行うこともできる。

標定方法を構成する画像照合工程は、ここで説明した画像照合を行う工程であり、人の判断によって抽出することもできるし、オペレータが本願発明の標定プログラムや標定装置を操作して処理することもできる。また、標定プログラムを構成するペア画像抽出処理は、ここで説明した画像照合をコンピュータに実行させる処理である。さらに、標定装置を構成する画像変換手段は、ここで説明した画像照合をコンピュータ等によって実行する手段である。

６．標定
本願発明の標定方法を構成する標定工程、本願発明の標定プログラムを構成する標定処理、本願発明の標定方法を構成する標定手段、について説明する。標定は、前述の画像照合の結果に基づいて行うもので、従来から用いられているバンドル法によるブロック調整をはじめ、相互標定や、単コース調整、多項式法によるブロック調整、独立モデル法によるブロック調整、ＤＬＴ法などによって行われる。そして、この標定によって得られた結果が最終的な標定要素である。なお既述のとおり、内部標定要素と外部標定要素の両方を算出することもできるが、撮像手段の諸元等から求めた内部標定要素が信頼できるときは、この内部標定要素を用いて外部標定要素のみを算出することもできる。

標定方法を構成する標定工程は、ここで説明した標定を行う工程であり、人の判断によって抽出することもできるし、オペレータが本願発明の標定プログラムや標定装置を操作して処理することもできる。また、標定プログラムを構成する標定処理は、ここで説明した標定をコンピュータに実行させる処理である。さらに、標定装置を構成する画像変換手段は、ここで説明した標定をコンピュータ等によって実行する手段である。

本願発明の標定方法、標定プログラム、及び標定装置は、沿道の空間情報を安価でしかも精度よく取得することができるので、地図の作成や更新を行う際に有効な発明である。また、沿道に設置される屋外広告や道路占用物を容易かつ正確に把握できるので、沿道施設の管理者にとっても極めて有用な発明である。さらに、道路に限らず、線路（軌道）沿いの状況にも容易に応用できるなど、各種の移動体で活用可能な発明である。

１０移動体
２０撮像手段
２１前方撮像手段
２２後方撮像手段
２０ｖ仮想の撮像手段
ｈ比高差
Ｐ撮像面
Ｓ基準面

Claims

移動中に移動体に搭載された２つの撮像手段で撮像した画像に基づいて標定要素を求める標定方法において、
移動しながら一方の前記撮像手段で撮像して移動前方の前方撮像画像を取得し、かつ移動しながら他方の前記撮像手段で撮像して移動後方の後方撮像画像を取得するとともに、撮像時における撮像位置及び撮像方向を取得する撮像工程と、
前記撮像位置及び前記撮像方向に基づいて、前記前方撮像画像を所定の基準面の画像となるよう変換して前方基準面画像を得るとともに、前記後方撮像画像を前記基準面の画像となるよう変換して後方基準面画像を得る画像変換工程と、
前記前方基準面画像のうち移動方向における後方側の範囲である後方範囲と、前記後方基準面画像のうち移動方向における前方側の範囲である前方範囲と、が重なる前記前方基準面画像及び前記後方基準面画像を抽出し、これらを１組のペア画像とするペア画像抽出工程と、
前記前方基準面画像の中で比較的解像度の高い前記後方範囲と、前記後方基準面画像の中で比較的解像度の高い前記前方範囲と、が重なり合う部分で画像の照合を行う画像照合工程と、
前記画像照合工程の照合結果に基づいて、前記撮像工程のそれぞれの撮像時における標定要素を求める標定工程と、を備えたことを特徴とする標定方法。
撮像時における前記撮像位置及び前記撮像方向に基づいて、それぞれの前記基準面画像に対して画像位置を特定する画像位置特定工程を、さらに備え、
前記ペア画像抽出工程では、前記画像位置に基づいて、２つの前記基準面画像を抽出する、ことを特徴とする請求項１記載の標定方法。
移動中に移動体に搭載された２つの撮像手段で撮像した画像に基づいて標定要素を求める処理を、コンピュータに実行させる標定プログラムにおいて、
移動しながら一方の前記撮像手段で撮像した移動前方の前方撮像画像、及び移動しながら他方の前記撮像手段で撮像した移動後方の後方撮像画像と、撮像時における撮像位置及び撮像方向と、に基づいて、前記前方撮像画像を所定の基準面の画像となるよう変換して前方基準面画像を得るとともに、前記後方撮像画像を前記基準面の画像となるよう変換して後方基準面画像を得る画像変換処理と、
前記前方基準面画像のうち移動方向における後方側の範囲である後方範囲と、前記後方基準面画像のうち移動方向における前方側の範囲である前方範囲と、が重なる前記前方基準面画像及び前記後方基準面画像を抽出し、これらを１組のペア画像として記憶するペア画像抽出処理と、
前記前方基準面画像の中で比較的解像度の高い前記後方範囲と、前記後方基準面画像の中で比較的解像度の高い前記前方範囲と、が重なり合う部分で画像の照合を行う画像照合処理と、
前記画像照合処理による照合結果に基づいて、それぞれ撮像時における標定要素を求める標定処理と、を前記コンピュータに実行させる機能を備えたことを特徴とする標定プログラム。
撮像時における前記撮像位置及び前記撮像方向に基づいて、それぞれの前記基準面画像に対して画像位置を特定する画像位置特定処理を、前記コンピュータに実行させる機能をさらに備え、
前記ペア画像抽出処理では、前記画像位置に基づいて、２つの前記基準面画像を抽出する、ことを特徴とする請求項３記載の標定プログラム。
移動中に撮像した画像に基づいて標定要素を求める標定装置において、
移動体と、
前記移動体に搭載され、前記移動体の前方を撮像して前方撮像画像を取得する前方用の撮像手段、及び前記移動体の後方を撮像して後方撮像画像を取得する後方用の撮像手段と、
前記移動体に搭載され、撮像時における前記撮像手段の位置を取得する位置計測手段と、
前記移動体に搭載され、撮像時における前記撮像手段の撮影方向を取得する慣性計測装置と、
撮像時における撮像位置及び撮像方向に基づいて、前記前方撮像画像を所定の基準面の画像となるよう変換して前方基準面画像を得るとともに、前記後方撮像画像を前記基準面の画像となるよう変換して後方基準面画像を得る画像変換手段と、
前記前方基準面画像のうち移動方向における後方側の範囲である後方範囲と、前記後方基準面画像のうち移動方向における前方側の範囲である前方範囲と、が重なる前記前方基準面画像及び前記後方基準面画像を抽出し、これらを１組のペア画像とするペア画像抽出手段と、
前記前方基準面画像の中で比較的解像度の高い前記後方範囲と、前記後方基準面画像の中で比較的解像度の高い前記前方範囲と、が重なり合う部分で画像の照合を行う画像照合手段と、
前記画像照合手段による照合結果に基づいて、それぞれ撮像時における標定要素を求める標定手段と、を備えたことを特徴とする標定装置。