JP2002257543A - 連続フレーム画像を用いた高精度ステレオビジョン - Google Patents
連続フレーム画像を用いた高精度ステレオビジョンInfo
- Publication number
- JP2002257543A JP2002257543A JP2001059558A JP2001059558A JP2002257543A JP 2002257543 A JP2002257543 A JP 2002257543A JP 2001059558 A JP2001059558 A JP 2001059558A JP 2001059558 A JP2001059558 A JP 2001059558A JP 2002257543 A JP2002257543 A JP 2002257543A
- Authority
- JP
- Japan
- Prior art keywords
- images
- subject
- shape
- stereo
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 本発明の課題は、上記のようなステレオカメ
ラ方式における問題点を解決し、二枚の画像間の対応点
探索を確かなものとすることで視差の値の割りだしを正
確にし、よって被写体形状認識の確実性を増すと共に、
その再現精度が高いステレオカメラ方式を提供すること
にある。 【解決手段】 本発明の連続フレーム画像を用いた高精
度ステレオビジョンは、変形しない被写体の異なる視点
からのステレオ画像を複数組取得して各組の画像間の相
関関係の高い対応点探索を実行して視差を検知し、該視
差値から被写体形状を演算し、各組間においても同様に
対応点探索を実行して被写体形状を演算してデータを蓄
積すると共に該蓄積情報を総合演算して被写体形状推定
値を確かなものとするようにした。
ラ方式における問題点を解決し、二枚の画像間の対応点
探索を確かなものとすることで視差の値の割りだしを正
確にし、よって被写体形状認識の確実性を増すと共に、
その再現精度が高いステレオカメラ方式を提供すること
にある。 【解決手段】 本発明の連続フレーム画像を用いた高精
度ステレオビジョンは、変形しない被写体の異なる視点
からのステレオ画像を複数組取得して各組の画像間の相
関関係の高い対応点探索を実行して視差を検知し、該視
差値から被写体形状を演算し、各組間においても同様に
対応点探索を実行して被写体形状を演算してデータを蓄
積すると共に該蓄積情報を総合演算して被写体形状推定
値を確かなものとするようにした。
Description
【０００１】
【発明の属する技術分野】本発明は、移動するステレオ
カメラで撮影した複数の画像情報から地形を精度よく認
識する技術に関し、特に月面軟着陸の際の地形判定に適
したステレオカメラの技術に関する。
カメラで撮影した複数の画像情報から地形を精度よく認
識する技術に関し、特に月面軟着陸の際の地形判定に適
したステレオカメラの技術に関する。
【０００２】
【従来の技術】所定距離離れて設置された二台のカメラ
で撮影した二枚の画像をもとに、被写体の三次元形状を
認識するステレオ写真の技術は、左右の目で二枚の画像
を別々に見て視覚によって立体視させるものや、二枚の
画像中から対応する点情報を見つけその視差からその点
の奥行き座標を演算で求める技術が知られている。とこ
ろで、わが国において近い将来無人の月面探査機を月面
に軟着陸させる計画があり、その月面軟着陸を確実にす
るには、月面に分布するクレータや岩石などの位置を認
識し、それを回避すべく探査機を誘導・制御する技術が
重要となる。そのためには視界情報を用いた地形の認識
が必須で、このステレオカメラを用いた三次元形状認識
技術、前述の後者の方式が注目されている。
で撮影した二枚の画像をもとに、被写体の三次元形状を
認識するステレオ写真の技術は、左右の目で二枚の画像
を別々に見て視覚によって立体視させるものや、二枚の
画像中から対応する点情報を見つけその視差からその点
の奥行き座標を演算で求める技術が知られている。とこ
ろで、わが国において近い将来無人の月面探査機を月面
に軟着陸させる計画があり、その月面軟着陸を確実にす
るには、月面に分布するクレータや岩石などの位置を認
識し、それを回避すべく探査機を誘導・制御する技術が
重要となる。そのためには視界情報を用いた地形の認識
が必須で、このステレオカメラを用いた三次元形状認識
技術、前述の後者の方式が注目されている。
【０００３】ここで、ステレオカメラによる地形検出の
原理を説明する。２台のカメラを用いたステレオ視によ
る外界認識においては、１回の撮影による左右のカメラ
画像の対応点から画像上の点の視差を求め、次式に基づ
きその点の座標を求める。 ｘ＝ｂ（ｘＬ＋ｘＲ）／２ｄ ｙ＝ｂ（ｙＬ＋ｙＲ）／２ｄ ｚ＝ｂｆ／ｄ ここでｆは焦点距離、ｂはカメラ間のベースライン距
離、ｄは視差であり、図３に示すように（ｘＬ,ｙＬ）,
（ｘＲ,ｙＲ）は左右カメラ画面での対応点の座標であ
る。このように左右のカメラ画像上の各点の対応点探索
により視差を求め、これから対応する外界の点までの距
離を求めれば、前方の地形が求まることになる。
原理を説明する。２台のカメラを用いたステレオ視によ
る外界認識においては、１回の撮影による左右のカメラ
画像の対応点から画像上の点の視差を求め、次式に基づ
きその点の座標を求める。 ｘ＝ｂ（ｘＬ＋ｘＲ）／２ｄ ｙ＝ｂ（ｙＬ＋ｙＲ）／２ｄ ｚ＝ｂｆ／ｄ ここでｆは焦点距離、ｂはカメラ間のベースライン距
離、ｄは視差であり、図３に示すように（ｘＬ,ｙＬ）,
（ｘＲ,ｙＲ）は左右カメラ画面での対応点の座標であ
る。このように左右のカメラ画像上の各点の対応点探索
により視差を求め、これから対応する外界の点までの距
離を求めれば、前方の地形が求まることになる。
【０００４】上記のような左右のカメラ画像の対応点探
索にはいくつかの手法があるが、その代表的なものは、
ａｒｅａ・ｂａｓｅｄ・ｍａｔｃｈｉｎｇを用いるもの
である。これは図４に示すように左右のカメラ画像上に
設定したウインドー内において各ピクセルごとの画像の
差を、例えば次式のように評価する。
索にはいくつかの手法があるが、その代表的なものは、
ａｒｅａ・ｂａｓｅｄ・ｍａｔｃｈｉｎｇを用いるもの
である。これは図４に示すように左右のカメラ画像上に
設定したウインドー内において各ピクセルごとの画像の
差を、例えば次式のように評価する。
【数１】 このような左右のウインドー内の画像の差に関する評価
関数を直線上で比較し、それが最小になる点どうしを対
応点とし、その視差から距離情報を求めるものである。
ところがその場合、同一画像上の異なる場所でのパター
ンの類似性が強い場合や、画像ノイズがある場合には対
応点探索に失敗し、異なる点を対応させてしまい視差値
を誤認して計算し、地形の推定を大きく誤ることが起こ
る。また、以上のようにカメラの１フレームのみを用い
たステレオ画像処理では、部分的な地形検出は可能であ
っても画面全体の地形検出が不可能であったり、検出で
きても大きな誤差を伴う場合もある。このようにこのス
テレオカメラ方式は、二枚の画像間の対応点探索の難し
さなどで、地形認識の確実性や実現精度に問題がある。
関数を直線上で比較し、それが最小になる点どうしを対
応点とし、その視差から距離情報を求めるものである。
ところがその場合、同一画像上の異なる場所でのパター
ンの類似性が強い場合や、画像ノイズがある場合には対
応点探索に失敗し、異なる点を対応させてしまい視差値
を誤認して計算し、地形の推定を大きく誤ることが起こ
る。また、以上のようにカメラの１フレームのみを用い
たステレオ画像処理では、部分的な地形検出は可能であ
っても画面全体の地形検出が不可能であったり、検出で
きても大きな誤差を伴う場合もある。このようにこのス
テレオカメラ方式は、二枚の画像間の対応点探索の難し
さなどで、地形認識の確実性や実現精度に問題がある。
【０００５】
【発明が解決しようとする課題】本発明の課題は、上記
のようなステレオカメラ方式における問題点を解決し、
二枚の画像間の対応点探索を確かなものとすることで視
差の値の割りだしを正確にし、よって被写体形状認識の
確実性を増すと共に、その再現精度が高いステレオカメ
ラ方式を提供することにある。
のようなステレオカメラ方式における問題点を解決し、
二枚の画像間の対応点探索を確かなものとすることで視
差の値の割りだしを正確にし、よって被写体形状認識の
確実性を増すと共に、その再現精度が高いステレオカメ
ラ方式を提供することにある。
【０００６】
【課題を解決するための手段】本発明の連続フレーム画
像を用いた高精度ステレオビジョンは、変形しない被写
体の異なる視点からのステレオ画像を複数組取得して各
組の画像間の相関関係の高い対応点探索を実行して視差
を検知し、該視差値から被写体形状を演算し、各組にお
いても同様に対応点探索を実行して被写体形状を演算し
てデータを蓄積すると共に複数組の該蓄積情報を総合演
算して被写体形状推定値を確かなものとするようにし
た。
像を用いた高精度ステレオビジョンは、変形しない被写
体の異なる視点からのステレオ画像を複数組取得して各
組の画像間の相関関係の高い対応点探索を実行して視差
を検知し、該視差値から被写体形状を演算し、各組にお
いても同様に対応点探索を実行して被写体形状を演算し
てデータを蓄積すると共に複数組の該蓄積情報を総合演
算して被写体形状推定値を確かなものとするようにし
た。
【０００７】
【発明の実施の形態】本発明は、被写体形状が不変であ
り、カメラが移動体につけられたりして異なる視点から
の連続した画像が取得できる場合には、各フレームで得
られた形状情報を蓄積して、総合判断すれば画像間の対
応点探索において対応点を誤認する確率は減少し、各地
点毎の情報も信頼性が高くなるという基本思想に基くも
のである。すなわち、異なる角度、異なる視野からの画
像を基にしてある部分の特定を実行すれば、個々の点に
ついては画像上のランダムノイズの影響は平均化される
ことで少なくなる。その結果月面地形の観測においては
検出領域を拡張したり、地形推定の高精度化をはかるこ
とが可能である。
り、カメラが移動体につけられたりして異なる視点から
の連続した画像が取得できる場合には、各フレームで得
られた形状情報を蓄積して、総合判断すれば画像間の対
応点探索において対応点を誤認する確率は減少し、各地
点毎の情報も信頼性が高くなるという基本思想に基くも
のである。すなわち、異なる角度、異なる視野からの画
像を基にしてある部分の特定を実行すれば、個々の点に
ついては画像上のランダムノイズの影響は平均化される
ことで少なくなる。その結果月面地形の観測においては
検出領域を拡張したり、地形推定の高精度化をはかるこ
とが可能である。
【０００８】連続して撮影された複数のステレオ画像情
報処理により、地形の認識精度を観測回数の増加に伴い
向上させる手法について示す。まず、高精度化のための
統計処理についてであるが、本発明では平均処理と
重み付き平均処理の手法を採用した。 （１）平均処理 対象（被写体）表面を絶対空間座標（Ｘ，Ｙ，Ｚ）で表
すものとし、その二次元座標上の格子点（Ｘｉ，Ｙｊ）
における地形（奥行き座標値）Ｚｉ，ｊのフレーム画像
ｋにおける推定値をＺ ｉｊｋ で表すものとする。この
とき連続したステレオカメラ撮影でＭ個の推定値が得ら
れたら、Ｍ番目までのフレーム情報を用いた地形の推定
値は、それらの平均値により
報処理により、地形の認識精度を観測回数の増加に伴い
向上させる手法について示す。まず、高精度化のための
統計処理についてであるが、本発明では平均処理と
重み付き平均処理の手法を採用した。 （１）平均処理 対象（被写体）表面を絶対空間座標（Ｘ，Ｙ，Ｚ）で表
すものとし、その二次元座標上の格子点（Ｘｉ，Ｙｊ）
における地形（奥行き座標値）Ｚｉ，ｊのフレーム画像
ｋにおける推定値をＺ ｉｊｋ で表すものとする。この
とき連続したステレオカメラ撮影でＭ個の推定値が得ら
れたら、Ｍ番目までのフレーム情報を用いた地形の推定
値は、それらの平均値により
【数２】 とすればよい。各フレームにおける推定誤差の分散がσ
ｉｊ ２で与えられるとすると、Ｚ ｉｊ Ｍの推定誤差分散
は σｉｊ ２ ／Ｍ となり、推定誤差分散がＭ個のフ
レームの処理により、１／Ｍに減少することが分かる。
以上のように被写体の各部分の形状（奥行き座標値）に
関し、複数組の画像からデータを取りこむことにより誤
差の少ない信頼性の高い情報を得ることができる。なお
逐次処理を考慮する場合は
ｉｊ ２で与えられるとすると、Ｚ ｉｊ Ｍの推定誤差分散
は σｉｊ ２ ／Ｍ となり、推定誤差分散がＭ個のフ
レームの処理により、１／Ｍに減少することが分かる。
以上のように被写体の各部分の形状（奥行き座標値）に
関し、複数組の画像からデータを取りこむことにより誤
差の少ない信頼性の高い情報を得ることができる。なお
逐次処理を考慮する場合は
【数３】 とすれば、１回前の推定結果のみを記憶するだけでよ
く、記憶領域の節約が可能である。
く、記憶領域の節約が可能である。
【０００９】（２）重み付き平均処理 フレームｋにおける推定値Ｚ ｉｊｋ と、その推定誤差
分散σｉｊ ２ が評価可能であるなら、推定値のフレー
ム間の独立性や推定誤差分布の正規性を仮定するＺｉｊ
の確率分布は
分散σｉｊ ２ が評価可能であるなら、推定値のフレー
ム間の独立性や推定誤差分布の正規性を仮定するＺｉｊ
の確率分布は
【数４】 となるので、Ｍ個のフレームの画像を得た時の確率は
【数５】 となる。指数部の符号を変えたものをＪと書けば、Ｍ個
のフレームの画像を得た時の最適推定値（最尤推定）は
のフレームの画像を得た時の最適推定値（最尤推定）は
【数６】 より
【数７】 のような、各フレームにおける推定誤差の重み付き加算
とすればよい。すなわち、各フレームの推定誤差分散σ
ｉｊ ２ に基く重み付けにより、被写体の各部分の形状
（奥行き座標値）に関し単なる加算平均よりも信頼性の
高い情報を得ることが出来る。なお、逐次処理型への式
変形は先の加算平均の場合と同様に
とすればよい。すなわち、各フレームの推定誤差分散σ
ｉｊ ２ に基く重み付けにより、被写体の各部分の形状
（奥行き座標値）に関し単なる加算平均よりも信頼性の
高い情報を得ることが出来る。なお、逐次処理型への式
変形は先の加算平均の場合と同様に
【数８】 上記のように一回前の推定結果を用いる計算とすれば、
少ない記憶容量で演算が実行できる。
少ない記憶容量で演算が実行できる。
【００１０】さて、月面探査機のような移動体上に設置
されたカメラで時系列的に撮影された画像はカメラ座標
において一致しているものの、各撮影時点のカメラ座標
は被写体に対する位置関係を異にしている。求めるべき
被写体形状、例えば月面の地形であれば月面を基準とし
た座標、一般的には絶対空間座標における情報として求
めることが必要である。カメラが運動しているときに時
系列的に撮影した複数組のフレームから、絶対空間での
地形を求めるためには、各フレームに対応するカメラ座
標が相違しているので、座標変換し一致させなければデ
ータを綜合することができない。そこで、本発明ではカ
メラを設置した月面探査機のような移動体の移動量を慣
性センサ等により検出し、各カメラ座標系を補正変換す
るようにしている。これにより時系列的に撮影しそれぞ
れ座標系を異にした複数組のフレームの対応が可能とな
る。
されたカメラで時系列的に撮影された画像はカメラ座標
において一致しているものの、各撮影時点のカメラ座標
は被写体に対する位置関係を異にしている。求めるべき
被写体形状、例えば月面の地形であれば月面を基準とし
た座標、一般的には絶対空間座標における情報として求
めることが必要である。カメラが運動しているときに時
系列的に撮影した複数組のフレームから、絶対空間での
地形を求めるためには、各フレームに対応するカメラ座
標が相違しているので、座標変換し一致させなければデ
ータを綜合することができない。そこで、本発明ではカ
メラを設置した月面探査機のような移動体の移動量を慣
性センサ等により検出し、各カメラ座標系を補正変換す
るようにしている。これにより時系列的に撮影しそれぞ
れ座標系を異にした複数組のフレームの対応が可能とな
る。
【００１１】本発明を月面探査機の月面軟着陸における
着地点観測に用いることは、着地目標地形は不変であ
り、着陸降下に伴い連続フレーム（現状技術で数Ｈｚ）
の画像が取得できるため、外界に相当する月面地形の検
出法として有望である。しかし本発明は月面軟着陸にお
ける着地点観測に限られず、この他、ロボットなど自律
移動体における外界認識技術にそのまま応用することが
できる。また、本発明は異なる視点からの画像を綜合す
るものであるため、物体の影などに入り、左右のカメラ
画像で対応点の存在しない領域（オクルージョン）につ
いても、異なる視点からその部分の画像を取得すること
ができ、抜けのない表面形状の認識を可能にするもので
ある。
着地点観測に用いることは、着地目標地形は不変であ
り、着陸降下に伴い連続フレーム（現状技術で数Ｈｚ）
の画像が取得できるため、外界に相当する月面地形の検
出法として有望である。しかし本発明は月面軟着陸にお
ける着地点観測に限られず、この他、ロボットなど自律
移動体における外界認識技術にそのまま応用することが
できる。また、本発明は異なる視点からの画像を綜合す
るものであるため、物体の影などに入り、左右のカメラ
画像で対応点の存在しない領域（オクルージョン）につ
いても、異なる視点からその部分の画像を取得すること
ができ、抜けのない表面形状の認識を可能にするもので
ある。
【００１２】
【実施例１】本発明を実施できるシステムの具体例の基
本構成図を図１に示し、その動作を図２のフローチャー
トによって説明する。まず、装置として所定間隔をもた
せて左側のカメラＬと右側のカメラＲを機体に直接固定
する。該カメラＬ，ＲはＣＣＤ等の撮像素子を備えデジ
タル情報を出力するカメラを用い、左右のカメラの撮影
画像は逐次それぞれのＲＡＭの画像メモリ領域に蓄積さ
れる。［ステップ１］このシステムはコンピュータを備
え、該コンピュータのＣＰＵは両画像の画素毎の比較
（差）演算をして全画素について最も相関関係の高くな
る対応点探索を実行して視差を求め［ステップ２］、こ
の視差値に基いて地形の起伏情報を演算する［ステップ
３］。複数組のステレオ画像についてデータを取りこみ
同様の演算を行って、求めた起伏情報について慣性セン
サなどにより別途計測された機体の移動量に基く座標変
換を施しある基準座標系における起伏情報に変換した
後、順次記憶蓄積する。［ステップ４］また、このコン
ピュータは複数組のステレオ画像から算出した地形の起
伏情報を比較検討する機能を備えている［ステップ
６］。すなわち、ある組の形状推定データが他のデータ
との差が大きいときは、多数決原理に基きそのステレオ
画像は対応点探索を誤認しているものと判断し、対応点
探索をやり直す。その場合、画像にノイズが入っている
ことがあり得るので他の組の画像データとの比較をし、
相関の悪い部分のデータを不採用とする処理を行う。す
なわち、推定値が大きく異なる個所の画像データを削除
する［ステップ８］。確かな画像データをもとに再度対
応点の探索を実行し視差を割り出す［ステップ９］。新
たな視差値をもとに再度その組の形状推定値を演算し、
上書き記憶する［ステップ10］。複数組のステレオ画像
の有効として採用されたデータを平均処理、或いは重み
付きの平均処理を実行して信頼性を高めた地形情報を演
算する［ステップ11］。演算した結果の形状最適推定情
報を記憶し［ステップ12］、作業を終了する。なお、こ
のシステムは月面探査機にあっては地上のセンターのよ
うな遠隔の指令部署のコントローラやモニター用のディ
スプレイと通信接続されている。
本構成図を図１に示し、その動作を図２のフローチャー
トによって説明する。まず、装置として所定間隔をもた
せて左側のカメラＬと右側のカメラＲを機体に直接固定
する。該カメラＬ，ＲはＣＣＤ等の撮像素子を備えデジ
タル情報を出力するカメラを用い、左右のカメラの撮影
画像は逐次それぞれのＲＡＭの画像メモリ領域に蓄積さ
れる。［ステップ１］このシステムはコンピュータを備
え、該コンピュータのＣＰＵは両画像の画素毎の比較
（差）演算をして全画素について最も相関関係の高くな
る対応点探索を実行して視差を求め［ステップ２］、こ
の視差値に基いて地形の起伏情報を演算する［ステップ
３］。複数組のステレオ画像についてデータを取りこみ
同様の演算を行って、求めた起伏情報について慣性セン
サなどにより別途計測された機体の移動量に基く座標変
換を施しある基準座標系における起伏情報に変換した
後、順次記憶蓄積する。［ステップ４］また、このコン
ピュータは複数組のステレオ画像から算出した地形の起
伏情報を比較検討する機能を備えている［ステップ
６］。すなわち、ある組の形状推定データが他のデータ
との差が大きいときは、多数決原理に基きそのステレオ
画像は対応点探索を誤認しているものと判断し、対応点
探索をやり直す。その場合、画像にノイズが入っている
ことがあり得るので他の組の画像データとの比較をし、
相関の悪い部分のデータを不採用とする処理を行う。す
なわち、推定値が大きく異なる個所の画像データを削除
する［ステップ８］。確かな画像データをもとに再度対
応点の探索を実行し視差を割り出す［ステップ９］。新
たな視差値をもとに再度その組の形状推定値を演算し、
上書き記憶する［ステップ10］。複数組のステレオ画像
の有効として採用されたデータを平均処理、或いは重み
付きの平均処理を実行して信頼性を高めた地形情報を演
算する［ステップ11］。演算した結果の形状最適推定情
報を記憶し［ステップ12］、作業を終了する。なお、こ
のシステムは月面探査機にあっては地上のセンターのよ
うな遠隔の指令部署のコントローラやモニター用のディ
スプレイと通信接続されている。
【００１３】
【発明の効果】本発明の連続フレーム画像を用いた高精
度ステレオビジョンは、変形しない被写体の異なる視点
からのステレオ画像を複数組取得するステップと、各組
の画像間の相関関係の高い対応点探索を実行して視差を
検知するステップと、該視差値から被写体形状を演算す
るステップと、各組間においても同様に対応点探索を実
行して被写体形状を演算してデータを蓄積するステップ
と、該蓄積情報を総合演算して被写体形状推定値を確か
なものとするステップとからなるものであるから、対応
点探索の誤認が防止でき、ステレオ画像としての視差値
の信頼性が高いものとなる。また、複数組のステレオ画
像をもとにした被写体形状推定値を綜合するものである
ため、その推定値は信頼性が高く、高精度化が計られた
ものである。蓄積情報の総合演算方法として、複数組の
ステレオ画像に基く形状推定値の平均処理を行えば、そ
の推定誤差は統計上組数分の１に減少することになる。
又、推定誤差分散が評価可能であるならば、それに基い
て各画像の部分毎に重み付けをした平均処理を行うこと
で、更にその推定値は信頼性が高く、高精度化が計られ
る。また、総合演算において採用する蓄積情報を、他の
組の被写体形状推定値との相関が高い被写体形状推定値
のみとすることにより、画像上のノイズ成分を効果的に
除去して更にその推定値は信頼性が高く、高精度化が計
られる。
度ステレオビジョンは、変形しない被写体の異なる視点
からのステレオ画像を複数組取得するステップと、各組
の画像間の相関関係の高い対応点探索を実行して視差を
検知するステップと、該視差値から被写体形状を演算す
るステップと、各組間においても同様に対応点探索を実
行して被写体形状を演算してデータを蓄積するステップ
と、該蓄積情報を総合演算して被写体形状推定値を確か
なものとするステップとからなるものであるから、対応
点探索の誤認が防止でき、ステレオ画像としての視差値
の信頼性が高いものとなる。また、複数組のステレオ画
像をもとにした被写体形状推定値を綜合するものである
ため、その推定値は信頼性が高く、高精度化が計られた
ものである。蓄積情報の総合演算方法として、複数組の
ステレオ画像に基く形状推定値の平均処理を行えば、そ
の推定誤差は統計上組数分の１に減少することになる。
又、推定誤差分散が評価可能であるならば、それに基い
て各画像の部分毎に重み付けをした平均処理を行うこと
で、更にその推定値は信頼性が高く、高精度化が計られ
る。また、総合演算において採用する蓄積情報を、他の
組の被写体形状推定値との相関が高い被写体形状推定値
のみとすることにより、画像上のノイズ成分を効果的に
除去して更にその推定値は信頼性が高く、高精度化が計
られる。
【００１４】本発明の連続フレーム画像を用いた高精度
ステレオビジョンシステムは、移動できる物体に所定間
隔をとって据えつけられた２台のカメラと、該２台のカ
メラによって撮影された画像を記憶する記憶手段と、該
記憶された２枚の画像から対応点探索を実行して視差を
割り出す手段と、前記視差値から被写体形状を演算する
手段と、視角を異にする複数組のステレオ画像に基く被
写体形状を総合演算して被写体形状推定値を確かなもの
とする手段とからなるものであって、ハードとしてはカ
メラとコンピュータと距離検出手段を備えていればよ
く、このシステムは月面探査機やロボットなどに搭載が
可能である。そして、この構成によって上記したような
高精度ステレオビジョンとしての効果を奏するものであ
るから、月面軟着陸における目的地形の推定や自律移動
における外界認識のシステムとして大いに有望である。
ステレオビジョンシステムは、移動できる物体に所定間
隔をとって据えつけられた２台のカメラと、該２台のカ
メラによって撮影された画像を記憶する記憶手段と、該
記憶された２枚の画像から対応点探索を実行して視差を
割り出す手段と、前記視差値から被写体形状を演算する
手段と、視角を異にする複数組のステレオ画像に基く被
写体形状を総合演算して被写体形状推定値を確かなもの
とする手段とからなるものであって、ハードとしてはカ
メラとコンピュータと距離検出手段を備えていればよ
く、このシステムは月面探査機やロボットなどに搭載が
可能である。そして、この構成によって上記したような
高精度ステレオビジョンとしての効果を奏するものであ
るから、月面軟着陸における目的地形の推定や自律移動
における外界認識のシステムとして大いに有望である。
【図１】本発明の連続フレーム画像を用いた高精度ステ
レオビジョンシステムの基本構成を示す図である。
レオビジョンシステムの基本構成を示す図である。
【図２】本発明の動作を説明するフローチャートであ
る。
る。
【図３】ステレオビジョンの原理を説明する図である。
【図４】ステレオビジョンにおける左右の画像の対応点
を説明する図である。
を説明する図である。
ｂ カメラ間距離 Ｐ ピクセル画像 Ｘ，Ｙ，Ｚ 絶対座標軸 ＯＬ 左カメラ光学
軸 ＸＬ，ＹＬ 左カメラ座標軸 ＯＲ 右カメラ光学
軸 ＸＲ，ＹＲ 右カメラ座標軸
軸 ＸＬ，ＹＬ 左カメラ座標軸 ＯＲ 右カメラ光学
軸 ＸＲ，ＹＲ 右カメラ座標軸
フロントページの続き (72)発明者 山本 浩通 東京都調布市深大寺東町７丁目44番地１ 文部科学省航空宇宙技術研究所内 Ｆターム(参考） 2F065 AA04 AA53 BB05 CC00 EE00 FF05 FF09 FF67 JJ03 JJ05 JJ26 QQ03 QQ18 QQ24 QQ27 QQ28 QQ41 QQ42
Claims (4)
- 【請求項１】 変形しない被写体の異なる視点からのス
テレオ画像を複数組取得するステップと、各組の画像間
の相関関係の高い対応点探索を実行して視差を検知する
ステップと、該視差値から被写体形状を演算するステッ
プと、各組においても同様に対応点探索を実行して被写
体形状を演算してデータを蓄積するステップと、複数組
の該蓄積情報を総合演算して被写体形状推定値を確かな
ものとするステップとからなる連続フレーム画像を用い
た高精度ステレオビジョン。 - 【請求項２】 蓄積情報の総合演算方法は、複数組のス
テレオ画像に基く形状推定値の平均処理又は重み付き平
均処理である請求項１に記載の連続フレーム画像を用い
た高精度ステレオビジョン。 - 【請求項３】 他の組の被写体形状推定値との相関が低
い被写体形状推定値は総合演算において採用される蓄積
情報から除外されるようにした請求項１又は２に記載の
連続フレーム画像を用いた高精度ステレオビジョン。 - 【請求項４】 移動できる物体に所定間隔をとって据え
つけられた２台のカメラと、該２台のカメラによって撮
影された画像を記憶する記憶手段と、該記憶された２枚
の画像から対応点探索を実行して視差を割り出す手段
と、前記視差値から被写体形状を推定演算する手段と、
視角を異にする複数組のステレオ画像に基く被写体形状
情報を総合演算して被写体形状推定値を確かなものとす
る手段とからなる連続フレーム画像を用いた高精度ステ
レオビジョンシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001059558A JP2002257543A (ja) | 2001-03-05 | 2001-03-05 | 連続フレーム画像を用いた高精度ステレオビジョン |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001059558A JP2002257543A (ja) | 2001-03-05 | 2001-03-05 | 連続フレーム画像を用いた高精度ステレオビジョン |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002257543A true JP2002257543A (ja) | 2002-09-11 |
Family
ID=18919102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001059558A Pending JP2002257543A (ja) | 2001-03-05 | 2001-03-05 | 連続フレーム画像を用いた高精度ステレオビジョン |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002257543A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004061387A1 (ja) * | 2002-12-27 | 2004-07-22 | Hiroshi Arisawa | 多視点ビデオキャプチャシステム |
| JP2007327938A (ja) * | 2006-05-10 | 2007-12-20 | Topcon Corp | 画像処理装置及びその処理方法 |
| CN101915571A (zh) * | 2010-07-20 | 2010-12-15 | 桂林理工大学 | 基于相位相关的影像匹配初始视差的全自动获取方法 |
| CN105812769A (zh) * | 2016-04-06 | 2016-07-27 | 四川大学 | 基于相位相关高精度视差跟踪器 |
-
2001
- 2001-03-05 JP JP2001059558A patent/JP2002257543A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004061387A1 (ja) * | 2002-12-27 | 2004-07-22 | Hiroshi Arisawa | 多視点ビデオキャプチャシステム |
| JP2007327938A (ja) * | 2006-05-10 | 2007-12-20 | Topcon Corp | 画像処理装置及びその処理方法 |
| CN101915571A (zh) * | 2010-07-20 | 2010-12-15 | 桂林理工大学 | 基于相位相关的影像匹配初始视差的全自动获取方法 |
| CN101915571B (zh) * | 2010-07-20 | 2011-08-10 | 桂林理工大学 | 基于相位相关的影像匹配初始视差的全自动获取方法 |
| CN105812769A (zh) * | 2016-04-06 | 2016-07-27 | 四川大学 | 基于相位相关高精度视差跟踪器 |
| CN105812769B (zh) * | 2016-04-06 | 2018-04-03 | 四川大学 | 基于相位相关的高精度视差跟踪器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10948297B2 (en) | Simultaneous location and mapping (SLAM) using dual event cameras | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US9877012B2 (en) | Image processing apparatus for estimating three-dimensional position of object and method therefor | |
| KR101708659B1 (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
| KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101072876B1 (ko) | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 | |
| JP7354767B2 (ja) | 物体追跡装置および物体追跡方法 | |
| KR100930626B1 (ko) | 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법 | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN113012224A (zh) | 定位初始化方法和相关装置、设备、存储介质 | |
| JPH0991436A (ja) | 画像処理方法及びその装置 | |
| JP4935769B2 (ja) | 平面領域推定装置及びプログラム | |
| JP2006252275A (ja) | カメラ運動及び物体形状の復元システム | |
| JP2002257543A (ja) | 連続フレーム画像を用いた高精度ステレオビジョン | |
| JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
| CN114648567B (zh) | 一种基于单目视觉的水下场景深度评估方法和系统 | |
| CN115700507B (zh) | 地图更新方法及其装置 | |
| JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
| CN115752489B (zh) | 可移动设备的定位方法、装置和电子设备 | |
| JP7019113B2 (ja) | 相対位置検出装置、相対位置検出方法、及び相対位置検出プログラム | |
| JP3230292B2 (ja) | ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法 | |
| Chakraborty et al. | Novel Stereo Visual Odometry Pipeline for Autonomous Robot Navigation on Video Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030916 |