JPH0935062A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JPH0935062A JPH0935062A JP7182796A JP18279695A JPH0935062A JP H0935062 A JPH0935062 A JP H0935062A JP 7182796 A JP7182796 A JP 7182796A JP 18279695 A JP18279695 A JP 18279695A JP H0935062 A JPH0935062 A JP H0935062A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- fine adjustment
- processing method
- object model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 入力画像を物体モデルと照合して物体の位置
姿勢を認識するための画像処理方法において、高速処理
を可能にし、認識の精度を向上させる。 【解決手段】 物体のステレオ画像を入力し（Ｓ１）、
このステレオ画像からその物体のエッジを抽出して（Ｓ
２）、その局所的特徴によりセグメントに分割する（Ｓ
３）。そして、このセグメントに頂点情報を付加して認
識データを生成し（Ｓ４）、この認識データを物体モデ
ルと局所的な幾何特徴を用いて初期照合を行うことによ
り対応する候補を検出するとともに（Ｓ５）、全体的な
幾何特徴を用いて各対応する候補を微調整し（Ｓ６）、
この初期照合と微調整の認識処理により上記物体の位置
姿勢を検出する（Ｓ７）。
姿勢を認識するための画像処理方法において、高速処理
を可能にし、認識の精度を向上させる。 【解決手段】 物体のステレオ画像を入力し（Ｓ１）、
このステレオ画像からその物体のエッジを抽出して（Ｓ
２）、その局所的特徴によりセグメントに分割する（Ｓ
３）。そして、このセグメントに頂点情報を付加して認
識データを生成し（Ｓ４）、この認識データを物体モデ
ルと局所的な幾何特徴を用いて初期照合を行うことによ
り対応する候補を検出するとともに（Ｓ５）、全体的な
幾何特徴を用いて各対応する候補を微調整し（Ｓ６）、
この初期照合と微調整の認識処理により上記物体の位置
姿勢を検出する（Ｓ７）。
Description
【０００１】
【発明の属する技術分野】本発明は、入力画像を物体モ
デルと照合して物体の位置姿勢を決定するための画像処
理方法に関するものである。
デルと照合して物体の位置姿勢を決定するための画像処
理方法に関するものである。
【０００２】
【従来の技術】物体の入力画像からその物体の位置姿勢
を認識する場合、従来より物体の画像を得るセンサとし
て受動的な撮像装置が使用されている。そして、その入
力画像から物体の２次元的特徴を抽出し、これを物体モ
デルと照合することにより、物体の位置姿勢を決定して
いる。
を認識する場合、従来より物体の画像を得るセンサとし
て受動的な撮像装置が使用されている。そして、その入
力画像から物体の２次元的特徴を抽出し、これを物体モ
デルと照合することにより、物体の位置姿勢を決定して
いる。
【０００３】
【発明が解決しようとする課題】入力画像から物体の位
置姿勢を認識する従来の画像処理方法にあっては、物体
モデルとの照合のための探索空間が膨大なものとなり、
システム構成が大きく、高速処理ができないという問題
点があった。
置姿勢を認識する従来の画像処理方法にあっては、物体
モデルとの照合のための探索空間が膨大なものとなり、
システム構成が大きく、高速処理ができないという問題
点があった。
【０００４】すなわち、２次元の入力画像によって３次
元物体の位置姿勢を拘束するには、例えば画像中から抽
出した少なくとも３つの特徴点を物体モデルと対応付け
る必要がある。このため、複雑なシーンを扱う場合は、
照合のための探索空間が大きくなる可能性がある。
元物体の位置姿勢を拘束するには、例えば画像中から抽
出した少なくとも３つの特徴点を物体モデルと対応付け
る必要がある。このため、複雑なシーンを扱う場合は、
照合のための探索空間が大きくなる可能性がある。
【０００５】本発明は、上記のような問題点に着目して
なされたもので、システム構成が簡単で、高速処理が可
能となり、また認識精度の向上した画像処理方法を提供
することを目的としている。
なされたもので、システム構成が簡単で、高速処理が可
能となり、また認識精度の向上した画像処理方法を提供
することを目的としている。
【０００６】
【課題を解決するための手段】本発明に係る画像処理方
法は、入力画像を物体モデルと照合して物体の位置姿勢
を決定するための画像処理方法であって、物体のステレ
オ画像を入力し、このステレオ画像から該物体のエッジ
を抽出して、その局所的特徴によりセグメントに分割
し、このセグメントに頂点情報を付加して認識データを
生成し、この認識データを前記物体モデルと局所的な幾
何特徴を用いて初期照合を行うことにより対応する候補
を検出するとともに、全体的な幾何特徴を用いて各対応
する候補を微調整し、この初期照合と微調整の認識処理
により前記物体の位置姿勢を検出するようにしたもので
ある。
法は、入力画像を物体モデルと照合して物体の位置姿勢
を決定するための画像処理方法であって、物体のステレ
オ画像を入力し、このステレオ画像から該物体のエッジ
を抽出して、その局所的特徴によりセグメントに分割
し、このセグメントに頂点情報を付加して認識データを
生成し、この認識データを前記物体モデルと局所的な幾
何特徴を用いて初期照合を行うことにより対応する候補
を検出するとともに、全体的な幾何特徴を用いて各対応
する候補を微調整し、この初期照合と微調整の認識処理
により前記物体の位置姿勢を検出するようにしたもので
ある。
【０００７】また、上記の画像処理方法において、認識
処理の微調整は、二つの隣接するセグメント上のサンプ
ル点のみによる初期微調整と、全てのサンプル点による
主微調整とを行うようにしたものである。
処理の微調整は、二つの隣接するセグメント上のサンプ
ル点のみによる初期微調整と、全てのサンプル点による
主微調整とを行うようにしたものである。
【０００８】
【発明の実施の形態】図１は本発明による画像処理方法
を実現するためのシステム構成を示すブロック図であ
る。同図中、１はシステム全体を制御するコンピュータ
で、データバス２を通じて各部と接続されている。
を実現するためのシステム構成を示すブロック図であ
る。同図中、１はシステム全体を制御するコンピュータ
で、データバス２を通じて各部と接続されている。
【０００９】３ａ，３ｂはテレビカメラで、そのアナロ
グ出力はＡ／Ｄ変換器４ａ，４ｂによりデジタル信号に
変換されてデータバス２に送出される。５はテレビカメ
ラ３ａ，３ｂで撮像した物体の画像データを格納する画
像メモリ、６は画像を表示するディスプレイ装置、７は
プリンタ、８は画像データを保存するためのフロッピー
ディスク、９はキーボードターミナルで、このシステム
は更に外部のホストコンピュータと接続されている。
グ出力はＡ／Ｄ変換器４ａ，４ｂによりデジタル信号に
変換されてデータバス２に送出される。５はテレビカメ
ラ３ａ，３ｂで撮像した物体の画像データを格納する画
像メモリ、６は画像を表示するディスプレイ装置、７は
プリンタ、８は画像データを保存するためのフロッピー
ディスク、９はキーボードターミナルで、このシステム
は更に外部のホストコンピュータと接続されている。
【００１０】図２は上記構成のシステムにおける本発明
の基本的な処理の流れを示すフローチャートであり、入
力画像を物体モデルと照合して物体の位置姿勢を決定す
るための処理の流れを示している。
の基本的な処理の流れを示すフローチャートであり、入
力画像を物体モデルと照合して物体の位置姿勢を決定す
るための処理の流れを示している。
【００１１】まず、物体のステレオ画像を入力し（Ｓ
１）、このステレオ画像から該物体のエッジを抽出して
（Ｓ２）、その局所的特徴によりセグメントに分割する
（Ｓ３）。そして、このセグメントに頂点情報を付加し
て認識データを生成し（Ｓ４）、この認識データを上記
物体モデルと局所的な幾何特徴を用いて初期照合を行う
ことにより対応する候補を検出するとともに（Ｓ５）、
全体的な幾何特徴を用いて各対応する候補を微調整し
（Ｓ６）、この初期照合と微調整の認識処理により上記
物体の位置姿勢を検出する（Ｓ７）ものである。
１）、このステレオ画像から該物体のエッジを抽出して
（Ｓ２）、その局所的特徴によりセグメントに分割する
（Ｓ３）。そして、このセグメントに頂点情報を付加し
て認識データを生成し（Ｓ４）、この認識データを上記
物体モデルと局所的な幾何特徴を用いて初期照合を行う
ことにより対応する候補を検出するとともに（Ｓ５）、
全体的な幾何特徴を用いて各対応する候補を微調整し
（Ｓ６）、この初期照合と微調整の認識処理により上記
物体の位置姿勢を検出する（Ｓ７）ものである。
【００１２】次に、図３〜図１３を参照して上記の画像
処理を詳細に説明する。
処理を詳細に説明する。
【００１３】システムにより入力した図３に示すステレ
オ画像（６４０×４８０pixels，２５６gray-levels ）
から、まず物体の境界線（エッジ）を抽出し、特徴点
（分岐，変曲，屈曲，遷移）により分割して、セグメン
ト化する。そして、その結果を境界表現（Ｂ−ＲＥＰ）
データ構造で保持する。これは、“領域”，“境界
線”，“セグメント”，“点”を要素として関係付ける
グラフ構造で、トポロジー的に表現する。
オ画像（６４０×４８０pixels，２５６gray-levels ）
から、まず物体の境界線（エッジ）を抽出し、特徴点
（分岐，変曲，屈曲，遷移）により分割して、セグメン
ト化する。そして、その結果を境界表現（Ｂ−ＲＥＰ）
データ構造で保持する。これは、“領域”，“境界
線”，“セグメント”，“点”を要素として関係付ける
グラフ構造で、トポロジー的に表現する。
【００１４】図４はＢ−ＲＥＰの点列を示したものであ
る。また、図５は左右画像のＢ−ＲＥＰからセグメント
をステレオの対応単位として得られた３次元情報を示す
図である。
る。また、図５は左右画像のＢ−ＲＥＰからセグメント
をステレオの対応単位として得られた３次元情報を示す
図である。
【００１５】次に、照合のための幾何特徴である“頂
点”を付加し、認識データを生成する。この頂点は、３
次元座標と２つの３次元方向ベクトルからなり、３次元
空間における物体モデルの位置姿勢を拘束できる。頂点
は以下の（１）〜（４）の手順で生成される。
点”を付加し、認識データを生成する。この頂点は、３
次元座標と２つの３次元方向ベクトルからなり、３次元
空間における物体モデルの位置姿勢を拘束できる。頂点
は以下の（１）〜（４）の手順で生成される。
【００１６】（１）図６に示すように、セグメントの３
次元データ点列に、直線または円をあてはめる。
次元データ点列に、直線または円をあてはめる。
【００１７】（２）直線、円ともにあてはめて誤差が大
きい場合は、セグメントを２分割し、再帰的にあてはめ
を行う。各セグメントは線分、円弧あるいは両者の組み
合わせによって近似的に記述されることになる。
きい場合は、セグメントを２分割し、再帰的にあてはめ
を行う。各セグメントは線分、円弧あるいは両者の組み
合わせによって近似的に記述されることになる。
【００１８】（３）画像Ｂ−ＲＥＰの同じ境界線に属
し、隣り合う２つのセグメントにあてはめられた直線ま
たは円弧の端点における接線を求める。
し、隣り合う２つのセグメントにあてはめられた直線ま
たは円弧の端点における接線を求める。
【００１９】（４）２接線の最短距離となる線分の中点
と各接線のベクトルから頂点を生成する。
と各接線のベクトルから頂点を生成する。
【００２０】図７は、図５の３次元Ｂ−ＲＥＰから生成
した認識データの一部を拡大して示したものである。３
次元Ｂ−ＲＥＰの点列と、その点列にあてはめられた直
線、及び隣り合う直線によって形成された頂点が示され
ている。
した認識データの一部を拡大して示したものである。３
次元Ｂ−ＲＥＰの点列と、その点列にあてはめられた直
線、及び隣り合う直線によって形成された頂点が示され
ている。
【００２１】物体モデルは、基本的に上記認識データと
同じデータ構造からなるが、図６に示したように、認識
処理の微調整のための幾何特徴として、各セグメント上
に等間隔に“サンプル点”を持つ。このサンプル点は、
３次元座標と、セグメントにあてはめられた円、または
そのセグメントが構築している頂点によって決まる法線
を情報として持つ。
同じデータ構造からなるが、図６に示したように、認識
処理の微調整のための幾何特徴として、各セグメント上
に等間隔に“サンプル点”を持つ。このサンプル点は、
３次元座標と、セグメントにあてはめられた円、または
そのセグメントが構築している頂点によって決まる法線
を情報として持つ。
【００２２】上記生成された認識データと物体モデルと
の照合は次のように行う。
の照合は次のように行う。
【００２３】３次元座標系ｘ＝［ｘｙｚ１］t は、４×
４行列
４行列
【００２４】
【数１】
【００２５】によって、ｘ’＝Ｔｘに変換される。ここ
で、Ｒは３×３回転行列、ｔは３×１平行移動ベクトル
である。
で、Ｒは３×３回転行列、ｔは３×１平行移動ベクトル
である。
【００２６】そして、物体の３次元的な位置姿勢は、物
体モデルの座標系を認識データ中の対応する３次元構造
に一致させるように移動させる座標変換行列Ｔで記述で
きる。すなわち、認識処理は、物体モデルと認識データ
を照合し、座標変換行列Ｔを算出する処理過程である。
体モデルの座標系を認識データ中の対応する３次元構造
に一致させるように移動させる座標変換行列Ｔで記述で
きる。すなわち、認識処理は、物体モデルと認識データ
を照合し、座標変換行列Ｔを算出する処理過程である。
【００２７】上記の認識処理は、局所的な幾何特徴を用
いてモデルとデータとの対応の候補を生成する“初期照
合”と、全体的な幾何情報を用いて各対応候補を検証
し、対応の精度を向上させる“微調整”の２つのステッ
プからなる。
いてモデルとデータとの対応の候補を生成する“初期照
合”と、全体的な幾何情報を用いて各対応候補を検証
し、対応の精度を向上させる“微調整”の２つのステッ
プからなる。
【００２８】まず初期照合においては、図８に示すよう
に、物体モデルと認識データの頂点を照合することによ
り、座標変換行列Ｔを算出する。ただし、物体モデルの
頂点と認識データの頂点との正しい対応を前もって知る
ことはできないため、可能性のある全ての頂点の組み合
わせを対応候補とする。
に、物体モデルと認識データの頂点を照合することによ
り、座標変換行列Ｔを算出する。ただし、物体モデルの
頂点と認識データの頂点との正しい対応を前もって知る
ことはできないため、可能性のある全ての頂点の組み合
わせを対応候補とする。
【００２９】そして、モデル頂点ＶM をデータ頂点ＶD
に一致するよう移動させることを考える。ＶM とＶD の
３次元座標から平行移動成分ｔが決まる。また各頂点を
構成している２ベクトルの方向から回転移動成分Ｒが決
まる。
に一致するよう移動させることを考える。ＶM とＶD の
３次元座標から平行移動成分ｔが決まる。また各頂点を
構成している２ベクトルの方向から回転移動成分Ｒが決
まる。
【００３０】上記頂点を構成する２ベクトルのなす角θ
が大きく異なる組み合わせについては、正しい対応であ
る可能性が低いと考えられるので候補から外す。すなわ
ち、ＶM(i)(i＝１，……，ｍ）とＶD (j)(j ＝１，…
…，ｎ）について、 ｜θM(i)−θD(j)｜＜θ を満足する全ての組み合わせでＰ(i,j) を対応の候補と
し、Ｔijを算出する。ここでｍ，ｎはそれぞれ物体モデ
ル、認識データ中に存在する頂点数であり、θは経験的
に決定した閾値である。
が大きく異なる組み合わせについては、正しい対応であ
る可能性が低いと考えられるので候補から外す。すなわ
ち、ＶM(i)(i＝１，……，ｍ）とＶD (j)(j ＝１，…
…，ｎ）について、 ｜θM(i)−θD(j)｜＜θ を満足する全ての組み合わせでＰ(i,j) を対応の候補と
し、Ｔijを算出する。ここでｍ，ｎはそれぞれ物体モデ
ル、認識データ中に存在する頂点数であり、θは経験的
に決定した閾値である。
【００３１】次に微調整では、物体モデルのサンプル点
を用い、対応候補Ｐ(i,j) の妥当性を判別すると同時
に、初期照合の結果得られた座標変換行列Ｔij(o) に含
まれる誤差を小さくする処理を行う。
を用い、対応候補Ｐ(i,j) の妥当性を判別すると同時
に、初期照合の結果得られた座標変換行列Ｔij(o) に含
まれる誤差を小さくする処理を行う。
【００３２】物体モデルのサンプル点Ｓ(k)(k ＝１，…
…，ｐ）について、次の（１），（２）の処理を繰り返
す。
…，ｐ）について、次の（１），（２）の処理を繰り返
す。
【００３３】（１）２次元座標系で、認識データの３次
元Ｂ−ＲＥＰ点列との対応点探索を行う。
元Ｂ−ＲＥＰ点列との対応点探索を行う。
【００３４】（２）３次元座標系で、最小自乗法による
座標変換行列の更新を行う。
座標変換行列の更新を行う。
【００３５】ここで、ｐは物体モデルのサンプル点数で
あり、その処理過程（１）〜（７）を以下に述べる。
あり、その処理過程（１）〜（７）を以下に述べる。
【００３６】（１）探索用の画像平面として、認識デー
タの３次元Ｂ−ＲＥＰの点の画像座標をプロットした画
像（図４の左側画像に相当）を用意する。
タの３次元Ｂ−ＲＥＰの点の画像座標をプロットした画
像（図４の左側画像に相当）を用意する。
【００３７】（２）サンプル点Ｓ(k) をＴij(o) によっ
てＳ’に移動させる。Ｓ(k) の３次元座標Ｓ(k) と、そ
の法線方向単位ベクトルＮ(k) は、それぞれ、 Ｓ’(k) ＝Ｒij(o) Ｓ(k) ＋ｔij(o) Ｎ't(k) ＝Ｒij(o) Ｎt(k) に移動する。ここで、Ｓ(k) とＮ(k) は、それぞれ１×
３のベクトルである。
てＳ’に移動させる。Ｓ(k) の３次元座標Ｓ(k) と、そ
の法線方向単位ベクトルＮ(k) は、それぞれ、 Ｓ’(k) ＝Ｒij(o) Ｓ(k) ＋ｔij(o) Ｎ't(k) ＝Ｒij(o) Ｎt(k) に移動する。ここで、Ｓ(k) とＮ(k) は、それぞれ１×
３のベクトルである。
【００３８】（３）Ｓ(k) のうち、
【００３９】
【数２】
【００４０】を満足するものをＳ(k)(k ＝１，……，
ｐ； ｐ）とする。Ｓ(k) は、Ｔij(o)による移動後に
観測可能なサンプル点を表している。ここで、Ｐ'(k)
は、Ｓ'(k)に対する観測方向ベクトルであり、
ｐ； ｐ）とする。Ｓ(k) は、Ｔij(o)による移動後に
観測可能なサンプル点を表している。ここで、Ｐ'(k)
は、Ｓ'(k)に対する観測方向ベクトルであり、
【００４１】
【数３】
【００４２】である。ここで、Ｃはステレオカメラシス
テムの観測位置を表す１×３ベクトルである。
テムの観測位置を表す１×３ベクトルである。
【００４３】（４）Ｓ'(k)を画像座標［ｃｏｌk ｒｏ
ｗk ］に投影し、図９に示すように、サンプル点Ｓ(k)
に対応する認識データの点を探索する。図中矢印で示し
たように、Ｓ(k) の接線と垂直方向に画像上をトレース
し、一定の距離範囲内にデータ点Ｄ(l)(l ＝１，……，
ｑ）が存在すれば、それをＳ(k) の対応点とする。ここ
で、ｑは認識データの３次元Ｂ−ＲＥＰ点数である。
ｗk ］に投影し、図９に示すように、サンプル点Ｓ(k)
に対応する認識データの点を探索する。図中矢印で示し
たように、Ｓ(k) の接線と垂直方向に画像上をトレース
し、一定の距離範囲内にデータ点Ｄ(l)(l ＝１，……，
ｑ）が存在すれば、それをＳ(k) の対応点とする。ここ
で、ｑは認識データの３次元Ｂ−ＲＥＰ点数である。
【００４４】（５）Ｓ(k) とＤ(l) の組み合わせＱ(k,
l) について、Ｓ’(k) の３次元座標Ｓ’(k) を対応点
Ｄ(l) の３次元座標Ｄ(l) に移動させるのに最適な変換
行列Ｔ’ij(l) を、
l) について、Ｓ’(k) の３次元座標Ｓ’(k) を対応点
Ｄ(l) の３次元座標Ｄ(l) に移動させるのに最適な変換
行列Ｔ’ij(l) を、
【００４５】
【数４】
【００４６】を最小にする最小自乗法によって算出す
る。
る。
【００４７】（６）上記（４）における対応点探索の平
均自乗距離、すなわち
均自乗距離、すなわち
【００４８】
【数５】
【００４９】が閾値以下になるまで、 Ｔ(r) ＝Ｔ’(r) Ｔ(r−1) として上記（２）〜（５）の処理を繰り返す。ここで、
ＭはＱ(k,l) の総数、すなわち（４）における探索処理
によって見つけられた対応点の数であり、Ｍpqである。
そして、観測可能なサンプル点数に対する対応点数の割
合Ｍ／ｐが小さい、あるいは一定回数上記の処理を繰り
返してもε2 が収束しないならば、対応候補Ｐ(i,j) は
誤りであったとみなして棄却する。
ＭはＱ(k,l) の総数、すなわち（４）における探索処理
によって見つけられた対応点の数であり、Ｍpqである。
そして、観測可能なサンプル点数に対する対応点数の割
合Ｍ／ｐが小さい、あるいは一定回数上記の処理を繰り
返してもε2 が収束しないならば、対応候補Ｐ(i,j) は
誤りであったとみなして棄却する。
【００５０】（７）全ての対応候補Ｐ(i,j) について上
記の処理を行い、Ｍが最大で、対応誤差の３次元平均自
乗距離、すなわち、
記の処理を行い、Ｍが最大で、対応誤差の３次元平均自
乗距離、すなわち、
【００５１】
【数６】
【００５２】が最小であるＴij(r) を認識結果として選
ぶ。
ぶ。
【００５３】上述の初期照合は、局所構造である頂点の
みを用いた照合であるため、頂点近傍のサンプル点を除
き、図９の対応点探索が有効であるほどの認識精度を得
られないことがある。このため、上記の微調整処理は、
以下に示すようにＡ，Ｂの２段階に適用している。
みを用いた照合であるため、頂点近傍のサンプル点を除
き、図９の対応点探索が有効であるほどの認識精度を得
られないことがある。このため、上記の微調整処理は、
以下に示すようにＡ，Ｂの２段階に適用している。
【００５４】Ａ．初期微調整：ＶM(i)を構成する二つの
隣接するセグメント上のサンプル点のみを使って対応誤
差を大まかに調整する。
隣接するセグメント上のサンプル点のみを使って対応誤
差を大まかに調整する。
【００５５】Ｂ．主微調整：全てのサンプル点を使って
さらに精度を向上させる。
さらに精度を向上させる。
【００５６】図１０の（ａ），（ｂ）は、一つの面のみ
から構成されている平面物体（厚紙）の物体モデルと入
力ステレオ画像を示す図である。
から構成されている平面物体（厚紙）の物体モデルと入
力ステレオ画像を示す図である。
【００５７】図１０の（ｂ）のステレオ画像から構築し
た認識データに対する初期微調整、主微調整の結果を図
１１の（ａ），（ｂ）に示す。図では、対応探索によっ
て対応点が得られたサンプル点と、対応点が得られなか
ったサンプル点をそれぞれ示している。そして、この初
期微調整、主微調整がそれぞれ３回ずつ繰り返され、頂
点近傍のサンプル点でしか得られていなかった対応が、
モデル全体のサンプル点について得られるようになる。
た認識データに対する初期微調整、主微調整の結果を図
１１の（ａ），（ｂ）に示す。図では、対応探索によっ
て対応点が得られたサンプル点と、対応点が得られなか
ったサンプル点をそれぞれ示している。そして、この初
期微調整、主微調整がそれぞれ３回ずつ繰り返され、頂
点近傍のサンプル点でしか得られていなかった対応が、
モデル全体のサンプル点について得られるようになる。
【００５８】図１２は物体モデルを示す図であり、また
図１３は本実施例によって得られた図３における認識結
果を示す図である。
図１３は本実施例によって得られた図３における認識結
果を示す図である。
【００５９】このように、本実施例では初期照合によっ
て探索空間を限定できるので、システム構成が簡単で高
速処理も可能となり、また認識精度も向上する。特に２
段階の微調整を行うことにより、より認識の精度が向上
する。
て探索空間を限定できるので、システム構成が簡単で高
速処理も可能となり、また認識精度も向上する。特に２
段階の微調整を行うことにより、より認識の精度が向上
する。
【００６０】
【発明の効果】以上のように、本発明によれば、システ
ム構成が簡単で、高速処理が可能となり、また認識精度
が向上するという効果がある。
ム構成が簡単で、高速処理が可能となり、また認識精度
が向上するという効果がある。
【図面の簡単な説明】
【図１】 本発明を実施するためのシステム構成を示す
ブロック図
ブロック図
【図２】 本発明の基本的な処理の流れを示すフローチ
ャート
ャート
【図３】 ステレオ画像を示す図
【図４】 ステレオ画像の境界表現を示す図
【図５】 物体の３次元情報を示す図
【図６】 セグメントの３次元データ点列を示す図
【図７】 物体の３次元情報から生成した認識データを
示す説明図
示す説明図
【図８】 物体モデルと認識データの頂点照合を示す説
明図
明図
【図９】 対応点の探索を示す説明図
【図１０】 平面物体の物体モデルとステレオ画像を示
す図
す図
【図１１】 認識データに対する微調整の結果を示す図
【図１２】 物体モデルを示す図
【図１３】 認識結果を示す図
１ コンピュータ ３ａ テレビカメラ ３ｂ テレビカメラ ５ 画像メモリ ６ ディスプレイ装置 ７ プリンタ ８ フロッピーディスク ９ キーボードターミナル
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成７年１２月１３日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図３
【補正方法】変更
【補正内容】
【図３】 ステレオ画像をディスプレー上に表示した中
間調画像を表す写真
間調画像を表す写真
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】図１０
【補正方法】変更
【補正内容】
【図１０】 平面物体の物体モデルとステレオ画像をデ
ィスプレー上に表示した中間調画像を表す写真
ィスプレー上に表示した中間調画像を表す写真
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】図１３
【補正方法】変更
【補正内容】
【図１３】 認識結果をディスプレー上に表示した中間
調画像を表す写真
調画像を表す写真
───────────────────────────────────────────────────── フロントページの続き (72)発明者 富田 文明 茨城県つくば市梅園１丁目１番４ 工業技 術院電子技術総合研究所内 (72)発明者 石山 豊 神奈川県横浜市青葉区荏田西１−３−１ スタンレー電気株式会社技術研究所内
Claims (2)
- 【請求項１】 入力画像を物体モデルと照合して物体の
位置姿勢を決定するための画像処理方法であって、物体
のステレオ画像を入力し、このステレオ画像から該物体
のエッジを抽出して、その局所的特徴によりセグメント
に分割し、このセグメントに頂点情報を付加して認識デ
ータを生成し、この認識データを前記物体モデルと局所
的な幾何特徴を用いて初期照合を行うことにより対応す
る候補を検出するとともに、全体的な幾何特徴を用いて
各対応する候補を微調整し、この初期照合と微調整の認
識処理により前記物体の位置姿勢を検出することを特徴
とする画像処理方法。 - 【請求項２】 認識処理の微調整は、二つの隣接するセ
グメント上のサンプル点のみによる初期微調整と、全て
のサンプル点による主微調整とを行うことを特徴とする
請求項１記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7182796A JP3054682B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
| US08/683,710 US5887083A (en) | 1995-07-19 | 1996-07-18 | Method of processing image information based on object model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7182796A JP3054682B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0935062A true JPH0935062A (ja) | 1997-02-07 |
| JP3054682B2 JP3054682B2 (ja) | 2000-06-19 |
Family
ID=16124577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7182796A Expired - Lifetime JP3054682B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5887083A (ja) |
| JP (1) | JP3054682B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010211746A (ja) * | 2009-03-12 | 2010-09-24 | Omron Corp | ３次元認識結果の表示方法および３次元視覚センサ |
| JP2011198330A (ja) * | 2010-03-24 | 2011-10-06 | National Institute Of Advanced Industrial Science & Technology | ３次元位置合わせにおける照合方法およびそのプログラム |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69735273T2 (de) * | 1996-09-16 | 2006-08-10 | Snap-On Inc., Pleasant Prairie | Messeinrichtung für fahrzeuge |
| EP0910833A1 (en) * | 1997-05-05 | 1999-04-28 | Shell Oil Company | Visual recognition method |
| US6249600B1 (en) * | 1997-11-07 | 2001-06-19 | The Trustees Of Columbia University In The City Of New York | System and method for generation of a three-dimensional solid model |
| CN1162681C (zh) * | 1999-03-19 | 2004-08-18 | 松下电工株式会社 | 三维物体识别方法及使用该方法的零件抓取系统 |
| US6507660B1 (en) * | 1999-05-27 | 2003-01-14 | The United States Of America As Represented By The Secretary Of The Navy | Method for enhancing air-to-ground target detection, acquisition and terminal guidance and an image correlation system |
| US6873723B1 (en) * | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
| US7509241B2 (en) * | 2001-07-06 | 2009-03-24 | Sarnoff Corporation | Method and apparatus for automatically generating a site model |
| US20100324770A1 (en) * | 2007-07-03 | 2010-12-23 | J. Edward Ramsey | Trailer hitch alignment device and method |
| JP5713159B2 (ja) * | 2010-03-24 | 2015-05-07 | 独立行政法人産業技術総合研究所 | ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム |
| US8768068B2 (en) * | 2011-05-04 | 2014-07-01 | Raytheon Company | Automated building detecting |
| CN110189376B (zh) * | 2019-05-06 | 2022-02-25 | 达闼科技（北京）有限公司 | 物体定位方法及物体定位装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0769965B2 (ja) * | 1990-09-20 | 1995-07-31 | 工業技術院長 | ３次元画像処理装置 |
-
1995
- 1995-07-19 JP JP7182796A patent/JP3054682B2/ja not_active Expired - Lifetime
-
1996
- 1996-07-18 US US08/683,710 patent/US5887083A/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010211746A (ja) * | 2009-03-12 | 2010-09-24 | Omron Corp | ３次元認識結果の表示方法および３次元視覚センサ |
| JP2011198330A (ja) * | 2010-03-24 | 2011-10-06 | National Institute Of Advanced Industrial Science & Technology | ３次元位置合わせにおける照合方法およびそのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3054682B2 (ja) | 2000-06-19 |
| US5887083A (en) | 1999-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122256B (zh) | 一种逼近状态下旋转目标位姿测量的方法 | |
| CN110147767B (zh) | 基于二维图像的三维手势姿态预测方法 | |
| US20130051626A1 (en) | Method And Apparatus For Object Pose Estimation | |
| CN107958443B (zh) | 一种基于脊线特征和tps形变模型的指纹图像拼接方法 | |
| JPH0935062A (ja) | 画像処理方法 | |
| CN111429344B (zh) | 基于感知哈希的激光slam闭环检测方法及系统 | |
| EP3404583A1 (en) | System and method for model adaptation | |
| CN112767456A (zh) | 一种三维激光点云快速重定位方法 | |
| JP4859061B2 (ja) | 画像の補正方法、補正プログラムおよび画像歪み補正装置 | |
| JPH04232579A (ja) | 近傍データに基づく画像形状の比較方法 | |
| US20050089225A1 (en) | Method for aligning gesture features of image | |
| CN114463425A (zh) | 一种基于概率Hough直线检测的工件表面无特征点定位方法 | |
| JPH10206135A (ja) | ３次元物体位置姿勢決定方法 | |
| CN112767457A (zh) | 一种基于主成分分析的平面点云匹配方法及装置 | |
| CN109978829B (zh) | 一种待检测对象的检测方法及其系统 | |
| JPH07146121A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN110766728A (zh) | 基于深度学习的组合图像特征精确匹配算法 | |
| US11699294B2 (en) | Optical character recognition of documents having non-coplanar regions | |
| JP4660534B2 (ja) | 顔画像による顔領域追跡方法及びその装置 | |
| JP2992446B2 (ja) | 画像認識方法およびその装置 | |
| KR101654120B1 (ko) | 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법 | |
| JPH10124662A (ja) | 図形整形装置および図形整形方法 | |
| JP2002197472A (ja) | 物体認識方法 | |
| JPH0628476A (ja) | 画像信号の処理装置 | |
| JPH07141504A (ja) | 画像認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000208 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |