JP5976089B2 - Position / orientation measuring apparatus, position / orientation measuring method, and program - Google Patents
Position / orientation measuring apparatus, position / orientation measuring method, and program Download PDFInfo
- Publication number
- JP5976089B2 JP5976089B2 JP2014257828A JP2014257828A JP5976089B2 JP 5976089 B2 JP5976089 B2 JP 5976089B2 JP 2014257828 A JP2014257828 A JP 2014257828A JP 2014257828 A JP2014257828 A JP 2014257828A JP 5976089 B2 JP5976089 B2 JP 5976089B2
- Authority
- JP
- Japan
- Prior art keywords
- geometric feature
- orientation
- image
- target object
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、物体モデルの特徴と画像特徴との対応付けを行い、モデルと画像データとのフィッティングやマッチングを行う位置姿勢計測装置、位置姿勢計測方法、およびプログラムに関する。 The present invention relates to a position / orientation measurement apparatus, a position / orientation measurement method, and a program for associating features of an object model with image features and performing fitting and matching between the model and image data.
近年のロボット技術の発展により、工業製品の組立のようなこれまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このようなロボットは、ハンドなどのエンドエフェクタによって部品を把持して組立を行う。ロボットが部品を把持するためには、把持の対象となる部品とロボット(ハンド)との間の相対的な位置及び姿勢を計測する必要がある。このような位置及び姿勢の計測は、ロボットが部品を把持する場合だけでなく、ロボットが自律移動するための自己位置推定や、拡張現実感における現実空間と仮想物体との位置合わせなど様々な目的に応用される。 With the recent development of robot technology, robots are starting to perform complicated tasks such as assembly of industrial products that have been performed by humans instead. Such a robot performs assembly by gripping a part with an end effector such as a hand. In order for the robot to grip the part, it is necessary to measure the relative position and orientation between the part to be gripped and the robot (hand). Such position and orientation measurements are not only used when the robot grips a part, but also for various purposes such as self-position estimation for the robot to move autonomously and alignment of the real space and virtual object in augmented reality. Applied to.
位置及び姿勢を計測する方法として、カメラが撮影する2次元画像を用いて行う方法がある。その中でも、2次元画像上から検出される特徴に対して物体の3次元形状モデルを当て嵌めるモデルフィッティングによる計測が一般的である。例えば、非特許文献1では、2次元画像上から検出される特徴として、エッジを利用した物体の位置及び姿勢の計測を行う方法が開示されている。この方法では、物体の3次元形状モデルを線分の集合(ワイヤフレームモデル)によって表し、物体の概略の位置及び姿勢は既知であるとして、画像上で検出されるエッジに3次元の線分の投影像を当て嵌めることにより物体の位置及び姿勢を計測する。 As a method for measuring the position and orientation, there is a method using a two-dimensional image captured by a camera. Among them, measurement by model fitting in which a three-dimensional shape model of an object is fitted to a feature detected from a two-dimensional image is common. For example, Non-Patent Document 1 discloses a method of measuring the position and orientation of an object using edges as features detected from a two-dimensional image. In this method, a three-dimensional shape model of an object is represented by a set of line segments (wireframe model), and the approximate position and orientation of the object are known, and a three-dimensional line segment is detected at an edge detected on the image. The position and orientation of the object are measured by fitting the projection image.
上述のようなモデルフィッティング法では、計測データとモデルとの対応を探索し、対応対間の差異を最小化する。しかし、計測データのノイズ・初期の位置姿勢推定値の誤差などの要因により、明らかに誤った対応が検出されてしまうことがある。このような明らかな誤り(以下、「外れ値」と称する)に小さな重みを設定して、外れ値が推定結果に悪影響を及ぼすことを防ぐロバスト推定と呼ばれる手法群が利用されている。ロバスト推定の代表的な手法としては、M推定が挙げられる。 In the model fitting method as described above, the correspondence between the measurement data and the model is searched, and the difference between the corresponding pairs is minimized. However, an apparently incorrect response may be detected due to factors such as measurement data noise and initial position and orientation estimation error. A method group called robust estimation is used in which a small weight is set to such an obvious error (hereinafter referred to as “outlier”) to prevent the outlier from adversely affecting the estimation result. A typical method for robust estimation is M estimation.
また、従来から物体の特徴モデルと画像から検出した特徴とをマッチングすることにより、物体の種別や個体を識別する物体認識技術がある。例えば、非特許文献2では、画像特徴としてSIFT(Scale-Invariant Feature Transform)と呼ばれる局所的画像特徴点の抽出法を用いる物体認識手法が開示されている。 Conventionally, there is an object recognition technique for identifying an object type or an individual by matching a feature model of an object with a feature detected from an image. For example, Non-Patent Document 2 discloses an object recognition method that uses a local image feature point extraction method called SIFT (Scale-Invariant Feature Transform) as an image feature.
位置姿勢推定や物体認識の対象とする物体の画像を撮影するため、対象物体を照明下に配置すると、対象物体の一部や他の物体が照明光を遮り、影が形成されることがある。その情景を撮影した画像からは影に相当する画像領域、特に影の領域と影でない領域の境界部分において、画像特徴が検出される可能性が高い。これは、影の境界に明るさレベルの大きな勾配が発生するためである。 If the target object is placed under illumination in order to capture an image of the object to be used for position and orientation estimation or object recognition, a part of the target object or other objects may block the illumination light and a shadow may be formed . There is a high possibility that an image feature is detected in an image region corresponding to a shadow, particularly in a boundary portion between a shadow region and a non-shadow region. This is because a large brightness level gradient occurs at the shadow boundary.
そして、物体のモデルと画像データとをフィッティングあるいはマッチングするために、モデルに記述された特徴と画像特徴との対応を探索すると、モデルの特徴が誤って影に起因する擬似的な画像特徴と対応付けられてしまうことがある。このような誤対応が起こると、位置姿勢推定や物体認識の処理が破綻したり、位置姿勢推定精度や物体認識精度が低下したりするという問題がある。 Then, in order to fit or match an object model and image data, when the correspondence between the feature described in the model and the image feature is searched, the feature of the model mistakenly corresponds to the pseudo image feature caused by the shadow. It may be attached. When such an incorrect correspondence occurs, there are problems that processing of position / orientation estimation and object recognition breaks down, and position / orientation estimation accuracy and object recognition accuracy decrease.
このような擬似的画像特徴との誤対応に対して前述のロバスト推定を適用しても、必ずしも誤対応の影響を軽減できない。ロバスト推定では対応対間の距離を計量する何らかの評価値(例えば、対応対間の画面上での距離)に基づいて、それぞれの対応が処理結果に与える重み係数を調整する。具体的には、距離の評価値が大きいほど重み係数を高く設定する。ただし、距離の評価値の算出の際には画像特徴が影の領域内にあるか否かは考慮されていないため、影領域内の特徴点に大きな重み係数が設定されることを防止できない。したがって、影領域から誤った対応点が抽出されても、ロバスト推定ではその悪影響を排除することは困難である。ロバスト推定は、あくまで数値計算的な外れ値の除外方法であり、画像特徴が影の影響を受けているか否かという幾何学的・光学的な判断はしていない。そのため、誤対応であっても偶発的に対応間の距離が小さくなる場合には、その悪影響を軽減することは困難である。 Even if the above-described robust estimation is applied to such a false correspondence with the pseudo image feature, the influence of the false correspondence cannot always be reduced. In the robust estimation, the weighting factor that each correspondence gives to the processing result is adjusted based on some evaluation value (for example, the distance on the screen between the correspondence pairs) that measures the distance between the corresponding pairs. Specifically, the weighting factor is set higher as the distance evaluation value is larger. However, when calculating the evaluation value of the distance, whether or not the image feature is in the shadow region is not taken into consideration, and therefore it is not possible to prevent a large weighting factor from being set for the feature point in the shadow region. Therefore, even if an erroneous corresponding point is extracted from the shadow region, it is difficult to eliminate the adverse effect by robust estimation. Robust estimation is a method for excluding outliers that is numerically calculated, and does not make a geometrical or optical determination as to whether an image feature is affected by a shadow. For this reason, it is difficult to mitigate the adverse effects of the erroneous response when the distance between the responses is accidentally reduced.
上記の課題に鑑み、本発明は、影が落ちる領域に相当する画像領域から抽出される擬似的な画像特徴の影響を軽減し、フィッティング/マッチングの安定性・精度を向上することを目的とする。 In view of the above problems, an object of the present invention is to reduce the influence of a pseudo image feature extracted from an image region corresponding to a region where a shadow falls, and to improve the stability and accuracy of fitting / matching. .
上記の目的を達成する本発明に係る位置姿勢計測装置は、
対象物体の3次元形状情報を含む3次元モデルを保持する保持手段と、
前記対象物体の2次元画像を取得する2次元画像取得手段と、
前記2次元画像において前記対象物体に照射される照明が遮蔽される影領域の先端部と、前記影領域ではない非影領域との境界領域である、影先端境界領域を特定する特定手段と、
前記特定手段により特定された影先端境界領域と、前記対象物体の位置および姿勢の概略値とに基づいて、前記3次元モデルから抽出される第1の幾何特徴と、該第1の幾何特徴に対応する、前記2次元画像上の第2の幾何特徴とを対応付ける対応付け手段と、
前記対応付け手段により対応づけられた前記第1の幾何特徴と前記第2の幾何特徴とのずれが小さくなるように前記概略値を補正することにより、前記対象物体の位置および姿勢を計測する位置姿勢計測手段と、
を備えることを特徴とする。
The position and orientation measurement apparatus according to the present invention that achieves the above object is as follows.
Holding means for holding a three-dimensional model including three-dimensional shape information of the target object;
Two-dimensional image acquisition means for acquiring a two-dimensional image of the target object;
And the distal end portion of the shadow area illumination before Symbol 2-dimensional image is irradiated on the target object is shielded, is a boundary region between the non-shadow area not the shadow area, a specifying means for specifying a shadow tip boundary region ,
A first geometric feature extracted from the three-dimensional model based on the shadow tip boundary region specified by the specifying means and the approximate value of the position and orientation of the target object, and the first geometric feature A corresponding means for associating the corresponding second geometric feature on the two-dimensional image;
A position for measuring the position and orientation of the target object by correcting the approximate value so that the deviation between the first geometric feature and the second geometric feature associated with each other by the association unit is small. Attitude measurement means;
It is characterized by providing.
本発明によれば、影が落ちる領域に相当する画像領域から抽出される擬似的な画像特徴の影響を軽減し、フィッティング/マッチングの安定性・精度を向上することができる。 According to the present invention, it is possible to reduce the influence of a pseudo image feature extracted from an image region corresponding to a region where a shadow falls, and to improve the stability and accuracy of fitting / matching.
(第1実施形態)
本実施形態では、物体を撮影した画像に既知である物体の3次元形状モデルをフィッティングすることによって物体の位置姿勢を推定する位置姿勢計測装置について説明する。3次元モデルの3次元形状情報が既知である対象物体の位置および姿勢を計測する。以下、位置姿勢を推定する対象となる物体を「計測対象物体」と称する。
(First embodiment)
In this embodiment, a position / orientation measurement apparatus that estimates the position / orientation of an object by fitting a known three-dimensional shape model of the object to an image obtained by capturing the object will be described. The position and orientation of a target object whose 3D shape information of the 3D model is known are measured. Hereinafter, an object whose position and orientation are to be estimated is referred to as a “measurement target object”.
計測対象物体の位置姿勢の推定は、まず形状モデル上の複数の特徴点に対応する画像上の特徴点を探索し、これらの対応点対間の画像上における距離の和が最小となるように計測対象物体の位置および姿勢を最適化する。その際に、対応点対の位置姿勢計測における影響にばらつきを持たせることで、誤った位置姿勢計測につながってしまうような対応点対の位置姿勢計測への寄与を低減することができる。例えば、各3次元モデルを構成する線分を投影した投影線分を構成する点と、2次元画像上のエッジを構成する点との、2次元画像上における距離に重み係数を乗じた値の総和が最小となる位置および姿勢を対象物体の位置および姿勢として計測する。その際、悪影響を及ぼす可能性のある対応点対の重み係数を小さく設定すればよい。 To estimate the position and orientation of the measurement target object, first search for feature points on the image corresponding to a plurality of feature points on the shape model, and minimize the sum of the distances between these pairs of corresponding points on the image. Optimize the position and orientation of the object to be measured. At that time, by providing variation in the position / orientation measurement of the corresponding point pair, it is possible to reduce the contribution to the position / orientation measurement of the corresponding point pair that would lead to erroneous position / orientation measurement. For example, a value obtained by multiplying a distance on a two-dimensional image between a point constituting a projected line segment obtained by projecting a line segment constituting each three-dimensional model and a point constituting an edge on the two-dimensional image by a weighting factor. The position and orientation at which the sum is minimized are measured as the position and orientation of the target object. At that time, the weighting coefficient of the corresponding point pair that may have an adverse effect may be set small.
本実施形態では、計測対象物体の画像を2種類撮影する。ここでいう2種類とは、距離画像と濃淡画像である。なお、濃淡画像に替えて、カラー画像を撮影してもよい。その場合は距離画像とカラー画像との2種類である。 In this embodiment, two types of images of the measurement target object are taken. The two types here are a distance image and a grayscale image. A color image may be taken instead of the grayscale image. In that case, there are two types, a distance image and a color image.
距離画像は通常の2次元画像とは異なり、各画素に撮影装置から被写体までの距離が格納される。本実施形態では距離画像はパターン投影法により撮影する。すなわち、計測対象物体に明暗の縞模様などの照明パターンを投射し、その情景を照明とは異なる方向から撮影して、三角測量の原理で距離を算出する。ただし、距離計測方法はパターン投影法に限るものではなく、三角測量を原理とする任意のアクティブ照明方式であれば他の方法であってもよい。このような三角測量ベースの距離計測方法では、カメラと照明との位置・向きが互いに異なるので、撮影した画像には写りこんでいる空間領域であっても、照明からの光が遮られて当たらないことが有り得る。このような領域については投射された照明パターンが観測されないため、距離計測が不可能になる。本実施形態で想定する距離画像計測装置では、計測が不可能な画素については画素値が0になるとする。計測不能を表す方法としては、画素値を通常距離値としては使わない値(例えば、本実施形態のように0など)にする方法や、距離画像とは別に各画素に対して距離計測不能か否かを表すフラグ値を持たせる方法が考えられる。いずれにしろ、画素値やフラグ値を参照することによって、容易に距離計測不能な画素を特定できる。 Unlike a normal two-dimensional image, the distance image stores the distance from the photographing device to the subject in each pixel. In this embodiment, the distance image is taken by the pattern projection method. That is, an illumination pattern such as a bright and dark stripe pattern is projected onto the measurement target object, the scene is photographed from a direction different from the illumination, and the distance is calculated based on the principle of triangulation. However, the distance measurement method is not limited to the pattern projection method, and any other active illumination method based on the principle of triangulation may be used. In such a triangulation-based distance measurement method, the position and orientation of the camera and the illumination are different from each other, so that even if the captured image is in a spatial region, the light from the illumination is blocked. There can be nothing. In such a region, since the projected illumination pattern is not observed, distance measurement becomes impossible. In the distance image measurement device assumed in the present embodiment, the pixel value is assumed to be 0 for pixels that cannot be measured. As a method for indicating the inability to measure, is a method in which a pixel value is not used as a normal distance value (for example, 0 as in the present embodiment), or whether distance measurement is not possible for each pixel separately from the distance image. A method of providing a flag value indicating whether or not is possible is conceivable. In any case, by referring to the pixel value and the flag value, it is possible to easily identify a pixel for which distance measurement is impossible.
濃淡画像は距離画像計測装置の撮像部および照明部を用いて撮影する。濃淡画像を撮影するときは、明暗パターンを含まない均一な明るさの照明を対象物体に照射する。距離画像と濃淡画像とは同一のカメラで撮影するので、2次元座標が同じ画素は3次元空間の同じ箇所に対応することになる。したがって、パターン光が遮られて距離計測不能になる距離画像上の領域は、濃淡画像上で影になる領域と一致する。 The grayscale image is taken using the imaging unit and the illumination unit of the distance image measurement device. When shooting a grayscale image, the target object is illuminated with uniform brightness that does not include a light and dark pattern. Since the distance image and the grayscale image are taken by the same camera, pixels having the same two-dimensional coordinate correspond to the same part in the three-dimensional space. Therefore, the area on the distance image where the pattern light is blocked and the distance measurement is impossible coincides with the area that becomes a shadow on the grayscale image.
まず、図1(a)および図1(b)を参照して、実施形態における発明の原理を示す模式図について説明する。図1(a)は、計測対象物体の形状を3次元的に表現した模式図である。また、図1(b)は、計測対象物体を撮影した濃淡画像の中で計測対象物体部分を取り出した様子を示す図である。ここでは計測対象物体を上部から撮影した様子を示す。 First, with reference to FIG. 1A and FIG. 1B, a schematic diagram showing the principle of the invention in the embodiment will be described. FIG. 1A is a schematic diagram that three-dimensionally represents the shape of the measurement target object. FIG. 1B is a diagram illustrating a state in which a measurement target object portion is extracted from a grayscale image obtained by photographing the measurement target object. Here, a state where the measurement target object is photographed from above is shown.
図1(a)において、計測対象物体101aは計測対象となる物体である。計測対象物体101aは、凸部102aを有する。この凸部102aにより、距離画像計測装置の照明部からの光が遮られて、領域103aに影を落としている。図1(b)に示す濃淡画像上では、計測対象物体101aが領域101b、凸部102aが領域102b、影が落ちている領域103aが領域103bに相当する。そして、線分104aが線分104bに対応し、線分105aが線分105bに対応する。線分106aが線分106bに対応する。なお、以下では領域103bのように濃淡画像上で影が落ちている領域を「被遮蔽領域」と称する。領域103aは距離画像を撮影する際にパターン光が投影されない部分に当たるので距離計測が不可能である。また、距離画像の画素と濃淡画像の画素とは一対一に対応する。つまり、距離画像において画素値が計測不能を表す0である領域を検出することによって、被遮蔽領域103bを検出できる。
In FIG. 1A, a
本実施形態に係る方法では、位置姿勢推定の計算に用いる形状モデル上の点として、形状モデルを構成する線分上の点を用いる。線分104a上の点に対応する画像上の特徴点を求めるために、計測対象物体の概略位置姿勢に基づいて線分104aを画像上に投影した線分107b上に複数の制御点をとり、制御点に最も近い画像エッジを探索する。本来、線分104aに対応するのは線分104bであるが、図1(b)の場合画像上で線分107bにより近いのは線分105bであるので、誤った対応点である線分105b上の点が検出されてしまう。
In the method according to the present embodiment, points on a line segment constituting the shape model are used as points on the shape model used for calculation of position and orientation estimation. In order to obtain feature points on the image corresponding to points on the
そこで、探索の結果見つかった対応点が被遮蔽領域内にあるか否か判定して、被遮蔽領域内にあれば、その対応点に関する位置姿勢計算への寄与度(重み係数)を比較的低く設定する。一方、モデルの線分106a上の点に対応する画像上の特徴点を探索する場合、線分106aを画像上に投影した線分108b上の点に最も近い画像上のエッジを探索する。図1(b)の場合、探索結果は線分106b上の点群となる。これらの点群は被遮蔽領域の外部にあるので、モデル線分106aと画像線分106b上の対応点対に関する位置姿勢計算への寄与度(重み係数)は比較的高く設定する。
Therefore, it is determined whether or not the corresponding point found as a result of the search is within the shielded area. If the corresponding point is within the shielded area, the degree of contribution to the position and orientation calculation (weight coefficient) for the corresponding point is relatively low. Set. On the other hand, when searching for a feature point on the image corresponding to a point on the
上記のように画像上で探索した対応点が被遮蔽領域内にあるか否かによって位置姿勢計測への重み係数を制御することにより、擬似的なエッジである影の境界が悪影響を及ぼして位置姿勢計算が破綻したり、精度が低下したりする可能性を軽減できる。なお、図1(c)については後述する。 By controlling the weighting factor for position and orientation measurement based on whether or not the corresponding point searched on the image is within the shielded area as described above, the shadow boundary, which is a pseudo edge, has an adverse effect on the position. It is possible to reduce the possibility that attitude calculation will fail or accuracy will be reduced. Note that FIG. 1C will be described later.
次に図2(a)を参照して、本発明に係る位置姿勢計測装置のハードウェア構成について説明する。位置姿勢計測装置は、CPU201とメモリ202と、バス203と、インタフェース204と、外部記憶装置205と、キーボード206と、マウス207と、表示部208と、データ入出力部209とを備える。
Next, the hardware configuration of the position / orientation measurement apparatus according to the present invention will be described with reference to FIG. The position / orientation measurement apparatus includes a
CPU201は、後述の各処理部による動作を制御する。メモリ202は、CPU201の動作に用いるプログラムやデータを格納する。バス203は、各構成モジュール間のデータ転送を司る。インタフェース204は、バス203と各種装置とのインタフェースである。外部記憶装置205は、CPU201に読み込むプログラムやデータを格納する。キーボード206およびマウス207は、プログラムを起動したり、プログラムの動作を指定したりするための入力装置を構成する。表示部208は、プロセスの動作結果を表示する。データ入出力部209は、装置外部との間でデータを入出力する。距離画像計測装置はデータ入出力部209を介して本発明に係る位置姿勢計測装置に接続されている。
The
図2(b)を参照して、位置姿勢計測装置250の機能構成を説明する。位置姿勢計測装置250は、画像取得部251と、被遮蔽領域抽出部252と、対応付け部253と、最適化処理部254とを備える。画像取得部251は、データ入出力部209に接続された不図示の距離画像計測装置から距離画像データおよび濃淡画像データを取得して、メモリ202に格納する。被遮蔽領域抽出部252は、濃淡画像上の被遮蔽領域を抽出する。対応付け部253は、計測対象物体のモデルと画像特徴との対応付けを行う。最適化処理部254は、計測対象物体の概略の位置姿勢を補正することにより計測対象物体の位置姿勢を最適化して算出する。
A functional configuration of the position /
図3を参照して、第1実施形態に係る処理の流れを示すフローチャートについて説明する。ステップS301において、処理に用いるデータの初期設定を行う。具体的には、外部記憶装置205から、計測対象物体の3次元モデルデータと、計測対象物体の位置姿勢の概略値データと、距離画像計測装置の撮像部のカメラパラメータ(例えば、主点位置、焦点距離)をメモリ202にロードする。なお、以下では撮像部を「カメラ」とも称する。
With reference to FIG. 3, the flowchart which shows the flow of the process which concerns on 1st Embodiment is demonstrated. In step S301, initial setting of data used for processing is performed. Specifically, from the
3次元モデルは頂点の集合および頂点を結ぶ線分の集合によって定義される。したがって、3次元モデルデータは、頂点の識別番号と座標、各線分の識別番号と両端の頂点の識別番号から構成される。 A three-dimensional model is defined by a set of vertices and a set of line segments connecting the vertices. Therefore, the three-dimensional model data is composed of vertex identification numbers and coordinates, each line segment identification number, and both vertex identification numbers.
ステップS301の概略値取得処理で取得された計測対象物体の概略位置姿勢データは、位置姿勢計測装置に対する計測対象物体の位置及び姿勢の概略値を示す。ここで、位置姿勢計測装置に対する物体の位置及び姿勢とは、カメラ座標系における物体の位置及び姿勢である。概略位置姿勢の算出方法は任意であるが、本実施形態では、時間軸方向に連続して位置姿勢の計測を行うものとして、前回(前時刻)の計測値を概略の位置及び姿勢として用いる。初回の概略位置姿勢は例えば、特許文献1に開示される方法を用いて算出する。また、距離画像計測装置の撮像部のカメラパラメータは例えば非特許文献3で開示される方法により事前に校正しておく。 The approximate position / orientation data of the measurement target object acquired in the approximate value acquisition process of step S301 indicates approximate values of the position and orientation of the measurement target object with respect to the position / orientation measurement apparatus. Here, the position and orientation of the object with respect to the position and orientation measurement device are the position and orientation of the object in the camera coordinate system. Although the calculation method of the approximate position and orientation is arbitrary, in the present embodiment, the measurement value of the previous time (previous time) is used as the approximate position and orientation, assuming that the position and orientation are continuously measured in the time axis direction. The initial approximate position and orientation is calculated using, for example, the method disclosed in Patent Document 1. The camera parameters of the imaging unit of the distance image measuring device are calibrated in advance by a method disclosed in Non-Patent Document 3, for example.
ステップS302において、画像取得部251は、データ入出力部209に接続された不図示の距離画像計測装置から距離画像データおよび2次元画像データ(濃淡画像データまたはカラー画像データ)を取得して、メモリ202に格納する。
In step S302, the
ステップS303において、被遮蔽領域抽出部252は、ステップS302の2次元画像取得処理で取得された濃淡画像上から被遮蔽領域を抽出する。具体的には、ステップS302の距離画像取得処理で取得された距離画像データを参照して、画素値が計測不能を示す0になっている画素を抽出する。抽出結果は濃淡画像・距離画像と同じサイズの2値画像(以下、「被遮蔽領域画像」と称する)としてメモリ202に格納する。被遮蔽領域画像では画素値は1または0であり、画素値が1の場合は当該画素が被遮蔽領域内の画素であることを表し、画素値が0の場合は当該画素が被遮蔽領域外の画素であることを表す。
In step S303, the occluded
ステップS304において、対応付け部253は、計測対象物体のモデルと画像特徴との対応付けを行う。ステップS304の処理の詳細は後述する。
In step S304, the associating
ステップS305において、最適化処理部254は、計測対象物体の概略の位置姿勢を補正することにより計測対象物体の位置姿勢を算出する。ステップS305の処理の詳細は後述する。
In step S305, the
ここで、図4を参照して、ステップS304の計測対象物体のモデルと画像特徴との対応付け処理の詳細を示すフローチャートについて説明する。本処理では、3次元モデルを構成する線分と2次元画像上(濃淡画像上またはカラー画像上)のエッジとを対応付ける。対応付けの方法としては、非特許文献4で開示される方法と同様の方法を用いる。 Here, with reference to FIG. 4, a flowchart showing details of the process of associating the model of the measurement target object with the image feature in step S304 will be described. In this processing, the line segment constituting the three-dimensional model is associated with the edge on the two-dimensional image (on the grayscale image or the color image). A method similar to the method disclosed in Non-Patent Document 4 is used as the association method.
ステップS401において、3次元モデルを構成する線分と2次元画像上(濃淡画像上またはカラー画像上)エッジとの対応付けが済んでいないモデル上の1つの線分を選択する。 In step S401, one line segment on the model in which the line segment constituting the three-dimensional model is not associated with the edge on the two-dimensional image (on the grayscale image or on the color image) is selected.
ステップS402において、図3のステップS301で入力された計測対象物体の概略位置及び姿勢とカメラの内部パラメータとを用いて、ステップS401で選択された線分の画像上への投影像を算出する。線分の投影像は画像上でも線分となる。 In step S402, a projection image onto the image of the line segment selected in step S401 is calculated using the approximate position and orientation of the measurement target object input in step S301 of FIG. 3 and the internal parameters of the camera. The projected image of the line segment is also a line segment on the image.
ステップS403において、ステップS402で算出された投影線分上に制御点を設定する。ここで、制御点とは、投影線分を等間隔に分割するような、投影線分上の点である。 In step S403, control points are set on the projection line segment calculated in step S402. Here, the control point is a point on the projection line segment that divides the projection line segment at equal intervals.
制御点は、投影結果として得られる制御点の2次元座標および線分の2次元方向の情報と、3次元モデル上の制御点の3次元座標および線分の3次元方向の情報とを保持する。また、制御点の分割元となる3次元モデルの線分が保持する3次元的属性の情報も同様に保持する。投影線分の制御点は、線分ごとの総数をnとして、各制御点をDFi(i=1、2、…、n)として表す。 The control point holds information on the two-dimensional coordinates and line segments of the control points obtained as a projection result, and information on the three-dimensional coordinates and line segments of the control points on the three-dimensional model. . In addition, the information of the three-dimensional attribute held by the line segment of the three-dimensional model that is the control point dividing source is similarly held. The control points of the projected line segment are expressed as DFi (i = 1, 2,..., N), where n is the total number for each line segment.
ステップS404において、ステップS403で算出された投影線分の制御点DFi(i=1、2、…、n)のうち、まだ対応点を検出していない制御点1点を選択する。 In step S404, one control point that has not yet detected a corresponding point is selected from the control points DFi (i = 1, 2,..., N) of the projection line segment calculated in step S403.
ステップS405において、ステップS404で選択された制御点に対応する2次元画像中のエッジを検出する。 In step S405, an edge in the two-dimensional image corresponding to the control point selected in step S404 is detected.
図8を参照して、ステップS405における2次元画像中のエッジ検出方法を説明する。エッジの検出は、図8(a)に示すように、制御点DFiの探索ライン(制御点の2次元方向の法線方向)上において、濃淡画像上の濃度勾配から極値を算出することにより行う。エッジは、探索ライン上において濃度勾配が極値をとる位置に存在する。探索ライン上で検出されたエッジが一つのみである場合は、そのエッジを対応点とする。また、図8(b)に示すように、探索ライン上で検出されたエッジが複数存在する場合には、制御点に最も近い点を対応点とする。 The edge detection method in the two-dimensional image in step S405 will be described with reference to FIG. As shown in FIG. 8A, the edge is detected by calculating an extreme value from the density gradient on the grayscale image on the search line for the control point DFi (the normal direction in the two-dimensional direction of the control point). Do. The edge exists at a position where the density gradient takes an extreme value on the search line. If there is only one edge detected on the search line, that edge is taken as the corresponding point. In addition, as shown in FIG. 8B, when there are a plurality of edges detected on the search line, the point closest to the control point is set as the corresponding point.
ステップS406において、ステップS405で検出された対応点の2次元座標を参照し、当該対応点が図3のステップS303で抽出された被遮蔽領域の範囲内に存在するか否かを判定する。具体的には、対応点と同一座標の被遮蔽領域画像の画素値を参照し、1なら被遮蔽領域内、0なら被遮蔽領域外と判定する。対応点が被遮蔽領域の範囲内に存在すると判定された場合は(ステップS406;YES)、ステップS407に進む。一方、対応点が被遮蔽領域の範囲内に存在しないと判断された場合は(ステップS406;NO)、ステップS408に進む。 In step S406, the two-dimensional coordinates of the corresponding point detected in step S405 are referred to, and it is determined whether or not the corresponding point exists within the shielded area extracted in step S303 in FIG. Specifically, the pixel value of the shielded area image having the same coordinates as the corresponding point is referred to, and if it is 1, it is determined to be within the shielded area, and if it is 0, it is determined to be outside the shielded area. If it is determined that the corresponding point exists within the shielded area (step S406; YES), the process proceeds to step S407. On the other hand, if it is determined that the corresponding point does not exist within the shielded area (step S406; NO), the process proceeds to step S408.
ステップS407において、ステップS404で選択された制御点の2次元座標と、ステップS405で検出されたエッジの2次元座標と、これらの対応点対に関する位置姿勢計算への重み係数の値α(<1.0)とを、対応点対データとしてメモリ202に保持する。
In step S407, the two-dimensional coordinates of the control point selected in step S404, the two-dimensional coordinates of the edge detected in step S405, and the weight coefficient value α (<1 for the position and orientation calculation regarding these corresponding point pairs. .0) is stored in the
一方、ステップS408において、ステップS404で選択された制御点の2次元座標と、ステップS405で検出されたエッジの2次元座標と、これらの対応点対に関する位置姿勢計算への重み係数の値1.0とを、対応点対データとしてメモリ202に保持する。
On the other hand, in step S408, the two-dimensional coordinates of the control points selected in step S404, the two-dimensional coordinates of the edges detected in step S405, and the values of the weight coefficients for the position and orientation calculation for these corresponding point pairs are as follows: 0 is stored in the
ステップS409において、ステップS404で設定された制御点のすべてについて対応するエッジを検出したか否かを判定する。制御点のすべてについて対応するエッジを検出したと判定された場合(ステップS409;YES)、ステップS410に進む。一方、制御点のすべてについて対応するエッジを検出していないと判定された場合(ステップS409;NO)、ステップS404に戻る。 In step S409, it is determined whether corresponding edges have been detected for all the control points set in step S404. When it is determined that corresponding edges have been detected for all of the control points (step S409; YES), the process proceeds to step S410. On the other hand, when it is determined that the corresponding edge is not detected for all the control points (step S409; NO), the process returns to step S404.
ステップS410において、モデル上のすべての線分についてエッジ検出を完了したか否かを判定する。モデル上のすべての線分についてエッジ検出を完了したと判定された場合(ステップS410;YES)、処理が終了する。これにより、図3のステップS304の処理の全体が終了する。一方、モデル上のすべての線分についてエッジ検出を完了していないと判定された場合(ステップS410;NO)、ステップS401に戻る。 In step S410, it is determined whether edge detection has been completed for all line segments on the model. If it is determined that edge detection has been completed for all line segments on the model (step S410; YES), the process ends. Thereby, the whole process of step S304 of FIG. 3 is complete | finished. On the other hand, if it is determined that edge detection has not been completed for all line segments on the model (step S410; NO), the process returns to step S401.
以上の処理を通じて、モデルの線分上の点に対応する画像上のエッジの対が求められ、そのうちエッジが被遮蔽領域内にある対に関しては、位置姿勢計算への重み係数が比較的低く設定される。 Through the above processing, edge pairs on the image corresponding to the points on the model line segment are obtained, and for those pairs whose edges are in the shielded area, the weighting factor for position and orientation calculation is set relatively low. Is done.
最後に、ステップS304で検出された対応点対を用いて、計測対象物体の位置姿勢の値を最適化する処理(ステップS305の処理)の詳細について説明する。 Finally, details of the process of optimizing the position and orientation values of the measurement target object (the process of step S305) using the corresponding point pairs detected in step S304 will be described.
ステップS305において、非線形最適化計算を用いて、計測対象物体の概略の位置姿勢を反復演算により補正することにより計測対象物体の位置姿勢を算出する。ここで、すべての3次元線分の制御点DFiのうち、ステップS304で対応候補エッジが求められた制御点の総数をLcとする。また、画像の水平方向、垂直方向を、それぞれx軸、y軸とする。また、ある制御点が投影された画像座標を(u0、v0)で表す。そして、制御点の方向に相当する画像上での傾きをx軸に対する傾きθで表す。傾きθは、投影された3次元線分の端点(始点および終点)の撮影画像上での2次元座標を結んだ直線の傾きとして算出する。制御点の直線の画像上での法線ベクトルは(sinθ、−cosθ)となる。また、当該制御点の対応点の画像座標を(u’、v’)とする。ここで、点(u、v)を通り、傾きがθである直線の方程式は、以下の式(1)のように表される。 In step S305, the position and orientation of the measurement target object are calculated by correcting the approximate position and orientation of the measurement target object by iterative calculation using nonlinear optimization calculation. Here, among all the control points DFi of the three-dimensional line segments, the total number of control points for which corresponding candidate edges are obtained in step S304 is Lc. Further, the horizontal direction and the vertical direction of the image are set as an x-axis and a y-axis, respectively. In addition, image coordinates on which a certain control point is projected are represented by (u 0 , v 0 ). The inclination on the image corresponding to the direction of the control point is represented by the inclination θ with respect to the x axis. The inclination θ is calculated as the inclination of a straight line connecting the two-dimensional coordinates on the captured image of the end points (start point and end point) of the projected three-dimensional line segment. The normal vector on the straight image of the control point is (sin θ, −cos θ). Further, the image coordinates of the corresponding point of the control point are (u ′, v ′). Here, an equation of a straight line passing through the point (u, v) and having an inclination of θ is expressed as the following equation (1).
制御点の撮影画像上での画像座標は撮像装置の位置及び姿勢により変化する。また、撮像装置の位置及び姿勢の自由度は6自由度である。ここで撮像装置の位置及び姿勢を表すパラメータをベクトルsで表す。sは6次元ベクトルであり、撮像装置の位置を表す3つの要素(例えば、x、y、z)と、姿勢を表す3つの要素とからなる。姿勢を表す3つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す3次元ベクトルなどによって表現される。制御点の画像座標(u、v)は(u0、v0)の近傍で1次のテイラー展開によって式(2)のように近似できる。 The image coordinates of the control points on the captured image vary depending on the position and orientation of the imaging device. The degree of freedom of the position and orientation of the imaging device is 6 degrees of freedom. Here, a parameter representing the position and orientation of the imaging apparatus is represented by a vector s. s is a 6-dimensional vector, and includes three elements (for example, x, y, z) representing the position of the imaging device and three elements representing the posture. The three elements representing the posture are represented by, for example, expression by Euler angles or a three-dimensional vector in which the direction represents the rotation axis and the magnitude represents the rotation angle. The image coordinates (u, v) of the control point can be approximated as shown in Equation (2) by the first-order Taylor expansion in the vicinity of (u 0 , v 0 ).
式(2)におけるu、vの偏微分の導出方法は、例えば非特許文献5に開示されるように広く知られているのでここではその詳細は述べない。式(2)を式(1)に代入することにより、以下のように式(3)が得られる。 The method for deriving the partial differentials of u and v in Equation (2) is widely known as disclosed in Non-Patent Document 5, for example, and will not be described in detail here. By substituting equation (2) into equation (1), equation (3) is obtained as follows.
ここで、式(3)に示される直線が当該制御点の対応点の画像座標(u’、v’)を通過するように、撮像装置の位置及び姿勢sの補正値Δsを算出する。 Here, the correction value Δs of the position and orientation s of the imaging device is calculated so that the straight line shown in the equation (3) passes through the image coordinates (u ′, v ′) of the corresponding point of the control point.
なお、r0=u0sinθ−v0cosθ(=定数)、d=u’sinθ−v’cosθ(=定数)とする。式(4)はLc個の制御点について成り立つため、式(5)のようなΔsに対する線形連立方程式が成り立つ。 Note that r 0 = u 0 sin θ−v 0 cos θ (= constant) and d = u′sin θ−v′cos θ (= constant). Since Equation (4) holds for Lc control points, a linear simultaneous equation for Δs as shown in Equation (5) holds.
ここで式(5)を式(6)のように簡潔に表す。 Here, Expression (5) is simply expressed as Expression (6).
ここで、各対応点対、すなわち各制御点とその制御点に対応するエッジとの組に対してステップS304で設定された重み係数をwiとする。ここで重み行列Wを式(7)のように定義する。 Here, let w i be the weighting coefficient set in step S304 for each pair of corresponding points, that is, a set of each control point and an edge corresponding to that control point. Here, the weight matrix W is defined as shown in Equation (7).
重み行列Wは、対角成分以外はすべて0の正方行列であり、対角成分には重みwiが入る。この重み行列Wを用いて、式(6)を式(8)のように変形する。 Weight matrix W is, all but the diagonal component is a square matrix of 0, the weights w i enters the diagonal component. Using this weight matrix W, equation (6) is transformed into equation (8).
Gauss−Newton法などを用いて、式(8)を解くことにより補正値Δsを求めると、式(9)のようになる。 When the correction value Δs is obtained by solving the equation (8) using the Gauss-Newton method or the like, the equation (9) is obtained.
このようにして算出された補正値Δsによりモデルの位置・姿勢の概略値を補正して位置・姿勢を更新する。 The approximate value of the position / orientation of the model is corrected by the correction value Δs calculated in this way, and the position / orientation is updated.
次に、物体の位置及び姿勢の反復演算が収束しているか否かを判定する。補正値Δsが十分に小さい場合、誤差r−dの総和が十分小さい場合、または誤差r−dの総和が変化しない場合は、物体の位置及び姿勢の計算が収束したと判定する。収束していないと判定された場合には、更新された物体の位置及び姿勢を用いて再度線分の傾きθ、r0、d、およびu、vの偏微分を計算し直し、式(8)を用いて再度補正値Δsを求め直す。 Next, it is determined whether or not the iterative calculation of the position and orientation of the object has converged. If the correction value Δs is sufficiently small, the sum of the errors rd is sufficiently small, or if the sum of the errors rd does not change, it is determined that the calculation of the position and orientation of the object has converged. If it is determined that it has not converged, the partial differentiation of the slopes θ, r 0 , d, and u, v of the line segment is calculated again using the updated position and orientation of the object, and the equation (8) ) To obtain the correction value Δs again.
このようにして物体の位置・姿勢を求めた結果は、メモリ202に格納するか、あるいはデータ入出力部209を介して外部の装置に出力する。
The result of obtaining the position / orientation of the object in this manner is stored in the
なお、ここでは非線形最適化手法としてGauss−Newton法を用いている。しかしながら、非線形最適化手法はこれに限るものではなく、Newton−Raphson法、Levenberg−Marquardt法、最急降下法、共役勾配法などのその他の非線形最適化手法を用いてもよい。以上、ステップS305における物体の位置姿勢の最適化処理について説明した。 Here, the Gauss-Newton method is used as the nonlinear optimization method. However, the nonlinear optimization method is not limited to this, and other nonlinear optimization methods such as a Newton-Raphson method, a Levenberg-Marquardt method, a steepest descent method, and a conjugate gradient method may be used. The object position / orientation optimization process in step S305 has been described above.
上述の処理を行うことにより、位置姿勢を算出するために必要な濃淡画像上の特徴点が照明の影により発生した擬似的な特徴点であるか否かを判定することが可能となる。そして、擬似的な特徴点に関しては位置姿勢の算出における重み係数を比較的低く設定することにより、ノイズの影響を低減させ、結果として位置姿勢算出の失敗や位置姿勢推定精度の低下の危険性を軽減することが可能となる。 By performing the above-described processing, it is possible to determine whether or not the feature point on the grayscale image necessary for calculating the position and orientation is a pseudo feature point generated by the shadow of illumination. And for pseudo feature points, by setting the weighting coefficient in position and orientation calculation to be relatively low, the influence of noise is reduced, resulting in the risk of failure of position and orientation calculation and lowering of position and orientation estimation accuracy. It becomes possible to reduce.
なお、本実施形態は上記に限らず様々な変形例が存在する。 In addition, this embodiment is not limited to the above, and there are various modifications.
上記の説明では、エッジ検出後にエッジが被遮蔽領域内か否かを判定している。しかし、被遮蔽領域をエッジ検出処理の対象外にしてもよい。この場合、モデルの線分に対応する対応点の中に被遮蔽領域内のエッジは存在しないことになる。これは、上記の説明において被遮蔽領域内のエッジの重み係数を0に設定することと等価であるが、被遮蔽領域内でエッジを探索しないので処理が高速化される。 In the above description, it is determined whether the edge is within the shielded area after the edge is detected. However, the shielded area may be excluded from the edge detection process. In this case, there is no edge in the shielded area among the corresponding points corresponding to the line segment of the model. This is equivalent to setting the weighting factor of the edge in the shielded area to 0 in the above description, but the processing is speeded up because no edge is searched in the shielded area.
また、上記の説明では、モデル線分上の制御点1点に対してエッジを1点検出しており、検出したエッジは被遮蔽領域内に存在する可能性がある。しかし、制御点1点に対してエッジを複数点検出し、その中から被遮蔽領域外に存在する制御点に最も近いエッジを対応点として選択してもよい。 Further, in the above description, one edge is detected for one control point on the model line segment, and the detected edge may exist in the shielded area. However, a plurality of edges may be inspected for one control point, and an edge closest to the control point existing outside the shielded area may be selected as the corresponding point.
また、上記の説明では、距離画像と濃淡画像の撮影とで利用するカメラおよび照明は同一であり、位置や方向のずれはない。カメラまたは照明、あるいはカメラと照明の両方に位置や方向のずれがあっても、ずれが微小であれば上記の説明と同様の方法が利用できる。また、ずれが存在する場合は、ステップS303において距離画像の計測不能領域を膨張させて、被遮蔽領域としてもよい。 In the above description, the camera and illumination used for the distance image and the gray image shooting are the same, and there is no shift in position or direction. Even if the camera or illumination, or both the camera and illumination are misaligned in position and direction, the same method as described above can be used as long as the misalignment is small. If there is a deviation, the non-measurable area of the distance image may be expanded in step S303 to be a shielded area.
また、上記の説明では、計測対象物体のモデルとして、3次元線分モデルを利用している。しかし、必ずしも3次元線分モデルに限定されない。3次元モデルから3次元線分を算出することができる限り、3次元モデルの方式に制限はない。例えば、頂点情報および各頂点を結んだ面の情報で構成されたメッシュモデルを利用してもよいし、 NURBS曲面などパラメトリックな曲面表現を利用してもよい。これらの場合、形状情報の中から直接的に3次元線分情報を参照することが出来ないため、3次元線分情報をランタイムに算出する必要がある。この処理は、ステップS402における3次元線分投影処理の代わりに行う。具体的には、計測対象物体の概略位置及び姿勢に基づいて、3次元モデルをコンピュータグラフィックス(CG)により描画し、描画結果からエッジ検出を行う。検出されたエッジが等間隔になるように、ステップS403と同様に、制御点を求める。 In the above description, a three-dimensional line segment model is used as the model of the measurement target object. However, it is not necessarily limited to the three-dimensional line segment model. As long as a three-dimensional line segment can be calculated from the three-dimensional model, the method of the three-dimensional model is not limited. For example, a mesh model composed of vertex information and information on a surface connecting the vertices may be used, or parametric curved surface expression such as a NURBS curved surface may be used. In these cases, since it is not possible to directly refer to the 3D line segment information from the shape information, it is necessary to calculate the 3D line segment information at runtime. This process is performed instead of the three-dimensional line segment projection process in step S402. Specifically, a three-dimensional model is drawn by computer graphics (CG) based on the approximate position and orientation of the measurement target object, and edge detection is performed from the drawing result. As in step S403, control points are obtained so that the detected edges are equally spaced.
また、上記の説明では画像特徴として点特徴を用いている。しかし、これに限るものではなく、位置属性を持つのであれば、線特徴や面特徴であってもよい。線特徴や面特徴を画像特徴として用いるときも、画像特徴と被遮蔽領域とが包含関係にある場合や画像特徴と被遮蔽領域とが交差する場合に、当該画像特徴に関する位置姿勢計算における重み係数を比較的低く設定する。 In the above description, point features are used as image features. However, the present invention is not limited to this, and a line feature or a surface feature may be used as long as it has a position attribute. Even when line features and surface features are used as image features, if the image features and the occluded area are in an inclusive relationship or if the image features and the occluded area intersect, the weighting coefficient in the position and orientation calculation for the image features Is set relatively low.
(第2実施形態)
第1実施形態では、被遮蔽領域内の対応点については一様に位置姿勢推定計算への重み係数を比較的低く設定した。しかし、誤った対応点が検出される可能性は被遮蔽領域内で一様ではなく、影の先端部(たとえば、図1の例では線分105b上)で誤った対応点が検出される可能性が特に高い。
(Second Embodiment)
In the first embodiment, the weighting factor for the position / orientation estimation calculation is uniformly set relatively low for the corresponding points in the shielded area. However, the possibility that an erroneous corresponding point is detected is not uniform within the shielded area, and an erroneous corresponding point may be detected at the tip of the shadow (for example, on the
そこで、本実施形態では、影の先端であり擬似的なエッジが検出され易い領域(以下、「影先端境界」と称する)を抽出し、影先端境界上の画素に限定して位置姿勢推定計算への重み係数を比較的低く設定する。 Therefore, in this embodiment, a region that is a shadow tip and in which a pseudo edge is easily detected (hereinafter referred to as “shadow tip boundary”) is extracted, and the position and orientation estimation calculation is limited to pixels on the shadow tip boundary. Set a relatively low weighting factor.
なお、影先端境界の抽出は、影を落としている凸部よりも影先端境界の方がカメラからの距離が遠い、すなわち距離画像上の距離値が大きいことを利用して実現する。 It should be noted that the extraction of the shadow tip boundary is realized by utilizing the fact that the shadow tip boundary is farther from the camera than the convex part that casts the shadow, that is, the distance value on the distance image is large.
図5を参照して、第2実施形態に係る位置姿勢計測装置500の機能構成を説明する。位置姿勢計測装置500の機能構成は第1実施形態と同様である。位置姿勢計測装置500は、画像取得部251と、被遮蔽領域抽出部252と、対応付け部253と、最適化処理部254と、影先端領域抽出部501とを備える。画像取得部251と、被遮蔽領域抽出部252と、対応付け部253と、最適化処理部254と、の各処理部は、第1実施形態の各処理部と同様であるので説明を省略する。影先端領域抽出部501は、影先端境界を抽出する。
With reference to FIG. 5, a functional configuration of the position and
図6を参照して、第2実施形態に係る処理の全体の流れを示すフローチャートについて説明する。 With reference to FIG. 6, the flowchart which shows the whole flow of the process which concerns on 2nd Embodiment is demonstrated.
ステップS601において、処理に用いるデータの初期設定を行う。具体的には第1実施形態のステップS301でロードされるデータに加えて、不図示の距離計測装置の照明部のプロジェクタパラメータ、カメラと照明部との相対的な位置姿勢を外部記憶装置205からメモリ202にロードする。
In step S601, initialization of data used for processing is performed. Specifically, in addition to the data loaded in step S301 of the first embodiment, the projector parameters of the illumination unit of the distance measuring device (not shown) and the relative position and orientation between the camera and the illumination unit are stored from the
ステップS602およびステップS603の処理は、それぞれ第1実施形態のステップS302およびステップS303の処理と同様である。 The processes in step S602 and step S603 are the same as the processes in step S302 and step S303 in the first embodiment, respectively.
ステップS604において、影先端領域抽出部501は、影先端境界を抽出する。ステップS604の処理の詳細は後述する。
In step S604, the shadow tip
ステップS605において、対応付け部253は、計測対象物体のモデルと画像特徴との対応付けを行う。ステップS605の処理は第1実施形態のステップS304の処理とほぼ同様である。ただし、被遮蔽領域内の対応点に関する重み係数をα(<1.0)として小さく設定するだけではなく、対応点が影先端境界上にある場合に、その対応点に関する寄与度をさらに低く設定する。すなわち、第1実施形態で設定された被遮蔽領域の範囲内にエッジが含まれる場合に設定される重み係数α(<1.0)よりも小さい重み係数β(<α)を、対応点が影先端境界上にある場合の重み係数として設定する。
In step S605, the associating
ステップS606において、最適化処理部254は、計測対象物体の概略の位置姿勢を補正することにより計測対象物体の位置姿勢を算出する。ステップS606の処理は、第1実施形態のステップS305の処理と同様である。
In step S606, the
ここで、ステップS604の影先端境界の抽出処理について詳しく説明する。濃淡画像を撮影するときに計測対象物体に照射する均一光を平面状の光の集合体として考えると、その平面が計測対象物体の表面で影が落ちている領域と交差する線分上で不図示の距離計測装置から最も遠い点が影先端境界上の画素に相当する。距離画像あるいは濃淡画像上でこの交差線分に相当するのは、被遮蔽領域を通るエピポーラ線である。そこで、影先端境界を求めるには、各エピポーラ線と被遮蔽領域の輪郭との2つの交点近傍の距離値を比較して、距離値が大きい(カメラから遠い)方の点を検出すればよい。具体的な処理については、図1(c)および図7を参照して説明する。 Here, the shadow tip boundary extraction processing in step S604 will be described in detail. Considering the uniform light that irradiates the measurement target object when taking a grayscale image as a collection of planar light, the plane is not on the line segment that intersects the shadowed area on the surface of the measurement target object. The point farthest from the distance measuring apparatus shown in the figure corresponds to a pixel on the shadow tip boundary. In the distance image or grayscale image, the intersection line segment corresponds to an epipolar line passing through the shielded area. Therefore, in order to obtain the shadow tip boundary, the distance values in the vicinity of the two intersections of each epipolar line and the contour of the shielded area are compared, and the point having the larger distance value (far from the camera) may be detected. . Specific processing will be described with reference to FIG. 1C and FIG.
影先端境界の抽出処理では、ステップS603で抽出された被遮蔽領域のうち、連結していない被遮蔽領域の部分領域(以下、「要素被遮蔽領域」と称する)のそれぞれに対して、図7のフローチャートに示す処理を施す。被遮蔽領域から要素被遮蔽領域を分離するには、ステップS603で作成した被遮蔽領域画像に対して、連結している画素同士に同一のラベル値を付与するようにしてラベリングする。この結果、異なる要素被遮蔽領域に対して異なるラベル値が画素値として付与される。ラベル値は1以上であるとする。なお、要素被遮蔽領域以外の領域の画素値は0である。 In the shadow tip boundary extraction process, for each of the partial areas of the shielded areas that are not connected among the shielded areas extracted in step S603 (hereinafter referred to as “element shielded areas”), FIG. The process shown in the flowchart of FIG. In order to separate the element shielded area from the shielded area, the shielded area image created in step S603 is labeled so as to give the same label value to the connected pixels. As a result, different label values are assigned as pixel values to different element shielded areas. It is assumed that the label value is 1 or more. Note that the pixel value of the area other than the element shielded area is 0.
ステップS701において、影先端領域抽出部501は、要素被遮蔽領域の輪郭を抽出する。図1(c)の領域103cが要素被遮蔽領域に相当する場合を考える。
In step S701, the shadow tip
ステップS702において、ステップS701の輪郭抽出処理で抽出された輪郭上の画素のうち、未処理の画素を第1の点として1つ選択する。ここで選択された画素を線分105c上の「画素A」とする。なお、線分105cは図1(b)における線分105bに相当する。
In step S702, an unprocessed pixel is selected as a first point from the pixels on the contour extracted in the contour extraction process of step S701. The selected pixel is referred to as “pixel A” on the
ステップS703において、被遮蔽領域画像を参照して、被遮蔽領域外の画素から第2の点として、ステップS702で選択された画素Aの最近傍の画素を探索する(第1探索処理)。ステップS703で探索された画素を「画素B」とする。被遮蔽領域外の画素から画素Aに最近傍となる画素を探索するのは、画素Aが要素被遮蔽領域上に存在し、画素Aについての距離値が取得できない可能性があるためである。 In step S703, the pixel nearest to the pixel A selected in step S702 is searched as a second point from the pixels outside the shielded region with reference to the shielded region image (first search process). The pixel searched in step S703 is referred to as “pixel B”. The reason why the pixel closest to the pixel A is searched for from the pixel outside the shielded region is that the pixel A exists on the element shielded region and the distance value for the pixel A may not be acquired.
ステップS704において、ステップS702で選択された輪郭上の画素Aを通るエピポーラ線109cと、ステップS701で抽出された要素被遮蔽領域の輪郭との交点を第3の点として検出する。この交点における画素を画素Cとする。さらに被遮蔽領域外の画素から画素Cに最近傍の画素を第4の点として探索する(第2探索)。ここで探索された画素を「画素D」とする。
In step S704, an intersection point between the
ステップS705において、画素Bおよび画素Dと同じ座標の距離画像上の画素の距離値を参照して、画素Bに相当する距離値と画素Dに相当する距離値とを比較する。すなわち、画素Bに相当する距離値が画素Dに相当する距離値よりも大きいか否かを判別する。画素Bに相当する距離値が画素Dに相当する距離値よりも大きいと判別された場合(ステップS705;YES)、ステップS706に進む。一方、画素Bに相当する距離値が画素Cに相当する距離値以下であると判別された場合(ステップS705;NO)、ステップS707に進む。図1(c)の例では、凸部102aの影響により画素Bに相当する距離値が画素Dに相当する距離値よりも大きい場合に該当するので(ステップS705;YES)、ステップS706に進む。
In step S705, the distance value corresponding to the pixel B and the distance value corresponding to the pixel D are compared with reference to the distance value of the pixel on the distance image having the same coordinates as the pixel B and the pixel D. That is, it is determined whether or not the distance value corresponding to the pixel B is larger than the distance value corresponding to the pixel D. When it is determined that the distance value corresponding to the pixel B is larger than the distance value corresponding to the pixel D (step S705; YES), the process proceeds to step S706. On the other hand, when it is determined that the distance value corresponding to the pixel B is equal to or less than the distance value corresponding to the pixel C (step S705; NO), the process proceeds to step S707. In the example of FIG. 1C, this corresponds to the case where the distance value corresponding to the pixel B is larger than the distance value corresponding to the pixel D due to the influence of the
ステップS706において、画素Bに対応する要素被遮蔽領域内の画素Aを影先端境界上の画素として登録する。すなわち、画素Aに対応する画素Bの座標をメモリ202上の影先端領域上の画素リストに追加する。このようにして線分105c上の画素が影先端領域の画素として抽出される。
In step S706, the pixel A in the element shielded area corresponding to the pixel B is registered as a pixel on the shadow tip boundary. That is, the coordinates of the pixel B corresponding to the pixel A are added to the pixel list on the shadow tip area on the
ステップS707において、ステップS701で抽出された要素被遮蔽領域の輪郭上の全ての画素に対して影先端画素の検出処理が完了したか否かを判定する。影先端画素の検出処理が完了したと判定された場合(ステップS707;YES)、処理は終了する。すなわち、ステップS604の処理が終了する。一方、影先端画素の検出処理が完了していないと判定された場合(ステップS707;NO)、ステップS702に戻る。 In step S707, it is determined whether or not the shadow tip pixel detection processing has been completed for all the pixels on the contour of the element occluded region extracted in step S701. If it is determined that the shadow tip pixel detection process has been completed (step S707; YES), the process ends. That is, the process of step S604 ends. On the other hand, if it is determined that the shadow tip pixel detection process has not been completed (step S707; NO), the process returns to step S702.
ステップS605において、ステップS604で第2の点(画素B)に対応する距離画像上の距離値が第4の点(画素D)に対応する距離画像上の距離値よりも大きいと判別された場合、第1の点であって2次元画像上のエッジを構成する点に関して対応付けられた組が位置姿勢計測へ寄与する重み係数を、第1の点以外の点に関する組の重み係数よりも小さく設定する。 If it is determined in step S605 that the distance value on the distance image corresponding to the second point (pixel B) is greater than the distance value on the distance image corresponding to the fourth point (pixel D) in step S604. The weighting factor that contributes to the position / orientation measurement for the set associated with the first point and constituting the edge on the two-dimensional image is smaller than the weighting factor of the set for points other than the first point. Set.
上述した処理を行うことにより、計測対象物体の位置姿勢を推定する上で推定失敗や精度低下の原因となる、照明の影により発生する擬似的な特徴点が存在する位置を検出することができる。その結果、擬似的でない特徴点が位置姿勢推定処理から除外される危険性が低減する。本実施形態に係る方法は第1実施形態に係る方法に比べて、より位置姿勢推定精度の低下を軽減することが可能である。 By performing the above-described processing, it is possible to detect a position where a pseudo feature point generated by a shadow of illumination exists, which causes an estimation failure or a decrease in accuracy in estimating the position and orientation of the measurement target object. . As a result, the risk of non-pseudo feature points being excluded from the position and orientation estimation process is reduced. Compared to the method according to the first embodiment, the method according to the present embodiment can further reduce the decrease in position and orientation estimation accuracy.
なお、本実施形態は上記に限らず様々な変形例が存在する。 In addition, this embodiment is not limited to the above, and there are various modifications.
本実施形態では、第1実施形態のステップS303の処理に相当するステップS603の処理において、被遮蔽領域の重み係数を低く設定した後に、さらに影先端境界の抽出処理を行って影先端境界領域の重み係数をさらに低く設定する構成である。しかしながら、ステップS603では重み係数の設定は実行せずに被遮蔽領域の抽出のみを実行して、ステップS604において影先端境界領域に対してのみ、影先端境界領域以外の点(第1の点以外の点)の重み係数を低く設定する構成としてもよい。 In the present embodiment, in the process of step S603 corresponding to the process of step S303 of the first embodiment, after the weighting factor of the shielded area is set low, the shadow tip boundary extraction process is further performed to detect the shadow tip boundary area. In this configuration, the weighting factor is set lower. However, in step S603, only the extraction of the shielded area is performed without setting the weighting factor, and in step S604, only points other than the shadow tip boundary area (other than the first point) are applied to the shadow tip boundary area. It is also possible to adopt a configuration in which the weighting coefficient at (a) is set low.
上記の説明では、エッジ検出処理の対象から影先端境界の画素を除外せず、エッジ検出後にエッジが影先端画素か否かを判定している。しかし、影先端境界上の画素をエッジ検出処理の対象外にしてもよい。この場合、モデルの線分に対応する対応点の中に影先端境界上の画素は存在しないことになる。これは、影先端に存在する対応点の重み係数を0に設定することと等価である。 In the above description, it is determined whether the edge is a shadow tip pixel after edge detection without excluding the pixel at the shadow tip boundary from the target of the edge detection process. However, pixels on the shadow tip boundary may be excluded from the target of edge detection processing. In this case, there is no pixel on the shadow tip boundary among the corresponding points corresponding to the line segment of the model. This is equivalent to setting the weighting coefficient of the corresponding point existing at the shadow tip to zero.
上記の説明では、モデル線分上の制御点1点に対してエッジを1点検出している。しかし、制御点1点に対してエッジを複数点検出し、その中から影先端境界上に存在しない制御点に最も近いエッジを対応点として選択してもよい。 In the above description, one edge is inspected for one control point on the model line segment. However, a plurality of edges may be inspected for one control point, and an edge closest to the control point that does not exist on the shadow tip boundary may be selected as the corresponding point.
上記の説明では画像特徴として点特徴を用いている。しかし、必ずしも点特徴に限定されない。位置属性を持つのであれば、画像特徴は線特徴や面特徴であってもよい。線特徴や面特徴を画像特徴として用いるときも、画像特徴が影先端境界との包含関係にある場合や画像特徴と影先端境界とが交差する場合に、当該画像特徴に関する位置姿勢計算における重み係数を比較的低く設定する。 In the above description, point features are used as image features. However, it is not necessarily limited to point features. As long as it has a position attribute, the image feature may be a line feature or a plane feature. Even when line features or surface features are used as image features, if the image features are in an inclusive relationship with the shadow tip boundary, or if the image feature intersects with the shadow tip boundary, the weighting factor in the position and orientation calculation for that image feature Is set relatively low.
上記の説明では、距離画像の撮影と濃淡画像の撮影とで利用するカメラおよび照明は同一であり、位置や方向のずれはない。カメラまたは照明、あるいはカメラと照明の両方に位置や方向のずれがあっても、ずれが微小であれば上記の説明と同様の方法を利用できる。また、ずれが存在する場合は、ステップS604の後に、影先端境界の領域を膨張させてもよい。 In the above description, the camera and illumination used for shooting the distance image and the gray image are the same, and there is no shift in position or direction. Even if the camera or illumination, or both the camera and illumination are misaligned in position and direction, the same method as described above can be used as long as the misalignment is small. If there is a shift, the shadow tip boundary region may be expanded after step S604.
上記の説明では、影先端に限定して対応点の位置姿勢推定計算への重み係数を低く設定した。しかし、誤った対応点が検出される可能性は影先端よりも低いものの、影先端境界以外の被遮蔽領域で誤対応が起こる可能性もある。そこで、被遮蔽領域内の対応点について重み係数を比較的低く設定し、さらに影先端境界上で検出された対応点は影先端境界以外の領域に比べて重み係数を低くしてもよい。 In the above description, the weighting factor for the position / orientation estimation calculation of the corresponding point is set low, limited to the shadow tip. However, although the possibility that an erroneous corresponding point is detected is lower than that of the shadow tip, there is a possibility that an erroneous correspondence occurs in the shielded area other than the shadow tip boundary. Therefore, the weighting coefficient may be set relatively low for the corresponding points in the shielded area, and the weighting coefficient of the corresponding points detected on the shadow tip boundary may be set lower than that of the area other than the shadow tip boundary.
上記の説明では、影の先端を検出し、影先端境界上の対応点については位置姿勢推定計算への重み係数を比較的低く設定している。これとは逆に、濃淡画像上で影を落としている凸部と影との境界(例えば、図1(b)における線分104b、以下、「遮蔽領域・被遮蔽領域境界」と称する)を検出し、この境界において検出された対応点の重み係数は比較的高く設定してもよい。この場合、遮蔽領域・被遮蔽領域境界以外の被遮蔽領域で検出された対応点の重み係数は比較的低く設定する。さらに、遮蔽領域・被遮蔽領域境界を膨張させてもよい。
In the above description, the tip of the shadow is detected, and the weighting factor for the position / orientation estimation calculation is set relatively low for the corresponding point on the shadow tip boundary. Contrary to this, the boundary between the projection and the shadow that casts a shadow on the grayscale image (for example, the
また、これに加えて、被遮蔽領域から影先端境界と遮蔽領域・被遮蔽領域境界を除いた領域に比べて、影先端境界については対応点の重み係数を低く設定してもよい。 In addition to this, the weighting coefficient of the corresponding point may be set lower for the shadow tip boundary as compared to the region obtained by removing the shadow tip boundary and the shielding region / shielded region boundary from the shielded region.
なお、遮蔽領域・被遮蔽領域境界を抽出するには、影先端の抽出と同様に被遮蔽領域の輪郭を通るエピポーラ線を想定している。エピポーラ線と被遮蔽領域輪郭との交点近傍の画素に対応する距離値を比較して、より距離値の小さい(つまり、カメラに近い)側の輪郭上の画素を選択すればよい。 In order to extract the boundary between the shielded area and the shielded area, an epipolar line passing through the contour of the shielded area is assumed in the same manner as the extraction of the shadow tip. A distance value corresponding to a pixel in the vicinity of the intersection between the epipolar line and the shielded area contour may be compared to select a pixel on the contour on the side having a smaller distance value (that is, closer to the camera).
(第3実施形態)
第1実施形態および第2実施形態の方法は、計測対象物体の位置姿勢推定において被遮蔽領域の悪影響を軽減する方法である。しかし、本発明の方法が適用できるのは位置姿勢推定に限定されず、位置属性を持つ画像特徴を用いる任意の画像処理に適用できる。
(Third embodiment)
The methods of the first embodiment and the second embodiment are methods for reducing the adverse effect of the shielded area in the position / orientation estimation of the measurement target object. However, the method of the present invention is not limited to position and orientation estimation, and can be applied to arbitrary image processing using image features having position attributes.
例えば、局所的な画像特徴をモデルとマッチングすることによって物体を認識する手法群において、モデルとの類似度を算出する計算に対する被遮蔽領域内の画像特徴の重み係数を比較的低く設定することによって、認識の失敗の可能性を軽減することができる。あるいは、被遮蔽領域を画像特徴の抽出処理の対象外とすることによっても同様の効果が得られる。 For example, in a method group that recognizes an object by matching a local image feature with a model, by setting the weighting factor of the image feature in the shielded area to a calculation that calculates the similarity to the model relatively low , Can reduce the possibility of recognition failure. Alternatively, the same effect can be obtained by excluding the shielded area from the image feature extraction process.
(第4実施形態)
上述の実施形態では、モデルフィッティングやマッチング処理における重み係数を低く設定したり、処理対象から除外する対象となる対応が存在する領域(被遮蔽領域、影先端部、遮蔽領域・被遮蔽領域境界)を、対応の探索処理に先立って抽出したりしている。しかしながら、探索された対応の候補がこれらの領域内あるいは近傍に存在するか否かを逐一判定してもよい。
(Fourth embodiment)
In the above-described embodiment, a region (a shielded region, a shadow tip, a shielded region / shielded region boundary) in which a weighting factor in model fitting or matching processing is set low or a correspondence to be excluded from the processing target exists. Are extracted prior to the corresponding search process. However, it may be determined one by one whether or not the searched correspondence candidate exists in or near these regions.
例えば第1実施形態では、ステップS405において、制御点に対応するエッジ候補を探索する際に、近傍に距離画像が計測不能である画素が存在するエッジは重み係数を比較的低く設定すればよい。 For example, in the first embodiment, when searching for an edge candidate corresponding to a control point in step S405, an edge having a pixel whose distance image cannot be measured in the vicinity may be set relatively low.
また、第2実施形態ではステップS605において、距離画像が計測不能な画素近傍にあるエッジ候補について、そのエッジ候補を通るエピポーラ線上での距離値に基づいて当該エッジ候補が影先端部に属するか否かを判定すればよい。すなわち、距離画像が計測不能な領域の両端での距離値を比べて、より大きい場合は影先端部に属すると判定する。 In the second embodiment, in step S605, for edge candidates in the vicinity of a pixel whose distance image cannot be measured, whether the edge candidate belongs to the shadow tip based on the distance value on the epipolar line passing through the edge candidate. What is necessary is just to determine. That is, the distance values at both ends of the area where the distance image cannot be measured are compared.
なお、第2実施形態において、距離値の比較をエピポーラ線上で行うのではなく、簡易的にエッジの探索ライン上で行うことも可能である。エピポーラ線を用いる場合に比べて、影先端部を判定する正確さは低下するものの、計算量が低減するので、処理の高速化が可能である。 In the second embodiment, the comparison of distance values is not performed on the epipolar line, but can be simply performed on the edge search line. Compared with the case of using an epipolar line, although the accuracy of determining the shadow tip portion is reduced, the calculation amount is reduced, so that the processing speed can be increased.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
251:画像取得部、252:被遮蔽領域抽出部、253:対応付け部、254:最適化処理部 251: Image acquisition unit, 252: Covered region extraction unit, 253: Association unit, 254: Optimization processing unit
Claims (10)
前記対象物体の2次元画像を取得する2次元画像取得手段と、
前記2次元画像において前記対象物体に照射される照明が遮蔽される影領域の先端部と、前記影領域ではない非影領域との境界領域である、影先端境界領域を特定する特定手段と、
前記特定手段により特定された影先端境界領域と、前記対象物体の位置および姿勢の概略値とに基づいて、前記3次元モデルから抽出される第1の幾何特徴と、該第1の幾何特徴に対応する、前記2次元画像上の第2の幾何特徴とを対応付ける対応付け手段と、
前記対応付け手段により対応づけられた前記第1の幾何特徴と前記第2の幾何特徴とのずれが小さくなるように前記概略値を補正することにより、前記対象物体の位置および姿勢を計測する位置姿勢計測手段と、
を備えることを特徴とする位置姿勢計測装置。 Holding means for holding a three-dimensional model including three-dimensional shape information of the target object;
Two-dimensional image acquisition means for acquiring a two-dimensional image of the target object;
A specifying means for specifying a shadow tip boundary region, which is a boundary region between a tip portion of a shadow region where the illumination applied to the target object is blocked in the two-dimensional image and a non-shadow region that is not the shadow region;
A first geometric feature extracted from the three-dimensional model based on the shadow tip boundary region specified by the specifying means and the approximate value of the position and orientation of the target object, and the first geometric feature A corresponding means for associating the corresponding second geometric feature on the two-dimensional image;
A position for measuring the position and orientation of the target object by correcting the approximate value so that the deviation between the first geometric feature and the second geometric feature associated with each other by the association unit is small. Attitude measurement means;
A position and orientation measurement apparatus comprising:
前記重み設定手段は、前記対象物体の位置および姿勢の概略値に基づいて、前記3次元モデルから抽出される第1の幾何特徴に対応する、前記2次元画像上の第2の幾何特徴を抽出し、該抽出された第2の幾何特徴が前記影先端境界領域に含まれていない場合には、前記抽出された第2の幾何特徴が前記影先端境界領域に含まれている場合よりも、前記第1の幾何特徴と、前記第2の幾何特徴とが対応付けられた結果に対して大きな重みを設定し、
前記位置姿勢計測手段は、前記設定された重みと、前記対応づけられた結果とに基づいて、前記対象物体の位置姿勢を計測することを特徴とする請求項1に記載の位置姿勢計測装置。 The association means further comprises weight setting means for setting a weight for a result of associating the first geometric feature with the second geometric feature,
The weight setting means extracts a second geometric feature on the two-dimensional image corresponding to the first geometric feature extracted from the three-dimensional model based on approximate values of the position and orientation of the target object. If the extracted second geometric feature is not included in the shadow tip boundary region, then the extracted second geometric feature is included in the shadow tip boundary region. A large weight is set for the result of the correspondence between the first geometric feature and the second geometric feature;
The position / orientation measurement apparatus according to claim 1, wherein the position / orientation measurement unit measures the position / orientation of the target object based on the set weight and the associated result.
前記特定手段は、前記距離画像に基づいて、前記境界領域を特定することを特徴とする請求項1乃至6のいずれか1項に記載の位置姿勢計測装置。 Furthermore, it comprises a distance image acquisition means for acquiring a distance image of the target object,
The position / orientation measurement apparatus according to claim 1, wherein the specifying unit specifies the boundary region based on the distance image.
2次元画像取得手段が、前記対象物体の2次元画像を取得する工程と、
特定手段が、前記2次元画像において前記対象物体に照射される照明が遮蔽される影領域の先端部と、前記影領域ではない非影領域との境界領域である、影先端境界領域を特定する工程と、
対応付け手段が、前記特定された影先端境界領域と、前記対象物体の位置および姿勢の概略値とに基づいて、前記3次元モデルから抽出される第1の幾何特徴と、該第1の幾何特徴に対応する、前記2次元画像上の第2の幾何特徴とを対応付ける工程と、
位置姿勢計測手段が、前記対応づけられた前記第1の幾何特徴と前記第2の幾何特徴とのずれが小さくなるように前記概略値を補正することにより、前記対象物体の位置および姿勢を計測する工程と、
を有することを特徴とする位置姿勢計測方法。 A position and orientation measurement method in a position and orientation measurement apparatus including a holding unit that holds a three-dimensional model including three-dimensional shape information of a target object,
A step of acquiring a two-dimensional image of the target object by two-dimensional image acquisition means;
The specifying unit specifies a shadow tip boundary region, which is a boundary region between a tip portion of a shadow region where the illumination applied to the target object is blocked in the two-dimensional image and a non-shadow region that is not the shadow region. Process,
The associating means includes a first geometric feature extracted from the three-dimensional model based on the identified shadow tip boundary region and approximate values of the position and orientation of the target object, and the first geometry Associating a second geometric feature on the two-dimensional image corresponding to a feature;
The position / orientation measurement unit measures the position and orientation of the target object by correcting the approximate value so that a deviation between the associated first geometric feature and the second geometric feature is reduced. And a process of
A position and orientation measurement method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257828A JP5976089B2 (en) | 2014-12-19 | 2014-12-19 | Position / orientation measuring apparatus, position / orientation measuring method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014257828A JP5976089B2 (en) | 2014-12-19 | 2014-12-19 | Position / orientation measuring apparatus, position / orientation measuring method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010185576A Division JP5671281B2 (en) | 2010-08-20 | 2010-08-20 | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015111128A JP2015111128A (en) | 2015-06-18 |
JP5976089B2 true JP5976089B2 (en) | 2016-08-23 |
Family
ID=53526022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014257828A Expired - Fee Related JP5976089B2 (en) | 2014-12-19 | 2014-12-19 | Position / orientation measuring apparatus, position / orientation measuring method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5976089B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101822505B1 (en) * | 2017-09-22 | 2018-01-26 | 성균관대학교 산학협력단 | Haversting apparatus based on position information and method thereof |
CN111862199B (en) * | 2020-06-17 | 2024-01-09 | 北京百度网讯科技有限公司 | Positioning method, positioning device, electronic equipment and storage medium |
JP7086148B2 (en) * | 2020-08-31 | 2022-06-17 | 三菱ロジスネクスト株式会社 | Pallet detectors, forklifts, pallet detection methods, and programs |
CN113920160A (en) * | 2021-09-17 | 2022-01-11 | 北京航空航天大学 | Estimation method, apparatus, computer-readable medium, and program product of initial pose |
CN114370842B (en) * | 2021-12-30 | 2023-11-14 | 山东九纳医疗设备有限公司 | Device for measuring parallelism of two end faces of expansion joint |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59107202A (en) * | 1982-12-10 | 1984-06-21 | Matsushita Electric Ind Co Ltd | Checking device of fitting position of minute parts |
FI894961A0 (en) * | 1989-10-18 | 1989-10-18 | Iggesund Pulp Fibre | FARING EQUIPMENT FOR THE PURPOSE OF FLASHING EQUIPMENT AND FLUSHING EQUIPMENT. |
JPH0628478A (en) * | 1992-07-06 | 1994-02-04 | Fujitsu Ltd | Three-dimensional feature extracting system |
JP3467725B2 (en) * | 1998-06-02 | 2003-11-17 | 富士通株式会社 | Image shadow removal method, image processing apparatus, and recording medium |
JP2001074432A (en) * | 1999-09-08 | 2001-03-23 | Fuji Xerox Co Ltd | Image pickup device |
JP4005336B2 (en) * | 2001-11-07 | 2007-11-07 | 独立行政法人科学技術振興機構 | Precision geometric correction method for Landsat TM image and precise geometric correction method for satellite image |
-
2014
- 2014-12-19 JP JP2014257828A patent/JP5976089B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015111128A (en) | 2015-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5671281B2 (en) | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus | |
JP6271953B2 (en) | Image processing apparatus and image processing method | |
JP5618569B2 (en) | Position and orientation estimation apparatus and method | |
JP6573354B2 (en) | Image processing apparatus, image processing method, and program | |
US11830216B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5746477B2 (en) | Model generation device, three-dimensional measurement device, control method thereof, and program | |
JP5612916B2 (en) | Position / orientation measuring apparatus, processing method thereof, program, robot system | |
US10189162B2 (en) | Model generation apparatus, information processing apparatus, model generation method, and information processing method | |
JP5567908B2 (en) | Three-dimensional measuring apparatus, measuring method and program | |
JP5839971B2 (en) | Information processing apparatus, information processing method, and program | |
JP5548482B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, program, and storage medium | |
JP6736257B2 (en) | Information processing device, information processing method, and program | |
JP6415066B2 (en) | Information processing apparatus, information processing method, position and orientation estimation apparatus, robot system | |
JP6324025B2 (en) | Information processing apparatus and information processing method | |
JP6370038B2 (en) | Position and orientation measurement apparatus and method | |
JP6594129B2 (en) | Information processing apparatus, information processing method, and program | |
US20130230235A1 (en) | Information processing apparatus and information processing method | |
JP7479324B2 (en) | Information processing device, information processing method, and program | |
JP2011175477A (en) | Three-dimensional measurement apparatus, processing method and program | |
JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
JP2011179909A (en) | Device and method for measuring position and attitude, and program | |
JP2016170050A (en) | Position attitude measurement device, position attitude measurement method and computer program | |
JP2014053018A (en) | Information processing device, control method for information processing device, and program | |
JP5462662B2 (en) | Position / orientation measurement apparatus, object identification apparatus, position / orientation measurement method, and program | |
JP2015135333A (en) | Information processing device, control method for information processing device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160719 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5976089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |