JP2012145559A - Marker - Google Patents
Marker Download PDFInfo
- Publication number
- JP2012145559A JP2012145559A JP2011155630A JP2011155630A JP2012145559A JP 2012145559 A JP2012145559 A JP 2012145559A JP 2011155630 A JP2011155630 A JP 2011155630A JP 2011155630 A JP2011155630 A JP 2011155630A JP 2012145559 A JP2012145559 A JP 2012145559A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- ras
- pattern
- ras marker
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 title claims abstract description 443
- 230000008859 change Effects 0.000 claims description 15
- 238000005259 measurement Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 12
- 235000019557 luminance Nutrition 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、物体に付けることのできるマーカに関する。 The present invention relates to a marker that can be attached to an object.
AR（Augmented Reality:拡張現実感）やロボティクスの分野において、ロボットなどが、物体の位置や姿勢を認識するために、マーカが用いられている。マーカとは、物体に付けることのできる平面パターンである。 In the field of AR (Augmented Reality) and robotics, a robot or the like uses a marker to recognize the position and orientation of an object. A marker is a planar pattern that can be attached to an object.
マーカは、特に、今後のサービスロボットの実用化に際して、サービスロボットによる確実な自律作業を支援するシステムの構築に不可欠な要素である（非特許文献１、２、３）。 The marker is an indispensable element for the construction of a system that supports reliable autonomous work by the service robot, especially in the future practical application of the service robot (Non-Patent Documents 1, 2, and 3).
マーカのうち代表的なものは、正方形の黒い枠とその内部に印刷された２次元パターンコードを含む。そして、マーカをカメラで認識することにより、マーカとカメラの相対的な位置と姿勢を認識し、マーカの付けられた物体の位置や姿勢を認識することができる。また、カメラにより、マーカに記録された情報を読み取ることもできる。 A typical marker includes a square black frame and a two-dimensional pattern code printed therein. And by recognizing a marker with a camera, the relative position and attitude | position of a marker and a camera can be recognized, and the position and attitude | position of the object to which the marker was attached can be recognized. Further, information recorded on the marker can be read by the camera.
図１は、一般的なARマーカの例（非特許文献７）を示す図である。図１には、ARToolKitマーカ、ARTagマーカ、CyberCodeマーカ、およびARToolKitPlusマーカが示されている。また、QRCode（非特許文献８）のようにより多くの情報を記録可能なマーカを、ARマーカとして用いることもできる（非特許文献１、２） FIG. 1 is a diagram illustrating an example of a general AR marker (Non-Patent Document 7). FIG. 1 shows an ARToolKit marker, an ARTag marker, a CyberCode marker, and an ARToolKitPlus marker. Further, a marker capable of recording more information, such as QRCode (Non-Patent Document 8), can also be used as an AR marker (Non-Patent Documents 1 and 2).
AR分野では、例えば、実世界の画像に対してCG（Computer Graphics:コンピュータグラフィクス）のモデルを、実世界の画像中の物体に付けられたARマーカの位置に合わせて重ねて表示することが行われている。 In the AR field, for example, a CG (Computer Graphics) model is displayed on a real-world image so as to overlap with the position of the AR marker attached to the object in the real-world image. It has been broken.
ロボティクス分野では、例えば、物体に付けられたARマーカをロボットに計測させることにより、ロボットにARマーカが付けられた物体の位置や姿勢を認識させて、物体を操作させることが行われている。 In the robotics field, for example, by causing a robot to measure an AR marker attached to an object, the robot is made to recognize the position and orientation of the object to which the AR marker is attached, and operate the object.
図２は、ロボティクス分野における、マーカを用いたロボットタスクの例を示す図である。図２の例では、車椅子に装着された、車椅子に乗る人の生活支援のためのロボットアームの先のロボットハンドにつけられたカメラにマーカが付けられた冷蔵庫の取っ手を認識させて、ロボットハンドに、冷蔵庫の扉の開閉を自動的に行わせている。図２に示されているタスクでは、カメラがマーカを認識した後、ロボットは自律的にマーカの位置および姿勢を基準として所定のロボットアームの軌道を生成することにより、冷蔵庫の扉を開けることができる。 FIG. 2 is a diagram illustrating an example of a robot task using markers in the robotics field. In the example of FIG. 2, the handle of the refrigerator with the marker attached to the camera attached to the robot hand at the tip of the robot arm attached to the wheelchair for supporting the life of the person on the wheelchair is recognized by the robot hand. The refrigerator door is automatically opened and closed. In the task shown in FIG. 2, after the camera recognizes the marker, the robot can open the refrigerator door by autonomously generating a predetermined robot arm trajectory based on the position and orientation of the marker. it can.
カメラによるマーカの計測は、以下で説明するように従来行われている。まず、カメラが、マーカの画像を読み取る。次に、マーカの画像が、画像処理されて、マーカの４つのコーナー（４角）が検出される。そして、カメラに読み取られた画像内でのマーカの４つのコーナーの位置関係を用いた幾何学的計算により、マーカの計測が行われ、マーカが付けられた物体の位置や姿勢を、カメラが認識することができる。 The measurement of the marker by the camera is conventionally performed as described below. First, the camera reads the marker image. Next, the image of the marker is subjected to image processing, and four corners (four corners) of the marker are detected. The marker is measured by geometric calculation using the positional relationship between the four corners of the marker in the image read by the camera, and the camera recognizes the position and orientation of the object with the marker. can do.
しかしながら、上記のような従来技術によると、マーカのサイズが小さいときに、マーカとカメラが正対する付近で、マーカの計測誤差が大きくなってしまう（非特許文献４、５、６）。また、たとえカメラでフィルタ（平均フィルタ、カルマンフィルタ、パーティクルフィルタ等）や計測履歴を用いることにより、マーカの計測値の分散を小さくすることができても（非特許文献４、９、１０）、マーカの計測値が真値となっている保証はなかった。 However, according to the conventional technique as described above, when the marker size is small, the measurement error of the marker becomes large in the vicinity where the marker and the camera face each other (Non-Patent Documents 4, 5, and 6). Further, even if the dispersion of the measurement value of the marker can be reduced by using a filter (average filter, Kalman filter, particle filter, etc.) or measurement history with a camera (Non-Patent Documents 4, 9, 10), the marker There was no guarantee that the measured value was true.
図２４は、上記のような従来のマーカのもつ課題を定性的に説明するための図である。従来のマーカを用いるシステムでは、射影変換の原理を用いた幾何的計算により、マーカの位置と回転角（姿勢）が計測される。このような従来のシステムでは、まず、図２４に示されているように、例えば、マーカの４つのコーナー２４０１、２４０２、２４０３、２４０４の位置が、カメラにより観測される。そして、コーナーの位置からマーカを観測するカメラとマーカとの相対的な位置と姿勢が一意に決定される。このため、図２４の（Ｂ）に示されているように、マーカを観測するカメラとマーカとが正対しない場合には、マーカのコーナーの位置の計測誤差が小さいと、マーカの回転角には小さな計測誤差しか生じない。一方、図２４の（Ａ）に示されているように、マーカを観測するカメラとマーカとが正対する付近にある場合には、たとえマーカのコーナーの位置の計測誤差が小さくても、マーカの回転角には大きな計測誤差が生じてしまう。 FIG. 24 is a diagram for qualitatively explaining the problem of the conventional marker as described above. In a system using a conventional marker, the position and rotation angle (attitude) of the marker are measured by geometric calculation using the principle of projective transformation. In such a conventional system, first, as shown in FIG. 24, for example, the positions of the four corners 2401, 402, 2403, and 2404 of the marker are observed by the camera. And the relative position and attitude | position of the camera and marker which observe a marker from the position of a corner are uniquely determined. For this reason, as shown in FIG. 24B, when the camera observing the marker and the marker do not face each other, if the measurement error of the marker corner position is small, the rotation angle of the marker Produces only small measurement errors. On the other hand, as shown in FIG. 24A, when the marker observing camera and the marker are in the vicinity of each other, even if the measurement error of the marker corner position is small, the marker A large measurement error occurs in the rotation angle.
上記の課題を解決するために、本発明に係るマーカは、模様と、模様の上に付けられたレンズであって、レンズを観測する方向に応じてレンズ上に観測される濃淡パターンが変化するレンズとを含むマーカユニットを備えることを特徴とする。 In order to solve the above problems, the marker according to the present invention is a pattern and a lens attached to the pattern, and the gray pattern observed on the lens changes according to the direction in which the lens is observed. And a marker unit including a lens.
本発明によれば、マーカとマーカの観測物が正対する付近でも、マーカを観測物により正確に計測することができる。 According to the present invention, the marker can be accurately measured by the observation object even in the vicinity where the marker and the observation object of the marker face each other.
以下、本発明の実施の形態について、詳細に説明する。
（本発明の概要）
まず、本発明の概要について説明する。本発明では、マーカを観測する方向に応じて、観測されるマーカの濃淡パターンが変化する。そして、マーカの濃淡パターンから、マーカとマーカを観測する観測物との相対的な関係（位置や角度等）が計測されることができる。
Hereinafter, embodiments of the present invention will be described in detail.
(Outline of the present invention)
First, an outline of the present invention will be described. In the present invention, the shade pattern of the observed marker changes according to the direction in which the marker is observed. Then, the relative relationship (position, angle, etc.) between the marker and the observation object observing the marker can be measured from the shade pattern of the marker.
（RASマーカ）
具体的には、本発明において、上記の処理を可能にするために、レンチキュラレンズと白黒縞模様とを組み合わせたRAS（Rotation Angle Scale(回転角度物差し)）マーカを用いる。なお、以下では、白黒縞模様を一例として用いて説明するが、レンチキュラレンズに組み合わせられる図柄は、白黒縞模様でない任意の色の任意の模様であってもよい。RASマーカをカメラが観測する際に、RASマーカに対するカメラの視線角度に応じて、カメラが観測することができるRASマーカの濃淡パターンが変化する。
(RAS marker)
Specifically, in the present invention, a RAS (Rotation Angle Scale) marker that combines a lenticular lens and a black and white stripe pattern is used to enable the above processing. In the following description, a black and white striped pattern is used as an example, but the pattern combined with the lenticular lens may be an arbitrary pattern of any color other than the black and white striped pattern. When the camera observes the RAS marker, the shading pattern of the RAS marker that can be observed by the camera changes according to the viewing angle of the camera with respect to the RAS marker.
RASマーカに対するカメラの視線角度の真値と、カメラが観測するRASマーカの濃淡パターンの変化は、一対一に対応して不変である。したがって、RASマーカに対するカメラの視線角度と、カメラが観測するRASマーカの濃淡パターンとの対応関係を用いて、例えば、カメラが観測するRASマーカの濃淡パターンから、RASマーカに対するカメラの視線角度を正確に求めることができる。 The true value of the camera's line-of-sight angle with respect to the RAS marker and the change in the shading pattern of the RAS marker observed by the camera are invariant in a one-to-one correspondence. Therefore, using the correspondence between the camera's line-of-sight angle with respect to the RAS marker and the RAS marker's shading pattern observed by the camera, for example, the camera's line-of-sight angle relative to the RAS marker can be accurately determined from the RAS marker's shading pattern observed by the camera. Can be requested.
図３は、本発明に係るRASマーカの濃淡パターンの変化の例を示している。図３は、軸３０１の周りにRASマーカ３０２を回転させたときに、視点が固定されたカメラが観測するRASマーカ３０２の濃淡パターンが、矢印３０３の方向に変化していくことを示している。具体的には、図３に示されているように、軸３０１の周りにRASマーカ３０２を回転させると、カメラに観測される濃淡パターンのうちの濃い部分と薄い部分のRASマーカ上での位置が変化する。すなわち、図３では、軸３０１の周りにRASマーカ３０２が回転されると、濃淡パターンのうち色の濃い部分が移動しているようにカメラに観測される。 FIG. 3 shows an example of the change in the shading pattern of the RAS marker according to the present invention. FIG. 3 shows that when the RAS marker 302 is rotated around the axis 301, the shading pattern of the RAS marker 302 observed by the camera whose viewpoint is fixed changes in the direction of the arrow 303. . Specifically, as shown in FIG. 3, when the RAS marker 302 is rotated around the axis 301, the positions on the RAS marker of the dark portion and the light portion of the light and shade pattern observed by the camera Changes. That is, in FIG. 3, when the RAS marker 302 is rotated around the axis 301, it is observed by the camera as if a dark portion of the gray pattern is moving.
図４は、本発明に係るRASマーカの基本構造の例を示す図である。図４に示されているように、RASマーカは、レンチキュラレンズを、矢印４０１の方向に、白黒縞模様に貼り付けることにより作成される。ここでは、一例としてRASマーカでレンチキュラレンズが用いられているが、図３に示されているような濃淡パターンのふるまいが得られるならば、RASマーカにおいて、レンチキュラレンズ以外のレンズが用いられてもよい。 FIG. 4 is a diagram showing an example of the basic structure of the RAS marker according to the present invention. As shown in FIG. 4, the RAS marker is created by pasting a lenticular lens in a black and white striped pattern in the direction of an arrow 401. Here, as an example, a lenticular lens is used for the RAS marker. However, if the behavior of the light and shade pattern as shown in FIG. 3 is obtained, a lens other than the lenticular lens may be used for the RAS marker. Good.
以下で、図５を用いて、本発明に係るRASマーカを観測する角度によって観測される色が変化する原理を説明する。RASマーカが含むレンチキュラレンズは、シリンダー状の小さなレンズを等間隔に並べたレンズである。図５に示されているように、レンチキュラレンズを観測する視線の角度に応じて、レンチキュラレンズの下の白黒縞模様の黒色の部分の異なる部分が拡大して観測される。このようにして、図５に示されているように、RASマーカに対する観測視線の方向に応じて、レンチキュラレンズの下の白黒縞模様上の焦点が変わり、観測される色が白から黒の間で変化する。 Hereinafter, the principle that the observed color changes according to the angle at which the RAS marker according to the present invention is observed will be described with reference to FIG. The lenticular lens included in the RAS marker is a lens in which small cylindrical lenses are arranged at equal intervals. As shown in FIG. 5, different portions of the black portion of the black and white striped pattern under the lenticular lens are observed in an enlarged manner according to the angle of the line of sight observing the lenticular lens. In this way, as shown in FIG. 5, the focus on the black and white striped pattern under the lenticular lens changes depending on the direction of the observation line of sight relative to the RAS marker, and the observed color is between white and black. It changes with.
以下で、図６を用いて、本発明に係るRASマーカにおいて白黒縞模様の黒色のラインの間隔とレンチキュラレンズの間隔が等しい場合に、観測される濃淡パターンがどのように変化するかを説明する。図６に示されているように、RASマーカにおいて白黒縞模様の黒色のラインの間隔とレンチキュラレンズの間隔が等しい場合には、カメラの視線角度の変化に応じて、濃淡パターンが全体的に変化してカメラに観測される。 Hereinafter, it will be described with reference to FIG. 6 how the observed shading pattern changes when the black line interval of the black and white stripe pattern and the lenticular lens interval are equal in the RAS marker according to the present invention. . As shown in FIG. 6, in the RAS marker, when the interval between the black lines in the black and white stripe pattern is equal to the interval between the lenticular lenses, the overall shading pattern changes according to the change in the camera viewing angle. And observed by the camera.
また、以下で、図７を用いて、本発明に係るRASマーカにおいて白黒縞模様の黒色のラインの間隔がレンチキュラレンズの間隔より少し広い場合に、観測される濃淡パターンがどのように変化するかを説明する。図７に示されているように、RASマーカにおいて白黒縞模様の黒色のラインの間隔がレンチキュラレンズの間隔より少し広い場合には、カメラの視線角度の変化に応じて、色の濃い部分が移動しているように観測される。これが、図３において、軸３０１の周りにRASマーカ３０２が回転され、カメラのRASマーカ３０２に対する視線角度が変化すると、濃淡パターンのうち色の濃い部分が移動しているようにカメラに観測される原理である。以下で説明する本発明の実施形態では、一例として、白黒縞模様の黒色のラインの間隔がレンチキュラレンズの間隔より少し広いRASマーカを用いる。 In the following, with reference to FIG. 7, how the observed gray pattern changes when the black line interval of the black and white stripe pattern is slightly wider than the lenticular lens interval in the RAS marker according to the present invention. Will be explained. As shown in FIG. 7, in the RAS marker, when the interval between the black lines in the black and white stripe pattern is slightly wider than the interval between the lenticular lenses, the dark portion moves according to the change in the viewing angle of the camera. Observed as if In FIG. 3, when the RAS marker 302 is rotated around the axis 301 and the line-of-sight angle of the camera with respect to the RAS marker 302 is changed, the dark portion of the light / dark pattern is observed by the camera. The principle. In an embodiment of the present invention described below, as an example, a RAS marker in which the interval between black lines in a black and white stripe pattern is slightly wider than the interval between lenticular lenses is used.
カメラにより、RASマーカを観測したときに、最も黒く観測される部分を、以下の説明では、黒ピークと呼ぶ。上述したように、カメラでRASマーカを観測すると、黒ピークが周期的に現れる。図８は、本発明に係るRASマーカにおける、黒ピークの周期とレンチキュラレンズのレンズの数および白黒縞模様の黒色のラインの数の関係を示している。図８に示されているように、黒ピークは、レンチキュラレンズのレンズの数と白黒縞模様の黒色のラインの数との差が１になる位置ごとに現れる。 When the RAS marker is observed by the camera, the portion that is observed most black is referred to as a black peak in the following description. As described above, when the RAS marker is observed with the camera, black peaks appear periodically. FIG. 8 shows the relationship between the black peak period, the number of lenses of the lenticular lens, and the number of black lines of the black and white stripe pattern in the RAS marker according to the present invention. As shown in FIG. 8, a black peak appears at each position where the difference between the number of lenticular lenses and the number of black lines in a black and white stripe pattern becomes one.
図９は、本発明に係るRASマーカにおける、視線角度と黒ピーク位置の関係を示す図である。図９において、ｘが黒ピーク位置、θが視線角度を表す。視点平面Ｓｖ上の点からカメラがRASマーカを観測した場合、黒ピークはいつでも同じ位置ｘに観測される。このとき、RASマーカ平面Ｓｍに垂直な面とＳｖの成す角が視線角度θに相当する。レンズ断面形状が円筒形（の一部）であるレンチキュラレンズの場合、視線角度θと黒ピーク位置ｘの関係は、θ＝ｔａｎ-1（ａ（ｘ−ｂ）＋ｃ）のようになる。θ＝ｔａｎ-1（ａ（ｘ−ｂ）＋ｃ）において、ａ、ｂ、ｃはレンチキュラレンズおよび白黒縞模様の各種パラメータ（レンズの厚み，間隔，縞模様の間隔等）に応じて決まる定数である。 FIG. 9 is a diagram showing the relationship between the line-of-sight angle and the black peak position in the RAS marker according to the present invention. In FIG. 9, x represents the black peak position, and θ represents the viewing angle. When the camera observes the RAS marker from a point on the viewpoint plane Sv, the black peak is always observed at the same position x. At this time, the angle formed by the surface perpendicular to the RAS marker plane Sm and Sv corresponds to the viewing angle θ. In the case of a lenticular lens whose lens cross-sectional shape is cylindrical (part of), the relationship between the viewing angle θ and the black peak position x is θ = tan −1 (a (x−b) + c). In θ = tan −1 (a (x−b) + c), a, b, and c are constants determined in accordance with various parameters of the lenticular lens and the black and white striped pattern (lens thickness, spacing, striped pattern spacing, etc.). is there.
後述するRASマーカユニットにおいても、同様に、図２７に示されているように視点ｐと黒ピーク位置ｘを含む視点平面と、RASマーカユニットを含む平面Ｓｍに垂直な面との角度を視線角度θと定義することができる。ここで、θは、後述するRASマーカユニットの回転軸周り（図２７では、例えばｙ軸周り）の角度となる。 Similarly, in the RAS marker unit described later, as shown in FIG. 27, the angle between the viewpoint plane including the viewpoint p and the black peak position x and the plane perpendicular to the plane Sm including the RAS marker unit is the viewing angle. It can be defined as θ. Here, θ is an angle around the rotation axis of the RAS marker unit described later (in FIG. 27, for example, around the y axis).
（RASマーカのデザイン）
以下では、本発明に係るRASマーカから観測される画像を処理して解析するために適したRASマーカのデザインについて説明する。
(RAS marker design)
Hereinafter, a design of a RAS marker suitable for processing and analyzing an image observed from the RAS marker according to the present invention will be described.
図１０は、本発明に係るRASマーカの基本単位であるRASマーカユニットのデザインの例を示す図である。図１０に示されているRASマーカユニットの部分の長さを表す数値は無単位であり、比率が一定であれば、RASマーカユニットの大きさはどのようなものでもよい。図１０に示されているRASマーカユニットは、図４に示されているものと同様の構造を有し、軸１００１の周りの角度をカメラにより検知するために用いられる。一つのRASマーカユニットは、4つの計測基準点１０１０〜１０１３と濃淡パターン表示部１０１４を含む。計測基準点１０１０〜１０１３は、以下で説明する画像処理を確実に行うためのものである。 FIG. 10 is a diagram showing an example of the design of the RAS marker unit which is the basic unit of the RAS marker according to the present invention. The numerical value indicating the length of the portion of the RAS marker unit shown in FIG. 10 is unitless, and the RAS marker unit may have any size as long as the ratio is constant. The RAS marker unit shown in FIG. 10 has a structure similar to that shown in FIG. 4 and is used for detecting an angle around the axis 1001 by a camera. One RAS marker unit includes four measurement reference points 1010 to 1013 and a shading pattern display unit 1014. The measurement reference points 1010 to 1013 are for reliably performing image processing described below.
図２５は、RASマーカに含まれる白黒縞模様の黒い線の太さに応じて、RASマーカ上で計測される濃淡パターンがどのように変化するかを示す図である。例えば、図２５のｎ＝２の濃淡パターンは、最も明瞭に黒ピークの位置の検出が可能であるので、本実施形態では、ｎ＝２の濃淡パターンをRASマーカ上で計測可能なRASマーカを、一例として用いている。 FIG. 25 is a diagram showing how the shading pattern measured on the RAS marker changes according to the thickness of the black line of the black and white striped pattern included in the RAS marker. For example, the density pattern of n = 2 in FIG. 25 can detect the position of the black peak most clearly. Therefore, in this embodiment, a RAS marker that can measure the density pattern of n = 2 on the RAS marker is used. This is used as an example.
図１１は、本発明に係るRASマーカのデザインの例を示す図である。図１１に示されているRASマーカは、一例として、RASマーカユニット（ｘ軸用）とRASマーカユニット（ｙ軸用）の２つのRASマーカユニットを含んでいる。RASマーカは、２つ以上のRASマーカユニットを含んでいてもよいし、１つだけのRASマーカユニットを含んでもよい。 FIG. 11 is a diagram showing an example of the design of the RAS marker according to the present invention. As an example, the RAS marker shown in FIG. 11 includes two RAS marker units: a RAS marker unit (for x-axis) and a RAS marker unit (for y-axis). The RAS marker may include two or more RAS marker units, or may include only one RAS marker unit.
RASマーカユニット（ｘ軸用）は、RASマーカが付けられた物体のx軸周りの回転をカメラにより検知するために用いられる。また、RASマーカユニット（ｙ軸用）は、RASマーカが付けられた物体のｙ軸周りの回転をカメラにより検知するために用いられる。 The RAS marker unit (for x-axis) is used for detecting the rotation around the x-axis of the object with the RAS marker by the camera. The RAS marker unit (for y-axis) is used for detecting the rotation around the y-axis of the object with the RAS marker by the camera.
また、図１１のRASマーカは、一例として、ARToolKitPlusマーカ（非特許文献１１）を含んでいる。ARToolKitPlusマーカは、図１に示されている２次元パターンコードを含む既存のARマーカの一つである。RASマーカは、ARToolKitPlusマーカ以外のARマーカを含んでもよいし、ARマーカを含まなくてもよい。ARToolKitPlusマーカは、画像処理の際、主にRASマーカユニットのおよその位置と向きをカメラにより観測するために用いられる。 Moreover, the RAS marker of FIG. 11 includes an ARToolKitPlus marker (Non-Patent Document 11) as an example. The ARToolKitPlus marker is one of the existing AR markers including the two-dimensional pattern code shown in FIG. The RAS marker may include an AR marker other than the ARToolKitPlus marker, or may not include an AR marker. The ARToolKitPlus marker is mainly used for observing the approximate position and orientation of the RAS marker unit with a camera during image processing.
図２６は、RASマーカユニットのコーナーと計測基準点の画像を２種類の閾値によって二値化したものを示す図である。図２６に示されている画像において、二値化は、灰色と黒色によって行われている。図２６の画像２６０１は、RASマーカユニットの検出の際に、照明変動があった場合の画像である。また、図２６の画像２６０２は、RASマーカユニットの検出の際に、カメラの焦点のブレがあった場合の画像である。図２６に示されているように、RASマーカユニットの検出の際に、照明変動やカメラの焦点のブレがあった場合でも、計測基準点２６０３、２６０４の形状を円形とすることにより、RASマーカユニットのコーナー２６０５と比較して、RASマーカユニットの計測基準点の中心（重心）の位置２６０６を精度良く検出することができる。そのため、本実施形態では、一例として、図２１のステップＳ１２０７において、環境条件に対して変動の少ない画像変換が可能となるように、円形の計測基準点を、RASマーカユニットにおいて用いた。 FIG. 26 is a diagram showing binarized images of the corner of the RAS marker unit and the measurement reference point by using two types of threshold values. In the image shown in FIG. 26, binarization is performed in gray and black. An image 2601 in FIG. 26 is an image in the case where there is an illumination variation when detecting the RAS marker unit. In addition, an image 2602 in FIG. 26 is an image when the camera is defocused when the RAS marker unit is detected. As shown in FIG. 26, when the RAS marker unit is detected, the measurement reference points 2603 and 2604 are formed in a circular shape even when there is illumination fluctuation or camera focus blurring. Compared with the corner 2605 of the unit, the position 2606 of the center (center of gravity) of the measurement reference point of the RAS marker unit can be detected with high accuracy. Therefore, in this embodiment, as an example, in step S1207 of FIG. 21, a circular measurement reference point is used in the RAS marker unit so as to enable image conversion with little variation with respect to environmental conditions.
（画像処理アルゴリズム）
以下で、RASマーカをカメラで観測し、カメラに読み込まれた画像を処理してRASマーカの黒ピークの位置を計測するための画像処理アルゴリズムの例について図１２と図２１を用いて、説明する。なお、以下の画像処理アルゴリズムは、例えば、RASマーカを観測するカメラによって実行されてもよいし、カメラとは別体のコンピュータにより実行されてもよい。また、以下の画像処理アルゴリズムは、コンピュータプログラムの形式で、メモリに格納されてもよい。また、メモリからコンピュータプログラムを読み出して、ＣＰＵがコンピュータプログラムを実行することにより、以下の画像処理アルゴリズムが実現されてもよい。また、RASマーカを観測するカメラは、例えば、ロボットやロボットハンドに搭載されていてもよい。また、以下の画像処理アルゴリズムを実行するコンピュータは、上記カメラを搭載したロボットに組み込まれていてもよい。
(Image processing algorithm)
Hereinafter, an example of an image processing algorithm for observing a RAS marker with a camera, processing an image read into the camera, and measuring the position of the black peak of the RAS marker will be described with reference to FIGS. . Note that the following image processing algorithm may be executed by a camera that observes the RAS marker, for example, or may be executed by a computer separate from the camera. The following image processing algorithm may be stored in the memory in the form of a computer program. Further, the following image processing algorithm may be realized by reading a computer program from the memory and causing the CPU to execute the computer program. The camera that observes the RAS marker may be mounted on, for example, a robot or a robot hand. A computer that executes the following image processing algorithm may be incorporated in a robot equipped with the camera.
画像処理アルゴリズムでは、まず、ステップＳ１２０１で、カメラが、RASマーカを観測して、RASマーカに含まれるARToolKitPlusマーカ（図１２の（１））を検出し、ARToolKitPlusマーカの画像を読み込む。そして、カメラに読み込まれた画像の中のARToolKitPlusマーカの２次元パターンコードを用いて、ARToolKitPlusマーカの位置と姿勢が算出される。一例として、ステップＳ１２０１で、ARToolKitPlusマーカの検出とARToolKitPlusマーカの画像の読み込みが行われるが、ARToolKitPlusマーカ以外のマーカがRASマーカに含まれていて、ARToolKitPlusマーカ以外のマーカの検出と、ARToolKitPlusマーカ以外のマーカの画像の読み込みがステップＳ１２０１で行われてもよい。 In the image processing algorithm, first, in step S1201, the camera observes the RAS marker, detects the ARToolKitPlus marker ((1) in FIG. 12) included in the RAS marker, and reads the image of the ARToolKitPlus marker. Then, the position and orientation of the ARToolKitPlus marker are calculated using the two-dimensional pattern code of the ARToolKitPlus marker in the image read into the camera. As an example, in step S1201, the ARToolKitPlus marker is detected and the ARToolKitPlus marker image is read, but a marker other than the ARToolKitPlus marker is included in the RAS marker. The reading of the marker image may be performed in step S1201.
次に、ステップＳ１２０２で、ステップＳ１２０１で算出されたARToolKitPlusマーカの位置を基準として、カメラが観測したRASマーカに含まれるRASマーカユニットの存在する領域の画像（図１２の（２））が、カメラに読み込まれた画像から抽出される。 Next, in step S1202, with reference to the position of the ARToolKitPlus marker calculated in step S1201, the image of the region where the RAS marker unit included in the RAS marker observed by the camera is present ((2) in FIG. 12) Extracted from the image read in.
次に、ステップＳ１２０３で、ステップＳ１２０２で抽出されたRASマーカユニットの存在する領域の画像が一定の大きさにリサイズされた画像（図１２の（３））が生成される。 Next, in step S1203, an image ((3) in FIG. 12) is generated by resizing the image of the region where the RAS marker unit extracted in step S1202 is present to a certain size.
次に、ステップＳ１２０４で、ステップＳ１２０３で生成された画像（図１２の（３））の二値化と領域分割が行われる。 Next, in step S1204, binarization and area division of the image generated in step S1203 ((3) in FIG. 12) are performed.
次に、ステップＳ１２０５で、ステップＳ１２０４で行われた二値化と領域分割の結果から、ステップＳ１２０３で生成された画像に含まれる、カメラが観測したRASマーカ中のRASマーカユニットの４つの計測基準点（図１２の（５）の符号１２０５−１〜１２０５−４）が抽出される。この際に、予め定められたRASマーカユニットの計測基準点の面積、寸法、縦横比等の基準を用いたフィルタリングが活用されてもよい。 Next, in step S1205, the four measurement criteria of the RAS marker unit in the RAS marker observed by the camera, included in the image generated in step S1203, from the binarization and region segmentation results performed in step S1204. Points (reference numerals 1205-1 to 1205-4 in (5) of FIG. 12) are extracted. At this time, filtering using criteria such as a predetermined area, size, aspect ratio, etc. of the measurement reference point of the RAS marker unit may be used.
次に、ステップＳ１２０６で、４つの計測基準点（図１２の（５）の符号１２０５−１〜１２０５−４）から射影変換行列が算出される。 Next, in step S1206, a projective transformation matrix is calculated from the four measurement reference points (reference numerals 1205-1 to 1205-4 in (5) of FIG. 12).
次に、ステップＳ１２０７で、ステップＳ１２０６で算出された射影変換行列を用いて、ステップＳ１２０３で生成された画像に含まれる、カメラが観測したRASマーカ中のRASマーカユニットを正面から観測した画像（図１２の（７）、正面画像）が生成される。 Next, in step S1207, an image obtained by observing the RAS marker unit in the RAS marker observed by the camera included in the image generated in step S1203 from the front using the projective transformation matrix calculated in step S1206 (FIG. 12 (7), front image) is generated.
次に、ステップＳ１２０８で、RASマーカユニットの濃淡パターン表示部の濃淡パターンの中心軸１２０８−１上の３２点の輝度が取得される。 Next, in step S1208, the luminances of 32 points on the central axis 1208-1 of the shading pattern in the shading pattern display section of the RAS marker unit are acquired.
次に、ステップＳ１２０９で、Ｓ１２０８で取得された輝度の極値が図１２の（９）に示されているようなパラボラ近似により算出される。通常、黒い部分は輝度が小さいが、ここでは輝度の大小関係を逆にして表示している。 Next, in step S1209, the extreme value of luminance acquired in S1208 is calculated by parabolic approximation as shown in (9) of FIG. Normally, the black portion has a low luminance, but here, the luminance is shown with the magnitude relationship reversed.
ステップＳ１２０９では、Ｓ１２０８で取得された輝度の値にばらつきがあったり、ステップＳ１２０１で、カメラが、RASマーカを観測する際に、焦点のブレがある場合でも、輝度の極値をロバストに算出するために、一例として、パラボラ近似が用いられている。 In step S1209, the luminance value acquired in S1208 varies, and in step S1201, when the camera observes the RAS marker, the extreme value of luminance is robustly calculated even when there is a focus blur. Therefore, parabola approximation is used as an example.
パラボラ近似は、一例であり、ステップＳ１２０９では、極値を求めるためにパラボラ近似以外の近似が用いられてもよい。また、Ｓ１２０８で取得される輝度の点数は、３２点でなくてもよく、ステップＳ１２０９において、精度良く極値が求められるならば、Ｓ１２０８で取得される輝度の点数は何点でもよい。ステップＳ１２０９において、求められた極値が、RASマーカに含まれるRASマーカユニットの濃淡パターンの黒ピークの位置として計測される。 Parabolic approximation is an example, and in step S1209, approximation other than parabolic approximation may be used to obtain extreme values. Further, the number of luminance points acquired in S1208 may not be 32, and the number of luminance points acquired in S1208 may be any number as long as an extreme value is obtained with high accuracy in step S1209. In step S1209, the obtained extreme value is measured as the position of the black peak of the shading pattern of the RAS marker unit included in the RAS marker.
（黒ピークの位置から視線角度への変換）
以下で、図２８を用いて、RASマーカ上で観測される黒ピークの位置から視線角度を求めるために用いることができる光学モデルについて説明する。
(Conversion from black peak position to line-of-sight angle)
In the following, an optical model that can be used to obtain the line-of-sight angle from the position of the black peak observed on the RAS marker will be described using FIG.
光学モデルでは、一例として以下のような（１）〜（４）のような仮定をおくことができる。 In the optical model, the following assumptions (1) to (4) can be made as an example.
（１）RASマーカに含まれるレンズの表面は、半径ｒの円筒表面の一部である。 (1) The surface of the lens included in the RAS marker is a part of a cylindrical surface with a radius r.
（２）RASマーカ上の黒ピークが観測される位置では、視線と黒ピークを形成している黒い線の中心が交わっている。 (2) At the position where the black peak on the RAS marker is observed, the line of sight and the center of the black line forming the black peak intersect.
（３）RASマーカに含まれるレンズの形状および白黒縞模様の形状に関する様々なパラメータの正確な値は未知である。 (3) The exact values of various parameters relating to the shape of the lens and the black and white stripe pattern included in the RAS marker are unknown.
（４）RASマーカに含まれるレンズの軸と白黒縞模様の黒色のラインは平行である。（RASマーカに含まれるレンズの軸と白黒縞模様の黒色のラインが平行でない場合には、RASマーカ上で観測される濃淡パターンに明確な変化が現れるため、仮定（４）を満たさないRASマーカを排除することは容易である。） (4) The axis of the lens included in the RAS marker and the black line of the black and white stripe pattern are parallel. (If the axis of the lens included in the RAS marker and the black line of the black and white stripe pattern are not parallel, a clear change appears in the shading pattern observed on the RAS marker, so the RAS marker that does not satisfy assumption (4) Is easy to eliminate.)
図２８は、上記の仮定に基づいた光学モデルを示している。図２８において、ｐLは、RASマーカに含まれるレンズの間隔を示しており、ｐSは、RASマーカに含まれる白黒縞模様の間隔を示している。また、図２８において、ｘは、RASマーカの原点とRASマーカ上で観測される黒ピークとの距離を示している。また、図２８において、θa、θbは、視線角度を示している。また、図２８において、ｈは、RASマーカに含まれるレンズの円筒中心と、RASマーカに含まれる白黒縞模様との距離を示している。また、図２８において、ｄは、RASマーカの観測視点とRASマーカが含まれる平面との距離を示している。また、図２８において、ｅは、RASマーカに含まれるレンズの中心線と、RASマーカに含まれる白黒縞模様の黒色のラインの中心との距離を示している。 FIG. 28 shows an optical model based on the above assumption. In FIG. 28, p L indicates the interval between the lenses included in the RAS marker, and p S indicates the interval between the black and white striped patterns included in the RAS marker. In FIG. 28, x indicates the distance between the origin of the RAS marker and the black peak observed on the RAS marker. In FIG. 28, θ a and θ b indicate line-of-sight angles. In FIG. 28, h indicates the distance between the cylindrical center of the lens included in the RAS marker and the black and white striped pattern included in the RAS marker. In FIG. 28, d indicates the distance between the observation viewpoint of the RAS marker and the plane including the RAS marker. In FIG. 28, e indicates the distance between the center line of the lens included in the RAS marker and the center of the black line of the black and white striped pattern included in the RAS marker.
以下では、上記の光学モデルを用いて、RASマーカに含まれる白黒縞模様との距離ｄa、ｄb、およびRASマーカの原点とRASマーカ上で観測される黒ピークとの距離ｘa、ｘbの観測値が得られているときに、視線角度θpがどのように求まるかを示す。 In the following, using the above optical model, the distances d a and d b from the black and white stripe pattern included in the RAS marker, and the distances x a and x between the origin of the RAS marker and the black peak observed on the RAS marker when the observed value of b is obtained, indicating viewing angle theta p is how obtained.
まず、ある自然数ｎbを用いて、ｘb＝ｘa＋ｎbｐS （式（１））と表せる。 First, it can be expressed as x b = x a + n b p S (formula (1)) using a certain natural number n b .
式（１）より、δｐ＝ｐS−ｐL （式（２））とすると、ｅb＝ｅa＋ｎbδｐ （式（３））が成り立つ。 From equation (1), if δp = p S −p L (equation (2)), then e b = e a + n b δp (equation (3)) holds.
式（１）よりｎb＝（ｘb−ｘa）／ｐS （式（４））である。 From equation (1), n b = (x b −x a ) / p S (equation (4)).
また、ｘa／ｄa＝ｅa／ｈ （式（５））、ｘb／ｄb＝ｅb／ｈ （式（６））が、幾何的相似により成り立つ。 Further, x a / d a = e a / h (Expression (5)) and x b / d b = e b / h (Expression (6)) are established by geometric similarity.
ここで、観測された黒ピークの位置ｘpから視線角度θpが求まるとする。 Here, it is assumed that the line-of-sight angle θ p is obtained from the position x p of the observed black peak.
そうすると、ｘp＝ｘa＋ｎbｐS （式（７））、ｅp＝ｅa＋ｎpδｐ （式（８））、θp＝ｔａｎ-1（ｅp／ｈ） （式（９））が成り立つ。 Then, x p = x a + n b p S ( formula (7)), e p = e a + n p δp ( equation (8)), θ p = tan -1 (e p / h) ( Equation (9) ) Holds.
また、式（７）よりｎp＝（ｘp−ｘa）／ｐS （式（１０））となる。 Further, from the equation (7), n p = (x p −x a ) / p S (equation (10)).
また、式（８）、（１０）よりｅp＝ｅa＋δｐ（ｘp−ｘa）／ｐS （式（１１））となる。 Further, equation (8) and (10) than e p = e a + δp ( x p -x a) / p S ( formula (11)).
また、式（３）、（４）、（６）より、以下の式（１２）が求まる。
ｅb＝ｅa＋δｐ（ｘb−ｘa）／ｐS＝ｈｘb／ｄb （式（１２））
Further, from the equations (3), (4), (6), the following equation (12) is obtained.
e b = e a + δp (x b −x a ) / p S = hx b / d b (Formula (12))
また、式（５）、（１２）より、以下の式（１３）が求まる。
ｈｘa／ｄa＋δｐ（ｘb−ｘa）／ｐS＝ｈｘb／ｄb （式（１３））
Further, the following expression (13) is obtained from the expressions (5) and (12).
hx a / d a + δp (x b −x a ) / p S = hx b / d b (formula (13))
ここで、ｘb／ｄb−ｘa／ｄa＝Ａ （式（１４））、ｘb−ｘa＝Ｂ （式（１５））とすると、式（１３）より、ｈ＝Ｂδｐ／（ＡｐS） （式（１６））が求まる。 Here, x b / d b -x a / d a = A ( Formula (14)), when a x b -x a = B (Equation (15)), the equation (13), h = Bδp / ( Ap S ) (Expression (16)) is obtained.
また、式（５）、（１６）より、ｅa＝ｘaＢδｐ／（ｄaＡｐS） （式（１７））が求まる。 Further, from the expressions (5) and (16), e a = x a Bδp / (d a Ap S ) (expression (17)) is obtained.
また、式（１１）、（１７）より、以下の式（１８）が求まる。
ｅp＝ｘaＢδｐ／（ｄaＡｐS）＋δｐ（ｘp−ｘa）／ｐS （式（１８））
Further, the following expression (18) is obtained from the expressions (11) and (17).
e p = x a Bδp / (d a Ap S ) + δp (x p −x a ) / p S (formula (18))
また、式（１６）、（１８）より、以下の式（１９）が求まる。
ｅp／ｈ＝ｘa／ｄa＋（ｘp−ｘa）Ａ／Ｂ （式（１９））
Further, from the equations (16) and (18), the following equation (19) is obtained.
e p / h = x a / d a + (x p −x a ) A / B (Formula (19))
また、式（１４）、（１５）、（１９）より、以下の式（２０）が求まる。
ｅp／ｈ＝ｘa／ｄa＋（ｘb／ｄb−ｘa／ｄa）（ｘp−ｘa）／（ｘb−ｘa） （式（２０））
Further, from the equations (14), (15), and (19), the following equation (20) is obtained.
e p / h = x a / d a + (x b / d b -x a / d a) (x p -x a) / (x b -x a) ( Equation (20))
そして、式（９）、（２０）より、以下の式（２１）が求まる。
θp＝ｔａｎ-1（ｘa／ｄa＋（ｘb／ｄb−ｘa／ｄa）（ｘp−ｘa）／（ｘb−ｘa）） （式（２１））
Then, from the equations (9) and (20), the following equation (21) is obtained.
θ p = tan −1 (x a / d a + (x b / d b −x a / d a ) (x p −x a ) / (x b −x a )) (Formula (21))
ここで、RASマーカの濃淡パターン表示部の長さをｗとし、図２１のステップＳ１２０９により計測された黒ピークの位置をｐ［ｐｉｘｅｌ］とすると、ｘp／ｗ＝ｐ／４８０ （式（２２））が成立する。 Here, assuming that the length of the light and shade pattern display portion of the RAS marker is w and the position of the black peak measured in step S1209 in FIG. 21 is p [pixel], x p / w = p / 480 (formula (22) )) Is established.
ここで、式（２１）、（２２）から、黒ピークの位置ｐと、視線角度θpの関係が以下の式（２３）のように求まる。
θp＝ｔａｎ-1（ｘa／ｄa＋（ｘb／ｄb−ｘa／ｄa）（ｗｐ／４８０−ｘa）／（ｘb−ｘa）） （式（２３））
Here, from the expressions (21) and (22), the relationship between the position p of the black peak and the line-of-sight angle θ p is obtained as the following expression (23).
θ p = tan −1 (x a / d a + (x b / d b −x a / d a ) (wp / 480−x a ) / (x b −x a )) (formula (23))
（RASマーカの性能）
以下で、本発明に係るRASマーカの性能について説明する。
(RAS marker performance)
Hereinafter, the performance of the RAS marker according to the present invention will be described.
RASマーカの性能の検証のために、一例として、図１３に示されているような装置を用いる。図１３の装置により、回転台でRASマーカを回転させて、回転したRASマーカをカメラで観測することができる。 In order to verify the performance of the RAS marker, an apparatus as shown in FIG. 13 is used as an example. With the apparatus of FIG. 13, the RAS marker can be rotated on the turntable and the rotated RAS marker can be observed with the camera.
RASマーカの性能の検証結果は、例えば、図１４に示されているようなＧＵＩ（グラフィカルユーザインタフェース）に、以下のように表示されることができる。カメラに読み込まれたRASマーカを含む画像は、ＧＵＩ１４０１に表示される。ステップＳ１２０７で生成される画像は、ＧＵＩ１４０２に表示される。ステップＳ１２０８の中心軸１２０８−１を含む画像は、ＧＵＩ１４０３に表示される。ステップＳ１２０９のパラボラ近似と、ステップＳ１２０９で求められた極値は、ＧＵＩ１４０４に表示される。 The verification result of the performance of the RAS marker can be displayed, for example, on a GUI (graphical user interface) as shown in FIG. 14 as follows. An image including the RAS marker read into the camera is displayed on the GUI 1401. The image generated in step S1207 is displayed on the GUI 1402. An image including the central axis 1208-1 in step S1208 is displayed on the GUI 1403. The parabolic approximation in step S1209 and the extreme value obtained in step S1209 are displayed on the GUI 1404.
図１３の装置を、RASマーカの性能の検証のために、一例として、以下の条件で用いる。図１３の装置は、通常の白色蛍光灯による照明がされたオフィス環境で用いられる。また、図１３の装置に含まれるカメラは、USB CMOSカメラ（対角画角56.3°、VGA）であり、回転台との中心軸とカメラとの距離は、133mmとされている。また、図１３の装置のRASマーカに含まれるARToolKitPlusマーカの部分は、一辺が10mmの正方形である。また、RASマーカで用いられるレンチキュラレンズは、75LPI（1インチあたりのレンズ列数が75）のものであり、計測可能な視線角度範囲はおよそ±30°である（計測可能な視線角度範囲は、RASマーカで用いられるレンチキュラレンズの仕様によって決まる。）。 The apparatus of FIG. 13 is used under the following conditions as an example for verifying the performance of the RAS marker. The apparatus shown in FIG. 13 is used in an office environment illuminated with a normal white fluorescent lamp. The camera included in the apparatus of FIG. 13 is a USB CMOS camera (diagonal angle of view 56.3 °, VGA), and the distance between the center axis of the turntable and the camera is 133 mm. Further, the ARToolKitPlus marker portion included in the RAS marker of the apparatus of FIG. 13 is a square with a side of 10 mm. The lenticular lens used in the RAS marker is 75 LPI (75 lens rows per inch), and the measurable viewing angle range is approximately ± 30 ° (the measurable viewing angle range is It depends on the specifications of the lenticular lens used in the RAS marker.)
また、図１３の装置を用いて、RASマーカの性能を検証する際には、カメラとRASマーカが正対した状態を回転台の回転の角度（回転角）が0°の状態であるとし、回転台は、ｙ軸のまわりに回転する。 Further, when verifying the performance of the RAS marker using the apparatus shown in FIG. 13, it is assumed that the rotation angle of the turntable (rotation angle) is 0 ° when the camera and the RAS marker face each other. The turntable rotates around the y axis.
上記の場合に、RASマーカのｙ軸のまわりの回転角とRASマーカの黒ピークの位置ｘを、図１３の装置を用いて、どの程度正確に計測できるかを、以下で検証する。 In the above case, it will be verified below how accurately the rotation angle around the y-axis of the RAS marker and the black peak position x of the RAS marker can be measured using the apparatus of FIG.
図１５の（１）は、図１３の装置を用いて得られた、本発明に係るRASマーカの性能を示す図である。図１５の（１）の横軸は、図１３の回転台の回転角であり、縦軸は、計測されたRASマーカの黒ピークの位置ｘである。黒ピークの位置は、RASマーカのRASマーカユニットから計測される濃淡パターンの左端から右端の一次元の座標を表す０〜４８０の値をとる。図１５の（１）の図に示されているように、回転角が大きくなると、RASマーカの黒ピークの位置が連続的に増加しており、RASマーカの黒ピークの位置から回転角を求めることが可能であることがわかる。また、図１５の（１）の図より、RASマーカの黒ピークの位置に基づいて、1°未満の精度で、回転角を求めることが可能であり、RASマーカとカメラが正対している状態（回転角が0°の場合）でも、精密かつ安定して、RASマーカの黒ピークの位置から、回転角を計測できることがわかる。図１５の（１）では、各回転角で２０回の計測の平均がプロットされており、データのばらつきを示す標準偏差がエラーバーで示されているが、エラーバーの幅は非常に小さくて目立たない。図１５の（１）のデータの標準偏差は、角度に変換すると約0.2°〜0.4°であり、幅広い回転角にわたって、非常に精密かつ安定して、RASマーカの黒ピークの位置から、回転角を計測できることがわかる。 (1) of FIG. 15 is a figure which shows the performance of the RAS marker based on this invention obtained using the apparatus of FIG. The horizontal axis of (1) in FIG. 15 is the rotation angle of the turntable in FIG. 13, and the vertical axis is the position x of the measured black peak of the RAS marker. The position of the black peak takes a value of 0 to 480 representing one-dimensional coordinates from the left end to the right end of the light and shade pattern measured from the RAS marker unit of the RAS marker. As shown in FIG. 15 (1), when the rotation angle increases, the position of the black peak of the RAS marker continuously increases, and the rotation angle is obtained from the position of the black peak of the RAS marker. It can be seen that it is possible. Further, from FIG. 15 (1), the rotation angle can be obtained with an accuracy of less than 1 ° based on the position of the black peak of the RAS marker, and the RAS marker and the camera are facing each other. Even when the rotation angle is 0 °, the rotation angle can be measured accurately and stably from the position of the black peak of the RAS marker. In (1) of FIG. 15, the average of 20 measurements at each rotation angle is plotted, and the standard deviation indicating the variation in data is indicated by an error bar, but the width of the error bar is very small. Inconspicuous. The standard deviation of the data of (1) in FIG. 15 is about 0.2 ° to 0.4 ° when converted into an angle. From the position of the black peak of the RAS marker, the rotation angle is very precise and stable over a wide range of rotation angles. It can be seen that can be measured.
図１５の（２）は、図１３の装置を用いて得られた、ARToolKitPlusマーカの性能を示す図である。図１５の（２）では、各回転角で２０回の計測の平均がプロットされており、データのばらつきを示す標準偏差がエラーバーで示されている。図１５の（２）の横軸は、図１３の回転台の回転角であり、縦軸は、計測されたARToolKitPlusマーカの回転角（計測角Θ）である。図１５の（２）に示されているように、従来のARToolKitPlusマーカを用いた場合、回転角と計測角Θは連続的に一致することはなく、計測角Θのふるまいは、非常に不安定である。すなわち、図１５の（２）では、計測角Θの精度が良ければ、図１５の（２）のデータは、右肩上がりの直線上にのるはずであるが、図１５の（２）に示されているように、回転角が0°の付近で非常に精度が悪く、またデータのばらつきも大きく、安定しない。 (2) of FIG. 15 is a figure which shows the performance of the ARToolKitPlus marker obtained using the apparatus of FIG. In (2) of FIG. 15, the average of 20 measurements is plotted at each rotation angle, and the standard deviation indicating the variation in data is indicated by an error bar. The horizontal axis of (2) in FIG. 15 is the rotation angle of the turntable in FIG. 13, and the vertical axis is the measured rotation angle (measurement angle Θ) of the ARToolKitPlus marker. As shown in FIG. 15 (2), when the conventional ARToolKitPlus marker is used, the rotation angle and the measurement angle Θ do not coincide with each other, and the behavior of the measurement angle Θ is very unstable. It is. That is, in (2) of FIG. 15, if the accuracy of the measurement angle Θ is good, the data of (2) of FIG. 15 should be on a straight line rising to the right, but in (2) of FIG. As shown in the figure, the accuracy is very poor near the rotation angle of 0 °, and the data variation is large and unstable.
図１５の（１）と図１５の（２）との比較により、RASマーカを用いることにより、従来のARToolKitPlusマーカよりも、精密かつ安定して、マーカの回転角を計測することができることがわかる。 Comparison between (1) in FIG. 15 and (2) in FIG. 15 shows that the rotation angle of the marker can be measured more accurately and more stably than the conventional ARToolKitPlus marker by using the RAS marker. .
図１６は、本発明に係るRASマーカの性能と従来のARToolKitPlusマーカの性能を比較した図である。図１６の横軸は、図１３の回転台の回転角であり、縦軸は、計測角の標準偏差である。図１６のRASマーカの数値は、図１５の（１）の結果から求められたRASマーカが1°回転すると黒ピークの位置が3.4移動するという関係を用いて、RASマーカの黒ピークの位置xを計測角（deg）に変換することにより算出されている。図１６のARToolKitPlusマーカの数値は、計測角Θの値の標準偏差である。図１６に示されているように、マーカとカメラが正対している状態（回転角が0°の場合）において、従来のARToolKitPlusマーカの計測角の標準偏差は不安定であるが、本発明に係るRASマーカの計測角の標準偏差は非常に安定していることがわかる。本発明に係るRASマーカの計測角の標準偏差のばらつきは、上述したように約0.2°〜0.4°である。 FIG. 16 is a diagram comparing the performance of the RAS marker according to the present invention and the performance of a conventional ARToolKitPlus marker. The horizontal axis of FIG. 16 is the rotation angle of the turntable of FIG. 13, and the vertical axis is the standard deviation of the measurement angle. The numerical value of the RAS marker in FIG. 16 is obtained by using the relationship that the black peak position moves 3.4 when the RAS marker obtained by the result of (1) in FIG. Is converted into a measurement angle (deg). The numerical value of the ARToolKitPlus marker in FIG. 16 is the standard deviation of the value of the measurement angle Θ. As shown in FIG. 16, the standard deviation of the measurement angle of the conventional ARToolKitPlus marker is unstable when the marker and the camera are facing each other (when the rotation angle is 0 °). It can be seen that the standard deviation of the measurement angle of the RAS marker is very stable. The variation in the standard deviation of the measurement angle of the RAS marker according to the present invention is about 0.2 ° to 0.4 ° as described above.
（計測値と光学モデルとの比較）
次に、式（２３）で表される光学モデルと計測値とを比較する。
(Comparison between measured values and optical model)
Next, the optical model represented by Expression (23) is compared with the measured value.
ここでは、式（２３）の視線角度θpを計算するために必要なｘa、ｘb、ｄa、ｄbの値として、RASマーカを実測することにより得られた、図２９に示されている４つの値の組合せ（（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ））を用いる。 Here, x a required to calculate the line-of-sight angle theta p of formula (23), x b, d a, as the value of d b, were obtained by actually measuring the RAS marker, shown in Figure 29 A combination of four values ((i), (ii), (iii), (iv)) is used.
図３０は、視線角度の計測値と、様々なｘa、ｘb、ｄa、ｄbの値を用いて式（２３）で表された光学モデルにより計算された視線角度θpとを比較した図である。図３０に示されているように、光学モデルにおいて用いるｘa、ｘb、ｄa、ｄbの値によって、光学モデルにより計算される視線角度θpと視線角度の計測値との一致度は異なる。例えば、図３０に示されているように、ｘa、ｘb、ｄa、ｄbの値の組合せとして、図２９の（ｉｖ）と（ｉ）の値の組合せを用いて光学モデルにより計算された視線角度θpは、視線角度の計測値と良く一致する。一方、図３０に示されているように、ｘa、ｘb、ｄa、ｄbの値の組合せとして、図２９の（ｉｖ）と（ｉ）の値の組合せ以外の組合せを用いて光学モデルにより計算された視線角度θpは、視線角度の計測値との一致度が低くなる。これは、理想的な仮定に基づいて構築された光学モデルでも、光学モデルの導出に用いられている仮定を満たすｘa、ｘb、ｄa、ｄbの値の組合せを用いて視線角度θpを計算すれば、視線角度の計測値を良く再現することができることを示している。 Figure 30 compares the measured value of the viewing angle, various x a, x b, d a , and a line-of-sight angle theta p calculated by the represented optical model in equation (23) using the value of d b FIG. As shown in FIG. 30, x a is used in the optical model, x b, d a, the value of d b, the degree of coincidence between the measured value of the line-of-sight angle theta p and gaze angle that is calculated by the optical model Different. For example, as shown in FIG. 30, as a combination of the values of x a , x b , d a , and d b , it is calculated by an optical model using the combination of the values of (iv) and (i) of FIG. The obtained line-of-sight angle θ p agrees well with the measured value of the line-of-sight angle. On the other hand, as shown in FIG. 30, x a, x b, d a, as a combination of the values of d b, by using a combination other than combinations of values of the FIG. 29 (iv) and (i) Optical The line-of-sight angle θ p calculated by the model has a low degree of coincidence with the measurement value of the line-of-sight angle. This is also ideal optical model constructed based on the assumption, x a satisfying assumptions used in the derivation of the optical model, x b, d a, viewing angle by using a combination of the values of d b theta If p is calculated, it is shown that the measurement value of the line-of-sight angle can be reproduced well.
（RASマーカのロバスト性）
図３１は、RASマーカの観測点のRASマーカからの距離を変化させたときに、RASマーカによる計測の安定性がどのように変化するかを示す図である。図３１の３１０１において、横軸は、RASマーカの観測点のRASマーカからの距離であり、縦軸は、各距離におけるRASマーカ上の黒ピークの位置の標準偏差を、図３０に示されている視線角度と黒ピークの位置との関係から得られる係数（０．１６８［ｄｅｇ／ｐｉｘｅｌ］）によって角度に変換したものである。また、図３１の３１０２は、RASマーカの観測点のRASマーカからの距離が２７７ｍｍのときに、観測されるRASマーカの画像の一例を示している。また、図３１の３１０３は、RASマーカの観測点のRASマーカからの距離が９２ｍｍのときに、観測されるRASマーカの画像の一例を示している。
(Robustness of RAS marker)
FIG. 31 is a diagram showing how the measurement stability of the RAS marker changes when the distance from the RAS marker to the observation point of the RAS marker is changed. In 3101 of FIG. 31, the horizontal axis represents the distance from the observation point of the RAS marker from the RAS marker, and the vertical axis represents the standard deviation of the position of the black peak on the RAS marker at each distance as shown in FIG. It is converted into an angle by a coefficient (0.168 [deg / pixel]) obtained from the relationship between the viewing angle and the position of the black peak. Further, reference numeral 3102 in FIG. 31 shows an example of an image of the RAS marker observed when the distance from the RAS marker observation point to the RAS marker is 277 mm. Further, reference numeral 3103 in FIG. 31 shows an example of an image of the RAS marker observed when the distance from the RAS marker observation point to the RAS marker is 92 mm.
図３１の３１０１に示されているように、従来のARToolKitPlusマーカと比較して、RASマーカの角度は、RASマーカの観測点のRASマーカからの距離を変化させても大きく変化しない。したがって、RASマーカを用いることにより、従来のARToolKitPlusマーカよりロバストな観測が可能である。 As shown by reference numeral 3101 in FIG. 31, the angle of the RAS marker does not change greatly even when the distance from the observation point of the RAS marker to the RAS marker is changed as compared with the conventional ARToolKitPlus marker. Therefore, using the RAS marker enables more robust observation than the conventional ARToolKitPlus marker.
図３２は、RASマーカへの照度を変化させたときに、RASマーカによる計測の安定性がどのように変化するかを示す図である。図３２の３２０１において、横軸は、RASマーカへの照度であり、縦軸は、各照度におけるRASマーカ上の黒ピークの位置の標準偏差を、図３０に示されている視線角度と黒ピークの位置との関係から得られる係数（０．１６８［ｄｅｇ／ｐｉｘｅｌ］）によって角度に変換したものである。また、図３２の３２０３は、RASマーカの外観の画像を示している。また、図３２の３２０４は、RASマーカへの照度が３２０１の（１）であるときに観測されるRASマーカの画像を示している。また、図３２の３２０５は、RASマーカへの照度が３２０１の（２）であるときに観測されるRASマーカの画像を示している。また、図３２の３２０６は、RASマーカへの照度が３２０１の（３）であるときに観測されるRASマーカの画像を示している。また、図３２の３２０７は、RASマーカへの照度が３２０１の（４）であるときに観測されるRASマーカの画像を示している。 FIG. 32 is a diagram illustrating how the measurement stability of the RAS marker changes when the illuminance to the RAS marker is changed. In 3201 of FIG. 32, the horizontal axis represents the illuminance to the RAS marker, and the vertical axis represents the standard deviation of the position of the black peak on the RAS marker at each illuminance, and the line-of-sight angle and black peak shown in FIG. Is converted into an angle by a coefficient (0.168 [deg / pixel]) obtained from the relationship with the position of. Further, reference numeral 3203 in FIG. 32 indicates an image of the appearance of the RAS marker. Also, 3204 in FIG. 32 shows an image of the RAS marker observed when the illuminance to the RAS marker is 3201 (1). Also, reference numeral 3205 in FIG. 32 indicates an image of the RAS marker observed when the illuminance to the RAS marker is 3201 (2). Further, reference numeral 3206 in FIG. 32 shows an image of the RAS marker observed when the illuminance to the RAS marker is 3201 (3). Also, reference numeral 3207 in FIG. 32 indicates an image of the RAS marker observed when the illuminance to the RAS marker is 3201 (4).
図３２の３２０１に示されているように、従来のARToolKitPlusマーカと比較して、RASマーカの角度は、照度を変化させても大きく変化しない。したがって、RASマーカを用いることにより、従来のARToolKitPlusマーカよりロバストな観測が可能である。 As shown by 3201 in FIG. 32, the angle of the RAS marker does not change greatly even when the illuminance is changed, as compared with the conventional ARToolKitPlus marker. Therefore, using the RAS marker enables more robust observation than the conventional ARToolKitPlus marker.
図３２の３２０２は、図３２の３２０１の照度（１）、（２）、（３）、（４）のときの黒ピークの位置を示している。図３２の３２０２に示されているように、照度の変化により黒ピークの位置が、1.8°変化する。これは、図３３に示されているように、RASマーカ上で計測される濃淡パターンが、強い光が照射されると、濃淡パターン３３０１から濃淡パターン３３０２に変化する場合があるからであると考えられる。この程度の変化は、通常の照明条件下では深刻な問題を起こすことはないが、以下で説明するような照度対策をとることもできる。 32, 3202 indicates the position of the black peak when the illuminance (1), (2), (3), and (4) of 3201 in FIG. As indicated by 3202 in FIG. 32, the position of the black peak changes by 1.8 ° due to the change in illuminance. This is considered to be because, as shown in FIG. 33, the shading pattern measured on the RAS marker may change from the shading pattern 3301 to the shading pattern 3302 when strong light is irradiated. It is done. This level of change does not cause serious problems under normal lighting conditions, but it is possible to take measures against illuminance as described below.
以下で説明する照度対策は、例えば、日中の屋外等で、光が強く、光のRASマーカへの入射角度が変動する環境において有効である。 The illuminance countermeasure described below is effective in an environment where the light is strong and the incident angle of the light on the RAS marker fluctuates, for example, outdoors in the daytime.
照度対策として、例えば、RASマーカ上で、光の強さの影響を受けやすい白黒の濃淡パターンではなくて、光の強さの影響を受けにくいRGBやHSV等の色の濃淡パターンのピークを計測することにより、RASマーカへの光の入射角度の変動の影響を取り除くことができる。例えば、図３３の濃淡パターン３３０３に示されているように、RGBのうちB（青）の値のみを用いて青ピークを計測して、照度対策を行うことができる。このようにすることにより、RASマーカ上で、白黒の濃淡パターンを計測する場合と比較して、RASマーカ上で計測されるピークの位置の変動を約半分とすることができる。 As a measure against illuminance, for example, on a RAS marker, instead of a black-and-white shading pattern that is easily affected by light intensity, the peak of a light and shade color pattern such as RGB or HSV that is not easily affected by light intensity is measured. By doing so, it is possible to eliminate the influence of fluctuation of the incident angle of light on the RAS marker. For example, as shown in the shading pattern 3303 in FIG. 33, it is possible to measure the blue peak using only the value of B (blue) in RGB and take measures against illuminance. By doing so, it is possible to reduce the fluctuation of the peak position measured on the RAS marker by about half compared to the case of measuring a black and white shading pattern on the RAS marker.
（RASマーカの使用例）
上記で説明したように、本発明に係るRASマーカを用いることにより、従来のARマーカよりも安定かつ正確な、RASマーカの姿勢計測が可能である。特に、マーカとマーカの観測物であるカメラが正対に近い状態のときでも、従来のARマーカと比べて、RASマーカは安定かつ正確な姿勢計測が可能である。したがって、本発明に係るRASマーカは、より安定かつ正確な姿勢計測が必要なアプリケーションにおいて従来のARマーカに代わるものとして利用価値が高い。
(Example of using RAS marker)
As described above, by using the RAS marker according to the present invention, it is possible to measure the posture of the RAS marker more stably and accurately than the conventional AR marker. In particular, even when the marker and the camera that is the observation object of the marker are close to each other, the RAS marker can perform posture measurement more stably and accurately than the conventional AR marker. Therefore, the RAS marker according to the present invention is highly useful as an alternative to the conventional AR marker in applications that require more stable and accurate posture measurement.
図１７は、本発明に係る2つのRASマーカユニットを用いた距離計測の方法を示す図である。図１７に示されているように、２つのRASマーカユニット（RASマーカユニット１、RASマーカユニット２）との視線角度θ1、θ2を計測することにより、２つのRASマーカユニットの間の距離wが既知であれば、２つのRASマーカユニットを含む平面と視点（RASマーカユニットを観測する位置）との距離ｄを算出することができる。このように、複数のRASマーカユニットを効果的に組み合わせることにより、距離計測を行うことができる。 FIG. 17 is a diagram showing a distance measurement method using two RAS marker units according to the present invention. As shown in FIG. 17, the distance between two RAS marker units is measured by measuring the line-of-sight angles θ 1 and θ 2 with the two RAS marker units (RAS marker unit 1 and RAS marker unit 2). If w is known, the distance d between the plane including the two RAS marker units and the viewpoint (position where the RAS marker unit is observed) can be calculated. Thus, distance measurement can be performed by effectively combining a plurality of RAS marker units.
図１８は、本発明に係るRASマーカをロボットハンドの制御に利用している様子を示す図である。図１８に示されているように、RASマーカを観測することができるカメラを搭載するロボットハンドを、カメラにより計測されるRASマーカの黒ピークが所定の位置に来るように制御するだけで、操作対象物体に対する位置姿勢合わせを完了できる。このとき明示的な姿勢計測を行う必要はないため、シンプルな制御ルールによる作業現場での位置合わせが可能となる。 FIG. 18 is a diagram showing a state in which the RAS marker according to the present invention is used for controlling the robot hand. As shown in FIG. 18, a robot hand equipped with a camera capable of observing a RAS marker is operated simply by controlling the black peak of the RAS marker measured by the camera at a predetermined position. Position and orientation adjustment for the target object can be completed. At this time, since it is not necessary to perform explicit posture measurement, it is possible to perform alignment on the work site by a simple control rule.
図３４は、RASマーカをマーカとして用いないときの図２に示されているロボットタスクにおける車椅子の作業可能範囲について示す図である。図２に示されているようなロボットタスクを実現するシステムでは、マーカとして、ARToolKitPlusマーカが用いられてきた。しかし、図１５の（２）に示されているように、ARToolKitPlusマーカとカメラが正対している状態（回転角が0°の場合）において、ARToolKitPlusマーカから計測される回転角の情報の精度が悪い。このため、図２に示されているようなロボットタスクを実現するシステムでは、ARToolKitPlusマーカから計測される回転角の情報（姿勢情報）は用いられていなかった。 FIG. 34 is a diagram showing a workable range of the wheelchair in the robot task shown in FIG. 2 when the RAS marker is not used as a marker. In a system for realizing a robot task as shown in FIG. 2, an ARToolKitPlus marker has been used as a marker. However, as shown in (2) of FIG. 15, when the ARToolKitPlus marker and the camera are facing each other (when the rotation angle is 0 °), the accuracy of the rotation angle information measured from the ARToolKitPlus marker is bad. For this reason, in the system for realizing the robot task as shown in FIG. 2, the information on the rotation angle (posture information) measured from the ARToolKitPlus marker has not been used.
姿勢情報を用いることができないため、ARToolKitPlusマーカを用いた従来のシステムでは、ARToolKitPlusマーカと正対する姿勢で車椅子を位置決めしなければならない。このため、従来のシステムでは、ARToolKitPlusマーカと正対する姿勢で位置決めされた車椅子につけられたロボットハンドのカメラは、ARToolKitPlusマーカと正対しているという前提で、ロボットアームの軌道が生成されなければならない。このような制約のために、従来のシステムでは、冷蔵庫の扉開け動作のようなロボットタスクの成否は、車椅子の初期位置と姿勢に大きく依存してしまう。例えば、冷蔵庫の扉開け動作を成功させるために、従来のシステムでは、車椅子の初期位置と姿勢を、図３４の作業可能範囲３４０１に示されている範囲内にする必要があり、実用上の大きな制約となっている。 Since posture information cannot be used, in a conventional system using the ARToolKitPlus marker, the wheelchair must be positioned in a posture facing the ARToolKitPlus marker. For this reason, in the conventional system, the trajectory of the robot arm must be generated on the assumption that the camera of the robot hand attached to the wheelchair positioned in a posture facing the ARToolKitPlus marker is facing the ARToolKitPlus marker. Due to such restrictions, in a conventional system, the success or failure of a robot task such as a door opening operation of a refrigerator greatly depends on the initial position and posture of the wheelchair. For example, in order to successfully open the door of the refrigerator, the conventional system requires that the initial position and posture of the wheelchair be within the range shown in the workable range 3401 in FIG. It is a restriction.
ここで、図３４の作業可能範囲３４０１の記号の意味の一例が、図３４の定義３４０２に示されている。定義３４０２の記号３４０３は、○が車椅子の初期位置を表し、姿勢が、初期位置から冷蔵庫のハンドル方向から左に12°から右に6°であることを示している。 Here, an example of the meaning of the symbols of the workable range 3401 in FIG. 34 is shown in the definition 3402 in FIG. A symbol 3403 in the definition 3402 indicates that the initial position of the wheelchair is ◯, and the posture is 12 ° to the left and 6 ° to the right from the handle direction of the refrigerator from the initial position.
図３５は、本発明に係るRASマーカを用いたときの図２に示されているロボットタスクを実現するシステムにおける、ロボットハンドの位置決めのための制御アルゴリズムを説明するための図である。以下で説明する制御アルゴリズムを用いることより、車椅子の初期位置と姿勢についての制約を従来システムよりゆるめることができる。 FIG. 35 is a diagram for explaining a control algorithm for positioning the robot hand in the system for realizing the robot task shown in FIG. 2 when the RAS marker according to the present invention is used. By using the control algorithm described below, restrictions on the initial position and posture of the wheelchair can be relaxed compared to the conventional system.
図３５に基づく制御アルゴリズムは、以下の通りである。 The control algorithm based on FIG. 35 is as follows.
（１）車椅子の位置決め完了時におけるRASマーカ上で計測される黒ピークの位置の値ｐgoalを記録しておく。そして、車椅子の位置決め完了時におけるRASマーカとロボットハンドとの距離ｄgoalを記録しておく。ｄgoalは、例えば、RASマーカに含まれるARToolKitPlusマーカを利用することにより求めることができる。 (1) Record the black peak position value p goal measured on the RAS marker when the wheelchair positioning is completed. Then, the distance d goal between the RAS marker and the robot hand when the positioning of the wheelchair is completed is recorded. For example, d goal can be obtained by using an ARToolKitPlus marker included in the RAS marker.
（２）RASマーカとロボットハンドとの距離がｄgoalとなり、ロボットハンドの中心軸３５０１がRASマーカの中心３５０２を通るようにロボットハンドの位置と姿勢を修正する。 (2) The position and posture of the robot hand are corrected so that the distance between the RAS marker and the robot hand becomes d goal and the center axis 3501 of the robot hand passes through the center 3502 of the RAS marker.
（３）上記（２）のRASマーカとロボットハンドとの位置関係を保ちつつ、RASマーカ上で計測される現在の黒ピークの位置の値ｐcrntとｐgoalとの差が正の場合には、ロボットハンドの姿勢を-2°修正し、RASマーカ上で計測される現在の黒ピークの位置の値ｐcrntとｐgoalとの差が負の場合には、ロボットハンドの姿勢を+2°修正する。 (3) When the difference between the current black peak position value p crnt and p goal measured on the RAS marker is positive while maintaining the positional relationship between the RAS marker of (2) above and the robot hand If the robot hand posture is corrected by -2 ° and the difference between the current black peak position value p crnt and p goal measured on the RAS marker is negative, the robot hand posture is + 2 ° Correct it.
（４）｜ｐcrnt−ｐgoal｜＜９（視線角度の±1.5°に相当）となるまで、上記の（３）を繰り返す。 (4) The above (3) is repeated until | p crnt −p goal | <9 (corresponding to ± 1.5 ° of the line-of-sight angle).
上記の制御アルゴリズムでは、RASマーカで計測される黒ピークの位置を、角度の情報に変換せずに、ロボットハンドを制御するものである。しかし、上記の制御アルゴリズムを用いることにより、実用上の性能が十分な図２に示されているロボットタスクを実現するシステムを構築可能である。実際に、上記の制御アルゴリズムを用いることにより、２０パターンの初期位置から試行して、上記の制御アルゴリズムを用いて、１〜８回のロボットハンドの位置と姿勢の修正を繰り返すことにより、失敗なく、2°以内の精度でRASマーカに対するロボットハンドの位置決めをすることができる。 In the above control algorithm, the robot hand is controlled without converting the position of the black peak measured by the RAS marker into angle information. However, by using the above control algorithm, it is possible to construct a system that realizes the robot task shown in FIG. 2 with sufficient practical performance. In fact, by using the above control algorithm, it is possible to try from the initial position of 20 patterns, and by repeating the correction of the position and posture of the robot hand 1 to 8 times using the above control algorithm, without failure. The robot hand can be positioned with respect to the RAS marker with an accuracy of 2 ° or less.
図３６は、RASマーカを用いる前の車椅子の作業可能範囲と、RASマーカを用いた際の車椅子の作業可能範囲を比較した図である。図３６に示されているように、RASマーカを用いた際の車椅子の作業可能範囲３６０２は、RASマーカを用いる前の車椅子の作業可能範囲３６０１よりも拡大しており、RASマーカを用いることにより、車椅子の作業可能範囲を広げることができることがわかる。 FIG. 36 is a diagram comparing the workable range of the wheelchair before using the RAS marker and the workable range of the wheelchair when using the RAS marker. As shown in FIG. 36, the workable range 3602 of the wheelchair when using the RAS marker is larger than the workable range 3601 of the wheelchair before using the RAS marker. It can be seen that the workable range of the wheelchair can be expanded.
（その他のタイプのRASマーカ）
以上説明してきた、RASマーカは、図１９に示されているように、横軸１９０１の周りに回転し、RASマーカの濃淡パターンの移動方向が横軸１９０１の方向と直交する。
(Other types of RAS markers)
The RAS marker described above rotates around the horizontal axis 1901 as shown in FIG. 19, and the moving direction of the shading pattern of the RAS marker is orthogonal to the direction of the horizontal axis 1901.
一方、図２０に示されているようなタイプのRASマーカは、縦軸２００１の周りに回転し、RASマーカの濃淡パターンの移動方向が縦軸２００１の方向と同一である。白黒縞模様の黒色のライン方向に沿って少しずつ黒色のラインの位相がずれていくようにし、黒色のライン間の間隔はレンチキュラレンズの間隔と等しくすることで、図２０のタイプのRASマーカを作成することができる。図１９や図２０に示されているような、濃淡パターンの移動方向が異なる様々なタイプのRASマーカを、RASマーカを貼付する場所等の制約に応じて使い分けることができる。 On the other hand, the RAS marker of the type shown in FIG. 20 rotates around the vertical axis 2001, and the moving direction of the RAS marker gray pattern is the same as the direction of the vertical axis 2001. The RAS marker of the type shown in FIG. 20 can be obtained by making the black lines gradually shift in phase along the black line direction of the black and white striped pattern and making the interval between the black lines equal to the interval of the lenticular lens. Can be created. Various types of RAS markers having different shade pattern moving directions as shown in FIG. 19 and FIG. 20 can be used depending on restrictions such as where to attach the RAS marker.
（RASマーカユニットの数と、RASマーカと視点との位置関係について）
図２２は、図１１に示すような２つのRASマーカユニットを直交配置したRASマーカによって定まる観測視点の位置を示す。このタイプのRASマーカをカメラで観測することで、その観測視点が、それぞれのRASマーカユニットが定める視点平面（図９参照）の交線２２０１上に位置することが分かる。
(About the number of RAS marker units and the positional relationship between RAS markers and viewpoints)
FIG. 22 shows the position of the observation viewpoint determined by the RAS marker in which two RAS marker units as shown in FIG. 11 are orthogonally arranged. By observing this type of RAS marker with a camera, it is understood that the observation viewpoint is located on the intersection line 2201 of the viewpoint plane (see FIG. 9) defined by each RAS marker unit.
一方、図２３は３個のRASマーカユニットを正三角形状に配置したRASマーカによって定まる観測視点の位置を示す。このタイプのRASマーカをカメラで観測することで、その観測視点が、それぞれのRASマーカユニットが定める視点平面（図９参照）の交点２３０１上に位置することが分かる。このように、RASマーカユニットを３つ用いることで、３つのRASマーカユニットの濃淡パターンに基づいて、マーカと視点との相対位置関係（x,y,z）を定めることができる。 On the other hand, FIG. 23 shows the position of the observation viewpoint determined by the RAS marker in which three RAS marker units are arranged in a regular triangle shape. By observing this type of RAS marker with a camera, it can be seen that the observation viewpoint is located on the intersection 2301 of the viewpoint plane (see FIG. 9) defined by each RAS marker unit. Thus, by using three RAS marker units, the relative positional relationship (x, y, z) between the marker and the viewpoint can be determined based on the shading pattern of the three RAS marker units.
図１７、２２、２３を用いて説明したように、複数のRASマーカユニットの情報を融合することで距離を測定したり視点の位置を一意に定めることができる。 As described with reference to FIGS. 17, 22, and 23, the distance can be measured and the position of the viewpoint can be uniquely determined by fusing information of a plurality of RAS marker units.
（２次元化されたRASマーカ）
図３７は、２次元化されたRASマーカを示す図である。図３７に示されているように、２次元化されたRASマーカは、例えば、多数のレンズが２次元上に配列されたレンズアレイを、矢印３７０１の方向に、ドットパターンに貼り付けることにより作成される。ここで、レンズアレイに含まれるレンズは、例えば、凸レンズでもよい。また、ドットパターンは、例えば、紙に印刷されていてもよい。また、図３７に示されているレンズアレイの例では、一例としてレンズが蜂の巣状に配列されているが、例えば、レンズアレイにおいて、レンズの配列とドットパターンに含まれているドットの配列とが相似の関係にあれば、レンズが格子状に配列されていてもよい。また、図３７に示されているレンズアレイに含まれているレンズの形状は、一例として、円であるが、例えば、矩形でもよいし、凸レンズとして機能すればどのような形状でもよい。
(2D RAS marker)
FIG. 37 is a diagram showing a two-dimensionalized RAS marker. As shown in FIG. 37, a two-dimensional RAS marker is created by, for example, attaching a lens array in which a large number of lenses are arranged two-dimensionally to a dot pattern in the direction of an arrow 3701. Is done. Here, the lens included in the lens array may be, for example, a convex lens. The dot pattern may be printed on paper, for example. In the example of the lens array shown in FIG. 37, the lenses are arranged in a honeycomb shape as an example. For example, in the lens array, the arrangement of the lenses and the arrangement of dots included in the dot pattern are as follows. If there is a similar relationship, the lenses may be arranged in a grid. The lens shape included in the lens array shown in FIG. 37 is, for example, a circle, but may be a rectangle or any shape as long as it functions as a convex lens.
図３８は、２次元化されたRASマーカ３８００におけるレンズとドットパターンに含まれるドットの位置との位置関係を示す図である。図３８に示されているように、例えば、レンズ３８０１において、ドットの位置３８０２は、レンズの中心の位置３８０３からずれている。 FIG. 38 is a diagram showing the positional relationship between the lens in the two-dimensionalized RAS marker 3800 and the positions of dots included in the dot pattern. As shown in FIG. 38, for example, in the lens 3801, the dot position 3802 is deviated from the center position 3803 of the lens.
また、図３８に示されている例では、レンズの中心の間隔は、ドットパターンに含まれるドットの間隔よりも小さくなっている。そして、図３８に示されている例では、２次元化されたRASマーカ３８００の中心から離れた周囲の領域ほど、レンズの中心の位置とドットの位置の差が、レンズの半径の方向に大きくなっている。 In the example shown in FIG. 38, the distance between the centers of the lenses is smaller than the distance between the dots included in the dot pattern. In the example shown in FIG. 38, the difference between the center position of the lens and the position of the dot is larger in the direction of the lens radius in the surrounding area away from the center of the two-dimensional RAS marker 3800. It has become.
図３９は、２次元化されたRASマーカを観測する角度によって観測される濃淡パターンがどのように変化するかを示す図である。例えば、レンズの中心の間隔がドットパターンに含まれるドットの間隔よりも小さくなっている場合に、視線角度３９０１で、２次元化されたRASマーカを観測すると、濃淡パターン３９０３が観測される。また、例えば、レンズの中心の間隔がドットパターンに含まれるドットの間隔よりも小さくなっている場合に、視線角度３９０２で、２次元化されたRASマーカを観測すると、濃淡パターン３９０４が観測される。 FIG. 39 is a diagram showing how the shade pattern observed changes depending on the angle at which the two-dimensionalized RAS marker is observed. For example, when the two-dimensional RAS marker is observed at the line-of-sight angle 3901 when the distance between the centers of the lenses is smaller than the distance between the dots included in the dot pattern, a gray pattern 3903 is observed. Further, for example, when the two-dimensional RAS marker is observed at a line-of-sight angle 3902 when the distance between the centers of the lenses is smaller than the distance between the dots included in the dot pattern, a gray pattern 3904 is observed. .
図３９に示されているように、視線角度と、２次元化されたRASマーカ上で観測される濃淡パターンの位置が関連付いている。したがって、図３７に示されているように、２次元化されたRASマーカ上の濃淡パターンの位置３７０３を観測することにより、２次元化されたRASマーカを観測している視線３７０２の視線角度を計測することができる。 As shown in FIG. 39, the line-of-sight angle is associated with the position of the shading pattern observed on the two-dimensionalized RAS marker. Therefore, as shown in FIG. 37, by observing the position 3703 of the shading pattern on the two-dimensionalized RAS marker, the line-of-sight angle of the line of sight 3702 observing the two-dimensionalized RAS marker is obtained. It can be measured.
図４０は、２次元化されたRASマーカユニットの例を示す図である。図４０の２次元化されたRASマーカユニット４００１では、一例として、２次元化されたRASマーカユニット上の濃淡パターン表示部の周囲に３つの黒色の正方形の点と１つの黒色の正方形の線が設けられている。また、図４０の２次元化されたRASマーカユニット４００２では、一例として、２次元化されたRASマーカユニット上の濃淡パターン表示部の周囲に線が設けられている。また、図４０の２次元化されたRASマーカユニット４００２では、一例として、２次元化されたRASマーカユニット上の濃淡パターン表示部の周囲に線が設けられている。図４０の２次元化されたRASマーカユニット４００３では、一例として、２次元化されたRASマーカユニット上の濃淡パターン表示部の周囲に３つの黒色の円形の線と１つの黒色の円形の点が設けられている。 FIG. 40 is a diagram illustrating an example of a two-dimensionalized RAS marker unit. In the two-dimensionalized RAS marker unit 4001 of FIG. 40, as an example, three black square points and one black square line are formed around the shading pattern display portion on the two-dimensionalized RAS marker unit. Is provided. Also, in the two-dimensional RAS marker unit 4002 of FIG. 40, as an example, a line is provided around the shading pattern display portion on the two-dimensional RAS marker unit. Also, in the two-dimensional RAS marker unit 4002 of FIG. 40, as an example, a line is provided around the shading pattern display portion on the two-dimensional RAS marker unit. In the two-dimensionalized RAS marker unit 4003 of FIG. 40, as an example, three black circular lines and one black circular point are formed around the grayscale pattern display portion on the two-dimensionalized RAS marker unit. Is provided.
図４０に示されている２次元化されたRASマーカユニット上の濃淡パターン表示部の周囲の点や線の位置は、濃淡パターンの位置がどこにあるかを計測するときの基準となる位置とされてもよい。 The positions of the dots and lines around the light and shade pattern display section on the two-dimensional RAS marker unit shown in FIG. 40 are used as a reference position when measuring the position of the light and shade pattern. May be.
図４１は、２次元化されたRASマーカを観測する角度によって観測される濃淡パターンがどのように変化するかを示す図である。例えば、レンズの中心の間隔がドットパターンに含まれるドットの間隔よりも大きくなっている場合に、視線角度４１０１で、２次元化されたRASマーカを観測すると、濃淡パターン４１０３が観測される。また、例えば、レンズの中心の間隔がドットパターンに含まれるドットの間隔よりも小さくなっている場合に、視線角度４１０２で、２次元化されたRASマーカを観測すると、濃淡パターン４１０４が観測される。このように、レンズの中心の間隔がドットパターンに含まれるドットの間隔よりも大きくなっている場合には、レンズの中心の間隔がドットパターンに含まれるドットの間隔よりも小さくなっている場合とは、逆の方向に、視線角度を変えると、濃淡パターンが変化する。 FIG. 41 is a diagram showing how the density pattern observed changes depending on the angle at which the two-dimensionalized RAS marker is observed. For example, when the two-dimensional RAS marker is observed at the line-of-sight angle 4101 when the distance between the centers of the lenses is larger than the distance between the dots included in the dot pattern, the gray pattern 4103 is observed. Further, for example, when the two-dimensional RAS marker is observed at a line-of-sight angle 4102 when the distance between the centers of the lenses is smaller than the distance between the dots included in the dot pattern, a gray pattern 4104 is observed. . Thus, when the distance between the centers of the lenses is larger than the distance between the dots included in the dot pattern, the distance between the centers of the lenses is smaller than the distance between the dots included in the dot pattern. If the viewing angle is changed in the opposite direction, the shading pattern changes.
３０１ 軸
１００１ 軸
１０１０ 計測基準点
１０１１ 計測基準点
１０１２ 計測基準点
１０１３ 計測基準点
301 Axis 1001 Axis 1010 Measurement Reference Point 1011 Measurement Reference Point 1012 Measurement Reference Point 1013 Measurement Reference Point
Claims (20)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011155630A JP5842248B2 (en) | 2010-12-24 | 2011-07-14 | Marker |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010287944 | 2010-12-24 | ||
| JP2010287944 | 2010-12-24 | ||
| JP2011155630A JP5842248B2 (en) | 2010-12-24 | 2011-07-14 | Marker |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012145559A true JP2012145559A (en) | 2012-08-02 |
| JP2012145559A5 JP2012145559A5 (en) | 2014-08-14 |
| JP5842248B2 JP5842248B2 (en) | 2016-01-13 |
Family
ID=46789236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011155630A Active JP5842248B2 (en) | 2010-12-24 | 2011-07-14 | Marker |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5842248B2 (en) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014102246A (en) * | 2012-10-24 | 2014-06-05 | National Institute Of Advanced Industrial & Technology | Position attitude detection system |
| WO2015045834A1 (en) | 2013-09-30 | 2015-04-02 | 独立行政法人産業技術総合研究所 | Marker image processing system |
| JP2015194732A (en) * | 2014-03-18 | 2015-11-05 | 株式会社エンプラス | Image display body |
| WO2016024555A1 (en) * | 2014-08-12 | 2016-02-18 | 国立研究開発法人産業技術総合研究所 | Marker and attitude estimation method using marker |
| WO2017110779A1 (en) * | 2015-12-22 | 2017-06-29 | 株式会社エンプラス | Marker |
| WO2017138441A1 (en) | 2016-02-10 | 2017-08-17 | 株式会社エンプラス | Marker |
| WO2017146097A1 (en) | 2016-02-24 | 2017-08-31 | 株式会社エンプラス | Marker |
| WO2017212853A1 (en) * | 2016-06-09 | 2017-12-14 | 株式会社エンプラス | Marker |
| WO2018030063A1 (en) | 2016-08-09 | 2018-02-15 | 株式会社エンプラス | Marker |
| JP2018031731A (en) * | 2016-08-26 | 2018-03-01 | 株式会社エンプラス | Marker |
| WO2018051843A1 (en) * | 2016-09-13 | 2018-03-22 | 国立研究開発法人産業技術総合研究所 | Marker and attitude estimating method using marker |
| WO2018110114A1 (en) | 2016-12-12 | 2018-06-21 | 国立研究開発法人産業技術総合研究所 | Marker and marker manufacturing method |
| WO2018116954A1 (en) | 2016-12-22 | 2018-06-28 | 株式会社エンプラス | Marker |
| WO2018131679A1 (en) * | 2017-01-13 | 2018-07-19 | 株式会社エンプラス | Marker mounting unit and production method therefor |
| WO2018131680A1 (en) | 2017-01-13 | 2018-07-19 | 株式会社エンプラス | Marker mounting unit |
| WO2018131678A1 (en) | 2017-01-13 | 2018-07-19 | 株式会社エンプラス | Marker mounting unit |
| WO2018135491A1 (en) | 2017-01-17 | 2018-07-26 | 株式会社エンプラス | Marker |
| WO2018135063A1 (en) | 2017-01-17 | 2018-07-26 | 国立研究開発法人産業技術総合研究所 | Marker, and posture estimation method and position and posture estimation method using marker |
| WO2018147093A1 (en) | 2017-02-10 | 2018-08-16 | 株式会社エンプラス | Marker |
| WO2018193806A1 (en) | 2017-04-19 | 2018-10-25 | 株式会社エンプラス | Marker unit |
| WO2018212052A1 (en) | 2017-05-17 | 2018-11-22 | 株式会社エンプラス | Marker unit |
| WO2019026817A1 (en) | 2017-07-31 | 2019-02-07 | 株式会社エンプラス | Marker unit |
| JP2019056391A (en) * | 2017-09-20 | 2019-04-11 | 株式会社日立ビルシステム | Brake lining diagnostic system and brake lining diagnostic device |
| JP2019516081A (en) * | 2016-03-22 | 2019-06-13 | コー・ヤング・テクノロジー・インコーポレーテッド | Curved pattern marker and optical tracking device including the marker |
| US20190202057A1 (en) * | 2017-12-31 | 2019-07-04 | Sarcos Corp. | Covert Identification Tags Viewable By Robots and Robotic Devices |
| WO2020036150A1 (en) | 2018-08-15 | 2020-02-20 | 国立研究開発法人産業技術総合研究所 | Marker |
| US10591647B2 (en) | 2015-09-18 | 2020-03-17 | Enplas Corporation | Marker, method for manufacturing same, and optical component |
| US10684454B2 (en) | 2015-12-08 | 2020-06-16 | Enplas Corporation | Marker suppressing aberration |
| US10776945B2 (en) | 2015-07-23 | 2020-09-15 | Nec Corporation | Dimension measurement device, dimension measurement system, and dimension measurement method |
| JP2021143876A (en) * | 2020-03-10 | 2021-09-24 | 富士フイルムビジネスイノベーション株式会社 | Position detection system |
| WO2022091739A1 (en) * | 2020-10-26 | 2022-05-05 | 国立研究開発法人産業技術総合研究所 | Vertical apparatus |
| EP4339893A3 (en) * | 2016-11-22 | 2024-05-29 | Honeywell International Inc. | Nte display systems and methods with optical trackers |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH041866A (en) * | 1990-04-18 | 1992-01-07 | Toyobo Co Ltd | Method and device for image processing |
| JP2000227309A (en) * | 1999-02-04 | 2000-08-15 | Olympus Optical Co Ltd | Three-dimensional position posture sensing device |
| JP2001238894A (en) * | 2000-02-28 | 2001-09-04 | Olympus Optical Co Ltd | Device for locating inserting instrument |
| JP2002046400A (en) * | 2000-08-01 | 2002-02-12 | Yamatsukusu Kk | Virtual image developing decorator |
| JP2005103908A (en) * | 2003-09-30 | 2005-04-21 | Fancs:Kk | Silk screen process printed matter with visually dynamic effect and its printing method |
| JP2006267879A (en) * | 2005-03-25 | 2006-10-05 | Canon Inc | Image processing method, image processing apparatus and marker |
| JP2007313015A (en) * | 2006-05-25 | 2007-12-06 | Nippon Seimitsu Sokki Kk | Wrist hemodynamometer |
| JP2009092568A (en) * | 2007-10-10 | 2009-04-30 | Fuji Xerox Co Ltd | Object recognizing device, object to be recognized, and program |
| JP2009294048A (en) * | 2008-06-04 | 2009-12-17 | Yokohama Rubber Co Ltd:The | Behavior measuring device of moving body, and behavior measuring method of moving body |
-
2011
- 2011-07-14 JP JP2011155630A patent/JP5842248B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH041866A (en) * | 1990-04-18 | 1992-01-07 | Toyobo Co Ltd | Method and device for image processing |
| JP2000227309A (en) * | 1999-02-04 | 2000-08-15 | Olympus Optical Co Ltd | Three-dimensional position posture sensing device |
| JP2001238894A (en) * | 2000-02-28 | 2001-09-04 | Olympus Optical Co Ltd | Device for locating inserting instrument |
| JP2002046400A (en) * | 2000-08-01 | 2002-02-12 | Yamatsukusu Kk | Virtual image developing decorator |
| JP2005103908A (en) * | 2003-09-30 | 2005-04-21 | Fancs:Kk | Silk screen process printed matter with visually dynamic effect and its printing method |
| JP2006267879A (en) * | 2005-03-25 | 2006-10-05 | Canon Inc | Image processing method, image processing apparatus and marker |
| JP2007313015A (en) * | 2006-05-25 | 2007-12-06 | Nippon Seimitsu Sokki Kk | Wrist hemodynamometer |
| JP2009092568A (en) * | 2007-10-10 | 2009-04-30 | Fuji Xerox Co Ltd | Object recognizing device, object to be recognized, and program |
| JP2009294048A (en) * | 2008-06-04 | 2009-12-17 | Yokohama Rubber Co Ltd:The | Behavior measuring device of moving body, and behavior measuring method of moving body |
Cited By (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014102246A (en) * | 2012-10-24 | 2014-06-05 | National Institute Of Advanced Industrial & Technology | Position attitude detection system |
| WO2015045834A1 (en) | 2013-09-30 | 2015-04-02 | 独立行政法人産業技術総合研究所 | Marker image processing system |
| JPWO2015045834A1 (en) * | 2013-09-30 | 2017-03-09 | 国立研究開発法人産業技術総合研究所 | Marker image processing system |
| US10262429B2 (en) | 2013-09-30 | 2019-04-16 | National Institute Of Advanced Industrial Science | Marker image processing system |
| JP2015194732A (en) * | 2014-03-18 | 2015-11-05 | 株式会社エンプラス | Image display body |
| US10126537B2 (en) | 2014-03-18 | 2018-11-13 | Enplas Corporation | Marker |
| US10156709B2 (en) | 2014-03-18 | 2018-12-18 | Enplas Corporation | Marker |
| WO2016024555A1 (en) * | 2014-08-12 | 2016-02-18 | 国立研究開発法人産業技術総合研究所 | Marker and attitude estimation method using marker |
| US10776945B2 (en) | 2015-07-23 | 2020-09-15 | Nec Corporation | Dimension measurement device, dimension measurement system, and dimension measurement method |
| US10591647B2 (en) | 2015-09-18 | 2020-03-17 | Enplas Corporation | Marker, method for manufacturing same, and optical component |
| US10684454B2 (en) | 2015-12-08 | 2020-06-16 | Enplas Corporation | Marker suppressing aberration |
| CN108431546A (en) * | 2015-12-22 | 2018-08-21 | 恩普乐股份有限公司 | Marker |
| WO2017110779A1 (en) * | 2015-12-22 | 2017-06-29 | 株式会社エンプラス | Marker |
| JPWO2017110779A1 (en) * | 2015-12-22 | 2018-10-11 | 株式会社エンプラス | Marker |
| WO2017138441A1 (en) | 2016-02-10 | 2017-08-17 | 株式会社エンプラス | Marker |
| US10663293B2 (en) | 2016-02-24 | 2020-05-26 | Enplas Corporation | Marker formed of optically transparent material |
| WO2017146097A1 (en) | 2016-02-24 | 2017-08-31 | 株式会社エンプラス | Marker |
| JPWO2017146097A1 (en) * | 2016-02-24 | 2018-12-20 | 株式会社エンプラス | Marker |
| JP2019516081A (en) * | 2016-03-22 | 2019-06-13 | コー・ヤング・テクノロジー・インコーポレーテッド | Curved pattern marker and optical tracking device including the marker |
| US10859789B2 (en) | 2016-03-22 | 2020-12-08 | Koh Young Technology Inc. | Curved pattern marker and optical tracking device including marker |
| JPWO2017212853A1 (en) * | 2016-06-09 | 2019-04-04 | 株式会社エンプラス | Marker |
| CN109313012A (en) * | 2016-06-09 | 2019-02-05 | 恩普乐股份有限公司 | Marker |
| WO2017212853A1 (en) * | 2016-06-09 | 2017-12-14 | 株式会社エンプラス | Marker |
| WO2018030063A1 (en) | 2016-08-09 | 2018-02-15 | 株式会社エンプラス | Marker |
| US10508904B2 (en) | 2016-08-09 | 2019-12-17 | Enplas Corporation | Marker |
| CN109642790A (en) * | 2016-08-09 | 2019-04-16 | 恩普乐股份有限公司 | Marker |
| JP2018031731A (en) * | 2016-08-26 | 2018-03-01 | 株式会社エンプラス | Marker |
| WO2018037829A1 (en) * | 2016-08-26 | 2018-03-01 | 株式会社エンプラス | Marker |
| WO2018051843A1 (en) * | 2016-09-13 | 2018-03-22 | 国立研究開発法人産業技術総合研究所 | Marker and attitude estimating method using marker |
| CN109716061B (en) * | 2016-09-13 | 2020-12-01 | 国立研究开发法人产业技术综合研究所 | Marker and posture estimation method using same |
| JPWO2018051843A1 (en) * | 2016-09-13 | 2019-06-24 | 国立研究開発法人産業技術総合研究所 | Pose estimation method using markers and markers |
| US11030770B2 (en) | 2016-09-13 | 2021-06-08 | National Institute Of Advanced Industrial Science And Technology | Marker and posture estimating method using marker |
| CN109716061A (en) * | 2016-09-13 | 2019-05-03 | 国立研究开发法人产业技术综合研究所 | Marker and the posture presumption method for having used marker |
| EP4339893A3 (en) * | 2016-11-22 | 2024-05-29 | Honeywell International Inc. | Nte display systems and methods with optical trackers |
| JPWO2018110114A1 (en) * | 2016-12-12 | 2019-07-18 | 国立研究開発法人産業技術総合研究所 | Marker and marker manufacturing method |
| EP3553462A4 (en) * | 2016-12-12 | 2020-07-22 | National Institute of Advanced Industrial Science and Technology | Marker and marker manufacturing method |
| US11391565B2 (en) | 2016-12-12 | 2022-07-19 | National Institute Of Advanced Industrial Science And Technology | Marker and marker manufacturing method |
| WO2018110114A1 (en) | 2016-12-12 | 2018-06-21 | 国立研究開発法人産業技術総合研究所 | Marker and marker manufacturing method |
| CN110036256A (en) * | 2016-12-12 | 2019-07-19 | 国立研究开发法人产业技术综合研究所 | The manufacturing method of marker and marker |
| WO2018116954A1 (en) | 2016-12-22 | 2018-06-28 | 株式会社エンプラス | Marker |
| JP2018116036A (en) * | 2017-01-13 | 2018-07-26 | 株式会社エンプラス | Unit for mounting marker |
| WO2018131678A1 (en) | 2017-01-13 | 2018-07-19 | 株式会社エンプラス | Marker mounting unit |
| JP2018116037A (en) * | 2017-01-13 | 2018-07-26 | 株式会社エンプラス | Unit for mounting marker and method for manufacturing the same |
| WO2018131680A1 (en) | 2017-01-13 | 2018-07-19 | 株式会社エンプラス | Marker mounting unit |
| JP2018116035A (en) * | 2017-01-13 | 2018-07-26 | 株式会社エンプラス | Unit for mounting marker |
| US20200116477A1 (en) * | 2017-01-13 | 2020-04-16 | Enplas Corporation | Marker mounting unit |
| CN110177994A (en) * | 2017-01-13 | 2019-08-27 | 恩普乐股份有限公司 | Mark installment unit |
| CN110192078A (en) * | 2017-01-13 | 2019-08-30 | 恩普乐股份有限公司 | Mark installment unit |
| WO2018131679A1 (en) * | 2017-01-13 | 2018-07-19 | 株式会社エンプラス | Marker mounting unit and production method therefor |
| CN110140023A (en) * | 2017-01-17 | 2019-08-16 | 国立研究开发法人产业技术综合研究所 | Marker and the posture presumption method and posture presumption method for having used marker |
| US10928191B2 (en) | 2017-01-17 | 2021-02-23 | National Institute Of Advanced Industrial Science And Technology | Marker, and posture estimation method and position and posture estimation method using marker |
| CN110168309A (en) * | 2017-01-17 | 2019-08-23 | 恩普乐股份有限公司 | Label |
| JPWO2018135063A1 (en) * | 2017-01-17 | 2019-07-18 | 国立研究開発法人産業技術総合研究所 | Pose estimation method and position pose estimation method using a marker and a marker |
| CN110140023B (en) * | 2017-01-17 | 2021-07-30 | 国立研究开发法人产业技术综合研究所 | Marker, and attitude estimation method and position/attitude estimation method using same |
| WO2018135491A1 (en) | 2017-01-17 | 2018-07-26 | 株式会社エンプラス | Marker |
| WO2018135063A1 (en) | 2017-01-17 | 2018-07-26 | 国立研究開発法人産業技術総合研究所 | Marker, and posture estimation method and position and posture estimation method using marker |
| WO2018147093A1 (en) | 2017-02-10 | 2018-08-16 | 株式会社エンプラス | Marker |
| WO2018193806A1 (en) | 2017-04-19 | 2018-10-25 | 株式会社エンプラス | Marker unit |
| WO2018212052A1 (en) | 2017-05-17 | 2018-11-22 | 株式会社エンプラス | Marker unit |
| WO2019026817A1 (en) | 2017-07-31 | 2019-02-07 | 株式会社エンプラス | Marker unit |
| JP2019056391A (en) * | 2017-09-20 | 2019-04-11 | 株式会社日立ビルシステム | Brake lining diagnostic system and brake lining diagnostic device |
| US11413755B2 (en) * | 2017-12-31 | 2022-08-16 | Sarcos Corp. | Covert identification tags viewable by robots and robotic devices |
| US20190202057A1 (en) * | 2017-12-31 | 2019-07-04 | Sarcos Corp. | Covert Identification Tags Viewable By Robots and Robotic Devices |
| JPWO2020036150A1 (en) * | 2018-08-15 | 2021-06-03 | 国立研究開発法人産業技術総合研究所 | Marker |
| JP7001294B2 (en) | 2018-08-15 | 2022-01-19 | 国立研究開発法人産業技術総合研究所 | Marker |
| EP3839419A4 (en) * | 2018-08-15 | 2022-05-04 | National Institute Of Advanced Industrial Science And Technology | Marker |
| US11378392B2 (en) | 2018-08-15 | 2022-07-05 | National Institute Of Advanced Industrial Science And Technology | Marker |
| WO2020036150A1 (en) | 2018-08-15 | 2020-02-20 | 国立研究開発法人産業技術総合研究所 | Marker |
| CN112567200A (en) * | 2018-08-15 | 2021-03-26 | 国立研究开发法人产业技术综合研究所 | Marker substance |
| JP2021143876A (en) * | 2020-03-10 | 2021-09-24 | 富士フイルムビジネスイノベーション株式会社 | Position detection system |
| WO2022091739A1 (en) * | 2020-10-26 | 2022-05-05 | 国立研究開発法人産業技術総合研究所 | Vertical apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5842248B2 (en) | 2016-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5842248B2 (en) | Marker | |
| JP6083747B2 (en) | Position and orientation detection system | |
| EP2188589B1 (en) | System and method for three-dimensional measurement of the shape of material objects | |
| CN102773862B (en) | Quick and accurate locating system used for indoor mobile robot and working method thereof | |
| EP3115741A1 (en) | Position measurement device and position measurement method | |
| WO2015045834A1 (en) | Marker image processing system | |
| US20110019243A1 (en) | Stereoscopic form reader | |
| Tanaka et al. | Avisual marker for precise pose estimation based on lenticular lenses | |
| US20160371855A1 (en) | Image based measurement system | |
| US9971455B2 (en) | Spatial coordinate identification device | |
| CN202702247U (en) | Rapid and accurate positioning system used for indoor mobile robot | |
| CN111872544B (en) | Calibration method and device for laser light-emitting indication point and galvanometer coaxial vision system | |
| EP3048555B1 (en) | Image processing device, image processing method, and image processing program | |
| US10326894B1 (en) | Self stabilizing projector | |
| US8982101B2 (en) | Optical touch system and optical touch-position detection method | |
| JP5715793B2 (en) | Image processing apparatus and image processing method | |
| CN116250017A (en) | Systems, methods, and media for directly restoring planar surfaces in a scene using structured light | |
| KR101949046B1 (en) | Handwriting input device | |
| WO2021117793A1 (en) | Survey system and survey method | |
| Ribeiro et al. | Retro-reflective-marker-aided target pose estimation in a safety-critical environment | |
| CN103376897A (en) | Method and device for ascertaining a gesture performed in the light cone of a projected image | |
| US9268415B2 (en) | Touch positioning method utilizing optical identification (OID) technology, OID positioning system and OID reader | |
| CN116843748A (en) | Remote two-dimensional code and object space pose acquisition method and system thereof | |
| US20130241882A1 (en) | Optical touch system and optical touch position detecting method | |
| US9842402B1 (en) | Detecting foreground regions in panoramic video frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140625 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150508 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151023 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5842248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |