JP4984650B2 - Mobile device and self-position estimation method of mobile device - Google Patents
Mobile device and self-position estimation method of mobile device Download PDFInfo
- Publication number
- JP4984650B2 JP4984650B2 JP2006149404A JP2006149404A JP4984650B2 JP 4984650 B2 JP4984650 B2 JP 4984650B2 JP 2006149404 A JP2006149404 A JP 2006149404A JP 2006149404 A JP2006149404 A JP 2006149404A JP 4984650 B2 JP4984650 B2 JP 4984650B2
- Authority
- JP
- Japan
- Prior art keywords
- self
- image data
- mobile device
- landmark
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000005457 optimization Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 150000001875 compounds Chemical class 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Description
本発明は、作業環境を自律的に移動する移動ロボット等の移動装置の自己位置推定方法に関する。 The present invention relates to a self-position estimation method for a mobile device such as a mobile robot that autonomously moves in a work environment.
作業環境内を自律的に移動する移動ロボットの自己位置推定の方法として、外界観測による自己位置推定法が知られている（例えば特許文献１を参照）。具体的には、作業空間内に存在するランドマークの位置を地図情報として予め移動ロボットに記憶させておき、作業環境中において位置が既知であるランドマークを観測することにより、観測したランドマークとの相対的な位置関係から自己位置の算出を行うものである。ランドマークとしては、作業環境に元々存在している壁面などの自然特徴のほか、人工的に作業環境に配置した標識が用いられる。 As a self-position estimation method for a mobile robot that moves autonomously in a work environment, a self-position estimation method based on external observation is known (see, for example, Patent Document 1). Specifically, the position of the landmark existing in the work space is stored in advance as map information in the mobile robot, and by observing the landmark whose position is known in the work environment, The self-position is calculated from the relative positional relationship. As the landmark, in addition to natural features such as wall surfaces that originally exist in the work environment, signs that are artificially arranged in the work environment are used.
また、ランドマークを観測する手法としては、レーザレンジファインダ等のアクティブ距離センサを用いる手法や、カメラで撮像した画像データを利用する手法が一般的である。アクティブ距離センサの代表例であるレーザレンジファインダを用いる手法は、レーザ光を周囲に照射し、その反射光を観測することによって得たレンジデータを地図情報として予め記憶された三次元形状データと照合することによって自己位置を推定する。一方、カメラで撮像した画像データを利用する手法は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子を備えたカメラによって周囲環境を撮像し、得られた画像データに含まれるランドマークを基準点として抽出し、幾何的な演算によってランドマークと撮像位置との距離を算出して自己位置を推定する。
上述したようにランドマークを観測する方法には、レーザレンジファインダ等のアクティブ距離センサを用いる方法、カメラを用いる方法等がある。しかしながら、これらの方法はあらゆる作業環境において十分な観測精度が得られるとは限らない。例えば、レーザレンジファインダは、障害物が多い環境や、作業環境内に反射率の高い物体や黒色物体が多い場合などには三次元形状データとの照合精度が低下するため、このような環境下では自己位置推定の精度が低下する。また、カメラで撮像した画像データを用いる方法では、照明が暗くコントラストの高い濃淡画像が得られない場合などには、画像データから基準点となるランドマークを正確に抽出することとが困難であるため、このような環境下では自己位置推定の精度の低下を招く。つまり、１つの観測手法に依存して自己位置推定を行ったのでは、様々な環境下において自己位置推定の精度を高めることは困難である。 As described above, the method for observing the landmark includes a method using an active distance sensor such as a laser range finder and a method using a camera. However, these methods do not always provide sufficient observation accuracy in all work environments. For example, the laser range finder reduces the accuracy of collation with 3D shape data when there are many obstacles or when there are many highly reflective or black objects in the work environment. Then, the accuracy of self-position estimation decreases. In addition, in the method using image data captured by a camera, it is difficult to accurately extract a landmark serving as a reference point from image data when the illumination is dark and a high-contrast gray image cannot be obtained. Therefore, in such an environment, the accuracy of self-position estimation is reduced. In other words, if self-position estimation is performed depending on one observation method, it is difficult to increase the accuracy of self-position estimation under various environments.
本発明は、上述した事情を考慮してなされたものであり、自律移動ロボットに代表される移動装置において自己位置推定を行う際の推定精度の向上を目的とする。 The present invention has been made in consideration of the above-described circumstances, and an object thereof is to improve estimation accuracy when performing self-position estimation in a mobile device typified by an autonomous mobile robot.
本発明にかかる移動装置は、作業環境を自律移動する移動装置であって、前記作業環境の地図情報を格納した記憶部と、前記作業環境内に存在する物体との距離を計測してレンジデータを生成する距離センサと、前記作業環境内に存在する物体を撮像した画像データを生成するカメラ部と、前記レンジデータを前記地図情報に含まれる形状データと照合することによって、当該移動装置の自己位置を推定する第１の推定手段と、前記画像データからランドマークを検出し、検出したランドマークの画像上での位置情報及び前記地図情報に含まれる前記作業空間におけるランドマークの位置情報を用いた演算によって、当該移動装置の自己位置を推定する第２の推定手段と、当該移動装置の周囲環境に応じて、前記第１の推定手段及び前記第２の推定手段の信頼度を決定する信頼度決定手段と、前記第１の推定手段による推定結果と前記第２の推定手段による推定結果とを、前記信頼度決定手段によって決定された信頼度に応じた重み付けを行って統合することにより、当該移動装置の自己位置を決定する自己位置決定手段とを備える。 A mobile device according to the present invention is a mobile device that autonomously moves in a work environment, and measures range data by measuring a distance between a storage unit storing map information of the work environment and an object existing in the work environment. By comparing the range data with the shape data included in the map information, and by comparing the range data with the shape data included in the map information. First estimation means for estimating a position, a landmark is detected from the image data, and the position information of the detected landmark on the image and the position information of the landmark in the work space included in the map information are used. Second estimation means for estimating the self-position of the mobile device by calculation, and the first estimation means and the second estimation device according to the surrounding environment of the mobile device. The reliability determination means for determining the reliability of the estimation means, the estimation result by the first estimation means, and the estimation result by the second estimation means are in accordance with the reliability determined by the reliability determination means. Self-position determining means for determining the self-position of the mobile device by performing weighting and integration.
このように本発明にかかる移動装置は、カメラ部によって撮像した画像データ及び距離センサによって取得したレンジデータの双方を用いて自己位置の推定を行うものである。さらに当該移動装置は、周囲環境を応じて画像データによる自己位置推定及びレンジデータによる自己位置推定の信頼度を決定し、決定した信頼度を反映して２つの自己位置推定手段の結果を統合して最終的な自己位置を決定するものである。このため、１つの観測手法に依存して自己位置推定を行う場合に比べて、様々な環境下において自己位置推定の精度を高めることができる。 As described above, the mobile device according to the present invention performs self-position estimation using both the image data captured by the camera unit and the range data acquired by the distance sensor. Furthermore, the mobile device determines the reliability of the self-position estimation based on the image data and the self-position estimation based on the range data according to the surrounding environment, and integrates the results of the two self-position estimation means reflecting the determined reliability. The final self-position is determined. For this reason, compared with the case where self-position estimation is performed depending on one observation method, the accuracy of self-position estimation can be improved under various environments.
また、上述した本発明にかかる移動装置において、前記自己位置決定手段は、前記第１の推定手段による自己位置推定の誤差と前記第２の推定手段による自己位置推定の誤差とを含む目的関数を、前記第１の推定手段及び前記第２の推定手段の信頼度を反映して決定し、決定した目的関数を最適化して得られる前記作業空間内での位置を当該移動装置の自己位置としてもよい。 In the above-described mobile device according to the present invention, the self-position determining means has an objective function including an error of self-position estimation by the first estimation means and an error of self-position estimation by the second estimation means. The position in the work space obtained by optimizing the reliability of the first estimation unit and the second estimation unit and obtained by optimizing the determined objective function may be the self-position of the mobile device. Good.
ここで、前記第１の推定手段による自己位置推定の誤差は、前記レンジデータと前記形状データとの位置合わせ誤差とし、前記第２の推定手段による自己位置推定の誤差は、前記画像データへのランドマークの再投影誤差とすることができる。 Here, the error of self-position estimation by the first estimation means is a registration error between the range data and the shape data, and the error of self-position estimation by the second estimation means is an error to the image data. It can be a reprojection error of the landmark.
また、前記信頼度決定手段は、前記作業環境の明るさに基づいて、前記第１の推定手段及び前記第２の推定手段の信頼度を決定してもよい。これにより、例えば、照明が暗いために画像データのコントラストが不十分である等のために、画像データによる自己位置推定の信頼度を低下させること等が可能となる。 The reliability determination unit may determine the reliability of the first estimation unit and the second estimation unit based on brightness of the work environment. This makes it possible to reduce the reliability of self-position estimation based on image data because, for example, the contrast of the image data is insufficient due to dark illumination.
また、前記カメラ部は、複数の異なる位置から撮像した複数の画像データを生成するものとしてもよい。さらに、前記第２の推定手段は、前記画像データに含まれるランドマークの数及び前記画像データに含まれるランドマークの画像上での距離の少なくとも一方に基づいて、前記複数の画像データから自己位置の推定に用いる画像データを選択してもよい。これにより、自己位置推定に適した画像データを選択して、自己位置推定を行うことができる。 Further, the camera unit may generate a plurality of image data captured from a plurality of different positions. Further, the second estimation means is configured to self-position from the plurality of image data based on at least one of the number of landmarks included in the image data and a distance of the landmarks included in the image data on the image. You may select the image data used for estimation. Thereby, image data suitable for self-position estimation can be selected and self-position estimation can be performed.
さらに、前記第２の推定手段は、自己位置の推定に用いる画像データを選択した上で、複数の画像データを用いる場合と１の画像データを用いる場合とで、異なる演算によって自己位置を算出してもよい。 Further, the second estimating means selects the image data to be used for estimating the self-position, and calculates the self-position by different calculation depending on whether a plurality of image data is used or one image data is used. May be.
一方、本発明にかかる自己位置推定方法は、作業環境の地図情報を格納した記憶部を有し、作業環境を自律的に移動する移動装置が行う自己位置推定方法である。具体的には、距離センサによって取得したレンジデータを、前記地図情報に含まれる形状データと照合することによって第１の自己位置推定値を算出する。また、カメラによって撮像した画像データからランドマークを検出し、検出したランドマークの画像上での位置情報及び前記地図情報に含まれるランドマークの前記作業空間における位置情報を用いた演算によって第２の自己位置推定値を算出する。さらに、前記移動装置の周囲環境に応じて、前記第１の自己位置推定値及び前記第２の自己位置推定値の信頼度を決定し、前記第１の自己位置推定値及び前記第２の自己位置推定値を、決定した信頼度に応じた重み付けにより統合した値を自己位置とする。 On the other hand, the self-position estimation method according to the present invention is a self-position estimation method performed by a mobile device that has a storage unit that stores map information of a work environment and moves autonomously in the work environment. Specifically, the first self-position estimation value is calculated by collating the range data acquired by the distance sensor with the shape data included in the map information. In addition, a landmark is detected from image data captured by the camera, and a second calculation is performed by using the position information of the detected landmark on the image and the position information of the landmark included in the map information in the work space. A self-position estimate is calculated. Further, the reliability of the first self-position estimate value and the second self-position estimate value is determined according to the surrounding environment of the mobile device, and the first self-position estimate value and the second self-position estimate value are determined. A value obtained by integrating the position estimation values by weighting according to the determined reliability is defined as a self-position.
このように、本発明にかかる自己位置推定方法は、周囲環境を応じて画像データによる自己位置推定及びレンジデータによる自己位置推定の信頼度を決定し、決定した信頼度を反映して２つの自己位置推定手段の結果を統合して最終的な自己位置を決定するものである。このため、１つの観測手法に依存して自己位置推定を行う場合に比べて、様々な環境下において自己位置推定の精度を高めることができる。 As described above, the self-position estimation method according to the present invention determines the reliability of the self-position estimation based on the image data and the self-position estimation based on the range data in accordance with the surrounding environment, and reflects the determined reliability. The final self-position is determined by integrating the results of the position estimation means. For this reason, compared with the case where self-position estimation is performed depending on one observation method, the accuracy of self-position estimation can be improved under various environments.
また、本発明にかかる他の自己位置推定方法は、作業環境の地図情報を格納した記憶部を有し、作業環境を自律的に移動する移動装置が行う自己位置推定方法であって、まず、距離センサによって前記作業環境内に存在する物体との距離を計測したレンジデータ、及び、カメラによって前記作業環境内に存在する物体を撮像した画像データを入力する。次に、i）前記レンジデータを前記地図情報に含まれる形状データと照合することにより推定した自己位置の第１の誤差と、ii）前記画像データから検出したランドマークの画像上での位置情報及び前記地図情報に含まれるランドマークの前記作業空間における位置情報を用いた演算により推定した自己位置の第２の誤差とを含む目的関数を、当該移動装置の周囲環境に応じて決定し、決定した目的関数を最適化して得られる前記作業空間内での位置を当該移動装置の自己位置とする。 Another self-position estimation method according to the present invention is a self-position estimation method performed by a mobile device that has a storage unit that stores map information of a work environment and autonomously moves in the work environment. Range data obtained by measuring a distance from an object present in the work environment by a distance sensor and image data obtained by imaging the object present in the work environment by a camera are input. Next, i) a first error of the self-position estimated by comparing the range data with the shape data included in the map information, and ii) position information on the landmark image detected from the image data And an objective function including the second error of the self-position estimated by the calculation using the position information of the landmark included in the map information in the work space, according to the surrounding environment of the mobile device, The position in the work space obtained by optimizing the objective function is set as the self position of the moving device.
このように、画像データ及びレンジデータの信頼度を反映した目的関数を最適化することにより自己位置を推定することにより、１つの観測手法に依存して自己位置推定を行う場合に比べて、様々な環境下において自己位置推定の精度を高めることができる。 In this way, by estimating the self-position by optimizing the objective function reflecting the reliability of the image data and the range data, there are various cases compared to the case where self-position estimation is performed depending on one observation method. The accuracy of self-position estimation can be improved in a difficult environment.
本発明により、自己位置推定の精度を向上させた移動装置及び移動装置の自己位置推定方法を提供することができる。 According to the present invention, it is possible to provide a mobile device and a self-position estimation method for the mobile device that improve the accuracy of self-position estimation.
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。なお、以下に示す実施の形態は、自律移動ロボットに対して本発明を適用したものである。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In the drawings, the same elements are denoted by the same reference numerals, and redundant description will be omitted as necessary for the sake of clarity. In the following embodiment, the present invention is applied to an autonomous mobile robot.
発明の実施の形態１．
本実施の形態にかかるロボット１の要部構成を図１に示す。ロボット１は、カメラ部１０１及びレーザレンジファインダ１０７の２つのセンサによって外界の情報を入力し、これら２つのセンサによって取得した画像データ及びレンジデータの夫々に基づいて自己位置推定を行うことができる。さらに、外部環境に応じて２つの推定結果の信頼度を決定し、決定した信頼度を反映した重み付けを行って２つの推定結果を統合することにより、最終的な自己位置推定の結果を得るものである。以下では、図１を参照してロボット１が有する各機能ブロックについて説明する。
Embodiment 1 of the Invention
FIG. 1 shows a main configuration of the robot 1 according to the present embodiment. The robot 1 can input information of the outside world by two sensors, the camera unit 101 and the laser range finder 107, and can perform self-position estimation based on each of image data and range data acquired by these two sensors. Further, the reliability of the two estimation results is determined according to the external environment, and the weighting reflecting the determined reliability is performed and the two estimation results are integrated to obtain the final self-position estimation result. It is. Hereinafter, each functional block of the robot 1 will be described with reference to FIG.
カメラ部１０１は、２台のカメラ１０１ａ及び１０１ｂを有する。カメラ１０１ａ及び１０１ｂはそれぞれ、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子を備えており、外界を撮像して得たデジタル画像データをランドマーク検出部１０２に出力する。 The camera unit 101 includes two cameras 101a and 101b. Each of the cameras 101 a and 101 b includes an image sensor such as a CCD image sensor or a CMOS image sensor, and outputs digital image data obtained by imaging the outside world to the landmark detection unit 102.
ランドマーク検出部１０２は、カメラ部１０１から画像データを入力し、画像中に含まれる複数のランドマークを検出する。上述したように、ランドマークとは、自律移動ロボットが移動する環境に固定された基準点であり、作業環境に元々存在している壁面などの自然特徴のほか、人工的に作業環境に配置した標識を用いてもよい。作業空間内に存在するランドマークの位置及びランドマークの形状を示す情報は、地図情報として予め記憶部１０６に格納されている。具体例を示すと、ランドマークの様々な見え方を示すテンプレート画像を記憶部１０６に格納しておき、これらのテンプレート画像と撮像された画像データとの相関検出、パターンマッチング等によってランドマークを検出することができる。 The landmark detection unit 102 receives image data from the camera unit 101 and detects a plurality of landmarks included in the image. As mentioned above, a landmark is a reference point that is fixed in the environment in which the autonomous mobile robot moves. In addition to natural features such as walls that originally exist in the work environment, it is artificially placed in the work environment. A label may be used. Information indicating the position of the landmark and the shape of the landmark existing in the work space is stored in advance in the storage unit 106 as map information. Specifically, template images showing various appearances of landmarks are stored in the storage unit 106, and landmarks are detected by correlation detection, pattern matching, etc. between these template images and captured image data. can do.
三次元位置算出部１０３は、ランドマーク検出部１０２において検出した画像データ上でのランドマーク位置を用いて、カメラ座標系でのランドマークの三次元位置を算出する。ここで、カメラ座標系とは、カメラ部１０１に固定された座標系である。なお、カメラ座標系でのランドマークの三次元位置の算出は、例えば、２つのカメラ１０１ａ及び１０１ｂによって撮影された２つの画像のステレオ視によって、ランドマークまでの距離を獲得することにより算出できる。 The three-dimensional position calculation unit 103 calculates the three-dimensional position of the landmark in the camera coordinate system using the landmark position on the image data detected by the landmark detection unit 102. Here, the camera coordinate system is a coordinate system fixed to the camera unit 101. Note that the three-dimensional position of the landmark in the camera coordinate system can be calculated by acquiring the distance to the landmark by, for example, stereo viewing of two images taken by the two cameras 101a and 101b.
自己位置推定部１０４は、三次元位置算出部１０３において算出した２以上のランドマークのカメラ座標系での位置、及び作業区間に固定された座標系（以下、世界座標系と呼ぶ）でのランドマーク位置を用いて、世界座標系でのロボット位置を算出する。なお、ランドマークの世界座標系での位置は、地図情報として予め記憶部１０６に格納された情報である。 The self-position estimation unit 104 determines the positions of two or more landmarks calculated by the three-dimensional position calculation unit 103 in the camera coordinate system and the lands in a coordinate system (hereinafter referred to as a world coordinate system) fixed to the work section. The robot position in the world coordinate system is calculated using the mark position. Note that the position of the landmark in the world coordinate system is information stored in advance in the storage unit 106 as map information.
再投影誤差算出部１０５は、三次元位置算出部１０３において算出したランドマークの三次元位置を画像上に再投影した場合の再投影誤差を算出する。ここで、再投影誤差は、地図情報として記憶されたランドマークの三次元位置を画像上に再投影して得られる座標と、ランドマーク検出部１０２において検出したランドマークの画像上での座標との距離又は二乗距離によって定義される。 The reprojection error calculation unit 105 calculates a reprojection error when the three-dimensional position of the landmark calculated by the three-dimensional position calculation unit 103 is reprojected on the image. Here, the reprojection error is the coordinate obtained by reprojecting the three-dimensional position of the landmark stored as map information on the image, the coordinate on the image of the landmark detected by the landmark detection unit 102, and Or the square distance.
記憶部１０６は、作業空間内に存在するランドマークの位置及びランドマークの形状を示す情報を格納している。なお、ランドマークの形状を示す情報としては、上述したテンプレート画像のほか、後述するレンジデータによる位置推定に用いるための三次元形状データを格納している。 The storage unit 106 stores information indicating the position of the landmark and the shape of the landmark existing in the work space. Note that as the information indicating the shape of the landmark, in addition to the template image described above, three-dimensional shape data to be used for position estimation using range data described later is stored.
レーザレンジファインダ１０７は、レーザ光を周囲に照射し、その反射光を観測することによって得たレンジデータを位置合わせ誤差算出部１０８に出力する。 The laser range finder 107 outputs range data obtained by irradiating the surroundings with laser light and observing the reflected light to the alignment error calculation unit 108.
位置合わせ誤差算出部１０８は、レーザレンジファインダ１０７によって得たレンジデータを記憶部１０６に格納されている三次元形状データと照合して位置合わせ誤差を算出する。具体的には、自己位置推定部１０４において算出したロボット位置から見た三次元形状とレンジデータとの照合を行う。ここで、位置合わせ誤差は、レンジデータと三次元形状データとを照合した際のレンジデータの対応点と三次元形状データの対応点との距離又は二乗距離により定義される。 The alignment error calculation unit 108 compares the range data obtained by the laser range finder 107 with the three-dimensional shape data stored in the storage unit 106 to calculate an alignment error. Specifically, the three-dimensional shape viewed from the robot position calculated by the self-position estimation unit 104 is compared with the range data. Here, the alignment error is defined by the distance or the square distance between the corresponding point of the range data and the corresponding point of the three-dimensional shape data when the range data and the three-dimensional shape data are collated.
最適化部１０９は、再投影誤差算出部１０５で算出される再投影誤差と位置合わせ誤差算出部１０８で算出される位置合わせ誤差とを入力し、再投影誤差と位置合わせ誤差を含む目的関数が最小となるように最適化を実行することにより、目的関数に最適値を与える位置をロボット１の自己位置に決定する。 The optimization unit 109 inputs the reprojection error calculated by the reprojection error calculation unit 105 and the alignment error calculated by the alignment error calculation unit 108, and an objective function including the reprojection error and the alignment error is obtained. By performing the optimization so as to be minimized, the position that gives the optimum value to the objective function is determined as the self-position of the robot 1.
なお、上述したように、カメラ部１０１が取得する画像データ及びレーザレンジファインダ１０７が取得するレンジデータの信頼度は、照明の明るさや障害物の多さなどのロボット１が置かれた外部環境に依存して変動する。このため、最適化部１０９は、環境情報入力部１１０が取得した外部環境情報を入力し、外部環境に応じて最適化の対象とする目的関数を変更する。具体的には、画像データ及びレンジデータのうち、信頼度が相対的に低いほうのデータから得られた自己位置推定の誤差、つまり再投影誤差又は位置合わせ誤差の目的関数への寄与が小さくなるように、再投影誤差若しくは位置合わせ誤差又はこれら両方の誤差を目的関数に取り込む際の重み付けを変更する。 As described above, the reliability of the image data acquired by the camera unit 101 and the range data acquired by the laser range finder 107 depends on the external environment where the robot 1 is placed, such as the brightness of illumination and the number of obstacles. Fluctuate depending on. Therefore, the optimization unit 109 inputs the external environment information acquired by the environment information input unit 110 and changes the objective function to be optimized according to the external environment. Specifically, among the image data and the range data, the self-position estimation error obtained from data with relatively low reliability, that is, the reprojection error or the alignment error contributes less to the objective function. As described above, the weighting when the reprojection error, the alignment error, or both of these errors are taken into the objective function is changed.
環境情報入力部１１０は、ロボット１の外部環境の状況が反映された環境情報を取得する。環境情報としては様々な情報を収集することができる。例えば、カメラ部１０１が取得する画像データの信頼度を示す情報として、照明の明るさ、画像データのコントラスト、画像データに重畳したノイズ量の他、特徴的なテクスチャの有無などが挙げられる。また、レーザレンジファインダ１０７が取得するレンジデータの信頼度を示す情報として、障害物の存在、特徴的な形状を備えた物体の存在、反射率の高い物体や黒色物体の存在、レーザレンジファインダ１０７が検出する反射光の強度、移動目標地点までの残余距離、レンジデータ地図の解像度などが挙げられる。 The environment information input unit 110 acquires environment information reflecting the state of the external environment of the robot 1. Various information can be collected as environmental information. For example, information indicating the reliability of image data acquired by the camera unit 101 includes the brightness of illumination, the contrast of image data, the amount of noise superimposed on the image data, and the presence or absence of a characteristic texture. Information indicating the reliability of the range data acquired by the laser range finder 107 includes the presence of an obstacle, the presence of an object with a characteristic shape, the presence of a highly reflective or black object, the laser range finder 107. The intensity of the reflected light detected by, the remaining distance to the moving target point, the resolution of the range data map, and the like.
最後に、制御部１１１は、最適化部１０９が出力する自己位置推定結果を入力して経路計画を行い、ロボット１の移動機構（不図示）を駆動する。 Finally, the control unit 111 inputs a self-position estimation result output from the optimization unit 109, performs path planning, and drives a moving mechanism (not shown) of the robot 1.
続いて以下では、図２を参照しながら、ロボット１が行う自己位置推定処理の詳細を説明する。なお、ここでは、説明を簡単にするため、二次元における自己位置を算出する場合について説明する。図２は、ロボット１が行う自己位置推定の手順を示すフローチャートである。ステップＳ１０１では、カメラ部１０１によって撮像した画像データを用いて自己位置を算出する。 Next, details of the self-position estimation process performed by the robot 1 will be described below with reference to FIG. Here, in order to simplify the description, a case where the self-position in two dimensions is calculated will be described. FIG. 2 is a flowchart showing a procedure for self-position estimation performed by the robot 1. In step S101, the self-position is calculated using image data captured by the camera unit 101.
ここで、ランドマークを撮影した画像データからロボット１の自己位置を算出する具体例を説明する。図３に示すように、２つのランドマーク３1１及び３1２の世界座標系ΣＷＯＲＬＤでの位置（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）と、カメラ座標系ΣＣＡＭでの位置（ｘ１，ｙ１）及び（ｘ２，ｙ２）が既知であるとき、世界座標系ΣＷＯＲＬＤでのロボット１の位置（ＸＣ，ＹＣ）及び姿勢θは、以下の（１）〜（３）式によって算出することができる。なお、（１）式及び（２）式中のＤは、以下の（４）式で表される。 Here, a specific example of calculating the self position of the robot 1 from the image data obtained by photographing the landmark will be described. As shown in FIG. 3, the position in the world coordinate system sigma WORLD two landmark 311 and 312 (X 1, Y 1) and (X 2, Y 2) and the position of the camera coordinate system sigma CAM (x 1 , y 1 ) and (x 2 , y 2 ) are known, the position (X C , Y C ) and posture θ of the robot 1 in the world coordinate system Σ WORLD are the following (1) to (3 ) Equation. In addition, D in Formula (1) and Formula (2) is represented by the following Formula (4).
ステップＳ１０２では、再投影誤差Ｅ１を算出する。再投影誤差Ｅ１は、三次元位置算出部１０３において算出したランドマークの三次元位置を画像上に再投影して得られる座標と、ランドマーク検出部１０２において検出したランドマークの画像上での座標との二乗距離として定義される。このとき、再投影誤差Ｅ１は以下の（５）式により算出できる。 In step S102, a reprojection error E1 is calculated. The reprojection error E1 includes coordinates obtained by reprojecting the three-dimensional position of the landmark calculated by the three-dimensional position calculation unit 103 on the image, and coordinates of the landmark detected by the landmark detection unit 102 on the image. And is defined as the square distance. At this time, the reprojection error E1 can be calculated by the following equation (5).
ここで、Ｋは画像枚数、Ｎはランドマーク数である。ｍiは、撮影した画像データから検出した画像座標系におけるランドマーク位置である。Ｍｉは、ランドマークの世界座標系における位置である。また、変換ｆｊ（Ｍｉ）は、世界座標系の座標Ｍｉを画像データに再投影する変換を表す。世界座標系ΣＷＯＲＬＤの座標Ｍｉ（ｘｉ，ｙｉ，ｚｉ）をｊ番目の画像座標系ΣＩＭＧの点（ｕｉ，ｖｉ）に射影する変換ｆｊ（Ｍｉ）は、射影行列Ｐｊを用いて以下の（６）式により表すことができる。ここで、射影行列Ｐｊは、ロボット１の位置（ＸＣ，ＹＣ）及び姿勢θの関数であり、ステップＳ１０１で算出した自己位置を用いて算出する。 Here, K is the number of images, and N is the number of landmarks. m i is a landmark position in the image coordinate system detected from the captured image data. M i is the position of the landmark in the world coordinate system. The transformation f j (M i ) represents transformation for reprojecting the coordinates M i in the world coordinate system onto the image data. The transformation f j (M i ) that projects the coordinates M i (x i , y i , z i ) of the world coordinate system Σ WORLD to the point (u i , v i ) of the j-th image coordinate system Σ IMG is It can be expressed by the following equation (6) using the matrix P j . Here, the projection matrix P j is a function of the position (X C , Y C ) and posture θ of the robot 1, and is calculated using the self-position calculated in step S101.
（６）式を用いて変換後の座標（ｕｉ，ｖｉ）を算出すれば、（５）式に示した再投影誤差Ｅ１は、以下の（７）式により求めることができる。なお、ｍｉｕ及びｍｉｖは、画像データから検出した画像座標系におけるランドマークの座標（ｍｉｕ，ｍｉｖ）である。 If the converted coordinates (u i , v i ) are calculated using the equation (6), the reprojection error E1 shown in the equation (5) can be obtained by the following equation (7). Note that miu and miv are landmark coordinates ( miu , miv ) in the image coordinate system detected from the image data.
ステップＳ１０３では、レーザレンジファインダ１０７から入力したレンジデータと、地図情報として有する三次元データとの位置合わせ誤差Ｅ２を算出する。位置合わせ誤差Ｅ２は、以下の（８）式により算出できる。 In step S103, an alignment error E2 between the range data input from the laser range finder 107 and the three-dimensional data included as map information is calculated. The alignment error E2 can be calculated by the following equation (8).
（８）式において、ｐｊは地図情報として保持する三次元データの参照点を意味し、ｑｊは参照点ｐｊに対応するレンジデータ上の参照点である。また、Ｒは参照点ｐｊに対する回転行列であり、ｔは参照点ｐｊに対する平行移動行列である。 In the equation (8), p j means a reference point of the three-dimensional data held as map information, and q j is a reference point on the range data corresponding to the reference point p j . R is a rotation matrix with respect to the reference point p j , and t is a translation matrix with respect to the reference point p j .
ステップＳ１０４では、環境情報入力部１１０が収集した環境情報を最適化部１０９に入力する。ステップＳ１０５では、最適化部１０９が、入力された環境情報に応じて目的関数を決定する。最適化の対象となる目的関数の一例を（９）式に示す。 In step S <b> 104, the environment information collected by the environment information input unit 110 is input to the optimization unit 109. In step S105, the optimization unit 109 determines an objective function according to the input environment information. An example of an objective function to be optimized is shown in equation (9).
（９）式に含まれるλが環境情報に応じて変更されるパラメタであり、最適化部１０９は、環境情報に応じてλを決定する。パラメタλが１に近いほど、レンジデータより画像データを信頼して自己位置推定を行うことを意味し、逆にパラメタλが０に近いほど、画像データよりレンジデータを信頼して自己位置推定を行うことを意味する。例えば、移動目標物体に近づいて自己位置推定の精度が要求される場合や、障害物の存在等のために、レンジデータの信頼度が画像データの信頼度に比べて相対的に低いと判定した場合には、パラメタλを１に近づければ良い。また、カメラ部１０１が撮像した画像からランドマークを検出できない場合や、照明が暗いために画像データのコントラストが不十分である等のために、画像データの信頼度がレンジデータの信頼度に比べて相対的に低いと判定した場合には、パラメタλを０に近づければ良い。 Λ included in the equation (9) is a parameter that is changed according to the environment information, and the optimization unit 109 determines λ according to the environment information. The closer the parameter λ is to 1, the more reliable the image data is from the range data, and the more self-position estimation is, and the closer the parameter λ is to 0, the more reliable the range data is from the image data and the self-position estimation is Means to do. For example, it is determined that the reliability of the range data is relatively low compared to the reliability of the image data when the accuracy of self-position estimation is required by approaching the moving target object or due to the presence of an obstacle, etc. In this case, the parameter λ may be close to 1. In addition, when the landmark cannot be detected from the image captured by the camera unit 101, or because the contrast of the image data is insufficient due to dark illumination, the reliability of the image data is higher than the reliability of the range data. If it is determined that the parameter λ is relatively low, the parameter λ may be brought close to zero.
ステップＳ１０６では、ステップＳ１０５で決定した目的関数の最適化を行い、目的関数が最小となる世界座標系でのロボット１の位置（ＸＣ，ＹＣ）及び姿勢θを決定する。目的関数の最適化は、ニュートン法、Levenberg-Marquart 法等の降下法のほか、公知の最適化方法を適用して行えば良い。 In step S106, the objective function determined in step S105 is optimized, and the position (X C , Y C ) and posture θ of the robot 1 in the world coordinate system that minimizes the objective function are determined. The optimization of the objective function may be performed by applying a known optimization method in addition to the descent method such as Newton's method and Levenberg-Marquart method.
ステップＳ１０７では、最適化部１０９が決定した自己位置を制御部１１１に出力し、自己位置推定処理を終了する。 In step S107, the self-position determined by the optimization unit 109 is output to the control unit 111, and the self-position estimation process ends.
上述したように、本実施の形態にかかるロボット１は、カメラ部１０１によって撮像した画像データ及びレーザレンジファインダ１０７によって取得したレンジデータの双方を用いて自己位置の推定を行うものである。さらにロボット１は、周囲環境の環境情報を入力し、入力した環境情報を規準として、画像データ及びレンジデータの相対的な信頼度を決定し、決定した信頼度を反映した目的関数を最適化することにより自己位置を推定するものである。このため、１つの観測手法に依存して自己位置推定を行う場合に比べて、様々な環境下において自己位置推定の精度を高めることができる。 As described above, the robot 1 according to the present embodiment performs self-position estimation using both the image data captured by the camera unit 101 and the range data acquired by the laser range finder 107. Further, the robot 1 inputs environmental information of the surrounding environment, determines relative reliability of the image data and range data using the input environmental information as a standard, and optimizes an objective function reflecting the determined reliability. Thus, the self-position is estimated. For this reason, compared with the case where self-position estimation is performed depending on one observation method, the accuracy of self-position estimation can be improved under various environments.
またさらに、ロボット１は、周囲環境に応じて画像データ及びレンジデータの相対的な信頼度を動的に変更して、自己位置を推定することができる。このため、障害物の侵入などの急激な周囲環境の変動による自己位置推定精度の悪化を抑制することができ、信頼性の高い自己位置推定を行うことができる。 Furthermore, the robot 1 can estimate the self position by dynamically changing the relative reliability of the image data and the range data according to the surrounding environment. For this reason, it is possible to suppress deterioration in self-position estimation accuracy due to a sudden change in the surrounding environment such as an intrusion of an obstacle, and it is possible to perform self-position estimation with high reliability.
なお、自律移動を行うロボットにおいて、レーザレンジファインダ等の距離センサによって取得したレンジデータを用いて高精度な自己位置推定を行おうとすると、高精細な三次元形状データを地図情報として記憶しておく必要がある。このため、地図情報を記憶しておくメモリ量が大きくなることや、自己位置推定に要する計算量が大きくなること等の問題がある。 In addition, in a robot that moves autonomously, when trying to perform highly accurate self-position estimation using range data acquired by a distance sensor such as a laser range finder, high-definition three-dimensional shape data is stored as map information. There is a need. For this reason, there are problems such as an increase in the amount of memory for storing map information and an increase in the amount of calculation required for self-position estimation.
これに対して、本実施の形態のロボット１であれば、例えば物体把持を行う場合などに把持対象物体から遠い場合にはレンジデータを用いて比較的粗く自己位置推定を行い、把持対象物体との距離が所定位置を下回った場合に、画像データのみ又は画像データとレンジデータの併用によって精度の高い自己位置推定を行うことが可能である。具体的には、特定の物体等の移動目標をランドマークとして記憶しておき、移動目標までの距離を環境情報として入力すればよい。これにより、レンジデータとの照合を行うための３次元形状データの解像度を下げることができるため、三次元形状データの記憶容量の低減、レンジデータを用いた自己位置推定の計算量の低減を図ることができる。 On the other hand, in the case of the robot 1 according to the present embodiment, for example, when the object 1 is far from the object to be grasped when the object is grasped, the self-position estimation is performed relatively coarsely using the range data, When the distance is less than a predetermined position, it is possible to perform highly accurate self-position estimation by using only image data or a combination of image data and range data. Specifically, a movement target such as a specific object may be stored as a landmark, and a distance to the movement target may be input as environment information. As a result, the resolution of the three-dimensional shape data for collation with the range data can be lowered, so that the storage capacity of the three-dimensional shape data is reduced and the calculation amount of self-position estimation using the range data is reduced. be able to.
なお、上述した本実施の形態にかかるロボット１のうちカメラ部１０１及びレーザレンジファインダ１０７を除く他の構成要素は、プログラムを実行するＣＰＵ（Central Processing Unit）を有するコンピュータシステムにより構成することが可能である。具体的には、ＣＰＵが内部に備える又はＣＰＵの外部に接続されるＲＯＭ又はフラッシュメモリ等の記憶部に、ランドマーク検出部１０２、三次元位置算出部１０３、自己位置推定部１０４、再投影誤差算出部１０５、位置合わせ誤差算出部１０８、及び最適化部１０９が行う処理をコンピュータシステムに実行させるための１又は複数のプログラムを格納しておき、当該プログラムをＣＰＵで実行することとすればよい。また、記憶部１０６は、コンピュータシステムが備えるハードディスクやフラッシュメモリ等の不揮発性の記憶部とすればよい。 In the robot 1 according to the present embodiment described above, the other components except the camera unit 101 and the laser range finder 107 can be configured by a computer system having a CPU (Central Processing Unit) that executes a program. It is. Specifically, a landmark detection unit 102, a three-dimensional position calculation unit 103, a self-position estimation unit 104, a reprojection error are stored in a storage unit such as a ROM or a flash memory that is provided in the CPU or connected to the outside of the CPU. One or a plurality of programs for causing the computer system to execute the processing performed by the calculation unit 105, the alignment error calculation unit 108, and the optimization unit 109 may be stored, and the program may be executed by the CPU. . The storage unit 106 may be a non-volatile storage unit such as a hard disk or a flash memory included in the computer system.
発明の実施の形態２．
発明の実施の形態１にかかるロボット１は、再投影誤差Ｅ１及び位置合わせ誤差Ｅ２を反映した目的関数の最適化により、精度の高い自己位置推定を行うこととした。しかしながら、画像データを用いて推定した自己位置（第１の候補値と呼ぶ）と、レンジデータを用いて推定した自己位置（第２の候補値と呼ぶ）を、環境情報を反映した重み付けを行って統合することにより、簡便な自己位置推定を行うこととしてもよい。このような簡便な自己位置推定を行うロボット２の構成を図４に示す。
Embodiment 2 of the Invention
The robot 1 according to the first embodiment of the present invention performs highly accurate self-position estimation by optimizing the objective function reflecting the reprojection error E1 and the alignment error E2. However, the self-position estimated using image data (referred to as a first candidate value) and the self-position estimated using range data (referred to as a second candidate value) are weighted to reflect environmental information. It is also possible to perform simple self-position estimation by integrating them. FIG. 4 shows a configuration of the robot 2 that performs such simple self-position estimation.
自己位置推定部２０１は、レンジデータと地図情報として記憶部に格納された三次元形状データとを照合することにより第２の候補値を算出する。統合部２０２は、自己位置推定部１０４が画像データを用いて算出した第１の候補値と、自己位置推定部２０１がレンジデータを用いて算出した第２の候補値とを、環境情報に応じて決定した重み付けを行って統合することで自己位置を算出する。統合部２０２による自己位置の算出は、例えば、以下の（１０）式により行うことができる。（１０）式において、（ＸＣ１，ＹＣ１，θ１）は第１の候補、（ＸＣ２，ＹＣ２，θ２）は第２の候補、（ＸＣ，ＹＣ，θ）は統合部２０２が算出する自己位置である。また、λは環境情報に応じて決定されるパラメタであり、第１の候補値及び第２の候補値の重みに対応する。 The self-position estimation unit 201 calculates a second candidate value by collating the range data with the three-dimensional shape data stored in the storage unit as map information. The integration unit 202 determines the first candidate value calculated by the self-position estimation unit 104 using the image data and the second candidate value calculated by the self-position estimation unit 201 using the range data according to the environment information. The self-position is calculated by performing weighting determined in the above and integrating them. The calculation of the self position by the integration unit 202 can be performed by, for example, the following expression (10). In (10), (X C1 , Y C1 , θ 1 ) is the first candidate, (X C2 , Y C2 , θ 2 ) is the second candidate, and (X C , Y C , θ) is the integration unit. 202 is a self-position calculated. Λ is a parameter determined according to the environment information, and corresponds to the weights of the first candidate value and the second candidate value.
発明の実施の形態３．
発明の実施の形態１では、カメラ部１０１が備える２つのカメラ１０１ａ及び１０１ｂによるステレオ視によって、撮像されたランドマークのカメラ座標系における位置、つまりロボットから見たランドマークの相対位置を算出することにより、自己位置を求める場合を例示した。しかしながら、２つのカメラ１０１ａ及び１０１ｂによって撮影した画像データが必ずしもステレオ視に適したものとは限らない。例えば、一方の画像データには、ランドマークが１つしか写っていない場合や、撮像された複数のランドマークが近接している場合には、ステレオ視に適さない画像となる。このように、ステレオ視に適した画像データが得られない状況では、１枚の画像データを用いた自己位置推定を行う構成とすることにより、自己位置推定の信頼性を向上させることができる。なお、以下では、発明の実施の形態１で説明した２つの画像データによるランドマーク認識を"複眼によるランドマーク認識"と呼ぶ。また、１つの画像データによるランドマーク認識を"単眼によるランドマーク認識"と呼ぶ。
Embodiment 3 of the Invention
In Embodiment 1 of the invention, the position of the captured landmark in the camera coordinate system, that is, the relative position of the landmark as viewed from the robot, is calculated by stereo viewing by the two cameras 101a and 101b included in the camera unit 101. Thus, the case of obtaining the self-position is illustrated. However, the image data photographed by the two cameras 101a and 101b are not necessarily suitable for stereo viewing. For example, when only one landmark is shown in one image data, or when a plurality of captured landmarks are close to each other, the image is not suitable for stereo viewing. Thus, in a situation where image data suitable for stereo vision cannot be obtained, the reliability of self-position estimation can be improved by adopting a configuration in which self-position estimation is performed using one piece of image data. Hereinafter, the landmark recognition based on the two image data described in the first embodiment of the invention will be referred to as “landmark recognition using compound eyes”. Landmark recognition based on one image data is referred to as “monocular landmark recognition”.
カメラ部１０１で撮像した画像データに応じて、"複眼によるランドマーク認識"と"単眼によるランドマーク認識"を切り替えて自己位置推定を行う手順を図５のフローチャートを用いて説明する。なお、図５のフローチャートが示す処理は、図２に示したフローチャートのステップＳ１０１に対応するものである。 A procedure for performing self-position estimation by switching between “landmark recognition with a compound eye” and “landmark recognition with a single eye” according to image data captured by the camera unit 101 will be described with reference to the flowchart of FIG. The process shown in the flowchart of FIG. 5 corresponds to step S101 of the flowchart shown in FIG.
ステップＳ２０１では、カメラ１０１ａ及び１０１ｂによって撮像した２つの画像データのそれぞれから、２以上のランドマークが検出できたか否かを判定する。２つの画像データのうちの一方からしか２以上のランドマークが検出できなった場合は、ステップＳ２０４に進み、単眼によるランドマーク認識によって自己位置推定を行う。 In step S201, it is determined whether or not two or more landmarks have been detected from each of the two image data captured by the cameras 101a and 101b. When two or more landmarks can be detected only from one of the two image data, the process proceeds to step S204, and self-position estimation is performed by landmark recognition with a single eye.
２つの画像データから共に、２以上のランドマークが検出された場合は、ステップＳ２０２において、２つのランドマーク間の画像上での距離が予め定めた所定値以上であるか否かを判定する。所定値以下である場合は、ステレオ視に適さない画像であるため、ステップＳ２０４にて単眼によるランドマーク認識によって自己位置推定を行う。２つのランドマーク間の画像上での距離が、２つの画像共に所定値より大きい場合は、ステップＳ２０３に進み、複眼によるランドマーク認識によって自己位置推定を行う。 If two or more landmarks are detected from the two image data, it is determined in step S202 whether or not the distance between the two landmarks on the image is equal to or greater than a predetermined value. If it is equal to or smaller than the predetermined value, the image is not suitable for stereo vision, and self-position estimation is performed by landmark recognition with a single eye in step S204. If the distance between the two landmarks on the image is larger than the predetermined value, the process proceeds to step S203, and self-position estimation is performed by landmark recognition with compound eyes.
単眼によるランドマーク認識は、世界座標系における三次元位置が既知である２以上ランドマークが撮像された単一画像を用いて、そのような画像を撮影可能なカメラ位置及びロボット位置を特定するものである。単眼によるランドマーク認識によって自己位置を算出する具体例を以下に説明する。 Monocular landmark recognition uses a single image in which two or more landmarks with known three-dimensional positions in the world coordinate system are used to identify camera positions and robot positions where such images can be taken. It is. A specific example of calculating the self-position by landmark recognition with a single eye will be described below.
ロボット１の外観構成の具体例として、図６に示すモデルを考える。始めに、画像座標系ΣＩＭＧからカメラ座標系ΣＣＡＭへの座標変換は、上述した（６）式の逆変換として（１１）式により表すことができる。なお、（１１）式における３×３行列Ｑ及び３×１行列（Ｐ１４，Ｐ２４，Ｐ３４）Ｔは、（１２）式により定義される射影行列Ｐの成分である。 As a specific example of the external configuration of the robot 1, consider the model shown in FIG. First, coordinate conversion from the image coordinate system sigma IMG to the camera coordinate system sigma CAM can be represented by the equation (11) as a reverse conversion of the above-described (6). Note that the 3 × 3 matrix Q and the 3 × 1 matrix (P 14 , P 24 , P 34 ) T in the equation (11) are components of the projection matrix P defined by the equation (12).
さらに、カメラ座標系ΣＣＡＭからロボット座標系ΣＲＯＢＯＴへの座標変換、及びロボット座標系ΣＲＯＢＯＴから世界座標系ΣＷＯＲＬＤへの座標変換は、それぞれ（１３）式及び（１４）式により表すことができる。なお、αは、ここではカメラのピッチ角を表す。 Further, coordinate transformation from the camera coordinate system sigma CAM to the robot coordinate system sigma The Robot, and coordinate transformation from the robot coordinate system sigma The Robot to the world coordinate system sigma WORLD may be represented by each (13) and (14) it can. Here, α represents the pitch angle of the camera.
上述した３つの座標変換式を用いることにより、世界座標系におけるロボット位置（ＸＣ，ＹＣ）及び姿勢θは、以下の（１５）〜（１７）式によって表される。つまり、予めカメラキャリブレーションを行って射影行列Ｐを決定しておけば、２つのランドマーク３1１及び３1２の世界座標系ΣＷＯＲＬＤでの位置（Ｘ１，Ｙ１，Ｚ１）及び（Ｘ２，Ｙ２，Ｚ２）と、画像座標系での位置（ｕ１，ｖ１）及び（ｕ２，ｖ２）とを用いて、世界座標系におけるロボット位置（ＸＣ，ＹＣ）及び姿勢θを算出することができる。 By using the three coordinate conversion expressions described above, the robot position (X C , Y C ) and posture θ in the world coordinate system are expressed by the following expressions (15) to (17). That is, if camera projection is performed in advance to determine the projection matrix P, the positions (X 1 , Y 1 , Z 1 ) and (X 2 , 2 ) of the two landmarks 311 and 312 in the world coordinate system Σ WORD Y 2 , Z 2 ) and the positions (u 1 , v 1 ) and (u 2 , v 2 ) in the image coordinate system, and the robot position (X C , Y C ) and posture θ in the world coordinate system Can be calculated.
なお、（１５）〜（１７）式におけるｃ１、ｃ２、ｃ３、ｄ１、ｄ２、ｄ３、及びｓは、以下の（１８）〜（２１）式で表される。 Note that c 1 , c 2 , c 3 , d 1 , d 2 , d 3 , and s in the expressions (15) to (17) are represented by the following expressions (18) to (21).
このような単眼によるランドマーク認識は、２枚の画像データを必要としないため、撮影した２枚の画像データの一方が自己位置推定に適さないものであっても再度の撮影を行うことなく自己位置推定を行えるという利点がある。一方、発明の実施の形態１において詳述した複眼によるランドマーク認識は、ステレオ視によりカメラ座標系でのランドマーク位置が算出できるため、射影行列の演算が不要であり、単眼によるランドマーク認識に比べて演算量が少なくて済むという利点がある。このため、複眼によるランドマーク認識と単眼によるランドマーク認識を切り替え可能とすることにより、自己位置推定に要する演算処理の高速化が可能となる。 Such landmark recognition by a single eye does not require two pieces of image data, so even if one of the two pieces of taken image data is not suitable for self-position estimation, self-photographing is not performed again. There is an advantage that position estimation can be performed. On the other hand, the landmark recognition by the compound eye described in detail in the first embodiment of the present invention can calculate the landmark position in the camera coordinate system by stereo vision, so that the calculation of the projection matrix is unnecessary, and the landmark recognition by the monocular is not necessary. There is an advantage that the amount of calculation is smaller than that. For this reason, by making it possible to switch between landmark recognition with a compound eye and landmark recognition with a single eye, it is possible to speed up the computation processing required for self-position estimation.
その他の実施の形態．
発明の実施の形態１にかかるロボット１は、始めに画像データを用いて自己位置を推定することとした。しかしながら、レーザレンジファインダ１０７によって取得したレンジデータと三次元形状データとのマッチングによる自己位置推定を行う推定部をロボット１にさらに備えることとし、始めにレンジデータを用いた自己位置推定を行ってもよい。また、ロボット１の移動履歴を示すオドメトリ情報によって、レンジデータと三次元形状データとのマッチングを行う際の自己位置の初期値を決定しても良い。
Other embodiments.
The robot 1 according to the first embodiment of the invention first estimates its own position using image data. However, the robot 1 is further provided with an estimation unit that performs self-position estimation by matching the range data acquired by the laser range finder 107 and the three-dimensional shape data, and even if self-position estimation using the range data is performed first. Good. Further, the initial value of the self-position when performing matching between the range data and the three-dimensional shape data may be determined based on odometry information indicating the movement history of the robot 1.
また、上述した発明の実施の形態では、画像データを用いた自己位置推定の誤差として再投影誤差を使用し、レンジデータを用いた自己位置推定の誤差として位置合わせ誤差を使用することとし、これらの誤差を含む目的関数を環境情報に応じて決定し、最適化を行う場合を説明した。しかしながら、画像データを用いた自己位置推定及びレンジデータを用いた自己位置推定の誤差には、再投影誤差及び位置合わせ誤差に代えて他のパラメタを用いても構わない。 In the embodiment of the invention described above, reprojection errors are used as errors in self-position estimation using image data, and alignment errors are used as errors in self-position estimation using range data. The case where the objective function including the error is determined according to the environmental information and optimized is explained. However, other parameters may be used instead of the reprojection error and the alignment error for the error of the self-position estimation using the image data and the self-position estimation using the range data.
また、上述した発明の実施の形態では、レーザレンジファインダによってレンジデータを得ることとしたが、他の距離センサによってレンジデータを得てもよい。 In the embodiment of the invention described above, the range data is obtained by the laser range finder, but the range data may be obtained by another distance sensor.
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 Furthermore, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention described above.
１、２ ロボット
１０１ カメラ部
１０２ ランドマーク検出部
１０３ 三次元位置算出部
１０４ 自己位置推定部
１０５ 再投影誤差算出部
１０６ 記憶部
１０７ レーザレンジファインダ
１０８ 位置合わせ誤差算出部
１０９ 最適化部
１１０ 環境情報入力部
１１１ 制御部
２０１ 自己位置推定部
２０２ 統合部
DESCRIPTION OF SYMBOLS 1, 2 Robot 101 Camera part 102 Landmark detection part 103 Three-dimensional position calculation part 104 Self-position estimation part 105 Reprojection error calculation part 106 Storage part 107 Laser range finder 108 Positioning error calculation part 109 Optimization part 110 Environment information input Unit 111 Control unit 201 Self-position estimation unit 202 Integration unit
Claims (12)
前記作業環境の地図情報を格納した記憶部と、
前記作業環境内に存在する物体との距離を計測してレンジデータを生成する距離センサと、
前記作業環境内に存在する物体を撮像した画像データを生成するカメラ部と、
前記レンジデータを前記地図情報に含まれる形状データと照合することによって、当該移動装置の自己位置を推定する第１の推定手段と、
前記画像データからランドマークを検出し、検出したランドマークの画像上での位置情報及び前記地図情報に含まれる前記作業空間におけるランドマークの位置情報を用いた演算によって、当該移動装置の自己位置を推定する第２の推定手段と、
当該移動装置の周囲環境に応じて、前記第１の推定手段及び前記第２の推定手段の信頼度を決定する信頼度決定手段と、
前記第１の推定手段による推定結果と前記第２の推定手段による推定結果とを、前記信頼度決定手段によって決定された信頼度に応じた重み付けを行って統合することにより、当該移動装置の自己位置を決定する自己位置決定手段と、
を備える移動装置。 A mobile device that moves autonomously in a work environment,
A storage unit storing map information of the work environment;
A distance sensor that measures the distance to an object present in the work environment and generates range data;
A camera unit for generating image data obtained by imaging an object existing in the work environment;
First estimation means for estimating the self-position of the mobile device by collating the range data with the shape data included in the map information;
By detecting the landmark from the image data and calculating the position of the detected landmark on the image and the position information of the landmark in the work space included in the map information, the position of the mobile device is determined. Second estimating means for estimating;
Reliability determination means for determining the reliability of the first estimation means and the second estimation means according to the surrounding environment of the mobile device;
The estimation result by the first estimation unit and the estimation result by the second estimation unit are integrated by performing weighting according to the reliability determined by the reliability determination unit, so that the mobile device's self Self-positioning means for determining the position;
A mobile device comprising:
前記作業環境の地図情報を格納した記憶部と、
前記作業環境内に存在する物体との距離を計測してレンジデータを生成する距離センサと、
前記作業環境内に存在する物体を撮像した画像データを生成するカメラ部と、
i）前記レンジデータを前記地図情報に含まれる形状データと照合することにより得られる自己位置の第１の誤差と、ii）前記画像データから検出したランドマークの画像上での位置情報及び前記地図情報に含まれるランドマークの前記作業空間における位置情報を用いた演算により得られる自己位置の第２の誤差とを含む目的関数を当該移動装置の周囲環境に応じて決定するとともに、前記目的関数を最適化して得られる前記作業空間内での位置を当該移動装置の自己位置として決定する自己位置決定手段と、
を備える、移動装置。 A mobile device that moves autonomously in a work environment,
A storage unit storing map information of the work environment;
A distance sensor that measures the distance to an object present in the work environment and generates range data;
A camera unit for generating image data obtained by imaging an object existing in the work environment;
i) a first error of the self-position obtained by comparing the range data with the shape data included in the map information; and ii) position information on the image of the landmark detected from the image data and the map An objective function including a second error of the self-position obtained by calculation using the position information of the landmark included in the information in the work space is determined according to the surrounding environment of the mobile device, and the objective function is Self-position determining means for determining a position in the work space obtained by optimization as a self-position of the mobile device;
A mobile device comprising:
前記第２の誤差は、前記画像データから検出したランドマークの画像上での位置と、前記作業空間におけるランドマークの三次元位置を前記画像データに再投影した位置との再投影誤差である請求項２に記載の移動装置。 The first error is an alignment error between the range data and the shape data,
The second error is a reprojection error between a position on the image of a landmark detected from the image data and a position where a three-dimensional position of the landmark in the work space is reprojected on the image data. Item 3. The moving device according to Item 2.
前記第２の推定手段は、前記複数の画像データそれぞれに含まれるランドマークの数及び画像上でのランドマーク間距離の少なくとも一方に基づいて、前記複数の画像データから自己位置の推定に用いる画像データを選択する請求項１又は４に記載の移動装置。 The camera unit generates a plurality of image data captured from a plurality of different positions,
The second estimating means uses the plurality of image data to estimate the self-position based on at least one of the number of landmarks included in each of the plurality of image data and the distance between the landmarks on the image. The mobile device according to claim 1 or 4 , wherein data is selected.
距離センサによって取得したレンジデータを、前記地図情報に含まれる形状データと照合することによって第１の自己位置推定値を算出し、
カメラによって撮像した画像データからランドマークを検出し、検出したランドマークの画像上での位置情報及び前記地図情報に含まれるランドマークの前記作業空間における位置情報を用いた演算によって第２の自己位置推定値を算出し、
前記移動装置の周囲環境に応じて、前記第１の自己位置推定値及び前記第２の自己位置推定値の信頼度を決定し、
前記第１の自己位置推定値及び前記第２の自己位置推定値を、決定した信頼度に応じた重み付けにより統合した値を自己位置とする自己位置推定方法。 A self-position estimation method performed by a mobile device that has a storage unit that stores map information of a work environment and autonomously moves within the work environment,
Calculating the first self-position estimate by collating the range data acquired by the distance sensor with the shape data included in the map information;
A landmark is detected from image data captured by the camera, and a second self-position is obtained by calculation using the position information of the detected landmark on the image and the position information of the landmark included in the map information in the work space. Calculate an estimate,
According to the surrounding environment of the mobile device, the reliability of the first self-position estimate and the second self-position estimate is determined,
A self-position estimation method in which a self-position is a value obtained by integrating the first self-position estimate value and the second self-position estimate value by weighting according to the determined reliability.
距離センサによって前記作業環境内に存在する物体との距離を計測したレンジデータ、及び、カメラによって前記作業環境内に存在する物体を撮像した画像データを入力し、
i）前記レンジデータを前記地図情報に含まれる形状データと照合することにより得られる自己位置の第１の誤差と、ii）前記画像データから検出したランドマークの画像上での位置情報及び前記地図情報に含まれるランドマークの前記作業空間における位置情報を用いた演算により得られる自己位置の第２の誤差とを含む目的関数を、当該移動装置の周囲環境に応じて決定し、
決定した目的関数を最適化して得られる前記作業空間内での位置を当該移動装置の自己位置とする自己位置推定方法。 A self-position estimation method performed by a mobile device that has a storage unit that stores map information of a work environment and autonomously moves in the work environment,
Range data obtained by measuring a distance from an object existing in the work environment by a distance sensor, and image data obtained by imaging an object existing in the work environment by a camera are input.
i) a first error of the self-position obtained by comparing the range data with the shape data included in the map information; and ii) position information on the image of the landmark detected from the image data and the map An objective function including a second error of the self-position obtained by calculation using the position information of the landmark included in the information in the work space is determined according to the surrounding environment of the mobile device,
A self-position estimation method in which a position in the work space obtained by optimizing the determined objective function is used as the self-position of the mobile device.
前記第２の誤差は、前記画像データから検出したランドマークの画像上での位置と、前記作業空間におけるランドマークの三次元位置を前記画像データに再投影した位置との再投影誤差である請求項８に記載の自己位置推定方法。 The first error is an alignment error between the range data and shape data included in the map information,
The second error is a reprojection error between a position on the image of a landmark detected from the image data and a position where a three-dimensional position of the landmark in the work space is reprojected on the image data. Item 9. The self-position estimation method according to Item 8.
当該移動装置は、前記複数の画像データそれぞれに含まれるランドマークの数及び画像上でのランドマーク間距離の少なくとも一方に基づいて、前記複数の画像データから自己位置の推定に用いる画像データを選択するともに、選択された画像データから検出されたランドマークの画像上での位置情報及び前記地図情報に含まれるランドマークの前記作業空間における位置情報を用いた演算によって、当該移動装置の自己位置を推定する推定手段をさらに備える、 The moving device selects image data to be used for self-position estimation from the plurality of image data based on at least one of the number of landmarks included in each of the plurality of image data and the distance between the landmarks on the image. In addition, the position of the mobile device is determined by calculation using the position information on the image of the landmark detected from the selected image data and the position information of the landmark included in the map information in the work space. An estimation means for estimating,
請求項２、３、又は１０に記載の移動装置。The moving device according to claim 2, 3, or 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006149404A JP4984650B2 (en) | 2006-05-30 | 2006-05-30 | Mobile device and self-position estimation method of mobile device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006149404A JP4984650B2 (en) | 2006-05-30 | 2006-05-30 | Mobile device and self-position estimation method of mobile device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007322138A JP2007322138A (en) | 2007-12-13 |
| JP4984650B2 true JP4984650B2 (en) | 2012-07-25 |
Family
ID=38855107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006149404A Active JP4984650B2 (en) | 2006-05-30 | 2006-05-30 | Mobile device and self-position estimation method of mobile device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4984650B2 (en) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4985166B2 (en) * | 2007-07-12 | 2012-07-25 | トヨタ自動車株式会社 | Self-position estimation device |
| JP5157803B2 (en) * | 2008-10-06 | 2013-03-06 | 村田機械株式会社 | Autonomous mobile device |
| KR101202695B1 (en) | 2008-10-01 | 2012-11-19 | 무라다기카이가부시끼가이샤 | Autonomous movement device |
| JP5487756B2 (en) * | 2009-06-26 | 2014-05-07 | 富士通株式会社 | Robot control apparatus, robot control program, and robot control method |
| JP2011033497A (en) | 2009-08-03 | 2011-02-17 | Honda Motor Co Ltd | Environmental recognition system, environmental recognition method, and robot |
| JP5304534B2 (en) * | 2009-08-21 | 2013-10-02 | トヨタ自動車株式会社 | Self-position estimation apparatus, self-position estimation method and program |
| JP2011080845A (en) * | 2009-10-06 | 2011-04-21 | Topcon Corp | Method and apparatus for creating three-dimensional data |
| JP5725701B2 (en) * | 2009-10-20 | 2015-05-27 | 三菱電機株式会社 | Tracking device |
| TWI391874B (en) * | 2009-11-24 | 2013-04-01 | Ind Tech Res Inst | Method and device of mapping and localization method using the same |
| JP5370122B2 (en) * | 2009-12-17 | 2013-12-18 | 富士通株式会社 | Moving object position estimation device and moving object position estimation method |
| JP5610870B2 (en) * | 2010-06-21 | 2014-10-22 | 三菱重工業株式会社 | Unmanned traveling vehicle guidance device and unmanned traveling vehicle guidance method |
| CN103119611B (en) | 2010-06-25 | 2016-05-11 | 天宝导航有限公司 | The method and apparatus of the location based on image |
| WO2012086029A1 (en) * | 2010-12-22 | 2012-06-28 | 株式会社日立製作所 | Autonomous movement system |
| JP5222971B2 (en) * | 2011-03-31 | 2013-06-26 | 富士ソフト株式会社 | Walking robot apparatus and control program therefor |
| MY158671A (en) * | 2011-04-21 | 2016-10-31 | Konecranes Global Corp | Techniques for positioning a vehicle |
| JP5776324B2 (en) * | 2011-05-17 | 2015-09-09 | 富士通株式会社 | Map processing method and program, and robot system |
| JP5776332B2 (en) * | 2011-05-27 | 2015-09-09 | 富士通株式会社 | Map processing method and program, and robot system |
| JP5920807B2 (en) * | 2011-07-26 | 2016-05-18 | 国際航業株式会社 | Optical axis direction identification method, optical axis direction identification device, and optical axis direction identification program |
| CN103717995B (en) * | 2011-08-29 | 2016-05-11 | 株式会社日立制作所 | Monitoring arrangement, surveillance and supervision method |
| JP5905483B2 (en) * | 2011-11-11 | 2016-04-20 | 株式会社日立製作所 | Autonomous movement method and autonomous mobile device |
| US20160238394A1 (en) * | 2013-10-01 | 2016-08-18 | Hitachi, Ltd.. | Device for Estimating Position of Moving Body and Method for Estimating Position of Moving Body |
| JP2016191735A (en) * | 2015-03-30 | 2016-11-10 | シャープ株式会社 | Map creation device, autonomous traveling body, autonomous traveling body system, portable terminal, map creation method, map creation program and computer readable recording medium |
| KR101702519B1 (en) * | 2015-06-30 | 2017-02-06 | 삼성중공업(주) | Apparatus for measuring position and posture of mobile body |
| JPWO2017141414A1 (en) * | 2016-02-19 | 2018-11-29 | パイオニア株式会社 | Feature data structure, control device, storage device, control method, program, and storage medium |
| JP6663606B2 (en) * | 2016-03-08 | 2020-03-13 | 国立大学法人京都大学 | Unmanned aerial vehicle position estimation method and system |
| JP6799444B2 (en) * | 2016-04-01 | 2020-12-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Autonomous mobile system |
| CN107272727B (en) * | 2016-04-01 | 2022-02-01 | 松下电器（美国）知识产权公司 | Autonomous moving body |
| US10150563B2 (en) * | 2016-04-01 | 2018-12-11 | Panasonic Intellectual Property Corporation | Autonomous moving machine system |
| JP6803745B2 (en) * | 2016-12-28 | 2020-12-23 | 日立Ｇｅニュークリア・エナジー株式会社 | Inspection equipment |
| WO2018131168A1 (en) * | 2017-01-16 | 2018-07-19 | Ｎｅｃソリューションイノベータ株式会社 | Positioning assistance device, positioning system, positioning assistance method, and computer-readable recording medium |
| JP6514729B2 (en) * | 2017-03-29 | 2019-05-15 | 西日本電信電話株式会社 | Position estimation device, position estimation method, and position estimation program |
| JPWO2019026761A1 (en) * | 2017-08-03 | 2020-07-27 | 日本電産シンポ株式会社 | Mobile and computer programs |
| JP7074438B2 (en) | 2017-09-05 | 2022-05-24 | トヨタ自動車株式会社 | Vehicle position estimation device |
| JP6891753B2 (en) * | 2017-09-28 | 2021-06-18 | ソニーグループ株式会社 | Information processing equipment, mobile devices, and methods, and programs |
| WO2019167210A1 (en) * | 2018-02-28 | 2019-09-06 | 本田技研工業株式会社 | Control device, mobile body, and program |
| WO2019202806A1 (en) * | 2018-04-20 | 2019-10-24 | 本田技研工業株式会社 | Self-location estimation method |
| JP7131994B2 (en) * | 2018-07-04 | 2022-09-06 | 株式会社東芝 | Self-position estimation device, self-position estimation method, self-position estimation program, learning device, learning method and learning program |
| JP2020008461A (en) * | 2018-07-10 | 2020-01-16 | 株式会社豊田自動織機 | Autonomous moving body location estimation device |
| JP7063760B2 (en) * | 2018-07-27 | 2022-05-09 | 株式会社ダイヘン | Mobile |
| JP7139762B2 (en) * | 2018-07-31 | 2022-09-21 | カシオ計算機株式会社 | AUTONOMOUS MOBILE DEVICE, AUTONOMOUS MOVEMENT METHOD AND PROGRAM |
| JP7141883B2 (en) * | 2018-07-31 | 2022-09-26 | 株式会社小松製作所 | WORKING MACHINE CONTROL SYSTEM, WORKING MACHINE, AND WORKING MACHINE CONTROL METHOD |
| JP6711555B1 (en) * | 2019-02-28 | 2020-06-17 | 三菱ロジスネクスト株式会社 | Transport system, area determination device, and area determination method |
| CN110032196B (en) * | 2019-05-06 | 2022-03-29 | 北京云迹科技股份有限公司 | Robot recharging method and device |
| CN110531766B (en) * | 2019-08-27 | 2022-06-28 | 熵智科技(深圳)有限公司 | Continuous laser SLAM (Simultaneous laser mapping) composition positioning method based on known occupied grid map |
| JP7337617B2 (en) * | 2019-09-17 | 2023-09-04 | 株式会社東芝 | Estimation device, estimation method and program |
| US20220291686A1 (en) * | 2019-10-01 | 2022-09-15 | Sony Semiconductor Solutions Corporation | Self-location estimation device, autonomous mobile body, self-location estimation method, and program |
| JP7312089B2 (en) * | 2019-11-12 | 2023-07-20 | 株式会社豊田中央研究所 | Measuring device |
| JP2021082181A (en) * | 2019-11-22 | 2021-05-27 | パナソニックＩｐマネジメント株式会社 | Position estimation device, vehicle, position estimation method and position estimation program |
| JP7285517B2 (en) * | 2019-12-26 | 2023-06-02 | 株式会社豊田自動織機 | Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program |
| WO2021147008A1 (en) * | 2020-01-22 | 2021-07-29 | 深圳市大疆创新科技有限公司 | Method for controlling unmanned robot, and unmanned robot |
| JP7434943B2 (en) * | 2020-01-30 | 2024-02-21 | 株式会社明電舎 | Self-position control system and self-position control method |
| JP2022012173A (en) * | 2020-07-01 | 2022-01-17 | ソニーグループ株式会社 | Information processing device, information processing system, information processing method, and program |
| WO2022186354A1 (en) * | 2021-03-03 | 2022-09-09 | 株式会社Preferred Networks | Information processing device and autonomous mobile robot |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2907386B1 (en) * | 1998-01-30 | 1999-06-21 | 川崎重工業株式会社 | Continuous unloader relative position measuring device |
| JP2881193B1 (en) * | 1998-03-02 | 1999-04-12 | 防衛庁技術研究本部長 | Three-dimensional object recognition apparatus and method |
| JP3968501B2 (en) * | 2001-11-30 | 2007-08-29 | ソニー株式会社 | Robot self-position identification system and self-position identification method |
| JP4279703B2 (en) * | 2004-02-24 | 2009-06-17 | パナソニック電工株式会社 | Autonomous mobile robot system |
-
2006
- 2006-05-30 JP JP2006149404A patent/JP4984650B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007322138A (en) | 2007-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4984650B2 (en) | Mobile device and self-position estimation method of mobile device | |
| CN111337947B (en) | Instant mapping and positioning method, device, system and storage medium | |
| CN112785702B (en) | SLAM method based on tight coupling of 2D laser radar and binocular camera | |
| US11062475B2 (en) | Location estimating apparatus and method, learning apparatus and method, and computer program products | |
| US9071829B2 (en) | Method and system for fusing data arising from image sensors and from motion or position sensors | |
| WO2019138678A1 (en) | Information processing device, control method for same, program, and vehicle driving assistance system | |
| CN111094895B (en) | System and method for robust self-repositioning in pre-constructed visual maps | |
| JP6782903B2 (en) | Self-motion estimation system, control method and program of self-motion estimation system | |
| WO2019136613A1 (en) | Indoor locating method and device for robot | |
| CN110515088B (en) | Odometer estimation method and system for intelligent robot | |
| CN113643380A (en) | Mechanical arm guiding method based on monocular camera vision target positioning | |
| US20220291009A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN108544494A (en) | A kind of positioning device, method and robot based on inertia and visual signature | |
| Liao et al. | Extrinsic calibration of 3D range finder and camera without auxiliary object or human intervention | |
| CN113052907A (en) | Positioning method of mobile robot in dynamic environment | |
| El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| KR20090113746A (en) | A method of robot localization using spatial semantics of objects | |
| CN114462545A (en) | Map construction method and device based on semantic SLAM | |
| JP2018116147A (en) | Map creation device, map creation method and map creation computer program | |
| CN117649619B (en) | Unmanned aerial vehicle visual navigation positioning recovery method, system, device and readable storage medium | |
| Butt et al. | Multi-task Learning for Camera Calibration | |
| JP7341079B2 (en) | Distance image estimation device and control device | |
| JP6468755B2 (en) | Feature point detection system, feature point detection method, and feature point detection program | |
| JP7488222B2 (en) | Relative position estimation device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4984650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |