JP7063760B2 - Mobile - Google Patents
Mobile Download PDFInfo
- Publication number
- JP7063760B2 JP7063760B2 JP2018141112A JP2018141112A JP7063760B2 JP 7063760 B2 JP7063760 B2 JP 7063760B2 JP 2018141112 A JP2018141112 A JP 2018141112A JP 2018141112 A JP2018141112 A JP 2018141112A JP 7063760 B2 JP7063760 B2 JP 7063760B2
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- moving body
- sensor
- estimated
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、センサによって取得された情報を用いて現在位置を取得する移動体に関する。 The present invention relates to a moving body that acquires a current position using information acquired by a sensor.
従来、複数の教示画像と、撮影装置によって取得された実画像との比較結果に基づいた走行制御と、周囲の物体までの距離及び方向の検出結果に基づいた走行制御とを、所定の条件に応じて切り替える移動体が知られている(特許文献1参照)。 Conventionally, running control based on a comparison result between a plurality of teaching images and an actual image acquired by a photographing device and running control based on a detection result of a distance and a direction to a surrounding object are set as predetermined conditions. A moving body that switches according to the situation is known (see Patent Document 1).
その特許文献1では、例えば、撮像画像と撮像用ランドマークのパターンマッチングに成功した特徴点の数があらかじめ決められた閾値以下となった場合や、認識した撮像用ランドマークの数が複数であり、どのランドマークの計測結果を使用すべきか判定できない場合、撮像した画像から求めた進行方向からの角度のずれ量があらかじめ決められた範囲を超えた場合に、画像の比較結果に基づいた走行制御から、距離等の検出結果に基づいた走行制御に切り替えられることが例示されている。したがって、特許文献1に記載された従来例では、2個の走行制御のうち、一方の走行制御に関する所定の条件が満たされた場合に、他方の走行制御に切り替えることになる。
In
しかしながら、従来の移動体において、一方の走行制御に関する所定の条件が満たされた場合に、他方の走行制御に切り替えたとしても、切り替え後に適切な走行制御を行うことができるとは限らないという問題があった。例えば、撮像画像と撮像用ランドマークのパターンマッチングに成功した特徴点の数があらかじめ決められた閾値以下となった場合に、距離等の検出結果に基づいた走行制御に切り替えたとしても、周囲に計測対象となる物体の存在しない場所に移動体が位置しているときには、距離等の検出結果に基づいた適切な走行制御を行うことができなくなる。 However, in the conventional moving body, when a predetermined condition for one running control is satisfied, even if the other running control is switched, it is not always possible to perform appropriate running control after the switching. was there. For example, when the number of feature points that have succeeded in pattern matching between the captured image and the landmark for imaging is less than or equal to a predetermined threshold value, even if the driving control is switched to based on the detection result such as the distance, the surroundings are around. When the moving object is located in a place where the object to be measured does not exist, it becomes impossible to perform appropriate traveling control based on the detection result such as the distance.
本発明は、上記課題を解決するためになされたものであり、複数の位置推定を用いて適切に現在位置を取得することができる移動体を提供することを目的とする。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a moving body capable of appropriately acquiring a current position by using a plurality of position estimates.
上記目的を達成するため、本発明による移動体は、自律的に移動する移動体であって、移動体の周囲の情報を取得する第1のセンサと、移動体の周囲の情報であって、第1のセンサによって取得される情報とは異なる情報を取得する第2のセンサと、第1のセンサによって取得された情報を用いて移動体の位置を推定することによって、第1の推定位置と、第1の推定位置に対応する第1の信頼度とを取得する第1の位置推定部と、第2のセンサによって取得された情報を用いて移動体の位置を推定することによって、第2の推定位置と、第2の推定位置に対応する第2の信頼度とを取得する第2の位置推定部と、第1及び第2の推定位置と、第1及び第2の信頼度とを用いて、移動体の現在位置を取得する現在位置取得部と、移動体を移動させる移動機構と、現在位置を用いて移動機構を制御する移動制御部と、を備えたものである。
このような構成により、第1及び第2の信頼度を用いて移動体の現在位置を取得できるため、例えば、両信頼度を比較して現在位置の取得を行うことができるようになる。その結果、例えば、第1の信頼度は高くないが、第2の信頼度は第1の信頼度よりもさらに低いような状況においては、第1の推定位置を用いて現在位置を取得するようにすることができるようになる。
In order to achieve the above object, the moving body according to the present invention is a moving body that moves autonomously, and is a first sensor that acquires information around the moving body and information about the surroundings of the moving body. The second sensor that acquires information different from the information acquired by the first sensor, and the first estimated position by estimating the position of the moving object using the information acquired by the first sensor. The second position is estimated by using the information acquired by the second sensor and the first position estimation unit that acquires the first reliability corresponding to the first estimated position. The second position estimation unit that acquires the estimated position and the second reliability corresponding to the second estimated position, the first and second estimated positions, and the first and second reliability. It is provided with a current position acquisition unit for acquiring the current position of the moving body, a moving mechanism for moving the moving body, and a movement control unit for controlling the moving mechanism using the current position.
With such a configuration, since the current position of the moving body can be acquired using the first and second reliability, for example, the current position can be acquired by comparing both reliabilitys. As a result, for example, in a situation where the first reliability is not high but the second reliability is even lower than the first reliability, the current position is acquired using the first estimated position. Will be able to.
また、本発明による移動体では、第1のセンサは、複数方向に関して周囲の物体までの距離を測定する測距センサであり、第1の位置推定部は、第1のセンサによって測定された距離、及び移動体の移動領域における障害物の位置を示す第1の地図を用いて第1の推定位置を取得し、第2のセンサは、移動体の周囲の撮影画像を取得するイメージセンサであり、第2の位置推定部は、第2のセンサによって取得された撮影画像において特定した特徴点、及び移動体の移動領域における特徴点の位置を示す第2の地図を用いて第2の推定位置を取得してもよい。
このような構成により、測距結果を用いた位置推定と撮影結果を用いた位置推定とを行うことができ、それらの推定結果を用いて現在位置を取得することができるようになる。通常、測距結果を用いた位置推定は、周囲の物体までの距離が遠い場合には精度が低くなるのに対して、周囲の明るさの変化にはロバストであるという特徴がある。一方、撮影結果を用いた位置推定は、周囲の物体までの距離が遠い場合でも精度の高い位置推定を行うことができるのに対して、周囲の明るさの変化には弱いという特徴がある。このように、両者は相補的であるため、両者を用いて位置推定を行うことは、より高い精度の現在位置の取得に有効である。
Further, in the moving body according to the present invention, the first sensor is a distance measuring sensor that measures the distance to a surrounding object in a plurality of directions, and the first position estimation unit is the distance measured by the first sensor. , And the first estimated position is acquired using the first map showing the position of the obstacle in the moving area of the moving body, and the second sensor is an image sensor that acquires a photographed image around the moving body. , The second position estimation unit uses a second map showing the positions of the feature points identified in the captured image acquired by the second sensor and the feature points in the moving region of the moving body, and the second estimated position. May be obtained.
With such a configuration, it is possible to perform position estimation using the distance measurement result and position estimation using the imaging result, and it becomes possible to acquire the current position using those estimation results. Normally, the position estimation using the distance measurement result has a feature that the accuracy is low when the distance to the surrounding object is long, whereas the change in the ambient brightness is robust. On the other hand, the position estimation using the shooting result is characterized in that the position estimation can be performed with high accuracy even when the distance to the surrounding object is long, but it is vulnerable to the change in the ambient brightness. As described above, since both are complementary, performing position estimation using both is effective for obtaining the current position with higher accuracy.
また、本発明による移動体では、第2の位置推定部は、特徴点ごとに、特徴点の適切さの程度を示す適切度を取得し、適切度を用いて、複数のブロックに分割された撮影画像のブロックごとにブロック信頼度を算出し、ブロック信頼度の高いブロックを用いて第2の推定位置を取得し、第2の推定位置の取得で用いたブロックのブロック信頼度を用いて第2の信頼度を取得してもよい。
このような構成により、撮影画像のうち、適切なブロックの箇所を用いて位置推定を行うことができ、撮影画像を用いた精度の高い位置推定を実現することができるようになる。上記のように、撮影結果を用いた位置推定は通常、明るさの変化に弱いが、明るさが変化したとしても、撮影画像のすべての領域を位置推定に用いることができないわけではない。したがって、このようにすることで、撮影画像に含まれる特徴点のうち、所定の条件を満たすブロックの特徴点を用いて位置推定を行うことは有効である。
Further, in the moving body according to the present invention, the second position estimation unit acquires the appropriateness indicating the degree of appropriateness of the feature points for each feature point, and is divided into a plurality of blocks using the appropriateness. The block reliability is calculated for each block of the captured image, the second estimated position is acquired using the block with high block reliability, and the block reliability of the block used in the acquisition of the second estimated position is used to obtain the second estimated position. You may acquire the reliability of 2.
With such a configuration, it is possible to perform position estimation using an appropriate block portion of the captured image, and it is possible to realize highly accurate position estimation using the captured image. As described above, the position estimation using the shooting result is usually vulnerable to the change in brightness, but even if the brightness changes, it does not mean that the entire area of the shot image cannot be used for the position estimation. Therefore, by doing so, it is effective to perform position estimation using the feature points of the block satisfying a predetermined condition among the feature points included in the captured image.
また、本発明による移動体では、現在位置取得部は、第1及び第2の信頼度のうち、高い方の信頼度に対応する推定位置を移動体の現在位置としてもよい。
このような構成により、上記従来例のように、一方の位置推定が不適切である場合に、自動的に他方の位置推定の結果を用いるようなことを回避することができ、より精度の高い現在位置の取得を実現することができる。
Further, in the moving body according to the present invention, the current position acquisition unit may set the estimated position corresponding to the higher reliability of the first and second reliability as the current position of the moving body.
With such a configuration, it is possible to avoid using the result of the position estimation of the other automatically when the position estimation of one is inappropriate as in the above-mentioned conventional example, and the accuracy is higher. It is possible to acquire the current position.
また、本発明による移動体では、現在位置取得部は、第1及び第2の信頼度を用いて、第1及び第2の推定位置から移動体の現在位置を合成してもよい。
このような構成により、例えば、第1の信頼度が高い場合には、第1の推定位置に近い現在位置を取得したり、第1及び第2の信頼度が同程度である場合には、第1及び第2の推定位置の間の現在位置を取得したりすることができる。
Further, in the moving body according to the present invention, the current position acquisition unit may synthesize the current position of the moving body from the first and second estimated positions by using the first and second reliability.
With such a configuration, for example, when the first reliability is high, the current position close to the first estimated position is acquired, or when the first and second reliability are the same, the first reliability is the same. It is possible to obtain the current position between the first and second estimated positions.
本発明による移動体によれば、複数の位置推定を用いて適切に現在位置を取得することができるようになる。 According to the moving body according to the present invention, the current position can be appropriately acquired by using a plurality of position estimates.
以下、本発明による移動体について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による移動体は、2個のセンサを用いて取得された第1及び第2の推定位置と、それらにそれぞれ対応する第1及び第2の信頼度とを用いて現在位置を取得するものである。 Hereinafter, the moving body according to the present invention will be described with reference to embodiments. In the following embodiments, the components and steps with the same reference numerals are the same or correspond to each other, and the description thereof may be omitted again. The moving body according to the present embodiment acquires the current position using the first and second estimated positions acquired by using two sensors and the first and second reliability corresponding to them, respectively. It is something to do.
図1は、本実施の形態による移動体1の構成を示すブロック図である。本実施の形態による移動体1は、自律的に移動するものであり、第1のセンサ11と、第2のセンサ12と、第1の位置推定部13と、第2の位置推定部14と、現在位置取得部15と、移動機構16と、移動制御部17とを備える。なお、移動体1が自律的に移動するとは、移動体1がユーザ等から受け付ける操作指示に応じて移動するのではなく、自らの判断によって目的地に移動することであってもよい。その目的地は、例えば、手動で決められたものであってもよく、または、自動的に決定されたものであってもよい。また、その目的地までの移動は、例えば、移動経路に沿って行われてもよく、または、そうでなくてもよい。また、自らの判断によって目的地に移動するとは、例えば、進行方向、移動や停止などを移動体1が自ら判断することによって、目的地まで移動することであってもよい。また、例えば、移動体1が、障害物に衝突しないように移動することであってもよい。移動体1は、例えば、台車であってもよく、移動するロボットであってもよい。ロボットは、例えば、エンターテインメントロボットであってもよく、監視ロボットであってもよく、搬送ロボットであってもよく、清掃ロボットであってもよく、動画や静止画を撮影するロボットであってもよく、その他のロボットであってもよい。
FIG. 1 is a block diagram showing a configuration of a moving
第1及び第2のセンサ11,12は、移動体1の周囲の情報を取得する。第1及び第2のセンサ11,12は、それぞれ独立して、複数方向に関して周囲の物体までの距離を測定する測距センサであってもよく、移動体1の周囲の撮影画像を取得するイメージセンサであってもよい。第1及び第2のセンサ11,12が測距センサである場合には、取得対象の情報は距離になり、第1及び第2のセンサ11,12がイメージセンサである場合には、取得対象の情報は撮影画像になる。なお、第2のセンサ12は、第1のセンサ11によって取得される情報とは異なる情報を取得する。第1及び第2のセンサ11,12によって取得される情報が異なるとは、例えば、(1)第1及び第2のセンサ11,12の種類が異なることであってもよく、(2)第1及び第2のセンサ11,12の情報の取得方向が異なることであってもよい。以下、それぞれの場合について説明する。
The first and
(1)第1及び第2のセンサ11,12の種類が異なる場合
この場合には、例えば、第1のセンサ11は測距センサであり、第2のセンサ12はイメージセンサであってもよい。図3A,図3Bは、移動体1の上面図であり、それぞれ測距センサである第1のセンサ11による測距と、イメージセンサである第2のセンサ12による撮影とを示す図である。なお、図3A,図3Bでは、説明の便宜上、それぞれ別の図面に測距センサとイメージセンサを示しているが、実際には、1個の移動体1に、測距センサとイメージセンサとが装着されていることになる。測距センサである第1のセンサ11の測距の向きと、イメージセンサである第2のセンサ12の撮影の向きとは、例えば、図3A,図3Bで示されるように、同じであってもよく、または、異なっていてもよい。第1のセンサ11の測距の向きと第2のセンサ12の撮影の向きとが同じである場合に、その向きは移動体1の進行方向であってもよい。進行方向の測距結果を用いて衝突回避などの制御を行うことができ、また、進行方向の撮影画像はより変化の小さいものになるため、位置推定に用いるのに好適だからである。
(1) When the types of the first and
(2)第1及び第2のセンサ11,12の情報の取得方向が異なる場合
この場合には、例えば、第1及び第2のセンサ11,12の両方が測距センサであってもよく、またはイメージセンサであってもよい。図3Cは、測距センサである第1及び第2のセンサ11,12による測距を示す上面図である。図3Dは、イメージセンサである第1及び第2のセンサ11,12による撮影を示す上面図である。図3C,図3Dで示されるように、第1及び第2のセンサ11,12の両方が同じ種類のセンサである場合には、情報の取得方向が異なっているものとする。なお、情報の取得方向が異なっているとは、第1及び第2のセンサ11,12が取得する情報に、異なる方向の情報が少なくとも含まれていることを意味していると考えてもよい。すなわち、第1及び第2のセンサ11,12が取得する情報の少なくとも一部は、同じ方向であってもよい。なお、図3C,図3Dでは、第1及び第2のセンサ11,12の情報の取得方向が180度異なる場合について示しているが、そうでなくてもよい。第1及び第2のセンサ11,12の情報の取得方向は、例えば、90度異なっていてもよい。
(2) When the information acquisition directions of the first and
なお、第1及び第2のセンサ11,12は、種類が異なると共に、情報の取得方向も異なっていてもよい。また、図3A~図3Dにおいて、移動体1の上面視における輪郭形状が台形である場合について示しているが、これは移動体1の向きを分かりやすくするためのものであり、移動体1の上面視における輪郭形状は、例えば、矩形状であってもよく、円形状であってもよく、多角形状であってもよく、特に限定されるものではない。本実施の形態では、第1のセンサ11が測距センサであり、第2のセンサ12がイメージセンサである場合について主に説明する。
The first and
測距センサは、例えば、レーザセンサや、超音波センサ、マイクロ波を用いた距離センサ、ステレオカメラによって撮影されたステレオ画像を用いた距離センサなどであってもよい。レーザセンサは、レーザレンジセンサ(レーザレンジスキャナ)であってもよい。なお、それらの測距センサについてはすでに公知であり、それらの説明を省略する。本実施の形態では、測距センサがレーザレンジセンサである場合について主に説明する。また、第1のセンサ11は、1個のレーザレンジセンサを有していてもよく、または、2個以上のレーザレンジセンサを有していてもよい。後者の場合には、2個以上のレーザレンジセンサによって、全方向がカバーされてもよい。また、測距センサが超音波センサや、マイクロ波を用いた距離センサなどである場合に、測距センサの測距方向を回転させることによって複数方向の距離を測定してもよく、複数方向ごとに配置された複数の測距センサを用いて複数方向の距離を測定してもよい。複数方向の距離を測定するとは、例えば、あらかじめ決められた角度範囲や全周囲(360度)について、あらかじめ決められた角度間隔で複数方向の距離を測定することであってもよい。その角度間隔は、例えば、1度間隔や2度間隔、5度間隔などのように一定であってもよい。測距センサから得られる情報は、例えば、移動体1のある向きを基準とした複数の方位角のそれぞれに関する周辺の物体までの距離であってもよい。その距離を用いることによって、移動体1のローカル座標系において、移動体1の周囲にどのような物体が存在するのかを知ることができるようになる。
The distance measuring sensor may be, for example, a laser sensor, an ultrasonic sensor, a distance sensor using a microwave, a distance sensor using a stereo image taken by a stereo camera, or the like. The laser sensor may be a laser range sensor (laser range scanner). It should be noted that these distance measuring sensors are already known, and their description will be omitted. In this embodiment, the case where the ranging sensor is a laser range sensor will be mainly described. Further, the
イメージセンサは、例えば、CCDイメージセンサや、CMOSイメージセンサなどであってもよい。イメージセンサは、例えば、イメージセンサ上に結像させるためのレンズ等の光学系を含んでいてもよい。また、イメージセンサは、単眼であってもよく、双眼(ステレオカメラ)であってもよい。本実施の形態では、イメージセンサが単眼である場合について主に説明する。イメージセンサは、通常、動画を撮影するもの、すなわち、連続した画像フレームを取得するものである。移動している移動体1の現在位置を取得するために撮影画像を取得することから、そのフレームレートは、移動速度に対して十分大きいものであることが好適である。例えば、フレームレートは、約30fpsなどであってもよい。
The image sensor may be, for example, a CCD image sensor, a CMOS image sensor, or the like. The image sensor may include, for example, an optical system such as a lens for forming an image on the image sensor. Further, the image sensor may be monocular or binocular (stereo camera). In this embodiment, the case where the image sensor is monocular will be mainly described. The image sensor usually captures a moving image, that is, acquires a continuous image frame. Since the captured image is acquired in order to acquire the current position of the moving moving
なお、第1及び第2のセンサ11,12による情報の取得は、同期して行われることが好適である。第1及び第2の位置推定部13,14によって、同時点の位置がそれぞれ推定されることが好適だからである。
It is preferable that the acquisition of information by the first and
第1の位置推定部13は、第1のセンサ11によって取得された情報を用いて移動体1の位置を推定することによって、第1の推定位置と、その第1の推定位置に対応する第1の信頼度とを取得する。なお、上記のとおり、本実施の形態では、第1のセンサ11が測距センサである場合について説明するため、第1の位置推定部13は、第1のセンサ11によって測定された距離、及び移動体1の移動領域における障害物の位置を示す第1の地図を用いて第1の推定位置を取得するものとする。測定された距離は、厳密には、測定された各方向の距離である。また、第1の地図は、第1の位置推定部13が有する図示しない記録媒体において記憶されているものとする。その障害物は、測距センサによる距離の測定対象となる壁や設備等の物体であってもよい。第1の推定位置は、通常、ワールド座標系における位置である。そのような測距結果を用いた自己位置推定は、測距結果を用いたSLAM(Simultaneous Localization and Mapping)においてすでに知られているため、その詳細な説明を省略する。なお、第1の位置推定部13は、環境地図である第1の地図の作成を行ってもよく、または行わなくてもよい。前者の場合には、第1の位置推定部13は、測距結果を用いたSLAMと同様のものであってもよく、後者の場合には、第1の位置推定部13は、既存の環境地図である第1の地図を用いて自己位置推定を行うものであってもよい。
The first
第1の信頼度は、第1の推定位置の信頼できる程度、すなわち確からしさを示すものであり、例えば、測定結果と第1の地図とのマッチングの程度に応じて取得されてもよく、測定結果の精度に応じて取得されてもよく、その両方であってもよく、その他の方法によって取得されてもよい。したがって、第1の信頼度は、例えば、第1のセンサ11による測定結果と、移動体1が第1の推定位置に存在するとした場合における第1の地図の示す障害物までの距離とのマッチングの程度が高いほど大きい値となるものであってもよい。この場合には、第1の信頼度が次のように算出されてもよい。
第1の信頼度=(ΣF(Li))/N1
The first reliability indicates the reliability of the first estimated position, that is, the certainty, and may be acquired according to the degree of matching between the measurement result and the first map, for example, and is measured. It may be obtained depending on the accuracy of the result, it may be both, or it may be obtained by other methods. Therefore, the first reliability is, for example, a matching between the measurement result by the
First reliability = ( ΣF (Li)) / N1
ここで、関数F(x)は、x=0のときに1となり、xが正の大きい値になるほど小さくなる減少関数である。但し、F(x)≧0とする。また、Liは、i番目の測距方向における測距結果と、第1の地図によって示される障害物のエッジまでの距離との差の絶対値である。また、N1はiの総数、すなわち測距の総数であり、総和Σは、すべてのiについて取られるものとする。N1によって規格化されているため、第1の信頼度は、0以上、1以下の実数となる。なお、F(x)は、どのような関数であってもよいが、例えば、F(x)=exp(-α×x)であってもよい。αは正の実数である。 Here, the function F (x) is a decreasing function that becomes 1 when x = 0 and becomes smaller as x becomes a positive larger value. However, F (x) ≧ 0. L i is the absolute value of the difference between the distance measurement result in the i-th distance measurement direction and the distance to the edge of the obstacle shown by the first map. Further, N1 is the total number of i, that is, the total number of distance measurements, and the sum Σ is taken for all i. Since it is standardized by N1, the first reliability is a real number of 0 or more and 1 or less. Note that F (x) may be any function, and may be, for example, F (x) = exp (−α × x). α is a positive real number.
また、レーザ等による測距結果は、距離が長くなるほど反射等の影響によって誤差が大きくなるため、第1の信頼度は、例えば、測距結果が大きいほど小さい値となるものであってもよい。この場合には、第1の信頼度が次のように算出されてもよい。
第1の信頼度=(ΣG(Di))/N1
Further, since the error of the distance measurement result by the laser or the like becomes larger due to the influence of reflection or the like as the distance becomes longer, the first reliability may be, for example, a smaller value as the distance measurement result is larger. .. In this case, the first reliability may be calculated as follows.
First reliability = (ΣG (Di)) / N1
ここで、関数G(x)は、x=0のときに1となり、xが正の大きい値になるほど小さくなる減少関数である。但し、G(x)≧0とする。また、Diは、i番目の測距方向における測距結果である。また、N1及び総和Σは、上記のとおりである。この場合にも、N1によって規格化されているため、第1の信頼度は、0以上、1以下の実数となる。また、G(x)も、上記関数F(x)と同様のものであってもよい。また、第1の信頼度は、例えば、第1のセンサ11による測定結果と、第1の地図の示す障害物の位置とのマッチングの程度が高いほど大きい値となると共に、測距結果が大きいほど小さい値となるものであってもよい。
Here, the function G (x) is a decreasing function that becomes 1 when x = 0 and becomes smaller as x becomes a positive larger value. However, G (x) ≧ 0. Further, D i is a distance measurement result in the i-th distance measurement direction. Further, N1 and the total sum Σ are as described above. Also in this case, since it is standardized by N1, the first reliability is a real number of 0 or more and 1 or less. Further, G (x) may be the same as the above function F (x). Further, the first reliability is, for example, the higher the degree of matching between the measurement result by the
なお、第1の位置推定部13は、第1の推定位置を一意に決定できない場合にも、第1の信頼度を低い値としてもよい。例えば、移動体1が長い廊下のように単調な環境に存在する場合には、第1のセンサ11による測距結果を用いて、第1の推定位置を一意に決定できないこともありうる。そのような場合には、第1の信頼度は低い値とされてもよい。
The first
第2の位置推定部14は、第2のセンサ12によって取得された情報を用いて移動体1の位置を推定することによって、第2の推定位置と、その第2の推定位置に対応する第2の信頼度とを取得する。なお、上記のとおり、本実施の形態では第2のセンサ12がイメージセンサである場合について説明するため、第2の位置推定部14は、第2のセンサ12によって取得された撮影画像において特定した特徴点、及び移動体1の移動領域における特徴点の位置を示す第2の地図を用いて第2の推定位置を取得するものとする。なお、第2の地図は、第2の位置推定部14が有する図示しない記録媒体において記憶されているものとする。第2の推定位置は、通常、ワールド座標系における位置である。そのような撮影画像を用いた自己位置推定は、visual-SLAMとしてすでに知られているため、その詳細な説明を省略する。なお、第2の位置推定部14は、環境地図である第2の地図の作成を行ってもよく、または行わなくてもよい。前者の場合には、第2の位置推定部14は、visual-SLAMと同様のものであってもよく、後者の場合には、第2の位置推定部14は、既存の環境地図である第2の地図を用いて自己位置推定を行うものであってもよい。
The second
ここで、第2の位置推定部14が撮影画像において特定する特徴点について説明する。第2の位置推定部14が、ORB-SLAMと同様の自己位置推定を行う場合には、特徴点として所定個数のFASTキーポイントが用いられる。その所定個数のFASTキーポイントは、撮影画像から取得されたFASTキーポイントのうち、ハリスのコーナー尺度(Harris corner measure)の上位である所定個数が選ばれたものとなる。なお、FASTキーポイント、ハリスのコーナー尺度、ORB-SLAMにおける特徴点については、以下の文献1~3をそれぞれ参照されたい。また、特徴点としては、例えば、SIFTキーポイントや、SURFキーポイントなどを用いてもよい。それらのキーポイントについては、以下の文献4,5を参照されたい。また、visual-SLAMで用いられる他の特徴点が用いられてもよい。また、後述する特徴点の特徴記述子(feature descriptor)についても、例えば、以下の文献3~5を参照されたい。本実施の形態では、第2の位置推定部14がORB-SLAMと同様の手法によって自己位置推定を行う場合について主に説明する。ORB-SLAMについては、以下の文献6を参照されたい。
Here, the feature points specified by the second
文献1:Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", in 9th European Conference on Computer Vision, vol. 1, 2006, pp. 430-443.
文献2:C. Harris, M. Stephens, "A Combined Corner and Edge Detector", In Proceedings of the 4th Alvey Vision Conference (1988), pp. 147-151.
文献3:Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski, "ORB: An efficient alternative to SIFT or SURF", ICCV 2011, pp.2564-2571.
文献4:D. Lowe, "Distinctive image features from scale-invariant keypoints", Int. Journal of Computer Vision (2004), 60(2), pp.91-110.
文献5:H. Bay, A. Ess, T. Tuytelaars, L. Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU) (2008), 110(3), pp.346-359.
文献6:R. Mur-Artal, J.M. Montiel, J.D. Tardos, "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", IEEE Transactions on Robotics 31 (2015), pp.1147-1163.
Reference 1: Edward Rosten, Tom Drummond, "Machine learning for high-speed corner detection", in 9th European Conference on Computer Vision, vol. 1, 2006, pp. 430-443.
Reference 2: C. Harris, M. Stephens, "A Combined Corner and Edge Detector", In Proceedings of the 4th Alvey Vision Conference (1988), pp. 147-151.
Reference 3: Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski, "ORB: An efficient alternative to SIFT or SURF", ICCV 2011, pp.2564-2571.
Reference 4: D. Lowe, "Distinctive image features from scale-invariant keypoints", Int. Journal of Computer Vision (2004), 60 (2), pp.91-110.
Reference 5: H. Bay, A. Ess, T. Tuytelaars, L. Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU) (2008), 110 (3), pp.346- 359. 359.
Reference 6: R. Mur-Artal, JM Montiel, JD Tardos, "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", IEEE Transactions on Robotics 31 (2015), pp.1147-1163.
第2の信頼度は、第2の推定位置の信頼できる程度、すなわち確からしさを示すものであり、例えば、撮影画像において特定された特徴点と第2の地図に含まれる特徴点とのマッチングの程度に応じて取得されてもよく、撮影画像において特定された特徴点の精度に応じて取得されてもよく、その両方であってもよく、その他の方法によって取得されてもよい。したがって、第2の信頼度は、例えば、第2のセンサ12によって取得された撮影画像において特定された特徴点の特徴記述子(特徴量)と、移動体1が第2の推定位置に存在するとした場合における、それらの特徴点に対応する第2の地図に含まれる特徴点の特徴記述子との類似度が大きいほど大きい値となるものであってもよい。その場合には、第2の信頼度が次のように算出されてもよい。
第2の信頼度=(ΣRi)/N2
The second reliability indicates the reliability of the second estimated position, that is, the certainty, and is, for example, the matching between the feature points specified in the captured image and the feature points included in the second map. It may be acquired according to the degree, may be acquired according to the accuracy of the feature points specified in the captured image, may be both, or may be acquired by other methods. Therefore, the second reliability is, for example, that the feature descriptor (feature amount) of the feature point specified in the captured image acquired by the
Second reliability = (ΣR i ) / N2
ここで、Riは、撮影画像において特定されたi番目の特徴点の特徴記述子と、その特徴点に対応する第2の地図に含まれる特徴点の特徴記述子との類似度であり、0から1までの値に規格化されていることが好適である。その類似度は、値が大きいほど、類似の程度が大きいものとする。また、撮影画像において特定されたi番目の特徴点に対応する特徴点が第2の地図に含まれない場合には、類似度は0であってもよい。また、N2は、iの総数、すなわち撮影画像において特定された特徴点の総数であり、総和Σは、すべてのiについて取られるものとする。N2によって規格化されているため、第2の信頼度は、0以上、1以下の実数となる。なお、特徴記述子が二値ベクトルである場合(例えば、ORB-SLAMの場合)には、ハミング距離を用いて類似度を算出してもよい。特徴記述子が二値ベクトルではない場合(例えば、SIFTキーポイントやSURFキーポイントの場合)には、類似度をコサイン距離やユークリッド距離を用いて算出してもよい。 Here, R i is the degree of similarity between the feature descriptor of the i-th feature point specified in the captured image and the feature descriptor of the feature point included in the second map corresponding to the feature point. It is preferable that the value is standardized from 0 to 1. As for the degree of similarity, the larger the value, the greater the degree of similarity. Further, when the feature point corresponding to the i-th feature point specified in the captured image is not included in the second map, the similarity may be 0. Further, N2 is the total number of i, that is, the total number of feature points specified in the captured image, and the sum Σ is taken for all i. Since it is standardized by N2, the second reliability is a real number of 0 or more and 1 or less. When the feature descriptor is a binary vector (for example, in the case of ORB-SLAM), the Hamming distance may be used to calculate the similarity. If the feature descriptor is not a binary vector (eg, SIFT keypoints or SURF keypoints), the similarity may be calculated using the cosine distance or the Euclidean distance.
また、撮影画像における特徴点は、露出がオーバーになって白とびになっている場合や、露出がアンダーになって黒つぶれになっている場合には、適切に特定できないため、第2の信頼度は、例えば、特徴点の特定において用いられる評価値が大きいほど大きい値となるものであってもよい。なお、評価値の高い特徴点の候補が、特徴点として特定されることになるものとする。例えば、ORB-SLAMでは、ハリスのコーナー尺度の上位から所定個数のFASTキーポイントが選ばれるため、その評価値は、ハリスのコーナー尺度であってもよい。すなわち、第2の信頼度は、撮影画像において特定された複数の特徴点に関するハリスのコーナー尺度の代表値であってもよい。代表値は、例えば、平均値や中央値、最大値等であってもよい。また、例えば、SIFTによる特徴点(キーポイント)の特定では、ローコントラストのキーポイント候補を削除するため、キーポイント候補点の極値の大きさを計算し、その大きさが閾値未満の候補点を削除する。したがって、特定された複数の特徴点に関する極値の大きさの代表値を第2の信頼度として用いてもよい。他の特徴点についても同様である。また、第2の信頼度は、例えば、撮影画像において特定された特徴点の特徴記述子と、それらの特徴点に対応する第2の地図に含まれる特徴点の特徴記述子との類似度が大きいほど大きい値となると共に、特徴点の特定において用いられる評価値が大きいほど大きい値となるものであってもよい。 In addition, the feature points in the captured image cannot be properly identified when the exposure is overexposed and the image is overexposed, or when the exposure is underexposed and the image is blacked out. The degree may be, for example, the larger the evaluation value used in specifying the feature points, the larger the value. It is assumed that a candidate for a feature point having a high evaluation value is specified as a feature point. For example, in ORB-SLAM, since a predetermined number of FAST key points are selected from the upper ranks of Harris's corner scale, the evaluation value may be Harris's corner scale. That is, the second reliability may be a representative value of Harris's corner scale with respect to the plurality of feature points specified in the captured image. The representative value may be, for example, an average value, a median value, a maximum value, or the like. Further, for example, in the identification of feature points (key points) by SIFT, in order to delete low-contrast key point candidates, the size of the extreme value of the key point candidate points is calculated, and the candidate points whose size is less than the threshold value are calculated. To delete. Therefore, a representative value of the magnitude of the extremum with respect to the specified plurality of feature points may be used as the second reliability. The same applies to other feature points. Further, the second reliability is, for example, the similarity between the feature descriptor of the feature points specified in the captured image and the feature descriptor of the feature points included in the second map corresponding to those feature points. The larger the value, the larger the value, and the larger the evaluation value used in specifying the feature point, the larger the value.
なお、第1及び第2の信頼度は、両者を適切に比較することができるように規格化されていることが好適である。すなわち、第1及び第2の信頼度が同程度の値であれば、第1及び第2の推定位置が同程度の信頼性となるようにそれぞれが規格化されていることが好適である。 It is preferable that the first and second reliability are standardized so that the two can be appropriately compared. That is, if the first and second reliability values are the same, it is preferable that the first and second estimated positions are standardized so as to have the same reliability.
現在位置取得部15は、第1及び第2の推定位置と、第1及び第2の信頼度とを用いて、移動体1の現在位置を取得する。現在位置取得部15は、例えば、第1及び第2の信頼度のうち、高い方の信頼度に対応する推定位置を移動体1の現在位置としてもよい。この場合には、現在位置取得部15は、第1及び第2の信頼度を比較し、高いほうの信頼度に対応する推定位置を選択し、その選択した推定位置を移動体1の現在位置としてもよい。より具体的には、第1の信頼度のほうが第2の信頼度よりも高かった場合には、現在位置取得部15は、第1の信頼度に対応する第1の推定位置を現在位置とすることになる。なお、この場合には、あらかじめ第1及び第2の推定位置と、第1及び第2の信頼度との両方が取得された状況において、その選択が行われてもよく、第1及び第2の信頼度のみを先に算出し、大きい方の信頼度に応じた推定位置を後から取得するようにしてもよい。このように、信頼度を用いて一方の推定位置を選択する場合であって、信頼度に応じた選択対象が切り替わった場合には、現在位置取得部15によって取得された現在位置が突然に大きく変化することも考えられる。したがって、信頼度に応じた選択対象が切り替わった場合であって、選択対象が切り替わる前の現在位置と選択対象が切り替わった後の現在位置とに、あらかじめ決められた閾値以上の差が存在する場合には、切り替わる直前の現在位置から、新たに選択対象となった現在位置までをなめらかに繋ぐように現在位置を取得してもよい。なお、第1及び第2の信頼度が同じである場合には、現在位置取得部15は、ランダムに選択した一方の推定位置を移動体1の現在位置としてもよく、または、第1及び第2の推定位置を合成した現在位置を取得してもよい。その合成については後述する。
The current
また、現在位置取得部15は、例えば、第1及び第2の信頼度を用いて、第1及び第2の推定位置から移動体1の現在位置を合成してもよい。現在位置取得部15は、例えば、第1及び第2の信頼度を重みとして、第1及び第2の推定位置を合成してもよい。すなわち、現在位置取得部15は、第1及び第2の信頼度を重みとして用いた第1及び第2の推定位置の重み付け加算によって現在位置を合成してもよい。具体的には、現在位置の座標値を(X100,Y100)とした場合に、現在位置取得部15は、次のように合成を行ってもよい。
X100=(C1×X101+C2×X102)/(C1+C2)
Y100=(C1×Y101+C2×Y102)/(C1+C2)
ここで、第1及び第2の推定位置の座標値をそれぞれ(X101,Y101)、(X102,Y102)とし、第1及び第2の信頼度をそれぞれC1,C2としている。
Further, the current
X100 = (C1 x X101 + C2 x X102) / (C1 + C2)
Y100 = (C1 x Y101 + C2 x Y102) / (C1 + C2)
Here, the coordinate values of the first and second estimated positions are (X101, Y101) and (X102, Y102), respectively, and the first and second reliability are C1 and C2, respectively.
また、現在位置取得部15は、例えば、第1及び第2の信頼度が両方ともあらかじめ決められた閾値よりも大きい場合に、第1及び第2の推定位置の中点を現在位置としてもよい。なお、現在位置取得部15は、例えば、第1及び第2の信頼度の少なくとも一方が閾値よりも小さい場合には、より大きい信頼度に対応する推定位置を現在位置としてもよい。また、現在位置取得部15は、例えば、第1及び第2の信頼度が等しい場合には、第1及び第2の推定位置の中点を現在位置としてもよい。
Further, the current
移動機構16は、移動体1を移動させる。移動機構16は、例えば、移動体1を全方向に移動できるものであってもよく、または、そうでなくてもよい。全方向に移動できるとは、任意の方向に移動できることである。移動機構16は、例えば、走行部(例えば、車輪など)と、その走行部を駆動する駆動手段(例えば、モータやエンジンなど)とを有していてもよい。また、移動機構16は、車輪等の速度を取得できる機構、例えば、エンコーダ等を有していてもよい。なお、移動機構16が、移動体1を全方向に移動できるものである場合には、その走行部は、全方向移動車輪(例えば、オムニホイール、メカナムホイールなど)であってもよい。この移動機構16としては、公知のものを用いることができるため、その詳細な説明を省略する。
The moving
移動制御部17は、現在位置取得部15によって取得された現在位置を用いて移動機構16を制御することによって、移動体1の移動を制御する。移動の制御は、移動体1の移動の向きや、移動の開始・停止などの制御であってもよい。例えば、移動経路が設定されている場合には、移動制御部17は、移動体1がその移動経路に沿って移動するように、移動機構16を制御してもよい。より具体的には、移動制御部17は、現在位置取得部15によって取得される現在位置が、その移動経路に沿ったものになるように、移動機構16を制御してもよい。また、移動制御部17は、地図を用いて、移動の制御を行ってもよい。移動制御部17による移動機構16の制御は公知であるため、その詳細な説明を省略する。
The
次に、移動体1の動作について図2のフローチャートを用いて説明する。
(ステップS101)現在位置取得部15は、現在位置を取得するかどうか判断する。そして、現在位置を取得する場合には、ステップS102に進み、そうでない場合には、現在位置を取得すると判断するまで、ステップS101の処理を繰り返す。なお、現在位置取得部15は、例えば、現在位置を取得すると定期的に判断してもよい。
Next, the operation of the moving
(Step S101) The current
(ステップS102)第1のセンサ11は、移動体1の周囲の情報を取得する。その情報は、例えば、複数方向に関する測距結果である。
(Step S102) The
(ステップS103)第1の位置推定部13は、第1のセンサ11によって取得された情報を用いて、第1の推定位置及び第1の信頼度を取得する。
(Step S103) The first
(ステップS104)第2のセンサ12は、移動体1の周囲の情報を取得する。その情報の取得は、例えば、撮影画像の取得である。
(Step S104) The
(ステップS105)第2の位置推定部14は、第2のセンサ12によって取得された情報を用いて、第2の推定位置及び第2の信頼度を取得する。
(Step S105) The second
(ステップS106)現在位置取得部15は、第1の位置推定部13によって取得された第1の推定位置及び第1の信頼度と、第2の位置推定部14によって取得された第2の推定位置及び第2の信頼度とを用いて、現在位置を取得する。その現在位置は、例えば、第1及び第2の推定位置のいずれか一方であってもよく、または、第1及び第2の推定位置の合成結果であってもよい。そして、ステップS101に戻る。
(Step S106) The current
なお、図2のフローチャートには含まれていないが、現在位置取得部15によって取得された現在位置を用いた移動制御が、移動制御部17によって行われるものとする。また、図2のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。前述のように、ステップS102,S104の処理は同期して行われることが好適であるため、ステップS102,S103の処理と、ステップS104,S105の処理とは並列的に行われてもよい。また、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
Although not included in the flowchart of FIG. 2, it is assumed that the
次に、本実施の形態による移動体1の動作について、簡単な具体例を用いて説明する。この具体例では、移動体1が工場内において搬送ロボットとして用いられているものとする。また、現在位置取得部15は、高い方の信頼度に対応する推定位置を現在位置として選択するものとする。また、第1の信頼度は、測定結果と第1の地図とのマッチングの程度に応じて取得され、第2の信頼度は、特定された特徴点と第2の地図に含まれる特徴点とのマッチングの程度に応じて取得されるものとする。
Next, the operation of the moving
まず、移動体1が、人通りの多い領域を移動しているとする。そのような状況において、第1のセンサ11によって障害物までの距離が測定され、第1の位置推定部13によって第1の推定位置及び第1の信頼度が取得される(ステップS101~S103)。なお、その第1の信頼度は、低い値となる。第1の地図に含まれていない障害物(人間)が多く存在するからである。その後、第2のセンサ12によって撮影画像が取得され、第2の位置推定部14によって第2の推定位置及び第2の信頼度が取得される(ステップS104,S105)。撮影画像を用いた位置推定は新たな障害物に対してロバストであるため、第2の信頼度は、第1の信頼度ほどは低下しないことになる。その結果、第2の信頼度の方が、第1の信頼度よりも高かったとする。すると、現在位置取得部15は、より高い値である第2の信頼度に対応する第2の推定位置を選択して、その第2の推定位置である現在位置を移動制御部17に渡す(ステップS106)。
First, it is assumed that the moving
その後、人の出入りのために工場の扉が開けられ、その扉を介して太陽光が工場内に差し込んできたとする。また、ちょうどそのときに、第2のセンサ12が、その扉を向いていたとする。すると、太陽光の影響によって第2のセンサ12によって取得された撮影画像の一部が白とびになる。その結果、第2の信頼度が大きく低下し、第1の信頼度よりも小さくなったとする(ステップS104,S105)。すると、現在位置取得部15は、第1の信頼度に応じた第1の推定位置を選択して現在位置として移動制御部17に渡すように切り替える(ステップS106)。なお、前述のように、切り替え前の現在位置と、切り替え後の現在位置とに大きな差がある場合には、現在位置取得部15は、それらをなめらかに繋ぐように、移動制御部17に渡す現在位置を、徐々に変化させるようにしてもよい。
After that, the door of the factory was opened for people to come and go, and sunlight came into the factory through the door. Also, it is assumed that the
以上のように、本実施の形態による移動体1によれば、第1及び第2の信頼度を用いて移動体1の現在位置を取得するため、例えば、測距センサによる測定結果を用いた第1の推定位置に対応する第1の信頼度が、イメージセンサによる撮影画像を用いた第2の推定位置に対応する第2の信頼度よりも低い場合には、第2の推定位置を現在位置とすることによって、より精度の高い現在位置の取得を実現することができる。また、上記従来例のように、一方の位置推定が不適切である場合に、自動的に他方の位置推定の結果を用いるようにすることを回避することができる。その結果、現在位置の精度がより高くなることになる。また、現在位置取得部15によって第1及び第2の推定位置の合成が行われる場合であって、第1及び第2の信頼度が両方とも高い場合には、合成結果の現在位置は、より精度の高いものになると考えられる。
As described above, according to the moving
なお、上記のように、測距センサの測定結果は、距離が遠くなるほど精度が低くなるため、遠い距離の測定結果は用いないようにしてもよい。例えば、図4で示されるように、測距センサである第1のセンサ11によって取得された測定点までの長さが、あらかじめ決められた閾値Lよりも大きい場合には、その測定点を自己位置推定に用いず、測定点までの長さが閾値Lよりも小さい場合には、その測定点を自己位置推定に用いるようにしてもよい。なお、測定点までの距離が閾値Lと等しい場合には、その測定点を自己位置推定に用いるようにしてもよく、または、そうでなくてもよい。図4で示される状況では、測定点aは、第1の位置推定部13による自己位置推定に用いられることになり、測定点bは、第1の位置推定部13による自己位置推定に用いられないことになる。
As described above, the accuracy of the measurement result of the distance measuring sensor decreases as the distance increases, so that the measurement result of a long distance may not be used. For example, as shown in FIG. 4, when the length to the measurement point acquired by the
また、撮影画像の露出がオーバーになって白とびが起こったり、露出がアンダーになって黒つぶれが起こったりする場合でも、撮影画像の全体がそのようになることはあまりなく、部分的に白とびや黒つぶれの起こることが多い。そのため、第2の位置推定部14は、特徴点ごとに、特徴点の適切さの程度を示す適切度を取得し、その適切度を用いて、複数のブロックに分割された撮影画像のブロックごとにブロック信頼度を算出し、ブロック信頼度の高いブロックを用いて第2の推定位置を取得し、第2の推定位置の取得で用いたブロックのブロック信頼度を用いて第2の信頼度を取得するようにしてもよい。例えば、図5で示されるように、撮影画像があらかじめ9個のブロック51~59に分割されている場合には、第2の位置推定部14は、ブロックごとにブロック信頼度を取得してもよい。そのブロック信頼度は、例えば、そのブロックに含まれる特徴点に対応する適切度の代表値であってもよい。代表値は、例えば、平均値や中央値、最大値等であってもよい。その適切度は、特定された特徴点の特徴記述子と、その特徴点に対応する第2の地図に含まれる特徴点の特徴記述子との類似度であってもよく(この場合には、撮影画像において特定された特徴点と第2の地図に含まれる特徴点とのマッチングをブロック単位で暫定的に行うことによって、特徴点の対応関係を見つけてもよい)、上記した評価値であってもよく、その他の特徴点の適切さの程度を示す値であってもよい。また、ブロック信頼度の高いブロックとは、例えば、ブロック信頼度があらかじめ決められた閾値を超えているブロックであってもよく、ブロック信頼度の高い方からあらかじめ決められた個数のブロックであってもよい。また、ブロック信頼度の高いブロックを用いて第2の推定位置を取得するとは、そのブロック信頼度の高いブロックに含まれる特徴点を用いて第2の推定位置を取得することである。また、第2の推定位置の取得で用いたブロックのブロック信頼度を用いて第2の信頼度を取得するとは、第2の推定位置の取得で用いたブロック、すなわちブロック信頼度の高いブロックに対応するブロック信頼度の代表値を、第2の信頼度とすることであってもよい。その代表値も、例えば、平均値や中央値、最大値等であってもよく、ブロックに含まれる特徴点の個数を重みとして用いた重み付け加算によって算出された値であってもよい。
Also, even if the captured image is overexposed and overexposed, or underexposed and underexposed, it is unlikely that the entire captured image will be like that, and it will be partially white. Overexposure and underexposure often occur. Therefore, the second
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。 Further, in the above embodiment, each process or each function may be realized by centralized processing by a single device or a single system, or may be distributed processing by a plurality of devices or a plurality of systems. It may be realized by.
また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う2個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う2個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。 Further, in the above embodiment, the transfer of information performed between the components is performed by, for example, one of the components when the two components that transfer the information are physically different. It may be done by outputting information and accepting information by the other component, or if the two components that pass the information are physically the same, one component. It may be performed by moving from the processing phase corresponding to the other component to the processing phase corresponding to the other component.
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。 Further, in the above embodiment, information related to the processing executed by each component, for example, information received, acquired, selected, generated, transmitted, or received by each component. Further, information such as threshold values, mathematical formulas, addresses, etc. used by each component in processing may be temporarily or for a long time held in a recording medium (not shown), even if it is not specified in the above description. In addition, each component or a storage unit (not shown) may store information on a recording medium (not shown). Further, the information may be read from the recording medium (not shown) by each component or a reading unit (not shown).
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。 Further, in the above embodiment, when the information used in each component or the like, for example, the information such as the threshold value and the address used in the processing by each component and various setting values may be changed by the user, the above-mentioned The information may or may not be changed as appropriate by the user, even if it is not specified in the description. When the information can be changed by the user, the change is realized by, for example, a reception unit (not shown) that receives a change instruction from the user and a change unit (not shown) that changes the information in response to the change instruction. You may. The reception unit (not shown) may accept the change instruction from, for example, an input device, information transmitted via a communication line, or information read from a predetermined recording medium. ..
また、上記実施の形態において、移動体1に含まれる2以上の構成要素が通信デバイスや入力デバイス等を有する場合に、2以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。
Further, in the above embodiment, when two or more components included in the
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現されうる。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、光ディスクや磁気ディスク、半導体メモリなど)に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。 Further, in the above embodiment, each component may be configured by dedicated hardware, or a component that can be realized by software may be realized by executing a program. For example, each component can be realized by reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU. At the time of execution, the program execution unit may execute the program while accessing the storage unit or the recording medium. Further, the program may be executed by being downloaded from a server or the like, or may be executed by reading a program recorded on a predetermined recording medium (for example, an optical disk, a magnetic disk, a semiconductor memory, etc.). good. Further, this program may be used as a program constituting a program product. Further, the number of computers that execute the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 Further, the present invention is not limited to the above embodiments, and various modifications can be made, and it goes without saying that these are also included in the scope of the present invention.
以上より、本発明による移動体によれば、精度の高い現在位置を取得できるという効果が得られ、例えば、搬送ロボット等の移動体として有用である。 From the above, the moving body according to the present invention has the effect of being able to acquire the current position with high accuracy, and is useful as a moving body such as a transfer robot, for example.
1 移動体
11 第1のセンサ
12 第2のセンサ
13 第1の位置推定部
14 第2の位置推定部
15 現在位置取得部
16 移動機構
17 移動制御部
1
Claims (3)
複数方向に関して前記移動体の周囲の物体までの距離を測定する測距センサである第1のセンサと、
前記移動体の周囲の撮影画像を取得するイメージセンサである第2のセンサと、
前記第1のセンサによって測定された距離、及び前記移動体の移動領域における障害物の位置を示す第1の地図を用いて前記移動体の位置を推定することによって、第1の推定位置と、当該第1の推定位置に対応する第1の信頼度とを取得する第1の位置推定部と、
前記第2のセンサによって取得された撮影画像において特定した特徴点、及び前記移動体の移動領域における特徴点の位置を示す第2の地図を用いて前記移動体の位置を推定することによって、第2の推定位置と、当該第2の推定位置に対応する第2の信頼度とを取得する第2の位置推定部と、
前記第1及び第2の推定位置と、前記第1及び第2の信頼度とを用いて、前記移動体の現在位置を取得する現在位置取得部と、
前記移動体を移動させる移動機構と、
前記現在位置を用いて前記移動機構を制御する移動制御部と、を備え、
前記第2の位置推定部は、特徴点ごとに、特徴点の適切さの程度を示す適切度を取得し、当該適切度を用いて、複数のブロックに分割された撮影画像のブロックごとにブロック信頼度を算出し、前記ブロック信頼度の高いブロックを用いて前記第2の推定位置を取得し、前記第2の推定位置の取得で用いたブロックのブロック信頼度を用いて前記第2の信頼度を取得する、移動体。 It is a mobile body that moves autonomously.
A first sensor, which is a distance measuring sensor that measures the distance to an object around the moving object in a plurality of directions ,
A second sensor, which is an image sensor that acquires a captured image of the surroundings of the moving object,
The first estimated position and the first estimated position by estimating the position of the moving body using the distance measured by the first sensor and the first map showing the position of the obstacle in the moving area of the moving body. A first position estimation unit that acquires a first reliability corresponding to the first estimated position, and a first position estimation unit.
The position of the moving body is estimated by using the second map showing the position of the feature point specified in the captured image acquired by the second sensor and the position of the feature point in the moving region of the moving body. A second position estimation unit that acquires a second estimated position and a second reliability corresponding to the second estimated position, and a second position estimation unit.
A current position acquisition unit that acquires the current position of the moving body by using the first and second estimated positions and the first and second reliability.
A moving mechanism that moves the moving body and
A movement control unit that controls the movement mechanism using the current position is provided .
The second position estimation unit acquires an appropriateness indicating the degree of appropriateness of the feature point for each feature point, and uses the appropriateness to block each block of the captured image divided into a plurality of blocks. The reliability is calculated, the second estimated position is acquired using the block having the high block reliability, and the block reliability of the block used in the acquisition of the second estimated position is used to obtain the second estimated position. A moving body that gets a degree .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141112A JP7063760B2 (en) | 2018-07-27 | 2018-07-27 | Mobile |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018141112A JP7063760B2 (en) | 2018-07-27 | 2018-07-27 | Mobile |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020017173A JP2020017173A (en) | 2020-01-30 |
JP7063760B2 true JP7063760B2 (en) | 2022-05-09 |
Family
ID=69580520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018141112A Active JP7063760B2 (en) | 2018-07-27 | 2018-07-27 | Mobile |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7063760B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020087307A (en) * | 2018-11-30 | 2020-06-04 | 株式会社豊田自動織機 | Self position estimating apparatus, self position estimating method, and cargo handling system |
JP7285517B2 (en) * | 2019-12-26 | 2023-06-02 | 株式会社豊田自動織機 | Self-position estimation device, mobile object, self-position estimation method, and self-position estimation program |
CN115211099A (en) | 2020-03-05 | 2022-10-18 | 索尼集团公司 | Image processing apparatus, image processing method, and program |
JP2022012173A (en) * | 2020-07-01 | 2022-01-17 | ソニーグループ株式会社 | Information processing device, information processing system, information processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003298579A (en) | 2002-04-05 | 2003-10-17 | Canon Inc | Information processing apparatus, information processing method, program, and recording medium |
JP2007274213A (en) | 2006-03-30 | 2007-10-18 | Canon Inc | Image processor, method and imaging apparatus |
JP2007322138A (en) | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | Moving device, and own position estimation method for moving device |
JP2012248032A (en) | 2011-05-27 | 2012-12-13 | Fujitsu Ltd | Map processing method, program and robot system |
-
2018
- 2018-07-27 JP JP2018141112A patent/JP7063760B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003298579A (en) | 2002-04-05 | 2003-10-17 | Canon Inc | Information processing apparatus, information processing method, program, and recording medium |
JP2007274213A (en) | 2006-03-30 | 2007-10-18 | Canon Inc | Image processor, method and imaging apparatus |
JP2007322138A (en) | 2006-05-30 | 2007-12-13 | Toyota Motor Corp | Moving device, and own position estimation method for moving device |
JP2012248032A (en) | 2011-05-27 | 2012-12-13 | Fujitsu Ltd | Map processing method, program and robot system |
Also Published As
Publication number | Publication date |
---|---|
JP2020017173A (en) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7063760B2 (en) | Mobile | |
CN110411441B (en) | System and method for multi-modal mapping and localization | |
US10796151B2 (en) | Mapping a space using a multi-directional camera | |
JP6475772B2 (en) | Navigation device and method by visual positioning | |
US8787614B2 (en) | System and method building a map | |
US8571302B2 (en) | Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same | |
KR101618030B1 (en) | Method for Recognizing Position and Controlling Movement of a Mobile Robot, and the Mobile Robot Using the same | |
EP1158309A2 (en) | Method and Apparatus for position detection | |
WO2017057054A1 (en) | Information processing device, information processing method and program | |
US20110194755A1 (en) | Apparatus and method with traveling path planning | |
Labrosse | Short and long-range visual navigation using warped panoramic images | |
JP2010033447A (en) | Image processor and image processing method | |
JP7385388B2 (en) | Self-position estimation device | |
JP2007278871A (en) | Apparatus for computing amount of movement | |
Rituerto et al. | Comparison of omnidirectional and conventional monocular systems for visual SLAM | |
Hong et al. | Performance evaluation of a pose estimation method based on the SwissRanger SR4000 | |
JP3237705B2 (en) | Obstacle detection device and moving object equipped with obstacle detection device | |
Lin et al. | A visual positioning system for vehicle or mobile robot navigation | |
Okarma et al. | Application of super-resolution algorithms for the navigation of autonomous mobile robots | |
JP7153505B2 (en) | moving body | |
JP7529379B2 (en) | Mobile | |
Ferreira et al. | A comparison between different feature-based methods for ROV vision-based speed estimation | |
Thapa et al. | A review on visual odometry techniques for mobile robots: Types and challenges | |
Wakita et al. | Laser variational autoencoder for map construction and self-localization | |
CN113661513A (en) | Image processing method, image processing device, image processing system and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7063760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |