JP2019133658A - Positioning method, positioning device and readable storage medium - Google Patents
Positioning method, positioning device and readable storage medium Download PDFInfo
- Publication number
- JP2019133658A JP2019133658A JP2019010173A JP2019010173A JP2019133658A JP 2019133658 A JP2019133658 A JP 2019133658A JP 2019010173 A JP2019010173 A JP 2019010173A JP 2019010173 A JP2019010173 A JP 2019010173A JP 2019133658 A JP2019133658 A JP 2019133658A
- Authority
- JP
- Japan
- Prior art keywords
- target image
- candidate key
- interest
- region
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は画像処理分野に関し、より具体的には視覚による測位方法、測位装置、および読取り可能な記録媒体に関する。 The present invention relates to the field of image processing, and more specifically to a visual positioning method, a positioning device, and a readable recording medium.
画像処理技術分野において、SLAM（Simultaneous Localization and Mapping）は、位置推定に関する研究の中で現在注目を浴びる課題である。SLAMとは、移動目標の測位と環境マップ作成とを一体化するものであり、即ち、移動過程において、目標が自己位置推定及びセンサーによる環境への感知に基づいてクリ環境マップを構築すると共に、該マップを利用して自己測位を実現する。 In the field of image processing technology, SLAM (Simultaneous Localization and Mapping) is a subject that is currently attracting attention in research on location estimation. SLAM integrates the positioning of a moving target and the creation of an environment map, that is, in the movement process, the target builds a chestnut environment map based on self-position estimation and sensing of the environment by a sensor, Self-positioning is realized using the map.
従来の技術では、再測位方法により目標の自己測位を実現することは一般的である。即ち、所定の場所画像を用いて、予め生成されたマップで測位及び姿勢推定を実現する。しかし、再測位は明確な定義があるが、実際の運用では困難である。開放的な環境において、シーンの外観および視点の変化が生じることより目標画像とマップとの間でマッピング点が疎らになることで、姿勢推定を失敗するか、推定される姿勢と実際の姿勢とで大きいドリフトが生じる。また、精度の高い画像レベルでのマッチングに時間がかかり、マップの記憶にメモリが消費される。これらの問題はすべて再測位に大きな影響を与える。 In the prior art, it is common to achieve target self-positioning by a re-positioning method. That is, using a predetermined place image, positioning and posture estimation are realized with a map generated in advance. However, although repositioning has a clear definition, it is difficult in actual operation. In an open environment, due to the change in the appearance and viewpoint of the scene, mapping points become sparse between the target image and the map, or posture estimation fails or the estimated posture and the actual posture A large drift occurs. In addition, it takes time for matching at a high-accuracy image level, and a memory is consumed for storing the map. All of these issues have a major impact on repositioning.
上記問題を鑑みて、本発明は、既存のマップ及び視覚情報に基づいて自己測位を実現する方法で、目標自身のマップにおける位置及び姿勢情報を求めることを目的として、視覚に基づく測位方法、測位装置及び読取り可能な記憶媒体を提供する。 In view of the above problems, the present invention is a method for realizing self-positioning based on an existing map and visual information, and for the purpose of obtaining position and posture information on the target's own map, a positioning method based on vision, and positioning An apparatus and a readable storage medium are provided.
本発明は、まず、目標画像を取得し；前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む測位方法を提供する。 The present invention first obtains a target image; and obtains candidate key information of a plurality of candidate key frames that roughly match the target image from a previously constructed map composed of key information of a plurality of key frames. Generating a region of interest of the target image, matching the region of interest with the target image based on the candidate key information, and obtaining a region of interest matching pair of at least one candidate key frame for the target image Matching the feature points in the region-of-interest matching pair based on the candidate key information to obtain a feature point matching pair of the at least one candidate key frame for the target image; based on the feature point matching pair; Calculating a relative posture between the target image and the at least one candidate key frame. To provide a place method.
また、本発明の一実施例により、前記測位方法は、前記相対姿勢に関する目標損失関数を定義し、該目標損失関数を最小化することより目標画像の絶対姿勢を最適化させることを含む。 According to an embodiment of the present invention, the positioning method includes defining a target loss function related to the relative posture and optimizing the absolute posture of the target image by minimizing the target loss function.
また、本発明の一実施例により、前記マップは、連続するフレーム画像を取得し；前記連続するフレーム画像でフレーム毎に特徴点を抽出し、隣接する2フレームの画像同士における特徴点に対してマッチングを行うことにより、特徴点マッチング対を求め、該特徴点マッチング対に基づいて、バンドルアドジャスト法で現在のフレーム画像と直前のフレーム画像との相対姿勢を算出し；前記相対姿勢が所定の条件を満たす場合には、前記現在のフレームをキーフレームとして確定し；前記マップを構成するために、前記キーフレームのキー情報を記憶するステップで、予め構築される。 According to an embodiment of the present invention, the map acquires continuous frame images; extracts feature points for each frame from the continuous frame images; By performing matching, a feature point matching pair is obtained, and based on the feature point matching pair, a relative attitude between the current frame image and the immediately preceding frame image is calculated by a bundle adjustment method; If the condition is met, the current frame is determined as a key frame; pre-constructed in a step of storing key information of the key frame to construct the map.
また、本発明の一実施例により、前記キーフレームのキー情報は、前記キーフレームの絶対姿勢および当該キーフレームの直前のフレームの画像に対する相対姿勢と、前記キーフレームの関心領域、及び、前記関心領域に含まれる特徴点の2D情報および3D情報と、を含み、前記2D情報と前記3D情報は、前記キーフレームとその直前のフレームの画像との相対姿勢を算出する処理において得られる。 According to an embodiment of the present invention, the key information of the key frame includes the absolute posture of the key frame, the relative posture with respect to the image of the frame immediately before the key frame, the region of interest of the key frame, and the interest. 2D information and 3D information of feature points included in the region, and the 2D information and the 3D information are obtained in a process of calculating a relative posture between the key frame and the image of the immediately preceding frame.
また、本発明の一実施例により、前記関心領域は、取得された画像の特徴点を抽出し；抽出された特徴点の属性に基づいてクラスタリングを行い、クラスタ点の集合を求め；前記クラスタ点の集合の最小境界矩形を計算し、算出された前記最小境界矩形を関心領域とするステップにより生成される。 According to an embodiment of the present invention, the region of interest extracts feature points of the acquired image; clustering is performed based on the attributes of the extracted feature points to obtain a set of cluster points; The minimum boundary rectangle of the set is calculated, and the calculated minimum boundary rectangle is used as a region of interest.
また、本発明の一実施例により、前記目標損失関数は次の式により定義され、
ここで、iは複数の前記候補キーフレームの番号であり、Ciはi番目の候補キーフレームの絶対姿勢であり、Tiは算出された前記目標画像とi番目の候補キーフレームとの相対姿勢であり、Pは前記目標画像の絶対姿勢であり、Ωiは重み係数である。 Here, i is the number of the plurality of candidate key frames, C i is the absolute attitude of the i th candidate key frame, and T i is a relative value between the calculated target image and the i th candidate key frame. Is the posture, P is the absolute posture of the target image, and Ω i is a weighting factor.
また、本発明の一実施例により、前記重み係数Ωiは、前記特徴点マッチング対に基づいて推定された前記目標画像と、i番目の候補キーフレームとの相対姿勢の信頼度に反比例する。 According to an embodiment of the present invention, the weighting factor Ω i is inversely proportional to the reliability of the relative posture between the target image estimated based on the feature point matching pair and the i-th candidate key frame.
また、本発明の一実施例により、前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢の算出は、前記特徴点マッチング対に基づいて、バンドルアドジャスト法で、前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢を算出する。 Further, according to an embodiment of the present invention, the relative attitude between the target image and the at least one candidate key frame may be calculated using a bundle adjustment method based on the feature point matching pair and the target image and the at least one candidate key frame. The relative posture with one candidate key frame is calculated.
そして、本発明は、目標画像を取得する画像取得モジュールと、予め構築された、1つ以上のキーフレームのキー情報で構成されるマップから、前記目標画像に対して概ねにマッチングする複数の候補キーフレームの候補キー情報を取得する画像マッチングモジュールと、前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める関心領域マッチングモジュールと、前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を取得する特徴点マッチングモジュール、および、前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する姿勢最適化モジュールと、を含む測位装置を提供する。 The present invention provides a plurality of candidates that generally match the target image from an image acquisition module that acquires the target image and a map that is constructed in advance and includes key information of one or more key frames. An image matching module for obtaining key frame candidate key information; and generating a region of interest of the target image, matching the region of interest with the target image based on the candidate key information, and at least for the target image A region-of-interest matching module for obtaining a region-of-interest matching pair of one candidate key frame, and a feature point in the region-of-interest matching pair is matched based on the candidate key information, and the at least one candidate key frame for the target image A feature point matching module that obtains feature point matching pairs of , Based on the feature point matching pair to provide a positioning device comprising, a posture optimization module for calculating the relative orientation between the and the target image at least one candidate key frames.
更に、本発明は、非一時的でコンピュータ読み取り可能な指令を記憶するメモリ、及び、前記コンピュータ読取りか応な指令を執行することにより、測位装置に測位方法を実行させるプロセッサと、を含み、前記測位方法は、目標画像を取得し；前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む測位装置を提供する。 Furthermore, the present invention includes a memory for storing a non-transitory computer-readable command, and a processor for causing the positioning device to execute a positioning method by executing the computer-ready command. The positioning method obtains a target image; obtains candidate key information of a plurality of candidate key frames that roughly match the target image from a previously constructed map composed of key information of a plurality of key frames; Generating a region of interest of the target image, matching the region of interest to the target image based on the candidate key information, and determining a region of interest matching pair of at least one candidate key frame for the target image; Based on the candidate key information, matching is performed on the feature points in the region-of-interest matching pair to obtain the target image. And obtaining a feature point matching pair of the at least one candidate key frame; and calculating a relative posture between the target image and the at least one candidate key frame based on the feature point matching pair. To do.
最後に、本発明は、非一時的でコンピュータ読み取り可能な指令を記憶する記憶媒体であって、コンピュータに前記非一時的でコンピュータ読み取り可能な指令を実行させることにより、前記コンピュータが測位方法を実行し、前記測位方法は、目標画像を取得し；前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む記憶媒体を提供する。 Finally, the present invention is a storage medium for storing a non-transitory computer-readable command, and causing the computer to execute the positioning method by causing the computer to execute the non-temporary computer-readable command. The positioning method obtains a target image; candidate key information of a plurality of candidate key frames that roughly match the target image is obtained from a pre-constructed map composed of key information of a plurality of key frames. Generating a region of interest of the target image, matching the region of interest to the target image based on the candidate key information, and generating a region of interest matching pair of at least one candidate key frame for the target image Finding: Matching is performed on feature points in the region-of-interest matching pair based on the candidate key information. Obtaining a feature point matching pair of the at least one candidate key frame for the target image; and calculating a relative posture between the target image and the at least one candidate key frame based on the feature point matching pair. A storage medium is provided.
このように、本発明の実施例にかかる測位方法により、予め構築されたマップに記憶されるキー情報を用いて関心領域のマッチングを行い、特徴点を繰り返して抽出することが避けられ、且つマッチングされた関心領域に基づいて特徴点のマッチングを行うことにより、複雑な状況においても正確且つ有効な姿勢の推定及び自己測位を提供することができる。なお、上述した説明および後述する詳細の説明は、共に例示的なものに過ぎず、本発明に対して更なる理解を図るものである。 As described above, according to the positioning method according to the embodiment of the present invention, it is possible to perform matching of the region of interest using key information stored in the map constructed in advance, and to repeatedly extract feature points, and to perform matching. By performing feature point matching based on the region of interest, accurate and effective posture estimation and self-positioning can be provided even in a complicated situation. It should be noted that the above description and the detailed description to be described later are merely exemplary and are intended to further understand the present invention.
本発明は、添付する図面に基づいて実施形態を更に詳しく説明することにより、上記およびそれ以外の目的、特徴、および優れる点がより明確になる。 The above and other objects, features, and advantages of the present invention will become clearer by describing the embodiments in more detail with reference to the accompanying drawings.
また、図面は本発明の実施例を更に理解するために提供され、本明細書を構成する一部として、実施例と共に本発明を説明するために用いるが、本発明を限定するものではない。なお、本明細書及び図面において、同一の符号は同一の構成要素またはステップを表す。
以下に、本発明の目的、構成及びメリットをより明確にするために、図面に基づいて本発明の実施例を詳細に説明する。明らかのように、以下に説明する実施例は、本発明の一部の実施例に過ぎず、すべての実施例ではない。当業者が本明細書に記載される実施例に基づいて容易に想到される変更または改良は本発明の範疇に属すべきである。 Hereinafter, in order to clarify the object, configuration, and merit of the present invention, embodiments of the present invention will be described in detail with reference to the drawings. As will be apparent, the embodiments described below are only some of the embodiments of the present invention, and not all embodiments. Modifications or improvements readily conceived by those skilled in the art based on the embodiments described herein should fall within the scope of the present invention.
本発明にかかる測位方法は所定の場所の画像を利用して予め作成されたマップ内で位置及び姿勢の推定を実現する方法である。このような測位を実現するために、測位方法は通常2つの基本点を満たす必要がある。まず、この測位方法は完全な環境の内部表示、即ちマップを提供する必要である。前記マップは測位により取得される視覚情報に比較するために用いる。次に、上記マップにおいて、現在の視覚情報の姿勢情報を推定する必要がある。姿勢情報とは、視覚情報を採取する機器(例えば、カメラ)の位置および向きを示す。即ち、姿勢情報は少なくとも位置情報および向き情報を含むべきである。その中に、第2部分は、2つのステップを含む。まず、現在の視覚情報は既にマップに含まれている場所であるか否かを判断した後に、入力された視覚情報と検出された視覚情報との相対姿勢を算出する。さらに、相対姿勢に基づいてマップにおける絶対姿勢を算出する。ここで、現在の画像の相対姿勢とは、現在の画像が他の画像に対する姿勢を意味し、現在の画像の絶対位置とは、現在の画像がマップに設定される原点に対する姿勢を意味する。通常、マップの始点を原点とする。 The positioning method according to the present invention is a method for realizing position and orientation estimation in a map created in advance using an image of a predetermined location. In order to realize such positioning, the positioning method usually needs to satisfy two basic points. First, this positioning method needs to provide a complete internal representation of the environment, ie a map. The map is used for comparison with visual information obtained by positioning. Next, it is necessary to estimate the posture information of the current visual information in the map. Posture information indicates the position and orientation of a device (for example, a camera) that collects visual information. That is, the posture information should include at least position information and orientation information. Among them, the second part includes two steps. First, after determining whether or not the current visual information is already included in the map, the relative posture between the input visual information and the detected visual information is calculated. Furthermore, the absolute posture in the map is calculated based on the relative posture. Here, the relative posture of the current image means the posture of the current image with respect to other images, and the absolute position of the current image means the posture of the current image with respect to the origin set in the map. Usually, the starting point of the map is the origin.
次に、図1を参照して、本発明の実施形態にかかる測位方法の基本的なフローについて詳細に説明する。 Next, a basic flow of the positioning method according to the embodiment of the present invention will be described in detail with reference to FIG.
図1は、本発明の実施形態にかかる測位方法を示すフローチャートである。図1に示すように、本発明の実施形態にかかる測位方法は以下のステップを含むことができる。 FIG. 1 is a flowchart showing a positioning method according to an embodiment of the present invention. As shown in FIG. 1, the positioning method according to the embodiment of the present invention may include the following steps.
まず、ステップS101において、目標画像を取得する。本発明の一実施例では、有線手段または無線手段を介して目標画像を受信することにより目標画像が取得される。これ以外に、メモリから予め記憶された目標画像を取得してもよく、目標画像を採取して取得してもよい。後者の場合に、例えば、2次元RGBカメラで画像を取得することができる。また、より好ましくは、3次元RGBカメラ(例えば、Kinectカメラ)で取得することができる。Kinectカメラで採取する場合には、取得された画像は環境に関するカラー(RGB)画像と深度画像を含む。目標画像は画像取得装置により取得された原始画像であってもよく、原始画像に対して予備処理を施して得られた画像であってもよい。画像の予備処理は、クロッピング、スケーリング、またはノイズ除去などの処理が挙げられるが、これらに限らない。その後、処理はステップS102に進む。 First, in step S101, a target image is acquired. In one embodiment of the present invention, the target image is obtained by receiving the target image via wired means or wireless means. In addition to this, a target image stored in advance from a memory may be acquired, or a target image may be collected and acquired. In the latter case, for example, an image can be acquired with a two-dimensional RGB camera. More preferably, it can be obtained with a three-dimensional RGB camera (for example, a Kinect camera). When collected with a Kinect camera, the acquired image includes a color (RGB) image and a depth image related to the environment. The target image may be an original image acquired by an image acquisition device, or may be an image obtained by performing a preliminary process on the original image. Image preprocessing includes, but is not limited to, cropping, scaling, or noise removal. Thereafter, the processing proceeds to step S102.
ステップS102において、前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得する。ここで、前記概ねにマッチングする方式は、目標画像に対して画像の姿勢情報によらずに概略的に測位する意味である。通常は、この方式で高精度を有しないが、姿勢が関与せずに推定されるため、処理速度が速い。したがって、このような凡そなマッチングによりマップにおいて目標画像に関連する画像情報を迅速にスクリーニングすることができる。本発明の1つの実施例として、例えばGPSなどの測位方法により、位置情報に基づいて、ステップS101で取得した目標画像の位置と合致する複数の候補キーフレームの候補キー情報を、マップ内の複数のキーフレームのキー情報から特定することができる。これ以外に、画像検索の方法で予備マッチングを行うこともできる。具体的には、目標画像の特徴点により、前記目標画像にマッチする複数の候補キーフレームの候補キー情報を特定することができる。上記概ねにマッチングする方式は、本発明の2つの実施例ではあるが、本発明を限定するものではない。目標画像に関連した画像情報をマップから素早くスクリーニングすることが可能な方法であれば、いずれも本発明の概ねにマッチングする方式に適用することができる。 In step S102, candidate key information of a plurality of candidate key frames that roughly match the target image is acquired from a map constructed from key information of a plurality of key frames constructed in advance. Here, the roughly matching method means that the target image is roughly positioned regardless of image orientation information. Normally, this method does not have high accuracy, but the processing speed is fast because the posture is estimated without involvement. Therefore, image information related to the target image in the map can be quickly screened by such rough matching. As one embodiment of the present invention, for example, by using a positioning method such as GPS, based on the position information, candidate key information of a plurality of candidate key frames that match the position of the target image acquired in step S101 is displayed in the map. It can be identified from the key information of the key frame. In addition, preliminary matching can also be performed by an image search method. Specifically, candidate key information of a plurality of candidate key frames that match the target image can be specified by the feature point of the target image. The above generally matching method is two embodiments of the present invention, but does not limit the present invention. Any method that can quickly screen image information related to the target image from the map can be applied to the generally matching method of the present invention.
さらに、構築されたマップ中の情報をより簡潔で効率的なものにするために、前記マップは複数の参考価値のある画像フレームの画像情報のみで構成される。即ち、これらの画像は、一連の連続するフレームの画像の中から特定の方法により特定されたキーフレームである。キーフレームのキー情報は、マップを構成するために記憶される。例えば、連続するフレームの画像の中から、静止している撮像装置により取得される画像以外の画像を特定してキーフレームとする。または、特定の移動速度や向きに応じた取得装置より取得される画像を特定してキーフレームとする。ここで、所定の条件は、所望のキーフレームを決定するために、実際の需要に応じて設定される。また、本明細書に記載されるマップは、複数のキーフレームのキー情報のみで構成され、キーフレームの画像そのものを記憶する必要はない。予め構築されたマップ中のキーフレームのキー情報は、後続の処理で使用される。マップの構築及びマップ中のキー情報について、以下でさらに詳細に説明する。その後、処理はステップS103に進む。 Furthermore, in order to make the information in the constructed map more concise and efficient, the map is composed only of image information of a plurality of image frames having reference value. That is, these images are key frames specified by a specific method from a series of consecutive frame images. The key frame key information is stored to construct the map. For example, an image other than an image acquired by a stationary imaging device is identified as a key frame from consecutive frames. Or the image acquired from the acquisition apparatus according to a specific moving speed and direction is specified, and it is set as a key frame. Here, the predetermined condition is set according to actual demand in order to determine a desired key frame. In addition, the map described in this specification is composed of only key information of a plurality of key frames, and it is not necessary to store the key frame image itself. The key information of the key frame in the map constructed in advance is used in the subsequent processing. The construction of the map and the key information in the map will be described in further detail below. Thereafter, the process proceeds to step S103.
次に、図２を参照して予めマップを構築するフロー例を詳細に説明する。 Next, an example of a flow for constructing a map in advance will be described in detail with reference to FIG.
図２は本発明の実施例にかかるマップを構築するフローを示すフローチャートである。図2に示すように、本発明の一実施例によると、前記マップの構築は次のステップを含む。 FIG. 2 is a flowchart showing a flow for constructing a map according to the embodiment of the present invention. As shown in FIG. 2, according to one embodiment of the present invention, the construction of the map includes the following steps.
まず、ステップS201において、連続するフレーム画像を取得する。ここで、このステップで取得された連続するフレーム画像は環境を表すための画像であることは好ましい。該画像の取得は、上記ステップS101で記載された複数の画像取得の方式のうちのいずれかであればよい。ここでは、重複を避けるため、説明を省略する。好ましくは、前記連続するフレーム画像中の最初のフレーム画像をマップの起点とする。その後、ステップS202に進む。 First, in step S201, continuous frame images are acquired. Here, it is preferable that the continuous frame images acquired in this step are images for representing the environment. The acquisition of the image may be any one of the plurality of image acquisition methods described in step S101. Here, the description is omitted to avoid duplication. Preferably, the first frame image in the continuous frame images is set as the starting point of the map. Thereafter, the process proceeds to step S202.
ステップS202では、連続するフレーム画像でフレーム毎に特徴点を抽出し、隣接する２つのフレーム画像同士における特徴点に対してマッチングを行うことにより、特徴点マッチング対を求め、該特徴点マッチング対に基づいて、バンドルアドジャスト法（Bundle Adjustment）で、現在のフレーム画像と直前のフレーム画像との相対姿勢を算出する。本技術分野において、画像の特徴点を抽出する方法に関しては、例えば、SIFT特徴点抽出方法、LBP等、多くの方法のいずれも本発明に適用することができる。本発明は、後続する処理においてバンドルアドジャスト法による姿勢の計算が可能であれば、特徴点の抽出方法及び抽出された特徴点の種類を特に限定しない。また、本技術分野において特徴点の抽出方法として適切な公知技術は、当業者によって容易に想到される。特徴点の抽出処理において、抽出された特徴点の2D情報を取得し、その後、隣接する2つのフレームの画像に対して特徴点マッチングを行う。具体的には、特徴点毎に該特徴点を記述するためのベクトル、所謂「記述子(descriptor)」を生成することができる。2つのフレームの画像における一対の特徴点の記述子が類似している場合に、これら2つの特徴点がマッチングすると見なすことができる。このようにすることにより、複数の特徴点マッチング対が得られる。得られる特徴点マッチング対がバンドルアドジャスト法による姿勢計算に適用可能な特徴点マッチング対になる。次に、特徴点マッチング対に基づいて現在のフレームの画像と直前のフレームの画像との相対姿勢をバンドルアドジャスト法により、計算する。バンドルアドジャスト法(Bundle Adjustment、BA)の考え方として、マッチングされた特徴点マッチング対が対応する空間内の同じ点の特性を用いて投影方程式を確立し、前後に隣接する2つのフレーム画像の相対姿勢が求められる。その間に、抽出された特徴点の3D情報を取得することができる。特徴点マッチング対に基づいて2つのフレーム画像間の相対位置を算出する方法については、同じく公知技術であり、本明細書では説明を省略する。このステップにより、隣接する2つのフレーム画像の相対姿勢が得られる。さらに、直前の画像との相対姿勢の累乗により、任意の１つのフレーム画像と最初のフレーム画像との相対位置、すなわち、フレーム画像の絶対姿勢が求められる。その後、ステップS203に進む。 In step S202, feature points are extracted for each frame from successive frame images, and a feature point matching pair is obtained by performing matching on the feature points in two adjacent frame images. Based on this, a relative attitude between the current frame image and the immediately preceding frame image is calculated by a bundle adjustment method (Bundle Adjustment). In the present technical field, as a method for extracting feature points of an image, any of a number of methods such as SIFT feature point extraction method and LBP can be applied to the present invention. The present invention does not particularly limit the feature point extraction method and the types of extracted feature points as long as the posture can be calculated by the bundle adjustment method in the subsequent processing. Also, a known technique suitable as a feature point extraction method in this technical field is easily conceived by those skilled in the art. In the feature point extraction process, 2D information of the extracted feature points is acquired, and then feature point matching is performed on images of two adjacent frames. Specifically, for each feature point, a vector for describing the feature point, a so-called “descriptor” can be generated. When the descriptors of a pair of feature points in two frames of images are similar, it can be considered that these two feature points match. In this way, a plurality of feature point matching pairs can be obtained. The obtained feature point matching pair becomes a feature point matching pair applicable to posture calculation by the bundle adjustment method. Next, the relative attitude between the image of the current frame and the image of the immediately preceding frame is calculated based on the feature point matching pair by the bundle adjust method. The idea of the bundle adjustment method (Bundle Adjustment, BA) is to establish a projection equation using the characteristics of the same point in the space to which the matched feature point matching pair corresponds, and to compare the two adjacent frame images. Posture is required. Meanwhile, 3D information of the extracted feature points can be acquired. The method for calculating the relative position between two frame images based on the feature point matching pair is also a known technique, and will not be described in this specification. By this step, a relative posture between two adjacent frame images is obtained. Furthermore, the relative position between any one frame image and the first frame image, that is, the absolute posture of the frame image is obtained by the power of the relative posture with the immediately preceding image. Thereafter, the process proceeds to step S203.
ステップS203では、前記相対姿勢が所定の条件を満たす場合には、前記現在のフレームをキーフレームとして確定する。本発明の一実施例において、前記所定の条件として、算出された相対姿勢を閾値と比較し、前記相対姿勢が前記閾値よりも大きい場合に、前記所定の条件を満たすと判断する。また、前記所定の条件は、前記相対位置が所定範囲内にあるか否かを判断することであってもよく、前記相対姿勢が前記所定の範囲内である場合に、前記所定の条件を満たすと判断する。このようにして、連続するフレーム画像において、取得装置により取得される静止画像以外の画像、または、特定の移動速度や向きに合致する画像を前記キーフレームとして確定することができる。また、前記所定の条件は、所望のキーフレームを確定するために、実際の必要に応じて設定する。その後、ステップS204に進む。 In step S203, if the relative posture satisfies a predetermined condition, the current frame is determined as a key frame. In an embodiment of the present invention, as the predetermined condition, the calculated relative posture is compared with a threshold value, and if the relative posture is larger than the threshold value, it is determined that the predetermined condition is satisfied. The predetermined condition may be to determine whether or not the relative position is within a predetermined range. When the relative posture is within the predetermined range, the predetermined condition is satisfied. Judge. In this way, in a continuous frame image, an image other than a still image acquired by the acquisition device, or an image that matches a specific moving speed and direction can be determined as the key frame. The predetermined condition is set according to actual necessity in order to determine a desired key frame. Thereafter, the process proceeds to step S204.
ステップS204では、前記マップを構成するために、前記キーフレームのキー情報を記憶する。具体的には、このステップでは、上述したステップS203において、キーフレームとしてのキー情報を記憶する。これら記憶されたキー情報は環境で示したマップを構成する。上述したように、本明細書に記載されるマップは、複数のキーフレームのキー情報のみによって構成されており、キーフレームの画像そのものを記憶する必要はない。また、キーフレームのキー情報は、前記キーフレームの処理において取得されるために、余計な計算量の導入が回避される。 In step S204, key information of the key frame is stored to construct the map. Specifically, in this step, key information as a key frame is stored in step S203 described above. These stored key information constitutes a map shown in the environment. As described above, the map described in the present specification is configured only by key information of a plurality of key frames, and it is not necessary to store the key frame image itself. Moreover, since the key information of the key frame is acquired in the processing of the key frame, introduction of an extra calculation amount is avoided.
本発明の一実施例において、キーフレームのキー情報は、キーフレームの絶対姿勢および該キーフレームの直前のフレームの画像に対する相対姿勢と、前記キーフレームの特徴点に基づいて生成した前記キーフレームの関心領域(Region of interest、ROI)と、関心領域に含まれる特徴点の2D情報および3D情報とを含む。ここで、上述したように、キーフレームと直前のフレーム画像に対する相対姿勢は、上述したステップで計算され、相対姿勢の累積により、前記キーフレームの絶対情報が推定される。前記キーフレームの関心領域は、上述のステップで抽出された特徴点に基づいて生成される(関心領域の生成方法について詳しくは後述する)。また、前述したように、関心領域に含まれる特徴点の2D情報と3D情報は前記キーフレームとその直前のフレームの画像との相対姿勢を算出する処理において得られる。 In an embodiment of the present invention, the key information of the key frame includes the key frame generated based on the absolute posture of the key frame, the relative posture with respect to the image of the frame immediately before the key frame, and the feature point of the key frame. A region of interest (ROI) and 2D information and 3D information of feature points included in the region of interest are included. Here, as described above, the relative posture between the key frame and the immediately preceding frame image is calculated in the above-described steps, and the absolute information of the key frame is estimated by accumulating the relative posture. The region of interest of the key frame is generated based on the feature points extracted in the above-described steps (the method of generating the region of interest will be described in detail later). Further, as described above, the 2D information and 3D information of the feature points included in the region of interest are obtained in the process of calculating the relative posture between the key frame and the image of the immediately preceding frame.
次に、図1に戻って、上述したように、処理はステップS102からS103に進む。 Next, returning to FIG. 1, as described above, the process proceeds from step S102 to S103.
ステップS103において、前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、目標画像に対して関心領域マッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める。このステップでは、先ず、目標画像の関心領域を生成する。マップを構成するキー情報が候補キーフレームの関心領域に含まれるため、上述したように目標画像について関心領域マッチングを行うことができる。本技術分野において、複数の関心領域マッチングの方法が存在しており、適切な任意の関心領域マッチング方法、例えば、CNNの特徴、ヒストグラム特徴、BOW(Bag Of Words)等のマッチング方式も本発明に適用することができる。これらのマッチング方式によって関心領域に対してマッチングを行い、マッチングの必要条件を満たす関心領域を残し、満たさない関心領域を廃棄することにより、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対が得られる。本発明は、前記目標画像について少なくとも１つ候補キーフレームの関心領域マッチング対を得ることができれば、使用する関心領域のマッチング方法を限定しない。ここで、前記目標画像の関心領域の生成とキーフレームの関心領域の関心領域の生成に対して、同一の生成方法を用いることができる。以下、前記関心領域の生成について具体例を説明する。その後、処理はステップS104に進む。 In step S103, a region of interest of the target image is generated, region of interest matching is performed on the target image based on the candidate key information, and a region of interest matching pair of at least one candidate key frame is obtained for the target image. . In this step, first, a region of interest of the target image is generated. Since the key information constituting the map is included in the region of interest of the candidate key frame, the region of interest matching can be performed on the target image as described above. In this technical field, there are a plurality of regions of interest matching methods, and appropriate arbitrary regions of interest matching methods, for example, matching methods such as CNN features, histogram features, BOW (Bag Of Words), etc. are also included in the present invention. Can be applied. By matching the region of interest by these matching methods, leaving the region of interest that satisfies the matching requirement, and discarding the region of interest that does not satisfy the region of interest, the region of interest matching pair of at least one candidate key frame for the target image. Is obtained. The present invention does not limit the region of interest matching method to be used as long as the region of interest matching pair of at least one candidate key frame can be obtained for the target image. Here, the same generation method can be used for generating the region of interest of the target image and the region of interest of the region of interest of the key frame. Hereinafter, a specific example of generating the region of interest will be described. Thereafter, the process proceeds to step S104.
次に、先に図3を参照して関心領域を生成するフローの一例を詳細に説明する。 Next, an example of a flow for generating a region of interest will be described in detail with reference to FIG.
図3は、本発明の実施例に係る関心領域の生成を示すフローチャートである。図3に示すように、本発明の実施例において、前記関心領域は次のステップにより生成される。 FIG. 3 is a flowchart showing generation of a region of interest according to an embodiment of the present invention. As shown in FIG. 3, in the embodiment of the present invention, the region of interest is generated by the following steps.
まず、ステップS301において、取得された画像の特徴点を抽出する。このステップでは、画像特徴点の抽出方法は、上記したステップS202で説明したように、複数の画像取得の方法のうちのいずれかでよく、重複を避けるため、ここでは説明を省略する。その後、ステップS302に進む。 First, in step S301, feature points of the acquired image are extracted. In this step, the image feature point extraction method may be any one of a plurality of image acquisition methods as described in step S202 above, and a description thereof is omitted here to avoid duplication. Thereafter, the process proceeds to step S302.
ステップS302において、抽出された特徴点の属性に基づいてクラスタリングを行い、クラスタ点の集合を求める。このステップでは、抽出された特徴点の属性は、例えば、特徴点の色、テクスチャ、および、2D情報と3D情報であってよい。ここで、マップ内のキーフレームについては、そのまま保存された特徴点の2Dおよび/または3D情報に基づいてクラスタリングを行うことができ、特徴情報を繰り返し抽出するステップを回避することで、計算速度を向上させることができる。その後、ステップS303に進む。 In step S302, clustering is performed based on the extracted feature point attributes to obtain a set of cluster points. In this step, the extracted feature point attributes may be, for example, feature point color, texture, and 2D information and 3D information. Here, for key frames in the map, clustering can be performed based on 2D and / or 3D information of feature points stored as they are, and the calculation speed can be reduced by avoiding the step of repeatedly extracting feature information. Can be improved. Thereafter, the process proceeds to step S303.
ステップS303では、前記クラスタ点の集合の最小境界矩形(minimum bounding rectangle、MBR)を計算し、算出された最小境界矩形を関心領域とする。なお、本発明は、使用される最小境界矩形の求め方は特に限定しない。例えば、スピン法またはVertices Chain Code方法等を採用することができる。また、任意の適切な最小境界矩形を求める方法は本技術分野の公知技術から、当業者によって容易に想到され、簡潔のために、本明細書では説明を省略する。 In step S303, a minimum bounding rectangle (MBR) of the set of cluster points is calculated, and the calculated minimum bounding rectangle is set as a region of interest. In the present invention, the method for obtaining the minimum boundary rectangle to be used is not particularly limited. For example, a spin method or a Vertices Chain Code method can be employed. In addition, a method for obtaining any appropriate minimum bounding rectangle is easily conceived by those skilled in the art from known techniques in this technical field, and a description thereof is omitted here for the sake of brevity.
次に、図1に戻る。上述したように、処理は、ステップS103からステップS104に進む。 Next, returning to FIG. As described above, the process proceeds from step S103 to step S104.
ステップS104では、前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求める。前述したように、ステップS103で前記目標画像の関心領域を生成する処理では既に目標画像の特徴点を抽出し、且つ、マップを構成するキー情報に候補キーフレームにおける関心領域の特徴点が含まれている。このため、前記目標画像の関心領域内の特徴点に対して特徴点マッチングを行うことにより、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング点対を取得することができる。ここで、使用した特徴点マッチング方法は前述同様であるために、説明を省略する。その後、処理はステップS105に進む。 In step S104, feature point matching in the region of interest matching pair is performed based on the candidate key information, and a feature point matching pair of the at least one candidate key frame is obtained for the target image. As described above, in the process of generating the region of interest of the target image in step S103, the feature point of the target image has already been extracted, and the feature point of the region of interest in the candidate key frame is included in the key information constituting the map. ing. Therefore, by performing feature point matching on the feature points in the region of interest of the target image, it is possible to acquire a region of interest matching point pair of at least one candidate key frame for the target image. Here, since the feature point matching method used is the same as that described above, description thereof is omitted. Thereafter, the processing proceeds to step S105.
ステップS105において、特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する。このステップでは、2つのフレームの画像における特徴点マッチング対に基づいて、該2つのフレーム画像同士の相対位置を推定する。例えば、本発明の一実施例によれば、上記同様に、ステップS202で使用されているバンドルアドジャスト法を採用することができ、ステップS104で得られた特徴点マッチング対に基づいて目標画像と前記少なくとも1つの候補キーフレームの相対姿勢を求めることができる。具体的な処理について、上述のステップにおいて既に説明したので、ここでは説明を省略する。同様に分かるように、上記バンドルアドジャスト法を用いて相対姿勢を求めることは本発明の一例に過ぎず、前記特徴点マッチング対に基づいて2つのフレームの画像における相対位置を算出することができる如何なる方法も、本発明に適用することができ、且つ本発明の範囲内に含まれる。 In step S105, a relative posture between the target image and the at least one candidate key frame is calculated based on the feature point matching pair. In this step, the relative position between the two frame images is estimated based on the feature point matching pair in the images of the two frames. For example, according to an embodiment of the present invention, as described above, the bundle adjustment method used in step S202 can be adopted, and the target image and the target image based on the feature point matching pair obtained in step S104 A relative posture of the at least one candidate key frame can be obtained. Since specific processing has already been described in the above steps, description thereof is omitted here. Similarly, as described above, obtaining the relative posture using the bundle adjustment method is only an example of the present invention, and the relative position in the image of the two frames can be calculated based on the feature point matching pair. Any method is applicable to the present invention and is within the scope of the present invention.
これにより、図1に示した測位方法により、予め構成されたマップに基づいて、目標画像の各候補キーフレームに対する相対的な姿勢を得ることができる。かつ前記方法は、概ねのマッチングを先に行うことによりマップにおける複数の候補キーフレームのキー情報を取得する上に、局所特徴点マッチングに基づく姿勢推定を行う。これにより、マップ中の無効情報によるマッチング失敗が避けられる;同時に、予め構築されたマップに、複数の候補キーフレームのキー情報が記憶されているため、後続の姿勢推定で重複する特徴の抽出及び関心領域の生成が避けられ、計算コストが低減される。 Thereby, the positioning method shown in FIG. 1 makes it possible to obtain a relative posture of the target image with respect to each candidate key frame based on a pre-configured map. In addition, the method obtains key information of a plurality of candidate key frames in the map by performing rough matching first, and performs posture estimation based on local feature point matching. This avoids matching failures due to invalid information in the map; at the same time, since the key information of a plurality of candidate key frames is stored in the map constructed in advance, it is possible to extract duplicate features in subsequent posture estimation and Generation of the region of interest is avoided and the calculation cost is reduced.
なお、本発明の実施例により、図１に示す本発明の測位方法により各候補キーフレームに対する目標画像の相対姿勢を取得した後に、次のステップを含む。即ち前記相対姿勢に関する目標損失関数を定義し、該目標損失関数を最小化することより目標画像の絶対姿勢を最適化させる。具体的に、前記目標損失関数は次の式（１）により定義される。
ここで、iは複数の前記候補キーフレームの番号であり、Ciはi番目の候補キーフレームの絶対姿勢であり、Tiは算出された前記目標画像とi番目の候補キーフレームとの相対姿勢であり、Pは前記目標画像の絶対姿勢であり、Ωiは重み係数である。 Here, i is the number of the plurality of candidate key frames, C i is the absolute attitude of the i th candidate key frame, and T i is a relative value between the calculated target image and the i th candidate key frame. Is the posture, P is the absolute posture of the target image, and Ω i is a weighting factor.
前述したように、連続するフレームの画像における最初フレーム画像をマップの原点とし、i番目(iは1以上の整数)の候補キーフレームと最初フレーム画像の相対姿勢であり、すなわち、候補キーフレームの絶対姿勢であり、目標画像と最初のフレーム画像の相対位置は当該目標画像の絶対的な姿勢である。具体的には、i番目の候補キーフレームの絶対姿勢Ciについて、マップを構成する処理において、候補キーフレームと直前のフレーム画像との相対位置を累積することにより、当該候補キーフレームの絶対姿勢Ciを推定する。目標画像とi番目の候補キーフレームとの相対姿勢Tiと、前記目標画像の絶対姿勢Pとの積TiPは、目標画像により導出された候補キーフレームと最初のフレームの画像との相対姿勢、即ち候補キーフレームの絶対位置を表す。理論的には、候補キーフレームの絶対姿勢TiPは絶対姿勢Ciに等しい。すなわち、Ci−TiP＝0。しかし、姿勢推定の計算で、必然的に誤差が生じるため、両者において正確に等しくなりえない。このため、上記目標損失関数を定義し、且つ複数フレームの画像の姿勢情報を繰り返して代入することにより、当該目標損失関数を最適化させて、最適解Pが求められる。それにより、複数のフレーム画像の最適化・融合を介して前記目標画像の絶対姿勢Pが得られる。 As described above, the first frame image in consecutive frame images is the origin of the map, and the i-th (i is an integer equal to or greater than 1) candidate key frame and the relative position of the first frame image, that is, the candidate key frame The absolute posture, and the relative position between the target image and the first frame image is the absolute posture of the target image. Specifically, for the absolute posture C i of the i-th candidate key frame, the absolute posture of the candidate key frame is accumulated by accumulating the relative positions of the candidate key frame and the immediately preceding frame image in the process of constructing the map. Estimate C i . The product T i P of the relative orientation T i between the target image and the i th candidate key frame and the absolute orientation P of the target image is the relative between the candidate key frame derived from the target image and the first frame image. The posture, that is, the absolute position of the candidate key frame is represented. Theoretically, the absolute orientation T i P of the candidate key frame is equal to the absolute orientation C i . That is, C i −T i P = 0. However, since an error necessarily occurs in the calculation of posture estimation, it cannot be exactly equal in both cases. For this reason, by defining the target loss function and repeatedly substituting the posture information of the images of a plurality of frames, the target loss function is optimized and the optimal solution P is obtained. Thereby, the absolute posture P of the target image is obtained through optimization and fusion of a plurality of frame images.
また、本発明の一実施例により、重み係数Ωiは、前記特徴点マッチング対に基づいて推定された前記目標画像とi番目の候補キーフレームとの相対姿勢の信頼度に反比例する。この中に、信頼度は目標画像に対して前記i番目の候補キーフレームの特徴点マッチング対の数に関して定義される。具体的には、本発明の一実施例において、前記目的画像とi番目の候補キーフレームとの相対姿勢の信頼度Confidenceiは以下の式(2)で定義される。
ここで、numiは目標画像とi番目キーフレームとの特徴点マッチング対の数である。
（外１）
(Outside 1)
以上、本発明の実施例にかかる測位方法を図1〜3のフローチャートを用いて簡単に説明した。上述したように、本発明の実施例にかかる測位方法により、予め構築されたマップに記憶されたキー情報を使用して関心領域のマッチングを行う。この上でマッチングされた関心領域に基づいて特徴点のマッチングを行うことにより、目標画像の相対姿勢が得られる。さらに、該相対姿勢に基づいて目標損失関数を構築することにより、前記目標画像の絶対姿勢が最適化される。 The positioning method according to the embodiment of the present invention has been briefly described above using the flowcharts of FIGS. As described above, by the positioning method according to the embodiment of the present invention, matching of a region of interest is performed using key information stored in a map constructed in advance. By performing feature point matching based on the region of interest that has been matched, the relative orientation of the target image can be obtained. Further, the absolute posture of the target image is optimized by constructing a target loss function based on the relative posture.
次に、図4を参照して本発明の実施例にかかる測位装置の構成を詳細に説明する。 Next, the configuration of the positioning device according to the embodiment of the present invention will be described in detail with reference to FIG.
図4は、本発明の実施例にかかる測位装置の構成を示すブロック図である。図4に示す測位装置40は、図1に示す本発明の実施例にかかる測位方法を実行することができる。
FIG. 4 is a block diagram showing a configuration of the positioning apparatus according to the embodiment of the present invention. The
図4に示すように、本発明の実施例にかかる測位装置は、画像取得モジュール401と、画像マッチングモジュール402と、関心領域マッチングモジュール403と、特徴点マッチングモジュール404、および姿勢最適化モジュール405とを含む。
As shown in FIG. 4, the positioning device according to the embodiment of the present invention includes an
具体的には、画像取得モジュール401は、目標画像を取得する。前記画像取得モジュール401は、測位装置40の他のモジュールと物理的に分離されていることが可能である。また、画像取得モジュール401により取得された画像は有線または無線の方式により、測位装置40の他のモジュールに転送される。これ以外に、画像取得モジュール401は、測位装置40の他のモジュールまたは構成要素とは物理的に同一場所内に設置されてもよく、同一の筐体内ですらよい。測位装置40において、他のモジュールまたは構成要素は、前記画像取得モジュール401から送信された画像を、内部バスを介して受信する。本発明の1つの実施例により、画像取得モジュール401はカメラであって、具体的な目標画像を撮像する。また、本発明の別の実施形態により、画像取得モジュール401は、有線または無線を介して目標画像を受信する。例えば、画像撮像装置又は他の装置から送信された目標画像を受信する。更に本発明の別の実施例により、画像取得モジュール401は、予め記憶された目標画像をメモリから取得することができる。
Specifically, the
画像マッチング部402は、予め構築された、1つ以上のキーフレームのキー情報で構成されるマップから、目標画像に対して概ねにマッチングする複数の候補キーフレームの候補キー情報を取得する。ここで、前記画像マッチングモジュール402により行われる概ねにマッチングする処理は、上述した図1に参照して説明した内容と同様である。なお、予めマップを構築する処理は、マッチング処理モジュール402が実行してもよく、別のマップ構築モジュールが実行してもよい。そして、該マップは画像マッチングモジュール４０２に送信され、マップを構築する具体的な処理は図2を参照して説明した内容と同様であり、重複のため、説明を省略する。
The
関心領域マッチングモジュール403は、前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、目標画像について関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める。ここで、関心領域マッチングモジュール403が関心領域を生成する処理は、図3に参照して説明した対応内容と同様であり、また、関心領域マッチングする処理は、図1に参照して説明した対応内容と同様であり、重複のため、ここで説明を省略する。
The region-of-
特徴点マッチングモジュール404は、前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を取得する。その中に、特徴点マッチングモジュール404による関心領域マッチング対における特徴点マッチングの処理は、図1に参照して説明した対応内容と同様であるため、説明を省略する。
The feature
姿勢最適化モジュール405は、特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する。姿勢最適化モジュール405による相対姿勢の算出処理は、図1に参照して説明した対応内容と同様であるため、説明を省略する。また、姿勢最適化モジュール405は、前記相対姿勢に関する目標損失関数を定義することもでき、目標損失関数を最小化することにより、目標画像の絶対姿勢を最適化させる。前記処理は説明した対応内容と同様である。
The
測位装置40の各モジュールは、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、更に、ハードウェアとソフトウェアの組み合わせによっても実現しえる。
Each module of the
図5は、本発明の実施例にかかる測位装置のハードウェアブロック図である。図5に示すように、本発明の別の態様では、メモリ501、およびプロセッサ502を含む測位装置50を提供する。該測位装置50において各構成要素は、バスシステム及び/又は他の形態の接続機構(図示せず)によって接続される。
FIG. 5 is a hardware block diagram of the positioning apparatus according to the embodiment of the present invention. As shown in FIG. 5, in another aspect of the present invention, a
メモリ501は、非一時的でコンピュータ読み取り可能な指令を記憶する。具体的には、メモリ501は、1つまたは複数のコンピュータプログラム製品、例えば、揮発性メモリおよび/または非揮発性メモリを含む等種々のコンピュータ読取り可能な記憶媒体を備えることができる。揮発性メモリは、例えば、ランダムアクセスメモリ(RAM)及び/又は高速キャッシュ(cache)などを含む。前記非揮発性メモリは、例えば、ROM(Read Only Memory)、ハードディスク、フラッシュメモリなどを含む。
The
プロセッサ502は、中央処理装置(CPU)又はデータ処理能力および/または処理指令を実行する能力を有する他の形式の処理ユニットであって、測位装置50中の他の構成要素を制御し、所望の機能を実行する。本発明の1つの実施例で、プロセッサ502がメモリ501に記憶されるコンピュータ読取り可能な指令を実行することより、測位装置50に視覚に基づく測位方法を実行させる。ここで、測位方法は図1〜3を参照して説明したのと同じであるため、重複する説明を省略する。
The
本発明の別の態様では、非一時的なコンピュータ読取り可能な指令が記憶されるコンピュータ読取り可能な記憶媒体を提供する。非一時的なコンピュータ読取り可能な指令がプロセッサによって実行されたときに、上記図面を参照して説明した本発明の実施例にかかる測位方法が実行される。 In another aspect of the invention, a computer readable storage medium is provided on which non-transitory computer readable instructions are stored. When a non-transitory computer-readable command is executed by the processor, the positioning method according to the embodiment of the present invention described with reference to the above drawings is executed.
また、本発明に係る構成要素、デバイス、装置、システムのブロック図は、例示的な一例に過ぎず、ブロック図で示すように接続、分布、配置する意図的な要求または暗示することはない。当業者には理解されるように、これらの構成要素、デバイス、装置、システムを任意の方式で接続され、配置されることができる。また、「含む」、「備える」、「有する」などの文言は、開放的な文言として、「含むが限定しない」ことを意味し、かつ互いに置き換えることができる。また、ここで使用される「または」、「および」は「および/または」を意味し、文脈から明確に指示されない限りは、置き換えることができる。更に、使用される「例えば」とは、「例えであって、限定されない」意味し、置き換えることができる。
上記した実施形態は本発明の保護範囲を限定するものではない。当業者であれば理解されるように、設計および他の要因に応じて、様々な変更、コンビネーション、サブコンビネーション、および置き換えるが可能である。本発明の主旨を逸脱しない範囲内の変更、同等の交換および改善などは、すべて本発明の保護範疇に属す。
In addition, the block diagrams of the components, devices, apparatuses, and systems according to the present invention are merely illustrative examples, and there is no intentional demand or implied connection, distribution, or arrangement as shown in the block diagrams. As will be appreciated by those skilled in the art, these components, devices, apparatus, and systems can be connected and arranged in any manner. In addition, words such as “including”, “comprising”, and “having” are open words, meaning “including but not limited to”, and can be replaced with each other. Further, as used herein, “or”, “and” mean “and / or” and can be replaced unless clearly indicated by the context. Further, “for example” as used means “for example and not limitation” and may be replaced.
The above-described embodiments do not limit the protection scope of the present invention. As will be appreciated by those skilled in the art, various modifications, combinations, sub-combinations, and substitutions are possible depending on the design and other factors. All changes, equivalent replacements and improvements within the scope not departing from the gist of the present invention belong to the protection category of the present invention.
Claims (12)
前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；及び
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む、測位方法。 Obtain the target image;
Obtaining candidate key information of a plurality of candidate key frames that roughly match the target image from a previously constructed map composed of key information of the plurality of key frames;
Generating a region of interest of the target image, matching the region of interest to the target image based on the candidate key information, and determining a region of interest matching pair of at least one candidate key frame for the target image;
Based on the candidate key information, matching is performed on feature points in the region-of-interest matching pair to obtain a feature point matching pair of the at least one candidate key frame for the target image; and based on the feature point matching pair And calculating a relative posture between the target image and the at least one candidate key frame.
連続するフレーム画像を取得し；
前記連続するフレーム画像でフレーム毎に特徴点を抽出し、隣接する2フレームの画像同士における特徴点に対してマッチングを行うことにより、特徴点マッチング対を求め、該特徴点マッチング対に基づいて、バンドルアドジャスト法で現在のフレーム画像と直前のフレーム画像との相対姿勢を算出し；
前記相対姿勢が所定の条件を満たす場合には、前記現在のフレームをキーフレームとして確定し；及び
前記マップを構成するために、前記キーフレームのキー情報を記憶するステップにより予め構築される、請求項1に記載される測位方法。 The map is
Obtain consecutive frame images;
A feature point is extracted for each frame in the continuous frame image, and a feature point matching pair is obtained by performing matching on the feature points in the images of two adjacent frames, and based on the feature point matching pair, Calculate the relative orientation of the current frame image and the previous frame image using the bundle adjustment method;
If the relative posture satisfies a predetermined condition, the current frame is determined as a key frame; and stored in advance to store key information of the key frame to construct the map. The positioning method described in Item 1.
前記キーフレームの絶対姿勢および当該キーフレームの直前のフレームの画像に対する相対姿勢と、
前記キーフレームの関心領域と、
前記関心領域に含まれる特徴点の2D情報および3D情報と、を含み、
前記2D情報と前記3D情報は、前記キーフレームとその直前のフレームの画像との相対姿勢を算出する処理において得られる、請求項2に記載される測位方法。 The key information of the key frame is
An absolute posture of the key frame and a relative posture with respect to an image of a frame immediately before the key frame;
A region of interest of the keyframe;
2D information and 3D information of feature points included in the region of interest,
3. The positioning method according to claim 2, wherein the 2D information and the 3D information are obtained in a process of calculating a relative attitude between the key frame and an image of the immediately preceding frame.
取得された画像の特徴点を抽出し；
抽出された特徴点の属性に基づいてクラスタリングを行い、クラスタ点の集合を求め；及び
前記クラスタ点の集合の最小境界矩形を計算し、算出された前記最小境界矩形を関心領域とするステップにより生成される、請求項1または3に記載される測位方法。 The region of interest is
Extract feature points of the acquired image;
Clustering is performed based on the extracted feature point attributes to obtain a set of cluster points; and a minimum boundary rectangle of the set of cluster points is calculated, and the calculated minimum boundary rectangle is used as a region of interest. 4. The positioning method according to claim 1 or 3, wherein:
ここで、iは複数の前記候補キーフレームの番号であり、Ciはi番目の候補キーフレームの絶対姿勢であり、Tiは算出された前記目標画像とi番目の候補キーフレームとの相対姿勢であり、Pは前記目標画像の絶対姿勢であり、Ωiは重み係数である、請求項5に記載される測位方法。 The target loss function is defined by the following equation:
Here, i is the number of the plurality of candidate key frames, C i is the absolute attitude of the i th candidate key frame, and T i is a relative value between the calculated target image and the i th candidate key frame. 6. The positioning method according to claim 5, wherein the positioning method is an attitude, P is an absolute attitude of the target image, and Ω i is a weighting factor.
前記特徴点マッチング対に基づいて、バンドルアドジャスト法で、前記目標画像と前記少なくとも一つの候補キーフレームとの相対姿勢を算出することを含む、請求項1に記載される測位方法。 The calculation of the relative posture between the target image and the at least one candidate key frame is as follows:
2. The positioning method according to claim 1, comprising calculating a relative attitude between the target image and the at least one candidate key frame by a bundle adjustment method based on the feature point matching pair.
予め構築された、1つ以上のキーフレームのキー情報で構成されるマップから、前記目標画像に対して概ねにマッチングする複数の候補キーフレームの候補キー情報を取得する画像マッチングモジュールと、
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求める関心領域マッチングモジュールと、
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点のマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を取得する特徴点マッチングモジュールと、
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出する姿勢最適化モジュールと、を含む、測位装置。 An image acquisition module for acquiring a target image;
An image matching module that acquires candidate key information of a plurality of candidate key frames that roughly match the target image from a map that is constructed in advance and includes key information of one or more key frames;
A region of interest for generating a region of interest of the target image, matching the region of interest with the target image based on the candidate key information, and obtaining a region of interest matching pair of at least one candidate key frame for the target image A matching module;
A feature point matching module that performs feature point matching in the region-of-interest matching pair based on the candidate key information and obtains a feature point matching pair of the at least one candidate key frame for the target image;
And a posture optimization module that calculates a relative posture between the target image and the at least one candidate key frame based on the feature point matching pair.
非一時的でコンピュータ読み取り可能な指令を記憶するメモリ、及び、
前記コンピュータ読取りか応な指令を執行することにより、測位装置に測位方法を実行させるプロセッサを含み、
前記測位方法は、
目標画像を取得し；
前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；及び
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む、測位装置。 A positioning device,
A memory for storing non-transitory, computer-readable instructions; and
Including a processor that causes the positioning device to execute a positioning method by executing a command corresponding to the computer reading;
The positioning method is:
Obtain the target image;
Obtaining candidate key information of a plurality of candidate key frames that roughly match the target image from a previously constructed map composed of key information of the plurality of key frames;
Generating a region of interest of the target image, matching the region of interest to the target image based on the candidate key information, and determining a region of interest matching pair of at least one candidate key frame for the target image;
Based on the candidate key information, matching is performed on feature points in the region-of-interest matching pair to obtain a feature point matching pair of the at least one candidate key frame for the target image; and based on the feature point matching pair A positioning device including a step of calculating a relative posture between the target image and the at least one candidate key frame.
コンピュータに前記非一時的でコンピュータ読み取り可能な指令を実行させることにより、前記コンピュータが測位方法を実行し、前記測位方法は、
目標画像を取得し；
前記目標画像に概ねにマッチングする複数の候補キーフレームの候補キー情報を、予め構築された、複数のキーフレームのキー情報から構成されるマップから取得し；
前記目標画像の関心領域を生成し、前記候補キー情報に基づいて、前記目標画像に対して関心領域のマッチングを行い、前記目標画像について少なくとも1つの候補キーフレームの関心領域マッチング対を求め；
前記候補キー情報に基づいて、前記関心領域マッチング対における特徴点に対してマッチングを行い、前記目標画像について前記少なくとも1つの候補キーフレームの特徴点マッチング対を求め；及び
前記特徴点マッチング対に基づいて、前記目標画像と前記少なくとも1つの候補キーフレームとの相対姿勢を算出するステップを含む、記憶媒体。 A storage medium for storing non-transitory computer-readable instructions,
By causing the computer to execute the non-temporary computer-readable command, the computer executes a positioning method, and the positioning method includes:
Obtain the target image;
Obtaining candidate key information of a plurality of candidate key frames that roughly match the target image from a previously constructed map composed of key information of the plurality of key frames;
Generating a region of interest of the target image, matching the region of interest to the target image based on the candidate key information, and determining a region of interest matching pair of at least one candidate key frame for the target image;
Based on the candidate key information, matching is performed on feature points in the region-of-interest matching pair to obtain a feature point matching pair of the at least one candidate key frame for the target image; and based on the feature point matching pair And calculating a relative attitude between the target image and the at least one candidate key frame.
A program for causing a computer to execute the positioning method according to any one of claims 1 to 8.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810095009.3A CN110097045A (en) | 2018-01-31 | 2018-01-31 | A kind of localization method, positioning device and readable storage medium storing program for executing |
| CN201810095009.3 | 2018-01-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019133658A true JP2019133658A (en) | 2019-08-08 |
| JP6702453B2 JP6702453B2 (en) | 2020-06-03 |
Family
ID=67442872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019010173A Active JP6702453B2 (en) | 2018-01-31 | 2019-01-24 | Positioning method, positioning device, and readable storage medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6702453B2 (en) |
| CN (1) | CN110097045A (en) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110509273A (en) * | 2019-08-16 | 2019-11-29 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | Robot manipulator detection and grasping method based on visual deep learning features |
| CN110930453A (en) * | 2019-10-30 | 2020-03-27 | 北京迈格威科技有限公司 | Target object positioning method and device and readable storage medium |
| CN111006655A (en) * | 2019-10-21 | 2020-04-14 | 南京理工大学 | Multi-scene autonomous navigation positioning method for airport inspection robot |
| CN111105467A (en) * | 2019-12-16 | 2020-05-05 | 北京超图软件股份有限公司 | Image calibration method and device and electronic equipment |
| CN111310654A (en) * | 2020-02-13 | 2020-06-19 | 北京百度网讯科技有限公司 | Map element positioning method and device, electronic equipment and storage medium |
| CN111538855A (en) * | 2020-04-29 | 2020-08-14 | 浙江商汤科技开发有限公司 | Visual positioning method and device, electronic equipment and storage medium |
| CN111709973A (en) * | 2020-06-16 | 2020-09-25 | 北京百度网讯科技有限公司 | Target tracking method, device, equipment and storage medium |
| CN111784776A (en) * | 2020-08-03 | 2020-10-16 | Oppo广东移动通信有限公司 | Visual positioning method and apparatus, computer readable medium and electronic device |
| CN112183526A (en) * | 2020-09-18 | 2021-01-05 | 深圳市南科信息科技有限公司 | Visible light positioning method, device, equipment and medium |
| CN112287928A (en) * | 2020-10-20 | 2021-01-29 | 深圳市慧鲤科技有限公司 | A prompting method, device, electronic device and storage medium |
| CN112393723A (en) * | 2020-11-27 | 2021-02-23 | 北京三快在线科技有限公司 | Positioning method, device, medium and unmanned device |
| CN112444820A (en) * | 2019-08-28 | 2021-03-05 | 深圳市优必选科技股份有限公司 | Robot pose determining method and device, readable storage medium and robot |
| CN112487943A (en) * | 2020-11-25 | 2021-03-12 | 北京有竹居网络技术有限公司 | Method and device for removing duplicate of key frame and electronic equipment |
| CN112541970A (en) * | 2020-11-30 | 2021-03-23 | 北京华捷艾米科技有限公司 | Relocation method and device in centralized cooperative SlAM |
| CN112784174A (en) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | Method, device and system for determining pose |
| CN112802095A (en) * | 2019-11-14 | 2021-05-14 | 北京四维图新科技股份有限公司 | Positioning method, device and equipment and automatic driving positioning system |
| CN112802102A (en) * | 2021-02-01 | 2021-05-14 | 深圳万拓科技创新有限公司 | Pose repositioning method, device, equipment and medium of laser sweeper |
| KR20210075619A (en) * | 2019-12-13 | 2021-06-23 | 주식회사 케이티 | Autonomous robot, location estimation server of autonomous robot and location estimation or autonomous robot using the same |
| CN113034687A (en) * | 2021-03-29 | 2021-06-25 | 重庆智行者信息科技有限公司 | Real-time grid map generation method for large scene |
| JP2021128753A (en) * | 2020-02-13 | 2021-09-02 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Target detection method, device, electronic apparatus, storage medium, and program |
| KR20220045281A (en) * | 2020-10-05 | 2022-04-12 | 세종대학교산학협력단 | Simultaneous localization and landmark detection apparatus and method using complementary relationship |
| CN114373069A (en) * | 2021-12-30 | 2022-04-19 | 北京科技大学 | Visual positioning method and device for wind power blade gluing process |
| CN114445451A (en) * | 2021-12-17 | 2022-05-06 | 广州欧科信息技术股份有限公司 | Plane image tracking method, terminal and storage medium |
| CN114463988A (en) * | 2020-11-09 | 2022-05-10 | 浙江宇视科技有限公司 | Image acquisition method, device, electronic device and storage medium |
| CN114491131A (en) * | 2022-01-24 | 2022-05-13 | 北京至简墨奇科技有限公司 | Method and device for reordering candidate images and electronic equipment |
| WO2022131390A1 (en) * | 2020-12-15 | 2022-06-23 | 한국전자기술연구원 | Self-supervised learning-based three-dimensional human posture estimation method using multi-view images |
| CN114739382A (en) * | 2022-03-03 | 2022-07-12 | 深圳市优必选科技股份有限公司 | Robot, and method, device and storage medium for establishing image of robot |
| JPWO2022244257A1 (en) * | 2021-05-21 | 2022-11-24 | ||
| CN115952248A (en) * | 2022-12-20 | 2023-04-11 | 阿波罗智联(北京)科技有限公司 | Pose processing method, device, equipment, medium and product of terminal equipment |
| CN116698051A (en) * | 2023-05-30 | 2023-09-05 | 北京百度网讯科技有限公司 | High-precision vehicle positioning, vector map construction and positioning model training method |
| CN117132648A (en) * | 2023-04-28 | 2023-11-28 | 荣耀终端有限公司 | Visual positioning method, electronic equipment and computer readable storage medium |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110480637B (en) * | 2019-08-12 | 2020-10-20 | 浙江大学 | An Image Recognition and Grabbing Method of Robot Arm Parts Based on Kinect Sensor |
| CN110532410B (en) * | 2019-08-30 | 2022-06-21 | 上海商汤临港智能科技有限公司 | Camera positioning and neural network training method and device |
| CN110660134B (en) * | 2019-09-25 | 2023-05-30 | Oppo广东移动通信有限公司 | Three-dimensional map construction method, three-dimensional map construction device and terminal equipment |
| CN110705575A (en) * | 2019-09-27 | 2020-01-17 | Oppo广东移动通信有限公司 | Positioning method and device, equipment, storage medium |
| CN111078942B (en) * | 2019-12-18 | 2021-10-08 | 腾讯科技（深圳）有限公司 | Method, device and storage medium for recommending videos |
| CN111476768B (en) * | 2020-04-02 | 2021-07-20 | 推想医疗科技股份有限公司 | Image registration method, image registration device, path planning method, path planning device, path planning system and medium |
| CN111626206A (en) * | 2020-05-27 | 2020-09-04 | 北京百度网讯科技有限公司 | High-precision map construction method and device, electronic equipment and computer storage medium |
| CN114080625A (en) * | 2020-06-19 | 2022-02-22 | 深圳市大疆创新科技有限公司 | Absolute pose determination method, electronic equipment and movable platform |
| CN112565800B (en) * | 2020-11-30 | 2023-02-28 | 北京达佳互联信息技术有限公司 | Video positioning method, device, equipment, system and storage medium |
| CN112819901B (en) * | 2021-02-26 | 2024-05-14 | 中国人民解放军93114部队 | Infrared camera self-calibration method based on image edge information |
| CN116012624B (en) * | 2023-01-12 | 2024-03-26 | 阿波罗智联(北京)科技有限公司 | Positioning method, positioning device, electronic equipment, medium and automatic driving equipment |
| CN119478036A (en) * | 2023-08-11 | 2025-02-18 | 北京字跳网络技术有限公司 | Posture detection method, device, electronic device and storage medium |
| CN117724610B (en) * | 2023-12-13 | 2024-09-20 | 广东聚华新型显示研究院 | Data processing method and device for head display equipment, head-mounted equipment and medium |
| CN118781188A (en) * | 2024-07-05 | 2024-10-15 | 安徽理工大学 | A visual SLAM method integrating target detection and image segmentation |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011043419A (en) * | 2009-08-21 | 2011-03-03 | Sony Corp | Information processor, information processing method, and program |
| JP2016526313A (en) * | 2013-04-30 | 2016-09-01 | クアルコム，インコーポレイテッド | Monocular visual SLAM using global camera movement and panoramic camera movement |
| JP2017021427A (en) * | 2015-07-07 | 2017-01-26 | トヨタ自動車株式会社 | Self-position estimation apparatus, self-position estimation method and program |
| WO2017022033A1 (en) * | 2015-07-31 | 2017-02-09 | 富士通株式会社 | Image processing device, image processing method, and image processing program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104374395A (en) * | 2014-03-31 | 2015-02-25 | 南京邮电大学 | Graph-based vision SLAM (simultaneous localization and mapping) method |
| CN104778697B (en) * | 2015-04-13 | 2017-07-28 | 清华大学 | Based on Quick positioning map as yardstick and the three-dimensional tracking and system in region |
-
2018
- 2018-01-31 CN CN201810095009.3A patent/CN110097045A/en active Pending
-
2019
- 2019-01-24 JP JP2019010173A patent/JP6702453B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011043419A (en) * | 2009-08-21 | 2011-03-03 | Sony Corp | Information processor, information processing method, and program |
| JP2016526313A (en) * | 2013-04-30 | 2016-09-01 | クアルコム，インコーポレイテッド | Monocular visual SLAM using global camera movement and panoramic camera movement |
| JP2017021427A (en) * | 2015-07-07 | 2017-01-26 | トヨタ自動車株式会社 | Self-position estimation apparatus, self-position estimation method and program |
| WO2017022033A1 (en) * | 2015-07-31 | 2017-02-09 | 富士通株式会社 | Image processing device, image processing method, and image processing program |
Non-Patent Citations (1)
| Title |
|---|
| 唐津豊, 外３名: "ＯＲＧＡ：加速度センサを利用したマーカレスＡＲによるセンサ情報可視化システム", 電子情報通信学会 信学技報, JPN6019051820, 2010, JP, ISSN: 0004188284 * |
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110509273B (en) * | 2019-08-16 | 2022-05-06 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | Robot manipulator detection and grabbing method based on visual deep learning features |
| CN110509273A (en) * | 2019-08-16 | 2019-11-29 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | Robot manipulator detection and grasping method based on visual deep learning features |
| CN112444820B (en) * | 2019-08-28 | 2023-06-09 | 深圳市优必选科技股份有限公司 | Robot pose determining method and device, readable storage medium and robot |
| CN112444820A (en) * | 2019-08-28 | 2021-03-05 | 深圳市优必选科技股份有限公司 | Robot pose determining method and device, readable storage medium and robot |
| CN111006655A (en) * | 2019-10-21 | 2020-04-14 | 南京理工大学 | Multi-scene autonomous navigation positioning method for airport inspection robot |
| CN110930453A (en) * | 2019-10-30 | 2020-03-27 | 北京迈格威科技有限公司 | Target object positioning method and device and readable storage medium |
| CN110930453B (en) * | 2019-10-30 | 2023-09-08 | 北京迈格威科技有限公司 | Target object positioning method, device and readable storage medium |
| CN112784174A (en) * | 2019-11-08 | 2021-05-11 | 华为技术有限公司 | Method, device and system for determining pose |
| CN112802095A (en) * | 2019-11-14 | 2021-05-14 | 北京四维图新科技股份有限公司 | Positioning method, device and equipment and automatic driving positioning system |
| CN112802095B (en) * | 2019-11-14 | 2024-04-16 | 北京四维图新科技股份有限公司 | Positioning method, device and equipment, and automatic driving positioning system |
| KR102457588B1 (en) | 2019-12-13 | 2022-10-24 | 주식회사 케이티 | Autonomous robot, location estimation server of autonomous robot and location estimation or autonomous robot using the same |
| KR20210075619A (en) * | 2019-12-13 | 2021-06-23 | 주식회사 케이티 | Autonomous robot, location estimation server of autonomous robot and location estimation or autonomous robot using the same |
| CN111105467B (en) * | 2019-12-16 | 2023-08-29 | 北京超图软件股份有限公司 | Image calibration method and device and electronic equipment |
| CN111105467A (en) * | 2019-12-16 | 2020-05-05 | 北京超图软件股份有限公司 | Image calibration method and device and electronic equipment |
| CN111310654B (en) * | 2020-02-13 | 2023-09-08 | 北京百度网讯科技有限公司 | Map element positioning method and device, electronic equipment and storage medium |
| JP7221920B2 (en) | 2020-02-13 | 2023-02-14 | 阿波▲羅▼智▲聯▼（北京）科技有限公司 | Target detection method, device, electronic device, storage medium, and program |
| CN111310654A (en) * | 2020-02-13 | 2020-06-19 | 北京百度网讯科技有限公司 | Map element positioning method and device, electronic equipment and storage medium |
| JP2021128753A (en) * | 2020-02-13 | 2021-09-02 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Target detection method, device, electronic apparatus, storage medium, and program |
| CN111538855A (en) * | 2020-04-29 | 2020-08-14 | 浙江商汤科技开发有限公司 | Visual positioning method and device, electronic equipment and storage medium |
| CN111538855B (en) * | 2020-04-29 | 2024-03-08 | 浙江商汤科技开发有限公司 | Visual positioning method and device, electronic equipment and storage medium |
| CN111709973A (en) * | 2020-06-16 | 2020-09-25 | 北京百度网讯科技有限公司 | Target tracking method, device, equipment and storage medium |
| CN111709973B (en) * | 2020-06-16 | 2024-02-20 | 北京百度网讯科技有限公司 | Target tracking method, device, equipment and storage medium |
| CN111784776A (en) * | 2020-08-03 | 2020-10-16 | Oppo广东移动通信有限公司 | Visual positioning method and apparatus, computer readable medium and electronic device |
| CN111784776B (en) * | 2020-08-03 | 2023-09-26 | Oppo广东移动通信有限公司 | Visual positioning method and device, computer readable medium and electronic equipment |
| CN112183526B (en) * | 2020-09-18 | 2024-04-09 | 深圳市南科信息科技有限公司 | Visible light positioning method, device, equipment and medium |
| CN112183526A (en) * | 2020-09-18 | 2021-01-05 | 深圳市南科信息科技有限公司 | Visible light positioning method, device, equipment and medium |
| KR20220045281A (en) * | 2020-10-05 | 2022-04-12 | 세종대학교산학협력단 | Simultaneous localization and landmark detection apparatus and method using complementary relationship |
| KR102428992B1 (en) * | 2020-10-05 | 2022-08-03 | 세종대학교산학협력단 | Simultaneous localization and landmark detection apparatus and method using complementary relationship |
| CN112287928A (en) * | 2020-10-20 | 2021-01-29 | 深圳市慧鲤科技有限公司 | A prompting method, device, electronic device and storage medium |
| CN114463988A (en) * | 2020-11-09 | 2022-05-10 | 浙江宇视科技有限公司 | Image acquisition method, device, electronic device and storage medium |
| CN114463988B (en) * | 2020-11-09 | 2023-10-03 | 浙江宇视科技有限公司 | Image acquisition method, device, electronic equipment and storage medium |
| CN112487943A (en) * | 2020-11-25 | 2021-03-12 | 北京有竹居网络技术有限公司 | Method and device for removing duplicate of key frame and electronic equipment |
| CN112487943B (en) * | 2020-11-25 | 2023-06-27 | 北京有竹居网络技术有限公司 | Key frame de-duplication method and device and electronic equipment |
| CN112393723A (en) * | 2020-11-27 | 2021-02-23 | 北京三快在线科技有限公司 | Positioning method, device, medium and unmanned device |
| CN112393723B (en) * | 2020-11-27 | 2023-10-24 | 北京三快在线科技有限公司 | Positioning method, positioning device, medium and unmanned equipment |
| CN112541970A (en) * | 2020-11-30 | 2021-03-23 | 北京华捷艾米科技有限公司 | Relocation method and device in centralized cooperative SlAM |
| WO2022131390A1 (en) * | 2020-12-15 | 2022-06-23 | 한국전자기술연구원 | Self-supervised learning-based three-dimensional human posture estimation method using multi-view images |
| CN112802102A (en) * | 2021-02-01 | 2021-05-14 | 深圳万拓科技创新有限公司 | Pose repositioning method, device, equipment and medium of laser sweeper |
| CN113034687A (en) * | 2021-03-29 | 2021-06-25 | 重庆智行者信息科技有限公司 | Real-time grid map generation method for large scene |
| CN113034687B (en) * | 2021-03-29 | 2024-04-16 | 北京智行者科技股份有限公司 | Real-time grid map generation method for large scene |
| JPWO2022244257A1 (en) * | 2021-05-21 | 2022-11-24 | ||
| WO2022244257A1 (en) * | 2021-05-21 | 2022-11-24 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and program |
| CN114445451B (en) * | 2021-12-17 | 2025-03-14 | 广州欧科信息技术股份有限公司 | Planar image tracking method, terminal and storage medium |
| CN114445451A (en) * | 2021-12-17 | 2022-05-06 | 广州欧科信息技术股份有限公司 | Plane image tracking method, terminal and storage medium |
| CN114373069A (en) * | 2021-12-30 | 2022-04-19 | 北京科技大学 | Visual positioning method and device for wind power blade gluing process |
| CN114373069B (en) * | 2021-12-30 | 2025-05-30 | 北京科技大学 | A visual positioning method and device for wind turbine blade gluing process |
| CN114491131A (en) * | 2022-01-24 | 2022-05-13 | 北京至简墨奇科技有限公司 | Method and device for reordering candidate images and electronic equipment |
| CN114491131B (en) * | 2022-01-24 | 2023-04-18 | 北京至简墨奇科技有限公司 | Method and device for reordering candidate images and electronic equipment |
| CN114739382A (en) * | 2022-03-03 | 2022-07-12 | 深圳市优必选科技股份有限公司 | Robot, and method, device and storage medium for establishing image of robot |
| CN115952248A (en) * | 2022-12-20 | 2023-04-11 | 阿波罗智联(北京)科技有限公司 | Pose processing method, device, equipment, medium and product of terminal equipment |
| CN117132648A (en) * | 2023-04-28 | 2023-11-28 | 荣耀终端有限公司 | Visual positioning method, electronic equipment and computer readable storage medium |
| CN117132648B (en) * | 2023-04-28 | 2024-07-12 | 荣耀终端有限公司 | Visual positioning method, electronic equipment and computer readable storage medium |
| CN116698051A (en) * | 2023-05-30 | 2023-09-05 | 北京百度网讯科技有限公司 | High-precision vehicle positioning, vector map construction and positioning model training method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6702453B2 (en) | 2020-06-03 |
| CN110097045A (en) | 2019-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6702453B2 (en) | Positioning method, positioning device, and readable storage medium | |
| KR102459853B1 (en) | Method and device to estimate disparity | |
| JP2023022193A (en) | Method and system for video-based positioning and mapping | |
| US11328479B2 (en) | Reconstruction method, reconstruction device, and generation device | |
| CN113711276B (en) | Scale-aware monocular localization and mapping | |
| US9483703B2 (en) | Online coupled camera pose estimation and dense reconstruction from video | |
| US11030478B1 (en) | System and method for correspondence map determination | |
| KR102052114B1 (en) | Object change detection system for high definition electronic map upgrade and method thereof | |
| JP6184271B2 (en) | Imaging management apparatus, imaging management system control method, and program | |
| US20200302639A1 (en) | Apparatus and method for managing feature point map | |
| EP3716210B1 (en) | Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device | |
| KR102455632B1 (en) | Mehtod and apparatus for stereo matching | |
| JP2019190974A (en) | Calibration device, calibration method and program | |
| JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
| US20200288102A1 (en) | Image processing method and apparatus | |
| CN114359377B (en) | A real-time 6D pose estimation method and computer-readable storage medium | |
| KR20230049969A (en) | Method and apparatus for global localization | |
| JP6429466B2 (en) | Image processing apparatus, control method therefor, imaging apparatus, and program | |
| CN113939852A (en) | Object recognition device and object recognition method | |
| JP6305856B2 (en) | Image processing apparatus, image processing method, and program | |
| CN110443228B (en) | Pedestrian matching method and device, electronic equipment and storage medium | |
| JP2006113832A (en) | Stereoscopic image processor and program | |
| KR102150954B1 (en) | Apparatus and method for processing point cloud | |
| JP6601893B2 (en) | Image processing apparatus, image processing method, and program | |
| JP7491398B2 (en) | Map generation device, map generation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6702453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |