JP2015515655A - データを位置合わせする方法 - Google Patents
データを位置合わせする方法 Download PDFInfo
- Publication number
- JP2015515655A JP2015515655A JP2014546237A JP2014546237A JP2015515655A JP 2015515655 A JP2015515655 A JP 2015515655A JP 2014546237 A JP2014546237 A JP 2014546237A JP 2014546237 A JP2014546237 A JP 2014546237A JP 2015515655 A JP2015515655 A JP 2015515655A
- Authority
- JP
- Japan
- Prior art keywords
- point
- primitives
- points
- aligning
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 109
- 239000013598 vector Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 description 10
- 238000013519 translation Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
シーンの対話型でリアルタイムの3D再構成は、多数の用途、例えばロボット工学、拡張現実、医用撮像及びコンピュータービジョンにおいて用いられる。リアルタイムの粗密3D再構成は、カメラ等のパッシブセンサーを用いることができる。しかしながら、パッシブセンサーは、テクスチャのない領域を再構成するのが困難である。
局所
3Dデータのアライメント又は位置合わせは、コンピュータービジョン用途における基本的な問題であり、これはいくつかの方法を用いて解決することができる。位置合わせ方法は局所的又は大域的とすることができる。局所的方法は、良好な初期化から開始し、比較的小さな反復運動を用いて2つの3D点群を位置合わせするべきである。これは、良好な初期解を用いて大域解に収束する非線形最小化方法に類似している。最も一般的な局所的方法は反復最近傍点(ICP)法であり、この方法は、閉形式解を用いて対応する3D点及び運動を反復的に求める。
大域的方法は通常、3D点群全体を検討し、いくつかの主要な幾何学的特徴(プリミティブ)を特定し、点群にわたって特徴をマッチングし、ランダムサンプルコンセンサス(RANSAC)手順を用いて、対応の最小集合を用いた最適な仮説を生成する。大域的方法によって得られる粗い位置合わせの後、通常、局所的な非線形精緻化が続く。大域的方法は、局所的方法と異なり、初期化を必要としない。しかしながら、大域的方法は、誤った対応及び不十分な対応による害を被る可能性がある。大域的方法において通常用いられる幾何学的プリミティブは、点、線又は面のいずれかである。
移動ロボット工学において、いくつかの3Dセンサーベースの方法は、センサーの動きを求め、シーン構造を再構成するために、位置推定及び地図作成の同時実行(SLAM)システムを用いる。これらの方法は通常、点プリミティブ、線プリミティブ又は面プリミティブ等の幾何学的特徴を用いる。2Dレーザースキャナー又は超音波センサー等の3Dデータの平面スライスを提供する3Dセンサーは、平面の3自由度(DOF)の動きを求めるのに用いることができる。構造化光スキャナー、移動ステージに取り付けられた2Dレーザースキャナー及びKinectセンサー等の、完全な3D点群を提供する3Dセンサーは、6DOFの動きを求めるのに用いることができる。
本発明によるSLAMシステムは、3D点プリミティブを得るために、3D点群内の1つ又は複数のキー点を選択する。キー点は、テクスチャ画像を用いることなく3D点群から3Dキー点検出器を用いて選択することができる。例示的な3Dキー点検出器は、法線がアラインされたラジアル特徴(NARF:Normal Aligned Radial Feature)及び3D高速化ロバスト特徴(SURF)を含む。代替的に、システムは、2Dキー点検出器を用いて各テクスチャ画像から2Dキー点を選択し、対応する奥行き値を用いてキー点を逆投影し、3D点プリミティブを得ることができる。例示的な2Dキー点検出器は、スケール不変特徴変換(SIFT)及び高速化ロバスト特徴(SURF)を含む。これらの3Dキー点検出器及び2Dキー点検出器は、検出されたキー点ごとの特徴記述子も提供する。
3D点群から面を選択するために、以下の反復手順を用いる。
1.3D点群において基準点の集合をランダムに選択する;
2.ローカルウィンドウ内の近傍点を用いて基準点ごとに最適な面を求める;
3.奥行きマップの格子グラフに関して基準点との連結成分を形成する全てのインライアを求める;
4.十分な数の最大数のインライアを有する最適な面を特定する;及び
5.3D点群からインライアを除去する。
センサーの姿勢240(すなわち、大域マップの座標系に対する6−DOF剛体変換)は、測定値におけるプリミティブを、大域マップ内のランドマークにおけるプリミティブと位置合わせすることによって求められる。点及び面の双方を用いた本発明による位置合わせ方法及び本発明によるRANSAC手順が以下に説明される。
本発明によるSLAMシステムは、キーフレームから選択された点プリミティブ及び面プリミティブを合算することによって大域マップを更新する(250)。現在のフレームは、姿勢が以前のキーフレームと十分異なっている(例えば、現在のフレームの並進及び回転が以前のキーフレームの並進及び回転と所定の閾値よりも大きく異なっている)場合にのみキーフレームとみなされる。各点ランドマークは、位置pl及び記述子Dlによって(pl,Dl)として表される。各面ランドマークは、面パラメーター
全てのキーフレーム間の位置合わせを共同で精緻化するために、本発明によるSLAMシステムは、点及び面の双方を用いてバンドル調整によって最適化230を実行する。バンドル調整は、位置合わせ方法を用いたカメラ姿勢の追跡のために、メインスレッドと別個のスレッドにおいて非同期的に実行される。バンドル調整の詳細は以下に説明される。
本発明による位置合わせ方法は、点対点の対応及び面対面の対応を用い、閉形式解を与える。本方法は、3つ以上の対応に適用可能である。このため、本方法を用いて、本発明によるRANSAC手順において最小数の3つの対応を用いて仮説を生成し、RANSAC手順によって与えられた初期仮説を全てのインライア対応を用いて精緻化することができる。
{pi}及び{p’i},i=1,...,Mを対応する3D点とし、
点対点対応の場合、回転成分及び並進成分は分離することができる。
混合している場合、点対点対応及び面対面対応を有する。個々の事例において用いられる分解を利用して回転及び並進を求める。回転を求めるために、式(1)及び式(3)を以下のように組み合わせる。
R及びtを一意に選択するために、式(6)における相関行列K及び式(9)における行列Aは一定の条件を満たすべきである。Rを一意に求めるには、相関行列Kの階数が1よりも大きく、かつ以下の条件のうちの少なくとも1つが真であるべきである。
1.det(UVT)=1
2.Kの最小特異値が単解である。
2D画像空間のみにおける対応と対照的に、本発明による3Dプリミティブは、誤合致を特定するのに用いることができるいくつかの不変量を提供する。2つの異なる座標系における対応する点及び面を所与として、1つの座標系において求められる或る特定の幾何学的エンティティは、第2の座標系における対応するエンティティと実質的に合致するべきである。
面ランドマークの場合、面ランドマークと、キーフレームにおける関連付けられた面からサンプリングされた3D点との間の距離の和によって定義される幾何学的誤差を最小にする。詳細には、面プリミティブ
本発明によるSLAMシステムはオプションで、バンドル調整における面ランドマーク間の幾何学的制約を実施することができる。幾何学的制約は平行性及び直交性を含む。直交する面又は平行な面は、人工的な環境において一般的に観察することができ、この人工的な環境では、幾何学的制約を実施することは、正確な位置合わせを得るのに有用である。
全てのランドマーク及びキーフレームについて式(13)、式(16)及び式(19)をスタックすると、連立一次方程式JΔ=−ε0が得られる。ここで、ヤコビ行列はJであり、誤差ベクトルはε0であり、更新ベクトルは
本発明によるリアルタイムのSLAMシステムは、640×480のピクセル分解能を有するテクスチャ画像及び奥行きマップを用いる。位置合わせに成功すると、現在の点群上に重ね合わされた点ランドマーク及び面ランドマークを視覚化する。本発明によるSLAMシステムは常に、大域マップに対しフレームごとに大域位置合わせを求める。このため、位置合わせの失敗は後続の入力に影響を与えない。本発明によるSLAMシステムは、シーンの面ベースの表現として、再構成された面ランドマークを提供する。これはよりコンパクトであり、点ベースのシーン表現よりも多くの意味的情報を提供する。
本発明は、2つの異なる座標系内の3Dデータを位置合わせするのに、点及び面の双方をプリミティブとして用いる位置合わせ方法を提供する。位置合わせ方法を用いて、位置合わせのために点対点及び面対面の双方の対応を用いる3DセンサーのためのリアルタイムSLAMシステムが開発される。双方のプリミティブを用いることによって、点のみを用いるよりも高速で正確な位置合わせが可能になる。本発明によるSLAMシステムは、3Dモデルを面の集合として生成し、これは厳密に点ベースの表現よりもコンパクトで意味的なシーン情報を提供する。
Claims (20)
- データを位置合わせする方法であって、該データは3つの次元を有し、該方法は、
第1の座標系における前記データからプリミティブの第1の集合を選択するステップであって、該プリミティブの第1の集合は、少なくとも1つの面と、少なくとも1つの点と、点又は面のいずれかである第3のプリミティブとを含む、ステップと、
第2の座標系における前記データからプリミティブの第2の集合を選択するステップであって、該プリミティブの第2の集合は、少なくとも1つの面と、少なくとも1つの点と、前記プリミティブの第1の集合内の前記第3のプリミティブに対応する第3のプリミティブとを含む、ステップと、
前記プリミティブの第1の集合及び前記プリミティブの第2の集合において、面を互いに位置合わせするとともに点を互いに位置合わせするステップであって、位置合わせされたプリミティブを得る、ステップと、
を含む、データを位置合わせする方法。 - 前記位置合わせすることは位置推定及び地図作成の同時実行システムにおいて用いられる、請求項1に記載の方法。
- 前記位置合わせすることは大域的である、請求項1に記載の方法。
- 前記位置合わせすることはリアルタイムである、請求項1に記載の方法。
- 前記データを奥行きマップとして取得することを更に含む、請求項2に記載の方法。
- 前記奥行きマップは3Dセンサーによって取得される、請求項5に記載の方法。
- 前記位置合わせされたプリミティブを大域マップ内に維持することを更に含む、請求項5に記載の方法。
- 前記位置合わせすることはランダムサンプルコンセンサス手順を用いる、請求項5に記載の方法。
- 位置及び記述子によって各点を表すとともに、単位法線ベクトルと、対応する座標系の原点に対する距離とによって各面を表すことを更に含む、請求項5に記載の方法。
- 各面は、
3D点群における基準点の集合をランダムに選択することと、
ローカルウィンドウ内の近傍点を用いて基準点ごとに最適な面を求めることと、
前記奥行きマップの格子グラフに関して前記基準点との連結成分を形成する全てのインライアを求めることと、
所定の数の前記インライアを有する最適な面を特定することと、
前記インライアを前記3D点群から除去することと、
によって選択される、請求項5に記載の方法。 - 前記大域マップは、前記点及び前記面を用いてバンドル調整によって最適化される、請求項7に記載の方法。
- 前記位置合わせすることの間に、各座標系における、点間の距離、点と面との間の距離、又は2つの面の法線間の角度に基づいて誤合致を特定することを更に含む、請求項1に記載の方法。
- プリミティブの入手可能な3つ組を用いて、以下の順序、すなわち3面、2面及び1点、1面及び2点、又は3点の順序で前記ランダムサンプルコンセンサス手順を初期化することを更に含む、請求項8に記載の方法。
- 各点は3Dキー点検出器によって選択される、請求項5に記載の方法。
- 前記バンドル調整は、前記面間の幾何学的制約を実施する、請求項11に記載の方法。
- 請求項1に記載の方法であって、該方法の出力は、シーンの位置合わせされた点群及び面ベースの表現を含む、請求項1に記載の方法。
- 前記3Dセンサーは前記取得中に移動可能である、請求項6に記載の方法。
- 前記奥行きマップに対応するテクスチャ画像を取得することを更に含む、請求項5に記載の方法。
- 各点は、前記テクスチャ画像に適用される2Dキー点検出器によって選択され、該2Dキー点検出器は、前記奥行きマップを用いて、検出されたキー点を逆投影する、請求項18に記載の方法。
- 前記テクスチャ画像はカメラによって取得される、請求項19に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/539,060 | 2012-06-29 | ||
US13/539,060 US9183631B2 (en) | 2012-06-29 | 2012-06-29 | Method for registering points and planes of 3D data in multiple coordinate systems |
PCT/JP2013/067583 WO2014003081A1 (en) | 2012-06-29 | 2013-06-20 | Method for registering data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015515655A true JP2015515655A (ja) | 2015-05-28 |
JP5955406B2 JP5955406B2 (ja) | 2016-07-20 |
Family
ID=48782575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014546237A Active JP5955406B2 (ja) | 2012-06-29 | 2013-06-20 | データを位置合わせする方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9183631B2 (ja) |
JP (1) | JP5955406B2 (ja) |
KR (1) | KR101643079B1 (ja) |
CN (1) | CN104395932B (ja) |
DE (1) | DE112013003214T5 (ja) |
TW (1) | TWI569229B (ja) |
WO (1) | WO2014003081A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018510419A (ja) * | 2015-06-17 | 2018-04-12 | 三菱電機株式会社 | 3dシーンを3dモデルとして再構成する方法 |
JP2018523154A (ja) * | 2015-06-02 | 2018-08-16 | ライフ テクノロジーズ コーポレーション | 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法 |
JP2018523881A (ja) * | 2015-12-08 | 2018-08-23 | 三菱電機株式会社 | データを位置合わせする方法及びシステム |
JP2018200504A (ja) * | 2017-05-25 | 2018-12-20 | 日本電信電話株式会社 | 幾何的合わせこみ装置、方法、及びプログラム |
KR101988555B1 (ko) * | 2017-12-05 | 2019-06-12 | 충북대학교 산학협력단 | 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법 |
US10393515B2 (en) | 2016-01-20 | 2019-08-27 | Mitsubishi Electric Corporation | Three-dimensional scanner and measurement assistance processing method for same |
JP2020107321A (ja) * | 2018-10-23 | 2020-07-09 | ザ・ボーイング・カンパニーThe Boeing Company | 複合材部品製造用の拡張現実システム |
WO2021235458A1 (ja) * | 2020-05-21 | 2021-11-25 | 株式会社ソシオネクスト | マップ情報更新方法、ランドマーク生成方法、及び特徴点分布調整方法 |
JP2023509153A (ja) * | 2020-10-30 | 2023-03-07 | 珠海一微半導体股▲ふん▼有限公司 | 局所点群地図の構築方法及び視覚ロボット |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8422825B1 (en) * | 2008-11-05 | 2013-04-16 | Hover Inc. | Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery |
US9576183B2 (en) * | 2012-11-02 | 2017-02-21 | Qualcomm Incorporated | Fast initialization for monocular visual SLAM |
RU2013106319A (ru) * | 2013-02-13 | 2014-08-20 | ЭлЭсАй Корпорейшн | Основанная на характерных точках надежная регистрация трехмерного твердого тела |
KR102084253B1 (ko) * | 2013-11-20 | 2020-03-03 | 한국전자통신연구원 | 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법 |
US9412040B2 (en) * | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
US9171403B2 (en) * | 2014-02-13 | 2015-10-27 | Microsoft Technology Licensing, Llc | Contour completion for augmenting surface reconstructions |
US10242453B2 (en) * | 2014-04-30 | 2019-03-26 | Longsand Limited | Simultaneous localization and mapping initialization |
US9430847B2 (en) | 2014-06-12 | 2016-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Method for stereo visual odometry using points, lines and planes |
DE112014006911T5 (de) * | 2014-08-29 | 2017-05-11 | Technische Universität München | Verfahren und System zum Scannen eines Objekts unter Verwendung eines RGB-D-Sensors |
KR102025038B1 (ko) * | 2014-09-11 | 2019-09-24 | 사이버옵틱스 코포레이션 | 3-차원 형상측정에서 복수 카메라 및 광원으로부터의 포인트 클라우드 병합 |
US9846963B2 (en) | 2014-10-03 | 2017-12-19 | Samsung Electronics Co., Ltd. | 3-dimensional model generation using edges |
TWI554976B (zh) | 2014-11-17 | 2016-10-21 | 財團法人工業技術研究院 | 監控系統及其影像處理方法 |
US10360469B2 (en) * | 2015-01-15 | 2019-07-23 | Samsung Electronics Co., Ltd. | Registration method and apparatus for 3D image data |
WO2016161136A1 (en) * | 2015-03-31 | 2016-10-06 | Nxgen Partners Ip, Llc | Compression of signals, images and video for multimedia, communications and other applications |
GB2541884A (en) * | 2015-08-28 | 2017-03-08 | Imp College Of Science Tech And Medicine | Mapping a space using a multi-directional camera |
ITUB20154043A1 (it) | 2015-09-30 | 2017-03-30 | Datalogic IP Tech Srl | Sistema e metodo di lettura di informazioni codificate |
US11054802B2 (en) * | 2015-10-21 | 2021-07-06 | Mitsubishi Electric Research Laboratories, Inc. | System and method for performing operations of numerical control machines |
CN108604301B (zh) * | 2015-12-04 | 2022-03-25 | 欧特克公司 | 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征 |
DE102015017010A1 (de) * | 2015-12-30 | 2017-07-06 | Faurecia Innenraum Systeme Gmbh | Verfahren zur Ermittlung von Oberflächendefekten sowie Computer-Programmprodukt |
KR102434406B1 (ko) * | 2016-01-05 | 2022-08-22 | 한국전자통신연구원 | 공간 구조 인식을 통한 증강 현실 장치 및 그 방법 |
US10482681B2 (en) | 2016-02-09 | 2019-11-19 | Intel Corporation | Recognition-based object segmentation of a 3-dimensional image |
US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
JP6775969B2 (ja) * | 2016-02-29 | 2020-10-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
FR3048872B1 (fr) | 2016-03-21 | 2018-04-13 | Medtech Sa | Procede et dispositif de recalage automatise pour un robot chirurgical |
US10573018B2 (en) * | 2016-07-13 | 2020-02-25 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
US10380767B2 (en) * | 2016-08-01 | 2019-08-13 | Cognex Corporation | System and method for automatic selection of 3D alignment algorithms in a vision system |
US10339716B1 (en) * | 2016-09-19 | 2019-07-02 | Occipital, Inc. | System and method for dense, large scale scene reconstruction |
US10176589B2 (en) | 2017-01-31 | 2019-01-08 | Mitsubishi Electric Research Labroatories, Inc. | Method and system for completing point clouds using planar segments |
US10659768B2 (en) | 2017-02-28 | 2020-05-19 | Mitsubishi Electric Research Laboratories, Inc. | System and method for virtually-augmented visual simultaneous localization and mapping |
US10848741B2 (en) * | 2017-06-12 | 2020-11-24 | Adobe Inc. | Re-cinematography for spherical video |
TWI652447B (zh) | 2017-09-12 | 2019-03-01 | 財團法人成大研究發展基金會 | 適用於疊代最近點法以選擇關鍵圖框的系統與方法 |
WO2019057179A1 (zh) * | 2017-09-22 | 2019-03-28 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
CN109579794B (zh) * | 2017-09-28 | 2021-03-23 | 财团法人成大研究发展基金会 | 适用于迭代最近点法以选择关键图框的系统与方法 |
WO2019098728A1 (ko) | 2017-11-16 | 2019-05-23 | 삼성전자 주식회사 | 3차원 영상을 처리하는 방법 및 장치 |
TWI651687B (zh) | 2017-11-24 | 2019-02-21 | 財團法人工業技術研究院 | 三維模型建構方法及其系統 |
CN108776990A (zh) * | 2018-04-10 | 2018-11-09 | 清华大学 | 基于三阶球面谐波的动态场景高精度实时三维重建方法及系统 |
CN109345574B (zh) * | 2018-08-31 | 2020-10-09 | 西安电子科技大学 | 基于语义点云配准的激光雷达三维建图方法 |
JP7078127B2 (ja) | 2018-10-18 | 2022-05-31 | 富士通株式会社 | 算出方法、算出プログラムおよび情報処理装置 |
CN111582293B (zh) * | 2019-02-19 | 2023-03-24 | 曜科智能科技(上海)有限公司 | 平面几何一致性检测方法、计算机设备、及存储介质 |
JP7220591B2 (ja) * | 2019-03-07 | 2023-02-10 | 三菱重工業株式会社 | 自己位置推定装置、自己位置推定方法及びプログラム |
CN110009726B (zh) * | 2019-03-08 | 2022-09-30 | 浙江中海达空间信息技术有限公司 | 一种根据平面基元间的结构关系对点云提取平面的方法 |
TWI675000B (zh) * | 2019-03-22 | 2019-10-21 | 所羅門股份有限公司 | 物件運送方法及系統 |
CN109949412B (zh) * | 2019-03-26 | 2021-03-02 | 腾讯科技(深圳)有限公司 | 一种三维对象重建方法和装置 |
US11289078B2 (en) * | 2019-06-28 | 2022-03-29 | Intel Corporation | Voice controlled camera with AI scene detection for precise focusing |
US11138465B2 (en) | 2019-12-10 | 2021-10-05 | Toyota Research Institute, Inc. | Systems and methods for transforming coordinates between distorted and undistorted coordinate systems |
CN111899291B (zh) * | 2020-08-05 | 2024-08-13 | 深圳市数字城市工程研究中心 | 基于多源维度分解的城市点云从粗到精的自动配准方法 |
CN112001955A (zh) * | 2020-08-24 | 2020-11-27 | 深圳市建设综合勘察设计院有限公司 | 一种基于二维投影平面匹配约束的点云配准方法及系统 |
US12002227B1 (en) | 2020-08-26 | 2024-06-04 | Apple Inc. | Deep partial point cloud registration of objects |
CN112379773B (zh) * | 2020-11-12 | 2024-05-24 | 深圳市洲明科技股份有限公司 | 多人三维动作捕捉方法、存储介质及电子设备 |
US11481925B1 (en) | 2020-11-23 | 2022-10-25 | Zillow, Inc. | Automated determination of image acquisition locations in building interiors using determined room shapes |
CN113311412B (zh) * | 2021-05-13 | 2024-03-01 | 哈尔滨工业大学 | 用于移动机器人的激光雷达传感器六维外参标定方法 |
CN114463396B (zh) * | 2022-01-07 | 2024-02-06 | 武汉大学 | 一种利用平面形状和拓扑图投票的点云配准方法 |
CN114882087B (zh) * | 2022-07-12 | 2022-10-04 | 武汉瀚迈科技有限公司 | 针对具有不完整基本图元的三维扫描点云实时配准方法 |
CN117984074B (zh) * | 2024-03-29 | 2024-07-12 | 成都飞机工业(集团)有限责任公司 | 一种用于大型三维立体装配无固定测量点调姿定位方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08136220A (ja) * | 1994-11-14 | 1996-05-31 | Mazda Motor Corp | 物品の位置検出方法およびその装置 |
JP2000337831A (ja) * | 1999-05-28 | 2000-12-08 | Minolta Co Ltd | 3次元データの位置合わせ方法 |
JP2003162549A (ja) * | 2001-11-28 | 2003-06-06 | National Institute Of Advanced Industrial & Technology | 統合された形状モデル生成方法及びコンピュータプログラム |
JP2004234350A (ja) * | 2003-01-30 | 2004-08-19 | Univ Tokyo | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2010066595A (ja) * | 2008-09-11 | 2010-03-25 | Toyota Motor Corp | 環境地図生成装置及び環境地図生成方法 |
JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | 3次元デジタイザ |
US20110205338A1 (en) * | 2010-02-24 | 2011-08-25 | Samsung Electronics Co., Ltd. | Apparatus for estimating position of mobile robot and method thereof |
JP2012088114A (ja) * | 2010-10-18 | 2012-05-10 | Topcon Corp | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7145478B2 (en) * | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
CN1312633C (zh) * | 2004-04-13 | 2007-04-25 | 清华大学 | 大规模三维场景多视点激光扫描数据自动配准方法 |
US7187809B2 (en) * | 2004-06-10 | 2007-03-06 | Sarnoff Corporation | Method and apparatus for aligning video to three-dimensional point clouds |
WO2008013568A2 (en) * | 2005-12-30 | 2008-01-31 | Irobot Corporation | Autonomous mobile robot |
CN100559398C (zh) * | 2007-06-19 | 2009-11-11 | 北京航空航天大学 | 自动的深度图像配准方法 |
TWI358606B (en) | 2007-12-28 | 2012-02-21 | Ind Tech Res Inst | Method for three-dimension (3d) measurement and an |
JP5141507B2 (ja) * | 2008-08-25 | 2013-02-13 | 村田機械株式会社 | 自律移動装置 |
EP2422295A1 (en) * | 2009-04-23 | 2012-02-29 | Koninklijke Philips Electronics N.V. | Object-learning robot and method |
JP2011043419A (ja) * | 2009-08-21 | 2011-03-03 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
EP2451164B1 (en) * | 2010-11-08 | 2017-05-03 | Telefonaktiebolaget LM Ericsson (publ) | Improved view synthesis |
US9449233B2 (en) * | 2010-12-01 | 2016-09-20 | The Trustees Of The University Of Pennsylvania | Distributed target tracking using self localizing smart camera networks |
US8401242B2 (en) * | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
-
2012
- 2012-06-29 US US13/539,060 patent/US9183631B2/en active Active
-
2013
- 2013-06-20 WO PCT/JP2013/067583 patent/WO2014003081A1/en active Application Filing
- 2013-06-20 KR KR1020147036524A patent/KR101643079B1/ko active IP Right Grant
- 2013-06-20 DE DE112013003214.7T patent/DE112013003214T5/de active Pending
- 2013-06-20 CN CN201380034680.2A patent/CN104395932B/zh active Active
- 2013-06-20 JP JP2014546237A patent/JP5955406B2/ja active Active
- 2013-06-27 TW TW102122937A patent/TWI569229B/zh active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08136220A (ja) * | 1994-11-14 | 1996-05-31 | Mazda Motor Corp | 物品の位置検出方法およびその装置 |
JP2000337831A (ja) * | 1999-05-28 | 2000-12-08 | Minolta Co Ltd | 3次元データの位置合わせ方法 |
JP2003162549A (ja) * | 2001-11-28 | 2003-06-06 | National Institute Of Advanced Industrial & Technology | 統合された形状モデル生成方法及びコンピュータプログラム |
JP2004234350A (ja) * | 2003-01-30 | 2004-08-19 | Univ Tokyo | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2010066595A (ja) * | 2008-09-11 | 2010-03-25 | Toyota Motor Corp | 環境地図生成装置及び環境地図生成方法 |
JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | 3次元デジタイザ |
US20110205338A1 (en) * | 2010-02-24 | 2011-08-25 | Samsung Electronics Co., Ltd. | Apparatus for estimating position of mobile robot and method thereof |
JP2012088114A (ja) * | 2010-10-18 | 2012-05-10 | Topcon Corp | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523154A (ja) * | 2015-06-02 | 2018-08-16 | ライフ テクノロジーズ コーポレーション | 構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法 |
JP2018510419A (ja) * | 2015-06-17 | 2018-04-12 | 三菱電機株式会社 | 3dシーンを3dモデルとして再構成する方法 |
JP2018523881A (ja) * | 2015-12-08 | 2018-08-23 | 三菱電機株式会社 | データを位置合わせする方法及びシステム |
US10393515B2 (en) | 2016-01-20 | 2019-08-27 | Mitsubishi Electric Corporation | Three-dimensional scanner and measurement assistance processing method for same |
JP2018200504A (ja) * | 2017-05-25 | 2018-12-20 | 日本電信電話株式会社 | 幾何的合わせこみ装置、方法、及びプログラム |
KR101988555B1 (ko) * | 2017-12-05 | 2019-06-12 | 충북대학교 산학협력단 | 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법 |
JP2020107321A (ja) * | 2018-10-23 | 2020-07-09 | ザ・ボーイング・カンパニーThe Boeing Company | 複合材部品製造用の拡張現実システム |
JP7475834B2 (ja) | 2018-10-23 | 2024-04-30 | ザ・ボーイング・カンパニー | 複合材部品製造用の拡張現実システム |
WO2021235458A1 (ja) * | 2020-05-21 | 2021-11-25 | 株式会社ソシオネクスト | マップ情報更新方法、ランドマーク生成方法、及び特徴点分布調整方法 |
JP2023509153A (ja) * | 2020-10-30 | 2023-03-07 | 珠海一微半導体股▲ふん▼有限公司 | 局所点群地図の構築方法及び視覚ロボット |
JP7375206B2 (ja) | 2020-10-30 | 2023-11-07 | 珠海一微半導体股▲ふん▼有限公司 | 局所点群地図の構築方法及び視覚ロボット |
Also Published As
Publication number | Publication date |
---|---|
JP5955406B2 (ja) | 2016-07-20 |
CN104395932A (zh) | 2015-03-04 |
WO2014003081A1 (en) | 2014-01-03 |
DE112013003214T5 (de) | 2015-04-02 |
KR101643079B1 (ko) | 2016-07-26 |
KR20150024349A (ko) | 2015-03-06 |
TWI569229B (zh) | 2017-02-01 |
CN104395932B (zh) | 2017-04-26 |
US9183631B2 (en) | 2015-11-10 |
US20140003705A1 (en) | 2014-01-02 |
TW201415414A (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5955406B2 (ja) | データを位置合わせする方法 | |
JP7250709B2 (ja) | 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
Weber et al. | Automatic registration of unordered point clouds acquired by Kinect sensors using an overlap heuristic | |
Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
WO2013112749A1 (en) | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion | |
KR20180087947A (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
WO2013162735A1 (en) | 3d body modeling from one or more depth cameras in the presence of articulated motion | |
Imre et al. | Calibration of nodal and free-moving cameras in dynamic scenes for post-production | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
Su et al. | A comparison of surgical cavity 3d reconstruction methods | |
KR102705610B1 (ko) | 다시점 카메라 기반 다관절 객체의 입체영상캡쳐 장치 및 방법 | |
Almeida et al. | Incremental reconstruction approach for telepresence or ar applications | |
Lam et al. | 3D human modeling using virtual multi-view stereopsis and object-camera motion estimation | |
Kim et al. | Projection-based registration using a multi-view camera for indoor scene reconstruction | |
Kim et al. | Registration of partial 3D point clouds acquired from a multi-view camera for indoor scene reconstruction | |
Skrzypczyński et al. | Bio-Inspired, Real-Time Passive Vision for Mobile Robots | |
Almeida et al. | On-line incremental 3D human body reconstruction for HMI or AR applications | |
Dou | Enhanced 3D capture for room-sized dynamic scenes with commodity depth cameras | |
Nishihara et al. | Multiple active stereo systems calibration method based on Neural SDF using DSSS for wide area 3D reconstruction | |
Bajpai et al. | A Cross-Platform Open Source 3D Object Reconstruction System using a Laser Line Projector. | |
Colombo et al. | Low-Cost 3D Scanning by Exploiting Virtual Image Symmetries. | |
Kim et al. | Projection-based registration using color and texture information for virtual environment generation | |
Boyer et al. | 3D Modeling from multiple views with integrated registration and data fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5955406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |