TW201738847A - 組裝指示系統及組裝指示方法 - Google Patents
組裝指示系統及組裝指示方法 Download PDFInfo
- Publication number
- TW201738847A TW201738847A TW105113288A TW105113288A TW201738847A TW 201738847 A TW201738847 A TW 201738847A TW 105113288 A TW105113288 A TW 105113288A TW 105113288 A TW105113288 A TW 105113288A TW 201738847 A TW201738847 A TW 201738847A
- Authority
- TW
- Taiwan
- Prior art keywords
- assembly
- image
- processor
- assembled
- virtual arrow
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 claims abstract description 19
- 239000011521 glass Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一種組裝指示系統包含至少一深度相機、一資料庫、一處理器及一顯示器。深度相機用以擷取一第一物件影像。資料庫用以儲存複數個已知物件影像及一組裝樹。處理器用以將第一物件影像分別與已知物件影像進行比對,以辨識第一物件影像所對應的一第一物件及第一物件的一三維位置與朝向,並依據組裝樹與拍攝影像找出對應第一物件之一第二物件或其他多個物件,處理器依據三維位置與朝向以產生至少一虛擬箭頭。顯示器用以顯示至少一虛擬箭頭疊加於第一物件影像與第二物件影像或第一物件影像與其他多個物件影像之擴增實境畫面。其中,虛擬箭頭用以指示一移動方向,基於移動方向,使第一物件得以與第二物件或其他多個物件進行組裝。此流程反覆進行直到整體物件組裝完成。
Description
本揭示文件關於一種組裝指示系統及組裝指示方法,特別是關於擴增實境的組裝指示系統及組裝指示方法。
現今指示使用者組裝物件的方式是以紙本文字或圖示說明為主,使用者必須根據二維的說明,以拼湊三維的實體物件。在此情況下,使用者需自行想像二維圖像與三維實體物件之間的關連性。此外,在組裝時,使用者無法得知自己當下的動作與拿取的物件是否正確,因此,傳統上利用紙本文字或圖示說明的方式進行拼湊實體物件,缺乏使用者與組裝方法之間的互動性。
近年來,開始有研究導入擴增實境(Augmented Reality)的技術,在真實影像上疊合指示文字或圖像,以即時引導使用者進行實物組裝。但為了能估計欲組合物件的三維位置與放置方向,目前的系統多需要在物件上黏貼明顯的圖樣或標記。然而,多數的物體並不適合黏貼特別的標記或嵌入感測物。因此,如何提供一個便利的實物
組裝系統及方法,以成為本領域通常知識者急待解決的問題。
根據本揭示文件的一實施方式提出一種組裝指示系統包含至少一深度相機、一資料庫、一處理器及一顯示器。深度相機用以擷取一第一物件影像。資料庫用以儲存複數個已知物件影像及一組裝樹。處理器用以將第一物件影像分別與已知物件影像進行比對,以辨識第一物件影像所對應的一第一物件及第一物件的一三維位置與一三維朝向,並依據組裝樹找出對應第一物件之一第二物件,當至少一深度相機同時擷取到第一物件影像與第二物件之一第二物件影像時,處理器依據三維位置與三維朝向以產生至少一虛擬箭頭。顯示器用以顯示至少一虛擬箭頭疊加於第一物件影像或第二物件影像之一擴增實境畫面。其中,虛擬箭頭用以指示一移動方向,基於移動方向,使第一物件得以與第二物件進行組裝。
本揭示文件的另一實施態樣提出一種組裝指示方法。組裝指示方法包含以下步驟:擷取一第一物件影像;儲存複數個已知物件影像及一組裝樹;將該第一物件影像分別與該些已知物件影像進行比對,以辨識該第一物件影像所對應的一第一物件及該第一物件的一三維位置與朝向,並依據該組裝樹找出對應該第一物件之一第二物件,當同時擷取到該第一物件影像與該第二物件之一第二物件影像時,依
據該三維位置與三維朝向以產生至少一虛擬箭頭;以及顯示該至少一虛擬箭頭疊加於該第一物件影像或該第二物件影像之一擴增實境畫面;其中,該虛擬箭頭用以指示一移動方向,基於該移動方向,使該第一物件得以與該第二物件進行組裝。
100‧‧‧組裝指示系統
10、C1~C12‧‧‧深度相機
20‧‧‧電子裝置
22‧‧‧資料庫
24‧‧‧處理器
30‧‧‧顯示器
S210~S280‧‧‧步驟
200、700‧‧‧組裝指示方法
500‧‧‧使用者介面
51‧‧‧實際拍攝畫面
52‧‧‧擴增實境畫面
53‧‧‧下一物件指示畫面
60、61‧‧‧虛擬箭頭
為讓本案能更明顯易懂,所附圖式之說明如下:第1圖繪示本揭示文件之一實施例的組裝指示系統的流程圖;第2圖繪示本揭示文件之一實施例的組裝指示方法的流程圖;第3圖繪示本揭示文件之一實施例的建立三維物件模型的示意圖;第4圖繪示本揭示文件之一實施例的組裝樹的示意圖;第5圖繪示本揭示文件之一實施例的使用者介面的示意圖;第6A~6C圖繪示本揭示文件之一實施例的使用者介面中的擴增實境畫面的示意圖;以及第7圖繪示本揭示文件之一實施例的組裝指示方法的流程圖。
第1圖繪示本揭示文件之一實施例的組裝指示
系統100的流程圖,組裝指示系統100包含至少一深度相機10、一資料庫22、一處理器24以及一顯示器30。深度相機10可紀錄影像中的深度資料。於一實施例中,深度相機10可以由華碩的Xtion相機或微軟的Kinect相機以實現之。另外,資料庫22用以儲存資料。於一實施例中,資料庫22用以儲存各種資料,可由記憶體、硬碟、隨身碟記憶卡等來實施。處理器24用以執行各種運算,可由積體電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit,ASIC)或一邏輯電路來實施。於一實施例中,資料庫22與處理器24可位於一電子裝置20中,電子裝置20可以是伺服器、個人電腦、智慧型手機、平板電腦或是筆記型電腦。於一實施例中,顯示器30用以顯示處理器24的運算結果。
請一併參照第1圖以及第2圖,第2圖繪示本揭示文件之一實施例的組裝指示方法200的流程圖。以下將搭配前述的第1圖之組裝指示系統100進行說明,並提供本案更具體之細節。然本案並不以下述實施例為限。
於步驟S210中,深度相機10擷取一第一物件影像。於一實施例中,深度相機10可擷取物件A1的影像,並獲得此影像的深度資料。例如,於第1圖中,深度相機10可擷取物件A1、A2的影像,並將物件A1、A2的影像傳輸到電子裝置20中,再透過電子裝置20將物件A1、A2的影像傳輸到顯示器30,使顯示器30顯示物件A1、A2的影像。其中,
深度相機10與電子裝置20之間可由有線或無線的傳輸方式通訊連結,例如以藍芽或WiFi作為通訊連結。類似地,電子裝置20與顯示器30之間亦可由有線或無線的傳輸方式通訊連結。
於一實施例中,物件A1可以是某一裝置的一個部件,例如物件A1可以是一模型車的輪胎及車體部分支架。換言之,經由物件A1與其他多個物件(例如為第4圖中的物件A2、物件A4、物件A6...等各實體物件)組裝後,可以形成某一裝置(例如為第4圖中的物件A14)。
於一實施例中,資料庫22用以儲存多個已知物件影像(例如為第4圖中的物件A1~A14)及一組裝樹,關於組裝樹的技術特徵將於下述說明第4圖的對應段落詳述之。於一實施例中,當深度相機10擷取一物件影像後,處理器24可進一步辨識此物件影像中的當前物件應是資料庫22中的何種已知物件。例如,處理器24比對出當前物件為已知物件A1後,搜尋組裝樹中的資訊,以得知下一個可以與此當前物件A1進行組裝的物件(例如為物件A2)。此外,顯示器30可用以顯示此物件A2,讓使用者可得知接下來應拿取物件A2,以與當前物件A1進行組裝。以下詳細敘述提供本案更具體之細節。
於步驟S220中,處理器24將第一物件影像分別與多個已知物件影像進行比對,以辨識第一物件影像所對應的一第一物件及第一物件的一三維位置及一三維朝向。
於一實施例中,處理器24將深度相機10所拍攝
到的物件影像與事先存放於資料庫24的已知物件(例如為第4圖之物件A1~A14)進行比對,以辨識物件影像中所出現的當前物件(例如為物件A1),並且分析出此當前物件A1的三維位置及朝向。
於一實施例中,處理器24藉由比對物件影像與多個已知物件影像的一顏色分布(例如:車輪部分為黑色,支架部份為橘色)、一深度影像之剪影(例如:車輪部分的剪影為圓型,車體部分支架的剪影為柱狀型)或一深度影像之梯度(例如:從整張物件影像前景部分萃取出當前物件A1),以辨識物件影像所包含的當前物件A1,並由資料庫24中取得當前物件A1的一識別碼(ID),其中,識別碼可以是代表此當前物件A1的一代碼。
另一方面,處理器24依據一擴增反複式最接近點比對法(Extended Iterative Closed Point)以辨識物件A1的三維位置及朝向。因此,當處理器24辨識出元件的識別碼(ID)與初步可能的視角後,組裝指示系統100再以擴充反覆式最接近點比對法(Extended Iterative Closed Point),逐漸微調角度,找到最適合的角度,此方法能在兼顧正確性和即時的要求下以決定當前物件A1的三維朝向(例如為橫放、直放或斜放的傾斜角度)與三維位置。
於步驟S230中,處理器24依據組裝樹找出對應第一物件之一第二物件。於一實施例中,當深度相機10同時擷取到第一物件影像與第二物件之一第二物件影像時,處理器24依據第一物件的三維位置及三維朝向以產生至少一
虛擬箭頭。於另一實施例中,深度相機10亦可以依據第二物件的一三維位置與三維朝向以產生至少一虛擬箭頭。此外,於一實施例中,深度相機10可以依據第一物件的三維位置與第二物件的三維位置以產生至少一虛擬箭頭。其中,虛擬箭頭用以指示一移動方向,第一物件可依據此移動方向與第二物件進行組裝。
於一實施例中,資料庫24可事先儲存多個已知物件影像及組裝樹。於一實施例中,組裝指示方法200可於進入步驟200之前,或於離線(offline)狀態下,先建立多個已知物件影像及組裝樹,以供進入步驟200之後使用。以下為已知物件影像及組裝樹的具體說明。
請一併參照第3圖以及第4圖,第3圖繪示本揭示文件之一實施例的建立三維物件模型的示意圖。第4圖繪示本揭示文件之一實施例的組裝樹的示意圖。於一實施例中,組裝指示系統100需要將構成物件A14的每一個物件及已部分組裝的物件皆分別建立三維物件模型。如第4圖所示,物件A14是一個模型車的俯視圖,物件A14是由物件A1、A2、A4、A5、A6、A9、A11、A13所組裝而成,換言之,此些物件即組裝樹的葉節點(leaf node)。而,已部分組裝的物件則由物件A3、A7、A8、A10、A12、A14表示之,換言之,此些物件非為組裝樹的葉節點。於此例中,組裝指示系統100需要將物件A1~A14皆分別建立三維物件模型。
於一實施例中,如第3圖所示,各個物件(例如
為物件A10)由外圍以離散且均勻分布的視點來拍攝期不同視角的深度影像。例如,深度相機C1~C12分別以不同的視角拍攝物件A10,以取得物件A10於各個面向的影像。於一實施例中,物件A10可放置於一正十二面體中心,在十二面體的二十個頂點上拍攝不同的投影影像,此些投影影像有助於即時的辨識畫面中的物體及其角度,然,此僅為本發明之一例,本發明並不以此為限。此外,於一實施例中,可先將各個物件(例如為物件A10)先建立一虛擬三維物件模型,再利用投影方式拍攝此虛擬三維物件模型,以更有效率的取得物件14各個面向的影像。藉此,可分別將每一個物件A1~A14進行多視角的拍攝,例如以100個不同角度分別拍攝物件A1、A2、A3...、A14,即可取得共1400張物件影像,並將取得的多個影像儲存於資料庫22中,並視為已知物件影像。
另一方面,於第4圖中,組裝樹用以定義物件之間的一組裝關係及組裝順序,例如,物件A3是由物件A1及物件A2所組裝成,物件A7是由物件A3及物件A4所組裝成,物件A8是由物件A5及物件A3所組裝成,物件A10是由物件A6、A7、A8、A9組裝成,並依此類推,最後組成物件A14(例如為一模型車)。換句話說,可被組裝的兩個物件之間會具有相同的父節點,例如,物件A1的父節點為物件A3,物件A2的父節點亦為物件A3,故物件A1與物件A2可組裝為物件A3。
藉由上述方式於資料庫24中事先建立多個已
知物件影像及組裝樹後,於步驟S230中,當處理器24辨識出當前物件(例如為物件A1)時,藉由讀取組裝樹的資料,即可得知當前物件A1可以與具有相同父節點的物件A2進行組裝,且由組裝樹可知,若將物件A2與當前物件A1進行組裝,可產生物件A3。因此,組裝指示系統100可進一步提示使用者拿取物件A2,以與當前物件A1進行組裝。於一實施例中,組裝樹可由使用者事先定義之。於另一實施例中,若處理器24辨識出當前物件(例如為物件A6)時,藉由讀取組裝樹的資料,即可得知當前物件A6可以與具有相同父節點的物件A7、A8、A9進行組裝,且由組裝樹可知,若將物件A6與當前物件A7、A8、A9進行組裝,可產生物件A10。因此,組裝指示系統100可進一步提示使用者拿取物件A7、A8及/或A9,以與當前物件A6進行組裝。由此可知,依據組裝樹的設置,組裝指示系統100可提示使用者拿取一或多個物件,以進行組裝。
於此實施例中,當使用者由組裝指示系統100得知當前物件A1與物件A2可以進行組裝時,使用者可拿取物件A1與物件A2,並將物件A1、A2同時放置於深度相機10可拍攝到的畫面範圍,使得深度相機10可同時拍攝到物件A1及物件A2。當處理器24利用前述方式辨識出深度相機10所擷取的畫面中出現物件A1、A2及其三維位置後,處理器24可依據物件A1及/或物件A2的三維位置,以產生一虛擬箭頭(例如為第6A圖中之虛擬箭頭60)。此虛擬箭頭60用來指示物件A1及/或物件A2的移動方向,換言之,物件A1
或/及物件A2可基於此移動方向進行組裝。於一實施例中,移動方向包含一旋轉方向或一平移方向。以下進一步說明處理器24對應調整虛擬箭頭60的指示方式,及虛擬箭頭60的顯示方法。
於步驟S240中,顯示器30顯示虛擬箭頭擴增實境眼鏡疊加於第一物件影像或第二物件影像之一擴增實境畫面。
請參照第5、6A~6C圖,第5圖繪示本揭示文件之一實施例的使用者介面500的示意圖。第6A~6C圖繪示本揭示文件之一實施例的使用者介面500中的擴增實境畫面52的示意圖。於第5圖中,使用者介面500可被顯示於顯示器30上,且使用者介面500可區分為實際拍攝畫面51、擴增實境畫面52及下一物件指示畫面53。於一實施例中,實際拍攝畫面51為深度相機10拍攝實體物件A1及/或物件A2的即時影像畫面,換言之,在深度影像10拍攝實體物件A1、A2的同時,實際拍攝畫面51會即時地顯示深度影像10拍攝到的情況。此外,擴增實境畫面52用以顯示處理器24所產生的虛擬箭頭(例如為第6A圖之虛擬箭頭60),因此,使用者可透過擴增實境畫面52得知物件A2應該如何旋轉、翻轉或平移,藉以與物件A1對應。另外,下一物件指示畫面53用以顯示下一個建議使用者拿取的物件(例如為物件A4)。
舉例而言,當物件A1及物件A2都位於實際拍攝畫面51中時,使用者可由擴增實境畫面52得知物件A2應該往左方旋轉,以與物件A1對應;此外,處理器24可查詢
組裝樹,以得知當物件A1及A2組裝完畢時,使用者應拿取物件A4,以繼續組裝流程,因此,物件A4顯示於下一物件指示畫面53,以供使用者參考。
於一實施例中,如第6A圖所示,用以指示旋轉方向的虛擬箭頭60為一弧線箭頭。於一實施例中,弧線箭頭將需要旋轉或翻轉的物件以虛線或實線圈選起來,並加上指示方向。
於一實施例中,如第6B圖所示,用以指示平移方向的虛擬箭頭61為一直線箭頭。使用者可透過虛擬箭頭61得知將物件A2直接往左下方平移,即可組裝物件A1及物件A2。於一實施例中,直線箭頭可以是虛線或實線。於一實施例中,第6A圖虛擬箭頭60與第6B圖之虛擬箭頭61係為不同大小、形狀或顏色。
於一實施例中,當物件A2依據虛擬箭頭60(如第6A圖所示)指示的旋轉方向旋轉或翻轉至與物件A1所相對應的一特定位置後,即切換成虛擬箭頭61(如第6B圖所示)以指示平移方向。
例如,當處理器24判斷影像畫面中的物件A1往右邊旋轉20度後,即可與物件A2進行卡扣、接合或黏合時,則處理器24先產生用以表示旋轉方向的虛擬箭頭60(例如為第A圖中的虛擬箭頭60),且此虛擬箭頭60圈選物件A2,以告知使用者應旋轉物件A2的方向,接著,當使用者將物件A2往左邊旋轉20度後,處理器24判斷物件A2已放置於物件A1所相對應的一特定位置,則切換至另一虛擬箭頭
(例如為第6B圖中的虛擬箭頭61)改為指示平移方向。
於一實施例中,當處理器24判斷物件A2與物件A1距離小於一距離門檻值(例如為5公分)時,即切換成虛擬箭頭61(如第6B圖所示),以指示物件A2朝向虛擬箭頭61所表示之平移方向與物件A1進行組裝。
同理,於一實施例中,物件A1亦可以被虛擬箭頭60圈選,以指示物件A1應旋轉或翻轉的方向,或是以虛擬箭頭61標記物件A1應平移的方向,以與物件A2的三維位置與朝向相對應。
另一方面,於一實施例中,組裝指示系統100可進一步包含一擴增實境眼鏡,透過此擴增實鏡眼鏡可看到實體物件A1,且此擴增實鏡眼鏡可顯示虛擬箭頭60,因此,當使用者穿戴上此擴增實鏡眼鏡後,可看到用以顯示疊加於物件A1與物件A2上的虛擬箭頭60。
藉此,使用者可以手持欲組裝的各個物件(例如為物件A1)在畫面中自由移動,組裝指示系統100根據深度相機10擷取的深度與彩色影像,自動辨認物件A1的識別碼與其三維位置與朝向。在處理器24利用組裝樹判斷物件A1目前的組裝步驟後,組裝指示系統100會在繪製出對應的移動和旋轉方向並疊加於顯示畫面(例如為擴增實境畫面52)上。
藉由上述步驟,組裝指示系統100可自動分析使用者所抓取的物件(例如為物件A2)是否為現下所需組裝之物件,根據事先定義好或者使用者自行定義的組裝順序提
示使用者下一個需抓取的零件,並且在兩個物件(例如為物件A1、A2)都出現在畫面中時,判斷此兩個物件於空間中的相對關係,利用擴增實境(Augmented Reality)即時繪出位移(translation)和轉動(rotation)的指示,並在組裝完成後自行進入下一個步驟,例如組裝指示系統100可進一步提示下一個建議進行組裝的物件(例如為物件A4)。藉此,使用者則可依動態指示逐步地完成組裝流程。
接著,請參照第7圖,第7圖繪示本揭示文件之一實施例的組裝指示方法700的流程圖。第7圖與第2圖的不同之處在於第7圖的組裝指示方法700更包含步驟S250~S280,另一方面,第7圖的步驟S210~S240與第2圖中的步驟S210~S240相同,故以下內容不贅述之。
於步驟S250中,處理器24判斷第一物件與第二物件是否組裝完成。於一實施例中,在使用者組裝的過程中,處理器24會不斷的將深度相機10所擷取的影像畫面中所出現的各個物件與資料庫22中的已知物件進行比對。因此,當物件A1與物件A2組裝在一起時,處理器24可比對此組裝後的物件(例如為第6C圖所示)與物件A3(例如為第4圖所示)的各視角影像,例如,比對相同視角影像中的兩者物件的顏色或形狀,以判斷此組裝後的物件是否與物件A3的外觀相同。
當處理器24判斷此組裝後的物件與物件A3相同或相似,則判斷物件A1與物件A2組裝完成,並進入步驟S260。於一實施例中,若處理器24判斷此組裝後的物件與
物件A3兩者間的相似度高於一相似度門檻值(例如,兩者物件相似度為99%),則亦視為此兩個物件組裝完成,關於相似度的計算方式可參考已知的圖像相似度演算法,此處不墜述之。
反之,若處理器24判斷此組裝後的物體與物件A3並不相似,例如此組裝後的物件與物件A3兩者間的偏移角度過大,則視為此兩個物件尚未組裝完成,並進行回到步驟S210,以持續偵測影像,並利用步驟S220~S240中所提及的方法持續更新(例如更新物件A1或物件A2的三維位置)與調整虛擬箭頭60所指示的移動方向(例如依據更新後的物件A1或物件A2的三維位置以調整虛擬箭頭60),以持續告知使用者組裝方式。
於步驟S260中,處理器24用以更新組裝樹,將一第三物件設為一目前狀態節點。於一實施例中,當處理器24判斷物件A1與物件A2組裝成功後,即代表物件A3已被組裝出來,則處理器24將組裝樹中的物件A3設為目前狀態節點。藉由目前狀態節點的設置,可讓組裝指示系統100更新當前組裝狀態,並查詢組裝式德之當前物件A3可與何者物件(例如為物件A4)作進一步的組裝。
於步驟S270中,處理器24判斷目前狀態節點是否為組裝樹的一根節點(root node)。於一實施例中,若目前狀態節點(例如為物件A3)不是根節點,則代表還有其他物件尚未被組裝(例如為物件A3應繼續與物件A4或物件A5進行組裝),並進入步驟S280。反之,若目前狀態節點(例
如為物件A14)是根節點,則代表所有組裝步驟完成。
於步驟S280中,處理器24搜尋組裝樹中與目前組裝狀態具有相同之一父節點的一第四物件。於一實施例中,當設置為目前組裝狀態的節點為物件A3時,由組裝樹可看出物件A3與物件A4具有同的父節點物件A7,代表物件A7是由物件A3與物件A4所組成,換言之,物件A4是下一個可以與物件A3進行組裝的物件。因此,顯示器30於下一物件指示畫面53顯示中顯示物件A4,以提示使用者拿取物件A4以進行組裝。
藉由上述步驟,可透過深度相機10擷取至少一物件的深度和顏色資訊,並使用預先存好的物件樣板去和影像對當前物件進行比對,取得物件初步的三維位置與朝向,接著,藉由物件顏色與擴增反覆式最接近點比對法找出當前物件的正確位置和方向。當畫面中有不只一個物件時,組裝指示系統100會根據組裝樹判斷哪兩個或多個物件需要被結合,並且根據其當前物件的位置和方向繪製虛擬箭頭。此外,組裝指示系統100也會自動更新組裝樹中的狀態,並展示下一個需要被組裝的元件,直到組裝樹進行至根節點時即為組裝完成。
綜合以上的敘述以及各種實施例的具體說明,本揭示文件所提出的組裝指示系統及組裝指示方法,可將當前物件與已知物件進行比對,藉由組裝樹以找出可被組合的下一個物件,並依據物件間的三維位置與朝向,動態畫出虛擬箭頭,引導使用者移動物件到正確的位置。藉此,使用者
可方便地依照虛擬箭頭的動態指示,以逐步地完成組裝。
以上所述,僅為本發明最佳之具體實施例,惟本發明之特徵並不侷限於此,任何熟悉該項技藝者在本發明之領域內,可輕易思及之變化或修飾,皆可涵蓋在以下本案之專利範圍。
200‧‧‧組裝指示方法
S210~S240‧‧‧步驟
Claims (18)
- 一種組裝指示系統,包含:至少一深度相機,用以擷取一第一物件影像;一資料庫,用以儲存複數個已知物件影像及一組裝樹;一處理器,用以將該第一物件影像分別與該些已知物件影像進行比對,以辨識該第一物件影像所對應的一第一物件及該第一物件的一三維位置與一三維朝向,並依據該組裝樹找出對應該第一物件之一第二物件,當該至少一深度相機同時擷取到該第一物件影像與該第二物件之一第二物件影像時,該處理器依據該三維位置以產生至少一虛擬箭頭;以及一顯示器,用以顯示該至少一虛擬箭頭疊加於該第一物件影像或該第二物件影像之一擴增實境畫面;其中,該虛擬箭頭用以指示一移動方向,基於該移動方向,使該第一物件得以與該第二物件進行組裝。
- 如請求項1之組裝指示系統,其中該組裝樹用以定義該第一物件與該第二物件的一組裝關係及一組裝順序,其中該第二物件與該第一物件具有相同的一父節點。
- 如請求項1之組裝指示系統,其中該虛擬箭頭所指示的該移動方向包含一旋轉方向或一平移方向,其中,用以指示該旋轉方向的該虛擬箭頭為一弧線箭頭,用以指示該平移方向的該虛擬箭頭為一直線箭頭。
- 如請求項3之組裝指示系統,其中當該第一物件依據該虛擬箭頭指示的該旋轉方向旋轉或翻轉至與該第二物件所相對應的一特定位置後,該虛擬箭頭改為指示該平移方向。
- 如請求項1之組裝指示系統,其中該處理器比對該第一物件影像與該些已知物件影像的一顏色分布、一深度影像之剪影或一深度影像之梯度,以辨識該第一物件影像所對應的一第一物件及該第一物件的一識別碼。
- 如請求項1之組裝指示系統,其中該處理器依據一擴增反複式最接近點比對法(Extended Iterative Closed Point)以辨識該第一物件的該三維位置與該三維朝向。
- 如請求項1之組裝指示系統,其中該處理器更用以判斷該第一物件與該第二物件是否組裝完成; 若判斷該第一物件與該第二物件組裝完成,則該處理器更新該組裝樹,將一第三物件設為一目前狀態節點;其中,該第三物件是由該第一物件及該第二物件組裝而成;若判斷該第一物件與該第二物件未組裝完成,則該處理器持續更新與調整該至少一虛擬箭頭所指示的該移動方向。
- 如請求項7之組裝指示系統,其中當該處理器判斷該第一物件與該第二物件組裝完成後,該處理器更用以判斷該目前狀態節點是否為該組裝樹的一根節點;若判斷該目前狀態節點不為該組裝樹的該根節點,則該處理器更用以搜尋組裝樹中與該目前組裝狀態具有相同之一父節點的一第四物件,且該顯示器用以顯示該第四物件;其中,該第四物件用以與該第三物件進行組裝。
- 如請求項1之組裝指示系統,更包含:一擴增實境眼鏡,用以顯示疊加於該第一物件與該第二物件上的該至少一虛擬箭頭。
- 一種組裝指示方法,包含:擷取一第一物件影像;儲存複數個已知物件影像及一組裝樹;將該第一物件影像分別與該些已知物件影像進行比對,以辨識該第一物件影像所對應的一第一物件及該第一 物件的一三維位置與一三維朝向,並依據該組裝樹找出對應該第一物件之一第二物件,當同時擷取到該第一物件影像與該第二物件之一第二物件影像時,依據該三維位置與該三維朝向以產生至少一虛擬箭頭;以及顯示該至少一虛擬箭頭疊加於該第一物件影像或該第二物件影像之一擴增實境畫面;其中,該虛擬箭頭用以指示一移動方向,基於該移動方向,使該第一物件得以與該第二物件進行組裝。
- 如請求項10之組裝指示方法,其中該組裝樹用以定義該第一物件與該第二物件的一組裝關係及一組裝順序,其中該第二物件與該第一物件具有相同的一父節點。
- 如請求項10之組裝指示方法,其中該虛擬箭頭所指示的該移動方向包含一旋轉方向或一平移方向,其中,用以指示該旋轉方向的該虛擬箭頭為一弧線箭頭,用以指示該平移方向的該虛擬箭頭為一直線箭頭。
- 如請求項12之組裝指示方法,其中當該第一物件依據該虛擬箭頭指示的該旋轉方向旋轉或翻轉至 與該第二物件所相對應的一特定位置後,該虛擬箭頭改為指示該平移方向。
- 如請求項10之組裝指示方法,更包含:比對該第一物件影像與該些已知物件影像的一顏色分布、一深度影像之剪影或一深度影像之梯度,以辨識該第一物件影像所對應的一第一物件及該第一物件的一識別碼。
- 如請求項10之組裝指示方法,更包含:依據一擴增反複式最接近點比對法(Extended Iterative Closed Point)以辨識該第一物件的該三維位置與該三維朝向。
- 如請求項10之組裝指示方法,更包含:藉由一處理器判斷該第一物件與該第二物件是否組裝完成;若判斷該第一物件與該第二物件組裝完成,則更新該組裝樹,將一第三物件設為一目前狀態節點;其中,該第三物件是由該第一物件及該第二物件組裝而成;若判斷該第一物件與該第二物件未組裝完成,則該處理器持續更新與調整該至少一虛擬箭頭所指示的該移動方向。
- 如請求項16之組裝指示方法,其中當該處理器判斷該第一物件與該第二物件組裝完成後,更包含:判斷該目前狀態節點是否為該組裝樹的一根節點;若判斷該目前狀態節點不為該組裝樹的該根節點,則該處理器更用以搜尋組裝樹中與該目前組裝狀態具有相同之一父節點的一第四物件,且藉由一顯示器顯示該第四物件;其中,該第四物件用以與該第三物件進行組裝。
- 如請求項10之組裝指示方法,更包含:藉由一擴增實境眼鏡顯示疊加於該第一物件與該第二物件上的該至少一虛擬箭頭。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105113288A TW201738847A (zh) | 2016-04-28 | 2016-04-28 | 組裝指示系統及組裝指示方法 |
US15/206,325 US20170316610A1 (en) | 2016-04-28 | 2016-07-11 | Assembly instruction system and assembly instruction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105113288A TW201738847A (zh) | 2016-04-28 | 2016-04-28 | 組裝指示系統及組裝指示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201738847A true TW201738847A (zh) | 2017-11-01 |
Family
ID=60158506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105113288A TW201738847A (zh) | 2016-04-28 | 2016-04-28 | 組裝指示系統及組裝指示方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170316610A1 (zh) |
TW (1) | TW201738847A (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589000B2 (en) | 2012-08-30 | 2017-03-07 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
EP3244286B1 (en) * | 2016-05-13 | 2020-11-04 | Accenture Global Solutions Limited | Installation of a physical element |
CN110622501B (zh) * | 2017-03-14 | 2021-10-01 | 株式会社尼康 | 图像处理装置及电子设备 |
NO343601B1 (en) * | 2018-02-02 | 2019-04-08 | Kitron Asa | Method and system for augmented reality assembly guidance |
US10839214B2 (en) | 2018-03-13 | 2020-11-17 | International Business Machines Corporation | Automated intent to action mapping in augmented reality environments |
CN109033523B (zh) * | 2018-06-26 | 2023-04-18 | 首都航天机械公司 | 一种基于三维cad模型的装配工艺规程生成系统与方法 |
US11099634B2 (en) | 2019-01-25 | 2021-08-24 | Apple Inc. | Manipulation of virtual objects using a tracked physical object |
US11965736B2 (en) | 2019-08-28 | 2024-04-23 | Hexagon Metrology, Inc. | Measurement routine motion represented by 3D virtual model |
CN111618550B (zh) * | 2020-05-18 | 2021-06-15 | 上海交通大学 | 用于导弹舱段增强现实辅助装配的柔性配合系统及监测方法 |
US11762367B2 (en) * | 2021-05-07 | 2023-09-19 | Rockwell Collins, Inc. | Benchtop visual prototyping and assembly system |
US12055376B2 (en) | 2021-11-03 | 2024-08-06 | Hexagon Metrology, Inc. | CMM downtime system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160328887A1 (en) * | 2015-05-04 | 2016-11-10 | The Trustees Of Columbia University In The City Of New York | Systems and methods for providing assistance for manipulating objects using virtual proxies and virtual replicas |
-
2016
- 2016-04-28 TW TW105113288A patent/TW201738847A/zh unknown
- 2016-07-11 US US15/206,325 patent/US20170316610A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170316610A1 (en) | 2017-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201738847A (zh) | 組裝指示系統及組裝指示方法 | |
CN109584295B (zh) | 对图像内目标物体进行自动标注的方法、装置及系统 | |
US9928656B2 (en) | Markerless multi-user, multi-object augmented reality on mobile devices | |
JP4508049B2 (ja) | 360°画像撮影装置 | |
JP6456347B2 (ja) | 平面固有の特徴のターゲットのinsitu生成 | |
KR20170122725A (ko) | 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정 | |
CN113994396A (zh) | 基于增强现实和/或姿势检测技术的用户引导系统 | |
US12094139B2 (en) | Systems and methods for enhanced depth determination using projection spots | |
JP2017021328A (ja) | カメラの空間特性を決定する方法及びシステム | |
US10726612B2 (en) | Method and apparatus for reconstructing three-dimensional model of object | |
US9756260B1 (en) | Synthetic camera lenses | |
US10838515B1 (en) | Tracking using controller cameras | |
JP6823403B2 (ja) | 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム | |
CN111651051B (zh) | 一种虚拟沙盘展示方法及装置 | |
CN110751728B (zh) | 具有bim建筑模型混合现实功能的虚拟现实设备及方法 | |
KR101703013B1 (ko) | 3차원 스캐너 및 스캐닝 방법 | |
JPWO2020044949A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN110737326A (zh) | 虚拟对象的显示方法、装置、终端设备及存储介质 | |
TW201126451A (en) | Augmented-reality system having initial orientation in space and time and method | |
JP6394107B2 (ja) | キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法 | |
JP6405539B2 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 | |
CN108628914B (zh) | 移动装置及其操作方法、非挥发性计算机可读取记录媒体 | |
US20220321851A1 (en) | Portable projection mapping device and projection mapping system | |
CN110288714B (zh) | 一种虚拟仿真实验系统 | |
JP6933273B2 (ja) | 棚割情報生成システム |