TW201911133A

TW201911133A - 用於多個自由度之控制器追蹤

Info

Publication number: TW201911133A
Application number: TW107112664A
Authority: TW
Inventors: 喬爾海施; 陳世琦; 李強尼; 拉赫爾加葛
Original assignee: 美商谷歌有限責任公司
Priority date: 2017-07-26
Filing date: 2018-04-13
Publication date: 2019-03-16
Also published as: US20190033988A1; TWI722280B; WO2019022803A1; US10852847B2

Abstract

本發明揭示一種用於具有多個自由度之控制器追蹤之方法，其包含：在一電子裝置處基於接近該電子裝置之一本地環境來產生深度資料。基於該電子裝置相對於與一控制器相關聯之至少一空間特徵之一姿勢(如使用該深度資料所判定)來產生與該控制器相關聯之該至少一空間特徵之一組位置資料。接收表示該本地環境內之該控制器之三自由度(3DoF)定向之一組旋轉資料，且基於該組位置資料及該組旋轉資料來追蹤該本地環境內之該控制器之六自由度(6DoF)位置。

Description

用於多個自由度之控制器追蹤

運動追蹤允許一裝置在其移動通過一區域時瞭解其相對於位置及定向之運動。運動追蹤用於諸如遊戲之虛擬實境應用，其允許一使用者自一固定觀點探索一虛擬世界。所追蹤之運動可以移動可具有多少個自由度(例如三個自由度(3DoF)或六個自由度(6DoF))為特徵。在虛擬實境應用中，相對於6DoF追蹤運動可提供一改良使用者體驗，此係因為追蹤在X、Y及Z方向上擷取旋轉移動及平移移動兩者。

圖1至圖8繪示用於藉由採用深度資料識別控制器之位置來追蹤三維(3D)空間中之一或多個控制器之各種技術。在控制器追蹤之情境中，姿勢資訊可用於支援基於位置之功能，諸如虛擬實境(VR)功能、擴增實境(AR)功能、視覺測距或其他同時定位與建圖(SLAM)功能及其類似者。術語「姿勢」在本文中用於係指本地環境內之電子裝置之位置及定向之任一者或兩者。在一些實施例中，電子裝置包含安置於一表面處之兩個或兩個以上成像攝影機及一深度感測器。深度感測器可用於判定本地環境中之物件之空間特徵之距離及空間特徵與電子裝置之距離。類似地，成像攝影機可用於擷取經分析以計算本地環境中之物件與電子裝置之距離之深度成像。在一些實施例中，電子裝置與一手持控制器相關聯，該手持控制器包含用於判定本地環境內之該手持控制器之旋轉定向的一慣性量測單元(IMU)。在一些實施例中，電子裝置在一深度感測器處基於接近電子裝置之本地環境來產生深度資料。基於電子裝置相對於與一控制器相關聯之至少一空間特徵之一姿勢來產生一組位置資料。在各種實施例中，至少一空間特徵包含與手持控制器相關聯之解剖特徵、標記及/或手勢。例如，至少一空間特徵可包含抓取手持控制器之使用者之手之一拇指。基於表示本地環境內之控制器之三自由度(3DoF)定向之一組旋轉資料，電子裝置基於位置資料組及旋轉資料組來追蹤本地環境內之控制器之六自由度(6DoF)位置。圖1繪示根據本發明之至少一實施例之經組態以支援具有多個自由度之控制器追蹤之一電子裝置100。電子裝置100可包含一可攜式使用者裝置，諸如頭戴式顯示器(HMD)、一平板電腦、具有運算功能之蜂巢式電話(例如一「智慧型電話」)、一筆記型電腦、一個人數位助理(PDA)、一遊戲機系統及其類似者。在其他實施例中，電子裝置100可包含一固定裝置，諸如醫療成像設備、一保全成像感測器系統、一工業機器人控制系統、一無人機控制系統及其類似者。為便於繪示，本文大體上在一HMD系統之實例性情境中描述電子裝置100；然而，電子裝置100不受限於本文所討論之實例性實施方案。在所描繪之實例中，電子裝置100包含具有與另一表面106對置之一表面104之一外殼102。在所描繪之例示性薄矩形塊外型尺寸中，表面104及106實質上平行且外殼102進一步包含介於表面104與表面106之間之四個側表面(頂面、底面、左表面及右表面)。外殼102可實施為諸多其他外型尺寸，且表面104及106可具有一非平行定向。就所繪示之平板實施方案而言，電子裝置100包含安置於表面106處以將視覺資訊呈現給一使用者110之一顯示器108。因此，為便於參考，表面106在本文中指稱「前向」表面且表面104在本文中指稱「面向使用者」表面以反映電子裝置100相對於使用者110之此實例性定向，但此等表面之定向不受限於此等關係指示。電子裝置100包含複數個感測器以獲得關於電子裝置100之一本地環境112之資訊。電子裝置100經由安置於前向表面106處之成像攝影機114及116及一深度感測器118獲得本地環境112之視覺資訊(成像)。在一實施例中，成像攝影機114實施為具有一魚眼鏡頭或其他廣角鏡頭之一廣角成像攝影機以提供面向表面106之本地環境112之一廣角視圖。成像攝影機116實施為具有一典型視角鏡頭之一窄角成像攝影機以提供面向表面106之本地環境112之一窄角視圖。因此，成像攝影機114及成像攝影機116在本文中亦分別指稱「廣角成像攝影機114」及「窄角成像攝影機116」。廣角成像攝影機114及窄角成像攝影機116可定位及定向於前向表面106上，使得其視野自與電子裝置100之一指定距離開始重疊，藉此經由多視角影像分析來實現定位於重疊視野之區域中之本地環境112中之物件之深度感測。類似地，安置於表面106上之一深度感測器118可用於提供本地環境中之物件之深度資訊。在一實施例中，深度感測器118使用一調變光投射器來將調變光圖案自前向表面106投射至本地環境112中，且使用成像攝影機114、116之一或兩者來擷取調變光圖案自本地環境112中之物件反射時之反射。此等調變光圖案可為空間調變光圖案或時間調變光圖案。一調變閃光之擷取反射在本文中指稱「深度影像」或「深度成像」。接著，深度感測器118可基於深度成像之分析來計算物件之深度，即，物件與電子裝置100之距離。自深度感測器118獲得之所得深度資料可用於校準或否則擴增自由成像攝影機114、116擷取之影像資料之多視角分析(例如立體分析)獲得之深度資訊。替代地，可使用來自深度感測器118之深度資料替代自多視角分析獲得之深度資訊。為了繪示，多視角分析通常更適合於明亮照明條件及當物件相對較遠時，而基於調變光之深度感測更適合於弱光條件或當所觀察之物件相對較近(例如，在4米至5米內)時。因此，當電子裝置100感測到其在室外或否則在相對較好照明條件中時，電子裝置100可選擇使用多視角分析來判定物件深度。相反地，當電子裝置100感測到其在室內或否則在相對較差照明條件中時，電子裝置100可切換至使用經由深度感測器118之基於調變光之深度感測。除擷取本地環境112之成像之外，成像攝影機114、116之一或多者亦可提供電子裝置100之其他成像功能。為了繪示，成像攝影機114、116可用於支援視覺遙測功能，諸如擷取成像以支援位置及定向偵測。此外，在一些實施例中，安置於面向使用者之表面104處之一成像感測器(圖中未展示)可用於追蹤使用者110之頭部之移動或用於人臉辨識且因此提供可用於調整經由顯示器108呈現之成像之一視角之頭部追蹤資訊。電子裝置100亦可依靠用於姿勢偵測之非影像資訊。此非影像資訊可由電子裝置100經由諸如一陀螺儀或周圍光感測器之一或多個非影像感測器(圖1中未展示)獲得。非影像感測器亦可包含諸如小鍵盤(例如觸控螢幕或鍵盤)、麥克風、滑鼠及其類似者之使用者介面組件。電子裝置100經由成像攝影機114、116之一或兩者擷取本地環境112之成像，修改或否則處理所擷取之成像，且提供經處理之擷取成像來顯示於顯示器108上。擷取成像之處理可包含(例如)附加一AR重疊、將成像之現實內容轉換為對應VR內容及其類似者。如圖1中所展示，在使用兩個成像感測器之實施方案中，來自左側成像攝影機114之成像可經處理及顯示於顯示器108之左側區域中，同時處理來自右側成像攝影機116之成像且將其顯示於顯示器108之一右側區域中，藉此實現擷取成像之一立體3D顯示。除擷取本地環境112之成像以使用AR或VR修改來顯示之外，在至少一實施例中，電子裝置100使用影像感測器資料及非影像感測器資料來判定電子裝置100之一相對姿勢(即，位置及/或定向)，即，相對於本地環境112之一姿勢。此非影像資訊可由電子裝置100經由諸如一陀螺儀或周圍光感測器之一或多個非影像感測器(圖1中未展示)獲得。此相對姿勢資訊可由電子裝置100用於支援同時定位與建圖(SLAM)功能、視覺測距或其他基於位置之功能。非影像感測器亦可包含諸如小鍵盤(例如觸控螢幕或鍵盤)、麥克風、滑鼠及其類似者之使用者介面組件。表示一給定時間點處之電子裝置100之一狀態的非影像感測器資訊指稱該時間點之電子裝置之「當前情境」。此當前情境可包含明確情境，諸如電子裝置100之相對旋轉定向或自本地環境112入射於電子裝置100上之周圍光。在操作中，電子裝置100使用影像感測器資料及非影像感測器資料來判定電子裝置100之相對姿勢。相對姿勢資訊可支援產生與擷取成像一起顯示之AR重疊資訊或支援產生顯示為表示擷取成像之VR視覺資訊。作為一實例，電子裝置100可對本地環境112建圖且接著使用此建圖來促進使用者透過一VR環境導航，諸如，藉由在使用者接近且快碰撞本地環境中之一物件時對使用者顯示一指示器。為此，相對姿勢之判定可基於由成像攝影機114、116之一或多者擷取之影像資料中之空間特徵之偵測及電子裝置100相對於偵測空間特徵之姿勢之判定。為了繪示，在圖1之描繪實例中，本地環境112包含具有一牆壁122、一床124及一手持控制器126之一臥室。使用者110已定位及定向電子裝置100，使得成像攝影機114、116擷取包含臥室之此等空間特徵之攝影機影像資料128。在此實例中，深度感測器118亦擷取反映此等空間特徵相對於電子裝置100之姿勢之相對距離的深度資料132。在一些實施例中，一面向使用者之成像攝影機(圖中未展示)擷取表示使用者110之頭部120之姿勢之頭部追蹤資料134的影像資料。非影像感測器資料130 (諸如來自一陀螺儀、一磁力計、一周圍光感測器、一小鍵盤、一麥克風及其類似者之讀數)亦由電子裝置100收集於其姿勢中。電子裝置100可在無需來自一外部源之明確絕對定位資訊之情況下自此輸入資料判定其姿勢。為了繪示，電子裝置100可執行攝影機影像資料128中之廣角成像攝影機影像資料及窄角成像攝影機影像資料之多視角分析以判定電子裝置100與牆壁122、床124及/或手持控制器126之間之距離。替代地，自深度感測器118獲得之深度資料132可用於判定空間特徵之距離。電子裝置100可自此等距離三角量測或否則推斷由本地環境112表示之其在臥室中之相對位置。作為另一實例，電子裝置100可識別存在於擷取影像資料128之一組擷取影像圖框中之空間特徵，判定與此等空間特徵之初始距離，且接著追蹤此等空間特徵在後續擷取成像中之位置及距離變化以判定電子裝置100之姿勢變化。在此方法中，諸如陀螺儀資料或加速度計資料之特定非影像感測器資料可用於使一影像圖框中所觀察之空間特徵與一後續影像圖框中所觀察之空間特徵關聯。再者，由電子裝置100獲得之姿勢資訊可與攝影機影像資料128、非影像感測器資料130、深度資料132、頭部追蹤資料134及/或補充資訊136之任何者組合以經由電子裝置100之顯示器108將一VR環境或本地環境112之一AR視圖呈現給使用者110。在一些實施例中，補充資訊136包含手持控制器126之一慣性量測單元(IMU)處所擷取之IMU資料，IMU包含諸如一或多個加速度計、陀螺儀及其類似者之非視覺運動感測器。IMU資料包含(例如)指示基於IMU之裝置之真實線性移動加速度、定向及重力的資料。在圖1之描繪實例中，電子裝置100經由成像攝影機116擷取本地環境112之一視圖之視訊成像，判定上文及此處所描述之電子裝置100之一相對定向/位置，判定臥室內之使用者110之姿勢。接著，電子裝置100可產生表示(例如)一AR或VR環境之一圖形表示138。當電子裝置100相對於先前視圖移動時，電子裝置100更新圖形表示138以反映改變觀點。再者，頭部追蹤資料134可用於偵測使用者110之頭部120相對於本地環境112之位置變化，電子裝置100可回應於此而調整顯示圖形表示138以反映使用者110之改變視角。此外，如下文將描述，電子裝置100可呈現用於顯示給使用者110之一VR環境且回應於接收本地環境112內之移動之使用者輸入，電子裝置100可更新VR環境內之使用者之一位置。電子裝置100可使用此資訊追蹤使用者110之移動且更新圖形表示138之顯示以反映使用者110之姿勢之變化。作為另一實例，電子裝置100可用於促進VR環境中之導航，其中姿勢之判定可包含(例如)追蹤手持控制器126之位置。如圖中所繪示，使用者110持有諸如手持控制器126之一或多個控制器。在一些實施例中，手持控制器126包含諸如陀螺儀及高度計之感測器以擷取用於實現手持控制器126之定向之偵測的三自由度(3DoF)讀數。在其他實施例中，手持控制器126包含用於擷取諸如慣性量測單元(IMU)資料之補充資訊136之一IMU (圖中未展示)。IMU資料包含(例如)指示基於IMU之裝置(諸如(但不限於)加速度計及陀螺儀)之真實線性移動加速度、定向及重力的資料。儘管圖1之實例繪示使用一手持控制器，但熟習技術者將認識到，可使用各種外型尺寸之手持裝置來執行本文所描述之控制器追蹤。例如，在其他實例中，使用者可持有具有一IMU之一行動電話。類似地，在各種其他實例中，可對與一IMU及/或能夠擷取用於實現3D空間中之定向之偵測之三自由度(3DoF)讀數之其他感測器配對之任何手持物件執行本文所描述之控制器追蹤。電子裝置100使用影像感測器資料(例如攝影機影像資料128)、非影像感測器資料(例如非影像感測器資料130及深度資料132)及/或IMU資料(例如補充資訊136)來判定三維(3D)空間中之手持控制器126之一姿勢(即，位置及/或定向)。在至少一實施例中，電子裝置100追蹤關於與手持控制器126相關聯之解剖特徵、標記及/或手勢之手持控制器126之位置。例如，如下文將在一實施例之情境中描述，電子裝置100使用所擷取之影像感測器資料(例如攝影機影像資料128)、非影像感測器資料(例如非影像感測器資料130及深度資料132)及/或補充資訊136追蹤使用者之拇指之位置。使用者拇指之追蹤資訊(即，基於使用者之拇指沿三個垂直軸線之前向/後向、向上/向下及向左/向右平移之3D空間中之位置)與手持控制器126之3DoF旋轉資訊(即，透過圍繞三個垂直軸線旋轉[偏航、俯仰及翻滾]之定向變化)組合以達成手持控制器126之6DoF追蹤，如本文所討論。圖2及圖3繪示根據本發明之至少一實施例之呈一HMD外型尺寸之電子裝置100之一實例性實施方案之實例性前平面圖及後平面圖。電子裝置100可實施為實施類似於所繪示之組態之組態的其他外型尺寸，諸如智慧型電話外型尺寸、平板外型尺寸、醫療成像裝置外型尺寸及其類似者。如由圖2之前平面圖200所繪示，電子裝置100可包含成像攝影機114、116及深度感測器118之一調變光投射器202，其等安置於前向表面106處。儘管圖2及圖3為了圖4中之一實例性橫截面圖而將成像攝影機114、116及調變光投射器202繪示成沿一直線對準，但在其他實施例中，成像攝影機114、116及調變光投射器202可相對於彼此偏移。在至少一實施例中，且如本文所進一步描述，電子裝置HMD 100包含複數個感測器以擷取關於電子裝置100之姿勢(位置及定向)之資訊及關於本地環境112中之物件相對於電子裝置100之姿勢之資訊。例如，在至少一實施例中，電子裝置100之上述感測器包含一深度攝影機以擷取本地環境之深度資訊。此外，電子裝置100經組態以接收圖1之手持控制器126處所擷取之IMU資料，其提供指示使用者移動(例如)其手時之控制器126之旋轉移動的資訊。如本文所進一步描述，電子裝置100可基於由擷取深度資訊(或在一些實施例中，所擷取之影像及非影像感測器資料)提供之位置資訊及由IMU提供之旋轉移動資訊來執行手持控制器之6DoF追蹤，藉此在無需控制器126中包含額外感測器之情況下將6DoF追蹤擴展至3DoF控制器。如由圖3之後平面圖300所繪示，電子裝置100可包含：顯示裝置108，其安置於表面104處；一面部襯墊302，其用於將電子裝置100固定至使用者110之面部(連同使用搭接或一吊帶)；及目鏡鏡片304及306，其等各用於使用者110之左眼及右眼。如後平面圖300中所描繪，目鏡鏡片304與顯示裝置108之顯示區域之一左側區域308對準，而目鏡鏡片306與顯示裝置108之顯示區域之一右側區域310對準。因此，在一立體顯示模式中，由成像攝影機114擷取之成像可顯示於左側區域308中且由使用者之左眼經由目鏡鏡片304觀看，而由成像攝影機116擷取之成像可顯示於右側區域310中且由使用者之右眼經由目鏡鏡片306觀看。圖4繪示根據本發明之至少一實施例之由電子裝置100實施之一實例性處理系統400。處理系統400包含顯示裝置108、成像攝影機114、116及深度感測器118。處理系統400進一步包含一感測器中樞402、一或多個處理器404 (例如CPU、GPU或其等之組合)、一顯示控制器406、一系統記憶體408、一組非影像感測器410及一使用者介面412。使用者介面412包含由一使用者操縱以將使用者輸入提供至電子裝置100之一或多個組件，諸如一觸控螢幕、一滑鼠、一鍵盤、一麥克風、各種按鈕或開關及各種觸覺致動器。非影像感測器組410可包含用於提供電子裝置100之非影像情境或狀態之各種感測器之任何者。此等感測器之實例包含一陀螺儀420、一磁力計422、一加速度計424及一周圍光感測器426。非影像感測器可進一步包含各種基於無線接收及傳輸之感測器，諸如一GPS接收器428、一無線區域網路(WLAN)介面430、一蜂巢式介面432、一同級間(P2P)無線介面434及一近場通信(NFC)介面436。電子裝置100進一步存取至儲存結合其影像處理、位置建圖及位置利用程序使用之資訊或元資料之各種資料庫442。資料庫442可包含：一空間特徵資料庫，其儲存自由電子裝置100之成像感測器擷取之成像識別之2D或3D空間特徵之元資料；一SLAM資料庫，其儲存基於SLAM之資訊，諸如已由電子裝置100探索之本地環境112 (圖1)之區域之建圖資訊；一AR/VR資料庫，其儲存AR重疊資訊或VR資訊，諸如本地環境112中所關注之物件之相對位置之表示。資料庫可位於電子裝置100之本端處(諸如，位於一硬碟、固態記憶體或可抽換式儲存媒體(圖中未展示)上)，資料庫可遠端定位於一或多個伺服器處且可經由(例如)電子裝置100之無線介面之一或多者存取，或資料庫可實施為本端及遠端資料儲存器之一組合。在操作中，成像攝影機114、116擷取一本地環境之成像，組合器402處理所擷取之成像以產生經修改成像，且顯示控制器406控制顯示裝置108將經修改成像顯示於顯示裝置108處。同時，處理器404執行一或多個軟體程式440以提供與擷取成像組合之各種功能，執行此等空間特徵偵測程序以偵測擷取成像或由深度感測器118擷取之深度資訊之空間特徵，執行基於所偵測之空間特徵或由非影像感測器組410提供之非感測器資訊來偵測電子裝置100之當前姿勢，執行產生與擷取成像一起顯示之AR重疊、待顯示之VR內容及所擷取之成像或顯示為擷取成像之一表示之VR內容，等等。下文將更詳細描述由電子裝置100執行之操作之實例。圖5A及圖5B繪示根據本發明之各種實施例之控制器追蹤之一實例性實施方案。圖5A至圖5B提供繪示監視本地環境112之電子裝置100之一透視圖500的圖式。如圖5A中所繪示，使用者110使用一手502持有手持控制器126。在一些實施例中，電子裝置100使用深度感測器118將一調變光圖案投射至本地環境112中，其導致光自本地環境中之物件(例如手502及手持控制器126)反射。因為一物件之一表面相距於電子裝置100之深度或距離影響入射於表面上之投射光之反射，所以電子裝置100可使用存在於調變光圖案之反射中之一圖案失真以使用各種熟知調變光深度估計技術來判定物件表面之深度。替代地，前向成像攝影機114及116之兩者可用於擷取投射調變光圖案之反射且可對平行擷取深度成像執行多視角影像分析以判定本地環境中之物件之深度。在其他實施例中，電子裝置100可將前向成像攝影機114及116之一或兩者用作為同步於調變光圖案之投射之飛行時間成像攝影機，藉此電子裝置100使用各種熟知飛行時間深度演算法之任何者計算擷取反射中之物件之深度。作為又一實例，電子裝置100可採用自紅外光或近紅外光之一脈衝擷取反射光之一高速曝光快門成像攝影機(作為前向成像攝影機114及116之一者或作為一單獨前向成像攝影機)，藉此針對感測器之各像素所收集之反射脈衝信號量對應於在深度範圍內反射脈衝且可因此用於計算至主要物件上之一對應點之距離。在一實施例中，電子裝置100使用來自成像攝影機114、116及深度感測器118之深度資訊來判定電子裝置與相關聯於手持控制器126之一或多個解剖特徵、標記及/或手勢之間之相對姿勢。在圖5之實例中，電子裝置100判定其相對於手502之拇指504之姿勢。特定言之，電子裝置100藉由執行影像資料128之多視角分析以判定電子裝置100與拇指504之指甲506之間之距離來判定其姿勢。替代地，自深度感測器118獲得之深度資料可用於判定指甲506及/或拇指504之距離。作為另一實例，電子裝置可識別存在於影像資料之一組擷取影像圖框中之空間特徵(即，與手持控制器126相關聯之解剖特徵、標記及/或手勢)，判定至此等空間特徵之距離，且接著追蹤後續擷取成像中之此等空間特徵之位置及距離變化以判定手持控制器126相對於電子裝置100之姿勢變化。因此，電子裝置使用深度資訊來判定關於指甲及/或拇指之3D空間位置。此3DoF位置資訊包含沿3D空間中之三個垂直軸線追蹤使用者之拇指(且因此追蹤由手502持有之控制器126)之前向/後向、向上/向下及向左/向右平移。另外，電子裝置100自控制器126接收諸如陀螺儀資料、加速度計資料及/或IMU資料之非影像感測器資料。例如，控制器126可包含諸如陀螺儀、高度計及IMU之感測器以擷取用於實現控制器126之相對姿勢之偵測的3DoF讀數。特定言之，當使用者移動(例如)其手502時，電子裝置100接收指示控制器126之旋轉移動之旋轉資訊。此旋轉資訊包含控制器126之偏航、俯仰及翻滾之變化之3DoF追蹤，其表示圍繞3D空間中之三個垂直軸線之旋轉。在各種實施例中，電子裝置100組合由電子裝置擷取之3DoF位置資訊及由控制器126擷取之3DoF旋轉資訊，藉此達成手持控制器126之6DoF追蹤。電子裝置100使用3DoF位置資訊及3DoF旋轉資訊來使一影像圖框中所觀察之空間特徵(例如解剖特徵(諸如拇指504或拇指甲506)、標記及/或手勢)之位置及定向變化與一後續影像圖框中(諸如，在圖5A至圖5B中)所觀察之空間特徵關聯。因此，電子裝置100基於由擷取深度資訊(或在一些實施例中，所擷取之影像及非影像感測器資料)提供之位置資訊及由控制器126提供之旋轉移動資訊來執行控制器126之6DoF追蹤，藉此在無需控制器126中包含額外感測器之情況下將6DoF追蹤擴展至3DoF控制器。儘管圖5A至圖5B之實例繪示使用與控制器126相關聯之一單一解剖特徵之控制器追蹤，但熟習技術者將認識到，可使用與手持控制器126相關聯之空間特徵(即，解剖特徵、標記及/或手勢)之任何組合來執行控制器追蹤。圖6係監視本地環境112之電子裝置100之一透視圖600。如圖6中所繪示，使用者110使用一手502持有手持控制器126。然而，與圖5A至圖5B之實例性透視圖500相比，電子裝置100看不見拇指504及拇指甲506。因此，電子裝置100基於拇指甲506之位置(及因此由手502持有之控制器126之位置)與手指之一抓取方式602之一關聯性及/或控制器126之一定向來執行控制器126之6DoF追蹤。例如，電子裝置100基於由圖5B之透視圖表示之影像圖框來判定其中手502之手指依一大致「拇指向上」組態包裹控制器126之一抓取方式。因此，在圖6之實例中，電子裝置100基於手指之抓取方式602來推斷拇指甲506之位置(且因此推斷由手502持有之控制器126在3D空間中之位置及定向)。在另一實施例中，電子裝置100基於與控制器126相關聯之標記或其他空間特徵來執行控制器追蹤。例如，圖7係監視本地環境112之電子裝置100之一透視圖700。如圖7中所繪示，使用者110使用一手502持有手持控制器126。電子裝置100判定其相對於控制器126之一觸控板702、一按鈕704及其類似者之一或多者之姿勢。特定言之，電子裝置100藉由執行影像資料128之多視角分析以判定電子裝置100與拇指504及/或拇指甲506之間之距離來判定其姿勢。另外，電子裝置100進一步接收表示與使用者之拇指接觸之觸控板702之一部分之觸控板資料。例如，在圖7之實例中，電子裝置100接收表示拇指504與觸控板702之中心位置之右側之接觸之座標。當拇指504在控制器之觸控板702上來回移動時，電子裝置100補償拇指之位置與控制器之中心軸線之間之一偏移。因此，由觸控板資料提供之拇指接觸位置由電子裝置100用於改進其基於拇指位置之控制器追蹤，諸如上文相對於圖5A至圖5B所描述。在其他實施例中，電子裝置100藉由執行影像資料128之多視角分析以判定電子裝置100與可見表面記號(例如按鈕704)或控制器126之其他空間特徵之間之距離來判定其姿勢。替代地，自深度感測器118獲得之深度資料可用於判定按鈕704之距離。因此，電子裝置使用深度資訊來判定3D空間中之按鈕之位置。此3DoF位置資訊包含沿3D空間中之三個垂直軸線追蹤按鈕704 (且因此追蹤由手502持有之控制器126)之前向/後向、向上/向下及向左/向右平移。熟習技術者將認識到，電子裝置100相對於控制器126之姿勢不受限於本文所描述之實施例。可在不背離本發明之範疇之情況下使用影像及深度資料來追蹤控制器126之各種其他特徵及屬性以擷取控制器126之位置資訊。例如，應瞭解，可見表面文字、控制器之實體尺寸及幾何形狀、手之其他解剖特徵、由手之解剖特徵提供之手勢及其類似者之任何組合可用於擷取3DoF位置資訊。圖8係根據本發明之至少一實施例之用於6DoF控制器追蹤之電子裝置100之操作之一實例性方法800。為便於繪示，方法800被描繪且大體上描述為可被執行多次之一單一操作迴路。應瞭解，可依任何順序執行圖8之描繪流程圖之步驟，且可消除某些步驟，及/或可取決於實施方案而新增或重複某些其他步驟。方法800之一反覆開始於在區塊802中擷取各種影像感測器資料、非影像感測器資料及深度資料。在一實施例中，感測器資料之擷取觸發於或否則同步於由電子裝置100之成像攝影機114、116及深度感測器118 (圖1)之一或多者擷取同時影像圖框。在其他實施例中，各種感測器資料可被週期性地或否則重複地獲得且接著使用時間戳或其他同步元資料來同步於所擷取之影像資料。感測器資料之此擷取可包含經由廣角成像攝影機114擷取本地環境112 (圖1)之廣角視圖影像資料(在區塊802中)及經由窄角成像攝影機116擷取本地環境112之窄角視圖影像資料。此外，若啟動深度感測器118，則可經由深度感測器118擷取本地環境之深度資料。另外，可自一面向使用者之成像攝影機獲得表示使用者之頭部120之當前位置之頭部追蹤資料。自區塊802擷取之各種影像感測器資料、非影像感測器資料及深度資料由電子裝置100用於產生電子裝置100周圍之本地環境之一建圖。如上文所描述，深度感測器依靠由調變光投射器124將一調變光圖案或一「調變閃光」投射至本地環境中及由成像攝影機之一或多者自本地環境擷取調變光圖案之反射。因此，由使用者佩戴之HMD (即，圖1至圖3中所繪示之電子裝置100)可使用前向成像攝影機114及116之一或兩者來擷取調變光圖案之一投射之反射且處理反射調變光圖案之所得成像以判定反射調變光圖案中所表示之對應空間特徵之深度。為使一深度讀數與一對應空間特徵匹配，HMD可對深度成像執行一空間特徵分析以判定一空間特徵及其相對深度，且接著試圖使空間特徵匹配於在相同於或幾乎相同於擷取反射調變光成像之時間擷取之視覺光成像中所識別之一對應空間特徵。在另一實施例中，HMD可擷取一可見光影像，且其後控制調變光投射器投射一調變光圖案且擷取一反射調變光影像。接著，當反射調變光影像歸因於同時擷取可見光影像及反射調變光影像而有效表示在相同座標處具有相同空間特徵之相同場景時，HMD可自反射調變光影像發展可見光影像之一深度圖。在一些實施例中，產生建圖包含擷取3DoF位置資訊及判定電子裝置100相對於與控制器126相關聯之空間特徵之姿勢。例如，如相對於圖5A至圖7所更詳細討論，與控制器相關聯之空間特徵包含解剖特徵(諸如拇指504或拇指甲506)、標記、手勢及其類似者。在區塊804中，電子裝置100自手持控制器接收旋轉資訊，其指示使用者移動(例如)其手502時之控制器126之旋轉移動。此旋轉資訊包含控制器126之偏航、俯仰及翻滾之變化之3DoF追蹤，其表示圍繞3D空間中之三個垂直軸線之旋轉。在一些實施例中，旋轉資訊包含來自擷取三自由度(3DoF)讀數之控制器之感測器(諸如陀螺儀及高度計)之資料。在其他實施例中，旋轉資訊包含IMU資料，其擷取(例如)指示基於IMU之裝置(諸如(但不限於)加速度計及陀螺儀)之真實線性移動加速度、定向及重力之3DoF資料。在區塊806中，電子裝置基於區塊802及804之位置及旋轉資訊來判定控制器126之6DoF位置及定向。電子裝置100組合由電子裝置擷取之3DoF位置資訊及由控制器126擷取之3DoF旋轉資訊，藉此達成手持控制器126之6DoF追蹤。在各種實施例中，電子裝置100使用3DoF位置資訊及3DoF旋轉資訊來使一影像圖框中所觀察之空間特徵(例如解剖特徵(諸如拇指504或拇指甲506)、標記及/或手勢)之位置及定向變化與一後續影像圖框中所觀察之空間特徵關聯，諸如相對於圖5A至圖7所更詳細描述。可使用與手持控制器126相關聯之空間特徵(即，解剖特徵、標記及/或手勢)之任何組合來執行區塊806之6DoF控制器追蹤。因此，電子裝置100基於由擷取深度資訊(或在一些實施例中，所擷取之影像及非影像感測器資料)提供之位置資訊及由控制器126提供之旋轉移動資訊來執行控制器126之6DoF追蹤，藉此在無需控制器126中包含額外感測器之情況下將6DoF追蹤擴展至3DoF控制器。在一些實施例中，上述技術之特定態樣可由執行軟體之一處理系統之一或多個處理器實施。軟體包括儲存或否則有形地體現於一非暫時性電腦可讀儲存媒體上之一或多組可執行指令。軟體可包含指令及特定資料，其等在由一或多個處理器執行時操縱一或多個處理器執行上述技術之一或多個態樣。非暫時性電腦可讀儲存媒體可包含(例如)磁碟或光碟儲存裝置、固態儲存裝置(諸如快閃記憶體)、快取記憶體、隨機存取記憶體(RAM)或一或若干其他非揮發性記憶體裝置及其類似者。儲存於非暫時性電腦可讀儲存媒體上之可執行指令可呈原始碼、組合語言碼、目標碼或由一或多個處理器解譯或否則可由一或多個處理器執行之其他指令格式。一電腦可讀儲存媒體可包含可在使用期間由一電腦系統存取以將指令及/或資料提供至電腦系統之任何儲存媒體或儲存媒體組合。此等儲存媒體可包含(但不限於)光學媒體(例如光碟(CD)、數位多功能光碟(DVD)、藍光光碟)、磁性媒體(例如軟碟、磁帶或磁性硬碟)、揮發性記憶體(例如隨機存取記憶體(RAM)或快取記憶體)、非揮發性記憶體(例如唯讀記憶體(ROM)或快閃記憶體)、基於微機電系統(MEMS)之儲存媒體。電腦可讀儲存媒體可嵌入運算系統(例如系統RAM或ROM)中，固定地附接至運算系統(例如一磁性硬碟)，可抽換地附接至運算系統(例如一基於光碟或通用串列匯流排(USB)之快閃記憶體)，或經由一有線或無線網路(例如網路可存取儲存器(NAS))耦合至電腦系統。應注意，一般無需上述所有作業或元件，可不需要一特定作業或裝置之一部分，且可執行一或多個進一步作業或包含除所描述之元件之外之元件。此外，列舉作業之順序未必為其執行順序。另外，已參考特定實施例描述概念。然而，一般技術者應瞭解，可在不背離以下申請專利範圍中所闡述之本發明之範疇之情況下進行各種修改及改變。因此，本說明書及圖式應被視為意在繪示而非限制，且所有此等修改意欲包含於本發明之範疇內。本發明之各種實施例繪示實現快速錯誤偵測及復原以實現一更穩定運動追蹤之一故障偵測系統之實施方案。系統包含同時運行之至少四個子偵測器模組。當系統中之四個子偵測器之任一者偵測到一錯誤時，系統中觸發一故障。接著，系統可快速復原且重新啟動以繼續運動追蹤。上文已相對於特定實施例而描述益處、其他優點及問題之解決方案。然而，益處、優點、問題之解決方案及可引起任何益處、優點及問題之解決方案發生或變得更顯著之(若干)任何特徵不應被解釋為任何或所有請求項之一關鍵、必需或基本特徵。再者，上文所討論之特定實施例僅供繪示，因為所揭示之標的可依受益於本文之教示之熟習技術者明白之不同但等效方式修改及實踐。除以下申請專利範圍中所描述構造或設計之外，不意欲限制本文所展示之構造或設計之細節。因此，顯而易見，上文所揭示之特定實施例可被更改或修改且所有此等變動被視為在所揭示之標的之範疇內。因此，本文所尋求之保護係如以下申請專利範圍中所闡述。

100‧‧‧電子裝置

102‧‧‧外殼

104‧‧‧表面

106‧‧‧表面

108‧‧‧顯示器/顯示裝置

110‧‧‧使用者

112‧‧‧本地環境

114‧‧‧成像攝影機

116‧‧‧成像攝影機

118‧‧‧深度感測器

120‧‧‧頭部

122‧‧‧牆壁

124‧‧‧床

126‧‧‧手持控制器

128‧‧‧攝影機影像資料

130‧‧‧非影像感測器資料

132‧‧‧深度資料

134‧‧‧頭部追蹤資料

136‧‧‧補充資訊

138‧‧‧圖形表示

200‧‧‧前平面圖

202‧‧‧調變光投射器

300‧‧‧後平面圖

302‧‧‧面部襯墊

304‧‧‧目鏡鏡片

306‧‧‧目鏡鏡片

308‧‧‧左側區域

310‧‧‧右側區域

400‧‧‧處理系統

402‧‧‧感測器中樞/組合器

404‧‧‧處理器

406‧‧‧顯示控制器

408‧‧‧系統記憶體

410‧‧‧非影像感測器組

412‧‧‧使用者介面

420‧‧‧陀螺儀

422‧‧‧磁力計

424‧‧‧加速度計

426‧‧‧周圍光感測器

428‧‧‧GPS接收器

430‧‧‧無線區域網路(WLAN)介面

432‧‧‧蜂巢式介面

434‧‧‧同級間(P2P)無線介面

436‧‧‧近場通信(NFC)介面

440‧‧‧軟體程式

442‧‧‧資料庫

500‧‧‧透視圖

502‧‧‧手

504‧‧‧拇指

506‧‧‧指甲/拇指甲

600‧‧‧透視圖

602‧‧‧抓取方式

700‧‧‧透視圖

702‧‧‧觸控板

704‧‧‧按鈕

800‧‧‧方法

802‧‧‧區塊

804‧‧‧區塊

806‧‧‧區塊

熟習技術者可藉由參考附圖來較佳理解本發明且明白本發明之諸多特徵及優點。不同圖式中所使用之相同元件符號指示類似或相同項目。圖1係繪示根據本發明之至少一實施例之經組態以支援AR或VR環境中之控制器追蹤之一電子裝置的一圖式。圖2係繪示根據本發明之至少一實施例之實施多個成像攝影機及一深度感測器之一電子裝置之一前平面圖的一圖式。圖3係繪示根據本發明之至少一實施例之圖2之電子裝置之一後平面圖的一圖式。圖4繪示根據本發明之至少一實施例之由電子裝置實施之一實例性處理系統。圖5A至圖5B係繪示根據本發明之至少一實施例之控制器追蹤之一實例性實施方案之透視圖的圖式。圖6係繪示根據本發明之至少一實施例之控制器追蹤之另一實例性實施方案之一透視圖的一圖式。圖7係繪示根據本發明之至少一實施例之控制器追蹤之又一實例性實施方案之一透視圖的一圖式。圖8係繪示根據本發明之至少一實施例之用於控制器追蹤之一方法的一流程圖。

Claims

一種方法，其包括：在一電子裝置處基於接近該電子裝置之一本地環境來產生深度資料；基於使用該深度資料所判定之該電子裝置相對於與一控制器相關聯之至少一空間特徵之一姿勢來產生與該控制器相關聯之該至少一空間特徵之一組位置資料；接收表示該本地環境內之該控制器之三自由度(3DoF)定向的一組旋轉資料；及基於該組位置資料及該組旋轉資料來追蹤該本地環境內之該控制器之一六自由度(6DoF)位置。
如請求項1之方法，其中該組旋轉資料包括慣性量測單元(IMU)資料。
如請求項1之方法，其進一步包括：識別一使用者之手之一位置，其中該至少一空間特徵包含該使用者之手之一拇指位置；及基於該電子裝置相對於該拇指位置之該姿勢來判定該控制器之該6DoF位置。
如請求項3之方法，其進一步包括：識別該使用者之手之一抓取方式，其中該至少一空間特徵進一步包含該拇指位置與該抓取方式之間之一識別關係；及基於該電子裝置相對於該拇指位置與該抓取方式之間之該識別關係之該姿勢來判定該控制器之該6DoF位置。
如請求項4之方法，其進一步包括：當該電子裝置看不見該使用者之手之一拇指時，基於該拇指位置與該抓取方式之間之該識別關係來判定一推斷拇指位置。
如請求項3之方法，其進一步包括：自該控制器接收一組觸控板資訊，其中該組觸控板資訊包含該控制器之一觸控板上之該使用者之手之一拇指之一接觸位置。
如請求項6之方法，其進一步包括：判定該接觸位置自該觸控板之一中心軸線之一偏移；及基於該電子裝置相對於該拇指位置之一校正姿勢來判定該控制器之該6DoF位置，其中該校正姿勢引起該接觸位置之該偏移。
如請求項1之方法，其進一步包括：識別該控制器之一表面上之一可見記號之一位置；及基於該電子裝置相對於該可見記號之該姿勢來判定該控制器之該6DoF位置。
一種用於執行控制器追蹤之系統，其包括：一深度感測器，其用於自接近電子裝置之一本地環境擷取深度資料；一手持控制器；及一處理器，其用於接收基於使用該深度資料所判定之該電子裝置相對於與該手持控制器相關聯之至少一空間特徵之一姿勢之一組位置資料，其中該處理器經組態以接收表示該本地環境內之該控制器之3DoF定向之一組旋轉資料，且其中該處理器經進一步組態以基於該組位置資料及該組旋轉資料來追蹤該本地環境內之該控制器之一6DoF位置。
如請求項9之系統，其中該手持控制器包含經組態以擷取3DoF旋轉定向資料之一組陀螺儀及高度計。
如請求項9之系統，其中該手持控制器包含經組態以擷取3DoF旋轉定向資料之一慣性量測單元(IMU)。
如請求項9之系統，其中該手持控制器進一步包含經組態以偵測一使用者之拇指之一接觸位置之一觸控板。
如請求項12之系統，其中：該處理器用於判定該接觸位置自該觸控板之一中心軸線之一偏移，且其中該處理器進一步用於基於引起該接觸位置之該偏移之該電子裝置之一校正姿勢來判定該手持控制器之該6DoF位置。
如請求項9之系統，其中：該處理器用於判定該控制器之一表面上之一可見記號之一位置，且其中該處理器進一步用於至少基於該電子裝置相對於該可見記號之該姿勢來追蹤該控制器之該6DoF位置。
一種非暫時性電腦可讀媒體，其具有儲存於其內之指令，該等指令在由一處理器執行時執行包括以下各者之操作：在一電子裝置處基於接近該電子裝置之一本地環境來產生深度資料；基於使用該深度資料所判定之該電子裝置相對於與控制器相關聯之至少一空間特徵之一姿勢來產生一組位置資料；接收表示該本地環境內之該控制器之三自由度(3DoF)定向的一組旋轉資料；及基於該組位置資料及該組旋轉資料來追蹤該本地環境內之該控制器之一六自由度(6DoF)位置。
如請求項15之非暫時性電腦可讀媒體，該等指令在由一處理器執行時進一步執行包括以下各者之操作：識別一使用者之手之一位置，其中該至少一空間特徵包含該使用者之手之一拇指位置；及基於該電子裝置相對於該拇指位置之該姿勢來判定該控制器之該6DoF位置。
如請求項16之非暫時性電腦可讀媒體，該等指令在由一處理器執行時進一步執行包括以下各者之操作：識別該使用者之手之一抓取方式，其中該至少一空間特徵進一步包含該拇指位置與該抓取方式之間之一識別關係；及基於該電子裝置相對於該拇指位置與該抓取方式之間之該識別關係之該姿勢來判定該控制器之該6DoF位置。
如請求項16之非暫時性電腦可讀媒體，該等指令在由一處理器執行時進一步執行包括以下各者之操作：當該電子裝置看不見該使用者之手之一拇指時，基於該拇指位置與該抓取方式之間之該識別關係來判定一推斷拇指位置。
如請求項16之非暫時性電腦可讀媒體，該等指令在由一處理器執行時進一步執行包括以下各者之操作：自該控制器接收一組觸控板資訊，其中該組觸控板資訊包含該控制器之一觸控板上之該使用者之手之一拇指之一接觸位置；及基於該電子裝置相對於該拇指位置之一校正姿勢來判定該控制器之該6DoF位置，其中該校正姿勢引起該接觸位置自該觸控板之一中心軸線之一偏移。
如請求項15之非暫時性電腦可讀媒體，該等指令在由一處理器執行時進一步執行包括以下各者之操作：識別該控制器之一表面上之一可見記號之一位置；及基於該電子裝置相對於該可見記號之該姿勢來判定該控制器之該6DoF位置。