[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI854786B - 物件追蹤方法及主機 - Google Patents

物件追蹤方法及主機 Download PDF

Info

Publication number
TWI854786B
TWI854786B TW112130607A TW112130607A TWI854786B TW I854786 B TWI854786 B TW I854786B TW 112130607 A TW112130607 A TW 112130607A TW 112130607 A TW112130607 A TW 112130607A TW I854786 B TWI854786 B TW I854786B
Authority
TW
Taiwan
Prior art keywords
host
motion
posture
motion data
motion state
Prior art date
Application number
TW112130607A
Other languages
English (en)
Other versions
TW202409976A (zh
Inventor
楊文杉
張慈殷
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202409976A publication Critical patent/TW202409976A/zh
Application granted granted Critical
Publication of TWI854786B publication Critical patent/TWI854786B/zh

Links

Images

Abstract

本發明的實施例提供一種物件追蹤方法和一種主機。所述方法包含：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得主機的第一運動資料和參考物件的第二運動資料；基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機的第一相對姿態；以及基於第一相對姿態而判定參考物件的特定姿態。

Description

物件追蹤方法及主機
本發明是有關於一種追蹤機制，且特別是有關於一種物件追蹤方法及主機。
參見圖1，其繪示用於追蹤參考物件的常規機制。在圖1中，主機(例如，頭戴式顯示器(head-mounted display；HMD))例如可透過使用內向外追蹤機制來追蹤參考物件(例如，手持式VR控制器)的姿態，且所取得的姿態可被稱為視覺相對姿態
Figure 112130607-A0305-02-0003-3
。
然而，視覺相對姿態
Figure 112130607-A0305-02-0003-4
的品質可受諸如抖動、延遲和/或丟失追蹤的問題影響。因此，由參考物件上的慣性測量單元(inertial measurement unit；IMU)收集的運動資料可用於判定參考物件相對於環境的相對姿態
Figure 112130607-A0305-02-0003-2
，且相對姿態
Figure 112130607-A0305-02-0003-1
可以與基於用於改善追蹤效能的主機的主機姿態的視覺相對姿態
Figure 112130607-A0305-02-0003-5
融合，其中主機姿態可由主機透過使用同時定位與地圖繪製(simultaneous localization and mapping；SLAM)判定。
一般來說，運動資料(例如，IMU資料)用於表徵IMU 相對於世界和/或環境的相對姿態。舉例來說，在圖1中，相對姿態
Figure 112130607-A0305-02-0004-6
可以是主機相對於參考點(其可為環境的座標系G的原點)的相對姿態。相對姿態
Figure 112130607-A0305-02-0004-7
可為參考點相對於世界的相對姿態(其對應於座標系W)。
為了更好地融合具有視覺相對姿態
Figure 112130607-A0305-02-0004-8
的相對姿態
Figure 112130607-A0305-02-0004-24
，需要考慮相對姿態
Figure 112130607-A0305-02-0004-25
和相對姿態
Figure 112130607-A0305-02-0004-11
。然而，在常規技術中，僅有在相對姿態
Figure 112130607-A0305-02-0004-13
保持恒定時，相對姿態
Figure 112130607-A0305-02-0004-12
才可與視覺相對姿態
Figure 112130607-A0305-02-0004-14
更好地融合。也就是說，如果相對姿態
Figure 112130607-A0305-02-0004-15
出現變化，那麼相對姿態
Figure 112130607-A0305-02-0004-17
無法準確地與視覺相對姿態
Figure 112130607-A0305-02-0004-16
融合，進而使得無法準確地追蹤參考物件的姿態。
舉例而言，如果主機和參考物件位於汽車(即，主機和參考物件所在的環境)中，且參考點是汽車上的特定點，那麼可假設座標系G為汽車內使用的座標系，且可假設座標系W為對應於汽車外部的環境的座標系(其可理解為世界的座標系)。
在汽車為靜態的情況下，由於相對姿態
Figure 112130607-A0305-02-0004-18
為恒定的，所以相對姿態
Figure 112130607-A0305-02-0004-23
可準確地與視覺相對姿態
Figure 112130607-A0305-02-0004-19
融合。然而，在汽車移動的情況下，由於相對姿態
Figure 112130607-A0305-02-0004-20
出現變化，因此相對姿態
Figure 112130607-A0305-02-0004-22
無法恰當地與視覺相對姿態
Figure 112130607-A0305-02-0004-21
融合，進而無法準確地追蹤參考物件的姿態。
另外，如果主機和參考物件處於具有極少特徵點的環境 (例如，具有白色牆壁的環境)中，那麼由於主機姿態中的平移成分(translation component)幾乎為不可用，所以相對姿態
Figure 112130607-A0305-02-0005-26
也無法與視覺相對姿態
Figure 112130607-A0305-02-0005-27
恰當地融合。
有鑑於此，本發明涉及一種物件追蹤方法和主機，其可用於解決上述技術問題。
本發明的實施例提供一種適於主機的物件追蹤方法，包括：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得主機的第一運動資料和參考物件的第二運動資料；基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機的第一相對姿態；以及基於第一相對姿態而判定參考物件的特定姿態。
本發明的實施例提供一種主機，包括非暫時性儲存電路和處理器。非暫時性儲存電路儲存程式碼。處理器連接到非暫時性儲存電路且存取程式碼以執行：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得主機的第一運動資料和參考物件的第二運動資料；基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機的第一相對姿態；以及基於第一相對姿態而判定參考物件的特定姿態。
200:主機
202:儲存電路
204:處理器
410:參考物件
499:模擬器
G:座標系
S510:步驟
S520:步驟
S530:步驟
S540:步驟
W:座標系
圖1繪示用於追蹤參考物件的常規機制。
圖2繪示根據本發明的實施例的主機的示意圖。
圖3繪示根據本發明的實施例的所提出的方法的迭代運算過程的示意圖。
圖4繪示根據本發明的實施例的應用情境。
圖5繪示根據本發明的實施例的物件追蹤方法的流程圖。
現將詳細地對本發明的目前優選實施例進行參考，其實例在隨附圖式中加以說明。只要可能，相同的附圖標號在附圖及描述中用以指代相同或類似部分。
參見圖2，其繪示根據本發明的實施例的主機的示意圖。在圖2中，主機200可為能夠經由執行內向外追蹤機制追蹤其它被追蹤物件(例如，手持式控制器)的姿態的任何裝置，但本發明不限於此。在一些實施例中，主機200可為提供AR/VR服務/內容或類似者的HMD。
在圖2中，主機200包含儲存電路202和處理器204。儲存電路202為靜止或移動隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read-only memory；ROM)、快閃記憶體、硬碟或任何其它類似裝置中的一者或結合，且其記錄可由處理器204執行的多個模組。
處理器204可與儲存電路202耦接，且處理器204可為(例如)通用處理器、專用處理器、常規處理器、數位訊號處理器(digital signal processor；DSP)、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路(Application Specific Integrated Circuits；ASIC)、現場可程序設計閘陣列(Field Programmable Gate Array；FPGA)電路、任何其它類型的積體電路(integrated circuit；IC)、狀態機等。
在本發明的實施例中，處理器204可存取儲存在儲存電路202中的模組/程式碼以實施本發明中所提供的物件追蹤方法，這將在下文中進一步論述。
參見圖3，其繪示根據本發明的實施例的所提出的方法的迭代運算過程的示意圖。
在圖3中，迭代運算過程可被視為包含兩個子過程：(1)狀態融合過程；和(2)狀態預測過程。
在一個實施例中，處理器204基於經預測運動狀態(稱為
Figure 112130607-A0305-02-0007-29
)和校準因數(稱為△X j )而判定參考運動狀態(稱為
Figure 112130607-A0305-02-0007-28
，其中j為與狀態融合過程相關聯的階段索引)，其可參考狀態融合過程的下半部分。在一個實施例中，可透過結合經預測運動狀態
Figure 112130607-A0305-02-0007-30
與校準因數△X j 來判定參考運動狀態
Figure 112130607-A0305-02-0007-34
，且參考運動狀態
Figure 112130607-A0305-02-0007-35
可表徵為圖3中的“
Figure 112130607-A0305-02-0007-172
←
Figure 112130607-A0305-02-0007-173
⊕△X j ”。在一個實施例中，將在與狀態預測過程相關聯的論述中解釋判定經預測運動狀態
Figure 112130607-A0305-02-0007-175
的方 式。
在一個實施例中，在判定校準因數△X j 的程序中，處理器204取得參考物件相對於主機200的特定增益(稱為
Figure 112130607-A0305-02-0008-36
)、參考物件相對於主機200的視覺相對姿態(即，上文所提及的
Figure 112130607-A0305-02-0008-37
)以及參考物件相對於主機200的運動相對姿態(稱為
Figure 112130607-A0305-02-0008-42
)。然後，處理器204基於特定增益
Figure 112130607-A0305-02-0008-41
、視覺相對姿態
Figure 112130607-A0305-02-0008-39
以及運動相對姿態
Figure 112130607-A0305-02-0008-40
而判定校準因數△X j 。
在本發明的實施例中，特定增益
Figure 112130607-A0305-02-0008-43
可理解為卡爾曼(Kalman)增益，其可基於在狀態預測過程(稍後將論述)中判定的一些參數而判定。視覺相對姿態
Figure 112130607-A0305-02-0008-44
可為參考物件相對於主機200的經追蹤的視覺姿態，所述經追蹤的視覺姿態可由處理器204透過執行內向外追蹤機制來判定。運動相對姿態
Figure 112130607-A0305-02-0008-45
可由處理器204基於由主機200上的第一運動偵測電路(例如，IMU)收集的第一運動資料和由參考物件上的第二運動偵測電路(例如，IMU)收集的第二運動資料來判定，且以下將在與狀態預測過程相關聯的論述中解釋如何判定運動相對姿態
Figure 112130607-A0305-02-0008-46
。
在判定校準因數△X j 的程序中，處理器204可首先判定視覺相對姿態
Figure 112130607-A0305-02-0008-47
與運動相對姿態
Figure 112130607-A0305-02-0008-50
之間的姿態差異，其中姿態差異可表示為“
Figure 112130607-A0305-02-0008-90
”。隨後，處理器204可透過(例如)將姿態差異乘以特定增益
Figure 112130607-A0305-02-0008-49
而基於特定增益
Figure 112130607-A0305-02-0008-48
及姿態差異判定校準因數△X j 。在此情況下，校準因數△X j 可表 徵為“
Figure 112130607-A0305-02-0009-52
”，如圖3的狀態融合過程中所例示，但本發明不限於此。
在本發明的實施例中，參考運動狀態
Figure 112130607-A0305-02-0009-53
可用於判定狀態預測過程中的下一個經預測運動狀態。
在本發明的實施例中，在狀態融合過程和狀態預測過程中使用的階段索引可不同。在圖3中，在狀態預測過程中使用的階段索引可為i，且參考運動狀態
Figure 112130607-A0305-02-0009-54
(其可理解為在狀態融合過程的第j個階段判定的參考運動狀態)可對應於在狀態預測過程的第i個階段判定的經預測運動狀態(X i )。
在此情況下，上述下一個經預測運動狀態可理解為在狀態預測過程的第(i+1)個階段判定的經預測運動狀態(稱為X i+1)，且可基於經預測運動狀態X i 、第一運動資料以及第二運動資料而判定經預測運動狀態X i+1。
然而，為了更好地理解本發明的概念，以下將以判定經預測運動狀態
Figure 112130607-A0305-02-0009-55
(即，經預測運動狀態X i )的方式作為說明性實例，而不以判定經預測運動狀態X i+1的方式作為說明性實例。
在圖3中，用於判定經預測運動狀態X i 的第一運動資料和第二運動資料可分別稱作
Figure 112130607-A0305-02-0009-56
和
Figure 112130607-A0305-02-0009-57
。在一些實施例中，第一運動資料
Figure 112130607-A0305-02-0009-58
可包含由主機200上的第一運動偵測電路進行的狀態預測過程的第(i-1)個階段收集的原始IMU資料(例如，3軸加速度和3軸角速度)，而第二運動資料
Figure 112130607-A0305-02-0009-59
可包含由參考物 件上的第二運動偵測電路在狀態預測過程的第(i-1)個階段收集的原始IMU資料(例如，3軸加速度和3軸角速度)。
在本發明的實施例中，處理器204可基於第一運動資料
Figure 112130607-A0305-02-0010-62
、第二運動資料
Figure 112130607-A0305-02-0010-61
以及參考運動狀態
Figure 112130607-A0305-02-0010-60
(其可理解為經預測運動狀態X i-1)而判定經預測運動狀態X i 。
在一個實施例中，處理器204可判定在座標系G中使用的動態函數(稱為f c )，其中動態函數f c 可考慮狀態預測過程的第i個階段與狀態預測過程的第(i-1)個階段之間的參考運動狀態
Figure 112130607-A0305-02-0010-63
(即，經預測運動狀態X i-1)、第一運動資料
Figure 112130607-A0305-02-0010-64
、第二運動資料
Figure 112130607-A0305-02-0010-65
以及時間差(稱為△t)。
在圖3中，經預測運動狀態X i 可表徵為“
Figure 112130607-A0305-02-0010-70
”。在一個實施例中，動態函數可反應於參考運動狀態
Figure 112130607-A0305-02-0010-66
、第一運動資料
Figure 112130607-A0305-02-0010-67
、第二運動資料
Figure 112130607-A0305-02-0010-68
以及時間差△t而輸出/產生/判定與第一運動資料和第二運動資料相關聯的第一相對姿態和參數。也就是說，經預測運動狀態X i 可包含與第一運動資料和第二運動資料相關聯的第一相對姿態和參數。
在本發明的實施例中，第一相對姿態可由
Figure 112130607-A0305-02-0010-69
表示，其可理解為在狀態預測過程的第i個階段中，參考物件相對於主機 200的第i個運動相對姿態。在一些實施例中，第一相對姿態可表徵為“
Figure 112130607-A0305-02-0011-71
”，其中
Figure 112130607-A0305-02-0011-72
、
Figure 112130607-A0305-02-0011-73
、
Figure 112130607-A0305-02-0011-74
、
Figure 112130607-A0305-02-0011-75
分別對應於參考物件在狀態預測過程的第i個階段中相對於主機200的平移、定向、速度和角速度，但本發明不限於此。
在一個實施例中，第i個運動相對姿態(即，
Figure 112130607-A0305-02-0011-76
)可用於判定狀態融合過程的第j個階段的校準因數，而判定狀態融合過程的第j個階段的校準因數的細節可參考先前的說明，於此不另贅述。
在一個實施例中，與第一運動資料相關聯的參數包含在狀態預測過程的第i個階段中，與第一運動偵測電路相關聯的內部參數和外部參數，而所述參數可稱為
Figure 112130607-A0305-02-0011-78
。與第二運動資料相關聯的參數包含在狀態預測過程的第i個階段中，與第二運動偵測電路相關聯的內部參數和外部參數，而所述參數可稱為
Figure 112130607-A0305-02-0011-79
。
基此，第二經預測運動狀態X i 可進一步表徵為“
Figure 112130607-A0305-02-0011-176
”，如圖3所示。
在一個實施例中，經預測運動狀態X i 中的內容可用以判定狀態融合過程的第j個階段的特定增益
Figure 112130607-A0305-02-0011-82
(例如，卡爾曼增益)。
在一個實施例中，在判定特定增益
Figure 112130607-A0305-02-0011-83
的期間，處理器204可取得參考增益因數(稱為
Figure 112130607-A0305-02-0011-85
)、經預測運動狀態
Figure 112130607-A0305-02-0011-84
(其可透過基於以上教示的
Figure 112130607-A0305-02-0011-89
表徵)以及視覺相對姿態
Figure 112130607-A0305-02-0011-80
，且據以判定特定增益
Figure 112130607-A0305-02-0011-81
。
在圖3中的狀態融合過程的第j個階段中，特定增益
Figure 112130607-A0305-02-0012-92
可表徵為“
Figure 112130607-A0305-02-0012-91
”，其中
Figure 112130607-A0305-02-0012-105
(其可理解為對經預測運動狀態
Figure 112130607-A0305-02-0012-93
的內容取偏導數)且
Figure 112130607-A0305-02-0012-96
為視覺相對姿態
Figure 112130607-A0305-02-0012-95
的雜訊，但本發明不限於此。
在一個實施例中，可基於特定增益
Figure 112130607-A0305-02-0012-94
和經預測運動狀態
Figure 112130607-A0305-02-0012-98
更新參考增益因數
Figure 112130607-A0305-02-0012-97
。在圖3中，經更新參考增益因數(稱為
Figure 112130607-A0305-02-0012-99
)可表徵為“
Figure 112130607-A0305-02-0012-177
←
Figure 112130607-A0305-02-0012-178
-
Figure 112130607-A0305-02-0012-179
”，但本發明不限於此。
在一個實施例中，經更新參考增益因數
Figure 112130607-A0305-02-0012-102
可用於判定狀態預測過程的下一個階段(即，第(i+1)個階段)的新參考增益因數。
然而，為了更好地理解本發明的概念，用於判定參考增益因數
Figure 112130607-A0305-02-0012-104
的機制將用作實例，但本發明不限於此。
在一個實施例中，在狀態融合過程的第j個階段使用的參考增益因數
Figure 112130607-A0305-02-0012-103
可對應(或映射)到在狀態預測過程的第i個階段判定的另一參考增益因數，其可稱為P i 。
具體來說，在判定參考增益因數P i 的程序中，處理器204可取得經更新參考增益因數(稱為P i-1)和經預測運動狀態X i ，其中經更新參考增益因數P i-1可理解為在狀態融合過程的前一階段中經更新參考增益因數。
在一個實施例中，處理器204基於經更新參考增益因數P i-1和經預測運動狀態X i 而判定參考增益因數P i 。在圖3中，參考增益因數P i 可表徵為“
Figure 112130607-A0305-02-0013-106
”，其中
Figure 112130607-A0305-02-0013-107
，
Figure 112130607-A0305-02-0013-108
為第一運動資料
Figure 112130607-A0305-02-0013-109
的雜訊，且
Figure 112130607-A0305-02-0013-110
為第二運動資料
Figure 112130607-A0305-02-0013-111
的雜訊，但本發明不限於此。
一旦判定參考增益因數P i ，參考增益因數P i 就可在狀態融合過程的第j個階段作為參考增益因數
Figure 112130607-A0305-02-0013-112
使用，以用於判定(例如)特定增益
Figure 112130607-A0305-02-0013-113
，而相關的細節可參考以上教示。
簡單來說，在狀態預測過程的第i個階段判定的所預測運動狀態X i 、第一相對姿態
Figure 112130607-A0305-02-0013-114
和參考增益因數P i 可分別用作經預測運動狀態
Figure 112130607-A0305-02-0013-115
、運動相對姿態
Figure 112130607-A0305-02-0013-127
以及參考增益因數
Figure 112130607-A0305-02-0013-117
，且經預測運動狀態
Figure 112130607-A0305-02-0013-116
、運動相對姿態
Figure 112130607-A0305-02-0013-126
以及參考增益因數
Figure 112130607-A0305-02-0013-118
，可用於判定狀態融合過程的第j個階段的特定增益
Figure 112130607-A0305-02-0013-119
、經預測運動狀態
Figure 112130607-A0305-02-0013-120
以及參考增益因數
Figure 112130607-A0305-02-0013-121
。
一旦判定經預測運動狀態
Figure 112130607-A0305-02-0013-123
和參考增益因數
Figure 112130607-A0305-02-0013-122
，便可進一步使用經預測運動狀態
Figure 112130607-A0305-02-0013-125
和參考增益因數
Figure 112130607-A0305-02-0013-124
來判定狀態預測過程的第(i+1)個階段的經預測運動狀態X i+1和參考增益因 數P i+1。因此，處理器204可連續地執行圖3中的迭代運算過程，以判定在圖3內狀態融合過程和/或狀態預測過程的不同階段的參數/因數。
在一個實施例中，處理器204可基於第一相對姿態
Figure 112130607-A0305-02-0014-136
而判定參考物件的特定姿態(稱為
Figure 112130607-A0305-02-0014-128
)。
在一個實施例中，處理器204取得主機200相對於參考座標系(例如，上文所提及的座標系G)的特定相對姿態(例如，上文所提及的相對姿態
Figure 112130607-A0305-02-0014-135
)，且透過將特定相對姿態
Figure 112130607-A0305-02-0014-130
與第一相對姿態
Figure 112130607-A0305-02-0014-134
結合判定參考物件的特定姿態
Figure 112130607-A0305-02-0014-131
。將特定相對姿態
Figure 112130607-A0305-02-0014-133
與第一相對姿態
Figure 112130607-A0305-02-0014-132
結合的細節可參考相關的現有技術，於此不另贅述。
在本發明的實施例中，由於在用於判定狀態預測過程中的第一相對姿態
Figure 112130607-A0305-02-0014-141
的程序中考慮了與主機200相關聯的第一運動資料，因此在用於判定參考運動狀態
Figure 112130607-A0305-02-0014-137
的狀態融合過程中，第一相對姿態
Figure 112130607-A0305-02-0014-140
可與視覺相對姿態
Figure 112130607-A0305-02-0014-138
更好地融合。之後，參考運動狀態
Figure 112130607-A0305-02-0014-139
可用於判定對應於狀態預測過程的下一個階段的第一相對姿態，以此類推。在此情況下，可在不考慮相對姿態
Figure 112130607-A0305-02-0014-142
的情況下判定參考物件的姿態。
因此，在具有變動的相對姿態
Figure 112130607-A0305-02-0014-143
和/或僅具有少量特徵點環境的情境中，本發明的技術方案仍可恰當地判定參考物件的姿態。另外，由於可在不考慮相對姿態
Figure 112130607-A0305-02-0014-144
的情況下執行所提 出的方法，因此所提出的方法可用於在無重力環境中判定參考物件的姿態。
參見圖4，其繪示根據本發明的實施例的應用情境。在圖4中，主機200可為由模擬器499上的使用者所佩戴的HMD，所追蹤的參考物件410可為與HMD連接的手持式控制器，且HMD可用以將(例如)VR服務提供給使用者。
在本實施例中，座標系G可為模擬器499的座標系，且由於模擬器499將反應於使用者對HMD所提供的VR服務的操作而移動，因此座標系G與座標系W之間的相對姿態
Figure 112130607-A0305-02-0015-146
將會出現變化。在此情況下，即使相對姿態
Figure 112130607-A0305-02-0015-145
出現變化，所提出的方法可仍恰當地運作以準確地判定參考物件410的姿態。
參見圖5，其繪示根據本發明的實施例的物件追蹤方法的流程圖。此實施例的方法可由圖2中的主機200執行，且以下將輔以圖2中繪示的元件來描述圖5中各步驟的細節。
在步驟S510中，處理器204基於經預測運動狀態(例如，
Figure 112130607-A0305-02-0015-148
)和校準因數(例如，△X j )而判定參考運動狀態(例如，
Figure 112130607-A0305-02-0015-147
)。在步驟S520中，處理器204取得主機200的第一運動資料(例如，
Figure 112130607-A0305-02-0015-153
)和參考物件的第二運動資料(例如，
Figure 112130607-A0305-02-0015-149
)。在步驟S530中，處理器204基於第一運動資料、第二運動資料以及參考運動狀態而判定參考物件相對於主機200的第一相對姿態(例如，
Figure 112130607-A0305-02-0015-151
)。在步驟S540中，處理器204基於第一相對姿態而判定 參考物件的特定姿態(例如，
Figure 112130607-A0305-02-0016-152
)。
圖5中各步驟的細節可參考上述實施例中的描述，於此不另贅述。
綜上所述，即使環境相對於世界的相對姿態出現變化，本發明的實施例提供的技術方案仍可透過考慮與主機的移動相關聯的運動資料，以恰當地判定所追蹤的參考物件的姿態。因此，可以新穎、靈活且準確的方式追蹤參考物件的姿態。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S510:步驟
S520:步驟
S530:步驟
S540:步驟

Claims (9)

  1. 一種物件追蹤方法，適於主機，包括：由所述主機基於第一經預測運動狀態和校準因數而判定參考運動狀態；由所述主機取得所述主機的第一運動資料和參考物件的第二運動資料；由所述主機基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定所述參考物件相對於所述主機的第一相對姿態，包括：由所述主機基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定第二經預測運動狀態，包括使用對應於一參考座標系的一動態函數以反應於所述第一運動資料、所述第二運動資料、所述參考運動狀態及一時間差產生所述第二經預測運動狀態，其中所述第二經預測運動狀態包括與所述第一運動資料和所述第二運動資料相關聯的所述第一相對姿態和參數；以及由所述主機基於所述第一相對姿態而判定所述參考物件的特定姿態，包括：取得所述主機相對於所述參考座標系的特定相對姿態；經由將所述特定相對姿態與所述第一相對姿態結合來判定所述參考物件的所述特定姿態。
  2. 如請求項1所述的物件追蹤方法，更包括： 由所述主機取得特定增益、所述參考物件相對於所述主機的視覺相對姿態以及所述參考物件相對於所述主機的運動相對姿態；由所述主機基於所述特定增益、所述視覺相對姿態以及所述運動相對姿態而判定所述校準因數。
  3. 如請求項2所述的物件追蹤方法，更包括：由所述主機取得第一參考增益因數、所述第一經預測運動狀態以及所述視覺相對姿態，且據以判定所述特定增益，其中，所述特定增益表徵為：
    Figure 112130607-A0305-02-0019-154
    ，其中
    Figure 112130607-A0305-02-0019-155
    為所述第一參考增益因數，
    Figure 112130607-A0305-02-0019-157
    為對經所述第一預測運動狀態取偏導數，
    Figure 112130607-A0305-02-0019-156
    為所述視覺相對姿態的雜訊。
  4. 如請求項3所述的物件追蹤方法，更包括：由所述主機基於所述特定增益和所述第一經預測運動狀態而更新所述第一參考增益因數。
  5. 如請求項2所述的物件追蹤方法，其中由所述主機基於所述特定增益、所述視覺相對姿態以及所述運動相對姿態而判定所述校準因數的步驟包括：由所述主機判定所述視覺相對姿態與所述運動相對姿態之間的姿態差異；以及由所述主機基於所述特定增益和所述姿態差異而判定所述校 準因數，其中所述校準因數表徵為：
    Figure 112130607-A0305-02-0020-158
    ，其中
    Figure 112130607-A0305-02-0020-159
    為所述特定增益，
    Figure 112130607-A0305-02-0020-161
    為所述視覺相對姿態，
    Figure 112130607-A0305-02-0020-160
    為所述運動相對姿態。
  6. 如請求項1所述的物件追蹤方法，其中由所述主機基於所述第一經預測運動狀態和所述校準因數而判定所述參考運動狀態的步驟包括：由所述主機經由將所述第一經預測運動狀態與所述校準因數結合來判定所述參考運動狀態，其中，所述參考運動狀態經表徵為：
    Figure 112130607-A0305-02-0020-180
    ←
    Figure 112130607-A0305-02-0020-181
    ⊕△X j ，其中
    Figure 112130607-A0305-02-0020-163
    為所述第一經預測運動狀態，△X j 為所述校準因數。
  7. 如請求項1所述的物件追蹤方法，其中所述第一運動資料由所述主機上的第一運動偵測電路收集，所述第二運動資料由所述參考物件上的第二運動偵測電路收集；其中與所述第一運動資料相關聯的所述參數包括與所述第一運動偵測電路相關聯的內部參數和外部參數；其中與所述第二運動資料相關聯的所述參數包括與所述第二運動偵測電路相關聯的內部參數和外部參數。
  8. 如請求項1所述的物件追蹤方法，更包括：由所述主機取得經更新參考增益因數和第二經預測運動狀 態；由所述主機基於所述經更新參考增益因數和所述第二經預測運動狀態而判定第二參考增益因數，其中所述第二參考增益因數經表徵為：
    Figure 112130607-A0305-02-0021-164
    ，其中
    Figure 112130607-A0305-02-0021-165
    為所述第一運動資料的雜訊，且
    Figure 112130607-A0305-02-0021-166
    為所述第二運動資料的雜訊，P i-1為所述經更新參考增益因數，
    Figure 112130607-A0305-02-0021-167
    為一動態函數對所述經預測運動狀態取偏導數，
    Figure 112130607-A0305-02-0021-168
    為所述動態函數對所述第一運動資料取偏導數，
    Figure 112130607-A0305-02-0021-170
    為所述動態函數對所述第二運動資料取偏導數。
  9. 一種主機，包括：儲存電路，儲存程式碼；以及處理器，耦接到所述儲存電路且存取所述程式碼以執行：基於第一經預測運動狀態和校準因數而判定參考運動狀態；取得所述主機的第一運動資料和參考物件的第二運動資料；基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定所述參考物件相對於所述主機的第一相對姿態，包括：基於所述第一運動資料、所述第二運動資料以及所述參考運動狀態而判定第二經預測運動狀態，包括使用對應於一參考 座標系的一動態函數以反應於所述第一運動資料、所述第二運動資料、所述參考運動狀態及一時間差產生所述第二經預測運動狀態，其中所述第二經預測運動狀態包括與所述第一運動資料和所述第二運動資料相關聯的所述第一相對姿態和參數；以及基於所述第一相對姿態而判定所述參考物件的特定姿態，包括：取得所述主機相對於所述參考座標系的特定相對姿態；經由將所述特定相對姿態與所述第一相對姿態結合來判定所述參考物件的所述特定姿態。
TW112130607A 2022-08-16 2023-08-15 物件追蹤方法及主機 TWI854786B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263398523P 2022-08-16 2022-08-16
US63/398,523 2022-08-16

Publications (2)

Publication Number Publication Date
TW202409976A TW202409976A (zh) 2024-03-01
TWI854786B true TWI854786B (zh) 2024-09-01

Family

ID=

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190371024A1 (en) 2018-05-31 2019-12-05 Robert Bosch Gmbh Methods and Systems For Exploiting Per-Pixel Motion Conflicts to Extract Primary and Secondary Motions in Augmented Reality Systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190371024A1 (en) 2018-05-31 2019-12-05 Robert Bosch Gmbh Methods and Systems For Exploiting Per-Pixel Motion Conflicts to Extract Primary and Secondary Motions in Augmented Reality Systems

Similar Documents

Publication Publication Date Title
CN110133582B (zh) 补偿电磁跟踪系统中的畸变
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN112484719B (zh) 用于利用惯性约束来增强非惯性跟踪系统的系统和方法
US20130179108A1 (en) System and Method for Calibrating Sensors for Different Operating Environments
KR20190098003A (ko) 장치의 자세 추정 방법 및 그 장치
CN108871311B (zh) 位姿确定方法和装置
WO2021088498A1 (zh) 虚拟物体显示方法以及电子设备
Porzi et al. Visual-inertial tracking on android for augmented reality applications
WO2023050634A1 (zh) 定位方法及装置、设备、存储介质及计算机程序产品
WO2023140990A1 (en) Visual inertial odometry with machine learning depth
US12020508B2 (en) Systems and methods for predicting elbow joint poses
CN116261706A (zh) 用于使用融合数据进行对象跟踪的系统和方法
WO2019134305A1 (zh) 确定姿态的方法、装置、智能设备、存储介质和程序产品
US11188787B1 (en) End-to-end room layout estimation
US11978232B2 (en) Method for displaying three-dimensional augmented reality
TWI854786B (zh) 物件追蹤方法及主機
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
JP7477596B2 (ja) 深度推定のための方法、深度推定システム、およびコンピュータプログラム
CN108236782B (zh) 外接设备的定位方法及装置、虚拟现实设备及系统
EP4102460A1 (en) Information processing device, information processing method, and information processing program
US20240176419A1 (en) Map-aided inertial odometry with neural network for augmented reality devices
WO2019080879A1 (zh) 数据处理方法、计算机设备和存储介质
US20240071018A1 (en) Smooth object correction for augmented reality devices
JP6250708B2 (ja) 進行方向情報出力装置、マップマッチング装置、進行方向情報出力方法、およびプログラム
TW202409976A (zh) 物件追蹤方法及主機