TW202017368A - 智慧眼鏡、系統及其使用方法 - Google Patents

Abstract

一種智慧眼鏡系統，可適用於協助執行動物體內手術操作。藉由包含影像擷取模組與投影模組的智慧眼鏡來提供擴增實境(AR)功能，使配戴智慧眼鏡的醫療人員在手術過程中可同時看到接受手術之動物的現實立體(3D)外觀、以及在視覺上被精準重疊在現實立體外觀表面上之該動物的體內組織或器官的立體投影影像。就算醫療人員移動頭部或是智慧眼鏡，由投影模組所投影出的該體內組織或器官的立體投影影像都會依據影像擷取模組所拍攝到之動物的現實外觀的尺寸、位置及旋轉角度，來配合調整所投影出之該體內組織或器官的尺寸、位置及旋轉角度，使得該體內組織或器官在使用者的視覺上能持續性地維持以正確的尺寸、位置及角度被重疊在該動物的現實外觀上。

Description

智慧眼鏡、系統及其使用方法

本發明是關於一種智慧眼鏡及系統，尤指一種使用智慧眼鏡提供擴增實境(AR)功能來協助進行動物體內手術操作的一種智慧眼鏡、系統及其使用方法。

近年來，智慧眼鏡(Smart Glasses)已被廣泛使用於多種不同應用領域，例如：電腦遊戲、多媒體影音娛樂、建築或工業設計、人員模擬訓練、工業操作輔助、醫療操作輔助、遠端視訊會議等等。目前，智慧眼鏡所運用的技術主要有三種：虛擬實境(Virtual Reality；簡稱VR)、擴增實境(Augmented Reality；簡稱VR)、及混合實境(Mixed Reality；簡稱MR)。

所謂的虛擬實境(VR)，是藉由電腦技術模擬出一個立體(3D)、高擬真的虛擬環境，於該3D虛擬環境中所存在的所有物件都是由電腦所繪製的。當使用者戴上VR智慧眼鏡後，會產生好像處在現實中一般的錯覺，但實際上使用者透過VR智慧眼鏡所看到的所有影像與物件都是電腦所繪製的虛擬影像，與現實環境毫無關聯。此VR技術可讓使用者擁有身歷其境般最高程度的沈浸式感受，特別適於電腦遊戲及多媒體影音娛樂的應用領域。因此，VR智慧眼鏡通常是使用完全不透光的液晶顯示面板(Liquid Crystal Display；簡稱LCD)或自體發光面板例如有機發光二極體面板(Organic Light-Emitting Diode；簡稱OLED)來播放電腦繪製的虛擬影像，以避免使用者受到外界環境光源或影像的影響。

相對地，擴增實境(AR)則是以現實環境為視覺背景為基礎，另加上由電腦繪製的一些虛擬影像重疊於現實環境之背景影像上。當使用者戴上AR智慧眼鏡後，使用者在視覺上會看到現實環境以及重疊於現實環境上的電腦虛擬影像。此AR技術可讓使用者在不脫離現實環境之影像的前提下，額外享受到由電腦繪製之虛擬影像所提供的輔助功能，可廣泛適用於諸如電腦遊戲、建築或工業設計、人員模擬訓練、工業操作輔助、醫療操作輔助、遠端視訊會議等等應用領域上。目前市售的AR智慧眼鏡又可概分為兩種，第一種是使用完全不透光的顯示面板，並藉由裝設於眼鏡前方的一攝像鏡頭(Camera)來拍攝外界環境以取得數位化之外界環境影像；之後，將此一數位化之外界環境影像作為影像背景、並將電腦繪製之虛擬影像重疊於此影像背景上並獲得一重疊影像；然後，再將此兼具有外界環境影像與電腦虛擬影像的重疊影像播放於該完全不透光的顯示面板上。舉例來說，目前很流行的手機遊戲寶可夢(Pokémon GO)就是此種AR技術的其中一例，只不過其影像播放平台為手機螢幕、而非智慧眼鏡。然而，於此所述第一種AR智慧眼鏡的技術中，電腦繪製之虛擬影像與攝像鏡頭拍攝到之外界環境影像兩者之間的互動與關聯性仍非常低；換言之，該外界環境影像僅單純作為背景影像來使用，該虛擬影像也只是單純地被「貼」到外界環境影像上被一起播放於顯示面板上，並不會因為攝像鏡頭拍攝到之外界環境影像的尺寸、位置或旋轉角度發生改變，就讓虛擬影像的尺寸、位置或角度也同步發生相對應的改變。此外，由於此種AR智慧眼鏡是使用完全不透光顯示面板來播放由攝像鏡頭拍攝到之外界環境影像與與電腦虛擬影像的重疊影像，所以，其所播放之影像品質會受到攝像鏡頭的品質與外界環境光很大的影響。舉例來說，倘若外界環境不夠明亮、或是攝像鏡頭的感光度、解析度或防震功能不夠好，就會導致使用者透過AR智慧眼鏡看到的影像背景部分黯淡、不清晰或晃動，但同時電腦虛擬影像的部分卻還是很明亮清楚。從另一角度來看，此種AR智慧眼鏡其實也較接近於稍後會談到的混合實境(MR)技術，只不過電腦繪製之虛擬影像與攝像鏡頭拍攝到之外界環境影像兩者之間的互動與關聯性較低而已。

第二種AR智慧眼鏡則是使用可部分反射、部分透射光線的眼鏡片搭配微型投影器，藉由投影器將電腦繪製之虛擬影像投影到眼鏡片 的一固定區域上並被其部分反射，讓使用者除了可透過眼鏡片觀看到真實的外界環境影像之外，同時還可以看到由投影器投影在固定區域上的電腦虛擬影像重疊在真實外界環境影像上。此種使用可透光眼鏡片搭配投影器的AR智慧眼鏡，可讓使用者在不脫離現實外界環境的情況下享受到電腦虛擬影像所提供的功能。目前，絕大多數此類的AR智慧眼鏡，其電腦虛擬影像和現實外界環境影像兩者是各自獨立不互動的；也就是說，電腦虛擬影像通常都是被投影到眼鏡片的某一固定位置，其尺寸、位置或角度不會因為現實外界環境影像的改變(例如外界環境中有物件移動、或是使用者移動頭部或AR智慧眼鏡)而造成電腦虛擬影像也產生相對應的影像變化。此所述現有的第二種AR智慧眼鏡比較像是設計成眼鏡形式的抬頭顯示器(Head Up Display，簡稱HUD)，其投影到眼鏡片上的電腦虛擬影像主要是為了提供一些輔助資訊(例如：病患的血壓值、脈搏值，或是機器設備的偵測數據等等)給使用者觀看，而包含這些輔助資訊的電腦虛擬影像並不會和使用者透過眼鏡片所看到的現實外界環境影像產生互動而改變其尺寸、位置或角度。

至於，混合實境(MR)則是虛擬實境(VR)與擴增實境(AR)兩者技術的結合。類似於前述第一種AR智慧眼鏡的技術，MR智慧眼鏡也是使用完全不透光的顯示面板，並藉由裝設於眼鏡前方的一攝像鏡頭(Camera)來拍攝外界環境以取得數位化之外界環境影像；之後，將此一數位化之外界環境影像作為影像背景、並將電腦繪製之虛擬影像整合於此影像背景上並獲得一整合影像；然後，再將此兼具有外界環境影像與電腦虛擬影像的整合影像播放於該完全不透光的顯示面板上。MR智慧眼鏡與前述第一種AR智慧眼鏡兩者技術上最大的差異，乃是使用混合實境技術的MR智慧眼鏡，其電腦虛擬影像並非只是單純被重疊到攝像鏡頭所拍攝到之外界環境影像而已。相對地，在MR智慧眼鏡中，由電腦繪製之虛擬影像，會依據攝像鏡頭所拍攝到之外界環境影像中的物體輪廓、尺寸、位置、角度等資訊，來調整電腦虛擬影像中所出現之物體的種類、尺寸、位置、角度等等，並將此調整後之電腦虛擬影像「整合」而非單純「貼」到外界環境影像上，並據以構成一整合影像供完全不透光的顯示面板來播放。雖然，在MR技術中，電腦虛擬影像和外界環境影像能有較高的互動性、關聯性與 整合度，但是，也由於此種MR智慧眼鏡是使用完全不透光顯示面板來播放由攝像鏡頭拍攝到之外界環境影像與與電腦虛擬影像的整合影像，所以，其所播放之影像品質會受到攝像鏡頭的品質與外界環境光很大的影響。換言之，倘若外界環境不夠明亮、或是攝像鏡頭的感光度、解析度或防震功能不夠好，就會導致使用者透過MR智慧眼鏡看到的影像背景部分黯淡、不清晰或晃動，所以在應用上仍有其侷限性。

智慧眼鏡也被嘗試應用在醫療相關的領域中。舉例來說，在以內視鏡(Endoscope)進行微創手術的過程中，醫療人員不僅可透過頭戴式顯示器(Head-Mounted Display；簡稱HMD)觀看由內視鏡所拍攝到之病人人體內部組織影像，同時，在頭戴式顯示器上還能同時顯示出病人即時的生理狀態數值，例如脈搏數、血壓值等等。這種技術類似於前述第一種AR智慧眼鏡，只不過其攝像模組是拍攝病人人體內部組織影像、而非外界環境影像。顯然地，此一技術最大的問題，是醫療人員在手術過程中僅能看到人體內部組織影像及病人生理狀態數值，完全無法看到外界真實環境影像；並且，頭戴式顯示器所顯示出的生理狀態數值與內視鏡拍攝到之人體內部組織影像兩者獨立不互動、也無關聯。另一種應用方式，則是使用類似第二種AR智慧眼鏡，讓醫療人員在進行外科手術時，可以透過可透光的眼鏡片來看到包含病人外觀實體的外界真實環境影像、同時AR智慧眼鏡還能藉由一投影器將相關的醫療輔助資訊加以投影讓醫療人員觀看；此所述的醫療輔助資訊可以包括病人即時的生理狀態數值、或是事先拍攝到的手術標的(例如病人的體內組織或器官)的影像。只不過，此種應用方式，其投影出來的醫療輔助資訊和現實外界環境影像兩者是各自獨立不互動的，包含這些輔助資訊的投影影像並不會和醫療人員透過眼鏡片所看到的病人外觀實體產生互動而改變其尺寸、位置或角度；此外，醫療人員在手術過程中僅能藉由眼鏡片看到病人外觀實體，無法看到位於病人體內之手術標的組織或器官相對於該病人外觀實體的精確位置。

因此，本發明的主要目的是提供一智慧眼鏡、系統及其使用 方法，其不僅可讓使用者透過可透光的眼鏡片觀看到包括一標的物之現實外觀的外界影像，還藉由至少一投影模組將事先獲得之該標的物的一內部標的影像投影出、並使該標的物之該內部標的影像在使用者的視覺上能對準重疊在該標的物的該現實外觀上。藉此，使用者不僅可透過智慧眼鏡的眼鏡片直接看到標的物之現實外觀、同時還能看到該標的物之該內部標的影像被重疊在該標的物之現實外觀的相對應位置上，進而能明確得知該內部標的在該標的物之現實外觀下的正確尺寸、位置及旋轉角度。就算使用者移動頭部或是智慧眼鏡，所投影出的該內部標的影像都會依據使用者透過眼鏡片所能看到之標的物現實外觀的尺寸、位置及旋轉角度，來配合調整所投影出之該內部標的的尺寸、位置及旋轉角度，使得內部標的在使用者的視覺上能持續性地維持以正確的尺寸、位置及角度被重疊在該標的物之現實外觀上。

本發明的另一目的是提供一智慧眼鏡、系統及其使用方法，其藉由智慧眼鏡來提供擴增實境(AR)功能以協助進行動物體內手術操作，使醫療人員在手術過程中可同時看到接受手術之動物的現實立體(3D)外觀、以及在視覺上被精準重疊在現實立體外觀表面上之該動物的體內組織或器官的立體投影影像。

為達前述目地，本發明提供一智慧眼鏡，包括：一鏡架；至少一可透光鏡片，固定於該鏡架上且是位於該鏡架之一前端面側；該至少一可透光鏡片包含可透光之一左眼鏡片區及一右眼鏡片區；至少兩影像擷取模組，包括一左影像擷取模組及一右影像擷取模組；該左影像擷取模組及該右影像擷取模組分別結合於該鏡架之該前端面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於擷取來自外界之一左眼擷取影像及一右眼擷取影像；至少兩投影模組，包括一左投影模組及一右投影模組；該左投影模組及該右投影模組分別結合於該鏡架之一內面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於投射出一左眼投影像及一右眼投影像；至少兩部分反射元件，包括一左部分反射元件及一右部分反 射元件；該左部分反射元件及該右部分反射元件分別位於該鏡架之該內面側且是分別對應於該左投影模組及該投影模組，且分別用於將來自該左投影模組及該投影模組的該左眼投影像及該右眼投影像加以反射、以及讓分別來自該左眼鏡片區及該右眼鏡片區的一左眼外界影像及一右眼外界影像通過；以及一控制模組，電性連接於該至少兩影像擷取模組及該至少兩投影模組，用於控制該至少兩影像擷取模組及該至少兩投影模組的操作。

於一實施例中，於該鏡架之左、右兩側邊分別延伸出一左耳掛及一右耳掛，於該左耳掛及該右耳掛中的至少其中之一設置有一揚聲器，且該揚聲器是電性連接於該控制模組；當一使用者配戴該智慧眼鏡時，該揚聲器是對應於該使用者的一耳朵，且該左眼鏡片區及該右眼鏡片區是分別對應於該使用者的一左眼及一右眼，使得該使用者的該左眼及該右眼分別可以透過可透光之該左眼鏡片區及該右眼鏡片區看到該左眼外界影像及該右眼外界影像；其中，該左影像擷取模組所擷取到之該左眼擷取影像是對應於該左眼外界影像，且該右影像擷取模組所擷取到之該右眼擷取影像是對應於該右眼外界影像；其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射後會射向該左眼，並重疊於該左眼看到之該左眼外界影像上；並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射後會射向該右眼，並重疊於該右眼看到之該右眼外界影像上；藉此，該使用者可透過該智慧眼鏡觀看到由該左眼投影像與該右眼投影像所構成之一立體投影像以半透明的方式重疊於使用者透過該左眼鏡片區及該右眼鏡片區所看到外界之一標的物上。

於一實施例中，於該標的物上係設置有至少兩定位元件，於各該定位元件上分別設置有至少兩標記；各該定位元件分別有一部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的一內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該標的物的該外表面之外；使用者透過該左眼鏡片區及該右眼鏡片區所分別看到的該 左眼外界影像與該右眼外界影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；該左影像擷取模組所擷取之該左眼擷取影像及該右影像擷取模組所擷取之該右眼擷取影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；藉由一內部造影設備對該標的物連同該至少兩定位元件一起進行造影掃描，以獲得該標的物之該內部標的部連同該至少兩定位元件一起的一立體造影影像；藉由一影像處理裝置來接收並處理該立體造影影像以及該左眼擷取影像與該右眼擷取影像；該影像處理裝置係依據該立體造影影像來產生該左眼投影像及該右眼投影像，使得該左眼投影像及該右眼投影像中分別都包含該內部標的部與該至少兩定位元件；並且，該左眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像中的該至少兩定位元件上的該至少兩標記，且該右眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像中的該至少兩定位元件上的該至少兩標記；該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射而射向該左眼時，該左眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該左眼看到之該左眼外界影像上所包含的該至少兩定位元件上的該至少兩標記，並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射而射向該右眼時，該右眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該右眼看到之該右眼外界影像上所包含的該至少兩定位元件上的該至少兩標記；藉此，使用者可透過該智慧眼睛看見該標的物的該內部標的部之立體投影像以半透明的方式被準確投影重疊於該標的物上。

於一實施例中，該使用者係手持操作一工具，於該工具上設置有至少兩工具標記；於該立體造影影像中不會包含該工具的影像，但是，在該左眼擷取影像、該右眼擷取影像、該左眼外界影像、及該右眼外界影像中都至少包含了該工具的該至少兩工具標記的部分；當該影像處理裝置進行該左眼投影像及該右眼投影像的產生工作時，會依據該左眼擷取影像 及該右眼擷取影像中所包含之該至少兩工具標記的位置來將該工具的一虛擬影像分別繪製入該左眼投影像及該右眼投影像中，讓使用者可透過該智慧眼睛看見該工具的該虛擬影像被準確投影重疊於該工具上；藉此，即使該工具的一前端是插入該標的物的內部中，使用者仍可透過該智慧眼睛看見該工具之該虛擬影像中所包含的該工具前端。

於一實施例中，該內部造影設備是以下其中之一：核磁共振儀(Magnetic Resonance Imaging；簡稱MRI)、X射線螢光透視攝影機(X-Ray Fluoroscopy)、電腦斷層掃描機(Computed Tomography；簡稱CT)；該影像處理裝置是一電腦。

於一實施例中，該部分反射元件是以下其中之一：具有直角等腰三角形截面且其中一表面設有有光學膜之稜鏡、或是設置於該可透光鏡片上的一部分反射層；該智慧眼鏡更包括有一頭掛板及一機體盒；該頭掛板是一C形片狀結構其是位於該使用者的一頭頂且是自該使用者的一前額延伸至該使用者的一後腦杓；該頭掛板的前端是連接於該鏡架，該頭掛板的後端是設置該機體盒，於該機體盒中容置有該控制模組；並且，該控制模組更包括有：一主控制單元、一記憶模組、一電源模組、及一通訊模組；該控制模組是藉由埋設於該頭掛板中的至少一訊號排線電性連接於該左影像擷取模組、該右影像擷取模組、該左投影模組、該右投影模組及該揚聲器；該通訊模組包括以下至少其中之一通訊介面：通用序列埠(USB)、無線區域網路(WiFi)、有線區域網路(LAN)、藍芽(Bluetooth)。

於一實施例中，本發明之智慧眼鏡系統，除了該智慧眼鏡之外，還包括了：一內部造影設備，用於對一標的物連同至少兩定位元件一起進行造影掃描，以獲得該標的物之一內部標的部連同該至少兩定位元件一起的一立體造影影像；其中，於各該定位元件上分別設置有至少兩標記；各該定位元件分別有一部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的該內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該標的物的該外表面之外； 其中，使用者透過該左眼鏡片區及該右眼鏡片區所分別看到的該左眼外界影像與該右眼外界影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；其中，該左影像擷取模組所擷取之該左眼擷取影像及該右影像擷取模組所擷取之該右眼擷取影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；以及一影像處理裝置，接收並處理該立體造影影像以及該左眼擷取影像與該右眼擷取影像；該影像處理裝置係依據該立體造影影像來產生該左眼投影像及該右眼投影像，使得該左眼投影像及該右眼投影像中分別都包含該內部標的部與該至少兩定位元件；並且，該左眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像中的該至少兩定位元件上的該至少兩標記，且該右眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像中的該至少兩定位元件上的該至少兩標記；其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射而射向該左眼時，該左眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該左眼看到之該左眼外界影像上所包含的該至少兩定位元件上的該至少兩標記，並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射而射向該右眼時，該右眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該右眼看到之該右眼外界影像上所包含的該至少兩定位元件上的該至少兩標記；藉此，使用者可透過該智慧眼睛看見該標的物的該內部標的部之立體投影像以半透明的方式被準確投影重疊於該標的物上。

於一實施例中，本發明之智慧眼鏡的使用方法，包括下列步驟：步驟(A)：提供一標的物，於該標的物上係設置有至少兩定位元件，於各該定位元件上分別設置有至少兩標記；各該定位元件分別有一部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的一內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該 標的物的該外表面之外；步驟(B)：提供該標的物之該內部標的部的一立體造影影像，該立體造影影像包含了該標的物之該內部標的部與該至少兩定位元件的影像；步驟(C)：以該智慧眼鏡上的該左影像擷取模組及該右影像擷取模組分別來擷取該標的物之該外表面的該左眼擷取影像及該右眼擷取影像，該左眼擷取影像及該右眼擷取影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；步驟(D)：依據該左眼擷取影像及該右眼擷取影像中的該至少兩定位元件暴露於該外表面之外的該至少兩標記，來調整該立體造影影像的一縮放比例、一座標位置及一旋轉角度，使該立體造影影像中所包含之該至少兩定位元件的該至少兩標記分別對準與該左眼擷取影像及該右眼擷取影像中的該至少兩定位元件暴露於該外表面之外的該至少兩標記，並據以分別產生一左眼投影像及一右眼投影像；其中，該左眼投影像及該右眼投影像中分別都包含該內部標的部與該至少兩定位元件；並且，該左眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像中的該至少兩定位元件上的該至少兩標記，且該右眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像中的該至少兩定位元件上的該至少兩標記；步驟(E)：藉由該左投影模組將將該左眼投影像加以投影，且藉由該右投影模組將將該右眼投影像加以投影；其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射後會重疊於來自該左眼鏡片區穿透該左部分反射元件後之該左眼外界影像上，且該左眼投影像中的該至少兩標記會分別對準重疊於該左眼外界影像上所包含的至少兩標記；並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射後會重疊於來自該右眼鏡片區穿透該右部分反射元件後之該右眼外界影像上，且該右眼投影像中的該至少兩標記會分別對準重疊於該右眼外界影像上所包含的至少兩標記。

於一實施例中，於所述的步驟(C)中，該左眼擷取影像及該右眼擷取影像中更包含一工具的影像，於該工具上設置有至少兩工具標 記；於該立體造影影像中不會包含該工具的影像，但是，在該左眼擷取影像、該右眼擷取影像、該左眼外界影像、及該右眼外界影像中都更包括了該工具的該至少兩工具標記的部分；所述的步驟(D)更包括有下列步驟：步驟(D1)：辨識該立體造影影像中所包含之該至少兩定位元件的該至少兩標記，並且，辨識該左眼擷取影像及該右眼擷取影像中所包含之該至少兩定位元件的該至少兩標記、以及該工具的該至少兩工具標記；步驟(D2)：依據該左眼擷取影像中所包含之該至少兩定位元件的該至少兩標記之間的相對座標位置、大小比例、及旋轉軸角度，來調整該立體造影影像的座標位置、大小比例、及旋轉軸角度、以及產生該工具的一虛擬影像，使得該立體造影影像中所包含之該些標記分別對準於該左眼擷取影像中的該些標記、且同時該工具的該虛擬影像是對準於該左眼擷取影像中的該工具標記；並且，依據該右眼擷取影像中所包含之該至少兩定位元件的該至少兩標記之間的相對座標位置、大小比例、及旋轉軸角度，來調整該立體造影影像的座標位置、大小比例、及旋轉軸角度、以及產生該工具的該虛擬影像，使得該立體造影影像中所包含之該些標記分別對準於該右眼擷取影像中的該些標記、且同時該工具的該虛擬影像是對準於該右眼擷取影像中的該工具標記；步驟(D3)：依據步驟(D2)的調整結果來產生該左眼投影像及該右眼投影像；其中，該左眼投影像及該右眼投影像分別包含了該標的物之該內部標的部、該至少兩定位元件、以及該工具的該虛擬影像。

10‧‧‧智慧眼鏡

11‧‧‧鏡架

12‧‧‧鏡片

13‧‧‧影像擷取模組

14‧‧‧投影模組

15、15a‧‧‧部分反射元件

16‧‧‧控制模組

161‧‧‧主控制單元

1611‧‧‧影像輸入模組

1612‧‧‧影像輸出模組

162‧‧‧記憶模組

163‧‧‧電源模組

164‧‧‧通訊模組

17‧‧‧耳掛

171‧‧‧揚聲器

18‧‧‧頭掛板

180‧‧‧排線

181‧‧‧後端面

182‧‧‧軟墊

19‧‧‧電路板

20‧‧‧機體盒

30‧‧‧標的物

31‧‧‧外表面

32‧‧‧內部標的部

41、42‧‧‧定位元件

411、421‧‧‧標記

412、422‧‧‧底端

43‧‧‧工具

43a‧‧‧工具的虛擬影像

431‧‧‧工具標記

432‧‧‧前端

51‧‧‧內部造影設備

52‧‧‧影像處理裝置

61-65、641-643‧‧‧步驟

71-74‧‧‧影像

9‧‧‧使用者

91‧‧‧眼

92‧‧‧手

本發明的較佳實施例及可達成功效將搭配以下圖式具體說明之，其中：圖一為本發明之智慧眼鏡的第一較佳實施例的示意圖；圖二為本發明之智慧眼鏡的第二較佳實施例的示意圖； 圖三A是本發明之智慧眼鏡的第一較佳實施例的立體外觀圖(第一視角)；圖三B是本發明之智慧眼鏡的第一較佳實施例的立體外觀圖(第二視角)；圖四為本發明之智慧眼鏡系統的一較佳實施例的元件方塊示意圖；圖五為本發明之智慧眼鏡的使用方法的一較佳實施例流程圖；圖六為本發明之智慧眼鏡的使用方法中所述之調整立體造影影像的縮放比例、座標位置及旋轉角度的流程步驟；圖七A為本發明之智慧眼鏡的使用方法中，由影像擷取模組擷取到之標的物外觀的擷取影像(C_L、C_R)的示意圖；圖七B為本發明之智慧眼鏡的使用方法中依據立體造影影像(O_3D)所產生之左、右透視影像(O_L、O_R)的示意圖；圖七C為本發明之智慧眼鏡的使用方法中所產生之左、右眼投影像(P_L、P_R)的示意圖；以及圖七D為本發明之智慧眼鏡的使用方法中，使用者藉由智慧眼鏡所能看到的擴增實境(AR)影像的示意圖。

本發明是關於一智慧眼鏡、系統及其使用方法，其不僅可讓使用者透過可透光的眼鏡片觀看到包括一標的物之現實外觀的外界影像，還藉由至少一投影模組將事先獲得之該標的物的一內部標的影像投影出、並使該標的物之該內部標的影像在使用者的視覺上能對準重疊在該標的物的該現實外觀上。藉此，使用者不僅可透過智慧眼鏡的眼鏡片直接看到標的物之現實外觀、同時還能看到該標的物之該內部標的影像被重疊在該標的物之現實外觀的相對應位置上，進而能明確得知該內部標的在該標的物之現實外觀下的正確尺寸、位置及旋轉角度。就算使用者移動頭部或是智慧眼鏡，所投影出的該內部標的影像都會依據使用者透過眼鏡片所能看到之標的物現實外觀的尺寸、位置及旋轉角度，來配合調整所投影出之該內部標的的尺寸、位置及旋轉角度，使得內部標的在使用者的視覺上能持續 性地維持以正確的尺寸、位置及角度被重疊在該標的物之現實外觀上。

請參閱圖一、圖三A及圖三B所示；其中，圖一為本發明之智慧眼鏡的第一較佳實施例的示意圖；圖三A是本發明之智慧眼鏡的第一較佳實施例的立體外觀圖(第一視角)；圖三B是本發明之智慧眼鏡的第一較佳實施例的立體外觀圖(第二視角)。本發明的智慧眼鏡系統可適用於協助執行動物體內手術操作，藉由智慧眼鏡10提供擴增實境(AR)功能，使配戴智慧眼鏡10的醫療人員(使用者)在手術過程中可同時看到接受手術之動物的現實立體(3D)外觀、以及在視覺上被精準重疊在現實立體外觀表面上之該動物的體內組織或器官的立體投影影像。就算醫療人員移動頭部或是智慧眼鏡，所投影出的該體內組織或器官的立體投影影像都會依據醫療人員透過眼鏡片所能看到之動物的現實外觀的尺寸、位置及旋轉角度，來配合調整所投影出之該體內組織或器官的尺寸、位置及旋轉角度，使得該體內組織或器官在使用者的視覺上能持續性地維持以正確的尺寸、位置及角度被重疊在該動物的現實外觀上。

值得一提的是，雖然在圖一所示之第一較佳實施例中，本發明智慧眼鏡及系統是適用於協助執行動物體內手術操作；然而，這並非本發明之智慧眼鏡唯一能適用的技術領域。於本發明之另一實施例中，本發明智慧眼鏡及系統也可以適用於協助執行非生命體標的物的內部採樣或修補操作，例如但不侷限於：對考古文物以最小破壞方式進行內部採樣或修補工作。藉由智慧眼鏡提供擴增實境(AR)功能，使配戴智慧眼鏡的技術人員在採樣(或修補)過程中可同時看到接受採樣(或修補)之考古文物的現實立體(3D)外觀、以及在視覺上被精準重疊在現實立體外觀表面上之該考古文物內部物件或材料的立體投影影像。就算技術人員移動頭部或是智慧眼鏡，所投影出的該內部物件或材料的立體投影影像都會依據技術人員透過眼鏡片所能看到之考古文物的現實外觀的尺寸、位置及旋轉角度，來配合調整所投影出之該內部物件或材料的尺寸、位置及旋轉角度，使得該內部物件或材料在技術人員的視覺上能持續性地維持以正確的尺寸、位置及角度被重疊在該考古文物的現實外觀上。

如圖一、圖三A及圖三B所示，於本發明中，該智慧眼鏡10包括：一鏡架11、至少一可透光鏡片12、至少兩影像擷取模組13(image capturing module)、至少兩投影模組14(image projecting module)、至少兩部分反射元件15(partially reflecting unit)、以及一控制模組16。該控制模組16是電性連接於該至少兩影像擷取模組13及該至少兩投影模組14，可用於控制該至少兩影像擷取模組13及該至少兩投影模組14的操作。

該鏡架11對本發明智慧眼鏡10的所有元件提供了支撐與定位的結構。於該鏡架11之左、右兩側邊分別延伸出一左耳掛17及一右耳掛17。於該左、右耳掛17中的至少其中之一設置有一揚聲器171(Speaker)，且該揚聲器171是電性連接於該控制模組16。當一使用者9配戴該智慧眼鏡10時，該左、右耳掛17可分別掛在使用者9的左、右耳朵上，且該揚聲器171的位置是對應於該使用者9的左耳朵、右耳朵或兩者，以供播放語音或提示音給使用者聽。該至少一可透光鏡片12是固定於該鏡架11上且是位於該鏡架11之一前端面側。該至少一可透光鏡片12包含可透光之一左眼鏡片區及一右眼鏡片區。該左眼鏡片區及該右眼鏡片區是分別對應於該使用者9的一左眼及一右眼91，使得該使用者9的該左眼及該右眼91分別可以經由可透光之該左眼鏡片區及該右眼鏡片區看到來自外界標的物30真實實體的一左眼外界影像(B_L)及一右眼外界影像(B_R)。

該至少兩影像擷取模組13包括一左影像擷取模組13及一右影像擷取模組13。該左影像擷取模組13及該右影像擷取模組13分別結合於該鏡架11之該前端面側且是分別對應於該左眼鏡片區及該右眼鏡片區的上方，且分別用於擷取來自外界標的物30之一左眼擷取影像(C_L)及一右眼擷取影像(C_R)。其中，該左影像擷取模組13所擷取到之該左眼擷取影像(C_L)是對應於使用者9左眼透過該左鏡片區所能觀看到的該左眼外界影像(B_L)，且該右影像擷取模組13所擷取到之該右眼擷取影像(C_R)是對應於使用者右眼91透過該右鏡片區所能觀看到的該右眼外界影像(B_R)。換言之，於本實施例中，C_L=B_L，且C_R=B_R。

該至少兩投影模組14包括一左投影模組14及一右投影模組14。該左投影模組14及該右投影模組14分別結合於該鏡架11前端之一內面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於投射出一左眼投影像(P_L)及一右眼投影像(P_R)。該至少兩部分反射元件15包括一左部分反射元件及一右部分反射元件。該左部分反射元件及該右部分反射 元件分別位於該鏡架11前端之該內面側且是分別對應於該左投影模組14及該投影模組14，且分別用於將來自該左投影模組14及該投影模組14的該左眼投影像(P_L)及該右眼投影像(P_R)加以反射改向、以及讓分別來自該左眼鏡片區及該右眼鏡片區的該左眼外界影像(B_L)及該右眼外界影像(B_R)通過。其中，該左投影模組14所投影出之該左眼投影像(P_L)在經由該左部分反射元件15反射後會射向該左眼，並在視覺上會重疊於該左眼看到之該左眼外界影像(B_L)上；亦即，使用者左眼所看到的影像會是P_L+B_L。並且，該右投影模組14所投影出之該右眼投影像(P_R)在經由該右部分反射元件15反射後會射向該右眼，並在視覺上會重疊於該右眼看到之該右眼外界影像(B_R)上；亦即，使用者右眼所看到的影像會是P_R+B_R。藉此，該使用者可透過該智慧眼鏡10觀看到由該左眼投影像(P_L)與該右眼投影像(P_R)所構成之一立體投影像在視覺上以半透明的方式重疊於使用者透過該左眼鏡片區及該右眼鏡片區所看到外界之該標的物30的立體實體上。於本實施例中，該部分反射元件15是具有直角等腰三角形截面且其中一表面設有光學膜的稜鏡。藉由稜鏡本身材質、光學膜以及空氣三者之光折射率的安排，可以讓來自左、右眼鏡片區的大部分外界影像光線都通過設有光學膜的表面並分別射向使用者9的左、右眼91；並且，可讓來自左、右投影模組14的大部分投影像光線都能被設有光學膜的表面反射並分別射向使用者9的左、右眼91。

請參閱圖二，為本發明之智慧眼鏡的第二較佳實施例的示意圖。於圖二所示的本發明智慧眼鏡10的第二較佳實施例中，由於絕大部分的元件都相同或類似於圖一所示之本發明智慧眼鏡的第一較佳實施例，所以，相同或進似的元件將給予相同的元件名稱以及編號，且不贅述其細節。如圖二所示之本發明智慧眼鏡10的第二較佳實施例與圖一所示第一較佳實施例的唯一不同點在於：於圖二所示之第二較佳實施例中，該部分反射元件15a是設置於該可透光鏡片12上的一部分反射層，而該左、右投影模組14投影方向則是以一預設的斜角度朝向由該部分反射層構成的該部分反射元件。藉由該可透光鏡片12本身材質、部分反射層以及空氣三者之光折射率的安排，可以讓來自左、右眼鏡片區的大部分外界影像(B_L、B_R)光線都通過部分反射層(部分反射元件15a)並分別射向使用者9的左、右眼91；並 且，可讓來自左、右投影模組14的大部分投影像(P_L、P_R)光線都能被該部分反射層(部分反射元件15a)反射並分別射向使用者9的左、右眼91。

請參閱圖四，為本發明之智慧眼鏡系統的一較佳實施例的元件方塊示意圖。於本發明之一較佳實施例中，該智慧眼鏡系統包括：至少一智慧眼鏡10、一內部造影設備51、以及一影像處理裝置52。其中，該內部造影設備51是以下其中之一：核磁共振儀(Magnetic Resonance Imaging；簡稱MRI)、X射線螢光透視攝影機(X-Ray Fluoroscopy)、電腦斷層掃描機(Computed Tomography；簡稱CT)，可用於對一動物(例如人體)進行掃描並獲得人體內部組織、器官或骨骼的立體造影影像。此外，該影像處理裝置52是一電腦。

如圖一及圖四所示，於該標的物30上係設置有至少兩定位元件41、42，於各該定位元件41、42上分別設置有至少兩標記411、421。各該定位元件41、42分別是硬質固體材料(例如但不侷限於：金屬合金、陶瓷等)所製成之長細桿狀結構，其具有一底端412、422部份是由該標的物30的一外表面31穿刺入該標的物30的內部並結合定位於該標的物30的一內部標的部32上，並且，各該定位元件41、42上的該至少兩標記411、421是暴露於該標的物30的該外表面31之外。使用者9透過該左眼鏡片區及該右眼鏡片區所分別看到的該左眼外界影像(B_L)與該右眼外界影像(B_R)中分別都包含該標的物30之該外表面31以及該至少兩定位元件41、42暴露於該外表面31之外的部分，但看不見隱藏於該標的物30內部之該內部標的部32、也看不到該至少兩定位元件41、42已插入該標的物30內的底端412、422部分。同理，該左影像擷取模組13所擷取之該左眼擷取影像(C_L)、及該右影像擷取模組13所擷取之該右眼擷取影像(C_R)中也分別都包含該標的物30之該外表面31以及該至少兩定位元件41、42暴露於該外表面31之外的部分，但不包含隱藏於該標的物30內部之該內部標的部32、也不包含該至少兩定位元件41、42已插入該標的物30內的底端412、422部分。

於本發明中，藉由一內部造影設備51事先對該標的物30連同該至少兩定位元件41、42一起進行造影掃描，以獲得該標的物30之一內部標的部32連同完整之該至少兩定位元件41、42一起的一立體造影影像(O_3D)。之後，藉由一影像處理裝置52來接收並處理該立體造影影像(O_3D) 以及該左眼擷取影像(C_L)與該右眼擷取影像(C_R)。該影像處理裝置52係依據該左眼擷取影像(C_L)與該右眼擷取影像(C_R)中所包含之該至少兩定位元件41、42上的該至少兩標記411、421的相對尺寸、位置及角度，來調整該立體造影影像(O_3D)的尺寸、位置及角度，使立體造影影像(O_3D)所包含的該至少兩定位元件41、42上的該至少兩標記411、421的尺寸、位置及角度恰可分別對準於該左眼擷取影像(C_L)與該右眼擷取影像(C_R)中所包含之該至少兩定位元件41、42上的該至少兩標記411、421，並據以產生該左眼投影像(P_L)及該右眼投影像(P_R)。於一實施例中，由該影像處理裝置52產生之該左眼投影像(P_L)及該右眼投影像(P_R)中分別都包含該內部標的部32與該至少兩定位元件41、42。並且，該左眼投影像(P_L)中的該至少兩定位元件41、42上的該至少兩標記411、421是分別對準重疊於該左眼擷取影像(C_L)中的該至少兩定位元件41、42上的該至少兩標記411、421，且該右眼投影像(P_R)中的該至少兩定位元件41、42上的該至少兩標記411、421是分別對準重疊於該右眼擷取影像(C_R)中的該至少兩定位元件41、42上的該至少兩標記411、421。換言之，於本發明之智慧眼鏡系統中，該左投影模組14所投影出之該左眼投影像(P_L)在經由該左部分反射元件15反射而射向該左眼91時，該左眼投影像(P_L)中的該至少兩定位元件41、42上的該至少兩標記411、421在使用者9的視覺上會分別對準重疊於該左眼91看到之該左眼外界影像(B_L)上所包含的該至少兩定位元件41、42上的該至少兩標記411、421；並且，該右投影模組14所投影出之該右眼投影像(P_R)在經由該右部分反射元件15反射而射向該右眼91時，該右眼投影像(P_R)中的該至少兩定位元件41、42上的該至少兩標記411、421在使用者9的視覺上會分別對準重疊於該右眼91看到之該右眼外界影像(B_R)上所包含的該至少兩定位元件41、42上的該至少兩標記411、421。藉此，使用者9可透過該智慧眼睛10看見該標的物30的該內部標的部32之立體投影像以半透明的方式被準確投影重疊於該標的物30上。就算使用者9移動頭部或是智慧眼鏡10，所投影出的該內部標的部32影像都會依據使用者9透過眼鏡片12所能看到之標的物30現實外觀的尺寸、位置及旋轉角度，來配合調整所投影出之該內部標的部32的尺寸、位置及旋轉角度，使得內部標的部32在使用者9的視覺上能持續性地維持以正確的尺寸、位置及角度被 重疊在該標的物30之現實外觀上，讓使用者9能透過智慧眼鏡10看到隱藏於該標的物30內之該內部標的部32的精確形狀、尺寸、位置及角度。

本發明之智慧眼鏡系統定位元件41、42之所以使用硬質固體材料製作且是插入並固定在內部標的部32處，可以確保定位元件41、42上之標記411、421位置與內部標的部32的相對位置與角度不會因為標的物30(例如動物)改變其姿勢或位置(例如平躺或側躺)而產生誤差。舉例來說，倘若標記411、421是被標示在標的物30外表面，例如動物的皮膚或軟組織上時，將會因為表面柔軟的皮膚或軟組織會在標的物30(例如動物)改變其姿勢或位置產生伸展、擠壓、彎折等現象，而導致位於標的物外表面上的標記411、421和其內部標的部32的相對位置與角度產生誤差。

於圖一所示之第一較佳實施例中，當使用者9配戴著智慧眼鏡10在進行醫療手術時，該使用者9係手持操作一工具43，且於該工具43上也設置有至少兩工具標記431。由於當內部造影設備51事先對該標的物30進行造影掃描時，該工具43不會出現，所以，該立體造影影像(O_3D)中不會包含該工具43的影像，而只會包含該標的物30之內部標的部32及該至少兩定位元件41、42。但是，在該左眼擷取影像(C_L)、該右眼擷取影像(C_R)、該左眼外界影像(B_L)、及該右眼外界影像(B_R)中，則都至少會包含了該工具43的該至少兩工具標記431的部分。當該影像處理裝置52進行該左眼投影像(P_L)及該右眼投影像(P_R)的產生工作時，會依據該左眼擷取影像(C_L)及該右眼擷取影像(C_R)中所包含之該至少兩工具標記431的相對尺寸、位置及角度，來將該工具43的一虛擬影像分別繪製入該左眼投影像(P_L)及該右眼投影像(P_R)中，讓使用者9可透過該智慧眼鏡10看見該工具43的該虛擬影像被準確投影重疊於該左眼外界影像(B_L)及該右眼外界影像(B_R)中所包含的工具43實體上。藉此，在進行醫療手術的過程中，即使該工具43的一前端432是插入該標的物的內部，導致使用者9無法透過可透光鏡片12看到工具43前端432的位置時，使用者9仍可透過該智慧眼睛10看見該工具43之該虛擬影像中所包含的該工具前端432的位置與形狀及其相對於該內部標的部32的角度與距離，進而可精準對該標的物30之內部標的部32進行醫療操作。於本實施例中，該立體造影影像(O_3D)是儲存於該影像處理裝置52的一第一資料庫、而該工具43的虛擬影像則是儲存於該 影像處理裝置52的一第二資料庫。

如圖一及圖四所示，於本實施例中，該智慧眼鏡10更包括有一頭掛板18、一電路板19及一機體盒20。該頭掛板18是一C形片狀結構其是位於該使用者9的一頭頂且是自該使用者9的一前額延伸至該使用者9的一後腦杓，可協助讓使用者9(醫療人員)以更舒適與穩定的方式來配戴該智慧眼鏡10。該頭掛板18的前端是連接於該鏡架11，該頭掛板18的後端是設置該機體盒20，藉由將較具重量的鏡架11與機體盒20分別設置在頭掛板18的前、後兩端，可使智慧眼鏡10的前、後端配重平衡，不僅配戴時更為舒適與穩定，且即使使用者9帶著智慧眼鏡10低頭也不會有掉落的危險。此外，於頭掛板18的後端面181可設置軟墊182，可進一步提高穿戴舒適性。該控制模組16是容置於該機體盒20中，並且，該控制模組16更包括有：一主控制單元161、一記憶模組162、一電源模組163、及一通訊模組164。該控制模組16是藉由埋設於該頭掛板18中的至少一訊號排線180電性連接於該左影像擷取模組13、該右影像擷取模組13、該左投影模組14、該右投影模組14及該揚聲器171，可用於控制該至少兩影像擷取模組13、該至少兩投影模組14以及該揚聲器171的操作。該主控制單元161是藉由一影像輸入模組1611電性連接於該兩影像擷取模組13；該兩影像擷取模組13所擷取到的影像可藉由該影像輸入模組1611轉換為可供電腦判讀的數位訊號後傳送給主控制單元161處理。並且，該主控制單元161藉由一影像輸出模組1612電性連接於該兩投影模組14；由通訊模組164所接收到之來自該影像處理裝置52的影像串流訊號可藉由該影像輸出模組1612轉換為可供兩投影模組14播放(投影)的影像訊號。於本實施例中，該主控制單元161包含一或數個下列所述電子零件：中央處理器(CPU)、圖形處理器(GPU)、微控制單元(MCU)、微處理單元(MPU)等等。該通訊模組164是連接於該主控制單元161且可以提供與其他外界裝置(例如影像處理裝置52)之間的連接與通訊功能。於本實施例中，該通訊模組164支援以下所述連接介面標準及通訊協定的至少其中之一：通用序列埠(USB)、無線區域網路(WiFi)、有線區域網路(LAN)、藍芽(Bluetooth)等等。該智慧眼鏡10與影像處理裝置52之間的連接通訊方式可以是有線通訊或是無線通訊，但以無線通訊尤其是WiFi為較佳。該記憶模組162可供儲存有智慧眼鏡10作動時所需之 驅動程式、以及暫存擷取影像與該投影影像的串流資料。該電源模組163提供該智慧眼鏡10中各元件運作時所需的電源。該電源模組163至少包含一電池。

請參閱圖五，為本發明之智慧眼鏡的使用方法的一較佳實施例流程圖。本發明之智慧眼鏡10的使用方法包括有以下步驟：

步驟61：提供一標的物。於該標的物上係設置有至少兩定位元件，於各該定位元件上分別設置有至少兩標記。各該定位元件分別有一底端部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的一內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該標的物的該外表面之外。

步驟62：掃描標的物並取得標的物的一立體造影影像。亦即，藉由一內部造影設備事先對該標的物連同該至少兩定位元件一起進行造影掃描，以提供該標的物之該內部標的部的一立體造影影像(O_3D)。該立體造影影像包含了該標的物之該內部標的部與該至少兩定位元件的影像。該立體造影影像(O_3D)是被傳送並儲存在該影像處理裝置的第一資料庫。

步驟63：以智慧眼鏡上的影像擷取模組拍攝標的物的外觀影像。亦即，以該智慧眼鏡上的該左影像擷取模組及該右影像擷取模組分別來擷取該標的物之該外表面的該左眼擷取影像(C_L)及該右眼擷取影像(C_R)。請參閱圖七A所示，為本發明之智慧眼鏡的使用方法中，由影像擷取模組擷取到之標的物外觀的擷取影像71(C_L、C_R)的示意圖。如圖七A所示，該左眼擷取影像(C_L)及該右眼擷取影像(C_R)中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分。於本實施例中，該左眼擷取影像(C_L)及該右眼擷取影像(C_R)中更包含使用者手持一工具的影像，於該工具上設置有至少兩工具標記。由於使用者在手持工具進行醫療操作的過程中，工具的前端部會插入標的物中，而無法直接從標的物外觀的擷取影像71(C_L、C_R)來判斷工具前端部的具體位置。如前所述，配戴智慧眼鏡的使用者透過可透光鏡片之左眼鏡片區及右眼鏡片區所觀看到之左眼外界影像(B_L)及右眼外界影像(B_R)會分別和該左眼擷取影像(C_L)及該右眼擷取影像(C_R)相同。

值得一提的是，由於當內部造影設備事先對該標的物進行造影掃描時，該工具不會出現，所以，該立體造影影像(O_3D)中不會包含該工具的影像，而只會包含該標的物之內部標的部及該至少兩定位元件。如圖七B所示，為本發明之智慧眼鏡的使用方法中依據立體造影影像(O_3D)所產生之左、右透視影像72(O_L、O_R)的示意圖。於本實施例中，依據立體造影影像(O_3D)所產生之左、右透視影像72(O_L、O_R)中並不會包含工具的影像，而只會包含相對較清晰之內部標的部及該至少兩定位元件的影像、以及較模糊的標的物之外表面的影像。但是，在該左眼擷取影像(C_L)、該右眼擷取影像(C_R)、該左眼外界影像(B_L)、及該右眼外界影像(B_R)中都至少會包括該工具的該至少兩工具標記的部分。該工具43的虛擬影像則是預先儲存於該影像處理裝置52的一第二資料庫。

步驟64：依據外觀影像上的標記來調整該立體造影影像的縮放比例、座標位置及旋轉角度。亦即，由影像處理裝置接收來自智慧眼鏡的該左眼擷取影像(C_L)及該右眼擷取影像(C_R)，並自第一資料庫取出該立體造影影像(O_3D)。之後，該影像處理裝置依據該左眼擷取影像(C_L)及該右眼擷取影像(C_R)中的該至少兩定位元件暴露於該外表面之外的該至少兩標記，來調整該立體造影影像(O_3D)的一縮放比例、一座標位置及一旋轉角度，使該立體造影影像(O_3D)中所包含之該至少兩定位元件的該至少兩標記分別對準與該左眼擷取影像(C_L)及該右眼擷取影像(C_R)中的該至少兩定位元件暴露於該外表面之外的該至少兩標記，並據以分別產生一左眼投影像(P_L)及一右眼投影像(P_R)。如圖七C所示，為本發明之智慧眼鏡的使用方法中所產生之左、右眼投影像73(P_L、P_R)的示意圖。於本實施例中，該左眼投影像(P_L)及該右眼投影像(P_R)中分別都包含具相對較清晰輪廓的該內部標的部與該至少兩定位元件；並且，該左眼投影像(P_L)中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像(C_L)中的該至少兩定位元件上的該至少兩標記，且該右眼投影像(P_R)中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像(C_R)中的該至少兩定位元件上的該至少兩標記。並且，在該左眼投影像(P_L)及該右眼投影像(P_R)中也分別會包括由該影像處理裝置繪製的該工具的虛擬影像43a其係分別對準重疊在該左眼擷取影像 (C_L)及該右眼擷取影像(C_R)中的工具上。

步驟65：將調整後的影像以智慧眼鏡上的投影模組加以投影。亦即，藉由該左投影模組將將該左眼投影像(P_L)加以投影，且藉由該右投影模組將將該右眼投影像(P_R)加以投影。如圖七D所示，為本發明之智慧眼鏡的使用方法中，使用者藉由智慧眼鏡所能看到的擴增實境(AR)影像74的示意圖。於本實施例中，該左投影模組所投影出之該左眼投影像(P_L)在經由該左部分反射元件反射後會重疊於來自該左眼鏡片區穿透該左部分反射元件後之該左眼外界影像(B_L)上，且該左眼投影像(P_L)中的該至少兩標記會分別對準重疊於該左眼外界影像(B_L)上所包含的至少兩標記。並且，該右投影模組所投影出之該右眼投影像(P_R)在經由該右部分反射元件反射後會重疊於來自該右眼鏡片區穿透該右部分反射元件後之該右眼外界影像(B_R)上，且該右眼投影像(P_R)中的該至少兩標記會分別對準重疊於該右眼外界影像(B_R)上所包含的至少兩標記。換言之，透過本發明之智慧眼睛提供的擴增實境(AR)功能，穿戴智慧眼鏡的使用者於手術過程中，不僅可經由可透光之左、右眼鏡片區看到標的物外表面、使用者的手及工具的實體(如圖七D所示)，且同時又可以看到標的物之內部標的部的清晰立體影像以正確的尺寸與角度被精準投影在該標的物的正確位置上、以及該工具的虛擬影像43a也是以正確的尺寸與角度被精準投影在該工具上，使得原已插入標的物內部的工具頭端部分也能藉由該工具的虛擬影像43a來精確顯示工具頭端的位置，讓使用者可以精準地使用工具對標的物的內部標的部進行醫療操作。

請參閱圖六，為本發明之智慧眼鏡的使用方法中所述之調整立體造影影像的縮放比例、座標位置及旋轉角度的流程步驟。於本實施例中，圖五所示的步驟64是由影像處理裝置52執行，其係更包括有下列步驟：步驟641：辨識立體造影影像(O_3D)上的標記、以及辨識外觀影像(C_L、C_R)上的標記。亦即，影像處理裝置從第一資料庫中取出該立體造影影像(O_3D)，並辨識該立體造影影像(O_3D)中所包含之該至少兩定位元件的該至少兩標記；並且，影像處理裝置從一第二資料庫中取出預先儲存之該工具的該虛擬影像；此外，影像處理裝置接收來自智慧眼鏡之該左眼擷取影像及該右眼擷取影像，且辨識其中所包含之該至少兩定位 元件的該至少兩標記、以及該工具的該至少兩工具標記；步驟642：依據外觀影像(C_L、C_R)上的標記來調整使得立體投影影像(O_3D)上的標記的座標位置、旋轉角度及大小比例可符合外觀影像(C_L、C_R)之標記的透視影像(O_L、O_R)。亦即，依據該左眼擷取影像中所包含之該至少兩定位元件的該至少兩標記之間的相對座標位置、大小比例、及旋轉軸角度，來調整該立體造影影像的座標位置、大小比例、及旋轉軸角度、以及產生該工具的一虛擬影像，使得該立體造影影像中所包含之該些標記分別對準於該左眼擷取影像中的該些標記，並使該工具的該虛擬影像是對準於該左眼擷取影像中的該工具標記；並且，依據該右眼擷取影像中所包含之該至少兩定位元件的該至少兩標記之間的相對座標位置、大小比例、及旋轉軸角度，來調整該立體造影影像的座標位置、大小比例、及旋轉軸角度、以及產生該工具的該虛擬影像，使得該立體造影影像中所包含之該些標記分別對準於該右眼擷取影像中的該些標記、且同時該工具的該虛擬影像是對準於該右眼擷取影像中的該工具標記；步驟643：依據調整後之透視影像(O_L、O_R)來產生可供智慧眼鏡之投影模組投影的投影影像(P_L、P_R)。亦即，依據步驟642的調整結果來產生該左眼投影像及該右眼投影像；其中，該左眼投影像及該右眼投影像分別包含了取自第一資料庫之該標的物之該內部標的部、該至少兩定位元件、以及取自第二資料庫之該工具的該虛擬影像。

唯以上所述之實施例不應用於限制本發明之可應用範圍，本發明之保護範圍應以本發明之申請專利範圍內容所界定技術精神及其均等變化所含括之範圍為主者。即大凡依本發明申請專利範圍所做之均等變化及修飾，仍將不失本發明之要義所在，亦不脫離本發明之精神和範圍，故都應視為本發明的進一步實施狀況。

10‧‧‧智慧眼鏡

11‧‧‧鏡架

12‧‧‧鏡片

13‧‧‧影像擷取模組

14‧‧‧投影模組

15‧‧‧部分反射元件

16‧‧‧控制模組

17‧‧‧耳掛

171‧‧‧揚聲器

18‧‧‧頭掛板

180‧‧‧排線

19‧‧‧電路板

20‧‧‧機體盒

30‧‧‧標的物

31‧‧‧外表面

32‧‧‧內部標的部

41、42‧‧‧定位元件

411、421‧‧‧標記

412、422‧‧‧底端

43‧‧‧工具

431‧‧‧工具標記

432‧‧‧前端

9‧‧‧使用者

91‧‧‧眼

92‧‧‧手

Claims (10)

1. 一種智慧眼鏡，包括：一鏡架；至少一可透光鏡片，固定於該鏡架上且是位於該鏡架之一前端面側；該至少一可透光鏡片包含可透光之一左眼鏡片區及一右眼鏡片區；至少兩影像擷取模組，包括一左影像擷取模組及一右影像擷取模組；該左影像擷取模組及該右影像擷取模組分別結合於該鏡架之該前端面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於擷取來自外界之一左眼擷取影像及一右眼擷取影像；至少兩投影模組，包括一左投影模組及一右投影模組；該左投影模組及該右投影模組分別結合於該鏡架之一內面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於投射出一左眼投影像及一右眼投影像；至少兩部分反射元件，包括一左部分反射元件及一右部分反射元件；該左部分反射元件及該右部分反射元件分別位於該鏡架之該內面側且是分別對應於該左投影模組及該投影模組，且分別用於將來自該左投影模組及該投影模組的該左眼投影像及該右眼投影像加以反射、以及讓分別來自該左眼鏡片區及該右眼鏡片區的一左眼外界影像及一右眼外界影像通過；以及一控制模組，電性連接於該至少兩影像擷取模組及該至少兩投影模組，用於控制該至少兩影像擷取模組及該至少兩投影模組的操作。
2. 如申請專利範圍第1項所述的智慧眼鏡，其中，於該鏡架之左、右兩側邊分別延伸出一左耳掛及一右耳掛，於該左耳掛及該右耳掛中的至少其中之一設置有一揚聲器，且該揚聲器是電性連接於該控制模組；當一使用者配戴該智慧眼鏡時，該揚聲器是對應於該使用者的一耳朵，且該左眼鏡片區及該右眼鏡片區是分別對應於該使用者的一左眼及一右眼，使得該使用者的該左眼及該右眼分別可以透過可透光之該左眼鏡片區及該右眼鏡片區看到該左眼外界影像及該右眼外界影像；其中，該左影像擷取模組所擷取到之該左眼擷取影像是對應於該左眼外界影像，且該右影像擷取模組所擷取到之該右眼擷取影像是對應於該右眼外界影像； 其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射後會射向該左眼，並重疊於該左眼看到之該左眼外界影像上；並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射後會射向該右眼，並重疊於該右眼看到之該右眼外界影像上；藉此，該使用者可透過該智慧眼鏡觀看到由該左眼投影像與該右眼投影像所構成之一立體投影像以半透明的方式重疊於使用者透過該左眼鏡片區及該右眼鏡片區所看到外界之一標的物上。
3. 如申請專利範圍第2項所述的智慧眼鏡，其中：於該標的物上係設置有至少兩定位元件，於各該定位元件上分別設置有至少兩標記；各該定位元件分別有一部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的一內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該標的物的該外表面之外；使用者透過該左眼鏡片區及該右眼鏡片區所分別看到的該左眼外界影像與該右眼外界影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；該左影像擷取模組所擷取之該左眼擷取影像及該右影像擷取模組所擷取之該右眼擷取影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；藉由一內部造影設備對該標的物連同該至少兩定位元件一起進行造影掃描，以獲得該標的物之該內部標的部連同該至少兩定位元件一起的一立體造影影像；藉由一影像處理裝置來接收並處理該立體造影影像以及該左眼擷取影像與該右眼擷取影像；該影像處理裝置係依據該立體造影影像來產生該左眼投影像及該右眼投影像，使得該左眼投影像及該右眼投影像中分別都包含該內部標的部與該至少兩定位元件；並且，該左眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像中的該至少兩定位元件上的該至少兩標記，且該右眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像中的該至少兩定位元件上的該至少兩標記；該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射而 射向該左眼時，該左眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該左眼看到之該左眼外界影像上所包含的該至少兩定位元件上的該至少兩標記，並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射而射向該右眼時，該右眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該右眼看到之該右眼外界影像上所包含的該至少兩定位元件上的該至少兩標記；藉此，使用者可透過該智慧眼睛看見該標的物的該內部標的部之立體投影像以半透明的方式被準確投影重疊於該標的物上。
4. 如申請專利範圍第3項所述的智慧眼鏡，其中，該使用者係手持操作一工具，於該工具上設置有至少兩工具標記；於該立體造影影像中不會包含該工具的影像，但是，在該左眼擷取影像、該右眼擷取影像、該左眼外界影像、及該右眼外界影像中都至少包含了該工具的該至少兩工具標記的部分；當該影像處理裝置進行該左眼投影像及該右眼投影像的產生工作時，會依據該左眼擷取影像及該右眼擷取影像中所包含之該至少兩工具標記的位置來將該工具的一虛擬影像分別繪製入該左眼投影像及該右眼投影像中，讓使用者可透過該智慧眼睛看見該工具的該虛擬影像被準確投影重疊於該工具上；藉此，即使該工具的一前端是插入該標的物的內部中，使用者仍可透過該智慧眼睛看見該工具之該虛擬影像中所包含的該工具前端。
5. 如申請專利範圍第3項所述的智慧眼鏡，其中，該內部造影設備是以下其中之一：核磁共振儀(Magnetic Resonance Imaging；簡稱MRI)、X射線螢光透視攝影機(X-Ray Fluoroscopy)、電腦斷層掃描機(Computed Tomography；簡稱CT)；該影像處理裝置是一電腦。
6. 如申請專利範圍第2項所述的智慧眼鏡，其中：該部分反射元件是以下其中之一：具有直角等腰三角形截面且其中一表面設有有光學膜之稜鏡、或是設置於該可透光鏡片上的一部分反射層；該智慧眼鏡更包括有一頭掛板及一機體盒；該頭掛板是一C形片狀結構其是位於該使用者的一頭頂且是自該使用者的一前額延伸至該使用者的一後腦杓；該頭掛板的前端是連接於該鏡架，該頭掛板的後端是設置該機體盒，於該機體盒中容置有該控制模組；並且，該控制模組更包括有： 一主控制單元、一記憶模組、一電源模組、及一通訊模組；該控制模組是藉由埋設於該頭掛板中的至少一訊號排線電性連接於該左影像擷取模組、該右影像擷取模組、該左投影模組、該右投影模組及該揚聲器；該通訊模組包括以下至少其中之一通訊介面：通用序列埠(USB)、無線區域網路(WiFi)、有線區域網路(LAN)、藍芽(Bluetooth)。
7. 一種智慧眼鏡系統，包括：一智慧眼鏡，其包括有：一鏡架；至少一可透光鏡片，固定於該鏡架上且是位於該鏡架之一前端面側；該至少一可透光鏡片包含可透光之一左眼鏡片區及一右眼鏡片區；至少兩影像擷取模組，包括一左影像擷取模組及一右影像擷取模組；該左影像擷取模組及該右影像擷取模組分別結合於該鏡架之該前端面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於擷取來自外界之一左眼擷取影像及一右眼擷取影像；至少兩投影模組，包括一左投影模組及一右投影模組；該左投影模組及該右投影模組分別結合於該鏡架之一內面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於投射出一左眼投影像及一右眼投影像；至少兩部分反射元件，包括一左部分反射元件及一右部分反射元件；該左部分反射元件及該右部分反射元件分別位於該鏡架之該內面側且是分別對應於該左投影模組及該投影模組，且分別用於將來自該左投影模組及該投影模組的該左眼投影像及該右眼投影像加以反射、以及讓分別來自該左眼鏡片區及該右眼鏡片區的一左眼外界影像及一右眼外界影像通過；及一控制模組，電性連接於該至少兩影像擷取模組及該至少兩投影模組，用於控制該至少兩影像擷取模組及該至少兩投影模組的操作；當一使用者配戴該智慧眼鏡時，該左眼鏡片區及該右眼鏡片區是分別對應於該使用者的一左眼及一右眼，使得該使用者的該左眼及該右眼分別可以透過可透光之該左眼鏡片區及該右眼鏡片區看到該左眼 外界影像及該右眼外界影像；其中，該左影像擷取模組所擷取到之該左眼擷取影像是對應於該左眼外界影像，且該右影像擷取模組所擷取到之該右眼擷取影像是對應於該右眼外界影像；其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射後會射向該左眼，並重疊於該左眼看到之該左眼外界影像上；並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射後會射向該右眼，並重疊於該右眼看到之該右眼外界影像上；一內部造影設備，用於對一標的物連同至少兩定位元件一起進行造影掃描，以獲得該標的物之一內部標的部連同該至少兩定位元件一起的一立體造影影像；其中，於各該定位元件上分別設置有至少兩標記；各該定位元件分別有一部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的該內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該標的物的該外表面之外；其中，使用者透過該左眼鏡片區及該右眼鏡片區所分別看到的該左眼外界影像與該右眼外界影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；其中，該左影像擷取模組所擷取之該左眼擷取影像及該右影像擷取模組所擷取之該右眼擷取影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；以及一影像處理裝置，接收並處理該立體造影影像以及該左眼擷取影像與該右眼擷取影像；該影像處理裝置係依據該立體造影影像來產生該左眼投影像及該右眼投影像，使得該左眼投影像及該右眼投影像中分別都包含該內部標的部與該至少兩定位元件；並且，該左眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像中的該至少兩定位元件上的該至少兩標記，且該右眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像中的該至少兩定位元件上的該至少兩標記； 其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射而射向該左眼時，該左眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該左眼看到之該左眼外界影像上所包含的該至少兩定位元件上的該至少兩標記，並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射而射向該右眼時，該右眼投影像中的該至少兩定位元件上的該至少兩標記會分別對準重疊於該右眼看到之該右眼外界影像上所包含的該至少兩定位元件上的該至少兩標記；藉此，使用者可透過該智慧眼睛看見該標的物的該內部標的部之立體投影像以半透明的方式被準確投影重疊於該標的物上。
8. 如申請專利範圍第7項所述的智慧眼鏡系統，其中：該智慧眼鏡系統更包括一工具，於該工具上設置有至少兩工具標記；於該立體造影影像中不會包含該工具的影像，但是，在該左眼擷取影像、該右眼擷取影像、該左眼外界影像、及該右眼外界影像中都至少包含了該工具的該至少兩工具標記的部分；當該影像處理裝置進行該左眼投影像及該右眼投影像的產生工作時，會依據該左眼擷取影像及該右眼擷取影像中所包含之該至少兩工具標記的位置來將該工具的一虛擬影像分別繪製入該左眼投影像及該右眼投影像中，讓使用者可透過該智慧眼睛看見該工具的該虛擬影像被準確投影重疊於該工具上；藉此，即使該工具的一前端是插入該標的物的內部中，使用者仍可透過該智慧眼睛看見該工具之該虛擬影像中所包含的該工具前端；該內部造影設備是以下其中之一：核磁共振儀(Magnetic Resonance Imaging；簡稱MRI)、X射線螢光透視攝影機(X-Ray Fluoroscopy)、電腦斷層掃描機(Computed Tomography；簡稱CT)；該影像處理裝置是一電腦；該部分反射元件是以下其中之一：具有直角等腰三角形截面且其中一表面設有有光學膜之稜鏡、或是設置於該可透光鏡片上的一部分反射層；該智慧眼鏡更包括有一頭掛板及一機體盒；該頭掛板是一C形片狀結構其是位於該使用者的一頭頂且是自該使用者的一前額延伸至該使用者的一後腦杓；該頭掛板的前端是連接於該鏡架，該頭掛板的後端是設置該機體盒，於該機體盒中容置有該控制模組；該控制模組更包括有：一主 控制單元、一記憶模組、一電源模組、及一通訊模組；該控制模組是藉由埋設於該頭掛板中的至少一訊號排線電性連接於該左影像擷取模組、該右影像擷取模組、該左投影模組、該右投影模組及該揚聲器；該通訊模組包括以下至少其中之一通訊介面：通用序列埠(USB)、無線區域網路(WiFi)、有線區域網路(LAN)、藍芽(Bluetooth)。
9. 一種智慧眼鏡的使用方法，其中，該智慧眼鏡包括：一鏡架；至少一可透光鏡片，固定於該鏡架上且是位於該鏡架之一前端面側；該至少一可透光鏡片包含可透光之一左眼鏡片區及一右眼鏡片區；至少兩影像擷取模組，包括一左影像擷取模組及一右影像擷取模組；該左影像擷取模組及該右影像擷取模組分別結合於該鏡架之該前端面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於擷取來自外界之一左眼擷取影像及一右眼擷取影像；至少兩投影模組，包括一左投影模組及一右投影模組；該左投影模組及該右投影模組分別結合於該鏡架之一內面側且是分別對應於該左眼鏡片區及該右眼鏡片區，且分別用於投射出一左眼投影像及一右眼投影像；至少兩部分反射元件，包括一左部分反射元件及一右部分反射元件；該左部分反射元件及該右部分反射元件分別位於該鏡架之該內面側且是分別對應於該左投影模組及該投影模組，且分別用於將來自該左投影模組及該投影模組的該左眼投影像及該右眼投影像加以反射、以及讓分別來自該左眼鏡片區及該右眼鏡片區的一左眼外界影像及一右眼外界影像通過；以及一控制模組，電性連接於該至少兩影像擷取模組及該至少兩投影模組，用於控制該至少兩影像擷取模組及該至少兩投影模組的操作；該使用方法包括下列步驟：步驟(A)：提供一標的物，於該標的物上係設置有至少兩定位元件，於各該定位元件上分別設置有至少兩標記；各該定位元件分別有一部份是由該標的物的一外表面穿刺入該標的物的內部並定位於該標的物的一內部標的部上，並且，各該定位元件上的該至少兩標記是暴露於該標的 物的該外表面之外；步驟(B)：提供該標的物之該內部標的部的一立體造影影像，該立體造影影像包含了該標的物之該內部標的部與該至少兩定位元件的影像；步驟(C)：以該智慧眼鏡上的該左影像擷取模組及該右影像擷取模組分別來擷取該標的物之該外表面的該左眼擷取影像及該右眼擷取影像，該左眼擷取影像及該右眼擷取影像中分別都包含該標的物之該外表面以及該至少兩定位元件暴露於該外表面之外的部分；步驟(D)：依據該左眼擷取影像及該右眼擷取影像中的該至少兩定位元件暴露於該外表面之外的該至少兩標記，來調整該立體造影影像的一縮放比例、一座標位置及一旋轉角度，使該立體造影影像中所包含之該至少兩定位元件的該至少兩標記分別對準與該左眼擷取影像及該右眼擷取影像中的該至少兩定位元件暴露於該外表面之外的該至少兩標記，並據以分別產生一左眼投影像及一右眼投影像；其中，該左眼投影像及該右眼投影像中分別都包含該內部標的部與該至少兩定位元件；並且，該左眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該左眼擷取影像中的該至少兩定位元件上的該至少兩標記，且該右眼投影像中的該至少兩定位元件上的該至少兩標記是分別對準重疊於該右眼擷取影像中的該至少兩定位元件上的該至少兩標記；步驟(E)：藉由該左投影模組將將該左眼投影像加以投影，且藉由該右投影模組將將該右眼投影像加以投影；其中，該左投影模組所投影出之該左眼投影像在經由該左部分反射元件反射後會重疊於來自該左眼鏡片區穿透該左部分反射元件後之該左眼外界影像上，且該左眼投影像中的該至少兩標記會分別對準重疊於該左眼外界影像上所包含的至少兩標記；並且，該右投影模組所投影出之該右眼投影像在經由該右部分反射元件反射後會重疊於來自該右眼鏡片區穿透該右部分反射元件後之該右眼外界影像上，且該右眼投影像中的該至少兩標記會分別對準重疊於該右眼外界影像上所包含的至少兩標記。
10. 如申請專利範圍第9項所述的智慧眼鏡的使用方法，其中：於所述的步驟(C)中，該左眼擷取影像及該右眼擷取影像中更包含一工具的影像，於該工具上設置有至少兩工具標記；於該立體造影影像 中不會包含該工具的影像，但是，在該左眼擷取影像、該右眼擷取影像、該左眼外界影像、及該右眼外界影像中都更包括了該工具的該至少兩工具標記的部分；所述的步驟(D)更包括有下列步驟：步驟(D1)：辨識該立體造影影像中所包含之該至少兩定位元件的該至少兩標記，並且，辨識該左眼擷取影像及該右眼擷取影像中所包含之該至少兩定位元件的該至少兩標記、以及該工具的該至少兩工具標記；步驟(D2)：依據該左眼擷取影像中所包含之該至少兩定位元件的該至少兩標記之間的相對座標位置、大小比例、及旋轉軸角度，來調整該立體造影影像的座標位置、大小比例、及旋轉軸角度、以及產生該工具的一虛擬影像，使得該立體造影影像中所包含之該些標記分別對準於該左眼擷取影像中的該些標記、且同時該工具的該虛擬影像是對準於該左眼擷取影像中的該工具標記；並且，依據該右眼擷取影像中所包含之該至少兩定位元件的該至少兩標記之間的相對座標位置、大小比例、及旋轉軸角度，來調整該立體造影影像的座標位置、大小比例、及旋轉軸角度、以及產生該工具的該虛擬影像，使得該立體造影影像中所包含之該些標記分別對準於該右眼擷取影像中的該些標記、且同時該工具的該虛擬影像是對準於該右眼擷取影像中的該工具標記；步驟(D3)：依據步驟(D2)的調整結果來產生該左眼投影像及該右眼投影像；其中，該左眼投影像及該右眼投影像分別包含了該標的物之該內部標的部、該至少兩定位元件、以及該工具的該虛擬影像。

Images