[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TWI734024B - 指向判斷系統以及指向判斷方法 - Google Patents

指向判斷系統以及指向判斷方法 Download PDF

Info

Publication number
TWI734024B
TWI734024B TW107129909A TW107129909A TWI734024B TW I734024 B TWI734024 B TW I734024B TW 107129909 A TW107129909 A TW 107129909A TW 107129909 A TW107129909 A TW 107129909A TW I734024 B TWI734024 B TW I734024B
Authority
TW
Taiwan
Prior art keywords
user
gaze
coordinates
display screen
area
Prior art date
Application number
TW107129909A
Other languages
English (en)
Other versions
TW202009653A (zh
Inventor
施鴻斌
李健儒
陳恒殷
Original Assignee
財團法人工業技術研究院
創智智權管理顧問股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 創智智權管理顧問股份有限公司 filed Critical 財團法人工業技術研究院
Priority to TW107129909A priority Critical patent/TWI734024B/zh
Priority to US16/244,110 priority patent/US10955970B2/en
Publication of TW202009653A publication Critical patent/TW202009653A/zh
Application granted granted Critical
Publication of TWI734024B publication Critical patent/TWI734024B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種指向判斷系統以及指向判斷方法。指向判斷系統包括顯示螢幕、至少一影像擷取裝置以及處理裝置。影像擷取裝置用以擷取包括多位使用者的影像資料。處理裝置耦接顯示螢幕及影像擷取裝置以接收影像資料，且根據影像資料偵測此些使用者的多個特徵。處理裝置將此些特徵進行對應性配對以取得各使用者的特徵群，且根據各使用者的特徵群中的至少二特徵，來判斷各使用者朝顯示螢幕的指向。

Description

指向判斷系統以及指向判斷方法
本發明是有關於一種指向判斷系統以及指向判斷方法。
雖然結合顯示技術與生物特徵追蹤技術或觸控技術的指向性互動顯示方法已逐漸出現於各種應用上，但這些技術仍存在許多改善空間。例如，在多位使用者同時與顯示系統進行互動的情況下，顯示系統難以正確地判斷多對眼睛中何者以及多個手指(或多個觸碰)中的何者是對應於同一使用者，致使顯示系統易有指向性錯亂的問題發生。
本發明一實施例提供一種指向判斷系統以及指向判斷方法，其在與多位使用者同時進行互動的情況下，可正確地將此些使用者的眼睛與手指(或觸碰)進行配對，以避免指向性錯亂的問題發生。
本發明一實施例的指向判斷方法包括以下步驟。透過至少一影像擷取裝置擷取包括多位使用者的影像資料。透過處理裝置執行以下步驟：根據影像資料偵測此些使用者的多個特徵；將此些特徵進行對應性配對以取得各使用者的特徵群；以及根據各使用者的特徵群中的至少二特徵，來判斷各使用者朝顯示螢幕的指向。
本發明一實施例的指向判斷系統包括顯示螢幕、至少一影像擷取裝置以及處理裝置。影像擷取裝置用以擷取包括多位使用者的影像資料。處理裝置耦接顯示螢幕及影像擷取裝置以接收影像資料，且根據影像資料偵測此些使用者的多個特徵。處理裝置將此些特徵進行對應性配對以取得各使用者的特徵群，且根據各使用者的特徵群中的至少二特徵，來判斷各使用者朝顯示螢幕的指向。
為讓本發明能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明中的指向判斷系統以及指向判斷方法的範例。
圖1是依照本發明一實施例所繪示的指向判斷系統的方塊圖。請參照圖1，指向判斷系統100可與多位使用者進行互動。更進一步來說，指向判斷系統100可判斷每一使用者的指向，並據以提供對應的顯示效果與內容。指向判斷系統100可包括顯示螢幕120、影像擷取裝置140以及處理裝置160，但本發明不限於此。顯示螢幕120用以顯示影像畫面。影像擷取裝置140用以擷取包括此些使用者的影像資料IMD。處理裝置160可耦接顯示螢幕120以及耦接影像擷取裝置140。處理裝置160自影像擷取裝置140接收影像資料IMD，且根據影像資料IMD偵測此些使用者的多個特徵CHS。處理裝置160可將此些特徵CHS分別與此些使用者進行對應性配對。詳細來說，處理裝置160可將此些特徵CHS進行對應性配對以取得各使用者的特徵群，且根據各使用者的特徵群中的至少二種特徵，來判斷各使用者朝顯示螢幕120的指向。另外，處理裝置160還可根據各使用者朝顯示螢幕120的指向，判斷各使用者所觀看的目標物，並在顯示螢幕120上提供關聯於此目標物的內容。
在本發明的一實施例中，此些特徵CHS可例如是各使用者的眼部、手部(包括手指)、凝視方向、手勢、骨架、眼部於空間中的座標、手指於空間中的座標或是手指觸碰顯示螢幕120的觸控座標等等，但本發明不限於此。
在本發明的一實施例中，顯示螢幕120例如是包括液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器(其可包括無機發光二極體顯示器或有機發光二極體顯示器)、投影顯示裝置(Projection Display)或其他種類的顯示螢幕。在本發明的另一實施例中，顯示螢幕120可以為透明顯示器。上述透明顯示器是指顯示螢幕本身具有一定程度的光線穿透性，能夠呈現出顯示螢幕後方的背景。透明顯示器的顯示螢幕120可適用於建築物(如，觀景臺、水族館、博物館)中的觀景窗戶、展覽櫥窗、車輛玻璃兼顯示器…等多種應用。
在本發明的一實施例中，影像擷取裝置140的數量可為至少一個，且可依據不同的應用場所而設置在不同的位置，致使影像擷取裝置140具有較佳的取像範圍及取像角度，以避免使用者的特徵被遮蔽。影像擷取裝置140可包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device，CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本發明不在此設限。在另一實施例中，影像擷取裝置140也可包含完成辨識目標物功能之可程式化處理單元、微處理器(micro-processor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似電路元件，本發明並不限於此。
在本發明的一實施例中，處理裝置160可以是由至少一系統晶片(SOC)、場可編程閘陣列(field programmable gate array，FPGA)晶片、複雜可編程邏輯元件(complex programmable logic device，CPLD)、微處理器(Microprocessor)、中央處理單元(Central Processing Unit，CPU)、數位信號處理器(Digital Signal Processor，DSP)，或其他具備運算能力的硬體元件來實現。
在本發明的一實施例中，指向判斷系統100還可包括儲存裝置。儲存裝置用以儲存影像、程式等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
圖2是依照本發明一實施例所繪示的指向判斷方法的流程圖。圖2所示的方法流程可結合圖1所示的指向判斷系統100來實現。請合併參照圖1及圖2。
首先，於步驟S210，透過影像擷取裝置140擷取包括多位使用者的影像資料IMD。接著，於步驟S220，透過處理裝置160根據影像資料IMD偵測此些使用者的多個特徵CHS。然後，於步驟S230，透過處理裝置160將此些特徵CHS進行對應性配對以取得各使用者的特徵群。之後，於步驟S240，透過處理裝置160根據各使用者的特徵群中的至少二特徵，來判斷各使用者朝顯示螢幕120的指向。以下列舉數個實施例來說明圖1的指向判斷系統100的運作以及圖2的方法流程的實施細節。
圖3A是依照本發明一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖，圖3B是依照本發明一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖，可用以判斷圖3A的使用者的指向。請合併參照圖1、圖3A及圖3B。
於步驟S310，影像擷取裝置140擷取包括使用者U1及U2的影像資料IMD。於步驟S320，處理裝置160根據影像資料IMD偵測此些使用者U1及U2的多個特徵CHS，其中此些特徵CHS可包括使用者U1、U2的眼部座標及觸控座標。詳細來說，步驟S320包括細節步驟S322及S324。於步驟S322，處理裝置160可根據影像資料IMD進行眼部偵測，以取得使用者U1的眼睛於空間中的座標位置E1(下稱眼部座標E1)，以及取得使用者U2的眼睛於空間中的座標位置E2(下稱眼部座標E2)。另外，於步驟S324，處理裝置160可根據影像資料IMD進行觸控偵測，以取得使用者U1、U2觸摸顯示螢幕120的座標位置T1、T2(下稱觸控座標T1、T2)。
於步驟S330，處理裝置160可將觸控座標T1、T2與使用者U1、U2的眼部座標E1、E2進行對應性配對。詳細來說，步驟S330包括細節步驟S332及S334。於步驟S332，處理裝置160可分別計算眼部座標E1、E2與觸控座標T1、T2之間的距離。於步驟S334，處理裝置160可根據此些距離將觸控座標T1、T2分別與使用者U1、U2的眼部座標E1、E2進行對應性配對，以取得使用者U1的特徵群以及使用者U2的特徵群。
詳細來說，處理裝置160可判斷使用者U1的眼部座標E1與觸控座標T1之間的距離是小於使用者U1的眼部座標E1與觸控座標T2的距離，故處理裝置160可將使用者U1的眼部座標E1與觸控座標T1予以配對，並將眼部座標E1與觸控座標T1做為使用者U1的特徵群。類似地，處理裝置160可判斷使用者U2的眼部座標E2與觸控座標T2之間的距離是小於使用者U2的眼部座標E2與觸控座標T1的距離，故處理裝置160可將使用者U2的眼部座標E2與觸控座標T2予以配對，並將眼部座標E2與觸控座標T2做為使用者U2的特徵群。
於步驟S340，處理裝置160可根據使用者U1特徵群中的特徵(例如:觸控座標T1及眼部座標E1)，來判斷使用者U1朝顯示螢幕120的指向，以及根據使用者U2特徵群中的特徵(例如:觸控座標T2及眼部座標E2)，來判斷使用者U2朝顯示螢幕120的指向。詳細來說，步驟S340包括細節步驟S342及S344。於步驟S342，處理裝置160可根據使用者U1的眼部座標E1與觸控座標T1計算出向量V1，以及根據使用者U2的眼部座標E2與觸控座標T2計算出向量V2。於步驟S344，處理裝置160可將向量V1作為使用者U1朝顯示螢幕120的指向，以及將向量V2作為使用者U2朝顯示螢幕120的指向。
圖4A是依照本發明另一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖，圖4B是依照本發明另一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖，可用以判斷圖4A使用者的指向。請合併參照圖1、圖4A及圖4B。
於步驟S410，影像擷取裝置140擷取包括使用者U1、U2、U3的影像資料IMD。於步驟S420，處理裝置160根據影像資料IMD偵測此些使用者U1、U2、U3的多個特徵CHS，其中此些特徵CHS可例如是使用者U1、U2、U3的眼部座標及觸控座標。詳細來說，步驟S420包括細節步驟S422及S424。於步驟S422，處理裝置160可根據影像資料IMD進行眼部偵測，以分別取得使用者U1、U2、U3的眼睛於空間中的座標位置E1、E2、E3(下稱眼部座標E1、E2、E3)。另外，於步驟S424，處理裝置160可根據影像資料IMD進行觸控偵測，以取得使用者U1、U2、U3觸摸顯示螢幕120的座標位置T1、T2、T3(下稱觸控座標T1、T2、T3)。
詳細來說，步驟S424包括細節步驟S4242、S4244以及S4246。於步驟S4242，處理裝置160可於顯示螢幕120上，分別設定對應於使用者U1、U2、U3的有效觸控區域A1、A2、A3。接著，於步驟S4244，處理裝置160可判斷使用者U1是否觸摸其對應的有效觸控區域A1。若步驟S4244的判斷結果為是，於步驟S4246中，處理裝置160將根據影像資料IMD計算使用者U1觸摸於有效觸控區域A1的座標位置以取得觸控座標T1。若步驟S4244的判斷結果為否，則回到步驟S422。同樣地，使用者U2、U3的觸控座標T2、T3的偵測方式同樣可根據上述步驟S4244以及S4246的說明而依此類推，故不再贅述。
於步驟S430，處理裝置160可將觸控座標T1、T2、T3分別與使用者U1、U2、U3的眼部座標E1、E2、E3進行對應性配對，以取得各使用者U1、U2、U3的特徵群。詳細來說，處理裝置160所偵測到的觸控座標T1是位於使用者U1的有效觸控區域A1內，處理裝置160可將觸控座標T1與使用者U1的眼部座標E1予以配對，並以眼部座標E1與觸控座標T1做為使用者U1的特徵群。類似地，處理裝置160可將觸控座標T2與使用者U2的眼部座標E2予以配對，並以眼部座標E2與觸控座標T2做為使用者U2的特徵群，以及將觸控座標T3與使用者U3的眼部座標E3予以配對，並以眼部座標E3與觸控座標T3做為使用者U3的特徵群。
於步驟S440，處理裝置160可根據使用者U1特徵群中的特徵(例如:觸控座標T1及眼部座標E1)，來判斷使用者U1朝顯示螢幕120的指向，根據使用者U2特徵群中的特徵(例如:觸控座標T2及眼部座標E2)，來判斷使用者U2朝顯示螢幕120的指向，以及根據使用者U3特徵群中的特徵(例如:觸控座標T3及眼部座標E3)，來判斷使用者U3朝顯示螢幕120的指向。關於步驟S440的實施細節，可參酌上述圖3B的步驟S340的相關說明而依此類推，在此不再贅述。
在本發明的一實施例中，使用者U1所對應的有效觸控區域A1可例如是：使用者U1的雙臂平舉與肩同寬之後，分別向左右兩側展開第一角度以及向上與向下展開第二角度之可觸及的範圍。類似地，使用者U2及U3所分別對應的有效觸控區域A2及A3也可依據上述方式來設定。在本發明的一實施例中，上述第一角度可例如是5度，且上述第二角度可例如是45度，但本發明並不以此為限。事實上，上述第一角度及上述第二角度可依據實際應用或設計需求來決定。
圖5A是依照本發明又一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖，圖5B是依照本發明又一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖，可用以判斷圖5A使用者的指向。請合併參照圖1、圖5A及圖5B。
於步驟S510，影像擷取裝置140擷取包括使用者U1及U2的影像資料IMD。於步驟S520，處理裝置160根據影像資料IMD偵測此些使用者U1及U2的多個特徵CHS，其中此些特徵CHS可例如是使用者U1、U2的眼部座標、觸控座標以及使用者U1、U2的眼睛凝視顯示螢幕120上的座標位置。詳細來說，步驟S520包括細節步驟S522及S524。於步驟S522，處理裝置160可根據影像資料IMD進行眼部偵測，以取得使用者U1的眼睛於空間中的座標位置E1(下稱眼部座標E1)，以及以取得使用者U2的眼睛於空間中的座標位置E2(下稱眼部座標E2)。另外，於步驟S524，處理裝置160可根據影像資料IMD進行觸控偵測，以取得使用者U1、U2觸摸顯示螢幕120的座標位置T1、T2(下稱觸控座標T1、T2)。
更進一步來說，步驟S524包括細節步驟S5241~S5245。於步驟S5241，處理裝置160可偵測各使用者U1、U2的眼睛凝視顯示螢幕120上的位置以取得各使用者U1、U2的凝視座標G1、G2。於步驟S5242，處理裝置160可根據各使用者U1、U2的眼部座標E1、E2、凝視座標G1、G2以及視線角度來計算各使用者U1、U2於顯示螢幕120上的凝視區域GZ1、GZ2。特別是，處理裝置160可將凝視區域GZ1、GZ2分別做為使用者U1、U2的有效觸控區域，稍後會再詳細說明。
在本發明的一實施例中，如圖6所示，使用者U1(U2)於顯示螢幕120上的凝視區域GZ1(GZ2)的圓心座標為凝視座標G1(G2)，且使用者U1(U2)於顯示螢幕120上的凝視區域GZ1(GZ2)的半徑d可依據式(1)來決定，其中M為使用者U1(U2)的眼部座標E1(E2)與凝視座標G1(G2)的距離，而q為視線角度。
d = M × tan(q) 式(1)
在本發明的一實施中，視線角度q的範圍可例如是介於3度(含)至5度(含)之間，但本發明不限於此，視線角度q可視實際應用或設計需求來決定。在本發明的一實施中，為了避免使用者U1(U2)的眼睛與顯示螢幕120的距離過近而導致凝視區域GZ1(GZ2)過小(亦即有效觸控區域過小)，凝視區域GZ1(GZ2)的半徑d可具有最小設定值。換句話說，當透過式(1)計算所得到的凝視區域GZ1(GZ2)的半徑d小於此最小設定值時，則處理裝置160可將凝視區域GZ1(GZ2)的半徑d設為此最小設定值，其中此最小設定值可視實際應用或設計需求來決定。
請重新參照圖1、圖5A及圖5B，於步驟S5243，處理裝置160可根據各使用者的凝視區域與至少另一使用者的凝視區域是否重疊來決定各使用者的有效觸控區域。舉例來說，處理裝置160可根據使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2是否重疊來決定使用者U1的有效觸控區域。類似地，處理裝置160可根據使用者U2的凝視區域GZ2與使用者U1的凝視區域GZ1是否重疊來決定使用者U2的有效觸控區域。
詳細來說，步驟S5243包括細節步驟S5243_1~S5243_5。於步驟S5243_1，處理裝置160可判斷使用者U1的凝視區域GZ1是否與使用者U2的凝視區域GZ2至少部份重疊以得到一判斷結果。於圖5A所示的實施例中，由於使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2完全不重疊(即步驟S5243_1的判斷結果為否)，因此處理裝置160將使用者U1的凝視區域GZ1作為使用者U1於顯示螢幕120上的有效觸控區域(下稱有效觸控區域GZ1)，以及將使用者U2的凝視區域GZ2作為使用者U2於顯示螢幕120上的有效觸控區域(下稱有效觸控區域GZ2)，如步驟S5243_2所示。
接著，於步驟S5244，處理裝置160可判斷使用者U1是否觸摸其對應的有效觸控區域GZ1。若步驟S5244的判斷結果為是，於步驟S5245中，處理裝置160將根據影像資料IMD計算使用者U1觸摸其有效觸控區域GZ1的座標位置以取得觸控座標T1。若步驟S5244的判斷結果為否，則回到步驟S522。另外，取得使用者U2的觸控座標T2的方式也可依據上述步驟S5244及S5245的說明而類推之。
於步驟S530，處理裝置160可將觸控座標T1、T2分別與使用者U1、U2的眼部座標E1、E2及凝視座標G1、G2進行對應性配對。詳細來說，處理裝置160所偵測到的觸控座標T1是位於使用者U1的有效觸控區域GZ1內，處理裝置160可將觸控座標T1與使用者U1的眼部座標E1及凝視座標G1予以配對，並以眼部座標E1、凝視座標G1與觸控座標T1做為使用者U1的特徵群。類似地，處理裝置160可將觸控座標T2與使用者U2的眼部座標E2及凝視座標G2予以配對，並以眼部座標E2、凝視座標G2與觸控座標T2做為使用者U2的特徵群。
於步驟S540，處理裝置160可根據使用者U1的特徵群中至少二特徵，來判斷使用者U1朝顯示螢幕120的指向。更進一步來說，由於使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2完全不重疊，因此處理裝置160可根據使用者U1的眼部座標E1與凝視座標G1計算向量V1，並將向量V1作為使用者U1朝顯示螢幕120的指向。類似地，處理裝置160可根據使用者U2的眼部座標E2與凝視座標G2計算向量V2，並將向量V2作為使用者U2朝顯示螢幕120的指向。
圖5C是依照本發明又一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。圖5B所示的指向判斷方法的細節步驟流程同樣可用來判斷圖5C使用者的指向。請合併參照圖1、圖5A~圖5C，相較於圖5A的使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2完全不重疊，圖5C的使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2至少部份重疊，其中圖5C的使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2之間的重疊區域小於或等於一臨界值。此臨界值可例如是重疊區域與凝視區域GZ1(或凝視區域GZ2)之比例，其可依據實際應用或設計需求來設定。圖5C的使用者U1、U2的有效觸控區域，可與圖5A的使用者U1、U2的有效觸控區域有所不同。
詳細來說，於圖5B的步驟S5243中，處理裝置160可根據各使用者的凝視區域與至少另一使用者的凝視區域是否重疊來決定各使用者的有效觸控區域。更進一步來說，於步驟S5243_1，處理裝置160可判斷使用者U1的凝視區域GZ1是否與使用者U2的凝視區域GZ2至少部份重疊以得到一判斷結果。在圖5C所示的實施例中，使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2至少部份重疊(即步驟S5243_1的判斷結果為是)，因此於步驟S5243_3，處理裝置160可判斷使用者U1與使用者U2是否觀看顯示螢幕120上的同一顯示物件。
若使用者U1與使用者U2是觀看顯示螢幕120上的同一顯示物件(即步驟S5243_3的判斷結果為是)，則處理裝置160可將使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2，共同做為使用者U1於顯示螢幕120上的有效觸控區域，如步驟S5243_4所示。同樣地，處理裝置160可將使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2，做為使用者U2於顯示螢幕120上的有效觸控區域。換句話說，如圖7A所示，由凝視區域GZ1與凝視區域GZ2所包含的所有區域GA將做為使用者U1與U2兩者共同的有效觸控區域。
相對地，若使用者U1與使用者U2並非觀看顯示螢幕120上的同一顯示物件(即步驟S5243_3的判斷結果為否)，則如圖7B所示，處理裝置160將使用者U1的凝視區域GZ1中的第一區域GZ11做為使用者U1於顯示螢幕120上的有效觸控區域，其中第一區域GZ11與使用者U2的凝視區域GZ2不重疊，如步驟S5243_5所示。同樣地，處理裝置160將使用者U2的凝視區域GZ2中的第一區域GZ21做為使用者U2於顯示螢幕120上的有效觸控區域，其中第一區域GZ21與使用者U1的凝視區域GZ1不重疊。
另外，於圖5B的步驟S540中，處理裝置160可根據使用者U1的特徵群中至少二特徵，來判斷使用者U1朝顯示螢幕120的指向。更進一步來說，使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2之間的重疊區域小於或等於上述臨界值，處理裝置160可根據使用者U1的眼部座標E1與凝視座標G1計算向量V1，並將向量V1作為使用者U1朝顯示螢幕120的指向。類似地，處理裝置160可根據使用者U2的眼部座標E2與凝視座標G2計算向量V2，並將向量V2作為使用者U2朝顯示螢幕120的指向。至於圖5B所示的指向判斷方法中，用來判斷圖5C的使用者的指向的其他步驟的說明，則可參照上述圖5A及圖5B的相關說明，在此不再贅述。
圖5D是依照本發明又一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。圖5B所示的指向判斷方法的細節步驟流程同樣可用來判斷圖5D的使用者的指向。請合併參照圖1、圖5B~圖5D。類似於圖5C，圖5D的使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2至少部份重疊。因此，圖5D的使用者U1、U2的有效觸控區域的決定方式可參酌上述圖5C的相關說明，在此不再贅述。
另外，相較於圖5C的使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2之間的重疊區域小於或等於一臨界值，圖5D的使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2之間的重疊區域乃是大於上述臨界值。圖5D的使用者U1、U2的指向判斷細節，可與圖5C的使用者U1、U2的指向判斷細節些許不同。
詳言之，於圖5B的步驟S540中，處理裝置160可根據使用者U1的特徵群中至少二特徵，來判斷使用者U1朝顯示螢幕120的指向。更進一步來說，圖5D使用者U1的凝視區域GZ1與使用者U2的凝視區域GZ2之間的重疊區域大於上述臨界值，處理裝置160可根據使用者U1的凝視座標G1與使用者U2的凝視座標G2來計算共同座標GC，根據共同座標GC及使用者U1的眼部座標E1來計算向量V1，並將向量V1做為使用者U1朝顯示螢幕120的指向。同樣地，處理裝置160可根據共同座標GC及使用者U2的眼部座標E2來計算向量V2，並將向量V2做為使用者U2朝顯示螢幕120的指向。在本發明的一實施例中，共同座標GC可例如是使用者U1的凝視座標G1與使用者U2的凝視座標G2兩者的中心點座標，但不限於此。
至於圖5B所示的指向判斷方法中，用來判斷圖5D的使用者的指向的其他步驟的說明，則可參照上述圖5A及圖5B的相關說明，在此不再贅述。
圖8A是依照本發明又一實施例所繪示的多位使用者的多個特徵的配對示意圖，圖8B是依照本發明又一實施例所繪示的多位使用者的指向判斷示意圖，圖8C是依照本發明又一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖。在圖8B的實施例中，使用者U1及U2可不直接觸碰到顯示螢幕120。請先合併參照圖1、圖8A及圖8C。於步驟S810，影像擷取裝置140擷取包括使用者U1及U2的影像資料IMD。於步驟S820中，處理裝置160根據影像資料IMD偵測此些使用者U1、U2的多個特徵CHS。於本實施例中，使用者U1、U2的特徵CHS可例如是眼睛、手指以及手勢。更進一步來說，步驟S820包括細節步驟S822及S824。於步驟S822，處理裝置160可根據影像資料IMD分別對使用者U1、U2的眼睛進行追蹤。於步驟S824，處理裝置160可根據影像資料IMD分別辨識使用者U1、U2手指的手勢。
於步驟S830，處理裝置160可將使用者U1、U2的眼睛及手指進行對應性配對。詳細來說，步驟S830包括細節步驟S832及S834。於步驟S832，處理裝置160可判斷使用者U1的手勢是否符合一特定手勢，其中此特定手勢可依據實際應用或設計需求來設定。若步驟S832的判斷結果為是，於步驟S834，處理裝置160可將使用者U1的眼睛與對應於上述手勢的手指予以配對，以取得使用者U1的特徵群(包括眼睛及手指)。若步驟S832的判斷結果為否，則回到步驟S822。另外，使用者U2的特徵群的取得方式同樣可根據上述步驟S832及S834的說明而依此類推，故不再贅述。
接著請合併參照圖1、圖8B及圖8C。於步驟S840，處理裝置160可根據各使用者U1、U2特徵群中的特徵，來判斷各使用者U1、U2朝顯示螢幕120的指向。詳細來說，步驟S840包括細節步驟S842、S844、S846及S848。於步驟S842，處理裝置160可根據影像資料IMD計算使用者U1、U2的眼睛於空間中的眼部座標E1、E2。於步驟S844，處理裝置160可根據影像資料IMD進行骨架追蹤以判斷使用者U1、U2的手勢是否為觸控手勢。若步驟S844的判斷結果為是，於步驟S846，處理裝置160計算使用者U1、U2的手指於空間中的手指座標F1、F2。若步驟S844的判斷結果為否，則回到步驟S842。於步驟S848，處理裝置160可根據使用者U1的眼部座標E1以及手指座標F1計算向量V1，以作為使用者U1朝顯示螢幕120的指向。同樣地，處理裝置160可根據使用者U2的眼部座標E2以及手指座標F2計算向量V2，以作為使用者U2朝顯示螢幕120的指向。再者，藉由步驟S844的判斷，可避免因使用者U1、U2的手臂隨機舞動而導致處理裝置160產生誤判，故可提高指向判斷的精確度。
圖9A是依照本發明又一實施例所繪示的多位使用者的指向判斷示意圖，圖9B是依照本發明一實施例所繪示的圖8C的步驟S848的細節步驟流程圖。在圖9A的實施例中，使用者U1及U2未直接觸碰到顯示螢幕120。請合併參照圖1、圖8C、圖9A及圖9B。步驟S848包括細節步驟S9482、S9484、S9486以及S9488。於步驟S9482，處理裝置160可檢測使用者U1的眼睛凝視顯示螢幕120上的位置以得到使用者U1的凝視座標G1。於步驟S9484，處理裝置160可根據使用者U1的眼部座標E1、凝視座標G1以及視線角度q形成使用者U1的凝視空間S1。於步驟S9486，處理裝置160透過手指追蹤來判斷使用者U1的手指座標F1是否位於使用者U1的凝視空間S1內。若步驟S9486的判斷結果為是，於步驟S9488，處理裝置160根據眼部座標E1與手指座標F1計算向量V1以作為使用者U1朝顯示螢幕120的指向。若步驟S9486的判斷結果為否，則回到步驟S842。同樣地，使用者U2的凝視空間S2以及使用者U2朝顯示螢幕120的指向同樣可根據上述步驟S9482、S9484、S9486以及S9488的說明而依此類推，故不再贅述。再者，藉由步驟S9486的判斷，可避免因使用者U1、U2的手臂隨機舞動而導致處理裝置160產生誤判，故可提高指向判斷的精確度。
在本發明的一實施例中，也可將使用者U1與使用者U2兩者予以群組化以做為同一群組。舉例來說，若使用者U1與使用者U2為同一群組，即使使用者U2的手勢並非觸控手勢，一旦使用者U1的手指座標F1進入使用者U2的凝視空間S2內，處理裝置160可根據使用者U2的眼部座標E2與使用者U1的手指座標F1計算向量V2以作為使用者U2朝顯示螢幕120的指向。
在上述的各實施例中，雖然是以兩位使用者或三位使用者來說明，但本發明並不以此為限。多於三位使用者的指向判斷方法當可依據上述各實施例的說明而依此類推，故不再贅述。
本發明一實施例所提出的指向判斷系統以及指向判斷方法，在與多位使用者同時進行互動的情況下，可正確地判斷出此些使用者的指向，避免指向性錯亂的問題發生。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
100‧‧‧指向判斷系統120‧‧‧顯示螢幕140‧‧‧影像擷取裝置160‧‧‧處理裝置A1、A2、A3‧‧‧有效觸控區域CHS‧‧‧特徵d‧‧‧半徑E1、E2、E3‧‧‧眼部座標F1、F2‧‧‧手指座標G1、G2‧‧‧凝視座標GA‧‧‧區域GC‧‧‧共同座標GZ1、GZ2‧‧‧凝視區域GZ11、GZ21‧‧‧第一區域IMD‧‧‧影像資料M‧‧‧距離S210、S220、S230、S240、S310、S320、S322、S324、S330、S332、S334、S340、S342、S344、S410、S420、S422、S424、S4242、S4244、S4246、S430、S440、S510、S520、S522、S524、S5241~S5245、S5243_1~S5243_5、S530、S540、S810、S820、S822、S824、S830、S832、S834、S840、S842、S844、S846、S848、S9482、S9484、S9486、S9488‧‧‧步驟S1、S2‧‧‧凝視空間T1、T2、T3‧‧‧觸控座標U1、U2、U3‧‧‧使用者V1、V2‧‧‧向量q‧‧‧視線角度
圖1是依照本發明一實施例所繪示的指向判斷系統的方塊圖。 圖2是依照本發明一實施例所繪示的指向判斷方法的流程圖。 圖3A是依照本發明一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。 圖3B是依照本發明一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖。 圖4A是依照本發明另一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。 圖4B是依照本發明另一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖。 圖5A是依照本發明又一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。 圖5B是依照本發明又一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖。 圖5C是依照本發明又一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。 圖5D是依照本發明又一實施例所繪示的圖1的指向判斷系統判斷使用者之指向的示意圖。 圖6是依照本發明一實施例所繪示的使用者於顯示螢幕上的凝視區域的示意圖。 圖7A是依照本發明一實施例所繪示的使用者的有效觸控區域示意圖。 圖7B是依照本發明另一實施例所繪示的使用者的有效觸控區域示意圖。 圖8A是依照本發明又一實施例所繪示的多位使用者的多個特徵的配對示意圖。 圖8B是依照本發明又一實施例所繪示的多位使用者的指向判斷示意圖。 圖8C是依照本發明又一實施例所繪示的圖2的指向判斷方法的細節步驟流程圖。 圖9A是依照本發明又一實施例所繪示的多位使用者的指向判斷示意圖。 圖9B是依照本發明一實施例所繪示的圖8C的步驟S848的細節步驟流程圖。
100‧‧‧指向判斷系統
120‧‧‧顯示螢幕
140‧‧‧影像擷取裝置
160‧‧‧處理裝置
IMD‧‧‧影像資料
CHS‧‧‧特徵

Claims (14)

  1. 一種指向判斷方法，包括：透過至少一影像擷取裝置擷取包括多位使用者的一影像資料；以及透過一處理裝置執行以下步驟：根據該影像資料偵測該些使用者的多個特徵；將該些特徵進行對應性配對以取得各該使用者的一特徵群；以及根據各該使用者的該特徵群中的至少二特徵，來判斷各該使用者朝一顯示螢幕的一指向，其中根據該影像資料偵測該些使用者的該些特徵的步驟包括第一操作或第二操作中的一者，所述第一操作包括：根據該影像資料進行眼部偵測以分別取得該些使用者的多個眼睛於一空間中的多個眼部座標；根據該影像資料進行觸控偵測以分別取得該些使用者觸摸該顯示螢幕的多個觸控座標，其中該些特徵包括該些眼部座標以及該些觸控座標；分別計算該些眼部座標與該些觸控座標之間的距離；根據該些距離將該些觸控座標分別與該些眼部座標進行對應性配對，以取得各該使用者的該特徵群；根據該使用者的該特徵群中的該眼部座標與該觸控座標計算一第一向量；以及 將該第一向量作為該使用者朝該顯示螢幕的該指向，其中所述第二操作包括：根據該影像資料分別對該些使用者的多個眼睛進行追蹤；根據該影像資料分別辨識該些使用者的多個手指的多個手勢，其中該些特徵包括該些眼睛、該些手指以及該些手勢；判斷各該使用者的該手勢是否符合一特定手勢以得到一第一判斷結果；以及若該第一判斷結果為是，則將該使用者的該眼睛與對應於該手勢的該手指予以配對，以取得各該使用者的該特徵群。
  2. 如申請專利範圍第1項所述的指向判斷方法，其中在所述第一操作中，所述根據該影像資料進行觸控偵測以分別取得該些使用者觸摸該顯示螢幕的該些觸控座標的步驟包括：於該顯示螢幕上，設定對應於各該使用者的一有效觸控區域；判斷各該使用者是否觸摸該對應的有效觸控區域以得到一第二判斷結果；以及若該第二判斷結果為是，則根據該影像資料計算各該使用者觸摸該對應的有效觸控區域的該觸控座標。
  3. 如申請專利範圍第2項所述的指向判斷方法，其中所述於該顯示螢幕上，設定對應於各該使用者的該有效觸控區域的步驟包括：偵測各該使用者的該眼睛凝視該顯示螢幕上的位置以取得各 該使用者的一凝視座標；根據各該使用者的該眼部座標、該凝視座標以及一視線角度來計算各該使用者於該顯示螢幕上的一凝視區域；以及根據各該使用者的該凝視區域與該些使用者中的至少另一者的該凝視區域是否重疊來決定各該使用者的該有效觸控區域。
  4. 如申請專利範圍第3項所述的指向判斷方法，其中所述根據各該使用者的該凝視區域與該些使用者中的該至少另一者的該凝視區域是否重疊來決定各該使用者的該有效觸控區域的步驟包括：判斷各該使用者的該凝視區域是否與該些使用者中的該至少另一者的該凝視區域至少部份重疊以得到一第三判斷結果；若該第三判斷結果為否，則將該使用者於該顯示螢幕上的該凝視區域作為該使用者於該顯示螢幕上的該有效觸控區域；若該第三判斷結果為是，則判斷該使用者與該些使用者中的該至少另一者是否觀看該顯示螢幕上的同一顯示物件以得到一第四半斷結果；若該第四判斷結果為是，則將該使用者於該顯示螢幕上的該凝視區域與該些使用者中的該至少另一者於該顯示螢幕上的該凝視區域，作為該使用者於該顯示螢幕上的該有效觸控區域；以及若該第四判斷結果為否，將該使用者於該顯示螢幕上的該凝視區域中的一第一區域作為該使用者於該顯示螢幕上的該有效觸控區域，其中該第一區域與該些使用者中的該至少另一者於該顯 示螢幕上的該凝視區域不重疊。
  5. 如申請專利範圍第4項所述的指向判斷方法，其中該些特徵更包括各該使用者的該凝視座標，其中所述將該些特徵進行對應性配對以取得各該使用者的該特徵群的步驟包括：將該使用者觸摸該對應的有效觸控區域的該觸控座標與該使用者的該眼部座標及該凝視座標予以配對，以取得該使用者的該特徵群，其中所述根據各該使用者的該特徵群中的該至少二特徵，來判斷各該使用者朝該顯示螢幕的該指向的步驟包括：若該第三判斷結果為否，根據該使用者的該特徵群中的該眼部座標與該凝視座標計算一第二向量；若該第三判斷結果為是，判斷該使用者於該顯示螢幕上的該凝視區域與該些使用者中的該至少另一者於該顯示螢幕上的該凝視區域之間的重疊區域是否大於一臨界值以得到一第五判斷結果；若該第五判斷結果為否，根據該使用者的該眼部座標與該凝視座標計算該第二向量；若該第五判斷結果為是，根據該使用者的該凝視座標與該些使用者中的該至少另一者的該凝視座標來計算一共同座標，且根據該共同座標及該使用者的該眼部座標來計算該第二向量；以及 將該第二向量作為該使用者朝該顯示螢幕的該指向。
  6. 如申請專利範圍第1項所述的指向判斷方法，其中在所述第二操作中，所述根據各該使用者的該特徵群中的該至少二特徵，來判斷各該使用者朝該顯示螢幕的該指向的步驟包括：根據該影像資料計算該使用者的該眼睛於該空間中的該眼部座標；根據該影像資料判斷該使用者的該手勢是否為一觸控手勢以得到一第六判斷結果；若該第六判斷結果為是，則計算該使用者的該手指於該空間中的一手指座標；以及根據該使用者的該眼部座標以及該手指座標計算一第三向量，以作為該使用者朝該顯示螢幕的該指向。
  7. 如申請專利範圍第6項所述的指向判斷方法，其中所述根據該使用者的該眼部座標以及該手指座標計算該第三向量的步驟包括：偵測該使用者的該眼睛凝視該顯示螢幕上的位置以得到該使用者的一凝視座標；根據該使用者的該眼部座標、該凝視座標以及一視線角度形成該使用者的一凝視空間；判斷該使用者的該手指座標是否位於該使用者的該凝視空間內以得到一第七判斷結果；以及 若該第七判斷結果為是，則根據該眼部座標與該手指座標計算該第三向量。
  8. 一種指向判斷系統，包括：一顯示螢幕；至少一影像擷取裝置，用以擷取包括多位使用者的一影像資料；以及一處理裝置，耦接該顯示螢幕及該至少一影像擷取裝置以接收該影像資料，且根據該影像資料偵測該些使用者的多個特徵，其中該處理裝置將該些特徵進行對應性配對以取得各該使用者的一特徵群，且根據各該使用者的該特徵群中的至少二特徵，來判斷各該使用者朝該顯示螢幕的一指向，其中該處理裝置更進行第一操作或第二操作中的一者，所述第一操作包括：該處理裝置根據該影像資料進行眼部偵測以分別取得該些使用者的多個眼睛於一空間中的多個眼部座標，且根據該影像資料進行觸控偵測以分別取得該些使用者觸摸該顯示螢幕的多個觸控座標，其中該些特徵包括該些眼部座標以及該些觸控座標；該處理裝置分別計算該些眼部座標與該些觸控座標之間的距離，且根據該些距離將該些觸控座標分別與該些眼部座標進行對應性配對，以取得各該使用者的該特徵群；以及該處理裝置根據該使用者的該特徵群中的該眼部座標與該觸控座標計算一第一向量，並將該第一向量作為該使用者朝 該顯示螢幕的該指向，其中所述第二操作包括：該處理裝置根據該影像資料分別對該些使用者的多個眼睛進行追蹤，且根據該影像資料分別辨識該些使用者的多個手指的多個手勢，其中該些特徵包括該些眼睛、該些手指以及該些手勢，若各該使用者的該手勢符合一特定手勢，則該處理裝置將該使用者的該眼睛與對應於該手勢的該手指予以配對，以取得各該使用者的該特徵群。
  9. 如申請專利範圍第8項所述的指向判斷系統，其中在所述第一操作中：該處理裝置於該顯示螢幕上，設定對應於各該使用者的一有效觸控區域，若各該使用者觸摸該對應的有效觸控區域，則該處理裝置根據該影像資料計算各該使用者觸摸該對應的有效觸控區域的該觸控座標。
  10. 如申請專利範圍第9項所述的指向判斷系統，其中：該處理裝置偵測各該使用者的該眼睛凝視該顯示螢幕上的位置以取得各該使用者的一凝視座標，根據各該使用者的該眼部座標、該凝視座標以及一視線角度來計算各該使用者於該顯示螢幕上的一凝視區域，並根據各該使用者的該凝視區域與該些使用者中的至少另一者的該凝視區域是否重疊來決定各該使用者的該有 效觸控區域。
  11. 如申請專利範圍第10項所述的指向判斷系統，其中：若該使用者的該凝視區域與該些使用者中的該至少另一者的該凝視區域不重疊，則處理裝置將該使用者於該顯示螢幕上的該凝視區域作為該使用者於該顯示螢幕上的該有效觸控區域，若該使用者的該凝視區域與該些使用者中的該至少另一者的該凝視區域至少部份重疊，且該使用者與該些使用者中的該至少另一者觀看該顯示螢幕上的同一顯示物件，則該處理裝置將該使用者於該顯示螢幕上的該凝視區域與該些使用者中的該至少另一者於該顯示螢幕上的該凝視區域，作為該使用者於該顯示螢幕上的該有效觸控區域，若該使用者的該凝視區域與該些使用者中的該至少另一者的該凝視區域至少部份重疊，且該使用者與該些使用者中的該至少另一者並非觀看該顯示螢幕上的同一顯示物件，則該處理裝置將該使用者於該顯示螢幕上的該凝視區域中的一第一區域作為該使用者於該顯示螢幕上的該有效觸控區域，其中該第一區域與該些使用者中的該至少另一者於該顯示螢幕上的該凝視區域不重疊。
  12. 如申請專利範圍第11項所述的指向判斷系統，其中該些特徵更包括各該使用者的該凝視座標，其中：該處理裝置將該使用者觸摸該對應的有效觸控區域的該觸控座標與該使用者的該眼部座標及該凝視座標予以配對，以取得該使用者的該特徵群， 若該使用者的該凝視區域與該些使用者中的該至少另一者的該凝視區域不重疊，或該使用者於該顯示螢幕上的該凝視區域與該些使用者中的該至少另一者於該顯示螢幕上的該凝視區域之間的一重疊區域小於或等於一臨界值，則該處理裝置根據該使用者的該眼部座標與該凝視座標計算一第二向量，以作為該使用者朝該顯示螢幕的該指向，若該重疊區域大於該臨界值，則該處理裝置根據該使用者的該凝視座標與該些使用者中的該至少另一者的該凝視座標來計算一共同座標，且根據該共同座標及該使用者的該眼部座標來計算該第二向量，以作為該使用者朝該顯示螢幕的該指向。
  13. 如申請專利範圍第8項所述的指向判斷系統，其中在所述第二操作中：該處理裝置根據該影像資料計算該使用者的該眼睛於該空間中的該眼部座標，且根據該影像資料判斷該使用者的該手勢是否為一觸控手勢，若該使用者的該手勢為該觸控手勢，則該處理裝置計算該使用者的該手指於該空間中的一手指座標，並根據該使用者的該眼部座標以及該手指座標計算一第三向量，以作為該使用者朝該顯示螢幕的該指向。
  14. 如申請專利範圍第13項所述的指向判斷系統，其中：該處理裝置偵測該使用者的該眼睛凝視該顯示螢幕上的位置以得到該使用者的一凝視座標，根據該使用者的該眼部座標、該 凝視座標以及一視線角度形成該使用者的一凝視空間，並判斷該使用者的該手指座標是否位於該使用者的該凝視空間內，若該使用者的該手指座標位於該使用者的該凝視空間內，則該處理裝置根據該眼部座標與該手指座標計算該第三向量。
TW107129909A 2018-08-28 2018-08-28 指向判斷系統以及指向判斷方法 TWI734024B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107129909A TWI734024B (zh) 2018-08-28 2018-08-28 指向判斷系統以及指向判斷方法
US16/244,110 US10955970B2 (en) 2018-08-28 2019-01-10 Pointing direction determination system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107129909A TWI734024B (zh) 2018-08-28 2018-08-28 指向判斷系統以及指向判斷方法

Publications (2)

Publication Number Publication Date
TW202009653A TW202009653A (zh) 2020-03-01
TWI734024B true TWI734024B (zh) 2021-07-21

Family

ID=69639495

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107129909A TWI734024B (zh) 2018-08-28 2018-08-28 指向判斷系統以及指向判斷方法

Country Status (2)

Country Link
US (1) US10955970B2 (zh)
TW (1) TWI734024B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI832459B (zh) * 2021-11-10 2024-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與資訊顯示系統

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209608A (zh) 2015-01-28 2017-09-26 平蛙实验室股份公司 动态触摸隔离帧
EP3537269A1 (en) 2015-02-09 2019-09-11 FlatFrog Laboratories AB Optical touch system
US20170004182A1 (en) * 2015-06-30 2017-01-05 Vmware, Inc. Allocating, configuring and maintaining cloud computing resources using social media
JP2018536944A (ja) 2015-12-09 2018-12-13 フラットフロッグ ラボラトリーズ アーベーＦｌａｔＦｒｏｇ Ｌａｂｏｒａｔｏｒｉｅｓ ＡＢ 改善されたスタイラスの識別
EP3667475B1 (en) 2016-12-07 2022-09-07 FlatFrog Laboratories AB A curved touch device
WO2018141948A1 (en) 2017-02-06 2018-08-09 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
US10481737B2 (en) 2017-03-22 2019-11-19 Flatfrog Laboratories Ab Pen differentiation for touch display
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
CN111052058B (zh) 2017-09-01 2023-10-20 平蛙实验室股份公司 改进的光学部件
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
JP7198416B2 (ja) * 2019-05-29 2023-01-04 トヨタ紡織株式会社 乗物用調光システム
EP4066089B1 (en) 2019-11-25 2024-09-25 FlatFrog Laboratories AB A touch-sensing apparatus
CN115039063A (zh) 2020-02-10 2022-09-09 平蛙实验室股份公司 改进的触摸感测设备
TWI790738B (zh) * 2020-11-20 2023-01-21 財團法人工業技術研究院 用於防止動暈之圖像顯示系統及圖像顯示方法
CN116107527A (zh) * 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321347A1 (en) * 2011-02-18 2013-12-05 VTouch Co., Ltd. Virtual touch device without pointer
CN104471511A (zh) * 2012-03-13 2015-03-25 视力移动技术有限公司 无触摸用户接口
TWI493406B (zh) * 2013-04-24 2015-07-21 Acer Inc 電子裝置及其觸控偵測方法
TWI516093B (zh) * 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
US20160179205A1 (en) * 2013-06-27 2016-06-23 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US20170139478A1 (en) * 2014-08-01 2017-05-18 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010030984A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US8698771B2 (en) 2011-03-13 2014-04-15 Lg Electronics Inc. Transparent display apparatus and method for operating the same
US20120268359A1 (en) * 2011-04-19 2012-10-25 Sony Computer Entertainment Inc. Control of electronic device using nerve analysis
GB201110156D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
US20130031497A1 (en) * 2011-07-29 2013-01-31 Nokia Corporation Method and apparatus for enabling multi-parameter discovery and input
JP5957892B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
US10186057B2 (en) * 2012-11-22 2019-01-22 Sharp Kabushiki Kaisha Data input device, data input method, and non-transitory computer readable recording medium storing data input program
KR102051656B1 (ko) 2013-01-22 2019-12-03 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
KR102046569B1 (ko) 2013-04-15 2019-11-19 삼성전자주식회사 촬상 장치 및 촬상 장치의 제어 방법
US9189095B2 (en) 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
US20150049078A1 (en) * 2013-08-15 2015-02-19 Mep Tech, Inc. Multiple perspective interactive image projection
KR20150031986A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
EP3049899A4 (en) * 2013-09-24 2017-07-05 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
KR20150096826A (ko) 2014-02-17 2015-08-26 엘지전자 주식회사 디스플레이 장치 및 제어 방법
KR102292192B1 (ko) 2014-02-17 2021-08-23 엘지전자 주식회사 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10186086B2 (en) * 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
JP2017054251A (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
GB2558889B (en) * 2017-01-13 2020-07-29 Jaguar Land Rover Ltd Drive mode selector for a drivetrain, vehicle comprising such a drive mode selector, and a method of selecting a drive mode of a drivetrain
US11204662B2 (en) * 2017-01-17 2021-12-21 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface that assigns an action to an object located thereon
CN109308113A (zh) * 2017-07-26 2019-02-05 富泰华工业（深圳）有限公司 非接触式输入装置及方法、能进行非接触式输入的显示器
US10512839B2 (en) * 2017-09-28 2019-12-24 Igt Interacting with three-dimensional game elements using gaze detection
US11079758B2 (en) * 2018-01-12 2021-08-03 Toyota Research Institute, Inc. Systems and methods for incentivizing user-aided improvement of autonomous vehicle control systems and methods of operating a vehicle using the same
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
KR20190084912A (ko) * 2019-06-28 2019-07-17 엘지전자 주식회사 사용자의 액션에 따라 제어 가능한 인공 지능 장치 및 그의 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321347A1 (en) * 2011-02-18 2013-12-05 VTouch Co., Ltd. Virtual touch device without pointer
CN104471511A (zh) * 2012-03-13 2015-03-25 视力移动技术有限公司 无触摸用户接口
TWI516093B (zh) * 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
TWI493406B (zh) * 2013-04-24 2015-07-21 Acer Inc 電子裝置及其觸控偵測方法
US20160179205A1 (en) * 2013-06-27 2016-06-23 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US20170139478A1 (en) * 2014-08-01 2017-05-18 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI832459B (zh) * 2021-11-10 2024-02-11 財團法人工業技術研究院 資訊顯示方法及其處理裝置與資訊顯示系統

Also Published As

Publication number Publication date
TW202009653A (zh) 2020-03-01
US20200073509A1 (en) 2020-03-05
US10955970B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
TWI734024B (zh) 指向判斷系統以及指向判斷方法
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
Rädle et al. Huddlelamp: Spatially-aware mobile displays for ad-hoc around-the-table collaboration
KR102702585B1 (ko) 전자 장치 및 이의 제어 방법
Garber Gestural technology: Moving interfaces in a new direction [technology news]
US9589325B2 (en) Method for determining display mode of screen, and terminal device
WO2016088418A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US9007321B2 (en) Method and apparatus for enlarging a display area
WO2016129156A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11635827B2 (en) Control device, display device, program, and detection method
US20160139762A1 (en) Aligning gaze and pointing directions
US10235607B2 (en) Control device, control method, and computer program product
TW200844809A (en) Display apparatus
WO2019033322A1 (zh) 手持式控制器、跟踪定位方法以及系统
US20180075294A1 (en) Determining a pointing vector for gestures performed before a depth camera
US10962738B2 (en) Information processing apparatus and information processing method to calibrate line-of-sight of a user
US20180004288A1 (en) Electronic device
US9552074B2 (en) Method and system for generating user feedback of a gesture capturing device
TW201800901A (zh) 偵測動作資訊的方法及感光陣列
Khamis et al. EyePACT: eye-based parallax correction on touch-enabled interactive displays
US20160034172A1 (en) Touch device and control method and method for determining unlocking thereof
CN104571726A (zh) 光学触控系统、触控检测方法及电脑程序产品
CN110865761B (zh) 指向判断系统以及指向判断方法
Yeo et al. OmniSense: Exploring Novel Input Sensing and Interaction Techniques on Mobile Device with an Omni-Directional Camera
Matsubara et al. Touch detection method for non-display surface using multiple shadows of finger