TWI398818B - 手勢辨識方法與系統 - Google Patents
手勢辨識方法與系統 Download PDFInfo
- Publication number
- TWI398818B TWI398818B TW098122149A TW98122149A TWI398818B TW I398818 B TWI398818 B TW I398818B TW 098122149 A TW098122149 A TW 098122149A TW 98122149 A TW98122149 A TW 98122149A TW I398818 B TWI398818 B TW I398818B
- Authority
- TW
- Taiwan
- Prior art keywords
- concentric circle
- hand block
- skin color
- gesture
- gesture recognition
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
本發明是有關於一種手勢辨識的方法,且特別是有關於一種根據指尖與掌心特徵來辨識手勢的方法及其相關應用。
使用者在對電腦系統、電腦/電視遊戲、資訊家電等產品進行操作時,需要透過人機介面來對電腦系統、電腦/電視遊戲、資訊家電等產品下達命令,並透過人機介面取得電腦系統、電腦/電視遊戲、資訊家電等產品所產生的執行結果。而隨著科技的進步,使用者與電腦系統、電腦/電視遊戲、資訊家電等產品之間的溝通模式也越來越多樣化;換言之,人機介面所能接收的使用者訊息也不再侷限於鍵盤或滑鼠所產生的指令,許多結合語音、手寫,或是手勢等輸入模式的人機介面也逐漸地受到使用者的青睞。
目前已知以手勢進行電腦系統的操作方法,為使用者必須戴上特殊的手套裝置,進而透過手套裝置上的感應元件來偵測手指的變化,以辨識手勢種類並對應相關指令控制電腦系統。除此之外,另一些手套裝置則是在每個指尖上標示了不同的顏色或裝設發光二極體(Light Emitting Diode;LED)元件,藉以在使用者的手指產生動作時,根據顏色或燈光的位置變化來判斷手勢的種類,進而對應不同的指令操控電腦系統。然而,由於這些手套裝置的價格昂貴,一般使用者較不易取得使用,且使用者在佩戴手套裝置來操作電腦系統時,也容易因手套裝置的體積與重量而感到不便。
有鑑於此,本發明提供一種手勢辨識的方法,透過所擷取的影像來辨識使用者的手勢,進而以雙手取代滑鼠、鍵盤或搖桿等輸入裝置,讓使用者更方便地對電腦系統、電腦/電視遊戲、資訊家電等產品進行操作。
本發明提供一種手勢辨識系統,針對手部指尖與掌心的特徵來判斷手勢種類,再根據所辨識之手勢來操作電腦系統、電腦/電視遊戲、資訊家電等產品。
本發明提出一種手勢辨識的方法,用以辨識使用者在電腦系統、電腦/電視遊戲、資訊家電等產品前做出的手勢。此方法首先擷取含有使用者的影像;接著,取得影像中的手部區塊,再利用第一同心圓掃描手部區塊,並根據掃瞄時分別在第一同心圓內圓周及第一同心圓外圓周上膚色點所佔的比例來判斷手部區塊中的指尖總數;最後,以指尖總數辨識手勢,並根據所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中擷取含有使用者之影像的步驟,包括利用電腦系統、電腦/電視遊戲、資訊家電等產品的視訊攝影機擷取影像。
在本發明之一實施例中,其中在擷取含有使用者之影像的步驟之後,更包括依預設膚色值,來過濾所擷取的影像中符合預設膚色值的多個膚色區塊。
在本發明之一實施例中,其中取得影像中之手部區塊的步驟,包括自膚色區塊中取得面積最大的三個膚色區塊,並個別分析三個膚色區塊是否具有臉部特徵;將具有臉部特徵的區塊標示為臉部區塊,而不具有臉部特徵的區塊標示為手部區塊,其中,臉部特徵的判斷可包括頭髮特徵及五官特徵。
在本發明之一實施例中,其中利用第一同心圓掃描手部區塊以判斷手部區塊中之指尖總數的步驟,包括令第一同心圓圓心位置位於手部區塊中的第一預設位置;根據第一同心圓內圓周及第一同心圓外圓周上所涵蓋的像素點數量,分別與第一同心圓內圓周及第一同心圓外圓周上的膚色點數量所佔的比例,判斷目前的第一同心圓的圓心位置是否為指尖位置,若不是,則朝著一預設方向,以一個像素為單位,移動第一同心圓圓心位置。本方法將重複上述判斷第一同心圓圓心位置是否為指尖位置以及移動第一同心圓圓心位置的步驟,直到取得指尖位置的次數到達特定數量或手部區塊掃描完畢為止,最後,以取得指尖位置的次數作為指尖總數。
在本發明之一實施例中,其中判斷目前的第一同心圓圓心位置是否為指尖位置的步驟,包括判斷在第一同心圓內圓周上的膚色點數量是否與第一同心圓內圓周上所涵蓋的像素點數量相同。若是,則接著判斷在第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例是否小於第一預設值;若是,則判定目前的第一同心圓圓心位置為指尖位置,並記錄此指尖位置。在本實施例中,在第一同心圓內圓周上的膚色點數量與第一同心圓內圓周上所涵蓋的像素點數量不同時,或在第一同心圓外圓周上的膚色點數量與第一同心圓外圓周所涵蓋的像素點數量之間的比例大於或等於第一預設值時,則判定目前的第一同心圓圓心位置並非指尖位置。
在本發明之一實施例中,其中在已取得每個指尖位置的次數作為指尖總數的步驟之後,更包括利用第二同心圓掃描手部區塊,並根據掃瞄時,分別在第二同心圓內圓周及第二同心圓外圓周上的膚色點數量,取得手部區塊中的掌心位置,接著,以指尖總數及掌心位置辨識手勢,而上述之第二同心圓的外圓與內圓均大於第一同心圓。
在本發明之一實施例中,其中利用第二同心圓掃描手部區塊以取得掌心位置的步驟,包括令第二同心圓圓心位置重疊至手部區塊中的第二預設位置。根據第二同心圓內圓周及第二同心圓外圓周上所涵蓋的像素點數量,分別與第二同心圓內圓周及第二同心圓外圓周上的膚色點數量所佔的比例,判斷目前的第二同心圓圓心位置是否為掌心位置;進行判斷後,朝著預設方向,以一個像素為單位,移動第二同心圓圓心位置。本方法將重複上述判斷第二同心圓圓心位置是否為掌心位置以及移動第二同心圓圓心位置的步驟,直到取得掌心位置或手部區塊掃描完畢為止。
在本發明之一實施例中,其中判斷目前的第二同心圓圓心位置是否為掌心位置的步驟,包括判斷在第二同心圓內圓周上的膚色點數量是否與第二同心圓內圓周上所涵蓋的像素點數量相同。若是,則判斷在第二同心圓外圓周上的膚色點數量與第二同心圓外圓周上所涵蓋的像素點數量之間的比例是否大於第二預設值;若是,則判定目前的第二同心圓圓心位置為掌心位置,並且記錄掌心位置。在本實施例中,在判斷第二同心圓內圓周上的膚色點數量與第二同心圓內圓周上所涵蓋的像素點數量不同時,或在判斷第二同心圓外圓周上的膚色點數量與第二同心圓外圓周上所涵蓋之像素點數量之間的比例小於或等於第二預設值時,則判定目前的第二同心圓圓心位置並非掌心位置。
在本發明之一實施例中,其中第一同心圓及第二同心圓的大小對應於使用者與視訊攝影機之間的距離。
在本發明之一實施例中,其中以指尖總數及掌心位置辨識手勢的步驟,包括以掌心位置為中心,定義n個扇形區域,而各n個扇形區域分別對應一指向,且n為正整數;接著,計算各n個扇形區域中指尖位置的數量,以及在n個扇形區域中,取得指尖位置數量最多的特定扇形區域,並判定手勢符合特定扇形區域所對應的指向。
在本發明之一實施例中,其中在判定手勢符合特定扇形區域所對應之指向的步驟之後,更包括:根據指尖總數及指向對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中手部區塊包括左手區塊及右手區塊,且此方法更包括利用第一同心圓掃描左手區塊以判斷左手區塊中的指尖總數,並且利用第一同心圓掃描右手區塊以判斷右手區塊中的指尖總數;接著,以左手區塊的指尖總數及右手區塊的指尖總數辨識手勢,並根據所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,此方法更包括:利用第一同心圓掃描左手區塊以判斷左手區塊中的指尖總數,並利用第二同心圓掃描左手區塊以取得左手區塊中的掌心位置,同時根據左手區塊中的掌心位置判斷手勢對應的左手指向。此方法也包含利用第一同心圓掃描右手區塊以判斷右手區塊中的指尖總數,再利用第二同心圓掃描右手區塊以取得右手區塊中的掌心位置,以及根據右手區塊中的掌心位置判斷手勢對應的右手指向。最後,以左手區塊的指尖總數與左手指向,以及右手區塊的指尖總數與右手指向辨識手勢,並且根據所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中操作功能至少包括滑鼠功能、鍵盤功能及搖桿功能等等。
從另一觀點來看,本發明提出一種手勢辨識系統,包括手部區塊偵測模組、指尖特徵擷取模組、手勢辨識模組,以及功能執行模組;其中,手部區塊偵測模組取得由影像擷取模組擷取之影像中的手部區塊,影像則包括電腦系統、電腦/電視遊戲、資訊家電等產品的使用者,且使用者在電腦系統、電腦/電視遊戲、資訊家電等產品前做出一手勢。指尖特徵擷取模組是利用第一同心圓掃描手部區塊,並根據掃瞄時分別在第一同心圓內圓周及第一同心圓外圓周上膚色點所佔的比例來判斷手部區塊中的指尖總數。手勢辨識模組係根據指尖總數辨識手勢,而功能執行模組則是根據所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中影像擷取模組包括電腦系統、電腦/電視遊戲、資訊家電等產品的視訊攝影機。
在本發明之一實施例中,此系統更包括影像前處理模組,依預設膚色值,來擷取影像中符合預設膚色值的多個膚色區塊。
在本發明之一實施例中,其中手部區塊偵測模組自膚色區塊中取得面積最大的三個膚色區塊,個別分析三個膚色區塊是否具有臉部特徵,將具有臉部特徵的區塊標示為臉部區塊,而不具有臉部特徵的區塊標示為手部區塊,其中,臉部特徵可包括頭髮特徵及五官特徵的判斷。
在本發明之一實施例中,其中指尖特徵擷取模組令第一同心圓圓心位置位於手部區塊中的第一預設位置,根據第一同心圓內圓周及第一同心圓外圓周上所涵蓋的像素點數量,分別與第一同心圓內圓周及第一同心圓外圓周上膚色點數量所佔的比例,判斷目前的第一同心圓圓心位置是否為指尖位置,並在判斷後,朝著預設方向,以一個像素為單位,移動第一同心圓圓心位置;指尖特徵擷取模組重複上述判斷第一同心圓圓心位置是否為指尖位置,以及移動第一同心圓圓心位置的動作,直到取得指尖位置的次數到達特定的數量或手部區塊已掃描完畢為止,最後,以取得指尖位置的次數作為指尖總數。
在本發明之一實施例中,其中指尖特徵擷取模組判斷在第一同心圓內圓周上的膚色點數量是否與第一同心圓內圓周上所涵蓋的像素點數量相同。若是,則接著判斷在第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例是否小於第一預設值;若是,則判定目前的第一同心圓圓心位置為指尖位置,並記錄此指尖位置。
在本發明之一實施例中,其中指尖特徵擷取模組在判斷第一同心圓內圓周上的膚色點數量與第一同心圓內圓周上所涵蓋的像素點數量不同時,或在判斷第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例大於或等於第一預設值時,將判定目前的第一同心圓圓心位置並非指尖位置。
在本發明之一實施例中,此系統更包括掌心特徵擷取模組,透過利用第二同心圓掃描手部區塊,並根據掃瞄時分別在第二同心圓外圓周及第二同心圓內圓周上的膚色點數量取得手部區塊中的掌心位置;其中,第二同心圓的外圓與內圓均大於第一同心圓,而手勢辨識模組則以指尖總數及掌心位置辨識手勢。
在本發明之一實施例中,其中掌心特徵擷取模組令第二同心圓圓心位置重疊至手部區塊中,做為搜尋掌心的第二預設位置。根據第二同心圓內圓周及第二同心圓外圓周上所涵蓋的像素點數量,分別與第二同心圓內圓周及第二同心圓外圓周上的膚色點數量所佔的比例,來判斷目前的第二同心圓圓心位置是否為掌心位置,並在判斷後,朝著預設方向,以一個像素為單位,移動第二同心圓圓心位置。掌心特徵擷取模組將重複上述判斷第二同心圓圓心位置是否為掌心位置以及移動第二同心圓圓心位置的動作,直到取得掌心位置或手部區塊掃描完畢為止。
在本發明之一實施例中,其中掌心特徵擷取模組判斷在第二同心圓內圓周上的膚色點數量是否與第二同心圓內圓周上所涵蓋的像素點數量相同。若是,則判斷在第二同心圓外圓周上的膚色點數量與第二同心圓外圓周上所涵蓋的像素點數量之間的比例是否大於第二預設值;若是,則判定目前的第二同心圓圓心位置為掌心位置,並記錄該掌心位置。
在本發明之一實施例中,其中掌心特徵擷取模組在判斷第二同心圓內圓周上的膚色點數量與第二同心圓內圓周上所涵蓋的像素點數量不同時,或在判斷第二同心圓外圓周上的膚色點數量與第二同心圓外圓周上所涵蓋的像素點數量之間的比例小於或等於第二預設值時,判定目前的第二同心圓圓心位置並非掌心位置。
在本發明之一實施例中,其中第一同心圓及第二同心圓的大小對應於使用者與視訊攝影機之間的距離。
在本發明之一實施例中,其中手勢辨識模組以掌心位置為中心,定義n個扇形區域,當中各n個扇形區域分別對應一指向,且n為正整數;接著,計算各n個扇形區域中指尖位置的數量,以及在n個扇形區域中,取得指尖位置數量最多的特定扇形區域,並判定手勢符合特定扇形區域所對應的指向。
在本發明之一實施例中,其中功能執行模組根據指尖總數及指向對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中手部區塊包括左手區塊及右手區塊。指尖特徵擷取模組利用第一同心圓掃描左手區塊以判斷左手區塊中的指尖總數,並利用第一同心圓掃描右手區塊以判斷右手區塊中的指尖總數。手勢辨識模組以左手區塊的指尖總數及右手區塊的指尖總數辨識手勢,且功能執行模組根據所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中指尖特徵擷取模組利用第一同心圓分別掃描左手區塊及右手區塊,以判斷左手區塊中的指尖總數以及右手區塊中的指尖總數。掌心特徵擷取模組利用第二同心圓分別掃描左手區塊及右手區塊,以取得左手區塊中的掌心位置以及右手區塊中的掌心位置。手勢辨識模組根據左手區塊中的掌心位置判斷手勢對應的左手指向,以及根據右手區塊中的掌心位置判斷手勢對應的右手指向,並以左手區塊的指尖總數與左手指向以及右手區塊的指尖總數與右手指向辨識使用者的手勢。功能執行模組根據所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在本發明之一實施例中,其中操作功能至少包括電腦系統的滑鼠功能、鍵盤功能及電腦/電視遊戲的搖桿功能,更包括資訊家電等產品的操控介面。
在本發明之一實施例中,此系統更包括辨識結果顯示模組,用以在功能執行模組根據所辨識之手勢對應執行的操作功能為滑鼠功能時,顯示大小對應於電腦系統、電腦/電視遊戲、資訊家電等產品之螢幕的虛擬滑鼠面板,進而提示使用者於電腦系統、電腦/電視遊戲、資訊家電等產品中的游標位置。
基於以上所述,本發明係透過視訊攝影機直接擷取使用者在電腦系統、電腦/電視遊戲、資訊家電等產品前方比出手勢時的影像,並根據指尖及掌心特徵來辨識使用者比出的手勢,進而根據手勢的種類對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能;如此一來,使用者便能直接利用雙手對電腦系統、電腦/電視遊戲、資訊家電等產品進行操作,進而大幅提升操作上的便利性與趣味性。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細的說明。
圖1是依照本發明之一實施例所繪示之手勢辨識系統的方塊圖。請參閱圖1,手勢辨識系統100包括影像前處理模組110、手部區塊偵測模組120、指尖特徵擷取模組130、掌心特徵擷取模組140、手勢辨識模組150、功能執行模組160,以及辨識結果顯示模組170。在本實施例中,手勢辨識系統100係根據指尖及掌心的特徵來辨識使用者在電腦系統、電腦/電視遊戲、資訊家電等產品前作出的手勢,進而對應不同的操控指令,控制電腦系統、電腦/電視遊戲、資訊家電等產品;其中,電腦系統可以是桌上型電腦系統或筆記型電腦系統等等,而資訊家電產品可以是電視、電視遊樂器等等,在此並不限制其範圍。
當電腦系統、電腦/電視遊戲、資訊家電等產品的影像擷取模組(例如視訊攝影機)拍攝到電腦系統、電腦/電視遊戲、資訊家電等產品前方的使用者影像,且使用者正對著電腦系統、電腦/電視遊戲、資訊家電等產品做出一手勢時,影像前處理模組110將取得上述影像,並對影像進行前處理動作,以便於讓手部區塊偵測模組120更精確地找出影像中的手部區塊。而指尖特徵擷取模組130與掌心特徵擷取模組140則分別會以大小不同的同心圓來掃描整個手部區塊,進而判斷手部區塊中的指尖總數以及掌心位置。手勢辨識模組150可以根據指尖特徵擷取模組130與掌心特徵擷取模組140所提供的資訊來進一步辨識手勢的種類,而功能執行模組160則會根據辨識出的手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。此外,辨識結果顯示模組170則可以在辨識手勢的過程中,將辨識結果顯示出來以供使用者檢視。
透過手勢辨識系統100的運作,使用者將不再需要透過鍵盤、滑鼠或搖桿等輸入裝置來操控電腦系統、電腦/電視遊戲、資訊家電等產品。取而代之的是使用者可以直接坐在電腦系統、電腦/電視遊戲、資訊家電等產品前比出預先定義的手勢,再由手勢辨識系統100辨識手勢的種類以控制電腦系統、電腦/電視遊戲、資訊家電等產品執行對應的操作功能。在以下的實施例中,將更進一步地說明手勢辨識系統100的詳細運作流程。
圖2是依照本發明之一實施例所繪示之手勢辨識方法的流程圖,請同時參閱圖1與圖2。在本實施例中,使用者位於電腦系統、電腦/電視遊戲、資訊家電等產品的前方,而配置於電腦系統、電腦/電視遊戲、資訊家電等產品的影像擷取模組(例如視訊攝影機)可拍攝到含有使用者的影像。因此,當使用者對著電腦系統、電腦/電視遊戲、資訊家電等產品做出手勢時,影像擷取模組所拍攝的影像便包括了使用者做出的手勢。
首先,如步驟210所示,影像前處理模組110在取得影像擷取模組所拍攝到的影像後,將取得一預設膚色值,並自影像中擷取出符合預設膚色值的數個膚色區塊。在本實施例中,預設膚色值可根據人種的不同而進行調整,且影像前處理模組110會透過數理形態學的膨脹運算來填補膚色區塊中的漏洞,並以侵蝕運算濾除位於膚色區塊四周顏色近似於膚色的雜點,再利用標記相連元件的方法,將相鄰膚色區域標示為同一區塊。
接著,如步驟220所示,透過手部區塊偵測模組120取得影像中的手部區塊。在本實施例中,手部區塊偵測模組120先從影像前處理模組110所擷取到的所有膚色區塊中,取出面積最大的三個膚色區塊。接下來,手部區塊偵測模組120個別分析這三個膚色區塊是否具有臉部特徵;其中,臉部特徵可以包括頭髮特徵和五官特徵等。由於臉部特徵較為明顯且易於判斷,因此,手部區塊偵測模組120會先從面積最大的三個膚色區塊中辨識出屬於人臉的部份,再將其他的部份標記為手部。於是在這三個膚色區塊當中,具有臉部特徵的區塊將被手部區塊偵測模組120判定並標示為臉部區塊,而不具有臉部特徵的區塊則被判定並標示為手部區塊。
一般來說,使用者在做手勢時,最直接的方式便是比出不同數量的手指;因此,在取得手部區塊後,便可透過擷取指尖特徵來判斷使用者比出的手指數。如步驟230所示,指尖特徵擷取模組130利用第一同心圓掃描整個手部區塊,並根據在掃瞄過程中,分別在第一同心圓內圓周及第一同心圓外圓周上的膚色點數量所佔的比例來判斷手部區塊中的指尖位置與指尖總數。
以下將藉由圖3來進一步說明取得指尖位置的詳細流程。如步驟310所示,指尖特徵擷取模組130首先令第一同心圓圓心位置位於手部區塊中的第一預設位置。在本實施例中,第一預設位置例如是在手部區塊的左上角,而必須特別說明的是,第一預設位置必須使第一同心圓能夠完整地顯示在手部區塊之中。
接下來,指尖特徵擷取模組130便會根據第一同心圓內圓周及第一同心圓外圓周上所涵蓋的像素點數量,分別與第一同心圓內圓周及第一同心圓外圓周上膚色點數量之間的比例,來判斷目前的第一同心圓圓心位置是否為指尖位置。
詳細地說,由於指尖外形係呈現半圓弧狀,因此當第一同心圓掃描到使用者的指尖時,第一同心圓內圓周上所涵蓋的每個像素點都應該是膚色點,且第一同心圓外圓周上的膚色點數量佔第一同心圓外圓周上所涵蓋的像素點數量的比例應不超過第一預設值(例如40%)。根據上述的判斷條件,如步驟320所示,指尖特徵擷取模組130首先判斷在第一同心圓內圓周上的膚色點數量是否與第一同心圓內圓周上所涵蓋的像素點數量相同。一旦指尖特徵擷取模組130在第一同心圓內圓周上偵測到不屬於膚色值的像素點,便如步驟350所示,直接判斷目前的第一同心圓圓心位置並非指尖位置。然而,若第一同心圓內圓周上的膚色點數量與第一同心圓內圓周上所涵蓋的像素點數量相同時,則接著在步驟330中,判斷在第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例是否小於第一預設值。若第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例大於或等於第一預設值時,則如步驟350所示,判定目前的第一同心圓圓心位置並非指尖位置。反之,若比例小於第一預設值,則如步驟340所示,判定目前的第一同心圓圓心位置為指尖位置。在本實施例中,指尖特徵擷取模組130在判定指尖位置後,亦會將指尖位置記錄下來。
接著在步驟360中,判斷取得指尖位置的次數是否到達特定的數量(例如5)或手部區塊是否已掃描完畢。若是,則結束取得指尖位置的流程;若否,則如步驟370所示,指尖特徵擷取模組130朝著一預設方向(例如向右),以一個像素為單位,移動第一同心圓圓心位置,並回到步驟320再次進行上述的判斷。指尖特徵擷取模組130將不斷地重複步驟320至步驟370的動作,直到取到指尖位置的次數已到達特定的數量,或手部區塊已掃描完畢為止。
透過圖3所示之各步驟便可取得手部區塊中的所有指尖位置,而指尖特徵擷取模組130將以取得指尖位置的次數來作為手部區塊中的指尖總數。
圖4是依照本發明之一實施例所繪示之手部區塊的示意圖。在本實施例中,假設第一預設值為40%,且第一同心圓410之內圓周上所涵蓋的像素點數量為80,且第一同心圓410之外圓周上所涵蓋的像素點數量為100。指尖特徵擷取模組130在判斷手部區塊400的指尖總數時,首先,令第一同心圓410的圓心位置位於手部區塊400中的第一預設位置(例如像素點x)。假如指尖特徵擷取模組130在對第一同心圓410的內圓周進行判斷時,發現第一個取得的像素點便不是膚色點,此時,指尖特徵擷取模組130可以直接判斷目前的圓心位置(即像素點x)並非指尖位置。接著,指尖特徵擷取模組130以一個像素為單位,將第一同心圓410的圓心位置移到下一個檢測位置。舉例來說,當第一同心圓410的圓心位置被移到像素點y時,倘若第一同心圓內圓周上的每個像素點均為膚色點,且第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例小於第一預設值,則指尖特徵擷取模組130判斷像素點y為指尖位置。然而,當第一同心圓410的圓心位置被移到像素點z時,雖然第一同心圓內圓周上的每個像素點均為膚色點,但第一同心圓外圓周上的膚色點數量與第一同心圓外圓周上所涵蓋的像素點數量之間的比例並未小於第一預設值,因此,指尖特徵擷取模組130判斷像素點z並非指尖位置;也就是說,於本實施例中,當指尖特徵擷取模組130在第一同心圓外圓周上找到第41個膚色點時,便會判斷目前的第一同心圓圓心位置並非指尖位置。
接下來,回到圖2之步驟240,當指尖特徵擷取模組130所判斷的指尖總數為1時,表示使用者比出一根手指,而當指尖特徵擷取模組130所判斷的指尖總數為2時,表示使用者比出兩根手指,以此類推;因此,手勢辨識模組150將根據指尖總數來辨識手勢的種類。舉例來說,手勢辨識模組150可辨識的手勢包括使用者比出0至5根手指的情況。
最後,在步驟250中,功能執行模組160根據手勢辨識模組150所辨識之手勢對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能;其中,操作功能至少包括電腦系統的滑鼠功能、鍵盤功能及電腦/電視遊戲的搖桿功能,更包括資訊家電等產品的操控介面等等,好比是游標位置控制、物件選取、檔案複製、檔案移動、滑鼠右鍵控制、多媒體檔案控制、音量控制、應用程式控制等等,在此並不限制操作功能的範圍。
在另一實施例中,當手部區塊偵測模組120取得兩個手部區塊(稱之為左手區塊及右手區塊)時,表示使用者在電腦系統、電腦/電視遊戲、資訊家電等產品前比出了雙手。據此,指尖特徵擷取模組130將利用第一同心圓掃描左手區塊,並執行圖2所示之各步驟以判斷左手區塊中的指尖總數;同樣地,指尖特徵擷取模組130也會利用第一同心圓掃描右手區塊,並執行圖2所示之各步驟以判斷右手區塊中的指尖總數。依此,分別取得左手區塊與右手區塊中的指尖總數後,手勢辨識模組150將根據兩個手部區塊中的指尖總數來辨識手勢。在本實施例中,左手區塊的指尖總數可以是0至5,而右手區塊的指尖總數亦可為0至5,因此,手勢辨識模組150可辨識的手勢種類便可達到36(6*6)種;也就是說,功能執行模組160最多可根據這36種不同的手勢而執行36種電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
圖5是依照本發明之另一實施例所繪示之手勢辨識方法的流程圖。在本實施例中,為了擴增可辨識之手勢的數量,手勢辨識系統100將同時利用指尖特徵及掌心特徵來辨識使用者手勢的方向性。請同時參閱圖2與圖5,由於圖5之步驟510至步驟530與圖2之步驟210至步驟230相同或相似,均是取得影像中的手部區塊並判斷手部區塊中的指尖總數,故在此便不再贅述。
本實施例是透過掌心與指尖位置的相對關係來判斷手勢的指向,故須由掌心特徵擷取模組140找出手部區塊中的掌心位置。因此,在步驟540中,掌心特徵擷取模組140利用第二同心圓掃描整個手部區塊,並根據掃瞄時分別在第二同心圓內圓周及第二同心圓外圓周上的膚色點數量所佔的比例,來取得手部區塊中的掌心位置;其中,第二同心圓的外圓與內圓均大於第一同心圓。
以下將利用圖6來說明取得掌心位置的詳細流程。首先,如步驟610所示,掌心特徵擷取模組140令第二同心圓的圓心位置重疊至手部區塊中的第二預設位置。其中,第二預設位置例如是手部區塊的左上角,且當第二同心圓圓心位置重疊在第二預設位置時,第二同心圓必須完整地顯示在手部區塊之中。
接下來,掌心特徵擷取模組140將根據第二同心圓內圓周及第二同心圓外圓周上所涵蓋的像素點數量,分別與第二同心圓內圓周及第二同心圓外圓周上膚色點數量之間的比例,來判斷目前的第二同心圓圓心位置是否為掌心位置。
詳細地說,在步驟620中,掌心特徵擷取模組140判斷在第二同心圓內圓周上的膚色點數量是否與第二同心圓內圓周上所涵蓋的像素點數量相同,並且在步驟630中判斷在第二同心圓外圓周上的膚色點數量與第二同心圓外圓周上所涵蓋的像素點數量之間的比例是否大於第二預設值(例如95%)。若步驟620及步驟630的判斷結果均為是,那麼掌心特徵擷取模組140便判定目前的第二同心圓圓心位置為掌心位置;掌心特徵擷取模組140會將掌心位置記錄下來,同時結束取得掌心位置的流程。
然而,倘若第二同心圓內圓周上的膚色點數量與第二同心圓內圓周上所涵蓋的像素點數量不同,或是第二同心圓外圓周上的膚色點數量與第二同心圓外圓周所涵蓋的像素點數量之間的比例小於或等於第二預設值,則如步驟650所示,掌心特徵擷取模組140判定目前的第二同心圓圓心位置並非掌心位置。
當掌心特徵擷取模組140判定目前的第二同心圓圓心位置並非掌心位置,接著在步驟655中,判斷是否已取得掌心位置或是手部區塊是否已經掃描完畢。若是,則結束取得掌心位置的流程;否則,接著在步驟660中,掌心特徵擷取模組140將朝著預設方向,以一個像素為單位,移動第二同心圓圓心位置,並回到步驟620再次執行上述的判斷步驟。換言之,掌心特徵擷取模組140會不斷地在手部區塊中搜尋掌心位置,直到取得手部區塊中的掌心位置或手部區塊已掃描完畢為止。
圖7是依照本發明之另一實施例所繪示之手部區塊的示意圖。假設第二同心圓710之內圓周上所涵蓋的像素點數量為150、第二同心圓710之外圓周上所涵蓋的像素點數量為200、第二預設值為95%,且手部區塊400中的第二預設位置為像素點x’;當掌心特徵擷取模組140令第二同心圓710的圓心位置重疊至像素點x’時,由於第二同心圓內圓周上的像素點並非都是膚色點,因此,掌心特徵擷取模組140將直接判斷像素點x’並非掌心位置。而當第二同心圓圓心位置被移動至像素點y’時,假設第二同心圓內圓周上的膚色點數量為150,且在第二同心圓外圓周上的膚色點數量為192;由於第二同心圓內圓周上的膚色點數量與第二同心圓內圓周所涵蓋的像素點數量相同,且在第二同心圓外圓周上膚色點數量與第二同心圓外圓周上所涵蓋像素點數量之間的比例亦大於95%,因此,掌心特徵擷取模組140便會將像素點y’視為手部區塊400中的掌心位置。
在透過指尖特徵擷取模組130取得指尖總數及各指尖位置,並藉由掌心特徵擷取模組140取得掌心位置之後,接著在步驟550中,手勢辨識模組150將同時以指尖總數及掌心位置來辨識使用者比出的手勢;其中,手勢辨識模組150以掌心位置為中心,定義n個扇形區域,而各n個扇形區域分別對應一指向,且n為正整數。接著,計算每個扇形區域中指尖位置的數量,並自上述n個扇形區域中取得指尖位置數量最多的特定扇形區域。最後,判定手勢符合於特定扇形區域所對應的指向。
在一實施例中,手勢辨識模組150將以掌心位置為中心劃分出四個扇形區域,且這四個扇形區域分別對應向上、向下、向左,與向右這四個指向。倘若在對應向上的扇形區域中出現最多的指尖位置,那麼手勢辨識模組150便會判定使用者所比出的手勢具有向上的指向;同理,若在對應向下的扇形區域中出現最多的指尖位置,那麼手勢辨識模組150則會判定使用者比出的手勢具有向下的指向。在另一實施例中,當指尖位置的數量平均分配在兩個以上的扇形區域,或是無法清楚歸類手勢指向時,手勢辨識模組150則可以將使用者的手勢定義為特殊的其他類型。
舉例來說,假設手勢辨識模組150劃分出的扇形區域A、扇形區域B、扇形區域C,以及扇形區域D,分別對應向上、向右、向下與向左這四個指向。如圖8A所示,當指尖位置全部落在扇形區域A時,手勢辨識模組150判定使用者的手勢具有向上的指向,且指尖位置的數量為4。而在圖8B中,手勢辨識模組150將判定使用者的手勢具有向右的指向,且指尖位置的數量為4。在圖8C中,扇形區域D具有最多的指尖位置數量,因此,手勢辨識模組150判定手勢具有向左的指向,且在扇形區域D中的指尖位置數量為3及扇形區域A的指尖位置數量為1。在圖8D中,由於在扇形區域A與扇形區域C中具有數量相同的指尖位置,因此,手勢辨識模組150將判定手勢屬於其他類型;於此例裡,在扇形區域A及扇形區域C中的指尖位置數量均為1。
倘若手勢辨識模組150劃分出4個扇形區域,且在每個扇形區域中均可識別使用者比出1至5根手指的狀態,那麼手勢辨識模組150便可辨識出至少20(4*5)種不同的手勢。最後,如步驟560所示,功能執行模組160根據取得的指尖總數及指向(即所辨識出的手勢狀態),對應不同的操控指令,執行電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能。
在另一實施例中,當手部區塊偵測模組120取得兩個手部區塊(即左手區塊及右手區塊)時,表示使用者在電腦系統、電腦/電視遊戲、資訊家電等產品前比出了雙手。在這樣的情況下,指尖特徵擷取模組130將利用第一同心圓分別掃描左手區塊及右手區塊,進而判斷左手區塊中的指尖總數以及右手區塊中的指尖總數。掌心特徵擷取模組140則會利用第二同心圓分別掃描左手區塊及右手區塊,以取得左手區塊的掌心位置以及右手區塊的掌心位置。由於取得指尖總數與掌心位置的方式與前述實施例相同或相似,故在此不再贅述。
接下來,手勢辨識模組150將根據左手區塊中的掌心位置判斷手勢所對應的左手指向,並且根據右手區塊中的掌心位置來判斷手勢所對應的右手指向,接著,再結合左手區塊的指尖總數與左手指向,以及右手區塊的指尖總數與右手指向來辨識使用者比出的手勢。據此,在本實施例中,手勢辨識模組150可辨識出至少400(20*20)種不同的雙手手勢組合;也就是說,手勢辨識系統100可辨識至少400種不同的手勢,進而對應執行400種不同的操作功能。
舉例來說,假設使用者比出一根手指時,會對應啟動控制游標的功能。當使用者一手比出一根手指,且另一手比出兩根手指時,則會啟動滑鼠雙擊的功能;而當使用者以單手比出三根手指時,則會啟動瀏覽器。然而,必需特別說明的是,上述手勢與操作功能的對應關係僅是為了方便說明而舉出的範例,並不用以限制本發明的範圍。由於手勢辨識系統100可辨識的手勢組合數量相當多,因此,使用者可以自行擴增手勢所對應的操作功能;換言之,使用者可以依照自己的習慣與喜好,將特定手勢定義為啟動某個操作功能。據此,在使用者比出上述的特定手勢時,手勢辨識系統100便會控制電腦系統、電腦/電視遊戲、資訊家電等產品對應執行使用者所自行定義的操作功能。
在一實施例中,當使用者比出的手勢對應到電腦系統、電腦/電視遊戲、資訊家電等產品上啟動滑鼠功能時,辨識結果顯示模組170將顯示一個大小比例對應於電腦系統、電腦/電視遊戲、資訊家電等產品螢幕的虛擬滑鼠面板,它可跟著使用者的操作而在虛擬滑鼠面板上對應顯示游標位置,以方便使用者進行操作。圖9是依照本發明之一實施例所繪示之虛擬滑鼠面板對應到螢幕的示意圖,在此例中,假設電腦系統、電腦/電視遊戲、資訊家電等產品螢幕910的解析度為1,280*800,且虛擬滑鼠面板920的大小例如是256*200;亦即,當使用者的指尖930在虛擬滑鼠面板920水平移動一個像素點時,便相當於使游標940在該電腦系統或該電腦/電視遊戲或該資訊家電螢幕910上水平移動五個像素點。而當使用者的指尖930在虛擬滑鼠面板920垂直移動一個像素點時,游標940則會在該電腦系統或該電腦/電視遊戲或該資訊家電螢幕910上垂直移動四個像素點。
在另一實施例中,辨識結果顯示模組170也可以顯示手勢辨識模組150辨識手勢的結果,以及所辨識之手勢應執行的操作功能;如此一來,使用者可以更清楚地檢視手勢辨識系統100的運作狀態。
值得一提的是,在上述實施例中,指尖特徵擷取模組130以及掌心特徵擷取模組140可根據使用者與電腦系統、電腦/電視遊戲、資訊家電等產品之間的距離對應調整第一同心圓及第二同心圓的大小。舉例來說,當使用者距離電腦系統、電腦/電視遊戲、資訊家電等產品越近,第一同心圓及第二同心圓的尺寸便越大;反之,當使用者距離電腦系統、電腦/電視遊戲、資訊家電等產品越遠,第一同心圓及第二同心圓的尺寸則會相對地變小。據此,指尖特徵擷取模組130以及掌心特徵擷取模組140在判斷指尖總數與掌心位置時可以更有效率。
綜合以上所述,本發明提出的手勢辨識方法與系統只需透過電腦系統、電腦/電視遊戲、資訊家電等產品的視訊攝影機拍攝使用者在比出手勢時的影像,便可自影像中取得手部區塊並藉由手指及掌心特徵來分析手勢的種類。其中,手勢的種類可以是無方向性的單手手勢、有方向性的單手手勢,或結合雙手的無方向性手勢,以及結合雙手的有方向性手勢等等。將手勢與特定的電腦系統、電腦/電視遊戲、資訊家電等產品的操作功能相互連結後,使用者便可直接透過雙手來對電腦系統、電腦/電視遊戲、資訊家電等產品進行各種操作,不僅不再需要傳統的滑鼠或鍵盤等輸入介面,也不需要昂貴不便的手套感應裝置。如此一來,便可讓使用者在操作電腦系統、電腦/電視遊戲、資訊家電等產品時,感到更為直觀與便利。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...手勢辨識系統
110...影像前處理模組
120...手部區塊偵測模組
130...指尖特徵擷取模組
140...掌心特徵擷取模組
150...手勢辨識模組
160...功能執行模組
170...辨識結果顯示模組
210~250...本發明之一實施例所述之手勢辨識方法的各步驟
310~370...本發明之一實施例所述之取得指尖位置的各步驟
400...手部區塊
410...第一同心圓
x、y、z、x’、y’...像素點位置
510~560...本發明之另一實施例所述之手勢辨識方法的各步驟
610~660...本發明之一實施例所述之取得掌心位置的各步驟
710...第二同心圓
A、B、C、D...扇形區域
910...螢幕
920...虛擬滑鼠面板
930...指尖
940...游標
圖1是依照本發明之一實施例所繪示之手勢辨識系統的方塊圖。
圖2是依照本發明之一實施例所繪示之手勢辨識方法的流程圖。
圖3是依照本發明之一實施例所繪示之取得指尖位置的流程圖。
圖4是依照本發明之一實施例所繪示之手部區塊的示意圖。
圖5是依照本發明之另一實施例所繪示之手勢辨識方法的流程圖。
圖6是依照本發明之一實施例所繪示之取得掌心位置的流程圖。
圖7是依照本發明之另一實施例所繪示之手部區塊的示意圖。
圖8A、8B、8C、8D是依照本發明之一實施例所繪示之手勢指向的示意圖。
圖9是依照本發明之一實施例所繪示之虛擬滑鼠面板對應到螢幕的示意圖。
210~250...本發明之一實施例所述之手勢辨識方法的各步驟
Claims (41)
- 一種手勢辨識方法,用以辨識一使用者在一電腦系統或一電腦/電視遊戲或一資訊家電前做出的一手勢,該方法包括:擷取含有該使用者的一影像;取得該影像中的一手部區塊;利用一第一同心圓掃描該手部區塊,並根據掃瞄時分別在一第一同心圓內圓周及一第一同心圓外圓周上的一膚色點數量,分別與該第一同心圓內圓周及該第一同心圓外圓周上所個別涵蓋的一像素點數量之間的一比例,判斷該手部區塊中的一指尖總數;以該指尖總數辨識該手勢;以及根據所辨識之該手勢所對應的一操控指令,執行該電腦系統或該電腦/電視遊戲或該資訊家電的一操作功能。
- 如申請專利範圍第1項所述之手勢辨識方法,其中擷取含有該使用者之該影像的步驟,包括:利用該電腦系統或該電腦/電視遊戲或該資訊家電的一視訊攝影機擷取該影像。
- 如申請專利範圍第1項所述之手勢辨識方法,其中在擷取含有該使用者之該影像的步驟之後,更包括:取得一預設膚色值;以及依據該預設膚色值過濾所擷取之該影像中,符合該預設膚色值的多個膚色區塊。
- 如申請專利範圍第3項所述之手勢辨識方法,其中 取得該影像中之該手部區塊的步驟,包括:自該些膚色區塊中取得面積最大的三個膚色區塊;個別分析該三個膚色區塊是否具有一臉部特徵;標示該三個膚色區塊中具有該臉部特徵的區塊為一臉部區塊;以及標示該三個膚色區塊中不具有該臉部特徵的區塊為該手部區塊。
- 如申請專利範圍第4項所述之手勢辨識方法,其中該臉部特徵包括一頭髮特徵及一五官特徵。
- 如申請專利範圍第2項所述之手勢辨識方法,其中利用該第一同心圓掃描該手部區塊,以判斷該手部區塊中之該指尖總數的步驟,包括:令該第一同心圓的一第一同心圓圓心位置位於該手部區塊中的一第一預設位置;判斷目前的該第一同心圓圓心位置是否為一指尖位置;朝著一預設方向,以一個像素為單位,移動該第一同心圓圓心位置;以及重複上述判斷該第一同心圓圓心位置是否為該指尖位置,以及移動該第一同心圓圓心位置的步驟,直到取得該指尖位置的次數到達一特定數量或該手部區塊掃描完畢為止,並以取得該指尖位置的次數作為該指尖總數。
- 如申請專利範圍第6項所述之手勢辨識方法,其中判斷目前的該第一同心圓圓心位置是否為該指尖位置的步 驟,包括:判斷在該第一同心圓內圓周上的該膚色點數量是否與該第一同心圓內圓周上所涵蓋的該像素點數量相同;若是,則判斷在該第一同心圓外圓周上的該膚色點數量與該第一同心圓外圓周上所涵蓋的該像素點數量之間的該比例是否小於一第一預設值;若是,則判定目前的該第一同心圓圓心位置為該指尖位置;以及記錄該指尖位置。
- 如申請專利範圍第7項所述之手勢辨識方法,其中在判斷該第一同心圓內圓周上的該膚色點數量是否與該第一同心圓內圓周上所涵蓋的該像素點數量相同的步驟之後,更包括:若否,則判定目前的該第一同心圓圓心位置並非該指尖位置。
- 如申請專利範圍第7項所述之手勢辨識方法,其中在判斷該第一同心圓外圓周上的該膚色點數量與該第一同心圓外圓周上所涵蓋的該像素點數量之間的該比例是否小於該第一預設值的步驟之後,更包括:若否,則判定目前的該第一同心圓圓心位置並非該指尖位置。
- 如申請專利範圍第6項所述之手勢辨識方法,其中在藉由取得該指尖位置的次數作為該指尖總數的步驟之後,更包括: 利用一第二同心圓掃描該手部區塊,並根據掃瞄時,分別在一第二同心圓內圓周及一第二同心圓外圓周上的該膚色點數量,取得該手部區塊中的一掌心位置,其中該第二同心圓的一外圓與一內圓均大於該第一同心圓;以及以該指尖總數及該掌心位置辨識該手勢。
- 如申請專利範圍第10項所述之手勢辨識方法,其中利用該第二同心圓掃描該手部區塊,以取得該手部區塊中之該掌心位置的步驟,包括:令該第二同心圓的圓心位置重疊至該手部區塊中的一第二預設位置;根據該第二同心圓內圓周上及該第二同心圓外圓周上所涵蓋的該像素點數量,分別與該第二同心圓內圓周及該第二同心圓外圓周上的該膚色點數量之間的該比例,判斷目前的該第二同心圓圓心位置是否為該掌心位置;朝著該預設方向,以一個像素為單位,移動該第二同心圓圓心位置;以及重複上述判斷該第二同心圓圓心位置是否為該掌心位置,以及移動該第二同心圓圓心位置的步驟,直到取得該掌心位置或手部區塊掃描完畢為止。
- 如申請專利範圍第11項所述之手勢辨識方法,其中判斷目前的該第二同心圓圓心位置是否為該掌心位置的步驟,包括:判斷在該第二同心圓內圓周上的該膚色點數量是否與該第二同心圓內圓周上所涵蓋的該像素點數量相同; 若是,則判斷在該第二同心圓外圓周上的該膚色點數量與該第二同心圓外圓周上所涵蓋的該像素點數量之間的該比例是否大於一第二預設值;若是,則判定目前的該第二同心圓圓心位置為該掌心位置;以及記錄該掌心位置。
- 如申請專利範圍第12項所述之手勢辨識方法,其中在判斷該第二同心圓內圓周上的該膚色點數量是否與該第二同心圓內圓周上所涵蓋的該像素點數量相同的步驟之後,更包括:若否,則判定目前的該第二同心圓圓心位置並非該掌心位置。
- 如申請專利範圍第12項所述之手勢辨識方法,其中在判斷該第二同心圓外圓周上的該膚色點數量與該第二同心圓外圓周上所涵蓋的該像素點數量之間的該比例是否大於該第二預設值的步驟之後,更包括:若否,則判定目前的該第二同心圓圓心位置並非該掌心位置。
- 如申請專利範圍第10項所述之手勢辨識方法,其中該第一同心圓及該第二同心圓的大小對應於該使用者與該視訊攝影機之間的一距離。
- 如申請專利範圍第10項所述之手勢辨識方法,其中以該指尖總數及該掌心位置辨識該手勢的步驟,包括:以該掌心位置為中心,定義n個扇形區域,其中各該 n個扇形區域分別對應一指向,且n為正整數;計算各該n個扇形區域中該指尖位置的一數量;在該n個扇形區域中,取得該指尖位置之該數量最多的一特定扇形區域;以及判定該手勢符合該特定扇形區域所對應的該指向。
- 如申請專利範圍第16項所述之手勢辨識方法,其中在判定該手勢符合該特定扇形區域所對應之該指向的步驟之後,更包括:根據該指尖總數及該指向對應執行該電腦系統或該電腦/電視遊戲或該資訊家電的該操作功能。
- 如申請專利範圍第10項所述之手勢辨識方法,其中該手部區塊包括一左手區塊及一右手區塊,且該方法更包括:利用該第一同心圓掃描該左手區塊以判斷該左手區塊中的該指尖總數;利用該第一同心圓掃描該右手區塊以判斷該右手區塊中的該指尖總數;以該左手區塊的該指尖總數及該右手區塊的該指尖總數辨識該手勢;以及根據所辨識之該手勢對應執行該電腦系統或該電腦/電視遊戲或該資訊家電的該操作功能。
- 如申請專利範圍第18項所述之手勢辨識方法,更包括:利用該第一同心圓分別掃描該左手區塊及該右手區 塊,以判斷該左手區塊中的該指尖總數以及該右手區塊中的該指尖總數;利用該第二同心圓分別掃描該左手區塊及該右手區塊,以取得該左手區塊中的該掌心位置以及該右手區塊中的該掌心位置;根據該左手區塊中的該掌心位置判斷該手勢對應的一左手指向;根據該右手區塊中的該掌心位置判斷該手勢對應的一右手指向;以該左手區塊的該指尖總數與該左手指向以及該右手區塊的該指尖總數與該右手指向辨識該手勢;以及根據所辨識之該手勢對應執行該電腦系統或該電腦/電視遊戲或該資訊家電的該操作功能。
- 如申請專利範圍第1項所述之手勢辨識方法,其中該操作功能至少包括滑鼠功能、鍵盤功能及搖桿功能。
- 一種手勢辨識系統,包括:一手部區塊偵測模組,取得由一影像擷取模組所擷取之一影像中的一手部區塊,其中該影像包括一電腦系統或一電腦/電視遊戲或一資訊家電的一使用者,且該使用者在該電腦系統或該電腦/電視遊戲或該資訊家電前做出的一手勢;一指尖特徵擷取模組,利用一第一同心圓掃描該手部區塊,並根據掃瞄時分別在一第一同心圓內圓周及一第一同心圓外圓周上的一膚色點數量,分別與該第一同心圓內 圓周及該第一同心圓外圓周上所個別涵蓋的一像素點數量之間的一比例,判斷該手部區塊中的一指尖總數;一手勢辨識模組,根據該指尖總數辨識該手勢;以及一功能執行模組,根據所辨識之該手勢所對應的一操控指令,執行該電腦系統或該電腦/電視遊戲或該資訊家電的一操作功能。
- 如申請專利範圍第21項所述之手勢辨識系統,其中該影像擷取模組包括該電腦系統或該電腦/電視遊戲或該資訊家電的一視訊攝影機。
- 如申請專利範圍第21項所述之手勢辨識系統,更包括:一影像前處理模組,取得一預設膚色值,並依據該預設膚色值過濾所擷取之該影像中符合該預設膚色值的多個膚色區塊。
- 如申請專利範圍第23項所述之手勢辨識系統,其中該手部區塊偵測模組自該些膚色區塊中取得面積最大的三個膚色區塊,個別分析該三個膚色區塊是否具有一臉部特徵,標示該三個膚色區塊中具有該臉部特徵的區塊為一臉部區塊,以及標示該三個膚色區塊中不具有該臉部特徵的區塊為該手部區塊。
- 如申請專利範圍第24項所述之手勢辨識系統,其中該臉部特徵包括一頭髮特徵及一五官特徵。
- 如申請專利範圍第22項所述之手勢辨識系統,其中該指尖特徵擷取模組令該第一同心圓的一第一同心圓圓 心位置位於該手部區塊中的一第一預設位置;判斷目前的該第一同心圓圓心位置是否為一指尖位置,若不是,則朝著一預設方向,以一個像素為單位,移動該第一同心圓圓心位置;該指尖特徵擷取模組重複上述判斷該第一同心圓圓心位置是否為該指尖位置,以及移動該第一同心圓圓心位置的動作,直到取得該指尖位置的次數到達一特定數量或該手部區塊掃描完畢為止,並以取得該指尖位置的次數作為該指尖總數。
- 如申請專利範圍第26項所述之手勢辨識系統,其中該指尖特徵擷取模組判斷在該第一同心圓內圓周上的該膚色點數量是否與該第一同心圓內圓周上所涵蓋的該像素點數量相同;若是,則判斷在該第一同心圓外圓周上的該膚色點數量與該第一同心圓外圓周上所涵蓋的該像素點數量之間的該比例是否小於一第一預設值;若是,則判定目前的該第一同心圓圓心位置為該指尖位置,並記錄該指尖位置。
- 如申請專利範圍第27項所述之手勢辨識系統,其中該指尖特徵擷取模組在判斷該第一同心圓內圓周上的該膚色點數量與該第一同心圓內圓周上所涵蓋的該像素點數量不同時,判定目前的該第一同心圓圓心位置並非該指尖位置。
- 如申請專利範圍第27項所述之手勢辨識系統,其中該指尖特徵擷取模組在判斷該第一同心圓外圓周上的該膚色點數量與該第一同心圓外圓周上所涵蓋的該像素點數 量之間的該比例大於或等於該第一預設值時,判定目前的該第一同心圓圓心位置並非該指尖位置。
- 如申請專利範圍第26項所述之手勢辨識系統,更包括:一掌心特徵擷取模組,利用一第二同心圓掃描該手部區塊,並根據掃瞄時分別在一第二同心圓內圓周及一第二同心圓外圓周上的該膚色點數量,取得該手部區塊中的一掌心位置,其中該第二同心圓的一內圓與一外圓均大於該第一同心圓,而該手勢辨識模組以該指尖總數及該掌心位置辨識該手勢。
- 如申請專利範圍第30項所述之手勢辨識系統,其中該掌心特徵擷取模組令該第二同心圓的圓心位置重疊至該手部區塊中的一第二預設位置;根據該第二同心圓內圓周上及該第二同心圓外圓周上所涵蓋的該像素點數量,分別與該第二同心圓內圓周及該第二同心圓外圓周上的該膚色點數量之間的該比例,判斷目前的該第二同心圓圓心位置是否為該掌心位置,若不是,則朝著該預設方向,以一個像素為單位,移動該第二同心圓圓心位置;該掌心特徵擷取模組重複上述判斷該第二同心圓圓心位置是否為該掌心位置,以及移動該第二同心圓圓心位置的動作,直到取得該掌心位置或手部區塊掃描完畢為止。
- 如申請專利範圍第31項所述之手勢辨識系統,其中該掌心特徵擷取模組判斷在該第二同心圓內圓周上的該膚色點數量是否與該第二同心圓內圓周上所涵蓋的該像素 點數量相同;若是,則判斷在該第二同心圓外圓周上的該膚色點數量與該第二同心圓外圓周上所涵蓋的該像素點數量之間的該比例是否大於一第二預設值;若是,則判定目前的該第二同心圓圓心位置為該掌心位置,並記錄該掌心位置。
- 如申請專利範圍第32項所述之手勢辨識系統,其中該掌心特徵擷取模組在判斷該第二同心圓內圓周上的該膚色點數量與該第二同心圓內圓周上所涵蓋的該像素點數量不同時,判定目前的該第二同心圓圓心位置並非該掌心位置。
- 如申請專利範圍第32項所述之手勢辨識系統,其中該掌心特徵擷取模組在判斷該第二同心圓外圓周上的該膚色點數量與該第二同心圓外圓周上所涵蓋的該像素點數量之間的該比例小於或等於該第二預設值時,判定目前的該第二同心圓圓心位置並非該掌心位置。
- 如申請專利範圍第30項所述之手勢辨識系統,其中該第一同心圓及該第二同心圓的大小對應於該使用者與該視訊攝影機之間的一距離。
- 如申請專利範圍第30項所述之手勢辨識系統,其中該手勢辨識模組以該掌心位置為中心,定義n個扇形區域,其中各該n個扇形區域分別對應一指向,且n為正整數;計算各該n個扇形區域中該指尖位置的一數量;在該n個扇形區域中,取得該指尖位置之該數量最多的一特定扇形區域,並判定該手勢符合該特定扇形區域所對應的該 指向。
- 如申請專利範圍第36項所述之手勢辨識系統,其中該功能執行模組根據該指尖總數及該指向對應執行該電腦系統或該電腦/電視遊戲或該資訊家電的該操作功能。
- 如申請專利範圍第30項所述之手勢辨識系統,其中該手部區塊包括一左手區塊及一右手區塊,且該指尖特徵擷取模組利用該第一同心圓掃描該左手區塊,以判斷該左手區塊中的該指尖總數,並利用該第一同心圓掃描該右手區塊,以判斷該右手區塊中的該指尖總數,而該手勢辨識模組以該左手區塊的該指尖總數及該右手區塊的該指尖總數辨識該手勢,且該功能執行模組根據所辨識之該手勢對應執行該電腦系統或該電腦/電視遊戲或該資訊家電的該操作功能。
- 如申請專利範圍第38項所述之手勢辨識系統,其中該指尖特徵擷取模組利用該第一同心圓分別掃描該左手區塊及該右手區塊,以判斷該左手區塊中的該指尖總數以及該右手區塊中的該指尖總數;該掌心特徵擷取模組利用該第二同心圓分別掃描該左手區塊及該右手區塊,以取得該左手區塊中的該掌心位置以及該右手區塊中的該掌心位置;該手勢辨識模組根據該左手區塊中的該掌心位置判斷該手勢對應的一左手指向,以及根據該右手區塊中的該掌心位置判斷該手勢對應的一右手指向,並以該左手區塊的該指尖總數與該左手指向以及該右手區塊的該指尖總數與該右手指向辨識該手勢;該功能執行模組根據所辨識之該 手勢對應執行該電腦系統或該電腦/電視遊戲或該資訊家電的該操作功能。
- 如申請專利範圍第38項所述之手勢辨識系統,其中該操作功能至少包括該電腦系統的滑鼠功能、鍵盤功能及該電腦/電視遊戲的搖桿功能,更包括該資訊家電的操控介面。
- 如申請專利範圍第40項所述之手勢辨識系統,更包括:一辨識結果顯示模組,在該功能執行模組根據所辨識之該手勢對應執行的該操作功能為滑鼠功能時,顯示大小對應該電腦系統或該電腦/電視遊戲或該資訊家電之一螢幕的一虛擬滑鼠面板,以提示該電腦系統或該電腦/電視遊戲或該資訊家電的一游標位置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098122149A TWI398818B (zh) | 2009-06-30 | 2009-06-30 | 手勢辨識方法與系統 |
US12/579,409 US8290210B2 (en) | 2009-06-30 | 2009-10-15 | Method and system for gesture recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098122149A TWI398818B (zh) | 2009-06-30 | 2009-06-30 | 手勢辨識方法與系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201101197A TW201101197A (en) | 2011-01-01 |
TWI398818B true TWI398818B (zh) | 2013-06-11 |
Family
ID=43380778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098122149A TWI398818B (zh) | 2009-06-30 | 2009-06-30 | 手勢辨識方法與系統 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8290210B2 (zh) |
TW (1) | TWI398818B (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2365425A1 (en) * | 2008-12-08 | 2011-09-14 | Sharp Kabushiki Kaisha | Manual control action input device and computer program |
US9319640B2 (en) * | 2009-12-29 | 2016-04-19 | Kodak Alaris Inc. | Camera and display system interactivity |
JP5800175B2 (ja) * | 2010-02-05 | 2015-10-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び電子機器 |
JP2012000165A (ja) * | 2010-06-14 | 2012-01-05 | Sega Corp | ビデオゲーム装置 |
US8620024B2 (en) * | 2010-09-17 | 2013-12-31 | Sony Corporation | System and method for dynamic gesture recognition using geometric classification |
US8768006B2 (en) * | 2010-10-19 | 2014-07-01 | Hewlett-Packard Development Company, L.P. | Hand gesture recognition |
KR20120045667A (ko) * | 2010-10-29 | 2012-05-09 | 삼성전자주식회사 | 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법 |
US8730157B2 (en) * | 2010-11-15 | 2014-05-20 | Hewlett-Packard Development Company, L.P. | Hand pose recognition |
EP2512141B1 (en) * | 2011-04-15 | 2019-07-17 | Sony Interactive Entertainment Europe Limited | System and method of user interaction in augmented reality |
TWI571772B (zh) * | 2011-10-31 | 2017-02-21 | 財團法人資訊工業策進會 | 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法 |
CN102521567B (zh) * | 2011-11-29 | 2013-10-23 | Tcl集团股份有限公司 | 一种人机交互的指尖检测方法、装置及电视机 |
EP2602692A1 (en) * | 2011-12-05 | 2013-06-12 | Alcatel Lucent | Method for recognizing gestures and gesture detector |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9880629B2 (en) * | 2012-02-24 | 2018-01-30 | Thomas J. Moscarillo | Gesture recognition devices and methods with user authentication |
US9697418B2 (en) | 2012-07-09 | 2017-07-04 | Qualcomm Incorporated | Unsupervised movement detection and gesture recognition |
TWI475496B (zh) * | 2012-10-16 | 2015-03-01 | Wistron Corp | 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法 |
US10096127B2 (en) | 2012-10-22 | 2018-10-09 | Nokia Technologies Oy | Classifying image samples |
TWI475422B (zh) * | 2012-10-31 | 2015-03-01 | Wistron Corp | 手勢辨識方法與電子裝置 |
TWI471815B (zh) * | 2012-12-07 | 2015-02-01 | Chunghwa Picture Tubes Ltd | 手勢辨識裝置及方法 |
JP6030430B2 (ja) * | 2012-12-14 | 2016-11-24 | クラリオン株式会社 | 制御装置、車両及び携帯端末 |
TWI483141B (zh) * | 2013-01-03 | 2015-05-01 | Chunghwa Picture Tubes Ltd | 手勢辨識系統及手勢辨識方法 |
US9122916B2 (en) * | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Three dimensional fingertip tracking |
TWI506461B (zh) | 2013-07-16 | 2015-11-01 | Univ Nat Taiwan Science Tech | 人體動作的辨識方法與裝置 |
KR101472455B1 (ko) * | 2013-07-18 | 2014-12-16 | 전자부품연구원 | 손동작 기반 사용자 인터페이스장치 및 그 방법 |
US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
TWI536206B (zh) | 2013-11-05 | 2016-06-01 | 緯創資通股份有限公司 | 操作體的定位方法及裝置以及深度判定方法及裝置 |
TWI488072B (zh) * | 2013-12-19 | 2015-06-11 | Lite On Technology Corp | 手勢辨識系統及其手勢辨識方法 |
US9622322B2 (en) | 2013-12-23 | 2017-04-11 | Sharp Laboratories Of America, Inc. | Task light based system and gesture control |
KR20150073378A (ko) * | 2013-12-23 | 2015-07-01 | 삼성전자주식회사 | 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 |
TWI499938B (zh) * | 2014-04-11 | 2015-09-11 | Quanta Comp Inc | 觸控系統 |
US9785247B1 (en) * | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
CN104318218A (zh) * | 2014-10-29 | 2015-01-28 | 百度在线网络技术(北京)有限公司 | 图像识别方法和装置 |
CN104484645B (zh) * | 2014-11-14 | 2017-06-16 | 华中科技大学 | 一种面向人机交互的“1”手势识别方法与系统 |
KR20160097520A (ko) * | 2015-02-09 | 2016-08-18 | 삼성전자주식회사 | 디스플레이 장치 및 그의 ui 디스플레이 방법 |
DE102015210657B4 (de) * | 2015-06-11 | 2017-05-24 | Volkswagen Aktiengesellschaft | Verfahren zur Erkennung einer Stellbewegung eines auf einer Anzeigefläche befindlichen Stellelementes in einem Kraftfahrzeug und Vorrichtung zur Durchführung des Verfahrens |
GB201516953D0 (en) * | 2015-09-25 | 2015-11-11 | Umajin Ltd | Ghost hands |
CN107239727A (zh) * | 2016-12-07 | 2017-10-10 | 北京深鉴智能科技有限公司 | 手势识别方法和系统 |
US10942575B2 (en) * | 2017-06-07 | 2021-03-09 | Cisco Technology, Inc. | 2D pointing indicator analysis |
TWI683237B (zh) | 2018-07-19 | 2020-01-21 | 宏碁股份有限公司 | 使用仿生韌帶之手勢感應系統 |
US11100331B2 (en) | 2019-01-23 | 2021-08-24 | Everseen Limited | System and method for detecting scan irregularities at self-checkout terminals |
TWI701575B (zh) * | 2019-03-07 | 2020-08-11 | 緯創資通股份有限公司 | 手勢辨識方法以及手勢辨識裝置 |
CN111078002A (zh) * | 2019-11-20 | 2020-04-28 | 维沃移动通信有限公司 | 一种悬空手势识别方法及终端设备 |
US20230305630A1 (en) * | 2022-03-28 | 2023-09-28 | Google Llc | Universal hand controller |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW505892B (en) * | 2001-05-25 | 2002-10-11 | Ind Tech Res Inst | System and method for promptly tracking multiple faces |
TW200905577A (en) * | 2007-07-31 | 2009-02-01 | Univ Nat Taiwan Science Tech | Iris recognition system |
TW200910159A (en) * | 2007-08-22 | 2009-03-01 | Darfon Electronics Corp | Image input controlling method and electronic device using the same |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
EP1477924B1 (en) * | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US7956847B2 (en) * | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
US7924271B2 (en) * | 2007-01-05 | 2011-04-12 | Apple Inc. | Detecting gestures on multi-event sensitive devices |
-
2009
- 2009-06-30 TW TW098122149A patent/TWI398818B/zh not_active IP Right Cessation
- 2009-10-15 US US12/579,409 patent/US8290210B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW505892B (en) * | 2001-05-25 | 2002-10-11 | Ind Tech Res Inst | System and method for promptly tracking multiple faces |
TW200905577A (en) * | 2007-07-31 | 2009-02-01 | Univ Nat Taiwan Science Tech | Iris recognition system |
TW200910159A (en) * | 2007-08-22 | 2009-03-01 | Darfon Electronics Corp | Image input controlling method and electronic device using the same |
Also Published As
Publication number | Publication date |
---|---|
TW201101197A (en) | 2011-01-01 |
US8290210B2 (en) | 2012-10-16 |
US20100329509A1 (en) | 2010-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI398818B (zh) | 手勢辨識方法與系統 | |
US7849421B2 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
KR100886056B1 (ko) | 빛입력디바이스의 방법 및 장치 | |
US9298266B2 (en) | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects | |
US8666115B2 (en) | Computer vision gesture based control of a device | |
US7877707B2 (en) | Detecting and interpreting real-world and security gestures on touch and hover sensitive devices | |
US20110102570A1 (en) | Vision based pointing device emulation | |
CN105378593A (zh) | 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统 | |
KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
US20140161309A1 (en) | Gesture recognizing device and method for recognizing a gesture | |
TWI421731B (zh) | 電子裝置之滑鼠功能執行方法及其電子裝置 | |
US20160187996A1 (en) | Apparatus and methods for image/sensory processing to control computer operations | |
TWI528271B (zh) | 多邊形手勢偵測及互動方法、裝置及電腦程式產品 | |
US20140218315A1 (en) | Gesture input distinguishing method and apparatus in touch input device | |
Wilson et al. | Flowmouse: A computer vision-based pointing and gesture input device | |
KR20160097410A (ko) | 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치 | |
US20130229348A1 (en) | Driving method of virtual mouse | |
KR20160063075A (ko) | 공간 인터랙션에서 모션 인식 방법 및 이를 위한 장치 | |
US9189075B2 (en) | Portable computer having pointing functions and pointing system | |
KR20140086805A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체 | |
KR101506197B1 (ko) | 양손을 이용한 동작인식 입력방법 | |
JP5733056B2 (ja) | 仮想マウスによるデータ入力方法 | |
TWI502519B (zh) | 手勢辨識模組及手勢辨識方法 | |
TWI466021B (zh) | 電腦系統及其控制方法 | |
US20150323999A1 (en) | Information input device and information input method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |