TWI837757B

TWI837757B - 配置虛擬按鍵的系統和方法

Info

Publication number: TWI837757B
Application number: TW111129409A
Authority: TW
Inventors: 阮鈺珊; 曹淩帆
Original assignee: 宏碁股份有限公司
Priority date: 2022-08-04
Filing date: 2022-08-04
Publication date: 2024-04-01
Also published as: TW202407515A; US20240045563A1

Abstract

提出一種配置虛擬按鍵的系統和方法。方法包含：由鍵盤上的觸控螢幕顯示第一虛擬按鍵以及對應於第一虛擬按鍵的第一圖標；由影像擷取裝置擷取觸控螢幕的影像，其中影像包含第一虛擬按鍵以及第一圖標；以及由第一處理器根據影像中的第一虛擬按鍵以及第一圖標產生並輸出第一虛擬按鍵配置。

Description

配置虛擬按鍵的系統和方法

本發明是有關於一種配置輸入裝置的方式，且特別是有關於一種配置虛擬按鍵的系統和方法。

近年來，電腦能執行的功能越來越多樣，傳統鍵盤的按鍵逐漸無法滿足使用者的需求。舉例來說，在使用電腦進行直播時，使用者經常需要切換各種軟體以即時地播放影音特效。為了使直播的進行更加方便，市面上開始推出了專用於直播的外接控制器。外接控制器可提供具有各種功能的按鍵。當使用者需要執行特定功能時（例如：播放影音特效），使用者僅需按下外接控制器的按鍵即可，而不需使用諸如滑鼠或鍵盤的熱鍵（hot key）。

然而，使用外接控制器除了需要使用者付出一筆額外的花費外，外接控制器還會占據空間。除此之外，外接控制器對使用者非常的不方便。若使用者欲在不同的地點操作電腦，使用者還需要隨身攜帶外接控制器。

本發明提供一種配置虛擬按鍵的系統和方法，可快速地將使用者慣用的虛擬按鍵配置轉移到不同的鍵盤。

本發明的一種配置虛擬按鍵的系統，包含鍵盤、影像擷取裝置以及第一處理器。鍵盤包含觸控螢幕，其中觸控螢幕顯示第一虛擬按鍵以及對應於第一虛擬按鍵的第一圖標。影像擷取裝置擷取觸控螢幕的影像，其中影像包含第一虛擬按鍵以及第一圖標。第一處理器通訊連接至影像擷取裝置，其中第一處理器根據影像中的第一虛擬按鍵以及第一圖標產生第一虛擬按鍵配置，並且輸出第一虛擬按鍵配置。

在本發明的一實施例中，上述的鍵盤更包含收發器以及第二處理器。收發器通訊連接至第一處理器。第二處理器耦接收發器以及觸控螢幕，其中第二處理器通過收發器接收第二虛擬按鍵配置，並且根據第二虛擬按鍵配置在觸控螢幕上配置第二虛擬按鍵。

在本發明的一實施例中，上述的第二虛擬按鍵配置包含對應於第二虛擬按鍵的按鍵位置以及頁次，其中第二處理器根據按鍵位置以及頁次來配置第二虛擬按鍵。

在本發明的一實施例中，上述的第二虛擬按鍵配置包含對應於第二虛擬按鍵的使用次數排名，其中第二處理器根據使用次數排名來配置第二虛擬按鍵。

在本發明的一實施例中，上述的第一處理器根據第一圖標的位置和顏色的至少其中之一產生第一虛擬按鍵配置。

在本發明的一實施例中，上述的鍵盤包含第一模式以及第二模式，其中觸控螢幕響應於鍵盤從第一模式切換至第二模式而縮小第一虛擬按鍵以在第一虛擬按鍵的周圍顯示第一圖標。

在本發明的一實施例中，上述的觸控螢幕根據第一虛擬按鍵的頁次和使用次數排名的至少其中之一顯示第一圖標。

在本發明的一實施例中，上述的第一處理器根據機器學習模型對影像進行影像辨識以產生第一虛擬按鍵配置。

在本發明的一實施例中，上述的處理器根據多個歷史觸控螢幕影像以及分別對應於多個歷史觸控螢幕影像的多個歷史虛擬按鍵配置來訓練機器學習模型。

在本發明的一實施例中，上述的機器學習模型包含下列的其中之一：YOLO神經網路模型以及區域卷積神經網路模型。

本發明的一種配置虛擬按鍵的方法，包含：由鍵盤上的觸控螢幕顯示第一虛擬按鍵以及對應於第一虛擬按鍵的第一圖標；由影像擷取裝置擷取觸控螢幕的影像，其中影像包含第一虛擬按鍵以及第一圖標；以及由第一處理器根據影像中的第一虛擬按鍵以及第一圖標產生並輸出第一虛擬按鍵配置。

基於上述，本發明的系統可通過影像辨識技術自動地產生使用者慣用的虛擬按鍵配置。虛擬按鍵配置可被轉移到不同的鍵盤上以讓使用者能在不同的地點以慣用的方式操作電腦。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1根據本發明的一實施例繪示一種配置虛擬鍵盤的系統10的示意圖。系統10包含鍵盤100。在一實施例中，系統10進一步包含影像擷取裝置200以及處理器300。影像擷取裝置200通訊連接至處理器300。影像擷取裝置200以及處理器300可由相同的硬體實施。舉例來說，影像擷取裝置200以及處理器300可包含於相同的終端裝置（例如：智慧型手機或平板電腦）中。

鍵盤100包含處理器110、觸控螢幕120、輸入裝置130以及收發器140。處理器110耦接至觸控螢幕120、輸入裝置130以及收發器140。

處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、影像處理單元（image processing unit，IPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。處理器110包含任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。

觸控螢幕120包含電容式觸控螢幕或電阻式觸控螢幕。輸入裝置130用以接收使用者的操作，並且根據操作傳送輸入訊號至處理器110。輸入裝置130例如是按鍵。收發器140以無線或有線的方式傳送及接收訊號，其中訊號例如是通訊訊號或輸入/輸出訊號。舉例來說，收發器140可接收諸如滑鼠等輸入裝置的輸入訊號，並將輸入訊號轉送到處理器110。收發器140還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。收發器140支援藍牙或Wi-Fi等通訊協定。

影像擷取裝置200例如是用以擷取影像的攝影機或照相裝置。影像擷取裝置200包含諸如互補性金屬氧化半導體（complementary metal oxide semiconductor，CMOS）或電荷耦合裝置（charge coupled device，CCD）的影像感測器。

處理器300例如是中央處理單元，或是其他可程式化之一般用途或特殊用途的微控制單元、微處理器、數位信號處理器、可程式化控制器、特殊應用積體電路、圖形處理器、影像訊號處理器、影像處理單元、算數邏輯單元、複雜可程式邏輯裝置、現場可程式化邏輯閘陣列或其他類似元件或上述元件的組合。處理器300包含任何型態的固定式或可移動式的隨機存取記憶體、唯讀記憶體、快閃記憶體、硬碟、固態硬碟或類似元件或上述元件的組合，而用於儲存可由處理器300執行的多個模組或各種應用程式。處理器300可進一步包含用以傳送或接收訊號的收發器，其中收發器支援藍牙或Wi-Fi等通訊協定。

觸控螢幕120用以顯示虛擬鍵盤。圖2根據本發明的一實施例繪示觸控螢幕120所顯示的虛擬鍵盤的不同頁次的示意圖，其中頁次21代表虛擬鍵盤的第一頁次，且頁次22代表虛擬鍵盤的第二頁次。虛擬鍵盤的每一頁次可包含一或多個依照特定佈局配置的虛擬按鍵。虛擬鍵盤的虛擬按鍵配置可由使用者依照實際需求自定義。舉例來說，使用者可利用觸控螢幕120、輸入裝置130或收發器140傳送訊號至處理器110以建立自定義的虛擬按鍵配置。

以圖2為例，使用者可自定義虛擬鍵盤以使虛擬按鍵121、虛擬按鍵122、虛擬按鍵123以及虛擬按鍵124依照順序排列在頁次21，並使虛擬按鍵125以及虛擬按鍵126依照順序排列在頁次22。使用者可利用觸控螢幕120、輸入裝置130或收發器140傳送訊號至處理器110以翻動虛擬鍵盤的頁次。舉例來說，使用者可在觸控螢幕120上使用特定的手勢以將觸控螢幕120所顯示的虛擬鍵盤從頁次21翻動到頁次22。

處理器110可接收虛擬按鍵配置，並且根據虛擬按鍵配置來為觸控螢幕120所顯示的虛擬鍵盤配置虛擬按鍵。處理器110也可以根據使用者慣用的虛擬鍵盤產生虛擬按鍵配置，並且匯出虛擬按鍵配置以供其他的鍵盤使用。鍵盤100包含一般模式和配對模式，其中一般模式為使用者在通過鍵盤100操作電腦時所使用的模式，且配對模式為使用者在匯出虛擬按鍵配置時所使用的模式。使用者可通過操作觸控螢幕120或輸入裝置130來將鍵盤100切換為一般模式或配對模式。當使用者在一般模式下操作觸控螢幕120上的虛擬鍵盤時，處理器110可將虛擬按鍵的使用次數記錄下來，並且根據使用次數產生虛擬按鍵的使用次數排名。

處理器110可通過收發器140接收虛擬按鍵配置。舉例來說，處理器110可通過收發器140以自電子裝置（例如：處理器300）接收虛擬按鍵配置，並且根據虛擬按鍵配置在觸控螢幕120上配置虛擬按鍵。表1為對應於圖2的虛擬按鍵配置所包含的資訊之範例。表1

虛擬按鍵	按鍵位置	頁次	使用次數排名
121	左上角	21	1
122	右上角	21	2
123	左下角	21	3
124	右下角	21	4
125	左上角	22	5
126	右上角	22	6

在一實施例中，虛擬按鍵配置包含虛擬按鍵的按鍵位置和頁次。處理器110根據按鍵位置和頁次來配置虛擬按鍵。以虛擬按鍵121為例，處理器110可自虛擬按鍵配置取得表1記載的按鍵位置和頁次之資訊。處理器110根據對應於按鍵121的按鍵位置「左上角」以及頁次「21」來將按鍵121配置在頁次21的左上角。

在一實施例中，虛擬按鍵配置包含虛擬按鍵的使用次數排名。處理器110根據使用次數排名來配置虛擬按鍵。以表1為例，處理器110基於使用次數排名而依照虛擬按鍵121、虛擬按鍵122、虛擬按鍵123、虛擬按鍵124、虛擬按鍵125和虛擬按鍵126的順序來排序各個虛擬按鍵。

當鍵盤被切換為配對模式時，處理器110控制觸控螢幕120來為各個虛擬按鍵顯示相對應的圖標。圖3A和3B根據本發明的一實施例繪示虛擬按鍵121在不同模式下的顯示方式的示意圖，其中圖3A代表觸控螢幕120在一般模式下所顯示的虛擬按鍵121，且圖3B代表觸控螢幕120在配對模式下所顯示的虛擬按鍵121。當處理器110將鍵盤100從一般模式切換到配對模式時，觸控螢幕120縮小虛擬按鍵121以在虛擬按鍵121的周圍的N個位置的其中之一顯示圖標，其中N可為任意的正整數。在本實施例中，假設N個位置包含依照逆時鐘方向排列而包圍住虛擬按鍵121的位置31、位置32、位置33、位置34、位置35、位置36、位置37和位置38，如圖3B所示。

在一實施例中，觸控螢幕120根據虛擬按鍵的頁次或使用次數顯示虛擬按鍵的圖標。如圖3B所示，圖標的明亮可與虛擬按鍵121的使用次數相關。舉例來說，若虛擬按鍵121在頁次21中的使用次數排名為第一，則觸控螢幕120可使位置31的圖標發亮，並使位置32~38的圖標變暗。若虛擬按鍵121在頁次21中的使用次數排名為第二，則觸控螢幕120可使位置32的圖標發亮，並使位置31和33~38的圖標變暗。舉另一例來說，圖標的顏色可與虛擬按鍵121所在的頁次相關。若虛擬按鍵121被配置在頁次21，則觸控螢幕120可使對應於虛擬按鍵121的圖標（例如：位置31的圖標）發出橘光。若虛擬按鍵121被配置在頁次22，則觸控螢幕120可使對應於虛擬按鍵121的圖標（例如：位置31的圖標）發出黃光。

在鍵盤100處於配對模式時，影像擷取裝置200擷取觸控螢幕120的影像，其中所述影像包含虛擬按鍵和相對應的圖標之影像。處理器300可根據影像中的虛擬按鍵和圖標產生虛擬按鍵配置。具體來說，處理器300可使用預存的機器學習模型對包含虛擬按鍵和圖標的影像進行影像辨識，藉以產生虛擬按鍵配置。在產生虛擬按鍵配置後，處理器300可輸出虛擬按鍵配置以供其他鍵盤使用。如此，在鍵盤100中使用者所慣用的虛擬按鍵配置可被快速地轉移至其他的鍵盤。

機器學習模型例如是YOLO神經網路模型或區域卷積神經網路（region convolution neural network，R-CNN）模型，但本發明不限於此。處理器300根據多筆訓練資料來訓練機器學習模型。每一筆訓練資料包含歷史觸控螢幕影像以及對應於歷史觸控螢幕影像的歷史虛擬按鍵配置，其中歷史觸控螢幕影像包含虛擬按鍵以及對應的圖標。

機器學習模型可通過影像辨識技術辨識與虛擬按鍵相關聯的圖標之位置或顏色，藉以產生虛擬按鍵配置。以圖3B所示虛擬按鍵121為例。機器學習模型對影像擷取裝置200所擷取的虛擬按鍵121之影像進行影像辨識，藉以判斷被點亮的圖標位於位置31且發出橘光。處理器300根據橘光判斷虛擬按鍵121被配置在頁次21，並且根據位置31判斷虛擬按鍵121為頁次21中使用次數排名為第一的虛擬按鍵。據此，處理器300可根據判斷結果產生如表2所示虛擬按鍵配置。表2

虛擬按鍵	按鍵位置	頁次	使用次數排名
121	左上角	21	1

圖4根據本發明的一實施例繪示一種配置虛擬鍵盤的方法的流程圖，其中所述方法可由如圖1所示的系統10實施。在步驟S401中，由鍵盤上的觸控螢幕顯示第一虛擬按鍵以及對應於第一虛擬按鍵的第一圖標。在步驟S402中，由影像擷取裝置擷取觸控螢幕的影像，其中影像包含第一虛擬按鍵以及第一圖標。在步驟S403中，由第一處理器根據影像中的第一虛擬按鍵以及第一圖標產生並輸出第一虛擬按鍵配置。

綜上所述，本發明的鍵盤可具有兩種模式。當鍵盤處於一般模式時，鍵盤上的觸控螢幕可提供虛擬按鍵供使用者應用，且虛擬按鍵的佈局可依照使用者的喜好更改。當鍵盤處於配對模式時，鍵盤上的觸控螢幕可為各個虛擬按鍵顯示特殊的圖標，其中圖標可包含與虛擬按鍵相關的配置資訊。通過影像辨識技術辨識這些圖標，本發明的系統可產生虛擬按鍵配置。系統所產生的虛擬按鍵配置可將使用者慣用的虛擬按鍵之佈局轉移到不同的鍵盤上，方便使用者在不同的地點以慣用的方式操作電腦。

10:系統 100:鍵盤 110、300:處理器 120:觸控螢幕 121、122、123、124、125、126:虛擬按鍵 130:輸入裝置 140:收發器 21、22:頁次 200:影像擷取裝置 31、32、33、34、35、36、37、38:位置 S401、S402、S403:步驟

圖1根據本發明的一實施例繪示一種配置虛擬鍵盤的系統的示意圖。圖2根據本發明的一實施例繪示觸控螢幕所顯示的虛擬鍵盤的不同頁次的示意圖。圖3A和3B根據本發明的一實施例繪示虛擬按鍵在不同模式下的顯示方式的示意圖。圖4根據本發明的一實施例繪示一種配置虛擬鍵盤的方法的流程圖。

S401、S402、S403:步驟

Claims

一種配置虛擬按鍵的系統，包括：鍵盤，包括觸控螢幕，其中所述觸控螢幕顯示第一虛擬按鍵以及對應於所述第一虛擬按鍵的第一圖標；影像擷取裝置，擷取所述觸控螢幕的影像，其中所述影像包括所述第一虛擬按鍵以及所述第一圖標；以及第一處理器，通訊連接至所述影像擷取裝置，其中所述第一處理器根據所述影像中的所述第一虛擬按鍵以及所述第一圖標產生第一虛擬按鍵配置，並且輸出所述第一虛擬按鍵配置。
如請求項1所述的系統，其中所述鍵盤更包括：收發器，通訊連接至所述第一處理器；以及第二處理器，耦接所述收發器以及所述觸控螢幕，其中所述第二處理器通過所述收發器接收第二虛擬按鍵配置，並且根據所述第二虛擬按鍵配置在所述觸控螢幕上配置第二虛擬按鍵。
如請求項2所述的系統，其中所述第二虛擬按鍵配置包括對應於所述第二虛擬按鍵的按鍵位置以及頁次，其中所述第二處理器根據所述按鍵位置以及所述頁次來配置所述第二虛擬按鍵。
如請求項2所述的系統，其中所述第二虛擬按鍵配置包括對應於所述第二虛擬按鍵的使用次數排名，其中所述第二處理器根據所述使用次數排名來配置所述第二虛擬按鍵。
如請求項1所述的系統，其中所述第一處理器根據所述第一圖標的位置和顏色的至少其中之一產生所述第一虛擬按鍵配置。
如請求項1所述的系統，其中所述鍵盤包括第一模式以及第二模式，其中所述觸控螢幕響應於所述鍵盤從所述第一模式切換至所述第二模式而縮小所述第一虛擬按鍵以在所述第一虛擬按鍵的周圍顯示所述第一圖標。
如請求項6所述的系統，其中所述觸控螢幕根據所述第一虛擬按鍵的頁次和使用次數排名的至少其中之一顯示所述第一圖標。
如請求項1所述的系統，其中所述第一處理器根據機器學習模型對所述影像進行影像辨識以產生所述第一虛擬按鍵配置。
如請求項8所述的系統，其中所述處理器根據多個歷史觸控螢幕影像以及分別對應於所述多個歷史觸控螢幕影像的多個歷史虛擬按鍵配置來訓練所述機器學習模型。
如請求項8所述的系統，其中所述機器學習模型包括下列的其中之一：YOLO神經網路模型以及區域卷積神經網路模型。
一種配置虛擬按鍵的方法，包括：由鍵盤上的觸控螢幕顯示第一虛擬按鍵以及對應於所述第一虛擬按鍵的第一圖標；由影像擷取裝置擷取所述觸控螢幕的影像，其中所述影像包括所述第一虛擬按鍵以及所述第一圖標；以及由第一處理器根據所述影像中的所述第一虛擬按鍵以及所述第一圖標產生並輸出第一虛擬按鍵配置。