CN107390998A - 一种虚拟键盘中按键的设置方法及系统 - Google Patents

Abstract

本发明公开了一种虚拟键盘中按键的设置方法及系统，其中，所述方法包括：检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。本发明提供的技术方案，能够提高用户输入信息的便利性。

Description

一种虚拟键盘中按键的设置方法及系统

技术领域

本发明涉及人机交互技术领域，特别涉及一种虚拟键盘中按键的设置方法及系统。

背景技术

当前，在人机交互中，键盘是文字输入的基础，目前键盘布局有几种类型：

1.实体键盘布局

实体键盘基本使用标准的布局样式(如104键)；

2.手机键盘布局

英文输入是全键盘的布局方式，中文输入或数字输入则常以九宫格的形式出现。

3.平板键盘布局

除了全键盘和九宫格以外，为了方便用户拿起平板的同时使用两只拇指输入，专利CN201210317507使用了拆分键盘，即把键盘拆为左右两部分，分别用左右拇指进行输入。

不管上述哪一种方式，键盘都是均匀分布的，由于人的手指长短不一，大小各异，在操作均匀分布的键盘时，每只手指的屈伸程度不一样，每次按键导致的劳累程度也不同。传统键盘的均匀布局方式缺陷是：

手型大小不同的用户只能去适应按键间距不变的键盘；

人的双手自然放下时，有一定程度的倾斜，均匀键盘无法适配；

每只手指长短不一，在均匀键盘操作时，屈伸程度不同；

人的坐姿和朝向影响手的摆放，而传统键盘无法自动适配；

无法根据用户喜好或软件的特性选用更合适的键盘布局。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种虚拟键盘中按键的设置方法及系统。所述技术方案如下：

一种虚拟键盘中按键的设置方法，所述方法包括：

检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；

根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。

进一步地，在判断是否在本地存储有与所述位置信息相适配的键盘模式之前，所述方法还包括：

判断当前施加于所述触摸屏上的手指的总数量，当所述总数量大于或者等于指定数量阈值时，才判断是否在本地存储有与所述位置信息相适配的键盘模式。

进一步地，在检测施加于触摸屏上的手指的位置信息之后，所述方法还包括：

获取左手手指的第一点集以及右手手指的第二点集，其中，所述第一点集和所述第二点集中包括施加于所述触摸屏上的手指的位置信息；

分别构建与所述第一点集和所述第二点集分别对应的第一原始特征集和第二原始特征集；

基于所述第一原始特征集和所述第二原始特征集，生成对应的第一变换特征集和第二变换特征集；

根据所述第一变换特征集，对所述第二变换特征集中特征向量的符号进行校正，得到校正特征向量；

基于所述校正特征向量，构造匹配矩阵；

基于双向最小误判概率法对所述匹配矩阵进行判断，以确定所述第一点集和所述第二点集是否匹配。

进一步地，按照下述公式构造所述匹配矩阵：

其中，M_ij表示特征匹配矩阵的i行j列的元素，e_i表示特征集E的第i个元素，表示F第j个校正特征向量。

进一步地，根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘包括：

当在本地存储有与所述位置信息相适配的键盘模式时，在所述触摸屏上展示所述键盘模式对应的虚拟键盘；

当在本地没有存储与所述位置信息相适配的键盘模式时，建立与所述位置信息相适配的新模式，并在所述触摸屏上展示所述新模式对应的虚拟键盘。

进一步地，在展示虚拟键盘时，所述方法还包括：

判断本地存储的与手指相关联的配置信息是否是最新信息；若是最新信息，根据用户手指的当前位置信息，从所述配置信息中确定与所述当前位置信息相适配的分块键盘显示方案；

判断用户的手指是否落于分块键盘的主按键上，若是，触发所述分块键盘的主按键。

进一步地，所述分块键盘显示方案包括特定手指模式对应的分块键盘显示方案、特定手势对应的分块键盘显示方案以及特定应用对应的分块键盘显示方案中的一种。

进一步地，在判断本地存储的与手指相关联的配置信息是否是最新信息之后，所述方法还包括：

若本地存储的与手指相关联的配置信息不是最新信息，从服务器处下载与所述用户相关联的最新信息，并基于下载的所述最新信息确定分块键盘显示方案。

进一步地，在判断用户的手指是否落于分块键盘的主按键上之后，所述方法还包括：

若用户的手指没有落于分块判断的主按键上，计算所述用户的手指与所述主按键之间的距离并确定所述用户的手指与所述主按键之间的方向；

基于所述距离和所述方向，确定所述用户的手指对应的子按键，并触发所述用户的手指对应的子按键。

一种虚拟键盘中按键的设置系统，所述系统包括：

键盘模式匹配单元，用于检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；

分块键盘显示单元，用于根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。

由上可见，在本申请中，可以根据施加于触摸屏上的手指的位置信息，来判断是否已经存在与该位置信息相适配的键盘模式。如果存在，则可以调用本地存储的键盘模式，按照键盘模式限定的格局来设置虚拟键盘中分快键盘的位置。如果不存在，则可以按照当前施加于触摸屏上的手指，新建键盘模式。在展示分块键盘时，手指垂直向下触碰触摸屏的位置可以对应分块键盘中主按键的位置，分块键盘上的其它按键则可以作为子按键。这样，通过设置匹配机制和分块键盘的机制，从而可以因人而异地展示虚拟键盘，并且可以打破传统键盘固定的格局，使得用户输入信息更加方便。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施方式中虚拟键盘中按键的设置方法流程图；

图2是本发明实施方式中手指的第一示意图；

图3是本发明实施方式中手指的第二示意图；

图4是本发明实施方式中分块键盘的第一示意图；

图5是本发明实施方式中分块键盘的第二示意图；

图6是本发明实施方式中分块键盘的第三示意图；

图7是本发明实施方式中分块键盘的第四示意图；

图8是本发明实施方式中分块键盘的第五示意图；

图9是本发明实施方式中分块键盘的第六示意图；

图10是本发明实施方式中分块键盘的第七示意图；

图11是本发明实施方式中分块键盘的第八示意图；

图12是本发明实施方式中按键触发流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参阅图1，本申请提供一种虚拟键盘中按键的设置方法，所述方法包括：

S1：检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；

S2：根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。

在本实施方式中，在判断是否在本地存储有与所述位置信息相适配的键盘模式之前，所述方法还包括：

判断当前施加于所述触摸屏上的手指的总数量，当所述总数量大于或者等于指定数量阈值时，才判断是否在本地存储有与所述位置信息相适配的键盘模式。

在本实施方式中，在检测施加于触摸屏上的手指的位置信息之后，所述方法还包括：

获取左手手指的第一点集以及右手手指的第二点集，其中，所述第一点集和所述第二点集中包括施加于所述触摸屏上的手指的位置信息；

分别构建与所述第一点集和所述第二点集分别对应的第一原始特征集和第二原始特征集；

基于所述第一原始特征集和所述第二原始特征集，生成对应的第一变换特征集和第二变换特征集；

根据所述第一变换特征集，对所述第二变换特征集中特征向量的符号进行校正，得到校正特征向量；

基于所述校正特征向量，构造匹配矩阵；

基于双向最小误判概率法对所述匹配矩阵进行判断，以确定所述第一点集和所述第二点集是否匹配。

在本实施方式中，按照下述公式构造所述匹配矩阵：

其中，M_ij表示特征匹配矩阵的i行j列的元素，e_i表示特征集的第i个元素，表示第j个校正特征向量。

在本实施方式中，根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘包括：

当在本地存储有与所述位置信息相适配的键盘模式时，在所述触摸屏上展示所述键盘模式对应的虚拟键盘；

当在本地没有存储与所述位置信息相适配的键盘模式时，建立与所述位置信息相适配的新模式，并在所述触摸屏上展示所述新模式对应的虚拟键盘。

在本实施方式中，在展示虚拟键盘时，所述方法还包括：

判断本地存储的与手指相关联的配置信息是否是最新信息；若是最新信息，根据用户手指的当前位置信息，从所述配置信息中确定与所述当前位置信息相适配的分块键盘显示方案；

判断用户的手指是否落于分块键盘的主按键上，若是，触发所述分块键盘的主按键。

在本实施方式中，所述分块键盘显示方案包括特定手指模式对应的分块键盘显示方案、特定手势对应的分块键盘显示方案以及特定应用对应的分块键盘显示方案中的一种。

在本实施方式中，在判断本地存储的与手指相关联的配置信息是否是最新信息之后，所述方法还包括：

若本地存储的与手指相关联的配置信息不是最新信息，从服务器处下载与所述用户相关联的最新信息，并基于下载的所述最新信息确定分块键盘显示方案。

在本实施方式中，在判断用户的手指是否落于分块键盘的主按键上之后，所述方法还包括：

若用户的手指没有落于分块判断的主按键上，计算所述用户的手指与所述主按键之间的距离并确定所述用户的手指与所述主按键之间的方向；

基于所述距离和所述方向，确定所述用户的手指对应的子按键，并触发所述用户的手指对应的子按键。

在一个具体的应用场景中，本发明是基于触摸屏，触摸板，深度摄像头，VR/AR等可识别指尖(和/或双手)的二维(和/或三维)信息的设备，这种设备有一个重要的功能是键盘的布局和位置可以随意改变，不管实际的键盘是不是通过显示器显示出来，只要满足这个特点就可以适用于本发明。不失一般性，下述以平板电脑的触摸屏为例解释。

在应用时，可以设定触发的手指个数K，通常让K＝8，当平板上手指个数不小于K时，触发分块键盘的显示，如果手指位置模式已经出现过，则使用该用户自定义的分块键盘，否则使用默认分块键盘。

1.手指位置模式

当用户把双手放到平板电脑上的时候，由于每个人的习惯不一样，手指指尖的位置关系是一种独一无二的特征，这种特征可以作为用户的身份识别码，下面介绍位置模式的匹配算法。

提取点集P(手指位置集)中所有点的某一基本特征(比如距离、面积、几何特征等)，可构成I×I的特征集A＝[a₁,a₂,...,a_I]，设P经过点排列顺序的变化得到Q。不失一般性，使用KL特征方法，构建其相关矩阵及使用特征值分解：

其中Λ_c＝diag{λ_a}是排序对角阵，U_c为对应的特征向量矩阵，则为P的KL特征集。

由于特征具有旋转、顺序排列不变性(如距离关系、面积关系、特定的几何关系)，因此通过奇异值分解可以简化KL特征集的获得：

由于V_A是正交矩阵，特征向量的能量由Λ_A决定，A进行特征值分解后降序排列，其前s个特征值将远大于其它所有(I-s个，且s＜＜I)特征值的总和，即绝大部分能量集中在s个特征值上，

根据上述分析，得到基于KL特征匹配算法的步骤：

1)点集P＝{p₁,p₂,...,p_I},Q＝{q₁,q₂,...,q_I}，可构建原始特征集A，B；

2)根据式1-1，可求得P的KL特征集E；同理可得Q的KL特征集F；

3)根据特征值E，对F的特征向量f_i进行符号校正得到其中

4)构造匹配矩阵

5)通过双向最小误判概率法决定点集P,Q是否匹配。

2.键盘分块

假设左手拇指到小指分别是：L＝{L₁,L₂,L₃,L₄,L₅}，右手从拇指到小指分别是：R＝{R₁,R₂,R₃,R₄,R₅}，下面描述分块键盘需要用到的技术。

当人的双手自然放在桌面时，接触桌面的指尖位置有一定的模式，通过上一节可以确定其位置模式，其直观形式如图2所示，可见自然放下的时候，食指、中指、无名指、小指并不在一条直线上，且会因人的不同姿势，位置模式会有较大的差异。如图3所示的模式，则是在双手距离较大时的模式。

如果强制使用传统的键盘适配，则会导致手指在按键的时候，有些手指平均弯屈会比其它手指要大(比如中指)，导致容易疲劳。为了解决这个问题，本发明使用“分块键盘”，不但让键盘适应人的手掌大小，也能动态调整键盘布局，使得在输入的时候不再需要寻找键盘，以及对F、J两个定位键进行定位。大大提高了输入的效率。

如图4。是根据标准按键进行分块的键盘布局。对于左手，小指控制QAZ三键，无名指控制WSX三键，中指控制EDC三键，食指控制RFVTGB六键。对于右手，食指控制YHNUJM六键，中指控制IK两键，无名指控制OL两键，小指控制P一键。灰色按键则是每一块的主节点，同一块上的其它键是主节点的子节点，意味着当模式确定之后，每只手指垂直往下按一定是按中主节点，往上一个键位则按中主节点上面的按键，以此类推。本文仅列举字母和方向键等的分块，其它按键(如符号键)也可以按照标准指法或自定义指法进行分块。

对于有部分用户，可能某些手指的按键习惯和标准不一样，可以通过配置文件或配置界面让用户自定义键盘布局，比如有些用户B键用右手大拇指按，C键用左手食指按，P键用右手无名指按，则可以定义图5的键盘分块。

除了标准键盘外，数字键也能使用分块键盘的形式布局，图6是标准的数字键布局。

图7是根据人体工程学优化后的数字键分块键盘，除了根据指长和屈伸优化外，因为通常按数字键都是右手，人的使用习惯会稍微往内倾斜，其倾斜角度和双手分开的距离以及手臂与正前方的夹角有关。

图8是方向键的经过人体工程学优化的分块键盘。

此外，也可以为游戏定制人体工程学优化的分块键盘，如现流行游戏王者荣耀，请参阅图9和图10，左手使用Q、W、E、R四个按键作为技能键，右手使用鼠标操作，则可定义左手键盘，右手鼠标。这样定义的优势是，只要用户左手小指按下就一定触发Q键(因为该情况下只有一个节点，且该节点是主节点)，而不需要管手在什么位置，这样极大增加容错性以及游戏性，用户在玩游戏时，似乎感觉到小指有一个手柄套在手上，永不会出错。

同样的原理，只要用户右手食指移动，触发鼠标移动；中指点击触发左键拖拽，无名指点击触发右键。以此类推，用户亦可以根据自己的喜好，自定义快捷键，游戏厂商可以根据游戏为用户设定默认的人体工程学优化的分块键盘，以此提高游戏的可玩性和操作的便捷性和容错性。

对于不同的设备，也能自定义不同的操作，比如在平板上，游戏通常只适用左右手的拇指操作，则可以针对拇指设计交互方式，如图11所示，左手拇指控制前后左右四个方向，右手拇指控制三个不同的技能。

3.场景自动切换和手动切换

本发明亦可使用配置文件记录“场景-分块键盘”的对应关系，如进入某游戏画面时，触发对应的分块键盘，该分块键盘的形式可以由用户自定义，也可以由其它用户或云端服务器定义。场景可以由软件启动触发，手势触发，或特定的手指位置模式触发，如图12。

本申请还提供一种虚拟键盘中按键的设置系统，所述系统包括：

键盘模式匹配单元，用于检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；

分块键盘显示单元，用于根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。

需要说明的是，本申请的技术方案，不只用在触摸屏上，还可以用在虚拟触摸面(如激光键盘，把桌面虚拟成触摸屏)或者体感设备上(在三维空间也能触摸和输入)。其中，虚拟触摸面和体感设备与触摸屏的区别在于：

触摸屏是显示和操作一体的，而虚拟触摸面和体感设备中的体感键盘是操作和显示分离的(例如，在桌面上操作，在显示器或投影上显示)。

由上可见，在本申请中，可以根据施加于触摸屏上的手指的位置信息，来判断是否已经存在与该位置信息相适配的键盘模式。如果存在，则可以调用本地存储的键盘模式，按照键盘模式限定的格局来设置虚拟键盘中分快键盘的位置。如果不存在，则可以按照当前施加于触摸屏上的手指，新建键盘模式。在展示分块键盘时，手指垂直向下触碰触摸屏的位置可以对应分块键盘中主按键的位置，分块键盘上的其它按键则可以作为子按键。这样，通过设置匹配机制和分块键盘的机制，从而可以因人而异地展示虚拟键盘，并且可以打破传统键盘固定的格局，使得用户输入信息更加方便。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟键盘中按键的设置方法，其特征在于，所述方法包括：

检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；

根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。

2.根据权利要求1所述的方法，其特征在于，在判断是否在本地存储有与所述位置信息相适配的键盘模式之前，所述方法还包括：

判断当前施加于所述触摸屏上的手指的总数量，当所述总数量大于或者等于指定数量阈值时，才判断是否在本地存储有与所述位置信息相适配的键盘模式。

3.根据权利要求1所述的方法，其特征在于，在检测施加于触摸屏上的手指的位置信息之后，所述方法还包括：

获取左手手指的第一点集以及右手手指的第二点集，其中，所述第一点集和所述第二点集中包括施加于所述触摸屏上的手指的位置信息；

分别构建与所述第一点集和所述第二点集分别对应的第一原始特征集和第二原始特征集；

基于所述第一原始特征集和所述第二原始特征集，生成对应的第一变换特征集和第二变换特征集；

根据所述第一变换特征集，对所述第二变换特征集中特征向量的符号进行校正，得到校正特征向量；

基于所述校正特征向量，构造匹配矩阵；

基于双向最小误判概率法对所述匹配矩阵进行判断，以确定所述第一点集和所述第二点集是否匹配。

4.根据权利要求3所述的方法，其特征在于，按照下述公式构造所述匹配矩阵：

<mrow> <msub> <mi>M</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>e</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mover> <mi>f</mi> <mo>^</mo> </mover> <mi>j</mi> </msub> <mo>|</mo> <mo>|</mo> </mrow>

其中，M_ij表示特征匹配矩阵的i行j列的元素，e_i表示特征集的第i个元素，表示第j个校正特征向量。

5.根据权利要求1所述的方法，其特征在于，根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘包括：

当在本地存储有与所述位置信息相适配的键盘模式时，在所述触摸屏上展示所述键盘模式对应的虚拟键盘；

当在本地没有存储与所述位置信息相适配的键盘模式时，建立与所述位置信息相适配的新模式，并在所述触摸屏上展示所述新模式对应的虚拟键盘。

6.根据权利要求1所述的方法，其特征在于，在展示虚拟键盘时，所述方法还包括：

判断本地存储的与手指相关联的配置信息是否是最新信息；若是最新信息，根据用户手指的当前位置信息，从所述配置信息中确定与所述当前位置信息相适配的分块键盘显示方案；

判断用户的手指是否落于分块键盘的主按键上，若是，触发所述分块键盘的主按键。

7.根据权利要求6所述的方法，其特征在于，所述分块键盘显示方案包括特定手指模式对应的分块键盘显示方案、特定手势对应的分块键盘显示方案以及特定应用对应的分块键盘显示方案中的一种。

8.根据权利要求6所述的方法，其特征在于，在判断本地存储的与手指相关联的配置信息是否是最新信息之后，所述方法还包括：

若本地存储的与手指相关联的配置信息不是最新信息，从服务器处下载与所述用户相关联的最新信息，并基于下载的所述最新信息确定分块键盘显示方案。

9.根据权利要求6所述的方法，其特征在于，在判断用户的手指是否落于分块键盘的主按键上之后，所述方法还包括：

若用户的手指没有落于分块判断的主按键上，计算所述用户的手指与所述主按键之间的距离并确定所述用户的手指与所述主按键之间的方向；

基于所述距离和所述方向，确定所述用户的手指对应的子按键，并触发所述用户的手指对应的子按键。

10.一种虚拟键盘中按键的设置系统，其特征在于，所述系统包括：

键盘模式匹配单元，用于检测施加于触摸屏上的手指的位置信息，并基于所述位置信息，判断是否在本地存储有与所述位置信息相适配的键盘模式；

分块键盘显示单元，用于根据判断结果，在所述触摸屏上展示对应于所述位置信息的虚拟键盘，所述虚拟键盘中包括与手指相对应的分块键盘；其中，所述分块键盘中至少包括一个主按键，所述主按键对应于手指垂直向下触碰所述触摸屏的位置，与所述主按键处于同一个分块键盘上的其它按键被设置为子按键。