CN113010038B - 一种基于超分辨率重构的超声兰姆波触控载荷识别方法 - Google Patents

Abstract

本发明公布了一种基于超分辨率重构的超声兰姆波触控载荷识别方法，利用低像素条件下构建的触控载荷兰姆波声指纹库，通过超分辨率重构方法，扩建得到高像素的触控载荷兰姆波声指纹库。采用权重系数迭代自适应的多传感器对最小二乘模型，实现待定位信号特征与触控载荷兰姆波声指纹库的匹配，完成触控载荷定位及触控力识别。本发明提供的方法可以有效提升超声兰姆波触控屏的性能，为超声兰姆波触控屏的声指纹库构建及触控载荷参数识别提供新思路。

Description

一种基于超分辨率重构的超声兰姆波触控载荷识别方法

技术领域

本发明涉及人机交互技术领域，具体为超声兰姆波触控系统中一种基于超分辨率重构的超声兰姆波触控载荷识别方法。

背景技术

触控屏作为一种便捷式的人机交互设备，已广泛应用于消费电子、工业控制、教育、医疗以及公共服务等方面。相较于电阻式、电容式等传统触控屏，声波式触控屏具有两个突出的优点，不需要额外的力传感器即可实现在定位的同时直接识别触控力的大小，此外由于声波可在多种固体介质中(玻璃、钢板、木板等)传播，日常生活中的书桌、窗户等都可能成为声波式触控屏的载体。

声波式触控屏又可分为表面波式和兰姆波式。相较于表面声波式触控屏，超声兰姆波式对屏板表面的划痕等污染物不敏感，并且在多点触控识别中更具有潜力。现有的超声兰姆波触控屏技术中仍存在以下不足：(1)依靠标定触控区域对应的声指纹库，只对触控位置进行识别，难以对载荷大小进行识别；(2)采用多传感器对的模型可以提高载荷定位准确度，但在识别模型中各传感器对的权重系数需要手动设置，无法实现自动优化；(3)高分辨率声指纹库的制备消耗时间长，直接利用低分辨率声指纹库则难以实现高精度的载荷定位与识别。

针对上述不足，本发明公布了一种基于超分辨率重构的超声兰姆波触控载荷识别方法，利用低分辨率声指纹库的超分辨率重构和权重系数自适应的多传感器对识别模型，可以有效解决现有超声兰姆波触控技术中存在的不足。

发明内容

本发明的目的在于解决超声兰姆波触控屏中利用低分辨率声指纹库数据实现对触控位置和触控力识别的问题，为实现上述目的，本发明实施例提出一种基于超分辨率重构的超声兰姆波触控载荷识别方法，该方法主要有以下步骤，

1)对触觉感知屏板媒介进行等尺寸网格划分，形成N_x×N_y＝N个标定触控区域，使用力为F、面积为S的载荷触控(x,y)标定区域，记传感器对T_i-j(i激励传感器，j接收传感器)采集的触控载荷兰姆波声指纹信号为d_F,S,i,j(x,y)，遍历触控N个标定区域后即可构建出分辨率为S的声指纹库D_F,S,i,j＝{d_F,S,i,j(x,y)}(x＝1,2,…,N_x；y＝1,2,…,N_y)。

2)声指纹信号d_F,S,i,j(x,y)为具有M个采样点的均匀采样波形，提取指纹库D_F,S,i,j中所有声指纹信号第m(m＝1,2,…,M)个采样点的幅值A_m(x,y)，组成像素值集合G_m＝{A_m(x,y)}(x＝1,2,…,N_x；y＝1,2,…,N_y)。

3)求取集合G_m中的最大值MAXA_m和最小值MINA_m，利用最大值和最小值对G_m进行[0,1]归一化，将归一化后的幅值转换为含有N_x×N_y个像素点的图像Il，图像中各像素点坐标与对应标定区域坐标一致。

4)对图像Il利用双三次样条插值法进行超分辨率重构，得到高分辨率图像Ih，记像素点数扩增至N'_x×N'_x＝N'个，等效于感知屏板被划分成为N'_x×N'_x＝N'个新标定触控区域，利用MAXA_m和MINA_m对Ih进行反归一化，得到新像素值集合G'_m＝{A'_m(x',y')}(x’＝1,2,…,N_x’；y’＝1,2,…,N_y’)。

5)依据采样点m的顺序以及新标定触控区域坐标(x’,y’)将A'_m(x',y')整合成新的声指纹信号d_F,S',i,j(x',y')，进而得到高分辨率下的声指纹库D_F,S',i,j，其中新的分辨率

6)将N_F个触控力下制备的低分辨率声指纹库均重复执行2)～5)得到高分辨率下的声指纹库D_F,S',i,j(F＝1,2,…,N_F)，利用下式对未知触控进行初步求解，

式中Θ_F＝{θ_F(x',y')}(x’＝1,2,…,N_x’；y’＝1,2,…,N_y’)表征未知触控在触控力为F的高分辨声指纹库中的定位结果，/>为满足上式的Θ_F的初步解。

7)将初步解代入下述权重系数迭代自适应的多传感器对最小二乘模型，

s.t.θ_F(x',y')≥0,for all x',y' (1b)

式中w_F,i,j为传感器对T_i-j在触控力为F的高分辨率声指纹库中的权重系数，μ为惩罚系数。

8)求解7)中的识别模型，并通过以下步骤实现权重系数的自动寻优：

8a)设置初始权重(w_F,i,j)⁰；

8b)将初始权重代入7)中模型，求得初始解(Θ_F)⁰；

8c)计算各残差平方和并以此更新权值系数

8d)将新的权重系数作为初始权重并重复步骤8b)、8c)至迭代结束，即可得到最优权重以及最终结果Θ_F。

9)求得未知触控声指纹在各触控力下的定位结果Θ_F(F＝1,2,…,N_F)，利用所有θ_F(x',y')中的最大值和最小值对Θ_F进行[0,1]归一化，超过设定阈值ε(0＜ε≤1)的θ_F(x',y')对应的标定触控区域(x’,y’)、触控力F即为/>的触控位置和触控力。

与现有技术相比，本发明具有以下优势：(1)结合图像超分辨率重构方法，完成声指纹字典库由低分辨率向高分辨率转化，提高了高精度字典库的制备效率；(2)利用残差平方和，通过迭代更新的方式，实现了多传感器对最小二乘定位模型中权重系数的自动优化；(3)通过使用多参数的字典库，在实现对触控载荷定位的同时完成对触控力大小的识别。

附图说明

图1超声兰姆波触控载荷识别方法流程示意图。

图2超分辨率重构前后的标定区域划分示意图。

图3声指纹库的超分辨率重构过程示意图。

图4待识别触控示意图。

图5触控位置与触控力识别结果示意图。

图中：1-激励传感器，2-接收传感器1，3-接收传感器2，4-接收传感器3

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

结合图1所述流程，本发明实施例触控定位与识别的具体实施方法如下：

1)对触控屏板进行等尺寸网格划分，网格大小为64mm²，如图2超分辨率重构前所示，在x、y方向形成3×8＝24个标定触控区域，屏板四周有激励传感器1和接收传感器1、2、3。使用面积S＝64mm²、触控力为0.4N的载荷触碰各标定区域，记传感器对T_i-j(i＝1，j＝1,2,3)采集的兰姆波声指纹信号为d_F,S,i,j(x,y)，遍历触控24个标定区域后即可构建出分辨率为64mm²的声指纹库D_F,S,i,j＝{d_F,S,i,j(x,y)}(x＝1,2,3；y＝1,2,…,8)。

2)声指纹信号d_F,S,i,j(x,y)为具有M＝5000个采样点的均匀时域波形，如图3(a)中所示。提取指纹库D_F,S,i,j中所有声指纹信号第m(m＝1,2,…,5000)个采样点的幅值A_m(x,y)，组成如图3(b)所示像素值集合G_m＝{A_m(x,y)}。

3)求取集合G_m中的最大值MAXA_m和最小值MINA_m，利用最大值和最小值对G_m进行[0,1]归一化，将归一化后的幅值转换为如图3(c)所示含有3×8个像素点的图像Il，图像中各像素点坐标与对应标定区域坐标一致。

4)对图像Il利用双三次样条插值法进行超分辨率重构，得到如图3(d)所示高分辨率图像Ih，像素点数扩增至6×16＝96个，等效于屏板被划分成为如图2超分辨率重构后所示的96个新标定触控区域，利用MAXA_m和MINA_m对Ih进行反归一化，得到如图3(e)所示新像素值集合G'_m＝{A'_m(x',y')}(x’＝1,2,…,6；y’＝1,2,…,16)。

5)依据采样点m的顺序以及新标定触控区域坐标(x’,y’)将A'_m(x',y')整合成新的声指纹信号d_F,S',i,j(x',y')，进而得到如图3(f)所示高分辨率下的声指纹库D_F,S',i,j，其中新的分辨率

6)使用S＝64mm²、力分为别1.2N和2N的触控载荷制备声指纹库，并重复执行2)～5)步，至此可得到三种触控力下的高分辨率下的声指纹库D_F,S',i,j，记F＝1,2,3对应的触控力分别为0.4N、1.2N、2N。使用1.2N的力在如图4所示位置进行触控，将各传感器对所得信号当做待定位声指纹并将其代入下式进行初步求解，

式中Θ_F＝{θ_F(x',y')}表征未知触控在触控力为F的高分辨声指纹库中的定位结果，/>为满足上式的Θ_F的初步解。

7)将初步解代入下述权重系数迭代自适应的多传感器对最小二乘模型，

s.t.θ_F(x',y')≥0,for all x',y' (1b)

式中w_F,i,j为传感器对T_i-j在触控力为F的高分辨率声指纹库中的权重系数，μ为惩罚系数。

8)求解7)中的识别模型，并通过以下步骤实现权重系数的自动寻优：

8a)设置初始权重(w_F,1,2)⁰＝0.33，(w_F,1,3)⁰＝0.33，(w_F,1,4)⁰＝0.34；

8b)将初始权重代入7)中模型，求得初始解(Θ_F)⁰；

8c)计算各残差平方和并以此更新权值系数

8d)将新的权重系数作为初始权重并重复步骤8b)、8c)至迭代结束，得到最优权重以及定位和识别结果Θ_F。

9)通过求得未知触控声指纹在各触控力下的定位结果Θ_F，利用所有θ_F(x',y')中的最大值和最小值对Θ_F进行[0,1]归一化，得到如图5所示结果，其中图5(a)～(c)分别为/>在0.4N、1.2N、2N下的定位结果。设定阈值ε＝0.95，由结果可知，图5(b)中θ₂(4,8)的值大于ε，故待定位声指纹/>对应的触控力为1.2N、触控位置为图3(b)中所示坐标为(4,8)的标定触控区域。

Claims (5)

1.一种基于超分辨率重构的超声兰姆波触控载荷识别方法，其特征在于，通过超分辨率重构方法，将低像素的触控载荷兰姆波声指纹库扩建得到高像素的触控载荷兰姆波声指纹库，采用权重系数自动迭代优化的最小二乘模型，实现触控载荷位置及触控力的识别；其中，触控载荷兰姆波声指纹库扩建的具体实现步骤如下：

S1.构建低分辨率声指纹库；对触觉感知屏板媒介进行等尺寸网格划分，在x、y方向分别形成N_x、N_y个标定触控区域，整个屏板共形成N_x×N_y＝N个标定触控区域，使用力为F、面积为S的载荷触控(x,y)标定区域，记传感器对T_i-j采集的触控载荷兰姆波声指纹信号为d_F,S,i,j(x,y)，i激励传感器，j接收传感器，遍历触控N个标定区域后即可构建出分辨率为S的声指纹库D_F,S,i,j＝{d_F,S,i,j(x,y)}，x＝1,2,…,N_x；y＝1,2,…,N_y；

S2.声指纹信号d_F,S,i,j(x,y)为具有M个采样点的均匀采样波形，提取指纹库D_F,S,i,j中所有声指纹信号第m个采样点的幅值A_m(x,y)，m＝1,2,…,M，组成像素值集合G_m＝{A_m(x,y)}；

S3.求取集合G_m中的最大值MAXA_m和最小值MINA_m，利用最大值和最小值对G_m进行[0,1]归一化，将归一化后的幅值转换为含有N_x×N_y个像素点的图像Il，图像中各像素点坐标与对应标定区域坐标一致；

S4对图像Il利用双三次样条插值法进行超分辨率重构，得到高分辨率图像Ih，记像素点数扩增至N'_x×N'_x＝N'个，等效于感知屏板被划分成为N'_x×N'_x＝N'个新标定触控区域，利用MAXA_m和MINA_m对Ih进行反归一化，得到新像素值集合G'_m＝{A'_m(x',y')}，x’＝1,2,…,N’_x；y’＝1,2,…,N’_y；

S5.依据采样点m的顺序以及新标定触控区域坐标(x’,y’)将A'_m(x',y')整合成新的声指纹信号d_F,S',i,j(x',y')，进而得到高分辨率下的声指纹库D_F,S',i,j，其中新的分辨率

2.根据权利要求1所述的一种基于超分辨率重构的超声兰姆波触控载荷识别方法，其特征在于，触控载荷的声指纹信号是激励传感器主动激发的兰姆波经过触控载荷散射作用后，被接收传感器接收的信号，或者是触碰动作激发的兰姆波被接收传感器被动接收的信号，所述声指纹信号的类型包括时域信号和频域信号。

3.根据权利要求1所述的一种基于超分辨率重构的超声兰姆波触控载荷识别方法，其特征在于，使用的图像超分辨率方法为三次样条插值法。

4.根据权利要求1所述的一种基于超分辨率重构的超声兰姆波触控载荷识别方法，其特征在于，所述的触控载荷位置及触控力的识别，利用权重系数迭代自适应的多传感器对最小二乘模型，实现待定位信号特征与触控载荷兰姆波声指纹库的匹配，其具体步骤如下：

步骤11.将N_F个触控力下制备的低分辨率声指纹库均通过超分辨率重构得到高分辨率下的声指纹库D_F,S',i,j，F＝1,2,…,N_F，利用下式对未知触控进行初步求解，

式中Θ_F＝{θ_F(x',y')}，表征未知触控在触控力为F的高分辨声指纹库中的定位结果，x’＝1,2,…,N’_x；y’＝1,2,…,N’_y，/>为满足上式的Θ_F的初步解；

步骤12.将初步解代入权重系数迭代自适应的多传感器对最小二乘模型，

s.t.θ_F(x',y')≥0,for all x',y' (1b)

式中w_F,i,j为传感器对T_i-j在触控力为F的高分辨率声指纹库中的权重系数，μ为惩罚系数；

步骤13.求得未知触控声指纹在各触控力下的定位结果Θ_F，F＝1,2,…,N_F，利用所有θ_F(x',y')中的最大值和最小值对Θ_F进行[0,1]归一化，超过设定阈值ε的θ_F(x',y')对应的标定触控区域(x’,y’)、触控力F即为/>的触控位置和触控力，0＜ε≤1。

5.根据权利要求4所述的一种基于超分辨率重构的超声兰姆波触控载荷识别方法，其特征在于，所述的最小二乘模型，权重系数通过迭代自动寻找最优值，具体步骤如下：

步骤121.对权重系数赋初始值(w_F,i,j)⁰；

步骤122将初始权重及待定位信号代入最小二乘模型进行求解(Θ_F)⁰；

步骤123.计算各残差平方和并以此更新权值系数

步骤124.将步骤123中新的权重系数作为初始权重并重复步骤122、步骤123至迭代结束，即可得到最优权重以及最终结果Θ_F。