CN104035552B - 三维操作方法和三维操作装置 - Google Patents

Abstract

本发明提供一种三维操作方法和三维操作装置，本发明的三维操作方法包含步骤：基于分别设置在屏幕周边的距离传感器和角度传感器测量的信息分析和判断用户的操作行为；根据用户的操作行为的判断结果而判定操作类型，量化操作参数；根据操作类型和操作参数，在用户界面执行三维操作。

Description

三维操作方法和三维操作装置

技术领域

本发明涉及具有三维显示器的移动终端领域，尤其涉及可以在三维显示器上实现三维操作的方法和三维操作装置。

背景技术

随着三维（3D）技术的不断发展和应用，手机上也随之出现很多3D效果的游戏及应用，屏幕可以展示3D效果图，使用户切实体验立体的显示效果。

但现有的触摸屏都是需要物体直接触摸到屏幕上，才能实现某些操作。比如，需要手指触碰到屏幕上，在屏幕上完成一段滑动轨迹，根据滑动轨迹判断用户的行为，进而实现对手机的操作及控制。

由于触摸屏的局限性，现有技术只适合2D模式下的操作及控制，无法解决3D空间中的展示及控制。换句话说，目前的这种单纯触摸方式的平面触屏无法完成对立体效果展示的控制功能。

发明内容

本发明鉴于触摸屏上无法完成三维操作而提出，其目的在于提供一种即使不触碰屏幕，也能完成对三维显示器的三维操作的三维操作方法和三维操作装置。

本发明的三维操作方法，包含步骤：基于检测部件所测量的距离信息和角度信息分析和判断用户的操作行为；根据用户的操作行为的判断结果而判定操作类型，量化操作参数；根据操作类型和操作参数，在用户界面执行三维操作。

并且，所述检测部件包括三个距离传感器和角度传感器。

并且，所述检测部件进一步包括一个距离传感器和角度传感器作为校验传感器。

并且，所述检测部件包括雷达。

并且，所述操作参数包含运动速度、运动方向以及与屏幕所成的角度。

并且，所述用户的操作行为分为单向运动、多向运动和转动。

并且，所述单向运动的用户的操作行为通过如下步骤进行判断：判断手指上各点的坐标在某一时刻的变化趋势是否相同；判断三个坐标平面中是否至少有一个平面上的坐标投影为线形；将用户的操作行为封装成类。

并且，所述多向运动的用户的操作行为通过如下步骤进行判断：判断手指个数；模拟出手指在空间的轨迹变化；将用户的操作行为封装成类。

并且，所述转动的用户的操作行为通过如下步骤进行判断：初步判断用户的手势是否做旋转运动；判断手指个数；分析用户手势的旋转趋势；分析用户手指在空间中的运动轨迹；将用户的操作行为封装成类。

本发明的三维操作装置，包括三维显示器、控制器、存储器以及检测部件。

并且，所述多个距离和角度传感器设置在所述三维显示器的周边。

并且，所述控制器根据所述多个距离和角度传感器的信息分析和判断用户的操作行为，并将所判断的用户的操作行为归类到一种操作类型。

并且，所述三维显示器根据所述操作类型显示三维画面。

通过本发明所提供的三维操作方法和三维操作装置，可利用空间的手势去操作三维画面，对3D效果提供了完美支持，让UI变得更加唯美，更加感性。

附图说明

图1为本发明的三维操作方法的流程图。

图2为在三维显示器上安装距离和角度传感器的示意图。

图3为用于说明求出手指上的某一点的坐标的立体坐标系。

图4为用于说明单向运动的用户的操作行为的判断过程的流程图。

图5为用于说明多向运动的用户的操作行为的判断过程的流程图。

图6为用于说明转动行为的用户形成的判断过程的流程图。

具体实施方式

以下，参照附图详细说明本发明的实施方式。为了便于说明，本发明的移动终端以手机为例进行说明。本发明的手机至少包括三维显示器、控制器、存储器和显示器。

首先，参考图1说明本发明的三维操作方法。

如图1所示，本发明的三维操作方法包括：

步骤101：基于分别设置在屏幕周边的距离传感器和角度传感器所测量的距离信息和角度信息分析和判断用户的操作行为。

步骤102：根据用户的操作行为的判断结果，判断操作类型。

在此，用户的操作行为通过软件接口被归纳为不同的操作类型，再通过相关的软件接口提供给用户界面供使用。这里，操作类型主要有移动、放大、缩小、旋转等。

步骤103：根据操作类型，在用户界面实现三维显示。

下面具体说明判断用户的操作行为的方法。

用户的三维操作行为会有很多种，若单纯从坐标变化的角度进行量化分析，大致可根据坐标变化将用户的操作行为分为单向运动、多向运动和转动这三类。

为了判断和分析用户的操作行为，本发明在三维显示器的四角安装了距离和角度传感器。图1表示在三维显示器上安装距离和角度传感器的示意图。如图1所示，在三维显示器的四角安装距离和角度传感器，通过传感器可以测量出手指上的某一点与传感器的直线距离和该点与传感器的连线与三维显示器所成的角度。也即，通过距离传感器可测量出手指和传感器的距离和角度等信息，再通过立体几何算法计算出手和三维显示器的多点相对位置，根据这些信息对用户的操作行为进行判断。

以单点为例，具体的计算方法如下。

首先假设手机屏幕处于xy坐标内，屏幕的长为L宽为W。如图2所示建立坐标系，手指上的某一点在坐标系中的相对坐标为d（x,y,z）。根据传感器的测量数据，我们可以测量出d与屏幕上传感器的距离l₁、l₂、l₃，以及他们与手机屏幕所成的角度a，b，c。

根据上述的测量数据可以列出以下方程式：

z=l₁sina………………1)

x²+y²=(l₂cosb)²………………2)

(W-x)²+y²=(l₂cosa)²………………3)

(L-y)²+x²=(l₂cosc)²………………4)

根据上述方程式就可以计算出x，y，z的值为：

z=l₁sina………………7)

虽然测量用户手指上各点的距离信息和角度信息仅用三个距离传感器和角度传感器即可，但由于传感器在测量上可能受到噪声、环境等干扰产生一定的误差，因此本发明还设置了第四个传感器作为校验传感器，根据第四个传感器的返回数据，利用上述的公式重新计算，选取测量准确的坐标点，达到去噪的效果。

根据上面的方法就可以计算出手指上各点与手机屏幕的相对坐标值D₁（x₁，y₁,z₁）、D₂（x₂,y₂,z₂）…D_N（x_N,y_N,z_N），再根据这些坐标就可以描绘出用户在这一时刻的手势。用户的手指不断在动，每一时刻的数据都不同，用time₁至time_M表示不同时刻，并用D₁至D_N代表所有被选取的参考点，这样就可以得到下面的一组坐标数据：

	time1	time2	...	timeM
					D1	x11,y11,z11	x12,y12,z12	...	x1M,y1M,z1M
D2	x21,y21,z21	x22,y22,z22	...	x2M,y2M,z2M
					D3	x31,y31,z31	x31,y31,z31	...	x3M,y3M,z3M
...	...	...	...	...
					DN	xN1,yN1,zN1	xN2,yN2,zN2	...	xNM,yNM,zNM

根据上面的数据，就可以对每一点或每一时刻的坐标值进行建模，描绘出所有点在空间中的变化轨迹，再根据坐标变化的轨迹去判断用户的操作行为。

由于D₁至D_N的坐标都是三维空间的立体坐标，为了根据坐标变化判断出用户的操作行为，需要将坐标在三个坐标面上进行投影操作，根据轨迹在坐标面上的投影对运动轨迹进行判断。再根据不同的运动轨迹各自的运动规律进行量化分析，最终确定用户的行为。

在此，所谓投影就是找出D（x,y,z）点到某个平面的垂直照射点，例如，将D（x,y,z）对三个坐标平面进行投影操作，所得到的投影点坐标分别为d(x,y,0)、d(0,y,z)、d(x,0,z)。

下面以实施例说明判断用户的操作行为的方法。

实施例1：单向运动

单向运动在现有的触摸屏技术中是应用的最为广泛的一种运动趋势，现有触摸屏技术中可以通过记录手指在屏幕上滑动的轨迹来完成对用户的操作行为的判断。但是在本发明中，手指或手掌是在空间中进行滑动，不直接接触触摸屏，现有的判断技术无法实现。

本发明中单向运动的用户的操作行为的判断方法如图4所示。

单向运动的特点是一根或多跟手指做平行于某一坐标面或者斜向运动操作的情况。在这种情况下，所有参考点在time₁至time_M时间内的运动轨迹大体一致。若对整个运动轨迹微分，选取所有点的坐标在某一时刻的变化趋势进行抽样计算，其规律大体符合如下公式：

由于手指划过的速度不同，不能保证整个轨迹的变化趋势是定值，但微分到单点的变化趋势是一致的。

因此，本发明的单向运动的判断方法首先判断手指上各点的坐标在某一时刻的变化趋势是否相同（S401）。

另外，将D₁至D_N的坐标投影到三个坐标平面上时，至少在一个坐标平面上为线形。

因此，本发明的单向运动的判断方法再判断三个坐标平面中是否至少有一个平面上的坐标投影为线形（S402）。

同时满足上述两点的情况下，可以判定手指或手掌在做单向的线性运动，将用户的操作行为封装成类（S403）。

本发明还可以根据运动的轨迹、坐标的变化，计算出运动的速度、方向以及与坐标平面所成角度等操作参数，并将对应于用户的操作行为的操作类型与各种操作参数提供给UI层，供UI层显示对应的三维画面。

实施例2：多向运动

多向运动也是比较常见的用户的操作行为，在现有的触摸屏技术中，可以通过最初时刻的触点个数及触摸的轨迹来判断手的运动轨迹，再根据轨迹对用户的行为进行判断。

但是在三维空间中，与单向运动一样，用户的手指运动轨迹是在三维空间中形成的，并没有触碰到触摸屏。

图5用于说明多向运动的用户的操作行为的判断过程的流程图。

若要判断用户的操作行为，首先要判断在屏幕的测量范围内有几根手指（S501）。

判断手指个数可通过如下方法实现，即，对time₁时刻的所有点的坐标进行建模，即将time₁时刻的D₁至D_N的所有坐标都投影到三个坐标平面上，此时在每个坐标平面上得到的轨迹应该是多条类似直线的线性轨迹，三个坐标平面中线性轨迹最多的平面上的轨迹个数应该就是手指的个数。再通过投影点的轨迹还原出空间中手指在这一时刻的位置。

然后，模拟出用户手指在空间中的轨迹变化(S502)。可通过对time₁至time_M时刻的D₁至D_N的坐标进行投影操作，就可以通过在坐标平面上的坐标点的变化，模拟出空间中的轨迹变化。

然后，根据轨迹变化判断用户的行为，如手指聚合、分散等运动方式，将用户的操作行为封装成类。

实施例3：转动

转动是在二维空间中所没有的用户的操作行为，是3D空间所特有的一种运动趋势。转动是一种相对自由的坐标变化趋势。用户的手可以以手腕为轴以任何姿势在屏幕前进行转动。每一参考点的运动轨迹都类似一段不规则弧形，无法简单的从单一坐标变化趋势上去判断手在转动。

图6为用于说明判断用户手势的转动行为的过程的流程图。

首先，本发明初步判断用户的手势是否做旋转运动（S601）。其判断方法为，对所有点的坐标进行投影分析。具体来讲，将time₁至time_M时刻的D₁至D_N的坐标（即所有点的坐标数据）分别投影到三个坐标面上，此时若至少有一个平面上的投影轨迹呈圆形或椭圆形，就可以初步判断用户的手势类似一个球面，在做旋转运动。

其次，判断手指个数（S602）。利用time₁时刻的所有点的坐标，确定屏幕范围内的手指个数及形状。

然后，分析用户手势的旋转趋势（S603）。当用户的手进行旋转时，time_M-1至time_M这个过程中，每根手指上各点的向量变化应该是一致的。向量分析方法如下：

对time₁至time_M时刻的D₁至D_N的坐标进行分析，计算出time₁至time₂、time₂至time₃、…、time_M-1至time_M各点的向量值。

假设点D₁和D₂在同一根手指上，则两点在time₁至time₂时刻向量的变化是相同的，既满足以此类推可以得到公式：

为了减少测量误差，可以对同一根手指上的多个点进行向量叉积来得到拟合后的结果。在同一时间段内各个手指上的采样点向量变化趋势相同，则可确定用户的手势在做旋转运动。

然后，分析每根手指在空间中的运动轨迹，计算旋转参数（S604）。

根据上面的数据，可以将用户手势的变化趋势近似地看做一种类似球面的旋转运动。这样可以分别计算出time₁至time_M时刻球面旋转的球心、半径和旋转轴等信息，并且计算出各个时刻球心及旋转轴的向量变化趋势。

以单一时刻为例，下面来介绍一下具体的计算方法:

<球心及半径的计算方法>

从理论上可知，只要有在同一个圆上的4个点就可以求出球心的坐标和半径。假设球半径为R，球心坐标的近似值为O(x₀，y₀，z₀)，球面上的第i点的坐标为D_i(x_i,y_i,z_i)，则每一点的坐标与球半径存在如下关系式：

(x₀-x_i)²+(y₀-y_i)²+(z₀-z_i)²=R²………………8)

这样选取四个点的坐标既可以计算出球心坐标值及半径。但这只是理论值，由于用户的转动动作是类似的球面运动，各点坐标的测量选取也有一定误差，所以要对多个点的计算结果进行拟合。

这里有很多种方法可供选择，例如，最常用的方法就是穷举，将所有的观察点的坐标都带入方程式计算出多个球心坐标，再进行去噪拟合，这种方法虽然简单易懂，但计算量非常大，影响手机性能。

下面主要来介绍一种平差计算的方法，以求得球心坐标和球半径的最可靠值。

对上面的公式中针对球心坐标和球半径求偏微分，并以其修正值δ_x、δ_y、δ_z和δ_R代替微分，得到:

2(x₀-x_i)δ_x+2(y₀-y_i)δ_y+2(z₀-z_i)δ_z=2R₀δ_R………………9)

在此，R₀为半径拟合值。

假设按第i点的坐标值与球心的近似坐标计算的球半径为球半径的观测值R_t，其改正值为V_Rt，则

R=R_t+V_Rt=R₀+δ_R………………12)

V_Rt=R₀-R_t+δ_R………………13)

上式中，δ_R已求得，可以用前面的公式代入，得到第i点的球半径观测值方程式：

则方程式的一般形式为：

V_Rt=a_tδ_x+b_tδ_y+c_tδ_z+l_t………………15)

由m个观测值的方程式和3个未知数δ_x、δ_y、δ_z组成的方程式为

[aa]δ_x+[ab]δ_y+[ac]δ_z+[al]=0………………16)

[ab]δ_x+[bb]δ_y+[bc]δ_z+[bl]=0………………17)

[ac]δ_x+[bc]δ_y+[cc]δ_z+[cl]=0………………18)

设法方程式的协因数矩阵为

则未知数的解为

δ_x=-[al]Q₁₁-[bl]Q₁₂-[cl]Q₁₃………………19)

δ_y=-[al]Q₁₂-[bl]Q₂₂-[cl]Q₂₃………………20)

δ_z=-[al]Q₁₃-[bl]Q₂₃-[cl]Q₃₃………………21)

球心平差后的坐标为：

x=x₀+δ_x………………22)

y=y₀+δ_y………………23)

z=z₀+δ_z………………24)

平差后的球半径为：

………………25)

式中，分子为观测值方程式常数项之和，分母为观测值的个数。

根据上述方法，就可以较为精确地求出单一时刻的球面旋转的球心及半径，当然计算方法有很多种，本发明仅以此为例。

<旋转轴计算方法>

球面的转轴是经过球心的一条直线，该轴线与旋转平面的法向量平行。换言之，只要求得旋转平面的法向量，再代入球心坐标，即可将旋转轴唯一确定。此时，旋转平面的法向量如何计算就成了问题的关键。

这里，所谓旋转平面是指，在time₁时刻的所有点坐标还原到坐标系中形成一个类似球面的形状，选取接近各个手指指尖的坐标点D₁至D_t为采样点，这些采样点可以近似的拟合在同一平面内，该平面就是这一时刻的旋转平面。

根据空间中的两点可以确定一条直线，两条交叉的直线就可以确定一个平面的原理，只要有不在同一直线上的四个点就可以确定一个平面，并且计算出他的法向量。

假设有D₁至D_t个点，大致分散在四到五个区域内，只要在不同区域内分别选取，就可以确定多个旋转平面并计算出多个法向量，再将这些法向量做向量叉乘运算，如果两个平面是平行的，则向量叉乘的结果为0。在本发明中，可以以使用多向量拟合的方法，来确定旋转平面的法向量。

计算出单一时刻的模拟球面运动的球心、半径、旋转轴等信息后，就可以用同样的方法对time₂至time_M时刻的坐标进行建模，计算出每一个时刻的球面旋转信息，如下表所示：

根据这些信息，就可以进一步计算球心变化向量，旋转轴的向量变化等信息，可以对整个手势的变化轨迹做一个量化的建模分析。

最后，将用户的操作行为信息封装成类，返回给应用程序接口。

上述几种用户的操作行为只是从坐标变化的角度做一个简单的划分，因为人手的动作可以千变万化，还可以根据坐标变化的速度和时间等信息，对运动轨迹进行更细致的分析。

此外，虽然本发明以设置在三维显示器四角上的距离和角度传感器为例进行了说明，但本发明并不限定于此，本发明可以通过设置在手机屏幕周边的一个雷达测量用户手指上的某一点与雷达的直线距离以及该点与雷达的连线与三维显示器所成的角度。即，本发明可通过雷达代替距离传感器和角度传感器测量距离信息和角度信息。在此，本发明对雷达的设置数量并不进行限定，例如可以在手机屏幕周边设置两个雷达，一个雷达用于测量距离信息和角度信息，另一个雷达用于校验所测量的距离信息和角度信息准确度。

本发明主要是实现三维显示器的3D控制，应用十分广泛。可用于在3D游戏及3D效果图的演示当中，通过用户的手势分析用户的操作行为，封装成统一的UI接口，应用可以利用这些接口实现不同效果的UI风格，给用户完全不同的用户体验。将本发明真正运用到手机上的时候，其应用之处可以说数不胜数。例如：

1.3D切水果：通过手在空间中做真实的切水果的动作，来完成游戏。

2.虚拟魔方：用户可以通过手势在手机屏幕前直接做各种旋转操作，直接来控制屏幕中的魔方转到，实现3D展示效果。

3.TOM猫：用户可以在手机屏幕前做一个拉的动作，去拉TOM的毛耳朵或者毛，给TOM搭配上更多的表情动作。

4.3D桌面：打破原有的2D桌面效果，桌面上的图标可以是做成立体效果，桌面空间也可以变成3D空间，通过手势将图标拉进，放远，放大，缩小等操作。

3D操作的例子不胜枚举，本发明的优点在于利用空间的手势去判断用户的行为，完全不同于现有触摸屏技术，用户无需触碰屏幕就可完成操作。并且解放了手指，将触碰操作变为了空间运动行为分析。用户可以有更多的选择，更多的手势去控制手机。同时也为UI层提供了丰富的操作类，对3D效果的完美支持，让UI变地得更加唯美，更加感性。

Claims (11)

1.一种三维操作方法，其特征在于，包含步骤：

基于检测部件所测量的距离信息和角度信息分析和判断用户的操作行为；

根据用户的操作行为的判断结果而判定操作类型，量化操作参数；

根据操作类型和操作参数，在用户界面执行三维操作，

其中，基于检测部件所测量的距离信息和角度信息分析和判断用户的操作行为的步骤包括：根据距离信息和角度信息计算出坐标，将坐标在坐标面上进行投影，根据坐标面上的投影对运动轨迹进行判断，根据运动轨迹各自的运动规律进行量化分析，以确定用户的操作行为，

其中，所述用户的操作行为包括转动，所述转动的用户的操作行为通过如下步骤进行确定：初步判断用户的手势是否做旋转运动；判断手指个数；通过分析在同一时间段内各个手指上的采样点向量的变化趋势来分析用户手势的旋转趋势；分析用户手指在空间中的运动轨迹；将用户的操作行为封装成类。

2.根据权利要求1所述的三维操作方法，其特征在于，所述检测部件包括三个距离传感器和角度传感器。

3.根据权利要求2所述的三维操作方法，其特征在于，所述检测部件进一步包括一个距离传感器和角度传感器作为校验传感器。

4.根据权利要求1所述的三维操作方法，其特征在于，所述检测部件包括雷达。

5.根据权利要求1所述的三维操作方法，其特征在于，所述操作参数包含运动速度、运动方向以及与屏幕所成的角度。

6.根据权利要求1所述的三维操作方法，其特征在于，所述用户的操作行为还包括单向运动和多向运动。

7.根据权利要求6所述的三维操作方法，其特征在于，所述单向运动的用户的操作行为通过如下步骤进行确定：

判断手指上各点的坐标在某一时刻的变化趋势是否相同；

判断三个坐标平面中是否至少有一个平面上的坐标投影为线形；

将用户的操作行为封装成类。

8.根据权利要求6所述的三维操作方法，其特征在于，所述多向运动的用户的操作行为通过如下步骤进行确定：

判断手指个数；

模拟出手指在空间的轨迹变化；

将用户的操作行为封装成类。

9.一种三维操作装置，其特征在于，包括三维显示器、控制器、存储器以及检测部件，

其中，检测部件测量距离信息和角度信息，

控制器执行如下操作：根据距离信息和角度信息计算出坐标；将坐标在坐标面上进行投影；根据坐标面上的投影对运动轨迹进行判断；根据运动轨迹各自的运动规律进行量化分析，以确定用户的操作行为；根据用户的操作行为的判断结果而判定操作类型，量化操作参数；根据操作类型和操作参数，在用户界面执行三维操作，

三维显示器根据判定的操作类型显示三维画面，

其中，所述用户的操作行为包括转动，所述转动的用户的操作行为通过如下操作进行确定：初步判断用户的手势是否做旋转运动；判断手指个数；通过分析在同一时间段内各个手指上的采样点向量的变化趋势来分析用户手势的旋转趋势；分析用户手指在空间中的运动轨迹；将用户的操作行为封装成类。

10.根据权利要求9所述的三维操作装置，其特征在于，多个距离和角度传感器设置在所述三维显示器的周边。

11.根据权利要求9所述的三维操作装置，其特征在于，所述控制器根据多个距离和角度传感器的信息分析和判断用户的操作行为，并将所判断的用户的操作行为归类到一种操作类型。