CN108008811A - 一种利用非触屏方式操作终端的方法和终端 - Google Patents
一种利用非触屏方式操作终端的方法和终端 Download PDFInfo
- Publication number
- CN108008811A CN108008811A CN201610959809.6A CN201610959809A CN108008811A CN 108008811 A CN108008811 A CN 108008811A CN 201610959809 A CN201610959809 A CN 201610959809A CN 108008811 A CN108008811 A CN 108008811A
- Authority
- CN
- China
- Prior art keywords
- point
- reference object
- mapping
- image
- mapping point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013507 mapping Methods 0.000 claims abstract description 359
- 210000001747 pupil Anatomy 0.000 claims description 44
- 230000009471 action Effects 0.000 claims description 27
- 230000004397 blinking Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 14
- 238000003825 pressing Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种利用非触屏方式操作终端的方法，所述方法包括：实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值；对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作；本发明实施例还提供了一种终端。
Description
技术领域
本发明涉及人机交互领域，尤其涉及一种利用非触屏方式操作终端的方法和终端。
背景技术
目前，具有触屏的终端的应用范围变得越来越广泛；终端上的触摸屏可以作为一种实现人机交互的设备，示例性地，电阻式触摸屏实际上是一种传感器，其结构基本上是薄膜与玻璃叠加的结构，薄膜和玻璃相邻的一面上均涂有纳米铟锡金属氧化物(ITO，IndiumTin Oxide)涂层，ITO具有很好的导电性和透明性。当产生触摸操作时，薄膜下层的ITO会接触到玻璃上层的ITO，经由感应器传出相应的电信号，经过转换电路送到处理器，通过运算转化为屏幕上的坐标值(X、Y值)，而完成点选的动作，并呈现在屏幕上。
现有技术中，公开了一种可穿戴设备的触控响应方法、装置及可穿戴设备，以使可穿戴设备能够实时向用户反馈触控操作效果，提高可穿戴设备的触控精准性；其具体技术方案为：获取双目识别设备所采集的目标指尖在设定的触控动作发生区域的位置信息；根据目标指尖的位置信息，确定目标指尖映射到可穿戴设备屏幕上的映射点的位置信息；在可穿戴设备屏幕上的所述映射点显示光标。
上述现有的技术方案中，可以确定指尖的映射点，并根据指尖轨迹操作手机，但是，并不能利用映射点对手机屏幕进行直接操作。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种利用非触屏方式操作终端的方法和终端，在不需要用手指触摸屏幕的情况下就能实现操作终端。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种利用非触屏方式操作终端的方法，所述方法包括：
实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值；
对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；
生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作。
上述方案中，所述参照物包括人的瞳孔；
相应地，所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：
实时获取眼睛中心凹的空间位置，所述瞳孔和所述眼睛中心凹位于同一只眼睛；基于所述瞳孔的图像，得出瞳孔中心点的空间位置；
基于所述眼睛中心凹和瞳孔中心点的空间位置，将经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点确定为终端显示屏上与所述参照物形成预设的映射关系的映射点。
上述方案中，所述实时采集参照物的图像，包括：利用双摄像头分别采集所述瞳孔的图像；
所述基于所述瞳孔的图像，得出瞳孔中心点的空间位置，包括：基于所述两个摄像头的空间位置、以及所述两个摄像头所采集的图像，得出瞳孔中心点的空间位置。
上述方案中，所述实时采集参照物的图像，包括：利用至少一个摄像头实时采集所述参照物的图像；
相应地，所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：
在所述参照物的图像中选取至少一点作为参照点；
基于每个参照点的图像和每个摄像头的空间位置，确定每个参照点的空间位置；
基于每个参照点的空间位置和所述终端显示屏的空间位置，确定每个参照点在终端显示屏上的投影点；
基于所述投影点确定与所述参照物形成预设的映射关系的映射点。
上述方案中，所述基于所述投影点确定与所述参照物形成预设的映射关系的映射点，包括：将所述投影点作为与所述参照物形成预设的映射关系的映射点。
上述方案中，所述参照点的个数为2个；
所述基于所述投影点确定与所述参照物形成预设的映射关系的映射点，包括：确定两个参照点在终端显示屏上的投影点，将确定的两个投影点的连线的中点作为与所述参照物形成预设的映射关系的映射点。
上述方案中，所述参照物包括人的两只眼睛；
所述在所述参照物的图像中选取至少一点作为参照点，包括：将所述人的两只眼睛的瞳孔中心点分别作为参照点。
上述方案中，所述在所述参照物的图像中选取至少一点作为参照点，包括：
基于所述参照物的图像和每个摄像头的空间位置，确定所述参照物的空间位置；
基于所述参照物的空间位置，将所述参照物中与终端显示屏垂直距离最小的一点作为参照点。
上述方案中，所述实时采集参照物的图像，包括：利用一个摄像头实时采集所述参照物的图像；
在对所述参照物的图像进行分析前，所述方法还包括：实时获取所述摄像头与所述参照物的距离；
相应地，所述基于所述参照点的图像和每个摄像头的空间位置，确定所述参照点的空间位置，包括：
基于所述参照点的图像、所述摄像头的空间位置以及所述摄像头与所述参照物的距离，确定所述参照点的空间位置。
上述方案中，所述参照物为与所述终端显示屏的垂直距离最小的物体，或者，所述参照物位于人体。
上述方案中，所述参照物包括人的一只眼睛；所述实时采集参照物的图像，包括：实时采集人眼睛中的图像；
所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：将终端显示屏当前显示内容中与所采集的人眼睛中的图像匹配的区域确定为：屏幕匹配区域；在所述屏幕匹配区域内选取一点作为与所述参照物形成预设的映射关系的映射点。
上述方案中，在对所述参照物的图像进行分析之前，所述方法还包括：确定终端显示屏与所述参照物的距离；
所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：所确定的距离处于设定区间时，对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点。
上述方案中，所述生成所述映射点处的功能指令包括：确定所述映射点处于终端显示屏上映射点区域的时间；基于所确定的时间的大小，生成所述映射点处的功能指令；所述映射点区域包括所述终端显示屏上的映射点的初始位置。
上述方案中，所述基于所确定的时间的大小，生成映射点处的功能指令，包括：
所确定的时间处于第一设定范围时，生成指示点击当前映射点处的指令；所确定的时间处于第二设定范围时，生成指示长按当前映射点处的指令；所确定的时间处于第三设定范围时，生成指示进行滑屏操作的指令；
所述第一设定范围、第二设定范围和第三设定范围两两之间不形成重叠。
上述方案中，所述第一设定范围是从第一时间阈值到第二时间阈值的范围；所述第二设定范围为大于第二时间阈值；所述第三设定范围为小于第一时间阈值；所述第一时间阈值小于第二时间阈值。
上述方案中，所述生成指示进行滑屏操作的指令，包括：获取映射点的移动方向和移动速率，基于所述映射点的移动方向和移动速率，生成指示进行滑屏操作的指令。
上述方案中，所述基于所述映射点的移动方向和移动速率，生成指示进行滑屏操作的指令包括：
将映射点在移动终端显示屏的横向方向的移动速率作为映射点的横向移动速率，将映射点在移动终端显示屏的纵向方向的移动速率作为映射点的纵向移动速率；
所述映射点的横向移动速率大于映射点的纵向移动速率时，生成指示进行横向滑屏操作的指令；或者，所述映射点的横向移动速率大于映射点的纵向移动速率，且映射点的横向移动速率满足第一设定条件时，生成指示进行横向滑屏操作的指令；
所述映射点的纵向移动速率大于映射点的横向移动速率时，生成指示进行纵向滑屏操作的指令；或者，所述映射点的纵向移动速率大于映射点的横向移动速率，且映射点的纵向移动速率满足第二设定条件时，生成指示进行纵向滑屏操作的指令。
上述方案中，所述第一设定条件为：映射点的横向移动速率在第四设定范围内；所述第二设定条件为：映射点的纵向移动速率在第五设定范围内。
上述方案中，所述映射点区域包括所述终端显示屏上的映射点的初始位置；所述映射点区域的面积小于等于设定门限。
上述方案中，所述映射点区域是以映射点的初始位置为圆心的一个圆形区域。
上述方案中，在生成所述映射点处的功能指令前，所述方法还包括：对所述终端的用户的动作连续进行图像采集，得到用户的动作图像；对所述用户的动作图像进行图像识别，得到识别结果；
相应地，所述生成所述映射点处的功能指令包括：基于所述识别结果生成所述映射点处的功能指令。
上述方案中，所述基于所述识别结果生成所述映射点处的功能指令，包括：所述识别结果为眨眼动作、嘴张开动作或嘴闭合动作时，生成指示点击映射点处的指令；所述识别结果为点头动作时，生成指示进行向下滑屏操作的指令；所述识别结果为抬头动作时，生成指示进行向上滑屏操作的指令；所述识别结果为左右摇头动作时，生成指示进行横向滑屏操作的指令。
上述方案中，所述映射点处的功能指令是：指示点击当前映射点处的功能指令、指示长按当前映射点处的功能指令或指示进行滑屏操作的指令。
本发明实施例还提供了一种终端，包括图像采集装置和处理器；其中，
图像采集装置，用于实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值；
处理器，用于对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作。
上述方案中，所述参照物包括人的瞳孔；
所述处理器，还用于实时获取眼睛中心凹的空间位置；所述瞳孔和所述眼睛中心凹位于同一只眼睛；
相应地，所述处理器，具体用于基于所述瞳孔的图像，得出瞳孔中心点的空间位置；基于所述眼睛中心凹和瞳孔中心点的空间位置，将经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点确定为：终端显示屏上与所述参照物形成预设的映射关系的映射点。
上述方案中，所述图像采集装置包括至少一个摄像头；
所述处理器，具体用于在所述参照物的图像中选取至少一点作为参照点；基于每个参照点的图像和每个摄像头的空间位置，确定每个参照点的空间位置；基于每个参照点的空间位置和所述终端显示屏的空间位置，确定每个参照点在终端显示屏上的投影点；基于所述投影点确定与所述参照物形成预设的映射关系的映射点。
上述方案中，所述参照物包括人的一只眼睛；
所述图像采集装置，具体用于实时采集人眼睛中的图像；
所述处理器，具体用于将终端显示屏当前显示内容中与所采集的人眼睛中的图像匹配的区域确定为：屏幕匹配区域；在所述屏幕匹配区域内选取一点作为与所述参照物形成预设的映射关系的映射点。
上述方案中，所述处理器，还用于在对所述参照物的图像进行分析之前，确定终端显示屏与所述参照物的距离；
所述处理器，具体用于在所确定的距离处于设定区间时，对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点。
上述方案中，所述处理器，具体用于确定所述映射点处于设置区域的时间；基于所确定的时间的大小，生成所述映射点处的功能指令。
上述方案中，所述图像采集装置，还用于在生成所述映射点处的功能指令前，对所述终端的用户的动作连续进行图像采集，得到用户的动作图像；
所述处理器，还用于对所述用户的动作图像进行图像识别，得到识别结果；基于所述识别结果生成所述映射点处的功能指令。
本发明实施例提供的一种利用非触屏方式操作终端的方法和终端，实时采集与终端显示屏没有接触的参照物的图像；对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作；如此，可以通过参照物的图像进行分析，得出到终端显示屏上的映射点，进而基于映射点处的功能指令，完成点击、长按、滑屏等操作，实现非触屏方式操作终端；不需要用手指触摸屏幕，仅根据参照物图像就可以操作终端；对于当前存在由终端显示屏尺寸变大导致的手指操作终端不方便的技术问题，本发明能够有效提高人机交互效率，提高了终端的易操作性，并提升了用户体验。
附图说明
图1为本发明实施例利用非触屏方式操作终端的方法的流程图；
图2为本发明实施例参照点在终端显示屏上的投影点的第一示意图；
图3为本发明实施例参照点在终端显示屏上的投影点的第二示意图；
图4为本发明实施例利用非触屏方式操作终端的方法的一个具体实现方案的流程图；
图5为本发明实施例中眼睛的中心凹和瞳孔的示意图
图6为本发明实施例利用双摄像头确定空间一点的位置的原理示意图；
图7为本发明实施例人眼视线与终端显示屏的位置关系示意图；
图8为本发明实施例的终端的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例记载一种利用非触屏方式操作终端的方法，可以应用于终端中，上述终端可以是具有显示屏的固定终端或移动终端；示例性地，显示屏可以不具有触摸响应功能，也可以是具有触摸响应功能的触摸屏；移动终端可以是智能手机、平板电脑或穿戴式设备(如智能眼镜、智能手表等)，还可以是智能汽车、智能家电(如智能冰箱、智能电池、机顶盒等)；智能手机的操作系统可以是安卓操作系统、IOS操作系统或其他任意第三方开发的可以运行于微型计算机结构(至少包括处理器和内存)的操作系统(如移动版Linux系统、黑莓QNX操作系统等)。
上述记载的终端包括图像采集装置，用于采集参照物的图像，这里的参照物可以是位于终端的物体，例如，参照物可以是人眼、鼻子等物体；图像采集装置可以包括至少一个摄像头。
上述记载的终端还包括图像分析装置，用于分析采集到的参照物的图像，在实际实施时，图像分析装置可以是终端上的处理器。
基于上述记载的终端上设置的显示屏、图像采集装置和图像分析装置，提出以下各具体实施例。
实施例一：
图1为本发明实施例利用非触屏方式操作终端的方法的流程图，如图1所示，该流程包括：
步骤101：实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值。
这里，设定值大于0，设定值可以根据实际应用场景进行设置；也就是说，参照物与终端显示屏没有形成接触关系。
这里，参照物的种类不进行限制，例如，参照物可以包括：人的眼睛、鼻子，或者，参照物是与所述终端显示屏的垂直距离最小的物体等等。
可选的，还可以利用至少一个摄像头分别采集所述瞳孔的图像，例如，摄像头的个数为1或2；摄像头可以设置在终端显示屏所在一侧，也就是在终端上设置前摄像头；摄像头也可以设置在终端的背面，也就是在终端上设置后摄像头。
步骤102：对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点。
下面分为三种情况对本步骤的实现方式进行说明。
第一种情况
参照物包括人的瞳孔；在对所述参照物的图像进行分析前，实时获取眼睛中心凹的空间位置；所述瞳孔和所述眼睛中心凹位于同一只眼睛；在步骤101中，利用两个摄像头分别采集所述瞳孔的图像。
相应地，本步骤具体包括：基于所述瞳孔的图像，得出瞳孔中心点的空间位置；基于所述眼睛中心凹和瞳孔中心点的空间位置，将经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点确定为：终端显示屏上与所述参照物形成预设的映射关系的映射点。
在实际实施时，可以利用上述两个摄像头分别采集眼睛中心凹的图像，也可以利用上述两个摄像头分别采集瞳孔中心点的图像；这里，可以采集眼睛的图像，之后利用图像识别或图像匹配技术，得到眼睛的瞳孔的图像，最后根据眼睛的瞳孔的图像确定瞳孔中心点的图像。
这里，所述基于所述瞳孔的图像，得出瞳孔中心点的空间位置，包括：基于所述两个摄像头的空间位置、以及所述两个摄像头所采集的图像，得出瞳孔中心点的空间位置。
可以理解的是，每个摄像头的空间位置可以通过三维空间坐标进行表示，在实际实施时，可以预先设置终端上一点的坐标，之后根据该点与每个摄像头的位置关系，确定每个摄像头的三维空间坐标。
在获得两个摄像头的空间位置、以及两个摄像头所采集的图像后，可以基于双目立体视觉技术来确定瞳孔中心点的空间位置。
可以看出，经过眼睛中心凹和瞳孔中心点的直线实际上代表了人眼的主视线，因此，所确定的映射点为人眼的一条视线与终端显示屏的交点。
第二种情况
在步骤101中，利用至少一个摄像头实时采集参照物的图像，这里，对于参照物的种类不进行限制，例如，参照物为与所述终端显示屏的垂直距离最小的物体，或者，所述参照物位于人体。
相应地，本步骤可以包括：在所述参照物的图像中选取至少一点作为参照点；基于每个参照点的图像和每个摄像头的空间位置，确定每个参照点的空间位置；基于每个参照点的空间位置和所述终端显示屏的空间位置，确定每个参照点在终端显示屏上的投影点；基于所述投影点确定与所述参照物形成预设的映射关系的映射点。
示例性地，所述在所述参照物的图像中选取一点作为参照点，包括：基于所述参照物的图像和每个摄像头的空间位置，确定所述参照物的空间位置；基于所述参照物的空间位置，将所述参照物中与终端显示屏垂直距离最小的一点作为参照点。进一步地，参照点为参照物中与所述终端显示屏的垂直距离最小的点，例如，在参照物为人的鼻子时，参照点为鼻尖；在参照物为与所述终端显示屏的垂直距离最小的物体时，如果与所述终端显示屏的垂直距离最小的物体的人的手指，参照点为手指的指尖。
这里，在摄像头个数为1时，在对所述参照物的图像进行分析前，可以实时获取所述摄像头与所述参照物的距离；基于所述参照点的图像、所述摄像头的空间位置以及所述摄像头与所述参照物的距离，确定所述参照点的空间位置。
在摄像头个数为2时，可以在所述参照物的图像中选取一点作为参照点；基于所述参照点的图像、所述两个摄像头的空间位置，确定所述参照点的空间位置；基于所述参照点的空间位置和所述终端显示屏的空间位置，确定所述参照点在终端显示屏上的投影点；将所述投影点作为终端显示屏上与所述参照物形成预设的映射关系的映射点。
在实际实施时，可以在终端上与摄像头距离不超过第一距离门限的位置设置距离感应装置或距离检测装置，该距离感应装置或距离检测装置用于检测自身与参照物的距离，距离感应装置或距离检测装置可以是终端上设置的位移传感器或接近传感器。这里，可以将检测得到的距离作为摄像头与参照物的距离。
在实际实施时，可以根据终端上每个摄像头的空间位置、以及每个摄像头与终端显示屏的相对位置关系，确定终端显示屏的位置；下面结合附图对每个参照点在终端显示屏上的投影点进行直观说明。
图2为本发明实施例参照点在终端显示屏上的投影点的第一示意图，如图2所示，摄像头a和摄像头b为在终端上设置的两个摄像头，摄像头a和摄像头b所处在的平面与终端显示屏所在平面重合，参照点的坐标可以表示为(X，Y，Z)，参照点在终端显示屏上的投影点为：过参照点与终端显示屏所在平面垂直的直线与终端显示屏的交点。
图3为本发明实施例参照点在终端显示屏上的投影点的第二示意图，如图3所示，感应点a和感应点b均可以是在终端上设置的摄像头，终端显示屏所在平面经过感应点a和感应点b，感应层表示终端显示屏，参照点的坐标可以表示为(X’，Y’，Z’)，参照点在感应层上的投影点为：过参照点与感应层所在平面垂直的直线与感应层的交点。
在确定投影点后，可以将所述投影点作为与所述参照物形成预设的映射关系的映射点；或者，在参照点个数为2时，确定两个参照点在终端显示屏上的投影点，将确定的两个投影点的连线的中点作为与所述参照物形成预设的映射关系的映射点。
在一个具体的实现方式中，所述参照物包括人的两只眼睛；将所述人的两只眼睛的瞳孔中心点分别作为参照点；之后，确定人的两只眼睛的瞳孔中心点在终端显示屏上的投影点，将确定的两个投影点的连线的中点作为与所述参照物形成预设的映射关系的映射点。
第三种情况
参照物为人的一只眼睛；在步骤101中，实时采集人眼睛中的图像。
相应地，本步骤可以包括：将终端显示屏当前显示内容中与所采集的人眼睛中的图像匹配的区域确定为：屏幕匹配区域；在所述屏幕匹配区域内选取一点作为与所述参照物形成预设的映射关系的映射点。
进一步地，在对所述参照物的图像进行分析之前，还可以获取终端显示屏与所述参照物的距离；当所获取的距离处于设定区间时，执行步骤102，否则，如果所获取的距离不处于设定区间时，直接结束流程。
这里，设定区间为用于表示距离的区间，例如，设定区间为[0cm，5cm]，或者为[30cm，50cm]等等。
进一步地，在得出映射点后，还可以在终端显示屏的映射点处显示光标，便于用户观察。
步骤103：生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作。
这里，本步骤生成的映射点处的功能指令可以是：指示点击当前映射点处的功能指令、指示长按当前映射点处的功能指令或指示进行滑屏操作的指令等等。指示进行滑屏操作的指令可以是指示进行纵向滑屏操作的指令或指示进行横向滑屏操作的指令；指示进行纵向滑屏操作的指令可以是指示进行向上滑屏操作的指令或指示进行向下滑屏操作的指令，指示进行横向滑屏操作的指令可以是指示进行向左滑屏操作的指令或指示进行向右滑屏操作的指令。
本步骤中，可以采用以下两种方式生成所述映射点处的功能指令。
第一种方式：确定映射点处于终端显示屏上映射点区域的时间；基于所确定的时间的大小，生成所述映射点处的功能指令；所述映射点区域包括所述终端显示屏上的映射点的初始位置。
在实际实施时，可以由终端的处理器确定映射点处于映射点区域的时间；之后，终端的处理器可以基于所确定的时间的大小，生成映射点处的功能指令。
这里，映射点区域可以是所述终端显示屏上包括映射点的初始位置的一个区域；映射点区域的面积小于等于设定门限，例如，映射点的初始位置为A点，则映射点区域可以是包括A点在内的面积小于设定门限的一个区域，设定门限为0.2cm2、0.3cm2等等；设置区域的边界所呈现的形状可以是圆形、椭圆形、多边形等等。
优选地，映射点区域可以是以映射点的初始位置为圆心的一个圆形区域，例如，映射点区域可以是以映射点的初始位置为圆心，并以设定长度作为半径的一个圆形区域。
示例性地，基于所确定的时间的大小，生成所述映射点处的功能指令，包括：所确定的时间处于第一设定范围时，生成指示点击当前映射点处的指令；所确定的时间处于第二设定范围时，生成指示长按当前映射点处的指令；所确定的时间处于第三设定范围时，生成指示进行滑屏操作的指令；所述第一设定范围、第二设定范围和第三设定范围两两之间不形成重叠，即，所述第一设定范围、第二设定范围和第三设定范围两两之间不存在交集。
例如，第一设定范围表示为区间1，第二设定范围表示为区间2，第三设定范围表示为区间3，区间1、区间2和区间3均用于表征时间的取值范围，每个区间可以是开区间、闭区间或半开半闭区间，但是，区间1、区间2和区间3两两之间不存在交集。
可以看出，由于第一设定范围、第二设定范围和第三设定范围两两之间不形成重叠，说明映射点处于设置区域的时间最多只能处于上述三个设定范围中的一个设定范围内，如此，可以确保最多生成一种功能指令。
在一个优选的实施例中，第一设定范围为[a1、a2]，其中，a1表示第一时间阈值，a2表示第二时间阈值，a1小于a2；第二设定范围为(a2，∞)，第三设定范围为(0，a1)。
例如，第一时间阈值a1为5秒，第二时间阈值a2为10秒；映射点区域为以映射点的初始位置为圆心，并以0.3cm作为半径的一个圆形区域；映射点区域为映射点的初始位置的等同范围；由于参照物的图像可能发生变化，则映射点的位置也会发生相应的变化，如此，可以由终端的处理器记录映射点处于映射点区域的时间，在映射点在映射点区域的持续停留时间大于等于5秒而小于10秒时，才生成指示点击当前映射点处的功能指令；在映射点在映射点区域的持续停留时间大于10秒小于50秒时，生成指示长按当前映射点处的功能指令。
进一步地，若映射点在映射点区域的持续停留时间处于第三设定范围，如映射点在映射点区域的持续停留时间小于5秒，则可以确定映射点发生幅度较大的移动，在这种情况下，生成指示进行滑屏操作的指令；在实际实施时，在视线移动时，终端连续收集映射点的坐标；通过坐标点位置的变化及变化所耗用的时间，分析出映射点的移动方向和移动速率。
在实际实施时，可以在终端显示屏所在平面建立二维直角坐标系，该二维直角坐标系记为屏幕坐标系；将该屏幕坐标系的X轴设置为终端显示屏的横向方向，将该屏幕坐标系的Y轴设置为终端显示屏的纵向方向；另外，还可以将映射点的空间位置以屏幕坐标系的坐标进行表示。屏幕坐标系的X轴正向为水平向右方向，屏幕坐标系的Y轴正向为竖直向上方向。
可以理解的是，根据映射点在屏幕坐标系中的坐标的X值的变化，计算映射点横向移动距离，再根据映射点在屏幕坐标系中的坐标的X值变化所耗用的时间，计算映射点的横向移动速率；这里，横向移动方向为向左或向右；例如，屏幕坐标系的X轴正向为水平向右方向；在1.5秒时间内，若映射点在屏幕坐标系中的坐标的X值由0增加到30，则映射点的横向移动速率为20每秒，横向移动方向为向右；在1.5秒时间内，若映射点在屏幕坐标系中的坐标的X值由15减小到0，则映射点的横向移动速率为10每秒，横向移动方向为向左。
同理，还可以根据映射点在屏幕坐标系中的坐标的Y值的变化，计算映射点纵向移动距离，再根据映射点在屏幕坐标系中的坐标的Y值变化所耗用的时间，计算映射点的纵向移动速率；这里，纵向移动方向为向上或向下；例如，屏幕坐标系的Y轴正向为竖直向上方向；在1秒时间内，若映射点在屏幕坐标系中的坐标的Y值由0增加到18，则映射点的纵向移动速率为18每秒，纵向移动方向为向上；在1秒时间内，若映射点在屏幕坐标系中的坐标的Y值由0减小到-10，则映射点的纵向移动速率为10每秒，纵向移动方向为向下。
在一个具体的实现方式中，若映射点的纵向移动速率大于映射点的横向移动速率，则生成指示进行纵向滑屏操作的指令，即生成指示进行上下滑屏操作的指令；纵向滑屏操作的方向为向上或向下；例如，映射点的纵向移动速率为b1，映射点的横向移动速率为b2，在b1大于b2时，生成指示进行向上滑屏操作的指令，或生成指示进行向下滑屏操作的指令。
若映射点的横向移动速率大于映射点的纵向移动速率，则生成指示进行横向滑屏操作的指令，即生成指示进行左右滑屏操作的指令；横向滑屏操作的方向为向左或向右；例如，映射点的横向移动速率为b3，映射点的纵向移动速率为b4，在b3大于b4时，生成指示进行向左滑屏操作的指令，或生成指示进行向右滑屏操作的指令。
特别地，当映射点的横向移动速率等于映射点的纵向移动速率，可以不生成任何功能指令，也可以生成指示进行纵向滑屏操作的指令或指示进行横向滑屏操作的指令。
在实际实施时，可以利用终端的处理器记录映射点变化的起始点和终结点在屏幕坐标系中的坐标；可以将映射点变化的起始点到终结点的纵向变化方向设为进行滑屏操作的方向，也可以将映射点变化的终结点到起始点的纵向变化方向设为进行滑屏操作的方向；例如，将映射点变化的起始点(映射点的初始位置)在屏幕坐标系中的坐标的Y值记为c1，将映射点变化的终结点在屏幕坐标系中的坐标的Y值记为c2，若c1小于c2，则映射点变化的起始点到终结点的纵向变化方向为：向上的方向，映射点变化的终结点到起始点的纵向变化方向为：向下的方向；此时，可以将向上的方向或向下的方向设为进行滑屏操作的方向。
同样地，还可以将映射点变化的起始点到终结点的横向变化方向设为进行滑屏操作的方向，也可以将映射点变化的终结点到起始点的横向变化方向设为进行滑屏操作的方向；例如，将映射点变化的起始点在屏幕坐标系中的坐标的X值记为d1，将映射点变化的终结点在屏幕坐标系中的坐标的X值记为d2，若d1小于d2，则映射点变化的起始点到终结点的横向变化方向为：向右的方向，映射点变化的终结点到起始点的横向变化方向为：向左的方向；此时，可以将向右的方向或向左的方向设为进行滑屏操作的方向。
在另一个具体的实现方式中，当映射点的横向移动速率大于映射点的纵向移动速率时，并不直接生成指示进行横向滑屏操作的指令，而是继续判断映射点的横向移动速率是否满足第一设定条件；如果映射点的横向移动速率满足第一设定条件，则生成指示进行横向滑屏的指令；如果映射点的横向移动速率不满足第一设定条件，则不生成任何指令。
这里，第一设定条件可以是：映射点的横向移动速率在第四设定范围内，第四设定范围可以是大于v1，也可以是小于v2，也可以是在v3和v4之间，v3不等于v4，v1、v2、v3和v4均可以由终端的用户进行自行设定，也就是说，v1、v2、v3和v4均可以是设定的速率值。
同理，当映射点的纵向移动速率大于映射点的横向移动速率时，并不直接生成指示进行纵向滑屏操作的指令，而是继续判断映射点的纵向移动速率是否满足第二设定条件，如果映射点的纵向移动速率满足第二设定条件，则生成指示进行纵向滑屏的指令；如果映射点的纵向变化速率不满足第一设定条件，则不生成任何指令。
这里，第二设定条件可以是：映射点的纵向移动速率在第五设定范围内，第五设定范围可以是大于v5，也可以是小于v6，也可以是在v7和v8之间，v7不等于v8，v5、v6、v7和v8均可以由终端的用户进行自行设定，也就是说，v5、v6、v7和v8均可以是设定的速率值。
第二种方式：在生成所述映射点处的功能指令前，对所述终端的用户的动作连续进行图像采集，得到用户的动作图像；对所述用户的动作图像进行图像识别，得到识别结果；基于所述识别结果生成所述映射点处的功能指令。
这里，可以利用终端的图像采集装置采集用户的动作图像，之后，利用终端的处理器对所述用户的动作图像进行识别，基于识别结果生成所述映射点处的功能指令；例如，可以使用前摄像头捕捉用户的头部的图像变化，进而采集到用户的动作图像。
示例性地，在所述识别结果为眨眼动作、嘴张开动作或嘴闭合动作时，生成指示点击映射点处的指令；在所述识别结果为点头动作时，生成指示进行向下滑屏操作的指令；在所述识别结果为抬头动作时，生成指示进行向上滑屏操作的指令；在所述识别结果为左右摇头动作时，生成指示进行向左滑屏操作或向右滑屏操作的指令。
在实际实施时，可以利用终端的处理器生成所述映射点的功能指令，之后，终端基于该功能指令自动实现对终端显示屏的操作，也就是说，终端可以基于该功能指令自动实现对终端显示屏的操作，并不需要用户触摸显示屏。
这里，对终端显示屏的操作与功能指令相对应；示例性地，当映射点处的功能指令为指示点击当前映射点处的指令时，可以基于该指令实现对映射点的点击操作；当映射点处的功能指令为长按当前映射点处的指令时，可以基于该指令实现对映射点的长按操作；当映射点处的功能指令为指示进行滑屏操作的指令时，可以基于该指令实现滑屏操作。
在实现对终端显示屏的操作后，可以将操作效果显示在终端显示屏上，例如，在实现对映射点的点击操作时，可以达到打开菜单、退出菜单的效果，当实现对映射点的长按操作时，可以实现长按菜单的效果；在实现滑屏操作时，可以实现翻页处理的效果。
在本发明的利用非触屏方式操作终端的方法的实施例中，可以通过参照物的图像进行分析，得出到终端显示屏上的映射点，进而基于映射点处的功能指令，完成点击、长按、滑屏等操作，实现非触屏方式操作终端；不需要用手指触摸屏幕，仅根据参照物图像就可以操作终端；对于当前存在由终端显示屏尺寸变大导致的手指操作终端不方便的技术问题，本发明能够有效提高人机交互效率，提高了终端的操作性，并提升了用户体验。
实施例二：
为了能更加体现本发明的目的，在本发明实施例一的基础上，进行进一步的举例说明。
图4为本发明实施例利用非触屏方式操作终端的方法的一个具体实现方案的流程图，如图4所示，该流程包括：
步骤401：检测终端是否打开了定位功能，如果没有打开定位功能，则直接结束流程，此时终端无响应，不生成功能指令；如果终端打开了定位功能，则跳至步骤402。
步骤402：检测终端显示屏上方是否有物体，如果终端上方没有物体，则直接结束流程，此时终端无响应，不生成功能指令；如果终端显示屏上方有物体，则跳至步骤403。
这里，可以采用距离检测装置和距离感应装置，在距离检测装置的检测范围和距离感应装置的感应范围内，确定终端显示屏上方是否有物体。
步骤403：检测终端上是否设置有感应空间范围，如果否，则终端计算出参照物在终端屏幕上的映射点的坐标位置，终端根据该映射点的坐标位置、以及映射点的移动方向和移动速率，完成点选、长按、滑屏的命令操作；如果终端上设置有感应空间范围，则跳至步骤404。
本步骤中，感应空间范围与实施例一中的表示距离的设定区间相同。
步骤404：在物体处于感应空间范围时，终端计算参照物在终端屏幕上的映射点的坐标位置，跳至步骤405。
需要说明的是，当物体不处于感应空间范围时，终端无响应。
步骤405：终端根据该映射点的坐标位置、以及映射点的移动方向和移动速率，完成点选、长按、滑屏的命令操作。
实施例三：
为了能更加体现本发明的目的，在本发明实施例一的基础上，进行进一步的举例说明。
在本发明实施例三中，在终端的显示屏所在面配置两个摄像头，这两个摄像头分别标记为摄像头A3和摄像头B3，摄像头A3和摄像头B3的空间位置可以通过三维空间坐标进行表示，其中，摄像头A3的三维空间坐标为(xa3、ya3、za3)，摄像头B3的三维空间坐标为(xb3、yb3、zb3)；在实际实施时，可以预先设置终端上一点的坐标，之后根据该点与每个摄像头的位置关系，确定每个摄像头的三维空间坐标。
这里，可以设置参照物，参照物可以是人的一只眼睛；图5为本发明实施例中眼睛的中心凹和瞳孔的示意图，如图5所示，眼睛中心凹标记为E1，瞳孔中心点标记为E2，眼睛中心凹为人眼的成像最清晰处；过眼睛中心凹E1和瞳孔中心点E2的直线可以是人眼的一个主要视线，可以将该主要视线记为视线L。
这里，可以获取眼睛中心凹和瞳孔中心点的空间位置，所获取的眼睛中心凹E1的空间位置的三维空间坐标为(x1、y1，z1)，所获取的瞳孔中心点E2的空间位置的三维空间坐标为(x2、y2，z2)。
在实际实施时，可以利用上述两个摄像头分别采集眼睛中心凹的图像，也可以利用上述两个摄像头分别采集瞳孔中心点的图像；这里，可以采集眼睛的图像，之后利用图像识别或图像匹配技术，得到眼睛的瞳孔的图像，最后根据眼睛的瞳孔的图像确定瞳孔中心点的图像。
在图像采集完毕后，基于上述两个摄像头所采集的眼睛中心凹的图像以及上述两个摄像头的空间位置，确定眼睛中心凹的空间位置；还可以基于上述两个摄像头所采集的瞳孔中心点的图像以及上述两个摄像头的空间位置，确定瞳孔中心点的空间位置。
这里，在确定眼睛中心凹或瞳孔中心点的空间位置时，可以利用双目立体视觉技术来实现；下面通过图6进行具体说明。
图6为本发明实施例利用双摄像头确定空间一点的位置的原理示意图，如图6所示，两个摄像头分别记为Ol和Or，两个摄像头的焦距均为f，两个摄像头之间的距离为T，这里，以一个摄像头所在位置为原点而建立XYZ三维直角坐标系，其中，X轴方向为两个摄像头的连续方向，Y轴与X轴垂直，Z轴方向与每个摄像头的主光轴(Principal Ray)方向平行；绘制与摄像头Ol的主光轴垂直的左成像平面，摄像头光心到该左成像平面的垂直距离为焦距f，在该左成像平面建立左成像平面坐标系，该左成像平面坐标系的两个坐标轴分别为xl轴和yl轴，xl轴与X轴平行，yl轴与Y轴平行；同理，绘制与摄像头Or的主光轴垂直的右成像平面，摄像头光心到该右成像平面的垂直距离为焦距f，在该右成像平面建立右成像平面坐标系，该右成像平面坐标系的两个坐标轴分别为xl轴和yl轴，xl轴与X轴平行，yl轴与Y轴平行。
结合图6，摄像头Ol的主光轴与左成像平面的交点在左成像平面坐标系表示为(cx1，cy1)，摄像头Or的主光轴与右成像平面的交点在右成像平面坐标系表示为(cx2，cy2)；空间中一点P与摄像头Ol的光心的连线与左成像平面的交点记为Pl，点P与摄像头Or的光心的连线与右成像平面的交点记为Pr；在实际实施时，可以根据两个摄像头的焦距f、两个摄像头之间的距离T、点Pl在左成像平面坐标系的坐标、点Pr在右成像平面坐标系的坐标，并基于双目立体视觉原理得出点P在上述XYZ三维直角坐标系的坐标。
在确定眼睛中心凹和瞳孔中心点的空间位置后，可以基于眼睛中心凹和瞳孔中心点的空间位置，确定经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点；下面通过图7进行示例性的说明。
图7为本发明实施例人眼视线与终端显示屏的位置关系示意图，参照图5和图7，基于眼睛中心凹E1和瞳孔中心点E2的位置，确定出过眼睛中心凹E1和瞳孔中心点E2的视线L；并根据已知的终端显示屏的位置，确定出视线L与终端显示屏的交点O的位置。
这里，可以根据终端上每个摄像头的空间位置、以及每个摄像头与终端显示屏的相对位置关系，确定终端显示屏的位置。
这里，视线L与终端显示屏的交点O是终端显示屏上与所述参照物形成预设的映射关系的映射点；进一步地，在确定视线L与终端显示屏的交点O的位置后，还可以在终端显示屏交点O的位置显示一个指示点，如此，便于直观地展示终端显示屏上与所述参照物形成预设的映射关系的映射点。
在确定终端显示屏上与所述参照物形成预设的映射关系的映射点后，基于映射点生成所述映射点处的功能指令；生成的所述映射点处的功能指令可以用于：指示点击映射点处、指示长按映射点处或指示进行滑屏操作；滑屏操作的方向可以为向上、向下、向左或向右。
本发明实施例三中，生成所述映射点处的功能指令的实现方式、基于所述功能指令实现对终端显示屏的操作的实现方式均已经在本发明第一实施例中进行了说明，这里不再赘述。
实施例四
为了能更加体现本发明的目的，在本发明实施例一的基础上，进行进一步的举例说明。
在本发明实施例四中，参照物可以是人的一只眼睛；在终端显示屏所在面安装摄像头(前摄像头)，利用前摄像头采集人眼睛中的图像，也就是要采集物体在人眼睛中的成像；进一步地，还可以确定所采集的人眼睛中的图像的最清晰点，这里，可以将人眼睛中的图像的中心点确定为最清晰点。
将终端显示屏当前显示内容中与所采集的人眼睛中的图像或参考图像匹配的区域记为：屏幕匹配区域；参考图像为所采集的人眼睛中的图像中包括最清晰点处的一个区域图像，例如，参考图像可以是以最清晰点处为圆心以1cm为半径的一个区域的图像。
在屏幕匹配区域内确定一个点作为终端显示屏上与所述参照物形成预设的映射关系的映射点。例如，在以屏幕匹配区域中心点为圆心并以0.5cm为半径的圆形区域内确定一点作为上述映射点。
进一步地，还可以确定上述映射点在屏幕坐标系的坐标。
本发明实施例四中，生成所述映射点处的功能指令的实现方式、基于所述功能指令实现对终端显示屏的操作的实现方式均已经在本发明实施例一中进行了说明，这里不再赘述。
实施例五
为了能更加体现本发明的目的，在本发明实施例一的基础上，进行进一步的举例说明。
在本发明实施例五中，参照物可以是人的两只眼睛；在终端显示屏所在面安装两个摄像头，这两个摄像头分别记为摄像头A5和摄像头B5，摄像头A5在三维坐标系的坐标为(xa5、ya5、za5)，摄像头B5在三维坐标系的坐标为(xb5、yb5、zb5)；进一步的可以配置摄像头A5和摄像头B5在同一个平面，两个摄像头所形成的平面与终端屏幕保持平行或重合。
每个摄像头可以分别采集两只眼睛的图像，之后利用图像识别或图像匹配技术，得到每只眼睛的瞳孔的图像，最后根据每只眼睛的瞳孔的图像确定每只眼睛的瞳孔中心点的图像；这里，每只眼睛的瞳孔中心点是参照点。
在摄像头A5和摄像头B5均采集到两只眼睛的瞳孔中心点的图像后，可以基于每个摄像头所采集的两只眼睛的瞳孔中心点的图像以及摄像头A5和摄像头B5的空间位置，确定两只眼睛的瞳孔中心点的空间位置；这里，可以将两只眼睛的瞳孔中心点分别记为C5点和D5点；显然，在确定两只眼睛的瞳孔中心点的空间位置后，可以得出每个摄像头到C5点的距离以及每个摄像头到D5点的距离。
这里，确定两只眼睛的瞳孔中心点的空间位置的原理已经在本发明实施例三中作出说明，这里不再赘述。
在确定两只眼睛的瞳孔中心点的空间位置后，终端的处理器可以根据两只眼睛的瞳孔中心点的空间位置、以及终端显示屏的位置，确定两只眼睛的瞳孔中心点在终端显示屏上的投影点，其中，C5点在终端显示屏上的投影点记为E5点，D5点在终端显示屏上的投影点记为F5点，E5点在屏幕坐标系的坐标为(XA5、YA5)，F5点在屏幕坐标系的坐标为(XB5、YB5)。
这里，可以根据终端上摄像头A5和摄像头B5的空间位置、以及摄像头A5和摄像头B5与终端显示屏的相对位置关系，确定终端显示屏的位置。
在确定两只眼睛的瞳孔中心点在终端显示屏上的投影点后，可以确定两只眼睛的瞳孔中心点在终端显示屏上的投影点的连线的中点，将所确定的连线的中点作为：终端显示屏上与参照物形成预设的映射关系的映射点。
在实际实施时，可以根据E5点和F5点在屏幕坐标系的坐标，确定E5点和F5点的连线的中点O5点，这里，O5点为终端显示屏上与参照物形成预设的映射关系的映射点，O5点在屏幕坐标系的坐标记为(XO5，YO5)。
本发明实施例五中，生成所述映射点处的功能指令的实现方式、基于所述功能指令实现对终端显示屏的操作的实现方式均已经在本发明实施例一中进行了说明，这里不再赘述。
实施例六
为了能更加体现本发明的目的，在本发明实施例一的基础上，进行进一步的举例说明。
在本发明实施例五中，在终端上安装有一个前摄像头和一个后摄像头，前摄像头用于实时采集参照物A的图像，后摄像头用于实时采集参照物B的图像；
基于本发明实施例一，对参照物A的图像进行分析前，需要实时获取前摄像头与参照物A的距离；在对参照物B的图像进行分析前，需要实时获取后摄像头与参照物B的距离。
在从参照物A中选取参照点后，可以基于参照点的图像、前摄像头的空间位置以及前摄像头与参照物A的距离，确定参照点的空间位置；同理，在从参照物B中选取参照点后，可以基于参照点的图像、后摄像头的空间位置以及后摄像头与参照物B的距离，确定参照点的空间位置。
例如，从参照物A中选取的参照点表示为点A6，从参照物B中选取的参照点表示为点B6，点A6的空间位置的坐标可以记为(XA6、YA6、ZA6)，点B6的空间位置的坐标可以记为(XB6、YB6、ZB6)。
在确定参照点之后，确定每个参照点在终端显示屏上的投影点的实现方式、基于所述投影点确定与所述参照物形成预设的映射关系的映射点的实现方式，已经在本发明实施例一中作出说明，这里不再赘述。
需要说明的是，终端上可以设置有前摄像头和后摄像头的切换开关，用于选择启动前摄像头或后摄像头，如此，用户可以根据需要选取的参照物与终端的相对位置关系，确定启动前摄像头，还是启动后摄像头。
本发明实施例六中，生成所述映射点处的功能指令的实现方式、基于所述功能指令实现对终端显示屏的操作的实现方式均已经在本发明实施例一中进行了说明，这里不再赘述。
实施例七
在本发明实施例一的基础上，本发明实施例还提出了一种终端。
图8为本发明实施例的终端的结构示意图，如图8所示，该终端800包括：图像采集装置801和处理器802；其中，
图像采集装置801，用于实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值；
处理器802，用于对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作。
具体地，所述参照物包括人的瞳孔；
所述处理器802，还用于实时获取眼睛中心凹的空间位置；所述瞳孔和所述眼睛中心凹位于同一只眼睛；
相应地，所述处理器802，具体用于基于所述瞳孔的图像，得出瞳孔中心点的空间位置；基于所述眼睛中心凹和瞳孔中心点的空间位置，将经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点确定为：终端显示屏上与所述参照物形成预设的映射关系的映射点。
具体地，所述图像采集装置801包括至少一个摄像头；
所述处理器802，具体用于在所述参照物的图像中选取至少一点作为参照点；基于每个参照点的图像和每个摄像头的空间位置，确定每个参照点的空间位置；基于每个参照点的空间位置和所述终端显示屏的空间位置，确定每个参照点在终端显示屏上的投影点；基于所述投影点确定与所述参照物形成预设的映射关系的映射点。
具体地，所述参照物包括人的一只眼睛；
所述图像采集装置801，具体用于实时采集人眼睛中的图像；
所述处理器802，具体用于将终端显示屏当前显示内容中与所采集的人眼睛中的图像匹配的区域确定为：屏幕匹配区域；在所述屏幕匹配区域内选取一点作为与所述参照物形成预设的映射关系的映射点。
进一步地，所述处理器802，还用于在对所述参照物的图像进行分析之前，确定终端显示屏与所述参照物的距离；
所述处理器802，具体用于在所确定的距离处于设定区间时，对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；在确定所获取的距离不处于设定区间时，直接结束流程。
具体地，所述处理器802，用于确定所述映射点处于设置区域的时间；基于所确定的时间的大小，生成所述映射点处的功能指令。
进一步地，所述图像采集装置801，还用于在生成所述映射点处的功能指令前，对所述终端的用户的动作连续进行图像采集，得到用户的动作图像；
所述处理器802，还用于对所述用户的动作图像进行图像识别，得到识别结果；基于所述识别结果生成所述映射点处的功能指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (30)
1.一种利用非触屏方式操作终端的方法，其特征在于，所述方法包括：
实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值；
对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；
生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作。
2.根据权利要求1所述的方法，其特征在于，所述参照物包括人的瞳孔；
相应地，所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：
实时获取眼睛中心凹的空间位置，所述瞳孔和所述眼睛中心凹位于同一只眼睛；基于所述瞳孔的图像，得出瞳孔中心点的空间位置；
基于所述眼睛中心凹和瞳孔中心点的空间位置，将经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点确定为终端显示屏上与所述参照物形成预设的映射关系的映射点。
3.根据权利要求2所述的方法，其特征在于，所述实时采集参照物的图像，包括：利用双摄像头分别采集所述瞳孔的图像；
所述基于所述瞳孔的图像，得出瞳孔中心点的空间位置，包括：基于所述两个摄像头的空间位置、以及所述两个摄像头所采集的图像，得出瞳孔中心点的空间位置。
4.根据权利要求1所述的方法，其特征在于，所述实时采集参照物的图像，包括：利用至少一个摄像头实时采集所述参照物的图像；
相应地，所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：
在所述参照物的图像中选取至少一点作为参照点；
基于每个参照点的图像和每个摄像头的空间位置，确定每个参照点的空间位置；
基于每个参照点的空间位置和所述终端显示屏的空间位置，确定每个参照点在终端显示屏上的投影点；
基于所述投影点确定与所述参照物形成预设的映射关系的映射点。
5.根据权利要求4所述的方法，其特征在于，所述基于所述投影点确定与所述参照物形成预设的映射关系的映射点，包括：将所述投影点作为与所述参照物形成预设的映射关系的映射点。
6.根据权利要求4所述的方法，其特征在于，所述参照点的个数为2个；
所述基于所述投影点确定与所述参照物形成预设的映射关系的映射点，包括：确定两个参照点在终端显示屏上的投影点，将确定的两个投影点的连线的中点作为与所述参照物形成预设的映射关系的映射点。
7.根据权利要求6所述的方法，其特征在于，所述参照物包括人的两只眼睛；
所述在所述参照物的图像中选取至少一点作为参照点，包括：将所述人的两只眼睛的瞳孔中心点分别作为参照点。
8.根据权利要求4所述的方法，其特征在于，所述在所述参照物的图像中选取至少一点作为参照点，包括：
基于所述参照物的图像和每个摄像头的空间位置，确定所述参照物的空间位置；
基于所述参照物的空间位置，将所述参照物中与终端显示屏垂直距离最小的一点作为参照点。
9.根据权利要求4所述的方法，其特征在于，所述实时采集参照物的图像，包括：利用一个摄像头实时采集所述参照物的图像；
在对所述参照物的图像进行分析前，所述方法还包括：实时获取所述摄像头与所述参照物的距离；
相应地，所述基于所述参照点的图像和每个摄像头的空间位置，确定所述参照点的空间位置，包括：
基于所述参照点的图像、所述摄像头的空间位置以及所述摄像头与所述参照物的距离，确定所述参照点的空间位置。
10.根据权利要求4所述的方法，其特征在于，所述参照物为与所述终端显示屏的垂直距离最小的物体，或者，所述参照物位于人体。
11.根据权利要求1所述的方法，其特征在于，所述参照物包括人的一只眼睛；所述实时采集参照物的图像，包括：实时采集人眼睛中的图像；
所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：将终端显示屏当前显示内容中与所采集的人眼睛中的图像匹配的区域确定为：屏幕匹配区域；在所述屏幕匹配区域内选取一点作为与所述参照物形成预设的映射关系的映射点。
12.根据权利要求1所述的方法，其特征在于，在对所述参照物的图像进行分析之前，所述方法还包括：确定终端显示屏与所述参照物的距离；
所述对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点，包括：所确定的距离处于设定区间时，对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点。
13.根据权利要求1所述的方法，其特征在于，所述生成所述映射点处的功能指令包括：确定所述映射点处于终端显示屏上映射点区域的时间；基于所确定的时间的大小，生成所述映射点处的功能指令；所述映射点区域包括所述终端显示屏上的映射点的初始位置。
14.根据权利要求13所述的方法，其特征在于，所述基于所确定的时间的大小，生成映射点处的功能指令，包括：
所确定的时间处于第一设定范围时，生成指示点击当前映射点处的指令；所确定的时间处于第二设定范围时，生成指示长按当前映射点处的指令；所确定的时间处于第三设定范围时，生成指示进行滑屏操作的指令；
所述第一设定范围、第二设定范围和第三设定范围两两之间不形成重叠。
15.根据权利要求14所述的方法，其特征在于，所述第一设定范围是从第一时间阈值到第二时间阈值的范围；所述第二设定范围为大于第二时间阈值；所述第三设定范围为小于第一时间阈值；所述第一时间阈值小于第二时间阈值。
16.根据权利要求14所述的方法，其特征在于，所述生成指示进行滑屏操作的指令，包括：获取映射点的移动方向和移动速率，基于所述映射点的移动方向和移动速率，生成指示进行滑屏操作的指令。
17.根据权利要求16所述的方法，其特征在于，所述基于所述映射点的移动方向和移动速率，生成指示进行滑屏操作的指令包括：
将映射点在移动终端显示屏的横向方向的移动速率作为映射点的横向移动速率，将映射点在移动终端显示屏的纵向方向的移动速率作为映射点的纵向移动速率；
所述映射点的横向移动速率大于映射点的纵向移动速率时，生成指示进行横向滑屏操作的指令；或者，所述映射点的横向移动速率大于映射点的纵向移动速率，且映射点的横向移动速率满足第一设定条件时，生成指示进行横向滑屏操作的指令；
所述映射点的纵向移动速率大于映射点的横向移动速率时，生成指示进行纵向滑屏操作的指令；或者，所述映射点的纵向移动速率大于映射点的横向移动速率，且映射点的纵向移动速率满足第二设定条件时，生成指示进行纵向滑屏操作的指令。
18.根据权利要求17所述的方法，其特征在于，所述第一设定条件为：映射点的横向移动速率在第四设定范围内；所述第二设定条件为：映射点的纵向移动速率在第五设定范围内。
19.根据权利要求13所述的方法，其特征在于，所述映射点区域包括所述终端显示屏上的映射点的初始位置；所述映射点区域的面积小于等于设定门限。
20.根据权利要求19所述的方法，其特征在于，所述映射点区域是以映射点的初始位置为圆心的一个圆形区域。
21.根据权利要求1所述的方法，其特征在于，在生成所述映射点处的功能指令前，所述方法还包括：对所述终端的用户的动作连续进行图像采集，得到用户的动作图像；对所述用户的动作图像进行图像识别，得到识别结果；
相应地，所述生成所述映射点处的功能指令包括：基于所述识别结果生成所述映射点处的功能指令。
22.根据权利要求21所述的方法，其特征在于，所述基于所述识别结果生成所述映射点处的功能指令，包括：所述识别结果为眨眼动作、嘴张开动作或嘴闭合动作时，生成指示点击映射点处的指令；所述识别结果为点头动作时，生成指示进行向下滑屏操作的指令；所述识别结果为抬头动作时，生成指示进行向上滑屏操作的指令；所述识别结果为左右摇头动作时，生成指示进行横向滑屏操作的指令。
23.根据权利要求1所述的方法，其特征在于，所述映射点处的功能指令是：指示点击当前映射点处的功能指令、指示长按当前映射点处的功能指令或指示进行滑屏操作的指令。
24.一种终端，其特征在于，包括图像采集装置和处理器；其中，
图像采集装置，用于实时采集参照物的图像，所述参照物与终端显示屏的距离超过设定值；
处理器，用于对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点；生成所述映射点处的功能指令，基于所述功能指令实现对终端显示屏的操作。
25.根据权利要求24所述的终端，其特征在于，所述参照物包括人的瞳孔；
所述处理器，还用于实时获取眼睛中心凹的空间位置；所述瞳孔和所述眼睛中心凹位于同一只眼睛；
相应地，所述处理器，具体用于基于所述瞳孔的图像，得出瞳孔中心点的空间位置；基于所述眼睛中心凹和瞳孔中心点的空间位置，将经过眼睛中心凹和瞳孔中心点的直线与终端显示屏的交点确定为：终端显示屏上与所述参照物形成预设的映射关系的映射点。
26.根据权利要求24所述的终端，其特征在于，所述图像采集装置包括至少一个摄像头；
所述处理器，具体用于在所述参照物的图像中选取至少一点作为参照点；基于每个参照点的图像和每个摄像头的空间位置，确定每个参照点的空间位置；基于每个参照点的空间位置和所述终端显示屏的空间位置，确定每个参照点在终端显示屏上的投影点；基于所述投影点确定与所述参照物形成预设的映射关系的映射点。
27.根据权利要求24所述的终端，其特征在于，所述参照物包括人的一只眼睛；
所述图像采集装置，具体用于实时采集人眼睛中的图像；
所述处理器，具体用于将终端显示屏当前显示内容中与所采集的人眼睛中的图像匹配的区域确定为：屏幕匹配区域；在所述屏幕匹配区域内选取一点作为与所述参照物形成预设的映射关系的映射点。
28.根据权利要求24所述的终端，其特征在于，所述处理器，还用于在对所述参照物的图像进行分析之前，确定终端显示屏与所述参照物的距离；
所述处理器，具体用于在所确定的距离处于设定区间时，对所述参照物的图像进行分析，得出终端显示屏上与所述参照物形成预设的映射关系的映射点。
29.根据权利要求24所述的终端，其特征在于，所述处理器，具体用于确定所述映射点处于设置区域的时间；基于所确定的时间的大小，生成所述映射点处的功能指令。
30.根据权利要求24所述的终端，其特征在于，所述图像采集装置，还用于在生成所述映射点处的功能指令前，对所述终端的用户的动作连续进行图像采集，得到用户的动作图像；
所述处理器，还用于对所述用户的动作图像进行图像识别，得到识别结果；基于所述识别结果生成所述映射点处的功能指令。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610959809.6A CN108008811A (zh) | 2016-10-27 | 2016-10-27 | 一种利用非触屏方式操作终端的方法和终端 |
| PCT/CN2017/078581 WO2018076609A1 (zh) | 2016-10-27 | 2017-03-29 | 一种操作终端的方法和终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610959809.6A CN108008811A (zh) | 2016-10-27 | 2016-10-27 | 一种利用非触屏方式操作终端的方法和终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108008811A true CN108008811A (zh) | 2018-05-08 |
Family
ID=62024412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610959809.6A Pending CN108008811A (zh) | 2016-10-27 | 2016-10-27 | 一种利用非触屏方式操作终端的方法和终端 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108008811A (zh) |
| WO (1) | WO2018076609A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111752381A (zh) * | 2019-05-23 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 人机交互方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625210B (zh) * | 2019-02-27 | 2023-08-04 | 杭州海康威视系统技术有限公司 | 一种大屏控制方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441513A (zh) * | 2008-11-26 | 2009-05-27 | 北京科技大学 | 一种利用视觉进行非接触式人机交互的系统 |
| CN101901485A (zh) * | 2010-08-11 | 2010-12-01 | 华中科技大学 | 3d自由头动式视线跟踪系统 |
| CN102662473A (zh) * | 2012-04-16 | 2012-09-12 | 广东步步高电子工业有限公司 | 基于眼部动作识别来实现人机信息交互的装置及方法 |
| CN104471511A (zh) * | 2012-03-13 | 2015-03-25 | 视力移动技术有限公司 | 无触摸用户接口 |
-
2016
- 2016-10-27 CN CN201610959809.6A patent/CN108008811A/zh active Pending
-
2017
- 2017-03-29 WO PCT/CN2017/078581 patent/WO2018076609A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441513A (zh) * | 2008-11-26 | 2009-05-27 | 北京科技大学 | 一种利用视觉进行非接触式人机交互的系统 |
| CN101901485A (zh) * | 2010-08-11 | 2010-12-01 | 华中科技大学 | 3d自由头动式视线跟踪系统 |
| CN104471511A (zh) * | 2012-03-13 | 2015-03-25 | 视力移动技术有限公司 | 无触摸用户接口 |
| CN102662473A (zh) * | 2012-04-16 | 2012-09-12 | 广东步步高电子工业有限公司 | 基于眼部动作识别来实现人机信息交互的装置及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111752381A (zh) * | 2019-05-23 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 人机交互方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018076609A1 (zh) | 2018-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
| CN102662577B (zh) | 一种基于三维显示的光标操作方法及移动终端 | |
| CN106873778B (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
| US9651782B2 (en) | Wearable tracking device | |
| CN106846403B (zh) | 一种三维空间中手部定位的方法、装置及智能设备 | |
| KR102160236B1 (ko) | 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치 | |
| KR102517425B1 (ko) | 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 | |
| CN102473041B (zh) | 图像识别装置、操作判断方法以及程序 | |
| CN107390863B (zh) | 设备的控制方法及装置、电子设备、存储介质 | |
| CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
| CN106708270B (zh) | 一种虚拟现实设备的显示方法、装置以及虚拟现实设备 | |
| KR20120068253A (ko) | 사용자 인터페이스의 반응 제공 방법 및 장치 | |
| CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
| CN104813258A (zh) | 数据输入装置 | |
| WO2020080107A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JPWO2014141504A1 (ja) | ３次元ユーザインタフェース装置及び３次元操作処理方法 | |
| WO2013149475A1 (zh) | 一种用户界面的控制方法及装置 | |
| US20160232708A1 (en) | Intuitive interaction apparatus and method | |
| CN104298340A (zh) | 控制方法和电子设备 | |
| WO2012142869A1 (zh) | 自动调节终端界面显示的方法及装置 | |
| US11520409B2 (en) | Head mounted display device and operating method thereof | |
| WO2023227072A1 (zh) | 在虚拟现实场景中确定虚拟光标方法、装置、设备和介质 | |
| WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| JP5964603B2 (ja) | データ入力装置、及び表示装置 | |
| WO2019085519A1 (zh) | 面部跟踪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180508 |
|
| WD01 | Invention patent application deemed withdrawn after publication |