CN117311584A - 头戴显示设备的控制系统、智能终端及头戴显示设备 - Google Patents

Abstract

本申请公开了一种头戴显示设备的控制系统，属于显示技术领域。该头戴显示设备的控制系统包括头戴显示设备和智能终端，所述智能终端包括触控显示面板，所述智能终端具有显示模式和触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭；在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，所述智能终端接收对所述触控显示面板的第一触控操作；所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制。本申请还提供一种智能终端和头戴显示设备。

Description

头戴显示设备的控制系统、智能终端及头戴显示设备

技术领域

本申请属于显示技术领域，具体涉及一种头戴显示设备的控制系统、智能终端及头戴显示设备。

背景技术

用户在使用头戴显示设备的过程中，在对戴显示设备所显示的交互对象进行操作控制时，可以在头戴显示设备中输入控制操作，头戴显示设备在接收到用户输入的控制操作后，可以对所显示的交互对象进行相应的操作控制。目前，用户在头戴显示设备中输入控制操作时，常用的输入方式包括手柄射线、裸手射线、裸手与交互对象直接交互、眼动选择和手势确认相结合、头控选取自动确认等。然而，在实际的应用场景中，这些输入方式的操作灵活度不够高，且具有一定的局限性。

发明内容

本申请实施例的目的是提供一种头戴显示设备的控制系统、智能终端及头戴显示设备，能够解决用户在对头戴显示设备所显示的交互对象进行操作控制时，目前的输入方式灵活度不高，且具有局限性的问题。

第一方面，本申请实施例提供了一种头戴显示设备的控制系统，包括头戴显示设备和智能终端，所述智能终端包括触控显示面板，所述智能终端具有显示模式和触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭；

在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，所述智能终端接收对所述触控显示面板的第一触控操作；所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制。

第二方面，本申请实施例提供了一种智能终端，包括触控显示面板，所述智能终端具有显示模式和触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭；

在头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，所述智能终端接收对所述触控显示面板的第一触控操作，所述第一触控操作用于所述头戴显示设备对所述头戴显示设备所显示的交互对象进行相应的操作控制。

第三方面，本申请实施例提供了一种头戴显示设备，在所述头戴显示设备与智能终端建立连接，且所述智能终端处于触控模式的情况下，所述头戴显示设备根据第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制；

所述第一触控操作为所述智能终端接收到的对所述智能终端的触控显示面板的触控操作，所述智能终端具有显示模式和所述触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭。

在本申请实施例中，可以将智能终端作为头戴显示设备的输入设备，智能终端包括显示触控面板，且智能终端具有显示模式和触控模式，在智能终端与头戴显示设备建立连接且智能终端处于触控模式的情况下，用户可以通过智能终端的触控显示面板输入第一触控操作，头戴显示设备可以根据第一触控操作对其显示的交互对象进行相应的操作控制。这样，由于用户可以通过智能终端的触控显示面板输入触控操作进而对头戴显示设备所显示的交互对象进行操作控制，因此操作灵活度较高，相较于传统的输入方式，通过智能终端输入控制操作的方式能够实时、准确地将用户的操作意图反馈给头戴显示设备，不易受外界因素的影响，因此交互精度和交互效率较高，局限性较小。此外，由于智能终端具有显示模式和触控模式共两个工作模式，在显示模式下，智能终端用于提供显示功能以便用户正常使用智能终端，在触控模式下，智能终端用于作为头戴显示设备的输入设备，因此，可以方便用户灵活地进行模式切换，以使智能终端工作在不同的模式下，从而满足用户的使用需求，进一步的，由于智能终端在从显示模式切换为触控模式的过程中，智能终端的触控显示面板的亮度会降低或直接关闭显示功能，因此，还可以在智能终端作为头戴显示设备的输入设备的情况下，有效降低终端功耗。

附图说明

图1是根据本申请实施例的头戴显示设备的控制系统的结构示意图；

图2是根据本申请实施例的头戴显示设备利用眼动技术选择窗口的示意图；

图3是根据本申请实施例的头戴显示设备建立窗口与智能终端的触控区域之间的位置映射关系的示意图；

图4是根据本申请实施例的头戴显示设备显示位置提示信息的示意图；

图5是根据本申请实施例的头戴显示设备切换映射方式的示意图；

图6是根据本申请实施例的头戴显示设备将窗口划分为多个区域的示意图；

图7为实现本申请实施例的一种智能终端的硬件结构示意图。

具体实施方式

目前，用户在头戴显示设备中输入控制操作时，常用的输入方式包括手柄射线、裸手射线、裸手与交互对象直接交互，眼动选择和手势确认相结合、头控选取自动确认等。然而，在实际的应用场景中，这些输入方式的操作灵活度不够高，且具有一定的局限性。比如，手柄射线的体积大，不便携带，且在用户对手柄上的按键或扳机进行操作时，常会出现抖动的现象，会影响操作效率。裸手射线的手势操作会出现抖动、不稳定的问题，影响操作精度，在近场交互的场景下，手势确定的方式不符合用户直觉，效率较低，且无触觉反馈，此外，用户的手臂需要再头戴显示设备的摄像头捕捉范围内，这就意味着用户的手臂需要长期悬空，很容易造成疲劳。裸手与交互对象直接交互的方式虽然可以对近场物体直接进行操作控制，但是同样需要用户在头戴显示设备的摄像头捕捉范围内操作，易造成疲劳，且无触觉反馈，手势识别的精确性也较低，相应的，操作效率也较低。眼动选择和手势确认相结合的方式可以实现快速输入，但是由于眼神容易飘动，因此容易造成误操作，且不易对小面积的交互对象进行操作控制，精度较低。头控选取自动确认的方式虽然不需要手柄和双手进行操作，但是，在每次进行头控选取后，都需要等待一定的时间才会确认，导致无法快速响应，输入效率较低。

本申请实施例提供一种头戴显示设备的控制系统、智能终端及头戴显示设备，可以将智能终端作为头戴显示设备的输入设备，即用户可以通过智能终端的触控显示面板输入触控操作来对头戴显示设备显示的交互对象进行操作控制，可以克服上述传统的输入方式存在的一项或多项缺陷。具体而言，由于智能终端的体积较小，便于携带，因此可以提高便捷性；在对智能终端执行触控操作时，不易出现抖动的现象，因此可以提高交互精准度；不再利用头戴显示设备的摄像头捕捉手部姿势的方式进行主要的输入行为，而是改用将智能终端的触控操作实时反馈到头戴显示设备，因此可以提高交互精准度和交互效率；不再主要依靠头戴显示设备的摄像头捕捉手部姿势，用手操作智能终端可以无需在摄像头捕捉的范围内进行，降低近场裸手交互的疲劳度(近场裸手交互需要利用头戴显示设备的摄像头捕捉手部的位置和姿态，意味着手部要经常悬空操作，会增加手臂或手部的疲劳度)；可以利用智能终端的触控显示面板，实现真实的触摸反馈。

此外，本申请实施例中的智能终端具有显示模式和触控模式，可以方便用户灵活地进行模式切换，以使智能终端工作在不同的模式下，从而满足用户的使用需求，且，在将智能终端的工作模式从显示模式切换为触控模式的过程中，智能终端的触控显示面板的亮度会降低或直接关闭显示功能，因此可以有效降低终端功耗。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的头戴显示设备的控制系统、智能终端及头戴显示设备进行详细地说明。

图1是根据本申请实施例的头戴显示设备的控制系统的结构示意图。

图1所示的控制系统10包括头戴显示设备11和智能终端12。智能终端12包括触控显示面板，触控显示面板用于接收用户的触控操作。智能终端12具有显示模式和触控模式，在显示模式下，智能终端12用于提供显示功能以便用户可以正常的使用智能终端提供的各项服务(比如使用智能终端接听电话、浏览网页或观看视频等)，在触控模式下，智能终端12用于作为头戴显示设备11的输入设备以便用户可以通过智能终端12输入对头戴显示设备11所显示的交互对象的控制操作。

本申请实施例中，在头戴显示设备11与智能终端12建立连接，且智能终端12处于触控模式的情况下，用户可以对智能终端12的触控显示面板执行第一触控操作，智能终端12在接收到对触控显示面板的第一触控操作的情况下，头戴显示设备11可以根据该第一触控操作对头戴显示设备11所显示的交互对象进行相应的操作控制。需要说明的是，在智能终端的触控模式下，智能终端的触控显示面板上并不会显示头戴显示设备的显示界面，而是作为输入设备接收用户的触控操作，并将控制操作或控制指令反馈给头戴显示设备，由头戴显示设备对所显示的交互对象进行控制。

这样，由于用户可以通过智能终端的触控显示面板输入触控操作进而对头戴显示设备所显示的交互对象进行操作控制，因此操作灵活度较高，相较于传统的输入方式，通过智能终端输入控制操作的方式能够实时、准确地将用户的操作意图反馈给头戴显示设备，不易受外界因素的影响，因此交互精度和交互效率较高，局限性较小。

在智能终端从显示模式切换为触控模式的过程中，智能终端的触控显示面板的亮度会降低或显示功能关闭，即智能终端在触控模式下，屏幕的显示亮度要低于显示模式下屏幕的显示亮度，或屏幕的显示功能是关闭的，这样，可以在智能终端作为头戴显示设备的输入设备的情况下，能够有效降低智能终端的功耗，避免在不使用智能终端的显示功能的情况下，智能终端仍处于高亮度状态或亮屏状态导致的不必要的耗能问题。相应的，在智能终端从触控模式切换为显示模式的过程中，智能终端的触控显示面板的亮度会增加或开启显示功能，即智能终端在显示模式下，屏幕的显示亮度要高于显示模式下屏幕的显示亮度，或屏幕的显示功能是开启的，这样，可以便于用户在高亮度状态下或亮屏状态下正常使用智能终端。

由于智能终端具有显示模式和触控模式共两个工作模式，因此，用户可以灵活地根据自己的实际使用需求对智能终端的工作模式进行切换，比如，在用户需要正常使用智能终端的情况下，可以将智能终端的工作模式切换为显示模式，在需要使用智能终端控制头戴显示设备的情况下，可以将智能终端的工作模式切换为触控模式，由此，可以灵活地控制智能终端工作在不同的模式下，从而满足用户的使用需求。

上述的第一触控操作可以是单击、双击、滑动或拖动等操作。交互对象可以是2D对象或3D对象。对交互对象的操作控制可以是对交互对象进行选择、旋转、缩放、复制粘贴、单击、双击、滑动、拖动等操作等，这里都不做具体限定。这样，可以通过不同的第一触控操作对交互对象进行不同的操作控制，灵活性更高，能够满足用户的不同控制需求。

头戴显示设备在与智能终端建立连接时，可选地，在一种可能得实现方式，可以通过以下方式实现：

头戴显示设备通过摄像装置获取指定空间内的物体信息，根据物体信息识别指定空间内是否存在智能终端；

在指定空间内存在智能终端的情况下，头戴显示设备与智能终端建立连接。

摄像装置可以是头戴显示设备自带的摄像装置，也可以是与头戴显示设备建立连接并能够与头戴显示设备交互信息的摄像装置，这里不做具体限定。指定空间可以是与头戴显示设备之间的距离为设定距离内的空间，具体可以根据实际需求进行设置，这里也不做具体限定。

在需要通过智能终端对头戴显示设备所显示的交互对象进行操作控制的情况下，用户或头戴显示设备可以控制摄像装置对指定空间内的物体进行图像采集。在采集得到指定空间内的物体信息后，摄像装置可以将物体信息发送给头戴显示设备，由此，头戴显示设备可以通过摄像装置获取到指定空间内的物体信息。在获取到物体信息后，头戴显示设备可以对物体信息进行识别，确定该指定空间内是否存在智能终端，若存在，则可以建立与智能终端之间的连接，若不存在，则可以向用户进行提示，由用户对智能终端的空间位置进行调整，然后再由头戴显示设备通过摄像装置获取指定空间的物体信息并再次进行识别，直至识别到指定空间存在智能终端为止。其中，在根据物体信息识别指定空间内是否存在智能终端时，可以采用相关技术中已有的物体识别模型或算法实现，这里不再详细说明。

可选地，若摄像装置为头戴显示设备自带的装置，则在通过摄像装置进行图像采集之前，用户可以带上头戴显示设备，然后在MR模式下(VST(Video See Through)功能开启)由头戴显示设备的摄像装置对指定空间内的物体进行图像采集。可选地，为了便于快速识别到智能终端，在进行图像采集之前，用户还可以预先对智能终端的空间位置进行调整，以便将智能终端置于指定空间内，方便摄像装置拍摄到智能终端。

需要说明的是，在其他可能的实现方式中，头戴显示设备也可以通过其他方式与智能终端之间建立连接。比如，可以借助于眼动选择的方式实现，具体地，当头戴显示设备根据眼动信息确定用户的眼睛注视智能终端的时长超过一定时长(可以根据实际需求进行设置)时，可以建立与智能终端之间的连接。再比如，可以借助于用户手势实现，具体地，当智能终端位于头戴显示设备的指定方位且头戴显示设备捕捉到用户的指定手势(可以根据实际需求进行设置)的情况下，头戴显示设备可以建立与智能终端之间的连接。这里不再对其他可能的实现方式进行一一举例说明。

头戴显示设备在与智能终端建立连接时，为了提高安全性，可以与智能终端之间进行交互，并在头戴显示设备和智能终端均确认可以建立连接的情况下再执行建立连接的步骤。可选地，在一种实现方式中，头戴显示设备和智能终端可以通过以下步骤进行交互并建立连接：

头戴显示设备显示第一提示信息，第一提示信息用于提示是否建立头戴显示设备和智能终端之间的信任关系；在接收到第一确认信息的情况下，向智能终端发送第二提示信息，第一确认信息用于确认建立头戴显示设备和智能终端之间的信任关系，第二提示信息用于提示是否建立与头戴显示设备之间的连接；

智能终端接收第二确认信息，将第二确认信息发送给头戴显示设备，第二确认信息用于确认与头戴显示设备建立连接；

头戴显示设备根据第二确认信息与智能终端建立连接。

第一提示信息可以是文本提示或对话框提示等。头戴显示设备在发现待连接的智能终端后，可以在头戴显示设备的显示面板上显示第一提示信息。对于用户而言，在头戴显示设备显示第一提示信息后，若确认建立头戴显示设备和智能终端之间的信任关系，则可以在头戴显示设备中输入第一确认信息。第一确认信息的输入方式可以包括多种，比如可以是手势确认、眼动确认等，这里不做具体限定。头戴显示设备在接收到第一确认信息后，可以建立与智能终端之间的信任关系，即将智能终端列入可信设备的范围内。之后，头戴显示设备可以向智能终端发送第二提示信息，以提示智能终端是否建立与头戴显示设备之间的连接。

第二提示信息可以是文本提示、对话框提示或语音提示等。智能终端在接收到第二提示信息后，可以由用户确认是否建立与头戴显示设备之间的连接，或者，也可以由智能终端根据智能终端当前的使用状态自动确认是否建立与头戴显示设备之间的连接。比如，若智能终端当前是空闲状态，则可以自动确认建立与头戴显示设备之间的连接，再比如，若智能终端终端当前是视频播放的状态，则可以默认不建立与头戴显示设备之间的连接或由用户决定是否建立与头戴显示设备之间的连接。

在确认建立与头戴显示设备之间的连接的情况下，智能终端可以接收第二确认信息。第二确认信息可以由用户输入(由用户确认是否建立连接的情况)，或者也可以由智能终端生成(由智能终端确认是否建立连接的情况)。第二确认信息可以是文本信息或语音信息等。智能终端在接收到第二确认信息后，可以将第二确认信息发送给头戴显示设备。头戴显示设备在接收到第二确认信息后，可以确认终端设备已同意建立连接，此时头戴显示设备可以建立与智能终端之间的连接(有线连接或无线连接等)。

需要说明的是，头戴显示设备在首次与智能终端建立连接时，为了提高安全性，可以通过上述记载的方法建立与智能终端之间的连接。之后，当头戴显示设备再次与智能终端建立连接时，由于首次建立连接时，已建立了头戴显示设备和智能终端之间的信任关系，因此，可以无需再与智能终端之间进行交互，直接建立与智能终端之间的连接即可，这样，可以简化流程，同时还可以实现静默连接，避免打扰用户。

上述头戴显示设备与智能终端建立连接的过程也可以称为头戴显示设备与智能终端的配对过程，在其他可能的实现方式中，也可以通过其他方式将头戴显示设备与智能终端进行配对，比如，头戴显示设备在发现待连接的智能终端后，可以提示智能终端其当前位于指定空间内，可以与头戴显示设备建立连接，然后由智能终端主动向头戴显示设备发起连接请求，头戴显示设备在接收到用户的确认信息的情况下，可以响应连接请求并建立与智能终端之间的连接，同时建立与智能终端之间的信任关系。这里不再对其他可能的实现方式进行一一举例说明。

可选地，在头戴显示设备与智能终端建立连接后，智能终端可以在状态栏或通知栏中显示提示图标(也可以是其他提示方式)，以提示用户该智能终端已与头戴显示设备建立连接，可以通过智能终端对头戴显示设备所显示的交互对象进行控制。

本申请实施例中，由于在通过智能终端对头戴显示设备所显示的交互对象进行控制时，智能终端需要处于触控模式，因此，在头戴显示设备与智能终端建立连接后，还需要激活智能终端的触控模式。可选地，在一种实现方式中，可以由智能终端自动激活触控模式。比如，在智能终端检测到已与头戴显示设备建立连接的情况下，可以自动将工作模式由显示模式切换为触控模式。可选地，在另一种实现方式中，考虑到在建立智能终端与头戴显示设备之间的连接后，用户可能还需要正常使用智能终端(比如拨打电话或发送聊天信息等)，在这种情况下，若智能终端自动激活触控模式，则可能打扰到用户(因为智能终端在触控模式下会降低屏幕亮度或关闭显示功能，同时，用户的触控操作是对头戴显示设备所显示的交互对象进行控制，并非是对智能终端中显示的内容进行控制，这样用户就无法正常使用智能终端了)，因此，可以由用户决定是否激活智能终端的触控模式，即在需要对头戴显示设备所显示的交互对象进行控制时，用户可以激活智能终端的触控模式，在不需要对头戴显示设备所显示的交互对象进行控制时，用户可以不激活智能终端的触控模式，这样，可以避免在用户不需要控制头戴显示设备时智能终端自动激活触控模式导致的用户无法正常使用智能终端的问题。

在由用户手动激活智能终端的触控模式的情况下，可选地，可以通过以下方式实现：

头戴显示设备接收用于激活触控模式的激活确认信息，并将激活确认信息发送给智能终端；

智能终端根据激活确认信息激活触控模式。

用户在需要激活触控模式时，可以向头戴显示设备发送用于激活触控模式的激活确认信息。比如，可以在头戴显示设备中增设用于激活触控模式的激活按钮或快捷方式，用户在需要激活触控模式时，可以通过激活按钮或快捷方式向头戴显示设备发送激活确认信息。当然，用户可以通过其他方式向头戴显示设备输入激活确认信息，这里不做具体限定。头戴显示设备在接收到激活确认信息后，可以向智能终端发送该激活确认信息。智能终端在接收到激活确认信息后，可以自动激活触控模式。

可选地，用户在激活触控模式时，还可以在智能终端中进行激活。比如，智能终端的设置功能或状态栏中可以增设用于激活触控模式的选项或开关，在用户需要激活触控模式时，可以在设置功能或状态栏中通过相应的选项或开关触发激活触控模式。

当然，在其他可能的实现方式中，用户可以通过其他方式激活智能终端的触控模式，这里不再一一举例说明。

用户在激活智能终端的触控模式后，智能终端的触控显示面板的亮度将会降低或关闭显示功能，此时用户可以对智能终端的显示面板执行第一触控操作，智能终端在接收到第一触控操作的情况下，头戴显示设备可以根据第一触控操作对所显示的交互对象进行控制。

以下将以几个更为具体的实现方式详细说明头戴显示设备如何根据第一触控操作对所显示的交互对象进行操作控制。

实施例1

在本实施例中，第一触控操作可以是对交互对象的选择操作，头戴显示设备根据第一触控操作对所显示的交互对象进行操作控制，可以是根据第一触控操作从所显示的多个第一对象中选择一个对象作为交互对象。在这种情况下，对应的场景可以是，头戴显示设备先根据眼动或手柄射线等方式从显示界面中显示的多个对象中选择多个第一对象，在需要从多个第一对象中进一步选择一个对象作为交互对象时，用户可以通过智能终端输入第一触控操作，以便根据该第一触控操作从多个第一对象中选择一个对象作为交互对象。其中，多个第一对象可以是2D对象，也可以是3D对象，或者，也可以既包括2D对象也包括3D对象，这里不做具体限定。

以多个第一对象通过眼动方式选择为例，上述的头戴显示设备根据第一触控操作从多个对象中选择交互对象的具体实现方式如下：

在智能终端接收对触控显示面板的第一触控操作之前，头戴显示设备可以获取用户的眼动信息并根据眼动信息从头戴显示设备的显示界面中选择多个第一对象。比如，用户可以注视头戴显示设备的显示面板的某个位置，头戴显示设备在获取到眼动信息后，可以将该位置预设范围(可以根据实际需求进行设置)内的多个对象作为多个第一对象。再比如，用户可以注视头戴显示设备所显示的某个对象，头戴显示设备在获取到眼动信息后，可以将该对象以及与该对象具有相同属性的其他对象共同作为多个第一对象(比如用户通过眼动方式选择一个窗口后，头戴显示设备可以将该窗口以及其他窗口共同作为多个第一对象)。头戴显示设备在选择多个第一对象后，在需要从多个第一对象中进一步选择一个对象作为交互对象时，用户可以在智能终端的显示触控面板输入第一触控操作，智能终端在接收到第一触控操作后，由于智能终端和头戴显示设备之间已建立连接，因此，头戴显示设备可以根据第一触控操作从多个第一对象中选择一个对象作为交互对象。

头戴显示设备在根据第一触控操作从多个对象中选择一个对象作为交互对象时，可选地，可以通过以下方式1或方式2实现：

方式1：智能终端获取第一触控操作在触控显示面板中的位置信息，将该位置信息发送给头戴显示设备；头戴显示设备根据接收到的位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为交互对象。

智能终端在接收到对触控显示面板的第一触控操作后，可以进一步获取该第一触控操作在触控显示面板中的触控位置，并将该触控位置或该触控位置所在的预设区域确定为第一触控操作在触控显示面板中的位置信息。之后，智能终端可以将该位置信息发送给头戴显示设备。头戴显示设备在接收到位置信息后，可以根据该位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为交互对象。

位置映射关系可以由头戴显示设备预先确定。比如，头戴显示设备可以先确定智能终端的触控显示面板与头戴显示设备的显示界面之间的尺寸比例，然后根据该尺寸比例将智能终端的触控显示面板进行等比例缩放，由此可以得到智能终端的触控显示面板中的位置与头戴显示设备的显示界面之间的位置映射关系。或者，头戴显示设备也可以建立智能终端的触控显示面板中的特征点与头戴显示设备的显示界面中的特征点之间的映射关系，然后根据特征点之间的映射关系进一步确定智能终端的触控显示面板中的其他位置与头戴显示设备的显示界面之间的位置映射关系。这里不对位置映射关系的确定方式进行具体限定。

头戴显示设备在根据第一触控操作的位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择交互对象时，可以确定头戴显示设备的显示界面中与第一触控操作的位置信息对应的位置或区域，然后将该位置或区域处显示的第一对象作为交互对象。

方式2：智能终端获取第一触控操作在触控显示面板中的位置信息，根据该位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为交互对象，并向头戴显示设备发送对交互对象的选择指令；头戴显示设备根据选择指令选择交互对象。

智能终端在接收到对触控显示面板的第一触控操作后，可以进一步获取该第一触控操作在触控显示面板中的触控位置，并将该触控位置或该触控位置所在的预设区域确定为第一触控操作在触控显示面板中的位置信息。之后，智能终端可以根据该位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为交互对象，然后生成相应的选择指令并发送给头戴显示设备，该选择指令用于指示头戴显示设备选择第一对象作为交互对象。头戴显示设备在接收到选择指令后，可以根据选择指令的指示，选择第一对象作为交互对象。

位置映射关系可以由智能终端预先确定，具体实现方式可以与上述方式1中头戴显示设备确定位置映射关系的具体实现方式相同，这里不再详细说明。其中，智能终端在根据第一触控操作的位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择交互对象时，可以确定头戴显示设备的显示界面中与第一触控操作的位置信息对应的位置或区域，然后将该位置或区域处显示的第一对象作为交互对象。

实施例2

本实施例中，交互对象可以是窗口，头戴显示设备根据第一触控操作对头戴显示设备所显示的交互对象进行操作控制，可以是根据第一触控操作对该窗口进行操作控制，比如，对窗口或窗口中显示的内容进行选择、点击、双击、复制粘贴、拖动等操作。其中，窗口可以头戴显示设备的显示界面中默认显示的窗口，或者也可以是，由用户通过眼动或手柄射线等方式选择的窗口，或者还可以是，通过上述实施例1记载的方法选择的窗口(对应实施例1中选择的交互对象为窗口的情况)，这里不做具体限定。对应的场景可以是，在用户打开头戴显示设备后，头戴显示设备显示默认窗口，用户通过智能终端对该默认窗口进行操作控制，或者也可以是，在用户通过眼动方式或手柄射线等方式选择某个窗口后，用户通过智能终端对该窗口进行操作控制，或者还可以是，在用户通过眼动或手柄射线等方式选择多个第一对象后，用户通过智能终端进一步从多个第一对象中选择一个窗口作为交互对象，然后继续通过智能终端对该窗口进行操作控制，这里也不做具体限定。

在交互对象为窗口的情况下，头戴显示设备根据第一触控操作对头戴显示设备所显示的交互对象进行相应的操作控制，可以是头戴显示设备根据第一触控操作以及预先建立的位置映射关系，对头戴显示设备所显示的交互对象进行相应的操作控制。其中，位置映射关系是头戴显示设备所显示的交互对象(即窗口)与智能终端的触控显示面板的触控区域之间的位置映射关系。

本实施例中，交互对象与智能终端的触控显示面板的触控区域之间的位置映射关系可以由头戴显示设备确定或由智能终端建立。具体地，在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，在确定交互对象为窗口后，头戴显示设备或智能终端可以建立交互对象(即窗口)与触控显示面板的触控区域之间的位置映射关系。其中，位置映射关系的建立可以在智能终端接收到第一触控操作之前，也可以在智能终端接收到第一触控操作之后，这里不做具体限定。

头戴显示设备或智能终端在建立交互对象与智能终端的触控显示面板的触控区域之间的位置映射关系时，可以通过多种方式实现。以头戴显示设备为例，头戴显示设备至少可以通过以下方式1和方式2建立交互对象与智能终端的触控显示面板的触控区域之间的位置映射关系。

方式1：获取交互对象的尺寸信息和触控区域的尺寸信息；根据交互对象的尺寸信息和触控区域的尺寸信息确定第一尺寸比例；根据第一尺寸比例对交互对象缩放后建立交互对象与触控区域之间的位置映射关系。

交互对象的尺寸信息可以交互对象的长度和宽度信息。触控区域的尺寸信息可以是触控显示面板的全部或部分触控区域的长度和宽度信息(若使用整个触控显示面板输入第一触控操作，则获取全部触控区域的尺寸信息，若使用部分触控区域(可以根据实际需求进行设置)输入第一触控操作，则获取部分触控区域的尺寸信息)。第一尺寸比例可以是交互对象的长度与触控区域的长度之间的尺寸比例以及交互对象的宽度与触控区域的宽度之间的尺寸比例，或者，也可以是交互对象的长度与触控区域宽度的之间的尺寸比例以及交互对象的宽度与触控区域的长度之间的尺寸比例(对应竖屏使用智能终端和横屏使用智能终端两种情况)。在根据尺寸信息确定第一尺寸比例后，可以根据第一尺寸比例对交互对象进行等比例缩放(或是对触控区域进行等比例缩放)，由此可以得到交互对象与触控区域之间的位置映射关系。

方式2：获取交互对象的第一特征点在头戴显示设备的显示界面中的位置信息，第一特征点位于交互对象的边界线；获取触控显示面板的第二特征点的位置信息，第二特征点位于触控区域的边界线；建立第一特征点的位置信息和第二特征点的位置信息之间的特征点映射关系，根据特征点映射关系建立交互对象与触控区域之间的位置映射关系。

第一特征点可以根据实际需求进行选取，只要位于交互对象的边界线上即可，同理，第二特征点也可以根据实际需求进行选取，只要位于触控区域的边界线上即可，这里都不做具体限定。此外，第一特征点的数量和第二特征点的数量也可以根据实际需求进行设置，只要保证能够根据特征点之间的特征点映射关系建立得到交互对象与触控区域之间的位置映射关系即可，这里也不做具体限定。

在选取第一特征点和第二特征点后，可以进一步获取第一特征点的位置信息以及第二特征点的位置信息，然后建立第一特征点和第二特征点之间的特征点映射关系。特征点映射关系可以是第一特征点和第二特征点之间的位置映射关系。在得到特征点映射关系后，可以进一步确定交互对象中除第一特征点以外的其他位置点与第一特征点之间的相对位置关系，以及触控区域中除第二特征点以外的其他位置点与第二特征点之间的相对位置关系，根据这两个相对位置信息以及第一特征点和第二特征点之间的特征点映射关系，可以进一步得到交互对象的其他位置点与触控区域的其他位置点之间的映射关系，由此可以得到交互对象的所有位置点与触控区域的所有位置点之间的映射关系，即得到交互对象和触控区域之间的位置映射关系。

可选地，第一特征点可以包括交互对象的四个角点，第二特征点可以包括触控区域的四个角点，在此基础上，特征点映射关系可以是交互对象的四个角点与触控区域的四个角点之间的位置映射关系。这样，在根据特征点映射关系建立交互对象与触控区域之间的位置映射关系时，具体可以是，根据特征点映射关系，将交互对象所包括的除第一特征点以外的部分与触控区域所包括的除第二特征点以外的部分对应并建立交互对象和触控区域之间的位置映射关系。比如，在第一特征点和第二特征点均为四个角点的情况下，可以先确定交互对象中除四个角点以外的其他位置点与四个角点之间的相对位置关系，以及触控区域中除四个角点以外的其他位置点与四个角点之间的相对位置关系，然后基于相位位置关系将交互对象中的其他位置点与触控区域中的其他位置点进行对应，该对应结果即为交互对象和触控区域之间的位置映射关系。

通过上述两种方式，头戴显示设备可以建立得到交互对象(即窗口)和智能终端的触控显示面板的触控区域之间的位置映射关系。基于相同的方法，智能终端也可以建立得到交互对象(即窗口)和智能终端的触控显示面板的触控区域之间的位置映射关系，这里不再重复说明。

在头戴显示设备或智能终端建立交互对象与触控区域之间的位置关系后，在智能终端接收到第一触控操作时，头戴显示设备可以基于该位置映射关系以及第一触控操作对交互对象进行相应的操作控制。比如，可以基于第一触控操作在智能终端的触控显示面板中的位置信息以及该位置映射关系，确定交互对象中与第一触控操作在智能终端触控显示面板中的位置信息对应的位置，并对该对应位置处的内容进行操作控制，比如，对应位置处的内容为文本，则可以对文本进行复制粘贴等操作，再比如，对应位置处为控件，则可以对控件进行点击、拖动等操作。

可选地，在交互对象(即窗口)中包括多个控件的情况下，为了便于对多个控件进行操作控制，则头戴显示设备或智能终端在建立交互对象和智能终端的触控显示面板的触控区域之间的位置映射关系后，还可以建立交互对象中的多个控件与智能终端的触控显示面板的触控区域之间的位置映射关系。

以头戴显示设备建立多个控件和触控区域之间的位置映射关系为例，头戴显示设备可以通过以下步骤建立多个控件与触控区域之间的位置映射关系：

获取多个控件在窗口中的位置信息；

根据多个控件在窗口中的位置信息以及窗口与触控区域之间的位置映射关系，确定多个控件与触控区域之间的位置映射关系。

对于头戴显示设备而言，其在窗口中显示多个控件的情况下，是可以知晓多个控件在窗口中的位置信息并获取到该位置信息的，即可以获取到多个控件与窗口中的各位置之间的对应关系，基于该对应关系，结合之前建立的窗口与触控区域之间的位置映射关系，可以进一步得到多个控件与触控区域之间的间接对应关系，该间接对应关系即为多个控件与触控区域之间的位置映射关系。

基于相同的方法，智能终端也可以建立得到多个控件和触控区域之间的位置映射关系。其中，智能终端在获取多个控件的位置信息时，可以向头戴显示设备发送请求信息，以请求获取多个控件的位置信息，或者，也可以由头戴显示设备主动将多个控件的位置信息发送给头戴显示设备，这里不做具体限定。

在头戴显示设备或智能终端建立多个控件和触控区域之间的位置映射关系的情况下，智能终端在接收到第一触控操作后，头戴显示设备根据第一触控操作对交互对象进行相应的操作控制，可以是头戴显示设备根据第一触控操作对交互对象中的一个或多个控件进行相应的操作控制。

头戴显示设备在根据第一触控操作对交互对象中的一个或多个控件进行相应的操作控制时，可以通过以下方式1或方式2实现：

方式1：智能终端获取第一触控操作在触控显示面板中的位置信息，将位置信息发送给头戴显示设备；头戴显示设备根据位置信息以及多个控件与触控区域之间的位置映射关系，将多个控件中与位置信息对应的控件作为交互对象，并根据第一触控操作对交互对象进行操作控制。

智能终端在接收到对触控显示面板的第一触控操作后，可以进一步获取该第一触控操作在触控显示面板中的触控位置，并将该触控位置或该触控位置所在的预设区域确定为第一触控操作在触控显示面板中的位置信息。之后，智能终端可以将该位置信息发送给头戴显示设备。头戴显示设备在接收到位置信息后，可以根据该位置信息以及多个控件与触控区域之间的位置映射关系，确定窗口所显示的多个控件中与该位置信息对应的一个或多个控件，并将该一个或多个控件确定为交互对象，在根据第一触控操作进行操作控制时，可以对该一个或多个控件进行相应的操作控制，比如，对该一个或多个控件进行选择、点击、拖动、复制粘贴等操作。

方式2：智能终端获取第一触控操作在触控显示面板中的位置信息，根据位置信息以及多个控件与触控区域之间的位置映射关系，将多个控件中与位置信息对应的控件作为交互对象，并向头戴显示设备发送对交互对象的控制指令；头戴显示设备根据控制指令对交互对象进行操作控制。

智能终端在接收到对触控显示面板的第一触控操作后，可以进一步获取该第一触控操作在触控显示面板中的触控位置，并将该触控位置或该触控位置所在的预设区域确定为第一触控操作在触控显示面板中的位置信息。之后，智能终端可以根据该位置信息以及多个控件与触控区域之间的位置映射关系，确定窗口所显示的多个控件中与该位置信息对应的一个或多个控件，并将该一个或多个控件确定为交互对象，然后生成对该交互对象的控制指令，并将控制指令发送给头戴显示设备，该控制指令用于指示头戴显示设备对该一个或多个控件进行相应的操作控制。头戴显示设备在接收到控制指令后，可以对控制指令所指示的一个或多个控件进行相应的操作控制，比如，对该一个或多个控件进行选择、点击、拖动、复制粘贴等操作。

通过上述方式1或方式2，头戴显示设备可以根据第一触控操作实现对头戴显示设备所显示的窗口中的一个或多个控件的操作控制。

实施例3

本实施例中，交互对象可以是窗口。该窗口可以头戴显示设备的显示界面中默认显示的窗口，或者也可以是，由用户通过眼动或手柄射线等方式选择的窗口，或者还可以是，通过上述实施例1记载的方法选择的窗口(对应实施例1中选择的交互对象为窗口的情况)，这里不做具体限定。

在交互对象为窗口的情况下，在智能终端接收对触控显示面板的第一触控操作之前，头戴显示设备根据预设规则将窗口划分为多个区域，这样，在智能终端接收对触控显示面板的第一触控操作后，头戴显示设备根据第一触控操作对头戴显示设备所显示的交互对象进行相应的操作控制，可以是头戴显示设备根据第一触控操作从多个区域中选择一个区域作为交互对象。对应的场景可以是，在用户打开头戴显示设备后，头戴显示设备显示默认窗口并将默认窗口划分为多个区域，用户通过智能终端选择一个区域进行操作控制，或者也可以是，在用户通过眼动方式或手柄射线等方式选择某个窗口后，头戴显示设备将该窗口划分为多个区域，用户通过智能终端选择一个区域进行操作控制，或者还可以是，在用户通过眼动或手柄射线等方式选择多个第一对象后，用户通过智能终端进一步从多个第一对象中选择一个窗口作为交互对象，然后头戴显示设备将用户选择的窗口划分为多个区域，用户通过智能终端选择一个区域进行操作控制。

头戴显示设备在根据预设规则将窗口划分为多个区域时，该预设规则可以是智能划分规则或自定义划分规则。该智能划分规则比如可以是，按照窗口显示的内容的布局，将窗口划分为多个区域，或是按照窗口显示的内容的类型，将窗口划分为多个区域。自定义规则比如可以是将窗口划分为大小相等的多个区域，或是将窗口划分为指定数量的多个区域。这里对智能划分规则和自定义规则不做具体限定。

在头戴显示设备根据预设规则将窗口划分为多个区域的情况下，可选地，头戴显示设备或智能终端还可以建立该多个区域与智能终端的触控显示面板的触控区域之间的位置映射关系，这样，头戴显示设备在根据第一触控操作从划分得到的多个区域中选择一个区域作为交互对象时，可以根据第一触控操作以及该多个区域与智能终端的触控区域之间的位置映射关系，从该多个区域中选择一个区域作为交互对象。

头戴显示设备或智能终端在建立窗口中的多个区域与智能终端的触控区域之间的位置映射关系时，可以通过有多种实现方式。可选地，在一种可能的实现方式中，可以先建立窗口与触控区域之间的位置映射关系，然后确定多个区域在窗口中的位置信息，即确定多个区域与窗口中的各位置之间的对应关系，基于该对应关系，结合之间建立的窗口与触控区域之间的位置映射关系，可以进一步得到多个区域与触控区域之间的位置映射关系。其中，在建立窗口与触控区域之间的位置映射关系时，具体实现方式可以参见上述实施例2中的相应内容，这里不再详细说明。

头戴显示设备在根据第一触控操作以及多个区域与智能终端的触控区域之间的位置映射关系，从该多个区域中选择一个区域作为交互对象时，可以先根据第一触控操作的位置信息以及位置映射关系，确定窗口中的对应位置，然后确定该对应位置位于多个区域中的哪个区域中，并选择该区域作为交互对象。

可选地，头戴显示设备在从多个区域中选择一个区域作为交互对象后，可以将该区域放大显示在整个窗口中，即将窗口的显示内容切换为该区域。之后，用户可以基于该区域或该区域中显示的内容进行操作控制。

可选地，为了便于用户对选择的窗口区域进行操作控制，还可以建立该窗口区域与触控区域之间的位置映射关系，这样，在智能终端接收到触控操作时，头戴显示设备可以根据触控操作以及窗口区域与触控区域之间的位置映射关系对窗口区域进行相应的操作控制。进一步地，在窗口区域中包括多个控件的情况下，还可以建立多个控件与触控区域之间的位置映射关系，这样，在智能终端接收到触控操作时，头戴显示设备可以根据触控操作以及多个控件与触控区域之间的位置映射关系对该区域中的控件进行相应的操作控制。其中，在建立窗口区域与触控区域之间的位置映射关系时，具体实现方式可以参见上述实施例2中记载的建立窗口与触控区域之间的位置映射关系的具体实现方式(将窗口替换为窗口中的区域即可)，在建立窗口区域中的多个控件与触控区域之间的位置映射关系时，具体实现方式可以参见上述实施例2中记载的建立多个控件与触控区域之间的位置映射关系的具体实现方式，这里都不在详细说明。

实施例4

在本实施例中，在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，头戴显示设备或智能终端可以建立头戴显示设备的显示界面与智能终端的触控显示面板的触控区域之间的位置映射关系。这样，在智能终端接收第一触控操作后，头戴显示设备根据第一触控操作对头戴显示设备所显示的交互对象进行相应的操作控制时，可以根据第一触控操作以及位置映射关系，对头戴显示设备的显示界面中所显示的交互对象进行相应的操作控制。在这种情况下，对应的场景可以是，用户在打开头戴显示设备后，头戴显示设备在现实界面中显示多个对象，用户可以通过智能终端输入第一触控操作，以便根据该第一触控操作对显示界面中显示的某一个或多个对象进行相应的操作控制。其中，显示界面中显示的对象可以是2D对象，也可以是3D对象，或者，也可以既包括2D对象也包括3D对象，这里不做具体限定。

在建立头戴显示设备的显示界面与智能终端的触控显示面板的触控区域之间的位置映射关系时，以头戴显示设备建立该位置映射关系为例，头戴显示设备可以通过以下方式1或方式2建立该位置映射关系。

方式1：获取显示界面的尺寸信息和触控区域的尺寸信息；根据显示界面的尺寸信息和触控区域的尺寸信息确定第二尺寸比例；根据第二尺寸比例对显示界面缩放后建立显示界面与触控区域之间的位置映射关系。

显示界面的尺寸信息可以显示界面的长度和宽度信息。触控区域的尺寸信息可以是触控显示面板的全部或部分触控区域的长度和宽度信息(若使用整个触控显示面板输入第一触控操作，则获取全部触控区域的尺寸信息，若使用部分触控区域(可以根据实际需求进行设置)输入第一触控操作，则获取部分触控区域的尺寸信息)。第二尺寸比例可以是显示界面的长度与触控区域的长度之间的尺寸比例以及显示界面的宽度与触控区域的宽度之间的尺寸比例，或者，也可以是显示界面的长度与触控区域宽度的之间的尺寸比例以及显示界面的宽度与触控区域的长度之间的尺寸比例(对应竖屏使用智能终端和横屏使用智能终端两种情况)。在根据尺寸信息确定第二尺寸比例后，可以根据第二尺寸比例对显示界面进行等比例缩放(或是对触控区域进行等比例缩放)，由此可以得到显示界面与触控区域之间的位置映射关系。

方式2：获取显示界面的第三特征点的位置信息，第三特征点位于显示界面边界线；获取触控显示面板的第四特征点的位置信息，第四特征点位于触控区域的边界线；建立第三特征点的位置信息和第四特征点的位置信息之间的特征点映射关系，根据特征点映射关系建立显示界面与触控区域之间的位置映射关系。

第三特征点可以根据实际需求进行选取，只要位于显示界面的边界线上即可，同理，第四特征点也可以根据实际需求进行选取，只要位于触控区域的边界线上即可，这里都不做具体限定。此外，第三特征点的数量和第四特征点的数量也可以根据实际需求进行设置，只要保证能够根据特征点之间的特征点映射关系建立得到显示界面与触控区域之间的位置映射关系即可，这里也不做具体限定。

在选取第三特征点和第四特征点后，可以进一步获取第三特征点的位置信息以及第四特征点的位置信息，然后建立第三特征点和第四特征点之间的特征点映射关系。特征点映射关系可以是第三特征点和第四特征点之间的位置映射关系。在得到特征点映射关系后，可以进一步确定显示界面中除第三特征点以外的其他位置点与第三特征点之间的相对位置关系，以及触控区域中除第四特征点以外的其他位置点与第四特征点之间的相对位置关系，根据这两个相对位置信息以及第三特征点和第四特征点之间的特征点映射关系，可以进一步得到显示界面的其他位置点与触控区域的其他位置点之间的映射关系，由此可以得到显示界面的所有位置点与触控区域的所有位置点之间的映射关系，即得到显示界面和触控区域之间的位置映射关系。

可选地，第三特征点可以包括显示界面的四个角点，第四特征点可以包括触控区域的四个角点，在此基础上，特征点映射关系可以是交互对象的四个角点与触控区域的四个角点之间的位置映射关系。这样，在根据特征点映射关系建立显示界面与触控区域之间的位置映射关系时，具体可以是，根据特征点映射关系，将显示界面所包括的除第三特征点以外的部分与触控区域所包括的除所述特征点以外的部分对应并建立位置映射关系。比如，在第三特征点和第四特征点均为四个角点的情况下，可以先确定显示界面中除四个角点以外的其他位置点与四个角点之间的相对位置关系，以及触控区域中除四个角点以外的其他位置点与四个角点之间的相对位置关系，然后基于相位位置关系将显示界面中的其他位置点与触控区域中的其他位置点进行对应，该对应结果即为显示界面和触控区域之间的位置映射关系。

通过上述两种方式，头戴显示设备可以建立得到头戴显示设备的显示界面和智能终端的触控显示面板的触控区域之间的位置映射关系。基于相同的方法，智能终端也可以建立得到头戴显示设备的显示界面和智能终端的触控显示面板的触控区域之间的位置映射关系，这里不再重复说明。

在头戴显示设备或智能终端建立显示界面与触控区域之间的位置关系后，在智能终端接收到第一触控操作时，头戴显示设备可以基于该位置映射关系以及第一触控操作对显示界面中的交互对象进行相应的操作控制。比如，可以基于第一触控操作在智能终端的触控显示面板中的位置信息以及该位置映射关系，确定显示界面中与第一触控操作在智能终端触控显示面板中的位置信息对应的位置，并对该对应位置处的交互对象进行操作控制，比如，对应位置处的交互对象为3D对象，则可以对3D对象进行移动、旋转、选择、点击等操作，再比如，对应位置处的交互对象为2D对象，则可以对2D对象进行缩放、拖动、选择、点击、复制粘贴等操作。

可选地，在显示界面中包括多个对象(为了便于区分，可以表示为第二对象)的情况下，为了便于对第二对象进行操作控制，则头戴显示设备或智能终端在建立显示界面和智能终端的触控显示面板的触控区域之间的位置映射关系后，还可以建立多个第二对象与智能终端的触控显示面板的触控区域之间的位置映射关系。

以头戴显示设备建立多个第二对象和触控区域之间的位置映射关系为例，头戴显示设备可以通过以下步骤建立多个第二对象与触控区域之间的位置映射关系：

获取多个第二对象在显示界面中的位置信息；

根据多个第二对象在显示界面中的位置信息以及位置映射关系，确定多个第二对象与触控区域之间的位置映射关系。

对于头戴显示设备而言，其在显示界面中显示多个第二对象的情况下，是可以知晓多个第二对象在显示界面中的位置信息并获取到该位置信息的，即可以获取到多个第二对象与显示界面中的各位置之间的对应关系，基于该对应关系，结合之前建立的显示界面与触控区域之间的位置映射关系，可以进一步得到多个第二对象与触控区域之间的间接对应关系，该间接对应关系即为多个第二对象与触控区域之间的位置映射关系。

基于相同的方法，智能终端也可以建立得到多个第二对象和触控区域之间的位置映射关系。其中，智能终端在获取多个第二对象的位置信息时，可以向头戴显示设备发送请求信息，以请求获取多个第二对象的位置信息，或者，也可以由头戴显示设备主动将多个第二对象的位置信息发送给头戴显示设备，这里不做具体限定。

在头戴显示设备或智能终端建立多个第二对象和触控区域之间的位置映射关系的情况下，智能终端在接收到第一触控操作后，头戴显示设备根据第一触控操作对交互对象进行相应的操作控制，可以是头戴显示设备根据第一触控操作对多个第二对象中的一个或多个对象进行相应的操作控制。

头戴显示设备在根据第一触控操作对一个或多个第二对象进行相应的操作控制时，可以通过以下方式1或方式2实现：

方式1：智能终端获取第一触控操作在触控显示面板中的位置信息，将位置信息发送给头戴显示设备；头戴显示设备根据位置信息以及多个第二对象与触控区域之间的位置映射关系，将多个第二对象中与位置信息对应的对象作为交互对象，并根据第一触控操作对交互对象进行操作控制。

智能终端在接收到对触控显示面板的第一触控操作后，可以进一步获取该第一触控操作在触控显示面板中的触控位置，并将该触控位置或该触控位置所在的预设区域确定为第一触控操作在触控显示面板中的位置信息。之后，智能终端可以将该位置信息发送给头戴显示设备。头戴显示设备在接收到位置信息后，可以根据该位置信息以及多个第二对象与触控区域之间的位置映射关系，确定多个第二对象中与该位置信息对应的一个或多个第二对象，并将该一个或多个第二对象确定为交互对象，在根据第一触控操作进行操作控制时，可以对该一个或多个第二对象进行相应的操作控制，比如，对该一个或多个第二对象进行选择、点击、拖动等操作。

方式2：智能终端获取第一触控操作在触控显示面板中的位置信息，根据位置信息以及多个第二对象与触控区域之间的位置映射关系，将多个第二对象中与位置信息对应的对象作为交互对象，并向头戴显示设备发送对交互对象的控制指令；头戴显示设备根据控制指令对交互对象进行操作控制。

智能终端在接收到对触控显示面板的第一触控操作后，可以进一步获取该第一触控操作在触控显示面板中的触控位置，并将该触控位置或该触控位置所在的预设区域确定为第一触控操作在触控显示面板中的位置信息。之后，智能终端可以根据该位置信息以及多个第二对象与触控区域之间的位置映射关系，确定多个第二对象中与该位置信息对应的一个或多个第二对象，并将该一个或多个第二对象确定为交互对象，然后生成对该交互对象的控制指令，并将控制指令发送给头戴显示设备，该控制指令用于指示头戴显示设备对该一个或多个第二对象进行相应的操作控制。头戴显示设备在接收到控制指令后，可以对控制指令所指示的一个或多个第二对象进行相应的操作控制，比如，对该一个或多个第二对象进行选择、点击、拖动、复制粘贴等操作。

通过上述方式1或方式2，头戴显示设备可以根据第一触控操作实现对头戴显示设备的显示界面所显示的一个或多个第二对象的操作控制。

可选地，在第二对象为窗口的情况下，头戴显示设备或智能终端还可以建立窗口与智能终端的触控区域之间的位置映射关系，以便基于该位置映射关系对第二对象或第二对象中显示的内容进行操作控制。进一步地，在第二对象中包括多个控件的情况下，头戴显示设备或智能终端还可以建立多个控件与智能终端的触控区域之间的位置映射关系，以便基于该位置映射关系对第二对象中显示的多个控件进行操作控制，具体可以参见上述实施例2中的相关内容，这里不再重复描述。

可选地，在第二对象为窗口，且窗口中包括多个区域的情况下，头戴显示设备或智能终端还可以按照预设规则将窗口划分为多个区域，用户可以通过对智能终端的触控操作从多个区域中选择一个区域作为交互对象，具体可以参见上述实施例3中的相应内容，这里不再详细说明。可选地，在选择一个区域作为交互对象后，头戴显示设备或智能终端还可以建立该区域与智能终端的触控区域之间的位置映射关系，以便头戴显示设备可以根据触控操作以及窗口区域与触控区域之间的位置映射关系对窗口区域进行相应的操作控制。进一步地，在窗口区域中包括多个控件的情况下，头戴显示设备或智能终端还可以建立多个控件与触控区域之间的位置映射关系，以便头戴显示设备可以根据触控操作以及多个控件与触控区域之间的位置映射关系对该区域中的控件进行相应的操作控制。其中，在建立窗口区域与触控区域之间的位置映射关系时，具体实现方式可以参见上述实施例2中记载的建立窗口与触控区域之间的位置映射关系的具体实现方式(将窗口替换为窗口中的区域即可)，在建立窗口区域中的多个控件与触控区域之间的位置映射关系时，具体实现方式可以参见上述实施例2中记载的建立多个控件与触控区域之间的位置映射关系的具体实现方式，这里都不在详细说明。

基于上述实施例1至实施例4，用户可以通过对智能终端的第一触控操作实现对头戴显示设备中的交互对象的操作控制。

可选地，在上述实施例2和实施例4中，在头戴显示设备或智能终端建立位置映射关系(包括显示界面与触控区域的位置映射关系、交互对象(即窗口)与触控区域之间的位置映射关系)的情况下，头戴显示设备还可以对该位置映射关系进行相应提示，以便用户可以快速知晓触控区域中的某个位置与显示界面中的哪个位置或交互对象中的哪个位置对应。具体实现方式可以包括：

智能终端接收对触控显示面板的第一指定操作；

头戴显示设备根据第一指定操作在触控显示面板中的位置信息以及位置映射关系，在头戴显示设备的显示界面或交互对象的对应位置处显示位置提示信息。

第一指定操作可以对触控显示面板的触控区域的点击操作、双击操作或长按操作等，这里不做具体限定。

在位置映射关系为显示界面与触控区域之间的位置映射关系的情况下，若位置映射关系由头戴显示设备建立，则，当智能终端接收到第一指定操作后，智能终端可以获取第一指定操作在触控显示面板中的位置信息，并将该位置信息发送给头戴显示设备。头戴显示设备可以根据接收到的位置信息以及之前建立的位置映射关系确定显示界面中的对应位置，并在该对应位置处显示位置提示信息。若位置映射关系由智能终端建立，则，当智能终端接收到第一指定操作后，智能终端可以根据第一指定操作的位置信息和之前建立的位置映射关系确定显示界面中的对应位置，并向头戴显示设备发送指示信息，该指示信息用于指示头戴显示设备在显示界面的对应位置处显示位置提示信息。头戴显示设备在接收到指示信息后，可以在显示界面的对应位置处显示位置提示信息。位置提示信息可以是光标提示，也可以是UI提示等，这里不做具体限定。

在位置映射关系为交互对象与触控区域之间的位置映射关系的情况下，若位置映射关系由头戴显示设备建立，则，当智能终端接收到第一指定操作后，智能终端可以获取第一指定操作在触控显示面板中的位置信息，并将该位置信息发送给头戴显示设备。头戴显示设备可以根据接收到的位置信息以及之前建立的位置映射关系确定交互对象中的对应位置，并在该对应位置处显示位置提示信息。若位置映射关系由智能终端建立，则，当智能终端接收到第一指定操作后，智能终端可以根据第一指定操作的位置信息和之前建立的位置映射关系确定交互对象中的对应位置，并向头戴显示设备发送指示信息，该指示信息用于指示头戴显示设备在交互对象的对应位置处显示位置提示信息。头戴显示设备在接收到指示信息后，可以在交互对象的对应位置处显示位置提示信息。位置提示信息可以是光标提示，也可以是UI提示等，这里不做具体限定。

这样，由于可以通过位置提示信息提示用户智能终端中的位置与显示界面或交互对象中的哪个位置具有映射关系，因此，可以便于用户快速定位操作位置，进而对交互对象中的相应位置进行操作控制，提高操作效率。

可选地，在上述实施例2和实施例4中，在头戴显示设备或智能终端建立位置映射关系(包括显示界面与触控区域的位置映射关系、交互对象(即窗口)与触控区域之间的位置映射关系)的情况下，基于该位置映射关系还可以实现对交互对象的快捷操作，具体可以包括以下步骤：

获取预定义的快捷操作集合，快捷操作集合包括预定义的多个快捷操作及对应的操作目的，针对每个快捷操作，该快捷操作在触控显示面板中的触控位置位于目标区域内、目标区域外和/或目标区域的边界线上，目标区域为触控显示面板中与头戴显示设备的显示界面或交互对象具有位置映射关系的区域；

在第一触控操作为快捷操作集合中的快捷操作的情况下，确定与第一触控操作对应的第一操作目的；

根据第一操作目的对交互对象进行相应的操作控制。

如上述实施例2和实施例4中所述的，在建立头戴显示设备的显示界面或交互对象与智能终端的触控区域之间的位置映射关系时，可以建立显示界面或交互对象与智能终端的全部触控区域或部分触控区域之间的位置映射关系。其中，智能终端的全部触控区域或部分触控区域即为上述的与头戴显示设备的显示界面或交互对象具有位置映射关系的区域，也即目标区域。基于该目标区域，头戴显示设备或智能终端可以预定义快捷操作集合，快捷操作集合包括预定义的多个快捷操作及与该多个快捷操作对应的操作目的，针对每个快捷操作，该快捷操作在触控显示面板中的触控位置可以在目标区域内，也可以在目标区域外，或者还可以在目标区域的边界线上。这样，当智能终端接收到第一触控操作时，头戴显示设备可以判断该第一触控操作是否在预定义的快捷操作集合中。若是，则可以根据快捷操作集合确定第一触控操作的操作目的(为了便于区分，可以表示为第一操作目的)，然后根据第一操作目的对交互对象进行相应的操作控制，其中，该交互对象可以是显示界面、显示界面中的对象、窗口或窗口中的控件等。若否，则可以根据上述实施例2和实施例4中记载的方法对交互对象进行相应的操作控制。由此，可以基于头戴显示设备的显示界面或交互对象与智能终端的触控区域之间的位置映射关系，实现对头戴显示设备所显示的交互对象的快捷操作。

为了便于理解如何实现对交互对象的快捷操作，以下将以几种更为具体的实现方式为例进行说明。

(1)第一触控操作的触控位置位于目标区域内。

这里的目标区域可以是触控显示面板的全部触控区域，也可以是触控显示面板的部分触控区域。在目标区域为触控显示面板的全部触控区域的情况下，对交互对象的快捷操作可以复用智能终端现有的快捷操作，比如，智能终端在接收到三指下滑操作时，可以对智能终端进行截屏，则在对交互对象进行快捷操作时，当智能终端接收到在目标区域内的三指下滑操作时，头戴显示设备可以是对头戴显示设备的显示界面或交互对象(窗口)进行截屏。在目标区域为部分触控区域的情况下，对交互对象的快捷操作可以复用智能终端现有的快捷操作，或者也可以根据实际需求重新进行定义，这里不做具体限定。

(2)第一触控操作的触控位置位于目标区域外。

这里的目标区域可以是触控显示面板的部分触控区域。在这种情况下，智能终端中包括目标区域和非目标区域，用户在对交互对象执行快捷操作时，该快捷操作的触控位置可以在非目标区域内。其中，快捷操作可以复用智能终端的快捷操作，也可以重新定义快捷操作。比如，在用户对非目标区域进行三指下滑操作时，头戴显示界面可以对头戴显示设备的显示界面或交互对象(窗口)进行截屏(复用智能终端现有的快捷操作)，或者，在用户对非目标区域进行长按操作时，头戴显示界面可以对头戴显示设备的显示界面或交互对象(窗口)进行截屏(重新定义快捷操作)。

(3)第一触控操作的触控位置位于目标区域的边界线上。

这里的目标区域可以是触控显示面板的全部触控区域，也可以是触控显示面板的部分触控区域。在目标区域为触控显示面板的全部触控区域的情况下，对交互对象的快捷操作可以复用智能终端现有的快捷操作，比如，智能终端在接收到从触控区域底部边缘向上的滑动操作时，可以返回智能终端的主界面，则在对交互对象进行快捷操作时，当智能终端接收到从目标区域底部边缘向上的滑动滑操作时，头戴显示设备可以返回头戴显示设备的显示界面的主界面或窗口的上一级窗口。

(4)第一触控操作的触控位置位于目标区域内和外。

这里的目标区域可以是触控显示面板的部分触控区域。在这种情况下，智能终端中包括目标区域和非目标区域，用户在对交互对象执行快捷操作时，该快捷操作的触控位置可以在目标区域内和外，即从目标区域内向目标区域外执行触控操作，或从目标区域外向目标区域内执行触控操作(这里可以重新定义快捷操作)。比如，在用户从目标区域内向目标区域外执行滑动操作时，头戴显示界面可以对头戴显示设备的显示界面或交互对象(窗口)进行截屏，再比如，在用户从目标区域外向目标区域内执行滑动操作时，头戴显示界面可以返回主界面或上一级窗口。

基于上述(1)至(4)的四种情况，头戴显示设备可以灵活定义各种快捷操作(复用智能终端现有的快捷操作或重新定义快捷操作)，从而可以通过智能终端实现对头戴显示设备所显示的交互对象的快捷操作。

可选地，为了方便用户使用智能终端对头戴显示设备所显示的交互对象进行操作控制，在头戴显示设备与智能终端建立连接后，头戴显示设备还可以显示辅助信息以辅助用户使用智能终端。具体地，可以包括以下步骤：

头戴显示设备获取用户对智能终端的使用状态，在使用状态包括预设使用状态的情况下，显示辅助信息，辅助信息用于辅助用户使用智能终端控制头戴显示设备。

预设使用状态可以根据实际场景进行设置，比如可以是在设定时长内未接收到用户对智能终端的触控操作(此时可以认为用户不知道如何使用智能终端控制头戴显示设备，因此在设定时长内没有对智能终端执行触控操作)，或者，也可以是用户低头看智能终端，或者，还可以是用户将智能终端移动到头戴显示设备目标方向的一定范围内，等。头戴显示设备在获取到用户对智能终端的使用状态为预设使用状态时，可以确定用户在操作智能终端控制头戴显示设备时遇到困难，此时，头戴显示设备可以显示辅助信息，以提示用户如何使用智能终端控制头戴显示设备。

头戴显示设备在显示辅助信息时，可选地，可以通过打开局部VST或显示手部和智能终端动态模型的方式告知用户当前手部与智能终端的关系，以此作为辅助信息来帮助用户更精准的操作。或者，可以根据用户对智能终端的不同使用状态显示不同的辅助信息，以对用户进行针对性的辅助。

基于本申请实施例提供的技术方案，由于可以将智能终端作为头戴显示设备的输入设备，用户可以通过智能终端的触控显示面板输入触控操作进而对头戴显示设备所显示的交互对象进行操作控制，因此操作灵活度较高，相较于传统的输入方式，通过智能终端输入控制操作的方式能够实时、准确地将用户的操作意图反馈给头戴显示设备，不易受外界因素的影响，因此交互精度和交互效率较高，局限性较小。此外，由于智能终端具有显示模式和触控模式共两个工作模式，在显示模式下，智能终端用于提供显示功能以便用户正常使用智能终端，在触控模式下，智能终端用于作为头戴显示设备的输入设备，因此，可以方便用户灵活地进行模式切换，以使智能终端工作在不同的模式下，从而满足用户的使用需求，进一步的，由于智能终端在从显示模式切换为触控模式的过程中，智能终端的触控显示面板的亮度会降低或直接关闭显示功能，因此，还可以在智能终端作为头戴显示设备的输入设备的情况下，有效降低终端功耗。

为了便于理解使用智能终端如何对头戴显示设备所显示的交互对象进行控制，以下将以一种具体的实现方式为例进行说明。

在交互对象为窗口的情况下，在头戴显示设备建立与智能终端的连接，且智能终端处于触控模式的情况下，使用智能终端对窗口的操作控制可以包括以下步骤。

步骤1：在头戴显示设备显示多个窗口的情况下，头戴显示设备利用眼动技术从多个窗口中选择一个窗口。

如图2所示，头戴显示设备显示有4个窗口，分别是窗口1、窗口2、窗口3和窗口4.当用户想到对窗口2进行操作控制时，可以观看窗口2，此时，头戴显示设备可以利用眼动技术判断用户看向(注视)的位置(即窗口2的位置)，并选择窗口2。

步骤2：头戴显示设备建立用户选择的窗口与智能终端的触控显示面板的触控区域之间的位置映射关系。

在建立位置映射关系时，可以基于尺寸映射的方式实现。如图3所示，智能终端的触控区域为整个触控显示面板的区域，在建立窗口2和触控区域之间的位置映射关系时，可以获取窗口2的尺寸信息和触控区域的尺寸信息，然后确定窗口2的尺寸信息和触控区域的尺寸信息之间的第一尺寸比例，最后根据第一尺寸比例对窗口2缩放后建立窗口2与触控区域之间的位置映射关系。

或者，在在建立位置映射关系时，也可以基于特征点映射的方式实现。仍以上述图3为例，在建立窗口2和触控区域之间的位置映射关系时，可以确定窗口2的四个角点(即图3所示的a1、b1、c1和d1)和触控区域的四个角点(即图3所示的a2、b2、c2和d2)，然后建立窗口2的四个角点和触控区域的四个角点之间的特征点映射关系，最后根据特征点映射关系，将窗口2所包括的除四个角点以外的部分与触控区域所包括的除四个角点以外的部分对应并建立窗口2和触控区域之间的位置映射关系。

步骤3：用户对智能终端的触控显示面板执行第一指定操作，头戴显示设备在窗口2中显示位置提示信息。

如图4所示，当用户使用手指点击智能终端屏幕的Q2位置时，头戴显示设备会在窗口2的对应位置Q1显示提示性UI(即图4在位置Q1处显示的圆形框)，通过UI指示，可以提示用户手指在窗口2中的映射位置，由此可以帮助用户寻找手在智能终端上的位置，从而可以简化操作路径，提高输入效率。

需要说明的是，位置提示信息除了图4所示的圆形框提示外，还可以是光标提示，这里对提示方式不做具体限定。

基于上述步骤1至步骤3，用户在想要对窗口中的内容进行操作时，可以对智能终端的触控显示面板执行触控操作，智能终端在接收到触控操作后，头戴显示设备可以对窗口中相应位置处的内容进行操作控制。

可选地，在窗口中包括多个区域的情况下，在想要对某个区域进行操作时，还可以包括以下步骤4至步骤6。

步骤4：头戴显示设备将窗口映射切换为区域映射。

窗口映射指的是将窗口与触控区域进行位置映射，即建立窗口与触控区域之间的位置映射关系。区域映射指的是将窗口中的某个区域与触控区域进行位置映射，即建立窗口中的区域与触控区域之间的位置映射关系。

在进行映射方式的切换时，可以如图5所示。图5中，用户在想要对窗口中的某个区域进行操作控制时，即将窗口映射切换为区域映射时，可以对智能终端的触控显示面板执行双指长按操作，头戴显示设备根据双指长按操作显示提示框，提示框中包括窗口映射和区域映射两个选项，用户可以选择区域映射的选项(可以通过智能终端对窗口切换的选项进行点击确认)。

步骤5：头戴显示设备将窗口划分为多个区域。

在划分多个区域时，可以依据实际窗口尺寸和布局进行智能划分，或者也可以根据自定义的规则进行划分，这里不做具体限定。

以智能划分多个区域为例，可以参见图6。图6所示的窗口中有三栏内容，第一栏显示文本1，第二栏显示多个图片(即图片1、图片2、图片3和图片4)，第三栏显示文本2和文本3，则可以将图6所示的窗口划分为4个区域(图6所示的四个虚线区域)，具体为将文本1所在区域划分为一个区域，将多个图片所在的区域划分为一个区域，将文本2所在区域划分为一个区域，将文本3所在区域划分为一个区域。

步骤6：头戴显示设备选择其中一个区域，并建立该区域与智能终端的触控区域之间的位置映射关系。

在选择其中一个区域时，用户可以注视想要选择的区域，头戴显示设备利用眼动技术选择用户注视的区域。在选择一个区域后，头戴显示设备可以建立该区域与智能终端的触控区域之间的位置映射关系，这样，用户可以通过智能终端实现对窗口中的某个区域的操作控制。

需要说明的是，上述步骤4是由用户触发映射方式的切换，在其他可能的实现方式中，也可以有头戴显示设备根据窗口中显示的内容智能进行映射方式的切换。上述步骤6是由用户根据眼动方式选择需要操作的区域，在其他可能的实现方式中，还可以由用户通过智能终端进行区域选择(比上述实施例3)。

可选地，用户在使用智能终端对窗口或窗口区域进行操作控制时，还可以使用智能终端的快捷手势实现对窗口或窗口区域的快捷操作。比如，智能终端可以利用三指下滑的动作进行截屏，那么，在操作头戴显示设备时，用户可以也可以在智能终端中执行三指下滑操作来实现对窗口或窗口区域的截屏(需要说明的是，由于智能终端的超级截屏为竖屏状态下的三指下滑，在使用智能终端操作头戴显示设备过程中智能终端通常为横屏状态，所以此时的三指下滑并不会与智能终端的快捷方式产生冲突，同时能利用这一点完成不同设备下的截屏操作)。再比如，智能终端从屏幕底部边缘各区域向上滑动，则为智能终端的系统导航手势，其功能包括回到主界面、呼出后台中心等，在横屏状态下，则是从屏幕右侧边缘向左滑动为智能终端的系统导航手势。那么，在智能终端操作头戴显示设备的过程中，可以利用横屏状态下的屏幕底部向上滑动，完成系统导航的手势，通过这个手势完成回到头戴显示设备主界面的操作。

在交互对象为3D对象时，在头戴显示设备建立与智能终端的连接，且智能终端处于触控模式的情况下，在使用智能终端对3D对象进行操作控制，至少可以包括以下几种情况：

(1)眼动+双指/多指操作：可以实现对3D对象的整体进行操作，例如旋转、缩放、位置移动等。

比如，在对3D对象进行缩放时，可以眼动选择3D对象，然后两指按下屏幕后双指靠近、远离滑动进行相应的放大、缩小。再比如，在对3D对象进行旋转时，可以眼动选择3D对象，然后一指按下屏幕，另一指滑动屏幕进行相应方向的旋转。又比如，在对3D对象进行移动时，可以眼动选择3D对象，然后两指同时按下屏幕后滑动，进行空间里上下左右的位置调整，三指按下屏幕后滑动，进行空间里前后位置移动。

(2)眼动+单指操作：可以实现对单一交互的3D对象进行单一的精细化操作。

例如，3D对象为书本，则对应的单一交互为翻书，3D对象为3D播放器组件，则对应的单一交互可以是播放/暂停，3F对象为3D台灯，则对应的单一交互可以是开关等。对于具有开关这类单一交互的3D对象，用户可以眼动选择3D对象，然后单指点击智能终端屏幕进行开关类操作。对于具有翻页这类单一交互的3D对象，用户可以眼动选择3D对象，然后单指滑动智能终端屏幕进行相应方向上的翻页。

(3)眼动+触控手势二次操作：可以实现对具有复杂交互的3D对象的复杂精细化操作。

例如，3D对象为3D播放器，3D播放器具有上一首、下一首、播放/暂停、呼出播放列表、播放模式等功能，则用户在操作时，可以眼动选择3D播放器，双指轻击智能终端屏幕，呼出3D播放器的2D精细化操作面板，然后使用上述对2D窗口的操作实现方式对2D的操作面板进行精细化操作。

可选地，在使用智能终端控制头戴显示设备时，还可以屏蔽智能终端的3dof(degree of freedom，自由度)功能，以及不调用智能终端的陀螺仪信息，这样，智能终端的姿势可以为任意姿势，不影响头戴显示设备的方向显示。

本申请实施例还提供一种智能终端。智能终端包括触控显示面板，智能终端具有显示模式和触控模式，在智能终端从显示模式切换为触控模式的过程中，触控显示面板的亮度降低或显示功能关闭。基于本申请实施例提供的智能终端，在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，智能终端可以接收对触控显示面板的第一触控操作，第一触控操作可以用于头戴显示设备对头戴显示设备所显示的交互对象进行相应的操作控制。

可选地，第一触控操作为选择操作，第一触控操作可以用于头戴显示设备从头戴显示设备所显示的多个第一对象中选择一个对象作为交互对象。在基于第一触控操作从多个第一对象中选择交互对象的过程中，智能终端可以执行以下操作：

获取第一触控操作在触控显示面板中的位置信息，然后将该位置信息发送给头戴显示设备。该位置位置信息可以用于头戴显示设备从多个第一对象中选择一个对象作为交互对象，该多个第一对象可以由头戴显示设备根据眼动信息在头戴显示设备的显示界面中选择得到。或者，获取第一触控操作在触控显示面板中的位置信息，然后根据位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为交互对象，并向头戴显示设备发送对交互对象的选择指令，该选择指令可以用于头戴显示设备从多个第一对象中选择交互对象。

可选地，交互对象可以是窗口，在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，智能终端还可以建立交互对象与触控显示面板的触控区域之间的位置映射关系，该位置映射关系以及第一触控操作可以用于头戴显示设备对交互对象进行相应的操作控制。

可选地，在头戴显示设备与智能终端建立连接，且所述智能终端处于所述触控模式的情况下，智能终端还可以建立头戴显示设备的显示界面与触控显示面板的触控区域之间的位置映射关系，该位置映射关系以及第一触控操作可以用于头戴显示设备对交互对象进行相应的操作控制。

需要说明的是，本申请实施例提供的智能终端可以实现图1所示实施例中的智能终端的功能，具体实现方式可以参见图1所示实施例中相应内容的具体实现方式，这里不再重复说明。

本申请实施例还提供一种头戴显示设备。基于本申请实施例提供的头戴显示设备，在该头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，头戴显示设备可以根据第一触控操作对头戴显示设备所显示的交互对象进行相应的操作控制。其中，第一触控操作为智能终端接收到的对智能终端的触控显示面板的触控操作，智能终端具有显示模式和触控模式，在智能终端从显示模式切换为触控模式的过程中，触控显示面板的亮度降低或显示功能关闭。

可选地，第一触控操作为选择操作，第一触控操作可以用于头戴显示设备从头戴显示设备所显示的多个第一对象中选择一个对象作为交互对象。在基于第一触控操作从多个第一对象中选择交互对象的过程中，头戴显示设备可以执行以下操作：

头戴显示设备接收智能终端发送的第一触控操作在触控显示面板中的位置信息，根据位置信息与头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为交互对象，多个第一对象由头戴显示设备根据眼动信息在头戴显示设备的显示界面中选择得到。或，头戴显示设备接收智能终端发送的对交互对象的选择指令，根据选择指令从多个第一对象中选择交互对象。

可选地，交互对象可以是窗口，在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，头戴显示设备还可以建立交互对象与触控显示面板的触控区域之间的位置映射关系，该位置映射关系以及第一触控操作可以用于头戴显示设备对交互对象进行相应的操作控制。

可选地，在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，头戴显示设备还可以建立头戴显示设备的显示界面与触控显示面板的触控区域之间的位置映射关系，该位置映射关系以及第一触控操作可以用于头戴显示设备对交互对象进行相应的操作控制。

需要说明的是，本申请实施例提供的头戴显示设备可以实现图1所示实施例中的头戴显示设备的功能，具体现方式可以参见图1所示实施例中相应内容的具体实现方式，这里不再重复说明。

本申请实施例中智能终端可以是智能手机、平板电脑、笔记本电脑、掌上电脑等。头戴显示设备可以是增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备，本申请实施例不作具体限定。

本申请实施例中的智能终端和头戴显示设备可以为具有操作系统的设备。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

图7为实现本申请实施例的一种智能终端的硬件结构示意图。

该智能终端700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，智能终端700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的智能终端结构并不构成对智能终端的限定，智能终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。

处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

图7所示的智能终端中包括显示模式和触控模式，在智能终端从显示模式切换为所述触控模式的过程中，触控显示面板的亮度降低或显示功能关闭；在头戴显示设备与智能终端建立连接，且智能终端处于触控模式的情况下，智能终端接收对触控显示面板的第一触控操作，第一触控操作用于头戴显示设备对头戴显示设备所显示的交互对象进行相应的操作控制。由此，可以通过智能终端的触控显示面板输入触控操作实现对头戴显示设备所显示的交互对象的操作控制，操作灵活度较高，相较于传统的输入方式，通过智能终端输入控制操作的方式能够实时、准确地将用户的操作意图反馈给头戴显示设备，不易受外界因素的影响，因此交互精度和交互效率较高，局限性较小。此外，由于智能终端具有显示模式和触控模式共两个工作模式，在显示模式下，智能终端用于提供显示功能以便用户正常使用智能终端，在触控模式下，智能终端用于作为头戴显示设备的输入设备，因此，可以方便用户灵活地进行模式切换，以使智能终端工作在不同的模式下，从而满足用户的使用需求，进一步的，由于智能终端在从显示模式切换为触控模式的过程中，智能终端的触控显示面板的亮度会降低或直接关闭显示功能，因此，还可以在智能终端作为头戴显示设备的输入设备的情况下，有效降低终端功耗。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (24)

1.一种头戴显示设备的控制系统，其特征在于，包括头戴显示设备和智能终端，所述智能终端包括触控显示面板，所述智能终端具有显示模式和触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭；

在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，所述智能终端接收对所述触控显示面板的第一触控操作；所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制。

2.根据权利要求1所述的头戴显示设备的控制系统，其特征在于，在所述智能终端接收对所述触控显示面板的第一触控操作前，所述头戴显示设备获取眼动信息并根据所述眼动信息在所述头戴显示设备的显示界面中选择多个第一对象；

所述第一触控操作为选择操作，在所述智能终端接收对所述触控显示面板的第一触控操作后，所述头戴显示设备根据所述第一触控操作从所述多个第一对象中选择一个对象作为所述交互对象。

3.根据权利要求2所述的头戴显示设备的控制系统，其特征在于，所述智能终端获取所述第一触控操作在所述触控显示面板中的位置信息，将所述位置信息发送给所述头戴显示设备；所述头戴显示设备根据所述位置信息与所述头戴显示设备的显示界面之间的位置映射关系，从所述多个第一对象中选择一个对象作为所述交互对象；或，

所述智能终端获取所述第一触控操作在所述触控显示面板中的位置信息，根据所述位置信息与所述头戴显示设备的显示界面之间的位置映射关系，从所述多个第一对象中选择一个对象作为所述交互对象，并向所述头戴显示设备发送对所述交互对象的选择指令；所述头戴显示设备根据所述选择指令选择所述交互对象。

4.根据权利要求1所述的头戴显示设备的控制系统，其特征在于，所述交互对象为窗口，在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，还包括：

所述头戴显示设备或所述智能终端建立所述交互对象与所述触控显示面板的触控区域之间的位置映射关系；

其中，所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制，包括：

所述头戴显示设备根据所述第一触控操作以及所述位置映射关系，对所述头戴显示设备所显示的交互对象进行相应的操作控制。

5.根据权利要求4所述的头戴显示设备的控制系统，其特征在于，所述建立所述交互对象与所述触控显示面板的触控区域之间的位置映射关系，包括：

获取所述交互对象的尺寸信息和所述触控区域的尺寸信息；

根据所述交互对象的尺寸信息和所述触控区域的尺寸信息确定第一尺寸比例；

根据所述第一尺寸比例对所述交互对象缩放后建立所述交互对象与所述触控区域之间的所述位置映射关系。

6.根据权利要求4所述的头戴显示设备的控制系统，其特征在于，所述建立所述交互对象与所述触控显示面板的触控区域之间的位置映射关系，包括：

获取所述交互对象的第一特征点在所述头戴显示设备的显示界面中的位置信息，所述第一特征点位于所述交互对象的边界线；

获取所述触控显示面板的第二特征点的位置信息，所述第二特征点位于所述触控区域的边界线；

建立所述第一特征点的位置信息和所述第二特征点的位置信息之间的特征点映射关系，根据所述特征点映射关系建立所述交互对象与所述触控区域之间的所述位置映射关系。

7.根据权利要求6所述的头戴显示设备的控制系统，其特征在于，所述第一特征点包括所述交互对象的四个角点，所述第二特征点包括所述触控区域的四个角点；

所述根据所述特征点映射关系建立所述交互对象与所述触控区域之间的所述位置映射关系，包括：

根据所述特征点映射关系，将所述交互对象所包括的除所述第一特征点以外的部分与所述触控区域所包括的除所述第二特征点以外的部分对应并建立所述位置映射关系。

8.根据权利要求4至7任一项所述的头戴显示设备的控制系统，其特征在于，所述窗口包括多个控件，所述建立所述交互对象与所述触控显示面板的触控区域之间的位置映射关系，还包括：

获取所述多个控件在所述窗口中的位置信息；

根据所述多个控件在所述窗口中的位置信息以及所述位置映射关系，确定所述多个控件与所述触控区域之间的位置映射关系。

9.根据权利要求8所述的头戴显示设备的控制系统，其特征在于，所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制，包括：

所述智能终端获取所述第一触控操作在所述触控显示面板中的位置信息，将所述位置信息发送给所述头戴显示设备；所述头戴显示设备根据所述位置信息以及所述多个控件与所述触控区域之间的位置映射关系，将所述多个控件中与所述位置信息对应的控件作为所述交互对象，并根据所述第一触控操作对所述交互对象进行操作控制；或，

所述智能终端获取所述第一触控操作在所述触控显示面板中的位置信息，根据所述位置信息以及所述多个控件与所述触控区域之间的位置映射关系，将所述多个控件中与所述位置信息对应的控件作为所述交互对象，并向所述头戴显示设备发送对所述交互对象的控制指令；所述头戴显示设备根据所述控制指令对所述交互对象进行操作控制。

10.根据权利要求1所述的头戴显示设备的控制系统，其特征在于，所述交互对象为窗口，在所述智能终端接收对所述触控显示面板的第一触控操作前，所述头戴显示设备根据预设规则将所述窗口划分为多个区域；

其中，所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制，包括：

所述头戴显示设备根据所述第一触控操作从所述多个区域中选择一个区域作为所述交互对象。

11.根据权利要求10所述的头戴显示设备的控制系统，其特征在于，在所述头戴显示设备根据预设规则将所述窗口划分为多个区域的情况下，所述头戴显示设备或所述智能终端建立所述多个区域与所述触控显示面板的触控区域之间的位置映射关系；

其中，所述头戴显示设备根据所述第一触控操作从所述多个区域中选择一个区域作为所述交互对象，包括：

所述头戴显示设备根据所述第一触控操作以及所述位置映射关系从所述多个区域中选择一个区域作为所述交互对象。

12.根据权利要求1所述的头戴显示设备的控制系统，其特征在于，在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，还包括：

所述头戴显示设备或所述智能终端建立所述头戴显示设备的显示界面与所述触控显示面板的触控区域之间的位置映射关系；

其中，所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制，包括：

所述头戴显示设备根据所述第一触控操作以及所述位置映射关系，对所述头戴显示设备所显示的交互对象进行相应的操作控制。

13.根据权利要求12所述的头戴显示设备的控制系统，其特征在于，所述建立所述头戴显示设备的显示界面与所述触控显示面板的触控区域之间的位置映射关系，包括：

获取所述显示界面的尺寸信息和所述触控区域的尺寸信息；

根据所述显示界面的尺寸信息和所述触控区域的尺寸信息确定第二尺寸比例；

根据所述第二尺寸比例对所述显示界面缩放后建立所述显示界面与所述触控区域之间的所述位置映射关系。

14.根据权利要求12所述的头戴显示设备的控制系统，其特征在于，所述建立所述头戴显示设备的显示界面与所述触控显示面板的触控区域之间的位置映射关系，包括：

获取所述显示界面的第三特征点的位置信息，所述第三特征点位于所述显示界面边界线；

获取所述触控显示面板的第四特征点的位置信息，所述第四特征点位于所述触控区域的边界线；

建立所述第三特征点的位置信息和所述第四特征点的位置信息之间的特征点映射关系，根据所述特征点映射关系建立所述显示界面与所述触控区域之间的所述位置映射关系。

15.根据权利要求14所述的头戴显示设备的控制系统，其特征在于，所述第三特征点包括所述显示界面的四个角点，所述第四特征点包括所述触控区域的四个角点；

所述根据所述特征点映射关系建立所述显示界面与所述触控区域之间的所述位置映射关系，包括：

根据所述特征点映射关系，将所述显示界面所包括的除所述第三特征点以外的部分与所述触控区域所包括的除所述第四特征点以外的部分对应并建立所述位置映射关系。

16.根据权利要求12至15任一项所述的头戴显示设备的控制系统，其特征在于，所述显示界面包括多个第二对象，所述建立所述显示界面与所述触控显示面板的触控区域之间的位置映射关系，还包括：

获取所述多个第二对象在所述显示界面中的位置信息；

根据所述多个第二对象在所述显示界面中的位置信息以及所述位置映射关系，确定所述多个第二对象与所述触控区域之间的位置映射关系。

17.根据权利要求4或12所述的头戴显示设备的控制系统，其特征在于，在建立所述位置映射关系的情况下，还包括：

所述智能终端接收对所述触控显示面板的第一指定操作；

所述头戴显示设备根据所述第一指定操作在所述触控显示面板中的位置信息以及所述位置映射关系，在所述头戴显示设备的显示界面或所述交互对象的对应位置处显示位置提示信息。

18.根据权利要求4或12所述的头戴显示设备的控制系统，其特征在于，所述头戴显示设备根据所述第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制，还包括：

获取预定义的快捷操作集合，所述快捷操作集合包括预定义的多个快捷操作及对应的操作目的，针对每个快捷操作，所述快捷操作在所述触控显示面板中的触控位置位于目标区域内、目标区域外和/或目标区域的边界线上，所述目标区域为所述触控显示面板中与所述头戴显示设备的显示界面或所述交互对象具有所述位置映射关系的区域；

在所述第一触控操作为所述快捷操作集合中的快捷操作的情况下，确定与所述第一触控操作对应的第一操作目的；

根据所述第一操作目的对所述交互对象进行相应的操作控制。

19.一种智能终端，其特征在于，包括触控显示面板，所述智能终端具有显示模式和触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭；

在头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，所述智能终端接收对所述触控显示面板的第一触控操作，所述第一触控操作用于所述头戴显示设备对所述头戴显示设备所显示的交互对象进行相应的操作控制。

20.根据权利要求19所述的智能终端，其特征在于，所述第一触控操作为选择操作；所述智能终端获取所述第一触控操作在所述触控显示面板中的位置信息，将所述位置信息发送给所述头戴显示设备；所述位置信息用于所述头戴显示设备从多个第一对象中选择一个对象作为所述交互对象，所述多个第一对象由所述头戴显示设备根据眼动信息在所述头戴显示设备的显示界面中选择得到；或，

所述智能终端获取所述第一触控操作在所述触控显示面板中的位置信息，根据所述位置信息与所述头戴显示设备的显示界面之间的位置映射关系，从所述多个第一对象中选择一个对象作为所述交互对象，并向所述头戴显示设备发送对所述交互对象的选择指令，所述选择指令用于所述头戴显示设备从所述多个第一对象中选择所述交互对象。

21.根据权利要求19所述的智能终端，其特征在于，在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，还包括：

所述智能终端建立所述交互对象与所述触控显示面板的触控区域之间的位置映射关系，所述交互对象为窗口，所述位置映射关系以及所述第一触控操作用于所述头戴显示设备对所述交互对象进行相应的操作控制；和/或

所述智能终端建立所述头戴显示设备的显示界面与所述触控显示面板的触控区域之间的位置映射关系，所述位置映射关系以及所述第一触控操作用于所述头戴显示设备对所述交互对象进行相应的操作控制。

22.一种头戴显示设备，其特征在于，在所述头戴显示设备与智能终端建立连接，且所述智能终端处于触控模式的情况下，所述头戴显示设备根据第一触控操作对所述头戴显示设备所显示的交互对象进行相应的操作控制；

所述第一触控操作为所述智能终端接收到的对所述智能终端的触控显示面板的触控操作，所述智能终端具有显示模式和所述触控模式，在所述智能终端从所述显示模式切换为所述触控模式的过程中，所述触控显示面板的亮度降低或显示功能关闭。

23.根据权利要求22所述的头戴显示设备，其特征在于，所述第一触控操作为选择操作；所述头戴显示设备接收所述智能终端发送的所述第一触控操作在所述触控显示面板中的位置信息，根据所述位置信息与所述头戴显示设备的显示界面之间的位置映射关系，从多个第一对象中选择一个对象作为所述交互对象，所述多个第一对象由所述头戴显示设备根据眼动信息在所述头戴显示设备的显示界面中选择得到；或，

所述头戴显示设备接收所述智能终端发送的对所述交互对象的选择指令，根据所述选择指令从所述多个第一对象中选择所述交互对象。

24.根据权利要求22所述的头戴显示设备，其特征在于，在所述头戴显示设备与所述智能终端建立连接，且所述智能终端处于所述触控模式的情况下，还包括：

所述头戴显示设备建立所述交互对象与所述触控显示面板的触控区域之间的位置映射关系，所述交互对象为窗口，所述位置映射关系以及所述第一触控操作用于所述头戴显示设备对所述交互对象进行相应的操作控制；和/或

所述头戴显示设备建立所述头戴显示设备的显示界面与所述触控显示面板的触控区域之间的位置映射关系，所述位置映射关系以及所述第一触控操作用于所述头戴显示设备对所述交互对象进行相应的操作控制。