CN113282174B - 终端信息显示方法、装置、终端及存储介质 - Google Patents

Abstract

本申请提供一种终端信息显示方法、装置、终端及存储介质，其中，该方法在对用户认证通过后，启动空中成像模块，以基于终端显示屏中显示的画面进行空中成像，上述空中成像模块还具有空中放大成像功能，上述成像高度可调，然后如果获取到用户输入的空中交互请求，则根据该请求，启动空中交互模块实现与用户交互。即本申请实施例基于终端显示屏上显示的画面进行空中成像，还对成像进行放大，调节成像高度等，解决了现有终端设备显示屏较小导致的的用户视力下降、身体出现损伤等问题。而且，本申请实施例无需用户直接接触终端显示屏，减少了用户对终端显示屏的损伤，同时使用户在舒适地观看空中成像画面时可以对画面进行相应操作，满足应用需要。

Description

终端信息显示方法、装置、终端及存储介质

技术领域

本申请涉及空中成像技术领域，尤其涉及一种终端信息显示方法、装置、终端及存储介质。

背景技术

随着经济技术的不断进步，越来越多的用户使用终端设备，例如手机、平板电脑(portable android device，Pad)、点读机和触摸式电脑等，来进行工作或学习。因此，终端设备已经成为人们生活中必不可少的一部分。

当前，用户使用终端设备时，通常直接在终端设备的显示屏上进行相应操作，例如观看视频、制作文件或打游戏等。

但是，由于终端设备的显示屏较小，用户如果长期使用终端设备，可能会出现视力下降的情况，而且，由于终端设备屏幕较小，用户需长期低头查看终端设备显示屏，容易出现一些身体损伤，例如颈椎疼痛。另外，由于用户使用终端设备显示屏的力度较大和频次较多，导致终端设备的屏幕出现一定程度的损伤，影响设备寿命。

发明内容

为解决现有技术中存在的问题，本申请提供一种终端信息显示方法、装置、终端及存储介质。

第一方面，本申请实施例提供一种终端信息显示方法，该方法应用于终端，包括如下步骤：

获取用户的身份标识，并根据所述身份标识对所述用户进行认证；

若所述用户认证通过，则启动空中成像模块，所述空中成像模块用于基于所述终端的显示屏中显示的画面进行空中成像；

在所述显示屏上生成是否进行空中交互的提示；

若获取到所述用户根据所述提示输入的空中交互请求，则根据所述空中交互请求，启动空中交互模块，所述空中交互模块用于识别所述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令；

根据所述交互指令和所述空中成像模块，与所述用户进行交互。

在一种可能的实现方式中，在所述启动空中成像模块之后，还包括：

判断是否接收到所述用户输入的成像高度；

若接收到所述用户输入的成像高度，则获取所述空中成像模块空中成像的当前高度，并根据所述用户输入的成像高度和所述空中成像的当前高度，控制终端支架调节所述空中成像模块和所述显示屏的高度，以调节所述空中成像的高度。

在一种可能的实现方式中，所述空中成像模块包括会聚透镜阵列、平板透镜阵列和空中成像阵列；

所述会聚透镜阵列用于将所述显示屏中显示的画面放大成虚像，所述平板透镜阵列用于将所述虚像放大成实像，所述空中成像阵列用于将所述实像经过至少两次反射后，获得与所述显示屏中显示的画面对应的空中实像。

在一种可能的实现方式中，所述空中成像阵列包括无焦透镜阵列、引起至少两次反射的立体镜阵列，以及组合回射片与半反射镜中任意一个。

在一种可能的实现方式中，在所述根据所述空中交互请求，启动空中交互模块之前，还包括：

对所述空中交互模块进行人脸识别训练、手势识别训练、语音识别训练和体感识别训练中一个或多个；

所述根据所述空中交互请求，启动空中交互模块，包括：

根据所述空中交互请求，启动训练好的空中交互模块。

在一种可能的实现方式中，所述根据所述身份标识对所述用户进行认证，包括：

判断所述身份标识是否为预存的合法用户身份标识中一个；

若所述身份标识为所述预存的合法用户身份标识中一个，则判定所述用户认证通过。

在一种可能的实现方式中，所述显示屏上设有保护膜，所述终端上设有保护壳。

第二方面，本申请实施例提供一种终端信息显示装置，所述装置应用于终端，包括：

认证模块，用于获取用户的身份标识，并根据所述身份标识对所述用户进行认证；

第一启动模块，用于若所述用户认证通过，则启动空中成像模块，所述空中成像模块用于基于所述终端的显示屏中显示的画面进行空中成像；

提示模块，用于在所述显示屏上生成是否进行空中交互的提示；

第二启动模块，用于若获取到所述用户根据所述提示输入的空中交互请求，则根据所述空中交互请求，启动空中交互模块，所述空中交互模块用于识别所述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令；

交互模块，用于根据所述交互指令和所述空中成像模块，与所述用户进行交互。

在一种可能的实现方式中，还包括调节模块，用于在所述第一启动模块启动空中成像模块之后，判断是否接收到所述用户输入的成像高度；

若接收到所述用户输入的成像高度，则获取所述空中成像模块空中成像的当前高度，并根据所述用户输入的成像高度和所述空中成像的当前高度，控制终端支架调节所述空中成像模块和所述显示屏的高度，以调节所述空中成像的高度。

在一种可能的实现方式中，所述空中成像模块包括会聚透镜阵列、平板透镜阵列和空中成像阵列；

所述会聚透镜阵列用于将所述显示屏中显示的画面放大成虚像，所述平板透镜阵列用于将所述虚像放大成实像，所述空中成像阵列用于将所述实像经过至少两次反射后，获得与所述显示屏中显示的画面对应的空中实像。

在一种可能的实现方式中，所述空中成像阵列包括无焦透镜阵列、引起至少两次反射的立体镜阵列，以及组合回射片与半反射镜中任意一个。

在一种可能的实现方式中，所述空中成像模块包括透光层叠体、互相贴合的透明条和凸透镜叠体；

所述第一启动模块，具体用于：

启动所述透光层叠体、所述互相贴合的透明条和所述凸透镜叠体，以实现反射光在所述空中成像模块中传播方向的变换和放大，形成与所述显示屏中显示的画面对应的空中实像。

在一种可能的实现方式中，所述第二启动模块，具体用于：

对所述空中交互模块进行人脸识别训练、手势识别训练、语音识别训练和体感识别训练中一个或多个；

根据所述空中交互请求，启动训练好的空中交互模块。

在一种可能的实现方式中，所述认证模块，具体用于：

判断所述身份标识是否为预存的合法用户身份标识中一个；

若所述身份标识为所述预存的合法用户身份标识中一个，则判定所述用户认证通过。

在一种可能的实现方式中，所述显示屏上设有保护膜，所述终端上设有保护壳。

第三方面，本申请实施例提供一种终端，包括：

空中成像模块；空中交互模块；处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面所述的方法的指令。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行第一方面所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行第一方面所述的方法。

本申请实施例提供的终端信息显示方法、装置、终端及存储介质，该方法通过终端获取用户的身份标识，并根据该身份标识对用户进行认证，在认证通过后，启动空中成像模块，该空中成像模块用于基于终端的显示屏中显示的画面进行空中成像，然后在显示屏上生成是否进行空中交互的提示，如果获取到用户输入的空中交互请求，则根据该空中交互请求，启动空中交互模块，该空中交互模块用于确定相应的交互指令，以与用户进行交互。即本申请实施例基于终端显示屏上显示的画面进行空中成像，解决了现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。而且，本申请实施例通过空中交互模块和空中成像模块实现与用户交互，无需用户直接接触终端显示屏，一定程度上减少了用户对终端显示屏的损伤，同时使用户在舒适地观看空中成像画面时可以对画面进行相应操作，满足应用需要。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种现有用户使用终端的示意图；

图2为本申请实施例提供的终端信息显示系统架构示意图；

图3为本申请实施例提供的一种空中成像示意图；

图4为本申请实施例提供的一种终端信息显示方法的流程示意图；

图5为本申请实施例提供的空中成像模块的组成示意图；

图6为本申请实施例提供的另一种空中成像示意图；

图7为本申请实施例提供的另一种终端信息显示方法的流程示意图；

图8为本申请实施例提供的再一种空中成像示意图；

图9为本申请实施例提供的一种终端信息显示的示意图；

图10为本申请实施例提供的一种终端信息显示装置的结构示意图；

图11为本申请实施例提供的另一种终端信息显示装置的结构示意图；

图12A为本申请提供的一种终端的基本硬件架构示意图；

图12B为本申请提供的另一种终端的基本硬件架构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前随着终端的普及与使用，终端使用越来越普遍，由于游戏等业务使用，终端屏幕较小、用户使用终端时间较长等因素造成近视数量与日俱增，近视呈现低龄化趋势。而且，随着终端的长时间应用，用户使用姿势不正确，例如低头俯看终端屏幕引起颈部“富贵包”出现，颈椎病亦呈现上涨趋势，例如，如图1所示，以终端为手机为例，用户长期低头看手机，导致颈椎不适。另外，终端屏幕为终端故障最高的器件，由于用户触摸屏力度、触摸频次，使得终端屏幕出现一定消耗，给终端屏幕带来的损伤。

为了解决上述问题，本申请实施例提出一种终端信息显示方法，基于终端显示屏上显示的画面进行空中成像，解决了现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。而且，本申请实施例通过空中交互模块和空中成像模块实现与用户的交互，无需用户直接接触终端显示屏，一定程度上减少了用户对终端显示屏的损伤，同时使用户在舒适地观看空中成像画面时可以对画面进行相应操作，满足应用需要。

可选地，本申请提供的一种终端信息显示方法，可以适用于图2所示的终端信息显示系统架构示意图，如图2所示，该系统可以包括处理器21、空中成像模块22和空中交互模块23。这里的终端信息显示系统可以是上述终端本身，或者是实现上述终端的功能的芯片或者集成电路。

可以理解的是，本申请实施例示意的结构并不构成对终端信息显示系统架构的具体限定。在本申请另一些可行的实施方式中，上述架构可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置，具体可根据实际应用场景确定，在此不做限制。图2所示的部件可以以硬件，软件，或软件与硬件的组合实现。

在具体实现过程中，处理器21可以启动空中成像模块22，利用空中成像模块22基于终端的显示屏中显示的画面进行空中成像，解决现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。其中，空中成像模块22可以包括会聚透镜阵列、平板透镜阵列和空中成像阵列，该会聚透镜阵列用于将上述显示屏中显示的画面放大成虚像，上述平板透镜阵列用于将该虚像放大成实像，上述空中成像阵列用于将该实像经过至少两次反射后，获得与上述显示屏中显示的画面对应的空中实像。例如如图3所示，这里，处理器21可以启动空中成像模块22，利用上述会聚透镜阵列、平板透镜阵列和空中成像阵列，形成与终端的显示屏中显示的画面对应的空中实像。

处理器21还可以启动空中交互模块23，用户可以通过空中交互模块23和空中成像模块22与用户实现交互，无需用户直接接触终端显示屏，一定程度上减少了用户对终端显示屏的损伤。而且，空中交互模块23可以识别用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令，从而，处理器21可以根据该交互指令和空中成像模块22，与用户进行交互，使用户在舒适地观看空中成像画面时可以对画面进行相应操作，适合应用。

其中，空中交互模块23中可以采用深度感应技术，内置彩色摄像机、红外发射器和一个麦克风阵列等，实现实时捕捉、检测并跟踪手、手指和类似手指的工具，可感知用户的位置、动作和声音等，实现人脸、手势、语音或体感识别。示例性的，人脸识别可以由空中交互模块23通过建立人像档案、读取人像、前面的两者的比对实现。手势识别可以由空中交互模块23采用右手笛卡尔坐标系实现。语音识别可以由空中交互模块23通过将声音转变成电信号、进行预处理、抽取特征值，与预设语音模型库进行对比等，不断训练后实现。

在本申请实施例中，上述终端可以为手持设备、车载设备、可穿戴设备、计算设备，以及各种形式的用户设备(User Equipment，UE)等。

另外，本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

下面以几个实施例为例对本申请的技术方案进行描述，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图4为本申请实施例提供了一种终端信息显示方法的流程示意图，本实施例的执行主体可以为图2所示实施例中的终端，进一步地，可以为终端中的处理器，如图4所示，该方法可以包括：

S401：获取用户的身份标识，并根据该身份标识对用户进行认证。

这里，上述用户可以理解为使用上述终端的用户。上述处理器在上述用户使用上述终端时，首先获取用户的身份标识，该身份标识可以为用户人脸图像、指纹，或者用户输入的解锁数字、图案等。

示例性的，上述处理器在获取用户的身份标识后，可以判断该身份标识是否为预存的合法用户身份标识中一个。如果上述身份标识为上述预存的合法用户身份标识中一个，则上述处理器判定上述用户认证通过。如果上述身份标识不为上述预存的合法用户身份标识中一个，则上述处理器判定上述用户认证不通过。

其中，上述预存的合法用户身份标识可以为上述用户提前在上述终端中存储的，可以包括用户人脸图像、指纹，或者用户设置的解锁数字、图案等。如果上述身份标识与上述预存的合法用户身份标识中的一个身份标识一样，即上述身份标识为上述预存的合法用户身份标识中一个，说明上述身份标识是合法用户标识，上述处理器判定上述用户认证通过，否则，判定上述用户认证不同通过。

S402：若上述用户认证通过，则启动空中成像模块，该空中成像模块用于基于上述终端的显示屏中显示的画面进行空中成像。

如果上述用户认证通过，则上述处理器可以启动空中成像模块，对上述终端的显示屏中显示的画面进行空中成像。

其中，空中成像模块可以包括会聚透镜阵列、平板透镜阵列和空中成像阵列，该会聚透镜阵列用于将上述显示屏中显示的画面放大成虚像，上述平板透镜阵列用于将该虚像放大成实像，上述空中成像阵列用于将该实像经过至少两次反射后，获得与上述显示屏中显示的画面对应的空中实像。

这里，上述空中成像模块不仅能够基于上述终端的显示屏中显示的画面进行空中成像，而且还具有空中放大成像功能，解决了现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。

示例性的，如图5所示，图中示出光源、会聚透镜阵列(出射光成放大虚像(第一次放大)，其中含对不同波长的光进行调整的消色散透镜阵列)、平板透镜阵列(出射光成放大实像1(第二次放大))和空中成像阵列(光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像2)。

其中，对于会聚透镜阵列：该阵列为多个透镜组合实现超短焦放大及消除校正色差和球差功能。

这里，平板透镜与会聚透镜的中心之间的距离为x，一般选择x满足以下要求：

其中D为会聚透镜的直径，L为平板透镜较短边的边长，F为会聚透镜的焦距，平板透镜和会聚透镜的距离保持在上述要求内，可以保持空气中成像的图像清晰完整。

另外，对于使用场景原因需缩短焦距，实现超短焦放大并校正色差、球差的，可以利用超短焦投影仪技术实现。会透镜阵列包括球面超短焦放大透镜组。

对于平板透镜阵列：该阵列出射光成放大实像(第二次放大)。

对于空中成像阵列：可以利用一种使入射图像的光线产生弯曲的光学成像元件，使光线在光学成像元件中经过至少2次反射后，形成与入射图像对应的空中实像。即从一个表面侧输入的光被反射或折射，并将该目标的图像在另一个表面侧的半空中形成成反转凸凹关系的实像。

示例性的，上述空中成像阵列可以包括无焦透镜阵列、引起至少两次反射的立体镜阵列，以及组合回射片与半反射镜中任意一个。

其中，无焦透镜阵列：入射角和发射角的大小相同，而符号相反的关系，可以是成对出现正反由焦距相等的透镜阵列元件(确保光轴相同)、中间平面的无焦透镜阵列。这里，成对出现正反由焦距相等的透镜阵列元件可以是面包块状透镜陈列，也可以是一个方向上的圆柱透镜阵列。

引起至少两次反射的立体镜阵列：可以是多个立体正方形或者长方形的光学元件，光线可从一个表面穿到另一个表面，也可在每个子单位光学元件内壁的镜面进行两次反射后穿透表面射出；可以是二面角反射镜的光学元件，在每个子单位光学元件外壁的镜面进行两次反射后射出；可以是正交排列的透光层叠体，相邻两层透光层叠体的透明条呈正交排列，错位排放以实现光线传播方向的变换；可以是内部设有多个正交交错层排列、镂空立体长方形的立体长方形光学元件，错位排放以实现光线传播方向的变换；上述均形成了显示图像的单元数量更多、更小的微镜成像结构。

其中，上述立体镜阵列用作空中成像元件，形成图像的光束的入射光束和发射光束之间的关系是相对于平面的法线的入射角和发射角的大小相同，而符号相反。

这里，上述平面中可以设有多个立体正方形或者长方形的光学元件，其允许光从一个表面穿到另一个表面(或从另一个表面穿到这一个表面)。单位光学元件沿着U’轴方向和V’轴方向以矩阵形式排列。在每个单位光学元件中，彼此垂直的内壁表面形成于W轴方向上，且每个内壁表面都实施了镜面处理。其中，本申请实施例设有三维笛卡尔坐标系U’V’W。三维笛卡尔坐标系U’V’W是使U轴和V轴旋转45度且U’V’平面平行于U V平面的坐标系。

另外，上述平面中可以设有多个二面角反射镜的光学元件。或者，上述平面中可以是正交排列的透光层叠体:相邻两层透光层叠体的透明条呈正交排列，以实现光线传播方向的变换，即实现错位排放，形成了显示图像的单元数量更多、更小的微镜成像结构，从而使解析度大大提高，降低系统能耗。或者，上述平面中可以设有多个内部立体长方形镂空、交错排列的立体长方形光学元件。

组合回射片与半反射镜：光线进入到回射片表面的入射角等于由片内部的反射表面反射并从片表面发射出的光的发射角。回射片可以是多个透明立体圆球体，光线经过表面折射、内部反射、表面折射，也可以是立体直角等腰三角形、直角等腰三角形于直线围城的立体表面阵列，光线经过表面折射、内部两次反射、表面折射。

其中，半反射镜把入射光按1：1的比例等分为反射光和透过光。光源经过半反射镜后进入回射片，在内部反射后出射光线经过半反射镜，一部分光线透射形成实像。回射片被设计为光进入到片表面的入射角原则上等于由片内部的反射表面反射并从片表面发射出的光的发射角。

例如光源A经过半反射镜反射，光线进入回射片，经过反射后光线进入半反射镜后透过光形成实像，人眼观察到该实像。

其中，上述回射片可以是多个透明球体，光线经过表面折射、内部反射、表面折射。也可以是三角金字塔或矩形金字塔底表面阵列，半反射镜与回射片组合的光学系统。

另外，如图6所示，空中成像模块可实现抽拉、折叠，终端内层抽出后可反转至显示屏上层，实现终端显示屏中图像的空中成像。

S403：在上述显示屏上生成是否进行空中交互的提示。

在使用终端的过程中，不同用户有不同的需求。例如用户使用终端观看视频，则无需进行交互，如果在制作文件或打游戏等，有频繁地交互需求，因此，为了满足上述不同的需求，上述处理器在终端显示屏上生成是否进行空中交互的提示。

S404：若获取到上述用户根据上述提示输入的空中交互请求，则根据该空中交互请求，启动空中交互模块，该空中交互模块用于识别上述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令。

S405：根据上述交互指令和空中成像模块，与用户进行交互。

这里，如果获取到上述用户根据上述提示输入的空中交互请求，说明用户有交互需求，则上述处理器可以根据上述空中交互请求，启动空中交互模块。该空中交互模块的具体功能可以根据实际情况确定，例如可以利用触控传感、红外激光传感等实现手势等传感，达到运动轨迹、手势解锁等，也可以利用微型摄像头实现人脸识别等。上述空中交互模块识别上述用户的人脸、手势等，并根据识别结果确定相应的交互指令，从而，上述处理器可以根据上述交互指令，与用户实现交互，满足用户的交互需求。

另外，上述显示屏上可以设有保护膜，该保护膜可以为一层带光栅的保护膜，减少阳光直射干扰，杂散光对成像效果干扰等。

上述终端上设有保护壳。该保护壳折叠，一面保护终端后壳，另一面空中成像模块折叠嵌入后壳根据需要折叠反转，与终端显示屏成一定角度，实现空中成像。

本申请实施例通过终端获取用户的身份标识，并根据该身份标识对用户进行认证，在认证通过后，启动空中成像模块，该空中成像模块用于基于终端的显示屏中显示的画面进行空中成像，然后在显示屏上生成是否进行空中交互的提示，如果获取到用户输入的空中交互请求，则根据该空中交互请求，启动空中交互模块，该空中交互模块用于确定相应的交互指令，以与用户进行交互。即本申请实施例基于终端显示屏上显示的画面进行空中成像，解决了现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。而且，本申请实施例通过空中交互模块和空中成像模块实现与用户交互，无需用户直接接触终端显示屏，一定程度上减少了用户对终端显示屏的损伤，同时使用户在舒适地观看空中成像画面时可以对画面进行相应操作，满足应用需要。

这里，本申请实施例在根据上述空中交互请求，启动空中交互模块之前之前，需要对上述空中交互模块训练，以便后续启动训练好的空中交互模块进行相应处理。其中，在训练过程中，上述处理器可以对上述空中交互模块进行人脸识别训练、手势识别训练、语音识别训练和体感识别训练等。以人脸识别训练为例，上述处理器可以将上述参考人脸图像输入上述空中交互模块，然后，根据上述空中交互模块输出的人脸识别结果，以及上述参考人脸图像对应的识别结果，确定识别准确率。如果该识别准确率低于预设准确率阈值，上述处理器可以根据上述识别准确率，调整上述空中交互模块，以提高上述识别准确率，并将调整后的空中交互模块作为新的空中交互模块，重新执行上述将上述参考人脸图像输入空中交互模块的步骤，直到上述识别准确率达到预设准确率阈值，停止训练。

其中，上述参考人脸可以是上述处理器通过终端上的摄像头预先采集获取的，并在采集获取上述参考人脸图像后，记录上述参考人脸图像对应的识别结果，以便后续用于空中交互模块的人脸识别训练。

其它训练，例如手势识别训练、语音识别训练和体感识别训练等，参照上述人脸识别训练，本申请实施例在此不再赘述。

另外，本申请实施例中在启动空中成像模块之后，还可以调节上述空中成像模块和显示屏的高度，以调节上述空中成像的高度，满足多种应用需求。图7为本申请实施例提出的另一种终端信息显示方法的流程示意图。如图7所示，该方法包括：

S701：获取用户的身份标识，并根据该身份标识对上述用户进行认证。

S702：若上述用户认证通过，则启动空中成像模块，该空中成像模块用于基于上述终端的显示屏中显示的画面进行空中成像。

其中，步骤S701-S702参见上述步骤S401-S402的相关描述，此处不再赘述。

S703：判断是否接收到上述用户输入的成像高度。

S704：若接收到上述用户输入的成像高度，则获取上述空中成像模块空中成像的当前高度，并根据上述用户输入的成像高度和上述空中成像的当前高度，控制终端支架调节上述空中成像模块和显示屏的高度，以调节上述空中成像的高度。

这里，用户在使用上述终端时，如果上述空中成像模块形成的空中成像画面的高度不满足需求的成像高度，用户可以在上述终端输入相应的成像高度。

上述处理器在启动空中成像模块进行空中成像后，可以判断是否接收到上述用户输入的成像高度。如果接收到上述用户输入的成像高度，则上述处理器可以获取上述空中成像模块空中成像的当前高度，将该当前高度与上述用户输入的成像高度进行比较。如果比较不一致，上述处理器可以根据上述用户输入的成像高度和上述空中成像的当前高度，控制终端支架调节上述空中成像模块和显示屏的高度，以调节上述空中成像的高度，使得调节后的空中成像的高度等于上述用户输入的成像高度。

示例性的，如图8所示，上述处理器可以利用上述终端支架，实现根据用户视线进行折叠和双向升降(即空中成像模块、终端显示屏同时上升或下降，因空中成像模块与终端显示屏角度在区间(0,90°]，升降需满足成像完整)。

S705：在上述显示屏上生成是否进行空中交互的提示。

S706：若获取到上述用户根据上述提示输入的空中交互请求，则根据该空中交互请求，启动空中交互模块，该空中交互模块用于识别上述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令。

S707：根据上述交互指令和空中成像模块，与用户进行交互。

其中，步骤S705-S707参见上述步骤S403-S405的相关描述，此处不再赘述。

本申请实施例在启动空中成像模块之后，还可以调节上述空中成像模块和显示屏的高度，以调节上述空中成像的高度，满足用户对空中成像高度的多种需求。而且，本申请实施例基于终端显示屏上显示的画面进行空中成像，解决了现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。而且，本申请实施例通过空中交互模块和空中成像模块实现与用户交互，无需用户直接接触终端显示屏，一定程度上减少了用户对终端显示屏的损伤，同时使用户在舒适地观看空中成像画面时可以对画面进行相应操作，满足应用需要。

这里，如图9所示，上述处理器可以首先基于获取的用户身份标识，对用户进行认证。如果认证通过，上述处理器可以启动空中成像模块，以基于终端的显示屏中显示的画面进行空中成像，而且上述空中成像模块还具有空中放大成像功能，解决了现有终端设备显示屏较小导致的用户视力下降、身体出现损伤等问题。然后，上述处理器可以根据用户输入的成像高度，控制终端支架调节空中成像模块和上述显示屏的高度，以调节空中成像的高度，满足用户对空中成像高度的不同需求。而且，上述处理器还可以根据用户输入的空中交互请求，启动空中交互模块，以识别用户的人脸、手势、语音和体感等，并根据识别结果确定相应的交互指令，从而，上述处理器根据上述交互指令，与用户交互，使用户在舒适地观看空中成像画面时可以对画面进行相应操作，适合应用。

对应于上文实施例的终端信息显示方法，图10为本申请实施例提供的终端信息显示装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图10为本申请实施例提供的一种终端信息显示装置的结构示意图，该终端信息显示装置100包括：认证模块1001、第一启动模块1002、提示模块1003、第二启动模块1004以及交互模块1005。这里的终端信息显示装置可以是上述终端本身，或者是实现上述终端的功能的芯片或者集成电路。这里需要说明的是，认证模块、第一启动模块、提示模块、第二启动模块以及交互模块的划分只是一种逻辑功能的划分，物理上两者可以是集成的，也可以是独立的。

其中，认证模块1001，用于获取用户的身份标识，并根据所述身份标识对所述用户进行认证。

第一启动模块1002，用于若所述用户认证通过，则启动空中成像模块，所述空中成像模块用于基于所述终端的显示屏中显示的画面进行空中成像。

提示模块1003，用于在所述显示屏上生成是否进行空中交互的提示。

第二启动模块1004，用于若获取到所述用户根据所述提示输入的空中交互请求，则根据所述空中交互请求，启动空中交互模块，所述空中交互模块用于识别所述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令。

交互模块1005，用于根据所述交互指令和所述空中成像模块，与所述用户进行交互。

在一种可能的实现方式中，所述空中成像模块包括会聚透镜阵列、平板透镜阵列和空中成像阵列；

所述会聚透镜阵列用于将所述显示屏中显示的画面放大成虚像，所述平板透镜阵列用于将所述虚像放大成实像，所述空中成像阵列用于将所述实像经过至少两次反射后，获得与所述显示屏中显示的画面对应的空中实像。

在一种可能的实现方式中，所述空中成像阵列包括无焦透镜阵列、引起至少两次反射的立体镜阵列，以及组合回射片与半反射镜中任意一个。

在一种可能的实现方式中，所述第二启动模块1004，具体用于：

对所述空中交互模块进行人脸识别训练、手势识别训练、语音识别训练和体感识别训练中一个或多个；

根据所述空中交互请求，启动训练好的空中交互模块。

在一种可能的实现方式中，所述认证模块1001，具体用于：

判断所述身份标识是否为预存的合法用户身份标识中一个；

若所述身份标识为所述预存的合法用户身份标识中一个，则判定所述用户认证通过。

在一种可能的实现方式中，所述显示屏上设有保护膜，所述终端上设有保护壳。

本申请实施例提供的装置，可用于执行上述图4方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。

图11为本申请实施例提供的另一种终端信息显示装置的结构示意图。在图10基础上，上述终端信息显示装置100还包括：调节模块1006。

其中，调节模块1006，用于在所述第一启动模块1002启动空中成像模块之后，判断是否接收到所述用户输入的成像高度；

若接收到所述用户输入的成像高度，则获取所述空中成像模块空中成像的当前高度，并根据所述用户输入的成像高度和所述空中成像的当前高度，控制终端支架调节所述空中成像模块和所述显示屏的高度，以调节所述空中成像的高度。

本申请实施例提供的装置，可用于执行上述图7方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。

可选地，图12A和12B示意性地分别提供本申请所述终端的一种可能的基本硬件架构。

参见图12A和12B，终端包括至少一个空中成像模块、空中交互模块、处理器1201以及通信接口1203。进一步可选的，还可以包括存储器1202和总线1204。

其中，终端中，处理器1201的数量可以是一个或多个，图12A和12B仅示意了其中一个处理器1201。可选地，处理器1201，可以是中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)或者数字信号处理器(digital signalprocessor，DSP)。如果终端具有多个处理器1201，多个处理器1201的类型可以不同，或者可以相同。可选地，终端的多个处理器1201还可以集成为多核处理器。

存储器1202存储计算机指令和数据；存储器1202可以存储实现本申请提供的上述终端信息显示方法所需的计算机指令和数据，例如，存储器1202存储用于实现上述终端信息显示方法的步骤的指令。存储器1202可以是以下存储介质的任一种或任一种组合：非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘)，易失性存储器。

通信接口1203可以为所述至少一个处理器提供信息输入/输出。也可以包括以下器件的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。

可选的，通信接口1203还可以用于终端与其它计算设备或者终端进行数据通信。

进一步可选的，图12A和12B用一条粗线表示总线1204。总线1204可以将处理器1201与存储器1202和通信接口1203连接。这样，通过总线1204，处理器1201可以访问存储器1202，还可以利用通信接口1203与其它计算设备或者终端进行数据交互。

在本申请中，终端执行存储器1202中的计算机指令，使得终端实现本申请提供的上述终端信息显示方法，或者使得终端部署上述的终端信息显示装置。

从逻辑功能划分来看，示例性的，如图12A所示，存储器1202中可以包括认证模块1001、第一启动模块1002、提示模块1003、第二启动模块1004以及交互模块1005。这里的包括仅仅涉及存储器中所存储的指令被执行时可以分别实现认证模块、第一启动模块、提示模块、第二启动模块以及交互模块的功能，而不限定是物理上的结构。

一种可能设计，如图12B所示，存储器1202中包括调节模块1006，这里的包括仅仅涉及存储器中所存储的指令被执行时可以实现调节模块的功能，而不限定是物理上的结构。

另外，上述的终端除了可以像上述图12A和12B通过软件实现外，也可以作为硬件模块，或者作为电路单元，通过硬件实现。

本申请提供一种计算机可读存储介质，所述计算机程序产品包括计算机指令，所述计算机指令指示计算设备执行本申请提供的上述终端信息显示方法。

本申请实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行本申请提供的上述终端信息显示方法。

本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口为所述至少一个处理器提供信息输入和/或输出。进一步，所述芯片还可以包含至少一个存储器，所述存储器用于存储计算机指令。所述至少一个处理器用于调用并运行该计算机指令，以执行本申请提供的上述终端信息显示方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

Claims (8)

1.一种终端信息显示方法，其特征在于，所述方法应用于终端，所述方法包括：

获取用户的身份标识，并根据所述身份标识对所述用户进行认证；

若所述用户认证通过，则启动空中成像模块，所述空中成像模块用于基于所述终端的显示屏中显示的画面进行空中成像；

在所述显示屏上生成是否进行空中交互的提示；

若获取到所述用户根据所述提示输入的空中交互请求，则根据所述空中交互请求，启动空中交互模块，所述空中交互模块用于识别所述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令；

根据所述交互指令和所述空中成像模块，与所述用户进行交互；

在所述启动空中成像模块之后，还包括：

判断是否接收到所述用户输入的成像高度；

若接收到所述用户输入的成像高度，则获取所述空中成像模块空中成像的当前高度，并根据所述用户输入的成像高度和所述空中成像的当前高度，控制终端支架调节所述空中成像模块和所述显示屏的高度，以调节所述空中成像的高度；

所述空中成像模块包括会聚透镜阵列、平板透镜阵列和空中成像阵列；

所述会聚透镜阵列用于将所述显示屏中显示的画面放大成虚像，所述平板透镜阵列用于将所述虚像放大成实像，所述空中成像阵列用于将所述实像经过至少两次反射后，获得与所述显示屏中显示的画面对应的空中实像。

2.根据权利要求1所述的方法，其特征在于，所述空中成像阵列包括无焦透镜阵列、引起至少两次反射的立体镜阵列，以及组合回射片与半反射镜中任意一个。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述空中交互请求，启动空中交互模块之前，还包括：

对所述空中交互模块进行人脸识别训练、手势识别训练、语音识别训练和体感识别训练中一个或多个；

所述根据所述空中交互请求，启动空中交互模块，包括：

根据所述空中交互请求，启动训练好的空中交互模块。

4.根据权利要求1所述的方法，其特征在于，所述根据所述身份标识对所述用户进行认证，包括：

判断所述身份标识是否为预存的合法用户身份标识中一个；

若所述身份标识为所述预存的合法用户身份标识中一个，则判定所述用户认证通过。

5.根据权利要求1所述的方法，其特征在于，所述显示屏上设有保护膜，所述终端上设有保护壳。

6.一种终端信息显示装置，其特征在于，所述装置应用于终端，所述装置包括：

认证模块，用于获取用户的身份标识，并根据所述身份标识对所述用户进行认证；

第一启动模块，用于若所述用户认证通过，则启动空中成像模块，所述空中成像模块用于基于所述终端的显示屏中显示的画面进行空中成像；

提示模块，用于在所述显示屏上生成是否进行空中交互的提示；

第二启动模块，用于若获取到所述用户根据所述提示输入的空中交互请求，则根据所述空中交互请求，启动空中交互模块，所述空中交互模块用于识别所述用户的人脸、手势、语音和体感中一种或多种，并根据识别结果确定相应的交互指令；

交互模块，用于根据所述交互指令和所述空中成像模块，与所述用户进行交互；

调节模块，用于在所述启动空中成像模块之后，判断是否接收到所述用户输入的成像高度；若接收到所述用户输入的成像高度，则获取所述空中成像模块空中成像的当前高度，并根据所述用户输入的成像高度和所述空中成像的当前高度，控制终端支架调节所述空中成像模块和所述显示屏的高度，以调节所述空中成像的高度；

所述空中成像模块包括会聚透镜阵列、平板透镜阵列和空中成像阵列；

所述会聚透镜阵列用于将所述显示屏中显示的画面放大成虚像，所述平板透镜阵列用于将所述虚像放大成实像，所述空中成像阵列用于将所述实像经过至少两次反射后，获得与所述显示屏中显示的画面对应的空中实像。

7.一种终端，其特征在于，包括：

空中成像模块；空中交互模块；处理器；

存储器；以及

计算机程序；

其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-5任一项所述的方法的指令。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行权利要求1-5任一项所述的方法。