CN106200917B - 一种增强现实的内容显示方法、装置及移动终端 - Google Patents

Abstract

本发明实施例公开了一种增强现实的内容显示方法、装置及移动终端。该方法包括：检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息；根据目标文本信息确定与目标文本信息相对应的增强内容；在拍摄预览界面显示增强内容。本发明实施例通过采用上述技术方案，可实现在移动终端的应用程序调用摄像头进行拍照时自动根据用户输入的文本信息来确定增强内容并进行显示，所显示的增强内容能够符合用户的预期且节省了用户自主选择增强内容的操作，使增强现实照片的拍摄过程更加简便快捷，提升用户体验。

Description

一种增强现实的内容显示方法、装置及移动终端

技术领域

本发明实施例涉及移动终端技术领域，尤其涉及一种增强现实的内容显示方法、装置及移动终端。

背景技术

增强现实(Augmented Reality，AR)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。

目前，拍照功能已成为移动终端的标准配置，移动终端用户在日常生活中可随手记录下身边的景物及精彩瞬间。普通的拍照模式所拍摄的照片与人眼所见基本相同，许多场景、现象或者事物仅通过对相机参数的调节是拍摄不出来的，如晴天无法拍摄出下雨的场景，乌云密布的夜晚拍不到月亮等等。越来越多的用户不满足于现实场景的拍摄，而是希望在拍照时将更多的元素融合到自己的照片中，使照片更加美观或引人注目。增强现实技术能够满足用户的这种需求，可将虚拟内容作为增强内容与摄像头获取的图像进行叠加，得到增强现实照片。

移动终端的很多应用程序都支持调用摄像头拍照的功能，用户若想要在此类应用程序调用摄像头时拍摄增强现实照片，需要自主选择增强内容，该过程耗时耗力，所以，如何自动确定用户预期的增强内容并呈现给用户成为目前亟待解决的技术问题。

发明内容

本发明实施例的目的是提供一种增强现实的内容显示方法、装置及移动终端，以实现在移动终端中的应用程序调用摄像头进行拍照时自动确定增强内容并进行显示。

第一方面，本发明实施例提供了一种增强现实的内容显示方法，包括：

检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息；

根据所述目标文本信息确定与所述目标文本信息相对应的增强内容；

在拍摄预览界面显示所述增强内容。

第二方面，本发明实施例提供了一种增强现实的内容显示装置，包括：

目标文本信息获取模块，用于检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息；

增强内容确定模块，用于根据所述目标文本信息确定与所述目标文本信息相对应的增强内容；

增强内容显示模块，用于在拍摄预览界面显示所述增强内容。

第三方面，本发明实施例提供了一种移动终端，所述移动终端集成了本发明实施例所述的增强现实的内容显示装置。

本发明实施例中提供的增强现实的内容显示方案，检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息，根据目标文本信息确定相应的增强内容并在拍摄预览界面进行显示。通过采用上述技术方案，可实现在移动终端的应用程序调用摄像头进行拍照时自动根据用户输入的文本信息来确定增强内容并进行显示，所显示的增强内容能够符合用户的预期且节省了用户自主选择增强内容的操作，使增强现实照片的拍摄过程更加简便快捷，提升用户体验。

附图说明

图1为本发明实施例一提供的一种增强现实的内容显示方法的流程示意图；

图2为本发明实施例二提供的一种增强现实的内容显示方法的流程示意图；

图3为本发明实施例三提供的一种优选的增强现实的内容显示方法的流程示意图；

图4a为本发明实施例三提供的第一人机交互界面示意图；

图4b为本发明实施例三提供的第二人机交互界面示意图；

图4c为本发明实施例三提供的第三人机交互界面示意图；

图5为本发明实施例四提供的一种增强现实的内容显示装置的结构框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种增强现实的内容显示方法的流程示意图，该方法可以由增强现实的内容显示装置执行，其中该装置可由软件和/或硬件实现，一般可集成在移动终端中。如图1所示，该方法包括：

步骤101、检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息。

示例性的，本实施例中的移动终端具体可为手机、平板电脑以及数码照相机等配置有摄像头的终端。

示例性的，移动终端中装载的很多应用程序都支持摄像头调用功能，本实施例中的预设应用程序可以是其中的一个或者多个。预设应用程序可由系统默认设置，也可由用户根据个人使用习惯进行设置。示例性的，预设应用程序可以是微博及微信等社交类应用程序；也可以是其他类别的应用程序，如阅读类应用程序、浏览器以及游戏类等应用程序；可以理解的是，预设应用程序也可包括移动终端出厂前装载的照相机应用程序。

示例性的，获取用户输入的目标文本信息，具体可以为：获取在检测到摄像头调用指令之前的预设时长范围内用户在预设应用程序中输入的目标文本信息。其中，预设时长范围可自由设置，如检测到摄像头调用指令时刻之前的5分钟内。这样设置的好处在于，用户在某个预设应用程序中需要发布所拍摄的照片时，一般会对照片的内容进行文字描述，可在用户的文字描述输入完毕后，再控制预设应用程序发出摄像头调用请求，随后获取用户之前输入的文字描述，即目标文本信息，在后续步骤中根据目标文本信息确定增强内容用于增强现实照片的拍摄，可简化照片发布流程，方便用户使用。

此外，获取用户输入的目标文本信息，具体还可以为：显示提示信息(如，“请输入对即将拍摄的照片的文字描述”)，获取用户输入的文本信息。此种获取方式可适用于不需要为照片添加文字描述，而仅需要调用摄像头拍摄增强现实照片的应用程序，用户在看到提示信息后，可直接输入对预想的增强内容的文字描述，以便于移动终端快速确定增强内容。

步骤102、根据目标文本信息确定与目标文本信息相对应的增强内容。

示例性的，增强内容可包括实物图像(如树木、月亮、海滩及吉祥物等实物的图像)、特效(如烟雾效果、蒸汽效果及运动轨迹效果等)和自然现象(如雨、雪、彩虹及太阳光圈等)等虚拟内容。

本步骤中，可对目标文本信息的具体内容进行文本分析，进而得到用户预期的与目标文本信息相对应的增强内容。进行文本分析的目的是为了分析出用户在目标文本信息中想要表达的预期增强内容，只要达到此目的即可，本实施例对具体的分析方式不作具体限定，本领域技术人员可参考文本分析技术自由选择。

步骤103、在拍摄预览界面显示增强内容。

示例性的，在确定好增强内容后，可通过从移动终端本地获取、从远端服务器获取或者从互联网上获取等方式来获取所确定的增强内容，并将获取到的增强内容显示在拍摄预览界面中，供用户查看。此时，增强内容与拍摄预览界面中包含的摄像头实时获取的图像相叠加，可使用户预览增强效果。

本发明实施例一提供的增强现实的内容显示方法，检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息，根据目标文本信息确定增强内容并在拍摄预览界面进行显示。通过采用上述技术方案，可实现在移动终端的应用程序调用摄像头进行拍照时自动根据用户输入的文本信息来确定增强内容并进行显示，所显示的增强内容能够符合用户的预期且节省了用户自主选择增强内容的操作，使增强现实照片的拍摄过程更加简便快捷，提升用户体验。

实施例二

图2为本发明实施例二提供的一种增强现实的内容显示方法的流程示意图，本实施例以上述实施例为基础，对根据目标文本信息确定增强内容的步骤进行了优化，本实施例的方法包括如下步骤：

步骤201、检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息。

步骤202、识别目标文本信息中的特征字符。

示例性的，可对目标文本信息进行分词处理，提取其中的特征字符。特征字符具体可为词语或短句，也可为表情符号等字符。例如，可包括描述人物、物品、地点或场景等名词，可包括描述效果或心情的形容词等，可包括有助于分析文本含义的关联词及叹词等，还可包括笑脸、太阳、咖啡杯等聊天用语中的表情符号。

步骤203、根据所识别出的特征字符确定与特征字符相对应的增强内容。

根据所识别出的特征字符确定与所述特征字符相对应的增强内容具体方式可以有很多种，本实施例不作具体限定，下面给出两种具体实现方式作为示意性说明。

第一种、获取当前拍摄环境的真实信息；将所识别出的特征字符与真实信息进行比较，并根据比较结果确定与特征字符相对应的增强内容。

当前拍摄环境的真实信息具体可包括用户的当前地理位置、实时天气信息及当前时间信息等，还可包括摄像头获取的实时图像信息。可将所识别出的特征字符与真实信息进行比较，得出不一致的信息，根据不一致的信息确定增强内容。

例如，目标文本信息中包含了“海边”或“沙滩”等特征字符，而根据当前的用户位置信息得知此时用户并不在海边，则可将“海边”或“沙滩”确定为增强内容。又如，目标文本信息中包含了“雨天”或“下雨”等特征字符，而根据实时天气信息得知此时为晴天，则可将“雨”确定为增强内容；再如，目标文本信息中包含了“月亮”或“霓虹灯”等特征字符，而根据当前时间信息确定当前为夜晚，则可将“月亮”或“霓虹灯”等内容确定为增强内容。

示例性的，可控制摄像头捕捉至少一帧预览图像，对至少一帧预览图像中包含的景物等信息进行识别，得到当前拍摄环境的真实信息。例如，目标文本信息中包含了“柳树”这个特征字符，而预览图像中未包含柳树，则可将柳树确定为增强内容。

第二种、若所识别出的特征字符为多个，则分析各特征字符之间的关联，得到关联信息；根据关联信息确定与特征字符相对应的增强内容。

例如，目标文本信息为“天气太热，要是下雨就好了”，其中包含了“要是……就好了”假设类关联词的特征字符，“下雨”处于两个词语之间，可判断出当前并未下雨，用户希望拍摄下雨的场景，则可将“雨”确定为增强内容；又如，目标文本信息为“我家的小狗脸红了”，其中包含了“小狗”和“脸红”的特征字符，可根据两者的关系判断出需要为小狗添加脸红的效果，所以将脸红效果确定为增强内容。

优选的，为了提高确定增强内容的准确度，可将上述两种方式结合起来进行判断，即：若所识别出的特征字符为多个，则分析各特征字符之间的关联，得到关联信息，获取当前拍摄环境的真实信息；将所识别出的特征字符与真实信息进行比较，并根据比较结果和关联信息确定与特征字符相对应的增强内容。

步骤204、在拍摄预览界面显示增强内容。

示例性的，在拍摄预览界面显示增强内容之后，还可根据接收到的预设调整指令对增强内容的属性信息进行调整。属性信息可包括在拍摄预览界面上的显示位置、显示尺寸、颜色和透明度中的至少一个。示例性的，预设调整指令可以是用户在移动终端屏幕上的手势操作，如对增强内容的拖动、缩放等；还可以是用户对增强内容进行点选以触发属性列表的弹出，再在属性列表中进行选择或者输入属性内容等一系列操作对应的调整指令。

优选的，在步骤203中，还可根据所识别出的特征字符确定增强内容对应的增强目标，在拍摄预览界面显示增强内容时，若在拍摄预览界面中识别到增强目标，则获取增强目标在拍摄预览界面中的位置信息，并根据该位置信息确定增强内容在拍摄预览界面中的显示位置。

本发明实施例在上述实施例的基础上，对根据目标文本信息确定增强内容的步骤进行了优化，进一步提高了确定增强内容的准确率及效率。

在上述实施例的基础上，在拍摄预览界面显示所述增强内容之后，还可包括：在接收到拍照指令时，将摄像头捕捉的图像与所述增强内容进行叠加处理并生成增强现实照片；将增强现实照片返回至所述预设应用程序。示例性的，用户可通过改变移动终端的位置来调整拍摄预览界面中的真实拍摄内容，当拍摄预览界面中的真实拍摄内容与增强内容的结合效果符合用户要求时，可通过点击拍照按键进行拍照，移动终端在根据拍照指令生成增强现实照片后，将增强现实照片返回至所述预设应用程序，以使预设应用程序进行后续的照片发布等操作。

实施例三

图3为本发明实施例三提供的一种优选的增强现实的内容显示方法的流程示意图，本实施例以预设应用程序为社交类应用程序为例进行说明，本实施例的方法包括如下步骤：

步骤301、检测到社交应用程序的摄像头调用指令时，获取用户在社交应用程序中输入的用户交互信息或用户评论信息。

示例性的，社交应用程序具体可为微信、微博或QQ等应用程序。用户交互信息可包括用户在社交应用程序中与其他用户之间的聊天信息，还可包括用户在发布朋友圈或者微博时对即将拍摄的照片的描述信息。用户评论信息可包括用户对即将拍摄的照片的文字描述。

步骤302、识别用户交互信息或用户评论信息中的特征字符。

步骤303、根据所识别出的特征字符确定与特征字符相对应的增强内容。

步骤304、在拍摄预览界面显示增强内容。

步骤305、在接收到拍照指令时，将摄像头捕捉的图像与增强内容进行叠加处理并生成增强现实照片。

步骤306、将增强现实照片返回至社交应用程序。

下面以在手机中的社交应用程序的朋友圈发布照片为例进行说明，图4a为本发明实施例三提供的第一人机交互界面示意图，如图4a所示，用户进入朋友圈界面，选择新增发布按钮(如图中的圆圈按钮)，会弹出文本框，用户在文本框中输入对即将发布的照片的文字描述，如“刚下过雨，天空很蓝，要是能看到彩虹就好了”，然后点击相机按钮，该社交应用程序会发出摄像头调用请求，移动终端在检测到该社交应用程序的摄像头调用指令时，获取用户输入的文字描述，根据文字描述确定增强内容，例如，识别到“要是……就好了”、“彩虹”可初步判断增强内容为彩虹，再控制摄像头获取缓存图像，识别出缓存图像中并未出现彩虹，仅有一个房子，则可最终将彩虹确定为增强内容，从手机本地、远程服务器或网络上获取彩虹图案作为增强内容，并在拍摄预览界面中显示。图4b为本发明实施例三提供的第二人机交互界面示意图，如图4b所示，作为增强内容的彩虹和作为真实景物的房子同时显示在拍摄预览界面中，当用户点击拍照按钮后，手机即可生成包含彩虹和房子的增强现实照片。图4c为本发明实施例三提供的第三人机交互界面示意图，如图4c所示，手机将增强现实照片返回至该社交应用程序，在朋友圈中发布方才拍摄的增强现实照片。

实施例四

图5为本发明实施例四提供的一种增强现实的内容显示装置的结构框图，该装置可由软件和/或硬件实现，一般集成在移动终端中，可通过执行增强现实的内容显示方法来显示增强内容。如图5所示，该装置包括目标文本信息获取模块501、增强内容确定模块502和增强内容显示模块503。

其中，目标文本信息获取模块501，用于检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息；增强内容确定模块502，用于根据所述目标文本信息确定与所述目标文本信息相对应的增强内容；增强内容显示模块503，用于在拍摄预览界面显示所述增强内容。

本发明实施例提供的增强现实的内容显示装置可实现在移动终端的应用程序调用摄像头进行拍照时自动根据用户输入的文本信息来确定增强内容并进行显示，所显示的增强内容能够符合用户的预期且节省了用户自主选择增强内容的操作，使增强现实照片的拍摄过程更加简便快捷，提升用户体验。

在上述实施例的基础上，获取用户输入的目标文本信息，可包括：获取在检测到所述摄像头调用指令之前的预设时长范围内用户在所述预设应用程序中输入的目标文本信息。

在上述实施例的基础上，所述增强内容确定模块可包括特征字符识别单元和增强内容确定单元。其中，特征字符识别单元，用于识别所述目标文本信息中的特征字符；增强内容确定单元，用于根据所识别出的特征字符确定与所述特征字符相对应的增强内容。

在上述实施例的基础上，所述增强内容确定单元可包括真实信息获取子单元和第一增强内容确定子单元。其中，真实信息获取子单元，用于获取当前拍摄环境的真实信息；第一增强内容确定子单元，用于将所识别出的特征字符与所述真实信息进行比较，并根据比较结果确定与所述特征字符相对应的增强内容。

在上述实施例的基础上，所述增强内容确定单元可包括关联分析子单元和第二增强内容确定子单元。其中，关联分析子单元，用于在所识别出的特征字符为多个时，分析各特征字符之间的关联，得到关联信息；第二增强内容确定子单元，用于根据所述关联信息确定与特征字符相对应的增强内容。

在上述实施例的基础上，该装置还可包括照片生成模块和照片返回模块。其中，照片生成模块，用于在拍摄预览界面显示所述增强内容之后，当接收到拍照指令时，将摄像头捕捉的图像与所述增强内容进行叠加处理并生成增强现实照片；照片返回模块，用于将所述增强现实照片返回至所述预设应用程序。

在上述实施例的基础上，所述预设应用程序包括社交类应用程序，所述目标文本信息包括用户交互信息和用户评论信息中的至少一种。

实施例五

本实施例五提供了一种移动终端，该移动终端包括本发明实施例中所述的增强现实的内容显示装置，可通过执行增强现实的内容显示方法来进行增强内容的显示。

示例性的，本实施例中的移动终端具体可为手机、平板电脑以及数码照相机等配置有摄像头的终端，优选为智能手机。

当用户使用本实施例中的移动终端时，移动终端可在应用程序调用摄像头进行拍照时自动根据用户输入的文本信息来确定增强内容并进行显示，所显示的增强内容能够符合用户的预期且节省了用户自主选择增强内容的操作，使增强现实照片的拍摄过程更加简便快捷，提升用户体验。

上述实施例中提供的增强现实的内容显示装置及移动终端可执行本发明任意实施例所提供的增强现实的内容显示方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的增强现实的内容显示方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种增强现实的内容显示方法，其特征在于，包括：

检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息；其中，所述预设应用程序包括社交类应用程序，所述目标文本信息包括用户交互信息和用户评论信息中的至少一种；

识别所述目标文本信息中的特征字符；

根据所识别出的特征字符确定与所述特征字符相对应的增强内容；

在拍摄预览界面显示所述增强内容；

其中，根据所识别出的特征字符确定与所述特征字符相对应的增强内容，具体包括：

获取当前拍摄环境的真实信息；

将所识别出的特征字符与所述真实信息进行比较，并根据比较结果确定与所述特征字符相对应的增强内容。

2.根据权利要求1所述的方法，其特征在于，获取用户输入的目标文本信息，包括：

获取在检测到所述摄像头调用指令之前的预设时长范围内用户在所述预设应用程序中输入的目标文本信息。

3.根据权利要求1所述的方法，其特征在于，根据所识别出的特征字符确定与所述特征字符相对应的增强内容，包括：

若所识别出的特征字符为多个，则分析各特征字符之间的关联，得到关联信息；

根据所述关联信息确定与特征字符相对应的增强内容。

4.根据权利要求1所述的方法，其特征在于，在拍摄预览界面显示所述增强内容之后，还包括：

在接收到拍照指令时，将摄像头捕捉的图像与所述增强内容进行叠加处理并生成增强现实照片；

将所述增强现实照片返回至所述预设应用程序。

5.一种增强现实的内容显示装置，其特征在于，包括：

目标文本信息获取模块，用于检测到预设应用程序的摄像头调用指令时，获取用户输入的目标文本信息；其中，所述预设应用程序包括社交类应用程序，所述目标文本信息包括用户交互信息和用户评论信息中的至少一种；

增强内容确定模块，用于根据所述目标文本信息确定与所述目标文本信息相对应的增强内容；

增强内容显示模块，用于在拍摄预览界面显示所述增强内容；

其中，所述增强内容确定模块包括：

特征字符识别单元，用于识别所述目标文本信息中的特征字符；

增强内容确定单元，用于根据所识别出的特征字符确定与所述特征字符相对应的增强内容，所述增强内容确定单元包括：

真实信息获取子单元，用于获取当前拍摄环境的真实信息；

第一增强内容确定子单元，用于将所识别出的特征字符与所述真实信息进行比较，并根据比较结果确定与所述特征字符相对应的增强内容。

6.根据权利要求5所述的装置，其特征在于，获取用户输入的目标文本信息，包括：

获取在检测到所述摄像头调用指令之前的预设时长范围内用户在所述预设应用程序中输入的目标文本信息。

7.根据权利要求5所述的装置，其特征在于，所述增强内容确定单元包括：

关联分析子单元，用于在所识别出的特征字符为多个时，分析各特征字符之间的关联，得到关联信息；

第二增强内容确定子单元，用于根据所述关联信息确定与特征字符相对应的增强内容。

8.根据权利要求5所述的装置，其特征在于，还包括：

照片生成模块，用于在拍摄预览界面显示所述增强内容之后，当接收到拍照指令时，将摄像头捕捉的图像与所述增强内容进行叠加处理并生成增强现实照片；

照片返回模块，用于将所述增强现实照片返回至所述预设应用程序。

9.一种移动终端，其特征在于，所述移动终端集成了如权利要求5-8任一所述的增强现实的内容显示装置。