CN115714877B - 一种多媒体信息处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种多媒体信息处理方法、装置、电子设备和存储介质，属于影像信息智能展示技术领域。该方法的具体实施方式包括：响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合；呈现所述第一用户场景图像集合；响应于检测到针对所述第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；以及播放所述第一用户场景图像回顾视频，该实施方式丰富了场所信息展示电子设备的功能多样性，也提高了用户与该场所之间的用户粘性。

Description

一种多媒体信息处理方法、装置、电子设备和存储介质

技术领域

本发明涉及影像信息智能展示技术领域，具体为一种多媒体信息处理方法、装置、电子设备和存储介质。

背景技术

目前，大多场所都提供该场所的宣传指示，例如通过固定物品或者电子设备展示来完成；然而即使通过电子设备来展示，功能也往往比较单一，例如仅展示该场所涉及的哪些地址单元，该地址单元的具体介绍信息等等，在显示场景中，固定模式的展示设备无法精准定位到每个人的需求，即使是所谓的智能设备也只能依靠预设的程序进行相应的多媒体信息展示，在面对较为复杂的现场情况，如人机互动或是关联信息检索等，传统的电子展示设备就很难准确捕捉现场情况，难以精准识别获取使用者的需求和基本信息，对应的展示服务及关联服务就无法做到精准服务，所以如何解决上述提出的问题，成为当前急需解决的难题。

发明内容

本发明的目的在于提供一种通过在检测到第一用户希望回顾该第一用户在该场所的视频生成请求情况下，利用该第一用户在该场所的用户图像生成相应回顾视频并播放，丰富了场所信息展示电子设备的功能多样性，也提高了用户与该场所之间用户黏性的多媒体信息处理方法、装置、电子设备和存储介质。

为实现上述目的，本发明提供如下技术方案：一种多媒体信息处理方法，应用于影像智能展示，其包括响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合；呈现所述第一用户场景图像集合；响应于检测到针对所述第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；以及播放所述第一用户场景图像回顾视频。

作为优选，方法还包括：响应于检测到针对所述第一用户场景图像回顾视频和目标导出地址的导出操作，将所述第一用户场景图像回顾视频发送给所述目标导出地址对应的电子设备。

作为优选，第一用户标识是通过如下方式得到的：接收第一用户输入的姓名关键词；在用户信息数据库中查询与所述姓名关键词匹配的用户信息；将查询到的用户信息对应的用户标识确定为所述第一用户标识。

作为优选，第一用户标识是通过如下方式得到的：获取实时采集的用户照片；将所述用户照片与用户多媒体数据库中的用户图像进行匹配；响应于存在与所述用户照片匹配的用户图像，将与所述用户照片匹配的用户图像对应的用户标识确定为所述第一用户标识。

作为优选，方法还包括：响应于不存在与所述用户照片匹配的用户图像，呈现用于指示所述第一用户现场拍摄照片后再次生成回顾视频的第一提示信息。

作为优选，方法还包括：响应于检测到第二用户针对第二用户图像和目标场景图像的图像合成操作，提取所述第二用户图像中的人脸图像，以及将所提取的人脸图像合并到所述目标场景图像中，生成第二用户场景图像；呈现所述第二用户场景图像。

作为优选，目标场景图像是通过如下方式得到的：呈现预设场景图像集合中各场景图像；响应于检测第二用户针对所呈现的各场景图像中场景图像的选择操作，将所选中的场景图像确定为所述目标场景图像。

作为优选，第二用户图像是通过如下方式得到的：获取摄像头实时采集图像作为第二用户图像；或者获取第二用户上传的图像作为第二用户图像。

作为优选，方法还包括：将所述第二用户场景图像和所述第二用户标识对应存储到所述用户多媒体数据库中。

作为优选，方法还包括：响应于检测到视频播放请求，呈现视频播放目录界面；响应于检测到针对所述视频播放目录界面中目标视频的播放请求，获取以及播放所述目标视频。

作为优选，包括：获取单元，被配置成响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合；呈现单元，被配置成呈现所述第一用户场景图像集合；生成单元，被配置成响应于检测到针对所述第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；播放单元，被配置成以及播放所述第一用户场景图像回顾视频。

作为优选，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

作为优选，计算机程序被一个或多个处理器执行时实现如权利要求1-10中任一所述的方法。

与现有技术相比，本发明的有益效果是：

(1)本发明通过将配套硬件及数据处理方法软件整合在一起，有效提高了现有社交场所信息展示设备的功能多样性，通过在检测识别到第一用户基本信息，再通过获取第一用户的意图及指令，在获取第一用户希望回顾其在该场所的视频生成请求情况下，利用该第一用户在该场所的用户图像生成相应回顾视频并播放，本发明丰富了场所信息展示电子设备的功能多样性，也提高了用户与该场所之间的用户粘性。

(2)本发明所涉及的多媒体信息处理方法配备对应硬件设施能够通过视频图像设备获取第一用户的基本信息，之后综合应用场景，结合网络，根据第一用户手动输入的指令信息又或是通过声音语言、肢体语言等沟通获取第一用户的需求方向，以便于提供对应的服务。

(3)本发明适用场所不仅限于来访者原、现工作单位、工作场所，还可用于会议中心影像介绍、商场智能引导以及样品展示展览的宣传介绍等，如对所有曾经工作或者来访过本单位或本工作场所的原员工、现员工，短期服务人员、重要来宾，实现“人过留名雁过留声”的时光回忆效果。

附图说明

图1为本发明一个示例性系统架构图；

图2为多媒体信息处理方法的一个实施例的流程图；

图3为多媒体信息处理装置的一个实施例的结构示意图；

图4为本发明实施例的电子设备的计算机系统的结构示意

图中：101、手机终端；102、平板终端；103、电脑终端；104、网络；105、服务器；201、步骤一；202、步骤二；203、步骤三；204、步骤四；205、步骤五；206、步骤六；207、步骤七；208、步骤八；209、步骤九；210、步骤十；301、获取单元；302、呈现单元；303、生成单元；304、播放单元；401、处理装置；402、ROM；403、RAM；404、通过总线；405、接口；406、输入装置；407、输出装置；408、存储装置；409、通信装置。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应作广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一：

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105；网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质；网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等；终端设备101、102、103上可以安装有各种通讯客户端应用，例如自然语言处理类应用、语音识别类应用、数据库应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件；当终端设备101、102、103为硬件时，可以是具有声音采集设备、视频采集设备和显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的终端设备中；其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。

在一些情况下，提供的多媒体信息处理方法可以由终端设备101、102、103执行，相应地，多媒体信息处理装置可以设置于终端设备101、102、103中；这时，系统架构100也可以不包括服务器105；在一些情况下，提供的多媒体信息处理方法可以由终端设备101、102、103和服务器105共同执行，例如，检测到针对第一用户标识的视频生成请求、呈现所述第一用户场景图像集合等步骤可以由终端设备101、102、103执行，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合等步骤可以由服务器105执行；相应地，多媒体信息处理装置也可以分别设置于终端设备101、102、103和服务器105中。

需要说明的是，服务器105可以是硬件，也可以是软件；当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；当服务器105为软件时，可以实现成多个软件或软件模块也可以实现成单个软件或软件模块；应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的；根据实现需要，可以具有任意数目的终端设备、网络和服务器。

实施例二：

如图2所示，其示出了根据多媒体信息处理方法的一个实施例的流程200；该多媒体信息处理方法包括以下步骤：

步骤201，响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取第一用户标识对应的第一用户场景图像集合。

在本实施例中，多媒体信息处理方法的执行主体，可以在检测到针对第一用户标识的视频生成请求的情况下，在用户多媒体数据库中获取第一用户标识对应的第一用户场景图像集合。

用户多媒体数据库中对应存储有用户标识和相应用户标识所指示用户的用户多媒体数据；用户图像可以是用户在上述执行主体对应终端设备所在场所的多媒体数据；多媒体数据例如可以是图像或视频。

第一用户标识可以是采用各种方式确定的；第一用户标识可以是通过如下方式确定的：首先，接收第一用户输入的姓名关键词；其次，在用户信息数据库中查询与姓名关键词匹配的用户信息。

用户信息数据库存储有用户标识和姓名之间的对应关系；最后，将查询到的用户信息对应的用户标识确定为第一用户标识；通过该方式，用户不需记住自己的用户标识，只需要输入姓名关键词即可，减少用户操作复杂度；第一用户标识也可以是通过如下方式确定的：首先，获取实时采集的用户照片。

可以从与上述执行主体通信连接的摄像头实时采集用户照片；其次，将用户照片与用户多媒体数据库中的用户图像进行匹配；最后，响应于存在与用户照片匹配的用户图像，将与用户照片匹配的用户图像对应的用户标识确定为第一用户标识；通过该可选方式，采用人脸图像身份验证，可以提高对用户进行身份验证的安全性。

当上述在将用户照片与用户多媒体数据库中的用户图像进行匹配的过程中，如果不存在与用户照片匹配的用户图像，呈现用于指示第一用户现场拍摄照片后再次生成回顾视频的第一提示。

步骤202，呈现第一用户场景图像集合；上述执行主体可以在步骤201中获取到第一用户场景图像集合以后，呈现第一用户场景图像集合；例如可以在上述执行主体连接的显示装置上呈现第一用户场景图像集合。

步骤203，响应于检测到针对第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频。

上述执行主体在步骤202中呈现第一用户场景图像集合时，还可以针对所呈现的第一用户场景图像进行选中操作。

如果检测到针对第一用户场景图像集合中至少一个第一用户场景图像的选中操作，可以基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；可以采用各种基于图像生成视频的方法，本申请对此不作具体限定。

步骤204，播放第一用户场景图像回顾视频；在一些实施方式中，上述执行主体还可以在执行完步骤204以后，执行以下步骤205。

步骤205，响应于检测到针对第一用户场景图像回顾视频和目标导出地址的导出操作，将第一用户场景图像回顾视频发送给目标导出地址对应的电子设备；目标导出地址可以是各种地址；例如，可以是电子邮箱地址；或者是上述执行主体所在电子设备本地的具体文件夹地址等；通过步骤205，可以实现将第一用户场景图像回顾视频按照指定地址进行导出，更加丰富了上述多媒体信息处理的功能；一些实施方式中，上述执行主体还可以在执行完步骤204以后，执行以下步骤206和步骤207。

步骤206，响应于检测到第二用户针对第二用户图像和目标场景图像的图像合成操作，提取第二用户图像中的人脸图像，以及将所提取的人脸图像合并到目标场景图像中，生成第二用户场景图像；第二用户图像例如可以是包括第二用户人脸图像的图像；目标场景图像可以是上述执行主体所在地理位置对应场所内不同场景的场景图像。

步骤207，呈现第二用户场景图像；通过该可选方式，通过步骤206，可以将用户人脸图像合并到目标场景图像中，进而向用户呈现第二用户到达目标场景的图像，达到用户身临其境的感受。

目标场景图像可以是通过如下方式得到的：首先，呈现预设场景图像集合中各场景图像；预设场景图像集合中的场景图像可以是上述执行主体所在地理位置对应场所内不同场景的场景图像；然后，响应于检测第二用户针对所呈现的各场景图像中场景图像的选择操作，将所选中的场景图像确定为目标场景图像；即通过该可选方式第二用户可以在预设场景图像集合中选定目标场景图像。

第二用户图像可以是通过如下方式得到的：

获取摄像头实时采集图像作为第二用户图像，或者获取第二用户上传的图像作为第二用户图像；通过该可选方式，第二用户可以采用多种方式指定其用户图像，以方便后续用于生成第二用户场景图像；在一些实施方式中，上述执行主体还可以在执行完步骤207以后，执行以下步骤208。

步骤208，将第二用户场景图像和第二用户标识对应存储到用户多媒体数据库中；通过步骤208，可以把步骤207中生成的第二用户场景图像也对应存储到用户多媒体数据库，方便第二用户后续查阅；在一些实施方式中，上述执行主体还可以执行以下步骤209和步骤210.

步骤209，响应于检测到视频播放请求，呈现视频播放目录界面。

步骤210，响应于检测到针对视频播放目录界面中目标视频的播放请求，获取以及播放目标视频。

视频播放目录界面中关联有上述执行主体所在地理位置对应场所相关联的视频。进而，用户可以在其中选择该场所有关视频内容进行播放，以方便用户对该场所通过视频进行了解，丰富上述执行主体所在电子设备的功能。

通过在检测到第一用户希望回顾该第一用户在该场所的视频生成请求情况下，利用该第一用户在该场所的用户图像生成相应回顾视频并播放，丰富了场所信息展示电子设备的功能多样性，也提高了用户与该场所之间的用户粘性。

实施例三：

作为对上述各图所示方法的实现，提供了一种多媒体信息处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，多媒体信息处理装置300包括：获取单元301、呈现单元302、生成单元303和播放单元304。其中，获取单元301，被配置成响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合；呈现单元302，被配置成呈现所述第一用户场景图像集合；生成单元303，被配置成响应于检测到针对所述第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；播放单元304，被配置成以及播放所述第一用户场景图像回顾视频；

在本实施例中，多媒体信息处理装置300的获取单元301、呈现单元302、生成单元303和播放单元304的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203和步骤204的相关说明。

实施例四：

其示出了适于用来实现电子设备的计算机系统400的结构示意图。

如图4所示，计算机系统400可以包括处理装置401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理；在RAM403中，还存储有计算机系统400操作所需的各种程序和数据。

处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409；通信装置409可以允许计算机系统400与其他设备进行无线或有线通信以交换数据；虽然图4示出了具有各种装置的电子设备的计算机系统400，但是应理解的是，并不要求实施或具备所有示出的装置；可以替代地实施或具备更多或更少的装置。

实施例五：

硬件展示设施具备视频影像显示功能、声音及图像数据采集功能、联网数据处理及反馈功能，硬件展示设施通过摆放在指定区域位置，使用者通过声音、开关按键或者触屏对硬件展示设施进行唤醒，硬件展示设施通过拍照获取使用者影像信息，之后硬件展示设施通过联网对接后台数据库进行图像信息比对，结合使用者的声纹比对，获取使用者的真实身份，在特定场合下还可以通过肢体动作获取使用者的需求及意图。

所述后台数据库的图像信息和声纹信息各保留十项基础数据，必要的时候基础数据可以选择扩容，即基础数据不仅限十项，基础数据细分为至少三项基础数据、三项常用基础数据以及四项日常更新数据，所述基础数据如证件照等，所述常用基础数据如工作照，所述日常更新数据如识别的影像信息如生活照，为保证数据的真实有效，日常更新数据采用递进更新设置，即最新识别的影响数据信息替换之前的数据信息，声纹数据识别同理，识别过程中将十项或更多数据放在一起进比对，相似度低的数据直接被新的数据替换掉，替换掉的数据存入后台数据库。

除上述主动识别外，使用者还可以通过手动输入人名进行数据检索查询，之后根据个人信息栏，进行需求选取。

选取图像信息播放，硬件展示设施开始播放使用者的视频及图像短片，期间伴随音乐，如xx同志：热烈欢迎您光临第一巡回法庭；下面播放我们为您制作的您在第一巡回法庭期间的工作照片；让我们共同纪念工作时刻，回忆美好时光；然后有一个两三分钟的照片连续滚动播放，配轻音乐；播放完毕后，语音与屏幕同时提示：继续播放按1，下载到u盘纪念按2，退出接3。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种多媒体信息处理方法，应用于影像智能展示，其特征在于：包括响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合；呈现所述第一用户场景图像集合；响应于检测到针对所述第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；以及播放所述第一用户场景图像回顾视频；

所述方法还包括：响应于检测到针对所述第一用户场景图像回顾视频和目标导出地址的导出操作，将所述第一用户场景图像回顾视频发送给所述目标导出地址对应的电子设备；

所述第一用户标识是通过如下方式得到的：接收第一用户输入的姓名关键词；在用户信息数据库中查询与所述姓名关键词匹配的用户信息；将查询到的用户信息对应的用户标识确定为所述第一用户标识；或者所述第一用户标识是通过如下方式得到的：获取实时采集的用户照片；将所述用户照片与用户多媒体数据库中的用户图像进行匹配；响应于存在与所述用户照片匹配的用户图像，将与所述用户照片匹配的用户图像对应的用户标识确定为所述第一用户标识；

所述方法还包括：响应于不存在与所述用户照片匹配的用户图像，呈现用于指示所述第一用户现场拍摄照片后再次生成回顾视频的第一提示信息。

2.根据权利要求1所述的方法，其特征在于：所述方法还包括：响应于检测到第二用户针对第二用户图像和目标场景图像的图像合成操作，提取所述第二用户图像中的人脸图像，以及将所提取的人脸图像合并到所述目标场景图像中，生成第二用户场景图像；呈现所述第二用户场景图像。

3.根据权利要求2所述的方法，其特征在于：所述目标场景图像是通过如下方式得到的：呈现预设场景图像集合中各场景图像；响应于检测第二用户针对所呈现的各场景图像中场景图像的选择操作，将所选中的场景图像确定为所述目标场景图像。

4.根据权利要求2或3所述的方法，其特征在于：所述第二用户图像是通过如下方式得到的：获取摄像头实时采集图像作为第二用户图像；或者获取第二用户上传的图像作为第二用户图像。

5.根据权利要求2所述方法，其特征在于：所述方法还包括：将所述第二用户场景图像和第二用户标识对应存储到所述用户多媒体数据库中。

6.根据权利要求1所述的方法，其特征在于：所述方法还包括：响应于检测到视频播放请求，呈现视频播放目录界面；响应于检测到针对所述视频播放目录界面中目标视频的播放请求，获取以及播放所述目标视频。

7.一种执行如权利要求1的多媒体信息处理方法的多媒体信息处理装置，其特征在于：所述包括：获取单元，被配置成响应于检测到针对第一用户标识的视频生成请求，在用户多媒体数据库中获取所述第一用户标识对应的第一用户场景图像集合；呈现单元，被配置成呈现所述第一用户场景图像集合；生成单元，被配置成响应于检测到针对所述第一用户场景图像集合中至少一个第一用户场景图像的选中操作，基于所选中的各第一用户场景图像生成第一用户场景图像回顾视频；播放单元，被配置成以及播放所述第一用户场景图像回顾视频。

8.一种电子设备，其特征在于：所述包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被一个或多个处理器执行时实现如权利要求1-6中任一所述的方法。

Images