CN106528751A - 一种用于智能机器人的图像数据采集处理方法及机器人 - Google Patents

Abstract

本发明公开了一种用于智能机器人的图像数据采集处理方法及机器人。本发明的方法包括：采集当前的图像数据并同时采集与当前的所述图像数据相关的图像采集点信息；分析所述图像数据获取所述图像数据的图像识别信息；将所述图像数据、所述图像采集点信息以及所述图像识别信息关联保存；当根据用户的多模态输入数据解析到所述图像数据的查看请求时，调用预设故事生成模板，结合所述图像数据、所述图像采集点信息及所述图像识别信息生成多模态故事数据并输出。相较于现有技术，根据本发明的方法的机器人的拍照应用更加贴合用户需求，机器人的用户体验被大大增强。

Description

一种用于智能机器人的图像数据采集处理方法及机器人

技术领域

本发明涉及机器人领域，具体涉及一种用于智能机器人的图像数据采集处理方法及机器人。

背景技术

随着机器人技术的不断发展，智能机器人越来越多的被应用与人类的家庭生活中。当前，大多智能机器人具备图像采集功能，基于图像采集功能，现有技术中的许多机器人可以实现照相功能。

但是，在现有技术中，机器人只能进行单纯的图像采集，用户也只能手动查阅机器人拍摄到的照片。其照相功能的实际应用过程以及用户体验完全类似数码相机的设置。在某些应用场合中，由于机器人自身图像采集精度、拍照反应速度以及机器人便携性的影响，其照相功能的用户体验远远低于数码照相机。

因此，为了在照相功能上获得更佳的用户体验，需要一种用于智能机器人的图像数据采集处理方法。

发明内容

本发明提供了一种用于智能机器人的图像数据采集处理方法，所述方法包括：

采集当前的图像数据并同时采集与当前的所述图像数据相关的图像采集点信息；

分析所述图像数据获取所述图像数据的图像识别信息；

将所述图像数据、所述图像采集点信息以及所述图像识别信息关联保存；

当根据用户的多模态输入数据解析到所述图像数据的查看请求时，调用预设故事生成模板，结合所述图像数据、所述图像采集点信息及所述图像识别信息生成多模态故事数据并输出。

在一实施例中，所述图像采集点信息包括：图像采集时间、图像采集位置以及当前采集环境声音。

在一实施例中，所述图像识别信息包括：

参与人员、图像事件。

在一实施例中，将所述当前图像数据、所述图像采集点信息以及所述图像识别信息关联保存，其中：

基于所述图像识别信息对所述当前采集环境声音进行筛选以保存与所述参与人员和/或所述图像事件相关的声音片段。

本发明还提出了一种智能机器人，所述机器人包括：

图像采集模块，其配置为采集当前的图像数据；

图像采集点信息采集模块，其配置为采集与当前的所述图像数据相关的图像采集点信息；

图像识别模块，其配置为分析所述图像数据获取所述图像数据的图像识别信息；

存储模块，其配置为将所述图像数据、所述图像采集点信息以及所述图像识别信息关联保存；

输出模块，其配置为当根据用户的多模态输入数据解析到所述图像数据的查看请求时，调用预设故事生成模板，结合所述图像数据、所述图像采集点信息及所述图像识别信息生成多模态故事数据并输出。

在一实施例中，所述图像采集点信息采集模块包括：

时间采集单元，其配置为采集图像采集时间；

定位单元，其配置为采集图像采集位置；

录音单元，其配置为采集当前采集环境声音。

在一实施例中，所述图像识别模块包括：

人员分析单元，其配置为确定参与人员；

事件分析单元，其配置为获取图像事件。

在一实施例中，所述存储模块包含：

声音筛选单元，其配置为基于所述图像识别信息对所述当前采集环境声音进行筛选以保存与所述参与人员和/或所述图像事件相关的声音片段。

根据本发明的方法可以对图像数据和关联数据的多模态获取/保存从而实现机器人拍照功能，并且最终的拍照结果可以以多模态方式向用户呈现。相较于现有技术，根据本发明的机器人的拍照结果更加贴合用户需求，机器人的用户体验被大大增强。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明一实施例的方法流程图；

图2和图3是根据本发明实施例的方法的部分流程图；

图4是根据本发明一实施例的机器人系统结构简图；

图5～图7是根据本发明实施例的机器人系统部分结构简图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

随着机器人技术的不断发展，智能机器人越来越多的被应用与人类的家庭生活中。当前，大多智能机器人具备图像采集功能，基于图像采集功能，现有技术中的许多机器人可以实现照相功能。

在通常的应用场合中，机器人往往基于自身的图像采集设备(摄像头)来实现照相功能。出于拟人化以及用户需求考虑，机器人的体积一般都不大，再加上动作执行机构的需求，最终机器人的图像采集设备的安装空间就被限制在一个较小的范围内。在这种条件下，考虑到硬件成本控制，机器人上就无法装置参数性能较高的摄像头。尤其的，对于大多数智能机器人来说，图像采集功能只是其一个辅助应用功能，因此硬件配置的侧重点也就不会在摄像头上。因此，机器人所装置的摄像头的硬件参数是远远无法与专业的数码相机所比较的。

虽然机器人所装置的摄像头的硬件参数无法与专业的数码相机相比，但是，在现有技术中，机器人在执行照相功能时仍然采用数模相机的模式，只是进行单纯的图像采集，用户也只能手动查阅机器人拍摄到的照片。这样，在对比用户体验时机器人在相关硬件参数上的不足就被体现出来，尤其的在照相精度、快门速度以及便携性上的不足使得机器人照相功能的用户体验远远低于数码照相机。

因此，为了在照相功能上获得更佳的用户体验，本发明提出了一种用于智能机器人的图像数据采集处理方法。

在现有技术中，造成机器人照相用户体验低下的主要原因在于：相较于数码相机，机器人的图像采集设备的硬件参数相对较低导致的拍照图像精度不高、拍照响应速度不快或是拍照操作繁琐。但是，提高机器人的图像采集设备的硬件参数势必对机器人整体的硬件结构以及成本控制产生影响，从而影响机器人其他应用功能。因此，为了避免提高机器人的硬件成本，在不影响机器人主要硬件结构以及其他功能实现的基础上，从其他非图像效果因素上丰富机器人照相功能的辅助功能。

在一般的应用场景中，用户进行拍照活动主要是为了记录发生的事件/场景，以便日后回放(回忆)。针对某一具体的事件/场景，可以提供日后回放(回忆)的数据不仅仅是图像数据。因此在本发明一实施例中，将图像数据以及其他与图像数据相关的图像采集点信息统一进行采集并关联保存。并且进一步的，对获取到的图像数据进行初步分析并将分析结果也做关联保存。这样使得最终记录的数据可以更有效地帮助用户日后回放(回忆)事件/场景，从而最终提高用户体验。

接下来基于附图详细描述根据本发明实施例的方法的详细流程，附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，在一实施例中，机器人在实现拍照功能时采集当前的图像数据(步骤S110)并获取其他非图像数据的辅助信息。

考虑到其他非图像的辅助信息的主要作用是为了使得用户能够更加方便生动的进行事件/场景回放(回忆)，而图像数据的查阅人员可能并不是拍照时的现场人员。因此为了便于当时在现场的用户回忆当时的场景或是便于当时不在现场的用户更加详细的了解当时的状况，机器人在执行步骤S110的同时采集与当前的图像数据相关的图像采集点信息(步骤S120)。

进一步的，为了在进行图片展示时更加生动，本发明提供的方法中还对图像进行初步分析获取图像识别信息，利用图像识别信息辅助用户理解图像，其中，图像识别信息可包括图像中的人物，所做的事件，具体的，机器人在获取到当前的图像数据后机器人还分析图像数据获取图像数据的图像识别信息(步骤S130)。

最后，机器人将获取到的图像数据、图像采集点信息以及图像识别信息关联保存。

在之后的人机交互过程中，机器人接收用户的交互输入并解析用户交互输入(步骤S150)；判断用户的交互输入中是否存在图像数据的查看请求(步骤S151)，如果不存在，则按照其他的预设交互规则回应用户的其他请求并返回步骤S150；如果用户的交互输入中存在图像数据的查看请求，则调出对应的图像数据以及与该图像数据关联的图像采集点信息以及图像识别信息(步骤S160)；然后调用故事生成模板(步骤S170)；生成并输出多模态故事数据(步骤S180)。

根据本发明的方法，用户在在查阅拍照结果时获取到的并不是单纯的图片，而是结合图像数据(拍照图片)、图像采集点信息(拍照地点描述)以及图像识别信息(图片描述)的综合性的查询结果。进一步的，机器人将上述数据按照其关联方式结合起来采用类似讲故事的方式输出给用户，这样用户就能更加方便生动的进行事件/场景回放(回忆)，从而大大提高了用户体验。

进一步的，在本发明一实施例中，步骤S120采集的图像采集点信息包括：图像采集时间(拍照时间)、图像采集位置(拍照地点)以及当前采集环境声音(拍照时周围的声音)。

并且，在一实施例中，步骤S130获取的图像识别信息包括：参与人员、图像事件。

具体的，如图2所示，机器人在采集当前的图像数据(步骤S210)的同时调用时钟读取当前时间(采集图像采集时间)(步骤S221)、定位机器人当前位置(采集图像采集位置)(步骤S222)以及采集环境声音数据(采集当前采集环境声音)(步骤S223)。

进一步的，在获取到图像数据后，机器人还对图像数据进行人物识别解析确定图像中的人物(获取参与人员)(步骤S231)；并且对图像数据进行任务以及环境分析确定图像事件(步骤S232)。

最后机器人将图像数据以及对应的图像采集时间、图像采集位置、当前采集环境声音、参与人员以及图像事件关联保存(步骤S240)。

进一步的，在一实施例中，由于当前采集环境声音是包含拍照时周围所有的声音，因此不可避免的其中会夹杂一些完全与当前拍照的图像完全无关的声音。例如其他无关人员的说话声。这些杂音在最终的多模态故事数据输出时会干扰用户对其他有效数据的获取，从而降低用户体验。因此，在一实施例中，基于图像识别信息对当前采集环境声音进行筛选以保存与参与人员和/或图像事件相关的声音片段。

具体的，如图3所示，机器人在采集当前的图像数据(步骤S310)的同时采集图像采集时间以及图像采集位置(步骤S321)以及采集环境声音数据(步骤S322)。在获取到图像数据后，机器人还对图像数据进行初步解析获取参与人员(步骤S331)并确定图像事件(步骤S332)。接着基于参与人员以及图像事件机器人对步骤S322获取到的环境声音数据进行筛选，获取与参与人员以及图像事件相关的声音片段(步骤S323)。

最后机器人将图像数据以及对应的图像采集时间、图像采集位置、声音片段、参与人员以及图像事件关联保存(步骤S340)。

根据本发明的方法可以对图像数据和关联数据的多模态获取/保存从而实现机器人拍照功能，并且最终的拍照结果可以以多模态方式向用户呈现。相较于现有技术，根据本发明的机器人的拍照结果更加贴合用户需求，机器人的用户体验被大大增强。

基于本发明的方法，本发明还提出了一种可以拍照的智能机器人。如图4所示，在一实施例中，机器人包括：

图像采集模块410，其配置为采集当前的图像数据；

图像采集点信息采集模块420，其配置为采集与当前的图像数据相关的图像采集点信息；

图像识别模块430，其配置为分析图像数据获取图像数据的图像识别信息；

存储模块440，其配置为将图像数据、图像采集点信息以及图像识别信息关联保存；

输出模块450，其配置为当根据用户的多模态输入数据解析到图像数据的查看请求时，调用预设故事生成模板，结合图像数据、图像采集点信息及图像识别信息生成多模态故事数据并输出。

进一步的，如图5所示，在一实施例中，图像采集点信息采集模块520包括：

时间采集单元521，其配置为采集图像采集时间；

定位单元522，其配置为采集图像采集位置；

录音单元523，其配置为采集当前采集环境声音。

进一步的，如图6所示，在一实施例中，图像识别模块630包括：

人物分析单元631，其配置为确定参与人员；

事件分析单元632，其配置为获取图像事件。

进一步的，如图7所示，在一实施例中，存储模块包含声音筛选单元741以及存储单元742，其中，声音筛选单元741配置为基于所述图像识别信息对当前采集环境声音进行筛选从而使得存储单元742保存与参与人员和/或图像事件相关的声音片段。

本发明的机器人可以对图像数据和关联数据进行多模态获取/保存从而实现机器人拍照功能，并且可以以多模态方式向用户呈现最终的拍照结果。相较于现有技术，本发明的机器人的拍照应用功能更加贴合用户需求，具有更好的用户体验。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种用于智能机器人的图像数据采集处理方法，其特征在于，所述方法包括：

采集当前的图像数据并同时采集与当前的所述图像数据相关的图像采集点信息；

分析所述图像数据获取所述图像数据的图像识别信息；

将所述图像数据、所述图像采集点信息以及所述图像识别信息关联保存；

当根据用户的多模态输入数据解析到所述图像数据的查看请求时，调用预设故事生成模板，结合所述图像数据、所述图像采集点信息及所述图像识别信息生成多模态故事数据并输出。

2.根据权利要求1所述的方法，其特征在于，所述图像采集点信息包括：图像采集时间、图像采集位置以及当前采集环境声音。

3.根据权利要求2所述的方法，其特征在于，所述图像识别信息包括：

参与人员、图像事件。

4.根据权利要求3所述的方法，其特征在于，将所述当前图像数据、所述图像采集点信息以及所述图像识别信息关联保存，其中：

基于所述图像识别信息对所述当前采集环境声音进行筛选以保存与所述参与人员和/或所述图像事件相关的声音片段。

5.一种智能机器人，其特征在于，所述机器人包括：

图像采集模块，其配置为采集当前的图像数据；

图像采集点信息采集模块，其配置为采集与当前的所述图像数据相关的图像采集点信息；

图像识别模块，其配置为分析所述图像数据获取所述图像数据的图像识别信息；

存储模块，其配置为将所述图像数据、所述图像采集点信息以及所述图像识别信息关联保存；

输出模块，其配置为当根据用户的多模态输入数据解析到所述图像数据的查看请求时，调用预设故事生成模板，结合所述图像数据、所述图像采集点信息及所述图像识别信息生成多模态故事数据并输出。

6.根据权利要求5所述的机器人，其特征在于，所述图像采集点信息采集模块包括：

时间采集单元，其配置为采集图像采集时间；

定位单元，其配置为采集图像采集位置；

录音单元，其配置为采集当前采集环境声音。

7.根据权利要求6所述的机器人，其特征在于，所述图像识别模块包括：

人员分析单元，其配置为确定参与人员；

事件分析单元，其配置为获取图像事件。

8.根据权利要求7所述的机器人，其特征在于，所述存储模块包含：

声音筛选单元，其配置为基于所述图像识别信息对所述当前采集环境声音进行筛选以保存与所述参与人员和/或所述图像事件相关的声音片段。