[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108363492A - 一种人机交互方法及交互机器人 - Google Patents

一种人机交互方法及交互机器人 Download PDF

Info

Publication number
CN108363492A
CN108363492A CN201810193098.5A CN201810193098A CN108363492A CN 108363492 A CN108363492 A CN 108363492A CN 201810193098 A CN201810193098 A CN 201810193098A CN 108363492 A CN108363492 A CN 108363492A
Authority
CN
China
Prior art keywords
user
interaction
robot
information
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810193098.5A
Other languages
English (en)
Other versions
CN108363492B (zh
Inventor
乔倚松
吴海周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Science And Technology Ltd Of A Fanda Robot
Original Assignee
Nanjing Science And Technology Ltd Of A Fanda Robot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Science And Technology Ltd Of A Fanda Robot filed Critical Nanjing Science And Technology Ltd Of A Fanda Robot
Priority to CN201810193098.5A priority Critical patent/CN108363492B/zh
Publication of CN108363492A publication Critical patent/CN108363492A/zh
Priority to PCT/CN2018/106780 priority patent/WO2019169854A1/zh
Application granted granted Critical
Publication of CN108363492B publication Critical patent/CN108363492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种人机交互的方法及交互机器人,其方法包括:S1当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括当前用户的个人信息,以及当前机器人系统的环境信息;S2生成与所述用户综合信息相匹配的主动交互内容;S3根据所述主动交互内容与用户进行主动交互。本发明在机器人进行人机交互的过程中,能够根据不同用户的不同用户信息以及当前环境的信息,实现个性化的主动人机交互。

Description

一种人机交互方法及交互机器人
技术领域
本发明涉及人机交互领域,尤指一种人机交互方法及交互机器人。
背景技术
机器人是近几十年来发展起来的新兴综合学科,它集中了机械工程、电子工程、信息科学、自动控制以及人工智能等多种学科的最新研究成果,是目前科技发展最活跃的研究领域之一。随着科学技术的发展,服务型机器人已经得到了广泛的应用。
对于服务型机器人,良好的人机交互体验是服务型机器人服务性能的关键所在,也是用户对机器人最为基本的需求。目前主流的服务性机器人一般都具备一定程度的人机交互功能。通常的人机交互包括了PC类的鼠标键盘式人机交互,平板手机类的触摸滑动式人机交互,以及语音人机交互等等。其中,语音交互类的人机交互方式由于交互模式的便利、自然,以及交互学习成本低等优势,日渐成为了服务型机器人最为重要的人机交互方式之一。
主流的语音人机交互模式,主要使用的是被动的语音激活方式来激活整个人机交互的流程,机器人通过不断监听用户的语音指令,在接受到特定的语音指令之后,开始进行语音识别,根据识别的具体内容,为用户做出相应的回答与反馈。但是这样的人机交互方式比较被动,机器人不会主动与用户进行交流,对用户的吸引力不够强;并且这种交互的回答内容比较死板,不够灵活多变,并且针对不同的人,其回答的内容都一样,不够个性化。会降低用户的体验感。
因此,为了解决上述弊端,本发明提供了一种主动式的个性化的人机交互。
发明内容
本发明的目的是提供一种人机交互的方法及交互机器人,在机器人进行人机交互的过程中,能够根据不同用户的不同用户信息,并结合当前环境的信息,实现个性化的主动交互。
本发明提供的技术方案如下:
本发明提供了一种人机交互的方法,包括步骤:S1当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括所述用户的个人信息,以及当前机器人系统的环境信息;S2生成与所述用户综合信息相匹配的主动交互内容;S3根据所述主动交互内容与用户进行主动交互。
优选的,在所述步骤S1之前包括步骤:S0根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
优选的,步骤S2具体包括:S20根据所述交互规则,获取与所述用户综合信息相匹配的交互资源,从而生成主动交互内容。
优选的,所述交互资源包括:语音内容、动作内容、或者多媒体内容;所述交互规则包括多个规则节点,每个规则节点体现了不同用户综合信息与不同交互资源的映射关系。
优选的,所述当前用户的个人信息包括:性别、年纪、表情、人脸角度、人脸空间位置、人脸出现次数、用户名称、当前被检测到人脸数量,以及语音信息;所述当前机器人系统的环境信息包括:时间、地点、温度、天气、网络连接状态、系统语言。
优选的,所述步骤S1具体包括步骤:S10当机器人检测到需要主动交互的用户时,获取用户综合信息,并给所述当前用户的个人信息中的每个用户特征赋予对应的用户特征关键词和用户特征参数值,给所述当前机器人系统的环境信息中的每个环境特征赋予对应的环境特征关键词和环境特征参数值。
优选的,步骤S21具体包括步骤:S211在所述交互规则中筛选出与所述用户综合信息相匹配的若干个候选规则节点;S212根据所述若干个候选规则节点对应的交互资源,生成交互内容;所述交互内容包括语音交互内容、动作交互内容、多媒体交互内容。
优选的,步骤S211具体包括步骤:S2111逐一判断每个规则节点中所有的预设特征关键词及对应的预设特征参数值是否与所述用户综合信息中的部分特征关键词及对应的特征参数值相同;所述特征关键词包括用户特征关键词和环境特征关键词,所述特征参数值包括用户特征参数值和环境特征参数值;S2112若是,则将满足条件的规则节点作为候选规则节点。
优选的,步骤S212具体包括步骤:S2121分析所述若干个候选规则节点各自的优先值,并将所述候选规则节点按照所述优先值进行排序;对于同一优先值的多个候选规则节点,随机或加权随机选取其中一个候选规则节点参与排序;S2122将排序后的候选规则节点对应的交互资源依次进行组合,生成所述交互内容。
本发明还提供了一种交互机器人,其特征在于,包括:信息获取模块,用于当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括所述用户的个人信息,以及当前机器人系统的环境信息;处理模块,与所述信息获取模块电连接,用于生成与所述用户综合信息相匹配的主动交互内容;交互模块,用于根据所述主动交互内容与用户进行主动交互。
优选的,场景设置模块,还用于根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
优选的所述处理模块,还用于根据所述交互规则,获取与所述用户综合信息相匹配的交互资源,从而生成主动交互内容。
优选的,所述交互资源包括:语音内容、动作内容、或者多媒体内容;所述交互规则包括多个规则节点,每个规则节点体现了不同用户综合信息与不同交互资源的映射关系。
优选的,所述当前用户的个人信息包括:性别、年纪、表情、人脸角度、人脸空间位置、人脸出现次数、用户名称、当前被检测到人脸数量,以及语音信息;所述当前机器人系统的环境信息包括:时间、地点、温度、天气、网络连接状态、系统语言。
优选的,所述信息获取模块,还用于当机器人检测到需要主动交互的用户时,获取用户综合信息,并给所述当前用户的个人信息中的每个用户特征赋予对应的用户特征关键词和用户特征参数值,给所述当前机器人系统的环境信息中的每个环境特征赋予对应的环境特征关键词和环境特征参数值。
优选的,匹配子模块,用于在所述交互规则中筛选出与所述用户综合信息相匹配的若干个候选规则节点;每个规则节点包括多个预设特征关键词及对应的预设特征参数值;交互内容生成子模块,根据所述若干个候选规则节点对应的交互资源,生成交互内容;所述交互内容包括语音交互内容、动作交互内容、多媒体交互内容。
优选的,所述匹配子模块,还用于逐一判断每个规则节点中所有的预设特征关键词及对应的预设特征参数值是否与所述用户综合信息中的部分特征关键词及对应的特征参数值相同;所述特征关键词包括用户特征关键词和环境特征关键词,所述特征参数值包括用户特征参数值和环境特征参数值;若是,则将满足条件的规则节点作为候选规则节点。
优选的,所述交互内容生成子模块,还用于分析所述若干个候选规则节点各自的优先值,并将所述候选规则节点按照所述优先值进行排序;对于同一优先值的多个候选规则节点,随机选取其中一个候选规则节点参与排序,或加权随机选取其中一个候选规则节点参与排序;所述交互内容生成子模块,还用于将排序后的候选规则节点对应的交互资源依次进行组合,生成所述交互内容。通过本发明提供的一种人机交互的方法及交互机器人,能够带来以下至少一种有益效果:
1、本发明中,机器人的交互方式不同于目前的被动式交互,机器人在识别到用户之后,能够主动与用户进行交互,更加吸引客户参与到交互中来,提高交互体验。同时,机器人在交互中,会获取当前用户的个人信息,以及当前机器人系统的环境信息,综合形成主动交互内容,使得交互内容能够更加契合当前的环境和用户的个人特征,让用户更加融入人机交互中,提高人机交互的体验感。
2、机器人会识别当前用户后,通过人脸识别获取到用户的个人信息,如年龄、性别、表情等等,并且获取到用户当前的面部表情,若用户说话,则还会获取语音信息,将这些信息综合起来形成具有个性化的当前用户信息。机器人会通过网络系统或者机器人的当前系统,可以获取到当前的日期、时间、机器人所在地点、天气等等环境信息。机器人会根据这些带有用户个性的用户综合信息,生成对应的交互内容,使得交互更加贴近用户,提高交互的智能化。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种人机交互的方法及交互机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种人机交互的方法的一个实施例的流程图;
图2是本发明一种人机交互的方法的另一个实施例的流程图;
图3是本发明一种人机交互的方法的再一个实施例的流程图;
图4是本发明一种交互机器人的一个实施例结构示意图;
附图标号说明:
1-场景设置模块、2-信息获取模块、3-用户综合信息模块、4-处理模块、41-匹配子模块、42-交互内容生成子模块、5-交互模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
本发明提供了一种人机交互的方法一个实施例,如图1所示,包括:
S1当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括当前用户的个人信息,以及当前机器人系统的环境信息;
S2生成与所述用户综合信息相匹配的主动交互内容;
S3根据所述主动交互内容与用户进行主动交互。
优选的,所述步骤S1之前包括步骤:S0根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
本实施例中,应用场景包括了在该场景下,机器人交互时,所遵守的交互规则和交互时所需的交互资源。用户通过选择或者基于网页,应用等平台,定制自定义的用户场景,实时部署到机器人上,以达到在避免系统层级的改变的同时,使得机器人满足了在不同环境下的快速应用。
具体的,在机器人使用前,用户可以预先根据机器人应用的场景,设置更加符合当前使用环境的应用场景,在人机交互过程中能够更加契合当前的环境,让用户更加融入人机交互中,提高人机交互的体验感。应用场景包括交互规则以及交互资源。机器人如果在商场中使用,则会增加和购物相关的交互规则以及交互资源。例如交互规则为机器人识别到用户时,询问用户购买了哪些商品,或是询问用户商场还有哪些服务不够到位等等;交互资源中可以设置欢快的歌曲,或是拍手、鞠躬的动作,在用户回应购买的商品时,可以做出拍手的动作,鼓励用户继续消费。
机器人若是应用在医院中,则会增加医疗、药品、防疫等相关的的交互规则以及交互资源。例如交互规则为机器人识别到用户伤心时,会询问用户为什么不开心,并安慰用户,同时做出拍拍用户肩膀的动作,并播放一些欢快的音乐;交互资源中可以设置一些欢快的音乐,拍肩,加油等动作。
当机器人识别到用户后,会通过人脸识别,获取当前用户信息,并通过机器人内部系统获取机器人的环境信息,最后形成带有用户个性化的用户综合信息。然后机器人会根据应用场景中的交互规则,得到当前应该完成的交互是什么,调取交互资源中的相应的交互资源,形成主动交互内容,主动与用户进行交互。不同于当前交互方式的是,当前很多交互方式都是被动式的交互,机器人通过不断监听用户的语音指令,在接受到特定的语音指令之后,开始进行语音识别,根据识别的具体内容,为用户做出相应的回答与反馈。这样的人机交互方式比较被动,机器人不会主动与用户进行交流,对用户的吸引力不够强。而本发明中,机器人在检测到用户之后,能够通过获取到的用户综合信息形成带有用户个性化的主动交互内容,主动与用户进行交互,更加吸引用户参与到人机交互当中。
例如,机器人如果在商场中使用,用户可以增加和购物相关的交互规则以及交互资源。交互规则是:机器人识别到用户后,首先识别用户,获得当前用户信息以及环境信息,若识别出来是成人,后会询问用户购买了哪些商品,做出回应;其次询问用户商场还有哪些服务不够到位,做出回应;最后和用户说再见。若是小朋友,则会先同小朋友打招呼,再为小孩儿跳一支舞。
用户在交互资源中可以设置欢快的歌曲,或是拍手、鞠躬、挥手、蹲下等等的动作,在用户回应购买的商品时,可以做出拍手的动作,鼓励用户继续消费。
当机器人识别到的用户是一位女士,当前时间为上午10点半,机器人会说:“女士上午好!请问您今天买了哪些商品呢?”同时做出挥手的动作向女士打招呼。女士回应:“买了一件衣服。”机器人会回应:“感谢对我们商场的支持!”同时做出鞠躬的动作。然后继续说:“商场还有哪些服务不够到位”然后将用户说的内容记录下来。最后和用户说“再见”。
当机器人识别到的用户是以为小女孩儿,当前的时间是下午5点,当前小女孩的表情为笑脸,机器人会说:“小朋友下午好!怎么这么开心啊?”同时做出蹲下的动作,与小女孩保持同一高度。小女孩回应:“今天妈妈给我买了件新衣服。”机器人会回应:“那我为您跳一支舞吧”同时播放舞蹈音乐。
可以看出,由于用户体现出的用户综合信息不同,机器人的交互方式也有很大的不同,而现有技术中,机器人对每个用户的交互内容都是一样的,在识别到用户后只会说:“您好,请问有什么可以帮您?”而不同于本发明中能够根据不同用户携带的不同特征,输出个性化的交互内容。
上述的交互规则和交互资源都可以自行设定,机器人会根据用户综合信息,在交互规则中找到相应的回应,结合交互资源生成交互内容,进行人机交互。可以看到,不同用户的用户综合信息是不一样的,机器人会根据不同用户的不同性别,不同表情,不同年龄,生成不同的交互内容,让交互内容具有个性化。
如图2所示,本发明还提供了一种人机交互的方法的一个实施例,包括:
S0根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
S1当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括当前用户的个人信息,以及当前机器人系统的环境信息;
S201在所述交互规则中筛选出与所述用户综合信息相匹配的若干个候选规则节点;
S202根据所述若干个候选规则节点对应的交互资源,生成交互内容;所述交互内容包括语音交互内容、动作交互内容、多媒体交互内容。
S3根据所述主动交互内容与用户进行主动交互。
所述交互资源包括:语音内容、动作内容、或者多媒体内容;所述交互规则包括多个规则节点,每个规则节点体现了不同用户综合信息与不同交互资源的映射关系。
所述交互规则包括:机器人在交互时,对某些特定的检测结果是否响应,例如是否询问用户姓名,是否检测系统时间等等;以及在对响应的检测结果时,选择相应的反馈的具体内容,例如,对不同性别的不同称呼,不同用户的不同动作等等。
所述交互资源包括:对应的交互规则下所需的资源,例如所有的语音文本内容、所有可选的动作内容、所有音乐以及视频内容等等。
所述当前用户的个人信息包括:性别、年纪、表情、人脸角度、人脸空间位置、人脸出现次数、用户名称、当前被检测到人脸数量,以及语音信息;所述当前机器人系统的环境信息包括:时间、地点、温度、天气、网络连接状态、系统语言。
具体的,本实施例中,系统通过人体识别,人脸识别,环境系统检测等各种识别与检测,为用户综合输出一组用户信息描述,用来描述当前的交互用户的具体信息。用户综合信息形式表示如下:
head;key1:value1;key2:value2;key3:value3;...;
其中head是固定的,为该字串的字串标识符,标识了该字串的具体内容,以便与其他类型的字串做出区别。key是用户综合信息中的各个特征,即用户特征关键词及环境特征关键词,每一个key表示了用来描述当前用户的一个特征,这些特征可以包括:人脸编号、人脸姓名、性别、年纪、时间、表情、人脸角度、人脸位置、人脸大小、天气、地点、温度、运动类型、网络连接状况等等。value值是与当前key值相对应的具体参数值,即本发明中所述的用户特征参数值及环境特征参数值。<key:value>对可以根据不同的人体识别、人脸识别、系统检测、运动检测等各种检测与识别工具的输出变化,修改用户描述特征的个数与内容。
简单的用户综合信息如下:
例子1:
rvn;ultrasound;event;payload;type:passby;
其中rvn;ultrasound;event;payload;作为字串头,表示了该字串是包含了超声波传感器的用户信息描述。该条描述较为简单,仅仅表示了机器人通过超声波传感器感知到了有人过从其面前走过。
例子2:
rvf;vison;event;face;payload;type:face;stop:yes;name:avatar;gender:masculine;age:53;time:13.04;emotion:none;roll:-13.61209;pitch:23.196611;yaw:23.330135;fac eID:1;number:1;sequence:1;px:646;py:189;pw:352;ph:352;
其中rvf;vison;event;face;payload;作为字串头,表示了该字串是包含了视觉传感器信息的用户综合信息描述。每一对的key,value表示了这一用户的一个信息特征。具体可以解读为:用户的人脸信息是连续的;用户姓名:avatar;性别:男性;年纪:53岁;本条记录产生时间:13点04分;用户人脸表情:无;人脸角度roll值:-13.61209度;人脸角度pitch值:23.196611度;人脸角度yaw值:23.330135度;人脸记录编号:1号;当前画面中人脸个数;1个;该用户的人脸在总人脸中为第一个;人脸位置X值:646px;人脸位置Y值:189px;人脸宽度:352px;人脸长度:352px;
不同的用户,不同的环境,不同的交互熟悉程度,不同的检测与识别工具,会生成不同的用户描述结果。这些用户的综合描述,是个性化的用户描述,通过对这些不同描述的解析,系统通过当前场景的规则与资源,生成与之相对应的交互内容。
本方法根据输入的用户综合信息,生成一组与之相对应的交互内容。反馈的交互内容包含了以下三种:语音内容、动作内容与多媒体内容。语音内容为机器人播放的主动语音提示;动作内容为其头部、四肢等活动部位的一组运动内容;多媒体内容包括了图片、音乐、视频、应用等等,并通过机器人胸前的展示平台予以播放。多媒体的内容可以随语音提示同时播放,也可以在语音提示结束后播放,以满足不同场景的需求。
所述规则节点包括Node节点,所述交互规则以树形的数据结构存储了每条识别结果所对应的语音、动作、多媒体内容。交互规则树中包含了多个Node节点,每一个Node节点中包含了预先设置的若干个预设特征关键词及对应的预设特征参数值,还包含了多条语音、动作、多媒体等交互资源。
Node节点中的Key值描述了该组语句、动作、多媒体需要被选中的必要条件。首先,当存在一条用户的综合信息时,每一组Node节点都会与当前输入的用户综合信息进行匹配,如果当前的用户综合信息与Node节点的必要条件相满足,该Node节点将会成为一个候选节点,待之后选择。如果当前的用户综合信息与Node节点的必要条件不完全满足,则该Node节点便不会成为候选规则节点。
如图3所示,本发明还提供了一种人机交互的方法的一个实施例,包括:
S0根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
S10当机器人检测到需要主动交互的用户时,获取用户综合信息,并给所述当前用户的个人信息中的每个用户特征赋予对应的用户特征关键词和用户特征参数值,给所述当前机器人系统的环境信息中的每个环境特征赋予对应的环境特征关键词和环境特征参数值。
S2000逐一判断每个规则节点中所有的预设特征关键词及对应的预设特征参数值是否与所述用户综合信息中的部分特征关键词及对应的特征参数值相同;所述特征关键词包括用户特征关键词和环境特征关键词,所述特征参数值包括用户特征参数值和环境特征参数值;
S2001若是,则将满足条件的规则节点作为候选规则节点。
S2010分析所述若干个候选规则节点各自的优先值,并将所述候选规则节点按照所述优先值进行排序;对于同一优先值的多个候选规则节点,随机或加权随机选取其中一个候选规则节点参与排序;
S2011将排序后的候选规则节点对应的交互资源依次进行组合,生成所述交互内容。
S3根据所述主动交互内容与用户进行主动交互。
具体的,本实施例中,所述特征关键词为key值,特征参数值为key值对应的Value值,规则节点为Node节点。
筛选出与所述用户综合信息相匹配的若干个候选规则节点的具体步骤如步骤S411、步骤S412所示,如果Node节点中的所有特征中的Value值与用户综合信息中相同的特性的Value值都满足,则将此Node节点作为候选规则节点。如果Node节点中的特征的值为All,即表示,该特征对所有的用户信息中相应特征的Value结果都视为满足。用户的综合信息中的特征通常都会多于Node节点所需的特征值,对于多出的特征值,系统不会根据其结果进行判断与筛选。
在匹配候选Node节点的同时,对于成为候选节点的Node节点,将会根据其优先值Priority的数值组合出一句完整的语音提示。本方法将一句完整的语音交互内容分解为不同的语句段,每一语句段为一句完整语音提示中的一个分段。每一个Node节点中的优先值Priority,表示了该语句段在完整语句中的位置。
简单的,我们可以将一句完整的语句分成多个语句段,例如称呼段,时间段,内容段和问题段。本发明并不限制语句的分段数目,使用者可以根据语句完整度自行分段。每一段与下一段之间为自由组合。因此,最后组合出的完整语句将会变得十分灵活。对于处于同一个位置的多个候选节点,本方法通过随机选择,选择一个满足条件的Node节点。
例如,即将生成的语音交互内容包括称呼段、问候段和内容段,称呼段有两个优先值相同的Node节点,分别是“老人家”、“老伯”;问候端有三个优先值相同的Node节点,分别是“您好!”“上午好!”“早上好!”内容段有一个Node节点,是“您身体真好。”对于称呼段和问候段,可以随机选取其中一个内容参与语音信息的排序。可以看到,语音信息的内容有6种组合方式,在相同条件下,机器人进行语音交互的内容会不断变化,不会非常死板,影响用户的体验。
在一些Node节点中,可以预先设置多个Item选项(即机器人执行的内容),对于Node节点中存在的多个Item选项,根据其Key值的不同,选择满足条件的最终结果。如果相同的Key值结果存在对应的多个Item选项,本方法通过顺序选择或是随机选择的方法,挑选一个结果作为最终结果,予以输出。
由于交互的内容要取决于候选规则节点的组合方式,以及每个候选规则节点中Item选项的选取,在同一场景下,同一优先值的候选规则节点只随机选取一个参与排序,对于每个候选规则节点,其key值对应的多个Item选项可以随机、加权随机,或按照一定顺序选取一个,则组合的方式非常多。在交互过程中,对于同一种场景,交互的内容也有所不同,不会非常死板地进行固定模式的交互。
例如在打招呼时,可能key值对应的动作为握手、挥手、敬礼三个Item选项,在这种情况下,可以任选其中一个Item进行输出。在打招呼时,不会由于动作太过单一导致机器人的交互太过死板。同样,打招呼的语言也可以设置为多种,赋到不同的Item选项中。在随机选取一个Item时,输出的语言也会不同,交互时内容会呈现多样化。
动作内容与多媒体内容通过附加在每一个具体的语音语句之后所存在。通过定义每一个具体语句之后的附加动作与多媒体内容,在主动反馈内容组合完成时,其相应的动作与多媒体内容也随之生成。动作与多媒体内容由最后一个语句成分的附加内容所决定。因此,不同内容,不同长短的语句也可以做出不同的动作与多媒体内容上的提示。灵活使用语音脚本与资源脚本,随着用户综合信息输入的不同,本方法与之生成的反馈信息也可以与之相应的变化起来。
通过人脸识别方法,结合互联网中的个人信息,可以获取到用户的某些个人信息,如姓名,年龄,性别等基础信息。本实施例将举一个例子说明本发明交互系统。
例如当机器人识别到前方有一个正在哭泣的小男孩儿时,采集的用户综合信息可以包括:男性,8岁,姓名,面部表情哭泣,当前时间为上午10点,当前天气为2摄氏度,当前地点为医院,空气质量良好,并将其赋值之后形成字串,供系统调取。机器人根据用户综合信息,在规则节点中查找出满足匹配条件的候选规则节点,将这些规则节点按照优先值进行排序,并将候选规则节点对应的交互资源依次进行组合。机器人识别到小男孩儿之后,会主动和小男孩儿打招呼,在打招呼时,其Node节点中key值对应的Item值可能会有很多个(其语言内容分别为“小朋友你好!”、“你好,小帅哥!”“hi,小朋友”,其动作内容分别为挥手、握手、鞠躬、敬礼)机器人在只需在语言内容或者动作内容中人选其一作为交互内容即可,因此,每次输出的交互内容都是不断变化的,不会太过死板。
如图4所示,本发明提供了一种交互机器人的一个实施例,包括:
信息获取模块2,用于获取当前用户信息,以及环境信息;
用户综合信息模块3,与所述信息获取模块2电连接,用于根据所述当前用户信息以及环境信息生成用户综合信息;
处理模块4,与所述用户综合信息模块3电连接,用于根据所述用户综合信息以及所述应用场景,生成交互内容;
交互模块5,用于根据所述交互内容进行主动人机交互。
优选的,所述交互机器人还包括:场景设置模块1,还用于根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
优选的,所述场景设置模块1,还用于储存预先设置的机器人的交互规则,以及机器人在所述交互规则下交互时所需的交互资源,并将所述交互规则和所述应用资源作为应用场景;所述交互规则包括多个规则节点,每个规则节点包括多个预设特征关键词及对应的预设特征参数值。
优选的,用户综合信息模块3,还用于给所述当前用户信息中的每个用户特征赋予对应的用户特征关键词和用户特征参数值,给所述环境信息中的每个环境特征赋予对应的环境特征关键词和环境特征参数值;用户综合信息模块3,还用于将所述用户特征关键词及对应的用户特征参数值、环境特征关键词及对应的环境特征参数值组合成字串,并给所述字串赋予相应的字串标识符;将带有所述字串标识符的字串作为当前用户综合信息。
优选的,所述处理模块4具体包括:匹配子模块41,用于在所述应用场景中筛选出与所述用户综合信息相匹配的若干个候选规则节点;交互内容生成子模块42,根据所述若干个候选规则节点对应的交互资源,生成交互内容;所述交互内容包括语音交互内容、动作交互内容、多媒体交互内容。
优选的,所述匹配子模块41,还用于逐一判断每个规则节点中所有的预设特征关键词及对应的预设特征参数值是否与所述用户综合信息中的部分特征关键词及对应的特征参数值相同;所述特征关键词包括用户特征关键词和环境特征关键词,所述特征参数值包括用户特征参数值和环境特征参数值;若是,则将满足条件的规则节点作为候选规则节点。
优选的,所述交互内容生成子模块42,还用于分析所述若干个候选规则节点各自的优先值,并将所述候选规则节点按照所述优先值进行排序;对于同一优先值的多个候选规则节点,选取其中一个候选规则节点参与排序;将排序后的候选规则节点对应的交互资源依次进行组合,生成所述交互内容。
具体的,信息获取模块2有两大作用,其一是用来识别当前用户,获取用户资源;例如当检测到在预设范围内有用户时,开始对用户进行识别,其主要识别用户的面部特征。通过人脸识别技术,可以识别出当前用户的表情,并结合互联网大数据,获取到用户的一些基本数据信息。其二是根据当前机器人系统,获取到当前机器人所在地点、时间、天气等等环境信息。
所述处理模块4可以由机器人的处理器组成,所述交互模块5包括了机器人交互过程中所用到的声控系统、显示系统、驱动系统等等。机器人交互的过程可参照上述方法实施例,此处不再赘述。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人机交互的方法,其特征在于,包括步骤:
S1当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括所述用户的个人信息,以及当前机器人系统的环境信息;
S2生成与所述用户综合信息相匹配的主动交互内容;
S3根据所述主动交互内容与用户进行主动交互。
2.根据权利要求1所述的一种人机交互的方法,其特征在于,所述步骤S1之前包括步骤:
S0根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
3.根据权利要求2所述的一种人机交互的方法,其特征在于,步骤S2具体包括:
S20根据所述交互规则,获取与所述用户综合信息相匹配的交互资源,从而生成主动交互内容。
4.根据权利要求3所述的一种人机交互的方法,其特征在于:
所述交互资源包括:语音内容、动作内容、或者多媒体内容;所述交互规则包括多个规则节点,每个规则节点体现了不同用户综合信息与不同交互资源的映射关系。
5.根据权利要求1-4中任一项所述的一种人机交互的方法,其特征在于:
所述用户的个人信息包括:性别、年纪、表情、人脸角度、人脸空间位置、人脸出现次数、用户名称、当前被检测到人脸数量,以及语音信息;
所述当前机器人系统的环境信息包括:时间、地点、温度、天气、网络连接状态、系统语言。
6.一种交互机器人,其特征在于,包括:
信息获取模块,用于当机器人检测到需要主动交互的用户时,获取用户综合信息,所述用户综合信息包括所述用户的个人信息,以及当前机器人系统的环境信息;
处理模块,与所述信息获取模块电连接,用于生成与所述用户综合信息相匹配的主动交互内容;
交互模块,用于根据所述主动交互内容与用户进行主动交互。
7.根据权利要求6所述的一种交互机器人,其特征在于,还包括:
场景设置模块,还用于根据当前机器人所处环境信息,设置与所述环境信息匹配的机器人的应用场景,所述应用场景包括机器人交互的交互规则和交互时用到的交互资源。
8.根据权利要求7所述的一种交互机器人,其特征在于:
所述处理模块,还用于根据所述交互规则,获取与所述用户综合信息相匹配的交互资源,从而生成主动交互内容。
9.根据权利要求8所述的一种交互机器人,其特征在于:
所述交互资源包括:语音内容、动作内容、或者多媒体内容;所述交互规则包括多个规则节点,每个规则节点体现了不同用户综合信息与不同交互资源的映射关系。
10.根据权利要求6-9中任一项所述的一种交互机器人,其特征在于:
所述当前用户的个人信息包括:性别、年纪、表情、人脸角度、人脸空间位置、人脸出现次数、用户名称、当前被检测到人脸数量,以及语音信息;
所述当前机器人系统的环境信息包括:时间、地点、温度、天气、网络连接状态、系统语言。
CN201810193098.5A 2018-03-09 2018-03-09 一种人机交互方法及交互机器人 Active CN108363492B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810193098.5A CN108363492B (zh) 2018-03-09 2018-03-09 一种人机交互方法及交互机器人
PCT/CN2018/106780 WO2019169854A1 (zh) 2018-03-09 2018-09-20 一种人机交互方法及交互机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810193098.5A CN108363492B (zh) 2018-03-09 2018-03-09 一种人机交互方法及交互机器人

Publications (2)

Publication Number Publication Date
CN108363492A true CN108363492A (zh) 2018-08-03
CN108363492B CN108363492B (zh) 2021-06-25

Family

ID=63003702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810193098.5A Active CN108363492B (zh) 2018-03-09 2018-03-09 一种人机交互方法及交互机器人

Country Status (2)

Country Link
CN (1) CN108363492B (zh)
WO (1) WO2019169854A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409063A (zh) * 2018-10-10 2019-03-01 北京小鱼在家科技有限公司 一种信息交互方法、装置、计算机设备和存储介质
CN110097400A (zh) * 2019-04-29 2019-08-06 贵州小爱机器人科技有限公司 信息推荐方法、装置及系统、存储介质、智能交互设备
CN110154048A (zh) * 2019-02-21 2019-08-23 北京格元智博科技有限公司 机器人的控制方法、控制装置和机器人
WO2019169854A1 (zh) * 2018-03-09 2019-09-12 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备
CN111176503A (zh) * 2019-12-16 2020-05-19 珠海格力电器股份有限公司 一种交互系统设置方法、装置及存储介质
WO2020103455A1 (zh) * 2018-11-22 2020-05-28 广州小鹏汽车科技有限公司 基于天气信息的智能问候方法、系统、存储介质及汽车
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111428637A (zh) * 2020-03-24 2020-07-17 新石器慧通(北京)科技有限公司 无人驾驶车辆主动发起人机交互的方法及无人驾驶车辆
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
CN113147771A (zh) * 2021-05-10 2021-07-23 前海七剑科技(深圳)有限公司 基于车载虚拟机器人的主动交互方法及装置
WO2023098090A1 (zh) * 2021-11-30 2023-06-08 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527095A (zh) * 2019-09-18 2021-03-19 奇酷互联网络科技(深圳)有限公司 人机交互方法、电子设备以及计算机存储介质
CN111993438A (zh) * 2020-08-26 2020-11-27 陕西工业职业技术学院 一种智能机器人

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105598972A (zh) * 2016-02-04 2016-05-25 北京光年无限科技有限公司 一种机器人系统及交互方法
CN106297789A (zh) * 2016-08-19 2017-01-04 北京光年无限科技有限公司 智能机器人的个性化交互方法及交互系统
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106462254A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106489114A (zh) * 2016-06-29 2017-03-08 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106537293A (zh) * 2016-06-29 2017-03-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106537294A (zh) * 2016-06-29 2017-03-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106625711A (zh) * 2016-12-30 2017-05-10 华南智能机器人创新研究院 一种定位机器人智能互动的方法
CN106843463A (zh) * 2016-12-16 2017-06-13 北京光年无限科技有限公司 一种用于机器人的交互输出方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701211A (zh) * 2016-01-13 2016-06-22 北京光年无限科技有限公司 面向问答系统的主动交互数据处理方法及系统
CN106774845B (zh) * 2016-11-24 2020-01-31 北京儒博科技有限公司 一种智能交互方法、装置及终端设备
CN107045587A (zh) * 2016-12-30 2017-08-15 北京光年无限科技有限公司 一种用于机器人的交互输出方法以及机器人
CN108363492B (zh) * 2018-03-09 2021-06-25 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105598972A (zh) * 2016-02-04 2016-05-25 北京光年无限科技有限公司 一种机器人系统及交互方法
CN106462255A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106462254A (zh) * 2016-06-29 2017-02-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106489114A (zh) * 2016-06-29 2017-03-08 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106537293A (zh) * 2016-06-29 2017-03-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106537294A (zh) * 2016-06-29 2017-03-22 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人
CN106297789A (zh) * 2016-08-19 2017-01-04 北京光年无限科技有限公司 智能机器人的个性化交互方法及交互系统
CN106843463A (zh) * 2016-12-16 2017-06-13 北京光年无限科技有限公司 一种用于机器人的交互输出方法
CN106625711A (zh) * 2016-12-30 2017-05-10 华南智能机器人创新研究院 一种定位机器人智能互动的方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169854A1 (zh) * 2018-03-09 2019-09-12 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN109409063A (zh) * 2018-10-10 2019-03-01 北京小鱼在家科技有限公司 一种信息交互方法、装置、计算机设备和存储介质
WO2020103455A1 (zh) * 2018-11-22 2020-05-28 广州小鹏汽车科技有限公司 基于天气信息的智能问候方法、系统、存储介质及汽车
CN110154048A (zh) * 2019-02-21 2019-08-23 北京格元智博科技有限公司 机器人的控制方法、控制装置和机器人
CN110097400A (zh) * 2019-04-29 2019-08-06 贵州小爱机器人科技有限公司 信息推荐方法、装置及系统、存储介质、智能交互设备
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备
CN111176503A (zh) * 2019-12-16 2020-05-19 珠海格力电器股份有限公司 一种交互系统设置方法、装置及存储介质
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111327772B (zh) * 2020-02-25 2021-09-17 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111428637A (zh) * 2020-03-24 2020-07-17 新石器慧通(北京)科技有限公司 无人驾驶车辆主动发起人机交互的方法及无人驾驶车辆
CN113147771A (zh) * 2021-05-10 2021-07-23 前海七剑科技(深圳)有限公司 基于车载虚拟机器人的主动交互方法及装置
WO2023098090A1 (zh) * 2021-11-30 2023-06-08 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
WO2019169854A1 (zh) 2019-09-12
CN108363492B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN108363492A (zh) 一种人机交互方法及交互机器人
AU2020239704B2 (en) Emotion type classification for interactive dialog system
US20220148271A1 (en) Immersive story creation
US11222632B2 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US20220020360A1 (en) System and method for dialogue management
CN105917404B (zh) 用于实现数字个人助理的方法、设备和系统
US20170206064A1 (en) Persistent companion device configuration and deployment platform
US20190206402A1 (en) System and Method for Artificial Intelligence Driven Automated Companion
JP2019523714A (ja) 多重相互作用人格ロボット
US20160193732A1 (en) Engaging in human-based social interaction with members of a group using a persistent companion device
US11003860B2 (en) System and method for learning preferences in dialogue personalization
CN110070879A (zh) 一种基于变声技术制作智能表情及声感游戏的方法
WO2016011159A9 (en) Apparatus and methods for providing a persistent companion device
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
KR20020071917A (ko) 개인 상호 작용을 시뮬레이트하고 관련 데이터를 갖는외부 데이터베이스를 차징하는 유저인터페이스/엔터테인먼트 장치
US20230009454A1 (en) Digital character with dynamic interactive behavior
Corradini et al. Animating an interactive conversational character for an educational game system
JP2001249949A (ja) 感情生成方法、感情生成装置、記録媒体
Sommerer et al. Interface cultures: artistic aspects of interaction
CN112138410B (zh) 一种虚拟对象的交互方法以及相关装置
WO2024214749A1 (ja) 行動制御システム
WO2018183812A1 (en) Persistent companion device configuration and deployment platform
Hacker et al. Incorporating intentional and emotional behaviors into a Virtual Human for Better Customer-Engineer-Interaction
JP2024159719A (ja) 行動制御システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant