[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110837294A - 一种基于眼球追踪的面部表情控制方法及系统 - Google Patents

一种基于眼球追踪的面部表情控制方法及系统 Download PDF

Info

Publication number
CN110837294A
CN110837294A CN201910970941.0A CN201910970941A CN110837294A CN 110837294 A CN110837294 A CN 110837294A CN 201910970941 A CN201910970941 A CN 201910970941A CN 110837294 A CN110837294 A CN 110837294A
Authority
CN
China
Prior art keywords
user
eyeball
state information
game
calling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910970941.0A
Other languages
English (en)
Other versions
CN110837294B (zh
Inventor
巫育裕
李爱华
周诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xishanju Shiyou Technology Co Ltd
Original Assignee
Chengdu Xishanju Shiyou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xishanju Shiyou Technology Co Ltd filed Critical Chengdu Xishanju Shiyou Technology Co Ltd
Priority to CN201910970941.0A priority Critical patent/CN110837294B/zh
Publication of CN110837294A publication Critical patent/CN110837294A/zh
Application granted granted Critical
Publication of CN110837294B publication Critical patent/CN110837294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/807—Role playing or strategy games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的技术方案包括一种基于眼球追踪的面部表情控制方法及系统，用于实现：包括用户使用终端设备运行游戏程序；游戏程序调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；根据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。本发明的有益效果为：提高游戏体验，增强游戏真实感，提高用户粘性以及游戏活跃度，使玩家有更多的代入感，能够提高玩家对游戏的依赖度和忠诚度。

Description

一种基于眼球追踪的面部表情控制方法及系统
技术领域
本发明涉及一种基于眼球追踪的面部表情控制方法及系统，属于计算机技术领域。
背景技术
现在RPG游戏(角色扮演游戏)的人物模型，大多具有逼真拟人化的表现。但遗憾的是，游戏中人物的眼神都比较呆滞。与玩家对视时，游戏人物并没有注视玩家视角，与玩家无法产生视线交互，严重影响游戏体验，对于用户来说游戏体验不够真实，导致用户粘性下降，降低游戏活跃度。
眼球转动分析个性，眼球转动往往能体现人的心理活动早就有过一些总结，比如兴奋的时候两眼放光，沮丧的时候两眼无光，悲伤的时候瞳孔无神，愤怒的时候怒目圆睁等等。还有人认为眼球向左上方看是说谎，右上方看则是思考。证明眼球对判断人的性格、情绪是由一定的作用的。
发明内容
为解决上述问题，本发明的目的在于提供一种基于眼球追踪的面部表情控制方法及系统，包括用户使用终端设备运行游戏程序；游戏程序调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；根据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
本发明解决其问题所采用的技术方案一方面是：一种基于眼球追踪的面部表情控制方法，其特征在于，包括以下步骤：S100、用户使用终端设备运行游戏程序；S200、游戏程序调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；S300、根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；S400、根据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
进一步的，所述S200还包括：S210、在指定时间段内采集一定数量的用户眼球静态图像，其中指定时间段和一定数量可自定义；S220、选取一定数量的用户眼球静态图像进行对比，根据对比结果获取用户眼球在指定时间内变化状态及变化轨迹。
进一步的，所述S220还包括：S221、选取在时间上相邻的两张用户眼球静态图像，进行对比得到眼球差异性；S222、根据差异性结合对应时间节点图像采集装置在终端设备上的固定位置计算用户眼镜与设备的距离。
进一步的，所述S300还包括：S310、获取眼球状态信息与对应情绪联系的大数据信息；S320、根据大数据信息对机器学习算法进行训练，得到训练后的机器情绪算法；S330、将采集到的用户眼球状态信息作为输入，机器情绪算法进行对应训练后输出一定时间段内的用户情绪信息。
进一步的，所述S400还包括：S410、基于响应算法模型，以用户情绪作为输入，输出虚拟角色眼睛对应变化的回视角度、瞳孔大小以及眼睛外廓形态数据；S420、从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
本发明解决其问题所采用的技术方案另一方面是：一种基于眼球追踪的面部表情控制系统，其特征在于，包括：执行模块，用于在终端设备运行游戏程序；设备调用模块，用于调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；机器算法执行模块，用于根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；表情调用模块，用于据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
进一步的，所述图像采集装置包括但不限于摄像头以及红外线投射采集装置。
进一步的，所述设备调用模块还包括：设置单元，用于设置图像采集装置的采集时间段和采集频率，在指定时间段内采集一定数量的用户眼球静态图像，其中指定时间段和一定数量可自定义；轨迹生成单元，用于选取一定数量的用户眼球静态图像进行对比，根据对比结果获取用户眼球在指定时间内变化状态及变化轨迹。
进一步的，所述轨迹生成单元还包括：对比子单元，用于选取在时间上相邻的两张用户眼球静态图像，进行对比得到眼球差异性；距离计算子单元，用于根据差异性结合对应时间节点图像采集装置在终端设备上的固定位置计算用户眼镜与设备的距离。
进一步的，所述机器算法执行模块还包括：大数据单元，用于获取眼球状态信息与对应情绪联系的大数据信息；训练单元，用于根据大数据信息对机器学习算法进行训练，得到训练后的机器情绪算法；计算单元，用于将采集到的用户眼球状态信息作为输入，机器情绪算法进行对应训练后输出一定时间段内的用户情绪信息。
本发明的有益效果是：提高游戏体验，增强游戏真实感，提高用户粘性以及游戏活跃度，使玩家有更多的代入感，能够提高玩家对游戏的依赖度和忠诚度。
附图说明
图1是根据本发明优选实施例的方法流程示意图；
图2是根据本发明优选实施例的系统结构示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
据美国知名科技网站mashable 2018年7月30日报道，通过机器学习，一个由德国斯图加特大学、澳大利亚弗林德斯大学和南澳大利亚大学等机构的研究人员组成的国际研究团队使用了最先进的机器学习算法，发现了人的性格和眼球运动之间的关系。
以下是研究人员通过人工智能技术开发的与眼球运动有关的一些性格特征：
(1)好奇心：眼睛更多地环顾四周；
(2)开放心态：思想开明的人会花更长时间凝视抽象图案；
(3)神经质：眨眼速度更快；
(4)对新经验的接纳：眼球更多地从一侧移动至另一侧；
(5)责任心：具有高度责任心的人的瞳孔大小会有更大的波动；
(6)乐观：与悲观的人相比，关注消极情绪内容的时间更短。
参照图1，是根据本发明优选实施例的方法流程示意图,
S100、用户使用终端设备运行游戏程序；
S200、游戏程序调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；
S300、根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；
S400、根据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
S200还包括：S210、在指定时间段内采集一定数量的用户眼球静态图像，其中指定时间段和一定数量可自定义；S220、选取一定数量的用户眼球静态图像进行对比，根据对比结果获取用户眼球在指定时间内变化状态及变化轨迹。
S220还包括：S221、选取在时间上相邻的两张用户眼球静态图像，进行对比得到眼球差异性；S222、根据差异性结合对应时间节点图像采集装置在终端设备上的固定位置计算用户眼镜与设备的距离。
S300还包括：S310、获取眼球状态信息与对应情绪联系的大数据信息；S320、根据大数据信息对机器学习算法进行训练，得到训练后的机器情绪算法；S330、将采集到的用户眼球状态信息作为输入，机器情绪算法进行对应训练后输出一定时间段内的用户情绪信息。
S400还包括：S410、基于响应算法模型，以用户情绪作为输入，输出虚拟角色眼睛对应变化的回视角度、瞳孔大小以及眼睛外廓形态数据；S420、从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
参照图2，是根据本发明优选实施例的系统结构示意图，
包括：执行模块，用于在终端设备运行游戏程序；设备调用模块，用于调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；机器算法执行模块，用于根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；表情调用模块，用于据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
图像采集装置包括但不限于摄像头以及红外线投射采集装置。
设备调用模块还包括：设置单元，用于设置图像采集装置的采集时间段和采集频率，在指定时间段内采集一定数量的用户眼球静态图像，其中指定时间段和一定数量可自定义；轨迹生成单元，用于选取一定数量的用户眼球静态图像进行对比，根据对比结果获取用户眼球在指定时间内变化状态及变化轨迹。
轨迹生成单元还包括：对比子单元，用于选取在时间上相邻的两张用户眼球静态图像，进行对比得到眼球差异性；距离计算子单元，用于根据差异性结合对应时间节点图像采集装置在终端设备上的固定位置计算用户眼镜与设备的距离。
机器算法执行模块还包括：大数据单元，用于获取眼球状态信息与对应情绪联系的大数据信息；训练单元，用于根据大数据信息对机器学习算法进行训练，得到训练后的机器情绪算法；计算单元，用于将采集到的用户眼球状态信息作为输入，机器情绪算法进行对应训练后输出一定时间段内的用户情绪信息。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于眼球追踪的面部表情控制方法，其特征在于，包括以下步骤：
S100、用户使用终端设备运行游戏程序；
S200、游戏程序调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；
S300、根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；
S400、根据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
2.根据权利要求1所述的基于眼球追踪的面部表情控制方法，其特征在于，所述S200还包括：
S210、在指定时间段内采集一定数量的用户眼球静态图像，其中指定时间段和一定数量可自定义；
S220、选取一定数量的用户眼球静态图像进行对比，根据对比结果获取用户眼球在指定时间内变化状态及变化轨迹。
3.根据权利要求2所述的基于眼球追踪的面部表情控制方法，其特征在于，所述S220还包括：
S221、选取在时间上相邻的两张用户眼球静态图像，进行对比得到眼球差异性；
S222、根据差异性结合对应时间节点图像采集装置在终端设备上的固定位置计算用户眼镜与设备的距离。
4.根据权利要求1所述的基于眼球追踪的面部表情控制方法，其特征在于，所述S300还包括：
S310、获取眼球状态信息与对应情绪联系的大数据信息；
S320、根据大数据信息对机器学习算法进行训练，得到训练后的机器情绪算法；
S330、将采集到的用户眼球状态信息作为输入，机器情绪算法进行对应训练后输出一定时间段内的用户情绪信息。
5.根据权利要求1所述的基于眼球追踪的面部表情控制方法，其特征在于，所述S400还包括：
S410、基于响应算法模型，以用户情绪作为输入，输出虚拟角色眼睛对应变化的回视角度、瞳孔大小以及眼睛外廓形态数据；
S420、从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
6.一种基于眼球追踪的面部表情控制系统，其特征在于，包括：
执行模块，用于在终端设备运行游戏程序；
设备调用模块，用于调用终端设备的图像采集装置获取用户的眼球状态信息，其中眼球状态信息包括眼球与设备的角度、注视方向、眨眼动作和眼睛瞳孔大小变化、虹膜拉伸或收缩状态；
机器算法执行模块，用于根据获取的眼球状态信息，调用机器学习算法计算用户当前的情绪属性；
表情调用模块，用于据客户当前的情绪属性，按照预设规则从表情库中调用对应的表情并由游戏中指定的虚拟角色进行展示。
7.根据权利要求6所述的基于眼球追踪的面部表情控制系统，其特征在于，所述图像采集装置包括但不限于摄像头以及红外线投射采集装置。
8.根据权利要求6所述的基于眼球追踪的面部表情控制系统，其特征在于，所述设备调用模块还包括：
设置单元，用于设置图像采集装置的采集时间段和采集频率，在指定时间段内采集一定数量的用户眼球静态图像，其中指定时间段和一定数量可自定义；
轨迹生成单元，用于选取一定数量的用户眼球静态图像进行对比，根据对比结果获取用户眼球在指定时间内变化状态及变化轨迹。
9.根据权利要求8所述的基于眼球追踪的面部表情控制系统，其特征在于，所述轨迹生成单元还包括：
对比子单元，用于选取在时间上相邻的两张用户眼球静态图像，进行对比得到眼球差异性；
距离计算子单元，用于根据差异性结合对应时间节点图像采集装置在终端设备上的固定位置计算用户眼镜与设备的距离。
10.据权利要求6所述的基于眼球追踪的面部表情控制系统，其特征在于，所述机器算法执行模块还包括：
大数据单元，用于获取眼球状态信息与对应情绪联系的大数据信息；
训练单元，用于根据大数据信息对机器学习算法进行训练，得到训练后的机器情绪算法；
计算单元，用于将采集到的用户眼球状态信息作为输入，机器情绪算法进行对应训练后输出一定时间段内的用户情绪信息。
CN201910970941.0A 2019-10-14 2019-10-14 一种基于眼球追踪的面部表情控制方法及系统 Active CN110837294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910970941.0A CN110837294B (zh) 2019-10-14 2019-10-14 一种基于眼球追踪的面部表情控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910970941.0A CN110837294B (zh) 2019-10-14 2019-10-14 一种基于眼球追踪的面部表情控制方法及系统

Publications (2)

Publication Number Publication Date
CN110837294A true CN110837294A (zh) 2020-02-25
CN110837294B CN110837294B (zh) 2023-12-12

Family

ID=69575401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910970941.0A Active CN110837294B (zh) 2019-10-14 2019-10-14 一种基于眼球追踪的面部表情控制方法及系统

Country Status (1)

Country Link
CN (1) CN110837294B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352507A (zh) * 2020-02-27 2020-06-30 维沃移动通信有限公司 信息提示方法及电子设备
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游系统及手游响应方法
CN114187647A (zh) * 2021-12-10 2022-03-15 深圳爱酷智能科技有限公司 吸毒检测方法、装置、设备及存储介质
CN114296548A (zh) * 2021-12-14 2022-04-08 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
WO2022183424A1 (zh) * 2021-03-04 2022-09-09 深圳技术大学 基于情绪识别的在线社交方法、装置及存储介质
CN116912748A (zh) * 2023-09-13 2023-10-20 江西工业贸易职业技术学院 赛事视角追踪方法、系统、可读存储介质及计算机

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5169319A (en) * 1990-07-30 1992-12-08 John Potocki Method for improving a person's skill for playing an interactive video game requiring eye-hand coordination and operation of manual activation means
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
US20120190456A1 (en) * 2011-01-21 2012-07-26 Rogers Henk B Systems and methods for providing an interactive multiplayer story
CN105573613A (zh) * 2015-06-24 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种程序图标排序方法和装置
CN105797375A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种跟随用户脸部表情改变角色模型表情的方法和终端
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN107589829A (zh) * 2016-07-07 2018-01-16 迪斯尼实业公司 对互动商品的基于位置的体验
US20180314881A1 (en) * 2017-05-01 2018-11-01 Google Llc Classifying facial expressions using eye-tracking cameras
CN108742657A (zh) * 2018-03-30 2018-11-06 百度在线网络技术（北京）有限公司 游戏测评方法、装置、游戏系统及存储介质
CN108905204A (zh) * 2018-07-24 2018-11-30 合肥爱玩动漫有限公司 一种用于沉浸式虚拟游戏的交互方法
US20180348861A1 (en) * 2017-05-31 2018-12-06 Magic Leap, Inc. Eye tracking calibration techniques
CN109376621A (zh) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 一种样本数据生成方法、装置以及机器人
CN109431761A (zh) * 2018-08-31 2019-03-08 深圳众赢维融科技有限公司 视疲劳缓解的方法、装置、电子设备及存储介质
CN109621418A (zh) * 2018-12-03 2019-04-16 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN109670385A (zh) * 2017-10-16 2019-04-23 腾讯科技（深圳）有限公司 一种应用程序中表情更新的方法及装置
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN109725418A (zh) * 2017-10-30 2019-05-07 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
CN109844735A (zh) * 2016-07-21 2019-06-04 奇跃公司 用于使用用户的情感状态控制虚拟图像生成系统的技术
CN109857650A (zh) * 2019-01-14 2019-06-07 珠海金山网络游戏科技有限公司 一种游戏性能监听方法及系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5169319A (en) * 1990-07-30 1992-12-08 John Potocki Method for improving a person's skill for playing an interactive video game requiring eye-hand coordination and operation of manual activation means
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
US20120190456A1 (en) * 2011-01-21 2012-07-26 Rogers Henk B Systems and methods for providing an interactive multiplayer story
CN106537290A (zh) * 2014-05-09 2017-03-22 谷歌公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CN105797375A (zh) * 2014-12-31 2016-07-27 深圳市亿思达科技集团有限公司 一种跟随用户脸部表情改变角色模型表情的方法和终端
CN105573613A (zh) * 2015-06-24 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种程序图标排序方法和装置
CN107589829A (zh) * 2016-07-07 2018-01-16 迪斯尼实业公司 对互动商品的基于位置的体验
CN109844735A (zh) * 2016-07-21 2019-06-04 奇跃公司 用于使用用户的情感状态控制虚拟图像生成系统的技术
US20180314881A1 (en) * 2017-05-01 2018-11-01 Google Llc Classifying facial expressions using eye-tracking cameras
CN110249337A (zh) * 2017-05-01 2019-09-17 谷歌有限责任公司 使用眼睛追踪相机对面部表情分类
US20180348861A1 (en) * 2017-05-31 2018-12-06 Magic Leap, Inc. Eye tracking calibration techniques
CN109670385A (zh) * 2017-10-16 2019-04-23 腾讯科技（深圳）有限公司 一种应用程序中表情更新的方法及装置
CN109725418A (zh) * 2017-10-30 2019-05-07 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
CN108742657A (zh) * 2018-03-30 2018-11-06 百度在线网络技术（北京）有限公司 游戏测评方法、装置、游戏系统及存储介质
CN108905204A (zh) * 2018-07-24 2018-11-30 合肥爱玩动漫有限公司 一种用于沉浸式虚拟游戏的交互方法
CN109431761A (zh) * 2018-08-31 2019-03-08 深圳众赢维融科技有限公司 视疲劳缓解的方法、装置、电子设备及存储介质
CN109376621A (zh) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 一种样本数据生成方法、装置以及机器人
CN109621418A (zh) * 2018-12-03 2019-04-16 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN109857650A (zh) * 2019-01-14 2019-06-07 珠海金山网络游戏科技有限公司 一种游戏性能监听方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘春雷;林熠轩;: "视觉交互游戏所隐含的艺术语境变革探析", 现代商贸工业, no. 19 *
郭淳;居全伟;: "基于玩家体验的电脑游戏界面情感化设计研究", 黑龙江科学, no. 06 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352507A (zh) * 2020-02-27 2020-06-30 维沃移动通信有限公司 信息提示方法及电子设备
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游系统及手游响应方法
WO2021232698A1 (zh) * 2020-05-18 2021-11-25 歌尔股份有限公司 基于视觉引导的手游系统及手游响应方法
WO2022183424A1 (zh) * 2021-03-04 2022-09-09 深圳技术大学 基于情绪识别的在线社交方法、装置及存储介质
CN114187647A (zh) * 2021-12-10 2022-03-15 深圳爱酷智能科技有限公司 吸毒检测方法、装置、设备及存储介质
CN114296548A (zh) * 2021-12-14 2022-04-08 杭州朱道实业有限公司 一种展览用智能移动识别信息系统
CN116912748A (zh) * 2023-09-13 2023-10-20 江西工业贸易职业技术学院 赛事视角追踪方法、系统、可读存储介质及计算机

Also Published As

Publication number Publication date
CN110837294B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN110837294A (zh) 一种基于眼球追踪的面部表情控制方法及系统
US12054227B2 (en) Matching meshes for virtual avatars
EP3381175B1 (en) Apparatus and method for operating personal agent
Varona et al. Hands-free vision-based interface for computer accessibility
Duric et al. Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction
US11557076B2 (en) Computer generated hair groom transfer tool
Korn et al. Assistive systems in production environments: exploring motion recognition and gamification
CN112970056A (zh) 使用高速和精确的用户交互跟踪的人类-计算机接口
US20100062403A1 (en) Situated simulation for training, education, and therapy
CN108942919B (zh) 一种基于虚拟人的交互方法及系统
Calandra et al. Navigating wall-sized displays with the gaze: a proposal for cultural heritage.
Korn et al. Assistive systems for the workplace: Towards context-aware assistance
CN109840019B (zh) 虚拟人物的控制方法、装置及存储介质
US11836840B2 (en) Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
CN108460324A (zh) 一种用于识别幼儿情绪的方法
CN105975072A (zh) 识别手势动作的方法、装置及系统
CN111773669B (zh) 一种在虚拟环境中生成虚拟对象方法及装置
KR20200019296A (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
Huang et al. Design dimensions for holographic intelligent agents: A comparative analysis
Alam et al. ASL champ!: a virtual reality game with deep-learning driven sign recognition
JP6935531B1 (ja) 情報処理プログラムおよび情報処理システム
WO2023000310A1 (en) Methods, devices, and media for customizing and expressing personality of robot
Dan Construction and design of visual information platform in human-computer interaction
Lenders Physical Perception of a VR Handshake
Ventrella Virtual gaze: the communicative energy between avatar faces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant