[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114830193A - 生成包括修改的面部图像的视频 - Google Patents

生成包括修改的面部图像的视频 Download PDF

Info

Publication number
CN114830193A
CN114830193A CN202080087661.6A CN202080087661A CN114830193A CN 114830193 A CN114830193 A CN 114830193A CN 202080087661 A CN202080087661 A CN 202080087661A CN 114830193 A CN114830193 A CN 114830193A
Authority
CN
China
Prior art keywords
person
face
visual material
visual
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080087661.6A
Other languages
English (en)
Inventor
海克·本迪特-克莱佩特科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quantitative Facial Co ltd
Original Assignee
Quantitative Facial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quantitative Facial Co ltd filed Critical Quantitative Facial Co ltd
Publication of CN114830193A publication Critical patent/CN114830193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167—Personality evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Hospice & Palliative Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

本公开涉及一种提供视频(4)的方法，该视频(4)具有人(2)的期望脸部的计算机修改的视觉材料(13)，其特征在于，该方法包括以下步骤：1.生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将该数据集存储在数据库中，该数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；2.进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与数据库中所生成的数据集一起用于训练人工智能(7)，以使人工智能(7)能够提供对脸部的视觉材料的特征的自动评分；3.提供人(2)的脸部的至少一份视觉材料；4.输入要改善的人(2)的脸部的至少一个特征；5.使用人工智能(7)来分析人(2)的脸部的视觉材料，并产生至少两个修改数据集(12)，从而以至少两种不同的方式朝向所选择的特征改善人(2)的视觉外貌；6.基于两个修改数据集(12)修改人(2)的脸部的视觉材料，并生成人(2)的脸部的两份计算机修改的视觉材料(13)；7.显示人(2)的脸部的两份计算机修改的视觉材料(13)；8.选择这两份计算机修改的视觉材料(13)中的一份作为人(2)的期望脸部；9.提供显示人(2)的脸部的视频(17)，并使用所选择的人(2)的期望脸部的所选择的修改数据集(12)来修改视频(17)，以提供具有人(2)的期望脸部的计算机修改的视觉材料(13)的视频(4)。

Description

生成包括修改的面部图像的视频
技术领域
本发明涉及一种用于提供具有人的期望脸部的计算机修改的视觉材料的视频的方法和设备。
背景技术
人们普遍希望在私人或商业环境中的个人交互中改善自己的外貌。脸部是与该外貌相关的身体的主要区域之一。然后，在以复杂的方式形成第一印象的过程中，由其他人对外貌进行分类。给人留下第一印象时的特征是，例如，吸引力、健康、年轻、疲劳、痛苦、友好、支配、能力、可爱或值得信赖，仅举一些例子。一个人可能想要将他/她的第一印象改善为在与客户的视频会议中被认为是具有支配性或能力，但是当出差时，可能想要改善他/她的第一印象为在晚上与他/她的家人进行视频通话时被认为是可爱的和值得信赖的。使用伙伴关系网络平台的另一个人可能想要将潜在伙伴感受到的他/她的第一印象改善为有吸引力的或性感的。
WO2015/017687A2公开了一种具有确定所选解剖区域中缺陷的“严重程度”级别的服务器的方法和系统。例如，服务器分析一个人的照片，以根据标准化的皱纹评分对眼睛的皱纹进行评分。服务器使用具有针对所选解剖区域的所选医学或美容治疗的可能结果的数据库来支持人在她/他的医学或美容治疗中的决定。
US2019/0005359A1公开了一种执行计算机程序以训练人工智能的方法和系统，该人工智能提供对人的脸部视觉材料特征的自动评分。为了实现这一点，生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将其存储在数据库中，所述数据集与一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于这些脸部特征对这些脸部的视觉材料进行评分。提取另外的脸部的视觉材料的脸部属性数据，并将其与数据库中所生成的数据集一起用于人工智能的训练，以使人工智能能够提供脸部视觉材料的特征的自动评分。US2019/0005359A1还公开了使用人工智能对不同人的照片关于他们的“支配”特征的第一印象进行评分，以支持人力资源经理决定选择哪个候选者进行新的工作。在另一个实施例中，基于在视频会议中显示一人或多人的视频来执行基于脸部的个性分析。
发明内容
这些现有技术的方法和系统都没有提供技术手段来支持一个人在他/她的总体愿望中改进其他人所看到和分类的自己的第一印象用，这些问题通过包括以下步骤的方法来解决：
-提供该人的脸部的至少一份视觉材料；
-输入要改善的该人的脸部的至少一个特征；
-使用人工智能来分析该人的脸部的视觉材料，并产生至少两个修改数据集，从而以至少两种不同的方式朝向所选择的特征改善该人的视觉外貌；
-基于两个修改数据集修改该人的脸部的视觉材料，并生成该人的脸部的两份计算机修改的视觉材料；
-显示该人的脸部的两份计算机修改的视觉材料；
-选择这两份计算机修改的视觉材料中的一份作为该人的期望脸部；
-提供显示该人的脸部的视频，并使用所选择的该人的期望脸部的所选择的修改数据集来修改该视频，以提供具有该人的期望脸部的计算机修改的视觉材料的视频。
本发明基于这样的发现，即当目的在于理解人的外貌时，例如查看一个人具有多少皱纹仅仅是次要的目标，因为人们在以更复杂的方式和整体形成第一印象的过程中对他人的外貌进行分类。给人留下第一印象时的特征是，例如，吸引力、健康、年轻、疲劳、痛苦、友好、支配、能力、可爱或值得信赖，仅举一些例子。
本发明的方法、装置和/或计算机程序使用一种全新的概念和技术，以使人能够在由他/她选择的现场视频会议或存储的视频消息中改善他/她的第一印象。在形成第一印象过程中由他人所赋予的特征的改善可以通过两种方式实现，即增加被认为是积极的特征或减少被认为是消极的特征。该人为即将到来的视频会议选择要改进的特征，并发送他/她的脸部的视觉材料(照片或视频)，以查看该特征可能有哪些不同的改进。基于人工智能对他/她的照片或视频中的该人的特征的分类，人工智能提出至少两组修改，基于存储在数据库中的信息，如何修改视觉材料以改进所选择的特征。例如，为了改善特征“能力”，眉毛位置要提升，下颌轮廓体积要增大。人脸的第一组修改原则上在现实生活中通过人的美容和/或医学治疗是可能的。基于本发明的概念，不限于仅提供几组修改和仅显示美容和/或医学治疗的边界内的改进。因此，第二组修改例如可以包括减少或增加眼睛的距离或眼睛与嘴之间的距离、或显著改变眼睛、嘴或耳朵的形状或尺寸的修改。进一步的修改组可以包括人可以佩戴的物品，例如眼镜或耳环，以改变他/她给其他人的第一印象。由该人提供的脸部视觉材料的所有这些不同类型的修改组由人工智能产生和提供，在下一步骤中，人工智能修改该视觉材料并显示该人脸的所有可能的计算机修改的视觉材料。该人选择具有所改进的选择特征的一份视觉材料，并为即将到来的视频会议选择他或她想要的脸部。在本发明方法的最后一步中，人工智能识别实时视频中的人脸，并将其连续地替换为期望的人脸。这提供了主要的优点，即该人可以为每份视频会议或者甚至在视频会议期间选择他/她想要以适当的视觉外貌支持他/她的消息的方式。当然，选择一个或多个特征以改善他/她的视觉外貌是自由的。
在一个优选实施例中，人工智能分析视频会议中的对话的内容和音调，并且在人从沉默和真实的行为改变为大声喊叫和攻击性行为的情况下，人工智能同时改变脸部的视觉外貌以支持他/她的实际消息。视觉外貌的这些变化可以是小步骤和细微的，仅被会议的其它参与者在潜意识中认识到，或者是由人选择的剧变。
附图说明
本发明的这些和更有利的实施例将基于下面的描述和附图进行解释。
图1示出了一个系统，该系统用于提供具有计算机修改的人期望脸部视觉材料的视频。
图2示出了具有正在进行的视频会议和计算机修改的人脸的系统的设备。
图3示出了基于人脸的视觉材料数据的特征描述和评分。
图4示出了用户如何在应用程序中选择特征。
图5示出了具有有创和/或微创美容和医学治疗的例子的表格，以实现人脸期望特征的改变。
图6示出了一个人的面部线条图，其中包含如何改进“能力”特征的数据集。
图7示出了一张人脸的照片，该人脸的某些区域被标记待处理，以增加给人留下第一印象时的特征“支配”。
具体实施方式
图1示出了利用设备3显示视频的系统1，该视频具有人2的期望脸部的计算机修改的视觉材料。设备3可以是移动设备或计算机，以执行软件，特别是用于人2的应用程序，人2想要修改其他人看到她的视觉材料第一印象。作为示例，如图2所示，人2想要使用设备3加入实时视频会议4，但她希望提高自己的特征“能力”，使她看起来比在现实生活中更有能力，以增加她在这份视频会议4中成功的机会。为了达到这个目的，她只需要选择一张照片5或显示她正常脸部的视频，并且在这个例子中，将这张照片5从她的手机6发送到设备3以便进一步处理。
设备3执行基于深度学习的应用程序7或人工智能，该应用程序7或人工智能分析表示人2的脸部的照片5或视频的视觉材料数据，以在产生第一印象时对人2的一个或多个特征进行评分。这样的脸部特征例如可以是吸引力、健康、年轻、疲劳、痛苦、友好、支配、能力、可爱或值得信赖。基于深度学习的应用程序7是包括指令的计算机程序，当该程序由设备3执行时，该指令使设备3执行以下步骤以显示具有人2的期望脸部的计算机修改视觉材料的视频。
在该方法的第一步中，生成与脸部特征数据相关联的脸部视觉材料的视觉材料数据及其提取的脸部属性数据的数据集。为了提取脸部属性，传统的计算机视觉材料算法(如界标检测)将人脸划分为下巴和下颌轮廓的区域，并自动提取特征及其在脸部中的位置。这种脸部属性数据可以例如包括眼睛之间的距离或眼睛与嘴之间的距离以及其它要测量以描述脸部的距离。基于深度学习的应用程序7将这些脸部属性数据与这些脸部的视觉材料数据(照片或视频)一起存储在设备3的数据库8中。将作为视觉材料数据存储在数据库8中的代表性数量的这种面部视觉材料显示在显示器上，让代表性数量的人关于他们的特征手动评分这些面部视觉材料。这些人可以针对不同特征对它们进行评分(例如从0到7)。这些人的评分与脸部的视觉材料数据相关联地存储在数据库8中，并为基于深度学习的应用程序7提供基础信息，以在产生第一印象时对归因于人2的特征进行评分。
在第二步中，通过传统的计算机视觉材料算法，例如界标检测、皱纹检测、皮肤纹理分析、脸部比例分析，提取这些脸部视觉材料的脸部属性数据。这些脸部视觉材料的脸部属性数据与在第一步中生成并存储在数据库8中的数据集一起用于训练基于深度学习的应用程序7，以使人工智能能够提供脸部视觉材料特征的自动评分。因此，可以将脸部的任何视觉材料提供给基于深度学习的应用程序7，应用程序7将基于存储在数据库8中的数据集，提供脸部视觉材料的特征的自动评分。图3示出了基于显示在手机6上的人脸的视觉材料，对人的特征进行自动评分的描述和结果。本领域技术人员从US2019/0005359A1已知用于基于人的视觉材料自动评定人的特征的这种人工智能，因此在此不再详细讨论。
在用上述步骤建立了数据库8之后，系统1准备好用于使用设备3显示具有人2的期望脸部的计算机修改的视觉材料的视频，如在该方法的以下步骤中所描述。
在第三步骤中，必须向设备3提供人2的至少一份视觉材料(照片或视频)。在本例中，人2选择显示她的正常脸部的一张照片5，并将这个照片5从她的手机6发送到设备3，以便进一步处理。原则上，照片可以以标准化或非标准化的方式拍摄。用于人和/或摄影者拍摄标准化照片的指令可以包括以下步骤中的一个或多个：要求人2摘下例如耳环或鼻环；要求人2不要笑，要求人2做出一个中性的脸部表情；要求人2使头发离开他/她的脸部；让人2直视镜头；通用照明条件良好；中性背景。作为示例的图1所示的照片5已被拍摄为标准化照片。如果照片5是以非标准化方式拍摄的，则基于深度学习的应用程序7的自动评分将更困难，但也是可能的。因此，设备3包括视觉材料数据修改装置9，用于预处理所提供的人的2脸部的照片5或视频，以试图在基于深度学习的应用程序7的分析之前尽可能地标准化它们的内容。照片5的预处理可以包括以下步骤中的一个或多个：从视觉材料数据中剪切脸部后面的背景；剪切人脸的耳朵以减少例如耳环的视觉材料影响；剪切可能影响脸部的衣服和其它衣物；剪切人2的头发。当然，如果照片5上的人2确实注视一侧，那么就不可能将该照片5预处理成如图1所示的标准化照片5。照片5的视觉材料数据从手机6发送到设备3。
在第四步中，人2使用输入装置10来输入她想要改善的脸部的至少一个特征，所选择的特征作为脸部特征数据被传送到设备3的基于深度学习的应用程序7。在另一个实施例中，如图4所示，人2使用手机6的应用程序的输入装置，其中按钮被实现为人可以选择的每个特征。根据上述解释的例子，人2选择“能力”作为特征，该特征通过宽带网络传送到设备3的基于深度学习的应用程序7。在本发明的另一个实施例中，人2可以使用另一种方式用手机6输入所述至少一个特征。这可以通过选择人2使用的应用程序来完成，因为可能有一个应用程序来选择特征“吸引力”；另一个应用程序选择特征“能力”。
在该方法的第五步中，设备3的基于深度学习的应用程序7分析人2的照片5的视觉材料数据。结果，基于学习的应用程序7基于照片5对人2的特征进行评分，特别是对人2的特征“能力”进行评估和评分。
为了实现该技术步骤，基于深度学习的应用程序7，基于数据库8，通过将照片5中的人2的脸部划分为诸如下巴和下颌轮廓的区域来提取照片5的脸部属性。如果手机6发送的照片5是非标准化照片5，则使用基于深度学习的应用程序7来填充缺失的视觉信息，或者评估照片5上的脸部如果以标准化的方式拍摄则看上去怎么样，以使得能够对特征进行或多或少标准化的评分。作为该分析的结果，设备3将特征“能力”评为5分，评分范围为0到7分，如图3所示。
图5示出了具有有创和/或微创美容和医学治疗的例子的表格，以实现人脸的期望特征的改变，该表格基于临床研究。这样的数据被存储在设备3的修改数据库11中。使用这些治疗中的一些或组合，当处理真人的真实治疗时，期望的特征可以在评级中提高1个或更多个点。但是本发明的构思不受实际治疗的成果的限制，并且进一步将数据存储在提供特征改进的修改数据库11中，但是以一种不对真人进行治疗的方式。因此，在一个例子中，眼睛之间的距离将需要显著增加以改善一个特征，这在现实生活中将不是一个选择。基于深度学习的应用程序7被构造为，基于存储在修改数据库11中的数据，不仅提供一个修改数据集，而且提供几个修改数据集12，其指示人2的视觉材料面部中需要由视觉材料数据修改装置9修改的区域，从而以不同的方式和不同的改进分数来改进期望的所选特征。图6示出了具有第一修改数据集12的人2脸部的线条图，如何基于图5所列的有创和/或微创美容和医学治疗改进特征“能力”。基于深度学习的应用程序7，基于修改数据库11中的进一步数据，提供了第二修改数据集12，如何基于对真人不可能进行的修改来改进特征“能力”，但提供了对所选择的期望特性的很好改进，并且仍然以人2仍被认为是人2的方式看起来逼真。以这种方式，基于深度学习的应用程序7可以提供多个修改集12，其中一些具有细微的改进，这些改进仅在潜意识中被认识到，而其它具有可识别的改进，并且一些具有所选特征的得分的显著改进。
在该方法的第六步中，视觉材料数据修改装置9用两个或多个修改数据集12中的每一个修改人2的照片5，并生成人2的脸部的两个或更多份计算机修改的照片13。修改数据集12在技术上是修改照片所需的代码指令，如同在软件程序
Figure BDA0003692156890000081
中一样。作为另一个例子，图7示出了具有另一个修改数据集12的人2的脸部，如何基于有创和/或微创美容和医学治疗改进特征“支配”。
在该方法的第七步中，使用设备3的显示器14来显示人2的所有计算机修改的照片13，以使她能够在即将到来的视频会议4中选择期望的修改的脸部外貌。因此，她可以在所选特征“能力”的较强改进及不太强改进之间进行选择，并且在该方法的第八步中，确定所显示的计算机修改照片13中的哪一张是期望脸部以及要使用的期望的选定修改集12。
在该方法的第九步中，如图2所示，处理实时视频会议，并且人2使用相机15来生成视频17，该视频17在视频会议4期间示出了她的脸部。视觉材料数据修改装置9接收实时视频17并识别视频17中示出人2的脸部的区域16。基于期望的选择的修改数据集12，基于深度学习的应用程序7使用视觉材料数据修改装置9来连续地生成人2的期望的选择的脸部的计算机修改的视觉材料。这意味着，甚至在视频会议4期间，人2的脸部的所有运动和人2所做的所有脸部表情期间，她的视觉材料也都连续地被计算机修改，以使她看起来更有能力。这意味着如图6所示，连续改变她的下巴，使之看起来不那么宽，脸颊不那么饱满，眉毛被下垂。然后，视觉材料数据修改装置9将来自相机15的视频17中的识别区域16替换为人2的计算机修改的视觉材料，并将该修改的视频与人2的计算机修改的视觉材料一起作为视频会议4的视频流发送。结果，视频会议4中的人2看起来具有一种视觉材料效果，人2向视频会议4的其他参与者提供了非常有能力的第一印象。这使人2在视频会议4期间的谈判中具有很强的优势。
在一个优选实施例中，修改数据库11可以存储关于人可以佩戴的物品的数据，例如像眼镜或耳环，以改变他/她的第一印象。在一个更优选的实施例中，人2预先上传他/她的个人物品的视觉材料，例如她的五个不同眼镜和她的十个不同耳环的照片。基于深度学习的应用程序7可以基于存储在修改数据库11中的这些数据产生进一步的修改集12，其中例如眼镜覆盖在人2的视觉材料上，如图2所示。这进一步扩展了在人2的计算机修改的视觉材料中改善期望特征的可能性。
在另一个实施例中，人2可以选择在方法步骤7中仅示出基于图5中的表格的她的脸部的计算机修改的视觉材料。因此，这些计算机修改原则上都可能对真人进行有创和/或微创美容和医学治疗，因此在显示器14上显示的计算机视觉材料看起来比其他人更加逼真。
在另一个实施例中，约会应用程序可以使用本发明的方法。在约会应用程序的个人资料中，男性/女性可以选择与他/她想要相遇的人进行实时聊天。为了改善他/她在该实时聊天中的机会，该人可以选择改善他的特征“值得信赖”或“支配”，并通过选择他/她的计算机修改的视觉材料来选择改善程度。这使得能够以一种全新的和创造性的方式来连接潜在的未来合作伙伴。
在本发明的另一个优选实施例中，对两个或多个特征或特征的组合，执行权利要求1所要求保护的方法的步骤2)-8)，并且将人针对这些不同特征选择的修改集被存储在视觉材料数据修改装置9中。人工智能被构造为分析视频中人脸的实际脸部表情并识别人的内容和/或音调。例如，人工智能在视频会议期间可以识别人2何时生气或高兴。该识别基于视频中提供的视觉材料和听觉信息。语音到文本识别器还可用于实现口语单词的内容分析。因此，如果人2提到她的母亲在医院，则所有这些指示都可以用于选择适合该消息的存储的修改集之一，而在几秒钟后，当人们开始在视频会议中协商产品的价格时，选择另一个修改集。这意味着支持人的内容和/或音调的适当存储的修改集由人工智能动态地选择，并且由视觉材料数据修改装置使用以动态地修改视频中人脸的视觉材料。
术语“视频”必须在其最广义上被解释，并覆盖任何可显示像真人或动画角色的对象的视觉材料数据帧序列。作为动画角色，例如可以显示人物的化身，该化身可以是动物、幻象生物或动画人物。术语“视频”还覆盖实时或存储的数据内容的任何二维和三维可视表示。视频会议也包括在内，如网络电视、实时演示或远程教学。

Claims (11)

1.一种提供视频(4)的方法，该视频(4)具有人(2)的期望脸部的计算机修改的视觉材料(13)，其特征在于，该方法包括以下步骤：
1)生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；
2)进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能(7)，以使人工智能(7)能够提供对脸部的视觉材料的特征的自动评分；
3)提供人(2)的脸部的至少一份视觉材料；
4)输入要改善的人(2)的脸部的至少一个特征；
5)使用人工智能(7)来分析人(2)的脸部的视觉材料，并产生至少两个修改数据集(12)，从而以至少两种不同的方式朝向所选择的特征改善人(2)的视觉外貌；
6)基于两个修改数据集(12)修改人(2)的脸部的视觉材料，并生成人(2)的脸部的两份计算机修改的视觉材料(13)；
7)显示所述人(2)的脸部的两份计算机修改的视觉材料(13)；
8)选择这两份计算机修改的视觉材料(13)中的一份作为人(2)的期望脸部；
9)提供显示人(2)的脸部的视频(17)，并使用所选择的人(2)的期望脸部的所选择的修改数据集(12)来修改所述视频(17)，以提供具有人(2)的期望脸部的计算机修改的视觉材料(13)的视频(4)。
2.根据权利要求1所述的方法，其特征在于，所述方法包括上述方法步骤9)的以下详细步骤：
-连续地
识别所述视频(17)中人(2)的脸部的视觉材料；
基于所选择的修改数据集(12)修改所识别的人(2)的脸部的视觉材料，并生成人(2)的期望脸部的计算机修改的视觉材料(13)；
在所述视频(17)中用所述人(2)的期望脸部的计算机修改的视觉材料(13)替换人(2)的脸部的所识别的视觉材料；
显示具有人(2)的期望脸部的已替换的计算机修改的视觉材料(13)的所述视频(4)。
3.根据权利要求1或2所述的方法，其特征在于，执行上述方法步骤1)和2)以准备计算机(3)来执行上述方法步骤5)，并且执行上述方法步骤3)至8)来选择人(2)的期望脸部，并且执行步骤9)用于修改实时视频，特别是视频会议(4)。
4.根据权利要求1至3中任一项所述的方法，其特征在于，上述方法步骤5)仅产生修改数据集(12)，以改善在通过对人(2)的视觉外貌进行美容和/或医学治疗和/或手动改变可实现的面部视觉材料修改的边界内的人(2)的视觉外貌。
5.根据权利要求4所述的方法，其特征在于，上述方法步骤2)还包括以下步骤：
生成通过对人(2)的视觉外貌进行美容和/或医学治疗和/或手动改变可实现的脸部的修改数据集(12)，并将该数据集存储在数据库中。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括以下步骤：
使用预定义的工具样本，例如特别是眼镜或耳环，来生成通过手动改变人(2)的视觉外貌可实现的脸部的修改数据集(12)。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括以下步骤：
提供人(2)的个人物品例如特别是眼镜或耳环的至少一份视觉材料，以生成通过手动改变人(2)的视觉外貌可实现的脸部的修改数据集(12)。
8.根据权利要求1至7中任一项所述的方法，其特征在于，针对两个或更多个特征或特征的组合执行上述方法步骤3)至8)，并且存储针对这些不同特征选择的修改数据集(12)，并且人工智能(7)被建立为分析所述视频(17)中人(2)的脸部的实际脸部表情，并识别人(2)的内容和/或音调，并选择支持人(2)的该内容和/或音调的适当存储的修改数据集(12)，并且用所选择的修改数据集(12)动态地修改所述视频中人(2)的脸部的视觉材料。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
在人工智能分析(7)之前，预处理所提供的人(2)的脸部的视觉材料以标准化它们的内容，其中预处理可以包括以下步骤中的一个或多个：从所述视觉材料中剪切脸部后面的背景；剪切人(2)的脸部的耳朵以减少它们的视觉影响；剪切可能影响脸部的衣服和其它衣物；剪切人(2)的头发。
10.一种设备(3)，用于提供具有人(2)的期望脸部的计算机修改的视觉材料的视频(4)，该设备(3)包括显示器(14)和输入装置(10)，用于输入要改变的人(2)的脸部的至少一个特征，并提供人(2)的脸部的至少一份视觉材料，其特征在于，
所述设备(3)包括基于深度学习的应用程序(7)，用于执行根据权利要求1所述的方法的步骤1)和2)，以生成数据库(8)，所述数据库(8)具有与脸部特征相关联的脸部的视觉材料及其提取的脸部属性数据的数据集，并且
基于深度学习的应用程序(7)被建立为执行根据权利要求1的方法的步骤5)，以分析所提供的人(2)的脸部的视觉材料，并生成至少两个修改数据集(12)，从而以至少两种不同的方式朝向所选特征改善人(2)的视觉外貌，并且，
所述修改装置(9)被建立为执行根据权利要求1的方法的步骤6)，以基于这两个修改数据集(12)来修改人(2)的脸部的视觉材料并生成人(2)的脸部的两份计算机修改的视觉材料(13)，并且
所述设备(3)被构造为显示人(2)的脸部的两份计算机修改的视觉材料(13)，并且所述修改装置(9)被构造为，基于人使用输入装置(10)对期望脸部的选择，通过使用用于修改视频(17)的人(2)的选定期望脸部的选定的修改数据集(12)来修改显示人(2)的脸部的视频(17)，以提供具有人(2)的期望脸部的计算机修改的视觉材料(13)的视频(4)。
11.一种包括指令的计算机程序，当该程序由设备(3)执行时，使设备(3)执行权利要求1至9中任一项所述的方法的步骤，以提供具有人(2)的期望脸部的计算机修改的视觉材料(13)的视频(4)。
CN202080087661.6A 2019-12-11 2020-11-26 生成包括修改的面部图像的视频 Pending CN114830193A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19215139 2019-12-11
EP19215139.7 2019-12-11
PCT/EP2020/083540 WO2021115797A1 (en) 2019-12-11 2020-11-26 Generating videos, which include modified facial images

Publications (1)

Publication Number Publication Date
CN114830193A true CN114830193A (zh) 2022-07-29

Family

ID=68886756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087661.6A Pending CN114830193A (zh) 2019-12-11 2020-11-26 生成包括修改的面部图像的视频

Country Status (5)

Country Link
US (2) US20210183021A1 (zh)
EP (1) EP4073682B1 (zh)
CN (1) CN114830193A (zh)
DE (1) DE212020000467U1 (zh)
WO (1) WO2021115797A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE212020000467U1 (de) 2019-12-11 2022-03-09 QuantiFace GmbH Vorrichtung, um ein Video mit einer computermodifizierten Abbildung eines erwünschten Gesichts einer Person bereitzustellen
USD953374S1 (en) * 2020-05-15 2022-05-31 Lg Electronics Inc. Display panel with animated graphical user interface
US11350059B1 (en) * 2021-01-26 2022-05-31 Dell Products, Lp System and method for intelligent appearance monitoring management system for videoconferencing applications
US11445148B1 (en) * 2021-05-06 2022-09-13 Microsoft Technology Licensing, Llc Video teleconference curated user profile picture
USD1036492S1 (en) * 2022-12-29 2024-07-23 Lg Electronics Inc. Display panel with animated graphical user interface

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254229A (ja) 2005-03-11 2006-09-21 Fuji Photo Film Co Ltd 撮像装置、撮像方法及び撮像プログラム
JP2010182150A (ja) 2009-02-06 2010-08-19 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
US10482333B1 (en) * 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US8917914B2 (en) 2011-04-05 2014-12-23 Alcorn State University Face recognition system and method using face pattern words and face pattern bytes
US9520072B2 (en) 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
JP2014085796A (ja) 2012-10-23 2014-05-12 Sony Corp 情報処理装置およびプログラム
EP2915101A4 (en) 2012-11-02 2017-01-11 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2015017687A2 (en) 2013-07-31 2015-02-05 Cosmesys Inc. Systems and methods for producing predictive images
US10417824B2 (en) 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
WO2015192263A1 (en) 2014-06-16 2015-12-23 Xiaoou Tang A method and a system for face verification
CN105844202A (zh) 2015-01-12 2016-08-10 芋头科技（杭州）有限公司 一种影像识别系统及方法
EP3335195A2 (en) * 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
WO2017177259A1 (en) 2016-04-12 2017-10-19 Phi Technologies Pty Ltd System and method for processing photographic images
US10446189B2 (en) 2016-12-29 2019-10-15 Google Llc Video manipulation with face replacement
CN108664782B (zh) 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
WO2018187748A1 (en) 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
US10977674B2 (en) 2017-04-28 2021-04-13 Qualtrics, Llc Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN108960020A (zh) 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
TW201907334A (zh) 2017-07-03 2019-02-16 華碩電腦股份有限公司 電子裝置、影像處理方法及非暫態電腦可讀取記錄媒體
US10825564B1 (en) 2017-12-11 2020-11-03 State Farm Mutual Automobile Insurance Company Biometric characteristic application using audio/video analysis
US10997703B1 (en) 2018-04-24 2021-05-04 Igor Khalatian Methods and systems for automated attractiveness prediction
US11151362B2 (en) 2018-08-30 2021-10-19 FaceValue B.V. System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits
US11182963B2 (en) 2019-04-03 2021-11-23 Posnap, Inc. Computerized system and method for providing a mobile augmented reality item display and selection experience
US11501495B2 (en) 2019-05-10 2022-11-15 Qualcomm Incorporated Virtual models for communications between autonomous vehicles and external observers
US11250245B2 (en) 2019-09-20 2022-02-15 The Trustees Of Princeont University Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
US10764535B1 (en) * 2019-10-14 2020-09-01 Facebook, Inc. Facial tracking during video calls using remote control input
DE212020000467U1 (de) 2019-12-11 2022-03-09 QuantiFace GmbH Vorrichtung, um ein Video mit einer computermodifizierten Abbildung eines erwünschten Gesichts einer Person bereitzustellen
WO2021115798A1 (en) 2019-12-11 2021-06-17 QuantiFace GmbH Method and system to provide a computer-modified visualization of the desired face of a person

Also Published As

Publication number Publication date
DE212020000467U1 (de) 2022-03-09
US20210183021A1 (en) 2021-06-17
EP4073682A1 (en) 2022-10-19
EP4073682C0 (en) 2023-11-08
WO2021115797A1 (en) 2021-06-17
US20210279844A1 (en) 2021-09-09
US11341619B2 (en) 2022-05-24
EP4073682B1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
CN114830193A (zh) 生成包括修改的面部图像的视频
US11625878B2 (en) Method, apparatus, and system generating 3D avatar from 2D image
US11736756B2 (en) Producing realistic body movement using body images
KR101190686B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체
US20190197755A1 (en) Producing realistic talking Face with Expression using Images text and voice
Nusseck et al. The contribution of different facial regions to the recognition of conversational expressions
CN113508369A (zh) 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
CN110210449B (zh) 一种用于虚拟现实交友的人脸识别系统及方法
US20190045270A1 (en) Intelligent Chatting on Digital Communication Network
Cunningham et al. Manipulating video sequences to determine the components of conversational facial expressions
US11227424B2 (en) Method and system to provide a computer-modified visualization of the desired face of a person
JP2011081445A (ja) 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム
WO2022034779A1 (ja) 画像処理装置および画像処理方法
JP6583754B2 (ja) 情報処理装置、ミラーデバイス、プログラム
EP4170609A1 (en) Automated filter selection for altering a stream
Diemer The Dangers of Whiteness: An analysis of the representation of whiteness in GET OUT (2017)
Pejsa Effective directed gaze for character animation
Alam et al. The design of expressive intelligent agent for human-computer interaction
Beroiza How Pictures Make Bodies and Bodies Make Pictures: Gender as a Scopic System in Annie Leibovitz’s Photographs of Caitlyn Jenner for Vanity Fair and Pedro Almodóvar’s La piel que habito
Feuston Expressiv: An Expressive System for Individuals with Facial Paralysis
Heike et al. Personalized and deformed avatars for realizing avatar-mediated real person-to-person communication
JP2022033021A (ja) 顔あるいは顔周辺に装用する装飾品又は日用品、もしくは化粧又は髪型のユーザーの顔に対する適合度合いを評価する方法、同適合度合いを評価するシステム、推奨システム及び眼鏡の設計システム
Okubo et al. Proposal of avatar generating method by composition of the portraits made by friends
KR20030073176A (ko) 동영상을 응용한 각종 기념일별 개인 캐릭터 이메일 전송시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination