[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118135643A - 眼部纹理修复 - Google Patents

眼部纹理修复 Download PDF

Info

Publication number
CN118135643A
CN118135643A CN202410265097.2A CN202410265097A CN118135643A CN 118135643 A CN118135643 A CN 118135643A CN 202410265097 A CN202410265097 A CN 202410265097A CN 118135643 A CN118135643 A CN 118135643A
Authority
CN
China
Prior art keywords
region
iris
scleral
color
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410265097.2A
Other languages
English (en)
Inventor
曹晨
张闻
柴蒙磊
罗琳捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN118135643A publication Critical patent/CN118135643A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提出了用于生成针对视频流内的对象的纹理模型的系统、设备、媒体和方法。当在计算设备处捕获图像集时，所述系统和方法访问图像集。所述系统和方法在所述图像集的一部分内确定包含眼睛的感兴趣区域，并从所述感兴趣区域提取虹膜区域。所述系统和方法在感兴趣区域内分割巩膜区域，并基于虹膜区域和巩膜区域生成针对眼睛的纹理。

Description

眼部纹理修复
本申请是申请日为2019年7月30日、申请号为201980050760.4、发明名称为“眼部纹理修复”的专利申请的分案申请。
优先权要求
本申请要求于2018年7月31日提交的序列号为16/051,083的美国专利申请的优先权，在此要求其优先权的权益，并且其内容通过引用整体合并于此。
技术领域
本公开的实施例总体上涉及图像流内的对象识别和操纵。更具体地，但非限制性地，本公开提出用于识别、建模和跟踪图像或视频流内呈现的对象的系统和方法。
背景技术
电信应用和设备可以使用各种媒体(诸如文本、图像、声音记录和/或视频记录)来提供多个用户之间的通信。例如，视频会议允许两个或更多个人使用软件应用、电信设备和电信网络的组合彼此通信。电信设备还可以记录视频流以在横跨电信网络中作为消息进行发送。通常，基于视频的电信应用程序使用户可以在网络上面对面聊天。使用当前的系统，视频聊天中的用户可能将他们的注意力集中在屏幕上，从而给人一种印象，即用户没有互相关注。涉及视频录制的某些应用程序可以对视频中描述的各个方面进行建模。通常，此类系统无法实现视频的实时建模或实时操纵。此外，电信和其他计算机应用程序利用用户界面，在该用户界面中，用户使用诸如鼠标的物理手势或设备与应用程序进行交互。这些电信应用程序通常限制用户可控制应用程序的方式；而且，他们无法确定用户界面的哪个部分正在引起用户的关注。
附图说明
附图中的各个附图仅示出了本公开的示例实施例，并且不应被视为限制其范围。
图1是示出根据一些示例实施例的联网系统的框图。
图2是示出根据一些示例实施例的对象建模系统的图。
图3是示出根据一些示例实施例的用于针对视频流内的对象生成纹理模型的示例方法的流程图。
图4是示出根据一些示例实施例的用于针对视频流内的对象生成纹理模型的示例方法的流程图。
图5是示出根据一些示例实施例的用于跟踪视频流内的对象的纹理模型的示例方法的流程图。
图6是示出根据一些示例实施例的用于跟踪视频流内的对象的纹理模型的示例方法的流程图。
图7是描绘根据一些示例实施例的示例移动装置和移动操作系统界面的用户界面图。
图8是示出根据一些示例实施例的可以安装在机器上的软件体系结构的示例的框图。
图9是呈现根据示例实施例的计算机系统形式的机器的图形表示的框图，在该计算机系统内可执行一组指令以使机器执行在此所讨论的任何方法。
在此提供的标题仅仅是为了方便，并不必须影响所用术语的范围或含义。
具体实施方式
以下描述包括说明本公开的实施例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，也可以在没有这些具体细节的情况下实践本发明主题的实施例。通常，公知的指令实例、协议、结构和技术不必详细示出。
在本公开的一方面，用户打开应用程序。该应用程序访问相机以捕获相机视野中的图像。例如，相机可捕获用户面部的视频流或图像组。然后，系统和方法识别感兴趣的对象，例如用户的眼睛。该系统生成眼睛的模型并跟踪用户的视线，确定用户在用户界面上的注视位置。然后，系统可以改变用户的注视位置，感兴趣对象的各个方面(例如，眼睛的颜色)，感兴趣对象的各个方面或特征，或者可以用于生成模型，化身或用户的动画。
在本公开的一个方面，公开了使得能够在视频流内生成对象纹理和模型的系统和方法。该系统和方法也可以用于跟踪视频流内的对象。本文描述的系统和方法描述了基于物理的方法，以生成对视频流内的对象进行物理上精确的建模、定位和跟踪。本文所述的系统使得纹理或模型与对象的三维表示相结合，以从视频流中跟踪和提取物理信息。例如，本文描述的方法和系统使得能够对面部上描绘的眼睛进行建模和跟踪。当跟踪眼睛时，本文描述的系统和方法使得能够确定和跟踪物理注视方向。该系统和方法还使得能够使用被建模或被纹理化的对象来修改视频流。本系统和方法不限于如一些先前的系统一样的二维图像。此外，本文描述的系统和方法在对象建模和对象跟踪中提供了提高的准确性。本文描述的某些实施例在注视检测和跟踪中提供增加的准确性。当视频流被捕获时，本文描述的一些实施例使得能够在视频流内进行实时注视跟踪，从而改善并超越了先前系统的能力。类似地，本文描述的一些实施例使得能够实时，精确地修改对象，包括注视方向。
以上是一个具体示例。本公开的各种实施例涉及设备和由设备的一个或多个处理器执行的指令，以生成用于视频流内的对象的纹理模型并跟踪对象。描述了生成对象纹理的对象建模系统。对象建模系统可使用所生成的对象纹理来修改视频流或图像集内的图像。对象建模系统还可使用二维模型、三维模型、所生成的对象纹理及其组合来跟踪对象。
图1是描绘根据一个实施例的网络系统100的网络图，该网络系统100具有被配置用于通过网络交换数据的客户端-服务器体系结构。例如，网络系统100可以是消息传递系统，其中客户端在网络系统100内传送和交换数据。数据可涉及各种功能(例如，发送和接收文本和媒体通信，确定地理位置等)和与网络系统100及其用户相关联的方面(例如，传送通信数据，接收和发送通信会话的指示等)。虽然在此示出为客户端-服务器体系结构，但是其它实施例可以包括其它网络体系结构，诸如对等或分布式网络环境。
如图1中所示，网络系统100包括社交消息传递系统130。社交消息传递系统130通常基于三层体系结构，包括接口层124、应用逻辑层126和数据层128。如相关计算机和因特网相关领域的技术人员所理解的，图1中所示的每个组件或引擎表示一组可执行软件指令和用于执行指令的相应硬件(例如，存储器和处理器)，形成硬件实现的组件或引擎，并在执行指令时用作配置为执行特殊的一组功能的专用机器。为了避免不必要的细节模糊本发明的主题，从图1中省略了与传达对本发明主题的理解没有密切关系的各种功能组件和引擎。当然，附加的功能组件和引擎可以与社交消息传递系统(诸如图1中所示的社交消息传递系统)一起使用，以便于实现在此未具体描述的附加功能。此外，图1中描绘的各种功能组件和引擎可以驻留在单个服务器计算机或客户端装置上，或者可以以各种布置横跨若干服务器计算机或客户端装置分布。此外，尽管图1中将社交消息传递系统130描绘为三层体系结构，但是本发明的主题决不限于这种体系结构。
如图1中所示，接口层124包括接口组件(例如，web服务器)140，其接收来自各种客户端计算装置和服务器(诸如执行客户端应用112的客户端装置110，和执行第三方应用122的第三方服务器120)的请求。响应于所接收的请求，接口组件140经由网络104向请求装置传送适当的响应。例如，接口组件140可以接收请求，诸如超文本传输协议(HTTP)请求或其它基于Web的应用编程接口(API)请求。
客户端装置110可以执行传统web浏览器应用或已经为特定平台开发以包括各种移动计算装置和移动专用操作系统(例如，IOSTM、ANDROIDTM、PHONE)中的任何一个的应用(也称为“app”)。此外，在一些示例实施例中，客户端装置110形成对象建模系统160的全部或一部分，使得对象建模系统160的组件配置客户端装置110以执行关于对象建模系统160的操作的特定的一组功能。
在示例中，客户端装置110正在执行客户端应用112。客户端应用112可以提供向用户106呈现信息并经由网络104进行通信以与社交消息传递系统130交换信息的功能。此外，在一些示例中，客户端装置110执行对象建模系统160的功能以生成针对视频流内的对象的纹理模型并跟踪对象。
每个客户端装置110可以包括计算装置，该计算装置至少包括显示能力和与网络104通信的能力以访问社交消息传递系统130、其它客户端装置和第三方服务器120。客户端装置110包括但不限于远程装置、工作站、计算机、通用计算机、因特网设施、手持装置、无线装置、便携式装置、可穿戴计算机、蜂窝或移动电话、个人数字助理(PDA)、智能电话、平板计算机、超极本、上网本、膝上型计算机、台式机、多处理器系统、基于微处理器或可编程的消费型电子产品、游戏机、机顶盒、网络PC、小型计算机等。用户106可以是人、机器或与客户端装置110交互的其它部件。在一些实施例中，用户106经由客户端装置110与社交消息传递系统130交互。用户106可以不是网络系统100的一部分，但是可以与客户端装置110相关联。
如图1中所示，数据层128具有便于访问信息存储库或数据库134的数据库服务器132。数据库134是存储诸如成员简档数据、社交图数据(例如，社交消息传递系统130的成员之间的关系)、图像修改偏好数据、可访问性数据和其他用户数据的数据的存储装置。
个人可以注册社交消息传递系统130以成为社交消息传递系统130的成员。在注册后，成员可以在社交消息传递系统130上形成社交网络关系(例如，朋友、关注者或联系人)，并且与社交消息传递系统130提供的广泛的应用交互。
应用逻辑层126包括各种应用逻辑组件150，该应用逻辑组件150结合接口组件140，采用从数据层128中的各种数据源或数据服务取得的数据生成各种用户界面。各个应用逻辑组件150可用于实现与社交消息传递系统130的各种应用、服务和特征相关联的功能。例如，社交消息传递应用可以与应用逻辑组件150的至少一部分一起实现。社交消息传递应用为客户端装置110的用户提供消息传递机制，以发送和接收包括诸如图片和视频的文本和媒体内容的消息。客户端装置110可以在指定的时间段内(例如，有限的或无限制的)访问和查看来自社交消息传递应用的消息。在示例中，消息接收者可以在预定的持续时间内(例如，由消息发送者指定)访问特定消息，该预定的持续时间在特定消息被首次访问时开始。在预定的持续时间过去之后，消息将被删除，并且消息接收者将无法再访问该消息。当然，其它应用和服务可以分别体现在它们自己的应用逻辑组件150中。
如图1中所示，社交消息传递系统130可以包括对象建模系统160的至少一部分，该对象建模系统160能够生成针对视频流内的对象的纹理模型并跟踪对象。类似地，如上所述，客户端装置110包括对象建模系统160的至少一部分。在其它示例中，客户端装置110可以包括整个对象建模系统160。在客户端装置110包括对象建模系统160的一部分(或全部)的情况下，客户端装置110可以单独工作或与社交消息传递系统130协作工作，以提供在此描述的对象建模系统160的功能。
在一些实施例中，社交消息传递系统130可以是短暂消息系统，该短暂消息系统允许短暂通信，其中在诸如查看时间或查看完成的删除触发事件之后删除内容(例如，视频剪辑或图像)。在这种实施例中，装置在生成、发送、接收或显示短暂消息的方面中的任何方面的环境下使用在此描述的各种组件。例如，实施对象建模系统160的装置可生成针对视频流内的对象的纹理模型并跟踪对象。设备可生成针对视频流内的对象的纹理模型并跟踪对象作为针对短暂消息、消息应用程序、娱乐应用程序、电话会议应用程序、增强现实应用程序、或其它适合的应用程序的内容的生成的一部分。
在图2中，在各种实施例中，对象建模系统160可以被实现为独立系统或者结合客户端装置110实现，并且不一定被包括在社交消息传递系统130中。对象建模系统160被示出为包括访问组件210、识别组件220、提取组件230、纹理组件240、跟踪组件250和修改组件260。组件210-260中的全部或一些例如经由网络耦接、共享存储器等彼此通信。组件210-260中的每个组件可以被实现为单个组件，其被组合到其它组件中，或者进一步被细分为多个组件。也可以包括与示例实施例无关的其它组件，但它们未示出。
图3描绘了示出根据一些示例实施例的用于针对视频流内的对象生成纹理模型的示例方法300的流程图。方法300的操作可以由对象建模系统160的组件执行，并且出于说明的目的在下面进行描述。
在操作310中，访问组件210接收或以其它方式访问图像集。该图像集的至少一部分可描绘面部的至少一部分。当图像在计算设备处被捕获时，访问组件210可访问图像集。在一些实施例中，访问组件210接收作为由与客户端设备110相关联的图像捕获设备捕获并呈现在应用程序的用户界面上的视频流的一个或多个图像。访问组件210可包括图像捕获设备，作为包括访问组件210的硬件的一部分。在这些实施例中，访问组件210直接接收由图像捕获设备捕获的一个或多个图像或视频流。在一些实例中，访问组件210将一个或多个图像或视频流(例如，包括视频流的图像集)的全部或一部分传递给对象建模系统160的一个或多个组件，如在下面更详细地描述。
在操作320中，识别组件220确定图像集的至少一部分内的感兴趣区域。在一些实施例中，识别组件220确定包含在图像集内的面部上描绘的一只眼睛或一双眼睛的感兴趣区域。在一些实施例中，识别组件220使用面部关键点(landmark)跟踪来确定感兴趣区域。感兴趣区域可与面部的指定特征、特性或属性相关联。例如，识别组件220可确定待识别的指定特征是眼睛。识别组件220可在图像集中的图像的至少一部分内识别与眼睛相关联的一个或多个面部关键点。然后，识别组件220可确定围绕与眼睛相关联的一个或多个面部关键点的区域。在一些实施例中，识别组件220将感兴趣区域确定为围绕对象(例如，面部)上描绘的多个特征，特性或属性的一个或多个图像的一部分。例如，识别组件220可将感兴趣区域确定为围绕两只眼睛，两条眉毛，两片嘴唇，指定的皱纹，其组合或任何其他合适特征的面部的一部分。类似地，识别组件220可确定对象上除面部以外的感兴趣区域，例如汽水罐上的标签、动物的特征、汽车的特征、或在图像集的至少一部分内描绘的合适对象的任何其他特征，特性或方面。
在操作330中，提取组件230提取感兴趣区域的一部分或感兴趣区域内的对象。提取组件230可通过分割感兴趣区域的一部分并且至少暂时地忽略感兴趣区域的剩余部分来提取感兴趣区域内的对象上的感兴趣区域的该部分。在一些实施例中，提取组件230从感兴趣区域提取虹膜区域。虹膜区域可对应于在图像集的至少一部分中描绘的至少一个虹膜。
在一些情况下，提取组件230通过选择邻近期望对象(例如，眼睛内的虹膜)的轮廓、边缘或其他边界的感兴趣区域的一部分来提取感兴趣区域的该部分(例如，虹膜区域)。在(例如，在初始识别或提取之后)之前，期间或之后，提取组件230可在感兴趣区域的一部分内识别对象的一个或多个被遮挡、阻塞或以其他方式隐藏的部分。提取组件230可确定与遮挡部分相对应的对象的可见截面(section)，并将一个或多个颜色，纹理，图案或其他视觉方面从可见截面平移(translate)到遮挡部分。在视觉方面被平移之后，提取组件230可提取完整的对象或感兴趣区域的一部分。然后，提取组件230可复原对该对象的被遮挡部分所做的修改。
在操作340中，提取组件230分割感兴趣区域的区域。感兴趣区域的被分割区域可以是围绕上面关于操作330描述的感兴趣区域的提取部分的感兴趣区域的一部分或截面。在一些实施例中，提取组件230在感兴趣区域内分割巩膜区域。巩膜区域可对应于在该图像集的至少一部分中描绘的至少一只眼睛的巩膜。
在分割的区域是巩膜的情况下，提取组件230通过确定与巩膜相对应的感兴趣区域的一部分来分割巩膜区域。在一些实施例中，提取组件230通过识别感兴趣区域内的初始颜色分布来确定巩膜。提取组件230可识别在具有基本相似的初始颜色分布的颜色区域之间延伸的边缘。例如，提取组件230可识别具有皮肤色调的第一颜色区域(例如，感兴趣区域内的眼睑)，具有虹膜色调的第二颜色区域(例如，感兴趣区域内的虹膜或瞳孔))和具有在适合眼睛巩膜的范围内的初始颜色分布的第三颜色区域。提取组件230可确定在第一颜色区域、第二颜色区域和第三颜色区域之间延伸的边缘。边缘可代表颜色边界。
然后，提取组件230确定或计算巩膜区域的最终颜色分布。最终颜色分布可确定巩膜区域的主要颜色以及巩膜区域的一个或多个颜色变化。主要颜色可以是白色的变化阴影或色度，并且颜色变化可包括红色阴影或色度(例如，静脉)和人类巩膜常见的其他变化。在某些情况下，主要颜色和颜色变化可被生成为颜色直方图(例如，RGB)。提取组件230然后可将巩膜区域和巩膜区域的颜色分布传递给纹理组件240。纹理组件240然后可以匹配颜色直方图的颜色通道以生成巩膜纹理。
在操作350中，纹理组件240基于在操作330中提取的感兴趣区域的部分和在操作340中提取的感兴趣区域的区域，生成针对感兴趣区域内的对象的纹理。在一些实施例中，纹理组件240基于虹膜区域和巩膜区域来生成针对眼睛的纹理。纹理组件240可通过组合虹膜区域和巩膜区域的颜色和纹理来生成纹理。在一些实施例中，纹理组件240通过将巩膜区域与来自巩膜模板集的巩膜模板或包括巩膜纹理的眼睛模板集匹配来生成纹理。然后，纹理组件240可通过修改眼睛模板的虹膜区域以匹配在操作330中提取的虹膜区域的虹膜纹理的颜色、颜色分布或纹理来生成纹理。在这种实施例中，纹理组件240可通过修改预先存在的纹理模型来生成纹理。无论生成纹理还是修改纹理模板或模型，纹理组件240都生成纹理以匹配虹膜、巩膜和瞳孔的属性和特征。
在一些实施例中，纹理组件240通过生成针对虹膜区域的虹膜纹理来生成眼睛纹理。纹理可基于选自虹膜区域的至少一个或多个色块。虹膜纹理可包括虹膜区域和映射到虹膜的被遮挡部分的色块。在一些实施例中，纹理组件240根据实际虹膜区域生成虹膜纹理。纹理组件240还可通过将虹膜区域的颜色和颜色变化匹配或近似到选自虹膜模板集的虹膜模板来生成虹膜纹理。
纹理组件240可从预定巩膜纹理集中选择巩膜纹理。巩膜纹理可基于巩膜区域的颜色分布来选择。在一些实施例中，纹理组件240通过将巩膜区域的主要颜色、一个或多个颜色变化或它们的组合中的一个或多个匹配或近似到巩膜模板来选择巩膜纹理。巩膜模板可选自在接收图像集之前生成的巩膜模板集。在一些实施例中，纹理组件240基于巩膜区域的颜色分布中的主要颜色来执行巩膜区域与巩膜模板集中的巩膜模板子集的初始匹配。然后，纹理组件240可将巩膜纹理选择为巩膜模板子集中匹配或近似巩膜区域的一个或多个颜色变化内的一个或多个颜色变化或图案的巩膜模板。
纹理组件240可将虹膜纹理的边缘与巩膜纹理的靠近虹膜区域的一部分混合。纹理组件240可在将虹膜区域从颜色坐标或颜色坐标值集改变为图像坐标或图像坐标值集时混合虹膜纹理的边缘。纹理组件240可以在两个纹理相遇的相交处混合虹膜纹理和巩膜纹理的颜色。在一些实施例中，可以在虹膜纹理和巩膜纹理的每一个上混合阈值(例如，动态的或预定的像素距离)，以去除虹膜纹理周围的锋利边缘，从而获得更逼真的眼睛纹理。当位于图像集内并替换图像集内描绘的面部的眼睛时，纹理可以是准确的并且看起来自然或逼真的。纹理也可被插入到数字化身、动画或者人或动物的其他表示中。尽管关于图像集进行了描述，但是在一些实施例中，纹理可根据单个图像生成。如上所述，单个图像和纹理可用于制作数字化身，该数字化身可基于从面部生成的模型和纹理来进行动画处理。此外，可以修改纹理以改变颜色(例如，眼睛颜色或巩膜颜色)、尺寸或比例(例如，形状和大小)，或任何其他合适的建模或纹理化特性或属性。
图4描绘了根据一些示例实施例的示出用于生成针对视频流内的对象的纹理模型的示例方法400的流程图。方法400的操作可由对象建模系统160的组件来执行。在一些情况下，可使用方法300的一个或多个操作或者作为方法300的一个或多个操作的子操作来执行方法400的某些操作，如将在下面更详细解释的。例如，方法400的操作的至少一部分可作为上述方法300的操作330的一部分执行或响应于该部分来执行。
在操作410中，提取组件230生成针对感兴趣区域内的虹膜的圆形区域。圆形区域可被生成为圆形轮廓。圆形轮廓可在感兴趣区域中位于虹膜周围。在某些情况下，圆形区域是圆的近似值。例如，圆形区域可以是椭圆形、卵形或类似于圆形的其他轮廓。
在一些实施例中，提取组件230通过识别感兴趣区域内的虹膜边缘的至少一部分来生成圆形区域。提取组件230可确定圆形形状。可基于虹膜边缘的部分确定圆形形状。在一些实施例中，提取组件确定虹膜的直径或周长中的一个或多个。可基于虹膜的估计面积来确定周长，虹膜的估计面积包括虹膜的可能被一个或多个眼睑遮挡的部分。提取组件230可以以任何合适的测量单位(例如，毫米、英寸、像素等)来确定直径或周长(例如，虹膜测量值)。提取组件230然后可生成具有与虹膜测量值匹配或近似的尺寸或测量值的圆形形状。
提取部件230可将圆形形状与虹膜边缘的该部分对齐。在一些实施例中，提取组件230可在感兴趣区域内移动圆形形状，使得圆形形状的至少一部分与虹膜区域相交或接触。提取部件230还可在感兴趣区域内调整或以其他方式改变圆形形状的大小、形状或尺寸中的一个或多个，以使圆形形状的至少一部分与虹膜区域相交或接触。在一些实施例中，提取部件230将圆形形状与虹膜的未被眼睑遮挡的部分对齐。提取组件230还可将虹膜区域的坐标系转换为极坐标系，该极坐标系以虹膜区域的中心为原点。然后，提取组件230可提取或分割包含在对齐的圆形形状内的感兴趣区域的部分。
在操作420中，提取组件230识别虹膜的未知区域。未知区域可对应于虹膜的被眼睛的眼睑遮挡的部分。在一些实施例中，提取组件230通过确定圆形形状或被分段的虹膜区域内的一个或多个颜色区域来识别未知区域。然后，提取组件230可将颜色区域和与虹膜颜色集和眼睑颜色集中的一个或多个相关联的颜色进行比较。提取组件230可将虹膜的未知区域识别为虹膜区域的具有与眼睑颜色匹配或近似的颜色的部分。在一些实施例中，提取组件230识别虹膜区域的具有与虹膜颜色集中的虹膜颜色匹配或近似的颜色的部分。虹膜区域的与虹膜颜色或瞳孔颜色不匹配或不近似的部分可以被选择或以其他方式识别为虹膜的未知区域。
在操作430中，提取组件230确定圆形区域内的一个或多个色块。一个或多个色块可以对应于虹膜的着色部分。在一些实施例中，提取组件230选择匹配或近似于虹膜颜色，未能匹配或近似于眼睑颜色，具有在指定颜色值范围内的值(例如，色度、饱和度、或颜色值)，或以其他方式标识为虹膜的一部分的一个或多个色块。提取组件230可使用正方形区域、圆形区域、椭圆形区域、或任何其他合适的形状来采样一个或多个色块，以捕获虹膜中存在的一个或多个颜色。
在操作440中，提取组件230将色块平移到未知区域。在一些实施例中，提取组件230通过复制、拷贝和粘贴或其他颜色转换将色块平移到未知区域，以将虹膜的颜色复制到虹膜区域内的未知区域上。在一些实施例中，提取组件230使用补丁匹配修复算法将虹膜颜色平移到未知区域。例如，提取组件230可确定未知区域内的相似区域，以平移色块。然后，提取组件230可以用色块覆盖相似区域的一部分。色块可以是选自虹膜并覆盖定义的形状或尺寸的一个或多个颜色(例如，具有预定或动态像素尺寸的圆形或正方形色块)。
提取组件230可用一个或多个色块覆盖未知区域。在一些实施例中，提取组件230可在多个色块之间循环以覆盖未知区域，复制单个色块，将未知区域的指定范围匹配到单个或多个色块，它们的组合，或者任何其他合适的修复方法或算法。例如，提取组件230可用选自虹膜的靠近未知区域的区域的色块，位于未知区域对面的色块，或具有与未知区域相似的统计信息或在未知区域周围的色块来覆盖未知区域的部分。可以通过在平移之前将图像位置映射到颜色坐标系来执行平移。然后，提取组件230可将图像集中的未知区域的位置与用于修复未知区域的部分的色块匹配。
在操作450中，提取组件230确定未知区域是否填充有被平移的一个或多个色块。提取组件230可通过确定虹膜区域中没有附加部分与眼睑颜色匹配来确定未知区域被填充。在一些实施例中，提取组件230通过识别未知区域的图像位置来确定未知区域被填充。然后，提取组件230可确定与未知区域相关联的每个图像位置具有从虹膜区域平移过来的颜色，该颜色替代了原始颜色。尽管用某些实施例或示例进行了描述，但是应当理解，提取组件230可使用任何合适的度量、手段或算法来确定未知区域被填充。
在操作460中，提取组件230在平移色块之前将感兴趣区域恢复为图像的原始颜色坐标系。在一些实施例中，提取组件230可丢弃所提取的虹膜区域的一部分，保留表示虹膜的尺寸、颜色和位置的数据或元数据。提取组件230可将代表数据传递给一个或多个组件，以使用所提取的虹膜或代表数据来执行对图像集的跟踪或修改。在一些实施例中，提取组件230将感兴趣区域恢复为原始颜色坐标系和图像坐标系，同时保留色块修复与色块修复的图像位置的映射。
图5描绘了示出用于跟踪视频流内的对象的纹理模型的示例方法500的流程图。方法500的操作可由对象建模系统160的组件执行。在一些情况下，如下文将更详细说明的，可使用方法300或方法400的一个或多个操作或者作为方法300或方法400的一个或多个操作的子操作来执行方法500的某些操作。例如，方法500的操作可以在方法300或400的操作的至少一部分内或之后执行。
在操作510中，跟踪组件250识别感兴趣区域内的点。在一些实施例中，跟踪组件250将点识别为感兴趣区域内的瞳孔位置。在一些实施例中，瞳孔位置基于虹膜区域和巩膜区域来确定。跟踪组件250可将瞳孔位置确定为虹膜区域内的中心点或虹膜区域的变黑部分内的中心点。
在操作520中，跟踪组件250确定眼睛的第一焦点。在一些实施例中，第一焦点是基于瞳孔位置。跟踪组件250可基于瞳孔位置和瞳孔位置距巩膜区域内的一个或多个点的距离来确定第一焦点。例如，跟踪组件250可，基于瞳孔位置相对于眼睛(基于巩膜区域边缘的)左角或右角的位置来确定第一焦点。跟踪组件250还可基于一个或多个面部关键点来确定第一焦点。例如，跟踪组件250可基于眼睛的一个或多个角，沿眼睑的一个或多个点，与鼻子相关联的一个或多个点，与嘴相关联的一个或多个点，与眉毛相关联的一个或多个点，其组合，或图像集的至少一部分图像中呈现的任何其他合适的面部关键点来确定第一焦点。
在操作530中，修改组件260修改眼睛的纹理的一部分，以将第一焦点改变为第二焦点。在一些实施例中，第二焦点指向与第一焦点不同的位置。修改组件260可以用在上述方法300的操作350中生成的纹理替换瞳孔、虹膜和巩膜中的一个或多个的至少一部分。在一些实施例中，修改组件260用在操作350中生成的眼睛纹理来替换整个眼睛。然后，可以将眼睛纹理指向独立于面部或者与面部的方向、姿势、角度或其它朝向合作的第二焦点。眼睛纹理也可用于调整遮挡。
替换瞳孔、虹膜和巩膜的一部分的纹理可具有中心位置位于与操作510中识别的点不同的图像位置的瞳孔。例如，在面部出现在电话会议中并且第一焦点对齐屏幕而不是相机的情况下，修改组件260可替换眼睛的至少一部分或全部，以将焦点从第一焦点调整到第二焦点，以使得该图像集内的眼睛看起来朝着捕获电话会议参与者面部的相机。类似地，在消息传递，娱乐或化身生成组件中，修改组件260可使用在操作350中生成的纹理来修改眼睛，以使其看起来像看着用户界面上描绘的增强现实元素，出现在视频流、视频游戏的一部分、或任何其他合适的方向上的角色。
图6描绘了根据一些示例实施例的示出用于跟踪视频流内的对象的纹理模型的示例方法600的流程图。方法600的操作可由对象建模系统160的组件来执行。在一些情况下，如将在下面更详细说明的，方法600的某些操作可使用方法300，方法400或方法500中的一个或多个操作来执行，或者作为方法300、400或500中的一个或多个方法的一个或多个操作的子操作来执行。例如，方法600的操作可作为方法600的操作或子操作的一部分来执行。方法600的操作也可在方法300或400的操作的至少一部分内或之后执行。
在操作610中，跟踪组件250确定针对图像集内描绘的面部的面部关键点集。在一些实施例中，跟踪组件250通过识别如上文在操作310中所述的图像集内的面部来确定面部关键点集。跟踪组件250可识别图像集内的面部上的已知面部关键点。例如，已知面部关键点可包括眼睛的角点、鼻子上的一个或多个点、嘴上的一个或多个点、眉毛上的一个或多个点、下巴上的一个或多个点、它们的组合、以及任何其他合适的面部关键点。面部关键点可以是一个或多个点、像素、特性、属性、特征、或在面部内描绘的其他元素，其可用于将一个面部与另一个面部区分开。在一些实施例中，跟踪组件250确定在该图像集内的面部上的面部关键点，该面部关键点通常在面部跟踪或面部分析操作、算法或程序中使用。在一些实施例中，面部关键点(例如，已知面部关键点和关键点的相对位置)可被接收作为对跟踪组件250的输入。跟踪组件250然后可将面部关键点对齐或识别图像集内的面部。
在操作620中，跟踪组件250确定针对图像集内描绘的面部的面部模型。在一些实施例中，面部模型具有眼睛的三维表示。在一些实施例中，三维面部模型可以是代表人脸的面部关键点的三维位置的网格。在一些实施例中，跟踪组件250可以将网格(例如，三维面部模型)与面部关键点和图像集一起作为输入。面部模型可与面部的面部关键点集的至少一部分对齐。在一些实施例中，跟踪组件250将网格上的点与在共同平面中的面部关键点对齐或使其接近面部关键点。例如，跟踪组件250可将用于面部关键点的网格的点对齐图像集内的眼睛的角。
网格可用于定位和发起眼球模型的生成。例如，网格可用于增强(例如，提供三维外观给)在如上所述的操作350中生成的纹理。在一些实施例中，纹理组件选择240网格的一个或多个顶点，识别代表该图像集内所描绘的眼睛的生物特征信息的一个或多个点，并将纹理缩放到面部关键点和网格的顶点中的一个或多个。
在操作630中，跟踪组件250识别感兴趣区域内的瞳孔位置。瞳孔位置可基于虹膜区域和巩膜区域来确定。在一些实施例中，跟踪组件250将瞳孔位置识别为图像集内瞳孔的二维位置(例如，虹膜区域内的瞳孔内的中心点)。跟踪组件250然后可绘制或识别从瞳孔位置到捕获图像集的相机的中心的线。该线可以使用等式1来标识：Ax+By+C＝0。在一些实施例中，该线穿过网格并且基于网格上的一个或多个点，一个或多个面部关键点，和相机的视场中心来对齐。跟踪组件250可基于网格和面部关键点与相机视场内的坐标系的对齐来绘制线。在某些情况下，跟踪组件250可使用面部关键点的相对位置来检查线在二维平面上的结果。跟踪组件250然后可将线链接到眼睛的三维表示的中心(例如，在操作350中生成并且使用网格修改的纹理)。然后可以基于眼睛的三维纹理将线的坐标转换为角坐标。
在一些实施例中，跟踪组件250将线等式(例如，等式1)与眼睛等式(等式2：(x-xc)2+(y-yc)2+(z-zc)2＝R2)结合使用。在等式2中，xc，yc和zc代表眼睛的中心，R代表眼睛的半径。求解等式1和2给出交点的坐标。交点的坐标可用于计算注视方向。注视方向可相对于用于捕获图像集的相机的视场来计算。
在操作640中，跟踪组件250基于瞳孔位置和面部模型来跟踪眼睛的焦点。在一些实施例中，在每帧的基础上跟踪焦点。跟踪组件250针对存在眼睛的每个帧在三维空间内跟踪眼睛的视线(例如，每只眼睛的焦点)。例如，当眼睛被遮挡(例如，眨动眼睑)时，跟踪组件250可不跟踪焦点或计算注视方向。在一些实施例中，注视方向可以由修改组件260来修改。注视方向也可以被跟踪以确定用户界面上用户正在引导注意力的部分。在一些实施例中，注视方向可用于控制用户界面的操作、识别用户感兴趣的区域、以及其他合适的应用程序。
模块、组件和逻辑
在此将某些实施例描述为包括逻辑或多个组件、模块或机制。组件可以构成硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式配置或布置。在各种示例实施例中，计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的硬件组件(例如，至少一个硬件处理器、处理器或一组处理器)由软件(例如，应用或应用部分)配置为用于执行如在此所述的某些操作的硬件组件。
在一些实施例中，硬件组件以机械、电子或其任何合适的组合实现。例如，硬件组件可以包括永久配置为执行某些操作的专用电路或逻辑。例如，硬件组件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件组件可以包括包含在通用处理器或其它可编程处理器内的软件。应当理解，可以通过成本和时间考虑来驱动机械地在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中实现硬件组件的决定。
因此，短语“硬件组件”应该被理解为包含有形实体，是物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)从而以某个方式操作或执行在此所述的某些操作的实体。如在此所使用的，“硬件实现的组件”指的是硬件组件。考虑其中临时配置(例如，编程)硬件组件的实施例，不需要在任何一个时刻配置或实例化硬件组件中的每一个硬件组件。例如，在硬件组件包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以在不同时间被配置为分别不同的专用处理器(例如，包括不同的硬件组件)。因此，软件可以配置特定的一个或多个处理器，例如，在一个时刻构成特定的硬件组件，并在不同的时刻构成不同的硬件组件。
硬件组件可以向其它硬件组件提供信息并从其接收信息。因此，所描述的硬件组件可以被视为通信地耦接。在同时存在多个硬件组件的情况下，可以通过在两个或更多个硬件组件之间或之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，可以例如通过存储和检索多个硬件组件可访问的存储器结构中的信息来实现这些硬件组件之间的通信。例如，一个硬件组件执行操作并将该操作的输出存储在与其通信耦接的存储器装置中。然后，另一硬件组件可以稍后访问存储器装置以检索和处理存储的输出。硬件组件还可以发起与输入或输出装置的通信，并且可以在资源(例如，信息集合)上操作。
在此描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久配置为执行相关操作的处理器来执行。无论是临时配置还是永久配置，这种处理器构成处理器实现的组件，该组件操作以执行在此所述的操作或功能。如在此所使用的，“处理器实现的组件”指的是使用处理器实现的硬件组件。
类似地，在此描述的方法可以至少部分地由处理器实现，其中特定的一个处理器或多个处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由处理器或处理器实现的组件执行。此外，处理器还可以操作以支持“云计算”环境中的相关操作的性能或作为“软件即服务”(SaaS)。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，这些操作可以经由网络(例如，因特网)和经由适当的接口(例如，应用程序接口(API))来访问。
某些操作的性能可以在处理器之间分配，不仅驻留在单个机器内，而且横跨多个机器部署。在一些示例实施例中，处理器或处理器实现的组件位于单个地理位置中(例如，在家庭环境、办公室环境或服务器群内)。在其它示例实施例中，处理器或处理器实现的组件横跨多个地理位置分布。
应用
图7示出根据一些实施例的执行移动操作系统(例如，IOSTM、ANDROIDTM、Phone或其它移动操作系统)的示例移动装置700。在一个实施例中，移动装置700包括可操作以从用户702接收触知数据的触摸屏。例如，用户702可物理地触摸704移动装置700，并且响应于触摸704，移动装置700可以确定触知数据，诸如触摸位置、触摸力或手势动作。在各种示例实施例中，移动装置700显示主屏幕706(例如，IOSTM上的Springboard)，其可操作以启动应用或以其它方式管理移动装置700的各个方面。在一些示例实施例中，主屏幕706提供诸如电池寿命、连接性或其它硬件状态的状态信息。用户702可以通过触摸由相应的用户界面元素占据的区域来激活用户界面元素。以该方式，用户702与移动装置700的应用交互。例如，触摸主屏幕706中包括的特定图标占据的区域导致启动与特定图标对应的应用。
如图7中所示，移动装置700可以包括成像装置708。成像装置708可以是相机或耦接到能够采集视频流或一个或多个连续图像的移动装置700的任何其它装置。成像装置708可以由对象建模系统160或可选择的用户界面元素来触发，以启动对图像的视频流或连续体的采集，并将图像的视频流或连续体传递给对象建模系统160以根据在本公开中描述的一个或多个方法来处理。
可以在移动装置700上执行许多种类的应用(也称为“应用软件”)，诸如本机应用(例如，在IOSTM上运行的以Objective-C、Swift或另一适当语言编程的应用，或在ANDROIDTM上运行的以Java编程的应用)、移动web应用(例如，以超文本标记语言-5(HTML5)编写的应用)或混合应用(例如，启动HTML5会话的本机壳应用)。例如，移动装置700包括消息传递应用软件、音频录制应用软件、相机应用软件、书籍阅读器应用软件、媒体应用软件、健身应用软件、文件管理应用软件、位置应用软件、浏览器应用软件、设置应用软件、联系人应用软件、电话呼叫应用软件或其它应用软件(例如，游戏应用软件、社交网络应用软件、生物度量监视应用软件)。在另一示例中，移动装置700包括诸如的社交消息传送应用710，根据一些实施例，其允许用户交换包括媒体内容的短暂消息。在该示例中，社交消息传送应用710可以合并在此描述的实施例的各方面。例如，在一些实施例中，社交消息传递应用710包括由用户社交消息传递应用710创建的短暂的媒体图库。这些图库可以由用户张贴并且可由用户的联系人(例如，“朋友”)查看的视频或图片组成。可替代地，公共图库可由社交消息传递应用710的管理员创建，该应用710由来自应用的任何用户(并且可由所有用户访问)的媒体组成。在又一个实施例中，社交消息传递应用710可以包括“杂志”特征，其由发布者在社交消息传递应用的平台上生成并可由任何用户访问的文章和其它内容组成。这些环境或平台中的任何一个都可以用来实施本发明主题的概念。
在一些实施例中，短暂消息传送系统可以包括具有短暂视频剪辑或图像的消息，该短暂视频剪辑或图像在诸如观看时间或观看完成的删除触发事件之后被删除。在这种实施例中，实现对象建模系统160的设备可以在短暂消息内生成针对视频流内的对象的纹理模型并跟踪对象，并且使用短暂消息系统将短暂消息发送到另一设备。
软件体系结构
图8是示出可以安装在上述装置上的软件802的体系结构的框图800。图8仅仅是软件体系结构的非限制性示例，并且将理解可以实现许多其它体系结构来促进在此所述的功能。在各种实施例中，软件802由诸如图9的机器900的硬件来实现，机器900包括处理器910、存储器930和I/O组件950。在该示例体系结构中，软件802可以被概念化为层的堆栈，其中每一个层可以提供特定的功能。例如，软件802包括诸如操作系统804、库806、框架808和应用810的层。操作上，根据一些实施例，应用810通过软件堆栈调用应用程序编程接口(API)调用812，并响应于API调用812接收消息814。
在各种实施方式中，操作系统804管理硬件资源并提供公共服务。操作系统804包括例如内核820、服务822和驱动器824。根据一些实施例，内核820作为硬件与其它软件层之间的抽象层。例如，内核820提供了其它功能中的存储器管理、处理器管理(例如调度)、组件管理、网络连接和安全设置。服务822可以为其它软件层提供其它公共服务。根据一些实施例，驱动器824负责控制底层硬件或与底层硬件接口连接。例如，驱动器824可以包括显示器驱动器、相机驱动器、驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电源管理驱动器等。
在一些实施例中，库806提供由应用810利用的低级通用基础设施。库806可以包括系统库830(例如，C标准库)，其可以提供诸如存储器分配函数、字符串操作函数、数学函数等的函数。此外，库806可以包括API库832，诸如媒体库(例如，支持各种媒体格式(诸如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))的呈现和操纵的库)、图形库(例如，用于在显示器上的图形内容中呈现二维(2D)和三维(3D)的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供网页浏览功能的WebKit)等。库806同样可以包括各种各样的其它库834，以向应用810提供许多其它API。
根据一些实施例，框架808提供可由应用810利用的高级公共基础架构。例如，框架808提供各种图形用户界面(GUI)功能、高级别资源管理、高级位置服务等。框架808可以提供可由应用810利用的广泛范围的其它API，其中的一些可以特定于特定操作系统或平台。
在示例实施例中，应用810包括主页应用850、联系人应用852、浏览器应用854、书籍阅读器应用856、位置应用858、媒体应用860、消息传递应用862、游戏应用864以及诸如第三方应用866的广泛分类的其它应用。根据一些实施例，应用810是执行程序中定义的功能的程序。可以利用各种编程语言来创建以各种方式构造的应用810，诸如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在具体示例中，第三方应用866(例如，由除了特定平台的供应商之外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在移动操作系统(诸如IOSTM、ANDROIDTM、PHONE或其它移动操作系统)上运行的移动软件。在该示例中，第三方应用866可以调用由操作系统804提供的API调用812以便于执行在此描述的功能。
示例机器体系结构和机器可读介质
图9是示出根据一些实施例能够从机器可读介质(例如，非暂态机器可读存储介质)读取指令(例如处理器可执行指令)并执行在此讨论的任何方法的机器900的组件的框图。具体地，图9示出了以计算机系统的示例形式的机器900的图示表示，在该计算机系统内可以执行用于使机器900执行在此讨论的任何方法的指令916(例如，软件、程序、应用、小程序、应用程序或其它可执行代码)。在替代实施例中，机器900作为独立装置操作或者可以耦接(例如，网络连接)到其它机器。在联网部署中，机器900可以以服务器-客户端网络环境中的服务器机器或客户端机器的能力操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器900可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能手机、移动装置、可穿戴装置(例如，智能手表)、智能家居装置(例如，智能家电)、其它智能装置、网络装置、网络路由器、网络交换机、网络桥接器、或者指定机器900将采取的动作的能够连续或以其它方式执行指令916的任何机器。此外，虽然只示出单个机器900，但是术语“机器”同样可被认为包括单独或联合执行指令916以执行在此所讨论的任何方法的机器900的集合。
在各种实施例中，机器900包括处理器910、存储器930以及可被配置成经由总线902彼此通信的I/O组件950。在示例实施例中，处理器910(例如，中央处理单元(CPU)、简化指令集计算(RISC)处理器、复合指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一个处理器或其任何合适的组合)包括例如可以执行指令916的处理器912和处理器914。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令916的两个或更多个独立处理器(同样称为“核”)。尽管图9示出了多个处理器910，但是机器900可以包括单个具有单核的处理器、单个具有多核的处理器(例如，多核处理器)、多个具有单核的处理器、多个具有多核的处理器或其任何组合。
根据一些实施例，存储器930包括主存储器932、静态存储器934和经由总线902可被处理器910访问的存储单元936。存储单元936可以包括机器可读存储介质938，在该机器可读存储介质938上存储了体现在此所述的任何方法或功能的指令916。指令916同样可以在由机器900对其的执行期间完全或至少部分地驻留在主存储器932内、静态存储器934内、处理器910中的至少一个内(例如，在处理器的高速缓冲存储器内)或它们的任何合适的组合内。因此，在各种实施例中，主存储器932、静态存储器934和处理器910被认为是机器可读介质938。
如在此所使用的，术语“存储器”是指能够临时或永久地存储数据的机器可读介质938，并且可以认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓存、闪存和高速缓存。虽然机器可读介质938在示例实施例中被示出为单个存储介质，但术语“机器可读介质”应当被认为包括能够存储指令916的单个存储介质或多个存储介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”同样可被视为包括能够存储指令(例如，指令916)用于由机器(例如，机器900)执行的任何存储介质或多个存储介质的组合，使得指令在由机器900的处理器(例如，处理器910)执行时使机器900执行在此描述的任何方法。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。因此，术语“机器可读介质”可被视为包括但不限于以固态存储器(例如，闪存)、光学介质、磁性介质、其它非易失性存储器(例如，可擦除可编程只读存储器(EPROM))或其任何合适的组合的形式的数据存储库。术语“机器可读介质”明确地排除非法定信号本身。
I/O组件950包括用于接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等的各种各样的组件。通常，可理解的是I/O组件950可以包括图9中未示出的许多其它组件。I/O组件950根据功能被分组，仅用于简化以下讨论，并且分组决不是限制性的。在各种示例实施例中，I/O组件950包括输出组件952和输入组件954。输出组件952包括视觉组件(例如，显示器，诸如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、听觉组件(例如扬声器)、触觉组件(例如振动电动机)、其它信号发生器等。输入组件954包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触知输入组件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其它触知输入组件)、音频输入组件(例如，麦克风)等。
在一些另外的示例实施例中，I/O组件950包括各种其它组件中的生物特征组件956、运动组件958、环境组件960或位置组件962。例如，生物特征组件956包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或嘴部姿势)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件958包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件960包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器组件(例如，机器嗅觉检测传感器、用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。位置组件962包括位置传感器组件(例如，全球定位系统(GPS)接收器组件)、高度传感器组件(例如，高度计或气压计，其可以检测可以从哪个高度导出的空气压力)、取向传感器组件(例如，磁力计)等。
通信可以使用各种各样的技术来实现。I/O组件950可以包括通信组件964，其可操作以分别经由耦接器982和耦接器972将机器900耦接到网络980或装置970。例如，通信组件964包括网络接口组件或与网络980接口连接的另一合适装置。在另外的示例中，通信组件964包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、组件(例如，/>低能耗)、/>组件和经由其它形态提供通信的其它通信组件。装置970可以是另一机器或各种各样的外围装置(例如，经由通用串行总线(USB)耦接的外围装置)中的任何一个。
此外，在一些实施例中，通信组件964检测标识符或包括可操作以检测标识符的组件。例如，通信组件964包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)码、Aztec码、数据矩阵、数字图形、最大码、PDF417、超码、统一商业代码缩减空格符号(UCC RSS)-2D条形码的多维条形码和其它光学代码)、声学检测组件(例如，用于识别标记的音频信号的麦克风)或其任何合适的组合。此外，可以经由可以指示特定位置的通信组件964来得到各种信息，诸如经由因特网协议(IP)地理位置的位置、经由信号三角测量的位置、经由检测/>或NFC信标信号的位置等。
传输介质
在各种示例实施例中，网络980的部分可以是自组织网络、内联网、外部网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一种类型的网络，或两个或更多个此类网络的组合。例如，网络980或网络980的一部分可以包括无线或蜂窝网络，并且耦接982可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一种类型的蜂窝或无线耦接。在该示例中，耦接982可以实现各种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、GSM演进增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。
在示例实施例中，经由网络接口装置(例如，在通信组件964中包括的网络接口组件)使用传输介质通过网络980发送或接收指令916，并且利用多个公知的传输协议(例如，超文本传输协议(HTTP))中的任何一个。类似地，在其它示例实施例中，使用传输介质经由耦接972(例如，对等耦接)向装置970发送或接收指令916。术语“传输介质”可被视为包括能够存储、编码或携带由机器900执行的指令916的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以便于这种软件的通信实现。
此外，机器可读介质938是非暂态的(换句话说，不具有任何暂态信号)因为它不体现传播信号。然而，将机器可读介质938标记为“非暂态”不应该被解释为表示介质不能够移动；介质应该被认为是可从一个物理位置移动到另一个物理位置。另外，由于机器可读介质938是有形的，因此介质可以被认为是机器可读装置。
语言
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然将方法的单独操作示出和描述为单独的操作，但可以并行地执行单独的操作，并且不需要以所示顺序执行操作。作为示例配置中的单独组件呈现的结构和功能可以被实现为组合的结构或组件。类似地，作为单个组件呈现的结构和功能可以被实现为分离的多个组件。这些和其它变化、修改、添加和改进落入本文主题的范围内。
虽然已经参考具体示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更广泛范围的情况下，可以对这些实施例进行各种修改和改变。仅出于方便，本发明主题的此类实施例在此可以单独地或共同地由术语“发明”指代，如果事实上公开了多于一个的公开内容或发明构思，则不旨在将本申请的范围限制于任何单个公开内容或发明构思。
在此示出的实施例足够详细地描述，以使本领域技术人员能够实践所公开的教导。可以从中使用和导出其它实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应被认为是限制性的，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
如在此所使用的，术语“或”可以以包含或排除的方式来解释。此外，多个实例可以作为单个实例为在此所述的资源、操作或结构提供。此外，各种资源、操作、组件、引擎和数据存储之间的边界是一定程度上任意的，并且在特定说明性配置的上下文中示出了特定的操作。可以设想功能的其它分配，并且这些其它分配可以落入本公开的各种实施例的范围内。通常，作为示例配置中的分离的资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为分离的资源。这些和其它变化、修改、添加和改进落入由所附权利要求所表示的本公开的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种方法，包括：
通过执行操作来生成感兴趣区域内的虹膜区域，所述操作包括：
确定虹膜测量值，所述虹膜测量值包括虹膜的被一个或多个眼睑遮挡的部分；以及
生成具有与所述虹膜测量值匹配或近似的尺寸或测量值的区域；
识别与所述虹膜的被所述一个或多个眼睑遮挡的部分相对应的所述虹膜的未知区域；
确定所述区域内的一个或多个色块，所述一个或多个色块对应于所述虹膜的着色部分；以及
将所述一个或多个色块平移到所述未知区域。
2.根据权利要求1所述的方法，所述区域是圆形的，并且所述虹膜测量值包括所述虹膜的直径或周长，还包括：
访问在计算设备处捕获的图像集；
在所述图像集中的每个图像的一部分内确定包括眼睛的所述感兴趣区域；
在所述感兴趣区域内分割巩膜区域，所述巩膜区域对应于所述眼睛的巩膜；以及
确定所述巩膜区域的颜色分布。
3.根据权利要求1所述的方法，进一步包括：
基于所述巩膜区域的颜色分布的主要颜色来执行巩膜区域与巩膜模板集中的巩膜模板子集的初始匹配，所述巩膜模板集在接收图像集之前生成；
从所述巩膜模板子集中选择匹配或近似于所述巩膜区域的一个或多个颜色变化内的一种或多种颜色变化或图案的巩膜模板；
修改所选择的巩膜模板的一部分；以及
基于包括所选择的巩膜模板的修改的部分的所选择的巩膜模板生成针对眼睛的纹理。
4.根据权利要求1所述的方法，其中，生成所述区域还包括：
识别所述感兴趣区域内的所述虹膜的边缘的至少一部分；
确定圆形形状，所述圆形形状基于所述虹膜的所述边缘的所述部分来确定大小；
将所述圆形形状与所述虹膜的边缘的所述部分对齐；以及
调整所述感兴趣区域内的所述圆形形状的大小、形状或尺寸，以使所述圆形形状的至少一部分与虹膜区域相交或接触。
5.根据权利要求1所述的方法，还包括：
确定所述未知区域被所述平移的一个或多个色块填充；以及
在平移所述色块之前将所述感兴趣区域恢复为图像的原始颜色坐标系。
6.根据权利要求1所述的方法，还包括：
通过以下方式生成针对眼睛的纹理：
从所述感兴趣区域提取虹膜区域，所述虹膜区域对应于在图像集的至少一部分中描绘的至少一个虹膜；
生成所述虹膜区域的虹膜纹理，所述纹理基于从所述虹膜区域选择的至少一个或多个色块；
从预定的巩膜纹理集中选择巩膜纹理，所述巩膜纹理是基于所述巩膜区域的颜色分布而选择的；以及
将所述虹膜纹理的边缘与所述巩膜纹理中靠近所述虹膜区域的部分混合。
7.根据权利要求1所述的方法，还包括：
识别所述感兴趣区域内的瞳孔位置，所述瞳孔位置是基于虹膜区域和巩膜区域而确定的；
确定眼睛的第一焦点，所述第一焦点是基于所述瞳孔位置的；以及
修改所述眼睛的纹理的一部分以将所述第一焦点改变为第二焦点，所述第二焦点指向与所述第一焦点的位置不同的位置。
8.根据权利要求1所述的方法，还包括：
确定针对图像集内描绘的面部的面部关键点集；
确定针对所述图像集内描绘的所述面部的面部模型，所述面部模型具有眼睛的三维表示并且与所述面部的所述面部关键点集的至少一部分对齐；
识别所述感兴趣区域内的瞳孔位置，所述瞳孔位置是基于虹膜区域和巩膜区域而确定的；以及
基于所述瞳孔位置和所述面部模型来跟踪所述眼睛的焦点。
9.根据权利要求1所述的方法，还包括：
确定虹膜测量值，所述虹膜测量值包括所述虹膜的直径或周长，其包括所述虹膜的被一个或多个眼睑遮挡的部分；以及
生成具有与所述虹膜测量值匹配或近似的尺寸或测量值的圆形形状。
10.根据权利要求9所述的方法，还包括调整所述感兴趣区域内的所述圆形形状的大小、形状或尺寸，以使所述圆形形状的至少一部分与虹膜区域相交或接触。
11.一种系统，包括：
一个或多个处理器；以及
非暂时性处理器可读存储介质，其存储处理器可执行指令，所述处理器可执行指令在被所述一个或多个处理器执行时使所述一种或多种处理器执行操作，所述操作包括：
通过执行操作来生成感兴趣区域内的虹膜区域，所述操作包括：
确定虹膜测量值，所述虹膜测量值包括虹膜的被一个或多个眼睑遮挡的部分；以及
生成具有与所述虹膜测量值匹配或近似的尺寸或测量值的区域；
识别与所述虹膜的被所述一个或多个眼睑遮挡的部分相对应的所述虹膜的未知区域；
确定所述区域内的一个或多个色块，所述一个或多个色块对应于所述虹膜的着色部分；以及
将所述一个或多个色块平移到所述未知区域。
12.根据权利要求11所述的系统，其中，所述操作还包括：
访问在计算设备处捕获的图像集；
在所述图像集中的每个图像的一部分内确定包括眼睛的所述感兴趣区域；
在所述感兴趣区域内分割巩膜区域，所述巩膜区域对应于所述眼睛的巩膜；以及
确定所述巩膜区域的颜色分布。
13.根据权利要求11所述的系统，其中，所述操作还包括：
基于所述巩膜区域的颜色分布的主要颜色来执行巩膜区域与巩膜模板集中的巩膜模板子集的初始匹配，所述巩膜模板集在接收图像集之前生成；
从所述巩膜模板子集中选择匹配或近似于所述巩膜区域的一个或多个颜色变化内的一种或多种颜色变化或图案的巩膜模板；
修改所选择的巩膜模板的一部分；以及
基于包括所选择的巩膜模板的修改的部分的所选择的巩膜模板生成针对眼睛的纹理。
14.根据权利要求11所述的系统，其中，生成所述区域包括：
识别所述感兴趣区域内的所述虹膜的边缘的至少一部分；
确定圆形形状，所述圆形形状基于所述虹膜的所述边缘的所述部分来确定大小；
将所述圆形形状与所述虹膜的边缘的所述部分对齐；以及
调整所述感兴趣区域内的所述圆形形状的大小、形状或尺寸，以使所述圆形形状的至少一部分与虹膜区域相交或接触。
15.根据权利要求11所述的系统，其中，所述操作还包括：
确定所述未知区域被所述平移的一个或多个色块填充；以及
在平移所述色块之前将所述感兴趣区域恢复为图像的原始颜色坐标系。
16.根据权利要求11所述的系统，其中，所述操作还包括：
通过以下方式生成针对眼睛的纹理：
从所述感兴趣区域提取虹膜区域，所述虹膜区域对应于在图像集的至少一部分中描绘的至少一个虹膜；
生成所述虹膜区域的虹膜纹理，所述纹理基于从所述虹膜区域选择的至少一个或多个色块；
从预定的巩膜纹理集中选择巩膜纹理，所述巩膜纹理是基于所述巩膜区域的颜色分布而选择的；以及
将所述虹膜纹理的边缘与所述巩膜纹理中靠近所述虹膜区域的部分混合。
17.一种非暂时性处理器可读存储介质，其存储处理器可执行指令，所述处理器可执行命令在由机器的处理器执行时使所述机器执行操作，所述操作包括：
通过执行操作来生成感兴趣区域内的虹膜区域，所述操作包括：
确定虹膜测量值，所述虹膜测量值包括虹膜的被一个或多个眼睑遮挡的部分；以及
生成具有与所述虹膜测量值匹配或近似的尺寸或测量值的区域；
识别与所述虹膜的被所述一个或多个眼睑遮挡的部分相对应的所述虹膜的未知区域；
确定所述区域内的一个或多个色块，所述一个或多个色块对应于所述虹膜的着色部分；以及
将所述一个或多个色块平移到所述未知区域。
18.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所述操作还包括：
访问在计算设备处捕获的图像集；
在所述图像集中的每个图像的一部分内确定包括眼睛的所述感兴趣区域；
在所述感兴趣区域内分割巩膜区域，所述巩膜区域对应于所述眼睛的巩膜；以及
确定所述巩膜区域的颜色分布。
19.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所述操作还包括：
基于所述巩膜区域的颜色分布的主要颜色来执行巩膜区域与巩膜模板集中的巩膜模板子集的初始匹配，所述巩膜模板集在接收图像集之前生成；
从所述巩膜模板子集中选择匹配或近似于所述巩膜区域的一个或多个颜色变化内的一种或多种颜色变化或图案的巩膜模板；
修改所选择的巩膜模板的一部分；以及
基于包括所选择的巩膜模板的修改的部分的所选择的巩膜模板生成针对眼睛的纹理。
20.根据权利要求17所述的非暂时性处理器可读存储介质，其中，生成所述区域包括：
识别所述感兴趣区域内的所述虹膜的边缘的至少一部分；
确定圆形形状，所述圆形形状基于所述虹膜的所述边缘的所述部分来确定大小；
将所述圆形形状与所述虹膜的边缘的所述部分对齐；以及
调整所述感兴趣区域内的所述圆形形状的大小、形状或尺寸，以使所述圆形形状的至少一部分与虹膜区域相交或接触。
CN202410265097.2A 2018-07-31 2019-07-30 眼部纹理修复 Pending CN118135643A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/051,083 US11074675B2 (en) 2018-07-31 2018-07-31 Eye texture inpainting
US16/051,083 2018-07-31
CN201980050760.4A CN112513875B (zh) 2018-07-31 2019-07-30 眼部纹理修复
PCT/US2019/044161 WO2020028378A1 (en) 2018-07-31 2019-07-30 Eye texture inpainting

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980050760.4A Division CN112513875B (zh) 2018-07-31 2019-07-30 眼部纹理修复

Publications (1)

Publication Number Publication Date
CN118135643A true CN118135643A (zh) 2024-06-04

Family

ID=67659974

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410265097.2A Pending CN118135643A (zh) 2018-07-31 2019-07-30 眼部纹理修复
CN201980050760.4A Active CN112513875B (zh) 2018-07-31 2019-07-30 眼部纹理修复

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980050760.4A Active CN112513875B (zh) 2018-07-31 2019-07-30 眼部纹理修复

Country Status (5)

Country Link
US (2) US11074675B2 (zh)
EP (1) EP3830746A1 (zh)
KR (1) KR102506738B1 (zh)
CN (2) CN118135643A (zh)
WO (1) WO2020028378A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11010951B1 (en) * 2020-01-09 2021-05-18 Facebook Technologies, Llc Explicit eye model for avatar
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) * 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11769283B2 (en) * 2020-11-17 2023-09-26 Bria Artificial Intelligence Ltd. Generating looped video clips
US12033274B2 (en) * 2021-08-27 2024-07-09 Transfolio, Llc Systems and methods for modeling realistic eye color
US12136160B2 (en) 2022-04-27 2024-11-05 Snap Inc. Augmented reality experience power usage prediction
US12069399B2 (en) 2022-07-07 2024-08-20 Snap Inc. Dynamically switching between RGB and IR capture
CN117523649B (zh) * 2024-01-04 2024-03-15 成都科瑞特电气自动化有限公司 矿用虹膜安全识别检测方法、系统、介质及终端

Family Cites Families (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US116598A (en) 1871-07-04 Improvement in furnaces for puddling iron
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6023270A (en) 1997-11-17 2000-02-08 International Business Machines Corporation Delivery of objects in a virtual world using a descriptive container
WO1999046697A1 (fr) 1998-03-11 1999-09-16 Yasuo Nishizawa Interverrouillage par http d'un outil accessoire agent a applications integrees sur serveur web
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6223165B1 (en) 1999-03-22 2001-04-24 Keen.Com, Incorporated Method and apparatus to connect consumer to expert
US6772195B1 (en) 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
JP2001230601A (ja) 2000-02-15 2001-08-24 Toyota Motor Corp 導波管およびその伝送特性調整方法
US6922685B2 (en) 2000-05-22 2005-07-26 Mci, Inc. Method and system for managing partitioned data resources
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US20050206610A1 (en) 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US8117281B2 (en) 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US7634103B2 (en) * 2001-10-01 2009-12-15 L'oreal S.A. Analysis using a three-dimensional facial image
KR100523742B1 (ko) 2002-03-26 2005-10-26 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR100493525B1 (ko) 2002-05-03 2005-06-07 안현기 아바타 메일 제공시스템 및 방법
US8495503B2 (en) 2002-06-27 2013-07-23 International Business Machines Corporation Indicating the context of a communication
US7636755B2 (en) 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
EP1431810A1 (de) * 2002-12-16 2004-06-23 Agfa-Gevaert AG Verfahren zur automatischen Bestimmung von Farbdichte-Korrekturwerten für die Wiedergabe von digitalen Bilddaten
US7347551B2 (en) * 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US20070168863A1 (en) 2003-03-03 2007-07-19 Aol Llc Interacting avatars in an instant messaging communication session
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US20040179037A1 (en) 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate context out-of-band
KR20040091331A (ko) 2003-04-21 2004-10-28 홍지선 자연어처리기술을 이용하여 입력된 문자메시지와 그 문장내용에 상응하는 아바타 표현 방법 및 시스템
KR100762629B1 (ko) 2003-08-26 2007-10-01 삼성전자주식회사 휴대단말기의 백업서비스 처리방법
US7342587B2 (en) 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
KR100714192B1 (ko) 2005-04-08 2007-05-02 엔에이치엔(주) 노출 부위가 가변되는 아바타 제공 시스템 및 그 방법
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US7775885B2 (en) 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
RU2396599C2 (ru) 2005-12-31 2010-08-10 Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед Способ отображения трехмерного аватара и система, осуществляющая этот способ
US20070176921A1 (en) 2006-01-27 2007-08-02 Koji Iwasaki System of developing urban landscape by using electronic data
US20100011422A1 (en) 2006-02-16 2010-01-14 Wee-World Limited Portable account information
WO2007130691A2 (en) 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Method for providing affective characteristics to computer generated avatar during gameplay
WO2007134402A1 (en) 2006-05-24 2007-11-29 Mor(F) Dynamics Pty Ltd Instant messaging system
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US20080158222A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Apparatus and Methods for Selecting and Customizing Avatars for Interactive Kiosks
US8504926B2 (en) 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
GB2447094B (en) 2007-03-01 2010-03-10 Sony Comp Entertainment Europe Entertainment device and method
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
ATE555433T1 (de) 2007-04-26 2012-05-15 Ford Global Tech Llc Emotives beratungssystem und verfahren
CN101071457B (zh) 2007-04-28 2010-05-26 腾讯科技（深圳）有限公司 一种网络游戏中改变角色形象的方法、装置以及服务器
US20110115798A1 (en) * 2007-05-10 2011-05-19 Nayar Shree K Methods and systems for creating speech-enabled avatars
US8130219B2 (en) 2007-06-11 2012-03-06 Autodesk, Inc. Metadata for avatar generation in virtual environments
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US20090016617A1 (en) 2007-07-13 2009-01-15 Samsung Electronics Co., Ltd. Sender dependent messaging viewer
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4572220B2 (ja) * 2007-07-31 2010-11-04 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法、ならびに、プログラム
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
JP2009049639A (ja) 2007-08-17 2009-03-05 Fujifilm Corp 撮影装置
US20090055484A1 (en) 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US20090070688A1 (en) 2007-09-07 2009-03-12 Motorola, Inc. Method and apparatus for managing interactions
US8924250B2 (en) 2007-09-13 2014-12-30 International Business Machines Corporation Advertising in virtual environments based on crowd statistics
WO2009046342A1 (en) 2007-10-04 2009-04-09 Playspan, Inc. Apparatus and method for virtual world item searching
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US8151191B2 (en) 2007-12-07 2012-04-03 International Business Machines Corporation Managing objectionable material in 3D immersive virtual worlds
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US8495505B2 (en) 2008-01-10 2013-07-23 International Business Machines Corporation Perspective based tagging and visualization of avatars in a virtual world
EP2263190A2 (en) 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
EP2252955A1 (en) 2008-03-03 2010-11-24 Nike International Ltd. Interactive athletic equipment system
US9744466B2 (en) 2008-03-13 2017-08-29 Mattel, Inc. Widgetized avatar and a method and system of creating and using same
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US20090265604A1 (en) 2008-04-21 2009-10-22 Microsoft Corporation Graphical representation of social network vitality
US20090300525A1 (en) 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US20090303984A1 (en) 2008-06-09 2009-12-10 Clark Jason T System and method for private conversation in a public space of a virtual world
US8095878B2 (en) 2008-06-23 2012-01-10 International Business Machines Corporation Method for spell check based upon target and presence of avatars within a virtual environment
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
WO2010000300A1 (en) 2008-06-30 2010-01-07 Accenture Global Services Gmbh Gaming system
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
MX2011001060A (es) 2008-07-28 2011-07-29 Breakthrough Performancetech Llc Metodos y sistemas para entrenamiento de habilidades interactivo computarizado.
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8384719B2 (en) 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US8832201B2 (en) 2008-08-18 2014-09-09 International Business Machines Corporation Method, system and program product for providing selective enhanced privacy and control features to one or more portions of an electronic message
US8108774B2 (en) 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
US8648865B2 (en) 2008-09-26 2014-02-11 International Business Machines Corporation Variable rendering of virtual universe avatars
US8869197B2 (en) 2008-10-01 2014-10-21 At&T Intellectual Property I, Lp Presentation of an avatar in a media communication system
US8683354B2 (en) 2008-10-16 2014-03-25 At&T Intellectual Property I, L.P. System and method for distributing an avatar
US20100115426A1 (en) 2008-11-05 2010-05-06 Yahoo! Inc. Avatar environments
US8745152B2 (en) 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
US8458601B2 (en) 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US8581911B2 (en) 2008-12-04 2013-11-12 Intific, Inc. Training system and methods for dynamically injecting expression information into an animated facial mesh
US8280119B2 (en) * 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
US8768014B2 (en) * 2009-01-14 2014-07-01 Indiana University Research And Technology Corp. System and method for identifying a person with reference to a sclera image
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
KR101558553B1 (ko) 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20100227682A1 (en) 2009-03-04 2010-09-09 Microsoft Corporation Awarding of avatar items in video game environment
US20110093780A1 (en) 2009-10-16 2011-04-21 Microsoft Corporation Advertising avatar
KR20110070056A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8484158B2 (en) 2010-02-01 2013-07-09 International Business Machines Corporation Managing information about avatars across virtual worlds
US20110239136A1 (en) 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US9086776B2 (en) 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
KR101514327B1 (ko) 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US20120124458A1 (en) 2010-11-17 2012-05-17 Nazareno Brier Cruzada Social networking website & web-based system for collecting & presenting real-time user generated information on parties & events.
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR101445263B1 (ko) 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
US9839844B2 (en) 2011-03-01 2017-12-12 Disney Enterprises, Inc. Sprite strip renderer
US20140043329A1 (en) 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US20130103760A1 (en) 2011-04-11 2013-04-25 Robert K. Golding Location-sensitive virtual identity system, apparatus, method and computer-readable medium
WO2012139276A1 (en) 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques
US8989786B2 (en) 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
EP2754130A4 (en) 2011-08-09 2016-01-06 Intel Corp 3D MULTIVUE-BASED 3D FACES GENERATION
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US20130249948A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US8559980B2 (en) 2011-09-02 2013-10-15 John J. Pujol Method and system for integrated messaging and location services
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
US8890926B2 (en) 2011-11-02 2014-11-18 Microsoft Corporation Automatic identification and representation of most relevant people in meetings
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US9398262B2 (en) 2011-12-29 2016-07-19 Intel Corporation Communication using avatar
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
CN103300815B (zh) 2012-03-15 2015-05-13 凹凸电子（武汉）有限公司 眼球关注点确定方法、装置和系统
US10702773B2 (en) 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US9402057B2 (en) 2012-04-02 2016-07-26 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive avatars for telecommunication systems
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
US9101312B2 (en) * 2012-04-18 2015-08-11 TBI Diagnostics LLC System for the physiological evaluation of brain function
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
JP5497931B2 (ja) 2012-05-30 2014-05-21 株式会社コナミデジタルエンタテインメント アプリケーション装置、アプリケーション装置の制御方法、及びプログラム
AU2013206649A1 (en) 2012-07-05 2014-01-23 Aristocrat Technologies Australia Pty Limited A gaming system and a method of gaming
US20140125678A1 (en) 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9936165B2 (en) 2012-09-06 2018-04-03 Intel Corporation System and method for avatar creation and synchronization
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9501942B2 (en) 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140129343A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9256860B2 (en) 2012-12-07 2016-02-09 International Business Machines Corporation Tracking participation in a shared media session
US9990373B2 (en) 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US9378564B2 (en) * 2013-03-01 2016-06-28 Colormodules Inc. Methods for color correcting digital images and devices thereof
EP2976749A4 (en) 2013-03-20 2016-10-26 Intel Corp AVATAR-BASED TRANSMISSION PROTOCOLS, SYMBOL GENERATION AND PUPPET ANIMATION
US9460541B2 (en) 2013-03-29 2016-10-04 Intel Corporation Avatar animation, social networking and touch screen applications
US9589357B2 (en) 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US9706040B2 (en) 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
WO2015070416A1 (en) 2013-11-14 2015-05-21 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US9361510B2 (en) 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
KR101569268B1 (ko) * 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2015127313A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US10254831B2 (en) * 2014-04-08 2019-04-09 Umoove Services Ltd. System and method for detecting a gaze of a viewer
US9503845B2 (en) 2014-04-17 2016-11-22 Paypal, Inc. Image customization to enhance transaction experience
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
WO2016070354A1 (en) 2014-11-05 2016-05-12 Intel Corporation Avatar video apparatus and method
WO2016090605A1 (en) 2014-12-11 2016-06-16 Intel Corporation Avatar selection mechanism
JP6462386B2 (ja) 2015-02-05 2019-01-30 任天堂株式会社 プログラム、通信端末及び表示方法
KR102146398B1 (ko) * 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US20170087473A1 (en) 2015-09-29 2017-03-30 Sportsworld, Inc. Virtual environments for managing and interacting with virtual sports leagues
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
CN108369653B (zh) * 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
US20170118145A1 (en) 2015-10-21 2017-04-27 Futurefly Ltd. Method of using emoji to control and enrich 3d chat environments
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US20170199855A1 (en) 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
WO2017181429A1 (en) * 2016-04-22 2017-10-26 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
US20170312634A1 (en) 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10657701B2 (en) 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10217265B2 (en) * 2016-07-07 2019-02-26 Disney Enterprises, Inc. Methods and systems of generating a parametric eye model
US10573048B2 (en) 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
EP3654290A1 (en) 2016-09-23 2020-05-20 Apple Inc. Avatar creation and editing
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
AU2018237688B2 (en) * 2017-03-24 2022-08-25 Magic Leap, Inc. Accumulation and confidence assignment of iris codes
US11263924B2 (en) * 2017-03-31 2022-03-01 Cae Healthcare Canada Inc. Artificial eye system
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10949872B2 (en) 2017-04-28 2021-03-16 Snap Inc. Methods and systems for server generation of interactive advertising with content collections
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting

Also Published As

Publication number Publication date
WO2020028378A1 (en) 2020-02-06
KR20210036949A (ko) 2021-04-05
US20210319540A1 (en) 2021-10-14
US11074675B2 (en) 2021-07-27
CN112513875B (zh) 2024-03-08
EP3830746A1 (en) 2021-06-09
CN112513875A (zh) 2021-03-16
US20200043145A1 (en) 2020-02-06
US11468544B2 (en) 2022-10-11
KR102506738B1 (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
CN112513875B (zh) 眼部纹理修复
US11631276B2 (en) Automated avatar generation
US20220414985A1 (en) 3d hand shape and pose estimation
CN113383369B (zh) 身体姿势估计
CN109716781B (zh) 用于视频流的实时绘制的系统、装置、介质和方法
US12073524B2 (en) Generating augmented reality content based on third-party content
US12020383B2 (en) Facial synthesis in augmented reality content for third party applications
US11816926B2 (en) Interactive augmented reality content including facial synthesis
US11468673B2 (en) Augmented reality system using structured light
CN115956255A (zh) 使用广角成像设备的3d重建
US20220319231A1 (en) Facial synthesis for head turns in augmented reality content
US12003883B2 (en) Facial synthesis in overlaid augmented reality content
US12148244B2 (en) Interactive augmented reality content including facial synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination