[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110869938A - 人员识别系统和方法 - Google Patents

人员识别系统和方法 Download PDF

Info

Publication number
CN110869938A
CN110869938A CN201880032011.4A CN201880032011A CN110869938A CN 110869938 A CN110869938 A CN 110869938A CN 201880032011 A CN201880032011 A CN 201880032011A CN 110869938 A CN110869938 A CN 110869938A
Authority
CN
China
Prior art keywords
patient
digital image
facial features
machine learning
vital signs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880032011.4A
Other languages
English (en)
Inventor
C·M·斯威舍
R·阿西夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110869938A publication Critical patent/CN110869938A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本文公开的技术涉及在数字图像中识别个人。在一些实施例中，可以采集(402)捕获包含一个或多个人物的场景的一幅或多幅数字图像(430、530)。可以将单幅数字图像作为输入应用(406、408)到单个机器学习模型(534)上。在一些实施方式中，所述单个机器学习模型可以被训练为执行非面部特征识别任务和与面部有关的识别任务。可以基于所述输入在所述单个机器学习模型上生成输出。所述输出包括指示所述一个或多个人物的给定人员的非面部特征的第一数据和至少指示所述给定人员的面部在所述数字图像中相对于所述非面部特征的位置的第二数据。在各个实施例中，可以至少部分基于所述输出来识别(410)所述给定人员。

Description

人员识别系统和方法
技术领域
本公开内容总体上但非排他性地涉及在数字图像中识别人物。更具体地但非排他性地，本文公开的各种方法和装置涉及使用除了面部特征之外的(或代替使用面部特征而使用)非面部特征(例如，衣服、配饰、头发等)在数字图像中识别人物。
背景技术
在许多场景中，可能需要基于捕获包含人物的场景的数字图像来自动识别人物。例如，当患者去医院时，通常将他们登记、鉴别分类并然后送到诸如候诊室之类的区以等待有诸如医生之类的医院资源可用于检查和/或处置患者。在患者等待分配医学资源时，自动识别患者病情可以有助于继续监测患者状况(例如，病情恶化)。这也有助于确定患者是否/何时能不看病就离开(LWBS)。在各种其他环境中，基于数字图像自动识别人物也可能是有用的。虽然可以(例如经由分类器)使用面部识别来识别人物，但是可能需要被分析的数字图像具有相对较高的分辨率，使得能够分辨面部特征(例如，眼睛、鼻子、嘴巴等)。另外，在其中已经安装的相机可以采集要分析的数字图像的诸如候诊室之类的环境中，无法保证(而且实际上不太可能)以有利于面部识别的方式定位候诊患者，因为例如他们的面部可能不完全可见和/或可能被(例如书、杂志、智能手机等)部分或完全遮挡。
发明内容
本公开内容涉及用于自动识别在采集的数字图像中描绘的人物的方法、系统和装置。作为一个非限制性示例，多个经鉴别分类的患者在急诊医生能为其看病之前，可以在候诊室中等待。可以例如基于与每个患者相关联的危重程度的度量(在本文中被称为“患者危重程度度量”)将患者编入排序或排名的患者监测队列(也被简称为“患者队列”)中，患者危重程度度量是基于鉴别分类护士从患者获得/采集的信息以及其他数据点(例如，患者等待时间、患者在场等)来确定的。在候诊室中安装的一个或多个“生命体征采集相机”可以被配置为周期性地执行对来自每个患者的一个或多个更新的生命体征和/或生理参数的非接触式和/或不引人注意的采集。这些更新的生命体征和/或生理参数可以包括但不限于温度、脉搏、氧饱和度(“SpO2”)、呼吸速率、姿势、出汗等。为了识别生命体征采集相机应从其采集更新的生命体征的特定患者，可以采用本文所述的技术将所谓的“参考”数字图像(在一些实施例中，该“参考”数字图像可以是患者在登记和/或鉴别分类期间被采集的数字图像)匹配到由一个或多个生命体征采集相机例如从相对较宽的视场(“FOV”)采集的分辨率相对较低的数字图像所捕获的场景中包含的人员。
通常，在一个方面中，一种方法可以包括：通过一个或多个处理器采集捕获包含一个或多个人物的场景的一幅或多幅数字图像；通过所述处理器中的一个或多个处理器将所述数字图像作为输入应用于单个机器学习模型，其中，所述单个机器学习模型被训练为执行非面部特征识别任务和与面部有关的识别任务；通过所述处理器中的一个或多个处理器基于所述输入在所述单个机器学习模型上生成输出，所述输出包括指示所述一个或多个人物的给定人员的非面部特征的第一数据和至少指示所述给定人员的面部在所述数字图像中相对于所述非面部特征的位置的第二数据；并且通过所述处理器中的一个或多个处理器至少部分基于所述输出来识别所述给定人员。
在各个实施例中，所述单个机器学习模型还可以被训练为促进并行执行定位、分割或解析。在各个实施例中，所述机器学习模型可以采取卷积神经网络的形式。在各个实施例中，所述非面部特征识别任务和所述与面部有关的识别任务可以共享一个或多个隐层。在各个实施例中，所述数字图像可以包括在采集描绘所述给定人员的参考数字图像之后采集的后续数字图像，并且所述识别可以包括将所述第一数据和所述第二数据同与所述参考数字图像相关联的第三数据进行比较。在各个实施例中，所述第三数据可以包括通过将所述单个机器学习模型应用于所述参考数字图像而生成的输出。
在各个实施例中，所述场景可以包含多个人物，并且所述识别可以包括将所述第一数据和所述第二数据同与多幅参考数字图像相关联的额外数据进行比较。所述多幅参考数字图像中的每幅参考数字图像可以描绘多个人物中的一个人物。在各个实施例中，所述采集可以是使用生命体征采集相机来执行的，并且所述方法还可以包括通过所述生命体征采集相机响应于所述识别而不引人注意地采集来自所述给定人员的一个或多个生命体征。
在各个实施例中，所述给定人员的所述非面部特征可以包括以下各项中的一项或多项：所述给定人所穿的衣服、所述给定人员的头发或所述人员所佩戴的一个或多个配饰。在各个实施例中，所述第一数据可以包括所述给定人员的所述非面部特征的逐像素的标签。在各个实施例中，所述第二数据可以包括与所述给定人员的面部、躯干或其他方面相关联的空间位置。
应当理解，前述概念与下面更详细地讨论的额外概念的所有组合(假设这样的概念并不相互矛盾)被认为是本文公开的主题的部分。特别地，出现在本公开内容的结尾处的要求保护的主题的所有组合被认为是本文公开的主题的部分。还应当理解，本文明确采用的，也可能出现在通过引用而并入的任何公开内容中的术语应被赋予与本文公开的特定概念最一致的含义。
附图说明
在附图中，贯穿不同的视图，相似的附图标记通常指代相同的部分。而且，附图并不一定是按比例绘制的，而是通常将重点放在说明本公开内容的原理上。
图1示意性地图示了根据各个实施例的用于使用所公开的技术来监测在数字图像中识别的患者的一般处理流程。
图2图示了根据各种实施方式的其中本公开内容的各个部件可以实施本公开内容的所选方面的示例环境。
图3描绘了根据各个实施例的其中可以实践所公开的技术的示例场景。
图4A描绘了根据各个实施例的在数字图像中识别人物的示例方法。
图4B和图4C图示了图4A中描绘的方法的各个方面。
图5示意性地描绘了根据各个实施例的可以如何利用机器学习在数字图像中识别人物的示例。
图6描绘了示例计算机系统的部件。
具体实施方式
图1示意性地图示了如何使用所公开的技术来监测患者。特别地，描绘了可能发生在预诊室区中(例如在(一个或多个)预诊室区102处)和/或鉴别分类站或鉴别分类台的操作和动作，这些操作和动作可以包括接待和/或登记。另外，描绘了可能发生在候诊室104中的操作和动作。在框106处，新患者例如在接待台(未示出)登记签到后可以进入和/或走进预诊室区102。
在框108处，可以登记新患者。登记可以例如包括收集关于患者的信息，例如，患者的姓名、年龄、性别、保险信息和看病原因。通常，但非排他性地，该信息可以由医学人员(例如，鉴别分类护士)手动输入到计算机中。在一些实施例中，可以例如通过与由鉴别分类护士操作的计算设备一体的相机，通过独立相机和/或通过生命体征采集相机(在这种情况下，登记时可以任选地采集至少一些生命体征)来采集患者的一幅或多幅参考图像。在许多情况下，鉴别分类护士还可以在框110处使用各种医学仪器来采集各种初始生命体征和/或生理参数。这些初始生命体征和/或生理参数可以包括但不限于血压、脉搏、血水平、SO2、光体积描记图(“PPG”)、呼吸速率、温度、肤色等。虽然未在图1中进行描绘，但是在一些实施例中，也可以在鉴别分类时收集其他信息，例如采集/更新患者的病史，确定患者的过敏情况，确定患者的药物使用情况等。
一旦登记了患者并且采集了患者的初始生命体征和/或生理参数，就可以在框112处将患者送到候诊室104。在一些实施例中，可以为患者分配所谓的“患者危重程度度量”，该患者危重程度度量可以是用于对患者疾病的严重程度进行分级的度量，并且在一些情况下可以指示对急诊室资源的预期需求。可以使用任何数量的常用指标和/或临床医生决策支持(“CDS”)算法来确定和/或分配患者危重程度度量，包括但不限于紧急情况严重程度指数(“ESI”)、中国台湾鉴别分类系统(“TTS”)、加拿大鉴别分类和危重程度级别(“CTAS”)等。例如，在一些实施例中，可以将患者的生命体征与系统数据库中存储的预定义生命体征阈值进行比较，或者与给定患者年龄、性别、体重等典型的已发布或已知的生命体征值进行比较，以确定患者的初始患者危重程度度量和/或患者在患者队列中的初始位置。在一些实施例中，关于患者的各种生理和其他信息可以被用作在训练模型(例如，回归模型、神经网络、深度学习网络等)、基于案例的推理算法或其他临床推理算法的输入，以导出一个或多个危重程度度量。在一些实施例中，用于导出危重程度度量的信息可以包括或甚至完全限于生命体征或可以由生命体征采集相机捕获的其他信息。在一些实施例中，用于导出危重程度度量的信息可以替代地或额外地包括诸如来自患者的先前电子病历(EMR)的信息、从患者鉴别分类中采集的信息、来自可穿戴设备或患者携带的其他传感器的信息、关于候诊室中的其他患者或人物的信息(例如，房间中的其他人的生命体征)、关于家庭成员或与患者相关联的其他人的信息(例如，家庭成员EMR)等的信息。
在框114处，可以例如使用一个或多个相机、传感器或来自医学人员的输入来确定患者已经离开候诊室。框114可以包括扫描当前在候诊室内的每个人员(例如作为寻找功能的部分，一旦患者处于要为其捕获生命体征的患者的队列的顶部时，该寻找功能就尝试定位患者，例如运行下面描述的框120，或者在房间中循环通过每个人员以捕获生命体征，作为下面描述的包括框118和120的循环的多次运行)并确定没有找到患者。在一些实施例中，系统可以一直等待，直到患者丢失了预定次数或者患者丢失经过了预定时间量，这时才认为患者已经离开候诊室而解释为暂时缺席(例如去洗手间或在鉴别分类室中与临床工作人员交谈)。例如，患者可能已经被送入急诊室，因为轮到他们去看医生了。或者，患者的状况可能会在等待期间有所好转，从而引起患者离开医院。或者，患者可能变得失去耐心而离开去其他地方寻求处理。无论什么原因，一旦确定患者已经离开候诊室达至少阈值时间量，就可以在框116处将患者视为已经离开而没有看医生，并且可以将该患者从系统中释放，例如将患者从输入已登记患者的队列中移除。
在框118处，可以选择候诊室104中的患者以进行监测。例如，在一些实施例中，可以搜索存储在框108-110处获得的登记信息的数据库，以选择具有最高患者危重程度度量的患者或具有最近未监测到的最高危重程度度量的患者，最高危重程度度量可以通过针对所有患者设置的时间阈值或者基于危重程度度量设置的时间阈值(例如负相关)来确定的。在其他实施例中，除了诸如等待时间、患者在候诊室(例如可以选择丢失的患者以进行更频繁的监测，从而在该患者反复不在时确定是否要将该患者释放)等措施之外或代替这些措施，可以将与候诊室中的多个患者相关联的登记信息例如按患者相应的患者危重程度度量在患者监测队列中进行排名。在其他实施例中，在对患者监测队列进行排名时，可以不考虑患者的危重程度度量，而仅考虑患者等待时间、患者在场等。
然而，对这样的患者监测队列进行排名，在一些实施例中，可以选择队列中的第一个患者作为接下来要监测的患者。不需要(虽然有可能)将患者监测队列存储在按患者危重程度度量排序的物理存储器位置的序列中。而是，在一些实施例中，经排名的患者监测队列可以仅包括与每个患者相关联的排名或优先级水平。换句话说，本文所述的“患者监测队列”可以指的是基于患者危重程度度量、等待时间等在逻辑上排名的“逻辑”队列，而不必是连续的存储器位置的序列。可以在框118处按照在患者监测队列中患者各自的排名顺序来选择患者以进行监测。
在框120处，在框118处选择的患者可以被定位在候诊室104中。在各个实施例中，可以操作(例如，平移、倾斜、变焦等)被部署在候诊室104中或附近的一个或多个生命体征采集相机(图1中未描绘，参见图2和图3)来采集候诊室104中的患者的一幅或多幅数字图像。可以对那些采集的数字图像进行分析以将患者的各种视觉特征与在框108处的登记期间捕获的一幅或多幅参考患者图像的视觉特征进行匹配。可以与患者图像的对应特征相匹配的患者的视觉特征包括但不限于面部、头发、衣服、躯干、配饰(例如，帽子、钱包、珠宝等)等。如将在下面更详细地描述的，各种技术可以应用于由一个或多个生命体征采集相机捕获的数字图像以定位选定的患者。这些技术可以包括边缘检测、轮廓检测、直方图、分割、解析、定位、(一个或多个)机器学习模型(例如，卷积神经网络)等。通过采用如下所述的这些技术(特别是关于使用除了面部特征以外的特征来识别患者)，在各个实施例中实现了以下技术优势：具有相对较大的FOV的生命体征采集相机可以在分辨率相对较低的数字图像中捕获场景。通过将各种视觉特征与在登记/鉴别分类时获得的前述参考图像的视觉特征进行比较，可以快速分析分辨率相对较低的数字图像以识别一个或多个患者。
在框122处，可以操作安装或以其他方式部署在候诊室104中或附近的一个或多个生命体征采集相机来执行对来自在框118处选择的患者或在框120处定位的患者的一个或多个更新的生命体征的不引人注意地(例如，非肺接触式)采集。这些生命体征采集相机可以被配置为采集来自患者的各种不同的生命体征和/或生理参数(而不与患者物理接触)，这些生命体征和/或生理参数包括但不限于血压、脉搏(或心率)、肤色、呼吸速率、PPG、SO2、温度、姿势、出汗等。在一些实施例中，可以装备生命体征采集相机以执行所谓的“非接触式方法”，从而从患者采集生命体征和/或提取生理信息，这些生命体征和/或生理信息可以用作医学图像设备。在美国专利申请公开US 20140192177 A1、US 20140139656 A1、US20140148663 A1、US 20140253709 A1、US 20140235976 A1和美国专利US 9125606 B2(通过引用将所有这些文献并入本文)中描述了这种相机的非限制性示例。
在框124处，可以基于在框122处采集的(一个或多个)更新的生命体征和/或生理参数的比较，例如通过(如下所述的)图2所示的一个或多个部件来确定先前采集的生命体征和/或生理参数(例如，在框110处采集的初始生命体征或通过生命体征采集相机采集的更新的生命体征/生理参数的先前迭代)来确定患者的状况是否已经改变。例如，可以确定在患者等待时患者的脉搏、呼吸速率、血压、SO2、PPG、温度等是增加还是减少。如果答案为是，则控制可以返回到框118，并且可以选择新患者(例如，具有下一最高患者危重程度度量的患者)，并且控制可以返回到框120。然而，如果框124的答案为否(即，患者的状况已经改变)，则控制可以进行到框126。在一些实施例中，患者的状况可以(至少部分)由用于确定监测顺序的相同危重程度度量来表示。
在框126处，可以(再次通过图2中的一个或多个部件)基于在框124处检测到的改变来确定是否批准医学警告。例如，可以确定一个或多个生命体征或患者危重程度度量的改变是否满足一个或多个阈值(例如血压升高是否超过对该特定患者来说安全的水平？)。如果答案为是，则控制可以进行到框128。在框128处，可以向例如值班护士或其他医学人员输出患者正在恶化的警报。然后，医学人员可以检查患者，以确定是否批准采取补救措施，例如立即让患者住院或者将患者送去看医生。在一些实施例中，控制然后可以返回到框118。然而，如果在框126处的答案为否，则在一些实施例中控制可以返回到框118。
图2描绘了根据各个实施例的可以用于实践所公开的技术的示例部件。医院信息系统240可以是在医院、医生办公室等中常见的类型。可以使用可以经由或可以不经由一个或多个计算机网络(未示出)连接的一个或多个计算系统来实施医院信息系统240。医院信息系统240可以包括登记模块242、鉴别分类模块244、释放模块246和警报模块248。可以使用硬件与软件的任何组合来实施模块242-248中的一个或多个或本文所述的任何其他模块或引擎，包括运行被存储在存储器中的指令的一个或多个微处理器。例如，登记模块242可以包括结合在处理器上运行的登记来实施本文描述的功能的登记指令，而鉴别分类模块244可以包括结合在同一处理器上运行的鉴别分类来实施本文描述的功能的鉴别分类指令。类似的基础硬件和软件可以用于实施本文描述的其他“模块”。
登记模块242可以被配置为接收例如作为来自值班护士的手动输入的新患者的登记信息。这可以例如包括患者的姓名、年龄、保险信息等。鉴别分类模块244可以被配置为接收例如作为来自值班护士或直接来自联网的医学仪器的手动输入的生命体征，例如，上述那些生理数据和/或其他生理数据，例如，体重、身高、患者的看病原因等。在各个实施例中，由鉴别分类系统244接收的生命体征和/或患者危重程度度量(例如，图2中的ESI)可以与由登记模块242接收的例如在与医院信息系统240相关联的一个或多个数据库(未示出)中的对应的患者信息相关联。
警报模块248可以被配置为接收指示各种事件(例如，患者恶化)的信息，并且作为响应而发出各种警报和/或警告。可以使用多种模态来输出这些警报和/或警告，包括但不限于(例如在医院人员可见的显示屏上的)视觉输出、对讲机通知、文本消息、电子邮件、音频警报、触觉警报、页面、弹出窗口、指示灯闪烁等。医院信息系统240的模块242-248可以例如经由一个或多个计算机网络(未示出)操作地耦合到医院信息系统接口250(图2中的“H.I.S.接口”)。
医院信息系统接口250可以用作传统的医院信息系统240与配置有本公开内容的选定方面的患者监测系统252之间的接口。在各个实施例中，医院信息系统接口250可以向例如患者监测系统252的其他模块发布关于患者的各种信息，例如，登记信息、患者危重程度度量(例如，ESI)、处方药物和/或已施用药物、患者是否已经被释放、各种警报/警告等。如下面将描述的，在一些实施例中，可以将这些发布内容提供给事件发布和订阅(“EPS”)模块270，EPS模块270然后可以将这些发布内容选择性地存储在数据库272中和/或将这些发布内容选择性地发布到患者监测系统252的其他模块。在一些实施例中，医院信息系统接口250可以额外地或替代地订阅由其他模块提供的一个或多个警告或发布内容。例如，医院信息系统接口250可以订阅来自恶化检测模块268的警告，例如使得医院信息系统接口250可以通知医院信息系统240的适当部件(例如，警报模块248)患者正在恶化。
患者监测系统252可以包括促进监测诸如候诊室104之类的区中的患者的各种部件，以确保以有利于患者的实际医学状况的方式为患者提供服务。患者监测系统252可以包括例如与一个或多个相机256接口连接的患者捕获模块254、患者队列模块258、患者识别模块260、动态校准模块262、面部/躯干采集模块264、生命体征测量模块266、恶化检测模块268、上述EPS模块270以及一个或多个数据库272、274。如上所述，可以使用硬件与软件的任何组合来实施模块250、254和258-270中的每个模块。并且，虽然这些模块被分别描绘，但是这并不意味着限制或暗示每个模块都是在单独的硬件项上实施的。例如，可以组合和/或省略一个或多个模块，并且可以在经由一个或多个计算机网络(未示出)操作地连接的一个或多个计算系统上实施一个或多个模块。所描绘的连接图2的各个部件的线可以表示这些部件可访问的通信通道。可以使用任何数量的联网或其他计算机通信技术(例如，一条或多条总线、以太网、Wi-Fi、蓝牙、Z-Wave、紫蜂、蜂窝通信等)来实施这些通信通道。
患者监测系统252还可以包括一个或多个生命体征采集相机276，该一个或多个生命体征采集相机276被配置为例如从距患者一定距离处采集患者的一个或多个生命体征和/或生理参数。上面描述了这种生命体征采集相机的示例。在各个实施例中，生命体征采集相机276可以是平移-倾斜-变焦(“PTZ”)相机，该PTZ相机能操作用于平移、倾斜和变焦，使得诸如候诊室104之类的区的不同部分被包含在该相机的FOV内。以这种方式，可以扫描被监测的区以定位不同的患者，使得可以不引人注意地采集更新的生命体征和/或生理参数。
患者捕获模块254可以从一个或多个相机256接收承载捕获的患者图像数据的一个或多个信号。例如，在一些实施例中，患者捕获模块254可以从相机256接收视频流。患者捕获模块254可以在视频流上执行图像处理(例如，面部检测、分割、形状检测以检测人的形态等)以检测患者何时存在，并且可以响应于该检测而捕获患者的参考数字图像。在一些实施例中，虽然不是必需的，但是可以以比视频流的各个帧更高的分辨率捕获参考数字图像。在一些实施例中，相机256可以是独立的相机，例如，网络摄像头、PTZ相机(例如，276)等，相机256被部署在(一个或多个)预诊室区102中或附近。相机256捕获的一幅或多幅图像此后可以用作与患者相关联的参考数字图像，并且稍后用于识别正被监测区中的患者。
患者队列模块258可以被配置为建立和/或维护例如数据库中的正被监测区中的患者的优先级队列。在各个实施例中，可以通过各种参数对队列进行排序。在一些实施例中，可以按照患者危重程度度量的顺序(即，按照优先级)对队列中的患者进行排名。例如，最为危急的患者可以被置于队列的前面，而不太危急的患者可以被置于队列的末端，反之亦然。在一些实施例中，可以按照队列的顺序从在正被监测的区(例如，候诊室104)中等待的患者采集更新的生命体征。在其他实施例中，可以以FIFO或循环顺序从患者采集更新的生命体征。在其他实施例中，可以按照与被编程到生命体征采集相机276中的预定扫描轨迹相对应的顺序从患者采集更新的生命体征(例如按顺序扫描每排椅子)。
患者识别模块260可以被配置有本公开内容的选定方面，以结合由患者捕获模块254捕获的一个或多个参考患者图像来使用由生命体征采集相机276(或另一未被配置为不引人注意地采集生命体征的相机)捕获的一幅或多幅数字图像，以在正被监测的区(例如，候诊室104)中定位一个或多个患者。患者识别模块260可以使用各种图像处理技术来分析采集的数字图像，以使用患者的各种视觉特征来识别患者。这些可以用于识别患者的视觉特征可以包括但不限于面部特征(例如，面部定位)和非面部特征(例如，衣服、头发、姿势、配饰等)。如下所述，图4描绘了一种用于使用数字图像的视觉特征来识别患者的示例方法。也如下所述，图5示意性地描绘了一种用于使用数字图像的视觉特征来识别患者的示例计算技术。
在一些实施例中，患者识别模块260可以在正被监测的区中搜索特定患者以获得更新的生命体征。例如，患者识别模块260可以搜索由患者队列模块258选择的针对患者的正被监测的区，该患者可以是例如队列中具有最高患者危重程度度量的患者。在一些实施例中，患者识别模块260可以使(一个或多个)生命体征采集相机276扫描正被监测的区(例如，候诊室104)，直到识别出所选择的患者为止。
动态校准模块262可以被配置为跟踪(一个或多个)生命体征采集相机276的使用情况并根据需要对该相机276进行校准。例如，动态校准模块262可以确保每当用指令命令生命体征采集相机276指向特定的PTZ位置时，生命体征采集相机276总是指向相同的地方。PTZ相机可以处于恒定运动状态，或者可以至少处于频繁运动的状态。因此，PTZ相机的机械部件可能会磨损。较小的机械误差/偏差可能会累积并且引起生命体征采集相机276随时间对给定的PTZ命令做出不同的响应。动态校准模块262可以例如通过偶尔运行校准例程来校正该误差/偏差，在该校准例程中可以使用界标(例如，标记，例如，墙上的小贴纸)来训练将使生命体征采集相机276正确做出响应的校正机构。
一旦由患者识别模块260识别出由患者队列模块258识别出的患者，面部/躯干采集模块264就可以被配置为平移、倾斜和/或变焦一个或多个生命体征采集相机276，使得相机276的视场捕获期望的患者部分。例如，在一些实施例中，面部/躯干采集模块264可以平移、倾斜或变焦生命体征采集相机276，使得相机276被聚焦在患者的面部和/或躯干上。额外地或替代地，面部/躯干采集模块264可以平移、倾斜或变焦一个生命体征采集相机276以捕获患者的面部，并且可以平移、倾斜或变焦另一相机以捕获患者的躯干。然后可以采集各种生命体征和/或生理参数。例如，可以例如由生命体征测量模块266通过对由(一个或多个)生命体征信号采集相机276捕获的患者面部的图像/视频执行图像处理来获得诸如患者脉搏、SpO2、呼吸速率和血压之类的生命体征。可以例如由生命体征测量模块266通过对由(一个或多个)生命体征采集相机276捕获的患者躯干的图像/视频图像执行图像处理来获得诸如患者的呼吸速率、总体姿势(其可以指示疼痛和/或受伤)等的生命体征和/或生理参数。当然，面部和躯干只是身体部分的可以对其进行检查以获得生命体征的两个示例，而并不是要进行限制。
恶化检测模块268可以被配置为分析一个或多个信号以确定登记的患者的状况是否正在恶化、改善和/或保持稳定。在一些实施例中，患者状况可以至少部分由与上述用于确定要监测的患者的顺序的措施相同的患者危重程度度量来表示。正因如此，恶化检测模块268可以包括一个或多个CDS、基于案例的推理或本文所述的其他临床推理算法或用于评估除了本文所述的危重程度度量以外的患者状况度量的其他临床推理算法(例如，经训练的逻辑回归模型或其他机器学习模型)。在一些实施例中，可以不时地通过例如为选定的机器学习模块写入新的训练权重(例如，θ值)或提供供处理器运行的(例如以Java归档、JAR、文件或编译的库的形式出现的)新指令来更新由恶化检测模块268采用的用于评估患者危重程度度量或患者状况的其他度量的算法。这些信号可以包括(例如在图1的框108-110处获得的)例如患者的初始生命体征和其他生理信息、由生命体征测量模块266获得的更新的生命体征、(例如在登记期间计算出的)患者的初始患者危重程度度量和/或(例如基于从生命体征测量模块266接收到的更新的生命体征和/或生理参数计算出的)患者的更新的患者危重程度度量。基于使用这些信号做出的确定，恶化检测模块268可以向各个其他模块发送要采取各种动作的各种警告。例如，恶化检测模块268可以例如通过将警告发送到EPS模块270而使得EPS模块能够将警告发布到订阅的模块(例如，医院信息系统240的警报模块248)来发布警告。在一些实施例中，这样的警告可以包括例如患者的姓名(或更一般地，患者识别符)、图片、在候诊室中最后检测到患者的位置、基线生命体征、一个或多个更新的生命体征和/或患者危重程度度量的指示。在接收到警告后，警报模块248可以向医学人员发出关于患者状况恶化以及在候诊室中最后检测到患者的位置的警告或警报。
EPS模块270可以是被配置为分发由图2的各种其他部件释放的事件的通用通信集线器。在一些实施例中，图2中描绘的所有其他模块或至少一些其他模块可以生成指示来自该模块的某种形式的结果/确定/计算/决定的事件。这些事件可以被发送或“发布”到EPS模块270。图2中描绘的所有其他模块或一些其他模块可以选择从任何其他模块接收或“订阅”任何事件。当EPS模块270接收到事件时，EPS模块270可以将指示该事件的数据发送给(例如将该事件转发给)已经订阅该事件的所有模块。
在一些实施例中，EPS模块270可以与一个或多个数据库(例如，数据库272和/或档案库274(其可以是任选的))通信。在一些实施例中，EPS模块270可以接受来自任何模块的远程流程调用(“RPC”)，以提供对被存储在一个或多个数据库272和/或274中的信息的访问和/或将从数据库272和/或274接收到的信息(例如，警告)添加到其他模块。数据库272可以存储在由图2中的一个或多个其他模块发送/广播/发射的警告、发布内容或其他通信内容中包含的信息。在一些实施例中，数据库272可以存储例如与患者和/或(由生命体征采集相机276采集的)患者的初始生命体征、更新的生命体征和/或患者危重程度度量相关联的参考图像。在一些实施例中，任选的档案库274可以将相同或相似的信息存储更长的时间段。
应当理解，可以利用各种硬件布置来实施患者监测系统252。例如，在一些实施例中，单个设备可以实施整个系统252(例如，单个服务器用于操作相机276以执行生命体征采集功能260-266并执行(一种或多种)生命体征分析和警告功能，包括恶化检测268和患者队列管理258)。在其他实施例中，多个独立设备可以形成系统252。例如，第一设备可以驱动生命体征采集相机276并实施功能260-266，而另外的(一个或多个)设备可以执行其余功能。在一些这样的实施例中，一个设备可以在候诊室本地，而另一设备可以是远程的(例如被实施为在地理上遥远的云计算架构中的虚拟机)。在一些实施例中，设备(例如包括处理器和存储器)可以被设置在生命体征采集相机276本身内，正因如此，相机276可能不仅仅是哑外围设备，而是可以执行生命体征功能260-266。在一些这样的实施例中，另一服务器可以向相机276提供指示(例如，识别符、完整记录或登记的面部图像)以请求返回生命体征以进行进一步处理。在一些这样的实施例中，可以在相机276上提供额外功能，例如，恶化检测268(或对其的预处理)和/或可以在相机276上执行患者队列模块258管理。在一些实施例中，相机276甚至可以实施HIS接口250或EPS 270。各种额外的布置将是显而易见的。
图3图示了其中可以实施所公开的技术来识别候诊室304中的患者378A-C以用于监测目的的示例场景。在该示例中，三个患者378A-C正在医院候诊室304中等待医学人员380来看病。两个相机376A、376B被安装在候诊室304的表面(例如，天花板、墙壁)上。两个相机376A、376B可以用于监测候诊室304中的患者378。可以通过基于初步患者状况分析对医学人员(未示出)进行鉴别分类来为患者378A-C分别分配患者危重程度度量。当患者378等待主治医生时，两个相机376A、376B可以捕获(一幅或多幅)数字图像，使用本文描述的技术对该(一幅或多幅)数字图像进行分析以识别被选择用于监测的患者。然后可以如上所述操作相同的视频相机(假设它们被配置为不引人注意地采集生命体征)或不同的相机来监测患者378，以例如检测患者恶化。在一些实施例中，响应于由患者监测系统(更具体地为恶化检测模块268)检测到患者已经恶化，医学人员可以更新与患者相关联的患者危重程度度量。在各个实施例中，当新患者进入候诊室304时，可以例如由患者监测系统252执行新一轮患者监测和优先级划分。每当新患者进入候诊室304时，患者队列可以例如由患者队列模块258自动更新。额外地或替代地，医学人员可以在鉴别分类之后手动更新患者队列以包括新到达的患者。
本文描述的技术不限于医院候诊室。在许多其他场景中也可以实施本文描述的技术以识别数字图像或视频中的人物。例如，所公开的技术还可以用于对机场、体育场和其他公共场所中的人群进行安全监控。在这种场景中，不是监测患者以确定患者的危重程度度量，而是出于其他目的(例如，风险评估或事后调查)而识别个人。本文描述的技术也可以适用于诸如健身环境(例如，健身房、疗养院)或其他监视场景中的场景。另外，本文所述的技术也可以用于识别离开而不看病的患者，而不要求患者的面部可见。
图4A以相对较高的水平示意性地描绘了一种用于使用非面部特征(例如，衣服、头发、配饰(例如，帽子、钱包、鞋子、珠宝等))以提高由患者识别模块260执行的患者识别的准确性的示例方法。在框402处，患者识别模块260可以经由生命体征采集相机276或另一相机采集例如捕获包含一个或多个人员的场景(例如，候诊室)的(例如来自视频流的)一幅或多幅数字图像。例如，图4B描绘了捕获坐在候诊室的椅子上的人员432的示例数字图像430。在框404处，患者识别模块260可以检测数字图像中的一个或多个人员。在一些实施例中，患者识别模块260可以使用面部检测和/或人员检测来识别一个或多个人员。
在框406处，患者识别模块260可以执行所谓的“超像素解析”。“超像素”可以是比矩形块更精确地与边缘对齐的图像块。在一些实施例中，超像素解析可以包括定位、分割和/或解析(例如，并行执行)以识别图像中包含例如非面部特征、人员面部、人员身体等候选感兴趣区域(“ROI”)。本文使用的“定位”可以指识别诸如识别感兴趣目标的位置的中心坐标和/或边界框(其能够是矩形、圆形或具有其他形状)之类的空间位置。本文使用的“分割”是指将一个或多个感兴趣目标(例如，衬衫、头发、配饰等)隔离成典型的(但不是排他形的)不规则形状(其在本文中也可以被称为“超像素”)。本文使用的“解析”是指利用描述的额外输出(例如，特征向量、格子衬衫)或经分割的感兴趣目标的“标签”(例如，帽子、红色衬衫、格子大衣、毛皮大衣等)进行分割。
患者识别模块260可以采用各种技术进行定位。在一些实施例中，患者识别模块260可以采用经过训练的Haar级联分类器来寻找类似Haar的特征，以定位诸如人员面部正面之类的目标，该目标可能被包含在(例如被界定在)结果得到的面部ROI中。另外，患者识别模块260可以定位相对较小的与衣服有关的ROI，可以保证该ROI仅包含能够随后用于颜色特征提取的衣服像素。也可以例如使用面部ROI作为参考来定位其他ROI，例如，人员ROI、背景ROI、躯干ROI、腿部ROI等。在图4B中分别在434、436和438处指示面部ROI、衣服ROI和人员ROI的示例。
在一些实施例中，患者识别模块260接下来可以分割和/或解析人员ROI(例如，图4B中的438)以识别由人员432佩戴的物品(例如，服装(例如，人员432穿的白衬衫和的黑裤子)、配饰和/或人员的头发)。在一些实施例中，患者识别模块260可以采用最大流图切割和/或利用期望最大化(“EM”)估计的高斯混合模型(“GMM”)。虽然一维单通道高斯可能足以提供标签概率，但是三维高斯可能会提供提高的标签概率。在一些实施例中，可以使用Sobel滤波器来确定数字图像的其他方面，例如，边缘、像素能够扩展到邻域的可能性等。在一些实施例中，可以基于在框406的操作期间确定的(例如每像素的或“逐像素”标签的)标签概率和边缘来创建中间超像素。然后，可以通过仅使用每个中间超像素的最大连接组成部分来生成最终的超像素。图4C描绘了超像素440的一个示例，该超像素440近似包围数字图像430的包含人员432所穿的白衬衫的部分。
在框408处，患者识别模块260可以从先前定位/分割/解析的ROI和/或超像素中的一个或多个中提取各种特征。例如，在一些实施例中，对于每个前景超像素(例如，捕获人员的一个方面的超像素，例如，包围人员的衬衫的超像素440)，患者识别模块260可以提取诸如色度-饱和度-纯度(“HSV”)颜色、二维颜色直方图(例如，LAB颜色空间)、超像素几何比率、超像素特征相似度、边缘、纹理和/或轮廓之类的特征。在一些实施例中，可以使用诸如定向梯度直方图(“HOG”)、加速鲁棒特征(“SURF”)、光流等的算法来提取轮廓和其他类似特征。作为开放源计算机视觉(“OpenCV”)库的部分，可以使用这些算法中的一种或多种算法。
然后，在框410处，可以使用在框408处提取的特征来将正被分析的数字图像430中描绘的人员与如上所述例如在登记期间采集的参考图像描绘的人员进行匹配。在一些实施例中，可以采用多标签分类器或相似度评分方法来确定被分析的数字图像430中的未知人员是否与参考数字图像中描绘的人员相匹配。
上面关于框404-406描述的特定操作仅仅是可以如何使用定位、分割和/或解析来生成一个或多个ROI和/或超像素的一个示例。在其他实施例中，患者识别模块260可以使用其他操作。例如，在一些实施例中，患者识别模块260可以首先对所采集的数字图像执行边缘检测。然后，患者识别模块260可以例如使用Voronoi分隔对数字图像执行细分，以识别种子区域或“小室”。然后，这些种子区域可以被(例如迭代地)侵蚀成超像素，并且可以基于相似度来成对地匹配这些超像素。最后，患者识别模块260可以执行背景检测和解析。然后，可以在方法400的框408处拾起操作。
在其他实施例中，可以采用被开发用于监控的其他深度学习技术来执行定位和语义分割。例如，在一些实施例中，可以使用例如在Luo等人的“Pedestrian Parsing viaDeep Decompositional Neural Network”(IEEE国际计算机视觉会议(ICCV)会议记录，2013年)中描绘的深度分解网络(“DDN”)。这种方法直接将低级视觉特征映射到身体部分的标签图，以便准确地检测和估计人物上的感兴趣区域(例如，面部、躯干和脚部)。DDN方法可以包括使用估计二元掩模以指示描绘的人员的哪个部分被遮挡(即，不可见)的遮挡估计层。补全层合成所描绘的人员的(一个或多个)被遮挡部分的特征，而分解层将经合成的特征变换成标签图。在感兴趣人员(例如，要被不引人注意地监测的患者)仅在生命体征采集相机的FOV中部分可见的情况下，该方法可以是有益的。一旦DDN生成了ROI和/或超像素，就可以提取特征并且可以如上面关于图4的框408-410所述来执行人员匹配。
图5示意性地描绘了根据各个实施例的可以如何使用深度学习来分析由相机(例如，276、376)采集的数字图像以将数字图像中描绘的人员与参考图像中描绘的人员进行匹配的另一非限制性示例。在图5中，可以将例如由生命体征采集相机采集的数字图像530用作在机器学习模型534上的输入。在该示例中，数字图像530描绘了一个人员432。然而，这并不意味着限制。在各个实施例中，数字图像530可以捕获包含要从中识别一个或多个特定人物的多个人员的场景。在图5中，机器学习模型534采取完全卷积神经网络模型的形式，但是这不是必需的。可以改用其他类型的深度学习神经网络，例如，递归神经网络、滑动窗口卷积神经网络以及其他卷积架构等。在图5中，该架构包括一系列描述上下文的收缩层和一个对称系列的用于准确定位的扩展层(也被称为“隐层”)。然而，在最上面的两层与最下面的两层之间描绘了椭圆以指示这种神经网络可以具有任意数量的隐层和其他架构。
在图5中，可以例如由图2的患者识别模块260将数字图像530应用为在机器学习模型534上的输入。在各种实施方式中，机器学习模型534可以包括单个神经网络，该单个神经网络(例如使用具有语义标示的像素的数字图像)被训练以联合执行多个任务。在一些实施例中，机器学习模型534可以被训练为执行非面部特征识别任务和与面部有关的识别任务。可以使用各种算法来训练模型，例如，批量或随机梯度下降，或者使用正规方程。在一些实施例中，非面部特征识别任务和与面部有关的识别任务共享一个或多个隐层(以及因此与其中包含的至少一些神经元相关联的权重)。因此，在一些实施例中，可以训练机器学习模型534以定位面部并同时(例如在使与每个任务相关联的独立成本函数最小化时)执行分割。共享的(一个或多个)隐层可以学习一组公共特征，这组公共特征可以提高每个任务的性能。
基于输入的数字图像530，可以例如由患者识别模块260在单个机器学习模型534上生成输出。在各个实施例中，输出可以包括指示人员532的非面部特征的第一数据和至少指示人员532的面部在数字图像530中相对于非面部特征的位置的第二数据。在各个实施例中，机器学习模型534可以与HOG描述符(定向梯度直方图)或卷积神经网络结合使用，HOG描述符或卷积神经网络执行类似的边界框任务以定位在数字图像中捕获的多个人物。
指示非面部特征的数据可以以多种形式出现。在一些实施例中，非面部特征可以包括衣服、头发、配饰(例如，钱包、珠宝、鞋类、智能电话、眼镜等)。因此，指示非面部特征的数据可以包括例如衣服的颜色、图案、样式(例如，T恤衫、裤子、短裤、上衣、背心、外套、毛衣等)、头发长度、头发颜色、头发部分或完全缺失(例如，秃头)、钱包样式、钱包颜色、钱包大小、珠宝颜色/大小/样式等。例如，在图5中，指示非面部特征的数据可以包括头发超像素546、衬衫超像素548和裤子超像素550(或从中提取)。指示面部特征的数据可以包括人员532的面部的定位。例如，在图5中，指示面部特征的数据包括包围人员532的面部的边界框542(其可以具有其他形状)。
在各个实施例中，可以例如由患者识别模块260使用上述的第一数据和第二数据来将所描绘的人员532与(例如如上所述在登记期间获得的)也描绘该人员的参考数字图像进行匹配。在一些实施例中，机器学习模型534的最终层中的每个神经元的输出(或“特征”或“激活”)可以用于确定数字图像530中描绘的人员532与参考数字图像中捕获的人员的另一描绘之间的相似度度量。例如，在一些实施例中，可以将(例如在登记期间捕获的)多幅参考图像用作机器学习模型534上的输入，以生成对应的参考输出(或激活或特征)。同样，捕获包含一个或多个潜在感兴趣的未知人员的场景(例如，由PTZ相机捕获的候诊室)的一幅或多幅数字图像也可以用作在机器学习模型534上的输入，以生成对应的输出。可以(例如将下游机器学习模型用于识别或相似度功能)将基于参考数字图像生成的参考输出与基于一幅或多幅当前数字图像生成的输出进行比较，以生成一个或多个相似度得分。对于给定的当前数字图像，最大相似度得分可以对应于描绘同一人员的参考数字图像。
作为示例，假设对于候诊室中的多个患者，在登记期间捕获了参考数字图像并且将参考图像用作在机器学习模型534上的输入，以生成与每幅参考数字图像相关联的参考输出(或“特征”或“激活”)。进一步假设图2的患者队列模块258选择“John Doe”作为下一个要由生命体征采集相机监测的患者。患者识别模块260可以例如以相对较宽的FOV且以相对较低的分辨率平移、倾斜和/或变焦在候诊室附近的相机(例如，生命体征采集相机276)以定位John Doe。当在FOV中捕获到候诊室患者时(因此采集到这些患者的当前数字图像)，当前数字图像可以用作在机器学习模型534上的输入。可以(例如使用机器学习模型(例如，神经网络))将所生成的输出(例如，“激活”、“特征”)与同参考数字图像相关联的参考输出进行比较以生成相似度得分。在一些实施例中，如果相似度得分满足某个阈值(例如，90％)，则可以确定当前数字图像中捕获的候诊室患者与参考图像中所描绘的患者相匹配。在其他实施例中，可以找到生成最大相似度得分的候诊室患者的匹配。
上述技术(特别是与深度学习和神经网络相关联的技术)可以提供各种技术优势。当在包含多个人物的场景(例如，有多个患者的候诊室)周围平移相机时，人物很可能没有看相机。相反，他们可能正在向下看，正在看书，正在操作智能手机等，其中任何一种情况都可能导致他们的面部被部分遮挡而不可见。如果孤立地使用常规面部识别，则给定人员的面部不可见的事实将使给定人员与参考图像的匹配变得困难甚至不可能。而且，可能需要相对较高的分辨率来执行常规面部识别。虽然常规的衣服识别本身可能对识别患者有用，但是通过分析面部定位(即使在低分辨率下也能够执行)与非面部特征分割的组合结果，可以以较高的准确度将不完全可见的给定人员匹配到参考图像。由于不用必须执行面部识别，因此该益处在识别没有看病就离开的患者时特别有用。此外，它使得能够并行识别数字图像中捕获的场景中包含的多个人物。并且即使在采用常规面部识别的情况下，也能够通过将面部识别分类器与本文所述的技术进行结合来提高面部识别分类器的准确性。
在一些实施例中，可以以各种方式尊重和/或保护个人隐私。例如，在一些实施例中，不是存储登记患者的完整参考数字图像，而是仅将参考数字图像应用于机器学习模型所生成的那些特征/激活/输出可以保留在存储器中以供以后比较。可能会(自动或通过请求)丢弃完整的数字图像。类似地，也可以在生成通过应用数字图像所生成的特征/激活/输出之后，丢弃捕获其中包含要识别的人员的场景的数字图像。因此，当试图识别人员时，可以仅保留和比较与相应的数字图像相关联的特征。这可以减轻某些人对他们的图像被保留的担心。
图6是示例计算机系统610的框图。计算机系统610通常包括至少一个处理器614，该至少一个处理器614经由总线子系统612与多个外围设备通信。本文使用的术语“处理器”将被理解为涵盖能够执行归因于本文描述的部件(例如，微处理器、FPGA、ASIC、其他类似设备及其组合)的各种功能的各种设备。这些外围设备可以包括数据保留子系统624，该数据保留子系统624包括例如存储器子系统625和文件存储子系统626、用户接口输出设备620、用户接口输入设备622以及网络接口子系统616。输入设备和输出设备允许用户与计算机系统610交互。网络接口子系统616提供到外部网络的接口并且被耦合到其他计算机系统中的对应的接口设备。
用户接口输入设备622可以包括键盘、指向设备(例如，鼠标、轨迹球、触摸板或图形输入板)、扫描仪、结合在显示器中的触摸屏、音频输入设备(例如，语音识别系统、麦克风)和/或其他类型的输入设备。一般而言，使用术语“输入设备”旨在包括将信息输入到计算机系统610中或通信网络上的所有可能类型的设备和方式。
用户接口输出设备620可以包括显示子系统、打印机、传真机或非视觉显示器(例如，音频输出设备)。显示子系统可以包括阴极射线管(CRT)、平板设备(例如，液晶显示器(LCD))、投影设备或其他用于创建可见图像的机构。显示子系统还可以例如经由音频输出设备来提供非视觉显示。一般而言，使用术语“输出设备”旨在包括将信息从计算机系统610输出到用户或另一机器或计算机系统的所有可能类型的设备和方式。
数据保留系统624存储提供本文描述的一些模块或所有模块的功能的程序和数据结构。例如，数据保留系统624可以包括执行方法400的选定方面和/或实施患者监测系统252的一个或多个部件(包括患者识别模块260)的逻辑单元。
这些软件模块通常由处理器614单独运行或者与其他处理器结合运行。在存储子系统中使用的存储器625可以包括许多存储器，包括用于在程序运行期间存储指令和数据的主随机存取存储器(RAM)630、用于存储固定指令的只读存储器(ROM)632，以及诸如指令/数据高速缓冲存储器之类的其他类型的存储器(其可以额外地或替代地与至少一个处理器614集成在一起)。文件存储子系统626能够为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光盘驱动器或可移动介质盒。实施某些实施方式的功能的模块可以由文件存储子系统626存储在数据保留系统624中，或者存储在(一个或多个)处理器614可访问的其他机器中。本文使用的术语“非瞬态计算机可读介质”将被理解为涵盖易失性存储器(例如，DRAM和SRAM)和非易失性存储器(例如，闪速存储器、磁性存储设备和光学存储设备)两者，但是排除瞬态信号。
总线子系统612提供了一种用于使计算机系统610的各个部件和子系统按照预期彼此通信的机制。虽然总线子系统612被示意性地示为单条总线，但是总线子系统的替代性实施方式可以使用多条总线。
计算机系统610可以有各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其他数据处理系统或计算设备。在一些实施例中，计算机系统610可以被实施在云计算环境内。由于计算机和网络具有不断改变的性质，因此对图6中描绘的计算机系统610的描述仅旨在作为特定示例来说明一些实施方式。计算机系统610的许多其他配置可以具有比图6中描绘的计算机系统更多或更少的部件。
虽然本文已经描述和说明了若干实施例，但是本领域普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个优点的各种其他单元和/或结构。这样的变化和/或修改中的每个变化和/或修改都被认为是在本文描述的发明实施例的范围内。更一般地，本领域技术人员将容易理解，本文描述的所有参数、尺寸、材料和配置均旨在是示例性的，并且实际参数、尺寸、材料和/或配置将取决于一个或多个使用本教导的具体应用。本领域技术人员将认识到或者能够使用不超过常规的实验手段来确定本文描述的具体发明实施例的许多等同物。因此，应当理解，前述实施例仅作为示例呈现，并且在权利要求及其等同物的范围内，实施例可以以不同于具体描述和要求保护的方式来实践。本公开内容的发明实施例涉及本文描述的每个单独的特征、系统、物品、材料、套件和/或方法。另外，如果这样的特征、系统、物品、材料、套件和/或方法并不相互矛盾，则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合能够被包括在本公开内容的范围内。
本文定义和使用的所有定义应当被理解为控制字典定义、通过引用并入的文献中的定义和/或定义术语的普通含义。
除非明确指出相反情况，否则本说明书和权利要求书中使用的词语“一”和“一个”应当被理解为表示“至少一个”。
本说明书和权利要求书中使用的短语“和/或”应当被理解为表示如此结合的元件中的“任一个或两个”，即，在某些情况下结合存在而在其他情况下分离存在的元件。用“和/或”列出的多个元件应当以相同的方式进行解释，即，如此结合的元件中的“一个或多个”元件。除了用“和/或”分句具体标识的元件之外，还可能任选地存在其他元件，无论是与具体标识的那些元件相关还是不相关都可以。因此，作为非限制性示例，在与诸如“包括”的开放式语言结合使用时，对“A和/或B”的引用能够在一个实施例中仅指代A(任选地包括除了B之外的元件)；而在另一实施例中仅指代B(任选地包括除了A之外的元件)；而在又一实施例中指代A和B两者(任选地包括其他元件)等。
本文在说明书和权利要求书中使用的“或”应当被理解为具有与上文所定义的“和/或”相同的含义。例如，在分隔列表中的项目时，“或”或“和/或”应当被解读为包含性的，即，包含至少一个，但也包含多个元件或元件列表的多于一个的元件以及(任选的)额外的未列出的项目。只有明确指示相反情况的术语(例如，“中的仅一个”或“中的恰好一个”或者在权利要求中使用的“由……组成”)将指代包括多个元件或元件列表中的恰好一个元件。一般而言，当在本文使用的术语“或”前面有排他性术语(例如，“任一个”、“中的一个”、“中的任一个”或“中的恰好一个”)时，术语“或”应当仅被解读为表示排他性替代方案(即，“一个或另一个但不是两者”)。当在权利要求中使用“基本上由……组成”时，术语“基本上由……组成”应当具有其在专利法领域中使用的普通含义。
本文在说明书和权利要求书中使用的引用一个或多个元件的列表的短语“至少一个”应当被理解为表示选自元件列表中的元件中的任何一个或多个元件中的至少一个元件，但不一定包括元件列表中具体列出的每个元件中的至少一个元件，并且不排除元件列表中元件的任何组合。该定义还允许除了在短语“至少一个”所指的元件列表中具体标识的元件之外的任选存在的元件，无论是与具体标识的那些元件相关还是不相关都可以。因此，作为非限制性示例，“A和B中的至少一个”(或等效地，“A或B中的至少一个”，或等效地，“A和/或B中的至少一个”)能够在一个实施例中指代至少一个A，任选地包括多于一个A，且不存在B(并且任选地包括除了B之外的元件)；而在另一实施例中指代至少一个B，任选地包括多于一个B，且不存在A(并且任选地包括除了A之外的元件)；而在又一实施例中指代至少一个A，任选地包括多于一个A以及至少一个B，任选地包括多于一个B(并且任选地包括其他元件)等。
还应当理解，除非明确指出相反情况，否则在本文要求保护的包括多于一个步骤或动作的任何方法中，该方法的步骤或动作的顺序不一定限于记载该方法的步骤或动作的顺序。
在权利要求以及上面的说明书中，所有过渡短语(例如，“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“持有”、“带有”等)应当被理解为开放式的，即，意指包括但不限于。只有过渡短语“由……组成”和“基本上由……组成”应当分别为闭合或半闭合过渡短语，如美国专利局专利审查程序手册第2111.03节所述。应当理解，根据专利合作条约(“PCT”)的规则6.2(b)在权利要求中使用的某些表达内容和附图标记并不限制范围。

Claims (16)

1.一种计算机实施的方法，包括：
通过一个或多个处理器采集(402)捕获包含一个或多个人物的场景的一幅或多幅数字图像(430、530)；
通过所述处理器中的一个或多个处理器将所述数字图像作为输入应用(406、408)于单个机器学习模型(534)，其中，所述单个机器学习模型被训练为执行非面部特征识别任务和与面部有关的识别任务；
通过所述处理器中的一个或多个处理器基于所述输入在所述单个机器学习模型上生成(408)输出，所述输出包括指示所述一个或多个人物的给定人员的非面部特征的第一数据和至少指示所述给定人员的面部在所述数字图像中相对于所述非面部特征的位置的第二数据；并且
通过所述处理器中的一个或多个处理器至少部分基于所述输出来识别(410)所述给定人员。
2.根据权利要求1所述的计算机实施的方法，其中，所述单个机器学习模型还被训练为促进并行执行定位、分割或解析。
3.根据权利要求1所述的计算机实施的方法，其中，所述机器学习模型包括卷积神经网络。
4.根据权利要求3所述的计算机实施的方法，其中，所述非面部特征识别任务和所述与面部有关的识别任务共享一个或多个隐层。
5.根据权利要求1所述的计算机实施的方法，其中，所述数字图像包括在采集描绘所述给定人员的参考数字图像之后采集的后续数字图像，并且所述识别包括将所述第一数据和所述第二数据同与所述参考数字图像相关联的第三数据进行比较。
6.根据权利要求5所述的计算机实施的方法，其中，所述第三数据包括通过将所述单个机器学习模型应用于所述参考数字图像而生成的输出。
7.根据权利要求1所述的计算机实施的方法，其中，所述场景包含多个人物，并且所述识别包括将所述第一数据和所述第二数据同与多幅参考数字图像相关联的额外数据进行比较，其中，所述多幅参考数字图像中的每幅参考数字图像描绘多个人物中的一个人物。
8.根据权利要求1所述的计算机实施的方法，其中，所述采集是使用生命体征采集相机(276、376)来执行的，并且所述方法还包括通过所述生命体征采集相机响应于所述识别而不引人注意地采集(122)来自所述给定人员的一个或多个生命体征。
9.根据权利要求1所述的计算机实施的方法，其中，所述给定人员的所述非面部特征包括以下各项中的一项或多项：所述给定人所穿的衣服、所述给定人员的头发或所述人员所佩戴的一个或多个配饰。
10.根据权利要求1所述的计算机实施的方法，其中，所述第一数据包括所述给定人员的所述非面部特征的逐像素的标签。
11.根据权利要求1所述的计算机实施的方法，其中，所述第二数据包括与所述给定人员的面部、躯干或其他方面相关联的空间位置。
12.一种系统，包括：
一个或多个处理器；
生命体征采集相机(276、376)，其能与所述一个或多个处理器操作地耦合；以及
存储器，其能与所述一个或多个处理器操作地耦合，其中，所述存储器存储指令，所述指令响应于由一个或多个处理器运行所述指令执行而令所述一个或多个处理器执行以下操作：
从多个登记患者中选择(118)要被监测的患者；
经由所述生命体征采集相机采集(402)至少包含所述多个登记患者的子集的场景的数字图像，其中，所述子集包括所述多个登记患者中的一个以上的登记患者；
基于所述数字图像来提取(408)所述子集中的每个患者的一个或多个非面部特征；
基于所述数字图像来提取(408)所述子集中的每个患者的一个或多个面部特征；
基于所提取的非面部特征和面部特征在所述数字图像中识别(120)所述要被监测的患者；并且
基于所述识别，经由所述生命体征采集相机不引人注意地采集(122)来自所述要被监测的患者的一个或多个更新的生命体征。
13.根据权利要求12所述的系统，其中，所述非面部特征是从所述数字图像的被识别为感兴趣衣服的区域中提取的。
14.根据权利要求12所述的系统，其中，所述非面部特征包括以下各项中的一项或多项：色度-饱和度-纯度(“HSV”)颜色、二维颜色直方图、纹理、光流、轮廓或从深度学习网络中提取的高级特征。
15.根据权利要求12所述的系统，还包括用于执行以下操作的指令：
将所述数字图像作为输入应用于单个机器学习模型(534)，其中，所述单个机器学习模型被训练为促进并行提取所述非面部特征和所述面部特征；并且
基于所述输入在所述单个机器学习模型上生成包括所提取的面部特征和非面部特征的输出。
16.根据权利要求12所述的系统，其中，所述子集的给定患者的所述一个或多个面部特征包括与所述给定患者的面部相关联的空间位置。
CN201880032011.4A 2017-04-14 2018-04-04 人员识别系统和方法 Pending CN110869938A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762485654P 2017-04-14 2017-04-14
US62/485,654 2017-04-14
PCT/EP2018/058516 WO2018188993A1 (en) 2017-04-14 2018-04-04 Person identification systems and methods

Publications (1)

Publication Number Publication Date
CN110869938A true CN110869938A (zh) 2020-03-06

Family

ID=61952681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880032011.4A Pending CN110869938A (zh) 2017-04-14 2018-04-04 人员识别系统和方法

Country Status (5)

Country Link
US (2) US11157726B2 (zh)
EP (1) EP3610410A1 (zh)
JP (1) JP7229174B2 (zh)
CN (1) CN110869938A (zh)
WO (1) WO2018188993A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766927A (zh) * 2021-01-28 2021-05-07 成都晨云信息技术有限责任公司 一种基于人脸识别技术的高校新生入学资格审查方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12089966B1 (en) * 2011-08-08 2024-09-17 Cerner Innovation, Inc. On-scene and pre-hospital risk evaluation (OSPRE)
KR20180092495A (ko) * 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
JP6762382B2 (ja) * 2017-06-06 2020-09-30 ミデア グループ カンパニー リミテッドＭｉｄｅａ Ｇｒｏｕｐ Ｃｏ．， Ｌｔｄ． ディープニューラルネットワークを用いた粗略から精細な手検出方法
US10452923B2 (en) 2017-11-28 2019-10-22 Visual Semantics, Inc. Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation
WO2019207721A1 (ja) 2018-04-26 2019-10-31 日本電気株式会社 情報処理装置、制御方法、及びプログラム
EP3803678A1 (en) * 2018-05-25 2021-04-14 Koninklijke Philips N.V. Person identification systems and methods
US11055539B2 (en) * 2018-09-27 2021-07-06 Ncr Corporation Image processing for distinguishing individuals in groups
WO2020103068A1 (en) 2018-11-22 2020-05-28 Polycom, Inc. Joint upper-body and face detection using multi-task cascaded convolutional networks
EP3884661A4 (en) * 2018-11-22 2022-07-27 Polycom, Inc. COMMON USE OF FACE, MOTION AND UPPER BODY DETECTION IN A GROUP FRAMING
BR112021011817A2 (pt) * 2018-12-27 2021-08-31 Nec Corporation Aparelho de processamento de informações, método de processamento de informações e programa
US11475246B2 (en) 2019-04-02 2022-10-18 Synthesis Ai, Inc. System and method for generating training data for computer vision systems based on image segmentation
US11134079B2 (en) * 2019-05-21 2021-09-28 International Business Machines Corporation Cognitive behavioral and environmental access
CN110223279B (zh) * 2019-05-31 2021-10-08 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备
EP3808269A1 (en) 2019-10-15 2021-04-21 Koninklijke Philips N.V. Device, method and system for determining a vital sign of a subject
CN113033263B (zh) * 2019-12-24 2024-06-11 深圳云天励飞技术有限公司 一种人脸图像年龄特征识别方法
KR20210093072A (ko) * 2020-01-17 2021-07-27 엘지전자 주식회사 Personal roi를 활용한 프로파일링
US11783587B2 (en) * 2020-03-04 2023-10-10 Nec Corporation Deep learning tattoo match system based
WO2021190756A1 (en) * 2020-03-26 2021-09-30 Brainlab Ag Determining image similarity by analysing registrations
TWI759731B (zh) * 2020-04-27 2022-04-01 淡江大學 機器學習方法
JP7510800B2 (ja) 2020-07-01 2024-07-04 東芝テック株式会社 認証装置
CN112699810B (zh) * 2020-12-31 2024-04-09 中国电子科技集团公司信息科学研究院 一种提升室内监控系统人物识别精度的方法及装置
CN112949531A (zh) * 2021-03-15 2021-06-11 哈尔滨理工大学 一种基于图像处理与机器学习的颈部姿态识别方法
EP4240004A4 (en) * 2021-05-12 2024-06-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR CAPTURING AN IMAGE BY AN ELECTRONIC DEVICE
JP2023034419A (ja) * 2021-08-31 2023-03-13 キヤノン株式会社 システム、推定サーバ、それらの制御方法およびプログラム
CN114510346B (zh) * 2021-12-28 2024-10-22 浙江大华技术股份有限公司 人脸识别控制方法、装置、计算机设备和存储介质
CN114973305B (zh) * 2021-12-30 2023-03-28 昆明理工大学 一种针对拥挤人群的精确人体解析方法
CN114343612B (zh) * 2022-03-10 2022-05-24 中国科学院自动化研究所 基于Transformer的非接触式呼吸率测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400106A (zh) * 2012-06-22 2013-11-20 微软公司 用基于深度的跟踪来生成和更新数据库的自学习面部识别
CN105631403A (zh) * 2015-12-17 2016-06-01 小米科技有限责任公司 人脸识别方法及装置
US20160217260A1 (en) * 2015-01-22 2016-07-28 Koninklijke Philips N.V. System, method and computer program product for patient triage

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
JP5008269B2 (ja) 2005-04-08 2012-08-22 キヤノン株式会社 情報処理装置、情報処理方法
US20070237364A1 (en) 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
US8582807B2 (en) 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
US8379920B2 (en) 2010-05-05 2013-02-19 Nec Laboratories America, Inc. Real-time clothing recognition in surveillance videos
WO2011152844A1 (en) 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
JP6108486B2 (ja) 2011-08-01 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生体の測定読み出しを得る及び処理するデバイス及び方法
US9996917B2 (en) * 2011-08-22 2018-06-12 Koninklijke Philips N.V. Data administration system and method
US10521900B2 (en) 2011-09-02 2019-12-31 Koninklijke Philips N.V. Camera for generating a biometrical signal of a living being
US9778079B1 (en) * 2011-10-27 2017-10-03 Masimo Corporation Physiological monitor gauge panel
US20160171167A9 (en) * 2012-07-02 2016-06-16 Physio-Control, Inc. Clinical dashboard for medical device
RU2653799C2 (ru) 2012-11-23 2018-05-14 Конинклейке Филипс Н.В. Устройство и способ для извлечения физиологической информации
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
MX2015011368A (es) 2013-03-06 2015-12-16 Koninkl Philips Nv Sistema y metodo para determinar informacion de signos vitales.
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US20210361225A1 (en) * 2016-06-06 2021-11-25 University Of Massachusetts Systems and methods for prevention of pressure ulcers
US10163042B2 (en) * 2016-08-02 2018-12-25 International Business Machines Corporation Finding missing persons by learning features for person attribute classification based on deep learning
EP3549063A4 (en) * 2016-12-05 2020-06-24 Avigilon Corporation APPEARANCE SEARCH SYSTEM AND METHOD
CA3046035A1 (en) * 2016-12-05 2018-06-14 Avigilon Coporation System and method for cnn layer sharing
US20230179955A1 (en) * 2016-12-15 2023-06-08 Conquer Your Addiction Llc Dynamic and adaptive systems and methods for rewarding and/or disincentivizing behaviors
US11636941B2 (en) * 2016-12-15 2023-04-25 Conquer Your Addiction Llc Dynamic and adaptive systems and methods for rewarding and/or disincentivizing behaviors
US10528799B2 (en) * 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
US20190272725A1 (en) * 2017-02-15 2019-09-05 New Sun Technologies, Inc. Pharmacovigilance systems and methods
US10366595B2 (en) * 2017-03-10 2019-07-30 Turing Video, Inc. Surveillance method and system based on human behavior recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400106A (zh) * 2012-06-22 2013-11-20 微软公司 用基于深度的跟踪来生成和更新数据库的自学习面部识别
US20160217260A1 (en) * 2015-01-22 2016-07-28 Koninklijke Philips N.V. System, method and computer program product for patient triage
CN105631403A (zh) * 2015-12-17 2016-06-01 小米科技有限责任公司 人脸识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL: "Mask R-CNN", 《ARXIV:1703.06870V1》 *
PING LUO ET AL: "Pedestrian Parsing via Deep Decompositional Network", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
孙育霖: "智能视频监控中行人检测及外貌特征分析关键技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766927A (zh) * 2021-01-28 2021-05-07 成都晨云信息技术有限责任公司 一种基于人脸识别技术的高校新生入学资格审查方法
CN112766927B (zh) * 2021-01-28 2023-06-20 成都晨云信息技术有限责任公司 一种基于人脸识别技术的高校新生入学资格审查方法

Also Published As

Publication number Publication date
JP2020518894A (ja) 2020-06-25
US20220036055A1 (en) 2022-02-03
EP3610410A1 (en) 2020-02-19
US20180300540A1 (en) 2018-10-18
JP7229174B2 (ja) 2023-02-27
US11157726B2 (en) 2021-10-26
WO2018188993A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
US20220036055A1 (en) Person identification systems and methods
US11232287B2 (en) Camera and image calibration for subject identification
US10832035B2 (en) Subject identification systems and methods
CN111344715B (zh) 对象识别系统和方法
JP7299923B2 (ja) 個人識別システムおよび方法
US10614289B2 (en) Facial tracking with classifiers
US10997397B2 (en) Patient identification systems and methods
TW201222292A (en) Facilitating people search in video surveillance
García-García et al. Automated location of orofacial landmarks to characterize airway morphology in anaesthesia via deep convolutional neural networks
Hsu et al. Extraction of visual facial features for health management
Wang et al. Framework for facial recognition and reconstruction for enhanced security and surveillance monitoring using 3D computer vision
Manzoor et al. A health detection model based on facial data
Jalil et al. Utilizing Time-Distributed Layers to Estimate Vital Parameter from Video Sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination