[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020533702A - 対象者識別システム及び方法 - Google Patents

対象者識別システム及び方法 Download PDF

Info

Publication number
JP2020533702A
JP2020533702A JP2020514730A JP2020514730A JP2020533702A JP 2020533702 A JP2020533702 A JP 2020533702A JP 2020514730 A JP2020514730 A JP 2020514730A JP 2020514730 A JP2020514730 A JP 2020514730A JP 2020533702 A JP2020533702 A JP 2020533702A
Authority
JP
Japan
Prior art keywords
subject
patient
camera
template
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020514730A
Other languages
English (en)
Inventor
ハーイボー ワン
ハーイボー ワン
ゾン コルネリス コンラドゥス アドリアヌス マリア ファン
ゾン コルネリス コンラドゥス アドリアヌス マリア ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020533702A publication Critical patent/JP2020533702A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

開示されている技術は、デジタル画像において対象者を識別することに関連する。様々な実施形態において、第１のカメラ２７６、３７６、４７６、９７６は、エリアにおける対象者を写し出したデジタル画像４２０を獲得する（１００２）。対象者の顔を写し出したデジタル画像の一部が、検出された顔画像として検出される（１００４）。検出された顔画像の特徴は、対象者参照データベース４１２における対象者に関連した対象者参照テンプレートの特徴と比較される（１００６）。対象者参照データベースは、複数人の対象者に関連した、及び、第２のカメラ２５６、４５６から受信されたデータに基づいて生成された対象者参照テンプレートを記憶する。比較することに基づいて、対象者の識別情報が特定され（１０１４）、検出された顔画像の特徴が、例えば、後の使用のための補助テンプレート特徴ベクトルとして、対象者に関連した対象者参照データベースに記憶される（１０１６）。

Description

[0001] 本開示は概して、限定するわけではないが、（デジタル画像のストリームを含む）デジタル画像における人を識別することに関する。より具体的には、限定するわけではないが、本明細書に開示されている様々な方法及び装置は、デジタル画像（又はデジタル画像のストリーム）における人を、それらの人が病院の待合室などのエリアにおいて位置特定され得るように、識別することに関連する。
[0002] 人を含むシーンを捕捉したデジタル画像に基づいて、人（又は「対象者」）を自動的に識別することが望ましいものである多くのシナリオが存在する。例えば、患者が病院を訪れるとき、患者は、典型的には登録され、トリアージされ、次に、患者を検査及び／又は処置するために医師などの病院リソースが利用可能になるのを待つための待合室などのエリアに送られる。個々の患者を自動的に識別することができることは、患者が医療リソースの割当てを待つ間に（例えば悪化について）患者の症状を監視し続けることに役立つ。それは、患者が診察を受けずに去った（ＬＷＢＳ）か否か／いつ去ったかを判定するためにも役立つ。デジタル画像に基づいて人を自動的に識別することは、例えば空港、鉄道の駅、国境検問所、ジム及びフィットネスセンター、様々なビジネスなどの様々な他のコンテキストにおいても有用である。
[0003] いくつかの状況において、複数人の対象者を含むデジタル画像における個々の対象者を識別することが所望される。例えば、待合室においてカメラにより捕捉されたデジタル画像は、待っている患者に加えて、例えば患者とともに待つ友人、親類などの他の人を写し出す可能性がある。顔検出技術は、デジタル画像におけるすべての顔を検出するが、それは、どの顔が患者に属するか、及び、どれが他者に属するかについて明確ではない場合がある。さらに、待合室などの監視されるエリアにおける対象者がカメラを見ない可能性がある。代わりに、対象者は、対象者の電話、雑誌、お互いなどを見る場合がある。したがって、写し出された顔が検出された場合でも、対象者の生の状態において写し出された検出された顔は、登録時に、例えば、対象者がカメラを直接見得るときに獲得された取り込み画像におけるものとは大幅異なるように見受けられる。加えて、エリアにおける光の状態は、時間とともに（例えば日中と夜間との間で）、及び／又は、物理的空間にわたって変動する。
[0004] 本開示は、獲得されたデジタル画像に写し出された人を自動的に識別するための方法、システム、及び装置に関する。非限定的な一例として、複数のトリアージされた患者は、患者が救急医療医師により診察可能になるまで、待合室において待つ。患者は、例えば、トリアージ看護師により患者から取得／獲得された情報、及び、他のデータ点、例えば患者の待ち時間、患者の存在などに基づいて決定された各患者に関連した重症度の尺度（本明細書において「患者重症度尺度」と呼ばれる）に基づいて順序付けられた、又はランク付けされた患者監視キュー（単に「患者キュー」とも呼ばれる）に含められる。待合室に搭載された１つ又は複数の「生命兆候獲得カメラ」は、各患者からのもう１つの更新された生命兆候及び／又は生理学的パラメータの非接触の、及び／又は目立たない獲得を定期的に実施するように構成される。これらの更新された生命兆候及び／又は生理学的パラメータとして、体温、脈拍数、酸素飽和度（「ＳｐＯ２」）、呼吸速度、姿勢、汗などが挙げられるが、これらに限定されない。
[0005] 特定の患者であって、生命兆候獲得カメラがその特定の患者から更新された生命兆候を獲得しなければならない、その特定の患者を識別するために、本明細書において説明される技術が、「登録された」対象者−例えば、登録された、及び／又はトリアージされた患者−を、１つ又は複数のカメラにより獲得された１つ又は複数のデジタル画像において捕捉されたシーンに写し出された「検出された」対象者と照合するために使用される。より包括的には、本明細書において説明される技術は、例えば、（本明細書において「登録された対象者」と呼ばれる）監視される対象者の各々に関連した、対象者参照テンプレート及び対応するテンプレート特徴ベクトルを収集すること、及び、後から捕捉されたデジタル画像において対象者を識別するために、それらの対象者参照テンプレート及び／又は対応するテンプレート特徴ベクトルを後で使用することによりデジタル画像（例えば、単一の画像及び／又はデジタル画像のストリーム、例えば、ビデオフィード）に写し出された対象者を識別する、様々なコンテキストにおいて実施される。
[0006] 概して、一態様において、方法は、エリアにおける対象者を写し出した１つ又は複数のデジタル画像を、第１のカメラを使用して獲得することと、対象者の顔を写し出した１つ又は複数のデジタル画像の１つ又は複数の部分を、対象者に関連した１つ又は複数の検出された顔画像として検出することと、１つ又は複数の検出された顔画像の特徴を、対象者参照データベースにおける１人又は複数人の対象者に関連した対象者参照テンプレートの特徴と比較することであって、対象者参照データベースが、複数人の対象者に関連した対象者参照テンプレートを記憶し、対象者参照データベースに記憶された対象者参照テンプレートが、第２のカメラから受信されたデータに基づいて生成される、比較することと、比較することに基づいて、対象者の識別情報を特定することと、後の使用のための補助テンプレート特徴ベクトルとして対象者に関連して対象者参照データベースに１つ又は複数の検出された顔画像の特徴を記憶することとを有する。
[0007] 様々な実施形態において、比較することは、１つ又は複数の対応する顔特徴ベクトルを生成するために、１つ又は複数の検出された顔画像をニューラルネットワーク間の入力として適用することと、複数の対応するテンプレート特徴ベクトルを生成するために、対象者参照テンプレートのうちの少なくともいくつかをニューラルネットワーク間の入力として適用することとを有する。様々な実施形態において、ニューラルネットワークは、畳み込みニューラルネットワークの形態をとる。
[0008] 様々な実施形態において、第２のカメラは、登録又はトリアージエリアなどに位置する。様々な実施形態において、第１のカメラは、待合室又は一般病棟に位置する。様々な実施形態において、本方法は、エリアにおける第２の対象者を写し出した１つ又は複数の後続のデジタル画像を、第１のカメラを使用して獲得することと、第２の対象者の顔を写し出した１つ又は複数の後続のデジタル画像の１つ又は複数の部分を、第２の対象者に関連した１つ又は複数の検出された顔画像として検出することと、第２の対象者に関連した１つ又は複数の検出された顔画像の特徴を、対象者参照データベースにおける１人又は複数人の対象者に関連した補助対象者参照テンプレートの特徴と比較することであって、補助対象者参照テンプレートが、第２の対象者の識別情報を特定するために、第１のカメラにより捕捉されたデジタル画像に基づいて生成される、比較することとをさらに有する。
[0009] 様々な実施形態において、補助テンプレート特徴ベクトルは、対象者に関連した既存のテンプレート特徴ベクトルに取って代わる。様々な実施形態において、比較することは、検出された顔画像のうちの１つ又は複数から生成された顔特徴ベクトルと、対象者参照データベースにおける第１の対象者に関連した第１の対象者参照テンプレートから生成された第１のテンプレート特徴ベクトルとの間の第１の距離を特定することと、顔特徴ベクトルと、対象者参照データベースにおける第２の対象者に関連した対象者参照テンプレートから生成された第２のテンプレート特徴ベクトルとの間の第２の距離を特定することとを有する。様々な実施形態において、記憶することは、第１の距離と第２の距離との間の関係に基づく。
[0010] 前述の概念及び以下でさらに詳細に説明される追加的な概念のすべての組合せは（このような概念が相互に矛盾しないことを条件として）、本明細書において開示されている主題の一部であると想定されることが理解されなければならない。特に、本開示の末尾に記載されている請求項に記載された主題のすべての組合せが、本明細書において開示されている主題の一部であると想定される。参照により組み込まれる任意の開示にも現れる本明細書において明示的に使用される用語は、本明細書において開示されている特定の概念に最も整合する意味が与えられなければならないことも理解されなければならない。
[0011] 図面において、同様の参照符号は全体を通して、異なる図面にわたって同じ部分を表す。さらに、図は一定の縮尺とは限らず、代わりに全体を通して本開示の原理を示すことに重点が置かれている。
[0012] 様々な実施形態による、開示される技術を使用してデジタル画像において識別された患者を監視するための概括的な工程フローを概略的に示す図である。 [0013] 様々な実施態様による、本開示の様々なコンポーネントが本開示の選択された態様を実施する例示的な環境を示す図である。 [0014] 様々な実施形態による、開示される技術が実施される例示的なシナリオを示す図である。 [0015] 本開示の様々な態様を実施するための例示的なコンポーネント及び動作を示す図である。 [0016] 様々な実施形態による、対象者参照テンプレート及び対応するテンプレート特徴ベクトルが取り込みデジタル画像からどのように生成されるかについての例を示す図である。 [0017] 様々な実施形態による、対象者がカメラの視野に入ること、及び／又は、カメラの視野から去ることがどのように検出されるかについての例を示す図である。 [0018] 様々な実施形態による、検出された顔画像が例えば前を向くようにどのように正規化されるかについての一例を示す図である。 [0019] 様々な実施形態による、対象者参照テンプレートが取り込みデジタル画像からどのように選択されるかについての例を図５よりさらに詳細に示す図である。 [0020] 様々な実施形態による、監視されるエリアにおいて対象者がどのように識別されるかについての一例を示す図である。 [0021] 様々な実施形態による、本開示の選択された態様を実施する例示的な方法を示す図である。 [0022] 例示的なコンピュータシステムのコンポーネントを示す図である。
[0023] 図１は、概して、開示されている技術を使用して患者がどのように監視されるかについて概略的に示す。特に、受付及び／又は登録及び／又はトリアージステーション又はブースを含む事前待合室エリアにおいて、例えば事前待合室エリア１０２において発生する動作及びアクションが示される。加えて、待合室１０４において発生する動作及びアクションが示される。図１のシーケンスは限定することを意味しておらず、他のシーケンスが可能であることが理解されなければならない。
[0024] ブロック１０６において、新しい患者が例えば受付カウンター（図示されていない）における確認後に事前待合室エリア１０２に入り、及び／又は近づく。ブロック１０８において、新しい患者が登録される。登録は、例えば、患者に関する情報、例えば、患者の名前、年齢、性別、保険情報、及び来院の理由を収集することを有する。典型的には、限定するわけではないが、この情報は、医療関係者、例えば、受付係又は登録係によりコンピュータに手動で入力される。いくつかの実施形態において、患者の１つ又は複数の参照デジタル画像が、例えば、トリアージ看護師により操作されるコンピューティングデバイスに統合されたカメラにより、独立型カメラにより、及び／又は、生命兆候獲得カメラにより獲得される（この場合、少なくともいくつかの生命兆候が登録時に任意選択的に獲得される）。以下でより詳細に説明されるように、いくつかの実施形態において、ブロック１０８において登録中にカメラにより獲得されたデジタル画像は、「取り込みデジタル画像」と呼ばれる。これらの取り込みデジタル画像の部分集合−及びいくつかの場合において、例えば顔を写し出したこれらの画像の選択されたサブ部分−は、待合室１０４などのエリアにおける患者（又は、より概括的には「対象者」）を識別するために後で使用され得る「対象者参照テンプレート」として選択的に保持される。
[0025] 多くの例において、トリアージ看護師はさらに、ブロック１１０において、様々な医療器具を使用して、様々な初期生命兆候及び／又は生理学的パラメータを獲得する。これらの初期生命兆候及び／又は生理学的パラメータとして、血圧、脈、グルコースレベル、ＳｐＯ２、フォトプレチスモグラム（「ＰＰＧ」）、呼吸速度（例えばブリージングレート）、体温、皮膚色などが挙げられるが、これらに限定されない。図１に示されていないが、いくつかの実施形態において、他の情報が、同様にトリアージにおいて集められ、例えば、患者の病歴を獲得／更新すること、患者のアレルギーを特定すること、患者の薬剤の使用を特定することなどが行われる。いくつかの実施形態において、患者は、患者の病気の重症度をランク付けするために使用される尺度である、及び、いくつかの場合において、救急治療室リソースの予測される必要性を示す、いわゆる「患者重症度尺度」を割り当てられる。救急重症度指数（「ＥＳＩ」）、台湾トリアージシステム（「ＴＴＳ」）、カナダトリアージ重症度スケール（「ＣＴＡＳ」）などが挙げられるがこれらに限定されない患者重症度尺度を決定する、及び／又は割り当てるために、任意の数の一般的に使用される指標及び／又は臨床意思決定支援（「ＣＤＳ」）アルゴリズムが使用される。例えば、いくつかの実施形態において、患者の生命兆候は、患者の初期患者重症度尺度及び／又は患者キュー内の患者の初期位置を決定するために、システムデータベースに記憶された既定の生命兆候閾値と、又は、所与の患者の年齢、性別、体重などに対して典型的な公開された、又は知られた生命兆候値と比較される。いくつかの実施形態において、患者に関する様々な生理学的な、及び他の情報が、１つ又は複数の重症度尺度を導出するために、訓練されたモデル（例えば、回帰モデル、ニューラルネットワーク、深層学習ネットワークなど）、ケースベースの推論アルゴリズム、又は、他の臨床推論アルゴリズム間の入力として適用される。いくつかの実施形態において、重症度尺度を導出するために使用される情報は、生命兆候獲得カメラにより捕捉される生命兆候又は他の情報を含み、或いは、さらには、生命兆候獲得カメラにより捕捉される生命兆候又は他の情報に完全に制限される。いくつかの実施形態において、重症度尺度を導出するために使用される情報は、代替的に、又は追加的に、例えば、患者の以前の電子医療記録（「ＥＭＲ」）からの情報、トリアージにおいて患者から獲得された情報、装着型デバイス又は患者により持ち運ばれる他のセンサーからの情報、待合室にいる他の患者又は人に関する情報（例えば、部屋にいる他の人の生命兆候）、家族、又は患者に関連した他の人に関する情報（例えば家族のＥＭＲ）などの情報を含む。
[0026] 患者が登録及び／又はトリアージされた後、ブロック１１２において、患者は、待合室１０４に向かわされる。多くのシナリオにおいて、図１の動作は、わずかに異なる順序で行われる。例えば、いくつかの場合において、患者は、まず登録されて、次に、患者がトリアージされ得るまで待合室に行き、及び、その後、トリアージ後のある時点において（すぐに、又は待合室に戻された後に）医師のもとに送られる。例えば緊急事態といったいくつかの状況では（例えば災害中に）、患者は、直ぐにトリアージに行った後、医師のもとに行き、患者が安定にされたとき、後から登録されるのみであってよい。
[0027] ブロック１１４において、例えば１つ又は複数のカメラ、センサー、又は医療関係者からの入力を使用して、患者が待合室を去ったか判定される。ブロック１１４は、（例えば、生命兆候が捕捉される対象となる患者のキューの最上位に患者が来たとき、患者を位置特定しようと試みる探索機能、例えば、以下で説明されるブロック１２０の実行、又は、以下で説明されるブロック１１８及び１２０を含むループの複数回の実行時に、生命兆候を捕捉するために部屋にいる各人を循環することの一部として）現在待合室にいる各人をスキャンすること、及び、患者がいなかったことを特定することを有する。いくつかの実施形態において、システムは、一時的な不在（例えば、洗面所に行っていること、又は、臨床スタッフと話していること）を考慮するために、患者が待合室を去ったとみなされる前に、患者の行方不明の事例が所定の数に達するまで、又は、患者が行方不明である間に所定の期間が経過するまで待つ。例えば、患者が医師の診察を受ける順番が来たという理由から、患者が適切な状態でＥＲに連れて行かれた可能性がある。又は患者が待っている間に患者の症状が改善されて、患者が病院を去ることにつながった可能性がある。又は、患者は、待ちきれなくなって別の場所でケアを受けようとして去った可能性がある。どのような理由であれ、患者が少なくとも閾値時間長にわたって待合室を去ったと判定された場合、ブロック１１６において、患者は診察を受けずに去ったとみなされ、例えば、登録された患者が入れられたキューから患者を除去することにより、システムから解放される。
[0028] ブロック１１８において、待合室１０４にいる１人又は複数人の患者が監視のために選択される。例えば、いくつかの実施形態において、すべての患者に対して設定された、又は、重症度尺度に基づいて設定された（例えば逆相関させられた）時間閾値により決定されるように、最高の患者重症度尺度を付与された患者、又は、最近監視されていない最高の重症度尺度を付与された患者を選択するために、ブロック１０８〜１１０において取得された登録情報を記憶したデータベース（例えば図４における対象者参照データベース４１２）が検索される。他の実施形態において、待合室にいる複数の患者に関連した登録情報は、例えば、待ち時間、待合室における患者の存在などの他の尺度に加えて、又は他の尺度の代わりに、例えば、患者のそれぞれの患者重症度尺度により、患者監視キューにおいてランク付けされる（例えば、行方不明の患者は、繰り返し不在となる場合、その患者が解放されなければならないか否かを判定するために、より頻繁に監視のために選択される）。さらに異なる他の実施形態において、患者監視キューをランク付けする場合、患者重症度尺度は考慮されなくてよく、代替的に、患者の待ち時間、患者の存在などの考慮のみが検討されてよい。さらに違う他の実施形態において、患者は、例えば、待合室１０４における椅子又はカウチの並びにより決められた例えば決定された所定のスキャン順序により、単に１人ずつ選択される。
[0029] しかし、このような患者監視キューはランク付けされ、いくつかの実施形態において、キューにおける最初の患者が、次に監視される者として選択される。患者監視キューが患者重症度尺度により順序付けられた物理的なメモリの位置の並びとして記憶されることが（可能ではあるが）必要とされるわけではない。むしろ、いくつかの実施形態において、ランク付けされた患者監視キューは、各患者に関連したランク又は優先度レベル値を含むにすぎない場合がある。言い換えると、本明細書において説明されている「患者監視キュー」は、患者重症度尺度、待ち時間などに基づいて論理的にランク付けされた「論理的な」キューを表し、メモリ位置の連続した並びを表すとは限らない。患者は、患者監視キュー内の患者のそれぞれのランク付けの順序により、ブロック１１８において、監視のために選択される。
[0030] ブロック１２０において、ブロック１１８において選択された患者は、待合室１０４において位置特定される。様々な実施形態において、１つ又は複数のカメラ、例えば、１つ又は複数の生命兆候獲得カメラ（図１には示されておらず、図２及び図３を参照されたい）、又は、待合室１０４に、又は待合室１０４付近に配備された他のより前の従来のカメラが、待合室１０４にいる患者の１つ又は複数のデジタル画像を獲得するために、動作させられる（例えば、パンされる、傾けられる、ズームされるなど）。以下でより詳細に説明されるように、それらの獲得されたデジタル画像は、ブロック１０８における登録中に捕捉された１つ又は複数の参照患者画像（多くの場合、本明細書において「対象者参照テンプレート」と呼ばれる）と比較される。いくつかの実施形態において、機械学習モデル、例えば訓練された畳み込みニューラルネットワークを使用して抽出されたそれらの獲得されたデジタル画像の特徴が、登録された患者に関連した対象者参照テンプレートの同様に抽出された特徴と比較される。
[0031] ブロック１２２において待合室１０４に、又は待合室１０４付近に搭載された、又は別様に配備された１つ又は複数の生命兆候獲得カメラが、ブロック１１８において選択された、及び、ブロック１２０において位置特定された患者からの１つ又は複数の更新された生命兆候及び／又は生理学的パラメータの目立たない（例えば非接触の）獲得を実施するように動作させられる。これらの生命兆候獲得カメラは、血圧、脈拍数（又は、心拍数）、皮膚色、呼吸速度、ＳｐＯ２、体温、姿勢、汗のレベルなどが挙げられるがこれらに限定されない、患者からの様々な異なる生命兆候及び／又は生理学的パラメータを（患者に物理的に接触せずに）獲得するように構成される。いくつかの実施形態において、生命兆候獲得カメラは、いわゆる「非接触方法」を実施して患者からの生命兆候を獲得するように、及び／又は生理学的情報を抽出するように具備され、並びに、医療画像デバイスとして使用される。このようなカメラの非限定的な例は、すべての目的のために参照により本明細書に組み込まれる米国特許出願公開第２０１４０１９２１７７（Ａ１）号、第２０１４０１３９６５６（Ａ１）号、第２０１４０１４８６６３（Ａ１）号、第２０１４０２５３７０９（Ａ１）号、第２０１４０２３５９７６（Ａ１）号、及び米国特許第９１２５６０６（Ｂ２）号において説明されている。
[0032] ブロック１２４において、ブロック１２２において獲得された更新された生命兆候及び／又は生理学的パラメータと、以前に獲得された生命兆候及び／又は生理学的パラメータ（例えばブロック１１０において獲得された初期生命兆候、又は、生命兆候獲得カメラにより獲得された以前の繰り返しによる更新された生命兆候／生理学的パラメータ）との比較に基づいて、患者の症状が変化したか否かが、例えば（以下で説明される）図２に示される１つ又は複数のコンポーネントにより判定される。例えば、患者が待っている間に患者の脈拍数、呼吸速度、血圧、ＳｐＯ２、ＰＰＧ、体温などが上昇又は低下したか否かが判定される。判定結果が「いいえ（ｎｏ）」である場合、制御がブロック１１８に戻るように進み、新しい患者（例えば２番目に高い患者重症度尺度を付与された患者）が選択され、制御がブロック１２０に戻るように進む。しかし、ブロック１２４における判定結果が「はい（ｙｅｓ）」である（すなわち患者の症状が変化した）場合、制御はブロック１２６に進む。いくつかの実施形態において、患者の症状は、監視順序を決定することを目的として使用される同じ重症度尺度により（少なくとも部分的に）表される。
[0033] ブロック１２６において、ブロック１２４において検出された変化に基づいて医療的なアラートが許可されるか否か（この場合も図２の１つ又は複数のコンポーネントにより）判定される。例えば、１つ又は複数の生命兆候又は患者重症度尺度の変化が１つ又は複数の閾条件を満たすか否か（例えば、この特定の患者に対して安全とみなされるレベルより高くまで血圧が上昇したか？）が判定される。判定結果が「はい（ｙｅｓ）」である場合、制御はブロック１２８に進む。ブロック１２８では、例えば勤務中の看護師又は他の医療関係者に、患者が悪化していることのアラームが出力される。次に、医療関係者が患者を検査して、治療のためのアクション、例えば医師の診察を受けるためにＥＤにすぐに入れることが許可されるか否かを判定する。いくつかの実施形態において、制御は、次に、ブロック１１８に戻るように進む。しかし、ブロック１２６における判定結果が「いいえ（ｎｏ）」である場合、いくつかの実施形態において、制御はブロック１１８に戻るように進む。
[0034] 図２は、様々な実施形態による、開示される技術を実施するために使用される例示的なコンポーネントを示す。病院情報システム２４０は、病院、診療所などにおいて一般的に見られる種類のものである。病院情報システム２４０は、１つ又は複数のコンピュータネットワーク（図示されていない）を介して接続されてよい、又は、接続されなくてよい１つ又は複数のコンピューティングシステムを使用して実施される。病院情報システム２４０は、とりわけ、登録モジュール２４２、トリアージモジュール２４４、解放モジュール２４６、及びアラームモジュール２４８を含んでよい。モジュール２４２〜２４８のうちの１つ又は複数、或いは、本明細書において説明される任意の他のモジュール又はエンジンは、メモリに記憶された命令を実行する１つ又は複数のマイクロプロセッサを含む、ハードウェアとソフトウェアとの任意の組合せを使用して実施されてよい。例えば、登録モジュール２４２は、プロセッサにおいて実行する登録に関連した本明細書において説明される機能を実施する登録命令を含み、トリアージモジュール２４４は、同じプロセッサにおいて実行するトリアージに関連した本明細書において説明される機能を実施するトリアージ命令を含む。同様の基本的なハードウェア及びソフトウェアが、本明細書において説明される他の「モジュール」を実施するために使用される。
[0035] 登録モジュール２４２は、新しい患者の登録情報を、例えば、勤務中の看護師からの手動入力として受信するように構成される。これは、患者の名前、年齢、保険情報などを含む。トリアージモジュール２４４は、例えば、生命兆候、例えば、前述したもの、及び／又は他の生理学的データ、例えば、体重、身長、患者の来院の理由などを、例えば、勤務中の看護師からの手動入力として、又は、ネットワーク接続された医療機器から直接的に受信するように構成される。様々な実施形態において、トリアージモジュール２４４により受信された生命兆候及び／又は患者重症度尺度（例えば図２におけるＥＳＩ）は、例えば、病院情報システム２４０に関連した１つ又は複数のデータベース（図示されていない）における、登録モジュール２４２により受信された対応する患者情報と関連付けられる。
[0036] アラームモジュール２４８は、患者の悪化などの様々なイベントを示す情報を受信し、それに応答して、様々なアラーム及び／又はアラートを発するように構成される。これらのアラーム及び／又はアラートは、（例えば病院職員にとって視認可能なディスプレイスクリーンにおける）視覚出力、インターコムによる告知、テキストメッセージ、電子メール、音声アラート、触覚アラート、ポケベル、ポップアップウィンドウ、点滅光などが挙げられるがこれらに限定されない様々なモダリティを使用して出力される。病院情報システム２４０のモジュール２４２〜２４８は、例えば、１つ又は複数のコンピュータネットワーク（図示されていない）を介して、病院情報システムインターフェース２５０（図２における「Ｈ．Ｉ．Ｓ．インターフェース」）に動作可能に結合される。
[0037] 病院情報システムインターフェース２５０は、従来の病院情報システム２４０と本開示の選択された態様を使用して構成された患者監視システム２５２との間のインターフェースとして機能する。様々な実施形態において、病院情報システムインターフェース２５０は、患者に関する様々な情報、例えば、登録情報、患者重症度尺度（例えばＥＳＩ）、処方された、及び／又は投与された薬剤、患者が解放されたか否か、様々なアラーム／アラートなどを、例えば患者監視システム２５２の他のモジュールに公開する。以下で説明されるように、いくつかの実施形態において、これらの公開内容は、イベント公開及びサブスクライブ（「ＥＰＳ」）モジュール２７０に提供され、ＥＰＳモジュール２７０が、次に、データベース２７２にそれらを選択的に記憶し、及び／又は、患者監視システム２５２の他のモジュールにそれらを選択的に公開する。いくつかの実施形態において、病院情報システムインターフェース２５０は、追加的に、又は代替的に、他のモジュールにより提供される１つ又は複数のアラート又は公開内容をサブスクライブする。例えば、病院情報システムインターフェース２５０が、患者が悪化していることを病院情報システム２４０の適切なコンポーネント、例えばアラームモジュール２４８に通知するように、例えば、病院情報システムインターフェース２５０は、悪化検出モジュール２６８からアラートをサブスクライブする。ＥＰＳは、システムコンポーネント間の通信のために使用され得る多くの可能なプロトコルのうちの１つにすぎず、限定することを意味しない。
[0038] 患者監視システム２５２は、患者の実際の病状に役立つ手法により患者がサービス提供されることを確実なものとするために、待合室１０４などのエリアにおける患者の監視を円滑化する様々なコンポーネントを含む。患者監視システム２５２は、例えば、１つ又は複数のカメラ２５６とインターフェース接続する患者捕捉モジュール２５４、患者キューモジュール２５８、患者識別モジュール２６０、動的校正モジュール２６２、顔／胴獲得モジュール２６４、生命兆候測定モジュール２６６、悪化検出モジュール２６８、前述のＥＰＳモジュール２７０、及び、１つ又は複数のデータベース２７２、２７４を含む。上述のように、モジュール２５０、２５４、及び２５８〜２７０の各々は、ハードウェアとソフトウェアとの任意の組合せを使用して実施される。さらに、これらのモジュールは別々に示されているが、そのことは、限定することも、各々が独立したハードウェアにおいて実施されることを示唆することも意味しない。例えば、１つ又は複数のモジュールが組み合わされてよく、及び／又は、省略されてよく、並びに、１つ又は複数のモジュールが、１つ又は複数のコンピュータネットワーク（図示されていない）を介して動作可能に接続された１つ又は複数のコンピューティングシステムにおいて実施されてよい。図２の様々なコンポーネントを接続するように示された線は、これらのコンポーネントにアクセス可能な通信チャンネルを表す。これらの通信チャンネルは、例えば、１つ又は複数のバス、Ｅｔｈｅｒｎｅｔ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅ、セルラー通信などの任意の数のネットワーク構築又は他のコンピュータ通信技術を使用して実施される。
[0039] 患者監視システム２５２は、１つ又は複数の生命兆候獲得カメラ２７６をさらに含む。１つ又は複数の生命兆候獲得カメラ２７６は、患者の１つ又は複数の生命兆候及び／又は生理学的パラメータを患者から、ある距離から獲得するように構成される。このような生命兆候獲得カメラの例は、ここまでに説明されている。様々な実施形態において、生命兆候獲得カメラ２７６は、待合室１０４などのエリアの異なる部分がそのＦＯＶに包含されるようにパン、チルト、及びズームするように動作可能なパン−チルト−ズーム（「ＰＴＺ」）カメラである。この手法により、異なる患者を位置特定するために監視されるエリアをスキャンすることが可能であり、結果として、更新された生命兆候及び／又は生理学的パラメータが目立たずに獲得される。
[0040] 患者捕捉モジュール２５４は、患者の捕捉された画像データを搬送する１つ又は複数の信号を１つ又は複数のカメラ２５６から受信する。例えば、いくつかの実施形態において、患者捕捉モジュール２５４は、カメラ２５６からビデオストリームを受信する。患者捕捉モジュール２５４は、患者がいつ存在しているかを検出するために、ビデオストリームに画像処理（例えば、顔検出、セグメント分け、ヒトの形態を検出するための形状検出など）を実施し、検出に応答して、患者の１つ又は複数の参照デジタル画像（例えば、以下で説明される取り込みデジタル画像）を捕捉する。いくつかの実施形態において、参照デジタル画像は、ビデオストリームの個々のフレームより高い分解能で捕捉されるが、必ずそうというわけはない。いくつかの実施形態において、カメラ２５６は、事前待合室エリア１０２に、又は事前待合室エリア１０２付近に配備された独立型カメラ、例えば、ウェブカメラ、ＰＴＺカメラ（例えば２７６）などである。カメラ２５６により捕捉された取り込みデジタル画像の部分集合が、登録された患者（及び、より概括的には「対象者」）に関連した、及び、監視されるエリアにおいて登録された患者を識別するために、及び／又は位置特定するために後で使用される対象者参照テンプレート及び対応するテンプレート特徴ベクトルを生成するために使用される。
[0041] 患者キューモジュール２５８は、エリアにおける患者が監視されなければならない順序の、例えばデータベースにおける優先度キューを確立及び／又は維持するように構成される。様々な実施形態において、キューは、様々なパラメータにより順序付けされる。いくつかの実施形態において、キュー内の患者は、患者重症度尺度の順序により（すなわち優先度により）ランク付けされる。例えば、ほとんどの重症患者は、重症度の低い患者より頻繁にキューの先頭に配置される。いくつかの実施形態において、更新された生命兆候が、キューの順序に従って、待合室１０４などの監視されるエリアにおいて待っている患者から獲得される。他の実施形態において、更新された生命兆候は、ＦＩＦＯ又は総当たりの順序により患者から獲得される。他の実施形態において、更新された生命兆候は、生命兆候獲得カメラ２７６にプログラムされた所定のスキャン軌道に対応した順序により患者から獲得される（例えば、椅子の並びの各々を順番にスキャンする）。
[0042] 患者識別モジュール２６０は、監視されるエリア（例えば待合室１０４）において１人又は複数人の患者を位置特定するために、患者捕捉モジュール２５４により捕捉された対象者参照テンプレート及び／又は対応するテンプレート特徴ベクトルと組み合わされて、生命兆候獲得カメラ２７６（又は、目立たずに生命兆候を獲得するように構成されていない別のカメラ）により捕捉された１つ又は複数のデジタル画像を使用するために、本開示の選択された態様を使用して構成される。患者識別モジュール２６０は、患者（対象者）を識別及び位置特定するために、以下で説明される様々な技術を使用して、獲得されたデジタル画像を分析する。以下で説明される図４〜図１０は、任意のコンテキストにおいて、患者、又はより概括的には対象者を認識／識別／位置特定することの一部として使用される様々な技術の様々な態様を例示する。
[0043] いくつかの実施形態において、患者識別モジュール２６０は、特定の患者であって、その特定の患者から更新された生命兆候を取得するその特定の患者を探すために監視されるエリアを探索する。例えば、患者識別モジュール２６０は、例えば、最高の患者重症度尺度を付与されたキュー内の患者である、患者キューモジュール２５８により選択された患者を探すために監視されるエリアを探索する。いくつかの実施形態において、患者識別モジュール２６０は、選択された患者が識別されるまで、生命兆候獲得カメラ２７６が監視されるエリア（例えば待合室１０４）をスキャンすることをもたす。
[0044] 動的校正モジュール２６２は、生命兆候獲得カメラ２７６の使用を追跡し、必要に応じて生命兆候獲得カメラ２７６を校正するように構成される。例えば、動的校正モジュール２６２は、生命兆候獲得カメラ２７６が特定のＰＴＺ位置を指し示すように指示されたときに常に、生命兆候獲得カメラ２７６が常に厳密に同じ位置を指し示すことを確実なものとする。ＰＴＺカメラは、一定の、又は、少なくとも高頻度な動きをする。したがって、ＰＴＺカメラの機械的コンポーネントは、摩耗及び断裂による影響を受ける。小さい機械的エラー／バイアスが蓄積して、生命兆候獲得カメラ２７６が所与のＰＴＺコマンドに対して経時的に異なる形態により応答することをもたす。動的校正モジュール２６２は、例えば、校正ルーチンを時折実行することによりこれを修正し、校正ルーチンでは、標識（例えば、指標、例えば壁の小さいステッカー）が、生命兆候獲得カメラ２７６を適切に応答させる修正メカニズムを訓練するために使用される。
[0045] 患者キューモジュール２５８により識別された患者が患者識別モジュール２６０により認識／位置特定された後、顔／胴獲得モジュール２６４は、１つ又は複数の生命兆候獲得カメラ２７６の視野が患者の所望の部分を捕捉するように、１つ又は複数の生命兆候獲得カメラ２７６をパン、チルト、及び／又はズームするように構成される。例えば、いくつかの実施形態において、顔／胴獲得モジュール２６４は、生命兆候獲得カメラ２７６が患者の顔及び／又は上部胴体に焦点を当てるように、生命兆候獲得カメラ２７６をパン、チルト、又はズームする。追加的に、又は代替的に、顔／胴獲得モジュール２６４は、ある生命兆候獲得カメラ２７６を主に患者の顔を捕捉するように、及び、別の生命兆候獲得カメラ２７６を主に患者の胴を捕捉するようにパン、チルト、又はズームする。次に、様々な生命兆候及び／又は生理学的パラメータが獲得される。例えば、生命兆候、例えば患者の脈拍数及びＳｐＯ２が、生命兆候獲得カメラ２７６により捕捉された患者の顔のビデオに画像処理を実施することにより、例えば生命兆候測定モジュール２６６により取得される。生命兆候及び／又は生理学的パラメータ、例えば患者の呼吸速度などは、生命兆候獲得カメラ２７６により捕捉された患者の胴のビデオに画像処理を実施することにより、例えば生命兆候測定モジュール２６６により取得される。もちろん、顔及び胴は、生命兆候を取得するために検査される体の部分の２つの例にすぎず、限定することを意味しない。
[0046] 悪化検出モジュール２６８は、様々な信号及び／又はデータを分析して、登録された患者（又は、さらには、登録されていない同伴者）の症状が悪化している、改善している、及び／又は安定に留まっているか否かを判定するように構成される。いくつかの実施形態において、患者の症状は、監視のための患者の順序を決定するために、上述の同じ患者重症度尺度により少なくとも部分的に表される。したがって、悪化検出モジュール２６８は、本明細書において説明されている重症度尺度以外の患者症状尺度を評価するために、１つ又は複数のＣＤＳ、事例ベースの推論、又は本明細書において説明されている他の臨床推論アルゴリズム、若しくは他の臨床推論アルゴリズム（例えば、訓練されたロジスティック回帰モデル又は、他の機械学習モデル）を含む。いくつかの実施形態において、悪化検出モジュール２６８により使用される患者重症度又は患者の症状の他の尺度を評価するためのアルゴリズムは、例えば、選択された機械学習モデルに対して新しい訓練された重み（例えばシータ値）を書き込むこと、又は、（例えば、ｊａｖａアーカイブ（ＪＡＲ）ファイル又はコンパイルされたライブラリの形態をとる）プロセッサによる実行のための新しい命令を提供することにより、時に応じてアップデートされる。これらの信号は、例えば、（例えば図１のブロック１０８〜１１０において取得された）患者の初期生命兆候及び他の生理学的情報、生命兆候測定モジュール２６６により取得された更新された生命兆候、（例えば登録中に計算された）患者の初期患者重症度尺度、及び／又は、（例えば、生命兆候測定モジュール２６６から受信された更新された生命兆候及び／又は生理学的パラメータに基づいて計算された）患者の更新された患者重症度尺度を含む。
[0047] これらのデータ及び／又は信号を使用して生成された決定に基づいて悪化検出モジュール２６８は、様々なアクションをとるために、様々な他のモジュールに様々なアラートを送信する。例えば、悪化検出モジュール２６８は、例えば、ＥＰＳモジュールがサブスクライブされたモジュール、例えば、病院情報システム２４０のアラームモジュール２４８にアラートを公開し得るように、ＥＰＳモジュール２７０にアラートを送信することによりアラートを公開する。いくつかの実施形態において、このようなアラートは、例えば、患者の名前（又は、より概括的には患者識別子）、写真、ライブビデオストリーム、待合室における患者の最終検出位置、ベースライン生命兆候、１つ又は複数の更新された生命兆候、及び／又は、患者重症度尺度の標示を含む。アラートの受信時、アラームモジュール２４８は、患者の悪化、及び、とりわけ待合室における患者の最終検出位置について、医療関係者にアラート又はアラームを発する。
[0048] ＥＰＳモジュール２７０は、図２の様々な他のコンポーネントにより出されたイベントを拡散するように構成された一般的な通信ハブである。いくつかの実施形態において、図２に示される他のモジュールのうちのすべて又は少なくともいくつかは、そのモジュールからの何らかの形態の結果／決定／演算／判断を示すイベントを生成する。これらのイベントは、ＥＰＳモジュール２７０に送信又は「公開」される。図２に示される他のモジュールのうちのすべて又は一部は、任意の他のモジュールからの任意のイベントを受信又は「サブスクライブ」することを選択する。ＥＰＳモジュール２７０がイベントを受信した場合、ＥＰＳモジュール２７０は、そのイベントをサブスクライブしたすべてのモジュールに、イベントを示すデータを送信（例えば、イベントを転送）する。
[0049] いくつかの実施形態において、ＥＰＳモジュール２７０は、１つ又は複数のデータベース、例えばデータベース２７２及び／又は（任意選択的であってよい）アーカイブ２７４と通信する。いくつかの実施形態において、ＥＰＳモジュール２７０は、任意のモジュールからリモートプロシージャコール（「ＲＰＣ」）を受け入れて、１つ又は複数のデータベース２７２及び／又は２７４に記憶された情報へのアクセスを提供し、並びに／或いは、他のモジュールから受信された情報（例えばアラート）をデータベース２７２及び／又は２７４に追加する。（いくつかの実施形態において対象者参照データベース４１２と同じである）データベース２７２は、アラート、公開内容、又は、図２における１つ又は複数の他のモジュールにより送られた／ブロードキャストされた／送信された他の通信に含まれる情報を記憶する。いくつかの実施形態において、データベース２７２は、例えば、患者及び／又は患者の初期生命兆候に関連した対象者参照テンプレート、（生命兆候獲得カメラ２７６により獲得された）更新された生命兆候、及び／又は、患者重症度尺度を記憶する。任意選択的なアーカイブ２７４は、いくつかの実施形態において、より長い期間にわたって同一又は類似の情報を記憶する。
[0050] 患者監視システム２５２を実施するために様々なハードウェア構成が使用されてよいことが明らかである。例えば、いくつかの実施形態において、１つのデバイス（例えば、生命兆候獲得機能２６０〜２６６を実施するようにカメラ２７６を動作させるための、及び、生命兆候分析、及び、悪化検出２６８及び患者キュー管理２５８を含むアラート機能を実施するための１つのサーバー）がシステム２５２全体を実施してよい。他の実施形態において、複数の独立したデバイスがシステム２５２を形成してよい。例えば、第１のデバイスが生命兆候獲得カメラ２７６を駆動し、及び機能２６０〜２６６を実施するとともに、別のデバイスが残りの機能を実施してよい。いくつかのこのような実施形態において、１つのデバイスが待合室に対して現場にあってよいとともに、別のデバイスが遠隔にあってよい（例えば、地理的に離れたクラウドコンピューティングアーキテクチャにおける仮想マシンとして実施される）。いくつかの実施形態において、（例えばプロセッサ及びメモリを含む）デバイスが生命兆候獲得カメラ２７６自体内に位置してよく、そうした場合、カメラ２７６は、単なる処理能力のない周辺機器でないものであってよく、代わりに、生命兆候機能２６０〜２６６を実施してよい。いくつかのこのような実施形態において、別のサーバーが、さらなる処理のために生命兆候が返信されることを要求するために、カメラ２７６に標示（例えば、識別子、完全な記録、又は登録された顔の画像）を提供する。いくつかのこのような実施形態において、追加的な機能、例えば例として、悪化検出２６８（又は、悪化検出２６８のための前処理）がカメラ２７６に内蔵されて提供されてよく、及び／又は、患者キューモジュール２５８管理がカメラ２７６内で実施されてよい。いくつかの実施形態において、カメラ２７６が、ＨＩＳインターフェース２５０又はＥＰＳ２７０を実施することさえしてよい。様々な追加的な構成が明らかとなる。
[0051] 図３は、例示的なシナリオを示す。開示される技術が監視を目的として待合室３０４にいる患者３７８Ａ〜Ｃを識別するように実施される。この例では、３人の患者３７８Ａ〜Ｃが医療関係者３８０による介護を受けるために病院の待合室３０４において待っている。２つのビデオカメラ３７６Ａ、３７６Ｂが待合室３０４の表面（例えば天井、壁）に搭載されている。２つのビデオカメラ３７６Ａ、３７６Ｂが、待合室３０４にいる患者３７８を監視するために使用される。患者３７８Ａ〜Ｃは、予備的な患者の症状の分析に基づいて、トリアージ担当の医療関係者（図示されていない）により各々に患者重症度尺度を割り当てられる。患者３７８が主治医を待っている間、２つのビデオカメラ３７６Ａ、３７６Ｂが、監視のために選択された患者を識別するために本明細書において説明される技術を使用して分析されるデジタル画像を捕捉する。同じビデオカメラ（それらは生命兆候を目立たずに獲得するように構成されることが想定される）又は異なるビデオカメラが、次に、上述のように患者３７８を監視するように、例えば患者の悪化を検出するように動作させられる。いくつかの実施形態において、患者に関連した患者重症度尺度は、患者が悪化したことの患者監視システム（より具体的には、悪化検出モジュール２６８）による検出に応答して、医療関係者によりアップデートされる。様々な実施形態において、新しい患者が待合室３０４に入ったとき、患者監視及び優先順位付けの新しいラウンドが、例えば患者監視システム２５２により実施される。患者キューは、新しい患者が待合室３０４に入る度に、例えば患者キューモジュール２５８により自動的に更新される。追加的に、又は代替的に、医療関係者は、トリアージ後に新たに到着した患者を含むように、患者キューを手動で更新する。
[0052] 本明細書において説明される技術は、病院の待合室に限定されない。デジタル画像又はビデオにおいて対象者を識別／位置特定するために本明細書において説明される技術が実施される多くの他のシナリオが存在する。例えば、開示される技術は、空港、アリーナ、国境検問所、及び他の公共の場における群衆のセキュリティー監視のためにも使用される。このようなシナリオにおいて、患者重症度尺度を決定するために患者を監視するのではなく、他の目的、例えばリスク評価又はイベント後調査のために対象者が識別される。本明細書において説明される技術は、例えばフィットネス環境（例えばジム、療養施設）といったシナリオにおいて、又は、デジタル画像に写し出された個々の対象者の識別が実施される他の監視シナリオ（例えば空港、国境検問所など）においても適用可能である。例えば、空港において、ゲートにおいて待っている対象者は、例えば、ゲートにおいて待っている対象者の画像を、チェックイン時に、及び／又はパスポート／身分証明写真から取得された対象者参照テンプレートと比較することにより識別され得る。加えて、本明細書において説明される技術は、患者の顔が視認可能であることを必要とせずに、診察を受けずに去った患者を特定するために使用される。
[0053] 図４は、本開示の選択された態様を使用して構成されたコンポーネントの例、及び、それらのコンポーネント間の例示的な相互作用を、比較的高いレベルにおいて概略的に示す。様々な実施形態において、これらのコンポーネントのうちの１つ又は複数が、例えば図２における患者監視システム２５２の一部、特に患者捕捉モジュール２５４及び患者識別モジュール２６０の一部として、ハードウェアとソフトウェアとの任意の組合せを使用して実施されてよい。例えば、図４のコンポーネントは、対象者参照データベース４１２に患者などの対象者を登録するために、図１のブロック１０８において使用される。対象者の取り込み情報（例えば、年齢、性別、名称、初期生命兆候など）とともに、複数のビューからの対象者の顔のデジタル画像を含む任意の数の「対象者参照テンプレート」（例えば、異なる角度、異なる顔の表情、異なるライティング状態、異なる頭部位置など）が選択され、例えば医療記録番号（「ＭＲＮ」）により対象者参照データベース４１２における対象者に関連付けられる。これらの対象者参照テンプレート（及び、後述のように、これらの対象者参照テンプレートから生成されたテンプレート特徴ベクトル）は、次に、例えば、その視野内において待合室を捕捉する別のカメラ（例えば、生命兆候獲得カメラ２７６、３７６）を使用して待合室などのエリアにおける対象者を識別するために、患者識別モジュール２６０により後で使用される。対象者が識別された後、対象者の位置は、例えば、医療関係者による連絡を受けること、生命兆候を目立たずに獲得されるようにすることなど、様々な目的のために使用され得る。
[0054] 右下から始まり、様々な実施形態による、（例えば、新しい患者を登録及び／又はトリアージする）新たに登録された対象者の取り込みのための、及び、その対象者を対象者参照データベース４１２に追加する動作を含む取り込みルーチン４０２が示されている。第１のカメラ４５６は、本明細書において「取り込み」デジタル画像４０４と呼ばれるもののうちの１つ又は複数（例えば個々の画像、及び／又は、画像のストリーム、例えばビデオストリーム）を捕捉するように構成される。いくつかの場合において図２におけるカメラ２５６に対応する第１のカメラ４５６は、例えば、取り込みエリア（例えば登録及び／又はトリアージ）に位置するウェブカメラ、取り込み者（例えばトリアージ看護師）により動作させられるコンピューティングデバイスに統合されたカメラなどの様々な形態をとる。この画像捕捉は、それは、ヒトの介入をほとんど伴わずに、又はまったく伴わずに自動的に発生する（しかし、これは限定することを意味しない）ので、取り込み者と対象者との両方にとって煩わしくない。
[0055] ブロック４０６において、取り込みデジタル画像４０４は、例えば、取り込み（例えば登録及び／又はトリアージ）エリアに現在位置する対象者の顔を写し出したデジタル画像４０４の１つ又は複数の部分を検出するために、カメラ４５６に動作可能に結合された１つ又は複数のコンピューティングシステム（例えば、図２における患者捕捉モジュール２５４）により分析される。図６は、対象者の顔を検出するための１つの例示的な技術を示している。他の技術は、例えば、遺伝的アルゴリズム、固有顔技術、テンプレートマッチングなどを含む。いくつかの実施形態において、取り込みデジタル画像４０４のうちの１つ又は複数が、対象者の顔に注目するために、切り取られ、又は別様に変更され（例えば背景を切り取られ）てよいが、これが必須とは限らない。
[0056] ブロック４０８において、対象者の顔の複数の異なるビューを写し出した取り込みデジタル画像の部分集合が、複数の取り込みデジタル画像４０４から選択される。選択された部分集合は、後で対象者を視覚的に識別／位置特定するために使用される対象者参照テンプレートを生成するために使用される。いくつかの実施形態において、対象者参照テンプレートを生成するために使用される取り込みデジタル画像の部分集合は、１つ又は複数の他の取り込みデジタル画像と十分に異なることに基づいて選択される。以下の図５及び図８は、対象者参照テンプレートの生成のための取り込み画像の部分集合を選択するための例示的な技術を示す。
[0057] いくつかの実施形態において、ブロック４０９において、ブロック４０８において生成された対象者参照テンプレートは、本明細書において「テンプレート特徴ベクトル」と呼ばれるものを生成するために、機械学習モデル、例えば畳み込みニューラルネットワーク間の入力として適用される。これらのテンプレート特徴ベクトルは、対象者参照テンプレートの生データに加えて、又は代えて様々な特徴を含む。畳み込みニューラルネットワークは特に、最近、他の顔認識アプローチに勝る改善を示している。ソース画像単独の場合より判別能力のあるテンプレート特徴ベクトル（及び、後述の他の特徴ベクトル）を生成するために畳み込みニューラルネットワークが使用可能であることを確実なものとするために、様々な頭部のポーズ、顔の表情、ライティング状態などを含む何百万もの（又は、それ以上の）顔画像を使用して、畳み込みニューラルネットワークが訓練される。いくつかの実施形態において、畳み込みニューラルネットワークは、畳み込み、正則化、及びプーリング層のスタックを備える。いくつかの実施形態において、１つ又は複数のグラフィカル処理ユニット（「ＧＰＵ」）が、畳み込みニューラルネットワークを使用して特徴抽出を実施するために使用されてよく、その理由は、ＧＰＵが標準的な中央処理ユニット（「ＣＰＵ」）より効率的にそれを実施することが可能であるからである。
[0058] 本明細書において説明される（「ベクトル化記述子」、「埋め込み記述子」、「埋め込み」などとも呼ばれる）様々な特徴ベクトルを生成するために使用される適切な畳み込みニューラルネットワークの例、及び、それらがどのように訓練されるかは、Ｏ．Ｍ．Ｐａｒｋｈｉ、Ａ．Ｖｅｄａｌｄｉ、Ａ．Ｚｉｓｓｅｒｍａｎ、Ｄｅｅｐ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ（２０１５）；Ｙａｎｉｖ Ｔａｉｇｍａｎ、Ｍｉｎｇ Ｙａｎｇ、Ｍａｒｃ’Ａｕｒｅｌｉｏ Ｒａｎｚａｔｏ、Ｌｉｏｒ Ｗｏｌｆ、ＤｅｅｐＦａｃｅ：Ｃｌｏｓｉｎｇ ｔｈｅ Ｇａｐ ｔｏ Ｈｕｍａｎ−Ｌｅｖｅｌ Ｐｅｒｆｏｒｍａｎｃｅ ｉｎ Ｆａｃｅ Ｖｅｒｉｆｉｃａｔｉｏｎ、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２０１４）：及びＦｌｏｒｉａｎ Ｓｃｈｒｏｆｆ、Ｄｍｉｔｒｙ Ｋａｌｅｎｉｃｈｅｎｋｏ、Ｊａｍｅｓ Ｐｈｉｌｂｉｎ、ＦａｃｅＮｅｔ：Ａ Ｕｎｉｆｉｅｄ Ｅｍｂｅｄｄｉｎｇ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｃｌｕｓｔｅｒｉｎｇ、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２０１５）において説明されている。一般的には、これらの刊行物は、顔画像から、埋め込み間の距離が顔の類似性の尺度に直接対応するコンパクトなユークリッド空間へのマッピングを学習するように畳み込みニューラルネットワークを訓練することについて説明している。このコンパクトなユークリッド空間が決定された後、顔認識は、特徴ベクトル、例えば前述のテンプレート特徴ベクトルとして埋め込みを使用して実施され得る。様々な実施形態において、畳み込みニューラルネットワークは、固有のクラスラベルとして各対象者識別情報を使用して最後のネットワーク層におけるソフトマックス損失を最小化することにより訓練される。次に、損失が、各層におけるすべての係数を徐々に更新するように、すべての以前の層にバックプロパゲーションされる。バックプロパゲーションは、例えば何千回も繰り返し実行される。各繰り返しの間に、何十、又は何百といった少ない顔画像が、損失の最小化のために使用されるように、収集された何百万もの訓練顔画像から無作為にサンプリングされる。
[0059] ブロック４１０において、生成された対象者参照テンプレート及び対応するテンプレート特徴ベクトルは、対象者に関連付けて、例えば対象者参照データベース４１２に記憶される。様々な実施形態において、生成された対象者参照テンプレート及びテンプレート特徴ベクトルは、例えば前述のＭＲＮにより対象者に関連した情報に関連付けて、対象者参照データベース４１２に記憶される。より概括的には、対象者参照データベース４１２は、複数人の対象者、例えば、医療処置を待つ待合室１０４にいる複数の登録された患者に関連した対象者参照テンプレート及び関連するテンプレート特徴ベクトルを記憶する。他の実施形態において、登録された対象者に関連したテンプレート特徴ベクトルは、必要に応じて、及び／又はオンデマンドベースで生成される。
[0060] 例えば、前述の生命兆候獲得カメラの形態をとるものであってよく、又は、とらないものであってよい別のカメラ４７６を使用して、図２の患者識別モジュール２６０により実施される対象者識別ルーチン４１８が左上に示される。対象者識別ルーチン４１８は、例えば、様々な事象に応答して、周期的に、連続的に様々な時点において実施される。いくつかの実施形態において、職員、例えば看護師が特定の対象者を位置特定することを要求するクエリを発する対象者監視ルーチン４１４の一部として、対象者が探索される。他の実施形態において、対象者識別ルーチン４１８は、患者の重症度を監視するために、前述の継続中の活動の一部として連続的に実施される。いくつかの実施形態において、カメラ４７６は、検出された対象者の識別情報を特定し、検出された対象者の識別情報を検出された対象者の位置と関連付けるために、検出された対象者の各々を通るように循環させられる。
[0061] 対象者識別ルーチン４１８は、待合室１０４などの、クエリを出された１人又は複数人の対象者が通常存在すると考えられるエリアを写し出したデジタル画像４２０（例えばビデオストリーム）の獲得から始まる。ブロック４２２において、エリアにおける特定の対象者の顔を写し出したデジタル画像４２０の１つ又は複数の部分が、本明細書において「検出された顔画像」と呼ばれるものとして、例えば患者識別モジュール２６０により検出される。様々な実施形態において、ブロック４２２の動作は、連続的に実施され、及び／又は、患者監視ルーチン４１４からの対象者クエリの受信によりトリガーされる。顔検出のための同様の技術が、ブロック４０６において適用されたことと同様に、ブロック４２２において適用される。そのうちのいくつかが、後でさらに詳細に説明される。
[0062] いくつかの実施形態において、ブロック４２３において、例えば、カメラ４５６（又は、例えば２５６）により獲得された取り込みデジタル画像４０４とできる限り近くなるように、カメラ４７６により獲得された画像４２０を校正するために、１つ又は複数の調節が行われる。この校正を達成するために、様々な動作がブロック４２３において実施される。いくつかの実施形態において、カメラ４５６の対応する設定と設定を揃えるために、例えばアパチャー、露出、シャッター速度、ホワイトバランスなどの、カメラ４７６の１つ又は複数の設定が行われる。アパチャー（開口であって、その開口を通して光が光センサーに伝播するその開口の寸法）、及びシャッター速度（光センサーが露光される時間長）は、特に、光学的な調節である。アパチャーサイズを小さくすることは、画像の鮮明さを高め、結果として得られる画像をより暗くする。より短いシャッター時間は、運動の不鮮明さを減らし、さらに、結果として得られる画像をより暗くする傾向を示す。カメラのアパチャー及びシャッター速度の設定は、典型的には離散的であり、すなわち、カメラのアパチャーは直径を約√２倍ずつ調節可能であり、これは、光の強さの２倍の変化に対応する。同様に、シャッター速度も典型的には２倍ずつ制御され得る。この離散性は、いくつかの場合において画像調節の正確さを制限する。これらの光学的な調節と対照的に、１つ又は複数のカメラに対して行われ得る電子的な調節は、赤色、緑色、及び／又は青色（ＲＧＢ）に関連した個々のゲインにおけるホワイトバランス調節である。
[0063] 追加的に、又は代替的に、いくつかの実施形態において、互いに画像を校正するために一方又は両方のカメラ（例えば４５６及び／又は４７６）により獲得されたデジタル画像（４０４、４２０）に（例えば画像処理ソフトウェア処理を使用して）調節が行われる。例えば、いくつかの実施形態において、取り込みデジタル画像４０４及び／又は後から獲得されたデジタル画像４２０が、例えば、明度を調節するために、色相を調節するために、例えば１つ又は複数の画像処理ソフトウェア処理を使用して色修正される。追加的に、又は代替的に、いくつかの実施形態において、様々な画像処理技術が、取り込みデジタル画像４０４と後から獲得されたデジタル画像４２０との間における頭部のポーズの修正を達成するために実施される。
[0064] いくつかの実施形態において、ブロック４２４において、例えば異なるポーズ、位置、ライティング、顔の表情などを写し出した検出された対象者の顔の描写の最大の変化を表す、ブロック４２２において生成された１つ又は複数の検出された顔画像の部分集合（又は「キーフレーム」）が選択される。いくつかの実施形態において、図８に示される工程と同様の工程が、検出された顔画像の部分集合（又は「キーフレーム」）を選択するために使用される。ブロック４２５において、１つ又は複数の動作が、検出された顔画像に写し出された顔を正規化（又は「正面化」）するために実施される。例えば、いくつかの実施形態において、幾何学的ワーピング及び／又は他の同様の技術が、正面ビューになるように、正面ビューに近くなるように、検出された顔を正規化するために使用される。以下で説明される図７は、検出された顔を正規化するための１つの例示的な技術を例示している。したがって、ブロック４２５の出力は、監視されるエリアにおける特定の対象者の１つ又は複数の正規化された検出された顔画像である。
[0065] ブロック４２６において、本明細書において「特徴比較」と呼ばれる工程が、特定の対象者を、対象者参照データベース４１２における登録された対象者と照合することにより、特定の対象者の識別情報を特定するために使用される。「特徴比較」の工程は、図９との関連において以下でより詳細に説明される。ブロック４２８において、検出された対象者の識別情報及び／又は検出された対象者の位置（例えば、特定の位置、例えば、対象者が位置する待合室におけるシート）が、出力として提供される。ブロック４３０において、例えば、位置（例えば待合室１０４における椅子）の並びの次の位置において（存在する場合に）対象者を捕捉するために、カメラ４７６がパン、チルト、及び／又はズームされる。
[0066] 図５は、様々な実施形態による、図４の取り込みルーチン４０２のワークフローの様々な態様がどのように実施されるかの一例を示す。上述のように、カメラ４５６は、取り込みデジタル画像４０４を例えばビデオストリームとして獲得する。いくつかの実施形態において、取り込みデジタル画像４０４は、取り込み（例えばトリアージ）エリアを写し出してよいが、これが必須とは限らない。図５に示される動作は、例えば、取り込みエリアにおいて、又は取り込みエリア付近においてカメラ４５６に動作可能に結合されたコンピューティングデバイスといった、様々なコンピューティングデバイスにおいて実施される。
[0067] 新しい対象者が評価される（例えば臨床的に評価）される取り込み（例えばトリアージ）エリアでは、ブロック５０２及び５０４において、カメラ４５６により捕捉された新しい取り込みデジタル画像（例えばビデオストリームのフレーム）の各々に対してそれぞれ、（例えば新しい顔の）顔検出、及び、（例えば以前の取り込みデジタル画像において検出された顔の）顔追跡が並列に実施される。これは、どの対象者が最初に入ったのであろうと、取り込みエリアにおける各対象者の顔が検出されることを確実なものとする。ブロック５０６において、新たに検出された顔の各々に対して新しい顔トラッカーが起動される。この新しい顔トラッカーは、次の画像フレームにおいてその分析を開始する。次に、ブロック５０８において、新たに検出された顔が例えば正面に近いビューに正規化される（正規化は図７において、より詳細に例示される）。
[0068] いくつかの実施形態において、この正規化された検出された顔は、対象者テンプレート候補とみなされる。次に、新しい対象者参照テンプレート候補は、例えばブロック５１０において、まだ存在するものがある場合、（例えば以前の画像フレームから獲得された）既存の対象者参照テンプレート候補と比較される。様々な基準が、例えば、別の以前に捕捉された対象者参照テンプレート候補の置換として新しい対象者参照テンプレート候補を維持するか、又は、新しい対象者参照テンプレート候補を破棄するかを判定するために使用される。最終的に、最も代表的な対象者参照テンプレート候補のみが選択されて、対象者参照データベース４１２に保持される。図８は、対象者参照テンプレートを生成することにおける使用のために、取り込みデジタル画像がどのように選択（５１０）されるかについての一例をさらに詳細に例示している。
[0069] ここで顔追跡ブロック５０４を見ると、各取り込み画像フレームにおける以前に検出された追跡対象の顔の各々に対して、ブロック５１２において、対応する対象者がカメラの視野を去ろうとしているか否かが判定される。図６は、対象者が去ろうとしているか否かについての判定がどのように行われるかの一例を示す。ブロック５１２における判定結果がはい（ｙｅｓ）である場合、動作はブロック５０４に戻り、次の追跡対象の顔が選択される。ブロック５１２における判定結果が「いいえ（ｎｏ）」である場合、ブロック５１４においてホモグラフィ推定が、例えば、現在の取り込み画像フレームにおける追跡対象の顔の三次元的な頭部のポーズを推定するために実施される。推定されたポーズに基づいて、現在のフレームにおける追跡対象顔画像が、ブロック５１６において（顔の外観におけるポーズの効果を除去して）「正面化」される。制御は、次に、ブロック５０８に進む。
[0070] 図６は、例えば（例えばブロック４０６における）取り込み中に、又は、後から（例えばブロック４２２における）対象者監視中に対象者の顔を検出するための１つの例示的な技術を示している。カメラの視野（「ＦＯＶ」）６４０が示されており、本明細書において説明される任意のカメラ、例えばカメラ４５６又はカメラ４７６と関連付けられる。図６は、入る対象者（６４２Ａ）と去る対象者（６４２Ｂ）との両方の検出を示す。両方の状況は、対象者の顔がＦＯＶ６４０において部分的に視認可能であるときにのみ発生する。対象者の存在は、例えば、ＦＯＶ６４０に対する顔領域の重なりの割合を測定することにより検出される。割合が例えば１といった特定の数未満であり、以前のフレームに比べて増加している場合、対象者が入りつつあると判定される。そうでない場合、割合が１より大きく、以前のフレームに比べて減少している場合、対象者が去りつつあると判定される。２つの状況のうちのいずれかが所定の時間インターバル、例えば５秒の間続いた場合、対象者が入ったか去ったかを判定することが可能である。
[0071] 図７は、例えば、図４のブロック４２５、及び／又は図５のブロック５０８において実施される１つの例示的な顔正規化ルーチンの詳細を示す。入力は、例えば、図４のブロック４２２又はブロック４２４から、及び／又は、図５のブロック５０６／５１６からの検出された顔画像の形態をとる。出力は、正規化された検出された顔画像である。ブロック７０２及び７０４において、左目及び右目の検出動作が実施される（動作７０２及び７０４は逆の順序で、又は並列に実施されてもよい）。これらの動作は、様々な画像処理技術、例えば、エッジ検出、テンプレートマッチング、固有空間法、ハフ変換、形態的演算、訓練されたニューラルネットワークなどを含む。ブロック７０６において、両目が首尾よく検出された場合、制御はブロック７１４に進み、この段階で顔が正規化される（例えば、幾何学的ワーピングが顔を概ね前向きにするために、検出された顔画像に適用される）。ブロック７１４から、制御は、例えば、図４のブロック４２６、又は図５のブロック５１０に進む。
[0072] ブロック７０６における判定結果が「いいえ（ｎｏ）」である場合、次にブロック７０８において、どちらかの目が検出されたかが判定される。判定結果が「いいえ（ｎｏ）」である場合、次に制御は、動作７１４の下流に進み、いくつかの場合において、失敗イベントが発せられ、次に制御が、例えば図４のブロック４２６に、又は図５のブロック５１０に進む。ブロック７０２〜７０４において片目のみが首尾よく検出された場合、ブロック７１０において、検出された目領域が水平にミラーリングされ、ミラーアイパッチが、他方の目を位置特定するために、例えばテンプレートマッチングを使用して探索される。次に、動作は、前述のブロック７１４に進む。
[0073] 図８は、例えば、図４のブロック４０８及び図５のブロック５１０において、例えば、対象者参照データベース４１２に含めるために、検出された顔画像が対象者参照テンプレートとしてどのように選択されるかの一例を示す。制御は、例えば、図４のブロック４０６、（検討中の検出された顔画像が現在の取り込みデジタル画像フレームにおいて新たに検出された場合）図５のブロック５０８、及び／又は、（検討中の検出された顔画像が以前の取り込みデジタル画像フレームにおいて検出されており、現在追跡されている場合）図５のブロック５１６といった様々な位置から図８の動作に進む。ブロック８０２において、顔が塞がれているか否かが判定される。判定結果が「はい（ｙｅｓ）」である場合、制御はブロック５０４に進み、この段階で、（存在する場合は）次の追跡対象の顔が分析される。
[0074] ブロック８０２における判定結果が「いいえ（ｎｏ）」である場合、ブロック８０６において、現在の対象者に対する現在の検出された顔画像と任意の既存の対象者参照テンプレートとの間における画像の類似性が判定される。ブロック８０８において、現在の対象者に対して収集されたまだ十分な対象者参照テンプレートが存在するか否かが判定される。様々な数の対象者参照テンプレートが、新しい対象者の各々に対して選択される。いくつかの実施形態において、９つという多さの対象者参照テンプレートが収集される。より多くの対象者参照テンプレートを収集することが実施可能であるが、ある点を超えた後は、見返りは少なくなる。
[0075] 現在の対象者に対して収集された十分な対象者参照テンプレートがまだ存在しない場合、（図４と同じ）ブロック４０８〜４１０において、現在の検出された顔画像が対象者参照テンプレートを生成するために使用され（４０８）、対応するテンプレート特徴ベクトルが生成され（４０９）、次に、両方が、対象者参照データベース４１２に追加される（４１０）。しかし、ブロック８０８において、収集されたテンプレートが既に十分に存在している場合、いくつかの実施形態において、以前に収集された対象者参照テンプレートを置換することを許可するために、現在の検出された顔画像が、現在の対象者の以前に収集された対象者参照テンプレートと十分に異なるか否かが判定される。例えば、ブロック８１２において、以前に収集された対象者参照テンプレートのうちの任意のものが互いに異なっていることに比べて、現在の検出された顔画像が以前に収集された対象者参照テンプレートの各々からさらに大きく異なっているか否かについて判定が行われる。特定の対象者参照テンプレートに対して判定結果が「はい（ｙｅｓ）」である場合、現在の検出された顔画像は、対象者参照データベース４１２における特定の対象者参照テンプレートを置換する新しい対象者参照テンプレートを生成するために使用される（４０９）。例えば、対応するテンプレート特徴ベクトルが生成され４０９、テンプレート及び特徴ベクトルが対象者参照データベース４１２に追加される（４１０）。
[0076] 図８の動作（及び、より概括的には図５の動作）は、カメラ４５６により捕捉された取り込みデジタル画像ごとに反復され、各対象者は、例えば、対象者が取り込みエリアを去るまで（ブロック５１２）追跡される。結果として、対象者がカメラ４５６のＦＯＶ６４０にいる間に獲得された取り込みデジタル画像の総数のうち、最も適切な（例えば最も多様な）ビューを含むｎ個の取り込みデジタル画像が、その特定の対象者に対する対象者参照テンプレートを生成するために選択される。上述のように、これらの対象者参照テンプレート及び／又は対応するテンプレート特徴ベクトルは、例えば、対象者が対象者監視ルーチン４１４においてクエリを出されたことに応答して、後で使用される。
[0077] 図５及び図８は、対象者参照データベース４１２に記憶される各対象者に対する対象者参照テンプレート及び対応するテンプレート特徴ベクトルを収集することに関連している。図６及び図７は、対象者参照テンプレートを収集することと、例えば病院の待合室といった取り込みエリアより下流のエリアにおける対象者を識別するために、それらの対象者参照テンプレートを使用することとの両方に関連している。図９は後者に関連している。特に、図９は、図４の「特徴比較」ブロック４２６、及び図４のブロック４２７及び４２８の一部として、例えば患者識別モジュール２６０により実施される動作の一例を示す。
[0078] 図９において２つの入力、すなわち、検討中の現在の検出された顔画像と、対象者参照データベース４１２からの対象者参照テンプレートとが受信される。図９に示されるように、現在の検出された顔画像は、待合室１０４などのエリアに配備されたカメラ９７６（又は図４における４７６）から獲得されたデジタル画像（例えば、図４における４２０）に基づいて生成される。図９に示されていないが、様々な実施形態において、図９において入力として受信される検出された顔画像を生成するために、図４におけるブロック４２２〜４２５の動作のうちの１つ又は複数が実施される。
[0079] ブロック９０２において、検出された顔画像が、検出された顔画像のうちの１つ又は複数に関連した（「ベクトル化記述子」とも呼ばれる）いわゆる「顔特徴ベクトル」を（ブロック９０４において）生成するために、機械学習モデル、例えば上述の畳み込みニューラルネットワーク間の入力として適用される。いくつかの実施形態において、対象者参照テンプレートとともに対象者参照データベース４１２に記憶されたテンプレート特徴ベクトルを生成するために図４のブロック４０９において使用されたものと同じ畳み込みニューラルネットワークが使用される。その一方で、ブロック９０６において、すべての登録された対象者のテンプレート特徴ベクトルが入手され、及び／又は、対象者参照データベース４１２において位置特定される。他の実施形態において、すべての登録された対象者のテンプレート特徴ベクトルは、例えば同じ畳み込みニューラルネットワークを使用してブロック９０２の動作と同時に、オンザフライにより生成される。
[0080] いくつかの実施形態において、ブロック９０８において、１つ又は複数の顔特徴ベクトル９０４（例えば、複数の顔特徴ベクトルの平均）とテンプレート特徴ベクトル９０６との間の距離が特定される。特徴ベクトル間の距離は、ユークリッド距離であってもなくてもよく、様々な手法により、例えばコサイン類似度、ドット積などを使用して特定される。いくつかの実施形態において、検討中の顔特徴ベクトル（例えば、検討中の顔特徴ベクトルからの最短ユークリッド距離）に最も類似した１つ又は複数のテンプレート特徴ベクトルが特定される最近傍（「ＮＮ」）探索の一部として、距離（又は、類似度の他の尺度）が使用される。いくつかの実施形態において、１番目の最近傍及び２番目の最近傍が特定され、例えば、顔特徴ベクトルからのそれぞれのユークリッド距離に逆相関した、及び、したがって類似度の尺度を表すいわゆる「相関スコア」であるＮＮ及びＮＮ＿２ｎｄスコアと関連付けられる。
[0081] いくつかの実施形態において、ＮＮスコアとＮＮ＿２ｎｄスコアとの間の関連、比率などは、（対象者参照データベース４１２における登録された対象者に対する対応を再確認する）最近傍テンプレート特徴ベクトルが、（対象者参照データベース４１２における別の登録された対象者に対応した）２番目の最近傍テンプレート特徴ベクトルより、（検出された対象者に対応した）顔特徴ベクトルと十分に類似しているか否かを判定するために分析される。例えば、ブロック９１０において、ＮＮスコア／ＮＮ＿２ｎｄスコアが（例えば、手動で設定される、経験的に学習されるなどされる）何らかの所定の閾値より大きいか否かについて判定が行われる。判定結果が「はい（ｙｅｓ）」である場合、そのことは、最近傍テンプレート特徴ベクトルが、２番目の最近傍より、検出された対象者に対して実質的に適切に適合しており、したがって、最近傍が、検出された顔画像と同じ対象者に対応する可能性が高いことを直感的に意味する。その一方で、判定結果が「いいえ（ｎｏ）」である場合、最近傍は２番目の最近傍より実質的に適切に適合するものではない。
[0082] ブロック９１０における判定結果が（ｙｅｓ）であると仮定すると、いくつかの実施形態において、現在の検出された顔画像及び／又は検討中の顔特徴ベクトルが、それぞれ、本明細書において「補助対象者参照テンプレート」及び「補助テンプレート特徴ベクトル」と呼ばれるものとして記憶されなければならないか否かについて判定が行われる。補助対象者参照テンプレート及び／又はそれらの対応する補助テンプレート特徴ベクトルは、対象者参照データベース４１２に既に記憶された既存の対象者参照テンプレート／テンプレート特徴ベクトルを補完する、又は置き換えるために使用される。すなわち、補助対象者参照テンプレート及び／又は補助テンプレート特徴ベクトルは、待合室１０４などのエリアにおける対象者をより正確に識別するために後で使用される。いくつかの実施形態において、補助テンプレート特徴ベクトルのみが、対象者参照データベース４１２に記憶されてよいが、これが必須とは限らない。
[0083] このような補助データを記憶することは、様々な技術的な利点を生む。補助対象者参照テンプレート／補助テンプレート特徴ベクトルは、通常、（例えばカメラ、例えばカメラ２５６、４５６を使用して捕捉される）登録中に生成された対象者参照テンプレートとは異なるカメラ（例えば２７６、３７６、４７６、９７６）により獲得されたデジタル画像（例えば４２０）を使用して生成される。登録時に生成された対象者参照テンプレート及びそれらの対応するテンプレート特徴ベクトルは、対象者が管理された環境（例えばトリアージ、登録など）にいる、及び、カメラを向いている可能性の高い取り込みデジタル画像４０４に基づく。対照的に、補助対象者参照テンプレート及びそれらの対応する補助テンプレート特徴ベクトルは、待合室１０４などのあまり管理されていない環境において獲得されたデジタル画像（例えば４２０）に基づいて生成される。結果として、補助対象者参照テンプレート／テンプレート特徴ベクトルは、登録／トリアージ時などのライティングと異なるライティングのもとで（及び多くの場合において、カメラを、又はカメラ付近を見ていない）様々な角度から対象者を写し出したデジタル画像から生成される。
[0084] 場合によってはより重要なことに、補助対象者参照テンプレート／テンプレート特徴ベクトルは、例えば雑誌を読みながら待合室１０４において座っている対象者の現在の状態において対象者をより正確に表す。したがって、顔特徴ベクトルが確信をもって対象者に適合したものであり得る場合、その顔特徴ベクトルは、将来の使用のために補助テンプレート特徴ベクトルを生成及び記憶するための適切な候補である。より多くの補助テンプレート特徴ベクトルが経時的に対象者に対して生成されるとき、これらの補助テンプレート特徴ベクトルは、登録時に生成された元のテンプレート特徴ベクトルに比べて、様々な（例えば待合室１０４後の）環境における対象者のより正確な識別を可能にする。
[0085] 図９を再度参照すると、いくつかの実施形態において、ブロック９１２において、最近傍テンプレート特徴ベクトルに対してブロック９０８において決定されたＮＮスコア（例えば相関スコア）が、検討中の顔特徴ベクトルと、最近傍に対応した登録された対象者に対する既に存在する任意の補助テンプレート特徴ベクトルとの間における（例えばユークリッド距離に基づいて）計算された相関スコアより大きいか否かについて判定が行われる。判定結果が「はい（ｙｅｓ）」である場合（又は、最近傍に対するどのような補助テンプレート特徴ベクトルもまだ存在しない場合）、ブロック９１６において、顔特徴ベクトルが、将来の使用のために対象者参照データベース４１２に新しい補助テンプレート特徴ベクトルとして追加される。いくつかの実施形態において、検出された顔画像自体は、また、補助対象者参照テンプレートとして追加されてよいがこれが必須とは限らない。
[0086] 次に、ブロック９１４（又は図４の４２８）において、検出された対象者の識別情報（及び／又は位置、例えば待合室の椅子）が、例えば、医療関係者に出力として、又は、１つ又は複数の生命兆候獲得カメラを使用した対象者からの生命兆候の目立たない獲得に役立つように提供される。ブロック９１２における判定結果が「いいえ（ｎｏ）」である場合−対象者に対する対象者参照データベース４１２に記憶された、１つ又は複数の「より適切な」補助テンプレート特徴ベクトルが既に存在することを意味する−、制御は、対象者参照データベース４１２に新しい補助テンプレート特徴ベクトルを追加せずに、ブロック９１４に直接進む。
[0087] いくつかの場合において、登録中に生成された対象者参照テンプレート及び／又は対応するテンプレート特徴ベクトルは、検出された顔画像に写し出された対象者を識別するのに十分ではない場合がある。例えば、待合室にいる対象者の獲得されたデジタル画像（例えば４２０）が（例えば、異なる角度、ライティングなどに起因して）登録中に獲得された取り込みデジタル画像４０４と大幅に異なることを想定してみる。このような状況において検出された対象者が、１人より多い登録された対象者に比較的近く適合するものであることが可能である。例えば、図９のブロック９１０において、２番目の最近傍に比べると、最近傍が顔特徴ベクトルにより類似していると十分にいえない（例えば、ＮＮ／ＮＮ＿２ｎｄ＜前述の閾値）と判定される。
[0088] このようなシナリオにおいて、補助テンプレート特徴ベクトルは、特に有用であることを証明する。例えば、ブロック９１０における判定結果が「いいえ（ｎｏ）」である場合、ブロック９１８において、最近傍に対応した登録された対象者に関連した任意の補助テンプレート特徴ベクトルが（例えば対象者参照データベース４１２に）存在するか否かが判定される。判定結果が「はい（ｙｅｓ）」である場合、ブロック９２０において、新しいＮＮスコアが、例えば、最近傍の補助テンプレート特徴ベクトルと現在検討中の顔特徴ベクトルとの間のユークリッド距離として計算される。新しいＮＮ＿２ｎｄスコアを生成するために２番目の最近傍に対して、ブロック９２２及び９２４において、同様の動作が実施される。次に、ブロック９２６において、例えば（例えば式、例えばＮＮ／ＮＮ＿２ｎｄ又はＮＮ＿２ｎｄ／ＮＮを使用して決定された）それらの間の比が所定の閾値（例えば、ブロック９１０におけるものと同じ閾値又は異なる閾値）を満たすか否かを判定するように、新しいＮＮスコア及び新しいＮＮ＿２ｎｄスコアが分析される。判定結果が「はい（ｙｅｓ）」である場合、制御は（上述の）ブロック９１４に進み、そうでない場合、ブロック９２８において、検出された対象者の識別情報について判断がなされない（例えば、「結論なし」の出力が提供される）。
[0089] 図１０は、様々な実施形態による、本開示の選択された態様を実施するための例示的な方法１０００を示す。便宜上、フロー図の動作は、動作を実施するシステムを参照しながら説明される。このシステムは、患者監視システム２５２を含む様々なコンピュータシステムの様々なコンポーネントを含んでよい。さらに、方法１０００の動作は特定の順序で示されるが、これは限定することを意味しない。１つ又は複数の動作が並べ変えられ、省略され、又は追加されてよい。
[0090] ブロック１００２において、システムは、例えば第１のカメラ（例えば２７６、３７６、４７６）から待合室１０４などのエリアにおける対象者を写し出した１つ又は複数のデジタル画像（例えばビデオフレーム）を獲得する。例えば、いくつかの実施形態において、システムは、第１のデジタルカメラにより獲得された複数のデジタル画像を含むビデオフィードを獲得する。ブロック１００４において、システムは、対象者の顔を写し出した１つ又は複数のデジタル画像の１つ又は複数の部分を、１つ又は複数の検出された顔画像として検出する。様々な実施形態において、図４のブロック４０６において使用された技術と同様の技術（そのうちの一例が図６においてさらに詳細に説明される）が、顔を検出するために使用される。いくつかの実施形態において、カメラを向いた状態から４０度から４５度の程度の頭部のポーズが、顔を検出するために使用可能である。上述のように、いくつかの実施形態において、検出された対象者の様々な異なるポーズ、顔の表情などを写し出した、複数のデジタル画像（例えばビデオストリーム）の「キーフレーム」が（例えばブロック４２４において）選択される。さらに、様々な実施形態において、検出された顔画像が対象者の顔のみを含む、又は主に対象者の顔を含むように、デジタル画像（例えばキーフレーム）が、様々な顔検出技術（例えばテンプレート比較）を使用して分析される、切り取られる、それらの背景を除去させることなどが行われる。
[0091] ブロック１００６において、システムは、１つ又は複数の検出された顔画像の特徴を、対象者参照データベース（４１２）における１人又は複数人の対象者に関連した対象者参照テンプレートの特徴と比較する。追加的に、又は代替的に、システムは、１つ又は複数の検出された顔画像の特徴を、対象者に関連した補助テンプレート特徴ベクトルと比較する。特に、対象者参照テンプレートは、第２のカメラ（例えば２５６、４５６）により獲得された取り込みデジタル画像（４０４）に基づいて生成されたものであるのに対し、補助テンプレート特徴ベクトルは、異なる第２のカメラ（例えば２７６、３７６、４７６）により獲得されたデジタル画像に基づいて生成されたものである。したがって、及び上述のように、補助テンプレート特徴ベクトルは、対象者の現在の状態（例えば待合室１０４において座っている、カメラを見ていない）をより正確に表し、したがって、対象者を正確に識別するという、例えば患者識別モジュール２６０の能力を高める。
[0092] 様々な実施形態において、ブロック１００６の比較は、例えば、対応する顔特徴ベクトルを生成するために、システムが（ブロック１００８において）、検出された顔画像を１つ又は複数のニューラルネットワーク（例えば上述の畳み込みニューラルネットワーク）間の入力として適用することといった動作を有する。ブロック１０１０において、システムは、生成された顔特徴ベクトルを、同じ又は異なるニューラルネットワークにわたって対象者参照テンプレートの（例えば、登録／トリアージ中に、又は登録／トリアージのすぐ後に発生したものである）適用により生成されたテンプレート特徴ベクトルと比較する。ここまでに説明されているように、対象者参照テンプレートが、第２のカメラ（例えば２５６、４５６）により獲得された取り込みデジタル画像４０４に基づいて生成されたものであるので、テンプレート特徴ベクトルも、第２のカメラにより獲得されたデジタル画像に基づいて生成されたものである。ブロック１０１２において、システムは、追加的に、又は代替的に、顔特徴ベクトルを、第２のカメラではなく第１のカメラ（例えば２７６、３７６、４７６）により獲得されたデジタル画像（例えば４２０）に基づいて生成された補助テンプレート特徴ベクトルと比較する。上述のように、ブロック１００８〜１０１２の比較動作のうちの１つ又は複数は、様々な技術、例えば、ドット積、コサイン類似度、ジョイントエンベッディングなどを使用してユークリッド距離を特定することを伴う。
[0093] ブロック１０１４において、比較することに基づいて、対象者の識別情報が特定される。さらに、比較することに基づいて−例えば検出された顔画像の特徴が、２番目の最近傍より最近傍に十分に近い場合−ブロック１０１６において、１つ又は複数の検出された顔画像の特徴が、例えば補助テンプレート特徴ベクトルとして対象者に関連して対象者参照データベース４１２に記憶される。例えば、いくつかの実施形態において、システムは、検出された顔画像のうちの１つ又は複数から生成された顔特徴ベクトルと、対象者参照データベース４１２における第１の対象者に関連した対象者参照テンプレートから生成された第１のテンプレート特徴ベクトルとの間の第１の（例えばユークリッド）距離を特定する。システムは、顔特徴ベクトルと、対象者参照データベース４１２における第２の対象者に関連した対象者参照テンプレートから生成された第２のテンプレート特徴ベクトルの間の第２の距離を同様に特定する。いくつかの場合において、これらの距離（及び、追加的な登録された対象者が存在する場合の追加的な距離）は、類似度に直接関係した前述の「相関スコア」を計算するために、ブロック９０８に関連してここまでに説明されている最近傍探索の一部として使用される。前述のＮＮスコア及びＮＮ＿２ｎｄスコアに対応する第１の相関スコアと第２の相関スコアとの間の関係に基づき、顔特徴ベクトルは、対象者参照データベース４１２に補助テンプレート特徴ベクトルとして記憶される。
[0094] ブロック１０１６において特定された対象者の識別情報は、様々な目的のために使用される。いくつかの実施形態において、（ブロック１００２において獲得された）元のデジタル画像に写し出された対象者の位置は、例えば、デジタル画像を捕捉したカメラのＰＴＺ設定に基づいて特定される。例えば、いくつかの実施形態において、カメラは、各位置における対象者を探索しながら、複数の位置、例えば待合室１０４における椅子にわたって走査するように構成される。対象者が特定の位置において検出され、次に、登録された対象者に適合している場合、対象者の識別情報が、例えば、対象者の位置とともに、勤務中の看護師又は他の医療関係者に音声又は視覚出力として提供される。いくつかの実施形態において、識別情報／位置は、患者監視システム２５２の他のモジュールに出力される。
[0095] 他のシナリオにおいて例えば、対象者の生命兆候が（例えばカメラ２７６を目立たずに使用して）監視され得ること、対象者が医師の診察を受けるように選ばれ得ることなどのために、特定の登録された対象者（例えばクエリを出された対象者）の位置が所望される。このような状況において、方法１０００は、探索されている対象者が位置特定されるまで、待合室１０４などのエリアを監視する１つ又は複数のカメラにより検出された各対象者に対して実施される。いくつかのこのようなシナリオにおいて、（例えば対象者が救急部門の処置エリアに入院させられた、又は、対象者が診察を受けずに去ったという理由から）クエリを出された対象者が発見されない場合、関連する職員（例えば病院スタッフ）が通知を受ける。対象者が、例えば洗面所を利用するために一時的に去った場合、対象者が後の時点において監視され得るように、対象者が上述の患者キューに再度入れられる。
[0096] 図１１は、例示的なコンピュータシステム１１１０のブロック図である。コンピュータシステム１１１０は、典型的には、バスサブシステム１１１２を介して多くの周辺デバイスと通信する少なくとも１つのプロセッサ１１１４を含む。本明細書において使用されるとき、「プロセッサ」という用語は、例えば、マイクロプロセッサ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、他の同様のデバイス、及びそれらの組合せといった、本明細書において説明されるコンポーネントによる様々な機能を実施することができる様々なデバイスを包含するように理解される。これらの周辺デバイスは、例えば、メモリサブシステム１１２５及びファイル記憶サブシステム１１２６を含むデータ保持サブシステム１１２４、ユーザーインターフェース出力デバイス１１２０、ユーザーインターフェース入力デバイス１１２２、及びネットワークインターフェースサブシステム１１１６を含む。入力及び出力デバイスは、コンピュータシステム１１１０とのユーザーの対話を可能にする。ネットワークインターフェースサブシステム１１１６は、他のコンピュータシステムにおける対応するインターフェースデバイスに結合された外部ネットワークへのインターフェースを提供する。
[0097] ユーザーインターフェース入力デバイス１１２２は、キーボード、ポインティングデバイス、例えば、マウス、トラックボール、タッチパッド、又はグラフィックスタブレット、スキャナ、ディスプレイに組み込まれたタッチスクリーン、音声入力デバイス、例えば、音声認識システム、マイクロホン、及び／又は、他の種類の入力デバイスを含む。概して、「入力デバイス」という用語の使用は、コンピュータシステム１１１０に、又は通信ネットワーク上に情報を入力するためのすべての可能な種類のデバイス及び手法を含むことが意図される。
[0098] ユーザーインターフェース出力デバイス１１２０は、ディスプレイサブシステム、プリンター、ファックス機、又は、非視覚表示器、例えば、音声出力デバイスを含んでよい。ディスプレイサブシステムは、ブラウン管（ＣＲＴ）、フラットパネルデバイス、例えば、液晶ディスプレイ（ＬＣＤ）、投影デバイス、又は、視認可能画像を生成するための何らかの他のメカニズムを含んでよい。ディスプレイサブシステムは、例えば音声出力デバイスを介して非視覚表示をさらに提供してよい。概して、「出力デバイス」という用語の使用は、コンピュータシステム１１１０からユーザーに、又は別の機械又はコンピュータシステムに情報を出力するすべての可能な種類のデバイス及び手法を含むことが意図される。
[0099] データ保持システム１１２４は、本明細書において説明されているモジュールのうちの一部又はすべての機能を提供するプログラミング及びデータ構造を記憶する。例えば、データ保持システム１１２４は、図４〜図１０の選択された態様を実施するための、及び／又は、患者識別モジュール２６０、患者捕捉モジュール２５４などを含む患者監視システム２５２の１つ又は複数のコンポーネントを実施するための論理部を含む。
[00100] これらのソフトウェアモジュールは、概して、単独で、又は他のプロセッサと組み合わされてプロセッサ１１１４により実行される。記憶サブシステムにおいて使用されるメモリ１１２５は、プログラム実行中における命令及びデータの記憶のための主ランダムアクセスメモリ（ＲＡＭ）１１３０、固定の命令が記憶された読み出し専用メモリ（ＲＯＭ）１１３２、及び、（追加的に、又は代替的に、少なくとも１つのプロセッサ１１１４と統合されてよい）他の種類のメモリ、例えば命令／データキャッシュを含む多くのメモリを含み得る。ファイル記憶サブシステム１１２６は、プログラム及びデータファイルのための永続的記憶装置を提供し得、ハードディスクドライブ、関連する取り外し可能媒体を伴うフロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、光学ドライブ、又は取り外し可能媒体カートリッジを含んでよい。特定の実施態様の機能を実施するモジュールは、データ保持システム１１２４における、又は、プロセッサ１１１４によりアクセス可能な他の機械におけるファイル記憶サブシステム１１２６により記憶されてよい。本明細書において使用されるとき、「非一時的なコンピュータ可読媒体」という用語は、揮発性メモリ（例えばＤＲＡＭ及びＳＲＡＭ）と不揮発性メモリ（例えばフラッシュメモリ、磁気記憶装置、及び光記憶装置）との両方を包含するが、一時的な信号を排除しないと理解される。
[00101] バスサブシステム１１１２は、コンピュータシステム１１１０の様々なコンポーネント及びサブシステムを意図される通りに互いに通信させるためのメカニズムを提供する。バスサブシステム１１１２は１つのバスとして概略的に示されるが、バスサブシステムの代替的な実施態様が複数のバスを使用してよい。いくつかの実施形態において、特に、コンピュータシステム１１１０が、１つ又は複数のネットワークを介して接続された複数の個々のコンピューティングデバイスを備える場合、１つ又は複数のバスは、有線又は無線ネットワーク接続を追加され、及び／又は有線又は無線ネットワーク接続と置換され得る。
[00102] コンピュータシステム１１１０は、ワークステーション、サーバー、演算クラスター、ブレードサーバー、サーバーファーム、又は、任意の他のデータ処理システム又はコンピューティングデバイスを含む様々な種類のものであり得る。いくつかの実施形態において、コンピュータシステム１１１０は、クラウドコンピューティング環境において実施されてよい。コンピュータ及びネットワークの絶えず変わり続ける性質に起因して、図１１に示されるコンピュータシステム１１１０の説明は、いくつかの実施態様を示すことを目的とした特定の例であることが意図されるにすぎない。コンピュータシステム１１１０の多くの他の構成が、図１１に示されるコンピュータシステムより多くの、又は、より少ないコンポーネントを含むことが可能である。
[00103] いくつかの実施形態が本明細書において説明されており、及び示されているが、当業者は本明細書において説明されている機能を実施するための、及び／又は、結果及び／又は利点のうちの１つ又は複数を得るための様々な他の手段及び／又は構造を容易に導き出し、このような変形例及び／又は修正例の各々が本明細書において説明される実施形態の範囲内であるとみなされる。より概括的には、当業者は、本明細書において説明されているすべてのパラメータ、寸法、材料、及び構成が例示的であることが意図されること、及び、実際のパラメータ、寸法、材料、及び／又は構成が、本教示が使用される特定の１つ又は複数の用途に依存することを容易に理解する。当業者は、本明細書において説明される特定の実施形態と均等な多くのものを、通常の範囲を越えない実験を行うことにより認識する、又は把握することができる。したがって前述の実施形態が単なる例示として提示されること、及び、添付の請求項及び請求項と均等なものの範囲において、実施形態が具体的に説明されたもの、及び請求項に記載されたものとは別様に実施されてよいことが理解される。本開示の本発明の実施形態は、本明細書において説明される個々の機能、システム、物品、材料、キット、及び／又は方法の各々に関する。加えて、２つ以上のこのような特徴、システム、物品、材料、キット、及び／又は方法の任意の組合せは、このような特徴、システム、物品、材料、キット、及び／又は方法が相互に矛盾を生じない場合、本開示の範囲に含まれる。
[00104] 本明細書において定義されている、及び使用されているすべての定義が、辞書の定義、参照により組み込まれる文献における定義、及び／又は、定義される用語の通常の意味に優先すると理解されなければならない。
[00105] 本明細書において、及び特許請求の範囲において本開示において使用される単数形は、そうでないことが明示的に示されない限り、「少なくとも１つの」を意味すると理解されなければならない。
[00106] 本明細書において、及び特許請求の範囲において本開示において使用される「及び／又は」という表現は、そのように等位結合された要素の「いずれか又は両方」、すなわち、いくつかの場合において接続的に存在し、他の場合において離接的に存在する要素を意味すると理解されなければならない。「及び／又は」を使用して列挙された複数の要素は、同じ手法により、すなわち、そのように等位結合された要素のうちの「１つ又は複数」と解釈されなければならない。特に特定された要素に関連するか関連しないかにかかわらず、「及び／又は」節により特に特定された要素以外に、他の要素が任意選択的に存在してよい。したがって、非限定的な例として、「Ａ及び／又はＢ」という表現は、例えば「備える（含む、有する、もつ）」といったオープンエンドな表現と併用されたとき、例えば、一実施形態において（Ｂ以外の要素を任意選択的に含んで）Ａのみを表してよく、別の実施形態において、（Ａ以外の要素を任意選択的に含んで）Ｂのみを表してよく、さらに異なる別の実施形態において、（他の要素を任意選択的に含んで）ＡとＢとの両方を表してよい。
[00107] 本明細書において、及び特許請求の範囲において本開示において使用されるとき、「又は」は、上記のように定義された「及び／又は」と同じ意味をもつと理解されなければならない。例えば、リストにより項目を区別している場合、「又は」又は「及び／又は」は非排他的であるとして、すなわち、多くの要素のうちの、又は要素のリストのうちの少なくとも１つを含むことだけでなく、１つより多くの要素を含むこと、及び、任意選択的に追加的でリストにない項目を含むことを表すと解釈されることとする。その反対に例えば「のうちの１つのみ」又は「のうちのただ１つ」と明示された、又は、特許請求の範囲において使用される場合に「からなる」と明示された項目のみが、多くの要素のうちの、又は要素のリストのうちのただ１つの要素を含むことを表す。概して、本明細書において使用される「又は」という用語は、例えば「いずれか」、「のうちの１つ」、「のうちの１つのみ」、又は「のうちのただ１つ」といった排他性の用語により修飾されている場合、排他的な選択肢（すなわち「一方又は他方であり両方ではない」）のみを示すと解釈されることとする。「実質的に〜からなる」は、特許請求の範囲において使用される場合、特許法の分野において使用されるその通常の意味をもつこととする。
[00108] 本明細書において、及び特許請求の範囲において本開示において使用されるとき、１つ又は複数の要素のリストにおける「少なくとも１つの」という表現は、要素のリストに含まれる要素のうちの任意の１つ又は複数のものから少なくとも１つの要素が選択されることを意味するが、要素のリスト内に特に列挙された要素の各々のうちの少なくとも１つを含むことに限定されず、要素のリストにおける要素の任意の組合せを排除しないことを意味すると理解されなければならない。この定義は、特に特定された要素に関連するか関連しないかにかかわらず、「少なくとも１つの」という表現が参照する要素のリストにおいて特に特定された要素以外の要素が、任意選択的に存在してよいことをさらに可能にする。したがって、非限定的な例として、例えば、「ＡとＢとのうちの少なくとも１つ」（又は、同様に、「Ａ又はＢのうちの少なくとも１つ」、又は、同様に「Ａ及び／又はＢのうちの少なくとも１つ」）は、一実施形態において、Ｂの存在しない（及びＢ以外の要素を任意選択的に含む）状態において少なくとも１つ（１つより多い場合を任意選択的に含む）のＡを参照してよく、別の実施形態において、Ａの存在しない（及びＡ以外の要素を任意選択的に含む）状態において、少なくとも１つ（１つより多い場合を任意選択的に含む）のＢを参照してよく、さらに異なる別の実施形態において、少なくとも１つ（１つより多い場合を任意選択的に含む）のＡ、及び、少なくとも１つ（１つより多い場合を任意選択的に含む）のＢを（及び他の要素を任意選択的に含むように）参照してよい。
[00109] そうでないことが明示的に示されない限り、１つより多いステップ又は動作を有する本明細書の請求項に記載された任意の方法において、方法のステップ又は動作の順序は、方法のステップ又は動作が記載されている順序に限定されるとは限らないことも理解されなければならない。
[00110] 特許請求の範囲において、及び、ここまでの明細書において例えば「備える」、「含む」、「もつ」、「有する」、「含有する」、「伴う」、「保持する」、「から構成された」などのすべての移行句は、オープンエンドであり、すなわち、〜を含むがこれらに限定されないということを意味すると理解される。米国特許庁特許審査便覧のセクション２１１１．０３に記載されているように、「からなる」及び「実質的に〜からなる」という移行句のみが、それぞれ、クローズな、又は半クローズな移行句であるとする。特許協力条約（「ＰＣＴ」）の規則６．２（ｂ）に基づいて特許請求の範囲において使用される特定の表現及び参照符号は、特許請求の範囲を限定しないことが理解されなければならない。

Claims (20)

  1. １つ又は複数のプロセッサにより実施される方法であって、前記方法が、
    エリアにおける対象者を写し出した１つ又は複数のデジタル画像を、第１のカメラを使用して獲得するステップと、
    前記対象者の顔を写し出した１つ又は複数の前記デジタル画像の１つ又は複数の部分を、前記対象者に関連した１つ又は複数の検出された顔画像として検出するステップと、
    １つ又は複数の前記検出された顔画像の特徴を、対象者参照データベースにおける１人又は複数人の対象者に関連した対象者参照テンプレートの特徴と比較するステップであって、前記対象者参照データベースが、複数人の対象者に関連した対象者参照テンプレートを記憶し、前記対象者参照データベースに記憶された前記対象者参照テンプレートが、第２のカメラから受信されたデータに基づいて生成される、比較するステップと、
    前記比較するステップに基づいて、
    前記対象者の識別情報を特定するステップと、
    後の使用のための補助テンプレート特徴ベクトルとして、前記対象者に関連して前記対象者参照データベース内に１つ又は複数の前記検出された顔画像の前記特徴を記憶するステップと、
    を有する、方法。
  2. 前記比較するステップが、
    １つ又は複数の対応する顔特徴ベクトルを生成するために、ニューラルネットワーク間の入力として１つ又は複数の前記検出された顔画像を適用するステップと、
    複数の対応するテンプレート特徴ベクトルを生成するために、前記ニューラルネットワーク間の入力として前記対象者参照テンプレートのうちの少なくともいくつかを適用するステップと、
    を有する、
    請求項１に記載の方法。
  3. 前記ニューラルネットワークが、畳み込みニューラルネットワークを含む、
    請求項２に記載の方法。
  4. 前記第２のカメラが、登録又はトリアージエリアに位置する、
    請求項１に記載の方法。
  5. 前記第１のカメラが、待合室又は一般病棟に位置する、
    請求項４に記載の方法。
  6. 前記エリア内の第２の対象者を写し出した１つ又は複数の後続のデジタル画像を、前記第１のカメラを使用して獲得するステップと、
    前記第２の対象者の顔を写し出した１つ又は複数の後続のデジタル画像の１つ又は複数の部分を、前記第２の対象者に関連した１つ又は複数の検出された顔画像として検出するステップと、
    前記第２の対象者に関連した１つ又は複数の前記検出された顔画像の特徴を、前記対象者参照データベースにおける１人又は複数人の前記対象者に関連した補助対象者参照テンプレートの特徴と比較するステップであって、前記補助対象者参照テンプレートが、前記第２の対象者の識別情報を特定するために、前記第１のカメラにより捕捉されたデジタル画像に基づいて生成される、比較するステップと、
    をさらに有する、
    請求項１に記載の方法。
  7. 前記補助テンプレート特徴ベクトルが、前記対象者に関連した既存のテンプレート特徴ベクトルに取って代わる、
    請求項１に記載の方法。
  8. 前記比較するステップが、
    前記検出された顔画像のうちの１つ又は複数から生成された顔特徴ベクトルと、前記対象者参照データベースにおける第１の対象者に関連した第１の対象者参照テンプレートから生成された第１のテンプレート特徴ベクトルとの間の第１の距離を特定するステップと、
    前記顔特徴ベクトルと、前記対象者参照データベースにおける第２の対象者に関連した対象者参照テンプレートから生成された第２のテンプレート特徴ベクトルとの間の第２の距離を特定するステップと、
    を有し、
    前記記憶するステップが、前記第１の距離と前記第２の距離との間の関係に基づく、
    請求項１に記載の方法。
  9. １つ又は複数のプロセッサと１つ又は複数の前記プロセッサに動作可能に結合されたメモリとを備えるシステムであって、１つ又は複数の前記プロセッサによる命令の実行に応答して、１つ又は複数の前記プロセッサが、
    エリアにおける対象者を写し出した１つ又は複数のデジタル画像を、第１のカメラを使用して獲得することと、
    前記対象者の顔を写し出した１つ又は複数の前記デジタル画像の１つ又は複数の部分を、前記対象者に関連した１つ又は複数の検出された顔画像として検出することと、
    １つ又は複数の前記検出された顔画像の特徴を、対象者参照データベース内の１人又は複数人の対象者に関連した対象者参照テンプレートの特徴と比較することであって、前記対象者参照データベースが、複数人の対象者に関連した対象者参照テンプレートを記憶し、前記対象者参照データベースに記憶された前記対象者参照テンプレートが、第２のカメラから受信されたデータに基づいて生成される、比較することと、
    前記比較に基づいて、
    前記対象者の識別情報を特定することと、
    後の使用のための補助テンプレート特徴ベクトルとして、前記対象者に関連して前記対象者参照データベース内に１つ又は複数の前記検出された顔画像の前記特徴を記憶することと、
    をすることをもたらす前記命令を前記メモリが記憶した、
    システム。
  10. 前記比較が、
    １つ又は複数の対応する顔特徴ベクトルを生成するために、ニューラルネットワーク間の入力として１つ又は複数の前記検出された顔画像を適用することと、
    複数の対応するテンプレート特徴ベクトルを生成するために、前記ニューラルネットワーク間の入力として前記対象者参照テンプレートのうちの少なくともいくつかを適用することと、
    を有する、
    請求項９に記載のシステム。
  11. 前記ニューラルネットワークが、畳み込みニューラルネットワークを含む、
    請求項１０に記載のシステム。
  12. 前記第２のカメラが、登録又はトリアージエリアに位置する、
    請求項９に記載のシステム。
  13. 前記第１のカメラが、待合室又は一般病棟に位置する、
    請求項１２に記載のシステム。
  14. 前記エリアにおける第２の対象者を写し出した１つ又は複数の後続のデジタル画像を、前記第１のカメラを使用して獲得することと、
    前記第２の対象者の顔を写し出した１つ又は複数の後続の前記デジタル画像の１つ又は複数の部分を、前記第２の対象者に関連した１つ又は複数の前記検出された顔画像として検出することと、
    前記第２の対象者に関連した１つ又は複数の前記検出された顔画像の特徴を、前記対象者参照データベース内の１人又は複数人の対象者に関連した補助対象者参照テンプレートの特徴と比較することであって、前記補助対象者参照テンプレートが、前記第２の対象者の識別情報を特定するために、前記第１のカメラにより捕捉された前記デジタル画像に基づいて生成される、比較することと、
    をするための命令をさらに備える、請求項９に記載のシステム。
  15. 前記補助テンプレート特徴ベクトルが、前記対象者に関連した既存のテンプレート特徴ベクトルに取って代わる、
    請求項９に記載のシステム。
  16. 比較するための前記命令が、
    前記検出された顔画像のうちの１つ又は複数から生成された顔特徴ベクトルと、前記対象者参照データベースにおける第１の対象者に関連した第１の対象者参照テンプレートから生成された第１のテンプレート特徴ベクトルとの間の第１の距離を特定することと、
    前記顔特徴ベクトルと、前記対象者参照データベースにおける第２の対象者に関連した対象者参照テンプレートから生成された第２のテンプレート特徴ベクトルとの間の第２の距離を特定することと、
    をするための命令を含み、
    前記記憶が、前記第１の距離と前記第２の距離との間の関係に基づく、
    請求項９に記載のシステム。
  17. １つ又は複数のプロセッサによる命令の実行に応答して、１つ又は複数の前記プロセッサが以下の動作、すなわち、
    エリアにおける対象者を写し出した１つ又は複数のデジタル画像を、第１のカメラを使用して獲得することと、
    前記対象者の顔を写し出した１つ又は複数の前記デジタル画像の１つ又は複数の部分を、前記対象者に関連した１つ又は複数の検出された顔画像として検出することと、
    １つ又は複数の前記検出された顔画像の特徴を、対象者参照データベースにおける１人又は複数人の前記対象者に関連した対象者参照テンプレートの特徴と比較することであって、前記対象者参照データベースが、複数人の対象者に関連した対象者参照テンプレートを記憶し、前記対象者参照データベースに記憶された前記対象者参照テンプレートが、第２のカメラから受信されたデータに基づいて生成される、比較することと、
    前記比較することに基づいて、
    前記対象者の識別情報を特定することと、
    後の使用のための補助テンプレート特徴ベクトルとして、前記対象者に関連して前記対象者参照データベース内に１つ又は複数の前記検出された顔画像の前記特徴を記憶することと、
    を実施することをもたらす前記命令を含む、少なくとも１つの非一時的なコンピュータ可読媒体。
  18. 前記比較することが、
    １つ又は複数の対応する顔特徴ベクトルを生成するために、ニューラルネットワーク間の入力として１つ又は複数の前記検出された顔画像を適用することと、
    複数の対応するテンプレート特徴ベクトルを生成するために、前記ニューラルネットワーク間の入力として前記対象者参照テンプレートのうちの少なくともいくつかを適用することと、
    を含む、
    請求項１７に記載のコンピュータ可読媒体。
  19. 前記ニューラルネットワークが、畳み込みニューラルネットワークを含む、
    請求項１８に記載のコンピュータ可読媒体。
  20. 前記第２のカメラが、登録又はトリアージエリアに位置し、前記第１のカメラが、待合室に位置する、
    請求項１７に記載のコンピュータ可読媒体。
JP2020514730A 2017-09-13 2018-09-07 対象者識別システム及び方法 Pending JP2020533702A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762557958P 2017-09-13 2017-09-13
US62/557,958 2017-09-13
PCT/EP2018/074148 WO2019052917A1 (en) 2017-09-13 2018-09-07 SYSTEMS AND METHODS FOR IDENTIFYING SUBJECTS

Publications (1)

Publication Number Publication Date
JP2020533702A true JP2020533702A (ja) 2020-11-19

Family

ID=63557454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514730A Pending JP2020533702A (ja) 2017-09-13 2018-09-07 対象者識別システム及び方法

Country Status (5)

Country Link
US (1) US11295150B2 (ja)
EP (1) EP3682365A1 (ja)
JP (1) JP2020533702A (ja)
CN (1) CN111344715B (ja)
WO (1) WO2019052917A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2958010C (en) 2016-02-19 2021-09-07 Covidien Lp System and methods for video-based monitoring of vital signs
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US10939824B2 (en) 2017-11-13 2021-03-09 Covidien Lp Systems and methods for video-based monitoring of a patient
CN111565638B (zh) 2018-01-08 2023-08-15 柯惠有限合伙公司 用于基于视频的非接触式潮气容积监测的系统和方法
US11547313B2 (en) 2018-06-15 2023-01-10 Covidien Lp Systems and methods for video-based patient monitoring during surgery
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
JP7483734B2 (ja) * 2019-03-26 2024-05-15 アルコン インコーポレイティド 医療処置に対してコンピュータ支援識別を利用するシステム及び方法
EP4010845A1 (en) 2019-08-09 2022-06-15 Clearview AI, Inc. Methods for providing information about a person based on facial recognition
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
CN111277893B (zh) * 2020-02-12 2021-06-25 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system
TWI838236B (zh) * 2023-05-02 2024-04-01 中國鋼鐵股份有限公司 人員偵測系統及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240930A (ja) * 1997-02-14 1998-09-11 Hewlett Packard Co <Hp> パターン認識方法およびパターン認識装置
JP2004086625A (ja) * 2002-08-27 2004-03-18 Hitoshi Hongo 顧客情報管理装置
US20050226509A1 (en) * 2004-03-30 2005-10-13 Thomas Maurer Efficient classification of three dimensional face models for human identification and other applications
JP2010055594A (ja) * 2008-07-31 2010-03-11 Nec Software Kyushu Ltd 動線管理システムおよびプログラム
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
TW200539046A (en) 2004-02-02 2005-12-01 Koninkl Philips Electronics Nv Continuous face recognition with online learning
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
BR112014002227A2 (pt) 2011-08-01 2017-02-21 Koninklijke Philips Nv dispositivo e método para a obtenção e processamento de leituras de medição incluindo pelo menos um componente representante de um fenômeno físico em um ser vivo; processador e método para processar leituras de medição incluindo pelo menos um componente representante de um fenômeno físico em um ser vivo; e programa de computador
US10521900B2 (en) 2011-09-02 2019-12-31 Koninklijke Philips N.V. Camera for generating a biometrical signal of a living being
EP2907106B1 (en) * 2012-10-12 2019-04-17 Koninklijke Philips N.V. System for accessing data of a face of a subject
CN104853670B (zh) 2012-11-23 2018-02-16 皇家飞利浦有限公司 用于提取生理信息的设备和方法
EP2767232A1 (en) 2013-02-15 2014-08-20 Koninklijke Philips N.V. System and method for determining a vital sign of a subject
EP2964078B1 (en) 2013-03-06 2019-06-19 Koninklijke Philips N.V. System and method for determining vital sign information
US9125606B2 (en) 2013-03-13 2015-09-08 Koninklijke Philips N.V. Device and method for determining the blood oxygen saturation of a subject
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
EP3318180A1 (en) 2016-11-02 2018-05-09 Koninklijke Philips N.V. Device, system and method for co2 monitoring
EP3549059A1 (en) 2016-11-30 2019-10-09 Koninklijke Philips N.V. Patient identification systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240930A (ja) * 1997-02-14 1998-09-11 Hewlett Packard Co <Hp> パターン認識方法およびパターン認識装置
JP2004086625A (ja) * 2002-08-27 2004-03-18 Hitoshi Hongo 顧客情報管理装置
US20050226509A1 (en) * 2004-03-30 2005-10-13 Thomas Maurer Efficient classification of three dimensional face models for human identification and other applications
JP2010055594A (ja) * 2008-07-31 2010-03-11 Nec Software Kyushu Ltd 動線管理システムおよびプログラム
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
C. PAGANO ET AL.: ""Context-Sensitive Self-Updating for Adaptive Face Recognition"", ADAPTIVE BIOMETRIC SYSTEMS, JPN7022004584, 22 October 2015 (2015-10-22), CH, pages 9 - 34, XP055522904, ISSN: 0005043377, DOI: 10.1007/978-3-319-24865-3_2 *
HAIBO WANG ET AL.: ""Monitoring Patients in the Wild"", 2017 12TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION (FG 2017), JPN6022040681, 30 March 2017 (2017-03-30), US, pages 997, ISSN: 0005043378 *
OMKAR M. PARKHI ET AL.: ""Deep Face Recognition"", BMVC 2015 - PROCEEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 2015, JPN7022004583, 7 September 2015 (2015-09-07), GB, pages 1 - 12, XP055549063, ISSN: 0004891547, DOI: 10.5244/C.29.41 *
QINGHAN XIAO ET AL.: ""A facial presence monitoring system for information security"", 2009 IEEE WORKSHOP ON COMPUTATIONAL INTELLIGENCE IN BIOMETRICS: THEORY, ALGORITHMS, AND APPLICATIONS, JPN6022040680, 30 March 2009 (2009-03-30), US, pages 1 - 8, ISSN: 0004891546 *
SANG-IL CHOI ET AL.: ""An Effective Face Recognition under Illumination and Pose Variations"", 2007 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS, JPN6022040678, 12 August 2007 (2007-08-12), US, pages 1 - 6, ISSN: 0004891548 *
山口 修、小坂谷 達夫: ""顔画像による個人認証"", ヒューマンインタフェース学会誌, vol. 7, no. 2, JPN6022040682, 25 May 2005 (2005-05-25), JP, pages 101 - 106, ISSN: 0004891545 *

Also Published As

Publication number Publication date
WO2019052917A1 (en) 2019-03-21
US11295150B2 (en) 2022-04-05
US20200202154A1 (en) 2020-06-25
CN111344715A (zh) 2020-06-26
EP3682365A1 (en) 2020-07-22
CN111344715B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
JP7199426B2 (ja) 対象者の識別のためのカメラ及び画像校正
JP2020533702A (ja) 対象者識別システム及び方法
US10832035B2 (en) Subject identification systems and methods
US20220036055A1 (en) Person identification systems and methods
US10997397B2 (en) Patient identification systems and methods
JP7197475B2 (ja) 患者モニタリング・システムおよび方法
JP7299923B2 (ja) 個人識別システムおよび方法
JP2020500570A (ja) 患者モニタリングシステム及び方法
US20190267136A1 (en) Queue for patient monitoring
WO2019137886A1 (en) Capturing subject data in dynamic environments using mobile cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230424