KR20180066026A - 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 - Google Patents
맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 Download PDFInfo
- Publication number
- KR20180066026A KR20180066026A KR1020187004703A KR20187004703A KR20180066026A KR 20180066026 A KR20180066026 A KR 20180066026A KR 1020187004703 A KR1020187004703 A KR 1020187004703A KR 20187004703 A KR20187004703 A KR 20187004703A KR 20180066026 A KR20180066026 A KR 20180066026A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- user
- video stream
- contextual
- client device
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims description 95
- 238000000034 method Methods 0.000 title claims description 93
- 238000004891 communication Methods 0.000 claims abstract description 62
- 230000001815 facial effect Effects 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 45
- 210000003128 head Anatomy 0.000 description 14
- 230000006855 networking Effects 0.000 description 14
- 239000011521 glass Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 5
- 239000004020 conductor Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G06K9/00288—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/45—Interferometric spectrometry
- G01J3/453—Interferometric spectrometry by correlation of the amplitudes
- G01J3/4535—Devices with moving mirror
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G06K9/00718—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Collating Specific Patterns (AREA)
Abstract
장치는 메모리, 메모리와 통신하며 네트워크를 통해 통신하도록 구성된 통신 인터페이스, 및 메모리 및 통신 인터페이스와 통신하는 프로세서를 포함한다. 프로세서는 클라이언트 디바이스의 사용자와 연관된 얼굴 이미지 데이터를 수신하고, 얼굴 이미지 데이터를 등록하고, 얼굴 이미지 데이터 및 사용자와 연관된 맥락형 데이터를 데이터베이스에 저장한다. 프로세서는 또한 네트워크와 통신하는 적어도 하나의 이미지 캡쳐 디바이스로부터 비디오 스트림 데이터를 수신하고, 비디오 스트림 데이터 및 비디오 스트림 데이터와 연관된 맥락형 데이터를 각각 분석하여 분석된 비디오 데이터 및 분석된 맥락형 데이터를 정의하고, 비디오 스트림 데이터와 연관된 데이터를 데이터베이스에 저장된 데이터와 비교하는 것에 기초하여, 신뢰 레벨을 정의한다. 프로세서는 신뢰 레벨이 기준을 충족시킬 때, 사용자-특정 맥락형 비디오 스트림을 정의한다.
Description
<관련 출원들에 대한 상호 참조>
본 출원은 2015년 7월 15일자로 출원되고, 발명의 명칭이 "Apparatus and Methods for Facial Recognition and Video Analytics to Identify Individuals in Contextual Video Streams"인 미국 가특허 출원 제62/192,854호의 우선권 및 그 이익을 주장하며, 그 개시내용은 본 명세서에 전체적으로 참조로 포함된다.
본 명세서에서 설명되는 실시예들은 일반적으로 얼굴 인식 및 비디오 분석에 관한 것으로, 특히, 얼굴 인식 데이터에 기초하여 개인을 등록하고, 개인을 식별하기 위해 맥락형 비디오 스트림 데이터를 분석하고, 개인의 맥락형 비디오 스트림들을 제공하기 위한 장치 및 방법들에 관한 것이다.
카메라들, 태블릿들, 스마트폰들 등과 같은 전자 디바이스들의 가용성 및 능력의 증가로 인해, 일부 사람들은 자신들의 경험들에 대한 사진들을 찍고/찍거나 비디오를 캡쳐할 수 있게 되었다. 예를 들어, 스마트폰들, 태블릿들 및/또는 다른 유사한 디바이스들에 카메라들을 포함시키고 이들을 개선시킴으로써, 해당 디바이스들이 사진들(예를 들어, 사진 데이터, 이미지 데이터 등) 및 비디오들(예를 들어, 비디오 스트림 데이터)을 찍는 데 사용되는 일이 증가하게 되었다. 일부 사람들은 자신들의 경험들에 대해 사진들 및/또는 비디오들을 찍기가 더 쉬워지긴 했지만, 일부 예들에서는, 원하는 당사자들(다르게는 사진 또는 비디오를 찍는 사람 포함)을 포함시키는 데 여전히 어려움들이 있을 수 있다. 또한, 사람은 일반적으로 사진 및/또는 비디오를 찍을 기회를 기억해야 하고/하거나 가져야 하고, 이에 실패하면 기회를 잃게 될 수 있다.
일부 예들에서, 스포츠 이벤트들, 콘서트들, 랠리들, 졸업식들 등과 같은 장소들 및/또는 이벤트들은 참석자들의 사진들 및/또는 비디오를 찍을 수 있는 카메라들을 가지고 있다. 그러나, 일부 예들에서, 사진들 및/또는 비디오 스트림을 분석하는 것, 파싱하는 것 및/또는 이들을 다른 방식으로 사용 가능하게 하는 것은 상대적으로 많은 양의 자원들을 사용할 수 있고/있거나, 부정확할 수 있고/있거나, 연관된 맥락형 데이터 등을 제공하는 데 실패할 수 있다.
따라서, 얼굴 인식 데이터에 기초하여 개인을 등록하고, 개인을 식별하기 위해 맥락형 사진 데이터 및/또는 맥락형 비디오 스트림 데이터를 분석하고, 얼굴 인식 데이터 및/또는 비디오 분석에 기초하여, 예를 들어, 공공 이벤트들에서 개인의 맥락형 사진(들) 및/또는 맥락형 비디오 스트림(들)을 제공하기 위한 개선된 장치들 및 방법들에 대한 필요성이 존재한다.
일부 실시예들에서, 장치는 메모리, 메모리와 통신하며, 네트워크를 통해 통신하도록 구성된 통신 인터페이스, 및 메모리 및 통신 인터페이스와 통신하는 프로세서를 포함한다. 프로세서는, 네트워크 및 통신 인터페이스를 통해, 클라이언트 디바이스의 사용자와 연관된 얼굴 이미지 데이터를 수신하도록 구성된다. 얼굴 이미지 데이터를 수신하는 것에 응답하여, 프로세서는 (1) 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 컨볼루션 신경망(convolutional neural nets)(CNN) 중 적어도 하나에 기초하여, 사용자와 연관된 얼굴 이미지 데이터를 등록하고, (2) 얼굴 이미지 데이터 및 사용자와 연관된 맥락형 데이터를 프로세서에 동작 가능하게 연결된 데이터베이스에 저장한다. 프로세서는 또한, 네트워크 및 통신 인터페이스를 통해, 네트워크와 통신하는 적어도 하나의 이미지 캡쳐 디바이스로부터 비디오 스트림 데이터를 수신하도록 구성된다. 비디오 스트림 데이터를 수신하는 것에 응답하여, 프로세서는 (1) 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 CNN 중 적어도 하나에 기초하여 비디오 스트림 데이터를 분석하여 분석된 비디오 데이터를 정의하고, (2) 비디오 스트림 데이터와 연관된 맥락형 데이터를 분석하여 분석된 맥락형 데이터를 정의하고, (3) 분석된 비디오 데이터를 데이터베이스에 저장된 얼굴 이미지 데이터와 비교하는 것, 및 분석된 맥락형 데이터를 데이터베이스에 저장된 사용자와 연관된 맥락형 데이터와 비교하는 것에 기초하여, 신뢰 레벨을 정의한다. 프로세서는 신뢰 레벨이 기준을 충족시킬 때, 사용자-특정 맥락형 비디오 스트림을 표현하는 데이터를 정의하도록 구성된다.
도 1a는 실시예에 따른 인식 시스템의 개략도이다.
도 1b는 다른 실시예에 따른 인식 시스템의 개략도이다.
도 2는 도 1a 및/또는 도 1b의 인식 시스템에 포함된 호스트 디바이스의 개략도이다.
도 3 내지 도 6은 도 1a 및/또는 도 1b의 인식 시스템의 양태들을 나타내는 전자 디바이스의 디스플레이의 예시적인 스크린 샷들이다.
도 7은 다른 실시예에 따른 인식 시스템의 양태들을 나타내는 전자 디바이스의 디스플레이의 예시적인 스크린 샷이다.
도 8은 다른 실시예에 따른 인식 시스템의 양태들을 나타내는 전자 디바이스의 디스플레이의 예시적인 스크린 샷이다.
도 9는 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 10은 다른 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 1b는 다른 실시예에 따른 인식 시스템의 개략도이다.
도 2는 도 1a 및/또는 도 1b의 인식 시스템에 포함된 호스트 디바이스의 개략도이다.
도 3 내지 도 6은 도 1a 및/또는 도 1b의 인식 시스템의 양태들을 나타내는 전자 디바이스의 디스플레이의 예시적인 스크린 샷들이다.
도 7은 다른 실시예에 따른 인식 시스템의 양태들을 나타내는 전자 디바이스의 디스플레이의 예시적인 스크린 샷이다.
도 8은 다른 실시예에 따른 인식 시스템의 양태들을 나타내는 전자 디바이스의 디스플레이의 예시적인 스크린 샷이다.
도 9는 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
도 10은 다른 실시예에 따른 비디오 인식 시스템의 사용 방법을 예시하는 흐름도이다.
본 명세서에서 설명되는 실시예들은 얼굴 인식 데이터에 기초하여 사용자를 등록하고, 개인을 식별하기 위해 맥락형 비디오 스트림 데이터를 분석하고, 얼굴 인식 데이터 및/또는 비디오 스트림의 비디오 분석에 기초하여, 사용자의 맥락형 비디오 스트림들을 제공하는 것에 관한 것이다. 일부 실시예들에서, 장치는 메모리, 메모리와 통신하며 네트워크를 통해 통신하도록 구성된 통신 인터페이스, 및 메모리 및 통신 인터페이스와 통신하는 프로세서를 포함한다. 프로세서는, 네트워크 및 통신 인터페이스를 통해, 클라이언트 디바이스의 사용자와 연관된 얼굴 이미지 데이터를 수신하도록 구성된다. 얼굴 이미지 데이터를 수신하는 것에 응답하여, 프로세서는 (1) 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 컨볼루션 신경망(convolutional neural nets)(CNN) 중 적어도 하나에 기초하여, 사용자와 연관된 얼굴 이미지 데이터를 등록하고, (2) 얼굴 이미지 데이터 및 사용자와 연관된 맥락형 데이터를 프로세서에 동작 가능하게 연결된 데이터베이스에 저장한다. 프로세서는 또한, 네트워크 및 통신 인터페이스를 통해, 네트워크와 통신하는 적어도 하나의 이미지 캡쳐 디바이스로부터 비디오 스트림 데이터를 수신하도록 구성된다. 비디오 스트림 데이터를 수신하는 것에 응답하여, 프로세서는 (1) 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 CNN 중 적어도 하나에 기초하여 비디오 스트림 데이터를 분석하여 분석된 비디오 데이터를 정의하고, (2) 비디오 스트림 데이터와 연관된 맥락형 데이터를 분석하여 분석된 맥락형 데이터를 정의하고, (3) 분석된 비디오 데이터를 데이터베이스에 저장된 얼굴 이미지 데이터와 비교하는 것, 및 분석된 맥락형 데이터를 데이터베이스에 저장된 사용자와 연관된 맥락형 데이터와 비교하는 것에 기초하여, 신뢰 레벨을 정의한다. 프로세서는 신뢰 레벨이 기준을 충족시킬 때, 사용자-특정 맥락형 비디오 스트림을 표현하는 데이터를 정의하도록 구성된다.
일부 실시예들에서, 이미지 분석 방법은, 호스트 디바이스에서, 네트워크를 통해 클라이언트 디바이스로부터, 사용자와 연관된 얼굴 이미지 데이터를 등록하기 위한 요청을 나타내는 신호를 수신하는 단계를 포함한다. 사용자와 연관된 얼굴 이미지 데이터는 얼굴 인식 및 이미지 분석을 통해 등록되고, 호스트 디바이스와 통신하는 데이터베이스에 저장된다. 호스트 디바이스에서, 이벤트와 연관된 맥락형 비디오 스트림 데이터가 수신된다. 맥락형 비디오 스트림 데이터는 비디오 분석을 통해 분석되어, 맥락형 비디오 스트림 데이터가 맥락형 비디오 스트림 데이터에서의 얼굴 이미지 데이터의 얼굴 인식과 연관된 기준을 충족시키는지를 결정한다. 맥락형 비디오 스트림 데이터에서의 얼굴 이미지 데이터의 얼굴 인식과 연관된 기준이 충족될 때, 사용자의 맥락형 비디오 스트림이 정의된다. 호스트 디바이스는 사용자의 맥락형 비디오 스트림을 클라이언트 디바이스의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송한다.
일부 실시예들에서, 시스템은 네트워크와 통신하는 이미지 캡쳐 어셈블리, 및 적어도 프로세서 및 메모리를 가지며 네트워크 및 데이터베이스와 통신하는 호스트 디바이스를 포함한다. 이미지 캡쳐 어셈블리는 미리 결정된 맥락과 연관되는 비디오 스트림 데이터를 캡쳐하도록 구성된 적어도 하나의 이미지 캡쳐 디바이스를 포함한다. 호스트 디바이스는 (1) 네트워크를 통해 클라이언트 디바이스로부터 사용자의 얼굴 이미지 데이터를 수신하고, (2) 얼굴 인식 및 이미지 분석을 통해 얼굴 이미지 데이터를 등록하고, (3) 얼굴 이미지 데이터를 데이터베이스에 저장하도록 구성된다. 호스트 디바이스는 이미지 캡쳐 어셈블리로부터의 비디오 스트림 데이터, 및 미리 결정된 맥락과 연관된 데이터를 수신하도록 구성된다. 호스트 디바이스는, 비디오 스트림 데이터를 얼굴 이미지 데이터와 비교하는 것 및 미리 결정된 맥락과 연관된 데이터를 사용자와 연관된 맥락형 데이터와 비교하는 것에 기초하여, 신뢰 레벨을 정의하도록 구성된다. 호스트 디바이스는 신뢰 레벨이 기준을 충족시킬 때, 사용자-특정 맥락형 이미지 데이터를 정의하고, 네트워크를 통해 클라이언트 디바이스에 사용자-특정 맥락형 이미지 데이터를 전송하도록 추가로 구성된다.
본 명세서에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 맥락상 명확하게 달리 지시하지 않는 한 복수의 지시 대상들을 포함한다. 따라서, 예를 들어, "모듈"이라는 용어는 단일 모듈 또는 모듈들의 결합을 의미하도록 의도되고, "네트워크"는 하나 이상의 네트워크 또는 이들의 결합을 의미하도록 의도된다.
본 명세서에서 사용되는 바와 같이, "모듈"이라는 용어는, 예를 들어, 메모리, 프로세서, 전기 트레이스들, 광 커넥터들, 소프트웨어(하드웨어에서 실행) 등을 포함할 수 있는 동작 가능하게 연결된 전기 컴포넌트들의 임의의 어셈블리 및/또는 세트를 지칭한다. 예를 들어, 프로세서에서 실행되는 모듈은 하드웨어 기반 모듈(예를 들어, 필드 프로그래머블 게이트 어레이(field-programmable gate array)(FPGA), 주문형 집적 회로(application specific integrated circuit)(ASIC), 디지털 신호 프로세서(digital signal processor)(DSP)) 및/또는 해당 모듈과 연관된 하나 이상의 특정 기능을 수행할 수 있는 소프트웨어 기반 모듈(예를 들어, 메모리에 저장되고/되거나 프로세서에서 실행되는 컴퓨터 코드의 모듈)의 임의의 결합일 수 있다.
본 명세서에서 사용되는 바와 같이, "맥락형 비디오 스트림(contextual video stream)"이라는 용어는 맥락형 데이터를 포함하고/하거나 맥락형 데이터와 연관되는 비디오 스트림을 지칭하다. 맥락형 데이터는, 예를 들어, 시간 및/또는 날짜 데이터, 위치 데이터, 이벤트 및/또는 장소 데이터, 상태 데이터, 개인 식별 데이터, 그룹 및/또는 네트워크 데이터, 수신자 데이터, 얼굴 인식 데이터, 프로파일 데이터 등일 수 있다. 본 명세서에서 실시예들이 "비디오 스트림들"을 (예를 들어, 호스트 디바이스로 또는 호스트 디바이스에서) 전송 및/또는 수신하는 것으로서 설명될 때, 비디오 스트림들은 비디오 스트림과 연관된 맥락형 데이터와 독립적으로 전송 및/또는 수신될 수 있다. 예를 들어, 클라이언트 디바이스가 호스트 디바이스에 비디오 스트림을 전송할 수 있고, 이에 응답하여, 호스트 디바이스는 (예를 들어, 비디오 스트림의 수신과 독립적으로 및/또는 비디오 스트림의 수신 후에) 임의의 수의 소스들로부터 비디오 스트림과 연관된 맥락형 데이터를 리트리브 및/또는 요청할 수 있다. 일단 호스트 디바이스가 비디오 스트림 데이터 및 비디오 스트림 데이터와 연관된 맥락형 데이터를 수신하면, 호스트 디바이스는, 예를 들어, 맥락형 비디오 스트림 및/또는 임의의 다른 적절한 맥락형 이미지 데이터를 정의할 수 있다. 또 다른 실시예들에서, 비디오 스트림들 및/또는 이미지 데이터는 맥락형 데이터 없이 전송 및/또는 수신될 수 있다. 또한, "비디오 스트림"으로 지칭되기는 하지만, 다른 예들에서는, 디바이스가 단일 및/또는 스틸 이미지(예를 들어, 사진)를 전송 및/또는 수신할 수 있다. 다른 예들에서는, 디바이스가 집합적으로 비디오 스트림을 형성할 수 있는 임의의 수의 개별 프레임들 등을 전송 및/또는 수신할 수 있다.
본 명세서에서 설명되는 실시예들 및 방법들은 얼굴 인식 데이터를 사용하여, (1) 비디오 스트림에서 등록된 사용자(예를 들어, 얼굴 인식 데이터가 미리 결정된 사람)의 하나 이상의 이미지를 검색하고, (2) 사용자와 연관된 클라이언트 디바이스(예를 들어, 스마트폰, 태블릿, 컴퓨터, 웨어러블 전자 디바이스 등)에 맥락형 데이터를 포함한 비디오 스트림을 제공할 수 있다. 얼굴 인식은 일반적으로 사람의 얼굴의 하나 이상의 이미지를 분석하여, 예를 들어, 그 사람의 얼굴 구조(예를 들어, 광대뼈, 턱 끝, 귀, 눈, 턱, 코, 헤어 라인 등)의 현저한 특징들을 결정한 다음, 현저한 특징들과 연관되고/되거나 다르게는 현저한 특징들을 표현하는 정성적 및/또는 정량적 데이터 세트를 정의하는 것을 포함한다. 한 가지 접근법은, 예를 들어, 사람의 얼굴의 현저한 특징들과 연관된 데이터를 추출하고, 기하학적 및/또는 좌표 기반 정보를 포함하는 데이터 세트를 정의하는 것을 포함한다(예를 들어, 얼굴 인식 데이터의 3차원(3-D) 분석). 다른 접근법은, 예를 들어, 이미지 데이터를 정성적인 값들로 정제하고, 이들 값들을 템플릿들 등과 비교하는 것을 포함한다(예를 들어, 얼굴 인식 데이터의 2차원(2-D) 분석). 일부 예들에서, 다른 접근법은 3-D 분석과 2-D 분석의 임의의 적절한 조합을 포함할 수 있다.
일부 얼굴 인식 방법들 및/또는 알고리즘들은 아이겐페이스(Eigenface)들(예를 들어, 얼굴 인식과 연관된 아이겐벡터(Eigenvector))을 사용하는 주성분 분석(Principal Component Analysis), 선형 판별 분석(Linear Discriminate Analysis), 피셔페이스 알고리즘(Fisherface algorithm)을 사용하는 탄성 번치 그래프 매칭(Elastic Bunch Graph Matching), 은닉 마르코프 모델(Hidden Markov model), 텐서(tensor) 표현을 사용하는 다중선형 부분공간 학습(Multilinear Subspace Learning), 신경 동기 부여 동적 링크 매칭(neuronal motivated dynamic link matching), 컨볼루션 신경망(CNN) 등 또는 이들의 조합을 포함한다. 본 명세서에서 설명되는 실시예들 및/또는 방법들 중 일부는 위에서 설명된 바와 같은 임의의 적절한 얼굴 인식 방법 및/또는 알고리즘 또는 이들의 조합을 사용 및/또는 구현할 수 있다. 또한, 본 명세서에서 설명되는 실시예들 및/또는 방법들 중 일부는 사용자의 초기 얼굴 인식 데이터를 등록하고, 그 후 비디오 스트림에 포함된 이미지 데이터와 사용자의 초기 얼굴 인식 데이터를 비교하는 데 사용될 수 있다. 이와 같이, 정확한 및/또는 완전한 초기 얼굴 인식 데이터를 갖는 것이 바람직하다. 따라서, 본 명세서에서 설명되는 실시예들 및/또는 방법들은 사용자의 얼굴을 템플릿, 프레임, 경계, 마커, 지시자 등에 정렬시키는 것과 연관된 방법들, 단계들 및/또는 프로세스들을 포함할 수 있다.
도 1a는 실시예에 따른 비디오 인식 시스템(100)의 개략도이다. 일부 예들에서, 비디오 인식 시스템(100)(본 명세서에서 "시스템"으로도 지칭됨)은 얼굴 인식 데이터에 적어도 부분적으로 기초하여 사용자의 맥락형 비디오 스트림(예를 들어, "사용자-특정 맥락형 비디오 스트림" 또는 "사용자-특정 비디오 스트림"으로도 지칭됨)을 제시하는 데 사용될 수 있다. 시스템(100)의 적어도 일부는, 예를 들어, 메모리에 저장되고 전자 디바이스(예를 들어, 호스트 디바이스, 서버 또는 서버들의 그룹, 퍼스널 컴퓨터(PC), 네트워크 디바이스 등) 등의 프로세서에서 실행되는 명령어들의 세트 또는 코드에 의해 표현 및/또는 설명될 수 있다. 예를 들어, 일부 실시예들에서, 호스트 디바이스는 사용자와 연관된 얼굴 인식 데이터를 등록하기 위한 요청과 연관된 신호를 수신할 수 있고, 이에 응답하여, 얼굴 인식 데이터를 데이터베이스에 저장할 수 있다. 유사하게, 호스트 디바이스는 비디오 스트림 데이터와 연관된 신호를 수신할 수 있다. 일부 예들에서, 호스트 디바이스의 하나 이상의 프로세서는 호스트 디바이스의 메모리에 저장되고 비디오 스트림 데이터를 분석하는 것과 연관된 명령어들의 세트 또는 코드를 실행하여, 얼굴 인식 데이터에 적어도 부분적으로 기초하여, 사용자의 하나 이상의 이미지가 비디오 스트림에 존재하는지를 결정할 수 있다. 이미지들이 비디오 스트림 데이터에서 발견되는 경우, 하나 이상의 프로세서는 비디오 스트림 데이터의 연관된 부분을 분리할 수 있다. 또한, 하나 이상의 프로세서는 (1) 시간, 위치, 이벤트 등과 같은 맥락형 데이터를 비디오 스트림 데이터와 연관시키고, (2) 사용자의 맥락형 비디오 스트림(예를 들어, 사용자-특정 맥락형 비디오 스트림)을 정의하기 위한 명령어들의 세트 또는 코드를 실행할 수 있다. 그 후, 하나 이상의 프로세서는, 사용자와 연관된 클라이언트 디바이스에, 사용자의 맥락형 비디오 스트림을 클라이언트 디바이스의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송할 수 있다.
시스템(100)은 데이터베이스(140)와 통신하는 호스트 디바이스(110), 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)을 포함한다. 호스트 디바이스(110)는 데이터베이스(140), 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)과 전자 통신하는 서버 또는 서버들의 그룹, 네트워크 관리 디바이스, 퍼스널 컴퓨터(PC), 프로세싱 유닛 등과 같은 임의의 적절한 호스트 디바이스일 수 있다. 예를 들어, 이 실시예에서, 호스트 디바이스(110)는, 여기에서 더 상세하게 설명되는 바와 같이, 네트워크(105)를 통해 데이터베이스(140), 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)과 전자 통신하는 (실질적으로 동일한 위치 및/또는 시설에 배치되거나 둘 이상의 위치에 분산된) 서버 또는 서버들의 그룹일 수 있다.
클라이언트 디바이스(150)는 PC, 랩탑, 컨버터블 랩탑, 태블릿, PDA(personal digital assistant), 스마트폰, 웨어러블 전자 디바이스(예를 들어, 스마트 시계 등) 등과 같은 임의의 적절한 디바이스일 수 있다. 도 1a에 도시되지는 않았지만, 일부 실시예들에서, 클라이언트 디바이스(150)는 적어도 메모리, 프로세서, 통신 인터페이스, 디스플레이 및 하나 이상의 입력을 포함하는 전자 디바이스일 수 있다. 메모리, 프로세서, 통신 인터페이스, 디스플레이 및 입력(들)은 그 사이에서 신호들이 전송될 수 있도록 서로 접속되고/되거나 전기적으로 연결될 수 있다. 예를 들어, 일부 실시예들에서, 메모리는 랜덤 액세스 메모리(RAM), 메모리 버퍼, 하드 드라이브, 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM) 등일 수 있다. 프로세서는 범용 프로세서(GPP), 중앙 처리 장치(CPU), 가속 처리 장치(APU), 그래픽 프로세서 유닛(GPU), 주문형 집적 회로(ASIC) 등과 같이 (예를 들어, 메모리에 저장된) 명령어들의 세트 또는 코드를 실행하도록 구성된 임의의 적절한 프로세싱 디바이스일 수 있다. 이러한 프로세서는 PC 애플리케이션, 모바일 애플리케이션, 인터넷 웹브라우저, (네트워크를 통해) 셀룰러 및/또는 무선 통신 등을 사용하는 것과 연관된, 메모리에 저장된 명령어들의 세트 또는 코드를 실행할 수 있다. 보다 구체적으로, 프로세서는, 여기에서 더 상세하게 설명되는 바와 같이, 호스트 디바이스(110)에 얼굴 인식 데이터를 전송하는 것 및/또는 호스트 디바이스(110)로부터 얼굴 인식 데이터 및/또는 맥락형 비디오 스트림 데이터를 수신하는 것과 연관된, 메모리에 저장된 명령어들의 세트 또는 코드를 실행할 수 있다.
클라이언트 디바이스(150)의 통신 인터페이스는 하나 이상의 네트워크 인터페이스 카드 등과 같이 호스트 디바이스(110)와 통신하는 자원을 배치할 수 있는 임의의 적절한 모듈 및/또는 디바이스일 수 있다. 이러한 네트워크 인터페이스 카드는, 예를 들어, 클라이언트 디바이스(150)를 네트워크(예를 들어, 네트워크(105)) 등을 통해 호스트 디바이스(110)와 통신하게 할 수 있는 이더넷 포트, USB(Universal Serial Bus) 포트, WiFi® 무선, 블루투스® 무선, 근거리 통신(near field communication)(NFC) 무선 및/또는 셀룰러 무선을 포함할 수 있다. 이와 같이, 통신 인터페이스는 네트워크(105)를 통해 호스트 디바이스(110)와 전자 통신하는 것과 연관되어 프로세서에 신호들을 전송하고/하거나 이로부터 신호들을 수신할 수 있다.
클라이언트 디바이스(150)의 디스플레이는, 예를 들어, 시스템(100)의 임의의 적절한 부분(예를 들어, 웹페이지, PC 애플리케이션, 모바일 애플리케이션 등과 연관된 그래픽 사용자 인터페이스(GUI))을 그래픽으로 표현할 수 있는 CRT(cathode ray tube) 모니터, LCD(liquid crystal display) 모니터, LED(light emitting diode) 모니터 등일 수 있다. 일부 실시예들에서, 이러한 디스플레이는 햅틱 사용자 입력을 수신하도록 구성된 터치 스크린일 수 있고/있거나, 이를 포함할 수 있다. 일부 예들에서, 디스플레이는, 여기에서 더 상세하게 설명되는 바와 같이, 얼굴 인식 프로세스와 연관된 데이터 및/또는 비디오 스트림과 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다.
클라이언트 디바이스(150)의 입력(들)은, 하나 이상의 입력(예를 들어, 사용자 입력)을 수신할 수 있고 하나 이상의 입력과 연관되어 프로세서에 신호들을 전송하고/하거나 그로부터 신호들을 수신할 수 있는 임의의 적절한 모듈 및/또는 디바이스일 수 있다. 일부 실시예들에서, 입력(들)은 포트들, 플러그들 및/또는 디바이스와 전자 통신하게 배치되도록 구성된 다른 인터페이스들일 수 있고/있거나, 이를 포함할 수 있다. 예를 들어, 그러한 입력은 USB(universal serial bus) 포트, IEEE(Institute of Electrical and Electronics Engineers) 1394(파이어와이어(FireWire)) 포트, 썬더볼트(Thunderbolt) 포트, 라이트닝(Lightning) 포트 등일 수 있다. 일부 실시예들에서, 디스플레이는 햅틱 사용자 입력을 수신하도록 구성된 터치 스크린 등에 포함될 수 있다.
일부 실시예들에서, 입력은 카메라 및/또는 다른 이미징 디바이스일 수 있다. 예를 들어, 일부 실시예들에서, 그러한 카메라는 (예를 들어, 스마트폰들, 태블릿들, 랩탑들 등에서와 같이) 클라이언트 디바이스(150)에 통합될 수 있고/있거나, (예를 들어, 위에서 설명된 것들과 같은) 포트 등을 통해 클라이언트 디바이스(150)와 통신할 수 있다. 카메라는, 예를 들어, 스마트폰 또는 태블릿에 포함된 웹캠 또는 전향(forward facing) 카메라(예를 들어, 디스플레이와 실질적으로 동일한 방향을 가리키는 카메라)와 같은 임의의 적절한 이미징 디바이스일 수 있다. 이러한 방식으로, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라로 하여금 이미지(예를 들어, 사진) 또는 비디오를 캡쳐하게 할 수 있다. 또한, 일부 예들에서, 디스플레이는 카메라에 의해 캡쳐된 이미지와 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다. 예로서, 일부 실시예들에서, 클라이언트 디바이스(150)는 전향 카메라를 포함하는 스마트폰, 태블릿 또는 웨어러블 전자 디바이스일 수 있다. 일부 예들에서, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라를 통해 자신의 사진 또는 비디오를 찍을 수 있다(예를 들어, "셀피(selfie)"로도 알려짐).
일부 예들에서, 클라이언트 디바이스(150)에 포함된 카메라(예를 들어, 입력)는 사용자의 얼굴의 이미지를 캡쳐하는 데 사용될 수 있고, 이 이미지는 차례로 사용자와 연관된 얼굴 인식 데이터를 등록하는 데 사용될 수 있다. 구체적으로, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라가 사용자의 얼굴의 이미지를 캡쳐하게 할 수 있다. 일부 예들에서, 디스플레이는 지시, 프레임, 경계, 가이드 및/또는 데이터의 임의의 다른 적절한 그래픽 표현을 그래픽으로 표현하도록 구성될 수 있으며, 이는 사용자의 얼굴의 이미지에 대한 원하는 정렬과 연관된 지시를 사용자에게 제공할 수 있다. 일단 카메라가 원하는 이미지를 캡쳐하면, 프로세서는 사용자의 얼굴의 이미지와 연관된 데이터를 수신 및/또는 리트리브할 수 있고, 차례로 얼굴 인식 프로세스의 적어도 일부와 연관된 (예를 들어, 메모리에 저장된) 명령어들의 세트 또는 코드를 실행할 수 있다. 예를 들어, 일부 예들에서, 프로세서는 디스플레이 상에 그래픽으로 표현된 지시, 프레임, 경계 등과 사용자의 얼굴의 캡쳐된 이미지 간의 정렬을 검증하는 것과 연관된 명령어들의 세트 또는 코드를 실행할 수 있다. 일부 예들에서, 여기에서 더 상세하게 설명되는 바와 같이, 클라이언트 디바이스(150)는 정렬이 검증될 때, 호스트 디바이스(110)에 사용자의 이미지를 표현하는 데이터와 연관된 신호를 네트워크(105)를 통해 전송하도록 구성될 수 있고, 이에 응답하여, 호스트 디바이스(110)는, 사용자의 얼굴 이미지 데이터를 등록하기 위해 데이터에 대해 임의의 적절한 얼굴 인식 프로세스 또는 프로세스들을 수행할 수 있다.
이미지 캡쳐 시스템(160)(본 명세서에서 "이미지 캡쳐 어셈블리"로도 지칭 됨)은 이미지 데이터를 캡쳐하도록 구성된 임의의 적절한 디바이스 또는 디바이스들일 수 있고/있거나, 이를 포함할 수 있다. 예를 들어, 이미지 캡쳐 시스템(160)은 이미지(예를 들어, 사진)를 캡쳐하고/하거나 비디오 스트림을 레코딩하도록 구성된 하나 이상의 카메라 및/또는 이미지 레코딩 디바이스일 수 있고/있거나, 이를 포함할 수 있다. 일부 실시예들에서, 이미지 캡쳐 시스템(160)은 서버, 퍼스널 컴퓨터, 데이터 스토리지 디바이스(예를 들어, NAS, 데이터베이스 등) 등과 같은 중앙 컴퓨팅 디바이스와 통신하는 다수의 카메라들을 포함할 수 있다. 이러한 실시예들에서, 카메라들은 각각 (예를 들어, 유선 또는 무선 접속, 포트, 직렬 버스, 네트워크 등을 통해) 중앙 컴퓨팅 디바이스에 이미지 데이터를 전송할 수 있고, 중앙 컴퓨팅 디바이스는 차례로 이미지 데이터를 메모리 및/또는 다른 데이터 스토리지 디바이스에 저장할 수 있다. 또한, 중앙 컴퓨팅 디바이스는 (예를 들어, 네트워크(105)를 통해) 호스트 디바이스(110)와 통신할 수 있고, 호스트 디바이스(110)에 이미지 데이터의 적어도 일부를 전송하도록 구성될 수 있다. 이러한 중앙 컴퓨팅 디바이스는, 도 1a에서는 네트워크(105)를 통해 호스트 디바이스(110)와 통신하는 것으로 도시되어 있지만, 다른 실시예들에서는, 호스트 디바이스(110)에 포함될 수 있고/있거나, 그 일부일 수 있고/있거나, 다르게는 이에 연결될 수 있다. 또 다른 실시예들에서, 카메라들은 그러한 중앙 컴퓨팅 디바이스 없이 (예를 들어, 네트워크(105)를 통해) 호스트 디바이스(110)와 통신할 수 있다.
일부 실시예들에서, 이미지 캡쳐 시스템(160)은, 예를 들어, 스포츠 경기장, 테마 파크, 극장 및/또는 임의의 다른 적절한 장소와 같은 장소 등과 연관될 수 있고/있거나, 이에 의해 소유될 수 있다. 다른 실시예들에서, 이미지 캡쳐 시스템(160)은 소정 장소 내에서 또는 소정 장소에서 사용되지만, 상이한 엔티티(예를 들어, 스포츠 이벤트에서의 텔레비전 카메라와 같이 소정 장소 내에서 또는 소정 장소에서 이미지 캡쳐 시스템(160)을 사용하도록 면허가 부여되고/되거나 다른 방식으로 인가된 엔티티)에 의해 소유될 수 있다. 또 다른 실시예들에서, 이미지 캡쳐 시스템(160)은 카메라들 또는 레코더들로서 사용될 수 있는 스마트폰들, 태블릿들 등과 같은 임의의 수의 클라이언트 디바이스들 등을 포함할 수 있다. 이러한 실시예들에서, 클라이언트 디바이스들 중 적어도 일부의 클라이언트 디바이스들은 (예를 들어, 위에서 설명된 바와 같이) 호스트 디바이스(110) 및/또는 장소와 연관된 중앙 컴퓨팅 디바이스와 통신할 수 있다.
예를 들어, 일부 실시예들에서, 클라이언트 디바이스(150)에 통합된 카메라는, 도 1b에 도시된 바와 같이, 이미지 캡쳐 시스템(160)의 적어도 일부를 형성 및/또는 포함할 수 있다. 이러한 방식으로, 사용자는 클라이언트 디바이스(150)를 조작하여 사진 및/또는 비디오 레코딩을 캡쳐할 수 있고, 이에 응답하여, 클라이언트 디바이스(150)는 호스트 디바이스(110)에 사진(예를 들어, 이미지 데이터, 사진 데이터 등) 및/또는 비디오 레코딩 데이터를 업로드 및/또는 다른 방식으로 전송할 수 있다. 일부 예들에서, 사진 및/또는 비디오 레코딩 데이터는 임의의 적절한 시간 동안 클라이언트 디바이스(150) 상에 저장될 수 있고, 나중에 호스트 디바이스(110)에 업로드 및/또는 전송될 수 있다. 또한, 사진 및/또는 비디오 레코딩 데이터가 호스트 디바이스(110)에 전송된 후에, 사진 및/또는 비디오 레코딩 데이터는 클라이언트 디바이스(150) 상에 저장될 수 있다. 즉, 사진 및/또는 비디오 레코딩 데이터를 전송하는 것이 클라이언트 디바이스(150)로부터 사진 및/또는 비디오 레코딩 데이터를 삭제 및/또는 제거하지 않는다(예를 들어, 데이터의 사본이 호스트 디바이스(110)에 전송된다). 따라서, 도 1b에 도시된 바와 같이, 이미지 캡쳐 시스템(160)은 특정 이벤트 및/또는 장소와 연관될 필요가 없다. 그러한 예들에서, 사용자는 클라이언트 디바이스(150)(예를 들어, 클라이언트 디바이스(150)의 애플리케이션)를 조작하여, 클라이언트 디바이스(150)에 통합된 카메라 및/또는 레코딩 디바이스(예를 들어, 이미지 캡쳐 시스템(160))를 통해 사용자에 의해 생성되는 컨텐츠(예를 들어, 사진들, 이미지 데이터, 사진 데이터, 비디오 스트림 데이터 등)를 캡쳐할 수 있다.
일부 예들에서, 이미지 캡쳐 시스템(160)은 장소 및/또는 이벤트와 연관된 이미지 데이터를 캡쳐하도록 구성된다. 즉, 이미지 캡쳐 시스템(160)은 미리 결정된, 알려진 및/또는 주어진 맥락 내에서 이미지 데이터를 캡쳐하도록 구성된다. 예를 들어, 일부 예들에서, 이미지 캡쳐 시스템(160)은, 경기장 등에 설치되고 경지장의 후원자들, 게스트들, 출연자들 등과 연관된 이미지 데이터를 캡쳐하도록 구성되는 하나 이상의 이미지 캡쳐 디바이스(예를 들어, 카메라 및/또는 비디오 레코더)를 포함할 수 있다. 이러한 방식으로, 이미지 캡쳐 시스템(160)은 경기장 및/또는 경기장에서 발생하는 이벤트의 맥락 내에서 이미지 데이터를 캡쳐하도록 구성된다. 따라서, 캡쳐된 이미지 데이터는, 예를 들어, "맥락형 이미지 데이터"일 수 있다. 즉, 이미지 데이터는 맥락형 데이터와 연관된다. 여기에서 더 상세하게 설명되는 바와 같이, 호스트 디바이스(110)는 이미지 캡쳐 시스템(160)으로부터의 이미지 데이터 및/또는 비디오 스트림 데이터, 및 임의의 적절한 데이터 소스 등으로부터의 맥락과 연관된 데이터(예를 들어, 경기장 및/또는 경기장에서 발생하는 이벤트와 연관된 "맥락형 데이터" 및/또는 임의의 다른 적절한 맥락형 및/또는 메타데이터)를 수신할 수 있고; 맥락형 데이터를, 예를 들어, 이미지 데이터와 연관시킬 수 있고; 예를 들어, 클라이언트 디바이스(150)의 사용자와 연관된 사용자-특정 맥락형 이미지 및/또는 사용자-특정 맥락형 비디오 스트림을 정의할 수 있고; 클라이언트 디바이스(150)에 사용자와 연관된 사용자-특정 맥락형 이미지 및/또는 사용자-특정 맥락형 비디오 스트림을 전송할 수 있다.
위에서 설명된 바와 같이, 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)은 하나 이상의 네트워크를 통해 호스트 디바이스(110)와 통신할 수 있다. 예를 들어, 도 1a에 도시된 바와 같이, 클라이언트 디바이스(150) 및 이미지 캡쳐 시스템(160)은 자신의 통신 인터페이스 및 네트워크(105)를 통해 호스트 디바이스(110)와 통신할 수 있다. 네트워크(105)는, 예를 들어, LAN(local area network), VLAN(virtual local area network)과 같은 가상 네트워크, MLAN(music local area network), WAN(wide area network), MAN(metropolitan area network), WiMAX(worldwide interoperability for microwave access network), 셀룰러 네트워크, 인터넷, 및/또는 유선 및/또는 무선 네트워크로서 구현되는 임의의 다른 적절한 네트워크와 같은 임의의 타입의 네트워크일 수 있다. 예로서, 네트워크(105)는 IEEE(Institute of Electrical and Electronics Engineers) 802.11 표준("WiFi®"로도 알려짐)에 기초한 WLAN(wireless local area network)로서 구현될 수 있다. 또한, 네트워크(105)는, 예를 들어, LAN 또는 WLAN 및 인터넷과 같은 임의의 타입의 네트워크들의 결합을 포함할 수 있다. 일부 실시예들에서, 클라이언트 디바이스(150)는 네트워크(105)와 유사할 수도 있고 상이할 수도 있는 중간 네트워크들 및/또는 대체 네트워크들(도시 생략)을 통해 호스트 디바이스(110) 및 네트워크(105)와 통신할 수 있다. 이와 같이, 클라이언트 디바이스(150)는 공통 네트워크를 사용하여 호스트 디바이스(110)에 송신될 수도 송신되지 않을 수도 있는 (예를 들어, 위에서 설명된 네트워크들 중 임의의 네트워크와 연관된) 다수의 통신 모드들을 사용하여 호스트 디바이스(110)에 데이터를 전송하고/하거나 이로부터 데이터를 수신할 수 있다. 예를 들어, 클라이언트 디바이스(150)는 셀룰러 네트워크 및 인터넷(예를 들어, 네트워크(105))을 통해 호스트 디바이스(110)에 접속된 모바일 전화(예를 들어, 스마트폰)일 수 있다.
일부 예들에서, 네트워크는, 예를 들어, 피어 네트워킹 세션 등을 용이하게 할 수 있다. 그러한 예들에서, 피어 네트워킹 세션은, 예를 들어, 각각이 공통 특성을 공유하는 클라이언트 디바이스들 및/또는 임의의 다른 적절한 전자 디바이스를 포함할 수 있다. 예를 들어, 일부 예들에서, 피어 네트워킹 세션은 장소, 이벤트, 위치 등의 미리 결정된 근접도 내에 있는 임의의 적절한 클라이언트 디바이스(예를 들어, 데이터베이스(140)에 등록된 전자 디바이스 등)를 포함할 수 있다. 예를 들어, 일부 예들에서, 그러한 피어 네트워킹 세션은 소정 장소(예를 들어, 스포츠 이벤트)에 존재하는 임의의 수의 등록된 클라이언트 디바이스들을 포함할 수 있다. 일부 예들에서, 피어 네트워킹 세션은 사용자 및/또는 클라이언트 디바이스와 연관된 맥락형 데이터에 기초하여 자동으로 확립될 수 있다. 다른 예들에서, 피어 네트워킹 세션은 하나 이상의 사용자가 소정 장소 등에서 "체크-인(checking-in)" 및/또는 다른 방식으로 자신의 존재를 알리는 것(예를 들어, 사용자의 존재를 "스쿼크(squawk)"하는 것)에 기초하여 자동으로 확립될 수 있다. 일부 예들에서, 사용자는 사용자가 이벤트 등(예를 들어, 스포츠 이벤트, 콘서트, 결혼식, 생일 파티, 모임 등)에 도착한 시간에, 등록 시에, 이미지 또는 비디오 스트림을 캡쳐할 때 등등의 시간에 "체크-인"할 수 있다. 또한, "체크-인"은, 예를 들어, 지형-위치 데이터, 날짜 및 시간 데이터, 개인 또는 사용자 식별 데이터 등과 같은 정보를 식별하는 것을 포함할 수 있다.
다른 예들에서, 사용자는, 예를 들어, 미리 결정된 사용자들의 세트 또는 그룹을 포함하는 피어 네트워킹 세션을 수동으로 확립할 수 있다. 일부 예들에서, 그러한 피어 네트워킹 세션들은 공중 네트워크들, 사설 네트워크들 및/또는 다르게는 제한된 액세스 네트워크들일 수 있다. 예를 들어, 일부 예들에서, 사용자는 네트워킹 세션에 참여하라고 요청할 수 있고/있거나, 네트워킹 세션에 참여하라는 초대 등을 수신할 수 있다. 일부 예들에서, 피어 네트워킹 세션을 확립하는 것은, 예를 들어, 피어 네트워킹 세션에 포함된 사용자들 사이의 통신(예를 들어, 그룹 채팅 세션들 등) 및/또는 이미지 및/또는 비디오 데이터의 공유를 용이하게 할 수 있다.
호스트 디바이스(110)는 데이터베이스(140), 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160)에 데이터를 전송하고/하거나 이로부터 데이터를 수신하도록 구성된 임의의 적절한 디바이스일 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는, 예를 들어, 서버 디바이스(예를 들어, 웹서버 디바이스), 네트워크 관리 디바이스, 관리자 디바이스 등으로서 기능할 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는 동일한 블레이드, 랙 및/또는 설비 내에 또는 그 위에 함께 하우징되거나 또는 다수의 블레이드들, 랙들 및/또는 설비들 내에 또는 그 위에 분산된 서버들 또는 디바이스들의 그룹일 수 있다. 호스트 디바이스(110)는 적어도 메모리(115), 프로세서(120) 및 통신 인터페이스(125)를 포함한다(도 2 참조). 일부 실시예들에서는, 메모리(115), 프로세서(120) 및 통신 인터페이스(125) 간에 신호들이 전송될 수 있도록, 메모리(115), 프로세서(120) 및 통신 인터페이스(125)가 접속 및/또는 전기적으로 연결된다. 호스트 디바이스(110)는 또한 사용자 데이터, 얼굴 인식 데이터, (예를 들어, 시간, 위치, 장소, 이벤트 등과 연관된) 맥락형 데이터, 비디오 스트림들 등을 저장하도록 구성된 데이터베이스(140)를 포함할 수 있고/있거나, 다르게는 이에 동작 가능하게 연결될 수 있다.
메모리(115)는, 예를 들어, RAM, 메모리 버퍼, 하드 드라이브, 데이터베이스, ROM, EPROM, EEPROM 등일 수 있다. 일부 예들에서, 호스트 디바이스(110)의 메모리(115)는 하나 이상의 얼굴 인식 액션들을 수행하는 데 사용되고/되거나 하나 이상의 적절한 통신 모드를 사용하여 적어도 하나의 디바이스(예를 들어, 클라이언트 디바이스(150))와 데이터를 통신(예를 들어, 전송 및/또는 수신)하는 데 사용되는 명령어들의 세트 또는 코드를 포함한다. 프로세서(120)는, 예를 들어, GPP, CPU, APU, GPU, 네트워크 프로세서, 프론트-엔드 프로세서, ASIC, FPGA 등과 같은 임의의 적절한 프로세서일 수 있다. 따라서, 프로세서(120)는 메모리(115)에 저장된 명령어들의 세트, 모듈들 및/또는 코드를 수행 및/또는 실행하도록 구성될 수 있다. 예를 들어, 프로세서(120)는, 그 중에서도, (예를 들어, 클라이언트 디바이스(150)로부터) 얼굴 인식 데이터를 수신하는 것, 얼굴 인식 데이터를 분석하는 것, 얼굴 인식 데이터를 등록 및/또는 저장하는 것, (예를 들어, 이미지 캡쳐 시스템(160)으로부터) 비디오 스트림 데이터를 수신하는 것, 비디오 스트림 데이터를 분석하고 비디오 스트림 데이터를 얼굴 인식 데이터와 비교하는 것, (예를 들어, 클라이언트 디바이스(150)에) 비디오 스트림 데이터를 전송하는 것, 및/또는 본 명세서에서 추가로 설명되는 바와 같은 임의의 다른 적절한 프로세스와 연관된 명령어들의 세트 및/또는 모듈들을 실행하도록 구성될 수 있다. 통신 인터페이스(125)는 호스트 디바이스(110)를 데이터베이스(140), 클라이언트 디바이스(150), 이미지 캡쳐 디바이스(160), 및/또는 네트워크(105)와 통신하는 임의의 다른 적절한 디바이스 및/또는 서비스(예를 들어, 얼굴 인식 데이터, 비디오 스트림들 등과 같은 데이터를 수집하고/하거나 적어도 일시적으로 저장하도록 구성된 임의의 디바이스)와 통신하게 할 수 있는 임의의 적절한 디바이스일 수 있다. 일부 실시예들에서, 통신 인터페이스(125)는, 예를 들어, 네트워크 인터페이스 카드(network interface card)(NIC)들, 이더넷 인터페이스들, 광 캐리어(optical carrier)(OC) 인터페이스들, 비동기 전송 모드(asynchronous transfer mode)(ATM) 인터페이스들, 및/또는 무선 인터페이스들(예를 들어, WiFi® 무선, 블루투스® 무선, NFC 무선 등)과 같은 하나 이상의 유선 및/또는 무선 인터페이스를 포함할 수 있다.
다시 도 1a로 돌아가서, 호스트 디바이스(110)와 연관된 데이터베이스(140)는, 예를 들어, 관계형 데이터베이스, 객체 데이터베이스, 객체-관계형 데이터베이스, 계층형 데이터베이스, 네트워크 데이터베이스, 엔티티-관계 데이터베이스, 구조화 질의어(structured query language)(SQL) 데이터베이스, 확장성 마크업 언어(extensible markup language)(XML) 데이터베이스, 디지털 레포지토리, 미디어 라이브러리, 클라우드 서버 또는 스토리지 등과 같은 임의의 적절한 데이터베이스일 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는 통신 인터페이스(125)를 통해 임의의 적절한 네트워크(예를 들어, 네트워크(105))를 통해 데이터베이스(140)와 통신할 수 있다. 이러한 실시예들에서, 데이터베이스(140)는 네트워크(105) 및/또는 임의의 다른 네트워크(들)를 통해 호스트 디바이스(110)와 통신할 수 있는 네트워크 결합 스토리지(network attached storage)(NAS) 디바이스에 포함될 수도 있고 또는 이에 의해 저장될 수도 있다. 다른 실시예들에서, 데이터베이스는 호스트 디바이스(110)의 메모리(115)에 저장될 수 있다. 또 다른 실시예들에서, 데이터베이스(140)는 케이블, 버스, 서버 랙 등을 통해 호스트 디바이스(110)에 동작 가능하게 연결될 수 있다.
데이터베이스(140)는 비디오 인식 시스템(100)과 연관된 데이터를 저장하고/하거나 적어도 일시적으로 유지할 수 있다. 예를 들어, 일부 예들에서, 데이터베이스(140)는 사용자 프로파일들과 연관되고/되거나 이를 다른 방식으로 표현하는 데이터, 자원 리스트들, 얼굴 인식 데이터, 모드들 및/또는 방법들, (예를 들어, 시간, 위치, 장소, 이벤트 등과 연관된) 맥락형 데이터, 비디오 스트림들 또는 그 일부들 등을 저장할 수 있다. 다시 말해서, 데이터베이스(140)는 시스템(100)에 의해 얼굴 이미지 데이터가 등록된 사용자들(예를 들어, "등록된 사용자들")과 연관된 데이터를 저장할 수 있다. 일부 실시예들에서, 데이터베이스(140)는 관계형 데이터베이스일 수 있고/있거나 이를 포함할 수 있으며, 여기서 데이터는 관계 모델에 따라, 예를 들어, 테이블들, 행렬들, 벡터들 등으로 저장될 수 있다. 예로서, 일부 예들에서, 호스트 디바이스(110)는 비디오 또는 이미지 소스(예를 들어, 이미지 캡쳐 시스템(160))로부터 수신된 비디오 스트림 데이터, 및 비디오 스트림 데이터와 연관된 맥락형 데이터를 데이터베이스(140)에 저장하도록 구성될 수 있다. 일부 예들에서, 비디오 스트림 데이터 및 이와 연관된 맥락형 데이터는, 여기에서 더 상세하게 설명되는 바와 같이, 맥락형 비디오 스트림 등을 집합적으로 정의할 수 있다. 다른 예들에서, 비디오 스트림 데이터는 맥락형 데이터 등 없이 데이터베이스(140)에 저장될 수 있다.
호스트 디바이스(110)가 데이터베이스(140)(예를 들어, 단일 데이터베이스)를 포함하고/하거나 다르게는 이에 동작 가능하게 연결되는 것으로 도 1a를 참조하여 도시되고 설명되었지만, 일부 실시예들에서, 호스트 디바이스(110)는 임의의 수의 데이터베이스들에 동작 가능하게 연결될 수 있다. 그러한 데이터베이스들은 시스템(100)과 연관된 데이터 세트의 적어도 일부를 저장하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 호스트 디바이스(110)는 사용자 데이터, 사용자 프로파일들 등을 수신하고 적어도 일시적으로 저장하도록 구성된 제1 데이터베이스, 및 비디오 스트림 데이터 및 비디오 스트림 데이터와 연관된 맥락형 데이터를 수신하고 적어도 일시적으로 저장하도록 구성된 제2 데이터베이스에 동작 가능하게 연결될 수 있고/있거나, 다르게는 이와 통신할 수 있다. 일부 실시예들에서, 호스트 디바이스(110)는 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160) 내에 또는 그 위에 저장되는 데이터베이스에 동작 가능하게 연결될 수 있고/있거나, 다르게는 이와 통신할 수 있다. 다시 말해서, 데이터베이스의 적어도 일부는 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160) 내에 구현될 수 있고/있거나, 이에 의해 저장될 수 있다. 이러한 방식으로, 호스트 디바이스(110), 일부 예들에서는, 데이터베이스(140)는, (예를 들어, 네트워크(105)를 통해) 호스트 디바이스(110)와 통신하면서, 물리적으로 호스트 디바이스(110)와 상이한 위치에 배치될 수 있는 임의의 수의 데이터베이스들과 통신할 수 있다. 일부 예들에서, 데이터베이스(140)의 제1 부분은 호스트 디바이스(110)의 메모리에 포함될 수 있고/있거나 다르게는 저장될 수 있고, 데이터베이스(140)의 제2 부분은 클라이언트 디바이스(150)의 메모리에 포함될 수 있고/있거나, 다르게는 이에 의해 저장될 수 있다.
일부 실시예들에서, 데이터베이스(140)는 검색 가능한 데이터베이스 및/또는 레포지토리일 수 있다. 예를 들어, 일부 예들에서, 데이터베이스(140)는 사용자와 연관된 비디오 스트림 데이터(예를 들어, 맥락형 비디오 스트림 데이터)를 저장할 수 있다. 일부 예들에서, 사용자는 데이터베이스(140)를 검색하여 데이터베이스(140)에 저장된 사용자와 연관된 하나 이상의 맥락형 비디오 스트림을 리트리브할 수 있고/있거나 볼 수 있다. 일부 예들에서, 사용자는 자신의 사용자 프로파일과 연관된 비디오 스트림들(예를 들어, 사용자-특정 맥락형 비디오 스트림들 등)을 업데이트, 편집, 삭제 및/또는 추가하기 위한 제한된 액세스 및/또는 권한들을 가질 수 있다. 일부 예들에서, 사용자는, 예를 들어, 해당 사용자와 연관된 사용자-특정 비디오 스트림들과 연관된 허가들 및/또는 액세스를 업데이트 및/또는 수정할 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 사용자와 연관된 데이터를 재배포, 공유 및/또는 저장할 수 있다. 다른 예들에서, 사용자는 사용자-특정 데이터 등에 대한 액세스를 차단할 수 있다. 일부 예들에서, 사용자는 (예를 들어, 사용자와 연관될 수도 있고 연관되지 않을 수도 있는) 사용자와 다른 방식으로 공유되는 컨텐츠, 데이터 및/또는 비디오 스트림들을 재배포 및/또는 공유할 수 있다.
도 2로 돌아가면, 위에서 설명된 바와 같이, 호스트 디바이스(110)의 프로세서(120)는 특정 모듈들을 실행하도록 구성될 수 있다. 모듈들은, 예를 들어, 하드웨어 모듈들, 메모리(115)에 저장되고/되거나 프로세서(120)에서 실행되는 소프트웨어 모듈들 및/또는 이들의 임의의 결합일 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 프로세서(120)는 분석 모듈(121), 데이터베이스 모듈(122) 및 프리젠테이션 모듈(123)을 포함 및/또는 실행한다. 도 2에 도시된 바와 같이, 분석 모듈(121), 데이터베이스 모듈(122) 및 프리젠테이션 모듈(123)은 접속될 수 있고/있거나 전기적으로 연결될 수 있다. 이와 같이, 분석 모듈(121), 데이터베이스 모듈(122) 및 프리젠테이션 모듈(123) 사이에서 신호들이 전송될 수 있다.
분석 모듈(121)은, 프로세서(120)(또는 그 일부)에 의해 실행될 수 있고 사용자의 얼굴 인식과 연관된 데이터 및/또는 비디오 스트림을 수신 및/또는 수집하는 것과 연관된 명령어들의 세트를 포함한다. 보다 구체적으로, 분석 모듈(121)은 통신 인터페이스(125)에 동작 가능하게 연결될 수 있고/있거나 다르게는 이와 통신할 수 있고, 이로부터 데이터를 수신할 수 있다. 그러한 데이터는, 예를 들어, 사용자(예를 들어, 얼굴 인식 정보, 프로파일 정보, 선호도들, 활동 로그들, 위치 정보, 연락처 정보, 달력 정보, 소셜 미디어 활동 정보 등), 장소(예를 들어, 위치 데이터, 자원 데이터, 이벤트 스케줄), 이벤트 등과 연관될 수 있다. 여기에서 더 상세하게 설명되는 바와 같이, 분석 모듈(121)은 얼굴 인식과 연관된 임의의 수의 프로세스들을 수행 및/또는 실행하기 위한 요청 및/또는 명령과 연관된 신호를 통신 인터페이스(125)로부터 수신할 수 있다.
일부 예들에서, 분석 모듈(121)은 실질적으로 실시간으로 통신 인터페이스(125)로부터 데이터를 수신할 수 있다. 즉, 일부 예들에서, 시스템(100)에 포함된 전자 디바이스(예를 들어, 클라이언트 디바이스(150))는 사용자에 의해 조작되어 사용자의 얼굴 인식과 연관된 데이터를 정의 및/또는 업데이트할 수 있고, 일단 데이터가 정의 및/또는 업데이트되면, 네트워크(105)를 통해 호스트 디바이스(110)에 데이터를 전송할 수 있다. 따라서, 통신 인터페이스(125)는 데이터를 수신하면 분석 모듈(121)에 신호를 전송할 수 있고, 분석 모듈(121)은 전자 디바이스에 의해 정의 및/또는 업데이트되고 나서 매우 짧은 시간 기간 후에 데이터를 수신한다. 다른 실시예들에서, 분석 모듈(121)은, 예를 들어, 집성(aggregation) 프로세스, 현재 및/또는 예측되는 프로세서, 메모리 및/또는 네트워크 부하 등에 기초하여, 미리 결정된 레이트 등으로 통신 인터페이스(125)로부터 데이터를 수신할 수 있다.
위에서 설명된 바와 같이, 분석 모듈(121)은 얼굴 인식 프로세스 등과 연관된 데이터를 수신, 집성, 분석, 소팅, 파싱, 변경 및/또는 업데이트하도록 구성될 수 있다. 특히, 일부 예들에서, 사용자는 (여기에서 더 상세하게 설명되는 바와 같이) 클라이언트 디바이스(150)를 조작하여 자신의 얼굴의 하나 이상의 이미지 또는 비디오 스트림을 캡쳐할 수 있고, 차례로, 예를 들어, 네트워크(105)를 통해 호스트 디바이스(110)에 이미지 데이터와 연관되고/되거나 이를 표현하는 신호들을 전송할 수 있다. 일부 예들에서, 통신 인터페이스(125)는 이미지 데이터를 수신할 수 있고, 연관된 신호를 분석 모듈(121)에 전송할 수 있다. 수신 시, 분석 모듈(121)은 이미지 데이터를 어그레이트, 분석, 소팅, 업데이트, 파싱 및/또는 다른 방식으로 프로세싱하는 것과 연관된 (예를 들어, 분석 모듈(121) 및/또는 메모리(115)에 저장된) 명령어들의 세트 또는 코드를 실행할 수 있다. 보다 구체적으로, 분석 모듈(121)은, 예를 들어, 위에서 설명된 것과 같은 임의의 적절한 얼굴 인식 프로세스 및/또는 알고리즘을 수행할 수 있다. 일부 예들에서, 얼굴 인식 프로세스 및/또는 알고리즘은 사용자와 연관된 이미지 데이터의 초기 등록일 수 있다. 예를 들어, 분석 모듈(121)은 사용자의 얼굴의 템플릿, 윤곽, 프로파일, 형상, 피쳐, 배열, 특성 등과 연관되고/되거나 다른 방식으로 이를 표현하는 데이터 세트(본 명세서에서 "초기 데이터 세트", "초기 얼굴 이미지" 및/또는 "얼굴 이미지"로도 지칭됨)를 정의할 수 있다. 다시 말해서, 일부 예들에서, 사용자는 클라이언트 디바이스(150)를 조작하여 "셀피"(예를 들어, 사용자, 특히, 사용자의 얼굴의 사진 및/또는 비디오)를 캡쳐할 수 있고, 이에 응답하여, 클라이언트 디바이스(150)는 호스트 디바이스(110)에, 예를 들어, 셀피 데이터를 포함한 초기 데이터 세트를 전송할 수 있다. 일부 예들에서, 셀피를 캡쳐하기 전에 및/또는 호스트 디바이스(110)에 데이터를 전송하기 전에, 클라이언트 디바이스(150)의 사용자는 개인 및/또는 위치 데이터 등의 공유를 포함한 서비스의 조건들을 수락하도록 (예를 들어, 클라이언트 디바이스(150)의 디스플레이 상에) 프롬프트될 수 있다.
초기 데이터 세트를 정의한 후에, 분석 모듈(121)은 데이터베이스(140)에 초기 데이터 세트를 저장하라는 명령을 나타내는 신호를, 예를 들어, 데이터베이스 모듈(122)에 전송할 수 있다. 일부 예들에서, 분석 모듈(121)은, 초기 데이터 세트, 및 예를 들어, 사진, 비디오 레코딩 및/또는 오디오 레코딩, 개인 및/또는 식별 정보(예를 들어, 이름, 나이, 성별, 생일, 취미들 등), 달력 정보, (예를 들어, 사용자 및/또는 사용자의 친구들, 가족, 동료들 등과 연관된) 연락처 정보, 디바이스 정보(예를 들어, MAC(media access control) 어드레스, IP(Internet Protocol) 어드레스 등), 위치 정보(예를 들어, 현재 위치 데이터 및/또는 과거 위치 데이터), 소셜 미디어 정보(예를 들어, 프로파일 정보, 사용자 이름, 패스워드, 친구들 또는 연락처 리스트들 등) 및/또는 임의의 다른 적절한 정보 또는 데이터와 같은 사용자와 연관된 임의의 다른 적절한 정보 또는 데이터를 포함하는 사용자 프로파일 등을 정의할 수 있다. 이와 같이, 분석 모듈(121)은, 여기에서 더 상세하게 설명되는 바와 같이, 데이터베이스(140)에 사용자 프로파일 데이터를 저장하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 일부 예들에서, 초기 데이터가 데이터베이스(140)에 저장된 후에, 호스트 디바이스(110)는 클라이언트 디바이스(150)에 확인(confirmation)을 전송할 수 있다. 또한, 사용자 프로파일 데이터 중 일부 및/또는 초기 데이터 세트 중 임의의 부분은 클라이언트 디바이스(150)에 저장될 수 있다.
위에서는 분석 모듈(121)이 초기 데이터 세트를 정의하기 위해 얼굴 인식 프로세스 등을 수행 및/또는 실행하는 것으로 설명되었지만, 일부 예들에서, 분석 모듈(121)은 비디오 스트림 데이터(또는 예를 들어, 사진으로부터의 이미지 데이터)를 수신할 수 있고, 비디오 스트림 데이터를 분석 및/또는 프로세싱하여, 비디오 스트림 데이터의 일부가 초기 데이터 세트의 임의의 적절한 부분과 매칭되는지를 결정하도록 구성될 수 있다. 즉, 분석 모듈(121)은 초기 데이터 세트를 비디오 스트림에 포함된 데이터가 비교되는 템플릿으로서 사용할 수 있다. 달리 말하면, 분석 모듈(121)은 초기 데이터 세트에 적어도 부분적으로 기초하여 비디오 스트림 데이터에 대한 얼굴 인식 프로세스 및/또는 분석을 수행한다. 일부 실시예들에서, 호스트 디바이스(110), 특히, 통신 인터페이스(125)는 이미지 캡쳐 시스템(160)으로부터 직접적으로 (예를 들어, 네트워크(105)를 통해 하나 이상의 카메라로부터) 또는 간접적으로 (예를 들어, 네트워크(105)를 통해 컴퓨팅 디바이스(이것이 차례로 하나 이상의 카메라와 통신함)로부터) 비디오 스트림 데이터를 수신한다. 일부 실시예들에서, 분석 모듈(121)은 비디오 스트림 데이터를 그것의 개별 프레임들(예를 들어, 비디오 스트림 동안의 미리 결정된 시간에서의 정지 이미지)로 분리, 파싱, 소팅 및/또는 다른 방식으로 분해하는 것에 적어도 부분적으로 기초하여 비디오 스트림 데이터를 분석 및/또는 프로세싱하도록 구성될 수 있다. 이와 같이, 분석 모듈(121)은 초기 데이터 세트에 대해 비디오 스트림 프레임에 포함된 데이터를 비교 및/또는 분석할 수 있다.
일부 예들에서, 분석 모듈(121)은 또한 비디오 스트림 데이터를 분석하여, 예를 들어, 위치, 장소, 시간, 동시에 일어나는 이벤트(예를 들어, 득점하는 스포츠 팀이, 예를 들어, "키스 캠(kiss cam)"에 캡쳐되는 것 등) 및/또는 임의의 다른 적절한 맥락형 정보와 같이 비디오 스트림과 연관된 맥락형 정보를 결정할 수 있다. 일부 예들에서, 분석 모듈(121)은 비디오 스트림의 적어도 일부를 맥락형 데이터에 매칭, 집성 및/또는 다르게는 연관시키도록 구성될 수 있다. 예를 들어, 일부 예들에서, 비디오 스트림 데이터는, 예를 들어, 스포츠 이벤트에서의 사용자를 표현할 수 있다. 그러한 예들에서, 맥락형 데이터는, 예를 들어, 스포츠 이벤트 또는 게임의 비디오 스트림일 수 있고, 시간, 위치, 장소, 팀들 등과 연관된 데이터를 포함할 수 있다. 이와 같이, 분석 모듈(121)은 비디오 스트림 데이터 및 맥락형 데이터가 실질적으로 동시에 일어나도록 (예를 들어, 실질적으로 동일한 시간과 연관된 데이터를 발생시키고/시키거나 캡쳐하도록) 비디오 스트림 데이터와 맥락형 데이터를 집성하도록 구성될 수 있다. 다른 예들에서, 맥락형 데이터는 임의의 다른 적절한 맥락과 연관된 데이터를 포함할 수 있다.
분석 모듈(121)이 비디오 스트림 내의 데이터의 적어도 일부가 기준을 충족시키는 것으로(예를 들어, 미리 결정되고/되거나 허용 가능한 확률로 초기 데이터 세트에 매칭되는 것으로) 결정하는 경우, 분석 모듈(121)은 이미지 및/또는 비디오 스트림 데이터의 적어도 일부를 데이터베이스(140)에 저장하고 해당 데이터를 초기 데이터 세트와 연관시키고/시키거나 다르게는 해당 데이터를 저장하라는 명령을 나타내는 하나 이상의 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 일부 예들에서, 분석 모듈(121)은, 개별 프레임들이 데이터베이스(140)에 저장되도록 신호들을 데이터베이스 모듈(122)에 전송할 수 있고, 이 프레임들은 차례로 후속적으로 리트리브되고 프로세싱되어 비디오 스트림을 정의할 수 있다. 다른 예들에서, 분석 모듈(121)은 비디오 스트림 데이터의 일부가 데이터베이스(140)에 저장되도록 하나 이상의 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 즉, 분석 모듈(121)은 (위에서 설명된 바와 같이 분리되거나 분해된) 개별 프레임들로부터 적어도 부분적으로 비디오 스트림을 재정의하고/하거나 재구성할 수 있다.
일부 예들에서, 호스트 디바이스(110)는 (예를 들어, 이미지 캡쳐 시스템(160)으로부터, 네트워크(105) 및 통신 인터페이스(125)를 통해) 비디오 스트림 데이터를 수신할 수 있고, 분석 모듈(121) 및/또는 도 2에 도시되지 않은 임의의 다른 적절한 모듈은 (방금 설명된) 얼굴 인식 프로세스를 수행하기 전에 하나 이상의 사전-프로세싱 및/또는 사전-소팅 프로시져들을 수행할 수 있다. 예를 들어, 일부 실시예들에서, 분석 모듈(121)(또는 다른 모듈)은 비디오 스트림 데이터를 분석하여, 예를 들어, 위치, 시간, 이벤트 등과 같은 식별 정보 및/또는 맥락형 정보를 포함한 데이터 세트를 결정 및/또는 정의할 수 있다. 일단 정의되면, 분석 모듈(121)은 (예를 들어, 데이터베이스(140) 등에 질의하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송하는 것을 통해) 데이터베이스(140)에 저장된 사용자 데이터를 분석하여, 사용자와 연관된 데이터의 일부가 비디오 스트림과 연관된 맥락형 정보를 포함한 데이터 세트와 매칭되는 것과 같은 기준(들)을 충족시키는지를 결정할 수 있다.
일부 예들에서, 기준(들)은 임의의 적절한 방식(예를 들어, 십진수, 백분율 등과 같은 값)으로 표현되는 신뢰 레벨 및/또는 매칭 임계치와 연관될 수 있다. 예를 들어, 일부 예들에서, 기준(들)은 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 70% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 75% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 80% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 85% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 90% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 95% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 97.5% 매칭, 비디오 스트림 데이터와 데이터베이스에 저장된 데이터의 적어도 일부 간의 99% 매칭, 또는 그 사이의 임의의 백분율과 같은 임계치 등일 수 있다.
일부 예들에서, 사용자와 연관된 데이터는, 예를 들어, 달력 데이터, 위치 데이터, 선호도 데이터 등을 포함할 수 있다. 예를 들어, 데이터가 기준을 충족시키지 않는 경우, 분석 모듈(121)은 해당 사용자와 연관된 데이터가, 예를 들어, 얼굴 인식 프로세스로부터 배제될 수 있다는 지시를 정의할 수 있다. 이러한 방식으로, 사전-프로세싱 및/또는 사전-소팅은 얼굴 인식 프로세스 동안의 프로세싱 부하 등의 양을 감소시킬 수 있다. 위에서는 사용자 데이터에 대해 데이터베이스(140)에 질의하는 것으로 설명되었지만, 일부 실시예들에서, 호스트 디바이스(110)는 사용자와 연관된 디바이스(예를 들어, 클라이언트 디바이스(150))에 해당 디바이스와 연관된 위치 데이터 등에 대한 요청을 나타내는 신호를 전송할 수 있다. 분석 모듈(121)은, 위치 데이터(예를 들어, 디바이스의 GPS(global positioning) 데이터)를 수신하면, 위에서 설명된 바와 같이, 위치 데이터가 비디오 스트림과 연관된 위치 데이터와 매칭되는지를 결정할 수 있다.
예로서, 일부 예들에서, 분석 모듈(121)은 스포츠 이벤트로부터, 예를 들어, 경기장과 연관된 위치 데이터를 또한 포함하는 비디오 스트림 데이터를 수신할 수 있다. 이에 응답하여, 분석 모듈(121)은 사용자와 연관된 클라이언트 디바이스(예를 들어, 클라이언트 디바이스(150))로부터의 위치 데이터에 대한 요청을 전송할 수 있다. 예를 들어, 비디오 스트림과 연관된 위치 데이터와 클라이언트 디바이스와 연관된 위치 데이터가 실질적으로 유사하고/하거나, 클라이언트 디바이스와 연관된 위치 데이터가 미리 결정된 범위의 위치 데이터 값들 등 내에 있는 경우, 분석 모듈(121)은 신뢰 스코어를 증가시킬 수 있고/있거나, 다르게는 임계치를 충족시키고/시키거나 다르게는 기준(들)을 충족시키는 데 기여하는 것으로 결과를 고려할 수 있다. 일부 예들에서, 위치 데이터는, 예를 들어, GPS에 기초한 지형-위치 데이터, (예를 들어, NFC 검증, 블루투스 검증, 셀룰러 삼각 측량, 인지 네트워크 스위칭 및/또는 프로토콜들 등을 통한) 네트워크 위치 및/또는 데이터, "체크-인"과 같은 소셜 네트워크 데이터 등일 수 있다. 이러한 방식으로, 호스트 디바이스(110)(예를 들어, 분석 모듈(121))는, 예를 들어, 비디오 스트림 데이터가 캡쳐된 위치에 대한 클라이언트 디바이스의 근접도를 결정할 수 있다.
비록 위치 데이터를 분석하는 것으로 설명되었지만, 다른 예들에서, 분석 모듈(121)은 임의의 적절한 소스, 활동, 위치, 패턴, 구매 등과 연관된 데이터를 분석할 수 있다. 예를 들어, 일부 예들에서, 분석 모듈(121)은 장소와 연관된 티켓 판매를 분석할 수 있다. 다른 예들에서, 분석 모듈(121)은 소셜 미디어 게시물들, 코멘트들, 좋아요들 등을 분석할 수 있다. 일부 예들에서, 분석 모듈(121)은 (위에서 설명된 바와 같이) 사용자와 연관된 데이터를 수집 및/또는 분석할 수 있고, 예를 들어, 그 중에서도, 사용자 식별 데이터, 얼굴 인식 데이터, 클라이언트 디바이스 데이터, 구매 데이터, 인터넷 웹브라우징 데이터, 위치 데이터, 소셜 미디어 데이터, 선호도 데이터 등을 포함할 수 있는 사용자 프로파일을 정의할 수 있다. 따라서, 사용자의 프로파일 데이터는 임계치 스코어, 값 및/또는 지시자와 관련되어 평가될 수 있는 신뢰 스코어, 값 및/또는 지시자를 결정하기 위해 분석되어, 사용자 데이터 및/또는 비디오 스트림 데이터가 기준(들)을 충족시키는지를 결정할 수 있다. 따라서, 이러한 실시예들에서, 비-얼굴 인식 데이터(예를 들어, 티켓 판매 데이터, 소셜 미디어 게시물들, 비디오 또는 이미지 내의 개인의 의상 등)는 얼굴 인식 데이터를 확증하고 및/또는 신뢰 스코어를 증가/감소시키는 데 사용될 수 있다.
위에서는 분석 모듈(121)이 비디오 스트림 데이터를 분석하여 얼굴 인식 데이터 및 비디오 스트림과 연관된 맥락형 데이터를 정의하는 것으로 설명되었지만, 다른 실시예들에서는, 얼굴 인식 프로세스와 맥락형 데이터 프로세스가 별개로 및/또는 독립적으로 수행될 수 있다. 예를 들어, 일부 실시예들에서, 분석 모듈(121)은 얼굴 인식 프로세스를 수행하도록 구성될 수 있고, 상이한 모듈, 프로세서, 디바이스, 서버 등이 맥락형 데이터 프로세스를 수행하도록 구성될 수 있다. 따라서, 동일한 모듈에 의해 수행되는 얼굴 인식 프로세스 및 맥락형 데이터 프로세스와 비교할 때, 비디오 스트림 데이터를 분석하는 시간이 감소될 수 있고/있거나, 프로세싱 부하가 분산될 수 있다.
위에서 설명된 바와 같이, 데이터베이스 모듈(122)은 데이터베이스(140)를 모니터링하고/하거나 이에 저장된 데이터를 업데이트하는 것과 연관된 프로세서(120)(또는 그 일부)에 의해 실행되는 명령어들의 세트를 포함한다. 예를 들어, 데이터베이스 모듈(122)은 프로세서(120)로 하여금 분석 모듈(121)로부터 수신된 얼굴 인식 데이터의 적어도 일부로 데이터베이스(140)에 저장된 데이터를 업데이트하게 하는 명령어들을 포함할 수 있다. 보다 구체적으로, 데이터베이스 모듈(122)은, 예를 들어, 분석 모듈(121)로부터 사용자와 연관된 초기 데이터 세트를 수신할 수 있고, 이에 응답하여, 초기 데이터 세트를 데이터베이스(140)에 저장할 수 있다. 일부 예들에서, 데이터베이스 모듈(122)은 분석 모듈(121)로부터 데이터베이스(140)에 질의하기 위한 요청을 나타내는 신호를 수신하여, 데이터베이스(140)에 저장되고 사용자에 대한 초기 데이터 세트와 연관된 데이터가 위에서 설명된 바와 같이 비디오 스트림 데이터의 임의의 적절한 부분과 매칭되는지를 결정할 수 있다. 예를 들어, 비디오 스트림 데이터의 적어도 일부가 기준(들)(이하, 간략함을 위해 "기준"이라고 하며, 이것이 다수의 "기준들"을 제외하는 것은 아님)을 충족시키는 경우, 데이터베이스 모듈(122)은 데이터베이스(140)에 저장되고 해당 사용자와 연관된 데이터를 업데이트하도록 구성될 수 있다. 즉, 비디오 스트림 데이터의 적어도 일부가 미리 결정된 확률 등 내의 초기 데이터 세트와 매칭되는 경우이다. 그러나, 비디오 스트림 데이터가 데이터베이스(140)에 저장된 초기 데이터 세트와 매칭되지 않는 경우, 데이터베이스 모듈(122)은, 예를 들어, 다음 엔트리(예를 들어, 다음 사용자와 연관된 데이터)에 대해 데이터베이스(140)에 질의할 수 있고/있거나, 다르게는 데이터베이스(140)를 업데이트하지 않을 수 있다. 또한, 데이터베이스 모듈(122)은 관계 기반 방식(예를 들어, 데이터베이스(140)가 관계형 데이터베이스 등일 수 있음) 및/또는 임의의 다른 적절한 방식으로 데이터베이스(140)에 데이터를 저장하도록 구성될 수 있다.
프리젠테이션 모듈(123)은, 위에서 설명된 바와 같이, 얼굴 인식 프로세스 동안에 기준을 충족시키는 비디오 스트림 데이터의 적어도 일부를 표현하는 맥락형 비디오 스트림 및/또는 프리젠테이션을 정의하는 것과 연관된 프로세서(120)(또는 그 일부)에 의해 실행되는 명령어들의 세트를 포함한다. 보다 구체적으로, 프리젠테이션 모듈(123)은 이벤트, 장소, 위치 등에서 (예를 들어, 얼굴 인식을 통해) 식별된 사용자를 표현하는 맥락형 비디오 스트림 및/또는 프리젠테이션을 정의하도록 구성될 수 있다. 일단 맥락형 비디오 스트림(예를 들어, 사용자-특정 맥락형 비디오 스트림)이 정의되면, 프리젠테이션 모듈(123)은 통신 인터페이스(125)에 사용자-특정 맥락형 비디오 스트림과 연관된 신호를 전송할 수 있고, 통신 인터페이스(125)는 차례로 (예를 들어, 네트워크(105)를 통해) 클라이언트 디바이스(150)에 맥락형 비디오 스트림을 그 디스플레이 상에 그래픽으로 표현하라는 명령을 나타내는 신호를 전송할 수 있다.
일부 예들에서, 프리젠테이션 모듈(123)은, 예를 들어, 상호 작용형이고 임의의 수의 데이터 계층들을 포함할 수 있는 사용자-특정 맥락형 비디오 스트림 및/또는 프리젠테이션을 정의할 수 있다. 예를 들어, 일부 예들에서, 프리젠테이션 모듈(123)은 각각이 비디오 스트림과 연관된 맥락형 데이터의 임의의 적절한 부분을 포함할 수 있는 임의의 수의 데이터 계층들, 레벨들, 페이지들 등을 포함하는 상호 작용형 및 맥락형 비디오 스트림을 정의할 수 있다. 그러한 예들에서, 맥락형 비디오 스트림은, 예를 들어, 클라이언트 디바이스(150)의 디스플레이 상에 그래픽으로 표현될 수 있고, 사용자는 클라이언트 디바이스(150)를 조작하여, (예를 들어, 키보드, 마우스, 터치 스크린, 음성 커맨드 등을 통해) 예를 들어, 아이콘, 맥락형 비디오 스트림의 일부 등을 선택할 수 있다. 일부 예들에서, 해당 비디오 스트림과 연관되고/되거나 이와 관련된 데이터(예를 들어, 맥락형 데이터)가 클라이언트 디바이스(150)의 디스플레이 상에 그래픽으로 표현되도록 아이콘 등의 선택이 이루어질 수 있다. 예를 들어, 일부 예들에서, 사용자-특정 맥락형 비디오 스트림은 스포츠 이벤트에서의 사용자를 표현할 수 있고, 맥락형 데이터는, 예를 들어, 맥락형 비디오 스트림의 일부 시간 또는 그 동안의 시간과 동시에 일어나는 골 또는 다른 이벤트와 연관된 데이터를 포함할 수 있다. 특정 예로서, 비디오 스트림(예를 들어, 맥락형 비디오 스트림)은 스포츠 이벤트에서 응원하는 사용자를 표현할 수 있고, 맥락형 데이터는, 예를 들어, 실질적으로 일치하는 시간에서의 스포츠 이벤트의 비디오 스트림을 포함할 수 있고/있거나 다르게는 이와 연관될 수 있다. 다른 예들에서, 맥락형 데이터는 동시에 일어나는 이벤트에 대한 텍스트 설명을 포함할 수 있다. 일부 예들에서, 맥락형 비디오 스트림 및 맥락형 데이터는 실질적으로 동시에 클라이언트 디바이스(150)의 디스플레이 상에 제시될 수 있다. 예를 들어, 사용자는 골과 골에 대한 그들의 반응 둘 다를 동시에 볼 수 있다.
프리젠테이션 모듈(123)에 의해 정의되는 사용자-특정 맥락형 비디오 스트림은, 예를 들어, 이미지 캡쳐 시스템(160)으로부터 수신된 완전한 비디오 스트림 또는 비디오 스트림의 일부일 수 있다. 예를 들어, 일부 예들에서, 사용자-특정 맥락형 비디오 스트림은 사용자가 존재하는 비디오 스트림의 일부일 수 있다. 따라서, 사용자가 실질적으로 전체 비디오 스트림에 존재하는 경우, 사용자-특정 맥락형 비디오 스트림은 실질적으로 전체 비디오 스트림일 수 있다. 다른 예들에서, 사용자가 비디오 스트림의 일부에만 존재하는 경우, 사용자-특정 맥락형 비디오 스트림의 정의는 비디오 스트림으로부터 사용자가 존재하는 부분들(예를 들어, 프레임들)을 추출하는 것을 포함할 수 있다. 예로서, 15초의 비디오 스트림이 캡쳐되어 호스트 디바이스(110)에 전송되지만, 사용자는 비디오 스트림의 3초 동안에만 존재하는 경우, 프리젠테이션 모듈(123)은, 예를 들어, 사용자가 존재하는 3초 부분인 사용자-특정 맥락형 비디오 스트림을 정의하도록 구성될 수 있다.
위에서는 호스트 디바이스(110)의 프리젠테이션 모듈(123) 및/또는 다른 부분이 클라이언트 디바이스(150)에 사용자-특정 맥락형 비디오 스트림을 클라이언트 디바이스(150)의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송하는 것으로 설명하였지만, 다른 예들에서, 프리젠테이션 모듈(123)은 사용자-특정 맥락형 비디오 스트림을 정의할 수 있고, 데이터베이스(140)에 사용자-특정 맥락형 비디오 스트림을 저장하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송할 수 있다. 그러한 예들에서, 사용자-특정 맥락형 비디오 스트림과 연관된 데이터는 데이터베이스(140)에 저장될 수 있고/있거나, 다르게는 데이터베이스(140)에 저장된 사용자 데이터와 연관될 수 있다. 일부 예들에서, 호스트 디바이스(110)는, 클라이언트 디바이스(150)(및/또는 임의의 다른 적절한 디바이스)로부터의 요청에 응답하여, 데이터베이스(140)로부터 사용자-특정 맥락형 비디오 스트림을 리트리브할 수 있다. 보다 구체적으로, 일부 실시예들에서, 사용자는 클라이언트 디바이스(150)를 조작하여 인터넷상의 웹페이지에 액세스할 수 있다. 인증된 후에(예를 들어, 크리덴셜들 등을 입력한 후에), 사용자는 사용자-특정 맥락형 비디오 스트림에 대한 액세스에 대한 요청이 클라이언트 디바이스(150)로부터 호스트 디바이스(110)로 전송되도록 웹페이지와 상호 작용할 수 있다. 따라서, 호스트 디바이스(110)(예를 들어, 데이터베이스 모듈(122))는 데이터베이스(140)로부터 사용자-특정 맥락형 비디오 스트림을 리트리브할 수 있고, 클라이언트 디바이스(150)에, (예를 들어, 인터넷 및 웹페이지를 통해) 사용자-특정 맥락형 비디오 스트림을 디스플레이 상에 제시 시에 동작 가능한 신호를 전송할 수 있다. 다시 말해서, 사용자-특정 맥락형 비디오 스트림은 "클라우드" 상에 저장되고, 웹브라우저 및 인터넷을 통해 액세스될 수 있다.
위에서는 분석 모듈(121), 데이터베이스 모듈(122) 및 프리젠테이션 모듈(123)이 호스트 디바이스(110)에서 저장 및/또는 실행되는 것으로 설명되었지만, 다른 실시예들에서, 모듈들 중 임의의 모듈들은, 예를 들어, 클라이언트 디바이스(150) 및/또는 이미지 캡쳐 시스템(160)에서 저장 및/또는 실행될 수 있다. 예를 들어, 일부 실시예들에서, 클라이언트 디바이스(150)는 (예를 들어, 네이티브 애플리케이션으로서) 프리젠테이션 모듈을 포함, 정의 및/또는 저장할 수 있다. 프리젠테이션 모듈은 호스트 디바이스(110)의 프리젠테이션 모듈(123)과 실질적으로 유사하거나 동일할 수 있다. 이러한 실시예들에서, 클라이언트 디바이스(150)의 프리젠테이션 모듈은 호스트 디바이스(110)에서 다른 방식으로 포함 및/또는 실행되는 프리젠테이션 모듈(123)의 기능을 대체할 수 있다. 따라서, 클라이언트 디바이스(150)의 프리젠테이션 모듈은, 예를 들어, 맥락형 비디오 스트림과 연관된 데이터 세트를 수신할 수 있고, 수신시, 클라이언트 디바이스(150)의 디스플레이 상에 제시되는 프리젠테이션을 정의할 수 있다.
위에서는 프리젠테이션 모듈(123)이 클라이언트 디바이스(150)의 사용자의 및/또는 사용자에 대한 맥락형 비디오 스트림(예를 들어, 사용자-특정 맥락형 비디오 스트림)을 정의하는 것으로 설명되었지만, 일부 예들에서, 프리젠테이션 모듈(123)은 데이터베이스(140)에 저장된 사용자 프로파일을 갖는 임의의 사용자와 연관된 사용자-특정 맥락형 비디오 스트림을 정의하도록 구성될 수 있다. 예를 들어, 분석 모듈(121)은, 이미지 캡쳐 시스템(160)으로부터 비디오 스트림 데이터를 수신하면, (위에서 설명된 바와 같이) 얼굴 인식 및/또는 비디오 분석 프로세스를 수행하여, 비디오 스트림의 얼굴 데이터가 등록된 사용자(예를 들어, 사용자 프로파일 데이터 등이 데이터베이스(140)에 저장된 사용자들)와 연관된 얼굴 데이터와 매칭되는지를 결정할 수 있다. 이러한 방식으로, 비디오 스트림 데이터에서 분석 모듈(121)에 의해 수행된 얼굴 인식 분석이 사용자의 얼굴 이미지를 식별하는 경우(예를 들어, 위에서 상세하게 설명된 바와 같이, 매칭을 식별하고/하거나, 다른 방식으로 기준을 충족시키는 경우), 프리젠테이션 모듈(123)은 임의의 적절한 사용자 또는 사용자들의 그룹에 대한 사용자-특정 맥락형 비디오 스트림을 정의하도록 구성될 수 있다. 일부 예들에서, 호스트 디바이스(110)는 사용자-특정 맥락형 비디오 스트림을 각각의 식별된 사용자와 연관된 클라이언트 디바이스에 자동으로 전송할 수 있고/있거나, 사용자-특정 맥락형 비디오 스트림(들)을 (예를 들어, 데이터베이스(140) 등에서) "클라우드" 상에 자동으로 업로드 및/또는 저장할 수 있다. 일부 예들에서, 사용자-특정 비디오 스트림은 이메일, 단문 메시지 서비스(SMS), 멀티미디어 메시지 서비스(MMS), NFC 및/또는 블루투스 통신을 통해 전송될 수도 있고, 소셜 미디어 플랫폼에 게시(예를 들어, 페이스북, 트위터, 유튜브, 인스타그램 등에 게시)되는 등과 같이 될 수 있다. 일부 예들에서, 사용자-특정 비디오 스트림을 전송하기 위한 양상(modality)은 수신 사용자 및/또는 전송 사용자에 대한 사용자 선호도와 같은 사용자 선호도에 기초할 수 있다.
위에서 설명된 바와 같이, 일부 예들에서, 분석 모듈(121) 등은 얼굴 인식 프로세스를 수행하기 전에 하나 이상의 사전-프로세싱 및/또는 사전-소팅 프로시져를 수행할 수 있다. 예를 들어, 분석 모듈(121)은 (예를 들어, 데이터베이스(140) 등에 질의하라는 명령을 나타내는 신호를 데이터베이스 모듈(122)에 전송하는 것을 통해) 임의의 수의 등록된 사용자들과 연관된 데이터를 분석하여, 사용자들 중 임의의 사용자와 연관된 데이터의 일부가, 예를 들어, 사용자와 연관된 맥락형 데이터와 비디오 스트림과 연관된 맥락형 데이터 간의 매칭과 같은 기준(들)을 충족시키는지(예를 들어, 사용자의 클라이언트 디바이스와 연관된 위치 데이터가 비디오 스트림과 연관된 위치 데이터와 매칭되는지)를 결정할 수 있다. 분석 모듈(121)은, 데이터베이스(140)에 저장된 데이터를 사전-프로세싱한 후, 얼굴 인식 분석을 수행하여, 비디오 스트림의 얼굴 이미지 데이터가 사전-프로세싱 등을 통해 식별된 사용자의 얼굴 이미지 데이터와 매칭되는지를 결정하도록 구성될 수 있다.
일부 예들에서, 맥락형 비디오 스트림의 공유는, 예를 들어, 비디오 스트림 데이터를 캡쳐한 사용자와 맥락형 비디오 스트림 데이터를 요청하는 사용자 간의 관계에 기초할 수 있다. 예를 들어, 일부 예들에서, 위에서 상세하게 설명된 바와 같이, 클라이언트 디바이스(예를 들어, 클라이언트 디바이스(150))의 사용자는 호스트 디바이스(110)에 의해 분석 및/또는 프로세싱될 수 있는 맥락형 비디오 스트림을 캡쳐할 수 있다. 맥락형 비디오 스트림을 정의한 후에, 새로운 사용자가 얼굴 이미지 데이터 및 사용자 프로파일 데이터를 데이터베이스에 등록할 수 있으며, 차례로 이들 데이터는 데이터베이스에 저장된다. 일부 예들에서는, 새로운 사용자가, 예를 들어, 맥락형 비디오 스트림에서 캡쳐될 수 있다. 따라서, 일부 예들에서, 새로운 사용자는 맥락형 비디오 스트림을 캡쳐한 사용자와의 관계, 커넥션, 링크, 연관 등을 확립, 요청, 정의 등을 할 수 있다. 비디오 스트림을 캡쳐한 사용자가 새로운 사용자의 요청을 수락하는 경우, 사용자-특정 맥락형 비디오 스트림이 새로운 사용자의 클라이언트 디바이스에 자동으로 전송될 수 있고/될 수 있거나, 새로운 사용자와 다른 방식으로 연관될 수 있다. 일부 예들에서, 사용자-특정 비디오 스트림은 (예를 들어, 계정, 웹페이지, PC 또는 모바일 애플리케이션 등을 통해) 새로운 사용자가 자동으로 사용 가능하게 될 수 있다.
다른 예들에서, 호스트 디바이스(110)는 주어진 사용자에 의해 캡쳐된 맥락형 비디오 스트림에서 (예를 들어, 얼굴 인식을 통해) 식별된 하나 이상의 다른 사용자와의 관계를 제안하도록 구성될 수 있다. 다시 말해서, 호스트 디바이스(110)는 맥락형 비디오 스트림에서 하나 이상의 사용자를 식별하는 것에 기초하여 연관들을 제안할 수 있다. 일부 예들에서, 얼굴 인식을 통해 개인(예를 들어, 등록된 사용자 또는 등록되지 않은 사용자)을 식별하는 것에 기초하여, 호스트 디바이스(110)는 개인의 근접도, 위치 및/또는 임의의 다른 적절한 맥락형 데이터를 결정할 수 있다. 개인이 등록된 사용자인 경우, 호스트 디바이스(110)는, 예를 들어, 개인과 비디오를 캡쳐한 사용자 간의 관계를 제안할 수 있다. 개인이 등록된 사용자가 아닌 경우, 일부 예들에서, 호스트 디바이스(110)는 시스템에 등록하기 위해 초대장 등으로 개인과 연관된 디바이스에 신호를 전송할 수 있다.
일부 예들에서, 예를 들어, 제1 등록된 사용자는 제2 등록된 사용자의 비디오를 캡쳐할 수 있다. 본 명세서에서 설명된 바와 같이, 호스트 디바이스(110)는 비디오 스트림을 분석하고, 제2 등록된 사용자에 특정한 사용자-특정 비디오 스트림을 정의하도록 구성될 수 있다. 또한, 호스트 디바이스(110)는 제1 등록된 사용자와 연관된 데이터를 제2 등록된 사용자에 전송할 수 있고, 그 반대도 가능하다. 일부 예들에서, 데이터는 이름과 같은 개인 식별 데이터일 수 있다. 다른 예들에서, 데이터는 어느 사용자의 이름도 식별하지 않고 전송된 사용자 프로파일 사진일 수 있다. 일부 예들에서, 호스트 디바이스(110)는 또한 제1 등록된 사용자와 제2 등록된 사용자 간의 연관을 확립하기 위한 제안을 나타내는 데이터를 전송할 수 있다(예를 들어, 제1 등록된 사용자와 제2 등록된 사용자가 연관, 링크, 또는 다른 방식으로 커넥팅되었음을 제안할 수 있다). 예를 들어, 제2 등록된 사용자는 제1 등록된 사용자에게 연관 요청 등을 전송할 수 있고, 요청을 수락하면, 제1 등록된 사용자와 제2 등록된 사용자 간의 연관이 확립될 수 있다. 다른 예들에서는, 제1 등록된 사용자가 요청을 전송할 수 있고, 제2 등록된 사용자가 요청을 수락할 수 있다. 또한, 연관을 나타내는 데이터는 데이터베이스(140)에 저장될 수 있다.
또 다른 예들에서, 사용자는 사용자의 캡쳐된 이미지들 및/또는 비디오들의 공유를 제한하거나 방지하도록 (예를 들어, 클라이언트 디바이스(150)에서 사용자 입력을 통해) 선택할 수 있다. 예를 들어, 일부 예들에서, 클라이언트 디바이스(150)의 사용자는 호스트 디바이스(110)에 업로드 및/또는 전송되어, 예를 들어, 데이터베이스(140)에 저장되는 맥락형 비디오 스트림을 캡쳐할 수 있다. 일부 예들에서, 데이터베이스(140)에 저장된 사용자 프로파일 및/또는 사용자 데이터는 사용자의 비디오 및/또는 이미지가 비공개(private)임을 나타내는 지시를 포함할 수 있다. 이러한 방식으로, 호스트 디바이스(110)는 비디오 스트림에서 하나 이상의 사용자(예를 들어, 얼굴 이미지)를 식별할 수 있지만, 사용자 프로파일 데이터에 따라 식별된 사람들에게 사용자-특정 맥락형 비디오를 전송하지 않는다. 여기서는 비공개인 것으로 설명되긴 했지만, 다른 예들에서, 사용자는 자신의 비디오 스트림들 및/또는 이미지들을 비디오 스트림들 및/또는 이미지들에서 식별된 미리 결정된 그룹의 사용자들과만 공유시키도록 선택할 수 있다.
일부 예들에서, 맥락형 비디오 스트림과 연관된 맥락형 데이터는 하나 이상의 디지털 태그 등을 포함할 수 있다. 예를 들어, 일부 예들에서, 디지털 태그는 타이틀, 워터마크, 해시 태그, 날짜 및/또는 시간 스탬프, 이벤트 또는 장소 데이터 등일 수 있다. 유사하게, 맥락형 비디오 스트림이 사용자에 의해 생성된 비디오인 경우, 사용자는 하나 이상의 디지털 태그를 정의 및/또는 다른 방식으로 입력할 수 있다. 일부 예들에서, 호스트 디바이스(110)는 프리젠테이션 모듈(123)이 사용자-특정 맥락형 비디오 스트림을 정의할 때, 하나 이상의 디지털 태그를 표현하는 데이터를 포함하도록 구성될 수 있다. 예를 들어, 일부 예들에서, 호스트 디바이스(110) 및/또는 프리젠테이션 모듈(123)은 사용자-특정 맥락형 비디오 스트림에 타이틀 등을 포함 및/또는 삽입시킬 수 있다. 다른 예들에서, 호스트 디바이스(110) 및/또는 프리젠테이션 모듈(123)은 사용자-특정 맥락형 비디오 스트림의 재생 동안에 그래픽으로 표현되도록 구성되는 워터마크 등을 포함 및/또는 삽입시킬 수 있다. 일부 예들에서, 그러한 워터마크는, 예를 들어, 타이틀, 위치, 캡션, 반응 등일 수 있다. 다른 예들에서, 그러한 워터마크는, 예를 들어, 광고 등일 수 있다. 예를 들어, 일부 예들에서, 사용자 및/또는 호스트 디바이스(110)는 사용자-특정 맥락형 비디오 스트림의 스폰서 등을 선택할 수 있다. 예로서, 사용자는 스포츠 이벤트에 있는 동안에 맥락형 비디오 스트림을 캡쳐할 수 있고, 스포츠 용품 회사의 로고(예를 들어, Nike® 또는 "Nike Swoosh"®)의 워터마크가 사용자-특정 맥락형 비디오 스트림 상에 또는 그 안에 디스플레이되도록 데이터를 선택할 수 있고/있거나, 다른 방식으로 맥락형 비디오 스트림에 데이터를 포함시킬 수 있다. 일부 예들에서, 사용자는 자신의 사용자-특정 맥락형 비디오 스트림 상에 및/또는 그 안에 스폰서를 워터마크 표시되도록 선택한 경우에 보상을 받을 수 있다. 그러한 보상은, 예를 들어, 다수의 보기들, 좋아요들 등에 기초할 수 있다.
도 3 내지 도 6은, 실시예에 따라, 얼굴 인식 시스템(예를 들어, 시스템(100))의 적어도 일부의 사용을 나타내는 전자 디바이스로부터 취해진 다양한 스크린 샷들의 예시도들이다. 이러한 시스템은 얼굴 인식 데이터에 적어도 부분적으로 기초하여 사용자의 맥락형 비디오 스트림을 제시하는 데 사용될 수 있다. 시스템(100)의 적어도 일부는, 예를 들어, 전자 디바이스(예를 들어, 호스트 디바이스, 서버 또는 서버들의 그룹, 퍼스널 컴퓨터(PC), 네트워크 디바이스 등) 등의 메모리에 저장되고 프로세서에서 실행되는 명령어들의 세트 또는 코드로 표현 및/또는 설명될 수 있다. 예를 들어, 일부 실시예들에서, 호스트 디바이스는 사용자와 연관된 얼굴 인식 데이터를 등록하기 위한 요청과 연관된 신호를 수신할 수 있고, 이에 응답하여, 얼굴 인식 데이터를 데이터베이스에 저장할 수 있다. 유사하게, 호스트 디바이스는 비디오 스트림 데이터와 연관된 신호를 수신할 수 있다. 일부 예들에서, 호스트 디바이스의 하나 이상의 프로세서는 호스트 디바이스의 메모리에 저장되고 비디오 스트림 데이터를 분석하는 것과 연관된 명령어들의 세트 또는 코드를 실행하여, 얼굴 인식 데이터에 적어도 부분적으로 기초하여, 사용자의 하나 이상의 이미지가 비디오 스트림에 존재하는지를 결정할 수 있다. 이미지들이 비디오 스트림 데이터에서 발견되는 경우, 하나 이상의 프로세서는 비디오 스트림 데이터의 연관된 부분을 분리할 수 있다. 또한, 하나 이상의 프로세서는 (1) 시간, 위치, 이벤트 등과 같은 맥락형 데이터를 비디오 스트림 데이터와 연관시키고, (2) 사용자의 맥락형 비디오 스트림(예를 들어, 사용자-특정 맥락형 비디오 스트림)을 정의하기 위한 명령어들의 세트 또는 코드를 실행할 수 있다. 그 후, 하나 이상의 프로세서는, 사용자와 연관된 클라이언트 디바이스에, 사용자-특정 맥락형 비디오 스트림을 클라이언트 디바이스의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송할 수 있다.
위에서 설명된 바와 같이, 시스템(100)의 적어도 일부는, 예를 들어, 클라이언트 디바이스(150) 내에 또는 그 위에 구현될 수 있다. 클라이언트 디바이스(150)는 시스템(100)의 적어도 일부를 그래픽으로 표현하도록 구성된 디스플레이(155)(예를 들어, 도 3 참조)를 포함한다. 클라이언트 디바이스(150)의 디스플레이(155)는, 예를 들어, 시스템(100)의 임의의 적절한 부분(예를 들어, 웹페이지, PC 애플리케이션, 모바일 애플리케이션 등과 연관된 GUI)을 그래픽으로 표현할 수 있는 CRT(cathode ray tube) 모니터, LCD(liquid crystal display) 모니터, LED(light emitting diode) 모니터 등일 수 있다. 일부 실시예들에서, 디스플레이(155)는 햅틱 사용자 입력을 수신하도록 구성된 터치 스크린일 수 있고/있거나, 이를 포함할 수 있다. 일부 예들에서, 디스플레이(155)는, 여기에서 더 상세하게 설명되는 바와 같이, 얼굴 인식 프로세스와 연관된 데이터 및/또는 비디오 스트림과 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다.
도 3 내지 도 6에서는 도시되지 않았지만, 클라이언트 디바이스(150)는 위에서 설명된 바와 같이 카메라 및/또는 다른 이미징 디바이스를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 그러한 카메라는 (예를 들어, 스마트폰들, 태블릿들, 랩탑들 등에서와 같이) 클라이언트 디바이스(150)에 통합될 수 있고/있거나, 포트 등을 통해 클라이언트 디바이스(150)와 통신할 수 있다. 보다 구체적으로, 이 실시예에서, 클라이언트 디바이스(150)는 전향 카메라(예를 들어, 카메라가 디스플레이(155)와 실질적으로 동일한 방향을 가리킴)를 포함하는 스마트폰 또는 태블릿일 수 있다. 이러한 방식으로, 사용자는 클라이언트 디바이스(150)를 조작하여 카메라로 하여금 이미지(예를 들어, 사진) 또는 비디오를 캡쳐하게 할 수 있다. 또한, 일부 예들에서, 디스플레이(155)는 카메라에 의해 캡쳐된 이미지와 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다. 이와 같이, 사용자는 클라이언트 디바이스(150)를 조작하여, 카메라와 연관된 시야가 디스플레이(155) 상에 제시되는 동안에 카메라를 통해 자신의 사진 또는 비디오를 찍을 수 있다. 다시 말해서, 사용자는 클라이언트 디바이스(150)를 조작하여 셀피를 찍을 수 있다.
위에서 설명된 바와 같이, 클라이언트 디바이스(150)의 카메라는 사용자의 얼굴의 이미지를 캡쳐할 수 있고, 차례로 이 이미지는 사용자와 연관된 얼굴 인식 데이터를 등록하는 데 사용될 수 있다. 구체적으로, 사용자는, 예를 들어, 카메라를 제어하도록 구성된 모바일 애플리케이션을 선택함으로써 클라이언트 디바이스(150)를 조작할 수 있다. 이와 같이, 카메라는 이미지 데이터를 수신할 수 있고, 차례로 이미지 데이터는 도 3 내지 도 6에 도시된 바와 같이 디스플레이(155) 상에 제시될 수 있다. 또한, 디스플레이(155)는 지시, 프레임, 경계, 가이드 및/또는 데이터의 임의의 다른 적절한 그래픽 표현을 그래픽으로 표현하도록 구성될 수 있으며, 이는 사용자의 얼굴의 이미지에 대한 원하는 정렬과 연관된 지시를 제공할 수 있다. 구체적으로, 도 3 내지 도 6에 도시된 바와 같이, 디스플레이(155)는 안경(160) 등을 제시하도록 구성될 수 있으며, 이를 이용하여 사용자는 자신의 얼굴을 정렬할 수 있다. 또한, 디스플레이(155)는 등록 프로세스 동안에 임의의 적절한 포인트에서 사용자에게 지시하도록 구성된 프롬프트(165)를 제시할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 프롬프트(165)는 "안경을 착용하십시오(Please put the glasses on)"라는 텍스트를 포함한다. 다시 말해서, 프롬프트(165)는 사용자에게, 사용자가 실제로 안경을 착용한 것처럼, 얼굴 이미지(170) 내의 사용자의 눈이 정상적이고/이거나, 자연적이고/이거나, 예상되고/되거나, 공통되는 방식으로 안경(160) 내에 포지셔닝되도록 얼굴 이미지(170)를 그래픽으로 표현된 안경(160)과 정렬시키라고 지시할 수 있다.
일단 사용자가 자신의 얼굴 이미지(170)를 안경(160)과 정렬하면, 카메라는 사용자의 얼굴의 원하는 이미지를 캡쳐할 수 있다. 보다 구체적으로, 일부 실시예들에서, 그래픽으로 표현된 안경(160)은 포지티브 정렬 및/또는 인식의 가능성을 증가시킬 수 있는 원하는 사이즈 및/또는 형상을 가질 수 있다. 예를 들어, 일부 예들에서, 안경(160)의 그래픽 표현은 그래픽으로 표현된 안경(160)과 정렬될 때의 사용자의 눈 사이의 거리가 65픽셀보다 크도록 될 수 있다. 다른 예들에서, 그래픽으로 표현된 안경과 정렬될 때의 사용자의 눈 사이의 거리는 약 40픽셀과 약 65픽셀 사이이다. 다시 말해서, 사용자의 얼굴 이미지(170)의 정렬 및/또는 검증은 사용자의 눈의 그래픽 표현에 적어도 부분적으로 기초할 수 있고, 일부 예들에서, 미리 결정된 최소 거리는 포지티브 정렬 및/또는 인식의 보다 큰 가능성과 연관될 수 있다. 다른 실시예들에서, 사용자의 얼굴 이미지(170)의 정렬 및/또는 검증은, 예를 들어, 그래픽으로 표현된 안경(160) 및/또는 임의의 다른 그래픽으로 표현된 정렬 지시자에 대한, 임의의 적절한 얼굴 피쳐에 적어도 부분적으로 기초할 수 있다. 또한, 일단 사용자의 얼굴 이미지(170)가 정렬 및/또는 다른 방식으로 검증되면, 카메라는 사용자의 얼굴의 원하는 이미지를 캡쳐할 수 있다. 일부 예들에서, 일단 사용자의 얼굴 이미지(170)가 정렬되면, 카메라는 자동으로 사용자의 얼굴의 원하는 이미지를 캡쳐할 수 있다. 다른 예들에서는, 정렬의 지시가 디스플레이 상에 그래픽으로 표현될 수 있으며, 이는 (예를 들어, 사용자 입력을 통해) 사용자가 사진을 찍을 것을 프롬프트하도록 구성된다.
일부 예들에서, 일단 얼굴 이미지(170)가 정렬 및/또는 검증되면, 카메라는 원하는 이미지를 자동으로 캡쳐할 수 있다. 보다 구체적으로, 모바일 애플리케이션이 사용자의 눈이 안경(160)의 그래픽 표현과 정렬됨을 식별하는 것에 응답하여, 모바일 애플리케이션은 사용자로부터의 다른 관여 없이 이미지를 캡쳐하도록 카메라를 제어할 수 있다. 따라서, 사용자는 모바일 디바이스 상의 버튼을 누르고/누르거나, 다르게는 모바일 디바이스에 이미지 취득 지시를 제공할 필요 없이, 이미지(예를 들어, "셀피")를 취할 수 있다.
또한, 일단 사용자가 자신의 얼굴 이미지(170)를 안경(160)과 정렬하면, 프롬프트(165)가 업데이트될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 프롬프트(165)는 "좋습니다, 이제 개인 사진을 찍을 것입니다, 그대로 있으십시오(Great, now we will take a private photo, keep still)"라는 텍스트를 포함할 수 있다. 도 3 내지 도 6에는 도시되지 않았지만, 일부 실시예들에서, 프롬프트(165)는 카운트다운 타이머 등을 포함할 수 있다. 예를 들어, 프롬프트(165)는 사진을 찍고/찍거나 검증하기 위한 시간 길이와 연관된 카운트다운(예를 들어, "3"-"2"-"1"과 같은 카운트다운)을 그래픽으로 표현할 수 있다. 따라서, 카메라는 사용자의 얼굴 이미지(170)를 캡쳐할 수 있고, 얼굴 이미지(170)와 연관된 신호를 (위에서 설명된) 클라이언트 디바이스(150)의 프로세서에 전송할 수 있다. 프로세서는 얼굴 이미지(170)와 연관된 데이터를 수신 및/또는 리트리브할 수 있고, 차례로 얼굴 인식 프로세스의 적어도 일부와 연관된 (예를 들어, 메모리에 저장된) 명령어들의 세트 또는 코드를 실행할 수 있다. 예를 들어, 일부 예들에서, 프로세서는 얼굴 이미지(170)와 안경(160) 간의 정렬을 검증하는 것과 연관된 명령어들의 세트 또는 코드를 실행하여, 얼굴 이미지가 존재하는지를 결정할 수 있다. 일부 예들에서, 프로세서는 캡쳐된 사진에서의 얼굴 이미지(170)의 성공적인 검증 또는 캡쳐된 사진에서의 얼굴 이미지(170)의 성공적이지 않은 검증에 기초하여 프롬프트(165)를 업데이트할 수 있다. 예를 들어, 프로세서가 얼굴 이미지(170)를 긍정적으로 검증하는 경우, 프롬프트(165)는 도 5에 도시된 바와 같이 "축하합니다! 당신은 이제 등록되어 있습니다(Congratulations! You’re now registered)"라는 텍스트를 제시하도록 업데이트될 수 있다. 대안적으로, 프로세서가 얼굴 이미지(170)를 긍정적으로 검증하지 못한 경우, 프롬프트(165)는 "우리가 얼굴을 발견하지 못해서, 다시 시도합시다(We did not find a face, let’s try again)"라는 텍스트를 제시하도록 업데이트될 수 있다. 즉, 정렬에 기초하여, 프로세서는 얼굴 데이터를 검증하지 못할 수 있다. 이와 같이, 사용자는 안경(160)에 대한 얼굴 이미지(170)의 포지션을 조정할 수 있다. 일단 클라이언트 디바이스(150)가 안경(160)에 대한 얼굴 이미지(170)의 정렬을 검증하고, 얼굴 이미지(170)를 캡쳐하고, 얼굴 이미지(170)가 캡쳐된 사진에 성공적으로 표현되었음을 검증하면, 클라이언트 디바이스(150)는 얼굴 이미지 데이터와 연관된 신호를 호스트 디바이스(110)에 전송할 수 있고, 이는 차례로 위에서 상세하게 설명된 바와 같은 임의의 적절한 얼굴 인식 프로세스(예를 들어, 초기 등록 프로세스 등)를 수행할 수 있다.
위에서는 얼굴 인식 프로세스가 도 3 내지 도 6을 참조하여 특히 도시되고 설명되었지만, 다른 실시예들에서, 클라이언트 디바이스(150)는 임의의 적절한 방식으로 사용자의 초기 얼굴 데이터를 검증 및 캡쳐할 수 있다. 예를 들어, 위에서는 프롬프트들(165)이 특정 언어를 포함하는 것으로 특히 도시되고 설명되었지만, 다른 실시예들에서, 프롬프트들(165)은 텍스트가 있을 수도 있고 없을 수도 있는 임의의 적절한 지시자일 수 있다. 유사하게, 프롬프트들(165)은, 예를 들어, 스톱 워치(도 4), 체크 마크(도 5) 또는 "X"(도 6)와 같은 임의의 적절한 아이콘 또는 심볼을 포함할 수 있다. 다른 실시예들에서, 프롬프트들(165)은 텍스트만, 아이콘들 또는 심볼들만, 컬러들만 등등을 포함할 수 있다.
유사하게, 위에서는 디스플레이(155)가 얼굴 이미지(170)를 정렬하는 데 사용되는 안경(160)을 포함하는 것으로 도 3 내지 도 6을 참조하여 특히 도시되고 설명되었지만, 다른 실시예들에서, 클라이언트 디바이스(150)는 디스플레이(155) 상에 임의의 적절한 지시, 프레임, 경계, 얼굴 피쳐 등을 제시하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 디스플레이(155)는, 예를 들어, 눈, 귀, 코, 입(예를 들어, 미소 짓기), 실루엣 등과 같은 얼굴의 부분들을 그래픽으로 표현할 수 있다. 다른 실시예들에서, 디스플레이(155)는, 예를 들어, 원, 타원, 정사각형, 직사각형 및/또는 임의의 다른 다각형 또는 둥근 형상과 같은 하나 이상의 형상을 그래픽으로 표현할 수 있다. 또 다른 실시예들에서, 디스플레이(155)는 하나 이상의 라인, 화살표, 생략 부호, 및/또는 임의의 다른 적절한 심볼 또는 형상을 그래픽으로 표현할 수 있다. 또 다른 실시예들에서, 디스플레이(155)는 사용자의 얼굴 이미지(170)와 카메라의 정렬을 용이하게 하도록 구성된 임의의 다른 적절한 그래픽 표현을 제시할 수 있다. 또한, 얼굴 이미지(170)의 검증은, 예를 들어, 눈 사이의 거리(예를 들어, 위에서 설명된 바와 같이, 적어도 65픽셀), 눈의 형상 및/또는 사이즈, 눈의 컬러, 코의 사이즈 및/또는 형상, 비공 사이즈 및/또는 형상, 귀의 사이즈 및/또는 형상, 귀 사이의 거리, 광대뼈의 포지션 및/또는 배열, 턱 또는 턱 끝, 미소의 사이즈 및/또는 형상, 헤어 라인의 윤곽, 형상 또는 경로, 머리카락의 컬러, 스타일, 두께 또는 풍성함 등과 같은 임의의 적절한 얼굴 피쳐에 기초할 수 있다.
위에서는 클라이언트 디바이스(150)가 얼굴 이미지(170)의 초기 등록에 사용되는 원하는 이미지를 캡쳐하기 위해 특정 정렬 프로세스를 수행하는 것으로 설명되었지만, 다른 실시예들에서, 클라이언트 디바이스는 초기 얼굴 이미지 데이터를 캡쳐하도록 구성된 임의의 적절한 프로세스를 수행하도록 구성될 수 있다. 예를 들어, 도 7은, 다른 실시예에 따라, 얼굴 인식 시스템(예를 들어, 시스템(100))의 적어도 일부의 사용을 나타내는 전자 디바이스로부터 취해진 스크린 샷의 예시도이다. 위에서 상세하게 설명된 바와 같이, 이러한 시스템은 얼굴 인식 데이터에 적어도 부분적으로 기초하여 사용자의 맥락형 비디오 스트림을 제시하는 데 사용될 수 있다.
위에서 설명된 바와 같이, 시스템(100)의 적어도 일부는, 예를 들어, 클라이언트 디바이스 내에 또는 그 위에 구현될 수 있다. 클라이언트 디바이스는 위에서 설명된 클라이언트 디바이스(150)와 실질적으로 유사하거나 동일할 수 있다. 따라서, 클라이언트 디바이스의 부분들은 여기에서 더 상세하게 설명되지 않는다. 도 7에 도시된 바와 같이, 클라이언트 디바이스는 시스템(100)의 적어도 일부를 그래픽으로 표현하도록 구성된 디스플레이(255)를 포함한다. 디스플레이(255)는 본 명세서에서 설명된 것과 같은 임의의 적절한 디스플레이일 수 있다. 따라서, 디스플레이(255)는, 여기에서 더 상세하게 설명되는 바와 같이, 얼굴 인식 프로세스와 연관된 데이터 및/또는 비디오 스트림과 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다. 또한, 이 실시예에서, 클라이언트 디바이스는 위에서 상세하게 설명된 바와 같이 전향 카메라를 구비한 스마트폰 또는 태블릿일 수 있다.
위에서 설명된 바와 같이, 클라이언트 디바이스의 카메라는 사용자의 얼굴의 이미지를 캡쳐할 수 있고, 이 이미지는 차례로 사용자와 연관된 얼굴 인식 데이터를 등록하는 데 사용될 수 있다. 구체적으로, 사용자는, 예를 들어, 카메라를 제어하도록 구성된 모바일 애플리케이션을 선택함으로써 클라이언트 디바이스를 조작할 수 있다. 이와 같이, 카메라는 이미지 데이터를 수신할 수 있고, 이 이미지 데이터는 차례로 도 7에 도시된 바와 같이 디스플레이(255) 상에 제시될 수 있다. 또한, 디스플레이(255)는 하나 이상의 지시, 프레임, 경계, 가이드 및/또는 데이터의 임의의 다른 적절한 그래픽 표현을 그래픽으로 표현하도록 구성될 수 있으며, 이는 사용자의 얼굴의 이미지에 대한 원하는 정렬과 연관된 지시를 제공할 수 있다. 구체적으로, 이 실시예에서, 디스플레이(255)는 동적 지시자(275) 및 섹터 지시자들의 세트(280)를 그래픽으로 표현하도록 구성될 수 있으며, 이들 지시자들은 카메라 및/또는 디스플레이(255)에 대해 사용자의 얼굴 이미지(270)를 정렬하는 데 사용될 수 있다.
예를 들어, 일부 예들에서, 사용자는 동적 지시자(275)가 사용자의 얼굴 이미지(270)의 중심과 실질적으로 정렬되도록 클라이언트 디바이스를 조작할 수 있고/있거나, 클라이언트 디바이스에 대해 자신의 머리를 이동시킬 수 있다. 동적 지시자(275)는 음영 처리된 원인 것으로 도 7에 도시되어 있지만, 다른 예들에서, 동적 지시자(275)는 임의의 적절한 형상 및또는 사이즈일 수 있고, 음영 처리될 수도 있고 또는 음영 처리되지 않을 수도 있다. 유사하게, 섹터 지시자들(280)은 직사각형인 것으로 도시되어 있지만, 다른 실시예들에서, 섹터 지시자(280)는 임의의 적절한 형상, 사이즈 또는 구성일 수 있다. 일부 예들에서, 일단 사용자의 얼굴 이미지(270)가 원하는 포지션 및/또는 방위(orientation)에 정렬되면, 클라이언트 디바이스는 얼굴 이미지(270)를 자동으로 캡쳐할 수 있다. 예를 들어, 동적 지시자(275)가 실질적으로 디스플레이(255)의 중심에 배치될 때, 카메라는, 예를 들어, 얼굴 이미지(270)의 정면 뷰(예를 들어, 실질적으로 직시 방향(straight forward) 등)를 캡쳐할 수 있다.
얼굴 이미지(270)의 정면 뷰가 캡쳐된 상태에서, 사용자는 그 후 디스플레이(255)에 대해 자신의 머리를 이동시킬 수 있으며, 이는 차례로 동적 지시자(275)를 실질적으로 유사한 방식으로 이동시킨다. 예를 들어, 일부 예들에서, 사용자는 위를 쳐다보는 것처럼 자신의 머리를 뒤로 기울일 수 있다. 이와 같이, 클라이언트 디바이스는 사용자의 얼굴 이미지(270)의 이동을 결정할 수 있고, 연관된 방식으로 동적 지시자(275)를 이동시킬 수 있다. 일부 예들에서, 사용자의 얼굴 이미지(270)의 이동은, 예를 들어, "북쪽"에 대해 "N"으로 라벨링된 섹터 지시자(280)와 같이, 예를 들어, 연관된 섹터 지시자(280)에 의해 정의되는 경계에 동적 지시자(275)를 배치할 수 있다. 또한, 일단 동적 지시자(275)가 섹터 지시자(280)의 경계 내의 원하는 포지션에 배치되면, 카메라는, 예를 들어, 위를 쳐다보거나 위로 기울어진 것과 연관된 얼굴 이미지(270)를 자동으로 캡쳐할 수 있다. 일부 예들에서, 일단 성공적인 얼굴 이미지(270)가 연관된 섹터 지시자(280)에 대해 캡쳐되면, 디스플레이(255)는 섹터 지시자(280)의 임의의 부분의 컬러를 변경 및/또는 업데이트하고/하거나, 다르게는 해당 섹터에 대한 얼굴 이미지(270)가 성공적으로 캡쳐되었다는 지시를 사용자에게 제공하도록 연관된 섹터 지시자(280)를 업데이트하도록 구성될 수 있다.
일단 얼굴 이미지(270)가 해당 섹터 지시자(280)에 대해 성공적으로 캡쳐되면, 사용자는 카메라 및/또는 디스플레이(255)에 대해 자신의 머리를 이동시켜, 위에서 설명된 것과 실질적으로 동일한 방식으로 동적 지시자(275)를 각각의 섹터 지시자(280) 내의 원하는 포지션에 배치할 수 있다. 다시 말해서, 사용자는 자신의 머리 및/또는 얼굴 이미지(270)를 이동시켜, 동적 지시자(275)가 "북동쪽"에 대해 "NE"로 라벨링된 섹터 지시자(280), "동쪽"에 대해 "E"로 라벨링된 섹터 지시자(280), "남동쪽"에 대해 "SE"로 라벨링된 섹터 지시자(280), "남쪽"에 대해 "S"로 라벨링된 섹터 지시자(280), "남서쪽"에 대해 "SW"로 라벨링된 섹터 지시자(280), "서쪽"에 대해 "W"로 라벨링된 섹터 지시자(280) 및 "북서쪽"에 대해 "NW"로 라벨링된 섹터 지시자(280) 내의 원하는 포지션을 통해 이동되도록 할 수 있다. 따라서, 클라이언트 디바이스는 사용자의 9개의 얼굴 이미지(270)(정면 뷰, 좌측 뷰, 우측 뷰, 상부 뷰, 하부 뷰, 상부-좌측 뷰, 상부-우측 뷰, 하부-좌측 뷰 및 하부-우측 뷰)를 캡쳐하도록 구성될 수 있으며, 이들은 차례로, 위에서 설명된 바와 같이, 초기 데이터 세트를 정의하고/하거나 얼굴 인식 데이터를 등록하는 데 사용될 수 있다. 다시 말해서, 클라이언트 디바이스는 사용자의 다수의 뷰들(예를 들어, 정면, 측면, 상부, 하부 등)을 캡쳐할 수 있으며, 예를 들어, 정면 뷰에 제한되지 않는다. 일부 예들에서, 예를 들어, 비디오 스트림의 얼굴 이미지가 얼굴 이미지의 정면 뷰가 아닐 때, 섹터 지시자들(280)과 연관된 다수의 얼굴 이미지들(270)을 캡쳐하는 것은 얼굴 인식 프로세스를 용이하게 할 수 있다. 일부 예들에서, 얼굴 이미지(270)의 다수의 뷰들을 캡쳐하는 것은, 단일 뷰(예를 들어, 얼굴 이미지(270)의 정면 뷰)를 사용하는 것과 비교할 때, 얼굴 인식 프로세스의 효율 및/또는 정확성을 증가시킬 수 있다. 따라서, 이벤트의 비디오 스트림이 사용자의 얼굴의 측면 뷰만 캡쳐하는 경우, 사용자를 등록하는 데 사용된 다수의 얼굴 이미지들에 기초하여, 사용자가 보다 쉽게 식별될 수 있다.
디스플레이(255)가 섹터 지시자들(280)의 세트를 특정 배열로 그래픽으로 표현하는 것으로 도시되고 설명되었지만, 다른 실시예들에서, 디스플레이(255)는 임의의 적절한 지시자 또는 지시자들의 세트를 임의의 적절한 배열로 그래픽으로 표현할 수 있다. 예로서, 섹터 지시자들(280)이 좌표와 연관된 라벨들(예컨대, "북쪽"에 대한 "N" 등)을 갖는 것으로 도시되고 설명되었지만, 다른 실시예들에서, 제2 지시자들(280)은 임의의 적절한 라벨을 가질 수 있다. 일부 실시예들에서, 예를 들어, 그러한 라벨들은 숫자들, 문자들, 심볼들, 형상들 및/또는 임의의 다른 적절한 라벨일 수 있다. 또한, 위에서는 얼굴 이미지(270)의 이동에 응답하여, 동적 지시자(275)를 특정 방식으로 섹터 지시자들(280)을 통해 이동시키는 것으로 설명되었지만, 동적 지시자(275)는 임의의 적절한 방식으로 및/또는 특정 순서 없이 섹터 지시자들(280)을 통해 이동될 수 있다. 디스플레이(255)는 8개의 섹터 지시자(280)를 그래픽으로 표현하는 것으로 도시되어 있지만, 다른 실시예들에서, 디스플레이(255)는, 예를 들어, 2개의 섹터 지시자, 3개의 섹터 지시자, 4개의 섹터 지시자, 5개의 섹터 지시자, 6개의 섹터 지시자, 7개의 섹터 지시자, 9개의 섹터 지시자, 10개의 섹터 지시자, 11개의 섹터 지시자, 12개의 섹터 지시자, 13개의 섹터 지시자, 14개의 섹터 지시자, 15개의 섹터 지시자, 20개의 섹터 지시자, 30개의 섹터 지시자 또는 그 사이의 임의의 수의 섹터 지시자와 같은 임의의 적절한 수의 섹터 지시자들을 그래픽으로 표현할 수 있다. 또 다른 실시예들에서, 디스플레이(255)는 30개보다 많은 수의 섹터 지시자를 그래픽으로 표현할 수 있다.
도 8은, 다른 실시예에 따라, 얼굴 인식 시스템(예를 들어, 도 1a 및/또는 도 1b의 시스템(100))의 적어도 일부의 사용을 나타내는 전자 디바이스로부터 취해진 스크린 샷의 예시도이다. 위에서 상세하게 설명된 바와 같이, 이러한 시스템은 얼굴 인식 데이터에 적어도 부분적으로 기초하여 사용자의 맥락형 비디오 스트림을 제시하는 데 사용될 수 있다. 위에서 설명된 바와 같이, 시스템(100)의 적어도 일부는, 예를 들어, 클라이언트 디바이스 내에 또는 그 위에 구현될 수 있다. 클라이언트 디바이스는 도 1a 및/또는 도 1b와 관련하여 위에서 설명된 클라이언트 디바이스(150)와 실질적으로 유사하거나 동일할 수 있다. 따라서, 클라이언트 디바이스의 부분들은 여기에서 더 상세하게 설명되지 않는다.
도 8에 도시된 바와 같이, 클라이언트 디바이스는 시스템(100)의 적어도 일부를 그래픽으로 표현하도록 구성된 디스플레이(355)를 포함한다. 디스플레이(355)는 (예를 들어, 도 7을 참조하여 위에서 설명된 디스플레이(255)와 유사하거나 동일한) 본 명세서에서 설명된 것들과 같은 임의의 적절한 디스플레이일 수 있다. 따라서, 디스플레이(355)는, 여기에서 더 상세하게 설명되는 바와 같이, 얼굴 인식 프로세스와 연관된 데이터 및/또는 비디오 스트림과 연관된 데이터를 그래픽으로 표현하도록 구성될 수 있다.
위에서 설명된 바와 같이, 클라이언트 디바이스는 사용자의 얼굴의 이미지를 캡쳐할 수 있는 카메라를 포함하고, 이 이미지는 차례로 사용자와 연관된 얼굴 인식 데이터를 등록하는 데 사용될 수 있다. 구체적으로, 사용자는, 예를 들어, 카메라를 제어하도록 구성된 모바일 애플리케이션을 선택함으로써 클라이언트 디바이스를 조작할 수 있다. 이와 같이, 카메라는 이미지 데이터를 수신할 수 있고, 차례로 이 이미지 데이터는 도 8에 도시된 바와 같이 디스플레이(355) 상에 제시될 수 있다. 또한, 디스플레이(355)는 하나 이상의 지시, 프레임, 경계, 가이드 및/또는 데이터의 임의의 다른 적절한 그래픽 표현을 그래픽으로 표현하도록 구성될 수 있으며, 이는 사용자의 얼굴의 이미지에 대한 원하는 정렬과 연관된 지시를 제공할 수 있다. 구체적으로, 도 8에 도시된 실시예에서, 디스플레이(355)는 섹터 지시자들(380A, 380B, 380C 및 380D)의 세트(집합적으로, "섹터 지시자들(380)"로 지칭 됨)를 그래픽으로 표현하도록 구성될 수 있으며, 이들 지시자들은 카메라 및/또는 디스플레이(355)에 대해 사용자의 얼굴 이미지(370)를 정렬하는 데 사용될 수 있다. 도 8에 도시된 바와 같이, 이 실시예에서, 섹터 지시자들(380)은 타원형 또는 원형으로 배열된 8개의 전구로서 디스플레이(355) 상에 그래픽으로 표현된다. 다른 실시예들에서, 디스플레이는 임의의 적절한 방식으로 배열될 수 있는 임의의 적절한 섹터 지시자들을 그래픽으로 표현할 수 있다. 예를 들어, 일부 실시예들에서, 섹터 지시자들(380)은 (도 8에 도시된 바와 같이) 8개의 전구로서 디스플레이(355) 상에 그래픽으로 표현될 수 있으며, 이들은 (예를 들어, 도 7에 도시된 섹터 지시자들(280)과 유사하게) 정사각형 또는 직사각형 방식으로 배열된다. 다른 실시예들에서, 섹터 지시자들(380)은 실질적으로 랜덤하게 배열될 수 있다. 섹터 지시자들(380)이 서로 실질적으로 유사한 것으로 도시되어 있지만, 다른 실시예들에서, 디스플레이(355)는 적어도 하나의 상태 지시자의 사이즈, 형상, 방위 및/또는 구성이 적어도 하나의 다른 상태 지시자의 사이즈, 형상, 방위 및/또는 구성과 상이한 임의의 수의 섹터 지시자들(380)을 그래픽으로 표현할 수 있다.
일부 예들에서, 사용자는 사용자의 얼굴 이미지(370)가 디스플레이의 중심과 실질적으로 정렬되도록 클라이언트 디바이스를 조작할 수 있고/있거나, 클라이언트 디바이스에 대해 자신의 머리를 이동시킬 수 있다. 도 8에 도시되지는 않았지만, 일부 실시예들에서, 디스플레이(355)는 도 7을 참조하여 위에서 설명된 동적 지시자(275)와 같은 동적 지시자를 그래픽으로 표현하도록 구성될 수 있다. 다른 실시예들에서, 디스플레이(355)는 동적 지시자를 그래픽으로 표현할 필요가 없다. 일부 예들에서, 일단 사용자의 얼굴 이미지(370)가 디스플레이(355)(및/또는 사용자의 얼굴 이미지(370)의 이미지를 캡쳐하는 카메라)에 대해 원하는 포지션 및/또는 방위에 정렬되면, 클라이언트 디바이스는 얼굴 이미지(370)를 캡쳐할 수 있다. 예를 들어, 사용자의 얼굴 이미지(370)가 실질적으로 디스플레이(355)의 중심에 배치될 때, 카메라는, 예를 들어, 얼굴 이미지(370)의 정면 뷰(예를 들어, 실질적으로 직시 방향 등)를 캡쳐할 수 있다. 다시 말해서, 일부 예들에서, 카메라는 얼굴 이미지(370)가 정면 포지션으로부터 상대적으로 적은 양의 편차가 있거나 편차가 없는 포지션에 있을 때, 사용자의 얼굴 이미지(370)를 캡쳐하도록 구성될 수 있다. 일부 실시예들에서, 사용자의 얼굴 이미지가 디스플레이(355)에 대해 원하는 포지션에 있으면, 카메라는 이미지를 자동으로 캡쳐하도록 구성될 수 있다.
얼굴 이미지(370)의 정면 뷰가 캡쳐된 상태에서, 사용자는 그 후 디스플레이(355)에 대해 자신의 머리를 이동시키며, 이는 차례로 디스플레이(355)에 대해 사용자의 얼굴 이미지(370)를 이동시킨다. 예를 들어, 일부 예들에서, 사용자는 디스플레이(355)의 상부 좌측 코너를 보는 것처럼 자신의 머리를 오른쪽 뒤로 기울일 수 있다(예를 들어, 디스플레이(355)가 반대 방향으로 마주보고 있기 때문에, 사용자의 머리의 기울어짐이 반대로 될 수 있다). 이와 같이, 클라이언트 디바이스는 사용자의 얼굴 이미지(370)의 이동을 결정할 수 있고, 일부 예들에서, 사용자의 얼굴 이미지(370)의 이동은 주어진 섹터 지시자(380)와 연관될 수 있다. 보다 구체적으로, 일부 예들에서, 사용자는 상태 지시자(380A)와 연관된 포지션, 방위 등으로 자신의 머리를 디스플레이(355)에 대해 이동시킬 수 있다. 일부 예들에서, 클라이언트 디바이스는 디스플레이(355) 상에 그래픽으로 표현된 사용자의 얼굴 이미지(370)의 포지션 및/또는 방위를 결정 및/또는 계산할 수 있다. 예를 들어, 클라이언트 디바이스는 사용자의 얼굴 이미지(370)가 섹터 지시자(380A)와 연관된 포지션 및/또는 방위에 있는 것으로 결정할 수 있다. 이와 같이, 클라이언트 디바이스는 디스플레이(355)에 정렬을 나타내는 신호를 전송하도록 구성될 수 있으며, 이는 이 실시예에서 전구(380A)(상태 지시자(380A))를 점등하는 것으로 디스플레이(355) 상에 그래픽으로 표현될 수 있다.
일단 클라이언트 디바이스가 사용자의 얼굴 이미지(370)가 (완전히 점등된 전구로 그래픽으로 표현된) 상태 지시자(380A)에 대해 원하는 포지션에 있는 것으로 결정하면, 클라이언트 디바이스는 사용자의 얼굴 이미지(370)에 신호를 전송할 수 있다. 일부 실시예들에서, 사용자의 얼굴 이미지(370)가 원하는 포지션 및/또는 방위에 있으면, 클라이언트 디바이스는 카메라로 하여금 자동으로 캡쳐하게 할 수 있다. 다른 실시예들에서, 사용자는 클라이언트 디바이스를 조작하여 카메라로 하여금 사용자의 얼굴 이미지(370)를 캡쳐하게 할 수 있다.
일부 예들에서, 사용자는 각각의 상태 지시자(380)와 연관된 포지션 및/또는 방위로 (방금 설명된 바와 같이) 자신의 머리를 디스플레이에 대해 이동시킬 수 있다. 따라서, 클라이언트 디바이스는, 예를 들어, 사용자의 얼굴 이미지(370)의 정면 뷰, 및 상태 지시자들(380) 각각과 연관되고/되거나 다르게는 이에 대한 사용자의 얼굴 이미지(370)의 각이 있는 뷰를 캡쳐할 수 있다. 위에서는 도 7에 도시된 클라이언트 디바이스를 참조하여 설명되었지만, 클라이언트 디바이스는 캡쳐된 이미지들과 연관된 신호를 도 1a 및/또는 도 1b에 대해 위에서 설명된 호스트 디바이스(110)와 같은 호스트 디바이스에 전송하도록 구성될 수 있다.
도 8에 도시된 바와 같이, 클라이언트 디바이스는 적어도 하나의 지시자 상태에서 디스플레이(355) 상에 상태 지시자(380)를 그래픽으로 표현하도록 구성될 수 있다. 다시 말해서, 클라이언트 디바이스는 주어진 상태 지시자(380)에 대한 얼굴 이미지(370)의 정렬과 연관된 정성적 지시를 디스플레이(355) 상에 그래픽으로 표현하도록 구성될 수 있다. 예를 들어, 위에서 설명된 바와 같이, 사용자의 얼굴 이미지(370)가 상태 지시자(380A)에 대해 원하는 포지션에 있을 때, 상태 지시자(380A)는 실질적으로 점등된 전구로서 그래픽으로 표현된다. 그러나, 도 8에 도시된 바와 같이, 상태 지시자들(380) 중 임의의 상태 지시자는 해당 상태 지시자(380)에 대한 사용자의 얼굴 이미지(370)의 부분 정렬을 나타내도록 구성될 수 있다. 예를 들어, 상태 지시자(380C)는 (부분적으로 점등된 전구로서 디스플레이(355) 상에 그래픽으로 표현된) 상태 지시자(380B)보다 덜 밝고/밝거나, 불완전하고/하거나, 덜 점등된 부분적으로 점등된 전구로서 디스플레이(355) 상에 그래픽으로 표현되며, 차례로 상태 지시자(380B)는 (실질적으로 점등된 전구로서 디스플레이(355) 상에 그래픽으로 표현된) 상태 지시자(380A)보다 덜 밝고/밝거나, 불완전하고/하거나, 덜 점등된다.
이러한 방식으로, 상태 지시자(380A)와 연관된 실질적으로 점등된 전구는 제1 허용오차(tolerance) 내에서 상태 지시자(380A)에 대한 사용자의 얼굴 이미지(370)의 정렬을 표현할 수 있고, 상태 지시자(380B)와 연관된 부분적으로 점등된 전구는 제1 허용오차 밖의 제2 허용오차 내에서 정렬을 표현할 수 있고, 상태 지시자(380C)와 연관된 부분적으로 점등된 전구는 제2 허용오차 밖의 제3 허용오차 내에서 정렬을 표현할 수 있다. 또한, 도 8에 도시된 바와 같이, 상태 지시자(380D)와 연관된 실질적으로 점등되지 않은 전구는 제3 허용오차 밖의 정렬(또는 정렬 부재)을 표현할 수 있다. 다시 말해서, 상태 지시자(380D)는 제1 지시 레벨(예를 들어, "오프")과 연관될 수 있고, 상태 지시자(380C)는 제2 지시 레벨(예를 들어, "레벨-1 온"과 연관될 수 있고, 상태 지시자(380B)는 제3 지시 레벨(예를 들어, "레벨-2 온")과 연관될 수 있고, 상태 지시자(380A)는 제4 지시 레벨(예를 들어, "레벨-3 온")과 연관될 수 있다. 일부 예들에서, 사용자의 얼굴 이미지(370)가 주어진 상태 지시자(380)(예를 들어, 상태 지시자(380A))에 대한 방위 및/또는 포지션과 연관된 미리 결정된 허용오차(예를 들어, 제1 허용오차) 내에 있을 때, 클라이언트 디바이스는 카메라로 하여금 사용자의 얼굴 이미지(370)를 캡쳐하게 하도록 카메라에 신호를 자동으로 전송할 수 있다. 즉, 얼굴 이미지(370)가 적어도 하나의 상태 지시자(380)에 대해 기준을 충족시킬 때, 클라이언트 디바이스는 카메라로 하여금 사용자의 얼굴 이미지(370)를 캡쳐하게 할 수 있다.
위에서는 상태 지시자들(380)이 미리 결정된 정렬을 갖고/갖거나 미리 결정된 허용오차 내에서의 사용자의 얼굴 이미지(370)의 정렬을 나타내고 그 정성적 지시를 제시하는 것으로 설명되었지만, 다른 실시예들에서, 디스플레이는 얼굴 이미지 및/또는 비디오 스트림과 연관된 임의의 적절한 특성을 나타내도록 구성된 하나 이상의 상태 지시자를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 상태 지시자는 도 8에 예시된 상태 지시자들(380)과 실질적으로 유사할 수 있고, 이미지 또는 비디오 스트림의 적절성을 나타내는 정성적 지시를 사용자에게 제공하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 그러한 적절성은 (도 8과 관련하여 위에서 설명된) 이미지 및/또는 비디오 스트림의 정렬, 이미지 및/또는 비디오 스트림의 선명도, 이미지 및/또는 비디오 스트림의 포커스, 미리 결정된 범위의 모션을 통한 이미지 및/또는 비디오 스트림과 연관된 이동, 카메라의 시야 내에 있는 이미지 및/또는 비디오 스트림과 연관된 시간의 측도(measure), 및/또는 임의의 다른 적절성 측도일 수 있다. 예를 들어, 상태 지시자(380A)의 밝은 "빛"은 상태 지시자(380A)와 연관된 머리 포지션에 대해 적절한 비디오 및/또는 이미지가 캡쳐되었음을 나타낼 수 있다. 다른 예의 경우, 상태 지시자(380B)에서의 중간 "빛"은 상태 지시자(380B)와 연관된 머리 포지션에 대해 덜 적절한 비디오 및/또는 이미지가 캡쳐되었음을 나타낼 수 있다. 또 다른 예의 경우, 상태 지시자(380D)에서의 "빛"의 부재는 상태 지시자(380D)와 연관된 머리 포지션에 대해 어떠한 이미지도 캡쳐되지 않았음을 나타낼 수 있다. 이러한 실시예들에서, 완전히 "점등된" 상태 지시자들(380)은 카메라가 사용자의 다양한 포지션들에 대한 충분한 비디오 및/또는 이미지를 캡쳐했음을 나타낼 수 있다. 이것은 비디오 및/또는 이미지들이 충분하다는 지시를 사용자에게 제공할 수 있다. 다른 실시예들에서, 사용자의 얼굴 포지션 및/또는 정렬에 대한 캡쳐된 이미지의 적절성을 나타내기 위해 임의의 다른 적절한 지시자가 사용될 수 있다. 일부 예들에서, 얼굴 이미지가 적절할 때 및/또는 얼굴 이미지가 얼굴 이미지의 정렬과 연관된 미리 결정된 허용오차 내에 있을 때, 클라이언트 디바이스는 사용자의 얼굴 이미지의 이미지 및/또는 비디오 스트림을 자동으로 캡쳐할 수 있다.
위에서는 사용자의 얼굴 이미지(370)가 각각의 상태 지시자(380)와 연관된 기준을 충족시킨 후에, 클라이언트 디바이스가 호스트 디바이스에 얼굴 이미지 데이터를 전송하는 것으로 설명되었지만, 다른 예들에서, 클라이언트 디바이스는 사용자의 얼굴 이미지(370)가 적어도 하나의 상태 지시자(380)와 연관된 기준을 충족시키지 않을 때, 얼굴 이미지 데이터를 전송할 수 있다. 이러한 예들에서, 클라이언트 디바이스(예를 들어, 그 안에 포함된 프로세서)는 각각의 상태 지시자(380)에 대해 미리 결정된 정렬 상태 내에 있고/있거나 미리 결정된 적절성을 갖는 사용자의 얼굴 이미지(370)와 연관된 제1 기준, 및 그 연관된 제1 기준을 충족시키는 미리 결정된 수의 상태 지시자들(380)과 연관된 제2 기준을 정의할 수 있다. 다시 말해서, 상태 지시자들(380)의 세트 중에서 미리 결정된 수의 상태 지시자들이 그들의 연관된 제1 기준을 충족시킬 때, 클라이언트 디바이스는 얼굴 이미지 데이터가 제2 기준을 충족시키는 것으로 결정할 수 있다(예를 들어, 임의의 적절한 수의 상태 지시자들의 임의의 적절한 백분율 또는 일부).
도 9는 실시예에 따른 맥락형 비디오 스트림을 정의하는 방법(10)을 예시하는 흐름도이다. 방법(10)은, 단계(11)에서, 호스트 디바이스에서, 네트워크를 통해 클라이언트 디바이스로부터, 사용자와 연관된 얼굴 이미지 데이터를 등록하기 위한 요청을 나타내는 신호를 수신하는 단계를 포함한다. 예를 들어, 일부 실시예들에서, 네트워크는, 예를 들어, 도 1a 및/또는 도 1b를 참조하여 위에서 설명된 네트워크(105)와 같은 임의의 적절한 네트워크 또는 네트워크들의 결합일 수 있다. 호스트 디바이스는 도 1 및 도 2를 참조하여 위에서 설명된 호스트 디바이스(110)와 실질적으로 유사하거나 동일할 수 있다. 유사하게, 클라이언트 디바이스는 도 1 내지 도 6을 참조하여 위에서 설명된 클라이언트 디바이스(150)와 실질적으로 유사하거나 동일할 수 있다. 일부 예들에서, 클라이언트 디바이스는 초기 얼굴 이미지 데이터를 캡쳐하도록 구성될 수 있고, 초기 얼굴 이미지 데이터를 호스트 디바이스에 전송할 수 있다. 구체적으로, 일부 실시예들에서, 클라이언트 디바이스는, 예를 들어, 도 2 내지 도 6을 참조하고/하거나 도 7을 참조하고/하거나 도 8을 참조하여 위에서 설명된 것들과 같은 임의의 적절한 방식으로 사용자의 얼굴 이미지 또는 이미지들을 캡쳐하도록 구성될 수 있다. 따라서, 호스트 디바이스는 클라이언트 디바이스로부터 얼굴 이미지 데이터를 수신할 수 있고, 사용자 및/또는 사용자의 얼굴 이미지 데이터를 등록하는 것과 연관된 임의의 적절한 프로세스 등을 수행할 수 있다.
방법(10)은, 단계(12)에서, 사용자와 연관된 얼굴 인식 데이터를 등록하고, 얼굴 인식 데이터를 호스트 디바이스와 통신하는 데이터베이스에 저장하는 단계를 포함한다. 데이터베이스는, 예를 들어, 도 1 및/또는 도 1b를 참조하여 위에서 설명된 데이터베이스(140)와 같은 임의의 적절한 데이터베이스일 수 있다. 얼굴 인식 데이터의 등록은 위에서 설명된 것들과 같은 얼굴 인식과 연관된 임의의 적절한 프로세스, 방법 및/또는 알고리즘을 포함할 수 있다. 일부 예들에서, 호스트 디바이스는 얼굴 인식에 기초하여 초기 데이터 세트 등을 정의하도록 구성될 수 있고, 초기 데이터 세트의 적어도 일부를 데이터베이스에 저장할 수 있다.
단계(13)에서, 호스트 디바이스는 이벤트와 연관된 맥락형 비디오 스트림 데이터를 수신한다. 호스트 디바이스는 도 1a 및/또는 도 1b를 참조하여 위에서 설명된 이미지 캡쳐 시스템(160)과 같은 이미지 캡쳐 시스템으로부터 맥락형 비디오 스트림 데이터를 수신할 수 있다. 보다 구체적으로, 호스트 디바이스는 직접적으로 (예를 들어, 네트워크를 통해 하나 이상의 카메라로부터) 또는 간접적으로 (예를 들어, 네트워크를 통해 컴퓨팅 디바이스(이것은 차례로 하나 이상의 카메라와 통신함)로부터) 맥락형 비디오 스트림 데이터를 수신할 수 있다.
단계(14)에서, 맥락형 비디오 스트림 데이터가 분석되어, 맥락형 비디오 스트림 데이터가 맥락형 비디오 스트림 데이터에서의 얼굴 이미지 데이터의 얼굴 인식과 연관된 기준을 충족시키는지를 결정할 수 있다. 예를 들어, 호스트 디바이스는 맥락형 비디오 스트림 데이터(예를 들어, 사진으로부터의 이미지 데이터)를 수신할 수 있고, 맥락형 비디오 스트림 데이터를 분석 및/또는 프로세싱하여, 맥락형 비디오 스트림 데이터의 일부가 얼굴 이미지 데이터의 임의의 적절한 부분과 매칭되는지를 결정할 수 있다. 즉, 호스트 디바이스는 얼굴 이미지 데이터를 맥락형 비디오 스트림에 포함된 데이터가 비교되는 템플릿으로서 사용할 수 있다. 다른 말로 하면, 호스트 디바이스는 얼굴 이미지 데이터에 적어도 부분적으로 기초하여 맥락형 비디오 스트림 데이터에 대해 얼굴 인식 프로세스 및/또는 분석을 수행한다. 일부 예들에서, 기준은, 예를 들어, 미리 결정된 및/또는 허용 가능한 확률을 갖는 얼굴 이미지 데이터와 맥락형 비디오 스트림 데이터 간의 매칭과 연관될 수 있다. 일부 실시예들에서, 호스트 디바이스는 맥락형 비디오 스트림 데이터를 그 개별 프레임들(예를 들어, 비디오 스트림 동안의 미리 결정된 시간에서의 정지 이미지)로 분리, 파싱, 소팅 및/또는 다른 방식으로 분해하는 것에 적어도 부분적으로 기초하여 맥락형 비디오 스트림 데이터를 분석 및/또는 프로세싱하도록 구성될 수 있다. 이와 같이, 호스트 디바이스는 얼굴 이미지 데이터에 대해 맥락형 비디오 스트림 프레임에 포함된 데이터를 비교 및/또는 분석할 수 있다.
일부 예들에서, 맥락형 비디오 스트림 데이터의 분석은 또한, 예를 들어, 위치, 장소, 시간, 동시에 일어나는 이벤트(예를 들어, 득점하는 스포츠 팀이, 예를 들어, "키스 캠(kiss cam)"에 캡쳐되는 것 등) 및/또는 임의의 다른 적절한 맥락형 정보와 같이 비디오 스트림과 연관된 맥락형 정보를 결정하도록 맥락형 비디오 스트림 데이터를 분석하는 것을 포함한다. 일부 예들에서, 호스트 디바이스는 비디오 스트림의 적어도 일부를 맥락형 데이터에 매칭, 집성 및/또는 다르게는 연관시키도록 구성될 수 있다. 예를 들어, 일부 예들에서, 비디오 스트림 데이터는, 예를 들어, 스포츠 이벤트에서의 사용자를 표현할 수 있다. 그러한 예들에서, 맥락형 데이터는, 예를 들어, 스포츠 이벤트 또는 게임의 비디오 스트림일 수 있고, 시간, 위치, 장소, 팀들 등과 연관된 데이터를 포함할 수 있다. 이와 같이, 호스트 디바이스는 비디오 스트림 데이터 및 맥락형 데이터가 실질적으로 동시에 일어나도록 (예를 들어, 실질적으로 동일한 시간과 연관된 데이터를 발생시키고/시키거나 캡쳐하도록) 비디오 스트림 데이터와 맥락형 데이터를 집성하도록 구성될 수 있다. 다른 예들에서, 맥락형 데이터는 임의의 다른 적절한 맥락과 연관된 데이터를 포함할 수 있다.
단계(15)에서, 맥락형 비디오 스트림 데이터에서의 얼굴 이미지 데이터의 얼굴 인식과 연관된 기준이 충족될 때, 사용자-특정 맥락형 비디오 스트림이 정의된다. 예를 들어, 호스트 디바이스가 맥락형 비디오 스트림 내의 데이터의 적어도 일부가 기준을 충족시키는 것으로(예를 들어, 미리 결정되고/되거나 허용 가능한 확률로 얼굴 이미지 데이터가 매칭되는 것으로) 결정할 때, 호스트 디바이스는 사용자의 맥락형 비디오 스트림을 정의할 수 있고, 사용자의 맥락형 비디오 스트림을 데이터베이스에 저장할 수 있다. 사용자의 맥락형 비디오 스트림이 정의되었으면(즉, 사용자-특정 맥락형 비디오 스트림), 단계(16)에서, 호스트 디바이스는 클라이언트 디바이스의 디스플레이 상에 사용자의 맥락형 비디오 스트림을 제시하라는 명령을 나타내는 신호를 전송한다. 예를 들어, 일부 실시예들에서, 호스트 디바이스는, 클라이언트 디바이스에, 네트워크를 통해, 사용자-특정 맥락형 비디오 스트림을 클라이언트 디바이스의 디스플레이 상에 제시 시에 동작 가능한 신호를 전송할 수 있다. 다른 실시예들에서, 호스트 디바이스는 (예를 들어, 데이터베이스 등에) 사용자-특정 맥락형 비디오 스트림을 저장할 수 있고, 클라이언트 디바이스(및/또는 임의의 다른 적절한 디바이스)로부터의 요청에 응답하여, 데이터베이스로부터 사용자-특정 맥락형 비디오 스트림을 리트리브하도록 구성될 수 있다. 보다 구체적으로, 일부 실시예들에서, 사용자는 클라이언트 디바이스를 조작하여 인터넷상의 웹페이지에 액세스할 수 있다. 인증된 후에 (예를 들어, 크리덴셜 등을 입력한 후에), 사용자는 맥락형 비디오 스트림에 대한 액세스에 대한 요청이 클라이언트 디바이스로부터 호스트 디바이스로 전송되도록 웹페이지와 상호 작용할 수 있다. 따라서, 호스트 디바이스는 데이터베이스로부터 맥락형 비디오 스트림을 리트리브할 수 있고, 클라이언트 디바이스에, (예를 들어, 인터넷 및 웹페이지를 통해) 맥락형 비디오 스트림을 디스플레이 상에 제시 시에 동작 가능한 신호를 전송할 수 있다. 다시 말해서, 맥락형 비디오 스트림은 "클라우드"에 저장되고, 웹브라우저 및 인터넷을 통해 액세스될 수 있다.
위에서는 방법(10)이 비디오 스트림들, 이미지 데이터, 맥락형 데이터 등을 전송하고/하거나 수신하고 하나 이상의 사용자에게 사용자-특정 비디오 스트림들 및/또는 이미지 데이터를 제시하고/하거나 이들과 공유하는 것으로서 설명되었지만, 시스템은 비디오 스트림 데이터 및/또는 이미지 데이터가 임의의 적절한 방식으로 캡쳐되고, 임의의 적절한 디바이스에 의해 분석되고, 임의의 적절한 사용자 또는 사용자 디바이스에 전송되고/되거나 이들과 공유될 수 있도록 배열될 수 있다는 점이 이해되어야 한다. 예로서, 일부 예들에서, 사용자는 사용자 디바이스(예를 들어, 클라이언트 디바이스(150)와 같은 클라이언트 디바이스)를 조작하여 사용자의 얼굴 이미지를 캡쳐할 수 있다. 예를 들어, (예를 들어, 사용자 또는 클라이언트 디바이스가 스마트폰 또는 다른 모바일 또는 웨어러블 전자 디바이스일 때) 사용자는 모바일 애플리케이션을 열 수 있고, 클라이언트 디바이스의 카메라를 통해 얼굴 이미지(예를 들어, "셀피")를 캡쳐할 수 있다. 다시 말해서, 사용자는 애플리케이션을 통해 클라이언트 디바이스의 카메라를 제어하여 셀피를 캡쳐할 수 있다.
얼굴 이미지는 클라이언트 디바이스 및/또는 호스트 디바이스에 의해 얼굴 인식 및/또는 임의의 다른 적절한 이미지 분석을 통해 분석될 수 있다. 일단 분석되면, 사용자와 연관된 데이터(예를 들어, 얼굴 이미지 데이터 및/또는 맥락형 또는 사용자 프로파일 데이터)는, 예를 들어, 데이터베이스(예를 들어, 데이터베이스(140)) 및/또는 임의의 다른 적절한 데이터 스토리지(예를 들어, 클라이언트 디바이스의 메모리 등)에 등록 및 저장될 수 있다. 이와 같이, 사용자는 시스템에 "등록"될 수 있다(즉, 사용자는 등록된 사용자이다).
일부 예들에서, 등록된 사용자는 애플리케이션을 통해 컨텐츠(예를 들어, 이미지 데이터 및/또는 비디오 스트림)를 캡쳐할 수 있다. 위에서 설명된 바와 같이, 컨텐츠는, 예를 들어, 스포츠 이벤트 등에서의 1명 이상의 사람과 같이 주어진 맥락 내의 1명 이상의 사람의 비디오 스트림일 수 있다. 일부 예들에서, 사용자에 의해 캡쳐된(예를 들어, 생성된) 컨텐츠는 시간, 날짜, 위치, 장소, 이벤트 등과 같은 맥락형 데이터와 연관될 수 있고/있거나, 다르게는 데이터 및/또는 메타데이터로 태그될 수 있다. 다른 예들에서, 사용자에 의해 생성된 컨텐츠는 맥락형 데이터와 연관될 필요가 없다. 사용자에 의해 생성된 컨텐츠(예를 들어, 비디오 스트림 데이터 등)는 클라이언트 디바이스 또는 호스트 디바이스를 통해 얼굴 인식 및/또는 다른 이미지 분석을 통해 분석되어, (위에서 설명된 바와 같이) 임의의 등록된 사용자의 존재를 결정할 수 있다. 등록된 사용자가 비디오 스트림에서 식별되는 경우, 사용자, 클라이언트 디바이스 및/또는 호스트 디바이스는 식별된 사용자들 중 하나 이상의 사용자와 연관된 사용자-특정 비디오 스트림을 정의할 수 있다. 그 후, 사용자, 클라이언트 디바이스 및/또는 호스트 디바이스는 각각의 식별된 사용자와 사용자-특정 비디오 스트림을 공유할지 여부를 결정할 수 있다. 일부 예들에서, 사용자-특정 비디오 스트림(들)의 공유는 사용자 프로파일 및/또는 선호도에 기초하여 및/또는 모바일 애플리케이션 또는 계정 내의 설정 등에 기초하여 자동적일 수 있다. 다른 예들에서, 사용자-특정 비디오 스트림(들)의 공유는 사용자로부터의 수동 또는 다른 입력에 기초할 수 있다(예를 들어, 선택 등에 기초할 수 있다). 또 다른 예들에서, 사용자-특정 비디오 스트림(들)의 공유는 피어 네트워킹 세션에 기초할 수 있으며, 여기서 각각의 사용자(또는 피어 네트워킹 세션에서 사용되는 각각의 클라이언트 디바이스)는 사용자-특정 비디오 스트림을 수신한다. 이러한 방식으로, 사용자에 의해 생성된 컨텐츠(예를 들어, 사용자에 의해 캡쳐된 비디오 스트림 및/또는 이미지 데이터)는 본 명세서에서 설명된 것들과 유사한 방식으로 캡쳐, 분석 및/또는 공유될 수 있다.
도 10은, 실시예에 따라, 예를 들어, 사용자와 연관된 모바일 디바이스에 맥락형 비디오 스트림을 제시하는 방법을 예시하는 흐름도이다. 일부 예들에서, 비디오 파일(들) 및/또는 사진 파일(들)이 미디어 업로더(485)에 업로드될 수 있다. 미디어 업로더(485)는, 예를 들어, 도 1 및 도 2를 참조하여 위에서 설명된 호스트 디바이스(110)와 같이 비디오 및/또는 이미지 파일들을 수신 및/또는 프로세싱하도록 구성된 임의의 적절한 디바이스일 수 있다. 그 후, 마스터 비디오 및/또는 사진 파일이 마스터 미디어 스토리지(486)에 저장된다. 마스터 미디어 스토리지(486)는 임의의 적절한 스토리지 디바이스일 수 있다. 예를 들어, 마스터 미디어 스토리지(486)는 미디어 업로더(485)에 포함된 메모리에 포함될 수 있고/있거나 그 일부일 수 있다. 다른 실시예들에서, 마스터 미디어 스토리지(486)는, 예를 들어, 도 1a 및 도 1b를 참조하여 위에서 설명된 데이터베이스(140)와 같은 데이터베이스 등일 수 있다.
일부 예들에서, 마스터 비디오 파일은 마스터 미디어 스토리지(486)로부터 비디오 인코더(487)로 전송될 수 있다. 비디오 인코더(487)는 마스터 비디오 파일을 하나 이상의 원하는 포맷으로 변환하도록 구성된 임의의 적절한 디바이스 또는 디바이스의 일부일 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 비디오 인코더(487)는 마스터 비디오 파일을 얼굴 인식 비디오 및 모바일 호환가능 비디오 파일로 변환할 수 있으며, 이들 각각은 마스터 미디어 스토리지(486)에 저장된다. 그 후, 여기에서 더 상세하게 설명되는 바와 같이, 하나 이상의 얼굴 인식 비디오 파일 및/또는 사진 파일의 리스트가 워크플로우 컨덕터(488)에 전송되며, 워크플로우 컨덕터(488)는 파일들이 후속적으로 프로세싱되는 순서를 우선순위화, 조직 및/또는 다른 방식으로 제어할 수 있고, 얼굴 인식 비디오 파일(들) 및/또는 사진 파일(들)의 프로세싱을 개시할 때 동작 가능한 신호를 얼굴 검출 및 매칭 프로세서(491)(예를 들어, 도 2를 참조하여 위에서 설명된 분석 모듈(121)과 같은, 예를 들어, 프로세서, 모듈, 디바이스 등)에 전송할 수 있다. 또한, 여기에서 더 상세하게 설명되는 바와 같이, 워크플로우와 연관된 지시가 워크플로우 컨덕터(488)로부터 데이터베이스(493)로 전송될 수 있고, 데이터베이스(493)는 워크플로우와 연관된 지시를 저장할 수 있고, 지시와 연관된 데이터를 웹서비스 프로세서(494)(예를 들어, 인터넷 웹사이트 서비스 제공자, 프로세서, 모듈 및/또는 디바이스)에 전송할 수 있다.
도 10에 도시된 바와 같이, 여기에서 더 상세하게 설명되는 바와 같이, 모바일 호환가능 비디오 파일은 마스터 미디어 스토리지(486)로부터 비디오 클립 커터(489)로 전송되고, 비디오 클립 커터(489)는 또한 인식 이벤트들과 연관된 데이터를 수신할 수 있다. 여기에서 더 상세하게 설명되는 바와 같이, 마스터 비디오 파일 또는 사진 파일은 마스터 미디어 스토리지(486)로부터 썸네일 리사이저(490)로 전송되고, 썸네일 리사이저(490)는 또한 인식 이벤트들과 연관된 데이터를 수신할 수 있다. 얼굴 인식 비디오 또는 사진 파일(들)은 마스터 미디어 스토리지(486)로부터 얼굴 검출 및 매칭 프로세서(491)로 전송되고, 얼굴 검출 및 매칭 프로세서(491)는 차례로 임의의 적절한 얼굴 인식 프로세스를 수행하여 인식 이벤트들을 정의할 수 있다. 또한, 얼굴 검출 및 매칭 프로세서(491)는 워크플로우 컨덕터(488)에 의해 정의된 우선순위 및/또는 순서에 따라 얼굴 인식 비디오 및/또는 사진 파일을 분석 및/또는 프로세싱할 수 있다.
위에서 설명된 바와 같이, 인식 이벤트들과 연관된 데이터는 그 후 얼굴 검출 및 매칭 프로세서(491)로부터 비디오 클립 커터(489) 및 썸네일 리사이저(490)로 전송될 수 있다. 비디오 클립 커터(489)는, 모바일 호환가능 비디오 파일을 수신할 수 있고 얼굴 인식 비디오 및/또는 사진 내에서 사용자의 인식 이벤트들과 연관된 비디오 클립을 후속적으로 트리밍, 잘라내기, 추출, 분리 및/또는 다른 방식으로 정의할 수 있는 임의의 적절한 프로세서, 모듈 및/또는 디바이스일 수 있다. 그 후, 사용자의 인식 이벤트와 연관된 비디오 클림은 비디오 클립 커터(489)로부터 모바일 호환가능 미디어 스토리지(492)로 전송될 수 있다. 썸네일 리사이저(490)는, 마스터 비디오 및/또는 사진 파일(들)을 수신할 수 있고 후속적으로 하나 이상의 썸네일(예를 들어, 상대적으로 작은 파일 사이즈를 갖는 작은 이미지들로서, 이들은 차례로 더 큰 이미지 및/또는 비디오와 연관될 수 있고/있거나 이를 나타낼 수 있음)을 정의할 수 있는 임의의 적절한 프로세서, 모듈 및/또는 디바이스일 수 있다. 이 실시예에서, 썸네일들은 인식 이벤트들과 연관될 수 있고/있거나 이를 나타낼 수 있고, 썸네일 리사이저(490)로부터 모바일 호환가능 미디어 스토리지(492)로 전송될 수 있다.
도 10에 도시된 바와 같이, 비디오 클립들 및 썸네일들은 모바일 호환가능 미디어 스토리지(492)로부터, 예를 들어, 하나 이상의 모바일 애플리케이션 및/또는 웹사이트(495)로 전송될 수 있다. 예를 들어, 일부 예들에서, 비디오 클립들 및 썸네일들은 인터넷 서버 등으로 전송될 수 있고, 인터넷 서버는 차례로 비디오 클립들 및 썸네일들을 웹사이트 등에 제시할 수 있다. 다른 예들에서, 비디오 클립들 및 썸네일들은 사용자와 연관된 클라이언트 디바이스로 전송될 수 있고, (예를 들어, 모바일 애플리케이션이 열리고, 선택되고, 실행될 때, 등등) 클라이언트 디바이스는 차례로 비디오 클립들 및 썸네일들을 디스플레이 상에 제시할 수 있다. 또한, (위에서 설명된) 워크플로우의 지시와 연관된 메타데이터(예를 들어, 사용자 아이덴티티, 이벤트의 아이덴티티, 이벤트의 위치, 클라이언트 디바이스의 위치 등) 등이 웹서비스 프로세서(494)로부터 모바일 애플리케이션 및/또는 웹사이트들(495)로 전송될 수 있다. 이러한 방식으로, 사용자의 비디오 클립 및 이와 연관된 임의의 맥락형 및/또는 메타데이터는 모바일 애플리케이션 및/또는 웹사이트를 통해 사용자에게 전송되고/되거나 사용자에 의해 액세스될 수 있다.
다양한 실시예들이 위에서 설명되었지만, 이들은 제한이 아닌 단지 예로서 제시되었다는 점이 이해되어야 한다. 예를 들어, 실시예들 및 방법들은 본 명세서에서 이벤트 등에서의 사용자의 맥락형 비디오 스트림을 정의하고, 맥락형 비디오 스트림을 클라이언트 디바이스에 전송하고/하거나, 다르게는 예를 들어, 웹브라우저 및 인터넷을 통해 맥락형 비디오 스트림에 액세스하는 것을 허용하는 것으로 설명되었지만, 다른 실시예들에서, 호스트 디바이스는 사용자와 연관된 임의의 수의 맥락형 비디오 스트림들을 데이터베이스에 저장할 수 있다. 일부 예들에서, 호스트 디바이스는 사용자의 임의의 수의 맥락형 비디오 스트림들을 포함할 수 있는 사용자 프로파일 등을 정의하도록 구성될 수 있다. 일부 예들에서, 사용자는 모바일 애플리케이션, 컴퓨터 애플리케이션, 웹브라우저 및 인터넷 등을 통해 자신의 사용자 프로파일에 액세스할 수 있다. 또한, 일부 예들에서, 사용자는 상이한 사용자와 및/또는 소셜 미디어 사이트를 통해 사용자의 임의의 수의 맥락형 비디오 스트림들을 공유할 수도 있고, 다르게는 이를 공유하도록 호스트 디바이스에 요청할 수 있다. 일부 예들에서, 사용자는 자신의 사용자 프로파일의 일부에 대한 액세스를 허용하여, 다른 사용자들이 그 안에 포함된 맥락형 비디오 스트림들을 볼 수 있게 할 수 있다.
특정 예들이 위에서 특별히 설명되었지만, 본 명세서에 설명된 실시예들 및 방법들은 임의의 적절한 방식으로 사용될 수 있다. 예를 들어, 위에서는 시스템(100)이 스포츠 이벤트에서의 사용자의 맥락형 비디오 스트림을 정의하는 것으로 설명되었지만, 다른 실시예들에서, 본 명세서에서 설명된 방법들은 임의의 적절한 설정, 장소, 경기장, 이벤트 등에서, 예를 들어, 얼굴 인식 및 비디오 분석을 사용하여 개인을 식별하는 데 사용될 수 있다. 예를 들어, 일부 실시예들에서, 위에서 설명된 방법들은 콘서트, 랠리, 졸업식, 파티, 쇼핑몰, 사업장 등에서 맥락형 비디오 스트림을 캡쳐하는 데 사용될 수 있다. 일례에서, 호스트 디바이스는, 예를 들어, 졸업식으로부터 맥락형 비디오 스트림을 수신할 수 있다. 일부 예들에서, 위에서 설명된 바와 같이, 호스트 디바이스는 졸업생(및/또는 임의의 개인 및/또는 사용자)을 식별하기 위해 임의의 적절한 얼굴 인식 및/또는 비디오 분석을 수행할 수 있다. 또한, 호스트 디바이스는 졸업생과 연관된 사용자 프로파일, 단상을 걸어가는 학생들의 순서, 졸업생의 클라이언트 디바이스와 연관된 위치 데이터 및/또는 임의의 다른 적절한 데이터와 같은 맥락형 정보를 분석하도록 구성될 수 있다. 이와 같이, (예를 들어, 데이터가 기준(들)을 충족시킬 때) 호스트 디바이스는 졸업생의 아이덴티티를 검증하기 위해 데이터를 분석할 수 있고, 예를 들어, 졸업생이 졸업장 등을 받으러 단상을 걸어갈 때, 졸업생의 맥락형 비디오 스트림을 정의할 수 있다. 다른 예들에서, 호스트 디바이스는 졸업생의 가족 또는 친구를 식별할 수 있고, 유사한 방식으로 졸업생의 맥락형 비디오 스트림을 정의할 수 있다.
실시예들이 특별히 도시되고 설명되었지만, 형태 및 세부 사항에서의 다양한 변경들이 이루어질 수 있음이 이해될 것이다. 다양한 실시예들이 특정 피쳐들 및/또는 컴포넌트들의 결합들을 갖는 것으로 설명되었지만, 다른 실시예들은 위에서 논의된 실시예들 중 임의의 실시예들로부터의 임의의 피쳐들 및/또는 컴포넌트들의 결합을 갖는 것도 가능하다.
위에서 설명된 방법들 및/또는 이벤트들이 특정 순서로 발생하는 특정 이벤트들 및/또는 프로시져들을 나타내는 경우, 특정 이벤트들 및/또는 프로시져들의 순서는 수정될 수 있다. 또한, 특정 이벤트들 및/또는 프로시져들은 가능한 경우에 병렬 프로세스에서 동시에 수행될 수 있을 뿐만 아니라, 위에서 설명된 바와 같이 순차적으로 수행될 수도 있다.
특정 얼굴 인식 방법들이 특정 실시예들에 따라 위에서 설명되었지만, 일부 예들에서, 얼굴 인식 방법들 중 임의의 얼굴 인식 방법은 얼굴 인식 데이터의 세트에 대해 결합, 보강, 강화 및/또는 다르게는 집합적으로 수행될 수 있다. 예를 들어, 일부 예들에서, 얼굴 인식 방법은 아이겐벡터들, 아이겐페이스들 및/또는 다른 2-D 분석뿐만 아니라, 예를 들어, 다수의 2-D 이미지들의 3-D 재구성과 같은 임의의 적절한 3-D 분석을 사용하여 얼굴 인식 데이터를 분석하는 것을 포함할 수 있다. 일부 예들에서, 2-D 분석 방법과 3-D 분석 방법을 사용하면, 예를 들어, 다른 방식으로 3-D 분석으로부터만 또는 2-D 분석으로부터만 결과를 산출하는 경우보다 자원들(예를 들어, 프로세싱 디바이스들)에 대한 부하가 더 적고 보다 정확한 결과들을 산출할 수 있다. 일부 예들에서, 얼굴 인식은 컨볼루션 신경망(CNN)을 통해 및/또는 임의의 적절한 2-D 분석 방법들 및/또는 3-D 분석 방법들과 결합된 CNN을 통해 수행될 수 있다. 또한, 예를 들어, 리던던시, 에러 검사, 부하 밸런싱(load balancing) 등을 위해 다수의 분석 방법들의 사용이 사용될 수 있다. 일부 예들에서, 다수의 분석 방법들을 사용하는 것은 시스템이 얼굴 인식 데이터 세트에 포함된 특정 데이터에 적어도 부분적으로 기초하여 얼굴 인식 데이터 세트를 선택적으로 분석하게 할 수 있다.
위에서는 실시예들이 특정 디바이스들 및/또는 디바이스의 특정 부분들에서 수행되는 것으로 설명되었지만, 다른 실시예들에서, 본 명세서에 설명된 실시예들 및/또는 방법들 중 임의의 것은 임의의 적절한 디바이스 상에서 수행될 수 있다. 예를 들어, 위에서는 맥락형 비디오 스트림들이 얼굴 인식 및/또는 이미지 분석을 위해 호스트 디바이스(예를 들어, 호스트 디바이스(110))에 전송되는 것으로 설명되었지만, 다른 실시예들에서는, 임의의 적절한 분석이 클라이언트 디바이스 상에서 또는 클라이언트 디바이스에서 수행될 수 있다. 예를 들어, 일부 예들에서, 사용자는 클라이언트 디바이스의 카메라를 통해 비디오 스트림(예를 들어, 맥락형 비디오 스트림)을 캡쳐할 수 있고, 이에 응답하여, 클라이언트 디바이스는 비디오를 분석하여 비디오 스트림에서 임의의 수의 등록된 사용자들 등을 식별할 수 있다. 일부 예들에서, 분석은 컨볼루션 신경망을 통해 (예를 들어, 메모리에 저장되고 시스템 애플리케이션과 연관된) 클라이언트 디바이스에 전송될 수 있고/있거나 이에 저장될 수 있다. 일부 예들에서, 위에서 설명된 바와 같이, 분석은, 예를 들어, 사용자의 연락처 리스트, 친구 리스트, 확립된 커넥션들 등에 기초하여 사전-프로세싱 및/또는 사전-소팅될 수 있다. 일부 예들에서, 위에서 설명된 바와 같이, 클라이언트 디바이스는 사용자-특정 비디오 스트림을 임의의 식별된 사용자에게 전송할 수 있다. 다른 실시예들에서, 클라이언트 디바이스는 분석된 비디오 스트림 및/또는 사용자-특정 비디오 스트림(들)을 호스트 디바이스(110) 및/또는 데이터베이스(140)에 업로드 및/또는 전송할 수 있다.
위에서는 비디오 스트림들 및/또는 이미지 데이터가 "맥락형"인 것으로 설명되었지만, 비디오 스트림 데이터 및/또는 이미지 데이터는 "맥락형 데이터"와 무관하고/하거나 이와 연관되지 않을 수 있다는 점이 이해되어야 한다. 예를 들어, 일부 예들에서, 사용자는 비디오 스트림 및/또는 이미지를 캡쳐할 수 있고, 비디오 스트림 및/또는 이미지 데이터와 연관된 맥락형 데이터를 정의 및/또는 전송하지 않고 프로세싱하기 위해 비디오 스트림 및/또는 이미지를 업로드할 수 있다. 일부 예들에서, 호스트 디바이스 등(예를 들어, 호스트 디바이스(110))은 사용자에 의해 생성된 비디오 스트림 및/또는 이미지 데이터를 수신할 수 있고, 이에 응답하여, 데이터에 대한 하나 이상의 얼굴 인식 프로세스 및/또는 임의의 다른 적절한 분석을 수행하여, 예를 들어, 맥락형 데이터와 무관한 사용자-특정 비디오 스트림 또는 사용자-특정 이미지를 정의할 수 있다.
본 명세서에서 설명된 일부 실시예들은 컴퓨터에 의해 구현되는 다양한 동작들을 수행하기 위한 명령어들 또는 컴퓨터 코드를 갖는 비일시적 컴퓨터-판독가능 매체(비일시적 프로세서-판독가능 매체로도 지칭될 수 있음)를 갖는 컴퓨터 스토리지 제품에 관한 것이다. 컴퓨터-판독가능 매체(또는 프로세서-판독가능 매체)는 일시적인 전파 신호들 자체(예를 들어, 공간 또는 케이블과 같은 송신 매체를 통해 정보를 운반하는 전파 전자기파)를 포함하지 않는다는 점에서 비일시적이다. 매체 및 컴퓨터 코드(코드라고도 지칭될 수 있음)는 특정 목적이나 목적들을 위해 설계되고 제작된 것들일 수 있다. 비일시적 컴퓨터-판독가능 매체의 예들은 하드 디스크들, 플로피 디스크들 및 자기 테이프와 같은 자기 스토리지 매체; 컴팩트 디스크/디지털 비디오 디스크(CD/DVD)들, 콤팩트 디스크-판독 전용 메모리(CD-ROM)들 및 홀로그래픽 디바이스들과 같은 광학 스토리지 매체; 광 디스크들과 같은 광-자기 스토리지 매체; 반송파 신호 프로세싱 모듈들; 및 주문형 집적 회로(ASIC)들, 프로그래머블 로직 디바이스(PLD)들, 판독-전용 메모리(ROM) 및 랜덤-액세스 메모리(RAM) 디바이스들과 같이 프로그램 코드를 저장 및 실행하도록 특별히 구성되는 하드웨어 디바이스들을 포함하지만, 이에 제한되지 않는다. 본 명세서에서 설명된 다른 실시예들은, 예를 들어, 본 명세서에서 논의된 명령어들 및/또는 컴퓨터 코드를 포함할 수 있는 컴퓨터 프로그램 제품에 관한 것이다.
본 명세서에서 설명된 일부 실시예들 및/또는 방법들은 (하드웨어 상에서 실행되는) 소프트웨어, 하드웨어, 또는 이들의 결합에 의해 수행될 수 있다. 하드웨어 모듈들은, 예를 들어, 범용 프로세서, 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 주문형 집적 회로(ASIC)를 포함할 수 있다. (하드웨어 상에서 실행되는) 소프트웨어 모듈들은 C, C++, Java™, Ruby, Visual Basic™ 및/또는 기타 객체-지향형, 절차적 또는 기타 프로그래밍 언어를 포함한 다양한 소프트웨어 언어들(예를 들어, 컴퓨터 코드) 및 개발 툴들로 표현될 수 있다. 컴퓨터 코드의 예들은 마이크로-코드 또는 마이크로-명령어들, 컴파일러에 의해 생성되는 것과 같은 머신 명령어들, 웹서비스를 생성하는 데 사용되는 코드, 및 인터프리터를 사용하여 컴퓨터에 의해 실행되는 상위-레벨 명령어들을 포함하는 파일들을 포함하지만, 이에 제한되지 않는다. 예를 들어, 실시예들은 명령적 프로그래밍 언어들(예를 들어, C, FORTRAN 등), 함수 프로그래밍 언어들(Haskell, Erlang 등), 논리 프로그래밍 언어들(예를 들어, Prolog), 객체-지향 프로그래밍 언어들(예를 들어, Java, C++ 등) 또는 다른 적절한 프로그래밍 언어들 및/또는 개발 툴들을 사용하여 구현될 수 있다. 컴퓨터 코드의 추가적인 예들은 제어 신호들, 암호화된 코드 및 압축된 코드를 포함하지만, 이에 제한되지 않는다.
Claims (22)
- 장치로서,
메모리;
상기 메모리와 통신하며, 네트워크를 통해 통신하도록 구성된 통신 인터페이스; 및
상기 메모리 및 상기 통신 인터페이스와 통신하는 프로세서 - 상기 프로세서는, 상기 네트워크 및 상기 통신 인터페이스를 통해, 클라이언트 디바이스의 사용자와 연관된 얼굴 이미지 데이터를 수신하도록 구성됨 -
를 포함하고,
상기 얼굴 이미지 데이터를 수신하는 것에 응답하여, 상기 프로세서는 (1) 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 컨볼루션 신경망(convolutional neural nets)(CNN) 중 적어도 하나에 기초하여, 상기 사용자와 연관된 얼굴 이미지 데이터를 등록하고, (2) 상기 얼굴 이미지 데이터 및 상기 사용자와 연관된 맥락형 데이터를 상기 프로세서에 동작 가능하게 연결된 데이터베이스에 저장하도록 구성되고,
상기 프로세서는, 상기 네트워크 및 상기 통신 인터페이스를 통해, 상기 네트워크와 통신하는 적어도 하나의 이미지 캡쳐 디바이스로부터 비디오 스트림 데이터를 수신하도록 구성되고,
상기 비디오 스트림 데이터를 수신하는 것에 응답하여, 상기 프로세서는 (1) 2차원 얼굴 인식 분석, 3차원 얼굴 인식 분석, 또는 CNN 중 적어도 하나에 기초하여 상기 비디오 스트림 데이터를 분석하여 분석된 비디오 데이터를 정의하고, (2) 상기 비디오 스트림 데이터와 연관된 맥락형 데이터를 분석하여 분석된 맥락형 데이터를 정의하고, (3) 상기 분석된 비디오 데이터를 상기 데이터베이스에 저장된 상기 얼굴 이미지 데이터와 비교하는 것, 및 상기 분석된 맥락형 데이터를 상기 데이터베이스에 저장된 상기 사용자와 연관된 맥락형 데이터와 비교하는 것에 기초하여, 신뢰 레벨을 정의하도록 구성되고,
상기 프로세서는 상기 신뢰 레벨이 기준을 충족시킬 때, 사용자-특정 맥락형 비디오 스트림을 표현하는 데이터를 정의하도록 구성되는 장치. - 제1항에 있어서, 상기 프로세서는, 상기 네트워크 및 상기 통신 인터페이스를 통해, 상기 클라이언트 디바이스에, 상기 사용자-특정 맥락형 비디오 스트림을 상기 클라이언트 디바이스의 디스플레이 상에 그래픽으로 표현하라는 명령을 나타내는 신호를 전송하도록 구성되는 장치.
- 제1항에 있어서, 상기 프로세서는, 상기 비디오 스트림 데이터를 상기 얼굴 이미지 데이터와 비교하기 전에, 상기 비디오 스트림 데이터와 연관된 맥락형 데이터를 상기 사용자와 연관된 맥락형 데이터와 비교하도록 구성되는 장치.
- 제1항에 있어서, 상기 신뢰 레벨은 (1) 상기 분석된 비디오 데이터와 상기 얼굴 이미지 데이터 간의 매칭 레벨, 및 (2) 상기 분석된 맥락형 데이터와 상기 사용자와 연관된 맥락형 데이터 간의 매칭 레벨을 나타내는 장치.
- 제1항에 있어서, 상기 신뢰 레벨은 적어도 상기 분석된 비디오 데이터와 상기 얼굴 이미지 데이터 간의 매칭 레벨을 나타내고, 상기 기준은 상기 분석된 비디오 데이터와 상기 얼굴 이미지 데이터 간의 적어도 70% 매칭의 매칭 임계치인 장치.
- 제1항에 있어서, 상기 사용자는 복수의 사용자들 중의 사용자이고, 상기 데이터베이스는 상기 복수의 사용자들 중의 각각의 사용자와 연관된 적어도 얼굴 이미지 데이터를 저장하도록 구성되는 장치.
- 제1항에 있어서, 상기 사용자는 복수의 사용자들 중의 사용자이고, 상기 데이터베이스는 상기 복수의 사용자들 중의 각각의 사용자와 연관된 적어도 얼굴 이미지 데이터를 저장하도록 구성되고,
상기 프로세서는 (1) 상기 분석된 비디오 데이터를 상기 복수의 사용자들 중의 각각의 사용자의 얼굴 이미지 데이터와, 그리고 (2) 상기 분석된 맥락형 데이터를 상기 복수의 사용자들 중의 각각의 사용자와 연관된 맥락형 데이터와 비교하도록 구성되는 장치. - 제1항에 있어서, 상기 사용자는 복수의 사용자들 중 제1 사용자이고, 상기 데이터베이스는 상기 복수의 사용자들 중의 각각의 사용자와 연관된 적어도 얼굴 이미지 데이터를 저장하도록 구성되고,
상기 프로세서는 상기 복수의 사용자들 중 제2 사용자와 연관된 신뢰 레벨이 상기 기준을 충족시킬 때, 상기 복수의 사용자들 중 상기 제2 사용자와 연관된 맥락형 비디오 스트림을 표현하는 데이터를 정의하도록 구성되고,
상기 프로세서는, 상기 네트워크를 통해, 상기 복수의 사용자들 중 상기 제2 사용자와 연관된 클라이언트 디바이스에, 상기 복수의 사용자들 중 상기 제2 사용자와 연관된 맥락형 비디오 스트림을, 상기 복수의 사용자들 중 상기 제2 사용자와 연관된 상기 클라이언트 디바이스의 디스플레이 상에 그래픽으로 표현하라는 명령을 나타내는 신호를 전송하도록 구성되는 장치. - 방법으로서,
호스트 디바이스에서, 네트워크를 통해 클라이언트 디바이스로부터, 사용자와 연관된 얼굴 이미지 데이터를 등록하기 위한 요청을 나타내는 신호를 수신하는 단계;
얼굴 인식 및 이미지 분석을 통해, 상기 얼굴 이미지 데이터를 등록하는 단계;
상기 얼굴 이미지 데이터 및 상기 등록과 연관된 데이터를 데이터베이스에 저장하는 단계;
상기 호스트 디바이스에서, 이벤트와 연관된 맥락형 비디오 스트림 데이터를 수신하는 단계;
비디오 분석을 통해 상기 맥락형 비디오 스트림 데이터를 분석하여, 상기 맥락형 비디오 스트림 데이터가 상기 맥락형 비디오 스트림 데이터에서 상기 얼굴 이미지 데이터를 얼굴 인식을 통해 식별하는 것과 연관된 기준을 충족시키는지를 결정하는 단계;
상기 기준이 충족될 때, 사용자-특정 맥락형 비디오 스트림을 정의하는 단계; 및
상기 호스트 디바이스로부터 상기 클라이언트 디바이스로, 상기 사용자-특정 맥락형 비디오 스트림을 상기 클라이언트 디바이스의 디스플레이 상에 제시하라는 명령을 나타내는 신호를 전송하는 단계
를 포함하는 방법. - 제9항에 있어서, 상기 클라이언트 디바이스는 태블릿, 스마트폰 또는 웨어러블 전자 디바이스 중 하나인 방법.
- 제9항에 있어서, 상기 사용자와 연관된 얼굴 이미지 데이터는 상기 클라이언트 디바이스에 동작 가능하게 연결된 카메라를 통해 캡쳐된 이미지 데이터인 방법.
- 제9항에 있어서, 상기 기준은 상기 맥락형 비디오 스트림 데이터에서 상기 얼굴 이미지 데이터를 식별하는 것과 연관된 신뢰 레벨인 방법.
- 제9항에 있어서,
상기 호스트 디바이스로부터 상기 클라이언트 디바이스로, 상기 맥락형 비디오 스트림 데이터를 분석하기 전에, 상기 사용자와 연관된 맥락형 데이터에 대한 요청을 전송하는 단계
를 추가로 포함하는 방법. - 제9항에 있어서,
상기 호스트 디바이스로부터 상기 클라이언트 디바이스로, 상기 맥락형 비디오 스트림 데이터를 분석하기 전에, 상기 사용자와 연관된 맥락형 데이터에 대한 요청을 전송하는 단계
를 추가로 포함하고,
상기 맥락형 데이터는 달력 데이터, 위치 데이터, 선호 데이터 또는 구매 데이터 중 적어도 하나인 방법. - 시스템으로서,
네트워크와 통신하는 이미지 캡쳐 어셈블리 - 상기 이미지 캡쳐 어셈블리는 비디오 스트림 데이터를 캡쳐하도록 구성된 적어도 하나의 이미지 캡쳐 디바이스를 포함하고, 상기 비디오 스트림 데이터는 미리 결정된 맥락과 연관됨; 및
적어도 프로세서 및 메모리를 갖는 호스트 디바이스 - 상기 호스트 디바이스는 상기 네트워크 및 데이터베이스와 통신하고, 상기 호스트 디바이스는 (1) 상기 네트워크를 통해 클라이언트 디바이스로부터 사용자의 얼굴 이미지 데이터를 수신하고, (2) 얼굴 인식 및 이미지 분석을 통해 상기 얼굴 이미지 데이터를 등록하고, (3) 상기 얼굴 이미지 데이터를 데이터베이스에 저장하도록 구성됨 -
를 포함하고,
상기 호스트 디바이스는 상기 이미지 캡쳐 어셈블리로부터의 상기 비디오 스트림 데이터, 및 상기 미리 결정된 맥락과 연관된 데이터를 수신하고, 상기 비디오 스트림 데이터를 상기 얼굴 이미지 데이터와 비교하는 것 및 상기 미리 결정된 맥락과 연관된 데이터를 상기 사용자와 연관된 맥락형 데이터와 비교하는 것에 기초하여, 신뢰 레벨을 정의하도록 구성되고, 상기 호스트 디바이스는 상기 신뢰 레벨이 기준을 충족시킬 때, 사용자-특정 맥락형 이미지 데이터를 정의하고, 상기 네트워크를 통해 상기 클라이언트 디바이스에 상기 사용자-특정 맥락형 이미지 데이터를 전송하도록 구성되는 시스템. - 제15항에 있어서, 상기 클라이언트 디바이스의 카메라가 상기 사용자의 얼굴 이미지 데이터를 캡쳐하는 것에 응답하여, 상기 호스트 디바이스는 상기 클라이언트 디바이스로부터 상기 얼굴 이미지 데이터를 수신하도록 구성되는 시스템.
- 제15항에 있어서, 상기 호스트 디바이스에 의해 수신되는 상기 얼굴 이미지 데이터는, 상기 사용자의 얼굴의 그래픽 표현이 상기 클라이언트 디바이스의 디스플레이 상에 미리 결정된 정렬 상태로 있을 때, 상기 클라이언트 디바이스의 카메라에 의해 자동으로 캡쳐된 얼굴 이미지 데이터인 시스템.
- 제15항에 있어서, 상기 호스트 디바이스에 의해 수신되는 상기 얼굴 이미지 데이터는, 상기 사용자가 사용자의 눈 사이의 거리가 약 40픽셀과 약 65픽셀 사이이도록 상기 클라이언트 디바이스의 디스플레이 상에 상기 사용자의 얼굴의 그래픽 표현을 정렬할 때, 상기 클라이언트 디바이스의 카메라에 의해 자동으로 캡쳐된 얼굴 이미지 데이터인 시스템.
- 제15항에 있어서, 상기 클라이언트 디바이스의 사용자와 연관된 상기 얼굴 이미지 데이터는 상기 사용자의 얼굴의 복수의 이미지들을 포함하고, 상기 복수의 이미지들 중의 각각의 이미지는 상기 클라이언트 디바이스의 카메라에 대해 상이한 방위(orientation)에서 상기 사용자의 얼굴을 캡쳐하는 시스템.
- 제15항에 있어서, 상기 적어도 하나의 이미지 캡쳐 디바이스는 사진(picture) 또는 비디오 레코딩 중 적어도 하나와 연관된 이미지 데이터를 캡쳐하도록 구성된 적어도 하나의 카메라인 시스템.
- 제15항에 있어서, 상기 이미지 캡쳐 어셈블리는 상기 클라이언트 디바이스의 카메라를 포함하는 시스템.
- 제15항에 있어서, 상기 미리 결정된 맥락은 장소, 이벤트, 위치 또는 시간 중 적어도 하나인 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247005308A KR20240025060A (ko) | 2015-07-15 | 2016-07-15 | 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562192854P | 2015-07-15 | 2015-07-15 | |
| US62/192,854 | 2015-07-15 | ||
| PCT/US2016/042489 WO2017011745A1 (en) | 2015-07-15 | 2016-07-15 | Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247005308A Division KR20240025060A (ko) | 2015-07-15 | 2016-07-15 | 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180066026A true KR20180066026A (ko) | 2018-06-18 |
| KR102638612B1 KR102638612B1 (ko) | 2024-02-21 |
Family
ID=57758166
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187004703A KR102638612B1 (ko) | 2015-07-15 | 2016-07-15 | 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 |
| KR1020247005308A KR20240025060A (ko) | 2015-07-15 | 2016-07-15 | 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247005308A KR20240025060A (ko) | 2015-07-15 | 2016-07-15 | 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10094655B2 (ko) |
| EP (1) | EP3323083A4 (ko) |
| JP (1) | JP6785305B2 (ko) |
| KR (2) | KR102638612B1 (ko) |
| CN (1) | CN108701207B (ko) |
| AU (1) | AU2016291660B2 (ko) |
| CA (1) | CA3029973C (ko) |
| IL (2) | IL256885B (ko) |
| WO (1) | WO2017011745A1 (ko) |
Families Citing this family (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200145B (zh) | 2007-09-24 | 2020-10-27 | 苹果公司 | 电子设备中的嵌入式验证系统 |
| US8600120B2 (en) | 2008-01-03 | 2013-12-03 | Apple Inc. | Personal computing device control using face detection and recognition |
| US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
| US8769624B2 (en) | 2011-09-29 | 2014-07-01 | Apple Inc. | Access control utilizing indirect authentication |
| US9898642B2 (en) | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
| US9483763B2 (en) | 2014-05-29 | 2016-11-01 | Apple Inc. | User interface for payments |
| US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| US9940637B2 (en) | 2015-06-05 | 2018-04-10 | Apple Inc. | User interface for loyalty accounts and private label accounts |
| CN108701207B (zh) | 2015-07-15 | 2022-10-04 | 15秒誉股份有限公司 | 用于面部识别和视频分析以识别上下文视频流中的个人的装置和方法 |
| BR112018007979A2 (pt) | 2015-10-21 | 2019-11-12 | 15 Seconds Of Fame Inc | métodos e aparelho para minimização de falso positivo em aplicações de reconhecimento facial |
| US9774731B1 (en) * | 2016-03-28 | 2017-09-26 | Verizon Patent And Licensing Inc. | Adding additional information to caller ID information |
| US10165117B2 (en) | 2016-03-28 | 2018-12-25 | Verizon Patent And Licensing Inc. | Call handling based on augmented caller information |
| US10339367B2 (en) * | 2016-03-29 | 2019-07-02 | Microsoft Technology Licensing, Llc | Recognizing a face and providing feedback on the face-recognition process |
| DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
| US10621581B2 (en) | 2016-06-11 | 2020-04-14 | Apple Inc. | User interface for transactions |
| CN109313759B (zh) | 2016-06-11 | 2022-04-26 | 苹果公司 | 用于交易的用户界面 |
| DK201670622A1 (en) | 2016-06-12 | 2018-02-12 | Apple Inc | User interfaces for transactions |
| US9842330B1 (en) | 2016-09-06 | 2017-12-12 | Apple Inc. | User interfaces for stored-value accounts |
| DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
| US10496808B2 (en) | 2016-10-25 | 2019-12-03 | Apple Inc. | User interface for managing access to credentials for use in an operation |
| EP3537706A4 (en) * | 2016-11-30 | 2019-11-06 | Huawei Technologies Co., Ltd. | PHOTOGRAPHIC PROCESS, DEVICE AND DEVICE DEVICE |
| US10621419B2 (en) * | 2016-12-06 | 2020-04-14 | Robert William Kocher | Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates |
| CA2996573A1 (en) * | 2017-03-01 | 2018-09-01 | Naim Salem | Method and application for aiding self photography |
| US10832035B2 (en) | 2017-06-22 | 2020-11-10 | Koninklijke Philips N.V. | Subject identification systems and methods |
| US11316865B2 (en) | 2017-08-10 | 2022-04-26 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
| US11101022B2 (en) | 2017-08-10 | 2021-08-24 | Nuance Communications, Inc. | Automated clinical documentation system and method |
| KR102185854B1 (ko) | 2017-09-09 | 2020-12-02 | 애플 인크. | 생체측정 인증의 구현 |
| EP4156129A1 (en) * | 2017-09-09 | 2023-03-29 | Apple Inc. | Implementation of biometric enrollment |
| EA202090770A1 (ru) | 2017-09-18 | 2020-08-21 | Элемент, Инк. | Способы, системы и носители данных для обнаружения спуфинга в мобильной аутентификации |
| US10803297B2 (en) | 2017-09-27 | 2020-10-13 | International Business Machines Corporation | Determining quality of images for user identification |
| US10839003B2 (en) | 2017-09-27 | 2020-11-17 | International Business Machines Corporation | Passively managed loyalty program using customer images and behaviors |
| US10776467B2 (en) | 2017-09-27 | 2020-09-15 | International Business Machines Corporation | Establishing personal identity using real time contextual data |
| US10795979B2 (en) | 2017-09-27 | 2020-10-06 | International Business Machines Corporation | Establishing personal identity and user behavior based on identity patterns |
| US10884597B2 (en) * | 2017-10-17 | 2021-01-05 | Paypal, Inc. | User interface customization based on facial recognition |
| NZ764621A (en) * | 2017-10-22 | 2020-06-26 | Todd Martin | System and method for image recognition registration of an athlete in a sporting event |
| US10565432B2 (en) | 2017-11-29 | 2020-02-18 | International Business Machines Corporation | Establishing personal identity based on multiple sub-optimal images |
| US10885314B2 (en) * | 2018-01-22 | 2021-01-05 | Kneron Inc. | Face identification system and face identification method with high security level and low power consumption |
| US10614292B2 (en) * | 2018-02-06 | 2020-04-07 | Kneron Inc. | Low-power face identification method capable of controlling power adaptively |
| US10574881B2 (en) | 2018-02-15 | 2020-02-25 | Adobe Inc. | Smart guide to capture digital images that align with a target image model |
| US11250382B2 (en) | 2018-03-05 | 2022-02-15 | Nuance Communications, Inc. | Automated clinical documentation system and method |
| US11515020B2 (en) | 2018-03-05 | 2022-11-29 | Nuance Communications, Inc. | Automated clinical documentation system and method |
| WO2019173331A1 (en) | 2018-03-05 | 2019-09-12 | Nuance Communications, Inc. | System and method for review of automated clinical documentation |
| US10902514B2 (en) | 2018-04-10 | 2021-01-26 | Wells Fargo Bank, N.A. | Systems and methods for private loan creation |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| CN109034008A (zh) * | 2018-07-06 | 2018-12-18 | 合肥安华信息科技有限公司 | 一种基于特征识别的展览会场管理系统 |
| US10460330B1 (en) | 2018-08-09 | 2019-10-29 | Capital One Services, Llc | Intelligent face identification |
| US10936856B2 (en) | 2018-08-31 | 2021-03-02 | 15 Seconds of Fame, Inc. | Methods and apparatus for reducing false positives in facial recognition |
| KR102103727B1 (ko) * | 2018-09-03 | 2020-04-24 | 네이버 주식회사 | 스킴―픽셀ｃｎｎ을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치 |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| USD923041S1 (en) * | 2018-12-12 | 2021-06-22 | Pearson Education, Inc. | Display screen with graphical user interface |
| US11010596B2 (en) | 2019-03-07 | 2021-05-18 | 15 Seconds of Fame, Inc. | Apparatus and methods for facial recognition systems to identify proximity-based connections |
| AU2020237108B2 (en) * | 2019-03-12 | 2022-12-15 | Element Inc. | Detecting spoofing of facial recognition with mobile devices |
| US11328352B2 (en) | 2019-03-24 | 2022-05-10 | Apple Inc. | User interfaces for managing an account |
| CN110232784A (zh) * | 2019-05-30 | 2019-09-13 | 三明学院 | 一种共享充电宝租借方法、装置及设备 |
| US11227679B2 (en) | 2019-06-14 | 2022-01-18 | Nuance Communications, Inc. | Ambient clinical intelligence system and method |
| US11043207B2 (en) | 2019-06-14 | 2021-06-22 | Nuance Communications, Inc. | System and method for array data simulation and customized acoustic modeling for ambient ASR |
| US11216480B2 (en) | 2019-06-14 | 2022-01-04 | Nuance Communications, Inc. | System and method for querying data points from graph data structures |
| US11423694B2 (en) | 2019-06-19 | 2022-08-23 | Samsung Electronics Company, Ltd. | Methods and systems for dynamic and incremental face recognition |
| US11531807B2 (en) | 2019-06-28 | 2022-12-20 | Nuance Communications, Inc. | System and method for customized text macros |
| SG10201906721SA (en) | 2019-07-19 | 2021-02-25 | Nec Corp | Method and system for chrominance-based face liveness detection |
| US11250266B2 (en) | 2019-08-09 | 2022-02-15 | Clearview Ai, Inc. | Methods for providing information about a person based on facial recognition |
| US11670408B2 (en) | 2019-09-30 | 2023-06-06 | Nuance Communications, Inc. | System and method for review of automated clinical documentation |
| US11507248B2 (en) * | 2019-12-16 | 2022-11-22 | Element Inc. | Methods, systems, and media for anti-spoofing using eye-tracking |
| CN113010125B (zh) * | 2019-12-20 | 2024-03-19 | 托比股份公司 | 方法、计算机程序产品和双目式头戴装置控制器 |
| US11341351B2 (en) * | 2020-01-03 | 2022-05-24 | 15 Seconds of Fame, Inc. | Methods and apparatus for facial recognition on a user device |
| CN115918089A (zh) * | 2020-04-17 | 2023-04-04 | 15秒誉股份有限公司 | 用于处理和呈现媒体数据以允许虚拟参与事件的系统和方法 |
| US11816194B2 (en) | 2020-06-21 | 2023-11-14 | Apple Inc. | User interfaces for managing secure operations |
| US11222103B1 (en) | 2020-10-29 | 2022-01-11 | Nuance Communications, Inc. | Ambient cooperative intelligence system and method |
| US11972639B2 (en) * | 2020-11-17 | 2024-04-30 | Corsight.Ai | Unsupervised signature-based person of interest database population |
| US11509819B2 (en) * | 2021-01-19 | 2022-11-22 | Adobe Inc. | Providing contextual augmented reality photo pose guidance |
| EP4264460A1 (en) | 2021-01-25 | 2023-10-25 | Apple Inc. | Implementation of biometric authentication |
| CN116933138B (zh) * | 2023-07-26 | 2024-03-19 | 广州淦源智能科技有限公司 | 一种基于智能竞速产品的竞技控制系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003317100A (ja) * | 2002-02-22 | 2003-11-07 | Matsushita Electric Ind Co Ltd | 情報端末装置、認証システム、及び登録・認証方法 |
| JP2014518573A (ja) * | 2011-03-29 | 2014-07-31 | フェイスブック，インク． | 空間的および時間的近接性に基づく顔認識 |
| US20140289534A1 (en) * | 2012-04-09 | 2014-09-25 | Brivas Llc | Systems, methods and apparatus for multivariate authentication |
Family Cites Families (133)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5144685A (en) | 1989-03-31 | 1992-09-01 | Honeywell Inc. | Landmark recognition for autonomous mobile robots |
| US5694546A (en) | 1994-05-31 | 1997-12-02 | Reisman; Richard R. | System for automatic unattended electronic information transport between a server and a client by a vendor provided transport software with a manifest list |
| US6532345B1 (en) | 1994-08-02 | 2003-03-11 | L. N. C. J. Limited | Imaging system and method |
| US20030118216A1 (en) | 1996-09-04 | 2003-06-26 | Goldberg David A. | Obtaining person-specific images in a public venue |
| US6526158B1 (en) | 1996-09-04 | 2003-02-25 | David A. Goldberg | Method and system for obtaining person-specific images in a public venue |
| US6819783B2 (en) | 1996-09-04 | 2004-11-16 | Centerframe, Llc | Obtaining person-specific images in a public venue |
| US7330875B1 (en) | 1999-06-15 | 2008-02-12 | Microsoft Corporation | System and method for recording a presentation for on-demand viewing over a computer network |
| JP3955170B2 (ja) | 2000-07-03 | 2007-08-08 | 富士フイルム株式会社 | 画像検索システム |
| JP3992909B2 (ja) | 2000-07-03 | 2007-10-17 | 富士フイルム株式会社 | 本人画像提供システム |
| US6745186B1 (en) | 2000-08-17 | 2004-06-01 | Eastman Kodak Company | Product and method for organizing and searching digital images |
| US7376276B2 (en) | 2000-08-29 | 2008-05-20 | Imageid Ltd | Indexing, storage and retrieval of digital images |
| AU2001282483A1 (en) | 2000-08-29 | 2002-03-13 | Imageid Ltd. | Indexing, storage and retrieval of digital images |
| US6591068B1 (en) | 2000-10-16 | 2003-07-08 | Disney Enterprises, Inc | Method and apparatus for automatic image capture |
| US7321387B2 (en) | 2001-07-30 | 2008-01-22 | Eastman Kodak Company | System and method for offering imaging services of a customer and participants at a live entertainment event |
| GB2380556A (en) | 2001-10-05 | 2003-04-09 | Hewlett Packard Co | Camera with vocal control and recording |
| US8321231B2 (en) | 2001-11-07 | 2012-11-27 | Toshiba Global Commerce Solutions Holding Corporation | Method and apparatus for providing customized souvenir images |
| GB2386276B (en) | 2002-03-09 | 2004-09-08 | Rx Technology Europ Ltd | Image capture and retrieval apparatus |
| US7494061B2 (en) | 2006-06-30 | 2009-02-24 | Evercom Systems, Inc. | Systems and methods for identity verification using continuous biometric monitoring |
| US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
| US7636365B2 (en) | 2004-05-13 | 2009-12-22 | Korea Advanced Institute Of Science And Technology (Kaist) | Smart digital modules and smart digital wall surfaces combining the same, and context aware interactive multimedia system using the same and operation method thereof |
| US7532811B2 (en) | 2004-07-13 | 2009-05-12 | David Andrew Sauder | System and method for capturing, associating and distributing photographic images |
| US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| WO2006091869A2 (en) | 2005-02-25 | 2006-08-31 | Youfinder Intellectual Property Licensing Limited Liability Company | Automated indexing for distributing event photography |
| US7023367B1 (en) | 2005-03-10 | 2006-04-04 | National Semiconductor Corporation | Current steering digital to analog converter with improved dynamic linearity |
| US7881968B2 (en) | 2005-04-15 | 2011-02-01 | David Clifford R | Interactive image activation and distribution system and associated methods |
| US8260674B2 (en) | 2007-03-27 | 2012-09-04 | David Clifford R | Interactive image activation and distribution system and associate methods |
| US7966223B2 (en) | 2005-04-15 | 2011-06-21 | David Clifford R | Interactive image activation and distribution system and associated methods |
| WO2007011709A2 (en) | 2005-07-18 | 2007-01-25 | Youfinder Intellectual Property Licensing Limited Liability Company | Manually-assisted automated indexing of images using facial recognition |
| JP2007052646A (ja) | 2005-08-18 | 2007-03-01 | Fujifilm Holdings Corp | 画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法 |
| US7907755B1 (en) | 2006-05-10 | 2011-03-15 | Aol Inc. | Detecting facial similarity based on human perception of facial similarity |
| US7783085B2 (en) | 2006-05-10 | 2010-08-24 | Aol Inc. | Using relevance feedback in face recognition |
| US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
| US7684651B2 (en) | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
| US8315463B2 (en) | 2006-11-14 | 2012-11-20 | Eastman Kodak Company | User interface for face recognition |
| WO2008109172A1 (en) | 2007-03-07 | 2008-09-12 | Wiklof Christopher A | Recorder with retrospective capture |
| EP2132580B1 (en) | 2007-04-05 | 2014-05-21 | AEHR Test Systems | Method of testing a microelectronic circuit |
| US8189880B2 (en) | 2007-05-29 | 2012-05-29 | Microsoft Corporation | Interactive photo annotation based on face clustering |
| US8014572B2 (en) | 2007-06-08 | 2011-09-06 | Microsoft Corporation | Face annotation framework with partial clustering and interactive labeling |
| KR101378372B1 (ko) | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체 |
| US8144944B2 (en) | 2007-08-14 | 2012-03-27 | Olympus Corporation | Image sharing system and method |
| US7391886B1 (en) | 2008-01-09 | 2008-06-24 | International Business Machines Corporation | Digital camera with image tracking system |
| US8180112B2 (en) | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
| KR101432177B1 (ko) | 2008-01-21 | 2014-08-22 | 삼성전자주식회사 | 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템 |
| US7953690B2 (en) | 2008-01-25 | 2011-05-31 | Eastman Kodak Company | Discovering social relationships from personal photo collections |
| CA2716335A1 (en) | 2008-02-22 | 2009-08-27 | Stephen C. Bono | Systems and methods for secure workgroup management and communication |
| WO2009116049A2 (en) | 2008-03-20 | 2009-09-24 | Vizi Labs | Relationship mapping employing multi-dimensional context including facial recognition |
| EP2618290A3 (en) | 2008-04-02 | 2014-08-06 | Google, Inc. | Method and apparatus to incorporate automatic face recognition in digital image collections |
| US8284990B2 (en) | 2008-05-21 | 2012-10-09 | Honeywell International Inc. | Social network construction based on data association |
| US20100036875A1 (en) | 2008-08-07 | 2010-02-11 | Honeywell International Inc. | system for automatic social network construction from image data |
| US20090316961A1 (en) | 2008-06-21 | 2009-12-24 | Microsoft Corporation | Method for tagging image content |
| JP5049899B2 (ja) | 2008-06-30 | 2012-10-17 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| US20110188713A1 (en) | 2008-07-16 | 2011-08-04 | Imprezzeo Pty Ltd | Facial image recognition and retrieval |
| US8204437B1 (en) | 2008-08-08 | 2012-06-19 | Srr Patent Holdings, Llc | Wireless image distribution system and method |
| US8457366B2 (en) | 2008-12-12 | 2013-06-04 | At&T Intellectual Property I, L.P. | System and method for matching faces |
| US8442922B2 (en) | 2008-12-24 | 2013-05-14 | Strands, Inc. | Sporting event image capture, processing and publication |
| US8254699B1 (en) | 2009-02-02 | 2012-08-28 | Google Inc. | Automatic large scale video object recognition |
| US8392957B2 (en) | 2009-05-01 | 2013-03-05 | T-Mobile Usa, Inc. | Automatic content tagging, such as tagging digital images via a wireless cellular network using metadata and facial recognition |
| US8886206B2 (en) | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
| US8325999B2 (en) | 2009-06-08 | 2012-12-04 | Microsoft Corporation | Assisted face recognition tagging |
| US20110022529A1 (en) | 2009-07-22 | 2011-01-27 | Fernando Barsoba | Social network creation using image recognition |
| US8670597B2 (en) | 2009-08-07 | 2014-03-11 | Google Inc. | Facial recognition with social network aiding |
| US8510383B2 (en) | 2009-09-14 | 2013-08-13 | Clixtr, Inc. | Method for providing event based media streams |
| US20110066431A1 (en) * | 2009-09-15 | 2011-03-17 | Mediatek Inc. | Hand-held input apparatus and input method for inputting data to a remote receiving device |
| US8438484B2 (en) | 2009-11-06 | 2013-05-07 | Sony Corporation | Video preview module to enhance online video experience |
| US8386620B2 (en) | 2009-12-15 | 2013-02-26 | Apple Inc. | Ad hoc networking based on content and location |
| US8416997B2 (en) | 2010-01-27 | 2013-04-09 | Apple Inc. | Method of person identification using social connections |
| US20110188742A1 (en) | 2010-02-02 | 2011-08-04 | Jie Yu | Recommending user image to social network groups |
| US9465993B2 (en) | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
| US20110211737A1 (en) | 2010-03-01 | 2011-09-01 | Microsoft Corporation | Event Matching in Social Networks |
| US8957981B2 (en) | 2010-03-03 | 2015-02-17 | Intellectual Ventures Fund 83 Llc | Imaging device for capturing self-portrait images |
| WO2011119859A2 (en) | 2010-03-24 | 2011-09-29 | Hameed Khan | Proximity-based social networking |
| WO2011156633A2 (en) | 2010-06-09 | 2011-12-15 | Brian Holmes | Live event social networking system |
| JP5545084B2 (ja) | 2010-07-08 | 2014-07-09 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US8270684B2 (en) | 2010-07-27 | 2012-09-18 | Google Inc. | Automatic media sharing via shutter click |
| US9202091B2 (en) | 2010-09-02 | 2015-12-01 | Intelleflex Corporation | RFID reader with camera, video, and/or audio capture device |
| US8337305B2 (en) * | 2010-11-17 | 2012-12-25 | Steelseries Aps | Apparatus and method for managing user inputs in video games |
| US8928760B2 (en) | 2010-12-07 | 2015-01-06 | Verizon Patent And Licensing Inc. | Receiving content and approving content for transmission |
| US8341145B2 (en) | 2010-12-20 | 2012-12-25 | Microsoft Corporation | Face recognition using social data |
| AU2012219277B2 (en) | 2011-02-18 | 2016-10-20 | Google Llc | Facial recognition |
| KR101383238B1 (ko) | 2011-03-07 | 2014-04-08 | 케이비에이2, 인코포레이티드 | 이벤트 또는 지리적 위치에 있는 이미지 제공자들로부터의 분석 데이터 수집을 위한 시스템 및 방법 |
| CN102196245A (zh) * | 2011-04-07 | 2011-09-21 | 北京中星微电子有限公司 | 一种角色互动的视频播放方法和视频播放装置 |
| US20120265758A1 (en) | 2011-04-14 | 2012-10-18 | Edward Han | System and method for gathering, filtering, and displaying content captured at an event |
| US8918463B2 (en) | 2011-04-29 | 2014-12-23 | Facebook, Inc. | Automated event tagging |
| US8631084B2 (en) | 2011-04-29 | 2014-01-14 | Facebook, Inc. | Dynamic tagging recommendation |
| CA3060189C (en) * | 2011-05-12 | 2021-09-21 | Solink Corporation | Video analytics system |
| US8971924B2 (en) | 2011-05-23 | 2015-03-03 | Apple Inc. | Identifying and locating users on a mobile network |
| US10089327B2 (en) | 2011-08-18 | 2018-10-02 | Qualcomm Incorporated | Smart camera for sharing pictures automatically |
| US8885960B2 (en) | 2011-10-05 | 2014-11-11 | Microsoft Corporation | Linking photographs via face, time, and location |
| US9131147B2 (en) | 2011-10-07 | 2015-09-08 | Fuji Xerox Co., Ltd. | System and method for detecting and acting on multiple people crowding a small display for information sharing |
| US9143601B2 (en) | 2011-11-09 | 2015-09-22 | Microsoft Technology Licensing, Llc | Event-based media grouping, playback, and sharing |
| US9087273B2 (en) | 2011-11-15 | 2015-07-21 | Facebook, Inc. | Facial recognition using social networking information |
| US8723962B2 (en) | 2011-12-13 | 2014-05-13 | International Business Machines Corporation | Camera based information exchange mechanism |
| US9407860B2 (en) | 2012-04-06 | 2016-08-02 | Melvin Lee Barnes, JR. | System, method and computer program product for processing image data |
| US9179021B2 (en) | 2012-04-25 | 2015-11-03 | Microsoft Technology Licensing, Llc | Proximity and connection based photo sharing |
| US20140342330A1 (en) | 2013-05-17 | 2014-11-20 | Gary A. Freeman | Cameras for Emergency Rescue |
| US8710751B2 (en) | 2012-07-26 | 2014-04-29 | Polestar Electric Industries Co., Ltd. | LED string with a capability to maintain a current path and LED unit thereof |
| US9204247B2 (en) | 2012-08-13 | 2015-12-01 | Google Inc. | Proximity-based notifications for photos |
| US8560625B1 (en) * | 2012-09-01 | 2013-10-15 | Google Inc. | Facilitating photo sharing |
| US9141848B2 (en) * | 2012-09-04 | 2015-09-22 | Intel Corporation | Automatic media distribution |
| AU2012101375A4 (en) | 2012-09-06 | 2012-10-18 | Oracle Recording's | FutureNetID |
| US10027727B1 (en) | 2012-11-21 | 2018-07-17 | Ozog Media, LLC | Facial recognition device, apparatus, and method |
| US10019136B1 (en) | 2012-11-21 | 2018-07-10 | Ozog Media, LLC | Image sharing device, apparatus, and method |
| US10027726B1 (en) | 2012-11-21 | 2018-07-17 | Ozog Media, LLC | Device, apparatus, and method for facial recognition |
| EP2936795A4 (en) | 2012-12-19 | 2016-07-27 | Fanpics Llc | CAPTURE, PROCESSING AND DELIVERY OF IMAGES AT GROUP EVENTS |
| US9712800B2 (en) | 2012-12-20 | 2017-07-18 | Google Inc. | Automatic identification of a notable moment |
| US9411831B2 (en) * | 2013-03-01 | 2016-08-09 | Facebook, Inc. | Photo clustering into moments |
| CN103258037A (zh) * | 2013-05-16 | 2013-08-21 | 西安工业大学 | 一种针对多组合内容的商标识别检索方法 |
| CN103246819B (zh) * | 2013-05-20 | 2016-10-05 | 山东大学 | 一种面向普适计算的不一致性上下文消除系统和方法 |
| US20140350840A1 (en) | 2013-05-23 | 2014-11-27 | Cellco Partnership D/B/A Verizon Wireless | Crowd proximity device |
| US10019825B2 (en) | 2013-06-05 | 2018-07-10 | Intel Corporation | Karaoke avatar animation based on facial motion data |
| US9104907B2 (en) * | 2013-07-17 | 2015-08-11 | Emotient, Inc. | Head-pose invariant recognition of facial expressions |
| US20150062334A1 (en) | 2013-08-29 | 2015-03-05 | FanPix, LLC | Systems and Methods for Image Capture and Distribution in Venues |
| WO2015031863A1 (en) | 2013-08-29 | 2015-03-05 | FanPix, LLC | Imaging attendees at event venues |
| US20150066920A1 (en) | 2013-09-04 | 2015-03-05 | Google Inc. | Media clip sharing on social networks |
| US9807161B2 (en) | 2013-09-16 | 2017-10-31 | Axis Ab | Distributed events in an access control system |
| US10460151B2 (en) | 2013-09-17 | 2019-10-29 | Cloudspotter Technologies, Inc. | Private photo sharing system, method and network |
| US9569656B2 (en) | 2013-12-06 | 2017-02-14 | Google Inc. | Local real-time facial recognition |
| US9773162B2 (en) | 2013-12-12 | 2017-09-26 | Evernote Corporation | User discovery via digital ID and face recognition |
| US9007420B1 (en) | 2014-01-10 | 2015-04-14 | Securus Technologies, Inc. | Verifying presence of authorized persons during an electronic visitation |
| US9189682B2 (en) | 2014-02-13 | 2015-11-17 | Apple Inc. | Systems and methods for sending digital images |
| US10121060B2 (en) | 2014-02-13 | 2018-11-06 | Oath Inc. | Automatic group formation and group detection through media recognition |
| US20150227780A1 (en) | 2014-02-13 | 2015-08-13 | FacialNetwork, Inc. | Method and apparatus for determining identity and programing based on image features |
| US9946324B2 (en) | 2014-04-16 | 2018-04-17 | Facebook, Inc. | Location based facial recognition on online social networks |
| US9396354B1 (en) | 2014-05-28 | 2016-07-19 | Snapchat, Inc. | Apparatus and method for automated privacy protection in distributed images |
| US9420315B2 (en) | 2014-06-17 | 2016-08-16 | Bruce Melanson | Systems and methods for sharing video data via social media |
| US10264175B2 (en) | 2014-09-09 | 2019-04-16 | ProSports Technologies, LLC | Facial recognition for event venue cameras |
| US9516472B2 (en) | 2014-10-10 | 2016-12-06 | Verizon Patent And Licensing Inc. | Method and system for evaluating a user response to a presence based action |
| US20160150124A1 (en) * | 2014-11-24 | 2016-05-26 | Kyocera Document Solutions Inc. | Image Forming Apparatus with User Identification Capabilities |
| US20160191434A1 (en) | 2014-12-24 | 2016-06-30 | Blue Yonder Labs Llc | System and method for improved capture, storage, search, selection and delivery of images across a communications network |
| WO2017004241A1 (en) * | 2015-07-02 | 2017-01-05 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
| CN108701207B (zh) | 2015-07-15 | 2022-10-04 | 15秒誉股份有限公司 | 用于面部识别和视频分析以识别上下文视频流中的个人的装置和方法 |
| BR112018007979A2 (pt) | 2015-10-21 | 2019-11-12 | 15 Seconds Of Fame Inc | métodos e aparelho para minimização de falso positivo em aplicações de reconhecimento facial |
| US10885396B2 (en) | 2017-05-24 | 2021-01-05 | Amazon Technologies, Inc. | Generating composite images using audio/video recording and communication devices |
-
2016
- 2016-07-15 CN CN201680053468.4A patent/CN108701207B/zh active Active
- 2016-07-15 AU AU2016291660A patent/AU2016291660B2/en active Active
- 2016-07-15 WO PCT/US2016/042489 patent/WO2017011745A1/en active Application Filing
- 2016-07-15 EP EP16825245.0A patent/EP3323083A4/en active Pending
- 2016-07-15 US US15/211,261 patent/US10094655B2/en active Active
- 2016-07-15 KR KR1020187004703A patent/KR102638612B1/ko active IP Right Grant
- 2016-07-15 KR KR1020247005308A patent/KR20240025060A/ko active Application Filing
- 2016-07-15 JP JP2018521489A patent/JP6785305B2/ja active Active
- 2016-07-15 CA CA3029973A patent/CA3029973C/en active Active
-
2018
- 2018-01-12 IL IL256885A patent/IL256885B/en active IP Right Grant
- 2018-10-03 US US16/150,717 patent/US10591281B2/en active Active
-
2020
- 2020-02-18 IL IL272743A patent/IL272743B/en unknown
- 2020-03-13 US US16/818,156 patent/US10900772B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003317100A (ja) * | 2002-02-22 | 2003-11-07 | Matsushita Electric Ind Co Ltd | 情報端末装置、認証システム、及び登録・認証方法 |
| JP2014518573A (ja) * | 2011-03-29 | 2014-07-31 | フェイスブック，インク． | 空間的および時間的近接性に基づく顔認識 |
| US20140289534A1 (en) * | 2012-04-09 | 2014-09-25 | Brivas Llc | Systems, methods and apparatus for multivariate authentication |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200217645A1 (en) | 2020-07-09 |
| IL272743A (en) | 2020-04-30 |
| JP2018530079A (ja) | 2018-10-11 |
| KR20240025060A (ko) | 2024-02-26 |
| AU2016291660A1 (en) | 2018-03-08 |
| US10591281B2 (en) | 2020-03-17 |
| CN108701207A (zh) | 2018-10-23 |
| IL256885B (en) | 2020-03-31 |
| US10094655B2 (en) | 2018-10-09 |
| US10900772B2 (en) | 2021-01-26 |
| CA3029973C (en) | 2022-04-12 |
| EP3323083A1 (en) | 2018-05-23 |
| JP6785305B2 (ja) | 2020-11-18 |
| CA3029973A1 (en) | 2017-01-19 |
| IL272743B (en) | 2021-08-31 |
| AU2016291660B2 (en) | 2021-10-21 |
| EP3323083A4 (en) | 2019-04-17 |
| US20170017834A1 (en) | 2017-01-19 |
| WO2017011745A1 (en) | 2017-01-19 |
| KR102638612B1 (ko) | 2024-02-21 |
| CN108701207B (zh) | 2022-10-04 |
| IL256885A (en) | 2018-03-29 |
| US20190137261A1 (en) | 2019-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10900772B2 (en) | Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams | |
| US11286310B2 (en) | Methods and apparatus for false positive minimization in facial recognition applications | |
| JP7224442B2 (ja) | 顔認識において偽陽性を低減するための方法および装置 | |
| US11010596B2 (en) | Apparatus and methods for facial recognition systems to identify proximity-based connections | |
| US11341351B2 (en) | Methods and apparatus for facial recognition on a user device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |