[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102223416B1 - 사용자 인증 제스쳐 기법 - Google Patents

사용자 인증 제스쳐 기법 Download PDF

Info

Publication number
KR102223416B1
KR102223416B1 KR1020167020746A KR20167020746A KR102223416B1 KR 102223416 B1 KR102223416 B1 KR 102223416B1 KR 1020167020746 A KR1020167020746 A KR 1020167020746A KR 20167020746 A KR20167020746 A KR 20167020746A KR 102223416 B1 KR102223416 B1 KR 102223416B1
Authority
KR
South Korea
Prior art keywords
user
gesture
authentication
value
authentication gesture
Prior art date
Application number
KR1020167020746A
Other languages
English (en)
Other versions
KR20160114608A (ko
Inventor
디미트리오스 림베로포울로스
지에 리우
헤 왕
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160114608A publication Critical patent/KR20160114608A/ko
Application granted granted Critical
Publication of KR102223416B1 publication Critical patent/KR102223416B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06K9/00382—
    • G06K9/00389—
    • G06K9/00892—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W12/065—Continuous authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W12/068—Authentication using credential vaults, e.g. password manager applications or one time password [OTP] applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/082—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying multi-factor authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/68—Gesture-dependent or behaviour-dependent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 문서는 사용자 인증 제스쳐에 관한 것이다. 일례에서는, 장치 인증 시도로서 사용자 인증 제스쳐가 수행될 때 복수의 생체 특성을 캡쳐할 수 있다. 이 예에서는 복수의 생체 특성의 값을 사용자에 대해 이전에 저장된 값에 대해서 비교할 수 있다. 이예에서는 복수의 생체 특성의 값이 이전 값에 대해 유사도 임계값을 만족하는 경우에 컴퓨팅 장치를 잠금 해제할 수 있다.

Description

사용자 인증 제스쳐 기법{USER-AUTHENTICATION GESTURES}
메시지, 사진, 은행 계좌 등의 형태로 되어 있는 민감 정보를 모바일 장치에 저장하는 경우가 많아지면서, 이를 적절하게 보안시키는 것은 필수적인 것이 되었다. 터치 스크린은 그 크기가 작고, 촉각 피드백이 가능한 물리적인 키보드도 많지 않기 때문에, 문자, 숫자 및 기호의 조합으로 이루어진 긴 패스워드와 같은 종래의 사용자 인증 메커니즘은 모바일 장치에서는 적합하지 않다. 사용자가 자신의 모바일 장치에 하루에 수십 번 혹은 심지어 수백 번 인증을 해야 하는 점을 고려하면, 종래의 패스워드 인증 기법은 한계에 도달했다. 또한, 개발중인 다른 타입의 장치도 종래의 사용자 인증 메커니즘에는 도움이 되지 못하고 있다.
인증 처리를 간단하게 하기 위해서, 사용자는 자신의 장치를 전혀 보호되지 않은 상태로 두거나, 혹은 4자리 핀, 픽쳐 패스워드 혹은 제스쳐 잠금 해제(예컨대, 터치 스크린에서 기호나 형상을 찾아내는 것)와 같은 간단한 인증 기법만을 이용하는 경향이 있다. 이러한 기법을 통하면 쉽고 직관적인 사용자 인증은 가능하겠지만, 이는 어깨 너머로 간단히 훔쳐보는 것에도 취약하기 때문에, 장치의 보안에는 부합되지 않는다. 핀, 픽쳐 패스워드 혹은 잠금 해제 제스쳐는, 사용자가 자신의 장치에 인증하는 것을 다른 사람이 한번 보는 것만으로도 쉽게 유출될 수 있다. 인증 처리를 직접 보지 않더라도, 장치의 터치 스크린에 있는 지문 자국을 이용해서도 패스워드(핀, 픽쳐 혹은 제스쳐)를 자동으로 식별해 낼 수 있는 경우도 많이 있다.
최근의 안드로이드TM 장치에서는, 장치의 전면 카메라를 이용한 사용자 인증을 통해서, 사람들에게 얼굴 인식 기능을 제공했다. 이러한 타입의 인증은 직관적이고 빠르기는 하지만, 컴퓨터 비전에 한계가 있다는 문제가 있다. 얼굴 인식은 특히, 조명 상태가 트레이닝 동안 사용되던 것과 다르거나 혹은 더 열악하면 성능이 저하된다. 사용자가 모바일 장치를 항상 휴대하고 사용한다는 점을 고려하면, 이러한 환경 조건의 변동은 항상 존재한다.
더 최근에는, iPhone®는, 홈 버튼에 지문 센서를 내장함으로써 사용자가 자신의 장치를 쉽고 안전하게 잠금 해제할 수 있게 하는 터치 인식 기술을 도입했다. 이러한 방식이 인증 처리에 있어서의 편리성 및 보안 요건을 모두 만족시키고 있지만, 이는 기본적으로 iPhone의 홈 버튼과 같이, 전면에 큰 물리적인 버튼이 있는 장치로 제한된다. 그러나, 폰 제조 업체는 양 모서리 간의 거리가 큰 디스플레이를 가진 장치를 원하고 있어서, 물리적 버튼은, 터치 스크린에 쉽게 내장될 수 있는 용량성 버튼으로 신속하게 대체되고 있으며, 이 때문에 지문 센서의 배치 공간은 없어지고 있다. 또한, 이 해법은 추가적인 지문 센서 하드웨어가 필요해서 장치 비용이 증가된다.
본 문서는 사용자 인증 제스쳐(혹은 '인증 제스쳐')에 관한 것이다. 일례로, 장치 인증 시도로서 사용자 인증 제스쳐를 수행하는 것과 관련된 복수의 생체 특성을 캡쳐할 수 있다. 이 예에서는, 이 복수의 생체 특성의 값을 사용자에 대해서 사전에 저장된 값과 비교할 수 있다. 아울러, 이 예에서는, 복수의 생체 특성의 값이 이전 값에 대해 유사도 임계값을 만족하는 경우에 컴퓨팅 장치를 잠금 해제할 수 있다.
다른 예에서는, 디스플레이 및 적어도 2개의 상이한 타입의 센서를 포함할 수 있다. 이 예에서는 또한, 컴퓨터-판독 가능 명령어를 저장하도록 구성된 저장부 및 컴퓨터-판독 가능 명령어를 실행하도록 구성된 처리부를 포함할 수 있다. 이 예에서는 또한, 사용자 인증 컴포넌트를 포함할 수 있다. 사용자 인증 컴포넌트는, 트레이닝 세션 동안 사용자 인증 제스쳐를 여러번 수행하도록 사용자에게 지시하는 그래픽 유저 인터페이스를, 디스플레이에 표시하도록 구성될 수 있다. 사용자 인증 컴포넌트는 트레이닝 세션 동안 2개의 상이한 타입의 센서로부터 획득한 센서 데이터를 수신하도록 구성될 수 있다. 사용자 인증 컴포넌트는 또한 트레이닝 세션 동안 획득한 센서 데이터에 기초해서 개인별 유사도 임계값을 생성하도록 구성될 수 있다. 사용자 인증 컴포넌트는 또한 후속하는 장치 인증 시도시에 사용자 인증 제스쳐가 수행될 때 추가 센서 데이터를 수신하도록 구성될 수 있다. 사용자 인증 컴포넌트는 센서 데이터에 대한 추가 센서 데이터의 유사도가 개인별 유사도 임계값을 만족하는 경우에 장치의 사용을 인증하도록 구성될 수 있다.
본 개요는 이하 상세한 설명에서 설명되는 개념 중 일부를 선택해서 간략하게 제공하는 것이다. 본 개요는 청구 대상의 중요 사항이나 필수적인 측면을 나타내는 것이 아니며, 청구 대상의 범주를 결정하는데 도움을 주고자 하는 것도 아니다.
첨부된 도면을 참조로 상세한 설명을 설명한다. 도면에서, 참조 번호 중 가장 큰 자리의 숫자는 그 참조 번호가 가장 먼저 도시된 도면을 나타낸다. 상세한 설명 및 도면에 있는 여러가지 예에서 같은 참조 번호는 동일한 항목을 가리키는데 사용된다.
도 1 내지 도 18은 본 개념의 일부 구현예에 따른, 인증 제스쳐 시나리오 및 시스템의 예를 나타내는 도면,
도 19 및 20은 일부 구현예에 따른 인증 제스쳐 방법의 흐름도이다.
(개요)
최근 모바일 사용자는 간단한 4자리 패스코드나 혹은 제스쳐를 통해서 자신의 장치(즉, 전화기/태블릿)에 인증하고 있다. 이러한 처리를 통해서 사용자는 자신의 장치를 쉽게 잠금 해제할 수 있게 되었지만, 이 장치의 보안을 보장하는 것은 아니다. 예컨대, 사용자가 자신의 전화기를 잠금 해제하는 것을 간단히 본 사람이라면(예컨대, 어깨 너머로 훔쳐 봄), 그 장치를 잠금 해제할 때 사용한 4자리 패스코드 혹은 제스쳐를 쉽게 알아낼 수 있다. 따라서, 어깨 너머로 훔쳐 보는 것으로부터 보호할 수 있는 인증 기법이 바람직하다. 이러한 기법은, 사용자는 자신의 장치에 대해서 쉽게 수행할 수 있지만, 실제 사용자가 이를 수행하는 것을 다른 사람이 보고 따라하는 것은 어려워야 한다. 다른 장치에서는 인증을 위해서 전용 지문 판독기를 사용하고 있다. 지문 판독기는 장치의 전체 비용을 상당히 증가시킬 수 있고, 또한 장치에 전용 배치 공간이 필요하다. 본 개념은, 사용자가 장치에 대해서 인증 제스쳐를 수행하는 경우 등의, 사용자가 장치와 인터렉트할 때 사용자에 대한 정보를 수집할 수 있다. 이 정보를 종합적으로 분석함으로써 사용자를 높은 신뢰도로 식별할 수 있다. 이러한 개념은 많은 타입의 센서 데이터를 사용할 수 있고, 기존 센서 및/또는 추가 센서를 이용해서 수행될 수 있다.
본 명세서에서는 판독기를 지원하는 몇가지 모바일 장치 구현예를 간략히 소개한다. 본 구현예의 일부 구성을 통해서 일반적인(generic) 센서 데이터에만 기초한 사용자 인증이 가능하게 된다. 이러한 방식의 기본 원리는, 사용자가 모바일 장치와 인터렉트하는 방식, 그리고 사용자의 손의 형상, 크기 및 유연성에 따라서, 같은 제스쳐라도 각각의 사용자가 다르게 수행한다는 점이다. 이러한 미묘한 차이는 장치에 내장된 센서(즉, 터치, 가속도계, 및 자이로)에 의해서 포착될 수 있으며, 이로써 센서 지문(sensor fingerprints)에 기초한 사용자 인증이 가능하게 된다. 장치에 내장된 센서를 통해서 추출될 수 있는 비교적 많은 양의 고유한 사용자 정보를 제공하는, 인증 제스쳐의 예를 몇가지 설명한다.
이들 구현예에서는, 사용자가 인증 제스쳐를 수행하는 동안, 터지 스크린 센서를 이용해서 사용자의 손의 형상 및 크기에 관한 많은 정보를 추출할 수 있다. 특히, 이 정보는 손가락 사이의 거리 및 각도에 관한 것일 수도 있고, 각 손가락이 터치 스크린을 터치하고 떼는 정확한 타이밍일 수도 있으며, 각 손가락이 닿는 크기 및 압력일 수도 있다. 동시에, 이들 구현예에서는 내장된 가속도계 센서 및 자이로 센서를 이용해서 제스쳐가 수행되는 동안 장치의 변위 및 회전을 기록할 수 있다. 손가락으로 스크린을 두드릴 때마다, 사용자가 제스쳐 시에 모바일 장치를 어떻게 두드리고 어떻게 쥐는지에 따라서, 모바일 장치는 약간씩 변위된다.
본 구현예에서는, 사용자가 장치와 인터렉트할 때 이용되는 복수의 생체 특성(예컨대, 파라미터)를 이용해서 사용자를 식별할 수 있다. 사용자와 장치의 인터렉트에는 사용자(및/또는 장치의)의 움직임이 수반되는 경향이 있다. 일부 본 구현예에서는, 이 움직임이 인증 제스쳐(예컨대, 로그인 제스쳐)와 연관될 수 있다. 트레이닝 세션 동안, 사용자는 인증 제스쳐를 반복해서 수행할 수 있다. 트레이닝 기간 동안 트레이닝 인증 제스쳐로부터 복수의 다양한 생체 특성의 값이 검출될 수 있다. 트레이닝 인증 제스쳐의 값으로부터 사용자에 대한 개인별 유사도 임계값이 결정될 수 있다. 간단히, 개인별 유사도 임계값은 사용자가 인증 제스쳐를 얼마나 일관되게(혹은 일관되지 않게) 수행하는지를 반영할 수 있다. 환언하면, 개인별 유사도 임계값은, 사용자가 인증 제스쳐를 수행할 때 얼마다 변이를 갖는지를 반영할 수 있다.
이어서, 인증 제스쳐를 수행해서 장치에 로그인할 수 있다(혹은 장치에 의해서 인증될 수 있다). 로그인하는 동안 인증 제스쳐로부터 생체 특성 값이 검출되고, 이는 트레이닝 세션 동안 획득한 것과 비교될 수 있다. 로그인 인증 제스쳐 시의 값과 트레이닝 세션 시의 값의 유사도가 결정될 수 있다. 이 유사도가 개인별 유사도 임계값을 만족하면, 로그인을 시도하는 사람이 사용자일 가능성이 매우 높다. 이 유사도가 개인별 유사도 임계값을 만족하지 않으면, 이 사람은 사기꾼일 것이다.
이러한 측면에서, 본 구현예에서 제공되는 사용자 인증 처리는 사용자가 쉽고 빠르게 수행할 수 있는 동시에, 사용자가 장치에 인증하는 것을 침입자가 직접 보았더라도 이를 정확하게 재현하는 것은 어렵다.
(시스템 시나리오)
도 1 내지 도 4는 모두 다중-특성 인증 제스쳐 구현예를 포함하는 제 1 시스템(100)을 나타낸다. 이 경우에서, 이 시스템은, 하나 이상의 타입의 센서(104) 및 디스플레이 즉 스크린(106)을 포함하는(혹은 여기에 연결된) 디스플레이 장치 형태의 장치(102)를 포함한다. 이 예에서, 센서는, 디스플레이 장치의 전면에서 일정 영역을 캡쳐하는 복수의 카메라를 포함한다. 경우에 따라서 이 센서는, 예컨대 Microsoft® Kinect® 브랜드의 3D 센서가 사용되는 3D 카메라가 될 수 있다. 센서는 사용자가 인증 제스쳐를 수행할 때 사용자(108)에 관한 복수의 생체 특성을 캡쳐할 수 있다. 이 복수의 생체 특성은 사용자의 인증 여부를 결정하는데 사용될 수 있다.
사용자(108)는 인증 제스쳐를 수행할 수 있으며, 이 경우에 인증 제스쳐는 비접촉 인증 제스쳐로, 사용자가 손가락을 벌린 상태에서 팔을 활짝 벌리는 것부터 시작된다(도 1). 이후 사용자는 팔을 위로 쓸어올리고(도 2), 자신의 팔을 나란히 수직으로 올리고 손가락을 모으는 것으로 인증 제스쳐를 마친다(도 3). 물론, 이는 인증 제스쳐의 비한정의 예로, 다른 예가 도 5~7, 9~12 및 13~17에 도시되어 있다.
센서(104)는 인증 제스쳐와 관련된 센서 데이터를 캡쳐할 수 있다. 이 센서 데이터는 다양한 특성과 관련될 수 있다. 이 특성은, 110으로 표시된 바와 같이, 한쪽 손끝부터 다른 손끝까지의 전체 폭와 같이 절대적인 것일 수도 있고, 및/또는 각 손가락 사이의 각도(이 각도 중 하나가 112로 표시되어 있다), 상대적인 손가락 길이, 팔 길이에 대한 손가락 길이의 비율, 한쪽 손끝부터 다른 손끝까지의 전체 폭에 대한 팔 길이 등과 같이 상대적인 것일 수도 있다(후자의 특성은 도면을 복잡하지 않게 하기 위해서 별도로 표시하지는 않았다). 다른 특성은 시간에 관련된 것으로, 예컨대 사용자가 팔을 벌리고(도 1) 팔을 위로 뻗어서(도 3) 인증 제스쳐를 완료하기까지 얼마나 걸리는가하는 것이다. 도 5~16을 참조로 다른 특성을 설명한다. 임의의 타입의 인증 제스쳐가 사용될 수 있다는 점에 주의한다. 상대적으로 많은 수의 특성을 제공하는 인증 제스쳐가 더 높은 정확도를 제공하는 경향이 있다(예컨대, 진짜 사용자를 사기꾼과 성공적으로 구별할 수 있다).
인증 제스쳐의 센서 데이터로부터 획득한 특성 값을, 트레이닝 세션에서 저장된 특성 값(예컨대, S T F(저장된 트레이닝 특성:stored training feature) 값(114))과 비교해서, 진짜 사용자를 사기꾼과 성공적으로 구별할 수 있다. 일부 경우에, 이 비교는 인증 컴포넌트(116)에 의해 수행될 수 있다. 인증 컴포넌트(116)는 송신받은 특성 값을 다양한 기법을 이용해서 저장된 특성 값과 비교함으로써 사용자를 인증할 수 있다. 구현되는 비교 기법 중 하나로 유사도를 들 수 있다. 송신받은 값과 저장된 특성 값의 유사도가 결정될 수 있다. 이 유사도는 유사도 임계값과 비교될 수 있다. 일부 구현예에서, 유사도 임계값은 트레이닝 세션 동안 저장된 특성 값에 기초해서 사용자에 대해 커스토마이즈될 수 있다. 이하 이러한 구현예를 도 8~17을 참조하면서 상세하게 설명한다.
도 4는, 이 유사도가 유사도 임계값을 만족해서, 402로 표시된 바와 같이 디스플레이 장치에서 사용자(예컨대, 아리아나(Auriana))가 인증되는 예를 나타내고 있다.
도 5~7은 모두 다중-특성 인증 제스쳐 구현예를 포함하는 시스템(500)을 나타내고 있다. 이 경우에, 이 시스템은 태블릿 타입 컴퓨터의 형태의 장치(502)를 포함한다. 이 장치는, 터치 스크린 즉, 터치 디스플레이(506)와 연관된 터치-센서 및 카메라와 같은 복수 타입의 센서(504)를 포함한다. 예컨대, 터치 스크린은, 접촉 위치 및 접촉 압력을 검지할 수 있는 용량성 터치 센서를 포함할 수 있다.
이 경우, 사용자가 자신의 손(508)을 손바닥을 아래로 하고, 손가락을 벌려서 터치 스크린(506) 상에서 펴는 것으로 인증이 시작된다(도 5). 이후, 사용자는 손가락을 모으고 손바닥을 터치 스크린으로부터 들어올려서(도 6), 손끝을 터치 스크린(506)과 접촉시켜서 유지한다. 이 인증 제스쳐는, 손바닥 아래에서 손가락을 서로 접촉시키는 것으로 끝난다(도 7). 이 인증 제스쳐는, 장치에 의해 검지될 수 있는 복수의 특성을 제공할 수 있다. 일례로, 이 특성은, 특히 손가락 길이 및 폭, 손바닥 폭 및 길이, 지문, 장문(palm print), 인증 제스쳐 시작시의 전체 접촉 면적, 및/또는 인증 제스쳐 종료시의 전체 접촉 면적과 같은, 실제 치수와 관련될 수 있다. 상술한 바와 같이, 인증 제스쳐 동안에 검지된 특성 값은 인증 컴포넌트(516)에 의해서 저장된 트레이닝 특성 값(514)과 비교되어서, 인증 제스쳐를 수행한 사용자인지 아니면 장치에 액세스하고자 하는 사기꾼이지 판정할 수 있다.
이와 달리 혹은 이에 더해서, 일부 구현예에서는 인증 제스쳐와 관련없는 다른 특성을 사용할 수 있다. 예컨대, 일부 구현예에서는 얼굴 인식과 관련된 특성을 이용해서 사용자를 식별하는 것을 도울 수 있다. 그러나, 인증 제스쳐와 관련된 특성은 다른 특성보다 환경적인 요인의 영향을 적게 받는 경향이 있다. 예컨대, 얼굴 인식 특성은 조명 상태, 얼굴에 머리카락이 있는지 여부, 그 사람의 얼굴이 장치의 카메라에 똑바로 맞춰져 있는지 혹은 측면을 향하는지 등의 영향을 받을 수 있다. 반대로, 손가락 길이, 손가락 사이의 각도, 접촉 압력 등과 같은, 인증 제스쳐와 관련된 특성은 훨씬 일정하고, 환경 요인의 영향을 적게 받는 경향이 있다.
도 8 내지 도 18은 모두 추가적인 다중-특성 인증 제스쳐 구현예를 나타낸다.
도 8은 다중-특성 인증 제스쳐 구현예를 포함하는 제 3 시스템(800)을 나타낸다. 이 경우에, 이 시스템은 스마트폰 형태의 장치(802)를 포함한다. 장치(802)는 운영 체제(OS)(806)에서 실행되는 애플리케이션(804)을 지원할 수 있다. 이 운영 체제는 하드웨어(808)와 인터렉트할 수 있다. 하드웨어의 예로는, 저장 매체 즉 저장부(810), 프로세서(812), 터치 스크린(506) 및/또는 센서(504)를 들 수 있다. 또한, 인증 컴포넌트(516)는 애플리케이션(804) 및/또는 운영 체제(OS)(806) 및 센서(504)와 연동해서 기능할 수 있다. 센서 타입의 예로는 특히 터치 센서(504(1)), 카메라(504(2)), 자이로스코프(504(3)), 가속도계(504(4)), 자력계(504(5)), 무선 주파수(RF) 센서(504(6))(예컨대, 안테나), GPS 센서(504(7)), 소리 센서(504(8))(예컨대, 마이크) 등을 들 수 있지만, 이것으로 한정되는 것은 아니다. 일부 경우에, 참조 번호 뒤에 괄호를 사용해서 같은 구성 요소를 구별했다. 관련 괄호 없이 참조 번호를 사용하는 것은 그 구성 요소의 대표적인 것이다. 센서(504)는 사용자 인증 제스쳐 기간 등에 특성을 캡쳐할 수 있다. 이 특성은 이하 설명되는 바와 같이 인증 컴포넌트(516)에 의해서 사용될 수 있다.
이 경우에, 장치(802)는 터치 스크린(506)을 포함하고, 이는 터치 센서(504(1))를 포함한다(혹은 연동해서 동작한다). 예컨대, 터치 스크린은 접촉 위치 및 접촉 압력과 같은 특성을 검지할 수 있는 용량성 터치 센서를 포함할 수 있다. 이 장치는 또한 예컨대, 장치 케이스에 및/또는 터치 스크린의 모서리를 따라서 다른 터치 센서를 구비할 수 있다.
일 측면에서, 장치(802)는 컴퓨터라고 생각할 수 있다. 프로세서(812)는 컴퓨터-판독 가능 명령어의 형태의 데이터를 실행해서 일정 기능을 제공할 수 있다. 저장부(810)에는 컴퓨터-판독 가능 명령어 및/또는 사용자-관련 데이터와 같은 데이터가 저장될 수 있으며, 저장부는 컴퓨터 내에 내장된 것일 수도 있고 혹은 외장의 것이 될 수도 있다. 이 저장부로는 특히 비휘발성 혹은 휘발성 메모리, 하드 드라이브, 플래시 저장 장치 및/또는 광학식 저장 장치(예컨대, CD, DVD 등) 등을 들 수 있다. 여기서 사용되는 용어 '컴퓨터-판독 가능 매체'는 신호를 포함할 수 있다. 반대로, 용어 '컴퓨터-판독 가능 저장 매체'는 신호는 제외한다. 컴퓨터-판독 가능 저장 매체는 '컴퓨터-판독 가능 저장 장치'를 포함한다. 컴퓨터-판독 가능 저장 장치의 예로는 RAM과 같은 휘발성 저장 매체, 및 하드 드라이브, 광학식 디스크 및 플래시 메모리와 같은 비휘발성 저장 매체를 들 수 있다.
일부 구성예에서, 장치(802)는 SOC(system on a chip) 타입의 설계를 포함할 수 있다. 이 경우, 장치가 제공하는 기능은 하나의 SOC나 복수의 연결된 SOC에 집적될 수 있다. 하나 이상의 프로세서가 예컨대, 메모리, 저장부 등과 같은 공유 리소스와 연동하도록 구성될 수 있고, 및/또는 특정한 기능을 수행하도록 구성된 하드웨어 블록과 같은 하나 이상의 전용 리소스와 연동하도록 구성될 수 있다. 따라서, 여기서 사용되는 용어 '프로세서'는 CPU, GPU, 컨트롤러, 마이크로컨트롤러, 프로세서 코어 혹은 다른 타입의 프로세싱 장치가 될 수도 있다.
전반적으로, 여기서 설명되는 기능 중 어느 것은 소프트웨어, 펌웨어, 하드웨어(예컨대, 고정-로직(fixed-logic) 회로), 매뉴얼 프로세싱(manual processing)로 구현될 수도 있고 혹은 이들 구현예의 조합으로 구현될 수도 있다. 여기서 사용되는 용어 '컴포넌트'는 전반적으로 소프트웨어, 펌웨어, 하드웨어, 장치 혹은 네트워크 전체, 혹은 이들의 조합을 나타낸다. 예컨대, 소프트웨어 구성예의 경우에는, 이들은 프로세서(예컨대, CPU)에서 실행될 때 특정한 태스크를 수행하는 프로그램 코드를 나타낼 수 있다. 프로그램 코드는, 컴퓨터-판독 가능 저장 매체와 같은, 하나 이상의 컴퓨터-판독 가능 메모리 장치에 저장될 수 있다. 컴포넌트의 특성 및 기법은 플랫폼에 따라 달라지는 것으로, 이는, 이들이 다양한 프로세싱 구성을 갖고 있는 여러가지 시판 중인 컴퓨팅 플랫폼에서 실행될 수 있다는 것을 의미한다.
인증 컴포넌트(516)는 사용자가 인증 제스쳐를 어떻게 수행하는지를 보여주는 GUI를 하나 이상 생성할 수 있다. 예컨대, 초기 장치의 개시시에, 인증 컴포넌트는 인증 제스쳐를 어떻게 수행할지를 나타내는 GUI를 생성할 수 있다. 인증 컴포넌트(516)는, 사용자가 인증 제스쳐를 여러번 수행하도록 지시하는 GUI를 생성할 수 있다. 사용자는 명령받은 대로 인증 제스쳐를 수행할 수 있다. 인증 컴포넌트는 이 정보를 트레이닝 데이터로서 저장할 수 있다. 이러한 측면을 이하 도 18과 관련해서 상세하게 설명한다. 다른 구현예에서는 복수의 인증 제스쳐를 보여주고 사용자가 하나의 인증 제스쳐를 선택해서 사용하게 할 수도 있다. 또 다른 구현예에서는 사용자가 자신의 인증 제스쳐를 규정하게 할 수도 있다. 사용자는 예컨대, 설정 메뉴에서 인증 컴포넌트(516)에 액세스해서 다른 기능 중에서 자신의 인증 제스쳐를 변경하고 및/또는 추가 트레이닝을 수행할 수 있다.
제시되는 구현예 중 일부에서는, 인증 컴포넌트(516)는 스마트폰과 같은 시판중인 장치에 일반적으로 마련되어 있는 기존 센서를 이용해서 정확한 다중-특성 제스처 인증을 수행할 수 있다. 따라서, 제시되는 구현예는 기존 제품을 통해서 거의 추가 비용 없이 구현될 수 있으면서도, 더 큰 사용자 편리성 및 보안성을 제공할 수 있다. 또한, 향후의 제품에서 추가 센서 및/또는 다른 타입의 센서를 이용하더라도, 제시되는 구현예는 새로운 타입의 센서에 의해 캡쳐되는 특성을 이용할 수 있다.
도 9 내지 12는 사용자가 장치(802)를 한 손으로 잡고 다른 손으로 인증 제스쳐를 수행함으로써, 멀티-터치 인증 제스쳐가 수행되는 것을 나타내고 있다. 도 9에서, 사용자가 인증 제스쳐를 개시할 때, 사용자의 새끼손가락이 터치 스크린에 접촉한다. 도 10에서, 사용자의 약지가 터치 스크린에 접촉하고, 도 11에서는 사용자의 중지가 터치 스크린에 접촉한다. 도 12에서 사용자는 집게 손가락을 터치 스크린에 접촉하는 것으로 인증 제스쳐를 끝낸다. 도 13은, 터치 센서(504(1))가 인증 제스쳐로부터 캡쳐할 수 있는 특성의 예를 나타내고 있다.
도 14 내지 17은 사용자가 장치(802)를 한 손으로 잡고, 같은 손으로 인증 제스쳐를 수행하는 구현예를 나타내고 있다. 이 경우, 사용자는 자신의 엄지를, 아래에서 지지하고 있는 손가락의 끝의 바로 위의 위치에서 터치 스크린에 접촉한다. 이 예에서, 접촉 순서는 집게 손가락(도 14), 중지(도 15), 약지(16)로 이어지고, 새끼 손가락으로 끝난다(도 17). (도면의 지면의 제약으로 인해서, 새끼 손가락 위치 바로 위의 인증 제스쳐 접촉만 보여지고 있다).
이들 구현예 모두(예컨대, 도 9 내지 12 및 도 14 내지 17)에서, 사용자의 손의 형상과 관련된 인증 제스쳐와 관련해서 다중-특성이 캡쳐될 수 있다. 사용자가 4 손가락으로 제스쳐를 수행함으로써, 시스템(800)은 각 손가락이 처음으로 장치의 터치 스크린에 터치하고 떼는 터치 스크린 상의 위치와 시간을 동시에 기록할 수 있다. 제스쳐를 수행하는 동안, 시스템은, 장치를 어떻게 쥐는지를 나타내는, 장치의 가속도계 시그너쳐(signature) 및 자이로 시그너쳐를 기록할 수 있다. 인증 컴포넌트(516)는 이 정보를 결합해서, 각 손가락이 터치 스크린에 터치하는 시간, 손가락 사이의 거리, 터치 사이의 각도(도 13 참조) 등과 같은, 특성의 세트를 추출할 수 있으며, 이는 사용자의 인증 모델을 트레이닝하는데 사용될 수 있다(예컨대, 트레이닝 세션). 공격자가 제스쳐를 위조하기 위해서는, 사용자의 제스쳐의 타이밍, 거리, 각도 및 센서 특징량을 동시에 재현해야 하며, 이는 매우 수행하기 어려운 것이다.
본 구현예에서는 각 사용자가 장치를 쥐는 방식, 그리고 손의 형상, 크기 및 유연성에 따라서 같은 제스쳐도 다르게 수행한다는 점을 이용할 수 있다. 이들 미묘한 차이를 장치에 내장된 센서(즉, 터치, 가속도계 및 자이로)가 특징량으로서 포착함으로써, 센서 지문에 기초한 사용자 인증이 가능해진다.
환언하면, 사용자가 인증 제스쳐를 수행하는 동안, 인증 컴포넌트(516)는 터치 스크린 센서를 이용해서 사용자의 손의 형상 및 크기에 관한 많은 정보를 추출할 수 있다. 특히, 손가락 사이의 거리 및 각도, 각 손가락이 터치 스크린에 터치하고 떼는 정확한 타이밍 및 각 손가락이 닿는 크기 및 압력이 추출될 수 있다. 동시에, 인증 컴포넌트(516)는 내장된 가속도계 및 자이로 센서를 이용해서 제스쳐 동안의 장치의 변위 및 회전을 기록할 수 있다. 손가락이 터치 스크린을 두드릴 때마다(tap) 장치는 약간 변위하는데 이는 사용자가 제스쳐 시에 장치를 어떻게 두드리고 어떻게 쥐는지에 따라서 다르다는 점에 주의한다.
터치, 가속도계 센서 및 자이로 센서 등로부터의 정보를 결합하면, 개개의 사용자가 인증 제스쳐를 어떻게 수행하는지에 관한 상세한 뷰를 제공할 수 있다. 인증 컴포넌트(516)는 이 정보를 '센서 지문'으로서 이용해서 사용자를 인증한다. (센서 지문을 센서가 사용자의 실제 지문을 캡쳐하는 것과 혼돈하지 않도록 한다. 그러나, 일부 구현예에서, 사용자의 실제 지문이 자신의 센서 지문에 영향을 미칠 수는 있다).
상술한 인증 제스쳐가 매우 직관적이고 자연스러우며, 터치 스크린의 어디에서나 수행될 수 있기 때문에 사용자는 심리적인 부담을 크게 갖지 않을 것이다. 동시에, 이러한 인증 메커니즘을 공격하고자 하는 공격자가 각 손가락이 두드리는 타이밍, 위치, 크기 및 압력, 그리고 가속도계 및 자이로 시그니쳐를 동시에 재현해야 하기 때문에, 큰 어려움에 직면할 것이다. 이 정보 각각을 위조하는 것은 쉬울지 몰라도, 실제 사용자가 인증 제스쳐를 수행하는 것을 공격자가 가까이서 볼 기회를 갖더라도, 이 정보를 모두 동시에 재현하는 것은 매우 어렵다.
요약하면, 도 9 내지 12 및 14 내지 17에 도시된 인증 제스쳐는, 장치에 기존에 내장된 센서를 이용해서 사용자의 손의 생체 특성 및 사용자가 장치를 쥐는 방식에 관한 많은 양의 정보를 추출하는 것을 가능하게 하는, 인증 제스쳐의 예를 제공한다.
두 경우 모두, 4 손가락이 두드리는 것은 터치 스크린 층을 통해서 픽셀 좌표의 형태로 기록된다. 기록된 터치 지점 각각이, 손가락 끝에 직접적으로(양손 제스쳐) 혹은 간접적으로(한손 제스쳐) 대응하기 때문에, 터치 스크린 센서(504(1))는 사용자의 손의 형상을 캡쳐할 수 있다. 특히, 모든 손가락 끝의 쌍 사이의 거리 및 임의의 3개의 손가락 끝이 이루는 각도를 사용해서(도 13) 사용자의 손의 크기 및 형상의 특징량을 취할 수 있다. 동시에, 손가락이 두드리는 타임 스탬프는, 사용자가 필요한 제스쳐를 수행하기 위해서 자신의 손가락을 구부릴 수 있는 속도를 하이라이트(highlight)한다. 각 손가락이 두드리는 기간, 그리고 한 쌍의 손가락이 두드리는 사이의 타이밍은, 사용자의 손의 크기 및 유연성에 따라서 사용자마다 다르다.
스마트폰과 같은 많은 장치에 있는 터치 스크린 층은, 각 손가락이 두드리는 압력 및 크기를 기록할 수 있다. 이들 값은 모두 사용자의 손의 크기 및 무게, 사용자가 디스플레이에 인가하는 압력의 크기, 그리고 사용자가 제스쳐를 수행할 때 장치를 쥐는 각도에 따라 다르다.
가속도계 센서(504(4)) 및 자이로 센서(504(3))가 사용자 손의 생체 특성에 관한 추가 정보를 간접적으로 캡쳐함으로써 터치 센서(504(1))를 보완할 수 있다. 사용자가 인증 제스쳐 중 하나를 수행할 때마다, 장치(802)는 약간 변위되고 회전된다. 이 장치의 변위 및 회전은 가속도계 센서 데이터 및 자이로 센서 데이터에 명확하게 반영된다. 손가락이 두드릴 때마다 그리고 제스쳐의 직전 및 직후에, 가속도계 센서 시그니쳐 및 자이로 센서 시그니쳐의 상당한 변화가 있다. 양 손 인증 제스쳐의 경우에, 이들 변화는 2가지 소스, 즉 사용자가 장치의 디스플레이를 두드리는 것 및 사용자의 다른 손이 손가락으로 두드리는 것에 대해 장치를 지지하고 보완하려는 것에 기인한 것이다. 한 손 제스쳐의 경우에, 장치 변위 및 회전은 주로 사용자 손의 크기 그리고, 장치 자체의 크기 및 사용자의 다른 손가락의 길이에 대한 엄지 손가락의 도달 거리/길이에 기인한 것이다.
요컨대, 인증 컴포넌트(516)는 터치 센서, 가속도계 센서 및 자이로 센서로부터의 정보를 조합해서, 사용자 손의 형상 및 생체 특성을 캡쳐하는 센서 지문을 형성한다.
이러한 타입의 센서 데이터를 사용자-인증에 이용하는 것이 직관적이기는 하지만, 몇가지 문제가 있다. 우선, 기록된 센서 데이터는 실제 사용자가 제스쳐를 수행하는 방식 혹은 장치(802)를 쥐는 방식에 따라서, 각 제스쳐 인스턴스마다 달라질 수 있다. 그 변화율(variability)은 심지어 사용자마다 다를 수 있다. 예컨대, 어떤 사용자는 손가락이 두드리는 정확한 타이밍 혹은 그 사이의 거리는 매우 정확할 수 있지만, 압력 혹은 각도 시그니쳐와 같은 센서 데이터의 다른 부분은 정확하게 재현하지는 못할 수도 있고, 혹은 그 반대가 될 수도 있다. 이에 대해서, 제시되는 구현예 중 일부에서는, 인증 컴포넌트(516)는, 각 사용자의 능력(capability)에 자동으로 추종하는 인증 기법을 이용할 수 있다.
사용자 및 제스쳐 인스턴스마다의 센서 지문의 직접 비교가 가능하도록, 인증 컴포넌트(516)는, 개개의 터치 센서 판독값은 물론 연속되는 가속도계 데이터와 자이로 데이터 모두에 대해서 개인별 유사도 메트릭을 이용할 수 있다. 개인별 유사도 메트릭은 센서 데이터의 이들 특성 중 제스쳐 인스턴스 사이에서 변화율(variability)이 최소인 것을 더 강조하도록 설계되고, 따라서 사용자의 제스쳐 입력 행동을 유의미하게(valuably) 나타낸다.
또한, 일부 구현예에서, 인증 컴포넌트(516)는 센싱 구성을 고려할 때, 장치 리소스를 고려할 수 있다. 예컨대, 현재 모바일 장치는 높은 센서 샘플링 레이트를 지원하며, 이는 200KHz 이상이 될 수 있다. 이 레이트로 1/2초 이상(사용자가 인증 제스쳐를 수행하는데 걸릴 수 있는 시간) 동안, 가속도계와 같은 센서를 계속해서 샘플링하면, 많은 양의 데이터가 생성될 수 있으며, 이를 국부적으로 처리하는데 상당한 시간(및/또는 다른 리소스)이 소요된다. 이와 같은 지연은 장치의 인증 처리 속도를 감소시킬 수 있고, 잠재적으로는 사용자의 예상에 어긋날 정도로 그 기법을 상당히 저속으로 만든다. 이 문제를 해결하기 위해서, 일부 구현예에서는 센서 다운 샘플링과 전체 정확도 사이의 트레이드오프를 이용할 수 있다. 센서 데이터를 적절하게 다운 샘플링함으로써, 인식 정확도를 저하시키는 일 없이도 사용자가 만족할만한 장치 인증 시간을 달성할 수 있다.
세번째로, 종래의 머신 학습 방법은, 사용자가 제스쳐를 수행하는 방식의 확률 모델을 성립시키는데 직접 적용될 수 없다. 모델을 구별(discriminating)하기 위해서는, 트레이닝 기간 동안 포지티브 데이터와 네거티브 데이터가 필요하다. 그러나, 사용자의 장치는 진짜 사용자의 제스쳐 인스턴스(예컨대, 트레이닝 세션 동안의 포지티브 데이터)에만 액세스한다. 생성 모델(Generative model)은 네거티브 데이터는 필요없지만, 필요로 하는 트레이닝 샘플의 수가 많아서 제한된다. 사용자가 새로운 장치를 구입한 직후에, 사용자에게 트레이닝 센션 동안 잠금 해제 제스쳐를 수천 회 수행하라고 하면, 사용자는 이를 받아들이지 못한다.
제시되는 구현예 중 일부에서는, 네거티브 트레이닝 데이터가 없고, 이용 가능한 트레이닝 제스쳐의 수가 제한되는 상황에서, 인증 컴포넌트(516)는 개인별 임계값 기법(thresholding technique)을 이용해서 센서 지문의 진위를 확인할 수 있다. 구체적으로, 일부 구현예에서는, 주어진 사용자에 대해, 제스쳐 인스턴스마다의 센서 지문의 변화율의 특징량을 취할 수 있고, 이를 이용해서 개인별 유사도 임계값을 생성할 수 있다. 여기서 사용자의 제스쳐 인스턴스 사이에서 센서 지문이 일관될수록, 그 사용자의 개인별 유사도 임계값은 높고, 일관되지 않을수록 낮을 것이다.
(아키텍쳐)
도 18은 상기 설명한 센서-기반 인증 시스템(800)의 예시적인 시스템 아키텍쳐의 개요를 제공한다. 사용자 등록 기간(예컨대, 트레이닝 세션)(1802) 동안의 정보는, 이후에 실시간 인증(1804)에 사용될 수 있다. 트레이닝 세션(1802) 동안, 진짜 사용자는 터치-가능형 장치(802)에 대해 인증 제스쳐를 반복해서 수행할 수 있다. 설명을 간단하게 하기 위해서, 트레이닝 세션 동안 수행되는 인증 제스쳐를 트레이닝 제스쳐라고 할 수 있다. 각 트레이닝 제스쳐 동안, 터치 센서와 같은 여러 타입의 센서가 손가락 두드림을 추출해서 기록하고, 한 쌍의 두드림 사이의 타이밍과 거리, 및 각 손가락이 두드리는 압력, 크기 및 각도(예컨대, 도 13 참조)에 관한 정보를 추출할 수 있다. 동시에, 가속도계 센서 및 자이로 센서는 트레이닝 제스쳐 동안 장치의 변위와 회전을 캡쳐하도록 연속해서 샘플링될 수 있다. 이들 특성은 블록 1806에 개시되어 있다. 1808에 개시된 바와 같이, 손가락 두드림으로부터 추출된 특성 데이터는 로우(raw) 가속도계 데이터 및 자이로 데이터와 함께, 그 사용자에 대한 실제 센서 지문에 영향을 미친다. 여기서, 각각의 트레이닝 제스쳐 인스턴스마다의 복수의 센서 지문(블록 1810에 센서 지문 1 내지 센서 지문 n으로 표시됨)이 수집된다. 이와 같이 모여진 센서 지문은 센서 영역(domain)에서 사용자의 신원을 나타내고, 이는 상기 도 5를 참조로 설명한, 저장된 트레이닝 특성값(514)과 유사하다.
유사한 혹은 동일한 처리 과정이 도 9 내지 12 및 도 14 내지 17에 나타난 인증 제스쳐에 대해서 사용될 수 있다는 점에 주의한다. 두 경우 모두, 가속도계 센서 및 자이로 센서가 연속해서 샘플링될 수 있고, 4 손가락의 두드림이 터치 스크린 층에 있는 터치 센서를 통해서 정확하게 기록된다(물론, 도시하지 않은 다른 인증 제스쳐에서는 4개 이하 혹은 4개 이상의 손가락의 두드림이 사용될 수도 있다).
요약하면, 사용자는 복수의 트레이닝 세션(혹은 서브-세션)을 통해서 하나 이상의 타입의 인증 제스쳐를 트레이닝해서 1810에 포함시킬 수 있다. 예컨대, 사용자는, 도 9 내지 도 12에 도시된 인증 제스쳐 및 도 14 내지 도 17에 도시된 인증 제스쳐를 트레이닝하고자 할 수 있고, 및/또는 인증 제스쳐가 수행되는 동안 태플릿과 같은 단단한 표면에 장치가 배치되는 다른 인증 제스쳐를 트레이닝하고자 할 수 있다. 이 경우, 사용자는 트레이닝 인증 제스쳐의 세트를 수행해서 각각 구성할 수 있다. 이 세트는 런타임 시에(예컨대, 실시간 인증(1804)) 비교하는데 사용될 수 있다.
실시간 인증(1804) 동안 획득된, 랜덤한 센서 지문이 진짜 사용자의 것인지 여부를 판정하기 위해서, 시스템은 2개의 센서 지문의 유사도를 계량화하는 방식을 이용할 수 있다. 이를 위해서, 제시되는 구현예 중 일부에서는 유사도 메트릭(1812)을 이용할 수 있는데, 이는 2개의 센서 지문이 얼마나 가까운지를 계량화하는데 사용자의 고유 제스쳐 행동을 고려하는 것이다. 제시되는 구현예에서는, 이 유사도 메트릭을 통해서, 트레이닝 제스쳐로부터와 같이, 주어진 사용자에 대해 기록된 센서 지문의 변화율(1814)을 분석할 수 있다(사용자가 복수의 제스쳐를 트레이닝할 때, 이 변화율은 개개의 제스쳐 타입 내의 연관된 세트 내에 들어갈 수 있다). 이 시스템은 개인별 유사도 임계값 혹은 인증 임계값(1816)을 유도 즉 계산해서, 미지의 센서 지문(예컨대, 인증 제스쳐로부터의)을 인정하거나 혹은 거절할 수 있다. 이 방식에 대해 기본적으로 이해하고 있어야 하는 것은, 센서 지문의 변화율이 사용자마다 다를 수 있다는 점이다. 변화율이 적은 사용자의 경우에는 개인별 유사도 인증값이 더 엄격하게 시행되어야 하는 반면, 변화율이 큰 사용자의 경우에는, 긍정 오류(false positive)와 부정 오류(false negative) 사이에서 적절하게 밸런스를 취하도록 개인별 유사도 임계값은 덜 엄격하게 취해져야 한다.
런타임 시에(예컨대, 실시간 인증(1804)), 사용자가 인증 제스쳐를 수행할 때마다, 시스템은 새로운 센서 지문(1818)을 기록할 수 있다. 시스템은 진짜 사용자(예컨대, 트레이닝 사용자)에 대한 인증 제스쳐 센서 지문의 유사도(1820)를, 이 인증 제스쳐 센서 지문과, 블록 1822 및 1824 각각에 나타난 바와 같은 트레이닝 세션 동안 기록된 모든 센서 지문 각각(예컨대, 센서 지문 1~n)과의 사이의 평균 유사도로서, 계산할 수 있다. 그 결과 평균 유사도 스코어(1826)가 구해진다. 블록 1828에서, 기록된 지문에 대한 평균 유사도 스코어(1826)가 개인별 유사도 임계값을 만족하는 경우에만(1830), 시스템은 인증 제스쳐를 수행하는 사용자를 인증하고, 만족하지 않는 경우에는(1832) 장치는 잠금 상태를 유지한다.
상술한 시스템 아키텍쳐는 모두 장치 802에서 볼 수 있다는 점에 주의한다. 다른 방안으로, 장치(802)는, 대신해서 센서 지문을 저장하고 및/또는 처리를 수행할 수 있는 다른 장치와 연동할 수도 있다.
이하 설명은 센서 지문이 어떻게 형성될 수 있는지, 개인별 유사도 메트릭 및 개인별 임계값 식별 기법을 나타내는 예를 나타낸다.
(센서 지문)
터치 센서 데이터, 가속도계 센서 데이터 및 자이로 센서 데이터 등을 조합해서 센서 지문을 형성할 수 있다. 가속도계 센서 및 자이로 센서의 경우에, 로우 센서 데이터가 센서 지문의 일부로서 바로 사용될 수 있기 때문에, 처리가 용이하다. 터치 센서의 경우에, 사용자의 손의 형상 및 생체 특성에 관한 더 상세한 정보를 추출하도록 2스텝 처리가 적용될 수 있다. 우선, 터치 스크린 상에서 손가락이 두드리는 위치를 사용해서 초기 절대 특성의 세트를 추출할 수 있다. 이후에, 절대 특성 이외에 상대적인 특성의 세트가 바로 계산될 수 있다.
(절대 특성)
터치 센서는 각 손가락 두드림에 대해서 3가지 다른 타입의 정보, 즉 픽셀 위치, 압력 및 크기를 보고할 수 있다. 손가락이 터치 스크린을 터치하는 한, 압력과 크기 모두 계속해서 보고될 수 있다. 각 손가락 두드림마다 압력과 크기의 변화율이 매우 작다는 점을 생각하면, 시스템은 보고받은 모든 압력 및 크기 값의 평균을 구하고, 이들을 2개의 상이한 특성으로서 사용할 수 있다. 4 손가락이 두드리는 경우를 생각하면, 4개의 압력 값 및 4개의 크기 값이 생성될 수 있다(표 1).
시스템은 터치-기반 특성 대부분을 4 손가락이 두드리는 픽셀 위치로부터 직접 추출할 수 있다. 추출되는 모든 특성은, 손가락이 두드리는 픽셀의 상대적인 위치(절대적인 위치가 아님)에 따라 달라진다는 점에 주의한다. 여기서, 사용자는 손가락으로 스크린 상의 특정 위치를 두드려야 하는 것은 아니다. 이는, 사용자의 심리적인 부담을 증가시키고, 인증 제스쳐의 수행을 더 어렵게 하며, 기록되는 데이터의 변화율을 크게 증가시켜서, 사용자 인증에 사용될 가능성을 감소시켰을 것이다.
일부 구현예는 모든 손가락 쌍이 두드리는 픽셀 위치 공간의 거리를 계산하는 것으로 시작될 수 있다. 여기서, 6개의 특성값이 계산될 수 있다(표 1). 동시에, 3 손가락 두드림의 조합 각각을 통해서 각도를 일의적으로(uniquely) 정의한다(도 13). 일부 구현예에서는 3 손가락 두드림의 세트에 의해 정의될 수 있는 모든 각도를 고려해서 추가 4개의 특성을 생성할 수 있다(표 1).
Figure 112016073426115-pct00001
표 1 : 4 손가락이 두드리는 디스플레이 위치로부터 추출되는 특성. 모든 특성은, 손가락이 두드리는 상대적인 위치(절대적인 위치가 아님)에 따라 달라진다는 점에 주의한다. 사용자는 스크린의 어느 위치에서도 인증 제스쳐를 수행할 수 있다.
인증 제스쳐의 시간적인 시그니쳐는 거리 및 각도 특성에 의해 정의되는 공간적인 시그니쳐만큼 중요할 수 있다. 터치 센서는 각각에 손가락이 두드리는 개시 타임스탬프 및 그 종료 타임스탬프를 보고할 수 있으며, 이는 손가락이 처음 스크린을 터치한 시간과 접촉을 떼는 시간을 나타내는 것이다. 이들 타임스탬프를 사용해서, 각 손가락이 두드리는 총 시간 및 모든 지문 쌍의 개시 시간부터 종료 시간까지 경과된 시간을 계산할 수 있다. 여기서, 각 손가락이 두드리는 타이밍 및 손가락이 두드리는 동안의 타이밍이 정확하게 캡쳐된다. 표 1에 도시된 바와 같이, 한 구현예에서 18개의 시간적인 특성이 계산된다.
(상대적인 특성)
상대적인 특성은 특히 거리, 압력, 크기, 기간 등에 관한 비(ratio)에 기초한 특성이라고 할 수 있다. 예컨대, 상대적인 특성은, 약지와 중지의 터치 위치 사이의 거리에 대한 새끼 손가락과 약지의 터치 위치 사이의 거리의 비를 들 수 있다.
(센서 지문의 비교)
이 구현예에서, 각 센서 지문은 표 1에 요약된 바와 같은 55개의 터치 특성 및, 가속도계 센서와 자이로 센서의 로우 센서 패턴을 포함하고 있다. 제스쳐 사이의 센서 시그니쳐를 비교할 때, 터치 특성의 차이와 센서 패턴의 차이를 계량화하는데, 서로 다른 기법이 사용될 수 있다.
(접촉 특성)
설명을 위해서 2개의 제스쳐 인스턴스 동안 기록되는 55개의 터치 특성의 세트를 F1와 F2라고 한다. 시스템은 이들 특성 세트 사이의 차이 Dtouch를 모든 특성에 대한 가중 평균 차이로서 계량화할 수 있다.
Figure 112016073426115-pct00002
여기서 Wi는 특성 i의 가중치이고,
Figure 112016073426115-pct00003
는 2개의 제스쳐 인스턴스에서 특성 i에 대해서 기록되는 값들 사이의 차이이다.
특성 값 F1(i) 및 F2(i) 사이의 거리는 이들의 정규화된 수치 차이에 의해 정의된다.
Figure 112016073426115-pct00004
2개의 특성 값이 동일하면, 차이 스코어는 0이 된다. 일반적으로 제스쳐 인스턴스 사이의 특성값의 차이가 클수록, 이 특성의 거리는 커질 것이다. 그러나, 하나의 특성으로 식 (1)의 결과가 편향되어(bias) 버리는 것을 방지하기 위해서, 일부 구현예에서는 거리의 최대값을 2로 제한할 수 있다. 이는 특히, 2개의 제스쳐 인스턴스 사이에서 대부분의 특성 값이 거의 일치하지만, 그 중 하나만 크게(예컨대, 50배) 어긋나는(즉, 잘못된 측정값이나 오류 측정값) 경우에 유용할 수 있다. 상한이 없다면, 2개의 제스쳐 인스턴스가 거의 동일해도 이 특성은 식 (1)에서 계산된 거리 스코어를 크게 편향시킬 수 있다.
특성 i의 가중치 Wi는 주어진 사용자에 대한 특성의 중요도를 나타낸다. 일반적으로, 사용자가 인증 제스쳐를 반복할 때, 특성 값은 정확하게 반복하지만, 그 성공도(degrees of success)는 서로 다르다. 가중치의 역할은, 특성 중에서 인증 제스쳐 인스턴스 동안 특정 사용자가 정확하게 재현할 수 특성을 강조시키는 것이다. 사용자가 등록한 인증 제스쳐의 세트에 대해서, 특성 i에 대한 가중치는 다음과 같이 정의된다.
Figure 112016073426115-pct00005
여기서 σF (i) 및 μF(i)는 진짜 사용자가 등록한 모든 제스쳐에 대한 특성 i의 값의 편차 및 평균이다.
이 구현예에서, 각각의 센서 지문은 6개의 시계열(time series) 신호로 이루어지고, 이들 각각은 장치의 가속 및 회전을 x, y 및 z 치수로 나타내는 것이다
Figure 112016073426115-pct00006
. 제스쳐 마다의 이들 신호를 비교하는 가장 용이한 방법은 이들 사이의 거리를 단순히 계산하는 것이겠지만, 이 방법은 센서 데이터의 노이즈로 인해서 실패할 가능성이 높다. 예컨대, 제스쳐를 수행하는 전체 시간 및 손가락이 두드리는 사이의 정확한 타이밍은 기본적으로, 같은 사용자라 하더라도 제스쳐 인스턴스마다 달라진다. 이러한 편차는 기록되는 트레이스(trace) 사이의 거리를 인위적으로 증가시킬 수 있다.
대신, 시스템은, 시계열 데이터를 비교하는 2개의 기법, 즉 동적 시간 워핑(dynamic time warping) 및 교차 상관(cross-correlation)을 조합해서 이들 신호의 제스쳐 사이의 차이를 계량화할 수 있다. 이들 기법이 모두 시계열 데이터의 직접 비교는 가능하게 하지만, 센서 데이터에 노이즈가 있을 수 있다. 기록되는 신호 사이에서 각각의 대응하는 샘플을 비교하는 대신, 신호의 윈도우를 사용해서 신호 사이의 최상의 가능한 매치를 찾아낸다. 경험적으로, 2개의 신호가 약간 시프트됨으로써 최상의 가능한 매치가 달성된다. 이로써 시스템은 제스쳐 인스턴스 사이의 시간차를 고려할 수 있다.
2개의 신호를 비교하기 전에, 각각의 신호를 제로 평균 및 1 에너지(energy)로 정규화해서 높은 에너지 신호 쌍보다 낮은 에너지를 선호하는 것을 방지할 수 있다. 이로써, 각각의 신호는 자신의 길이에 의해 더 정규화되어서 긴 신호보다 짧은 신호를 선호하는 것을 방지할 수 있다. 특히, 센서 지문의 6개의 시계열 데이터S(i)는 다음과 같이 정규화될 수 있다.
Figure 112016073426115-pct00007
여기서, L은 신호의 길이이고 μS는 모든 신호 샘플의 평균값이다.
2개의 상이한 제스쳐 인스턴스 동안 기록된, x축 상에서 정규화된 가속도계 신호를
Figure 112016073426115-pct00008
라고 한다. 이들은 서로 다른 시간에 기록되기 때문에, 서로 다른 길이
Figure 112016073426115-pct00009
를 가질 것이다. 이들 2개의 신호를 비교하기 위해서, 시스템은 우선 모든 샘플의 쌍
Figure 112016073426115-pct00010
사이의 직선 거리를 계산할 수 있다. 이로써,
Figure 112016073426115-pct00011
행 및
Figure 112016073426115-pct00012
열로 이루어진 거리 행렬
Figure 112016073426115-pct00013
이 계산될 수 있고, 여기서 각 성분은 다음과 같은 값을 취한다.
Figure 112016073426115-pct00014
유사하게, 거리 행렬
Figure 112016073426115-pct00015
이 계산된다. 가속도계 데이터의, x, y 및 z치수에서의 차이를 나타내는 3개의 거리 행렬을 모두 합산해서 하나의 거리 행렬을 형성할 수 있다.
Figure 112016073426115-pct00016
같은 처리를 자이로 데이터에 대해서도 적용해서 하나의 거리 행렬 Dgyro을 구하며, 이는 자이로 센서 데이터의, x, y 및 z치수에서의 차이를 인코딩하는 것이다. 마지막으로, 가속도계 거리 행렬 및 자이로 거리 행렬을 합해서 하나의 거리 행렬을 구할 수 있다.
Figure 112016073426115-pct00017
가속도계 스트림 및 자이로 스트림에 있어서의 샘플의 수는, 이들 센서에 대해 하드웨어가 지원하는 샘플링 레이트에 따라 달라질 것이다(통상적으로 자이로 센서가 더 낮은 샘플링 레이트를 보인다). 결과적으로, 행렬 Daccel 및 Dgyro은 다른 치수를 가질 것이다. 이 경우, 낮은 주파수의 신호를 업샘플링해서 Daccel 및 Dgyro가 모두 같은 치수를 갖고 적절하게 합산될 수 있게 한다. 자이로 신호 및 가속도계 신호가 모두 초기에 정규화되는 것을 고려하면, 시스템은 대응하는 거리 행렬을 확실하게 합산할 수 있다.
행렬 D에서 대각 성분을 합산하는 것은, 2개의 인증 제스쳐의 센서 지문 사이의 직선 거리에 대응한다. 그러나, 사용자가 인증 제스쳐를 수행하는 방식에 있어서의 변화율(약간 다른 타이밍 등)를 고려하면, 직선 거리는 매우 부정확할 수 있다. 대신, 이 시스템은, 최종 거리 행렬 D의 대각선을 따라서 윈도우를 정의할 수 있고, 이는 인증 제스쳐 사이의 시간차를 보상할 수 있다. 상세하게, 이 시스템은, CDTW로 정의되는, 대각선을 가로지르는 검색 공간을 정의할 수 있다.
Figure 112016073426115-pct00018
여기서 CDTW는 동적 시간 워핑(Dynamic Time Warping) 제한이다.
이 거리를 무한으로 설정함으로써, 시스템은 대각선에 따른 검색 공간을 제한할 수 있고, 이로써 각각의 신호가 시프트되는 정도를 제한하게 된다. 2개의 신호 사이의 거리는 행렬 D에서 2개의 대각 지점 사이의 가장 짧은 워핑 경로로 정의된다.
Figure 112016073426115-pct00019
여기서 p는 행렬 내의 2개의 대각 지점 사이의 워핑 경로이다.
CDTW가 1이면, 직선 거리는 행렬 D 내의 모든 대각 성분의 합으로 계산될 수 있다. CDTW의 값이 커짐에 따라서, 2개의 신호가 더 시프트될 수 있다.
(교차 상관)
동적 시간 워핑 방식과 유사하게, 시스템은 x, y 및 z 치수의 가속도계 센서 데이터와 자이로 센서 데이터를 합해서, 다음과 같은 하나의 교차 상관 값을 계산한다.
Figure 112016073426115-pct00020
여기서 Corr은 비교시에 각 신호에 대해 허용된 시프트량에 대한 제한이다. 상술한 바와 같이, 신호의 시프트는 동일한 사용자의 제스쳐 인스턴스 사이에 발생하는, 센서 시크니처의 약간의 시간차를 보상하는데 사용될 수 있다.
동적 시간 워핑 기법 및 교차 상관 기법에 의해서 구해진 스코어를 결합해서 센서 패턴 영역(domain)에서의 제스쳐 사이의 전체 거리를 계량화할 수 있다.
Figure 112016073426115-pct00021
(접촉 특성과 센서 패턴의 결합)
식 (1) 및 식 (9)를 통해, 터치 및 센서 영역 각각에 있어서, 2개의 제스쳐 인스턴스 사이의 차이를 계량화할 수 있다. 시스템은 터치 특성과 센서 패턴을, 대응하는 차이 스코어를 곱하는 방식으로 결합할 수 있다.
Figure 112016073426115-pct00022
(개인별 임계값)
식 (10)을 통해서 임의의 제스쳐 인스턴스 쌍 사이의 차이를 계량화할 수는 있지만, 2개의 제스쳐가 동일 사용자의 것인지 여부를 판정하기에는 충분하지 않다. 그 이유는, 사용자마다 상이한 제스쳐 동작을 보여주기 때문이다. 어떤 사용자는 제스쳐 인스턴스마다 터치 시그니처 및 센서 시그니처를 매우 정확하게 재현할 수 있는 반면, 다른 사용자는 그 변화율이 매우 클 수 있다. 그 결과 사용자마다 식 (10)보다 낮은 혹은 높은 스코어가 해석(interpret)될 수 있다.
이 시스템에서는 이러한 변화율을, 인증 제스쳐가 동일한 사용자의 것이라고 가정할 수 있을 정도로 그 인증 제스쳐 사이의 차이가 충분히 작은 시점을 결정하도록 개인별 임계값 PTh을 정의함으로써, 처리할 수 있다. 한 사용자로부터 N개의 인증 제스쳐가 등록되면, 이 시스템은 이 사용자에 대해서 PTh를 다음과 같이 정의할 수 있다.
Figure 112016073426115-pct00023
제 1 항은, 그 사용자의 한 쌍의 제스쳐마다 사이의 중간 거리를 나타내고, 제 2 항은 이들 거리의 표준 편차를 나타낸다. 이들 2개의 값으로, 그 사용자의 제스쳐 인스턴스마다의, 센서 시그니쳐의 변화율을 양자화할 수 있다. 자연히, 제스쳐 인스턴스마다 센서 시그니쳐를 정확하게 재현하는 사용자에 대한 임계값은, 낮은 PTh 값을 가질 것이고, 그렇지 않은 사용자에 대한 임계값은, 높은 PTh 값을 가질 것이다.
요약하면, 본 시스템에서는 한 장치에서 이용될 수 있는 임의의 타입의 센서를 사용해서, 인증 제스쳐 동안 캡쳐되는 특성값을 제공함으로써 사용자를 식별(혹은 거부)할 수 있다. 센서는 인증 제스쳐 전용으로 사용될 수도 있고, 및/또는 여러 목적으로 사용되는 센서일 수도 있다. 추가적인 인증 제스쳐 기능을 위해, (현재 시판중인 모바일 장치의) 기존 센서를 활용해서 정확하게 구현될 수 있다. 따라서, 추가적인 하드웨어 및 이에 따른 추가 비용없이도 사용자의 편이성 및 장치의 보안이 강화될 수 있다.
(예시적인 기법)
도 19는 인증 제스쳐 확인 기법 즉, 방법(1900)의 흐름도이다.
블록 1902에서, 이 방법은, 장치에 대해서 인증 제스쳐를 수행하는 사용자에 관한, 다수의 생체 특성을 검출할 수 있다. 인증 제스쳐가 터치 스크린에 대한 다중-터치 제스쳐인 경우에, 예시적인 생체 특성으로는 특히, 모든 손가락 쌍 사이의 거리, 모든 3개의 손가락 사이의 각도, 각 손가락 터치의 크기, 각 손가락 터치의 압력, 각 손가락이 터치 스크린을 터치하고 있는 총 시간, 모든 손가락의 쌍 사이의 터치 개시 시간의 차, 모든 손가락의 쌍 사이의 터치 종료 시간의 차, 손가락 거리의 비, 손가락 크기의 비, 총 손가락 접촉 시간의 비, 및/또는 손가락 압력의 비를 들 수 있다. 다른 특성은 사용자가 인증 제스쳐를 수행하는 동안 장치를 쥐는 방법에 관한 것일 수 있다(예컨대, 회전 및/또는 변위).
블록 1904에서, 이 방법은 사용자가 인증 제스쳐(예컨대, 트레이닝 제스쳐)를 반복해서 수행하는 트레이닝 세션 동안 획득해서 저장된 다수의 생체 특성의 값을 불러올 수 있다.
블록 1906에서, 이 방법은 저장된 값으로부터 유도된 개인별 유사도 임계값을 획득할 수 있다. 예컨대, 개인별 유사도 임계값은, 사용자가 트레이닝 제스쳐를 수행할 때의 변화율 및 이 변화율이 개개의 특성에 어떤 영향을 미치는지를 나타낼 수 있다.
블록 1908에서, 이 방법은 검출된 값을 저장된 값과 비교할 수 있다. 상술한 바와 같이 일부 구현예에서는, 다수의 트레이닝 제스쳐 특성을 포함할 수 있으며, 이 비교에는 각 특성에 대한 평균값이 이용될 수 있다.
블록 1910에서, 이 방법은 저장된 값에 대한 검출된 값의 유사도를 산출할 수 있다. 블록 1912에서, 이 방법은, 저장된 값에 대한 검출된 값의 유사도가 개인별 유사도 임계값을 만족하는 경우에 그 사용자를 장치에 대해 인증할 수 있다. 만족하지 않으면, 인증 제스쳐는 통과되지 않고, 블록 1914에서 장치에 대한 액세스는 거부될 수 있다.
도 20은 인증 제스쳐 확인 기법 즉, 방법(2000)의 흐름도이다.
블록 2002에서, 이 방법은 장치 인증 시도로서 수행되는 사용자 인증 제스쳐와 관련된 복수의 생체 특성을 캡쳐할 수 있다.
블록 2004에서, 이 방법은 복수의 생체 특성의 값을, 이전에 그 사용자에 대해 저장된 값과 비교할 수 있다.
블록 2006에서, 이 방법은, 복수의 생체 특성의 값이 이전 값에 대해 유사도 임계값을 만족하는 경우에, 컴퓨팅 장치를 잠금 해제할 수 있다.
상술한 방법은 상기 도 1 내지 18과 관련해서 설명한 시스템 및/또는 장치에 의해서, 및/또는 다른 장치 및/또는 시스템에 의해서 수행될 수 있다. 방법을 설명한 순서는 한정의 의미가 아니며, 설명되는 동작 중 임의의 수의 동작은 본 발명 혹은 대안의 방법을 구현할 때 임의의 순서로 결합될 수 있다. 나아가, 이 방법이 임의의 적절한 하드웨어, 소프트웨어, 펌웨어 혹은 이들의 조합으로 구현됨으로써, 장치는 본 발명을 구현할 수 있다. 어떤 경우에, 이 방법은 컴퓨팅 장치의 프로세서에 의해 실행될 때 컴퓨팅 장치로 하여금 이 방법을 수행하게 하는 명령어의 세트로서, 컴퓨터-판독 가능 저장 매체에 저장된다.
(결론)
비록 청구 대상을 구조적인 특성 및/또는 방법적인 동작에 대해 특정된 언어로 설명했지만, 첨부된 청구 범위에 정의되어 있는 청구 대상이 상기 설명된 특정한 특성 혹은 동작으로 반드시 한정되는 것은 아니라는 것을 이해할 것이다. 상기 설명된 특정한 특성 혹은 동작은 청구항을 구현하는 예시로서 개시한 것이다.

Claims (20)

  1. 장치로서,
    하드웨어 프로세서와,
    컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 저장 매체를 포함하되,
    상기 컴퓨터 실행가능 명령어는 상기 하드웨어 프로세서에 의해 실행될 때, 상기 하드웨어 프로세서로 하여금,
    상기 장치에 관해 인증 제스쳐를 수행하는 사용자와 관련된 복수의 생체 특성의 값을 검출하게 하고 － 개별적 생체 특성은 상기 장치에 대해 상기 인증 제스쳐를 수행하는 데 사용된 신체 부분의 상대적 포지셔닝을 반영함 －,
    상기 사용자가 상기 인증 제스쳐를 반복적으로 수행하는 트레이닝 세션 동안 획득된 상기 복수의 생체 특성의 저장된 값을 검색(retrieve)하게 하고,
    상기 저장된 값으로부터 도출된 개인별 유사도 임계값을 획득하게 하고 － 상기 개인별 유사도 임계값은 상기 트레이닝 세션 동안 상기 사용자가 상기 인증 제스쳐를 반복적으로 수행했을 때의 상기 신체 부분의 상대적 포지셔닝에 기초함 －,
    상기 검출된 값을 상기 저장된 값과 비교하게 하고,
    상기 저장된 값에 대한 상기 검출된 값의 유사도가 상기 개인별 유사도 임계값을 만족시키는 경우에, 상기 장치에 대해 상기 사용자를 인증하게 하는
    장치.
  2. 제 1 항에 있어서,
    상기 개인별 유사도 임계값은, 상기 트레이닝 세션 동안 상기 사용자가 상기 인증 제스쳐를 반복적으로 수행했을 때의 적어도 2개의 상이한 신체 부분 간의 거리 또는 각도에 기초하는
    장치.
  3. 제 2 항에 있어서,
    상기 컴퓨터 실행가능 명령어는 상기 하드웨어 프로세서에 의해 실행될 때, 상기 하드웨어 프로세서로 하여금,
    상기 트레이닝 세션 동안 상기 사용자가 상기 적어도 2개의 상이한 신체 부분을 사용하여 상기 장치를 터치함으로써 상기 인증 제스쳐를 반복적으로 수행한 경우에 상기 장치의 디스플레이 상에서의 터치 위치를 식별하게 하고,
    상기 터치 위치에 기초하여 상기 저장된 값을 결정하게 하는
    장치.
  4. 제 1 항에 있어서,
    상기 인증 제스쳐는, 상기 장치 상에서의 터치 인증 제스쳐, 또는 상기 사용자가 상기 장치를 터치하지 않고 수행할 수 있는 비-터치 인증 제스쳐를 포함하는
    장치.
  5. 제 1 항에 있어서,
    상기 개인별 유사도 임계값은 또한, 상기 트레이닝 세션 동안 상기 사용자가 상기 인증 제스쳐를 반복적으로 수행했을 때의 상기 장치의 변위 및 상기 장치의 회전에 기초하는
    장치.

  6. 제 1 항에 있어서,
    상기 컴퓨터 실행가능 명령어는 상기 하드웨어 프로세서에 의해 실행될 때, 상기 하드웨어 프로세서로 하여금, 상기 복수의 생체 특성의 저장된 값의 변화율(variability)을 분석하게 하는
    장치.
  7. 제 6 항에 있어서,
    상기 컴퓨터 실행가능 명령어는 상기 하드웨어 프로세서에 의해 실행될 때, 상기 하드웨어 프로세서로 하여금, 상기 변화율에 기초하여 상기 개인별 유사도 임계값을 계산하게 하는
    장치.
  8. 컴퓨팅 장치에 의해 수행되는 방법으로서,
    장치 인증 시도로서 사용자에 의해 수행되는 사용자 인증 제스쳐와 관련된 복수의 생체 특성을 캡쳐하는 단계 － 상기 복수의 생체 특성은 상기 사용자의 신체 부분의 지오메트리(geometry)를 반영하는 상대적 위치 특성을 포함함 －와,
    상기 복수의 생체 특성의 현재 값을, 상기 사용자에 대해 저장된 상기 복수의 생체 특성의 이전 값과 비교하는 단계 － 상기 이전 값은 상기 사용자가 상기 사용자 인증 제스쳐를 복수 회 수행하는 트레이닝 세션 동안 획득된 것임 － 와,
    상기 복수의 생체 특성의 현재 값이 상기 이전 값에 대해 유사도 임계값을 만족시키는 경우에, 상기 컴퓨팅 장치에 대한 사용자 액세스를 허가하는 단계를 포함하되,
    상기 유사도 임계값은 상기 사용자의 신체 부분의 지오메트리를 반영하는 상대적 위치 특성을 포함하는 상기 복수의 생체 특성의 이전 값에 기초하여 상기 사용자에 대해 개인화되는
    방법.
  9. 제 8 항에 있어서,
    상기 복수의 생체 특성은,
    상기 사용자의 신체 부분의 지오메트리를 반영하는 상기 컴퓨팅 장치 상에서의 터치 위치 특성과,
    상기 컴퓨팅 장치 상에서의 터치 압력 특성과,
    상기 사용자 인증 제스쳐의 수행에 의해 생성된 상기 컴퓨팅 장치의 가속도 특성과,
    상기 사용자 인증 제스쳐의 수행에 의해 생성된 상기 컴퓨팅 장치의 변위 특성을 포함하는
    방법.
  10. 제 8 항에 있어서,
    상기 사용자 인증 제스쳐 동안 제공된 터치 입력의 절대적 위치 특성을 결정하는 단계와,
    상기 터치 입력의 절대적 위치 특성에 기초하여, 상기 사용자 인증 제스쳐 동안 상기 사용자의 손가락의 상대적 위치 특성을 결정하는 단계를 더 포함하되,
    상기 신체 부분은 상기 사용자의 손이고, 상기 손의 지오메트리는 상기 손가락의 상대적 위치 특성에 의해 반영되는
    방법.
  11. 제 8 항에 있어서,
    상기 이전 값은 다수의 트레이닝 세션 동안 획득되는
    방법.
  12. 제 8 항에 있어서,
    상기 이전 값은 상기 컴퓨팅 장치 상에 저장되거나 상기 컴퓨팅 장치로부터 이격되어 저장되는
    방법.
  13. 제 8 항에 있어서,
    인증 제스쳐 인스턴스들에 걸쳐 상기 사용자가 상이한 생체 특성을 얼마나 정확하게 재현하는지에 기초하여 상기 상이한 생체 특성에 가중치를 부여하는 단계를 더 포함하는
    방법.
  14. 제 8 항에 있어서,
    상기 복수의 생체 특성의 이전 값의 변화율에 기초하여 상기 사용자에 대해 상기 유사도 임계값을 개인화하는 단계를 더 포함하는
    방법.
  15. 제 14 항에 있어서,
    상기 유사도 임계값을 개인화하는 단계는,
    상기 트레이닝 세션 동안 상기 사용자가 상기 사용자 인증 제스쳐를 수행했을 때 상기 컴퓨팅 장치의 자이로스코프로부터 획득된, 상기 사용자에 대해 저장된 이전 자이로스코프 값을 결정하는 단계와,
    상기 트레이닝 세션 동안 상기 사용자가 상기 사용자 인증 제스쳐를 수행했을 때 상기 컴퓨팅 장치의 가속도계로부터 획득된, 상기 사용자에 대해 저장된 이전 가속도계 값을 결정하는 단계와,
    상기 트레이닝 세션 동안 상기 사용자가 상기 사용자 인증 제스쳐를 수행했을 때 상기 사용자가 터치한 상기 컴퓨팅 장치의 터치 스크린으로부터 획득된, 상기 사용자에 대해 저장된 이전 터치 위치 값을 결정하는 단계를 포함하는
    방법.
  16. 제 15 항에 있어서,
    상기 사용자가 상기 사용자 인증 제스쳐를 수행하는 동안 상기 컴퓨팅 장치의 자이로스코프로부터 상기 사용자에 대한 현재 자이로스코프 값을 캡쳐하는 것과,
    상기 사용자가 상기 사용자 인증 제스쳐를 수행하는 동안 상기 컴퓨팅 장치의 가속도계로부터 상기 사용자에 대한 현재 가속도계 값을 캡쳐하는 것과,
    상기 컴퓨팅 장치의 터치 스크린으로부터 상기 사용자에 대한 현재 터치 위치 값을 캡쳐하는 것
    에 의해, 상기 복수의 생체 특성의 현재 값을 획득하는 단계를 더 포함하는
    방법.
  17. 장치로서,
    디스플레이와,
    상기 디스플레이에 결합된 적어도 하나의 센서와,
    트레이닝 세션 동안 사용자 인증 제스쳐를 복수 회 수행하도록 사용자에게 지시하는 그래픽 사용자 인터페이스가 상기 디스플레이에 제시되게 하고, 상기 트레이닝 세션 동안 획득된 상기 적어도 하나의 센서로부터의 센서 데이터를 수신하고, 상기 센서 데이터를 처리하여 상기 인증 제스쳐를 수행하는 데 사용된 신체 부분의 상대적 지오메트리를 나타내는 적어도 하나의 생체 특성에 대한 트레이닝 값을 획득하도록 구성된, 사용자 인증 컴포넌트를 포함하되,
    상기 사용자 인증 컴포넌트는 또한, 상기 적어도 하나의 생체 특성에 대한 트레이닝 값에 기초하여 상기 사용자에 대한 개인별 유사도 임계값을 생성하도록 구성되고,
    상기 사용자 인증 컴포넌트는 또한, 후속하는 장치 인증 시도에서 상기 사용자 인증 제스쳐가 추가로 수행될 때 부가적 센서 데이터를 수신하고, 상기 부가적 센서 데이터를 처리하여 상기 적어도 하나의 생체 특성에 대한 후속 값을 획득하도록 구성되며,
    상기 사용자 인증 컴포넌트는 또한, 상기 후속 값이 상기 개인별 유사도 임계값을 만족시키는 경우에, 상기 장치에 대해 상기 사용자를 인증하도록 구성되는
    장치.
  18. 제 17 항에 있어서,
    상기 디스플레이는 터치 감지형 디스플레이이고,
    상기 사용자 인증 제스쳐는 상기 터치 감지형 디스플레이에 대한 4 손가락 터치 제스쳐를 포함하는
    장치.
  19. 제 17 항에 있어서,
    상기 사용자 인증 컴포넌트를 구현하도록 구성된 처리 장치를 더 포함하되,
    상기 처리 장치는 다목적 중앙 처리 장치를 포함하거나, 또는
    상기 처리 장치는 상기 사용자 인증 컴포넌트를 구현하도록 구성된 전용 회로인
    장치.
  20. 제 17 항에 있어서,
    상기 적어도 하나의 센서는 상기 사용자 인증 이외의 목적을 위해 상기 장치에 의해 사용되는 추가 센서 데이터를 제공하도록 구성되는 적어도 2개의 서로 다른 타입의 센서를 포함하는
    장치.
KR1020167020746A 2014-01-30 2015-01-23 사용자 인증 제스쳐 기법 KR102223416B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/168,707 US9223955B2 (en) 2014-01-30 2014-01-30 User-authentication gestures
US14/168,707 2014-01-30
PCT/US2015/012553 WO2015116477A1 (en) 2014-01-30 2015-01-23 User-authentication gestures

Publications (2)

Publication Number Publication Date
KR20160114608A KR20160114608A (ko) 2016-10-05
KR102223416B1 true KR102223416B1 (ko) 2021-03-04

Family

ID=52484550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020746A KR102223416B1 (ko) 2014-01-30 2015-01-23 사용자 인증 제스쳐 기법

Country Status (5)

Country Link
US (3) US9223955B2 (ko)
EP (2) EP3561658A1 (ko)
KR (1) KR102223416B1 (ko)
CN (1) CN105980973B (ko)
WO (1) WO2015116477A1 (ko)

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200145B (zh) 2007-09-24 2020-10-27 苹果公司 电子设备中的嵌入式验证系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US10404729B2 (en) 2010-11-29 2019-09-03 Biocatch Ltd. Device, method, and system of generating fraud-alerts for cyber-attacks
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US10262324B2 (en) 2010-11-29 2019-04-16 Biocatch Ltd. System, device, and method of differentiating among users based on user-specific page navigation sequence
US10298614B2 (en) * 2010-11-29 2019-05-21 Biocatch Ltd. System, device, and method of generating and managing behavioral biometric cookies
US12101354B2 (en) * 2010-11-29 2024-09-24 Biocatch Ltd. Device, system, and method of detecting vishing attacks
US10685355B2 (en) 2016-12-04 2020-06-16 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10949757B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. System, device, and method of detecting user identity based on motor-control loop model
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US10917431B2 (en) * 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US11210674B2 (en) 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10069837B2 (en) 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US10474815B2 (en) 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US10747305B2 (en) 2010-11-29 2020-08-18 Biocatch Ltd. Method, system, and device of authenticating identity of a user of an electronic device
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9223955B2 (en) 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures
US10229260B1 (en) * 2014-03-27 2019-03-12 EMC IP Holding Company LLC Authenticating by labeling
CN104520866B (zh) * 2014-03-31 2018-08-21 华为技术有限公司 隐私保护方法和终端设备
US9355236B1 (en) * 2014-04-03 2016-05-31 Fuji Xerox Co., Ltd. System and method for biometric user authentication using 3D in-air hand gestures
CN105022982B (zh) * 2014-04-22 2019-03-29 北京邮电大学 手部运动识别方法和装置
US9483763B2 (en) 2014-05-29 2016-11-01 Apple Inc. User interface for payments
US9639167B2 (en) * 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
US10748439B1 (en) 2014-10-13 2020-08-18 The Cognitive Healthcare Company Automated delivery of unique, equivalent task versions for computer delivered testing environments
US10444980B1 (en) * 2014-10-13 2019-10-15 The Cognitive Healthcare Company Biomechanical motion measurement and analysis for self-administered tests
US10383553B1 (en) 2014-10-14 2019-08-20 The Cognitive Healthcare Company Data collection and analysis for self-administered cognitive tests characterizing fine motor functions
CN104391646B (zh) * 2014-11-19 2017-12-26 百度在线网络技术（北京）有限公司 调整对象属性信息的方法及装置
US10152838B2 (en) * 2014-12-04 2018-12-11 Assa Abloy Ab Using sensor data to authenticate a user
US10152584B2 (en) * 2014-12-04 2018-12-11 Assa Abloy Ab Using sensor data to authenticate a user for a computer device
US10049198B2 (en) * 2015-03-18 2018-08-14 International Business Machines Corporation Securing a device using graphical analysis
US10049199B2 (en) * 2015-03-18 2018-08-14 International Business Machines Corporation Securing a device using graphical analysis
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9990127B2 (en) * 2015-06-17 2018-06-05 Ca, Inc. Secure user input mode for electronic devices using randomized mathematical operators and operands
US10073959B2 (en) * 2015-06-19 2018-09-11 International Business Machines Corporation Secure authentication of users of devices using tactile and voice sequencing with feedback
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
US10565569B2 (en) 2015-07-30 2020-02-18 NXT-ID, Inc. Methods and systems related to multi-factor, multidimensional, mathematical, hidden and motion security pins
KR101696602B1 (ko) * 2015-08-11 2017-01-23 주식회사 슈프리마 제스처를 이용한 생체 인증
JP6439634B2 (ja) * 2015-09-04 2018-12-19 富士通株式会社 生体認証装置、生体認証方法および生体認証プログラム
US10181020B2 (en) 2015-09-21 2019-01-15 American Express Travel Related Services Company, Inc. Systems and methods for gesture based biometric security
US10713342B2 (en) 2015-09-25 2020-07-14 Intel Corporation Techniques to determine distinctiveness of a biometric input in a biometric system
US9939908B2 (en) * 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
US10210318B2 (en) * 2015-12-09 2019-02-19 Daon Holdings Limited Methods and systems for capturing biometric data
US9392460B1 (en) * 2016-01-02 2016-07-12 International Business Machines Corporation Continuous user authentication tool for mobile device communications
GB2547905B (en) * 2016-03-02 2021-09-22 Zwipe As Fingerprint authorisable device
AU2017261844A1 (en) 2016-05-10 2018-11-22 Commonwealth Scientific And Industrial Research Organisation Authenticating a user
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
CN109313759B (zh) 2016-06-11 2022-04-26 苹果公司 用于交易的用户界面
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10346605B2 (en) * 2016-06-28 2019-07-09 Paypal, Inc. Visual data processing of response images for authentication
EP3674851A1 (en) * 2016-07-07 2020-07-01 David Franklin Gesture-based user interface
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
CN106294042B (zh) * 2016-07-29 2019-08-30 深圳市中兴移动软件有限公司 一种检测方法及检测装置
US9842330B1 (en) 2016-09-06 2017-12-12 Apple Inc. User interfaces for stored-value accounts
US11151245B2 (en) * 2016-09-09 2021-10-19 Hewlett-Packard Development Company, L.P. User authentication
US11175821B2 (en) * 2016-09-23 2021-11-16 Huawei Technologies Co., Ltd. Pressure touch method and terminal
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10503886B2 (en) * 2016-09-27 2019-12-10 Hong Kong Baptist University Biometric authentication based on gait pattern or writing motion with an inertial measurement unit
US10198122B2 (en) * 2016-09-30 2019-02-05 Biocatch Ltd. System, device, and method of estimating force applied to a touch surface
CH713061B1 (de) 2016-10-19 2021-03-31 Smart Secure Id Ag System und Verfahren zur berührungslosen biometrischen Authentifizierung.
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
US10372893B2 (en) * 2016-11-01 2019-08-06 International Business Machines Corporation Sensor-based authentication
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
US10551931B2 (en) 2016-11-21 2020-02-04 Idex Asa Combination of fingerprint and device orientation to enhance security
CN106411952B (zh) * 2016-12-01 2019-07-26 安徽工业大学 一种隔空动态手势用户身份认证方法及装置
US10346655B2 (en) * 2016-12-07 2019-07-09 Nec Corporation Battery-free touch-aware user input using RFID tags
US10061909B2 (en) * 2016-12-29 2018-08-28 Qualcomm Incorporated Device authentication based on behavior classification using convolution neural network
US10764281B1 (en) * 2017-01-09 2020-09-01 United Services Automobile Association (Usaa) Systems and methods for authenticating a user using an image capture device
US10417402B2 (en) * 2017-02-10 2019-09-17 International Business Machines Corporation Supplemental hand gesture authentication
US10762182B2 (en) * 2017-02-20 2020-09-01 Novatek Microelectronics Corp. Detection system, fingerprint sensor, and method of finger touch authentication thereof
US11113376B2 (en) * 2017-02-20 2021-09-07 Novatek Microelectronics Corp. Detection system, fingerprint sensor, and method of finger touch authentication thereof
US11250307B2 (en) 2017-03-23 2022-02-15 Idex Biometrics Asa Secure, remote biometric enrollment
US10282651B2 (en) 2017-03-23 2019-05-07 Idex Asa Sensor array system selectively configurable as a fingerprint sensor or data entry device
EP3555783B1 (en) * 2017-04-11 2022-03-02 Hewlett-Packard Development Company, L.P. User authentication
US10778450B1 (en) 2017-04-28 2020-09-15 Wells Fargo Bank, N.A. Gesture-extracted passwords for authenticated key exchange
WO2018222866A1 (en) * 2017-06-02 2018-12-06 Summerlin William Christopher Touch input device for user authentication and systems using the same
US10296772B2 (en) 2017-06-22 2019-05-21 Synaptics Incorporated Biometric enrollment using a display
US10530770B2 (en) 2017-06-28 2020-01-07 International Business Machines Corporation Pressure-based authentication
US10397262B2 (en) 2017-07-20 2019-08-27 Biocatch Ltd. Device, system, and method of detecting overlay malware
KR102185854B1 (ko) * 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
EP4156129A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric enrollment
US20220342972A1 (en) * 2017-09-11 2022-10-27 Apple Inc. Implementation of biometric authentication
US10680823B2 (en) 2017-11-09 2020-06-09 Cylance Inc. Password-less software system user authentication
US20190147046A1 (en) * 2017-11-16 2019-05-16 Facebook, Inc. Systems and methods for providing personalized context-aware information
US10599824B2 (en) * 2017-11-16 2020-03-24 Bank Of America Corporation Authenticating access to a computing resource using pattern-based facial recognition
WO2019116233A1 (en) 2017-12-12 2019-06-20 Idex Asa Power source for biometric enrollment with status indicators
EP3502937A1 (en) * 2017-12-20 2019-06-26 Vestel Elektronik Sanayi ve Ticaret A.S. Method for visually capturing a code for locking or unlocking of functions
US10552596B2 (en) 2017-12-20 2020-02-04 International Business Machines Corporation Biometric authentication
US11232178B2 (en) * 2017-12-22 2022-01-25 Synaptics Incorporated Systems and methods for behavioral authentication using a touch sensor device
CN108459812B (zh) * 2018-01-22 2021-03-02 郑州升达经贸管理学院 一种美术轨迹显示追捕系统及方法
JP7037177B2 (ja) * 2018-03-29 2022-03-16 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
CN110415386A (zh) * 2018-04-27 2019-11-05 开利公司 基于姿势的进入控制系统的预编程场景数据的建模
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10904246B2 (en) * 2018-06-26 2021-01-26 International Business Machines Corporation Single channel input multi-factor authentication via separate processing pathways
KR20200007177A (ko) 2018-07-12 2020-01-22 (주)아이비티 전기 트럭용 전력 제어 시스템
US10986087B2 (en) * 2018-07-17 2021-04-20 International Business Machines Corporation Motion based authentication
US11042272B2 (en) * 2018-07-19 2021-06-22 Google Llc Adjusting user interface for touchscreen and mouse/keyboard environments
US10990260B2 (en) * 2018-08-23 2021-04-27 Motorola Mobility Llc Electronic device control in response to finger rotation upon fingerprint sensor and corresponding methods
US11216541B2 (en) * 2018-09-07 2022-01-04 Qualcomm Incorporated User adaptation for biometric authentication
CN109409044A (zh) * 2018-09-19 2019-03-01 维沃移动通信有限公司 一种验证界面显示方法及终端
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10565587B1 (en) 2018-10-02 2020-02-18 Capital One Services, Llc Systems and methods for cryptographic authentication of contactless cards
CN109325338B (zh) * 2018-11-30 2021-01-08 维沃移动通信有限公司 一种验证方法及终端
US20200192485A1 (en) * 2018-12-12 2020-06-18 Lenovo (Singapore) Pte. Ltd. Gaze-based gesture recognition
US12086221B2 (en) * 2019-02-01 2024-09-10 Sony Group Corporation Multi-factor authentication for virtual reality
CN111597529A (zh) * 2019-02-21 2020-08-28 阿里巴巴集团控股有限公司 对个体进行连续身份认证的方法、系统及存储介质
JP2022059099A (ja) * 2019-02-25 2022-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
KR20200131053A (ko) 2019-05-13 2020-11-23 (주)아이비티 전기 트럭의 부하 기반 배터리 제어 시스템
US11218493B2 (en) * 2019-05-31 2022-01-04 Advanced New Technologies Co., Ltd. Identity verification
US11611881B2 (en) * 2019-11-27 2023-03-21 Board Of Trustees Of Michigan State University Integrated systems and methods for passive authentication
CN111309183B (zh) * 2020-02-26 2022-04-15 京东方科技集团股份有限公司 触控显示系统及其控制方法
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
CN112232443B (zh) * 2020-11-20 2023-11-24 中国联合网络通信集团有限公司 身份认证方法、装置、设备及存储介质
EP4264460A1 (en) 2021-01-25 2023-10-25 Apple Inc. Implementation of biometric authentication
US20220382374A1 (en) * 2021-05-26 2022-12-01 Da-Yuan Huang Methods, devices, and computer-readable storage media for performing a function based on user input
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords
US20240004977A1 (en) * 2022-06-30 2024-01-04 Microsoft Technology Licensing, Llc Sequence-based authentication using rhythm and/or poses
WO2024090826A1 (ko) * 2022-10-27 2024-05-02 삼성전자 주식회사 사용자의 제스처를 이용해 인증을 수행하는 전자 장치 및 그 방법
CN116152929A (zh) * 2023-03-06 2023-05-23 蔚来软件科技(上海)有限公司 对象的识别方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090085877A1 (en) 2007-09-27 2009-04-02 Chang E Lee Multi-touch interfaces for user authentication, partitioning, and external device control
US20120124662A1 (en) 2010-11-16 2012-05-17 Baca Jim S Method of using device motion in a password
US20120164978A1 (en) 2010-12-27 2012-06-28 Bruno CRISPO User authentication method for access to a mobile user terminal and corresponding mobile user terminal
US20140006954A1 (en) 2012-06-28 2014-01-02 Intel Corporation Techniques for device connections using touch gestures

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7180401B2 (en) * 2004-12-03 2007-02-20 Kulite Semiconductor Products, Ic. Personal identification apparatus using measured tactile pressure
JP4786483B2 (ja) * 2006-09-14 2011-10-05 富士通株式会社 生体認証装置の生体誘導制御方法及び生体認証装置
US8539550B1 (en) * 2008-05-29 2013-09-17 Intuit Inc. Multi-pattern authentication gestures
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
US8683582B2 (en) 2008-06-16 2014-03-25 Qualcomm Incorporated Method and system for graphical passcode security
US9251407B2 (en) 2008-09-04 2016-02-02 Northrop Grumman Systems Corporation Security system utilizing gesture recognition
US8941466B2 (en) * 2009-01-05 2015-01-27 Polytechnic Institute Of New York University User authentication for devices with touch sensitive elements, such as touch sensitive display screens
US9292731B2 (en) * 2009-12-30 2016-03-22 Intel Corporation Gesture-based signature authentication
US9141150B1 (en) * 2010-09-15 2015-09-22 Alarm.Com Incorporated Authentication and control interface of a security system
US8938787B2 (en) * 2010-11-29 2015-01-20 Biocatch Ltd. System, device, and method of detecting identity of a user of a mobile electronic device
US9094291B1 (en) * 2010-12-14 2015-07-28 Symantec Corporation Partial risk score calculation for a data object
US20120167170A1 (en) * 2010-12-28 2012-06-28 Nokia Corporation Method and apparatus for providing passive user identification
US8543833B2 (en) 2010-12-29 2013-09-24 Microsoft Corporation User identification with biokinematic input
US20120194440A1 (en) * 2011-01-31 2012-08-02 Research In Motion Limited Electronic device and method of controlling same
EP2712454A4 (en) * 2011-05-10 2015-04-15 Bionym Inc SYSTEM AND METHOD FOR CONTINUOUS OR INSTANT IDENTITY RECOGNITION BASED ON PHYSIOLOGICAL BIOMETRIC SIGNALS
WO2011150851A2 (zh) * 2011-06-01 2011-12-08 华为终端有限公司 一种终端认证方法及装置
JP2013020304A (ja) 2011-07-07 2013-01-31 Ntt Docomo Inc 移動情報端末、行動特徴学習方法、行動特徴認証方法、プログラム
US9314193B2 (en) 2011-10-13 2016-04-19 Biogy, Inc. Biometric apparatus and method for touch-sensitive devices
US8380995B1 (en) 2011-11-29 2013-02-19 Google Inc. Process for login of a computing device with a touchscreen
US8997213B2 (en) 2011-12-01 2015-03-31 Facebook, Inc. Protecting personal information upon sharing a personal computing device
US8929546B2 (en) * 2011-12-24 2015-01-06 Logmein, Inc. Motion-based authentication for a gesture-based computing device
US9147059B2 (en) 2012-02-22 2015-09-29 Polytechnic Institute Of New York University Biometric-rich gestures for authentication on multi-touch devices
KR101892567B1 (ko) * 2012-02-24 2018-08-28 삼성전자 주식회사 단말기에서 콘텐츠 이동 방법 및 장치
US9137246B2 (en) * 2012-04-09 2015-09-15 Brivas Llc Systems, methods and apparatus for multivariate authentication
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
CN102982269A (zh) * 2012-10-25 2013-03-20 北京大学 基于生物计量特征的防偷窥密码认证方法及系统
US9223955B2 (en) 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090085877A1 (en) 2007-09-27 2009-04-02 Chang E Lee Multi-touch interfaces for user authentication, partitioning, and external device control
US20120124662A1 (en) 2010-11-16 2012-05-17 Baca Jim S Method of using device motion in a password
US20120164978A1 (en) 2010-12-27 2012-06-28 Bruno CRISPO User authentication method for access to a mobile user terminal and corresponding mobile user terminal
US20140006954A1 (en) 2012-06-28 2014-01-02 Intel Corporation Techniques for device connections using touch gestures

Also Published As

Publication number Publication date
CN105980973A (zh) 2016-09-28
US9223955B2 (en) 2015-12-29
WO2015116477A1 (en) 2015-08-06
CN105980973B (zh) 2019-07-26
US20170270289A1 (en) 2017-09-21
EP3100152A1 (en) 2016-12-07
EP3561658A1 (en) 2019-10-30
US9710632B2 (en) 2017-07-18
EP3100152B1 (en) 2019-07-31
US20160078210A1 (en) 2016-03-17
US20150213244A1 (en) 2015-07-30
KR20160114608A (ko) 2016-10-05

Similar Documents

Publication Publication Date Title
KR102223416B1 (ko) 사용자 인증 제스쳐 기법
Buriro et al. Hold and sign: A novel behavioral biometrics for smartphone user authentication
EP3482331B1 (en) Obscuring data when gathering behavioral data
KR102387568B1 (ko) 지문 인식 기반 인증 방법 및 장치
Trojahn et al. Toward mobile authentication with keystroke dynamics on mobile phones and tablets
EP2659432B1 (en) User identification with biokinematic input
KR102180226B1 (ko) 복합 생체 정보를 이용한 보안을 제공하는 전자 장치 및 방법
TWI474263B (zh) 利用偵測生物特徵執行軟體功能的方法和相關電子裝置
KR102143574B1 (ko) 근접 터치를 이용한 온라인 서명 인증 방법 및 이를 위한 장치
EP3066605B1 (en) Directional touch unlocking for electronic devices
CN107223254B (zh) 用于隐藏设置处理的方法、用户装置和存储介质
US20150356286A1 (en) Continuous monitoring of fingerprint signature on a mobile touchscreen for identity management
EP2541452A1 (en) Authentication method of user of electronic device
Wang et al. Sensor-based user authentication
Koong et al. A user authentication scheme using physiological and behavioral biometrics for multitouch devices
WO2017113407A1 (zh) 一种手势识别方法、装置及电子设备
US20160210452A1 (en) Multi-gesture security code entry
Lu et al. Gesture on: Enabling always-on touch gestures for fast mobile access from the device standby mode
Tse et al. Behavioral biometrics scheme with keystroke and swipe dynamics for user authentication on mobile platform
JP5958319B2 (ja) 情報処理装置、プログラム、及び方法
Wang et al. Identity authentication based on dynamic touch behavior on smartphone
KR102347567B1 (ko) 손끝 제스처 인식 및 거짓 패턴 식별에 기반한 개인 인증을 위한 방법 및 장치
WO2018094567A1 (zh) 输入方法和终端设备
Ponnusamy Mobile Authentication using Hybrid Modalities (MAHM) in Pervasive Computing
Tang et al. Continuous Smartphone User Authentication Based on Gesture-Sensor Fusion

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant