[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20220000940A - 아바타 키보드 - Google Patents

아바타 키보드 Download PDF

Info

Publication number
KR20220000940A
KR20220000940A KR1020217042517A KR20217042517A KR20220000940A KR 20220000940 A KR20220000940 A KR 20220000940A KR 1020217042517 A KR1020217042517 A KR 1020217042517A KR 20217042517 A KR20217042517 A KR 20217042517A KR 20220000940 A KR20220000940 A KR 20220000940A
Authority
KR
South Korea
Prior art keywords
avatar
keyboard
application
computer
animation
Prior art date
Application number
KR1020217042517A
Other languages
English (en)
Other versions
KR102450865B1 (ko
Inventor
푸천 쩡
웬롱 리
호세 엘머 에스. 로렌조
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20220000940A publication Critical patent/KR20220000940A/ko
Application granted granted Critical
Publication of KR102450865B1 publication Critical patent/KR102450865B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Massaging Devices (AREA)
  • Display Devices Of Pinball Game Machines (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 명세서에서는 통신/컴퓨팅 디바이스에 아바타 키보드를 제공하는 것과 관련된 장치들, 방법들 및 저장 매체가 개시된다. 실시예들에서, 통신을 위한 장치는 애플리케이션을 실행하기 위한 하나 이상의 프로세서; 및 아바타 키보드 모드에서의 아바타 키보드를 포함하여, 상기 애플리케이션에 입력하기 위한 대응하는 복수의 키보드 모드에서의 복수의 키보드를 제공하기 위해 상기 하나 이상의 프로세서와 결합된 키보드 모듈을 포함할 수 있다. 상기 아바타 키보드는 상기 애플리케이션에 입력하기 전에, 사용자의 얼굴 표정들 또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있는 대응하는 아바타들을 갖는 복수의 아바타 키를 포함할 수 있다. 다른 실시예들이 개시 및/또는 청구될 수 있다.

Description

아바타 키보드{AVATAR KEYBOARD}
본 개시는 데이터 처리 및 데이터 통신 분야에 관한 것이다. 특히, 본 개시는 아바타 키보드의 제공에 관한 것이다.
본 명세서에 제공된 배경 설명은 본 개시의 상황을 일반적으로 제시하기 위한 것이다. 본 명세서에 달리 지시되지 않는 한, 본 섹션에 설명된 자료들은 본 출원에서의 청구항들에 대한 종래 기술이 아니며, 본 섹션에서의 포함에 의해 종래 기술인 것으로 인정되지는 않는다.
쿠퍼티노의 애플 컴퓨터(Apple® Computer)로부터의 아이폰(iPhone)과 같은 다수의 스마트폰은 이모티콘과 스티커를 쉽게 입력할 수 있게 하는 키보드를 포함하여 다수의 소프트 키보드(이하, 간단히 키보드)를 지원한다. 그러나, 전형적으로, 한정된 수의 이모티콘과 스티커가 있고, 이들은 정적이며 수정될 수 없어, 사용자들이 그들 자신을 표현하고 그들의 개성을 표현하는 능력을 제한한다.
본 개시의 아바타 키보드의 실시예들은 첨부 도면들과 함께 다음의 상세한 설명에 의해 쉽게 이해될 것이다. 이러한 설명을 용이하게 하기 위해서, 유사한 참조 번호들은 유사한 구조적 요소들을 지시한다. 실시예들은 첨부 도면의 도들에 제한적이 아니라 예시적으로 도시되어 있다.
도 1은 다양한 실시예들에 따른, 본 개시의 아바타 키보드와 통합된 컴퓨팅/통신 디바이스의 블록도를 도시한다.
도 2는 다양한 실시예들에 따른, 컴퓨팅/통신 디바이스에 의해 지원되는 예시적인 추가 키보드들을 도시한다.
도 3 내지 도 5는 다양한 실시예들에 따른, 본 개시의 아바타 키보드의 예시적인 사용법들을 도시한다.
도 6 내지 도 7은 다양한 실시예들에 따른, 도 1의 키보드 모듈의 예시적인 동작 흐름을 나타내는 흐름도들이다.
도 8 내지 도 9는 다양한 실시예들에 따른, 도 1의 아바타 애니메이션 엔진을 더 도시하는 블록도들이다.
도 10은 개시된 실시예들에 따른, 본 개시의 다양한 양태들을 실시하는 데 사용하기에 적합한 예시적인 컴퓨터 시스템을 도시한다.
도 11은 개시된 실시예들에 따른, 도 1 내지 도 9를 참조하여 기술된 방법들을 실시하기 위한 명령어들을 갖는 저장 매체를 도시한다.
본 명세서에서는 통신/컴퓨팅 디바이스에 아바타 키보드를 제공하는 것과 관련된 장치들, 방법들 및 저장 매체가 개시된다. 실시예들에서, 통신을 위한 장치는 애플리케이션을 실행하기 위한 하나 이상의 프로세서; 및 아바타 키보드 모드에서의 아바타 키보드를 포함하여, 상기 애플리케이션에 입력하기 위한 대응하는 복수의 키보드 모드에서의 복수의 키보드를 제공하기 위해 상기 하나 이상의 프로세서와 결합된 키보드 모듈을 포함할 수 있다. 상기 아바타 키보드는 상기 애플리케이션에 입력하기 전에, 사용자의 얼굴 표정들 또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있는 대응하는 아바타들을 갖는 복수의 아바타 키를 포함할 수 있다. 특히, 상기 아바타들은 사용자의 얼굴 표정들 및/또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있어서, 사용자는 자신을 더 잘 표현할 수 있다.
실시예들에서, 상기 애플리케이션은 채팅 애플리케이션, 메시징 애플리케이션, 이메일 애플리케이션, 또는 소셜 네트워킹 애플리케이션과 같은 통신 애플리케이션일 수 있다.
다음의 상세한 설명에서, 본 명세서의 일부를 형성하고, 명세서 전체에서 유사한 번호들이 유사한 부분들을 지시하고, 실시될 수 있는 실시예들이 예시로서 도시되는 첨부 도면들이 참조된다. 다른 실시예들이 이용될 수 있고, 본 개시의 범위 내에서 구조적 또는 논리적 변경들이 이루어질 수 있다는 점이 이해되어야 한다. 그러므로, 다음의 상세한 설명은 제한하는 의미로 간주되어서는 안 되며, 실시예들의 범위는 첨부 청구항들 및 그것의 등가물들에 의해 규정된다.
본 개시의 양태는 첨부된 설명에서 개시된다. 본 개시의 대안 실시예들 및 그의 등가물이 본 개시의 사상 또는 범위로부터 벗어나지 않고서 안출될 수 있다. 아래에 개시되는 동일한 요소들은 도면들에서 동일한 참조 번호에 의해 지시된다는 점에 유의해야 한다.
다양한 동작들이 청구된 주제를 이해하는 데 가장 유용한 방식으로 복수의 개별적인 액션들 또는 동작들로서 차례로 설명될 수 있다. 그러나, 설명 순서는 이 동작들이 반드시 순서 종속적이라고 암시하는 것으로 해석되어서는 안 된다. 특히, 이 동작들은 제시된 순서로 수행되지 않을 수 있다. 설명된 동작들은 설명된 실시예와 다른 순서로 수행될 수 있다. 다양한 추가적인 동작들이 수행될 수 있고, 그리고/또는 설명된 동작들이 추가적인 실시예들에서 생략될 수 있다.
본 개시의 목적을 위해, "A 및/또는 B"라는 문구는 (A), (B), 또는 (A 및 B)를 의미한다. 본 개시의 목적을 위해, "A, B 및/또는 C"라는 문구는 (A), (B), (C), (A 및 B), (A 및 C), (B 및 C), 또는 (A, B, 및 C)를 의미한다.
본 설명은 "실시예에서" 또는 "실시예들에서"라는 문구들을 사용할 수 있고, 이들 각각은 동일한 또는 상이한 실시예들 중 하나 이상을 언급할 수 있다. 더욱이, 본 개시의 실시예들과 관련하여 사용되는 바와 같은 "포함하는", "구비하는", "갖는", 및 그와 유사한 용어들은 동의어들이다.
본 명세서에서 사용되는, "모듈"이라는 용어는 주문형 집적 회로(ASIC), 전자 회로, 하나 이상의 소프트웨어 또는 펌웨어 프로그램을 실행하는 프로세서(공유, 전용 또는 그룹) 및/또는 메모리(공유, 전용 또는 그룹), 조합 로직 회로(combinational logic circuit), 및/또는 설명된 기능성을 제공하는 다른 적합한 컴포넌트들을 언급하거나, 그것의 일부이거나 또는 그것을 포함할 수 있다.
본 명세서에서 사용되는, "통신 디바이스"라는 용어는 통신 애플리케이션을 갖는 컴퓨팅 디바이스를 포함한다. 문맥상 명확하게 달리 지시하지 않는 한 "키보드"라는 용어는 소프트 키보드를 언급한다. "키"라는 용어는 마찬가지로 문맥상 명확하게 달리 지시하지 않는 한 소프트 키를 언급한다.
이제 도 1을 참조하면, 다양한 실시예들에 따른, 본 개시의 아바타 키보드와 통합된 컴퓨팅/통신 디바이스의 블록도가 도시되어 있다. 도시된 바와 같이, 컴퓨팅/통신 디바이스(100)(이하, 간단히 통신 디바이스)는 애플리케이션(102), 예를 들어, 채팅 애플리케이션, 메시징 애플리케이션, 이메일 애플리케이션, 소셜 네트워킹 애플리케이션 등(이에 제한되지 않음)과 같은 통신 애플리케이션을 포함할 수 있다. 통신 디바이스(100)는 입력들을 애플리케이션(102)에 제공하기 위해 사용하기 위한 복수의 키보드(112-116)를 제공하는 키보드(KB) 모듈(104)을 추가로 포함할 수 있다. 복수의 키보드(112-116)는 영숫자 KB(112)(도 2 참조), 이모티콘 KB(114)(도 2 참조) 및 아바타 KB(116)를 포함한다. 아바타 KB(116)는 복수의 아바타에 대응하는 복수의 아바타 키를 포함할 수 있다. 또한, 통신 디바이스(100)는 KB 모듈(104)이 아래 더 상세히 설명될 아바타 키들에 대응하는 아바타들의 커스터마이즈 및/또는 애니메이션을 지원할 수 있게 하기 위해 KB 모듈(104)과 동작 가능하게 결합되고 협력하는 아바타 애니메이션 엔진(AEE)(106) 및 카메라(108)를 포함할 수 있다. 실시예들에서, KB 모듈(104)은 주문형 집적 회로(ASIC), 본 명세서에서 설명된 동작 로직으로 프로그램된 프로그래밍 가능 로직과 같은 하드웨어, 또는 통신 디바이스(100)의 호스트 프로세서에 의해 동작되는 소프트웨어, 또는 이들의 조합으로 구현될 수 있다.
도 1에는 또한 예시적인 채팅 애플리케이션(102)의 예시적인 디스플레이 표면 인스턴스(122)가 도시되어 있다. 도시된 바와 같이, 디스플레이 표면(122)의 인스턴스는 통신 디바이스(100)의 사용자와 채팅 세션의 하나 이상의 다른 사용자 사이의 가장 최근의 통신 교환을 나타내는 대화 영역을 포함할 수 있다. 디스플레이 표면(122)의 인스턴스는 또한 전송 이전에, 입력된 텍스트, 이모티콘, 스티커 및/또는 아바타를 나타내는 입력 영역(126)을 포함할 수 있다. 디스플레이 표면(122)의 인스턴스는 또한 다수의 아바타 키를 갖는 도시된 아바타 KB(116)와 같은 현재 KB를 포함할 수 있다. 다른 KB들과 유사하게, 아바타는 대응하는 아바타 키의 탭(tapping)을 통한 입력을 위해 선택될 수 있다. 실시예들에서, 아바타는 제어 키/아이콘, 예를 들어 제어 키/아이콘(132); 또는 다른 수단의 탭을 통한 입력을 위해 선택될 수 있다.
또한, 제어 키/아이콘(132)에 추가하여, 디스플레이 표면(122)의 인스턴스는 또한 다른 KB들로 전환하기 위한 제어 아이콘(130), 스크롤하여 다른 아바타 키들을 보여주기 위한 제어 아이콘들(131 및 133), 추가 제어 아이콘들을 디스플레이하기 위한 제어 아이콘(134), 오디오 입력을 제공하기 위해 통신 디바이스(100)의 마이크로폰(도시되지 않음)을 열기 위한 제어 아이콘(135), 또는 사진을 촬영하기 위해 카메라(108)를 열기 위한 제어 아이콘(136)(이에 제한되지 않음)과 같은 다수의 다른 제어 아이콘들을 포함할 수 있다.
실시예들에서, 제어 아이콘(132)은 또한 예를 들어 탭하고 일시적으로 제어 아이콘을 유지함으로써 선택된 아바타를 커스터마이즈 또는 애니메이션하기 위해 커스터마이즈/애니메이션 모드에 들어가기 위해 사용될 수 있다. 다른 실시예들에서, 커스터마이즈/애니메이션 모드는 또한, 예를 들어, 아바타를 가볍게 두드리는 것에 의해 입력될 수 있다; 또는 다른 수단.
실시예들에서, KB 모듈(104)은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현의 예들은 주문형 집적 회로(ASIC) 또는 본 명세서에 설명된 동작 로직으로 프로그램된 FPGA(Field Programmable Gate Arrays)와 같은 프로그래밍 가능 회로를 포함할 수 있지만, 이에 제한되는 것은 아니다. 소프트웨어 구현의 예들은 통신 디바이스(100)의 호스트 프로세서(도시되지 않음)에 의해 지원되는 기계 명령어들로 컴파일된 어셈블러 또는 하이 레벨 언어 구현들을 포함할 수 있다.
실시예들에서는, 이해의 편의상, 도시되어 있지 않지만, 통신 디바이스(100)는 또한 프로세서(단일 또는 다중 코어), 메모리(휘발성 또는 비휘발성), 운영 체제, 그래픽 코프로세서, 디지털 신호 프로세서, 통신 인터페이스(유선 또는 무선) 등(이에 제한되지 않음)과 같은 다른 컴포넌트들을 포함할 수 있다. 무선 통신 인터페이스의 예로는 Bluetooth®, WiFi, LTE 등을 포함할 수 있지만 이에 제한되지 않는다. 본 명세서에 포함된 아바타 KB 기술을 제외하고, 통신 디바이스(100)는 다르게는 스마트폰, 컴퓨팅 태블릿, 울트라북, 게임 콘솔, 셋톱 박스, 스마트 TV 등(이에 제한되지 않음)을 포함하는, 이 분야에 공지된 다수의 컴퓨팅/통신 디바이스 중 임의의 하나일 수 있다.
앞서 언급된 바와 같이, 도 2는 다양한 실시예들에 따른, 컴퓨팅/통신 디바이스(100)에 의해 지원되는 예시적인 추가 키보드들을 도시한다. 특히, 도 2의 좌측은 영숫자 KB(112)를 도시하고, 도 2의 우측은 이모티콘 KB(114)를 도시하고, 그 각각은 KB에 대한 요청에 응답하여, 예를 들어, 도 1의 제어 아이콘(130)의 탭을 통하여 호출될 수 있다.
이해의 편의상, KB 모듈(104)은 3개의 KB(112-116)를 지원하는 것으로 설명되지만, 본 개시는 그렇게 제한되지 않는다. 실시예들에서, KB 모듈(104)은 예를 들어, 다른 라틴어 언어, 불어, 포르투갈어 ..., 또는 아랍어, 페르시아어, 일본어, 중국어 간체자/번체자 등과 같은 다른 비라틴 언어의 KB를 포함하여, 더 적은 또는 더 많은 KB를 지원할 수 있다.
이제 도 3 내지 도 5를 참조하면, 다양한 실시예들에 따른, 본 개시의 아바타 KB(116)의 예시적인 사용법들이 도시되어 있다. 도 3에 도시된 바와 같이, 커스터마이즈/애니메이션 모드로의 진입시에, 선택된 아바타(138)는 아바타 KB(116)의 하나의 영역에 도시되고, 카메라의 현재 뷰(144)는 아바타 KB(116)의 또 다른 영역에 도시된다. 아래에 더 충분히 설명되는 바와 같이, 커스터마이즈/애니메이션 모드에 있는 동안, KB 모듈(104)은 AAE(106)를 사용하여 사용자의 얼굴 표정들 및/또는 머리 포즈들에 대해 카메라(108)에 의해 캡처된 하나 이상의 이미지를 분석하고, 사용자의 얼굴 표정들 및/또는 머리 포즈들의 분석 결과에 적어도 부분적으로 기초하여, 선택된 아바타(138)를 커스터마이즈/애니메이션할 수 있다. 실시예들에서, 제어 아이콘(142)은 선택된 아바타(138)의 커스터마이즈/애니메이션을 시작 및 중지하기 위해 제공될 수 있다. 또한, 실시예들에서, 제어 아이콘(140)은 사용자가 대신 커스터마이즈/애니메이션하기 위한 또 다른 아바타를 선택하기 위해 아바타 갤러리 사이를 이동하기 위해 제공될 수 있다.
도 4는 커스터마이즈된 아바타(단일 이미지 프레임을 수반함)가 애플리케이션(102)에 입력되고 애플리케이션(102)에 의해 전송된 후에 애플리케이션(102)의 디스플레이 표면(122)의 예시적인 인스턴스를 도시한다. 도 5는 애니메이션된 아바타(복수의 이미지 프레임을 수반함)가 애플리케이션(102)에 입력되고 애플리케이션(102)에 의해 전송된 후에 애플리케이션(102)의 디스플레이 표면(122)의 예시적인 인스턴스를 도시한다.
이제 도 6 내지 도 7을 참조하면, 다양한 실시예들에 따른, KB 모듈(104)의 예시적인 동작 흐름을 도시하는 2개의 흐름도가 도시되어 있다. 전술한 영숫자 KB(112), 이모티콘 KB(114) 및 아바타 KB(116)를 포함하여 다양한 KB들을 제공하기 위한 프로세스(150)는 블록 152-154에서의 동작들을 포함할 수 있다. 아바타 KB(116)를 제공하기 위한 프로세스(160)는 블록 162-176에서의 동작들을 포함할 수 있다. 이들 동작은 예를 들어 도 1의 KB 모듈(104)에 의해 수행될 수 있다.
도시된 바와 같이, 프로세스(150)는 블록 152에서 시작될 수 있다. 블록 152에서, 현재 KB, 예를 들어 영숫자 KB(112), 이모티콘 KB(114) 또는 아바타 KB(116)가 디스플레이될 수 있다. 다음으로, 블록 154에서, 디스플레이된 KB는 대응하는 KB 모드, 예를 들어 영숫자 KB 모드, 이모티콘 KB 모드, 및 아바타 KB 모드에서 동작될 수 있다. 영숫자 KB 모드 및 이모티콘 KB 모드 내의 동작들은 이 분야에 공지되어 있으므로, 더 이상 설명하지 않는다. 아바타 KB 모드 내의 예시적인 동작들은 도 7을 참조하여 아래에 더 설명될 것이다.
프로세스(150)는 현재 KB를 전환하라는 요청이 수신될 때까지 블록 154에서 유지될 수 있다. 전환 요청을 수신하면, 프로세스(150)는 블록 152로 되돌아가서, 현재 KB를 다음 KB로 전환하고, 전술한 바와 같이, 그로부터 계속될 수 있다. 실시예들에서, KB는 라운드 로빈 방식으로 전환될 수 있다.
아바타 KB를 동작시키기 위한 프로세스(160)는 아바타 KB 모드로의 진입시에 블록 162에서 시작될 수 있다. 블록 162에서, 아바타 키들의 세트가 디스플레이될 수 있다. 다음으로, 블록 164에서, 프로세스(160)는 사용자 선택 및/또는 명령을 기다릴 수 있다. 블록 164로부터, 프로세스(160)는 블록 166, 168, 174 또는 176으로 진행할 수 있다. 프로세스(160)는 스크롤 명령의 수신시 블록 166으로 진행할 수 있다. 스크롤 명령에 응답하여, 또 다른 아바타 키들의 세트가 디스플레이될 수 있다. 스크롤 시, 프로세스(160)는 블록 164로 되돌아가서 전술한 바와 같이 그로부터 진행할 수 있다.
프로세스(160)는 커스터마이즈/애니메이션 명령의 수신시에 블록 168로 진행할 수 있다. 블록 168에서, 프로세스(160)는 전술한 바와 같이 커스터마이즈/애니메이션 모드에 진입할 수 있다. 다음으로, 블록 170에서, 디바이스 카메라가 활성화되거나 열릴 수 있다. 172에서, AAE는 선택된 아바타를 커스터마이즈 또는 애니메이션하도록 동작될 수 있다. 커스터마이즈/애니메이션의 완료시, 프로세스(160)는 블록 164로 되돌아가서 전술한 바와 같이 그로부터 진행할 수 있다. 아바타의 애니메이션 및 AAE는 도 8 내지 도 9를 참조하여 아래에 더 설명될 것이다.
프로세스(160)는 애플리케이션에 입력하기 위한 아바타를 선택하기 위해 선택 명령, 예를 들어 아바타 키의 탭의 수신시 블록 174로 진행할 수 있다. 이에 응답하여, 애플리케이션은 선택을 통지받을 수 있고, 선택된 아바타(커스터마이즈 또는 애니메이션될 수 있음)로 입력될 수 있다. 입력시, 프로세스(160)는 블록 164로 되돌아가서 전술한 바와 같이 그로부터 진행할 수 있다.
프로세스(160)는 다른 명령들의 수신시 블록 176으로 진행할 수 있다. 이에 응답하여, 다른 명령들은 애플리케이션 종속적인 방식으로 처리될 수 있고, 이 방식은 명령마다, 그리고 실시예들마다 달라질 수 있다. 또 다른 명령의 처리의 완료시에, 프로세스(160)는 블록 164로 되돌아가서 전술한 바와 같이 그로부터 진행할 수 있다.
이제 도 8 내지 도 9를 참조하면, 다양한 실시예들에 따른, 도 1의 아바타 애니메이션 엔진을 더 도시하는 2개의 블록도가 도시되어 있다. 도시된 바와 같이, AAE(106)는 도시된 바와 같이 서로 결합된 얼굴 표정 추적기/분석기(182), 및 애니메이터(184)를 포함할 수 있다. 실시예들에서, 얼굴 표정 추적기/분석기(182)는 복수의 이미지 프레임(118), 예를 들어 카메라(108)에 의해 캡처된 이미지 프레임들에 액세스하고, 얼굴 표정들 및/또는 머리 포즈들에 대해 이미지 프레임들을 분석하도록 구성될 수 있다. 또한, 얼굴 표정 추적기/분석기(182)는, 분석시, 결정된 얼굴 표정들 및/또는 머리 포즈들 중 어느 하나에 기초하여 아바타의 애니메이션을 구동하는 애니메이터(184)를 위한 복수의 애니메이션 메시지를 출력하도록 구성될 수 있다.
실시예들에서, 동작의 효율을 위해, 애니메이터(184)는 AAE(106)를 광범위의 모바일 디바이스들에 특히 적합하게 하는, 미리 정의된 복수의 블렌드 형상들로 아바타를 애니메이션하도록 구성될 수 있다. 중립적인 표정 및 열린 입, 미소 짓는 입, 올라간 눈썹, 내려간 눈썹, 눈을 깜박거림 등과 같은 일부 전형적인 표정들을 가진 모델이 먼저 사전에 미리 구축될 수 있다. 블렌드 형상들은 다양한 얼굴 표정 추적기/분석기(182) 성능 및 표적 모바일 디바이스 시스템 요구 사항에 대해 결정되거나 선택될 수 있다. 동작 동안, 얼굴 표정 추적기/분석기(182)는 다양한 블렌드 형상들을 선택할 수 있고, 결정된 얼굴 표정 및/또는 음성에 기초하여, 블렌드 형상들에 가중치들을 할당할 수 있다. 선택된 블렌드 형상들 및 그들의 할당된 가중치들은 애니메이션 메시지들(186)의 일부로서 출력될 수 있다.
블렌드 형상 선택, 및 블렌드 형상 가중치들(αi)의 수신시, 애니메이터(184)는 표현된 얼굴 결과들을 다음의 식(수학식 1)으로 생성할 수 있다:
Figure pat00001
여기서 B *는 표적 표현된 얼굴이고,
B0는 중립적인 표정을 가진 기본 모델이고,
ΔBi는 특정 표정에 대한 기본 모델에 기초한 정점 위치 오프셋을 저장하는 i번째 블렌드 형상이다.
더 구체적으로, 실시예들에서, 얼굴 표정 추적기/분석기(182)는 얼굴 표정 추적 기능, 및 애니메이션 메시지 생성 기능으로 구성될 수 있다. 실시예들에서, 얼굴 표정 추적 기능은 복수의 이미지 프레임 내의, 사용자의 얼굴의 얼굴 액션 움직임 및/또는 사용자의 머리의 머리 포즈 제스처를 검출하고, 결정된 얼굴 표정들 및/또는 머리 포즈들을 묘사하는 복수의 얼굴 파라미터를 실시간으로 출력하도록 구성될 수 있다. 예를 들어, 복수의 얼굴 움직임 파라미터는, 눈 및/또는 입 움직임들과 같은, 검출된 얼굴 액션 움직임들, 및/또는 머리 회전, 움직임, 및/또는 카메라로부터 더 가까워지거나 멀어지는 것과 같은, 검출된 머리 포즈 제스처들을 묘사하는 머리 포즈 제스처 파라미터들을 묘사할 수 있다.
실시예들에서, 얼굴 액션 움직임들 및 머리 포즈 제스처들은 예를 들어, 이미지 프레임의 픽셀 샘플링에 기초하여, 얼굴 상의 입과 눈, 및 머리에 대한 프레임 간 차이를 통해 검출될 수 있다. 기능 블록들 중 다양한 것들은 피치, 요 및/또는 롤을 포함하는 사용자의 머리의 회전 각도, 및 수평, 수직 방향을 따른 병진 이동 거리, 및 카메라로부터 더 가까워지거나 멀어지는 것을 계산하고, 궁극적으로 머리 포즈 제스처 파라미터의 일부로서 출력하도록 구성될 수 있다. 이 계산은 예를 들어 동적 템플릿 매칭, 재정합 등을 적용하여, 복수의 이미지 프레임의 서브샘플링된 픽셀들의 서브세트에 기초할 수 있다. 이들 기능은 충분히 정확하면서도, 요구되는 처리 능력이 확장될 수 있어, AAE(106)를 스마트폰 및/또는 컴퓨팅 태블릿과 같은 광범위의 모바일 컴퓨팅 디바이스들에 의해 호스팅되기에 특히 적합하게 할 수 있다.
예시적인 얼굴 표정 추적 기능은 도 9를 참조하여 나중에 더 설명될 것이다.
실시예들에서, 애니메이션 메시지 생성 기능은 사용자의 얼굴 표정들 및 머리 포즈들을 묘사하는 얼굴 표정 및 머리 포즈 파라미터들에 기초하여 아바타의 애니메이션을 구동하기 위해 애니메이션 메시지들(120)을 선택적으로 출력하도록 구성될 수 있다. 실시예들에서, 애니메이션 메시지 생성 기능은 아바타의 애니메이션을 위해 얼굴 액션 유닛들을 블렌드 형상들 및 그들의 할당된 가중치들로 변환하도록 구성될 수 있다. 얼굴 추적은 아바타 렌더링 측과 상이한 메시 기하 및 애니메이션 구조를 사용할 수 있기 때문에, 애니메이션 메시지 생성 기능은 또한 애니메이션 계수 변환 및 얼굴 모델 재표적화를 수행하도록 구성될 수 있다. 실시예들에서, 애니메이션 메시지 생성 기능은 블렌드 형상들 및 그 가중치들을 애니메이션 메시지들(186)로서 출력할 수 있다. 애니메이션 메시지(186)는 "내려간 아래 입술(lower lip down)"(LLIPD), "넓어진 양쪽 입술(both lips widen)"(BLIPW), 또는 "올라간 양쪽 입술(both lips up)"(BLIPU), "코 주름(nose wrinkle)"(NOSEW), "내려간 눈썹(eyebrow down)"(BROWD) 등과 같은 다수의 애니메이션을 지정할 수 있다.
여전히 도 8을 참조하면, 애니메이터(184)는 얼굴 표정 추적기/분석기(182)에 의해 출력된 애니메이션 메시지들(186)을 수신하고, 아바타상에서 사용자의 얼굴 표정들 및/또는 머리 포즈를 복제하기 위해, 아바타를 애니메이션하도록 아바타 모델을 구동하도록 구성될 수 있다.
실시예들에서, 애니메이터(184)는, 머리 회전 영향을 고려하는 얼굴 표정 및 머리 포즈 파라미터들을 고려하여 생성된 애니메이션 메시지들(120)에 기초하여 애니메이션할 때, 머리 회전 영향 가중치 생성기(도시되지 않음)에 의해 제공되는, 머리 회전 영향 가중치들에 따라 아바타를 애니메이션할 수 있다. 머리 회전 영향 가중치 생성기는 애니메이터(184)에 대한 머리 회전 영향 가중치들의 세트를 미리 생성하도록 구성될 수 있다. 이 실시예들에서, 애니메이터(184)는 얼굴 및 골격 애니메이션들 및 머리 회전 영향 가중치들의 적용을 통해 아바타를 애니메이션하도록 구성될 수 있다. 머리 회전 영향 가중치들은, 전술한 바와 같이, 머리 회전 영향 가중치 생성기에 의해 미리 생성되어, 예를 들어 머리 회전 영향 가중치 맵의 형태로 애니메이터(184)에 제공될 수 있다. 머리 회전 영향 가중치를 고려한 아바타 애니메이션은 2014년 7월 25일자로 출원된, 발명의 명칭이 "머리 회전을 갖는 아바타 얼굴 표정 애니메이션(AVATAR FACIAL EXPRESSION ANIMATIONS WITH HEAD ROTATION)”인 PCT 특허 출원 번호 PCT/CN2014/082989의 주제이다. 보다 상세한 것은 PCT 특허 출원 번호 PCT/CN2014/082989를 참조한다.
얼굴 표정 추적기/분석기(182) 및 애니메이터(184)는 각각 하드웨어, 예를 들어, ASIC, 또는 적절한 로직으로 프로그램된 FPGA와 같은 프로그래밍 가능 디바이스, 일반 및/또는 그래픽 프로세서에 의해 실행되는 소프트웨어, 또는 양자 모두로 구현될 수 있다.
움직임 전송 및 메시 변형과 같은 다른 얼굴 애니메이션 기법들과 비교하여, 얼굴 애니메이션에 블렌드 형상을 사용하는 것은 몇 가지 이점이 있다: 1) 표정 커스터마이즈: 아바타 모델들이 생성될 때, 아바타의 개념 및 특성들에 따라 표정들이 커스터마이즈될 수 있다. 아바타 모델들은 사용자들에게 더 재미있고 매력적으로 만들어질 수 있다. 2) 낮은 계산 비용: 계산은 모델 크기에 비례하도록 구성되고, 병렬 처리에 더 적합하게 될 수 있다. 3) 양호한 확장성: 프레임워크로의 더 많은 표정의 추가가 더 쉬워질 수 있다.
이 분야의 기술자들에게는 이 특징들이 개별적으로 그리고 조합으로, AAE(106)는 광범위한 모바일 컴퓨팅 디바이스에 의해 호스팅되기에 특히 적합하다는 것이 명백할 것이다. 그러나, AAE(106)는 스마트폰, 패블릿, 컴퓨팅 태블릿, 랩톱 컴퓨터 또는 e-리더와 같은 모바일 디바이스상에서 동작하기에 특히 적합하도록 설계되지만, 본 개시는 그에 제한되지 않는다. KB 모듈(104) 및 AAE(106)는 데스크톱 컴퓨터, 게임 콘솔, 셋톱 박스, 또는 컴퓨터 서버와 같은 전형적인 모바일 디바이스보다 더 높은 계산 능력을 갖는 컴퓨팅 디바이스상에서 동작될 수도 있을 것으로 예상된다.
이제 도 9를 참조하면, 도 8의 얼굴 표정 추적 기능의 예시적인 구현이 다양한 실시예들에 따라 더 상세히 설명된다. 도시된 바와 같이, 실시예들에서, 얼굴 표정 추적 기능은 도시된 바와 같이 서로 결합된, 얼굴 검출 기능 블록(202), 랜드마크 검출 기능 블록(204), 초기 얼굴 메시 피팅 기능 블록(206), 얼굴 표정 추정 기능 블록(208), 머리 포즈 추적 기능 블록(210), 입 개방 상태 추정 기능 블록(212), 얼굴 메시 추적 기능 블록(214), 추적 확인 기능 블록(216), 눈 깜빡임 검출 및 입 교정 기능 블록(218), 및 얼굴 메시 적응 블록(220)을 포함한다.
실시예들에서, 얼굴 검출 기능 블록(202)은 수신된 복수의 이미지 프레임 중 하나 이상의 이미지 프레임의 윈도우 스캔을 통해 얼굴을 검출하도록 구성될 수 있다. 각각의 윈도우 위치에서, MCT(modified census transform) 특징들이 추출될 수 있고, 캐스케이드 분류기가 얼굴을 찾기 위해 적용될 수 있다. 랜드마크 검출 기능 블록(204)은 얼굴상의 랜드마크 포인트들, 예를 들어 눈 중심, 코 끝, 입 가장자리, 및 얼굴 윤곽 포인트들을 검출하도록 구성될 수 있다. 얼굴 직사각형이 주어지면, 초기 랜드마크 위치가 평균 얼굴 형상에 따라 주어질 수 있다. 그 후, 정확한 랜드마크 위치들은 명시적 형상 회귀(explicit shape regression, ESR) 방법을 통해 반복적으로 발견될 수 있다.
실시예들에서, 초기 얼굴 메시 피팅 기능 블록(206)은 얼굴상에서 검출된 복수의 랜드마크 포인트에 적어도 부분적으로 기초하여 얼굴 메시의 3D 포즈를 초기화하도록 구성될 수 있다. Candide3 와이어프레임 머리 모델이 사용될 수 있다. 머리 모델의 회전 각도, 병진 벡터 및 스케일링 인자가 POSIT 알고리즘을 사용하여 추정할 수 있다. 결과적으로, 이미지 평면상의 3D 메시의 투영은 2D 랜드마크들과 일치할 수 있다. 얼굴 표정 추정 기능 블록(208)은 얼굴상에서 검출된 복수의 랜드마크 포인트에 적어도 부분적으로 기초하여 복수의 얼굴 움직임 파라미터를 초기화하도록 구성될 수 있다. Candide3 머리 모델은 입의 폭, 입의 높이, 코의 주름, 눈의 열림과 같은 얼굴 액션 파라미터들(FAU)에 의해 제어할 수 있다. 이 FAU 파라미터들은 최소 제곱법 피팅을 통해 추정될 수 있다.
머리 포즈 추적 기능 블록(210)은 피치, 요 및/또는 롤을 포함하는 사용자의 머리의 회전 각도, 및 수평, 수직 방향을 따른 병진 이동 거리, 및 카메라로부터 더 가까워지거나 멀어지는 것을 계산하도록 구성될 수 있다. 이 계산은 동적 템플릿 매칭 및 재정합을 적용하여, 복수의 이미지 프레임의 서브샘플링된 픽셀들의 서브세트에 기초할 수 있다. 입 개방 상태 추정 기능 블록(212)은 입의 위 입술 및 아래 입술의 열림 거리를 계산하도록 구성될 수 있다. 입 기하(열림/닫힘)와 외형의 상관 관계는 샘플 데이터베이스를 사용하여 훈련될 수 있다. 또한, 입 열림 거리는 FERN 회귀를 적용하여, 복수의 이미지 프레임 중 현재 이미지 프레임의 서브샘플링된 픽셀의 서브세트에 기초하여 추정될 수 있다.
얼굴 메시 추적 기능 블록(214)은 복수의 이미지 프레임의 서브샘플링된 픽셀의 서브세트에 기초하여, 얼굴의 연속적인 커버리지 및 얼굴 메시에 의한 얼굴 움직임의 반영을 유지하기 위해 얼굴 메시의 위치, 방향 또는 변형을 조정하도록 구성될 수 있다. 이 조정은 Candide3 모델에서 미리 정의된 FAU 파라미터들에 따라, 연속적인 이미지 프레임들의 이미지 정렬을 통해 수행될 수 있다. 머리 포즈 추적 기능 블록(210) 및 입 개방 상태의 결과들은 파라미터 최적화에 대한 소프트 제약들로서 작용할 수 있다. 추적 확인 기능 블록(216)은 얼굴 메시 추적 상태를 모니터링하여, 얼굴을 재배치할 필요가 있는지를 결정하도록 구성될 수 있다. 추적 확인 기능 블록(216)은 결정을 내리기 위해 하나 이상의 얼굴 영역 또는 눈 영역 분류기를 적용할 수 있다. 추적이 원활하게 실행된다면, 동작은 다음 프레임 추적으로 계속될 수 있고, 그렇지 않으면, 동작은 얼굴 검출 기능 블록(202)으로 되돌아가서, 현재 프레임에 대해 얼굴이 재배치되게 할 수 있다.
눈 깜박임 검출 및 입 교정 기능 블록(218)은 눈 깜박임 상태 및 입 형상을 검출하도록 구성될 수 있다. 눈 깜박임은 옵티컬 플로우 분석을 통해 검출될 수 있는 반면, 입 형상/움직임은 입에 대한 프레임 간 히스토그램 차이들의 검출을 통해 추정할 수 있다. 전체 얼굴 메시 추적의 개선으로서, 눈 깜박임 검출 및 입 교정 기능 블록(216)은 더 정확한 눈 깜빡임 추정을 산출하고, 입 움직임 감도를 향상시킬 수 있다.
얼굴 메시 적응 기능 블록(220)은 파생된 얼굴 액션 유닛들에 따라 얼굴 메시를 재구성하고, 다음 이미지 프레임의 처리를 설정하기 위해 얼굴 메시 하에 현재 이미지 프레임을 다시 샘플링하도록 구성될 수 있다.
설명된 예시적인 얼굴 표정 추적 기능은 2014년 3월 19일자로 출원된, 발명의 명칭이 "얼굴 표현 및/또는 상호 작용 기반의 아바타 장치 및 방법(FACIAL EXPRESSION AND/OR INTERACTION DRIVEN AVATAR APPARATUS AND METHOD)”인, 계류중인 특허 출원인 PCT 특허 출원 번호 PCT/CN2014/073695의 주제이다. 설명된 바와 같이, 기능 블록들 사이의 작업 부하들의 아키텍처, 분포는 얼굴 표정 추적 기능(122)을 랩톱 또는 데스크톱 컴퓨터, 또는 서버와 비교하여, 비교적 제한된 컴퓨팅 자원을 갖는 휴대용 디바이스에 특히 적합하게 만든다. 보다 상세한 것은, PCT 특허 출원 번호 PCT/CN2014/073695를 참조한다.
대안 실시예들에서, 얼굴 표정 추적 기능은 이 분야에 공지된 다수의 다른 얼굴 추적기 중 임의의 하나일 수 있다.
도 10은 본 개시의 선택된 양태들을 실시하기 위한 클라이언트 디바이스 또는 서버로서 사용하기에 적합할 수 있는 예시적인 컴퓨터 시스템을 도시한다. 도시된 바와 같이, 컴퓨터(500)는 하나 이상의 프로세서 또는 프로세서 코어(502), 및 시스템 메모리(504)를 포함할 수 있다. 청구항들을 포함하는 본 출원의 목적을 위해, "프로세서"라는 용어는 물리적 프로세서를 언급하고, "프로세서" 및 "프로세서 코어"라는 용어들은 문맥상 명확하게 달리 요구하지 않는 한, 동의어로 간주될 수 있다. 또한, 컴퓨터(500)는 대용량 저장 디바이스들(506)(예를 들어, 디스켓, 하드 드라이브, 컴팩트 디스크 판독 전용 메모리(CDROM) 등), 입력/출력 디바이스들(508)(예를 들어, 디스플레이, 키보드, 커서 컨트롤 등), 및 통신 인터페이스들(510)(예를 들어, 네트워크 인터페이스 카드, 모뎀 등)을 포함할 수 있다. 요소들은, 하나 이상의 버스를 나타낼 수 있는, 시스템 버스(512)를 통해 서로 결합될 수 있다. 다수의 버스의 경우, 이들은 하나 이상의 버스 브리지(도시되지 않음)에 의해 브리징될 수 있다.
이 요소들 각각은 이 분야에 공지된 그의 종래의 기능들을 수행할 수 있다. 특히, 시스템 메모리(504) 및 대용량 저장 디바이스들(506)은 집합적으로 계산 로직(522)이라고 언급되는, 전술한 KB 모듈(104) 및/또는 AAE(106)와 관련된 동작들을 구현하는 프로그래밍 명령어들의 작업 복사본 및 영구 복사본을 저장하기 위해 사용될 수 있다. 다양한 요소들은 프로세서(들)(502)에 의해 지원되는 어셈블러 명령어들 또는 그러한 명령어들로 컴파일될 수 있는 예를 들어 C와 같은 하이-레벨 언어들에 의해 구현될 수 있다.
이 요소들(510-512)의 수, 능력 및/또는 용량은, 컴퓨터(500)가 클라이언트 디바이스로서 사용되는지 서버로서 사용되는지에 따라서, 달라질 수 있다. 클라이언트 디바이스로 사용하는 경우, 이 요소들(510-512)의 능력 및/또는 용량은 클라이언트 디바이스가 거치형인지 스마트폰, 컴퓨팅 태블릿, 울트라북 또는 랩톱 컴퓨터와 같은 모바일 디바이스인지에 따라 달라질 수 있다. 그렇지 않으면, 요소들(510-512)의 구성들은 공지되어 있고, 따라서 더 이상 설명되지 않을 것이다.
이 분야의 기술자에 의해 이해되는 바와 같이, 본 개시는 방법들 또는 컴퓨터 프로그램 제품들로서 구현될 수 있다. 따라서, 본 개시는 전술한 바와 같이 하드웨어로 구현되는 것 이외에, (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함하는) 완전 소프트웨어 실시예 또는 모두가 일반적으로 "회로", "모듈" 또는 "시스템"이라고 언급될 수 있는 소프트웨어 및 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있다. 또한, 본 개시는 매체에 구현된 컴퓨터 사용 가능 프로그램 코드를 갖는 표현의 임의의 유형적인 또는 비일시적인 매체로 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 도 11은 명령어들을 저장하는 데 사용하기에 적합할 수 있는 예시적인 컴퓨터 판독 가능 비일시적 저장 매체를 도시하는 것으로, 그 명령어들이 장치에 의해 실행되는 것에 응답하여, 장치는 본 개시의 선택된 양태들을 실시하게 된다. 도시된 바와 같이, 비일시적 컴퓨터 판독 가능 저장 매체(602)는 다수의 프로그래밍 명령어들(604)을 포함할 수 있다. 프로그래밍 명령어들(604)은 디바이스, 예를 들어, 컴퓨터(500)가, 그 프로그래밍 명령어들의 실행에 응답하여, 예를 들어 도 1 내지 도 9를 참조하여 설명된 KB 모듈(104) 및/또는 AAE(106)와 관련된 다양한 동작들을 수행할 수 있게 하도록 구성될 수 있다. 대안 실시예들에서, 프로그래밍 명령어들(604)은 그 대신 다수의 컴퓨터 판독 가능 비일시적 저장 매체(602)상에 배치될 수 있다. 대안 실시예들에서, 프로그래밍 명령어들(604)은 신호와 같은 컴퓨터 판독 가능 일시적 저장 매체(602)상에 배치될 수 있다.
하나 이상의 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체의 임의의 조합이 이용될 수 있다. 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체는, 예를 들어, 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 디바이스, 또는 전파 매체일 수 있지만, 이들로만 제한되지는 않는다. 컴퓨터 판독 가능 매체의 더 구체적인 예들(모든 것을 나열한 완전한 목록은 아님)은 다음을 포함할 것이다: 하나 이상의 배선을 갖는 전기 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능하고 프로그래밍 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광 섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학적 저장 디바이스, 인터넷 또는 인트라넷을 지원하는 것들과 같은 전송 매체, 또는 자기 저장 디바이스. 유의할 점은 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체/매체들은 심지어 종이 또는 프로그램이 인쇄되기에 적합한 또 다른 매체일 수 있는데, 그 이유는 프로그램이, 예를 들어, 종이 또는 다른 매체의 광학적 스캐닝을 통해, 전자적으로 캡처되고, 다음으로, 필요하다면, 적합한 방식으로 컴파일, 해석, 또는 달리 처리되고 나서, 컴퓨터 메모리에 저장될 수 있기 때문이다. 본 명세서와 관련하여, 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 그와 관련하여 사용될 프로그램을 포함, 저장, 통신, 전파 또는 전송할 수 있는 임의의 매체일 수 있다. 컴퓨터 사용 가능 매체는 베이스밴드 내에서 또는 반송파(carrier wave)의 일부로서, 컴퓨터 사용 가능 프로그램 코드가 구현된, 전파된 데이터 신호를 포함할 수 있다. 컴퓨터 사용 가능 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다.
본 개시의 동작들을 수행하기 위한 컴퓨터 프로그램 코드는 자바, 스몰토크, C++ 또는 유사한 것과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 프로그램 코드는, 전체가 사용자의 컴퓨터에서, 일부가 사용자의 컴퓨터에서, 독립형 소프트웨어 패키지로서, 일부는 사용자의 컴퓨터에서 일부는 원격 컴퓨터에서, 또는 전체가 원격 컴퓨터 또는 서버에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 그 연결은 외부 컴퓨터에 대해(예를 들어, 인터넷 서비스 제공자를 이용하는 인터넷을 통해) 이루어질 수 있다.
본 개시는 본 개시의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명된다. 흐름도 및/또는 블록도의 각각의 블록, 및 흐름도 및/또는 블록도 내의 블록들의 결합들은 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다는 것이 이해될 것이다. 이 컴퓨터 프로그램 명령어들은 기계를 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터 및/또는 다른 프로그래밍 가능한 데이터 처리 장치의 프로세서에 제공할 수 있고, 따라서 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 장치의 프로세서를 통해 실행되는 명령어들은 흐름도 및/또는 블록도 블록 또는 블록들에서 지정된 기능들/동작들을 구현하기 위한 수단을 형성한다.
이 컴퓨터 프로그램 명령어들은 컴퓨터 또는 다른 프로그래밍 가능 데이터 처리 장치가 특정한 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 매체에 저장될 수도 있어서, 컴퓨터 판독 가능 매체에 저장된 명령어는 흐름도 및/또는 블록도의 블록 또는 블록들에 명시된 기능/동작을 구현하는 명령어 수단을 포함하는 제조물을 생성한다.
컴퓨터 프로그램 명령어들은 컴퓨터 또는 다른 프로그래밍 가능 데이터 처리 장치에 로딩될 수도 있어, 흐름도 및/또는 블록도의 블록 또는 블록들에 지정된 기능들/동작들을 구현하기 위한 프로세스를 컴퓨터 또는 다른 프로그래밍 가능 장치에서 실행되는 명령어들이 제공하도록 컴퓨터 구현 프로세스를 생성하도록 일련의 동작 단계들이 컴퓨터 또는 다른 프로그래밍 가능 장치에서 수행되게 할 수 있다.
도면들 내의 흐름도 및 블록도들은 본 개시의 다양한 실시예들에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능, 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각각의 블록은 모듈, 세그먼트, 또는 코드 부분을 나타낼 수 있고, 이들은 지정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함한다. 또한 일부 대안 실시예들에서 블록에 나타낸 기능은 도면에 나타낸 순서와는 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어 연속한 2개의 블록은 실제로는 거의 동시에 실행될 수 있고, 블록들은 때로는 관련 기능에 따라서는 역순으로 실행될 수 있다. 블록도들 및/또는 흐름도의 각각의 블록, 및 블록도들 및/또는 흐름도 내의 블록들의 조합들은 지정된 기능들 또는 동작들을 수행하는 특수 목적 하드웨어 기반 시스템들, 또는 특수 목적 하드웨어와 컴퓨터 명령어들의 조합들에 의해 구현될 수 있다는 점에도 유의할 것이다.
본 명세서에서 사용되는 용어는 특정 실시예들을 설명하기 위한 것일 뿐이며, 본 개시를 한정하지 않는다. 본 명세서에서 사용될 때, 단수 형태들("a", "an" 및 "the")은, 문맥상 명확하게 달리 지시하지 않는 한, 복수 형태들도 포함하는 것을 의도한다. 본 명세서에서 사용되는 "포함한다" 및/또는 "포함하는"이라는 용어는 명시된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 나타내지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 더 이해될 것이다.
실시예들은 컴퓨터 프로세스, 컴퓨팅 시스템, 또는 제조물, 예로서 컴퓨터 판독 가능 매체의 컴퓨터 프로그램 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독 가능하고 컴퓨터 프로세스를 실행하는 컴퓨터 프로그램 명령어를 인코딩하는 컴퓨터 저장 매체일 수 있다.
이하의 청구항들에 있는 모든 수단 또는 단계 플러스 기능 요소들의 대응하는 구조, 재료, 동작, 및 등가물은 구체적으로 청구되는 다른 청구된 요소들과 관련하여 기능을 수행하는 임의의 구조, 재료, 또는 동작을 포함하는 것으로 의도된다. 본 개시의 설명은 도시 및 설명을 목적으로 제시된 것이지만, 완벽하게 설명하거나 개시된 형태의 본 명세서로 제한하도록 의도된 것은 아니다. 통상의 기술자들에게는 본 개시의 범위 및 사상을 벗어나지 않고 다수의 수정 및 변경이 명백할 것이다. 실시예들은 본 개시의 원리 및 실제 응용을 가장 잘 설명하고, 이 분야의 통상의 지식을 가진 다른 자들이 본 개시를 고려되는 특정 용도에 적합하도록 다양하게 수정된 다양한 실시예들에 대해 이해할 수 있도록 하기 위해 선택되고 기술된 것이다.
도 5를 다시 참조하면, 일 실시예에서, 프로세서들(502) 중 적어도 하나는 (메모리(504) 및 저장 디바이스(506)에 저장하는 대신에) 계산 로직(522)을 갖는 메모리와 함께 패키징될 수 있다. 일 실시예에서, 프로세서들(502) 중 적어도 하나는 시스템 인 패키지(SiP)를 형성하도록 계산 로직(522)을 갖는 메모리와 함께 패키징될 수 있다. 일 실시예에서, 프로세서들(502) 중 적어도 하나는 계산 로직(522)을 갖는 메모리와 동일한 다이상에 집적될 수 있다. 일 실시예에서, 프로세서들(502) 중 적어도 하나는 시스템 온 칩(SoC)을 형성하도록 계산 로직(522)를 갖는 메모리와 함께 패키징될 수 있다. 적어도 하나의 실시예에서, SoC는 예를 들어, 스마트폰 또는 컴퓨팅 태블릿에서 이용될 수 있지만, 이에 제한되지 않는다.
이와 같이 다음을 포함하지만 이에 제한되지 않는 본 개시의 다양한 예시적인 실시예들이 설명되었다:
예 1은 통신을 위한 장치일 수 있고, 이 장치는: 애플리케이션을 실행하기 위한 하나 이상의 프로세서; 및 상기 애플리케이션에 입력하기 전에, 사용자의 얼굴 표정들 또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있는 대응하는 아바타들을 갖는 복수의 아바타 키를 갖는, 아바타 키보드 모드에서의 아바타 키보드를 포함하여, 상기 애플리케이션에 입력하기 위한 대응하는 복수의 키보드 모드에서의 복수의 키보드를 제공하기 위해 상기 하나 이상의 프로세서와 결합된 키보드 모듈을 포함한다.
예 2는 예 1일 수 있고, 상기 복수의 키보드는 영숫자 키보드 또는 이모티콘 키보드를 추가로 포함할 수 있고; 상기 키보드 모듈은 상기 아바타 키보드에 대한 요청에 응답하여, 상기 아바타 키보드 모드에 진입하고, 사용을 위해 상기 아바타 키보드를 디스플레이하는 것이다.
예 3은 예 1 또는 예 2일 수 있고, 상기 키보드 모듈은 아바타 키를 커스터마이즈 또는 애니메이션하기 위한 요청에 응답하여, 상기 아바타 키보드 모드 내에서 커스터마이즈/애니메이션 모드에 진입하고, 상기 장치의 사용자의 하나 이상의 이미지를 캡처하기 위해 카메라를 열 수 있다.
예 4는 예 3일 수 있고, 상기 키보드 모듈은 추가로 상기 아바타 키보드의 영역에서 상기 카메라의 현재 뷰를 디스플레이하거나 그 디스플레이를 용이하게 할 수 있다.
예 5는 예 3일 수 있고, 상기 장치는 상기 카메라를 추가로 포함할 수 있다.
예 6은 예 3일 수 있고, 상기 키보드 모듈은 추가로 아바타 애니메이션 엔진에 상기 하나 이상의 이미지를 제공하거나 제공되게 하여 상기 사용자의 얼굴 표정 또는 머리 포즈에 대해 상기 하나 이상의 이미지를 분석하고, 상기 사용자의 얼굴 표정 또는 머리 포즈에 대한 상기 분석의 결과에 적어도 부분적으로 기초하여 상기 복수의 아바타 키 중 선택된 하나의 아바타 키를 커스터마이즈 또는 애니메이션할 수 있다.
예 7은 예 6일 수 있고, 상기 장치는 상기 아바타 애니메이션 엔진을 추가로 포함할 수 있다.
예 8은 예 1 내지 예 7 중 어느 하나일 수 있고, 상기 키보드 모듈은 상기 복수의 아바타 키 중 대응하는 하나의 아바타 키의 선택에 응답하여, 아바타 또는 아바타의 애니메이션을 상기 애플리케이션에 입력할 수 있다.
예 9는 예 8일 수 있고, 상기 애플리케이션은 채팅 애플리케이션, 메시징 애플리케이션, 이메일 애플리케이션 또는 소셜 네트워킹 애플리케이션으로 이루어진 그룹으로부터 선택된 통신 애플리케이션일 수 있다.
예 10은 예 9일 수 있고, 상기 장치는 상기 통신 애플리케이션을 추가로 포함할 수 있다.
예 11은 통신을 위한 방법일 수 있고, 이 방법은: 컴퓨팅 디바이스에 의해, 애플리케이션을 실행하는 단계; 상기 컴퓨팅 디바이스에 의해, 아바타 키보드에 대한 요청을 수신하는 단계; 및 상기 요청에 응답하여, 상기 컴퓨팅 디바이스에 의해, 아바타 키보드 모드에 진입하고, 선택된 아바타 키의 아바타 또는 아바타의 애니메이션을 상기 애플리케이션에 입력하는 데 사용하기 위해, 대응하는 아바타들을 갖는 복수의 아바타 키를 갖는 아바타 키보드를 디스플레이하는 단계를 포함하고, 상기 대응하는 아바타들은 상기 애플리케이션에 입력하기 전에, 사용자의 얼굴 표정들 또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있다.
예 12는 예 11일 수 있고, 상기 컴퓨팅 디바이스에 의해, 상기 아바타 키보드 모드에 있는 동안, 아바타 키를 커스터마이즈 또는 애니메이션하기 위해 상기 아바타 키보드 모드 내에서 커스터마이즈/애니메이션 모드에 진입하기 위한 요청을 수신하는 단계; 및 상기 커스터마이즈/애니메이션 모드에 진입하기 위한 상기 요청에 응답하여, 상기 커스터마이즈/애니메이션 모드에 진입하고, 상기 컴퓨팅 디바이스의 사용자의 하나 이상의 이미지를 캡처하기 위해 카메라를 여는 단계를 추가로 포함한다.
예 13은 예 12일 수 있고, 상기 컴퓨팅 디바이스에 의해, 상기 아바타 키보드의 영역에서 상기 카메라의 현재 뷰를 디스플레이하거나 그 디스플레이를 용이하게 하는 단계를 추가로 포함한다.
예 14는 예 12일 수 있고, 상기 컴퓨팅 디바이스에 의해, 상기 사용자의 얼굴 표정 또는 머리 포즈에 대해 상기 하나 이상의 이미지를 분석하고, 상기 사용자의 얼굴 표정 또는 머리 포즈에 대한 상기 분석의 결과에 적어도 부분적으로 기초하여 상기 복수의 아바타 키 중 선택된 하나의 아바타 키를 커스터마이즈 또는 애니메이션하는 단계를 추가로 포함한다.
예 15는 예 11 내지 예 14 중 하나일 수 있고, 상기 컴퓨팅 디바이스에 의해, 상기 복수의 아바타 키 중 대응하는 하나의 아바타 키의 선택에 응답하여, 아바타 또는 아바타의 애니메이션을 상기 애플리케이션에 입력하는 단계를 추가로 포함한다.
예 16은 명령어들을 포함하는 하나 이상의 컴퓨터 판독 가능 매체일 수 있고, 상기 명령어들은, 컴퓨팅 디바이스에 의한 실행에 응답하여, 상기 컴퓨팅 디바이스로 하여금 키보드 모듈을: 애플리케이션에 입력하기 전에, 사용자의 얼굴 표정들 또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있는 대응하는 아바타들을 갖는 복수의 아바타 키를 갖는, 아바타 키보드 모드에서의 아바타 키보드를 포함하여, 상기 애플리케이션에 입력하기 위한 대응하는 복수의 키보드 모드에서의 복수의 키보드를 제공하도록 동작시키게 한다.
예 17은 예 16일 수 있고, 상기 복수의 키보드는 영숫자 키보드 또는 이모티콘 키보드를 추가로 포함할 수 있고; 상기 키보드 모듈은 상기 아바타 키보드에 대한 요청에 응답하여, 상기 아바타 키보드 모드에 진입하고, 사용을 위해 상기 아바타 키보드를 디스플레이할 수 있다.
예 18은 예 16일 수 있고, 상기 키보드 모듈은 아바타 키를 커스터마이즈 또는 애니메이션하기 위한 요청에 응답하여, 상기 아바타 키보드 모드 내에서 커스터마이즈/애니메이션 모드에 진입하고, 상기 장치의 사용자의 하나 이상의 이미지를 캡처하기 위해 카메라를 열 수 있다.
예 19는 예 18일 수 있고, 상기 키보드 모듈은 추가로 상기 아바타 키보드의 영역에서 상기 카메라의 현재 뷰를 디스플레이하거나 그 디스플레이를 용이하게 할 수 있다.
예 20은 예 18일 수 있고, 상기 키보드 모듈은 추가로 아바타 애니메이션 엔진에 상기 하나 이상의 이미지를 제공하거나 제공되게 하여 상기 사용자의 얼굴 표정 또는 머리 포즈에 대해 상기 하나 이상의 이미지를 분석하고, 상기 사용자의 얼굴 표정 또는 머리 포즈에 대한 상기 분석의 결과에 적어도 부분적으로 기초하여 상기 복수의 아바타 키 중 선택된 하나의 아바타 키를 커스터마이즈 또는 애니메이션할 수 있다.
예 21은 예 20일 수 있고, 상기 명령어들은, 상기 컴퓨팅 디바이스에 의한 실행에 응답하여, 추가로 상기 컴퓨팅 디바이스에 상기 아바타 애니메이션 엔진을 제공할 수 있다.
예 22는 예 16 내지 예 21 중 어느 하나일 수 있고, 상기 키보드 모듈은 상기 복수의 아바타 키 중 대응하는 하나의 아바타 키의 선택에 응답하여, 아바타 또는 아바타의 애니메이션을 상기 애플리케이션에 입력할 수 있다.
예 23은 예 22일 수 있고, 상기 애플리케이션은 채팅 애플리케이션, 메시징 애플리케이션, 이메일 애플리케이션 또는 소셜 네트워킹 애플리케이션으로 이루어진 그룹으로부터 선택된 통신 애플리케이션일 수 있다.
예 24는 통신을 위한 장치일 수 있고, 이 장치는: 애플리케이션을 실행하기 위한 수단; 아바타 키보드에 대한 요청을 수신하기 위한 수단; 및 아바타 키보드 모드에 진입하기 위한 수단, 및 선택된 아바타 키의 아바타 또는 아바타의 애니메이션을 상기 애플리케이션에 입력하는 데 사용하기 위해, 대응하는 아바타들을 갖는 복수의 아바타 키를 갖는 아바타 키보드를 디스플레이하기 위한 수단을 포함하여, 상기 요청에 응답하기 위한 수단을 포함하고, 상기 대응하는 아바타들은 상기 애플리케이션에 입력하기 전에, 사용자의 얼굴 표정들 또는 머리 포즈들에 적어도 부분적으로 기초하여 동적으로 커스터마이즈 또는 애니메이션될 수 있다.
예 25는 예 24일 수 있고, 상기 아바타 키보드 모드에 있는 동안, 아바타 키를 커스터마이즈 또는 애니메이션하기 위해 상기 아바타 키보드 모드 내에서 커스터마이즈/애니메이션 모드에 진입하기 위한 요청을 수신하기 위한 수단; 및 상기 커스터마이즈/애니메이션 모드에 진입하기 위한 수단, 및 상기 컴퓨팅 디바이스의 사용자의 하나 이상의 이미지를 캡처하기 위해 카메라를 열기 위한 수단을 포함하여, 상기 커스터마이즈/애니메이션 모드에 진입하기 위한 상기 요청에 응답하기 위한 수단을 추가로 포함한다.
예 26은 예 25일 수 있고, 상기 아바타 키보드의 영역에서 상기 카메라의 현재 뷰를 디스플레이하거나 그 디스플레이를 용이하게 하기 위한 수단을 추가로 포함한다.
예 27은 예 25일 수 있고, 상기 사용자의 얼굴 표정 또는 머리 포즈에 대해 상기 하나 이상의 이미지를 분석하고, 상기 사용자의 얼굴 표정 또는 머리 포즈에 대한 상기 분석의 결과에 적어도 부분적으로 기초하여 상기 복수의 아바타 키 중 선택된 하나의 아바타 키를 커스터마이즈 또는 애니메이션하기 위한 수단을 추가로 포함한다.
예 28은 예 24 내지 예 27 중 하나일 수 있고, 상기 복수의 아바타 키 중 대응하는 하나의 아바타 키의 선택에 응답하여, 아바타 또는 아바타의 애니메이션을 상기 애플리케이션에 입력하기 위한 수단을 추가로 포함한다.
본 개시의 사상 또는 범위를 벗어나지 않고 개시된 디바이스 및 관련 방법의 개시된 실시예들에서 다양한 수정 및 변경이 이루어질 수 있음은 이 분야의 기술자들에게 명백할 것이다. 따라서, 위에 개시된 실시예들의 수정들 및 변경들이 임의의 청구항 및 그 등가물의 범위 내에 있다면 본 개시는 그 수정들 및 변경들을 포함하는 것으로 의도된다.

Claims (1)

  1. 제1항에 따른 방법을 수행하는 장치.
KR1020217042517A 2015-04-07 2015-04-07 아바타 키보드 KR102450865B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2015/075994 WO2016161556A1 (en) 2015-04-07 2015-04-07 Avatar keyboard
KR1020177025200A KR102447858B1 (ko) 2015-04-07 2015-04-07 아바타 키보드

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025200A Division KR102447858B1 (ko) 2015-04-07 2015-04-07 아바타 키보드

Publications (2)

Publication Number Publication Date
KR20220000940A true KR20220000940A (ko) 2022-01-04
KR102450865B1 KR102450865B1 (ko) 2022-10-06

Family

ID=57071754

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217042517A KR102450865B1 (ko) 2015-04-07 2015-04-07 아바타 키보드
KR1020177025200A KR102447858B1 (ko) 2015-04-07 2015-04-07 아바타 키보드

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177025200A KR102447858B1 (ko) 2015-04-07 2015-04-07 아바타 키보드

Country Status (6)

Country Link
US (1) US20170046065A1 (ko)
EP (1) EP3281086B1 (ko)
JP (1) JP2018514020A (ko)
KR (2) KR102450865B1 (ko)
CN (2) CN107430429B (ko)
WO (1) WO2016161556A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US11138207B2 (en) 2015-09-22 2021-10-05 Google Llc Integrated dynamic interface for expression-based retrieval of expressive media content
US10474877B2 (en) 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
KR20230153524A (ko) 2016-09-23 2023-11-06 애플 인크. 아바타 생성 및 편집
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
KR102549029B1 (ko) 2017-05-16 2023-06-29 애플 인크. 이모지 레코딩 및 전송
EP3686850A1 (en) * 2017-05-16 2020-07-29 Apple Inc. Emoji recording and sending
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
KR20190101832A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
CN110457103A (zh) * 2018-05-07 2019-11-15 苹果公司 头像创建用户界面
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
KR102583214B1 (ko) * 2018-05-07 2023-09-27 애플 인크. 아바타 생성 사용자 인터페이스
DK201870378A1 (en) 2018-05-07 2020-01-13 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
JP2020034991A (ja) * 2018-08-27 2020-03-05 オムロン株式会社 入力デバイス、携帯端末、入力デバイス制御方法、および入力デバイス制御プログラム
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
EP4411528A3 (en) 2019-05-06 2024-10-30 Apple Inc. Avatar integration with multiple applications
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
KR20210012562A (ko) * 2019-07-25 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
KR20220050187A (ko) * 2019-09-27 2022-04-22 애플 인크. 그래픽 객체들을 맞춤화하기 위한 사용자 인터페이스들
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
EP3913581A1 (en) * 2020-05-21 2021-11-24 Tata Consultancy Services Limited Identity preserving realistic talking face generation using audio speech of a user
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
WO2021252160A1 (en) 2020-06-08 2021-12-16 Apple Inc. Presenting avatars in three-dimensional environments
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN114816599B (zh) * 2021-01-22 2024-02-27 北京字跳网络技术有限公司 图像显示方法、装置、设备及介质
US20220319075A1 (en) * 2021-03-30 2022-10-06 Snap Inc. Customizable avatar modification system
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248411A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および仮想キーボードの表示方法
US20130103766A1 (en) * 2011-10-19 2013-04-25 Yahoo! Inc. Dynamically updating emoticon pool based on user targeting
KR101337420B1 (ko) * 2012-07-24 2013-12-06 전남대학교산학협력단 감성대화단말기
WO2014178044A1 (en) * 2013-04-29 2014-11-06 Ben Atar Shlomi Method and system for providing personal emoticons

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078427A (ja) * 2003-09-01 2005-03-24 Hitachi Ltd 携帯端末及びコンピュータ・ソフトウエア
JP2006065683A (ja) * 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム
WO2007093984A2 (en) * 2006-02-16 2007-08-23 Ftk Technologies Ltd. A system and method of inputting data into a computing system
US20080158230A1 (en) * 2006-12-29 2008-07-03 Pictureal Corp. Automatic facial animation using an image of a user
US8111281B2 (en) * 2007-06-29 2012-02-07 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US9041660B2 (en) * 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
US8661353B2 (en) * 2009-05-29 2014-02-25 Microsoft Corporation Avatar integrated shared media experience
CN102428405A (zh) * 2009-06-16 2012-04-25 英特尔公司 手持装置中的摄像机应用
US20110103643A1 (en) * 2009-11-02 2011-05-05 Kenneth Edward Salsman Imaging system with integrated image preprocessing capabilities
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US8620850B2 (en) * 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
EP2710487A4 (en) * 2011-05-09 2015-06-17 Google Inc GENERATING APPLICATION RECOMMENDATIONS BASED ON USER INSTALLED APPLICATIONS
CN104115503A (zh) * 2011-12-29 2014-10-22 英特尔公司 使用化身的通信
US9571879B2 (en) * 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
US9898535B2 (en) * 2013-01-28 2018-02-20 Mark C. Edberg Avatar-based search tool
WO2013152455A1 (en) * 2012-04-09 2013-10-17 Intel Corporation System and method for avatar generation, rendering and animation
CN104170358B (zh) * 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
US20140082520A1 (en) * 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
CN103093490B (zh) * 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
EP2976749A4 (en) * 2013-03-20 2016-10-26 Intel Corp AVATAR-BASED TRANSMISSION PROTOCOLS, SYMBOL GENERATION AND PUPPET ANIMATION
CN103677632A (zh) * 2013-11-19 2014-03-26 三星电子（中国）研发中心 一种虚拟键盘调整方法和移动终端
CN103886632A (zh) * 2014-01-06 2014-06-25 宇龙计算机通信科技(深圳)有限公司 用户表情头像的生成方法及通信终端
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248411A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および仮想キーボードの表示方法
US20130103766A1 (en) * 2011-10-19 2013-04-25 Yahoo! Inc. Dynamically updating emoticon pool based on user targeting
KR101337420B1 (ko) * 2012-07-24 2013-12-06 전남대학교산학협력단 감성대화단말기
WO2014178044A1 (en) * 2013-04-29 2014-11-06 Ben Atar Shlomi Method and system for providing personal emoticons

Also Published As

Publication number Publication date
CN114527881A (zh) 2022-05-24
CN107430429B (zh) 2022-02-18
KR102450865B1 (ko) 2022-10-06
US20170046065A1 (en) 2017-02-16
EP3281086A4 (en) 2018-11-14
EP3281086A1 (en) 2018-02-14
WO2016161556A1 (en) 2016-10-13
KR20170134366A (ko) 2017-12-06
CN114527881B (zh) 2023-09-26
KR102447858B1 (ko) 2022-09-28
EP3281086B1 (en) 2022-01-26
CN107430429A (zh) 2017-12-01
JP2018514020A (ja) 2018-05-31

Similar Documents

Publication Publication Date Title
KR102447858B1 (ko) 아바타 키보드
US10776980B2 (en) Emotion augmented avatar animation
US20170069124A1 (en) Avatar generation and animations
CN107431635B (zh) 化身面部表情和/或语音驱动的动画化
US9761032B2 (en) Avatar facial expression animations with head rotation
CN107004287B (zh) 化身视频装置和方法
US20160042548A1 (en) Facial expression and/or interaction driven avatar apparatus and method
CN107251096B (zh) 图像捕获装置和方法
US20230088308A1 (en) Puppeteering Remote Avatar by Facial Expressions
EP3198560A1 (en) User gesture driven avatar apparatus and method
US20190096112A1 (en) Generating an interactive digital media item that follows a viewer
Sun et al. A new method of 3D facial expression animation

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant