KR20200035887A - 대화형 인터페이스를 제공하는 방법 및 시스템 - Google Patents
대화형 인터페이스를 제공하는 방법 및 시스템 Download PDFInfo
- Publication number
- KR20200035887A KR20200035887A KR1020190118374A KR20190118374A KR20200035887A KR 20200035887 A KR20200035887 A KR 20200035887A KR 1020190118374 A KR1020190118374 A KR 1020190118374A KR 20190118374 A KR20190118374 A KR 20190118374A KR 20200035887 A KR20200035887 A KR 20200035887A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- event
- information
- electronic device
- emotion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000002452 interceptive effect Effects 0.000 title abstract description 18
- 230000008451 emotion Effects 0.000 claims abstract description 283
- 230000004044 response Effects 0.000 claims abstract description 194
- 230000002996 emotional effect Effects 0.000 claims abstract description 56
- 230000003993 interaction Effects 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 230000002250 progressing effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 53
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 22
- 239000000284 extract Substances 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 208000031636 Body Temperature Changes Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010016322 Feeling abnormal Diseases 0.000 description 1
- 241000989913 Gunnera petaloidea Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000021178 picnic Nutrition 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003716 rejuvenation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 개시는 인공지능(AI) 시스템을 이용하여 이벤트와 관련된 감정 기반 대화형 인터페이스를 제공하는 방법 및 장치에 관한 것이다. 구체적으로, 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 단계; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계를 포함하는 방법이 개시된다.
Description
본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 구체적으로, 본 개시는 인공지능(AI) 시스템을 이용하여 이벤트와 관련된 대화형 인터페이스를 제공하는 방법 및 장치에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙(Rule) 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
일 실시예에 의하면, 사용자 이벤트와 관련된 사용자의 감정 정보에 기초하여, 사용자에게 감성적인 응대를 제공하는 방법 및 시스템이 제공될 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 단계; 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 질의에 대한 응답을 수신하는 단계; 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 단계; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 질의에 대한 응답으로 사용자로부터 발화된 음성 데이터를 수신하는 단계; 음성 데이터로부터 적어도 하나의 이벤트와 관련된 정보를 추출하는 단계; 및 추출된 정보를 이용하여, 적어도 하나의 이벤트를 새로운 이벤트로 전자 장치에 등록하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 이벤트와 감정 정보를 맵핑한 테이블로부터 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하는 단계; 음성 데이터를 분석한 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 및 사용자의 감정 상태에 기초하여 기본 감정 정보를 수정함으로써, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 현재 시간과 적어도 하나의 이벤트의 발생 예정 시간을 비교하여, 적어도 하나의 이벤트의 진행 단계(progress stage)를 결정하는 단계; 및 적어도 하나의 이벤트의 진행 단계에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 갱신하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은 적어도 하나의 이벤트가 종료된 후 적어도 하나의 이벤트에 대한 반응 정보(feedback information )를 사용자로부터 획득하는 단계; 및 획득된 반응 정보에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 갱신하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 적어도 하나의 이벤트와 관련된 사람, 적어도 하나의 이벤트의 발생 예정 시간 및 적어도 하나의 이벤트와 관련된 장소 중 적어도 하나와 관련된 정보를 이용하여, 사용자의 감정 정보를 학습하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 알림 정보를 제공하기 위한 어조(tone)를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 사용자의 감정 정보에 대응하는 색상을 선택하는 단계; 및 선택된 색상을 이용하여, 적어도 하나의 이벤트에 대한 알림 정보를 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 결정된 응대 타입에 기초하여, 적어도 하나의 이벤트와 관련된 사용자의 발화에 대한 응답을 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 사용자의 상황을 고려하여, 적어도 하나의 이벤트와 관련된 알림 제공 방식을 결정하는 단계; 및 결정된 알림 제공 방식에 따라, 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 적어도 하나의 이벤트와 관련된 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따른 전자 장치는, 가상 비서 인터페이스를 제공하는 출력부; 및 적어도 하나의 프로세서를 포함하되, 적어도 하나의 프로세서는, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 동작; 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 질의에 대한 응답을 수신하는 동작; 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 동작; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공하는 동작을 수행할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 동작; 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 질의에 대한 응답을 수신하는 동작; 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 동작; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 단계; 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득하는 단계; 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 및 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 가상 비서 인터페이스를 제공하는 출력부; 및 적어도 하나의 프로세서를 포함하되, 적어도 하나의 프로세서는, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 동작; 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득하는 동작; 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 및 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작을 수행할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 동작; 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득하는 동작; 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 및 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법은, 전자 장치에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득하는 단계; 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정하는 단계; 및 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 대화형 인터페이스를 제공하는 출력부; 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행될 때, 전자 장치가, 전자 장치에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득하는 동작, 사용자의 감정 정보에 기초하여 사용자 이벤트에 대응하는 응대 타입을 결정하는 동작, 결정된 응대 타입에 기초하여 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 대화형 인터페이스를 통해 제공하는 동작을 수행하도록 하는 적어도 하나의 명령어를 저장하는 메모리를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득하는 동작; 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정하는 동작; 및 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
도 1은 일 실시예에 따른 이벤트-감정 기반 응답을 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 딥러닝을 통해 이벤트-감정 기반 응답 모델(AI 모델)을 생성하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 등록하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 전자 장치가 사용자의 발화에 응답하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 이벤트 DB에 등록된 사용자 이벤트를 추출하는 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 기초하여, 사용자의 감정 정보를 획득하는 방법을 설명하기 위한 순서도이다.
도 8은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 따라 알림 또는 응답을 제공하는 동작을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 전자 장치가 사용자 이벤트와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 감정 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 10 및 도 11은 일 실시예에 따른 이벤트-감정 DB를 개인화하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 전자 장치가 생체 정보에 따라 기본 감정 정보를 수정하는 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 사용자의 감정 정보에 기초하여 어조(tone)를 결정하는 방법을 설명하기 위한 순서도이다.
도 14는 일 실시예에 따른 사용자의 감정 정보에 기초하여 결정된 어조(tone)를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 전자 장치가 사용자의 감정 정보에 대응하는 색상을 이용하여, 알림을 제공하는 동작을 설명하기 위한 도면이다.
도 16 및 도 17은 일 실시예에 따른 전자 장치가 다이어리 인터페이스를 제공하는 동작을 설명하기 위한 도면이다.
도 18 및 도 19는 일 실시예에 따른 전자 장치를 설명하기 위한 블록 구성도이다.
도 2는 일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 딥러닝을 통해 이벤트-감정 기반 응답 모델(AI 모델)을 생성하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 등록하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 전자 장치가 사용자의 발화에 응답하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 이벤트 DB에 등록된 사용자 이벤트를 추출하는 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 기초하여, 사용자의 감정 정보를 획득하는 방법을 설명하기 위한 순서도이다.
도 8은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 따라 알림 또는 응답을 제공하는 동작을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 전자 장치가 사용자 이벤트와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 감정 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 10 및 도 11은 일 실시예에 따른 이벤트-감정 DB를 개인화하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 전자 장치가 생체 정보에 따라 기본 감정 정보를 수정하는 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 사용자의 감정 정보에 기초하여 어조(tone)를 결정하는 방법을 설명하기 위한 순서도이다.
도 14는 일 실시예에 따른 사용자의 감정 정보에 기초하여 결정된 어조(tone)를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 전자 장치가 사용자의 감정 정보에 대응하는 색상을 이용하여, 알림을 제공하는 동작을 설명하기 위한 도면이다.
도 16 및 도 17은 일 실시예에 따른 전자 장치가 다이어리 인터페이스를 제공하는 동작을 설명하기 위한 도면이다.
도 18 및 도 19는 일 실시예에 따른 전자 장치를 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 이벤트-감정 기반 응답을 제공하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 이벤트-감정 기반 응답을 제공하는 시스템은 전자 장치(1000)를 포함할 수 있다. 일 실시예에 의하면, 이벤트-감정 기반 응답을 제공하는 시스템은 전자 장치(1000) 이외에 서버(미도시)를 더 포함할 수도 있고, 사용자의 생체 신호를 측정하기 위한 웨어러블 디바이스를 포함할 수도 있다. 이벤트-감정 기반 응답을 제공하는 시스템이 전자 장치(1000) 및 외부의 웨어러블 디바이스를 포함하는 실시예에 대해서는 도 12를 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 전자 장치(1000)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔목 밴드, 발목 밴드, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 이하에서는, 설명의 편의상, 전자 장치(1000)가 스마트 폰인 경우를 예로 들어 설명하기로 한다.
일 실시예에 의하면, 전자 장치(1000)는 대화형 인터페이스를 제공하는 장치일 수 있다. 대화형 인터페이스는 사용자로부터의 입력(예컨대, 음성 입력 또는 텍스트 입력)을 수신하고, 사용자로부터의 입력에 대한 응답을 제공하는 사용자를 위한 인터페이스일 수 있다. 일 실시예에 의하면, 대화형 인터페이스는 가상 비서(Virtual assistant), 인공지능 비서 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가상 비서 또는 인공지능 비서는 사용자가 요구하는 작업을 처리하고 사용자에게 특화된 서비스를 제공하는 소프트웨어 에이전트일 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델을 이용하여, 사용자 이벤트(100)와 관련된 사용자의 감정 상태를 획득(또는 분석, 추론)하고, 사용자의 감정 상태에 따라 적응적으로 응답을 대화형 인터페이스를 통해 제공할 수 있다. 예를 들어, 전자 장치(1000)는 사용자 이벤트(100)와 관련된 제 1 사용자의 감정 상태가 걱정 상태(10)인 경우, 응대 타입으로 제 1 응대 타입을 결정하고, 제 1 응대 타입에 따라 제 1 사용자의 발화에 응답할 수 있다. 또한, 전자 장치(1000)는 사용자 이벤트(100)와 관련된 제 1 사용자의 감정 상태가 화난 상태(20)인 경우, 응대 타입으로 제 2 응대 타입을 결정하고, 제 2 응대 타입으로 제 1 사용자의 발화에 응답할 수 있고, 사용자 이벤트(100)와 관련된 제 1 사용자의 감정 상태가 행복한 상태(30)인 경우, 응대 타입으로 제 3 응대 타입을 결정하고 제 3 응대 타입에 따라 제 1 사용자의 발화에 응답할 수 있다. 여기서, 제 1 응대 타입, 제 2 응대 타입, 제 3 응대 타입은 서로 다른 타입일 수 있으며, 따라서, 전자 장치(1000)는 사용자에게 이벤트 기반으로 감성적인 응대를 제공할 수 있다.
본 명세서에서, 사용자 이벤트(100)는 사용자와 관련된 이벤트로서, 전자 장치(1000)가 사용자와의 대화 중에 발견한 이벤트일 수도 있고, 사용자가 일정 관리 애플리케이션, 캘린더 애플리케이션, 연락처 애플리케이션, SNS 애플리케이션 등에 미리 등록한 이벤트일 수도 있다. 일 실시예에 의하면, 사용자 이벤트(1000)는, 업무와 관련된 이벤트(예컨대, 회의, 프리젠테이션, 출장 등), 지인과 관련된 이벤트(예컨대, 친구 결혼식, 가족 생일 파티, 결혼 기념일 등), 취미와 관련된 이벤트(예컨대, 스포츠 경기 관람, 영화 관람, 뮤지컬 예매, 사진 동호회 이벤트, 테니스 클럽, 마라톤 출전 등), 유명인과 관련된 이벤트(예컨대, 콘서트, 팬미팅 등), 공식적인 이벤트(예컨대, 대통령 선거일, 월드컵, 크리스마스 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
따라서, 일 실시예에 의하면, 사용자가 중요하게 생각하는 이벤트들을 대화를 통해서 발견하고, 발견된 이벤트들을 기반으로 선제적으로 응대하거나, 필요한 정보와 함께 사용자를 도와줌으로써, 진정한 감성 응대를 제공할 수 있다. 이하에서는, 전자 장치(1000)가 사용자 이벤트(100)에 대한 사용자의 감정 상태에 기반하여, 감성 응대를 제공하는 동작에 대해서 도 2를 참조하여 자세히 살펴보기로 한다.
도 2는 일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S210에서, 전자 장치(1000)는, 전자 장치(1000)에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 이벤트 데이터베이스(DB)에 등록된 사용자 이벤트를 확인할 수 있다. 이벤트 DB는, 일정 관리 애플리케이션(예컨대, To do list), 캘린더 애플리케이션, SNS 애플리케이션, 연락처 애플리케이션 등을 포함하거나 연계될 수 있다. 사용자 이벤트는 사용자에 의해 수동으로 입력된 이벤트일 수도 있고, 전자 장치(1000) 또는 서버에 의해 자동으로 입력된 이벤트일 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는 사용자로부터의 응답을 분석하여 사용자 이벤트에 대한 사용자의 감정 정보를 학습함으로써, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수도 있다. 예를 들어, 전자 장치(1000)는, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의할 수 있다. 이때, 전자 장치(1000)는 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 응답을 수신할 수 있다. 전자 장치(1000)는 사용자로부터 수신된 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별할 수 있다. 그리고 전자 장치(1000)는 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 여기서, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 것은, 적어도 하나의 이벤트에 연계된 적어도 하나의 감정 요소(emotion element)의 가중치(weight)를 결정하는 것을 의미할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자에 의해 발화된 음성 데이터로부터 사용자 이벤트를 추출하고, 추출된 사용자 이벤트를 새로운 이벤트로 이벤트 DB에 등록할 수도 있다. 전자 장치(1000)가 사용자에 의해 발화된 음성 데이터로부터 사용자 이벤트를 추출하는 동작에 대해서는 도 4를 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 사용자 이벤트와 관련된 사용자의 감정 정보는, 사용자 이벤트에 대한 사용자의 감정 상태를 나타내는 정보일 수 있다. 여기서, 사용자의 감정 정보는, 단일의 감정 상태를 나타내는 정보일 수도 있고, 둘 이상의 감정이 결합된 복합적인 감정 상태를 나타내는 정보일 수도 있다. 예를 들어, 감정 정보는, 즐거움, 긴장, 걱정, 행복, 두려움, 불쾌함, 짜증, 당황, 슬픔, 우울, 후회, 질투, 서운함, 자신감, 사랑, 증오, 애증, 흥미로움, 신남(exciting), 평상심(stability), 안도감(relief), 공포 중 적어도 하나의 감정을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화가 감지된 시점에 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 다른 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화 전에 선제적으로 응대하기 위해 사용자 이벤트에 대한 사용자의 감정 정보를 획득할 수도 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트의 발생 예정 시간을 확인하고, 사용자 이벤트가 발생하기 10분 전에 사용자 이벤트와 관련된 알림을 제공하기 위해, 사용자 이벤트에 대한 사용자의 현재 감정 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델을 이용하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 인공지능 모델에 의해 생성(또는 갱신(refine))되는 이벤트-감정 데이터베이스(DB)로부터 특정 사용자 이벤트에 대응하는 사용자의 감정 정보를 획득할 수 있다. 이벤트-감정 데이터베이스(DB)는 특정 이벤트에 대한 일반인의 평균적인 감정 정보를 저장하거나, 특정 이벤트에 대해 사용자 별로 개인화된 감정 정보를 저장할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 인공지능 모델은 전문가에 의해 분석된 감정 정보 및 사용자의 과거 감정 정보 중 적어도 하나에 기초하여 학습될 수 있다. 인공지능 모델은 전자 장치(1000)에 저장될 수도 있고, 전자 장치(1000)에 연계된 서버(예컨대, 클라우드 서버)에 저장되어 있을 수도 있다. 인공지능 모델에 대해서는 도 3을 참조하여, 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 전자 장치(1000)는, 현재 시간과 사용자 이벤트의 발생 예정 시간을 비교하여, 사용자 이벤트의 진행 단계(progress stage)를 결정할 수 있다. 여기서, 현재 시간은 사용자로부터의 발화를 감지한 시간을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(1000)는 현재 시간이 사용자 이벤트 발생 전인지 사용자 이벤트 종료 후인지 결정할 수 있다. 그리고 전자 장치(1000)는, 사용자 이벤트의 진행 단계를 고려하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수도 있다. 예컨대, 전자 장치(1000)는, 사용자 이벤트가 마라톤 대회 참석인 경우, 사용자 이벤트 발생 전에는, 사용자의 감정 정보를 '긴장감 가중치: 0.5, 즐거움 가중치: 0.5'로 결정할 수 있다. 반면에, 전자 장치(1000)는 사용자 이벤트(예컨대, 마라톤 대회 참석) 종료 후에는 사용자의 감정 정보를 '행복 가중치: 0.3, 즐거움 가중치: 0.7'로 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 추가 정보를 고려하여, 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트와 관련된 사람, 사용자 이벤트의 발생 예정 시간 및 사용자 이벤트와 관련된 장소 중 적어도 하나를 고려하여, 사용자의 감정 정보를 세분화할 수 있다. 이때, 전자 장치(1000)는, 사용자 이벤트와 관련된 추가 정보를 사용자에게 직접 질의하여 획득할 수도 있고, 이메일 또는 메시지 등을 파싱(parsing)하여 사용자 이벤트와 관련된 추가 정보를 획득할 수도 있다. 전자 장치(1000)가 사용자 이벤트와 관련된 추가 정보를 고려하여, 사용자의 감정 정보를 세분화하는 동작에 대해서는 도 9를 참조하여 후에 좀 더 살펴 보기로 한다.
일 실시예에 의하면, 전자 장치(1000)는, 이벤트와 감정 정보를 맵핑한 테이블로부터 사용자 이벤트와 관련된 기본 감정 정보(Default emotion information)를 획득할 수 있다. 기본 감정 정보는 사용자 이벤트와 관련된 사용자의 과거 감정 정보일 수도 있고, 사용자 이벤트에 대해 일반인이 느끼는 평균적인 감정 정보일 수도 있다. 이벤트와 감정 정보를 맵핑한 테이블은 인공지능 모델과 연계된 이벤트-감정 데이터베이스(DB)에 저장되어 있을 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 생체 정보(예컨대, 심박수 정보, 맥박 정보, 호흡 정보, 눈 떨림 정보, 표정 변화 정보, 땀 발생 정도 정보, 체온 변화 정보, 음성 입력 등)를 획득하고, 사용자의 생체 정보에 기초하여 사용자 이벤트와 관련된 기본 감정 정보를 수정함으로써, 사용자 이벤트와 관련된 사용자의 실제 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이벤트와 감정 정보를 맵핑한 테이블로부터 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하고, 사용자로부터 발화된 음성 데이터를 분석한 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여 기본 감정 정보를 수정함으로써, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 기본 감정 정보를 수정하는 것은 기본 감정 정보에 포함된 감정 요소들 각각에 대응하는 가중치를 조정하는 것을 의미할 수 있다. 예를 들어, 기본 감정 정보가 '긴장 가중치: 0.3, 즐거움 가중치: 0.7'인 경우, 전자 장치(1000)는 사용자의 생체 정보에 기초하여, 긴장 가중치를 '0.3'에서 '0.6'으로 높이고, 즐거움 가중치를 '0.7'에서 '0.4'로 줄일 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 내부의 센서를 이용하여, 사용자의 생체 정보를 획득할 수도 있고, 외부의 장치(예컨대, 외부의 웨어러블 디바이스)로부터 사용자의 생체 정보를 획득할 수도 있다. 예를 들어, 전자 장치(1000)는 적어도 하나의 카메라(예컨대, 일반 이미지 센서, 적외선 센서, 깊이 센서 등)를 이용하여, 사용자의 얼굴 이미지를 획득하고, 사용자의 얼굴 이미지를 분석함으로써, 사용자의 표정 변화 또는 눈 떨림 등을 관찰할 수 있다. 또한, 전자 장치(1000)는 적외선 센서를 이용하여, 사용자의 체온 변화를 관찰할 수도 있다. 이때, 전자 장치(1000)는 사용자의 표정 변화나 눈 떨림 정도에 기반하여, 사용자의 현재 감정 상태를 추론할 수 있다. 또한, 전자 장치(1000)는 마이크로폰을 통해 사용자로부터 음성 데이터를 수신하고, 음성 데이터를 분석하여, 사용자의 실제 감정 상태를 추론할 수도 있다. 전자 장치(1000)가 외부의 장치로부터 사용자의 생체 정보를 수신하는 동작에 대해서는 도 12를 참조하여 후에 자세히 살펴보기로 한다.
단계 S220에서, 전자 장치(1000)는, 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
여기서, 응대 타입이란 사용자에게 응답을 제공할 때 취하게 되는 응대 스타일로서, 응대 타입 별로 사용자 이벤트와 관련된 정보 외에 추가 정보를 얼마나 제공할지 여부, 응대하기 위한 어조를 어떻게 할지 여부 등이 달라질 수 있다. 예를 들어, 응대 타입은 격려 타입(예컨대, 화제 전환 가중치: 0.3, '응원(cheer up) 가중치: 0.7), 동조 타입(예컨대, 동감 가중치: 0.9, 응원 가중치: 0.1)), 위로 타입(예컨대, 위로 가중치: 0.8, 동감 가중치: 0.2), 응원 타입(예컨대, 응원 가중치: 0.9, 추가 정보 제공 가중치: 0.1) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 제 1 이벤트에 대한 사용자의 감정 정보가 '긴장 가중치: 0.9' 및 '즐거움 가중치: 0.1'인 경우, 제 1 이벤트에 대응하는 응대 타입을 '격려 타입'으로 결정할 수 있다. 또한, 전자 장치(1000)는, 제 2 이벤트에 대한 사용자의 감정 정보가 '즐거움 가중치: 0.9' 및 '긴장 가중치: 0.1'인 경우, 제 2 이벤트에 대응하는 응답 타입을 '동조 타입'으로 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 인공지능 모델을 이용하여, 사용자의 이벤트에 대응하는 응대 타입을 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응대 방법 데이터베이스(DB)로부터 감정 정보와 맵핑된 응대 타입을 결정할 수 있다. 응대 방법 DB에는 감정 정보와 응대 타입을 맵핑한 테이블이 저장될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는 사용자의 선호도를 반영하여, 응대 타입을 결정할 수도 있다. 예를 들어, 전자 장치(1000)는, 사용자의 선호도를 반영하여, 응대 시 간단한 이미지(예컨대, 이모티콘) 사용 여부, 응대 방법(예컨대, 텍스트로 응대, 음성으로 응대, 알림 창으로 응대 등), 음색 등을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 감정 정보를 고려하여, 사용자의 발화에 응대하기 위한 어조(Tone)을 결정할 수도 있다. 또한, 전자 장치(1000)는, 사용자의 감정 정보를 고려하여, 사용자의 발화에 응대하기 위한 색상을 결정할 수도 있다. 전자 장치(1000)가 어조 또는 색상을 결정하는 동작에 대해서는 도 14 및 도 15를 참조하여, 후에 자세히 살펴보기로 한다.
단계 S230에서, 전자 장치(1000)는, 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다. 여기서, 사용자의 발화에 대한 응답을 제공하는 것은, 사용자의 발화를 유도하기 위한 선제적 응대(예컨대, 사용자 이벤트와 관련된 알림 제공)를 포함할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 인공 지능 모델을 이용하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응답 데이터베이스(DB)로부터 사용자의 발화에 대응하는 응답을 추출할 수 있다. 응답 DB에는 응대 타입, 사용자로부터 입력될 수 있는 문구 및 응답 문구를 맵핑한 테이블이 저장될 수 있으나, 이에 한정되는 것은 아니다.
사용자로부터 제 1 문구가 입력된 경우를 예로 들어 설명하기로 한다. 전자 장치(1000)는, 결정된 응대 타입이 격려 타입인 경우, 응답 문구로서 제 1 응답 문구를 선택하고, 결정된 응대 타입이 동조 타입인 경우, 응답 문구로서 제 2 응답 문구를 선택할 수 있다.
일 실시예에 의하면, 응대 타입이 다른 경우, 응답 문구는 동일하더라도 추가되는 정보가 달라질 수도 있다. 사용자로부터 제 1 문구가 입력된 경우를 예로 들어 보기로 한다. 전자 장치(1000)는, 결정된 응대 타입이 격려 타입인 경우, 응답 문구로서 제 1 응답 문구를 선택하고, 추가 정보로서, 제 1 텍스트를 선택할 수 있다. 반면, 전자 장치(1000)는, 결정된 응대 타입이 동조 타입인 경우, 응답 문구로서 제 1 응답 문구를 선택하고 추가 정보로서 제 2 텍스트를 선택할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 응답을 대화 창에서 텍스트 형태로 제공할 수도 있고, 음성 형태로 제공할 수도 있다. 알림 창(예컨대, 팝업 창)에서 텍스트 형태로 제공할 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 감정 정보에 대응하는 색상을 선택하고, 선택된 색상을 이용하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 표시할 수 있다. 예를 들어, 전자 장치(1000)는 제 1 이벤트에 대한 사용자의 제 1 감정 정보에 기초하여 제 1 색상을 선택한 경우, 제 1 색상으로 표시된 알림 창에 응답을 제공할 수 있다. 반면, 전자 장치(1000)는, 제 2 이벤트에 대한 사용자의 제 2 감정 정보에 기초하여, 제 2 색상을 선택한 경우, 제 2 색상으로 표시된 알림 창에 응답을 제공할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자가 선호하는 표현 방식을 적용하여, 응답을 제공할 수도 있다. 예를 들어, 사용자로부터 입력된 제 1 문장에 대해서 '힘내요'라고 응답할 수도 있고, '파이팅'이라고 응답할 수도 있는 경우, 전자 장치(1000)는 사용자가 선호하는 표현 방식인 '힘내요'를 선택할 수 있다.
한편, 전자 장치(1000)는, 사용자가 선호하는 어조를 선택하거나, 사용자가 선호하는 목소리를 선택하거나, 사용자가 선호하는 알림 방식을 선택하거나, 사용자가 선호하는 색상을 선택할 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 선제적 응대의 경우, 사용자의 상황을 고려할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자의 상황을 고려하여, 사용자 이벤트와 관련된 알림 제공 방식을 결정할 수 있다. 그리고 전자 장치(1000)는 결정된 알림 제공 방식에 따라, 사용자 이벤트와 관련된 알림을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자가 오후 프리젠테이션 중인 경우, 저녁 이벤트와 관련된 알림(또는 리마인더)을 소리 없이 화면에 표시만하다가, 저녁 이벤트의 발생 예정 시간에 가까워진 경우, 진동 또는 소리로 다시 알림(또는 다시 리마인더)할 수 있다.
한편, 일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트의 진행 단계 별로 사용자의 감정 정보를 나타내는 간단한 이미지나 그래프를 제공할 수 있다. 전자 장치(1000)가 다이어리 인터페이스를 제공하는 동작에 대해서는 도 16 및 도 17을 참조하여 후에 자세히 살펴보기로 한다.
한편, 도 2에서는 사용자의 음성 입력에 대한 응답을 제공하는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 전자 장치(1000)는 사용자로부터의 텍스트 입력에 대해서도 사용자의 감정 정보에 기반하여, 응답을 제공할 수 있다. 이하에서는 인공지능 모델에 대해서 도 3을 참조하여 자세히 살펴보기로 한다.
도 3은 일 실시예에 따른 딥러닝을 통해 이벤트-감정 기반 응답 모델(AI 모델)을 생성하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 의하면, 전자 장치(1000) 또는 서버에 포함된 AI 프로세서는 인공신경망을 학습시켜, 응대 방법을 결정하는 이벤트-감정 기반 응답 모델(300)을 생성할 수 있다. 이하에서는 설명의 편의 상 이벤트-감정 기반 응답 모델(300)을 인공지능 모델 또는 응답 모델로 표현할 수 있다. 인공신경망을 ‘학습’시킨다는 것은 데이터를 바탕으로 가중치를 적절히 바꿔주면서 인공신경망을 구성하는 뉴런들의 연결이 최적의 의사결정을 할 수 있는 수학적 모델을 만드는 것을 의미할 수 있다.
일 실시예에 의하면, AI 프로세서는, 전문가에 의해 작성된 데이터 또는 공개된 데이터 등을 학습데이터(301)로 획득하고, 학습데이터(301)를 이용하여, 이벤트-감정 기반 응답 모델(300)을 생성할 수 있다. 전문가에 의해 작성된 데이터는 사용자로부터 발화가 예상되는 문구로부터 전문가가 분석 또는 추출한 감정 정보를 포함할 수 있다. 공개된 데이터는 웹 또는 SNS 서버에서 수집된 텍스트들로부터 분석 또는 추출된 감정 정보를 포함할 수 있다. 예를 들어, 공개 데이터는, 'Skipped school today skipping school tomorrow haha'라는 문구로부터 분석/추출된 happy라는 감정 정보를 포함할 수 있다. 전문가에 의해 작성된 데이터 또는 공개된 데이터 등은 기 설정된 포맷으로 변환됨으로써 이벤트-감정 기반 응답 모델(300)을 생성하기 위한 학습 데이터(301)로 이용될 수 있다.
일 실시예에 의하면, AI 프로세서는, 사용자로부터 입력되는 감정 정보(예컨대, 피드백 정보 등), 사용자의 생체 정보로부터 획득되는 감정 정보 등을 학습데이터(302)로 획득하고, 학습데이터(302)를 이용하여, 이벤트-감정 기반 응답 모델(300)을 생성할 수 있다. 사용자로부터 입력되는 감정 정보(예컨대, 피드백 정보 등), 사용자의 생체 정보로부터 획득되는 감정 정보 등은 기 설정된 포맷으로 변환됨으로써 이벤트-감정 기반 응답 모델(300)을 생성하기 위한 학습 데이터(302)로 이용될 수 있다.
일 실시예에 의하면, 이벤트-감정 기반 응답 모델(300)은 학습 데이터(301)를 이용하여 학습함으로써, 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)를 생성할 수 있다. 일 실시예에 의하면, 이벤트-감정 기반 응답 모델(300)은, 학습 데이터(301)가 추가되거나 갱신(refine)됨에 따라, 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)를 갱신할 수 있다.
일 실시예에 의하면, 이벤트-감정 DB(310)는, 이벤트와 감정 간의 연관 관계를 정의한 DB로서, 이벤트와 감정 정보를 맵핑한 테이블을 포함할 수 있다. 예를 들어, 이벤트-감정 DB(310)는, "제 1 이벤트: 긴장(0.6), 즐거움 (0.4)", "제 2 이벤트: 두려움(0.7), 긴장(0.3)" 등의 정보를 포함할 수 있다.
일 실시예에 의하면, 이벤트-감정 DB(310)에는, 이벤트와 관련된 시간, 사람, 장소 등에 따라, 감정 정보가 더 세분화된 테이블이 저장될 수도 있다. 예를 들어, 이벤트-감정 기반 응답 모델(300)은 이벤트와 관련된 시간, 사람, 장소 등을 고려하여, 사용자의 감정 정보를 더 세분화할 수 있다. 만일, 이벤트 DB에 이벤트와 관련된 시간, 사람, 장소 등에 대한 구체적인 정보가 저장되어 있지 않은 경우, 이벤트-감정 기반 응답 모델(300)은 이벤트와 관련된 시간, 사람, 장소 등에 대한 정보를 사용자에게 물어서 획득할 수도 있다. 감정 정보가 더 세분화된 테이블에 대해서는 도 9를 참조하여, 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 응대 방법 DB(320)는, 감정과 응대 방법 간의 연관 관계를 정의한 DB로서, 감정 정보와 응대 타입을 맵핑한 테이블이 저장될 수 있다. 예를 들어, 응대 방법 DB(320)에는 "제 1 감정 정보(긴장(0.6), 즐거움 (0.4)) - 제 1 응대 타입(화제 전환(0.3), 격려 (0.7))", "제 2 감정 정보(안도감) - 제 2 응대 타입(동감하기 (0.9))" 등의 정보가 포함되어 있을 수 있다.
일 실시예에 의하면, 응답 DB(330)는, 응대 방법(응대 타입)과 응답 문장 간의 연관 관계를 정의한 DB로서, 응대 타입과 응답 문구를 맵핑한 테이블이 저장될 수 있다. 예를 들어, 응답 DB(330)에는 "제 1 응대 타입(예컨대, 격려 타입: 화제 전환(0.3), 격려 (0.7))-응답 문구(파이팅(0.6)/힘내요(0.4))" 등의 정보가 포함되어 있을 수 있다.
한편, 일 실시예에 의하면, 이벤트-감정 기반 응답 모델(300)은 개인화 학습 데이터(302)를 획득하고, 개인화 학습 데이터(302)를 이용하여, 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)를 개인화할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트가 종료된 후 사용자 이벤트에 대한 피드백을 사용자로부터 획득할 수 있다. 그리고, 전자 장치(1000)는 사용자 이벤트에 대한 피드백을 이벤트-감정 기반 응답 모델(300)에 개인화 학습 데이터(302)로 입력할 수 있다. 이때, 이벤트-감정 기반 응답 모델(300)은 사용자 이벤트에 대한 피드백에 기초하여, 이벤트-감정 DB(310)에 포함된 이벤트와 감정 정보를 맵핑한 테이블을 갱신(refine)할 수 있다. 예를 들어, 전자 장치(1000)는 제 1 이벤트에 대한 사용자의 감정 정보를 '긴장 (0.5), 즐거움(0.5)'로 결정했으나, 사용자로부터 입력된 피드백에 의할 때, 사용자의 감정 정보가 '긴장(0.8), 즐거움(0.2)'인 경우, 이벤트-감정 DB(310)에서 제 1 이벤트에 대한 사용자의 감정 정보를 '긴장(0.5), 즐거움(0.5)'에서 '긴장(0.8), 즐거움(0.2)'으로 수정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 사용자 이벤트 발생 전에 사용자의 감정 정보에 대한 피드백을 획득할 수도 있다. 이 경우, 전자 장치(1000)의 이벤트-감정 기반 응답 모델(300)은 이벤트-감정 DB(310)에 포함된 이벤트 진행 단계 별 사용자의 감정 정보를 갱신할 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는 사용자의 생체 정보를 획득하고, 생체 정보로부터 추론되는 사용자의 실제 감정 정보를 이용하여, 이벤트-감정 DB(310)를 개인화할 수 있다.
한편, 전자 장치(1000)는 사용자가 선호하는 응대 타입이나 사용자가 선호하는 표현에 대한 정보를 획득하여, 응대 방법 DB(320), 응답 DB(330)를 개인화할 수도 있다.
이하에서는 도 4 및 도 5를 참조하여, 전자 장치(1000)가 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 검출하고, 이벤트-감정 기반 응답 모델(300)을 이용하여, 새로운 이벤트에 관련된 사용자의 발화에 대한 응답을 제공하는 방법에 대해서 자세히 살펴보기로 한다.
도 4는 일 실시예에 따른 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 등록하는 방법을 설명하기 위한 도면이다.
단계 S410에서, 전자 장치(1000)는, 사용자로부터 발화된 음성 데이터로부터 사용자 이벤트와 관련된 정보를 추출할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 자연어 처리에 기반하여 음성 데이터를 분석한 결과 데이터를 생성할 수 있다. 예를 들어, 전자 장치(1000)는, 음성 데이터를 텍스트 데이터로 변환하고, 자연어 처리(Natural Language Processing)에 기반하여 텍스트 데이터로부터 사용자 이벤트와 관련된 정보를 검출할 수 있다. 예컨대, 전자 장치(1000)는, '금주 토요일에 친구 제나가 결혼식을 하는데 ? '이라는 음성을 포함하는 음성 데이터를 분석하여, 새로운 사용자 이벤트로 '결혼식'을 검출하고, 새로운 사용자 이벤트(결혼식)와 관련된 정보로서, '결혼하는 사람: 제나, 사용자의 관계: 친구, 결혼식 날짜: 금주 토요일(6/30)' 등을 획득할 수 있다.
단계 S420에서, 전자 장치(1000)는, 추출된 정보를 이용하여, 사용자 이벤트를 새로운 이벤트로 등록할 수 있다. 예를 들어, 전자 장치(1000)는 인공지능 모델에 연계된 이벤트 DB에 음성 데이터로부터 검출된 사용자 이벤트(예컨대, 결혼식)와 관련된 정보('결혼하는 사람: 제나, 사용자의 관계: 친구, 결혼식 날짜: 금주 토요일(6/30)')를 저장함으로써, 결혼식을 새로운 이벤트로 등록할 수 있다.
일 실시예에 의하면, 이벤트 DB는 일정 관리 애플리케이션, 캘린더 애플리케이션, 연락처 애플리케이션, SNS 애플리케이션 등과 연계될 수 있으나, 이에 한정되는 것은 아니다. 한편, 이벤트 DB는 사용자가 중요하게 생각하는 사용자 이벤트들을 정의한 DB로서, 사용자가 직접 입력한 이벤트에 관한 정보, 시스템에서 자동으로 등록한 이벤트에 관한 정보 등을 포함할 수 있다.
단계 S430에서, 전자 장치(1000)는, 사용자로부터 발화된 음성 데이터로부터 사용자의 감정 정보를 추출할 수 있다. 예를 들어, 전자 장치(1000)는 음성 데이터를 텍스트 데이터로 변환하고, 자연어 처리(Natural Language Processing)에 기반하여 텍스트 데이터로부터 감정 상태와 관련된 정보를 검출할 수 있다. 예컨대, 전자 장치(1000)는, '금주 토요일 친구 제나의 결혼식에서, 내가 축가를 불러주기로 했는데, 긴장되네'라는 음성 데이터를 분석하여, 사용자의 감정 정보로서 '긴장'을 검출할 수 있다.
단계 S440에서, 전자 장치(1000)는, 음성 데이터로부터 사용자의 감정 정보가 추출되지 않은 경우, 이벤트-감정 DB로부터 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 단계 S440은 도 2의 단계 S220에 대응될 수 있으므로, 구체적인 설명은 생략하기로 한다.
단계 S450에서, 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
전자 장치(1000)는, 사용자로부터 발화된 음성 데이터로부터 사용자의 감정 정보가 추출된 경우, 추출된 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다. 만일, 사용자로부터 발화된 음성 데이터로부터 사용자의 감정 정보가 추출되지 않은 경우, 이벤트-감정 DB로부터 획득된 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응대 방법 DB(320)로부터 감정 정보와 맵핑된 응대 타입을 결정할 수 있다. 단계 S450은 도 2의 단계 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S460에서, 전자 장치(1000)는, 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응답 DB로부터 응대 타입과 맵핑된 응답을 추출하고, 대화형 인터페이스를 통해 사용자에게 추출된 응답을 제공할 수 있다. 단계 S460은 도 2의 단계 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 5는 일 실시예에 따른 전자 장치가 사용자의 발화에 응답하는 동작을 설명하기 위한 도면이다.
단계 S510에서, 전자 장치(1000)는, 사용자가 발화하는 경우, 마이크로폰을 통해 사용자의 음성 데이터를 획득하고, 음성 데이터를 분석하여, 사용자의 언어를 이해할 수 있다. 즉, 전자 장치(1000)는, 음성 데이터로부터 사용자 의도를 추출하고, 사용자 이벤트와 관련된 정보를 추출하고, 사용자 이벤트에 대한 감정 정보를 추출할 수 있다(S510). 예를 들어, 사용자가 '중요한 프리젠테이션이 오후에 있어'라고 발화하는 경우, 전자 장치(1000)는 사용자 의도로서 '새로운 이벤트 등록'을 추출하고, 새로운 이벤트와 관련된 정보로서, '프리젠테이션, 오후'를 추출할 수 있다. 이때, 사용자의 발화로부터 별다른 감정 정보는 추출되지 않을 수 있다.
단계 S520에서, 전자 장치(1000)는, 사용자의 언어를 이해한 경우, 응대를 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 의도에 따라, '프리젠테이션, 오후'를 새로운 이벤트로 이벤트 DB(340)에 등록할 수 있다. 단계 S521에서, 전자 장치(1000)는 이벤트-감정 DB(310)로부터 프리젠테이션에 대응하는 제 1 감정 정보(예컨대, '긴장 가중치: 0.6, 즐거움 가중치: 0.4')를 추출할 수 있다. 단계 S522에서, 전자 장치(1000)는 응대 방법 DB(320)로부터 제 1 감정 정보(예컨대, '긴장 가중치: 0.6, 즐거움 가중치: 0.4')에 대응하는 제 1 응대 방법(예컨대, 제 1 응대 타입: 다른 정보(0.3), Cheerup (0.7))을 추출할 수 있다.
단계 S530에서, 전자 장치(1000)는 응답을 설정할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트 및 응대 방법에 따라 응답을 변형할 수 있다. 단계 S531에서, 전자 장치(1000)는 응답 DB(330)로부터, 사용자의 발화에 대한 기본 응답으로서 'presentation 하시는군요'를 추출하고, 추가 응답으로서 '홧팅 입니다'를 추출할 수 있다. 전자 장치(1000)는 대화형 인터페이스를 통해 '프리젠테이션 하시는 군요. 홧팅입니다!"를 출력할 수 있다.
한편, 전자 장치(1000)는 '프리젠테이션, 오후'를 새로운 이벤트로 등록했으므로, '프리젠테이션' 진행 과정을 모니터링할 수 있다. 예를 들어, 전자 장치(1000)는, 프리젠테이션 전 또는 후의 사용자의 감정 정보를 획득할 수 있다. 그리고 전자 장치(1000)는 획득된 사용자의 감정 정보에 기초하여, 개인의 감정 데이터베이스를 갱신할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트-감정 DB(310)에 포함된 기본(default) 감정 정보를 수정함으로써, 이벤트-감정 DB(310)를 개인화할 수 있다(S540).
이하에서는, 전자 장치(1000)가 이벤트 DB(340)에 기 등록된 사용자 이벤트에 대한 사용자의 감정 정보에 기반하여, 사용자에게 응답하는 동작에 대해서 살펴보기로 한다.
도 6은 일 실시예에 따른 전자 장치가 이벤트 DB에 등록된 사용자 이벤트를 추출하는 동작을 설명하기 위한 도면이다.
전자 장치(1000)는 사용자(600)의 제 1 발화에 의한 제 1 음성 데이터(601)를 수신할 수 있다. 예를 들어, 전자 장치(1000)는 사용자(600)로부터 '오늘 중요한 일 있나?'라는 질의 입력을 수신할 수 있다. 이때, 전자 장치(1000)는 사용자(600)로부터 수신된 제 1 음성 데이터(601)를 분석하여, 사용자(600)의 의도(예컨대, 사용자의 금일 주요 일정 확인)를 추출할 수 있다.
전자 장치(1000)는 사용자(600)의 의도에 따라, 사용자(600)의 오늘 일정을 확인하기 위해, 이벤트-감정 기반 응답 모델(300)에 연계된 이벤트 DB(340)에 접근할 수 있다. 전자 장치(1000)는 이벤트 DB(340)로부터 사용자(600)와 관련된 이벤트 정보(예컨대, 부사장님께 프리젠테이션)를 확인하고, 제 1 응답(602)을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, '오늘 오후에 부사장님께 프리젠테이션이 있습니다' 라는 제 1 응답(602)을 제공할 수 있다.
이때, 전자 장치(1000)는, 제 1 응답(602)을 들은 사용자(600)로부터 제 2 음성 데이터(603)를 수신할 수 있다. 예를 들어, 전자 장치(1000)는 '아, 그렇구나! 잘 해야 되는데...'라는 제 2 음성 데이터(603)를 수신할 수 있다. 제 2 음성 데이터(603)에 대한 응답을 제공하기 위해, 전자 장치(1000)는 이벤트-감정 DB로부터 '부사장님께 프리젠테이션'이라는 사용자 이벤트에 대응하는 기본 감정 정보(예컨대, 긴장 가중치: 0.6, 즐거움 가중치: 0.4' 를 획득할 수 있다. 또한, 전자 장치(1000)는 제 2 음성 데이터(603)로부터 감정 정보를 추출할 수도 있다. 예를 들어, 전자 장치(1000)는, 제 2 음성 데이터(603)로부터 감정 정보로서 '걱정'을 추출할 수 있다. 이때, 전자 장치(1000)는 제 2 음성 데이터(603)로부터 추출된 감정 정보(예컨대, 걱정)에 기반하여, 기본 감정 정보(예컨대, 긴장 가중치: 0.6, 즐거움 가중치: 0.4' )를 수정할 수 있다. 예를 들어, 전자 장치(1000)는 기본 감정 정보(예컨대, 긴장 가중치: 0.6, 즐거움 가중치: 0.4' )를 '긴장 가중치: 0.6, 즐거움 가중치: 0.1, 걱정 가중치: 0.3'으로 수정할 수 있다.
전자 장치(1000)는, 수정된 감정 정보(예컨대, '긴장 가중치: 0.6, 즐거움 가중치: 0.1, 걱정 가중치: 0.3')에 기초하여, 응대 타입을 '격려 타입(필요 정보 제공 + 격려 문구 추가)'으로 결정할 수 있다. 전자 장치(1000)는, 격려 타입으로 제 2 응답(604)을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, '프리젠테이션은 오후 3시니깐(필요 정보 제공), 여유를 가지세요. 자료 잘 챙기시고, 홧팅입니다~(격려 문구 추가)'를 제 2 응답(604)으로 출력할 수 있다.
도 7은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 기초하여, 사용자의 감정 정보를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S710에서, 전자 장치(1000)는, 현재 시간과 사용자 이벤트의 발생 예정 시간을 비교하여, 사용자 이벤트의 진행 단계를 결정할 수 있다. 여기서, 사용자 이벤트의 진행 단계는, 이벤트 발생 전(예컨대, 하루 전, 1시간 전, 10분 전 등), 이벤트 중, 이벤트 종료 후 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자 이벤트의 발생 예정 시간이 오후 3시이고, 현재 시간이 오후 2시인 경우, 전자 장치(1000)는, 사용자 이벤트의 진행 단계를 '사용자 이벤트 발생 1시간 전'으로 결정할 수 있다.
일 실시예에 의하면, 현재 시간은 사용자로부터의 발화를 감지한 시점일 수 있다. 즉, 전자 장치(1000)는 사용자로부터의 발화가 감지된 시점이 사용자 이벤트 발생 전인지 후인지를 판단할 수도 있다.
단계 S720에서, 전자 장치(1000)는, 사용자 이벤트의 진행 단계에 기초하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
사용자 이벤트의 발생 전인지 후인지에 따라, 사용자 이벤트에 대한 사용자의 감정 상태가 변화될 가능성이 크므로, 전자 장치(1000)는, 사용자 이벤트의 진행 단계를 고려하여, 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트 발생 전에 비해 사용자 이벤트 발생 후에는 '긴장 가중치(nervous weight)'를 낮게 추출할 수 있다.
단계 S730에서, 전자 장치(1000)는 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응대 방법 DB(320)로부터 감정 정보와 맵핑된 응대 타입을 결정할 수 있다. 단계 S730은 도 2의 단계 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S740에서, 전자 장치(1000)는, 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응답 DB로부터 응대 타입과 맵핑된 응답을 추출하고, 대화형 인터페이스를 통해 사용자에게 추출된 응답을 제공할 수 있다. 이때, 응답은 선제적 응답(예컨대, 사용자 이벤트에 대한 알림 제공)을 포함할 수 있다. 단계 S740은 도 2의 단계 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 8은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 따라 알림 또는 응답을 제공하는 동작을 설명하기 위한 도면이다.
전자 장치(1000)는, 매일 아침(800), 이벤트 DB에 등록할 새로운 이벤트가 있는지 확인하기 위해, "좋은 아침이에요. 오늘 무슨 중요한 일이 있나요?"하고 사용자(800)에게 말을 걸 수 있다. 이때, 전자 장치(1000)는, 사용자(800)로부터 '오늘 오후 3시에 부사장님께 프리젠테이션이 있어'라고 하는 제 1 발화를 감지하게 되면, 사용자의 음성 데이터를 분석하여, '오후 1시, 부사장님께 프리젠테이션'을 새로운 이벤트로 등록할 수 있다. 그리고 전자 장치(1000)는 인공지능 모델을 이용하여, '부사장님께 프리젠테이션'에 대응하는 감정 정보(예컨대, 즐거움 가중치: 0.4, 긴장 가중치: 0.6)를 획득하고, 감정 정보(예컨대, 즐거움 가중치: 0.4, 긴장 가중치: 0.6)에 기초하여 제 1 발화에 대한 응대 타입을 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 응대 타입으로 제 1 격려하는 타입(예컨대, cheerup 가중치: 0.7, 화제 전환 가중치: 0.3)을 결정할 수 있다. 전자 장치(1000)는, 제 1 격려하는 타입에 따라 제 1 발화에 대한 응답(예컨대, 네.. 제가 잘 챙겨 볼게요. 잘 하시길 바래요~)을 출력할 수 있다.
전자 장치(1000)는, 사용자(800)에게 사용자 이벤트와 관련된 알림을 제공하기 전에, 현재 시간(오후 1시)과 사용자 이벤트(예컨대, 부사장님께 프리젠테이션)의 발생 예정 시간(예컨대, 오후 3시)를 비교할 수 있다. 전자 장치(1000)는, 비교 결과에 따라, 현재 사용자 이벤트(예컨대, 부사장님께 프리젠테이션) 발생 전(820)임을 알 수 있다.
전자 장치(1000)는, 사용자 이벤트 발생 전(820)임을 고려하여, 사용자(800)의 감정 정보(예컨대, 즐거움 가중치: 0.1, 걱정 가중치: 0.2, 긴장 가중치: 0.7)를 획득할 수 있다. 전자 장치(1000)는 사용자(800)의 감정 정보(예컨대, 즐거움 가중치: 0.1, 걱정 가중치: 0.2, 긴장 가중치: 0.7)에 대응하는 응대 타입으로 제 2 격려 타입(예컨대, cheerup 가중치: 0.9, 화제 전환 가중치: 0.1)을 결정할 수 있다. 그리고, 전자 장치(1000)는, 제 2 격려 타입에 따라 선제적 응대를 할 수 있다. 예를 들어, 전자 장치(1000)는, '프리젠테이션이 조금 긴장되시죠~ 자료 잘 챙기시고요!'라는 알림을 제공할 수 있다. 전자 장치(1000)의 알림에 대해 사용자(800)가 '고마워. 열심히 해볼게..'라고 발화하는 경우, 전자 장치(1000)는 제 2 격려 타입에 따라 '네~ 홧팅입니다!'라는 응답을 출력할 수 있다.
사용자 이벤트가 종료된 후(830), 전자 장치(1000)는 사용자 이벤트에 관한 감정 정보를 사용자(800)에게 문의할 수 있다. 예를 들어, 전자 장치(1000)는, '오늘 프리젠테이션 어떠셨나요?'하는 문의를 출력할 수 있다. 문의에 대해 사용자(800)가 '응, 준비 잘했는데, 좀 깨졌어'라고 대답한 경우, 전자 장치(1000)는, 사용자 이벤트 발생 후(830)임을 고려하여, 사용자(800)의 감정 정보를 획득할 수 있다. 이때, 전자 장치(1000)는, 사용자의 음성 데이터로부터 감정 정보를 추출할 수도 있다. 예를 들어, 전자 장치(1000)는 프리젠테이션에 대한 감정 정보로서, '아쉬움 가중치: 0.4, 안도감 가중치: 0.4, 즐거움 가중치: 0.2'을 획득할 수 있다.
전자 장치(1000)는 사용자(800)의 감정 정보(예컨대, 아쉬움 가중치: 0.4, 안도감 가중치: 0.4, 즐거움 가중치: 0.2)에 대응하는 응대 타입으로 동감하는 타입(예컨대, 동감하기 가중치: 0.9, 다른 정보 제공 가중치: 0.1)을 결정할 수 있다. 전자 장치(1000)는 결정된 응대 타입(동감하기는 타입)에 기초하여, '열심히 준비하셨는데, 아쉬우시겠어요.'라는 제 1 응답을 제공할 수 있다. 제 1 응답에 대해 사용자(800)가 '응, 힘내야지!'라고 반응하는 경우, 전자 장치(1000)는 '네, 다음에는 더 잘 할 거에요'라는 제 2 응답을 출력할 수 있다.
전자 장치(1000)는, 사용자 이벤트 종료 후의 사용자의 감정 정보를 기록하여, 나중에 재활용할 수도 있다. 예를 들어, 전자 장치(1000)는 나중에 사용자에게 유사한 일이 발생할 때, 기존의 사용자 이벤트와 관련된 정보를 리마인드하여, 사용자가 좋았던 기억을 다시 생각할 수 있도록 유도할 수 있다.
도 9는 일 실시예에 따른 전자 장치가 사용자 이벤트와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 감정 정보를 획득하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 인공지능 모델(300)에 연계된 이벤트-감정 DB(310)에는 이벤트(900)에 따른 감정 정보가 이벤트(900)와 관련된 사람, 장소 또는 시간에 따라 조금 더 세분화되어 있을 수 있다. 이 경우, 전자 장치(1000)는, 이벤트(900)와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 세부 감정 정보를 획득할 수 있다.
예를 들어, 전자 장치(1000)는, 이벤트(900)가 프리젠테이션(910)인 경우, 기본적으로 사용자의 감정 정보를 '긴장 가중치: 0.4, 즐거움 가중치: 0.6'으로 결정할 수 있다. 하지만, 전자 장치(1000)가, 프리젠테이션(910)의 상대방에 대한 정보를 얻게 되는 경우, 프리젠테이션(910)의 상대방에 대한 정보를 고려하여, 사용자의 감정 정보를 결정할 수 있다. 예를 들어, 프리젠테이션(910)의 상대방이 사장(CEO)인 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.9, 즐거움 가중치: 0.1' 로 결정할 수 있다. 반면, 프리젠테이션(910)의 상대방이 친구인 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.1, 즐거움 가중치: 0.9' 로 결정할 수 있다.
한편, 전자 장치(1000)는 프리젠테이션(910)이 진행되는 장소에 대한 정보를 얻게 되는 경우, 진행 장소를 고려하여, 사용자의 감정 정보를 결정할 수도 있다. 예를 들어, 프리젠테이션(910)이 회의실에서 진행되는 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.4, 즐거움 가중치: 0.4, 걱정 가중치: 0.2' 로 결정할 수 있다. 반면, 프리젠테이션(910)이 야유회에서 진행되는 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.1, 즐거움 가중치: 0.9'로 결정할 수 있다.
다른 실시예에 의하면, 전자 장치(1000)는, 이벤트(900)가 친구 결혼식(920)인 경우, 기본적으로, 사용자의 감정 정보를 '긴장 가중치: 0.2, 즐거움 가중치: 0.8'로 결정할 수 있다. 하지만, 전자 장치(1000)가, 친구 결혼식(920)의 시간 정보를 얻게 되는 경우, 친구 결혼식(920)의 시간 정보를 고려하여, 사용자의 감정 정보를 결정할 수 있다. 예를 들어, 친구 결혼식(920)이 오전에 있는 경우, 전자 장치(1000)는, 사용자의 감정 정보를 '긴장 가중치: 0.3, 즐거움 가중치: 0.6, 귀찮음 가중치: 0.1'로 결정할 수 있다. 또한, 친구 결혼식(920)이 오후에 있는 경우, 전자 장치(1000)는, 사용자의 감정 정보를 '긴장 가중치: 0.2, 즐거움 가중치: 0.8'로 결정하고, 친구 결혼식(920)이 저녁에 있는 경우, 사용자의 감정 정보를'긴장 가중치: 0.1, 즐거운 가중치: 0.9'로 결정할 수 있다.
한편, 전자 장치(1000)는 친구 결혼식(920)이 진행되는 장소에 대한 정보를 얻게 되는 경우, 진행 장소를 고려하여, 사용자의 감정 정보를 결정할 수도 있다. 예를 들어, 친구 결혼식(920)이 야외에서 있는 경우, 전자 장치(1000)는, 사용자의 감정 정보를 '즐거움 가중치: 1'로 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 사용자의 반응 정보는 사용자가 적어도 하나의 이벤트에 대해 갖는 감정 상태에 관한 정보로서, 사용자의 입력에 기반하여 획득될 수 있다. 예를 들어, 전자 장치(1000)는, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하고, 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득할 수 있다. 전자 장치(1000)는, 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 이하에서는 전자 장치(1000)가 사용자의 반응 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작에 대해서 도 10 및 도 11을 참조하여 살펴보기로 한다.
도 10 및 도 11은 일 실시예에 따른 이벤트-감정 DB를 개인화하는 동작을 설명하기 위한 도면이다.
도 10을 참조하면, 전자 장치(1000)는, 사용자 이벤트가 발생하기 전에, 사용자 이벤트와 관련된 알림(예컨대, 프리젠티이션 1시간 전입니다)을 알림 창(1010)을 통해 사용자에게 제공할 수 있다.
이때, 전자 장치(1000)는, 감정 후보 리스트를 제공하여, 사용자로부터 사용자 이벤트 발생 전의 실제 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 기쁨, 긴장, 슬픔, 선택, 보통, 후회, 화남, 짜증 등이 포함된 감정 후보 리스트를 제공하고, 감정 후보 리스트에서 '긴장'을 선택하는 사용자 입력을 수신할 수 있다.
전자 장치(1000)는 사용자가 입력한 실제 감정 정보에 기반하여, 이벤트-감정 DB(310)에 저장된 기본(default) 감정 정보를 개인화할 수 있다. 예를 들어, 이벤트-감정 DB(310)에 저장된 프리젠테이션 전의 사용자의 감정 정보(1001)는 '즐거움 가중치: 0.4, 긴장 가중치(0.6)' 일 수 있다. 하지만, 사용자가 알림 창(1010)에 표시된 감정 후보 리스트 중에서 '긴장'을 선택하였으므로, 전자 장치(1000)는 기본 감정 정보에 포함된 긴장 가중치를 높여, 프리젠테이션에 대한 사용자의 감정 정보를 개인화할 수 있다. 예를 들어, 프리젠테이션에 대해 개인화된 감정 정보(1002)는 '즐거움 가중치: 0.1, 긴장 가중치: 0.9' 일 수 있다.
도 11을 참조하면, 전자 장치(1000)는 사용자 이벤트가 종료된 후에 사용자 이벤트에 대한 사용자의 피드백을 획득할 수 있다. 예를 들어, 전자 장치(1000)는 사용자 이벤트에 대한 감정을 확인하기 위한 문의 창(1110)을 제공할 수 있다. 일 실시예에 의하면, 전자 장치(1000)는 문의 창(1110)에 감성 상태를 나타내는 복수의 이미지들을 포함하는 감정 후보 리스트를 표시할 수 있다. 이때, 전자 장치(1000)는, 감정 후보 리스트 중에서 즐거움을 나타내는 이미지(1103)를 선택하는 입력을 사용자로부터 수신할 수 있다.
전자 장치(1000)는 사용자가 입력한 실제 감정 정보에 기반하여, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 기본(default) 감정 정보를 개인화할 수 있다. 예를 들어, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 사용자의 감정 정보(1101)는 '즐거움 가중치: 0.4, 긴장 가중치(0.6)' 일 수 있다. 하지만, 사용자가 문의 창(1110)에 표시된 감정 후보 리스트 중에서 '즐거움을 나타내는 이미지'를 선택하였으므로, 전자 장치(1000)는 기본 감정 정보에 포함된 즐거움 가중치를 높여, 프리젠테이션에 대한 사용자의 감정 정보를 개인화할 수 있다. 예를 들어, 프리젠테이션에 대해 개인화된 감정 정보(1102)는 '즐거움 가중치: 0.9, 긴장 가중치: 0.1' 일 수 있다.
이하에서는, 전자 장치(1000)가, 외부 장치를 이용하여 사용자의 생체 정보를 모니터링하고, 사용자의 생체 정보에 따라, 기본 감정 정보를 수정하는 동작에 대해서 살펴보기로 한다.
도 12는 일 실시예에 따른 전자 장치가 생체 정보에 따라 기본 감정 정보를 수정하는 동작을 설명하기 위한 도면이다.
단계 S1210에서, 전자 장치(1000)는 사용자 이벤트와 관련된 기본 감정 정보(1201)를 이벤트-감정 DB(310)로부터 획득할 수 있다. 기본 감정 정보(1201)는 사용자 이벤트에 대한 일반인들의 평균적인 감정 정보일 수도 있고, 사용자 이벤트에 대한 사용자의 과거 감정 정보일 수도 있다. 예를 들어, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 기본 감정 정보(1201)는 '즐거운 가중치: 0.4, 긴장 가중치: 0.6'일 수 있다.
단계 S1220에서, 전자 장치(1000)는, 사용자의 실제 감정 정보를 확인하기 위해, 외부 장치(3000)로부터 사용자의 생체 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 사용자의 손목에 착용된 스마트 시계로부터 사용자의 심박수 정보, 체온 변화 정보 등을 수신할 수 있다. 또한, 전자 장치(1000)는, 스마트 시계에서 녹음된 사용자의 음성 데이터를 수신할 수도 있다. 전자 장치(1000)는, 외부 장치(3000)로부터 소정 주기로 사용자의 생체 정보를 수신할 수도 있고, 특정 이벤트 발생 시에 외부 장치(3000)로부터 사용자의 생체 정보를 수신할 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 생체 정보에 기반하여, 사용자의 실제 감정 정보를 획득할 수 있다. 예를 들어, 사용자의 심박수가 빨라지고, 체온이 상승하는 경우, 전자 장치(1000)는 사용자의 긴장감이 높아졌다고 판단할 수 있고, 반대로 심박수가 안정을 찾은 경우, 전자 장치(1000)는, 사용자의 긴장감이 낮아졌다고 판단할 수 있다. 또한, 사용자의 음성 데이터를 분석한 결과, 목소리가 떨리거나, 긴장할 때 사용되는 단어(예컨대, 어?, 음...')를 많이 사용한 경우, 전자 장치(1000)는 사용자의 긴장감이 높아졌다고 판단할 수 있다. 반면에 사용자의 음성 데이터를 분석한 결과, 사용자가 환호하거나, 자주 웃는 경우, 전자 장치(1000)는 사용자의 즐거움이 높아졌다고 판단할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 이벤트 DB(340)에 등록된 사용자 이벤트 발생 전에, 사용자 이벤트 중에, 사용자 이벤트 종료 후에, 각각 사용자의 생체 정보를 획득할 수 있으나, 이에 한정되는 것은 아니다. 이 경우, 전자 장치(1000)는, 사용자 이벤트 진행에 따른 사용자의 감정 변화를 모니터링 할 수 있다.
단계 S1230에서, 전자 장치(1000)는, 사용자의 생체 정보에 기반하여, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 기본 감정 정보(1201)를 수정할 수 있다. 예를 들어, 사용자의 심박수가 안정적인 경우, 전자 장치(1000)는 기본 감정 정보(1201)에 포함된 긴장 가중치를 '0.6'에서 '0.2'로 낮출 수 있다. 따라서, 수정된 감정 정보(1202)는 '즐거움 가중치: 0.8, 긴장 가중치: 0.2'일 수 있다.
도 13은 일 실시예에 따른 사용자의 감정 정보에 기초하여 어조(tone)를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화가 감지된 시점에 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 다른 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화 전에 선제적으로 응대하기 위해 사용자 이벤트에 대한 사용자의 감정 정보를 획득할 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델을 이용하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 인공지능 모델에 의해 생성(또는 갱신(refine))되는 이벤트-감정 DB(310)로부터 특정 사용자 이벤트에 대응하는 사용자의 감정 정보를 획득할 수 있다. 이벤트-감정 DB(310)는 특정 이벤트에 대한 일반인의 평균적인 감정 정보를 저장하거나, 특정 이벤트에 대해 사용자 별로 개인화된 감정 정보를 저장할 수 있으나, 이에 한정되는 것은 아니다.
단계 S1310은 도 2의 단계 S210에 대응할 수 있으므로, 구체적인 설명은 생략하기로 한다.
단계 S1320에서, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보에 기초하여, 사용자의 발화에 대한 응답을 제공하기 위한 어조(tone)를 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보에 기초하여, 발화 속도(Speech rate), 피치 평균(pitch average), 피치 범위(pitch range), 강도(intensity), 음질(voice quality), 피치 변경(pitch changes), 굴절(articulation)을 결정할 수 있으나, 이에 한정되는 것은 아니다.
예컨대, 도 14에 도시된 감정-어조 테이블(1410)을 참조하면, 사용자의 감정 정보가 두려움(fear)인 경우, 전자 장치(1000)는, 발화 속도(Speech rate)를 '훨씬 더 빨리(much faster)'로 결정하고, 피치 평균(pitch average)을 '매우 더 높은(very much higher)'로 결정하고, 피치 범위(pitch range)를 'much wider'로 결정하고, 강도(intensity)를 'normal'로 결정하고, 음질(voice quality)을 'irregular voicing'으로 결정하고, 피치 변경(pitch changes)을 'normal'로 결정하고, 굴절(articulation)을 'precise'로 결정할 수 있다.
또한, 사용자의 감정 정보가 화남(anger)인 경우, 전자 장치(1000)는, 발화 속도(Speech rate)를 '약간 더 빨리(slightly faster)'로 결정하고, 피치 평균(pitch average)을 '매우 더 높은(very much higher)'로 결정하고, 피치 범위(pitch range)를 'much wider'로 결정하고, 강도(intensity)를 'higher'로 결정하고, 음질(voice quality)을 'breathy chest tone'으로 결정하고, 피치 변경(pitch changes)을 'abrupt on stressed syllable'로 결정하고, 굴절(articulation)을 'tense'로 결정할 수 있다.
단계 S1330에서, 전자 장치(1000)는, 결정된 어조로 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다. 따라서, 일 실시예에 의하면, 전자 장치(1000)는 사용자 이벤트에 대한 사용자의 감정 정보에 기초하여, 응답을 제공하는 음성의 어조를 다르게 함으로써, 사용자에게 감성 응대를 효율적으로 할 수 있다.
도 15는 일 실시예에 따른 전자 장치가 사용자의 감정 정보에 대응하는 색상을 이용하여, 알림을 제공하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 전자 장치(1000)는 사용자의 감정 정보에 대응하는 색상을 결정할 수 있다. 예를 들어, 감정-색상 테이블(1501)을 참조하면, 전자 장치(1000)는, '흥분(excitement), 에너지(energy), 열정(passion), 행동(action), 욕망(desire)의 감정에 대해서는 빨강 계열의 색을 결정하고, 낙천(optimistic), 향상(uplifting), 젊음(rejuvenating), 친근(friendliness), 재미(fun)의 감정에 대해서는 오렌지 계열의 색을 결정할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는 명도 또는 채도를 조절할 수도 있다. 예를 들어, 감정-색상 테이블(1501)에서 중심에 가까운 감정일수록 명도 또는 채도가 낮게 결정될 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 결정된 색상을 이용하여, 알림을 제공할 수 있다. 예를 들어, 사용자 이벤트가 '여행'이고, 사용자의 감정 상태가 '재미(fun)'인 경우, 전자 장치(1000)는 오렌지 색의 알림 창(1510)에 여행 하루 전임을 알리는 텍스트(예컨대, 여행 하루 전입니다)를 표시할 수 있다. 또한, 사용자 이벤트가 '개업'이고, 사용자의 감정 상태가 '희망(hope)'인 경우, 전자 장치(1000)는, 녹색의 알림 창(1520)에 개업 하루 전임을 알리는 텍스트(예컨대, 개업 하루 전입니다)를 표시할 수 있다.
도 16 및 도 17은 일 실시예에 따른 전자 장치가 다이어리 인터페이스를 제공하는 동작을 설명하기 위한 도면이다.
도 16의 제 1 실행 화면(1610)을 참조하면, 전자 장치(1000)는, 다이어리 인터페이스를 상에 사용자 이벤트들의 목록을 표시할 수 있다. 이때, 전자 장치(1000)는, 사용자가 사용자 이벤트에 대해 느끼는 대표적인 감정을 이벤트 명 옆에 표시할 수 있다. 예를 들어, 아들 생일에 대한 사용자의 대표적인 감정이 '기쁨'인 경우, 전자 장치(1000)는 아들 생일 옆에 기쁨을 표시할 수 있다. 또한, 프리젠테이션에 대한 사용자의 대표적인 감정이 '긴장'인 경우, 전자 장치(1000)는 프리젠테이션 옆에 '긴장'을 표시할 수 있다. 일 실시예에 의하면, 대표적인 감정은, 이모티콘 형태로 표시될 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트들의 목록을 이벤트 발생 순서대로 표시할 수도 있고, 감정 별로 분리하여 표시할 수도 있으나, 이에 한정되는 것은 아니다.
도 16의 제 2 실행 화면(1620)을 참조하면, 사용자가 사용자 이벤트들의 목록에서 아들 생일을 선택한 경우, 전자 장치(1000)는 아들 생일과 관련된 감정 정보를 구체적으로 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트 발생 전부터 발생 후까지 사용자의 감정 변화를 간단한 일기 형태로 제공할 수 있다. 이때, 전자 장치(1000)는 사용자의 감정 변화를 간단한 이모티콘 형태로 나타내 수 있다. 또한, 전자 장치(1000)는 사용자 이벤트와 관련된 사진 이미지가 존재하는 경우, 다이어리에 사진 이미지를 추가하여, 사용자에게 보여줄 수 있다. 한편, 전자 장치(1000)는, 사용자 이벤트와 관련된 추가 코멘트를 사용자로부터 입력 받을 수도 있다. 예를 들어, 사용자는, 아들 생일과 관련된 재미있는 에피소드나 사진 등을 다이어리에 추가할 수 있다.
도 17을 참조하면, 전자 장치(1000)는 사용자 이벤트 각각에 대응하는 감정 그래프(1710)를 다이어리 인터페이스상에 제공할 수도 있다. 감정 그래프는 이벤트 발생 전부터 이벤트 발생 후까지의 사용자의 감정 변화를 그래프로 나타낸 것일 수 있다. 일 실시예에 의하면, 감정 그래프는 2차원 그래프일 수도 있고, 3차원 그래프일 수도 있으나, 이에 한정되는 것은 아니다.
도 18 및 도 19는 일 실시예에 따른 전자 장치를 설명하기 위한 블록 구성도이다.
도 18에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 출력부(1100), 프로세서(1300), 메모리(1700)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(1000)는 구현될 수 있다.
예를 들어, 도 19에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 출력부(1100), 프로세서(1300), 메모리(1700) 이외에 센싱부(1200), 통신부(1400), A/V 입력부(1500), 사용자 입력부(1600)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
출력부(1100)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(1111), 음향 출력부(1112), 진동 모터(1113) 등이 포함될 수 있다.
음향 출력부(1112)는 통신부(1400)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1112)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1112)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 또한, 일 실시예에 의하면, 음향 출력부(1112)는 사용자 이벤트와 관련된 상기 사용자의 발화에 대한 응답을 음성으로 제공할 수 있다.
진동 모터(1113)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1113)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1113)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
출력부(1100)는 대화형 인터페이스를 제공할 수 있다. 대화형 인터페이스는 메시지 창 또는 채팅 창 형태로 제공될 수도 있고, 음성을 입/출력하는 형태로 제공될 수도 있으나, 이에 한정되는 것은 아니다.
출력부(1100)는, 사용자 이벤트와 관련된 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공할 수 있다. 예를 들어, 다이어리 인터페이스는 리마인더 애플리케이션 또는 캘린더 애플리케이션에 등록된 이벤트 별로 이벤트와 관련된 과거 감정 상태 및 이벤트와 관련된 에피소드를 나열할 수 있다. 이때, 과거 감정 상태는 이모티콘이나 간단한 그래프로 나타날 수 있다.
센싱부(1200)는, 지자기 센서(Magnetic sensor)(1211), 가속도 센서(Acceleration sensor)(1212), 기울기 센서(1213), 적외선 센서(1214), 자이로스코프 센서(1215), 위치 센서(예컨대, GPS)(1216), 온습도 센서(1217), 근접 센서(1218), 및 광 센서(1219) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 출력부(1100), 센싱부(1200), 통신부(1400), A/V 입력부(1500), 사용자 입력부(1600), 메모리(1700) 등을 전반적으로 제어할 수 있다.
일 실시예에 의하면, 프로세서(1300)는 학습 네트워크 모델을 생성하기 위한 AI 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, AI 프로세서는 프로세서(1300)와 별도의 칩으로 구현될 수도 있다.
프로세서(1300)는, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하고, 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 응답을 수신할 수 있다. 프로세서(1300)는, 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 프로세서(1300)는, 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하고, 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공할 수 있다.
프로세서(1300)는 전자 장치(1000)에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 일 실시예에 의하면, 전자 장치(1000)는 전문가에 의해 분석된 감정 정보 및 사용자의 과거 감정 정보 중 적어도 하나에 기초하여 학습된 인공지능 모델로부터 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 일 실시예에 의하면, 프로세서(1300)는 현재 시간과 상기 사용자 이벤트의 발생 예정 시간을 비교하여, 사용자 이벤트의 진행 단계(progress stage)를 결정하고, 사용자 이벤트의 진행 단계에 기초하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
프로세서(1300)는 사용자로부터 발화된 음성 데이터로부터 사용자 이벤트와 관련된 정보를 추출하고, 추출된 정보를 이용하여, 사용자 이벤트를 새로운 이벤트로 전자 장치(1000)에 등록할 수 있다. 프로세서(1300)는 사용자의 음성 데이터로부터 사용자의 감정 정보를 추출할 수도 있다.
프로세서(1300)는 이벤트와 감정 정보를 맵핑한 테이블로부터 사용자 이벤트와 관련된 기본 감정 정보를 획득하고, 센싱부(1200) 또는 외부 장치를 이용하여 사용자의 생체 정보를 획득하고, 사용자의 생체 정보에 기초하여 기본 감정 정보를 수정함으로써, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 프로세서(1300)는 사용자로부터 발화된 음성 데이터를 분석한 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여 기본 감정 정보를 수정함으로써, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수도 있다.
프로세서(1300)는 사용자 이벤트가 종료된 후 사용자 이벤트에 대한 피드백을 사용자 입력부(1600)를 통해 사용자로부터 획득하고, 획득된 피드백에 기초하여, 이벤트와 감정 정보를 맵핑한 테이블을 갱신(refine)할 수 있다. 예를 들어, 프로세서(1300)는, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하고, 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득할 수 있다. 프로세서(1300)는, 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다.
프로세서(1300)는 사용자 이벤트와 관련된 사람, 사용자 이벤트의 발생 예정 시간 및 사용자 이벤트와 관련된 장소 중 적어도 하나를 고려하여, 사용자의 감정 정보를 획득할 수 있다.
프로세서(1300)는 사용자의 감정 정보에 기초하여 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다. 일 실시예에 의하면, 프로세서(1300)는 사용자 이벤트와 관련된 상기 사용자의 감정 정보에 기초하여, 사용자의 발화에 대한 응답 또는 알림 정보를 제공하기 위한 어조(tone)를 결정할 수 있다.
프로세서(1300)는, 결정된 응대 타입에 기초하여 사용자 이벤트와 관련된 상기 사용자의 발화에 대한 응답을 대화형 인터페이스를 통해 제공하도록 출력부(1100)를 제어할 수 있다. 예를 들어, 프로세서(1300)는, 사용자의 감정 정보에 대응하는 색상을 선택하고, 선택된 색상을 이용하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답 또는 알림 정보를 표시할 수 있다.
프로세서(1300)는, 사용자가 선호하는 표현 방식을 적용하여, 응답을 제공할 수 있다. 또한, 프로세서(1300)는, 사용자의 상황을 고려하여, 사용자 이벤트와 관련된 알림 제공 방식을 결정하고, 결정된 알림 제공 방식에 따라, 사용자 이벤트와 관련된 알림을 제공할 수 있다. 예를 들어, 프로세서(1300)는, 사용자가 중요한 회의 중인 경우, 시각적인 알림만을 제공하다가 회의가 종료된 후에는 진동 또는 소리로 알림을 제공할 수 있다.
통신부(1400)는, 전자 장치(1000)와 웨어러블 장치 또는 전자 장치(1000)와 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1400)는, 근거리 통신부(1411), 이동 통신부(1412) 및 방송 수신부(1413)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(221)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1412)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1413)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1413)를 포함하지 않을 수도 있다.
일 실시예에 의하면, 통신부(1400)는, 외부 장치 사용자의 생체 정보를 획득할 수 있다. 예를 들어, 통신부(1400)는, 전자 장치(1000)에 연결된 웨어러블 디바이스로부터 사용자의 심박수 정보, 호흡 정보, 체온 정보 등을 수집할 수 있다.
A/V(Audio/Video) 입력부(1500)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1511), 마이크로폰(1512) 등이 포함될 수 있다. 카메라(1511)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라(1511)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1400)를 통하여 외부로 전송될 수 있다. 일 실시예에 의하면, 카메라(1511)는, 망원 카메라, 광각 카메라, 일반 카메라 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
마이크로폰(1512)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1512)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1512)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
사용자 입력부(1600)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1600)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 음성 데이터, 사진 이미지, 메타데이터, 개인화 학습 데이터, 사용자의 생체 정보 등)을 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 응답 모델(1711)이 있을 수 있다. 응답 모델(1711)은 도 3의 이벤트-감정 기반 응답 모델(300)에 대응하므로, 구체적인 설명은 생략하기로 한다.
메모리(1700)는, 이벤트 DB(1712)를 포함할 수 있다. 이벤트 DB(1712)는 도 5의 이벤트 DB(340)에 대응할 수 있다. 또한, 메모리(1700)는 응답 모델(1711)에 의해 생성된 이벤트-감정 DB(1713), 응대 방법 DB(1714), 응답 DB(1715)을 저장할 수도 있다. 이벤트-감정 DB(1713), 응대 방법 DB(1714), 응답 DB(1715)은 각각 도 3의 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)에 대응되므로, 구체적인 설명은 생략하기로 한다.
이하에서는 응답 모델(1711)이 생성되는 과정에 대해서 도 20 내지 도 23을 참조하여 자세히 살펴보기로 한다.
한편, 전자 장치(1000) 및 서버(미도시)가 서로 연동함으로써 사용자에게 응답 메시지가 제공될 수 있다.
이 경우, 서버(미도시)는 응답 상황(예컨대, 이벤트 및 감정 기반 응답 제공)의 판단을 위한 기준을 학습함으로써, 이벤트-감정 기반 응답 모델을 생성할 수 있으며, 전자 장치(1000)는 서버(미도시)에 의한 학습 결과에 따라 생성된 이벤트-감정 기반 응답 모델을 이용하여 응답 상황을 판단할 수 있다. 이 경우, 전자 장치(1000)는 이벤트-감정 기반 응답 모델을 위한 데이터를 서버(미도시)에게 제공하고, 서버(미도시)가 응답 상황을 판단하고, 서버(미도시)가 판단된 응답 상황을 전자 장치(1000)에게 제공할 수 있다. 또는, 전자 장치(1000)는 이벤트-감정 기반 응답 모델을 위한 데이터를 서버(미도시)로부터 수신하고, 수신된 이벤트-감정 기반 응답 모델을 이용하여 응답 상황을 판단할 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
Claims (15)
- 전자 장치가 가상 비서 인터페이스를 제공하는 방법에 있어서,
상기 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 단계;
상기 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 상기 질의에 대한 응답을 수신하는 단계;
상기 질의에 대한 응답을 분석하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 단계;
상기 사용자의 감정 상태에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 단계;
상기 사용자의 감정 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 단계; 및
상기 응대 타입에 따라 상기 적어도 하나의 이벤트에 대한 알림 정보를 상기 가상 비서 인터페이스를 통해 제공하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 질의에 대한 응답을 수신하는 단계는,
상기 질의에 대한 응답으로 상기 사용자로부터 발화된 음성 데이터를 수신하는 단계;
상기 음성 데이터로부터 상기 적어도 하나의 이벤트와 관련된 정보를 추출하는 단계; 및
상기 추출된 정보를 이용하여, 상기 적어도 하나의 이벤트를 새로운 이벤트로 상기 전자 장치에 등록하는 단계를 포함하는, 방법. - 제 2 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는,
이벤트와 감정 정보를 맵핑한 테이블로부터 상기 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하는 단계;
상기 음성 데이터를 분석한 정보에 기초하여 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 단계; 및
상기 사용자의 감정 상태에 기초하여 상기 기본 감정 정보를 수정함으로써, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는,
현재 시간과 상기 적어도 하나의 이벤트의 발생 예정 시간을 비교하여, 상기 적어도 하나의 이벤트의 진행 단계(progress stage)를 결정하는 단계; 및
상기 적어도 하나의 이벤트의 진행 단계에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 갱신하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는
상기 적어도 하나의 이벤트가 종료된 후 상기 적어도 하나의 이벤트에 대한 반응 정보(feedback information )를 상기 사용자로부터 획득하는 단계; 및
상기 획득된 반응 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 갱신하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는,
상기 적어도 하나의 이벤트와 관련된 사람, 상기 적어도 하나의 이벤트의 발생 예정 시간 및 상기 적어도 하나의 이벤트와 관련된 장소 중 적어도 하나와 관련된 정보를 이용하여, 상기 사용자의 감정 정보를 학습하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 응대 타입을 결정하는 단계는,
상기 사용자의 감정 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 알림 정보를 제공하기 위한 어조(tone)를 결정하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 알림 정보를 제공하는 단계는,
상기 사용자의 감정 정보에 대응하는 색상을 선택하는 단계; 및
상기 선택된 색상을 이용하여, 상기 적어도 하나의 이벤트에 대한 알림 정보를 표시하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 방법은,
상기 결정된 응대 타입에 기초하여, 상기 적어도 하나의 이벤트와 관련된 상기 사용자의 발화에 대한 응답을 제공하는 단계를 더 포함하는, 방법. - 제 1 항에 있어서, 상기 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계는,
상기 사용자의 상황을 고려하여, 상기 적어도 하나의 이벤트와 관련된 알림 제공 방식을 결정하는 단계; 및
상기 결정된 알림 제공 방식에 따라, 상기 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계를 포함하는, 방법. - 제 1 항에 있어서, 상기 방법은,
상기 적어도 하나의 이벤트와 관련된 상기 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공하는 단계를 더 포함하는, 방법. - 가상 비서 인터페이스를 제공하는 출력부; 및
적어도 하나의 프로세서를 포함하되,
상기 적어도 하나의 프로세서는,
상기 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 동작;
상기 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 상기 질의에 대한 응답을 수신하는 동작;
상기 질의에 대한 응답을 분석하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 동작;
상기 사용자의 감정 상태에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 동작;
상기 사용자의 감정 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 동작; 및
상기 응대 타입에 따라 상기 적어도 하나의 이벤트에 대한 알림 정보를 상기 가상 비서 인터페이스를 통해 제공하는 동작을 수행하는, 전자 장치. - 제 12 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 질의에 대한 응답으로 상기 사용자로부터 발화된 음성 데이터를 수신하는 동작;
상기 음성 데이터로부터 상기 적어도 하나의 이벤트와 관련된 정보를 추출하는 동작; 및
상기 추출된 정보를 이용하여, 상기 적어도 하나의 이벤트를 새로운 이벤트로 상기 전자 장치에 등록하는 동작을 더 수행하는, 전자 장치. - 제 13 항에 있어서, 상기 적어도 하나의 프로세서는,
이벤트와 감정 정보를 맵핑한 테이블로부터 상기 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하는 동작;
상기 음성 데이터를 분석한 정보에 기초하여 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 동작; 및
상기 사용자의 감정 상태에 기초하여 상기 기본 감정 정보를 수정함으로써, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 동작을 더 수행하는, 전자 장치. - 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 동작;
상기 알림 정보에 포함된 상기 적어도 하나의 이벤트에 대한 상기 사용자의 반응 정보(feedback information)를 획득하는 동작;
상기 사용자의 반응 정보를 분석하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 동작; 및
상기 사용자의 감정 상태에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180115346 | 2018-09-27 | ||
| KR20180115346 | 2018-09-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200035887A true KR20200035887A (ko) | 2020-04-06 |
Family
ID=69952357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190118374A KR20200035887A (ko) | 2018-09-27 | 2019-09-25 | 대화형 인터페이스를 제공하는 방법 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11423895B2 (ko) |
| EP (1) | EP3705990A4 (ko) |
| KR (1) | KR20200035887A (ko) |
| CN (1) | CN111226194B (ko) |
| WO (1) | WO2020067710A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102256383B1 (ko) * | 2020-05-18 | 2021-05-25 | 권영훈 | 사용자의 희망시간을 고려하여 응답정보를 제공하고 캐릭터의 외형을 변환하는 챗봇 서비스를 위한 시스템 |
| WO2022145883A1 (ko) * | 2020-12-30 | 2022-07-07 | 삼성전자 주식회사 | 음성 입력에 응답하는 방법 및 이를 지원하는 전자 장치 |
| KR102493097B1 (ko) * | 2022-08-01 | 2023-02-01 | 주식회사 에이펀인터렉티브 | 영상 데이터를 이용한 메타버스 캐릭터 제작 시스템 및 방법 |
| KR102617115B1 (ko) * | 2023-06-12 | 2023-12-21 | 광운대학교 산학협력단 | 감정 표현 시스템 및 감정 표현 방법 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3766066B1 (en) * | 2018-04-19 | 2024-02-21 | Microsoft Technology Licensing, LLC | Generating response in conversation |
| US11734754B1 (en) * | 2019-01-30 | 2023-08-22 | United Services Automobile Association (Usaa) | Intelligent loan recommendation agent |
| JP7248615B2 (ja) * | 2020-03-19 | 2023-03-29 | ヤフー株式会社 | 出力装置、出力方法及び出力プログラム |
| US11735206B2 (en) * | 2020-03-27 | 2023-08-22 | Harman International Industries, Incorporated | Emotionally responsive virtual personal assistant |
| US20220139562A1 (en) * | 2020-07-10 | 2022-05-05 | Modality.Ai, Inc. | Use of virtual agent to assess psychological and medical conditions |
| US11283751B1 (en) | 2020-11-03 | 2022-03-22 | International Business Machines Corporation | Using speech and facial bio-metrics to deliver text messages at the appropriate time |
| EP4402555A4 (en) * | 2021-09-13 | 2024-10-30 | Ericsson Telefon Ab L M | METHODS AND DEVICES RELATING TO EXPERIENCE-ADAPTED EXTENDED REALITY NOTIFICATIONS |
| CN116521038A (zh) * | 2022-01-24 | 2023-08-01 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、计算机设备以及可读存储介质 |
| US20230343349A1 (en) * | 2022-04-20 | 2023-10-26 | Sony Interactive Entertainment Inc. | Digital audio emotional response filter |
| WO2024219321A1 (ja) * | 2023-04-17 | 2024-10-24 | ソフトバンクグループ株式会社 | 行動制御システム |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981632A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 情報公開装置 |
| US5918222A (en) | 1995-03-17 | 1999-06-29 | Kabushiki Kaisha Toshiba | Information disclosing apparatus and multi-modal information input/output system |
| JP2005062240A (ja) | 2003-08-13 | 2005-03-10 | Fujitsu Ltd | 音声応答システム |
| US20080096533A1 (en) * | 2006-10-24 | 2008-04-24 | Kallideas Spa | Virtual Assistant With Real-Time Emotions |
| BRPI0924538A2 (pt) * | 2009-06-16 | 2015-08-11 | Intel Corp | Aplicações de câmera em um dispositivo portátil |
| US10042603B2 (en) * | 2012-09-20 | 2018-08-07 | Samsung Electronics Co., Ltd. | Context aware service provision method and apparatus of user device |
| KR20140126485A (ko) * | 2013-04-23 | 2014-10-31 | 네무스텍(주) | 감정 반응형 모바일 개인 비서 서비스 방법 |
| WO2015187048A1 (en) * | 2014-06-06 | 2015-12-10 | Obschestvo S Ogranichennoy Otvetstvennostiyu "Speactoit" | Proactive environment-based chat information system |
| US9786299B2 (en) * | 2014-12-04 | 2017-10-10 | Microsoft Technology Licensing, Llc | Emotion type classification for interactive dialog system |
| US20160180722A1 (en) | 2014-12-22 | 2016-06-23 | Intel Corporation | Systems and methods for self-learning, content-aware affect recognition |
| CN105991847B (zh) * | 2015-02-16 | 2020-11-20 | 北京三星通信技术研究有限公司 | 通话方法和电子设备 |
| US9336268B1 (en) * | 2015-04-08 | 2016-05-10 | Pearson Education, Inc. | Relativistic sentiment analyzer |
| US10437615B2 (en) * | 2015-11-02 | 2019-10-08 | Microsoft Technology Licensing, Llc | Emotionally connected responses from a digital assistant |
| CN105931638B (zh) * | 2016-04-26 | 2019-12-24 | 北京光年无限科技有限公司 | 面向智能机器人的对话系统数据处理方法及装置 |
| US9947319B1 (en) * | 2016-09-27 | 2018-04-17 | Google Llc | Forming chatbot output based on user state |
| US10796217B2 (en) * | 2016-11-30 | 2020-10-06 | Microsoft Technology Licensing, Llc | Systems and methods for performing automated interviews |
| US11580350B2 (en) * | 2016-12-21 | 2023-02-14 | Microsoft Technology Licensing, Llc | Systems and methods for an emotionally intelligent chat bot |
| US10304447B2 (en) * | 2017-01-25 | 2019-05-28 | International Business Machines Corporation | Conflict resolution enhancement system |
| AU2018261870B2 (en) * | 2017-05-05 | 2020-11-05 | Seetvun AMIR | Dynamic response prediction for improved bot task processing |
| US11934937B2 (en) * | 2017-07-10 | 2024-03-19 | Accenture Global Solutions Limited | System and method for detecting the occurrence of an event and determining a response to the event |
| CN108039988B (zh) * | 2017-10-31 | 2021-04-30 | 珠海格力电器股份有限公司 | 设备控制处理方法及装置 |
| US20200007380A1 (en) * | 2018-06-28 | 2020-01-02 | Microsoft Technology Licensing, Llc | Context-aware option selection in virtual agent |
| US20210125610A1 (en) * | 2019-10-29 | 2021-04-29 | Facebook Technologies, Llc | Ai-driven personal assistant with adaptive response generation |
-
2019
- 2019-09-25 KR KR1020190118374A patent/KR20200035887A/ko active Search and Examination
- 2019-09-25 EP EP19864979.0A patent/EP3705990A4/en active Pending
- 2019-09-25 WO PCT/KR2019/012440 patent/WO2020067710A1/ko unknown
- 2019-09-25 US US16/758,570 patent/US11423895B2/en active Active
- 2019-09-25 CN CN201980004767.2A patent/CN111226194B/zh active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102256383B1 (ko) * | 2020-05-18 | 2021-05-25 | 권영훈 | 사용자의 희망시간을 고려하여 응답정보를 제공하고 캐릭터의 외형을 변환하는 챗봇 서비스를 위한 시스템 |
| WO2022145883A1 (ko) * | 2020-12-30 | 2022-07-07 | 삼성전자 주식회사 | 음성 입력에 응답하는 방법 및 이를 지원하는 전자 장치 |
| KR102493097B1 (ko) * | 2022-08-01 | 2023-02-01 | 주식회사 에이펀인터렉티브 | 영상 데이터를 이용한 메타버스 캐릭터 제작 시스템 및 방법 |
| KR102617115B1 (ko) * | 2023-06-12 | 2023-12-21 | 광운대학교 산학협력단 | 감정 표현 시스템 및 감정 표현 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3705990A4 (en) | 2021-03-03 |
| CN111226194A (zh) | 2020-06-02 |
| CN111226194B (zh) | 2024-08-13 |
| WO2020067710A1 (ko) | 2020-04-02 |
| US11423895B2 (en) | 2022-08-23 |
| EP3705990A1 (en) | 2020-09-09 |
| US20200349938A1 (en) | 2020-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200035887A (ko) | 대화형 인터페이스를 제공하는 방법 및 시스템 | |
| US11327556B2 (en) | Information processing system, client terminal, information processing method, and recording medium | |
| US20220319517A1 (en) | Electronic personal interactive device | |
| CN108334583B (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
| CN108227932B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN110998725B (zh) | 在对话中生成响应 | |
| US20180101776A1 (en) | Extracting An Emotional State From Device Data | |
| US10382907B2 (en) | Device and method for providing notification message about call request | |
| CN110569352B (zh) | 一种可定制外观和性格的虚拟助手的设计系统及方法 | |
| CN110214301B (zh) | 信息处理设备、信息处理方法和程序 | |
| CN111971670B (zh) | 在对话中生成响应 | |
| CN113946222A (zh) | 一种控制方法、电子设备及计算机存储介质 | |
| WO2024219336A1 (ja) | 行動制御システム及びロボット | |
| WO2024219293A1 (ja) | 行動制御システム | |
| JP2024159687A (ja) | エージェントシステム | |
| JP2024159683A (ja) | 電子機器 | |
| JP2024159682A (ja) | エージェントシステム、プログラム、スマートグラス | |
| KR20170093631A (ko) | 적응적 컨텐츠 출력 방법 | |
| JP2024159679A (ja) | 電子機器 | |
| JP2024159684A (ja) | 電子機器 | |
| JP2024159692A (ja) | 電子機器 | |
| JP2024159690A (ja) | 電子機器 | |
| JP2024159691A (ja) | 電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |