[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102572701B1 - 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법 - Google Patents

사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102572701B1
KR102572701B1 KR1020180096283A KR20180096283A KR102572701B1 KR 102572701 B1 KR102572701 B1 KR 102572701B1 KR 1020180096283 A KR1020180096283 A KR 1020180096283A KR 20180096283 A KR20180096283 A KR 20180096283A KR 102572701 B1 KR102572701 B1 KR 102572701B1
Authority
KR
South Korea
Prior art keywords
user
message
electronic device
response message
event
Prior art date
Application number
KR1020180096283A
Other languages
English (en)
Other versions
KR20200020504A (ko
Inventor
한민석
이가희
최유리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180096283A priority Critical patent/KR102572701B1/ko
Priority to PCT/KR2019/010448 priority patent/WO2020036467A1/ko
Priority to US17/269,188 priority patent/US11881229B2/en
Publication of KR20200020504A publication Critical patent/KR20200020504A/ko
Application granted granted Critical
Publication of KR102572701B1 publication Critical patent/KR102572701B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)

Abstract

사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예에 따르면, 사용자로부터 입력된 발화에 기초하여 사용자의 상태 정보를 인식하고, 사용자의 건강 상태 정보를 분석하고, 분석된 사용자의 건강 상태 정보에 기초하여 응답 메시지를 생성하고, 생성된 응답 메시지를 출력하는 전자 장치 및 그 동작 방법을 제공한다.
본 개시의 일 실시예는, 사용자로부터 입력된 발화로부터 사용자의 이벤트 정보를 인식하고, 인식된 이벤트의 타입 및 빈도에 관한 정보에 기초하여 응답 메시지를 생성하고, 생성된 응답 메시지를 출력하는 전자 장치 및 그 동작 방법을 제공한다.

Description

사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법 {ELECTRONIC DEVICE FOR PROVIDING RESPONSE MESSAGE TO USER BASED ON USER'S STATUS INFORMATION AND METHOD FOR OPERATING THE SAME}
본 개시는 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 대화형 전자 장치가 사용자의 건강 정보 또는 사용자의 이벤트 정보와 같은 상태 정보를 인식하고, 인식된 사용자의 상태 정보에 따라 응답 메시지를 생성하여 출력하는 장치 및 방법에 관한 것이다.
멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 디바이스를 이용하여 다양한 서비스를 제공받을 수 있게 되었다. 특히, 음성 인식 기술이 발전함에 따라, 사용자는 디바이스에 음성 입력을 입력하고, 음성 입력에 따른 디바이스의 동작을 실행할 수 있게 되었다.
하지만 종래에는, 사용자의 음성 입력으로부터 사용자의 의도를 정확하게 파악하기 힘든 문제가 있었으며, 사용자의 의도를 파악하더라도 사용자에게 적절한 피드백을 주기 힘든 문제가 있었다. 이에 따라, 사용자의 음성 입력으로부터 사용자의 의도를 파악하고, 사용자가 요청한 동작의 대체 동작을 수행할 것을 사용자에게 효과적으로 추천할 수 있는 기술이 요구되고 있다.
특히, 근래에는 인공 지능(예컨대, 딥러닝(Deep learning)) 등의 기술이 발전함으로써, 음성, 이미지, 동영상 또는 텍스트와 같은 데이터를 자동(Automation)으로 인식하여 데이터와 연관된 정보를 제공하거나 데이터와 관련된 서비스를 제공하는 지능형 서비스(Intelligent Service)가 다양한 분야에서 사용되고 있다.
인공 지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
최근에는 인공지능 기술을 활용하여 사용자의 음성 입력에 따라 특정 동작을 수행하거나, 답변을 제공하는 대화형 인공 비서가 포함된 전자 장치가 활용되고 있다. 대화형 인공 비서는 사용자의 질문 또는 지시에 따라 기 저장된 답변 또는 동작을 수행할 수 있다. 그러나, 대화형 인공 비서는 단순히 메모리 또는 서버 등에 기 저장된 문구 중 임의의 문구를 반복하여 사용하는바, 사용자가 자신을 인식하고 있다는 느낌을 제공할 수 없는 문제점이 있다.
본 개시의 일 실시예는, 사용자로부터 입력된 발화로부터 사용자의 상태 정보를 인식하고, 사용자의 건강 상태 정보를 분석하고, 분석된 건강 상태 정보에 기초하여 응답 메시지를 생성하고, 생성된 응답 메시지를 출력하는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 개시의 일 실시예는, 사용자로부터 입력된 발화로부터 사용자의 이벤트 정보를 인식하고, 인식된 이벤트의 타입 및 빈도에 관한 정보에 기초하여 응답 메시지를 생성하고, 생성된 응답 메시지를 출력하는 전자 장치 및 그 동작 방법을 제공할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 적어도 하나의 프로그램이 저장되는 메모리; 사용자의 음성 입력을 수신하는 마이크로폰; 및 상기 적어도 하나의 프로그램을 실행함으로써 상기 사용자의 입력 발화에 대한 응답 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 상기 마이크로폰을 통해 상기 사용자의 입력 발화를 입력 받은 시점으로부터 기설정된 기간 전의 상기 사용자의 건강 상태 데이터를 분석하는 단계; 분석된 상기 사용자의 건강 상태 데이터에 기초하여 건강 상태 변화에 대한 제1 메시지, 상기 사용자에게 감정적 위로를 제공하는 위로성 메시지인 제2 메시지, 및 상기 건강 상태 데이터와 관련된 후속 행위를 제안하는 제안하는 제3 메시지를 포함하는 응답 메시지를 생성하는 단계; 및 생성된 응답 메시지를 디스플레이부 상에 표시하는 단계를 실행하는 명령어들을 포함하는 것을 특징으로 하는 전자 장치를 제공한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 적어도 하나의 프로그램이 저장되는 메모리; 사용자의 음성 입력을 수신하는 마이크로폰; 및 상기 적어도 하나의 프로그램을 실행함으로써 상기 사용자의 입력 발화에 대한 응답 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 상기 마이크로폰을 통해 상기 사용자의 입력 발화가 이벤트 빈도를 활용하는 이벤트 타입에 관한 것인지 여부를 검출하는 단계; 상기 사용자에 대하여 기 저장된 데이터에 기초하여 검출된 상기 이벤트 타입의 빈도를 분석하는 단계; 분석된 상기 이벤트 타입의 빈도에 기초하여 응답 메시지를 생성하는 단계; 및 생성된 상기 응답 메시지를 디스플레이부 상에 표시하는 단계를 실행하는 명령어들을 포함하는 것을 특징으로 하는 전자 장치를 제공한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 저장 매체는 마이크로폰을 통해 사용자의 발화를 입력받는 단계; 상기 사용자의 발화를 입력 받은 시점으로부터 기설정된 기간 전의 상기 사용자의 건강 상태 데이터를 분석하는 단계; 분석된 상기 사용자의 건강 상태 데이터에 기초하여 건강 상태 변화에 대한 제1 메시지, 상기 사용자에게 감정적 위로를 제공하는 위로성 메시지인 제2 메시지, 및 상기 건강 상태 데이터와 관련된 후속 행위를 제안하는 제안하는 제3 메시지를 포함하는 응답 메시지를 생성하는 단계; 및 생성된 응답 메시지를 디스플레이부 상에 표시하는 단계를 수행하는 명령어들을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 저장 매체는 마이크로폰을 통해 사용자의 발화를 입력받는 단계; 상기 사용자로부터 입력받은 발화가 이벤트 빈도를 활용하는 이벤트 타입에 관한 것인지 여부를 검출하는 단계; 상기 사용자에 대하여 기 저장된 데이터에 기초하여 검출된 상기 이벤트 타입의 빈도를 분석하는 단계; 분석된 상기 이벤트 타입의 빈도에 기초하여 응답 메시지를 생성하는 단계; 및 생성된 상기 응답 메시지를 디스플레이부 상에 표시하는 단계를 수행하는 명령어들을 포함할 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치가 사용자의 입력 발화에 대하여 응답 메시지를 제공하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태 정보에 기초하여 생성하는 응답 메시지의 예시를 나타내는 테이블을 도시한 도면이다.
도 3a 내지 도 3c는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태에 기초하여 생성된 응답 메시지를 출력하는 예시를 나타내는 도면들이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태에 기초하여 응답 메시지를 출력하는 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태에 기초하여 응답 메시지를 생성하는 방법을 나타내는 흐름도이다.
도 6a 내지 도 6c는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 상태에 따라 생성한 응답 메시지를 출력하는 예시를 나타내는 도면들이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 사용자의 이벤트 정보에 기초하여 응답 메시지를 출력하는 예시를 나타내는 도면이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 사용자의 이벤트 정보에 기초하여 응답 메시지를 출력하는 방법을 나타내는 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 빈도 관련 이벤트 타입에 따라 응답 메시지를 출력하는 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 이벤트의 타입 및 빈도에 기초하여 생성하는 응답 메시지의 예시를 나타내는 테이블을 도시한 도면이다.
도 11a 내지 도 11c는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 입력 발화에 기초하여 이벤트 정보를 등록하고, 등록된 이벤트 정보에 기초하여 응답 메시지를 출력하는 예시를 도시한 도면들이다.
도 12a 및 도 12b는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 입력 발화에 기초하여 이벤트 정보를 등록하고, 등록된 이벤트 정보에 기초하여 응답 메시지를 출력하는 예시를 도시한 도면들이다.
도 13는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 입력 발화에 포함된 이벤트 타입에 따른 기쁨 이벤트를 검출하고, 검출된 기쁨 이벤트에 기초하여 응답 메시지를 출력하는 예시를 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 이벤트 타입에 따른 기쁨 이벤트를 검출하고, 검출된 기쁨 이벤트에 기초하여 응답 메시지를 출력하는 방법을 나타내는 흐름도이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(100)가 사용자의 입력 발화에 대하여 응답 메시지를 제공하는 예시를 나타내는 도면이다.
도 1을 참조하면, 전자 장치(100)는 사용자(10)에 의해 입력된 발화에서 사용자의 상태 정보를 인식하고, 인식된 사용자의 상태 정보에 기초하여 응답 메시지(110)를 출력할 수 있다. 일 실시예에서, 전자 장치(100)는 응답 메시지(110)를 디스플레이부 상에 문자, 텍스트, 그래픽 인터페이스(graphic user interface, GUI) 또는 이들의 조합을 통해 표시하거나, 또는 음성 메시지로 출력할 수 있다.
전자 장치(100)는 사용자의 입력 발화에 기초하여 사용자의 건강 상태 데이터를 획득할 수 있다. 일 실시예에서, 전자 장치(100)는 사용자의 걸음 수, 수면 시간, 심박수, 및 운동량 중 적어도 하나를 포함하는 건강 관련 데이터를 분석하고, 분석된 사용자의 건강 관련 데이터에 기초하여 응답 메시지 set을 생성할 수 있다.
일 실시예에서, 전자 장치(100)는 사용자의 입력 발화에 대응되는 위로성 메시지를 생성할 수 있다. 여기서, 위로성 메시지는 예를 들면, '힘내세요', '토닥토닥', '괜찮아질 거에요' 등과 같이 사용자에게 감정적으로 위로를 제공하는 메시지일 수 있다. 위로성 메시지는 기 생성된 데이터 셋을 통해 획득될 수 있다.
일 실시예에서, 전자 장치(100)는 사용자의 건강 상태 정보와 관련된 후속 행위를 제안하는 메시지를 생성할 수 있다.
종래의 인공지능을 이용한 대화형 인공 비서를 포함하는 전자 장치는 사용자의 질문 또는 지시를 포함하는 입력 발화에 대하여 기 저장된 답변 또는 동작만을 수행할 수 있었다. 종래의 대화형 인공 비서는 단순히 메모리 또는 서버 등에 기 저장된 문구 중 임의의 문구를 반복하여 사용하는바, 사용자가 자신을 인식하고 있다는 느낌을 제공할 수 없는 문제점이 있다.
본 개시의 일 실시예에 따른 전자 장치(100)는 사용자로부터의 입력 발화에 기초하여 사용자의 건강 상태 정보를 분석하고, 사용자의 건강 상태 정보에 따른 메시지, 사용자에게 감정적인 위로를 제공하는 위로성 메시지, 및 건강 상태 정보와 관련된 후속 행위를 제안하는 메시지를 포함하는 응답 메시지를 생성하고, 생성된 응답 메시지를 출력할 수 있다. 이를 통해, 사용자는 전자 장치(100)가 사용자 자신을 인지하고, 감정적으로 공감되는 대응을 제공하고 있다는 느낌을 받을 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태 정보에 기초하여 생성하는 응답 메시지의 예시를 나타내는 테이블을 도시한 도면이다.
도 2를 참조하면, 전자 장치는 사용자의 건강 상태 데이터를 활용한 제1 메시지(210), 사용자에게 감정적인 위로를 제공하는 위로성 메시지인 제2 메시지(220), 및 건강 상태 데이터와 관련된 후속 행위를 제안하는 제3 메시지(230)를 포함하는 응답 메시지를 제공할 수 있다.
제1 메시지(210)는 삼성 Health 카테고리에 따른 사용자 정보와 컨디션에 기초하여 생성될 수 있다. 일 실시예에서, 전자 장치는 걸음 수, 수면 시간, 심박수, 운동량 등과 같은 삼성 Health 카테고리에 따른 사용자의 정보 및 사용자의 컨디션 정보에 기초하여 제1 메시지(210)를 생성할 수 있다. 예를 들어, 삼성 Health 카테고리가 걸음 수인 경우 사용자가 발화 시점으로부터 1주일 이전에 평균적으로 7882 걸음을 걸었는데 발화 시점으로부터 24시간 전에는 7882 걸음 보다 증가된 걸음 수만큼 걸은 경우, 전자 장치는 '많이 걸으셔서 그런 것 같아요'의 제1 메시지(210)를 생성할 수 있다. 반대의 경우, 즉 사용자의 발화 시점으로부터 24시간 전에 7882 걸음 보다 적은 걸음 수만큼 걸은 경우, 전자 장치는 '평소 보다 적게 걸으셔서 그런 것 같아요'와 같은 제1 메시지(210)를 생성할 수 있다.
제2 메시지(220)는 사용자의 건강 상태 정보와는 관계없이 기 저장된 위로성 메시지 중 어느 하나가 선택되어 생성될 수 있다. 일 실시예에서, 전자 장치는 위로성 메시지와 그래픽 이미지의 조합으로 구성된 제2 메시지(220)를 생성할 수 있다. 예를 들어, 제2 메시지(220)는 무작위로 선택된 위로성 메시지와 이모티콘을 포함할 수 있다. 제2 메시지(220)는 '힘내세요', '토닥토닥', '괜찮아질 거에요', '파이팅' 등의 위로성 멘트를 포함할 수 있다.
제3 메시지(230)는 사용자의 건강 관련 정보와 관련된 후속 행위를 제안하는 메시지로 구성될 수 있다. 일 실시예에서, 전자 장치는 삼성 Health 카테고리에 따른 사용자의 건강 정보 및 컨디션에 기초하여 관련된 후속 행위를 제안하는 제3 메시지(230)를 생성할 수 있다. 예를 들어, 삼성 Health 카테고리가 걸음 수인 경우 사용자가 발화 시점으로부터 1주일 이전에 평균적으로 7882 걸음을 걸었는데 발화 시점으로부터 24시간 전에는 7882 걸음 보다 증가된 걸음 수만큼 걸은 경우, 전자 장치는 '이제 많이 걸었으니 조금 쉬어 볼까요?'와 같이 휴식을 제안하는 제3 메시지(230)를 생성할 수 있다. 반대의 경우, 즉 사용자의 발화 시점으로부터 24시간 전에 7882 걸음 보다 적은 걸음 수만큼 걸은 경우, 전자 장치는 '오늘은 조금만 더 걸어볼까요?'와 같이 걸음 수를 늘리는 후속 행위를 제안하는 제3 메시지(230)를 생성할 수 있다.
도 2에는 전자 장치가 생성하는 응답 메시지의 예시가 도시되어 있다. 제1 응답 메시지(201)는 '평소 보다 적게 걸으셔서 그런가 봐요'와 같이 사용자의 건강 관련 데이터 및 컨디션에 기초하여 생성된 제1 메시지, '괜찮아질 거에요'와 같은 위로성 메시지인 제2 메시지, 및 '오늘은 조금만 더 걸어볼까요?'와 같이 후속 행위를 제안하는 제3 메시지를 포함할 수 있다.
마찬가지로, 제2 응답 메시지(202)는 '어제 5시간 밖에 못 주무셔서 그런듯해요'와 같이 사용자의 건강 관련 데이터 및 컨디션에 기초하여 생성된 제1 메시지, '토닥토닥'과 같은 위로성 메시지인 제2 메시지, 및 '오늘은 더 많이 주무시는 게 어떠세요?'와 같이 후속 행위를 제안하는 제3 메시지를 포함할 수 있다. 제3 응답 메시지(203) 역시 '어제 1시간 운동하신 게 무리가 됐나봐요'와 같이 사용자의 건강 관련 데이터 및 컨디션에 기초하여 생성된 제1 메시지, '힘내세요'와 같은 위로성 메시지인 제2 메시지, 및 '오늘은 운동 시간을 조금 줄여볼까요?'와 같이 후속 행위를 제안하는 제3 메시지를 포함할 수 있다.
도 3a 내지 도 3c는 본 개시의 일 실시예에 따른 전자 장치(300)가 사용자의 건강 상태에 기초하여 생성된 응답 메시지를 출력하는 예시를 나타내는 도면들이다.
도 3a를 참조하면, 전자 장치(300)는 위로성 메시지를 이모티콘과 같은 그래픽 이미지(graphic image)와 함께 디스플레이부 상에 표시할 수 있다. 예를 들어, 전자 장치(300)는 '힘내세요'와 같은 위로성 메시지(310)를 웃는 사람의 얼굴 형태를 형상화한 이모티콘(312)과 함께 표시할 수 있다.
도 3b를 참조하면, 전자 장치(300)는 문자 또는 텍스트로 구성되는 위로성 메시지가 아닌, 그래픽 이미지만을 디스플레이부 상에 표시할 수 있다. 예를 들어, 제1 이미지(321)는 '힘내세요'에 대응되는 이미지일 수 있다. 제2 이미지(322)는 '토닥토닥', 제3 이미지(323)는 '괜찮아질 거에요', 제4 이미지(324)는 '파이팅'에 각각 대응되는 이미지일 수 있다.
도 3c를 참조하면, 전자 장치(300)는 텍스트로 구성되는 위로성 메시지에 시각적 효과를 적용하여 표시할 수 있다. 예를 들어, 전자 장치(300)는 위로성 메시지를 나타내는 텍스트를 흔들거나, 위로성 메시지가 포함된 말풍선의 색상을 변경하거나, 위로성 메시지의 텍스트 색상을 변경하거나, 위로성 메시지의 텍스트 크기를 변경하는 등의 시각적 효과를 메시지에 적용하여 디스플레이부 상에 표시할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태에 기초하여 응답 메시지를 출력하는 방법을 나타내는 흐름도이다.
단계 S410에서, 전자 장치는 사용자의 상태를 나타내는 발화를 입력받는다.
단계 S420에서, 전자 장치는 사용자의 발화를 입력받은 시점으로부터 기설정된 기간 전의 사용자의 건강 상태 데이터를 분석한다. 일 실시예에서, 전자 장치는 걸음 수, 수면 시간, 심박수, 운동량 등과 같은 카테고리에 따른 사용자의 정보 및 컨디션 정보를 포함하는 사용자의 건강 상태 데이터를 획득하고, 획득된 사용자의 건강 상태 데이터를 분석할 수 있다.
단계 S430에서, 전자 장치는 분석된 사용자의 건강 상태 데이터에 기초하여 건강 상태 변화에 대한 제1 메시지, 위로성 멘트로 구성되는 제2 메시지, 및 관련 후속 행위를 제안하는 제3 메시지를 포함하는 응답 메시지를 생성한다. 일 실시예에서, 제1 메시지는 걸음 수, 수면 시간, 심박수, 운동량 등과 같은 카테고리에 따른 사용자의 정보 및 컨디션 정보에 기초하여 생성될 수 있다. 일 실시예에서, 제2 메시지는 텍스트 및 그래픽 이미지를 포함할 수 있다.
단계 S440에서, 전자 장치는 생성된 응답 메시지를 출력한다. 일 실시예에서, 전자 장치는 생성된 응답 메시지를 디스플레이부 상에 표시할 수 있다. 다른 실시예에서, 전자 장치는 응답 메시지를 음성으로 출력할 수 있다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 건강 상태에 기초하여 응답 메시지를 생성하는 방법을 나타내는 흐름도이다.
단계 S510에서, 전자 장치는 사용자의 상태를 나타내는 발화를 입력받는다. 예를 들어, 전자 장치는 '나 힘들어'와 같이 사용자가 발화를 입력하는 시점의 건강 상태 또는 심리적 상태를 나타내는 발화(510)를 입력받을 수 있다.
단계 S522에서, 전자 장치는 사용자로부터 발화를 입력받은 시점으로부터 일주일 전의 건강 데이터를 분석한다. 전자 장치는 예를 들어, 사용자의 일주일 전 걸음 수, 수면 시간, 심박수, 및 운동량 중 적어도 하나를 포함하는 건강 데이터를 분석할 수 있다.
단계 S524에서, 전자 장치는 사용자의 어제 건강 데이터를 분석한다. 여기서, '어제'는 사용자로부터 발화를 입력받은 시점으로부터 하루 전을 의미할 수 있다. 일 실시예에서, 전자 장치는 사용자의 건강 데이터를 통해 수면 시간이 일주일 전 대비 크게 감소했다는 분석 결과(520)를 획득할 수 있다.
단계 S530에서, 전자 장치는 값의 변화치가 가장 큰 데이터를 선택한다. 일 실시예에서, 어제의 건강 데이터, 즉 걸음 수, 수면 시간, 심박수, 및 운동량을 포함하는 수치가 일주일 전에 비해 증가한 경우, 전자 장치는 증가에 관련된 메시지 set을 호출한다(단계 S542). 다른 실시예에서, 어제의 건강 데이터의 수치가 일주일 전보다 감소된 경우, 전자 장치는 감소에 관련된 메시지 set을 호출한다(단계 S544).
단계 S550에서, 전자 장치는 위로성 멘트 set에서 위로성 메시지를 무작위로 선택한다.
단계 S530에서 사용자의 어제 건강 데이터 수치가 일주일 전에 비해 증가된 경우, 전자 장치는 증가에 관련된 후속 행위 set을 호출한다(단계 S562). 단계 S530에서, 사용자의 어제 건강 데이터 수치가 일주일 전에 비해 감소된 경우, 전자 장치는 감소와 관련된 후속 행위 set을 호출한다(단계 S564).
본 개의 일 실시예에 따른 전자 장치는 사용자의 건강 상태 데이터를 활용한 제1 메시지(540), 사용자에게 감정적인 위로를 제공하는 위로성 메시지인 제2 메시지(550), 및 사용자의 건강 상태와 관련된 후속 행위를 제안하는 제3 메시지(560)를 포함할 수 있다. 예를 들어, 제1 메시지(540)는 '어제 5시간 밖에 못 주무셔서 그런듯 해요'와 같이 사용자의 건강 상태 데이터를 분석하고, 분석한 결과에 기초하여 생성될 수 있다. 제2 메시지(550)는 예를 들어, '힘내세요'와 같이 기 저장된 위로성 메시지 중 임의로 선택되어 생성될 수 있다. 제3 메시지(560)는 예를 들어, '오늘은 더 많이 주무시는게 어떠세요?'와 같이 사용자의 건강 상태, 즉 어제 일정 시간 수면을 취하지 못하였으니 더 많은 수면 시간을 갖도록 후속 행위를 제안하는 메시지일 수 있다.
도 6a 내지 도 6c는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 상태에 따라 생성한 응답 메시지를 출력하는 예시를 나타내는 도면들이다.
도 6a를 참조하면, 사용자(10)의 '나 피곤해'와 같은 상태 정보를 포함하는 발화를 입력하는 경우, 전자 장치(600)는 사용자의 건강 상태 정보에 기초하여 생성된 제1 메시지(611), 사용자에게 감정적인 위로를 제공하는 위로성 메시지인 제2 메시지(621), 및 사용자의 건강 상태 정보와 관련된 후속 행위를 제안하는 제3 메시지(631)를 포함하는 응답 메시지를 출력할 수 있다. 일 실시예에서, 전자 장치(600)는 응답 메시지를 디스플레이부 상에 표시할 수 있지만, 이에 한정되는 것은 아니다. 일 실세예에서, 전자 장치(600)는 응답 메시지를 음성으로 출력할 수도 있다.
도 6a에 도시된 예시에서, 전자 장치(600)는 '평소 보다 적게 걸으셔서 그런가봐요?'와 같이 사용자의 걸음수 데이터에 기초하여 평소 사용자의 걸음수 대비 발화가 입력된 시점으로부터 기설정된 기간 전의 사용자의 걸음 수의 변화 정보를 분석하고, 분석된 결과에 기초하여 제1 메시지(611)를 생성될 수 있다. 전자 장치(600)는 예를 들어, '괜찮아질 거에요'와 같은 위로성 메시지인 제2 메시지(621)를 생성할 수 있다. 전자 장치(600)는 예를 들어, '오늘은 조금만 더 걸어볼까요?'와 같이 사용자의 걸음수의 변화 정도, 즉 걸음수가 적어진 것에 기초하여 걸음수를 증가시키는 후속 행위를 유도하는 제안을 포함하는 제3 메시지(631)를 생성할 수 있다.
도 6b에 도시된 예시에서, 전자 장치(600)는 '어제 5시간 밖에 못 주무셔서 그런듯 해요'와 같이 사용자의 수면 시간 데이터에 기초하여 평소 수면 시간 대비 발화가 입력된 시점으로부터 기설정된 기간 전의 사용자의 수면 시간의 변화 정도를 분석하고, 분석된 결과에 기초하여 제1 메시지(612)를 생성될 수 있다. 전자 장치(600)는 예를 들어, '토닥토닥'과 같은 위로성 메시지인 제2 메시지(622)를 생성할 수 있다. 전자 장치(600)는 예를 들어, '오늘은 더 주무시는게 어떠세요?'와 같이 사용자의 수면 시간의 변화 정도, 즉 수면 시간이 감소된 것에 기초하여 수면 시간을 증가시키는 후속 행위를 유도하는 제안을 포함하는 제3 메시지(632)를 생성할 수 있다.
도 6c를 참조하면, 사용자(10)가 '기운이 없다'와 같은 상태 정보를 포함하는 발화를 입력하는 경우, 전자 장치(600)는 사용자의 건강 상태 정보에 기초하여 생성된 제1 메시지(613), 사용자에게 감정적인 위로를 제공하는 위로성 메시지인 제2 메시지(623), 및 사용자의 건강 상태 정보와 관련된 후속 행위를 제안하는 제3 메시지(633)를 포함하는 응답 메시지를 출력할 수 있다.
도 6c에 도시된 예시에서, 전자 장치(600)는 '어제 1시간 운동하신게 무리가 됐나봐요?'와 같이 사용자의 운동 시간 데이터에 기초하여 사용자의 현재 건강 상태를 분석하고, 분석된 결과에 기초하여 제1 메시지(613)를 생성될 수 있다. 전자 장치(600)는 예를 들어, '힘내세요'와 같은 위로성 메시지인 제2 메시지(623)를 생성할 수 있다. 전자 장치(600)는 예를 들어, '오늘은 운동 강도를 조금만 낮춰볼까요?'와 같이 사용자의 운동 시간 또는 운동 강도를 감소시키는 후속 행위를 유도하는 제안을 포함하는 제3 메시지(633)를 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 사용자의 이벤트 정보에 기초하여 응답 메시지를 출력하는 예시를 나타내는 도면이다.
도 7을 참조하면, 전자 장치(700)는 사용자(10)의 입력 발화로부터 이벤트 등록 또는 이벤트 조회와 관련된 정보를 인식하고, 인식된 사용자의 이벤트 정보에 기초하여 응답 메시지(710)를 출력할 수 있다. 일 실시예에서, 전자 장치(700)는 사용자의 입력 발화로부터 이벤트에 관한 빈도를 계산하여 생성되는 제1 메시지 및 이벤트의 타입(type)에 대한 감정적인 호응을 나타내는 제2 메시지를 포함하는 응답 메시지(710)를 생성하고, 생성된 응답 메시지(710)를 출력할 수 있다.
도 7에 도시된 예시에서, 사용자(10)가 '8월 12일부터 17일까지 하와이 여행을 등록해줘'와 같이 여행 이벤트를 등록하는 발화를 입력하면, 전자 장치(700)는 '올해의 두번째 여행'이라는 이벤트 타입, 즉 "여행 이벤트"에 관한 빈도를 계산하여 제1 메시지를 생성할 수 있다. 또한, 전자 장치(700)는 '두근두근'과 같은 여행 이벤트에 관한 감정적인 호응을 나타내는 제2 메시지를 생성할 수 있다.
인공지능을 이용한 대화형 인공 비서를 포함하는 전자 장치를 통해 사용자가 많이 하는 대화 타입은 기능 수행 관련 요청이다. 예를 들어, '일정 등록해줘', '날씨 알려줘', '알람 설정해줘'와 같이 전자 장치에 특정 기능을 수행할 것을 지시하는 대화가 많다. 종래의 대화형 인공 비서를 포함하는 전자 장치는 기능 수행 요청에 관한 답변 내용이 '등록완료', '전송하였습니다', '설정하였습니다'와 같이 무미 건조하므로, 사용자가 전자 장치와 감정적인 친밀함을 느낄 수 없고, 기계와 대화하는 것 같은 느낌을 주는 문제점이 있었다.
본 개시의 일 실시예에 따른 전자 장치(700)는 특정 기능을 수행, 예를 들어 이벤트 정보를 등록하거나, 일정을 조회하는 기능을 수행하도록 지시하는 사용자의 입력 발화에 대응하여, 사용자의 이벤트 타입, 이벤트 타입에 따른 수행 빈도, 및 일정 계산 중 적어도 하나에 기초하여 생성된 제1 메시지 및 사용자에게 이벤트와 관련된 감정적인 호응을 제공하는 제2 메시지를 포함하는 응답 메시지를 제공함으로써, 사용자와의 친밀도를 높일 수 있다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 사용자의 이벤트 정보에 기초하여 응답 메시지를 출력하는 방법을 나타내는 흐름도이다.
단계 S810에서, 전자 장치는 사용자의 발화를 입력받는다. 일 실시예에서, 사용자의 입력 발화는 이벤트 등록, 이벤트 조회, 및 일정 조회 중 적어도 하나를 포함하는 기능 수행에 관한 지시를 포함할 수 있다.
사용자의 입력 발화는 예를 들어, '시드니 여행 등록해줘', '내 생일이 언제지?', '8월 첫 째주 일정 알려줘'와 같이 이벤트 일정을 등록하거나 조회하는 기능을 수행할 것을 지시하는 발화일 수 있다.
단계 S820에서, 전자 장치는 사용자의 입력 발화가 이벤트의 빈도를 활용하는 이벤트 타입인지 여부를 인식한다.
단계 S820에서, 사용자의 입력 발화가 이벤트의 빈도를 활용하는 이벤트 타입인 경우(Y), 전자 장치는 사용자 데이터에 기초하여 해당 이벤트 타입의 빈도를 분석한다.
단계 S840에서, 전자 장치는 각 이벤트 타입 별로 빈도를 활용한 흐응 응답을 생성한다.
단계 S850에서, 전자 장치는 기능 수행 완료 응답 및 호응 응답을 조합하여 응답 메시지를 출력한다.
만약, 단계 S820에서 사용자의 입력 발화가 이벤트의 빈도를 활용하는 이벤트 타입이 아니라고 인식되는 경우(N), 전자 장치는 이벤트 타입의 빈도를 분석하거나(S830), 이벤트 타입 별로 빈도를 활용하는 응답을 생성(S840)하지 않고, 응답 메시지를 출력할 수 있다(S850).
도 9는 본 개시의 일 실시예에 따른 전자 장치가 빈도 관련 이벤트 타입에 따라 응답 메시지(900)를 출력하는 예시를 나타내는 도면이다.
도 9를 참조하면, 전자 장치는 빈도 관련 이벤트 타입을 저장하는 데이터베이스(910)을 포함할 수 있다. 데이터베이스(910)는 여행, 운동, 모임, 회으, 생일, 및 결혼 기념일 중 적어도 하나를 포함하는 빈도 관련 이벤트를 타입 별로 저장할 수 있다. 일 실시예에서, 데이터베이스(910)는 전자 장치 내에 포함되는 구성요소가 아니고, 전자 장치가 외부에서 네트워크 등을 통해 접속할 수 있는 서버 또는 클라우드 서버(cloud server) 형태로 구성될 수도 있다.
전자 장치는 일정 빈도를 계산하는 이벤트 타입을 미리 정의해 놓고, 등록하는 이벤트 일정 또는 조회된 이벤트 일정의 제목을 분석하여 해당 이벤트 타입을 분석할 수 있다. 전자 장치는 미리 정의된 빈도 관련 이벤트 타입과 분석한 이벤트 타입을 비교할 수 있다.
일 실시예에서, 전자 장치는 사용자의 입력 발화에서 인식된 일정을 자동으로 특정 이벤트 타입으로 분류할 수 있다. 예를 들어, '시드니 여행', ‘부산 여행', ‘세부 여름 휴가’, ‘제주도’ 등은 여행 이벤트로 분류되고, ‘요가’, ‘필라테스’, ‘수영’, ‘관악산 등산’ 등은 운동 이벤트로 분류될 수 있다.
일 실시예에서, 전자 장치는 사용자에게 이벤트 타입을 질의하거나, 또는 설정 메뉴를 통해 수신한 사용자 입력에 기초하여 개인화된 이벤트 타입을 설정할 수 있다. 예를 들어, 전자 장치는 '요가를 등록하셨네요. 요가를 운동 카테고리에 등록하실래요? 얼마나 자주 운동하시는지 알려드릴 수 있어요'와 같이 특정 이벤트, 즉 요가를 운동 카테고리에 등록할지 여부를 사용자에게 문의하고, 사용자의 등록하겠다는 입력을 수신하는 경우 운동 이벤트에 등록하여 개인화된 이벤트 타입을 설정할 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 이벤트의 타입(1010) 및 빈도에 기초하여 생성하는 응답 메시지의 예시를 나타내는 테이블을 도시한 도면이다.
전자 장치는 이벤트 타입(1010)에 따라 빈도를 계산하고, 응답 메시지를 생성하며, 생성된 응답 메시지를 출력할 수 있다. 이벤트 타입(1010)은 예를 들어, 여행, 결혼 기념일, 생일, 운동, 모임, 및 회의 중 적어도 하나를 포함할 수 있다.
전자 장치는 각 이벤트의 타입에 대한 빈도를 계산할 수 있는데, 빈도를 계산하는 방법은 이벤트의 타입에 따라 다르게 설정될 수 있다. 전자 장치는 이벤트 타입 별로 빈도를 계산하는 주기와 계산할 빈도 항목(1020)을 미리 정의할 수 있다. 빈도 항목(1020)은 이벤트의 타입에 따라 미리 정의되는데, 여행 빈도, 장소 빈도, 해당 이벤트 빈도(예를 들어, 결혼 기념일), 운동 빈도, 사람/모임 만남 빈도, 및 회의 빈도를 적어도 하나를 포함할 수 있다.
전자 장치는 캘린더 애플리케이션 또는 전자 장치 내부의 메모리나 클라우드 서버의 사진 위치의 메타 데이터(metadata)를 이용하여 빈도를 계산하는 주기와 계산할 빈도 항목을 정의할 수 있다. 예를 들어, 이벤트 타입(1010)이 여행인 경우, 여행 빈도의 계산 주기 및 방법(1030)은 등록된 날짜 기준으로 1년 동안 몇번째 여행인지를 계산하는 것일 수 있다.
전자 장치는 이벤트 타입(1010) 및 이벤트 타입에 따른 빈도 항목(1020)에 관한 정보에 기초하여 응답 메시지를 생성할 수 있다. 응답 메시지의 예시로서, 여행 빈도에 관한 예시 응답(1040)은 '올해 세번째 여행이네요.' 또는 '2018년의 마지막 여행이네요. 두근두근^^'으로 생성될 수 있다. 다른 예시로서, 결혼 기념일에 관한 빈도에 대한 예시 응답(1040)은 '10주년 결혼기념일이네요!'로 생성될 수 있다.
일 실시예에서, 동일 이벤트 타입에 관한 빈도 계산 항목이 복수 개인 경우, 전자 장치는 우선 순위에 따라 응답 메시지를 생성할 수 있다.
전자 장치는, 사용자에게 질의 또는 설정 메뉴를 통해 개인화된 빈도 계산 알고리즘으로 수정할 수 있다. 일 실시예에서, 여행 이벤트에 관한 빈도 항목에서 정확도 개선 및 개인화 방법(1050)으로서, '갤러리를 봤더니 대관령으로의 두번째 여행을 다녀오셨더라구요'라는 응답 메시지를 생성할 수 있다.
일 실시예에서, 전자 장치는 이벤트 타입에 따른 감정 기반 호응 대화 및 감정 관련 이모티콘을 추가할 수도 있다.
일 실시예에서, 전자 장치는 이벤트와 관련된 후속 행위에 관한 응답 메시지를 생성하고, 생성된 응답 메시지를 출력할 수 있다.
도 11a 내지 도 11c는 본 개시의 일 실시예에 따른 전자 장치(1100)가 사용자의 입력 발화에 기초하여 이벤트 정보를 등록하고, 등록된 이벤트 정보에 기초하여 응답 메시지를 출력하는 예시를 도시한 도면들이다.
도 11a 내지 도 11c에서 전자 장치(1100)는 사용자가 이벤트 정보를 등록하는 지시 또는 일정 정보를 조회하는 지시를 포함하는 입력 발화를 인식하고, 이벤트의 타입에 따른 빈도 수를 계산하여 관련 응답 메시지를 생성하며, 생성된 응답 메시지를 출력할 수 있다.
도 11a에 도시된 예시에서, 사용자(10)로부터 '8월 12일부터 17일까지 하와이 여행 등록해줘'라는 발화를 입력받는 경우, 전자 장치(1100)는 '올해의 첫번째 여행을 등록했어요. 두근두근^^'과 같이 여행 이벤트에 관한 빈도에 관한 응답 메시지를 생성하고, 두근두근과 같이 감정적인 호응 메시지를 생성할 수 있다. 다른 실시예에서, 전자 장치(1100)는 '등록 완료! 시드니는 처음이신가요?'와 같이 지시에 따른 기능 수행 완료 메시지 및 정확도를 개선하는 방법으로써 이벤트 정보에 관하여 문의를 하는 메시지를 포함하는 응답 메시지를 출력할 수 있다. 다른 실시예에서, 전자 장치(1100)는 '등록했어요. Bixby와 함께 하는 첫 시드니 방문이네요.^^'와 같이 기능 수행 완료 메시지와 이벤트 타입에 따른 빈도에 관한 정보를 제공하는 메시지를 포함하는 응답 메시지를 출력할 수 있다.
도 11b에 도시된 예시에서, 사용자(10)로부터 '5월 26일을 결혼 기념일로 등록해줘'라는 발화를 입력받는 경우, 전자 장치(1100)는 '등록하였습니다. 1주년 결혼 기념일인가요?'같이 기능 수행 완료 메시지 및 1주년인지 사용자(10)에게 물어서 정확도를 개선하고 개인화하는 메시지를 포함하는 응답 메시지를 출력할 수 있다. 다른 실시예에서, 전자 장치(1100)는 '몇 년도에 결혼하셨나요? 몇주년인지 알려드릴 수 있어요'와 같이 결혼 년도에 관하여 사용자(10)에게 물어서 정확도를 개선하고 개인화하는 메시지만을 포함하는 응답 메시지를 출력할 수 있다.
전자 장치(1100)는 사용자(10)로부터 '내일 일정 알려줘'와 같이 일정을 조회하는 기능에 관한 지시를 포함하는 발화를 입력받는 경우, '2주년 결혼 기념일입니다. 빰빠라밤~^^ 그리고 1개의 일정이 더 있습니다'와 같이 기능 수행 완료와 관련된 메시지, 사용자(10)에게 감정적인 호응을 제공하는 호응 메시지, 및 추가 일정 확인 메시지를 포함하는 응답 메시지를 출력할 수 있다.
도 11c에 도시된 예시에서, 사용자(10)로부터 '내일 요가 일정 등록해줘'라는 발화를 입력받는 경우, 전자 장치(1100)는 '이번주의 두번째 운동을 등록했어요'같이 이벤트 타입(운동)에 관한 빈도 수를 나타내는 정보를 포함하는 응답 메시지를 출력할 수 있다.
다른 실시예에서, 전자 장치(1100)가 사용자(10)로부터 '내일 모레도 등록해줘'와 같이 동일 이벤트 타입에 관한 추가 일정 등록 지시를 포함하는 발화를 입력받는 경우, '이번 주의 세번째 운동을 등록했어요. 꾸준히 운동하려는 ○○님 멋져요!'와 같이 이벤트 타입에 따른 빈도 수 정보를 포함하는 메시지 및 사용자에게 감정적인 호응을 제공하는 호응 메시지를 포함하는 응답 메시지를 출력할 수 있다.
도 12a 및 도 12b는 본 개시의 일 실시예에 따른 전자 장치(1200)가 사용자의 입력 발화에 기초하여 이벤트 정보를 등록하고, 등록된 이벤트 정보에 기초하여 응답 메시지를 출력하는 예시를 도시한 도면들이다.
도 12a에 도시된 예시에서, 사용자(10)로부터 '영희와 저녁 약속을 추가해줘'라는 발화를 입력받는 경우, 전자 장치(1200)는 '영희님과 한 달만에 만남을 등록했어요. 두근두근^^'과 같이 만남 이벤트에 관한 발화 시점으로부터의 시간을 계산하고, 계산된 시간과 관련된 빈도에 대한 메시지 및 사용자(10)에게 감정적인 호응을 제공하는 호응 메시지를 포함하는 응답 메시지를 출력할 수 있다.
다른 실시예에서, 전자 장치(1200)가 사용자(10)로부터 '6월 23일에 YB 모임 추가해줘'와 같이 동일 이벤트 타입(만남)에 관한 추가 일정 등록 지시를 포함하는 발화를 입력받는 경우, '두 달만에 YB 모임을 등록했어요. >_<'와 같이 이벤트 타입에 따른 빈도 수 정보를 포함하는 메시지 및 사용자에게 감정적인 호응을 제공하는 호응 메시지(>_<)를 포함하는 응답 메시지를 출력할 수 있다. 여기서, 호응 메시지는 특수 문자, 이모티콘, 및 이들의 조합 중 적어도 하나로 구성될 수 있다.
도 12b에 도시된 예시에서, 사용자(10)로부터 '8월 12일에 회의 일정 등록해줘'라는 발화를 입력받는 경우, 전자 장치(1200)는 '8월 12일의 세번째 회의를 등록했어요.'와 같이 이벤트 타입(회의)의 빈도에 관한 정보를 제공하는 메시지 및 기능 수행 완료 메시지를 포함하는 응답 메시지를 출력할 수 있다.
다른 실시예에서, 전자 장치(1200)가 사용자(10)로부터 '남은 일정 알려줘'와 일정을 조회하는 지시를 포함하는 발화를 입력받는 경우, '금요일의 마지막 회의 일정입니다. 한 주 동안 7개의 회의가 있었네요. 곧 주말이니까 힘내보아요!'와 같이 입력 발화 시점으로부터 기설정된 시간 전의 이벤트 타입(회의)의 빈도 수에 관한 정보를 제공하는 메시지 및 사용자에게 감정적인 호응을 제공하는 호응 메시지를 포함하는 응답 메시지를 출력할 수 있다.
도 13는 본 개시의 일 실시예에 따른 전자 장치(1300)가 사용자의 입력 발화에 포함된 이벤트 타입에 따른 기쁨 이벤트를 검출하고, 검출된 기쁨 이벤트에 기초하여 응답 메시지를 출력하는 예시를 도시한 도면이다.
도 13을 참조하면, 전자 장치(1300)는 사용자(10)로부터 부정적 감정을 표현하는 발화를 입력받는 경우, 입력 발화로부터 기설정된 시간 내의 일정 중 기쁜 감정 카테고리(joy category)에 해당되는 이벤트가 있는지 여부를 분석하고, 기쁜 감정 카테고리에 해당되는 이벤트의 일정까지 남은 시간을 이용하여 응답 메시지를 생성하고, 생성된 응답 메시지를 출력할 수 있다. 예를 들어, 사용자(10)로부터 '짜증나'와 같이 부정적 감정을 표현하는 발화를 입력받는 경우, 전자 장치(1300)는 '짜증나는 일이 있으셨군요. 15일 뒤면 하와이 여행을 가네요~ 여행 생각으로 기분 전환을 해볼까요?'와 같이 이벤트 타입에 따른 기쁨 이벤트(joy event)를 검출하고, 발화의 입력 시점으로부터 기쁨 이벤트까지의 남은 일정을 계산하여 응답 메시지(1310)를 출력할 수 있다. 전자 장치(1300)는 "여행"이라는 이벤트 타입을 기쁜 감정 카테고리로 미리 정의할 수 있다. 또한, 전자 장치(1300)는 "여행"에 대한 사용자의 선호도에 기초하여 기쁜 감정 카테고리에 여행이 포함되는지 여부를 인식할 수 있다.
다른 실시예에서, 전자 장치(1300)는 부정적 감정을 표현하는 사용자의 발화를 입력받는 경우, '잠시 기분을 전환해봐요. 이번 주 주말에 아침고요수목원을 가시네요? 아름다운 자연을 상상해볼까요?'와 같이 입력 발화의 시점으로부터 기설정된 시간 내의 일정(가까운 주말) 내에서 장소 카테고리에 따른 기쁨 이벤트를 검출하고, 발화 시점으로부터 기쁨 이벤트까지의 남은 일정을 계산하여 응답 메시지(1320)를 출력할 수 있다. 전자 장치(1300)는 "아침고요수목원"은 수목원 카테고리로서, 기쁜 감정 카테고리로 미리 정의할 수 있다. 또한 일 실시예에서, 전자 장치(1300)는 사용자의 선호도에 기초하여 장소에 따른 예상 감정을 추론하고, 추론된 예상 감정을 이용하여 응답 메시지(1320)를 생성하고, 생성된 응답 메시지(1320)를 출력할 수도 있다.
도 14는 본 개시의 일 실시예에 따른 전자 장치가 사용자의 이벤트 타입에 따른 기쁨 이벤트를 검출하고, 검출된 기쁨 이벤트에 기초하여 응답 메시지를 출력하는 방법을 나타내는 흐름도이다.
단계 S1410에서, 전자 장치는 사용자의 발화를 입력받는다. 일 실시예에서, 전자 장치는 사용자의 부정적인 상태 또는 기분 전환이 필요한 감정을 나타내는 발화를 입력받을 수 있다.
단계 S1420에서, 전자 장치는 입력된 발화가 일정 계산을 활용하는 카테고리에 해당되는지 결정한다. 일 실시예에서, 전자 장치는 일정 빈도를 계산하는 이벤트 타입을 미리 정의해 놓을 수 있다. 전자 장치는 사용자의 입력 발화에 포함된 이벤트 정보를 기 정의된 이벤트 타입과 비교하여, 사용자의 입력 발화가 일정 계산을 활용하는 카테고리에 해당되는지 여부를 결정할 수 있다.
사용자의 입력 발화가 일정 계산을 활용하는 카테고리에 해당되는 경우(Y), 전자 장치는 해당 범위 내에 계산할 기쁨 이벤트(joy event) 일정이 있는지 여부를 인식한다(단계 S1430). 기쁨 이벤트는 사용자의 입력 발화 시점으로부터 기설정된 시간 내에 사용자의 부정적 감정을 상쇄할 수 있는 기분 좋은 이벤트를 의미할 수 있다.
사용자의 입력 발화 시점으로부터 기설정된 시간 내에 기쁨 이벤트 일정이 있는 경우(Y), 전자 장치는 일정을 계산하여 해당 카테고리에 맞는 응답 메시지를 생성한다(단계 S1440). 일 실시예에서, 응답 메시지는 기쁨 이벤트 정보 제공 메시지 및 감정적 호응 메시지를 포함할 수 있다.
단계 S1450에서, 전자 장치는 생성된 응답 메시지를 출력한다.
단계 S1420에서, 사용자의 입력 발화에 일정 계산을 활용하는 카테고리에 해당되는 이벤트 정보가 없다고 결정된 경우(N), 전자 장치는 기 저장된 발화 셋 내에서 메시지를 무작위로 선택하여 응답 메시지를 생성한다(단계 S1442). 이 경우, 전자 장치는 기 저장된 발화 셋 내에서 무작위로 선택된 응답 메시지를 출력한다(단계 S1450).
본 개시에서 설명된 전자 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 전자 장치는 프로세서, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 전자 장치 또는 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예로, 초음파 진단 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 이상에서는 본 개시의 실시예에 대하여 도시하고 설명하였지만, 본 개시는 전술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (11)

  1. 디스플레이부;
    적어도 하나의 프로그램이 저장되는 메모리;
    사용자의 음성 입력을 수신하는 마이크로폰; 및
    상기 적어도 하나의 프로그램을 실행함으로써 상기 사용자의 입력 발화에 대한 응답 메시지를 제공하도록 하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 마이크로폰을 통해 상기 사용자의 입력 발화를 입력 받은 시점으로부터 기설정된 기간 전의 상기 사용자의 건강 상태 데이터를 분석하고,
    분석된 상기 사용자의 건강 상태 데이터에 기초하여 건강 상태 변화에 대한 제1 메시지, 상기 사용자에게 감정적 위로를 제공하는 위로성 메시지인 제2 메시지, 및 상기 건강 상태 데이터와 관련된 후속 행위를 제안하는 제안하는 제3 메시지를 포함하는 응답 메시지를 생성하고,
    상기 생성된 응답 메시지를 상기 디스플레이부 상에 표시하고,
    상기 적어도 하나의 프로세서는 상기 메모리에 기 저장된 텍스트 형태의 위로성 메시지들 중 어느 하나의 위로성 메시지를 무작위로 선택하고, 상기 선택된 위로성 메시지에 대응되는 이모티콘 또는 그래픽 이미지로 구성된 그래픽 UI(User Interface)를 조합하여 상기 제2 메시지를 생성하고, 상기 제2 메시지에 포함된 위로성 메시지와 상기 그래픽 UI를 함께 상기 디스플레이부 상에 디스플레이하는, 전자 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 전자 장치가 사용자의 발화에 대한 응답 메시지를 출력하는 방법에 있어서,
    마이크로폰을 통해 사용자의 음성 입력을 수신하는 단계;
    상기 음성 입력을 수신받은 시점으로부터 기설정된 기간 전의 사용자의 건강 상태 데이터를 분석하는 단계;
    상기 분석된 사용자의 건강 상태 데이터에 기초하여 건강 상태 변화에 대한 제1 메시지, 상기 사용자에게 감정적 위로를 제공하는 위로성 메시지인 제2 메시지, 및 상기 건강 상태 데이터와 관련된 후속 행위를 제안하는 제안하는 제3 메시지를 포함하는 응답 메시지를 생성하는 단계; 및
    상기 생성된 응답 메시지를 디스플레이하는 단계;
    를 포함하고,
    상기 응답 메시지를 생성하는 단계는, 상기 전자 장치의 메모리 내에 기 저장된 텍스트 형태의 위로성 메시지들 중 어느 하나의 위로성 메시지를 무작위로 선택하고, 상기 선택된 위로성 메시지에 대응되는 이모티콘 또는 그래픽 이미지로 구성된 그래픽 UI를 조합하여 상기 제2 메시지를 생성하는 단계를 포함하는, 방법.
  7. 삭제
  8. 디스플레이부;
    적어도 하나의 프로그램이 저장되는 메모리;
    사용자의 음성 입력을 수신하는 마이크로폰; 및
    상기 적어도 하나의 프로그램을 실행함으로써 상기 사용자의 입력 발화에 대한 응답 메시지를 제공하도록 하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 마이크로폰을 통해 상기 사용자의 입력 발화가 이벤트 빈도를 활용하는 이벤트 타입에 관한 것인지 여부를 검출하고,
    상기 사용자에 대하여 기 저장된 데이터에 기초하여 검출된 상기 이벤트 타입의 빈도를 분석하고,
    분석된 상기 이벤트 타입의 빈도에 기반하는 제1 메시지 및 상기 이벤트 타입에 관한 감정적인 호응을 나타내는 제2 메시지를 포함하는 응답 메시지를 생성하고,
    생성된 상기 응답 메시지를 상기 디스플레이부 상에 표시하는, 전자 장치.
  9. 전자 장치가 사용자의 발화에 대한 응답 메시지를 출력하는 방법에 있어서,
    마이크로폰을 통해 사용자의 음성 입력을 수신하는 단계;
    상기 수신된 음성 입력이 이벤트 빈도를 활용하는 이벤트 타입에 관한 것인지 여부를 검출하는 단계;
    사용자에 대하여 기 저장된 데이터에 기초하여 검출된 상기 이벤트 타입의 빈도를 분석하는 단계;
    상기 분석된 이벤트 타입의 빈도에 기반하는 제1 메시지 및 상기 이벤트 타입에 관한 감정적인 호응을 나타내는 제2 메시지를 포함하는 응답 메시지를 생성하는 단계; 및
    상기 생성된 응답 메시지를 디스플레이부 상에 표시하는 단계;
    를 포함하는, 방법.
  10. 제6 항에 기재된 방법을 구현하기 위한 적어도 하나의 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 제9 항에 기재된 방법을 구현하기 위한 적어도 하나의 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020180096283A 2018-08-17 2018-08-17 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법 KR102572701B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180096283A KR102572701B1 (ko) 2018-08-17 2018-08-17 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법
PCT/KR2019/010448 WO2020036467A1 (ko) 2018-08-17 2019-08-16 사용자의 음성 입력에 기초하여 응답 메시지를 제공하는 서버 및 그 동작 방법
US17/269,188 US11881229B2 (en) 2018-08-17 2019-08-16 Server for providing response message on basis of user's voice input and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180096283A KR102572701B1 (ko) 2018-08-17 2018-08-17 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20200020504A KR20200020504A (ko) 2020-02-26
KR102572701B1 true KR102572701B1 (ko) 2023-08-31

Family

ID=69525708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180096283A KR102572701B1 (ko) 2018-08-17 2018-08-17 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11881229B2 (ko)
KR (1) KR102572701B1 (ko)
WO (1) WO2020036467A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243587A (zh) * 2020-01-08 2020-06-05 北京松果电子有限公司 语音交互方法、装置、设备及存储介质
US11587562B2 (en) * 2020-01-27 2023-02-21 John Lemme Conversational artificial intelligence driven methods and system for delivering personalized therapy and training sessions
US11108710B2 (en) * 2020-01-28 2021-08-31 Verizon Media Inc. Computerized system and method for multi-factor message classification and delivery
WO2022171739A1 (en) * 2021-02-15 2022-08-18 Koninklijke Philips N.V. Methods and systems for processing voice audio to segregate personal health information
JP2022141305A (ja) * 2021-03-15 2022-09-29 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
US12056457B2 (en) * 2022-03-22 2024-08-06 Charles University, Faculty Of Mathematics And Physics Computer-implemented method of real time speech translation and a computer system for carrying out the method
US20240211205A1 (en) * 2022-12-21 2024-06-27 Korea Advanced Institute Of Science And Technology Conversational digital twin method using geographic information and apparatus thereof
WO2024130331A1 (en) * 2022-12-22 2024-06-27 Redenlab Pty. Ltd. "systems and methods for assessing brain health"

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030033890A (ko) * 2001-10-25 2003-05-01 (주)인터루션 사용자의 음성정보 분석을 통한 사이버 비서 시스템 및 그방법
EP1791467B1 (en) * 2004-09-21 2013-03-27 Adidas AG Improved sensors for inductive plethysmographic monitoring applications and apparel using same
US20070100213A1 (en) 2005-10-27 2007-05-03 Dossas Vasilios D Emergency medical diagnosis and communications device
KR101364851B1 (ko) 2007-09-21 2014-02-20 한국과학기술원 데이터베이스 구축하는 방법 및 상기 데이터베이스를이용한 질병분석 방법
SG173683A1 (en) 2009-02-19 2011-09-29 S M Balance Holdings Methods and systems for diagnosis and treatment of a defined condition, and methods for operating such systems
DE112012001794T5 (de) 2011-04-21 2014-02-20 Sony Corporation Verfahren zum Bestimmen einer Stimmung aus einem Text
KR101775490B1 (ko) * 2015-12-11 2017-09-06 (주)이든이노베이션 케릭터와의 상호작용을 이용하여 건강정보를 입력받고 설명하는 대화형 사용자인터페이스 방법
US10923231B2 (en) * 2016-03-23 2021-02-16 International Business Machines Corporation Dynamic selection and sequencing of healthcare assessments for patients
JP6783068B2 (ja) * 2016-04-28 2020-11-11 株式会社生命科学インスティテュート 健康推定装置、健康推定プログラム、健康推定方法および健康推定システム
KR101907598B1 (ko) 2016-10-18 2018-10-12 경북대학교 산학협력단 인공지능 모델을 통해 사용자의 감정과 행동을 심리 처방하는 웨어러블 장치를 이용한 전자장치, 방법 및 시스템
US10706971B2 (en) * 2017-08-02 2020-07-07 Elements of Genius, Inc. System for management and intervention of neurocognitive related conditions and diseases
US20190043501A1 (en) * 2017-08-02 2019-02-07 Elements of Genius, Inc. Patient-centered assistive system for multi-therapy adherence intervention and care management
US11069444B2 (en) * 2017-10-11 2021-07-20 International Business Machines Corporation Personal assistant computing system monitoring

Also Published As

Publication number Publication date
US11881229B2 (en) 2024-01-23
KR20200020504A (ko) 2020-02-26
US20210272585A1 (en) 2021-09-02
WO2020036467A1 (ko) 2020-02-20

Similar Documents

Publication Publication Date Title
KR102572701B1 (ko) 사용자의 상태 정보에 기초하여 응답 메시지를 제공하는 전자 장치 및 그 동작 방법
US11423895B2 (en) Method and system for providing an interactive interface
US11062270B2 (en) Generating enriched action items
US20240037343A1 (en) Virtual assistant for generating personalized responses within a communication session
KR102457486B1 (ko) 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류
US10748534B2 (en) Personality-based chatbot and methods including non-text input
JP6625789B2 (ja) 言語モデルを用いたメッセージ内受信画像に対する自動提案応答
JP6780001B2 (ja) メッセージング・アプリケーションのための自動提案および他のコンテンツ
CN110998725B (zh) 在对话中生成响应
KR102448382B1 (ko) 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
US11295275B2 (en) System and method of providing to-do list of user
US20170277993A1 (en) Virtual assistant escalation
KR102426435B1 (ko) 사용자 입력에 기반한 문장을 제공하는 장치 및 방법
CN109964271A (zh) 用于提供对用户的语音输入的响应消息的设备和方法
US11475218B2 (en) Apparatus and method for providing sentence based on user input
US20210217409A1 (en) Electronic device and control method therefor
CN111512617B (zh) 推荐联系人信息的装置和方法
US20190197427A1 (en) Device and method for recommending contact information
US20220036891A1 (en) Customizing a policy of an input/output device in response to user constraints
US20230262016A1 (en) Methods and systems for generating a virtual assistant in a messaging user interface
KR20200115695A (ko) 전자 장치 및 이의 제어 방법
Hernández et al. User-centric Recommendation Model for AAC based on Multi-criteria Planning
Olsson et al. Designing AI chat-bots and User Assisted Systems in Business Applications-Creating Guidelines for a Graphical Interface
CN118574706A (zh) 机器人及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)