KR20160016526A

KR20160016526A - Method for Providing Information and Device thereof

Info

Publication number: KR20160016526A
Application number: KR1020150022720A
Authority: KR
Inventors: 반대현
Original assignee: 삼성전자주식회사
Priority date: 2014-07-31
Filing date: 2015-02-13
Publication date: 2016-02-15
Also published as: TWI554900B; TW201614526A

Abstract

According to one embodiment of the present invention, an electronic device for providing a search service during communication includes: a display unit displaying a message exchanged between the electronic device and another electronic device through the communication on an execution screen of an application in which the communication is performed; a processor extracting at least one keyword from the message based on types of words included in the message displayed on the execution screen of the application, a relationship between the words, and meanings of the words, and determining a search word of the search service by using the extracted keyword and location information of the electronic device. The display unit displays a portion corresponding to the extracted keyword used to determine the search word of the displayed message to be distinguished from other portions.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for providing information,

본 발명은 정보 제공하는 방법 및 이를 위한 전자기기에 관한 것이다. The present invention relates to a method of providing information and an electronic apparatus therefor.

최근 휴대용 단말기 보급률의 급속한 증가로 휴대 단말기는 이제 현대인의 생활 필수품으로 자리매김하게 되었다. 이와 같은 휴대 단말기는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가 서비스도 제공할 수 있게 되어 다양한 기능을 제공하고 있다.Recently, with the rapid increase of the penetration rate of portable terminals, portable terminals have become a necessity for modern people. Such a portable terminal can provide various data transmission services and various additional services as well as a unique voice call service, thus providing various functions.

특히, 스마트 단말기를 이용하여 사용자간의 커뮤니케이션이 활성화 되어 가고 있다. 이러한 활성화 추세와 함께, 커뮤니케이션에서 보다 편리한 대화 환경을 제공하는 여러가지 기술이 개발되고 있다. In particular, communication between users is being activated by using smart terminals. Along with this activation trend, various technologies are being developed to provide a more convenient dialog environment in communication.

하지만, 현재까지 상용화된 기술들은 사용자를 일률적으로 고려하고 있을 뿐이고, 사용자의 위치와 같은 정보에 대해서는 맞춤형으로 제공하지 못하고 있다. However, the technologies that have been commercialized so far have only considered the users uniformly, and do not provide customized information such as the location of the user.

본 발명이 이루고자 하는 기술적 과제는 전자기기에서 사용자의 위치 정보를 고려하여 사용자의 관심 정보 제공하는 방법, 사용자의 관심 정보 획득하는 방법 및 이를 위한 전자기기를 제공하는데 있다. According to an aspect of the present invention, there is provided a method of providing interest information of a user in consideration of location information of a user in an electronic device, a method of acquiring interest information of a user, and an electronic apparatus therefor.

또한, 본 발명이 이루고자 하는 기술적 과제는 어플리케이션을 사용하는 중에 사용자가 필요로 할 수 있는 검색어(query)를 생성하고, 검색을 수행하여 관심 정보를 획득하는 전자기기를 제공하는데 있다.According to another aspect of the present invention, there is provided an electronic device that generates a query that a user may need while using an application and performs search to acquire interest information.

본 발명의 일 실시예에 따른 커뮤니케이션 중에 검색 서비스를 제공하는 전자기기는 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 디스플레이부; 및 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지로부터 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 프로세서를 포함하며, 상기 디스플레이부는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 한다. An electronic device providing a search service during communication according to an embodiment of the present invention includes a display unit for displaying a message exchanged between the electronic device and another electronic device via the communication on an execution screen of an application in which the communication is performed; And a processor for extracting at least one keyword from a message displayed on the execution screen of the application and determining a search word of the search service using the extracted keyword and the location information of the electronic device, And displaying a portion corresponding to the extracted keyword used in the determination of the search word among the displayed messages so as to be distinguished from other portions.

예를 들어, 상기 디스플레이부는 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 포함하고, 상기 프로세서는 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하고, 상기 디스플레이부는 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 것을 특징으로 할 수 있다. For example, the display unit may include a graphical user interface (GUI) that receives a user input for selecting a portion corresponding to the displayed keyword, and the processor obtains information based on the search term corresponding to the user input And the display unit may display the acquired information corresponding to the user input.

예를 들어, 상기 프로세서는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득 할 수 있다.For example, the processor may obtain information via at least one of an application service and an Internet search service.

예를 들어, 상기 프로세서는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득 할 수 있다.For example, the processor may execute an application installed in the electronic device corresponding to the user input, and input the determined search word into the executed application to obtain the information.

예를 들어, 상기 디스플레이부는, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 그래픽 유저 인터페이스(GUI)를 더 포함하고, 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이 할 수 있다.For example, the display unit may further include a graphical user interface (GUI) that receives a user input for selecting a portion corresponding to the displayed keyword, and may display a search word editing window corresponding to the user input.

예를 들어, 상기 디스플레이부는 상기 검색어 편집창을 통하여 상기 프로세서에서 결정된 검색어를 디스플레이하고, 사용자가 편집한 검색어를 수신 할 수 있다.For example, the display unit may display a search word determined by the processor through the search word editing window, and may receive a search word edited by the user.

예를 들어, 상기 프로세서는 사용자가 편집한 검색어를 통하여 정보를 획득 할 수 있다.For example, the processor may obtain information through a user-edited query.

예를 들어, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출될 수 있다. For example, the location information of the electronic device may be measured through a Global Positioning System (GPS) module included in the electronic device, or extracted from the message.

예를 들어, 상기 프로세서는 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정 할 수 있다.For example, the processor may determine the search term of the search service by preferentially using the position information extracted from the message, rather than the position information measured from the GPS module.

예를 들어, 상기 프로세서는 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정 할 수 있다.For example, the processor may determine the search term based on user-related information included in the electronic device.

예를 들어, 상기 프로세서는 상기 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 적어도 하나의 키워드를 추출 할 수 있다.For example, the processor may extract the at least one keyword based on the type of words included in the message, the relationship between the words, and the meaning of the word.

본 발명의 다른 실시예에 따른 전자기기에서 커뮤니케이션 중에 검색 서비스를 제공하는 방법에 있어서, 상기 커뮤니케이션을 통해 상기 전자기기와 다른 전자기기 간에 주고 받은 메시지를 상기 커뮤니케이션이 수행되는 애플리케이션의 실행 화면 상에 디스플레이하는 단계; 상기 애플리케이션의 실행 화면 상에 디스플레이된 메시지로부터 적어도 하나의 키워드를 추출하는 단계; 및 상기 추출된 키워드와 상기 전자기기의 위치 정보를 이용하여 상기 검색 서비스의 검색어를 결정하는 단계를 포함하며, 상기 디스플레이하는 단계는 상기 디스플레이된 메시지 중에서 상기 검색어의 결정에 이용된 상기 추출된 키워드에 대응되는 부분을 다른 부분과 구별되도록 표시하는 것을 특징으로 할 수 있다. A method for providing a search service during communication in an electronic device according to another embodiment of the present invention is a method for providing a search service on a display screen of an application in which the communication is performed between the electronic device and another electronic device ; Extracting at least one keyword from a message displayed on an execution screen of the application; And determining a search term of the search service using the extracted keyword and the location information of the electronic device, wherein the displaying includes displaying the extracted keyword in the displayed message, And the corresponding portion is displayed so as to be distinguished from the other portion.

예를 들어, 상기 검색 서비스 제공 방법은, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 대응하여 상기 검색어를 기초로 정보를 획득하는 단계; 및 상기 사용자 입력에 대응하여 획득된 정보를 디스플레이하는 단계를 더 포함 할 수 있다.For example, the search service providing method includes: receiving a user input for selecting a portion corresponding to the displayed keyword; Obtaining information based on the search term corresponding to the user input; And displaying the acquired information corresponding to the user input.

예를 들어, 상기 정보를 획득하는 단계는 애플리케이션 서비스 및 인터넷 검색 서비스 중 적어도 하나를 통하여 정보를 획득 할 수 있다.For example, the step of acquiring the information may acquire information through at least one of an application service and an Internet search service.

예를 들어, 상기 정보를 획득하는 단계는 상기 사용자 입력에 대응하여, 상기 전자기기에 설치된 애플리케이션을 실행하고, 상기 결정된 검색어를 상기 실행된 애플리케이션에 입력하여 상기 정보를 획득 할 수 있다.For example, the step of acquiring the information may execute an application installed in the electronic device corresponding to the user input, and input the determined search word into the executed application to obtain the information.

예를 들어, 상기 검색 서비스 제공 방법은, 상기 표시된 키워드에 대응되는 부분을 선택하는 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 대응하여 검색어 편집창을 디스플레이하는 단계를 더 포함 할 수 있다.For example, the search service providing method includes: receiving a user input for selecting a portion corresponding to the displayed keyword; And displaying the search term editing window corresponding to the user input.

예를 들어, 상기 검색 서비스 제공 방법은, 상기 검색어 편집창을 통하여 상기 결정된 검색어를 디스플레이하는 단계; 및 사용자가 편집한 검색어를 수신하는 단계를 더 포함 할 수 있다.For example, the search service providing method may include displaying the determined search word through the search word editing window; And receiving a user-edited search word.

예를 들어, 상기 정보를 획득하는 단계는 사용자가 편집한 검색어를 통하여 정보를 획득 할 수 있다.For example, the step of acquiring the information may acquire information through a user-edited search word.

예를 들어, 상기 전자기기의 위치 정보는 상기 전자기기에 포함된 GPS(Global Positioning System) 모듈을 통해서 측정되거나, 상기 메시지로부터 추출되는 것을 특징으로 할 수 있다.For example, the location information of the electronic device may be measured through a Global Positioning System (GPS) module included in the electronic device, or may be extracted from the message.

예를 들어, 상기 검색어를 결정하는 단계는, 상기 메시지로부터 추출된 위치 정보를 상기 GPS 모듈로부터 측정된 위치 정보 보다 우선적으로 이용하여 상기 검색 서비스의 검색어를 결정 할 수 있다.For example, the step of determining the search term may determine the search term of the search service by preferentially using the position information extracted from the message, rather than the position information measured from the GPS module.

예를 들어, 상기 검색어를 결정하는 단계는, 상기 검색어를 상기 전자기기에 포함된 사용자 관련 정보를 기초로 결정 할 수 있다.For example, the step of determining the search term may determine the search term based on user-related information included in the electronic device.

예를 들어, 상기 키워드를 추출하는 단계는, 상기 프로세서는 상기 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 상기 적어도 하나의 키워드를 추출 할 수 있다.
For example, in extracting the keyword, the processor may extract the at least one keyword based on the type of words included in the message, the relationship between words, and the meaning of the word.

도 1a은 본 발명의 일 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
도 1b은 본 발명의 다른 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 2b는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 2c는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 3 내지 도 7은 메시징 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 8 내지 도 10은 음성 채팅 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 11 내지 도 15은 메일링 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 16 내지 도 19은 소셜 네트워크 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 20은 스케쥴러 서비스를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 21은 문서 편집기 앱(App)를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다.
도 22 내지 도 27은 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 22a 내지 도 22i는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC 이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 23a 내지 도 23e는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 24a 내지 도 24F는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 25a 및 도 25b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch) 및 스마트 워치(Smart Watch)와 연동되는 전자기기(101)인 스마트 폰(Smart Phone)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 26a 및 도 26b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 27a 및 도 27b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 28a 및 도 28b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 29a 및 도 29b는 전자기기(100)가 다양한 전자기기(100)이고, 스마트 안경(Smart Glasses)이고, 사용자가 다양한 전자기기(100)을 통하여 음성 채팅 및 텍스트 채팅 중 적어도 하나를 이용하여 커뮤니케이션을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.
도 30 내지 도 31는 본 발명의 일 실시예에 따른 전자기기(100)에서 제공하는 환경 설정 유저 인터페이스를 도시하는 도면이다.
도 32 내지 도 35는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다.
도 36은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 도면이다.
도 37은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.
도 38은 도 36에서 도시한 자연어 처리기(1200) 및 도 37에서 도시한 자연어 처리기(3200)의 세부 구성도이다.
도 39는 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블록도이다.
도 40은 본 발명의 일 실시예에 따른 전자기기(100)가 개체 인식하는 동작을 설명하기 위한 블록도이다.
도 41은 본 발명의 일 실시예에 따른 전자기기(100)가 개체 인식하여 작성하는 테이블 차트이다.
도 44에 도시된 사용자 단말 장치(1000)은 도 1의 전자기기(100)의 세부 구성도이다.
도 45은 본 개시의 일 실시 예에 따른 사용자 단말 장치(1000)의 소프트웨어 구성을 나타내는 블록도이다.
도 46은 본 발명의 일 실시예를 설명하기 위한 전자기기(2000)의 유저 인터페이스(UI)를 도시하는 도면이다. 전자기기(2000)는 도 1의 전자기기(100) 일 수 있다.1A is a diagram showing a user interface (UI) of an electronic device 100 for explaining an embodiment of the present invention.
1B is a diagram showing a user interface (UI) of the electronic device 100 for explaining another embodiment of the present invention.
2A is a flowchart showing an information providing method of the electronic device 100 according to an embodiment of the present invention.
2B is a flowchart showing an information providing method of the electronic device 100 according to another embodiment of the present invention.
2C is a flowchart showing an information providing method of the electronic device 100 according to another embodiment of the present invention.
3 to 7 are diagrams for explaining a specific user interface environment provided in communication through a messaging service.
8 to 10 are diagrams for explaining a specific user interface environment provided in communication through a voice chat service.
11 to 15 are diagrams for explaining a specific user interface environment provided in communication through the mailing service.
16 to 19 are diagrams for explaining a specific user interface environment provided in communication through a social network service.
20 is a diagram for explaining a specific user interface environment provided while using the scheduler service.
21 is a diagram for explaining a specific user interface environment provided using a text editor application (App).
22 to 27 are diagrams showing a method of providing information acquired by the electronic device 100 to a user through an output interface.
22A to 22I are diagrams showing a case where the electronic device 100 is a smart phone or a tablet PC and a user is text chatting via a smart phone or a tablet PC, (100) provides the acquired information to the user through an output interface.
23A to 23E illustrate a case where the electronic device 100 is a smart phone or a tablet PC and a user is performing a voice chat through a Smart Phone or a Tablet PC, (100) provides the acquired information to the user through an output interface.
24A to 24F illustrate a case where the electronic device 100 is a smart watch and a user is text chatting through a smart watch, To a user.
25A and 25B illustrate a case where the electronic device 100 is a smart watch and a user is a smart phone that is an electronic device 101 interlocked with a smart watch and a smart watch FIG. 4 is a diagram illustrating a method of providing information acquired by the electronic device 100 to a user through an output interface when text chatting is performed through the output interface.
26A and 26B illustrate a case where the electronic device 100 is a smart watch and a user is performing a voice chat through a smart watch, To a user.
27A and 27B illustrate a case where the electronic device 100 is Smart Glasses and the user is text chatting through Smart Glasses, To a user.
28A and 28B illustrate a case where the electronic device 100 is a Smart Glasses and a user is performing a voice chat through Smart Glasses, To a user.
29A and 29B show an example in which the electronic device 100 is a variety of electronic devices 100 and is smart glasses and allows a user to communicate with the electronic device 100 using at least one of voice chat and text chat, The information obtained by the electronic device 100 is provided to the user through the output interface.
30 to 31 are diagrams showing an environment setting user interface provided by the electronic apparatus 100 according to an embodiment of the present invention.
32 to 35 are flowcharts showing an information providing method of the electronic apparatus 100 according to an embodiment of the present invention.
36 is a diagram showing an electronic device 1000 according to an embodiment of the present invention.
37 is a block diagram showing an electronic device 1000 according to an embodiment of the present invention.
38 is a detailed configuration diagram of the natural language processor 1200 shown in FIG. 36 and the natural language processor 3200 shown in FIG.
39 is a block diagram showing a configuration of a user terminal according to an embodiment of the present disclosure;
FIG. 40 is a block diagram for explaining an operation of the electronic device 100 according to an embodiment of the present invention.
41 is a table chart prepared by the electronic device 100 according to an embodiment of the present invention.
The user terminal apparatus 1000 shown in FIG. 44 is a detailed configuration diagram of the electronic apparatus 100 of FIG.
45 is a block diagram showing a software configuration of a user terminal apparatus 1000 according to an embodiment of the present disclosure.
46 is a diagram showing a user interface (UI) of the electronic device 2000 for explaining an embodiment of the present invention. The electronic device 2000 may be the electronic device 100 of FIG.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. In addition, throughout the specification, when a part is referred to as being "connected" to another part, it is not limited to a case where it is "directly connected", but also an "electrically connected" . Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

명세서 전체에서 "사용자"는 전자기기의 사용자를 의미할 수 있다. 명세서 전체에서 커뮤니케이션 서비스는 사용자간의 대화와 같이, 사용자들간에 정보를 주고 받는 것을 용이하게 해주는 일대일(one to one), 일대다(one to many), 다대다(many to many) 서비스를 의미할 수 있다. Throughout the specification, "user" can refer to a user of an electronic device. Throughout the specification, communication services can mean one to one, one to many, many to many services that facilitate the exchange of information between users, such as conversations between users. have.

명세서 전체에서 애플리케이션(Application)은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 애플리케이션(Application)은 앱(App)이라고 표현될 수 있다. Throughout the specification, an application is a set of computer programs designed to perform a specific task. The applications described herein may vary. But are not limited to, a gaming application, a video playback application, a map application, a memo application, a calendar application, a phonebook application, a broadcast application, a motion support application, a payment application, a photo folder application and the like. An application can be expressed as an app.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

본 명세서에서 메시지는 사용자들 간에 주고 받은 대화의 일부분으로 하나 이상의 단어(word), 하나 이상의 어구(phrase) 및 하나 이상의 문구(clause) 중 적어도 하나를 포함하는 텍스트의 단위 묶음이거나 음성의 단위 묶음을 의미할 수 있다.As used herein, a message is a unit bundle of text that contains at least one of one or more words, one or more phrases, and one or more clauses as part of the conversation exchanged between users, It can mean.

본 명세서에서 키워드는 메시지에 포함되는 것으로, 메시지를 자연어 해석하여 획득한 메시지의 의미와 관련된 단어(word), 어구(phrase), 및 문구(clause)를 의미할 수 있다.In this specification, a keyword is included in a message and may mean a word, a phrase, and a clause related to the meaning of a message obtained by natural language interpretation of a message.

본 명세서에서 검색어는 검색 조건에 맞는 정보를 찾아내기 위한 기본이 되는 단어(word), 어구(phrase), 및 문구(clause)를 의미할 수 있다. In this specification, a search term may mean a word, a phrase, and a clause which are basic information for finding information that meets a search condition.

도 1a은 본 발명의 일 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.1A is a diagram showing a user interface (UI) of an electronic device 100 for explaining an embodiment of the present invention.

전자기기(100)는 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 웨어러블 디바이스, PDA(Personal Digital Assistant), 랩탑 컴퓨터(Laptop Computer), 휴대폰(Cell Phone), 이동 전화기(Mobile Phone), EDA (Enterprise Digital Assistant), PMP(Portable Multimedia Player), PND(personal Navigation Device 또는 Portable Navigation Device), 휴대용 게임 콘솔(Handheld Game Console), 모바일 인터넷 장치(Mobile Internet Device(MID)), 또는 e-북(e-Book)으로 구현될 수 있다.The electronic device 100 may be a smart phone, a tablet PC, a wearable device, a PDA (Personal Digital Assistant), a laptop computer, a cell phone, a mobile phone, an EDA (PMP), a Personal Navigation Device or a Portable Navigation Device (PND), a Handheld Game Console, a Mobile Internet Device (MID), or an e-Book e-Book).

본 명세서에서 웨어러블 디바이스는 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 `HMD`라 함)를 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 웨어러블 디바이스는, 반지, 목걸이, 팔찌, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수도 있다. In this specification, the wearable device may include a head mounted display (HMD) which can be mounted on the head. For example, the head-mounted display (HMD) may include, but is not limited to, glasses, helmets, hats, and the like. A wearable device herein may include rings, necklaces, bracelets, shoes, earrings, hair bands, clothes, gloves, thimble, and the like.

본 발명의 일 실시예에 따른 전자기기(100)는 커뮤니케이션 서비스를 통해서 화면에 메시지(5,6,7,8)가 표시될 수 있다. 본 명세서에서 메시지는 사용자들 간에 주고 받은 대화의 일부분으로 전자기기(100)와 다른 전자기기(미도시) 간에 한 세트의 시퀀스로 송수신되는 텍스트의 단위 묶음이거나 음성의 단위 묶음을 의미할 수 있다. 예를 들어, 도 1a에서 Chris가 Hyunjin에게 2013.8.6 8:28 에 송신한 `What do you want to do?`는 메시지(7)이다. 또한, 예를 들어, 도 1a에서 Hyunjin이 Chris에게 2013.8.6 8:30에 송신한 `I want to eat pizza.`는 메시지(8)이다. 예를 들어, 도 1a에서 Chris와 Hyunjin의 대화에서 각각의 말풍선에 포함된 부분은 하나의 메시지를 의미할 수 있다.In the electronic device 100 according to an embodiment of the present invention, messages 5, 6, 7, and 8 may be displayed on the screen through the communication service. Here, the message may be a unit bundle of text or a unit bundle of voice transmitted / received in a set sequence between the electronic device 100 and another electronic device (not shown) as a part of a conversation exchanged between users. For example, in FIG. 1A, Chris sent a message to Hyunjin on August 8, 2018 at 8:28, saying "What do you want to do?" Is message (7). Also, for example, in FIG. 1A, `I want to eat pizza. 'Sent by Hyunjin to Chris at 8:30 am on August 18, 2013 is message (8). For example, in FIG. 1 a, the portion of each speech bubble in the conversation between Chris and Hyunjin may mean one message.

본 발명의 일 실시예에 따른 전자기기(100)는 메시지에서 키워드를 추출할지 여부를 판단할 수 있다. 본 발명의 일 실시예에 따른 전자기기(100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드를 추출할 수 있다. 키워드는 메시지에 포함되거나 메시지의 내용과 연관되는 것으로, 메시지의 의미와 관련된 단어(word), 어구(phrase) 및 문구(clause) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자기기는 메시지(8)에서 키워드를 `pizza`로 추출할 수 있다. The electronic device 100 according to an embodiment of the present invention can determine whether to extract keywords from the message. The electronic device 100 according to an embodiment of the present invention can extract at least one keyword from a message displayed on a screen through a communication service. A keyword may include at least one of a word, a phrase and a clause related to the meaning of the message, included in the message or associated with the content of the message. For example, the electronic device may extract the keyword `pizza` from the message (8).

본 발명의 일 실시예에 따른 전자기기(100)는 추출된 키워드를 표시할 수 있다. 도 1a에서는 밑줄(Underline)을 통하여 키워드를 표시하는 것으로 도시하였으나, 전자기기(100)는 글자체 변경, 글자 크기 변경, 하이라이트, 굵은 글씨, 밑줄표시, 글자 깜박임, 글씨의 음영처리, 말풍선의 음영처리를 통하여 키워드를 메시지(8)의 다른 부분과 구별하여 표시할 수 있다.The electronic device 100 according to an embodiment of the present invention can display the extracted keyword. 1A, although the electronic device 100 displays a keyword through an underline, the electronic device 100 may be configured to change the font, change the font size, highlight, bold, underline, blink, text, The keyword can be distinguished from other parts of the message 8 and displayed.

본 발명의 일 실시예에 따른 전자기기(100)는 메시지를 통하여 추출된 키워드와 관련된 검색어를 생성하고, 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득 할 수 있다. 검색어는 검색 조건에 맞는 정보를 찾아내기 위하여 기본이 되는 단어(word), 어구(phrase) 및 문구(clause) 중 적어도 하나를 의미할 수 있다. 검색어는 키워드와 관련될 수 있다. 검색어는 하나 이상의 키워드를 기초로 생성될 수 있다. The electronic device 100 according to an embodiment of the present invention may generate a search word related to a keyword extracted through a message, and may acquire information based on the search word and the location information of the electronic device. A search term may refer to at least one of a word, a phrase, and a clause that is basic to find information that matches a search condition. The search term may be associated with a keyword. A search term may be generated based on one or more keywords.

본 발명의 다른 실시예에 따른 전자기기(100)는 키워드 및 전자기기(100)의 위치정보를 기초로 검색어를 생성할 수 있다. 예를 들어, 전자기기(100)는 키워드 및 전자기기(100)의 위치정보를 기초로 생성된 검색어를 통하여 정보를 획득하고 디스플레이 할 수 있다. The electronic device 100 according to another embodiment of the present invention can generate a search term based on the keyword and the location information of the electronic device 100. [ For example, the electronic device 100 can acquire and display information through a keyword generated based on the keyword and the location information of the electronic device 100. [

전자기기(100)는 전자기기 내의 정보를 획득하거나, 서버에서 검색한 정보를 획득할 수 있다. 전자기기(100)는 검색 사이트를 통하여 정보를 획득할 수 있다. The electronic device 100 can acquire the information in the electronic device or obtain the information retrieved from the server. The electronic device 100 can acquire information through the search site.

또한, 전자기기(100)는 프로세서에서 획득된 정보를 제공 할 수 있다. 정보를 제공한다는 것은 정보를 사용자가 인식할 수 있도록 보여주거나 들려주는 것을 의미할 수 있다. 예를 들어, 전자기기(100)는 메시지(8)의 다른 부분과 구분하여 표시된 키워드를 사용자가 터치하는 경우 획득된 정보를 제공할 수 있다. In addition, the electronic device 100 may provide information obtained from the processor. Providing information may mean showing or showing the information so that the user can recognize it. For example, the electronic device 100 may provide information obtained when a user touches a displayed keyword by separating from another part of the message 8.

또한, 전자기기(100)의 프로세서는 메시지(8)의 다른 부분과 구분하여 표시된 키워드와 관련된 정보를 유저의 요청과 무관하게 획득하여 전자기기(100)의 메모리(미도시)에 저장해둘 수 있다. 또한, 전자기기는 유저의 요청과 무관하게 획득하여 전자기기(100)의 메모리(미도시)에 저장해둔 정보를 사용자가 하이라이트 표시된 키워드를 터치하는 경우, 전자기기(100)의 메모리로부터 출력하여 사용자에게 제공할 수 있다.The processor of the electronic device 100 can also acquire information related to the keyword displayed separately from other parts of the message 8 regardless of the user's request and store the acquired information in the memory (not shown) of the electronic device 100 . In addition, when the electronic device acquires information regardless of the user's request and touches the keyword stored in the memory (not shown) of the electronic device 100 with the keyword highlighted by the user, the electronic device 100 outputs the information from the memory of the electronic device 100, .

또한, 전자기기(100)의 프로세서는 하이라이트 표시된 키워드를 사용자가 터치하는 경우, 키워드와 관련된 정보를 획득하여 전자기기(100)의 메모리(미도시)에 저장하지 않고 사용자에게 제공할 수 있다. In addition, when the user touches the highlighted keyword, the processor of the electronic device 100 may acquire the information related to the keyword and provide the information to the user without storing it in the memory (not shown) of the electronic device 100. [

전자기기(100)가 키워드를 추출하는 방법, 추출된 키워드를 바탕으로 검색어를 생성하는 방법, 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득하는 방법은 도 2a에 대한 설명에서 구체적으로 설명한다.A method of extracting keywords from the electronic device 100, a method of generating a search term based on extracted keywords, a method of acquiring information based on a search word, and location information of the electronic device 100 will be described in detail with reference to FIG. .

도 1b은 본 발명의 다른 실시예를 설명하기 위한 전자기기(100)의 유저 인터페이스(UI)를 도시하는 도면이다.1B is a diagram showing a user interface (UI) of the electronic device 100 for explaining another embodiment of the present invention.

본 발명의 일 실시예에 따른 전자기기(100)는 프로세서에서 생성한 검색어를 제공할 수 있다. 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 편집한 검색어를 수신할 수 있다. 예를 들어, 사용자는 프로세서에서 생성한 제1 검색어를 편집하여 제2 검색어를 작성하고, 전자기기(100)의 그래픽 유저 인터페이스를 통하여 제공되는 검색어 편집창(1)에 제2 검색어를 입력할 수 있다. 한편, 사용자는 프로세서에서 생성한 제1 검색어를 그대로 제2 검색어로 전자기기(100)에 입력할 수 있다. 전자기기(100)는 편집된 제2 검색어를 기초로 정보를 획득할 수 있고, 또한, 편집된 제2 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. The electronic device 100 according to an embodiment of the present invention may provide a search word generated by a processor. The electronic device 100 according to an embodiment of the present invention can receive a user-edited query. For example, the user can edit the first search word generated by the processor to create the second search word, and input the second search word into the search word editing window 1 provided through the graphic user interface of the electronic device 100 have. Meanwhile, the user can input the first search word generated by the processor directly to the electronic device 100 as the second search word. The electronic device 100 can acquire information based on the edited second search word and can also acquire information based on the edited second search word and the location information of the electronic device 100. [

예를 들어, 도시된 바와 같이, 전자기기(100)는 검색어 편집창(1)을 제공하고, 검색어의 기본값으로 `pizza`를 제공할 수 있다. 또한, 전자기기(100)는 사용자에 의하여 편집된 검색어를 수신하여, 다양한 방법을 통하여 정보를 획득하고, 획득한 정보를 사용자에게 제공할 수 있다. 전자기기의 동작에 대한 구체적인 설명은 도 2a 및 도 2b에 대한 설명을 참조한다. For example, as shown, the electronic device 100 provides a search term edit window 1 and can provide a `pizza` as a default for the search term. In addition, the electronic device 100 may receive the keyword edited by the user, acquire the information through various methods, and provide the acquired information to the user. For a specific description of the operation of the electronic device, refer to the description of Figs. 2A and 2B.

이하, 전자기기의 동작에 대해서 설명한다.Hereinafter, the operation of the electronic apparatus will be described.

도 2a는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도 1a에 대응하여 설명하기 위한 흐름도이다. FIG. 2A is a flowchart illustrating an information providing method of the electronic device 100 according to an embodiment of the present invention, corresponding to FIG. 1A.

도 2a를 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 키워드를 추출할 수 있다(S110). 프로세서가 키워드를 추출하는 경우 사용되는 방법은 표 1에서 도시되는 바와 같이 의미론적 분석 및/또는 확률적 분석이다. Referring to FIG. 2A, the processor may extract a keyword from a message displayed on a screen through a communication service (S110). The method used when the processor extracts the keywords is a semantic analysis and / or probabilistic analysis as shown in Table 1.

키워드
추출 방법keyword
Extraction method 분석의 근거The basis of analysis 근거의 구체적인 예시A concrete example of evidence 의미론적 분석Semantic analysis 사용자간의 대화 내용Conversation between users 커뮤니케이션 상대방과 대화에서 추출된 내용, 사용자의 위치에 대한 대화 내용, 사용자의 심리상태에 대한 대화 내용, 사용자의 과거 경험에 대한 대화 내용Communication Contents extracted from conversation with the other party, conversation about the user's location, conversation about the user's psychological state, conversation about the user's past experience 사용자의 위치 기록Your location history 현재 위치한 장소 또는 특정 장소를 지나간 빈도수, 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 횟수, 현재 위치한 장소 또는 특정 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소 또는 특정 장소에 머문 시간, 사용자가 최초로 현재 장소 또는 특정 장소에 도착한 시간The number of times the user has passed the current location or the specific place, the number of times the user has passed the current location or the specific place, the total time spent in the present place or the specific place, The time at which the first arrives at the current or specified location 사용자 입력 정보User input information 사용자의 스케쥴, 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향 The user's schedule, the user's address, the preference of the user's pizza restaurant, 사용자에 대한
기록 정보For the user
History information 사용자에 대한 기록 정보는 사용자의 현재 위치, 사용자의 결재 기록, 사용자의 누적 기록, 사용자의 통화 기록The record information for the user includes a current location of the user, a record of the user's approval, a cumulative record of the user, 확률적 분석Probabilistic analysis 참조 내용들 간의 우선순위 또는
의미론적 분석 결과들 간의 우선순위Priority between reference contents or
Priority among semantic analysis results 사용자간의 대화 내용, 사용자의 위치 기록, 사용자 입력 정보, 사용자에 대한 기록 정보Contents of conversation between users, location record of user, user input information, record information of user

[1. 키워드 추출] [One. Keyword extraction]

예를 들어, 도 1에서 표시된 바와 같이, 화면에 표시되는 메시지는 `What do you want to do?`(제1 메시지) 및 `I want to eat pizza`(제2 메시지)일 수 있다. 프로세서는 제1 메시지 및 제2 메시지의 의미를 분석하여, 제2 메시지에서 키워드를 `pizza`로 추출할 수 있다.For example, as shown in FIG. 1, the message displayed on the screen may be `What do you want to do? '(First message) and` I want to eat pizza` (second message). The processor can analyze the meaning of the first message and the second message and extract the keyword as `pizza` in the second message.

전자기기(100)의 프로세서(processor)는 메시지가 사용된 의미론적 분석(semantic analysis), 확률적 분석(statistical analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)의 프로세서(processor)는 메시지와 관련된 상황을 고려하여 키워드를 추출할 수 있다. 예를 들어, 전자기기(100)의 프로세서(processor)는 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 키워드를 추출할 수 있다. The processor of the electronic device 100 can extract the keyword `pizza` through a semantic analysis and a statistical analysis in which a message is used. A processor of the electronic device 100 can extract keywords in consideration of a situation related to a message. For example, the processor of the electronic device 100 can extract keywords based on the types of words included in the message, the relationships among the words, and the meaning of the words.

프로세서는 도 36 내지 도 41에서 설명하는 방식을 통하여 각각의 메시지에서 개체를 인식하고, 인식된 각각의 개체들의 사용 빈도를 통하여 키워드를 추출할 수 있다. 프로세서가 개체를 인식하는 구체적인 방식에 대해서는 후술한다. The processor can recognize an entity in each message through the method described with reference to FIGS. 36 to 41, and extract the keyword through the use frequency of each recognized entity. The specific manner in which the processor recognizes the entity will be described later.

전자기기(100)의 프로세서(processor)는 전자기기(100)의 각종 처리 동작을 제어할 수 있다. A processor of the electronic device 100 can control various processing operations of the electronic device 100. [

[1-1. 의미론적 분석][1-1. Semantic analysis]

프로세서는 의미론적 분석(semantic analysis)을 통하여 키워드를 추출할 수 있다.Processors can extract keywords through semantic analysis.

예를 들어, 프로세서는 사용자간의 대화 내용 및 사용자 관련 정보를 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. 여기서, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. 사용자 관련 정보는 일방의 사용자에 대해 관련된 정보만을 의미할 수 있고, 2인 이상의 사용자에 대해 관련된 정보를 의미할 수 있다. For example, the processor may extract the keyword `pizza` by taking into consideration the contents of the conversation between the users and the information related to the user. Here, the user-related information may include at least one of a location record of the user, information previously input by the user, and record information of the user. User related information may only refer to information related to one user, and may refer to information related to two or more users.

프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 키워드를 추출할 수 있다. The processor can extract keywords based on at least one of 1) content of conversation between users, 2) location record of the user, 3) information input by the user in advance, and 4) record information of the user.

프로세서는 사용자간의 대화 내용을 자연어(Natural Language) 분석하여, 사용자간의 대화 내용을 확인하고, 키워드를 추출할 수 있다. 예를 들어, 도 1a의 실시예에서 프로세서는 커뮤니케이션 상대방과 대화에서 추출된 내용, 사용자의 위치에 대한 대화 내용, 사용자의 심리상태에 대한 대화 내용, 사용자의 과거 경험에 대한 대화 내용을 기초로 키워드를 추출할 수 있다. The processor analyzes the contents of the conversation between the users in a natural language (Natural Language), identifies the conversation between the users, and extracts the keywords. For example, in the embodiment of FIG. 1A, the processor may generate a keyword based on the content extracted from the conversation with the communication partner, the conversation about the location of the user, the conversation about the user's psychological state, Can be extracted.

예를 들어, 프로세서는 이러한 대화 내용을 기초로 판단하여, 도 1a의 실시예에서 프로세서는 메시지(8)에서 키워드를 `pizza`로 추출할 수 있다. 프로세서는 사용자간의 대화에 포함된 메시지의 의미를 확인하고, 메시지의 의미를 기초로 사용자에게 필요한 정보가 무엇에 대한 것인지 예측 할 수 있다. 예를 들어, 프로세서는 메시지의 의미를 `피자를 먹고 싶어한다`는 것으로 분석하고, 이러한 의미를 기초로 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황) 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)이 필요한 상황이라고 예측할 수 있다. 여기서, 사용자의 상황이란, 사용자와 관련된 환경적인 요소를 의미할 수 있다. For example, the processor may determine based on this conversation that the processor in the embodiment of FIG. 1A can extract the keyword `pizza` from message 8. The processor identifies the meaning of the messages included in the conversation between users and predicts what information the user needs based on the meaning of the message. For example, a processor interprets the meaning of a message as `wants to eat a pizza`, and based on this meaning, the user searches for a pizza restaurant near the current location (first situation) It is possible to predict that a situation in which a telephone number of a telephone number (second situation) is required is necessary. Here, the user's situation may mean an environmental factor related to the user.

또한, 프로세서는 메시지의 의미를 기초로 키워드를 추출하는 경우, 2) 사용자의 위치 기록을 고려할 수 있다. In addition, the processor can consider the location record of the user when extracting the keyword based on the meaning of the message and 2) the location record of the user.

예를 들어, 사용자의 위치 기록은 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 빈도수, 사용자가 현재 위치한 장소 또는 특정 장소를 지나간 횟수, 현재 위치한 장소 또는 특정 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소 또는 특정 장소에 머문 시간, 사용자가 최초로 현재 장소 또는 특정 장소에 도착한 시간을 포함할 수 있다. For example, the location history of a user may include information such as the frequency at which a user is presently located or a specific place, the number of times a user has passed through a place or a specific place where the user is present, a total time spent at a present place or a specific place, The time at which the user is presently located or at a specific place, and the time at which the user first arrived at the current place or a specific place.

전자기기의 사용자의 위치 정보를 확인하고, 키워드를 추출하는데 위치 정보를 이용할 수 있다. 사용자의 위치 정보를 실시간으로 계속적으로 확인될 수 있다. 사용자의 위치 정보는 실시간으로 계속적으로 확인하여 전자기기에 저장될 수 있다. The location information of the user of the electronic device can be confirmed and the location information can be used to extract the keyword. The location information of the user can be continuously checked in real time. The location information of the user can be continuously checked in real time and stored in the electronic device.

사용자의 위치 정보는 전자기기(100)의 위치 정보에 의하여 측정될 수 있다. 예를 들어, 전자기기(100)의 위치 정보는 GPS 좌표 값, 기지국의 ID, AP(Access Point)의 SSID 및 네트워크 주소를 포함할 수 있다. 또한, 사용자의 위치 정보는 적외선(diffuse-infrared), 초음파, 블루투스, UWB, RFID, WPS 등을 포함하는 다양한 무선 통신 기술을 이용한 측정 방법에 따라 측정될 수 있다.The location information of the user can be measured by the location information of the electronic device 100. [ For example, the location information of the electronic device 100 may include a GPS coordinate value, an ID of a base station, an SSID of an access point (AP), and a network address. Also, the location information of the user can be measured according to a measurement method using various wireless communication technologies including diffuse-infrared, ultrasound, Bluetooth, UWB, RFID, WPS, and the like.

위치 정보는 시간에 따라서 사용자 또는 전자기기가 어느 위치에 있는지에 대한 기록 정보를 의미할 수 있다. 전자기기(100)는 GPS 모듈을 포함할 수 있다. GPS 모듈이 전자기기(100)의 위치를 측정하는 방법은 도 45에 대한 설명에서 상술한다. The location information may refer to record information on the location of the user or the electronic device according to time. The electronic device 100 may include a GPS module. A method by which the GPS module measures the position of the electronic device 100 will be described in detail with reference to FIG.

또한, 프로세서는 메시지의 의미를 기초로 키워드를 추출하는 경우, 사용자가 미리 입력한 정보를 고려할 수 있다.In addition, when extracting a keyword based on the meaning of a message, the processor can take into account information previously input by the user.

예를 들어, 사용자가 미리 입력한 정보는 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향, 사용자의 예정된 스케쥴을 포함할 수 있다.For example, the information previously input by the user may include a user address, a user's preference for a pizza restaurant, a menu selection tendency of a user, and a user's scheduled schedule.

예를 들어, 프로세서는 사용자의 주소가 현재 위치와 먼 곳이고, 사용자가 현재 장소의 머문 총 시간이 기준 시간(예를 들어, 1시간) 미만인 경우, 사용자의 현재위치가 사용자에게는 익숙하지 않은 장소임을 확인할 수 있다. 이러한 분석을 기초로, 프로세서는 사용자는 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황) 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)이 필요한 상황이라고 예측할 수 있다.For example, the processor may determine that the current location of the user is unfamiliar to the user if the address of the user is far from the current location and the total time the user has at the current location is less than a reference time (e.g., one hour) . Based on this analysis, the processor can predict that the user needs to find a pizza restaurant near the current location (first situation) or to find the phone number of the pizza shop near the current location (second situation).

또한, 프로세서는 메시지의 의미를 기초로 키워드를 예측하는 경우, 4) 사용자에 대한 기록 정보를 고려할 수 있다. In addition, the processor may consider the record information for the user when 4) predicting the keyword based on the meaning of the message.

예를 들어, 사용자에 대한 기록 정보는 전자기기 및 서버에 기록된 사용자에 대한 기록을 의미할 수 있다. 또한, 사용자에 대한 기록은 사용자가 전자기기를 이용하면서 기록한 것과 앱 서비스를 이용하면서 서버에 기록한 것을 포함할 수 있다. 또한, 사용자에 대한 기록은 사용자가 직접 기록하지 않았지만, 전자기기나 서버를 이용하면서 간접적으로 기록된 내용을 포함할 수 있다. 예를 들어, 사용자에 대한 기록 정보는 사용자의 현재 위치, 사용자의 결재 기록, 사용자의 누적 기록, 사용자의 통화 기록과 같이 사용자와 관련된 정보를 포함할 수 있다. For example, the record information for the user may mean a record for the user recorded on the electronic device and the server. Also, the record for the user may include what the user recorded while using the electronic device and what was recorded on the server while using the app service. In addition, the record for the user may include contents indirectly recorded while using the electronic device or the server, although the user does not directly record the record. For example, the record information for the user may include information related to the user, such as the current location of the user, a record of the user's approval, a cumulative record of the user, and a record of the user's call.

[1-2. 확률적 분석][1-2. Probabilistic analysis]

프로세서는 확률적 분석(statistical analysis)을 통하여 키워드를 추출할 수 있다. The processor can extract keywords through statistical analysis.

프로세서는 참조 내용들간의 우선 순위를 판단할 수 있다. 예를 들어, 프로세서는 사용자간의 대화 내용, 사용자의 위치 기록, 사용자 입력 정보, 사용자에 대한 기록 정보를 기초로 의미론적 분석을 하는 경우, 각각의 분석의 근거들 간에 키워드 추출시 우선적으로 고려해야 하는 근거를 판단할 수 있다. 예를 들어, 전자기기(100)의 GPS 모듈에서 측정된 전자기기의 위치가 사용자간의 대화 내용에서 나타난 위치 정보가 상이한 경우, 프로세서는 사용자간의 대화 내용에서 나타난 위치 정보를 우선적으로 고려하여 키워드를 추출하도록 할 수 있다. The processor can determine the priority between the reference contents. For example, when a processor performs a semantic analysis based on a conversation between users, a location record of a user, a user input information, and a record information of a user, Can be determined. For example, if the location of the electronic device measured by the GPS module of the electronic device 100 differs from the location information indicated by the conversation contents between the users, the processor extracts the keywords by preferentially considering the location information indicated in the conversation contents between the users .

또한, 프로세서는 사용자의 예측된 상황들 간의 우선 순위를 판단할 수 있다. 예를 들어, 프로세서는 사용자의 예측된 두 가지 상황 중에서 제1 상황(현재 위치 인근의 피자 레스토랑을 찾는 것) 또는 제2 상황(현재 위치 인근의 피자 가게의 전화번호를 찾는 것) 중에서 어느 하나의 발생 확률이 높다고 판단할 수 있다. In addition, the processor can determine the priority between the user's predicted situations. For example, the processor may determine which of the two predicted user situations is the first one (finding the pizza restaurant near the current location) or the second one (finding the phone number of the pizza store near the current location) It can be determined that the probability of occurrence is high.

예를 들어, 사용자의 누적된 위치 정보에 특정 피자 레스토랑을 빈번하게 방문한 경우, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황)을 제1 순위로 판단할 수 있다. For example, if a particular pizza restaurant is frequently visited by the user's accumulated location information, the processor may determine that the user is looking for a pizza restaurant near the current location (first situation).

또는, 예를 들어, 사용자가 현재 위치한 장소가 건물의 외부이고, 사용자의 누적된 위치 정보에 사용자가 일정 시간(예를 들어, 30분) 이상 이동하고 있는 것으로 기록되어 있거나, 사용자의 스케쥴러 상에 외출이 기록되어 있다면, 프로세서는 사용자가 현재 위치 인근의 피자 레스토랑을 찾는 것(제1 상황)을 제1 순위로 판단할 수 있다.Or, for example, if the location where the user is currently located is outside the building and the user is recorded as being moving for more than a certain amount of time (e.g., 30 minutes) in the cumulative location information of the user, If outgoing is recorded, the processor may determine that the user is looking for a pizza restaurant near the current location (first situation) as the first order.

예를 들어, 사용자의 통화 내역 기록 상에 피자 레스토랑으로 전화를 한 횟수가 소정의 기준 횟수 이상인 경우, 프로세서는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)을 제1 순위로 판단할 수 있다.For example, if the number of calls to the pizza restaurant on the user's call history record is greater than or equal to a predetermined number of times, the processor searches for the phone number of the pizza shop near the current location (second situation) It can be judged.

또는, 예를 들어, 사용자가 현재 위치한 장소가 사용자 친구의 주택이고, 사용자의 스케쥴러 상에 현재 위치한 장소에서 일정 시간(예를 들어, 3시간) 이상 머물 계획을 가지고 있다면, 프로세서는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것(제2 상황)을 제1 순위로 판단할 수 있다.Or, for example, if the user's current location is the user's friend's house and he has plans to stay at a certain time (e.g., three hours) at the location currently on the user's scheduler, It is possible to determine that the telephone number of the pizza shop is searched (the second situation) as the first rank.

프로세서는 상술한 방식으로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여, 키워드를 `pizza`로 추출할 수 있다. The processor can extract keywords as `pizza` through statistical analysis and semantic analysis in the above-described manner.

[1-3. 키워드 추출의 제한][1-3. Restriction of keyword extraction]

프로세서는 단어의 발생 빈도를 고려하여 키워드를 설정할 수 있다. 예를 들어, 프로세서는 사용자가 대화에서 반복적으로 일정 수준 이상 언급하는 단어를 키워드로 설정할 수 있다. 예를 들어, 프로세서는 사용자가 대화에서 5회 이상 언급하거나, 또는 20% 이상의 빈도로 언급하는 단어를 키워드로 설정할 수 있다.The processor can set the keyword in consideration of the occurrence frequency of words. For example, the processor may set a keyword to a word that the user repeatedly mentions a certain level or more in a conversation. For example, the processor may set a keyword to a word that the user mentions more than five times in a conversation, or more than 20% of the time.

예를 들어, 프로세서는 개체 인식(Named Entity Recognition)을 하고, 각각의 개체에 대하여, 반복 횟수 또는 반복 비율을 측정할 수 있다. 예를 들어, 프로세서는 외부 서버를 통하여 인식된 각각의 개체에 대해서 반복 횟수 또는 반복 비율을 측정할 수 있다. For example, a processor may perform Named Entity Recognition and measure the number of iterations or the repetition rate for each entity. For example, a processor may measure the number of iterations or the repetition rate for each entity recognized through an external server.

프로세서 또는 서버를 통하여 개체 인식을 하는 방법에 대해서는 후술한다.A method of recognizing an object through a processor or a server will be described later.

또한, 외부 서버는 개체 인식하여, 각각의 개체에 대해서 반복 횟수 또는 반복 비율을 산출할 수 있고, 프로세서는 각각의 개체에 대하여 반복 횟수 또는 반복 비율에 관한 데이터를 수신하여, 키워드를 설정하는데 참고할 수 있다.In addition, the external server may recognize the entity, calculate the iteration count or the repetition rate for each entity, and the processor may receive data on the repetition frequency or repetition rate for each entity, have.

예를 들어, 프로세서는 일정 횟수 미만으로 언급되는 개체에 대해서는 키워드로 설정하지 않을 수 있다. 또한, 예를 들어, 프로세서는 일정 비율 미만으로 언급되는 개체에 대해서는 키워드로 설정하지 않을 수 있다. 이상에서 설명한 키워드 추출을 제한하는 알고리즘은 검색어를 생성하는 알고리즘에도 적용될 수 있다. For example, a processor may not set a keyword for an entity that is referred to as less than a certain number of times. Also, for example, the processor may not set a keyword for an entity referred to as less than a certain percentage. The algorithm for restricting the keyword extraction described above can be applied to an algorithm for generating a search term.

프로세서는 추출된 키워드를 구별하여 메시지의 다른 단어와 구별하여 표시(mark)할 수 있다. 프로세서는 추출된 키워드를 선택하는 사용자 입력을 수신하여, S130 내지 S190을 실행할 수 있다. 본 발명의 다른 실시 예에서 프로세서는 사용자 입력을 수신하지 않고, S130 내지 S190을 실행할 수 있다.
The processor can distinguish extracted keywords from other words in the message and mark them. The processor can perform S130 to S190 by receiving a user input for selecting the extracted keyword. In another embodiment of the present invention, the processor may execute S130 through S190 without receiving user input.

또한, 프로세서는 [1-1 의미론적 분석]의 방법을 통하여, 키워드의 추출을 제한할 수 있다. 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보를 기초로 개체를 인식하고, 개체 인식을 제한할 수 있다. In addition, the processor can restrict extraction of keywords through the method of [1-1 semantic analysis]. The electronic device 100 recognizes the object based on 1) the content of the conversation between the users, 2) the location record of the user, 3) the information previously input by the user, and 4) have.

예를 들어, 전자기기(100)가 [피자집 옆 장례식장으로 오세요]라고 메시지를 받은 경우, 프로세서는 의미론적 분석 방법을 통하여, <피자집 옆 장례식장>을 하나의 개체로 인식하거나, <피자집>을 개체로 인식하되, 키워드로 인식하지 않을 수 있다. For example, if the electronic device 100 receives a message [Come to the funeral home next to the pizzeria], the processor can identify the <funeral hall next to the pizzeria> as a single object through the semantic analysis method, > As an entity, but not as a keyword.

예를 들어, 프로세서는 <피자집 옆 장례식장>에서 장소를 표현하는 연결어(예를 들어, 옆, 근처, 뒤)가 사용되고 있음을 파악하고, <피자집 옆 장례식장>를 하나의 개체로 인식할 수 있다.
For example, a processor can identify a connection (eg, side, neighborhood, back) that represents a place in the <funeral home next to the pizza house> and recognize <funeral home next to the pizza house> as a single entity have.

[1-4. 사용자 입력에 의한 키워드 추출][1-4. Keyword extraction by user input]

프로세서는 사용자 입력을 수신하여 키워드를 결정할 수 있다. 사용자는 대화 메시지에서 키워드를 선택할 수 있다. 사용자는 미리 정해진 방식으로 키워드를 선택할 수 있다. 예를 들어, 사용자는 환경 설정을 통하여 미리 정해진 방식으로 키워드를 선택할 수 있다. 예를 들어, 사용자는 Long Press & Drag 방식으로 키워드를 선택할 수 있다. The processor may receive the user input to determine the keyword. The user can select a keyword from the conversation message. The user can select a keyword in a predetermined manner. For example, the user can select a keyword in a predetermined manner through environment setting. For example, users can select keywords by Long Press & Drag.

프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S130). 프로세서가 검색어를 생성하는 경우 사용되는 방법은 표 2에서 도시되는 바와 같이 의미론적 분석 및/또는 확률적 분석이다. The processor may generate and provide a search term associated with the keyword (S130). The method used when the processor generates a query is a semantic analysis and / or a probabilistic analysis, as shown in Table 2.

검색어 결정 방법How to determine the query 분석의 근거The basis of analysis 의미론적 분석Semantic analysis 사용자간의 대화 내용Conversation between users 사용자의 위치 기록Your location history 사용자 입력 정보User input information 사용자에 대한 기록 정보History information for users 확률적 분석Probabilistic analysis 참조 내용들 간의 우선순위 또는
의미론적 분석 결과들 간의 우선순위Priority between reference contents or
Priority among semantic analysis results

[2. 검색어 생성] [2. Create query]

프로세서는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 검색어를 `good day pizza`로 생성할 수 있다. The processor can generate a query `good day pizza` through statistical analysis and semantic analysis based on extracted keywords. For example, the processor may search for a `good day pizza` based on at least one of 1) a conversation between users, 2) a user's location record, 3) a user's pre-entered information, and 4) Can be generated.

프로세서는 사용자간의 대화 내용을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 사용자간의 대화 내용에서 `good day pizza`를 사용자가 먹고 싶어 한다는 의미를 파악했다면, 검색어를 `good day pizza`로 생성하고 제공할 수 있다. The processor can analyze the conversation between users and create a query as `good day pizza`. For example, if you know what a user wants to say `good day pizza 'in conversations between users, the processor can generate and serve the query as a` good day pizza`.

프로세서는 사용자의 위치 기록을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 프로세서는 사용자의 위치 기록을 분석하고, 사용자의 상황에 맞는 검색어를 제공할 수 있다. The processor can analyze the user's location history and create a query as a `good day pizza`. The processor can analyze the user's location history and provide a search query tailored to the user's situation.

예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것이라고 확인하였고, 사용자 위치의 누적 기록에 사용자가 `good day pizza`를 방문한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza 위치`라고 생성할 수 있다. For example, if the processor determines that what the user needs is finding the pizza restaurant near the current location, and if the user has a record of `good day pizza` visits frequently in the cumulative record of the user's location, Position `.

또한, 예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 통화 기록에 사용자가 `good day pizza`로 전화를 한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza 전화번호`라고 생성할 수 있다. Also, for example, if the processor determines that the user needs to find the phone number of the pizzeria near the current location, and if the user records a call to `good day pizza` on the user's past call history frequently, Can generate a search term `good day pizza phone number`.

또한, 예를 들어, 프로세서가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 기록 중 결재 내역 수신 메시지에서, 사용자가 `good day pizza`에서 결재한 기록이 빈번하다면, 프로세서는 검색어를 `good day pizza`라고 생성할 수 있다.Also, for example, the processor confirms that the user needs to find a pizza restaurant near the current location or a phone number of a pizza shop near the current location. In the payment history receiving message of the user's past record, If `good day pizza 'records frequent records, the processor can generate the query` good day pizza`.

프로세서는 사용자가 미리 입력한 정보을 분석하여 검색어를 `good day pizza`로 생성할 수 있다. 프로세서는 전자기기에 입력된 정보에서 `good day pizza`가 사용자가 가장 선호하는 피자 레스토랑으로 확인할 수 있다. The processor analyzes the information entered by the user in advance and can generate the query as `good day pizza`. The processor can check the `good day pizza` from the information input on the electronic device to the user's favorite pizza restaurant.

사용자는 전자기기에 `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자는 전자기기에 `good day pizza`에 대한 정보를 다수 기록할 수 있다. 이러한 경우, 프로세서는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인할 수 있다. The user can directly record `good day pizza` as the most preferred pizza restaurant in electronic devices. Also, the user can record a lot of information about `good day pizza` in the electronic device. In this case, the processor can identify `good day pizza` as the most preferred pizza restaurant through statistical methods.

프로세서는 애플리케이션 서비스를 통하여 서버에 입력된 정보에서 `good day pizza`가 사용자가 가장 선호하는 피자 레스토랑인 것으로 판단할 수 있다. 예를 들어, 프로세서는 소셜 네트워크 서비스(SNS)를 통하여 서버에 입력된 정보에서 사용자가 작성한 답글(Comment)를 통하여 사용자가 `good day pizza`를 선호하고 있다고 판단할 수 있다. The processor can determine that `good day pizza` is the most preferred pizza restaurant in the information input to the server through the application service. For example, the processor can determine that the user prefers `good day pizza` through a comment written by the user in the information input to the server through the social network service (SNS).

사용자는 서버의 데이터 베이스에 애플리케이션 서비스를 통하여, `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자는 서버의 데이터 베이스에 애플리케이션 서비스를 통하여, `good day pizza`에 대한 정보를 다수 기록할 수 있다. 이러한 경우, 프로세서는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인할 수 있다. Users can directly record `good day pizza` as the most preferred pizza restaurant through the application service on the server's database. Also, the user can record a lot of information about `good day pizza` through the application service in the database of the server. In this case, the processor can identify `good day pizza` as the most preferred pizza restaurant through statistical methods.

프로세서는 상술한 방식으로 의미론적 분석(semantic analysis)을 확률적 분석(statistical analysis)과 함께 수행하여, 검색어를 `good day pizza`로 추출할 수 있다.The processor can perform a semantic analysis with statistical analysis in the manner described above to extract the query as a `good day pizza`.

전자기기(100)는 사용자로부터 정보 제공 요청을 수신하여 검색어를 추출할 수 있다. 예를 들어, 디스플레이부(도 1의 9)는 사용자가 키워드에 대응되는 부분을 선택하는 입력(예를 들어, 터치)을 수신하고, 검색어를 추출할 수 있다. 예를 들어, 전자기기(100)는 사용자로부터 정보 제공 요청을 수신하기 전에는 키워드 결정하여 키워드를 다른 부분과 구분되도록 표시하여 디스플레이 하고, 사용자로부터 정보 제공 요청을 수신한 후에 검색어를 추출할 수 있다. The electronic device 100 may receive a request for providing information from a user and extract a search word. For example, the display unit (9 in Fig. 1) can receive an input (e.g., a touch) for the user to select a portion corresponding to the keyword and extract the search word. For example, the electronic device 100 may determine a keyword before receiving an information provision request from the user, display and display the keyword so as to be distinguished from other parts, and extract the search term after receiving the information provision request from the user.

본 명세서에서 정보 제공 요청이라는 것은 사용자가 전자기기에 정보의 제공을 요청하기 위하여 입력하는 것을 의미할 수 있다. 예를 들어, 사용자는 정보의 제공을 요청하기 위하여 각종 입력 방법(예를 들어, 터치, 클릭, 더블 클릭)을 통하여 입력을 할 수 있는데, 이러한 사용자의 행위를 정보 제공 요청 이라고 할 수 있다. 또한, 사용자는 정보의 제공을 요청하기 위하여 음성 또는 문자로 구성된 특정 명령어를 입력할 수 있는데, 이러한 사용자의 행위를 정보 제공 요청 또는 정보 제공 요청 입력이라고 할 수 있다. In the present specification, the information providing request may mean that the user inputs to request the provision of information to the electronic device. For example, a user can input information through various input methods (e.g., touch, click, double-click) in order to request the provision of information. Such user's action can be referred to as an information providing request. In addition, a user may input a specific command composed of voice or characters to request the provision of information, and the action of the user may be referred to as an information providing request or an information providing request input.

키워드 추출을 제한하는 알고리즘은 검색어를 생성하는 알고리즘에도 적용될 수 있다. The algorithm for restricting keyword extraction can be applied to an algorithm for generating a query.

프로세서는 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S170). 프로세서가 정보를 획득하는 경우 사용되는 방법은 표 3에서 도시되는 바와 같다. The processor can acquire information based on the search word and the location information of the electronic device (S170). The method used when the processor obtains the information is as shown in Table 3.

정보 획득 방법How to obtain information 전자기기
외부로부터 수신Electronics
Receiving from outside 앱 서비스(예를 들어, 구글 지도)를 통한 정보 획득Obtaining information through app services (e.g., Google Maps) 인터넷 검색 서비스(예를 들어, 야후)를 통한 정보 획득Obtain information through an Internet search service (for example, Yahoo) 전자기기
내부에서 획득Electronics
Acquired internally 이미지 파일, 전화번호 목록, 주소 목록,
최근 검색된 정보 목록 등 내부 저장장치로부터 획득Image file, phone number list, address list,
Obtained from internal storage such as recently retrieved information list

[3. 정보의 획득][3. Acquisition of information]

전자기기(100)는 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. 전자기기(100)가 획득하는 정보는 2차원 이미지, 3차원 이미지, 2차원 동영상, 3차원 동영상, 다양한 언어로 구성된 텍스트, 다양한 분야의 컨텐츠 및 다양한 서비스를 제공하는 앱(App)을 포함할 수 있다. The electronic device 100 can perform various searches based on the search word and the location information of the electronic device to acquire information. The information acquired by the electronic device 100 may include a two-dimensional image, a three-dimensional image, a two-dimensional video, a three-dimensional video, a text composed of various languages, have.

전자기기(100)는 키워드를 선택하는 사용자 입력을 수신한 이후에, 그 선택된 키워드에 대응하는 정보 획득 동작을 수행할 수 있다. After receiving the user input for selecting the keyword, the electronic device 100 can perform the information obtaining operation corresponding to the selected keyword.

또한, 전자기기(100)는 키워드를 선택하는 사용자 입력을 수신하기 이전에, 그 선택된 키워드에 대응하는 정보 획득 동작을 수행하고, 획득된 정보를 전자기기의 스토리지에 저장할 수 있다. 전자기기(100)는 키워드를 선택하는 사용자 입력을 수신하여, 스토리지에 저장된 정보를 사용자에게 제공할 수 있다. In addition, the electronic device 100 may perform an information obtaining operation corresponding to the selected keyword before receiving the user input for selecting the keyword, and store the obtained information in the storage of the electronic device. The electronic device 100 may receive a user input for selecting a keyword and provide information stored in the storage to a user.

이하, 구체적인 정보 획득 동작은 설명한다. Hereinafter, a concrete information acquisition operation will be described.

[3-1. 앱 서비스를 통한 정보 획득] [3-1. Obtaining Information through App Service]

전자기기(100)는 외부의 검색 서버로부터 관련 정보를 획득할 수 있다. The electronic device 100 can acquire relevant information from an external search server.

예를 들어, 전자기기(100)는 앱(App) 서비스를 통하여 정보를 획득할 수 있다. For example, the electronic device 100 can acquire information through an app service.

전자기기(100)는 앱(App)의 현재의 상황에 따라서 서비스를 결정한 후, 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. The electronic device 100 can determine the service according to the current status of the app and then perform various searches based on the search word and the location information of the electronic device to acquire the information.

예를 들어, 전자기기(100)는 사용자의 위치 정보를 참조하여, 사용자가 한국에 위치하는 경우, 한국 국적의 서비스 제공자가 제공하는 지도(map) 앱(App) 서비스를 선택하고, 사용자가 일본에 위치하는 경우, 일본 국적의 서비스 제공자가 제공하는 지도(map) 앱(App) 서비스를 선택 할 수 있다.For example, when the user is located in Korea, the electronic device 100 refers to the location information of the user, selects a map app service provided by a service provider of Korean nationality, The user can select a map app service provided by a service provider of Japanese nationality.

예를 들어, 전자기기(100)는 사용자의 앱(App) 사용 빈도수를 참조하여, 전자기기(100)의 사용자가 자주 이용하는 지도(map) 앱(app) 서비스를 선택할 수 있다. For example, the electronic device 100 can select a map app service frequently used by the user of the electronic device 100, referring to the frequency of use of the user's app.

전자기기(100)는 사용자에게 선택을 요청하여 사용자의 응답을 수신하여, 사용자의 응답을 기초로 앱(App) 서비스를 선택할 수 있다. The electronic device 100 may request a selection from the user, receive a response from the user, and select an application service based on the response of the user.

예를 들어, 전자기기(100)는 사용자의 상황을 고려하여 사용 후보 앱(제1 앱 내지 제5 앱)을 선정하고, 제1 앱(App) 내지 제5 앱(App) 중에서 어떠한 앱을 선택할 것인지 요청하고, 사용자가 제1 앱(App)을 선택하는 경우, 제1 앱(App)을 통하여 정보를 검색할 수 있다. For example, the electronic device 100 selects a use candidate application (a first application to a fifth application) in consideration of the user's situation, selects an application from among the first application (App) to the fifth application When the user selects the first application (App), the user can search for information through the first application (App).

전자기기(100)는 사용자가 미리 선택한 앱(App) 서비스 중에서 현재 상황에 맞는 앱(App) 서비스를 선택할 수 있다.The electronic device 100 can select an app service suitable for the current situation from among the app services that the user pre-selected.

예를 들어, 전자기기(100)는 사용자가 미리 선택한 제1 앱(App) 내지 제5 앱(App) 중에서, 사용자의 현재 상황에 맞게 제1 앱(App)을 선택할 수 있다. 예를 들어, 사용자가 미리 선택한 제1 레스토랑 앱(App) 내지 제5 레스토랑 앱(App)이 있는 경우, 사용자의 현재 상황에 맞는 `good day pizza` 레스토랑 앱(App)을 선택할 수 있다. For example, the electronic device 100 can select a first application (App) according to the current situation of the user from among the first to fifth apps previously selected by the user. For example, if there is a first restaurant app (App) to a fifth restaurant app (user) preselected by the user, the user can select a `good day pizza` restaurant app corresponding to the current situation of the user.

전자기기(100)는 사용자가 미리 선택한 앱(App) 서비스 중에서 사용자에게 선택을 요청하여 사용자의 응답을 수신하여, 사용자의 응답을 기초로 앱(App) 서비스를 선택할 수 있다.The electronic device 100 may request the user to select a desired one of the app services selected by the user, receive a response from the user, and select an app service based on the response of the user.

예를 들어, 전자기기(100)는 사용자가 미리 선택한 제1 앱(App) 내지 제5 앱(App) 중에서, 제1 앱(App) 내지 제5 앱(App) 중에서 어떠한 앱을 선택할 것인지 요청하고, 사용자가 제1 앱(App)을 선택하는 경우, 제1 앱(App)을 통하여 정보를 검색할 수 있다.For example, the electronic device 100 requests a first application (App) to a fifth application (App) to select from among the first to fifth apps previously selected by the user , And when the user selects the first application (App), information can be retrieved through the first application (App).

[3-2. 인터넷 검색 서비스를 통한 정보 획득][3-2. Obtaining Information through Internet Search Service]

예를 들어, 전자기기(100)는 인터넷 검색 서비스를 통하여, 정보를 획득할 수 있다. For example, the electronic device 100 can acquire information through an Internet search service.

전자기기(100)는 인터넷 검색 서비스를 결정한 후, 검색어 및 전자기기의 위치 정보를 기초로 각종 검색을 수행하여 정보를 획득할 수 있다. 검색어는 자동 추출된 검색어 혹은 유저에 의해 편집된 검색어를 의미할 수 있다. After determining the Internet search service, the electronic device 100 can obtain information by performing various searches based on the search word and the location information of the electronic device. The search term may refer to a self-extracted search term or a user-edited search term.

예를 들어, 인터넷 검색 서비스는 야후(yahoo), 구글(google), 빙(bing), 네이버(naver)와 같은 상용화된 검색 서비스 일 수 있다. 예를 들어, 인터넷 검색 서비스는 대학교 도서관, 논문 검색 싸이트, 연구시설의 데이터 베이스와 같이 특정인만이 접근이 가능한 검색 서비스 일 수 있다. For example, the Internet search service may be a commercialized search service such as yahoo, google, bing, naver. For example, the Internet search service may be a search service accessible only to a specific person, such as a university library, a thesis search site, or a database of research facilities.

전자기기(100)는 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득하고 사용자에게 제공할 수 있다. 보다 구체적인 설명은 각각의 실시예에 대한 설명에서 상술한다.The electronic device 100 can acquire and provide information to the user based on the search word and the location information of the electronic device. A more detailed description will be given in the description of each embodiment.

따라서, 본 발명의 일 실시예에 따른 전자기기(100)는 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다. Therefore, the electronic device 100 according to the embodiment of the present invention can provide communication-related information that is more convenient while the user is using the communication service.

[3-3. 전자기기 내의 정보 획득][3-3. Acquisition of information in electronic devices]

전자기기(100)는 내부의 저장장치로부터 관심 정보를 획득할 수 있다. The electronic device 100 may obtain the information of interest from an internal storage device.

예를 들어, 전자기기(100)는 내부 저장장치에 저장된 이미지 파일, 전화번호 목록, 주소 목록, 최근 검색된 정보 목록으로부터 관심 정보를 획득할 수 있다. 전자기기(100)가 웨어러블 디바이스 인 경우, 전자기기(100)와 블루투쓰와 같은 근거리 통신으로 연결된 다른 전자기기에 포함된 저장장치로부터 관심 정보를 획득할 수 있다. For example, the electronic device 100 may obtain interest information from an image file stored in an internal storage device, a telephone number list, an address list, and a recently retrieved information list. When the electronic device 100 is a wearable device, the electronic device 100 can acquire the interest information from a storage device included in other electronic devices connected by short-distance communication such as Bluetooth.

출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S190). 프로세서가 정보를 제공하는 경우 사용되는 방법은 표 4에서 도시되는 바와 같다.
The output interface may provide information obtained by the processor (S190). The method used when the processor provides information is as shown in Table 4.

전자기기의 종류Types of electronic devices 커뮤니케이션 방식Communication method 정보 제공 방식Information delivery method 스마트 폰
(또는 태블릿 PC)Smartphone
(Or Tablet PC) 텍스트 채팅, 음성 채팅Text chat, voice chat 화면 전환, 화면 분할, 음성, 음성 및 화면 분할, 음성 및 화면 전환, 메시징 서비스, e-mail 서비스, SNS 서비스, 애플리케이션 서비스Screen switching, screen division, voice, voice and screen division, voice and screen switching, messaging service, e-mail service, SNS service, application service 웨어러블 디바이스
(스마트 워치, 헤드 마운트 디스플레이)Wearable device
(Smart watch, head mount display) 텍스트 채팅, 음성 채팅 Text chat, voice chat 주요 정보 요약 제공
(이미지, 텍스트, 음성)Provide summary of key information
(Image, text, voice) 웨어러블 디바이스와 연동하는 스마트 폰(또는 테블릿 PC)Smartphones (or tablet PCs) that work with wearable devices 텍스트 채팅, 음성 채팅 Text chat, voice chat 웨어러블 디바이스에서 요약 정보 제공하고, 동시에 스마트 폰(또는 태블릿 PC)에서 구체적 정보 제공Provide summary information at the wearable device, and at the same time provide specific information from the smartphone (or tablet PC)

[4. 정보의 제공][4. Provision of information]

전자기기(100)는 검색어 및 전자기기의 위치 기록를 기초로 획득한 정보를 다양한 방식으로 사용자에게 제공할 수 있다. The electronic device 100 can provide the user with information obtained based on the search word and the location record of the electronic device in various ways.

예를 들어, 전자기기(100)는 획득한 정보를 음성, 영상 및 텍스트 중 적어도 하나를 통하여 사용자에게 제공할 수 있다. 전자기기(100)가 획득한 정보를 제공하는 방식은 전자기기(100)의 종류에 따라서 다양할 수 있다. 전자기기(100)가 획득한 정보를 제공하는 방식을 도 22 내지 도 29에서 구체적으로 설명한다. For example, the electronic device 100 may provide the acquired information to the user through at least one of voice, image, and text. The manner in which the electronic device 100 provides the acquired information may vary according to the type of the electronic device 100. [ A method of providing information acquired by the electronic device 100 will be described in detail with reference to FIGS. 22 to 29. FIG.

도 2b는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 도1b에 대응하여 설명하기 위한 흐름도이다. FIG. 2B is a flowchart illustrating an information providing method of the electronic device 100 according to another embodiment of the present invention, corresponding to FIG. 1B.

전자기기(100)는 커뮤니케이션에서 사용되는 메시지에서 키워드를 추출하고, 키워드와 관련된 제1 검색어를 생성하고, 생성된 제1 검색어를 사용자에게 제공할 수 있다(S110_a, S130_a). 전자기기(100)는 다양한 방식으로 제1 검색어를 제공할 수 있다. 전자기기(100)는 말풍선 생성, 팝업 윈도우, 화면 전환과 같은 방식을 사용하여 검색어를 제공할 수 있다. The electronic device 100 may extract a keyword from a message used in communication, generate a first search word related to the keyword, and provide the generated first search word to the user (S110_a, S130_a). The electronic device 100 may provide a first search term in a variety of ways. The electronic device 100 can provide a search word using a method such as speech balloon generation, pop-up window, and screen switching.

전자기기(100)는 사용자가 편집한 제2 검색어를 수신 할 수 있다(S150_a). The electronic device 100 can receive the second search word edited by the user (S150_a).

[5. 검색어 편집][5. Edit query]

전자기기(100)는 사용자로부터 편집된 제2 검색어를 수신할 수 있다(S150_a). 전자기기(100)는 텍스트, 제스쳐, 음성, 스케치와 같은 방식으로 사용자가 검색어를 편집하도록 할 수 있다. The electronic device 100 may receive the edited second search word from the user (S150_a). The electronic device 100 may allow a user to edit a search term in a manner such as text, gestures, voice, or sketches.

사용자는 전자기기(100)가 생성한 제1 검색어를 보고, 자신의 명확한 의도를 반영하여 검색어를 편집할 것이다. 본 명세서에서 `편집된 검색어`는 사용자가 이러한 방식으로 편집한 검색어를 의미할 수 있다.The user will see the first search word generated by the electronic device 100 and edit the search word to reflect the clear intention of the user. In the present specification, `edited search term` may mean a search term edited in this way by a user.

사용자는 전자기기가 출력 인터페이스를 통하여 제공한 검색어를 편집할 수 있다. 예를 들어, 사용자는 전자기기가 제공한 검색어를 편집하여 편집된 검색어를 입력할 수 있다. 예를 들어, 사용자는 전자기기가 제공한 검색어를 변경하지 않고, 제공된 검색어 그대로 입력할 수 있다. 전자기기는 사용자가 입력한 편집된 검색어를 수신할 수 있다.The user can edit the search word provided by the electronic device through the output interface. For example, the user can edit the search word provided by the electronic device and input the edited search word. For example, the user can input the provided search word without changing the search word provided by the electronic device. The electronic device can receive the edited search term entered by the user.

전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득 할 수 있다(S170_a). 전자기기(100)는 획득한 정보를 제공 다양한 방식으로 제공할 수 있다(S190_a). 전자기기(100)가 획득한 정보를 제공하는 방식을 도 22 내지 도 29에서 설명한다. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device (S170_a). The electronic device 100 may provide the obtained information in various ways (S190_a). A method of providing information acquired by the electronic device 100 will be described with reference to FIGS.

도 2c는 본 발명의 다른 실시예에 따른 전자기기(100)의 정보제공방법을 설명하기 위한 흐름도이다. 2C is a flowchart illustrating an information providing method of the electronic device 100 according to another embodiment of the present invention.

전자기기(100)는 커뮤니케이션에서 사용되는 메시지에서 키워드를 추출하고, 키워드 및 위치 정보를 기초로 검색어를 생성하고, 생성된 검색어를 사용자에게 제공할 수 있다(S110_b, S130_b). The electronic device 100 may extract a keyword from a message used in communication, generate a search term based on the keyword and the location information, and provide the generated search term to the user (S110_b, S130_b).

전자기기(100)는 다양한 방식으로 위치 정보를 파악하고, 검색어를 제공할 수 있다. 예를 들어, 전자기기(100)는 전자기기의 GPS 모듈을 통하여 획득한 전자기기의 위치 정보를 통하여 검색어를 생성할 수 있고, 메시지에 포함된 단어, 단어의 연결관계 및 단어의 의미 등을 통하여 획득한 위치 정보를 통하여 검색어를 생성할 수 있다. The electronic device 100 can obtain position information and provide a search word in various ways. For example, the electronic device 100 can generate a search word through the location information of the electronic device acquired through the GPS module of the electronic device. The electronic device 100 can generate a search word through the words included in the message, The search term can be generated through the acquired location information.

전자기기(100)는 이러한 방식 들로 획득한 위치 정보를 키워드를 생성하는데 사용할 수 있고, 검색어를 생성하는데 사용 할 수 있다. 또한, 전자기기(100)는 위치 정보를 사용자에게 제공되는 정보를 획득하는데 사용할 수 있다. The electronic device 100 can use the location information acquired in this manner to generate a keyword and use it to generate a search term. Also, the electronic device 100 may use the location information to obtain information provided to the user.

전자기기(100)는 검색어를 기초로 정보를 획득 할 수 있다(S170_b). 전자기기(100)는 획득한 정보를 제공 다양한 방식으로 제공할 수 있다(S190_b). 전자기기(100)는 도 22 내지 도 29에서 설명하는 다양한 방식을 통하여 획득한 정보를 제공할 수 있다. The electronic device 100 can acquire information based on the search word (S170_b). The electronic device 100 may provide the obtained information in various ways (S190_b). The electronic device 100 may provide information obtained through various methods described in FIGS.

이하, 구체적인 시나리오 별로 설명한다. Hereinafter, specific scenarios will be described.

[시나리오 1 : [Scenario 1: 메시징Messaging 서비스( service( MessagingMessaging ServiceService )])]

도 3 내지 도 7은 메시징 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 3 to 7 are diagrams for explaining a specific user interface environment provided in communication through a messaging service.

도 3를 참조하면, 전자기기(100)는 도 3와 같이, 사용자간에 메시징 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 3, the electronic device 100 can display communication contents between users through a messaging service, as shown in FIG.

전자기기(100)는 백 버튼(back button, 20), 음성 전화 연결 버튼(call button, 30), 유저 이름 박스(user name box, 40) 및 대화창(5, 6, 7, 8)과 같은 인터페이스를 제공할 수 있다. 유저 이름 박스(40)는 백 버튼(20)과 전화 연결 버튼(30)을 포함할 수 있다. The electronic device 100 includes an interface such as a back button 20, a voice call connection button 30, a user name box 40 and a dialog window 5, 6, 7, Can be provided. The user name box 40 may include a back button 20 and a telephone connection button 30.

사용자는 백 버튼(20)을 터치하거나 더블 탭하여 이전 메뉴로 돌아갈 수 있다. 사용자는 전화 연결 버튼(30)을 터치하거나 더블 탭하여 음성 채팅 할 수 있다. 유저 이름 박스(40)는 대화 상대방의 이름 또는 닉네임을 표시할 수 있다. 또한, 유저 이름 박스(40)는 전자기기(100)의 사용자의 이름 또는 닉네임을 표시할 수 있다. 대화창은 사용자 및 대화 상대방이 주고 받은 메시지(5, 6, 7, 8)를 디스플레이 할 수 있다. The user can touch or double tap the back button 20 to return to the previous menu. The user can touch or double tap the telephone connection button 30 to voice chat. The user name box 40 may display the name or nickname of the conversation partner. The user name box 40 may also display the name or nickname of the user of the electronic device 100. [ The dialog can display the messages (5, 6, 7, 8) exchanged between the user and the conversation partner.

전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The electronic device 100 can determine whether to extract keywords for each message through the natural language processor (1200 in FIG. 36). The electronic device 100 can determine the meaning of the message for each message and determine whether to extract the keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 기초로 키워드를 `pizza`로 추출할 수 있다.Also, the electronic device 100 can extract the keyword `pizza` through statistical analysis and semantic analysis. For example, the electronic device 100 can extract a keyword `pizza` based on 1) a conversation between users, 2) a location record of a user, 3) information previously input by a user, and 4) have.

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하여, 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)는 사용자간의 대화에 포함된 메시지의 의미를 확인하고, 메시지의 의미를 기초로 사용자에게 필요한 것을 예측 할 수 있다. 예를 들어, 전자기기(100)는 메시지의 의미를 `피자를 먹고 싶어한다`는 것으로 분석하고, 이러한 의미를 기초로 1) 사용자가 피자 레스토랑을 찾거나 2) 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이 필요한 상황이라고 예측하고, 키워드를 `pizza`로 추출할 수 있다.For example, the electronic device 100 can extract 1) a keyword `pizza` by analyzing the contents of a conversation between users in a natural language. The electronic device 100 can confirm the meaning of the message included in the dialog between the users and predict what the user needs based on the meaning of the message. For example, the electronic device 100 analyzes the meaning of the message as `wants to eat pizza`, and based on these meanings, 1) the user searches for a pizza restaurant or 2) the pizza shop near the current location It is predicted that it is necessary to find the number, and the keyword can be extracted as `pizza`.

또한, 예를 들어, 전자기기(100)는 대화내용에 대한 자연어(Natural Language) 분석 후, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. For example, after analyzing the natural language of the conversation contents, the electronic device 100 may search for a keyword by taking into consideration of 2) a location record of the user, 3) information input by the user in advance, and 4) Can be extracted as `pizza`.

예를 들어, 2) 사용자의 위치 기록은 사용자가 현재 위치한 장소를 지나간 빈도수, 사용자가 현재 위치한 장소를 지나간 횟수, 현재 위치한 장소에 머문 총 시간, 특정 시간 구간에서 사용자가 현재 위치한 장소에 머문 시간, 사용자가 최초로 현재 장소에 도착한 시간을 포함할 수 있다. For example, 2) the user's location history may include the frequency at which the user is currently located, the number of times past the location where the user is currently located, the total time spent at the current location, And may include the time at which the user first arrived at the current location.

예를 들어, 3) 사용자가 미리 입력한 정보는 사용자 주소, 사용자의 피자 식당 선호도, 사용자의 메뉴 선정 성향, 사용자의 예정된 스케쥴에 따른 장소를 포함할 수 있다.For example, 3) the information previously input by the user may include a user address, a user's preference for a pizza restaurant, a menu selection tendency of a user, and a place according to a user's scheduled schedule.

예를 들어, 4) 사용자에 대한 기록은 전자기기 및 서버에 기록된 사용자에 대한 기록을 의미할 수 있다. 또한, 사용자에 대한 기록은 사용자가 전자기기를 이용하면서 기록한 것과 앱 서비스를 이용하면서 서버에 기록한 것을 포함할 수 있다. 또한, 사용자에 대한 기록은 사용자가 직접 기록하지 않았지만, 전자기기나 서버를 이용하면서 간접적으로 기록된 내용을 포함할 수 있다.For example, 4) a record for a user may mean a record for a user recorded in an electronic device and a server. Also, the record for the user may include what the user recorded while using the electronic device and what was recorded on the server while using the app service. In addition, the record for the user may include contents indirectly recorded while using the electronic device or the server, although the user does not directly record the record.

도 4a 내지 도 4c를 참조하면, 전자기기(100)는 도 4와 같이, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 메시지에 포함된 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다. 4A to 4C, the electronic device 100 continuously monitors the conversation contents of the user and displays a separate indication or mark on the keyword included in the message, can do.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 도 4a 과 같이 하이라이트 표시를 하거나, 도 4b와 같이 밑줄 표시를 하거나, 도 4c와 같이 키워드가 포함된 말풍선을 다른 색상으로 표시할 수 있다. For example, the electronic device 100 may display a highlighted word as shown in FIG. 4A, an underlined mark as shown in FIG. 4B, or a speech balloon containing a keyword as shown in FIG. 4C in a different color can do.

전자기기(100)는 환경설정을 통하여 사용자가 키워드에 대하여 별도의 인디케이션(indication) 또는 표시(mark)의 지속시간을 조절할 수 있도록 할 수 있다(도 31e 참조).The electronic device 100 may enable the user to adjust the duration of a separate indication or mark for the keyword through configuration (see FIG. 31E).

도시되지 않았지만, 전자기기(100)는 다른 다양한 방법을 통하여 키워드에 대해서 메시지의 다른 구분과 구별되도록 인디케이션(indication) 또는 표시(mark)를 할 수 있다.Although not shown, the electronic device 100 may provide an indication or mark to distinguish the keyword from other segments of the message through a variety of different methods.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 다른 글씨체로 표시를 하거나, 박스 표시를 할 수 있다. For example, the electronic device 100 can display a character in a different font or display a box on a keyword included in a message.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 하이퍼링크(Hyperlink)를 사용하여 표시할 수 있다. For example, the electronic device 100 can display a keyword included in the message using a hyperlink.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 깜박임을 사용하여 표시할 수 있다. For example, the electronic device 100 can display, using the flicker, the keywords included in the message.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 아바타를 사용하여 표시할 수 있다. For example, the electronic device 100 can display an avatar for the keyword included in the message.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 말풍선을 사용하여 표시할 수 있다. For example, the electronic device 100 can display a keyword included in the message using a speech balloon.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 윗첨자 또는 아래첨자를 사용하여 표시할 수 있다. For example, the electronic device 100 can display the keywords included in the message using superscripts or subscripts.

예를 들어, 전자기기(100)는 메시지에 포함된 키워드에 대해서, 다른 메시지 부분과 다른 색깔을 사용하여 표시할 수 있다. For example, the electronic device 100 may display a keyword included in the message using a different color from the other message portions.

도 5을 참조하면, 전자기기(100)는 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 다양한 수단을 통하여 입력할 수 있다. 전자기기(100)는 정보 제공 요청 입력을 수신할 수 있다. Referring to FIG. 5, the electronic device 100 may receive an input of a user corresponding to an indication or indication requesting input. The user can input through various means. The electronic device 100 may receive an information providing request input.

정보 제공 요청 입력이라는 것은 사용자가 전자기기에 정보의 제공을 요청하기 위하여 입력하는 것을 의미할 수 있다. 예를 들어, 사용자는 정보의 제공을 요청하기 위하여 각종 입력 방법(예를 들어, 터치, 클릭, 더블 클릭)을 통하여 입력을 할 수 있다. 또한, 사용자는 정보의 제공을 요청하기 위하여 음성 또는 문자로 구성된 특정 명령어를 입력할 수 있다. The information providing request input may mean that the user inputs to request the provision of information to the electronic device. For example, a user can input information through various input methods (e.g., touch, click, double-click) in order to request the provision of information. In addition, the user can input a specific command composed of voice or characters to request the provision of information.

예를 들어, 전자기기(100)는 사용자의 음성을 마이크 또는 음성 인식 모듈을 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 클릭을 마우스, 터치 패널 또는 터치 패드를 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 터치을 터치 패널 또는 터치 패드를 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 사용자의 미리 정해진 특정 제스처을 센싱 카메라를 통하여 수신하여 키워드를 선택할 수 있다. 예를 들어, 전자기기(100)는 가상 키보드, 가상 터치 스크린을 통하여 키워드를 선택할 수 있다.For example, the electronic device 100 can receive a voice of a user through a microphone or a voice recognition module to select a keyword. For example, the electronic device 100 may receive a user's click through a mouse, a touch panel, or a touch pad to select a keyword. For example, the electronic device 100 can select a keyword by receiving a user's touch on the touch panel or the touch pad. For example, the electronic device 100 can receive a predetermined gesture of a user through a sensing camera to select a keyword. For example, the electronic device 100 can select a keyword through a virtual keyboard or a virtual touch screen.

도 6a 내지 도 6c를 참조하면, 전자기기(100)는 키워드와 관련된 검색어를 제공할 수 있다. Referring to FIGS. 6A to 6C, the electronic device 100 may provide a search term related to a keyword.

도 6a는 메인 박스에는 키워드(예를 들어, `pizza`)를 디스플레이하고, 그 하단의 후보 목록 창에는 후보 검색어를 디스플레이하는 화면이다. 예를 들어, 키워드 `pizza`에 대한 후보 검색어는, `Good Day Pizza`, `Good Day Pizza number`, ` Good Day Pizza Location`, `Good Day Pizza Menu`일 수 있다. FIG. 6A is a screen for displaying a keyword (for example, `pizza`) in the main box and displaying a candidate search word in the candidate list window at the lower end thereof. For example, the candidate searches for the keyword `pizza` may be` Good Day Pizza`, `Good Day Pizza number`,` Good Day Pizza Location`, or `Good Day Pizza Menu`.

전자기기(100)는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 후보 검색어를 생성할 수 있다. 전자기기(100)는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 후보 검색어를 도시된 바와 같이, `Good Day Pizza`, `Good Day Pizza number`, ` Good Day Pizza Location`, `Good Day Pizza Menu`로 생성할 수 있다.The electronic device 100 can generate a candidate search word through statistical analysis and semantic analysis based on the extracted keywords. The electronic device 100 may search the candidate search word based on at least one of 1) content of conversation between users, 2) location record of the user, 3) information previously input by the user, and 4) `Good Day Pizza`,` Good Day Pizza number`, `Good Day Pizza Location`, and` Good Day Pizza Menu`.

전자기기(100)는 1) 사용자 간의 대화 내용을 통하여 후보 검색어를 추가할 수 있다. The electronic device 100 may 1) add a candidate search word through conversation between users.

예를 들어, 전자기기(100)는 사용자 간의 대화 내용을 모니터링 하면서 계속적으로 자연어 처리를 하여 의미를 파악 할 수 있다. 사용자 간의 대화 내용상에 `pizza`가 주요 토픽으로 사용되고 있고, 사용자 간의 대화 내용상에 사용자가 `pizza`를 주문하려고 한다는 것이 확인되었다면, 전자기기(100)는 사용자가 필요한 것이 피자 레스토랑의 전화번호라고 예측을 할 수 있다. 또한, 사용자 간의 대화 내용 상에 `good day pizza`라는 단어가 사용되었다면, 전자기기(100)는 최종적으로 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다. For example, the electronic device 100 can recognize the meaning by continuously processing natural language while monitoring the contents of conversation between users. If it is confirmed that `pizza` is used as a main topic on the conversation between the users and the user intends to order` pizza` on the conversation contents between the users, the electronic device 100 predicts that the user needs the telephone number of the pizza restaurant can do. Also, if the word `good day pizza` is used in the conversation between the users, the electronic device 100 may finally add` Good Day Pizza number` to the candidate word.

예를 들어, 사용자 간의 대화 내용상에 `pizza`가 주요 토픽으로 사용되고 있고, 사용자 간의 대화 내용상에 사용자가 `good day pizza`를 주문하려고 한다는 것이 확인되었고, 전자기기(100)는 사용자가 필요한 것이 피자 레스토랑에 대한 것이라고 예측을 할 수 있다. 또한, 사용자 간의 대화 내용 상에 어떤 종류의 피자를 먹을 것인지에 대한 내용이 포함되어 있다면, 전자기기(100)는 최종적으로 검색어 후보에 `Good Day Pizza Menu`를 추가할 수 있다. For example, it has been confirmed that `pizza` is being used as a main topic in the conversation between users, and that the user intends to order` good day pizza` on the conversation between the users, and the electronic device (100) It can be predicted that it is about restaurants. Also, if the content of the conversation between the users includes what kind of pizza to eat, the electronic device 100 may finally add a `Good Day Pizza Menu` to the candidate word.

전자기기(100)는 2) 사용자의 위치 기록을 통하여 후보 검색어를 추가할 수 있다. The electronic device 100 may add the candidate search word through the location record of the user 2).

예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것 또는 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 기록 중 결재 내역 수신 메시지에서, 사용자가 `Good Day Pizza`에서 결재한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza`를 추가할 수 있다. For example, the electronic device 100 determines that the user needs to find a pizza restaurant near the current location or a phone number of a pizza shop near the current location. In the user's past payment record receiving message, If the user records frequent records in `Good Day Pizza`, the electronic device 100 may add` Good Day Pizza` to the search term candidates.

예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 레스토랑을 찾는 것이라고 확인하였고, 사용자 위치의 누적 기록에 사용자가 `Good Day Pizza`를 방문한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza Location`이라고 추가할 수 있다. For example, if the electronic device 100 determines that the user needs to find a pizza restaurant near the current location, and if the user has frequently visited `Good Day Pizza` in the cumulative recording of the user location, the electronic device 100 ) Can add `Good Day Pizza Location` to the search term candidate.

예를 들어, 전자기기(100)가 사용자에게 필요한 것이 현재 위치 인근의 피자 가게의 전화번호를 찾는 것이라고 확인하였고, 사용자의 과거 통화 기록에 사용자가 `Good Day Pizza`로 전화를 한 기록이 빈번하다면, 전자기기(100)는 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다. For example, if the electronic device 100 determines that the user needs to find the phone number of the pizza shop near the current location, and if the user has frequently called `Good Day Pizza` in the past call record , The electronic device 100 may add a `Good Day Pizza number` to the search term candidate.

전자기기(100)는 3) 사용자가 미리 입력한 정보을 분석하여 검색어를 추가할 수 있다. 3) The electronic device 100 can analyze the information input by the user in advance and add the search word.

예를 들어, 전자기기는 사용자가 미리 입력된 정보를 검색하여 `good day pizza`가 사용자의 가장 선호하는 피자 레스토랑이라는 사실을 확인할 수 있다. For example, an electronic device may search for pre-entered information to confirm that `good day pizza` is the user's favorite pizza restaurant.

사용자는 전자기기에 `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자가 전자기기에 `good day pizza`에 대한 간접적인 정보를 다수 기록하였다면, 전자기기는 사용자가 가장 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있다. 전자기기는 원하는 정보에 대해서 직접적인 기록이 없는 경우, 전자기기(100)는 통계적이고 확률적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인하고, 전자기기(100)는 검색어 후보에 `Good Day Pizza number`를 추가할 수 있다. The user can directly record `good day pizza` as the most preferred pizza restaurant in electronic devices. Also, if the user has recorded a number of indirect information about `good day pizza` on the electronic device, the electronic device can determine that the user's favorite pizza restaurant is` good day pizza`. If the electronic device does not directly record desired information, the electronic device 100 determines that `good day pizza` is the most preferred pizza restaurant through a statistical and probabilistic method, You can add `Good Day Pizza number` to the candidate.

전자기기(100)는 앱(App) 서비스를 통하여 서버에 입력된 정보에서 `good day pizza`가 사용자의 가장 선호하는 피자 레스토랑으로 판단할 수 있다. 사용자는 서버의 데이터 베이스에 앱(App) 서비스를 통하여, `good day pizza`를 가장 선호하는 피자 레스토랑이라고 직접적으로 기록할 수 있다. 또한, 사용자가 서버의 데이터 베이스에 앱(App) 서비스를 통하여, `good day pizza`에 대한 정보를 다수 기록하였다면, 전자기기는 사용자가 가장 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있다. 전자기기는 원하는 정보에 대해서 직접적인 기록이 서버에 기록되어 있지 않은 경우, 전자기기(100)는 통계적인 방법을 통하여 `good day pizza`를 사용자가 가장 선호하는 피자 레스토랑이라고 확인하고, 전자기기(100)는 `Good Day Pizza number`를 검색어 후보에 추가할 수 있다. The electronic device 100 can determine that `good day pizza` is the most preferred pizza restaurant in the information input from the server through the app service. Users can directly record `good day pizza` as the most preferred pizza restaurant through the app service on the server's database. Also, if the user records a lot of information about `good day pizza` through the app service in the database of the server, the electronic device can judge that the user's favorite pizza restaurant is` good day pizza` have. If the electronic device 100 does not record a direct record of desired information in the server, the electronic device 100 confirms that the `good day pizza` is the most preferred pizza restaurant through a statistical method, and the electronic device 100 ) Can add `Good Day Pizza number` to the search term candidates.

전자기기(100)는 4) 사용자에 대한 기록을 기초로 검색어를 추가할 수 있다. 전자기기(100)는 과거 사용자가 결재 이력을 검토하고, 사용자가 `good day pizza`에서 결재한 이력이 다수 검토되는 경우, 사용자가 선호하는 피자 레스토랑이 `good day pizza`라고 판단할 수 있고, 사용자의 검색 이력을 검토하고, 사용자가 `good day pizza`에 대한 메뉴를 다수 서치 하였다면, `Good Day Pizza Menu`를 검색어 후보에 추가할 수 있다. The electronic device 100 may add a search term based on the record for the user 4). The electronic device 100 can review the past record of the past user and judge that the user's preferred pizza restaurant is a `good day pizza` when a user confirms a lot of history of` good day pizza`, You can review your search history and add `Good Day Pizza Menu` to the search term candidates if you have searched many` good day pizza` menus.

도 6b는 입력 박스에 기본값으로 키워드(예를 들어, `pizza`)와 동일한 검색어로 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2a 내지 도 2c 에서 설명한 다양한 방법을 통하여 결정될 수 있다. 전자기기(100)는 예를 들어, 키워드와 동일한 검색어를 생성할 수 있고, 검색어는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. FIG. 6B is a diagram showing a user interface to be displayed in the input box with the same search word as the default keyword (for example, `pizza`). The keywords can be determined through various methods described in Figs. 2A to 2C. The electronic device 100 can generate the same search term as the keyword, for example, and the search term can be edited through the input interface provided in the electronic device 100. [

도 6c는 입력 박스에 기본값으로 검색어(예를 들어, `good day pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다.6C is a diagram showing a user interface for displaying a search term (e.g., `good day pizza`) as a default in an input box.

검색어는 도 2a 내지 도 2c 에서 설명한 다양한 방법을 통하여 결정될 수 있다. 예를 들어, 검색어는 도 2c에서 설명한 바와 같이, 키워드와 위치정보를 기초로 생성될 수 있다. 예를 들어, 키워드가 `pizza`라고 할 때, 메시지 상에 `good day pizza`라는 어구가 다수 나온다면, 전자기기는 검색어를 `good day pizza`라고 생성할 수 있다. The search term can be determined through various methods described in Figs. 2A to 2C. For example, the search term may be generated based on the keyword and the location information, as described in FIG. 2C. For example, if the keyword is `pizza` and there are many` good day pizza` phrases on the message, the electronic device can generate the query `good day pizza`.

키워드는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 예를 들어, 사용자는 `good day pizza`라는 검색어를 편집하여, `good day pizza location`, `good day pizza number`,`good day pizza menu`등 으로 편집할 수 있다. 전자기기(100)는 사용자가 편집한 검색어를 기초로 정보를 획득할 수 있다. The keyword may be edited through the input interface provided in the electronic device 100. [ For example, you can edit the search term `good day pizza` to edit` good day pizza location`, `good day pizza number`, or` good day pizza menu`. The electronic device 100 can acquire information based on a search word edited by the user.

도 7을 참조하면, 전자기기(100)는 화면전환을 통하여 검색된 결과를 제공할 수 있다. 또한, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. 전자기기(100)는 메시징 서비스로 화면 복귀하는 유저 이름 박스(user name box, 4)fmf 제공할 수 있다. 또는, 전자기기(100)는 메시징 서비스로 화면 복귀하는 백 버튼(back button, 2)을 제공할 수 있다. Referring to FIG. 7, the electronic device 100 can provide a search result through screen switching. In addition, the electronic device 100 can provide the retrieved result through various methods described with reference to Figs. 22 to 29. The electronic device 100 may provide a user name box (fmf) 4 for returning to the screen as a messaging service. Alternatively, the electronic device 100 may provide a back button 2 for returning to the screen as a messaging service.

[시나리오 2 : 음성 채팅 서비스([Scenario 2: Voice chat service ( VoiceVoice ChattingChatting ServiceService )])]

도 8 내지 도 10는 음성 채팅 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 본 명세서에서 음성 채팅(voice chatting service)은 보이스 콜(voice call service)를 의미할 수 있다. 8 to 10 are diagrams for explaining a specific user interface environment provided in communication through a voice chat service. In this specification, a voice chatting service may mean a voice call service.

도 8를 참조하면, 전자기기(100)는 도 3와 같이, 사용자간에 음성 채팅 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 8, the electronic device 100 may display communication contents through a voice chat service between users as shown in FIG.

전자기기(100)의 사용자는 음성 채팅을 통하여, 상대방과 대화를 주고 받고 있다. 사용자 와 상대방의 대화 중에, 사용자는 `I want to eat pizza`라는 내용의 음성 메시지를 전달한다. 사용자의 음성 메시지는 STT(Speech to Text) 모듈을 통하여 텍스트로 변환되어 스크린에 디스플레이 될 수 있다.The user of the electronic device 100 communicates with the other party through voice chat. During the conversation between the user and the other party, the user delivers a voice message of `I want to eat pizza`. The user's voice message can be converted into text through the STT (Speech to Text) module and displayed on the screen.

전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 STT(Speech to Text) 모듈을 통하여 텍스트로 변환된 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The electronic device 100 can determine whether or not to extract a keyword for each message converted to text through a Speech to Text (STT) module through a natural language processor (1200 in FIG. 36). The electronic device 100 can determine the meaning of the message for each message and determine whether to extract the keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `pizza`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다. Also, the electronic device 100 can extract the keyword `pizza` through statistical analysis and semantic analysis. The method by which the electronic device 100 extracts the keyword may include the method described in Fig.

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `pizza`로 추출할 수 있다. For example, the electronic device 100 analyzes 1) the contents of a conversation between users in a natural language, 2) records the location of the user, 3) information previously input by the user, 4) You can extract keywords as `pizza`.

또한, 전자기기(100)는 도 4와 유사하게, 사용자의 대화 내용을 계속적으로 모니터링 하면서, 키워드를 추출할 메시지에 포함된 키워드에 대하여 도 4에서 설명한 것과 유사하게, 별도의 인디케이션(indication) 또는 표시(mark)를 할 수 있다. Similarly to FIG. 4, the electronic device 100 continuously monitors the conversation contents of the user and generates a separate indication, similar to that described in FIG. 4, for keywords included in a message for extracting a keyword. Or a mark can be displayed.

또한, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. In addition, the electronic device 100 may receive an input of a user corresponding to an indication or indication requesting input, similar to Fig. The user can input through various means described in Fig.

도 9a 및 도 9b를 참조하면, 전자기기(100)는 키워드와 관련된 검색어를 제공할 수 있다. Referring to Figures 9A and 9B, the electronic device 100 may provide a search term related to a keyword.

도 9a는 입력 박스에 기본값으로 키워드(예를 들어, `pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2의 단계(S110)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 전자기기(100)는 예를 들어, 키워드와 동일한 검색어를 생성할 수 있고, 검색어는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. FIG. 9A is a diagram showing a user interface displaying a keyword (for example, `pizza`) as a default in an input box. The keyword may be determined through various methods described in step S110 of FIG. The electronic device 100 can generate the same search term as the keyword, for example, and the search term can be edited through the input interface provided in the electronic device 100. [

도 9b는 입력 박스에 기본값으로 검색어(예를 들어, `good day pizza`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 검색어는 도 2의 단계(S130)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 키워드는 전자기기(100)에서 제공하는 입력 인터페이스를 통하여 편집될 수 있다. 또한, 전자기기(100)는 도 9a 및 도 9b의 방법 이외에, 도 6a와 같이 후보 검색어를 제시할 수 있다. FIG. 9B is a diagram showing a user interface for displaying a search term (for example, `good day pizza`) as a default in an input box. The search terms may be determined through various methods described in step S130 of FIG. The keyword may be edited through the input interface provided in the electronic device 100. [ In addition to the methods of FIGS. 9A and 9B, the electronic device 100 can also provide a candidate search word as shown in FIG. 6A.

도 10을 참조하면, 전자기기(100)는 화면분할을 통하여 검색된 결과를 제공할 수 있다. 전자기기(100)는 상단에 채팅 앱 화면(20)을 디스플레이하고, 하단에 서치 엔진 서비스 화면(30)을 디스플레이 할 수 있다. 또한, 사용자는 상단에 채팅 앱 화면(20)을 클릭하여, 채팅 앱 화면(20)으로 복귀할 수 있다. Referring to FIG. 10, the electronic device 100 can provide a search result through screen division. The electronic device 100 can display the chat application screen 20 at the upper portion and display the search engine service screen 30 at the lower portion. Also, the user can return to the chat application screen 20 by clicking the chat application screen 20 at the top.

또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. Further, in addition to the shown, the electronic device 100 can provide the retrieved result through various methods described with reference to Figs. 22 to 29. Fig.

[시나리오 3 : [Scenario 3: 메일링Mailing 서비스( service( MailingMailing ServiceService ) ])]

도 11 내지 도 15은 메일링 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 11 to 15 are diagrams for explaining a specific user interface environment provided in communication through the mailing service.

도 11를 참조하면, 전자기기(100)는 도 11와 같이, 사용자간에 메일링 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 11, the electronic device 100 can display communication contents through a mailing service among users as shown in FIG.

전자기기(100)의 사용자는 e-mail을 통하여, 상대방과 커뮤니케이션을 하고 있다. 사용자의 수신 메일 내용 중, 약속 시간 및 장소에 대한 코멘트가 포함되어 있다. The user of the electronic device 100 communicates with the other party via e-mail. The contents of the received mail of the user include a comment on the appointment time and place.

전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 문장 별로 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The electronic device 100 can determine whether or not to extract a keyword for each message through a natural language processor (1200 in FIG. 36). The electronic device 100 can determine the meaning of the message for each message and determine whether to extract the keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `AAA`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다. Also, the electronic device 100 can extract a keyword by `AAA` through statistical analysis and semantic analysis. The method by which the electronic device 100 extracts the keyword may include the method described in Fig.

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `샤브미`로 추출할 수 있다. For example, the electronic device 100 analyzes 1) the contents of a conversation between users in a natural language, 2) records the location of the user, 3) information previously input by the user, 4) You can extract keywords as `shabu mi`.

도 12을 참조하면, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. Referring to FIG. 12, the electronic device 100 may receive an input of a user corresponding to an indication or indication requesting input, similar to FIG. The user can input through various means described in Fig.

도 13를 참조하면, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드의 카테고리를 확인하고 키워드가 장소와 관련된 단어인 경우, 카테고리를 장소라고 파악하고, 지도와 관련된 앱(App) 목록을 제공할 수 있다. Referring to FIG. 13, the electronic device 100 may provide a list of apps related to keywords. For example, the electronic device 100 may identify a category of a keyword and, if the keyword is a word related to the place, identify the category as a place and provide a list of apps (apps) related to the map.

본 발명의 다른 실시예에서, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공하지 않고, 미리 지정된 앱을 통하여 정보를 획득할 수 있다. In another embodiment of the present invention, the electronic device 100 can acquire information through a predetermined application without providing a list of apps related to the keyword.

도 14은 입력 박스에 기본값으로 키워드(예를 들어, `샤브미`)를 디스플레이하는 유저 인터페이스를 도시하는 도면이다. 키워드는 도 2a의 단계(S110)에서 설명한 다양한 방법을 통하여 결정될 수 있다. 예를 들어, 전자기기(100)는 키워드와 동일한 검색어를 생성할 수 있다. 검색어는 도 2a의 단계(S130)에서 설명한 다양한 방법을 통하여 결정될 수 있다.14 is a diagram showing a user interface for displaying a keyword (for example, `Shabu Mei`) as a default in an input box. The keyword may be determined through various methods described in step S110 of FIG. 2A. For example, the electronic device 100 may generate the same search term as the keyword. The search terms may be determined through various methods described in step S130 of FIG. 2A.

검색어는 입력 인터페이스를 통하여 편집될 수 있다. 예를 들어, 전자기기(100)는 키워드를 `샤브미`로 추출할 수 있고, 검색어를 이와 동일하게 `샤브미`로 생성할 수 있다. 사용자는 입력 인터페이스를 통해서 검색어를 `샤브미 도곡점`이라고 편집할 수 있다. 또한 검색어를 `샤브미 음식점`으로 자동 생성할 수도 있다. 전자기기(100)는 앱 서비스를 통하여 `샤브미 도곡점`의 위치에 대한 정보를 획득할 수 있다. The search term can be edited through the input interface. For example, the electronic device 100 can extract a keyword as `shabu mei 'and generate a search word as` shabu mei' in the same way. The user can edit the search term through `` shab ' It is also possible to automatically create a search term as `shabu miso restaurant`. The electronic device 100 can acquire information about the location of the `Shabu-de-da-chi` through the app service.

도 15을 참조하면, 전자기기(100)는 화면분할을 통하여 검색된 결과를 제공할 수 있다. 또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. Referring to FIG. 15, the electronic device 100 may provide the retrieved result through screen division. Further, in addition to the shown, the electronic device 100 can provide the retrieved result through various methods described with reference to Figs. 22 to 29. Fig.

[시나리오 4 : [Scenario 4: 소셜Social 네트워크 서비스( Network services ( SocialSocial NetworkNetwork ServiceService )])]

도 16 내지 도 19은 소셜 네트워크 서비스를 통한 커뮤니케이션에 있어서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 16 to 19 are diagrams for explaining a specific user interface environment provided in communication through a social network service.

도 16를 참조하면, 전자기기(100)는 도 16와 같이, 소셜 네트워크 서비스를 통한 커뮤니케이션 내용을 디스플레이 할 수 있다. Referring to FIG. 16, the electronic device 100 can display communication contents through a social network service as shown in FIG.

전자기기(100)의 사용자는 소셜 네트워크 서비스을 통하여, 상대방의 메모 내용을 디스플레이 하고 있다. 사용자의 메모 내용 중, 키워드는 `batman`, `Sumin`, `L.A`로 추출될 수 있다. 전자기기(100)는 자연어 처리기(도 36의 1200)를 통하여 문장 별로 각각의 메시지에 대해서 키워드를 추출할지 여부를 판단할 수 있다. 전자기기(100)는 각각의 메시지 마다 메시지의 의미를 파악하고, 키워드를 추출할지 여부를 판단할 수 있다.The user of the electronic device 100 displays the memo contents of the other party via the social network service. Among the contents of the user's memo, keywords can be extracted as `batman`,` Sumin`, and `L.A`. The electronic device 100 can determine whether or not to extract a keyword for each message through a natural language processor (1200 in FIG. 36). The electronic device 100 can determine the meaning of the message for each message and determine whether to extract the keyword.

또한, 전자기기(100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드를 `batman`, `Sumin`, `L.A`로 추출할 수 있다. 전자기기(100)가 키워드를 추출하는 방법은 도 3에서 설명한 방법을 포함할 수 있다. Also, the electronic device 100 can extract keywords `batman`,` Sumin`, and `L.A` through statistical analysis and semantic analysis. The method by which the electronic device 100 extracts the keyword may include the method described in Fig.

예를 들어, 전자기기(100)는 1) 사용자간의 대화 내용을 자연어(Natural Language) 분석하고, 2) 사용자의 위치 기록, 3) 사용자가 미리 입력한 정보 4) 사용자에 대한 기록을 추가적으로 고려하여 키워드를 `batman`, `Sumin`, `L.A`로 추출할 수 있다.For example, the electronic device 100 analyzes 1) the contents of a conversation between users in a natural language, 2) records the location of the user, 3) information previously input by the user, 4) You can extract keywords as `batman`,` Sumin`, or `LA`.

도 17을 참조하면, 전자기기(100)는 도 5와 유사하게, 입력을 요청하는 인디케이션 또는 표시에 대응하는 사용자의 입력을 수신할 수 있다. 사용자는 도 5에서 설명한 다양한 수단을 통하여 입력할 수 있다. 사용자는 복수의 키워드 중에서 검색어를 선택 할 수 있다. 사용자가 `batman`을 키워드로 선택한 경우, 전자기기(100)는 앱 서비스를 통하여 `batman`에 대한 정보를 획득할 수 있다. Referring to FIG. 17, the electronic device 100, similar to FIG. 5, may receive an input of a user corresponding to an indication or indication requesting input. The user can input through various means described in Fig. The user can select a search word from among a plurality of keywords. If the user selects `batman` as the keyword, the electronic device 100 can obtain information about` batman` through the app service.

도 18를 참조하면, 전자기기(100)는 키워드와 관련된 앱(App) 목록을 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드의 카테고리를 확인하고 키워드가 영화와 관련된 단어인 경우, 카테고리를 영화라고 파악하고, 영화와 관련된 앱(App) 목록을 제공할 수 있다. Referring to FIG. 18, the electronic device 100 may provide a list of apps related to keywords. For example, the electronic device 100 may identify a category of a keyword and, if the keyword is a word related to the movie, identify the category as a movie and provide a list of apps related to the movie.

도 19을 참조하면, 전자기기(100)는 화면전환을 통하여 검색된 결과를 제공할 수 있다. 또한, 도시된바 이외에, 전자기기(100)는 도 22 내지 도 29을 통하여 설명한 다양한 방법을 통하여 검색된 결과를 제공할 수 있다. Referring to FIG. 19, the electronic device 100 can provide a search result through screen switching. Further, in addition to the shown, the electronic device 100 can provide the retrieved result through various methods described with reference to Figs. 22 to 29. Fig.

[시나리오 5 : 스케쥴러([Scenario 5: Scheduler SchedulerScheduler )])]

도 20은 스케쥴러 서비스를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 20 is a diagram for explaining a specific user interface environment provided while using the scheduler service.

도 20를 참조하면, 전자기기(100)는 테블릿 PC일 수 있다. 전자기기(100)는 스케쥴러 앱(App) 서비스를 사용자에게 제공할 수 있다. 사용자는 스케쥴러 앱(App)을 통해서 자신의 시간 일정을 관리할 수 있다. Referring to FIG. 20, the electronic device 100 may be a tablet PC. The electronic device 100 may provide a scheduler app service to the user. Users can manage their time schedule through a scheduler app (App).

예를 들어, 사용자가 24일에 도시된 바와 같은 일정을 가지고 있다고 가정한다. 도시된 바와 같이, 사용자는 `Kaur`와 만나서 경복궁(Kyung Bok Palace)를 관광하고, `Kaur`와 저녁도 함께 하기로 했다고 가정한다. For example, assume that the user has a schedule as shown on day 24. As shown, the user is supposed to meet `Kaur`, to visit Kyung Bok Palace, and to have an evening with` Kaur`.

전자기기(100)는 사용자의 통화 내역에서 사용자가 경복궁 근처에 레스토랑과 연락을 한적이 없다는 것을 파악하고, 사용자의 인터넷 검색 기록에서 사용자가 경복궁 근처에 레스토랑에 대해서 검색한 적이 없다는 것을 파악 할 수 있다. 또한, 전자기기(100)는 사용자가 경복궁 근처는 초행길이라는 것을 전자기기에 포함된 GPS 모듈을 통해서 확인할 수 있다. 이러한 경우, 전자기기(100)는 스케쥴러에 기록된 `Kyung Bok` 또는 `Kyung Bok`의 한글 표현인 `경복궁`을 키워드로 추출하고, `경복궁 근처 맛집`을 검색어로 자동 생성하여, 스케줄러에 기록된 `Kyung Bok`에 하이라이트 인디케이션(indication) 또는 마크(mark)를 제공할 수 있다. The electronic device 100 can grasp that the user has not contacted the restaurant near Gyeongbok Palace in the call history of the user and can grasp that the user has never searched the restaurant near Gyeongbok Palace from the Internet search history of the user. In addition, the electronic device 100 can confirm that the user is a start route near Gyeongbokgung through a GPS module included in the electronic device. In this case, the electronic device 100 extracts `Kyungbok Palace` as a Korean expression of` Kyung Bok` or `Kyung Bok` recorded in the scheduler, automatically generates a restaurant` near Kyungbok Palace` as a query word, The user may provide a highlight indication or mark to the `Kyung Bok`.

유저가 하이라이트된 `Kyung Bok` 텍스트를 선택하면 생성된 `경복궁 근처 맛집`을 검색 서비스에 제공하고 관심 정보를 실시간 획득하여 제공 할 수 있다. 또한, 자동 생성된 `경복궁 근처 맛집`을 미리 검색하여 획득된 관심정보를 디바이스에 저장해두고 유저가 원할 때 언제든지 관심 정보를 제공받을 수 도 있다.When the user selects the highlighted `Kyung Bok` text,` Kyungbok Palace Nearby Restaurants` can be provided to the search service and the interest information can be obtained and provided in real time. In addition, it is possible to retrieve interest information obtained by automatically searching `Gyobok restaurant near Gyeongbokgung`, which is automatically generated, in the device, and to receive interest information whenever the user desires.

[시나리오 6 : 문서 편집기([Scenario 6: Text Editor WordWord ProcessorProcessor )])]

도 21은 문서 편집기 앱(App)를 사용하면서, 제공되는 구체적인 유저인터페이스 환경을 설명하기 위한 도면이다. 21 is a diagram for explaining a specific user interface environment provided using a text editor application (App).

도 21를 참조하면, 전자기기(100)는 랩탑 컴퓨터일 수 있다. 전자기기(100)는 문서 편집기 앱(App) 서비스를 사용자에게 제공할 수 있다. 사용자는 문서 편집기 앱(App)을 통해서 문서를 작성하고 편집할 수 있다. Referring to FIG. 21, the electronic device 100 may be a laptop computer. The electronic device 100 may provide a text editor App service to the user. Users can create and edit documents through the document editor application (App).

예를 들어, 사용자가 뉴스 기사(Article)을 편집할 수 있다. 전자기기(100)는 사용자의 정보를 파악하여 사용자의 영어 단어 수준을 파악하고, 사용자에게 어려운 단어를 인디케이션(indication) 또는 마크(mark)할 수 있다. For example, a user can edit a news article. The electronic device 100 can grasp the user's information and grasp the level of the user's English word and can display an indication or mark of a difficult word to the user.

도 22 내지 도 27은 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.22 to 27 are diagrams showing a method of providing information acquired by the electronic device 100 to a user through an output interface.

전자기기(100)는 표 4에서 설명하는 바와 같은 다양한 방식을 통하여 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공할 수 있다. The electronic device 100 can provide information obtained through various methods as described in Table 4 to a user through an output interface.

도 22a 내지 도 22i는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC 이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.22A to 22I are diagrams showing a case where the electronic device 100 is a smart phone or a tablet PC and a user is text chatting via a smart phone or a tablet PC, (100) provides the acquired information to the user through an output interface.

도 22a는 사용자간에 전자기기(100, 105)를 통하여 텍스트 채팅을 하고 있는 상황을 도시하는 도면이다. 22A is a diagram showing a situation in which text chatting is performed between users via the electronic devices 100 and 105. FIG.

도 22a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기(105)의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. Referring to FIG. 22A, a first user of the electronic device 100 and a second user of the electronic device 105 exchange text messages through text chatting. During the conversation of the first user and the second user, the first user delivers a message `I want to eat pizza`.

대화창(7)을 참조하면, 대화 상대방인 Chris는 전자기기(100)의 사용자인 Hyunjin에게 `What do you want?`라고 2013년 8월 6일 8시 28분에 질문하였다. 대화창(8)을 참조하면, 전자기기(100)의 사용자인 Hyunjin은 대화 상대방인 Chris에게 `I want to eat pizza`라고 2013년 8월 6일 8시 30분에 대답하였다. 대화가 진행되고 있는 현재 시간은 2013년 8월 6일 8시 30분이다. Referring to the dialog window 7, the chatting partner Chris asked Hyunjin, a user of the electronic device 100, `What do you want?` At 8:28 on August 6, 2013. Referring to the dialog window 8, Hyunjin, a user of the electronic device 100, replies to the chatting partner Chris at 8:30 am on August 6, 2013, " I want to eat pizza ". The current time of the conversation is 8:30 am on August 6, 2013.

전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 22b 내지 도 22i와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. The electronic device 100 can extract keywords for a message requiring additional acquisition of information while monitoring the conversation and provide the search word to the first user. The first user may edit the provided search term. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device 100. [ The electronic device 100 can provide information to the first user through the output interface in the same manner as in Figs. 22B to 22I.

도 22b는 도 22a의 전자기기(100)가 획득한 정보를 화면 전환을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 22B is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 22A to a first user through screen switching.

도 22b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면에서, 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. 사용자는 소정의 입력을 통하여 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. 사용자는 상단에 위치한 유저 이름 박스(4)를 터치하거나 더블 탭하여, 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. As shown in FIG. 22B, the electronic device 100 can switch from the text chat interface screen that was displayed on the screen to a screen that displays the obtained information. For example, the electronic device 100 may close the text chat interface screen that was displayed on the screen and display an interface of the search engine that provided the obtained information and the obtained information. The user can return to the text chat interface screen through a predetermined input. The user can return to the text chat interface screen by touching or double tapping the user name box 4 located at the top.

도 22c는 도 22a의 전자기기(100)가 획득한 정보를 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 22C is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 22A to a first user through screen division.

도 22c에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지의 일부를, 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면의 일부를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. 사용자는 상단에 위치한 백 버튼(Back Button, 2)을 통하여 텍스트 채팅 인터페이스 화면으로 복귀할 수 있다. As shown in FIG. 22C, the electronic device 100 can convert a portion of the text chat interface image that was displayed on the screen to a screen that displays the obtained information. For example, the electronic device 100 may close a portion of the text chat interface screen that was displayed on the screen and display an interface of the search engine that provided the obtained information and the obtained information. The user can return to the text chat interface screen through the back button (2) located at the top.

도 22d는 도 22a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 22D is a diagram showing a manner of providing information obtained by the electronic device 100 of FIG. 22A to a first user through voice.

도 22d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성으로 `검색어를 `good day pizz`로 검색한 결과 A, B, C 입니다` 라고 스피커를 통하여 제공할 수 있다.As shown in FIG. 22D, the electronic device 100 can continuously display the text chat interface image that was displayed on the screen, and can provide the obtained information through voice. For example, the electronic device 100 continuously displays the chat interface image displayed on the screen, summarizes the obtained information, and searches for a `good day pizz` as a voice, Can be provided through a speaker.

전자기기(100)가 제공하는 언어의 종류는 한국어, 영어, 불어, 독일어, 스페인어, 일어, 중국어 등 다양한 언어로 제공될 수 있다. 예를 들어, 전자기기(100)가 제공하는 언어의 종류는 사용자가 환경설정을 통하여 설정한 언어일 수 있다. 예를 들어, 전자기기(100)가 제공하는 언어의 종류는 전자기기(100)에서 제공하는 언어일 수 있다.The language of the electronic device 100 may be provided in various languages such as Korean, English, French, German, Spanish, Japanese, and Chinese. For example, the type of the language provided by the electronic device 100 may be a language set by a user through an environment setting. For example, the type of the language provided by the electronic device 100 may be a language provided by the electronic device 100.

도 22e는 도 22a의 전자기기(100)가 획득한 정보를 음성과 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.22E is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 22A to a first user through voice and screen division.

도 22e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지의 일부를 획득된 정보를 디스플레이 하는 이미지로 전환하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 정보를 디스플레이 하는 이미지로 전환하고, 획득된 정보의 일부를 요약하여 음성으로 제공할지 여부를 사용자에게 물어볼 수 있다. 예를 들어, 전자기기(100)는 `검색어를 `good day pizza`로 검색한 결과를 이미지로 보시겠습니까?` 라고 사용자에게 물어볼 수 있다. As shown in FIG. 22E, the electronic device 100 may convert a portion of the text chat interface image that was displayed on the screen to an image that displays the obtained information, and provide the obtained information through voice. Also, for example, the electronic device 100 may convert a portion of the chat text interface image that was displayed on the screen to an image that displays the acquired information, You can ask. For example, the electronic device 100 may ask the user `Would you like to see the result of a search for` good day pizza` as an image? `.

도 22f는 도 22a의 전자기기(100)가 획득한 정보를 메시징 서비스를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 22F is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 22A to at least one user through a messaging service.

도 22f에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 메시징 서비스를 통하여 자신의 휴대폰 또는 타인의 휴대폰에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 텍스트 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 메시징 서비스를 통하여 특정 전화번호로 전송 할 수 있다.As shown in FIG. 22F, the electronic device 100 may continuously display the text chat interface image that was displayed on the screen, and may provide the acquired information to the cellular phone of the user or the cellular phone of the other user through the messaging service. Also, for example, the electronic device 100 may continuously display the text chat interface image that was displayed on the screen, display it on the screen so that the text chat can be continuously performed between the first user and the second user, It can be transmitted to a specific telephone number through messaging service.

도 22g는 도 22a의 전자기기(100)가 획득한 정보를 e-mail 서비스를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 22G is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 22A to at least one user through an e-mail service.

도 22g에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 e-mail 서비스를 통하여 자신의 e-mail 주소 또는 타인의 e-mail 주소에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 e-mail 서비스를 통하여 특정 e-mail 계정으로 전송 할 수 있다.As shown in FIG. 22G, the electronic device 100 continuously displays the text chat interface image displayed on the screen, and transmits the obtained information to an e-mail address of the user or e-mail of another person Address. Also, for example, the electronic device 100 may continuously display the text chat interface image that was displayed on the screen, display it on the screen so as to continuously chat between the first user and the second user, It can be transmitted to a specific e-mail account through -mail service.

도 22h는 도 22a의 전자기기(100)가 획득한 정보를 소셜 네트워크 서비스(Social Network Service)를 통하여 적어도 하나의 사용자에게 제공하는 방식을 도시하는 도면이다. 22H is a diagram illustrating a method of providing information acquired by the electronic device 100 of FIG. 22A to at least one user via a social network service.

도 22h에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 자신의 계정 또는 타인의 계정에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 특정 계정의 게시판으로 전송 할 수 있다.As shown in FIG. 22H, the electronic device 100 may continue to display the text chat interface image that was displayed on the screen, and may provide the acquired information to an account of the user or an account of another person through a social network service. In addition, for example, the electronic device 100 may continuously display the text chat interface image that was displayed on the screen, display it on the screen so that it can continuously chat between the first user and the second user, It can be transmitted to the bulletin board of a specific account through the network service.

도 22i는 도 22a의 전자기기(100)가 획득한 정보를 앱(App) 서비스를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 22I is a diagram illustrating a method of providing information acquired by the electronic device 100 of FIG. 22A to a first user through an app service.

도 22i에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 애플리케이션 서비스를 통하여 자신의 계정 또는 타인의 계정에 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하여 제1 사용자와 제2 사용자 간의 계속적으로 채팅을 할 수 있도록 스크린에 디스플레이하고, 획득된 정보를 소셜 네트워크 서비스를 통하여 특정 계정의 게시판으로 전송 할 수 있다.As shown in FIG. 22i, the electronic device 100 may continue to display the text chat interface image that was displayed on the screen, and may provide the acquired information to an account of the user or an account of another person through the application service. In addition, for example, the electronic device 100 may continuously display the text chat interface image that was displayed on the screen, display it on the screen so that it can continuously chat between the first user and the second user, It can be transmitted to the bulletin board of a specific account through the network service.

도 23a 내지 도 23e는 전자기기(100)가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC이고 사용자가 스마트폰(Smart Phone) 또는 태블릿(Tablet) PC를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.23A to 23E illustrate a case where the electronic device 100 is a smart phone or a tablet PC and a user is performing a voice chat through a Smart Phone or a Tablet PC, (100) provides the acquired information to the user through an output interface.

도 23a는 사용자간에 전자기기(100, 105)를 통하여 음성 채팅을 하고 있는 상황을 도시하는 도면이다.23A is a diagram showing a situation in which a user is performing a voice chat through the electronic devices 100 and 105. Fig.

도 23a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 음성 메시지를 전달한다. 제1 사용자의 음성 메시지는 STT(Speech to Text) 모듈을 통하여 텍스트로 변환되어 스크린에 디스플레이 될 수 있다.Referring to FIG. 23A, a first user of the electronic device 100 and a second user of the electronic device exchange a conversation through voice chat. During a conversation between the first user and the second user, the first user delivers a voice message with the message `I want to eat pizza`. The voice message of the first user can be converted into text through the STT (Speech to Text) module and displayed on the screen.

전자기기(100)는 대화를 지속적으로 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 4b 내지 도 4e와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.The electronic device 100 can continuously extract the keywords for a message requiring additional acquisition of information while continuously monitoring the conversation and provide the search word to the first user. The first user may edit the provided search term. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device 100. [ The electronic device 100 can provide information to the first user through the output interface in the same manner as in Figs. 4B to 4E.

도 23b는 도 23a의 전자기기(100)가 획득한 정보를 화면전환을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23B is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 23A to a first user through screen switching.

도 23b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 23B, the electronic device 100 can switch the voice chat interface screen displayed on the screen to a screen for displaying the obtained information. For example, the electronic device 100 may close the voice chat interface screen that was displayed on the screen and display an interface of the search engine that provided the obtained information and the obtained information.

도 23c는 도 23a의 전자기기(100)가 획득한 정보를 화면분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23C is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 23A to a first user through screen division.

도 23c에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 23C, the electronic device 100 can switch a part of the voice chat interface screen displayed on the screen to a screen for displaying the obtained information. For example, the electronic device 100 may close a portion of the voice chat interface screen that was displayed on the screen and display the search engine interface providing the obtained information and the obtained information.

도 23d는 도 23a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 23D is a diagram showing a manner of providing information obtained by the electronic device 100 of FIG. 23A to a first user through voice.

도 23d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 23D, the electronic device 100 can continuously display the voice chat interface screen that was displayed on the screen, and can provide the obtained information through voice. For example, the electronic device 100 can continuously display the voice chat interface screen that was displayed on the screen, and can summarize the obtained information and provide it via voice.

도 23e는 도 23a의 전자기기(100)가 획득한 정보를 음성과 화면 분할을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 23E is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 23A to a first user through voice and screen division.

도 23e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면의 일부를 획득된 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 23E, the electronic device 100 can convert a portion of the voice chat interface screen that has been displayed on the screen to a screen for displaying the obtained information, and provide the obtained information through voice. Also, for example, the electronic device 100 can convert a portion of the voice chat interface screen that has been displayed on the screen to a screen for displaying the obtained information, and can summarize a part of the obtained information and provide it through voice.

또한, 음성 채팅의 경우에도 텍스트 채팅의 경우와 같이, 메시징 서비스를 통해서 메시징 서비스를 이용하는 적어도 하나의 사용자에게 전송하거나, e-mail 서비스를 통하여 e-mail 서비스 이용하는 적어도 하나의 사용자에게 제공하거나, 소셜 네트워크 서비스(Social Network Service)를 통하여 소셜 네트워크 서비스(Social Network Service)를 이용하는 적어도 하나의 사용자에게 제공하거나, 기타 앱 서비스를 통하여 앱 서비스를 이용하는 적어도 하나의 사용자에게 제공할 수 있다. Also, in the case of voice chat, as in the case of text chat, it can be transmitted to at least one user using a messaging service or at least one user using an e-mail service through an e-mail service, To at least one user using a social network service through a social network service, or to at least one user using an app service through another app service.

여기서, 메시징 서비스를 이용하는 적어도 하나의 사용자, e-mail 서비스를 이용하는 적어도 하나의 사용자, 소셜 네트워크 서비스(Social Network Service)를 이용하는 적어도 하나의 사용자, 앱 서비스를 이용하는 적어도 하나의 사용자는 전자기기(100)의 사용자를 포함 할 수 있다. Here, at least one user using a messaging service, at least one user using an e-mail service, at least one user using a social network service, at least one user using an app service, ). &Lt; / RTI >

도 24a 내지 도 24f는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.24A to 24F illustrate a case where the electronic device 100 is a smart watch and the user is text chatting through a smart watch, To a user.

도 24a는 사용자간에 전자기기(100, 105)를 통하여 텍스트 채팅을 하고 있는 상황을 도시하는 도면이다. 24A is a diagram showing a situation in which text chatting is performed between users via electronic devices 100 and 105. Fig.

도 24a을 참조하면, 전자기기(100)의 제1 사용자와 전자기기의 제2 사용자가 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 24b 내지 도 24f와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. Referring to FIG. 24A, a first user of the electronic device 100 and a second user of the electronic device communicate with each other via text chat. During the conversation of the first user and the second user, the first user delivers a message `I want to eat pizza`. The electronic device 100 can extract keywords for a message requiring additional acquisition of information while monitoring the conversation and provide the search word to the first user. The first user may edit the provided search term. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device 100. [ The electronic device 100 can provide information to the first user through the output interface in the same manner as in Figs. 24B to 24F.

도 24b는 도 24a의 전자기기(100)가 획득한 정보 중 주요 정보에 대해서 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 24B is a diagram showing a method of providing main information among the information acquired by the electronic device 100 of FIG. 24A to the first user.

도 24b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. As shown in FIG. 24B, the electronic device 100 can switch the text chat interface screen, which has been displayed on the screen, to a screen for displaying key information among the acquired information. For example, the electronic device 100 can display one of the acquired information (for example, each of the images shown in Fig. 24C).

도 24c는 도 24a의 전자기기(100)가 획득한 정보 중 주요 정보에 대해서 제1 사용자에게 제공하는 방식을 설명하기 위하여 도시하는 도면이다. FIG. 24C is a diagram for explaining a method of providing main information among information acquired by the electronic device 100 of FIG. 24A to a first user.

도 24c에 도시된 바와 같이, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 예를 들어, 제1 사용자는 전자기기(100)에서 제공하는 페이지 이동 버튼(21)을 통하여 다른 주요 정보를 각각 확인할 수 있다. As shown in FIG. 24C, the electronic device 100 can display one of the acquired main information (for example, each of the images). For example, the first user can confirm other important information through the page shift button 21 provided in the electronic device 100. [

도 24d는 도 22a의 전자기기(100)가 획득한 정보를 음성을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 24D is a diagram showing a manner of providing information obtained by the electronic device 100 of FIG. 22A to a first user through voice.

도 24d에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 음성을 통하여 제공할 수 있다. 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 인터페이스 이미지를 계속하여 디스플레이하고, 획득된 정보를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 24D, the electronic device 100 can continuously display the text chat interface image that was displayed on the screen, and can provide the obtained information through voice. For example, the electronic device 100 may continue to display the chat interface image that was displayed on the screen, and may summarize the obtained information and provide it via voice.

도 24e는 도 24a의 전자기기(100)가 획득한 정보를 음성과 주요 이미지 정보를 제1 사용자에게 제공하는 방식을 도시하는 도면이다.FIG. 24E is a diagram showing a manner in which information acquired by the electronic device 100 of FIG. 24A is provided to a first user with voice and main image information.

도 24e에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 이미지 정보를 디스플레이 하는 화면으로 전환하고, 이와 동시에 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 이미지 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 24E, the electronic device 100 can switch the text chat interface screen displayed on the screen to a screen for displaying the main image information among the acquired information, and at the same time, provide the acquired information through voice . Also, for example, the electronic device 100 may convert a portion of the chat text interface image that was displayed on the screen to a screen that displays acquired image information, and provide a summary of a portion of the acquired information over the voice .

도 24f는 도 24f의 전자기기(100)가 획득한 정보를 음성과 주요 텍스트 정보를 제1 사용자에게 제공하는 방식을 도시하는 도면이다.FIG. 24F is a diagram showing a manner in which information acquired by the electronic device 100 of FIG. 24F is provided to a first user with voice and main text information.

도 24f에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 텍스트 정보를 디스플레이 하는 화면으로 전환하고, 이와 동시에 획득된 정보를 음성을 통하여 제공할 수 있다. 또한, 예를 들어, 전자기기(100)는 스크린에 디스플레이 되었던 채팅 텍스트 인터페이스 이미지의 일부를 획득된 텍스트 정보를 디스플레이 하는 화면으로 전환하고, 획득된 정보의 일부를 요약하여 음성을 통하여 제공할 수 있다.As shown in FIG. 24F, the electronic device 100 can switch the text chat interface screen displayed on the screen to a screen for displaying the main text information among the acquired information, and at the same time, provide the acquired information through voice . Also, for example, the electronic device 100 can convert a portion of the chat text interface image that has been displayed on the screen to a screen that displays the obtained text information, and provide a summary of a part of the obtained information through voice .

도 25a 및 도 25b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch) 및 스마트 워치(Smart Watch)와 연동되는 전자기기(101)인 스마트 폰(Smart Phone)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.25A and 25B illustrate a case where the electronic device 100 is a smart watch and a user is a smart phone that is an electronic device 101 interlocked with a smart watch and a smart watch FIG. 4 is a diagram illustrating a method of providing information acquired by the electronic device 100 to a user through an output interface when text chatting is performed through the output interface.

도 25a을 참조하면, 스마트 워치(예를 들어, 100)와 스마트 폰(예를 들어, 101)은 연동될 수 있다. 예를 들어, 스마트 워치(100)는 스마트 폰(101)과 근거리 무선 통신을 통하여 연결될 수 있다. 예를 들어, 스마트 워치(100)와 스마트 폰(101)은 디스플레이 화면의 일부를 공유할 수 있다. 예를 들어, 스마트 폰(101)이 서버(미도시)로부터 메시지를 수신하는 경우, 스마트 워치(100)는 진동 과 같은 방식으로 사용자에게 메시지가 수신되었음을 알려 줄 수 있다. 예를 들어, 스마트폰(101)이 서버(미도시)로부터 음성 콜(Voice Call)을 수신하는 경우, 스마트 워치(100)는 진동과 같은 방식으로 사용자에게 메시지가 수신되었음을 알려 줄 수 있다. 25A, a smart watch (e.g., 100) and a smartphone (e.g., 101) may be interlocked. For example, the smart watch 100 may be connected to the smartphone 101 through a short-range wireless communication. For example, the smart watch 100 and the smartphone 101 can share a part of the display screen. For example, when the smartphone 101 receives a message from a server (not shown), the smart watch 100 may notify the user that the message has been received in a manner such as vibration. For example, when the smartphone 101 receives a voice call from a server (not shown), the smart watch 100 may notify the user that a message has been received in a manner such as vibration.

예를 들어, 전자기기(101)에서 수신된 메시지들 중 일부는 전자기기(100)에 디스플레이 될 수 있다. 예를 들어, 전자기기(100)와 전자기기(105)가 계속적으로 송수신한 메시지들은 전자기기(101) 및 전자기기(106)에 디스플레이 될 수 있다. 예를 들어, 전자기기(101)의 사용자는 터치 스크린을 통하여 사용자들 간에 송수신한 메시지를 확인할 수 있다. 예를 들어, 전자기기(101)의 사용자는 터치 스크린에 패닝(panning) 또는 플릭(flick)과 같은 터치 입력을 통하여 사용자들 간에 송수신한 메시지를 상하로 스크롤하여 확인할 수 있다.For example, some of the messages received at the electronic device 101 may be displayed on the electronic device 100. [ For example, messages continuously transmitted and received by the electronic device 100 and the electronic device 105 may be displayed on the electronic device 101 and the electronic device 106. [ For example, the user of the electronic device 101 can confirm messages transmitted and received between the users through the touch screen. For example, a user of the electronic device 101 can scroll a message sent and received between users through a touch input, such as panning or flicking, on the touch screen by scrolling up and down.

전자기기(100) 및 전자기기(101)의 제1 사용자와 전자기기(105) 및 전자기기(106)의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 이러한 상황에서, 전자기기(100)는 상대적으로 적은 대화 내용을 디스플레이하고, 전자기기(101)는 상대적으로 많은 대화 내용을 디스플레이 할 수 있다.A first user of the electronic device 100 and the electronic device 101 and a second user of the electronic device 105 and the electronic device 106 exchange text messages through text chatting. During the conversation of the first user and the second user, the first user delivers a message `I want to eat pizza`. In such a situation, the electronic apparatus 100 displays a relatively small amount of conversation contents, and the electronic apparatus 101 can display a relatively large amount of conversation contents.

전자기기(100)는 대화를 모니터링 하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. The electronic device 100 can extract keywords for a message requiring additional acquisition of information while monitoring the conversation and provide the search word to the first user. The first user may edit the provided search term. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device 100. [

또한, 전자기기(100)는 계속적으로 사용자 간의 대화를 분석하면서, 각각의 메시지에 대해서 모니터링 할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대해서 모니터링 하면서, 각각의 메시지에 대해서 질문 메시지 인지 여부를 판단하고, 각각의 메시지에 대해서 정보의 획득이 필요한지 여부를 판단할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대해서 키워드를 추출할 수 있다. 또한, 전자기기(100)는 계속적으로, 각각 메시지에서 추출된 키워드에 대응하는 부분에 대해서 해당 메시지의 다른 부분과 구별이 되도록 표시할 수 있다. 또한, 전자기기(100)는 각각 메시지에 대하여 상기 표시를 일정 시간 유지 할 수 있다. 또한, 전자기기(100)는 각각 메시지에 대한 상기 표시를 환경설정(Setting)에서 미리 정해진 시간 만큼 유지하고, 그 시간이 경과하면, 상기 표시를 해제할 수 있다. (도 30e 참조)In addition, the electronic device 100 can continuously monitor conversations between users while monitoring each message. In addition, the electronic device 100 may monitor each message, determine whether the message is a question message, and determine whether acquiring information is required for each message. Also, the electronic device 100 can extract keywords for each message. In addition, the electronic device 100 can continuously display the portion corresponding to the keyword extracted from the message, so as to be distinguished from other portions of the message. Also, the electronic device 100 can maintain the display for a predetermined time for each message. In addition, the electronic device 100 can hold the display for the message for a predetermined time in the setting, and can release the display when the time elapses. (See Fig. 30E)

또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 스크롤을 통하여 확인 할 수 있도록 출력 인터페이스를 통하여 디스플레이할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 터치 입력하는 경우, 각각의 표시에 대한 정보를 획득하여 출력 인터페이스를 통하여 디스플레이 할 수 있다. 또한, 전자기기(100)는 각각의 메시지에 대한 상기 표시를 사용자가 터치 입력하는 경우, 각각의 표시에 대하여 미리 획득된 정보를 출력 인터페이스를 통하여 디스플레이 할 수 있다.In addition, the electronic device 100 can display the display for each message through an output interface so that the user can scroll through the display. In addition, when the user touches the display for each message, the electronic device 100 can acquire information on each display and display it via the output interface. Also, when the user touches the display for each message, the electronic device 100 can display the information obtained in advance for each display through the output interface.

전자기기(100)는 출력 인터페이스를 통하여 도 25b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다.The electronic device 100 can provide information to the first user through the output interface in the same manner as in Fig. 25B.

도 25b는 도 25a의 전자기기(100)가 획득한 정보를 전자기기(100) 및 전자기기(100)와 연동되어 있는 전자기기(101) 을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다.25B is a diagram showing a method of providing information acquired by the electronic device 100 of FIG. 25A to the first user through the electronic device 100 and the electronic device 101 interlocked with the electronic device 100 .

도 25b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 이와 동시에 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 이와 동시에, 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 25B, the electronic device 100 can switch the text chat interface screen displayed on the screen to a screen for displaying key information among the acquired information. At the same time, the electronic device 101 can switch the text chat interface screen displayed on the screen to a screen for displaying the obtained information. For example, the electronic device 100 can display one of the acquired information (for example, each of the images shown in Fig. 24C). At the same time, the electronic device 101 can close the text chat interface screen that was displayed on the screen, and display the interface of the search engine providing the obtained information and the obtained information.

도 26a 및 도 26b는 전자기기(100)가 스마트 워치(Smart Watch)이고 사용자가 스마트 워치(Smart Watch)를 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다. 26A and 26B illustrate a case where the electronic device 100 is a smart watch and a user is performing a voice chat through a smart watch, To a user.

도 26a을 참조하면, 전자기기(100) 및 전자기기(101)의 제1 사용자와 전자기기(105) 및 전자기기(106)의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. 이러한 상황에서, 전자기기(100)는 통화 영상을 디스플레이하고, 전자기기(101)는 음성 메시지를 텍스트 메시지로 STT(Speech to Text)전환을 하여 디스플레이 할 수 있다. Referring to FIG. 26A, a first user of the electronic device 100 and the electronic device 101, and a second user of the electronic device 105 and the electronic device 106 communicate with each other via voice chat. During the conversation of the first user and the second user, the first user delivers a message `I want to eat pizza`. In this situation, the electronic device 100 displays the call image, and the electronic device 101 can display the voice message as a text message by switching to STT (Speech to Text).

전자기기(100)는 대화를 모니터링하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 26b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. The electronic device 100 can extract keywords for a message requiring additional acquisition of information while monitoring the conversation and provide the search word to the first user. The first user may edit the provided search term. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device 100. [ The electronic device 100 may provide information to the first user through the output interface in the same manner as in Fig. 26B.

도 26b는 도 26a의 전자기기(100)가 획득한 정보를 전자기기(100) 및 전자기기(100)와 연동되어 있는 전자기기(101) 을 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 26B is a diagram showing a method of providing information obtained by the electronic device 100 of FIG. 26A to the first user through the electronic device 100 and the electronic device 101 interlocked with the electronic device 100 .

도 26b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 획득된 정보 중에서 주요 정보를 디스플레이 하는 화면으로 전환할 수 있다. 이와 동시에 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면을 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 중에서 주요 정보(예를 들어, 도 24c에 도시된 각각의 이미지) 중 하나를 디스플레이 할 수 있다. 이와 동시에, 전자기기(101)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 닫고, 획득된 정보 및 획득된 정보를 제공한 서치 엔진의 인터페이스를 디스플레이 할 수 있다. As shown in FIG. 26B, the electronic device 100 can switch the voice chat interface screen displayed on the screen to a screen for displaying main information among the acquired information. At the same time, the electronic device 101 can switch the text chat interface screen displayed on the screen to a screen for displaying the obtained information. For example, the electronic device 100 can display one of the acquired information (for example, each of the images shown in Fig. 24C). At the same time, the electronic device 101 can close the text chat interface screen that was displayed on the screen, and display the interface of the search engine providing the obtained information and the obtained information.

도 27a 및 도 27b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 텍스트 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.27A and 27B illustrate a case where the electronic device 100 is Smart Glasses and the user is text chatting through Smart Glasses, To a user.

도 27a을 참조하면, 전자기기(100) 의 제1 사용자와 전자기기(105) 의 제2 사용자는 텍스트 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. Referring to FIG. 27A, a first user of the electronic device 100 and a second user of the electronic device 105 exchange texts through text chatting. During the conversation of the first user and the second user, the first user delivers a message `I want to eat pizza`.

제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 입력 인터페이스를 이용하여 텍스트 채팅을 할 수 있다. 예를 들어, 입력 인터페이스는 가상 키보드, 가상 터치 스크린 등을 포함할 수 있다. The first user and the second user can text chat using the input interface of the electronic device 100 and the electronic device 105, respectively. For example, the input interface may include a virtual keyboard, a virtual touch screen, and the like.

또한, 제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 출력 인터페이스를 이용하여 텍스트 채팅을 할 수 있다. 예를 들어, 출력 인터페이스는 미니 프로젝트 및 프리즘 등을 포함할 수 있다. In addition, the first user and the second user can perform text chatting using the output interface of the electronic device 100 and the electronic device 105, respectively. For example, the output interface may include mini projects, prisms, and the like.

전자기기(100)는 대화를 모니터링 하면서 정보의 추가적인 획득이 필요한 메시지에 대해서, 키워드를 추출하고, 제1 사용자에게 검색어를 제공할 수 있다. 제1 사용자는 제공된 검색어를 편집할 수 있다. 전자기기(100)는 편집된 검색어 및 전자기기(100)의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 27b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. The electronic device 100 can extract keywords for a message requiring additional acquisition of information while monitoring the conversation and provide the search word to the first user. The first user may edit the provided search term. The electronic device 100 can acquire information based on the edited search word and the location information of the electronic device 100. [ The electronic device 100 can provide information to the first user through the output interface in the same manner as in Fig. 27B.

도 27b는 도 27a의 전자기기(100)가 획득한 정보를 전자기기(100)를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. 27B is a diagram showing a manner in which information acquired by the electronic device 100 of FIG. 27A is provided to the first user through the electronic device 100. FIG.

도 27b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 텍스트 채팅 인터페이스 화면를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. As shown in Fig. 27B, the electronic device 100 can switch the text chat interface screen displayed on the screen to a screen for displaying the obtained information.

도 28a 및 도 28b는 전자기기(100)가 스마트 안경(Smart Glasses)이고 사용자가 스마트 안경(Smart Glasses)을 통하여 음성 채팅을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.28A and 28B illustrate a case where the electronic device 100 is a Smart Glasses and a user is performing a voice chat through Smart Glasses, To a user.

도 28a을 참조하면, 전자기기(100) 의 제1 사용자와 전자기기(105) 의 제2 사용자는 음성 채팅을 통하여, 대화를 주고 받고 있다. 제1 사용자 및 제2 사용자의 대화 중에, 제1 사용자는 `I want to eat pizza`라는 내용의 메시지를 전달한다. Referring to FIG. 28A, a first user of the electronic device 100 and a second user of the electronic device 105 exchange a conversation through voice chat. During the conversation of the first user and the second user, the first user delivers a message `I want to eat pizza`.

또한, 제1 사용자 및 제2 사용자는 각각 전자기기(100) 및 전자기기(105)의 출력 인터페이스를 이용하여 음성 채팅을 할 수 있다. 예를 들어, 출력 인터페이스는 미니 프로젝트 및 프리즘 등을 포함할 수 있다. 전자기기(100)는 출력 인터페이스를 통하여 도 28b와 같은 방식으로 제1 사용자에게 정보를 제공할 수 있다. Also, the first user and the second user can perform voice chatting using the output interface of the electronic device 100 and the electronic device 105, respectively. For example, the output interface may include mini projects, prisms, and the like. The electronic device 100 can provide information to the first user through the output interface in the same manner as in Fig. 28B.

도 28b는 도 28a의 전자기기(100)가 획득한 정보를 전자기기(100)를 통하여 제1 사용자에게 제공하는 방식을 도시하는 도면이다. FIG. 28B is a diagram showing a manner in which information obtained by the electronic device 100 of FIG. 28A is provided to the first user through the electronic device 100. FIG.

도 28b에 도시된 바와 같이, 전자기기(100)는 스크린에 디스플레이 되었던 음성 채팅 인터페이스 화면를 획득된 정보를 디스플레이 하는 화면으로 전환할 수 있다. As shown in FIG. 28B, the electronic device 100 can switch the voice chat interface screen displayed on the screen to a screen for displaying the obtained information.

도 29a 및 도 29b는 전자기기(100)가 다양한 전자기기(100)이고, 스마트 안경(Smart Glasses)이고, 사용자가 다양한 전자기기(100)을 통하여 음성 채팅 및 텍스트 채팅 중 적어도 하나를 이용하여 커뮤니케이션을 하고 있는 경우, 전자기기(100)가 획득한 정보를 출력 인터페이스를 통하여 사용자에게 제공하는 방식을 도시하는 도면이다.29A and 29B show an example in which the electronic device 100 is a variety of electronic devices 100 and is smart glasses and allows a user to communicate with the electronic device 100 using at least one of voice chat and text chat, The information obtained by the electronic device 100 is provided to the user through the output interface.

도 29a와 같이, 복수의 사용자들은 도 22 내지 도 28에서 설명된 다양한 방식의 채팅을 이용하여 커뮤니케이션을 할 수 있고, 도 29b와 같이, 도 22 내지 도 28에서 설명된 다양한 방식의 채팅을 이용하여 전자기기(100)가 획득한 정보를 제공 받을 수 있다. As shown in FIG. 29A, a plurality of users can communicate using the various types of chat described in FIGS. 22 to 28 and use chat in various ways described in FIGS. 22 to 28 The information acquired by the electronic device 100 can be provided.

예를 들어, 제1 사용자는 스마트 워치를 통하여 도 25에서 설명된 방식으로 텍스트 채팅을 하고, 제2 사용자는 스마트 안경을 통하여 도 27에서 설명된 방식으로 텍스트 채팅을 할 수 있다. For example, the first user may text chat in the manner described in FIG. 25 through the smart watch, and the second user may text chat in the manner described in FIG. 27 via the smart glasses.

예를 들어, 제1 사용자는 스마트 워치를 통하여 도 25에서 설명된 방식으로 텍스트 채팅을 하고, 제2 사용자는 스마트 안경을 통하여 도 28에서 설명된 방식으로 음성 채팅을 할 수 있다. 이러한 경우, 제2 사용자가 음성으로 입력한 메시지는 STT(Speech to Text) 방식을 통하여 텍스트로 변환되어 제1 사용자에게 전달될 수 있다. 또한, 다른 실시 예에서 제1 사용자가 텍스트로 입력한 메시지는 음성으로 변환되어 제2 사용자에게 전달될 수 있다. For example, the first user may perform a text chat in the manner described in FIG. 25 through a smart watch, and the second user may conduct a voice chat in the manner described in FIG. 28 through smart glasses. In this case, the message input by the second user by voice can be converted into text through the STT (Speech to Text) method and transmitted to the first user. Also, in another embodiment, a message entered by a first user as text may be converted to speech and delivered to a second user.

예를 들어, 이러한 복합적 방법의 채팅은 3명 이상이 화상 회의와 같은 커뮤니케이션을 수행하는데도 사용될 수 있다. For example, chat in this complex method can be used by three or more people to perform communication such as video conferencing.

또한, 예를 들어, 이러한 복합적 방법의 채팅은 SNS 서비스와 같이 앱을 통하여 제공되는 각종 커뮤니케이션 서비스, 이메일 서비스와 같이 서버를 통하여 제공되는 각종 커뮤니케이션 서비스에 응용될 수 있다. In addition, for example, the chat in the combined method can be applied to various communication services provided through a server such as various communication services and e-mail services provided through an application such as an SNS service.

전자기기(100)는 도 22 내지 도 29에서 설명하는 다양한 방식을 통하여, 사용자에게 정보를 제공할 수 있다.The electronic device 100 can provide information to the user through the various methods described in Figs. 22 to 29.

도 30 내지 도 31는 본 발명의 일 실시예에 따른 전자기기(100)에서 제공하는 환경 설정 유저 인터페이스를 도시하는 도면이다. 30 to 31 are diagrams showing an environment setting user interface provided by the electronic apparatus 100 according to an embodiment of the present invention.

도 30a를 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공할 수 있다. 사용자는 환경 설정 인터페이스를 통하여 본 발명에 따른 정보 제공 방법으로 정보를 받을지 여부를 선택할 수 있다. 사용자는 본 발명에 따른 정보 제공 동작의 온(On) / 오프(Off)를 설정할 수 있다. Referring to FIG. 30A, the electronic device 100 may provide the user with a configuration interface for turning on / off the information providing operation. The user can select whether or not to receive the information through the configuration interface according to the present invention. The user can set the On / Off of the information providing operation according to the present invention.

환경 설정이란 전자기기의 사용환경을 설정하기 위하여 사용자의 설정에 의하여 또는 사용자의 입력에 의히여 전자기기의 동작 순서를 미리 정해 놓는 것을 의미할 수 있다. The setting of the environment may mean setting the operation order of the electronic device by the setting of the user or the user's input in order to set the use environment of the electronic device.

도 30a에서 검색어 생성(Query Generation)이라고 도시되어 있으나, 자동 검색 엔진(Autonomic Search Engine), 자동 정보 검색(Autonomic Information Search)등과 같이 적용되는 제품에 따라서 다르게 표현할 수 있고, 이는 권리범위를 제한하지 않는다.Although it is shown in FIG. 30A as 'Query Generation', it can be expressed differently according to a product to be applied, such as an Autonomic Search Engine, an Autonomic Information Search, etc., .

전자기기(100)는 사용자에게 보다 세부적인 환경 설정 인터페이스를 제공할 수 있다. 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 정보를 어떠한 방법으로 획득할 것인지 선택하도록 할 수 있다. The electronic device 100 may provide a more detailed configuration interface to the user. For example, when the information providing operation is set to On, the electronic device 100 may be allowed to select how to acquire the information.

예를 들어, 전자기기(100)는 앱 서치(App Search)를 통해서 정보 획득을 할 것인지 또는 인터넷 서치(Internet Search)를 통해서 정보 획득을 할 것인지 여부를 선택할 수 있다. 또한, 전자기기(100)는 앱 서치(App Search) 및 인터넷 서치(Internet Search)를 동시에 수행하여 정보 획득을 할 수 있다. For example, the electronic device 100 can select whether to acquire information through App Search or acquire information through Internet Search. Also, the electronic device 100 can acquire information by simultaneously performing App Search and Internet Search.

도 30b을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30B, the electronic device 100 may provide a more detailed configuration interface to the user, while providing the user with a configuration interface for on / off of the information providing operation .

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 어떠한 방법으로 정보를 제공할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 텍스트로 정보를 제공할지, 음성으로 정보를 제공할지, 이미지로 정보를 제공할지를 선택하도록 할 수 있다. For example, when the information providing operation is set to On, the electronic device 100 may be allowed to select how to provide information. For example, the electronic device 100 may be configured to select whether to provide information in text, information in a voice, or information in an image.

또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 어떠한 방법으로 편집된 검색어를 수신할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 텍스트로 편집된 검색어를 수신할지, 음성으로 편집된 검색어를 수신할지 선택하도록 할 수 있다. Alternatively, for example, when the information providing operation is set to On, the electronic device 100 may be allowed to select the way in which the edited query is to be received. For example, the electronic device 100 may be allowed to select whether to receive a text-edited search query or a voice-edited search query.

도 30c을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30C, the electronic device 100 can provide a further detailed configuration interface to the user, while providing the user with a configuration interface for on / off of the information providing operation have.

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 누구의 메시지에 대해서 정보를 제공할 것인지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 제1 사용자(User1)의 메시지에 대해서만 키워드를 추출하고 정보를 제공할 것을 선택하도록 할 수 있다. For example, when the information providing operation is set to On, the electronic device 100 may be allowed to select the message whose information is to be provided. For example, the electronic device 100 may be able to extract keywords only for messages of the first user (User1) and select to provide the information.

또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 누구에게 정보를 제공할지를 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 제1 사용자(User1) 및 제2 사용자(User2)에게 정보를 제공할 것을 선택하도록 할 수 있다.Alternatively, for example, when the information providing operation is set to On, the electronic device 100 may be allowed to select to whom the information is to be provided. For example, the electronic device 100 may allow the first user (User1) and the second user (User2) to select to provide information.

도 30d을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30D, the electronic device 100 may provide a further detailed configuration interface to the user, while providing the user with a configuration interface for on / off of the information providing operation have.

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 키워드 추출시 어떠한 정보를 참조할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 검색어 생성할 때, 어떠한 정보를 참조할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 정보를 참조할지 선택하도록 할 수 있다.For example, when the information providing operation is set to On, the electronic device 100 can select which information to refer to when extracting the keyword. Alternatively, for example, when the information providing operation is set to on, the electronic device 100 may be allowed to select which information to refer to when generating the search term. Alternatively, for example, when the information providing operation is set to On, the electronic device 100 allows the electronic device 100 to select which information to refer to when acquiring information based on the edited search word and the location information of the electronic device .

도 30e을 참조하면, 전자기기(100)는 사용자에게 정보 제공 동작의 온(On) / 오프(Off)에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. Referring to FIG. 30E, the electronic device 100 can provide a further detailed configuration interface to the user, while providing the user with a configuration interface for on / off of the information providing operation have.

예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 사용자에게 키워드를 표시하는 시간을 설정하도록 할 수 있다. 예를 들어, 사용자는 키워드를 표시하는 시간을 1분으로 설정할 수 있고, 전자기기(100)는 키워드가 하이라이트로 표시된 후 1분이 경과한 경우에, 더 이상 하이라이트 표시를 하지 않을 수 있다. For example, when the information providing operation is set to On, the electronic device 100 can set a time for displaying the keyword to the user. For example, the user can set the time for displaying the keyword to 1 minute, and when the electronic device 100 has lapsed 1 minute after the keyword is highlighted, the electronic device 100 can no longer display the highlight.

도 30f을 참조하면, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 인터넷 검색 엔진을 이용할지 선택하도록 할 수 있다. 예를 들어, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 구글(Google), 빙(Bing), 야후(Yahoo), 네이버(Naver)와 같은 상용되는 인터넷 검색 엔진을 선택하도록 할 수 있다.Referring to FIG. 30F, the electronic device 100 can select which Internet search engine to use when acquiring information based on the edited search word and the location information of the electronic device. For example, when the electronic device 100 acquires information based on the edited search word and the location information of the electronic device, the electronic device 100 may receive commercial information such as Google, Bing, Yahoo, Naver, The Internet search engine can be selected.

도 30g을 참조하면, 전자기기(100)는 사용자에게 관심분야를 설정할지 여부에 대한 환경 설정 인터페이스를 제공할 수 있다. 또한, 전자기기(100)는 사용자에게 관심분야를 설정할지 여부에 대한 환경 설정 인터페이스를 제공하면서, 사용자에게 보다 또 다른 세부적인 환경 설정 인터페이스를 제공할 수 있다. 예를 들어, 전자기기(100)는 키워드 추출시 어떠한 카테고리에 해당하는 키워드를 추출할지 선택하도록 할 수 있다. 또는, 예를 들어, 정보 제공 동작이 온(On)으로 설정된 경우, 전자기기(100)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 때, 어떠한 카테고리의 정보를 획득할지 선택하도록 할 수 있다.Referring to FIG. 30G, the electronic device 100 may provide a configuration interface for the user to set an area of interest. In addition, the electronic device 100 may provide a further detailed configuration interface to the user, while providing a configuration interface for the user to set an area of interest. For example, the electronic device 100 can select a keyword corresponding to a certain category when extracting the keyword. Alternatively, for example, when the information providing operation is set to On, the electronic device 100 selects, when acquiring information based on the edited search word and the location information of the electronic device, .

도 31a를 참조하면, 전자기기(100)는 사용자에게 커뮤니케이션 중에 해당 커뮤니케이션의 인터페이스를 이용하여, 정보 제공 동작의 온(On) / 오프(Off) 에 대한 환경 설정 스위치(10)를 제공할 수 있다. 사용자는 환경 설정 스위치(10)를 이용하여 정보 제공 동작을 활성화 할지 여부에 대해서 결정할 수 있다. 사용자는 환경 설정 스위치(10)를 온(On)으로 설정하여, 전자기기(100)가 본 발명에 따른 정보 제공 동작을 수행하도록 설정 할 수 있다. 사용자는 환경 설정 스위치(10)를 오프(Off)로 설정하여, 전자기기(100)가 본 발명에 따른 정보 제공 동작을 수행하지 않도록 설정할 수 있다. 31A, the electronic device 100 may provide the user with an environment setting switch 10 for turning on / off the information providing operation by using the interface of the communication during communication . The user can use the configuration switch 10 to determine whether to activate the information providing operation. The user can set the environment setting switch 10 to ON to set the electronic device 100 to perform the information providing operation according to the present invention. The user can set the environment setting switch 10 to off so that the electronic device 100 does not perform the information providing operation according to the present invention.

도 31b를 참조하면, 전자기기(100)는 사용자에게 커뮤니케이션 중에 해당 커뮤니케이션의 인터페이스를 이용하여, 사용자 입력(문자, 그림, 음성)에 대한 설정바(10_a)를 제공할 수 있다. 사용자는 설정바 (10)를 이용하여 사용자 입력을 어떠한 방식으로 수신할지 여부를 선택할 수 있다.Referring to FIG. 31B, the electronic device 100 can provide a setting bar 10_a for user input (text, picture, voice) by using the interface of the communication during communication with the user. The user can select whether or not to receive the user input using the setting bar 10.

예를 들어, 사용자는 설정바(10_a)를 Text로 설정하여, 전자기기(100)가 문자(Text)만을 통하여 검색어를 찾도록 설정 할 수 있다. 또한, 사용자는 설정바(10_a)를 Text+Image로 설정하여, 전자기기(100)가 문자 및 이미지 중 적어도 하나를 통하여 검색어를 찾도록 설정 할 수 있다. 또한, 사용자는 설정바(10_a)를 All로 설정하여, 전자기기(100)가 문자, 이미지, 음성 중 적어도 하나를 통하여 검색어를 찾도록 설정 할 수 있다.For example, the user can set the setting bar 10_a to Text so that the electronic device 100 can search for a search word only through text. In addition, the user can set the setting bar 10_a to Text + Image so that the electronic device 100 searches for a search word through at least one of characters and images. Also, the user can set the setting bar 10_a to All to set the electronic device 100 to search for a search word through at least one of a character, an image, and a voice.

예를 들어, 사용자가 설정바(10_a)를 Text로 설정한 경우, 전자기기(100)는 사용자가 작성한 문자 또는 화면을 통하여 사용자에게 제공된 문자를 통하여 검색어를 생성할 수 있다. 예를 들어, 사용자가 설정바(10_a)를 Text+Image로 설정한 경우, 전자기기(100)는 사용자가 작성한 문자 및 이미지, 그리고 화면을 통하여 사용자에게 제공된 문자 및 이미지 중 적어도 하나를 통하여 검색어를 생성할 수 있다. 이러한 사용자 입력 방식은 커뮤니케이션 인터페이스 이외에 환경 설정을 통하여서도 미리 설정할 수 있다.For example, when the user sets the setting bar 10_a to Text, the electronic device 100 can generate a search word through a character created by the user or characters provided to the user through the screen. For example, when the user sets the setting bar 10_a to Text + Image, the electronic device 100 displays a search word through at least one of characters and images created by the user and characters and images provided to the user through the screen Can be generated. Such a user input method can be preset in addition to the communication interface through the environment setting.

도 32 내지 도 35는 본 발명의 일 실시예에 따른 전자기기(100)의 정보제공방법을 도시하는 흐름도이다. 32 to 35 are flowcharts showing an information providing method of the electronic apparatus 100 according to an embodiment of the present invention.

도 32을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S210). 프로세서는 키워드 간의 우선순위를 결정할 수 있다(S220). 프로세서는 키워드 간의 우선순위를 기초로 검색어를 생성하고 제공할 수 있다(S230). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S240). 프로세서는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S250). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S260).Referring to FIG. 32, a processor may extract a plurality of keywords from a message displayed on a screen through a communication service (S210). The processor may determine a priority between keywords (S220). The processor may generate and provide a search term based on the priority between the keywords (S230). The input interface may receive the edited query from the user (S240). The processor can acquire information based on the edited search word and the location information of the electronic device (S250). The output interface may provide information obtained by the processor (S260).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 복수의 키워드를 추출하여, 복수의 키워드 사이에서 우선순위를 결정하고, 우선순위를 통하여 검색어를 생성할 수 있다. In the information providing method of the electronic device 100 according to the embodiment of the present invention, a plurality of keywords may be extracted, a priority may be determined among a plurality of keywords, and a search word may be generated through priority.

예를 들어, 도 17에서와 같이, `batman`, `Sumin`, `L.A.`과 같이, 복수의 키워드를 추출할 수 있다. 예를 들어, 전자기기는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록 정보 중 적어도 하나를 기초로 키워드 사이에 우선순위를 결정할 수 있다. 예를 들어, 검색어는 복수의 키워드에서 우선순위가 가장 높은 키워드를 검색어로 생성할 수 있다. For example, as shown in FIG. 17, a plurality of keywords can be extracted, such as `batman`,` Sumin`, and `L.A.`. For example, the electronic device determines a priority among keywords based on at least one of 1) content of conversation between users, 2) location record of the user, 3) information previously input by the user, and 4) . For example, a search term can generate a keyword having the highest priority among a plurality of keywords as a search term.

본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S240)에서 수신된 검색어를 통하여 정보를 획득할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S240)에서 수신된 검색어를 통하여 정보를 획득하여 디스플레이 할 수 있다. 또한, 본 발명의 다른 실시예에 따른 전자기기(100)의 정보 제공 방법은 단계(S230)에서 생성된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S240)에서 수신된 검색어를 통하여 정보를 획득하고, 이와 동시에 단계(S250)에서 획득된 정보를 디스플레이 할 수 있다. The information providing method of the electronic device 100 according to another embodiment of the present invention may acquire information through the search word generated in step S230. In addition, the information providing method of the electronic device 100 according to another embodiment of the present invention may acquire information through the search word received in step S240. In addition, the information providing method of the electronic device 100 according to another embodiment of the present invention acquires information through the search word generated in step S230, and at the same time acquires information through the search word received in step S240 . In addition, the information providing method of the electronic device 100 according to another embodiment of the present invention acquires information through the search word generated in step S230, and at the same time acquires information through the search word received in step S240 And at the same time display the information obtained in step S250.

도 33을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 키워드를 추출할 수 있다(S310). 프로세서는 키워드와 관련된 검색어를 사용자 관련 정보를 기초로 생성하고 제공할 수 있다(S320). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S330). 프로세서는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득할 수 있다(S340). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S350).Referring to FIG. 33, the processor can extract a keyword from a message displayed on a screen through a communication service (S310). The processor may generate and provide a search term associated with the keyword based on the user-related information (S320). The input interface may receive the edited query from the user (S330). The processor can acquire information based on the edited search word and the location information of the electronic device (S340). The output interface may provide information obtained by the processor (S350).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 사용자 관련 정보를 기초로 키워드를 추출하거나, 검색어를 생성할 수 있다. 예를 들어, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. The information providing method of the electronic device 100 according to an embodiment of the present invention can extract keywords or generate search terms based on user-related information. For example, the user-related information may include at least one of a location record of the user, information previously input by the user, and record information about the user.

도 34을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S410). 프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S420). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S430). 프로세서는 편집된 검색어를 기초로 정보를 획득할 수 있다(S440). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S450).Referring to FIG. 34, the processor may extract a plurality of keywords from a message displayed on a screen through a communication service (S410). The processor may generate and provide a search term associated with the keyword (S420). The input interface may receive the edited query from the user (S430). The processor may obtain information based on the edited query (S440). The output interface may provide information obtained by the processor (S450).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 프로세서는 편집된 검색어를 기초로 정보를 획득하여, 획득된 정보 사이에 우선순위를 고려 하여 제공할 수 있다. 예를 들어, 전자기기(100)는 획득된 정보 사이에 우선순위를 사용자 관련 정보를 기초로 판단할 수 있다. 예를 들어, 사용자 관련 정보는 사용자의 위치 기록, 사용자가 미리 입력한 정보 및 사용자에 대한 기록 정보 중 적어도 하나를 포함할 수 있다. In the information providing method of the electronic device 100 according to the embodiment of the present invention, the processor may acquire information based on the edited search word and provide the information among the acquired information in consideration of the priority. For example, the electronic device 100 can determine the priority among the acquired information based on the user-related information. For example, the user-related information may include at least one of a location record of the user, information previously input by the user, and record information about the user.

도 35을 참조하면, 프로세서는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 복수의 키워드를 추출할 수 있다(S510). 프로세서는 키워드와 관련된 검색어를 생성하고 제공할 수 있다(S520). 입력 인터페이스는 사용자로부터 편집된 검색어를 수신 할 수 있다(S530). 프로세서는 편집된 검색어 및 현재 시각을 기초로 정보를 획득할 수 있다(S540). 출력 인터페이스는 프로세서가 획득한 정보를 제공할 수 있다(S550).Referring to FIG. 35, a processor may extract a plurality of keywords from a message displayed on a screen through a communication service (S510). The processor may generate and provide a search term associated with the keyword (S520). The input interface may receive the edited query from the user (S530). The processor may acquire information based on the edited query and the current time (S540). The output interface may provide information obtained by the processor (S550).

본 발명의 일 실시예에 따른 전자기기(100)의 정보 제공 방법은 편집된 검색어 및 현재 시각을 기초로 정보를 획득 할 수 있다. 사용자는 현재 시각이 사용자의 점심시간인 경우, 레스토랑과 관련된 키워드에 우선순위를 두고, 정보를 획득 할 수 있다. The information providing method of the electronic device 100 according to an embodiment of the present invention can acquire information based on the edited search word and the current time. If the current time is the user's lunch time, the user can prioritize the keywords related to the restaurant and obtain the information.

도 36은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 도면이다.36 is a diagram showing an electronic device 1000 according to an embodiment of the present invention.

도 36을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6, 또는 애플리케이션들이라고 표현할 수 있음)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다. 36, the electronic device 1000 may provide communication service applications (APP1, APP2, APP3, APP4, APP5, APP6, or applications) to a user of the electronic device 1000 . The user can communicate with a user of another electronic device (not shown) using a service provided by various apps (APP1 to APP6).

예를 들어, 커뮤니케이션(Communication) 서비스를 제공하는 앱들(APP1 내지 APP6)은 메시징(Messaging) 서비스 앱, 메일링(Mailing) 서비스 앱, 소셜 네트워크 서비스(Social Network Service) 앱을 포함할 수 있다. 예를 들면, 메시징 서비스 앱은 MSN, 야후 메신저, 네이트온, 버디버디, 카카오톡, 카카오스토리, 스카이프 등을 포함할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 페이스북(Facebook), 트윗터(Twitter), 카카오톡(Kakao Talk), 스카이프(Skype)등을 포함할 수 있다. For example, the apps APP1 to APP6 that provide a communication service may include a messaging service app, a mailing service app, and a social network service app. For example, messaging service apps can include MSN, Yahoo Messenger, Nate On, Buddy Buddy, KakaoTalk, Cacao Story, Skype, and more. For example, the apps (APP1 through APP6) that provide communication services may include Facebook, Twitter, Kakao Talk, Skype, and the like.

예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대일(one to one) 커뮤니케이션 서비스, 일대다(one to many) 커뮤니케이션 서비스 및 다대다(many to many) 커뮤니케이션 서비스 중 적어도 하나를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대일(one to one) 커뮤니케이션 방식의 메신저 서비스 또는 화상 통화 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 일대다(one to many) 커뮤니케이션 방식의 화상 강의 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 다대다(many to many) 커뮤니케이션 방식의 화상 회의 서비스를 제공할 수 있다. For example, the apps APP1 through APP6 providing the communication service may provide at least one of a one to one communication service, a one to many communication service and a many to many communication service . For example, the apps APP1 to APP6 that provide communication services can provide a one-to-one messenger service or a video call service. For example, the apps (APP1 to APP6) that provide communication services can provide a one-to-many communication method of video lecture service. For example, the apps APP1 to APP6 providing communication services can provide a video conferencing service of a many to many communication method.

예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 음성 또는 화상 커뮤니케이션 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 3차원 이미지를 통하여 커뮤니케이션 서비스를 제공할 수 있다. 예를 들어, 커뮤니케이션 서비스를 제공하는 앱들(APP1 내지 APP6)은 3차원 홀로그램을 통하여 커뮤니케이션 서비스를 제공할 수 있다.For example, the apps APP1 to APP6 that provide communication services can provide voice or image communication services. For example, the apps APP1 to APP6 that provide communication services can provide communication services through a three-dimensional image. For example, the apps APP1 to APP6 that provide communication services can provide communication services through the three-dimensional hologram.

전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다. The electronic device 1000 may include a query generation framework 1100. The search word generation framework 1100 can exchange information with the apps APP1 to APP6 through an API (Application Programming Interface).

전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여, 사용자가 사용하는 앱의 종류를 구분하지 않고, 검색어를 생성할 수 있다. 예를 들어, 전자기기(1000)에 설치된 앱이 메일링 서비스 앱, 채팅 서비스 앱, 소셜 네트워크 서비스 앱 인지와는 무관하게 검색어를 생성할 수 있다. 본 발명의 일 실시예에 따른 전자기기(1000)는 전자기기(1000)에 설치된 어떠한 앱에서도 검색어 생성 프레임 워크(1100)를 통하여, 검색어를 생성할 수 있다. The electronic device 1000 can generate a search word through the search word generation framework 1100 without discriminating the type of the application used by the user. For example, the search term can be generated irrespective of whether the application installed in the electronic device 1000 is a mailing service application, a chat service application, or a social network service application. The electronic device 1000 according to an embodiment of the present invention can generate a search word through the search word creation framework 1100 in any application installed in the electronic device 1000. [

검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다. 검색어 생성 프레임 워크(1100)는 자연어 처리기(Natural Language Processor, 1200)를 통하여 상기 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.The keyword generation framework 1100 can extract at least one keyword from a message displayed on the screen through the communication service. The query generation framework 1100 may extract at least one keyword from the message through a Natural Language Processor 1200.

검색어 생성 프레임 워크(1100)는 추출된 적어도 하나의 키워드(Keyword)와 관련된 검색어를 제공할 수 있다. 검색어 생성 프레임 워크(1100)는 예를 들어, 검색어 생성 프레임 워크(1100)는 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 키워드와 관련된 검색어를 생성할 수 있다. The search query generation framework 1100 may provide a search term associated with at least one extracted keyword. For example, the search word generation framework 1100 may generate a search term related to a keyword through a statistical analysis or a semantic analysis.

예를 들어, 검색어 생성 프레임 워크(1100)는 추출된 키워드를 기초로 확률적 분석(statistical analysis), 의미론적 분석(semantic analysis)을 통하여 검색어를 `good day pizza`로 생성할 수 있다. 예를 들어, 프로세서는 1) 사용자간의 대화 내용, 2) 사용자의 위치 기록 및 3) 사용자가 미리 입력한 정보 및 4) 사용자에 대한 기록을 기초로 검색어를 `good day pizza`로 생성할 수 있다. For example, the keyword generation framework 1100 can generate a keyword `good day pizza` through statistical analysis and semantic analysis based on the extracted keywords. For example, a processor can generate a search term as a `good day pizza` based on 1) a conversation between users, 2) a user's location record, 3) a user's pre-entered information, and 4) .

검색어 생성 프레임 워크(1100)은 자연어 처리기(Natural Language Processor, 1200)를 포함할 수 있다. 자연어 처리기(Natural Language Processor, 1200)는 메시지와 관련된 상황 요소를 고려하여 의미를 파악할 수 있다. 예를 들어, 전자기기(1000)의 프로세서(processor)는 메시지 내에 포함된 단어의 종류, 단어 간의 관계 및 단어의 의미를 기초로 하여 의미를 파악할 수 있다. 자연어 처리기(Natural Language Processor, 1200)는 파악된 의미를 통하여 검색의 카테고리를 정할 수 있다. The query generation framework 1100 may include a Natural Language Processor 1200. The Natural Language Processor (1200) can grasp the meaning by taking into consideration the context factors related to the message. For example, the processor of the electronic device 1000 can grasp the meaning based on the kind of words included in the message, the relationship between the words, and the meaning of the word. The Natural Language Processor (1200) can determine the category of search through the identified meaning.

전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 사용자에게 제공할 수 있다. 예를 들어, 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 화면을 통하여 이미지로 사용자에게 제공할 수 있다. 예를 들어, 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 스피커를 통하여 음성으로 사용자에게 제공할 수 있다.The electronic device 1000 can provide the user with the search term generated through the search term generation framework 1100. [ For example, the electronic device 1000 can provide a user with a search word generated through the search word generation framework 1100 as an image through a screen. For example, the electronic device 1000 can provide the user with the search word generated through the search word generation framework 1100 through the speaker through voice.

전자기기(1000)는 사용자로부터 편집된 검색어를 수신할 수 있다. 예를 들어, 전자기기(1000)는 사용자에게 생성된 검색어를 제공하고, 사용자 인터페이스를 통해서 사용자가 편집한 검색어를 수신할 수 있다.The electronic device 1000 can receive the edited query from the user. For example, the electronic device 1000 may provide a user with a generated search term and receive a user-edited search term through a user interface.

전자기기(1000)는 사용자가 편집한 검색어 및 사용자의 위치 정보를 기초로 정보를 획득할 수 있다. 전자기기(1000)는 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. 예를 들어, 전자기기(1000)는 앱(App) 서비스를 통하여 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. 예를 들어, 전자기기(1000)는 인터넷 싸이트를 통하여 제공되는 검색 서비스를 통하여 외부의 검색 서버(Search Server, 2000)로부터 정보를 획득할 수 있다. The electronic device 1000 can acquire information based on the user's edited search word and the user's location information. The electronic device 1000 can acquire information from an external search server (Search Server 2000). For example, the electronic device 1000 can acquire information from an external search server 2000 through an app service. For example, the electronic device 1000 can acquire information from an external search server (Search Server 2000) through a search service provided through an Internet site.

따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 사용자가 커뮤니케이션 서비스를 사용하면서, 진행되고 있는 커뮤니케이션 관련 정보를 보다 편리하게 제공받을 수 있도록 할 수 있다. Accordingly, the electronic device 1000 according to an embodiment of the present invention can provide communication-related information that is in progress more conveniently while the user is using the communication service.

도 37은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.37 is a block diagram showing an electronic device 1000 according to an embodiment of the present invention.

도 37을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.Referring to FIG. 37, the electronic device 1000 may provide communication service apps (APP1, APP2, APP3, APP4, APP5, APP6) to the user of the electronic device 1000. The user can communicate with a user of another electronic device (not shown) using a service provided by various apps (APP1 to APP6).

전자기기(1000)는 검색어 생성 프레임 워크(Query Generation Framework, 1100)을 포함할 수 있다. 검색어 생성 프레임 워크(1100)는 API(Application Programming Interface)를 통하여 앱들(APP1 내지 APP6)와 정보를 교환할 수 있다. 검색어 생성 프레임 워크(1100)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다. The electronic device 1000 may include a query generation framework 1100. The search word generation framework 1100 can exchange information with the apps APP1 to APP6 through an API (Application Programming Interface). The keyword generation framework 1100 can extract at least one keyword from a message displayed on the screen through the communication service.

검색어 생성 프레임 워크(1100)는 클라우드 서버에 포함된 자연어 처리기(Natural Language Processor, 3200)를 통하여 메시지에서 적어도 하나의 키워드(Keyword)를 추출할 수 있다.The query generation framework 1100 can extract at least one keyword from a message through a Natural Language Processor 3200 included in the cloud server.

검색어 생성 프레임 워크(1100)은 외부의 클라우드 서버에 포함된 자연어 처리기(3200)와 정보를 교환하면서 해당 메시지의 의미를 파악할 수 있다. 자연어 처리기(3200)는 해당 메시지의 상황에 맞는 의미를 파악할 수 있다. 자연어 처리기(3200)는 파악된 의미를 통하여 검색의 카테고리를 정할 수 있다. 전자기기(1000)는 검색어 생성 프레임 워크(1100)를 통하여 생성된 검색어를 사용자에게 제공할 수 있다. 전자기기(1000)는 사용자가 편집한 검색어 및 사용자의 위치 정보를 기초로 정보를 획득할 수 있다. The query generation framework 1100 can understand the meaning of the message while exchanging information with the natural language processor 3200 included in the external cloud server. The natural language processor 3200 can grasp the meaning appropriate to the context of the message. The natural language processor 3200 can determine the category of the search through the identified meaning. The electronic device 1000 can provide the user with the search term generated through the search term generation framework 1100. [ The electronic device 1000 can acquire information based on the user's edited search word and the user's location information.

따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 외부의 자연어 처리기(3200)을 이용하여 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다. Therefore, the electronic device 1000 according to the embodiment of the present invention can use the external natural language processor 3200 to enable the user to use the communication service and to receive the communication-related information that is more convenient have.

도 38은 도 36에서 도시한 자연어 처리기(1200) 및 도 37에서 도시한 자연어 처리기(3200)의 세부 구성도이다. 38 is a detailed configuration diagram of the natural language processor 1200 shown in FIG. 36 and the natural language processor 3200 shown in FIG.

자연어 처리기(1200, 3200)는 개체 인식부(1210) 및 카테고리 구분부(1230)을 포함할 수 있다. 개체 인식부(1210)는 커뮤니케이션에 사용된 메시지에 포함된 각각의 단어에 대해서 어떠한 의미로 사용되었는지 인식할 수 있다. 또한, 개체 인식부(1210)는 메시지 각각의 의미에 대해서 인식할 수 있다. 카테고리 구분부(1230)는 각각의 메시지가 어떠한 카테고리에 속하는지 구분할 수 있다. 즉, 각각의 메시지의 내용을 분석하여, 각각의 메시지의 키워드를 확인하고 메시지를 어떠한 카테고리에 속할지 구분할 수 있다. The natural language processors 1200 and 3200 may include an entity recognizer 1210 and a category separator 1230. The entity recognizer 1210 can recognize the meaning of each word included in the message used for communication. In addition, the entity recognizer 1210 can recognize the meaning of each message. The category division unit 1230 can classify which category each message belongs to. In other words, the contents of each message can be analyzed, the keywords of each message can be identified, and the category to which the message belongs can be identified.

도 39은 본 발명의 일 실시예에 따른 전자기기(1000)를 도시하는 블록도이다.39 is a block diagram showing an electronic device 1000 according to an embodiment of the present invention.

도 39을 참조하면, 전자기기(1000)는 커뮤니케이션(Communication) 서비스 앱들(APP1, APP2, APP3, APP4, APP5, APP6)을 전자기기(1000)의 사용자에게 제공할 수 있다. 사용자는 각종 앱들(APP1 내지 APP6)에서 제공하는 서비스를 이용하여, 다른 전자기기(미도시)의 사용자와 커뮤니케이션 할 수 있다.39, the electronic device 1000 may provide communication service apps (APP1, APP2, APP3, APP4, APP5, and APP6) to the user of the electronic device 1000. [ The user can communicate with a user of another electronic device (not shown) using a service provided by various apps (APP1 to APP6).

전자기기(1000)는 GPS 데이터 베이스(1400)를 더 포함할 수 있다. GPS 모듈(1100)은 전자기기(1000)에 포함된 위치 추적 엔진을 통하여 전자기기(1000)의 위치를 지속적으로 추적할 수 있다. GPS 데이터 베이스(1400)는 GPS 모듈(1100)에서 추적된 위치 데이터를 계속적으로 축적하여 전자기기(1000)의 위치에 대한 정보를 계속적으로 저장할 수 있다. The electronic device 1000 may further include a GPS database 1400. The GPS module 1100 can continuously track the position of the electronic device 1000 through a positioning engine included in the electronic device 1000. [ The GPS database 1400 may continuously accumulate positional data tracked by the GPS module 1100 to continuously store information on the position of the electronic device 1000. [

GPS 모듈(1100)은 GPS 인공위성으로부터 GPS 신호를 수신하여 전자기기(1000)의 위치를 측위하고 위치 정보를 생성하며, 이를 위해 GPS 안테나 및 GPS 수신기를 포함할 수 있다.The GPS module 1100 may receive a GPS signal from a GPS satellite to determine the position of the electronic device 1000 and generate position information, which may include a GPS antenna and a GPS receiver.

GPS 모듈(1100)은 GPS 신호에 포함된 항법 데이터를 분석하여 전자기기(1000)의 위경도 데이터, 시간 정보 등을 추출한다. GPS 신호에는 GPS 인공위성의 식별 코드(ID Code), 궤도 위치, 시간 정보가 포함되어 있으며, GPS 모듈(1100)은 다수의 GPS 인공위성으로부터 발사되는 전파간 도달 속도의 차이를 연산하여 전자기기(1000)의 위치 좌표를 연산한다. 전술한 동작은 GPS 모듈(1100)에 내장된 GPS 측위 프로그램에 의해 수행될 수 있다.The GPS module 1100 analyzes the navigation data included in the GPS signal to extract the radar data, the time information, and the like of the electronic device 1000. The GPS module 1100 calculates the difference between the arrival speeds of the waves radiated from a plurality of GPS satellites and transmits the calculated information to the electronic device 1000. [ As shown in FIG. The above-described operation can be performed by a GPS positioning program embedded in the GPS module 1100. [

여기서, 전술한 GPS 측위 프로그램은 C-GPS(Conventional GPS)에 의한 측위 방식, DGPS(Differential GPS)에 의한 측위 방식, A-GPS(Assisted GPS)에 의한 측위 방식, 이중차분 방식에 의한 측위방식(Double Differential GPS) 중 하나 이상의 방식을 이용하여 전자기기(1000)의 위치를 측위할 수 있다. 또한, GPS 측위 프로그램은 A-GPS, DGPS, 이중차분 GPS 등에 따라 더 정밀한 측위를 하기 위하여 외부의 기지국 등으로부터 오차 보정과 관련된 신호를 수신하고, 그에 따라 측정된 위치를 보정할 수 있다.Here, the above-described GPS positioning program may be implemented by a positioning method using C-GPS (Conventional GPS), a positioning method using DGPS (Differential GPS), a positioning method using A-GPS (Assisted GPS) And a Double Differential GPS). &Lt; / RTI > In addition, the GPS positioning program can receive a signal related to error correction from an external base station or the like in order to perform more accurate positioning according to A-GPS, DGPS, double differential GPS, and the like, thereby correcting the measured position.

물론, 전자기기(1000)가 GPS 모듈(130)을 구비하지 않은 단말기인 경우에는 GPS 안테나, GPS 수신기 등을 구비한 별도의 GPS Kit를 전자기기(1000)에 연결하여 GPS Kit에서 측위한 위치 정보를 제공받을 수 있다.If the electronic device 1000 is a terminal that does not have the GPS module 130, a separate GPS Kit including a GPS antenna and a GPS receiver may be connected to the electronic device 1000, and position information Can be provided.

따라서, 본 발명의 일 실시예에 따른 전자기기(1000)는 전자기기(1000)의 위치를 지속적으로 추적하고, 위치 데이터를 지속적으로 저장하여 사용자가 커뮤니케이션 서비스를 사용하면서, 보다 편리하게 진행되고 있는 커뮤니케이션 관련 정보를 제공받을 수 있도록 할 수 있다. Accordingly, the electronic device 1000 according to an embodiment of the present invention continuously tracks the position of the electronic device 1000 and continuously stores the position data, thereby enabling the user to use the communication service more conveniently Communication-related information can be provided.

도 40은 본 발명의 일 실시예에 따른 전자기기(1000)가 개체 인식하는 동작을 설명하기 위한 블록도이다.FIG. 40 is a block diagram illustrating an operation of the electronic device 1000 according to an embodiment of the present invention.

도 40을 참조하면, 전자기기(1000)에 포함된 자연어 처리기(1200)는 개체 인식부(1210) 및 빈도 측정부(1250)을 포함할 수 있다. 40, the natural language processor 1200 included in the electronic device 1000 may include an entity recognition unit 1210 and a frequency measurement unit 1250.

빈도 측정부(1250)는 인식된 각각의 개체에 대해서 대화에 사용된 빈도를 측정할 수 있다. 예를 들어, 개체 인식부(1210)는 [Who is Peter Higgs?]라는 문장에서 <Peter Higgs>를 개체로 인식할 수 있다. 빈도 측정부(1250)는 개체 인식부(1210)에 인식한 <Peter Higgs>라는 개체가 사용자간의 대화에 나오는 횟수를 카운트 할 수 있다. The frequency measurement unit 1250 can measure the frequency used in the conversation for each recognized object. For example, the entity recognizer 1210 may recognize < Peter Higgs > as an entity in the sentence [Who is Peter Higgs?]. The frequency measurement unit 1250 may count the number of times the entity <Peter Higgs> recognized by the entity recognition unit 1210 appears in the dialog between users.

빈도 측정부(1250)는 <Peter Higgs>라는 개체가 사용자간의 대화에 나오는 빈도의 비율을 계산할 수 있다. 예를 들어, 개체 인식부(1210)는 <Nobel Prize>라는 개체도 인식할 수 있다. 빈도 측정부(1250)는 <Nobel Prize>가 대화에서 7회 사용되고, <Peter Higgs>라는 개체가 14회 사용되는 경우, <Peter Higgs>의 빈도를 0.67로 계산할 수 있다. 빈도 측정부(1250)는 <해당 개체 사용 회수>를 인식된 <각각의 개체 사용 회수의 합>으로 나누어서 사용빈도를 계산할 수 있다. The frequency measurement unit 1250 can calculate the ratio of the frequency with which an entity < Peter Higgs > appears in a dialog between users. For example, the entity recognizer 1210 may recognize an entity called " Nobel Prize ". The frequency measurement unit 1250 can calculate the frequency of <Peter Higgs> to 0.67 when <Nobel Prize> is used seven times in conversation and the object <Peter Higgs> is used 14 times. The frequency measurement unit 1250 may calculate the frequency of use by dividing the number of times the corresponding object is used by the sum of the recognized number of times each object is used.

개체 인식부(1210)는 각각의 개체에 대한 정보를 서버(3000)로부터 수신할 수 있다. The entity recognizer 1210 may receive information about each entity from the server 3000. [

서버(3000)는 데이터 산출부(3400)을 포함할 수 있다. 데이터 산출부(3400)는 텍스트 수집부(3410) 및 데이터 스토리지(3430)을 포함할 수 있다. 데이터 스토리지(3430)는 각종 데이터 베이스들(3431, 3433)을 포함할 수 있다.The server 3000 may include a data calculation unit 3400. The data calculating unit 3400 may include a text collecting unit 3410 and a data storage 3430. The data storage 3430 may include various databases 3431 and 3433.

텍스트 수집부(3410)는 데이터 스토리지(3430)에 저장된 각종 지식(Knowledge) 데이터베이스(3433)에서 텍스트를 수집할 수 있다. 텍스트 수집부(3410)는 수집된 데이터를 서버의 개체 인식 데이터 베이스(3431)에 저장할 수 있다. 데이터 산출부(3400)는 개체 인식된 데이터 베이스(3431)에 대한 정보를 도 41에 도시된 테이블 차트와 같이 정리하여 데이터 스토리지(3430)에 저장할 수 있다. The text collecting unit 3410 may collect text from various knowledge databases 3433 stored in the data storage 3430. The text collection unit 3410 may store the collected data in the object recognition database 3431 of the server. The data calculation unit 3400 may organize the information about the object recognized database 3431 as shown in the table chart of FIG. 41 and store the information in the data storage 3430.

본 발명의 일 실시예에 따른 전자기기(1000)는 개체 인식부(1210)을 포함하여, 사용자 간의 메시지에 포함된 각각의 개체들을 인식하고, 개체들이 사용된 빈도를 측정할 수 있다. 그리하여, 전자기기(1000)는 각각의 개체가 대화에 사용된 빈도와 같은 개체에 대한 정보를 활용하여 키워드를 추출하거나 검색어를 생성할 수 있고, 또는 키워드를 추출을 제한 하거나 검색어 추출을 제한할 수 있다. The electronic device 1000 according to an embodiment of the present invention may include an entity recognizer 1210 to recognize individual entities included in a message between users and to measure the frequency with which the entities are used. Thus, the electronic device 1000 can extract keywords or generate search terms using information about objects such as the frequency with which each object is used in conversation, or restrict the extraction of keywords or limit the extraction of search terms have.

도 41은 본 발명의 일 실시예에 따른 개체 인식부(1210)가 개체 인식하여 작성하는 테이블 차트이다.FIG. 41 is a table chart prepared by the entity recognizing unit 1210 according to an embodiment of the present invention.

도 41을 참조하면, 도 40의 개체 인식부(1210)는 <Peter Higgs>, <European Center for Nuclear Research>, <United States>, <Switzerland>를 개체로 인식할 수 있다. 개체 인식부(1210)는 서버(3000)에 포함된 데이터 스토리지(3430)에서 각각의 개체에 대한 정보를 추출할 수 있다. 예를 들어, 개체 정보는 관련도(Relevance), 어감(Sentiment), 형태(Type), 링크된 데이터(Linked Data)를 포함할 수 있다. Referring to FIG. 41, the entity recognizer 1210 of FIG. 40 may recognize <Peter Higgs>, <European Center for Nuclear Research>, <United States>, and <Switzerland> as entities. The entity recognizer 1210 may extract information about each entity in the data storage 3430 included in the server 3000. [ For example, the entity information may include Relevance, Sentiment, Type, and Linked Data.

전자기기(100)는 추출된 개체 정보를 통하여 키워드를 추출하거나 검색어를 생성하는데 사용할 수 있다. 따라서, 전자기기(100)는 개체 정보를 자연어 분석에 활용하여 메시지에 포함된 사용자의 의도를 보다 명확하게 확인할 수 있다. The electronic device 100 can extract a keyword or generate a search word through the extracted entity information. Therefore, the electronic device 100 can more clearly confirm the intention of the user included in the message by utilizing the entity information for natural language analysis.

도 42은 본 발명의 일 실시예에 따른 전자기기(1000)가 사용자 입력을 획득하는 동작을 설명하기 위한 블록도이다.FIG. 42 is a block diagram illustrating an operation in which the electronic device 1000 acquires a user input according to an embodiment of the present invention.

도 42을 참조하면, 전자기기(1000)에 포함된 사용자 문맥 인식 프레임 워크(1500)는 텍스트 지원부(Text Assistance Unit, 1510), 이미지 지원부(Image Assistance Unit, 1520) 및 음성 지원부(Voice Assistance Unit, 1530)을 포함할 수 있다. 또한, 사용자 문맥 인식 프레임 워크(1500)는 서비스 바인딩부(1550)을 포함할 수 있다. 또한, 텍스트 지원부(1510)는 문맥 인식 텍스트 마이닝부(Context Aware Text Mining Unit, 1513) 및 쿼리 생성부(Query Generation Unit, 1515)를 포함할 수 있다.42, the user context recognition framework 1500 included in the electronic device 1000 includes a text assistance unit 1510, an image assistance unit 1520, and a voice assistance unit 1520. [ 1530). In addition, the user context aware framework 1500 may include a service binding unit 1550. The text support unit 1510 may include a context aware text mining unit 1513 and a query generation unit 1515.

서비스 바인딩부(1550)는 사용자 입력을 수신하여 입력 형태에 대응하여 텍스트 지원부(1510), 이미지 지원부(1520), 음성 지원부(1530)에 사용자 입력을 전달 할 수 있다. 또한, 서비스 바인딩부(1550)는 생성된 검색어를 텍스트 지원부(1510)로부터 수신하여 사용자에게 전달할 수 있다. The service binding unit 1550 may receive a user input and transmit the user input to the text support unit 1510, the image support unit 1520, and the voice support unit 1530 according to the input type. In addition, the service binding unit 1550 can receive the generated search word from the text support unit 1510 and deliver it to the user.

텍스트 지원부(1510)는 서비스 바인딩부(1550)을 통하여 수신된 텍스트 형식의 사용자 입력에 대해서 검색어(Query)를 생성할 수 있다. 텍스트 지원부(1510)는 문맥 인식 텍스트 마이닝부(1513)를 통하여 지속적으로 텍스트 마이닝을 수행하고, 쿼리 생성부(Query Generation Unit, 1515)를 통하여 검색어를 생성할 수 있다. 생성된 검색어는 서버(2000) 또는 클라우드(3000)와 연결되어 서치 엔진(3500), 이미지 분석 엔진(3600) 또는 음성 지원 엔진(3700)과 연결될 수 있다. The text support unit 1510 can generate a query for a textual user input received through the service binding unit 1550. The text support unit 1510 may continuously perform text mining through the context-aware text mining unit 1513 and may generate a search term through a query generation unit 1515. [ The generated search term may be connected to the server 2000 or the cloud 3000 and connected to the search engine 3500, the image analysis engine 3600 or the voice support engine 3700.

이미지 지원부(1520)는 수신된 이미지를 통하여 수신된 음성에 대응하는 텍스트를 생성할 수 있다. 생성된 텍스트는 쿼리 생성부(1515)로 전송될 수 있고, 쿼리 생성부(1515)는 텍스트 입력과 동일한 방식으로 검색어를 생성할 수 있다. The image support unit 1520 can generate text corresponding to the voice received through the received image. The generated text may be transmitted to the query generation unit 1515, and the query generation unit 1515 may generate the search word in the same manner as the text input.

음성 지원부(1530)는 수신된 음성을 통하여 수신된 음성에 대응하는 텍스트를 생성할 수 있다. 생성된 텍스트는 쿼리 생성부(1515)로 전송될 수 있고, 쿼리 생성부(1515)는 텍스트 입력과 동일한 방식으로 검색어를 생성할 수 있다.The voice support unit 1530 can generate text corresponding to the voice received via the received voice. The generated text may be transmitted to the query generation unit 1515, and the query generation unit 1515 may generate the search word in the same manner as the text input.

텍스트 지원부(1510), 이미지 지원부(1520) 및 음성 지원부(1530)는 도 31b와 같은 인터페이스를 통하여 활성화 되거나 비활성화 될 수 있다. 예를 들어, 사용자가 도 31b의 인터페이스를 이용하여 설정부(10_a)를 Text로 설정하는 경우, 이미지 지원부(1520) 및 음성 지원부(1530)는 불활성화 될 수 있고, 전자기기(100)는 이미지 입력 또는 음성 입력에도 불구하고, 입력에 대응하는 검색어를 생성하지 않을 수 있다. The text support unit 1510, the image support unit 1520, and the voice support unit 1530 may be activated or deactivated through the interface as shown in FIG. 31B. For example, when the user sets the setting unit 10_a to Text using the interface of FIG. 31B, the image support unit 1520 and the voice support unit 1530 may be deactivated, It is possible not to generate a search term corresponding to the input, regardless of the input or the voice input.

도 43은 본 발명의 일 실시예에 따른 전자기기(1000)가 사용자 입력을 획득하는 동작을 설명하기 위한 블록도이다.FIG. 43 is a block diagram illustrating an operation in which the electronic device 1000 acquires a user input according to an embodiment of the present invention.

도 43을 참조하면, 전자기기(1000)는 전자기기(1000)는 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)을 포함할 수 있다. 즉, 도 42의 경우와 달리, 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)는 전자기기(100) 내에서 포함 될 수 있다. 서치 엔진(1850), 이미지 분석 엔진(1860) 또는 음성 지원 엔진(1870)은 검색어를 수신하여 정보를 획득하는데 사용될 수 있다. Referring to FIG. 43, the electronic device 1000 may include a search engine 1850, an image analysis engine 1860, or a voice support engine 1870. That is, unlike the case of FIG. 42, the search engine 1850, the image analysis engine 1860, or the voice support engine 1870 may be included in the electronic device 100. The search engine 1850, the image analysis engine 1860 or the voice support engine 1870 can be used to receive the query and obtain information.

도 44는 본 개시의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블록도이며, 도 44에 도시된 사용자 단말 장치(1000)은 도 1의 전자기기(100) 일 수 있다. FIG. 44 is a block diagram illustrating a configuration of a user terminal device according to an embodiment of the present disclosure. The user terminal device 1000 shown in FIG. 44 may be the electronic device 100 of FIG.

도 44에 도시된 바와 같이, 사용자 단말 장치(1000)의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다. 44, the configuration of the user terminal device 1000 may include, for example, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic frame, a navigation device, a digital TV, a wrist watch, And a wearable device such as a head-mounted display (HMD) or the like.

도 44에 따르면, 사용자 단말 장치(1000)는 디스플레이부(1100), 제어부(1700), 메모리(1200), GPS 칩(1250), 통신부(1300), 비디오 프로세서(1350), 오디오 프로세서(1400), 사용자 입력부(1450), 마이크부(1500), 촬상부(1550), 스피커부(1600), 움직임 감지부(1650) 중 적어도 하나를 포함 할 수 있다. 44, the user terminal apparatus 1000 includes a display unit 1100, a controller 1700, a memory 1200, a GPS chip 1250, a communication unit 1300, a video processor 1350, an audio processor 1400, A user input unit 1450, a microphone unit 1500, an image sensing unit 1550, a speaker unit 1600, and a motion sensing unit 1650.

디스플레이부(1100)는 표시패널(1110) 및 표시 패널(1110)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(1110)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(1110)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(1100)는 사용자 입력부(1450)의 터치 패널(1470)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(1110)과 터치 패널(1470)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.The display unit 1100 may include a display panel 1110 and a controller (not shown) for controlling the display panel 1110. The display panel 1110 is implemented with various types of displays such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, an active matrix organic light-emitting diode (AM-OLED), and a plasma display panel . The display panel 1110 can be implemented as being flexible, transparent or wearable. The display unit 1100 may be coupled to a touch panel 1470 of the user input unit 1450 and provided as a touch screen (not shown). For example, the touch screen (not shown) may include an integrated module in which the display panel 1110 and the touch panel 1470 are combined in a laminated structure.

메모리(1200)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. The memory 1200 may include at least one of an internal memory (not shown) and an external memory (not shown).

내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(1700)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(1700)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.The built-in memory may be a volatile memory (for example, a dynamic RAM (DRAM), a static random access memory (SRAM), a synchronous dynamic RAM (SDRAM), or the like), a nonvolatile memory (e.g., an OTPROM ), A PROM (Programmable ROM), an EPROM (Erasable and Programmable ROM), an EEPROM (Electrically Erasable and Programmable ROM), a Mask ROM, a Flash ROM etc.), a hard disk drive (HDD), or a solid state drive . According to one embodiment, the controller 1700 may load and process commands or data received from at least one of the non-volatile memory or other components into the volatile memory. In addition, the control unit 1700 can save data received or generated from other components in the nonvolatile memory.

외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.The external memory may store at least one of CF (Compact Flash), SD (Secure Digital), Micro-SD (Micro Secure Digital), Mini-SD (Mini Secure Digital), xD .

메모리(1200)는 사용자 단말 장치(1000)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 메모리(1200)에는 잠금 화면에 표시될 컨텐츠의 적어도 일부를 임시 또는 반영구적으로 저장할 수 있다.The memory 1200 may store various programs and data used in the operation of the user terminal device 1000. [ For example, the memory 1200 may temporarily or semi-permanently store at least a portion of the content to be displayed on the lock screen.

제어부(1700)는 메모리(1200)에 저장된 컨텐츠의 일부가 디스플레이부(1100)에 표시되도록 디스플레이부(1100)를 제어할 수 있다. 다시 말하자면, 제어부(1700)는 메모리(1200)에 저장된 컨텐츠의 일부를 디스플레이부(1100)에 표시할 수 있다. 또는, 제어부(1700)는 디스플레이부(11000)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다. The control unit 1700 may control the display unit 1100 such that a part of the content stored in the memory 1200 is displayed on the display unit 1100. [ In other words, the control unit 1700 may display a part of the content stored in the memory 1200 on the display unit 1100. [ Alternatively, when the user gesture is performed in one area of the display unit 11000, the control unit 1700 may perform a control operation corresponding to the gesture of the user.

제어부(1700)는 RAM(1710), ROM(1720), CPU(1730), GPU(Graphic Processing Unit)(1740) 및 버스(1750) 중 적어도 하나를 포함 할 수 있다. RAM(1710), ROM(1720), CPU(1730) 및 GPU(1740) 등은 버스(1750)를 통해 서로 연결될 수 있다. The control unit 1700 may include at least one of a RAM 1710, a ROM 1720, a CPU 1730, a GPU (Graphic Processing Unit) 1740, and a bus 1750. The RAM 1710, the ROM 1720, the CPU 1730 and the GPU 1740 may be connected to each other via a bus 1750.

CPU(1730)는 메모리(1200)에 액세스하여, 메모리(1200)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(1200)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The CPU 1730 accesses the memory 1200 and performs booting using the O / S stored in the memory 1200. [ Various operations are performed using various programs, contents, data, and the like stored in the memory 1200.

ROM(1720)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(1000)는 턴온 명령이 입력되어 전원이 공급되면, CPU(1730)가 ROM(1720)에 저장된 명령어에 따라 메모리(1200)에 저장된 O/S를 RAM(1710)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(1730)는 메모리(1200)에 저장된 각종 프로그램을 RAM(1710)에 복사하고, RAM(1710)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(1740)는 사용자 단말 장치(1000)의 부팅이 완료되면, 디스플레이부(1100)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(1740)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(1740)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(1740)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(1740)에서 생성된 화면은 디스플레이부(1100)로 제공되어, 디스플레이부(1100)의 각 영역에 각각 표시될 수 있다. A ROM 1720 stores a command set for booting the system and the like. The CPU 1730 copies the O / S stored in the memory 1200 to the RAM 1710 according to a command stored in the ROM 1720, You can boot the system by running O / S. When the booting is completed, the CPU 1730 copies various programs stored in the memory 1200 to the RAM 1710, executes the program copied to the RAM 1710, and performs various operations. The GPU 1740 displays the UI screen in the area of the display unit 1100 when the booting of the user terminal apparatus 1000 is completed. Specifically, the GPU 1740 can generate a screen displaying an electronic document including various objects such as contents, icons, menus, and the like. The GPU 1740 computes an attribute value such as a coordinate value, a shape, a size, and a color to be displayed by each object according to the layout of the screen. The GPU 1740 can generate screens of various layouts including the objects based on the calculated attribute values. The screen generated by the GPU 1740 may be provided to the display unit 1100 and displayed in each area of the display unit 1100.

GPS 칩(1250)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 사용자 단말 장치(1000)의 현재 위치를 산출할 수 있다. 제어부(1700)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(1250)을 이용하여 사용자 위치를 산출할 수 있다.The GPS chip 1250 can receive GPS signals from GPS (Global Positioning System) satellites and calculate the current position of the user terminal device 1000. The control unit 1700 may calculate the user position using the GPS chip 1250 when using the navigation program or when the user's current position is required.

통신부(1300)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(1310), 블루투스 칩(1320), 무선 통신 칩(1330), NFC 칩(1340) 중 적어도 하나를 포함할 수 있다. 제어부(1700)는 통신부(1300)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다.The communication unit 1300 can perform communication with various types of external devices according to various types of communication methods. The communication unit 130 may include at least one of a Wi-Fi chip 1310, a Bluetooth chip 1320, a wireless communication chip 1330, and an NFC chip 1340. The control unit 1700 can perform communication with various external devices using the communication unit 1300.

와이파이 칩(1310), 블루투스 칩(1320)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(1310)이나 블루투스 칩(1320)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(1330)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.The WiFi chip 1310 and the Bluetooth chip 1320 can perform communication using the WiFi method and the Bluetooth method, respectively. When the WiFi chip 1310 or the Bluetooth chip 1320 is used, various connection information such as an SSID and a session key may be transmitted and received first, and communication information may be used to transmit and receive various information. The wireless communication chip 1330 refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3GPP (Third Generation Partnership Project), LTE (Long Term Evolution) The NFC chip 134 means a chip operating in an NFC (Near Field Communication) system using a band of 13.56 MHz among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860 to 960 MHz and 2.45 GHz.

비디오 프로세서(1350)는 통신부(1300)를 통해 수신된 컨텐츠 또는, 메모리(1200)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(1350)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. The video processor 1350 can process the content received through the communication unit 1300 or the video data included in the content stored in the memory 1200. [ The video processor 1350 can perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.

오디오 프로세서(1400)는 통신부(1300)를 통해 수신된 컨텐츠 또는, 메모리(1200)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(1400)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.The audio processor 1400 can process the content received through the communication unit 1300 or the audio data included in the content stored in the memory 1200. [ In the audio processor 1400, various processes such as decoding or amplification of audio data, noise filtering, and the like may be performed.

제어부(1700)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(1350) 및 오디오 프로세서(1400)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(1600)는 오디오 프로세서(1400)에서 생성한 오디오 데이터를 출력할 수 있다.The control unit 1700 can play the multimedia content by playing the multimedia program by running the video processor 1350 and the audio processor 1400. [ The speaker unit 1600 may output the audio data generated by the audio processor 1400.

사용자 입력부(1450)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(1450)는 키(1460), 터치 패널(1470) 및 펜 인식 패널(1480) 중 적어도 하나를 포함할 수 있다. The user input unit 1450 can receive various commands from the user. The user input 1450 may include at least one of a key 1460, a touch panel 1470, and a pen recognition panel 1480.

키(1460)는 사용자 단말 장치(1000)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.The keys 1460 may include various types of keys, such as mechanical buttons, wheels, etc., formed in various areas such as the front or side of the body exterior of the user terminal device 1000,

터치 패널(1470)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1470)이 표시 패널(1110)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서　발생하는　터치　이벤트는　주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.The touch panel 1470 senses a user's touch input and can output a touch event value corresponding to the sensed touch signal. When the touch panel 1470 is combined with the display panel 1110 to form a touch screen (not shown), the touch screen may be implemented by various types of touch sensors such as an electrostatic type, a pressure sensitive type, a piezoelectric type, The electrostatic type is a method of calculating the touch coordinates by sensing the minute electricity generated by the user's body when a part of the user's body is touched on the touch screen surface by using a dielectric coated on the surface of the touch screen. The depressurization type includes two electrode plates built in the touch screen. When the user touches the screen, the upper and lower plates of the touched point contact each other to sense current flow, and the touch coordinates are calculated. A touch event occurring on a touch screen can be generated by a finger of a person, but can also be generated by a conductive material capable of applying a capacitance change.

펜 인식 패널(1480)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(1480)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(1480)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(1480)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(1480)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(1480)은 표시 패널(1110)의 하부에 일정 면적, 예를 들어, 표시 패널(1110)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다. The pen recognition panel 1480 senses proximity input or touch input of the pen as a result of operation of the user's touch pen (e.g., a stylus pen, a digitizer pen) Touch events can be output. The pen recognition panel 1480 may be implemented, for example, in an EMR manner and may sense a touch or proximity input according to proximity of a pen or change in intensity of an electromagnetic field due to a touch. More specifically, the pen recognition panel 1480 includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processing unit (not shown) for providing an AC signal having a predetermined frequency sequentially to each loop coil of the electromagnetic induction coil sensor ). &Lt; / RTI > When a pen incorporating a resonant circuit exists in the vicinity of the loop coil of the pen recognition panel 1480, a magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonant circuit in the pen. Based on this current, an induction magnetic field is generated from the coil constituting the resonance circuit in the pen, and the pen recognition panel 1480 detects the induction magnetic field in the loop coil in the signal reception state, The touch position can be detected. The pen recognition panel 1480 may be provided at a lower portion of the display panel 1110 with a certain area, for example, an area capable of covering the display area of the display panel 1110. [

마이크부(1500)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(1700)는 마이크 부(1500)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(1200)에 저장할 수 있다.The microphone unit 1500 may receive a user voice or other sound and convert it into audio data. The control unit 1700 may use the user's voice input through the microphone unit 1500 in a call operation or convert the user's voice into audio data and store the audio data in the memory 1200. [

촬상부(1550)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(1550)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다. The image pickup section 1550 can capture a still image or a moving image under the control of the user. The imaging unit 1550 may be implemented as a plurality of cameras such as a front camera and a rear camera.

촬상부(1550) 및 마이크부(1500)가 마련된 경우, 제어부(1700)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(1550)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 사용자 단말 장치(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(1700)는 촬상부(1550)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(1700)는 마이크부(1500)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다. The control unit 1700 performs a control operation in accordance with the user's voice input through the microphone unit 150 or the user's motion recognized by the image sensing unit 1550. In the case where the image pickup unit 1550 and the microphone unit 1500 are provided, It is possible. For example, the user terminal device 100 may operate in a motion control mode or a voice control mode. When operating in the motion control mode, the control unit 1700 activates the image pickup unit 1550 to pick up a user, track a user's motion change, and perform a corresponding control operation. When operating in the voice control mode, the control unit 1700 may operate in a voice recognition mode for analyzing the user voice input through the microphone unit 1500 and performing a control operation according to the analyzed user voice.

움직임 감지부(1650)는 사용자 단말 장치(1000)의 본체 움직임을 감지할 수 있다. 사용자 단말 장치(1000)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(1650)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다. The motion detection unit 1650 may detect movement of the main body of the user terminal device 1000. The user terminal device 1000 may be rotated or tilted in various directions. At this time, the motion sensing unit 1650 may sense motion characteristics such as a rotation direction, an angle, and a tilt using at least one of various sensors such as a geomagnetism sensor, a gyro sensor, and an acceleration sensor.

그 밖에, 사용자 단말 장치(1000) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다. In addition, the user terminal 1000 receives and processes a USB port through which a USB connector can be connected, various external input ports for connecting to various external terminals such as a headset, a mouse, and a LAN, and a DMB (Digital Multimedia Broadcasting) A DMB chip, various sensors, and the like.

전술한 사용자 단말 장치(1000)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 사용자 단말 장치(1000)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.The names of the components of the user terminal device 1000 described above may vary. Further, the user terminal device 1000 according to the present disclosure may be configured to include at least one of the above-described components, and some components may be omitted or further include other additional components.

도 45은 본 개시의 일 실시 예에 따른 사용자 단말 장치(1000)의 소프트웨어 구성을 나타내는 블록도이다.45 is a block diagram showing a software configuration of a user terminal apparatus 1000 according to an embodiment of the present disclosure.

도 45에 따르면, 메모리(1200)는 사용자 단말 장치(1000)의 자원을 제어하는 운영체제 및 어플리케이션의 동작을 위한 응용 프로그램 등을 저장할 수 있다. 운영체제는 커널, 미들웨어, API 등을 포함할 수 있다. 운영체제로는, 예를 들어, 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 운영 체제 등이 있을 수 있다.Referring to FIG. 45, the memory 1200 may store an operating system for controlling resources of the user terminal apparatus 1000 and an application program for operation of the application. The operating system may include the kernel, middleware, API, and so on. The operating system may be, for example, Android, iOS, Windows, Symbian, Tizen or Bada operating systems.

커널(1210)은 자원을 관리할 수 있는 디바이스 드라이버(1210-1) 또는 시스템 리소스 매니저(1210-2) 중 적어도 하나를 포함할 수 있다. 디바이스 드라이버(1210-1)는 사용자 단말 장치(1000)의 하드웨어들을 소프트웨어적으로 접근하여 제어하도록 할 수 있다. 이를 위하여, 디바이스 드라이버(1210-1)는, 인터페이스와 각 하드웨어 업체가 제공하는 개별 드라이버 모듈로 구분될 수 있다. 디바이스 드라이버(1210-1)는, 예로, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버 또는 IPC (inter-process communication) 드라이버 중 적어도 하나를 포함할 수 있다. 시스템 리소스 매니저(1210-2)는 프로세스 관리부, 메모리 관리부 또는 파일 시스템 관리부 중 적어도 하나를 포함할 수 있다. 시스템 리소스 메니저(1210-2)는 시스템 리소스의 제어, 할당 또는 회수 등의 기능을 수행할 수 있다. The kernel 1210 may include at least one of a device driver 1210-1 or a system resource manager 1210-2 capable of managing resources. The device driver 1210-1 can access and control the hardware of the user terminal device 1000 in a software manner. To this end, the device driver 1210-1 may be divided into an interface and individual driver modules provided by respective hardware vendors. The device driver 1210-1 may include at least one of a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication . The system resource manager 1210-2 may include at least one of a process management unit, a memory management unit, and a file system management unit. The system resource manager 1210-2 may perform functions such as controlling, allocating, or recovering system resources.

미들웨어(1220)는 다양한 어플리케이션들에서 공통적으로 요구되는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 미들웨어(1220)는 어플리케이션(1240)이 사용자 단말 장치 내부의 자원을 효율적으로 사용할 수 있도록 API(1230)를 통해 기능을 제공할 수 있다. 미들웨어(1220)는, 예컨대, 어플리케이션 매니저(1220-1), 윈도우 매니저(1220-2), 멀티미디어 매니저(1220-3), 리소스 매니저(1220-4), 파워 매니저(1220-5), 데이터베이스 매니저(1220-6), 패키지 매니저(1220-7), 연결 매니저(1220-8), 통지 매니저(1220-9), 위치 매니저(1220-10), 그래픽 매니저(1220-11) 또는 보안 매니저(1220-12) 등의 복수의 모듈들 중 적어도 하나 이상을 포함할 수 있다.The middleware 1220 may include a plurality of modules previously implemented to provide functions commonly required in various applications. The middleware 1220 may provide functions through the API 1230 to allow the application 1240 to efficiently use resources within the user terminal device. The middleware 1220 includes an application manager 1220-1, a window manager 1220-2, a multimedia manager 1220-3, a resource manager 1220-4, a power manager 1220-5, The service manager 1220-6, the package manager 1220-7, the connection manager 1220-8, the notification manager 1220-9, the location manager 1220-10, the graphic manager 1220-11, or the security manager 1220-11 -12) < / RTI > and the like.

어플리케이션 매니저(1220-1)는 어플리케이션(1240) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(1220-2)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1220-3)는 다양한 미디어 파일들의 재생에 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(1220-4)는 어플리케이션(1240) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다. 파워 매니저(1220-5)는 바이오스(BIOS) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(1220-6)는 어플리케이션(1240) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 패키지 매니저(1220-7)은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다. 연결 매니저(1220-8)는, 예로, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(122-9)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(1220-10)는 사용자 단말 장치(1000)의 위치 정보를 관리할 수 있다. 그래픽 매니저(1220-11)는 사용자에게 제공될 그래픽 효과 및 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1220-12)는 시스템 보안 또는 사용자 인증 등에 요구되는 제반 보안 기능을 제공할 수 있다. 사용자 사용자 단말 장치(1000)가 전화 기능을 구비한 경우에는, 미들웨어(1220)는 사용자의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(미도시)를 더 포함할 수 있다. The application manager 1220-1 can manage the life cycle of at least one of the applications 1240. [ The window manager 1220-2 can manage GUI resources used on the screen. The multimedia manager 1220-3 grasps the format for reproduction of various media files and can encode or decode the media file using a codec suitable for the format. The resource manager 1220-4 can manage resources such as source code, memory or storage space of at least one of the applications 1240. The power manager 1220-5 operates in conjunction with a BIOS or the like to manage a battery or a power source and provide power information and the like to the operation. The database manager 1220-6 may manage to create, search, or modify a database for use in at least one of the applications 1240. The package manager 1220-7 can manage installation or update of an application distributed in the form of a package file. The connection manager 1220-8 may, for example, manage wireless connections such as WiFi or Bluetooth. The notification manager 122-9 may display or notify events such as arrival messages, appointments, proximity notifications, etc. in a manner that is not disturbed to the user. The location manager 1220-10 can manage location information of the user terminal device 1000. [ The graphics manager 1220-11 may manage the graphical effects to be provided to the user and the associated user interface. The security manager 1220-12 can provide all security functions required for system security or user authentication. When the user user terminal device 1000 has a telephone function, the middleware 1220 may further include a call manager (not shown) for managing the voice or video call function of the user.

미들웨어(1220)는 런타임 라이브러리(1220-13) 또는 다른 라이브러리 모듈들(미도시)를 더 포함할 수 있다. 런타임 라이브러리(1220-13)는 어플리케이션이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈이다. 예컨대, 런타임 라이브러리(1220-13)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다. 미들웨어(1220)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 미들웨어(1220)는 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 미들웨어(1220)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 본 개시의 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나, 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.The middleware 1220 may further include a runtime library 1220-13 or other library modules (not shown). The runtime library 1220-13 is a library module used by the compiler to add new functions through a programming language while the application is running. For example, runtime library 1220-13 may perform functions such as input / output, memory management, or arithmetic functions. The middleware 1220 can create and use a new middleware module through various functional combinations of the internal component modules. The middleware 1220 can provide a module specialized for each type of operating system to provide differentiated functions. Middleware 1220 may dynamically delete some existing components or add new ones. It is possible to omit some of the elements described in the embodiments of the present disclosure, to include other elements, or to replace them with elements having other names that perform similar functions.

API(1230)는 API 프로그래밍 함수들의 집합으로써 운영체제에 따라 다른 구성으로 제공될 수 있다. 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.The API 1230 is a set of API programming functions and can be provided in different configurations depending on the operating system. In the case of Android or iOS, for example, you can provide one API set per platform, and in the case of Tizen, for example, you can provide two or more API sets.

어플리케이션(1240)은, 디폴트로 설치되어 있는 프리로드 어플리케이션(preloaded Application) 또는 사용자가 사용 과정에서 설치하여 사용할 수 있는 제 3자 어플리케이션(third party application)을 포함할 수 있다. 어플리케이션(1240)은, 예를 들어, 홈 화면으로 돌아가기 위한 홈 어플리케이션(1240-1), 상대방과 전화 통화를 할 수 있는 다이얼러(dialer) 어플리케이션(1240-2), 전화번호로 식별되는 상대방으로부터 메시지를 수신하는 문자 메시지 어플리케이션(1240-3), IM(Instant Message) 어플리케이션(1240-4), 브라우저(Browser) 어플리케이션(1240-5), 카메라 어플리케이션(1240-6), 알람 어플리케이션(1240-7), 상대방의 전화번호 또는 주소를 관리하는 폰 북(Phone-Book) 어플리케이션(1240-8), 사용자의 통화 로그, 문자 메시지의 수/발신 로그 또는 부재 중 전화 로그 등을 관리하는 콜 로그 어플리케이션(1240-9), 이메일(E-mail)로 식별되는 상대방으로부터 메시지를 수신하는 이메일 어플리케이션(1240-10), 달력 어플리케이션(1240-11), 미디어 플레이어(Media Player) 어플리케이션(1240-12), 앨범 어플리케이션(1240-13) 또는 시계 어플리케이션(1240-14) 중 적어도 하나를 포함할 수 있다. 본 개시에 따른 소프트웨어의 전술한 구성요소들의 명칭은 운영체제의 종류에 달라질 수 있다. 또한, 본 개시에 따른 소프트웨어는 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. The application 1240 may include a preloaded application installed by default or a third party application that a user can install and use in the course of use. The application 1240 includes, for example, a home application 1240-1 for returning to the home screen, a dialer application 1240-2 for making phone calls with the other party, An instant messaging (IM) application 1240-4, a browser application 1240-5, a camera application 1240-6, an alarm application 1240-7 A phone book application 1240-8 for managing the telephone number or address of the other party, a call log application for managing the user's call log, the number / sending log of a text message, An e-mail application 1240-10, a calendar application 1240-11, a media player application 1240-12, an album application 1240-2, an e-mail application 1240-2, Applications Of the indications (1240-13) or an application clock (1240-14) may include at least one. The names of the aforementioned components of the software according to the present disclosure may vary depending on the type of operating system. In addition, the software according to the present disclosure may include at least one or more of the above-described components, some of which may be omitted, or may further include other additional components.

도 46은 본 발명의 일 실시예를 설명하기 위한 전자기기(2000)의 유저 인터페이스(UI)를 도시하는 도면이다. 전자기기(2000)는 도 1의 전자기기(100) 일 수 있다. 46 is a diagram showing a user interface (UI) of the electronic device 2000 for explaining an embodiment of the present invention. The electronic device 2000 may be the electronic device 100 of FIG.

전자기기(2000)는 프로세서(2700), 입력 인터페이스(2400), 출력 인터페이스(2100)를 포함할 수 있다. The electronic device 2000 may include a processor 2700, an input interface 2400, and an output interface 2100.

프로세서 프로세서(2700)는 모바일 애플리케이션 프로세서(Mobile Application Processor) 또는 중앙 처리 장치(Central Processor Unit)을 포함할 수 있다. 프로세서는 제어기(Controller), 제어부(Control Unit) 등으로 표현될 수 있다. 또한, 프로세서는 코어(Core), 디스플레이 제어기(Display controller), ISP(Image Signal Processor)를 포함하는 의미로 사용될 수 있다.Processor processor 2700 may include a Mobile Application Processor or a Central Processor Unit. The processor may be represented by a controller, a control unit, or the like. In addition, the processor may be used to include a core, a display controller, and an image signal processor (ISP).

본 발명의 일 실시예에 따른 프로세서(2700)는 커뮤니케이션 서비스를 통해서 화면에 표시되는 메시지에서 적어도 하나의 키워드를 추출할 수 있다. 또한, 본 발명의 일 실시예에 따른 프로세서(2700)는 키워드와 관련된 검색어를 생성할 수 있다. 또한, 본 발명의 일 실시예에 따른 프로세서(2700)는 편집된 검색어 및 전자기기의 위치 정보를 기초로 정보를 획득하는 할 수 있다. The processor 2700 according to an exemplary embodiment of the present invention may extract at least one keyword from a message displayed on a screen through a communication service. In addition, the processor 2700 in accordance with one embodiment of the present invention may generate a search term associated with a keyword. Also, the processor 2700 according to an embodiment of the present invention can acquire information based on the edited search word and the location information of the electronic device.

입력 인터페이스(2400)는 사용자가 전자기기(100)의 제어를 위해 데이터를 입력하기 위한 수단을 의미할 수 있다. 예를 들어, 입력 인터페이스(2400)는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드 (접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 또한, 입력 인터페이스는 터치 스크린(Touch Screen), 터치 패널(Touch Panel), 마이크, 키보드를 포함할 수 있다.The input interface 2400 may refer to a means for a user to input data for control of the electronic device 100. [ For example, the input interface 2400 may be a keypad, a dome switch, a touchpad (contact capacitive, pressure resistive, infrared, surface ultrasonic, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like. In addition, the input interface may include a touch screen, a touch panel, a microphone, and a keyboard.

또한, 입력 인터페이스(2400)는 사용자로부터 데이터를 입력받기 위한 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 입력 인터페이스(2400)는, 모션 인식 모듈, 터치 인식 모듈, 음성 인식 모듈 등을 포함할 수 있다. In addition, the input interface 2400 may include at least one module for receiving data from a user. For example, the input interface 2400 may include a motion recognition module, a touch recognition module, a speech recognition module, and the like.

터치 인식 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서로 전달할 수 있다. 음성 인식 모듈은 음성 인식 엔진을 이용하여 사용자의 음성을 인식하고, 인식된 음성을 프로세서로 전달할 수 있다. 모션 인식 모듈은 피사체(Object)의 움직임을 인식하고, 피사체(Object)의 움직임에 관한 정보를 프로세서로 전달할 수 있다. The touch recognition module senses a touch gesture on the user's touch screen and can pass information about the touch gesture to the processor. The speech recognition module recognizes the user's speech using a speech recognition engine and can transmit the recognized speech to the processor. The motion recognition module recognizes the motion of the object and can transmit information on the motion of the object to the processor.

명세서 전체에서 사용자가 전자기기(2000)의 입력 인터페이스(2400)를 통해서 하는 `입력`은, 터치 입력, 벤딩 입력, 음성 입력, 키 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. The `input` made by the user through the input interface 2400 of the electronic device 2000 in the entire specification may include at least one of a touch input, a bending input, a voice input, a key input, and a multimodal input, But is not limited thereto.

"터치 입력"이란 사용자가 전자기기(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.The "touch input" means a gesture or the like performed by the user on the touch screen to control the electronic device 100. [ For example, the touch input described herein may include a tap, a touch & hold, a double tap, a drag, a panning, a flick, a drag and drop,

"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다. The "tap" indicates an operation in which the user immediately touches the screen using a finger or a touch tool (e.g., an electronic pen) and immediately lifts it from the screen without moving.

"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다. "Touch & hold" represents an operation for the user to touch the screen using a finger or a touch tool (e.g., an electronic pen) and then maintain the touch input for a critical time (e.g., 2 seconds) or more. For example, the time difference between the touch-in and touch-out times is equal to or greater than a threshold time (e.g., 2 seconds). In order to allow the user to recognize whether the touch input is a tap or a touch & hold, the feedback signal may be provided visually, audibly or tactually when the touch input is maintained for a predetermined time or more. The threshold time may vary depending on the implementation.

"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다. "Double tap" indicates an operation in which the user touches the screen twice with a finger or a stylus.

"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다."Drag" means an operation of moving a finger or a touch tool to another position in the screen while the user holds the touch after touching the finger or the touch tool on the screen. The object is moved due to the drag operation or a panning operation to be described later is performed.

"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다. "Panning" indicates a case where a user performs a drag operation without selecting an object. Since panning does not select a specific object, the object is not moved within the page, but the page itself moves within the screen, or the group of objects moves within the page.

"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다. A "flick" represents an operation in which a user drags a finger or touch tool to a critical velocity (e.g., 100 pixel / s) or more. It is possible to distinguish the drag (or panning) from the flick based on whether the moving speed of the finger or the touch tool is equal to or greater than a critical speed (for example, 100 pixel / s).

"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다. "Drag & drop" means an operation in which a user drags an object to a predetermined position on the screen using a finger or a touch tool, and then releases the object.

"핀치(pinch)"는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정된다.A "pinch" represents an operation in which a user moves two fingers in different directions while touching the screen. It is a gesture for pinch opening or pinch closing of an object or a page, and a magnification value or a reduction value is determined according to the distance between two fingers.

"스와이프(swipe)"는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.A "swipe" is an operation of moving a certain distance in the horizontal or vertical direction while touching an object on the screen with a finger or a touch tool. Motion in the diagonal direction may not be recognized as a swipe event.

"모션 입력"은, 사용자가 전자기기(100)를 제어하기 위해 전자기기(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 전자기기(100)를 회전시키거나, 전자기기(100)를 기울이거나, 전자기기(2000)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 전자기기(2000)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다. The "motion input" means a motion that the user applies to the electronic device 100 to control the electronic device 100. [ For example, the motion input may include an input by which a user rotates the electronic device 100, tilts the electronic device 100, or moves the electronic device 2000 up, down, left, and right. The electronic device 2000 may use a predetermined motion input by a user using an acceleration sensor, a tilt sensor, a gyro sensor, a 3-axis magnetic sensor, Can be detected.

명세서 전체에서 "벤딩 입력"은, 전자기기(100)가 플렉서블 디스플레이 장치인 경우, 사용자가 전자기기(2000)를 제어하기 위해 전자기기(2000)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 전자기기(2000)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다. Throughout the specification, "bending input" means an input in which a user bends all or a portion of an electronic device 2000 to control the electronic device 2000, if the electronic device 100 is a flexible display device. According to an embodiment of the present invention, the electronic device 2000 uses a bending sensor to measure a bending position (coordinate value), a bending direction, a bending angle, a bending speed, a bending frequency, Lt; / RTI >

명세서 전체에서 "키 입력"은 사용자가 전자기기(2000)에 부착된 물리적인 키 또는 전자기기(2000)가 제공하는 가상적인 키를 이용하여, 전자기기(2000)를 제어하는 입력을 의미한다. Throughout the specification, "key input" means an input for controlling the electronic device 2000 using a physical key attached to the electronic device 2000 or a virtual key provided by the electronic device 2000.

명세서 전체에서 "다중 입력"은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 전자기기(2000)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 전자기기(2000)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 전자기기(2000)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다. Throughout the specification, "multiple input" means that at least two input methods are combined. For example, the electronic device 2000 may receive the touch input and the motion input of the user, and the touch input and the voice input of the user. Also, the electronic device 2000 may receive a touch input of the user and an eye input. The eyeball input means an input for controlling a blinking of an eye, a gazing position, a moving speed of an eyeball, etc., in order to control the electronic device 2000.

본 발명의 일 실시예에 따른 입력 인터페이스는 사용자로부터 편집된 검색어 를 수신할 수 있다. An input interface according to an embodiment of the present invention may receive an edited query from a user.

출력 인터페이스는 오디오 신호 또는 비디오 신호 또는 알람(Alarm) 신호의 출력을 위한 것으로, 출력 인터페이스는 디스플레이 모듈과 음향 출력 모듈 등을 포함할 수 있다. 또한, 출력 인터페이스는 2차원 영상을 디스플레이 할 수 있는 평판 디스플레이, 3차원 영상을 디스플레이 할 수 있는 평판 디스플레이를 포함할 수 있다. 출력 인터페이스는 3차원 홀로그램을 출력할 수 있는 장치를 포함할 수 있다. The output interface is for outputting an audio signal, a video signal, or an alarm signal, and the output interface may include a display module, an audio output module, and the like. In addition, the output interface may include a flat panel display capable of displaying a two-dimensional image, and a flat panel display capable of displaying a three-dimensional image. The output interface may include a device capable of outputting a three-dimensional hologram.

본 발명의 일 실시예에 따른 출력 인터페이스는 프로세서에서 생성한 검색어를 제공할 수 있다. 본 발명의 일 실시예에 따른 출력 인터페이스는 프로세서에서 획득된 정보를 제공 할 수 있다. The output interface according to an embodiment of the present invention can provide a search word generated by the processor. The output interface according to an embodiment of the present invention may provide information obtained at the processor.

전자기기(2000)는 검색 서버와 통신을 통하여 정보를 송수신할 수 있다. 예를 들어, 전자기기(2000)은 적어도 하나의 프로토콜을 통하여 검색 서버와 통신할 수 있다. 예를 들어, 전자기기(2000)은 TFTP(Trivial File Transfer Protocol), SNMP(Simple Network Mangement Protocol), SMTP(Simple Mail Transfer Protocol), POP(Post Office Protocol), ICMP(Internet Control Message Protocol), SLIP(Serial Line Interface Protocol), PPP(Point to Point Protocol), DHCP(Dynamic Host Control Protocol), NETBIOS(Network Basic Input Output System), IPX/SPX(Internetwork Packet eXcharge), ICMP(Internet Control Manage Protocol), IP(Internet Protocol), ARP(Address Resolusion Protocol), TCP(Transmission Control Protocol), UDP(User Datagram Protocol), winsock, DHCP(Dynamic Host Configulatin Protocol), RIP(Routing Informaion Protocol) 및 NetBIOS 중 적어도 하나의 프로토콜을 통하여 검색 서버와 통신할 수 있으나, 이에 한정되는 것은 아니다.The electronic device 2000 can transmit and receive information through communication with the search server. For example, the electronic device 2000 may communicate with the search server via at least one protocol. For example, the electronic device 2000 may be a TIFTP (Simple Network Management Protocol), a Simple Mail Transfer Protocol (SMTP), a Post Office Protocol (POP), an Internet Control Message Protocol (ICMP) (IP) / SPX (Internetwork Packet eXcharge), ICMP (Internet Control Management Protocol), IP (Internet Protocol), and IP At least one of Internet Protocol, Address Resolution Protocol (ARP), Transmission Control Protocol (TCP), User Datagram Protocol (UDP), winsock, Dynamic Host Configuration Protocol (DHCP), Routing Information Protocol (RIP) But it is not limited to this.

전자기기(2000)는 근거리 통신 모듈을 통하여 근거리 통신을 수행할 수 있다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.The electronic device 2000 can perform short-range communication through the short-range communication module. The short range communication technology may be Wi-Fi, Bluetooth, ZigBee, Wi-Fi Direct, UWB (ultra wideband), IrDA (infrared data association) no.

본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed methods should be considered in an illustrative rather than a restrictive sense. It is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents.

Claims

An electronic device for providing a search service during communication,
A display unit for displaying a message exchanged between the electronic device and another electronic device via the communication on an execution screen of an application in which the communication is performed; And
Extracting the at least one keyword from the message on the basis of the kind of words included in the message displayed on the execution screen of the application, the relation between the words, and the meaning of the word, And a processor for determining a search term of the search service using the information,
Wherein the display unit displays the portion corresponding to the extracted keyword used in the determination of the search word among the displayed messages so as to be distinguished from other portions.

The method according to claim 1,
Wherein the display unit includes a graphical user interface (GUI) for receiving a user input for selecting a portion corresponding to the displayed keyword,
The processor acquires information based on the search term corresponding to the user input,
Wherein the display unit displays information obtained corresponding to the user input.

3. The electronic device of claim 2, wherein the processor obtains information via at least one of an application service and an Internet search service.

The electronic device according to claim 3, wherein the processor executes an application installed in the electronic device in response to the user input, and inputs the determined search word to the executed application to obtain the information.

The display device according to claim 1,
Further comprising a graphical user interface (GUI) for receiving a user input for selecting a portion corresponding to the displayed keyword, wherein the display unit displays a search word editing window corresponding to the user input.

The display device according to claim 5,
And displays the search word determined by the processor through the search word editing window, and receives the search word edited by the user.

The electronic device according to claim 6, wherein the processor acquires information through a user-edited search word.

The electronic device according to claim 1, wherein the position information of the electronic device is measured or extracted from a GPS (Global Positioning System) module included in the electronic device.

9. The electronic device according to claim 8, wherein the processor determines the search word of the search service by preferentially using the position information extracted from the message with respect to the position information measured from the GPS module

The electronic apparatus according to claim 1, wherein the processor determines the search term based on user-related information included in the electronic apparatus.

A method for providing a search service during communication in an electronic device,
Displaying a message exchanged between the electronic device and another electronic device through the communication on an execution screen of an application in which the communication is performed;
Extracting the at least one keyword from the message based on a type of words included in a message displayed on an execution screen of the application, a relation between words, and a meaning of a word; And
And determining a search word of the search service using the extracted keyword and the location information of the electronic device,
Wherein the displaying step displays the portion corresponding to the extracted keyword used in the determination of the search word among the displayed messages so as to be distinguished from other portions.

12. The method as claimed in claim 11,
Receiving a user input for selecting a portion corresponding to the displayed keyword;
Obtaining information based on the search term corresponding to the user input; And
And displaying the acquired information corresponding to the user input.

The method as claimed in claim 12, wherein the step of acquiring the information acquires information through at least one of an application service and an Internet search service.

14. The method according to claim 13, wherein the step of acquiring the information comprises executing an application installed in the electronic device corresponding to the user input, and inputting the determined search word into the executed application to acquire the information A method of providing a search service.

12. The method as claimed in claim 11,
Receiving a user input for selecting a portion corresponding to the displayed keyword; And
And displaying the search word editing window in response to the user input.

16. The method as claimed in claim 15,
Displaying the determined search word through the search word editing window; And
Further comprising the step of receiving a search term edited by the user.

17. The method according to claim 16, wherein the step of acquiring the information acquires information through a search word edited by a user.

12. The method according to claim 11, wherein the location information of the electronic device is measured through a Global Positioning System (GPS) module included in the electronic device or extracted from the message.

19. The method of claim 18, wherein determining the search term comprises:
Wherein a search word of the search service is determined by preferentially using the position information extracted from the message with respect to the position information measured from the GPS module.

12. The method of claim 11, wherein determining the search term comprises:
Wherein the search term is determined based on user related information included in the electronic device.