KR102517219B1 - 전자장치 및 그 제어방법 - Google Patents

Abstract

본 발명은 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품에 관한 것으로, 전자장치는, 복수의 외부장치와 통신할 수 있는 통신부; 상황정보를 저장할 수 있는 저장부; 사용자의 제1발화에 따라 상기 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작이 수행되도록 제어하고, 상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 상기 저장부에 저장하며, 사용자의 제2발화에 대응하여, 상기 저장된 상황정보에 기초하여 상기 복수의 동작 중에서 상기 제2발화에 대응하는 어느 하나의 동작을 결정하고, 상기 결정된 동작이 수행되도록 제어하는 프로세서를 포함한다. 이에 따라, 전자장치는 사용자의 의도에 맞는 동작을 수행할 수 있다.

Description

전자장치 및 그 제어방법 {ELECTRONIC APPARATUS AND THE CONTROL METHOD THEREOF}

본 발명은 전자장치 및 그 제어방법에 관한 것으로, 보다 구체적으로는, 사용자의 음성인식을 수행할 수 있는 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품에 관한 것이다.

최근 전자장치는 사용자의 음성에 대한 명령을 수행할 수 있다. 전자장치가 사용자의 음성을 인식하여, 해당 음성에 대응하는 동작을 수행할 수 있고, 동작을 수행하지 않는 전자장치가 사용자의 음성을 인식하여, 해당 음성에 대응하는 명령을 다른 전자장치로 전송할 수 있다.

전자장치의 음성인식에서, 전자장치가 동작 수행에 필요한 정보를 모두 포함하는 문장을 사용자가 발화하면, 전자장치는 사용자의 음성을 인식하고 해당 명령을 수행할 수 있다. 그러나 보통 일상 생활에서는, 사용자는 필요한 정보 중 일부가 생략된 형식에 자유로운 문장을 발화한다.

종래기술에 의하면, 사용자가 사람과 대화하듯이 완벽하지 않은 문장으로 전자장치에 발화하면 전자장치는 인식한 음성에 해당하는 명령을 수행하지 못하거나 사용자의 의도와는 다른 동작을 수행할 수 있는 문제점이 존재한다.

따라서, 본 발명의 목적은, 음성인식에 있어서, 사용자가 발화한 완벽하지 않은 문장을 수신하면, 사용자의 의도를 예측하여 적절한 명령을 선택하여 수행하는 전자장치와 그 제어방법 및 그 컴퓨터프로그램제품을 제공하는 것이다.

상기 목적은, 전자장치에 있어서, 복수의 외부장치와 통신할 수 있는 통신부; 상황정보를 저장할 수 있는 저장부; 사용자의 제1발화에 따라 상기 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작이 수행되도록 제어하고, 상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 상기 저장부에 저장하며, 사용자의 제2발화에 대응하여, 상기 저장된 상황정보에 기초하여 상기 복수의 동작 중에서 상기 제2발화에 대응하는 어느 하나의 동작을 결정하고, 상기 결정된 동작이 수행되도록 제어하는 프로세서를 포함하는 전자장치에 의해 달성될 수 있다. 이에 따라, 전자장치는 자유로운 발화에서 사용자의 의도를 예측하여 전자장치의 오작동을 줄일 수 있다.

상기 프로세서는, 상기 상황정보에서 복수의 인자는 장치, 공간, 시간, 공간상태 중 적어도 하나를 포함하도록 제어할 수 있다. 이에 따라, 전자장치는 사용자의 의도를 더 정밀하게 예측할 수 있다.

상기 프로세서는 상기 상황정보의 복수의 인자 중 적어도 하나의 인자의 유사도와 발화내용의 유사도를 포함하여 동작을 결정하도록 제어할 수 있다. 이에 따라, 전자장치는 사용자의 의도를 더 정밀하게 예측할 수 있다.

상기 프로세서는 상기 상황정보를 유저의 입력에 따라 저장하거나 편집하도록 제어할 수 있다. 이에 따라, 전자장치는 사용자에게 최적화된 상황정보를 저장하여 사용자의 의도를 더 정밀하게 예측할 수 있다.

상기 전자장치는 화면을 출력할 수 있는 디스플레이부를 더 포함하고, 상기 프로세서는 상기 상황정보를 화면에 유저인터페이스(UI)를 이용하여 상황정보를 저장하거나 편집하도록 제어할 수 있다. 이에 따라, 사용자는 편리하게 상황정보를 편집할 수 있다.

상기 프로세서는 동작 수행 횟수에 기초하여 유사도 판단을 적용할 동작을 우선적으로 결정하도록 제어할 수 있다. 이에 따라, 전자장치는 사용자가 사용하는 빈도가 높은 동작을 수행하여 오작동을 줄일 수 있다.

상기 프로세서는 상기 상황정보를 복수의 인자의 카테고리 별로 분류하여 저장하도록 제어할 수 있다. 이에 따라, 전자장치는 유사도 판단 과정을 더 효율적으로 할 수 있다.

상기 프로세서는, 상기 상황정보를 복수의 인자의 사용자별로 분류하여 저장하도록 제어할 수 있다. 이에 따라, 전자장치는 사용자에 따라 효율적으로 음성인식을 할 수 있다.

상기 목적은, 본 발명에 따라, 전자장치를 제어하는 방법에 있어서, 사용자의 제1발화에 따라 통신부를 통하여 통신할 수 있는 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작이 수행되도록 제어하는 단계; 상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 저장할 수 있는 저장부에 상기 상황정보를 저장하는 단계; 사용자의 제2발화에 대응하여, 상기 저장된 상황정보에 기초하여 상기 복수의 동작 중에서 상기 제2발화에 대응하는 어느 하나의 동작을 결정하는 단계; 상기 결정된 동작이 수행되도록 제어하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 자유로운 발화에서 사용자의 의도를 예측하여 전자장치의 오작동을 줄일 수 있다.

상기 저장하는 단계는, 상기 상황정보에서 복수의 인자는 장치, 공간, 시간, 공간상태 중 적어도 하나를 포함하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 사용자의 의도를 더 정밀하게 예측할 수 있다.

상기 결정하는 단계는, 상기 상황정보의 복수의 인자 중 적어도 하나의 인자의 유사도와 발화내용의 유사도를 포함하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 사용자의 의도를 더 정밀하게 예측할 수 있다.

상기 방법은, 상기 상황정보를 유저에 입력에 따라 저장하거나 편집하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 사용자에게 최적화된 상황정보를 저장하여 사용자의 의도를 더 정밀하게 예측할 수 있다.

상기 방법은, 화면을 출력할 수 있는 디스플레이부를 통하여 상기 상황정보를 화면에 유저인터페이스(UI)를 이용하여 상황정보를 저장하거나 편집하는 단계를 포함할 수 있다. 이에 따라, 사용자는 편리하게 상황정보를 편집할 수 있다.

상기 결정하는 단계는, 동작 수행 횟수에 기초하여 유사도 판단을 적용할 동작을 우선적으로 결정하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 사용자가 사용하는 빈도가 높은 동작을 수행하여 오작동을 줄일 수 있다.

상기 저장하는 단계는, 상기 상황정보를 복수의 인자의 카테고리 별로 분류하여 저장하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 유사도 판단 과정을 더 효율적으로 할 수 있다.

상기 저장하는 단계는, 상기 상황정보를 복수의 인자의 사용자별로 분류하여 저장하는 단계를 포함할 수 있다. 이에 따라, 전자장치는 사용자에 따라 효율적으로 음성인식을 할 수 있다.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션을 저장하는 메모리와; 프로세서를 포함하며, 상기 인스트럭션은, 사용자의 제1발화에 따라 통신부를 통하여 통신할 수 있는 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작이 수행되도록 제어하고, 상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 저장할 수 있는 저장부에 상기 상황정보를 저장하고, 사용자의 제2발화에 대응하여, 상기 저장된 상황정보에 기초하여 상기 복수의 동작 중에서 상기 제2발화에 대응하는 어느 하나의 동작을 결정하고, 상기 결정된 동작이 수행되도록 제어한다. 이에 따라, 전자장치는 자유로운 발화에서 사용자의 의도를 예측하여 전자장치의 오작동을 줄일 수 있다.

상기한 바와 같이, 본 발명에 의하면, 음성인식에 있어서, 불완전한 문장에서 사용자의 의도를 파악하여 이에 대응하는 동작을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전자장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작의 흐름도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 상황정보를 도시한다.
도 5는 본 발명의 일 실시예에 따른 전자장치가 발화 분석하는 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 수행 과정을 도시한다.
도 7은 본 발명의 일 실시예에 따른 전자장치의 배치예를 도시한다.
도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 예를 도시한다.
도 10은 본 발명의 일 실시예에 따른 전자장치의 동작 예를 도시한다.
도 11은 본 발명의 일 실시예에 의한 UI의 일례를 도시한다.
도 12는 본 발명의 일 실시예에 의한 UI의 일례를 도시한다.

이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

본 명세서에서의 복수의 요소 중 적어도 하나는 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭하는 것으로 사용한다.

최근 사용자는 Internet of Things(IoT)를 이용하여 전자장치(1)의 동작을 쉽게 제어할 수 있다. 전자장치를 제어하는 방법은 여러가지 방법이 있지만, 본 발명에서는 사용자의 음성명령에 따라 전자장치를 제어하는 것에 관하여 설명한다. 음성명령과 IoT 기술을 이용하면 사용자는 전자장치에 다가가지 않고, 원거리에서 음성명령으로 전자장치를 제어할 수도 있다. 사용자의 음성명령이 전자장치가 필요한 모든 정보를 포함하면, 전자장치는 다른 오작동 없이 동작을 수행할 수 있다. 그러나 사용자가 형식에 얽매이지 않거나 정보의 일부가 생략되어 있는 자유로운 문장에 해당하는 음성명령을 발화(이하 '자유로운 발화')하면, 전자장치는 해당 음성명령에 대응하는 동작을 수행하기 어려울 수 있다. 이를 해결하기 위해, 전자장치는 음성명령에 대응하는 동작을 수행하거나 수행하지 않은 상황의 정보를 누적하여 저장하여, 자유로운 발화에 대응하는 음성명령에 대하여 저장된 상황정보를 이용함으로써, 사용자의 의도에 대응하는 동작을 수행할 수 있도록 한다. 이하에서는, 본 발명의 일 실시예에 따른 전자장치에 대한 설명을 한다.

도 1은 본 발명의 일 실시예에 따른 전자장치를 도시한다. 본 발명의 일 실시예에 따른 전자장치(1)는, 예컨대, TV, 냉장고, 조명, 쿡탑, 스피커, 서버 등 음성명령(100)을 인식할 수 있는 장치로 구현될 수 있다. 본 발명의 일 실시예에 따른 전자장치(1)는 이에 한정되지 않고, 사용자의 음성명령(100)을 인식할 수 있는 장치라면 무엇이든 가능하다. 전자장치(1)는, 하나의 실시예로서, 음성명령에 대응하는 동작을 수행하는지 여부에 따라, 제1전자장치(11)와 제2전자장치(12) 두 종류로 분류할 수 있다. 제1전자장치(11)는 사용자의 의도에 맞는 음성명령을 선택할 수 있고, 그 음성명령에 대응하는 동작을 수행할 수 있는 전자장치(1)이며, 제2전자장치(12)는 사용자의 음성에서 사용자의 의도에 맞는 음성명령을 선택하는 전자장치(1)이다. 다만, 본 발명의 실시예에 따른 전자장치(1)는 이러한 역할 구분 및 전자장치의 수에 제한되지 않는다.

이하에서는, 전자장치(1)는, 다른 특별한 언급이 없는 한, 제1전자장치(11)와 제2전자장치(12)를 구별하지 않고 통합하여 지칭하는 것으로 사용된다. 전자장치(1)는 다른 전자장치(1)와 유/무선으로 연결되어 통신할 수 있다. 이에 따라, 전자장치(1)는 다른 전자장치(1)가 수신한 음성명령을 공유할 수도 있다. 따라서, 다른 전자장치(1)가 수신한 음성명령에 대하여 전자장치(1)가 음성명령에 대응하는 동작을 수행할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 전자장치의 블록도로 도시한다. 전자장치(1)는 프로세서(210)와 음성신호 수신부(220)로 구성되어 있다. 전자장치(1)는 통신부(230), 저장부(240), 센서부(250) 및 동작수행부(260)를 더 포함할 수 있다. 다만, 도 2에 도시된 본 발명의 일 실시예에 의한 전자장치(1)의 구성은 하나의 예시일 뿐이며, 본 발명의 일 실시예에 의한 전자장치는 도 2에 도시된 구성 외에 다른 구성으로도 구현될 수 있다. 즉, 본 발명의 일 실시예에 의한 전자장치는 도 2에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 2에 도시된 구성 중 어느 하나가 배제되어 구현될 수도 있다.

음성신호 수신부(220)는 사용자의 음성신호를 수신한다. 음성신호 수신부(220)는 사용자의 음성신호를 수신하기 위해 마이크(Mic)를 구비할 수 있다. 전자장치(1)는 음성신호를 직접적 혹은 간접적으로 수신할 수 있다. 전자장치(1)는 마이크와 같은 수신부를 구비하여 직접 음성신호를 수신할 수 있다. 이 때, 음성신호 수신부(220)는 수신되는 사용자의 음성명령에 해당하는 아날로그 신호를 디지털 신호로 변환하고, 변환된 디지털 신호를 프로세서(210)로 전달하여, 음성인식 모듈을 통해 음성 인식 동작을 수행하도록 한다. 음성신호 수신부(220)는 마이크(Mic)만을 이용하여 사용자의 음성신호를 수신하는 것은 아니며, 다른 구성을 이용하여 사용자의 음성신호를 수신할 수도 있다.

전자장치(1)는 다른 장치를 이용하여 간접적으로 음성신호를 수신할 수 있다. 예를 들어, 전자장치(1)와 통신하는 리모트 컨트롤러(미도시) 혹은 스마트폰 등의 모바일 기기(미도시)에 구비되어 있는 마이크(Mic)를 통해 음성명령이 수신될 수도 있다. 이 경우, 리모트 컨트롤러 혹은 모바일 기기는 마이크를 통해 수신한 음성명령에 해당하는 아날로그 신호를 디지털 신호로 변환하고, 변환된 디지털 신호를 통신부(230) 등을 통해 전자장치(1)로 전송한다. 통신부(230)는 리모트 컨트롤러 혹은 모바일 기기로부터 수신한 음성신호를 프로세서(210)로 전달하여, 프로세서(210)는 수신한 음성신호에 대응하는 음성인식 동작을 수행하도록 한다.

전자장치(1)는 외부장치 또는 다른 전자장치(1)와 통신하여, 사용자의 음성신호를 수신하는 통신부(230)를 구비할 수 있다. 통신부(230)는 전자장치(1)에 따라서 다양한 방식으로 구현될 수 있다. 예컨대, 통신부(230)는 유선통신을 위한 접속부를 포함하며, 접속부는 HDMI(High Definition Multimedia Interface), HDMI-CEC(Consumer Electronics Control), USB, 컴포넌트(Component) 등의 규격에 따른 신호/데이터를 송/수신할 수 있으며, 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터 또는 단자를 포함한다. 통신부(230)는 유선 LAN(Local Area Network)을 통해 복수의 서버들과 유선 통신을 수행할 수 있다.

통신부(230)는 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다. 예컨대, 외부 장치와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, 와이파이(Wi-fi), 블루투스(Bluetooth), 지그비(Zigbee), UWB(Ultra-Wide Band), 무선 USB(Wireless USB), NFC(Near Field Communication), 적외선 중 하나 이상의 통신방법을 이용하여 수행하도록 구성될 수 있다.

통신부(230)는 전자장치(1)와 상기 통신방법 중 적어도 하나 이상의 통신방법을 이용하여 통신하는 모바일기기(미도시)로부터 음성신호를 수신할 수도 있다. 이 경우, 모바일 기기는 스마트폰 등으로 마련될 수 있고, 예컨대 리모컨 앱(Application)을 설치하고, 리모컨 앱을 실행하여 전자장치(1)의 동작을 제어하기 위한 음성입력 등을 통해 음성신호를 전자장치(1)로 전송할 수 있다.

전자장치(1)는 음성신호 수신부(220) 또는 통신부(230)를 통해 수신된 음성명령을 전자장치(1) 자체에서 처리하지 않고, 음성인식 서버(미도시)로 전송하여 처리하도록 할 수 있다. 음성인식 서버는, 예컨대, STT-서버(Speech To Text Server)로 구현될 수 있다. 이 경우, 프로세서(210)는 음성명령의 데이터를 음성인식 서버로 전송하고, 음성인식 서버가 음성인식 동작을 수행하여 음성명령의 데이터를 텍스트로 변환하게 된다.

이와 같이 음성인식 서버에서 처리된 음성명령의 데이터는 전자장치(1)로 다시 전송하거나, 음성명령의 음성인식 결과를 수집하는 다른 서버로 전송할 수 있다. 전자장치(1)가 음성인식 서버에서 처리된 음성명령의 변환된 텍스트를 수신하는 경우, 프로세서(210)는 음성명령의 변환된 텍스트에 대응하는 전자장치(1)의 기능을 수행하도록 제어한다.

이 때, 프로세서(210)는 음성명령의 변환된 텍스트에 대응하는 전자장치(1)의 기능에 관한 정보를 음성인식 서버 혹은 다른 서버로 전송할 수도 있다. 이에 따라, 음성인식 서버 혹은 다른 서버에서 음성인식 결과에 대응하는 기능에 관한 정보를 저장부(240)에 저장하고, 이후 동일한 음성명령이 수신되었을 때 저장된 정보를 참조하여 해당 기능을 수행하도록 전자장치(1)로 정보를 제공할 수 있다.

음성신호 수신부가 전자장치(1) 외부에 구비되어 있는 경우, 전자장치(1)와 음성신호 수신부와의 통신방법과 전자장치(1)와 외부 서버(미도시)와의 통신 방법은 동일할 수도 있고 다를 수도 있다. 예를 들어, 전자장치(1)가 와이파이를 이용하여 음성신호 수신부, 외부서버와 통신할 수 있으며, 음성신호 수신부와는 블루투스, 외부서버와는 이더넷을 이용하여 통신할 수 있다.

전자장치(1)는 동작을 수행하기 위해 필요한 정보를 저장하기 위해 저장부(240)를 구비할 수 있다. 예를 들어, 저장부(240)는 상황정보와 같이 전자장치(1)의 동작 수행에 필요한 정보를 누적적으로 저장할 수 있다. 이에 따라, 전자장치(1)는 정보를 누적하여 저장하고 이를 학습하여 사용자의 의도를 파악할 수 있다. 저장부의 종류나 저장되는 형태 등은 제한되지 않는다.

전자장치(1)는 전자장치(1)의 상태 또는 전자장치(1) 외부의 상태 등을 감지할 수 있는 센서부(250)를 구비할 수 있다. 센서부(250)는 자극을 감지할 수 있다. 예를 들어, 센서부(250)는 이미지 또는 사용자의 위치 또는 사용자의 움직임을를 감지할 수 있는 이미지센서, 진동을 감지할 수 있는 움직임센서, 위치를 감지할 수 있는 위치센서, 온도를 감지할 수 있는 온도센서, 습도를 감지할 수 있는 습도센서, 밝기를 감지할 수 있는 조도센서, 색을 감지할 수 있는 컬러센서 등을 포함할 수 있다. 사용자의 움직임은 조도센서 또는 컬러센서로도 사용자의 움직임을 감지할 수 있다.으며, 전자장치(1)의 센서부(250)는 상기 나열된 센서에 한정되는 것이 아니라 다른 센서를 더 포함할 수 있다. 전자장치(1)는 센서부(250)를 직접 구비할 수도 있지만, 전자장치(1) 외부에 설치된 별도의 센서에서 감지된 자극을 통신부(230)를 통하여 수신할 수도 있다. 예를 들어, 공간에 전자장치(1)와 별도로 설치된 조도센서 또는 컬러센서에서 사용자의 움직임과 같은 자극을 감지하여 전자장치(1)로 전송할 수도 있다. 전자장치(1)는 이를 수신하여 상황정보로 활용할 수 있다.

전자장치(1)는 전자장치(1)의 동작을 수행하는 동작수행부(260)를 구비할 수 있다. 동작수행부(260)는 전자장치(1)가 수행할 수 있는 동작을 수행한다. 제1전자장치(11)의 경우에는 동작수행부(260)를 포함하지만, 제2전자장치(12)의 경우에는 동작수행부(260)를 포함하지 않을 수도 있다. 동작수행부(260)는 영상 또는 음성과 같이 출력하는 디스플레이나 스피커 등을 포함할 수 있다.

프로세서(210)는 전자장치(1)의 제반 구성들이 동작하기 위한 제어를 수행한다. 프로세서(210)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 프로세서 혹은 CPU(Central Processing Unit)를 포함할 수 있다. 또한, 이와 같은 제어프로그램은, 전자장치(1) 이외의 다른 전자기기에도 저장될 수 있다.

제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(1)의 제조 시에 전자장치(1)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 전자장치(1)에 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 전자장치(1)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.

프로세서(210)는, 예컨대, 사용자의 음성신호를 수신하도록 음성신호 수신부(220)를 제어한다. 프로세서(210)는 외부장치 또는 다른 전자장치(1)와 통신할 수 있도록 제어하고, 정보를 저장부(240)에 저장하도록 제어하고, 자극을 감지하도록 센서부(250)를 제어하며, 동작을 수행하도록 동작수행부(260)를 제어한다.

이하에서는, 음성인식을 하는 전자장치(1)와 서버와의 통신에 대하여 설명한다. 음성신호 수신부(220) 또는 통신부(230)를 통하여 음성신호가 수신되면, 프로세서(210)는 해당 신호를 통신부(230)를 통하여 서버로 전송할 수 있다. 신호를 수신한 서버는 음성신호 관련 데이터를 적절한 텍스트로 변환하는 STT 역할만을 하는 서버일 수 있으며, STT 역할도 하는 서버일 수 있다. 해당 서버는 STT 처리한 데이터를 전자장치(1)로 전송할 수 있다. 또는 해당 서버는 다른 서버로 전송하여 데이터를 처리한 후, 상기 다른 서버가 처리한 데이터를 전자장치(1)로 전송할 수 있다. 전자장치(1)는 해당 서버 또는 다른 서버로부터 수신한 데이터를 그대로 이용하거나 변형하여서, 특정 기능을 수행하도록 할 수 있다. 전자장치(1)가 음성신호에 대하여 동작을 수행하는 구성은 이에 한정되는 것이 아니다. 따라서 전자장치(1)는 STT의 역할만 하는 서버 또는 STT의 역할도 하는 서버를 포함하여 구성될 수도 있다.

이하, 본 발명의 일 실시예에 의한 프로세서(210)를 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른 전자장치의 동작을 도시하는 흐름도이다. 먼저, 프로세서(210)는 사용자의 제1발화를 수신한다(동작 S301). 제1발화는 전자장치(1)가 제1발화에 대응하는 명령을 수행하는데 필요한 정보를 포함할 수 있다. 프로세서(210)는 제1발화를 수신함에 따라, 제1발화에 대응하는 동작을 결정한다(동작 S302). 프로세서(210)는 결정한 동작에 대응하는 동작을 수행하도록 제어(동작 S303)한다. 결정한 동작에 대하여 전자장치(1)가 직접 수행할 수도 있고, 결정한 동작을 다른 전자장치(1)가 수행하도록 제어할 수도 있다. 프로세서(210)는 동작이 수행되는 상황에 대응하는 상황정보를 저장한다(동작 S304). 상황정보는 동작이 수행되는 당시의 시각, 전자장치(1)의 상태, 전자장치(1)의 위치에 대응하는 공간 등을 포함할 수 있다. 이와 같은 상황정보를 저장하여, 프로세서(210)는 저장한 상황정보를 추후에 이용할 수 있다. 상황정보에 대한 설명은 도 4에서 자세히 설명하도록 한다. 상황정보를 저장한 후에, 전자장치(1)는 제2발화를 수신할 수 있다(동작 S305). 제2발화는 제1발화와 동일하거나 유사할 수도 있다. 프로세서(210)는 기존에 저장되어 있는 상황정보를 이용하여 제2발화를 분석하는데 사용할 수 있다. 제2발화는 전자장치(1)가 동작을 수행하는데 필요한 정보를 모두 포함하고 있을 수 있지만, 필요한 정보 일부가 누락되어 있을 수 있다. 즉, 제2발화는 자유로운 발화일 수 있다. 프로세서(210)는 자유로운 발화인 제2발화에 보충하여, 사용자의 의도를 예측하고, 제2발화에 대응하는 동작을 결정할 수 있다(동작 S306). 프로세서(210)는 저장된 상황정보에 기초하여 제2발화에 대응하는 동작을 결정한 후에, 그 동작을 수행하도록 제어한다(동작 S307). 프로세서(210)는 제2발화에 대응하는 동작이 수행되는 상황에 대응하는 상황정보를 저장한다(동작 S308). 이와 같이, 프로세서(210)는 누적하여 상황정보를 저장한다. 이에 따라, 프로세서(210)는 자유로운 발화에서 사용자의 의도를 예측하여서 전자장치(1)의 오작동을 줄일 수 있다.

예를 들어, 사용자(도 8의 801)가 거실에서 오늘 날씨가 어떤지를 알고 싶어서 TV(도 8의 701)에 오늘 날씨에 대하여 물어보려고 한다. 사용자(도8의 801)가 다음과 같은 완벽한 문장을 발화하면 별다른 사정이 없는 한 프로세서(210)는 TV(701)가 오늘 날씨에 대한 정보를 알려주도록 제어할 것이다. "거실에 있는 TV야, 오늘 날씨를 알려줘". 이와 같이 전자장치(1)의 동작에 필요한 정보가 모두 있으면 TV(701)는 오늘 날씨에 대한 정보를 사용자(801)에게 알려줄 수 있다. 그러나, 자유로운 발화와 같은 다음과 같은 발화내용에 대해서는 적절한 명령을 선택하기 어려울 수 있다. 예를 들어, 사용자(801)가 "오늘 날씨"라고 발화하는 경우이다. 이러한 경우, 전자장치(1)의 동작에 대한 필요한 정보가 생략되어 있다. 이 경우, 본 발명의 전자장치(1)가 아닌 기존의 장치로는 적절한 동작을 수행하기 어려울 수 있다. 본 발명의 실시예에 따른 전자장치(1)는, 도 4 내지 도 6에서 후술하는 발화 분석을 수행하여, 이러한 상황에서 사용자의 의도에 맞는 동작을 수행할 수 있다

도 4는 본 발명의 일 실시예에 따른 전자장치의 상황정보를 도시한다. 부호 400은 전자장치(1)가 저장하는 상황정보의 예시를 표로 나타낸 것이다. 상황정보는 사용공간, 공간의 상태, 도메인, 발화횟수, 디바이스 ID 및 현재의 기능상태, 발화 일시 및 발화 내용 등이 있다. 상황정보의 종류는 이에 제한되지 않으며, 상황에 따라 더 많은 정보를 저장할 수 있다. 이에 따라, 사용자의 의도를 더 정밀하게 예측할 수 있다. 프로세서(210)는 상황정보를 복수의 인자의 카테고리별로 분류하여 저장하도록 제어할 수 있다. 이에 따라, 유사도 판단 과정을 더 효율적으로 할 수 있다. 또한, 프로세서(210)는 상황정보를 복수의 인자의 사용자별로 분류하여 저장하도록 제어할 수 있다. 이에 따라, 전자장치(1)는 사용자에 따라 효율적으로 음성인식을 할 수 있다.

사용공간은, 예를 들어, 거실, 부엌 및 방 1 등으로 분류될 수 있다. 사용공간은 이에 제한되지 않고 사용자는 더 많은 사용공간으로을 설정될할 수 있다.

전자장치(1)의 사용공간에 대한 정보는 사용자가 사용하기 이전에 미리 입력되어 있을 수 있다. 따라서, 전자장치(1)는 미리 입력되어 있는 사용공간에 대한 상황정보를 이용할 수 있다. 전자장치(1)에 사용공간에 대한 상황정보가 입력되어 있지 않은 경우, 사용자가 사용자 입력을 통하여 사용공간을 설정하거나 전자장치(1)는 학습을 통해 사용공간을 설정할 수 있다. 사용자가 사용자 입력을 통하여 전자장치(1)의 사용공간을 설정하는 것은 도 12에서 설명을 한다.

전자장치(1)에 상황정보가 입력되어 있지 않은 경우 학습을 통하여 사용자 입력 없이 자동으로 사용공간을 설정할 수도 있다. 예를 들어, 복수의 전자장치(1)에 동일한 음성명령이 동시에 입력되는 경우에는, 복수의 전자장치(1)의 각 전자장치(1)는 동일한 사용공간으로 설정할 수도 있다. 가령, 사용공간이 입력되지 않은 전자장치(1)와 사용공간이 입력된 전자장치(1)에서 동일한 음성명령이 동시에 입력되면, 사용공간이 입력되지 않은 전자장치(1)는 사용공간이 입력된 전자장치(1)와 동일한 공간에 있다고 설정할 수도 있다.

전자장치(1)가 학습하는 다른 예로, 전자장치(1)는 다른 전자장치(1)의 데이터베이스를 이용할 수 있다. 가령, 전자장치(1)는 각 전자장치(1)별로 사용자가 사용한 데이터베이스를 분석하여서, 동일한 경향을 보이면 같은 공간의 전자장치(1)로 설정하고 데이터베이스를 구축할 수 있다. 또는 전자장치(1)는 데이터베이스를 분석하여 동일한 경향을 보이는 사용자별로 전자장치(1)의 데이터베이스를 구축할 수 있다. 이에 따라, 동일한 공간 내에서 다수의 사용자가 사용하여도, 사용자별로 데이터베이스를 구축하여 동일한 명령에도 동일한 전자장치(1)는 사용자별로 다른 동작을 수행할 수도 있다.

전자장치(1)가 학습하는 또 다른 예로, 제1전자장치(1)는 제2 전자장치(1)의 데이터베이스를 분석하여 전자장치(1)의 상황정보 데이터베이스를 구축할 수 있다. 가령, 데이터베이스가 구축되지 않은 새로운 전자장치(1)는 기존에 있던 다른 전자장치(1)의 상황정보 데이터베이스를 이용할 수 있다. 이에 따라, 사용자는 데이터베이스가 없던 새로운 전자장치(1)를 수동으로 설정하는 번거로움 없이 사용할 수도 있다.

공간상태는 센서부(250)를 통하여 감지할 수 있는 각종 자극 또는 통신부(230)를 통해 수신한 데이터에 대한 결과값을 나타낼 수 있다. 조도, 습도, 온도 등이 표시될 수 있다. 프로세서(210)는 공간 상태를 이용하여 사용자의 의도를 파악할 수 있다.

도메인은 발화내용을 참조하여 프로세서(210)가 결정할 수 있다. 예를 들어 프로세서(210)는 발화내용이 "불 켜줘" 인 경우, 기기 컨트롤 또는 조명을 도메인으로 정할 수 있다.

발화 횟수는 이전에 발화된 내용에 따라 동작을 수행한 횟수를 의미한다. 예를 들어, 방 1에서의 방 1조명(장치 ID: 4)은 기존에 발화에 따른 동작의 수행 횟수가 5번이다. 발화 횟수를 이용하면 프로세서(210)는 사용자가 자주 사용하는 명령을 인식할 수 있고, 이에 따라 유사도 판단에서 가중치를 높일 수 있다.

장치의 ID 및 현재 기능상태는 장치에 설정된 ID(표에는 숫자로 표기함) 및 그 장치의 현재 기능상태를 표시한다. 예를 들어, 거실에서의 TV(장치 ID: 1)의 현재 상태는 전원이 켜져 있고, 영화 채널을 시청 중이다. 또한, 부엌에서의 TV(장치 ID: 5)의 현재 상태는 전원이 켜져 있고, 요리 채널을 시청 중이다. 프로세서(210)는 장치의 현재 기능상태를 이용하여 사용자의 의도를 파악할 수 있다.

일시는 장치가 동작을 수행하거나, 사용자가 발화한 음성을 수신한 시각이다. 프로세서(210)는 일시를 파악하여, 동작 또는 음성을 수신한 시각에 따라 사용자의 의도를 파악할 수 있다.

표(400)에는 도시하지 않았지만, 프로세서(210)는 센서부(250)를 통하여 또는 음성신호가 수신되는 위치를 통하여 사용자가 위치하고 있는 공간을 파악할 수 있다. 이와 같은 상황정보는 예시일 뿐이며, 상황정보의 종류는 부호 400의 표에 의해 한정되지 않는다. 상황정보는 사용자에 의해 추가 될 수 있으며, 사용자입력에 의해 저장 및 편집될 수 있다. 이에 따라, 사용자에게 최적화된 상황정보를 저장하여 사용자의 의도를 더 정밀하게 예측할 수 있다. 사용자가 상황정보를 편집하는 것은 도 12에서 자세히 설명한다.

도 5는 본 발명의 일 실시예에 따른 전자장치가 발화 분석하는 방법을 도시한다. 부호 500은 프로세서(210)가 유사도를 판단하는 수식을 나타낸다. 유사도(S(Vc, Vi))는, 하기와 같은 식으로 표현된다.

[수학식1]

S(Vc, Vi) = 1/((1-a) * Dt(Tc,Ti)+ a * Di(Ic,Ii))

유사도 S(Vc,Vi)는 현재 입력 발화와 데이터베이스에 저장된 발화와의 유사도를 의미한다. 유사도 S(Vc, Vi)에서 Vc는 현재 입력발화를 의미하며 Vi는 데이터베이스에 저장된 발화를 의미한다.

Dt(Tc,Ti)는 현재 입력된 발화의 입력시간과 데이터베이스에 저장된 발화의 입력시간과의 차이를 의미한다. Dt(Tc,Ti)에서 Tc는 현재 입력된 발화의 입력시간을 의미하며, Ti는 데이터베이스에 저장된 발화의 입력시간을 의미한다.

Di(Ic,Ii)는 현재 입력된 발화 내용과 데이터베이스에 저장된 발화 내용의 차이를 의미한다. Di(Ic,Ii)에서 Ic는 현재 입력된 발화내용을 의미하며, Ii는 데이터베이스에 저장된 발화내용을 의미한다.

a는 각 선정 기준에 대한 가중치를 의미한다.

위의 유사도 S(Vc,Vi)의 수식에서 입력시간의 차이(Dt)와 발화내용의 차이(Di)를 이용한 것인 하나의 예시이다. 따라서, 발화 분석에 있어서, 프로세서(210)는 저장되어 있는 상황정보를 유사도 판단에 이용하여 발화 분석을 할 수 있다. 예를 들어, 유사도 수식은 발화 횟수가 높을수록 유사도를 높도록 설정되거나, 현재 장치의 기능상태를 참고하여 현재 수행중인 동작을 수행하라는 발화는 유사도가 낮게 설정되거나 또는 공간상태를 참고하여 평균적인 상태와는 다른 상태인 경우 평균적인 상태로 돌아가도록 할 수 있는 장치의 동작에 대응하는 발화내용의 유사도를 높도록 설정될 수 있다. 유사도를 판단하는 수식은 이에 한정되지 않는다. 이에 따라, 전자장치(1)는 상황에 맞게 사용자의 의도를 예측하여 오작동을 줄일 수 있다. 또는, 동작 수행 횟수에 기초하여 유사도 판단을 적용할 동작을 우선적으로 결정하도록 제어할 수 있다. 이에 따라, 사용자가 사용하는 빈도가 높은 동작을 수행하여 전자장치의 오작동을 줄일 수 있다.

도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 수행 과정을 도시한다. 전자장치(1)는 여러 공간에 위치할 수 있다. 도 6에서와 같이 전자장치(601 내지 604)는 공간 1 또는 공간 2에 위치하고 있다. 공간 1에 있는 전자장치(601, 602)는 상황정보를 저장하고 있는 데이터베이스(600)와 통신할 수 있다. 프로세서(210)는 명령을 수신하고(동작 S611), 상황정보를 고려하여 명령을 선택하도록 제어할 수 있다(동작 S612). 상황정보는 전자장치(1)의 저장부에 저장되어 있을 수 있지만, 데이터베이스(600)에 통합하여 저장되어 있을 수 있다. 프로세서(210)는 상황정보를 고려하는 단계(동작 S612)에서 데이터베이스(600)와 통신부(230)를 통해 통신할 수 있다. 프로세서(210)는 데이터베이스(600)에 저장된 상황정보를 이용하여, 도 5에서와 같이 유사도 판단을 할 수 있다. 유사도 판단 결과를 이용하여, 전자장치(1)는 상황에 맞거나, 사용자의 의도에 맞는 명령을 선택(동작 S612)할 수 있다. 전자장치(1)는 선택된 명령에 대응하는 동작을 수행할 수 있다(동작 S613).

다음은, 프로세서(1)가 음성명령을 수신함에 따라 발화 분석을 하는 과정의 예시를 설명한다. 음성 명령을 수신하면, 프로세서(210)는 사용자의 발화 내용에 따라 도메인의 후보군을 선정한다. 프로세서(210)는 기 저장된 공동 사용 데이터베이스의 언어 사전을 기반으로 도메인의 후보군을 정할 수 있다. 사용자의 발화가 완벽한 문장이 아니라면, 도메인의 후보군은 여러 개가 있을 수 있다. 프로세서(210)는 입력된 발화의 도메인 후보군을 클러스터링하여 구분된 공간들 중 가장 유사한 도메인을 포함하는 공간을 선정한다. 프로세서(210)는 해당 공간에서의 상황정보를 기초하여 최종 도메인을 선정할 수 있다. 프로세서(210)가 선정한 최종 도메인이 하나이고 선정된 도메인에 따른 동작을 수행할 전자장치(1)가 하나라면, 전자장치(1)는 해당 동작을 수행(동작 S613)할 수 있다. 다만, 유사도가 동일하여, 선정된 최종도메인이 복수 이거나, 선정된 도메인에 따른 동작을 수행할 전자장치(1)가 복수인 경우에는 사용자가 원하는 서비스를 고를 수 있도록 한다. 사용자가 원하는 서비스를 고르는 과정은 전자장치(1) 동작수행부(260)의 화면의 UI를 이용하거나, 스피커의 음성을 이용할 수도 있다. 이에 따라, 사용자는 편리하게 상황정보를 편집할 수 있다.

전자장치(1)는 위치하는 각 공간에 따라 데이터베이스(600)를 관리할 수 있다. 또는, 한 가정에 따라서 데이터베이스(600)를 내부적으로 관리할 수도 있다. 외부서버와 같은 전자장치(1)로 데이터베이스(600)를 외부에 두고 관리할 수도 있다. 즉, 데이터베이스(600)는 동작을 수행하는 전자장치(1)에 포함되어 있을 수 있고, 동작을 수행하지 않는 전자장치(1)에 포함되어 있을 수 있다.

본 발명의 따른 전자장치의 다른 실시예로서, 공간 2에 있는 전자장치(603)이 명령을 수신(동작 S611)하고, 데이터베이스(600)에 저장되어 있는 상황정보를 고려하여 명령을 선택(동작 S612)할 때, 유사도 판단 결과, 사용자의 의도가 공간 1에 있는 전자장치(602)를 동작시키려는 의도인 경우, 공간 1에 있는 전자장치(602)가 해당 명령에 대응하는 동작을 수행(동작 S613)할 수도 있다. 즉, 명령을 수신하는 전자장치(603)와 명령을 수행하는 전자장치(602)가 다를 수 있으며, 다른 공간에 위치하고 있을 수 있다.

도 7은 본 발명의 일 실시예에 따른 전자장치의 배치예를 도시한다. 앞서 말한 바와 같이 전자장치의 종류는 제한되지 않는다. 거실에는 영상을 표시하거나 오디오를 출력할 수 있는 TV(701)와 조도를 변화시킬 수 있는 조명(702)이 위치하고 있다. 부엌에는 가열할 수 있는 쿡탑(711), 장치의 내부온도를 조절할 수 있는 냉장고(712) 및 조명(713)이 위치하고 있다. 다용도실, 화장실, 방 1, 방 2에는 각각 조명(721, 731, 741, 752)이 위치하고 있다. 방 1에는 오디오를 출력할 수 있는 스피커(742)가 위치하고 있다. 설명의 편의상 데이터베이스(600)는 도 7에서 표시하지 않았으며, 도 6에서 설명한 바와 같이 데이터베이스(600)는 전자장치(1)가 포함하고 있을 수 있으며, 외부에 별도로 존재할 수도 있다. 도 7에서 설명한 각 공간에 위치하고 있는 전자장치(1)에 대한 설명은 도 8 내지 도 10에서 사용되므로, 도 8 내지 도 10에서는 각 공간에 위치하고 있는 전자장치(1)에 대한 설명을 생략하도록 한다.

도 8은 본 발명의 일 실시예에 따른 전자장치의 동작 예를 도시한다. 도 8의 설명에 있어서 도 4에 도시된 표(400)의 상황정보를 참조하여 설명하도록 한다.

사용자(801)가 "오늘 날씨"라고 발화하는 경우에, 사용자(801)가 발화한 공간은 '거실'이며, 발화한 내용은 '오늘 날씨'이고, 발화 시간은 오전 7시라고 가정한다. 프로세서(210)는, 이러한 발화에 대응하여, 도메인 후보군 중에서 '날씨', '음악', '음식'을 선정할 수 있다.

도메인 '음악'에서는 발화 내용 '오늘 날씨 틀어줘' 또는 도메인 '음식'에서 발화 내용'오늘 날씨에 어울리는 음식 추천해줘'이 저장되어 있다. 프로세서(210)가 도메인 '음악'에서는 일시의 유사도를 확인해본 결과 시간차이가 있어 유사도를 작게 판단할 수 있다. 또한 프로세서(210)가 도메인'음식'에서는 일시의 유사도를 확인한 결과 시간차이는 작아서 유사도는 높으나, 사용자가 발화한 공간이 달라 유사도는 작을 수 있다.

도메인 '날씨'를 보면, TV(장치 ID: 1)가 발화횟수 2번이 있고, 일시는 8월22일 오전 8시와 8월 23일 오전 7시 30분에 각각 '오늘 날씨 알려줘' 와 '오늘 날씨 어때' 가 저장되어 있다. 프로세서(210)는 도메인 '날씨'에 대해서는 발화횟수도 많고, 시간차이도 작으며, 발화한 공간도 동일하여 유사도를 가장 높게 판단할 수 있다. 따라서, 프로세서(210)는 유사도가 가장 높은 '날씨'도메인을 최종 도메인으로 선정할 수 있다. 최종 도메인이 선정됨에 따라, 프로세서(210)는 오늘 날씨에 대해서 알려주는 동작을 TV(701)가 수행하도록 제어할 수 있다.

도 9는 본 발명의 일 실시예에 따른 전자장치의 동작의 다른 예를 도시한다. 도 9의 설명에 있어서 도 4에 도시된 표(400)의 상황정보를 참조하여 설명하도록 한다.

도 9에서는 사용자(901)가 부엌에서 쿡탑(711)을 가열하고자 한다. 사용자(901)가 다음과 같은 완벽한 문장을 발화하면 별다른 사정이 없는 한 프로세서(210)는 쿡탑(711)이 전원을 켜서 가열하도록 제어할 것이다. "부엌에 있는 쿡탑의 불을 켜줘". 이와 같이 동작할 장치, 장치가 있는 공간, 장치가 해야 할 동작 등의 필요한 정보가 모두 있으면 프로세서(210)는 쿡탑(711)의 전원을 켜서 가열하도록 제어할 수 있다. 그러나, 다음과 같은 발화내용에 대해서는 프로세서(210)는 적절한 명령을 선택하기 어려울 수 있다. 예를 들어, 사용자(901)가 "불 켜줘"라고 발화한다. 이러한 발화는 자유로운 발화에 해당할 수 있다. 결과적으로, 프로세서(210)는 적절한 장치의 동작을 수행하도록 제어하기 어려울 수 있다. 다만, 프로세서(210)가 도 4 내지 도 6에서 설명한 발화 분석 과정을 수행한다면, 사용자의 의도에 맞는 동작을 수행하도록 제어할 수 있다.

사용자(901)가 발화한 공간은 '부엌'이며, 발화한 내용은 '불 켜줘'이고, 발화 시간은 오후 6시 30분이다. 프로세서(210)는 도메인 후보군에 '조명', '기기 컨트롤'를 선정된다. 도메인 후보군 중'조명'에서는 발화 내용 '불 켜줘'가 저장되어 있다. 도메인 후보군 중 '조명'에 해당하는 공간은 거실과 부엌 두군데가 존재한다.

도메인 후보군 중 '조명'에 해당하는 현재 기능의 상태는 거실의 조명(장치 ID: 2)은 'Off'이며, 부엌의 TV(장치 ID: 5)은 'On'이다. 도메인 후보군 중 '조명'에 해당하는 일시는 8월 23일 오후 7시, 8월 23일 오전 7시 30분이다. 프로세서(210)가 도메인 후보군 '조명'에 대해서 시간, 현재의 기능 상태 등의 발화 분석을 수행한다면, 부엌에 있는 조명(TV, 장치 ID: 5)은 이미 'On'인 상태이므로 거실의 조명(스피커, 장치 ID: 2)를 더 높은 유사도로 계산할 수 있다.

도메인 후보군 중 '기기 컨트롤'에서는 발화내용 '불 켜줘'가 저장되어 있다. 도메인 후보군 중 '기기 컨트롤'에 해당하는 공간은 부엌 한군데가 존재한다. 도메인 후보군 중 '기기 컨트롤'에 해당하는 현재 기능의 상태는 쿡탑(장치 ID: 3)은 'Off'이다. 도메인 후보군 중 '기기 컨트롤'에 해당하는 일시는 8월 23일 오후 5시이다.

프로세서(210)는 최종적으로 도메인 후보군 중 '조명(거실의 스피커)'과 '기기 컨트롤(부엌의 쿡탑)'에서 유사도를 계산한다. 프로세서(210)가 장치의 현재 기능상태와 사용자(901)의 공간 유사도를 계산하면, '기기 컨트롤'이 유사도가 가장 높을 수 있다. 따라서, 프로세서(210)는 유사도가 가장 높은 '기기 컨트롤'을 최종 도메인으로 선정할 수 있다. 최종 도메인이 선정됨에 따라, 프로세서(210)는 쿡탑(711)을 가열하는 동작을 수행하도록 제어할 수 있다.

도 10은 본 발명의 일 실시예에 따른 전자장치의 동작의 다른 예를 도시한다. 도 10의 설명에 있어서 도 4에 도시된 표(400)의 상화정보를 참조하여 설명하도록 한다.

도 10에서는 사용자(1001)가 방 1에서 스피커(742)의 전원을 켜고자 한다. 사용자(1001)가 다음과 같은 완벽한 문장을 발화하면 별다른 사정이 없는 한 프로세서(210)는 스피커(742)의 전원을 켜도록 제어할 수 있다. "방 1에 있는 스피커의 전원을 켜줘". 이와 같이 동작할 장치, 장치가 있는 공간, 장치가 해야 할 동작 등의 필요한 정보가 모두 있으면 프로세서(210)는 스피커(742)의 전원을 켜도록 제어할 수 있다. 그러나, 다음과 같은 발화내용에 대해서는 프로세서(210)는 적절한 명령을 선택하기 어려울 수 있다. 예를 들어, 사용자(1001)가 "켜줘"라고 발화한다. 이러한 발화의 경우, 자유로운 발화에 해당할 수 있다. 결과적으로, 프로세서(210)는 적절한 장치의 동작을 수행하기 어려울 수 있다. 다만, 본 발명의 실시예에 따른 전자장치가 도 4 내지 도 6에서 설명한 유사도 계산과정을 수행한다면, 프로세서(210)는 사용자(1001)의 의도에 맞는 동작을 수행하도록 제어할 수 있다.

사용자(1001)가 발화한 공간은 '방 1'이며, 발화한 내용은 '켜줘'이고, 발화시간은 오후 9시이다. 도 10의 실시예에서는 사용공간을 방 1로 한정하여 설명하도록 한다. 도메인 후보군에는 '기기 컨트롤'이 존재한다. 도메인 '기기 컨트롤'에는 방 1 조명(741)과 스피커(742) 두가지의 장치가 존재한다. 조명(741)의 상황정보를 살펴보면, 발화횟수는 5번이 있고, 현재 조명(741)은 켜져있는 상태이며, 발화했던 시각은 오후 9시 20분이다. 스피커(742)의 상황정보를 살펴보면, 발화횟수는 없고, 현재 스피커(742)는 꺼져있는 상태이다. 발화 횟수와 발화 시간을 고려한다면 프로세서(210)는 방 1 조명(741)의 유사도를 높게 계산하고 방 1 조명(741)의 기능을 수행하도록 제어할 것이다. 그러나, 현재 장치의 기능상태를 보면, 조명(741)은 현재 켜져 있는 상태이므로, 프로세서(210)가 더 이상 수행하도록 제어할 수 있는 동작이 없다. 현재 기능상태와 같은 상황정보를 이용한다면, 이미 켜져있는 방 1 조명(741)의 전원을 켜는 것이 사용자의 의도가 아님을 알 수 있다. 따라서, 현재 기능상태를 고려한다면, 프로세서(210)는 방 1 조명(741)이 아닌 스피커(742)가 유사도가 높도록 제어할 수 있다. 따라서, 프로세서(210)는 사용자의 의도에 맞게 스피커(742)의 전원을 켜도록 제어할 것이다.

도 11은 본 발명의 일 실시예에 의한 UI의 일례를 도시한다. 프로세서(210)는 도 4에서 설명한 상황정보를 저장하도록 제어한다. 저장된 상황정보를 사용자가 편집을 원할 수도 있다. 이에 따라, 프로세서(210)는 동작수행부(260)을 통해 사용자에게 부호 1101과 같이 상황정보를 편집할 것인지 UI로 표시할 수 있다. 부호 1101은 화면을 통한 UI의 표시이다. 프로세서(210)는 사용자에게 편집할 것인지 여부를 화면이 아닌 음성을 이용하여 물어보도록 제어할 수도 있다. 즉, 전자장치(1)에 스피커가 구비되어 있으면, 프로세서(210)는 음성으로 편집여부를 물어볼 수 있다. 사용자가 상황정보를 편집함에 따라, 프로세서(210)는 사용자에 의도에 맞는 동작을 더 적절하게 선택할 수 있다. 이에 따라, 사용자는 편리하게 상황정보를 편집할 수 있다. 사용자가 상황정보를 편집하는 것에 관한 설명은 도 12에서 후술하도록 한다.

프로세서(210)가 유사도를 계산한 결과, 동일한 유사도인 두가지 이상의 동작이 존재할 수 있다. 이에 따라, 프로세서(210)는 한가지 동작을 결정하기 위해 사용자에게 의도한 동작에 대하여 물어보도록 제어할 수 있다. 프로세서(210)는 동작수행부(260)을 통해 사용자에게 부호 1102와 같이 프로세서(210)가 결정한 동작이 사용자가 의도한 동작인지를 묻는 것을 UI로 표시할 수 있다. 부호 1102는 화면을 통한 UI의 표시이다. 프로세서(210)는 사용자에게 의도한 동작인지 여부를 음성으로 물어보도록 제어할 수 있다. 이에 따라, 전자장치(1)는 사용자의 의도인지를 확인하여 학습할 수 있다.

프로세서(210)는 사용자의 음성입력이 필요한 경우 화면을 통하여 부호 1103과 같은 UI를 출력할 수 있다. 또는 프로세서(210)는 스피커를 통하여 사용자에게 음성을 입력할 것을 요구하도록 제어할 수 있다.

도 12는 본 발명의 일 실시예에 의한 UI의 일례를 도시한다. 부호 1200은 도 4의 부호 400에서의 상황정보를 편집하는 과정을 나타낸다. 사용자는 전자장치(1)의 ID(1201), 사용공간(1202), 일시(1203), 발화내용(1204), 실행동작(1205), 발화횟수(1206), 사용자(1207) 등을 편집할 수 있다. 상황정보의 종류는 상기 나열한 것에 제한되지 않으며, 다른 정보를 더 포함할 수 있다. 상황정보의 세부 내용은 사용자가 선택하거나 추가로 입력할 수 있다. 추가로 입력하는 방법은 음성으로 입력할 수 있으며, 입력하는 방법 및 수단에 대하여는 제한되지 않는다. 전자장치(1)는 저장된 상황정보를 사용자, 공간 또는 기기별로 분류할 수 있으며, 분류한 정보에 이용하여 사용자의 명령에 효율적으로 동작할 수 있다. 이와 같이, 사용자가 상황정보를 편집함으로써, 사용자 의도를 효율적으로 예측할 수 있다.

1: 전자장치
210: 프로세서
400: 도 4의 표
500: 도 5의 수식

Claims (17)

1. 전자장치에 있어서,
   복수의 외부장치와 통신할 수 있는 통신부;
   상황정보를 저장할 수 있는 저장부;
   사용자의 제1발화에 따라 상기 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작이 수행되도록 제어하고,
   상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 상기 저장부에 저장하며,
   사용자의 제2발화에 대응하여, 상기 제2발화의 발화내용에 기초하여 복수의 도메인 후보군을 식별하고,
   상기 복수의 도메인 후보군을 클러스팅하여 복수의 구분된 공간 중 상기 발화내용에 가장 유사한 도메인을 포함하는 공간을 식별하고,
   상기 식별된 공간에서의 상기 저장된 상황정보에 기초하여 상기 복수의 도메인 후보군 중에서 하나를 식별하고,
   상기 복수의 동작 중에서 상기 식별된 도메인에 따른 어느 하나의 동작을 식별하고,
   상기 식별된 동작을 수행하도록 제어하는 프로세서를 포함하며,
   상기 저장된 상황정보는 상기 전자장치의 사용공간과, 상기 제1발화의 내용을 포함하고,
   상기 복수의 도메인 후보군은 상기 제2발화의 내용을 구분하는 복수의 명령 또는 문의 영역에 각각 대응하는 전자장치.
2. 제 1항에 있어서
   상기 상황정보는 상기 사용공간의 상태, 상기 제1발화의 일시, 상기 제1발화의 내용에 따라 상기 동작을 수행한 횟수, 상기 복수의 외부장치의 디바이스 ID, 또는 상기 복수의 외부장치의 현재의 기능상태 중 적어도 하나를 더 포함하는 전자장치.
3. 제 1항에 있어서,
   상기 프로세서는 상기 식별된 공간에서의 상기 저장된 상황정보의 복수의 인자 중 적어도 하나의 인자의 유사도와 상기 제2발화의 발화내용의 유사도를 포함하여 동작을 결정하는 전자장치.
4. 제 1항에 있어서,
   상기 프로세서는 상기 상황정보를 유저의 입력에 따라 저장하거나 편집할 수 있는 전자장치.
5. 제 1항에 있어서,
   화면을 출력할 수 있는 디스플레이부;
   상기 프로세서는 상기 상황정보를 화면에 유저인터페이스(UI)를 이용하여 상황정보를 저장하거나 편집하는 전자장치.
6. 제 1항에 있어서,
   상기 프로세서는 상기 제1발화의 내용에 따라 상기 동작을 수행한 횟수에 기초하여 유사도 판단을 적용할 동작을 우선적으로 결정하는 전자장치.
7. 제 1항에 있어서,
   상기 프로세서는 상기 상황정보를 복수의 인자의 카테고리 별로 분류하여 저장하는 전자장치.
8. 제 1항에 있어서,
   상기 프로세서는, 상기 상황정보를 복수의 인자의 사용자별로 분류하여 저장하는 전자장치.
9. 전자장치를 제어하는 방법에 있어서,
   사용자의 제1발화에 따라 통신부를 통하여 통신할 수 있는 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작이 수행되도록 제어하는 단계와;
   상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 저장할 수 있는 저장부에 상기 상황정보를 저장하는 단계와;
   사용자의 제2발화에 대응하여, 상기 제2발화의 발화내용에 기초하여 복수의 도메인 후보군을 식별하는 단계와;
   상기 복수의 도메인 후보군을 클러스팅하여 복수의 구분된 공간 중 상기 발화내용에 가장 유사한 도메인을 포함하는 공간을 식별하는 단계와;
   상기 식별된 공간에서의 상기 저장된 상황정보에 기초하여 상기 복수의 도메인 후보군 중에서 하나를 식별하는 단계와;
   상기 복수의 동작 중에서 상기 식별된 도메인에 따른 어느 하나의 동작을 식별하는 단계와;
   상기 식별된 동작을 수행하도록 제어하는 단계를 포함하며,
   상기 저장된 상황정보는 상기 전자장치의 사용공간과, 상기 제1발화의 내용을 포함하고,
   상기 복수의 도메인 후보군은 상기 제2발화의 내용을 구분하는 복수의 명령 또는 문의 영역에 각각 대응하는 방법.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 전자장치를 제어하는 방법을 컴퓨터에서 실행시키기 위한 인스트럭션이 기록된 컴퓨터 판독가능한 기록매체에 있어서,
    상기 방법은,
    사용자의 제1발화에 따라 통신부를 통하여 통신할 수 있는 복수의 외부장치와 연관된 복수의 동작 중에서 상기 제1발화에 대응하는 어느 하나의 동작을 수행하는 단계와;
    상기 제1발화에 따라 상기 동작이 수행되는 복수의 상황마다 대응하는 상황정보를 저장하는 단계와;
    사용자의 제2발화에 대응하여, 상기 제2발화의 발화내용에 기초하여 복수의 도메인 후보군을 식별하는 단계와;
    상기 복수의 도메인 후보군을 클러스팅하여 복수의 구분된 공간 중 상기 발화내용에 가장 유사한 도메인을 포함하는 공간을 식별하는 단계와;
    상기 식별된 공간에서의 상기 저장된 상황정보에 기초하여 상기 복수의 도메인 후보군 중에서 하나를 식별하는 단계와;
    상기 복수의 동작 중에서 상기 식별된 도메인에 따른 어느 하나의 동작을 식별하는 단계와;
    상기 식별된 동작을 수행하도록 제어하는 단계를 포함하며,
    상기 저장된 상황정보는 상기 전자장치의 사용공간과, 상기 제1발화의 내용을 포함하고,
    상기 복수의 도메인 후보군은 상기 제2발화의 내용을 구분하는 복수의 명령 또는 문의 영역에 각각 대응하는 컴퓨터 판독가능한 기록매체.

Images