[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102429260B1 - 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치 - Google Patents

음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치 Download PDF

Info

Publication number
KR102429260B1
KR102429260B1 KR1020150142427A KR20150142427A KR102429260B1 KR 102429260 B1 KR102429260 B1 KR 102429260B1 KR 1020150142427 A KR1020150142427 A KR 1020150142427A KR 20150142427 A KR20150142427 A KR 20150142427A KR 102429260 B1 KR102429260 B1 KR 102429260B1
Authority
KR
South Korea
Prior art keywords
control command
command
control
voice
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150142427A
Other languages
English (en)
Other versions
KR20170043055A (ko
Inventor
전주혁
우경구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150142427A priority Critical patent/KR102429260B1/ko
Priority to US15/270,382 priority patent/US10607605B2/en
Priority to CN201610874212.1A priority patent/CN106571141B/zh
Priority to EP16193347.8A priority patent/EP3157007B1/en
Priority to JP2016199885A priority patent/JP2017076393A/ja
Publication of KR20170043055A publication Critical patent/KR20170043055A/ko
Application granted granted Critical
Publication of KR102429260B1 publication Critical patent/KR102429260B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2821—Avoiding conflicts related to the use of home appliances
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

음성 에이전트 기반의 전자 장치 제어 명령을 처리하는 장치가 개시된다. 제어 명령 처리 장치는 음성 에이전트로부터 전자 장치를 제어하기 위한 제어 명령을 수신하고, 수신된 제어 명령에 추가 정보를 태깅하는 명령 태깅부와, 제어 명령에 태깅된 추가 정보를 기초로 전자 장치를 제어할 제어 명령을 통합 처리하는 명령 실행부를 포함할 수 있다

Description

음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치 {APPARATUS AND METHOD FOR PROCESSING CONTROL COMMAND BASED ON VOICE AGENT, AGENT APPARATUS}
음성 에이전트 기반의 제어 명령 처리 장치 및 방법에 관한 것으로, 음성 에이전트로부터 입력된 전자 장치의 제어 명령을 처리하는 기술과 관련된다.
일반적인 스마트 홈, 스마트 오피스 시스템, 사물 인터넷 기기의 제어 시스템을 구축할 때 음성 인터페이스를 고려하지 않거나, 음성 명령이 한번에 하나씩 입력되는 경우만을 가정하는 경우가 대부분이었다. 최근에는 음성 에이전트 기능을 구비한 단말을 통해 이러한 시스템을 제어하기 위한 명령어를 입력하여 시스템에 연결되어 있는 전자 장치들을 제어하려는 시도가 이루어지고 있다. 하지만, 홈 시스템 주변에는 음성 에이전트 기능을 구비한 복수의 단말들이 존재할 수 있어 전자 장치를 제어하기 위한 명령이 중복될 수 있다.
음성 에이전트를 통해 입력된 전자 장치의 제어 명령을 처리하는 장치 및 방법과, 그 에이전트 장치가 제시된다.
일 양상에 따르면, 제어 명령 처리 장치는, 음성 에이전트로부터 전자 장치의 제어 명령을 수신하고, 수신된 제어 명령에 추가 정보를 태깅하는 명령 태깅부 및 수신된 제어 명령이 복수인 경우, 복수의 제어 명령 각각에 태깅된 추가 정보를 기초로, 복수의 제어 명령을 통합하고 통합 결과를 기초로 전자 장치를 제어하는 명령 실행부를 포함할 수 있다.
이때, 수신된 제어 명령은 사용자가 입력한 음성 그 자체이거나, 사용자가 입력한 음성을 음성 인식 기술을 통해 변환한 텍스트 형태일 수 있다.
이때, 추가 정보는 사용자가 제어 명령에 관한 음성을 발화한 시간, 음성 에이전트로부터 제어 명령을 수신한 시간, 제어 명령에 관한 음성의 인식 정확도, 음성 신호의 세기, 제어 명령의 길이, 제어 명령에서 추출된 해시값, 특성값, 사용자 정보, 음성 에이전트 장치 정보 및, 전자 장치 정보 중의 하나 이상을 포함할 수 있다.
명령 실행부는 복수의 명령 각각에 태깅된 추가 정보를 기초로, 복수의 명령을 하나 이상의 클러스터로 통합하는 명령 통합부 및 통합 결과를 기초로 전자 장치를 제어할 최종 제어 명령을 결정하는 최종 명령 결정부를 포함할 수 있다.
이때, 명령 통합부는 복수의 명령 상호 간의 유사도를 산출하고, 산출된 유사도 및 태깅 정보를 기초로 복수의 제어 명령을 하나 이상의 클러스터로 통합할 수 있다.
이때, 최종 명령 결정부는 하나 이상의 클러스터 각각에 대하여, 클러스터의 중심(centroid)에 해당하는 제어 명령을 최종 명령으로 결정할 수 있다.
명령 실행부는 하나 이상의 클러스터에 중복 명령이 존재하면, 사용자에게 중복 명령의 처리에 관한 질의를 수행하는 인터랙션부를 더 포함할 수 있고, 최종 명령 결정부는 질의 수행 결과를 기초로 최종 명령을 결정할 수 있다.
명령 실행부는 제어 명령을 전달한 음성 에이전트가 복수인 경우, 복수의 음성 에이전트 중에서 사용자와 인터랙션을 수행할 음성 에이전트를 선정하는 에이전트 선정부를 더 포함할 수 있다.
일 양상에 따르면, 제어 명령 처리 방법은 음성 에이전트로부터 전자 장치 제어 명령을 수신하는 단계, 수신된 제어 명령에 추가 정보를 태깅하는 단계 및 수신된 제어 명령이 복수인 경우, 복수의 제어 명령 각각에 태깅된 추가 정보를 기초로, 복수의 제어 명령을 통합하는 단계를 포함할 수 있다.
제어 명령을 통합하는 단계는 수신된 복수의 제어 명령에 태깅된 추가 정보를 기초로, 복수의 제어 명령을 하나 이상의 클러스터로 통합하는 단계 및 통합 결과를 기초로 전자 장치를 제어할 최종 제어 명령을 결정하는 단계를 포함할 수 있다.
하나 이상의 클러스터로 통합하는 단계는 복수의 제어 명령 상호 간의 유사도를 산출하는 단계를 포함하고, 산출된 유사도 및 추가 정보를 기초로 통합할 수 있다.
최종 명령을 결정하는 단계는 하나 이상의 클러스터 각각에 대하여, 클러스터의 중심(centroid)에 해당하는 명령을 최종 명령으로 결정할 수 있다.
제어 명령을 통합하는 단계는 하나 이상의 클러스터에 중복 명령이 존재하면, 사용자에게 중복 명령의 처리에 관한 질의를 수행하는 단계를 더 포함할 수 있고, 최종 명령을 결정하는 단계는 질의 수행 결과를 기초로 최종 명령을 결정할 수 있다.
제어 명령을 통합하는 단계는 제어 명령을 전달한 음성 에이전트가 복수인 경우, 복수의 음성 에이전트 중에서 사용자와 인터랙션을 수행할 음성 에이전트를 선정하는 단계를 더 포함할 수 있다.
다른 양상에 따르면, 제어 명령 장치는 음성 에이전트로부터 전자 장치의 제어 명령을 수신하고, 수신된 제어 명령에 추가 정보를 태깅하는 명령 태깅부 및 제어 명령에 태깅된 추가 정보를 기초로 수신된 제어 명령과 전자 장치에 대해 기 실행중인 제어 명령을 통합하고, 통합 결과를 기초로 전자 장치를 제어하는 명령 실행부를 포함할 수 있다.
명령 실행부는 수신된 제어 명령과 기 실행중인 제어 명령이 서로 중복되는지 판단하는 명령 통합부 및 판단 결과 제어 명령들이 중복되는 경우, 제어 명령들 중에서 전자 장치를 제어할 최종 명령을 결정하는 최종 명령 결정부를 포함할 수 있다.
명령 실행부는 전자 장치별로 기 실행중인 제어 명령을 저장하는 명령 DB를 더 포함할 수 있고, 명령 통합부는 명령 DB로부터 전자 장치에 대하여 기 실행중인 제어 명령을 검출할 수 있다.
명령 실행부는 판단 결과 제어 명령들이 중복되는 경우, 사용자에게 중복 명령의 처리에 관한 질의를 수행하는 인터랙션부를 더 포함할 수 있고, 최종 명령 결정부는 질의 수행 결과를 기초로 최종 명령을 결정할 수 있다.
명령 실행부는 음성 에이전트 선정을 위한 정책을 저장하는 정책 DB와, 정책 DB를 참고하여 사용자와 인터랙션을 수행할 음성 에이전트를 선정하는 에이전트 선정부를 더 포함할 수 있다.
일 양상에 따르면, 에이전트 장치는 사용자로부터 전자 장치를 제어하기 위한 음성 형태의 제어 명령이 입력되면, 입력된 제어 명령을 명령 태깅부에 전달하는 음성 에이전트 및 음성 에이전트로부터 제어 명령이 전달되면, 전자 장치를 제어하는 하나 이상의 제어 명령을 통합하기 위한 추가 정보를 전달된 제어 명령에 태깅하는 명령 태깅부를 포함할 수 있다.
에이전트 장치는 상기 전자 장치를 제어하는 하나 이상의 제어 명령을 통합 처리하는 제어 명령 처리 장치에 상기 추가 정보가 태깅된 제어 명령을 전송하는 통신부를 더 포함할 수 있다.
음성 에이전트는 제어 명령 처리 장치로부터 제어 명령의 처리 결과가 수신되면, 제어 명령의 처리 결과를 음성 형태로 변환하여 사용자에게 출력할 수 있다.
이때, 제어 명령의 처리 결과는 전자 장치를 제어하는 복수의 중복 명령의 처리에 관한 질의 및 제어 명령의 실행 결과 중의 적어도 하나를 포함할 수 있다.
음성 에이전트는 제어 명령이 입력되면, 제어 명령을 발화한 시간, 음성 신호의 세기, 사용자 정보, 음성 인식 정확도 중의 적어도 하나를 수집하고, 수집된 정보를 명령 태깅부에 전달할 수 있다.
음성 에이전트를 통해 스마트 홈/오피스 시스템이나 사물 인터넷 기기 등의 전자 장치를 제어하는 시스템 환경에서 다수의 제어 명령을 통합 처리할 수 있다.
도 1은 일 실시예에 따른 제어 명령 처리 장치의 블록도이다.
도 2a 내지 도 2d는 도 1의 명령 실행부(120)의 실시예들을 도시한 블록도이다.
도 3a 내지 도 3b는 일 실시예에 따른 제어 명령 처리 방법의 흐름도이다.
도 4는 다른 실시예에 따른 제어 명령 처리 방법의 흐름도이다.
도 5 내지 도 10은 제어 명령 처리 기술이 적용된 네트워크 제어 시스템의 실시예들을 도시한 것이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 음성 에이전트 기반의 전자 장치 제어 명령 처리 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 제어 명령 처리 장치의 블록도이다.
일 실시예에 따른 제어 명령 처리 장치(100)는 음성 에이전트(voice agent)를 통해 각종 전자 장치를 제어하는 제어 시스템 (이하, "네트워크 제어 시스템"이라 함)에 다양한 방식으로 적용될 수 있으며, 음성 에이전트로부터 전달되는 명령이 전자 장치에서 중복 실행되는 것을 방지할 수 있다. 여기서, 전자 장치는 네트워크 제어 시스템에서 사용자의 명령에 따라 최종적인 동작을 수행하는 각종 장치로서, 냉장고, TV, 가스, 도어락, 화재 감지기, 방범 CCTV, 에어컨, 보일러 등의 스마트 홈/오피스 기기 및 그 밖의 네트워크를 통해 제어되는 다양한 사물 인터넷 기기들을 포함할 수 있다.
도 1을 참조하면, 제어 명령 처리 장치(100)는 명령 태깅부(110) 및 명령 실행부(120)를 포함할 수 있다. 여기서, 명령 태깅부(110)와 명령 실행부(120)는 하나의 모듈로서 구현될 수 있으며, 하나의 하드웨어에 탑재될 수 있다. 또한, 명령 태깅부(110)와 명령 실행부(120)는 별도의 하드웨어에 탑재되는 것이 가능하며, 일 예로 명령 태깅부(110)는 음성 에이전트를 탑재하고 있는 에이전트 장치에 탑재되고, 명령 실행부(120)는 별도의 장치나, 전자 장치를 제어하는 제어 장치나 전자 장치 내에 탑재될 수 있다.
명령 태깅부(110)는 음성 에이전트로부터 전자 장치를 제어하기 위한 명령(이하, '제어 명령'이라 함)을 수신할 수 있다. 이때, 음성 에이전트는 스마트폰, 스마트 패드, 태블릿 PC, 노트북 PC, 데스크탑 PC, 헬스 케어 기기, 모바일 로봇, 웨어러블 기기 등의 다양한 에이전트 장치에 탑재될 수 있다.
음성 에이전트는 사용자가 전자 장치를 제어하기 위해 음성을 발화하면, 사용자의 발화 음성을 수신하여 그 음성 자체를 제어 명령으로서 명령 태깅부(110)에 전달할 수 있다. 또는, 음성 에이전트는 내장된 음성 인식 기술을 적용하여 사용자로부터 수신된 음성을 인식하고, 그 인식 결과로서 출력된 텍스트를 제어 명령으로서 명령 태깅부(110)에 전달할 수 있다.
명령 태깅부(110)는 음성 에이전트로부터 제어 명령이 수신되면, 수신된 제어 명령에 추가 정보를 태깅할 수 있다. 이때, 추가 정보는 사용자가 음성을 발화한 시간, 명령 태깅부(110)가 음성 에이전트로부터 제어 명령을 수신한 시간, 사용자가 발화한 음성의 인식 정확도, 사용자가 발화한 음성 신호의 세기, 수신된 제어 명령 데이터의 길이, 수신된 제어 명령 데이터에서 추출된 해시값, 외부 모듈로부터 획득된 특성값, 음성을 발화한 사용자 정보, 음성 에이전트를 탑재한 에이전트 장치 정보 및 제어할 전자 장치 정보 등을 포함할 수 있다. 다만, 이에 한정되지 않으며 그 밖의 다양한 정보들이 추가 정보로 활용될 수 있다.
예를 들어, 명령 태깅부(110)는 음성 에이전트로부터 제어 명령과 함께 추가 정보를 수신할 수 있다. 음성 에이전트는 사용자로부터 음성이 수신되면, 음성 수신 시간, 수신된 음성 신호의 세기, 음성을 입력한 사용자 정보 및 에이전트 장치의 정보 등을 획득할 수 있다. 또한, 음성 에이전트는 수신된 음성에 대하여 음성 인식을 수행한 경우 그 음성 인식의 정확도를 획득하고, 이와 같이 획득된 정보가 제어 명령에 태깅될 추가 정보로 활용될 수 있도록 명령 태깅부(110)에 전달할 수 있다.
또한, 명령 태깅부(110)는 음성 에이전트로부터 제어 명령이 수신되면, 수신된 제어 명령을 이용하여 추가 정보를 획득할 수 있다. 예컨대, 제어 명령의 수신 시간을 추가 정보로서 획득할 수 있으며, 수신된 제어 명령이 텍스트 명령인 경우 텍스트 분석 기법을 이용하여 제어할 전자 장치 정보, 제어 명령 데이터의 길이, 해시값 등을 추출할 수 있다. 또한, 명령 태깅부(110)는 다른 외부 모듈을 통해 특성 벡터값(예: word embedding)을 추가 정보로서 획득할 수 있다.
명령 태깅부(110)는 수신된 제어 명령에 대한 추가 정보가 획득되면, 획득된 추가 정보를 제어 명령에 태깅할 수 있다.
한편, 명령 태깅부(110)는 음성 에이전트로부터 복수의 제어 명령을 수신할 수 있다. 일 예로, 음성 에이전트의 주변에 다수의 사용자가 존재하는 경우, 다수의 사용자들이 동시에 음성을 발화할 수 있다. 이때, 음성 에이전트는 그 음성 명령들을 수신하여 각 음성에 대응하는 복수의 제어 명령을 명령 태깅부(110)에 전달할 수 있다. 다른 예로, 명령 태깅부(110)가 복수의 음성 에이전트와 연결되는 경우, 어느 한 사용자가 발화한 음성을 복수의 음성 에이전트가 수신하여, 수신된 복수의 음성에 대한 복수의 제어 명령을 명령 태깅부(110)에 전달할 수 있다.
명령 실행부(120)는 명령 태깅부(110)가 제어 명령에 추가 정보를 태깅하면, 추가 정보가 태깅된 제어 명령을 기초로 전자 장치를 제어할 수 있다.
일 예로, 명령 실행부(120)는 전자 장치를 제어할 제어 명령이 복수인 경우, 복수의 제어 명령 각각에 태깅되어 있는 추가 정보를 이용하여 복수의 제어 명령을 통합할 수 있다. 또한, 통합 결과를 이용하여 전자 장치를 제어할 최종 제어 명령을 결정하고 결정된 최종 제어 명령이 전자 장치에서 실행되도록 제어할 수 있다.
다른 예로, 명령 실행부(120)는 전자 장치에 대하여 기 실행중인 제어 명령이 존재하는 경우, 수신된 제어 명령에 태깅된 추가 정보를 이용하여 기 실행중인 제어 명령과 충돌하는지를 판단하고, 판단 결과에 따른 적절한 처리를 할 수 있다.
다만, 여기에 한정되지 않으며, 도 2a 내지 도 2d를 참조하여 보다 상세하게 후술하기로 한다.
도 2a 내지 도 2d는 도 1의 명령 실행부(120)의 실시예들을 도시한 블록도이다. 도 2a 내지 도 2d에서 동일한 참조 부호를 갖는 구성들은 동일한 구성들을 의미한다.
도 2a를 참조하면, 일 실시예에 따른 명령 실행부(120a)는 명령 통합부(121) 및 최종 명령 결정부(122)를 포함할 수 있다.
명령 통합부(121)는 명령 태깅부(110)로부터 제어 명령이 수신되면, 수신된 제어 명령에 태깅되어 있는 추가 정보를 확인하고, 확인된 추가 정보를 이용하여 제어 명령을 통합할 수 있다.
예를 들어, 명령 통합부(121)는 명령 태깅부(110)로부터 수신된 제어 명령이 복수인 경우, 각 제어 명령에 태깅되어 있는 추가 정보를 이용하여 클러스터별로 통합할 수 있다. 이때, 명령 통합부(121)는 다양한 클러스터링 기법을 활용하여 복수의 명령을 하나 이상의 클러스터로 분류하여 통합할 수 있다. 여기서, 다양한 클러스터링 기법은 K-평균 알고리즘, K-중간점 알고리즘, K-중간점 알고리즘, K-중앙값 알고리즘, 퍼지 C-평균 알고리즘 등이 될 수 있으나, 이에 한정되지는 않는다.
일 예로, 명령 통합부(121)는 각 제어 명령에 태깅되어 있는 추가 정보 중의 사용자의 발화 시점을 확인하고, 소정 시간 간격(예: 1초)으로 명령들을 클러스터링할 수 있다. 다른 예로, 명령 통합부(121)는 각 제어 명령의 추가 정보 중의 사용자 정보를 확인하여, 소정 시간 내에 입력된 제어 명령이라도 사용자가 다른 경우에는 서로 다른 클러스터로 분류할 수 있다. 또 다른 예로, 제어할 전자 장치별로 분류하거나, 명령 데이터의 길이 정보 등을 이용하여 분류할 수 있다. 이때, 둘 이상의 추가 정보를 조합하여 다수의 제어 명령들을 클러스터링할 수 있다. 또 다른 예로, 명령 통합부(121)는 편집 거리(edit distance) 알고리즘과 같은 유사도 계산 알고리즘을 이용하여 입력된 제어 명령들 간의 유사도를 산출하고, 산출된 유사도를 기초로 제어 명령들을 클러스터링할 수 있다.
최종 명령 결정부(122)는 이와 같이 명령 통합부(121)에 의해 클러스터별로 통합된 제어 명령 중에서 전자 장치를 제어할 최종 명령을 결정할 수 있다.
예를 들어, 최종 명령 결정부(122)는 클러스터별로 복수의 제어 명령이 존재하는 경우 그 제어 명령들을 중복 명령이라 판단하고, 복수의 제어 명령들 중에서 실제로 전자 장치를 제어할 어느 하나의 명령만을 최종 명령으로 결정할 수 있다.
일 예로, 최종 명령 결정부(122)는 클러스터에서 최종 명령을 결정하는데 있어, 그 클러스터가 K-평균 알고리즘을 이용하여 분류된 경우, 그 클러스터의 중심(centroid)에 해당하는 명령을 최종 명령으로 결정할 수 있다.
다른 예로, 최종 명령 결정부(122)는 클러스터에서 발화 음성 신호의 세기가 가장 센 명령, 음성 인식 정확도가 가장 높은 명령, 사용자가 음성을 발화한 시점이 가장 늦은 제어 명령을 최종 명령으로 결정할 수 있다. 다만, 최종 명령 결정 기준에 있어 예시된 바에 의해 특별히 제한되지는 않는다.
또한, 최종 명령 결정부(122)는 결정된 최종 명령을 제어 장치에 전송하여 전자 장치에서 실행되도록 함으로써, 특정 전자 장치에 대하여 복수의 제어 명령이 동시에 전달되어 중복 실행되는 것을 방지할 수 있다.
예를 들어, 사용자가 19시에 발화한 "거실 온도 1도 올려줘"라는 제어 명령이 사용자의 주변에 있던 스마트 폰과 스마트 워치의 음성 에이전트로부터 각각 19시 02분 32초, 19시 02분 33초에 명령 태깅부에 전달될 수 있다. 이러한 제어 정보 수신 시간 정보 등이 명령 태깅부에 의해 각 제어 명령에 태깅되면, 명령 통합부(121)는 그 제어 명령들의 수신 시간이 미리 설정된 시간 간격(예: 1초) 내에 있으므로 하나의 클러스터로 통합할 수 있다. 이때, 최종 명령 결정부(122)는 클러스터에 포함된 두 개의 제어 명령이 중복되는 것으로 판단하고 어느 하나의 명령만을 최종 명령으로 결정할 수 있다.
도 2b를 참조하면, 다른 실시예의 명령 실행부(120b)는 명령 통합부(121), 최종 명령 결정부(122) 및 인터랙션부(123)를 포함할 수 있다. 명령 통합부(121) 및 최종 명령 결정부(122)는 앞에서 설명하였으므로 자세한 설명은 생략한다.
인터랙션부(123)는 제어 명령의 처리와 관련하여 사용자와 각종 인터랙션을 수행할 수 있다.
일 예로, 명령 통합부(121)에 의해 복수의 제어 명령들이 통합되고, 그 결과 어느 전자 장치의 제어 명령이 중복되는 것으로 판단되면, 인터랙션부(123)는 그 중복의 처리에 관한 질의를 생성하여 사용자에게 제시하고, 사용자로부터 그 질의에 대한 응답을 수신할 수 있다. 이때, 최종 명령 결정부(122)는 사용자의 응답을 기초로 최종 명령을 결정할 수 있다.
다른 예로, 인터랙션부(123)는 결정된 최종 명령이 전자 장치에서 실행되는 과정에서 이루어지는 각종 동작 및 최종 명령의 실행 결과를 사용자에게 제공할 수 있다. 예컨대, 인터랙션부(123)는 결정된 최종 명령에 대한 안내, 제어 장치로의 전송 결과, 전자 장치에서 정상적으로 실행되었는지, 정상적으로 실행되지 않은 경우 그 원인에 대한 정보를 사용자에게 제공할 수 있다.
도 2c를 참조하면, 또 다른 실시예의 명령 실행부(120c)는 명령 통합부(121), 최종 명령 결정부(122), 인터랙션부(123) 및 에이전트 선정부(124)를 포함할 수 있다.
음성 에이전트를 이용하여 전자 장치를 제어하는 네트워크 제어 시스템 환경에서 사용자의 주변에 복수의 음성 에이전트가 존재할 수 있다. 예를 들어, 사용자가 제어 명령에 대한 음성을 입력하는 시점에 음성 에이전트를 탑재한 스마트 폰(smart phone), 스마트 패드, 스마트 워치(smart watch), 스마트 글래스(smart glass) 등의 복수의 에이전트 장치들이 사용자의 주변에서 동작 중일 수 있다. 또는, 어느 하나의 에이전트 장치에 복수의 음성 에이전트가 탑재되어 동시에 동작할 수도 있다.
에이전트 선정부(124)는 이와 같이 사용자의 주변에서 복수의 음성 에이전트가 존재하는 환경에서, 인터랙션부(123)가 사용자와 인터랙션을 수행할 수 있도록 어느 하나 또는 둘 이상의 음성 에이전트를 선정할 수 있다. 이때, 에이전트 선정부(124)는 사용자와 에이전트 장치들 간의 거리, 에이전트 장치들에 대한 사용자의 선호도나 이용 빈도, 에이전트 장치들로부터 수신된 각 제어 명령의 음성 신호 세기나 음성 인식의 정확도 등을 고려하여 사용자와 인터랙션을 수행할 에이전트를 선정할 수 있다.
일 예에 따르면, 에이전트 선정부(124)는 복수의 에이전트 장치로부터 제어 명령이 전달되는 경우, 명령 통합부(121)에 의해 제어 명령들이 통합되기 전 에 그 에이전트 장치들 중에서 인터랙션을 수행할 에이전트 장치를 선정할 수 있다. 예컨대, 에이전트 선정부(124)는 음성 신호가 가장 강한 에이전트 장치 또는 음성 인식 정확도가 가장 높은 에이전트 장치를 인터랙션을 수행할 에이전트 장치로 선정할 수 있으나 이에 한정되지 않는다. 이 경우, 명령 통합부(121)는 선정된 에이전트 장치로부터 전달된 제어 명령들만을 통합할 수 있다.
다른 예에 따르면, 에이전트 선정부(124)는 복수의 에이전트 장치로부터 전달된 복수의 제어 명령이 명령 통합부(121)에 의해 통합이 된 이후, 그 통합 결과를 기초로 인터랙션을 수행할 에이전트 장치를 선정할 수 있다. 예컨대, 에이전트 선정부(124)는 통합 결과 중복되는 명령이 존재하는 경우 사용자와 그 중복 명령의 처리에 관한 질의 및 응답을 수행하기 위해, 현재 사용자의 위치와 가장 가까운 위치에 존재하는 에이전트 장치를 선정할 수 있다.
인터랙션부(123)는 에이전트 선정부(124)에 의해 선정된 에이전트 장치를 통해 사용자와 인터랙션을 수행할 수 있다.
한편, 도 2c의 명령 실행부(120c)는 도 2d에 도시된 바와 같이 확장될 수 있다. 도 2d를 참조하여 설명하면, 도 2d의 실시예에 따른 명령 실행부(120d)는 도 2c의 각 구성들(121,122,123,124) 외에 각종 전자 장치별로 현재 실행중이거나 실행 예정인 제어 명령, 예컨대 주기적으로 실행될 제어 명령이 미리 저장된 명령 DB(125) 및/또는 에이전트 선정부(124)가 복수의 음성 에이전트 중에서 인터랙션을 수행할 에이전트를 선정하는 각종 기준이 미리 저장된 정책 DB(126)를 더 포함할 수 있다.
명령 통합부(121)는 명령 태깅부로부터 제어 명령이 수신되면, 명령 DB(125)를 참고하여 기 실행중인 제어 명령이 존재하는지 확인할 수 있다. 이때, 명령 통합부(121)는 제어 명령에 태깅되어 있는 추가 정보로부터 제어할 전자 장치, 제어 명령의 수신 시간, 수신된 제어 명령의 실행 시간 등을 확인하고, 확인된 정보를 기초로 명령 DB(125)에 충돌하는 제어 명령이 존재하는지 확인할 수 있다.
예를 들어, "거실 온도 1도 올려줘"라는 제어 명령이 사용자로부터 12시 10분에 수신되었다고 할 때, 명령 통합부(121)는 추가 정보를 확인하여 제어할 전자 장치가 "보일러"임을 확인하고, 보일러에 대하여 현재 실행중인 제어 명령이 존재하는지 명령 DB(125)를 확인할 수 있다. 이때, 명령 DB(125)에 "오후 12:00부터 거실 온도 20도 유지"라는 제어 명령이 저장되어 있는 경우, 명령 통합부(121)는 사용자로부터 입력된 제어 명령과 명령 DB(125)에 저장되어 있는 명령을 통합하여 서로 충돌하는 것으로 판단할 수 있다.
이때, 명령 통합부(121)는 음성 에이전트를 통해 입력된 제어 명령이 복수인 경우, 각 제어 명령과 명령 DB(125)에 저장된 명령을 통합할 수 있으며, 각 명령들 간의 중복 여부 및 충돌 여부를 판단할 수 있다.
최종 명령 결정부(122)는 이와 같이 중복되거나 충돌된 제어 명령들 중에서 전자 장치에서 실행할 최종 명령을 결정할 수 있다. 이때, 전술한 바와 같이 인터랙션부(123)가 사용자와 그 중복 또는 충돌되는 명령들 간의 처리에 대한 질의 및 응답을 수행할 수 있다. 예컨대, 인터랙션부(123)는 "12시 이후에 거실 온도를 20도로 유지중입니다. 이번만 21도로 올릴까요"와 같이 사용자에게 질의할 수 있으며, 최종 명령 결정부(122)는 사용자 응답을 기초로 어느 하나를 최종 제어 명령으로 결정할 수 있다.
한편, 에이전트 선정부(124)는 전술한 바와 같이 인터랙션부(123)가 사용자와 인터랙션을 수행할 에이전트를 선정할 수 있으며, 이때, 정책 DB(126)를 참고할 수 있다. 이때, 정책 DB(126)에는 일자별/시간대별/장소별로 사용자가 선호하거나 자주 이용하는 에이전트 장치에 대한 정보, 사용자의 현재 위치, 현재 시간, 현재 동작 중인 에이전트 장치의 개수 등의 어느 하나 또는 둘 이상의 조합에 따른 에이전트 장치의 선정 기준 등이 저장될 수 있다. 여기에 한정되지 않으며 그 밖의 다양한 기준들이 다양한 상황에 따라 미리 설정될 수 있다.
예를 들어, 에이전트 선정부(124)는 정책 DB(126)에 사용자의 현재 위치 및 사용 빈도를 고려하여 에이전트를 선정하도록 기준이 설정되어 있고, 사용자가 안방에 있는 경우, 사용자가 안방에서 가장 자주 사용하는 스마트 폰을 에이전트 장치로 선정할 수 있다. 또한, 정책 DB(124)에 사용자의 현재 위치와 에이전트 장치 간의 거리를 기준으로 선정하도록 설정된 경우, 에이전트 선정부(124)는 사용자 및 각 에이전트 장치의 현재 위치를 파악하고 가장 근접한 거리에 있는 에이전트 장치를 선정할 수 있다. 도 3a는 일 실시예에 따른 음성 에이전트 기반의 전자 장치 제어 명령 처리 방법의 흐름도이다.
도 3a를 참조하면, 제어 명령 처리 장치(100)는 음성 에이전트로부터 제어 명령을 수신할 수 있다(310). 이때, 음성 에이전트는 사용자로부터 입력된 음성 그 자체를 제어 명령으로 전달할 수 있으며, 음성 인식 기술을 탑재하고 있는 경우, 그 음성 인식 기술을 통해 사용자의 음성을 인식하여 그 결과 출력된 텍스트를 제어 명령으로 전달할 수 있다.
이때, 제어 명령 처리 장치(100)가 수신하는 제어 명령은 복수일 수 있다, 예를 들어, 여러 명의 사용자들이 동시에 입력한 음성을 하나의 에이전트가 수신하여 전달할 수 있으며, 또는, 한 명의 사용자가 입력한 음성을 주변의 여러 음성 에이전트들이 수신하여 전달할 수 있다.
그 다음, 제어 명령 처리 장치(100)는 음성 에이전트로부터 제어 명령이 수신되면, 수신된 제어 명령에 추가 정보를 태깅할 수 있다(320). 이때, 추가 정보는 전술한 바와 같으며, 제어 명령 처리 장치(100)는 음성 에이전트 또는 외부 모듈로부터 필요한 추가 정보를 획득하거나, 제어 명령을 분석하여 필요한 추가 정보를 추출할 수 있다.
그 다음, 제어 명령 처리 장치(100)는 제어 명령이 복수개 존재하는 경우, 각각의 제어 명령에 태깅되어 있는 추가 정보를 이용하여 복수의 제어 명령을 통합할 수 있다(330).
도 3b는 도 3a의 명령 통합 단계(330)의 일 실시예를 도시한 흐름도이다.
제어 명령 처리 장치(100)는 복수의 제어 명령 각각에 태깅된 추가 정보를 이용하여 복수의 제어 명령을 분류하여 하나 이상의 클러스터로 통합할 수 있다(331). 그 다음, 제어 명령 처리 장치(100)는 통합 결과를 기초로 전자 장치에서 실핼할 최종 명령을 결정할 수 있다(332). 이때, 제어 명령 처리 장치(100)는 클러스터링 기준이나 추가 정보를 활용하여 최종 명령을 결정할 수 있다.
한편, 제어 명령 처리 장치(100)는 단계(331) 이후에, 통합 결과 복수의 제어 명령이 중복되는 것으로 판단되면, 사용자와 인터랙션을 수행하여 중복 명령의 처리에 관한 질의를 수행하고, 사용자로부터 그 질의에 대한 응답을 수신할 수 있다. 이때, 제어 명령 처리 장치(100)는 단계(332)에서 사용자의 응답에 기초하여 최종 명령을 결정할 수 있다.
또한, 전술한 바와 같이, 제어 명령 처리 장치(100)는 복수의 에이전트가 존재하는 경우 미리 설정된 다양한 선정 기준을 기초로 사용자와 인터랙션을 수행할 에이전트를 선정할 수 있다.
도 4는 다른 실시예에 따른 제어 명령 처리 방법의 흐름도이다.
먼저, 제어 명령 처리 장치(100)는 음성 에이전트로부터 제어 명령을 수신할 수 있다(410).
그 다음, 제어 명령 처리 장치(100)는 음성 에이전트로부터 제어 명령이 수신되면, 수신된 제어 명령에 추가 정보를 태깅할 수 있다(420).
그 다음, 제어 명령 처리 장치(100)는 수신된 제어 명령과 기존에 실행중인 제어 명령을 통합할 수 있다(430). 예를 들어, 제어 명령 처리 장치(100)는 제어 명령이 수신되면 제어 명령에 태깅되어 있는 추가 정보를 이용하여 제어할 전자 장치 및 제어 시점 등을 확인하고, 확인된 정보를 활용하여 명령 DB로부터 그 전자 장치에서 기 실행중인 제어 명령을 추출하여, 각 제어 명령들을 통합할 수 있다. 이때, 통합된 제어 명령, 즉, 음성 에이전트로부터 수신된 제어 명령과 기 실행중인 제어 명령이 충돌하는 것으로 판단되는 경우, 어느 하나의 명령만을 최종 명령으로 결정하여 전자 장치에서 실행되도록 할 수 있다.
이때, 제어 명령 처리 장치(100)는 각종 전자 장치에 대해 기 실행중인 제어 명령을 저장하는 명령 DB를 참조하여 수신된 제어 명령과 기 실행중인 제어 명령의 충돌 여부를 판단할 수 있다. 또한, 제어 명령 처리 장치(100)는 사용자와 인터랙션을 통해 그 충돌의 처리에 관한 질의를 수행할 수 있으며, 사용자의 응답을 기초로 어느 하나의 제어 명령을 최종 명령으로 결정할 수 있다. 또한, 제어 명령 처리 장치(100)는 복수의 음성 에이전트가 존재하는 경우 정책 DB를 참고하여 인터랙션을 수행할 에이전트를 선정할 수 있다.
도 5 내지 도 10은 전술한 제어 명령 처리 장치가 적용된 네트워크 제어 시스템의 다양한 실시예들을 도시한 것이다.
도 5 내지 도 10을 참조하면, 일 실시예들에 따른 네트워크 제어 시스템(1,2,3,4,5,6)은 음성 에이전트(510)를 포함하는 다수의 에이전트 장치(500), 에이전트 장치(500)에서 전달된 제어 명령에 따라 전자 장치(800)를 제어하는 제어 장치(700) 및, 제어 장치(700)의 제어에 따라 동작을 수행하는 전자 장치(800)를 포함할 수 있다. 또한, 네트워크 제어 시스템(1,2,3,4,5,6)은 전술한 제어 명령 처리 장치(100)를 포함하며, 이때, 제어 명령 처리 장치(600)는 도 5에 도시된 바와 같이, 다른 장치들(500,700,800)과는 별도의 하드웨어 장치에 구현되거나, 도 6 내지 도 10과 같이, 제어 명령 처리 장치(600)의 각 구성 (610,620)이 다른 장치들(500,700,800) 중의 어느 하나에 함께 탑재되거나, 둘 이상에 분산하여 탑재될 수 있다.
도 5를 참조하면, 네트워크 제어 시스템(1)에서 제어 명령 처리 장치(600)는 다수의 에이전트 장치(500) 및 제어 장치(700)와 유무선 네트워크로 연결이 될 수 있다. 이때, 각 장치(500,600,700,800)는 내부에 무선랜(WiFi), 블루투스(Bluetooth), 지그비, NFC(Near Field Communication) 등의 근거리 통신 모듈, 이동통신모듈 및 그 밖에 다양한 네트워크 통신 모듈을 포함할 수 있으며, 그 통신 모듈을 제어하여 서로 연결될 수 있다.
예를 들어, 사용자가 "거실 온도 1도 올려줘"와 같이 보일러의 온도 제어를 요청하는 음성을 입력하는 경우, 사용자의 주변에 있는 에이전트 장치(500)의 음성 에이전트(510)는 사용자의 음성을 수신하고, 필요한 처리를 할 수 있다. 예컨대, 각 에이전트 장치(500)에 포함된 음성 에이전트(510)가 음성 인식 기술을 탑재하고 있는 경우 음성 인식을 수행하여 음성을 텍스트로 변환하여 텍스트 형태의 제어 명령을 제어 명령 처리 장치(600)에 전송할 수 있다. 또한, 음성 인식 기술을 탑재하고 있지 않은 경우 또는 미리 설정된 정책에 따라 사용자로부터 입력된 음성 자체를 제어 명령으로 제어 명령 처리 장치(600)에 전송할 수도 있다.
이때, 음성 에이전트(510)는 사용자의 음성이 수신되면, 수신한 음성 신호의 세기, 사용자 정보, 사용자 음성의 수신 시간 등을 획득하여, 제어 명령과 함께 제어 명령 처리 장치(600)에 전달할 수 있다. 또한, 음성 에이전트(510)는 음성 인식을 수행한 경우, 음성 인식의 정확도 정보를 더 전달할 수 있다.
이때, 에이전트 장치(500)는 내부에 탑재된 통신 모듈을 제어하여 통신망에 접속하고, 그 통신망에 접속되어 있는 제어 명령 처리 장치(600)와 연결하여 제어 명령이나 획득된 정보를 전송할 수 있다.
제어 명령 처리 장치(600)는 에이전트 장치(500)로부터 전달된 제어 명령을 통합하고, 통합 결과 어느 하나의 제어 명령을 제어 장치(700)에 전송할 수 있다. 이때, 제어 명령 처리 장치(600)는 명령 태깅부(610)와 명령 실행부(620)를 포함하고, 명령 태깅부(610)는 수신된 제어 명령에 추가 정보를 태깅하며, 명령 실행부(620)는 태깅된 추가 정보를 기초로 복수의 제어 명령을 통합하여 중복되지 않은 어느 하나의 제어 명령만이 전자 장치에서 실행될 수 있도록 처리할 수 있다.
또한, 명령 실행부(620)는 제어하고자 하는 전자 장치에서 기 실행중인 제어 명령이 존재하는 경우 그 기 실행중인 제어 명령을 함께 고려하여 통합할 수 있다.
명령 실행부(620)는 수신된 제어 명령들 간에 중복이 발생하거나, 기 실행중인 제어 명령과 충돌하는 경우 복수의 에이전트 장치(500) 중에서 인터랙션을 수행할 에이전트 장치(500)를 선정하여 사용자와 인터랙션을 수행할 수 있으며, 사용자와의 인터랙션 결과에 기초하여 어느 하나의 제어 명령을 최종 제어 명령으로 결정할 수 있다.
제어 장치(700)는 제어 명령 처리 장치(600)로부터 제어 명령이 수신되면, 수신된 제어 명령이 전자 장치(800)에서 실행될 수 있도록 제어할 수 있다. 이때, 제어 장치(700)는 도시된 바와 같이 전자 장치와는 별도의 하드웨어 장치에 구현될 수 있며 필요에 따라서는 전자 장치(800) 내에 소프트웨어 또는 하드웨어 모듈로서 탑재될 수 있다.
전자 장치(800)는 제어 장치(700)와 페어링 연결을 하고, 제어 장치(700)로부터 수신된 제어 명령에 해당하는 동작을 수행할 수 있다.
이때, 제어 장치(700) 또는 전자 장치(800)는 제어 명령의 실행 결과, 예컨대 "거실 온도가 20도에서 21도가 되도록 설정하였습니다."와 같은 결과를 제어 명령 처리 장치(600)에 전송할 수 있으며, 제어 명령 처리 장치(600)의 명령 실행부(620)는 인터랙션할 에이전트 장치(500)를 통해 사용자에게 제공할 수 있다. 이때, 인터랙션할 에이전트 장치(500)의 음성 에이전트(510)는 수신된 결과를 음성으로 변환하여 사용자에게 음성으로 출력할 수 있다.
도 6을 참조하여, 다른 실시예의 네트워크 제어 시스템(2)을 설명한다. 도 6의 실시예에 따르면, 제어 명령 처리 장치가 에이전트 장치(500) 내에 탑재될 수 있다. 전술한 바와 마찬가지로, 네트워크 제어 시스템(2)은 하나 이상의 에어전트 장치(500), 제어 장치(700) 및 전자 장치(800)를 포함한다. 도 5와 동일한 참조 부호를 가진 구성들은 동일한 기능을 수행하므로 자세한 설명은 생략하기로 한다.
에이전트 장치(500)는 사용자로부터 음성을 수신하는 음성 에이전트(510) 및 통신부(620) 및 제어 명령 처리 장치의 구성들인 명령 태깅부(610)와 명령 실행부(620) 를 포함할 수 있다.
에이전트 장치(500)는 사용자로부터 마이크로폰 등을 통해 음성이 입력되면, 음성 에이전트(510)를 통해 사용자의 음성에 대하여 음성 인식과 같은 필요한 작업을 수행한 후 명령 태깅부(610) 및 명령 실행부(620)를 통해 어느 하나의 최종 제어 명령을 결정하여, 통신부(520)를 통해 제어 장치(700)에 전송할 수 있다. 이때, 특정 에이전트 장치(500)가 복수의 사용자로부터 거의 동시에 발화되는 복수의 음성을 수신하는 경우, 그 에이전트 장치(500)에 탑재된 음성 에이전트(510)는 수신된 복수의 음성 각각을 제어 명령으로서 명령 태깅부(610)에 전달할 수 있으며, 명령 태깅부(610) 및 명령 실행부(620)는 수신된 복수의 제어 명령들 간의 중복이나 기 실행중인 명령과의 충돌을 해결하여 전자 장치(800)를 제어하도록 할 수 있다.
예를 들어, 거실이 춥다고 느낀 어떤 사용자가 19시 1분에 "거실 온도 1도 올려줘"라는 음성을 발화하고, 거실이 덥다고 느낀 다른 사용자가 19시 2분에 "거실 온도 1도 내려줘"라고 발화하는 경우, 에이전트 장치(500)는 미리 설정된 다양한 기준에 따라 어느 하나의 명령만을 최종 명령으로 결정하여 제어 장치(700)에 전송할 수 있다. 예컨대, 나중에 수신된 제어 명령을 최종 명령으로 결정할 수 있으며, 또는 음성 에이전트(510)를 통해 어떤 명령을 최종적으로 실행할 것인지를 사용자에게 질의하고 사용자가 선택한 명령을 최종 명령으로 결정하여 제어 장치(700)에 전송할 수 있다. 통신부(520)는 명령 실행부(620)의 요청에 따라 통신망에 접속하여 제어 장치(700)와 연결을 시도하고, 연결에 성공하면 결정된 최종 명령을 제어 장치(700)에 전송할 수 있다.
제어 장치(700)는 수신된 제어 명령을 전자 장치(800)에서 실행되도록 제어하고, 전자 장치(800)는 제어 장치(800)의 제어에 따라 사용자가 요구하는 동작을 수행할 수 있다.
도 7은 또 다른 실시예의 네트워크 제어 시스템(3)을 도시한 것이다. 도 7의 실시예에 따르면, 제어 명령 처리 장치의 구성(610,620)은 제어 장치(700) 내에 탑재될 수 있다. 마찬가지로, 네트워크 제어 시스템(3)은 하나 이상의 에어전트 장치(500), 제어 장치(700) 및 전자 장치(800)를 포함할 수 있으며, 이하, 자세한 설명은 생략한다.
에이전트 장치(500)는 음성 에이전트(510)를 포함하며, 제어 장치(700)는 에이전트 장치(500)로부터 제어 명령을 수신하는 제어 명령 수신부(710), 명령 태깅부(610), 명령 실행부(620) 및 제어부(720)를 포함할 수 있다.
제어 장치(700)는 제어 명령 수신부(710)를 통해 에이전트 장치(500)로부터 제어 명령이 수신되면, 명령 태깅부(610)와 명령 실행부(620)를 통해 복수의 제어 명령, 기 실행중인 제어 명령들을 통합하여 전자 장치(800)에서 실행할 최종 제어 명령을 결정하며, 제어부(720)를 통해 최종 제어 명령이 전자 장치(800)에서 실행되도록 제어할 수 있다.
도 8 및 도 9는 또 다른 실시예들의 네트워크 제어 시스템(4,5)을 도시한 것이다. 도 8 및 도 9의 실시예에 따른 네트워크 제어 시스템(4,5)은 에이전트 장치(500), 제어 장치(700), 전자 장치(800)를 포함할 수 있으며, 제어 명령 처리 장치의 각 구성들(610,620)은 각각 서로 다른 장치에 분산 탑재될 수 있다.
도 8을 참조하면 네트워크 제어 시스템(4)는 명령 태깅부(610)가 에이전트 장치(500)에, 명령 실행부(620)가 제어 장치(700)에 분산되어 탑재될 수 있다. 이때, 제어 장치(710)의 제어 명령 수신부(710)는 에이전트 장치(500)의 명령 태깅부(610)에 의해 추가 정보가 태깅된 제어 명령을 수신하며, 수신된 제어 명령은 명령 실행부(620)에 의해 통합되어 제어부(720)를 통해 전자 장치(800)에서 실행될 수 있다.
또한, 도 9를 참조하면, 네트워크 제어 시스템(5)는 명령 태깅부(610)가 에이전트 장치(500), 명령 실행부(620)가 전자 장치(800)에 분산 탑재될 수 있다. 이때, 제어 장치(700)는 에이전트 장치(500)로부터 추가 정보가 태깅된 복수의 제어 명령, 미리 등록되어 있는 실행 예정인 제어 명령들을 전자 장치(800)에 전송하면, 전자 장치(800)가 그 제어 명령들을 통합하여 어느 하나의 명령만을 실행할 수 있다. 예를 들어, 전자 장치(810)의 통신부(810)는 홈 네트워크 통신망 등에 접속하여 제어 장치(700)와 연결하고, 제어 장치(700)로부터 제어 명령들을 수신하여 명령 실행부(620)에 전달할 수 있다. 이때, 명령 실행부(620)는 수신된 명령들을 통합하고, 어느 하나의 최종 명령을 결정하여 실행할 수 있다.
또한, 여기에 도시되지는 않았지만, 명령 태깅부(610)는 에이전트 장치(500)에 탑재되고, 명령 실행부(620)는 별도의 제어 명령 처리 장치에 탑재될 수도 있으며, 그 적용에 있어서 특별히 한정되지 않는다.
도 10은 또 다른 실시예의 네트워크 제어 시스템(6)을 도시한 것이다. 도 10의 실시예에 따르면, 제어 명령 처리 장치의 각 구성들(610,620)은 전자 장치(800)에 탑재될 수 있다. 네트워크 제어 시스템(6)은 에어전트 장치(500), 제어 장치(700) 및 전자 장치(800)를 포함할 수 있으며, 전자 장치(800)는 통신부(810), 명령 태깅부(610), 명령 실행부(620) 및 동작 수행부(820)를 포함할 수 있다. 전자 장치(800)의 통신부(810)가 제어 장치(700)로부터 복수의 제어 명령을 수신하면, 명령 태깅부(610) 및 명령 실행부(620)에 의해 최종 명령이 결정되고, 결정된 최종 명령이 동작 수행부(820)에 의해 수행된다. 이하 자세한 설명은 생략한다.
이와 같이, 음성 에이전트를 통하여 전자 장치를 제어하는 네트워크 제어 시스템에서 복수의 제어 명령의 통합 처리를 수행하는 제어 명령 처리 기술이 적용되는 다양한 실시예들을 설명하였다. 하지만, 전술한 실시예들에 한정되는 것은 아니며 그 밖에 다양하게 변형되어 실시될 수 있음은 자명하다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 제어 명령 처리 장치 110: 명령 태깅부
120: 명령 실행부 121: 명령 통합부
122: 최종 명령 결정부 1,2,3,4,5,6: 네트워크 제어 시스템
500: 에이전트 장치 510: 음성 에이전트
520: 통신부 600: 제어 명령 처리 장치
610: 명령 태깅부 620: 명령 실행부
700: 제어 장치 710: 제어 명령 수신부
720: 제어부 800: 전자 장치
810: 통신부 820: 동작 수행부

Claims (24)

  1. 음성 에이전트(Voice Agent) 기반의 전자 장치의 제어 명령을 처리하는 장치에 있어서,
    통신모듈; 및
    프로세서를 포함하고, 상기 프로세서는:
    상기 통신모듈을 통하여 복수의 음성 에이전트들 각각으로부터 복수의 제어 명령을 수신하고,
    상기 복수의 제어 명령 각각에 추가 정보를 태깅하며,
    상기 복수의 제어 명령 각각에 태깅된 상기 추가 정보를 기초로, 상기 복수의 제어 명령을 하나 이상의 클러스터를 통해 하나의 제어 명령으로 통합하고,
    상기 하나의 제어 명령을 상기 통신모듈을 통하여 상기 전자 장치로 제공하도록 설정된, 제어 명령 처리 장치.
  2. 제1항에 있어서,
    상기 복수의 제어 명령은 사용자가 입력한 음성 그 자체이거나, 상기 사용자가 입력한 음성을 음성 인식 기술을 통해 변환한 텍스트 형태인 제어 명령 처리 장치.
  3. 제1항에 있어서,
    상기 추가 정보는
    사용자가 상기 복수의 제어 명령에 관한 음성을 발화한 시간, 상기 복수의 음성 에이전트로부터 상기 복수의 제어 명령을 수신한 시간, 상기 복수의 제어 명령에 관한 음성의 인식 정확도, 상기 음성의 신호의 세기, 상기 복수의 제어 명령의 길이, 상기 복수의 제어 명령에서 추출된 해시값, 특성값, 상기 사용자의 정보, 상기 복수의 음성 에이전트 장치의 정보 및, 상기 전자 장치의 정보 중의 하나 이상을 포함하는 제어 명령 처리 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 제어 명령 상호 간의 유사도를 산출하고, 산출된 유사도 및 상기 태깅된 정보를 기초로 상기 복수의 제어 명령을 하나 이상의 클러스터로 통합하도록 설정된, 제어 명령 처리 장치.
  6. 제1항에 있어서,
    상기 프로세서는
    상기 하나 이상의 클러스터 각각에 대하여, 클러스터의 중심(centroid)에 해당하는 제어 명령을 상기 하나의 제어 명령으로 결정하도록 설정된, 제어 명령 처리 장치.
  7. 제1항에 있어서,
    상기 프로세서는
    상기 하나 이상의 클러스터에 중복 명령이 존재하면, 사용자에게 중복 명령의 처리에 관한 질의를 수행하고,
    상기 질의 수행 결과를 기초로 상기 하나의 제어 명령을 결정하도록 설정된, 제어 명령 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 음성 에이전트 중에서 사용자와 인터랙션을 수행할 음성 에이전트를 선정하도록 설정된, 제어 명령 처리 장치.
  9. 음성 에이전트(Voice Agent) 기반의 전자 장치의 제어 명령을 처리하는 방법에 있어서,
    통신모듈을 통하여 복수의 음성 에이전트들 각각으로부터 복수의 제어 명령을 수신하는 단계;
    상기 복수의 제어 명령 각각에 추가 정보를 태깅하는 단계;
    상기 복수의 제어 명령 각각에 태깅된 추가 정보를 기초로, 상기 복수의 제어 명령을 하나 이상의 클러스터를 통해 하나의 제어 명령으로 통합하는 단계; 및
    상기 하나의 제어 명령을 상기 통신모듈을 통하여 상기 전자 장치로 제공하는 단계를 포함하는 제어 명령 처리 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 하나의 제어 명령으로 통합하는 단계는
    상기 복수의 제어 명령 상호 간의 유사도를 산출하는 단계를 포함하고, 상기 산출된 유사도 및 상기 추가 정보를 기초로 통합하는 제어 명령 처리 방법.
  12. 제9항에 있어서,
    상기 하나의 제어 명령으로 통합하는 단계는
    상기 하나 이상의 클러스터 각각에 대하여, 클러스터의 중심(centroid)에 해당하는 명령을 상기 하나의 제어 명령으로 결정하는 제어 명령 처리 방법.
  13. 제9항에 있어서,
    상기 하나의 제어 명령으로 통합하는 단계는
    상기 하나 이상의 클러스터에 중복 명령이 존재하면, 사용자에게 중복 명령의 처리에 관한 질의를 수행하고,
    상기 질의 수행 결과를 기초로 상기 하나의 제어 명령을 결정하는 제어 명령 처리 방법.
  14. 제9항에 있어서,
    상기 하나의 제어 명령으로 통합하는 단계는
    상기 복수의 음성 에이전트 중에서 사용자와 인터랙션을 수행할 음성 에이전트를 선정하는 단계를 더 포함하는 제어 명령 처리 방법.
  15. 음성 에이전트(Voice Agent) 기반의 전자 장치의 제어 명령을 처리하는 장치에 있어서,
    통신모듈; 및
    프로세서를 포함하고, 상기 프로세서는:
    상기 통신모듈을 통하여 음성 에이전트로부터 상기 전자 장치의 제어 명령을 수신하고,
    상기 수신한 제어 명령에 추가 정보를 태깅하며,
    상기 수신한 제어 명령에 태깅된 추가 정보를 기초로 상기 수신한 제어 명령과 상기 전자 장치에 대해 기 실행중인 제어 명령이 서로 충돌하는지 여부를 판단하고,
    상기 수신한 제어 명령과 상기 기 실행중인 제어 명령이 충돌하는 경우, 상기 수신한 제어 명령의 제공을 유예하도록 결정하고,
    상기 수신한 제어 명령과 상기 기 실행중인 제어 명령이 충돌하지 않는 경우, 상기 수신한 제어 명령을 상기 통신모듈을 통하여 상기 전자 장치로 제공하도록 설정된, 제어 명령 처리 장치.
  16. 삭제
  17. 제15항에 있어서,
    전자 장치별로 기 실행중인 제어 명령을 저장하는 명령 DB를 더 포함하고,
    상기 프로세서는
    상기 명령 DB로부터 상기 전자 장치에 대하여 기 실행중인 제어 명령을 검출하는 제어 명령 처리 장치.
  18. 제15항에 있어서,
    상기 프로세서는
    상기 판단의 결과 상기 수신한 제어 명령과 상기 기 실행중인 제어 명령이 충돌하는 경우, 사용자에게 충돌된 명령의 처리에 관한 질의를 수행하고,
    상기 질의 수행 결과를 기초로 상기 수신한 제어 명령의 제공을 유예하거나 또는 상기 수신한 제어 명령을 상기 통신 모듈을 통하여 상기 전자 장치로 제공하도록 설정된 제어 명령 처리 장치.
  19. 제15항에 있어서,
    음성 에이전트 선정을 위한 정책을 저장하는 정책 DB를 더 포함하고,
    상기 프로세서는
    상기 정책 DB를 참고하여 사용자와 인터랙션을 수행할 음성 에이전트를 선정하도록 설정된 제어 명령 처리 장치.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020150142427A 2015-10-12 2015-10-12 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치 Active KR102429260B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150142427A KR102429260B1 (ko) 2015-10-12 2015-10-12 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
US15/270,382 US10607605B2 (en) 2015-10-12 2016-09-20 Apparatus and method for processing control command based on voice agent, and agent device
CN201610874212.1A CN106571141B (zh) 2015-10-12 2016-09-30 处理基于语音代理的控制命令的设备和方法及代理器装置
EP16193347.8A EP3157007B1 (en) 2015-10-12 2016-10-11 Processing of control commands for an electronic device
JP2016199885A JP2017076393A (ja) 2015-10-12 2016-10-11 音声エージェントに基づく制御命令処理装置及び方法、並びにエージェント装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150142427A KR102429260B1 (ko) 2015-10-12 2015-10-12 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치

Publications (2)

Publication Number Publication Date
KR20170043055A KR20170043055A (ko) 2017-04-20
KR102429260B1 true KR102429260B1 (ko) 2022-08-05

Family

ID=57189780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150142427A Active KR102429260B1 (ko) 2015-10-12 2015-10-12 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치

Country Status (5)

Country Link
US (1) US10607605B2 (ko)
EP (1) EP3157007B1 (ko)
JP (1) JP2017076393A (ko)
KR (1) KR102429260B1 (ko)
CN (1) CN106571141B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025023436A1 (ko) * 2023-07-21 2025-01-30 삼성전자주식회사 인공지능 에이전트를 포함하는 전자 장치 및 인공지능 에이전트의 동작 방법

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10273678B2 (en) 2014-12-19 2019-04-30 Simpson Strong-Tie Company, Inc. Column cap
US10074364B1 (en) * 2016-02-02 2018-09-11 Amazon Technologies, Inc. Sound profile generation based on speech recognition results exceeding a threshold
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10097939B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Compensation for speaker nonlinearities
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
KR20180060328A (ko) 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
JP2018167339A (ja) * 2017-03-29 2018-11-01 富士通株式会社 発話制御プログラム、情報処理装置及び発話制御方法
US10552204B2 (en) * 2017-07-07 2020-02-04 Google Llc Invoking an automated assistant to perform multiple tasks through an individual command
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US20190065608A1 (en) * 2017-08-29 2019-02-28 Lenovo (Singapore) Pte. Ltd. Query input received at more than one device
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CN107808669B (zh) * 2017-09-30 2021-07-06 深圳市艾特智能科技有限公司 语音控制方法、智能家居系统、存储介质和计算机设备
TWI661319B (zh) * 2017-11-30 2019-06-01 財團法人資訊工業策進會 根據文本產生控制指令之裝置、方法及其電腦程式產品
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
CN108257596B (zh) * 2017-12-22 2021-07-23 北京小蓦机器人技术有限公司 一种用于提供目标呈现信息的方法与设备
CN108231075A (zh) * 2017-12-29 2018-06-29 北京视觉世界科技有限公司 清洁设备的控制方法、装置、设备和存储介质
TWI651966B (zh) * 2017-12-29 2019-02-21 瑞軒科技股份有限公司 影音控制系統
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
KR102515023B1 (ko) 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
CN109088802A (zh) * 2018-09-13 2018-12-25 天津西青区瑞博生物科技有限公司 一种基于安卓控制平台的语音识别家居机器人
CN110910868B (zh) * 2018-09-14 2022-09-20 上海子光信息科技有限公司 自扩展的语音控制系统
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11315553B2 (en) * 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
CN110956961A (zh) * 2018-09-27 2020-04-03 中强光电股份有限公司 智能语音系统及利用智能语音系统控制投影机的方法
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
JP7028130B2 (ja) * 2018-10-04 2022-03-02 トヨタ自動車株式会社 エージェント装置
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US20200143235A1 (en) * 2018-11-01 2020-05-07 Honda Motor Co., Ltd. System and method for providing smart objects virtual communication
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US10944588B2 (en) 2018-11-29 2021-03-09 International Business Machines Corporation Resolving conflicting commands received by an electronic device
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN109697981B (zh) * 2019-01-02 2021-03-09 百度在线网络技术（北京）有限公司 一种语音交互方法、装置、设备及存储介质
CN111508483B (zh) * 2019-01-31 2023-04-18 北京小米智能科技有限公司 设备控制方法及装置
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
WO2020175802A1 (en) 2019-02-27 2020-09-03 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
CN112051743A (zh) * 2019-06-06 2020-12-08 北京三星通信技术研究有限公司 设备控制方法、冲突处理方法、相应的装置及电子设备
KR102252526B1 (ko) 2019-06-07 2021-05-14 부산대학교 산학협력단 경량 ＩｏＴ 장치를 위한 지능형 음성 서비스 지원 장치 및 방법
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
KR102280690B1 (ko) * 2019-08-15 2021-07-22 엘지전자 주식회사 지능적 음성 출력 방법, 음성 출력 장치 및 지능형 컴퓨팅 디바이스
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
EP4037328A4 (en) 2019-09-27 2023-08-30 LG Electronics Inc. DISPLAY DEVICE AND ARTIFICIAL INTELLIGENCE SYSTEM
WO2021075774A1 (en) * 2019-10-16 2021-04-22 Samsung Electronics Co., Ltd. Method for controlling iot device and electronic device therefor
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
JP7318587B2 (ja) * 2020-05-18 2023-08-01 トヨタ自動車株式会社 エージェント制御装置
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US12283269B2 (en) 2020-10-16 2025-04-22 Sonos, Inc. Intent inference in audiovisual communication sessions
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US20220180865A1 (en) * 2020-12-03 2022-06-09 International Business Machines Corporation Runtime topic change analyses in spoken dialog contexts
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN114055464B (zh) * 2021-09-30 2024-01-19 深圳市航盛电子股份有限公司 一种智能调度机械手工作的执行系统及其工作方法
US12322390B2 (en) 2021-09-30 2025-06-03 Sonos, Inc. Conflict management for wake-word detection processes
CN118303040A (zh) 2021-09-30 2024-07-05 搜诺思公司 启用和禁用麦克风和语音助手
US12327065B2 (en) 2021-12-01 2025-06-10 International Business Machines Corporation Resolving conflicting commands using hierarchy
US12327549B2 (en) 2022-02-09 2025-06-10 Sonos, Inc. Gatekeeping for voice intent processing
CN115240668B (zh) * 2022-07-06 2023-06-02 广东开放大学（广东理工职业学院） 语音交互家居控制方法及机器人

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357629B2 (ja) 1999-04-26 2002-12-16 旭化成株式会社 設備制御システム
JP3838029B2 (ja) 2000-12-18 2006-10-25 セイコーエプソン株式会社 音声認識を用いた機器制御方法および音声認識を用いた機器制御システム
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
US7480619B1 (en) 2003-03-04 2009-01-20 The Board Of Trustees Of The Leland Stanford Junior University Integration manager and natural interaction processor
US20050131677A1 (en) * 2003-12-12 2005-06-16 Assadollahi Ramin O. Dialog driven personal information manager
US7634406B2 (en) * 2004-12-10 2009-12-15 Microsoft Corporation System and method for identifying semantic intent from acoustic information
US20060293767A1 (en) * 2005-06-28 2006-12-28 Eischeid Todd M Policy based automation rule selection control system
JP2006227634A (ja) 2006-03-29 2006-08-31 Seiko Epson Corp 音声認識を用いた機器制御方法および音声認識を用いた機器制御システムならびに音声認識を用いた機器制御プログラムを記録した記録媒体
US20110060587A1 (en) 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
US8788589B2 (en) * 2007-10-12 2014-07-22 Watchitoo, Inc. System and method for coordinating simultaneous edits of shared digital data
CN101272418B (zh) * 2008-03-25 2012-07-18 宇龙计算机通信科技(深圳)有限公司 一种远程控制通信终端的方法和通信终端
US8458168B2 (en) * 2009-03-27 2013-06-04 Microsoft Corporation Anticipating interests of an online user
KR101072709B1 (ko) 2009-06-15 2011-10-11 브이 앤드 씨 컴퍼니 리미티드 영역 우선 음성인식 홈네트워크 시스템
CN101834799B (zh) * 2010-05-06 2012-12-19 工业和信息化部电信传输研究所 移动iptv的服务器选择方法、客户端、服务器和系统
EP2498250B1 (en) * 2011-03-07 2021-05-05 Accenture Global Services Limited Client and server system for natural language-based control of a digital network of devices
JP2012244238A (ja) 2011-05-16 2012-12-10 Funai Electric Co Ltd 音声画像装置
CN102427465B (zh) * 2011-08-18 2015-05-13 青岛海信电器股份有限公司 语音服务代理方法及装置、通过代理集成语音应用的系统
US20130073286A1 (en) 2011-09-20 2013-03-21 Apple Inc. Consolidating Speech Recognition Results
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
US9064491B2 (en) * 2012-05-29 2015-06-23 Nuance Communications, Inc. Methods and apparatus for performing transformation techniques for data clustering and/or classification
CN102945029B (zh) 2012-10-31 2014-12-10 鸿富锦精密工业（深圳）有限公司 智能网关、智能家居系统及家电设备的智能控制方法
US9607046B2 (en) * 2012-12-14 2017-03-28 Microsoft Technology Licensing, Llc Probability-based state modification for query dialogues
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9064001B2 (en) * 2013-03-15 2015-06-23 Nuance Communications, Inc. Method and apparatus for a frequently-asked questions portal workflow
WO2014190496A1 (en) 2013-05-28 2014-12-04 Thomson Licensing Method and system for identifying location associated with voice command to control home appliance
KR102387567B1 (ko) * 2015-01-19 2022-04-18 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
US9704488B2 (en) * 2015-03-20 2017-07-11 Microsoft Technology Licensing, Llc Communicating metadata that identifies a current speaker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025023436A1 (ko) * 2023-07-21 2025-01-30 삼성전자주식회사 인공지능 에이전트를 포함하는 전자 장치 및 인공지능 에이전트의 동작 방법

Also Published As

Publication number Publication date
EP3157007A1 (en) 2017-04-19
US10607605B2 (en) 2020-03-31
JP2017076393A (ja) 2017-04-20
CN106571141B (zh) 2021-12-28
CN106571141A (zh) 2017-04-19
US20170103755A1 (en) 2017-04-13
KR20170043055A (ko) 2017-04-20
EP3157007B1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
KR102429260B1 (ko) 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
US11900930B2 (en) Method and apparatus for managing voice-based interaction in Internet of things network system
US10354014B2 (en) Virtual assistant system
US11100929B2 (en) Voice assistant devices
KR102095514B1 (ko) 디바이스 토폴로지에 기초한 음성 명령 프로세싱
US9825773B2 (en) Device control by speech commands with microphone and camera to acquire line-of-sight information
KR102424260B1 (ko) Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
KR102417682B1 (ko) 음성 인식을 이용한 닉네임 관리 장치 및 방법
US10432419B1 (en) Voice control using multi-media rooms
KR102453603B1 (ko) 전자 장치 및 그 제어 방법
US20200184963A1 (en) Virtual assistant augmentation system
KR20190099586A (ko) 전자 장치, 전자 장치의 제어방법 및 서버
KR20140037519A (ko) 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법
KR20180096483A (ko) 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
US20190130898A1 (en) Wake-up-word detection
KR20190026521A (ko) 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
KR102396147B1 (ko) 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
JP6719434B2 (ja) 機器制御装置、機器制御方法及び機器制御システム
US20220230634A1 (en) Systems and methods for voice exchange beacon devices
KR102153134B1 (ko) 근거리 무선 데이터 통신을 이용한 화재 경보 방법, 장치 및 시스템
KR102685531B1 (ko) Em 신호의 특징을 등록하여 외부 장치를 식별하는 방법 및 상기 방법을 적용한 전자 장치
CN112306615A (zh) 基于人工智能的交互方法、装置、电子设备以及存储介质
KR20160037058A (ko) 빅데이터 분석 기반의 개인화 서비스 지원 장치 및 방법
KR20200079602A (ko) 사용자별 맞춤형 서비스 제공 IoT 시스템
KR102304342B1 (ko) 음성 인식 방법 및 이에 사용되는 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151012

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201012

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151012

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220114

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220715

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220801

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220802

End annual number: 3

Start annual number: 1

PG1601 Publication of registration