KR20210153165A - 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법 - Google Patents
음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법 Download PDFInfo
- Publication number
- KR20210153165A KR20210153165A KR1020197020557A KR20197020557A KR20210153165A KR 20210153165 A KR20210153165 A KR 20210153165A KR 1020197020557 A KR1020197020557 A KR 1020197020557A KR 20197020557 A KR20197020557 A KR 20197020557A KR 20210153165 A KR20210153165 A KR 20210153165A
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- word
- intelligence device
- additional
- voice
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims description 50
- 230000006870 function Effects 0.000 claims abstract description 30
- 230000003213 activating effect Effects 0.000 claims abstract description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 23
- 238000001228 spectrum Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 238000007405 data analysis Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000010454 slate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007103 stamina Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D29/00—Arrangement or mounting of control or safety devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
- C02F1/006—Water distributors either inside a treatment tank or directing the water to several treatment tanks; Water treatment plants incorporating these distributors, with or without chemical or biological tanks
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D23/00—General constructional features
- F25D23/12—Arrangements of compartments additional to cooling compartments; Combinations of refrigerators with other equipment, e.g. stove
- F25D23/126—Water cooler
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
- F25D2700/00—Means for sensing or measuring; Sensors therefor
- F25D2700/04—Sensors detecting the presence of a person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Thermal Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Organic Chemistry (AREA)
- Water Supply & Treatment (AREA)
- Hydrology & Water Resources (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명의 일 실시 예에 따른 음성 인식 기능을 제공하는 인공 지능 기기는 상기 인공 지능 기기의 음성 인식 기능을 활성화하는데 사용되는 기본 기동어 및 상기 인공 지능 기기의 동작 제어를 위해 사용되는 추가 기동어를 저장하는 메모리와 음성 명령어를 수신하는 마이크로폰 및 상기 음성 명령어로부터 상기 기본 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단하고, 상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 음성 명령어에서 상기 기본 기동어를 제외한 나머지 명령어에 대응하는 동작을 수행하는 프로세서를 포함할 수 있다.
Description
본 발명은 인공 지능 기기에 관한 것으로, 보다 상세하게는 사용자의 음성을 인식할 수 있는 인공 지능 기기에 관한 것이다.
스마트폰에 시작된 음성인식 기술 경쟁은 사물인터넷(IoT)의 본격 확산과 맞물려 이제 집 안에서 본격적으로 불붙을 전망이다.
특히, 주목할 만 한 점은 그 기기가 음성을 매개로 명령을 내리고, 대화를 나눌 수도 있는 인공지능(AI) 기기라는 점이다.
음성인식 서비스는 막대한 양의 데이터베이스를 활용하여, 사용자의 질문에 최적 답변을 선택하는 구조를 갖고 있다.
음성검색 기능 역시 입력된 음성데이터를 클라우드 서버에서 텍스트로 변환하여 분석하고, 그 결과에 따른 실시간 검색결과를 기기로 재전송하는 방식이다.
클라우드 서버는 수많은 단어들을 성별, 연령별, 억양별로 구분된 음성 데이터로 구분하여, 저장하고 실시간으로 처리할 수 있는 컴퓨팅 능력을 보유하고 있다.
음성 인식은 더 많은 음성데이터가 축적될수록, 인간과 동등한(Human parity) 수준 정도로, 정확해 질 것이다.
일반적으로, 인공 지능 기기는 기동어에 의해 음성 인식 기능이 활성화되어, 사용자의 추가 음성을 수신할 준비를 한다.
기동어가 복수 개로 이루어진 경우, 인공 지능 기기의 메모리의 용량 제약이나 기동어 인식을 위한 연산량이 많아져, 보통은 하나의 기동어만이 사용되고 있다.
따라서, 인공 지능 기기는 기동어를 인식 후, 이어지는 추가 명령어를 수신하고, 수신된 추가 명령어를 NLP 서버에 전송한다. 인공 지능 기기는 NLP 서버가 분석한 추가 명령어에 상응하는 의도를 수신하고, 수신된 의도에 따른 동작을 수행한다.
그러나, 이 경우, 인공 지능 기기의 음성 제어를 위해 추가 명령어가 모두 NLP 서버에 전송되어야 하므로, NLP 서버와의 데이터 교환 과정에서 딜레이가 발생한다. 이에 따라, 사용자의 발화 명령어에 즉각적인 동작이 필요한 경우에도, 동작의 수행에 딜레이가 발생하여, 사용자의 불편함이 초래될 수 있다.
본 발명은 특정 상황에서, 사용자의 간단한 발화만으로, 인공 지능 기기의 동작을 딜레이 없이, 수행할 수 있는 인공 지능 기기의 제공을 목적으로 한다.
본 발명은 특정 상황에서, 인공 지능 기기의 메모리를 효율적으로 사용하고, 음성 인식의 성능을 개선시킬 수 있는 인공 지능 기기의 제공을 목적으로 한다.
본 발명의 일 실시 예에 따른 음성 인식 기능을 제공하는 인공 지능 기기는 상기 인공 지능 기기의 음성 인식 기능을 활성화하는데 사용되는 기본 기동어 및 상기 인공 지능 기기의 동작 제어를 위해 사용되는 추가 기동어를 저장하는 메모리와 음성 명령어를 수신하는 마이크로폰 및 상기 음성 명령어로부터 상기 기본 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단하고, 상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 음성 명령어에서 상기 기본 기동어를 제외한 나머지 명령어에 대응하는 동작을 수행하는 프로세서를 포함할 수 있다.
음성 인식 기능을 제공하는 인공 지능 기기의 동작 방법은 상기 인공 지능 기기의 음성 인식 기능을 활성화하는데 사용되는 기본 기동어 및 상기 인공 지능 기기의 동작 제어를 위해 사용되는 추가 기동어를 저장하는 단계와 음성 명령어를 수신하는 단계와 상기 음성 명령어로부터 상기 기본 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단하는 단계 및 상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 음성 명령어에서 상기 기본 기동어를 제외한 나머지 명령어에 대응하는 동작을 수행하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 특정 상황에서, 기본 기동어 외에, 추가 기동어가 음성 인식에 사용됨에 따라, NLP 서버에 동작 명령어를 전송할 필요가 없게 되어, 딜레이 없이, 음성 인식을 통해 해당 동작이 빠르게 수행될 수 있다.
또한, 인공 지능 기기의 모든 동작을 제어하기 위한 명령어를 메모리에 저장할 필요가 없게 되어, 메모리의 효율적인 사용이 가능하다.
도 1은 본 발명과 관련된 인공 지능 기기를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 변형 가능한 이동 인공 지능 기기의 다른 예를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시 예에 따라 음성 신호로부터 사용자의 발화 특징을 추출하는 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 음성 신호를 파워 스펙트럼으로 변환한 예를 설명한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 인공 지능 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 6은 본 발명의 일 실시 예에 따른 추가 기동어를 인식하는 과정을 설명하는 흐름도이다.
도 7은 음성 명령어에 대해 음소 단위 인식 모델링을 수행하는 과정을 설명하는 도면이고, 도 8은 음성 명령어에 대해 단어 단위 인식 모델링을 수행하는 과정을 설명하는 도면이고, 도 9는 본 발명의 일 실시 예에 따른 음성 명령어에 대해 기동어와 나머지 명령어에 대해 단어 단위 인식 모델링을 연속적으로 수행하는 과정을 설명하는 도면이다.
도 10은 본 발명의 실시 예에 따라 음성 명령어에 대해 단어 단위 인식 모델을 직렬적으로 적용하는 과정을 설명하는 도면이다.
도 11 및 도 12는 본 발명의 실시 예에 따라 기본 기동어 및 추가 기동어를 포함하는 음성 명령어를 이용하여, 인공 지능 기기를 제어하는 시나리오를 설명하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 변형 가능한 이동 인공 지능 기기의 다른 예를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시 예에 따라 음성 신호로부터 사용자의 발화 특징을 추출하는 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 음성 신호를 파워 스펙트럼으로 변환한 예를 설명한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 인공 지능 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 6은 본 발명의 일 실시 예에 따른 추가 기동어를 인식하는 과정을 설명하는 흐름도이다.
도 7은 음성 명령어에 대해 음소 단위 인식 모델링을 수행하는 과정을 설명하는 도면이고, 도 8은 음성 명령어에 대해 단어 단위 인식 모델링을 수행하는 과정을 설명하는 도면이고, 도 9는 본 발명의 일 실시 예에 따른 음성 명령어에 대해 기동어와 나머지 명령어에 대해 단어 단위 인식 모델링을 연속적으로 수행하는 과정을 설명하는 도면이다.
도 10은 본 발명의 실시 예에 따라 음성 명령어에 대해 단어 단위 인식 모델을 직렬적으로 적용하는 과정을 설명하는 도면이다.
도 11 및 도 12는 본 발명의 실시 예에 따라 기본 기동어 및 추가 기동어를 포함하는 음성 명령어를 이용하여, 인공 지능 기기를 제어하는 시나리오를 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 설명되는 인공 지능 기기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 인공 지능 기기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 인공 지능 기기 (smartwatch), 글래스형 인공 지능 기기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 인공 지능 기기(100)는 스마트 TV, 데스크탑 컴퓨터, 디지털사이니지 등과 같은 고정 인공 지능 기기에도 적용될 수도 있다.
또한, 본 발명의 실시 예에 따른 인공 지능 기기(100)는 고정 또는 이동 가능한 로봇에도 적용될 수 있다.
또한, 본 발명의 실시 예에 따른 인공 지능 기기(100)는 음성 에이전트의 기능을 수행할 수 있다. 음성 에이전트는 사용자의 음성을 인식하고, 인식된 사용자의 음성에 적합한 응답을 음성으로 출력하는 프로그램일 수 있다.
인공 지능 기기(100)는 무선 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 프로세서(180) 및 전원 공급부(190)를 포함할 수 있다.
무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
이동통신 모듈(112)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 인공 지능 기기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있다.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
위치정보 모듈(115)은 이동 인공 지능 기기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 인공 지능 기기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 인공 지능 기기의 위치를 획득할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(123)를 포함할 수 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 인공 지능 기기(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 인공 지능 기기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면,
프로세서(180)는 입력된 정보에 대응되도록 인공 지능 기기(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 인공 지능 기기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성 될 수 있다.
러닝 프로세서(130)는 인공 지능 기기에 의해 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 출력되거나 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 다른 컴포넌트, 디바이스, 인공 지능 기기 또는 인공 지능 기기와 통신하는 장치에 의해 출력되는 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함 할 수 있다.
러닝 프로세서(130)는 인공 지능 기기에 통합되거나 구현된 메모리를 포함 할 수 있다. 일부 실시 예에서, 러닝 프로세서(130)는 메모리(170)를 사용하여 구현 될 수 있다.
선택적으로 또는 부가 적으로, 러닝 프로세서(130)는 인공 지능 기기에 직접 결합된 외부 메모리 또는 인공 지능 기기와 통신하는 서버에서 유지되는 메모리와 같이 인공 지능 기기와 관련된 메모리를 사용하여 구현 될 수 있다.
다른 실시 예에서, 러닝 프로세서(130)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 인공 지능 기기에 의해 액세스 가능한 다른 원격 메모리 위치를 이용하여 구현 될 수 있다.
러닝 프로세서(130)는 일반적으로 감독 또는 감독되지 않은 학습, 데이터 마이닝, 예측 분석 또는 다른 머신에서 사용하기 위해 데이터를 식별, 색인화, 카테고리화, 조작, 저장, 검색 및 출력하기 위해 데이터를 하나 이상의 데이터베이스에 저장하도록 구성될 수 있다.
러닝 프로세서(130)에 저장된 정보는 다양한 상이한 유형의 데이터 분석 알고리즘 및 기계 학습 알고리즘 중 임의의 것을 사용하여 프로세서(180) 또는 인공 지능 기기의 하나 이상의 다른 제어기에 의해 이용될 수 있다.
이러한, 알고리즘의 예로는, k-최근 인접 시스템, 퍼지 논리 (예: 가능성 이론), 신경 회로망, 볼츠만 기계, 벡터 양자화, 펄스 신경망, 지원 벡터 기계, 최대 마진 분류기, 힐 클라이밍, 유도 논리 시스템 베이지안 네트워크, 페리트넷 (예: 유한 상태 머신, 밀리 머신, 무어 유한 상태 머신), 분류기 트리 (예: 퍼셉트론 트리, 지원 벡터 트리, 마코프 트리, 의사 결정 트리 포리스트, 임의의 포리스트), 판돈 모델 및 시스템, 인공 융합, 센서 융합, 이미지 융합, 보강 학습, 증강 현실, 패턴 인식, 자동화 된 계획 등을 포함한다.
프로세서(180)는 데이터 분석 및 기계 학습 알고리즘을 사용하여 결정되거나, 생성된 정보에 기초하여 인공 지능 기기의 적어도 하나의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위해, 프로세서(180)는 러닝 프로세서(130)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 상기 인공 지능 기기를 제어할 수 있다.
프로세서(180)는 지능적 에뮬레이션(즉, 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템)을 구현하는 다양한 기능을 수행 할 수 있다. 이는 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는, 다양한 유형의 시스템(예컨대, 퍼지 논리 시스템)에 적용될 수 있다.
프로세서(180)는, 또한 I/O 처리 모듈, 환경 조건 모듈, 음성 - 텍스트 (STT) 처리 모듈, 자연어 처리 모듈, 작업 흐름 처리 모듈 및 서비스 처리 모듈과 같이, 음성 및 자연 언어 음성 처리를 수반하는 연산을 가능하게 하는 서브 모듈을 포함할 수 있다.
이들 서브 모듈들 각각은, 인공 지능 기기에서의 하나 이상의 시스템 또는 데이터 및 모델, 또는 이들의 서브셋 또는 수퍼 셋에 대한 액세스를 가질 수 있다. 또한, 이들 서브 모듈들 각각은, 어휘 색인, 사용자 데이터, 작업 흐름 모델, 서비스 모델 및 자동 음성 인식 (ASR) 시스템을 비롯한 다양한 기능을 제공할 수 있다.
다른 실시 예에서, 프로세서(180) 또는 인공 지능 기기의 다른 양태는 상기 서브 모듈, 시스템, 또는 데이터 및 모델로 구현 될 수 있다.
일부 예에서, 러닝 프로세서(130)의 데이터에 기초하여, 프로세서(180)는 사용자 입력 또는 자연 언어 입력으로 표현된 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 검출하고 감지하도록 구성 될 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항을 완전히 결정하는데 필요한 정보를 능동적으로 이끌어 내고, 획득할 수 있다. 예를 들어, 프로세서(180)는 역사적 입력 및 출력, 패턴 매칭, 모호하지 않은 단어, 입력 의도 등을 포함하는 과거 데이터를 분석함으로써 요구 사항을 결정하는데, 필요한 정보를 능동적으로 이끌어낼 수 있다.
프로세서(180)는 문맥 조건 또는 사용자의 의도에 기초하여 요구 사항에 응답하는 기능을 실행하기 위한 태스크 흐름을 결정할 수 있다.
프로세서(180)는 러닝 프로세서(130)에서 프로세싱 및 저장을 위한 정보를 수집하기 위해, 인공 지능 기기에서 하나 이상의 감지 컴포넌트를 통해 데이터 분석 및 기계 학습 작업에 사용되는 신호 또는 데이터를 수집, 감지, 추출, 검출 및/또는 수신하도록 구성 될 수 있다.
정보 수집은 센서를 통해 정보를 감지하는 것, 메모리(170)에 저장된 정보를 추출하는 것 또는 통신 수단을 통해 다른 인공 지능 기기, 엔티티 또는 외부 저장 장치로부터 정보를 수신하는 것을 포함 할 수 있다.
프로세서(180)는 인공 지능 기기에서 사용 히스토리 정보를 수집하여, 저장할 수 있다.
프로세서(180)는 저장된 사용 히스토리 정보 및 예측 모델링을 사용하여 특정 기능을 실행하기 위한 최상의 매치를 결정할 수 있다.
프로세서(180)는 센싱부(140)를 통해 주변 환경 정보 또는 기타 정보를 수신하거나 감지 할 수 있다.
프로세서(180)는 무선 통신부(110)을 통해 방송 신호 및/또는 방송 관련 정보, 무선 신호, 무선 데이터를 수신할 수 있다.
프로세서(180)는 입력부(120)로부터 이미지 정보 (또는 해당 신호), 오디오 정보 (또는 해당 신호), 데이터 또는 사용자 입력 정보를 수신 할 수 있다.
프로세서(180)는 정보를 실시간으로 수집하고, 정보 (예를 들어, 지식 그래프, 명령 정책, 개인화 데이터베이스, 대화 엔진 등)를 처리 또는 분류하고, 처리 된 정보를 메모리(170) 또는 러닝 프로세서(130)에 저장할 수 있다.
인공 지능 기기의 동작이 데이터 분석 및 기계 학습 알고리즘 및 기술에 기초하여 결정될 때, 프로세서(180)는 결정된 동작을 실행하기 위해 인공 지능 기기의 구성 요소를 제어 할 수 있다. 그리고 프로세서(180)는 제어 명령에 따라 단말을 제어하여 결정된 동작을 수행 할 수 있다.
프로세서(180)는 특정 동작이 수행되는 경우, 데이터 분석 및 기계 학습 알고리즘 및 기법을 통해 특정 동작의 실행을 나타내는 이력 정보를 분석하고, 분석된 정보에 기초하여 이전에 학습 한 정보의 업데이트를 수행 할 수 있다.
따라서, 프로세서(180)는 러닝 프로세서(130)과 함께, 업데이트 된 정보에 기초하여 데이터 분석 및 기계 학습 알고리즘 및 기법의 미래 성능의 정확성을 향상시킬 수 있다.
센싱부(140)는 이동 인공 지능 기기 내 정보, 이동 인공 지능 기기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱 하기 위한 하나 이상의 센서를 포함할 수 있다.
예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 인공 지능 기기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 인공 지능 기기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 인공 지능 기기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 인공 지능 기기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 인공 지능 기기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 인공 지능 기기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 인공 지능 기기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
인터페이스부(160)는 인공 지능 기기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port)중 적어도 하나를 포함할 수 있다. 인공 지능 기기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
한편, 식별 모듈은 인공 지능 기기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 인공 지능 기기(100)와 연결될 수 있다.
메모리(170)는 인공 지능 기기(100)의 다양한 기능을 지원하는 데이터를 저장한다.
메모리(170)는 인공 지능 기기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 인공 지능 기기(100)의 동작을 위한 데이터들, 명령어들을, 러닝 프로세서(130)의 동작을 위한 데이터들(예를 들어, 머신 러닝을 위한 적어도 하나의 알고리즘 정보 등)을 저장할 수 있다.
프로세서(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 인공 지능 기기(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용프로그램의 구동을 위하여, 인공 지능 기기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 프로세서(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 인공 지능 기기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
한편, 앞서 살펴본 것과 같이, 프로세서(180)는 응용 프로그램과 관련된 동작과, 통상적으로 인공 지능 기기(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(180)는 상기 이동 인공 지능 기기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 음성 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 음성 시스템(1)은 인공 지능 기기(100), 음성 텍스트 변환(Speech To Text, STT) 서버(10), 자연어 처리(Natural Language Processing, NLP) 서버(20) 및 음성 합성 서버(30)를 포함할 수 있다.
인공 지능 기기(100)는 음성 데이터를 STT 서버(10)에 전송할 수 있다.
STT 서버(10)는 인공 지능 기기(100)로부터 수신된 음성 데이터를 텍스트 데이터로 변환할 수 있다.
STT 서버(10)는 언어 모델을 이용하여 음성-텍스트 변환의 정확도를 높일 수 있다.
언어 모델은 문장의 확률을 계산하거나, 이전의 단어들이 주어졌을 때 다음 단어가 나올 확률을 계산할 수 있는 모델을 의미할 수 있다.
예컨대, 언어 모델은 유니그램(Unigram) 모델, 바이그램(Bigram) 모델, N-그램(N-gram) 모델 등과 같은 확률론적 언어 모델들을 포함할 수 있다.
유니그램 모델은 모든 단어의 활용이 완전히 서로 독립적이라고 가정하는 모델로, 단어 열의 확률을 각 단어의 확률의 곱으로 계산하는 모델이다.
바이그램 모델은 단어의 활용이 이전 1개의 단어에만 의존한다고 가정하는 모델이다.
N-그램 모델은 단어의 활용이 이전 (n-1)개의 단어에 의존한다고 가정하는 모델이다.
즉, STT 서버(10)는 언어 모델을 이용하여 음성 데이터로부터 변환된 텍스트 데이터가 적합하게 변환된 것인지 판단할 수 있고, 이를 통해 텍스트 데이터로의 변환의 정확도를 높일 수 있다.
NLP 서버(20)는 STT 서버(10)로부터 텍스트 데이터를 수신할 수 있다. NLP 서버(20)는 수신된 텍스트 데이터에 기초하여, 텍스트 데이터에 대한 의도 분석을 수행할 수 있다.
NLP 서버(20)는 의도 분석의 수행 결과를 나타내는 의도 분석 정보를 인공 지능 기기(100)에 전송할 수 있다.
NLP 서버(20)는 텍스트 데이터에 대해, 형태소 분석 단계, 구문 분석 단계, 화행 분석 단계, 대화 처리 단계를 순차적으로, 수행하여, 의도 분석 정보를 생성할 수 있다.
형태소 분석 단계는 사용자가 발화한 음성에 대응하는 텍스트 데이터를 의미를 지닌 가장 작은 단위인 형태소 단위로 분류하고, 분류된 각 형태소가 어떤 품사를 가지는지를 결정하는 단계이다.
구문 분석 단계는 형태소 분석 단계의 결과를 이용하여, 텍스트 데이터를 명사구, 동사구, 형용사 구 등으로 구분하고, 구분된 각 구들 사이에, 어떠한 관계가 존재하는지를 결정하는 단계이다.
구문 분석 단계를 통해, 사용자가 발화한 음성의 주어, 목적어, 수식어들이 결정될 수 있다.
화행 분석 단계는 구문 분석 단계의 결과를 이용하여, 사용자가 발화한 음성에 대한 의도를 분석하는 단계이다. 구체적으로, 화행 분석 단계는 사용자가 질문을 하는 것인지, 요청을 하는 것인지, 단순한 감정 표현을 하는 것인지와 같은 문장의 의도를 결정하는 단계이다.
대화 처리 단계는 화행 분석 단계의 결과를 이용하여, 사용자의 발화에 대해 대답을 할지, 호응을 할지, 추가 정보를 문의하는 질문을 할지를 판단하는 단계이다.
NLP 서버(20)는 대화 처리 단계 후, 사용자가 발화한 의도에 대한 답변, 호응, 추가 정보 문의 중 하나 이상을 포함하는 의도 분석 정보를 생성할 수 있다.
한편, NLP 서버(20)는 인공 지능 기기(100)로부터 텍스트 데이터를 수신할 수도 있다. 예를 들어, 인공 지능 기기(100)가 음성 텍스트 변환 기능을 지원하는 경우, 인공 지능 기기(100)는 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 NLP 서버(20)에 전송할 수 있다.
음성 합성 서버(30)는 기 저장된 음성 데이터들을 조합하여, 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 모델로 선정된 한 사람의 음성을 녹음하고, 녹음된 음성을 음절 또는 단어 단위로 분할할 수 있다. 음성 합성 서버(30)는 음절 또는 단어 단위로, 분할된 음성을 내부 또는 외부의 데이터 베이스에 저장할 수 있다.
음성 합성 서버(30)는 주어진 텍스트 데이터에 대응하는 음절 또는 단어를 데이터 베이스로부터 검색하고, 검색된 음절 또는 단어들의 조합을 합성하여, 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 복수의 언어들 각각에 대응하는 복수의 음성 언어 그룹들을 저장하고 있을 수 있다.
예를 들어, 음성 합성 서버(30)는 한국어로 녹음된 제1 음성 언어 그룹, 영어로, 녹음된 제2 음성 언어 그룹을 포함할 수 있다.
음성 합성 서버(30)는 제1 언어의 텍스트 데이터를 제2 언어의 텍스트로 번역하고, 제2 음성 언어 그룹을 이용하여, 번역된 제2 언어의 텍스트에 대응하는 합성 음성을 생성할 수 있다.
음성 합성 서버(30)는 생성된 합성 음성을 인공 지능 기기(100)에 전송할 수 있다.
음성 합성 서버(30)는 NLP 서버(20)로부터 의도 분석 정보를 수신할 수 있다.
음성 합성 서버(30)는 의도 분석 정보에 기초하여, 사용자의 의도를 반영한, 합성 음성을 생성할 수 있다.
일 실시 예에서, STT 서버(10), NLP 서버(20) 및 음성 합성 서버(30)는 하나의 서버로 구현될 수 있다.
위에서, 설명된 STT 서버(10), NLP 서버(20) 및 음성 합성 서버(30) 각각의 기능은 인공 지능 기기(100)에서도 수행될 수도 있다. 이를 위해, 인공 지능 기기(100)는 복수의 프로세서들을 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따라 음성 신호로부터 사용자의 발화 특징을 추출하는 과정을 설명하는 도면이다.
도 1에 도시된, 인공 지능 기기(100)는 오디오 프로세서(181)를 더 포함할 수 있다.
오디오 프로세서(181)는 프로세서(180)와 별도의 칩으로 구현되거나, 프로세서(180)에 포함된 칩으로 구현될 수 있다.
오디오 프로세서(181)는 음성 신호로부터, 잡음을 제거할 수 있다.
오디오 프로세서(181)는 음성 신호를 텍스트 데이터로 변환할 수 있다. 이를 위해, 오디오 프로세서(181)는 STT 엔진을 구비할 수 있다.
오디오 프로세서(181)는 인공 지능 기기(100)의 음성 인식을 활성화시키기 위한 기동어를 인식할 수 있다. 오디오 프로세서(181)는 마이크로폰(121)을 통해 수신된 기동어를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터가 기 저장된 기동어에 대응하는 텍스트 데이터인 경우, 기동어를 인식한 것으로 판단할 수 있다.
오디오 프로세서(181)는 잡음이 제거된 음성 신호를 파워 스펙트럼으로 변환할 수 있다.
파워 스펙트럼은 시간적으로 변동하는 음성 신호의 파형에 어떠한 주파수 성분이 어떠한 크기로 포함되어 있는지를 나타내는 파라미터일 수 있다.
파워 스펙트럼은 음성 신호의 파형의 주파수에 따른 진폭 제곱 값의 분포를 보여준다.
이에 대해서는 도 4를 참조하여, 설명한다.
도 4는 본 발명의 일 실시 예에 따른 음성 신호를 파워 스펙트럼으로 변환한 예를 설명한 도면이다.
도 4을 참조하면, 음성 신호(410)가 도시되어 있다. 음성 신호(410)는 마이크로폰(121)을 통해 수신되거나, 메모리(170)에 미리 저장된 신호일 수 있다.
음성 신호(410)의 x축은 시간이고, y축은 진폭의 크기를 나타낼 수 있다.
오디오 프로세서(181)는 x축이 시간 축인 음성 신호(410)를 x축이 주파수 축인 파워 스펙트럼(430)으로 변환할 수 있다.
오디오 프로세서(181)는 고속 퓨리에 변환(Fast Fourier Transform, FFT)을 이용하여, 음성 신호(410)를 파워 스펙트럼(430)으로 변환할 수 있다.
파워 스펙트럼(430)의 x축은 주파수, y축은 진폭의 제곱 값을 나타낸다.
다시 도 3을 설명한다.
프로세서(180)는 오디오 프로세서(181)로부터 전달된 텍스트 데이터 또는 파워 스펙트럼(430) 중 하나 이상을 이용하여, 사용자의 발화 특징을 결정할 수 있다.
사용자의 발화 특징은 사용자의 성별, 사용자의 음의 높낮이, 사용자의 음색, 사용자의 발화 주제, 사용자의 발화 속도, 사용자의 성량등을 포함할 수 있다.
프로세서(180)는 파워 스펙트럼(430)을 이용하여, 음성 신호(410)의 주파수 및 주파수에 대응하는 진폭을 획득할 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역을 이용하여, 음성을 발화한 사용자의 성별을 결정할 수 있다.
예를 들어, 프로세서(180)는 파워 스펙트럼(430)의 주파수 대역이 기 설정된 제1 주파수 대역 범위 내인 경우, 사용자의 성별을 남자로 결정할 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역이 기 설정된 제2 주파수 대역 범위 내인 경우, 사용자의 성별을 여자로 결정할 수 있다. 여기서, 제2 주파수 대역 범위는 제1 주파수 대역 범위보다 클 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역을 이용하여, 음성의 높낮이를 결정할 수 있다.
예를 들어, 프로세서(180)는 특정 주파수 대역 범위 내에서, 진폭의 크기에 따라 음의 높낮이 정도를 결정할 수 있다.
프로세서(180)는 파워 스펙트럼(430)의 주파수 대역을 이용하여, 사용자의 음색(tone)을 결정할 수 있다. 예를 들어, 프로세서(180)는 파워 스펙트럼(430)의 주파수 대역들 중, 진폭의 크기가 일정 크기 이상인 주파수 대역을 사용자의 주요 음역대로 결정하고, 결정된 주요 음역대를 사용자의 음색으로 결정할 수 있다.
프로세서(180)는 변환된 텍스트 데이터로부터, 단위 시간 당 발화된 음절 수를 통해, 사용자의 발화 속도를 결정할 수 있다.
프로세서(180)는 변환된 텍스트 데이터에 대해, Bag-Of-Word Model 기법을 이용하여, 사용자의 발화 주제를 결정할 수 있다.
Bag-Of-Word Model 기법은 문장 내 단어 빈도 수 기반으로, 주로 사용하는 단어를 추출하는 기법이다. 구체적으로, Bag-Of-Word Model 기법은 문장 내에서, 유니크한 단어를 추출하고, 추출된 각 단어의 빈도 수를 벡터로 표현하여, 발화 주제를 특징을 결정하는 기법이다.
예를 들어, 프로세서(180)는 텍스트 데이터에 <달리기>, <체력> 등과 같은 단어가 자주 등장하면, 사용자의 발화 주제를 운동으로 분류할 수 있다.
프로세서(180)는 공지된 텍스트 카테고리화(Text Categorization) 기법을 이용하여, 텍스트 데이터로부터 사용자의 발화 주제를 결정할 수 있다. 프로세서(180)는 텍스트 데이터로부터 키워드를 추출하여, 사용자의 발화 주제를 결정할 수 있다.
프로세서(180)는 전체 주파수 대역에서의 진폭 정보를 고려하여 사용자의 성량을 결정할 수 있다.
예컨대, 프로세서(180)는 파워 스펙트럼의 각 주파수 대역에서의 진폭의 평균 또는 가중치 평균을 기준으로 사용자의 성량을 결정할 수 있다.
도 3 및 도 4에서 설명된 오디오 프로세서(181) 및 프로세서(180)의 기능은 NLP 서버(20), 음성 합성 서버(30) 중 어느 하나의 서버에서도 수행될 수 있다.
예를 들어, NLP 서버(20)는 음성 신호를 이용하여, 파워 스펙트럼을 추출하고, 추출된 파워 스펙트럼을 이용하여, 사용자의 발화 특징을 결정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 인공 지능 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
본 발명의 실시 예에 따른 인공 지능 시스템은 인공 지능 기기(100) 및 NLP 서버(20)를 포함할 수 있다.
인공 지능 기기(100)의 마이크로폰(122)은 사용자가 발화한 음성 명령어를 수신한다(S501).
일 예로, 음성 명령어는 기본 기동어 및 추가 기동어를 포함할 수 있다.
기본 기동어는 인공 지능 기기(100)가 제공하는 음성 인식 기능을 활성화시키기 위한 명령어일 수 있다. 기본 기동어는 인공 지능 기기(100)의 메모리(170)에 미리 저장되어 있을 수 있다.
인공 지능 기기(100)의 프로세서(180)는 기본 기동어가 인식된 경우, 인공 지능 기기(100)의 음성 인식 기능을 활성화시킬 수 있고, 사용자의 추가적인 음성 명령어를 수신하기 위해 대기할 수 있다.
추가 기동어는 기본 기동어에 더하여, 특정 상황에서, NLP 서버(20)와의 연동 없이, 인공 지능 기기(100)의 특정 기능을 수행하기 위한 명령어일 수 있다.
추가 기동어 또한, 인공 지능 기기(100)의 메모리(170)에 미리 저장되어 있을 수 있다. 메모리(170)는 추가 기동어 및 추가 기동어에 대응하는 특정 동작 정보를 저장하고 있을 수 있다.
또 다른 예로, 음성 명령어는 기본 기동어 및 동작 명령어를 포함할 수 있다.
기본 기동어는 위에서 설명된 바와 같이, 인공 지능 기기(100)가 제공하는 음성 인식 기능을 활성화시키기 위한 명령어일 수 있다.
동작 명령어는 NLP 서버(20)와 연동하여, 인공 지능 기기(100)로 하여금 특정 동작을 수행하도록 하는 명령어일 수 있다. 즉, 동작 명령어는 추가 기동어와는 달리, 메모리(170)에 미리 저장되어 있지 않은 명령어일 수 있다.
동작 명령어는 의도 분석을 수행하는 NLP 서버(20)에 전송될 수 있다.
인공 지능 기기(100)의 프로세서(180)는 수신된 음성 명령어에 기초하여, 기본 기동어가 인식되었는지를 판단한다(S503).
프로세서(180)는 단어 단위 인식 모델을 이용하여, 음성 명령어로부터 기본 기동어를 인식할 수 있다.
단어 단위 인식 모델은 음성 명령어를 단어 단위로 인식하는 모델일 수 있다.
구체적으로, 단어 단위 인식 모델은 음성 명령어에 대응하는 음성 신호의 시간 시퀀스들(또는 타임 슬롯들)을 특정 단어에 매핑시키는 모델일 수 있다.
또한, 단어 단위 인식 모델은 은닉 마르코프 모델(Hidden Markov Model, HMM)일 수 있다. 은닉 마르코프 모델은 음성 신호의 패턴을 특정 음소 또는 단어와 매칭시키는 패턴인식 모델일 수 있다.
은닉 마르코프 모델은 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 통해 학습될 수 있다.
프로세서(190)는 단어 단위 인식 모델을 이용하여, 기본 기동어에 대응하는 단어를 인식할 수 있다.
인공 지능 기기(100)의 프로세서(180)는 기본 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단한다(S505).
프로세서(180)는 음성 명령어로부터 기본 기동어가 인식된 경우, 인공 지능 기기(100)의 음성 인식 기능을 활성화시킬 수 있다.
동시에, 프로세서(180)는 인공 지능 기기(100)의 센싱부(140)를 통해 획득한 센싱 정보에 기반하여, 현재 상황이 추가 기동어 인식 상황인지를 판단할 수 있다.
추가 기동어 인식 상황은 NLP 서버(20)와의 연동 없이, 추가 기동어를 인식하여, 그에 대응하는 기능을 바로, 수행하기 위해 적합한 상황을 나타낼 수 있다.
일 예로, 인공 지능 기기(100)가 냉장고이고, 센싱부(140)에 포함된 근접 센서를 통해 사용자가 감지된 경우, 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
또 다른 예로, 인공 지능 기기(100)가 정수기이고, 정수기가 출수를 하고 있는 경우, 프로세서(180)는 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
한편, 프로세서(180)는 기본 기동어가 인식되기 전이라도, 실시간 또는 주기적으로, 센싱부(140)를 통해 인공 지능 기기(100)의 현재 상황에 대한 정보를 수집할 수 있다.
인공 지능 기기(100)의 프로세서(180)는 현재 상황이 추가 기동어 인식 상황인 경우, 음성 명령어에 기초하여, 추가 기동어가 인식되었는지를 판단한다(S507).
프로세서(180)는 단어 단위 인식 모델을 이용하여, 음성 명령어로부터 추가 기동어가 인식되었는지를 판단할 수 있다.
즉, 프로세서(180)는 단어 단위 인식 모델을 이용하여, 음성 명령어로부터 기본 기동어를 인식한 후, 재차 단어 단위 인식 모델을 이용하여, 기동어를 제외한 나머지 명령어가 추가 기동어인지 여부를 판단할 수 있다.
한편, 또 다른 실시 예에 따르면, 단계 S505 및 S507은 그 수행 순서가 뒤바뀔 수 있다. 즉, 프로세서(180)는 추가 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단할 수 있다.
추가 기동어를 인식하는 과정에 대해서는 이하의 도면을 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따른 추가 기동어를 인식하는 과정을 설명하는 흐름도이다.
도 6을 참조하면, 프로세서(180)는 음성 명령어로부터 기본 기동어를 제외한 나머지 명령어를 획득한다(S601).
프로세서(180)는 획득된 나머지 명령어에 대한 단어 단위 인식 모델링을 수행한다(S603).
프로세서(180)는 단어 단위 인식 모델을 이용하여, 기동어를 제외한 나머지 명령어를 인식할 수 있다.
프로세서(180)는 단어 단위 인식 모델을 이용하여, 나머지 명령어와 매핑되는 텍스트 데이터인 단어 또는 단어들의 조합(문장)을 획득할 수 있다.
프로세서(180)는 단어 단위 인식 모델링 수행 결과와 메모리(170)에 기 저장된 명령어와 일치하는지를 판단한다(S605).
프로세서(180)는 단어 단위 인식 모델을 이용하여 획득된 단어와 메모리(170)에 저장된 단어가 일치하는지를 판단할 수 있다.
프로세서(180)는 단어 단위 인식 모델을 이용하여, 획득된 문장과 메모리(170)에 저장된 문장이 일치하는지를 판단할 수 있다.
메모리(170)에 저장된 명령어는 인공 지능 기기(100)의 유형에 따라 다를 수 있다. 예를 들어, 인공 지능 기기(100)가 정수기인 경우, 메모리(170)에 기 저장된 명령어는 <stop>일 수 있고, 인공 지능 기기(100)가 냉장고인 경우, 메모리(170)에 저장된 명령어는 <open the door>일 수 있다.
프로세서(180)는 단어 단위 인식 모델링 수행 결과와 기 저장된 명령어가 일치하는 경우, 추가 기동어를 인식한 것으로 판단한다(S607).
프로세서(180)는 추가 기동어의 인식 후, 단계 S509를 수행한다.
만약, 단어 단위 인식 모델링 수행 결과와 기 저장된 명령어가 일치하지 않는 경우, 프로세서(180)는 단계 S511을 수행한다.
다시, 도 5를 설명한다.
인공 지능 기기(100)의 프로세서(180)는 추가 기동어가 인식된 경우, 추가 기동어에 상응하는 동작을 수행한다(S509).
일 예로, 인공 지능 기기(100)가 정수기이고, 추가 기동어가 <stop>인 경우, 프로세서(180)는 정수기의 출수를 중지할 수 있다.
또 다른 예로, 인공 지능 기기(100)가 냉장고이고, 추가 기동어가 <open the door>인 경우, 프로세서(180)는 냉장고의 도어를 오픈할 수 있다.
한편, 인공 지능 기기(100)의 프로세서(180)는 현재 상황이 추가 기동어 인식 상황이 아니라고 판단한 경우 또는 현재 상황이 추가 기동어 인식 상황이라더라도 추가 기동어가 인식되지 않은 경우, 음성 명령어에서, 기본 기동어를 제외한 동작 명령어를 NLP 서버(20)에 전송한다(S511).
프로세서(180)는 무선 통신부(110)를 통해, 기본 기동어를 제외한 추가 기동어로 인식되지 않은 동작 명령어를 NLP 서버(20)에 전송할 수 있다.
여기서, 무선 통신부(110)는 도 1의 무선 인터넷 모듈(113)일 수 있다.
NLP 서버(20)는 인공 지능 기기(100)로부터 수신된 동작 명령어의 의도를 분석하여, 동작 명령어에 상응하는 의도를 획득한다(S513).
NLP 서버(20)는 획득된 의도를 포함하는 의도 정보를 인공 지능 기기(100)에 전송한다(S515).
인공 지능 기기(100)의 무선 인터넷 모듈(113)은 NLP 서버(20)로부터, 동작 명령어에 상응하는 의도를 나타내는 의도 정보를 수신할 수 있다.
의도 정보는 동작 명령어에 상응하는 의도를 나타내는 텍스트 데이터일 수 있다.
인공 지능 기기(100)의 프로세서(180)는 NLP 서버(20)로부터 수신된 의도 정보에 기초하여, 동작 명령어에 상응하는 동작을 수행한다(S517).
예를 들어, 인공 지능 기기(100)가 TV이고, 동작 명령어가 <what time is now>인 경우, 프로세서(180)는 현재 시간을 디스플레이부(151) 또는 음향 출력부(152)를 통해 출력할 수 있다.
도 7은 음성 명령어에 대해 음소 단위 인식 모델링을 수행하는 과정을 설명하는 도면이고, 도 8은 음성 명령어에 대해 단어 단위 인식 모델링을 수행하는 과정을 설명하는 도면이고, 도 9는 본 발명의 일 실시 예에 따른 음성 명령어에 대해 기동어와 나머지 명령어에 대해 단어 단위 인식 모델링을 연속적으로 수행하는 과정을 설명하는 도면이다.
먼저, 도 7을 설명한다.
도 7은 음소 단위 인식 모델을 이용하여, <hilg>라는 음성 명령어를 음소 단위인 h(710), i(730), l(750), g(770) 각각으로 매핑시키는 과정을 설명하는 도면이다.
음소 단위 인식 모델은 음성 명령어를 음소 단위로 인식하는 모델일 수 있다. 구체적으로, 음소 단위 인식 모델은 음성 명령어에 대응하는 음성 신호의 복수의 타임 슬롯들로 구분하고, 복수의 타임 슬롯들 각각을 특정 음소에 매핑키시는 모델일 수 있다.
프로세서(180)는 음소 단위 인식 모델을 이용하여, <hilg>에 대응하는 음성 신호를 제1 단위 시간 구간을 갖는 복수의 타임 슬롯들로 구분하고, 복수의 타임 슬롯들 각각에 대응하는 부분 음성 신호를 각 음소에 매핑시킬 수 있다.
음소 단위 인식 모델은 은닉 마르코프 모델일 수 있다.
도 9는 단어 단위 인식 모델을 이용하여, <hilg>(800)라는 음성 명령어를 단어 단위인 hi, lg 또는 단어들의 조합인 hilg 각각으로 매핑키시는 과정을 설명하는 도면이다.
프로세서(190)는 단어 단위 인식 모델을 이용하여, <hilg>(800)에 대응하는 음성 신호를 특정 단어 <hilg>에 매핑시킬 수 있다.
음소 단위 인식 모델의 경우, 다양한 음소들 간의 조합이 용이한 장점이 있으나, 각 음소에 대한 모델링 결과의 정확도가, 뒤따르는 음소의 모델링에 영향을 받는 단점이 있다.
단어 단위 인식 모델의 경우, 개별 음소에 대한 모델링의 정확도에, 영향을 덜 받고, 음성 신호 전체를 하나의 단어 또는 단어의 조합으로 모델링하므로, 모델링이 용이한 장점이 있다. 다만, 단어 단위 인식 모델의 경우, 새로운 단어에 대응하는 음성 신호를 새로운 단어에 매핑시키기 위해 신규 학습이 필요한 단점이 있다.
도 9는 음소 단위 인식 모델과 단어 단위 인식 모델의 장점을 결합하여, 음성 명령어에 대해 단어 단위 인식 모델을 직렬적으로 적용하여, 음성 명령어를 모델링하는 과정을 설명하는 도면이다.
도 9에서는, 음성 명령어가 기본 기동어 및 기본 기동어를 뒤따르는 추가 기동어로 구성됨을 가정한다.
먼저, 프로세서(180)는 단어 단위 인식 모델을 이용하여, 기본 기동어를 인식할 수 있다. 단어 단위 인식 모델(900)은 기본 기동어의 음성 신호를 제1 단어에 매핑시키고, 매핑 결과를 출력할 수 있다. 매핑 결과는 제1 단어에 대응하는 제1 텍스트 데이터일 수 있다.
그 후, 단어 단위 인식 모델(900)에는 기본 기동어를 제외한 나머지 명령어인 추가 기동어가 순차적으로, 입력될 수 있다. 프로세서(180)는 단어 단위 인식 모델(900)을 이용하여, 추가 기동어에 대응하는 음성 신호를 제2 단어에 매핑시키고, 매핑 결과를 출력할 수 있다. 매핑 결과는 제2 단어에 대응하는 제2 텍스트 데이터일 수 있다.
도 10은 본 발명의 실시 예에 따라 음성 명령어에 대해 단어 단위 인식 모델을 직렬적으로 적용하는 과정을 설명하는 도면이다.
도 10을 참조하면, 음성 명령어는 기본 기동어(800)인 <hilg> 및 추가 기동어(1000)인 <stop>으로 구성됨을 가정한다.
프로세서(180)는 먼저, 입력된 기본 기동어(800)에 대해 단어 단위 인식 모델링을 수행하여, 기본 기동어(800)에 대응하는 제1 단어를 매핑시킬 수 있다.
프로세서(180)는 제1 단어가 기 저장된 기본 기동어에 대응하는 단어인 경우, 기본 기동어(800)를 인식한 것으로 결정할 수 있다.
그 후, 프로세서(180)는 순차적으로 입력된 추가 기동어(1000)에 대해 단위 단위 인식 모델링을 재 수행하여, 추가 기동어(1000)에 대응하는 제2 단어를 매핑시킬 수 있다.
프로세서(180)는 제2 단어가 기 저장된 추가 기동어에 대응하는 단어인 경우, 추가 기동어(1000)를 인식한 것으로 결정할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 단어 단위 인식 모델을 직렬적으로 적용함에 따라 음소 단위 인식 모델의 장점과 단어 단위 인식 모델의 장점을 결합한 효과가 있다.
이에 따라, 메모리(170)의 효율적인 사용이 가능해지고, 음성 인식 성능이 향상될 수 있다.
도 11 및 도 12는 본 발명의 실시 예에 따라 기본 기동어 및 추가 기동어를 포함하는 음성 명령어를 이용하여, 인공 지능 기기를 제어하는 시나리오를 설명하는 도면이다.
도 11에서 인공 지능 기기(100)는 정수기이고, 도 12에서 인공 지능 기기(100)는 냉장고임을 가정하여 설명한다.
먼저, 도 11을 설명한다.
도 11을 참조하면, 정수기는 컵에 물을 출수하고 있다.
이 상황에서, 사용자는 <hilg stop>이라는 음성 명령어(1110)를 발화한다.
정수기는 단어 단위 인식 모델을 이용하여, 음성 명령어(1110)로부터 기본 기동어인 <hilg>를 인식할 수 있다.
정수기는 기본 기동어인 <hilg>를 인식한 후, 단어 단위 인식 모델을 이용하여, 나머지 명령어인 <stop>을 인식할 수 있다.
정수기는 인식된 나머지 명령어 <stop>이 기 저장된 추가 기동어에 대응하는 명령어인지를 판단할 수 있다.
정수기는 나머지 명령어 <stop>이 기 저장된 추가 기동어에 대응하는 명령어로 판단한 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단할 수 있다.
정수기는 출수 상황인 경우, 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
또 다른 예로, 정수기는 근접 센서를 통해 사용자가 감지된 경우, 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
또 다른 예로, 정수기는 압력 센서를 통해 컵이 놓여진 것으로 감지된 경우, 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
정수기는 현재 상황이 추가 기동어 인식 상황인 경우, 추가 기동어에 대응하는 동작을 수행할 수 있다. 즉, 정수기는 추가 기동어 <stop>에 대응하는 동작으로, 출수를 중단할 수 있다.
이와 같이, 특정 상황에서, 확장된 개념의 기동어가 사용됨에 따라, 의도 분석을 위해 기본 기동어를 제외한 동작 명령어를 NLP 서버(20)에 전송할 필요 없게 된다. 이에 따라, 딜레이 없이, 음성 인식의 속도가 개선될 수 있다.
또한, 모든 동작 명령어를 메모리(170)에 저장할 필요 없이, 추가 기동어로 인식된 소수의 동작 명령어들만이 저장되므로, 메모리(170)의 저장 용량에도 부담 되지 않을 수 있다.
다음으로, 도 12를 설명한다.
사용자는 냉장고의 전면에 근접해 있음을 가정한다.
이 상황에서, 사용자는 <hilg open the door>라는 음성 명령어(1210)를 발화한다. 냉장고는 단어 단위 인식 모델을 이용하여, 음성 명령어(1210)로부터 기본 기동어인 <hilg>를 인식할 수 있다.
냉장고는 기본 기동어인 <hilg>를 인식한 후, 단어 단위 인식 모델을 이용하여, 나머지 명령어인 <open the door>를 인식할 수 있다.
냉장고는 나머지 명령어인 <open the door>이 메모리(170)에 저장된 추가 기동어에 대응하는 명령어인지를 판단할 수 있다.
냉장고는 <open the door>가 메모리(170)에 저장된 추가 기동어에 대응하는 명령어로 판단한 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단할 수 있다.
냉장고는 근접 센서를 통해 사용자가 감지된 경우, 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
또 다른 예로, 냉장고에 구비된 카메라를 통해 촬영된 영상에 기초하여, 사용자가 감지된 것으로 판단된 경우, 냉장고는 현재 상황을 추가 기동어 인식 상황으로 판단할 수 있다.
냉장고는 현재 상황이 추가 기동어 인식 상황인 경우, 추가 기동어에 대응하는 동작을 수행할 수 있다. 즉, 냉장고는 추가 기동어인 <open the door>에 대응하는 동작으로, 냉장고의 도어를 자동으로 오픈할 수 있다.
이와 같이, 특정 상황에서, 기본 기동어 외에, 추가 기동어가 음성 인식에 사용됨에 따라, NLP 서버(20)에 동작 명령어를 전송할 필요가 없게 되어, 인공 지능 기기(100)는 딜레이 없이, 음성 인식을 통해 해당 동작을 곧 바로 수행할 수 있다.
또한, 인공 지능 기기(100)의 모든 동작을 제어하기 위한 명령어를 메모리(170)에 저장할 필요가 없게 되어, 메모리(170)의 효율적인 사용이 가능하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 인공 지능 기기의 프로세서(180)를 포함할 수도 있다.
Claims (15)
- 음성 인식 기능을 제공하는 인공 지능 기기에 있어서,
상기 인공 지능 기기의 음성 인식 기능을 활성화하는데 사용되는 기본 기동어 및 상기 인공 지능 기기의 동작 제어를 위해 사용되는 추가 기동어를 저장하는 메모리;
음성 명령어를 수신하는 마이크로폰; 및
상기 음성 명령어로부터 상기 기본 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단하고, 상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 음성 명령어에서 상기 기본 기동어를 제외한 나머지 명령어에 대응하는 동작을 수행하는 프로세서를 포함하는
인공 지능 기기. - 제1항에 있어서,
상기 프로세서는
상기 나머지 명령어가 상기 메모리에 저장된 상기 추가 기동어와 일치하는 경우, 상기 추가 기동어에 상응하는 동작을 수행하는
인공 지능 기기. - 제2항에 있어서,
상기 프로세서는
상기 메모리에 저장된 단어 단위 인식 모델을 이용하여, 상기 기본 기동어를 인식하고, 상기 기본 기동어의 인식 후, 상기 단어 단위 인식 모델을 이용하여, 상기 나머지 명령어를 인식하는
인공 지능 기기. - 제3항에 있어서,
상기 단어 단위 인식 모델은
상기 음성 명령어에 대응하는 음성 신호를 특정 단어에 매핑시키는 모델이고,
딥 러닝 알고리즘 또는 머신 러닝 알고리즘을 통해 학습된 모델인
인공 지능 기기. - 제3항에 있어서,
상기 프로세서는
상기 나머지 명령어가 상기 메모리에 저장된 상기 추가 기동어와 일치하고, 상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 추가 기동어에 대응하는 동작을 수행하는
인공 지능 기기. - 제1항에 있어서,
상기 인공 지능 기기는 냉장고이고,
상기 냉장고는
사용자의 근접 여부를 감지하는 근접 센서를 더 포함하고,
상기 프로세서는
상기 근접 센서를 통해 상기 사용자가 감지된 경우, 상기 추가 기동어 인식 상황을 감지한 것으로 판단하는
인공 지능 기기. - 제1항에 있어서,
상기 인공 지능 기기는 정수기이고,
상기 프로세서는
상기 정수기가 출수하고 있는 경우, 상기 추가 기동어 인식 상황을 감지한 것으로 판단하는
인공 지능 기기. - 제1항에 있어서,
의도 분석을 수행하는 NLP 서버와 통신하는 무선 통신부를 더 포함하고
상기 프로세서는
상기 나머지 명령어가 상기 추가 기동어와 일치하지 않는 경우, 상기 나머지 명령어를 상기 NLP 서버에 전송하는
인공 지능 기기. - 음성 인식 기능을 제공하는 인공 지능 기기의 동작 방법에 있어서,
상기 인공 지능 기기의 음성 인식 기능을 활성화하는데 사용되는 기본 기동어 및 상기 인공 지능 기기의 동작 제어를 위해 사용되는 추가 기동어를 저장하는 단계;
음성 명령어를 수신하는 단계;
상기 음성 명령어로부터 상기 기본 기동어가 인식된 경우, 현재 상황이 추가 기동어 인식 상황인지를 판단하는 단계; 및
상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 음성 명령어에서 상기 기본 기동어를 제외한 나머지 명령어에 대응하는 동작을 수행하는 단계를 포함하는
인공 지능 기기의 동작 방법. - 제9항에 있어서,
상기 동작을 수행하는 단계는
상기 나머지 명령어가 상기 메모리에 저장된 상기 추가 기동어와 일치하는 경우, 상기 추가 기동어에 상응하는 동작을 수행하는 단계를 포함하는
인공 지능 기기의 동작 방법. - 제10항에 있어서,
상기 메모리에 저장된 단어 단위 인식 모델을 이용하여, 상기 기본 기동어를 인식하는 단계; 및
상기 기본 기동어의 인식 후, 상기 단어 단위 인식 모델을 이용하여, 상기 나머지 명령어를 인식하는 단계를 더 포함하고,
상기 단어 단위 인식 모델은
상기 음성 명령어에 대응하는 음성 신호를 특정 단어에 매핑시키는 모델이고,
딥 러닝 알고리즘 또는 머신 러닝 알고리즘을 통해 학습된 모델인
인공 지능 기기의 동작 방법. - 제11항에 있어서,
상기 동작을 수행하는 단계는
상기 나머지 명령어가 상기 메모리에 저장된 상기 추가 기동어와 일치하고, 상기 현재 상황이 상기 추가 기동어 인식 상황으로 판단된 경우, 상기 추가 기동어에 대응하는 동작을 수행하는 단계를 포함하는
인공 지능 기기의 동작 방법. - 제9항에 있어서,
상기 인공 지능 기기는 냉장고이고,
상기 냉장고는
사용자의 근접 여부를 감지하는 근접 센서를 더 포함하고,
상기 근접 센서를 통해 상기 사용자가 감지된 경우, 상기 추가 기동어 인식 상황을 감지한 것으로 판단하는 단계를 더 포함하는
인공 지능 기기의 동작 방법. - 제9항에 있어서,
상기 인공 지능 기기는 정수기이고,
상기 정수기가 출수하고 있는 경우, 상기 추가 기동어 인식 상황을 감지한 것으로 판단하는 단계를 더 포함하는
인공 지능 기기의 동작 방법. - 제9항에 있어서,
상기 나머지 명령어가 상기 추가 기동어와 일치하지 않는 경우, 상기 나머지 명령어를 상기 NLP 서버에 전송하는 단계를 더 포함하는
인공 지능 기기의 동작 방법.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2019/005593 WO2020226213A1 (ko) | 2019-05-09 | 2019-05-09 | 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210153165A true KR20210153165A (ko) | 2021-12-17 |
Family
ID=73051509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197020557A KR20210153165A (ko) | 2019-05-09 | 2019-05-09 | 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11200888B2 (ko) |
| KR (1) | KR20210153165A (ko) |
| WO (1) | WO2020226213A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014584A1 (ko) * | 2022-07-15 | 2024-01-18 | 엘지전자 주식회사 | 인공 지능 장치 및 그의 대상기기 매뉴얼 제공 방법 |
| WO2024072036A1 (ko) * | 2022-09-30 | 2024-04-04 | 삼성전자 주식회사 | 음성인식 장치 및 음성인식 장치의 동작방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11482215B2 (en) * | 2019-03-27 | 2022-10-25 | Samsung Electronics Co., Ltd. | Multi-modal interaction with intelligent assistants in voice command devices |
| KR102246936B1 (ko) * | 2019-06-20 | 2021-04-29 | 엘지전자 주식회사 | 음성 인식 방법 및 음성 인식 장치 |
| KR20230075915A (ko) * | 2021-11-23 | 2023-05-31 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| CN114360508A (zh) * | 2021-12-24 | 2022-04-15 | 北京声智科技有限公司 | 一种标记方法、装置、设备及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070271512A1 (en) * | 2006-05-17 | 2007-11-22 | Knight John M | Method for personalizing an appliance user interface |
| MX2009000753A (es) * | 2006-07-20 | 2009-03-16 | Lg Electronics Inc | Metodo y operacion de sistema interactivo de refrigerador. |
| US9406297B2 (en) * | 2013-10-30 | 2016-08-02 | Haier Us Appliance Solutions, Inc. | Appliances for providing user-specific response to voice commands |
| KR20150072603A (ko) | 2013-12-20 | 2015-06-30 | 주식회사 디오텍 | 음성인식을 통해 텍스트를 입력 및 수정하는 방법 및 장치 |
| US9940929B2 (en) * | 2015-12-09 | 2018-04-10 | Lenovo (Singapore) Pte. Ltd. | Extending the period of voice recognition |
| KR102412202B1 (ko) * | 2017-01-03 | 2022-06-27 | 삼성전자주식회사 | 냉장고 및 이의 정보 표시 방법 |
| KR102030803B1 (ko) | 2017-05-17 | 2019-11-08 | 주식회사 에이아이리소프트 | 챗봇의 대화처리장치 및 그 방법 |
| KR102411766B1 (ko) | 2017-08-25 | 2022-06-22 | 삼성전자주식회사 | 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치 |
| KR102034220B1 (ko) | 2017-10-12 | 2019-10-18 | 에스케이텔레콤 주식회사 | 인공지능 컴퓨팅 플랫폼 및 그 개인화 설정 방법 |
-
2019
- 2019-05-09 KR KR1020197020557A patent/KR20210153165A/ko unknown
- 2019-05-09 WO PCT/KR2019/005593 patent/WO2020226213A1/ko active Application Filing
- 2019-05-09 US US16/499,546 patent/US11200888B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024014584A1 (ko) * | 2022-07-15 | 2024-01-18 | 엘지전자 주식회사 | 인공 지능 장치 및 그의 대상기기 매뉴얼 제공 방법 |
| US12021719B2 (en) | 2022-07-15 | 2024-06-25 | Lg Electronics Inc. | Artificial intelligence apparatus and method for providing target device manual thereof |
| WO2024072036A1 (ko) * | 2022-09-30 | 2024-04-04 | 삼성전자 주식회사 | 음성인식 장치 및 음성인식 장치의 동작방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210210073A1 (en) | 2021-07-08 |
| WO2020226213A1 (ko) | 2020-11-12 |
| US11200888B2 (en) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393491B2 (en) | Artificial intelligence device capable of controlling operation of another device and method of operating the same | |
| EP3716266B1 (en) | Artificial intelligence device and method of operating artificial intelligence device | |
| US11705105B2 (en) | Speech synthesizer for evaluating quality of synthesized speech using artificial intelligence and method of operating the same | |
| US11200888B2 (en) | Artificial intelligence device for providing speech recognition function and method of operating artificial intelligence device | |
| KR102281504B1 (ko) | 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 | |
| US11568853B2 (en) | Voice recognition method using artificial intelligence and apparatus thereof | |
| KR102688236B1 (ko) | 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
| US11657800B2 (en) | Electronic device with wakeup word determined multi-mode operation | |
| US11423884B2 (en) | Device with convolutional neural network for acquiring multiple intent words, and method thereof | |
| US20210110815A1 (en) | Method and apparatus for determining semantic meaning of pronoun | |
| US10916240B2 (en) | Mobile terminal and method of operating the same | |
| KR102631143B1 (ko) | 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
| US20230136611A1 (en) | Artificial intelligence apparatus and method for controlling the same | |
| KR102642617B1 (ko) | 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
| KR102603282B1 (ko) | 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| G15R | Request for early opening |