[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

RU2530268C2 - Способ обучения информационной диалоговой системы пользователем - Google Patents

Способ обучения информационной диалоговой системы пользователем Download PDF

Info

Publication number
RU2530268C2
RU2530268C2 RU2012150997/08A RU2012150997A RU2530268C2 RU 2530268 C2 RU2530268 C2 RU 2530268C2 RU 2012150997/08 A RU2012150997/08 A RU 2012150997/08A RU 2012150997 A RU2012150997 A RU 2012150997A RU 2530268 C2 RU2530268 C2 RU 2530268C2
Authority
RU
Russia
Prior art keywords
request
user
response
training
text
Prior art date
Application number
RU2012150997/08A
Other languages
English (en)
Other versions
RU2012150997A (ru
Inventor
Илья Геннадьевич Гельфенбейн
Ольга Александровна Гельфенбейн
Артем Владимирович Гончарук
Илья Андреевич Платонов
Павел Александрович Сиротин
Original Assignee
Общество с ограниченной ответственностью "Спиктуит"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to RU2012150997/08A priority Critical patent/RU2530268C2/ru
Application filed by Общество с ограниченной ответственностью "Спиктуит" filed Critical Общество с ограниченной ответственностью "Спиктуит"
Priority to PCT/IB2012/056973 priority patent/WO2014083390A1/ru
Publication of RU2012150997A publication Critical patent/RU2012150997A/ru
Application granted granted Critical
Publication of RU2530268C2 publication Critical patent/RU2530268C2/ru
Priority to US14/721,044 priority patent/US9946511B2/en
Priority to US15/395,476 priority patent/US10102854B2/en
Priority to US15/720,854 priority patent/USRE47974E1/en
Priority to US15/951,455 priority patent/US10503470B2/en
Priority to US16/137,069 priority patent/US10748537B2/en
Priority to US16/569,352 priority patent/US10489112B1/en
Priority to US16/990,525 priority patent/US11355117B2/en
Priority to US17/747,707 priority patent/US12148426B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0638—Interactive procedures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

Изобретение относится к информационным технологиям, в частности к способу обучения информационной диалоговой системы пользователем на основе естественного языка. Технический результат - расширение возможности взаимодействия пользователя с информационной диалоговой системой за счет обеспечения возможности «подстроить» систему согласно предпочтениям пользователя. Способ обучения информационной диалоговой системы пользователем включает этапы, на которых: получают подсистемой пользовательского ввода обучающий запрос, преобразовывают подсистемой запроса в текст, обрабатывают диалоговым модулем текст обучающего запроса, формируют ответ на обучающий запрос, отображают и/или воспроизводят сформированный ответ, выполняют настройку информационной диалоговой системы с целью выполнения отображения и/или воспроизведения по меньшей мере одного персонализированного ответа или по меньшей мере одного действия диалоговой системой при получении от пользователя заранее определенного вопроса или запроса, при этом обучающий запрос содержит пользовательскую команду на задание по меньшей мере одного персонализированного ответа или по меньшей мере одного действия информационной диалоговой системы на определенный вопрос или запрос пользователя. 16 з.п. ф-лы, 2 ил.

Description

Заявляемое изобретение относится к информационным технологиям, в частности к способу обучения информационной диалоговой системы пользователем на основе естественного языка.
На сегодняшний день информационные диалоговые системы получили широкое распространение и используются в различных областях общественной жизни, например, для организации автоматической проверки знаний, автоматизированной службы поддержки пользователей, для диагностики заболеваний и прочее. Однако существующие информационные диалоговые системы предназначены для решения задач узкого профиля, то есть они способны поддерживать только диалог на заданную тему. Кроме того, большинство из них не имеют возможности формировать ответ на естественном языке, придавать эмоциональную окраску формируемому ответу, в том числе взаимодействовать с другими информационными системами и подсистемами. Существенным недостатком является и то, что конечный пользователь, взаимодействующий с системами этого вида, не имеет возможности их обучать. Чаще всего он взаимодействует с информационными диалоговыми системами, которые содержат заранее наполненную базу знаний, не имея при этом возможности «подстроить» систему согласно своим предпочтениям.
Наличие таких возможностей позволило бы выполнять не только двухсторонний обмен информацией, инструкциями и командами между пользователем и системой, вести полноценный диалог, создавая у пользователя впечатление общения с живым собеседником, решать поставленные им задачи гораздо эффективнее, но и выполнять обучение, тем самым «подстраивая систему под себя». Ближайшим аналогом заявляемого изобретения является адаптивный естественно-языковой интерфейс и способ получения, интерпретации и выполнения пользовательского ввода на естественном языке, описанные в патенте США № 7216080 (опубл. 08.05.2007). Способ включает ввод пользователем запроса, прием и преобразование запроса пользователя в текст, обработку текста и формирование ответа в виде выходной команды, преобразование выходной команды в исполнительную, выведение исполнительной команды в дополнительную систему и/или подсистемы для исполнения.
Указанный способ предоставляет возможность общения пользователя с информационной диалоговой системой на естественном языке, однако не предполагает обучения указанной системы пользователем, что существенно ограничивает круг задач, которые могут решаться с его помощью. Также к недостаткам описанного решения можно отнести то, что пользователь может вводить запросы только на естественном языке, при этом не имея возможности, при возникновении необходимости, вводить запрос, используя клавиатуру.
В основу изобретения поставлена задача разработать способ обучения информационной диалоговой системы пользователем, который позволит расширить возможности взаимодействия пользователя с информационной диалоговой системой, обеспечит возможность «подстроить» систему согласно предпочтениям пользователя, а также будет удобным в реализации для пользователя.
Поставленная задача решается тем, что разработанный способ обучения информационной диалоговой системы пользователем включает активацию пользователем подсистемы пользовательского ввода, ввод пользователем обучающего запроса, прием и преобразование подсистемой пользовательского ввода обучающего запроса пользователя в текст, передачу текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, обработку диалоговым модулем текста обучающего запроса, формирование диалоговым модулем ответа на обучающий запрос, передачу ответа на обучающий запрос пользователю, при этом ответ на обучающий запрос формируют в виде голосовой реплики и/или текста, и/или действия, выполняемого системой.
Информационной диалоговой системой в контексте данной заявки является система, оснащенная подсистемой пользовательского ввода, подсистемой генерации и распознавания голоса, дисплеем и клавиатурой пользовательского устройства, дополнительными кнопками, диалоговым модулем, дополнительными системами и/или подсистемами, профилем пользователя, клиентской памятью и т.п. При этом подсистемой пользовательского ввода является подсистема, содержащая по меньшей мере два компонента, с помощью которых может быть выполнен прием и преобразование пользовательского ввода. Указанными компонентами является компонент записи и распознавания голоса, клавиатура, а также подобные указанным устройства, компоненты и средства, сопровождаемые соответствующим программным обеспечением, если таковое необходимо.
Под пользовательским устройством подразумеваются мобильные устройства, такие как ноутбук, нетбук, планшет, мобильные телефоны, смартфоны и т.д., а также стационарные электронные устройства, такие как компьютер и подобные ему устройства.
Под дополнительными кнопками понимаются физические и программные кнопки. Например, выполнение пользователем нажатия программной кнопки «Микрофон» запускает/отключает компонент записи и распознавания голоса, программной кнопки «Отмена» - отменяет выполнение текущей операции, которую выполняют посредством информационной диалоговой системы, и т.п.
Дополнительными системами и/или подсистемами в контексте данной заявки являются системы работы с функциями устройств пользователя, например, система глобального позиционирования.
Профиль пользователя - учетная запись, содержащая настройки, предпочтения, инструкции, информацию пользователя.
Клиентская память хранит информацию о пользователе, взаимодействующем с информационной диалоговой системой.
Под обучающим запросом пользователя понимается подаваемая им голосовая команда или вводимый с клавиатуры текст. Предполагается, что обучающий запрос пользователя содержит команды для задания персонализированных ответов на указанные в запросе вопросы, команды для выполнения действия или последовательности действий информационной диалоговой системы по заданному обучающему запросу и т.п. Кроме того, посредством обучающего запроса может быть установлен синоним запроса пользователя для упрощения его дальнейшего ввода. Словосочетание, фраза, действие или последовательность действий могут быть заменены одним словом, которое впоследствии будет обрабатываться информационной диалоговой системой как команда для выполнения. Таким образом, обеспечивается не только удобство дальнейшего взаимодействия с указанной системой, но и высокая вероятность понимания этой системой вводимых пользователем запросов. Тексты запросов, указанные далее в примерах реализации способа, не являются единственно возможными. Одному обучающему запросу пользователя может быть поставлено в соответствие несколько ответов указанной системы.
В контексте данной заявки предполагается возможность конфигурирования набора действий, заданных пользователем в качестве ответа на обучающий запрос. Таким образом, один обучающий запрос пользователя может рассматриваться как последовательность обучающих запросов или действий информационной диалоговой системы.
В случае если обучающий запрос противоречит заранее установленным настройкам информационной диалоговой системы, то либо выполняют выделение отдельного класса настроек, которые не могут быть изменены, либо производят изменения этих настроек в соответствии с обучающим запросом, при этом рассматривают их как персонализированные/видоизмененные.
Таким образом, предусмотрена возможность обучения информационной диалоговой системы пользователем, задание ответа на выделенную в обучающем запросе фразу.
Предпочтительна реализация способа, при которой после передачи ответа на обучающий запрос выполняют отображение и/или воспроизведение сформированного ответа на обучающий запрос. Таким образом, выполняют оповещение о том, что обучающий запрос был принят.
Целесообразна такая реализация изобретения, при которой после обработки текста обучающего запроса диалоговым модулем перед формированием диалоговым модулем ответа на обучающий запрос дополнительно выполняют формирование диалоговым модулем уточняющего или подтверждающего запроса, передачу уточняющего или подтверждающего запроса пользователю, отображение и/или воспроизведение уточняющего или подтверждающего запроса, ввод пользователем ответа на уточняющий или подтверждающий запрос, прием и преобразование подсистемой пользовательского ввода ответа пользователя на уточняющий или подтверждающий запрос в текст, передачу текста ответа пользователя на уточняющий или подтверждающий запрос, полученного в результате преобразования, диалоговому модулю, обработку диалоговым модулем текста ответа пользователя на уточняющий или подтверждающий запрос. Таким образом, вероятность возникновения ошибок в процессе обучения информационной диалоговой системы сводится к минимуму. Кроме того, предоставляется возможность выполнения обучения пользователем информационной диалоговой системы наиболее естественным образом, как при живом общении.
Предпочтительна реализация способа, при которой после отображения и/или воспроизведения сформированного ответа на обучающий запрос выполняют формирование, отображение и/или воспроизведение рекомендаций по редактированию обучающих запросов. Таким образом, у пользователя не возникает необходимости искать дополнительную информацию, что обеспечивает удобство обучения информационной диалоговой системы.
Целесообразна такая реализация изобретения, при которой после ввода пользователем обучающего запроса, ответа на уточняющий или подтверждающий запрос выполняют формирование, отображение и/или воспроизведение подтверждающего ответа. Таким образом, выполняют подтверждение, что обучающий запрос, ответ на уточняющий или подтверждающий запрос был принят информационной диалоговой системой.
Предпочтительна реализация способа, при которой ввод пользователем обучающего запроса, ответа на уточняющий или подтверждающий запрос выполняют посредством голосовой команды и/или с использованием клавиатуры. Таким образом, пользователю предоставляется возможность осуществлять ввод обучающего запроса, ответа на уточняющий или подтверждающий запрос не только посредством голосовой команды, но посредством клавиатуры пользовательского устройства.
Целесообразна такая реализация изобретения, при которой воспроизведение сформированного ответа на обучающий запрос, уточняющего или подтверждающего запроса выполняют посредством подсистемы генерации и воспроизведения голоса, при этом отображение и/или воспроизведение сформированного ответа на запрос, уточняющего запроса, подтверждающего запроса выполняют посредством голосовой реплики и/или отображения текста на дисплее.
Целесообразна такая реализация изобретения, при которой в сформированный ответ на обучающий запрос, уточняющий или подтверждающий запрос включают дополнительные метаданные, при этом в дополнительные метаданные включают инструкции, направляемые дополнительным системам и/или подсистемам. Указанные дополнительные метаданные являются дополнением к указанному ответу или запросам, сформированным диалоговым модулем. Указанные метаданные содержат информацию об эмоциональной окраске формируемого ответа или запросов информационной диалоговой системы, которую отображают на дисплее и/или воспроизводят посредством подсистемы генерации и воспроизведения голоса, инструкции, направляемые дополнительным системам и/или подсистемам. Таким образом, присутствие какой-либо эмоциональной окраски в ответе или запросах создает у пользователя впечатление общения с живым собеседником, тем самым повышая удобство взаимодействия с информационной диалоговой системой. Кроме того, указанные метаданные могут дополнительно содержать расширения указанного ответа или запросов, специфичные для реализации конкретной диалоговой подсистемы.
Заявляемый способ обучения информационной диалоговой системы пользователем может выполняться циклично, при этом цикл реализации способа завершают по инициативе пользователя. Таким образом, реализуется обучающий диалог пользователя с информационной диалоговой системой, то есть каждый раз после получения ответа пользователь вводит новый обучающий запрос или уточняющий или подтверждающий ответ.
Заявляемое изобретение поясняется при помощи приведенных ниже графических материалов.
Фиг.1 - обобщенная блок-схема реализации способа обучения информационной диалоговой системы пользователем.
Фиг.2 - обобщенная блок-схема реализации способа обучения при выполнении дополнительных этапов после обработки текста обучающего запроса перед формированием диалоговым модулем ответа на обучающий запрос.
На фиг.1 изображена обобщенная блок-схема реализации способа обучения информационной диалоговой системы пользователем, содержащая следующие обязательные для выполнения и опциональные этапы указанного способа:
1 - активация пользователем подсистемы пользовательского ввода и ввод пользователем обучающего запроса, при этом выполняют прием и преобразование обучающего запроса пользователя в текст посредством подсистемы пользовательского ввода;
2 - передача текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, после чего посредством диалогового модуля выполняют обработку полученного текста и формирование диалоговым модулем ответа на обучающий запрос;
3 - передача ответа на обучающий запрос пользователю;
4 - отображение сформированного ответа на обучающий запрос в виде текста на дисплее;
5 - воспроизведение сформированного ответа на обучающий запрос в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса и последующая автоматическая активация подсистемы пользовательского ввода;
6 - нажатие пользователем дополнительных кнопок (например, отключение компонента записи и распознавания голоса);
7 - выполнение соответствующих дополнительным кнопкам действий;
8 - взаимодействие с дополнительными системами и/или подсистемами (отправка диалоговым модулем запроса дополнительной системе и/или подсистеме, обработка системой и/или подсистемой полученного запроса, передача результата диалоговому модулю);
9 - взаимодействие с профилем пользователя (отправка диалоговым модулем запроса, получение информации из профиля пользователя);
10 - взаимодействие с клиентской памятью.
Этапы 4, 5, 6, 7, 8, 9, 10 являются опциональными.
На фиг.2 изображена обобщенная блок-схема реализации способа обучения при выполнении дополнительных этапов после обработки текста обучающего запроса перед формированием диалоговым модулем ответа на обучающий запрос, включающая следующие этапы:
11 - формирование диалоговым модулем уточняющего или подтверждающего запроса и передача уточняющего или подтверждающего запроса пользователю;
12 - отображение уточняющего или подтверждающего запроса в виде текста на дисплее;
13 - воспроизведение уточняющего или подтверждающего запроса в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса и последующая автоматическая активация подсистемы пользовательского ввода;
14 - ввод пользователем ответа на уточняющий или подтверждающий запрос и его прием, и преобразование подсистемой пользовательского ввода ответа пользователя на уточняющий или подтверждающий запрос в текст;
15 - передача текста ответа пользователя на уточняющий или подтверждающий запрос, полученного в результате преобразования, диалоговому модулю, и последующая обработка диалоговым модулем текста ответа пользователя на уточняющий или подтверждающий запрос.
Далее описаны примеры осуществления способа обучения информационной диалоговой системы пользователем.
А) Задание пользователем варианта ответа на выделенную в обучающем запросе фразу
Пользователь активирует подсистему пользовательского ввода и выполняет ввод обучающего запроса (1), например, следующего содержания: «Задать ответ на вопрос «Как дела?», при этом выполняют прием и преобразование обучающего запроса пользователя в текст посредством подсистемы пользовательского ввода, после чего выполняют передачу текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, после чего посредством диалогового модуля выполняют обработку полученного текста и формирование диалоговым модулем ответа на обучающий запрос (2), при этом перед формированием ответа выполняют формирование диалоговым модулем уточняющего запроса и передачу уточняющего запроса пользователю (11). Например, уточняющий запрос может быть следующего содержания: «Какой ответ должен выдаваться на Ваш запрос». Затем выполняют отображение уточняющего запроса в виде текста на дисплее (12) и/или воспроизведение уточняющего запроса в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса, после чего выполняют автоматическую активацию подсистемы пользовательского ввода (13). Далее пользователь выполняет ввод на уточняющий запрос и его прием, и преобразование подсистемой пользовательского ввода ответа пользователя на уточняющий запрос в текст (14). Ответ пользователя на уточняющий запрос может быть следующего содержания: «Отлично. Спасибо, что спросил. А как у тебя?». Затем выполняют передачу текста ответа пользователя на уточняющий запрос, полученного в результате преобразования, диалоговому модулю, после чего выполняют обработку диалоговым модулем текста ответа пользователя на уточняющий запрос (15). После этого выполняют формирование диалоговым модулем ответа на обучающий запрос и передачу ответа на обучающий запрос пользователю (3), отображение сформированного ответа на обучающий запрос в виде текста на дисплее (4) и/или воспроизведение сформированного ответа на обучающий запрос в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса, после чего выполняют автоматическую активацию подсистемы пользовательского ввода (5). При этом после выполнения этапа (15) предполагается возможность повторного выполнения этапов (11) - (15). Кроме того, выполнение этапов (4) и (5) является факультативным.
Б) Задание пользователем нескольких вариантов ответов на выделенную в обучающем запросе фразу
Посредством циклического выполнения указанного способа пользователю предоставляется возможность задания нескольких вариантов ответов на выделенную в обучающем запросе фразу.
Пользователь активирует подсистему пользовательского ввода и выполняет ввод обучающего запроса (1), при этом выполняют прием и преобразование обучающего запроса пользователя в текст посредством подсистемы пользовательского ввода. После этого выполняют передачу текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, после чего посредством диалогового модуля выполняют обработку полученного текста и формирование диалоговым модулем ответа на обучающий запрос (2), при этом перед формированием ответа выполняют формирование диалоговым модулем уточняющего запроса и передачу уточняющего запроса пользователю (11). Например, уточняющий запрос может быть следующего содержания: «Желаете ли Вы задать дополнительный ответ?». Затем выполняют отображение уточняющего запроса в виде текста на дисплее (12) и/или воспроизведение уточняющего запроса в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса, после чего выполняют автоматическую активацию подсистемы пользовательского ввода (13). После этого пользователь выполняет ввод ответа на уточняющий запрос, при этом выполняют прием и преобразование подсистемой пользовательского ввода ответа пользователя на уточняющий или подтверждающий запрос в текст (14). Затем выполняют передачу текста ответа пользователя на уточняющий или подтверждающий запрос, полученного в результате преобразования, диалоговому модулю, после чего выполняют обработку диалоговым модулем текста ответа пользователя на уточняющий или подтверждающий запрос (15). После этого выполняют формирование диалоговым модулем ответа на обучающий запрос и передачу ответа на обучающий запрос пользователю (3), отображение сформированного ответа на обучающий запрос в виде текста на дисплее (4) и/или воспроизведение сформированного ответа на обучающий запрос в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса, после чего выполняют автоматическую активацию подсистемы пользовательского ввода (5).
В) Изменение/удаление обучающего запроса
Пользователь активирует подсистему пользовательского ввода и выполняет ввод обучающего запроса (1), например, следующего содержания «Изменить настройки для вопроса «Какая сегодня погода?» или «Удалить настройки для запроса «Какая сегодня погода?», при этом выполняют прием и преобразование обучающего запроса пользователя в текст посредством подсистемы пользовательского ввода. После этого выполняют передачу текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, после чего посредством диалогового модуля выполняют обработку полученного текста и формирование диалоговым модулем ответа на обучающий запрос (2), при этом перед формированием ответа выполняют формирование диалоговым модулем подтверждающего запроса и передачу подтверждающего запроса пользователю (11). Например, подтверждающий запрос может быть следующего содержания: «Вы уверены, что хотите удалить настройки для запроса «Какая сегодня погода?». Затем выполняют отображение подтверждающего запроса в виде текста на дисплее (12) и/или воспроизведение подтверждающего запроса в виде голосовой реплики посредством подсистемы генерации и воспроизведения голоса, после чего выполняют автоматическую активацию подсистемы пользовательского ввода (13). Далее пользователь выполняет ввод ответа на подтверждающий запрос, при этом выполняют прием и преобразование подсистемой пользовательского ввода ответа пользователя на подтверждающий запрос в текст (14). Ответ пользователя на подтверждающий запрос может быть следующего содержания: «Да, подтверждаю». Затем выполняют передачу текста ответа пользователя на подтверждающий запрос, полученного в результате преобразования, диалоговому модулю, после чего выполняют обработку диалоговым модулем текста ответа пользователя на подтверждающий запрос (15). После этого выполняют формирование диалоговым модулем ответа на обучающий запрос «Удалить настройки для запроса «Какая сегодня погода?» и передачу ответа пользователю (3) в виде действия - изменения/удаления настроек.
Г) Задание пользователем обучающего запроса для установления связи между словом/фразой и действием /последовательностью действий
Предполагается, что у пользователя может возникнуть необходимость установить связь между словом или фразой и действием или последовательностью действий информационной диалоговой системы, так, чтобы впоследствии после ввода запроса в ответ было выполнено некоторое действие или последовательность действий. Таким образом, исключается необходимость вводить длинные запросы, что делает удобным использование указанной системы и существенно экономит время.
Пользователь активирует подсистему пользовательского ввода и выполняет ввод обучающего запроса (1), например, следующего содержания «Когда я говорю «Покажи погоду», открывай прогноз погоды» или «Когда я говорю «Работа», делай checkin в<название интернет ресурса>и меняй статус на «Не беспокоить», при этом выполняют прием и преобразование обучающего запроса пользователя в текст посредством подсистемы пользовательского ввода. Далее выполняют передачу текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, затем посредством диалогового модуля выполняют обработку полученного текста и формирование диалоговым модулем ответа на обучающий запрос (2). Затем выполняют передачу ответа на обучающий запрос пользователю в виде действия - сохранение действия или последовательности действий, ассоциированных с заданным словом для последующего выполнения.
Д) Задание пользователем обучающего запроса с синонимом
Предполагается, что у пользователя может возникнуть необходимость установить связь между некоторым понятием и его синонимом для дальнейшего использования этого синонима в процессе взаимодействия с информационной диалоговой системой. Таким образом, исключается необходимость в произношении сложных для распознавания слов или фраз и обеспечивается высокая степень «понимания» указанной системой запросов пользователя.
Пользователь активирует подсистему пользовательского ввода и выполняет ввод обучающего запроса (1), например, следующего содержания «Задать в качестве синонима для слова<понятие>слово<синоним понятия>. Далее выполняют передачу текста обучающего запроса, полученного в результате преобразования, диалоговому модулю, затем посредством диалогового модуля выполняют обработку полученного текста и формирование диалоговым модулем ответа на обучающий запрос (2). Затем выполняют передачу ответа на обучающий запрос пользователю в виде действия - сохранение в качестве синонима для слова<понятие>слова<синоним понятия>.
Таким образом, способ обучения информационной диалоговой системы пользователем, который позволяет расширить возможности взаимодействия пользователя с информационной диалоговой системой, обеспечивает возможность «подстроить» систему согласно предпочтениям пользователя, а также является удобным в реализации для пользователя.

Claims (17)

1. Способ обучения информационной диалоговой системы пользователем, включающий этапы, на которых:
получают подсистемой пользовательского ввода обучающий запрос,
преобразовывают подсистемой пользовательского ввода обучающего запроса пользователя в текст,
обрабатывают диалоговым модулем текст обучающего запроса,
формируют диалоговым модулем ответ на обучающий запрос,
отображают и/или воспроизводят сформированный ответ на обучающий запрос,
отличающийся тем, что обучающий запрос содержит пользовательскую команду на задание по меньшей мере одного персонализированного ответа или по меньшей мере одного действия информационной диалоговой системы на определенный вопрос или запрос пользователя, а способ дополнительно содержит этап, на котором создают настройку информационной диалоговой системы, которая в дальнейшем инструктирует информационную диалоговую систему отображать и/или воспроизводить по меньшей мере один персонализированный ответ или по меньшей мере одно действие диалоговой системой при получении от пользователя заранее определенного вопроса или запроса.
2. Способ по п.1, отличающийся тем, что после передачи ответа на обучающий запрос выполняют отображение и/или воспроизведение сформированного ответа на обучающий запрос.
3. Способ по п.2, отличающийся тем, что после отображения и/или воспроизведения сформированного ответа на обучающий запрос выполняют формирование, отображение и/или воспроизведение рекомендаций по редактированию обучающих запросов.
4. Способ по п.1, отличающийся тем, что после обработки текста обучающего запроса диалоговым модулем перед формированием диалоговым модулем ответа на обучающий запрос дополнительно выполняют этапы, на которых:
формируют диалоговым модулем уточняющий или подтверждающий запрос,
передают уточняющий или подтверждающий запрос пользователю,
отображают и/или воспроизводят уточняющий или подтверждающий запрос,
принимают и преобразовывают подсистемой пользовательского ввода ответ пользователя на уточняющий или подтверждающий запрос в текст,
передают текст ответа пользователя на уточняющий или подтверждающий запрос, полученного в результате преобразования, диалоговому модулю,
обрабатывают диалоговым модулем текст ответа пользователя на уточняющий или подтверждающий запрос.
5. Способ по п.4, отличающийся тем, что после получения обучающего запроса, ответа на уточняющий или подтверждающий запрос выполняют формирование, отображение и/или воспроизведение подтверждающего ответа.
6. Способ по п.4, отличающийся тем, что информационная диалоговая система выполнена с возможностью приема обучающего запроса, ответа на уточняющий или подтверждающий запрос, представленного в виде голосовой команды и/или с использованием клавиатуры.
7. Способ по п.2 или 4, отличающийся тем, что воспроизведение сформированного ответа на обучающий запрос, уточняющего или подтверждающего запроса выполняют посредством подсистемы генерации и воспроизведения голоса.
8. Способ по п.2 или 4, отличающийся тем, что отображение и/или воспроизведение сформированного ответа на обучающий запрос, уточняющего или подтверждающего запроса выполняют посредством обеспечения звукового сообщения и/или отображения текста на дисплее.
9. Способ по п.4, отличающийся тем, что в сформированный ответ на обучающий запрос, уточняющий или подтверждающий запрос включают дополнительные метаданные.
10. Способ по п.9, отличающийся тем, что в дополнительные метаданные включают инструкции, направляемые дополнительным системам и/или подсистемам.
11. Способ по п.1, отличающийся тем, что этапы способа выполняют циклично.
12. Способ по п.1, отличающийся тем, что подсистема пользовательского ввода и диалоговый модуль выполнены в мобильном телефоне.
13. Способ по п.1, отличающийся тем, что подсистема пользовательского ввода и диалоговый модуль выполнены в портативном или стационарном компьютере.
14. Способ по п.1, отличающийся тем, что подсистема пользовательского ввода содержит компонент записи и распознавания голоса.
15. Способ по п.1, отличающийся тем, что подсистема пользовательского ввода содержит клавиатуру.
16. Способ по п.1, отличающийся тем, что обучающий запрос определяет связь между словом или фразой и действием или последовательностью действий, предназначенных для выполнения информационной диалоговой системой при получении заранее определенного вопроса или запроса.
17. Способ по п.1, отличающийся тем, что обучающий запрос определяет связь между по меньшей мере одним словом или фразой запроса и синонимом запроса.
RU2012150997/08A 2012-11-28 2012-11-28 Способ обучения информационной диалоговой системы пользователем RU2530268C2 (ru)

Priority Applications (10)

Application Number Priority Date Filing Date Title
RU2012150997/08A RU2530268C2 (ru) 2012-11-28 2012-11-28 Способ обучения информационной диалоговой системы пользователем
PCT/IB2012/056973 WO2014083390A1 (ru) 2012-11-28 2012-12-05 Способ обучения информационной диалоговой системы пользователем
US14/721,044 US9946511B2 (en) 2012-11-28 2015-05-26 Method for user training of information dialogue system
US15/395,476 US10102854B2 (en) 2012-11-28 2016-12-30 Dialog system with automatic reactivation of speech acquiring mode
US15/720,854 USRE47974E1 (en) 2012-11-28 2017-09-29 Dialog system with automatic reactivation of speech acquiring mode
US15/951,455 US10503470B2 (en) 2012-11-28 2018-04-12 Method for user training of information dialogue system
US16/137,069 US10748537B2 (en) 2012-11-28 2018-09-20 Dialog system with automatic reactivation of speech acquiring mode
US16/569,352 US10489112B1 (en) 2012-11-28 2019-09-12 Method for user training of information dialogue system
US16/990,525 US11355117B2 (en) 2012-11-28 2020-08-11 Dialog system with automatic reactivation of speech acquiring mode
US17/747,707 US12148426B2 (en) 2012-11-28 2022-05-18 Dialog system with automatic reactivation of speech acquiring mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2012150997/08A RU2530268C2 (ru) 2012-11-28 2012-11-28 Способ обучения информационной диалоговой системы пользователем

Publications (2)

Publication Number Publication Date
RU2012150997A RU2012150997A (ru) 2014-06-27
RU2530268C2 true RU2530268C2 (ru) 2014-10-10

Family

ID=50827239

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012150997/08A RU2530268C2 (ru) 2012-11-28 2012-11-28 Способ обучения информационной диалоговой системы пользователем

Country Status (3)

Country Link
US (3) US9946511B2 (ru)
RU (1) RU2530268C2 (ru)
WO (1) WO2014083390A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719659C1 (ru) * 2019-01-10 2020-04-21 Общество с ограниченной ответственностью "Центр речевых технологий" (ООО "ЦРТ") Устройство для регистрации и управления вводом речевой информации

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102380145B1 (ko) 2013-02-07 2022-03-29 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101749009B1 (ko) 2013-08-06 2017-06-19 애플 인크. 원격 디바이스로부터의 활동에 기초한 스마트 응답의 자동 활성화
US10105320B2 (en) 2013-10-03 2018-10-23 Altria Client Services Soluble fiber lozenge
US9351936B2 (en) * 2013-10-03 2016-05-31 Altria Client Services Llc Nicotine lozenge
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US11722598B2 (en) * 2015-01-06 2023-08-08 Cyara Solutions Pty Ltd System and methods for an automated chatbot testing platform
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
CN104867367B (zh) * 2015-06-17 2016-03-02 中国人民解放军海军工程大学 一种基于任务驱动的舰船损管对话式训练仿真系统
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10438583B2 (en) 2016-07-20 2019-10-08 Lenovo (Singapore) Pte. Ltd. Natural language voice assistant
US10621992B2 (en) 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US11128579B2 (en) 2016-09-29 2021-09-21 Admithub Pbc Systems and processes for operating and training a text-based chatbot
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10664533B2 (en) * 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10817553B2 (en) 2017-07-26 2020-10-27 Rovi Guides, Inc. Methods and systems for playing back indexed conversations based on the presence of other people
KR102508677B1 (ko) 2018-03-08 2023-03-13 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11157703B2 (en) * 2018-04-19 2021-10-26 Sg Gaming, Inc. Systems and methods for natural language processing in gaming environments
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10832010B2 (en) 2018-06-05 2020-11-10 International Business Machines Corporation Training of conversational agent using natural language
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11222625B2 (en) 2019-04-15 2022-01-11 Ademco Inc. Systems and methods for training devices to recognize sound patterns
WO2020214988A1 (en) 2019-04-17 2020-10-22 Tempus Labs Collaborative artificial intelligence method and system
CN110032627A (zh) * 2019-04-23 2019-07-19 上海智臻智能网络科技股份有限公司 售后服务信息的提供方法、装置、计算机设备和存储介质
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN111243587A (zh) * 2020-01-08 2020-06-05 北京松果电子有限公司 语音交互方法、装置、设备及存储介质
KR20210095431A (ko) * 2020-01-23 2021-08-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5008941A (en) * 1989-03-31 1991-04-16 Kurzweil Applied Intelligence, Inc. Method and apparatus for automatically updating estimates of undesirable components of the speech signal in a speech recognition system
US5465378A (en) * 1990-05-15 1995-11-07 Compuspeak, Inc. Report generating system
US5850627A (en) * 1992-11-13 1998-12-15 Dragon Systems, Inc. Apparatuses and methods for training and operating speech recognition systems
US6092043A (en) * 1992-11-13 2000-07-18 Dragon Systems, Inc. Apparatuses and method for training and operating speech recognition systems
EP0848552B1 (en) * 1995-08-30 2002-05-29 Hitachi, Ltd. Sign language telephone system for communication between persons with or without hearing impairment
US6088669A (en) * 1997-01-28 2000-07-11 International Business Machines, Corporation Speech recognition with attempted speaker recognition for speaker model prefetching or alternative speech modeling
US5991726A (en) * 1997-05-09 1999-11-23 Immarco; Peter Speech recognition devices
US6915254B1 (en) 1998-07-30 2005-07-05 A-Life Medical, Inc. Automatically assigning medical codes using natural language processing
US6606598B1 (en) 1998-09-22 2003-08-12 Speechworks International, Inc. Statistical computing and reporting for interactive speech applications
US6185535B1 (en) * 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
EP1224569A4 (en) * 1999-05-28 2005-08-10 Sehda Inc PHRASE BASED DIALOGUE MODELING WITH SPECIAL APPLICATION FOR GENERATING RECOGNITION GRAMMARK FOR LANGUAGE-CONTROLLED USER INTERFACE
US6795807B1 (en) * 1999-08-17 2004-09-21 David R. Baraff Method and means for creating prosody in speech regeneration for laryngectomees
US6415257B1 (en) * 1999-08-26 2002-07-02 Matsushita Electric Industrial Co., Ltd. System for identifying and adapting a TV-user profile by means of speech technology
US7442107B1 (en) * 1999-11-02 2008-10-28 Sega Toys Ltd. Electronic toy, control method thereof, and storage medium
US7392185B2 (en) * 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US6757362B1 (en) * 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
US6963841B2 (en) * 2000-04-21 2005-11-08 Lessac Technology, Inc. Speech training method with alternative proper pronunciation database
US6493661B1 (en) 2000-05-16 2002-12-10 Scheider Automation, Inc. Reusable multi-language support facility for software
US7110963B2 (en) * 2000-09-07 2006-09-19 Manuel Negreiro Point-of-sale customer order system utilizing an unobtrusive transmitter/receiver and voice recognition software
CA2423965A1 (en) 2000-09-29 2002-04-04 Gavagai Technology Incorporated A method and system for adapting synonym resources to specific domains
AU2001295080A1 (en) * 2000-09-29 2002-04-08 Professorq, Inc. Natural-language voice-activated personal assistant
US6925432B2 (en) * 2000-10-11 2005-08-02 Lucent Technologies Inc. Method and apparatus using discriminative training in natural language call routing and document retrieval
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
WO2002050799A2 (en) * 2000-12-18 2002-06-27 Digispeech Marketing Ltd. Context-responsive spoken language instruction
US20020198714A1 (en) * 2001-06-26 2002-12-26 Guojun Zhou Statistical spoken dialog system
JP4871491B2 (ja) * 2001-07-05 2012-02-08 ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー 課金情報を生成する方法並びに口述トランスクリプション装置
US8959019B2 (en) * 2002-10-31 2015-02-17 Promptu Systems Corporation Efficient empirical determination, computation, and use of acoustic confusability measures
US8447602B2 (en) * 2003-03-26 2013-05-21 Nuance Communications Austria Gmbh System for speech recognition and correction, correction device and method for creating a lexicon of alternatives
US20040236581A1 (en) * 2003-05-01 2004-11-25 Microsoft Corporation Dynamic pronunciation support for Japanese and Chinese speech recognition training
US7379867B2 (en) * 2003-06-03 2008-05-27 Microsoft Corporation Discriminative training of language models for text and speech classification
US7113848B2 (en) * 2003-06-09 2006-09-26 Hanson David F Human emulation robot system
US20060031853A1 (en) * 2003-10-10 2006-02-09 Metaphor Solutions, Inc. System and method for optimizing processing speed to run multiple dialogs between multiple users and a virtual agent
US7552055B2 (en) * 2004-01-10 2009-06-23 Microsoft Corporation Dialog component re-use in recognition systems
US7542903B2 (en) * 2004-02-18 2009-06-02 Fuji Xerox Co., Ltd. Systems and methods for determining predictive models of discourse functions
JP2007527555A (ja) * 2004-03-05 2007-09-27 レサック テクノロジーズ、インコーポレーテッド 韻律音声テキストコード及びコンピュータ化された音声システムへのその使用
US8412521B2 (en) * 2004-08-20 2013-04-02 Multimodal Technologies, Llc Discriminative training of document transcription system
US7877257B2 (en) * 2004-09-27 2011-01-25 Robert Bosch Corporation Method and system to parameterize dialog systems for the purpose of branding
US7844465B2 (en) * 2004-11-30 2010-11-30 Scansoft, Inc. Random confirmation in speech based systems
US20060122834A1 (en) * 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
US8275618B2 (en) * 2004-12-22 2012-09-25 Nuance Communications, Inc. Mobile dictation correction user interface
US7895039B2 (en) * 2005-02-04 2011-02-22 Vocollect, Inc. Methods and systems for optimizing model adaptation for a speech recognition system
US7827032B2 (en) * 2005-02-04 2010-11-02 Vocollect, Inc. Methods and systems for adapting a model for a speech recognition system
EP1872361A4 (en) * 2005-03-28 2009-07-22 Lessac Technologies Inc HYBRID SPEECH SYNTHESIZER, METHOD AND USE
US8032823B2 (en) * 2005-04-15 2011-10-04 Carnegie Mellon University Intent-based information processing and updates
US7912720B1 (en) * 2005-07-20 2011-03-22 At&T Intellectual Property Ii, L.P. System and method for building emotional machines
US20070055520A1 (en) * 2005-08-31 2007-03-08 Microsoft Corporation Incorporation of speech engine training into interactive user tutorial
TWI277948B (en) * 2005-09-02 2007-04-01 Delta Electronics Inc Method and system for template inquiry dialogue system
US8032372B1 (en) * 2005-09-13 2011-10-04 Escription, Inc. Dictation selection
US20070129946A1 (en) * 2005-12-06 2007-06-07 Ma Changxue C High quality speech reconstruction for a dialog method and system
US8145472B2 (en) * 2005-12-12 2012-03-27 John Shore Language translation using a hybrid network of human and machine translators
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
JP4158937B2 (ja) * 2006-03-24 2008-10-01 インターナショナル・ビジネス・マシーンズ・コーポレーション 字幕修正装置
US20070263805A1 (en) * 2006-05-01 2007-11-15 Mcdonald Christopher F Method to alert participant on a conference call
US20070288268A1 (en) * 2006-05-11 2007-12-13 Weeks Walter L Adaptable Electronic Medical Record System and Method
US7774202B2 (en) * 2006-06-12 2010-08-10 Lockheed Martin Corporation Speech activated control system and related methods
US8251924B2 (en) * 2006-07-07 2012-08-28 Ambient Corporation Neural translator
US20080010069A1 (en) * 2006-07-10 2008-01-10 Microsoft Corporation Authoring and running speech related applications
US8521510B2 (en) * 2006-08-31 2013-08-27 At&T Intellectual Property Ii, L.P. Method and system for providing an automated web transcription service
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
TWI321313B (en) * 2007-03-03 2010-03-01 Ind Tech Res Inst Apparatus and method to reduce recognization errors through context relations among dialogue turns
CA2682000A1 (en) * 2007-03-28 2008-10-02 Breakthrough Performancetech, Llc Systems and methods for computerized interactive training
US8352264B2 (en) * 2008-03-19 2013-01-08 Canyon IP Holdings, LLC Corrective feedback loop for automated speech recognition
US20080255835A1 (en) * 2007-04-10 2008-10-16 Microsoft Corporation User directed adaptation of spoken language grammer
US20090024411A1 (en) * 2007-04-12 2009-01-22 Albro Thomas W System and method for contextualizing patient health information in electronic health records
US8886521B2 (en) * 2007-05-17 2014-11-11 Redstart Systems, Inc. System and method of dictation for a speech recognition command system
US20080312928A1 (en) * 2007-06-12 2008-12-18 Robert Patrick Goebel Natural language speech recognition calculator
US9626875B2 (en) * 2007-08-01 2017-04-18 Time To Know Ltd. System, device, and method of adaptive teaching and learning
US20090098981A1 (en) * 2007-10-11 2009-04-16 Del Giorno Ralph J Virtual Trainer
US8566098B2 (en) * 2007-10-30 2013-10-22 At&T Intellectual Property I, L.P. System and method for improving synthesized speech interactions of a spoken dialog system
US8521766B1 (en) * 2007-11-12 2013-08-27 W Leo Hoarty Systems and methods for providing information discovery and retrieval
US20090150341A1 (en) * 2007-12-05 2009-06-11 Microsoft Corporation Generation of alternative phrasings for short descriptions
US7991615B2 (en) * 2007-12-07 2011-08-02 Microsoft Corporation Grapheme-to-phoneme conversion using acoustic data
US10176827B2 (en) * 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US9177551B2 (en) * 2008-01-22 2015-11-03 At&T Intellectual Property I, L.P. System and method of providing speech processing in user interface
US8306810B2 (en) * 2008-02-12 2012-11-06 Ezsav Inc. Systems and methods to enable interactivity among a plurality of devices
US8370148B2 (en) * 2008-04-14 2013-02-05 At&T Intellectual Property I, L.P. System and method for answering a communication notification
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US8374873B2 (en) * 2008-08-12 2013-02-12 Morphism, Llc Training and applying prosody models
US8874443B2 (en) * 2008-08-27 2014-10-28 Robert Bosch Gmbh System and method for generating natural language phrases from user utterances in dialog systems
US8285550B2 (en) * 2008-09-09 2012-10-09 Industrial Technology Research Institute Method and system for generating dialogue managers with diversified dialogue acts
US8566088B2 (en) * 2008-11-12 2013-10-22 Scti Holdings, Inc. System and method for automatic speech to text conversion
AU2009335623B2 (en) * 2009-01-08 2012-05-10 Servicenow, Inc. Chatbots
WO2010105245A2 (en) * 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
TWI399739B (zh) * 2009-11-13 2013-06-21 Ind Tech Res Inst 語音留言與傳達之系統與方法
US8433578B2 (en) * 2009-11-30 2013-04-30 At&T Intellectual Property I, L.P. System and method for automatically generating a dialog manager
US8903793B2 (en) * 2009-12-15 2014-12-02 At&T Intellectual Property I, L.P. System and method for speech-based incremental search
EP4318463A3 (en) * 2009-12-23 2024-02-28 Google LLC Multi-modal input on an electronic device
KR101649911B1 (ko) * 2010-01-04 2016-08-22 삼성전자 주식회사 확장 도메인을 이용한 대화 시스템 및 그 자연어 인식 방법
US9218807B2 (en) * 2010-01-08 2015-12-22 Nuance Communications, Inc. Calibration of a speech recognition engine using validated text
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20110184736A1 (en) * 2010-01-26 2011-07-28 Benjamin Slotznick Automated method of recognizing inputted information items and selecting information items
US8738377B2 (en) * 2010-06-07 2014-05-27 Google Inc. Predicting and learning carrier phrases for speech input
US20120089392A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
KR101872975B1 (ko) * 2011-01-20 2018-07-02 삼성전자주식회사 서버 및 사용자 디바이스 간에 사용자의 개인 약품 정보 관리 서비스를 제공하는 방법, 그리고 사용자 개인 약품 정보 관리 서비스를 제공하는 서버 및 사용자 디바이스
KR101659649B1 (ko) * 2011-02-22 2016-09-23 디아트로 랩스, 인크. 구조화된 통신을 이용하기 위한 관측 플랫폼
US8880406B2 (en) * 2011-03-28 2014-11-04 Epic Systems Corporation Automatic determination of and response to a topic of a conversation
US20120290509A1 (en) * 2011-05-13 2012-11-15 Microsoft Corporation Training Statistical Dialog Managers in Spoken Dialog Systems With Web Data
US9026446B2 (en) * 2011-06-10 2015-05-05 Morgan Fiumi System for generating captions for live video broadcasts
US9336298B2 (en) * 2011-06-16 2016-05-10 Microsoft Technology Licensing, Llc Dialog-enhanced contextual search query analysis
US8589160B2 (en) * 2011-08-19 2013-11-19 Dolbey & Company, Inc. Systems and methods for providing an electronic dictation interface
US9934780B2 (en) * 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
US9257115B2 (en) * 2012-03-08 2016-02-09 Facebook, Inc. Device for extracting information from a dialog
US8892419B2 (en) * 2012-04-10 2014-11-18 Artificial Solutions Iberia SL System and methods for semiautomatic generation and tuning of natural language interaction applications
WO2013155619A1 (en) * 2012-04-20 2013-10-24 Sam Pasupalak Conversational agent
US20140028780A1 (en) * 2012-05-31 2014-01-30 Volio, Inc. Producing content to provide a conversational video experience
US9536528B2 (en) * 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
US20140122407A1 (en) * 2012-10-26 2014-05-01 Xiaojiang Duan Chatbot system and method having auto-select input message with quality response
US20140122618A1 (en) * 2012-10-26 2014-05-01 Xiaojiang Duan User-aided learning chatbot system and method
US20140122619A1 (en) * 2012-10-26 2014-05-01 Xiaojiang Duan Chatbot system and method with interactive chat log
US20140122083A1 (en) * 2012-10-26 2014-05-01 Duan Xiaojiang Chatbot system and method with contextual input and output messages
EP2736042A1 (en) * 2012-11-23 2014-05-28 Samsung Electronics Co., Ltd Apparatus and method for constructing multilingual acoustic model and computer readable recording medium for storing program for performing the method
US10186262B2 (en) 2013-07-31 2019-01-22 Microsoft Technology Licensing, Llc System with multiple simultaneous speech recognizers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cisco Systems, "Руководство пользователя интерфейса телефона Cisco Unity Connection (выпуск 8.x)", 02.02.2010, [он-лайн, 16.07.2013]. Найдено в Интернет: URL. *
А.В. Фролов и др., "Синтез и распознавание речи. Современные решения", 14.10.2012, [он-лайн, 08.07.2013]. Найдено в Интернет: . URL. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2719659C1 (ru) * 2019-01-10 2020-04-21 Общество с ограниченной ответственностью "Центр речевых технологий" (ООО "ЦРТ") Устройство для регистрации и управления вводом речевой информации

Also Published As

Publication number Publication date
US20150254061A1 (en) 2015-09-10
US10503470B2 (en) 2019-12-10
WO2014083390A1 (ru) 2014-06-05
US20180232203A1 (en) 2018-08-16
RU2012150997A (ru) 2014-06-27
US10489112B1 (en) 2019-11-26
US9946511B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
RU2530268C2 (ru) Способ обучения информационной диалоговой системы пользователем
RU2530267C2 (ru) Способ коммуникации пользователя с информационной диалоговой системой
Wu et al. See what I’m saying? Comparing intelligent personal assistant use for native and non-native language speakers
JP6588637B2 (ja) 個別化されたエンティティ発音の学習
US9704103B2 (en) Digital companions for human users
RU2491617C2 (ru) Способ и устройство для реализации распределенных мультимодальных приложений
WO2013135167A1 (zh) 一种移动终端处理文本的方法、相关设备及系统
US20180012595A1 (en) Simple affirmative response operating system
JP6925469B2 (ja) スマートマイク制御サーバー及びシステム
US20080195375A1 (en) Echo translator
Alkhalifa et al. Enssat: wearable technology application for the deaf and hard of hearing
Bortoli et al. Conversational interfaces for a smart campus: A case study
JP2011253389A (ja) 端末および擬似会話用返答情報作成プログラム
CN111563182A (zh) 语音会议记录存储处理方法、装置
CN102956125B (zh) 云端数码语音教学录音系统
KR100586860B1 (ko) 질문과 답변기능을 이용한 사전검색방식의 언어교육시스템과 언어교육방법
CN112712806A (zh) 一种视障人群辅助阅读方法、装置、移动终端及存储介质
CN101401315A (zh) 使用移动电话进行翻译服务的方法
US20210142685A1 (en) Literacy awareness skills tools implemented via smart speakers and conversational assistants on smart devices
JP6433765B2 (ja) 音声対話システムおよび音声対話方法
US20180182384A1 (en) Stateful Context-Based Content Production Control
Liao et al. Taiwanese Hakka Across Taiwan Corpus and Formosa Speech Recognition Challenge 2023-Hakka ASR
US20240339041A1 (en) Conversational teaching method and system and server thereof
US20240321131A1 (en) Method and system for facilitating ai-based language learning partner
US20220245344A1 (en) Generating and providing information of a service

Legal Events

Date Code Title Description
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20170417

MM4A The patent is invalid due to non-payment of fees

Effective date: 20191129