[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018078885A1 - 対話装置、対話方法及び対話用コンピュータプログラム - Google Patents

対話装置、対話方法及び対話用コンピュータプログラム Download PDF

Info

Publication number
WO2018078885A1
WO2018078885A1 PCT/JP2016/082355 JP2016082355W WO2018078885A1 WO 2018078885 A1 WO2018078885 A1 WO 2018078885A1 JP 2016082355 W JP2016082355 W JP 2016082355W WO 2018078885 A1 WO2018078885 A1 WO 2018078885A1
Authority
WO
WIPO (PCT)
Prior art keywords
keyword
user
voice
unit
response
Prior art date
Application number
PCT/JP2016/082355
Other languages
English (en)
French (fr)
Inventor
金岡　利知
徹 上和田
章人 吉井
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2018547103A priority Critical patent/JP6699748B2/ja
Priority to PCT/JP2016/082355 priority patent/WO2018078885A1/ja
Publication of WO2018078885A1 publication Critical patent/WO2018078885A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to, for example, a dialogue apparatus, a dialogue method, and a dialogue computer program for dialogue with a user by voice.
  • a question for starting a conversation is output from a speaker.
  • a voice for the output question is input, the voice is recognized and a registered word corresponding to the voice is determined. Then, a match corresponding to the registered word is determined from the match group, and synthesized speech of the determined match is output.
  • the user can know that the dialog device is executing the process for the user's utterance by returning the interaction at an appropriate timing, the user can interact with the dialog device without feeling uneasy. It can be performed. However, if the dialogue device does not respond properly, the conversation may be unnatural. For example, as described in Patent Document 2, in the case where the dialogue apparatus returns a conflict in the silent period, if the silent period is “between” in the user's utterance, There may be overlap with the conflict. On the other hand, even if a certain period of time has elapsed after the silent period is started, if the dialogue apparatus does not return a conflict, the user may feel that his / her voice is not processed by the dialogue apparatus and repeat the utterance.
  • an object of the present invention is to provide an interactive apparatus that can respond to a user at an appropriate timing.
  • an interactive device sets a predetermined section when a keyword is detected, and a keyword detection unit that detects a keyword spoken by the user from an utterance section spoken by the user in an audio signal representing the user's voice, And a response unit that outputs the first response sound via the sound output unit when the sound signal is continuously silenced for a first time length in the predetermined section.
  • the interactive device disclosed in the present specification can respond to the user at an appropriate timing.
  • FIG. 1 is a schematic configuration diagram of an interactive apparatus according to an embodiment.
  • FIG. 2 is a functional block diagram of a processing unit related to dialogue processing.
  • FIG. 3 is a timing chart showing an example of the relationship between the keyword detection timing in the audio signal, the silence detection section, and the output timing of the conflict.
  • FIG. 4 is an operation flowchart of the dialogue process.
  • the interactive apparatus When recognizing that the user has issued a set keyword in an utterance section in a voice signal representing the voice uttered by the user, the interactive apparatus sets a predetermined section from when the keyword is recognized. Then, when the voice signal continues to be silent for the first time length within the predetermined section, the interactive apparatus outputs a replayed voice. At this time, the interactive apparatus can output the reproduced sound of the conflict at an appropriate timing by setting the first time length to be relatively short.
  • this interactive device can be implemented in various devices that employ a man-machine interface using voice recognition, such as a navigation system, a mobile phone, a computer, or a robot.
  • voice recognition such as a navigation system, a mobile phone, a computer, or a robot.
  • FIG. 1 is a schematic configuration diagram of an interactive apparatus according to one embodiment.
  • the dialogue apparatus 1 includes a microphone 11, an analog / digital converter 12, a digital / analog converter 13, a speaker 14, a storage unit 15, and a processing unit 16.
  • the interactive device 1 further includes a human sensor (not shown) for detecting a user, a user interface (not shown) such as a touch panel, and a communication interface (not shown) for communicating with other devices. You may have.
  • the microphone 11 is an example of a voice input unit, collects sounds around the interactive device 1 including user's voice, and generates an analog voice signal corresponding to the intensity of the sound.
  • the microphone 11 outputs the analog audio signal to the analog / digital converter 12 (hereinafter referred to as an A / D converter).
  • the A / D converter 12 digitizes the audio signal by sampling the analog audio signal at a predetermined sampling rate. Note that the sampling rate is set to, for example, 16 kHz to 32 kHz so that the frequency band necessary for analyzing the user's voice from the audio signal is equal to or lower than the Nyquist frequency. Then, the A / D converter 12 outputs the digitized audio signal to the processing unit 16.
  • the digitized audio signal is simply referred to as an audio signal.
  • a digital / analog converter 13 (hereinafter referred to as a D / A converter) converts a digital playback audio signal received from the processing unit 16 into an analog playback audio signal. Then, the D / A converter 13 outputs the analog reproduced audio signal to the speaker 14.
  • the speaker 14 is an example of an audio output unit, and outputs an analog reproduced audio signal as audio.
  • the storage unit 15 includes, for example, a readable / writable nonvolatile semiconductor memory and a readable / writable volatile semiconductor memory. Further, the storage unit 15 may have a magnetic recording medium or an optical recording medium and its access device.
  • the storage unit 15 stores various data used in the interactive process executed on the processing unit 16 and various data generated during the interactive process. For example, the storage unit 15 stores a keyword to be recognized, a phoneme sequence of the keyword, a word dictionary, a table representing a correspondence relationship between the question and the keyword, and the like.
  • storage part 15 memorize
  • the processing unit 16 includes, for example, one or a plurality of processors and their peripheral circuits. And the process part 16 determines the timing which outputs the synthetic
  • processing unit 16 Details of the processing unit 16 will be described below.
  • FIG. 2 is a functional block diagram of the processing unit 16 relating to the dialogue processing.
  • the processing unit 16 includes a keyword setting unit 21, a speech segment start detection unit 22, a keyword detection unit 23, a response unit 24, and a voice recognition unit 25.
  • Each of these units included in the processing unit 16 is, for example, a functional module realized by a computer program that operates on a processor included in the processing unit 16.
  • each of these units included in the processing unit 16 may be one or a plurality of integrated circuits that realize the function of each unit.
  • the processing unit 16 starts the dialogue processing.
  • the processing unit 16 starts a dialogue process when a predetermined operation is performed on the user interface. Then, when the dialogue process is started, the processing unit 16 executes the processing of each unit described above.
  • the keyword setting unit 21 selects a question issued to the user when the interactive process is started, and sets a keyword corresponding to the content of the selected question. For example, the keyword setting unit 21 selects a question from a plurality of questions prepared in advance according to an operation executed on the user interface. Alternatively, the keyword setting unit 21 may select a question according to an application being executed on the interactive device 1. In this case, for example, a table indicating the correspondence between the operation content or the type of application and the question is stored in the storage unit 15 in advance. Then, the keyword setting unit 21 may select a question corresponding to the content of the executed operation or the type of the application being executed with reference to the table.
  • the keyword setting unit 21 reads a reproduced audio signal corresponding to the selected question from the storage unit 15 and outputs the reproduced audio signal to the speaker 14 via the D / A converter 13. And the sound of the selected question is emitted to the user by the speaker 14.
  • the keyword setting unit 21 sets a keyword corresponding to the selected question.
  • the keyword can be, for example, a word / phrase included in an assumed answer to the selected question. For example, if the question is “Where are you going?”, The keyword is set to a place name assumed as an answer, for example, “America”, “Kyoto”, or the like. If the question is “What do you want to do?”, The keyword is set to a word / phrase included in the name of a function that can be executed by the device in which the interactive device 1 is installed, which is assumed as an answer. For example, if the function that can be executed by the apparatus is a reservation of some ticket, the keyword is set to “ticket” or “reservation”.
  • a table representing a correspondence relationship between a question and a keyword is stored in the storage unit 15 in advance.
  • the keyword setting part 21 should just set the keyword corresponding to the selected question with reference to the table. Note that one or more keywords may be set.
  • the keyword setting unit 21 notifies the keyword detection unit 23 of the set keyword.
  • the keyword setting unit 21 notifies the utterance section start detection unit 22 that the question has been output.
  • the processing unit 16 divides the input audio signal into frame units having a predetermined length.
  • the frame length is set to, for example, 10 msec to 20 msec.
  • Each frame is input to the utterance section start detection unit 22, the keyword detection unit 23, and the speech recognition unit 25 in time order.
  • the utterance section start detection unit 22 starts the utterance section, which is a section in which the user is speaking, from the audio signal input to the processing unit 16 via the microphone 11 and the A / D converter 12 after the question is output. Is detected. Since the user's voice is included in the speech signal in the utterance section, the signal-to-noise ratio of the speech signal in the utterance section is assumed to be higher than the signal-to-noise ratio of the speech signal in the utterance section. Therefore, the utterance interval start detection unit 22 calculates a signal-to-noise ratio (hereinafter, simply referred to as an SN ratio) of the voice signal for each frame, and detects the start of the utterance interval based on the SN ratio.
  • an SN ratio signal-to-noise ratio
  • the utterance section start detection unit 22 calculates the power of the audio signal for each frame each time a frame is input. For example, the utterance section start detection unit 22 calculates power according to the following equation for each frame.
  • S k (n) represents the signal value of the nth sampling point of the latest frame (hereinafter also referred to as the current frame).
  • k is a frame number.
  • N represents the total number of sampling points included in one frame.
  • Spow (k) represents the power of the current frame.
  • the speech segment start detection unit 22 may calculate power for each of a plurality of frequencies for each frame.
  • the keyword detection unit 23 converts the audio signal from the time domain to the frequency domain spectrum signal using time-frequency conversion for each frame.
  • the speech section start detection unit 22 can use, for example, a fast Fourier transform (FFT) as the time frequency conversion.
  • FFT fast Fourier transform
  • the utterance area start detection part 22 can calculate the square sum of the spectrum signal contained in the frequency band for every frequency band as the power of the frequency band.
  • the utterance section start detection unit 22 calculates an estimated noise component in the audio signal in the frame for each frame.
  • the utterance section start detection unit 22 calculates the estimated noise component of the current frame by updating the estimated noise component in the immediately preceding frame according to the following equation using the power of the current frame.
  • Noise (k ⁇ 1) represents the estimated noise component in the immediately preceding frame
  • Noise (k) represents the estimated noise component in the current frame.
  • ⁇ is a forgetting factor, and is set to 0.9, for example.
  • the keyword detection unit may calculate the estimated noise component for each frequency band according to the equation (2).
  • Noise (k-1), Noise (k), and Spow (k) are respectively the estimated noise component of the immediately preceding frame and the estimated noise of the current frame for the frequency band of interest. Becomes component, power.
  • the predetermined threshold value can be a value obtained by adding a predetermined offset value to Noise (k ⁇ 1).
  • the utterance section start detection unit 22 calculates an SN ratio for each frame. For example, the utterance section start detection unit 22 calculates the SN ratio according to the following equation.
  • SNR (k) represents the SN ratio of the current frame.
  • the utterance section start detection unit 22 may calculate the SN ratio for each frequency band according to the equation (3).
  • Noise (k), Spow (k), and SNR (k) are the estimated noise component, power, and SN ratio of the current frame for the frequency band of interest.
  • the utterance section start detection unit 22 compares the SN ratio of the frame with the sound determination threshold Thsnr for each frame.
  • the sound determination threshold Thsnr is set to a value corresponding to a signal component other than the estimated noise component included in the audio signal, for example, 2 to 3. Then, if the SN ratio is equal to or higher than the sound determination threshold Thsnr, the speech segment start detection unit 22 determines that the frame is included in the speech segment.
  • the utterance section start detection unit 22 determines that the number of frequency bands in which the SN ratio is equal to or greater than the sound determination threshold Thsnr is equal to or greater than a predetermined number. You may determine with a flame
  • the predetermined number can be, for example, 1 ⁇ 2 of the total number of frequency bands for which the SN ratio is calculated.
  • the utterance interval start detection unit 22 It is determined that the utterance section is started from the frame. Alternatively, the utterance section start detection unit 22 may determine that the utterance section is started from the head of the consecutive frames when a predetermined number of frames (for example, 2 to 5 frames) are included in the utterance section. .
  • the utterance section start detection unit 22 When the start of the utterance section is detected, the utterance section start detection unit 22 notifies the keyword detection unit 23 and the voice recognition unit 25 that the utterance section has started.
  • the keyword detection unit 23 detects the keyword set by the keyword setting unit 21 in the utterance section when the utterance section is started.
  • the keyword detection unit 23 detects a target keyword by applying any one of various word spotting techniques to the utterance section. For example, the keyword detection unit 23 calculates a plurality of feature amounts representing the features of the user's voice for each frame in the utterance section. Then, the keyword detection unit 23 generates a feature vector having each feature amount as an element for each frame.
  • the keyword detection unit 23 obtains Mel frequency cepstrum coefficients (Mel Frequency Cepstral Coefficient, MFCC), their ⁇ cepstrum and ⁇ cepstrum as feature quantities representing the features of the user's voice.
  • Mel frequency cepstrum coefficients Mel Frequency Cepstral Coefficient, MFCC
  • the keyword detection unit 23 sets a detection section having a length corresponding to the keyword to be detected in the utterance section. Then, based on the feature amount extracted from each frame in the detection section, the keyword detection unit 23 searches for the maximum likelihood phoneme sequence for the detection section.
  • the maximum likelihood phoneme sequence is a phoneme sequence in which the phonemes included in the speech, which are estimated to be the most probable, are arranged in the utterance order.
  • the keyword detection unit 23 uses, for example, a hidden Markov model (Hidden Markov Model, HMM) as an acoustic model, and the output probability of each phoneme with respect to the speech feature vector by a mixed normal distribution (Gaussian Mixture Model, GMM). Use GMM-HMM to calculate.
  • HMM hidden Markov model
  • GMM mixed normal distribution
  • the keyword detection unit 23 calculates the output probability of each state of the HMM corresponding to each phoneme for the frame by inputting the feature vector of the frame to the GMM for each frame in the detection section. To do. Further, the keyword detection unit 23 estimates Cepstral ⁇ ⁇ Mean Normalization (CMN) for the feature vector calculated from each frame and estimates an average value for each element of the feature vector and subtracts the estimated average value from the value of the element. You may perform a normalization called. Then, the keyword detection unit 23 may input the normalized feature vector to the GMM.
  • CNN Cepstral ⁇ ⁇ Mean Normalization
  • the keyword detection unit 23 uses, for each frame, the obtained output probability as the output probability for the corresponding state of the phoneme HMM, so that the phoneme sequence having the maximum cumulative log likelihood is the maximum likelihood for the detection interval of interest. Obtained as phoneme series.
  • the keyword detection unit 23 logs the probability (state transition probability) of transition from the HMM state of the phoneme candidate of the previous frame that is the transition source to the HMM state of the phoneme candidate of the current frame that is the transition destination. Calculate the value. Further, the keyword detection unit 23 calculates a logarithm value of the output probability in the HMM state of the phoneme candidate with the current frame. Then, the keyword detecting unit 23 adds the logarithmized values to the cumulative log likelihood in the HMM state of the phoneme candidate up to the previous frame, so that the cumulative logarithm in the HMM state of the phoneme candidate in the current frame is obtained. Calculate the likelihood.
  • the keyword detection unit 23 has a large cumulative log likelihood when the transition from the HMM state of the phoneme candidate of the transition source to the HMM state of the phoneme candidate of the current frame that is the transition destination. Select the phoneme candidate of the transition source.
  • the keyword detection unit 23 advances a Viterbi operation for performing the selection for the HMM states of all phoneme candidates in the current frame to the last frame of the detection section.
  • the keyword detection unit 23 may select a state transition in which the above sum is equal to or greater than a predetermined value.
  • the keyword detecting unit 23 selects a state in which the cumulative log likelihood in the last frame is maximized, and obtains the state transition history (Viterbi path) until reaching the state by backtracking, based on the Viterbi path.
  • the maximum likelihood phoneme sequence in the speech section is obtained.
  • the keyword detection unit 23 compares the maximum likelihood phoneme sequence with a phoneme sequence representing the utterance of the keyword to be detected (hereinafter simply referred to as a keyword phoneme sequence), and whether or not the keyword is uttered in the detection section. Determine whether. For example, the keyword detection unit 23 calculates the degree of coincidence between the maximum likelihood phoneme sequence and the keyword phoneme sequence, and determines that the keyword is uttered in the detection section if the degree of coincidence is equal to or greater than the coincidence determination threshold. As the degree of coincidence, for example, the keyword detection unit 23 calculates the ratio of the number of phonemes that match between the keyword phoneme sequence and the maximum likelihood phoneme sequence to the total number of phonemes included in the keyword phoneme sequence.
  • the keyword detection unit 23 may calculate the Levenshtein distance LD (also referred to as an edit distance) by performing dynamic programming matching between the keyword phoneme sequence and the maximum likelihood phoneme sequence. Then, the keyword detection unit 23 may calculate 1 / (1 + LD) as the degree of coincidence.
  • Levenshtein distance LD also referred to as an edit distance
  • the keyword detection unit 23 determines that the keyword is spoken in the detection section, the keyword detection unit 23 notifies the response unit 24 that the keyword has been detected.
  • the keyword detection unit 23 determines that the keyword to be detected is not uttered in the detection section. Then, the keyword detection unit 23 delays the start timing of the detection section by a predetermined number of frames (for example, 1 to 2 frames) in the utterance section, resets the detection section, and performs the above-described detection for the reset detection section. Processing may be executed to determine whether or not a keyword has been uttered. Note that when the length from the start timing of the detection section to the end of the utterance section is shorter than the length of the detection section, the keyword detection unit 23 may not detect the keyword.
  • a predetermined number of frames for example, 1 to 2 frames
  • the keyword detection unit 23 when the audio signal is continuously silenced for the second time length, that is, the number of frames corresponding to the silent period in which the user's voice is not included corresponds to the second time length. If it continues, it determines with the speech area having been complete
  • the second time length is set to, for example, 500 milliseconds to 1 second so as not to erroneously detect “interval” during the user's utterance as the end of the user's utterance.
  • the keyword detection unit 23 may determine that a frame in which the SN ratio is less than the sound determination threshold Thsnr is included in the silent section. Then, the keyword detection unit 23 notifies the response unit 24 and the voice recognition unit 25 that the utterance period has ended.
  • the response unit 24 When the response unit 24 is notified that the keyword has been detected, the response unit 24 sets a silence detection section. Then, when the audio signal continues to be silent for the first time length in the silence detection section, that is, when the frames corresponding to the silence section continue for the number corresponding to the first time length, The playback audio signal is output. Note that “contrast” is an example of response voice.
  • the length of the silence detection section is set in advance in accordance with, for example, an estimated time from when the user utters a keyword to be detected until the utterance ends.
  • the silence detection section is set to 1 second to several seconds.
  • the length of the silence detection section may be set for each keyword to be detected.
  • a table representing a correspondence relationship between the keyword and the length of the silence detection section is stored in advance in the storage unit 15, and the response unit 24 refers to the table and corresponds to the keyword to be detected. What is necessary is just to set the length of the silence detection area to perform. Thereby, the response part 24 can set appropriately the length of a silence detection area according to the length from the utterance of a keyword to the completion
  • the response unit 24 detects a frame included in the silence section according to the SN ratio for each frame in the silence detection section. For example, if the SN ratio of the current frame is less than the sound determination threshold Thsnr, the response unit 24 determines that the current frame is included in the silent section.
  • the response unit 24 determines whether or not the silent section continues for the first time length. And the response part 24 determines with the speech area having been complete
  • the response unit 24 reads the reproduced audio signal from the storage unit 15 and outputs the reproduced audio signal to the speaker 14 via the D / A converter 13. Then, the speaker 14 reproduces the sound of the conflict. In addition, the response unit 24 notifies the voice recognition unit 25 that the utterance period has ended.
  • the first time length is set to a period shorter than the second time length.
  • the first time length is set to several tens of milliseconds to 100 milliseconds, for example.
  • the dialogue apparatus 1 can shorten the waiting time from when the user finishes speaking until the dialogue apparatus 1 returns the answer.
  • the silence detection section is set after the keyword is detected, it is assumed that the user's utterance ends in the silence detection section. Therefore, even if the first time length is set to be relatively short as described above, it is possible to suppress erroneously detecting “between” during the user's speech as the end of the speech section.
  • the interaction apparatus 1 returns an answer in the “between” period, and it is suppressed that the answer and the user's utterance overlap or block the user's utterance.
  • the response unit 24 may select any one of the plurality of interactions at random. Alternatively, the response unit 24 may select a match according to a keyword to be detected from a plurality of matches. Then, the response unit 24 may read a reproduction audio signal corresponding to the selected conflict from the storage unit 15 and output it to the speaker 14 via the D / A converter 13.
  • the response section 24 when the keyword is not detected, that is, when the silence detection section is not set, the response section 24 also outputs a compatible reproduced audio signal when the keyword detection section 23 notifies the end of the utterance section. It may be output. Thereby, even when the user does not utter the assumed keyword, the dialog device 1 returns a conflict when the user ends the utterance, and thus the user can be prevented from feeling uneasy.
  • FIG. 3 is a timing chart showing an example of the relationship between the keyword detection timing in the audio signal, the silence detection interval, and the output timing of the conflict.
  • the horizontal axis represents time.
  • an audio signal 301 input via the microphone 11 is shown.
  • the second chart 302 from the top represents the timing at which keywords are detected.
  • the keyword “America” is detected at time t3.
  • the third chart 303 from the top represents the timing when the silence detection section is set.
  • a silence detection section is set from time t3 when the keyword “USA” is detected to time t6.
  • the fourth chart 304 from the top represents the detected silent section.
  • a silent section is detected between times t1 and t2 corresponding to “between” during utterance and after time t4 when the utterance ends.
  • Times t1 to t2 are not included in the silence detection section, while time t4 is included in the silence detection section.
  • the second chart 305 from the bottom represents the timing at which the conflict is reproduced when the silence period continues for the first time length in the silence detection period after keyword detection.
  • the answer “yes” is reproduced at time t5 when the first time length has elapsed from time t4.
  • the bottom chart 306 represents the timing at which the companion is played when no keyword is detected in the utterance section.
  • the companion in order to prevent erroneous detection of the “between” between the times t1 and t2 as the end of the utterance interval, at a time t7 after the time t5, which is a second time length from the time t4, The companion will be regenerated.
  • the waiting time from the end of the user's utterance when the keyword is detected to when the answer is returned may be shorter than the waiting time when the keyword is not detected.
  • the response unit 24 resets the silence detection section.
  • the speech recognition unit 25 executes speech recognition processing on the entire speech section and recognizes the user's speech content in the speech section.
  • the speech recognition unit 25 obtains the maximum likelihood phoneme sequence over the entire utterance interval. Therefore, every time a frame is input after the start of the utterance period, the speech recognition unit 25 generates a feature vector including a plurality of feature amounts representing features of a human voice from the frame, like the keyword detection unit 23. To do. Note that the speech recognition unit 25 may use the feature vector of the frame for which the keyword detection unit 23 has calculated the feature vector.
  • the voice recognition unit 25 obtains the maximum likelihood phoneme sequence for the entire utterance period.
  • the speech recognition unit 25 uses GMM-HMM and uses the output probability obtained for each frame as the output probability for the corresponding state of the phoneme HMM.
  • a phoneme sequence having the maximum log likelihood may be obtained as the maximum likelihood phoneme sequence.
  • the speech recognition unit 25 refers to a word dictionary representing a phoneme sequence for each word, detects a combination of words having a phoneme sequence that matches the maximum likelihood phoneme sequence of the utterance interval according to the language model, and thereby, Recognize utterance content.
  • the speech recognition unit 25 may recognize the utterance content of the user in the utterance section by using another technique for recognizing the utterance content from the maximum likelihood phoneme sequence.
  • the processing unit 16 executes processing according to the recognized user utterance content and the application executed by the processing unit 16. For example, the processing unit 16 may generate a response word / phrase corresponding to the utterance content and generate a synthesized speech signal corresponding to the response word / phrase. Then, the processing unit 16 may output the generated synthesized voice signal to the speaker 14 via the D / A converter 13. At that time, the processing unit 16 may generate a response phrase using, for example, a neural network that is generated in advance so as to generate a response phrase by inputting a character string representing the utterance content.
  • the processing unit 16 may execute search processing on a network connected to the dialogue apparatus 1 using a combination of words corresponding to the utterance content as a query.
  • the processing unit 16 compares the character string representing the utterance content with the operation command of the device on which the interactive device 1 is mounted, and if the character string representing the utterance content matches any operation command, You may perform the process according to the operation command.
  • FIG. 4 is an operation flowchart of dialogue processing according to the present embodiment.
  • the keyword setting unit 21 selects a question issued to the user, and outputs a playback audio signal of the selected question to the speaker 14 via the D / A converter 13 (step S101). Moreover, the keyword setting part 21 sets the keyword according to the selected question (step S102).
  • the utterance section start detection unit 22 determines whether or not the utterance section is started in the audio signal input via the microphone 11 and the A / D converter 12 (step S103). If the utterance section is not started (step S103-No), the utterance section start detection unit 22 repeats the process of step S103. On the other hand, when the start of the utterance section is detected (Yes in step S103), the utterance section start detection unit 22 notifies the keyword detection unit 23 and the voice recognition unit 25 that the utterance section has started. Then, the keyword detection unit 23 starts keyword detection, and the voice recognition unit 25 starts voice recognition (step S104).
  • the keyword detection unit 23 determines whether or not a keyword is detected in the detection section set as the utterance section (step S105). When a keyword is detected (step S105—Yes), the keyword detection unit 23 notifies the response unit 24 that the keyword has been detected. And the response part 24 sets a silence detection area (step S106).
  • the response unit 24 determines whether or not the audio signal has been silent for the first time length within the silence detection section (step S107). If the silent section that has continued for the first time length is not detected in the silent detection section (step S107-No), the response unit 24 determines whether the silent detection section has elapsed (step S108). If the silence detection period has not elapsed (step S108-No), the response unit 24 repeats the process of step S107 for the next frame and thereafter. On the other hand, if the silence detection section has elapsed (step S108—Yes), the response unit 24 resets the silence detection section (step S109). And the process part 16 repeats the process after step S105.
  • step S107 when a silent section that has continued for the first time length is detected in the silent detection section (step S107-Yes), the response unit 24 sends the reproduced audio signal to the D / A converter 13. To the speaker 14 (step S110). Furthermore, the response unit 24 notifies the voice recognition unit 25 that the utterance period has ended.
  • the voice recognition unit 25 executes voice recognition processing over the entire utterance section to recognize the content of the user's utterance in the utterance section (step S111). And the process part 16 performs the process according to the recognized utterance content (step S112).
  • step S105-No the keyword detection unit 23 determines whether or not the silent period continues for the second time length (step S113). If the silent section that has continued for the second time length is not detected (step S113—No), the keyword detection unit 23 delays the keyword detection section by a predetermined number of frames, and repeats the processing from step S105 onward.
  • step S113 if it is detected that the silent period has continued for the second time length (step S113—Yes), the keyword detecting unit 23 notifies the response unit 24 and the voice recognition unit 25 that the utterance period has ended. . Then, the processing unit 16 executes the processes of steps S110 to S112. The processing unit 16 ends the interactive process after step S112.
  • the dialogue device when the dialogue device detects a keyword corresponding to a question from the input voice signal, it sets a silence detection section.
  • the dialogue apparatus detects that the silence period has continued for a relatively short first time period in the silence detection period, it outputs a reproduced audio signal. For this reason, this dialog device can shorten the waiting time from the end of the user's utterance until the output of the reproduced sound of the companion, and can respond to the user at an appropriate timing.
  • the speech segment start detection unit 22, the keyword detection unit 23, and the response unit 24 may detect whether or not the frame is included in the speech segment based on the power of each frame. In this case, the speech segment start detection unit 22, the keyword detection unit 23, and the response unit 24 may determine that the current frame is included in the speech segment if the power of the current frame is equal to or greater than a predetermined power threshold Thp. Good. Then, the speech section start detection unit 22, the keyword detection unit 23, and the response unit 24 may determine that the current frame is included in the silent section if the power is less than the predetermined power threshold value Thp.
  • the utterance section start detection unit 22, the keyword detection unit 23, and the response unit 24, based on the pitch gain that represents the strength of the periodicity of the audio signal for each frame, Whether it is included or not may be detected.
  • the speech section start detection unit 22 calculates the long-term autocorrelation C (d) of the speech signal for each frame with respect to the delay amount d ⁇ ⁇ d low ,..., D high ⁇ .
  • S k (n) is the n-th signal value of the current frame k.
  • N represents the total number of sampling points included in the frame.
  • S k ⁇ 1 (N ⁇ (nd)) is used as S k (nd).
  • the utterance section start detection unit 22 calculates the long-term autocorrelation C (d) for each delay amount d included in the delay amount range, and obtains the maximum value C ( dmax ) of the long-term autocorrelation C (d). .
  • d max is a delay amount corresponding to the maximum value C (d max ) of the long-term autocorrelation C (d), and this delay amount corresponds to the pitch period.
  • the speech segment start detection unit 22 calculates a pitch gain g pitch according to the following equation.
  • the speech segment start detection unit 22 determines that the current frame is included in the speech segment if the pitch gain g pitch of the current frame is equal to or greater than a predetermined threshold.
  • the keyword detection unit 23 and the response unit 24 may calculate the pitch gain g pitch for each frame and determine that a frame in which the pitch gain g pitch is less than a predetermined threshold is included in the silent section.
  • the response unit 24 ends the utterance period without detecting the keyword when the silence period continues for the first time length in the silence detection period after the keyword detection. It may be different from the consensus at the time. If a keyword is detected, the user is likely to speak a clear answer to the question. Therefore, the response unit 24 gives positive considerations such as “Yes”, “I see”, and “I understand” when the silence period continues for the first time length in the silence detection period after keyword detection. And so on.
  • the response unit 24 may set the interaction when the utterance section is ended without detecting the keyword as an interaction that prompts an answer, for example, “Please” or “Please ask again”. Thereby, the dialogue apparatus 1 can indicate to the user that the process for the user's utterance is being executed regardless of the answer status of the user.
  • questions and keywords may be set in advance according to the use environment of the interactive device 1.
  • the keyword setting unit 21 may be omitted. Then, for example, when a predetermined operation is performed on the user interface of the dialogue apparatus 1, the processing unit 16 reads a reproduction audio signal of the question from the storage unit 15, and the speaker 14 through the D / A converter 13. To the output.
  • the response unit 24 may not output a reproducible audio signal to the speaker 14 even if the end of the utterance section is detected unless a keyword is detected in the utterance section. Good.
  • the result of the process performed on the utterance content of the utterance section recognized by the voice recognition unit 25 may be notified to the user via the speaker 14 or the user interface.
  • a computer program that causes a computer to realize each function of the processing unit of the interactive device according to the above-described embodiment or modification may be provided in a form recorded on a computer-readable medium such as a magnetic recording medium or an optical recording medium. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

対話装置は、ユーザの声が表された音声信号におけるユーザが発話している発話区間からユーザが発話したキーワードを検出するキーワード検出部と、キーワードが検出されると所定区間を設定し、その所定区間において音声信号が第１の時間長にわたって継続して無音となると第１の応答音声を音声出力部を介して出力させる応答部とを有する。また、応答部は、発話区間の開始後においてキーワードが検出されていないときに音声信号が第１の時間長よりも長い第２の時間長にわたって継続して無音となると第２の応答音声を音声出力部を介して出力させる。

Description

対話装置、対話方法及び対話用コンピュータプログラム
　本発明は、例えば、ユーザと音声により対話する対話装置、対話方法及び対話用コンピュータプログラムに関する。
　ユーザが発した音声を対話装置により認識し、その対話装置が認識した結果に応じて音声で応答する技術が研究されている。このような技術では、ユーザが発した音声に対して対話装置が何らかの処理していることをユーザに知らせて、ユーザが不安を感じないようにするために、対話装置が適度に応答することがもとめられる。そこで、ユーザが発した音声に応じて相槌を返す技術が研究されている（例えば、特許文献１及び２を参照）。
　例えば、特許文献１に記載された技術では、会話をスタートさせるための質問がスピーカにより出力される。出力された質問に対する音声が入力されると、その音声が認識されて、その音声に該当する登録語が決定される。そして相槌群の中から登録語に応じた相槌が決定され、決定された相槌の合成音声が出力される。
　また、特許文献２に開示された技術では、ユーザから発話された音声が認識されるとともに、意味処理タイミング及び応答タイミングが判定される。そして音声認識の結果に基づいて、意味処理タイミングでかつ応答タイミングであると判定されたときに、意味処理を行った内容が反映された音声での応答が行われる。またこの技術では、発話中の無音区間が応答タイミングであるか否か判定され、その無音区間が応答タイミングでないと判定された場合、相槌の音声が出力される。
特開２００２－１６９５９１号公報 特開２００５－１９６１３４号公報
　対話装置が適切なタイミングで相槌を返すことで、ユーザは、対話装置がユーザの発話に対する処理を実行していることを知ることができるので、ユーザは、不安を感じずに対話装置との対話を行うことができる。しかし、対話装置が相槌を返すタイミングが不適切だと、不自然な対話になってしまうことがある。例えば、特許文献２に記載されているように、無音区間において対話装置が相槌を返す場合において、無音区間がユーザの発話における「間」であると、その「間」の次のユーザの発話と相槌とが重なってしまうことがある。一方、無音区間が開始されてから、ある程度以上経過しても、対話装置が相槌を返さなければ、ユーザは、自身の音声が対話装置により処理されていないと感じて発話を繰り返すことがある。
　一つの側面では、本発明は、適切なタイミングでユーザに応答することが可能な対話装置を提供することを目的とする。
　一つの実施形態によれば、対話装置が提供される。この対話装置は、ユーザの声が表された音声信号におけるユーザが発話している発話区間からユーザが発話したキーワードを検出するキーワード検出部と、キーワードが検出されると所定区間を設定し、その所定区間において音声信号が第１の時間長にわたって継続して無音となると第１の応答音声を音声出力部を介して出力させる応答部と、を有する。
　一つの側面では、本明細書に開示された対話装置は、適切なタイミングでユーザに応答することができる。
図１は、一つの実施形態による対話装置の概略構成図である。 図２は、対話処理に関する処理部の機能ブロック図である。 図３は、音声信号中のキーワードの検出タイミングと、無音検知区間と、相槌の出力タイミングとの関係の一例を表すタイミングチャートである。 図４は、対話処理の動作フローチャートである。
　以下、図を参照しつつ、対話装置について説明する。
　この対話装置は、ユーザが発した音声を表す音声信号中の発話区間において、ユーザが設定されたキーワードを発したことを認識すると、キーワードが認識されたときから所定区間を設定する。そしてこの対話装置は、その所定区間内において音声信号が第１の時間長にわたって継続して無音となると、相槌の再生音声を出力する。その際、この対話装置は、第１の時間長を、相対的に短く設定することで、適切なタイミングで相槌の再生音声を出力することを可能とする。
　なお、この対話装置は、音声認識を利用するマンマシンインターフェースを採用する様々な装置、例えば、ナビゲーションシステム、携帯電話機、コンピュータまたはロボットなどに実装できる。
　図１は、一つの実施形態による対話装置の概略構成図である。対話装置１は、マイクロホン１１と、アナログ／デジタルコンバータ１２と、デジタル／アナログコンバータ１３と、スピーカ１４と、記憶部１５と、処理部１６とを有する。なお、対話装置１は、さらに、ユーザを検知するための人感センサ（図示せず）、タッチパネルといったユーザインターフェース（図示せず）及び他の機器と通信するための通信インターフェース（図示せず）などを有していてもよい。
　マイクロホン１１は、音声入力部の一例であり、ユーザの声を含む、対話装置１の周囲の音を集音し、その音の強度に応じたアナログ音声信号を生成する。そしてマイクロホン１１は、そのアナログ音声信号をアナログ／デジタルコンバータ１２（以下、Ａ／Ｄコンバータと表記する）へ出力する。Ａ／Ｄコンバータ１２は、アナログの音声信号を所定のサンプリングレートでサンプリングすることにより、その音声信号をデジタル化する。なお、サンプリングレートは、例えば、音声信号からユーザの声を解析するために必要な周波数帯域がナイキスト周波数以下となるよう、例えば、16kHz～32kHzに設定される。そしてＡ／Ｄコンバータ１２は、デジタル化された音声信号を処理部１６へ出力する。なお、以下では、デジタル化された音声信号を、単に音声信号と呼ぶ。
　デジタル／アナログコンバータ１３（以下、Ｄ／Ａコンバータと表記する）は、処理部１６から受信した、デジタルの再生音声信号をアナログの再生音声信号に変換する。そしてＤ／Ａコンバータ１３は、アナログ化された再生音声信号をスピーカ１４へ出力する。スピーカ１４は、音声出力部の一例であり、アナログ化された再生音声信号を音声として出力する。
　記憶部１５は、例えば、読み書き可能な不揮発性の半導体メモリと、読み書き可能な揮発性の半導体メモリとを有する。さらに、記憶部１５は、磁気記録媒体あるいは光記録媒体及びそのアクセス装置を有していてもよい。そして記憶部１５は、処理部１６上で実行される対話処理で利用される各種のデータ及び対話処理の途中で生成される各種のデータを記憶する。例えば、記憶部１５は、認識対象となるキーワード及びキーワードの音素系列、単語辞書、及び、質問とキーワードの対応関係を表すテーブルなどを記憶する。さらに、記憶部１５は、質問、相槌または他の応答音声を表す再生音声信号を記憶する。さらに、記憶部１５は、音声認識の結果に対して行われる処理に関するプログラム及びそのプログラムで利用される各種のデータを記憶してもよい。
　処理部１６は、例えば、一つまたは複数のプロセッサと、その周辺回路とを有する。そして処理部１６は、対話処理を実行することで、ユーザからの発話に対して相槌の合成音声を出力するタイミングを決定する。さらに、処理部１６は、音声信号に基づく音声認識の結果に応じた処理を実行する。
　以下、処理部１６の詳細について説明する。
　図２は、対話処理に関する処理部１６の機能ブロック図である。処理部１６は、キーワード設定部２１と、発話区間開始検出部２２と、キーワード検出部２３と、応答部２４と、音声認識部２５とを有する。処理部１６が有するこれらの各部は、例えば、処理部１６が有するプロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、処理部１６が有するこれらの各部は、その各部の機能を実現する一つまたは複数の集積回路であってもよい。
　処理部１６は、例えば、人感センサが対話装置１から所定範囲内にユーザがいることを検知すると、対話処理を開始する。あるいは、処理部１６は、ユーザインターフェースに対して所定の操作が行われると、対話処理を開始する。そして処理部１６は、対話処理が開始されると、上記の各部の処理を実行する。
　キーワード設定部２１は、対話処理が開始されると、ユーザに対して発する質問を選択し、選択した質問の内容に応じたキーワードを設定する。例えば、キーワード設定部２１は、ユーザインターフェースに対して実行された操作に応じて、予め用意された複数の質問の中から質問を選択する。あるいは、キーワード設定部２１は、対話装置１で実行中のアプリケーションに応じて質問を選択してもよい。この場合、例えば、操作の内容、あるいは、アプリケーションの種別と質問との対応関係を表すテーブルが記憶部１５に予め記憶される。そして、キーワード設定部２１は、そのテーブルを参照して、実行された操作の内容または実行中のアプリケーションの種別に対応する質問を選択すればよい。
　キーワード設定部２１は、選択した質問に対応する再生音声信号を記憶部１５から読出し、その再生音声信号をＤ／Ａコンバータ１３を介してスピーカ１４へ出力する。そしてスピーカ１４により、選択した質問の音声がユーザに対して発せられる。
　またキーワード設定部２１は、選択した質問に対応するキーワードを設定する。キーワードは、例えば、選択した質問に対して想定される回答に含まれる語句とすることができる。例えば、質問が「何処へ行きますか？」であれば、キーワードは、回答として想定される地名、例えば、「アメリカ」、「京都」などに設定される。また、質問が「何をなさいますか？」であれば、キーワードは、回答として想定される、対話装置１が実装された装置が実行可能な機能の名称に含まれる語句に設定される。例えば、その装置が実行可能な機能が何らかのチケットの予約であれば、キーワードは、「チケット」あるいは「予約」に設定される。
　キーワードを設定するために、例えば、質問とキーワードとの対応関係を表すテーブルが予め記憶部１５に記憶される。そしてキーワード設定部２１は、そのテーブルを参照して、選択した質問に対応するキーワードを設定すればよい。なお、設定されるキーワードは一つであってもよく、あるいは、複数であってもよい。
　キーワード設定部２１は、設定したキーワードをキーワード検出部２３へ通知する。またキーワード設定部２１は、発話区間開始検出部２２へ、質問が出力されたことを通知する。
　対話処理が開始された後、処理部１６は、入力された音声信号を、所定長を持つフレーム単位に分割する。フレーム長は、例えば、10msec～20msecに設定される。そして各フレームは、時間順に発話区間開始検出部２２、キーワード検出部２３及び音声認識部２５に入力される。
　発話区間開始検出部２２は、質問が出力された後、マイクロホン１１及びＡ／Ｄコンバータ１２を介して処理部１６に入力された音声信号から、ユーザが発話している区間である発話区間の開始を検出する。発話区間では音声信号にユーザの声が含まれるため、発話区間における音声信号の信号対雑音比は、発話区間以外における音声信号の信号対雑音比よりも高くなると想定される。そこで、発話区間開始検出部２２は、音声信号の信号対雑音比（以下では、単にSN比と表記する）をフレームごとに算出し、そのSN比に基づいて、発話区間の開始を検出する。
　発話区間開始検出部２２は、フレームが入力される度に、そのフレームについての音声信号のパワーを算出する。発話区間開始検出部２２は、例えば、フレームごとに、次式に従ってパワーを算出する。
Figure JPOXMLDOC01-appb-M000001
 ここで、Sk(n)は、最新のフレーム（以下、現フレームとも呼ぶ）のn番目のサンプリング点の信号値を表す。kはフレーム番号である。またNは、一つのフレームに含まれるサンプリング点の総数を表す。そしてSpow(k)は、現フレームのパワーを表す。
　なお、発話区間開始検出部２２は、各フレームについて、複数の周波数のそれぞれごとにパワーを算出してもよい。この場合、キーワード検出部２３は、フレームごとに、音声信号を、時間周波数変換を用いて時間領域から周波数領域のスペクトル信号に変換する。なお、発話区間開始検出部２２は、時間周波数変換として、例えば、高速フーリエ変換(Fast Fourier Transform,FFT)を用いることができる。そして発話区間開始検出部２２は、周波数帯域ごとに、その周波数帯域に含まれるスペクトル信号の２乗和を、その周波数帯域のパワーとして算出できる。
　また、発話区間開始検出部２２は、フレームごとに、そのフレームにおける音声信号中の推定雑音成分を算出する。本実施形態では、発話区間開始検出部２２は、直前のフレームにおいて推定雑音成分を、現フレームのパワーを用いて次式に従って更新することで、現フレームの推定雑音成分を算出する。
Figure JPOXMLDOC01-appb-M000002
 ここで、Noise(k-1)は、直前のフレームにおける推定雑音成分を表し、Noise(k)は、現フレームにおける推定雑音成分を表す。またβは、忘却係数であり、例えば、0.9に設定される。
　なお、パワーが周波数帯域ごとに算出されている場合には、キーワード検出部は、（２）式に従って、推定される雑音成分を周波数帯域ごとに算出してもよい。この場合には、（２）式において、Noise(k-1)、Noise(k)及びSpow(k)は、それぞれ、着目する周波数帯域についての直前のフレームの推定雑音成分、現フレームの推定雑音成分、パワーとなる。
　なお、発話区間開始検出部２２は、現フレームのパワーが所定の閾値以下である場合に限り、（２）式に従って推定雑音成分を更新すればよい。そして現フレームのパワーが所定の閾値より大きい場合には、発話区間開始検出部２２は、Noise(k)=Noise(k-1)とすればよい。なお、所定の閾値は、例えば、Noise(k-1)に所定のオフセット値を加算した値とすることができる。
　発話区間開始検出部２２は、フレームごとに、SN比を算出する。例えば、発話区間開始検出部２２は、次式に従ってSN比を算出する。
Figure JPOXMLDOC01-appb-M000003
 ここで、SNR(k)は、現フレームのSN比を表す。なお、パワー及び推定雑音成分が周波数帯域ごとに算出されている場合には、発話区間開始検出部２２は、（３）式に従って、SN比を周波数帯域ごとに算出してもよい。この場合には、（３）式において、Noise(k)、Spow(k)及びSNR(k)は、それぞれ、着目する周波数帯域についての現フレームの推定雑音成分、パワー、SN比となる。
　本実施形態では、発話区間開始検出部２２は、フレームごとに、そのフレームのSN比を有音判定閾値Thsnrと比較する。なお、有音判定閾値Thsnrは、例えば、音声信号中に推定雑音成分以外の信号成分が含まれることに相当する値、例えば、2～3に設定される。そして発話区間開始検出部２２は、SN比が有音判定閾値Thsnr以上であれば、そのフレームは発話区間に含まれると判定する。
　さらに、周波数帯域ごとにSN比が算出されている場合には、発話区間開始検出部２２は、SN比が有音判定閾値Thsnr以上となる周波数帯域の数が所定数以上となる場合に、そのフレームは発話区間に含まれると判定してもよい。なお、所定数は、例えば、SN比が算出される周波数帯域の総数の1/2とすることができる。
　発話区間開始検出部２２は、直前のフレームが発話区間に含まれず（すなわち、直前のフレームにおけるSN比が有音判定閾値Thsnr未満であり）、かつ、現フレームが発話区間に含まれる場合、現フレームから発話区間が開始されたと判定する。あるいは、発話区間開始検出部２２は、発話区間に含まれるフレームが所定数（例えば、2～5フレーム）連続した時点で、その連続するフレームの先頭から発話区間が開始されたと判定してもよい。
　発話区間開始検出部２２は、発話区間の開始を検出すると、発話区間が開始されたことをキーワード検出部２３及び音声認識部２５へ通知する。
　キーワード検出部２３は、発話区間が開始されると、その発話区間内においてキーワード設定部２１により設定されたキーワードを検出する。キーワード検出部２３は、発話区間に対して、様々なワードスポッティング技術の何れかを適用することで、対象となるキーワードを検出する。例えば、キーワード検出部２３は、発話区間内のフレームごとに、ユーザの声の特徴を表す複数の特徴量を算出する。そしてキーワード検出部２３は、フレームごとに、各特徴量を要素とする特徴ベクトルを生成する。
　例えば、キーワード検出部２３は、ユーザの声の特徴を表す特徴量として、メル周波数ケプストラム係数(Mel Frequency Cepstral Coefficient、MFCC)と、それらのΔケプストラム及びΔΔケプストラムを求める。
　キーワード検出部２３は、発話区間内に、検出対象となるキーワードに相当する長さを持つ検出区間を設定する。そしてキーワード検出部２３は、検出区間内の各フレームから抽出された特徴量に基づいて、その検出区間についての最尤音素系列を探索する。なお、最尤音素系列は、最も確からしいと推定される、音声に含まれる各音素をその発声順に並べた音素系列である。
　そのために、キーワード検出部２３は、例えば、音響モデルとして隠れマルコフモデル(Hidden Markov Model, HMM)を利用し、音声の特徴ベクトルに対する各音素の出力確率を混合正規分布(Gaussian Mixture Model, GMM)により算出するGMM-HMMを用いる。
　具体的に、キーワード検出部２３は、検出区間中のフレームごとに、そのフレームの特徴ベクトルをGMMに入力することで、そのフレームについての、各音素に対応するHMMの各状態の出力確率を算出する。また、キーワード検出部２３は、各フレームから算出された特徴ベクトルに対して、特徴ベクトルの要素ごとに平均値を推定してその要素の値から推定した平均値を差し引くCepstral Mean Normalization(CMN)と呼ばれる正規化を実行してもよい。そしてキーワード検出部２３は、正規化された特徴ベクトルをGMMに入力してもよい。
　キーワード検出部２３は、フレームごとに、得られた出力確率を音素HMMの対応する状態についての出力確率として用いることで、着目する検出区間について、累積対数尤度が最大となる音素系列を最尤音素系列として求める。
　例えば、キーワード検出部２３は、遷移元である前のフレームの音素候補のHMMの状態から遷移先である現在のフレームのある音素候補のHMMの状態へ遷移する確率（状態遷移確率）の対数化値を算出する。さらに、キーワード検出部２３は、現在のフレームのある音素候補のHMMの状態における出力確率の対数化値を算出する。そしてキーワード検出部２３は、それらの対数化値を、前のフレームまでの音素候補のHMMの状態における累積対数尤度に加算することで、現在のフレームのある音素候補のHMMの状態における累積対数尤度を算出する。その際、キーワード検出部２３は、遷移元の音素候補のHMMの状態の中から、遷移先である現在のフレームのある音素候補のHMMの状態に遷移した場合に、尤も累積対数尤度が大きい遷移元の音素候補を選択する。キーワード検出部２３は、その選択を現在のフレームにおけるすべての音素候補のHMMの状態について行うViterbi演算を検出区間の最後のフレームまで進める。なお、キーワード検出部２３は、上記の合計が所定値以上となる状態遷移を選択してもよい。そしてキーワード検出部２３は、最後のフレームにおける累積対数尤度が最大となる状態を選び、その状態に到達するまでの状態遷移の履歴(Viterbiパス)をバックトラックすることにより求め、Viterbiパスに基づいてその音声区間における最尤音素系列を求める。
　キーワード検出部２３は、最尤音素系列と、検出対象となるキーワードの発声を表す音素系列（以下、単にキーワード音素系列と呼ぶ）とを比較することで、検出区間においてそのキーワードが発話されたか否かを判定する。例えば、キーワード検出部２３は、最尤音素系列と、キーワード音素系列の一致度を算出し、一致度が一致判定閾値以上であれば、検出区間においてキーワードが発声されたと判定する。なお、一致度として、例えば、キーワード検出部２３は、キーワード音素系列に含まれる音素の総数に対する、キーワード音素系列と最尤音素系列との間で一致した音素の数の比を算出する。あるいは、キーワード検出部２３は、キーワード音素系列と最尤音素系列との間で動的計画法マッチングを行って、レーベンシュタイン距離LD（編集距離とも呼ばれる）を算出してもよい。そしてキーワード検出部２３は、1/(1+LD)を一致度として算出してもよい。
　キーワード検出部２３は、検出区間においてキーワードが発話されていると判定すると、キーワードが検出されたことを応答部２４へ通知する。
　一方、キーワード検出部２３は、一致度が一致判定閾値未満であれば、検出区間では検出対象となるキーワードは発話されていないと判定する。そしてキーワード検出部２３は、発話区間中で所定数のフレーム（例えば、1～2フレーム）だけ検出区間の開始タイミングを遅らせて、検出区間を再設定し、再設定した検出区間に対して上記の処理を実行して、キーワードが発話されたか否かを判定すればよい。なお、検出区間の開始タイミングから発話区間の終了までの長さが、検出区間の長さよりも短い場合には、キーワード検出部２３は、キーワードを検出しなくてもよい。
　また、キーワード検出部２３は、音声信号が第２の時間長にわたって継続して無音となると、すなわち、ユーザの声が含まれない無音区間に相当するフレームが第２の時間長に対応する数だけ連続すると、発話区間が終了したと判定する。第２の時間長は、ユーザの発話中の「間」をユーザの発話の終了と誤検出しないように、例えば、500ミリ秒間～1秒間に設定される。なお、キーワード検出部２３は、例えば、SN比が有音判定閾値Thsnr未満となるフレームが無音区間に含まれると判定すればよい。そしてキーワード検出部２３は、発話区間が終了したことを応答部２４及び音声認識部２５へ通知する。
　応答部２４は、キーワードが検出されたことが通知されると、無音検知区間を設定する。そして応答部２４は、無音検知区間内において音声信号が第１の時間長にわたって継続して無音となると、すなわち、無音区間に相当するフレームが第１の時間長に対応する数だけ連続すると、相槌の再生音声信号を出力する。なお、相槌は、応答音声の一例である。
　無音検知区間の長さは、例えば、ユーザが検出対象となるキーワードを発話してから発話を終了するまでの想定時間に応じて予め設定される。例えば、無音検知区間は、1秒間～数秒間に設定される。なお、無音検知区間の長さは、検出対象となるキーワードごとに設定されてもよい。この場合には、例えば、記憶部１５に、キーワードと無音検知区間の長さとの対応関係を表すテーブルが予め記憶され、応答部２４は、そのテーブルを参照して、検出対象となるキーワードに対応する無音検知区間の長さを設定すればよい。これにより、応答部２４は、キーワードに応じて、キーワードの発話から発話区間の終了までの長さに合わせて無音検知区間の長さを適切に設定できる。
　応答部２４は、無音検知区間が開始されると、無音検知区間内のフレームごとのSN比に応じて、無音区間に含まれるフレームを検出する。例えば、応答部２４は、現フレームのSN比が有音判定閾値Thsnr未満であれば、現フレームは無音区間に含まれると判定する。
　応答部２４は、無音区間が第１の時間長にわたって継続するか否か判定する。そして応答部２４は、無音区間が第１の時間長にわたって継続した場合、発話区間が終了したと判定する。そして応答部２４は、相槌の再生音声信号を記憶部１５から読み込み、その再生音声信号をＤ／Ａコンバータ１３を介してスピーカ１４へ出力する。そしてスピーカ１４により、相槌の音声が再生される。また、応答部２４は、発話区間が終了したことを音声認識部２５へ通知する。
　ここで、第１の時間長は、第２の時間長よりも短い期間に設定される。例えば、第１の時間長は、例えば、数10ミリ秒間～100ミリ秒間に設定される。これにより、対話装置１は、ユーザが発話を終えてから対話装置１が相槌を返すまでの待機時間を短くできる。またこの実施形態によれば、キーワードが検出されてから無音検知区間が設定されているので、その無音検知区間においてユーザの発話が終了することが想定されている。そのため、このように第１の時間長が比較的短く設定されても、ユーザの発話中の「間」を発話区間の終了と誤検出することが抑制される。さらに、その「間」において対話装置１が相槌を返してしまい、相槌とユーザの発話とが重なったり、あるいは、ユーザの発話を遮ることが抑制される。
　なお、相槌は予め複数用意されていてもよい。そして応答部２４は、複数の相槌の中からランダムに何れかの相槌を選択してもよい。あるいは、応答部２４は、複数の相槌の中から、検出対象となるキーワードに応じて相槌を選択してもよい。そして、応答部２４は、選択した相槌に対応する再生音声信号を記憶部１５から読み出して、Ｄ／Ａコンバータ１３を介してスピーカ１４へ出力してもよい。
　さらに、応答部２４は、キーワードが検出されていないとき、すなわち、無音検知区間が設定されていないときに、キーワード検出部２３から発話区間の終了を通知された場合も、相槌の再生音声信号を出力してもよい。これにより、ユーザが想定されるキーワードを発話しなかった場合でも、対話装置１は、ユーザが発話を終了したときに相槌を返すので、ユーザが不安に感じることを抑制できる。
　図３は、音声信号中のキーワードの検出タイミングと、無音検知区間と、相槌の出力タイミングとの関係の一例を表すタイミングチャートである。図３において、横軸は時間を表す。一番上には、マイクロホン１１を介して入力される音声信号３０１が示される。この例では、時刻t0～t4の間にユーザが「え～っと・・・アメリカに行きます」と発話したものとする。上から２番目のチャート３０２は、キーワードが検出されるタイミングを表す。この例では、時刻t3において、キーワード「アメリカ」が検出される。
　上から３番目のチャート３０３は、無音検知区間が設定されるタイミングを表す。この例では、キーワード「アメリカ」が検出された時刻t3から時刻t6まで、無音検知区間が設定される。
　上から４番目のチャート３０４は、検出される無音区間を表す。この例では、発話中の「間」に相当する時刻t1～t2の間、及び、発話が終了した時刻t4以降において無音区間が検出される。時刻t1～t2は、無音検知区間には含まれず、一方、時刻t4は、無音検知区間に含まれている。そして一番下から２番目のチャート３０５は、キーワード検出後の無音検知区間において第１の時間長にわたって無音区間が継続した場合における、相槌が再生されるタイミングを表す。この例では、時刻t4から第１の時間長だけ経過した時刻t5において、相槌「はい」が再生される。
　一番下のチャート３０６は、発話区間中においてキーワードが検出されなかった場合における、相槌が再生されるタイミングを表す。この場合には、時刻t1～t2の「間」を発話区間の終了と誤検出することを防止するため、時刻t4から第２の時間長だけ経過した、時刻t5よりも後の時刻t7において、相槌が再生されることになる。
　このように、キーワードが検出されている場合におけるユーザの発話が終了してから相槌が返されるまでの待機時間は、キーワードが検出されていない場合の待機時間よりも短くて済む。
　なお、無音検知区間内に、一定時間継続した無音区間が検知されなければ、応答部２４は、無音検知区間をリセットする。
　音声認識部２５は、発話区間が終了すると、発話区間全体に対して音声認識処理を実行して、その発話区間におけるユーザの発話内容を認識する。
　音声認識部２５は、発話区間全体にわたって最尤音素系列をもとめる。そのために、音声認識部２５は、発話区間開始後においてフレームが入力される度に、キーワード検出部２３と同様に、そのフレームから人の声の特徴を表す複数の特徴量を含む特徴ベクトルを生成する。なお、音声認識部２５は、キーワード検出部２３が特徴ベクトルを算出しているフレームについては、その特徴ベクトルを利用してもよい。
　そして音声認識部２５は、キーワード検出部２３または応答部２４から発話区間が終了したことを通知されると、その発話区間全体に対して最尤音素系列を求める。その際、音声認識部２５は、キーワード検出部２３と同様に、GMM-HMMを利用して、フレームごとに得られた出力確率を音素HMMの対応する状態についての出力確率として用いることで、累積対数尤度が最大となる音素系列を最尤音素系列として求めればよい。
　音声認識部２５は、単語ごとの音素系列を表す単語辞書を参照して、発話区間の最尤音素系列と一致する音素系列を持つ単語の組み合わせを言語モデルに従って検出することで、発話区間内の発話内容を認識する。あるいは、音声認識部２５は、最尤音素系列から発話内容を認識するための他の技術を利用して、発話区間におけるユーザの発話内容を認識してもよい。
　処理部１６は、認識したユーザの発話内容と、処理部１６にて実行されるアプリケーションとに応じた処理を実行する。例えば、処理部１６は、発話内容に応じた応答語句を生成し、その応答語句に応じた合成音声信号を生成してもよい。そして処理部１６は、生成した合成音声信号を、Ｄ／Ａコンバータ１３を介してスピーカ１４へ出力してもよい。その際、処理部１６は、例えば、発話内容を表す文字列を入力することで応答語句を生成するように予め生成されたニューラルネットワークなどを利用して、応答語句を生成してもよい。
　あるいは、処理部１６は、発話内容に応じた単語の組み合わせをクエリとして、対話装置１と接続されたネットワーク上で探索処理を実行してもよい。あるいはまた、処理部１６は、発話内容を表す文字列と、対話装置１が実装された装置の操作コマンドとを比較し、発話内容を表す文字列が何れかの操作コマンドと一致する場合に、その操作コマンドに応じた処理を実行してもよい。
　図４は、本実施形態による、対話処理の動作フローチャートである。
　キーワード設定部２１は、ユーザに発する質問を選択し、選択した質問の再生音声信号をＤ／Ａコンバータ１３を介してスピーカ１４へ出力する（ステップＳ１０１）。また、キーワード設定部２１は、選択した質問に応じたキーワードを設定する（ステップＳ１０２）。
　発話区間開始検出部２２は、マイクロホン１１及びＡ／Ｄコンバータ１２を介して入力された音声信号において発話区間が開始されたか否か判定する（ステップＳ１０３）。発話区間が開始されていなければ（ステップＳ１０３－Ｎｏ）、発話区間開始検出部２２は、ステップＳ１０３の処理を繰り返す。一方、発話区間開始検出部２２は、発話区間の開始を検出すると（ステップＳ１０３－Ｙｅｓ）、発話区間が開始されたことをキーワード検出部２３及び音声認識部２５へ通知する。そしてキーワード検出部２３は、キーワード検出を開始するとともに、音声認識部２５は、音声認識を開始する（ステップＳ１０４）。
　キーワード検出部２３は、発話区間に設定した検出区間においてキーワードが検出されたか否か判定する（ステップＳ１０５）。キーワードが検出された場合（ステップＳ１０５－Ｙｅｓ）、キーワード検出部２３は、キーワードが検出されたことを応答部２４へ通知する。そして応答部２４は、無音検知区間を設定する（ステップＳ１０６）。
　応答部２４は、無音検知区間内で音声信号が第１の時間長にわたって継続して無音となったか否か判定する（ステップＳ１０７）。無音検知区間内で第１の時間長にわたって継続した無音区間が検知されていなければ（ステップＳ１０７－Ｎｏ）、応答部２４は、無音検知区間が経過したか否か判定する（ステップＳ１０８）。無音検知区間が経過していなければ（ステップＳ１０８－Ｎｏ）、応答部２４は、次フレーム以降について、ステップＳ１０７の処理を繰り返す。一方、無音検知区間が経過していれば（ステップＳ１０８－Ｙｅｓ）、応答部２４は、無音検知区間をリセットする（ステップＳ１０９）。そして処理部１６は、ステップＳ１０５以降の処理を繰り返す。
　一方、ステップＳ１０７において、無音検知区間内で第１の時間長にわたって継続した無音区間が検知されると（ステップＳ１０７－Ｙｅｓ）、応答部２４は、相槌の再生音声信号をＤ／Ａコンバータ１３を介してスピーカ１４へ出力する（ステップＳ１１０）。さらに、応答部２４は、発話区間が終了したことを音声認識部２５へ通知する。
　音声認識部２５は、発話区間全体にわたって音声認識処理を実行して、発話区間中のユーザの発話内容を認識する（ステップＳ１１１）。そして処理部１６は、認識された発話内容に応じた処理を実行する（ステップＳ１１２）。
　また、ステップＳ１０５において、キーワードが検出されなかった場合（ステップＳ１０５－Ｎｏ）、キーワード検出部２３は、無音区間が第２の時間長にわたって継続したか否か判定する（ステップＳ１１３）。第２の時間長にわたって継続した無音区間が検知されていなければ（ステップＳ１１３－Ｎｏ）、キーワード検出部２３は、キーワードの検出区間を所定フレーム数だけ遅らせて、ステップＳ１０５以降の処理を繰り返す。
　一方、無音区間が第２の時間長にわたって継続したことが検知されれば（ステップＳ１１３－Ｙｅｓ）、キーワード検出部２３は、発話区間が終了したことを応答部２４及び音声認識部２５に通知する。そして処理部１６は、ステップＳ１１０～Ｓ１１２の処理を実行する。処理部１６は、ステップＳ１１２の後、対話処理を終了する。
　以上に説明してきたように、この対話装置は、入力された音声信号から、質問に応じたキーワードを検出すると、無音検知区間を設定する。そしてこの対話装置は、無音検知区間において、比較的短い第１の時間長にわたって、無音区間が継続したことを検知すると、相槌の再生音声信号を出力する。そのため、この対話装置は、ユーザの発話が終了してから相槌の再生音声を出力するまでの待機時間を短くできるので、ユーザに対して適切なタイミングで応答できる。
　なお、変形例によれば、発話区間開始検出部２２、キーワード検出部２３及び応答部２４は、フレームごとのパワーに基づいて、フレームが発話区間に含まれるか否かを検出してもよい。この場合には、発話区間開始検出部２２、キーワード検出部２３及び応答部２４は、現フレームのパワーが所定のパワー閾値Thp以上であれば、現フレームは発話区間に含まれると判定してもよい。そして発話区間開始検出部２２、キーワード検出部２３及び応答部２４は、そのパワーが所定のパワー閾値Thp未満であれば、現フレームは無音区間に含まれると判定してもよい。
　また他の変形例によれば、発話区間開始検出部２２、キーワード検出部２３及び応答部２４は、フレームごとの音声信号の周期性の強さを表すピッチゲインに基づいて、フレームが発話区間に含まれるか否かを検出してもよい。
　この場合、発話区間開始検出部２２は、フレームごとに、音声信号の長期自己相関C(d)を、遅延量d∈{dlow,...,dhigh}について算出する。
Figure JPOXMLDOC01-appb-M000004
 ここで、Sk(n)は、現フレームkのn番目の信号値である。またNは、フレームに含まれるサンプリング点の総数を表す。なお、(n-d)が負となる場合、直前のフレームの対応する信号値（すなわち、Sk-1(N-(n-d))）がSk(n-d)として用いられる。そして遅延量dの範囲{dlow,...,dhigh}は、人の声の基本周波数(100～300Hz)に相当する遅延量が含まれるように設定される。ピッチゲインは、基本周波数において最も高くなるためである。例えば、サンプリングレートが16kHzである場合、dlow=40、dhigh=286に設定される。
　発話区間開始検出部２２は、遅延量の範囲に含まれる遅延量dごとに長期自己相関C(d)を算出すると、長期自己相関C(d)のうちの最大値C(dmax)を求める。なお、dmaxは、長期自己相関C(d)の最大値C(dmax)に対応する遅延量であり、この遅延量はピッチ周期に相当する。そして発話区間開始検出部２２は、次式に従ってピッチゲインgpitchを算出する。
Figure JPOXMLDOC01-appb-M000005
　発話区間開始検出部２２は、現フレームのピッチゲインgpitchが所定の閾値以上であれば、現フレームは発話区間に含まれると判定する。キーワード検出部２３及び応答部２４も、同様に、フレームごとにピッチゲインgpitchを算出し、ピッチゲインgpitchが所定の閾値未満となるフレームが無音区間に含まれると判定すればよい。このように、ピッチゲインを発話区間の検出に利用することで、対話装置１は、雑音が比較的大きい環境でも、発話区間と無音区間とを正確に区別することができる。そのため、対話装置１は、雑音が比較的大きい環境でも、相槌を返すタイミングを適切に決定できる。
　さらに他の変形例によれば、応答部２４は、キーワード検出後の無音検知区間内において無音区間が第１の時間長にわたって継続したときの相槌と、キーワードが検出されずに、発話区間が終了したときの相槌とを異ならせてもよい。キーワードが検出された場合には、ユーザは、質問に対して明りょうな回答を発話している可能性が高い。そこで、応答部２４は、キーワード検出後の無音検知区間内において第１の時間長にわたって継続した無音区間したときの相槌を、肯定的な相槌、例えば、「はい」、「なるほど」、「了解しました」などとする。一方、キーワードが検出されずに発話区間が終了した場合には、ユーザは、質問に対して想定される回答と異なる回答をしたか、あるいは、回答を保留してあいまいな言葉（例えば、「う～ん」、「どうしようかな」）を発していると想定される。そこで、応答部２４は、キーワードが検出されずに発話区間が終了した場合の相槌を、回答を促すような相槌、例えば、「どうぞ」、「もう一度お願いします」などとすればよい。これにより、対話装置１は、ユーザの回答状況によらず、ユーザの発話に対する処理を実行していることをユーザに示すことができる。
　さらに他の変形例によれば、対話装置１の使用環境に応じて予め質問及びキーワードは設定されていてもよい。この場合には、キーワード設定部２１は省略されてもよい。そして処理部１６は、例えば、対話装置１のユーザインターフェースに対して所定の操作が実行されると、その質問の再生音声信号を記憶部１５から読み込んで、Ｄ／Ａコンバータ１３を介してスピーカ１４へ出力すればよい。
　さらに他の変形例によれば、応答部２４は、発話区間中においてキーワードが検出されなければ、発話区間の終了が検知されても、相槌の再生音声信号をスピーカ１４へ出力しないようにしてもよい。この場合には、音声認識部２５により認識された、発話区間の発話内容に対して行われた処理の結果が、スピーカ１４またはユーザインターフェースを介してユーザに通知されてもよい。
　上記の実施形態または変形例による対話装置の処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、磁気記録媒体または光記録媒体といったコンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
　ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
　１　　対話装置
　１１　　マイクロホン
　１２　　アナログ／デジタルコンバータ
　１３　　デジタル／アナログコンバータ
　１４　　スピーカ
　１５　　記憶部
　１６　　処理部
　２１　　キーワード設定部
　２２　　発話区間開始検出部
　２３　　キーワード検出部
　２４　　応答部
　２５　　音声認識部

Claims (7)

  1. 　ユーザの声が表された音声信号における前記ユーザが発話している発話区間から前記ユーザが発話したキーワードを検出するキーワード検出部と、
    　前記キーワードが検出されると所定区間を設定し、前記所定区間において前記音声信号が第１の時間長にわたって継続して無音となると第１の応答音声を音声出力部を介して出力させる応答部と、
    を有する対話装置。
  2. 　前記応答部は、前記発話区間の開始後において前記キーワードが検出されていないときに前記音声信号が前記第１の時間長よりも長い第２の時間長にわたって継続して無音となると第２の応答音声を前記音声出力部を介して出力させる、請求項１に記載の対話装置。
  3. 　前記第２の応答音声は、前記第１の応答音声と異なる音声である、請求項２に記載の対話装置。
  4. 　前記ユーザに対する質問の音声を前記音声出力部を介して出力させるとともに、前記質問の内容に応じて前記キーワードを設定するキーワード設定部をさらに有する、請求項１～３の何れか一項に記載の対話装置。
  5. 　前記応答部は、設定された前記キーワードに応じて前記所定区間の長さを設定する、請求項４に記載の対話装置。
  6. 　プロセッサにより、ユーザの声が表された音声信号における前記ユーザが発話している発話区間から前記ユーザが発話したキーワードを検出し、
    　前記プロセッサにより、前記キーワードが検出されると所定区間を設定し、
    　前記プロセッサにより、前記所定区間において前記音声信号が第１の時間長にわたって継続して無音となると第１の応答音声を音声出力部を介して出力させる、
    ことを含む対話方法。
  7. 　ユーザの声が表された音声信号における前記ユーザが発話している発話区間から前記ユーザが発話したキーワードを検出し、
    　前記キーワードが検出されると所定区間を設定し、
    　前記所定区間において前記音声信号が第１の時間長にわたって継続して無音となると第１の応答音声を音声出力部を介して出力させる、
    ことをコンピュータに実行させるための対話用コンピュータプログラム。
PCT/JP2016/082355 2016-10-31 2016-10-31 対話装置、対話方法及び対話用コンピュータプログラム WO2018078885A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018547103A JP6699748B2 (ja) 2016-10-31 2016-10-31 対話装置、対話方法及び対話用コンピュータプログラム
PCT/JP2016/082355 WO2018078885A1 (ja) 2016-10-31 2016-10-31 対話装置、対話方法及び対話用コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082355 WO2018078885A1 (ja) 2016-10-31 2016-10-31 対話装置、対話方法及び対話用コンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2018078885A1 true WO2018078885A1 (ja) 2018-05-03

Family

ID=62024610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082355 WO2018078885A1 (ja) 2016-10-31 2016-10-31 対話装置、対話方法及び対話用コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6699748B2 (ja)
WO (1) WO2018078885A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556104A (zh) * 2018-06-04 2019-12-10 本田技研工业株式会社 语音识别装置、语音识别方法以及存储程序的存储介质
WO2020054406A1 (ja) * 2018-09-11 2020-03-19 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
CN111199738A (zh) * 2018-11-19 2020-05-26 丰田自动车株式会社 语音识别装置、语音识别方法以及语音识别程序
CN112655043A (zh) * 2018-09-11 2021-04-13 日本电信电话株式会社 关键字检测装置、关键字检测方法以及程序
JP2022033824A (ja) * 2018-09-11 2022-03-02 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
CN114898755A (zh) * 2022-07-14 2022-08-12 科大讯飞股份有限公司 语音处理方法及相关装置、电子设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03248268A (ja) * 1990-02-26 1991-11-06 Nec Corp 音声対話処理方式

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199972B2 (ja) * 1995-02-08 2001-08-20 シャープ株式会社 あいづち応答のある対話装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03248268A (ja) * 1990-02-26 1991-11-06 Nec Corp 音声対話処理方式

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HIROAKI NOGUCHI ET AL.: "An experimental Verification of the Prosodic/Lexical effects on the occurrence of backchannels", DAI 30 KAI REPORTS OF THE MEETING OF SPECIAL INTERNET GROUP ON SPOKEN LANGUAGE UNDERSTANDING AND DIALOGUE PROCESSING, 9 November 2000 (2000-11-09), pages 67 - 72 *
KEIKO WATANUKI ET AL.: "Analysis of conversation based on multimodal interaction database", IPSJ SIG NOTES, vol. 95, no. 16, 4 February 1995 (1995-02-04), pages 17 - 22 *
KENJI SAKAMOTO ET AL.: "Multimodal interaction model controlling responses based on nonverbal information", DAI 14 KAI REPORTS OF THE MEETING OF SPECIAL INTERNET GROUP ON SPOKEN LANGUAGE UNDERSTANDING AND DIALOGUE PROCESSING, 3 June 1996 (1996-06-03), pages 9 - 15 *
MASASHI TAKEUCHI ET AL.: "Inritsu Joho o Mochiita Aizuchi Seisei System to sono Hyoka", DAI 64 KAI (HEISEI 14 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU (2), 12 March 2002 (2002-03-12), pages 2-101 - 2-102 *
RYOTA NISHIMURA ET AL: "Spoken Dialog System Considering The Response Timing and The Evaluation", IPSJ SIG NOTES, vol. 2009-SLP-77, no. 22, 15 August 2009 (2009-08-15), pages 1 - 6 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556104A (zh) * 2018-06-04 2019-12-10 本田技研工业株式会社 语音识别装置、语音识别方法以及存储程序的存储介质
CN110556104B (zh) * 2018-06-04 2023-05-30 本田技研工业株式会社 语音识别装置、语音识别方法以及存储程序的存储介质
JP7248087B2 (ja) 2018-09-11 2023-03-29 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
EP3852100A4 (en) * 2018-09-11 2022-06-15 Nippon Telegraph And Telephone Corporation CONTINUOUS SPEECH ESTIMATION DEVICE, METHOD AND PROGRAM
JP7509255B2 (ja) 2018-09-11 2024-07-02 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
CN112655043A (zh) * 2018-09-11 2021-04-13 日本电信电话株式会社 关键字检测装置、关键字检测方法以及程序
CN112673422A (zh) * 2018-09-11 2021-04-16 日本电信电话株式会社 连续发言估计装置、连续发言估计方法以及程序
JP6992713B2 (ja) 2018-09-11 2022-01-13 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
JP2022033824A (ja) * 2018-09-11 2022-03-02 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
WO2020054406A1 (ja) * 2018-09-11 2020-03-19 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
JP2020042173A (ja) * 2018-09-11 2020-03-19 日本電信電話株式会社 連続発話推定装置、連続発話推定方法、およびプログラム
JP7251953B2 (ja) 2018-11-19 2023-04-04 トヨタ自動車株式会社 音声認識装置、音声認識方法及び音声認識プログラム
CN111199738A (zh) * 2018-11-19 2020-05-26 丰田自动车株式会社 语音识别装置、语音识别方法以及语音识别程序
CN111199738B (zh) * 2018-11-19 2023-12-01 丰田自动车株式会社 语音识别装置、语音识别方法以及语音识别程序
JP2020086010A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 音声認識装置、音声認識方法及び音声認識プログラム
CN114898755B (zh) * 2022-07-14 2023-01-17 科大讯飞股份有限公司 语音处理方法及相关装置、电子设备、存储介质
CN114898755A (zh) * 2022-07-14 2022-08-12 科大讯飞股份有限公司 语音处理方法及相关装置、电子设备、存储介质

Also Published As

Publication number Publication date
JP6699748B2 (ja) 2020-05-27
JPWO2018078885A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US11710478B2 (en) Pre-wakeword speech processing
US11854545B2 (en) Privacy mode based on speaker identifier
US11514901B2 (en) Anchored speech detection and speech recognition
US11170776B1 (en) Speech-processing system
US10923111B1 (en) Speech detection and speech recognition
US11361763B1 (en) Detecting system-directed speech
US11594215B2 (en) Contextual voice user interface
US9484030B1 (en) Audio triggered commands
US10522134B1 (en) Speech based user recognition
EP1936606B1 (en) Multi-stage speech recognition
US11935525B1 (en) Speech processing optimizations based on microphone array
US20070239444A1 (en) Voice signal perturbation for speech recognition
US11302329B1 (en) Acoustic event detection
JP6699748B2 (ja) 対話装置、対話方法及び対話用コンピュータプログラム
US11798559B2 (en) Voice-controlled communication requests and responses
US11715472B2 (en) Speech-processing system
US20240071385A1 (en) Speech-processing system
JP2019101385A (ja) 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
US10854196B1 (en) Functional prerequisites and acknowledgments
US11735178B1 (en) Speech-processing system
JP2009116075A (ja) 音声認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920430

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018547103

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16920430

Country of ref document: EP

Kind code of ref document: A1