JPH02183371A - 自動通訳装置 - Google Patents
自動通訳装置Info
- Publication number
- JPH02183371A JPH02183371A JP1003581A JP358189A JPH02183371A JP H02183371 A JPH02183371 A JP H02183371A JP 1003581 A JP1003581 A JP 1003581A JP 358189 A JP358189 A JP 358189A JP H02183371 A JPH02183371 A JP H02183371A
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- sound
- emotional information
- emotion
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 claims abstract description 25
- 230000002996 emotional effect Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000008921 facial expression Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 abstract description 6
- 210000004709 eyebrow Anatomy 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
［産業上の利用分野］
本発明は話者の音声言語を他の音声言語に通訳する自動
通訳装置に関する。
通訳装置に関する。
［従来の技術］
最近、音声の認識技術１合成技術９機械翻訳技術の発展
を背景として、あるレベルでの自動音声翻訳が可能とな
り、実用化も間近になっている。
を背景として、あるレベルでの自動音声翻訳が可能とな
り、実用化も間近になっている。
この種の自動通訳装置としては、話者の音声を認識する
音声認識部の認識結果に基づいて機械翻訳部により機械
翻訳し、この翻訳結果を音声合成部で音声合成して出力
するようにしたものがある。
音声認識部の認識結果に基づいて機械翻訳部により機械
翻訳し、この翻訳結果を音声合成部で音声合成して出力
するようにしたものがある。
［発明が解決しようとする課題］
ところで、上述した従来の自動通訳装置にあっては、話
者の正確な気持や感情をおり込んで翻訳音声を出力する
ことができないので、この感情の伝達ができない分翻訳
精度のレベルが低くなっているという欠点があった。
者の正確な気持や感情をおり込んで翻訳音声を出力する
ことができないので、この感情の伝達ができない分翻訳
精度のレベルが低くなっているという欠点があった。
そこで、本発明の課題は、話者の感情をおり込んだ翻訳
音声を出力することができるようにする点にある。
音声を出力することができるようにする点にある。
［課題を解決するための手段］
このような課題を解決するための本発明の技術的手段は
、話者の音声を認識する音声認識手段と、話者の表情を
認識する表情認識手段と、表情認識手段により認識され
た表情の変化に対応した感情情報を抽出する感情抽出手
段と、前記音声認識結果及び感情情報に基づいて機械翻
訳する機械翻訳手段と、機械翻訳手段の翻訳結果及び上
記感情情報に基づいて音声を合成する音声合成手段とを
備えた自動通訳装置にある。
、話者の音声を認識する音声認識手段と、話者の表情を
認識する表情認識手段と、表情認識手段により認識され
た表情の変化に対応した感情情報を抽出する感情抽出手
段と、前記音声認識結果及び感情情報に基づいて機械翻
訳する機械翻訳手段と、機械翻訳手段の翻訳結果及び上
記感情情報に基づいて音声を合成する音声合成手段とを
備えた自動通訳装置にある。
［実施例］
以下、添付図面に基づいて本発明の実施例に係る自動通
訳装置を説明する。
訳装置を説明する。
第１図に示すように、実施例に係る自動通訳装置は、マ
イク１０等から人力された話者の音声を認識する音声認
識装置１と、話者の表情を認識する表情認識手段とを備
えている。表情認識手段は、話者と受手との映像交換を
行う映像装置１１に接続され、カメラｌｌａから話者の
画像を受信して認識する画像認識装置５で構成されてい
る。また、この画像認識装置５は該装置５で認識さねた
話者の表情の変化に対応した感情情報を抽出する感情抽
出手段に接続されている。この感情抽出手段は、話者の
表情の変化として、例えば、手の動き、顔の動き、まゆ
げ・目・口の動き等の変化抽出する変化抽出装置６と、
これらの表情の変化に対応して予め定められた感情情報
を蓄積しである知識ベース８と、上記表情の変化に対応
した知識ベース８の感情情報を抽出して出力する感情抽
出装置７とから構成されている。また、この自動通訳装
置は、音声認識装置１の音声認識結果及び感情情報に基
づいて所定の機械翻訳をする機械翻訳装置２と、機械翻
訳装置２の翻訳結果及び上記感情情報に基づいて所定の
音声を合成してスピーカに出力する音声合成装置３とを
備えている。上記機械翻訳装置２は、音声認識結果及び
感情情報に対応した言いまわしを蓄積した知識ベース４
から、該当するデータを選択するものである。
イク１０等から人力された話者の音声を認識する音声認
識装置１と、話者の表情を認識する表情認識手段とを備
えている。表情認識手段は、話者と受手との映像交換を
行う映像装置１１に接続され、カメラｌｌａから話者の
画像を受信して認識する画像認識装置５で構成されてい
る。また、この画像認識装置５は該装置５で認識さねた
話者の表情の変化に対応した感情情報を抽出する感情抽
出手段に接続されている。この感情抽出手段は、話者の
表情の変化として、例えば、手の動き、顔の動き、まゆ
げ・目・口の動き等の変化抽出する変化抽出装置６と、
これらの表情の変化に対応して予め定められた感情情報
を蓄積しである知識ベース８と、上記表情の変化に対応
した知識ベース８の感情情報を抽出して出力する感情抽
出装置７とから構成されている。また、この自動通訳装
置は、音声認識装置１の音声認識結果及び感情情報に基
づいて所定の機械翻訳をする機械翻訳装置２と、機械翻
訳装置２の翻訳結果及び上記感情情報に基づいて所定の
音声を合成してスピーカに出力する音声合成装置３とを
備えている。上記機械翻訳装置２は、音声認識結果及び
感情情報に対応した言いまわしを蓄積した知識ベース４
から、該当するデータを選択するものである。
従って、この実施例に係る自動通訳装置によれば、話者
の音声は音声認識部１で音声認識される。通常単語又は
文節単位で機械翻訳部２に送られる。機械翻訳装置２で
は構文解析、意味解析。
の音声は音声認識部１で音声認識される。通常単語又は
文節単位で機械翻訳部２に送られる。機械翻訳装置２で
は構文解析、意味解析。
文脈解析等を行って翻訳をする。このとき、知識ベース
４に蓄積された常識的言いまわしや感情抽出装置７から
抽出された感情情報に対応した言°いまわしが選択され
る。選択された言いまわしは音声合成部３で音声合成さ
れるが、この時も感情抽出装置７から抽出された感情情
報にあうように音声の強弱、ピッチを調整して音声合成
が行われる。
４に蓄積された常識的言いまわしや感情抽出装置７から
抽出された感情情報に対応した言°いまわしが選択され
る。選択された言いまわしは音声合成部３で音声合成さ
れるが、この時も感情抽出装置７から抽出された感情情
報にあうように音声の強弱、ピッチを調整して音声合成
が行われる。
更に詳しく説明すると、前記感情抽出装置７での感情情
報が抽出される過程は以下の通りである。話者の表情は
カメラｌｌａを通じて画像認識装置５で適当なタイムス
ケールで認識される。認識された画像は変化抽出装置６
において主要なターゲット例えば、手の動き、顔の動作
くうなずき、否定的な横ふり、ｅｔｃ ） 、まゆげの
動き。
報が抽出される過程は以下の通りである。話者の表情は
カメラｌｌａを通じて画像認識装置５で適当なタイムス
ケールで認識される。認識された画像は変化抽出装置６
において主要なターゲット例えば、手の動き、顔の動作
くうなずき、否定的な横ふり、ｅｔｃ ） 、まゆげの
動き。
目の変化（涙）１口の変化（笑い）等の個別の変化が読
みとられる。読みとられた個別のターゲットは感情抽出
装置７において総合的に判断され所定の感情情報が選択
される。この感情情報は各ターゲット毎の条件的知識と
して知識ベース８に蓄積されている。
みとられる。読みとられた個別のターゲットは感情抽出
装置７において総合的に判断され所定の感情情報が選択
される。この感情情報は各ターゲット毎の条件的知識と
して知識ベース８に蓄積されている。
そのため、話者の感情にフィツトした言いまわしで翻訳
されるとともに、話者の感情にあった抑揚やピッチをも
って翻訳音声が出力される。
されるとともに、話者の感情にあった抑揚やピッチをも
って翻訳音声が出力される。
［発明の効果］
以上説明したように本発明の自動通訳装置によれば、話
者の画像から感情情報を抽出し、この感情情報に対応し
た翻訳と音声合成を行うので、話者の感情を表出するこ
とができ、この感情の伝達が可能となる分、翻訳精度が
向上する。
者の画像から感情情報を抽出し、この感情情報に対応し
た翻訳と音声合成を行うので、話者の感情を表出するこ
とができ、この感情の伝達が可能となる分、翻訳精度が
向上する。
第１図は本発明の実施例に係る自動通訳装置の構成を示
すブロック図である。 ：音声認識装置 ２：機械翻訳装置 ＝ｒ１声合成装置 ４：機械翻訳用知識ベース ５：画像認識装置 ６：変化抽出装置 ７：感情抽出装置 ８：感情抽出用知識ベース
すブロック図である。 ：音声認識装置 ２：機械翻訳装置 ＝ｒ１声合成装置 ４：機械翻訳用知識ベース ５：画像認識装置 ６：変化抽出装置 ７：感情抽出装置 ８：感情抽出用知識ベース
Claims (1)
- 話者の音声を認識する音声認識手段と、話者の表情を
認識する表情認識手段と、表情認識手段により認識され
た表情の変化に対応した感情情報を抽出する感情抽出手
段と、前記音声認識結果及び感情情報に基づいて機械翻
訳する機械翻訳手段と、機械翻訳手段の翻訳結果及び上
記感情情報に基づいて音声を合成する音声合成手段とを
備えたことを特徴とする自動通訳装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1003581A JPH02183371A (ja) | 1989-01-10 | 1989-01-10 | 自動通訳装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1003581A JPH02183371A (ja) | 1989-01-10 | 1989-01-10 | 自動通訳装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02183371A true JPH02183371A (ja) | 1990-07-17 |
Family
ID=11561421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1003581A Pending JPH02183371A (ja) | 1989-01-10 | 1989-01-10 | 自動通訳装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02183371A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0585098A2 (en) * | 1992-08-24 | 1994-03-02 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| US5659764A (en) * | 1993-02-25 | 1997-08-19 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| US5887069A (en) * | 1992-03-10 | 1999-03-23 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| US20050201565A1 (en) * | 2004-03-15 | 2005-09-15 | Samsung Electronics Co., Ltd. | Apparatus for providing sound effects according to an image and method thereof |
| JP2007148039A (ja) * | 2005-11-28 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 音声翻訳装置および音声翻訳方法 |
| JP2008021058A (ja) * | 2006-07-12 | 2008-01-31 | Nec Corp | 翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体 |
| US7962345B2 (en) | 2001-04-11 | 2011-06-14 | International Business Machines Corporation | Speech-to-speech generation system and method |
| JP6290479B1 (ja) * | 2017-03-02 | 2018-03-07 | 株式会社リクルートライフスタイル | 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム |
| CN109949794A (zh) * | 2019-03-14 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种基于互联网技术的智能语音转换系统 |
| JP2020134719A (ja) * | 2019-02-20 | 2020-08-31 | ソフトバンク株式会社 | 翻訳装置、翻訳方法、および翻訳プログラム |
| CN112102831A (zh) * | 2020-09-15 | 2020-12-18 | 海南大学 | 跨数据、信息、知识模态的内容编解码方法及组件 |
-
1989
- 1989-01-10 JP JP1003581A patent/JPH02183371A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5887069A (en) * | 1992-03-10 | 1999-03-23 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| EP0585098A3 (en) * | 1992-08-24 | 1995-01-11 | Hitachi Ltd | Sign language recognition device and method and sign language translation system using the same. |
| EP0585098A2 (en) * | 1992-08-24 | 1994-03-02 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| US5659764A (en) * | 1993-02-25 | 1997-08-19 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| US5953693A (en) * | 1993-02-25 | 1999-09-14 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| US7962345B2 (en) | 2001-04-11 | 2011-06-14 | International Business Machines Corporation | Speech-to-speech generation system and method |
| US8238566B2 (en) * | 2004-03-15 | 2012-08-07 | Samsung Electronics Co., Ltd. | Apparatus for providing sound effects according to an image and method thereof |
| US20050201565A1 (en) * | 2004-03-15 | 2005-09-15 | Samsung Electronics Co., Ltd. | Apparatus for providing sound effects according to an image and method thereof |
| JP2007148039A (ja) * | 2005-11-28 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 音声翻訳装置および音声翻訳方法 |
| JP2008021058A (ja) * | 2006-07-12 | 2008-01-31 | Nec Corp | 翻訳機能付き携帯電話装置、音声データ翻訳方法、音声データ翻訳プログラムおよびプログラム記録媒体 |
| JP6290479B1 (ja) * | 2017-03-02 | 2018-03-07 | 株式会社リクルートライフスタイル | 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム |
| JP2020134719A (ja) * | 2019-02-20 | 2020-08-31 | ソフトバンク株式会社 | 翻訳装置、翻訳方法、および翻訳プログラム |
| CN109949794A (zh) * | 2019-03-14 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种基于互联网技术的智能语音转换系统 |
| CN112102831A (zh) * | 2020-09-15 | 2020-12-18 | 海南大学 | 跨数据、信息、知识模态的内容编解码方法及组件 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8224652B2 (en) | Speech and text driven HMM-based body animation synthesis | |
| US8131551B1 (en) | System and method of providing conversational visual prosody for talking heads | |
| US5884267A (en) | Automated speech alignment for image synthesis | |
| US11482134B2 (en) | Method, apparatus, and terminal for providing sign language video reflecting appearance of conversation partner | |
| CN112650831A (zh) | 虚拟形象生成方法、装置、存储介质及电子设备 | |
| CN107972028B (zh) | 人机交互方法、装置及电子设备 | |
| WO2021196645A1 (zh) | 交互对象的驱动方法、装置、设备以及存储介质 | |
| US20230082830A1 (en) | Method and apparatus for driving digital human, and electronic device | |
| KR20190114150A (ko) | 비디오 번역 및 립싱크 방법 및 시스템 | |
| KR102174922B1 (ko) | 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치 | |
| WO2017195775A1 (ja) | 手話会話支援システム | |
| KR20200090355A (ko) | 실시간 번역 기반 멀티 채널 방송 시스템 및 이를 이용하는 방법 | |
| US20240022772A1 (en) | Video processing method and apparatus, medium, and program product | |
| JPH02183371A (ja) | 自動通訳装置 | |
| CN113689879A (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
| WO2024088321A1 (zh) | 虚拟形象面部驱动方法、装置、电子设备及介质 | |
| CN110162598A (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
| WO2022072752A1 (en) | Voice user interface using non-linguistic input | |
| US20240221753A1 (en) | System and method for using gestures and expressions for controlling speech applications | |
| Hrúz et al. | Automatic fingersign-to-speech translation system | |
| CN113112575A (zh) | 一种口型生成方法、装置、计算机设备及存储介质 | |
| CN116129852A (zh) | 语音合成模型的训练方法、语音合成方法及相关设备 | |
| Eguchi et al. | Development of Mobile Device-Based Speech Enhancement System Using Lip-Reading | |
| JPH0728488A (ja) | 情報処理方法及び装置 | |
| CN117351929A (zh) | 翻译方法、装置、电子设备和存储介质 |