JP3059022B2 - 動画像表示装置 - Google Patents
動画像表示装置Info
- Publication number
- JP3059022B2 JP3059022B2 JP5135755A JP13575593A JP3059022B2 JP 3059022 B2 JP3059022 B2 JP 3059022B2 JP 5135755 A JP5135755 A JP 5135755A JP 13575593 A JP13575593 A JP 13575593A JP 3059022 B2 JP3059022 B2 JP 3059022B2
- Authority
- JP
- Japan
- Prior art keywords
- mouth shape
- image
- unit
- mouth
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、人間の表情を人工的に
合成して表示装置の画面上に表示することにより、オペ
レータである人間と機械とのコミニュケーションを円滑
に行えるようにした動画像表示装置に関する。
合成して表示装置の画面上に表示することにより、オペ
レータである人間と機械とのコミニュケーションを円滑
に行えるようにした動画像表示装置に関する。
【０００２】
【従来の技術】従来、この種の表示装置としては、発声
する内容をテキストにし、このテキストに応じて発声す
る音声の口形と発声時間とを決定し、この決定した口形
の画像を人間の顔画像の口領域に合成し、この合成顔画
像をテキストから合成した音声と同期して表示する装置
がある。
する内容をテキストにし、このテキストに応じて発声す
る音声の口形と発声時間とを決定し、この決定した口形
の画像を人間の顔画像の口領域に合成し、この合成顔画
像をテキストから合成した音声と同期して表示する装置
がある。
【０００３】また、音声認識技術を用いて入力音声の母
音を抽出し、この抽出した母音に応じた口形を決定し、
この決定した口形の画像を人間の顔画像の口領域に合成
し、この合成顔画像を入力音声の発声速度に同期して表
示する装置がある（原島ら；「表情アニメーション作成
のためのシナリオ記述ツールとリアルタイム動画像表
示」；信学技法ＨＣ９１−５７，Ｐ２３〜３０参照）。
音を抽出し、この抽出した母音に応じた口形を決定し、
この決定した口形の画像を人間の顔画像の口領域に合成
し、この合成顔画像を入力音声の発声速度に同期して表
示する装置がある（原島ら；「表情アニメーション作成
のためのシナリオ記述ツールとリアルタイム動画像表
示」；信学技法ＨＣ９１−５７，Ｐ２３〜３０参照）。
【０００４】
【発明が解決しようとする課題】ところが、前述した２
種類の装置のうち、第１の装置は、テキストに応じて口
形を決定するため口形は正確に表現できるが、音声はテ
キストから合成するため自然性に欠けるといった不都合
がある。
種類の装置のうち、第１の装置は、テキストに応じて口
形を決定するため口形は正確に表現できるが、音声はテ
キストから合成するため自然性に欠けるといった不都合
がある。
【０００５】また、第２の装置は、音声認識技術によっ
て入力音声をテキスト化してから口形を決定するため、
音声は正確に表現できるが、口形は音声の認識を誤ると
不自然なものが選択され、正確な合成顔画像が得られな
いといった不都合がある。また、この装置は処理に時間
がかかり過ぎるといった不都合もある。
て入力音声をテキスト化してから口形を決定するため、
音声は正確に表現できるが、口形は音声の認識を誤ると
不自然なものが選択され、正確な合成顔画像が得られな
いといった不都合がある。また、この装置は処理に時間
がかかり過ぎるといった不都合もある。
【０００６】そこで、本発明は、入力音声を短時間で正
確に識別し、入力音声と同期して正確な口形を有する顔
画像を表示することを目的とする。
確に識別し、入力音声と同期して正確な口形を有する顔
画像を表示することを目的とする。
【０００７】
【課題を解決するための手段】本発明による動画像表示
装置は、発声する音声の低域および高域の周波数成分を
抽出する周波数検出部と、周波数検出部で抽出した周波
数成分に基づき発声する音声の口形を決定する口形選択
部と、この決定した口形に応じた口形画像を人間の顔画
像の口領域に合成して合成顔画像を得る画像合成部と、
音声の発声に同期して合成顔画像を表示する表示部とか
ら構成する。
装置は、発声する音声の低域および高域の周波数成分を
抽出する周波数検出部と、周波数検出部で抽出した周波
数成分に基づき発声する音声の口形を決定する口形選択
部と、この決定した口形に応じた口形画像を人間の顔画
像の口領域に合成して合成顔画像を得る画像合成部と、
音声の発声に同期して合成顔画像を表示する表示部とか
ら構成する。
【０００８】この場合、周波数検出部は、周波数１２０
０Ｈｚを境にして、発声する音声の低域側の出力値を検
出する第１の帯域フィルタと高域側の出力値を検出する
第２の帯域フィルタとを備え、口形選択部はこの第１お
よび第２の帯域フィルタの両出力値に基づいて発声する
音声の口形を決定する。
０Ｈｚを境にして、発声する音声の低域側の出力値を検
出する第１の帯域フィルタと高域側の出力値を検出する
第２の帯域フィルタとを備え、口形選択部はこの第１お
よび第２の帯域フィルタの両出力値に基づいて発声する
音声の口形を決定する。
【０００９】
【作用】本発明の構成において、周波数検出部は発声す
る音声の低域および高域の周波数成分を抽出し、口形選
択部はこの抽出した周波数成分に基づいて口形を決定す
る。口形を決定するうえで重要なのは調音位置である
が、母音の調音位置は主に第１フォルマントおよび第２
フォルマントの位置によって決まる。
る音声の低域および高域の周波数成分を抽出し、口形選
択部はこの抽出した周波数成分に基づいて口形を決定す
る。口形を決定するうえで重要なのは調音位置である
が、母音の調音位置は主に第１フォルマントおよび第２
フォルマントの位置によって決まる。
【００１０】このため周波数検出部では低域側の第１の
帯域フィルタによって第１フォルマントの出力値を抽出
し、高域側の第２の帯域フィルタによって第２フォルマ
ントの出力値を抽出する。口形選択部はこの２種類の帯
域フィルタで抽出した出力値の割合から入力音声を摩擦
子音、バスバー、５種類の母音および無音に大別し、そ
れぞれに応じた口形を決定する。合成画像部はこうして
決定した口形に対する口形画像を顔画像の口領域に合成
して合成顔画像を得、表示部はこの合成画像を音声の発
声に同期して表示する。
帯域フィルタによって第１フォルマントの出力値を抽出
し、高域側の第２の帯域フィルタによって第２フォルマ
ントの出力値を抽出する。口形選択部はこの２種類の帯
域フィルタで抽出した出力値の割合から入力音声を摩擦
子音、バスバー、５種類の母音および無音に大別し、そ
れぞれに応じた口形を決定する。合成画像部はこうして
決定した口形に対する口形画像を顔画像の口領域に合成
して合成顔画像を得、表示部はこの合成画像を音声の発
声に同期して表示する。
【００１１】
【実施例】図１は、本発明による動画像表示装置の一実
施例を示すブロック図である。本実施例において、音声
格納部１は自然音声を格納するためのもので、予め収集
した音声であっても、リアルタイムで入力した音声であ
ってもよい。
施例を示すブロック図である。本実施例において、音声
格納部１は自然音声を格納するためのもので、予め収集
した音声であっても、リアルタイムで入力した音声であ
ってもよい。
【００１２】周波数検出部２は音声格納部１から入力さ
れた音声信号の低域および高域の周波数成分を抽出する
ためのもので、低域側の帯域フィルタＢＰＦ１と高域側
の帯域フィルタＢＰＦ２とによって構成されている。こ
の２つの帯域フィルタＢＰＦ１およびＢＰＦ２は、図２
に示すように、周波数１２００Ｈｚを境界とする周波数
特性を有しており、この境界周波数（１２００Ｈｚ）は
母音の第１フォルマントと第２フォルマントとを区別し
やすくするために設定した値である。
れた音声信号の低域および高域の周波数成分を抽出する
ためのもので、低域側の帯域フィルタＢＰＦ１と高域側
の帯域フィルタＢＰＦ２とによって構成されている。こ
の２つの帯域フィルタＢＰＦ１およびＢＰＦ２は、図２
に示すように、周波数１２００Ｈｚを境界とする周波数
特性を有しており、この境界周波数（１２００Ｈｚ）は
母音の第１フォルマントと第２フォルマントとを区別し
やすくするために設定した値である。
【００１３】口形選択部３は周波数検出部２における周
波数成分の検出結果に基づいて、表示すべき口形を決定
するためのもので、前述した２つの帯域フィルタＢＰＦ
１およびＢＰＦ２の出力値から口形を決定する。図３
は、口形選択部３における口形決定のための特性図で、
横軸に帯域フィルタＢＰＦ１の出力値、縦軸に帯域フィ
ルタＢＰＦ２の出力値を示し、この２つの出力値の相関
から口形を決定する。
波数成分の検出結果に基づいて、表示すべき口形を決定
するためのもので、前述した２つの帯域フィルタＢＰＦ
１およびＢＰＦ２の出力値から口形を決定する。図３
は、口形選択部３における口形決定のための特性図で、
横軸に帯域フィルタＢＰＦ１の出力値、縦軸に帯域フィ
ルタＢＰＦ２の出力値を示し、この２つの出力値の相関
から口形を決定する。
【００１４】図中、ｆｒ，ｒｅｌ，ａ，ｉ，ｕ，ｅ，
ｏ，ｍｍは、それぞれ口形を表す記号で、ｆｒは／ｓ／
（サ行音）のような摩擦性子音を発声するときの口形、
ｒｅｌは発声していないときの口形、ａは母音／ａ／を
発声するときの口形、ｉは母音／ｉ／を発声するときの
口形、ｕは母音／ｕ／を発声するときの口形、ｏは母音
／ｏ／を発声するときの口形、ｍｍは／ｍａ／を発声す
るときのような唇を閉じたときの口形である。
ｏ，ｍｍは、それぞれ口形を表す記号で、ｆｒは／ｓ／
（サ行音）のような摩擦性子音を発声するときの口形、
ｒｅｌは発声していないときの口形、ａは母音／ａ／を
発声するときの口形、ｉは母音／ｉ／を発声するときの
口形、ｕは母音／ｕ／を発声するときの口形、ｏは母音
／ｏ／を発声するときの口形、ｍｍは／ｍａ／を発声す
るときのような唇を閉じたときの口形である。
【００１５】従って、例えば帯域フィルタＢＰＦ１の出
力レベルがａ１以下で、かつ帯域フィルタＢＰＦ２の出
力レベルがｂ１以上であれば、口形選択部３は記号ｆｒ
の口形を選択する。
力レベルがａ１以下で、かつ帯域フィルタＢＰＦ２の出
力レベルがｂ１以上であれば、口形選択部３は記号ｆｒ
の口形を選択する。
【００１６】画像合成部４は口形選択部３で選択した口
形に対応する画像データを口形画像格納部５から読み出
し、同時に顔画像格納部６から人間の顔画像を表示する
画像データを読み出して、図４に示すように、顔画像Ｆ
の口領域Ｍに、口形画像を嵌め込んで合成顔画像を形成
する。口形画像格納部５には、図５に示すように、前述
した８種類の口形ｆｒ，ｒｅｌ，ａ，ｉ，ｕ，ｅ，ｏ，
ｍｍに対応する口形の画像データが格納されている。
形に対応する画像データを口形画像格納部５から読み出
し、同時に顔画像格納部６から人間の顔画像を表示する
画像データを読み出して、図４に示すように、顔画像Ｆ
の口領域Ｍに、口形画像を嵌め込んで合成顔画像を形成
する。口形画像格納部５には、図５に示すように、前述
した８種類の口形ｆｒ，ｒｅｌ，ａ，ｉ，ｕ，ｅ，ｏ，
ｍｍに対応する口形の画像データが格納されている。
【００１７】表示部７は画像合成部４で形成した合成顔
画像を、同期制御部（不図示）からの制御によって、発
音部８から発声する音声出力と同期して表示するもので
ある。この場合、顔画像に嵌め込む口形画像の切り換え
を、口形が変化したときのみ実行するようにすれば、処
理量を大幅に削減することができる。
画像を、同期制御部（不図示）からの制御によって、発
音部８から発声する音声出力と同期して表示するもので
ある。この場合、顔画像に嵌め込む口形画像の切り換え
を、口形が変化したときのみ実行するようにすれば、処
理量を大幅に削減することができる。
【００１８】
【発明の効果】本発明によれば、簡易な手段で正確かつ
迅速に入力音声の口形を決定することができ、その結
果、音声と同期した違和感のない口形を有する合成顔画
像を表示することができるので、オペレータと機械との
間でのヒューマン・インターフェースが可能となる。
迅速に入力音声の口形を決定することができ、その結
果、音声と同期した違和感のない口形を有する合成顔画
像を表示することができるので、オペレータと機械との
間でのヒューマン・インターフェースが可能となる。
【図１】本発明による動画像表示装置の一実施例を示す
ブロック図である。
ブロック図である。
【図２】図１に示す周波数検出部の周波数特性を示す図
である。
である。
【図３】図１に示す口形選択部の特性図である。
【図４】顔画像と口領域とを表す図である。
【図５】口形画像の一例を示す図である。
１ 音声格納部 ２ 周波数検出部 ３ 口形選択部 ４ 画像合成部 ５ 口形画像格納部 ６ 顔画像格納部 ７ 表示部 ８ 発音部
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 13/00 G06T 15/70 G10L 13/00 G10L 15/00 G10L 21/06
Claims (1)
- 【請求項１】 周波数１２００Ｈｚを境として、発声す
る音声の低域側の出力値を検出する第１の帯域フィルタ
と発声する音声の高域側の出力値を検出する第２の帯域
フィルタとを備える周波数検出部と、前記第１および第２の帯域フィルタの両出力値に基づい
て 前記発声する音声の口形を決定する口形選択部と、 前記決定した口形に応じた口形画像を人間の顔画像の口
領域に合成して合成顔画像を得る画像合成部と、 前記音声の発声に同期して前記合成顔画像を表示する表
示部と、 を備えることを特徴とする動画像表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5135755A JP3059022B2 (ja) | 1993-06-07 | 1993-06-07 | 動画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5135755A JP3059022B2 (ja) | 1993-06-07 | 1993-06-07 | 動画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06348811A JPH06348811A (ja) | 1994-12-22 |
| JP3059022B2 true JP3059022B2 (ja) | 2000-07-04 |
Family
ID=15159111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5135755A Expired - Fee Related JP3059022B2 (ja) | 1993-06-07 | 1993-06-07 | 動画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3059022B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6479596B1 (en) | 1993-07-02 | 2002-11-12 | Vantico, Inc. | Epoxy acrylates |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100236974B1 (ko) | 1996-12-13 | 2000-02-01 | 정선종 | 동화상과 텍스트/음성변환기 간의 동기화 시스템 |
| KR100240637B1 (ko) | 1997-05-08 | 2000-01-15 | 정선종 | 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치 |
| US7096079B2 (en) | 1999-10-14 | 2006-08-22 | Sony Computer Entertainment Inc. | Audio processing and image generating apparatus, audio processing and image generating method, recording medium and program |
| JP2002133445A (ja) * | 2000-10-30 | 2002-05-10 | Namco Ltd | 画像処理装置、画像処理方法および情報記憶媒体 |
| JP2012150363A (ja) * | 2011-01-20 | 2012-08-09 | Kddi Corp | メッセージ映像編集プログラムおよびメッセージ映像編集装置 |
| CN108847234B (zh) * | 2018-06-28 | 2020-10-30 | 广州华多网络科技有限公司 | 唇语合成方法、装置、电子设备及存储介质 |
| CN112770062B (zh) * | 2020-12-22 | 2024-03-08 | 北京奇艺世纪科技有限公司 | 一种图像生成方法及装置 |
| EP4322162A4 (en) * | 2021-07-16 | 2024-10-23 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE FOR GENERATING A MOUTH SHAPE AND OPERATING METHOD THEREFOR |
-
1993
- 1993-06-07 JP JP5135755A patent/JP3059022B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6479596B1 (en) | 1993-07-02 | 2002-11-12 | Vantico, Inc. | Epoxy acrylates |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06348811A (ja) | 1994-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3226245B1 (en) | System and method to insert visual subtitles in videos | |
| US5940797A (en) | Speech synthesis method utilizing auxiliary information, medium recorded thereon the method and apparatus utilizing the method | |
| US5278943A (en) | Speech animation and inflection system | |
| JP2518683B2 (ja) | 画像合成方法及びその装置 | |
| Le Goff et al. | A text-to-audiovisual-speech synthesizer for french | |
| US7076429B2 (en) | Method and apparatus for presenting images representative of an utterance with corresponding decoded speech | |
| US6317716B1 (en) | Automatic cueing of speech | |
| JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
| JPH10312467A (ja) | 像合成のための自動スピーチ整列方法 | |
| JPH065451B2 (ja) | 発音訓練装置 | |
| EP0674315A1 (en) | Audio visual dubbing system and method | |
| KR20000005183A (ko) | 이미지 합성방법 및 장치 | |
| JP3059022B2 (ja) | 動画像表示装置 | |
| Waters et al. | An automatic lip-synchronization algorithm for synthetic faces | |
| Barker et al. | Evidence of correlation between acoustic and visual features of speech | |
| Scott et al. | Synthesis of speaker facial movement to match selected speech sequences | |
| JP4381404B2 (ja) | 音声合成システム、音声合成方法、音声合成プログラム | |
| JP2002108382A (ja) | リップシンクを行うアニメーション方法および装置 | |
| EP4379716A1 (en) | System and method of modulating animation curves | |
| JP4011844B2 (ja) | 翻訳装置、翻訳方法および媒体 | |
| JP2003216173A (ja) | 合成音声及び映像の同期制御方法、装置及びプログラム | |
| Bailly et al. | Lip-synching using speaker-specific articulation, shape and appearance models | |
| Mattheyses et al. | Multimodal unit selection for 2D audiovisual text-to-speech synthesis | |
| NO317598B1 (no) | Fremgangsmate og apparat for frembringelse av visuell talesyntese | |
| Weiss | A Framework for Data-driven Video-realistic Audio-visual Speech-synthesis. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080421 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |