JPH07104778A - Feeling expressing device - Google Patents
Feeling expressing deviceInfo
- Publication number
- JPH07104778A JPH07104778A JP25146293A JP25146293A JPH07104778A JP H07104778 A JPH07104778 A JP H07104778A JP 25146293 A JP25146293 A JP 25146293A JP 25146293 A JP25146293 A JP 25146293A JP H07104778 A JPH07104778 A JP H07104778A
- Authority
- JP
- Japan
- Prior art keywords
- expression
- emotion
- feeling
- style
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 claims abstract description 208
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 230000007704 transition Effects 0.000 claims abstract description 4
- 230000008451 emotion Effects 0.000 claims description 132
- 230000002996 emotional effect Effects 0.000 claims description 60
- 230000008921 facial expression Effects 0.000 claims description 20
- 230000000763 evoking effect Effects 0.000 claims description 10
- 230000037007 arousal Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 17
- 230000033764 rhythmic process Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 34
- 238000007726 management method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 230000001629 suppression Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は人工感情を持ち、その感
情状態に従って表情や音声を変化させて出力する感情表
出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an emotion expressing device which has an artificial emotion and changes and outputs a facial expression and a voice according to the emotional state.
【０００２】[0002]
【従来の技術】『心をもった機械』という著書の中で、
戸田正直が指摘しているように（１９８７年）、コンピ
ュータやロボット等の機械が、人間と同じような感情を
もち、喜んだり、悲しんだり、人を思いやったりするこ
とができれば、人間と機械とのコミュニケーションは、
いまよりずっと暖かで、楽しくなり、また人間にとって
親しみやすいものになるものと思われる。2. Description of the Related Art In the book "Machine with Hearts",
As Toda honesty points out (1987), if machines such as computers and robots have the same emotions as humans and can be happy, sad, or caring for others, then humans and machines Communication of
It will be much warmer, more fun, and more accessible to humans.
【０００３】機械、特に対話システムに人工感情を与え
ようという試みの背後には、このような実用的な期待が
ある。現在までに様々な感情表出装置が提案されている
が、それらの多くは、基本的には次のような構成をとっ
ている。以下、図１４を用いて、従来の感情表出装置の
一例について簡単に説明する。There is such a practical expectation behind the attempts to give artificial emotions to machines, especially dialogue systems. Various emotion expression devices have been proposed to date, but most of them basically have the following configurations. Hereinafter, an example of the conventional emotion expression device will be briefly described with reference to FIG.
【０００４】なお、この種の感情表出装置は音声対話装
置などの対話システムに組み込まれて利用されるが、こ
こでは煩雑を避けるために対話システムについては言及
しない。図１４は従来の感情表出装置の一例を説明する
基本構成図であって、０１は入力、０２は認識部、０３
は感情喚起部、０４は表情・音声合成部、０５は出力で
ある。Although this kind of emotion expressing device is used by being incorporated in a dialogue system such as a voice dialogue device, the dialogue system will not be mentioned here for the sake of simplicity. FIG. 14 is a basic configuration diagram illustrating an example of a conventional emotion expression device, where 01 is an input, 02 is a recognition unit, and 03.
Is an emotional stimulator, 04 is a facial expression / speech synthesizer, and 05 is an output.
【０００５】同図において、感情表出装置への入力情報
０１は認識部０２においてその意味が認識される。認識
された意味が予め規定された感情喚起入力に該当する場
合には、感情喚起部０３において、例えば、「感情喚起
入力Ｘを認知したなら、感情成分Ｙの強度をＺだけ増加
せよ」等の規則に従って、感情喚起部０３に内在する感
情状態レジスタの強度値の書き換えを行なう。In the figure, the meaning of the input information 01 to the emotion expressing device is recognized by the recognition unit 02. If the recognized meaning corresponds to a predetermined emotional arousal input, the emotional arousal unit 03 displays, for example, “if the emotional arousal input X is recognized, increase the intensity of the emotional component Y by Z”. According to the rule, the strength value of the emotional state register included in the emotional alerting unit 03 is rewritten.
【０００６】ここで、感情状態レジスタとは、例えば、
“驚き、恐れ、嫌悪、怒り、幸福、悲しみ”といった感
情成分の強度値を記憶するレジスタのことである。感情
状態レジスタの強度値は、上記したように感情喚起入力
が認知される度に感情喚起規則に従って変更されるが、
先行感情の状態や各基本感情間の相互作用などの要因に
よっても変動するように設定される場合もある。Here, the emotional state register is, for example,
It is a register that stores strength values of emotional components such as "surprise, fear, disgust, anger, happiness, and sadness." The strength value of the emotional state register is changed according to the emotional arousal rule each time the emotional arousal input is recognized, as described above.
It may be set to vary depending on factors such as the state of the preceding emotion and the interaction between the basic emotions.
【０００７】また、通常、喚起された感情を定常状態に
戻すために、感情状態レジスタの強度値を時間経過に伴
って減衰させる工夫が施されることが多い。さて、表情
・音声合成部０４は、感情状態レジスタ内のいずれかの
感情成分の強度値が前もって規定された表出閾値を越え
た場合にはその感情に対応した表情や音声を合成する
が、そうでない場合には無感情の表情と感情的な抑揚の
ない音声を合成する。合成された表情や音声は、表示装
置や音声出力装置を介して対話者に出力（０５）され
る。Further, usually, in order to return the aroused emotion to a steady state, it is often the case that the strength value of the emotion state register is attenuated over time. Now, the facial expression / speech synthesizer 04 synthesizes the facial expression and voice corresponding to the emotion when the intensity value of any emotion component in the emotion state register exceeds the predetermined expression threshold value, Otherwise, it synthesizes an emotional expression and a voice without emotional intonation. The synthesized facial expression and voice are output (05) to the interlocutor via the display device and the voice output device.
【０００８】なお、このような感情表出装置に関する技
術の詳細は、例えば、「情報処理学会第４５回（平成４
年度後期）全国大会講演論文集、２」の『擬人化エージ
ェントの感情モデル』（川本浩史、大村賢悟著）の記事
や、「日本認知科学会１９９２年度定例シンポジウム論
文集、感情の認知科学」の『調和理論による人工感情』
（原文雄、茂木秀介著）に報告されている。Details of the technique relating to such an emotion expression device are described in, for example, "The Information Processing Society of Japan, 45th (1992).
(2nd half of the fiscal year), "The Emotional Model of Anthropomorphic Agents" (written by Hiroshi Kawamoto, Kengo Omura) in "2. "Artificial emotions based on the theory of harmony"
(Written by Fumio Hara and Shusuke Mogi).
【０００９】[0009]
【発明が解決しようとする課題】しかし、上記従来の感
情表出装置においては、以下のような問題点がある。 （１）従来の感情表出装置には、利用者が自分の好み
や、好みの変化に合わせて当該感情表出装置の感情表出
スタイルを自在に設定、変更できるような手段が提供さ
れていない。However, the above-described conventional emotion expressing device has the following problems. (1) The conventional emotion expression device is provided with a means by which a user can freely set and change the emotion expression style of the emotion expression device according to his / her preference or a change in the preference. Absent.
【００１０】例えば、喜びの感情は頻繁に表出するが、
嫌悪、怒り、悲しみの感情は滅多に表出しないようなス
タイルに変更したくとも、それを許さないのである。そ
こで、本発明の第１の目的は、感情表出装置の感情表出
スタイルを利用者が自在に設定、変更できるようにする
点にある。 （２）従来の感情表出装置は、対話相手、状況、話題、
過去の対話量等の違いに基づき、感情表出の傾向を適切
なものに自動的に変化させることができない。すなわ
ち、所謂「表示規則」に基づく感情表出の制御機能を具
備しない。For example, the feeling of joy often appears,
Even if you want to change your style so that the feelings of disgust, anger, and sadness are rarely expressed, you do not allow it. Therefore, a first object of the present invention is to allow a user to freely set and change the emotion expressing style of the emotion expressing device. (2) The conventional emotion expression device uses the conversation partner, the situation, the topic,
The tendency of emotional expression cannot be automatically changed to an appropriate one based on the difference in the amount of dialogue in the past. That is, it does not have a control function of emotion expression based on a so-called “display rule”.
【００１１】ここで「表示規則」とは、本来、様々な社
会的な場面や役割などのもとで、人がどのように感情表
出を行えばよいかについての社会的、文化的規範や因習
をいう。感情表出装置も人間と対話する以上、表示規則
を遵守することが好ましいが、既存の装置ではそれがで
きないのである。なお、上記したように、表示規則は本
来社会的に規定されるものであるが、感情表出装置の場
合には、利用者自身がその表示規則を規定できれば便利
である。Here, the "display rule" is originally a social or cultural norm about how a person should express emotions under various social situations and roles. Says convention. Since the emotion expressing device also interacts with humans, it is preferable to comply with the display rule, but the existing device cannot do so. As described above, the display rule is originally defined socially, but in the case of the emotion expressing device, it is convenient if the user himself / herself can define the display rule.
【００１２】そこで、本発明の第２の目的は、対話相
手、状況、過去の対話量等の違いに基づき、感情表出の
傾向を適切なものに自動的に変更することができるよう
にする点にある。Therefore, a second object of the present invention is to enable the tendency of emotional expression to be automatically changed to an appropriate one on the basis of a difference in a dialogue partner, a situation, a past dialogue amount, and the like. In point.
【００１３】[0013]
【課題を解決するための手段】上記第１の目的を達成す
るために、本発明の感情表出装置は、図１に示すよう
に、予め規定された感情喚起情報を認知する感情喚起情
報認識手段２と、“驚き、恐れ、嫌悪、怒り、幸福、悲
しみ”等の各感情成分に感情強度を反映させた数量を与
えることで全体の感情状態を表現し、感情喚起情報が認
知された場合には、予め規定された感情状態遷移規則に
則してその感情状態を遷移せしめる感情喚起手段３と、
感情喚起手段により規定された感情状態に対応づけて表
情や音声の韻律を変化させて出力する表情・音声合成手
段４と、感情成分別にそれぞれの表出閾値を指定するこ
とにより装置の感情表出スタイルの設定または変更を行
なう表出スタイル設定手段６−１と、前記表出スタイル
設定手段に６−１おいて設定された表出閾値を保持する
表出スタイル記憶手段６−２１を内在し、そこに保持さ
れた表出閾値と前記感情喚起手段３において規定された
感情状態とを比較して表出すべき表情や音声を決定する
表出内容決定手段６−２と、前記表出スタイル設定手段
において設定された表出閾値を複数記憶・保存すること
ができる表出スタイル群保持手段６−３を備えたことを
特徴とする。In order to achieve the above first object, the emotion expressing device of the present invention, as shown in FIG. 1, recognizes emotion evoking information defined in advance. In the case where the emotional information is recognized by expressing the emotional state by means 2 and giving the number reflecting each emotional component to each emotional component such as “surprise, fear, disgust, anger, happiness, sadness” Includes an emotion evoking means 3 for transitioning the emotional state in accordance with a predefined emotional state transition rule,
A facial expression / speech synthesizer 4 for changing and outputting the prosody of a facial expression or a voice in association with the emotional state defined by the emotional arousal means, and an emotional expression of the device by designating each expression threshold value for each emotional component. The expression style setting means 6-1 for setting or changing the style, and the expression style storage means 6-21 for holding the expression threshold set in 6-1 in the expression style setting means are included. An expression content determination unit 6-2 that determines the facial expression or voice that should be expressed by comparing the expression threshold value held therein with the emotional state defined by the emotion evoking unit 3, and the expression style setting unit. The display style group holding means 6-3 capable of storing and storing a plurality of display thresholds set in 1. is provided.
【００１４】また、上記第２の目的を達成するために、
本発明の感情表出装置は、図１に示すように、対話相手
を識別，同定する話者同定手段６−４１と、前記話者同
定手段６−４１により同定された話者との過去の対話回
数又は対話総時間を計測しそれを記録する対話量記憶手
段６−４２と、予め範疇化された複数の状況から目下の
状況を特定する状況認識手段６−４３と、対話相手，対
話量，状況の違いに基づいて前記表出スタイル群保持手
段６−３に記憶されている表出閾値集合の中から特定の
表出閾値を読み出して、前記表出スタイル記憶手段６−
２１にセットする表出スタイル変更手段６−５とを備え
たことを特徴とする。なお、ここで、表出スタイル変更
手段６−５は、予め規定されたいくつかの変換式の中か
ら特定の変換式を選択して、それを前記表出スタイル記
憶手段６−２１に記憶されている表出閾値に適応するこ
とにより直接書き換える方式をとることもできる。In order to achieve the above second object,
The emotion expressing device of the present invention, as shown in FIG. 1, includes a speaker identifying unit 6-41 for identifying and identifying a conversation partner and a speaker identified by the speaker identifying unit 6-41 in the past. A dialogue amount storage means 6-42 for measuring the number of dialogues or total dialogue time and recording it, a situation recognition means 6-43 for identifying a current situation from a plurality of situations classified in advance, a dialogue partner, a dialogue amount A specific expression threshold value is read out from the expression threshold value set stored in the expression style group holding means 6-3 based on the difference in the situation, and the expression style storage means 6-
The display style changing means 6-5 set to 21 is provided. Here, the expression style changing unit 6-5 selects a specific conversion formula from among several conversion formulas defined in advance and stores it in the expression style storage unit 6-21. It is also possible to adopt a method of directly rewriting by adapting to the expression threshold value.
【００１５】[0015]
【作用】前記第１の目的を達成するための感情表出装置
において、感情喚起情報認識手段２は、入力情報１の中
から予め規定された感情喚起情報を認識する。感情喚起
手段３は、前記感情喚起情報認識手段２の認識結果と予
め規定された感情状態遷移規則に基づいて、“驚き、恐
れ、嫌悪、怒り、幸福、悲しみ”等の各感情成分に付与
された強度値パターンを変化せしめ、これにより現在の
感情状態を規定する。In the emotion expressing device for achieving the first object, the emotion stimulating information recognition means 2 recognizes the emotion stimulating information defined in advance from the input information 1. The emotion evoking means 3 is given to each emotional component such as “surprise, fear, disgust, anger, happiness, sadness” based on the recognition result of the emotion evoking information recognizing means 2 and a predetermined emotion state transition rule. The intensity value pattern is changed to define the current emotional state.
【００１６】一方、表出スタイル設定手段６−１は、各
感情成分に対応する表出閾値の設定を利用者７に許し、
それによって全体の表出スタイルを規定する。表出スタ
イル記憶手段６−２１は前記表出スタイル設定手段６−
１において設定された表出閾値を保持する。表出内容決
定手段６−２は、前記感情喚起手段３によって規定され
た各感情成分の強度値と前記表出スタイル記憶手段６−
２１において保持された各感情成分の表出閾値を比較参
照して予め規定された規則に従って、表出すべき表情と
音声の種類を決定する。On the other hand, the expression style setting means 6-1 allows the user 7 to set the expression threshold value corresponding to each emotion component,
This defines the overall expression style. The expression style storage means 6-21 is the expression style setting means 6-
The expression threshold value set in 1 is held. The expression content determination unit 6-2 and the expression style storage unit 6- and the intensity value of each emotion component defined by the emotion evoking unit 3
The expression threshold value of each emotional component held in 21 is compared and referenced, and the facial expression and the type of voice to be expressed are determined in accordance with a predetermined rule.
【００１７】表情・音声合成手段４は、前記表出内容決
定手段６−２の決定に基づいて表情と音声を合成して出
力する。なお、表出スタイル群保持手段６−３は、幾つ
かの代表的な表出スタイルを反映するような表出閾値パ
ターンを保持するとともに、前記表出スタイル設定手段
６−１において設定された表出閾値パターンも保持す
る。The facial expression / voice synthesizing unit 4 synthesizes the facial expression and the voice based on the determination by the expression content determining unit 6-2 and outputs the synthesized facial expression and voice. The expression style group holding unit 6-3 holds an expression threshold pattern that reflects some typical expression styles, and the expression style setting unit 6-1 sets the expression threshold pattern. The output threshold pattern is also held.
【００１８】利用者７は、前記表出スタイル設定手段６
−１を介して、表出スタイル群保持手段６−３から特定
の表出閾値パターンを読み出して、前記表出スタイル記
憶手段６−２１にセットすることができる。また、前記
第２の目的を達成するための感情表出装置において、話
者同定手段６−４１は、対話相手を識別，同定する。The user 7 uses the expression style setting means 6
It is possible to read a specific expression threshold pattern from the expression style group holding means 6-3 via -1, and set it in the expression style storage means 6-21. Further, in the emotion expressing device for achieving the second object, the speaker identifying means 6-41 identifies and identifies the conversation partner.
【００１９】対話量記憶手段６−４２は、前記話者同定
手段６−４１により同定された話者との過去の対話回数
又は対話総時間を計測しそれを記録する。また、状況認
識手段６−４３は、予め範疇化された複数の状況から目
下の状況を認識する。表出スタイル変更手段６−５は、
これらの認識結果と予め規定された規則（表示規則）に
則して、前記表出スタイル群保持手段に記憶された表出
閾値集合の中から特定の表出閾値を読み出してそれを前
記表出スタイル記憶手段６−２１にセットするか、ある
いは、予め規定されたいくつかの変換式の中から特定の
変換式を適用して、前記表出スタイル記憶手段６−２１
に記憶されている表出閾値を直接書き換えることによっ
て、対話相手、対話量、状況の違いに基づいて、表示ス
タイルを自動変更することができる。The dialogue amount storage means 6-42 measures and records the number of past dialogues or total dialogue time with the speaker identified by the speaker identification means 6-41. In addition, the situation recognition means 6-43 recognizes the current situation from a plurality of situations classified in advance. The expression style changing means 6-5 is
Based on these recognition results and a predetermined rule (display rule), a specific expression threshold value is read out from the expression threshold value set stored in the expression style group holding means, and the specified expression threshold value is expressed. The expression style storage means 6-21 is set in the style storage means 6-21, or a specific conversion expression is applied from among several predetermined conversion expressions.
By directly rewriting the expression threshold stored in, the display style can be automatically changed based on the difference in the conversation partner, the conversation amount, and the situation.
【００２０】[0020]
【実施例】以下、本発明の実施例につき、図面を参照し
て詳細に説明する。本実施例は、本発明による感情表出
システムを、音声対話型電子秘書に応用したものであ
る。図２は音声対話型電子秘書のシステムを説明するブ
ロック図であって、７は利用者、８は話者特定部、９は
発話理解部、１０は意図推定部、１１はタスク遂行部、
１２は秘書タスク管理情報データベース、１３は感情管
理部、１４は音声合成／画像表示部、１５は音声データ
格納部、１６は表情画像データ格納部である。Embodiments of the present invention will now be described in detail with reference to the drawings. In this embodiment, the emotion expression system according to the present invention is applied to a voice interactive electronic secretary. FIG. 2 is a block diagram for explaining the system of the voice interactive electronic secretary, in which 7 is a user, 8 is a speaker identifying unit, 9 is a speech understanding unit, 10 is an intention estimating unit, 11 is a task performing unit,
Reference numeral 12 is a secretary task management information database, 13 is an emotion management unit, 14 is a voice synthesis / image display unit, 15 is a voice data storage unit, and 16 is a facial expression image data storage unit.
【００２１】同図において、話者特定部８は発話者を特
定するサブシステム、発話理解部９は発話の記号内容を
認識するサブシステム、意図推定部１０は発話の意味内
容を推定するサブシステム、タスク遂行部１１は利用者
７の意図からタスクに関する行為をプラン・遂行するサ
ブシステム、秘書タスク管理情報データベース１２はタ
スクに関わる諸情報を格納するデータべース、感情管理
部１３は人工感情の生成・表出管理を行うサブシステ
ム、音声合成／画像表示部１４はタスク遂行に基づく音
声応答／画像表示を行うサブシステム、音声データ格納
部１５は感情タイプ別に構成された音声応答情報を格納
するデータべース、表情画像データ格納部１６は感情タ
イプ別に構成された秘書動画像情報を格納するデータべ
ースである。In the figure, the speaker identifying unit 8 is a subsystem for identifying the speaker, the utterance understanding unit 9 is a subsystem for recognizing the symbol content of the utterance, and the intention estimating unit 10 is a subsystem for estimating the semantic content of the utterance. The task execution unit 11 is a subsystem that plans and executes actions related to tasks based on the intention of the user 7, the secretary task management information database 12 is a database that stores various information related to tasks, and the emotion management unit 13 is an artificial emotion. A subsystem for performing generation / expression management, a voice synthesis / image display unit 14 for performing a voice response / image display based on task performance, and a voice data storage unit 15 for storing voice response information organized by emotion type. The database and facial expression image data storage unit 16 is a database for storing secretary moving image information organized by emotion type.
【００２２】まず、上記ブロック図にもとづいて、電子
秘書全体の機構を概説し、その次にシステムを構成する
各サブシステムについて説明する。 ［全体構成］利用者７から電子秘書への音声入力は、話
者特定部８と発話理解部９へ渡されて発話者が特定され
ると同時に、発話の記号的内容が認識される。First, the mechanism of the entire electronic secretary will be outlined based on the above block diagram, and then each subsystem constituting the system will be described. [Overall Configuration] The voice input from the user 7 to the electronic secretary is passed to the speaker identification unit 8 and the speech understanding unit 9 to identify the speaker, and at the same time, the symbolic content of the speech is recognized.
【００２３】この発話の記号的内容から、意図推定部１
０において、さらに利用者のタスク要求意図が推定さ
れ、タスク遂行部１１へ渡される。一方、話者の特定情
報と発話内容は、話者特定部８と発話理解部９から感情
管理部１３へ入力される。感情管理部１３では、これら
２つの情報とタスク遂行部１１でのイベント発生状態に
より、感情の生成および表出が管理される。ここでの表
出管理とは、生成した感情状態を、対話者や対話状況の
考慮によりどれほど表出するかを制御する機構である。From the symbolic content of this utterance, the intention estimation unit 1
At 0, the task request intention of the user is further estimated and passed to the task performing section 11. On the other hand, the speaker identification information and the utterance content are input from the speaker identification unit 8 and the utterance understanding unit 9 to the emotion management unit 13. The emotion management unit 13 manages emotion generation and expression based on these two pieces of information and the event occurrence state in the task execution unit 11. The expression management here is a mechanism for controlling how much the generated emotional state is expressed in consideration of the interlocutor and the conversation situation.
【００２４】タスク遂行部１１では、推定された利用者
の意図に従って、秘書タスク管理情報データベース１２
を参照しながら、スケジュール・文書管理等のタスクを
プラン実行する。同時に、感情管理部１３に対して利用
者の意図にもとづく感情変動の要求が送られる。また逆
に、感情管理部１３における感情状態はタスク遂行部１
１に伝えられ、プラン選択や実行に影響をおよぼす。In the task execution unit 11, the secretary task management information database 12 is stored according to the estimated intention of the user.
Refer to to schedule and execute tasks such as schedule and document management. At the same time, a request for emotion change based on the user's intention is sent to the emotion management unit 13. On the contrary, the emotion state in the emotion management unit 13 is determined by the task execution unit 1
1 will affect plan selection and execution.
【００２５】すなわち、計画された一連のアクションが
遂行される（或るいは失敗する）と、その結果は感情管
理部１３に伝えられ、感情状態の変化をひきおこす。感
情管理部１３において表出の決定された感情内容は、音
声データ格納部１５と表情画像データ格納部１６に格納
されている音声データと表情画像データに基づいて音声
合成／画像表示部１４が生成する動画像や発話音声とし
て出力される。That is, when a planned series of actions is performed (or fails), the result is transmitted to the emotion management unit 13 and causes a change in emotional state. The emotion content determined to be expressed by the emotion management unit 13 is generated by the voice synthesis / image display unit 14 based on the voice data and the facial expression image data stored in the voice data storage unit 15 and the facial expression image data storage unit 16. It is output as a moving image or a speech sound.
【００２６】感情管理部１３で決定された感情表出内容
は、音声合成／画像表示部１４において具体的出力とな
り、利用者７に提示される。以下、本発明の主たる構成
要素である感情管理部について詳説する。 ［感情管理部］図３は関連するシステム・モジュールと
共に感情管理部の構成を説明するブロツク図であって、
１３は感情管理部、１３−１は感情生成部、１３−２は
感情表出制御部、前記図２と同一符号は同一部分に対応
する。The emotion expression contents determined by the emotion management unit 13 are concretely output by the voice synthesis / image display unit 14 and presented to the user 7. Hereinafter, the emotion management unit, which is a main component of the present invention, will be described in detail. [Emotion Management Unit] FIG. 3 is a block diagram illustrating the configuration of the emotion management unit together with related system modules.
13 is an emotion management unit, 13-1 is an emotion generation unit, 13-2 is an emotion expression control unit, and the same symbols as those in FIG. 2 correspond to the same portions.
【００２７】同図において、感情管理部１３は、感情生
成部１３−１と感情表出制御部１３−２から構成され
る。感情生成部１３−１は、電子秘書の活動する環境か
らの刺激により人工感情を生成・保持するシステムであ
り、例えば本発明者等の出願に係る特願平４−１６９５
７４号に開示されているような構成を採用することが可
能である。In the figure, the emotion management unit 13 comprises an emotion generation unit 13-1 and an emotion expression control unit 13-2. The emotion generation unit 13-1 is a system that generates and holds an artificial emotion by a stimulus from the environment in which the electronic secretary operates, and for example, Japanese Patent Application No. 4-1695 relating to the application of the present inventors.
It is possible to employ the configuration as disclosed in No. 74.
【００２８】感情表出制御部１３−２は、感情生成部１
３−１で保持される感情状態をどのように表出するかを
自動的／強制的に制御するシステムである。自動的な制
御とは、電子秘書の対話相手や、活動時間、対話履歴な
どの状況に応じて、自動的に表出スタイルを適応・変化
させる制御である。この適応変化により、電子秘書の対
話態度を状況に適した自然なスタイルへ導くことが可能
となる。The emotion expression control unit 13-2 includes the emotion generation unit 1
It is a system that automatically / compulsively controls how to express the emotional state held in 3-1. The automatic control is a control that automatically adapts / changes the expression style according to the situation such as the conversation partner of the electronic secretary, activity time, and conversation history. This adaptive change makes it possible to guide the electronic secretary's dialogue attitude into a natural style suited to the situation.
【００２９】一方、強制的な制御とは、電子秘書の対話
者すなわち利用者が、自分自身の好みにより電子秘書の
感情表出傾向を調整するための機構である。この制御機
構により、感情表出のきらいな利用者が完全にクールな
電子秘書を設定したり、あるいは、電子秘書が怒ること
を許さない利用者は怒りだけは表出しないよう設定する
ことができる。On the other hand, the forcible control is a mechanism for an interlocutor of the electronic secretary, that is, a user to adjust the emotional expression tendency of the electronic secretary according to his / her own preference. With this control mechanism, users who do not want to express emotion can set a completely cool electronic secretary, or users who do not allow the electronic secretary to get angry can be set to not show only anger. .
【００３０】感情表出制御部１３−２では、このような
２種の制御のもとで、感情生成部１３−１における感情
状態を音声合成／画像表示部１４に伝達する。 ［感情表出制御部］図４は感情表出制御部の構成を説明
するブロツク図であって、１３−２１は表出値決定部、
１３−２２はシーン構成部、１３−２３は人工感情値レ
ジスタ（Ｒｅ）、１３−２４は表出値レジスタ（Ｒ
ｒ）、１３−２５は表出特性閾値レジスタ（Ｒｔ）、１
３−２６は表示モード・フラグ（Ｆｍ）レジスタ、１３
−２７は表出特性編集器、１３−２７１は表出特性閾値
設定変更器、１３−２７２は表示モード・フラグ設定変
更器、１３−２７３は表出特性規則編集器、１３−２７
４は表出特性閾値パタン編集器、１３−２８は表出特性
規則インタプリタ、１３−２９は表出特性規則データベ
ース、１３−３０は表出特性閾値パタンデータベースで
ある。The emotion expression control unit 13-2 transmits the emotional state in the emotion generation unit 13-1 to the voice synthesis / image display unit 14 under such two kinds of control. [Emotional Expression Control Unit] FIG. 4 is a block diagram for explaining the configuration of the emotional expression control unit.
13-22 is a scene configuration unit, 13-23 is an artificial emotion value register (Re), and 13-24 is an expression value register (R
r), 13-25 are the expression characteristic threshold value registers (Rt), 1
3-26 is a display mode flag (Fm) register, 13
Reference numeral -27 is a display characteristic editor, 13-271 is a display characteristic threshold setting changer, 13-272 is a display mode / flag setting changer, 13-273 is a display characteristic rule editor, 13-27.
Reference numeral 4 is an expression characteristic threshold value pattern editor, 13-28 is an expression characteristic rule interpreter, 13-29 is an expression characteristic rule database, and 13-30 is an expression characteristic threshold pattern database.
【００３１】同図において、この感情表出制御部を構成
するサブシステムは、（１）感情状態や表示モード、表
出特性、最終的な表出値をそれぞれ保持するためのレジ
スタ群（人工感情値レジスタ（Ｒｅ）１３−２３，表出
値レジスタ（Ｒｒ）１３−２４，表出特性閾値レジスタ
（Ｒｔ）１３−２５）と、（２）話者特定部８，発話理
解部９，意図推定部１０，タスク特定部１１からの状況
情報から、表出特性閾値を自動的に決定・変更するため
の表出特性規則インタプリタ１３−２８および表出特性
規則データベース１３−２９および表出特性閾値パタン
データベース１３−３０と、（３）最終的な表出値を決
定する表出値決定部１３−２１と、（４）表出特性や表
示モードに関する利用者の設定をうけつける表出特性編
集器１３−２７と、（５）決定された表出値から出力す
るシーンを構成するシーン構成部１３−２２と、から構
成される。In the figure, the subsystem constituting this emotion expression control unit is (1) a group of registers (artificial emotion) for holding an emotional state, a display mode, an expression characteristic, and a final expression value. Value register (Re) 13-23, expression value register (Rr) 13-24, expression characteristic threshold value register (Rt) 13-25), and (2) speaker identification unit 8, utterance understanding unit 9, intent estimation The expression characteristic rule interpreter 13-28, the expression characteristic rule database 13-29, and the expression characteristic threshold pattern for automatically determining and changing the expression characteristic threshold from the status information from the section 10 and the task specifying section 11. A database 13-30, (3) an expression value determining unit 13-21 for determining a final expression value, and (4) an expression characteristic editor for receiving user settings regarding an expression characteristic and a display mode. 13-27 (5) a scene components 13-22 constituting the scene to be output from the determined expression values, and a.
【００３２】以下、このサブシステム上でのプロセスを
説明する。 １．表出特性規則インタプリタ１３−２８上でのプロセ
ス 話者特定部８、発話理解部９、意図推定部１０、タスク
遂行部１１から得られた情報は、表出特性規則インタプ
リタ１３−２８に送られる。表出特性規則とは、上記の
状況情報に応じて表出特性を自動的に変化させるための
規則群であり、表出特性規則インタプリタ１３−２８
は、表出特性規則データベース１３−２９における表出
特性規則に諸条件を設定し、各時点において条件を満た
す規則を随時適用する機構である。The process on this subsystem will be described below. 1. Process on Expression Characteristic Rule Interpreter 13-28 Information obtained from the speaker identifying unit 8, the speech understanding unit 9, the intention estimating unit 10, and the task performing unit 11 is sent to the expression characteristic rule interpreter 13-28. . The expression characteristic rule is a group of rules for automatically changing the expression characteristic according to the above situation information, and the expression characteristic rule interpreter 13-28.
Is a mechanism that sets various conditions in the expression characteristic rule in the expression characteristic rule database 13-29 and applies the rule satisfying the condition at each time point as needed.
【００３３】下記の［数１］〜［数６］は、表出特性規
則データベース１３−２９における表出特性規則（ディ
スプレイルール）の一例である。The following [Equation 1] to [Equation 6] are examples of the expression characteristic rule (display rule) in the expression characteristic rule database 13-29.
【００３４】[0034]
【数１】 [Equation 1]
【００３５】ルールの意味 ＩＦ：発話者が利用者リストに含まれない、すなわち未
知の話者に対応している場合である。 ＴＨＥＮ：表出閾値Θ1,2 に抑制係数ＤＥＰＲＥＳＳ
ＲＡＴＥ（＞１．０）を乗ずる。表出抑制を開始したこ
とを示すフラグｃｏｎｔｒｏｌ ｆｌｇをオンにする。）Meaning of rule IF: The speaker is not included in the user list, that is, the speaker is not included.
This is the case when dealing with a knowledgeable speaker. THEN: Expression threshold Θ1,2Suppression coefficient DEPRESS
Multiply RATE (> 1.0). We have started to suppress expression
Flag indicating and Turn on flg. )
【００３６】[0036]
【数２】 [Equation 2]
【００３７】ルールの意味 ＩＦ：発話者が利用者リストに含まれる。すなわち現在
応対している相手は、既知の話者である。 ＴＨＥＮ：表出閾値Θ1,2 に利用者リストにおける該当
者（発話者）の閾値を設定する。さらに、該当者の閾値
にＦＲＩＥＤＬＹ ＲＡＴＥ（＜１．０）を乗じて、感
情表出の頻度を高める。対話回数ｃｏｎｔａｃｔ ｔｉ
ｍｅに１を加算しておく。Meaning of Rule IF: The speaker is included in the user list. That is, the person who is currently speaking is a known speaker. THEN: Set the threshold value of the corresponding person (speaker) in the user list to the expression threshold value Θ 1,2 . In addition, FREDLY is set as the threshold of the corresponding person. Multiply RATE (<1.0) to increase the frequency of emotional expression. Number of dialogues contact ti
Add 1 to me.
【００３８】ＡＮＤＩＦ：発話者がＭＹ ＭＡＳＴＥ
Ｒ’Ｓ ＦＲＩＥＮＤすなわち主たる利用者の友人リス
トに含まれる。 ＴＨＥＮ：表出抑制フラグをオフにして表出抑制を解除
する。ANDIF: The speaker is MY MASTE
R'S FRIEND, ie included in the primary user's friends list. THEN: The expression suppression flag is turned off to cancel the expression suppression.
【００３９】[0039]
【数３】 [Equation 3]
【００４０】ルールの意味 ＩＦ：時刻区分設定（ｃｕｒｒｅｎｔ ｔｉｍｅ ｔｙ
ｐｅ）が定義から外れている。すなわち、時間タイプ
（勤務中、勤務外）の設定が正しくない。 ＴＨＥＮ：時刻区分設定を勤務中（または勤務外）に再
設定する。表出特性閾値にＦＯＲＭＡＬ ＲＡＴＥ（ま
たはＲＥＬＡＸ ＲＡＴＥ）を乗じ、変更する。Meaning of Rule IF: Time division setting (current) time ty
pe) is out of the definition. That is, the setting of the time type (on-duty, off-duty) is incorrect. THEN: Reset the time division setting to work (or non-work). FORMAL for the display characteristic threshold RATE (or RELAX RATE) to change.
【００４１】[0041]
【数４】 [Equation 4]
【００４２】ルールの意味 ＩＦ：感情モデルにおける要素感情が怒りまたは嫌悪に
おいて最大であり、かつ、その値が表出閾値Θ1,2 にお
ける強閾値を越えており、かつ、利用者発話語にＮＥＧ
ＡＴＩＶＥＷＯＲＤが含まれている。 ＴＨＥＮ：表出閾値における怒りと嫌悪の成分にＡＮＧ
ＥＲ ＤＥＰＲＥＳＳ ＲＡＴＥ（＞１．０）を乗じて引
き上げる。Meaning of rules IF: Elemental emotion in emotion model Feels angry or disliked
Is the maximum and the value is the expression threshold Θ1,2To
Exceeds the strong threshold and the user's speech is NEG
Includes ATIVEWORD. THEN: ANG for components of anger and aversion at the expression threshold
ER DEPRESS Multiply by RATE (> 1.0) and pull
Lift up.
【００４３】表出抑制フラグをオンにして表出抑制を開
始する。利用者リストにおける現在の対話者の閾値にＣ
ＬＯＳＥ ＲＡＴＥ（＞１．０）を乗じて、引き上げ
る。The expression suppression flag is turned on to start the expression suppression. C as the threshold of the current interlocutor in the user list
LOSE Multiply by RATE (> 1.0) and pull up.
【００４４】[0044]
【数５】 [Equation 5]
【００４５】ルールの意味 ＩＦ：タスク遂行部により「タスクの失敗が継続」のシ
グナルを受信。 ＴＨＥＮ：表出閾値にＤＥＰＲＥＳ ＲＡＴＥ（＞１．
０）を乗じて、閾値全体を引き上げる。表出抑制フラグ
をオンにして表出抑制を開始する。Meaning of the rule IF: A task execution unit receives a signal of "continuation of task failure". THEN: DEPRES for the expression threshold RATE (> 1.
Multiply by 0) to raise the overall threshold. The expression suppression flag is turned on to start the expression suppression.
【００４６】[0046]
【数６】 [Equation 6]
【００４７】ルールの意味 ＩＦ：利用者の発話語にＰＯＳＩＴＩＶＥＷＯＲＤが含
まれている。 ＴＨＥＮ：表出閾値にＯＰＥＮ ＤＥＰＲＥＳＳ ＲＡ
ＴＥ（＜１．０）を乗じて引き下げる。表出抑制フラグ
をオフにして表出抑制を解除する。Meaning of Rule IF: POSITIVEWORD is included in the utterance of the user. THEN: OPEN for the expression threshold DEPRESS RA
Multiply by TE (<1.0) and pull down. The expression suppression flag is turned off to cancel the expression suppression.
【００４８】なお、〔数１〕における「ＵＳＥＲ ＬＩ
ＳＴ〕は、下記〔表１〕に示したようなフォーマットで
構成される。The "USER LI" in [Equation 1]
[ST] has a format as shown in [Table 1] below.
【００４９】[0049]
【表１】 [Table 1]
【００５０】また、Θ1,2 は表出特性閾値で、下記〔表
２〕に示したようなものである。Further, Θ 1,2 is an expression characteristic threshold value as shown in the following [Table 2].
【００５１】[0051]
【表２】 [Table 2]
【００５２】これらの規則は条件部をみたすものすべて
が順次実行され、最終的な表出特性閾値の変更が表出値
決定部に提案される。 ２．表出値決定部上のプロセス 表出値決定部１３−２１には、以下の信号が送られる。 （１）表出特性規則インタプリタ１３−２８からの表出
特性変更。 （２）感情生成部１３−１からの感情変化通報。 （３）タスク遂行部１１からのタスク遂行イベント発
生。All of these rules satisfying the condition part are sequentially executed, and a final change of the expression characteristic threshold value is proposed to the expression value determining part. 2. The following signals are sent to the process exposed value determination unit 13-21 on the exposed value determination unit. (1) Changing the expression characteristic from the expression characteristic rule interpreter 13-28. (2) Emotion change notification from the emotion generation unit 13-1. (3) A task performance event is generated from the task performance unit 11.
【００５３】表出値決定部１３−２１では、これらの要
求と、表示モードフラグの設定により、表出を決定す
る。図５はモードフラグＦｍの説明図であって、感情表
出許可ｆe 、ｍａｎｕａｌ＜−＞オート優先ｆp の２種
からなる。また、表出値決定部１３−２１には、図６に
示した３つのレジスタと１つのフラグ・レジスタがあ
る。The expression value determination unit 13-21 determines the expression based on these requests and the setting of the display mode flag. Figure 5 is an explanatory view of the mode flag Fm, emotional expression permits f e, manual <-> consisting of two automatic priority f p. Further, the exposed value determination unit 13-21 includes the three registers and one flag register shown in FIG.
【００５４】図６は感情表出制御部におけるレジスタ群
と格納値の一例の説明図であって、人工感情値レジスタ
（Ｒｅ）、表出特性閾値レジスタ（Ｒｔ）、表出値レジ
スタ（Ｒｒ）の３つのレジスタからなる。人工感情値レ
ジスタ（Ｒｅ）とは、感情生成部１３−１から送られて
くる感情状態値を保存するものである。また、表出特性
閾値レジスタ（Ｒｔ）とは、感情表出を行うべきか否か
を判断するための閾値を保持するものである。そして、
表出値レジスタ（Ｒｒ）とは、表出値決定部が主に人工
感情値レジスタ（Ｒｅ）と表出特性閾値レジスタ（Ｒ
ｔ）とを比較することで決定した感情の表出値を格納す
るものである。FIG. 6 is an explanatory diagram of an example of a register group and a stored value in the emotion expression control unit. The artificial emotion value register (Re), the expression characteristic threshold value register (Rt), and the expression value register (Rr). It consists of three registers. The artificial emotion value register (Re) stores the emotion state value sent from the emotion generation unit 13-1. The expression characteristic threshold value register (Rt) holds a threshold value for determining whether or not emotion expression should be performed. And
With respect to the expression value register (Rr), the expression value determining unit mainly includes the artificial emotion value register (Re) and the expression characteristic threshold value register (R).
The expression value of the emotion determined by comparing with t) is stored.
【００５５】なお、図４における表示モード・フラグ・
レジスタ（Ｆｍ）は、前記図５に示したような表示に関
する様々な制御情報を設定するものである。図７は表出
特性規則インタプリタ上のプロセスを説明するフローチ
ヤートであって、表示モード・フラグレジスタ（Ｒｍ）
からプロセスの起動／停止を指示する表示モード・フラ
グｆe が出力されると、表出特性制御プロセスが起動し
（Ｓ−１）、話者特定部，発話理解部，意図推定部，タ
スク遂行部からのイベント・シグナルを待つ（Ｓ−
２）。The display modes, flags, and
The register (Fm) sets various control information regarding the display as shown in FIG. FIG. 7 is a flow chart for explaining the process on the display characteristic rule interpreter, which is a display mode flag register (Rm).
When the display mode flag fe for instructing start / stop of the process is output from the device, the expression characteristic control process is started (S-1), and the speaker identifying unit, the utterance understanding unit, the intention estimating unit, and the task execution are performed. Wait for event signal from department (S-
2).
【００５６】上記各部からのイベント・シグナルの入力
に応じて、規則条件部を設定し（Ｓ−３）、設定した規
則を表出特性規則データべースと表出特性閾値パタンデ
ータべースのデータとの規則照合を実行する（Ｓ−
４）。規則照合を実行した結果を表出値決定部に渡す
（Ｓ−５）。次に、表出値決定部において基本となる表
出特性変更信号からのプロセスを説明する。In response to the input of the event signal from each of the above parts, the rule condition part is set (S-3), and the set rule is used as the expression characteristic rule database and the expression characteristic threshold pattern database. Rule matching with the data of (S-
4). The result of the rule matching is passed to the expression value determination unit (S-5). Next, the process from the basic expression characteristic change signal in the expression value determination unit will be described.
【００５７】表出値決定プロセス 図８は表出値決定部上のプロセスの概略を説明するフロ
ーチヤートであって、表出値決定部上のプロセスＳ−１
０は、感情生成部１３−１からの感情変化発生信号と表
出特性規則インタプリタ１３−２８からの表出特性変更
要求に基づいて表出特性値書き換えを行う表出値決定プ
ロセスＳ−１０２、およびタスク遂行部１１からのタス
ク情報に基づいてタスク遂行シーンへの感情付与を行う
タスク遂行への感情付与プロセスＳ−１０３とからな
る。 Expressed Value Determining Process FIG. 8 is a flow chart for explaining the outline of the process on the exposed value determining unit, which is the process S-1 on the exposed value determining unit.
0 is an expression value determination process S-102 for rewriting the expression characteristic value based on the emotion change generation signal from the emotion generation unit 13-1 and the expression characteristic change request from the expression characteristic rule interpreter 13-28. And a task execution emotion imparting process S-103 for imparting emotion to the task performing scene based on the task information from the task performing unit 11.
【００５８】この表出値決定部上のプロセスＳ−１０の
プロセス実行結果は、シーン構成部１３−２２に与えら
れる。以下、上記表出値決定部上のプロセスを構成する
微表情要求プロセス、表出値決定プロセスおよびタスク
遂行への感情付与プロセスの詳細を順次説明する。表出値決定プロセス 図９と図１０は表出特性値書き換えプロセスを説明する
フローチヤートであって、感情生成部１３−１から感情
変化を通報されたとき（Ｓ−３６）、および表出特性規
則インタプリタ１３−２８より表出特性の変更を要求さ
れたとき（Ｓ−３０）に起動する。The process execution result of the process S-10 on the expression value determining unit is given to the scene composing unit 13-22. Hereinafter, details of the facial expression request process, the expression value determination process, and the process of giving emotion to the task execution, which constitute the process on the expression value determination unit, will be sequentially described. Expressed Value Determination Process FIGS. 9 and 10 are flowcharts for explaining the expressive characteristic value rewriting process. When the emotional change is notified from the emotion generating unit 13-1 (S-36), the expressive characteristic is determined. When the rule interpreter 13-28 requests the change of the expression characteristic (S-30), it is activated.
【００５９】表出特性の変更は、モード・フラグの感情
表出許可ｆｅがオンであり、かつ表出特性閾値レジスタ
Ｒｔのユーザ指定フラグがオフの場合、あるいはユーザ
指定フラグがオンであるがモード・フラグのｆｐがオン
である場合にのみ許可され、表出特性閾値レジスタＲｔ
における表出特性閾値が書き換えられる（Ｓ−３３）。The expression characteristic is changed when the emotion expression expression permission fe of the mode flag is on and the user specification flag of the expression characteristic threshold register Rt is off, or the user specification flag is on but the mode is changed. -Allowed only when the flag fp is on, and the expression characteristic threshold register Rt
In step S-33, the expression characteristic threshold value in is rewritten.
【００６０】このように表出特性閾値が書き換えられた
とき、および感情変化の通報を受けたときには、人工感
情値レジスタＲｅの最大値検出が行われる（Ｓ−３
５）。求められた最大値と、表出特性閾値レジスタＲｔ
における強・弱閾値とが比較され（Ｓ−３７）、最大値
となった第ｉ感情の表出値が弱−強度（Ｓ−３８）また
は強−強度（Ｓ−３９）に決定され、表出値レジスタＲ
ｉに格納されると共に、ただちにシーン構成部１３−２
２に送信される。In this way, when the expression characteristic threshold is rewritten, and when the emotional change notification is received, the maximum value of the artificial emotional value register Re is detected (S-3).
5). The obtained maximum value and the expression characteristic threshold value register Rt
(S-37), the maximum value of the expressed value of the i-th emotion is determined to be weak-strength (S-38) or strong-strength (S-39). Output value register R
i is immediately stored in the scene construction unit 13-2.
2 is sent.
【００６１】タスク遂行部および感情生成部の通報によ
るプロセス 図１１と図１２はタスク遂行シーンへの感情付与プロセ
スを説明するフローチヤートである。タスク遂行部にお
いてタスク遂行イベントが発生すると、表出値決定部に
その旨の通報信号が届く。タスク遂行にともなう画像表
示および音声合成を決定するためには、感情情報が必要
である。そのため、先述のプロセスにおいて特性閾値の
書き換えを省略した感情表出値決定プロセスが起動され
る。According to the notifications of the task execution section and the emotion generation section.
That processes 11 and 12 is a flowchart for describing an emotion imparting process to the task execution scene. When a task performance event occurs in the task performance unit, a notification signal to that effect arrives at the expression value determination unit. Emotional information is needed to determine image display and voice synthesis that accompany task performance. Therefore, the emotion expression value determination process in which the rewriting of the characteristic threshold value is omitted in the process described above is started.
【００６２】タスク遂行発生信号受信待機（Ｓ−４１）
がタスク遂行の発生を検知すると、モード・フラグｆｅ
がチェックされる（Ｓ−４２）。ｆｅがオフの場合、す
なわち感情表出をしない場合には、以降のプロセスは行
わずにタスク番号のみをシーン構成部１３−２２に送信
する。ｆｅがオン０場合には、人工感情値レジスタにお
ける最大値検出がなされる（Ｓ−４３）。Waiting for task execution occurrence signal reception (S-41)
Detects the occurrence of task execution, the mode flag fe
Is checked (S-42). When fe is off, that is, when emotion is not expressed, the subsequent process is not performed and only the task number is transmitted to the scene configuration unit 13-22. When fe is on 0, the maximum value in the artificial emotion value register is detected (S-43).
【００６３】求められた最大値と、表出特性閾値レジス
タＲｔにおける強−弱閾値とが比較され（Ｓ−４４）、
最大値となった第ｉ感情の表出が弱−強度以下であった
場合にはタスク番号のみがシーン構成部に送信される
が、そうでないときには弱−強度（Ｓ−４５）または強
−強度（Ｓ−４６）に決定され、表出値レジスタＲｉに
格納される。The obtained maximum value is compared with the strong-weak threshold in the expression characteristic threshold register Rt (S-44),
If the expression of the i-th emotion having the maximum value is less than or equal to the weak-strength, only the task number is transmitted to the scene constituent unit, otherwise, the weak-strength (S-45) or the strong-strength. (S-46) and stored in the expression value register Ri.
【００６４】そしてただちに、表出値レジスタＲｉの内
容とタスク番号とがシーン構成部に奏しされる（Ｓ−７
およびＳ−８）。 ３．ユーザの表出特性編集器による表出制御指定 図４の感情表出制御部のブロック図における表出特性編
集器１３−２７は、利用者すなわち電子秘書の対話者
が、電子秘書の感情表出を強制的に制御するための編集
装置である。Immediately, the contents of the expression value register Ri and the task number are played to the scene constituent section (S-7).
And S-8). 3. Designation of Expression Control by User's Expression Characteristic Editor The expression characteristic editor 13-27 in the block diagram of the emotional expression control unit in FIG. Is an editing device for forcibly controlling.
【００６５】表出特性編集器１３−２７は、表出特性閾
値設定変更器１３−２７１，表示モード・フラグ設定変
更器１３−２７２，表出特性規則編集器１３−２８３，
表出特性閾値パタン編集器１３−２７４の４つのサブモ
ジュールより構成される。表出特性閾値設定変更器１３
−２７１の機能は、表出特性閾値レジスタ上の値を希望
値に固定するものである。この固定をうけた値は表出特
性閾値レジスタに付与されたユーザ指定フラグによって
識別される。The display characteristic editing unit 13-27 includes a display characteristic threshold setting changing unit 13-271, a display mode / flag setting changing unit 13-272, and a display characteristic rule editing unit 13-283.
It is composed of four sub-modules of the display characteristic threshold pattern editor 13-274. Display characteristic threshold setting changer 13
The function -271 is to fix the value on the expression characteristic threshold register to a desired value. The value that has been fixed is identified by the user-specified flag attached to the expression characteristic threshold register.
【００６６】表示モード・フラグ設定変更器１３−２７
２の機能は、表出値決定部１３−２１の制御情報である
表示モード・フラグを指定するためのものである。この
フラグは微表情の表出許可／不許可や状況による表出特
性の適応を指定したりする。表出特性規則編集器１３−
２７３の機能は、表出特性規則データベース１３−２９
中の規則を編集するためのエディタである。これらの規
則は、システムが表出特性値を自動的に書き換えるため
のものである。Display mode / flag setting changer 13-27
The second function is to specify the display mode flag which is the control information of the exposed value determination unit 13-21. This flag specifies whether or not the expression of the minute expression is permitted or not, and the adaptation of the expression characteristic depending on the situation. Expression characteristic rule editor 13-
The function of 273 is the expression characteristic rule database 13-29.
It is an editor for editing the rules inside. These rules are for the system to automatically rewrite the exposed characteristic values.
【００６７】表出特性閾値パタン編集器１３−２７４の
機能は、表出特性閾値パタンデータベース１３−３０中
のパタン群を編集・登録するためのエディタである。表
出特性閾値パタンの編集により、ユーザは好みの表出特
性を設定することができる。 ４．シーン構成部上のプロセス 表出値決定部１３−２１において、感情表出すべき要素
感情のタイプと強度が決定されると、シーン構成部に出
力構成が要求される。The function of the expression characteristic threshold value pattern editor 13-274 is an editor for editing / registering a pattern group in the expression characteristic threshold value pattern database 13-30. By editing the display characteristic threshold pattern, the user can set a desired display characteristic. 4. When the process expression value determination unit 13-21 on the scene configuration unit determines the type and strength of the elemental emotion to be expressed, the scene configuration unit is requested to output.
【００６８】図１３はシーン構成部上のプロセスを説明
するフローチヤートである。同図における表出値決定部
１３−２１の各機能を順に説明する。 ａ．タスク遂行要求 タスク遂行シーンが要求された場合には、指定感情およ
び強度の遂行シーンがシーンデータベース１５から検索
される。 ｂ．感情変化要求 感情変化表出が要求された場合には、まずタスク遂行シ
ーン構成（Ｓ−５１）がビジー（ｂｕｓｙ）でないか確
認され（Ｓ−５２）、現状の表示状態に関するシーンが
新しい感情モードでシーンデータベース１５から検索さ
れ構成される（Ｓ−５３）。ここで構成されるシーン
は、画像コードおよび発話データコードのシーケンスか
らなっており、ただちに音声合成／画像表示部１４に送
られる。FIG. 13 is a flow chart illustrating the process on the scene composition part. Each function of the exposed value determination unit 13-21 in the figure will be sequentially described. a. Task Performance Request When a task performance scene is requested, the scene database 15 is searched for a performance scene of the specified emotion and strength. b. Emotional Change Request When emotional change expression is requested, it is first confirmed whether the task performance scene configuration (S-51) is busy (S-52), and the scene related to the current display state is a new emotional mode. Is searched from the scene database 15 and configured (S-53). The scene configured here is composed of a sequence of image code and speech data code, and is immediately sent to the voice synthesis / image display unit 14.
【００６９】[0069]
【発明の効果】以上説明したように、本発明による感情
表出装置は、各感情成分ごとに表出のための閾値を設定
できるために、利用者は装置の感情表出スタイルを自分
の好みにあわせて自在に調節することができる。また、
本発明による感情表出装置では、話者、過去の対話量、
状況などの表出制御情報を認識するとともに、それらの
認識結果に対応づけて表出閾値を変更するので、話者、
親密度、状況の違いに合わせて、感情表示スタイルを自
発的かつ適切に切り換えることができる。As described above, since the emotion expressing device according to the present invention can set the threshold value for expressing each emotion component, the user can choose the emotion expressing style of the device. It can be adjusted to suit your needs. Also,
In the emotion expressing device according to the present invention, the speaker, the past conversation amount,
While recognizing the expression control information such as the situation and changing the expression threshold in association with those recognition results, the speaker,
The emotion display style can be voluntarily and appropriately switched according to the intimacy and the situation.
【図１】 本発明による感情表出装置の基本構成を説明
するブロック図である。FIG. 1 is a block diagram illustrating a basic configuration of an emotion expression device according to the present invention.
【図２】 本発明による感情表出装置の１実施例の構成
を説明するブロック図である。FIG. 2 is a block diagram illustrating the configuration of an embodiment of an emotion expressing device according to the present invention.
【図３】 図２に示した実施例における感情管理部の構
成を説明するブロック図である。FIG. 3 is a block diagram illustrating a configuration of an emotion management unit in the embodiment illustrated in FIG.
【図４】 図３に示した感情管理部における感情表出制
御部の構成を説明するブロック図である。FIG. 4 is a block diagram illustrating a configuration of an emotion expression control unit in the emotion management unit illustrated in FIG.
【図５】 図５は図４に示した感情表出制御部における
モードフラグの説明図である。5 is an explanatory diagram of a mode flag in the emotion expression control unit shown in FIG.
【図６】 図４に示した感情表出制御部におけるレジス
タ群の説明図である。FIG. 6 is an explanatory diagram of a register group in the emotion expression control unit shown in FIG.
【図７】 表出特性規則インタプリタ上のプロセスを説
明するフローチヤートである。FIG. 7 is a flow chart illustrating a process on an exposed property rule interpreter.
【図８】 表出値決定部上のプロセスの概略を説明する
フローチヤートである。FIG. 8 is a flowchart illustrating an outline of a process on the exposed value determination unit.
【図９】 表出特性値書き換えプロセスを説明する部分
フローチヤートである。FIG. 9 is a partial flow chart for explaining the exposed characteristic value rewriting process.
【図１０】 表出特性値書き換えプロセスを説明する図
９に続く部分フローチヤートである。FIG. 10 is a partial flow chart following FIG. 9 for explaining the exposed characteristic value rewriting process.
【図１１】 タスク遂行シーンへの感情付与プロセスを
説明する部分フローチヤートである。FIG. 11 is a partial flow chart illustrating an emotion imparting process to a task performance scene.
【図１２】 タスク遂行シーンへの感情付与プロセスを
説明する図１１に続く部分フローチヤートである。FIG. 12 is a partial flow chart following FIG. 11 for explaining the emotion imparting process to the task performance scene.
【図１３】 シーン構成部上のプロセスを説明するフロ
ーチヤートである。FIG. 13 is a flow chart illustrating a process on a scene composition unit.
【図１４】 従来の感情表出装置の一例を説明する基本
構成図である。FIG. 14 is a basic configuration diagram illustrating an example of a conventional emotion expression device.
１・・・・入力、２・・・・感情喚起情報認識手段、３
・・・・感情喚起手段、４・・・・表情・音声合成手
段、５・・・・出力、６・・・・感情表出制御部、７・
・・・利用者、６−１・・・・表出スタイル設定手段、
６−２・・・・表出内容決定手段、６−２１・・・・表
出スタイル記憶手段、６−３・・・・表出スタイル群保
持手段、６−４・・・・表出制御情報認識手段、６−４
１・・・・話者同定手段、６−４２・・・・対話量記録
手段、６−４３・・・・状況認識手段。1 ... Input, 2 ... Emotional information recognition means, 3
・ ・ ・ Emotion evoking means, 4 ・ ・ ・ Facial expression / voice synthesizing means, 5 ・ ・ ・ ・ Output, 6 ・ ・ ・ ・ Emotion expression control unit, 7 ・
・ ・ ・ User, 6-1 ・ ・ ・ Expression style setting means,
6-2 ... Display content determination means, 6-21 ... Display style storage means, 6-3 ... Display style group holding means, 6-4 ... Display control Information recognition means, 6-4
1 ... Speaker identification means, 6-42 ... Dialogue amount recording means, 6-43 ... Situation recognition means
Claims (2)
感情喚起情報認識手段と、“驚き、恐れ、嫌悪、怒り、
幸福、悲しみ”等の各感情成分に感情強度を反映させた
数量を与えることで全体の感情状態を表現し、感情喚起
情報が認知された場合には、予め規定された感情状態遷
移規則に即してその感情状態を遷移せしめる感情喚起手
段と、感情喚起手段により規定された感情状態に対応づ
けて表情や音声の韻律を変化させて出力する表情・音声
合成手段とを備えた感情表出装置において、 前記感情成分別にそれぞれの表出閾値を指定することに
より装置の感情表出スタイルの設定または変更を行なう
表出スタイル設定手段と、 前記表出スタイル設定手段において設定された表出閾値
を保持する表出スタイル記憶手段を内在し、そこに保持
された表出閾値と前記感情喚起手段において規定された
感情状態とを比較して表出すべき表情や音声を決定する
表出内容決定手段と、 前記表出スタイル設定手段において設定された表出閾値
を複数記憶し、保存することができる表出スタイル群保
持手段とを具備することを特徴とする感情表出装置。1. An emotion-evoking information recognition means for recognizing pre-defined emotion-evoking information, and "surprise, fear, disgust, anger,
The overall emotional state is expressed by giving a quantity that reflects emotional strength to each emotional component such as "happiness and sadness", and when emotional arousal information is recognized, the emotional state transition rule is immediately followed. The emotion expression device including an emotion evoking means for transitioning the emotional state and a facial expression / speech synthesizing means for changing the prosody of the facial expression and the voice and outputting the prosody in association with the emotional state defined by the emotion evoking means In, an expression style setting means for setting or changing an emotion expression style of the device by designating each expression threshold for each emotion component, and holding an expression threshold set in the expression style setting means The expression style storage means is included, and the expression threshold and the voice to be expressed are determined by comparing the expression threshold value held therein with the emotional state defined by the emotion evoking means. A content determining means out, the exposed a set exposed threshold stores plural in style setting means, emotional expression system characterized by comprising the expression style unit holding means can be stored.
定する話者同定手段と、 前記話者同定手段により同定された話者との過去の対話
回数又は対話総時間を計測しそれを記録する対話量記憶
手段と、 予め範疇化された複数の状況から目下の状況を特定する
状況認識手段と、 対話相手、対話量、状況の違いに基づいて、前記表出ス
タイル群保持手段に予め記憶されている表出閾値集合の
中から特定の表出閾値を読み出して、前記表出スタイル
記憶手段にセットするか、もしくは予め規定されたいく
つかの変換式の中から特定の変換式を適応して前記表出
スタイル記憶手段に記憶されている表出閾値を直接書き
換える表出スタイル変更手段とを備えたことを特徴とす
る感情表出装置。2. The speaker identification unit for identifying and identifying a conversation partner according to claim 1, and the number of past conversations with the speaker identified by the speaker identification unit or the total conversation time is measured and recorded. Dialogue amount storage means, situation recognition means for identifying the current situation from a plurality of pre-categorized situations, and pre-stored in the expression style group holding means based on the difference in dialogue partner, dialogue amount, and situation A specific expression threshold value is read out from the set expression threshold value set and is set in the expression style storage means, or a specific conversion expression is applied from among several predefined conversion expressions. And an expression style changing means for directly rewriting the expression threshold stored in the expression style storage means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5251462A JP3018865B2 (en) | 1993-10-07 | 1993-10-07 | Emotion expression device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5251462A JP3018865B2 (en) | 1993-10-07 | 1993-10-07 | Emotion expression device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07104778A true JPH07104778A (en) | 1995-04-21 |
| JP3018865B2 JP3018865B2 (en) | 2000-03-13 |
Family
ID=17223187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5251462A Expired - Fee Related JP3018865B2 (en) | 1993-10-07 | 1993-10-07 | Emotion expression device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3018865B2 (en) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08266747A (en) * | 1995-03-31 | 1996-10-15 | Matsushita Electric Ind Co Ltd | Voice recognition device, reacting device, reaction selecting device, and reactive toy using those devices |
| JPH0916800A (en) * | 1995-07-04 | 1997-01-17 | Fuji Electric Co Ltd | Voice interactive system with face image |
| JPH0973382A (en) * | 1995-09-04 | 1997-03-18 | Fujitsu Ltd | Computer system |
| JPH0981174A (en) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | Voice synthesizing system and method therefor |
| JPH10254592A (en) * | 1997-03-13 | 1998-09-25 | Nec Corp | Feeling generator and method therefor |
| KR19980065482A (en) * | 1997-01-10 | 1998-10-15 | 김광호 | Speech synthesis method to change the speaking style |
| JPH1115664A (en) * | 1997-06-23 | 1999-01-22 | Matsushita Electric Ind Co Ltd | Agent interface device |
| JPH11161298A (en) * | 1997-11-28 | 1999-06-18 | Toshiba Corp | Method and device for voice synthesizer |
| JPH11175081A (en) * | 1997-12-11 | 1999-07-02 | Toshiba Corp | Device and method for speaking |
| JPH11237971A (en) * | 1998-02-23 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | Voice responding device |
| JPH11265239A (en) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | Feeling generator and feeling generation method |
| JP2000048221A (en) * | 1998-07-29 | 2000-02-18 | Nippon Telegr & Teleph Corp <Ntt> | Animation execution method for character and recording medium recording program for the same |
| WO2000043167A1 (en) * | 1999-01-20 | 2000-07-27 | Sony Corporation | Robot device and motion control method |
| WO2000067959A1 (en) * | 1999-05-10 | 2000-11-16 | Sony Corporation | Robot device and method for controlling the same |
| JP2000347690A (en) * | 1999-06-04 | 2000-12-15 | Nec Corp | Multi-modal conversation system |
| WO2001039932A1 (en) * | 1999-11-30 | 2001-06-07 | Sony Corporation | Robot apparatus, control method thereof, and method for judging character of robot apparatus |
| EP1122687A2 (en) * | 2000-01-25 | 2001-08-08 | Nec Corporation | Emotion expressing device |
| JP2001275058A (en) * | 2000-01-21 | 2001-10-05 | Jisedai Joho Hoso System Kenkyusho:Kk | Method and device for generating explanatory sentence of video content, method and device for programming digest video, and computer-readable recording medium with program for making computer implement the same methods recorded thereon |
| WO2001074549A1 (en) * | 2000-04-03 | 2001-10-11 | Sony Corporation | Control device and control method for robot |
| WO2002073594A1 (en) * | 2001-03-09 | 2002-09-19 | Sony Corporation | Voice synthesis device |
| WO2002082423A1 (en) * | 2001-04-05 | 2002-10-17 | Sony Corporation | Word sequence output device |
| US6519506B2 (en) | 1999-05-10 | 2003-02-11 | Sony Corporation | Robot and control method for controlling the robot's emotions |
| JP2003233388A (en) * | 2002-02-07 | 2003-08-22 | Sharp Corp | Device and method for speech synthesis and program recording medium |
| WO2006030533A1 (en) * | 2004-09-17 | 2006-03-23 | National Institute Of Advanced Industrial Science And Technology | Imitated animal having physiological stimulus saturation means |
| KR100564740B1 (en) * | 2002-12-14 | 2006-03-27 | 한국전자통신연구원 | Voice synthesizing method using speech act information and apparatus thereof |
| JP2007264284A (en) * | 2006-03-28 | 2007-10-11 | Brother Ind Ltd | Device, method, and program for adding feeling |
| JP2007271655A (en) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | System for adding affective content, and method and program for adding affective content |
| EP2009577A1 (en) | 2007-06-29 | 2008-12-31 | Canon Kabushiki Kaisha | Image-processing apparatus and method, program, and storage medium |
| US8626489B2 (en) | 2009-08-19 | 2014-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for processing data |
| JP2016090776A (en) * | 2014-11-04 | 2016-05-23 | トヨタ自動車株式会社 | Response generation apparatus, response generation method, and program |
| CN105654949A (en) * | 2016-01-07 | 2016-06-08 | 北京云知声信息技术有限公司 | Voice wake-up method and device |
-
1993
- 1993-10-07 JP JP5251462A patent/JP3018865B2/en not_active Expired - Fee Related
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08266747A (en) * | 1995-03-31 | 1996-10-15 | Matsushita Electric Ind Co Ltd | Voice recognition device, reacting device, reaction selecting device, and reactive toy using those devices |
| JPH0916800A (en) * | 1995-07-04 | 1997-01-17 | Fuji Electric Co Ltd | Voice interactive system with face image |
| JPH0973382A (en) * | 1995-09-04 | 1997-03-18 | Fujitsu Ltd | Computer system |
| JPH0981174A (en) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | Voice synthesizing system and method therefor |
| KR19980065482A (en) * | 1997-01-10 | 1998-10-15 | 김광호 | Speech synthesis method to change the speaking style |
| JPH10254592A (en) * | 1997-03-13 | 1998-09-25 | Nec Corp | Feeling generator and method therefor |
| US6219657B1 (en) | 1997-03-13 | 2001-04-17 | Nec Corporation | Device and method for creation of emotions |
| JPH1115664A (en) * | 1997-06-23 | 1999-01-22 | Matsushita Electric Ind Co Ltd | Agent interface device |
| JPH11161298A (en) * | 1997-11-28 | 1999-06-18 | Toshiba Corp | Method and device for voice synthesizer |
| JPH11175081A (en) * | 1997-12-11 | 1999-07-02 | Toshiba Corp | Device and method for speaking |
| JPH11237971A (en) * | 1998-02-23 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | Voice responding device |
| JPH11265239A (en) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | Feeling generator and feeling generation method |
| JP2000048221A (en) * | 1998-07-29 | 2000-02-18 | Nippon Telegr & Teleph Corp <Ntt> | Animation execution method for character and recording medium recording program for the same |
| US6442450B1 (en) | 1999-01-20 | 2002-08-27 | Sony Corporation | Robot device and motion control method |
| WO2000043167A1 (en) * | 1999-01-20 | 2000-07-27 | Sony Corporation | Robot device and motion control method |
| JP2010149276A (en) * | 1999-01-20 | 2010-07-08 | Sony Corp | Robot device and motion control method |
| JP4696361B2 (en) * | 1999-01-20 | 2011-06-08 | ソニー株式会社 | Robot apparatus and operation control method |
| US6512965B2 (en) | 1999-05-10 | 2003-01-28 | Sony Corporation | Robot and control method for entertainment |
| US6519506B2 (en) | 1999-05-10 | 2003-02-11 | Sony Corporation | Robot and control method for controlling the robot's emotions |
| WO2000067959A1 (en) * | 1999-05-10 | 2000-11-16 | Sony Corporation | Robot device and method for controlling the same |
| JP2000347690A (en) * | 1999-06-04 | 2000-12-15 | Nec Corp | Multi-modal conversation system |
| WO2001039932A1 (en) * | 1999-11-30 | 2001-06-07 | Sony Corporation | Robot apparatus, control method thereof, and method for judging character of robot apparatus |
| US7117190B2 (en) | 1999-11-30 | 2006-10-03 | Sony Corporation | Robot apparatus, control method thereof, and method for judging character of robot apparatus |
| JP2001275058A (en) * | 2000-01-21 | 2001-10-05 | Jisedai Joho Hoso System Kenkyusho:Kk | Method and device for generating explanatory sentence of video content, method and device for programming digest video, and computer-readable recording medium with program for making computer implement the same methods recorded thereon |
| EP1122687A2 (en) * | 2000-01-25 | 2001-08-08 | Nec Corporation | Emotion expressing device |
| EP1122687A3 (en) * | 2000-01-25 | 2007-11-14 | Nec Corporation | Emotion expressing device |
| WO2001074549A1 (en) * | 2000-04-03 | 2001-10-11 | Sony Corporation | Control device and control method for robot |
| US6556892B2 (en) | 2000-04-03 | 2003-04-29 | Sony Corporation | Control device and control method for robot |
| WO2002073594A1 (en) * | 2001-03-09 | 2002-09-19 | Sony Corporation | Voice synthesis device |
| US7233900B2 (en) | 2001-04-05 | 2007-06-19 | Sony Corporation | Word sequence output device |
| WO2002082423A1 (en) * | 2001-04-05 | 2002-10-17 | Sony Corporation | Word sequence output device |
| JP2003233388A (en) * | 2002-02-07 | 2003-08-22 | Sharp Corp | Device and method for speech synthesis and program recording medium |
| KR100564740B1 (en) * | 2002-12-14 | 2006-03-27 | 한국전자통신연구원 | Voice synthesizing method using speech act information and apparatus thereof |
| WO2006030533A1 (en) * | 2004-09-17 | 2006-03-23 | National Institute Of Advanced Industrial Science And Technology | Imitated animal having physiological stimulus saturation means |
| JP2007264284A (en) * | 2006-03-28 | 2007-10-11 | Brother Ind Ltd | Device, method, and program for adding feeling |
| JP2007271655A (en) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | System for adding affective content, and method and program for adding affective content |
| EP2009577A1 (en) | 2007-06-29 | 2008-12-31 | Canon Kabushiki Kaisha | Image-processing apparatus and method, program, and storage medium |
| US8538091B2 (en) | 2007-06-29 | 2013-09-17 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
| US8626489B2 (en) | 2009-08-19 | 2014-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for processing data |
| JP2016090776A (en) * | 2014-11-04 | 2016-05-23 | トヨタ自動車株式会社 | Response generation apparatus, response generation method, and program |
| CN105654949A (en) * | 2016-01-07 | 2016-06-08 | 北京云知声信息技术有限公司 | Voice wake-up method and device |
| CN105654949B (en) * | 2016-01-07 | 2019-05-07 | 北京云知声信息技术有限公司 | A kind of voice awakening method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3018865B2 (en) | 2000-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH07104778A (en) | Feeling expressing device | |
| US20220405423A1 (en) | Assembling and evaluating automated assistant responses for privacy concerns | |
| JP7039657B2 (en) | Computer implementation methods, systems, and computer-readable recording media for generating conversational responses. | |
| JP6888125B2 (en) | User programmable automatic assistant | |
| CA2421746C (en) | Emotion detecting method and system | |
| WO2018093806A1 (en) | Embodied dialog and embodied speech authoring tools for use with an expressive social robot | |
| CN107077840B (en) | Speech synthesis apparatus and method | |
| CN111564202A (en) | Psychological counseling method based on man-machine conversation, psychological counseling terminal and storage medium | |
| CN108536802A (en) | Exchange method based on children's mood and device | |
| EP1490864A2 (en) | Intelligent personal assistants | |
| JP2019158975A (en) | Utterance system | |
| KR20220140599A (en) | Synthetic speech audio data generated on behalf of a human participant in a conversation | |
| JPH11175081A (en) | Device and method for speaking | |
| JP3920175B2 (en) | Call activation system | |
| JP2000207214A (en) | Interaction device | |
| CA2392436A1 (en) | System and method of templating specific human voices | |
| JP2004021121A (en) | Voice interaction controller unit | |
| JP2002041084A (en) | Interactive speech processing system | |
| KR20200040625A (en) | An electronic device which is processing user's utterance and control method thereof | |
| JP2003044072A (en) | Voice reading setting device, voice reading device, voice reading setting method, voice reading setting program and recording medium | |
| CN118301237A (en) | Intelligent assistant control method, equipment and storage medium | |
| WO2024214749A1 (en) | Action control system | |
| WO2019181221A1 (en) | Information processing device and information processing system | |
| CN117275453A (en) | Method for presenting text messages using a user-specific speech model | |
| JP2024092451A (en) | Dialogue support system, dialogue support method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |