JP2008096884A - 外国語学習通信システム - Google Patents

Abstract

【課題】集中力が未発達な乳幼児の日常生活の中で、母国語で行われる母親や保護者の語りかけや家族の会話をリアルタイムに外国語に翻訳し母国語と外国語を同時に聴かせることで両方の言語の運用能力開発を支援することができる外国語学習通信システムを提供する。
【解決手段】外国語を学習する利用者側に設置する利用者用パソコン１０２と、外国語を学習させるため通訳を行なう通訳者側に設置する通訳者用パソコン１０３とが、センターに設置されるセンターコンピュータ１０１にネットワーク１０４を介して通信自在に接続される外国語学習通信システムであって、前記利用者用パソコン１０２は、利用者側の会話を集音する集音手段と、集音手段によって、集音した音声信号を前記センターコンピュータ１０１に送信する送信手段と、センターコンピュータ１０１から音声信号を受信する受信手段と、受信した音声信号を再生する音声再生手段とを備えている。
【選択図】図１

Description

本発明は、ネイティブスピーカーの発音を聴き外国語を学習することを支援するシステムであり、特に学齢期に達していない幼児などに対して自然に外国語を学習させるための外国語学習通信システムに関するものである。

人間の言語能力は幼児期に著しく発達することが知られている。特に言語の聞き取り能力は幼児期に母親や保護者の語りかけや会話を耳にすることによって自然に身につくものである。従って、子供が外国語を学習するには幼児期にネイティブスピーカーの発音を聞き、耳から覚えることが極めて効率的である。しかし心理的に未発達な幼児に対して、学校で行われているように先生が生徒に知識を与えるという従来形式で授業を行うことは困難である。もしもネイティブスピーカーを雇い、耳から学習させることができれば望ましいが教育が行える専任の教師を雇うことは物理的・経済的に難しい。

このような事情により最も語学学習に適した幼児期に外国語教育を行う機会を逃してしまうことが多い。就学年齢に達した生徒に対しては近年テレビ電話を使って遠隔地にいる教師との間でマンツーマンの外国語授業を行うシステムが既に実用化されている。このシステムは都合の良い時間に在宅のまま授業を受けられるので物理的な制約を緩和できる。しかし学習意欲という観念が未発達で集中力が途切れがちな就学前の幼児に対しては前述の通り授業という形式が成立し得ず、テレビ電話で授業を一方的に行うだけの外国語教育システムでは幼児に外国語を効率よく学習させることは難しい。

前述の通り幼児の母国語学習をモデルとして参考にすると、外国語を学習させるには日常生活における語りかけ、絵本・童謡などの読み語り、あるいは家族や子供同士で行われる会話を通して行うのが自然で効率がよく、それらは母国語を外国語に通訳して同時に聴かせることで実現できる。そのためには同時通訳を適宜行う必要がある。同時通訳を経済的に行うためには同時通訳者をプールしておき必要なときに必要な時間だけ同時通訳を割り当てることが望ましい。同時通訳者をプールしておき予約に基づく通訳作業の遂行管理、あるいは通訳者の就業管理を行うシステムとして特許文献１あるいは特許文献２のようなシステムが提案されている。
特開２００３−３６３０４号公報 特開ＷＯ０１／０８４４０２号公報

集中力が未発達な乳幼児の日常生活の中で、母国語で行われる母親や保護者の語りかけや家族の会話をリアルタイムに外国語に翻訳し母国語と外国語を同時に聴かせることで両方の言語の運用能力開発を支援することが本システムの主目的である。
単に翻訳して発話されるだけの外国語は幼児にとって雑音として捕らえられる可能性がある。従って翻訳して発話される音声に幼児の注意力を自然に向かわせるための技術が必要である。

絵本・童謡のような予め用意した教材メディアを使って幼児が趣くままに遊べ、外国語で会話したいときに常時、ネイティブスピーカーである通訳者と接続・会話でき、尚、且つ通訳者と教材をリアルタイムに共有することで物理的な距離と時間という制約条件を解決する技術が必要である。

幼児の言語運用能力の達成状況を発達心理学的観点からも総合評価して、今後の学習方法や内容にフィードバックすることが求められる。そのための基礎データを効率的に取得・管理する技術が必要である。
また同時通訳者の予約管理や通訳者の就業管理を行うためのシステムも提供されなければならない。利用者の利便性を考えて予約管理はＷＥＢシステムで行えることが望ましい。

以上の現状に鑑み、本発明は、集中力が未発達な乳幼児の日常生活の中で、母国語で行われる母親や保護者の語りかけや家族の会話をリアルタイムに外国語に翻訳し母国語と外国語を同時に聴かせることで両方の言語の運用能力開発を支援することができる外国語学習通信システムを提供することを目的とする。

上記の課題を解決すべく、本発明は以下の構成を提供する。
請求項１に係る発明は、外国語を学習する利用者側に設置する利用者コンピュータと、外国語を学習させるため通訳を行なう通訳者側に設置する通訳者コンピュータとが、センターに設置されるセンターコンピュータにインターネットを介して通信自在に接続される外国語学習通信システムであって、
前記利用者コンピュータは、利用者側の会話を集音する集音手段と、
前記集音手段によって、集音した音声信号を前記センターコンピュータに送信する送信手段と、
前記センターコンピュータから音声信号を受信する受信手段と、
受信した音声信号を再生する音声再生手段とを備え、
前記通訳者コンピュータは、前記センターコンピュータから送信される音声信号を受信する受信手段と、
受信した音声信号を再生する音声再生手段と、
再生した音声に基づき通訳者が通訳した音声を集音する集音手段と、
集音した音声信号を前記センターコンピュータに送信する送信手段とを備え、
前記センターコンピュータは、前記利用者コンピュータからの音声信号を受信する受信手段と、
前記利用者コンピュータから受信した音声信号を前記通訳者コンピュータに送信する送信手段と、
前記通訳者コンピュータからの音声信号を受信する受信手段と、
前記通訳者コンピュータから受信した音声信号を前記利用者コンピュータに送信する送信手段とを備えていることを特徴とする外国語学習通信システムを提供するものである。

請求項２に係る発明は、前記利用者コンピュータが集音手段と音声再生手段とを備える構成に代えて、前記集音手段と音声再生手段は、利用者側に備えられる利用者ぬいぐるみロボットに設けられ、
前記利用者ぬいぐるみロボットは、前記集音手段で集音した音声信号を前記利用者コンピュータに送信する送信手段と、
前記利用者コンピュータから送信される音声信号を受信する受信手段と、
受信した音声信号を再生する前記音声再生手段とを備え、
前記利用者コンピュータは、前記利用者ぬいぐるみロボットから送信される音声信号を受信する受信手段と、
前記センターコンピュータから受信した音声信号を前記利用者ぬいぐるみロボットに送信する送信手段とを備えることを特徴とする請求項１記載の外国語学習通信システムを提供するものである。

請求項３に係る発明は、前記通訳者側に通訳者ぬいぐるみロボットが備えられ、前記通訳者ぬいぐるみロボットは、通訳者の操作による通訳者ぬいぐるみロボットの手、足、又は、顔の表情の変化を測定する測定手段と、
前記測定手段の測定信号を前記通訳者コンピュータに送信する送信手段とを備え、
前記通訳者コンピュータは、前記通訳者ぬいぐるみロボットから前記測定信号を受信する受信手段と、
受信した前記測定信号を前記センターコンピュータに送信する送信手段を備え、
前記センターコンピュータは、前記通訳者コンピュータから前記測定信号を受信する受信手段と、
前記測定信号に基づき、前記通訳者ぬいぐるみロボットの動きを前記利用者ぬいぐるみロボットに中継するための制御信号を生成するロボット制御中継手段と、
前記制御信号を前記利用者コンピュータに送信する送信手段とを備え、
前記利用者コンピュータは、前記センターコンピュータから前記制御信号を受信する受信手段と、
受信した制御信号を前記利用者ぬいぐるみロボットに送信する送信手段を備え、
前記利用者ぬいぐるみロボットは、前記利用者コンピュータからの前記制御信号を受信する受信手段と、
受信した制御信号に基づき、利用者ぬいぐるみロボットの手、足、又は、顔の表情を変化させるアクチュエータとを備えていることを特徴とする請求項２記載の外国語学習通信システムを提供するものである。

請求項４に係る発明は、前記通訳者側に通訳者ぬいぐるみロボットが備えられ、前記通訳者ぬいぐるみロボットは、通訳者の操作による通訳者ぬいぐるみロボットの手、足、又は、顔の表情の変化を測定する測定手段と、
前記測定手段の測定信号を前記通訳者コンピュータに送信する送信手段とを備え、
前記通訳者コンピュータは、前記通訳者ぬいぐるみロボットから前記測定信号を受信する受信手段と、
受信した前記測定信号を前記センターコンピュータに送信する送信手段を備え、
前記センターコンピュータは、前記通訳者コンピュータから前記測定信号を受信する受信手段と、
前記測定信号に基づき、前記通訳者ぬいぐるみロボットの動きを前記利用者コンピュータに中継するための制御信号を生成するロボット制御中継手段と、
前記制御信号を前記利用者コンピュータに送信する送信手段とを備え、
前記利用者コンピュータは、液晶画面と、
前記液晶画面を露出させて前記利用者コンピュータを被包するぬいぐるみと、
前記センターコンピュータから前記制御信号を受信する受信手段と、
前記制御信号を表示信号に変える表示制御手段と、
前記表示信号を前記液晶画面に表示させる表示手段とを備え、
前記集音手段と音声再生手段は、前記ぬいぐるみ内に設けられることを特徴とする請求項１記載の外国語学習通信システムを提供するものである。

請求項５に係る発明は、前記利用者コンピュータは、前記センターコンピュータから受信した音声信号の声質を所定の声質に変換する声質変換手段を備えていることを特徴とする請求項１乃至４のうちいずれか一に記載の外国語学習通信システムを提供するものである。

請求項６に係る発明は、前記利用者コンピュータは、前記利用者コンピュータが参照中の教材の位置信号を前記センターコンピュータに送信する送信手段と、
前記センターコンピュータから、前記通訳者コンピュータが参照中の教材の位置信号を受信する受信手段と、
受信した前記位置信号に基づき、通訳者が参照する教材位置と同じ教材位置を表示する教材共有表示手段とを備え、
前記センターコンピュータは、前記利用者コンピュータから受信した前記位置信号を前記通訳者コンピュータに中継送信し、前記通訳者コンピュータから受信した前記位置信号を前記利用者コンピュータに中継送信する教材中継手段を備え、
前記通訳者コンピュータは、前記通訳者コンピュータが参照する教材の位置信号を前記センターコンピュータに送信する送信手段と、
前記センターコンピュータから、利用者が参照する教材の位置信号を受信する受信手段と、
受信した前記位置信号に基づき、前記利用者コンピュータが参照する教材位置と同じ教材位置を表示する教材共有表示手段とを備えることを特徴とする請求項１乃至５のうちいずれか一に記載の外国語学習通信システムを提供するものである。

請求項７に係る発明は、前記センターコンピュータは、通訳者の就業状況を記録する通訳就業データベースと、
前記通訳者コンピュータから通訳者の就業状況を受信する受信手段と、
受信した就業状況を前記通訳就業データベースに登録する登録手段と、
前記利用者コンピュータから通訳の予約を受信する受信手段と、
受信した通訳の予約に基づき、前記通訳就業データベースから、前記予約に合致する通訳者と時間とを選択する選択手段とを備えたことを特徴とする請求項１乃至６のうちいずれか一に記載の外国語学習通信システムを提供するものである。

請求項８に係る発明は、前記センターコンピュータは、予め語彙を登録した語彙リストと、
学習対象者の学習達成状況を登録あるいは参照するための学習達成度管理データベースと、
学習対象者の音声を認識する認識手段と、
認識した学習対象者の音声を入力として語を切り出す切り出し手段と、
切り出した語を前記語彙リストに登録された語彙と比較する比較手段と、
比較して一致した語があれば、その一致回数をカウントするカウント手段と、
カウントした一致回数を学習達成度管理データベースに記録する記録手段と、
前記通訳者コンピュータから受信した学習達成度評価情報及びセンターの指導員が前記センターコンピュータに入力した学習達成度評価情報を学習達成度管理データベースに登録する登録手段とを備え、
前記通訳者コンピュータは前記センターコンピュータに接続して、前記学習達成度管理データベース内の学習達成度評価情報を参照自在の参照手段を備え、
前記利用者コンピュータは前記センターコンピュータに接続して、前記学習達成度管理データベース内の学習達成度評価情報を所定の条件の下に参照自在の参照手段を備えていることを特徴とする請求項１乃至７のうちいずれか一に記載の外国語学習通信システムを提供するものである。

請求項９に係る発明は、前記センターコンピュータは、前記通訳就業データベースから、通訳者の就業実績及び利用者への料金請求を定期的に算出する算出手段を備えていることを特徴とする請求項７又は８に記載の外国語学習通信システムを提供するものである。

本発明の請求項１記載の発明によれば、従来、物理的・経済的に困難だった乳幼児期などに母国語と同時に外国語をネイティブスピーカーの発音でリアルタイムに聴かせることが可能となる。成人に比べ耳を通した言語の学習能力に優れているものの集中力が未発達なため授業を通じた学習が難しい幼児が日常生活や遊びの中で自然に外国語の運用能力を学習できるようになる。

又、通訳者はセンターに詰めて作業を行うこともできるし在宅のまま作業を行うことも可能である。それゆえ国内居住者からだけではなく海外居住者からも通訳を募集できるので日本の夜間における通訳業務は海外居住の通訳者に作業依頼することで通訳者の労働条件が改善できる。

請求項２記載の発明によれば、ぬいぐるみから音声が発声されることにより幼児の注意を効果的に惹きつけることができる。又、ぬいぐるみに備えられた集音手段で集音するので、効果的な集音が可能となる。

請求項３記載の発明によれば、会話の内容にあわせて通訳者ぬいぐるみロボットを操作することで、利用者ぬいぐるみロボットの動きを制御することができ、利用者ぬいぐるみロボットの動きによって、幼児の注意を効果的に惹きつけることができる。

請求項４記載の発明によれば、会話の内容にあわせて通訳者ぬいぐるみロボットを操作することで、利用者用パソコンの液晶画面に通訳者ぬいぐるみロボットの動きに合わせた動きをするロボットやぬいぐるみ等の表示を行なうことができ、表示された映像によって、幼児の注意を効果的に惹きつけることができる。
又、表示手段は前記アクチュエータよりも比較的安価なコストで提供できる。更に、アクチュエータを備えた利用者ぬいぐるみロボットが不要となり、コストダウンを図ることができる。

請求項５記載の発明によれば、例えば、キャラクタロボットの特徴に合わせて、男性の声、女性の声、高い声、低い声などの特徴を持つ声質に変換することができ、幼児の注意を効果的に惹きつけることができる。

請求項６記載の発明によれば、予め用意した教材メディアを使って、幼児が自由に遊ぶこともでき、遊び相手となる通訳者が利用者と教材メディアをリアルタイムに共有することで通訳者の拘束時間を減らしかつ学習効率を高められる。

請求項７記載の発明によれば、就業状況を登録して管理することができると共に、通訳の予約に基づき予約に合致する通訳者と時間とを容易に選択することができる。

請求項８記載の発明によれば、学習対象者の学習達成度を管理し、又、参照させることができると共に、学習対象者である子供の言語能力・知能・こころの発達状況を専門家がモニターし適切なフィードバックが図れるので、育児に悩む親の相談にも適切に対応し指導できる。

請求項９記載の発明によれば、センターコンピュータは、通訳者の就業実績及び利用者への料金請求を定期的に算出するので、通訳者への支払い及び利用者への料金請求が容易となる。

以下、実施例を示した図面を参照しつつ本発明の実施の形態を説明する。
本発明の全体構成を図１に示す。センターに設置されるセンターコンピュータ１０１と利用者宅に設置する利用者コンピュータである利用者用パソコン１０２および通訳者コンピュータである通訳者用パソコン１０３はインターネット等のネットワーク１０４を用い接続する。

利用者の家族の会話を利用者用パソコン１０２、ネットワーク１０４とセンターコンピュータ１０１を経由して通訳者用パソコン１０３に送信する。通訳者は通訳者用パソコン１０３を用い利用者の母国語で行われている会話を聴き外国語に翻訳し、ネットワーク１０４、センターコンピュータ１０１を経由し利用者用パソコン１０２に返信する。利用者宅では教育対象の幼児などが母国語と外国語にリアルタイムに通訳された会話を聴けるので両方の言語の運用能力を同時に開発できる。

通訳した会話はセンター職員がコンピュータ端末１０５からモニタリングし同時に外部記憶装置１０６に蓄積する。利用者用パソコン１０２に接続した利用者ぬいぐるみロボット（子機）１０７は通訳者側の通訳者ぬいぐるみロボット（親機）１０８と連動して動作する。通訳者は通訳作業と同時に手元の通訳者ぬいぐるみロボット１０８を会話の内容にあわせて操作することで幼児の注意を効果的に惹きつけることができる。

図２に利用者側システムのハードウェア構成例を示す。利用者の会話は集音手段であるマイクロフォン２０２で集音し利用者パソコン１０２でアナログの音声情報をディジタル情報に変換・圧縮する。ディジタル情報に変換した音声情報は利用者用パソコン１０２からネットワーク１０４を介してセンターコンピュータ１０１、通訳者用パソコン１０３に送信する。通訳依頼時間のセンターへの予約登録や通訳者の選択はＷＥＢシステムを用いて行う。通訳者が通訳した結果の音声情報は同様にディジタル情報としてネットワーク１０４経由で利用者用パソコン１０２に返される。この音声情報は利用者用パソコン１０２を用いてアナログ情報に変換し、音声再生手段であるスピーカー２０３から聴く。

マイクロフォン２０２とスピーカー２０３を直接パソコンに接続する代わりに、それらを内蔵した利用者ぬいぐるみロボット１０７を利用者用パソコン１０２に有線又は無線接続して学習効果を高めてもよい。利用者ぬいぐるみロボット１０７は後述する機構により通訳者が遠隔地からリモート操作できるものとする。利用者ぬいぐるみロボット１０７を使用する目的は教育対象の幼児などの注意を通訳者の音声に集めることにある。

利用者ぬいぐるみロボット１０７を用いる代りに図１５に示すようにパソコン本体、液晶モニター、マイクロフォンおよびスピーカーをぬいぐるみと一体化した液晶画面付き利用者ぬいぐるみ１５０１としても良い。
利用者宅に設置する利用者用パソコン１０２を用いて童話や童謡などの教材をオンラインあるいはまた教材メディア２０５を用いて利用できるものとする。

図３に通訳者側システムのハードウェア構成例を示す。利用者から通訳依頼される音声情報はネットワーク１０４経由通訳者パソコン１０３で受信する。圧縮されたディジタル情報で送られてくる音声情報は通訳者パソコン１０３で伸張・アナログ情報に変換し通訳者パソコン１０３に接続したヘッドセット３０２の音声再生手段であるヘッドフォン３０３で聴く。通訳した結果は集音手段であるマイクロフォン３０４を通して通訳者パソコン１０３に送りディジタル情報に変換圧縮後ネットワーク１０４を用いセンターコンピュータ１０１経由で利用者用パソコン１０２へ送信する。通訳者側に通訳者ぬいぐるみロボット１０８があり通訳者が通訳者ぬいぐるみロボット１０８の四肢や表情を操作するとその操作内容は利用者側の利用者ぬいぐるみロボット１０７に伝送される。利用者ぬいぐるみロボット１０７は通訳者ぬいぐるみロボット１０８の動作に追随して同じ動きをするようにプログラムされた後述するロボット制御中継プログラムの働きにより通訳者ぬいぐるみロボット１０８の動作を真似て動く。

通訳者は日々の仕事を始める際に後述するセンターＷＥＢシステムを用い業務開始したことを登録する。同時に当日の通訳依頼予定時間をＷＥＢシステムで確認する。通訳者用パソコン１０３には呼び出し灯３０５が接続できて、通訳センターからの業務連絡や利用者から通訳依頼がある場合、呼び出し灯３０５の点滅と通訳者パソコン１０３のビープ音を使って通訳者に通知する仕組みとする。

図４にセンター・システムの構成例を示す。通訳センター・システムは通訳支援業務処理を行う為のセンターコンピュータ１０１、インターネット等のネットワーク１０４と接続するためのネットワーク・ルータ４０２、外部記憶装置１０６、印刷装置４０４、コンピュータ端末１０５から構成される。主な業務プログラムとして、利用者用パソコン１０２と通訳者パソコン１０３間の音声情報の中継を行う音声通信制御プログラム４０６、利用者用パソコン１０２と通訳者パソコン１０３の交信内容を記録する交信ログ記録プログラム４０７、ロボット制御中継プログラム４０８、教材中継プログラム４０９、学習達成度自動評価プログラム４０１０がありこれらはリアルタイムな処理を行うプログラムである。

音声通信制御プログラム４０６は利用者用パソコン１０２と通訳者パソコン１０３間の音声情報を中継する機能を持つ。交信ログ記録と同時にセンター職員は交信中の音声情報をコンピュータ端末１０５によってモニターすることができる。交信ログ記録は利用者用パソコン１０２と通訳者パソコン１０３間の交信記録であり、品質保証や品質改善、学習達成度調査に後日使用する。

ロボット制御中継プログラム４０８は通訳者が操作する通訳者ぬいぐるみロボット１０８の動きを利用者ぬいぐるみロボット１０７に中継するための制御信号を生成する。制御信号はセンターコンピュータ１０１から、利用者用パソコン１０２を介して利用者ぬいぐるみロボット１０７に送られる。

教材中継プログラム４０９は利用者用パソコン１０２が参照中の教材の位置を通訳者パソコン１０３に知らせ、また通訳者パソコン１０３の指定する教材の位置を利用者用パソコン１０２に中継する働きをする。

図１９に示すように学習達成度自動評価プログラムは学習対象者の音声を認識し話せるようになった語彙を次のような手順で後述する学習達成度管理データベースへ自動的に記録を行うものである。センターコンピュータ１０１がモニターした利用者用パソコン１０２からの音声を入力として語を切り出す（１９０１）。切り出した語の母音フォルマント位置を求め、発話者が学習対象者か確認する（１９０２）。この際家族の発話の場合は以下の処理は行わない。ここで事前に学習対象者の音声のフォルマントをシステムに登録しておくものとし、ディジタルフィルタ・プログラムを用いて音声データから高次のフォルマント成分まで抽出し予め採取した標本と比較することで話者を特定できる。次に発話された語を認識し、外部記憶装置１０６に格納される語彙リストに予め登録された語彙の語と一致するものがあるかチェックする（１９０５）。もしも語彙リストに一致する語があれば、当該学習者による発話記録として学習達成度管理データベースの管理対象語彙の発話回数をカウントアップする（１９０６）。

音声データから語を特定する技術は非特許文献「リアルタイム音声認識」（電子通信学会編 安藤彰男著）及び非特許文献「音声認識システム」（情報処理学会編 鹿野清宏著）に示すようにディジタルフィルタ・プログラムを応用した技術により実装できるが、最近では商用ＬＳＩとして製品化された商品もありこのようなＬＳＩを採用してファームウェアとして実装してもよい。このような機械的な音声認識は発展段階の技術であり人間に比べ認識率が若干低く、認識精度に限界がある。そこで構文や発音など語彙以外の学習達成状況は通訳者またはセンターの指導員が耳で聴いて評価し学習達成度評価ＷＥＢプログラムを用いて学習達成度管理データベースへ登録する。語彙データについても同ＷＥＢシステムを用いて機械処理結果を訂正できるようにしてもよい。

図４に於いて、通訳予約ＷＥＢシステム４０１１、通訳就業管理ＷＥＢシステム４０１２、通訳者就業予定ＷＥＢシステム４０１３、学習達成度評価ＷＥＢシステム４０１４は操作性を重視しＷＥＢシステムとして実装する。通訳予約ＷＥＢシステム４０１１は利用者の通訳予約を受付けるシステムである。通訳就業管理ＷＥＢシステム４０１２は通訳者の出勤簿に相当する通訳就業データベースにアクセスし就業状況を登録する。通訳者就業予定ＷＥＢシステム４０１３は通訳者の就業予定を通訳者が通訳就業データベースに事前登録する機能をもつ。学習達成度評価ＷＥＢシステムは図２０に示すように学習達成度管理データベース２００２にアクセスし学習対象者の学習達成状況を登録あるいは参照する機能をもち通訳者およびセンター職員が学習評価の登録を行う際に使用する。また利用者用パソコン１０２側からも一部のデータは参照できるものとし、利用者のデータの参照範囲は当該利用者の子供に限るものとし利用者登録簿に基づいて学習達成度評価ＷＥＢシステム４０１４が制御する。評価項目はサマリー表示と詳細表示２００４（図２０参照）を行うように画面設計する。

課金プログラム４０１５と交信ログ参照プログラム４０１６はバッチ処理プログラムである。課金プログラム４０１５は通訳者の就業時間や、利用者の利用時間を集計し給与や料金請求を行うバッチ処理プログラムである。センター職員は品質保証のため交信ログ参照プログラムを用いて交信ログを参照できる。これらのセンター業務は主にコンピュータ端末１０５を操作してプログラムの起動・停止、データ参照を行うものとする。これらのセンター業務を処理するコンピュータはセンターの規模に応じて複数台設置しデータベースを共有することで負荷分散を図ってもよい。
外部記憶装置１０６には各種のデータファイルを格納しデータベースは各プログラム間で共有する。主なデータファイルの一覧を図２２に示す。

図５に利用者側システムの概要を示す。利用者側システムは前述の利用者用パソコン１０２を用いる。利用者用パソコン１０２はＣＰＵ ５０２とオーディオインタフェースＨＷ ５０３、ネットワークインタフェースＨＷ ５０４およびロボット制御装置ＨＷ ５０１１のハードウェア（ＨＷ）から構成される。オーディオインタフェースＨＷはマイクロフォンから入力したアナログオーディオ信号をＰＣＭ方式で所定のサンプリング周波数のディジタル信号に変換を行う。またその逆にパソコンから所定のサンプリング周波数のディジタル信号を入力しアナログのオーディオ信号を発生させ、アンプ・スピーカーに音声データを送り出すことができるものとする。また、ネットワークインタフェースＨＷ ５０４はモデム装置５０５と接続しＯＳＩモデル通信プロトコル第３層以下のプロトコルを実装する。前記ハードウェア（１０２、５０２、５０３、５０４、５０５、５０１１）は商用品として市場で広く供給されているものを利用してもよい。

利用者側システムを構成するプログラムは音声圧縮・伸張処理プログラム５０６、音声通信プログラム５０７、ネットワーク通信プログラム５０８、ＷＥＢブラウザ５０９、ロボット制御プログラム５０１０、液晶表示ロボット制御プログラム５０１２、教材共有プログラム５０１３から構成する。

音声圧縮・伸張処理プログラム５０６はＩＴＵ−Ｔ Ｇ．７２３．１ないしはＧ．７２９で規格化されたハイブリッド方式の音声コーデックを用い音声データの圧縮・伸張を行う。Ｇ．７２３．１あるいはＧ．７２９コーデックはディジタルフィルタ・プログラムを応用してパソコンで実装できる。音声圧縮・伸張処理プログラム５０６はＩＴＵからＣ言語プログラム・ソースコードとして配布を受けられるのでこれを利用してもよい。

圧縮した音声データは音声通信プログラム５０７でパケット化・デパケット化を行う。パケット化したデータはＲＴＰ（Real-time Transport Protocol）プロトコルに従い送受信する。パケットフォーマットは図６に示すようなＩＥＴＦ（Internet Engineering
Task Force） ＲＦＣ３５５１に準拠してもよい。パケット化したデータは商用オペレーティングシステムのネットワーク通信プログラム５０８が提供するＯＳＩモデル第４層機能の一つであるＵＤＰプロトコルを用い送受信する。

通訳作業は利用者用パソコン１０２から音声通信プログラム５０７を起動した際にセンター経由で通訳との間に音声伝送路を確立することにより開始する。その際の接続制御はＳＩＰ（Session Initial Protocol）と呼ぶＩＥＴＦ ＲＦＣ３２６１ に準拠したプロトコルを利用してもよい。前記ＲＦＣに従いプロトコルをプログラムすることも可能であるが、最近のパソコン商用オペレーティングシステムではＲＴＰプロトコルおよびＳＩＰプロトコルを付属提供することも多く、これを利用してもよい。

前述の通り利用者側における利用者ぬいぐるみロボット１０７の動作は通訳者側におかれた通訳者ぬいぐるみロボット１０８の動作に利用者ぬいぐるみロボット１０７の動作を追随するように制御することで、あたかも利用者ぬいぐるみロボット１０７が主体的に動いているかのように見せかける手法を用いる。図１６に示すように通訳者ぬいぐるみロボット１０８の四肢関節に回転角度を測定する測定手段であるセンサー１６０１を組み込み、通訳者の手操作によって動かされた通訳者ぬいぐるみロボット１０８の四肢関節角度を数値化し利用者ぬいぐるみロボット１０７に定期的に伝送する。また通訳者ぬいぐるみロボット１０８の喜怒哀楽の表情パターンは目、眉毛、口の形などで表現するようにロボットに仕込み、喜怒哀楽パターンをスイッチで変更できるようにする。尚、図に於いて、１６０２，１６０５は、アクチュエータとしての眉毛可動部、１６０３，１６０６はアクチュエータとしての口元可動部、１６０４は、アクチュエータとしての四肢関節およびサーボモータである。
ロボットの四肢関節角度と表情パターンを組み合わせると例えば図１７のような表情・仕草で簡単な喜怒哀楽を伝えることができる。

通訳者ぬいぐるみロボット１０８の四肢関節角度（数値データ）、喜怒哀楽表情パターン（数値データ）を通訳者用パソコン１０３から利用者用パソコン１０２のロボット制御プログラム５０１０に伝送する。ロボット制御プログラム５０１０は伝送されてきたデータからロボットの四肢と表情を通訳者ぬいぐるみロボット１０８に一致させるようロボット制御装置５０１１に制御信号を出力する。

図１８にロボット制御データの伝送方式を示す。数値化したロボットの四肢関節角度データ並びに喜怒哀楽表情パターンデータは音声データと同様にＳＩＰプロトコルに従い通訳者側から利用者側に伝送路を確立した後（１８０６）、ＲＴＰプロトコルにより伝送する（１８０７）。音声伝送路とはポート番号を分けることでデータを識別する。

上述のようなメカニックなロボットを用いる代わりに、図１５に示す如く、前記利用者用パソコンは液晶画面１５０１を備えたものとし、液晶画面１５０１を露出させて利用者用パソコンをぬいぐるみで被包し、液晶表示ロボット制御プログラム５０１２を使って通訳者の操作に合わせて液晶画面にグラフィカルなロボットを表示し、このグラフィカルなロボットの動作を親ロボットの動作に追随して動作するように表示してもよい。この手法を用いるとロボット制御装置ＨＷやロボット本体が不必要なので経済的なメリットがある。

利用者はＷＥＢブラウザ５０９を用い通訳センターが提供する利用者向け通訳予約ＷＥＢシステムにアクセスし、通訳予約を行う。

図７に示すように利用者向け通訳予約ＷＥＢシステム７０１はＨＴＴＰプロトコルに準拠したＷＥＢ画面７０３を利用者向けに提供し、通訳予約管理を担う。通訳予約ＷＥＢシステム７０１では利用者入力に従いフロー７０４に示すように通訳プロフィールデータベースと通訳就業データベースを参照し、利用者の要求にあう通訳者と時間を選ぶ。

通訳予約ＷＥＢシステム７０１は利用者が選択した通訳者の通訳者ＩＤ、日付・時間をキーに通訳予定データベース７０２の予約情報を更新する。希望通訳者として第１希望から第３希望程度までを登録できるものとし、万一通訳者が事情で予定通り就業できない場合、センター・システムは希望順位に従って自動的に通訳を選ぶ際に希望順位を利用することができる。ＷＥＢブラウザ５０９はＨＴＴＰプロトコルに準拠した商用オペレーティングシステム付属品を使ってもよい。

利用者の幼児の年齢と言語能力が増して絵本や童謡のような教材を見聞きできるようになった場合、通訳した会話を聴くことに加え教材メディアを使った学習も有効である。このとき教材を利用者側で聴いて遊ぶのに加え、幼児のレベルに合わせて通訳者から問いかけや、逆に幼児から通訳者への発話という双方向のコミュニケーションを行うことが学習に一層効果的である。その際幼児がアクセスしている教材とアクセス中のページや見聞きしてきたページを通訳者が知ることが双方向のコミュニケーションをとる上で重要である。

教材共有プログラム５０１３は利用者が見ている教材を通訳者用パソコン１０３に表示し、逆に通訳者が利用者側に見せたい教材を利用者用パソコン１０２に利用者が操作せずに表示できるように制御するプログラムである。利用者側と通訳者側で双方の教材共有プログラム５０１３が教材の位置信号である文書番号と該当ページ番号を交換し互いのパソコンに教材を表示する仕掛けとする。

図２１に教材共有のプロトコルを示す。また利用者側あるいは通訳者側でアドリブに手書きしたグラフィカルな図形データを相互に転送して表示する機能を実装してもよい。教材共有データも音声データと同様にＲＴＰプロトコル及びＳＩＰプロトコルに従い通訳者側から利用者側に伝送する。音声伝送路とはポート番号を分けることでデータを識別する。

音声通信プログラム５０７、ロボット制御プログラム５０１０、教材共有プログラム５０１３は同じＩＰアドレスにそれぞれ異なるポート番号（Ｐ１、Ｐ２、Ｐ３）を割当てることで通訳者側の該当プログラムとセッションを張り通信を行う。
通訳者から送られてきた音声データは前述の通り音声圧縮・伸張処理プログラム５０６で伸張処理がなされオーディオインタフェースＨＷ ５０３経由スピーカーで再生される。

図８に通訳者側システムの概要を示す。通訳者側システムも通訳者用パソコン１０３を用いる。利用者側のシステムと同様に音声データの伝送はＩＰ上に構築した音声通信路を使用し音声通信用のハードとソフトの構成（８０３〜８０９）は利用者側のシステムと同等なので説明を割愛する。

通訳者側固有のハードとして呼び出し灯３０５がある。呼び出し灯３０５の使用目的はセンターから通訳者に業務連絡を行うために通訳者を通訳者用パソコン１０３の前に呼び出す時に使用する。呼び出し灯３０５のオンオフの制御は呼び出し灯コントローラ８０１３が行う。呼び出し灯コントローラ８０１３はオペレーティングシステムの起動時に自動起動してもよく、センターからＳＩＰ呼要求を受けた場合、呼び出し灯コントローラ８０１３は通訳者用パソコン１０３のシリアルＩＦを使って呼び出し灯制御リレーＳＷ（スイッチ）８０１４をＯＮにする。同時に通訳者用パソコン１０３の商用オペレーティングシステムが提供するメディアＩＦを使って通訳者用パソコン１０３内蔵のスピーカーからビープ音を鳴動させ、通訳者に呼び出しがあることを音でも伝える。

通訳者側のロボット制御プログラム８０１０とロボット制御装置８０１１は前述した利用者側のロボット制御プログラム８０１０とロボット制御装置８０１１とは機能が異なり、通訳者によるロボットの四肢や表情スイッチの操作に伴い生じた四肢の角度の変化と表情スイッチの変化をセンサーで捕らえ数値化データとして利用者側へ送信する。尚、送信プロトコルについては前述の通りである。

通訳者の音声を利用者の元に送信する際、声質変換プログラム８０１６によって声質を変換してもよい。キャラクタロボットの特徴に合わせて、男性の声、女性の声、高い声、低い声などの特徴を持つ声質に変換する。声質変換の原理は非特許文献（電子通信学会SP-87-68 LSP「分析合成系を用いた声質変換」 清水忠昭・菅田一博）など過去多数の研究報告でフォルマント、ピッチといった音声の声道特性をデジタル・フィルタの応用プログラムにより実現できることが報告されている。また特許文献「特許公開2004-177984」及び特許文献「特許公開H11-338480」に示すようにこれらの原理をカラオケ装置のボイスチェンジに応用する特許も提案されるに至っている。

通訳者はＷＥＢブラウザ８０９を用いてセンターが提供する通訳者向け通訳者就業予定ＷＥＢシステム４０１２にアクセスし、就業予定の登録・確認を行う。

図９に示す通り、通訳者就業予定ＷＥＢシステムはＨＴＴＰプロトコルに準拠したＷＥＢ画面９０３を通訳者向けに提供する。通訳者のＷＥＢ画面９０３入力に従いフロー９０４に示すように就業予定日付・時間をキーに通訳就業データベースと通訳予約データベース７０２にアクセスし通訳就業データベースを更新する。同図に示すように就業予定時間を白丸、就業予定時間中予約が埋まった時間を黒丸で表示してもよく、黒丸にハイパーリンク機能を持たせ、予約者の氏名を表示してもよい。

利用者側、センター側、通訳者側の各通信プログラムのＯＳＩモデルにおける位置付けを図１０に示す。またＯＳＩモデル第４層以上の接続関係を図１１に示す。前述の通り利用者、センター、通訳者の間ではそれぞれＷＥＢを用いて通訳予約、通訳就業管理、通訳予約管理業務などの業務処理を行う。一方、音声データについてはセンターが利用者と通訳者間の接続・中継機能１１０１４を実現する。

同機能を図１２に示す。通訳予約時間になり、利用者が通訳作業を依頼する場合、利用者は利用者用パソコン１０２から音声通信プログラム５０７を起動する。図１２に示す通り、このプログラムは起動されるとセンター側の音声通信制御プログラム４０６に対してＳＩＰプロトコルに従い、通訳者との間の音声通信の開始を要求する（１２０１）。音声通信制御プログラム４０６は通訳予約データベースを検索し（１２０２）、利用者の希望優先順位に従い通訳者のパソコンに呼び出し要求を行う（１２０３）。一定時間待っても通訳の応答が無い場合、次の優先順位の通訳に対して呼び出しを行う。通訳からオフフック応答１２０４を受けて利用者と当該通訳の間に音声伝送路を開設し（１２０５）、通訳業務を開始する。それと同時に交信ログ記録プログラム４０７を起動し、利用者と通訳の間の交信内容をファイルに記録する（１２０６）。また音声通信制御プログラムは通訳就業データベースの該当通訳者・該当日時のレコードを更新し通訳業務開始時間を記録する（１２０７）。

音声通信制御プログラムは当該通訳作業の終了をオンフック応答１２０８で検出し、音声伝送路をクローズする（１２０９）。同時に交信ログ記録プログラムを終了させる。同時に通訳就業データベースの該当通訳者・該当日時のレコードを更新し通訳業務終了時間を記録する（１２１０）。

センター職員は図１３に示す交信ログ参照プログラム１３０１を用いて過去の通訳交信内容を参照できる。交信ログファイル１３０３は交信ログディレクトリ１３０２を用いてファイルの所在を管理してもよく、ディレクトリには利用者ＩＤ・通訳ＩＤ・通訳開始日時・通訳終了日時を登録しておくことで、ログの検索を容易にすることもできる。交信ログは音声通信路のデータをシリアルに記録するので、データは圧縮されておりログを保存する際のファイル容量を節約できる。ログを参照する際には圧縮されたデータを前述のように伸張しディジタル・アナログ変換を行い聞くことができる。伸張したデータは一時ファイルに保管し参照する際にファイル上の参照位置を進めたり戻したりすることで、早送り、巻き戻し参照もできる。

図１４に示すように通訳就業データベース１４０２を集計して通訳者の就業実績や利用者への料金請求を定期的に算出する。集計結果はそれぞれ就業レポート１４０３、課金レポート１４０４として報告する。センターはこのレポートに基づいて給与支払い、料金請求を行ってもよい。

本発明による外国語学習通信システムの全体構成図である。 本発明による利用者側システムのハードウェア構成例図である。 本発明による通訳者側システムのハードウェア構成例図である。 本発明による通訳センターシステムの構成例図である。 本発明による利用者側システムの概要図である。 本発明によるＲＴＰパケットフォーマット図である。 本発明による利用者向け通訳予約ＷＥＢシステムの説明図である。 本発明による通訳者側システムの概要図である。 本発明による通訳者向け通訳就業予約ＷＥＢシステムの説明図である。 本発明による通信プログラムのＯＳＩモデルにおける位置付けの説明図である。 本発明による通信プログラム間接続関係図である。 本発明による通訳センター接続中継機能の説明図である。 本発明による通訳センター交信ログ参照プログラムの説明図である。 本発明による通訳センター課金プログラムの説明図である。 本発明によるぬいぐるみ型液晶画面の説明図である。 本発明によるロボットの関節と表情部品の説明図である。 本発明によるロボットの表情仕草の例の説明図である。 本発明によるロボット制御手法の説明図である。 本発明による学習達成度自動評価プログラムの処理フローである。 本発明による学習達成度評価ＷＥＢシステムの説明図である。 本発明による教材共有処理の説明図である。 本発明による主なデータファイル一覧図である。

符号の説明

１０１ センターコンピュータ
１０７ 利用者ぬいぐるみロボット
１０８ 通訳者ぬいぐるみロボット
２００２ 学習達成度管理データベース
１４０２ 通訳就業データベース
１５０１ 液晶画面

Claims (9)

1. 外国語を学習する利用者側に設置する利用者コンピュータと、外国語を学習させるため通訳を行なう通訳者側に設置する通訳者コンピュータとが、センターに設置されるセンターコンピュータにインターネットを介して通信自在に接続される外国語学習通信システムであって、
   前記利用者コンピュータは、利用者側の会話を集音する集音手段と、
   前記集音手段によって、集音した音声信号を前記センターコンピュータに送信する送信手段と、
   前記センターコンピュータから音声信号を受信する受信手段と、
   受信した音声信号を再生する音声再生手段とを備え、
   前記通訳者コンピュータは、前記センターコンピュータから送信される音声信号を受信する受信手段と、
   受信した音声信号を再生する音声再生手段と、
   再生した音声に基づき通訳者が通訳した音声を集音する集音手段と、
   集音した音声信号を前記センターコンピュータに送信する送信手段とを備え、
   前記センターコンピュータは、前記利用者コンピュータからの音声信号を受信する受信手段と、
   前記利用者コンピュータから受信した音声信号を前記通訳者コンピュータに送信する送信手段と、
   前記通訳者コンピュータからの音声信号を受信する受信手段と、
   前記通訳者コンピュータから受信した音声信号を前記利用者コンピュータに送信する送信手段とを備えていることを特徴とする外国語学習通信システム。
2. 前記利用者コンピュータが集音手段と音声再生手段とを備える構成に代えて、前記集音手段と音声再生手段は、利用者側に備えられる利用者ぬいぐるみロボットに設けられ、
   前記利用者ぬいぐるみロボットは、前記集音手段で集音した音声信号を前記利用者コンピュータに送信する送信手段と、
   前記利用者コンピュータから送信される音声信号を受信する受信手段と、
   受信した音声信号を再生する前記音声再生手段とを備え、
   前記利用者コンピュータは、前記利用者ぬいぐるみロボットから送信される音声信号を受信する受信手段と、
   前記センターコンピュータから受信した音声信号を前記利用者ぬいぐるみロボットに送信する送信手段とを備えることを特徴とする請求項１記載の外国語学習通信システム。
3. 前記通訳者側に通訳者ぬいぐるみロボットが備えられ、前記通訳者ぬいぐるみロボットは、通訳者の操作による通訳者ぬいぐるみロボットの手、足、又は、顔の表情の変化を測定する測定手段と、
   前記測定手段の測定信号を前記通訳者コンピュータに送信する送信手段とを備え、
   前記通訳者コンピュータは、前記通訳者ぬいぐるみロボットから前記測定信号を受信する受信手段と、
   受信した前記測定信号を前記センターコンピュータに送信する送信手段を備え、
   前記センターコンピュータは、前記通訳者コンピュータから前記測定信号を受信する受信手段と、
   前記測定信号に基づき、前記通訳者ぬいぐるみロボットの動きを前記利用者ぬいぐるみロボットに中継するための制御信号を生成するロボット制御中継手段と、
   前記制御信号を前記利用者コンピュータに送信する送信手段とを備え、
   前記利用者コンピュータは、前記センターコンピュータから前記制御信号を受信する受信手段と、
   受信した制御信号を前記利用者ぬいぐるみロボットに送信する送信手段を備え、
   前記利用者ぬいぐるみロボットは、前記利用者コンピュータからの前記制御信号を受信する受信手段と、
   受信した制御信号に基づき、利用者ぬいぐるみロボットの手、足、又は、顔の表情を変化させるアクチュエータとを備えていることを特徴とする請求項２記載の外国語学習通信システム。
4. 前記通訳者側に通訳者ぬいぐるみロボットが備えられ、前記通訳者ぬいぐるみロボットは、通訳者の操作による通訳者ぬいぐるみロボットの手、足、又は、顔の表情の変化を測定する測定手段と、
   前記測定手段の測定信号を前記通訳者コンピュータに送信する送信手段とを備え、
   前記通訳者コンピュータは、前記通訳者ぬいぐるみロボットから前記測定信号を受信する受信手段と、
   受信した前記測定信号を前記センターコンピュータに送信する送信手段を備え、
   前記センターコンピュータは、前記通訳者コンピュータから前記測定信号を受信する受信手段と、
   前記測定信号に基づき、前記通訳者ぬいぐるみロボットの動きを前記利用者コンピュータに中継するための制御信号を生成するロボット制御中継手段と、
   前記制御信号を前記利用者コンピュータに送信する送信手段とを備え、
   前記利用者コンピュータは、液晶画面と、
   前記液晶画面を露出させて前記利用者コンピュータを被包するぬいぐるみと、
   前記センターコンピュータから前記制御信号を受信する受信手段と、
   前記制御信号を表示信号に変える表示制御手段と、
   前記表示信号を前記液晶画面に表示させる表示手段とを備え、
   前記集音手段と音声再生手段は、前記ぬいぐるみ内に設けられることを特徴とする請求項１記載の外国語学習通信システム。
5. 前記利用者コンピュータは、前記センターコンピュータから受信した音声信号の声質を所定の声質に変換する声質変換手段を備えていることを特徴とする請求項１乃至４のうちいずれか一に記載の外国語学習通信システム。
6. 前記利用者コンピュータは、前記利用者コンピュータが参照中の教材の位置信号を前記センターコンピュータに送信する送信手段と、
   前記センターコンピュータから、前記通訳者コンピュータが参照中の教材の位置信号を受信する受信手段と、
   受信した前記位置信号に基づき、通訳者が参照する教材位置と同じ教材位置を表示する教材共有表示手段とを備え、
   前記センターコンピュータは、前記利用者コンピュータから受信した前記位置信号を前記通訳者コンピュータに中継送信し、前記通訳者コンピュータから受信した前記位置信号を前記利用者コンピュータに中継送信する教材中継手段を備え、
   前記通訳者コンピュータは、前記通訳者コンピュータが参照する教材の位置信号を前記センターコンピュータに送信する送信手段と、
   前記センターコンピュータから、利用者が参照する教材の位置信号を受信する受信手段と、
   受信した前記位置信号に基づき、前記利用者コンピュータが参照する教材位置と同じ教材位置を表示する教材共有表示手段とを備えることを特徴とする請求項１乃至５のうちいずれか一に記載の外国語学習通信システム。
7. 前記センターコンピュータは、通訳者の就業状況を記録する通訳就業データベースと、
   前記通訳者コンピュータから通訳者の就業状況を受信する受信手段と、
   受信した就業状況を前記通訳就業データベースに登録する登録手段と、
   前記利用者コンピュータから通訳の予約を受信する受信手段と、
   受信した通訳の予約に基づき、前記通訳就業データベースから、前記予約に合致する通訳者と時間とを選択する選択手段とを備えたことを特徴とする請求項１乃至６のうちいずれか一に記載の外国語学習通信システム。
8. 前記センターコンピュータは、予め語彙を登録した語彙リストと、
   学習対象者の学習達成状況を登録あるいは参照するための学習達成度管理データベースと、
   学習対象者の音声を認識する認識手段と、
   認識した学習対象者の音声を入力として語を切り出す切り出し手段と、
   切り出した語を前記語彙リストに登録された語彙と比較する比較手段と、
   比較して一致した語があれば、その一致回数をカウントするカウント手段と、
   カウントした一致回数を学習達成度管理データベースに記録する記録手段と、
   前記通訳者コンピュータから受信した学習達成度評価情報及びセンターの指導員が前記センターコンピュータに入力した学習達成度評価情報を学習達成度管理データベースに登録する登録手段とを備え、
   前記通訳者コンピュータは前記センターコンピュータに接続して、前記学習達成度管理データベース内の学習達成度評価情報を参照自在の参照手段を備え、
   前記利用者コンピュータは前記センターコンピュータに接続して、前記学習達成度管理データベース内の学習達成度評価情報を所定の条件の下に参照自在の参照手段を備えていることを特徴とする請求項１乃至７のうちいずれか一に記載の外国語学習通信システム。
9. 前記センターコンピュータは、前記通訳就業データベースから、通訳者の就業実績及び利用者への料金請求を定期的に算出する算出手段を備えていることを特徴とする請求項７又は８に記載の外国語学習通信システム。

Images