[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2003162527A - コミュニケーション支援装置及びコミュニケーション支援方法 - Google Patents

コミュニケーション支援装置及びコミュニケーション支援方法

Info

Publication number
JP2003162527A
JP2003162527A JP2001357949A JP2001357949A JP2003162527A JP 2003162527 A JP2003162527 A JP 2003162527A JP 2001357949 A JP2001357949 A JP 2001357949A JP 2001357949 A JP2001357949 A JP 2001357949A JP 2003162527 A JP2003162527 A JP 2003162527A
Authority
JP
Japan
Prior art keywords
input
user
language
information
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001357949A
Other languages
English (en)
Other versions
JP3933449B2 (ja
Inventor
Tetsuro Chino
哲朗 知野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001357949A priority Critical patent/JP3933449B2/ja
Priority to US10/294,819 priority patent/US7277845B2/en
Priority to CNB021524084A priority patent/CN100429649C/zh
Publication of JP2003162527A publication Critical patent/JP2003162527A/ja
Application granted granted Critical
Publication of JP3933449B2 publication Critical patent/JP3933449B2/ja
Priority to US11/892,448 priority patent/US8676562B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】コミュニケーションを効果的に支援する。 【解決手段】磁気センサー部１３は、ペンデバイス１１
による手書き入力を検出する。文字記号認識部１４は、
手書き入力から文字記号を認識し、言語記号翻訳部１５
は、認識された文字記号を翻訳する。また、制御部１８
は、例えばペンデバイス１１の操作によって、利用者の
位置を求め、利用者の位置の情報を配置情報記憶部１７
に記憶させる。制御部１８は、翻訳結果を利用者の位置
に応じた向きで画像表示部１２の画面上に表示させる。
また、制御部１８は、絵柄はそのまま表示し、文字だけ
でなく記号についても翻訳処理を施す。これにより、効
果的なコミュニケーションの支援が可能となる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、利用者間で用いら
れる言語を翻訳して相手に効果的に提示するコミュニケ
ーション支援装置及びコミュニケーション支援方法に関
する。
【０００２】
【従来の技術】近年、一般の人でも海外に出かける機会
が増加しており、また、他国に暮らす外国人も増加して
いる。更に、インターネット等、通信技術や計算機ネッ
トワーク技術の進歩も著しく、外国語に接する機会や、
外国人と交流する機会が増大し、異言語間あるいは異文
化間交流の必要性が高まってきている。これは、世界規
模のボーダーレスからも必至の流れであり、今後もその
傾向が加速されていくものと考えられる。
【０００３】このような異言語間又は異文化間交流のた
めに、異なる言葉を母語とする人同士のコミュニケーシ
ョンである異言語間コミュニケーションや、異なる文化
的背景を持つ人同士のコミュニケーションである異文化
間コミュニケーションの必要性が増大している。
【０００４】自分の母国語と異なる言語を話す人とコミ
ュニケーションをする方法としては、いずれか一方の人
が外国語である相手の言語を修得する方法、複数の言語
を相互に翻訳して会話相手に伝える通訳者を利用する方
法等が考えられる。
【０００５】しかし、外国語の習得は誰にとっても容易
ではなく、また、習得のために多大な時間と費用を要す
る。更に、仮に１つの外国語を習得できたとしても、コ
ミュニケーションを行いたい相手がその習得できた言語
を使用することができない場合には、第２、第３の外国
語を習得する必要があり、言語の修得の困難性が増大す
る。また、通訳者は特殊な技能を持った専門職であり、
人数も限られ、その費用も高く、一般にはあまり利用さ
れていない。
【０００６】そこで、一般の人が海外旅行をする際等に
遭遇しそうな場面で想定される会話フレーズを対訳とと
もに記載した会話フレーズ集を利用する方法が考えられ
る。会話フレーズ集には、定型フレーズ等のコミュニケ
ーションのための表現が収録されている。
【０００７】しかしながら、会話フレーズ集等では収録
数が限られるために、実際の会話において必要となる表
現を網羅することができず不充分である。また、会話集
等に収録されている定型フレーズを利用者が記憶するこ
とは、外国語習得と同様に極めて困難である。しかも、
会話フレーズ集は書籍であることから、実際の会話の場
面において、必要な表現が記載されているページを迅速
に探し出すことが困難であり、実際のコミュニケーショ
ンでは必ずしも有効ではない。
【０００８】そこで、このような会話集のデータを電子
化して、例えば携帯可能なサイズの電子機器とした電訳
機が利用されることがある。利用者は電訳機を例えば手
に持って、キーボードやメニュー選択操作によって翻訳
する文章を指定する。電訳機は入力された文章を他国語
に変換し、変換（翻訳）後の文章をディスプレイ上に表
示したり他国語で音声出力する。こうして、相手とのコ
ミュニケーションがとられる。
【０００９】しかしながら、電訳機は、必要とするフレ
ーズの検索の手間を、書籍である会話集に比べて若干は
軽減しているものの、相変わらず限られた定型フレーズ
と、そのフレーズを部分的に変形した若干の拡張表現が
扱えるのみであり、異なる言語を使う人同士の十分なコ
ミュニケーションを可能にすることはできない。
【００１０】また、電訳機の収録フレーズ数を増加させ
ると、電訳機の操作が基本的にキーボードやメニュー選
択によって行われることから、翻訳する文章の選択が困
難となってしまい、実際のコミュニケーションにおける
有効性が低下してしまう。
【００１１】
【発明が解決しようとする課題】このように、従来、異
なる言語を用いる人同士のコミュニケーションを十分に
円滑にすることを可能にするコミュニケーションツール
はないという問題点があった。
【００１２】本発明は、かかる問題点に鑑みてなされた
ものであって、異なる言語を用いる人同士の円滑なコミ
ュニケーションを可能にすることができるコミュニケー
ション支援装置及びコミュニケーション支援方法を提供
することを目的とする。
【００１３】
【課題を解決するための手段】本発明の請求項１に係る
コミュニケーション支援装置は、表示画面との間に所定
の位置関係を有して位置する複数の利用者のうちの所定
の利用者による第１の言語に基づく基準描画を前記表示
画面上に描画する第１の描画手段と、前記基準描画によ
って得られる情報を第２の言語に基づく情報に変換する
と共に、前記基準描画と所定の関係を有する関連描画を
得る変換手段と、前記基準描画とは異なる位置及び向き
で前記表示画面上に前記関連描画を描画する第２の描画
手段とを具備したものであり、本発明の請求項３に係る
コミュニケーション支援装置は、第１の利用者からの第
１の言語による入力メッセージを受け入れる入力手段
と、前記第１の言語の入力メッセージを第２の利用者へ
の第２の言語の出力メッセージに変換する翻訳手段と、
前記第２の利用者の位置に応じた指向性を有して前記第
２の言語による出力メッセージを提示する提示手段とを
具備したものである。
【００１４】本発明の請求項９に係るコミュニケーショ
ン支援装置は、複数の利用者の空間的配置を検出して位
置情報を取得する配置検出手段と、前記配置検出手段が
得た位置情報を保存する位置記憶手段と、前記複数の利
用者のうちの第１の利用者からの第１の言語による入力
メッセージを受け入れる入力手段と、前記第１の言語の
入力メッセージを第２の利用者への第２の言語の出力メ
ッセージに変換する翻訳手段と、前記位置記憶手段に記
憶されている位置情報を用いて前記第１及び第２の利用
者の位置に応じた指向性で前記第１及び第２の言語によ
る入出力メッセージを提示する提示手段とを具備したも
のであり、本発明の請求項１０に係るコミュニケーショ
ン支援方法は、複数の利用者の空間的配置を検出して位
置情報を取得する配置検出手順と、前記配置検出手段が
得た位置情報を保存する位置記憶手順と、前記複数の利
用者のうちの第１の利用者からの第１の言語による入力
メッセージを受け入れる入力手順と、前記第１の言語の
入力メッセージを第２の利用者への第２の言語の出力メ
ッセージに変換する翻訳手順と、前記位置記憶手順にお
いて記憶した位置情報を用いて前記第１及び第２の利用
者の位置に応じた指向性で前記第１及び第２の言語によ
る入出力メッセージを提示する提示手順とを具備したも
のである。
【００１５】本発明の請求項１において、第１の描画手
段は、表示画面との間に所定の位置関係を有して位置す
る複数の利用者のうちの所定の利用者による第１の言語
に基づく基準描画を前記表示画面上に描画する。変換手
段は、基準描画によって得られる情報を第２の言語に基
づく情報に変換すると共に、基準描画と所定の関係を有
する関連描画を得る。第２の描画手段は、得られた関連
描画を、基準描画とは異なる位置及び向きで表示画面上
に描画する。基準描画と所定の関係を有する関連描画
は、基準描画と異なる位置及び向きで表示画面上に配置
され得るので、表示画面に対する位置関係が異なる複数
の利用者において、基準描画と関連描画の少なくとも一
方が見やすい位置及び向きに表示させることも可能であ
る。
【００１６】本発明の請求項３において、第１の利用者
からの第１の言語による入力メッセージは、入力手段に
よって受け入れられる。翻訳手段は、第１の言語の入力
メッセージを第２の利用者への第２の言語の出力メッセ
ージに変換する。変換された出力メッセージは、第２の
利用者の位置に応じた指向性を有して提示される。これ
により、出力メッセージを第２の利用者が用いる第２の
言語で見やすい方向に提示することができる。
【００１７】本発明の請求項９においては、配置検出手
段によって、複数の利用者の空間的配置が検出され位置
情報が取得される。この位置情報は位置記憶手段に保存
される。入力手段が受け入れた第１の利用者からの第１
の言語による入力メッセージは、翻訳手段によって第２
の利用者への第２の言語の出力メッセージに変換され
る。提示手段は、位置記憶手段に記憶されている位置情
報を用いて第１及び第２の利用者の位置に応じた指向性
で第１及び第２の言語による入出力メッセージを提示す
る。これにより、第１及び第２の利用者は、夫々第１，
第２の言語による入出力メッセージが、自分の位置に応
じた向きに提示され、意志の疎通が容易となる。
【００１８】本発明の請求項１０においては、配置検出
手順において、複数の利用者の空間的配置が検出され
て、その位置情報が記憶される。複数の利用者のうちの
第１の利用者からの第１の言語による入力メッセージが
受け入れられると、第１の言語の入力メッセージは第２
の利用者への第２の言語の出力メッセージに変換され
る。第１及び第２の言語による入出力メッセージは、記
憶された位置情報を用いて第１及び第２の利用者の位置
に応じた指向性で提示される。
【００１９】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図１は本発明の一実
施の形態に係るコミュニケーション支援装置を示すブロ
ック図である。
【００２０】本実施の形態は、近年の音声認識技術や手
書き文字入力の自動認識技術の発展、自然言語処理技
術、特にテキストに対する機械翻訳技術の高速化及び精
度の向上等の背景に鑑み、これらの技術を活用して異言
語間のコミュニケーションを円滑にするものである。
【００２１】即ち、本実施の形態は利用者からの入力メ
ッセージを受け付け、メッセージの提供先の他の利用者
が理解可能にする翻訳処理を行った後、この利用者の位
置に応じて翻訳されたメッセージの提示方向を決定する
ことにより、利用者相互間のコミュニケーションを効果
的に支援するようになっている。
【００２２】ところで、他国語を話す外国人とのコミュ
ニケーションをとる方法として有効なものに、ペンや鉛
筆とメモ帳等を利用して、図や文字を書きながら相手と
会話する筆談という方法がある。絵や画像等を手書きで
表示することによって、相手との効果的なコミュニケー
ションが得られる。しかし、絵や画像だけでは、表現可
能な具体的な事物以外を相手に伝えることは困難であ
り、また、コミュニケーションを行う双方の人の文化的
背景が異なるため、記号や文化に依存したシンボルや図
形は必ずしも有効でない。
【００２３】また、例えば日本語と中国語のように、双
方とも漢字という共通のアルファベット（文字）を用い
ていると考えられている言語同士であっても、実際に使
われる漢字の種類（形状）が相違するため、必ずしも筆
談が有効なコミュニケーション手段になるとは限らな
い。
【００２４】そこで、本実施の形態においては、筆談の
持つ有効性を考慮して、手書き入力を可能にし、手書き
入力された文章を翻訳すると共に、翻訳した文章を相手
の位置に応じた向きに表示するか又は音声出力すること
によって、効果的なコミュニケーションを可能にするよ
うになっている。また、この場合には、各種記号及びシ
ンボルについても、各国の言語及び文化に応じて翻訳
（変換）処理を行うことで、コミュニケーションの有効
化を図るようになっている。
【００２５】図１において、コミュニケーション支援装
置１０は、少なくとも１つ以上のペンデバイス１１と、
画像表示部１２、磁気センサー部１３、文字記号認識部
１４、言語記号翻訳部１５、表示情報記憶部１６、配置
情報記憶部１７、及び制御部１８等によって構成されて
いる。
【００２６】ペンデバイス１１（１１ａ，１１ｂ，…）
は、それぞれのデバイス毎に固有の識別信号を含む磁気
信号をペン先から出力するようになっている。画像表示
部１２上には磁気センサー部１３が設けられており、利
用者がペンデバイス１１を手で保持して、画像表示部１
２上をペン先でトレースすることによって、文字や、記
号や、図形等の画像情報を手書き入力することができる
ようになっている。
【００２７】画像表示部１２は、例えば液晶ディスプレ
イ（ＬＣＤ）等によって構成され、後述する制御部１８
の指示に従って、文字や、記号や、図形等の画像情報を
利用者に適宜提示することができるようになっている。
【００２８】磁気センサー部１３は、各ペンデバイス１
１が発する磁気信号を受け取り解析することによって、
各ペンデバイス１１の空間内での位置や、動き等の軌跡
に関する情報や、本体との接触の状態、あるいはペンデ
バイス１１の姿勢に関する情報をペン入力情報として得
て、制御部１８に出力するようになっている。
【００２９】本実施の形態においては、制御部１８は、
ペンデバイス１１の姿勢等に関する情報によって、ペン
デバイス１１を使用した利用者と装置１０（画像表示部
１２）との相対的な位置関係を把握することができるよ
うになっている。
【００３０】文字記号認識部１４は、制御部１８から供
給されるペン入力情報を解析することによって、手書き
入力による文字や、記号や、図形や、描画画像を分離抽
出し、ペン先の軌跡と、種別と、内容や位置あるいは向
きに関する情報を認識結果情報として得て制御部１８に
出力する。なお、ペンデバイスによる手書き入力の認識
処理は、例えば、特許第３１６７７９９号「オンライン
手書き文字認識」で用いられている方法と同様の方法を
採用することができる。
【００３１】本実施の形態においては、制御部１８は、
文字記号認識部１４の認識結果によって入力された文字
記号等の向きを検出して、認識対象となった文字等を手
書き入力した利用者と装置１０（画像表示部１２）との
相対的な位置関係を把握することができるようになって
いる。また、制御部１８は、文字記号等がいずれの言語
に対応しているかを検出し、検出結果に応じて各言語に
対応した文字を入力した利用者と装置１０（画像表示部
１２）との相対的な位置関係を把握することもできるよ
うになっている。
【００３２】また、制御部１８は、手書き入力を解析
し、手書き入力時の筆跡や筆圧に関する情報や、入力画
像の特徴等を抽出して分析することによって、手書き入
力を行った利用者を判定することも可能である。
【００３３】言語記号翻訳部１５は、制御部１８から供
給される認識結果情報の中から、言語情報と、言語種又
は文化固有の記号を抽出し、翻訳先の言語への翻訳を行
い、翻訳結果情報を制御部１８に出力するようになって
いる。なお、言語情報の翻訳処理は、例えば特許第３１
３１４３２号「機械翻訳方法及び機械翻訳装置」で用い
られている方法と同様の方法を採用することができる。
【００３４】制御部１８は、ペン入力情報、認識結果情
報、翻訳結果情報等に基づいて各種の表示情報を得る。
制御部１８は、これらの各種表示情報を適宜分類して表
示情報記憶部１６に保存させるようになっている。
【００３５】図２は図１中の表示情報記憶部１６の記憶
内容の一例を示す説明図である。
【００３６】図２に示すように、表示情報記憶部１６
は、入力された情報を、ＩＤ情報、位置情報、向き情
報、種別情報、軌跡情報、対訳ＩＤ情報、内容情報等に
分類して記憶するようになっている。
【００３７】図２に示す表示情報記憶部１６の各エント
リにおいて、ＩＤ情報の欄は、各エントリの識別記号が
記述されている。位置情報の欄には、各表示情報の画像
表示部１２及び磁気センサー部１３における位置及び領
域が、画像表示部１２の座標系に基づく座標として記録
される。例えば、画像表示部１２上の画面位置が、その
左上隅を原点として、右方向に伸びるＸ軸での座標値
と、下方向に伸びるＹ軸での座標値の組で（Ｘ，Ｙ）と
表されるようになっており、例えば、ＩＤ情報がＩ3 の
エントリの位置情報の値Ｌ3 が、具体的には（１０，２
０）等のように記述されるようになっている。
【００３８】図２の例ではこのＩ3 のエントリに対応す
る入力は日本語の「家」を表す日本語文字であって、表
示画面上の座標（１０，２０）の位置に表示されている
ことを示している。
【００３９】向き情報の欄には、各表示情報の正立方向
を、画面上の座標系に基づくベクトル表現で記憶され
る。なお、正立方向を持たない表示情報に関しては、記
号「−」が記録される。
【００４０】種別情報の欄には、各表示情報の種類が、
「図形」、「日本語」、「英語」、「日記号」、「英記
号」等のように記録されるようになっている。軌跡情報
の欄には、ペン入力情報から得られる各表示情報に対応
する入力描画軌跡が記録されるようになっている。な
お、言語記号翻訳部１５によって得られる翻訳結果に対
応するエントリでは、軌跡情報が存在しないため、記号
「−」が記録されている。
【００４１】また、対訳ＩＤ情報の欄には、翻訳対とし
て対応する表示情報のエントリのＩＤ情報が記録される
ようになっている。なお、翻訳対の存在しないエントリ
では、記号「−」が記録される。
【００４２】内容情報の欄には、画像表示部１２に表示
すべき情報の内容（コンテンツ）が記録されるようにな
っている。なお、図形等においては、この欄に記号
「−」が記述されるが、これは軌跡情報がそのまま表示
すべき情報であることを示している。
【００４３】図１において、配置情報記憶部１７は、各
利用者の装置１０（画像表示部１２）に対する空間的な
配置に関する情報が記録されるようになっている。
【００４４】図３は図１中の配置情報記憶部１７の内容
の一例を示す説明図である。
【００４５】図３に示すように、配置情報は、ユーザＩ
Ｄ情報、配置情報及び正立方向情報等に分類されて記憶
される。配置情報記憶部１７の各エントリにおいて、ユ
ーザＩＤ情報の欄には、各ユーザを識別するための記号
が記録される。配置情報の欄には、対応するユーザと装
置１０の空間的な位置関係が、装置１０の画像表示部１
２の画面上の座標系に沿って記述されるようになってい
る。
【００４６】つまり、画像表示部１２の画面上の座標系
として採用されているＸ軸及びＹ軸を＋，−双方向に外
挿した座標軸によって、装置１０と各利用者との位置が
表現される。例えば、図３のユーザＩＤ情報が利用者Ｊ
であるエントリの、配置情報Ｐ1 の値が、（２００、−
１５００）である場合には、利用者がＹ軸のマイナス方
向（画像表示部１２の画面から見て上方向）の座標値１
５００に対応する位置に、利用者が位置することが示さ
れる。
【００４７】また、正立方向情報の欄には、対応するユ
ーザに対して情報を提示する際に、提示するメッセージ
を、そのユーザからみて正立となる方向が画像表示部１
２の画面上の座標形に沿ってベクトル表現で記録される
ようになっている。
【００４８】図１において、制御部１８は、装置１０の
各部を制御するようになっている。
【００４９】また、制御部１８は、手書き入力を解析し
て、その手書き入力で用いられている表現の様式に関す
る情報である入力様式情報を検出する様式検出機能も有
しており、言語種情報と、入力様式情報の組を記憶し、
記憶した情報の組を参照して、出力メッセージの言語種
に応じて、同一の言語でなされた入力の様式と同様の様
式となるよう出力の様式を制御することも可能である。
【００５０】次に、このように構成された実施の形態の
動作について図４を参照して説明する。図４は制御部１
８が行う処理手順に対応するフローチャートである。
【００５１】なお、各利用者について配置情報記憶部１
７にエントリが用意され、利用者の装置１０に対する位
置と正立方向に関する情報とが、例えば上述した各方法
によって取得されて予め配置情報記憶部１７に記録され
ているものとする。
【００５２】図４のステップＳ1 において、制御部１８
は、ペン入力発生の待機状態となる。利用者がペンデバ
イス１１を用いた手書き入力を行うと、磁気センサー部
１３は、利用者のペンデバイス１１の操作によるペン先
の位置、状態等を検出し、制御部１８にペン入力情報と
して随時出力する。
【００５３】次に、ステップＳ2 において、表示情報の
記憶が行われる。即ち、制御部１８は、ペン入力情報を
受け取ると、その情報を文字記号認識部１４に出力す
る。ステップＳ3 において、文字記号認識部１４はペン
入力に対する言語記号認識処理を行い、認識結果情報を
制御部１８に出力する。
【００５４】制御部１８は、文字記号認識部１４からの
認識結果情報を受け取ると、新たなエントリを用意し
て、表示情報記憶部１６に受け取った情報を適宜分類し
て記録する。そして、その際、そのエントリの対訳ＩＤ
情報の欄には記号「−」を記録する。
【００５５】制御部１８は、ステップＳ4 において、表
示情報記憶部１６の各エントリを、種別情報の欄と対訳
ＩＤ情報の欄に注目して検索し、対訳ＩＤ情報の内容が
「−」であるもののなかから、種別情報の内容が、日本
語、英語等の言語の種類であるか、あるいは日記号や英
記号等の言語依存の記号の種類であるエントリを抽出す
る。
【００５６】制御部１８は、抽出した全てのエントリＥ
ｓについて、以後ステップＳ5 〜Ｓ7 の処理を繰返す。
即ち、制御部１８は、対訳が記録されていないエントリ
の認識結果情報を言語記号翻訳部１５に送る。言語記号
翻訳部１５は、認識結果情報に対する翻訳処理を行っ
て、翻訳結果情報Ｒｓを得る（ステップＳ5 ）。言語記
号翻訳部１５は、翻訳結果情報Ｒｓを制御部１８に出力
する。
【００５７】次に、制御部１８は、表示情報記憶部１６
に新たなエントリＥｔを用意し、エントリＥｔの種別情
報の欄に、翻訳結果情報Ｒｓの翻訳結果の種別を記録す
る。また、制御部１８は、エントリＥｔの内容情報の欄
に、翻訳結果情報Ｒｓの翻訳結果を記録する。
【００５８】次に、制御部１８は、ステップＳ7 におい
て、配置情報記憶部１７を参照して、このエントリＥｄ
に対応する翻訳結果を受け取るべきユーザの配置情報の
値Ｐｔと、正立方向情報の値Ｖｔとを得る。そして、制
御部１８は、エントリＥｔ向き情報の欄に、値Ｖｔを記
録する。制御部１８は、表示情報記憶部１６の内容を参
照して、他のエントリの位置情報と重複せず、且つエン
トリＥｓの位置情報の示す位置と近い位置Ｌｔを探し
て、エントリＥｔの位置情報の欄に記録する。
【００５９】次に、ステップＳ8 において、次のエント
リの情報を読出して、ステップＳ4〜Ｓ8 の処理を繰返
す。全てのエントリについての対訳を記録すると、次の
ステップＳ9 に移行して、表示を行う。
【００６０】即ち、制御部１８は、表示情報記憶部１６
の内容を参照して、それぞれのエントリが表す情報を、
それぞれのエントリの位置情報が示す位置に、それぞれ
のエントリの向き情報が示す方向を正立方向として表示
させるように、画像表示部１２に出力する。
【００６１】次に、図５及び図６の説明図を参照して、
具体的な使用法について説明する。図５及び図６の説明
は図２に対応している。
【００６２】図５は日本語を用いる第１の利用者Ｊと、
英語を用いる第２の利用者Ｅとが、向かい合って、装置
１０を両者の間において、地図を描きながら場所を説明
するために装置１０を利用する場面を想定している。図
６は画像表示部１２の画面表示を示している。
【００６３】いま、図６（ａ）に示すように、利用者Ｊ
が、ペンデバイス１１によって、川を表す線描Ｉ1 を記
入するものとする。この入力により、図４のステップＳ
1 ，Ｓ2 の処理が実行されて、表示情報記憶部１６のＩ
Ｄ情報＝Ｉ1 のエントリが生成される。
【００６４】このエントリＩ２は、種別が図形である。
文字記号認識部１４は、手書き入力が文字又は記号でな
いことを認識する。従って、この場合には、制御部１８
は、図４のステップＳ4 からステップＳ9 に処理を移行
して、ユーザが記入した線描のみを、そのまま画像表示
部１２に出力する。こうして、画像表示部１２の画面上
に川の絵が表示される。
【００６５】次に、利用者Ｊが、家を表す線描図形Ｉ2
を入力するものとする。そうすると、同様にして、表示
情報記憶部１６のＩ2 のエントリが生成され、その線描
図形がそのまま追加されて画像表示部１２の画面上に表
示される。
【００６６】ここで、利用者Ｊが、家を表す線描図形の
近くに、日本語で「家」と入力するものとする。そうす
ると、制御部１８によって、表示情報記憶部１６にＩ3
のエントリが生成される。このエントリは、翻訳可能な
言語情報であり、文字記号認識部１４の認識結果によっ
て、表示情報記憶部１６に対訳である英語の"HOME"のエ
ントリＩ4 が生成される。また、制御部１８は、エント
リＩ4 に対応する表示を、その位置が他の表示に重複せ
ず、翻訳の元である日本語の「家」に近くで、且つ利用
者Ｅに配置位置が近く、その文字の向きが利用者Ｅから
見て正立する方向となるように設定する。
【００６７】制御部１８の設定に基づいて、ステップＳ
14において、これまでの表示内容に加えて、利用者Ｊに
よって入力された日本語の文字「家」が表示され、更に
その近くに英語対訳である英語文字列「HOME」が、利用
者Ｅから見て正立するように表示される。
【００６８】次いで、図６（ｅ）に示すように、利用者
Ｅによって、橋を表す線描図形と、英語文字列"bridge"
とが手書き入力されるものとする。これに対して上記各
処理が同様に行われて、日本語の対訳文字列「橋」が利
用者Ｊから見て正立するように追加される。
【００６９】次に、利用者Ｊが、郵便局を表す記号
「〒」を手書き入力するものとする。そうすると、文字
記号認識部１４は手書きで描画された絵柄を言語文化依
存のシンボルとして抽出する。更に、言語記号翻訳部１
５は、このシンボルに対して、英語の文字列"post offi
ce"の翻訳結果を得る。制御部１８は、この文字列を利
用者Ｅから正立する注釈として追加表示させる（図６
（ｆ））。
【００７０】このように本実施の形態においては、利用
者の手書きメッセージが文字記号であるか否かを判定
し、文字だけでなく記号についても他の利用者のための
翻訳処理を行い、更に、翻訳結果をこの利用者に正立す
るメッセージとして提示している。文字だけでなく、記
号や絵を利用した筆談を採用していることから、定型フ
レーズ等のコミュニケーションのための表現の収録数が
少ない場合でも、コミュニケーションに必要な多くの情
報を相手に提供することが可能である。しかも、文字や
絵の手書きによる入力が可能であり、入力操作が極めて
容易である。絵や記号と文字との複合的な翻訳処理を行
っており、画像イメージを利用したコミュニケーション
を極めて簡単にし、例えば、場所の説明等に有効であ
る。しかも、本来翻訳の対象とならない記号やシンボル
等についても文字によって表現するという翻訳処理を行
っており、メッセージの理解を容易にすることができ
る。
【００７１】更に、本実施の形態においては、各利用者
の位置に応じて、メッセージの提示位置及び方向を決定
していることから、自分が書いた文字記号や相手が書い
た文字記号の翻訳結果を同時に正立して見ることがで
き、コミュニケーションを極めて効果的に支援すること
ができる。
【００７２】例えば、１つの共有表示画面を複数の利用
者が共有し、複数の利用者がその共有表示画面内に、各
々のペンデバイスで手書き入力を行うようにして利用す
るようにすると共に、例えば日本語を話す第１の利用者
が描いたある図形の横に第１の利用者が日本語で更に注
釈を書き込んだ際に、その日本語の注釈を例えば英語を
話す第２の利用者向けに英語に翻訳して、元の日本語の
メッセージと並べて表示する。この場合に、例えば、そ
の図形の下の近傍領域の中で、第２の利用者に物理的に
近い位置に、英語に翻訳された注釈を表示するようにし
ている。
【００７３】また例えば、机をはさんで対面している、
日本語を話す第１の利用者と英語を話す第２の利用者と
が、１つの共有表示画面を両者の間に有る机の上に平ら
に置いて利用するような場合において、第１の利用者が
描いたある図形の横に日本語で更に注釈を書き込んだ際
に、日本語の注釈の英語の翻訳結果を第２の利用者向け
に表示する際に、その図形の下の近傍領域の中で、第２
の利用者から見て英語の注釈が正立する方向に向けて表
示させる。
【００７４】また例えば、利用者からの手書きによる入
力を受付ける場合に、例えば入力される文字や図形の向
きや、あるいは入力ストロークの進行方向等を解析する
ことで、その入力を行っている利用者の装置１０に対す
る空間的な位置関係を検出して記憶し、その情報に基づ
いて、各利用者に対して提示されるメッセージの提示方
法を制御し、その利用者に対して例えば文字情報による
メッセージを提示する際に、上述の処理で検出された利
用者の位置情報を参照して、その利用者の位置から見て
正立するように、そのユーザに対する文字情報を出力さ
せる。
【００７５】また例えば、利用者からの手書きによる入
力を受付け、例えば、そこに含まれる文字の種類を解析
することによって、そこで使われた言語の種類を同定
し、その情報を利用して、利用者への出力の様式の制御
に利用するように構成したものである。
【００７６】また例えば、第１の利用者からの手書き入
力を解析することによって、その入力が例えば日本語で
なされていることと、そこに含まれる文字の正立方向と
を同定し、第２の利用者からの例えば英語による入力を
日本語に翻訳して第１の利用者に提示する際に、前述の
処理によって同定された、第１の利用者からの日本語に
よる手書き入力の正立方向と同じ方向で、第２の利用者
からの英語による入力の翻訳結果である日本語によるメ
ッセージを出力するように構成したものである。
【００７７】また、第１の利用者は例えば日本語を用
い、第２の利用者は例えば英語を用いるといった情報を
記憶しておくことで、ある入力を受け取った際にその入
力を解析してその言語種を同定したり、利用者の空間的
な位置情報の同定結果に付与したりして記憶して、後の
メッセージの提示方法の制御に活用することもできる。
【００７８】上記実施の形態においては、入力装置とし
てペンデバイス及び磁気センサー部を有する画像表示部
を用い、提示装置として画像表示部を用いたが、音声を
入出力するマイク及びスピーカを用いることで、音響に
よっても同様のコミュニケーション支援が可能であるこ
とは明らかである。
【００７９】図７は本発明の第２の実施の形態を示すブ
ロック図であり、音響によるコミュニケーション支援を
可能にした装置を示している。図７において図１と同一
の構成要素には同一符号を付して説明を省略する。
【００８０】本実施の形態のコミュニケーション支援装
置２０はマイクロフォン（マイク）２１ａ，２１ｂ及び
スピーカ２２ａ，２２ｂを付加すると共に、音響認識部
２５、音響翻訳部２６及び音響出力部２７を付加した点
が図１の実施の形態と異なる。
【００８１】図８はマイク２１ａ，２１ｂ及びスピーカ
２２ａ，２２ｂの実際の配置を説明するための説明図で
ある。図８に示すように、一対のマイク２１ａ，２１ｂ
は画像表示部１２の一辺の両端に取り付けられ、一つの
スピーカ２２ａ，２２ｂはマイクが取り付けられた一辺
に対向する辺の両端に取り付けられる。
【００８２】マイク２１ａ，２１ｂは取り込んだ音声信
号を制御部１８に出力する。一対のマイク２１ａ，２１
ｂは所定の距離だけ離間して配置されており、各マイク
２１ａ，２１ｂからの音声信号の時間的な遅延関係等に
よって、制御部１８は、マイク２１ａ，２１ｂに取り込
まれた音声信号を発した利用者の位置を特定することが
できるようになっている。
【００８３】制御部１８はマイク２１ａ，２１ｂからの
音声信号を音響認識部２５に与える。音響認識部２５は
入力された音声信号を音声認識し、認識結果を制御部１
８に戻す。制御部１８は音声認識結果を音響翻訳部２６
に出力する。音響翻訳部２６は入力された音声認識結果
を翻訳して制御部１８に戻す。制御部１８は音響翻訳部
２６からの翻訳結果を音響出力部２７に出力する。
【００８４】音響出力部２７は音像定位装置２８を備え
ている。音響出力部２７は、入力された翻訳結果を音声
信号に変換すると共に、音像定位装置２８によって、翻
訳結果の音声信号をその提供先である利用者に向けて定
位させるように、音声信号のレベル、音質及び位相を調
整して、各スピーカ２２ａ，２２ｂに出力する。
【００８５】なお、マイク及びスピーカの数は２個だけ
でなく、夫々３個以上設けたマイクアレイ、スピーカア
レイを採用してもよい。
【００８６】なお、制御部１８は、音声入力を解析し、
例えば、音声入力信号から得られる声紋や発声様式に関
する情報等を抽出して分析することによって、音声入力
を行った利用者を判定することも可能である。
【００８７】このように構成された実施の形態において
は、手書き入力だけでなく、音声入力が可能であり、そ
して、この音声入力による言語を相手の利用者が認識可
能な言語に翻訳して、その相手に向けて音声出力するこ
とができる。
【００８８】また、制御部１８は、手書き入力の認識結
果を音響翻訳部２６に与えることにより、手書き入力さ
れた文章を相手の言語で相手に向けて音声で出力させる
ことも可能である。また逆に、制御部１８は、音声入力
の認識結果を言語記号翻訳部１５に与えることにより、
音声入力された文章を相手の言語に対応した文字記号に
変換して画像表示部１２の画面上に表示させることも可
能である。
【００８９】このように、本実施の形態においては、共
有表示画面上において相互の言語に基づく画像表示を相
互の位置に応じて行うだけでなく、利用者が発した音声
を相手の言語の音声に変換して、相手の位置に向かって
音声出力させることができる。これにより、コミュニケ
ーションの効率を著しく向上させることが可能である。
【００９０】例えば、日本語を話す第１の利用者と、英
語を話す第２の利用者とが、１つの共有表示画面の右方
向と左方向にいる状態で、第１の利用者に向けて出力さ
れる日本語の音声信号は、第１の利用者のいる右方向で
例えば音量が大きくなるように制御されて出力され、第
２の利用者に向けて出力される英語による音声信号は、
第２の利用者のいる左方向で例えば音量が大きくなるよ
うに制御されて出力される。
【００９１】例えば、複数のマイクロフォンを持ち、各
マイクロフォンから得られる音声信号の、時間的な遅延
関係等に基づいて、それぞれの音声信号が発せられてい
る空間内の位置を検出するマイクロフォンアレイ技術等
によって、装置２０と利用者との間の空間的な配置関係
を検出し、その情報に基づいて、文字や画像によるメッ
セージを、そのメッセージ情報を受け取る利用者の近く
に配置したり、あるいはその利用者から正立するように
構成したり、あるいは、音声によるメッセージを、その
メッセージ情報を受け取る利用者の位置に定位させるこ
とが可能である。
【００９２】また例えば、利用者からの音声による入力
を受付け、音声入力を解析することによって、各音声入
力を発した利用者を同定し、その情報を利用して、装置
２０と各利用者との空間的な位置関係を解析して利用者
への出力の様式の制御に利用するようにすることもでき
る。
【００９３】本発明は上記各実施の形態に限定されるも
のではない。例えば、手書き入力に使われるペンデバイ
スに、例えば磁気タグ等を埋め込み、例えば磁気センサ
ーでそのタグ情報を解析することによって、ペンデバイ
スの空間的な位置や姿勢を解析することで、本装置と利
用者との間の空間的な配置関係を検出することも可能で
ある。
【００９４】また、本装置を利用する各利用者が例えば
無線タグ等を身につけ、例えば指向性を持つアンテナで
その無線タグ情報を読み取り解析することによって、本
装置と利用者との間の空間的な配置関係を検出すること
も可能である。
【００９５】また、入力は利用者からリアルタイムにな
されるものではなく、例えば媒体やネットワーク経由で
提供されるように構成することもできる。
【００９６】また、手書き入力と音声入力など、複数個
の入力手段が同時に併用されてもよい。
【００９７】また、入力は例えばメニュー選択等によっ
て行うようにしてもよい。
【００９８】また、入力は音声でなされ、出力は文字画
像情報でなされるなど、入力と出力で手段（メディア）
が異なっていてもよい。
【００９９】また、一方の利用者は音声で入力を行い、
他方の利用者は手書きで入力を行うなど、利用者毎の入
力手段が異なっていてもよい。
【０１００】また、一方の利用者へは音声で出力を行
い、他方の利用者へは文字画像で出力を行うなど、利用
者毎の出力手段が異なっていてもよい。
【０１０１】また、言語の翻訳をおこなう機能に加え
て、例えば音声信号を文字信号に変換するなどと言っ
た、メディア変換機能を併用してもよい。
【０１０２】また、複数の利用者に同時に出力されても
よい。
【０１０３】また、出力部や入力部が複数有ってもよい
また、上記実施の形態では、複数の利用者が共有して使
う１つの装置の例を示したが、例えば互いに通信し合う
複数の機器で構成されてもよい。
【０１０４】また、言語種判定処理の結果を翻訳方向の
決定に利用してもよい。
【０１０５】また、入力者判定処理の結果を翻訳方向の
決定に利用してもよい。
【０１０６】また、例えば利用者が手で持つことのでき
る携帯型の装置として実現した場合等には、本体の空間
内での姿勢を検出する手段を加えて、その情報も併用し
て出力の形式を制御してもよい。
【０１０７】また、上述の例では、文字の向きを制御す
る例を示したが、例えば、半透明表示や、多色表示や、
立体表示等を用いていてもよい。
【０１０８】また、各利用者の用いる言語は１つに限定
されるものではなく、利用言語が複数合っても良い。
【０１０９】また、利用者の用いる言語は、あらかじめ
設定しておいたり、あるいは、利用者が適宜設定できる
ようにしておいてもよい。
【０１１０】また、利用者との本装置との位置関係の検
出処理では、例えば対人センサーや、あるいは、顔や手
認識など画像認識技術や、モーションキャプチャ技術な
どを使ってもよい。また、音声信号の出力形式を制御す
る際に、その音声信号を受け手である利用者ではない利
用者の位置では、その音声信号が、小さくなるかあるい
は聞こえなくなるようにマスキングされるように、制御
しても良い。
【０１１１】また、上記各実施の形態では、装置として
本発明を実現する場合の例を示したが、上述の具体例の
中で示した処理手順、フローチャートをプログラムとし
て記述し、実装し、汎用の計算機システムで実行するこ
とによっても同様の機能と効果を得ることが可能であ
る。
【０１１２】すなわち、上述の実施の形態に記載した手
法は、コンピュータに実行させることのできるプログラ
ムとして、磁気ディスク（フロッピー（Ｒ）ディスク、
ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、Ｄ
ＶＤなど）、半導体メモリ等の記録媒体を用いてコンピ
ュータにプログラムを読み込み、ＣＰＵ部で実行させれ
ば、本発明のコミュニケーション支援装置を実現するこ
とができる。
【０１１３】
【発明の効果】以上説明したように本発明によれば、異
なる言語を用いる人同士の円滑なコミュニケーションを
可能にすることができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係るコミュニケーショ
ン支援装置を示すブロック図。
【図２】図１中の表示情報記憶部１６の記憶内容の一例
を示す説明図。
【図３】図１中の配置情報記憶部１７の内容の一例を示
す説明図。
【図４】実施の形態の動作を説明するためのフローチャ
ート。
【図５】具体的な使用法を説明するための説明図。
【図６】具体的な使用法を説明するための説明図。
【図７】本発明の第２の実施の形態を示すブロック図。
【図８】図７中のマイク２１ａ，２１ｂ及びスピーカ２
２ａ，２２ｂの実際の配置を説明するための説明図。
【符号の説明】
１１ａ，１１ｂ…ペンデバイス、１２…画像表示部、１
３…磁気センサー部、１４…文字記号認識部、１５…言
語記号翻訳部、１６…表示情報記憶部、１７…配置情報
記憶部、１８…制御部。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｋ 9/00 Ｇ０６Ｋ 9/00 Ｓ ５Ｅ５０１ 9/62 9/62 Ｇ Ｇ１０Ｌ 13/00 Ｇ１０Ｌ 3/00 ５１１ 15/00 ５５１Ｃ 15/28 Ｑ Ｆターム(参考） 5B064 AB04 BA05 5B068 AA05 AA22 BB01 BD02 BD13 BD17 BE06 BE15 CC08 CC19 CD06 5B091 AA03 BA03 CB01 CB24 CD01 5D015 AA03 KK02 LL07 5D045 AB03 5E501 AA04 BA05 CA04 CA08 CB05 CB11 CB15 DA05 DA15 EA21 EB01 FA14 FA43 FB13

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 表示画面との間に所定の位置関係を有し
    て位置する複数の利用者のうちの所定の利用者による第
    １の言語に基づく基準描画を前記表示画面上に描画する
    第１の描画手段と、 前記基準描画によって得られる情報を第２の言語に基づ
    く情報に変換すると共に、前記基準描画と所定の関係を
    有する関連描画を得る変換手段と、 前記基準描画とは異なる位置及び向きで前記表示画面上
    に前記関連描画を描画する第２の描画手段とを具備した
    ことを特徴とするコミュニケーション支援装置。
  2. 【請求項２】 前記第１の描画手段は、前記所定の利用
    者と前記表示画面との位置関係に応じた向きに前記基準
    描画を描画し、 前記第２の描画手段は、前記複数の利用者のうち前記関
    連描画の対象となる利用者と前記表示画面との位置関係
    に応じた向きに前記関連描画を描画することを特徴とす
    る請求項１に記載のコミュニケーション支援装置。
  3. 【請求項３】 第１の利用者からの第１の言語による入
    力メッセージを受け入れる入力手段と、 前記第１の言語の入力メッセージを第２の利用者への第
    ２の言語の出力メッセージに変換する翻訳手段と、 前記第２の利用者の位置に応じた指向性を有して前記第
    ２の言語による出力メッセージを提示する提示手段とを
    具備したことを特徴とするコミュニケーション支援装
    置。
  4. 【請求項４】 前記提示手段は、前記第２の利用者の位
    置を検出する手段を含むことを特徴とする請求項３に記
    載のコミュニケーション支援装置。
  5. 【請求項５】 前記提示手段は、前記出力メッセージと
    して、文字、図形及び映像のうちの少なくとも１つを含
    む画像信号を用いることを特徴とする請求項３に記載の
    コミュニケーション支援装置。
  6. 【請求項６】 前記提示手段は、前記第２の利用者の位
    置を記憶する位置記憶手段を具備し、前記位置記憶手段
    の記憶内容を参照することで、前記第２の利用者に空間
    的に近い位置に前記出力メッセージを提示することを特
    徴とする請求項３に記載のコミュニケーション支援装
    置。
  7. 【請求項７】 前記提示手段は、前記出力メッセージを
    前記第２の利用者に正立する方向に提示することを特徴
    とする請求項３に記載のコミュニケーション支援装置。
  8. 【請求項８】 前記提示手段は、前記出力メッセージと
    して、話し言葉、非言語音声、音楽及び効果音のうちの
    少なくとも１つを含む音声信号を用い、前記音声信号を
    前記第２の利用者に定位させることを特徴とする請求項
    ３に記載のコミュニケーション支援装置。
  9. 【請求項９】 複数の利用者の空間的配置を検出して位
    置情報を取得する配置検出手段と、 前記配置検出手段が得た位置情報を保存する位置記憶手
    段と、 前記複数の利用者のうちの第１の利用者からの第１の言
    語による入力メッセージを受け入れる入力手段と、 前記第１の言語の入力メッセージを第２の利用者への第
    ２の言語の出力メッセージに変換する翻訳手段と、 前記位置記憶手段に記憶されている位置情報を用いて前
    記第１及び第２の利用者の位置に応じた指向性で前記第
    １及び第２の言語による入出力メッセージを提示する提
    示手段とを具備したことを特徴とするコミュニケーショ
    ン支援装置。
  10. 【請求項１０】 前記提示手段は、前記出力メッセージ
    を前記入力メッセージの表示に関係付けて表示させるこ
    とを特徴とする請求項９に記載のコミュニケーション支
    援装置。
  11. 【請求項１１】 前記配置検出手段は、前記入力手段が
    受け入れた前記入力メッセージから検出された文字及び
    図形の向きに基づいて、前記複数の利用者の空間的配置
    を検出することを特徴とする請求項９に記載のコミュニ
    ケーション支援装置。
  12. 【請求項１２】 前記入力手段は、前記利用者による所
    定の入力デバイスを用いた手書き入力を受け付け、 前記配置検出手段は、前記入力デバイスによる手書きの
    入力メッセージの入力状態に応じて前記複数の利用者の
    空間的配置を検出することを特徴とする請求項９に記載
    のコミュニケーション支援装置。
  13. 【請求項１３】 前記配置検出手段は、前記手書き入力
    メッセージの筆跡及び筆圧並びに入力画像の特徴に基づ
    いて、前記手書き入力メッセージを入力した利用者を判
    定する手段を含むことを特徴とする請求項１２に記載の
    コミュニケーション支援装置。
  14. 【請求項１４】 前記配置検出手段は、無線タグ又は磁
    気タグを利用して、前記利用者の空間的配置を検出する
    ことを特徴とする請求項９に記載のコミュニケーション
    支援装置。
  15. 【請求項１５】 前記入力手段は、前記利用者が発した
    音響を受け付け、 前記配置検出手段は、前記入力デバイスによる音響入力
    メッセージの入力状態に応じて前記複数の利用者の空間
    的配置を検出することを特徴とする請求項９に記載のコ
    ミュニケーション支援装置。
  16. 【請求項１６】 前記配置検出手段は、前記音響入力メ
    ッセージから得られる声門及び発声様式に関する情報に
    基づいて、前記音響入力メッセージを入力した利用者を
    判定する手段を含むことを特徴とする請求項１５に記載
    のコミュニケーション支援装置。
  17. 【請求項１７】 前記翻訳手段は、前記入力メッセージ
    を解析して言語固有の特徴を抽出し、前記入力メッセー
    ジが属する言語の種類を表す言語種情報を得る言語種検
    出手段を具備し、 前記提示手段は、前記言語種情報に基づいて、前記出力
    メッセージの表現様式を制御する制御手段を具備したこ
    とを特徴とする請求項９に記載のコミュニケーション支
    援装置。
  18. 【請求項１８】 前記入力メッセージを解析して、該入
    力メッセージで用いられている表現の様式に関する情報
    である入力様式情報を検出する様式検出手段と、 言語種情報と前記入力様式情報との組を記憶する言語毎
    様式記憶手段と、前記言語毎様式記憶手段を参照して、
    前記出力メッセージの言語種に応じて、同一の言語でな
    された入力の様式と同様の様式となるよう出力の様式を
    制御する制御手段とを更に具備したことを特徴とする請
    求項９に記載のコミュニケーション支援装置。
  19. 【請求項１９】 前記利用者が用いる言語の種類を記憶
    する利用言語種記憶手段と、 前記利用言語種記憶手段の内容と、前記言語種検出手段
    によってえられる各入力メッセージの言語種情報に応じ
    て、入力を行った利用者を同定して、配置検出手段から
    得られる位置情報と共に、位置記憶手段に適宜保存する
    制御手段とを更に具備したことを特徴とする請求項１７
    に記載のコミュニケーション支援装置。
  20. 【請求項２０】 複数の利用者の空間的配置を検出して
    位置情報を取得する配置検出手順と、 前記配置検出手段が得た位置情報を保存する位置記憶手
    順と、 前記複数の利用者のうちの第１の利用者からの第１の言
    語による入力メッセージを受け入れる入力手順と、 前記第１の言語の入力メッセージを第２の利用者への第
    ２の言語の出力メッセージに変換する翻訳手順と、 前記位置記憶手順において記憶した位置情報を用いて前
    記第１及び第２の利用者の位置に応じた指向性で前記第
    １及び第２の言語による入出力メッセージを提示する提
    示手順とを具備したことを特徴とするコミュニケーショ
    ン支援方法。
JP2001357949A 2001-11-22 2001-11-22 コミュニケーション支援装置 Expired - Lifetime JP3933449B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001357949A JP3933449B2 (ja) 2001-11-22 2001-11-22 コミュニケーション支援装置
US10/294,819 US7277845B2 (en) 2001-11-22 2002-11-15 Communication support apparatus and method
CNB021524084A CN100429649C (zh) 2001-11-22 2002-11-22 信息提示装置以及方法
US11/892,448 US8676562B2 (en) 2001-11-22 2007-08-23 Communication support apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001357949A JP3933449B2 (ja) 2001-11-22 2001-11-22 コミュニケーション支援装置

Publications (2)

Publication Number Publication Date
JP2003162527A true JP2003162527A (ja) 2003-06-06
JP3933449B2 JP3933449B2 (ja) 2007-06-20

Family

ID=19169214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001357949A Expired - Lifetime JP3933449B2 (ja) 2001-11-22 2001-11-22 コミュニケーション支援装置

Country Status (3)

Country Link
US (2) US7277845B2 (ja)
JP (1) JP3933449B2 (ja)
CN (1) CN100429649C (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106014A (ja) * 2013-11-29 2015-06-08 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
JP2016027441A (ja) * 2014-06-26 2016-02-18 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2016181077A (ja) * 2015-03-24 2016-10-13 シャープ株式会社 情報処理装置、情報処理プログラムおよび情報処理方法
JP2019003433A (ja) * 2017-06-15 2019-01-10 株式会社リクルートライフスタイル プログラム、表示方法及び情報処理装置
WO2022195360A1 (en) 2021-03-15 2022-09-22 Ricoh Company, Ltd. Display apparatus, display system, display method, and recording medium
EP4064019A1 (en) 2021-03-23 2022-09-28 Ricoh Company, Ltd. Display system, display method, and carrier means

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100440189C (zh) * 2003-06-04 2008-12-03 无敌科技(西安)有限公司 结合图形描绘的语言学习系统及其运作方法
US20060116925A1 (en) * 2004-11-29 2006-06-01 Yoo Seung Kim System and method(s) for marketing by providing information of life in a foreign country and/or area, via CD-ROM, in the airplane and/or any vehicle in a language familiar to the passengers
JP4263181B2 (ja) * 2005-03-28 2009-05-13 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP4050755B2 (ja) * 2005-03-30 2008-02-20 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP4064413B2 (ja) * 2005-06-27 2008-03-19 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP4559946B2 (ja) * 2005-09-29 2010-10-13 株式会社東芝 入力装置、入力方法および入力プログラム
JP2007220045A (ja) * 2006-02-20 2007-08-30 Toshiba Corp コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
WO2007120418A2 (en) * 2006-03-13 2007-10-25 Nextwire Systems, Inc. Electronic multilingual numeric and language learning tool
JP4393494B2 (ja) * 2006-09-22 2010-01-06 株式会社東芝 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP5121252B2 (ja) * 2007-02-26 2013-01-16 株式会社東芝 原言語による音声を目的言語に翻訳する装置、方法およびプログラム
US20090024707A1 (en) * 2007-07-18 2009-01-22 Gm Global Technology Operations, Inc. Electronic Messaging System and Method For A Vehicle
US20090132257A1 (en) * 2007-11-19 2009-05-21 Inventec Corporation System and method for inputting edited translation words or sentence
JP5178484B2 (ja) * 2008-12-08 2013-04-10 キヤノン株式会社 情報処理装置及び情報処理方法
US9323854B2 (en) * 2008-12-19 2016-04-26 Intel Corporation Method, apparatus and system for location assisted translation
JP2010176543A (ja) * 2009-01-30 2010-08-12 Toshiba Corp 翻訳装置、方法、及びプログラム
US20110112822A1 (en) * 2009-11-10 2011-05-12 Charles Caraher Talking Pen and Paper Translator
CN101882025A (zh) * 2010-06-29 2010-11-10 汉王科技股份有限公司 手写输入方法及系统
CN102314781A (zh) * 2010-07-08 2012-01-11 无敌科技股份有限公司 答题系统、答题方法及其计算机程序产品和储存介质
US8775156B2 (en) 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US9058814B2 (en) 2010-11-15 2015-06-16 At&T Intellectual Property I, L.P. Mobile devices, methods, and computer program products for enhancing social interactions with relevant social networking information
US8527259B1 (en) * 2011-02-28 2013-09-03 Google Inc. Contextual translation of digital content
US9104661B1 (en) * 2011-06-29 2015-08-11 Amazon Technologies, Inc. Translation of applications
EP2581816A1 (en) * 2011-10-12 2013-04-17 Research In Motion Limited Apparatus and associated method for modifying media data entered pursuant to a media function
US9323746B2 (en) * 2011-12-06 2016-04-26 At&T Intellectual Property I, L.P. System and method for collaborative language translation
US8499258B1 (en) * 2012-03-04 2013-07-30 Lg Electronics Inc. Touch input gesture based command
JP5284523B1 (ja) * 2012-09-05 2013-09-11 株式会社東芝 情報処理システム、プログラムおよび情報処理システムの処理方法
KR102214178B1 (ko) * 2013-12-13 2021-02-10 한국전자통신연구원 자동 통역 장치 및 방법
WO2016208396A1 (ja) * 2015-06-23 2016-12-29 株式会社リコー 通信端末、管理システム、通信システム、表示方法、及びプログラム
KR102174565B1 (ko) * 2016-02-08 2020-11-05 미쓰비시덴키 가부시키가이샤 표시 제어 장치, 입력 표시 시스템, 표시 제어 방법 및 프로그램
CN107273106B (zh) * 2016-04-08 2021-07-06 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
EP3506070B1 (en) * 2016-08-25 2021-12-15 Sony Group Corporation Information presentation device and information presentation method
US11182567B2 (en) * 2018-03-29 2021-11-23 Panasonic Corporation Speech translation apparatus, speech translation method, and recording medium storing the speech translation method
JP2022147384A (ja) 2021-03-23 2022-10-06 株式会社リコー 表示装置、表示方法、プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6244873A (ja) 1985-08-22 1987-02-26 Toshiba Corp 機械翻訳装置
US4882681A (en) * 1987-09-02 1989-11-21 Brotz Gregory R Remote language translating device
JPH03131432A (ja) 1989-10-13 1991-06-05 Nissan Motor Co Ltd ワーク位置決め固定装置
JP3131432B2 (ja) 1989-11-24 2001-01-31 株式会社東芝 機械翻訳方法及び機械翻訳装置
JPH03167799A (ja) 1989-11-27 1991-07-19 Matsushita Electric Works Ltd 調光用放電灯点灯装置
JPH05197507A (ja) 1992-01-17 1993-08-06 Hitachi Ltd ポータブルコンピュータ
JP3167799B2 (ja) 1992-07-29 2001-05-21 株式会社東芝 オンライン手書き文字認識装置
US5583761A (en) * 1993-10-13 1996-12-10 Kt International, Inc. Method for automatic displaying program presentations in different languages
US5526268A (en) * 1994-05-11 1996-06-11 Westinghouse Electric Corporation Dynamic language changing process graphics
JPH08137385A (ja) 1994-11-14 1996-05-31 Hitachi Ltd 会話装置
US6292769B1 (en) * 1995-02-14 2001-09-18 America Online, Inc. System for automated translation of speech
US6339754B1 (en) * 1995-02-14 2002-01-15 America Online, Inc. System for automated translation of speech
JPH0916602A (ja) * 1995-06-27 1997-01-17 Sony Corp 翻訳装置および翻訳方法
TW347503B (en) * 1995-11-15 1998-12-11 Hitachi Ltd Character recognition translation system and voice recognition translation system
US5987403A (en) * 1996-05-29 1999-11-16 Sugimura; Ryoichi Document conversion apparatus for carrying out a natural conversion
US6122606A (en) * 1996-12-10 2000-09-19 Johnson; William J. System and method for enhancing human communications
JP3388153B2 (ja) 1997-09-30 2003-03-17 シャープ株式会社 機械翻訳装置および機械翻訳プログラムを記録したコンピュータ読取可能な記録媒体
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6356866B1 (en) * 1998-10-07 2002-03-12 Microsoft Corporation Method for converting a phonetic character string into the text of an Asian language
JP3274652B2 (ja) 1998-10-30 2002-04-15 シャープ株式会社 翻訳装置
US6807563B1 (en) * 1999-05-21 2004-10-19 Terayon Communications Systems, Inc. Automatic teleconferencing control system
US6795107B1 (en) * 1999-07-15 2004-09-21 International Business Machines Corporation Video conferencing apparatus and method therefor
JP2001101187A (ja) * 1999-09-30 2001-04-13 Sony Corp 翻訳装置および翻訳方法、並びに記録媒体
US6816468B1 (en) * 1999-12-16 2004-11-09 Nortel Networks Limited Captioning for tele-conferences
US6424264B1 (en) * 2000-10-12 2002-07-23 Safetzone Technologies Corporation System for real-time location of people in a fixed environment
US6980953B1 (en) * 2000-10-31 2005-12-27 International Business Machines Corp. Real-time remote transcription or translation service
JP2002215621A (ja) * 2001-01-19 2002-08-02 Nec Corp 翻訳サーバ及び翻訳方法並びにプログラム
CN1369834B (zh) * 2001-01-24 2010-04-28 松下电器产业株式会社 语音转换设备
US7084765B2 (en) * 2001-07-12 2006-08-01 Intel Corporation Processor-based positioning system
US7272575B2 (en) * 2001-07-13 2007-09-18 Lilly Mae Vega Method and system for facilitating service transactions
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
GB2388738B (en) * 2001-11-03 2004-06-02 Dremedia Ltd Time ordered indexing of audio data
US20030125959A1 (en) * 2001-12-31 2003-07-03 Palmquist Robert D. Translation device with planar microphone array

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106014A (ja) * 2013-11-29 2015-06-08 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
US9691387B2 (en) 2013-11-29 2017-06-27 Honda Motor Co., Ltd. Conversation support apparatus, control method of conversation support apparatus, and program for conversation support apparatus
JP2016027441A (ja) * 2014-06-26 2016-02-18 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2016181077A (ja) * 2015-03-24 2016-10-13 シャープ株式会社 情報処理装置、情報処理プログラムおよび情報処理方法
JP2019003433A (ja) * 2017-06-15 2019-01-10 株式会社リクルートライフスタイル プログラム、表示方法及び情報処理装置
WO2022195360A1 (en) 2021-03-15 2022-09-22 Ricoh Company, Ltd. Display apparatus, display system, display method, and recording medium
EP4064019A1 (en) 2021-03-23 2022-09-28 Ricoh Company, Ltd. Display system, display method, and carrier means

Also Published As

Publication number Publication date
CN100429649C (zh) 2008-10-29
JP3933449B2 (ja) 2007-06-20
US20080033728A1 (en) 2008-02-07
US20030097250A1 (en) 2003-05-22
US7277845B2 (en) 2007-10-02
CN1423216A (zh) 2003-06-11
US8676562B2 (en) 2014-03-18

Similar Documents

Publication Publication Date Title
JP3933449B2 (ja) コミュニケーション支援装置
JP4047885B2 (ja) 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
US20200152168A1 (en) Document Mode Processing For Portable Reading Machine Enabling Document Navigation
US7840033B2 (en) Text stitching from multiple images
US7659915B2 (en) Portable reading device with mode processing
JP2009205579A (ja) 音声翻訳装置およびプログラム
US7627142B2 (en) Gesture processing with low resolution images with high resolution processing for optical character recognition for a reading machine
US8626512B2 (en) Cooperative processing for portable reading machine
US20100331043A1 (en) Document and image processing
US8186581B2 (en) Device and method to assist user in conducting a transaction with a machine
CN101998107B (zh) 信息处理装置、会议系统和信息处理方法
US8249309B2 (en) Image evaluation for reading mode in a reading machine
US20060006235A1 (en) Directed reading mode for portable reading machine
US20060020486A1 (en) Machine and method to assist user in selecting clothing
KR102304608B1 (ko) 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템
US20180293440A1 (en) Automatic narrative creation for captured content
Götzelmann et al. SmartTactMaps: a smartphone-based approach to support blind persons in exploring tactile maps
TW201314638A (zh) 具虛擬實境擴充功能的點讀裝置
Johnston et al. MATCHKiosk: a multimodal interactive city guide
JP2000112610A (ja) コンテンツ表示選択システム及びコンテンツ記録媒体
TW201133359A (en) Character recognition system and method for the same
CN111681467B (zh) 一种词汇学习方法及电子设备、存储介质
Shilkrot et al. FingerReader: A finger-worn assistive augmentation
JP2004118720A (ja) 翻訳装置、翻訳方法及び翻訳プログラム
Shimgekar et al. Glasses For Smart Tourism Applications

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030825

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050415

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070313

R151 Written notification of patent or utility model registration

Ref document number: 3933449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7