JP3126479B2 - コンサルテーション・カンファレンスシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、通信手段を用いた遠隔
地間でのコンサルテーション(Consultation)・カンファ
レンス(Conference)システムに係り、特にコンサルテー
ションやカンファレンスの要点だけを記録にとどめるこ
とができるコンサルテーション・カンファレンスシステ
ムに関する。

【０００２】

【従来の技術】従来、医療現場では患者の診断を直接に
行う部門（内科、外科等）は、患者の医用情報の提供を
他の部門（放射線科等）に求め、この医用情報の提供を
求められた部門では、例えばＸ線画像その他の医用画像
およびその読影レポートや、検体の化学分析結果を要求
のあった部門に送る。

【０００３】そして、患者の診断を行う部門は、これら
提供のあった医用情報に基づいて、一人もしくは複数の
担当者が患者の診断を行ったり、治療方針を決定したり
する。複数の人間が集まって患者の病状・治療方法の検
討を行う場合は、いわゆるカンファレンス方式となる。

【０００４】ところで、実際には、医用情報を提供され
た側で、その医用情報に不明な点をもつことがあり、そ
のような場合は医用情報を提供してくれた側にコンサル
テーションを仰ぐことがある。また前述の会議の場にコ
ンサルテーションを兼ねて医用情報を提供した部門の人
間の参加が求められることもある。

【０００５】

【発明が解決しようとする課題】ところが、通常患者に
ついての医用情報を収集し、提供する部門と、その医用
情報の提供を受けて、実際に患者の診断を行う部門と
は、部屋を異にし、肉声や直接の視覚に訴えることがで
きない遠隔の場所にある。そこで、これまでは違う部門
の部屋へ出向いたり、違う部門の人達が各部門の部屋と
は違う会議室に集まってコンサルテーションやカンファ
レンスを行っており、自分たちが通常いる場所でコンサ
ルテーションやカンファレンスができないという不便が
あった。また、この場合、コンサルテーションやカンフ
ァレンスの内容を正確に記録しておくことがなかなかで
きず、類似の医用情報に接したときに過去の経験を生か
せなくなることがある。

【０００６】そこで、まず自分たちが通常いる場所でコ
ンサルテーションやカンファレンスを行うため、テレビ
カメラとテレビ、マイクロフォンとスピーカ等の通信手
段を用いたテレビ会議方式が考えられる。

【０００７】しかし、これまでのテレビ会議方式では、
そのコンサルテーション・カンファレンス内容を自動的
に記録（録画・録音）するとなると、会議の冒頭から終
了まで出席者のすべての発言内容、あるいは提示された
視覚情報をすべて記録することになるため、情報量が厖
大となり、記録の検索に多大な時間・労力が掛かるとい
う欠点があった。

【０００８】本発明は上記事情に鑑みてなされたもので
あり、テレビ会議方式によりながら記録内容は要点だけ
にとどめて、記録情報の圧縮・検索の便を図ることがで
きるコンサルテーション・カンファレンスシステムを提
供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上記課題を解決
するために、コンサルテーション・カンファレンスの参
加者をユーザとする端末をネットワークで結んだコンサ
ルテーション・カンファレンスシステムであって、前記
各端末はユーザが意見を述べるべき画像を表示するディ
スプレイ手段と、各ユーザが意見を音声で入力するマイ
ク手段と、他のユーザの意見を音声で出力するスピーカ
手段と、グラフィックスによる意見入力の手段と、意見
を入力するユーザの表情を撮影するカメラ手段と、時刻
を知らせるクロック手段と、前記各端末において画像ご
とに、入力されたユーザの音声、表情および入力された
グラフィックス情報を経時的にまとめた時系列情報を作
成し、前記ネットワークに送り出す手段とを有し、前記
ネットワークには、前記各端末から送られてきた時系列
情報を画像ごとに時系列的にまとめて議事録生情報を作
成、記憶し、前記各端末からの要求に応じてこの議事録
生情報を送り出す手段が接続するコンサルテーション・
カンファレンスシステムを提供する。

【００１０】

【作用】本発明のコンサルテーション・カンファレンス
システムは、タッチセンサなどの意見入力手段がコンサ
ルテーション・カンファレンスの記録しておくべき内容
を指示するトリガとなり、その下のディスプレイ手段に
表示された画像に、意見入力手段を介して触れながら、
音声もしくは意見入力手段上にグラフィックス情報を入
力すると、これら音声およびグラフィックス情報はその
入力時におけるユーザの表情とともに、同一時刻のデー
タとしてまとめられる。そしてネットワーク全体では、
他の端末からの情報も同一時刻のものはまとめられ、同
一時刻における音声、表情、グラフィックス情報は議事
録生データとなって記録される。

【００１１】

【実施例】以下添付の図面を参照して本発明の実施例を
説明する。

【００１２】図１は、本発明の第１実施例に係るコンサ
ルテーション・カンファレンスシステムの機能構成を示
す図である。

【００１３】すなわち、データ入力（作成）用端末Ａ
（符号５０で示す）にある画像データ管理部１０は、コ
ンサルテーションやカンファレンスにおいて医師がそれ
について意見を述べるべき画像を画像表示部４を介して
ディスプレイ５に表示する。本実施例においては、医師
は、画像を見ながら、自らの意見を自分の音声と自分で
画像にタッチする動作により入力する。つまり、この入
力操作は、 タッチした画像に係る意見（文字データ）を音声で入
力する 画像上でタッチした通りに図を描く という２つの入力（音声と画像［もしくはグラフィック
ス］）を含む。

【００１４】ここで、入力端末Ａは音声をマイク１で、
またディスプレイ５上の画像へのタッチをタッチセンサ
６で受取り、以下の処理を行う。

【００１５】まず、音声はマイク１からアナログ信号が
音声デジタイザ２へ送られ、音声デジタイザ２でＡ／Ｄ
（アナログ／デジタル）変換されてデジタルデータにな
り、時刻−音声データ作成部３へ送られる。時刻−音声
データ作成部３では、音声デジタイザ２から送られる音
声データを、クロック１３から送られる時刻データと対
応させて記憶する。具体的には、音声デジタイザ２とク
ロック１３それぞれのデータを時刻−音声データ作成部
３内のバッファメモリに格納し、ついでクロック信号に
同期させて、音声データと時刻データを下記表１に示す
時刻−音声テーブルに次々と入力していく。

【００１６】

【表１】

【００１７】一方、医師の表情のデータは、カメラ３１
によって撮影され、画像デジタイザ３２に入力される。
画像デジタイザ３２では、入力画像をデジタル化し、逐
時時刻−表情作成部３３へ送信する。時刻−表情作成部
３３では、クロック１３を用いながら、音声の場合と同
様に、画像デジタイザ３２から送られた画像データと時
刻を対応づけた、下記表２に示す時刻−表情テーブルを
作成する。

【００１８】

【表２】

【００１９】次に、ポインタデータ（医師がタッチした
画像上の座標）については、タッチセンサ６から送り出
されたポインタデータを、ポインタデータ入力部８がデ
ジタルの座標データに変換する。これには現在知られて
いるタッチセンサの技術を用いることができる。

【００２０】ポインタデータ入力部８から座標データを
受取った時刻−ポインタデータ作成部９は、クロック１
３から時刻データを受取り、音声・表情の場合と同様に
クロック１３と同期させて、下記表３に示す時刻−ポイ
ンタテーブルに次々と入力する。

【００２１】

【表３】

【００２２】さて、こうしてコンサルテーションやカン
ファレンスの場で医師が自分の意見を入力し終ると、医
師はキーボード２７から終了要求コマンドを入力する。
すると、この終了要求コマンドは画像データ管理部１０
へ伝えられ、画像データ管理部１０は、現在ディスプレ
イ５に表示されており、かつ医師の所見が入力された画
像の認識番号（画像ＩＤ）を表情−時刻−音声−ポイン
タデータ−画像ＩＤ作成部１４へ送信する。また、この
終了要求コマンドは、時刻−音声データ作成部３、時刻
−表情データ作成部３および時刻−ポインタデータ作成
部９にも伝えられ、これらデータ作成部３，３３，９
は、それぞれ作成した時刻−音声テーブル、時刻−表情
テーブルおよび時刻−座標テーブルを、時刻−音声−表
情−ポインタデータ−画像ＩＤ作成部１４へ送信する。

【００２３】これら３つのテーブルを受取った時刻−音
声−表情−ポインタデータ−画像ＩＤ作成部１４は、こ
れらを順次つなぎ合わせて１つの統一データとする。こ
れは、例えばプログラミング言語であるＣ言語における
構造体のようにフォーマットを予めもっていて、このフ
ォーマットに沿って順次データを構成していくものであ
り、この統一データは、議事録生データ作成部３７へ送
出される。

【００２４】なお、１つの端末から入力された種々のデ
ータは、データ転送部３４によって、同じ構成を有する
他の一部もしくはすべての端末に送信・出力される。例
えば、端末Ａの画像デジタイザ３２から入力される画像
データは、データ転送部３４を通して端末Ｂ（符号５１
で示す）の画像表示部（図示せず）へ送られ、そのディ
スプレイに表示される。端末Ａで入力された音声も、音
声デジタイザ２からデータ転送部３４を通って、例えば
端末Ｂの音声アナライザ（端末Ａでは符号３６）でＤ／
Ａ（デジタル／アナログ）変換され、そのスピーカ（端
末Ａでは符号３５）から出力される。同様に、ポインタ
データも、端末Ａのポインタデータ入力部８→データ転
送部３４→端末Ｂのオーバーレイ・ポインタデータ表示
部（端末Ａでは符号７）の経路を経て、そのディスプレ
イに表示される。こうして、１つの端末の入力データ
を、他の端末で共有することが可能となる。

【００２５】また、各端末のクロックが同じ時刻を指す
ように、例えば端末Ａのクロック１３からデータ転送部
３４を経由して時刻データを他の端末のクロックへ転送
することもできる。

【００２６】さて、１つあるいは複数の端末５０，５
１，５２，……から議事録生データ作成部３７に送られ
てきた統一データは、議事録生データ作成部３７で同時
刻のものを関連づけ、下記表４に示すデータフォーマッ
トの議事録生データに加工される。

【００２７】

【表４】

【００２８】すなわち、まず端末Ａの時刻−音声−表情
−ポインタデータ−画像ＩＤ作成部１４で作成された特
定の画像についての統一データを受信すると、そのうち
の時刻データを、上記フォーマットの時刻データの部分
に対応するメモリに格納する。ついで、その時刻に対応
する音声データ、表情データおよびポインタデータを各
画像ＩＤについて、それぞれフォーマットの該当するメ
モリ内に格納する。こうして、画像ＩＤがｎ個あれば、
そのｎ個分の議事録生データが作成される。

【００２９】同様にして、他の端末Ｂ，Ｃ……の時刻−
音声−表情−ポインタデータ−画像ＩＤ作成部１４から
送られてきた統一データについても、同一の画像ＩＤに
ついて上記の処理を行う。

【００３０】本実施例によれば、上記表４のようなフォ
ーマットで、端末のユーザ同士で行われたカンファレン
ス・コンサルテーションの内容を議事録生データメモリ
３８に保存することができる。

【００３１】議事録生データは、また議事録編集部３９
によって編集し、その編集した内容を画像データベース
４０することができる。

【００３２】画像データベース４０には、画像情報およ
び画像へのオーバーレイ（重ね合わせ）情報が保存され
るわけであるが、各端末においてこれらの情報を利用す
る場合は、端末Ａを例にとると、一旦画像情報は画像メ
モリ２０に、またオーバーレイ情報はオーバーレイメモ
リ２１に引き入れる。そして、画像データ管理部１０の
制御下に、画像情報は画像表示部４を経由して、またオ
ーバーレイ情報はオーバーレイ・ポインタデータ表示部
２２を経由してディスプレイ５に表示される。

【００３３】つぎに、再生・編集の態様を、端末の実装
例を示す図２を用いて説明する。図２においては、図１
の機能構成図と同一の名称となる要素については、同一
の符号を用いた。他の実装要素については、図１の機能
要素との対応を示しながら説明する。

【００３４】総括的に言えば、議事録生データメモリ３
８に格納された議事録生データは、例えば端末Ａでキー
ボード２７から入力を要求されると、ＣＰＵ４３の命令
により、一方でその中の画像データがＬＡＮ（ローカル
・エリア・ネットワーク）４１およびネットワークＩ／
Ｆ（ネットワーク・インターフェース）４２を経由し
て、ディスプレイコントローラ４４（図１の画像表示部
４とオーバーレイ・ポインタデータ表示部２２に相当す
る）へ転送され、ディスプレイ５に表示される。また、
これと同時に、議事録生データ中の音声データも音声入
出力コントローラ４５（図１の音声デジタイザ２と音声
アナライザ３６に相当する）へ転送され、スピーカ３５
から音声が出力される。

【００３５】なお、ＣＰＵ４３にまとめられた図１中の
構成要素は、それぞれタスク（プロセス）として起動さ
れ、各タスク間のデータ授受はタスク（プロセス）間通
信によって行われる。

【００３６】これをさらに詳細に説明する。キーボード
２７から、所定の入力コードで議事録生データの再生要
求を入力すると、総括コントローラ４６からＣＰＵ４３
に割込みがかかる。この時点でＣＰＵ４３は総括コント
ローラ４６のレジスタ内容を読み、下記表５に示すコマ
ンドリストと照合して再生要求であることを判断する。

【００３７】

【表５】

【００３８】すると、ＣＰＵ４３は、予めＬＡＮ４１を
通して画像メモリ２０とオーバーレイメモリ２１に格納
しておいた議事録生データを、ディスプレイコントロー
ラ４４および音声入出力コントローラ４５へ各々転送す
る。この時、ディスプレイコントローラ４４には、議事
録生データのうち時刻と表情とポインタデータをまとめ
た時刻−表情−ポインタデータテーブルを、また音声入
出力コントローラ４５へは時刻−音声テーブルを送信す
る。

【００３９】次にＣＰＵ４３は、議事録生データの画像
ＩＤを見て、その画像ＩＤに相当する画像データを画像
データベース４０から検索し、画像メモリ２０に格納す
る。これら画像データは、ディスプレイコントローラ４
４へ送信される。

【００４０】ディスプレイコントローラ４４は、図３に
示すように、内部にディスプレイメモリ６１、オーバー
レイメモリ６２、メモリ−ＩＤ対応テーブル６３、議事
録生データ用メモリ６４、表情・画像出力用の画像メモ
リ６５、クロック６６、タッチパネルデータ入力部６７
およびデータ送受信部６８を有する。

【００４１】さてＣＰＵ４３は、ディスプレイコントロ
ーラ４４と音声入出力コントローラ４５に、同時に再生
命令を送信する。ディスプレイコントローラ４４は、予
め画像をディスプレイメモリ６１に格納し、かつディス
プレイ５に表示させているが、再生命令を受けると、議
事録生データ中のポインタデータをオーバーレイメモリ
６２に順次入力する。

【００４２】この順次入力のやり方は、まずＣＰＵ４３
が議事録生データ中の時刻データの先頭にある時刻をパ
ラメータとして再生要求をディスプレイコントローラ４
４に送信する。これを受けたディスプレイコントローラ
４４は、クロック６６の初期値をこの時刻にセットす
る。そして、以後はディスプレイコントローラ４４内の
議事録生データ用メモリ６４の時刻データと先にセット
したクロック６６の時刻が一致するかどうかを比較し、
一致する場合は、議事録生データ用メモリ６４内のポイ
ンタデータをオーバーレイメモリ６２へ送信することに
より再生を行う。音声入出力コントローラ４５における
音声データの再生も同様の方法で行なわれる。

【００４３】次に、議事録生データの各端末での編集
（更新）方法について述べる。ユーザは、キーボード２
７からの入力で、編集要求をＣＰＵ４３に知らせる。す
ると、ＣＰＵ４３は、ディスプレイコントローラ４４と
音声入出力コントローラ４５へ編集命令を送信する。

【００４４】編集命令を受取った各コントローラ４４、
４５は、ユーザからの入力待ち状態に入る。そして、ユ
ーザが図２のタッチスクリーンコントローラ４７で制御
されるタッチスクリーン６からポインタデータを入力す
ると、これはタッチスクリーンデータ入力部６７を通じ
て議事録生データメモリ６４に送られる。ディスプレイ
コントローラ４４は、これに伴って議事録生データメモ
リ６４中のポインタデータを更新するとともに、ディス
プレイメモリ６１へ送信し、ディスプレイ５に表示す
る。

【００４５】音声の編集についても上記と同様に行う。

【００４６】そして、ＣＰＵ４３は、キーボード２７か
ら編集終了の要求を受けると、終了命令を各コントロー
ラ４４，４５へ送り、さらに更新されたポインタデータ
と音声データを各コントローラ４４、４５内の議事録生
データ用メモリから、ＣＰＵ４３のメモリへ送信し、そ
のメモリ内にある議事録生データの原本を更新する。

【００４７】今度は図４を参照して、図１の議事録編集
部３９で音声を含む議事録生データから画像にオーバー
レイする（これを編集と考える）文字・グラフィックス
情報を作成する方法を述べる。図４において図１〜図３
に対応する要素には同一の符号を付す。

【００４８】議事録生データは、議事録生データメモリ
３８から議事録編集部３９に入ってくると、一方で文字
系データ作成部１６へ送られる。すると、音声認識部１
５は、議事録生データのうち音声データ部分について、
公知の音声認識技術により音声データを文字コードに変
換する。この文字コードは、文字系データ作成部１６で
作成される文字系データの一部として使われる。

【００４９】すなわち、音声認識部１５は、単語あるい
は文の区切りとして、例えば無音状態になったときに、
それまでの単語あるいは文を一区切りとして文字コード
に変換し、その際下記表６に示す音声データＶ₁ ，…，
Ｖ_n に相当する時刻ｔ₁ ，…，ｔ_n と、変換した文字コ
ードＣを対応づけて記憶し、かつ文字系データ作成部１
６へ送る。

【００５０】

【表６】 このときのフォーマットは、下記表７に示すように、認
識した音声の最初の時刻ｔ₁ 、最後の時刻ｔ_n および文
字コードＣの組として送られる。

【００５１】

【表７】 この表から分かるように、無音状態と認識した部分につ
いては、その最初と最後の時刻に、文字コード（null）
を対応させる。

【００５２】音声認識部１５から表７のデータを受取っ
た文字系データ作成部１６は、議事録生データ中の画像
ＩＤと時刻−ポインタデータおよび表７の時刻（最初と
最後）−文字コードデータから所定フォーマットの文字
系データを作成し、文字オーバーレイデータ作成部１８
へ送信する。

【００５３】つぎに、議事録生データ中のポインタ情報
（時刻−ポインタデータ）がグラフィックスデータ（画
面上を指でなぞって描いた画像データ）であるかあるい
は音声入力データ（画面上の一点を指差して発言し入力
した音声データ）であるかを弁別する方法を述べる。

【００５４】議事録生データを受取ったポインタ情報弁
別部１７は、データフォーマット中の時刻−ポインタデ
ータに着目して処理を進める。

【００５５】まず、時刻ｔ₁ からある決められた時間Δ
ｔ（予め保持している）の間に、ポインタ（座標）デー
タが移動した距離を計算する。座標（Ｘ₁ ，Ｙ₁ ）と
（Ｘ₂，Ｙ₂ ）の間の距離ｄは、

【数１】 で表される。

【００５６】Δｔ間に座標データがｎ個あったときは、
ｎ個の座標データ全部について、それぞれｔ₁ の座標
（Ｘ₁ ，Ｙ₁ ）からの距離ｄを計算する（これをｄ₁ ，
…，ｄ_n とする）。

【００５７】そして、これらｄ₁ ，…，ｄ_n のうち１つ
でも所定の値ε（予め保持している）を上回るものが存
在すれば、この（Ｘ₁ ，Ｙ₁ ）から（Ｘ_n ，Ｙ_n ）の座
標データは、医師により手書きで入力されたグラフィッ
クスデータであると判断し、次の表８に示すフォーマッ
トに座標（Ｘ₁ ，Ｙ₁ ）から（Ｘ_n ，Ｙ_n ）の組を格納
する。

【００５８】

【表８】 なお、この座標データの組は、グラフィックスデータと
して便宜上（Ｘ₁ ，Ｙ₁ ），……，（Ｘ_n ，Ｙ_n ）と書
き表す。

【００５９】他方、ｄ₁ ，…，ｄ_n のうち一つたりとも
εを上回らなければ、これらは、医師がこの座標［（Ｘ
₁ ，Ｙ₁ ）から（Ｘ_n ，Ｙ_n ）までほとんど同じ）に触
れながら音声によって文字を入力したものと判断し、ｄ
₁ ，…，ｄ_n に相当する（Ｘ₁ ，Ｙ₁ ）とｔ₁ ，…，ｔ
_n を、次の表９に示すデータフォーマットに格納する。

【００６０】

【表９】

【００６１】また、このフォーマットはポインタデータ
として、便宜上つぎの表１０のようにも書き表すことと
する。

【００６２】

【表１０】 さて、このようにして座標データ（Ｘ₁ ，Ｙ₁ ）〜（Ｘ
_n ，Ｙ_n ）までの解析が終了したら、つぎの（Ｘ_n+1 ，
Ｙ_n+1 ）以降の座標データについても同様の処理をくり
返す。こうして最後の座標データまで処理を行い、次の
表１１のデータフォーマットに全てのグラフィックスデ
ータとポインタデータ（以下これを「グラフィックス−
ポインタデータ」と呼ぶ）を格納する。この表ではグラ
フィックスデータは、先の便宜形式、またポインタデー
タは表１０の形式で納められる。

【００６３】

【表１１】 このグラフィックス−ポインタデータは文字オーバーレ
イデータ作成部１８へ送信される。

【００６４】文字系データ作成部１６とポインタ情報弁
別部１７から、それぞれ文字系データとグラフィックス
−ポインタデータを受取った文字オーバーレイデータ作
成部１８は、これらを基に、文字オーバーレイデータを
作成する。

【００６５】ところで、本実施例では、タッチセンサ６
の座標は、図５に示すように、（０，０）から最大（Ｘ
_max ，Ｙ_max ）とし、この座標サイズに係るデータは文
字オーバーレイデータ作成部１８でも保持しているもの
とする。

【００６６】さて、文字オーバーレイデータ作成部１８
は、例えば端末Ａの画像データ管理部１０に対して、文
字系データあるいはグラフィックス−ポインタデータの
もつ画像ＩＤをパラメータとして、当該画像についてす
でに保存されている過去の文字オーバレイデータを要求
するコマンドを送出する。

【００６７】一方、画像データ管理部１０は画像ＩＤと
文字オーバーレイデータの対応表を保持しているものと
し、このコマンドを受取ると、その対応表を参照して、
オーバーレイメモリ２１に文字オーバーレイデータを文
字オーバーレイデータ作成部１８に送らせる。

【００６８】つまり画像データ管理部１０は、予め各画
像の文字オーバーレイデータについて、図６に示すよう
な空間分解能（Ｘ´，Ｙ´）［ピクセルサイズは（Ｘ′
_max，Ｙ′_max ）］と１ビットの濃度分解能（０または
１；表示する場合は０、表示しない場合は１）からなる
フォーマットをオーバーレイメモリ２１に作成してお
く。そして、このフォーマットの文字オーバーレイデー
タと画像ＩＤの対応表から、文字オーバーレイデータ作
成部１８の要求に対して、文字オーバーレイデータとそ
のピクセルサイズをオーバーレイメモリ１９から転送さ
せるわけである。

【００６９】文字オーバーレイデータ作成部１８は、文
字オーバーレイデータとそのピクセルサイズを受取る
と、次にグラフィックス−ポインタデータのポインタデ
ータに着目する。先の例では時刻ｔ_n+1 〜ｔ_m の間は、
座標（Ｘ_n+1 ，Ｙ_n+1 ）にタッチがあって、その間に音
声入力されていたと判断した。

【００７０】よって、文字系データの時刻ｔ_n+1 〜ｔ_m
に相当する文字コードＣを検索する。その結果、例えば
「肺炎」という文字コードが入力されていたら、図７に
示すタッチセンサと文字オーバーレイデータのフォーマ
ットの座標関係を基に、文字オーバーレイデータのフォ
ーマット中の座標（Ｘ_n+1 ・Ｘ′_max ／Ｘ_max ，Ｙ_n+1
・Ｙ′_max ／Ｙ_max ）から始まる近傍、例えばピクセル
数ε′（予め定める）の範囲に、「肺炎」という文字の
グラフィックスデータ（文字のある箇所を１とする）を
作成してデータ入力する。

【００７１】この操作は、グラフィックス−ポインタデ
ータ中の全てのポインタデータに対して行う。そして、
こうしてできた文字を含む新しいオーバーレイデータ
は、オーバーレイメモリ１９へ送出し、過去のものと入
れ替わり格納される。

【００７２】つぎにグラフィクスオーバーレイデータの
作成方法を説明する。

【００７３】グラフィックス−ポインタデータを受取っ
たグラフィクスオーバーレイデータ作成部２５は、グラ
フィックス−ポインタデータ中のグラフィックスデータ
部分を見て、グラフィックスオーバーレイデータを作成
する。

【００７４】まず、グラフィックス−ポインタデータ中
の画像ＩＤをパラメータとして、当該画像のグラフィッ
クスオーバーレイデータを要求するコマンドを画像デー
タ管理部１０へ送出する。画像データ管理部１０では、
そのコマンドとパラメータを受取ると、オーバーレイメ
モリ１９に、該当する過去のグラフィックスオーバーレ
イデータとピクセルサイズをグラフィクスオーバーレイ
データ作成部２５へ送り出させる。

【００７５】グラフィックスオーバーレイデータ作成部
２５では、受取ったグラフィックスオーバーレイデータ
とピクセルサイズを（Ｘ′_max ，Ｙ′_max ）およびＺ
（１ビット）で表す濃度分解能を一旦格納する。

【００７６】次に、グラフィックス−ポインタデータ中
のグラフィックスデータの座標（Ｘ₁ ，Ｙ₁ ）をもとに
オーバーレイデータを作成するが、これは、オーバーレ
イデータの座標（Ｘ₁ ・Ｘ′_max ／Ｘ_max ，Ｙ₁ ・Ｙ′
_max ／Ｙ_max ）のデータを０から１に変えることにより
行う。この座標データの変換は、クラフィックス−ポイ
ンタデータ中の全てのグラフィクスデータについて行
う。

【００７７】このようにしてできたオーバーレイデータ
は、オーバーレイメモリ２１へ送出され、格納される。

【００７８】オーバーレイメモリ１０において、１つの
画像ＩＤに対応するオーバーレイデータは、文字オーバ
ーレイ用とグラフィックスオーバーレイ用に分かれてい
るのが好ましい。一つになっていてもよいが、その場合
は文字オーバーレイデータ作成部１８とグラフィックス
オーバーレイデータ作成部２５で同時に更新して一方が
他方を消してしまわないように、画像データ管理部１０
による排他制御を必要とする。

【００７９】本実施例では、分かれているものとしてす
る。

【００８０】さて画像＋オーバーレイを表示する場合
は、文字オーバーレイデータ作成部１８とグラフィック
スオーバーレイデータ作成部２５によって作成された文
字オーバーレイとグラフィックスオーバーレイがともに
画像データ管理部１０により画像ＩＤと対応づけられて
オーバーレイメモリ２１に格納される。

【００８１】画像とオーバーレイを参照したいという要
求および画像ＩＤがキーボード２７から入力されると、
画像データ管理部１０は、文字オーバーレイとグラフィ
ックスオーバーレイを同じ座標毎に加算し、１つのオー
バーレイデータを作成してオーバーレイ・ポインタデー
タ表示部２２へ送出する。また、画像ＩＤに対応する画
像を画像メモリ２０から読み出してオーバーレイ・ポイ
ンタデータ表示部２２へ送出する。

【００８２】これにより、ディスプレイ５には、画像と
オーバーレイが重なって表示される。つまりこれまでの
動作より、音声とタッチセンサ６でのポインティングに
より入力されたデータは、オーバーレイとなって参照さ
れる。

【００８３】本実施例によれば、画像＋オーバーレイを
編集することもできる。つまり、オーバーレイメモリ２
１に格納されたオーバーレイデータは編集することがで
き、ディスプレイ５に表示されたオーバーレイを見て、
ユーザはタッチセンサ６からポインタデータを入力す
る。入力されたデータは例えばオーバーレイグラフィッ
クスとして処理される。

【００８４】すなわち、入力された座標データを全てグ
ラフィクス入力と判断し、オーバーレイメモリ２１のデ
ータを更新する。さらに、入力データをオーバーレイ・
ポインタデータ表示部２２へ送信し、ディスプレイ５に
表示する。これにより編集が可能となる。

【００８５】

【発明の効果】以上説明したように、本発明のコンサル
テーション・カンファレンスシステムによれば、ＬＡＮ
等のネットワークの領域内ですべての端末からのタッチ
センサなどの意見入力手段を介して入力された音声、表
情、グラフィックス情報が同一時刻についてまとめら
れ、議事録生データとなって記録されるため、コンサル
テーション・カンファレンスの内容が人手によらず自動
的に、かつ要点だけコンパクトに記録される。

【図面の簡単な説明】

【図１】本発明の一実施例に係るコンサルテーション・
カンファレンスシステムの機能構成図。

【図２】図１のコンサルテーション・カンファレンスシ
ステムの実装構成図。

【図３】図２中のディスプレイコントローラの構成図。

【図４】図１の議事録編集部の構成図。

【図５】図１にタッチセンサの座標を示す図。

【図６】各画像の文字オーバーレイデータのフォーマッ
トを示す図。

【図７】タッチセンサと文字オーバーレイデータのフォ
ーマットの座標関係を示す図。

【符号の説明】

１ マイク ４ 画像表示部 ５ ディスプレイ ６ タッチセンサ １０ 画像データ管理部 １３ クロック １４ 時刻−音声−表情−ポインタデータ−画像ＩＤデ
ータ作成部 ２０ 画像メモリ ２１ オーバーレイメモリ ２７ キーボード ３７ 議事録生データ作成部 ３８ 議事録生データメモリ ３９ 議事録編集部 ４０ 画像データベース ５０ 端末Ａ

フロントページの続き (72)発明者 江馬 武博 栃木県大田原市下石上1385番の１ 東芝 メディカルエンジニアリング株式会社内 (56)参考文献 特開 平５−2540（ＪＰ，Ａ) 特開 平４−354054（ＪＰ，Ａ) 特開 昭63−194466（ＪＰ，Ａ) 特開 平３−165368（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/60 H04L 12/28 H04N 7/15 G06F 17/21 G06F 3/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 コンサルテーション・カンファレンスの
   参加者をユーザとする端末をネットワークで結んだコン
   サルテーション・カンファレンスシステムであって、前
   記各端末はユーザが意見を述べるべき画像を表示するデ
   ィスプレイ手段と、各ユーザが意見を音声で入力するマ
   イク手段と、他のユーザの意見を音声で出力するスピー
   カ手段と、グラフィックスによる意見入力の手段と、意
   見を入力するユーザの表情を撮影するカメラ手段と、時
   刻を知らせるクロック手段と、前記各端末において画像
   ごとに、入力されたユーザの音声、表情および入力され
   たグラフィックス情報を経時的にまとめた時系列情報を
   作成し、前記ネットワークに送り出す手段とを有し、前
   記ネットワークには、前記各端末から送られてきた時系
   列情報を画像ごとに時系列的にまとめて議事録生情報を
   作成、記憶し、前記各端末からの要求に応じてこの議事
   録生情報を送り出す手段が接続するコンサルテーション
   ・カンファレンスシステム。