JP3775446B2 - 会議情報記録方法および会議情報記録装置並びに会議情報再生装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、会議における音声情報、画像情報さらには会議参加者の画面上の指示操作情報を記録し、再生する方法および装置に関し、特に、できるだけ少ない情報量で会議の主要部分の内容の正確な再現が可能となる方法および装置に関わる。
【０００２】
【従来の技術】
会議では、多くの情報が会話によって交換される。会議情報のうち、テキストとしてホワイトボードや議事録など文書化される情報は、わずかであり、重要な発言が記録されない、正確に思い出せないなどの問題点がある。
【０００３】
この点から、会議の情報を記録する最も原始的な方法は、すべての情報を記録する方法であり、この種の会議記録手法の一例が、特開平６−３４３１４６号公報に示されている。
【０００４】
この特開平６−３４３１４６号公報の発明では、会議を、マイクロホンからの音声情報、ビデオカメラからの画像情報、会議参加者の文字、図形入力の情報などからなるマルチメディア情報によって記録することにより、会議情報をもれなく記録するようにしている。そして、会議参加者の多様な入力情報の入力時刻をインデックスとして、マルチメディア情報の対応を付けて記憶しておき、再生時に、このインデックスによりマルチメディア情報を、容易にアクセスできるようにしている。
【０００５】
この特開平６−３４３１４６号公報の技術によれば、会議の発言が記録されない、また容易にアクセスできないという問題を解決することができる。しかし、この公報のようなマルチメディア記録は、その記録・保存にきわめて大量の記憶容量を必要とする。特に長期にわたって、その記録を保存しようとした場合、この莫大な記憶容量は問題である。画像圧縮に関しては、ＪＰＥＧ，ＭＰＥＧという汎用的な圧縮技術も存在するが、それでも十分に情報量を減らすことはできない。すなわち、会議記録にとって、できるだけ少ない情報量で、会議の情報を正確に再現することが、重要な課題である。
【０００６】
会議の情報をすべて記録するのではなく、内容を正確に再現するために必要な情報のみを記録するという観点からすると、音声情報だけでも、かなり正確な情報が得られる。従来、この音声のみの会議情報の記録には、一般的には、テープレコーダが使用されている。
【０００７】
しかし、会議の発言の特徴として、会議資料データのような視覚情報を参照しながら、発言しているケースが多い。このため、音声情報のみしか記録しないときには、何について話しているのかがわからず、発言内容を正確に理解できないという問題が存在する。会議の際に使用されたＯＨＰや配布資料を、会議情報の再生時に参照できたとしても、そのどの部分と対応するのかの対応関係を知る手段がない。
【０００８】
そこで、より正確な再現のために、音声情報を補完するための画像情報を取り込むことが、従来から考えられている。
【０００９】
特開平６−２７６４７８号公報の音声画像記録表示装置では、音声を録音しながら、その補完情報としてカメラで静止画像を記録するようにしている。そして、この公報においては、記録された音声と画像情報は、画像の記録時間（タイムコード）によって、対応付けて保持するようにしている。
【００１０】
音声情報を補完するための画像情報を取り込む場合、すべての画像を取り込むのではなく、必要な画像のみを取り込むようにするほうがよいが、その場合には、画像を取り込むタイミングと、撮影する対象の選定が重要である。
【００１１】
画像を取り込むタイミングに関して、どの時点での画像に意味があるのかを、自動的に判別する方法として、特開平６−１６５００９号には、撮影時に行われるズーム、連写などのボタン操作の属性を利用して、画像に優先度を持たせる方法が提案されている。
【００１２】
画像を取り込むタイミングとして音声認識を利用することが考えられる。すなわち、例えば特開平６−６８１６８号公報の発明は、会議情報の記録再生に関する技術ではないが、映像情報のデータベースに対して、あらかじめ音響キーワードを登録しておき、音響キーワードを音声認識により検出して、対応する映像情報を検索／再生する装置が記載されている。そこで、この公報の技術を会議記録に適用し、音声認識による音声キーワードを利用して会議音声を補完する画像を取り込むタイミングを決めるようにすることが考えられるものである。
【００１３】
撮影する対象の選定にかかわる技術としては、会議の参加者が何に注目しているのかを検出する技術が重要となってくる。特開平７−２００６３２号公報には、視線の情報を利用して、参加者の注目する情報を特定する技術が示されている。また、前述した特開平６−３４３１４６号公報には、ペンのような入力装置からのストローク情報を抽出して、会議参加者の指示情報を記録するようにしている。この場合、この公報の発明では、ペンの動きが、意味のある指示情報であるかどうかは、ユーザが意図的に指示したり、ペン自身がそのモードの認識能力を持つようにすることなどを仮定している。
【００１４】
なお、記録対象を選定する際、会議では複数の参加者が存在するため、誰の注目情報を記録すべきかを選別することも重要である。特開平６−１３９０４２号公報には、複数のポインティングデバイスの競合から、適切なポインティングデバイスを選択する技術が示されている。すなわち、この公報の発明では、対面会議で複数の参加者が、おのおのポインティングデバイスを操作できる環境を想定し、発言者のポインティングデバイスの動きを有意と捉えている。この場合、発言者は、音圧感知装置により一定レベル以上の音圧が感知された参加者として特定されるもので、その音圧感知装置と対になっている参加者のポインティングデバイスに該当するカーソルを強調表示することで、選定されたポインティングデバイスが何かを示すようにしている。
【００１５】
【発明が解決しようとする課題】
上述したように、会議記録においては、できるだけ、少ない情報量で、会議の内容を正確に再現できることが好ましく、その点では、会議中の音声はすべて記録すると共に、この音声を補完する画像情報を併せて記録する方式が望ましい。この場合、音声情報を補完するための画像情報としては、必要な情報のみを取り込むようにすることが重要であり、そのため、特に、その補完画像情報を取り込むタイミングと、取り込む対象の特定が重要である。
【００１６】
上述したように、そのための技術の提案が、従来から、種々存在する。しかしながら、上述した各公報の技術は、以下に説明するような問題点をそれぞれ有する。
【００１７】
特開平６−２７６４７８号公報の技術は、音声情報と画像情報の対応がとれないという問題を解決するが、どの映像が、音声情報を補完するために重要であるのかは、利用者の判断に任せられている。さらに、映像のどこにポイントがあるのかなども、利用者が、テキストや手書き画像によって自ら入力しなければならず、手間がかかるという問題がある。
【００１８】
また、特開平６−１６５００９号公報の技術は、どの映像が重要かを撮影者が判断しなければならない、という問題に対して、撮影時のボタン操作から自動的に重要度を判定することにより、問題を解決している。しかしながら、視覚情報への参照を含む発言のあいまいさの問題が残る。特に、「これ」とか「その部分」などの指示語を伴う発言の場合において、その指示語が何を参照しているのか、音声情報だけではわからない、という問題が顕著となる。
【００１９】
この問題に対し、画像情報だけで補完しようとした場合、無意図的に撮影した映像から、ズーム、連写などのボタン属性だけで適切な重要度を判別することは難しい。したがって、特開平６−１６５００９号公報の場合も、前記特開平６−２７６４７８号公報の技術と同様に、画像の重要度などの判断は、撮影者に任せられることになる。
【００２０】
特開平６−６８１６８号公報の音声認識による音声キーワードを利用する技術を、会議音声を補完するための重要な画像情報を取り込むための手段として利用した場合には、前記特開平６−１６５００９号公報および前記特開平６−２７６４７８号公報の技術における、撮影者が重要度を指定しなければならないという問題点を改善できるが、この場合には、次のような問題がある。
【００２１】
１つは、重要と思われるキーワードをあらかじめ決めておくことが困難であるという点である。また、たとえ決められたとしても、キーワードの発話と映像の重要度が一致するとは限らず、不要な画像情報を無駄に取り込んでしまうという問題もある。
【００２２】
さらに、すでに記録されたデータベースに対して、音響キーワードをつけるのに比べ、音響キーワードを、画像情報を取り込むトリガとして使用した場合、重要なキーワードが発話されたことは、その発話後に認識されるために、この認識処理による遅れのための時間的誤差が生じ、適切な映像との正確な対応づけの困難性が発生してくるという問題がある。
【００２３】
何を画像情報として記録すべきか、という課題に対して、参加者が何に注目しているのかを特定することが課題になるが、特開平７−２００６３２号公報では、視線検出装置により、何に注目しているかを自動抽出している。しかし、視線検出装置は、音声情報の補完情報を取り込む手段としては、高価すぎる。
【００２４】
これに対して、特開平６−３４３１４６号公報では、比較的安価なペン状のポインティングデバイスが使われている。しかしながら、この公報の技術では、指示モードをユーザが意図的に指示する必要があり、ユーザの負担が大きい。また、認識の単位としてストローク（指示位置が所定の速度を持って、連続している移動の単位をストロークと呼ぶ）情報を抽出しているが、注目情報の指示操作の単位として、必ずしも、１ストロークが適切とは言えない。むしろ、連続した一連のストロークから、意味のある指示操作単位を抽出する技術が課題となる。
【００２５】
また、前述したように、複数の参加者が存在する会議では、その複数の会議参加者のうちの、いずれの参加者の注目情報を、意味のある情報として記録すべきかを特定することも重要であり、この課題を解決する手段として、前述したように、特開平６−１３９０４２号公報の技術があるが、ここでは、ポインティングデバイスの動きが有意であるかの判断を、発言者の音圧のみで行っている。
【００２６】
しかしながら、音声情報の補完という目的から考えると、発言の間中、発言者のポインティングデバイスの動きを記録し続けることは、無駄な情報量を増やすことにつながるという問題がある。実際の対面型会議であれば、カーソルの動きに意味があるのかどうかは、発言者の顔の表情などの情報からも推測できるが、再現された画像情報だけから判断することは困難であり、中途半端に過剰な情報は、かえって参照する人を混乱させる可能性がある。
【００２７】
また、実際の会議では、参加者のすべてが、各個に必ずポインティングデバイスを持って発言するとは限らず、司会者、あるいは黒板の近くにいる人が、発言に対して注目情報のポインティングを補助するという場合もあり、特開平６−１３９０４２号公報の技術では、このような状況に対応できない。
【００２８】
以上の問題に鑑み、この発明では、会議の情報を、できるだけ少ない情報量で、正確に再現することができる会議情報記録方法および記録、再生装置において、音声情報の記録とともに、音声情報を補完するために適切な参加者の注目情報を、できるだけ人間の手間をかけずに、適切なタイミングで自動的に記録することができる方法および装置を提供することを目的とする。
【００２９】
また、この発明は、上記のようにして記録し、その記録した情報の再生を効果的に行うことができる会議情報再生装置を提供することを目的とする。
【００３０】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による会議情報記録方法は、
共通の表示画面内容を見ながら複数人の会議参加者が会議を行なう場合の音声情報を記録すると共に、この音声情報を補完するための、適宜のタイミングの前記表示画面内容を含む画像情報と、必要に応じて前記表示画面上における任意の会議参加者の指示操作の情報とを合わせて記録する方法において、
会議参加者が指示語を発話したときに、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があるか否かを検出し、
前記指示語に対応する指示操作があったときには、少なくとも、その指示対象を含む画像情報を、前記音声情報の指示語の発話部分に関連付けて記録するようにすると共に、前記指示語に対応する指示操作がなかったときには、前記指示対象を含む画像情報の記録は行なわないことを特徴とする。
【００３１】
請求項２に発明においては、上記の請求項１に記載の会議情報記録方法において、前記指示語に対応する指示操作があったときに、その指示対象を含む画像情報に加えて、前記指示語に対応する指示操作の操作軌跡の情報を、前記指示語の発話部分の音声情報に関連付けて記録することを特徴とする。
【００３２】
また、請求項３の発明による会議情報記録装置は、
会議に寄与する画像情報を表示するための表示装置と、
会議参加者が、前記表示装置の画面上で、任意の位置を指示するための指示操作手段と、
前記指示操作手段で指示された画面上の位置を認識する位置認識手段と、
前記会議中の音声情報入力を受けるための音声情報入力手段と、
前記音声情報入力手段からの音声情報から、指示語の音声情報を検知する指示語検出手段と、
前記指示語検出手段で検出された指示語に対応する前記指示操作手段による指示操作を検出する指示操作検出手段と、
前記音声情報入力手段からの会議中の音声を記録すると共に、前記指示操作検出手段で前記指示語に対応する前記指示操作手段による指示操作が検出されたときには、少なくともに、その検出された指示操作の指示対象を含む画像情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録すると共に、前記指示語に対応する前記指示操作が検出されなかったときには、前記指示対象を含む画像情報の記録は行なわないようにする記録手段と
を具備することを特徴とする。
【００３３】
また、請求項４の発明による会議情報記録装置は、請求項３の会議情報記録装置において、
前記記録手段は、前記指示対象検出手段で検出された指示対象を含む画像情報に加えて、前記位置認識手段からの位置情報を用いた前記指示操作手段の指示操作軌跡の情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録することを特徴とする。
【００３４】
請求項５の発明による会議情報記録装置は、
前記指示操作手段が、複数人の会議参加者に対応して複数個設けられる請求項１に記載の会議情報記録装置において、
前記指示対象検出手段は、
会議参加者の属性により、各会議参加者の優先度を判定する参加者属性判定手段と、
前記指示操作手段による表示画面上の指示座標位置の変動量が、定められた有意な移動量条件を満足するかどうかにより、その指示操作が有意か否かを判定する指示操作有意性判定手段と、
前記複数個の指示操作手段による表示画面上の指示座標位置の変動量を比較することにより、前記指示操作手段の優位性を判定する指示操作手段優位性判定手段と
を具備し、前記参加者属性判定手段の判定結果と、前記指示操作手段優位性判定手段と、前記指示操作有意性判定手段との判定結果に基づいて、前記指示語に対応する前記指示操作手段による指示操作を検出することを特徴とする。
【００３５】
請求項６の発明は、請求項４に記載の会議情報記録装置において、
前記指示操作検出手段が、
各指示操作手段毎に、予め定められた一定時間分の指示操作位置の座標データを記録する指示履歴記録手段を備え、
前記指示操作検出手段は、前記指示履歴記録手段の座標データを用いて、前記指示語が検出時点の、前記指示語の発話時刻に対する時間遅れを補正して、指示操作の開始時点を検出することを特徴とする。
【００３６】
請求項７の発明の会議情報記録装置は、
前記指示操作検出手段が、
前記指示操作手段による指示座標位置の変動量の大きさにより、前記指示操作手段による指示操作の終了を判定する終了位置判定手段と、
指示操作の開始時点とされる時点からの経過時間を監視することにより、前記指示操作手段による指示操作の終了を判定する終了時間判定手段と、
次の指示語の検出を知らせる通知手段と
を備え、前記終了位置判定手段と、前記終了時間判定手段と、前記通知手段とに基づいて、前記指示操作手段による指示操作の終了点を検出することを特徴とする。
【００３７】
また、請求項８の発明による会議情報記録再生装置は、
会議に寄与する画像情報を表示するための表示装置と、
会議参加者が、前記表示装置の画面上で、任意の位置を指示するための指示操作手段と、
前記指示操作手段で指示された画面上の位置を認識する位置認識手段と、
前記会議参加者の発言の音声情報入力を受けるための音声情報入力手段と、
前記音声情報入力手段からの音声情報から、指示語の音声情報を検知する指示語検出手段と、
前記指示語検出手段で検出された指示語に対応する前記指示操作手段による指示操作があるか否かを検出する指示操作検出手段と、
前記音声情報入力手段からの会議中の音声を記録すると共に、前記指示操作検出手段で前記指示語に対応する前記指示操作手段による指示操作が検出されたときには、少なくともに、その指示対象を含む画像情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録すると共に、前記指示語に対応する前記指示操作が検出されなかったときには、前記指示対象を含む画像情報の記録は行なわないようにする記録手段と、
前記記録された音声情報を再生する音声再生手段と、
前記音声情報の再生時に、前記指示語の発話時点において、前記指示語に対応する画像情報を表示する画像情報表示手段と
を備えることを特徴とする。
【００３８】
請求項９の発明の会議情報記録再生装置は、請求項８に記載の会議情報記録再生装置において、
前記記録手段は、前記指示対象検出手段で検出された指示対象を含む画像情報に加えて、前記位置認識手段からの位置情報を用いた前記指示操作手段の指示操作軌跡の情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録するものであり、
この指示操作軌跡の情報により、前記音声情報の順次再生時に、前記指示語の発話時点において表示される前記指示語に対応する画像情報に重ねて、前記指示操作手段の指示操作軌跡を表示して、前記指示語に対応する指示対象を特定することを特徴とする。
【００４０】
また、請求項１０の発明の会議情報再生装置は、
会議中の音声情報と、この音声情報を補完する情報として、会議参加者が指示語を発話したときに、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があった場合に、その指示対象を含む画像情報と、前記指示語に対応する前記指示操作の軌跡の情報とが、前記指示語の発話時点の時刻をリンク情報として、前記音声情報に関連付けて記録された会議情報の再生装置であって、
前記画像情報および前記指示操作の操作軌跡を表示するための表示装置と、
再生時において、前記リンク情報に基づいて定められる前記指示語に対応する指示操作の再生開始時点から、予め定められた一定時間前の再生時点を監視する手段と、
前記再生時において前記指示語に対応する指示操作の再生開始時点から前記一定時間前の再生時点になったときから、対応する画像情報を前記表示装置の画面に表示すると共に、前記定められた一定時間の間、前記表示手段の画面上において、前記指示操作の開始点に視覚的注目情報表示を行なう手段と
を備え、指示対象物に関して予見可能としたことを特徴とする。
【００４１】
請求項１１の発明の会議情報再生装置は、
会議中の音声情報と、この音声情報を補完する情報として、会議参加者が指示語を発話したときに、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があった場合に、その指示対象を含む画像情報と、前記指示語に対応する前記指示操作の軌跡の情報とが、前記指示語の発話時点の時刻をリンク情報として、前記音声情報に関連付けて記録された会議情報の再生装置であって、
前記画像情報および前記指示操作の操作軌跡を表示するための表示装置と、
前記記録された音声情報を再生する音声再生手段と、
前記音声情報の再生時に、前記指示語の発話時点において、前記指示語に対応する画像情報を前記表示装置の画面に表示する画像表示制御手段と、
前記画像表示制御手段により前記指示語の発話時点において表示される前記指示語に対応する画像情報に重ねて、前記指示操作の軌跡の情報に基づき所定のマークを移動させることにより、対応する前記指示操作を視覚的に再現する指示操作再現手段と、
前記再現された指示操作の終了時点から、定められた一定時間経過後の時刻を特定する手段と、
前記定められた一定時間の間、前記所定のマークの移動奇跡の残像を表示すると共に、 前記再現された指示操作の終了位置を視覚的に注目させるようにする視覚的注目情報の表示を行なう手段と、
前記定められた一定時間の経過後に、前記移動軌跡の残像および前記視覚的注目情報の表示を消去する手段と
を備えることを特徴とする。
【００４２】
【作用】
請求項１の発明の会議情報記録装置では、会議参加者の発言の音声入力情報から、例えば「この」「その」などの指示語の発話を認識し検出する。そして、この指示語の発話を検出すると、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があるか否かを検出する。発言者のみの指示操作ではなく、任意の会議参加者とするのは、指示操作をする者が、発言者ではなく、司会者等である場合を考慮する必要があるためである。
【００４３】
指示語に対応する指示操作があったときには、その指示操作の指示対象を含む画像情報が、当該指示語の発話部分と関連付けて記録される。例えば画像情報が、会議内容をビデオカメラで撮像した画像情報であれば、指示操作もその画像情報中に含まれる場合もある。
【００４４】
こうして、請求項１の発明によれば、指示語が会議参加者から発話されたときの、当該指示語の指示対象を含む画像情報が、音声情報を補完する画像情報として、自動的に記録される。この場合、表示画面に表示されていないものを指示する指示語が会議参加者から発話されたときには、当該指示語に対応する指示操作は存在しないので、不要な画像情報が記録されることはない。したがって、最小限の情報量で、会議内容をほぼ正確に再現できる情報の記録が可能になる。
【００４５】
記録する画像情報が、表示画面に表示されていた表示内容である時には、指示操作が画像情報に含まれない場合もあるが、請求項２の発明においては、指示語に対応する指示操作の操作軌跡の情報が、前記指示語の発話部分に関連付けられて、前記画像情報と共に記録される。したがって、この指示操作の軌跡情報を再生時に用いて指示操作を再現することで、再生時に、画像情報中の指示語の指示対象を特定することが可能になる。
【００４６】
また、この請求項２のように、指示語に対応する指示操作の操作軌跡の情報が、記録されている場合には、画像情報としては、指示対象が含まれる最小限の画像、例えば１枚の静止画の情報を記録しておけばよい。この静止画の表示画像上で、指示操作の操作軌跡の情報を用いて、当該指示操作が再現でき、指示対象が特定されるからである。
【００４７】
請求項３の発明の会議情報記録装置においては、上述の請求項１の発明の会議情報記録方法と同様の作用効果が得られる。同様に、請求項４の発明の会議情報記録装置においては、上述の請求項２の発明の会議情報記録方法と同様の作用効果が得られる。
【００４８】
請求項５の発明の会議情報記録装置においては、複数人の会議参加者のそれぞれが指示操作手段を有しており、指示語が発話されたときに、誰が当該指示語に対応する指示操作をしたかの競合を検出できる。
【００４９】
請求項６の発明の会議情報記録装置においては、常に現在時刻よりも一定時間前までの指示操作手段の指示操作位置の座標データが記録されているので、指示語が検出されたときに、その検出までの遅れにより指示操作の開始点が過ぎてしまっても、その遅れ分の時間だけさかのぼって指示操作の開始点から指示操作位置の座標データを得ることができる。したがって、指示操作を正確に再現することが可能となる。
【００５０】
請求項７の発明の会議情報記録装置においては、主としてポインティングデバイスの位置座標の変動量の大きさにより、指示操作の終了を判定するが、その判定ができなかった場合を考慮している。
【００５１】
すなわち、指示操作開始時点からの経過時間を監視して、この経過時間をもとにして指示操作の終了を判定する。例えば、前記経過時間について、予め、指示操作を記録するための最短時間および最長時間を定め、最短時間以上、指示操作を記録することを保証し、かつ最長時間を経過すると、指示操作は終了したと判定する。また、次の指示語の検出を知らせる通知手段により、次の指示語検出されたことが検知されたときには、処理中の指示操作を終了と判定する。以上の終了位置判定と、終了時間判定と、通知手段からの通知の組み合わせにより、認識可能な指示操作軌跡の再現を確保しつつ、適切な指示操作の終了条件の判定を行う。
【００５２】
また、請求項８の発明の会議情報記録再生装置においては、会議中の音声情報が順次に記録されると共に、請求項２の会議情報記録装置で記録する場合と同様にして、指示語の発話が検知されたときに、その指示語に対応する指示操作の存在が検知されると、その指示操作の指示対象を含む画像情報が、音声情報の前記指示語の発話部分と対応付けられて記録される。
【００５３】
そして、再生に当たっては、音声再生手段により会議中の音声情報が順次に再生されると共に、指示語の発話時点になり、対応する画像情報が記録されている場合には、その画像情報が自動的に画像情報表示制御手段により表示される。この画像情報がカメラによる撮像情報であれば、そのときの指示操作が画像情報に含まれており、指示語の表示画面上での指示対象が特定され、会議内容を正確に把握するために役立つ。
【００５４】
請求項９の発明では、前記請求項８の会議情報記録再生装置において、前記指示対象検出手段で検出された指示対象を含む画像情報に加えて、前記位置認識手段からの位置情報を用いた前記指示操作手段の指示操作軌跡の情報が、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録されている。したがって、再生時、指示語の発話部分になると、関連する画像情報が表示されると共に、その画像情報に重ねて、前記指示操作手段の指示操作軌跡が自動的に表示され、指示語に対応する指示対象が特定される。
【００５５】
指示操作軌跡の情報が記録されているので、画像情報としては、例えば１枚の静止画であっても、その静止画上に、その操作軌跡情報に基づいた指示操作が表示される。したがって、画像情報として、指示操作の開始から終了までを含む複数フレームをカメラ等で撮影して記録しておく必要はない。
【００５７】
また、請求項１０の発明の会議情報再生装置においては、音声情報が順次に再生されるときに、画面上に、指示語の発話に対応する指示操作による指示対象を指示語の発話が再生される前に画像表示によりある程度認識することができるようになる。
【００５８】
すなわち、例えば指示操作手段の指示操作開始時刻から、定められた一定時間前の時刻を算出し、該当時刻を検知すると、該当時刻に指示語に対応する画像情報を表示し、定められた一定時間の間、指示操作の開始点に視覚的注目情報表示を行うようにする。これにより、ユーザは、前記指示語があることを予知することができると共に、ユーザは、予知された指示語の指示対象が、例えば表示画面の内のどの部分であるかを予見することができる。
【００５９】
また、請求項１１の発明の会議情報記録再生装置においては、指示操作手段の指示操作終了時刻から、定められた一定時間経過後の時刻を検知すると、定められた一定時間の間、指示操作の軌跡の残像情報を表示し、指示操作の終了点に視覚的注目情報表示を行い、一定時間経過後に、残像情報および注目情報の表示を消去する。
【００６０】
したがって、指示操作が実際の時間では終了してしまっても、所定の時間の間は、指示操作の軌跡の残像情報の表示と、指示操作の終了点の視覚的注目情報表示により、どの位置が指示操作されたが分からなくなることはない。
【００６１】
【発明の実施の形態】
以下、図を参照しながら、この発明による会議情報記録ないし再生装置の実施の形態を説明する。
【００６２】
図２は、この発明による会議情報記録再生装置の一実施の形態が適用された電子会議室における対面型会議の概念図である。
【００６３】
図２において、１はパーソナルコンピュータ、２は大画面ディスプレイ装置である。パーソナルコンピュータ１は、会議で使用されるデータや文書などの会議資料の画像情報を、当該会議資料を格納している格納部から読み出して、大画面ディスプレイ装置２に提供する。大画面ディスプレイ装置２のスクリーン２Ｄには、このパーソナルコンピュータ１から提供された会議資料の画像が投影されて、表示される。
【００６４】
会議参加者１０，１１，１２，１３，１４は、大画面ディスプレイ装置２のスクリーン２Ｄに投影された画像情報を通じて、プレゼンテーションやディスカッションを行う。図２の例の場合、会議参加者１０は司会者である。その他の会議参加者１１〜１４は一般の参加者である。なお、この実施の形態では、会議参加者は５人であるが、参加者の数は任意である。また、司会者の存在も任意である。
【００６５】
２０，２１，２２，２３，２４は指示操作手段の例としてのポインティングデバイスであり、各参加者１０，１１，１２，１３，１４毎に１つづつ割り当てられている。参加者１０〜１４は、大画面ディスプレイ装置２のスクリーン２Ｄに表示されたグラフや文書を、ポインティングデバイス２０，２１，２２，２３，２４で指し示しながら議論を行う。
【００６６】
ポインティングデバイス２０，２１，２２，２３，２４は、大画面ディスプレイ装置２のスクリーン２Ｄ上の任意の位置を指し示すために使用される。ポインティングデバイス２０は、大画面ディスプレイ装置２の近傍に設置され、司会者用のポインティングデバイスとして使用される。これは、主に司会者１０が使用するか、または、他の参加者が大画面ディスプレイ装置２の近くに来て使用する場合もある。ポインティングデバイス２１〜２４は、一般の参加者用のものである。会議参加者２１〜２４は、各自の席から、これを用い、遠隔操作によってディスプレイ上の任意の位置を指し示すことができる。
【００６７】
すなわち、この例のポインティングデバイス２０〜２４は、遠隔操作可能なペン状のデバイスで、赤外線発光手段を備え、赤外線ビームにより、大画面ディスプレイ装置２のスクリーン２Ｄ上の任意の位置を指示できる。ポインティングデバイス２０〜２４は、それ自身の移動量を検知できる構成とされており、その移動量のデータを、それぞれのＩＤデータ（識別データ）を伴って、パーソナルコンピュータ１に入力するようにしている。
【００６８】
参加者が、それぞれのポインティングデバイスを取り上げて操作すると、パーソナルコンピュータ１は、その取り上げられて動いたポインティングデバイスについて、有意な運動量を検知し、当該ポインティングデバイスが取り上げられたことを検知する。ポインティングデバイスからのデータには、識別データＩＤが付与されているので、どのポインティングデバイスが参加者により取り上げられたをパーソナルコンピュータ１は検知する。
【００６９】
前述したように、各参加者には、それぞれ一つづつのポインティングデバイスがあらかじめ割り当てられているので、これにより、誰が、ポインティングデバイスを取り上げて操作しているかをパーソナルコンピュータ１は、検知することになる。
【００７０】
なお、ポインティングデバイス２０は、大画面ディスプレイ装置２のスクリーン２Ｄの近傍に置かれていることが、あらかじめパーソナルコンピュータ１に登録されており、このポインティングデバイス２０の操作者は、通常、司会者であると認識される。
【００７１】
大画面ディスプレイ装置２のスクリーン２Ｄ上では、赤外線のスポット軌跡として、ポインティングデバイスの操作軌跡が描かれる。大画面ディスプレイ装置２は、そのスクリーン２Ｄ上の赤外線スポットの位置を、当該スクリーン２Ｄ上の位置座標として検知するためのセンサやカメラを備え、当該スクリーン２Ｄ上の位置座標データを、パーソナルコンピュータ１に供給するように構成されている。パーソナルコンピュータ１は、このスクリーン２Ｄ上の位置座標を、自己のディスプレイ画面上の位置座標に変換して、ポインティングデバイスの指示操作位置データとする。
【００７２】
なお、この実施の形態では、２次元の大画面ディスプレイ装置２のスクリーン２Ｄ上での位置を認識する指示操作検出に関して述べるが、これにとどまるものではなく、３次元空間の任意の位置を認識するポインティングデバイスと、ポインティングデバイスの向きに連動する指向性のあるカメラとの組み合わせによるものでもよい。
【００７３】
３０，３１，３２，３３，３４は、会議における参加者の発言や、その他の音声を収音するためのマイクロフォンである。このマイクロホン３０〜３４は、各参加者毎に対応付けられて、１つづつ割り当てられている。マイクロホン３０は、大画面ディスプレイ２の位置に設置されており、司会者用の音声入力装置である。マイクロホン３１〜３４は一般の会議参加者用の音声入力装置である。
【００７４】
各マイクロホン３０〜３４と、会議参加者１０〜１４との対応は予めパーソナルコンピュータ１に登録されて記録されている。これにより、ポインティングデバイスと各会議参加者との対応も規定されるものである。
【００７５】
図１は、この実施の形態の会議情報記録再生装置の記録系のシステム構成図を示すものである。これは、主として、各部の処理機能をブロック化した機能ブロック図の構成である。
【００７６】
図１において、５１は表示画像提供部で、これは、前述したように、この実施の形態では、パーソナルコンピュータ１が備える機能である。この表示画像提供部５１からは、大画面ディスプレイ装置２のスクリーン２Ｄに投影表示する画像データＶｄが、例えばフレーム単位で出力される。
【００７７】
５２はポインティングデバイス群であり、前述したように、複数人の参加者のそれぞれに割り当てられた複数個のポインティングデバイス２０〜２４からなる。各ポインティングデバイス２０〜２４からは、それが操作者により操作されたときに、その相対的な移動量のデータＰｍ０〜Ｐｍ４が出力され、パーソナルコンピュータ１に供給される。
【００７８】
また、ポインティングデバイス２０〜２４は赤外線ビームを発生し、前述したように、そのビームスポットによりスクリーン２Ｄ上を走査して、スクリーン２Ｄ上の表示文字や表示図形、記号などの指示操作をする。
【００７９】
指示座標発生部５３は、前述したように、大画面ディスプレイ装置２が有する機能であって、スクリーン２Ｄ上の赤外線ビームスポットの位置を、カメラやセンサで検知し、その指示座標出力データＣｏをパーソナルコンピュータ１に供給するものである。この場合、画面上に複数個のビームスポットが存在する場合には、その複数のビームスポットのそれぞれについての座標出力データがパーソナルコンピュータ１に供給される。
【００８０】
５４は音声入力装置部で、前述したように、複数人の参加者のそれぞれに割り当てられた複数個のマイクロホン３０〜３４からなり、その各々の出力音声信号をパーソナルコンピュータ１に供給するものである。
【００８１】
記録制御装置部６０は、参加者の音声入力情報から指示語を検出し、指示語が検出されたときに、それに対応する参加者の指示操作およびその指示操作による指示対象を特定し、指示語に対応する指示操作が検出されたときに、当該指示語の発話時の音声情報および画像情報を、参加者の指示操作と共に、この例では、指示語の発話時刻をリンク情報として対応付けて、ファイルに格納するための処理を実施する装置部分である。
【００８２】
この実施の形態では、記録制御部６０は、パーソナルコンピュータ１により実現される機能部分である。図１の記録制御部６０の各部は、その処理制御機能をブロックとして示したもので、実際的には、各ブロックは、ソフトウエアにより実現されるものである。
【００８３】
この実施の形態においては、記録制御部６０は、指示語検出部６１と、指示語検出通知部６２と、指示対象検出部６３と、画像取込部６４と、タイマ６５と、ファイル格納部６６と、ポインティングデバイスの指示履歴記録部６７と、Ａ／Ｄ変換部６８と、音声信号混合部６９とを備える。
【００８４】
Ａ／Ｄ変換部６８は、音声入力装置部５４の各マイクロホン３０〜３４からのそれぞれのアナログ音声信号をデジタル音声信号に変換し、変換後のデジタル音声信号を指示語検出部６１に供給すると共に、音声信号混合部６９に供給する。音声信号混合部６９は、マイクロホン３０〜３４からの音声信号をデジタル信号に変換したデジタル音声データを混合し、ファイル格納部６６に供給する。
【００８５】
指示語検出部６１は、Ａ／Ｄ変換部６８から入力された、参加者毎の音声データを分析し、参加者毎に、指示語の発話の認識を行う。指示語の検出処理動作の詳細例については後述する。指示語検出部６１は、いずれかの参加者が指示語を発話したときに、その検出出力を指示語検出通知部６２に出力する。
【００８６】
指示語検出通知部６２は、指示語検出部６１の出力を監視し、指示語の検出出力が現れた時に、指示語が検出されたことを、指示対象検出部６３と、画像取込装置６４と、タイマ６５に通知する。
【００８７】
指示対象検出部６３は、指示座標発生部５３からのポインティングデバイスの指示座標データと、後述する指示履歴記録部６７からのデータとを、その入力データとして受けて、指示語が発せられたときに、当該指示語の指示対象を検出するものである。具体的には、指示対象検出部６３は、指示語の検出時に操作されているポインティングデバイスを検出すると共に、指示語の検出時に表示されている画面の画像情報上の指示操作の軌跡を検出することによって、指示対象を検出する。
【００８８】
この例では、指示対象検出部６３は、ポインティングデバイス選択部６３ａと、指示操作開始補正部６３ｂと、指示操作記録部６３ｃと、指示操作終了判定部６３ｄとを備える。
【００８９】
指示対象検出部６３の詳細な処理動作については、詳しくは後述するが、概要を述べると、指示対象検出部６３は、指示語検出通知装置６２からの通知によって、指示語の検出を検知したときに、ポインティングデバイス選択部６３ａによって、後述するようにして、複数の参加者の各々が持つ複数個のポインティングデバイス２０〜２４の中から、指示語の指示操作として適切なポインティングデバイスを選択する。
【００９０】
指示語の指示対象を指示する指示操作が表示画面において有った時には、データ格納要求を意味するデータ格納タイミング信号ＴＭをファイル格納部６６に出力する。一方、指示語の指示対象が表示画面になく、このため指示語に対応する指示操作がない場合には、ファイル格納部６６に対するデータ格納タイミング信号ＴＭは出力されない。
【００９１】
そして、指示語に対応する指示操作があると検出された場合において、その指示操作に関し、指示語が発話されてから当該指示語が検知されるまでの時間遅れにより、実際の指示操作開始点を記録できなくなることを回避するために、指示操作開始補正部６３ｂによって、後述するように、指示履歴記録部６７のデータを用いて指示操作の開始点を求める。そして、指示操作記録部６３ｃによって指示操作の軌跡を、一連の位置座標の系列データとして記録する。指示操作終了判定部６３ｄでは、指示操作の終了の判定を行う。
【００９２】
画像取込部６４は、指示語検出通知部６２からの指示語の検出通知をトリガとして、その時点で大画面ディスプレイ装置２に表示されている画面情報のスナップショット（静止画情報）を画像データとして、この例では取り込む。すなわち、パーソナルコンピュータ１は、大画面ディスプレイ装置２のスクリーン２Ｄに投影表示する画像データを管理しているので、その管理データから、その時点での静止画画像データを取り込むようにするものである。
【００９３】
なお、後述するように、この画像取込部６４に取り込んだ静止画の画像データをすべて会議情報として格納するのではなく、指示語に対応する指示操作があったときにのみ、取り込んだ静止画の画像情報をファイル格納部６６に送り、会議情報として格納するようにするものである。
【００９４】
また、この例の場合、画像取込部６４は、指示語検出通知部６２から指示語の検出通知があったとき、前回取り込んだ静止画像と、今回取り込む静止画像とを比較し、同じであったときには、画像取込作業は行わず、ファイル格納部６６には、画像データに代えて、画像内容の変更なしの通知を送る。
【００９５】
タイマ６５は、指示語検出時点のタイムスタンプ（時刻）を記録するためのものである。このタイムスタンプは、会議情報として、会議の開始から終了まで、すべてが格納される音声情報の指示語の発話時点との関連（リンク）のための情報である。このタイムスタンプとしては、音声情報の記録開始時刻や記録終了時刻を絶対時刻で記録しておく場合には、絶対時刻情報を用いる。また、音声情報の記録開始時刻や終了時刻を記録しない場合には、音声情報の記録開始時点である会議開始時点を起点とする相対時刻の情報を用いる。
【００９６】
ファイル格納部６６は、音声入力装置郡５４からの音声情報と、指示対象検出部６３からの検出された指示操作の軌跡データと、画像取込部６４からの画像データと、タイマ６５からの指示語検出時点の前述のようなタイムスタンプの情報とを、このファイル格納装置６６が備える記憶領域７０に格納する。
【００９７】
この例の場合、ファイル格納部６６に格納する音声入力装置郡５４からの音声情報は、各マイクロホン３０〜３４のそれぞれからのアナログ音声信号を、Ａ／Ｄ変換部６８でデジタル信号に変換し、音声信号混合部６９でそれらのデジタル音声データを混合したデータである。また、画像データは、静止画のデータである。
【００９８】
そして、この場合、このファイル格納部６６は、上述の入力データを、常に格納するのではなく、指示対象検出部６３からの格納タイミング信号ＴＭにより決まる時点のみにおいて、格納する。この格納タイミング信号ＴＭは、前述したように、指示対象検出部６３において、指示語が発話されたときに、その指示語の指示対象を指示する指示操作があったと判定されたときに出力される。
【００９９】
また、ファイル格納部６６では、画像データは、後述するように、格納時に静止画の画像データと、その静止画データの格納位置を特定するための画像ポインタの対として格納する。しかし、前述したように、格納時に、画像取込部６４から画像データの変更なしの通知を受信した場合においては、静止画の画像データの格納は行わず、対応する静止画データは、前回の静止画データと同じである旨のデータ、例えばnil を画像ポインタとして記録するようにする。
【０１００】
なお、画像取込部６４では、指示語検出通知部６２から指示語の検出通知があったときに常に画像の取込作業を行い、ファイル格納部６６において、画像データを格納する際に、前回格納した画像と今回格納しようとする画像とが同一であるか否かを判定して、同一であるときには、同じ静止画データの格納を行わず、前回の静止画データと同じである旨のデータ、例えばnil を画像ポインタとして記録するようにしてもよい。
【０１０１】
ファイル格納部６６の記憶領域７０には、この例では、図３に示すように、データ毎にファイルを分けて、記憶するようにすると共に、ファイル間をリンクするリンク情報をもファイル化して記憶するようにする。
【０１０２】
すなわち、記憶領域７０には、リンク情報ファイル７１と、音声データファイル７２と、画像データファイル７３と、指示対象ファイル７４とが記録される。
【０１０３】
リンク情報ファイル７１は、タイムスタンプを通じて、音声データ、画像データおよび指示対象間の対応関係を保持するファイルである。
【０１０４】
音声データファイル７２は、音声入力装置群５４から入力された複数のマイクロホン３０〜３４からの音声情報を、前述したように、Ａ／Ｄ変換部によってデジタル化し、混合したデータとして保持する。
【０１０５】
画像データファイル７３は、画像取込部６４によって抽出され、かつ、指示語に対応する指示操作が検出された時点の静止画画像データを保持する。
【０１０６】
指示対象ファイル７４は、指示対象検出部６３によって検出された指示語の指示対象に関するデータを、対応する指示操作の位置座標の系列データとして保持する。
【０１０７】
図４は、記憶領域７０に蓄積された情報ファイル７１〜７４のデータ構造を示す図である。
【０１０８】
リンク情報ファイル７１は、指示語検出時刻１０１と、指示対象ポインタ１０２と、画像ポインタ１０３とから構成される。指示語検出時刻は、指示語が検出された時点の時間を示すタイムスタンプであり、タイマ６５によって生成された値である。タイムスタンプによって、音声データファイル７２の指示語に対応する音声情報が格納されている位置と、リンク関係が生成される。１０４は音声データ部分であり、指示語の発話部分は四角で囲って示している。発話された時間順に、指示語１、指示語２、指示語３、…のように記録されるものである。
【０１０９】
図４では、指示語１とリンクするタイムスタンプはTimeStamp1、指示語２とリンクするタイムスタンプはTimeStamp2、指示語３とリンクするタイムスタンプはTimeStamp3…とされている。
【０１１０】
リンク情報ファイル７４の指示対象ポインタ１０２は、指示対象ファイル７４の一連の指示操作を示す位置座標の系列データへのポインタを保持する。図４の例の場合には、タイムスタンプTimeStamp1をリンクとして、指示語１に対応する指示操作のデータの指示対象ポインタはObj-Pointer1とされる。また、タイムスタンプTimeStamp2をリンクとして、指示語２に対応する指示操作のデータの指示対象ポインタはObj-Pointer2とされる。以下同様である。
【０１１１】
画像ポインタ１０３は、指示語が検出され、かつ、対応する指示操作が検出された時の画像イメージデータの、画像データファイル７３へのポインタを保持する。
【０１１２】
画像データファイル７３は、1 画面分のスナップショット（静止画）のデータを１単位として、順次ファイルに蓄積されている。画像取込部６４では、前述したように、取込処理時に、前画面とのデータの比較を行い、同一であれば、ファイルへの格納は行わず、変化のあった画面データのみを選択的に取り込むようにしている。前述したように、前の指示語発生時と次の指示語発生時の間に画面データに変化が存在しない場合は、画像ポインタ値はnil である。
【０１１３】
図４の例の場合には、タイムスタンプTimeStamp1をリンクとして、指示語１に対応する画像ポインタはImage-Pointer1、タイムスタンプTimeStamp2をリンクとして、指示語２に対応する画像ポインタはnil 、タイムスタンプTimeStamp3をリンクとして、指示語３に対応する画像ポインタはImage-Pointer2とされている。図４では、画像イメージデータ２と、リンク情報ファイルの第３レコードの画像ポインタImage-Pointer2との間にリンクがつけられている様子を示している。
【０１１４】
指示対象ファイル７４は、選択されたポインティングデバイス番号ＰＤＮｏと、ポインティングデバイスの一連の位置座標の系列データ（x0，y0）〜（xn，yn）を一単位とし構成される。図４の例では、指示対象ポインタの第２レコードObj-Pointer2との間でのリンク関係が示されている。
【０１１５】
指示履歴記録部６７は、複数のポインティングデバイス２０〜２４のそれぞれからの移動量のデータＰｍ０〜Ｐｍ４を受けると共に、指示座標発生部５３からの指示座標出力データＣｏを受け、各ポインティングデバイス毎の、現在時刻よりも、予め定められた一定時間前までの座標データを記録し保持する。
【０１１６】
この例の場合、指示履歴記録部６７は、データ記録部６７ａと、このデータ記録部６７ａにより各ポインティングデバイス毎の一定時間分の座標データを記録し保存するバッファメモリ６７ｂとを備える。バッファメモリ６７ｂには、各ポインティングデバイス２０〜２４のそれぞれ専用のメモリ領域が設定されている。これらの専用のメモリ領域は、それぞれ前記一定時間分の座標データを記録できる容量を有し、常に、各ポインティングデバイスについて、最新の座標データから、それよりも前記一定時間前までの座標データが、それぞれのメモリ領域に書き込まれるように構成されている。
【０１１７】
例えば、バッファメモリ６７ｂの各ポインティングデバイス用のメモリ領域は、リングバッファの構成とされ、そのメモリ領域一杯に座標データが記録されると、次の最新の座標データは、一番古い座標データの上に重ね書きされる。
【０１１８】
前述したように、ポインティングデバイス２０〜２４のそれぞれの移動量のデータＰｍ０〜Ｐｍ４は、それぞれのポインティングデバイスの識別ＩＤ（例えばポインティングデバイス番号）を含んでいる。指示履歴記録部６７のデータ記録部６７ａは、移動量のデータＰｍ０〜Ｐｍ４を監視し、ポインティングデバイスが会議参加者により取り上げられることにより、それ自身の移動量が有意であると認識されるポインティングデバイスを検出する。そして、データ記録部６７ａは、あるポインティングデバイスについて、その移動量が有意であると認識したとき、そのとき指示座標発生部５３から得られる座標データを当該ポインティングデバイスの指示位置データとしてバッファメモリ６７ｂの、当該ポインティングデバイス用のメモリ領域に書き込む。
【０１１９】
なお、複数のポインティングデバイスが同時に使用される場合には、移動量のデータＰｍと、座標データの変化との相関により、いずれの座標データがいずれのポインティングデバイスであるかを選別して認識して、バッファメモリ６７ｂの各メモリ領域に、対応するポインティングデバイスのスクリーン２Ｄ上の指示位置に対応する座標データを記録するようにする。なお、前述もしたように、この座標データＣｏは、パーソナルコンピュータ１の画面上の座標系に変換されたデータである。
【０１２０】
このようにして、バッファメモリ６７ｂには、ポインティングデバイス２０〜２４のそれぞれについて、現在時刻よりも一定時間前までの座標データのログが記録される。なお、ポインティングデバイスがスクリーン２Ｄ上を指示していないときには、座標データとしては、予め定められたその旨を示す特定のデータが記録されるものである。
【０１２１】
なお、ポインティングデバイス毎にそれが操作されたか否かの判定は、上述の例のように、各ポインティングデバイス自身の動きの移動量を検出するのではなく、ポインティングデバイス毎に電源スイッチを設け、その電源スイッチがオンとされたときに、操作される状態になったと判定するようにしてもよい。また、電源スイッチではなく、操作開始スイッチなどのトリガスイッチを設けて、そのトリガスイッチのオンにより操作の判定を行うようにしてもよい。
【０１２２】
次に、図１の主要な各部の処理動作の詳細な例について説明する。
【０１２３】
まず、指示語検出部６１での指示語検出処理について説明する。この例の場合、指示語検出部６１は、音声認識により指示語を検出するもので、図１には図示しなかったが、指示語テーブルＴＢＬを備えている。この指示語テーブルＴＢＬは、指示語の音声情報に関する特徴を登録しておく辞書のようなものである。
【０１２４】
図５は、この指示語テーブル１２０のデータ構造の例を説明する図である。この例の場合、指示語テーブル１２０は、指示語フィールド１２１と、波形スペクトルフィールドの２つのフィールドから構成されている。指示語フィールド１２１は、「これ」、「あれ」、「これら」などの指示語を表現するテキストである。波形スペクトルフィールド１２２には、対応する指示語の音声の特徴パラメータを示す波形スペクトルが登録されている。
【０１２５】
指示語検出部６１は、この指示語テーブルＴＢＬを用いて指示語の検出を行う。前述したように、指示語検出通知部６２は、その指示語の検出に基づいて指示語検出通知を指示対象検出部６３、画像取込部６４、タイマ６５に送る。
【０１２６】
図６は、記録制御部６０の指示語検出部６１と、指示語検出通知部６２の処理を説明するフローチャートである。
【０１２７】
まず、ステップ１３１では、音声入力装置部５４から入力された音声データがＡ／Ｄ変換部６８により、デジタル信号に変換された音声データを受け付ける。ステップ１３２では、認識の対象とする音声情報の区間を検出する。この例では、一定のしきい値以上の音圧が、一定時間以上継続して検出された場合、その区間を抽出する。抽出した区間の音声データを変数Input に代入する。
【０１２８】
次に、ステップ１３３では、抽出した音声データInput を特徴分析し、特徴パラメータ、この例では、波形スペクトルを抽出し、変数Parameter に代入する。次のステップ１３４では、変数Parameter と指示語テーブルＴＢＬの波形スペクトルフィールド１２２との照合を行う。そして、次のステップ１３５では、照合の結果、同じであると判断できる程度に類似する（これをマッチングという）指示語が検出されたか否か判断する。
【０１２９】
ステップ１３３での判断の結果、マッチングした指示語が存在しない場合には、ステップ１３１に戻り、上述の指示語認識処理を続ける。一方、ステップ１３３での判断の結果、マッチングした指示語が検出されたときには、ステップ１３６に進み、指示語検出フラグIflag にtrueを代入する。ついで、ステップ１３７において、指示語検出通知処理を行う。ここでは、指示対象検出部６３、画像取り込み装置６４、タイマ６５に、指示語が検出されたイベントを通知する。この結果として、各装置の処理の起動がトリガされる。
【０１３０】
次に、指示対象検出部６３の処理について説明する。前述したように、指示対象検出部６３は、複数個のポインティングデバイスのうちから、発話された指示語に対応して操作されたポインティングデバイスを検出し、その検出されたポインティングデバイスによる指示対象の指示操作軌跡を検出するものである。
【０１３１】
図７は、ポインティングデバイスによる指示操作を説明する図である。指示操作とは、例えば、「あそこの数値は..... 」、「この対応策は、..... 」というように、指示語を用いながら、ディスプレイに表示されている、文書やグラフなどの一部を指し示しつつ、会話をしているような状況である。通常は、一人の会議参加者が、指示語の発話をしながら、指示操作をすると考えられるが、指示語の発話者と、指示操作をした者とが異なる場合もある。ある参加者の指示語の発話に応じて、ディスプレイの近くにいる司会者や他の参加者が指示操作を場合である。
【０１３２】
指示操作の仕方は、さまざまであり、図７Ａの指示操作軌跡１１１のように、円軌道であったり、図７Ｂの指示操作軌跡１１２のように、横方向への移動で指し示したりする。指示操作は、１ストローク（所定の速度で連続移動している一連の操作をストロークという）で行われる場合もあるし、数ストロークで行われる場合もある。
【０１３３】
指示操作によって指示された対象は、指示操作の移動軌跡である。従って、指示対象を検出し、特定することは、指示対象の指示操作の開始点から終了点までのポインティングデバイスの移動の軌跡を記録することになる。
【０１３４】
図８は、指示対象検出部６３での指示対象検出処理の概要を説明するフローチャートである。
【０１３５】
まず、ステップ１５０で、指示語の検出通知があったかを判断する。前述したように指示語が検出されると、指示語検出フラグであるIflag にtrueという値が設定され、指示語検出通知部６２によって、通知されて来るので、それにより通知を検知する。
【０１３６】
指示語検出通知が検出されると、ステップ１５１に進み、指示語検出フラグIflag をfalse に戻しておく。次のステップ１５２では、指示操作のポインティングデバイス位置座標の一連の系列データを保持するためのリストpdDataの初期値を空リストに設定する。次にステップ１５３に進み、複数のポインティングデバイスから、指示語が参照しているオブジェクトを指し示すために使用された適切なポインティングデバイスを選択するための処理ルーチンを実行する。このポインティングデバイスの選択処理ルーチンについては後述する。このステップ１５３の処理の結果として選択されたポインティングデバイスの識別情報であるポインティングデバイス番号が返ってくる。
【０１３７】
次に、ステップ１５４に進み、指示語の認識および検出までにかかる時間分の、指示操作の開始地点の検出の遅れを補正し、正しい指示操作の開始地点を求めるための処理ルーチンを実行する。この指示操作開始点補正処理ルーチンは後述する。この補正処理ルーチンの結果として、指示語発話時刻から指示語検出時刻までに相当する位置データの系列がリストpdDataに保持されて返ってくる。
【０１３８】
次にステップ１５５に進む。このステップ１５５では、時刻の変数Ｔに単位時間△ｔを加え、前記ステップ１５４の処理ルーチンの処理結果の位置データの系列のリストpdDataに追加すべき指示語検出時刻後の次の位置データを検出する時刻を設定する。すなわち、変数Ｔは、ポインティングデバイスの位置座標を記録するタイミングを管理する変数である。
【０１３９】
ステップ１５６からステップ１５９までは、指示対象を示すための指示操作のポインティングデバイスの位置データの系列を抽出する処理である。予め定めた単位時間△ｔ毎に位置データが抽出される。たとえば、△ｔ＝0.1 秒と設定することにより１秒間に１０個の位置データが検出でき、指示対象を正確に認識するのに十分なデータ量が得られる。
【０１４０】
ステップ１５６では、タイマ６５により発生する時刻を監視し、現在時刻Ｔｃが時刻Ｔを経過しているか否かを判定する。現在時刻Ｔｃが時刻Ｔを経過していない場合には、再度モニタリングを続ける。現在時刻Ｔｃが時刻Ｔを経過している場合には、ステップ１５７に進む。
【０１４１】
ステップ１５７では、選択されたポインティングデバイスＰＤの当該時刻Ｔにおける位置座標を検出し、検出された位置データを、位置の系列データを保持するリストpdDataに追加する。次いで、ステップ１５８において、指示操作が終了したかの判定処理を行う。このステップ１５８での指示操作の終了判定処理の詳細は、後述する。この終了処理の結果として、指示操作の終了を判定したか否かの終了判定フラグが返ってくる。終了判定フラグは、指示操作の終了を判定したときにはtrue、終了していないときにはfalse である。
【０１４２】
次に、ステップ１５９に進み、終了判定フラグについて判断し、終了判定フラグがfalse の場合には、ステップ１５５に戻り、指示操作を記録するための処理を継続する。また、終了判定フラグがtrueの場合は、この図８の指示対象検出処理ルーチンを終了する。
【０１４３】
次に、ステップ１５３のポインティングデバイス選択処理の例を説明する。この例の場合、予め会議参加者に、その属性として、指示操作に関する優先順位を設定しておく。そして、指示語に対応する指示操作の検出は、この優先順位にしたがって行う。すなわち、指示操作を行う蓋然性の高い順に、指示操作が行われたポインティングデバイスの選定の処理を行うものである。
【０１４４】
図９は、このポインティングデバイスを選択する際に使用する、参加者間の優先順位に関するデータを保持する参加者属性テーブル１８０を示すものである。この参加者属性テーブル１８０は、優先度１８１、参加者属性名１８２、評価関数１８３、コメント１８４の各フィールドから構成される。この実施例では、参加者にはそれぞれポインティングデバイスが割り当てられているので、各参加者は、ポインティングデバイス番号で識別される。
【０１４５】
優先度１８１は、会議参加者の優先度の高さを示す数値であり、「１」が最も優先度が高く、数値が大きくなるほど、優先度は低くなる。この実施例の図９では、優先度は「３」まで登録されている。参加者属性名１８２は、参加者の属性を表すラベルである。評価関数１８３は、参加者属性を満足するための条件を規定し、各参加者の持つポインティングデバイスが、その条件を満足するかを判定し、条件を満足するポインティングデバイス番号のリストを返す関数である。コメント１８４は参加者属性の内容をテキストで表現したものである。なお、コメント１８４のフィールドはなくてもよい。
【０１４６】
たとえば、優先度「１」は最も優先順位が高い。この実施例では、この優先度「１」には、「指示語発話者」という属性が割り当てられている。「指示語発話者」を判定するための評価関数はFindicatorである。この評価関数Findicatorは、指示語が検出された音声入力装置に対応するポインティングデバイスを検出し、そのポインティングデバイス番号を返す関数である。
【０１４７】
同様に優先度「２」には、「司会者」という属性が割り当てられている。「司会者」を判定するための評価関数はFmoderatorである。この評価関数Fmoderatorは、司会者のポインティングデバイス、すなわち、この例の場合には、図１におけるポインティングデバイス２０に相当するポインティングデバイス番号を返す関数である。
【０１４８】
また、優先度「３」には、「その他の参加者」という属性が割り当てられている。「その他の参加者」を判定するための評価関数はFparticipantである。この評価関数Fparticipantは、指示語発話者でなく、かつ、司会者でない者のポインティングデバイス番号を返す関数である。
【０１４９】
次に、図１０およびその続きである図１１は、複数の競合するポインティングデバイスから、検出された指示語が参照する指示対象を指示しているポインティングデバイスを選択するための、ポインティングデバイス選択処理の処理の流れを示す図である。
【０１５０】
まず、一連の変数の初期値設定処理を行う。すなわち、ステップ２００で変数Ｐの初期値として、最も優先度の低い数値が代入される。この実施例では、「３」が代入される。次のステップ２０１では、優先度のインデックス変数prior に初期値として「１」を設定する。次のステップ２０２では、最終出力としてのポインティングデバイス番号ＰＤの初期値として、指示操作として全く動きのないポインティングデバイスを仮想的に定義しておき、その番号ＰＤ０を設定する。ここで、動きがまったくないポインティングデバイスとは、指示履歴記録部６７のバッファ内の位置座標の系列データの変動量が、すべて０であるような仮想的なポインティングデバイスである。
【０１５１】
次いで、ステップ２０３以降の、指示語の指示対象を指示しているポインティングデバイスの選定処理を実行する。まず、ステップ２０３では、参加者属性テーブル１８０に登録されたすべての優先度に対して処理が終了したかを判断する。終了していなければ、ステップ２０４に進む。
【０１５２】
ステップ２０４では、そのときの変数prior に対応する優先度の参加者属性を評価する関数を取り出し、変数functionに代入する。ステップ２０５で、その評価関数functionを実行し、返ってきた値を変数pdListに代入する。この処理では、変数prior に該当する参加者属性を満足する参加者、すなわち、評価関数functionで定義された条件を満足するポインティングデバイス番号のリストが、変数pdListとして返ってくる。
【０１５３】
ステップ２０６では、変数pdListがnil か否かが判断される。ステップ２０５からこのステップ２０６に進んで来た場合、このステップ２０６での判断は、そのときのインデックス変数prior が示す優先度の参加者属性を満足するものがあるか否かであり、もし変数pdListがnil であれば、そのときの優先度のインデックス変数prior に対応する参加者属性を満足するものがなかったことである。このため、この場合には次の優先度の処理のためのステップ２１１へ移り、変数prior の値に１を加えた後、ステップ２０３に戻る。
【０１５４】
ステップ２０６での判断において、変数pdListに何らかのデバイス番号が存在した場合には、そのときの優先度のインデックス変数prior に対応する参加者属性を満足するものが存在するので、図１１のステップ２０７に進む。このステップ２０７では、ポインティングデバイス番号を変数pdListから1 つ取り出し、変数pdに代入しステップ２０８に進む。
【０１５５】
ステップ２０８では、変数pdが示す番号のポインティングデバイスが指示語の対象を指示する操作として、有意な動きを示しているか否かを判定する。その判定結果として、有意であればtrue、有意でなければfalse が返ってくる。このポインティングデバイスの有意性の判定処理は、後で詳細に説明する。
【０１５６】
そして、次のステップ２０９において、有意性の判定結果を判断し、変数pdが示す番号のポインティングデバイスの指示操作の動きが有意と判定されなかった場合は、ステップ２１０に進んで、変数pdListにあるポインティングデバイス番号のすべてについて、ステップ２０８の有意性の判定を行ったか否か判断し、pdListにまだ他のポインティングデバイス番号が有る場合には、ステップ２０７に戻り、有意性の判定処理を実行する。ステップ２１０で、変数pdListにあるポインティングデバイス番号のすべてについて有意性の判定を終了したと判断したときには、次の優先度の処理のためのステップ２１１へ移り、変数prior の値に１を加えた後、ステップ２０３に戻る。
【０１５７】
ステップ２０９において、変数pdが示す番号のポインティングデバイスの指示操作の動きが有意と判定されたときには、ステップ２２１に進み、そのポインティングデバイス番号ｐｄを保持しておく。そして、次のステップ２２２では、選択されるべきポインティングデバイスの候補であるＰＤと保持された変数ｐｄとの間で、どちらが指示操作として優位なポインティングデバイスであるかを判定する評価関数Dmaxが実行される。
【０１５８】
評価関数Dmaxは、２つのポインティングデバイスＰＤとｐｄの指示操作の移動量の大きさを判定し、移動量の大きいほうのデバイス番号を返す。移動量の大きさを比較する手段としては、例えば、指示履歴記録部６７の、それぞれのポインティングデバイスに対応するバッファの領域の、それぞれの座標データから求められるポインティングデバイスの指示位置の変動量Δｘ，Δｙから、所定の単位時間Δｔ間の指示位置の移動量
Δｄ＝√（Δｘ＊＊２＋Δｙ＊＊２）
の総和を比較し、大きいほうを選択する。ここで、＊＊２は２乗演算を示している。また、√（）は、括弧（）内の平方根を意味している。以下、同様である。
【０１５９】
指示操作の移動量の大きさを比較する手段としては、もちろん、この方法に限ったことではなく、所定の単位時間Δｔ間の移動量Δｄ毎に個別に比較し、移動量Δｄの変化の比率の高いほうを選択する方法を用いてもよい。
【０１６０】
そして、次のステップ２２３では、変数pdListにあるポインティングデバイス番号のすべてについて、ステップ２０８の有意性の判定を行ったか否か判断し、pdListにまだ他のポインティングデバイス番号が有る場合には、ステップ２０７に戻り、同じ優先度の他のポインティングデバイスについて、上述の判定処理を実行する。
【０１６１】
ステップ２２３で、変数pdListにあるポインティングデバイス番号のすべてについて有意性の判定を終了したと判断したときには、ステップ２２４に進み、最終的に選択されたポインティングデバイス番号ｐｄが出力ポインティングデバイス番号ＰＤに代入されて出力される。
【０１６２】
ステップ２０３で、参加者属性テーブル１８０に登録されたすべての優先度に対して処理が終了したと判断したときは、すべてのポインティングデバイスについて指示操作の判定処理をした結果、操作が有意であると判定されるポインティングデバイスがみつからなかったことを意味する。このときには、ステップ２１２に進み、出力するポインティングデバイス番号ＰＤにnil を代入して、処理を終了する。
【０１６３】
図１２は、上述のポインティングデバイスの選択処理ルーチンにおいて、指示操作が有意なポインティングデバイスの判定を行うための有意性判定処理ステップ２０８の処理例の概要を示すフローチャートである。
【０１６４】
まず、ステップ２３１では、該当するポインティングデバイスの現在の位置座標が、大画面ディスプレイ装置２のスクリーン２Ｄの大きさを示す座標内に収まっているかの判定が行われる。もし、スクリーン画面内に収まっていない場合には、ステップ２３４でリターン値をfalse として処理を終了する。すなわち、該当するポインティングデバイスの動きは有意な指示操作ではないと判断する。
【０１６５】
一方、該当するポインティングデバイスの現在の位置座標が、スクリーン画面内に収まっている場合には、ステップ２３２において、有意な指示操作の移動量が存在するかを判定する。指示操作の移動量の有意性の判定の詳細は、図１３および図１４を用いて後述する。
【０１６６】
ステップ２３２で有意と判定されれば、ステップ２３３でリターン値をtrueに設定して処理を終了する。指示操作の移動量が有意ではないと判定された場合には、ステップ２３４の処理に進み、リターン値をfalse として処理を終了する。
【０１６７】
図１３は、この例に場合のポインティングデバイスの指示位置の有意な移動量を説明するための図である。図１３において、縦軸は、ポインティングデバイスの指示位置の所定の単位時間Δｔ間の移動量Δｄを表し、前述もしたように、
Δｄ＝√（Δｘ＊＊２＋Δｙ＊＊２）
である。横軸は時間ｔを表す。
【０１６８】
また、図１３において、ΔＤは、予め定められた、有意と認められる単位時間Δｔ当たりの指示位置の移動距離を表す。Δｄ≧ΔＤならば、該当するポインティングデバイスの指示位置の移動量は、ある区間Δt において、有意であると見なす。ここで、一例として、ΔＤ＝５と設定する。
【０１６９】
例えば、Δｔ間に、Δｘ＝３ドット、Δｙ＝４ドット移動したとする。このとき、
Δｄ＝√（９＋１６）＝５≧ΔＤ
であり、有意であると判断される。
【０１７０】
図１４は、ポインティングデバイスの指示位置の移動量が有意であるかを判定する処理を示すフローチャートである。図１２のステップ２３２の処理に相当する。
【０１７１】
ステップ２５１では、操作履歴記録部６７のバッファメモリ６７ｂのポインティングデバイスｐｄの移動軌跡を保持しているバッファ領域から、その位置座標系列データを読み込み、変数Ｂｘｙに代入する。次のステップ２５２では、変数Ｂｘｙの位置座標系列データから、Δｔ間の座標データの差分を求め、この差分から移動距離Δｄを算出し、移動距離リストΔｄListに代入する。
【０１７２】
ステップ２５３では、移動距離リストΔｄListのうち、ある区間において有意な移動量があるかを判定する。すなわち、Δｄ≧ΔＤを判定する。すべての区間を判定し、区間内で有意な移動量と判定された単位区間Δｔが、ある定められた割合Ｒ０以上であれば、該当するポインティングデバイスｐｄは有意であると判定する。ここで、例えばＲ０＝７０％とすると、例えば、Δｄが有意と判定された割合が７５％であった場合、すなわち、Ｒａｔｅ（Δｄ≧ΔＤ）＝７５％の場合、該当するポインティングデバイスｐｄは有意と判定される。
【０１７３】
ステップ２５３で有意と判定された場合、ステップ２５４でtrueの値がリターン値として返される。一方、有意でないと判定された場合には、ステップ２５５でリターン値がfalse に設定され、処理が終了する。
【０１７４】
次に、指示対象検出部６３の指示操作開始補正部６３ｂの処理動作の詳細について説明する。
【０１７５】
図１５は、指示対象の指示操作の開始点と指示語の検出時点の時間差の概念を説明するための図である。
【０１７６】
指示語検出部６１における音声認識処理により、指示語を検出するためには、ある一定時間ΔＴを要する。したがって、指示語検出部６１で指示語が検出され、検出通知によりタイマ６５から得られるその指示語が検出された時点のタイムスタンプの時刻を指示語検出時刻Ｔｒとすると、実際に指示語が発話された時刻である指示語発話開始時刻Ｔｓと指示語検出時刻Ｔｒの間には、認識時間分の遅れΔＴが生じる。
【０１７７】
指示語の指示対象の指示操作は、指示語発話開始時刻Ｔｓから開始されると仮定すると、指示操作のポインティングデバイスの軌跡の開始点は、指示語発話開始時刻Ｔｓからとなるように時間的に戻して、できるだけ正確な指示操作の開始点とするようにする補正処理が必要となる。
【０１７８】
この補正処理ため、この実施例では、あらかじめ一定時間ΔＴを定めておく。実際には、指示語の発話開始時刻Ｔｓと検出時刻Ｔｒとの時間的ズレΔＴは、指示語の長さやそれを検出する処理の複雑さによってまちまちであるため、一定時間ではなく、ΔＴと実際のＴｒ−Ｔｓとでは、多少の誤差は存在する。しかし、この例では、その誤差は、無視できる程度の値であるとして、例えば、平均的な音韻数の指示語の場合の認識の遅れが２秒であったと仮定とすると、ΔＴ＝２秒に設定する。
なお、ΔＴを一定時間とせず、検出した指示語の音韻数に比例して、定めてももちろん良い。また、指示語発話開始時刻Ｔｓと指示操作開始時刻とが必ずしも一致せず、若干、指示操作の開始時刻が早くなることを考慮して、ΔＴをＴｒ−Ｔｓよりも大きめに定めるようにしてもよい。
【０１７９】
次に、図１６は、ポインティングデバイスの位置座標の系列データを保持するバッファメモリ６７ｂの各メモリ領域のデータ構造を説明する図である。各ポインティングデバイスは、ある一定時間分ΔＴの位置座標のログをバッファメモリ６７ｂの対応するメモリ領域に記録して保持している。前述したように、また、図１６に示すように、このバッファメモリ６７ｂのメモリ領域は、各ポインティングデバイス毎に１つづつ設定され、会議で使用されるすべてのポインティングデバイスが、このようなバッファメモリ領域を持ち、位置座標の系列データが記録されている。
【０１８０】
データ構造としては、第１レコードには、該当するポインティングデバイスの番号ＰＤ１，ＰＤ２，…，ＰＤｎ（ｎは設けられているポインティングデバイスの数）が記録される。第２レコード以降は、この例では、前記単位時間Δｔ毎のポインティングデバイスの位置座標が記録される。これにより、現在時刻ＴｃからΔＴ前までの、各ポインティングデバイスの座標データのログが保持できる。例えば、ΔＴ＝２秒、Δｔ＝０．１秒とすると、ｎ＝２０個分の位置座標の記録が保持されていることとなる。
【０１８１】
図１７は、このバッファメモリ６７ｂの記録データを用いた指示操作開始点補正処理の流れを示すフローチャートである。
【０１８２】
まず、ステップ２７１で、バッファメモリ６７ｂの各メモリ領域の第１レコードについて、現在選択されているポインティングデバイスＰＤと一致するか判断され、一致したメモリ領域が選定されて、そのメモリ領域の内容が変数pdBuffに代入される。
【０１８３】
そして、次のステップ２７２では、変数pdBuffの第２レコード以降の位置座標の系列データが抽出され、それが変数pdDataに代入され、その結果のpdDataがリターン値として返される。この処理により、指示語発話開始時刻における指示操作開始時点から現在時刻までの、ポインティングデバイスＰＤの位置座標の系列データが、pdDataに保持されたことになる。
【０１８４】
なお、前述したように、現在時刻以降のポインティングデバイスＰＤの位置座標データは、Δｔ毎に、指示操作記録部６３ｃに順次に記録されるものである。
【０１８５】
次に、指示操作終了判定部６３ｄの処理について説明する。
【０１８６】
図１８および図１９は、指示操作の終了判定処理の概要を説明するための図である。この例の場合、指示操作の終了判定条件は、時間と、ポインティングデバイスの移動量と、次の指示語の発話の検出の３条件である。
【０１８７】
図１８は、ポインティングデバイスの移動量に関する終了判定条件を説明するための図である。図１３の場合と同様に、縦軸は、ポインティングデバイスの指示位置の所定の単位時間Δｔ間の移動量Δｄを表し、横軸は時間ｔを表す。
【０１８８】
この例では、ポインティングデバイスの指示位置の移動量が、前述した有意と認められる単位時間Δｔ当たりの移動距離ΔＤ以下になった時点で、指示操作が終了したと判定する。ただし、終了判定時間ΔＴ２を設定し、この終了判定時間ΔＴ２の区間において、所定の比率以上で、移動量ΔｄがΔＤ以下になったときに、この終了判定時間ΔＴ２の区間の先頭時刻を指示操作終了時刻と判定する。
【０１８９】
この例においては、終了判定時間ΔＴ２を、前述した指示操作開始補正時間ΔＴと同じ値に設定する。これにより、図１３および図１４を用いて説明した有意な指示位置の移動量の判定と同様の処理で、終了判定が可能となる。
【０１９０】
この終了判定では、終了判定時間ΔＴ２の区間内での比率判定条件は、例えばRate（Δｄ≦ΔＤ）≧R1である。この例では、R1＝７０％と設定する。例えば、単位時間Δｔにおける移動量がΔＤ以下の割合が８５％であれば、ポインティングデバイスの指示操作の動きは終了したと判定する。
【０１９１】
図１９は、時間に関する終了判定条件を示す図である。この図１９も、縦軸は、ポインティングデバイスの指示位置の所定の単位時間Δｔ間の移動量Δｄを表し、横軸は時間ｔを表す。
【０１９２】
ΔＴ３は、指示操作軌跡の最短記録時間であり、ΔＴ４は指示操作軌跡の最長記録時間である。最短記録時間ΔＴ３とは、たとえ次の指示語が検出されたとしても、最低限ΔＴ３時間分は、指示操作としてポインティングデバイスの指示座標位置を記録するというものである。一方、最長記録時間ΔＴ４とは、たとえポインティングデバイスの指示位置の移動が有意と判定される動きであったとしても、ΔＴ４時間を限度として、それ以上は記録しないというものである。
【０１９３】
これらの記録時間ΔＴ３，ΔＴ４を設定したのは、１つの指示語の指示対象を特定するには、ある一定時間あれば十分であり、それ以上のポインティングデバイスの動きは、指示語との関係においては無意味な情報として見なすようにしたためである。例えば、ΔＴ３＝３秒、ΔＴ４＝１０秒とすると、ポインティングデバイスの指示操作の軌跡は、最低３秒は記録され、１０秒を越えると、指示操作は終了したものと見なされる。
【０１９４】
図２０は、指示操作の終了判定処理の流れの例を示すフローチャートである。まず、ステップ３０１では、次の指示語が検出されたかを判断する。次の指示語が検出済みの場合には、ステップ３０２の処理に移る。一方、次の指示語が検出されていない場合には、ステップ３０７の処理に進む。
【０１９５】
ステップ３０２では、指示語発話開始時刻Ｔｓから現在時刻Ｔｃまでの経過時間ΔＴｃが最小記録時間ΔＴ３を越えていないかが評価される。ΔＴ３以上の時間を経過している場合には、ステップ３０３で、リターン値としてtrueを返し、終了する。ΔＴ３まで経過していない場合、すなわち、最小記録時間に満たない場合には、ステップ３０４に進み、次の指示語に該当するポインティングデバイスが現在のポインティングデバイス番号ＰＤと同一かが判定される。同一であれば、ΔＴ３時間の経過を待たずに、次の指示語の処理に移行するため、ステップ３０５でリターン値としてtrueを返す。
【０１９６】
次の指示語に該当するポインティングデバイスが現在のポインティングデバイス番号ＰＤと同一でない場合、次の指示語が検出されているものの、最短時間の指示操作時間に達していないため、指示操作は終了していないと判断し、ステップ３０６で、リターン値としてfalse を返す。
【０１９７】
また、ステップ３０７では、まず、指示操作の記録経過時間ΔＴｃが、最短記録時間ΔＴ３以下であるかが判定される。指示操作の記録経過時間ΔＴｃが、ΔＴ３以下であれば、指示操作は終了していないと判断され、ステップ３０８で、リターン値としてfalse が返される。
【０１９８】
指示操作の記録経過時間ΔＴｃが、ΔＴ３以上経過している場合、ステップ３０９で、今度は経過時間ΔＴｃが最長記録時間ΔＴ４を越えたか否かが判断される。経過時間ΔＴｃがΔＴ４を越えた場合、指示操作は終了と判断され、ステップ３１０でリターン値としてtrueが返される。経過時間ΔＴｃが最長記録時間ΔＴ４を越えていない場合には、ステップ３１１に進んで、ポインティングデバイスの指示位置の変動量が判定される。
【０１９９】
このステップ３１１での判定の結果、ポインティングデバイスの指示位置の変動量の終了条件Rate（Δｄ≦ΔＤ）≧R1という条件が満足されれば、ポインティングデバイスの指示操作が終了したと判定され、ステップ３１２に進んでリターン値としてtrueが返される。ポインティングデバイスの指示位置の変動量が終了条件を満足しない場合には、ステップ３１３に進んで、リターン値false が返される。以上で、指示操作の終了判定処理が終了する。
【０２００】
以上のようにして、この実施の形態においては、いずれかの会議参加者が指示語の発話をしたときに、それに加えて、その指示語の指示対象を指示する指示操作が実際にあった場合に、その指示語は会議資料を参照すべき指示であると判定できることから、そのときの画像情報として、その指示対象である会議資料を含むものを取り込むようにしている。したがって、単なる言葉の上での指示語の発話であって、会議資料を指示するものでない指示語の発話の際には、画像情報は記録しないので、無駄な情報の記録を回避できる。
【０２０１】
しかも、指示語の発話をトリガとして画像情報を取り込むものであるので、会議中に参照すべき資料を効率良く記録することができ、また、会議内容を正確に再現するためにも十分であると言える。
【０２０２】
その上、上述の実施の形態の場合、記録する画像情報は静止画であり、動画を記録する場合に比べて記録情報量が少なくてよい。また、同じ静止画は、取り込まないようにしているので、その点でも記録情報量は少ない。
【０２０３】
さらに、指示語が発話されたときの指示対象への指示操作の軌跡を、指示語の発話時点に関連付けて記録するようにしたので、指示語の指示対象を正確に把握することができることが期待できる。その上、指示操作の軌跡は、指示語の発話の時点にさかのぼって記録するようにしたので、指示操作軌跡も正確になる。また、指示操作軌跡の終了を、時間と、ポインティングデバイスの移動量と、次の指示語の発話の検出の３条件で判定するようにしたので、指示語との関係においては無意味な情報をできるだけ、排除して、かつ、指示操作として必要十分な軌跡を記録することができるものである。
【０２０４】
なお、上述の実施の形態では、パーソナルコンピュータ１が電子的にメモリに蓄えている画像情報を取り込むようにしたが、スクリーン２Ｄの表示画像を、その周辺の会議風景を含めてカメラにより撮影して、取り込むようにしてもよい。その場合には、画像取込部６４は、ビデオカメラの構成であり、指示語検出通知部６２からの検出通知をトリガとして画像を撮影して取り込むものである。
【０２０５】
このようにカメラで撮影して会議風景を含む画像情報を取り込む場合には、指示語が発話され、対応する指示操作があったときの画像情報を、その指示操作の開始から終了までの区間で、カメラで撮影し、動画として記録するようにすれば、指示操作対象だけでなく、指示操作も記録されるので、指示操作軌跡は、記録する必要はなくなる。
【０２０６】
次に、以上説明した実施の形態のようにして記録された音声情報、画像情報、指示操作の軌跡の情報を用いて、会議の再現を行うようにする会議情報再生処理について説明する。
【０２０７】
図２１は、この発明による会議情報記録再生装置の一実施の形態の再生系にかかわるシステム構成図を示すブロック図である。これは、図１および図２を用いて記録系を説明した会議情報記録再生装置の再生系の場合の例である。
【０２０８】
すなわち、この実施の形態では、パーソナルコンピュータ１は、図１に示した記録制御部６０に加えて、再生制御部４００をも備えるものである。図２１の再生制御部４００は、主として、その処理制御機能をブロックとして示したもので、実際的には、各ブロックは、ソフトウエアにより実現されるものである。
【０２０９】
図２１に示すように、この例においては、前述のようにして、記憶領域７０には、リンク情報ファイル７１を介して関連付けられた音声データファイル７２、画像データファイル７３、指示対象ファイル７４が格納されている。そして、この記憶領域７０の各データファイル内容が、再生制御部４００で制御されながら、再生されて、会議内容がほぼ正確に再現されるものである。
【０２１０】
ただし、音声情報は、再生制御部４００では、画像や指示操作の再現制御処理のために用いられるだけで、その再生は音声再生装置４３０において行われる。すなわち、音声データファイル７２に格納されている会議の開始から終了までの音声情報は、順次に音声再生装置４３０に供給されて、順次に再生される。この実施の形態では、再生制御部４００は、この音声再生装置４３０に対して、再生開始、停止、巻き戻し、ジャンプなどの再生指示制御を行う機能も備える。
【０２１１】
音声再生装置４３０は、図示しないが、再生制御部４００からの制御に従い、音声データファイル７２から音声データを取り出す音声データ取得部と、取得した音声データァイル７２からのデジタル音声データをアナログ音声信号に変換するためのＤ／Ａ変換部と、そのアナログ音声信号を増幅するアンプと、スピーカとからなる。アンプには、音質調整機能や音量調整機能が付加されている。
【０２１２】
表示装置４４０は、音声再生装置４３０で再生される会議音声を補完するための画像情報や指示操作情報、その他を表示するためのものである。この実施の形態では、個人のユーザーが会議情報を再現して見るためには、大型ディスプレイ装置２に投影して拡大して表示する必要はなく、パーソナルコンピュータ１のディスプレイに表示するだけで十分であるので、表示装置４４０は、パーソナルコンピュータ１のディスプレイに相当する。もちろん、スクリーン２Ｄに拡大表示するようにしてもよい。
【０２１３】
再生制御部４００は、その機能ブロックとして、タイマ４０１と、表示時刻判定部４０２と、音声情報表示制御部４１０と、指示対象表示制御部４２０とを備える。
【０２１４】
再生制御部４００は、音声再生装置４３０で音声データを再生させながら、指示語の発話時点と同期させて、対応する指示対象物に関する画像情報を表示装置４４０に表示する。
【０２１５】
音声情報表示制御部４１０は、音声情報の再生時に、音声データファイル７２からの音声データを取得すると共に、リンク情報ファイル７１からのリンク情報（指示語検出時刻）を取得し、現在再生位置を基準として、再生位置の変化を表示するための表示を行う。この例では、再生位置の経過の変化は再生音声波形を用いる。また、このように、音声情報を視覚情報として再生表示すると共に、指示語の検出時点をも視覚情報として再生表示するようにする。さらに、音声情報表示制御部４１０は、音声再生装置４３０の駆動制御のためのボタンアイコンを表示する機能も備える。
【０２１６】
音声情報表示制御部４１０は、音声−波形変換部４１１と、指示語リンク表示制御部４１２と、再生指示ボタン表示制御部４１３からなる。
【０２１７】
音声−波形変換部４１１では、音声情報の周波数を視覚的な波形形状へと変換し、それを画面に表示する。指示語リンク表示制御部４１２では、音声波形により示される再生位置変化表示中の、指示語に対応する部分に、指示語が存在し、それに対応付けられた画像情報へのリンクが存在していることを、視覚化して表示する。
【０２１８】
再生指示ボタン表示制御部４１３は、音声再生装置４３０への再生指示のためのボタンアイコンを表示し、ユーザーによりボタンアイコンがマウスなどにより選択されたときに、選択されたボタンアイコンに応じた再生指示制御信号を音声再生装置４３０に供給するようにする。
【０２１９】
表示装置４４０には、いわゆるマルチウインドウの形式で、この例の場合には、後述するように、波形情報表示ウインドウと、画像イメージウインドウが表示される。そのうち、波形表示ウインドウが音声情報表示制御部４１０により形成される。
【０２２０】
図２２は、再生画面における、この波形情報表示ウインドウのイメージ図である。すなわち、図２２において、４５１は、この波形情報表示ウインドウの枠であり、この波形表示ウインドウ内には、音声波形表示エリア４５２と、指示語リンク表示エリア４５３と、再生指示ボタン表示エリア４５４とが設けられる。
【０２２１】
音声波形表示エリア４５２には、音声再生装置４３０における音声の再生と連動して、音声−波形変換部４１１で生成された図示のような音声波形情報が表示される。図２２において、Ｔｃと表示されている縦線位置が現在再生中の位置を示す。この現在再生位置Ｔｃは、この場合、表示画面において、固定した位置とされる。したがって、この例では、音声波形は、時間の経過とともに、右から左方向へと移動していく。Ｔｃより左側の領域は再生が終了した音声であり、右側は今後再生される音声情報を示している。この例では、現在再生中位置Ｔｃは、ウインドウ４５１の中央位置ではなく、より時間的に未来の部分が広く表示されるように、ウインドウ４５１の左側に寄った位置に設定されている。
【０２２２】
このため、音声情報表示制御部４１０は、音声再生装置４３０で再生中の時点よりも未来の、少なくとも、ウインドウ４５１の現在再生中位置Ｔｃよりも右側の部分に相当する音声データ分を先読みして、音声データファイル７２から取得するようにしている。
【０２２３】
指示語リンク表示エリア４５３は、現在再生位置Ｔｃに対する音声情報中の指示語の発話部分の区間を、音声波形表示エリア４５２の音声波形の再生位置変化に応じた移動に連動して、指示語リンクマーク４５５で表示することにより、画像情報へのリンクが存在していることを示す表示領域である。
【０２２４】
前述したように、音声波形表示エリア４５２が、より時間的に未来の部分が広く表示されるように設定されているので、この波形表示に対応するように表示される指示語リンクマーク４５５は、今後再生される音声情報に対応して表示されるものである。つまり、指示語の発話とそれにリンクする画像情報の存在をユーザは予見することができる。
【０２２５】
再生指示ボタン表示エリア４５４には、音声再生装置４３０での音声情報再生のための操作を指示するボタンが表示される。この例では、再生ボタン４５６と、停止ボタン４５７と、巻き戻しボタン４５８と、ジャンプボタン４５９とが設けられる。
【０２２６】
そして、再生ボタン４５６を選択すると、音声画像情報の再生が開始される。停止ボタン４５７を選択すると、再生が停止する。巻き戻しボタン４５８を選択すると、再生位置が戻される。ジャンプボタン４５９を選択すると、表示装置４４０の画面に、時刻を指定するためのポップアップウィンドウが開き、時刻を指定することにより、任意の時刻の音声画像情報を再生できる。
【０２２７】
このジャンプボタン４５９を利用することにより、予見情報としての指示語リンクマーク４５５の存在位置から時刻を予測して、指示語にリンクする画像情報が存在する位置にジャンプすることが可能になる。
【０２２８】
なお、再生位置の変化を視覚化するための手段としては、再生音声の波形を用いることに限定されず、画面上の、固定された現在再生位置表示に対して視覚的に変化が分かる態様であれば、どのような表示であってもよい。
【０２２９】
表示時刻判定部４０２は、タイマ４０１の時刻を監視し、リンク情報ファイル７１からの指示語検出時刻から、指示対象物を表示する時刻を検出し、表示時刻を検知すると、指示対象表示制御部４２０にそのことを通知する。
【０２３０】
指示対象表示制御部４２０の画像表示制御部４２１は、指示語に対応する指示対象を含む画像を表示装置４４０に表示する。指示対象表示制御部４２０は、画像表示制御部４２１と、指示操作再現部４２２と、予見情報表示制御部４２３と、残像情報表示制御部４２４とからなる。
【０２３１】
指示操作再現部４２２は、参加者のポインティングデバイスによる指示操作の軌跡を、画像表示制御部４２１により表示された画面イメージ上に再現して表示する。予見情報表示制御部４２３は、指示操作を再現する前に、指示操作の開始点への注目情報を表示する。残像情報表示制御部４２４は、指示対象の認識をするのに十分な時間だけ、指示操作の終了点に、注目情報を表示する。これら指示操作再現部４２２、予見情報表示制御部４２３および残像情報表示制御部４２４の処理については、後で詳細に述べる。
【０２３２】
指示対象表示制御部４２０により表示されるのが、画面イメージウインドウである。この画面イメージウインドウの例を図２３に示す。図２３において、４６１は、この画面イメージウィンドウのウインドウ枠を示す。
【０２３３】
この画面イメージウインドウは、指示語に対応する指示対象を表示するためのウィンドウであり、現在再生中時点Ｔｃに到達した指示語リンクマーク４５５に対応する画像データファイル７３から取り出された画面イメージが、表示されるものである。
【０２３４】
表示された画面情報の中で、指示対象を表示するために、指示操作が再現される。指示操作は、矢印カーソルアイコン４６２の動きとして表示される。図２３では、この矢印カーソルアイコン４６２の移動軌跡を太線の実線４６３で表現している。
【０２３５】
ディスプレイ画面に画像情報を表示する時、様々な表示方法が考えられるが、この実施例では、縮小モードで表示する方法が採用されている。縮小モードでは、波形情報表示ウィンドウと画面イメージウィンドウの両者が、表示装置４４０の画面内に収まるように、取り込んだ画面イメージ全体を任意のサイズで縮小して表示する。
【０２３６】
ディスプレイ画面に画像情報を表示する方法としては、その他にも、例えば、元の画面と同じ大きさで表示する全画面モードもある。この全画面モードの場合には、波形情報表示ウィンドウと画面イメージウインドウとの重なりが発生するため、波形情報表示ウィンドウをアイコン化したり、再生指示ボタン表示エリア４５４だけにするなどして、できるだけ画面全体を見えるようにする表示方法も、あわせて採用する。
【０２３７】
なお、窓枠モードのように、画面サイズはもとの大きさを変更せず、指示操作を行っている部分を含む一定サイズの矩形領域を切り取って表示したり、指示操作の周辺を詳細にし、その他の領域をおおまかに表示する魚眼レンズモードなどを設けてももちろんよい。
【０２３８】
次に、指示対象表示制御部４２０の処理の詳細について説明する。図２４は、指示対象表示制御処理の概要を示すフローチャートである。この処理は、予見情報表示制御部４２３で実行される予見情報表示処理４７１と、指示操作再現部４２２で実行される操作指示再現処理４７２と、残像情報表示制御部４２４で実行される残像情報表示処理４７３との３つのステップを順次に実行する処理である。以下に、予見情報表示処理４７１、操作指示再現処理４７２、残像情報表示処理４７３の各処理を説明する。
【０２３９】
まず、操作指示再現処理４７２について説明する。図２５は、指示操作再現処理４７２の流れを説明するフローチャートである。
【０２４０】
ステップ４８１では、現在の処理を起動した指示語に対応するポインティングデバイスの位置座標の系列データを、指示対象ファイル７４から読み込み、変数pdDataに代入する。次のステップ４８２では、変数pdDataから位置座標を１つ取り出し、変数pdに代入する。
【０２４１】
次のステップ４８３では、pd=nilかどうかで、すべての位置座標の表示が終了したかを判定する。終了していない場合には、次のステップ４８４に進み、表示処理を継続する。すべての位置座標を終了した場合には、指示操作再現処理は終了する。
【０２４２】
ステップ４８４からステップ４８６までの処理は、矢印カーソルアイコン４６２の表示位置を、１単位分移動させて表示するための処理である。ステップ４８４では、現在表示されている矢印カーソルアイコンを消去する。変数Cposition とは、矢印カーソルアイコンの現在表示位置の値を保持する変数である。ステップ４８５では、カーソル位置Cposition を次の位置であるpdに変更する。ステップ４８６では、新しい表示位置Cposition に、矢印カーソルアイコンを表示する。Cursorは、カーソル表示用アイコンのビットマップを保持する変数である。ステップ４８６の次にはステップ４８２に戻り、処理を継続する。
【０２４３】
以上により、前述の図２３に示した矢印カーソルアイコン４６２による実線４６３に示すような指示操作が再現される。
【０２４４】
図２６および図２７は、予見情報表示および残像情報表示の概要を説明する図である。図２６は、予見情報表示時間および残像情報表示時間の概念を説明する図である。予見情報表示処理は、指示操作の開始時刻に先行して、指示語に対応する画面を表示し、その上に、指示操作の開始点に相当する場所に、カーソルなどの注目情報を、予め定めた一定時間ΔＴαだけ、表示する処理である。これにより、操作指示が始まることを予見するための情報を、会議記録の再生者に提供するものである。
【０２４５】
残像情報表示処理は、指示操作の終了後、予め定めた一定時間ΔＴβだけ、指示操作の軌跡の残像および、指示終了点にカーソルアイコンなどの注目情報を表示する処理である。これは、指示対象をある一定時間以上表示することによって、対象の認識および内容の把握に十分な時間を確保し、かつ、指示操作終了後も、指示対象を正確に認識できる情報を与える。
【０２４６】
図２７は、予見情報、指示操作、残像情報の表示画面のイメージ図である。この例では、例えば、ΔＴα＝３秒、ΔＴβ＝１０秒と設定された場合として説明する。
【０２４７】
この例の場合には、指示語の発話の３秒前には、予見情報表示処理が起動され、図２７Ａに示すような、予見情報表示画面５０１が開く。この予見情報表示画面５０１では、文書中の棒グラフの中に、矢印カーソルアイコン４６２が表示されている。この矢印カーソルアイコン４６２で示される位置が、操作指示の開始点である。これにより、再生ユーザは指示語の指示対象部分を予見することが可能になる。
【０２４８】
そして、指示操作開始時刻になると、指示操作再現処理が起動され、図２７Ｂに示すような指示操作表示画面５０２の状態となる。この指示操作表示画面５０２では、時間の経過とともに、ポインティングデバイスの位置座標に沿って、矢印カーソルアイコン４６２の表示が移動する。矢印カーソルアイコン４６２の移動の軌跡は、実線４６３で表示されているが、実際には、表示されない。矢印カーソルアイコン４６２の動きで、表示画像上の指示対象が特定される。
【０２４９】
指示操作再現処理が終了すると、図２７Ｃに示すような残像情報画面５０３となる。この残像情報画面５０３には、残像情報としてポインティングデバイスの指示操作軌跡４６４が表示されると共に、指示操作の終了点に矢印カーソル４６２が表示される。ポインティングデバイスの指示操作軌跡は、画像情報が見えにくくない程度の細い実線ないし波線で示される。この残像情報画面５０３が、この例では、１０秒間表示され、その後、画面イメージウィンドウは、自動的に閉じられる。
【０２５０】
図２８は、予見情報表示制御処理の流れを示すフローチャートであり、図２６をも参照しながら、この処理の流れを説明する。
【０２５１】
ステップ５２１では、指示語検出時刻Ｔｒから、開始時刻補正時間であるΔＴ前である指示操作開始時刻（指示語発話時刻）Ｔｓを求める。次のステップ５２２では、指示操作開始時刻Ｔｓから、予見情報表示時間ΔＴα前の時刻を求めることで、予見情報開始表示時刻Ｔαを算出する。
【０２５２】
次のステップ５２３では、現在時刻Ｔｃが、予見情報表示開始時刻Ｔαを経過したかを判定する。経過していない場合は、経過するまでループを繰り返す。予見情報表示開始時刻Ｔαを経過した場合、ステップ５２４に進んで、処理中の指示語とリンクの張られた画面イメージの画像情報を、画面イメージウィンドウとして表示する。
【０２５３】
続いて、ステップ５２５で、指示対象ファイル７４から、該当する指示操作の位置座標系列データの第１データを読み込み、カーソル表示位置を表す変数Cposition に代入する。これは、指示操作の開始点を示すデータである。次のステップ５２６では、変数Cposition の位置に矢印カーソルアイコン４６２を表示する。
【０２５４】
ステップ５２７では、現在時刻Ｔｃが指示操作開始時刻Ｔｓを経過したかを判定する。経過していない場合には、経過するまでループを繰り返す。現在時刻Ｔｃが指示操作開始時刻Ｔｓを経過した場合には、以上の予見情報表示処理は終了する。
【０２５５】
次に、図２９は、残像情報の表示処理の流れを示すフローチャートである。図２６をも参照しながら、この処理の流れを説明する。
【０２５６】
まず、ステップ５４１では、指示操作開始時刻Ｔｓ＝指示語検出時刻Ｔｒ−ΔＴに、指示操作時間ΔＴｉを加算し、指示操作終了時刻Ｔｅを算出する。ここで、ΔＴｉ＝Δｔ×Ｎであり、したがって、
Ｔｅ＝Ｔｒ−ΔＴ＋Δｔ×Ｎ
である。なお、Δｔは、操作指示のデータ採取間隔であり、Ｎは、指示対象ファイル７４に記録された操作指示の位置座標系列データのデータ個数である。
【０２５７】
次のステップ５４２では、指示操作終了時刻Ｔｅと残像情報表示時間ΔＴβとから、残像情報表示終了時刻Ｔβを算出する。
【０２５８】
次のステップ５４３では、現在時刻Ｔｃが、指示操作終了時刻Ｔｅを経過したかを判定する。経過していない場合は、経過するまでループを繰り返す。現在時刻Ｔｃが、指示操作終了時刻Ｔｅを経過した場合、ステップ５４４に進み、まず、残像情報の１つめの情報である、ポインティングデバイスの移動軌跡を表示する。この例では、前述の図２７Ｃに示したように、指示対象の位置座標の系列データを連結する実線４６４を表示する。
【０２５９】
次のステップ５４５では、指示対象ファイル７４から、該当する指示操作の位置座標系列データの最後のデータを読み込み、カーソル表示位置を表す変数Cposition に代入する。これは、指示操作の終了点を示すデータである。そして、次のステップ５４６では、変数Cposition の位置に矢印カーソルアイコン４６２を表示する。
【０２６０】
次のステップ５４７では、現在時刻Ｔｃが残像情報表示終了時刻Ｔβを経過したかを判定する。経過していない場合には、経過するまでループを繰り返す。残像情報表示終了時刻Ｔβを経過した場合には、ステップ５４８で画面イメージウィンドウを閉じて、以上の残像情報表示処理は終了する。
【０２６１】
以上説明したように、この実施の形態の会議情報記録再生装置によれば、音声情報だけではあいまいであった、指示語に対応する外部参照物に関する情報が補われ、より正確な会議情報の再生が可能となる。また、指示語の指示対象の情報を取り込むタイミング、および指示対象物の特定が自動的に行われて、記録されるために、人の手間を煩わせることがなく、手間の削減となる。さらに、音声情報を補完するために必要最小限のデータが記録されるために、記憶容量が節減できる。
【０２６２】
また、複数のポインティングデバイスの競合が解消でき、指示語が参照している指示対象を指し示す、最も適切なポインティングデバイスが選択できる。特に、必ずしも発言者が対象を指し示していない場合や、発言者に変わって、司会者や表示装置の近くにいた人が指し示した場合、あるいは、複数人が同時に指し示した場合などでも、適切に対応でき、より実際の会議の状況に即したポインティングデバイスの選択が可能となり、指示対象の選択の正確さが向上する。
【０２６３】
また、音声認識の遅れによる指示操作開始時点の検知時点を補正でき、指示対象の指示操作の、より正確な記録が可能となる。さらに、指示操作の再現において、操作の開始点は、最初に注目を集めるという意味で、重要な役割を持っているが、指示操作の開始点がより正確に求められることで、記録の再現時の情報の認識性が向上する。
【０２６４】
また、自動的に指示操作の終了が判定できるので、ポインティングデバイスの操作者が、意識的に指示操作の終了を明示的に指示する必要がなく、手間が軽減できる。また、短時間内に続けて指示語が検出される場合でも、一定時間以上、指示操作の記録を行うことで、指示操作の視認性を保証できる。さらに、一定時間以内で記録を終了することで、ポインティングデバイスの無意味な動きを必要以上に記録しない。これにより、記録の再生時に、不要な情報によって、記録の参照者を混乱させることを避け、必要な情報のみを提示できる。さらに、記憶容量も軽減できる。
【０２６５】
また、音声情報およびリンク情報を視覚化することにより、なんらかの注目すべき情報の存在を予見させることが可能となり、見逃しを少なくできる効果がある。また、適切なタイミングで音声情報を補完する画像情報および指示操作の再現を行い、必要なタイミングで情報の提示を終了することにより、会議情報の再現を参照する人に、過剰な情報を与えて混乱させることを防ぐことができ、会議内容の把握の効率を向上させる。
【０２６６】
また、やや早めに指示語にリンクする画像を表示し、注目情報の表示が行われることで、指示対象の存在に関する予見ができるようになる。このことにより、実際の会議では、どこを指し示そうとしているかは、司会者や参加者の挙動から推測可能であるが、再生時に何の予見もなしに、注目箇所が短時間再生されるだけでは、どこが本当に指し示されたのか、見逃す可能性があるという問題が緩和でき、注目箇所の見逃しを減少させることができる。
【０２６７】
また、指示操作の終了後、即座に指示対象に関する情報が消えるのではなく、操作終了後も、一定時間、指示対象に関する残像情報を表示でき、注目箇所の見逃しを減少させることができる。さらに、指示操作再現後に、いったん情報から目をそらせた後でも、容易に指示対象を再認でき、情報へのアクセスの容易性を向上させる。
【０２６８】
さらに、指示語の発話と、リンクする画像情報ないし指示操作情報の存在を予見する手段があるので、これを用いて主要な会議記録部分のみを、いわゆる飛ばし再生することも可能になる。
【０２６９】
なお、以上の例では、ポインティングデバイスは、赤外線を発光するものを使用したが、ポインティングデバイスとしてはこれに限られるものではなく、例えば、ペンやマウスのように、パーソナルコンピュータのディスプレイ上にカーソルとして指示操作位置を示すようなものであってもよい。その場合には、大型ディスプレイ装置２には、指示操作位置を認識する機能を設ける必要はなく、パーソナルコンピュータ１で、いずれのポインティングデバイスが操作されたかを容易に判別できると共に、各ポインティングデバイスの指示操作位置の座標データを容易に取得することができる。
【０２７０】
また、上述の例では、ポインティングデバイスを会議参加者のそれぞれに割り当てて指示語に対応する指示操作を任意の参加者が行う場合について説明したが、共通の１個ないしは会議参加者の数よりは少ない数のポインティングデバイスにより、任意の会議参加者が指示操作を行う場合にも、この発明は適用できる。すなわち、その場合にも、有意な動きを呈するポインティングデバイスの指示操作を対応する指示語に対応する指示操作とすることにより、指示操作を伴わない単なる指示語の発話の時点の画像を取り込まないので、必要な画像情報のみを効率よく会議情報として記録することができるものである。
【０２７１】
また、この発明は、図２に示したような会議室において、複数の参加者が集合して会議を行うシステムではなく、ネットワークを通じて接続され、各会議参加者が、個々のディスプレイに共通の表示画像を表示させて、その共通の表示画像を見ながら行うネットワーク会議システムの会議情報記録再生装置としても適用可能である。
【０２７２】
また、以上の実施の形態は、会議情報の記録再生を行う装置の場合であるが、記録機能と再生機能とを分離して、会議情報記録装置単独の構成および会議情報再生装置単独の構成とすることも可能である。ただし、その場合の会議情報再生装置は、この発明による会議情報記録装置で記録された会議情報の再生専用の構成となる。
【０２７３】
【発明の効果】
以上のように、この発明による会議情報記録方法および装置によれば、会議の音声情報を補完するための画像情報および会議参加者の指示情報として、適切なタイミングなものであって、適切に選定されたもののみが記録されるので、会議の内容を正確に再現することができる情報を、少ない情報量で記録することが可能になる。
【０２７４】
また、会議の音声情報を補完するための画像情報および会議参加者の指示情報は、適切なタイミングで自動的に記録されるので、会議参加者は、会議の記録を意識して会議を行う必要はなく、また、会議記録のための人間を特におく必要もない。
【０２７５】
また、この発明による会議情報記録再生装置によれば、会議の内容を正確に再現することができる情報を、少ない情報量で記録することが可能であるとともに、再生時に、会議の音声情報を再生しながら、指示語の発話時点で、当該指示語にリンクする画像情報ないし指示操作が自動的に表示されるので、会議内容を正確に把握することが容易である。
【図面の簡単な説明】
【図１】この発明による会議情報記録再生装置の一実施の形態の記録系のシステム構成図を示すブロック図である。
【図２】この発明の実施の形態が適用される電子会議室における対面型会議の概念図である。
【図３】この発明の実施の形態により記録された会議情報の記録内容の例を説明するための図である。
【図４】この発明の実施の形態により記録された会議情報の記録データのデータ構造の例を説明するための図である。
【図５】この発明の実施の形態における指示語検出処理の概要を説明するための指示語テーブルのデータ構造を示す図である。
【図６】この発明の実施の形態における指示語検出処理の例を説明するフローチャートである。
【図７】指示操作を説明する図である
【図８】この発明の実施の形態における指示対象の検出処理の例の概要を説明するフローチャートである。
【図９】この発明の実施の形態における指示語に対応する指示操作手段の選択処理の例に使用する参加者属性テーブルの例を示す図である。
【図１０】この発明の実施の形態における指示語に対応する指示操作手段選択処理の流れの例の一部を示すフローチャートである。
【図１１】この発明の実施の形態における指示語に対応する指示操作手段選択処理の流れの例の続きを示すフローチャートである。
【図１２】この発明の実施の形態における指示操作手段の指示操作の有意性判定処理の例の概要を示すフローチャートである。
【図１３】図１２の有意性判定処理における指示操作手段の有意な移動量を説明するための図である。
【図１４】この発明の実施の形態における指示操作手段の移動量の有意性を判定する処理の例を示すフローチャートである。
【図１５】この発明の実施の形態における指示操作手段の指示操作開始時刻を補正するための処理の例を説明するための図である。
【図１６】この発明の実施の形態における指示操作手段の位置座標データを保持するバッファのデータ構造の例を説明する図である。
【図１７】この発明の実施の形態における指示操作手段の指示操作開始点補正処理の流れの例を示すフローチャートである。
【図１８】この発明の実施の形態における指示操作手段の移動量に関する終了判定条件を説明するための図である。
【図１９】この発明の実施の形態における指示操作手段の時間に関する終了条件を示す図である。
【図２０】この発明の実施の形態における指示操作の終了判定処理の流れを示すフローチャートである。
【図２１】この発明による会議情報記録再生装置の実施の形態の再生系のシステム構成図を示すブロック図である。
【図２２】この発明の実施の形態における再生画面の例のイメージ図である。
【図２３】この発明の実施の形態における再生画面の例のイメージ図である。
【図２４】この発明の実施の形態における指示対象表示制御処理の例の概要を示すフローチャートである。
【図２５】この発明の実施の形態における指示対象表示制御処理の例を説明するフローチャートである。
【図２６】この発明の実施の形態における予見情報表示および残像情報表示の概要を説明する図である。
【図２７】この発明の実施の形態における予見情報、指示操作、残像情報の表示画面のイメージを示す図である。
【図２８】この発明の実施の形態における予見情報の表示処理の流れの例を示すフローチャートである。
【図２９】この発明の実施の形態における残像情報の表示処理の流れの例を示すフローチャートである。
【符号の説明】
１…パーソナルコンピュータ
２…大型ディスプレイ装置
１０〜１４…会議参加者
２０〜２４…ポインティングデバイス（指示操作手段）
３０〜３４…マイクロホン
６０…記録制御部
６１…指示語検出部
６２…指示語検出通知部
６３…指示対象検出部
６４…画像取込装置
６５…タイマ
６６…ファイル格納部
６７…指示履歴記録部
６８…Ａ／Ｄ変換部
７０…記録領域
７１…リンク情報ファイル
７２…音声データファイル
７３…画像データファイル
７４…指示対象ファイル
４００…再生制御部
４０１…タイマ
４０２…表示時刻判定部
４１０…音声情報表示制御部
４１１…音声−波形変換部
４１２…指示語リンク表示制御部
４２０…指示対象表示制御部
４２１…画像表示制御部
４２２…指示操作再現部
４２３…予見情報表示制御部
４２４…残像情報表示制御部
４３０…音声再生装置
４４０…表示装置

Claims (11)

1. 共通の表示画面内容を見ながら複数人の会議参加者が会議を行なう場合の音声情報を記録すると共に、この音声情報を補完するための、適宜のタイミングの前記表示画面内容を含む画像情報と、必要に応じて前記表示画面上における任意の会議参加者の指示操作の情報とを合わせて記録する方法において、
   会議参加者が指示語を発話したときに、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があるか否かを検出し、
   前記指示語に対応する指示操作があったときには、少なくとも、その指示対象を含む画像情報を、前記音声情報の指示語の発話部分に関連付けて記録するようにすると共に、前記指示語に対応する指示操作がなかったときには、前記指示対象を含む画像情報の記録は行なわないことを特徴とする会議情報記録方法。
2. 前記指示語に対応する指示操作があったときに、その指示対象を含む画像情報に加えて、前記指示語に対応する指示操作の操作軌跡の情報を、前記指示語の発話部分の音声情報に関連付けて記録することを特徴とする請求項１に記載の会議情報記録方法。
3. 会議に寄与する画像情報を表示するための表示装置と、
   会議参加者が、前記表示装置の画面上で、任意の位置を指示するための指示操作手段と、
   前記指示操作手段で指示された画面上の位置を認識する位置認識手段と、
   前記会議中の音声情報入力を受けるための音声情報入力手段と、
   前記音声情報入力手段からの音声情報から、指示語の音声情報を検知する指示語検出手段と、
   前記指示語検出手段で検出された指示語に対応する前記指示操作手段による指示操作を検出する指示操作検出手段と、
   前記音声情報入力手段からの会議中の音声を記録すると共に、前記指示操作検出手段で前記指示語に対応する前記指示操作手段による指示操作が検出されたときには、少なくとも、その検出された指示操作の指示対象を含む画像情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録すると共に、前記指示語に対応する前記指示操作が検出されなかったときには、前記指示対象を含む画像情報の記録は行なわないようにする記録手段と
   を具備することを特徴とする会議情報記録装置。
4. 請求項３に記載の会議情報記録装置において、
   前記記録手段は、前記指示操作検出手段で検出された前記指示操作の指示対象を含む画像情報に加えて、前記位置認識手段からの位置情報を用いた前記指示操作手段の指示操作軌跡の情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録することを特徴とする会議情報記録装置。
5. 前記指示操作手段が、複数人の会議参加者に対応して複数個設けられる請求項３に記載の会議情報記録装置において、
   前記指示操作検出手段は、
   会議参加者の属性により、各会議参加者の優先度を判定する参加者属性判定手段と、
   前記指示操作手段による表示画面上の指示座標位置の変動量が、定められた有意な移動量条件を満足するかどうかにより、その指示操作が有意か否かを判定する指示操作有意性判定手段と、
   前記複数個の指示操作手段による表示画面上の指示座標位置の変動量を比較することにより、前記指示操作手段の優位性を判定する指示操作手段優位性判定手段と
   を具備し、前記参加者属性判定手段の判定結果と、前記指示操作有意性判定手段の判定結果と、前記指示操作手段優位性判定結果とに基づいて、前記指示語に対応する前記指示操作手段による指示操作を検出することを特徴とする会議情報記録装置。
6. 請求項４に記載の会議情報記録装置において、
   各指示操作手段毎に、予め定められた一定時間分の指示操作位置の座標データを記録する指示履歴記録手段を備え、
   前記指示操作検出手段は、前記指示履歴記録手段の座標データを用いて、前記指示語の検出時点の、前記指示語の発話時刻に対する時間遅れを補正して、指示操作の開始時点を検出することを特徴とする会議情報記録装置。
7. 請求項４に記載の会議情報記録装置において、
   前記指示操作検出手段は、
   前記指示操作手段による指示座標位置の変動量の大きさと、前記指示操作手段による指示操作の開始時点とされる時点からの経過時間と、前記指示語検出手段での指示語の検出結果とから前記指示操作手段による指示操作の終了を判定する指示操作終了判定手段を備える
   ことを特徴とする会議情報記録装置。
8. 会議に寄与する画像情報を表示するための表示装置と、
   会議参加者が、前記表示装置の画面上で、任意の位置を指示するための指示操作手段と、
   前記指示操作手段で指示された画面上の位置を認識する位置認識手段と、
   前記会議参加者の発言の音声情報入力を受けるための音声情報入力手段と、
   前記音声情報入力手段からの音声情報から、指示語の音声情報を検知する指示語検出手段と、
   前記指示語検出手段で検出された指示語に対応する前記指示操作手段による指示操作があるか否かを検出する指示操作検出手段と、
   前記音声情報入力手段からの会議中の音声を記録すると共に、前記指示操作検出手段で前記指示語に対応する前記指示操作手段による指示操作が検出されたときには、少なくともに、その指示対象を含む画像情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録すると共に、前記指示語に対応する前記指示操作が検出されなかったときには、前記指示対象を含む画像情報の記録は行なわないようにする記録手段と、
   前記記録された音声情報を再生する音声再生手段と、
   前記音声情報の再生時に、前記指示語の発話時点において、前記指示語に対応する画像情報を表示する画像情報表示手段と
   を備えることを特徴とする会議情報記録再生装置。
9. 請求項８に記載の会議情報記録再生装置において、
   前記記録手段は、前記指示操作検出手段で検出された前記指示操作の指示対象を含む画像情報に加えて、前記位置認識手段からの位置情報を用いた前記指示操作手段の指示操作軌跡の情報を、前記指示語検出手段で検出された前記指示語の発話部分の音声情報に関連付けて記録するものであり、
   この指示操作軌跡の情報により、前記音声情報の順次再生時に、前記指示語の発話時点において表示される前記指示語に対応する画像情報に重ねて、前記指示操作手段の指示操作軌跡を表示して、前記指示語に対応する指示対象を特定することを特徴とする会議情報記録再生装置。
10. 会議中の音声情報と、この音声情報を補完する情報として、会議参加者が指示語を発話したときに、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があった場合に、その指示対象を含む画像情報と、前記指示語に対応する前記指示操作の軌跡の情報とが、前記指示語の発話時点の時刻をリンク情報として、前記音声情報に関連付けて記録された会議情報の再生装置であって、
    前記画像情報および前記指示操作の操作軌跡を表示するための表示装置と、
    再生時において、前記リンク情報に基づいて定められる前記指示語に対応する指示操作の再生開始時点から、予め定められた一定時間前の再生時点を監視する手段と、
    前記再生時において前記指示語に対応する指示操作の再生開始時点から前記一定時間前の再生時点になったときから、対応する画像情報を前記表示装置の画面に表示すると共に、前記定められた一定時間の間、前記表示手段の画面上において、前記指示操作の開始点に視覚的注目情報表示を行なう手段と
    を備え、指示対象物に関して予見可能としたことを特徴とする会議情報再生装置。
11. 会議中の音声情報と、この音声情報を補完する情報として、会議参加者が指示語を発話したときに、当該指示語に対応する任意の会議参加者の前記表示画面上の指示操作があった場合に、その指示対象を含む画像情報と、前記指示語に対応する前記指示操作の軌跡の情報とが、前記指示語の発話時点の時刻をリンク情報として、前記音声情報に関連付けて記録された会議情報の再生装置であって、
    前記画像情報および前記指示操作の操作軌跡を表示するための表示装置と、
    前記記録された音声情報を再生する音声再生手段と、
    前記音声情報の再生時に、前記指示語の発話時点において、前記指示語に対応する画像情報を前記表示装置の画面に表示する画像表示制御手段と、
    前記画像表示制御手段により前記指示語の発話時点において表示される前記指示語に対応する画像情報に重ねて、前記指示操作の軌跡の情報に基づき所定のマークを移動させることにより、対応する前記指示操作を視覚的に再現する指示操作再現手段と、
    前記再現された指示操作の終了時点から、定められた一定時間経過後の時刻を特定する手段と、
    前記定められた一定時間の間、前記所定のマークの移動軌跡の残像を表示すると共に、 前記再現された指示操作の終了位置を視覚的に注目させるようにする視覚的注目情報の表示を行なう手段と、
    前記定められた一定時間の経過後に、前記移動軌跡の残像および前記視覚的注目情報の表示を消去する手段と
    を備えることを特徴とする会議情報再生装置。

Images