JP3758754B2

JP3758754B2 - 情報蓄積再生装置および情報蓄積再生方法

Info

Publication number: JP3758754B2
Application number: JP22033496A
Authority: JP
Inventors: 哲市村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-08-02
Filing date: 1996-08-02
Publication date: 2006-03-22
Anticipated expiration: 2016-08-02
Also published as: JPH1049515A; US5894306A

Description

【０００１】
【発明が属する技術分野】
この発明は、ユーザ入力情報と共に、マルチメディア情報を併せて記録し、記録されたユーザ入力情報とマルチメディア情報とを対応付けて再生または表示する情報蓄積再生装置および方法に関する。
【０００２】
【従来の技術】
会議や講演、取材、インタビュー、電話やテレビ電話を使用した会話、テレビ映像等の要点を記録する場合、通常、記録者が筆記で記録することが一般に行われていた。例えば、会議を記録する場合、会議出席者の一人が書記となって会議参加者全員の発言を逐一記録したり、重要な項目のみを選んで記録している。しかし、書き留めたメモから会議内容や話しの経緯を思い出せなかったり、誰の発言だったかを記録していなかったりするために、後で会議議事録を作成するのが困難になる状況がしばしば発生する。
【０００３】
そこで、従来から、会議や講演、取材、インタビュー、電話やテレビ電話を使用した会話、テレビ映像、監視カメラ映像等の記録を、デジタルディスク、デジタルスチルカメラ、ビデオテープ、半導体メモリなどに記憶蓄積し、再生する装置が提案されている。これらの情報蓄積装置を用いて情報の蓄積を行えば、記録すべき情報の要点のみを記録者が筆記等して記録する方法に比べ、入力情報である音声や画像を漏らさず記録できるという利点がある。
【０００４】
これらの装置には、コンピュータネットワークを介して伝送されたデジタル信号を蓄積媒体に記録するものや、ビデオカメラやマイクロホンからのアナログ入力信号をそのまま蓄積媒体に記録するものや、符号化してデジタル信号に変換し、記録するものなどがある。
【０００５】
しかし、このように、会議の様子をすべて記録する方法の場合、記録された情報を検索する手段がないと、会議の内容を要約した議事録を作成する時には、その記録内容をすべて再生しなければならず、議事録作成に非常に長い時間を要してしまうという問題点がある。また、記録された音声や画像の中から、欲しい部分を瞬時に検索することが困難であるという問題点がある。
【０００６】
この問題点に対し、例えば、記録者が任意のタイミングで特定のボタンを押すことによって、入力音声信号または入力画像信号中の重要部分にチェックマークを付け、重要部分を検索し易くするテープレコーダやＶＴＲが提案されている。
【０００７】
しかし、この場合のチェックマークは、単に、重要部分の位置を特定するためのものであり、それぞれのチェックマークが音声信号または画像信号のいずれの区間部分に対応しているか示すことはできないために、チェックした部分音声また画像信号を全て再生して内容を確認しなければならないという問題があった。さらに、話しを聞いている時にボタンを押すという不自然な行動をとらなければならず、話しに集中できないという問題もあった。
【０００８】
そのため、順次入力される音声信号または画像信号と、任意のタイミングで記録者が入力したペンやキーボードによるユーザ入力情報とを対応付けて蓄積記録し、再生する装置が提案されている。これらの装置を用いれば、記録者がメモを取るようにペンやキーボードで入力を行なうとともに、そのメモに対応して音声信号または画像信号を記録しておけば、後で、入力されたメモを参照することにより、音声信号または画像信号の再生したい箇所を容易に選択して再生することができる。
【０００９】
この種の技術として、例えば、特開平７−２２６９３１号公報には、各会議参加者から入力されたマルチメディア情報と、書記から入力されたテキスト情報を関連付けて蓄積することによって、会議終了後における議事録作成作業を効率化する装置が提案されている。この装置によれば、会議終了後に、任意のテキスト情報を選択することによって、そのテキスト情報に関連したマルチメディア情報を容易に検索できるので、書記により書き留められた会議メモから会議の様子を再現できる。
【００１０】
また、例えば、特開平７−１８２３６５号公報、特開平６−１７６１７１号公報、特開平６−３４３１４６号公報、ＡＣＭＣＨＩ’９４プロシーディング、pp.58-pp.64 （”Marquee: A Tool For Real-Time Video Logging”）には、記録の際に、音声または画像信号とユーザ入力情報とを時間刻印に基づいて対応づけ、再生の際に、画面に表示されたユーザ入力情報の１つを指定することによりその指定されたユーザ入力情報が記録された時刻に記録された音声または画像信号を再生する装置が記載されている。
【００１１】
また、特開平６−２０５１５１号公報には、ユーザ入力が一定時間途切れたことを検知したタイミングで、入力音声信号または入力画像信号にインデックスを付加して記録し、再生の際に、画面に表示された特定のユーザ入力情報の一つを指定することにより、その指定されたユーザ入力情報に対応したインデックス部分からの音声信号または画像信号を再生する装置が記載されている。
【００１２】
さらに、特開平７−１１０８２２号公報には、ユーザによる入力情報と音声信号または画像信号とを対応付けてコンピュータに入力することにより、入力されたユーザ入力情報と音声信号または画像信号との間に自動的にリンクを作成するハイパーメディア装置が提案されている。
【００１３】
上述した特開平７−１８２３６５号公報、特開平６−１７６１７１号公報、特開平６−３４３１４６号公報、ＡＣＭＣＨＩ’９４プロシーディング、pp.58-pp.64 、特開平６−２０５１５１号公報、また、特開平７−１１０８２２号公報に記載された装置を用いれば、記録者がメモをとるようにペンやキーボードで入力を行なうとともに音声または画像信号を記録しておくことにより、後で、入力されたメモを参照することにより音声または画像信号の再生したい箇所を容易に選択して再生することができるので、会議議事録等の作成が効率化される。
【００１４】
ただし、上述の従来の技術の場合、表示部に表示されるのはペン筆跡やキーボードから入力された文字列等のユーザ入力情報のみであり、ユーザ入力情報が入力されたときの周囲の状況を参照するための情報は表示されない。
【００１５】
【発明が解決しようとする課題】
記録されたマルチメディア情報とユーザ入力情報から、会議のポイントなる部分を収集して編集し、会議議事録を作成する場合に、その編集作業の際の検索が、表示画面に表示された情報のみを通じて確実に、かつ、迅速に行うことができれば、検索作業が非常に楽になる。
【００１６】
以上に説明した従来技術では、表示画面にユーザ入力情報が表示され、当該表示されているユーザ入力情報の１つを指定することにより、その指定されたユーザ入力情報に対応する音声情報または画像情報を検索することができる。
【００１７】
しかし、ユーザ入力情報のすべてが同じ重要度を有しているわけではなく、また、ユーザ入力情報に対応して記録されているマルチメディア情報も、同様に同じ重用度を備えているわけではない。その上、マルチメディア情報の重要度は、編集を行うときの検索条件によっても異なる。
【００１８】
したがって、上述した従来の技術のように、検索のための手掛かりとして、単にユーザ入力情報のみを表示するだけでは、そのうちのどのユーザ入力情報がどのような意義や重要度を持っているか、また、それに対応して蓄積されているマルチメディア情報がどのようなものかを知る手掛かりがない。
【００１９】
このため、上述の従来の技術における検索は、すべてのユーザ入力情報について、対応する音声情報または画像情報をすべて再生しないと、各ユーザ入力情報に対応する音声情報または画像情報のそれぞれがどのような意義や重要度を持っているかを特定することができない。つまり、前記の従来の技術の場合、音声または画像情報を検索するための手がかりは、表示部に表示されているユーザ入力情報のみであり、所望の音声または画像情報を検索するための十分な検索キーにならない場合があるのである。
【００２０】
具体例を挙げると、例えば、ある特定話者のコメントを再生したい場合には、ユーザ入力時点において、ユーザによって明示的にそのときの話者の記録がとられていない限りは、どのユーザ入力情報がその話者の発言に対して書き留められたユーザ入力情報かがわからない。したがって、ユーザ入力情報に対応する部分音声情報また部分画像情報を１つ１つ再生して内容を確認し、希望する特定話者のコメント部分を検索しなければならない。
【００２１】
前述した特開平７−２２６９３１号公報には、ユーザによって入力されたテキスト情報と、そのテキストが入力された時の発話者を識別する情報とを対応させて記憶部に蓄積する方法は提案されているが、その対応関係は表示部に表示されない。このために、どのユーザ入力情報がどの発話者のコメントに対応するかという情報を、検索時に参照することができない。
【００２２】
また、特開平７−１８２３６５号公報には、話者別の画像フレーム列を作成する方法や、時間軸上に発話者交代のタイミングと発話者の履歴を表示する方法が提案されている。しかし、特開平７−１８２３６５号公報の技術では、これらの情報は、各ユーザ入力情報と対応させて表示できないため、どのユーザ入力情報がどの発話者のコメントに対応するかという情報を検索時に参照できないという同様の問題がある。
【００２３】
さらに、特開平７−１８２３６５号公報には、全ての発話者交代のタイミングと発話者の履歴を画面上に表示する方法が記載されているが、ユーザ入力情報を手がかりとして音声または画像情報を検索する装置においては、全ての発話者交代の履歴を画面上に表示することは冗長であり、むしろ、画面上の表示が煩雑になってしまうために、検索が困難になるという問題がある。
【００２４】
この発明は、上記の問題点に鑑み、ユーザにより入力されたユーザ入力情報だけでなく、各ユーザ入力情報が入力された背景を表す情報を表示画面に表示できるようにして、それらを、例えばマルチメディア情報の検索の手がかりとして利用できるようにすることを課題としている。
【００２５】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による情報蓄積再生装置は、
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための情報入力手段と、
前記情報入力手段からの前記音声情報有りの区間を条件一致区間として検出する条件一致区間検出手段と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする。
【００２７】
また、請求項１３の発明は、前記請求項１に記載の情報蓄積再生装置において、
前記表示手段により表示されたユーザ入力情報についての、ユーザの再生指示を受け付ける再生指定手段と、
前記再生指定手段により再生指示されたユーザ入力情報に対応する音声情報または画像情報の部分を、前記対応情報記憶手段に記憶されている音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報に基づいて特定して再生する再生手段と
を備えることを特徴とする。
【００２８】
また、請求項１４の発明は、請求項１３に記載の情報蓄積再生装置において、
前記表示手段は、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を、検出順に表示する機能を備え、
前記対応情報記憶手段は、当該検出されたユーザ入力情報の前記表示手段における表示位置を特定する情報をも記憶し、
前記再生指示手段は、ユーザにより指定されたユーザ入力情報の一つを、前記対応情報記憶手段の前記ユーザ入力情報の前記表示手段における表示位置を特定する情報に基づいて検出して、再生指示するものであり、
前記再生手段は、前記再生指定手段により再生指示された前記ユーザ入力情報に対応する音声情報または画像情報の部分を、前記対応情報記憶手段に記憶されている音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報に基づいて特定して再生する
ことを特徴とする。
【００３５】
【作用】
請求項１の発明の情報蓄積再生装置においては、情報入力手段からの音声情報または画像情報は、条件一致区間検出手段で、予め設定された所定の条件に合致する区間が検出されて、その区間を示す情報と対応して一時記憶手段に一時的に蓄えられている。
【００３９】
そして、圧縮手段は、音声情報または画像情報を処理するに当たって、一時記憶手段で記憶されている条件一致区間に、ユーザ入力がユーザ入力情報検出手段で検出されたときには、例えば高品質となるように圧縮せずに、あるいは低い圧縮率で圧縮し、ユーザ入力時点が条件一致区間に重なっていないときなどのその他の区間は、例えば高圧縮率で圧縮する。
【００４０】
条件一致区間検出手段での検出条件は音声情報有りであって、例えばそれが「発言区間」である場合には、ユーザ入力情報が検出された時点より前から発生している例えば会議の発言者の発言内容またはその時の画像情報が、当該ユーザ入力情報と対応するものとして、その発言区間の初めから終りまで、低圧縮率で圧縮し、高品質で、時系列情報記憶手段に記憶される。そして、その対応関係は、対応関係記憶手段に記憶される。
【００４１】
発言区間でない他の区間は、高圧縮率で音声情報または画像情報が記憶される。したがって、音声情報または画像情報を記憶するための容量が少なくて済むという利点がある。
【００４２】
そして、表示手段により、ユーザ入力情報と、その入力情報と対応して記憶されている音声情報または画像情報の時系列情報記憶手段の圧縮状態についての情報とが、表示画面に表示されるので、ユーザは、この表示画面から、前述の例であれば、高品質で記憶されている情報は条件一致区間の、通常、重要とされる情報であることを知ることができる。したがって、希望する部分を取り出す検索作業が容易になる。
【００４３】
請求項１３の情報蓄積再生装置においては、再生指定手段により、背景を表す情報としての記憶情報の圧縮状態を手掛かりとしてユーザ入力情報を選択指定することができる。例えば、圧縮率が低い情報ほど重要度が高い情報に対応するユーザ入力情報を選択して編集することで、主要な会議情報を抽出した会議議事録が作成可能となる。
【００４４】
請求項１４の発明の情報蓄積再生装置においては、ユーザ入力情報はその発生順に表示画面に表示される。そして、ユーザが表示画面に表示されている複数個のユーザ入力情報のうちの一つを選択指定する操作を行うと、対応情報記憶手段に記憶されている表示手段における表示位置を特定する情報から、再生指示手段はその指定されたユーザ入力情報を検出し、再生手段にそのユーザ入力情報の再生指示を送る。
【００４５】
再生手段は、再生指示されたユーザ入力情報に対応する音声情報または画像情報の部分を、対応情報記憶手段に記憶されている音声情報または画像情報の部分の時系列情報記憶手段における記憶位置の情報に基づいて特定して、これらのユーザ入力情報に対応する音声情報または画像情報の部分を再生する。
【００４６】
したがって、請求項１４の発明によれば、表示画面に表示された、ユーザ入力時点における背景を表す情報を、音声情報や画像情報の検索のための手掛かりとして利用して、表示画面中のユーザ入力情報の中から、必要とする一つのユーザ入力情報を、指定手段により指定できる。そして、指定されたユーザ入力情報に対応する音声情報または画像情報が、再生手段により再生されるので、会議議事録などの編集作業が効率的に行われるようになる。
【００４８】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００４９】
［第１の実施の形態］
第１の実施の形態は、この発明による情報蓄積再生装置を会議記録に適用した場合である。
【００５０】
図２は、この実施の形態の場合の会議風景を示すもので、１０は、電子会議装置である。この電子会議装置１０は、マーカーペンでホワイトボードに書き込むのと同じ感覚で、プロジェクター・スクリーン上に電子ペン１３を使用して自在に書き込みを行うことができ、議論の過程や、結論を電子ファイルとして記憶蓄積することができるものである。このため、電子会議装置１０は、パーソナルコンピュータ（図示せず）を内蔵する。
【００５１】
なお、パーソナルコンピュータを介して、例えばＩＳＤＮによるネットワークに接続することにより、会議の過程の音声情報や画像情報を遠隔地間で同時に共有し、あたかも同じ部屋で会議を行っているような環境を実現することも可能である。
【００５２】
そして、この電子会議装置１０は、表示画面１１を備える。この表示画面１１への画像の表示方式は、スクリーンに背面から画像を投射して表示する、いわゆるプロジェクション方式である。
【００５３】
この場合、表示画面１１には、タッチパネル１２が貼着されており、このタッチパネル１２により電子ペン１３によるユーザ１４の手書き入力情報が検出される。タッチパネル１２の出力、すなわち、ユーザ入力情報検出出力は、表示画面１１上の電子ペン１３の接触入力座標位置である。このユーザ入力情報検出出力は、後述するようにして、パーソナルコンピュータにより処理されて、記憶蓄積される。
【００５４】
また、この電子会議装置１０は、オーディオ入力端子およびビデオ入力端子を備える。この実施の形態においては、マイクロホン１５により収音された複数の会議出席者の発言の音声信号がオーディオ入力端子を通じて入力される。また、ビデオカメラ１６で撮影された紙文書や会議風景の画像信号がビデオ入力端子を通じて入力される。
【００５５】
そして、オーディオ入力端子を通じて入力された音声情報は、スピーカ１７により放音されると共に、後述のようにして、内蔵のパーソナルコンピュータにより処理されて、ユーザ入力情報および画像情報と関連付けられて記憶蓄積される。
【００５６】
この電子会議装置１０の表示画面には、当該電子会議装置１０のビデオ入力端子に接続されているビデオカメラからの画像情報による画像と、この電子会議装置のパーソナルコンピュータを通じて入力される電子文書の画像とが、図２に示すように、それぞれ別のウインドウ画像１８Ａ、１８Ｂとして表示される。この表示画面１１に表示される画像情報も、前記のユーザ入力情報および音声情報と関連付けされて記憶蓄積される。
【００５７】
そして、この電子会議装置１０に内蔵のパーソナルコンピュータは、機能的に情報蓄積再生装置をその内部に備える。この情報蓄積再生装置は、前記ユーザ入力情報、音声情報、画像情報を、以下に説明するようにして記憶蓄積し、再生する。図２において、１９は、その情報蓄積部である。
【００５８】
図１は、この実施の形態の情報蓄積再生装置を、その機能を中心にして示したブロック図である。すなわち、この実施の形態の情報蓄積再生装置は、システムバス２０に対して、ユーザ入力情報検出部２１、第１記憶部２２、第２記憶部２３、状態検出部２４、表示部２５、情報入力インターフェース部２６、再生指定部２７、再生部２８、制御部３０が、それぞれ接続されて構成される。
【００５９】
各部はそれぞれ別ブロックとして構成されていてもよいし、１つのブロックが幾つかの処理部を含むように構成されていてもよい。また、１つの処理部がいつかのブロックに分割されて実装されていてもかまわない。
【００６０】
表示部２５は、前述したプロジェクション方式の表示装置部分である。
【００６１】
制御部３０は、全体の処理動作を制御する。
ユーザ入力情報検出部２１は、前述したタブレット１２により構成され、電子ペン１３によるユーザ入力を検出し、そのペン筆跡情報をユーザ入力情報として出力する。表示部２５には、ペン筆跡情報に応じたペン軌跡が表示される。
【００６２】
なお、ユーザ入力情報としては、ペン（またはマウス／トラックボール／タッチパネルなど）からの筆跡あるいは図形（線、四角形、円などのオブジェクト）の他に、筆跡データを文字認識したコード情報、キーボードからのコード情報でもよい。また、表示されているユーザ入力情報を移動／複写／削除したという編集情報、ページ切り替えを行ったという情報、スチルカメラのシャッターを押したという情報、仮想的な消しゴムが用いられたという情報など、ユーザ入力情報が表示されない性質のものであってもよく、この場合はそのユーザ入力情報の存在を示す所定のしるしを表示部２５に表示する。
【００６３】
すなわち、入力される時系列情報（例えば、音声または画像信号）が存在する間にユーザが計算処理能力を持つ装置に対して行った入力は、いずれもこの発明でいうユーザ入力情報に相当する。
【００６４】
第１記憶部２２は、最終的に蓄積する音声情報および画像情報の記憶部であり、時系列情報記憶手段を構成する。この第１記憶部２２は、記憶媒体として、例えばディスク記憶媒体や半導体メモリを用い、書き込みアドレスを制御して、順次入力される音声情報および画像情報を記憶する。この例の場合、音声情報および画像情報は、圧縮処理されずに記憶される。
【００６５】
第２記憶部２３は、ユーザ入力情報（ペン筆跡情報）のそれぞれと、それぞれのユーザ入力情報が検出された時点近傍における状態検出部２４からの後述するような検出結果の情報と、それぞれのユーザ入力情報に対応して第１記憶部２２に記憶される音声情報および画像情報の前記第１記憶部２２の記憶アドレスとを、対応させて記憶するもので、対応情報記憶手段を構成する。この第２記憶部２３も、例えば半導体メモリや磁気ディスク等で構成される。
【００６６】
状態検出部２４は、ユーザ入力情報検出手段２１でユーザ入力情報が検出された時点の近傍における周囲環境に関する情報、またはユーザ入力情報が検出された時点の近傍で発生している事象に関する情報を検出する処理手段で、この例では、マイクロホン１５からの入力音声信号の特徴抽出に基づいて発言者の特定を行い、その特定された発言者の名前の情報を検出結果の情報として第２記憶部２３に送る。
【００６７】
この場合、発言者の名前の情報としては、各会議参加者の識別データＩＤ（参加者ＩＤ）が、第２記憶部２３に記録される。表示部２５には、会議参加者が、自己の参加者ＩＤ（例えば番号）に対応させて予め自分の名前を登録することにより作成された会議参加者名テーブルが保持されており、表示部２５は、参加者ＩＤを状態検出部２４から取得すると、それを名前の文字列データに変換して、後述するように、対応するユーザ入力情報と関連が明確になる特定の表示位置に、当該名前の文字列を表示する。
【００６８】
情報入力インターフェース部２６は、時系列情報の入力インターフェース部であり、この例では、入力端子３１を通じたオーディオ入力信号がＡ／Ｄ変換器３２によりデジタル信号に変換されて供給されると共に、入力端子３３を通じた画像信号がＡ／Ｄ変換器３４によりデジタル信号に変換されて供給される。
【００６９】
再生指定部２７は、蓄積記憶したユーザ入力情報、音声情報、画像情報を、ユーザ入力情報を指定して再生する際に使用される。この再生指定部２７は、後述するように、表示画面１１に表示されたユーザ入力情報のうちから、タブレット１２を通じてユーザが指定を行ったときに、その指定部分を再生部分として検出するものである。
【００７０】
再生部２８は、再生指定部２７で指定されたユーザ入力情報と状態検出結果の情報とを、第２記憶部２３から読み出して再生して表示部２５により表示画面１１に表示すると共に、このユーザー入力情報に対応する音声情報および画像情報の再生部分を、第２記憶部２３の記憶アドレス情報に基づいて検索して第１記憶部２２から読み出して再生する。
【００７１】
次に、以上のような構成の情報蓄積再生装置における記録時の動作について説明する。
【００７２】
図３は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【００７３】
マイクロホン１５からの音声信号およびビデオカメラ１６からの画像信号は、順次第１記憶部２２に記憶される。マイクロホン１５からの音声信号は、また、状態検出部２４に供給される。
【００７４】
一方、会議参加者が電子ペン１３を操作して、ユーザ入力を行うと、これがユーザ入力情報検出部２１で検出される。図４は、このユーザ入力情報検出部２１の動作を説明するフローチャートである。すなわち、タブレット１２がペン筆跡情報のユーザ入力を検出すると（ステップＳ１０１）、その検出結果の情報（ペン筆跡情報）が、表示部２５に出力されて表示され、また、第２記憶部２３に供給されると共に、検出されたペン筆跡入力時点の情報が状態検出部２４に出力される（ステップＳ１０２）。以後、ユーザ入力がなされるごとに、以上の動作が繰り返される。
【００７５】
状態検出部２４では、この例においては、前述したように、入力された音声信号について、発話者を特定する処理を行い、ユーザ入力情報の検出時点で、その時点近傍での発話者の名前に関する情報を、第２記憶部２３に出力すると共に、発言開始点の情報を第１記憶部２２に出力する。この例の場合には、発話者が誰であるかを認識する処理のために、予め、会議参加者が自己の名前と、自己の声とを登録しておく。前述したように、この例の情報蓄積再生装置は、各会議参加者のこれらの情報を、参加者ＩＤに対応付けて管理している。
【００７６】
図５は、この状態検出部２４の動作を説明するフローチャート、また、図６は、この状態検出部２４の動作を説明する図である。なお、この状態検出部２４の処理ルーチンは、例えば一定時間おきに実行される。
【００７７】
この例では、状態検出部２４は、入力される音声信号の音量レベルが所定のレベル以上になったことを検知して話者の発言の開始時点を認識する。このため、図５のフローチャートにおいて、ステップＳ１１１では、入力音声レベルが、予め定めた所定レベル以上に変化したか否か判別する。この例で言うところの、ある時刻における音声レベルとは、その時刻の前後の音声レベルを平滑化した値であり、例えば、前後の５秒間の瞬間音声レベルの平均値である。
【００７８】
ステップＳ１１１で、入力音声レベルが所定レベル以上の変化したと判別したときには、ステップＳ１１２に進み、その変化検出時点から発言開始時点を求め、状態検出部２４に内蔵の発言開始点レジスタ（図示せず）の発言開始点データを更新する。この例の場合、図６に示すように、音声レベル変化点Ｃｔ１，Ｃｔ２を発言の開始時点とすると、発言の最初部分が記録できないので、音声レベル変化時点Ｃｔ１，Ｃｔ２よりも一定時間Ｔだけ前の時点ｔ１，ｔ２を発言開始時点として求め、これを発言開始点データとして、発言開始点レジスタに、順次更新して記憶しておく。発言開始点レジスタには、常に、最新の発言開始点データが保持されている。
【００７９】
ステップＳ１１２の次には、ステップＳ１１３に進む。また、ステップＳ１１１で、入力音声レベルが所定レベル以上に変化したと判別しなかったときにも、ステップＳ１１３にそのまま進む。
【００８０】
ステップＳ１１３では、ユーザ入力情報検出部２１からペン筆跡入力時点の情報が到来したか否か判別する。ペン筆跡入力時点の情報が到来したことを判別したときには、ステップＳ１１４に進み、発話者の識別処理を実行する。すなわち、前記発言開始時点から始まる音声信号の特徴と、登録されている会議参加者の音声の特徴とのマッチング処理を行い、発話者を特定する。
【００８１】
そして、次のステップＳ１１５に進み、特定された発話者の名前に関する情報として、この例では、前述したように参加者ＩＤを第２記憶部２３に出力すると共に、発言開始点レジスタの発言開始点データを第１記憶部２２に出力する。また、発話者名に関する情報としての参加者ＩＤは、表示部２５に供給されて、この例では、表示されているユーザ入力情報の近傍に、当該発話者の名前が表示される。
【００８２】
以上のように、状態検出部２４は、常時、発言開始時点の検出を行い、ユーザ入力情報の検出信号であるペン筆跡入力時点の入力が有ったときには、発話者名の情報を第２記憶部２３に供給すると共に、そのときの発言開始時点の情報を第１記憶部２２に供給する。
【００８３】
例えば、図６に示すように、時刻ｔ３においてペン筆跡情報が検出されたとすると、この時刻ｔ３の直前に検出された音声レベル変化点Ｃｔ２よりも一定時間Ｔ前の時点ｔ２が、発言開始点レジスタに保持されているので、状態検出部２４は、この時点ｔ２を発言開始時点とする。そして、状態検出部２４は、この時点ｔ２の情報を第１記憶部２２に送ると共に、そのときの発話者名の情報を、表示部２５と第２記憶部２３に送る。
【００８４】
なお、この例では、ペン筆跡入力時点ｔ３に最も近い発言開始点ｔ２を発言開始点として判別して出力するようにしたが、所定数前の発言開始点（例えばｔ１）を出力してもよい。また、第１記憶部２２に出力する発言開始点として、ペン筆跡入力時点から、いくつ前の発言開始点を出力するかをユーザが変更できるようにしてもよい。
【００８５】
また、上述の実施例では、発言の音声が検出されない時に、ペン筆跡情報が入力された場合には、そのペン筆跡情報が入力された時点の直前の発言開始点を出力するようにしたが、この場合も、第１記憶部２２に出力する発言開始点として、ペン筆跡入力時点から、いくつ前の発言開始点を第１記憶部４に出力するかをユーザが変更できるようにしてもよい。
【００８６】
表示部２５は、ユーザ入力情報検出部２１からのペン筆跡情報を受けて、ユーザ入力情報を表示し、また、状態検出部２４からの発話者名の情報としての参加者ＩＤを受けて、その発話者名を、表示されたユーザ入力情報との関連が分かるような位置に表示する。
【００８７】
図７は、この表示部２５の処理のフローチャートである。すなわち、ステップＳ１２１でユーザ入力情報検出部２１からのペン筆跡情報が有ると判別すると、ステップＳ１２２に進み、図８に示すように、そのペン筆跡情報によるペン軌跡Ｐａを、表示画面１１に表示する。
【００８８】
ステップＳ１２２の次は、ステップＳ１２３に進み、状態検出部２４からの発話者名の情報を取得する。この例の場合には、参加者ＩＤを取得する。そして、次に、ステップＳ１２４に進み、この参加者ＩＤから、図９に示すような参加者テーブルを参照して、発話者名を取得し、その表示文字列データを生成する。そして、ステップＳ１２５に進み、ペン筆跡情報の表示位置によって特定される表示位置、この例では、表示されたペン軌跡Ｐａの表示位置の右隣りに、ステップＳ１２４で生成した発話者名の表示文字列Ｓａを表示する。
【００８９】
表示部２５は、以上の処理をユーザ入力情報検出部２１からのペン筆跡情報が到来するごとに実行する。ユーザ入力情報検出部２１によってペン筆跡情報が入力されたことが検出されると、図８に示したように、これらのペン筆跡情報は入力された順序で表示画面１１に順次表示される。
【００９０】
この例の場合、表示部２５は、図８に示すような表示態様で、前記ペン軌跡Ｐａと、発話者名の表示文字列Ｓａを表示する。すなわち、図８の例では、２つのユーザ入力情報を受けて、それを順次に表示した状態であるが、それぞれのペン軌跡Ｐａに対して、発話者名を左右括弧で囲み、当該ペン軌跡Ｐａの右端に表示する。
【００９１】
この場合、表示部２５では、それぞれのペン軌跡Ｐａ（図８の、「ａｂｃｄｅ」または「ｘｙｚ」）を囲む最小矩形であるクリッピング枠ＣＬＷを算出し、そのクリッピング枠ＣＬＷの右端から、距離ｄだけ右方向に離れ、かつ、クリッピング枠ＣＬＷの半分の高さの位置に並ぶように、発話者名（図８の例では「（鈴木）」または「（田中）」）を表示する。
【００９２】
第１記憶部２２は、状態検出部２４からの発言開始点データを受けて、発言開始時点に対応する音声信号および画像信号の記憶アドレスを、対応情報として記憶させるために第２記憶部２３に送る。
【００９３】
図１０は、この第１記憶部２２の動作を説明するフローチャートである。
【００９４】
第１記憶部２２はインターフェース部２６を通じて入力された音声情報と画像情報とを順次記憶するが、この実施の形態では、前述したように、音声情報および画像情報は圧縮せずに記憶する（ステップＳ１３１）。
【００９５】
そして、第２記憶部２３からの再生要求がなければ（ステップＳ１３２）、スステップＳ１３３に進んで、状態検出部２４からの発言開始点データを受け取ったか否か判別する。発言開始点データを受け取ったときには、ステップＳ１３４に進んで、発言開始時点に対応する音声信号および画像信号の記憶アドレスを、第２の記憶部２３に出力し、その後、ステップＳ１３５に進む。また、ステップＳ１３３で発言開始点データを受け取っていないと判別したときにも、このステップＳ１３５に進む。
【００９６】
ステップＳ１３５では、最新記録アドレスを、記録したデータ量に応じて進める。その後、ステップＳ１３１に戻る。
【００９７】
次に、第２記録部２３の記憶時の処理動作について説明する。第２記憶部２３は、ユーザ入力情報検出部２１からのユーザ入力情報としてのペン筆跡情報と、状態検出部２４からの発話者名の情報と、第１記憶部２２からの発言開始時点の音声および画像信号の記憶アドレスの情報を受けて、これらを対応付けて記憶する。この例では、第１記憶部２２からの記憶アドレスが到来するときには、その記憶動作を実行するように動作する。
【００９８】
図１１は、第２記憶部２３の動作を説明するフローチャートである。第１記憶部２２から、発言開始時点の音声情報および画像情報の記憶アドレスが到来すると、第２記憶部２３は、その入力をステップＳ１４２で検出する。そして、ステップＳ１４２の次にはステップＳ１４３に進み、ユーザが入力したペン筆跡情報と、このペン筆跡情報の画面上で表示位置を特定する情報と、このペン筆跡情報が入力された時に入力された音声信号および画像信号の第１記憶部２２内での記憶アドレスと、状態検出部２４の検出結果である発話者名とを対応付けて記憶する。
【００９９】
ペン筆跡情報の画面上で表示位置を特定する情報としては、例えば、Ｘ−Ｙ座標軸上の絶対座標や相対座標などが用いられる。
【０１００】
図１２は、表示画面１１上の表示と、第１記憶部２２のデータ記憶構造と、第２記憶部４のデータ記憶構造とを対応させて、記憶動作を説明するための図である。
【０１０１】
この図１２の例は、図８に示した例と同様に、２つのユーザ入力情報として、ペン筆跡情報Ａとペン筆跡情報Ｂが入力され、それぞれ対応して状態検出部２４で、そのときの発話者として、鈴木氏と田中氏が検出された場合である。
【０１０２】
この例では、各ペン筆跡情報Ａ、ペン筆跡情報Ｂに対応する音声信号または画像信号の第１記憶部２２の記憶アドレスとして、状態検出部２４の検出結果である発言開始時点のアドレスａ１，ａ２を記憶するようにしている。したがって、図１２に示すように、第１記憶部２２の音声情報のメモリ部には、アドレスａ１以降、所定時間に渡って鈴木氏の発言が記録されており、また、アドレスａ２以降、所定時間に渡って田中氏の発言が記録されている。
【０１０３】
このときの第２記憶部２３の記憶情報は、図１２の中ほどに示すようなものであり、そのデータ記憶構造は、ペン筆跡情報と、表示部２５上の表示位置情報と、第１記憶部２２上の記憶アドレスと、発話者名の情報とからなる。
【０１０４】
ユーザが入力したペン筆跡情報としては、ユーザ入力情報を一意に特定する識別子ＩＤと、ユーザ入力情報の種類を特定する情報とが記憶されている。表示部３上の表示位置情報としては、Ｘ−Ｙ座標、図の例では、座標（２０、３０）、座標（３０、４０）、座標（６０、１０）、…と、座標情報の終端を表すｎｉｌとが記憶されている。第１記憶部２２上の記憶アドレスとしては、前述したように、発言開始点アドレスａ１とａ２とが記憶されている。また、発話者名の情報としては、前述したように、参加者ＩＤ（図のＩＤ１，ＩＤ２は、実際には、「１」「２」などの番号）が記憶されている。
【０１０５】
なお、第２記憶部２３に記憶されるのは、ペン筆跡情報、表示座標、記憶アドレスそのものではなくそれらを特定する特定情報であってもよいし、第２記憶部２３のデータ記憶構造はテーブルの形式でなく、リスト構造などの他の記憶構造で構成されていてもよい。また、第２記憶部２３に記憶されるのは、上述のようなペン筆跡情報、表示座標、記憶アドレス、発話者名そのものではなく、それらを特定する特定情報であってもかまわない。
【０１０６】
この実施の形態のように、ユーザ入力情報の種類を特定する情報をペン筆跡情報に含ませ、マルチプルラインなどを表現するまとまった座標点列を１つのペン筆跡情報として記憶させておけば、再生時にその座標点列のうちいずれかが指定されれば、その座標点列に対応するペン筆跡情報が特定できるようになり、同じ記憶アドレスから音声または画像を再生できるようになる。
【０１０７】
また、所定時間間隔内に連続入力された複数の座標点列を１つのペン筆跡情報として記憶させておけば、１行の文字列を１つのペン筆跡情報と見なすことができるため、文字列を構成する座標点列のうちいずれかが指定されれば、同じ記憶アドレスから音声または画像を再生できるようになり、便利である。
【０１０８】
次に再生時の動作について説明する。
図１３は、この第１の実施の形態における再生時の動作の概要を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
【０１０９】
表示部２５に表示された複数のペン筆跡情報のうち１つをユーザがペンを用いて指定（ポインティング）することにより、第１記憶部２２に記憶された音声および画像信号のうち、そのペン筆跡情報が入力された時点の前後に入力された音声信号または画像信号のみを部分的に再生可能である。
【０１１０】
また、そのペン筆跡情報が入力された時点の前後に入力された音声信号および画像信号のうち、発話者が発言していた部分の音声信号および画像信号の最初にさかのぼって再生できる。
【０１１１】
この例の場合に、再生指定に用いる再生指定部２７としては、この実施の形態では入力用のペンと兼用されている。
【０１１２】
なお、この再生指定部２７としては、マウス、トラックボール、カーソルキー、タッチパネル等を用いることもできる。また、ペン筆跡情報の指定方法としては、ポインティングによる指定、囲み（閉曲線や楕円などによる囲み）による指定、識別子入力による指定、表示されている項目の下に線を引くような指定などによるものでもよい。
【０１１３】
また、囲みによる指定や下線による指定を行なった結果、複数のペン筆跡情報が選択された場合には、なんらかの優先順位に基づいて１つを特定するようにする。例えば、選択された中で最も早く入力されたペン筆跡情報や、最も左上に表示されたペン筆跡情報を自動的に選ぶ等の特定方法を用いることができる。
【０１１４】
表示画面１１上の表示位置は、Ｘ−Ｙ座標によって特定できるので、ペンなどの再生指定部２７によってある表示位置が指定されると、その表示位置に対応するＸ−Ｙ座標が特定される。
【０１１５】
このようにして、再生指定部２７から再生要求があると、第２記憶部２３での動作の図１１のフローチャートのステップＳ１４１において、それが検出されて、ステップＳ１４４に進み、再生指定部２７により指定された座標情報と第２記憶部２３に記憶されているＸ−Ｙ座標から算出されるＸ−Ｙ座標群（図１２のペン筆跡座標を端点とするマルチプルラインを構成する全ての点座標群）とを比較して、対応するペン筆跡情報を特定する。
【０１１６】
続いて、ステップＳ１４５において、このペン筆跡情報に対応した音声情報および画像信号の再生開始アドレスを特定し、次のステップＳ１４６において、そのアドレスと再生要求を第１記憶部２２に出力する。
【０１１７】
その後、再生開始アドレスと再生要求とを受け取った第１記憶部２２は、図１０のステップＳ１３２においてその入力を検知し、ステップＳ１３６に進んで、再生開始アドレスと再生要求とを含む再生開始要求を再生部２８に出力する。
【０１１８】
なお、図１１のステップＳ１４４での座標比較の時に、少しずれた座標ともマッチングするようにしておけば、指定時に多少ずれた座標点を指定しても、所望の記憶アドレスを取得できる。
【０１１９】
また、ユーザ入力情報が表示されない性質のものであった場合にでも、そのユーザ入力情報の存在を示す所定のしるしが表示部２５に表示されているので、同様の方法によって所望の記憶アドレスを取得できる。さらに、記録時の動作説明で述べたように、まとまった座標点列を１つのペン筆跡情報に対応させて第２記憶部５に記憶させてあった場合には、その座標点列のうちいずれかがマッチングすれば、所望の記憶アドレスを取得できる。
【０１２０】
再生部２８は、第１記憶部２２からの再生開始要求により再生を実行する。図１４は、この再生部２８の処理のフローチャートである。ステップＳ１５１で第１記憶部２２からの前記の再生開始要求を検知すると、ステップＳ１５２に進み、指定された第１記憶部２２内の再生開始アドレスからの音声信号および画像信号の再生を開始する。
【０１２１】
再生時には再生速度を変化させたり少し巻き戻ししてゆっくり再生したい場合がよくあるので、早送り機能、巻き戻し機能、スロー再生機能、一時停止機能をこの発明の装置に具備してもよいし、時間軸上のスライドバーを設け、現在再生している時刻を示すポインタをスライドバーに表示したり、スライドバーをスライドさせることによって再生位置を指定できるようにしてもよい。
【０１２２】
また、再現する速度に関して、必ずしも記録された時刻情報の通りに再現する必要はなく、記録された順序関係だけは守って速度を上げて再現するようにしてもよいし、特定話者の発言が記録されている区間だけを間引いて再生するようにしてもよい。さらに、再生を一時停止した後、再生指示部２７によって再生箇所を指定できるようにしてもよいし、新たなユーザ入力情報を追記できるようにしてもよい。
【０１２３】
以上のように、上述した第１の実施の形態によれば、音声情報および画像情報の記録時に、表示画面１１にユーザ入力情報を順次に表示すると共に、各ユーザ入力情報の表示位置に対応して各ユーザ入力情報が入力された時点近傍における発話者名を表示するようにしたので、表示画面を見るだけで、ユーザ入力としての書き込みに対して、だれが発言しているかを知ることができる。
【０１２４】
そして、情報蓄積が終了した後には、この発話者の情報を検索の手掛かりとして、この表示画面を見ながら、ユーザ入力情報の一つを選択する操作を行うことにより、所望の音声情報および画像情報部分を検索することができる。例えば、特定の発話者のコメントの検索が容易である。また、特定の発話者ごとの音声情報部分と、そのときの周囲状況の画像情報部分を検索して、まとめるなどの編集作業も容易に行うことができる。
【０１２５】
なお、上述の例では、ユーザ入力情報であるペン筆跡情報の右端に状態検出部２４の検出結果である発話者名を表示するようにしたが、状態検出部２４の検出結果の表示位置はペン筆跡情報の右端に限られない。すなわち、各ペン筆跡情報と、各状態検出部３の検出結果とが対応していることを、表示上明らかにわかるように表示すればよい。例えば、ペン筆跡情報に隣接した上下左右いずれかの位置に状態検出部２４の検出結果である発話者名を表示したり、参照番号（例えば参加者ＩＤ）のみをペン筆跡情報に隣接した位置に表示し、脚注や余白に、参照番号と発話者名とを表示してもよい。また、通常は状態検出部２４の検出結果を表示せず、ユーザの要求があった場合にのみ、表示するようにしてもよい。
【０１２６】
また、上述の例では、状態検出部３の検出結果として発話者名を表示するために文字列を表示する例について説明したが、表示部２５に表示される状態検出部２４の検出結果としては発話者を特定できるものを表示できればよく、発話者名の文字列に限られない。例えば、発話者を示すために、発話者の顔写真、発話者の似顔絵、発話者を識別するためのマークを表示してもよい。
【０１２７】
さらに、発話者の発話時間や発話時刻などを発話者名や発話者の顔写真などの発話者を特定する情報と一緒に表示してもよい。
【０１２８】
なお、上述の例では、状態検出部２４は、発言開始点から始まる音声信号の特徴（声紋など）を認識して発話者を特定するようにしたが、発話者を特定する方法としては、この方法に限らない。例えば、画像情報による顔や口の動きから発話者を特定する方法、複数のマイクロホンを設置し、それらのマイクロホンから入力される音声信号を解析して音源の位置を検知（各自にマイクロホンを持たせて音声入力レベルを比較したり、音声信号の位相差を解析したりする）し、発話者を特定する方法を用いることもできる。また、各会議参加者毎の発言用ボタンを設ける等して、発話者が明示的に発言中であることを状態検出部２４に対して通知するようにしてもよい。
【０１２９】
また、上述の例では、一つのユーザ入力情報に対して一人の発話者を検出して、その名前を表示するようにしたが、ユーザ入力情報に対応する発話者として、複数人の発話者を特定し、それら複数人の発話者の名前をユーザ入力情報に対応して表示するようにしてもよい。
【０１３０】
また、入力された音声信号および画像信号を第１記憶部２２に記憶する際は、圧縮処理を施した後、記憶してもよい。この場合、画像信号の圧縮には、フレーム内圧縮、間欠記録、色情報間引き、輝度情報間引き等の方法がある。特に、動画像情報を圧縮する方法としては、フレーム内での圧縮法とフレーム間の圧縮法があり、フレーム内の圧縮法としてはベクトル量子化を用いた方法、離散コサイン変換を用いた方法などがある。また、フレーム間の圧縮法としては前後フレームの画像情報の差分のみを記録する方法などがある。また、音声信号の圧縮には、サンプリング周波数を減らす、符合化ビット数を減らす、チャンネル数を減らす等の方法がある。
【０１３１】
なお、上述の第１の実施の形態における状態検出部２４が検出する事象は、以上の例の発話者の特定に限られず、例えば、音声入力の有無、発話者の交替、音声信号の中の予め登録されたキーワードの出現、音声信号の中の予め登録された音声パターンの出現、画像信号の中の予め登録された文字列の出現、画像信号の中の状態、外部センサが検知した状態、カメラ操作信号の状態などでもよい。すなわち、入力されるマルチメディア情報（例えば、音声または画像信号）の状態、または入力されるマルチメディア情報が存在する間に外部センサが検知した信号の状態を検出する手段は、いずれも状態検出部２４に相当する。
【０１３２】
［第２の実施の形態］
前述した第１の実施の形態では、ユーザ入力情報検出部２１によってユーザ入力情報の入力が検出されたときに検出された状態検出部２４の検出結果を、ユーザ入力情報の表示位置によって特定される表示位置に表示するようにしたが、この第２の実施の形態では、ユーザ入力情報検出部２１によってユーザ入力情報の入力が検出されたときに検出された状態検出部２４の検出結果に応じて、ユーザ入力情報の表示書式を変えて表示するようにする。他は、第１の実施の形態と同様である。
【０１３３】
この例では、ユーザ入力情報の表示書式を変えて表示する方法の例として、ユーザ入力情報を、それに対応して状態検出部２４で検出された発話者ごとに異なる色で表示するようにする。
【０１３４】
この第２の実施の形態の情報蓄積再生装置は、図１に示したものと基本的に同一の構成を有するが、ユーザ入力情報検出部２１で検出するユーザ入力情報は、キーボードから入力された文字情報の場合であり、状態検出部２４の処理としては音声信号の特徴抽出に基づいて発話者を特定する処理の場合である。
【０１３５】
この第２の実施の形態では、ユーザ入力情報検出部２１は、キーボードを通じて所定時間間隔内に連続入力された複数の文字を１つの文字列情報（ユーザ入力情報）として認識する。
【０１３６】
キーボードからの入力速度は、ユーザのキーボード打鍵習熟度に大きく依存するので、前記の所定時間間隔は、ユーザによって変更できるようにしてもよい。さらに、改行キーが入力された時には、前記の所定時間間隔内に連続入力された文字であっても、改行の次の文字からは別の文字列情報として処理するようにしてもよい。
【０１３７】
以上のように、所定時間間隔内に連続入力された文字列を１つの文字列情報として扱うようにすることで、音声信号および画像信号を再生する時、文字列を構成する文字のうちいずれかが指定されれば、同じ記憶アドレスから音声および画像を再生できるようになり便利である。
【０１３８】
図１５は、この例の場合の表示部２５での表示処理を示すフローチャートである。
ステップＳ１６１でユーザ入力情報検出部２１からの文字列情報が有ると判別すると、ステップＳ１６２に進み、状態検出部２４からの発話者名の情報の到来を待って取得する。この例の場合には、参加者ＩＤを取得する。そして、ステップＳ１６３に進み、発話者ごとに異なる色の表示文字列を生成する。
【０１３９】
この例の場合、予め、例えば、鈴木氏であれば青色、田中氏であれば緑色など、各会議参加者に対応した色が、図１６のように参加者テーブルに設定されている。ステップＳ１６３では、この参加者テーブルを参照して、状態検出部２４から取得した参加者ＩＤで示される発話者の文字色を検知し、この文字色にて、ステップＳ１６１で得た表示文字列を生成する。また、ステップＳ１６３では、文字色と発話者名との対応のための凡例の表示情報も生成する。
【０１４０】
そして、ステップＳ１６４に進み、図１７に示すように、ユーザ入力情報の文字列情報の表示文字列ＬＴを、表示画面１１に表示する。また、文字色と発話者名との対応のための凡例表示ＩＮＤＸを、例えば画面１１の右下に表示する。図において、網点模様の違いは、色の違いを表している。なお、凡例表示ＩＮＤＸの近傍に表示されている「−３−」はページ番号である。
【０１４１】
表示部２５は、以上の処理をユーザ入力情報検出部２１からの文字列情報が到来するごとに実行する。
【０１４２】
すなわち、ユーザ入力情報検出部２１によって文字列がキーボードから入力されたことが検出されると、この文字列は入力された順序で表示画面１１に順次表示される。そして、図１７に示すように、表示ページ毎に、使用された文字色に対応する凡例ＩＮＤＸが、脚注として自動的に表示画面１１に表示される。
【０１４３】
図１８は、第２記憶部２３のデータ記憶構造を説明する図で、この例においては、第２記憶部２３は、ユーザが入力した文字列情報と、この文字列情報の画面上の表示位置を特定する情報と、この文字列情報が入力された時に入力された音声信号および画像信号の、第１記憶部２２内での記憶アドレスと、発話者を特定する情報、この例では、参加者ＩＤとを対応付けて記憶する。
【０１４４】
この例においても、第２記憶部２３のデータ記憶構造は、前述した第１の実施の形態の場合と同様にして、図１８のようなテーブルの形式で各文字列情報毎に記憶する形式ではなく、リスト構造などの記憶構造であってもよい。
【０１４５】
なお、ユーザ入力情報としての文字列の文字表示書式を発話者ごとに異ならせる方法としては、文字色を変える方法に限られるものではなく、例えば、文字フォント、文字サイズ、アンダーライン、網かけなどを各発話者（会議参加者）毎に設定して変えるようにしてもよい。
【０１４６】
また、行間隔、字間、インデント幅（タブ幅）など、レイアウトに関する属性を発話者に応じて変更してもよい。例えば、キーボードから入力された文字列を、各発話者に応じたインデント幅で行頭を自動的にずらして表示するといった文字表示書式の変更方式で表示することもできる。また、文字表示書式以外の表示書式を設定してもよく、ユーザ入力情報がペン筆跡情報の場合には、線種、太さなどを発話者に応じて変更可能としてもよい。
【０１４７】
このように、第２の実施の形態によれば、状態検出部で検出された発話者名が表示される代わりに、ユーザ入力情報の表示が発話者毎に異なる書式で表示されるため、発話者名が画面１１に表示される場合に比べて、画面が繁雑になることが回避できる。
【０１４８】
［第３の実施の形態］
この第３の実施の形態においては、前述の第１の実施の形態において、状態検出部２４の検出結果を修正するための編集手段を具備する。すなわち、この実施の形態においては、例えば、誤って認識された発話者名が表示画面１１に表示された場合には、その誤った発話者名を修正できるようにする。
【０１４９】
例えば、図１９Ｂのように、「２．ｘｙｚ」と電子ペン１３によりユーザが入力しようとしたが、図１９Ａに示すように、「２．」を入力した後に、入力操作を中断したとする。すると、ユーザ入力情報検出部２１は、それをユーザ入力情報のペン筆跡情報として認識し、ペン筆跡入力時点の情報を状態検出部２４に送るため、状態検出部２４は、そのときの発話者を特定し、その発話者名の情報を表示部２５に送る。このため、表示部２５は、ペン筆跡情報「２．」の右横に、その発話者名を表示するように処理を行う。
【０１５０】
しかし、図１９Ａで点線の丸で囲んで示す位置は、「２．」を入力した後に、本来、ユーザが続けて入力する「ｘｙｚ」を表示すべき位置である。このように、本来、ユーザ入力情報を表示すべき位置に、状態検出部２４の検出結果である発話者名が表示されてしまった場合に、状態検出部２４の検出結果を消す操作を明示的に行なうことは煩わしい。
【０１５１】
そこで、この第３の実施の形態では、「表示されている状態検出部２４の検出結果の上に、新たにユーザ入力情報を上書きすると、上書きされた状態検出部２４の検出結果を消去する」という編集ルールを、表示部２５に対して設定しておけるようにしている。
【０１５２】
図２０は、この編集ルールが設定された表示部２５の処理のフローチャートである。ステップＳ１７１でユーザ入力情報検出部２１からのペン筆跡情報が有ると判別すると、ステップＳ１７２に進み、表示画面１１の発話者表示の上に、ペン筆跡情報が上書きされたか否かを判別し、上書きでなければそのままステップＳ１７４に進む。また、上書きであると判別したときには、ステップＳ１７３に進み、表示されていた発話者名の表示を消去した後、ステップＳ１７４に進む。
【０１５３】
ステップＳ１７４では、図１９に示すように、そのペン筆跡情報によるペン軌跡Ｐａを、表示画面１１に表示する。ステップＳ１７４の次は、ステップＳ１７５に進み、状態検出部２４からの発話者名の情報を取得する。この例の場合には、参加者ＩＤを取得する。そして、次に、ステップＳ１７６に進み、この参加者ＩＤから、図９に示したような参加者テーブルを参照して、発話者名を取得し、その表示文字列データを生成する。そして、ステップＳ１７７に進み、ペン筆跡情報の表示位置によって特定される表示位置、この例では、表示されたペン軌跡Ｐａの表示位置の右隣りに、ステップＳ１７６で生成した発話者名の表示文字列Ｓａを表示する。
【０１５４】
表示部２５は、以上の処理をユーザ入力情報検出部２１からの文字列情報が到来するごとに実行する。
【０１５５】
以上の処理により、図１９Ａのような表示状態になったときには、発話者名の表示「鈴木」の上に、ユーザが電子ペン１３により、上書きすることにより、発話者名の表示「鈴木」が消去され、ペン入力された「ｘｙｚ」が、図１９Ｂに示すように表示されるものである。
【０１５６】
なお、前述の編集ルールの代わりに、例えば、表示されている状態検出部２４の検出結果の上に、新たにユーザ入力情報を上書きすることで、誤った状態検出部２４の検出結果によって変更されていた部分の表示を、自動的にＵＮＤＯし、元の表示に戻すというルールを設定しておいてもよい。
【０１５７】
また、発話者認識の過程では、複数の発話者が中間結果として得られるが、その得られた中間結果を第２記憶部２３に保存しておき、ユーザからの修正要求が発生した場合に、第２記憶部２３に記憶されていた発話者認識の中間結果に基づき、発話者名の次候補を表示画面１１に表示して、その中から正しい発話者を選択指示できるようにしてもよい。この選択指示の際には、状態検出部２４の発話者認識処理の中間結果として得られる、認識結果の信頼度が参照される。
【０１５８】
以上の例は、ユーザ入力情報に対応する状態検出部２４の検出結果として、発話者名を表示する場合の例であるが、発話者名を表示する代わりに、状態検出部２４により検出された発話者に応じて、ユーザ入力情報の表示書式を変える場合にも適用可能である。すなわち、その場合には、例えば、ユーザがペン入力を中断したため、間違って表示されたユーザ入力情報の表示書式を、その後、ペン入力操作を実行することにより、正しく修正できるようにする。
【０１５９】
［第４の実施の形態］
第１の実施の形態においては、状態検出部２４の検出結果を、ユーザ入力情報の入力が検出されたときに表示画面１１に表示していたが、状態検出部２４の検出結果を表示画面１１に表示するタイミングは、ユーザ入力情報の入力が検出されたときに限られない。また、第２の実施の形態においては、ユーザ入力情報が入力されたときに、状態検出部２４の検出結果に基づいてユーザ入力情報の表示書式を変えて表示していたが、ユーザ入力情報の表示書式を変えるタイミングはユーザ入力情報の入力が検出されたときに限られない。
【０１６０】
この第４の実施の形態では、通常は、状態検出部２４の検出結果を表示画面１１に表示せず、要求があった場合にのみ表示する。他は、第１の実施の形態、第２の実施の形態または第３の実施の形態の場合と同様である。
【０１６１】
以下に説明する例においては、ユーザ入力情報はキーボードから入力された文字情報の場合であり、状態検出部２４の処理としては音声信号の特徴抽出に基づいて発話者を特定する処理の場合である。また、再生指定部２７によりユーザ入力情報を指定する方法としては、マウスを用いた指定の場合である。
【０１６２】
この第４の実施の形態では、表示画面１１上で、マウスポインタを任意の文字列情報の表示の上に一定時間以上静止させることで、その文字列情報を指定することができる。図２１は、この第４の実施の形態における表示部２５のマウス入力処理のフローチャートである。
【０１６３】
すなわち、ステップＳ１８１で、マウス入力が検出されると、ステップＳ１８２に進み、マウスで指定された位置を示すマウスポインタが、表示画面１１上に表示されている文字列の上で、一定時間以上、静止したか否か判別する。ステップＳ１８２で、一定時間以上は静止していない、あるいは文字列の上ではないと判別したときには、ステップＳ１８４に進み、マウスの指示入力に応じた他の処理を実行する。
【０１６４】
また、ステップＳ１８２で、マウスポインタが文字列の上で、一定時間以上、静止したと判別したときには、ステップＳ１８３に進み、指定された文字列に対応した第２記憶部２３に記憶されている発話者情報により特定される発話者名が、マウスポインタと隣り合った位置に表示される。
【０１６５】
図２２は、この実施の形態の表示例である。この例の場合には、文字列「ｘｙｚ」が入力された時に発言していた田中氏の名前の表示ＴＧが、「ｘｙｚ」の文字列ＬＴの上でマウスポインタＭＰを１秒以上静止させたタイミングで、ポップアップ表示される。
【０１６６】
なお、発話者名をユーザ入力情報の文字列に対応させて表示するために、文字列上を指定する方法としては、マウスを用いる方法に限らず、入力用の電子ペン１３を兼用することもできるし、トラックボール、カーソルキー、タッチパネル等を用いることもできる。また、発話者名の表示方法としては、ポップアップ表示の以外に、脚注表示などをしてもよい。
【０１６７】
また、通常は非表示であった状態検出部２４の検出結果を表示する場合に、ユーザ入力情報の指定を必要としない方法であってもよい。例えば、表示されているページに含まれている状態検出部２４の検出結果をすべて表示するためのボタンを備えてもよい。さらに、表示されているページに表示されている状態検出部２４の検出結果をすべて非表示にするためのボタンを備えてもよい。
【０１６８】
この第４の実施の形態においては、ユーザ入力情報が指定されたときにのみ、指定されたユーザ入力情報が入力されたときに検出された状態検出手段の検出結果を表示するように構成したので、状態検出手段の検出結果を、ユーザから要求があった場合にのみ表示でき、状態検出手段の検出結果を表示することによって表示画面が繁雑になるという問題を抑えられる効果がある。
【０１６９】
［第５の実施の形態］
この第５の実施の形態の情報蓄積再生装置も、図１に示したものと基本的に同一の構成を有するが、ユーザ入力情報の入力時点で状態検出部２４で検出する周囲状況を示す情報あるいは発生する事象が、第１の実施の形態、第２の実施の形態、第３の実施の形態または第５の実施の形態とは異なる。他は、前述の各実施の形態と同様である。
【０１７０】
この第５の実施の形態では、状態検出部２４は、入力される音声信号の中に予め登録されたキーワードが出現したことを検出する。この場合、状態検出部２４に、予め、「宿題」「アクションアイテム」「課題」「結論」「決定」「重要」「まとめ」などのキーワードを登録しておく。
【０１７１】
そして、状態検出部２４では、入力された音声信号を音声認識処理により順次文字列情報に変換し、形態素解析をするなどして、その文字列情報から語句を抽出し、この抽出した語句を、予め登録しておいた文字列キーワードと比較し、キーワードを検出する。図２３は、この例の場合の状態検出部２４の処理のフローチャートである。
【０１７２】
状態検出部２４は、ステップＳ１９１で、ユーザ入力情報検出部２１からのユーザ入力情報の入力検出情報（第１の実施の形態の場合であれば、ペン筆跡入力時点）の取得を確認すると、ステップＳ１９２で、このペン筆跡入力時点によって特定される発言開始点から、そのユーザ入力情報の入力時刻までの音声信号の中に、予め登録されていた文字列キーワードのいずれかが出現したかどうかを調べる。この場合、ユーザ入力情報の入力時刻によって特定される発言開始点は、第１の実施の形態で図６を用いて説明したように、ユーザ入力時点の直前の発言開始点でもよいし、あるいはユーザにより指定された幾つか前の発言開始点であってもよい。
【０１７３】
そして、ステップＳ１９３で、キーワード検出の結果、予め登録されていた文字列キーワードのいずれかが出現したことが検出された場合には、ステップＳ１９４に進み、検出したキーワードの情報を表示部２５と、第２記憶部２３に供給すると共に、第１記憶部２２に、前記特定された発言開始点を供給する。
【０１７４】
ステップＳ１９３で、キーワード検出の結果、予め登録されていた文字列キーワードを検出できなかったときには、ステップＳ１９５に進み、検出できなかった旨を表示部２５と、第２記憶部２３に供給する。状態検出部２４は、以上の処理を、ユーザ入力の検出情報が到来するごとに行う。
【０１７５】
図２４は、この例の表示部２５の処理のフローチャートである。すなわち、ステップＳ２０１でユーザ入力情報検出部２１からのユーザ入力検出情報を取得した判別すると、ステップＳ２０２に進み、そのユーザ入力情報、例えばペン筆跡情報によるペン軌跡Ｐａを、表示画面１１に表示する。
【０１７６】
ステップＳ２０２の次は、ステップＳ２０３に進み、状態検出部２４で登録キーワードを検出したかどうか、つまり、キーワードの情報を取得したか、あるいはキーワード非検出の情報を取得したかを判別する。そして、ステップＳ２０３で、キーワードの情報を取得したときには、ステップＳ２０４に進み、そのキーワードを、ユーザ入力情報の表示位置によって特定される表示位置、この例では、表示されたペン軌跡の表示位置の右隣りに表示する。
【０１７７】
また、ステップＳ２０３で、キーワード非検出の情報を取得したときには、キーワードは表示されず、ステップＳ２０１に戻る。この場合、非検出を示すマークを表示するようにしてもよい。
【０１７８】
表示画面１１には、キーワードの文字列以外にも、そのキーワードが出現したことを示すマークを表示してもよい。また、単位時間あたりにある一定回数以上出現したキーワードのみを表示するようにしてもよい。
【０１７９】
また、状態検出部２４で、音声キーワードを検出する代わりに、予め登録した特定の音声パターンを検出するようにしてもよい。すなわち、例えば、音声認識によってキーワードを検出することが困難な場合にでも、笑い声のパターン、拍手のパターン、活発な対話のパターンなどの特徴的な音声信号パターンであれば、公知のパターン認識技術（例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術など）を用いて、認識できる場合がある。
【０１８０】
例えば、１人の発話者が発言を終了してから、他の発話者が発言を開始するまでの時間が短いほど、活発な対話が行なわれていることが判断できる。これらの特徴的な音声信号のパターンを予め登録しておき、順次入力される音声信号から抽出される音声信号のパターンと比較する。パターン認識の認識率を上げるために、発話者ごとに、音声パターンを登録しておいてもよい。
【０１８１】
この例の場合には、ユーザ入力情報検出部２１によってユーザ入力情報の入力が検出されると、そのユーザ入力情報の入力時刻によって特定される発言開始点から、そのユーザ入力情報の入力時刻までの音声信号の中に、予め登録されていた音声パターンのいずれかが出現したかどうかが調べられる。予め登録されていた音声パターンのいずれかが出現したことが検出された場合には、その音声パターンが出現したことを示す文字列やマークを、ユーザ入力情報の表示位置によって特定される表示位置に表示する。
【０１８２】
図２５は、この第４の実施の形態の場合の表示画面１１の表示例である。図２５Ａは、音声信号中に「まとめ」というキーワードが検出された場合である。また、図２５Ｂは、音声信号中に、「笑い」の音声パターンが検出された場合である。
【０１８３】
この第５の実施の形態によれば、入力される音声信号の中に、予め登録したキーワードまたは音声パターンが出現したことを、状態検出部２４によって検出するように構成したので、音声信号の中に出現したキーワードまたは音声パターンを表示することができ、その表示を手掛かりに音声信号または画像信号を検索できる効果がある。
【０１８４】
［第６の実施の形態］
前述の第５の実施の形態は、状態検出部２４で、音声信号中に、予め登録されたキーワード文字列や音声パターンが出現したことを検出するようにしたが、この第６の実施の形態では、状態検出部２４で、入力される画像信号の中に予め登録された文字列キーワードが出現したことを検出するようにする。
【０１８５】
この第６の実施の形態では、状態検出部２４は、例えば、ホワイトボードなどに書かれた文字を、画像認識処理により順次文字列情報に変換し、その文字列情報から語句を抽出し、この抽出した語句を、「宿題」「アクションアイテム」「課題」「結論」「決定」「重要」「まとめ」などの予め登録しておいた文字列キーワードと比較して、いずれかのキーワードが検出するようにする。
【０１８６】
コンピュータからの出力を表示する電子ホワイトボードのように、表示される画像信号がコンピュータからの出力である場合には、コンピュータから入力される情報（文字コード情報など）を入力画像信号としてもよい。
【０１８７】
そして、この例の場合には、ユーザ入力情報検出部２１によってユーザ入力情報の入力が検出されると、状態検出部２４によって、抽出された語句が、予め登録されていた文字列キーワードのいずれかと一致したかどうかが調べられ、一致した場合には、その文字列キーワードがユーザ入力情報の表示位置によって特定される表示位置に表示される。
【０１８８】
ただし、この例の場合、各キーワード文字列毎に、そのキーワード文字列が検出された時から、どれだけの時間、その検出結果が有効かを決めるキーワード有効期間が、状態検出部２４に記憶されている図２６Ａに示すようなテーブルに設定されており、有効期間内にユーザ入力情報が入力されなかった場合には、状態検出部２４は、キーワードの出力を表示部２５および第２記憶部２３には供給せず、表示画面１１には、そのキーワードは表示されない。
【０１８９】
なお、表示画面１１には、文字列キーワード以外にも、そのキーワードが出現したことを示すマークを表示してもよい。また、単位時間あたりにある一定回数以上出現したキーワードのみを表示するようにしてもよい。
【０１９０】
また、状態検出部２４で、画像信号中に、文字列キーワードを検出する代わりに、画像信号の中に、予め登録した特定の状態を検出するようにしてもよい。すなわち、例えば、画像認識によって文字列キーワードを検出することが困難な場合にでも、入力される画像信号から、動き、輝度変化、色分布変化などの状態を検出できる場合がある。
【０１９１】
たとえば、ホワイトボードや書画映像などを記録している際中に、加筆やページ切り替えがあったことを認識することは、特開平４−２８６２９３号公報に記載されているように、公知のフレーム間差分検出技術によって可能である。また、会議室の様子を記録しているとき、ＯＨＰが点灯したことや、プロジェクタが点灯したことなどを認識するには、輝度変化等を検出することで可能である。これらの画像信号の状態のパターンを予め登録しておき、順次入力される画像信号から抽出される画像信号の状態と比較する。
【０１９２】
すなわち、この例の場合には、ユーザ入力情報検出部２１によってユーザ入力情報の入力が検出されると、状態検出部２３によって、抽出された画像信号パターンが、予め登録されていた画像信号パターンのいずれかと一致したかどうかが調べられ、一致した場合には、その画像信号パターンが出現したことを示すマークがユーザ入力情報の表示位置によって特定される表示位置に表示される。
【０１９３】
ただし、この例の場合も、前記特定の状態を示す各画像信号パターンを登録すると共に、その画像信号パターン毎に、その画像信号パターンが検出された時からどれだけの時間その検出結果が有効かを決めるパターン有効期間が、状態検出部２４に記憶されている図２６Ｂに示すようなテーブルに設定されており、有効期間内にユーザ入力情報が入力されなかった場合には、その画像信号パターンが出現したことを示すマークは表示されない。
【０１９４】
［第７の実施の形態］
この第７の実施の形態では、状態検出部２４は、カメラワーク（カメラ操作）またはカメラワークの変化を検出する。その他の構成は、第１〜第４の実施の形態の場合と同様である。
【０１９５】
たとえば、人物をズームアップで撮影しているような場合には、重要な画像を撮っていることが多く、カメラがズームインしている期間の音声信号または画像信号を高音質／高画質で記憶したい場合が多い。
【０１９６】
そこで、この第７の実施の形態では、状態検出部２４では、カメラからの画像信号から検出されるパンニング、チルティング、ズーミング、ブーミング、トリミング、ドリーイング、カット開始、カット終了などのカメラワークを検出する。このカメラワークの検出方法としては、入力される画像信号を画像認識して検出する方法、特開平６−１６５００９号公報や特開平６−２４５７５４号公報に記載されているように、カメラ操作に使用したボタンなどの操作信号を検出する方法を用いることができる。
【０１９７】
以下に説明する例では、カメラ操作部に取り付けられたボタンの操作をセンサによって検出する場合について説明する。この場合、状態検出部２４は外部センサからの入力信号の状態を検出する。
【０１９８】
この実施の形態では、外部センサを用いるので、音声信号または画像信号からの状態の検出が困難な事象が起きた場合や、入力される音声または画像信号に含まれない情報に、目的の特定の状態が起きた場合を検出するために有効である。
【０１９９】
もっとも、カメラに備わっているオートフォーカスなどのセンサ機能を利用して、被写体の位置（被写体までの距離など）や特徴（被写体の移動速度など）を検出し、その検出結果を利用してもよい。
【０２００】
図２７は、この例の場合の状態検出部２４の処理のフローチャートである。
【０２０１】
状態検出部２４は、ステップＳ２１１で、ユーザ入力情報検出部２１からのユーザ入力情報の入力検出情報（第１の実施の形態の場合であれば、ペン筆跡入力時点）の取得を確認すると、ステップＳ２１２で、このペン筆跡入力時点によって特定される発言開始点から、そのユーザ入力情報の入力時刻までの間において、検出されたカメラ操作として、予め登録されていたカメラ操作のいずれかが出現したかどうかを調べる。この場合、ユーザ入力情報の入力時刻によって特定される発言開始点は、第１の実施の形態で図６を用いて説明したように、ユーザ入力時点の直前の発言開始点でもよいし、あるいはユーザにより指定された幾つか前の発言開始点であってもよい。
【０２０２】
そして、ステップＳ２１２での探査の結果を用いて、ステップＳ２１３で、予め登録されていたカメラ操作のいずれかが出現したことが検出された場合には、ステップＳ２１４に進み、検出したカメラワークを示す文字列、例えば、「パンニング」、「チルティング」、「ズーミング」、「ブーミング」、「トリミング」、「ドリーイング」、「カット開始」、「カット終了」などのカメラワークを特定する文字列の情報を表示部２５と、第２記憶部２３に供給すると共に、第１記憶部２２に、前記特定された発言開始点を供給する。
【０２０３】
ステップＳ２１３で、検出の結果、予め登録されていたカメラワークを検出できなかったときには、ステップＳ２１５に進み、検出できなかった旨を表示部２５と、第２記憶部２３に供給する。状態検出部２４は、以上の処理を、ユーザ入力の検出情報が到来するごとに行う。
【０２０４】
図２８は、この例の表示部２５の処理のフローチャートである。すなわち、ステップＳ２２１でユーザ入力情報検出部２１からのユーザ入力検出情報を取得したと判別すると、ステップＳ２２２に進み、そのユーザ入力情報、例えばペン筆跡情報によるペン軌跡Ｐａを、表示画面１１に表示する。
【０２０５】
ステップＳ２２２の次は、ステップＳ２２３に進み、状態検出部２４で登録されたカメラ操作を検出したかどうか、つまり、登録されたカメラワークの文字列の情報を取得したか、あるいは登録されたカメラワーク非検出の情報を取得したかを判別する。そして、ステップＳ２２３で、登録されたカメラワークの文字列の情報を取得したときには、ステップＳ２２４に進み、その文字列を、ユーザ入力情報の表示位置によって特定される表示位置、この例では、表示されたペン軌跡の表示位置の右隣りに表示する。
【０２０６】
また、ステップＳ２２３で、カメラワーク非検出の情報を取得したときには、カメラワークは表示されず、ステップＳ２２１に戻る。この場合、非検出を示すマークを表示するようにしてもよい。
【０２０７】
表示画面１１には、カメラワークの文字列以外にも、そのカメラワークが出現したことを示すマークを表示してもよい。
【０２０８】
図２９は、この第７の実施の形態の表示画面１１の例である。この表示例では、ユーザ入力情報検出部２１によってユーザ入力情報の入力が検出されたときの、カメラのズーム倍率を表示した例である。
【０２０９】
この第７の実施の形態によれば、カメラワークを示す語句を表示画面１１に表示することで、表示されているユーザ入力情報に対応して記憶されている画像情報が、検索者が必要とする映像素材かどうかがわかりやすいという利点がある。
【０２１０】
［第８の実施の形態］
この第８の実施の形態では、状態検出部２４は、センサからの信号を検出するようにする。その他の構成は、前述した第１〜第４の実施の形態の場合と同様である。
【０２１１】
この例の場合には、センサからの信号を検出するように構成することにより、入力される音声または画像信号からは検出できない事象でも、その事象を示す情報を表示部に表示することができ、その表示を手がかりに音声または画像信号を検索できるものである。
【０２１２】
この第８の実施の形態において、以下に説明する例においては、センサは、ユーザ入力情報が入力された場所を検出する。ユーザがデータ入力を行った場所を検出し、ユーザ入力情報の表示位置によって特定される位置に、その場所を示す情報を表示することで、ユーザがデータ入力を行った場所を手がかりとして音声または画像信号を検索できる。
【０２１３】
例えば、ユーザ入力情報を入力した場所（あるいは音声または画像信号を入力した場所）がある会議室である例について説明する。
【０２１４】
この場合の状態検出部２４は、次のように構成できる。どの会議室において入力が行われたかという情報は、例えば人工衛星を用いたＧＰＳなどの位置測定装置から出力される位置情報を解析することにより得られる。ＧＰＳを用いた場合には、ユーザ入力情報が入力された緯度／経度を測定し、その情報と、各会議室が存在する緯度／経度とを比較することによって特定できる。
【０２１５】
また、状態検出部２４の構成は、ＧＰＳを用いる構成以外にも、会議室や廊下などの任意の場所に、場所に固有のビットパターンを発信する赤外線送受信機を設置するという、特開平７−１４１３８９号公報記載の赤外線送受信機を用いる構成とすることもできる。その場合には、ユーザ入力情報が入力された時に、近くの赤外線送信機が発信するビットパターンを受信し、そのパターンから会議室名などを識別し、ユーザ入力情報の表示位置によって特定される位置にその場所を示す情報を表示する。もちろん、赤外線送信機の代わりに微弱無線送信機を用いてもよい。
【０２１６】
この例の場合の表示部２５の処理動作は、前述の実施の形態、例えば第７の実施の形態と同様であるので、省略する。
【０２１７】
ＧＰＳを用いれば、屋外でも自分の位置情報を得られるので、例えば、この実施の形態の情報蓄積再生装置を、旅の記録を、ビデオカメラと、いわゆるペンコンピュータを用いた電子手書きメモとで記録する装置の構成とすることができる。この場合に、ペンコンピュータの画面の手書きメモの表示位置によって特定される位置に、その場所を示す情報が表示されるので、画面に表示されている手書きメモと場所とを手がかりとして旅の記録画像を検索することができる。
【０２１８】
以上の例では、センサが場所を検出する場合について説明したが、センサとしては、
ユーザ入力情報が検出された時刻を特定する情報を検出するセンサ、
ユーザ入力情報を入力した人を特定する情報を検出するセンサ、
ユーザ入力情報を入力した装置（マウス、ペン、キーボード、ボタンなどの種別）を特定する情報、または、音声または画像信号入力した装置（ビデオカメラ、マイク、デジタルスチルカメラなどの種別）を検出するセンサ
であってもよい。
【０２１９】
また、単に物理的な時刻、場所、人名、装置名だけでなく、「ある会議に出席していた」、「ある人と一緒にいた」など、複数のセンサの検出結果を組み合せて得られる事象を、ユーザ入力情報の表示位置によって特定される位置に表示するようにしてもよい。
【０２２０】
［第９の実施の形態］
以上の実施の形態では、入力される全ての音声信号または画像信号を第１記憶部２２に記録する構成になっている。しかしながら、順次入力される音声信号または画像信号などのマルチメディア情報を記録するのに必要な記憶容量は、膨大な量になることが広く知られており、限られた記録容量の中に長時間の入力音声信号または画像信号を記録することは困難であるという問題がある。
【０２２１】
この第９の実施の形態の情報蓄積再生装置では、マルチメディア情報についての情報圧縮手段を備え、限られた記録容量の中に長時間のマルチメディア情報を記録できるように工夫している。
【０２２２】
この第９の実施の形態においては、音声情報は、第１の実施の形態と同様に、圧縮せずに記憶するが、画像情報は、圧縮して記憶する。ただし、予め設定されている所定の条件を満足する区間の画像情報は、高品質で記憶するように圧縮率は低くあるいは圧縮せずに記憶し、その他の区間の画像情報は、高圧縮率で記憶するようにする。
【０２２３】
この例の場合、圧縮状態を変える所定の条件の一つは、ユーザ入力情報の存在であり、所定の条件の他の一つは、ユーザ入力時点の近傍時点における、音声情報や画像情報についての前述したような状態変化の検出、カメラワーク、外部センサの検出出力などである。
【０２２４】
そして、この実施の形態では、ユーザ入力情報と共に、画像情報の圧縮状態を表示画面に表示する。すなわち、画像情報の圧縮状態を、ユーザ入力時点近傍における周囲の状況あるいは事象として、ユーザ入力情報と共に表示するものである。
【０２２５】
図３０は、この第９の実施の形態の情報蓄積再生装置を、その機能を中心として示したブロック図である。図１に示した第１の実施の形態の場合の機能ブロック図と、次の点が異なる。
【０２２６】
まず、圧縮部２９が設けられる点である。そして、状態検出部２４の代わりに条件一致区間検出部３５が設けられることである。さらに、第３の記憶部３６が設けられる点である。その他の構成は、図１に示した実施の形態の場合と同様である。
【０２２７】
この第９の実施の形態の条件一致区間検出部３５は、前述した状態検出部２４と同等の構成要素であるが、この実施の形態では、画像情報の圧縮状態を変える区間を検出するものであり、しかも、前述の実施の形態のように、その検出結果を、ユーザ入力情報の入力時点近傍の周囲状況や発生事象として表示するものではないので、前述の第１〜第８の実施の形態の状態検出部２４とは、区別するために、条件一致区間検出部３５とした。
【０２２８】
この条件一致区間検出部３５は、これに入力される音声信号または画像信号を監視して、予め定められている条件に合致する音声信号区間あるいは画像信号区間を検出する。
【０２２９】
この実施の形態では、所定レベル以上の音声信号の有無を条件として条件一致区間を検出する。これにより、会議参加者の発言の開始点から終了点間での区間を条件一致区間として検出するようにする。
【０２３０】
この場合、その検出方法としては、図３１にように、条件一致区間検出部３５は、入力される音声レベルが所定のレベル以上になったことを検知して話者の発言の開始点を認識し、音声レベルが所定の閾値レベル以下になったことを検知して話者の発言の終了点を認識する検出機能を持つ。
【０２３１】
ただし、図３１に示すように、音声レベルが閾値レベルと交差する音声レベル変化点Ｆ１０１そのものを、発言の開始点／終了点とすると、発言の最初部分と最後部分が記録できないので、音声レベルが小レベルから大レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ１だけ前の時点Ｆ１００を発言開始点とし、また、音声信号レベルが大レベルから小レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ２後の時点Ｆ１０２を発言終了点とする。
【０２３２】
なお、この実施の形態においても、ある時刻における音声レベルとは、その時刻の前後の音声レベルを平滑化した値であり、例えば、前後の２秒間の瞬間音声レベルの平均値である。
【０２３３】
そして、この実施の形態においては、条件一致区間検出部３５では、画像信号については、条件は定めず、この条件一致区間検出部３５を画像情報はそのまま通過して、一時記憶部としての第３記憶部３６に送られる。
【０２３４】
なお、音声情報は、この例では、圧縮しないで記憶する。このため、前述の実施の形態の場合と同様に、圧縮部２９を経由せずに、第１記憶部２２に供給されて記憶される。
【０２３５】
図３２は、条件一致区間検出部３５の動作を説明するフローチャートである。すなわち、前述した条件一致区間検出処理は、ステップＳ２４１において実行され、話者の発言開始点または終了点が検出された場合には、ステップＳ２４２において、その検出結果を第３記憶部３６と圧縮部２９に出力する。
【０２３６】
第３記憶部３６は、例えば半導体メモリや磁気ディスク等で構成され、この実施の形態では、画像情報を、第１記憶部２２に記憶するに先立ち、一時記憶すると共に、条件一致区間検出部３５により検出される条件一致区間の開始点および終了点の情報を、入力画像情報と対応付けて、一時記憶するものである。この第３記憶部３６は、ユーザ入力情報検出部２１からのユーザ入力検出出力を受けて、後述するように、一時記憶している画像情報を、この例では、圧縮部２９を通じて第１記憶部２２に送る。
【０２３７】
第３記憶部３６は、図３３に示すように、リングバッファ形式に構成され、順次入力される画像情報と条件一致区間検出部３５の検出結果である発言開始点および発言終了点の情報とを、書き込みアドレスを制御することによりリング状に取り込み続けながら、古い情報を新しい情報によって上書きしていく仕組みになっている。
【０２３８】
なお、この種の記録方法としては他にも、待ち行列方式、ＦＩＦＯ方式等の公知の方法が適用できる。また、図３３の例の場合のリングバッファのメモリ数は１６個であるが、もちろんメモリ数に制限はなく、１個のメモリの中に収容できる画像フレーム数（データ記憶容量）にも制限はない。
【０２３９】
図３３において、最古データアドレスＦ２００は、第３記憶部３６に記憶されている画像の中で最も古い画像が格納されているメモリを指すポインタであり、最新データアドレスＦ２０１は、第３記憶部３６に最も新しく入力された画像を格納しているメモリを指すポインタである。
【０２４０】
また、発言開始点Ｆ２０２およびＦ２０４と発言終了点Ｆ２０３は、条件一致区間検出部３５の検出結果を第３記憶部３６に記憶したものである。
【０２４１】
なお、発言開始点および発言終了点を示す情報は、この例のように、リングバッファのメモリ中に格納されてもよいし、別のメモリを用意してその中に格納されてもよい。
【０２４２】
圧縮部２９は、この実施の形態においては、画像情報のデータ圧縮を行う。この場合、圧縮部２９は、第３記憶部からの条件一致区間を示す情報に基づいて、データ圧縮量を動的に可変にできるように構成されている。
【０２４３】
この実施の形態においては、圧縮部２９は、動画の画像情報を想定して、この動画の画像情報を所定時間長または所定フレーム数を一つの処理単位として扱う。例えば連続した１０フレームを１つの単位部分画像列として圧縮処理を行うが、検出された条件一致区間以外の区間の画像情報は、前記１０フレームのなかの先頭の１フレームだけを残して、他のフレームの情報を破棄するという間引き圧縮処理を行い、一方、検出された条件一致区間では、画像情報についての前記の間引き圧縮処理を行わず、前記１０フレーム全部を記憶するようにする。
【０２４４】
したがって、条件一致区間以外の区間の画像情報を再生した場合、いわゆる駒落しであって、動きがぎごちない動画となるが、情報量は非常に少なくなる。一方、条件一致区間の画像情報を再生した場合、スムースな動きの高品質の動画が再生されることになる。
【０２４５】
なお、間引き圧縮処理ではなく、各フレームの画像データについて、所定の圧縮処理、例えばベクトル量子化等を用いて圧縮するようにしてもよい。
【０２４６】
また、この第９の実施の形態では、ユーザ入力情報検出部２１で検出するユーザ入力情報は、タブレットから入力されるペン筆跡情報とし、表示画面１１に表示されるユーザ入力情報はペン軌跡として、以下説明する。
【０２４７】
図３４は、この第９の実施の形態の記録時の動作を、その際の各種情報の流れ、各部の出力の流れと共に説明する図である。
【０２４８】
マイクロホンからの音声情報およびビデオカメラからの画像信号が、条件一致区間検出部３５に入力されると、画像信号は第３記憶部３６に入力されて一時記憶され、音声信号は第１記憶部２２に記憶される。この実施の形態においては、音声情報は圧縮されないため、直接、第１記憶部２２に入力される。
【０２４９】
そして、条件一致区間検出部３５は、前述したように、マイクロホンからの音声情報の音声レベルと所定の閾値レベルとを比較して、会議出席者の発言開始点と発言終了点とを検出する。検出した発言開始点および発言終了点の情報は、第３記憶部３６および圧縮部２９に供給される。
【０２５０】
前述したように、第３記憶部３６は、第１記憶部２２に記憶する画像情報を一時記憶し、条件一致区間検出部３５で検出した発言開始点および発言終了点の区間は、この例では圧縮せずに高画質で、他の区間は間引き圧縮して、第１記憶部２２に記憶させるようにする。
【０２５１】
ところで、入力される画像信号を圧縮せずに第３記憶部３６に順次記憶すると、第３記憶部３６からまとめて出力した画像列を圧縮部２９によって圧縮する際に長時間かかることがある。その場合には、圧縮中にカメラから新たに取り込まれた画像信号とユーザ入力情報検出部２１から取り込まれた検出結果とを一時記憶するためのバッファメモリを多大に用意しなければならない。
【０２５２】
そこで、この第９の実施の形態では、第３記憶部３６は、同一時間に入力された入力画像の、圧縮を施さない画像情報と、圧縮を施した画像情報とを併せて記憶する構造になっている。
【０２５３】
例えば、一つの処理単位として扱うフレーム数を１０フレームとすると、その１０フレームの画像列が入力された場合に、圧縮されないそのままの１０フレーム全部の画像列と、圧縮部２９により、前述したように、１／１０の情報量に間引き圧縮された１フレームの画像とが第３記憶部３６に併せて記憶される。すなわち、入力された１０フレーム単位の画像列を、第３記憶部３６から、その都度、圧縮部２９に送って、前述のように間引き圧縮をした後、圧縮部２９から第３記憶部３６に戻して記憶する。
【０２５４】
そして、条件一致区間検出部３５で検出した発言開始点および発言終了点の区間は、圧縮されていない高画質画像情報を、第３記憶部３６から第１記憶部２２に転送する。この例では、ペン筆跡入力時点に最も近い、このペン筆跡入力時点以前の発言開始点から、ペン筆跡入力時点に最も近い、このペン筆跡入力時点以後の発言終了点までの非圧縮画像情報を、高画質画像情報として第３記憶部３６から第１記憶部２２に転送する。
【０２５５】
なお、ペン筆跡入力時点に最も近い、このペン筆跡入力時点以前の発言開始点ではなく、ペン筆跡入力時点から所定数前の発言開始点を、高画質記録区間の先頭としてもよい。同様に、発言終了点も、ペン筆跡入力時点から所定数後の発言終了点とするようにしてもよい。そして、幾つ前の発言開始点とするか、あるいは幾つ後の発言終了点とするかを、ユーザが選択することができるようにしてもよい。
【０２５６】
条件一致区間検出部３５で検出した発言開始点および発言終了点の区間以外は、１０フレーム単位の画像情報が間引き圧縮されて１フレームとされた圧縮画像情報が選択されて、第３記憶部３６から第１記憶部２２に転送される。
【０２５７】
第３記憶部３６は、また、条件一致区間検出部３５が検出した、発言開始点および発言終了点を示す情報を併せて記憶する。
【０２５８】
この第９の実施の形態の構成によると、圧縮部２９は１０フレーム単位で圧縮すればよく、一度に大量の画像列を圧縮する必要がなくなるので、前述のようなバッファメモリを備えなくともよい。また、第３記憶部３６から第１記憶部２２に、画像情報を転送する際に、圧縮部２９を通って、圧縮処理をする必要はなく、圧縮画像情報は、第３記憶部３６から第１記憶部２２に直接的に転送することができる。
【０２５９】
図３５〜図３７と図３８は、条件一致区間検出部３５の検出結果に基づいて入力される画像信号を圧縮しながら第３記憶部３６に順次記憶してゆく場合の、第３記憶部３６と圧縮部２９の動作を説明したフローチャートである。
【０２６０】
このフローチャートにおいて、フラグが「１」のときにはユーザ入力が検出済みであることを示し、フラグが「０」であるときにはユーザ入力が未検出であることを示している。
【０２６１】
まず、ステップＳ１０００において、フラグが「０」にリセットされる。次に、単位時間あたりに入力された画像列、例えば１０フレーム単位の画像列は、ステップＳ１００１で受け入れられ、ステップＳ１００２でユーザ入力情報検出部２１からの検出出力の入力があるか否か判別する。そして、ユーザ入力情報が検出されたときには、ステップＳ１０１０に進んで、フラグを「１」にセットし、ステップＳ１００３に進む。ユーザ入力情報が検出されないときには、フラグは「０」のままステップＳ１００３に進む。
【０２６２】
そして、ステップＳ１００３で、リングバッファにおいて、最新データが最古データを上書きしないと判別したときには、ステップＳ１００４に進んで、入力された１０フレームの非圧縮画像列を第３記憶部３６の最新データアドレスの指し示すメモリ位置に記憶し、ステップＳ１００５に進む。次に、ステップＳ１００５で、入力された１０フレームの画像列を圧縮部２９に出力し、ステップＳ１００６に進んで、圧縮部２９の処理終了を待つ。
【０２６３】
圧縮部２９は、この画像列を間引き圧縮して、１フレームの圧縮画像に変換した後、その圧縮画像を第３記憶部３６に戻すので、ステップＳ１００７で第３記憶部３６は、当該圧縮された画像情報を、ステップＳ１００４で記憶された１０フレームの非圧縮画像列の、次のメモリ位置に記憶する。
【０２６４】
図３３を用いて、ステップＳ１００４からステップＳ１００７までの処理について説明する。ステップＳ１００４で第３記憶部３６に記憶された１０フレームの非圧縮画像列が、最新データアドレスＦ２０１で指し示されるメモリａ９に記憶されたとすると、圧縮部２９によって間引き圧縮された１フレームの圧縮画像は、ステップＳ１００７において、１０フレームの非圧縮画像列の次のメモリａ１０に記憶される。ここで、メモリａ９とメモリａ１０の記憶容量は同一ではなく、メモリａ９がメモリａ１０の１０倍の記憶容量を持つ。
【０２６５】
ステップＳ１００７の後、ステップＳ１００８では、条件一致区間検出部３５からの、発言開始点または発言終了点を示す情報の入力があるか否か判別し、発言開始点または発言終了点を示す情報の入力があった場合には、ステップＳ１００８からステップＳ１０１３に進み、条件一致区間検出部３５からの情報は発言開始点か、あるいは発言終了点かの種類を判別する。
【０２６６】
そして、音声レベルが所定レベル以上に変化する発言開始点であれば、ステップＳ１０１４に進み、発言開始点マークを最新データアドレスの指し示すメモリ位置に記録し、その後、ステップＳ１００９に進む。
【０２６７】
また、ステップＳ１０１３の判別の結果、音声レベルが所定レベル以下に変化する発言終了点であれば、ステップＳ１０１５に進み、発言終了点マークを最新データアドレスの指し示すメモリ位置に記録する。このステップＳ１０１５の後、ステップＳ１０１６に進み、フラグが「１」にセットされているか否か判別し、「１」にセットされていなければ、ステップＳ１００９に進む。
【０２６８】
また、ステップＳ１０１６での判別の結果、フラグが「１」にセットされているときには、すなわち、ユーザ入力情報が検出済みであった場合には、ステップＳ１０１７に進んで、第３記憶部３６に記憶されていた画像列のうち、ユーザ入力情報の検出時点よりも前の発言開始点の画像フレームから発言終了点の画像フレームまでの画像列を第１記憶部２２に出力する。そして、ステップＳ１０１８に進み、第３記憶部３６は、最古データアドレスを最新データアドレスと同じにすることによって、第３記憶部３６をクリアする。そして、ステップＳ１０１９に進んで、フラグを「０」に戻し、その後、ステップＳ１００１に戻る。
【０２６９】
ステップＳ１００８で、条件一致区間検出部３５からの検出出力がないと判別されたときには、ステップＳ１００９に進む。ステップＳ１００９では、記憶したデータ量に応じて最新データアドレスを進める。そして、ステップＳ１００１に戻る。
【０２７０】
図３３を用いて、ステップＳ１００９の処理について説明する。画像情報の入力がない時点で、最新データアドレスがメモリａ９を指し示していたとすると、ステップＳ１００４で１０フレームの非圧縮画像列をメモリａ９に記憶し、ステップＳ１００７で１フレームの圧縮画像をメモリａ１０に記憶した場合には、ステップＳ１００９によって、最新データアドレスはメモリａ１１に進められることになる。
【０２７１】
ステップＳ１００２で、ユーザ入力情報検出部２１によってペン筆跡情報の入力が検出されないままで、ステップＳ１００３で、第３記憶部３６から消去されるタイミング（最新データが最古データを上書きするタイミングである）がめぐってきた場合には、ステップＳ１０１１で、予め定めた一定量の画像情報の中の、間引き圧縮された圧縮画像だけが、第１記憶部２２に出力される。すなわち、前記予め定めた一定量の画像情報の中の、非圧縮画像列は、第１記憶部２２に出力されないまま、破棄される。その後、ステップＳ１０１２に進んで、最古データアドレスを、前記予め定めた一定量分だけ進める。その後、ステップＳ１００４に進み、前述したような処理を繰り返す。
【０２７２】
以上の実施の形態では、非圧縮画像列と、圧縮部２９によって圧縮された圧縮画像列とを、同一記憶部内の隣接したメモリ位置に記憶する場合について説明したが、この例に限られず、例えば、非圧縮画像列と圧縮された画像列とを、別々の一時記憶部に格納するようにしてもよい。この場合、条件一致区間検出部３５からの、発言開始点または発言終了点を示す情報は、それぞれの一時記憶部に入力される。
【０２７３】
また、順次入力される画像情報を、常に圧縮しながら第３記憶部３６に記憶すると同時に、圧縮しない非圧縮画像列を直接第１記憶部２２に記憶するように構成し、ユーザ入力情報検出部２１によってペン筆跡情報の入力が検出されたときには、第１記憶部２２に記憶されていた非圧縮画像列はそのまま第１記憶部２２に残し、第３記憶部３６に記憶されていた圧縮画像列は第３記憶部３６から消去するようにしてもよい。
【０２７４】
この場合、ユーザ入力情報検出器部２１によってペン筆跡情報の入力が検出されないまま、第３記憶部３６から圧縮画像列が消去されるタイミングがめぐってきたときには、その消去される圧縮画像列が記憶された時刻と同時刻に第１記憶部２２に記憶された非圧縮画像列を、前記消去されるタイミングがめぐってきた圧縮画像列によって上書きするようにする。このように構成することで、第３記憶部３６から第１記憶部２２に大量の画像情報をコピーする必要がなくなる。
【０２７５】
さらに、順次入力される画像情報を、圧縮せずに第３記憶部３６にそのまま記憶すると同時に、常に間引き圧縮した圧縮画像列を第１記憶部２２に記憶するように構成し、ユーザ入力情報検出部２１によってペン筆跡情報の入力が検出されたときには、第１記憶部２２に記憶されていた圧縮画像列を、第３記憶部３６に記憶されていた非圧縮画像列によって上書きするようにしてもよい。
【０２７６】
この場合、ユーザ入力情報検出器部２１によってペン筆跡情報の入力が検出されないまま、第３記憶部３６から非圧縮画像列が消去されるタイミングがめぐってきたときには、第１記憶部２２に記憶されていた圧縮画像列はそのまま残し、前記消去されるタイミングがめぐってきた非圧縮画像列を第３記憶部３６から消去するようにする。このように構成した場合にも、第３記憶部３６から第１記憶部２２に大量の画像情報をコピーする必要がなくなる。
【０２７７】
すなわち、同一時間に入力された入力画像の、圧縮を施さない画像情報と、圧縮を施した画像情報とを併せて、同一記憶部または別々の記憶部に記憶する構成である場合は、いずれも、第９の実施の形態に含まれる。
【０２７８】
この第９の実施の形態の場合の圧縮部２９の動作は、図３７に示すようなものとなる。
【０２７９】
すなわち、まず、ステップＳ１１００において初期化を行い、圧縮点アドレスを、入力される画像情報列の先頭アドレスにする。そして、次のステップＳ１１０１では、入力画像列の圧縮が完了したか否か判別する。
【０２８０】
このステップＳ１１０１での判別の結果、圧縮が完了していなければ、ステップＳ１１０２に進み、圧縮が完了していれば、この圧縮処理を終了する。
【０２８１】
ステップＳ１１０２では、前述したフレーム間引き圧縮処理を行った後、ステップＳ１１０３に進む。ステップＳ１１０３では、圧縮が完了した部分画像列を第３記憶部２２に出力する。そして、ステップＳ１１０４に進み、圧縮点アドレスを圧縮したデータ量に応じて進める。このステップＳ１１０４の後はステップＳ１１０１に戻り、以上の処理ステップを繰り返す。
【０２８２】
以上のように、この第９の実施の形態の構成の場合には、ペン筆跡情報が入力されたタイミングに関わらず、圧縮処理を実行する必要があり、圧縮部２９は、圧縮した画像列を第３記憶部３６に対して出力する構成になっている。圧縮部２９は画像の間引き圧縮を行なった後、その圧縮画像を第３記憶部３６に書き込む（図３７のステップＳ１１０３）。
【０２８３】
図３８は、表示画面１１上のペン筆跡、入力音声レベル、第１記憶部２２のデータ記憶構造の対応関係を説明する図である。
【０２８４】
図３８の例は、音声入力レベルが閾値を超えている入力音声レベルを、条件一致区間検出部３５で検出した結果、発言開始点として時点ｔ１が、発言終了時点として時点ｔ２が検出され、これら時点ｔ１〜時点ｔ２の区間中にユーザ入力としてのペン筆跡入力が有った場合である。この場合、第１記憶部２２には、画像情報は、区間ｔ１〜ｔ２の画像情報が、アドレスａ１〜ａ２に記憶されるが、その画像情報は、間引き圧縮処理されず、高画質（１０フレーム／秒の動画）で記憶されている。
【０２８５】
一方、時点ｔ１より以前のアドレスａ０からアドレスａ１までに記憶されている画像情報および、時点ｔ２以降のアドレスａ２〜アドレスａ３までに記憶されている画像情報は、間引き圧縮されて、低画質（１フレーム／秒の間欠静止画像）で第１記憶部２２に記憶されている。
【０２８６】
このときの第２記憶部２３の記憶情報は、図３９に示すようなものであり、そのデータ記憶構造は、ペン筆跡情報と、表示部２５上の表示位置情報と、第１記憶部２２上の高画質画像データの記憶アドレスとからなる。
【０２８７】
そして、ユーザが入力したペン筆跡情報としては、ユーザ入力情報を一意に特定する識別子ＩＤと、ユーザ入力情報の種類を特定する情報とが記憶されており、表示画面１１上の表示位置情報としては、図３８の折れ線に対応して、３つのＸ−Ｙ座標、この例では、座標（２０、３０）、座標（３０、４０）、座標（６０、１０）と、座標情報の終端を表すｎｉｌとが記憶されており、第１記憶部２２上の高画質画像データの記憶アドレスとしては、話者の発言の開始点アドレスａ１と発言の終了点アドレスａ２とが記憶されている。
【０２８８】
話者の発言の開始点アドレスａ１と、発言の終了点アドレスａ２は、この間の区間が画像情報の圧縮状態は、非圧縮で高画質になっていることを示している。これらの記憶アドレスが、例えば「ｎｉｌ」であれば、条件一致区間検出部３５により、発言開始点および発言終了点が検出できず、ユーザ入力情報に対応して記憶される圧縮画像データであることを示している。
【０２８９】
もちろん、第２記憶部２３に記憶されるのは、ペン筆跡情報、表示座標、記憶アドレスそのものではなくそれらを特定する特定情報であってもよいし、第２記憶部２３のデータ記憶構造はテーブルの形式でなく、リスト構造などの他の記憶構造で構成されていてもよい。
【０２９０】
また、第２の記憶部２３には、高画質画像区間を示す発言開始点アドレスや発言終了点アドレス以外に、圧縮状態を示すための情報を記憶するようにしてもよい。
【０２９１】
なお、この実施の形態のように、ユーザ入力情報の種類を特定する情報を筆跡情報に含ませ、マルチプルラインなどを表現するまとまった座標点列を１つのペン筆跡情報として記憶させておけば、再生時にその座標点列のうちいずれかが指定されれば、その座標点列に対応するペン筆跡情報が特定できるようになり、同じ記憶アドレスから音声または画像を再生できるようになる。
【０２９２】
さらに、所定時間間隔内に連続入力された複数の座標点列を１つのペン筆跡情報として記憶させておけば、１行の文字列を１つのペン筆跡情報と見なすことができるため、文字列を構成する座標点列のうちいずれかが指定されれば、同じ記憶アドレスから音声または画像を再生できるようになり、便利である。
【０２９３】
次に、この第９の実施の形態の場合の表示部２５の処理について、図４０のフローチャートを参照して説明する。
【０２９４】
表示部２５は、ステップＳ３０１でユーザ入力情報検出部２１からのペン筆跡情報の到来を検知すると、ステップＳ３０２に進み、図４１に示すように、そのペン筆跡情報によるペン軌跡Ｐａを、表示画面１１に表示する。
【０２９５】
ステップ３０１の次は、ステップＳ３０３に進み、条件一致区間検出部３５で検出された発言開始点および発言終了点の情報を取得して、圧縮状態を判定する。そして、次のステップＳ３０４で、判定した圧縮状態を示す文字列を、ペン筆跡情報によるペン軌跡Ｐａの右隣りに表示する。
【０２９６】
この例の場合に、ステップＳ３０３で、発言開始点ｔ１および発言終了点ｔ２の情報が得られなかった旨の情報を検知したときには、間引き圧縮されて画像情報が記憶されていることを認識し、例えば、「間引き圧縮」の文字列を、ペン軌跡Ｐａの右隣りに表示する。
【０２９７】
一方、ステップＳ３０３で、発言開始点ｔ１および発言終了点ｔ２の情報が得られたときには、高画質で画像情報が記憶されていることを認識し、例えば、図４１に示すように、「フルモーション」の文字列を、ペン軌跡Ｐａの右隣りに表示する。そして、この例の場合には、発言開始点および発言終了点の情報から演算されて求められる高画質で画像情報が記憶区間の時間長を示す文字が、図４１に示すように表示される。
【０２９８】
以上のようにして、蓄積記憶されたデータは、次のようにして再生することができる。すなわち、表示画面１１に表示された複数個のペン筆跡情報の中の一つを、ユーザが、再生指示部２７により、例えばペンを用いて指定することにより、第１記憶部２２に記憶された音声または画像信号のうち、そのペン筆跡情報が入力された時点の前後に入力された音声および画像信号のみを部分的に再生することができる。
【０２９９】
この例の場合には、表示画面１１に動画像の記録時間が表示されているので、再生する時に、その場面を見るために（その時の記録を再生するために）どの位の時間が必要なのかをユーザが簡単に知ることができる。また、圧縮率を示す語句が表示されているので、検索者が必要とするメディアかどうかが簡単にわかるという利点がある。
【０３００】
圧縮状態として、この他にも、記憶時刻、圧縮率または間欠記録の時間間隔などを表示してもよい。また、圧縮状態の表示としては、第２の実施の形態のように、圧縮状態を示す文字列などは表示せずに、圧縮状態に応じてユーザ入力情報の表示書式を変えるようにしてもよい。
【０３０１】
また、この第９の実施の形態では、音声は圧縮されない場合について説明したが、画像信号同様に、音声も圧縮して記憶することが可能である。この場合には、テレビカメラとマイクロホンにより音声信号および画像信号が、この実施の形態の装置に入力されると、条件一致区間検出部３５の検出結果に基づいて圧縮され、第３記憶部３６に入力されて一時記憶される。
【０３０２】
その後、ユーザ入力情報検出部２１によってペン筆跡情報が入力されたことが検出されると、第３記憶部３６に一時記憶されていた音声信号および画像信号は第１記憶部２２に出力される。音声の圧縮方法としては、記憶時間、サンプリング周波数、符合化ビット数を変更するなどの公知の方法を適用できる。
【０３０３】
なお、この第９の実施の形態の場合にも、第３の実施の形態で説明した編集機能を持つように構成することが可能であることは言うまでもない。
【０３０４】
また、第４の実施の形態で説明したように、通常は、ユーザ入力情報に対応する音声または画像記憶部分の圧縮状態は、表示せず、ユーザから指示のあったユーザ入力情報についてのみ、圧縮状態を表示するようにすることもできる。その場合には、前述したように、第２記憶部２３に記憶されている記憶アドレスが、発言開始点および発言終了点に対応し、圧縮状態を示すことになるので、それを参照して、圧縮状態と、条件一致区間の時間長を表示するようにすることができる。
【０３０５】
また、条件一致区間検出部３５で検出する対象は、上述の実施の形態における発言区間に限られるものではなく、前述した第５〜第８の実施の形態で、状態検出部２４の検出対象としたものを、条件一致区間検出部で検出するように構成することが可能である。
【０３０６】
例えば、自動的に発話者を特定し、その特定された発話者に応じた圧縮率で音声または画像信号を圧縮するように構成するようにしてもよい。具体例をあげると、話者Ａおよび話者Ｂの２人の話者が存在しており、話者Ａの発言の方が話者Ｂの発言に比べて重要度が高い場合、この話者Ａについては、画像情報は高画質で記録するようにする。
【０３０７】
発話者を特定する方法としては、音声信号の特徴（声紋など）から話者を特定してもよいし、画像情報による顔や口の動きから発話者を特定してもよい。また、マイクロホンを発話者毎に設置して、そのうちいずれかのマイクロホンを特定発話者用として特定したり、あるいは発話者各自のマイクロホンからの音声入力レベルを比較したり、音声信号の位相差を解析したりすることにより、複数のマイクロホンから入力される音声信号を解析して音源の位置を検知して、発話者を特定してもよい。
【０３０８】
また、例えば、条件一致区間検出部３５での検出条件が、入力される音声信号の中に予め登録されたキーワードが出現したこと、または、入力される音声信号の中に予め登録された音声パターンが出現したこと、入力される画像信号の中に予め登録されたキーワードが出現したこと、または、入力される画像信号の中に予め登録された状態パターンが出現したこと、カメラ操作信号の種類、外部センサが検出した状態であってもよい。
【０３０９】
すなわち、入力されるマルチメディア情報（例えば、音声信号または画像信号）の状態、または入力されるマルチメディア情報が存在する間に外部センサが検知した信号の状態を検出する手段は、いずれもこの発明でいう条件一致区間検出部として構成可能である。
【０３１０】
［その他の変形例］
以上の第１〜第９の実施の形態は、各実施の形態の説明中に明記したほかにも、適宜組み合わせて実施することが可能である。例えば、第９の実施の形態は、第１の実施の形態の変形として説明したが、第２の実施の形態の変形として置き換えることができる。また、第５の実施の形態から第８の実施の形態は、第１の実施の形態または第２の実施の形態のいずれの変形としても置き換えることができる。
【０３１１】
なお、以上の実施の形態では、マルチメディア記憶再生装置に、この発明を適用した例について説明したが、この発明の用途はこれに限られず、マルチメディアの記憶機能または再生機能を持たない装置に対しても、この発明は適用可能である。
【０３１２】
すなわち、図１の全体構成から第１記憶部２２、再生指定部２７、再生部２８を取り除いた装置において、表示部２５は、ユーザ入力情報検出部２１から入力されたペン筆跡情報を表示するとともに、そのペン筆跡情報が入力されたときに状態検出部２４によって検出された音声の発話者名を、前記ペン筆跡情報の右端に表示する。このように、入力された音声信号や画像信号を記憶しない構成の装置に対しても、この発明は適用できる。
【０３１３】
また、順次記録されるマルチメディア情報は、カメラ／マイクロホン／ビデオデッキ／テープレコーダ／センサ等から入力されたアナログ信号でもよいし、それを符号化したデジタル信号でもよい。さらには、計算機ネットワーク／計算機バスを通じて入力されるデジタル信号でもよい。すなわち、時間の経過とともに順次入力される情報は、いずれもこの発明でいうマルチメディア情報に相当する。
【０３１４】
ユーザ入力情報検出部２１は、ユーザがペンで書き込んだことを検出してもよいし、ペンによる書き込みが一定時間以上途絶えたことを検出してもよい。例えば、所定時間間隔内に連続入力された複数の座標点列を１つのペン筆跡情報として認識する。具体的には、タブレットの入力面からスタイラスペンを離してから、次にタブレットの入力面にスタイラスペンを接触させるまでの時間間隔が１秒以内であれば、これらの複数のペン筆跡を１つのペン筆跡情報とみなす。
【０３１５】
この時間間隔は、ユーザによって変更できるようにしてもよい。さらに、タブレットの入力面から電子ペンを離した瞬間のタブレット上の座標点と、次にタブレットの入力面に電子ペンを接触させた瞬間のタブレット上の座標点とを比較し、所定の距離以上に両点が離れていた場合には、時間間隔が１秒以内であっても、別々のペン筆跡情報とみなす。
【０３１６】
これにより、例えば、１行の文字列を１つのペン筆跡情報と見なすことができるので、文字列を構成する座標点列のうちいずれかが指定されれば、同じ記憶アドレスから音声および画像を再生できるようになり便利である。この他にも、マルチプルラインなどを表現するまとまった座標点列や、ユーザが明示的にグループ化した複合オブジェクトを１つのペン筆跡情報とみなしてもよい。
【０３１７】
また、表示部２５は、ペン／タブレット一体型入出力装置の他に、ＣＲＴモニタ、液晶モニタ、プロジェクタなどから構成されてもよい。表示部２５には、ユーザ入力情報検出部２１によって検出されたユーザ入力情報とともに、状態検出部２４によって検出された検出結果や条件一致区間検出部３５によって検出された区間の記憶情報の圧縮状態が表示可能な形式で表示されればよい。
【０３１８】
また、上述の実施の形態では、初期状態において、表示画面１１上に何も表示されている情報がない場合について説明したが、この発明の適用は、この例に留まらず、例えば初期状態でいくらかのユーザ入力情報が既に表示されており、それに追加や変更を施す場合もこの発明の範囲に含まれる。ただし、この場合には、再生のために指定できるユーザ入力情報は、初期状態からの変位部分のみである。
【０３１９】
また、この発明の情報蓄積再生装置の用途としては、記録していた音声または画像信号を時間順に再生する際に、対応するユーザ入力情報をも画面上に順次再現させてゆく使いかたがある。例えば、表示部２５の表示を、指定部２７によって特定されたペン筆跡情報が入力された時点の表示に一旦戻し、音声または画像情報とペン筆跡情報とを同期させて再現するものである。
【０３２０】
このとき、表示部２５にはユーザ入力情報とともに、状態検出部２４の検出結果や圧縮状態が再生表示される。表示画面をその時点の表示に戻す方法としては、表示画面のＵＮＤＯをその時点まで繰り返してもよいし、画面を一旦消去した後、第２記憶部２３に記憶されているユーザ入力情報をその時点まで高速に順次描画してもよい。
【０３２１】
以上説明したように、上述の実施の形態の情報蓄積再生装置によれば、順次入力される音声または画像信号の状態を検出する状態検出部を具備し、表示部は、ユーザ入力情報が入力されたときに検出された状態検出部の検出結果を、ユーザ入力情報の表示位置によって特定される表示位置に表示するように構成したので、ユーザにより入力されたユーザ入力情報とそのユーザ入力情報が入力されたときの周囲の状況を表す情報とを対応付けて表示でき、各ユーザ入力情報が入力されたときの周囲の状況、すなわち各ユーザ入力情報が入力された背景を表す情報を、検索の手がかりとして利用できる効果がある。
【０３２２】
また、ユーザ入力情報が検出されたときに入力された音声または画像信号の第１記憶部における圧縮状態を、ユーザ入力情報の表示位置によって特定される表示位置に表示するように構成したので、記録された音声または画像を再生または検索する前に、その場面を再生するためにどの位の時間が必要なのかをユーザが簡単に知ることができたり、再生する音声または画像が、必要とするメディア形態で保存されているかどうかを容易に知ることができる効果がある。
【０３２３】
また、各ユーザ入力情報が入力されたときに、その周囲の状況、すなわち各ユーザ入力情報が入力された背景を表す情報を、自動的に各ユーザ入力情報と対応付けて表示できる効果がある。
【０３２４】
また、再生指定部によって指定されたユーザ入力情報についてのみ、状態検出部の検出結果や条件一致区間検出部の検出区間の情報の圧縮状態結果を表示するように構成したので、状態検出部の検出結果や記憶情報の圧縮状態を、ユーザ要求があった場合にのみ表示でき、表示画面が繁雑になるという問題を抑えられる効果がある。
【０３２５】
また、表示部に表示された状態検出部の検出結果や圧縮状態の表示を編集するための編集部を具備したので、誤った検出結果などを修正できる効果がある。
【０３２６】
また、第２記憶部２３に状態検出部の検出処理の過程で得られた情報に基づいて状態検出部の検出結果の候補、例えば話者認識の中間結果を記憶しておき、それをユーザに示し、表示する検出結果をこの候補から選べるようにした場合には、状態検出部の検出結果を修正するためのユーザの負担を軽減できる効果がある。
【０３２７】
また、外部センサによって検出される状態を状態検出部や条件一致区間検出部によって検出するように構成したので、音声信号または画像信号の状態の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態が起きた場合にでも、その事象を検出し、あるいはその検出結果に応じて圧縮状態を決め、それを表示することができ、その表示を手がかりに音声または画像信号を検索できる効果がある。
【０３２８】
また、カメラ操作信号を状態検出部によって検出するように構成したので、アップで撮影した、近景を撮影した、遠景を撮影した、動いている物体を撮影したなどの、カメラワークを示す語句を表示することができ、必要とする映像素材かどうかを検索者が判断しやすくなる効果がある。
【０３２９】
また、条件一致区間検出部でカメラワークを検出するようにした場合には、カメラワークに応じて記憶するマルチメディア情報の重要度を判定して圧縮状態を決めるようにすることができ、そして、その圧縮状態を表示画面に表示するので、重要な映像素材かどうかを検索者が判断しやすくなる効果がある。
【０３３０】
また、ユーザ入力情報が検出された場所を特定する情報を状態検出部によって検出するように構成した場合には、地域名、建造物名、会議室名などの、ユーザ入力情報が入力された場所を手がかりに音声または画像信号を検索できる効果がある。
【０３３１】
また、ユーザ入力情報が検出された時刻を特定する情報を状態検出部によって検出するように構成した場合には、日時の絶対時間、会議開始時刻からの相対時間などの、ユーザ入力情報が入力された時刻を手がかりに音声または画像信号を検索できる効果がある。
【０３３２】
また、ユーザ入力情報を入力した人を特定する情報を状態検出部によって検出するように構成した場合には、ユーザ入力情報を入力した人が誰であったかという情報を手がかりに音声または画像信号を検索できる効果がある。
【０３３３】
また、ユーザ入力情報を入力した装置を状態検出部によって検出するように構成した場合には、ユーザ入力情報を入力した装置または、音声または画像信号を入力した装置が何であったかという情報を手がかりに音声または画像信号を検索できる効果がある。
【０３３４】
また、ユーザ入力情報が検出されたときに入力された音声または画像信号の第１記憶部における圧縮状態に応じ、ユーザ入力情報の表示書式を変えて表示するように構成した場合には、記録された音声または画像を再生する前に、その場面を再生するためにどの位の時間が必要なのかをユーザが簡単に知ることができる効果がある。
【０３３５】
また、記憶時刻、記憶時間、圧縮率または間欠記録の時間間隔のうち少なくとも１つを表示部によって表示するように構成した場合には、ユーザは、記録された音声または画像の圧縮記録状態を再生する前に知ることができ、必要とする映像素材かどうかを判断しやすくなる効果がある。
【０３３６】
【発明の効果】
以上のように、この発明によれば、各ユーザ入力情報が入力されたときの周囲の状況、例えば各ユーザ入力情報が入力された背景を表す情報を、自動的に各ユーザ入力情報と対応付けて表示できる効果がある。
【図面の簡単な説明】
【図１】この発明の情報蓄積再生装置の一実施の形態の全体の構成を示す機能ブロック図である。
【図２】この発明の情報蓄積再生装置を会議システムに適用した場合の全体の概要を説明するための図である。
【図３】図１の実施の形態における記録動作の概要を説明する図である。
【図４】第１の実施の形態におけるユーザ入力情報検出部の処理動作の一例のフローチャートである。
【図５】第１の実施の形態における状態検出部の処理動作の一例のフローチャートである。
【図６】第１の実施の形態における状態検出部の動作の説明のための図である。
【図７】第１の実施の形態における表示部の処理動作の一例のフローチャートである。
【図８】第１の実施の形態における状態検出部の検出結果表示の一例を示すための図である。
【図９】第１の実施の形態における表示部の処理動作を説明するための図である。
【図１０】第１の実施の形態における第１記憶部の処理動作の一例のフローチャートである。
【図１１】第１の実施の形態における第２記憶部の処理動作の一例のフローチャートである。
【図１２】第１の実施の形態における表示画面と、第１記憶部、第２記憶部の記憶データとの対応を説明するための図である。
【図１３】第１の実施の形態における再生動作の概要を説明する図である。
【図１４】第１の実施の形態における再生部の処理動作の一例のフローチャートである。
【図１５】第２の実施の形態における表示部の処理動作の一例のフローチャートである。
【図１６】第２の実施の形態における表示部の動作の説明に用いる図である。
【図１７】第２の実施の形態における表示例を示す図である。
【図１８】第２の実施の形態における第２記憶部の記憶データを説明するための図である。
【図１９】第３の実施の形態における編集例を示す図である。
【図２０】第３の実施の形態における編集処理のための表示部の処理のフローチャートである。
【図２１】第４の実施の形態における表示部の処理動作の一例のフローチャートである。
【図２２】第４の実施の形態における表示例を示す図である。
【図２３】第５の実施の形態における状態検出部の処理動作の一例のフローチャートである。
【図２４】第５の実施の形態における表示部の処理動作の一例のフローチャートである。
【図２５】第５の実施の形態における表示例を示す図である。
【図２６】第６の実施の形態の状態検出部の処理を説明するための図である。
【図２７】第７の実施の形態における状態検出部の処理動作の一例のフローチャートである。
【図２８】第７の実施の形態における表示部の処理動作の一例のフローチャートである。
【図２９】第７の実施の形態における表示例を示す図である。
【図３０】この発明による情報蓄積再生装置の第９の実施の形態の全体の構成を示すブロック図である。
【図３１】第９の実施の形態の条件一致区間検出部の検出処理を説明するための図である。
【図３２】第９の実施の形態の条件一致区間検出部の処理のフローチャートである。
【図３３】第９の実施の形態における第３記憶部の記憶動作を説明するための図である。
【図３４】第９の実施の形態における記録動作の概要を説明する図である。
【図３５】第９の実施の形態における第３記憶部の処理動作のフローチャートの一部である。
【図３６】第９の実施の形態における第３記憶部の処理動作のフローチャートの一部である。
【図３７】第９の実施の形態における圧縮部の処理動作のフローチャートである。
【図３８】第９の実施の形態における表示画面と、第１記憶部の記憶データとの対応を説明するための図である。
【図３９】第９の実施の形態における第２記憶部の記憶データを説明するための図である。
【図４０】第９の実施の形態における表示部の処理動作の一例のフローチャートである。
【図４１】第９の実施の形態における表示例を示す図である。
【符号の説明】
１０電子会議装置
１１表示画面
１２タブレット
１３電子ペン
１５マイクロホン
１６ビデオカメラ
１７スピーカ
１８，１８Ｂウインドウ画面
１９情報蓄積部
２０バス
２１ユーザ入力情報検出部
２２第１記憶部
２３第２記憶部
２４状態検出部
２５表示部
２６情報入力インターフェース部
２７再生指定部
２８再生部
２９圧縮部
３０制御部
３５条件一致区間検出部
３６第３記憶部

Claims

ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための情報入力手段と、
前記情報入力手段からの前記音声情報有りの区間を条件一致区間として検出する条件一致区間検出手段と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報を入力するための音声情報入力手段と、
前記音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出手段と、
前記音声情報入力手段からの音声情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報は、他の区間の音声情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報を入力するための音声情報入力手段と、
記憶すべき画像情報を入力するための画像情報入力手段と、
前記音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出手段と、
前記音声情報入力手段からの音声情報または前記画像情報入力手段からの画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記音声情報入力手段より入力された音声情報または前記画像情報入力手段より入力された画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
外部センサと、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための情報入力手段と、
前記外部センサの出力が予め定められた条件と一致するか否かを検出して、条件一致区間を検出する条件一致区間検出手段と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
ユーザのカメラ操作に応じたカメラ操作信号を、記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段と、
前記カメラ操作信号を解析して前記ユーザの操作内容を検出し、その検出結果から、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出手段と、
前記画像情報入力手段からの画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の画像情報は、他の区間の画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記画像情報入力手段より入力された画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報を入力するための音声情報入力手段と、
ユーザのカメラ操作に応じたカメラ操作信号を、記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段と、
前記カメラ操作信号を解析して前記ユーザの操作内容を検出し、その検出結果から、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出手段と、
前記音声情報入力手段からの音声情報または前記画像情報入力手段からの画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための情報入力手段と、
前記情報入力手段からの前記音声情報有りの区間を条件一致区間として検出する条件一致区間検出手段と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報を入力するための音声情報入力手段と、
前記音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出手段と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報は、他の区間の音声情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報を入力するための音声情報入力手段と、
記憶すべき画像情報を入力するための画像情報入力手段と、
前記音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出手段と、
前記音声情報入力手段からの音声情報または前記画像情報入力手段からの画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記音声情報入力手段より入力された音声情報または前記画像情報入力手段より入力された画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
外部センサと、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報または画像情報を入力するための情報入力手段と、
前記外部センサの出力が予め定められた条件と一致するか否かを検出して、条件一致区間を検出する条件一致区間検出手段と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示手段と
表示の近傍に表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
ユーザのカメラ操作に応じたカメラ操作信号を記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段と、
前記カメラ操作信号を解析して操作内容を検出し、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出手段と、
前記画像情報入力手段からの画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の画像情報は、他の区間の画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記画像情報入力手段より入力された画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
ユーザ入力手段と、
前記ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出手段と、
記憶すべき音声情報を入力するための音声情報入力手段と、
ユーザのカメラ操作に応じたカメラ操作信号を記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段と、
前記カメラ操作信号を解析して操作内容を検出し、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出手段と、
前記音声情報入力手段からの音声情報または前記画像情報入力手段からの画像情報と、前記条件一致区間検出手段で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出手段での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮手段と、
前記圧縮手段で圧縮された音声情報または画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶手段と、
前記対応情報記憶手段の記憶情報に基づいて、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示手段と
を備えることを特徴とする情報蓄積再生装置。
前記表示手段により表示されたユーザ入力情報についての、ユーザの再生指示を受け付ける再生指定手段と、
前記再生指定手段により再生指示されたユーザ入力情報に対応する音声情報または画像情報の部分を、前記対応情報記憶手段に記憶されている音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報に基づいて特定して再生する再生手段と
を備えることを特徴とする請求項１〜１２のいずれかに記載の情報蓄積再生装置。
前記表示手段は、前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を、検出順に表示する機能を備え、
前記対応情報記憶手段は、当該検出されたユーザ入力情報の前記表示手段における表示位置を特定する情報をも記憶し、
前記再生指示手段は、ユーザにより指定されたユーザ入力情報の一つを、前記対応情報記憶手段の前記ユーザ入力情報の前記表示手段における表示位置を特定する情報に基づいて検出して、再生指示するものであり、
前記再生手段は、前記再生指定手段により再生指示された前記ユーザ入力情報に対応する音声情報または画像情報の部分を、前記対応情報記憶手段に記憶されている音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報に基づいて特定して再生する
ことを特徴とする請求項１３に記載の情報蓄積再生装置。
前記表示手段が、前記ユーザ入力情報を、入力された順に表示するものである請求項１〜請求項１４のいずれかに記載の情報蓄積再生装置において、
前記表示手段に表示された前記ユーザ入力情報の１つを指定する指定手段を設け、
前記表示手段は、前記指定手段によって指定されたユーザ入力情報のみについて、前記圧縮手段における圧縮状態を表示することを特徴とする情報蓄積再生装置。
請求項１〜請求項１３のいずれかに記載の情報蓄積再生装置において、
前記表示手段は、前記ユーザ入力情報が検出されたときの前記圧縮手段における圧縮状態を、前記圧縮状態に応じて、前記ユーザ入力情報の表示書式を変えて表示することを特徴とする情報蓄積再生装置。
請求項１〜請求項１４のいずれかに記載の情報蓄積再生装置において、
前記表示手段に表示された前記圧縮状態を編集するための編集手段を具備することを特徴とする情報蓄積再生装置。
請求項１７において、前記編集手段は、前記圧縮状態の表示位置と重なる表示位置に、新たなユーザ入力情報が入力された場合に、前記圧縮状態の表示によって変更されていた部分の表示を元の表示に戻し、前記ユーザ入力情報を前記表示位置に表示することを特徴とする情報蓄積再生装置。
請求項１〜請求項１３のいずれかまたは請求項２０に記載の情報蓄積再生装置において、
前記表示手段は、前記ユーザ入力情報検出手段で前記ユーザ入力情報が検出されたときに入力された音声情報または画像情報の前記圧縮手段における圧縮状態に応じ、前記ユーザ入力情報の表示書式を変えて表示することを特徴とする情報蓄積再生装置。
請求項１〜請求項１３のいずれかまたは請求項２０に記載の情報蓄積再生装置において、
前記表示手段は、前記圧縮状態として、記憶時刻、記憶時間、圧縮率または間欠記録の時間間隔のうちの、少なくとも１つを表示することを特徴とする情報蓄積再生装置。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
記憶すべき音声情報または画像情報を入力するための情報入力手段からの前記音声情報有りの区間を条件一致区間として検出する条件一致区間検出工程と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
記憶すべき音声情報を入力するための音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出工程と、
前記音声情報入力手段からの音声情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報は、他の区間の音声情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
記憶すべき音声情報を入力するための音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出工程と、
前記音声情報入力手段からの音声情報または記憶すべき画像情報を入力するための画像情報入力手段からの画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記音声情報入力手段より入力された音声情報または前記画像情報入力手段より入力された画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
外部センサの出力が予め定められた条件と一致するか否かを検出して、条件一致区間を検出する条件一致区間検出工程と、
記憶すべき音声情報または画像情報を入力するための情報入力からの音声情報または画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程の記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
ユーザのカメラ操作に応じたカメラ操作信号を、記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段からの前記カメラ操作信号を解析して前記ユーザの操作内容を検出し、その検出結果から、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出工程と、
前記画像情報入力手段からの画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の画像情報は、他の区間の画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記画像情報入力手段より入力された画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
ユーザのカメラ操作に応じたカメラ操作信号を、記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段からの前記カメラ操作信号を解析して、前記ユーザの操作内容を検出し、その検出結果から、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出工程と、
記憶すべき音声情報を入力するための音声情報入力手段からの音声情報または前記画像情報入力手段からの画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示の近傍に表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
記憶すべき音声情報または画像情報を入力するための情報入力手段からの前記音声情報有りの区間を条件一致区間として検出する条件一致区間検出工程と、
前記情報入力手段からの音声情報または画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
記憶すべき音声情報を入力するための音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出工程と、
前記音声情報入力手段からの音声情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出手段での検出結果とから定められる区間の音声情報は、他の区間の音声情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
記憶すべき音声情報を入力するための音声情報入力手段からの前記音声情報に含まれる予め定められた特定のキーワードまたは特定のパターンを検出して、その検出結果に基づいて条件一致区間を検出する条件一致区間検出工程と、
前記音声情報入力手段からの音声情報または記憶すべき画像情報を入力するための画像情報入力手段からの画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記音声情報入力手段より入力された音声情報または前記画像情報入力手段より入力された画像情報の、前記圧縮手段における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
外部センサの出力が予め定められた条件と一致するか否かを検出して、条件一致区間を検出する条件一致区間検出工程と、
記憶すべき音声情報または画像情報を入力するための情報入力からの音声情報または画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程の記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
ユーザのカメラ操作に応じたカメラ操作信号を、記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段からの前記カメラ操作信号を解析して前記ユーザの操作内容を検出し、その検出結果から、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出工程と、
前記画像情報入力手段からの画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の画像情報は、他の区間の画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記画像情報入力手段より入力された画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。
ユーザ入力手段から入力されるユーザ入力情報を検出するユーザ入力情報検出工程と、
ユーザのカメラ操作に応じたカメラ操作信号を、記憶すべき画像情報と共に出力するビデオカメラからなる画像情報入力手段からの前記カメラ操作信号を解析して、前記ユーザの操作内容を検出し、その検出結果から、前記画像情報が予め設定された所定の条件に合致する区間を条件一致区間として検出する条件一致区間検出工程と、
記憶すべき音声情報を入力するための音声情報入力手段からの音声情報または前記画像情報入力手段からの画像情報と、前記条件一致区間検出工程で検出された前記条件一致区間を示す情報とを対応させて一時記憶する一時記憶工程と、
前記一時記憶工程で一時記憶された音声情報または画像情報のうちの、前記ユーザ入力情報検出工程での前記ユーザ入力情報の検出結果と前記条件一致区間検出工程での検出結果とから定められる区間の音声情報または画像情報は、他の区間の音声情報または画像情報とは圧縮状態を変えて圧縮する圧縮工程と、
前記圧縮工程で圧縮された音声情報または画像情報を時系列情報記憶手段に記憶する時系列情報記憶工程と、
前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記圧縮状態に関する情報と、それぞれの前記ユーザ入力情報に関連する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置の情報とを、対応させて記憶する対応情報記憶工程と、
前記対応情報記憶工程での記憶情報に基づいて、前記ユーザ入力情報検出工程で検出された前記ユーザ入力情報を表示すると共に、前記ユーザ入力情報検出工程で前記ユーザ入力情報が検出されたときに前記情報入力手段より入力された音声情報または画像情報の、前記圧縮工程における圧縮状態を、前記検出されたユーザ入力情報の表示態様を変更することにより表示する表示工程と
を備えることを特徴とする情報蓄積再生方法。