JP3340208B2 - マルチメディア情報収集装置 - Google Patents
マルチメディア情報収集装置Info
- Publication number
- JP3340208B2 JP3340208B2 JP25697593A JP25697593A JP3340208B2 JP 3340208 B2 JP3340208 B2 JP 3340208B2 JP 25697593 A JP25697593 A JP 25697593A JP 25697593 A JP25697593 A JP 25697593A JP 3340208 B2 JP3340208 B2 JP 3340208B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- data
- information
- input
- cpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
コンピュータに入力するマルチメディア情報収集装置に
関し、特に、情報収集時に複数のメディアの情報間の関
連性を判定して記憶することにより、その後ユーザに推
定リンク情報を提示できるようにするマルチメディア情
報収集装置に関する。
し、収集した情報を電子化してコンピュータ等の情報機
器に取り込んで保存しておき、後ほどこの保存した情報
をマルチメディア文書として利用する機会が増えてきて
いる。
置の説明図である。図17において、3はメモリ回路、
4はデータ記憶回路、21はCPU、22はシステムバ
ス、101はCCDカメラ等の撮像装置、102は画像
信号処理回路、111はマイクロフォン、113はスピ
ーカ、112は音声信号処理回路、122は手書き入力
用デジタイザ121とLCD(液晶表示)等の平面型表
示回路5aが一体化された入力表示一体型タブレット、
123は手書き入力を行うためのスタイラスペンであ
る。そして、CPU21は、システムバス22でメモリ
回路3、データ記憶回路4、画像信号処理回路102、
音声信号処理回路112、入力表示一体型タブレット1
22の手書き入力用デジタイザ121及び平面型表示回
路5aとそれぞれ接続されている。
き)等のマルチメディアの情報収集を行う場合は、ま
ず、CPU21が予めメモリ回路3内に記憶されたプロ
グラムに従って、入力表示一体型タブレット122に写
真撮影、録音、ライティング(手書き)等の動作メニュ
ーの表示を行う。次に、ユーザは入力表示一体型タブレ
ット122上でスタイラスペン123を操作して動作メ
ニューの選択を行う。
選択した場合は、スタイラスペン123を用いて入力表
示一体型タブレット122上に手書き入力を行う。これ
によりCPU21は手書き入力用デジタイザ121から
その入力座標を読み取って、平面型表示回路5a上の対
応する位置に筆跡を表示すると共に、手書き入力された
データをデータ記憶回路4に保存する。
は、撮像装置101により撮影された映像が画像信号処
理回路102においてデジタル信号に変換され、CPU
21が画像信号処理回路102からデジタル信号を読み
出してデータ記憶回路4に保存する。
マイクロフォン111から入力された音声が音声信号処
理回路112によりデジタル信号に変換され、CPU2
1が音声信号処理回路112からデジタル信号を読み出
してデータ記憶装置4に保存する。
おいて、ユーザは、収集した情報を利用しやすくするた
め手書き入力、写真撮影、録音等の複数の関連性のある
情報間に関連性を設けること、すなわちリンクを張る操
作は、複数の情報を取り込んだ時点で行っていた。例え
ば手書き入力と写真画像とにリンクを張る場合、手書き
入力画面の一部に写真画像を張り付けるか、又は手書き
入力画面に関連する写真画像があることを示すアイコン
を設ける等の操作をスタイラスペン123で行ってい
た。このように、情報を取り込んだ時点で複数の情報間
にリンクを張り、取り込んだ情報を構造化していた。そ
して、このユーザが指示したリンク情報即ち構造化情報
は、取り込んだ各メディアの情報と共にデータ記憶回路
4に保存していた。
のにおいては次のような課題があった。収集した関連性
がある情報間にリンクを張ることは、収集した情報を利
用する段階において非常に便利であるが、情報の収集時
点でリンクを張る操作を行わなければならず、情報収集
時のユーザの負担が増加していた。特に一時的な情報を
収集する場合にはリンクを張るための操作で情報収集の
タイミングを逃がすことがあった。
を読み出してリンクを張る操作を行う場合は、収集した
情報内容を忘れることがあり、うまくリンクを張れない
ことがあった。
し、CPUが情報収集時のユーザオペレーション(操
作)から取り込んだ複数の情報間の関連性を推定し、自
動的に取り込んだ複数の情報間にリンクを張ることによ
り情報収集時のユーザ負担を軽減することを目的とす
る。
本発明は次のように構成した。図1は本発明の原理説明
図であり、図1において、マルチメディア情報収集装置
をメモリ回路3と、データ記憶回路4と、表示回路5
と、関連性判定ルール記憶回路6と、情報収集操作状況
保持回路7と、推定リンク情報記憶回路8と、複数の異
なるメディアの情報入力手段であるメディアA情報入力
回路11とメディアB情報入力回路12とメディアC情
報入力回路13と、CPU21とをシステムバス22で
結合するように構成する。
ア間の関連性を判定するためのルールを予め記憶させて
おくものであり、例えば、メディアC情報入力回路13
のデータ入力操作中にメディアA情報入力回路11又は
メディアB情報入力回路12のデータ入力操作を行った
場合、その時のメディアC情報入力回路13のデータと
メディアA情報入力回路11又はメディアB情報入力回
路12のデータとは関連性があるというルールを記憶す
る。
行った情報収集時のユーザオペレーション状況を保持す
るものである。推定リンク情報記憶回路8は、情報収集
時のユーザオペレーション状況から複数のメディア情報
入力回路のデータ間に関連性があると推定された場合
に、その関連性を推定リンク情報として記憶するもので
ある。
る手段であるメディアA情報入力回路11、メディアB
情報入力回路12、メディアC情報入力回路13により
デジタル化された各メディアからのデータをデータ記憶
回路4に記憶する。このときCPU21は予め関連性判
定ルール記憶回路6内に記憶されている関連性判定ルー
ルに従って、情報収集操作状況保持回路7内に保持され
た情報収集時のユーザオペレーション状況を参照する。
これにより、CPU21は収集した複数のメディアのデ
ータ間の関連性を推定して、関連性があると推定される
場合は、推定リンク情報を推定リンク情報記憶回路8に
記憶する。
に、CPU21はユーザが指定した情報をデータ記憶回
路4から読み出して表示回路5に表示すると共に、推定
リンク情報記憶回路8内の推定リンク情報を調べて、ユ
ーザが指定した情報に関連する情報がある場合には、そ
の旨をユーザに表示するようにする。
た複数のメディアの情報間にリンクを張る操作を行わな
くとも、後で推定リンク情報により情報を効率良く参照
することができる。
き説明する。図2は本発明の一実施例構成図、図3は図
2をさらに具体化した構成図、図4〜図9は本発明の一
実施例の動作説明図、図10〜図16は本発明の一実施
例の処理フローチャートを示す。
はデータ記憶回路、4aはハードディスク、5aは平面
型表示回路、6は関連性判定ルール記憶回路、7は情報
収集操作状況保持回路、8は推定リンク情報記憶回路、
21はCPU、22はシステムバス、101は撮像装
置、101aはCCDカメラ、102は画像信号処理回
路、102aは画像A/D変換回路、111はマイクロ
フォン、112は音声信号処理回路、112aは音声A
/D変換回路、112bは音声D/A変換回路、121
は座標入力装置である手書き入力用デジタイザ、122
は入力表示一体型タブレット、123はスタイラスペン
を示す。なお、図2、図3において同一のものは同一符
号で示してある。
は、撮像装置101からの信号処理を行う画像信号処理
回路102と、マイクロフォン111とスピーカ113
とが接続された音声信号処理回路112と、手書き入力
用デジタイザ121と平面型表示回路5aを一体にした
入力表示一体型タブレット122と、CPU21と、メ
モリ回路3と、データ記憶回路4と、関連性判定ルール
記憶回路6と、情報収集操作状況保持回路7と、推定リ
ンク情報記憶回路8とをシステムバス22で結合されて
いる。
101、マイクロフォン111、手書き入力用デジタイ
ザ121等で収集したマルチメディアのデータ間の関連
性を推定するために予め関連性判定ルールを記憶させて
おくものである。例えば、手書き入力シートを開いてい
る最中に撮影した画像データ又は録音した音声データ
は、その手書き入力シート上の手書き入力データと関連
性があるという判定ルールを記憶する。
行った情報収集時のユーザオペレーション状況を保持す
る回路である。推定リンク情報記憶回路8は、収集した
マルチメディアの情報間に関連性があると推定された場
合に、関連性を推定リンク情報として記憶する回路であ
る。
ついて説明する。撮像装置101で撮影した画像を画像
信号処理回路102でデジタル化してデータ記憶回路4
に記憶し、マイクロフォン111で入力した音声を音声
信号処理回路112でデジタル化してデータ記憶回路4
に記憶し、又、手書き入力用スタイラスペン123によ
る手書き入力用デジタイザ121のデータをデータ記憶
回路4に記憶する。これらの情報収集時にCPU21が
予め関連性判定ルール記憶回路6内に記憶された関連性
ルールを用いて、情報収集操作状況保持回路7に保持さ
れた情報収集時のユーザオペレーション状況から収集し
たデータ間の関連性を推定して、その結果を推定リンク
情報記憶回路8に記憶する。
に、CPU21はユーザが指定した情報をデータ記憶回
路4から読み出して入力表示一体型タブレット122の
平面型表示回路5aに表示する。このとき、音声情報で
ある場合は音声信号処理回路112でアナログ信号に変
換した音声をスピーカ113で再生する。また、CPU
21は推定リンク情報記憶回路8内の推定リンク情報を
調べ、ユーザが参照した情報に関する推定リンク情報が
ある場合には、このことを例えば平面型表示回路5aの
画面の一部等に表示してユーザに提示する。ユーザはこ
の表示された推定リンク情報から、スタイラスペン12
3等の操作により情報間のリンクを確定させた後、デー
タ記憶回路4にこの確定リンク情報を記憶する。
について説明する。図3において、CCDカメラ101
aはNTSCビデオ信号を出力するものであり図2の撮
像装置101に対応するもの、画像A/D変換回路10
2aはアナログビデオ信号をデジタル信号に変換するも
のであり図2の画像信号処理回路102に対応するも
の、ハードディスク4aは図2のデータ記憶回路4に対
応するものであり、さらに音声A/D変換回路112a
と音声D/A変換回路112bとは図2の音声信号処理
回路112に対応するものである。
力装置である手書き入力用デジタイザ121と平面型表
示回路5aが一体化されたものであり、スタイラスペン
123を用いて手書き入力を行うと、手書き入力用デジ
タイザ121からその入力座標を読み取って、平面型表
示回路5a上の対応する位置に筆跡と表示するものであ
る。
入力シートを開いている最中に撮影した画像データ及び
録音した音声データは、その手書き入力シート上の手書
き入力データと関連性がある」というルールが予め記憶
されているものである。
行った情報収集時のユーザオペレーション状況を保持す
るものである。推定リンク情報記憶回路8は、収集した
画像データ、音声データおよび手書き入力データ間に関
連性があると推定された場合に、関連性を推定リンク情
報として記憶するものである。
/D変換回路102a、音声A/D変換回路112a、
音声D/A変換回路112b、入力表示一体型タブレッ
ト122、メモリ回路3、ハードディスク4a、関連性
判定ルール記憶回路6、情報収集操作状況保持回路7、
推定リンク情報記憶回路8と接続されている。
の動作を図4〜図9のサービス画面の流れに従って説明
する。図中A〜Vは、入力表示一体型タブレット122
の表示画面及びその表示内容を示す。
リ回路3内に記憶されたプログラムに従って、入力表示
一体型タブレット122の平面型表示回路5aの画面A
上に「写真」B、「録音」C、「手書」Dの動作メニュ
ーを表示する。ユーザがスタイラスペン123で「手
書」Dをタッチして手書きメニューを選んだ場合は図4
(b)の表示に変る。
力シートFを表示して、手書き入力中であるユーザオペ
レーション状況を情報収集操作状況保持回路7に登録す
る。なお、手書き入力シートFは矢印E1 又はE2 をス
タイラスペン123でタッチして前頁又は次頁に移すこ
とができる。また、この画面では「手書」Dのメニュー
は消去するようにしたが、例えば白黒の反転表示とする
こともできる。
23で手書き入力すると、CPU21は入力表示一体型
タブレット122内の手書き入力用デジタイザ121か
ら座標を読み取って、平面型表示回路5a上の対応する
位置に筆跡を表示すると共に、手書き入力されたデータ
をハードディスク4aに記憶する。このときCPU21
は情報収集操作状況保持回路7からユーザオペレーショ
ン状況を読み出して、関連性判定ルール記憶回路6内の
ルールに従って関連性を推定する。この場合は手書き入
力データと写真画像又は音声データとは関連性がなく推
定リンク情報記憶回路8には何も記憶しない。
イラスペン123で「写真」Bをタッチして写真メニュ
ーを選ぶと、CPU21は図5(e)の表示をする。図
5(e)では、写真撮影用ウインドウGを平面型表示回
路5aの画面Aに表示する。この時、CCDカメラ10
1aで撮影された画像信号は画像A/D変換回路102
aでデジタルデータに変換され、CPU21は画像A/
D変換回路102aからデータを読み出して平面型表示
回路5aの写真撮影用ウインドウGに表示すると共に、
写真撮影中であるユーザオペレーション状況を情報収集
操作状況保持回路7に登録する。ここで、ユーザがスタ
イラスペン123で「撮影」Hをタッチして撮影ボタン
を押すと、CPU21は画像A/D変換回路102aか
ら読み出した画像データをハードディスク4aに記憶す
る。また、CPU21は情報収集操作状況保持回路7か
らユーザオペレーション状況を読み出して、関連性判定
ルール記憶回路6内のルールに従って関連性を推定す
る。この場合は、「手書き入力シートを開いている最中
に撮影した画像データ及び録音した音声データは、その
手書き入力シート上の手書き入力データと関連性があ
る」というルールに該当するため、CPU21は入力表
示一体型タブレット122に表示中の手書き入力用シー
トF上の手書きデータと撮影した画像データ間に関連性
があることを推定リンク情報記憶回路8に記憶する。そ
して、CPU21は写真撮影が終了したことを情報収集
操作状況保持回路7に登録して、写真撮影用ウインドウ
Gを閉じる。なお、図5(e)の場合、「写真」Bのメ
ニュー表示を白黒の反転表示としたが、例えば図4
(b)の「手書」Dのメニューのようにメニュー表示を
消去するようにすることもできる。
示中にスタイラスペン123で「録音」Cをタッチして
録音メニューを選ぶと、CPU21は図6(g)の表示
をする。
ンドウIを平面型表示回路5aの画面A上に表示すると
共に、録音中であるユーザオペレーション状況を情報収
集操作状況保持回路7に登録する。ここで、ユーザがス
タイラスペン123で「開始」Jをタッチし開始ボタン
を押すと、マイクロフォン111に入力された音声信号
は音声A/D変換回路112aでデジタルデータに変換
され、CPU21は音声A/D変換回路112aからデ
ータを読み出してハードディスク4aに記憶する。
「開始」Jを再度タッチして停止ボタンを押すと、CP
U21は音声A/D変換回路112aからのデータの読
み出しを停止すると共に、情報収集操作状況保持回路7
からユーザオペレーション状況を読み出して、関連性判
定ルール記憶回路6内のルールに従って関連性を推定す
る。この場合は「手書き入力シートを開いている最中に
撮影した画像データ及び録音した音声データは、その手
書き入力シート上の手書き入力データと関連性がある」
というルールに該当するため、CPU21は表示一体型
タブレット122に表示中の手書き入力用シートF上の
手書きデータと録音した音声データ間に関連性があるこ
とを推定リンク情報記憶回路8に記憶する。
持回路7に録音終了を登録して録音用ウインドウIを閉
じる。次に、ユーザが収集した情報を参照する場合の説
明をする。
ラスペン123を操作して収集した手書き入力シートF
の表示を指定すると、CPU21は手書き入力シートF
をハードディスク4aから読み出して表示すると共に、
推定リンク情報記憶回路8内のリンク情報を調べる。ユ
ーザはスタイラスペンで矢印E1 又はE2 をタッチして
手書き入力シートFをサーチする。
リンク情報がある場合は、図7(i)の表示をする。図
7(i)では、表示された手書き入力シートFに関連す
る推定リンク情報Kである撮影した写真の画像情報と録
音した音声情報があることをユーザに表示する。
3で「写真」Lをタッチして、推定リンク情報Kの画像
を選ぶと、CPU21は図8(k)の表示をする。図8
(k)では、写真撮影した画像をその日付、時間と共に
画像データウインドウ上に表示する。ユーザがスタイラ
スペン123でリンク実行である「はい」Oをタッチす
ると、CPU21は図8(l)の表示をする。画像デー
タウインドウ上の上下の矢印Q1 、Q2 は写真撮影した
画像が複数ある場合にスタイラスペン123でこれをタ
ッチして所定の画像のサーチを行うことができる。
路5aの表示中の手書きシートFのページに画像情報の
アイコンである「写真」Rを張り付け、ハードディスク
4a内に確定したリンク情報を保存する。そしてCPU
21はこの図8(l)の画面を一時表示した後次の図9
(m)の画面を表示する。
トFに関連する推定リンク情報Kである録音した音声情
報があることをユーザに指示する。ユーザがスタイラス
ペン123で「音声」Mをタッチして、推定リンク情報
Kの音声を選ぶと、CPU21は図9(n)の音声デー
タを表示する。
した音声データとして録音した日付と時間を表示する。
ユーザがスタイラスペン123で音声データウインドウ
上の「再生」Sをタッチしてこの音声データの再生ボタ
ンを押すと、CPU21は音声データを音声D/A変換
回路112bに送り、スピーカ113で音声を再生す
る。また、ユーザがスタイラスペン123で音声データ
ウインドウ上の「名前」Tをタッチして名前ボタンを押
すと、ユーザは手書き文字認識によってこの音声データ
に名前を付けることができる。さらに、ユーザがスタイ
ラスペン123でリンク実行である「はい」Oを選択す
ると、CPU21は図9(o)の表示をする。なお、音
声データウインドウ上の上下の矢印Q1 、Q2 は録音し
た音声データが複数ある場合にスタイラスペン123で
これをタッチして所定の音声データをサーチすることが
できる。
回路5aに表示中の手書きシートFのページに音声情報
のアイコンである「音声」Vを張り付け、ハードディス
ク4a内に確定したリンク情報を保存する。
21がユーザの指定した情報に関連する推定リンク情報
Kがある旨をユーザに提示した後、ユーザがスタイラス
ペン123で「無視」Nを選択した場合は、CPU21
は推定リンク情報記憶回路8内からユーザに提示した推
定リンク情報Kを消去する。
真」Rと「音声」Vの表示位置はユーザがスタイラスペ
ン123を操作して変更することができる。さらに、こ
の確定したリンク情報をユーザが参照する場合は、スタ
イラスペン123で「写真」Rか「音声」Vのアイコン
をタッチして行う。
施例の動作をフローチャートで説明する。図中、S1〜
S49はそれぞれ処理ステップを示す。図10は図5
(d)の写真メニューを選ぶ時の処理に対応している。
イラスペン123でタッチして写真メニューを選ぶとこ
の処理が開始する。まず、CPU21は情報収集操作状
況保持回路7に写真撮影中であるというユーザオペレー
ション状況を記録する(S1)。
Gを表示する(S2)。ついで、CPU21は画像A/
D変換回路102aからデータを読み出して写真撮影用
ウインドウG上にモニター画面の表示を開始して(S
3)この処理を終了する。
た時の処理に対応している。写真撮影用ウインドウG上
の「撮影」Hをスタイラスペン123でタッチして撮影
ボタンを押すとこの処理が開始する。
のモニター画面の表示を停止する(S4)。ついで、C
PUは前記表示を停止したモニター画面の写真データを
ハードディスク4aに記憶する(S5)。
回路7から各メディアであるCCDカメラ101a、マ
イクロフォン111、手書き入力用デジタイザ121の
情報収集状態であるユーザオペレーション状況を読み出
す(S6)。
路6から判定ルールを読み出す(S7)。次に、CPU
21は前記読み出した関連性ルール判定回路6の判定ル
ールと前記情報収集操作状況保持回路7のユーザオペレ
ーション状況から、関連性を判定してメモリ回路3に記
憶する(S8)。
べ、関連性が記憶されている場合(S9)は、その関連
性情報を推定リンク情報として推定リンク情報記憶回路
8に記憶し(S10)、メモリ回路3に関連性が記憶さ
れていない場合は推定リンク情報記憶回路8には何も記
憶しない。
回路7に写真撮影が終了したことを記録する(S1
1)。その後、CPU21は写真撮影用ウインドウGを
消去して(S12)撮影ボタンを押した時の処理を終了
する。
判定処理の一例である撮影した写真の関連性判定処理を
示す。まず、撮影ボタンが押されてこの関連性判定処理
が開始すると、CPU21は情報収集操作状況保持回路
7からユーザオペレーション状況を読み出して、手書き
入力シートFの記入面は開かれているかどうかを判断す
る(S13)。
ている場合は、関連性ルール判定回路6からの判定ルー
ルに該当するため、現在開いている手書き入力シートF
面上の手書きメモと撮影した写真画像とは関連性がある
ことになる。
3に記憶する(S14)。前記手書き入力シートFの記
入面が開かれていない場合は、前記関連性はないためメ
モリ回路3には何も記憶しない。
を行うかまたは次の関連性判定処理がない場合は処理を
終了する(S15)。図13は、図6(f)の録音メニ
ューを選ぶ時の処理に対応している。
イラスペン123でタッチして録音メニューを選ぶとこ
の処理が開始する。まず、CPU21は情報収集操作状
況保持回路7に録音中であるというユーザオペレーショ
ン状況を記録する(S16)。
を表示する(S17)。ついで、CPU21は録音用ウ
インドウI上に録音レベルメータの表示を開始(S1
8)してこの処理を終了する。
た時の処理に対応している。録音用ウインドウI上の
「開始」Jをユーザがスタイラスペン123でタッチし
て録音ボタンを押すとこの処理が開始する。
号は音声A/D変換回路112aでデジタルデータに変
換され、CPU21はこの音声A/D変換回路112a
からデジタル音声データを読み出してハードディスク4
aに記憶する(S19)。
Jを再度タッチして録音停止ボタンを押すまでCPU2
1は前記音声A/D変換回路112aからの音声データ
をハードディスク4aに記憶し、録音停止ボタンを押す
とCPU21は前記音声A/D変換回路112aからの
音声データをハードディスク4aに記憶することを停止
する(S20)。
回路7から各メディアであるCCDカメラ101a、マ
イクロフォン111、手書き入力用デジタイザ121の
情報収集状態であるユーザオペレーション状況を読み出
す(S21)。
路6から判定ルールを読み出す(S22)。次に、CP
U21は前記読み出した関連性判定回路6の判定ルール
と前記情報収集操作状況保持回路7のユーザオペレーシ
ョン状況から、関連性を判定してメモリ回路3に記憶す
る(S23)。
べ、関連性が記憶されている場合(S24)は、その関
連性情報を推定リンク情報として推定リンク情報記憶回
路8に記憶し(S25)、メモリ回路3に関連性が記憶
されていない場合は推定リンク情報記憶回路8には何も
記憶しない。
回路7に録音が終了したことを記録する(S26)。そ
の後、CPU21は録音用ウインドウIを消去して(S
27)録音ボタンを押した時の処理を終了する。
性判定処理の一例である録音した音声の関連性判定処理
を示す。まず、録音停止ボタンが押されてこの関連性処
理が開始すると、CPU21は情報収集操作状況保持回
路7からユーザオペレーション状況を読み出して、手書
き入力シートFの記入面は開かれているかどうかを判断
する(S28)。
ている場合は、関連性ルール判定回路6からの判定ルー
ルに該当するため、現在開いている手書き入力シートF
面上の手書きメモと録音した音声とは関連性があること
になる。CPU21はこの関連性情報をメモリ回路3に
記憶する(S29)。前記手書き入力シートFの記入面
が開かれていない場合は、前記関連性はないためメモリ
回路3には何も記憶しない。
を行うかまたは次の関連性判定処理がない場合は処理を
終了(S30)。次に、図16によりユーザが収集した
情報を参照する場合のフローチャートを説明する。
した情報を参照する場合における手書きページの表示処
理に対応している。ユーザがスタイラスペン123を操
作して例えば図4(a)の動作メニュー画面から手書き
を選択して図4(b)の手書き入力シートFを表示し、
次にユーザが手書き入力シートF上の矢印E1 又はE2
で前に収集した手書き入力シートFの表示を指定するこ
とでこの処理が開始する。
きページデータをハードディスク4aから読み出して
(S31)手書き入力シートF上に前記読み出した手書
きページデータを表示する(S32)。
路8から推定リンク情報を読み出す(S33)。CPU
21は前記読み出した推定リンク情報に前記手書きペー
ジデータと関連するデータがあるかどうかを判断する
(S34)。
がある場合CPU21は図7(i)のようなメッセージ
を表示する(S35)。ついで、ユーザが図7(j)の
ようにスタイラスペン123で「写真」Lをタッチして
写真のリンク処理を選択する(S36)とCPU21は
ハードディスク4aから推定リンク情報である写真デー
タを読み出して図8(k)のように写真用リンク処理ウ
インドウに表示する(S39)。
ンドウ上でリンク実行を行うかどうか指示する(S4
0)。ユーザがリンク実行を指示すると、CPU21は
この手書きページデータと写真データの推定リンク情報
を確定リンク情報としてハードディスク4aに記憶する
(S41)。
手書きシートFの手書きページに写真アイコンを表示す
る(S42)。次に前記ステップ(S42)で写真アイ
コン表示をした場合又は、ステップ(S40)でリンク
実行を行わない場合、CPU21は推定リンク情報記憶
回路8内からこの手書きページデータと写真データの推
定リンク情報を削除する(S43)。
路8にこの手書きページと関連する情報がまだあるかど
うかを調べる(S49)。前記関連する情報がまだある
場合は、ステップ(S35)に戻り、図8(m)のよう
なメッセージを表示する(S35)。
ラスペン123で「音声」Mをタッチして音声のリンク
処理を選択する(S37)とCPU21はハードディス
ク4aから推定リンク情報である音声データを読み出し
て図9(n)のように音声用リンク処理ウインドウに表
示する(S44)。
ンドウ上でリンク実行を行うかどうかを指示する(S4
5)。ここでユーザがリンク実行を指示すると、CPU
21はこの手書きデータと音声データのリンク情報を確
定リンク情報としてハードディスク4aに記憶する(S
46)。
手書きシートFの手書きページに音声アイコンを表示す
る(S47)。次に、前記ステップ(S47)で音声ア
イコン表示をした場合又はステップ(S45)でリンク
実行を行わない場合、CPU21は推定リンク情報記憶
回路8内からこの手書きページデータと音声データの推
定リンク情報を削除して(S48)次のステップ(S4
9)に進む。
推定リンク情報記憶回路8にこの手書きページと関連す
る情報がまだあるかどうかを調べる。そして関連する情
報がない場合はこの処理を終了する。
ージデータと関連するデータがない場合又は、ユーザが
ステップ(S36)とステップ(S37)とで写真およ
び音声のリンク処理を行わないでCPUが推定リンク情
報記憶回路8内の推定リンク情報を削除(S38)した
場合はこの処理を終了する。
が、本発明は収集する情報は前記メディアに限らず例え
ばキーボード入力、通信データ入力等を設けることがで
き、また、関連性判定ルールは前記ルールに限定される
ものではなくユーザが適宜設けることができる。
ユーザオペレーションから、取り込んだ複数のメディア
の情報間の関連性を推定し、自動的に取り込んだ複数の
メディアの情報間にリンクを張り、情報の構造化を行う
ことができるため、情報収集時のユーザの負担を軽減す
ることができる。
合、本装置が推定した取り込んだ複数のメディアの情報
間の推定リンク情報により情報を効率よく利用すること
ができる。
る。
る。
る。
る。
る。
る。
ばれた時の処理フローチャートである。
れた時の処理フローチャートである。
連性判定処理フローチャートである。
ばれた時の処理フローチャートである。
れた時の処理フローチャートである。
連性判定処理フローチャートである。
示処理フローチャートである。
Claims (3)
- 【請求項1】 複数のメディアのデータを収集する情報
入力手段と、 収集したデータを記憶するデータ記憶手段とを備えたマ
ルチメディア情報収集装置において、 データ収集時のユーザオペレーションを記憶する情報収
集操作状況保持手段(7)と、 前記ユーザオペレーションから複数のメディアのデータ
間の関連性を推定するルールを保持する関連性判定手段
(6)と、 前記複数のメディアのデータ間の関連性を前記ルールに
もとづき推定した結果を記憶する推定リンク情報記憶手
段(8)とを具備することを特徴とするマルチメディア
情報収集装置。 - 【請求項2】 平面型表示回路(5a)と手書き入力を
行う座標入力装置(121)とを一体化した入力表示一
体型タブレット(122)と、 撮像装置(101)と、 前記撮像装置で撮像した画像信号をデジタル信号に変換
する画像信号処理回路(102)と、 前記座標入力装置及び前記撮像装置からの入力データを
記憶するデータ記憶回路(4)とを備えたマルチメディ
ア情報収集装置において、 前記入力データ時のユーザオペレーションを記憶する情
報収集操作状況保持回路(7)と、 前記ユーザオペレーションから前記座標入力装置と前記
撮像装置からの入力データ間の関連性を推定するルール
を保持する関連性判定手段(6)と、 前記座標入力装置と前記撮像装置の入力データ間の関連
性を前記ルールにもとづき推定した結果を記憶する推定
リンク情報記憶回路(8)とを具備することを特徴とす
るマルチメディア情報収集装置。 - 【請求項3】 平面型表示回路(5a)と手書き入力を
行う座標入力装置(121)とを一体化した入力表示一
体型タブレット(122)と、 撮像装置(101)と、 前記撮像装置で撮像した画像信号をデジタル信号に変換
する画像信号処理回路(102)と、 音声を入力するマイクロフォン(111)と、 前記マイクロフォンの音声信号をデジタル信号に変換す
る音声信号処理回路(112)と、 前記座標入力装置、前記撮像装置及び前記マイクロフォ
ンからの入力データを記憶するデータ記憶回路(4)を
備えたマルチメディア情報収集装置において、 前記入力データ時のユーザオペレーションを記憶する情
報収集操作状況保持回路(7)と、 前記ユーザオペレーションから前記座標入力装置、前記
撮像装置及び前記マイクロフォンからの入力データ間の
関連性を推定するルールを保持する関連性判定手段
(6)と、 前記座標入力装置、前記撮像装置及び前記マイクロフォ
ンからの入力データ間の関連性を前記ルールにもとづき
推定した結果を記憶する推定リンク情報記憶回路(8)
とを具備することを特徴とするマルチメディア情報収集
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25697593A JP3340208B2 (ja) | 1993-10-14 | 1993-10-14 | マルチメディア情報収集装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25697593A JP3340208B2 (ja) | 1993-10-14 | 1993-10-14 | マルチメディア情報収集装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07110822A JPH07110822A (ja) | 1995-04-25 |
JP3340208B2 true JP3340208B2 (ja) | 2002-11-05 |
Family
ID=17299981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25697593A Expired - Fee Related JP3340208B2 (ja) | 1993-10-14 | 1993-10-14 | マルチメディア情報収集装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3340208B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6417844B1 (en) | 1996-06-25 | 2002-07-09 | Seiko Epson Corporation | Data processing apparatus and data processing method |
JP3758754B2 (ja) * | 1996-08-02 | 2006-03-22 | 富士ゼロックス株式会社 | 情報蓄積再生装置および情報蓄積再生方法 |
JP2002297885A (ja) * | 2001-03-30 | 2002-10-11 | Dentsu Public Relations Inc | 広報活動支援方法およびこの方法を実現するシステム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2953730B2 (ja) * | 1990-02-14 | 1999-09-27 | 株式会社東芝 | 情報機器 |
JP2960535B2 (ja) * | 1990-11-30 | 1999-10-06 | 株式会社日立製作所 | メモ情報の管理方法 |
JP3090233B2 (ja) * | 1992-02-18 | 2000-09-18 | 日本電信電話株式会社 | 複合的な情報間の関連性識別方法 |
-
1993
- 1993-10-14 JP JP25697593A patent/JP3340208B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07110822A (ja) | 1995-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7355620B2 (en) | Digital still camera and user instruction input method | |
US7154534B2 (en) | Image input apparatus, program executed by computer, and method for preparing document with image | |
JP5552767B2 (ja) | 表示処理装置、表示処理方法および表示処理プログラム | |
US8743243B2 (en) | Information processing apparatus, information processing method and recording medium for electronic equipment including an electronic camera | |
US9665598B2 (en) | Method and apparatus for storing image file in mobile terminal | |
JP2009500884A (ja) | デジタルメディアファイルを管理するための方法およびデバイス | |
JPH11112921A (ja) | 情報処理装置および情報処理方法 | |
JPH05233125A (ja) | マルチメディア情報入力装置 | |
JPH11341421A (ja) | デジタルカメラ | |
JP3829937B2 (ja) | 撮像装置および撮像システム制御方法 | |
JPH1196194A (ja) | 表示処理装置、表示方法、表示処理装置としてコンピュータを機能させるためのプログラムを記録した記録媒体、およびコンピュータ・プログラム・プロダクト | |
JP2002041871A (ja) | 車両の修理費の見積システム | |
US9646647B2 (en) | Content management apparatus, recording apparatus, operation apparatus, content management system, and control methods thereof | |
US8866932B2 (en) | Voice recordable terminal and its image processing method | |
JPH09212331A (ja) | 携帯用情報収集装置およびその情報管理方法 | |
JP3340208B2 (ja) | マルチメディア情報収集装置 | |
JP2002281365A (ja) | デジタルカメラ | |
JP4329893B2 (ja) | デジタルカメラ装置 | |
US8199219B2 (en) | Single-button audio data capture and deletion | |
JPH11177928A (ja) | 情報記録再生装置 | |
JP3924581B2 (ja) | 電子手帳 | |
JPH04321389A (ja) | 表示機能付きカメラ | |
JP3183220B2 (ja) | ディジタルカメラ画像のコメント入力装置 | |
JP2001313861A (ja) | 画像撮影装置、データ管理装置、媒体、およびプログラム | |
JP3956288B2 (ja) | 映像情報インデキシング支援装置、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020730 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080816 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090816 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090816 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100816 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110816 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |