JP5262888B2 - 文書表示制御装置及びプログラム - Google Patents

Description

本発明は、文書表示制御装置、プログラムに関する。

ホワイトボードを用いた会議等の振り返りを可能とする技術は知られている（例えば、特許文献１、２参照)。
特許文献１の技術では、ホワイトボード上で行なわれた各操作を経過時間と共に保存し、各操作を、操作に対応する経過時間と１つ前の操作に対応する経過時間との時間差が設定時間より長い場合は、１つ前の操作を再現した時刻から上記設定時間が経過した時点で再現し、そうでない場合は、１つ前の操作を再現した時刻から上記時間差が経過した時点で再現している。
特許文献２の技術では、ホワイトボードをビデオカメラで撮像した撮像画像、その撮像画像に付加する注釈画像の描画コマンド、時刻等を保存し、復元コマンドで時刻等により指定された撮像画像及び描画コマンドから作成した投影画像をプロジェクタに転送してホワイトボードに投影させている。

特開２００７−０６６３１５号公報 特開２００８−２５８７３２号公報

本発明の目的は、媒体が貼られた面の状態を、その媒体に印刷された電子文書が分かるように再現することにある。

請求項１に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記取得手段は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、前記指示手段は、前記取得手段により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とする文書表示制御装置である。
請求項２に記載の発明は、前記指示手段は、前記複数の画面のうち、指定された時刻を示す時刻情報に関連付けられた画面の表示を指示することを特徴とする請求項１に記載の文書表示制御装置である。
請求項３に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記取得手段は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、前記抽出手段は、前記投影装置により投影された前記電子文書の画像に基づいて、前記取得手段により取得された前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とする文書表示制御装置である。
請求項４に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記特定手段は、前記部分画像における前記電子文書の文書要素が配置された領域の形状と、前記電子文書における当該電子文書の文書要素が配置された領域の形状とに基づいて、前記電子文書を特定することを特徴とする文書表示制御装置である。
請求項５に記載の発明は、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段とを備え、前記指示手段は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とする文書表示制御装置である。
請求項６に記載の発明は、コンピュータに、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、前記部分画像に基づいて、前記電子文書を特定する機能と、前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とを実現させ、前記取得する機能は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、前記指示する機能は、前記取得する機能により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とするプログラムである。
請求項７に記載の発明は、コンピュータに、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、前記部分画像に基づいて、前記電子文書を特定する機能と、前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とを実現させ、前記取得する機能は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、前記抽出する機能は、前記投影装置により投影された前記電子文書の画像に基づいて、前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とするプログラムである。
請求項８に記載の発明は、コンピュータに、電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、前記部分画像に基づいて、前記電子文書を特定する機能と、前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能とを実現させ、前記指示する機能は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とするプログラムである。

請求項１の発明によれば、媒体が貼られた面の状態を、その状態が保たれていた時刻が分かるように再現することができる。
請求項２の発明によれば、媒体が貼られた面の指定された時刻における状態を再現することができる。
請求項３の発明によれば、本構成を有していない場合に比較して、画像が投影された面の状態をその画像の元となる電子文書が分かるように再現する処理を、効率よく行うことができる。
請求項４の発明によれば、媒体が貼られた面を撮像できる程度に離れた距離から面を撮像した場合であっても、その媒体に印刷された電子文書を特定することができる。
請求項５の発明によれば、媒体が貼られた面の状態を再現する画面を複雑化させることなく、その媒体に印刷された電子文書を参照させることができる。
請求項６の発明によれば、媒体が貼られた面の状態を、その状態が保たれていた時刻が分かるように再現することができる。
請求項７の発明によれば、本構成を有していない場合に比較して、画像が投影された面の状態をその画像の元となる電子文書が分かるように再現する処理を、効率よく行うことができる。
請求項８の発明によれば、媒体が貼られた面の状態を再現する画面を複雑化させることなく、その媒体に印刷された電子文書を参照させることができる。

本発明の実施の形態が適用されるシステム構成を示した図である。 本発明の実施の形態における投影撮像装置について示した図である。 本発明の実施の形態における文書サーバの機能構成を示したブロック図である。 本発明の実施の形態の動作説明で用いるホワイトボード上の状態を示した図である。 本発明の実施の形態における投影撮像装置の動作を示したフローチャートである。 本発明の実施の形態における投影撮像装置で記録される撮像情報の例を示した図である。 本発明の実施の形態における文書サーバの差分情報生成部の動作を示したフローチャートである。 本発明の実施の形態における文書サーバの差分情報生成部で生成される差分情報の例を示した図である。 本発明の実施の形態における文書サーバの文書検索部の動作を示したフローチャートである。 本発明の実施の形態における文書サーバの文書検索部で生成される表示情報の例を示した図である。 本発明の実施の形態における表示情報に基づいて端末装置に表示される画面の例を示した図である。 本発明の実施の形態を実現可能なコンピュータのハードウェア構成図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本発明の実施の形態の適用が想定される場面について説明する。
例えば、壁面に画像を投影したり紙文書を貼り付けたりして会議を行うことがある。このような会議環境において、会議の内容を記録するための方法としては、壁面を撮影して写真で残す方法がある。
しかしながら、画像を投影したり紙文書を貼り付けたりした壁面を撮影した場合、投影された画像、貼られた紙文書、壁面の全てが１つの画像に収まった写真が得られるに過ぎない。
従って、会議終了後、自席に戻って会議に関連する作業を行おうとしても限界がある。即ち、壁面に貼ってあった紙文書の任意のページの閲覧や編集を行いたい場合、壁面全体が写った写真から目的の文書の部分を目視で確認してファイル名や格納場所を推測し、取得しなければならない。しかも、それが目的の文書のファイルであるという保証はない。
そこで、本実施の形態では、壁面に画像を投影したり紙文書を貼り付けたりして会議を行う場合に、投影された画像や紙文書に対応する電子文書を確実に特定し、自席のＰＣ（Personal Computer）等でこの電子文書を扱えるようにする。

まず、本実施の形態におけるコンピュータシステムの全体構成について説明する。
図１は、本実施の形態のコンピュータシステムの構成例を示したものである。
図示するように、このコンピュータシステムは、端末装置１０と、画像形成装置２０と、文書サーバ３０と、投影撮像装置４０と、端末装置５０とがネットワーク８０に接続されることにより構成されている。

端末装置１０は、文書サーバ３０に格納された電子文書の印刷を画像形成装置２０に指示するコンピュータ装置である。ここで、端末装置１０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。
画像形成装置２０は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置２０は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂複合機であってもよい。ここで、画像形成装置２０における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
文書サーバ３０は、電子文書を記憶し管理するコンピュータ装置である。また、本実施の形態では、壁面に貼り付けられた媒体に印刷された電子文書や壁面に投影された画像の元となる電子文書を端末装置５０に表示するための制御を行う。即ち、文書表示制御装置の一例として、文書サーバ３０を設けている。ここで、文書サーバ３０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。

投影撮像装置４０は、画像を壁面に投影するプロジェクタ機能と、被写体を撮像するカメラ機能とを兼ね備えた装置である。プロジェクタ機能の部分は、投影装置の一例であり、カメラ機能の部分は、撮像装置の一例である。この装置において、プロジェクタ機能による画像の投影先は、壁面だけでなく、ホワイトボード、電子黒板、壁面に模造紙等を貼り付けた面等であってもよい。また、プロジェクタ機能による画像の投影先がカメラ機能で撮像される被写体となるので、この被写体も、壁面、ホワイトボード、電子黒板、壁面に模造紙等を貼り付けた面等であってよい。ここで、ホワイトボードとは、専用マーカで文字や図等を書くのに用いる白い板で、書かれた文字や図等を電子化する機能を備えていないものをいい、電子黒板とは、ホワイトボードと同様の白い板で、書かれた文字や図等を電子化する機能を備えたものをいうものとする。尚、ここでは、プロジェクタ機能とカメラ機能とを兼ね備えた投影撮像装置４０を用いるが、互いに別体の投影装置と撮像装置とを用いるようにしてもよい。
端末装置５０は、投影撮像装置４０によって撮像された壁面の画像に基づいて生成された画面を表示するコンピュータ装置である。ここで、端末装置５０としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータを用いるとよい。

尚、本明細書では、媒体に記録する画像の元となる電子データを「電子文書」と表記するが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ（ラスタデータかベクターデータかによらない）、データベース管理ソフトウェアや表計算ソフトウェアで記録されるデータ、その他の印刷可能な電子データも含めて「電子文書」としている。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、ＯＨＰシートや金属板等であっても構わない。

次に、このようなコンピュータシステムを構成する装置のうち、本実施の形態において特に中心となって動作する投影撮像装置４０及び文書サーバ３０の構成について説明する。尚、以下では、投影撮像装置４０による画像の投影先及び被写体はホワイトボードであるものとして説明する。
図２は、投影撮像装置４０について示した図である。
まず、（ａ）には、投影撮像装置４０の外観について示している。
図示するように、投影撮像装置４０は、プロジェクタとカメラとを一体化した装置であり、プロジェクタに相当する投影部４６と、カメラに相当する撮像部４７とを備える。

また、（ｂ）には、投影撮像装置４０の機能構成例を示す。
図示するように、投影撮像装置４０は、制御部４１と、メモリ４２と、操作部４３と、液晶モニタ４４と、通信インターフェイス（Ｉ／Ｆ）４５とを備える。また、上述したように、投影部４６と、撮像部４７とを備える。

制御部４１は、制御プログラムに基づいて、プロジェクタ機能及びカメラ機能における各種動作を制御する。尚、制御プログラムは、ＲＯＭ（図示せず）に記憶されている。
メモリ４２は、制御部４１が処理するデータを記憶する不揮発性のメモリである。本実施の形態では、特に、ホワイトボードに対する媒体の貼り付け、画像の投影、手書き等によりホワイトボード上の画像が変化した場合に撮像した画像（撮像画像）とその撮像が行われた時刻（撮像時刻）とを対応付けた情報（以下、「撮像情報」という）を記憶する。
操作部４３は、操作されたボタン等に対応する操作信号を制御部４１へ送出する。
液晶モニタ４４は、制御部４１からの指示により画像やテキスト等を表示する。
通信Ｉ／Ｆ４５は、制御部４１からの指示によりネットワーク８０（図１参照）を介して文書サーバ３０との間でデータを送受信する。

投影部４６は、投影制御回路４６０と、ＬＥＤ光源４６１と、液晶パネル４６２と、投影光学系４６３とを含む。投影制御回路４６０は、制御部４１からの指示によりＬＥＤ光源４６１及び液晶パネル４６２へ制御信号を送出する。ＬＥＤ光源４６１は、供給電流に応じた明るさで液晶パネル４６２を照明する。液晶パネル４６２は、変調素子を構成し、投影制御回路４６０からの駆動信号に応じて光像を生成する（照明光を変調する）。投影光学系４６３は、液晶パネル４６２から射出される変調光を投影する。

撮像部４７は、撮像制御回路４７０と、撮像光学系４７１と、撮像素子４７２とを含む。撮像制御回路４７０は、制御部４１からの指示により撮像素子４７２を駆動制御すると共に、撮像素子４７２から出力される画像信号に対して信号処理を行う。信号処理後の画像は、画像ファイルとしてメモリ４２に記憶される。撮像光学系４７１は、撮像素子４７２の撮像面上に被写体像を結像させる。撮像素子４７２としては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等が用いられる。

図３は、文書サーバ３０の機能構成例を示した図である。
図示するように、文書サーバ３０は、受信部３１と、撮像情報記憶部３２と、差分情報生成部３３と、差分情報記憶部３４と、文書検索部３５と、表示情報記憶部３６と、送信部３９とを備える。

受信部３１は、投影撮像装置４０のメモリ４２に記憶された撮像情報を任意の時点で受信する。本実施の形態では、撮像画像を取得する取得手段の一例として、受信部３１を設けている。
撮像情報記憶部３２は、受信部３１が受信した撮像情報を記憶する。
差分情報生成部３３は、撮像情報記憶部３２に記憶された撮像情報を対象として、後の撮像情報から前の撮像情報を差し引く処理を行うことにより、前の撮像画像に対して追加された画像（差分画像）と前の画像の記録時刻からの経過時間（差分時間）とを含む差分情報を生成する。本実施の形態では、部分画像の一例として、差分画像を用いており、部分画像を抽出する抽出手段の一例として、差分情報生成部３３を設けている。
差分情報記憶部３４は、差分情報生成部３３が生成した差分情報を記憶する。

文書検索部３５は、差分情報に含まれる差分画像の元となる電子文書を検索する。本実施の形態では、電子文書を特定する特定手段の一例として、文書検索部３５を設けている。
表示情報記憶部３６は、文書検索部３５が検索した電子文書に対応するオブジェクトを、撮像画像における差分画像の位置等を反映させた状態で表示するための表示情報を記憶する。
送信部３９は、表示情報記憶部３６に記憶された表示情報を読み出して端末装置５０に送信する。本実施の形態では、画面の表示を指示する指示手段の一例として、送信部３９を設けている。

次いで、本実施の形態の動作について説明する。
本実施の形態では、電子文書が印刷された媒体をホワイトボードに貼り付けるが、このような媒体への電子文書の印刷時の動作について説明する。
まず、端末装置１０は、印刷対象の電子文書を指定して、電子文書の印刷命令を画像形成装置２０に送信する。これにより、画像形成装置２０は、印刷命令に基づいて、電子文書の画像を媒体に印刷する。このとき、本実施の形態では、端末装置１０が、画像形成装置２０における印刷イメージを表す電子文書を作成し、この電子文書を文書サーバ３０の貼り付け文書用フォルダにアップロードしておくものとする。
また、本実施の形態では、電子文書の画像をホワイトボードに投影するが、このような投影対象の電子文書も、予め文書サーバ３０の投影文書用フォルダにアップロードしておくものとする。

ここで、本実施の形態の動作の説明で用いるホワイトボードへの媒体の貼り付け、画像の投影、手書きの具体例について説明する。
図４は、このような具体例を時間順に示した図である。尚、（ａ）〜（ｅ）の各図では、外枠で囲まれた矩形が、ホワイトボードを示しており、ホワイトボード内の細い実線の枠で囲まれた矩形が、貼り付けられた媒体を示しており、ホワイトボード内の太い実線の枠で囲まれた矩形が、画像が投影された範囲を示しており、ホワイトボード内の枠を構成しない太い実線が、手書きの軌跡を示している。

（ａ）では、ホワイトボードに媒体Ａが貼り付けられている。
（ｂ）では、ホワイトボードに画像が投影されている。
（ｃ）では、ホワイトボードに媒体Ｂが貼り付けられている。
（ｄ）では、ホワイトボード上の媒体Ａに重ねて媒体Ｃが貼り付けられている。
（ｅ）では、ホワイトボード上の媒体Ｂから媒体Ｃにかけて手書きが行われている。
尚、この例において、媒体Ａ，Ｂ，Ｃには、上述したように、電子文書が印刷され、これらの電子文書は文書サーバ３０の貼り付け文書用フォルダに格納されているものとする。また、投影される画像は、上述したように、電子文書の画像であり、この電子文書は文書サーバ３０の投影文書用フォルダに格納されているものとする。

まず、本実施の形態における投影撮像装置４０の動作について説明する。
図５は、投影撮像装置４０の動作例を示したフローチャートである。
投影撮像装置４０では、まず、制御部４１が、撮像情報のインデックスを示す変数Ｎに「０」を代入する（ステップ４０１）。次に、撮像部４７を制御してホワイトボードの初期状態を撮像する（ステップ４０２）。そして、撮像時刻をＴ（０）として、撮像画像をＰ（０）としてメモリ４２にそれぞれ記録する（ステップ４０３）。

その後、制御部４１は、終了指示があるまで、ホワイトボードを撮像して変化があれば記録する、という処理を繰り返す。
即ち、まず、制御部４１は、撮像間隔として予め定められた時間Ｔ１が経過しているかどうかを判定し（ステップ４０４）、時間Ｔ１が経過していなければ、ステップ４０４の判定を繰り返し、時間Ｔ１が経過していれば、終了指示があったかどうかを判定する（ステップ４０５）。
ここで、終了指示がなければ、撮像部４７を制御してホワイトボードの現在の状態を撮像する（ステップ４０６）。そして、直近に記録した撮像画像と、今回の撮像で得られた撮像画像とを比較し、変化があったかどうかを判定する（ステップ４０７）。

その結果、変化がなければ、ステップ４０４に進む。
一方、変化があったとしても、ホワイトボードに媒体が貼り付けられたり画像が投影されたり手書きが行われたりしたことによる変化だけとは限らない。例えば、ホワイトボードの前にいる発表者等の動きが撮像画像の変化として認識される場合もある。そこで、制御部４１は、ステップ４０７で認識された変化がホワイトボード上のものかどうかを判定する（ステップ４０８）。具体的には、撮像部４７のフォーカスがホワイトボードに合うように設定しておき、変化があった部分のシャープネスを解析することで、判定するとよい。つまり、シャープネスがある程度高い場合に、ホワイトボード上の変化であると判定し、シャープネスがそれよりも低い場合に、ホワイトボード上の変化ではないと判定する。

そして、変化がホワイトボード上のものでなければ、ステップ４０４に進む。
また、変化がホワイトボード上のものであれば、制御部４１は、撮像画像の記録に先立って必要な画像処理を行う。即ち、ホワイトボードの前に発表者等がいれば、その発表者等の画像を除去する（ステップ４０９）。そして、除去した部分は、例えば、ホワイトボード上のその部分を含む撮像画像のうち、最新に記録されたものを用いて補う（ステップ４１０）。その後、変数Ｎに「１」を加算し（ステップ４１１）、ステップ４０３に戻って、撮像時刻Ｔ（Ｎ）、撮像画像Ｐ（Ｎ）を記録する。
このような処理を終了指示があるまで続け、ステップ４０５で終了指示があったと判定されると、処理を終了する。

図６は、図４（ａ）〜（ｅ）のような操作がホワイトボードに対して行われた場合に、図５の動作によって記録される撮像情報の例を示したものである。
撮像時刻Ｔ（Ｎ）は、撮像画像Ｐ（Ｎ）が実際に記録された時刻である。
また、撮像画像Ｐ（Ｎ）としては、媒体の貼り付けについては、１枚の媒体の貼り付けを１回の変化と捉え、媒体が貼られるごとに１つの撮像画像Ｐ（Ｎ）を記録している（Ｎ＝１，３，４の場合）。また、画像の投影については、１回の投影又はその投影先の移動を１回の変化と捉え、投影が行われるごと又は投影先が変化するごとに１つの撮像画像Ｐ（Ｎ）を記録している（Ｎ＝２の場合）。一方で、手書きについては、その開始から終了までにある程度の時間を要し、その時間は撮像間隔Ｔ１の何倍かに達することがある。従って、ここでは、手書きを複数回の変化として捉え、個々の変化ごとに撮像画像Ｐ（Ｎ）を記録している（Ｎ＝５〜７）。

尚、媒体の貼り付けや画像の投影についても、１枚の媒体の貼り付けや１回の画像の投影に対して複数の撮像画像Ｐ（Ｎ）が記録されることはある。例えば、媒体を貼り付ける際に、その媒体の一部が発表者等によって隠されている場合である。この場合は、発表者等の動きに応じて、隠されている部分が徐々に現れてくることもあるので、その都度変化として認識し、撮像画像Ｐ（Ｎ）として記録することになる。

以上のようにして記録された撮像情報は、任意のタイミングで文書サーバ３０に送られる。例えば、撮像情報の記録が終了してから予め定められた時間が経過すると送られるようにしてもよいし、撮像情報の記録が終了した後に外部から明示的な指示があると送られるようにしてもよい。

次に、本実施の形態における文書サーバ３０の動作について説明する。
まず、文書サーバ３０では、受信部３１が、このようにして送られてきた撮像情報を受信し、撮像情報記憶部３２に記憶する。
その後、差分情報生成部３３が、撮像情報記憶部３２に記憶された撮像情報に基づいて、差分情報を生成する。
図７は、差分情報生成部３３の動作例を示したフローチャートである。
まず、差分情報生成部３３は、図５で用いた変数Ｎに「０」を代入すると共に、ホワイトボードに対する１つの意味ある操作の回数をカウントするための変数Ｍに「０」を代入する（ステップ３０１）。ここで、１つの意味ある操作とは、例えば、１枚の媒体を貼り付ける操作、１回の投影を行う操作、１つの連続する手書きを行う操作等を意味する。そして、撮像時刻Ｔ（０）、撮像画像Ｐ（０）を撮像情報記憶部３２から読み込む（ステップ３０２）。

次に、差分情報生成部３３は、撮像時刻Ｔ（Ｎ）及び撮像画像Ｐ（Ｎ）がある限り、撮像時刻Ｔ（Ｎ）及び撮像画像Ｐ（Ｎ）に基づいて差分情報を生成する、という処理を行う。
即ち、まず、差分情報生成部３３は、変数Ｎに「１」を加算し（ステップ３０３）、撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応があるかどうかを判定する（ステップ３０４）。

ここで、撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応があれば、撮像時刻Ｔ（Ｎ）、撮像画像Ｐ（Ｎ）を撮像情報記憶部３２から読み込む（ステップ３０５）。そして、今回の撮像時刻Ｔ（Ｎ）から１つ前の撮像時刻Ｔ（Ｎ−１）を減ずることにより、第１差分時刻ＤＴ（Ｎ）を求め、差分情報記憶部３４に記憶する（ステップ３０６）。また、今回の撮像画像Ｐ（Ｎ）から１つ前の撮像画像Ｐ（Ｎ−１）を差し引く画像処理を行うことにより、第１差分画像ＤＰ（Ｎ）を求め、差分情報記憶部３４に記憶する（ステップ３０７）。ここで、第１差分時刻及び第１差分画像は、ホワイトボードに対する操作が１つの意味ある操作であるかどうかを考慮せず、今回の撮像情報から単純に１つ前の撮像情報を差し引いて得られた情報である。

次に、差分情報生成部３３は、第１差分時刻ＤＴ（Ｎ）が、ホワイトボードに対する意味のある操作を区別するための時間間隔として予め定められた時間Ｔ２を超えているかどうかを判定する（ステップ３０８）。ここで、時間Ｔ２としては、一般的には、図５で用いた撮像間隔Ｔ１よりも大きな値が設定される。
その結果、時間Ｔ２を超えていれば、まず、変数Ｍに「１」を加算する（ステップ３０９）。そして、今回の意味ある操作までの時間である第２差分時刻ＣＴ（Ｍ）に、前回の意味ある操作までの時間である第２差分時刻ＣＴ（Ｍ−１）を代入し（ステップ３１０）、第２差分画像ＣＰ（Ｍ）を初期化する（ステップ３１１）。
一方、時間Ｔ２を超えていなければ、変数Ｍ、第２差分時刻ＣＴ（Ｍ）、第２差分画像ＣＰ（Ｍ）はそのままにしておく。

その後、差分情報生成部３３は、操作の開始から今回の意味ある操作の終了までの時間である第２差分時刻ＣＴ（Ｍ）を、ステップ３０６で求めた第１差分時刻ＤＴ（Ｎ）を順次足し込んでいくことにより求め、差分情報記憶部３４に記憶する（ステップ３１２）。尚、今回の操作が、１つの意味ある操作の途中の操作である場合、第２差分時刻ＣＴ（Ｍ）は、この時点ではまだ、意味ある操作の終了までの時間を表すものとはなっていない。しかしながら、変数Ｍを「１」ずつ加算しながら計算を繰り返すことにより、最終的には、第２差分時刻ＣＴ（Ｍ）は、意味ある操作の終了までの時間を表すものとなる。
また、差分情報生成部３３は、今回の意味ある操作の画像である第２差分画像ＣＰ（Ｍ）を、ステップ３０７で求めた第１差分画像ＤＰ（Ｎ）を順次足し込んでいくことにより求め、差分情報記憶部３４に記憶する（ステップ３１３）。尚、今回の操作が、１つの意味ある操作の途中の操作である場合、第２差分画像ＣＰ（Ｍ）は、この時点ではまだ、意味ある操作全体の画像を表すものとはなっていない。しかしながら、変数Ｍを「１」ずつ加算しながら計算を繰り返すことにより、最終的には、第２差分画像ＣＰ（Ｍ）は、意味ある操作全体の画像を表すものとなる。
このような処理を撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応がなくなるまで続け、ステップ３０４で撮像時刻Ｔ（Ｎ）と撮像画像Ｐ（Ｎ）との対応がないと判定されると、処理を終了する。

図８は、図６のような撮像情報を受信した場合に、図７の動作によって差分情報記憶部３４に記録される差分情報の例を示したものである。
第１差分時刻ＤＴ（Ｎ）は、（Ｎ−１）回目の撮像画像の記録からＮ回目の撮像画像の記録までの時間である。
第１差分画像ＤＰ（Ｎ）は、（Ｎ−１）回目の撮像画像の記録からＮ回目の撮像画像の記録までに追加された画像である。ここで、ホワイトボードの枠については、点線で示している。これは、第１差分画像ＤＰ（Ｎ）が、追加された画像の内容のみを管理するものではなく、撮像画像全体における位置の情報や、撮像画像全体に対するサイズの情報も管理していることを意味する。また、例えば、媒体が傾いた状態で貼り付けられた場合には、角度の情報も管理する。

また、第２差分時刻ＣＴ（Ｍ）は、ホワイトボードの初期状態の撮像画像の記録から、ホワイトボードに対するＭ回目の意味ある操作の撮像画像の記録までの時間である。
第２差分画像ＣＰ（Ｍ）は、ホワイトボードに対する（Ｍ−１）回目の意味ある操作の撮像画像の記録から、ホワイトボードに対するＭ回目の意味ある操作の撮像画像の記録までに追加された画像である。つまり、ホワイトボードに対するＭ回目の意味ある操作を表す画像である。
尚、図では、このような処理によって複数の第１差分画像を１つの意味ある操作を表す第２差分画像にまとめる例として、手書きの場合を示した（Ｎ＝５〜７）。しかしながら、上述したように、媒体の貼り付けや画像の投影についても、１枚の媒体の貼り付けや１回の画像の投影に対して複数の撮像画像が記録されることはあるので、このような場合に、複数の第１差分画像を１つの意味ある操作を表す第２差分画像にまとめるようにしてもよい。

次いで、文書検索部３５が、差分情報記憶部３４に記憶された差分情報に基づいて、表示情報を生成する。
図９は、文書検索部３５の動作例を示したフローチャートである。
まず、文書検索部３５は、図７で用いた変数Ｍに「０」を代入し（ステップ３２１）、画面オブジェクトＶ（０）を初期化する（ステップ３２２）。ここで、画面オブジェクトＶ（Ｍ）は、Ｍ回目の意味ある操作が行われた時点のホワイトボードの状態を表す画面オブジェクトであり、Ｍ＝０の場合、ホワイトボードの初期状態を表す画面オブジェクトである。

次に、文書検索部３５は、第２差分時刻ＣＴ（Ｍ）及び第２差分画像ＣＰ（Ｍ）がある限り、第２差分時刻ＣＴ（Ｍ）及び第２差分画像ＣＰ（Ｍ）に基づいて表示情報を生成する、という処理を行う。
即ち、まず、文書検索部３５は、変数Ｍに「１」を加算し（ステップ３２３）、第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応があるかどうかを判定する（ステップ３２４）。

ここで、第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応があれば、第２差分時刻ＣＴ（Ｍ）、第２差分画像ＣＰ（Ｍ）を差分情報記憶部３４から読み込む（ステップ３２５）。そして、ホワイトボードに対する操作の開始時刻であるＴ（０）に、ホワイトボードに対する操作の開始時刻からＭ回目の意味ある操作までの時間である第２差分時刻ＣＴ（Ｍ）を加算することにより、Ｍ回目の意味ある操作が行われた操作時刻ＶＴ（Ｍ）を求め、表示情報記憶部３６に記憶する（ステップ３２６）。また、Ｍ回目の意味ある操作を表す画像である第２差分画像ＣＰ（Ｍ）をオブジェクト化することにより、表示要素の一例である要素オブジェクトＶＯ（Ｍ）を生成し、表示情報記憶部３６に記憶する（ステップ３２７）。

その後、文書検索部３５は、要素オブジェクトＶＯ（Ｍ）の形状が矩形であるかどうかを判定する（ステップ３２８）。これは、ホワイトボードに貼り付けられる媒体、投影された画像の形状が一般に矩形だからであるが、矩形以外の形状が想定される場合には、このステップ３２８の判定条件は柔軟に変更してよい。
その結果、要素オブジェクトＶＯ（Ｍ）の形状が矩形でなければ、要素オブジェクトＶＯ（Ｍ）は手書きを表すオブジェクトであって、電子文書との関連付けは必要ないので、そのままステップ３３４へ進む。

一方、要素オブジェクトＶＯ（Ｍ）の形状が矩形であれば、要素オブジェクトＶＯ（Ｍ）に対応する電子文書を特定する処理を行う。
即ち、まず、文書検索部３５は、要素オブジェクトＶＯ（Ｍ）をその１つの頂点を左上点として正立させることにより、画像を生成する（ステップ３２９）。そして、特定のフォルダに格納された電子文書の中から、この画像と縦横比が類似し、かつ、レイアウトが類似する電子文書を検索する（ステップ３３０）。

ここで、受信部３１が、投影撮像装置４０から投影した時刻及びその時刻に投影した画像を入手しておけば、差分情報生成部３３が、この入手した時刻と第２差分時刻ＣＴ（Ｍ）から得られる操作時刻とを比較すると共に、この入手した画像と第２差分画像ＣＰ（Ｍ）とを比較することにより、第２差分画像ＣＰ（Ｍ）が投影撮像装置４０によって投影された画像かどうかを推測することができる。つまり、２つの時刻がある程度近く、２つの画像がある程度類似するものであれば、第２差分画像ＣＰ（Ｍ）は、投影された画像であると推測できる。一方、投影された画像であると推測できなかった第２差分画像ＣＰ（Ｍ）は、貼り付けられた媒体を表すものと考えることができる。従って、文書検索部３５は、差分情報生成部３３からこのような推測結果を受け、ステップ３３０において、要素オブジェクトＶＯ（Ｍ）が投影された画像を表すものと考えられる場合は、投影文書用フォルダに格納された電子文書を対象に検索すればよく、要素オブジェクトＶＯ（Ｍ）が貼り付けられた媒体の画像を表すものと考えられる場合は、貼り付け文書用フォルダに格納された電子文書を対象に検索すればよい。

また、ステップ３３０でのレイアウトが類似する電子文書の検索は、具体的には、ステップ３２９で生成した画像における電子文書の文書要素（文字、数字、記号、図形、絵等の文書を構成する要素）が配置された領域の形状と、電子文書における文書要素が配置された領域の形状とを比較することにより行うとよい。或いは、文書要素の形状だけでなく、文書要素の色を考慮してもよい。

次に、文書検索部３５は、電子文書の検索が成功したかどうかを判定する（ステップ３３１）。
ここで、電子文書の検索が成功した場合には、検索した電子文書へのリンクを要素オブジェクトＶＯ（Ｍ）に埋め込み（ステップ３３２）、ステップ３３４へ進む。
一方、電子文書の検索が成功しなかった場合は、他に頂点があるかどうかを判定する（ステップ３３３）。そして、他に頂点があれば、その頂点に着目して、ステップ３２９〜３３３の処理を繰り返す。また、他に頂点がなければ、そのままステップ３３４へ進む。
そして、最後に、文書検索部３５は、（Ｍ−１）回目の意味ある操作が行われた時点のホワイトボードの状態を表す画面オブジェクトＶ（Ｍ−１）に、Ｍ回目の意味ある操作を表す要素オブジェクトＶＯ（Ｍ）を追加することにより、Ｍ回目の意味ある操作が行われた時点のホワイトボードの状態を表す画面オブジェクトＶ（Ｍ）を求め、表示情報記憶部３６に記憶する（ステップ３３４）。
このような処理を第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応がなくなるまで続け、ステップ３２４で第２差分時刻ＣＴ（Ｍ）と第２差分画像ＣＰ（Ｍ）との対応がないと判定されると、処理を終了する。

図１０は、図８のような差分情報が記憶されていた場合に、図９の動作によって表示情報記憶部３６に記録される表示情報の例を示したものである。
ＶＴ（Ｍ）は、ホワイトボードに対する１つの意味のある操作が行われた操作時刻である。
ＶＯ（Ｍ）は、ホワイトボードに対する１つの意味のある操作で追加された画像を表す要素オブジェクトである。例えば、貼り付けられた媒体を表す要素オブジェクト（Ｍ＝１，３，４の場合）や、投影された画像を表す要素オブジェクト（Ｍ＝２の場合）や、手書きを表す要素オブジェクト（Ｍ＝５の場合）がある。このうち、貼り付けられた媒体を表す要素オブジェクトには媒体に印刷された電子文書へのリンクが埋め込まれ、投影された電子文書の画像を表す要素オブジェクトには、この電子文書へのリンクが埋め込まれる。図では、リンクが埋め込まれていることを網掛けで表している。そして、ここでも、ホワイトボードの枠については、点線で示している。これは、要素オブジェクトＶＯ（Ｍ）が、ホワイトボードに対する操作のみに対応するオブジェクトであるので、ホワイトボード全体を表す画面オブジェクトにおける位置の情報や、画面オブジェクトに対するサイズの情報も管理していることを意味する。また、例えば、媒体が傾いた状態で貼り付けられた場合には、角度の情報も管理する。そこで、これらの位置、サイズ、角度の情報を用いて、ホワイトボードを表す画面オブジェクトに時間順に要素オブジェクトＶＯ（Ｍ）を追加していくことにより、画面オブジェクトＶ（Ｍ）が生成される。

そして、最後に、文書サーバ３０では、送信部３９が、表示情報記憶部３６に記憶された画面オブジェクトＶ（Ｍ）を読み出して、端末装置５０に送信する。これにより、端末装置５０には、画面オブジェクトが表示される。
図１１は、端末装置５０に表示される画面オブジェクトの例を示したものである。
ここでは、図１０におけるＶ（５）に基づく画面オブジェクトの例を示している。即ち、要素オブジェクト５１、５２、５３は、それぞれ、図４の媒体Ａ，Ｂ，Ｃを表す要素オブジェクトであり、要素オブジェクト５４は、投影された画像を表す要素オブジェクトである。
ここで、各要素オブジェクトには、上述したように、電子文書へのリンクが埋め込まれている。従って、例えば、要素オブジェクト５４をクリックすると、エディタ５５が起動され、投影された画像の元となる電子文書の編集等が可能になる。
尚、この例では、電子文書へのリンク（電子文書を参照するための情報）を要素オブジェクトに埋め込むようにしたが、電子文書の画像を要素オブジェクトに重畳して表示するようにしてもよい。

また、図１１に示した画面オブジェクトは、各画面オブジェクトの元となる操作が行われた操作時刻に関連付けられる。そして、端末装置５０は、操作時刻が指定されると、その操作時刻に関連付けられた画面オブジェクトを表示する。或いは、ホワイトボードに対する操作の開始から操作の終了まで、画面オブジェクトを時間順に表示するようにしてもよい。
以上により、本実施の形態の動作の説明を終了する。

尚、本実施の形態では、媒体に印刷された電子文書や投影された画像の元となる電子文書を、電子文書のレイアウトに基づいて特定したが、これには限らない。例えば、電子文書が印刷された媒体や投影される電子文書に対して電子文書を識別する情報を埋め込んでおき、この情報に基づいて電子文書を特定するようにしてもよい。但し、この場合の埋め込む情報は、撮像画像から誤りなく取り出せる程度の大きさとすることが好ましい。

ところで、本実施の形態では、電子文書を保持する文書サーバ３０が、撮像情報の取得、差分情報の生成、電子文書の特定、画面の表示の指示等の処理を行うようにしたが、これらの処理は如何なる装置で行ってもよい。例えば、投影撮像装置４０や端末装置５０で行ってもよいし、これ以外の電子文書を保持しないコンピュータで行ってもよい。
そこで、これらの処理をコンピュータ９０で行うものとして、コンピュータ９０のハードウェア構成について説明する。

図１２は、コンピュータ９０のハードウェア構成を示した図である。
図示するように、コンピュータ９０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ９０は、外部との通信を行うための通信Ｉ／Ｆ９４と、ビデオメモリやディスプレイ等からなる表示機構９５と、キーボードやマウス等の入力デバイス９６とを備える。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０，５０…端末装置、２０…画像形成装置、３０…文書サーバ、４０…投影撮像装置、８０…ネットワーク

Claims (8)

1. 電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、
   前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
   前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
   を備え、
   前記取得手段は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、
   前記指示手段は、前記取得手段により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とする文書表示制御装置。
2. 前記指示手段は、前記複数の画面のうち、指定された時刻を示す時刻情報に関連付けられた画面の表示を指示することを特徴とする請求項１に記載の文書表示制御装置。
3. 電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、
   前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
   前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
   を備え、
   前記取得手段は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、
   前記抽出手段は、前記投影装置により投影された前記電子文書の画像に基づいて、前記取得手段により取得された前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とする文書表示制御装置。
4. 電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、
   前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
   前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
   を備え、
   前記特定手段は、前記部分画像における前記電子文書の文書要素が配置された領域の形状と、前記電子文書における当該電子文書の文書要素が配置された領域の形状とに基づいて、前記電子文書を特定することを特徴とする文書表示制御装置。
5. 電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する取得手段と、
   前記取得手段により取得された前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分画像に基づいて、前記電子文書を特定する特定手段と、
   前記取得手段により取得された前記撮像画像を表す画面であって、前記抽出手段により抽出された前記部分画像の位置に、前記特定手段により特定された前記電子文書に関連付けられた表示要素を含む画面の表示を指示する指示手段と
   を備え、
   前記指示手段は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とする文書表示制御装置。
6. コンピュータに、
   電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、
   前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、
   前記部分画像に基づいて、前記電子文書を特定する機能と、
   前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能と
   を実現させ、
   前記取得する機能は、媒体が貼られるごとに前記面を撮像することによって得られた複数の撮像画像と、当該複数の撮像画像が得られた複数の時刻をそれぞれ示す複数の時刻情報とを取得し、
   前記指示する機能は、前記取得する機能により取得された前記複数の撮像画像をそれぞれ表す複数の画面であって、各画面が、前記取得手段により取得された前記複数の時刻情報のうち当該各画面が表す撮像画像が得られた時刻を示す時刻情報に関連付けられた複数の画面の表示を指示することを特徴とするプログラム。
7. コンピュータに、
   電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、
   前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、
   前記部分画像に基づいて、前記電子文書を特定する機能と、
   前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能と
   を実現させ、
   前記取得する機能は、電子文書の画像が投影装置により投影された前記面を撮像することによって得られた撮像画像を取得し、
   前記抽出する機能は、前記投影装置により投影された前記電子文書の画像に基づいて、前記撮像画像から、当該電子文書の画像が投影された部分の部分画像を抽出することを特徴とするプログラム。
8. コンピュータに、
   電子文書が印刷された媒体が貼られた面を撮像することによって得られた撮像画像を取得する機能と、
   前記撮像画像から、前記媒体が貼られた部分の部分画像を抽出する機能と、
   前記部分画像に基づいて、前記電子文書を特定する機能と、
   前記撮像画像を表す画面であって、前記部分画像の位置に、前記電子文書に関連付けられた表示要素を含む画面の表示を指示する機能と
   を実現させ、
   前記指示する機能は、前記電子文書を参照するための情報が埋め込まれた前記表示要素を含む前記画面の表示を指示することを特徴とするプログラム。

Images