JP6447066B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、電子黒板に描画された標章画像の編集に好適な画像処理装置、画像処理方法、及びプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上にユーザが文字や数字、図形等のストローク画像を描画可能な電子情報ボードが利用されている。
このような電子情報ボードは、パソコンを接続することによって、接続したパソコンの画面を大きく映すことができ、企業や行政機関の会議におけるプレゼンテーション等や教育機関等で用いられている。電子情報ボードに搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているパソコンを操作する、（１）タッチパネルを介したパソコン操作機能、が提供されている。さらに、接続したパソコン上で動作する、電子黒板アプリケーションソフトウエアがこれらの機器と一緒に提供されている。このアプリケーションソフトウエアは、黒板の役割をする画面を提供し、その画面上に手書き文字などをタッチパネルを介して描く機能、このアプリケーションを提供するパソコンの画面を取り込んで、その上に手書き画像を重畳して描く機能など、（２）タッチパネルを介した手書機能、が提供されている。

このような手書き機能が動作する電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指摘事項等の書き込みを行い、さらに必要に応じて書き込み画像を含む画面内容を記録することができ、その結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。
また、手書き情報を保存しておき、後日読み込むことで、会議の継続を可能とした電子情報ボードも報告されておいる。
このような電子情報ボードの一例として、特許文献１には、複数のレイヤを有する手書き文書を容易に扱う目的で、レイヤ作成手段により作成したレイヤに手書き描画を行い、ストローク画像を保存する手段が開示されている。

上述した電子情報ボードでは、手書き文字認識機能や、図形（線、四角、丸）・画像（ＳＶＧ画像）描画機能が搭載されている。しかしながら、手書き文字認識機能や描画機能により描画されたテキストや図形・画像などを保存しておき、保存しておいた文字・図形・画像を再度読み込んで編集できないといった問題があった。
特許文献１にあっては、レイヤを作成し、手書き描画されたストローク画像を保存する点が開示されている。しかし、文字・図形・画像を保存しておき、保存しておいた文字・図形・画像を再度読み込んで編集できないという問題は解消できていない。
すなわち、文字、記号または図形、若しくはこれらの結合を表す標章画像を保存した後に、再度読み込んでも編集できないといった問題があった。
本発明は、上記に鑑みてなされたもので、その目的は、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することにある。

請求項１記載の発明は、上記課題を解決するため、ストロークを第１レイヤに描画する手書き画像描画部と、文字、記号または図形、若しくはこれらの結合を表す標章画像を前記第１レイヤよりも下層の第２レイヤに描画する標章画像描画部と、外部から取得した外部画像を前記第２レイヤよりも下層の第３レイヤに描画する外部画像描画部と、を備えた画像処理装置であって、前記第１レイヤに描画された前記ストローク、前記第２レイヤに描画された前記標章画像、前記第３レイヤに描画された前記外部画像を、直列化してテキスト形式のデータに変換するシリアライズ部と、前記シリアライズ部により変換されたテキスト形式のデータを圧縮した圧縮データをＰＤＦ文書に埋め込み、さらに、書誌情報を付加してＰＤＦ文書データを作成する文書作成部と、作成された前記ＰＤＦ文書データを読み込むＰＤＦ読み込み部と、を備え、前記ＰＤＦ読み込み部は、該ＰＤＦ文書データに付加された前記書誌情報に応じて、該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データであるか否かを判断し、該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データでない場合には、該ＰＤＦ文書データを画像として読み込み、該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データである場合には、前記ＰＤＦ文書データに埋め込まれた前記圧縮データを解凍し、解凍された前記テキスト形式のデータに基づいて、前記ストロークを前記第１レイヤに再現し、且つ、前記標章画像を前記第２レイヤに再現し、且つ、前記外部画像を前記第３レイヤに再現することを特徴とする。

本発明によれば、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

本実施形態の画像処理システムの全体構成図である。 電子黒板のハードウェア構成図である。 電子黒板の機能ブロック図である。 ファイル処理部の機能ブロック図である。 サーバ部及び送信制御部の機能ブロック図である。 ページデータを示す概念図である。 ストロークデータを示す概念図である。 座標配列データを示す概念図である。 メディアデータを示す概念図である。 遠隔ライセンス管理テーブルを示す概念図である。 アドレス帳管理テーブルを示す概念図である。 バックアップデータを示す概念図である。 接続先管理テーブルを示す概念図である。 参加拠点管理テーブルを示す概念図である。 操作データを示す概念図である。 各画像レイヤの構成図である。 各電子黒板の処理を示したシーケンス図である。 各電子黒板の処理を示したシーケンス図である。 図３に示すファイル処理部の詳細な機能ブロック図である。 各画像レイヤの構成図である。 本発明の実施形態に係るＰＤＦ作成部の動作を表す保存フロー図である。 本発明の実施形態に係るＰＤＦ読み込み部の動作を表す読み込みフロー図である。 文字結合部の動作を表す文字結合フロー図である。 （ａ）（ｂ）は日本語の文書に対する文字結合について説明するための図である。 （ａ）（ｂ）は英語の文書に対する文字結合について説明するための図である。

以下、図面を用いて、本発明の一実施形態を説明する。
＜システムの概要＞
図１は、本実施形態の画像処理システムの全体構成図である。なお、図１では、説明を簡略化するために、２台の電子黒板２ａ、２ｂ及びこれに付随する電子ペン４ａ、４ｂ等を示しているだけであって、３台以上の電子黒板や電子ペン等を利用してもよい。
図１に示されているように、画像処理システム１は、複数の電子黒板２ａ、２ｂ、複数の電子ペン４ａ、４ｂ、ＵＳＢメモリ５ａ、５ｂ、ノートＰＣ（Personal Computer）６ａ、６ｂ、テレビ（ビデオ）会議端末７ａ、７ｂ、及びＰＣ８を有する。また、電子黒板２ａ、２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の電子黒板２ａ、２ｂには、それぞれディスプレイ３ａ、３ｂが設けられている
また、電子黒板２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、電子黒板２ａには、ＵＳＢメモリ５ａが接続可能であり、電子黒板２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、電子黒板２ａはＵＳＢメモリ５ａに電子ファイルを記録することができる。また、電子黒板２ａには、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）及びＶＧＡ（Video Graphics Array）等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、電子黒板２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、電子黒板２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、電子黒板２ａと通信してもよい。

一方、電子黒板２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた電子黒板２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。
これにより、一の拠点で電子黒板２ａのディスプレイ３ａ上に描画された画像は、他の拠点で電子黒板２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で電子黒板２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で電子黒板２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノードＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ（Local Area Network）、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜電子黒板のハードウェア構成＞
続いて、図２を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図２は、電子黒板のハードウェア構成図である。
図２に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、電子黒板２用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。
また、電子黒板２は、ノートＰＣ６のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ（Graphics Processing Unit）１１２、及び、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１０５を備えている。

更に、電子黒板２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置（不図示）が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ（Identification）をセンサコントローラ１１４に出力し、センサコントローラ１１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。
また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。

また、電子黒板２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、及び電子ペンコントローラ１１６を、図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。
なお、電子黒板２用のプログラムは、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

＜電子黒板の機能構成＞
続いて、図３乃至図１６を用いて、電子黒板の機能構成について説明する。なお、先ずは、図３を用いて、電子黒板２の全体的な機能構成について説明する。図３は、電子黒板の機能ブロック図である。
電子黒板２は、図２に示されているハードウェア構成及びプログラムによって、図３にされている各機能構成を有する。電子黒板２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。クライアント部２０及びサーバ部９０は、電子黒板２の１台の筐体内で実現される機能である。そして、電子黒板２が主催装置となる場合には、この電子黒板２では、クライアント部２０とサーバ部９０が実現される。また、電子黒板２が参加装置となる場合には、この電子黒板２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図１において、電子黒板２ａが主催装置で、電子黒板２ｂが参加装置となる場合、電子黒板２ａのクライアント部２０は、同じ電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ｂのクライアント部２０と通信を行う。一方、電子黒板２ｂのクライアント部２０は、他の電子黒板２ａ内に実現されたサーバ部９０を介して、他の電子黒板２ａのクライアント部と通信を行う。

〔クライアント部２０の機能構成〕
続いて、主に図３乃至図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。
このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器の出力映像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。
座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、電子黒板２の起動時に起動され、接触センサ１１５が座標検知部２２に適切な値を出力できるように、接触センサ１１５の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン３のペン尻が押下（タッチ）された動作等）を検出する。
イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。
ここで、「ストローク描画」は、ディスプレイ３上に図１６に示されている後述のストローク（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集するイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図１６に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ３上に図１６に示されている後述のストローク（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。
操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素に従って、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として映像出力機器（ディスプレイ３等）に対して表示する。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。
画像処理部３０は、図１６に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。
このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図１６に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、ストロークを描画したり、描画されたストロークを削除したり、描画されたストロークを編集する。このストローク描画による画像は、図１６に示されているストローク（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部８４０に記憶される。
ＵＩ画像生成部３３は、電子黒板２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図１６に示されているＵＩ画像（Ａ）に相当する。
背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図１６に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。
ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク（Ｂ）のデータは、図６に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図６に示されているメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製することもできる。
即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトに従って重畳する。これにより、図１６に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。
また、表示重畳部３６は、図１６に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、電子黒板２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

ページデータ記憶部３００は、図６に示されているようなページデータを記憶する。図６は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図６乃至９に分けて、ページデータの内容を説明する。
ページデータは、図６に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図１６に示されているストローク（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の１６に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、図７に示されているように詳細な情報を示している。図７は、ストローク配列データを示す概念図である。図７に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。
更に、この座標配列データは、図８に示されているように詳細な情報を示している。図８は、座標配列データを示す概念図である。図８に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開示時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、図８に示されている１点の集まりが、図７に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、図６に示されているページデータのうちのメディアデータは、図９に示されているように詳細な情報を示している。図９は、メディアデータを示す概念図である。図９に示されているように、メディアデータは、図６に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。
また、図３に戻り、遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、図１０に示されているように、電子黒板３のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。

（ファイル処理部４０の機能構成）
続いて、図４を用いて、図３に示されているファイル処理部４０の機能構成を説明する。なお、図４は、ファイル処理部の機能ブロック図である。
ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、及び設定ファイル出力部４９ｂを有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有している。
このうち、リカバリ処理部４１は、電子黒板２が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。
ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。

ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。
ファイル出力部４２ｂは、ファイル変換部４２によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。
ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、図１１に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。

アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０に管理する。
バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図１２に示されているように、ＰＤＦ形式で記憶される。
バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
設定管理部４８は、電子黒板２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ（Domain Name System）の設定等である。
設定ファイル出力部４９ｂは、電子黒板２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。

アドレス帳入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０に管理する。なお、図１３に示されているように、接続先管理テーブル４４０は、電子黒板２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての電子黒板２が設置されている拠点の名称、及び主催装置としての電子黒板２のＩＰアドレスが関連付けて管理されている。
なお、接続先管理テーブル４４０は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。

（通信制御部６０の機能構成）
次に、図５を用いて、通信制御部６０の機能構成について説明する。
通信制御部６０は、通信ネットワーク９を介して、他の電子黒板２と行う通信や、サーバ部９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６３、遠隔操作受信部６６、及び参加拠点管理テーブル６１０を有している。
このうち、遠隔開始処理部６１は、同じ電子黒板２のサーバ部９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
参加拠点管理テーブル６１０は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル６１０では、図１４に示されているように、参加中の電子黒板２が設置されている拠点の名称及び当該電子黒板２のＩＰアドレスが関連付けて管理されている。

遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての電子黒板２のサーバ部９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の電子黒板２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板２のＩＰアドレスが入力されてもよい。
遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、サーバ部９０に送信する。
遠隔画像受信部６４は、サーバ部９０から、他の電子黒板２に接続された映像出力機器からの画像データを受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ部９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ部９０から、他の電子黒板２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。

〔サーバ部の機能構成〕
続いて、図５を用いて、サーバ部９０の機能構成について説明する。サーバ部９０は、各電子黒板２に設けられており、いずれの電子黒板２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。

（通信制御部７０の機能構成）
次に、図５を用いて、通信制御部７０の機能構成について説明する。
通信制御部７０は、同じ電子黒板２内のクライアント部２０における通信制御部７０、及び通信ネットワーク９を介して他の電子黒板２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。
更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び遠隔操作送信部７５を有している。
このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信する。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信する。

遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを送信する。
遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク（Ｂ）等のデータ）を受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを送信する。

（データ管理部の機能構成）
次に、図５を用いて、データ管理部８０の機能構成について説明する。
データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有している。更に、サーバ部９０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ記憶部８３０、操作データ記憶部８４０、及びページデータ記憶部８５０を有している。
このうち、遠隔接続処理部８１は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント部としての他の電子黒板２からの参加要求が予め定められた参加可能数を超えていないかを確認する。
更に、遠隔接続処理部８１は、他の電子黒板２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板２のユーザが、主催装置としての電子黒板２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。

また、電子黒板２が主催装置の場合、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント部２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブルに６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部２０及びサーバ部９０の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部８２は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）に接続された映像出力機器（ノートＰＣ６等）からの画像データ（出力画像（Ｃ））を受信して画像データ記憶部８３０に記憶すると共に、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判定した順番で画像データを送信する。
遠隔操作処理部８３は、遠隔共有処理中の各電子黒板２のクライアント部（主催装置である自己の電子黒板のクライアント部を含む）で描画されたストローク等の各種操作データ（ストローク（Ｂ）等）を受信し、主催装置である自己の電子黒板２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての電子黒板２のクライアント部２０（主催装置である自己の電子黒板のクライアント部を含む）に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各電子黒板２の操作データを合成し、この合成結果としての操作データを、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である電子黒板のクライアント部、及び参加装置である電子黒板のクライアント部のそれぞれに送信されることで、各電子黒板２で同じ操作データに係る画像が表示される。そのために、操作データは、図１５に示されているように、ＳＥＱ（Ｓｅｑｕｅｎｃｅ）、操作データの操作名、操作データの送信元である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のＰｏｒｔ Ｎｏ．、操作データの送信先である電子黒板２のＩＰアドレス及びクライアント部（サーバ部）のＰｏｒｔ Ｎｏ．、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、ＳＥＱ１では、主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のクライアント部（Ｐｏｒｔ Ｎｏ．：５０００１）でストロークが描画されると、同じ主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のサーバ部（Ｐｏｒｔ Ｎｏ．：５００００）に操作データが送られたことが示されている。この場合の操作種類は「ＳＴＲＯＫＥ」、操作対象はページデータＩＤ「ｐ００５」、及び、操作データの内容を示すデータはストロークを示すデータである。また、ＳＥＱ２では、主催装置である電子黒板（ＩＰアドレス：１９２．０．０．１）のサーバ部（Ｐｏｒｔ Ｎｏ．：５００００）から、参加装置である他の電子黒板（ＩＰアドレス：１９２．０．０．１）のクライアント部（Ｐｏｒｔ Ｎｏ．：５０００１）に、操作データが送られたことが示されている。

なお、操作合成処理部８４は、この操作合成処理部８４に操作データが入力された順に合成を行うため、通信ネットワーク９が混雑していなければ、各電子黒板２のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板２のディスプレイ３にストローク（Ｂ）が表示される。
ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ部９０でも、図６乃至図８に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。

＜実施形態の処理又は動作＞
続いて、図１７及び図１８を用いて、本実施形態の処理又は動作について説明する。なお、図１７及び図１８は、各電子黒板の処理を示したシーケンス図である。
図１７及び図１８に示す実施形態では、電子黒板２ａが遠隔共有処理を主催する主催装置（サーバ部及びクライアント部）としての役割を果たしており、電子黒板２ｂ、２ｃが遠隔共有処理に参加する参加装置（クライアント部）としての役割を果たす場合について説明する。また、ここでは、電子黒板２ａ、２ｂ、２ｃには、それぞれディスプレイ３ａ、３ｂ、３ｃが接続され、更に、それぞれノートＰＣ６ａ、６ｂ、６ｃが接続されている。また、電子黒板２ａ、２ｂ、２ｃでは、それぞれ電子ペン４ａ、４ｂ、４ｃが使用される。

（参加の処理）
まずは、図１７を用いて、電子黒板２ｂ、２ｃが遠隔共有処理に参加するための処理について説明する。
ユーザが電子黒板２ａの電源スイッチをオンにすると、電子黒板２ａのクライアント部２０が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部９０を起動させる操作をすると、クライアント部２０の遠隔開始処理部６１から同じ電子黒板２ａのサーバ部９０における遠隔接続要求受信部７１に、サーバ部９０の処理を開始させる指示を出力する。これにより、電子黒板２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２１）。
次に、電子黒板２ａのクライアント部２０におけるＵＩ画像生成部３３が電子黒板２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部２８から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、図５に示されている遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。更に、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、図３に示されている画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板２ａのユーザによって、電話や電子メールにより、電子黒板２ｂ、２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。

次に、電子黒板２ｂ、２ｃでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板２ａ、２ｂのクライアント部２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、電子黒板２ａのサーバ部９０における通信制御部７０に対してパスコードを送信して参加要求を行う（ステップＳ２３、Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各電子黒板２ｂ、２ｃから、参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。
次に、遠隔接続処理部８１は、各電子黒板２ｂ、２ｃのから受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。そして、遠隔接続結果送信部７２が、各電子黒板２ｂ、２ｃのクライアント部２０に認証結果を通知する（ステップＳ２６、Ｓ２７）。ステップＳ２５の認証により、各電子黒板２ｂ、２ｃが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板２ａと、参加装置である電子黒板２ｂ、２ｃとの遠隔共有処理の通信が確立され、各電子黒板２ｂ、２ｃのクライアント部２０における遠隔参加処理部６２が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする（ステップＳ２８、Ｓ２９）。

（出力画像の表示）
続いて、図１７を用いて、遠隔共有処理における出力画像（Ｃ）が表示される処理について説明する。
まず、電子黒板２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、電子黒板２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６及び映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。
次に、電子黒板２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が通信ネットワーク９を介して、主催装置である電子黒板２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。これにより、電子黒板２ａの遠隔画像受信部７３は、出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ記憶部８３０に出力画像（Ｃ）のデータを記憶する。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、電子黒板２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。
次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔画像送信部７４を含む通信制御部７０は、通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。これにより、参加装置である電子黒板２ｃの遠隔画像受信部６４は、出力画像（Ｃ）のデータを受信する。

次に、電子黒板２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、電子黒板２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。
なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、及びストローク（Ｂ）の各データが、映像重畳部２８に入力されている場合には、表示重畳部３６により、重畳画像（Ａ、Ｂ、Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ、Ｂ、Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ、Ｂ、Ｃ）にピクチャ・イン・ピクチャによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。

（重畳画像の表示）
続いて、図１８を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
まず、電子黒板２ｂは、ユーザが電子ペン４ｂを用いて電子黒板２ｂにストローク（Ｂ）を描画する（ステップＳ４１）。
次に、電子黒板２ｂの表示重畳部３６は、図１６に示されているように、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク（Ｂ）を重畳し、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ、Ｂ、Ｃ）を表示させる（ステップＳ４２）。具体的には、電子黒板２ｂのストローク処理部３２が座標検知部２１及び接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）のデータを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク（Ｂ）を重畳することができ、映像重畳部２８が電子黒板２ｂのディスプレイ３ｂ上に重畳画像（Ａ、Ｂ、Ｃ）を表示させることができる。

次に、電子黒板２ｂのストローク処理部３２を含む画像処理部３０が、遠隔操作送信部６５にストローク（Ｂ）のデータを送信することで、電子黒板２ｂの遠隔操作送信部６５は、通信ネットワーク２を介して、主催装置である電子黒板２ａの通信制御部７０にストローク（Ｂ）のデータを送信する（ステップＳ４３）。これにより、電子黒板２ａの遠隔操作受信部７５は、ストローク（Ｂ）のデータを受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク（Ｂ）のデータを出力する。このようにして、電子黒板２ｂで描画されたストローク（Ｂ）のデータは、描画される度に、主催装置である電子黒板２ａの遠隔操作処理部８３に順次送信される。このストローク（Ｂ）のデータは、図７に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク（Ｂ）のデータが順次送信される。

次に、主催装置である電子黒板２ａは、ディスプレイ３ａに、電子黒板２ｂから送られて来たストローク（Ｂ）のデータが含まれた重畳画像（Ａ、Ｂ、Ｃ）を表示する（ステップＳ４４）。具体的には、電子黒板２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶するとともに遠隔操作処理部８３に戻す。これにより、遠隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である電子黒板２ａのクライアント部２０における遠隔操作受信部６６に、合成後のストローク（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、合成後のストローク（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ、Ｂ、Ｃ）をディスプレイ３ａ上に表示させる。

次に、主催装置としての電子黒板２ａのサーバ部９０における遠隔操作送信部７６を含む通信制御部７０は、通信ネットワーク９を介して、ストローク（Ｂ）のデータの送信元である電子黒板２ｂ以外の電子黒板２ｃの通信制御部６０に、合成後のストローク（Ｂ）のデータを送信する（ステップＳ４５）。これにより、参加装置である電子黒板２ｃの遠隔操作受信部６６は、合成後のストローク（Ｂ）のデータを受信する。
次に、電子黒板２ｃは、ディスプレイ３ｃに重畳画像（Ａ、Ｂ、Ｃ）を表示する（ステップＳ３４）。具体的には、電子黒板２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク（Ｂ）のデータを、電子黒板２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）の各データと、合成後のストローク（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ、Ｂ、Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ、Ｂ、Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ、Ｂ、Ｃ）を表示する。
なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。

（参加の終了）
続いて、図１８を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図１８に示す実施形態では、電子黒板２ｃが参加を終了する処理が示されている。
まず、電子黒板２ｃでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての電子黒板２ａのサーバ部９０における通信制御部７０に、参加の終了要求を行う（ステップＳ４７）。これにより、通信制御部７０の遠隔接続要求受信部７１は、電子黒板２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、電子黒板２ｃのＩＰアドレスとともに参加の終了要求を出力する。そして、電子黒板２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った電子黒板２ｃのＩＰアドレス及び電子黒板２ｃが設置されている拠点の名称を削除し、遠隔接続結果送信部７２に、電子黒板２ｃのＩＰアドレス及び削除した旨の通知を出力する。
次に、遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、電子黒板２ｃのクライアント部２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、電子黒板２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。

本発明の実施形態について説明する。本発明は、電子情報ボードにおける情報保存処理に際して、以下の特徴を有する。
本発明は、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集するために、以下の構成を有する。
すなわち、本発明の画像処理装置は、ストロークを第１レイヤに描画する手書き画像描画部と、
文字、記号または図形、若しくはこれらの結合を表す標章画像を第１レイヤよりも下層の第２レイヤに描画する標章画像描画部と、外部から取得した外部画像を第２レイヤよりも下層の第３レイヤに描画する外部画像描画部と、を備えた画像処理装置であって、第１レイヤに描画されたストローク、前記第２レイヤに描画された標章画像、第３レイヤに描画された外部画像を、直列化してテキスト形式のデータに変換するシリアライズ部と、シリアライズ部により変換されたテキスト形式のデータに基づいて、１つのページ分の文書データを作成する文書作成部と、を備えることを特徴とする。
以上の構成を備えることにより、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。

図１９を用いて、図３に示すファイル処理部４０の詳細な機能ブロック図について説明する。
図１９に示すように、ファイル処理部４０は、手書き画像描画部２０１、手書き認識部２０３、標章画像描画部２０５、外部画像描画部２０７、ページ管理部２０９、シリアライザ部２１１、デシリアライザ部２１３、ＰＤＦ作成部２１５、ＰＤＦ保存部２１７、ＰＤＦ読み込み部２１９を備えている。
手書き画像描画部２０１は、ストローク処理部３２から取得した、手書きされたストローク（情報）をストロークレイヤ（Ａ）に描画する。
手書き認識部２０３は、後述するストロークレイヤ（Ａ）に描画されたストロークにより形成される文字画像に対して周知の文字認識技術を用いて文字画像から文字認識を行う。手書き認識部２０３は、手書き文字画像の文字認識を行うことにより、文字コード、文字コードの種別、文字画像の大きさ及び文字画像の表示位置等の文字情報を取得し、複数の文字に対して文字認識を行った結果として複数の文字情報が含まれる文字リストを生成する。

標章画像描画部２０５は、後述する標章レイヤ（Ｂ）に文字や図形、また線や四角、丸等の標章画像を描画する。すなわち、標章画像描画部２０５は、文字、記号または図形、若しくはこれらの結合を表す標章画像をストロークレイヤ（Ａ）よりも下層の標章レイヤ（Ｂ）（第２レイヤ）に描画する。
外部画像描画部２０７は、ＪＰＥＧやＳＶＧ（Scalable Vector Graphics）画像等を外部画像レイヤ（Ｃ）に描画する。
また、ページ管理部２０９は、ページデータのリストを保持し、ページの追加・削除等の処理を行う。
シリアライザ部２１１は、ページデータをシリアライズし、テキスト形式に変換する。なお、テキスト形式は、ＸＭＬ（eXtensible Markup Language）、ＪＳＯＮ(JavaScript（登録商標） Object Notation)等が用いられる。
ここで、シリアライズ処理とは、１つのプログラムの実行中に参照される複数のオブジェクトを、他のプログラムに対し転送可能なデータ形式に変換する処理である。シリアライズ処理を行うことで、複数のオブジェクトを、ファイル化できるデータ形式に変換することができる。なお、デシリアライズ処理は、このようなシリアライズの逆変換を表す。

ＰＤＦ保存部２１７は、ページに描かれた情報（ページデータ）を保存する。ＰＤＦ保存部２１７は、保存の際に、シリアライザ部２１１を用いて、ページデータをシリアライズし、テキスト形式に変換する。
ＰＤＦ作成部２１５は、このシリアライズデータを用いて、ＰＤＦ文書を作成し、手書きストローク、標章画像をＰＤＦ文書のページに描画する。また、ＰＤＦ作成部２１５は、ＺＩＰ等の圧縮処理ソフトウエアを用いてシリアライズデータを圧縮し、ページに埋め込み、ＵＳＢメモリ５（図３）にＰＤＦ文書として保存する。
デシリアライザ部２１３は、シリアライズ処理により独自の形式に変換され、ファイルに保存されたデータを元のデータ形式に復元する。
ＰＤＦ読み込み部２１９は、ＵＳＢメモリ５（図３）から取得したＰＤＦ文書に付加されているＰＤＦ書誌情報に基づいて、上記ＰＤＦ作成部２１５が作成したＰＤＦ文書であるか否かを判断する。ＰＤＦ読み込み部２１９は、ＰＤＦ文書である場合に、ページに貼り付けられた外部画像を抽出し、当該ページに埋め込まれた圧縮されたシリアライズデータを抽出して解凍する。さらに、ＰＤＦ読み込み部２１９は、シリアライズデータをデシリアライズして元のデータ形式に直列化復元し、ページを作成し、ページ管理部２０９に追加する。

次いで、図２０を用いて、汎用ファイルのレイヤ構成について説明する。なお、本実施形態では、図１６に示す汎用ファイルのレイヤ構成に代わって、図２０に示すレイヤ構成を使用してもよい。
ＰＤＦ文書は、上層から下層に向けて、ストロークレイヤ（Ａ）、標章レイヤ（Ｂ）、外部画像レイヤ（Ｃ）を有している。
ストロークレイヤ（Ａ）は、手書きストロークを描画するためのレイヤである。ストロークレイヤ（Ａ）は、手書き画像を強調するために、最前面に配置する。
標章レイヤ（Ｂ）は、手書き認識した文字・記号・図形、テキストボックスで入力した文字、ツールバー等で選択した図形（線、丸、四角、△等）を描画するためのレイヤである。
外部画像レイヤ（Ｃ）は、図３に示すノートＰＣ６から映像取得部２１、画像取得部３１を経由してキャプチャーしたＰＣ画面を外部画像として中央に表示するためのレイヤである。
なお、ホワイトボード側のページでも同様のレイヤ構成を採る。

次いで、図２１を用いて、本発明の実施形態に係るＰＤＦ作成部２１５の動作を表す保存フローについて説明する。
電子黒板２の情報（電子黒板データ）を保存する際、シリアライザ部２１１は、まずページ毎に、ストローク、標章画像、外部画像の各データをシリアライズする。シリアライザ部２１３では、ページ情報をＪＳＯＮ形式に変換する。なお、どのようなフォーマット形式を採用するかは実装に依存する。
ＸＭＬ、ＪＳＯＮ等のテキスト形式により構成されるシリアライズデータをＰＤＦ作成部２１５に出力する（Ｓ１０１）。
このテキストファイルをＺＩＰで圧縮して、ＰＤＦ文書のページに埋め込む（図２０参照）。なお、ＰＤＦ作成部２１５は、電子黒板２のページ数分だけ取得しておくこととする。
シリアライザ部２１１から出力されたシリアライズデータは、ＰＤＦ文書に設定するパスワード、書誌情報とともに、ＰＤＦ作成部２１５に渡される。なお、パスワードは、必要な場合にのみ渡す。
ＰＤＦ作成部２１５は、ＰＤＦ文書を作成する（Ｓ１０３）。
ＰＤＦ作成部２１５は、ＰＤＦパスワードをＰＤＦ文書に設定し（Ｓ１０５）、ＰＤＦ書誌情報を設定し（Ｓ１０７）、外部画像レイヤ（Ｃ）を作成する（Ｓ１０９）。さらに、ＰＤＦ作成部２１５は、標章レイヤ（Ｂ）を作成し（Ｓ１１１）、ストロークレイヤ（Ａ）を作成する（Ｓ１１３）。

次いで、ＰＤＦ作成部２１５は、処理番号としてページ番号Ｐ＝１をメモリに設定する（Ｓ１１５）。
そして、ＰＤＦ作成部２１５は、ノートＰＣ６の外部画像や、ＵＳＢメモリ５からＭｉｃｒｏｓｏｆｔ ＰｏｗｅｒＰｏｉｎｔ（登録商標）等のファイルを読み込み、そのファイルを画像化した画像を取得（Ｓ１１７）する。
次いで、ＰＤＦ作成部２１５は、取得した外部画像を外部画像レイヤ（Ｃ）に貼り付ける（Ｓ１１９）。
次いで、ＰＤＦ作成部２１５は、シリアライズデータに従い、標章画像を標章レイヤ（Ｂ）に描画する（Ｓ１２１）。
同様に、ＰＤＦ作成部２１５は、シリアライズデータに従い、ストロークをストロークレイヤ（Ａ）に描画する（Ｓ１２３）。
さらに、ＰＤＦ作成部２１５は、シリアライズデータをＺＩＰ等で圧縮し、当該ページに埋め込み、ＵＳＢメモリ５（図３）にＰＤＦ文書として保存する（Ｓ１２５）。
次いで、ＰＤＦ作成部２１５は、メモリに設定されている処理番号としてページ番号Ｐ＝ｎか否かを判断する。ここで、ＰＤＦ作成部２１５は、ページ番号Ｐ＝ｎである場合には処理を終了し、一方、ページ番号Ｐ＝ｎに到達していない場合にはステップＳ１２９に進む。
ステップＳ１２９では、ＰＤＦ作成部２１５は、処理番号としてページ番号Ｐ＝Ｐ＋１（インクリメント）をメモリに設定し、ステップＳ１１７に戻る。

このように、ストローク、標章画像、外部画像等を、直列化してテキスト形式のデータに変換し、変換されたテキスト形式のデータに基づいて、１つのページ分の文書データを作成するので、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。
また、文書データとしてＰＤＦ文書を作成することで、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

次いで、図２２を用いて、本発明の実施形態に係るＰＤＦ読み込み部２１９の動作を表す読み込みフローについて説明する。
まず、ＰＤＦ読み込み部２１９は、ＵＳＢメモリ５（図３）からＰＤＦ文書を取得し（Ｓ１４１）、ＰＤＦ文書に付加されているＰＤＦ書誌情報を読み込む（Ｓ１４３）。読み込んだＰＤＦ書誌情報に基づいて、上記ＰＤＦ作成部２１５が上述した方法により作成したＰＤＦ文書であるか否かを判断する（Ｓ１４５）。上記ＰＤＦ作成部２１５が上述した方法により作成したＰＤＦ文書である場合にはＳ１４９に進む。一方、上記ＰＤＦ作成部２１５が上述した方法により作成したＰＤＦ文書ではない場合はＳ１４７に進む。
ＰＤＦ読み込み部２１９は、当該方法により作成したＰＤＦ文書ではない場合に（Ｓ１４５、Ｎｏ）、ＰＤＦ文書を画像として読み込む（Ｓ１４７）。
一方、ＰＤＦ読み込み部２１９は、当該方法により作成したＰＤＦ文書の場合に（Ｓ１４５、Ｙｅｓ）、処理番号としてページ番号Ｐ＝１をメモリに設定する。

次いで、ＰＤＦ読み込み部２１９は、当該ページに貼り付けられた外部画像を抽出し（Ｓ１５１）、当該ページに埋め込まれた圧縮されたシリアライズデータを抽出する（Ｓ１５３）。
次いで、ＰＤＦ読み込み部２１９は、圧縮されたシリアライズデータを解凍する（Ｓ１５５）。
次いで、ＰＤＦ読み込み部２１９は、デシリアライザ部２１３を用いてシリアライズデータを直列化復元して元のデータ形式に復元し、ページを作成する（Ｓ１５７）。
すなわち、デシリアライザ部２１３では、まず［１］ＰＤＦファイルからＺＩＰファイルを抽出する。この結果、ページ数分のＺＩＰファイルが抽出される。次いで、［２］ＺＩＰファイルを解凍してテキストファイルを取得する。次いで、［３］テキストファイル内の情報をデシリアライズし、ページオブジェクトを作成する。次いで、［４］ページオブジェクトをページ管理部２０９に追加する。次いで、［５］上記［２］〜［４］の各処理をページ数分行う。

次いで、ＰＤＦ読み込み部２１９は、復元後のページに、ステップＳ１５１において抽出したストローク、外部画像を追加する（Ｓ１５９）。
次いで、ＰＤＦ読み込み部２１９は、作成したページを対象ページの末尾に追加する（Ｓ１６１）。このように、ページオブジェクトを追加すると、ページオブジェクトはページリストの末尾に追加される。
次いで、ＰＤＦ読み込み部２１９は、メモリに設定されている処理番号としてページ番号Ｐ＝ｎか否かを判断する。ここで、ＰＤＦ読み込み部２１９は、ページ番号Ｐ＝ｎである場合には処理を終了し、一方、ページ番号Ｐ＝ｎに到達していない場合にはステップＳ１６５に進む。
ステップＳ１６５では、ＰＤＦ読み込み部２１９は、処理番号としてページ番号Ｐ＝Ｐ＋１（インクリメント）をメモリに設定し、ステップＳ１５１に戻る。

このように、文書データ内のテキスト形式のデータから１つのページを直列化復元するので、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

次いで、図２３を用いて、文字結合部２０３ａの動作を表す文字結合フローについて説明する。
図１９に示す手書き認識部２０３は、文字結合部２０３ａを備えている。手書き認識部２０３が認識した文字情報は、文字結合部２０３ａにより文字結合が可能な箇所に対して文字結合を行う。
ここで、手書き認識部２０３により生成された文字リストには、上述したように、複数の文字情報が含まれており、個々の文字情報はフォント名、フォントサイズ、ロケール、色、作成日時、文字表示領域の位置及び大きさ等の情報が含まれている。一方、２文字分のストロークが入力された場合、その間に例えば半角分のスペースが入ることもあり、文字認識の結果として少なくとも１つの半角スペースとして認識された文字コードが含まれることがある。なお、全角スペースの場合、ユーザが意図的に書いた可能性が高いので、本処理では全角スペースを削除しない。

本実施形態では、このような半角スペースを削除して文字情報同士を結合することで、読み易い文書情報を得る。
まず、文字結合部２０３ａは、上述した文字リストに含まれる処理中の文字情報のインデックス番号＝０をメモリに設定する（Ｓ１８１）。
次いで、文字結合部２０３ａは、全ての文字情報を調べたか否かを判断する（Ｓ１８３）。ここで、文字結合部２０３ａは、全ての文字情報を調べた場合には処理を終了する。一方、全ての文字情報を調べていない場合にはＳ１８５に進む。
文字結合部２０３ａは、１文字分の文字情報毎に隣の文字情報と文字結合が可能か否かをチェックする（Ｓ１８５）。ステップＳ１８５では、半角スペースで表される文字情報があるか否かを判断し、半角スペースがあれば文字結合が可能な場合とし、隣り合う文字情報同士の間にある半角スペースを削除して結合する。結合処理は再帰的に実行することで、隣り合う文字情報の位置を結合できる（Ｓ１８７）。なお、文字結合時に削除された半角スペースは、文字リストから削除することとする。
文字結合部２０３ａは、当該文字情報が結合したか否かを判断する（Ｓ１８９）。
文字結合部２０３ａは、当該文字情報が結合した場合には、調査中の文字情報のインデックス番号をデクリメント（−１）する（Ｓ１９１）。次いで、ステップＳ１９３に進み、文字結合部２０３ａは、調査中の文字情報のインデックス番号をインクリメント（＋１）し（Ｓ１９３）、ステップＳ１８３に戻り、文字リスト中の全ての文字情報をチェックするまで上述した処理を繰り返す。

このように、ストロークが表す文字画像に対して、文字認識処理を行って文字情報の文字列を取得しておき、取得された文字列上の隣り合う文字情報の間に不必要なスペースがある場合に、スペースを削除することにより隣り合う文字情報同士を結合して文字列を出力することで、ストロークから認識した文字を編集することができる。
また、ストロークから認識した文字を標章画像レイヤ（Ｂ）に描画することができる。

次いで、図２４（ａ）（ｂ）を用いて、日本語の文書に対する文字結合について説明する。
手書き認識部２０３で認識された文字は、１文字だけ消す、移動するといった処理に対応するため、電子黒板２内では、１文字ごとに管理される。
しかし、文書として管理する際は、１文字では意味をなさないため、隣接する文字情報を結合し、文字列とすることで管理し易くなる。これにより文字列検索等が容易になる。ＰＤＦ文書に保存する際にも、検索精度を向上するため、文字情報を結合してから、文字列として描画するとよい。
文字結合に際しては、隣合う文字のフォント名、フォントサイズ、色、高さ、全角・半角、ロケール（ｊａ＿ＪＰ、ｅｎ＿ＵＳ、ｄｅ＿ＤＥ等）の情報が共通であるか否かをチェックし、これらの情報が共通である文字群を文字列としてまとめる。
なお、文字情報が隣り合うとは、１つの文字の上下左右の何れか１つの辺に、次の文字の上下左右の何れか１つの辺が接していることをいう。文字結合の結果、図２４（ｂ）に示す例では、「モジュールＡの担当者は鈴木さんです」という１つの文字列となっている。
ここで、図２４（ａ）に示す文字列の先頭に１文字分のインデント（字下げ）があるが、当該インデントを表現するため、図２４（ｂ）に示すように、当該文字列の先頭に半角スペースを２つ挿入する。何個の半角スペースを挿入するかは、先頭文字の位置と、結合文字列を格納するテキストボックスの位置から計算できる。

次いで、図２５（ａ）（ｂ）を用いて、英語の文書に対する文字結合について説明する。
上述した日本語と同様に、英語の文書においても文字結合を行う。手書き認識部２０３で手書き認識された英語の文書は、電子黒板２内では、単語ごとに管理されている。図２５（ａ）に示すように、単語の後ろのスペースを合わせて１単語として扱えば、日本語の文書に対する文字結合の場合と同様に、図２５（ｂ）に示すように、文字結合を行うことができる。
この結果、文書の文字列検索性能を高めることができる。

本実施形態によれば、手書きストローク、文字、図形、画像をテキスト形式に変換し、当該テキスト情報に基づいて、汎用ファイルにこれらを描画する。この際、隣り合った文字は結合した文字列として、描画する。そして、当該テキストをページに埋め込む処理を行うので、手書きストローク、手書き認識された標章画像、貼り付けられた外部画像を汎用ファイルに保存し、文字に対しては文書検索を行うことができる。また、当該ファイルを読み込んで再編集を行うことができる。

＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の電子黒板２は、ストロークをストロークレイヤ（Ａ）（第１レイヤ）に描画する手書き画像描画部２０１と、文字、記号または図形、若しくはこれらの結合を表す標章画像をストロークレイヤ（Ａ）よりも下層の標章レイヤ（Ｂ）（第２レイヤ）に描画する標章画像描画部２０５と、外部から取得した背景画像を標章レイヤ（Ｂ）よりも下層の外部画像レイヤ（Ｃ）（第３レイヤ）に描画する外部画像描画部２０７と、を備え、さらに、ストロークレイヤ（Ａ）に描画されたストローク、標章レイヤ（Ｂ）に描画された標章画像、外部画像レイヤ（Ｃ）に描画された背景画像を、直列化してテキスト形式のデータに変換するシリアライザ（シリアライズ部）２１１と、シリアライザ部２１１により変換されたテキスト形式のデータに基づいて、１つのページ分の文書データを作成するＰＤＦ作成部（文書作成部）２１５と、を備えることを特徴とする。
本態様によれば、ストローク、標章画像、外部画像を、直列化してテキスト形式のデータに変換し、変換されたテキスト形式のデータに基づいて、１つのページ分の文書データを作成するので、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

＜第２態様＞
本態様の電子黒板２は、文書データ内のテキスト形式のデータから１つのページを直列化復元するデシリアライザ部２１３を備えることを特徴とする。
本態様によれば、文書データ内のテキスト形式のデータから１つのページを直列化復元するので、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

＜第３態様＞
本態様のＰＤＦ作成部２１５は、文書データとしてＰＤＦ文書を作成することを特徴とする。
本態様によれば、文書データとしてＰＤＦ文書を作成することで、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

＜第４態様＞
本態様の電子黒板２は、ストロークが表す文字画像に対して、文字認識処理を行って文字情報の文字列を取得する手書き認識部２０３と、手書き認識部２０３により取得された文字列上の隣り合う文字情報の間に不必要なスペースがある場合に、スペースを削除することにより隣り合う文字情報同士を結合して文字列を出力する文字結合部２０３ａと、を備えることを特徴とする。
本態様によれば、ストロークが表す文字画像に対して、文字認識処理を行って文字情報の文字列を取得しておき、取得された文字列上の隣り合う文字情報の間に不必要なスペースがある場合に、スペースを削除することにより隣り合う文字情報同士を結合して文字列を出力することで、ストロークから認識した文字を編集することができる。

＜第５態様＞
本態様の標章画像描画部２０５は、文字結合部２０３ａにより結合された文字列を標章レイヤ（Ｂ）（第２レイヤ）に描画することを特徴とする。
本態様によれば、ストロークから認識した文字を標章レイヤ（Ｂ）に描画することができる。

＜第６態様＞
本態様の画像処理方法は、第１態様乃至第５態様の何れか１つに記載の電子黒板２による画像処理方法であって、ストロークレイヤ（Ａ）（第１レイヤ）に描画されたストローク、標章レイヤ（Ｂ）（第２レイヤ）に描画された標章画像、外部画像レイヤ（Ｃ）（第３レイヤ）に描画された外部画像を、直列化してテキスト形式のデータに変換するシリアライズステップ（Ｓ１０１）と、シリアライズステップにより変換されたテキスト形式のデータに基づいて、１つのページ分の文書データを作成する文書作成ステップ（Ｓ１０３）と、を実行することを特徴とする。
本態様によれば、ストローク、標章画像、外部画像を、直列化してテキスト形式のデータに変換し、変換されたテキスト形式のデータに基づいて、１つのページ分の文書データを作成するので、電子黒板に描画された標章画像を汎用ファイルフォーマットで保存して活用するとともに、それを読み込んで再度、標章画像を編集することができる。

＜第７態様＞
本態様のプログラムは、第６態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。

１…画像処理システム、２…電子黒板、３…ディスプレイ、４…電子ペン、５…ＵＳＢメモリ、６…ノートＰＣ、７…テレビ会議端末、８…ＰＣ、９…通信ネットワーク、２０…クライアント部、２１…映像取得部、２２…座標検知部、２３…自動調整部、２４…接触検知部、２５…イベント振分部、２６…操作処理部、２７…ジェスチャ処理部、２８…映像重畳部、３０…画像処理部、３１…画像取得部、３６…表示重畳部、３２…ストローク処理部、３３…ＵＩ画像生成部、３４…背景生成部、３５…レイアウト管理部、３７…ページ処理部、４０…ファイル処理部、４１…リカバリ処理部、４３…ファイル変換部、４４…ファイル送信部、４５…アドレス帳入力部、４６…バックアップ処理部、４７…バックアップ出力部、４８…設定管理部、６０…通信制御部、６１…遠隔開始処理部、６２…遠隔参加処理部、６３…遠隔画像送信部、６４…遠隔画像受信部、６３…遠隔操作送信部、６６…遠隔操作受信部、７１…遠隔接続要求受信部、７２…遠隔接続結果送信部、８０…データ管理部、８１…遠隔接続処理部、８２…遠隔画像処理部、８３…遠隔操作処理部、８４…操作合成処理部、９０…サーバ部、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…ＳＳＤ、１０５…ネットワークコントローラ、１０６…外部記憶コントローラ、１１１…キャプチャデバイス、１０５…ディスプレイコントローラ、１１５…接触センサ、１１４…センサコントローラ、１１６…電子ペンコントローラ、１１２…ＧＰＵ、１２０…バスライン、２０１…画像描画部、２０３…認識部、２０５…標章画像描画部、２０７…外部画像描画部、２０９…ページ管理部、２１１…シリアライザ部、２１３…デシリアライザ部、２１５…ＰＤＦ作成部、２１７…ＰＤＦ保存部、３００…ページデータ記憶部、３１０…遠隔ライセンス管理テーブル、４１０…アドレス帳管理テーブル、４２０…バックアップデータ記憶部、４３０…設定ファイル記憶部、４４０…接続先管理テーブル、６１０…参加拠点管理テーブル、８１０…パスコード管理部、８３０…画像データ記憶部、８４０…操作データ記憶部

特開２０１４−５２８７３公報

Claims (7)

1. ストロークを第１レイヤに描画する手書き画像描画部と、
   文字、記号または図形、若しくはこれらの結合を表す標章画像を前記第１レイヤよりも下層の第２レイヤに描画する標章画像描画部と、
   外部から取得した外部画像を前記第２レイヤよりも下層の第３レイヤに描画する外部画像描画部と、を備えた画像処理装置であって、
   前記第１レイヤに描画された前記ストローク、前記第２レイヤに描画された前記標章画像、前記第３レイヤに描画された前記外部画像を、直列化してテキスト形式のデータに変換するシリアライズ部と、
   前記シリアライズ部により変換されたテキスト形式のデータを圧縮した圧縮データをＰＤＦ文書に埋め込み、さらに、書誌情報を付加してＰＤＦ文書データを作成する文書作成部と、
   作成された前記ＰＤＦ文書データを読み込むＰＤＦ読み込み部と、を備え、
   前記ＰＤＦ読み込み部は、
   該ＰＤＦ文書データに付加された前記書誌情報に応じて、該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データであるか否かを判断し、
   該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データでない場合には、該ＰＤＦ文書データを画像として読み込み、
   該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データである場合には、前記ＰＤＦ文書データに埋め込まれた前記圧縮データを解凍し、解凍された前記テキスト形式のデータに基づいて、前記ストロークを前記第１レイヤに再現し、且つ、前記標章画像を前記第２レイヤに再現し、且つ、前記外部画像を前記第３レイヤに再現することを特徴とする画像処理装置。
2. 前記文書データ内のテキスト形式のデータから１つのページを直列化復元するデシリアライザ部を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記文書作成部は、前記文書データとしてＰＤＦ文書を作成することを特徴とする請求項１に記載の画像処理装置。
4. 前記ストロークが表す文字画像に対して、文字認識処理を行って文字情報の文字列を取得する手書き認識部と、
   前記手書き認識部により取得された文字列上の隣り合う文字情報の間に不必要なスペースがある場合に、前記スペースを削除することにより前記隣り合う文字情報同士を結合して文字列を出力する文字結合部と、を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記標章画像描画部は、前記文字結合部により結合された文字列を前記第２レイヤに描画することを特徴とする請求項４に記載の画像処理装置。
6. 請求項１乃至５の何れか１つに記載の画像処理装置による画像処理方法であって、
   前記第１レイヤに描画されたストローク、前記第２レイヤに描画された前記標章画像、前記第３レイヤに描画された前記外部画像を、直列化してテキスト形式のデータに変換するシリアライズステップと、
   前記シリアライズステップにより変換されたテキスト形式のデータを圧縮した圧縮データをＰＤＦ文書に埋め込み、さらに、書誌情報を付加してＰＤＦ文書データを作成する文書作成ステップと、
   作成された前記ＰＤＦ文書データを読み込むＰＤＦ読み込みステップと、を実行し、
   前記ＰＤＦ読み込みステップは、
   該ＰＤＦ文書データに付加された前記書誌情報に応じて、該ＰＤＦ文書データが前記文書作成部で作成されたＰＤＦ文書データであるか否かを判断し、
   該ＰＤＦ文書データが前記文書作成ステップで作成されたＰＤＦ文書データでない場合には、該ＰＤＦ文書データを画像として読み込み、
   該ＰＤＦ文書データが前記文書作成ステップで作成されたＰＤＦ文書データである場合には、前記ＰＤＦ文書データに埋め込まれた前記圧縮データを解凍し、解凍された前記テキスト形式のデータに基づいて、前記ストロークを前記第１レイヤに再現し、且つ、前記標章画像を前記第２レイヤに再現し、且つ、前記外部画像を前記第３レイヤに再現することを特徴とする画像処理方法。
7. 請求項６に記載の各ステップをプロセッサに実行させることを特徴とするプログラム。

Images