[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7363064B2 - Image processing device, method, and program - Google Patents

Image processing device, method, and program Download PDF

Info

Publication number
JP7363064B2
JP7363064B2 JP2019049125A JP2019049125A JP7363064B2 JP 7363064 B2 JP7363064 B2 JP 7363064B2 JP 2019049125 A JP2019049125 A JP 2019049125A JP 2019049125 A JP2019049125 A JP 2019049125A JP 7363064 B2 JP7363064 B2 JP 7363064B2
Authority
JP
Japan
Prior art keywords
image
section
data
page
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049125A
Other languages
Japanese (ja)
Other versions
JP2020149634A (en
Inventor
大樹 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019049125A priority Critical patent/JP7363064B2/en
Publication of JP2020149634A publication Critical patent/JP2020149634A/en
Application granted granted Critical
Publication of JP7363064B2 publication Critical patent/JP7363064B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像処理装置、方法、およびプログラムに関する。 The present invention relates to an image processing device, method, and program.

従来、企業や教育機関、行政機関等における会議等において、大型ディスプレイに背景画像を表示させ、この背景画像の上にユーザが文字や数字、図形等のストローク画像を描画可能な電子黒板が利用されている。 Conventionally, electronic blackboards have been used at meetings in companies, educational institutions, government agencies, etc., where a background image is displayed on a large display, and users can draw stroke images of letters, numbers, figures, etc. on this background image. ing.

このような電子黒板等の画像処理装置において、手書き等の書き込みや、キャプチャした画像等から構成されるページを作成する機能があることが知られている。また、複数の画像処理装置を接続することで、遠隔地にある画像処理装置にページの内容を共有できることも知られている。また、作成したページを一覧表示して内容を確認したり、ページの追加や複製等の操作を行ったりできることも知られている。 It is known that image processing devices such as electronic blackboards have a function of creating pages made up of handwritten notes, captured images, and the like. It is also known that by connecting a plurality of image processing apparatuses, it is possible to share the contents of a page with image processing apparatuses located in remote locations. It is also known that it is possible to display a list of created pages, check the contents, and perform operations such as adding and duplicating pages.

例えば、特許文献1では、サーバで管理されているデータを、各情報処理装置が一覧的に表示して閲覧できるようにすることが開示されている。特許文献1では、オリジナルデータから作成した閲覧表示用データに対して、情報処理装置で手書き等による描画を加えることができる(特許文献1の段落[0046])。 For example, Patent Document 1 discloses that data managed by a server can be displayed in list form and viewed by each information processing device. In Patent Document 1, it is possible to add drawings by hand or the like using an information processing device to viewing display data created from original data (paragraph [0046] of Patent Document 1).

しかしながら、特許文献1では、閲覧表示用データを一覧にして表示する際には、手書き等による描画を加えることはできない。 However, in Patent Document 1, when viewing and displaying data as a list and displaying it, it is not possible to add drawings by hand or the like.

そこで、本発明の一実施形態では、電子黒板等の画像処理装置のページの一覧表示内で書き込みを行うことを目的とする。 Therefore, an object of an embodiment of the present invention is to perform writing within a page list display of an image processing device such as an electronic blackboard.

上述した課題を解決するために、本発明の一実施形態は、複数のページの一覧の画面を生成して表示させ、前記一覧内の1つのページまたは2つ以上のページは、用途の異なる複数のレイヤで構成されており、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページに対する書き込みを受け付ける、一覧制御部を備える。 In order to solve the above-mentioned problems, an embodiment of the present invention generates and displays a screen listing a plurality of pages, and one page or two or more pages in the list are divided into multiple pages with different purposes. The display device includes a list control unit that accepts writing to the one page or the two or more pages by changing the configuration of the plurality of layers.

本発明の一実施形態によれば、電子黒板等の画像処理装置のページの一覧表示内で書き込みを行うことができる。 According to an embodiment of the present invention, writing can be performed within a page list display of an image processing device such as an electronic whiteboard.

本実施形態の画像処理システムの全体構成図である。1 is an overall configuration diagram of an image processing system according to this embodiment. 本実施形態の画像処理装置のハードウェア構成である。It is a hardware configuration of the image processing device of this embodiment. 本実施形態の電子黒板の機能ブロック図である。It is a functional block diagram of the electronic whiteboard of this embodiment. 本実施形態のファイル処理部の機能ブロック図である。FIG. 3 is a functional block diagram of a file processing unit according to the present embodiment. 本実施形態の装置内サーバ及び送信制御部の機能ブロック図である。FIG. 2 is a functional block diagram of an in-device server and a transmission control unit according to the present embodiment. 本実施形態のページデータを示す概念図である。It is a conceptual diagram showing page data of this embodiment. 本実施形態のストローク配列データを示す概念図である。FIG. 3 is a conceptual diagram showing stroke array data of this embodiment. 本実施形態の座標配列データを示す概念図である。It is a conceptual diagram showing coordinate array data of this embodiment. 本実施形態のメディアデータを示す概念図である。FIG. 2 is a conceptual diagram showing media data of this embodiment. 本実施形態の遠隔ライセンス管理テーブルを示す概念図である。FIG. 3 is a conceptual diagram showing a remote license management table according to the present embodiment. 本実施形態のアドレス帳管理テーブルを示す概念図である。FIG. 2 is a conceptual diagram showing an address book management table according to the present embodiment. 本実施形態のバックアップデータを示す概念図である。It is a conceptual diagram showing backup data of this embodiment. 本実施形態の接続先管理テーブルを示す概念図である。FIG. 3 is a conceptual diagram showing a connection destination management table according to the present embodiment. 本実施形態の参加拠点管理テーブルを示す概念図である。FIG. 3 is a conceptual diagram showing a participating base management table according to the present embodiment. 本実施形態の操作データを示す概念図である。It is a conceptual diagram showing operation data of this embodiment. 本実施形態の各画像レイヤ構成図である。FIG. 3 is a configuration diagram of each image layer according to the present embodiment. 本実施形態の各電子黒板の処理を示したシーケンス図である。FIG. 3 is a sequence diagram showing the processing of each electronic whiteboard according to the present embodiment. 本実施形態の各電子黒板の処理を示したシーケンス図である。FIG. 3 is a sequence diagram showing the processing of each electronic whiteboard according to the present embodiment. 本実施形態の一覧に表示するページのアイテムのレイヤ構成の一例を表す図である。FIG. 2 is a diagram illustrating an example of a layer configuration of items of pages displayed in a list according to the present embodiment. 本実施形態のページ読み込みのフローチャートである。It is a flowchart of page loading of this embodiment. 本実施形態の一覧に表示するページのアイテムのレイヤ構成を決定するフローチャートである。It is a flowchart which determines the layer structure of the item of the page displayed in the list of this embodiment. 本実施形態のディスプレイに表示される画面の一例である。It is an example of the screen displayed on the display of this embodiment. 本実施形態のディスプレイに表示される画面の一例である。It is an example of the screen displayed on the display of this embodiment.

以下、図面を用いて、本発明の一実施形態を説明する。 Hereinafter, one embodiment of the present invention will be described using the drawings.

<システムの概要>
図1は、本実施形態の画像処理システム1の全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板や電子ペン等を利用してもよい。
<System overview>
FIG. 1 is an overall configuration diagram of an image processing system 1 of this embodiment. In addition, in order to simplify the explanation, FIG. 1 only shows two electronic blackboards 2a, 2b and accompanying electronic pens 4a, 4b, etc., and three or more electronic blackboards or electronic You may also use a pen, etc.

図1に示されているように、画像処理システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、電子黒板2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3bが設けられている。 As shown in FIG. 1, the image processing system 1 includes a plurality of electronic whiteboards 2a and 2b, a plurality of electronic pens 4a and 4b, USB memories 5a and 5b, notebook PCs (Personal Computers) 6a and 6b, and a television ( Video) It has conference terminals 7a, 7b, and a PC8. Further, the electronic whiteboards 2a, 2b and the PC 8 are communicably connected via a communication network 9. Further, the plurality of electronic whiteboards 2a, 2b are provided with displays 3a, 3b, respectively.

また、電子黒板2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。 Further, on the electronic blackboard 2a, an image drawn by an event caused by the electronic pen 4a (a touch of the tip of the electronic pen 4a or the pen tail of the electronic pen 4a on the display 3a) is displayed on the display 3a. I can do it. Note that the image displayed on the display 3a can be changed based not only on the electronic pen 4a but also on events (gestures such as enlargement, reduction, page turning, etc.) caused by the user's hand Ha or the like.

また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、電子黒板2aはUSBメモリ5aに電子ファイルを記録することができる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。 Further, a USB memory 5a can be connected to the electronic whiteboard 2a, and the electronic whiteboard 2a can read electronic files such as PDF from the USB memory 5a, and the electronic whiteboard 2a can record electronic files in the USB memory 5a. . In addition, the electronic whiteboard 2a is connected to the electronic whiteboard 2a via a cable 10a1 capable of communication according to standards such as DisplayPort, DVI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), and VGA (Video Graphics Array). A notebook PC 6a is connected. Then, the electronic whiteboard 2a generates an event by touching the display 3a, and transmits event information indicating this event to the notebook PC 6a in the same way as an event from an input device such as a mouse or a keyboard. Similarly, a television (video) conference terminal 7a is connected to the electronic whiteboard 2a via a cable 10a2 capable of communication according to the above standard. Note that the notebook PC 6a and the video conference terminal 7a may communicate with the electronic whiteboard 2a by wireless communication based on various wireless communication protocols such as Bluetooth (registered trademark).

一方、電子黒板2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。 On the other hand, at other bases where the electronic blackboard 2b is installed, the electronic blackboard 2b equipped with the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conference terminal 7b, the cable 10b1, and the cable 10b2 are installed in the same way as above. is used. Furthermore, the image displayed on the display 3b can be changed based on an event caused by the user's hand Hb or the like.

これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。 As a result, an image drawn on the display 3a of the electronic blackboard 2a at one base is also displayed on the display 3b of the electronic blackboard 2b at another base, and conversely, an image drawn on the display 3b of the electronic blackboard 2b at another base. The image drawn is displayed on the display 3a of the electronic whiteboard 2a at one location. In this way, the image processing system 1 can perform remote sharing processing in which the same image is shared in a remote location, so it is very convenient to use it for a conference or the like in a remote location.

なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。 In addition, below, when referring to an arbitrary electronic blackboard among a plurality of electronic blackboards, it will be referred to as "electronic blackboard 2." When indicating an arbitrary display among a plurality of displays, it is indicated as "display 3." When indicating an arbitrary electronic pen among a plurality of electronic pens, it is indicated as "electronic pen 4." When indicating an arbitrary USB memory among a plurality of USB memories, it is indicated as "USB memory 5." When indicating an arbitrary notebook PC among the plurality of notebook PCs, it is indicated as "notebook PC6." When indicating an arbitrary teleconference terminal among the plurality of teleconference terminals, it is indicated as "teleconference terminal 7." Moreover, when indicating an arbitrary hand among a plurality of users' hands, it is indicated as "hand H". When indicating an arbitrary cable among a plurality of cables, it is indicated as "cable 10."

また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。 Further, in this embodiment, an electronic blackboard will be described as an example of an image processing device, but the invention is not limited to this, and other examples of the image processing device include electronic signboards (digital signage), sports, weather forecasts, etc. It may be a telestrator used, a remote image (video) diagnostic device, or the like. In addition, a notebook PC 6 will be described as an example of an information processing terminal, but the information processing terminal is not limited to this. Other examples of information processing terminals include a desktop PC, a tablet PC, a PDA, a digital video camera, a digital camera, a game computer, etc. The terminal may be a terminal capable of supplying image frames such as a machine. Furthermore, the communication network includes the Internet, LAN (Local Area Network), mobile phone communication network, and the like. Further, in this embodiment, a USB memory will be described as an example of a recording medium, but the present invention is not limited to this, and various recording media such as an SD card may be used as other examples of the recording medium.

<電子黒板のハードウェア構成>
続いて、図2を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
<Hardware configuration of electronic whiteboard>
Next, the hardware configuration of the electronic whiteboard of this embodiment will be explained using FIG. 2. Note that FIG. 2 is a hardware configuration diagram of the electronic whiteboard.

図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板2用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。 As shown in FIG. 2, the electronic whiteboard 2 includes a CPU 101 that controls the entire operation of the electronic whiteboard 2, a ROM 102 that stores programs used to drive the CPU 101 such as IPL, and a RAM 103 that is used as a work area for the CPU 101. , an SSD 104 that stores various data such as programs for the electronic whiteboard 2, a network controller 105 that controls communication with the communication network 9, and an external storage controller 106 that controls communication with the USB memory 5.

また、電子黒板2は、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。 The electronic whiteboard 2 also includes a capture device 111 that displays video information as a still image or a video on the display of the notebook PC 6, a GPU (Graphics Processing Unit) 112 that specializes in graphics, and a display that displays output images from the GPU. A display controller 113 is provided for controlling and managing screen display for output to 3 and the video conference terminal 7.

更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置(不図示)が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。 Further, the electronic whiteboard 2 includes a sensor controller 114 that controls the processing of the contact sensor 115, and a contact sensor 115 that detects when the electronic pen 4, the user's hand H, or the like comes into contact with the display 3. This contact sensor 115 performs coordinate input and coordinate detection using an infrared cutoff method. This method of inputting and detecting coordinates is such that two light receiving and emitting devices (not shown) installed at both upper ends of the display 3 emit a plurality of infrared rays in parallel to the display 3. This is a method of receiving light that is reflected by a reflective member provided on the light receiving element and returns along the same optical path as the light emitted by the light receiving element. The contact sensor 115 outputs the ID (Identification) of the infrared rays emitted by the two light receiving and emitting devices blocked by the object to the sensor controller 114, and the sensor controller 114 identifies the coordinate position that is the contact position of the object. Note that all the IDs shown below are examples of identification information.

また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。 In addition, the contact sensor 115 is not limited to the infrared cutoff type, but may also include a capacitive touch panel that identifies the touch position by detecting changes in capacitance, and a touch panel that identifies the touch position by voltage changes in two opposing resistive films. Various detection means may be used, such as a resistive film type touch panel for specifying, an electromagnetic induction type touch panel for detecting electromagnetic induction generated when a touch object contacts the display section, and specifying the contact position.

また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 Further, the electronic blackboard 2 includes an electronic pen controller 116. The electronic pen controller 116 communicates with the electronic pen 4 to determine whether the display 3 has been touched with the tip of the pen or the tail of the pen. Note that the electronic pen controller 116 may determine whether or not a portion of the electronic pen 4 that the user grips, or other portions of the electronic pen, is touched, in addition to the pen tip and pen tail of the electronic pen 4.

更に、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。 Furthermore, the electronic whiteboard 2 includes a CPU 101, ROM 102, RAM 103, SSD 104, network controller 105, external storage controller 106, capture device 111, GPU 112, sensor controller 114, and electronic pen controller 116, as shown in FIG. A bus line 120 such as an address bus or a data bus is provided for electrical connection.

なお、電子黒板2用のプログラムは、CD-ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。 Note that the program for the electronic whiteboard 2 may be recorded on a computer-readable recording medium such as a CD-ROM and distributed.

<電子黒板の機能構成>
続いて、図3乃至図16を用いて、電子黒板の機能構成について説明する。なお、先ずは、図3を用いて、電子黒板2の全体的な機能構成について説明する。図3は、電子黒板の機能ブロック図である。
<Functional configuration of electronic blackboard>
Next, the functional configuration of the electronic whiteboard will be described using FIGS. 3 to 16. First, the overall functional configuration of the electronic whiteboard 2 will be explained using FIG. 3. FIG. 3 is a functional block diagram of the electronic whiteboard.

電子黒板2は、図2に示されているハードウェア構成及びプログラムによって、図3にされている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。クライアント部20及びサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図1において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。 The electronic whiteboard 2 has the functional configuration shown in FIG. 3 using the hardware configuration and program shown in FIG. 2. The electronic blackboard 2 can be a "host device" that starts the remote sharing process first, and can also be a "participating device" that later participates in the remote sharing process that has already started. Furthermore, the electronic whiteboard 2 is broadly divided into both a client section 20 and a server section 90. The client section 20 and the server section 90 are functions realized within one housing of the electronic whiteboard 2. When the electronic blackboard 2 serves as a host device, the electronic blackboard 2 implements a client section 20 and a server section 90. Further, when the electronic whiteboard 2 becomes a participating device, the client section 20 is realized in the electronic whiteboard 2, but the server section 90 is not realized. That is, in FIG. 1, when the electronic whiteboard 2a is the host device and the electronic whiteboard 2b is the participating device, the client section 20 of the electronic whiteboard 2a communicates with others via the server section 90 implemented within the same electronic whiteboard 2a. communicates with the client unit 20 of the electronic whiteboard 2b. On the other hand, the client section 20 of the electronic whiteboard 2b communicates with the client section of another electronic whiteboard 2a via a server section 90 implemented in the other electronic whiteboard 2a.

〔クライアント部20の機能構成〕
続いて、主に図3乃至図5を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、指判別部29、画像処理部30、及び通信制御部60を有する。
[Functional configuration of client section 20]
Next, the functional configuration of the client unit 20 will be explained using mainly FIGS. 3 to 5. The client section 20 includes a video acquisition section 21 , a coordinate detection section 22 , an automatic adjustment section 23 , a contact detection section 24 , an event distribution section 25 , an operation processing section 26 , a gesture processing section 27 , a video superimposition section 28 , and a finger discrimination section 29 , an image processing section 30, and a communication control section 60.

このうち、映像取得部21は、ケーブル10に接続された映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。 Among these, the video acquisition unit 21 acquires the output video of the video output device connected to the cable 10. When the video acquisition unit 21 receives an image signal from a video output device, it analyzes this image signal and determines the resolution of an image frame that is a display image of the video output device formed by this image signal and updates of this image frame. Image information such as frequency is derived and output to the image acquisition unit 31.

座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。 The coordinate detection unit 22 detects the coordinate position of an event caused by the user on the display 3 (such as an action in which the user's hand H touches the display 3). The coordinate detection unit 22 also detects the touched area.

自動調整部23は、電子黒板2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。 The automatic adjustment unit 23 is activated when the electronic whiteboard 2 is started, and adjusts the image processing parameters of the sensor camera in the optical sensor method of the contact sensor 115 so that the contact sensor 115 can output an appropriate value to the coordinate detection unit 22. do.

接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。 The contact detection unit 24 detects an event caused by the user (such as an operation in which the tip of the electronic pen 4 or the pen tail of the electronic pen 4 is pressed down (touched) on the display 3).

イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。 The event sorting section 25 sorts the coordinate position of the event detected by the coordinate detecting section 22 and the detection result detected by the contact detecting section 24 into events of stroke drawing, UI operation, and gesture operation.

ここで、「ストローク描画」は、ディスプレイ3上に図16に示されている後述のストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集するイベントも含まれる。 Here, "stroke drawing" means that when a stroke image (B) shown in FIG. 16 and described later is displayed on the display 3, the user presses down the electronic pen 4 on the display 3, and this press This is an event in which the electronic pen 4 is moved in this state until it is finally released from the display 3. By this stroke drawing, for example, the alphabet "S", "T", etc. are drawn on the display 3. Note that this "stroke drawing" includes not only drawing an image, but also events such as deleting an already drawn image and editing a drawn image.

「UI操作」は、ディスプレイ3上に図16に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。 “UI operation” is an event in which the user presses a predetermined position with the electronic pen 4 or hand H when the UI image (A) shown in FIG. 16 and described later is displayed on the display 3. . Through this UI operation, for example, the color and width of the line drawn by the electronic pen 4 are set.

「ジェスチャ操作」は、ディスプレイ3上に図16に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動させるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。 “Gesture operation” is an event in which the user touches or moves the hand H on the display 3 when a stroke image (B) shown in FIG. 16 and described later is displayed on the display 3. With this gesture operation, for example, by touching the display 3 with the hand H and moving the hand H, the user can enlarge (or reduce) the image, change the display area, or switch pages. can.

操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。 The operation processing unit 26 executes various operations based on what is determined to be a UI operation by the event distribution unit 25, according to the UI element in which the event has occurred. Examples of the elements of this UI include buttons, lists, check boxes, and text boxes.

ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。 The gesture processing unit 27 executes an operation corresponding to the gesture operation determined by the event distribution unit 25.

映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。 The video superimposing unit 28 displays an image superimposed by a display superimposing unit 36 (described later) as a video on a video output device (such as the display 3). Further, the video superimposing unit 28 performs picture-in-picture on the video sent from another video output device (such as the television conference terminal 7) with respect to the video from the video output device (such as the notebook PC 6). Furthermore, the video superimposing unit 28 performs switching to display the video that has been picture-in-pictured on a portion of the display 3 on the entire display 3.

画像処理部30は、図16に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、マーカー処理部38、コンテキスト処理部39、ファイル処理部40、一覧制御部41、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。 The image processing unit 30 performs superimposition processing of each image layer as shown in FIG. 16, and the like. The image processing section 30 includes an image acquisition section 31, a stroke processing section 32, a UI image generation section 33, a background generation section 34, a layout management section 35, a display superimposition section 36, a page processing section 37, a marker processing section 38, and a context processing section. 39, a file processing section 40, a list control section 41, a page data storage section 300, and a remote license management table 310.

このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図16に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。 Among these, the image acquisition unit 31 acquires each frame as an image from the video acquired by the video acquisition unit 21. The image acquisition unit 31 outputs this image data to the page processing unit 37. This image corresponds to the output image (C) from the video output device (notebook PC 6, etc.) shown in FIG. 16.

ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図16に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。 The stroke processing section 32 draws an image, deletes a drawn image, or edits a drawn image based on an event related to stroke drawing assigned by the event distribution section 25. The image created by this stroke drawing corresponds to the stroke image (B) shown in FIG. 16. Further, the results of image drawing, deletion, and editing based on this stroke drawing are stored in the operation data storage unit 840 as operation data to be described later.

UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図16に示されているUI画像(A)に相当する。 The UI image generation unit 33 generates a UI (user interface) image that is preset on the electronic whiteboard 2. This UI image corresponds to the UI image (A) shown in FIG. 16.

背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図16に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。 The background generation unit 34 receives media data from the page data read out from the page data storage unit 300 by the page processing unit 37 . The background generation unit 34 outputs the received media data to the display superimposition unit 36. Further, the image based on this media data corresponds to the background image (D) shown in FIG. 16. The pattern of the background image (D) is a plain color, a grid display, or the like.

レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、及びUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。 The layout management unit 35 sends layout information indicating the layout of each image output from the image acquisition unit 31, stroke processing unit 32, and UI image generation unit 33 (or background generation unit 34) to the display superimposition unit 36. Managed. Thereby, the layout management unit 35 instructs the display superimposition unit 36 to determine where in the UI image (A) and background image (D) the output image (C) and the stroke image (B) are to be displayed. You can instruct whether to hide it.

表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。 The display superimposition unit 36 creates the layout of each image output from the image acquisition unit 31, stroke processing unit 32, and UI image generation unit 33 (background generation unit 34) based on the layout information output from the layout management unit 35. conduct.

ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、図6に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、図6に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。 The page processing unit 37 stores the data of the stroke image (B) and the data of the output image (C) into one page data in the page data storage unit 300. The data of the stroke image (B) forms part of the page data as stroke array data (each stroke data) indicated by the stroke array data ID shown in FIG. The data of the output image (C) forms part of the page data as media data indicated by the media data ID shown in FIG. When this media data is read from the page data storage unit 300, it is treated as background image (D) data.

また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製することもできる。 In addition, the page processing unit 37 sends the media data of the page data once stored to the display superimposition unit 36 via the background generation unit 34, so that the video superimposition unit 28 displays the background image (D). 3 can be redisplayed. Further, the page processing unit 37 can return the stroke arrangement data (each stroke data) of the page data to the stroke processing unit 32, thereby making it possible to re-edit the strokes. Furthermore, the page processing unit 37 can also delete or copy page data.

即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読み出される。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。 That is, the data of the output image (C) displayed on the display 3 at the time when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300, and then When read out from the page data storage unit 300, it is read out as media data indicating the background image (D). Then, the page processing section 37 outputs stroke array data indicating the stroke image (B) among the page data read from the page data storage section 300 to the stroke processing section 32. Furthermore, the page processing unit 37 outputs media data indicating the background image (D) out of the page data read from the page data storage unit 300 to the background generation unit 34.

表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。これにより、図16に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。 The display superimposition unit 36 outputs an output image (C) from the image acquisition unit 31 , a stroke image (B) from the stroke processing unit 32 , a UI image (A) from the UI image generation unit 33 , and an output image (A) from the background generation unit 34 . The background image (D) is superimposed according to the layout specified by the layout management section 35. As a result, as shown in FIG. 16, even if the images overlap, the UI image (A), stroke image (B), output image (C), and background image (D) are displayed in the order in which the user sees them. It is composed of Leia.

また、表示重畳部36は、図16に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。 The display superimposing unit 36 can also switch between image (C) and image (D) shown in FIG. 16 and superimpose them exclusively on image (A) and image (B). . For example, if the cable 10 between the electronic blackboard 2 and the video output device (notebook PC 6, etc.) is disconnected while images (A), (B), and (C) are initially being displayed, , it is possible to remove image (C) from the superimposition target and display image (D) according to the designation of the layout management unit 35. In this case, the display superimposition unit 36 also performs display enlargement, display reduction, and display area movement processing.

ページデータ記憶部300は、図6に示されているようなページデータを記憶する。図6は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図6乃至9に分けて、ページデータの内容を説明する。 The page data storage unit 300 stores page data as shown in FIG. FIG. 6 is a conceptual diagram showing page data. The page data is data for one page (stroke array data (each stroke data) and media data) displayed on the display 3. Note that since there are many types of parameters included in the page data, the contents of the page data will be explained here by dividing them into FIGS. 6 to 9.

ページデータは、図6に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図16に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の16に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。 As shown in Figure 6, the page data includes a page data ID for identifying any one page, a disclosure time indicating the time when display of this page started, and rewriting of page contents by strokes, gestures, etc. An end time indicating the time at which the stroke is no longer performed, a stroke array data ID for identifying stroke array data generated by strokes by the electronic pen 4 or the user's hand H, and a media data ID for identifying the media data are associated. is memorized. The stroke array data is data for displaying a stroke image (B) shown in FIG. 16, which will be described later, on the display 3. The media data is data for displaying a background image (D) shown in 16, which will be described later, on the display 3.

このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。 With such page data, for example, when the user draws the alphabet "S" with the electronic pen 4, it is written in one stroke, so one stroke data ID indicates one letter of the alphabet [S]. However, when the user draws the alphabet "T" with the electronic pen 4, it is written in two strokes, so one alphabet "T" is indicated by two stroke data IDs.

また、ストローク配列データは、図7に示されているように詳細な情報を示している。図7は、ストローク配列データを示す概念図である。図7に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。 Further, the stroke array data shows detailed information as shown in FIG. FIG. 7 is a conceptual diagram showing stroke array data. As shown in FIG. 7, one stroke array data is represented by a plurality of stroke data. One stroke data includes a stroke data ID for identifying this stroke data, a start time indicating the time when writing one stroke starts, an end time indicating the time when writing one stroke ends, a color of the stroke, It shows coordinate array data ID for identifying the width of the stroke and the array of passing points of the stroke.

更に、この座標配列データは、図8に示されているように詳細な情報を示している。図8は、座標配列データを示す概念図である。図8に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開示時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図8に示されている1点の集まりが、図7に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。 Furthermore, this coordinate array data shows detailed information as shown in FIG. FIG. 8 is a conceptual diagram showing coordinate array data. As shown in FIG. 8, the coordinate array data includes one point (X coordinate value, Y coordinate value) on the display 3, and the time (ms) of the difference from the opening time of the stroke when passing this one point. ) and information on the writing pressure of the electronic pen 4 at this one point. That is, the collection of one point shown in FIG. 8 is shown by one coordinate array data shown in FIG. 7. For example, when a user draws the alphabet "S" with the electronic pen 4, it is written in one stroke, but since the user passes through multiple passing points before finishing drawing "S", the coordinate array data is information is shown.

また、図6に示されているページデータのうちのメディアデータは、図9に示されているように詳細な情報を示している。図9は、メディアデータを示す概念図である。図9に示されているように、メディアデータは、図6に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。 Moreover, the media data of the page data shown in FIG. 6 shows detailed information as shown in FIG. FIG. 9 is a conceptual diagram showing media data. As shown in FIG. 9, the media data includes the media data ID in the page data shown in FIG. The data indicating the recording time, the position (X coordinate value, Y coordinate value) and size (width, height) of the image displayed on the display 3 according to the page data, and the content of the media data are displayed in association with each other. has been done. Among these, the position of the image displayed on the display 3 according to the page data is displayed according to the page data when the coordinates of the upper left corner of the display 3 are (X coordinate value, Y coordinate value) = (0, 0). This indicates the position of the upper left corner of the image.

また、図3に戻り、遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、図10に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。 Returning to FIG. 3, the remote license management table 310 manages license data necessary to execute remote sharing processing. In this remote license management table 310, as shown in FIG. 10, the product ID of the electronic whiteboard 2, the license ID used for authentication, and the license expiration date are managed in association with each other.

(ファイル処理部40の機能構成)
続いて、図4を用いて、図3に示されているファイル処理部40の機能構成を説明する。なお、図4は、ファイル処理部の機能ブロック図である。
(Functional configuration of file processing unit 40)
Next, the functional configuration of the file processing section 40 shown in FIG. 3 will be explained using FIG. 4. Note that FIG. 4 is a functional block diagram of the file processing section.

ファイル処理部40は、リカバリ部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、及び設定ファイル出力部49bを有している。更に、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。 The file processing section 40 includes a recovery section 41, a file input section 42a, a file output section 42b, a file conversion section 43, a file transmission section 44, an address book input section 45, a backup processing section 46, a backup output section 47, and a setting management section 48. , a configuration file input section 49a, and a configuration file output section 49b. Further, the file processing section 40 includes an address book management table 410, a backup data storage section 420, a setting file storage section 430, and a connection destination management table 440.

このうち、リカバリ処理部41は、電子黒板2が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。 Among these, the recovery processing unit 41 detects the abnormal termination after the electronic whiteboard 2 terminates abnormally, and recovers unsaved page data. For example, in the case of normal termination, the page data is recorded as a PDF file on the USB 5 via the file processing unit 40, but in the case of abnormal termination such as a power failure, the page data is recorded in the page data storage unit 300. It remains as it was. Therefore, when the power is turned on again, the recovery processing section 41 performs recovery by reading page data from the page data storage section 300.

ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。 The file input unit 42a reads a PDF file from the USB memory 5, and stores each page as page data in the page data storage unit 300.

ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。 The file conversion unit 43 converts page data stored in the page data storage unit 300 into a PDF format file.

ファイル出力部42bは、ファイル変換部42によって出力されたPDFファイルをUSBメモリ5に記録する。 The file output unit 42b records the PDF file output by the file conversion unit 42 on the USB memory 5.

ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、図11に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。 The file transmitter 44 attaches the PDF file generated by the file converter 43 to an e-mail and transmits it. The destination of this file is determined by displaying the contents of the address book management table 410 on the display 3 by the display superimposing unit 36, and by receiving the destination selection by the user through the operation of an input device such as a touch panel by the file transmitting unit 44. It is determined. As shown in FIG. 11, the address book management table 410 manages the names of destinations and the email addresses of the destination's e-mails in association with each other. Further, the file transmitter 44 can also accept input of an e-mail address as a destination by the user operating an input device such as a touch panel.

アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。 The address book input unit 45 reads an e-mail address list file from the USB memory 5 and manages it in the address book management table 410.

バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図12に示されているように、PDF形式で記憶される。 The backup processing unit 46 backs up the files output by the file output unit 42b and the files transmitted by the file transmission unit 44 by storing them in the backup data storage unit 420. Note that if the user does not make backup settings, no backup processing is performed. The backup data is stored in PDF format, as shown in FIG.

バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。 The backup output unit 47 stores the backed up file in the USB memory 5. During this storage, the password is input for security by the user operating an input device such as a touch panel.

設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。 The setting management section 48 manages various setting information of the electronic whiteboard 2 by storing it in and reading it out from the setting file storage section 430. Examples of this various setting information include network settings, date and time settings, region and language settings, mail server settings, address book settings, connection destination list settings, and backup settings. Note that the network settings include, for example, settings for the IP address of the electronic whiteboard 2, settings for a netmask, settings for a default gateway, settings for DNS (Domain Name System), and the like.

設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。 The setting file output unit 49b records various setting information of the electronic whiteboard 2 in the USB memory 5 as a setting file. Note that the user cannot view the contents of the configuration file due to security.

設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。 The setting file input unit 49a reads a setting file stored in the USB memory 5, and reflects various setting information on various settings of the electronic whiteboard.

アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440に管理する。なお、図13に示されているように、接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のIPアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、及び主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。 The address book input unit 50 reads a list file of connection destination IP addresses for remote sharing processing from the USB memory 5 and manages it in the connection destination management table 440. Note that, as shown in FIG. 13, the connection destination management table 440 indicates that when the electronic whiteboard 2 is a participating device that attempts to participate in the remote sharing process, the user of this participating device plays the role of the host device. This table is used to manage the IP address of the electronic whiteboard in advance in order to reduce the time and effort required to input it. In this connection destination management table 440, the name of the base where the electronic blackboard 2 as a host device that can participate is installed and the IP address of the electronic blackboard 2 as a host device are managed in association with each other.

なお、接続先管理テーブル440は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。 Note that the connection destination management table 440 may not be provided. However, in this case, the user of the participating device needs to input the IP address of the hosting device using an input device such as a touch panel in order to start remote request processing with the hosting device. Therefore, the user of the participating device learns the IP address of the hosting device from the user of the hosting device by telephone, e-mail, or the like.

画像処理部30の一覧制御部41は、ページの一覧を制御する。具体的には、一覧制御部41は、ページの一覧を表示するためのアイコン等がユーザにより押下されると、ページ一覧の画面を生成して表示する。一覧制御部41は、ストローク処理部32やマーカー処理部38で編集されたデータ(つまり、手書き等の書き込みのデータ)を受け取り、一覧のアイテム(一覧を構成する要素。例えば、アイテムは、1つのページまたは2つ以上のページである)上に追加する処理を行う。接続している他の電子黒板2からの書き込み内容や表示ページに対する操作に関するデータは、通信制御部60から送られてきて、画像処理部30にて受信される。一覧制御部41は、処理された書き込みや操作の情報を受け取り、一覧のアイテムへ内容を反映させる。このように、本発明の一実施形態では、一覧制御部41は、複数のページを一覧表示させることができ、それらのページにユーザに手書き等の書き込みをさせることができる。 The list control unit 41 of the image processing unit 30 controls the list of pages. Specifically, when the user presses an icon or the like for displaying a page list, the list control unit 41 generates and displays a page list screen. The list control unit 41 receives the data edited by the stroke processing unit 32 and the marker processing unit 38 (that is, handwritten or other writing data), and receives the data edited by the stroke processing unit 32 and the marker processing unit 38, and selects items in the list (elements that make up the list. For example, an item is one page or pages). Data regarding writing contents and operations on display pages from other connected electronic blackboards 2 is sent from the communication control section 60 and received by the image processing section 30. The list control unit 41 receives the processed writing and operation information, and reflects the contents on the items in the list. In this way, in one embodiment of the present invention, the list control unit 41 can display a list of a plurality of pages, and can allow the user to write by hand or the like on those pages.

(通信制御部60の機能構成)
次に、図5を用いて、通信制御部60の機能構成について説明する。
(Functional configuration of communication control unit 60)
Next, the functional configuration of the communication control section 60 will be explained using FIG. 5.

通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。 The communication control unit 60 controls communication with other electronic whiteboards 2 and communication with a communication control unit 70 (described later) in the server unit 90 via the communication network 9 . Therefore, the communication control section 60 includes a remote start processing section 61, a remote participation processing section 62, a remote image transmission section 63, a remote image reception section 64, a remote operation transmission section 65, a remote operation reception section 66, and a participating base management table 610. have.

このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。 Of these, the remote start processing unit 61 issues a request to the server unit 90 of the same electronic whiteboard 2 to start a new remote sharing process, and receives the result of the request from the server unit 90. In this case, the remote start processing unit 61 refers to the remote license management table 310, and if the license information (product ID, license ID, and expiration date) is managed, requests to start remote sharing processing. be able to. However, if the license information is not managed, a request to start remote sharing processing cannot be made.

参加拠点管理テーブル610は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル610では、図14に示されているように、参加中の電子黒板2が設置されている拠点の名称及び当該電子黒板2のIPアドレスが関連付けて管理されている。 The participating base management table 610 is a table for managing the electronic blackboard as a participating device currently participating in the remote sharing process when the electronic blackboard is the host device. In this participating base management table 610, as shown in FIG. 14, the name of the base where the participating electronic blackboard 2 is installed and the IP address of the electronic blackboard 2 are managed in association with each other.

遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。 The remote participation processing unit 62 sends a message to the remote connection request receiving unit 71 in the server unit 90 of the electronic blackboard 2 as the host device, which has already started the remote sharing process, via the communication network 9. Make a participation request. In this case as well, the remote participation processing unit 62 refers to the remote license management table 310. Further, when the remote participation processing unit 62 participates in a remote sharing process that has already started, it refers to the connection destination management table 440 and obtains the IP address of the electronic blackboard 2 to which it will participate. Note that the remote participation processing unit 62 may not refer to the connection destination management table, and the IP address of the participation destination electronic whiteboard 2 may be input by the user by operating an input device such as a touch panel.

遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ部90に送信する。 The remote image transmission section 63 transmits the output image (C) sent from the video acquisition section 21 via the image acquisition section 31 to the server section 90 .

遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。 The remote image receiving section 64 receives image data from a video output device connected to another electronic whiteboard 2 from the server section 90, and outputs it to the display superimposing section 36, thereby enabling remote sharing processing.

遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。 The remote control transmitting section 65 transmits various operation data necessary for remote sharing processing to the server section 90 . These various operation data include, for example, adding strokes, deleting strokes, editing strokes (enlarging, reducing, moving), storing page data, creating page data, duplicating page data, deleting page data, and displaying. Examples include data related to switching pages, etc. Further, the remote operation receiving section 66 receives operation data inputted on other electronic whiteboards 2 from the server section 90 and outputs it to the image processing section 30 to perform remote sharing processing.

〔サーバ部の機能構成〕
続いて、図5を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
[Functional configuration of server section]
Next, the functional configuration of the server section 90 will be explained using FIG. 5. The server unit 90 is provided in each electronic blackboard 2, and any electronic blackboard 2 can serve as a server unit. Therefore, the server section 90 includes a communication control section 70 and a data management section 80.

(通信制御部70の機能構成)
次に、図5を用いて、通信制御部70の機能構成について説明する。
(Functional configuration of communication control unit 70)
Next, the functional configuration of the communication control section 70 will be explained using FIG. 5.

通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部70、及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。 The communication control unit 70 controls communication with the communication control unit 70 in the client unit 20 in the same electronic whiteboard 2 and with the communication control unit 70 in the client unit 20 in another electronic whiteboard 2 via the communication network 9. The data management unit 80 manages operation data, image data, and the like.

更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有している。 More specifically, the communication control section 70 includes a remote connection request receiving section 71, a remote connection result transmitting section 72, a remote image receiving section 73, a remote image transmitting section 74, a remote operation receiving section 75, and a remote operation transmitting section 76. have.

このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信する。遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信する。 Of these, the remote connection request receiving section 71 receives a request to start a remote sharing process from the remote start processing section 61 and a request to participate in a remote sharing process from the remote participation processing section 62 . The remote connection result transmitter 72 transmits the result of a request to start a remote sharing process to the remote start processor 61 and the result of a request to participate in a remote share process to the remote participant processor 62.

遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを送信する。 The remote image receiving section 73 receives image data (output image (C) data) from the remote image transmitting section 63, and transmits it to a remote image processing section 82, which will be described later. Remote image transmitter 74 receives image data from remote image processor 82 and transmits the image data to remote image receiver 64 .

遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。 The remote control receiving section 75 receives operation data (data such as stroke image (B)) from the remote control transmitting section 65, and transmits it to a remote control processing section 83, which will be described later. The remote control transmitting section 76 receives operation data from the remote control processing section 83 and transmits this operation data to the remote control receiving section 66 .

(データ管理部の機能構成)
次に、図5を用いて、データ管理部80の機能構成について説明する。
(Functional configuration of data management department)
Next, the functional configuration of the data management section 80 will be explained using FIG. 5.

データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有している。更に、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。 The data management section 80 includes a remote connection processing section 81 , a remote image processing section 82 , a remote operation processing section 83 , an operation synthesis processing section 84 , and a page processing section 85 . Furthermore, the server section 90 includes a passcode management section 810, a participating base management table 820, an image data storage section 830, an operation data storage section 840, and a page data storage section 850.

このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント部としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。 Of these, the remote connection processing unit 81 starts and ends remote sharing processing. In addition, the remote connection processing unit 81 receives the license information that the remote connection request receiving unit 71 receives from the remote start processing unit 61 together with a request to start a remote sharing process, or together with a request to participate in a remote sharing process from the remote participation processing unit 62. Based on the received license information, check whether there is a license or not and whether it is within the license period. Further, the remote connection processing unit 81 checks whether the number of participation requests from other electronic whiteboards 2 as client units does not exceed a predetermined number of possible participants.

更に、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。 Furthermore, the remote connection processing unit 81 determines whether the passcode sent when there is a request to participate in the remote sharing process from another electronic whiteboard 2 is the same as the passcode managed by the passcode management unit 810. If they are the same, participation in the remote sharing process is permitted. Note that this passcode is issued by the remote connection processing unit 81 when starting a new remote sharing process, and allows the user of the electronic blackboard 2 as a participating device to participate in the remote sharing process to The information is communicated by the user of the electronic blackboard 2 by telephone, e-mail, or the like. As a result, a user of a participating device who wishes to participate in the remote sharing process is permitted to participate by inputting a passcode into the participating device using an input device such as a touch panel and requesting participation. Note that user-friendliness may be prioritized over security, and the passcode confirmation may be omitted by only checking the license status.

また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理することになる。 Furthermore, when the electronic blackboard 2 is the host device, the remote connection processing section 81 transmits participating base information included in the participation request sent via the communication network 9 from the remote participation processing section 62 of the participating device to the server section. 90 participating base management table 820. Then, the remote connection processing unit 81 reads the remote base information stored in the participating base management table 820 and transmits it to the remote connection result transmitting unit 72. The remote connection result transmitting unit 72 transmits remote base information to the remote start processing unit 61 in the client unit 20 of the same host device. The remote start processing unit 61 stores remote base information in the participating base management table 610. As a result, in the host device, both the client section 20 and the server section 90 manage remote base information.

遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板のクライアント部を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を受信して画像データ記憶部830に記憶すると共に、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判定した順番で画像データを送信する。 The remote image processing unit 82 processes image data from a video output device (such as a notebook PC 6) connected to the client unit of each electronic blackboard 2 (including the client unit of its own electronic whiteboard, which is the host device) that is undergoing remote sharing processing. (Output image (C)) is received and stored in the image data storage unit 830, and the image data to be remotely shared is displayed in the order of time in which it arrives at the server unit 90 of the own electronic blackboard 2, which is the host device. Determine. In addition, the remote image processing unit 82 refers to the participating base management table 820 and updates the client units 20 of all the electronic blackboards 2 participating in the remote sharing process (including the client unit of its own electronic blackboard, which is the host device). , the image data is transmitted via the communication control unit 70 (remote image transmission unit 74) in the determined order.

遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板のクライアント部を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に操作データを送信する。 The remote operation processing unit 83 processes various operation data such as stroke images (stroke images (B ), etc.), and the display order of the images to be remotely shared is determined based on the time order in which they arrived at the server unit 90 of the own electronic blackboard 2, which is the host device. Note that the various operation data are the same as the various operation data described above. The remote operation processing unit 83 also refers to the participating base management table 820 and sends the operation data to the client units 20 of all the electronic blackboards 2 (including the client unit of its own electronic blackboard, which is the host device) that is undergoing the remote sharing process. Send.

操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板のクライアント部、及び参加装置である電子黒板のクライアント部のそれぞれに送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。そのために、操作データは、図15に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)でストロークが描画されると、同じ主催装置である電子黒板(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)から、参加装置である他の電子黒板(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)に、操作データが送られたことが示されている。 The operation synthesis processing section 84 synthesizes the operation data of each electronic whiteboard 2 outputted from the remote operation processing section 83, stores the operation data as a result of this synthesis in the operation data storage section 840, and also stores the operation data as a result of this synthesis in the operation data storage section 840. Return to This operation data is transmitted from the remote control transmitter 76 to the client section of the electronic blackboard that is the host device and the client section of the electronic blackboard that is the participating device, so that the same operation data is transmitted on each electronic blackboard 2. Such an image is displayed. For this purpose, the operation data is as shown in FIG. No., the IP address of the electronic whiteboard 2 that is the destination of the operation data, the Port No. of the client section (server section), the operation type of the operation data, the operation target of the operation data, and data indicating the contents of the operation data are associated. is shown. For example, in SEQ1, when a stroke is drawn on the client section (Port No.: 50001) of the electronic blackboard (IP address: 192.0.0.1), which is the host device, the electronic blackboard (IP address: 192.0), which is the same host device. 0.1) server unit (Port No.: 50000). In this case, the operation type is "STROKE", the operation target is page data ID "p005", and the data indicating the content of the operation data is data indicating a stroke. In addition, in SEQ2, from the server part (Port No.: 50000) of the electronic blackboard (IP address: 192.0.0.1), which is the host device, to the client part of the other electronic blackboard (IP address: 192.0.0.1), which is the participating device. (Port No.:50001) indicates that the operation data was sent.

なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。 Note that the operation synthesis processing unit 84 performs synthesis in the order in which the operation data is input to the operation synthesis processing unit 84. Therefore, if the communication network 9 is not congested, remote sharing is performed in the order of strokes by users on each electronic blackboard 2. The stroke image (B) is displayed on the displays 3 of all the electronic whiteboards 2 that are being processed.

ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、図6乃至図8に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。 The page processing unit 85 has the same function as the page processing unit 37 in the image processing unit 30 of the client unit 20, and also in the server unit 90, the page data shown in FIGS. 850. Note that the page data storage section 850 has the same contents as the page data storage section 300 in the image processing section 30, so a description thereof will be omitted.

<実施形態の処理又は動作>
続いて、図17及び図18を用いて、本実施形態の処理又は動作について説明する。なお、図17及び図18は、各電子黒板の処理を示したシーケンス図である。
<Processing or operation of embodiment>
Next, the processing or operation of this embodiment will be described using FIGS. 17 and 18. Note that FIGS. 17 and 18 are sequence diagrams showing the processing of each electronic blackboard.

図17及び図18に示す実施形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部及びクライアント部)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、更に、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。 In the embodiments shown in FIGS. 17 and 18, the electronic whiteboard 2a plays a role as a host device (server unit and client unit) that hosts the remote sharing process, and the electronic whiteboards 2b and 2c play the role of a host device that hosts the remote sharing process. A case in which it plays a role as a device (client unit) will be explained. Further, here, displays 3a, 3b, 3c are connected to the electronic whiteboards 2a, 2b, 2c, respectively, and notebook PCs 6a, 6b, 6c are also connected, respectively. Furthermore, electronic pens 4a, 4b, and 4c are used on the electronic blackboards 2a, 2b, and 2c, respectively.

(参加の処理)
まずは、図17を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
(Processing of participation)
First, with reference to FIG. 17, a process for the electronic whiteboards 2b and 2c to participate in the remote sharing process will be described.

ユーザが電子黒板2aの電源スイッチをオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。 When the user turns on the power switch of the electronic whiteboard 2a, the client section 20 of the electronic whiteboard 2a starts up. Then, when the user performs an operation to start the server section 90 using an input device such as a touch panel, the remote start processing section 61 of the client section 20 sends a message to the remote connection request receiving section 71 of the server section 90 of the same electronic whiteboard 2a. Outputs instructions to start processing. Thereby, in the electronic whiteboard 2a, not only the client section 20 but also the server section 90 can start various processes (step S21).

次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。この接続情報には、主催装置のIPアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、図5に示されている遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。更に、パスコードは、遠隔開始処理部61を含む通信制御部60から、図3に示されている画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。 Next, the UI image generating section 33 in the client section 20 of the electronic whiteboard 2a generates connection information for establishing a connection with the electronic whiteboard 2a, and the video superimposing section 28 converts the UI image generating section 33 into the display superimposing section 36. The connection information obtained through is displayed on the display 3a (step S22). This connection information includes the IP address of the host device and the passcode generated for this remote sharing process. In this case, the passcode stored in the passcode management unit 810 is read by the remote connection processing unit 81 shown in FIG. Ru. Further, the passcode is transmitted from the communication control section 60 including the remote start processing section 61 to the image processing section 30 shown in FIG. 3, and is finally input to the UI image generation section 33. As a result, the connection information includes the passcode. The connection information is then conveyed by the user of the electronic whiteboard 2a to the users of the electronic whiteboards 2b and 2c by telephone or e-mail. Note that if the connection destination management table 440 exists, the participating device can make a participation request even if the connection information does not include the IP address of the host device.

次に、電子黒板2b,2cでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板2a,2bのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。 Next, when the electronic whiteboards 2b and 2c accept input of connection information by each user's operation of an input device such as a touch panel, the remote participation processing unit 62 in the client unit 20 of each electronic whiteboard 2a and 2b processes the connection information. Based on the IP address, a passcode is sent to the communication control section 70 in the server section 90 of the electronic whiteboard 2a via the communication network 9 to request participation (steps S23, S24). As a result, the remote connection request receiving section 71 of the communication control section 70 receives the participation request (including the passcode) from each of the electronic whiteboards 2b and 2c, and outputs this passcode to the remote connection processing section 81.

次に、遠隔接続処理部81は、各電子黒板2b,2cのから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立され、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。 Next, the remote connection processing section 81 authenticates the passcodes received from each of the electronic whiteboards 2b and 2c using the passcodes managed by the passcode management section 810 (step S25). Then, the remote connection result transmitting unit 72 notifies the client unit 20 of each electronic whiteboard 2b, 2c of the authentication result (steps S26, S27). If the electronic blackboards 2b and 2c are determined to be legitimate electronic blackboards through the authentication in step S25, remote sharing between the electronic blackboard 2a, which is the host device, and the electronic blackboards 2b, 2c, which are participating devices, is possible. Processing communication is established, and the remote participation processing unit 62 in the client unit 20 of each electronic whiteboard 2b, 2c enables the start of remote sharing processing with the other electronic whiteboard (steps S28, S29).

(出力画像の表示)
続いて、図17を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
(Display of output image)
Next, the process of displaying the output image (C) in the remote sharing process will be described using FIG. 17.

まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信し、表示重畳部36及び映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。 First, the electronic whiteboard 2b displays an output image (C) on the display 3b (step S30). Specifically, the image acquisition unit 31 of the electronic whiteboard 2b receives data of the output image (C) displayed on the notebook PC 6b from the notebook PC 6b via the video acquisition unit 21, By transmitting the image to the display 3b via the superimposing unit 28, the display 3b displays the output image (C).

次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信することで、遠隔画像送信部63を含む通信制御部60が通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aの遠隔画像受信部73は、出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。 Next, the image processing unit 30 including the image acquisition unit 31 of the electronic whiteboard 2b transmits the data of the output image (C) to the remote image transmitting unit 63, so that the communication control unit 60 including the remote image transmitting unit 63 The data of the output image (C) is transmitted to the communication control unit 70 of the electronic whiteboard 2a, which is the host device, via the communication network 9 (step S31). As a result, the remote image receiving section 73 of the electronic whiteboard 2a receives the data of the output image (C) and outputs it to the remote image processing section 82, so that the remote image processing section 82 stores the output image in the image data storage section 830. Store the data in (C).

次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。 Next, the electronic whiteboard 2a, which is the host device, displays the output image (C) on the display 3a (step S32). Specifically, the remote image processing section 82 of the electronic whiteboard 2a outputs the data of the output image (C) received from the remote image receiving section 73 to the remote image transmitting section 74. The remote image transmitting section 74 outputs the data of the output image (C) to the remote image receiving section 64 in the client section 20 of the electronic blackboard 2a, which is the same host device. The remote image receiving section 64 outputs the data of the output image (C) to the display superimposing section 36. The display superimposing section 36 outputs data of the output image (C) to the video superimposing section 28. The video superimposition unit 28 outputs the data of the output image (C) to the display 3a. Thereby, the display 3a displays the output image (C).

次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、通信ネットワーク9を介して、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、出力画像(C)のデータを受信する。 Next, the communication control section 70 including the remote image transmitting section 74 in the server section 90 of the electronic blackboard 2a serving as the host device transmits the data of the output image (C) to the electronic blackboard 2b, which is the transmission source of the data of the output image (C), via the communication network 9. The data of the output image (C) is transmitted to the communication control unit 60 of the other electronic whiteboard 2c (step S33). As a result, the remote image receiving unit 64 of the electronic whiteboard 2c, which is a participating device, receives the data of the output image (C).

次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。 Next, the electronic whiteboard 2c displays the output image (C) on the display 3c (step S34). Specifically, the remote image receiving section 64 of the electronic whiteboard 2c outputs the data of the output image (C) received in step S33 above to the display superimposing section 36 of the electronic whiteboard 2c. The display superimposing section 36 outputs data of the output image (C) to the video superimposing section 28. The video superimposition unit 28 outputs data of an output image (C) to the display 3c. Thereby, the display 3c displays the output image (C).

なお、出力画像(C)のデータだけでなく、UI画像(A)、及びストローク画像(B)の各データが、表示合成部28に入力されている場合には、表示重畳部36により、重畳画像(A,B,C)が生成され、映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャーインピクチャーによりテレビ会議用の映像(E)のデータを重畳して、ディスプレイ3cに出力する。 Note that if not only the data of the output image (C) but also the data of the UI image (A) and the stroke image (B) are input to the display synthesis section 28, the display superposition section 36 superimposes the data. Images (A, B, C) are generated, and the video superimposing section 28 outputs data of the superimposed images (A, B, C) to the display 3c. In addition, when the data of the video (E) for the video conference is sent from the video conference terminal 7 to the video superimposing unit 28, the video superimposing unit 28 converts the data into the superimposed images (A, B, C). Video (E) data for a video conference is superimposed by picture-in-picture and output to the display 3c.

(重畳画像の表示)
続いて、図18を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
(Display of superimposed image)
Next, the process of displaying a superimposed image in the remote sharing process will be described using FIG. 18.

まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。 First, the user draws a stroke image (B) on the electronic blackboard 2b using the electronic pen 4b (step S41).

次に、電子黒板2bの表示重畳部36は、図16に示されているように、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22及び接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。 Next, as shown in FIG. 16, the display superimposing unit 36 of the electronic whiteboard 2b superimposes the stroke image (B) on the UI image (A) and the output image (C), and performs video superimposition. The unit 28 displays the superimposed images (A, B, C) on the display 3b of the electronic whiteboard 2b (step S42). Specifically, the stroke processing unit 32 of the electronic whiteboard 2b receives the data of the stroke image (B) as operation data from the coordinate detection unit 22 and the contact detection unit 24 via the event distribution unit 25, and displays and superimposes the data. 36. Thereby, the display superimposing unit 36 can superimpose the stroke image (B) on the UI image (A) and the output image (C), and the video superimposing unit 28 can superimpose the stroke image (B) on the UI image (A) and the output image (C). A superimposed image (A, B, C) can be displayed.

次に、電子黒板2bのストローク処理部32を含む画像処理部30が、遠隔操作送信部65にストローク画像(B)のデータを送信することで、電子黒板2bの遠隔操作送信部65は、通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。これにより、電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図7に示されているストロークデータID毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。 Next, the image processing unit 30 including the stroke processing unit 32 of the electronic whiteboard 2b transmits the data of the stroke image (B) to the remote control transmitting unit 65, so that the remote control transmitting unit 65 of the electronic blackboard 2b communicates The data of the stroke image (B) is transmitted to the communication control unit 70 of the electronic whiteboard 2a, which is the host device, via the network 9 (step S43). Thereby, the remote operation receiving section 75 of the electronic whiteboard 2a receives the data of the stroke image (B) and outputs it to the remote operation processing section 83, so that the remote operation processing section 83 sends the stroke image to the operation synthesis processing section 84. Output the data in (B). In this way, the data of the stroke image (B) drawn on the electronic blackboard 2b is sequentially transmitted to the remote control processing unit 83 of the electronic blackboard 2a, which is the host device, each time it is drawn. The data of this stroke image (B) is data shown for each stroke data ID shown in FIG. Therefore, for example, as described above, when the user draws the alphabet "T" with the electronic pen 4, it is written in two strokes, so the data of the stroke image (B) indicated by each of the two stroke data IDs is sequentially transmitted. be done.

次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。 Next, the electronic blackboard 2a, which is the host device, displays the superimposed image (A, B, C) containing the data of the stroke image (B) sent from the electronic blackboard 2b on the display 3a (step S44). Specifically, the operation synthesis processing section 84 of the electronic whiteboard 2a synthesizes data of a plurality of stroke images (B) sequentially sent via the remote operation processing section 83, and stores the data in the operation data storage section 840. It is stored and returned to the remote control processing section 83. Thereby, the remote operation processing section 83 outputs the data of the combined stroke image (B) received from the operation composition processing section 84 to the remote operation transmission section 76 . The remote control transmitting section 76 outputs the data of the combined stroke image (B) to the remote control receiving section 66 in the client section 20 of the electronic blackboard 2a, which is the same host device. The remote control receiving section 66 outputs data of the combined stroke image (B) to the display superimposing section 36 in the image processing section 30 . Therefore, the display superimposition unit 36 superimposes the combined stroke image (B) on the UI image (A) and the output image (C). Finally, the video superimposing section 28 displays the superimposed images (A, B, C) superimposed by the display superimposing section 36 on the display 3a.

次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを送信する(ステップS45)。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。 Next, the communication control section 70 including the remote control transmitting section 76 in the server section 90 of the electronic blackboard 2a as the host device transmits the data of the stroke image (B) to the electronic blackboard 2b, which is the transmission source of the data of the stroke image (B), via the communication network 9. The data of the combined stroke image (B) is transmitted to the communication control unit 60 of the other electronic whiteboards 2c (step S45). Thereby, the remote control receiving unit 66 of the electronic whiteboard 2c, which is a participating device, receives the data of the combined stroke image (B).

次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、及び出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する。 Next, the electronic whiteboard 2c displays the superimposed image (A, B, C) on the display 3c (step S34). Specifically, the remote control receiving section 66 of the electronic whiteboard 2c outputs the data of the combined stroke image (B) received in step S45 to the image processing section 30 of the electronic whiteboard 2c. The display superimposing section 36 of the image processing section 30 superimposes each data of the UI image (A) and the output image (C) with the data of the combined stroke image (B), and sends the superimposed image ( A, B, C) data is output. The video superimposition unit 28 outputs data of superimposed images (A, B, C) to the display 3c. Thereby, the display 3c displays the superimposed image (A, B, C).

なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。 Note that in the above process, the output image (C) is displayed on the display 3, but a background image (D) may be displayed instead of this output image (C). Further, the exclusive relationship between the output image (C) and the background image (D) may be discontinued, and both the output image (C) and the background image (D) may be displayed on the display 3 at the same time.

(参加の終了)
続いて、図18を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図18に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
(End of participation)
Next, a process for a participating device to terminate participation in the remote sharing process will be described using FIG. 18. The embodiment shown in FIG. 18 shows a process in which the electronic whiteboard 2c ends participation.

まず、電子黒板2cでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、参加の終了要求を行う(ステップS47)。これにより、通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスとともに参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレス及び削除した旨の通知を出力する。 First, when the electronic whiteboard 2c receives a request for termination of participation by the user by operating an input device such as a touch panel, the remote participation processing section 62 sends the message to the communication control section 70 in the server section 90 of the electronic whiteboard 2a serving as the host device. A request for termination of participation is made (step S47). As a result, the remote connection request receiving unit 71 of the communication control unit 70 receives the participation termination request from the electronic whiteboard 2c, and outputs the participation termination request to the remote connection processing unit 81 together with the IP address of the electronic whiteboard 2c. . Then, based on the IP address sent from the remote connection request receiving unit 71, the remote connection processing unit 81 of the electronic whiteboard 2a selects the IP address of the electronic whiteboard 2c that has made the participation termination request from the participating base management table 820. The address and the name of the base where the electronic whiteboard 2c is installed are deleted, and a notification to the effect that the IP address of the electronic whiteboard 2c and the deletion has been output is output to the remote connection result transmitter 72.

次に、遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する(ステップS49)。 Next, the communication control unit 70 including the remote connection result transmission unit 72 instructs the communication control unit 60 in the client unit 20 of the electronic whiteboard 2c to terminate participation via the communication network 9 (step S48). As a result, the remote participation processing section 62 of the communication control section 60 in the electronic whiteboard 2c terminates the participation by cutting off communication for the remote sharing process and performing a participation termination process (step S49).

図19は、一覧に表示するページのアイテムのレイヤ構成の一例を表す図である。図19に示されるように、ページに対する操作を受け付けるための透明なボタンのレイヤと、双方の書き込みを反映させるためのストローク情報のレイヤと、ページの背景情報を表示するための背景画像のレイヤと、で構成される。ここで、ストローク情報のレイヤは、例えば、Microsoft社のWPF(Windows Presentation Foundation)の機能であるInkCanvas等、直接ストローク情報を編集できるようなものとする。また、一覧内のどのページが他の電子黒板に共有されているかをユーザが分かるようにするため、一覧制御部41は、共有中のページの情報をページ処理部37から取得し、アイテムの枠にハイライトを付ける。 FIG. 19 is a diagram illustrating an example of the layer configuration of items of pages displayed in a list. As shown in Figure 19, there is a transparent button layer for accepting operations on the page, a stroke information layer for reflecting both sides' writing, and a background image layer for displaying page background information. , consists of. Here, the stroke information layer is assumed to be one that allows direct editing of stroke information, such as InkCanvas, which is a function of Microsoft's WPF (Windows Presentation Foundation). In addition, in order to enable the user to know which pages in the list are shared with other electronic blackboards, the list control unit 41 obtains information about the page being shared from the page processing unit 37, and Highlight.

図20は、ページ読み込みのフローチャートである。ページ一覧の画面表示開始時には、図20のフローを全ての保持するページについて行う。透明なボタンのレイヤとストローク情報のレイヤは全てのページのアイテムが持つ構成であり(ステップS201、S202)、背景画像のレイヤはそのページに背景が設定されているページのアイテムのみが持つ構成である(ステップS203)。ページ内にストロークの書き込みがある場合には、ストローク情報のレイヤにストロークを描画する。背景画像のレイヤが作成された場合には、ページから背景画像を取得し描画する(ステップS204)。このように、レイヤ化されたアイテムを一覧で画面上に表示させることによって、全てのページの一覧表示を可能にする(ステップS205)。 FIG. 20 is a flowchart of page loading. When the screen display of the page list starts, the flow shown in FIG. 20 is performed for all retained pages. The transparent button layer and stroke information layer are structures that all page items have (steps S201 and S202), and the background image layer is a structure that only items of pages whose background is set on that page have. Yes (step S203). If a stroke is written on the page, the stroke is drawn in the stroke information layer. If a background image layer has been created, the background image is acquired from the page and drawn (step S204). By displaying the layered items as a list on the screen in this manner, it is possible to display a list of all pages (step S205).

電子黒板上でページ一覧を表示中に、他の電子黒板やPCからページの追加要求があった場合、その要求の情報をもとに図20のフローを処理することによって、ページ一覧の画面上に、新たに追加されたページの情報を追加する。同様に、ページ一覧を表示中に、他の電子黒板からストロークの書き込みや消去が行われた場合には、そのストロークの変更を受け取ってストローク情報のレイヤを更新する。また、背景情報のレイヤが無いページに対して背景画像が後から設定された場合には、そのページのアイテムに対して新しく背景画像のレイヤを作成して最背部に配置する。 When a page list is displayed on the electronic blackboard, if there is a request to add a page from another electronic blackboard or PC, the page list screen will be added by processing the flow shown in Figure 20 based on the information of the request. Add information about newly added pages to . Similarly, if a stroke is written or erased from another electronic blackboard while the page list is displayed, the change in stroke is received and the stroke information layer is updated. Furthermore, if a background image is set later on a page that does not have a background information layer, a new background image layer is created for the item on that page and placed at the backmost position.

図21は、一覧に表示するページのアイテムのレイヤ構成を決定するフローチャートである。
・ステップ211(S211)において、ボタン等のトリガを用いてボタンの状態変更の処理が実行された場合、ページ内容を確認する状態か否かを判定する。ページ内容を確認する状態である場合はステップ212へ進み、ページ内容を確認する状態ではない場合はステップ213へ進む。
・ステップ212(S212)において、ページ内容を確認する状態である場合はボタンのレイヤを最前面にする。そうすることで、ユーザからのクリックイベントを受け取れるようになり、ページに対する操作を実行できるようになる。
・ステップ213(S213)において、ページ内容を確認する状態ではない場合ストローク情報のレイヤを最前面にする。そうすることで、一覧表示内から直接ページに対して書き込み処理を行うことができるようになる。
FIG. 21 is a flowchart for determining the layer configuration of items of pages to be displayed in a list.
- In step 211 (S211), when a button state change process is executed using a trigger such as a button, it is determined whether or not the page contents are to be confirmed. If the page content is to be confirmed, the process proceeds to step 212; if the page content is not to be confirmed, the process proceeds to step 213.
- In step 212 (S212), if the page contents are to be confirmed, the button layer is brought to the forefront. By doing so, you will be able to receive click events from users and perform operations on the page.
- In step 213 (S213), if the page contents are not to be confirmed, the stroke information layer is brought to the forefront. By doing so, you will be able to write directly to the page from within the list display.

図22および図23は、ディスプレイに表示される画面の一例である。レイヤの構成を変更するトリガは、図22のようにページごとに適応できるようにしたり、図23のように一覧全体に適用できるようにしたりすることが想定される。 22 and 23 are examples of screens displayed on the display. It is assumed that the trigger for changing the layer configuration can be applied to each page as shown in FIG. 22, or to the entire list as shown in FIG. 23.

本発明の一実施形態では、一覧上に表示するアイテムを用途の異なる複数のレイヤで構成させ、動的にその構成を変化させるので、ユーザは、一覧機能としてページを閲覧すること、追加や複製等の操作を行う機能を損なわずにページに書き込みを行うことができる。 In one embodiment of the present invention, items displayed on a list are configured in multiple layers with different purposes, and the configuration is dynamically changed, so that users can view pages as a list function, add items, and copy items. You can write to the page without losing the ability to perform operations such as

このように、本発明の一実施形態では、電子黒板等の画像処理装置のページの一覧表示内で書き込みを行うことができる。そのため、会議の参加者達は、前後のページを確認しながら書き込みを行って議論する(つまり、ページの一覧表示中にも議論を継続する)ことができる。 In this manner, in one embodiment of the present invention, writing can be performed within a page list display of an image processing device such as an electronic blackboard. Therefore, conference participants can write and discuss while checking the previous and next pages (that is, continue the discussion even while the page list is displayed).

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Each function of the embodiments described above can be realized by one or more processing circuits. Here, the term "processing circuit" as used herein refers to a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, or a processor designed to execute each function explained above. This includes devices such as ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), FPGAs (Field Programmable Gate Arrays), and conventional circuit modules.

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Note that the present invention is not limited to the configurations shown here, such as combinations of other elements with the configurations listed in the above embodiments. These points can be modified without departing from the spirit of the present invention, and can be appropriately determined depending on the application thereof.

1 画像処理システム
2 電子黒板(画像処理装置)
3 ディスプレイ
4 電子ペン
5 USBメモリ
6 ノートPC
7 テレビ会議端末
8 PC
9 通信ネットワーク
10 ケーブル
20 クライアント部
21 映像取得部
22 座標検知部
23 自動調整部
24 接触検知部
25 イベント振分部
26 操作処理部
27 ジェスチャ処理部
28 映像重畳部
29 指判別部
30 画像処理部
31 画像取得部
32 ストローク処理部
33 UI画像生成部
34 背景生成部
35 レイアウト管理部
36 表示重畳部
37 ページ処理部
38 マーカー処理部
39 コンテキスト処理部
40 ファイル処理部
41 一覧制御部
300 ページデータ記憶部
310 遠隔ライセンス管理テーブル
60 通信制御部
70 通信制御部
80 データ管理部
90 サーバ部
1 Image processing system 2 Electronic blackboard (image processing device)
3 Display 4 Electronic pen 5 USB memory 6 Notebook PC
7 Video conference terminal 8 PC
9 Communication network 10 Cable 20 Client section 21 Video acquisition section 22 Coordinate detection section 23 Automatic adjustment section 24 Contact detection section 25 Event distribution section 26 Operation processing section 27 Gesture processing section 28 Video superimposition section 29 Finger discrimination section 30 Image processing section 31 Image acquisition section 32 Stroke processing section 33 UI image generation section 34 Background generation section 35 Layout management section 36 Display superimposition section 37 Page processing section 38 Marker processing section 39 Context processing section 40 File processing section 41 List control section 300 Page data storage section 310 Remote license management table 60 Communication control section 70 Communication control section 80 Data management section 90 Server section

特開2015-138446号公報Japanese Patent Application Publication No. 2015-138446

Claims (6)

複数のページの一覧の画面を生成して表示させ、前記一覧内の1つのページまたは2つ以上のページは、用途の異なる複数のレイヤで構成されており、
前記1つのページまたは前記2つ以上のページの内容を確認する状態ではない場合には、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページ上への書き込みを受け付け、前記1つのページまたは前記2つ以上のページの内容を確認する状態である場合には、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページに対する操作を受け付ける、一覧制御部を備え、
前記書き込みを反映させるためのストローク情報は、前記ページのデータの一部を成す、画像処理装置。
Generate and display a screen listing a plurality of pages, one page or two or more pages in the list being composed of a plurality of layers with different uses,
If the content of the one page or the two or more pages is not in a state to be checked, write on the one page or the two or more pages by changing the configuration of the plurality of layers. and confirm the contents of the one page or two or more pages, by changing the configuration of the plurality of layers, Equipped with a list control section that accepts operations ,
An image processing apparatus, wherein stroke information for reflecting the writing forms part of data of the page.
前記複数のレイヤは、前記1つのページまたは前記2つ以上のページに対する操作を受け付けるためのボタンが表示されている透明なレイヤと、前記書き込みを反映させるためのストローク情報のレイヤとを含む、請求項1に記載の画像処理装置。 The plurality of layers include a transparent layer in which buttons for accepting operations on the one page or the two or more pages are displayed, and a stroke information layer for reflecting the writing. The image processing device according to item 1. 前記複数のレイヤの構成を変更することは、前記書き込みを反映させるためのストローク情報のレイヤを最前面にすることである、請求項2に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein changing the configuration of the plurality of layers is to bring a layer of stroke information for reflecting the writing to the forefront. 前記複数のレイヤは、前記1つのページまたは前記2つ以上のページの背景情報を表示するための背景画像のレイヤを含む、請求項1から3のいずれか一項に記載の画像処理装置。 The image processing device according to claim 1 , wherein the plurality of layers include a background image layer for displaying background information of the one page or the two or more pages. 複数のページの一覧の画面を生成して表示させるステップであって、前記一覧内の1つのページまたは2つ以上のページは、用途の異なる複数のレイヤで構成されている、ステップと、
前記1つのページまたは前記2つ以上のページの内容を確認する状態ではない場合には、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページ上への書き込みを受け付け、前記1つのページまたは前記2つ以上のページの内容を確認する状態である場合には、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページに対する操作を受け付けるステップと、を含み、
前記書き込みを反映させるためのストローク情報は、前記ページのデータの一部を成す、方法。
a step of generating and displaying a screen listing a plurality of pages, wherein one page or two or more pages in the list is composed of a plurality of layers for different purposes;
If the content of the one page or the two or more pages is not in a state to be checked, write on the one page or the two or more pages by changing the configuration of the plurality of layers. and confirm the contents of the one page or two or more pages, by changing the configuration of the plurality of layers, a step of accepting an operation ;
The stroke information for reflecting the writing forms part of the data of the page.
コンピュータを
複数のページの一覧の画面を生成して表示させ、前記一覧内の1つのページまたは2つ以上のページは、用途の異なる複数のレイヤで構成されており、
前記1つのページまたは前記2つ以上のページの内容を確認する状態ではない場合には、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページ上への書き込みを受け付け、前記1つのページまたは前記2つ以上のページの内容を確認する状態である場合には、前記複数のレイヤの構成を変更することによって、前記1つのページまたは前記2つ以上のページに対する操作を受け付ける、一覧制御部として機能させ、
前記書き込みを反映させるためのストローク情報は、前記ページのデータの一部を成す、プログラム。
causing the computer to generate and display a screen listing a plurality of pages, one page or two or more pages in the list being composed of a plurality of layers with different purposes,
If the content of the one page or the two or more pages is not in a state to be checked, write on the one page or the two or more pages by changing the configuration of the plurality of layers. and confirm the contents of the one page or two or more pages, by changing the configuration of the plurality of layers, Functions as a list control unit that accepts operations ,
The stroke information for reflecting the writing forms part of the data of the page.
JP2019049125A 2019-03-15 2019-03-15 Image processing device, method, and program Active JP7363064B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019049125A JP7363064B2 (en) 2019-03-15 2019-03-15 Image processing device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049125A JP7363064B2 (en) 2019-03-15 2019-03-15 Image processing device, method, and program

Publications (2)

Publication Number Publication Date
JP2020149634A JP2020149634A (en) 2020-09-17
JP7363064B2 true JP7363064B2 (en) 2023-10-18

Family

ID=72430651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049125A Active JP7363064B2 (en) 2019-03-15 2019-03-15 Image processing device, method, and program

Country Status (1)

Country Link
JP (1) JP7363064B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140033056A1 (en) 2012-07-24 2014-01-30 Samsung Electronics Co., Ltd. Method and system for providing a memo function based on a cloud service and an electronic device supporting the same
JP2015197765A (en) 2014-03-31 2015-11-09 富士通株式会社 Display control program, display control device, and display control method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140033056A1 (en) 2012-07-24 2014-01-30 Samsung Electronics Co., Ltd. Method and system for providing a memo function based on a cloud service and an electronic device supporting the same
JP2015197765A (en) 2014-03-31 2015-11-09 富士通株式会社 Display control program, display control device, and display control method

Also Published As

Publication number Publication date
JP2020149634A (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US9754559B2 (en) Image processing apparatus
JP6094550B2 (en) Information processing apparatus and program
JP6493546B2 (en) Electronic blackboard, storage medium, and information display method
EP3396510B1 (en) Image processing device, image display method, and program
JP6402826B2 (en) Information processing apparatus, image display method, and program
JP6620494B2 (en) Communication system, information processing apparatus, communication method, program
JP2016134014A (en) Electronic information board device, information processing method and program
JP2017112581A (en) Electronic board, program, data display method, and image processing system
JP6885416B2 (en) Electronic blackboards, image processing methods for electronic blackboards, and programs
JP5846270B2 (en) Image processing system and information processing apparatus
US10489049B2 (en) Image processing apparatus, image processing system, and image processing method
JP2017076207A (en) Image processing device and image processing system
JP6036621B2 (en) System, information processing device
JP2017091559A (en) Apparatus and method
JP7363064B2 (en) Image processing device, method, and program
JP7298224B2 (en) Display device and display method
JP7388159B2 (en) Display device, display method
JP2016076775A (en) Image processing apparatus, image processing system, image processing method, and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151