[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5186870B2 - Information sharing support system, information sharing support program, and information sharing support device - Google Patents

Information sharing support system, information sharing support program, and information sharing support device Download PDF

Info

Publication number
JP5186870B2
JP5186870B2 JP2007263674A JP2007263674A JP5186870B2 JP 5186870 B2 JP5186870 B2 JP 5186870B2 JP 2007263674 A JP2007263674 A JP 2007263674A JP 2007263674 A JP2007263674 A JP 2007263674A JP 5186870 B2 JP5186870 B2 JP 5186870B2
Authority
JP
Japan
Prior art keywords
image
annotation
captured image
information
annotation image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007263674A
Other languages
Japanese (ja)
Other versions
JP2009094817A (en
Inventor
真吾 内橋
萌 時
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2007263674A priority Critical patent/JP5186870B2/en
Publication of JP2009094817A publication Critical patent/JP2009094817A/en
Application granted granted Critical
Publication of JP5186870B2 publication Critical patent/JP5186870B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報共有支援システム、情報共有支援プログラム及び情報共有支援装置に関する。   The present invention relates to an information sharing support system, an information sharing support program, and an information sharing support device.

会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を大型表示装置等の端末に送信すると共に、端末において撮像画像に基づいて指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する情報共有支援システムや指示システム等が知られている。   In a conference system or the like, it is necessary to give various instructions such as instructions for work procedures from the terminal side to the real object side. As such a conference system capable of giving an instruction from the terminal side to the real object side, for example, while capturing an object existing on the real object side with a video camera, the captured image is transmitted to a terminal such as a large display device. In addition, an information sharing support system, an instruction system, and the like that project an annotation image instructed based on a captured image at a terminal onto a target object on a real object side are known.

また、上述した情報共有支援システム等では、注釈画像が投影された対象物の撮像画像もまた同様に端末に送信される。そして、その端末において、設計図面等の電子文書が利用者の操作によって開かれ、受信した撮像画像内の実物体と比較されながら、その電子文書内の一部の領域と撮像画像内の一部の領域とが注釈画像により結ばれて対応付けられることもある。   In the information sharing support system and the like described above, the captured image of the target object on which the annotation image is projected is also transmitted to the terminal. Then, in the terminal, an electronic document such as a design drawing is opened by a user's operation, and compared with a real object in the received captured image, a partial area in the electronic document and a partial in the captured image May be associated with each other by an annotation image.

ところで、画像等の対応付け等には種々の技術が知られている。例えば、特許文献1では、プリント基板の画像データと部品ごとの実装位置データとを対応づけ、不良部品が実装されたプリント基板が検出された場合に、プリント基板上の不良箇所に印をつけて表示部に表示させる技術が開示されている。また、特許文献2では、マウスポインタの電子文書上での動作とレーザーポインタの紙文書上での動作とを対応づけて連動させる技術が開示されている。   By the way, various techniques are known for associating images and the like. For example, in Patent Document 1, image data of a printed circuit board is associated with mounting position data for each component, and when a printed circuit board on which a defective component is mounted is detected, a defective portion on the printed circuit board is marked. A technique for displaying on a display unit is disclosed. Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique for associating and operating the operation of the mouse pointer on the electronic document and the operation of the laser pointer on the paper document.

これらの技術以外にも、特許文献3に開示されるように、携帯端末から送信された手書きの画像情報等を位置情報と関連付け、作業者間で共有されている地図上に重畳させる技術や、特許文献4に開示されるように、会合の様子を撮影した動画像、そこで使用された資料、その他のメディアデータを時間軸上で同期をとりながら記録する技術がある。   In addition to these technologies, as disclosed in Patent Literature 3, hand-drawn image information transmitted from a mobile terminal is associated with position information and superimposed on a map shared between workers, As disclosed in Patent Document 4, there is a technique for recording a moving image obtained by capturing a meeting, materials used there, and other media data while synchronizing them on a time axis.

特開平10−269292号公報Japanese Patent Laid-Open No. 10-269292 特表2000−172402号公報Special Table 2000-172402 特開2001−188837号公報JP 2001-188837 A 特開2005−260513号公報JP-A-2005-260513

ここで、上述した情報共有支援システムにおいて、電子文書内の一部の領域と撮像画像内の一部の領域とが注釈画像により結ばれて対応付けがなされた後、例えば会議議事録等としてこれらの状態が維持されるように記録しておきたい場合もある。   Here, in the information sharing support system described above, after a part of the area in the electronic document and a part of the area in the captured image are connected by the annotation image and associated with each other, for example, as a meeting minutes You may want to keep a record so that

例えばビットマップ等のラスタイメージによってこれらの状態をそのまま記録することも考えられるが、再現性の観点から会議議事録としての利便性は必ずしも好適ではなく、また、対応付けがなされる度に記録作業が発生する可能性もあり操作性は好ましくない。   For example, it is conceivable to record these states as they are by using a raster image such as a bitmap. However, the convenience as a meeting minutes is not always preferable from the viewpoint of reproducibility, and the recording work is performed every time correspondence is made. The operability is not preferable.

本発明は、このような事情に鑑みてなされたものであり、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される情報共有支援システム、情報共有支援プログラム及び情報共有支援装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and an information sharing support system, an information sharing support program, and an information sharing support in which reproducibility of materials used in a remote conference or the like is ensured with a simple operation. An object is to provide an apparatus.

請求項1に記載の発明は、対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段を有し、制御手段は、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援システムである。   According to the first aspect of the present invention, a photographed image photographed by a photographing means for photographing an object is transmitted to a terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal is projected. Control means capable of projecting onto the object by the control means, and the control means transmits the captured image of the object on which the annotation image is projected to the terminal, and the annotation image in the captured image and the annotation image outside the captured image It is an information sharing support system characterized by generating connection information for connecting and adapting them to storage means.

請求項2に記載の発明は、請求項1に記載の発明において、制御手段は、連結情報を、指示に併せて記憶していくことを特徴としている。   The invention according to claim 2 is characterized in that, in the invention according to claim 1, the control means stores the connection information together with the instruction.

請求項3に記載の発明は、請求項1又は2に記載の発明において、制御手段は、指示用画像が、撮影画像外の注釈画像で形成される領域内に含まれた場合に、該注釈画像に対応する撮影画像を連結情報に基づいて表示することを特徴としている。   According to a third aspect of the present invention, in the first or second aspect of the present invention, when the instruction image is included in a region formed by the annotation image outside the photographed image, the control means performs the annotation. A feature is that a captured image corresponding to the image is displayed based on the connection information.

請求項4に記載の発明は、請求項1から3のいずれか1項に記載の発明において、制御手段は、注釈画像に対応する撮影画像の表示中に、指示用画像が、撮影画像外の注釈画像で形成される領域から外れた場合に、該注釈画像に対応する撮影画像の表示を停止することを特徴としている。   According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the control unit is configured to display the instruction image outside the captured image while displaying the captured image corresponding to the annotation image. When the image is out of the region formed by the annotation image, the display of the captured image corresponding to the annotation image is stopped.

請求項5に記載の発明は、請求項1から4のいずれか1項に記載の発明において、制御手段は、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に連結情報を形成することを特徴としている。   The invention according to claim 5 is the invention according to any one of claims 1 to 4, wherein the control means includes a boundary line that distinguishes the inside and outside of the captured image, an annotation image in the captured image, and an outside of the captured image. The connection information is formed on the basis of a boundary point where the annotation image for association with the annotation image is associated.

請求項6に記載の発明は、請求項5に記載の発明において、制御手段は、描画中の対応付用注釈画像が基準点を通過する時刻を基準に連結情報を形成することを特徴としている。   The invention according to claim 6 is the invention according to claim 5, wherein the control means forms the connection information on the basis of the time when the annotation image for correspondence passing through the drawing passes the reference point. .

請求項7に記載の発明は、コンピュータを、対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により対象物に投影させ得る制御手段として機能させ、制御手段は、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援プログラムである。   According to the seventh aspect of the present invention, the computer transmits a photographed image photographed by photographing means for photographing a target object to the terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal. The control means transmits a captured image of the object on which the annotation image is projected to the terminal, and the annotation image in the captured image and the outside of the captured image are transmitted to the terminal. An information sharing support program characterized by generating connection information for matching and connecting an annotation image and storing it in a storage means.

請求項8に記載の発明は、対象物を撮像する撮影手段と、撮影手段の撮影領域内にその撮影画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶する制御手段と、を有することを特徴とする情報共有支援装置である。   According to an eighth aspect of the present invention, there is provided imaging means for imaging an object, projection means for projecting an annotation image representing an annotation in accordance with an instruction made based on the captured image in an imaging area of the imaging means, and annotation A captured image of the object on which the image is projected is transmitted to the terminal, and connection information for matching and connecting the annotation image in the captured image and the annotation image outside the captured image is generated and stored in the storage unit And an information sharing support device.

請求項1に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。   According to the first aspect of the present invention, the reproducibility of the material used in the remote conference or the like is ensured with a simple operation.

請求項2に記載の発明によれば、本構成を有していない場合に比較して、連結情報の記憶を指示に連動できる。   According to the second aspect of the present invention, the storage of the connection information can be linked to the instruction as compared with the case where the present configuration is not provided.

請求項3に記載の発明によれば、本構成を有していない場合に比較して、対応関係を有する撮影画像外の領域に対応する撮影画像が表示される。   According to the third aspect of the present invention, the captured image corresponding to the area outside the captured image having the corresponding relationship is displayed as compared with the case where the present configuration is not provided.

請求項4に記載の発明によれば、本構成を有していない場合に比較して、撮影画像の継続的な表示が抑制される。   According to the fourth aspect of the present invention, the continuous display of the captured image is suppressed as compared with the case where the present configuration is not provided.

請求項5に記載の発明によれば、本構成を有していない場合に比較して、明確な基準点に基づいて連結情報が生成されて記憶される。   According to the fifth aspect of the present invention, the connection information is generated and stored based on a clear reference point as compared with the case where the present configuration is not provided.

請求項6に記載の発明によれば、本構成を有していない場合に比較して、明確な基準時刻に基づいて連結情報が生成された記憶される。   According to invention of Claim 6, compared with the case where it does not have this structure, the connection information produced | generated based on clear reference | standard time is memorize | stored.

請求項7に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。   According to the invention described in claim 7, the reproducibility of the material used in the remote conference or the like is ensured by a simple operation.

請求項8に記載の発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保される。   According to the invention described in claim 8, reproducibility of the material used in the remote conference or the like is ensured by a simple operation.

以下、本発明の実施形態について図面を参照して説明する。
図1は本発明の実施形態に係る情報共有支援システムの構成図である。
情報共有支援システム100は、図1に示すように、指示システム150及び電子情報共有システム151を備え、ネットワーク5を介して互いに接続されている。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a configuration diagram of an information sharing support system according to an embodiment of the present invention.
As shown in FIG. 1, the information sharing support system 100 includes an instruction system 150 and an electronic information sharing system 151, and is connected to each other via a network 5.

指示システム150は、サーバとして機能するパーソナルコンピュータ(PC)1、クライアントとして機能するPC2を備えており、これらは、ネットワーク5を介して互いに接続されている。   The instruction system 150 includes a personal computer (PC) 1 that functions as a server and a PC 2 that functions as a client, which are connected to each other via a network 5.

PC1には、プロジェクタ10及びビデオカメラ11が接続されている。
プロジェクタ10は、PC1からの制御コマンドに基づいて、テーブル15上に載置された対象物14に対して、ハーフミラー12を介して単なる光線を照射する又は注釈画像(以下、アノテーション画像という。)等を投影する。
ビデオカメラ11は、対象物14を含むテーブル15の反射画像をハーフミラー12を介して撮影し、撮影画像をPC1に出力する。
PC1は、撮影画像をPC2に出力すると共に、ネットワーク5を介して電子情報共有システム151に出力する。
A projector 10 and a video camera 11 are connected to the PC 1.
Based on a control command from the PC 1, the projector 10 irradiates the object 14 placed on the table 15 with a simple light beam via the half mirror 12 or an annotation image (hereinafter referred to as an annotation image). And so on.
The video camera 11 captures a reflected image of the table 15 including the object 14 via the half mirror 12 and outputs the captured image to the PC 1.
The PC 1 outputs the captured image to the PC 2 and also outputs it to the electronic information sharing system 151 via the network 5.

PC2には、表示部205が接続されている。
表示部205は、表示領域210及びユーザインターフェース(UI)16を表示する。尚、PC2は、表示部205を備える一体型のパーソナルコンピュータで構成してもよい。
A display unit 205 is connected to the PC 2.
The display unit 205 displays a display area 210 and a user interface (UI) 16. Note that the PC 2 may be configured as an integrated personal computer including the display unit 205.

UI16は、ペン、テキスト、及び消去などのボタン群と、線種などを含む。タッチパネル方式であってもよい。
表示領域210は、ビデオカメラ11で撮影された撮影画像が表示される。同図においては、表示領域210に対象物14を含むテーブル15を上方から撮影した画像が表示されている。また、例えば、UI16のペンボタンが押下されて、表示領域210内の対象物14上に図形等が記載されると、当該図形の情報はPC2からPC1を介してプロジェクタ10に出力される。プロジェクタ10は当該図形の情報に基づいて対象物14上に図形を描く。
The UI 16 includes a group of buttons such as pen, text, and erase, and a line type. A touch panel method may be used.
In the display area 210, a photographed image photographed by the video camera 11 is displayed. In the figure, an image obtained by photographing the table 15 including the object 14 from above is displayed in the display area 210. For example, when a pen button of the UI 16 is pressed and a figure or the like is written on the object 14 in the display area 210, information on the figure is output from the PC 2 to the projector 10 via the PC 1. The projector 10 draws a graphic on the object 14 based on the graphic information.

また、PC2では、例えば表示領域210内に表示される対象物14の一部の範囲が選択される。即ち、対象物14の全体図から一部の範囲が選択されると、後述するPC2の制御部201は、少なくとも1つの対象物14の部分拡大図を自動的に作成し、全体図内の選択された一部の範囲と自動作成された部分拡大図とをアノテーションで連結する。PC2が、アノテーションで連結された全体図及び部分拡大図の情報をプロジェクタ10に送信すると、テーブル15上に全体図、部分拡大図及び両者を連結するアノテーションを投影することができる。   In the PC 2, for example, a partial range of the object 14 displayed in the display area 210 is selected. That is, when a partial range is selected from the overall view of the object 14, the control unit 201 of the PC 2 to be described later automatically creates a partially enlarged view of at least one object 14 and selects it in the overall view. The part of the created range and the automatically created partial enlarged view are connected by annotation. When the PC 2 transmits the information of the whole view and the partially enlarged view connected by the annotation to the projector 10, the whole view, the partially enlarged view and the annotation that connects the two can be projected on the table 15.

また、PC2は、PC1に対して制御コマンドを出力し、プロジェクタ10及びビデオカメラ11の動作(例えば、ビデオカメラ11の撮影角度やプロジェクタ10の明るさなど)を制御することができる。   Further, the PC 2 can output a control command to the PC 1 to control the operations of the projector 10 and the video camera 11 (for example, the shooting angle of the video camera 11 and the brightness of the projector 10).

電子情報共有システム151は、PC3及びPC4を備え、ネットワーク5を介して互いに接続されている。   The electronic information sharing system 151 includes a PC 3 and a PC 4 and is connected to each other via a network 5.

PC3には、表示部305が接続されている。
表示部305の表示領域310は、ビデオカメラ11で撮影された撮影画像の全部又は一部を表示する実物ビューウィンドウ311及び文字、図形、静止画像などを表示する文書領域312を含む。
PC3は、ビデオカメラ11で撮影された撮影画像をPC1から受信し、表示部305の実物ビューウィンドウ311に出力する。
A display unit 305 is connected to the PC 3.
A display area 310 of the display unit 305 includes a real view window 311 that displays all or part of a captured image captured by the video camera 11 and a document area 312 that displays characters, graphics, still images, and the like.
The PC 3 receives the captured image captured by the video camera 11 from the PC 1 and outputs it to the real view window 311 of the display unit 305.

PC4には、表示部405が接続されている。
表示部405の表示領域410は、ビデオカメラ11で撮影された撮影画像の全部又は一部を表示する実物ビューウィンドウ411及び文字、図形、又は静止画像などを含む文書を表示する文書領域412を含む。
PC4は、ビデオカメラ11で撮影された撮影画像をPC1から受信し、表示部405の実物ビューウィンドウ411に出力する。
A display unit 405 is connected to the PC 4.
A display area 410 of the display unit 405 includes a real view window 411 that displays all or a part of a captured image captured by the video camera 11 and a document area 412 that displays a document including characters, graphics, or still images. .
The PC 4 receives the captured image captured by the video camera 11 from the PC 1 and outputs it to the real view window 411 of the display unit 405.

実物ビューウィンドウ311、411は、後述するように表示領域310,410に表示されるデータを構成するレイヤーとしての機能を有する。
PC3及びPC4は、互いに情報を共有する機能を備え、リアルタイムで同一の情報をそれぞれの表示部に表示することができる。
尚、PC3,4も、それぞれ表示部305,405を備える一体型のパーソナルコンピュータで構成してもよい。
The real view windows 311 and 411 have a function as a layer constituting data displayed in the display areas 310 and 410 as described later.
The PC 3 and the PC 4 have a function of sharing information with each other, and can display the same information on each display unit in real time.
The PCs 3 and 4 may also be constituted by an integrated personal computer provided with display units 305 and 405, respectively.

続いて上述したPC1〜4の各機能等について図2及び図3を参照して説明する。
図2はPC1〜4の要部構成を示す機能ブロック図である。
PC1は、装置全体を制御すると共にプロジェクタ10及びビデオカメラ11の動作を制御する制御部101と、ネットワーク5を介して他のPCと情報やデータの送受信を行う送受信部102と、制御プログラム、データ及び情報等を記憶する記憶部104と、バーコードリーダ又はRFIDタグリーダなどで構成される入力部105とを備えている。
Next, the functions of the PCs 1 to 4 described above will be described with reference to FIGS.
FIG. 2 is a functional block diagram showing a main configuration of the PCs 1 to 4.
The PC 1 controls the entire apparatus and controls operations of the projector 10 and the video camera 11, a transmission / reception unit 102 that transmits / receives information and data to / from other PCs via the network 5, a control program, and data And a storage unit 104 for storing information and the like, and an input unit 105 including a barcode reader or an RFID tag reader.

入力部105は、対象物14に付されたバーコード又はRFIDタグから対象物14の識別情報(例えばID)を読み取るために使用される。
制御部101は、プロジェクタ10、ビデオカメラ11、送受信部102、記憶部104及び入力部105に接続されている。
The input unit 105 is used to read identification information (for example, ID) of the object 14 from a barcode or RFID tag attached to the object 14.
The control unit 101 is connected to the projector 10, video camera 11, transmission / reception unit 102, storage unit 104, and input unit 105.

PC2は、装置全体を制御する制御部201と、ネットワーク5を介して他のPCと情報やデータの送受信を行う送受信部202と、マウスやキーボードなどで構成される操作部203と、制御プログラム、データ及び情報等を記憶する記憶部204と、表示部205とを備えている。
制御部201は、送受信部202、操作部203、記憶部204及び表示部205に接続されている。
The PC 2 includes a control unit 201 that controls the entire apparatus, a transmission / reception unit 202 that transmits and receives information and data to and from other PCs via the network 5, an operation unit 203 that includes a mouse and a keyboard, a control program, A storage unit 204 that stores data, information, and the like, and a display unit 205 are provided.
The control unit 201 is connected to the transmission / reception unit 202, the operation unit 203, the storage unit 204, and the display unit 205.

PC3,4は、PC1,2と同様に、それぞれ、制御部301,401、送受信部302,402、操作部303,403、記憶部304,404、及び表示部305,405を備えている。
制御部301は、送受信部302、操作部303、記憶部304及び表示部305に接続され、制御部401は、送受信部402、操作部403、記憶部404及び表示部405に接続されている。尚、上述した制御部101,201,301,401等から本発明の制御手段が構成され、また、上述した記憶部104,204,304,404等から本発明の記憶手段が構成される。これらは、分離されて配置されていても、一体形成されていてもよい。
The PCs 3 and 4 include control units 301 and 401, transmission and reception units 302 and 402, operation units 303 and 403, storage units 304 and 404, and display units 305 and 405, respectively, similarly to the PCs 1 and 2.
The control unit 301 is connected to the transmission / reception unit 302, the operation unit 303, the storage unit 304, and the display unit 305, and the control unit 401 is connected to the transmission / reception unit 402, the operation unit 403, the storage unit 404, and the display unit 405. The above-described control units 101, 201, 301, 401, etc. constitute the control means of the present invention, and the above-mentioned storage units 104, 204, 304, 404, etc. constitute the storage means of the present invention. These may be arranged separately or may be integrally formed.

PC1〜4は、各々が備える送受信部及びネットワーク5を介して互いに接続されている。   PC1-4 are mutually connected via the transmission / reception part and network 5 with which each is provided.

図3はPC3のハードウェア構成を示す機能ブロック図である。
PC3は、図3に示すように、装置全体を制御するCPU21、制御プログラムを備えるROM22、ワーキングエリアとして機能するRAM23、各種の情報やプログラムを備えるハードディスクドライブ(HDD)24、マウス及びキーボード25、他のコンピュータと接続するためのネットワークインタフェース(I/F)26、及び液晶モニタ又はCRT等で構成されるディスプレイ27を備えている。CPU21はシステムバス28を介してROM22、RAM23、ハードディスクドライブ(HDD)24、マウス及びキーボード25、ネットワークインタフェース26、及びディスプレイ27と接続されている。
FIG. 3 is a functional block diagram showing the hardware configuration of the PC 3.
As shown in FIG. 3, the PC 3 includes a CPU 21 that controls the entire apparatus, a ROM 22 that includes a control program, a RAM 23 that functions as a working area, a hard disk drive (HDD) 24 that includes various information and programs, a mouse and keyboard 25, and the like. A network interface (I / F) 26 for connecting to the computer, and a display 27 including a liquid crystal monitor or a CRT. The CPU 21 is connected to a ROM 22, a RAM 23, a hard disk drive (HDD) 24, a mouse and keyboard 25, a network interface 26, and a display 27 via a system bus 28.

したがって、CPU21がROM22やハードディスクドライブ24等に格納された所要の制御プログラムを読み込み、当該制御プログラムに従った演算を行うことにより、PC3内の各機能が実現される。尚、このような制御プログラムとしては後述するフローチャートに応じた制御プログラムとすることができる。   Therefore, the CPU 21 reads a required control program stored in the ROM 22, the hard disk drive 24, etc., and performs calculations according to the control program, thereby realizing each function in the PC 3. In addition, as such a control program, it can be set as the control program according to the flowchart mentioned later.

尚、PC2,4は、PC3と同様の構成を備えるので、その説明は省略する。PC1は、PC3の構成から、マウス及びキーボード25、並びにディスプレイ27を除外し、バーコードリーダ又はRFIDタグリーダを備える構成であるが、マウス及びキーボード25、並びにディスプレイ27を備えていてもよい。   Since the PCs 2 and 4 have the same configuration as the PC 3, description thereof is omitted. The PC 1 is configured to exclude the mouse and keyboard 25 and the display 27 from the configuration of the PC 3 and include a bar code reader or an RFID tag reader, but may include the mouse and keyboard 25 and the display 27.

制御部301は、制御プログラムに従って各種の処理を実行するCPU21に相当する。送受信部302は、ネットワークインタフェース26に相当し、操作部303は、マウス及びキーボード25に相当する。記憶部304は、ROM22やRAM23、ハードディスクドライブ(HDD)24等に相当し、表示部305は、ディスプレイ27に相当する。   The control unit 301 corresponds to the CPU 21 that executes various processes according to the control program. The transmission / reception unit 302 corresponds to the network interface 26, and the operation unit 303 corresponds to the mouse and keyboard 25. The storage unit 304 corresponds to the ROM 22, RAM 23, hard disk drive (HDD) 24, and the like, and the display unit 305 corresponds to the display 27.

図4は表示部305の表示領域310に表示されるデータの構造を模式的に示す図である。
PC3の制御部301は、図4に示すように、送受信部302及びネットワーク5を介してPC1からビデオカメラ11で撮影された撮影画像30を取得し、レイヤーとしての機能を有する実物ビューウィンドウ311に当該撮影画像30の一部を表示する。実物ビューウィンドウ311は、そのサイズや位置(表示領域310内での位置)を操作部303(例えばマウス)の操作により変更することができる。
FIG. 4 is a diagram schematically showing the structure of data displayed in the display area 310 of the display unit 305.
As shown in FIG. 4, the control unit 301 of the PC 3 acquires the captured image 30 captured by the video camera 11 from the PC 1 via the transmission / reception unit 302 and the network 5, and displays it in the real view window 311 having a function as a layer. A part of the captured image 30 is displayed. The real view window 311 can be changed in size and position (position in the display area 310) by operating the operation unit 303 (for example, a mouse).

また、制御部301は、実物ビューウィンドウ311に表示されている画像の撮影画像30上における位置及び当該実物ビューウィンドウ311に表示されている画像の大きさに関する情報を記憶部304に保存する。より具体的には、制御部301は、撮影画像30の座標情報を基準とした、実物ビューウィンドウ311に表示されている画像の座標情報及び当該座標情報から求まる画像の大きさの情報を記憶部304に保存する。さらに、制御部301は、実物ビューウィンドウ311に表示されている画像のスケール(縮尺)も変更可能である。   In addition, the control unit 301 stores information on the position of the image displayed in the real view window 311 on the captured image 30 and the size of the image displayed in the real view window 311 in the storage unit 304. More specifically, the control unit 301 stores the coordinate information of the image displayed in the real view window 311 on the basis of the coordinate information of the captured image 30 and the information on the size of the image obtained from the coordinate information. Save to 304. Further, the control unit 301 can change the scale (scale) of the image displayed in the real view window 311.

制御部301は、イベント受信用ウィンドウ35、ストローク描画レイヤー36、実物ビューウィンドウ311及び文書画像レイヤー37を重ね合わせて、表示部305の表示領域310に表示されるデータを作成し、表示部305に出力する。尚、イベント受信用ウィンドウ35、ストローク描画レイヤー36、及び文書画像レイヤー37は、通常透明に設定されているが、操作部303の操作によりレイヤーに色付けをすることも可能である。   The control unit 301 superimposes the event reception window 35, the stroke drawing layer 36, the real view window 311, and the document image layer 37 to create data to be displayed in the display area 310 of the display unit 305, and Output. The event reception window 35, the stroke drawing layer 36, and the document image layer 37 are normally set to be transparent, but the layers can be colored by operating the operation unit 303.

制御部301は、操作部303を介してアノテーションや文書などを記載するイベントが生じたときに、イベント受信用ウィンドウ35に当該イベントを入力する。イベント受信用ウィンドウ35は、当該イベントを受信する。同図において、イベント受信用ウィンドウ35は、アノテーション画像38のイベントを受信している。   When an event describing an annotation, a document, or the like occurs via the operation unit 303, the control unit 301 inputs the event into the event reception window 35. The event reception window 35 receives the event. In the figure, an event reception window 35 receives an event of an annotation image 38.

制御部301は、操作部303を介して実物ビューウィンドウ311以外の範囲に記載されたアノテーション画像をストローク描画レイヤー36に入力する。ストローク描画レイヤー36は、実物ビューウィンドウ311以外の範囲に記載されたアノテーション画像を描画する。同図において、ストローク描画レイヤー36は、アノテーション画像38の一部であり、実物ビューウィンドウ311以外の範囲に記載されたアノテーション画像38aを描画する。   The control unit 301 inputs an annotation image described in a range other than the real view window 311 to the stroke drawing layer 36 via the operation unit 303. The stroke drawing layer 36 draws an annotation image described in a range other than the real view window 311. In the drawing, a stroke drawing layer 36 is a part of the annotation image 38 and draws the annotation image 38 a described in a range other than the real view window 311.

制御部301は、操作部303を介して実物ビューウィンドウ311の範囲に記載されたアノテーション画像を実物ビューウィンドウ311に入力する。実物ビューウィンドウ311は、実物ビューウィンドウ311の範囲に記載されたアノテーション画像を描画すると共に、撮影画像30の一部を表示する。同図において、実物ビューウィンドウ311は、アノテーション画像38の一部であり、実物ビューウィンドウ311の範囲に記載されたアノテーション画像38bを描画する。   The control unit 301 inputs an annotation image described in the range of the real view window 311 to the real view window 311 via the operation unit 303. The real view window 311 draws the annotation image described in the range of the real view window 311 and displays a part of the captured image 30. In the figure, an actual view window 311 is a part of the annotation image 38, and the annotation image 38b described in the range of the actual view window 311 is drawn.

アノテーション画像38bが実物ビューウィンドウ311の範囲に記載されると、制御部301は、撮影画像30上におけるアノテーション画像38bの座標情報をPC1に送信する。PC1は、当該座標情報及び制御コマンドを使ってプロジェクタ10を制御し、プロジェクタ10は、対象物14を含むテーブル15上にアノテーション画像38bを投影する。尚、PC1の制御部101は、撮影画像30上におけるアノテーション画像38bの座標情報をプロジェクタ10の投影領域の座標情報に変換する処理を行い、変換後のアノテーション画像38bの座標情報をプロジェクタ10に送信する。これは、撮影画像30上におけるアノテーション画像38bをプロジェクタ10で正確な位置に投影させるためである。   When the annotation image 38 b is described in the range of the real view window 311, the control unit 301 transmits the coordinate information of the annotation image 38 b on the captured image 30 to the PC 1. The PC 1 controls the projector 10 using the coordinate information and the control command, and the projector 10 projects the annotation image 38 b on the table 15 including the object 14. The control unit 101 of the PC 1 performs processing for converting the coordinate information of the annotation image 38b on the captured image 30 into the coordinate information of the projection area of the projector 10, and transmits the coordinate information of the converted annotation image 38b to the projector 10. To do. This is because the projector 10 projects the annotation image 38b on the photographed image 30 at an accurate position.

尚、PC3の制御部301が、撮影画像30上におけるアノテーション画像38bの座標情報をプロジェクタ10の投影領域の座標情報に変換する処理を行い、変換後のアノテーション画像38bの座標情報をPC1を介してプロジェクタ10に送信するようにしてもよい。   Note that the control unit 301 of the PC 3 performs processing for converting the coordinate information of the annotation image 38b on the captured image 30 into the coordinate information of the projection area of the projector 10, and the coordinate information of the converted annotation image 38b is transmitted via the PC 1. You may make it transmit to the projector 10. FIG.

ビデオカメラ11は、このアノテーション画像38bが投影された対象物14を含むテーブル15の撮影画像をPC1及びネットワーク5を介してPC3の制御部301に逐次出力する(例えば、0.5秒毎に出力する)。制御部301がこの撮影画像を受信することで、実物ビューウィンドウ311にアノテーション画像38bが描画される。   The video camera 11 sequentially outputs the captured image of the table 15 including the object 14 on which the annotation image 38b is projected to the control unit 301 of the PC 3 via the PC 1 and the network 5 (for example, output every 0.5 seconds). To do). When the control unit 301 receives the captured image, the annotation image 38b is drawn in the real view window 311.

制御部301は、操作部303を介して文書を文書画像レイヤー37に入力する。文書画像レイヤー37は、操作部303を介して記載された文書を描画する。   The control unit 301 inputs a document to the document image layer 37 via the operation unit 303. The document image layer 37 renders a document described via the operation unit 303.

このように、表示部305の表示領域310に表示されるデータは、個別にアノテーション画像の範囲を指定可能なレイヤーを複数重ね合わす構造を持つことにより、連続かつ透過的なアノテーションを実現している。   As described above, the data displayed in the display area 310 of the display unit 305 has a structure in which a plurality of layers that can individually specify the range of the annotation image are overlapped, thereby realizing continuous and transparent annotation. .

図5は表示部305の表示領域310に実際に表示されるデータの例を示す図である。   FIG. 5 is a diagram showing an example of data actually displayed in the display area 310 of the display unit 305.

同図において、文書領域312には、複合機の設計図、複合機の操作ボタン等の説明及びアノテーション38の一部であるアノテーション38aが表示されており、実物ビューウィンドウ311には、実際にアノテーション38bが投影された複合機の撮影画像が表示されている。   In the same figure, a document area 312 displays a design drawing of the multifunction device, an explanation of operation buttons of the multifunction device, and an annotation 38a which is a part of the annotation 38, and the actual view window 311 actually displays the annotation. A photographed image of the multifunction machine on which 38b is projected is displayed.

図6は、表示部305の表示領域310に表示されるデータの作成処理を示すフローチャートである。   FIG. 6 is a flowchart showing a process for creating data displayed in the display area 310 of the display unit 305.

まず、PC3の制御部301は、初期化処理を実行する(ステップS1)。この初期化処理は、(1)文書画像レイヤー37を全画面表示する(即ち、文書領域312に文書を表示する)、(2)実物ビューウィンドウ311を表示する、(3)ストローク描画レイヤー36を全画面表示する、(4)イベント受信用ウィンドウ35を全画面表示する、の4つの処理を含む。   First, the control unit 301 of the PC 3 executes an initialization process (step S1). In this initialization process, (1) the document image layer 37 is displayed in full screen (that is, a document is displayed in the document area 312), (2) the real view window 311 is displayed, and (3) the stroke drawing layer 36 is displayed. It includes four processes: (4) displaying the event reception window 35 in full screen.

次に、制御部301は、操作部303からのイベント(操作)の入力を受け付ける(ステップS2)。制御部301は、本データの作成処理が開始されると、操作部303からの指示や書き込みなどのイベント(操作)の入力を常時受け付ける(ステップS3)。   Next, the control unit 301 receives an input of an event (operation) from the operation unit 303 (step S2). When the data creation process is started, the control unit 301 always accepts an input of an event (operation) such as an instruction or writing from the operation unit 303 (step S3).

次いで、制御部301は、操作部303からのイベント(操作)の入力が終了したか否かを判別する(ステップS4)。ステップS4でYESの場合には、本データの作成処理を終了する。一方、ステップS4でNOの場合には、制御部301は、アノテーション画像が実物ビューウィンドウ311の範囲内に記載されたか否かを判別する(ステップS5)。具体的には、制御部301は、実物ビューウィンドウ311の4角の座標情報で規定される領域にアノテーション画像の座標情報が含まれる場合に、アノテーション画像が実物ビューウィンドウ311の範囲内に記載されたと判別する。   Next, the control unit 301 determines whether or not the input of the event (operation) from the operation unit 303 has ended (step S4). If YES in step S4, the data creation process is terminated. On the other hand, in the case of NO in step S4, the control unit 301 determines whether or not the annotation image is described within the range of the real view window 311 (step S5). Specifically, the control unit 301 describes the annotation image within the range of the real view window 311 when the coordinate information of the annotation image is included in the area defined by the rectangular coordinate information of the real view window 311. It is determined that

ステップS5でNOの場合には、制御部301は、ストローク描画レイヤー36にアノテーション画像を描画し(ステップS6)、ステップS2に戻る。これにより、ストローク描画レイヤー36は、実物ビューウィンドウ311以外の範囲に記載されたアノテーション画像を描画する。   If NO in step S5, the control unit 301 draws an annotation image on the stroke drawing layer 36 (step S6), and returns to step S2. Thereby, the stroke drawing layer 36 draws the annotation image described in the range other than the real view window 311.

一方、ステップS5でYESの場合には、制御部301は、送受信部302を介して、実物ビューウィンドウ311の範囲に記載されたアノテーション画像の、撮影画像30上における座標情報をPC1に送信し(ステップS7)、ステップS2に戻る。   On the other hand, in the case of YES in step S5, the control unit 301 transmits the coordinate information on the captured image 30 of the annotation image described in the range of the real view window 311 to the PC 1 via the transmission / reception unit 302 ( Step S7) and return to step S2.

続いて、PC1、プロジェクタ10、ビデオカメラ11で実行される処理を説明する。   Next, processing executed by the PC 1, the projector 10, and the video camera 11 will be described.

まず、PC1の制御部101は、初期化処理を実行すると共に入力部105により読み取られた対象物14の識別情報(例えばID)を記憶部104に記憶する(ステップS8)。ここでの初期化処理は、プロジェクタ10及びビデオカメラ11へ制御コマンドを出力し、プロジェクタ10の投影及びビデオカメラ11での撮影画像の出力などがある。尚、ステップS8の処理は、PC3側の処理とは独立して実行される。   First, the control unit 101 of the PC 1 executes an initialization process and stores identification information (for example, ID) of the object 14 read by the input unit 105 in the storage unit 104 (step S8). The initialization process here includes outputting a control command to the projector 10 and the video camera 11, projecting the projector 10, outputting a photographed image by the video camera 11, and the like. Note that the processing in step S8 is executed independently of the processing on the PC 3 side.

次いで、制御部101は、ネットワーク5及び送受信部102を介してPC3からアノテーション画像の、撮影画像30上における座標情報の入力を受け付ける(ステップS9)。制御部101は、本データの作成処理が開始されると、PC2からの指示や書き込みなどのイベント(操作)の入力も常時受け付ける(ステップS10)。   Next, the control unit 101 receives input of coordinate information on the captured image 30 of the annotation image from the PC 3 via the network 5 and the transmission / reception unit 102 (step S9). When the data creation process is started, the control unit 101 always accepts an input of an event (operation) such as an instruction or writing from the PC 2 (step S10).

次に、制御部101は、アノテーション画像の、撮影画像30上における座標情報の入力が終了したか否かを判別する(ステップS11)。   Next, the control unit 101 determines whether or not the input of the coordinate information of the annotation image on the captured image 30 has been completed (step S11).

ステップS11でYESの場合には、データの作成処理を終了する。一方、ステップS11でNOの場合には、制御部101は、当該座標情報をプロジェクタ10用の座標情報に変換し、当該変換後の座標情報及び制御コマンドを使ってプロジェクタ10を制御し、プロジェクタ10は、対象物14を含むテーブル15上に当該変換後の座標情報に対応するアノテーション画像を投影する(ステップS12)。ビデオカメラ11は、このアノテーション画像が投影された対象物14を含むテーブル15の撮影画像をPC1、ネットワーク5、及び送受信部302を介してPC3の制御部301に出力し、制御部101は、記憶部104に記憶された対象物14の識別情報をPC3の制御部301に出力する(ステップS13)。   If YES in step S11, the data creation process ends. On the other hand, if NO in step S11, the control unit 101 converts the coordinate information into coordinate information for the projector 10, controls the projector 10 using the coordinate information and the control command after the conversion, and the projector 10 Projects an annotation image corresponding to the converted coordinate information on the table 15 including the object 14 (step S12). The video camera 11 outputs the captured image of the table 15 including the object 14 onto which the annotation image is projected to the control unit 301 of the PC 3 via the PC 1, the network 5, and the transmission / reception unit 302. The control unit 101 stores The identification information of the object 14 stored in the unit 104 is output to the control unit 301 of the PC 3 (step S13).

制御部301は、この撮影画像を受信し、実物ビューウィンドウ311の表示を更新する(ステップS14)。これにより、実物ビューウィンドウ311に対象物14を含むテーブル15と共にアノテーション画像が表示される。尚、ステップS14の表示の更新は逐次実行される。また、制御部301は、PC1から対象物14の識別情報を取得し、記憶部304に保存する(ステップS15)。   The control unit 301 receives this captured image and updates the display of the real view window 311 (step S14). As a result, the annotation image is displayed together with the table 15 including the object 14 in the real view window 311. The display update in step S14 is sequentially executed. Moreover, the control part 301 acquires the identification information of the target object 14 from PC1, and preserve | saves it in the memory | storage part 304 (step S15).

本実施形態において、制御部301は、文書画像レイヤー37に記載された文書(文字、図形、静止画像を含む)及び実物ビューウィンドウ311内の撮影画像の特徴点をそれぞれ抽出し、抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーション画像で連結するようにしてもよい。この連結されたアノテーション画像のうち、実物ビューウィンドウ311以外の範囲に記載されるアノテーション画像の部分は、ストローク描画レイヤー36に描画され、実物ビューウィンドウ311の範囲に記載されるアノテーション画像の部分は、上述した図6のフローチャートに従って、プロジェクタ10の投影処理及びビデオカメラ11の撮影処理を介して実物ビューウィンドウ311に描画される。   In the present embodiment, the control unit 301 extracts feature points of the document (including characters, graphics, and still images) described in the document image layer 37 and the captured image in the real view window 311, and the extracted features. A matching process between points may be performed, and feature points having a correspondence relationship may be connected with an annotation image. Among the connected annotation images, the portion of the annotation image described in the range other than the real view window 311 is drawn on the stroke drawing layer 36, and the portion of the annotation image described in the range of the real view window 311 is In accordance with the flowchart of FIG. 6 described above, the image is drawn in the real view window 311 through the projection process of the projector 10 and the shooting process of the video camera 11.

これにより、PC3の表示部305を観るユーザは、撮影画像として表示される実際の対象物14と文書との対応関係を容易に判断することができる。   Thereby, the user who views the display unit 305 of the PC 3 can easily determine the correspondence between the actual object 14 displayed as the captured image and the document.

また、制御部301は、ビデオカメラ11から撮影画像を受信する際に、PC1からプロジェクタ10及びビデオカメラ11の属性情報(プロジェクタ10の投影位置及び投影範囲の情報、ビデオカメラ11の撮影位置及び撮影範囲の情報を含む)を受信して記憶部304に記憶するようにしてもよい。   The control unit 301 receives attribute information of the projector 10 and the video camera 11 from the PC 1 (information on the projection position and projection range of the projector 10, the shooting position and the shooting of the video camera 11) when receiving a shot image from the video camera 11. May be received and stored in the storage unit 304.

制御部301は、表示部305の表示領域310に表示されるデータを記憶部304に保存する際には、記憶部304は、アノテーション画像(座標情報を含む)、実物ビューウィンドウ311内の撮影画像、及び文書のメイン情報を記憶する他に、実物ビューウィンドウ311の属性情報(位置、範囲)、文書の属性情報(該当する文書ID、ページ番号、文書の表示範囲、文書の表示位置を含む)、対象物の属性情報(対象物の識別情報(ID))、及びプロジェクタ10及びビデオカメラ11の属性情報(プロジェクタ10の投影位置及び投影範囲の情報、ビデオカメラ11の撮影位置及び撮影範囲の情報を含む)をメイン情報に関連付けて記憶するようにしてもよい。   When the control unit 301 saves the data displayed in the display area 310 of the display unit 305 in the storage unit 304, the storage unit 304 displays an annotation image (including coordinate information) and a captured image in the real view window 311. In addition to storing the main information of the document, the attribute information (position, range) of the real view window 311 and the attribute information of the document (including the corresponding document ID, page number, document display range, document display position) , Object attribute information (object identification information (ID)), and projector 10 and video camera 11 attribute information (projector 10 projection position and projection range information, video camera 11 shooting position and shooting range information) May be stored in association with the main information.

これにより、制御部301は、対象物の識別情報等の属性情報に基づいて表示部305の表示領域310に表示されるデータの検索を実行することができる。また、制御部301は、記憶部304に保存された当該データを表示部305の表示領域310に表示させることができる。   Thereby, the control part 301 can perform the search of the data displayed on the display area 310 of the display part 305 based on attribute information, such as identification information of a target object. Further, the control unit 301 can display the data stored in the storage unit 304 in the display area 310 of the display unit 305.

以上詳細に説明したように、本実施形態によれば、制御部301が、操作部303を介して、アノテーション画像38の描画操作をイベント受信用ウィンドウ35に入力し、ビデオカメラ11により撮影された、アノテーション画像38の一部分であるアノテーション画像38bを実物ビューウィンドウ311に入力し、アノテーション画像38のうちアノテーション画像38bを除いたアノテーション画像38aをストローク描画レイヤー36に入力し、文書を文書画像レイヤー37に入力する。そして、制御部301は送受信部302を介してアノテーション画像38bをプロジェクタ10に送信し、プロジェクタ10によりアノテーション画像38bが投影された投影領域を撮影した撮影画像をビデオカメラ11から送受信部302を介して受信し、表示部305は、実物ビューウィンドウ311に制御部301で受信された撮影画像を割り当て、ストローク描画レイヤー36におけるアノテーション画像38a及び文書画像レイヤー37における文書を重ね合わせて表示する。   As described above in detail, according to the present embodiment, the control unit 301 inputs the drawing operation of the annotation image 38 to the event reception window 35 via the operation unit 303 and is captured by the video camera 11. The annotation image 38b, which is a part of the annotation image 38, is input to the real view window 311. The annotation image 38a excluding the annotation image 38b from the annotation image 38 is input to the stroke drawing layer 36, and the document is input to the document image layer 37. input. Then, the control unit 301 transmits the annotation image 38 b to the projector 10 via the transmission / reception unit 302, and the captured image obtained by photographing the projection area where the annotation image 38 b is projected by the projector 10 is transmitted from the video camera 11 via the transmission / reception unit 302. The display unit 305 assigns the captured image received by the control unit 301 to the real view window 311 and displays the annotation image 38a in the stroke drawing layer 36 and the document in the document image layer 37 in a superimposed manner.

このように、表示部305では、実物ビューウィンドウ311、ストローク描画レイヤー36、及び文書画像レイヤー37が重ね合わせて表示されるので、PC3のユーザは、対象物と文書とを繋ぐアノテーション画像が連続かつ透過的に表示され、対象物と文書との対応関係を容易に認識することができる。また、アノテーション画像38b及びアノテーション画像38aにより連続かつ透過的なアノテーション画像38を実現することができる。   As described above, since the real view window 311, the stroke drawing layer 36, and the document image layer 37 are superimposed on the display unit 305, the user of the PC 3 can continuously display the annotation images that connect the object and the document. It is displayed transparently and the correspondence between the object and the document can be easily recognized. Further, a continuous and transparent annotation image 38 can be realized by the annotation image 38b and the annotation image 38a.

また、制御部301は、送受信部302を介して、撮影画像30上におけるアノテーション画像38bの座標情報をPC1の制御部101に送信し、当該制御部101は、アノテーション画像38bの座標情報をプロジェクタ10の投影領域の座標情報に変換し、変換された座標情報をプロジェクタ10に送信するので、アノテーション画像38bを、対象物14を含む投影領域に正確な位置で投影することができる。   Further, the control unit 301 transmits the coordinate information of the annotation image 38b on the captured image 30 to the control unit 101 of the PC 1 via the transmission / reception unit 302, and the control unit 101 transmits the coordinate information of the annotation image 38b to the projector 10. Since the converted coordinate information is transmitted to the projector 10, the annotation image 38b can be projected onto the projection area including the object 14 at an accurate position.

さらに、制御部301は、文書画像レイヤー37に描画される文書及び実物ビューウィンドウ311に表示される撮影画像の特徴点をそれぞれ抽出し、当該抽出された特徴点同士のマッチング処理を行い、対応関係を持つ特徴点同士をアノテーションで連結するので、PC3の表示部305を観るユーザは、撮影画像として表示される実際の対象物と文書との対応関係を容易に判断することができる。   Further, the control unit 301 extracts the feature points of the document drawn on the document image layer 37 and the captured image displayed on the real view window 311, performs matching processing between the extracted feature points, and Since the feature points having “” are connected by annotation, the user viewing the display unit 305 of the PC 3 can easily determine the correspondence between the actual object displayed as the captured image and the document.

次に、アノテーション画像による対応関係の記憶処理について図7から図10を参照して詳細に説明する。
図7は対応関係の記憶処理の一例を示すフローチャート、図8は対応関係の記憶処理を説明するための図、図9は対応関係を記憶するテーブルの一例、図10は分類済アノテーションを記憶するテーブルの一例である。
Next, the correspondence storage process using annotation images will be described in detail with reference to FIGS.
FIG. 7 is a flowchart showing an example of the correspondence storage process, FIG. 8 is a diagram for explaining the correspondence storage process, FIG. 9 is an example of a table for storing the correspondence, and FIG. 10 stores the classified annotation. It is an example of a table.

まず、ユーザは、上述したように表示部305上でキーボードやマウス25等を用いてアノテーション画像38a及びアノテーション画像38bによって形成されるアノテーション画像38の描画を指示する。   First, as described above, the user instructs the drawing of the annotation image 38 formed by the annotation image 38a and the annotation image 38b using the keyboard, the mouse 25, or the like on the display unit 305.

制御部301は、このような指示を受信すると、文書領域312と実物ビューウィンドウ311とのアノテーション画像38上の境界点P0の座標を算出する(ステップS21)。すなわち、この境界点P0は、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する点となる。この座標の算出は、例えば、表示部305の左上隅を基準点O(0,0)、長手方向をX軸、短手方向をY軸とした場合における相対位置によって算出できる。本実施形態では、一例として図8に示すように境界点P0の座標を(270,150)としている。   Upon receiving such an instruction, the control unit 301 calculates the coordinates of the boundary point P0 on the annotation image 38 between the document area 312 and the real view window 311 (step S21). That is, the boundary point P0 is a point where a boundary line that distinguishes the inside and outside of the captured image intersects with the annotation image for correspondence that associates the annotation image in the captured image and the annotation image outside the captured image. For example, the coordinates can be calculated from the relative position when the upper left corner of the display unit 305 is the reference point O (0, 0), the long direction is the X axis, and the short direction is the Y axis. In the present embodiment, as an example, the coordinates of the boundary point P0 are (270, 150) as shown in FIG.

制御部301は、次いで、文書領域312に表示されるアノテーション38aを細かく線分化(細線化)し、連結成分に分割する(ステップS22)。また、撮影画像312に表示されるアノテーション38bも細かく線分化(細線化)し、それぞれが連結された成分(連結成分)に分割する(ステップS23)。アノテーション画像38a,38bの連結成分にはそれぞれを識別するためのラベルをすべてに付すようにしてもよい。これにより、アノテーション38a,38bは、仮想的に破線のようになる。   Next, the control unit 301 finely separates (thinens) the annotation 38a displayed in the document area 312 and divides it into connected components (step S22). Further, the annotation 38b displayed in the photographed image 312 is also finely divided (thinned) and divided into components (connected components) connected to each other (step S23). You may make it attach | subject the label for identifying each to the connection component of annotation image 38a, 38b. As a result, the annotations 38a and 38b virtually appear as broken lines.

制御部301は、次いで、境界点P0から出発してアノテーション38a上の最初の分岐点P1を算出する(ステップS24)。例えば、図8においては、アノテーション画像38aの楕円状の部分と曲線状の部分との接点が分岐点P1となる。そして、制御部301は、アノテーション画像38aのうち境界点P0から分岐点P1までの間を除いた部分を覆う領域をアノテーション領域R1を生成して保持する(ステップS25)。   Next, the control unit 301 calculates the first branch point P1 on the annotation 38a starting from the boundary point P0 (step S24). For example, in FIG. 8, the contact point between the elliptical portion and the curved portion of the annotation image 38a is the branch point P1. And the control part 301 produces | generates and hold | maintains annotation area | region R1 the area | region which covers the part except between the boundary point P0 to the branch point P1 among the annotation images 38a (step S25).

制御部301は、次いで、境界点P0から出発してアノテーション38b上の最初の分岐点P2を算出する(ステップS26)。例えば、図7においては、アノテーション38bの楕円と曲線との接点が分岐点P2となる。そして、制御部301は、アノテーション38bのうち境界点P0から分岐点P2までを除いた部分を覆う領域をアノテーション領域R2を生成して保持する(ステップS27)。   Next, the control unit 301 calculates the first branch point P2 on the annotation 38b starting from the boundary point P0 (step S26). For example, in FIG. 7, the contact point between the ellipse and the curve of the annotation 38b is the branch point P2. And the control part 301 produces | generates and hold | maintains the area | region which covers the part except the boundary point P0 to the branch point P2 among the annotations 38b (step S27).

したがって、アノテーション38aのうちの楕円部分はアノテーション領域R1に、アノテーション38bのうちの楕円部分はアノテーション領域R2に覆われる。尚、アノテーション領域R1,R2の形状は、それぞれアノテーション38a,38bの楕円部分を覆うことができればよく、例えば円形や、アノテーション38a,38bの楕円部分に外接する図8に示すような矩形等であってもよい。   Therefore, the ellipse portion of the annotation 38a is covered with the annotation region R1, and the ellipse portion of the annotation 38b is covered with the annotation region R2. Note that the shape of the annotation regions R1 and R2 only needs to be able to cover the elliptical portions of the annotations 38a and 38b, respectively. May be.

制御部301は、次いで、アノテーション領域R1,R2を取り除いたアノテーション画像38に外接する矩形領域をアノテーション領域Rxを生成して保持する(ステップS28)。これにより、アノテーション領域R1とアノテーション領域R2との対応付用のアノテーション領域Rxが保持される。   Next, the control unit 301 generates and holds an annotation region Rx that is a rectangular region circumscribing the annotation image 38 from which the annotation regions R1 and R2 have been removed (step S28). Thereby, the annotation area Rx for associating the annotation area R1 and the annotation area R2 is held.

制御部301は、次いで、利用された文書領域312、撮影画像等の各種情報を連結情報として記憶装置に記憶する(ステップS29)。文書領域312の情報(文書情報群)としては、例えば図9に示すように、文書ファイル名、文書のページ番号、文書の表示範囲、文書領域の縮尺等に関する情報がある。また、撮影画像の情報(撮影情報群)としては、画像ファイル名、表示範囲、画像の縮尺等に関する情報がある。このように、制御部301は、文書領域312と撮影画像、これらに関連するアノテーション領域R1,R2,Rx等を記憶装置に記憶することで、文書領域312上のアノテーション領域R1と撮影画像上のアノテーション領域R2との対応関係が、対応関係用アノテーション領域Rxを介して適合し明確になる。   Next, the control unit 301 stores various information such as the used document area 312 and the captured image as connection information in the storage device (step S29). As information (document information group) of the document area 312, for example, as shown in FIG. 9, there is information on a document file name, a document page number, a document display range, a scale of the document area, and the like. Moreover, as information (photographing information group) of the photographed image, there is information on an image file name, a display range, an image scale, and the like. As described above, the control unit 301 stores the document area 312 and the captured image, the annotation areas R1, R2, Rx, and the like related thereto in the storage device, so that the annotation area R1 on the document area 312 and the captured image are displayed on the captured image. The correspondence relationship with the annotation region R2 is matched and clarified through the correspondence annotation region Rx.

制御部301は、さらに、アノテーション領域R1,R2,Rxに含まれるそれぞれのアノテーション画像について、これらの構成座標をそれぞれ算出し、図10に示すように、アノテーション領域を構成する座標とともに、連結情報として記憶装置に記憶する(ステップS30)。これにより、アノテーション領域R1等に含まれる各アノテーションの画像が点の集合としてそれぞれ表される。尚、アノテーション領域を構成する座標は、アノテーション画像38の構成座標のうち、X座標、Y座標のそれぞれの最小座標、最大座標の組み合わせで構成することができる。また、マウスポインタによる指示に併せて記憶装置に記憶していくようにしてもよい。さらに、図9及び図10に示す各種情報は、正規形(Normal Form)により各項目の相関性を低くしてもよく、これにより、各項目の冗長性が減少する。   Further, the control unit 301 calculates these constituent coordinates for each annotation image included in the annotation regions R1, R2, and Rx, and as the connection information, together with the coordinates constituting the annotation region, as shown in FIG. It memorize | stores in a memory | storage device (step S30). Thereby, each annotation image included in the annotation region R1 and the like is represented as a set of points. Note that the coordinates constituting the annotation area can be composed of a combination of the minimum coordinate and the maximum coordinate of the X coordinate and the Y coordinate among the configuration coordinates of the annotation image 38. Further, it may be stored in the storage device together with the instruction by the mouse pointer. Furthermore, the various types of information shown in FIGS. 9 and 10 may reduce the correlation of each item by a normal form, thereby reducing the redundancy of each item.

続いて、文書領域等の表示処理について図11から図14を参照して説明する。
図11は制御部301の文書領域表示処理の一例を示すフローチャート、図12は対応関係を有する文書領域表示の一例、図13及び図14は文書領域と撮影画像との対応関係を示す文書領域表示の一例である。
Next, a display process for a document area and the like will be described with reference to FIGS.
FIG. 11 is a flowchart illustrating an example of document area display processing of the control unit 301, FIG. 12 illustrates an example of document area display having a correspondence relationship, and FIGS. 13 and 14 illustrate document area display indicating a correspondence relationship between the document area and a captured image. It is an example.

制御部301は、まず、キーボードやマウス等から文書ファイル等の文書領域312の開示要求の指示を受信すると(ステップS31)、指示された文書領域312を開き、文書領域312上で対応関係を有する領域、すなわち、上述したアノテーション領域R1を表示する(ステップS32)。例えば、上述したアノテーション領域R1以外のアノテーション領域が文書領域312上にある場合には、図12に示すように、すべてのアノテーション領域(例えばアノテーション領域R1´,R1´´)を表示する   First, the control unit 301 receives a disclosure request instruction for a document area 312 such as a document file from a keyboard, a mouse, or the like (step S31), opens the instructed document area 312 and has a correspondence relationship on the document area 312. The area, that is, the annotation area R1 described above is displayed (step S32). For example, when an annotation area other than the annotation area R1 described above is on the document area 312, all annotation areas (for example, annotation areas R1 ′, R1 ″) are displayed as shown in FIG.

制御部301は、次いで、指示用画像としてのマウスポインタPtの表示部205内での位置座標を算出する(ステップS33)。そして、制御部301は、マウスポインタPtの位置座標がアノテーション領域内か否かを判定する(ステップS34)。尚、アノテーション領域に代えて、アノテーション画像で形成される領域を利用するようにしてもよい。   Next, the control unit 301 calculates the position coordinates of the mouse pointer Pt as the instruction image in the display unit 205 (step S33). Then, the control unit 301 determines whether or not the position coordinate of the mouse pointer Pt is within the annotation area (step S34). Instead of the annotation area, an area formed by an annotation image may be used.

制御部301は、ここで、マウスポインタPtがアノテーション領域内に含まれたと判定した場合には、そのアノテーション領域に対応関係を有する実物ビューウィンドウ311を表示する(ステップS35)。   When determining that the mouse pointer Pt is included in the annotation area, the control unit 301 displays a real view window 311 having a correspondence relationship with the annotation area (step S35).

例えば、図12に示すマウスポインタPtの位置座標から図13に示す位置座標にマウスポインタPtが移動した場合には、楕円状のアノテーション画像を有するアノテーション領域R1に対応する実物ビューウィンドウ311を表示し、ステップS33に戻る。また、マウスポインタが図12に示す位置座標から図14に示す位置座標にマウスポインタPtが移動した場合には、矩形上のアノテーション画像を有するアノテーション領域R1´に対応する実物ビューウィンドウ311を表示する。この際、対応関係を明確にするため、指示されなかったアノテーション領域の表示を停止することが望ましい。   For example, when the mouse pointer Pt is moved from the position coordinate of the mouse pointer Pt shown in FIG. 12 to the position coordinate shown in FIG. 13, an actual view window 311 corresponding to the annotation region R1 having an elliptical annotation image is displayed. Return to step S33. When the mouse pointer Pt is moved from the position coordinates shown in FIG. 12 to the position coordinates shown in FIG. 14, the real view window 311 corresponding to the annotation area R1 ′ having the annotation image on the rectangle is displayed. . At this time, in order to clarify the correspondence, it is desirable to stop the display of the annotation area that has not been instructed.

一方、制御部301は、ステップS34の処理において、マウスポインタPtの位置座標がアノテーション領域R1等の範囲内から外れてその範囲内にないと判定した場合には、さらに、表示部205内に実物ビューウィンドウ311が表示されているか否かを判定する。   On the other hand, if the control unit 301 determines in step S34 that the position coordinate of the mouse pointer Pt is out of the range of the annotation region R1 or the like and is not within the range, the control unit 301 further displays the actual value in the display unit 205. It is determined whether or not the view window 311 is displayed.

制御部301は、ここで、実物ビューウィンドウ311が表示中であると判定した場合には、その実物ビューウィンドウ311の表示を停止し、ステップS33の処理に戻る。この際、実物ビューウィンドウ311の表示停止に併せて、再度、アノテーション領域R1やR1´等を表示するようにしてもよい。   If the control unit 301 determines that the real view window 311 is being displayed, the control unit 301 stops displaying the real view window 311 and returns to the process of step S33. At this time, the annotation regions R1 and R1 ′ may be displayed again in conjunction with the stop of the display of the real view window 311.

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the specific embodiments according to the present invention, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible. For example, the program of the present invention can be provided not only by communication means but also stored in a recording medium such as a CD-ROM.

また、上述した実施形態においては、撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に連結情報を形成したが、例えば、図15に示すように、描画中の対応付用注釈画像が基準点を通過する時刻を基準に連結情報を形成するようにしてもよい。   In the above-described embodiment, the boundary point where the boundary line that distinguishes between the inside and outside of the captured image and the annotation image for correspondence that associates the annotation image in the captured image with the annotation image outside the captured image is used as a reference. For example, as shown in FIG. 15, the connection information may be formed on the basis of the time at which the corresponding annotation image being drawn passes the reference point.

図15においては、文書領域312側で最初のアノテーション画像の書き込み開始から終了までの時間帯を時間帯T1としている。同図においては、文書領域312上にある楕円状のアノテーション画像を描画する際の描画開始時刻から描画終了時刻までが時間帯T1とし、例えば時間帯T1は0秒〜2秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域R1とできる。   In FIG. 15, the time zone from the start to the end of writing of the first annotation image on the document area 312 side is a time zone T1. In the figure, the time zone T1 is from the drawing start time to the drawing end time when drawing an elliptical annotation image on the document area 312. For example, the time zone T1 can be expressed as 0 second to 2 seconds. . An area covering the annotation image drawn in this time zone can be set as the annotation area R1.

同様に、撮影画像上にある楕円状のアノテーション画像を描画する際の描画開始時刻から描画終了時刻までが時間帯T2とし、例えば時間帯T2は4秒〜6秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域R2とできる。   Similarly, the time zone T2 is from the drawing start time to the drawing end time when drawing an elliptical annotation image on the photographed image. For example, the time zone T2 can be expressed as 4 to 6 seconds. An area covering the annotation image drawn in this time zone can be set as the annotation area R2.

そして、描画中の対応付用のアノテーション画像が上述した基準点を通過する時刻を基準t0(例えば8秒)とし、対応付用アノテーションを描画する際の描画開始時刻から描画終了時刻までが時間帯T0とし、例えば時間帯T0は7秒〜9秒と表すことができる。そして、この時間帯に描画されたアノテーション画像を覆う領域をアノテーション領域Rxとできる。このように、各アノテーション領域が求まることで、アノテーション画像同士の対応付けも可能となる。   The time at which the annotation image for correspondence during drawing passes the reference point described above is set as a reference t0 (for example, 8 seconds), and the time period from the drawing start time to the drawing end time when drawing the annotation for correspondence is a time zone. For example, the time zone T0 can be expressed as 7 to 9 seconds. An area covering the annotation image drawn in this time zone can be set as the annotation area Rx. Thus, by obtaining each annotation area, it is possible to associate annotation images with each other.

また、上述した実施形態では、対応付用のアノテーション画像が撮影画像外のアノテーション画像と撮影画像内のアノテーション画像とを対応付けしているが、対応付けの際中に対応付用のアノテーション画像が断続的となった場合には、最初に断続的となった位置を上述した分岐点P1又はP2としてもよい。これにより、円滑なアノテーション画像の入力が行われなかった場合でも、記憶処理を停止させないで済むようになる。さらに、撮影画像を開いてからその撮像画像領域内のアノテーション画像で形成される領域にマウスポインタが含まれた場合に、対応関係を有する文書領域を開くようにしてもよい。   In the embodiment described above, the annotation image for association associates the annotation image outside the photographed image with the annotation image in the photographed image. When it becomes intermittent, it is good also considering the position which became intermittent first as branch point P1 or P2 mentioned above. Thereby, even when a smooth annotation image is not input, it is not necessary to stop the storage process. Further, when a mouse pointer is included in an area formed by an annotation image in the captured image area after the captured image is opened, a document area having a correspondence relationship may be opened.

本発明によれば、簡易な操作で、遠隔会議等で使用された資料の再現性が確保され、産業上の利用可能性が高い。   According to the present invention, reproducibility of materials used in a remote conference or the like is ensured with a simple operation, and industrial applicability is high.

情報共有支援システムの構成図である。It is a block diagram of an information sharing support system. 各PCの要部構成を示す機能ブロック図である。It is a functional block diagram which shows the principal part structure of each PC. PCのハードウェア構成を示す機能ブロック図である。It is a functional block diagram which shows the hardware constitutions of PC. 表示部の表示領域に表示されるデータの構造を模式的に示す図である。It is a figure which shows typically the structure of the data displayed on the display area of a display part. 表示部の表示領域に実際に表示されるデータの例を示す図である。It is a figure which shows the example of the data actually displayed on the display area of a display part. 表示部の表示領域に表示されるデータの作成処理を示すフローチャートである。It is a flowchart which shows the production process of the data displayed on the display area of a display part. アノテーションの対応関係の記憶処理の一例を示すフローチャートである。It is a flowchart which shows an example of the memory | storage process of the correspondence of an annotation. 対応関係の記憶処理を説明するための図である。It is a figure for demonstrating the memory | storage process of a correspondence. 対応関係を記憶するテーブルの一例である。It is an example of the table which memorize | stores a correspondence. 分類済アノテーションを記憶するテーブルの一例である。It is an example of the table which memorize | stores the classified annotation. 制御部の文書表示処理の一例を示すフローチャートである。It is a flowchart which shows an example of the document display process of a control part. 対応関係を有する文書表示の一例である。It is an example of the document display which has a correspondence. 文書と撮影画像との対応関係を示す文書表示の一例である。It is an example of the document display which shows the correspondence of a document and a picked-up image. 文書と撮影画像との対応関係を示す文書表示の一例である。It is an example of the document display which shows the correspondence of a document and a picked-up image. 対応関係の記憶処理を説明するための他の図である。It is another figure for demonstrating the memory | storage process of a correspondence.

符号の説明Explanation of symbols

1〜4 PC
5 ネットワーク
10 プロジェクタ
11 ビデオカメラ
12 ハーフミラー
14 対象物
15 テーブル
16 UI
21 CPU
22 RAM
23 ROM
24 HDD
25 キーボード及びマウス
26 I/F
27 ディスプレイ
30 撮影画像
35 イベント受信用ウィンドウ
36 ストローク描画レイヤー
37 文書画像レイヤー
38,38a、38b アノテーション
100 情報共有支援システム
101,201,301,401 制御部
102,202,302,402 送受信部
104,204,304,404 記憶部
150 指示システム
151 電子情報共有システム
203,303,403 操作部
205,305,405 表示部
210,310,410 表示領域
311,411 実物ビューウィンドウ
312,312 文書領域
R1,R2,Rx アノテーション領域
Pt マウスポインタ
1-4 PC
5 Network 10 Projector 11 Video Camera 12 Half Mirror 14 Object 15 Table 16 UI
21 CPU
22 RAM
23 ROM
24 HDD
25 Keyboard and mouse 26 I / F
27 Display 30 Captured Image 35 Event Reception Window 36 Stroke Drawing Layer 37 Document Image Layer 38, 38a, 38b Annotation 100 Information Sharing Support System 101, 201, 301, 401 Control Unit 102, 202, 302, 402 Transmission / Reception Unit 104, 204 , 304, 404 Storage unit 150 Instruction system 151 Electronic information sharing system 203, 303, 403 Operation unit 205, 305, 405 Display unit 210, 310, 410 Display area 311, 411 Real view window 312, 312 Document area R1, R2, Rx Annotation area Pt Mouse pointer

Claims (8)

対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた前記撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段を有し、
前記制御手段は、前記注釈画像が投影された対象物の撮影画像を前記端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援システム。
A photographed image photographed by photographing means for photographing the object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal can be projected onto the object by the projecting means. Having control means,
The control means transmits a captured image of the object on which the annotation image is projected to the terminal, and connection information for matching and connecting the annotation image in the captured image and the annotation image outside the captured image. Is generated and stored in a storage means.
前記制御手段は、前記連結情報を、前記指示に併せて記憶していくことを特徴とする請求項1に記載の情報共有支援システム。   The information sharing support system according to claim 1, wherein the control unit stores the connection information together with the instruction. 前記制御手段は、指示用画像が、撮影画像外の注釈画像で形成される領域内に含まれた場合に、該注釈画像に対応する撮影画像を前記連結情報に基づいて表示することを特徴とする請求項1又は2に記載の情報共有支援システム。   When the instruction image is included in an area formed by an annotation image outside the captured image, the control means displays a captured image corresponding to the annotation image based on the connection information. The information sharing support system according to claim 1 or 2. 前記制御手段は、前記注釈画像に対応する撮影画像の表示中に、指示用画像が、撮影画像外の注釈画像で形成される領域から外れた場合に、該注釈画像に対応する撮影画像の表示を停止することを特徴とする請求項1から3のいずれか1項に記載の情報共有支援システム。   The control means displays a captured image corresponding to the annotation image when the instruction image deviates from a region formed by the annotation image outside the captured image during display of the captured image corresponding to the annotation image. The information sharing support system according to claim 1, wherein the information sharing support system is stopped. 前記制御手段は、前記撮影画像の内外を区別する境界線と、撮影画像内の注釈画像及び撮影画像外の注釈画像とを対応付ける対応付用注釈画像と、が交差する境界点を基準に前記連結情報を形成することを特徴とする請求項1から4のいずれか1項に記載の情報共有支援システム。   The control unit is configured to connect the boundary line that distinguishes between the inside and outside of the captured image, and the connection point that associates the annotation image in the captured image and the annotation image for correspondence that associates the annotation image outside the captured image with each other as a reference. 5. The information sharing support system according to claim 1, wherein information is formed. 前記制御手段は、描画中の前記対応付用注釈画像が基準点を通過する時刻を基準に前記連結情報を形成することを特徴とする請求項5に記載の情報共有支援システム。 Wherein, Sharing System according to claim 5, wherein for with corresponding annotated images in the drawing and forming the connection information based on the time to pass through the base reference point. コンピュータを、
対象物を撮影する撮影手段で撮影された撮影画像を端末に送信すると共に、該端末でなされた前記撮影画像に基づく指示に応じた注釈を表す注釈画像を投影手段により前記対象物に投影させ得る制御手段として機能させ、
前記制御手段は、前記注釈画像が投影された対象物の撮影画像を前記端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶することを特徴とする情報共有支援プログラム。
Computer
A photographed image photographed by photographing means for photographing the object can be transmitted to the terminal, and an annotation image representing an annotation according to an instruction based on the photographed image made by the terminal can be projected onto the object by the projecting means. Function as a control means,
The control means transmits a captured image of the object on which the annotation image is projected to the terminal, and connection information for matching and connecting the annotation image in the captured image and the annotation image outside the captured image. Is generated and stored in the storage means.
対象物を撮像する撮影手段と、
前記撮影手段の撮影領域内にその撮影画像に基づいてされた指示に応じた注釈を表す注釈画像を投影する投影手段と、
前記注釈画像が投影された対象物の撮影画像を端末に送信し、その撮影画像内の注釈画像と該撮影画像外の注釈画像とを適合させて連結するための連結情報を生成して記憶手段に記憶する制御手段と、
を有することを特徴とする情報共有支援装置。
An imaging means for imaging an object;
Projecting means for projecting an annotation image representing an annotation according to an instruction made based on the photographed image in the photographing area of the photographing means;
The annotation images are sent to the terminus of the captured image of the object projected to generate connection information for connecting adapt the annotation image and the captured image outside the annotation image in the photographed image storage Control means stored in the means;
An information sharing support apparatus comprising:
JP2007263674A 2007-10-09 2007-10-09 Information sharing support system, information sharing support program, and information sharing support device Expired - Fee Related JP5186870B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007263674A JP5186870B2 (en) 2007-10-09 2007-10-09 Information sharing support system, information sharing support program, and information sharing support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007263674A JP5186870B2 (en) 2007-10-09 2007-10-09 Information sharing support system, information sharing support program, and information sharing support device

Publications (2)

Publication Number Publication Date
JP2009094817A JP2009094817A (en) 2009-04-30
JP5186870B2 true JP5186870B2 (en) 2013-04-24

Family

ID=40666329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007263674A Expired - Fee Related JP5186870B2 (en) 2007-10-09 2007-10-09 Information sharing support system, information sharing support program, and information sharing support device

Country Status (1)

Country Link
JP (1) JP5186870B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247638A (en) * 1996-03-04 1997-09-19 Atsushi Matsushita Video conference system
JP2003058901A (en) * 2001-08-16 2003-02-28 Sony Corp Device and method for recording, device and method for reproduction, recording medium and program
US7333135B2 (en) * 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
JP4686990B2 (en) * 2004-03-10 2011-05-25 富士ゼロックス株式会社 Content processing system, content processing method, and computer program
JP2006146311A (en) * 2004-11-16 2006-06-08 Canon Inc Screen storing device and method, storage medium and program
JP4577106B2 (en) * 2005-06-16 2010-11-10 富士ゼロックス株式会社 Remote indication system and method

Also Published As

Publication number Publication date
JP2009094817A (en) 2009-04-30

Similar Documents

Publication Publication Date Title
JP2008217590A (en) Information sharing support system, information processor, and control program
JP5141672B2 (en) Head mounted display device and image sharing system using head mounted display device
US8169469B2 (en) Information processing device, information processing method and computer readable medium
JP4902765B2 (en) Information processing system and information processing method
US8004571B2 (en) Projection-based system, apparatus and program of storing annotated object image
JP2014157482A (en) Operation display system
JP5831764B2 (en) Image display apparatus and program
JP2004199299A (en) Handwritten information recording method and projection recording device
JP2000259338A (en) Input system, display system, presentation system and information storage medium
JP2018112894A (en) System and control method
JP5773003B2 (en) Display control apparatus, display control method, and program
CN114363705A (en) Augmented reality equipment and interaction enhancement method
JP4674627B2 (en) Information processing apparatus, remote instruction system, and program
JP5186870B2 (en) Information sharing support system, information sharing support program, and information sharing support device
US20220244788A1 (en) Head-mounted display
JP2008217660A (en) Retrieval method and device
JP5999236B2 (en) INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP4703744B2 (en) Content expression control device, content expression control system, reference object for content expression control, and content expression control program
JP4550460B2 (en) Content expression control device and content expression control program
JP5187001B2 (en) Information processing system and information processing apparatus
JP2009076983A (en) Information processing system, and information processor
JP2007179565A (en) Portable equipment
CN112053451B (en) Method for superposing virtual objects based on optical communication device and corresponding electronic equipment
JP7287156B2 (en) Display device, display method, program
JP4478047B2 (en) Information presentation apparatus, information presentation method, and program thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5186870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees