JP4998156B2 - Information presenting system, information presenting apparatus, information presenting method, program, and recording medium recording the program - Google Patents
Information presenting system, information presenting apparatus, information presenting method, program, and recording medium recording the program Download PDFInfo
- Publication number
- JP4998156B2 JP4998156B2 JP2007224732A JP2007224732A JP4998156B2 JP 4998156 B2 JP4998156 B2 JP 4998156B2 JP 2007224732 A JP2007224732 A JP 2007224732A JP 2007224732 A JP2007224732 A JP 2007224732A JP 4998156 B2 JP4998156 B2 JP 4998156B2
- Authority
- JP
- Japan
- Prior art keywords
- information presentation
- information
- unit
- control
- presentation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 67
- 238000004891 communication Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 description 15
- 239000003550 marker Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、映像コンテンツ内の被写体の動きを忠実に再現するのに好適な情報提示システム、情報提示方法、プログラム並びにプログラムを記録した記録媒体に関する。 The present invention relates to an information presentation system, an information presentation method, a program, and a recording medium on which the program is recorded, which is suitable for faithfully reproducing the motion of a subject in video content.
近年、テレビジョン放送における映像の高精細化や、映像を表示する画面の広視野角化、５．１ｃｈサラウンド等をはじめとする音声の立体化等、臨場感あふれる映像や音声をユーザに提供するための様々な技術が考案されている。 In recent years, users have been provided with realistic video and audio such as high-definition video in television broadcasting, wide viewing angle of video display screens, and three-dimensional audio including 5.1ch surround sound. Various techniques have been devised.
例えば特許文献１には、ユーザを取り囲むような形式で表現された映像データを、ユーザの周囲に配された複数の表示装置に分割して表示する手法について開示してある。
このような手法を用いることで、ユーザに対して様々な角度から映像が提供されるようになるため、より高い臨場感をユーザに味わわせることができるようになる。ところが、特許文献１に記載の手法や、従来技術として述べた手法においては、映像と音声のみによってしか臨場感を表現することができないため、表現される臨場感に限りが生じてしまうという問題があった。
By using such a method, video is provided to the user from various angles, so that a higher sense of realism can be experienced by the user. However, in the method described in
つまり、映像と画像のみで構成された情報においては、映像中に表現された被写体の、奥行き方向や高さ方向の位置関係は、映像中の被写体の大小や音声の大小として表現されるようになる。このため、このような情報のみでは、被写体と被写体との間に存在する遠近感や被写体間の距離感等を、臨場感を持たせて再現することができなかった。 In other words, in information composed only of video and images, the positional relationship of the subject expressed in the video in the depth direction and height direction is expressed as the size of the subject in the video and the size of the audio. Become. For this reason, with such information alone, it is impossible to reproduce the sense of distance, distance between subjects, etc. that exist between subjects with a sense of reality.
本発明はかかる点に鑑みてなされたものであり、映像中の被写体の位置関係を、より臨場感を持たせて再現することを目的とする。 The present invention has been made in view of this point, and an object thereof is to reproduce the positional relationship of subjects in a video with a more realistic feeling.
本発明は、複数の物体の数に対応して設けられ、物体の映像を表示する可動型の情報提示装置において、物体の映像を表示する表示部と、水平方向及び垂直方向に可動する可動部と、可動部を駆動する駆動部とを備えた。また、自装置の位置情報を取得する位置センサと、物体の三次元空間における位置を取得する物体位置情報取得部と、物体位置情報取得部で取得された物体位置を基に移動目標位置を算出し、移動目標位置と、位置センサで取得した自装置の位置とを一致させるための制御信号を駆動部に出力する制御部とを備えた。そして、制御部で、物体位置情報取得部によって位置情報が取得された物体の映像を表示部に表示させる制御を行うようにした。 The present invention provides a display unit that displays an image of an object, and a movable unit that is movable in a horizontal direction and a vertical direction, in a movable information presentation apparatus that is provided corresponding to the number of objects and displays the image of the object. And a drive unit for driving the movable part. Also, a movement target position is calculated based on the position sensor that acquires the position information of the device itself, the object position information acquisition unit that acquires the position of the object in the three-dimensional space, and the object position acquired by the object position information acquisition unit. And a control unit that outputs a control signal for making the movement target position coincide with the position of the own device acquired by the position sensor. Then, the control unit controls the display unit to display the image of the object whose position information has been acquired by the object position information acquisition unit.
このようにしたことで、映像内の物体の三次元空間における位置に基づいて、可動型の情報提示装置が水平方向及び垂直方向に可動するようになる。 By doing so, the movable information presentation device can move in the horizontal direction and the vertical direction based on the position of the object in the video in the three-dimensional space.
本発明によると、映像内の物体の三次元空間における位置に基づいて、可動型の情報提示装置が水平方向及び垂直方向に可動するため、ユーザに対して映像中の被写体の位置関係を、より臨場感を持たせて再現することができるようになる。 According to the present invention, since the movable information presentation device moves in the horizontal direction and the vertical direction based on the position of the object in the video in the three-dimensional space, the positional relationship of the subject in the video is more It becomes possible to reproduce with a sense of reality.
以下、本発明の一実施の形態を、添付図面を参照して説明する。本例においては、情報提示装置で提示する映像コンテンツ（以下、単にコンテンツとも称する）を、カメラを用いて予め撮影しておき、カメラによる撮影時に、被写体の三次元空間での位置情報も同時に取得するようにしてある。情報提示装置では、このようにして得られた映像コンテンツを再生するとともに、撮影時に得られた被写体の位置情報に基づいて移動するよう、制御が行われる。 Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings. In this example, video content (hereinafter also simply referred to as content) to be presented by the information presentation device is previously captured using a camera, and the position information of the subject in the three-dimensional space is also acquired at the same time when the camera is capturing. I have to do it. In the information presenting apparatus, control is performed so as to reproduce the video content obtained in this way and to move based on the position information of the subject obtained at the time of shooting.
被写体の位置情報を取得する手法としては、被写体の存在する空間全体を俯瞰撮影する俯瞰撮影用カメラが得た画像信号を基に、物体（被写体）の位置を算出する手法を用いてある。また、情報提示装置が情報を提示している間は、俯瞰撮影用カメラが得た画像信号を基に情報提示装置の位置情報を取得し、得た位置情報を基に情報提示装置の実際の位置を調整するようにしてある。なお、本例では俯瞰撮影用カメラが得た画像信号を基に物体の三次元位置を取得する構成としてあるが、測距機能を有するカメラを用いて物体の三次元位置を取得する構成に適用してもよく、個々の被写体や情報提示装置にＧＰＳ（Global Positioning System）装置を装着させることで、自己の位置情報を取得できるようにしてもよい。 As a method of acquiring the position information of the subject, a method of calculating the position of an object (subject) based on an image signal obtained by an overhead view camera that takes an overhead view of the entire space where the subject exists is used. In addition, while the information presentation device is presenting information, the position information of the information presentation device is acquired based on the image signal obtained by the overhead camera, and the actual information presentation device is based on the obtained position information. The position is adjusted. In this example, the configuration is such that the three-dimensional position of the object is acquired based on the image signal obtained by the overhead view camera, but it is applied to the configuration in which the three-dimensional position of the object is acquired using a camera having a distance measuring function. Alternatively, the position information of the subject may be acquired by attaching a GPS (Global Positioning System) device to each subject or information presentation device.
図１には、本例における情報提示ステムの内部構成例を示してある。図１において、情報提示装置２００と制御装置１００とは無線ネットワーク１を介して接続してあり、互いに通信可能な状態としてある。図１においては、情報提示装置２００の図示は１つのみとしてあるが、実際には被写体の数と対応させて複数台設けてあるものとする。本例では、被写体の数が３つである場合を想定しているため、情報提示装置２００の台数も３台となる。
FIG. 1 shows an internal configuration example of the information presentation stem in this example. In FIG. 1, the
まず制御装置１００の構成から説明すると、制御装置１００は、物体撮影用カメラ１０１ａ、１０１ｂ、１０１ｃと、記憶部１０２と、制御部１０３と、俯瞰撮影用カメラ１０４と、物体位置情報取得部１０５と、通信部１０６とを含む。
First, the configuration of the
物体撮影用カメラ１０１ａ〜１０１ｃは、それぞれ異なる被写体を撮影し、撮影して得た画像信号を記憶部１０２に出力する。記憶部１０２は、例えばＤＶＤ（Digital Versatile Disc）ドライブやＨＤＤ（Hard Disk Drive）で構成してあり、物体撮影用カメラ１０１ａ〜１０１ｃが得た画像信号を蓄積するとともに、後述する物体位置情報取得部が取得した、物体又は情報処置装置２００の位置情報も記憶するようにしてある。なお、記憶部１０２を外部記憶媒体として構成してもよい。また、本例では物体撮影用カメラ１０１ａ〜１０１ｃが得た画像信号を記憶部１０２に記憶させる構成としてあるが、画像信号を、後述する通信部１０６を介して映像提示装置２００に直接送信するようにしてもよい。
The
俯瞰用撮影カメラ１０３は、被写体を見下ろすような高い位置から撮影を行い、得た画像信号を物体位置情報取得部１０４に出力する。俯瞰撮影用カメラ１０３による撮影は、コンテンツ作成時だけでなく、コンテンツ提示中も行うようにしてある。以下の説明において、俯瞰撮影用カメラ１０３が映像コンテンツ作成時に撮影する空間を撮影空間と称し、情報提示中に撮影する空間を情報提示空間と称する。物体位置情報取得部１０４は、俯瞰撮影用カメラ１０３から出力された画像信号から、撮影空間における各物体の三次元位置情報もしくは、情報提示空間における各情報提示装置２００の三次元位置情報を取得し、取得した位置情報を制御部１０５に出力する。物体又は情報提示装置２００の三次元位置取得方法の詳細については後述する。
The overhead
制御部１０５は、例えばＭＰＵ（Micro Processing Unit）で構成され、制御装置１００を構成する各部の制御を行う。具体的には、物体位置情報取得部１０４から出力された、物体の経過時間毎の三次元位置情報を、各情報提示装置上で提示するコンテンツと対応させた対応表を生成し、生成した対応表を記憶部１０２に記憶させる処理を行う。本例では、各コンテンツ内の物体の三次元方向の動きを、物体の映像を表示した映像提示装置２００の動きで忠実に再現させることを目的としている。このため、このようにして作成される対応表は、映像内のコンテンツの時間毎の三次元位置を記録したものであると同時に、各情報提示装置２００における移動目標位置を示したものともなる。対応表の詳細については後述する。
The
制御部１０５では、対応表を記憶部１０２に記憶させるとともに、記憶させた対応表を基に、情報提示開始からの経過時間における各情報提示装置２００の移動目標位置を決定し、決定した移動目標位置を制御信号に含めて、通信部１０６に出力することも行う。また制御部１０５は、情報提示中には、各情報提示装置２００の移動目標位置と実際の情報提示装置２００の位置との誤差をゼロにするための制御信号を生成し、通信部１０６に出力する。
In the
通信部１０６は、制御部１０５から出力された制御信号を各情報提示装置２００に送信するとともに、各情報提示装置２００から送信された、情報提示装置２００の位置情報を受信して制御部１０５に出力する。
The
操作部１０７は、ユーザから入力された指示に応じて指令信号を生成し、生成した指令信号を制御部１０５に出力する。本例では、ユーザがコンテンツを視聴する形態を複数設けてあり、それらのモードを選択する操作も、操作部１０７を通して行われるようにしてある。ユーザがコンテンツを視聴する形態としては、複数の情報提示装置２００の配置位置からある程度離れた所定の位置から、ユーザに視聴させるモード（第三者的視線で視聴させるモード）と、映像中に映っている物体のうちの１つに成り代わって情報提示装置２００を視聴させるモードとを備えてある。映像中に映っている物体のうちの１つに成り代わって情報提示装置２００を視聴させるモードが選択された場合には、成り代わりたい対象の物体の指定も受け付けるようにしてある。各モードの詳細については後述する。
The
また、複数の情報提示装置２００の配置位置からある程度離れた位置からユーザに視聴させるモードにおいても、ユーザの視聴形態に複数のパターンを設けている。ユーザを所定の位置に留めて視聴させるパターンと、情報提示空間の周囲をユーザに自由に移動させて視聴させるパターンである。これらのパターンの切り替えも、操作部１０７への操作によって行えるようにしてある。なお、ユーザの視聴形態として、これらすべてを備えている必要はなく、１つのモード（パターン）のみを備えた構成に適用してもよい。
Further, even in a mode in which the user views from a position somewhat distant from the arrangement position of the plurality of
次に、引き続き図１を参照して、情報提示装置２００の内部構成の例について説明する。情報提示装置２００は、通信部２０１と、制御部２０２と、記憶部２０３と、再生処理部２０４と、表示部２０５と、駆動部２０６ａ及び２０６ｂと、垂直方向可動部２０７と、水平方向可動部２０８と、位置センサ２０９と、対物センサ２１０とを備える。
Next, an example of the internal configuration of the
通信部２０１は、制御装置１００から送信された制御信号を受信するとともに、後述する位置センサ２０９が取得した自装置（情報提示装置２００）の位置情報を、制御装置１００に送信する処理を行う。制御部２０２はＭＰＵ等で構成され、情報提示装置２００を構成する各部の制御を行う。記憶部２０３は、ＤＶＤドライブやＨＤＤ等で構成され、後述する表示部２０５上に表示する映像コンテンツなどを記憶させる。映像コンテンツとしては、本例では、制御装置１００の物体撮影用カメラ１０１ａ〜１０１ｃが撮影したものを用いるものとする。つまり、映像中の経過時間毎の位置情報が取得されている映像コンテンツを記憶させておく。なお、通信部２０１を通して得た映像コンテンツをリアルタイムで再生する構成としてもよく、その場合は記憶部２０３を備えないようにしてもよい。
The
再生処理部２０４は、記憶部２０３に記憶された映像コンテンツを読み出して表示部２０５に表示するための処理を行う。表示部２０５は、例えばＬＣＤ（Liquid Crystal Display）等で構成してあり、再生処理部２０４から出力された映像を表示する。
The
駆動部２０６ａは、垂直方向可動部２０７を駆動するためのアクチュエータである。垂直方向可動部２０７は、垂直方向に伸縮可能な柱として構成してあり、可動部２０６ａは、柱を上下方向に可動させる油圧シリンダとして構成してある。駆動部２０６ｂは、水平方向可動部２０８を駆動するためのアクチュエータである。水平方向可動部２０８は、ホイールで構成してあり、駆動部２０６ｂは、ホイールを駆動させるためのモータとして構成してある。なお、水平方向の移動は、ベルトコンベア等を用いて実現するようにしてもよく、情報提示装置２００全体を保持するアームを用いることで、水平方向及び垂直方向の可動を実現するようにしてもよい。
The
ホイールとして構成した水平方向可動部２０８には、位置センサ２０９を接続してある。位置センサ２０９は、ホイールの回転量を検出するロータリエンコーダ等で構成してあり、ホイールの移動量や回転角度等を検出することにより、情報提示装置２００の位置情報を取得する。情報提示装置２００の機構の詳細については後述する。なお、情報提示装置２００の回転角度を取得する手段として、ジャイロ等を用いるようにしてもよい。
A
対物センサ２１０は、情報提示装置２００の周辺の障害物や、情報提示装置２００を視聴中のユーザの位置を検知するセンサであり、得た位置情報を制御部２０２に出力する。対物センサ２１０としては、赤外線、レーザ、超音波、温度等のセンサを利用可能である。なお、センサではなくカメラを取り付けて、カメラによって障害物やユーザを検知させる構成としてもよい。
The
次に、図２を参照して、情報提示装置２００の構成例について説明する。図２（ａ）は正面図であり、図２（ｂ）は側面図である。情報提示装置２００の最下部には、水平方向可動部としてのホイール２０８を設けてあり、ホイール２０８が備え付けられた台の上部に、ホイール２０８を駆動するモータ（駆動部）２０６ｂを設けてある。また、モータ２０６ａの設置場所と近接する位置に、ホイール２０８の回転量を検出するロータリエンコーダ（位置センサ）２０９を配置してある。本例においては、ホイール２０８を４つ設けてあるため、モータ２０６ｂとロータリエンコーダ２０９も、ホイール２０８の数に対応させて４つ設けてある。
Next, a configuration example of the
ホイール２０８が備え付けられた台の中心には、台に対して垂直方向に柱（垂直方向可動部）２０７を設けてあり、柱２０７に近接する位置に、柱２０７を垂直方向に可動させる油圧シリンダ（駆動部）２０６ａを配置してある。油圧シリンダ２０６ａの側面部分には、制御部２０２を搭載するための板状の制御部搭載部３０１を垂直方向に設けてあり、制御部搭載部３０１上に制御部２０２が搭載された様子を示してある。
At the center of the table provided with the
制御部搭載部３０１の上方には、通信部２０１や再生処理部２０４等を搭載するための台である搭載部３０２を設けてあり、その更に上方に、表示部２０５を搭載するための台である表示部搭載部３０３を設けてある。垂直方向可動部としての柱２０７は、表示部搭載部３０３の下面から、ホイール２０８をその下に有する台との間に渡してあり、油圧シリンダ２０６ａによって柱２０７が垂直方向に伸縮することで、表示部２０５を搭載した表示部搭載部３０３もその動きに追従して上下方向に伸縮する。
A mounting
次に、情報提示装置２００に表示させる映像コンテンツを生成する際に、同時に物体の撮影空間における三次元位置情報も取得する処理の例について、図３の説明図及び図４のフローチャートを参照して説明する。図３には、俯瞰撮影用カメラ１０３が撮影する撮影空間の中に、被写体としての人物（物体）Ｏｂ１とサッカーボールＯｂ２、人物Ｏｂ３が存在する様子を示してある。図３の例では、人物Ｏｂ１と人物Ｏｂ３とがサッカーボールＯｂ２を用いてサッカーを行っており、これらの被写体は、所定の撮影時間の間、撮影空間内を自由に移動するものとする。
Next, with reference to the explanatory diagram of FIG. 3 and the flowchart of FIG. 4, an example of processing for simultaneously acquiring 3D position information of an object in the imaging space when generating video content to be displayed on the
各被写体には、各被写体を撮影する物体撮影用カメラ１０１を設けてあり、図２に示した例では、人物Ｏｂ１を撮影するカメラとして物体撮影用カメラ１０１ａを、サッカーボールＯｂ１を撮影するカメラとして物体撮影用カメラ１０１ｂを、人物Ｏｂ１を撮影するカメラとして物体撮影用カメラ１０１ｃを設けてある。これらのカメラは、撮影時間中、割り当てられた被写体を撮影し続けるものであり、被写体の動きに追随してカメラの角度（アングル）も変えるようにしてある。なお、図３に示した例では各物体撮影用カメラ１０１の設置位置は固定とし、アングルのみを可動とする例を挙げているが、被写体の動きに合わせて物体撮影用カメラ１０１の位置も移動させる構成に適用してもよい。
Each subject is provided with an object photographing camera 101 for photographing each subject. In the example shown in FIG. 2, the
図３に示した例では、物体撮影用カメラ１０１ａ〜１０１ｃで各被写体の撮影を行うのと同時に、俯瞰撮影用カメラ１０４での撮影も行うことで、被写体の三次元位置を取得するようにしてある。各被写体の三次元位置を取得するために、各被写体にそれぞれ色や形状、大きさの異なるマーカを装着させており、俯瞰撮影用カメラ１０４が得た画像信号中のマーカの位置や大きさに基づいて、各被写体（物体）の三次元位置を算出するようにしてある。
In the example shown in FIG. 3, each object is photographed by the
このような処理を行う場合、映像コンテンツの撮影の前段階で、予め撮影空間の範囲を定義しておく必要がある。撮影空間の定義の段階では、物体の座標の原点とする位置や撮影空間の四隅等にマーカを配置し、この状態を撮影した画像を用いてキャリブレーションを行っておく。このとき、ｚとして示した垂直の方向にもいくつかマーカを配置することで、撮影空間におけるｚ軸（高さ）方向の位置も定義することができる。 When such processing is performed, it is necessary to define the range of the shooting space in advance before shooting video content. At the stage of defining the imaging space, markers are arranged at the positions of the origin of the coordinates of the object, the four corners of the imaging space, etc., and calibration is performed using an image obtained by capturing this state. At this time, by arranging some markers in the vertical direction indicated by z, the position in the z-axis (height) direction in the imaging space can also be defined.
そして映像コンテンツ撮影時にも、空間定義時原点として設定した位置と同位置に、原点を示すマーカＭｋ０を配置し、それぞれの被写体にもマーカを装着させるようにする。図３に示した例では、人物Ｏｂ１にマーカＭｋ１を、サッカーボールＯｂ２にマーカＭｋ２を、人物Ｏｂ３にマーカＭｋ３を装着させてある。 Also, at the time of video content shooting, a marker Mk0 indicating the origin is arranged at the same position as the origin set at the time of space definition, and the marker is also attached to each subject. In the example shown in FIG. 3, the marker Ob is attached to the person Ob1, the marker Mk2 is attached to the soccer ball Ob2, and the marker Mk3 is attached to the person Ob3.
このようにして撮影した俯瞰映像から、各物体の三次元位置情報を取得するまでの処理の例を、図４にフローチャートで示してある。図４においては、俯瞰撮影用カメラ１０３と、物体位置情報取得部１０４と、制御部１０５での処理の例を示してある。
FIG. 4 is a flowchart showing an example of processing from acquiring the three-dimensional position information of each object from the bird's-eye view image thus captured. In FIG. 4, an example of processing in the
図４において、俯瞰撮影用カメラ１０３は、まず原点及び各被写体にマーカを設置又は装着した状態で被写体を俯瞰撮影し（ステップＳ１）、俯瞰撮影して得た画像信号を、物体位置情報取得部１０４に送信する（ステップＳ２）。物体位置情報取得部１０４は、俯瞰撮影用カメラ１０３から送信された画像信号を受信すると（ステップＳ３）、画像信号から得た画像の中での各マーカの動きや大きさを基に、各物体の時間毎の位置を取得して（ステップＳ４）、取得した位置情報を制御部１０５に送信する（ステップＳ５）。
In FIG. 4, the
制御部１０５は、物体位置情報取得部１０４から送信された位置情報を受信すると（ステップＳ６）、各物体とその位置情報を、各物体の映像を含む各映像コンテンツとを対応づけた対応表を生成する（ステップＳ７）。ステップＳ７では、図５に示したような対応表が生成される。
When the
図５に示した対応表Ｔｂ１は、左端の列には映像中の経過時間（タイムコード）を０．１秒単位で示してあり、その右側の列においては、物体毎に用意された映像コンテンツの種類を特定してある。図５の例では、映像コンテンツはＡ，Ｂ，Ｃの３種類としてある。映像コンテンツＡは、例えば図３に示した人物Ｏｂ１を撮影した映像であり、映像コンテンツＢはサッカーボールＢｂ２を、映像コンテンツＣは人物Ｏｂ３を撮影した映像となる。 In the correspondence table Tb1 shown in FIG. 5, the elapsed time (time code) in the video is shown in 0.1 second units in the leftmost column, and the video content prepared for each object in the right column. The kind of is specified. In the example of FIG. 5, there are three types of video contents A, B, and C. The video content A is, for example, a video of the person Ob1 shown in FIG. 3, the video content B is a soccer ball Bb2, and the video content C is a video of the person Ob3.
そして、その右側の３列には、各コンテンツＡ〜Ｃ内に映っている各物体の撮影空間における三次元位置を、Ｘ，Ｙ，Ｚの３つの座標で示してある。つまり、図５の対応表Ｔｂ１には、映像中の各経過時間における、物体の三次元位置情報が示されていることになる。ここでのＸ，Ｙ，Ｚは、撮影空間において予め定めておいた原点（０，０，０）からの、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向における距離となる。 In the three columns on the right side, the three-dimensional positions in the photographing space of the objects shown in the contents A to C are indicated by three coordinates of X, Y, and Z. That is, the correspondence table Tb1 in FIG. 5 shows the three-dimensional position information of the object at each elapsed time in the video. Here, X, Y, and Z are distances in the X-axis direction, the Y-axis direction, and the Z-axis direction from the predetermined origin (0, 0, 0) in the imaging space.
例えば０．０秒の時点では、コンテンツＡ内に映っている物体の座標は（Ｘ，Ｙ，Ｚ）＝（-100.0，60.0，20.0）であり、コンテンツＢ内に映っている物体の座標は（-30.0，-80.0，60.0）であり、コンテンツＣ内に映っている物体の座標は（100.0，10.0，-30.0）となる。０．１秒時点でもこれらの座標には変化が無く、０．２秒時点になると、コンテンツＡ内に映っている物体の座標が（-40.0，60.0，20.0）と変化している。つまり、０．２秒時点ではコンテンツＡ内に映っている物体が、０．０秒時点と比べてＸ軸の方向に６０．０分だけ移動していることが分かる。 For example, at the time of 0.0 second, the coordinates of the object shown in the content A are (X, Y, Z) = (− 100.0, 60.0, 20.0), and the coordinates of the object shown in the content B are (-30.0, -80.0, 60.0), and the coordinates of the object shown in the content C are (100.0, 10.0, -30.0). These coordinates do not change even at the time of 0.1 seconds, and the coordinates of the object shown in the content A change to (-40.0, 60.0, 20.0) at the time of 0.2 seconds. That is, it can be seen that the object shown in the content A has moved by 60.0 minutes in the X-axis direction compared to the 0.0 second time point at the 0.2 second time point.
なお、図５に示した対応表Ｔｂ１には、物体の情報としてはＸ，Ｙ，Ｚ座標で示される位置情報のみを掲載した例を挙げたが、各コンテンツを生成する際の物体撮影用カメラ１０１ａ〜１０１ｃのアングル情報を、タイムコードと対応させて記録するようにしてもよい。
In the correspondence table Tb1 shown in FIG. 5, the example in which only the position information indicated by the X, Y, and Z coordinates is listed as the object information is given. However, the object photographing camera used when generating each content The
そして、制御装置１００の制御部１０５では、情報提示装置２００に映像コンテンツを表示させる時には、このようにして生成した対応表Ｔｂ１を基に、各情報提示装置２００の移動目標位置を設定して、各情報提示装置２００に送信する。
Then, when displaying video content on the
次に、図６及び図７のフローチャートを参照して、情報提示装置２００による情報提示中の処理の例について説明する。図６及び図７においては、制御装置１００と情報提示装置２００との間で行われるやり取りを示してある。図６には、制御装置１００が各情報提示装置２００に対して制御信号を送信してから、各情報提示装置２００からの位置情報のフィードバックを受けて、各情報提示装置２００に位置の調整を行わせるための制御信号を送信するまでの処理を示してある。
Next, an example of processing during information presentation by the
図６において、まず制御装置１００は、ユーザが成り代わりたい対象の物体が指定されているか否かの判断を行う（ステップＳ１１）。つまり、映像中に映っている物体のうちの１つに成り代わって視聴するモードが選択されているか否かの判断を行う。成り代わりたい対象の物体が選択されていない場合には、各コンテンツ内の物体の三次元位置情報を基に、各情報提示装置２００の移動目標を設定する処理を行う（ステップＳ１２）。つまり、図５に例示した対応表Ｔｂの情報を基に、各情報提示装置の移動目標位置を設定する。例えば、情報提示を開始してからの経過時間が０．０秒の時点では、０．１秒時点の座標が移動目標位置として設定される。そして、設定した移動目標位置を、制御開始コマンドに含めて情報提示装置２００に送信する（ステップＳ１３）。
In FIG. 6, first, the
そして次に、ユーザの視聴位置を固定とする設定がされているか否かの判断を行う（ステップＳ１４）。ユーザの視聴位置を固定とするか否かについては、予め操作部１０７への入力等によって設定されているため、ここではその設定を確認する処理を行う。ユーザの視聴位置を固定とする設定がされている場合には、“Ｙｅｓ”が選択され、俯瞰撮影用カメラ１０３が得た画像信号に基づいて、各情報提示装置２００の三次元位置が取得される（ステップＳ１５）。ユーザの視聴位置が固定されていないと判断した場合には、“Ｎｏ”が選択され、俯瞰撮影用カメラ１０３が得た画像信号に基づいて、ユーザの位置情報と各情報提示装置２００の位置情報とが取得される。つまり、ユーザの視聴位置が固定である場合には、ユーザの位置情報の取得は行われず、ユーザの視聴位置が固定でない場合にのみ、ユーザの位置情報が取得されるようになる。
Next, it is determined whether or not the setting for fixing the viewing position of the user is made (step S14). Whether or not the user's viewing position is fixed is set in advance by an input to the
ステップＳ１１で、成り代わりたい対象の物体が選択されていると判断された場合には、各コンテンツにおける物体の位置情報を基に、成り代わりの対象として指定された物体と、それ以外の物体との相対的な位置関係を算出する処理を行う（ステップＳ１７）。そして、算出した相対位置関係を基に各情報提示装置２００における移動目標位置を算出し（ステップＳ１８）、算出した移動目標位置情報を制御開始コマンドに含めて、情報提示装置２００に送信する（ステップＳ１９）。制御開始コマンドを送信後には、俯瞰撮影用カメラ１０３が得た画像信号に基づいて、ユーザの位置及び各情報提示装置２００の位置情報が取得される（ステップＳ１６）。
If it is determined in step S11 that the target object to be replaced is selected, the relative position between the object designated as the replacement target and the other objects based on the position information of the object in each content. A process for calculating a specific positional relationship is performed (step S17). Then, a movement target position in each
ステップＳ１７の処理について、図５を参照して説明すると、ユーザによって成り代わり先の物体として物体Ｏｂ１が選択された場合には、物体Ｏｂ１以外の物体、つまりコンテンツＢに含まれる物体Ｏｂ２の座標と、コンテンツＣに含まれる物体Ｏｂ３の座標は、原点からの距離ではなく、コンテンツＡ内の物体Ｏｂ１の座標からの相対的な距離に換算される。このような処理が行われることによって、撮影空間における各物体の位置関係が、特定の物体に成り代わったユーザの位置を中心として、忠実に再現されるようになる。 The processing in step S17 will be described with reference to FIG. 5. When the object Ob1 is selected as a substitute object by the user, the coordinates of the object Ob2 other than the object Ob1, that is, the object Ob2 included in the content B, The coordinates of the object Ob3 included in the content C are converted not to the distance from the origin but to the relative distance from the coordinates of the object Ob1 in the content A. By performing such processing, the positional relationship of each object in the imaging space is faithfully reproduced with the user's position acting as a specific object as the center.
図６のフローチャートに戻って説明を続けると、情報提示装置２００側では、ステップＳ１３又はステップＳ１９で制御装置１００から送信された制御開始コマンドを受信すると（ステップＳ２０）、映像コンテンツの再生を開始する（ステップＳ２１）。そして、映像コンテンツが表示部２０５（図１参照）上に表示されるようになる。コンテンツの再生を開始すると、位置センサ２０９（図１参照）での位置検出も開始し（ステップＳ２２）、検出した位置情報を制御装置１００に送信する（ステップＳ２３）。
Returning to the flowchart of FIG. 6 and continuing the description, when the
制御装置１００では、情報提示装置２００から送信された位置情報を受信すると（ステップＳ２４）、移動目標位置と、ステップＳ２４で受信した各情報提示装置２００の位置とを、情報を提示する情報提示空間の広さに合わせて正規化する処理を行う（ステップＳ２５）。そして、移動目標位置と、ステップＳ１５又はステップＳ１６で俯瞰画像から取得した各情報提示装置の位置との誤差を、ゼロにするための制御信号を生成し（ステップＳ２６）、生成した制御信号を各情報提示装置２００に送信する（ステップＳ２７）。
In the
続いて、ステップＳ２７で送信された制御信号を情報提示装置２００が受信した後の処理について、図７のフローチャートを参照して説明する。図７において、情報提示装置２００は制御装置１００から送信された制御信号を受信すると（ステップＳ２８）、ユーザが成り代わりたい対象の物体が指定されているか否かの判断を行う（ステップＳ２９）。ユーザが特定の物体に成り代わって視聴するモードが選択されている場合には、“Ｙｅｓ”が選択されてステップＳ３０に進む。
Next, processing after the
ステップＳ３０では、対物センサ２１０が検知したユーザの方向に表示部２０５が向くように駆動部２０６ｂが制御される。そして次に、受信した制御信号に基づいて駆動部２０６ａと２０６ｂとが駆動される（ステップＳ３１）。つまり、制御信号の中に記載された移動目標位置まで移動するように、駆動部２０６ｂが制御されることで、水平方向可動部２０８（本例ではホイール）が回転し、情報提示装置２００が移動目標位置に移動する。また、制御信号の中で垂直方向での移動目標位置が指定されている場合には、駆動部２０６ａが制御され、駆動部２０６ｂの駆動に基づいて垂直方向可動部２０７（本例では柱）が伸縮する。つまり、情報提示装置２００の高さが変更される。
In step S30, the
ステップＳ２９で、ユーザが特定の物体に成り代わるモードが選択されていないと判断された場合には、次にユーザの視聴位置が固定に設定されているか否かの判断がされる（ステップＳ３２）。ユーザの視聴位置が固定に設定されている場合には“Ｙｅｓ”が選択され、ステップＳ３１に進む。ユーザの視聴位置が固定されていないと判断された場合には、ステップＳ３０に進む。つまり、ユーザの視聴位置が固定されている場合には、表示部２０５の向きは調整されずに一定の向き（ユーザの視聴位置の方向）に保たれ、ユーザの視聴位置が固定でない場合には、表示部２０５の向きが、ユーザの方向に追従して変わるようになる。
If it is determined in step S29 that the user has not selected a mode that impersonates a specific object, it is next determined whether or not the user's viewing position is fixed (step S32). . If the viewing position of the user is set to be fixed, “Yes” is selected, and the process proceeds to step S31. If it is determined that the viewing position of the user is not fixed, the process proceeds to step S30. That is, when the viewing position of the user is fixed, the orientation of the
次に、制御装置１００から終了コマンドが送信されたか否かの判断を行い（ステップＳ３３）、終了コマンドを受信していない場合には図６のステップＳ２０に戻って処理を続ける。制御装置１００から送信された終了コマンドを受信した場合には、処理を終了する。
Next, it is determined whether or not an end command has been transmitted from the control device 100 (step S33). If no end command has been received, the process returns to step S20 in FIG. 6 to continue the processing. When the end command transmitted from the
制御装置１００においては、再生すべき画像信号がある限り上述した処理を継続するようにしてあり、ステップＳ３４では、再生すべき画像信号がまだあるか否かの判断を行う。再生すべき画像信号がまだあると判断した場合には、図６のステップＳ１１に戻って処理を続け、再生すべき画像信号はもうないと判断した場合には、情報提示装置２００に対して終了コマンドを送信する（ステップＳ３５）。ステップＳ３５で終了コマンドが送信されると、情報提示装置２００のステップＳ３３では“Ｙｅｓ”が選択されるため、処理が終了となる。
In the
図８は、情報提示装置２００を第三者的視点で視聴するモードが選択された場合の、各情報提示装置２００の動きを模式的に示したものである。図８（ａ）に示した状態から所定の時間が経過した状態を、図８（ｂ）に示してある。図８（ａ）及び（ｂ）において、ユーザＵが視聴する情報提示空間には、人物Ｏｂ１の映像を表示した情報提示装置２００−１と、サッカーボールＯｂ２の映像を表示した情報提示装置２００−１と、人物Ｏｂ３の映像を表示した情報提示装置２００−３が配置されている。
FIG. 8 schematically shows the movement of each
図８（ａ）に示した段階では、人物Ｏｂ１の映像を映した情報提示装置２００−１がＹ方向の手前側、かつＸ方向では原点に一番近い位置に位置しており、情報提示装置２００−１に対してＸ軸の右側の位置に、サッカーボールＯｂ２の映像を映した情報提示装置２００−２が位置している様子が示されている。情報提示装置２００−２は、Ｙ方向の一番奥側に位置している。そして、情報提示装置２００−２に対してＸ軸の右側の位置、かつＹ方向では少し手前側の位置に、人物Ｏｂ３の映像を映した情報提示装置２００−３が配置されている。 At the stage shown in FIG. 8 (a), the information presentation device 200-1 that projected the image of the person Ob1 is located on the near side in the Y direction and closest to the origin in the X direction. A state in which the information presentation device 200-2 that displays the video of the soccer ball Ob2 is located at a position on the right side of the X-axis with respect to 200-1. The information presentation device 200-2 is located on the innermost side in the Y direction. And the information presentation apparatus 200-3 which projected the image | video of the person Ob3 is arrange | positioned in the position of the right side of an X-axis with respect to the information presentation apparatus 200-2, and the position of the near side in the Y direction.
図８（ａ）に示した各情報提示装置２００の配置位置は、映像コンテンツにおける物体の配置位置を忠実に再現したものであり、図３として示した撮影空間における各物体の位置と対応している。そして、図８（ａ）に示した状態から所定時間が経過した図８（ｂ）の段階では、情報提示装置２００−１〜２００−３が移動していることが示されている。情報提示装置２００−１は、Ｙ方向の奥側に移動しており、情報提示装置２００−２はＸ方向においては右側、Ｙ方向では手前側に移動しており、情報提示装置２００−３は、図８（ａ）に示した位置とほぼ同位置に留まっている。
The arrangement position of each
図８（ｂ）に示した位置は、図８（ａ）として示した段階で、制御装置１００から情報提示装置２００−１〜２００−３に送信された制御信号に基づいて、各情報提示装置２００−１〜２００−３が移動した結果の位置である。つまり、制御信号の中に記載された移動目標位置と合致する位置である。このようにして、情報提示装置２００−１〜２００−３が移動している間も、俯瞰撮影用カメラ１０３が得た画像信号を基に、移動目標位置と各情報提示装置２００の実際の位置との誤差をなくすための制御が行われるため、各情報提示装置２００は、必ず移動目標位置に到達するようになる。
The position shown in FIG. 8B is based on the control signal transmitted from the
図８には、ユーザＵにもマーカＭｋ４を装着させた様子を示してあるが、ユーザＵの視聴位置が固定である場合にはユーザＵの位置情報を取得する必要がないため、ユーザＵにはマーカを装着させなくてもよい。 FIG. 8 shows the user U wearing the marker Mk4. However, when the viewing position of the user U is fixed, it is not necessary to acquire the position information of the user U. Need not be equipped with a marker.
図９は、ユーザが特定の物体（人物Ｏｂ１）に成り代わる形態で情報提示装置２００を視聴するモードが選択された場合の、各情報提示装置２００の動きを模式的に示したものである。図９（ａ）に示した状態から所定の時間が経過した状態を、図９（ｂ）に示してある。図９（ａ）及び図９（ｂ）における、各情報提示装置２００の三次元位置は、図８（ａ）及び図８（ｂ）に示した位置と一致しているが、図８（ａ）では情報提示装置２００−１が位置していた位置にユーザＵが位置している点と、情報提示装置２００−２及び情報提示装置２００−３の表示部２０５が、ユーザＵの方向を向いている点が異なっている。
FIG. 9 schematically shows the movement of each
図９に示した例では、ユーザＵが人物Ｏｂ１に成り代わって情報提示装置２００を視聴する形態が選択されているため、人物Ｏｂ１以外の物体を映している情報提示装置２００−２と２００−３が、常にユーザＵの方向を向くように制御されている。そして、図９（ｂ）に示されるように、映像コンテンツ内での各物体の位置関係が、ユーザＵの位置を基準とした相対的な位置関係として表現されている。
In the example shown in FIG. 9, since the user U has selected the form of viewing the
このような処理を行うことで、映像コンテンツ内の被写体の三次元方向の動きが情報提示装置２００によって忠実に再現されるようになるため、ユーザＵはコンテンツをより臨場感を持って体感することができるようになる。
By performing such processing, the movement of the subject in the video content in the three-dimensional direction can be faithfully reproduced by the
また、映像コンテンツ内の被写体の三次元方向の動きが情報提示装置２００によって忠実に再現されるようになるため、被写体と被写体との間に存在する遠近感や被写体間の距離感等をより正確に理解することができるようになり、ユーザＵはコンテンツの内容をより深く理解できるようになる。
In addition, since the movement of the subject in the video content in the three-dimensional direction is faithfully reproduced by the
また、コンテンツ内の被写体の１つになりきってコンテンツを視聴するモードを選択することで、ユーザＵは、コンテンツ内で表現される世界により深く没頭してコンテンツを視聴することができるようになる。 In addition, by selecting a mode for viewing content by becoming one of the subjects in the content, the user U can view the content while being deeply immersed in the world expressed in the content. .
なお、上述した実施の形態では、情報提示装置２００の表示部２０５の向きを一定とする場合と、ユーザＵの方向に向ける場合の２つの例を挙げたが、コンテンツ作成時の物体撮影用カメラ１０１のアングルに対応させて、表示部２０５の角度を変える構成としてもよい。この場合は、物体撮影用カメラ１０１のアングル情報を予め対応表Ｔｂ１に記録しておき、記録されたアングル情報を基に、表示部２０５の角度を決定するようにする。
In the above-described embodiment, two examples of the case where the direction of the
また、上述した実施の形態では、情報提示装置２００が、コンテンツ内の物体の動きを再現するようにして移動する例を挙げたが、情報提示装置２００がユーザＵを検知するとユーザＵから離れるようにする等、ユーザＵの移動パターンに応じて情報提示装置２００の移動パターンを変化させるような構成としてもよい。
Further, in the above-described embodiment, the example in which the
また、上述した実施の形態では、物体撮影用カメラ１０１が撮影した映像を情報提示装置２００の表示部２０５に表示させるようにしたが、俯瞰撮影用カメラ１０３が撮影して得た映像の中から、各物体が映っている箇所を切り出して各表示部２０５に表示させるようにしてもよい。
In the above-described embodiment, the video captured by the object shooting camera 101 is displayed on the
また、上述した実施の形態では、情報提示装置２００で提供する映像コンテンツを予め撮影しておき、そのコンテンツを撮影している時に取得した各被写体の位置情報に基づいて、各情報提示装置２００を移動させる構成を例に挙げたが、既成の映像コンテンツを用いるようにしてもよい。
Further, in the above-described embodiment, video content provided by the
既成の映像コンテンツを用いる場合には、映像コンテンツとそれを表示させる情報提示装置との対応付けや、映像中の物体の位置情報等を手動で設定する必要がある。ユーザにこのような操作を行わせる場合のユーザインタフェース（以下、ＵＩと称する）の例を、図１０及び図１１に示してある。図１０及び図１１に示したＵＩは、制御装置１００や情報提示装置２００のいずれか（もしくは両方）に持たせてもよく、リモートコントローラとして構成した操作部１０７に持たせるようにしてもよい。
When using the existing video content, it is necessary to manually set the association between the video content and the information presentation device that displays the video content, the position information of the object in the video, and the like. An example of a user interface (hereinafter referred to as UI) when the user performs such an operation is shown in FIGS. The UI shown in FIGS. 10 and 11 may be provided in either (or both) of the
図１０に示したＵＩは、映像コンテンツとそれを再生させる情報提示装置２００とを対応させる処理を行うためのＵＩである。図１０に示した画面の左側の四角で囲われた数字は、情報提示装置２００を示すものであり、その右側のリストボックスで、各情報提示装置２００に表示させたい映像コンテンツの保存場所を指定することができるようにしてある。図１０に示した例では、情報提示装置（１）にはＣドライブ中に保存されているコンテンツを表示させ、情報提示装置（２）にはＤＶＤ−ＲＯＭ ＤＲＩＶＥ中に記録されているコンテンツを表示させ、情報提示装置（３）にはウェブ上のコンテンツを表示させるように設定した様子が示されている。
The UI illustrated in FIG. 10 is a UI for performing processing for associating video content with the
図１１には、各情報提示装置２００における、単位時間毎の移動目標位置を設定するためのＵＩの例を示してある。図１１に示した各ＵＩにおいては、画面左上方にコンテンツの映像を示す欄を設けてあり、その右側には各情報提示装置２００の配置をＸ軸とＹ軸の２軸で表現してある。そして、画面の下方に、Ｘ，Ｙ，Ｚの各座標位置を設定できるつまみＫｂ２を設けてある。
FIG. 11 shows an example of a UI for setting a movement target position for each unit time in each
図１１に示すＵＩにおいては、まず、映像コンテンツ内のタイムコードを指定する処理を行わせる。この操作は、図１１（ａ）に示したように、映像中のタイムコードを時間方向に前後させることのできるつまみＫｂを、左右の所望の位置に移動させることにより、行えるようにしてある。 In the UI shown in FIG. 11, first, a process for designating a time code in video content is performed. As shown in FIG. 11A, this operation can be performed by moving a knob Kb capable of moving the time code in the video back and forth in the time direction to a desired position on the left and right.
タイムコードを指定した後は、図１１（ｂ）に示した画面上で、移動目標位置を設定したい情報提示装置を選択する処理を行わせる。移動目標位置を設定したい情報提示装置の選択は、映像コンテンツを示す枠の下方に設けたボタンを押下することにより、行えるようにしてある。ボタンは左から順に１，２，３と並んでおり、これらが情報提示装置２００の種類と対応している。図１１（ｂ）においては、情報提示装置（１）が選択された様子を示してある。
After designating the time code, a process of selecting an information presentation device for which a movement target position is desired to be set is performed on the screen shown in FIG. Selection of the information presentation device for which the movement target position is to be set can be performed by pressing a button provided below the frame indicating the video content. The buttons are arranged in
図１１（ｂ）に示した画面上で、移動目標位置を設定したい情報提示装置が選択された後は、実際に移動目標位置を設定する処理を行わせる。図１１（ｃ）に示されるように、Ｘ，Ｙ，Ｚのそれぞれに設けられたつまみＫｂ２を左右の所望の位置に移動させることで、右上の表の中における情報提示装置が連動して移動するようにしてある。図１１（ｃ）に示した例では、Ｘ軸に対応するつまみＫｂ２を右側の方向に移動させることにより、右上の表の中の情報処理装置（１）も、連動して右側に移動している様子が示されている。このようなＵＩを用いて、映像コンテンツと情報提示装置２００の動作とを対応させるようにしてもよい。
After the information presentation device for which the movement target position is desired to be set is selected on the screen shown in FIG. 11B, a process for actually setting the movement target position is performed. As shown in FIG. 11 (c), by moving the knob Kb2 provided in each of X, Y, and Z to desired positions on the left and right, the information presentation device in the upper right table moves in conjunction. I have to do it. In the example shown in FIG. 11C, by moving the knob Kb2 corresponding to the X axis in the right direction, the information processing device (1) in the upper right table is also moved to the right in conjunction with it. The situation is shown. Using such a UI, the video content and the operation of the
このように、情報提示装置２００上で提示するコンテンツとして既成のコンテンツを利用する場合で、各情報提示装置２００が自己の三次元位置を取得する手段（例えばＧＰＳ等）を備えている場合には、制御装置１００を用いず、情報提示装置２００単体で情報を提示するようにしてもよい。
As described above, when the existing content is used as the content to be presented on the
また、上述した実施形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。 In addition, a recording medium recording software program codes for realizing the functions of the above-described exemplary embodiments is supplied to a system or apparatus, and a computer (or a control device such as a CPU) of the system or apparatus is stored in the recording medium. It is also achieved by reading and executing the program code.
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。 As a recording medium for supplying the program code in this case, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. Can do.
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態例の機能が実現される場合も含まれる。 Further, by executing the program code read by the computer, not only the functions of the above-described exemplary embodiments are realized, but also the OS running on the computer based on the instruction of the program code performs actual processing. In some cases, the functions of the above-described exemplary embodiments are realized by performing part or all of the above.
また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in this specification, the step of describing the program constituting the software is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
１００…制御装置、１０１…物体撮影用カメラ、１０２…記憶部、１０３…俯瞰撮影用カメラ、１０４…物体位置情報取得部、１０５…制御部、１０６…通信部、２００…情報提示装置、２０１…通信部、２０２…制御部、２０３…記憶部、２０４…再生処理部、２０５…表示部、２０６ａ、２０６ｂ…駆動部、２０７…垂直方向可動部（柱）、２０８…水平方向可動部（ホイール）、２０９…位置センサ、２１０…対物センサ
DESCRIPTION OF
Claims (20)
前記情報提示装置は、
前記物体の映像を表示する表示部と、
水平方向及び垂直方向に可動する可動部と、
前記可動部を駆動する駆動部と
自装置の位置情報を取得する位置センサと、
前記制御装置から送信された制御信号を受信するとともに、前記位置センサが得た位置情報を前記制御装置に送信する通信部と、
前記表示部での表示の制御や前記駆動部の制御を行う制御部を備え、
前記制御装置は、
前記複数の物体の三次元空間における位置を取得する物体位置情報取得部と、
前記情報提示装置から送信された位置情報を受信する通信部と、
前記物体位置情報取得部で取得された物体位置を基に、前記物体の映像を表示させる前記情報提示装置の移動目標位置を算出し、前記移動目標位置と、前記通信部で受信した位置情報に示される前記情報提示装置の位置とを一致させるための制御信号を前記通信部に出力する制御部とを備え、
前記情報提示装置の制御部は、前記制御装置の物体位置情報取得部によって位置情報が取得された物体の映像を、前記表示部に表示させる制御を行うとともに、前記通信部が受信した制御信号に基づいて前記駆動部の制御を行うことを特徴とする
情報提示システム。 A plurality of movable information presentation devices provided corresponding to the number of a plurality of objects and displaying images of the plurality of objects, and a control signal for controlling the information presentation device are output to the information presentation device An information presentation system comprising a control device,
The information presentation device includes:
A display unit for displaying an image of the object;
A movable part movable in a horizontal direction and a vertical direction;
A drive unit that drives the movable unit, a position sensor that acquires position information of the device itself,
A communication unit that receives a control signal transmitted from the control device and transmits position information obtained by the position sensor to the control device;
A control unit for controlling display on the display unit and controlling the driving unit;
The controller is
An object position information acquisition unit that acquires positions of the plurality of objects in a three-dimensional space;
A communication unit that receives position information transmitted from the information presentation device;
Based on the object position acquired by the object position information acquisition unit, the movement target position of the information presentation device for displaying the image of the object is calculated, and the movement target position and the position information received by the communication unit are calculated. A control unit that outputs a control signal for matching the position of the information presentation device shown to the communication unit,
The control unit of the information presentation device performs control to display on the display unit the image of the object whose position information has been acquired by the object position information acquisition unit of the control device, and controls the control signal received by the communication unit. An information presentation system that controls the drive unit based on the information.
前記制御装置の制御部は、
前記移動目標位置と、前記物体位置情報取得部により算出された前記複数の物体の三次元空間での位置情報を、前記複数の情報提示装置が情報を提示する空間の広さに合わせて正規化し、前記正規化された移動目標位置と前記物体の位置情報を基に前記制御信号を生成することを特徴とする
情報提示システム。 The information presentation system according to claim 1,
The control unit of the control device,
The position information in the three-dimensional space of the plurality of objects calculated by the movement target position and the object position information acquisition unit is normalized according to the size of the space in which the plurality of information presentation devices present information. And generating the control signal based on the normalized movement target position and the position information of the object.
前記制御装置の物体位置情報取得部は、前記情報提示装置に提示中の映像を見ているユーザの位置を取得し、
前記制御装置の制御部は、前記物体位置情報取得部で取得されたユーザの位置と前記情報提示装置の位置とを所定の位置関係とするための制御信号を出力することを特徴とする
情報提示システム。 The information presentation system according to claim 1,
The object position information acquisition unit of the control device acquires the position of the user who is viewing the video being presented to the information presentation device,
The control unit of the control device outputs a control signal for setting a predetermined positional relationship between the position of the user acquired by the object position information acquisition unit and the position of the information presentation device. system.
前記情報提示装置は、前記ユーザの位置を検出する対物センサを備え、
前記情報提示装置の制御部は、前記制御装置から出力された制御信号中で指定された移動目標位置において、前記表示部が、前記対物センサが検出したユーザの方向を向くように前記駆動部を制御することを特徴とする
情報提示システム。 The information presentation system according to claim 3,
The information presentation device includes an objective sensor that detects the position of the user,
The control unit of the information presentation device moves the drive unit so that the display unit faces the direction of the user detected by the objective sensor at the movement target position specified in the control signal output from the control device. An information presentation system characterized by control.
前記制御装置は操作部を備え、
前記操作部を介して、前記ユーザが前記複数の物体の１つに成り代わって前記情報提示装置を視聴する旨の指令が入力された場合には、
前記制御装置の制御部は、ユーザが成り代わる物体とその他の物体との相対的な位置関係を算出し、前記算出した相対的位置関係と前記ユーザの位置情報を基に、前記他の物体の映像を表示させる情報提示装置の移動目標位置を、ユーザの位置情報を基準として再計算することを特徴とする
情報提示システム。 The information presentation system according to claim 1,
The control device includes an operation unit,
When an instruction to view the information presenting apparatus is received through the operation unit, the user takes the place of one of the plurality of objects,
The control unit of the control device calculates a relative positional relationship between the object that the user impersonates and the other object, and based on the calculated relative positional relationship and the positional information of the user, An information presentation system characterized by recalculating a movement target position of an information presentation device for displaying an image on the basis of user position information.
前記情報提示装置は、垂直方向に伸縮可能な垂直方向可動部を備え、
前記情報提示装置の制御部は、前記物体位置情報取得部により算出された、前記物体の三次元空間における垂直方向の位置に基づいて、前記垂直方向可動部を駆動することを特徴とする
情報提示システム。 The information presentation system according to claim 1,
The information presentation device includes a vertical movable portion that can be expanded and contracted in the vertical direction,
The control unit of the information presentation device drives the vertical movable unit based on the vertical position of the object in a three-dimensional space calculated by the object position information acquisition unit. system.
前記制御装置の物体位置情報取得部は、前記複数の撮像装置のアングル情報を前記物体の位置情報と対応づける処理を行うことを特徴とする
情報提示システム。 The information presentation system according to claim 1,
The object position information acquisition unit of the control device performs processing for associating angle information of the plurality of imaging devices with position information of the object.
前記制御装置の制御部は、前記複数の撮像装置のアングル情報を基に前記情報提示装置の表示部の角度を設定し、前記設定した角度を前記制御信号に含めることを特徴とする
情報提示システム。 The information presentation system according to claim 7,
The control unit of the control device sets an angle of the display unit of the information presentation device based on angle information of the plurality of imaging devices, and includes the set angle in the control signal. .
前記情報提示装置は、
前記物体の映像を表示する手順と、
水平方向及び垂直方向に可動する手順と、
自装置の位置情報を取得する手順と、
前記制御装置から送信された制御信号を受信するとともに、前記位置取得した位置情報を前記制御装置に送信する手順とを備え、
前記制御装置は、
前記複数の物体の三次元空間における位置を取得する手順と、
前記情報提示装置から送信された位置情報を受信する手順と、
前記取得した物体位置を基に、前記物体の映像を表示させる前記情報提示装置の移動目標位置を算出し、前記移動目標位置と、前記受信した位置情報に示される前記情報提示装置の位置とを一致させるための制御信号を出力する手順とを備え、
前記情報提示装置は、前記制御装置によって位置情報が取得された物体の映像を表示させる制御を行うとともに、受信した制御信号に基づいて前記可動の制御を行う手順とを備えたことを特徴とする
情報提示方法。 A plurality of movable information presentation devices provided corresponding to the number of a plurality of objects and displaying images of the plurality of objects, and a control signal for controlling the information presentation device are output to the information presentation device An information presentation method using an information presentation system composed of a control device,
The information presentation device includes:
A procedure for displaying an image of the object;
Procedures that move horizontally and vertically;
A procedure for acquiring the location information of the device;
A procedure for receiving a control signal transmitted from the control device and transmitting the acquired position information to the control device;
The controller is
Obtaining a position of the plurality of objects in a three-dimensional space;
Receiving position information transmitted from the information presentation device;
Based on the acquired object position, a movement target position of the information presentation apparatus for displaying the image of the object is calculated, and the movement target position and the position of the information presentation apparatus indicated in the received position information are obtained. And a procedure for outputting a control signal for matching,
The information presentation device includes a procedure for performing display control of displaying an image of an object whose position information has been acquired by the control device, and performing the movable control based on a received control signal. Information presentation method.
前記情報提示装置で、
前記物体の映像を表示する手順と、
水平方向及び垂直方向に可動する手順と、
自装置の位置情報を取得する手順と、
前記制御装置から送信された制御信号を受信するとともに、前記位置取得した位置情報を前記制御装置に送信する手順とを実行させ、
前記制御装置で、
前記複数の物体の三次元空間における位置を取得する手順と、
前記情報提示装置から送信された位置情報を受信する手順と、
前記取得した物体位置を基に、前記物体の映像を表示させる前記情報提示装置の移動目標位置を算出し、前記移動目標位置と、前記受信した位置情報に示される前記情報提示装置の位置とを一致させるための制御信号を出力する手順と、
前記情報提示装置で、前記制御装置によって位置情報が取得された物体の映像を表示させる制御を行うとともに、受信した制御信号に基づいて前記可動の制御を行う手順とを実行させるための
プログラム。 A plurality of movable information presentation devices provided corresponding to the number of a plurality of objects and displaying images of the plurality of objects, and a control signal for controlling the information presentation device are output to the information presentation device A program for executing information presentation processing using an information presentation system configured with a control device,
In the information presentation device,
A procedure for displaying an image of the object;
Procedures that move horizontally and vertically;
A procedure for acquiring the location information of the device;
The control signal transmitted from the control device is received, and the procedure of transmitting the position information acquired to the control device is executed.
In the control device,
Obtaining a position of the plurality of objects in a three-dimensional space;
Receiving position information transmitted from the information presentation device;
Based on the acquired object position, a movement target position of the information presentation apparatus for displaying the image of the object is calculated, and the movement target position and the position of the information presentation apparatus indicated in the received position information are obtained. A procedure for outputting a control signal for matching;
A program for causing the information presentation device to perform control for displaying an image of an object for which position information has been acquired by the control device, and to execute a procedure for performing the movable control based on a received control signal.
前記情報提示装置で、
前記物体の映像を表示する手順と、
水平方向及び垂直方向に可動する手順と、
自装置の位置情報を取得する手順と、
前記制御装置から送信された制御信号を受信するとともに、前記位置取得した位置情報を前記制御装置に送信する手順とを実行させ、
前記制御装置で、
前記複数の物体の三次元空間における位置を取得する手順と、
前記情報提示装置から送信された位置情報を受信する手順と、
前記取得した物体位置を基に、前記物体の映像を表示させる前記情報提示装置の移動目標位置を算出し、前記移動目標位置と、前記受信した位置情報に示される前記情報提示装置の位置とを一致させるための制御信号を出力する手順と、
前記情報提示装置で、前記制御装置によって位置情報が取得された物体の映像を表示させる制御を行うとともに、受信した制御信号に基づいて前記可動の制御を行う手順を実行させるためのプログラムを記録した
記録媒体。 A plurality of movable information presentation devices provided corresponding to the number of a plurality of objects and displaying images of the plurality of objects, and a control signal for controlling the information presentation device are output to the information presentation device A recording medium recording a program for executing an information presentation process using an information presentation system configured with a control device,
In the information presentation device,
A procedure for displaying an image of the object;
Procedures that move horizontally and vertically;
A procedure for acquiring the location information of the device;
The control signal transmitted from the control device is received, and the procedure of transmitting the position information acquired to the control device is executed.
In the control device,
Obtaining a position of the plurality of objects in a three-dimensional space;
Receiving position information transmitted from the information presentation device;
Based on the acquired object position, a movement target position of the information presentation apparatus for displaying the image of the object is calculated, and the movement target position and the position of the information presentation apparatus indicated in the received position information are obtained. A procedure for outputting a control signal for matching;
The information presentation device performs control to display an image of the object whose position information has been acquired by the control device, and records a program for executing the procedure for performing the movable control based on the received control signal. recoding media.
前記物体の映像を表示する表示部と、
水平方向及び垂直方向に可動する可動部と、
前記可動部を駆動する駆動部と
自装置の位置情報を取得する位置センサと、
前記物体の三次元空間における位置を取得する物体位置情報取得部と、
前記物体位置情報取得部で取得された物体位置を基に移動目標位置を算出し、前記移動目標位置と、前記位置センサで取得した自装置の位置とを一致させるための制御信号を前記駆動部に出力する制御部とを備え、
前記制御部は、前記物体位置情報取得部によって位置情報が取得された物体の映像を前記表示部に表示させる制御を行うことを特徴とする
情報提示装置。 A movable information presentation device provided corresponding to the number of a plurality of objects and displaying an image of the object,
A display unit for displaying an image of the object;
A movable part movable in a horizontal direction and a vertical direction;
A drive unit that drives the movable unit, a position sensor that acquires position information of the device itself,
An object position information acquisition unit for acquiring a position of the object in a three-dimensional space;
Based on the object position acquired by the object position information acquisition unit, a movement target position is calculated, and a control signal for matching the movement target position with the position of the own device acquired by the position sensor is sent to the drive unit. And a control unit that outputs to
The information presenting apparatus, wherein the control unit performs control to display an image of the object whose position information is acquired by the object position information acquiring unit on the display unit.
前記制御部は、
前記移動目標位置と、前記物体位置情報取得部により算出された前記複数の物体の三次元空間での位置情報を、前記複数の情報提示装置が情報を提示する空間の広さに合わせて正規化し、前記正規化された移動目標位置と前記物体の位置情報を基に前記制御信号を生成することを特徴とする
情報提示装置。 The information presentation device according to claim 12,
The controller is
The position information in the three-dimensional space of the plurality of objects calculated by the movement target position and the object position information acquisition unit is normalized according to the size of the space in which the plurality of information presentation devices present information. The control signal is generated based on the normalized movement target position and the position information of the object.
前記物体位置情報取得部は、前記表示部で提示中の映像を視聴しているユーザの位置を取得し、
前記制御部は、前記物体位置情報取得部で取得されたユーザの位置と前記位置センサで取得した自装置の位置とを所定の位置関係とするための制御信号を出力することを特徴とする
情報提示装置。 The information presentation device according to claim 12,
The object position information acquisition unit acquires the position of the user who is viewing the video being presented on the display unit,
The control unit outputs a control signal for setting a predetermined positional relationship between the position of the user acquired by the object position information acquisition unit and the position of the own device acquired by the position sensor. Presentation device.
前記ユーザの位置を検出する対物センサを備え、
前記制御部は、前記移動目標位置において、前記表示部が前記対物センサが検出したユーザの方向を向くように前記駆動部を制御することを特徴とする
情報提示装置。 The information presentation device according to claim 14,
An objective sensor for detecting the position of the user;
The control unit controls the driving unit so that the display unit faces the direction of the user detected by the objective sensor at the movement target position.
操作部を備え、
前記操作部を介して、前記ユーザが前記複数の物体の１つに成り代わって前記映像を視聴する旨の指令が入力された場合には、
前記制御部は、ユーザが成り代わる物体とその他の物体との相対的な位置関係を算出し、前記算出した相対的位置関係と前記ユーザの位置情報を基に、前記移動目標位置を、ユーザの位置情報を基準として再計算することを特徴とする
情報提示装置。 The information presentation device according to claim 12,
It has an operation part,
When an instruction to view the video on behalf of one of the plurality of objects is input by the user via the operation unit,
The control unit calculates a relative positional relationship between an object that the user impersonates and another object, and determines the movement target position based on the calculated relative positional relationship and the user's positional information. An information presentation device characterized by recalculating on the basis of position information.
垂直方向に伸縮可能な垂直方向可動部を備え、
前記制御部は、前記物体位置情報取得部により算出された、前記物体の三次元空間における垂直方向の位置に基づいて、前記垂直方向可動部を駆動することを特徴とする
情報提示装置。 The information presentation device according to claim 12,
Equipped with a vertically movable part that can be expanded and contracted vertically,
The said control part drives the said vertical direction movable part based on the position of the vertical direction in the three-dimensional space of the said object calculated by the said object position information acquisition part, The information presentation apparatus characterized by the above-mentioned.
前記物体の映像を表示する手順と、
水平方向及び垂直方向に可動する手順と、
自装置の位置情報を取得する手順と、
前記物体の三次元空間における位置を取得する手順と、
前記取得された物体の三次元空間における位置を基に移動目標位置を算出し、前記移動目標位置と、前記取得した自装置の位置とを一致させるための制御信号を基に前記可動を制御する手順と、
前記三次元空間における位置情報が取得された物体の映像を表示させる手順とを備えたことを特徴とする
情報提示方法。 An information presentation method using a movable information presentation device that is provided corresponding to the number of objects and displays an image of the object,
A procedure for displaying an image of the object;
Procedures that move horizontally and vertically;
A procedure for acquiring the location information of the device;
Obtaining a position of the object in a three-dimensional space;
A movement target position is calculated based on the acquired position of the object in the three-dimensional space, and the movement is controlled based on a control signal for matching the movement target position with the acquired position of the own apparatus. Procedure and
A method for displaying an image of an object for which position information in the three-dimensional space has been acquired.
前記物体の映像を表示する手順と、
水平方向及び垂直方向に可動する手順と、
自装置の位置情報を取得する手順と、
前記物体の三次元空間における位置を取得する手順と、
前記取得された物体の三次元空間における位置を基に移動目標位置を算出し、前記移動目標位置と、前記取得した自装置の位置とを一致させるための制御信号を基に前記可動を制御する手順と、
前記三次元空間における位置情報が取得された物体の映像を表示させる手順とを実行させるための
プログラム。 A program for executing an information presentation process using a movable information presentation device provided corresponding to the number of a plurality of objects and displaying an image of the object,
A procedure for displaying an image of the object;
Procedures that move horizontally and vertically;
A procedure for acquiring the location information of the device;
Obtaining a position of the object in a three-dimensional space;
A movement target position is calculated based on the acquired position of the object in the three-dimensional space, and the movement is controlled based on a control signal for matching the movement target position with the acquired position of the own apparatus. Procedure and
A program for executing a procedure for displaying an image of an object for which position information in the three-dimensional space is acquired.
前記物体の映像を表示する手順と、
水平方向及び垂直方向に可動する手順と、
自装置の位置情報を取得する手順と、
前記物体の三次元空間における位置を取得する手順と、
前記取得された物体の三次元空間における位置を基に移動目標位置を算出し、前記移動目標位置と、前記取得した自装置の位置とを一致させるための制御信号を基に前記可動を制御する手順と、
前記三次元空間における位置情報が取得された物体の映像を表示させる手順とを実行させるためのプログラムを記録した
記録媒体。 A recording medium that is provided corresponding to the number of a plurality of objects and that records a program for executing an information presentation process using a movable information presentation device that displays an image of the object,
A procedure for displaying an image of the object;
Procedures that move horizontally and vertically;
A procedure for acquiring the location information of the device;
Obtaining a position of the object in a three-dimensional space;
A movement target position is calculated based on the acquired position of the object in the three-dimensional space, and the movement is controlled based on a control signal for matching the movement target position with the acquired position of the own apparatus. Procedure and
The recording medium which recorded the program for performing the procedure which displays the image | video of the object from which the positional information in the said three-dimensional space was acquired.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007224732A JP4998156B2 (en) | 2007-08-30 | 2007-08-30 | Information presenting system, information presenting apparatus, information presenting method, program, and recording medium recording the program |
| US12/186,789 US8218856B2 (en) | 2007-08-30 | 2008-08-06 | Information presentation system, information presentation apparatus, information presentation method, program, and recording medium on which such program is recorded |
| EP08162931A EP2031479A3 (en) | 2007-08-30 | 2008-08-26 | Information presentation system, information presentation apparatus, information presentation method, program, and recording medium on which such program is recorded |
| CN2008102124535A CN101377916B (en) | 2007-08-30 | 2008-08-29 | Information presentation system, information presentation apparatus, and information presentation method |
| KR1020080085290A KR20090023295A (en) | 2007-08-30 | 2008-08-29 | Information presentation system, information presentation apparatus, information presentation method, program, and recording medium on which such program is recorded |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007224732A JP4998156B2 (en) | 2007-08-30 | 2007-08-30 | Information presenting system, information presenting apparatus, information presenting method, program, and recording medium recording the program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009060287A JP2009060287A (en) | 2009-03-19 |
| JP4998156B2 true JP4998156B2 (en) | 2012-08-15 |
Family
ID=40033451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007224732A Expired - Fee Related JP4998156B2 (en) | 2007-08-30 | 2007-08-30 | Information presenting system, information presenting apparatus, information presenting method, program, and recording medium recording the program |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8218856B2 (en) |
| EP (1) | EP2031479A3 (en) |
| JP (1) | JP4998156B2 (en) |
| KR (1) | KR20090023295A (en) |
| CN (1) | CN101377916B (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9055201B2 (en) * | 2011-10-14 | 2015-06-09 | Samsung Techwin Co., Ltd. | Apparatus and method of storing and searching for image |
| US8773502B2 (en) * | 2012-10-29 | 2014-07-08 | Google Inc. | Smart targets facilitating the capture of contiguous images |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3526897B2 (en) * | 1993-12-24 | 2004-05-17 | 株式会社応用計測研究所 | Image display device |
| WO2000035204A1 (en) * | 1998-12-10 | 2000-06-15 | Zebra Imaging, Inc. | Dynamically scalable full-parallax stereoscopic display |
| US20020063711A1 (en) * | 1999-05-12 | 2002-05-30 | Imove Inc. | Camera system with high resolution image inside a wide angle view |
| US20020008758A1 (en) * | 2000-03-10 | 2002-01-24 | Broemmelsiek Raymond M. | Method and apparatus for video surveillance with defined zones |
| US7027083B2 (en) * | 2001-02-12 | 2006-04-11 | Carnegie Mellon University | System and method for servoing on a moving fixation point within a dynamic scene |
| US7102666B2 (en) * | 2001-02-12 | 2006-09-05 | Carnegie Mellon University | System and method for stabilizing rotational images |
| US7034679B2 (en) * | 2001-12-31 | 2006-04-25 | Ncr Corporation | System and method for enhancing security at a self-checkout station |
| JP2003219225A (en) * | 2002-01-25 | 2003-07-31 | Nippon Micro Systems Kk | Device for monitoring moving object image |
| US7091926B2 (en) * | 2002-02-08 | 2006-08-15 | Kulas Charles J | Computer display system using multiple screens |
| JP2004046006A (en) * | 2002-07-15 | 2004-02-12 | Asahi Kasei Electronics Co Ltd | Three-dimensional information display device |
| JP3880561B2 (en) * | 2002-09-05 | 2007-02-14 | 株式会社ソニー・コンピュータエンタテインメント | Display system |
| JP2006294032A (en) | 2002-09-05 | 2006-10-26 | Sony Computer Entertainment Inc | Display system, display control device, display apparatus, display method, and user interface device |
| EP1567234A4 (en) * | 2002-11-05 | 2006-01-04 | Disney Entpr Inc | Video actuated interactive environment |
| US6889120B2 (en) * | 2002-12-14 | 2005-05-03 | Hewlett-Packard Development Company, L.P. | Mutually-immersive mobile telepresence with gaze and eye contact preservation |
| US20050012817A1 (en) * | 2003-07-15 | 2005-01-20 | International Business Machines Corporation | Selective surveillance system with active sensor management policies |
| IL161082A (en) * | 2004-03-25 | 2008-08-07 | Rafael Advanced Defense Sys | System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor |
| JP2005338249A (en) * | 2004-05-25 | 2005-12-08 | Seiko Epson Corp | Display device, display method, and display system |
| US7626569B2 (en) * | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
| JP4720535B2 (en) | 2006-02-21 | 2011-07-13 | パナソニック電工株式会社 | Pump and liquid circulation device having the same |
-
2007
- 2007-08-30 JP JP2007224732A patent/JP4998156B2/en not_active Expired - Fee Related
-
2008
- 2008-08-06 US US12/186,789 patent/US8218856B2/en not_active Expired - Fee Related
- 2008-08-26 EP EP08162931A patent/EP2031479A3/en not_active Withdrawn
- 2008-08-29 CN CN2008102124535A patent/CN101377916B/en not_active Expired - Fee Related
- 2008-08-29 KR KR1020080085290A patent/KR20090023295A/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| US8218856B2 (en) | 2012-07-10 |
| US20090060320A1 (en) | 2009-03-05 |
| EP2031479A3 (en) | 2013-03-06 |
| KR20090023295A (en) | 2009-03-04 |
| JP2009060287A (en) | 2009-03-19 |
| CN101377916A (en) | 2009-03-04 |
| CN101377916B (en) | 2010-12-15 |
| EP2031479A2 (en) | 2009-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10412382B2 (en) | Methods and apparatus related to capturing and/or rendering images | |
| US11245883B2 (en) | Method for augmenting surfaces in a space with visual content | |
| US9880457B2 (en) | Apparatus for the automatic positioning of coupled cameras for three-dimensional image representation | |
| CN104054023B (en) | The system and method that the 3D of object Mapping for being controlled with robot is projected | |
| JP5992210B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| JP4115117B2 (en) | Information processing apparatus and method | |
| JP7059937B2 (en) | Control device for movable image pickup device, control method and program for movable image pickup device | |
| KR20060106773A (en) | Calibration method and apparatus | |
| JP6147966B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| US11776577B2 (en) | Camera tracking system for live compositing | |
| JP3526897B2 (en) | Image display device | |
| JP2021525043A (en) | Control methods and devices for time-lapse photography, imaging systems and programs | |
| WO2021002256A1 (en) | Information processing system, information processing method, and program | |
| JP4998156B2 (en) | Information presenting system, information presenting apparatus, information presenting method, program, and recording medium recording the program | |
| JP4019785B2 (en) | Image display system, image processing apparatus, and image display method | |
| JP5750637B2 (en) | Imaging device | |
| JP2003143477A (en) | Image compositing device and method | |
| KR101521352B1 (en) | Panorama image managing apparatus and method | |
| JP2002271692A (en) | Image processing method, image processing unit, studio apparatus, studio system and program | |
| JP2002031507A (en) | Three-dimensional image measuring device | |
| JP3702495B2 (en) | Landscape display system | |
| JP2008011433A (en) | Imaging system, imaging method thereof, image server, and image processing method thereof | |
| JP6403648B2 (en) | Aerial image effect device, control method of aerial image effect device, and video system | |
| WO2018044584A1 (en) | Methods and apparatus related to capturing and/or rendering images | |
| JP6714564B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100310 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120411 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120430 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |