JP6694514B2 - Information processing equipment - Google Patents
Information processing equipment Download PDFInfo
- Publication number
- JP6694514B2 JP6694514B2 JP2018542629A JP2018542629A JP6694514B2 JP 6694514 B2 JP6694514 B2 JP 6694514B2 JP 2018542629 A JP2018542629 A JP 2018542629A JP 2018542629 A JP2018542629 A JP 2018542629A JP 6694514 B2 JP6694514 B2 JP 6694514B2
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- distance
- virtual space
- observation point
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 46
- 238000010276 construction Methods 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 13
- 210000003128 head Anatomy 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、現実空間から得られる情報に基づいて仮想空間を構築する情報処理装置、情報処理方法、プログラム、及び情報記憶媒体に関する。 The present invention relates to an information processing device, an information processing method, a program, and an information storage medium that construct a virtual space based on information obtained from a physical space.
近年、拡張現実や仮想現実といった技術が研究されている。このような技術の一つとして、カメラで撮影した画像などの現実空間から得られる情報に基づいて仮想空間を構築して、ユーザーにその仮想空間内にいるかのような体験をさせるものがある。このような技術によれば、ユーザーは現実世界と関連する仮想空間内で現実世界では体験できないような体験をすることができる。 In recent years, technologies such as augmented reality and virtual reality have been studied. As one of such technologies, there is one that constructs a virtual space based on information obtained from a real space such as an image captured by a camera and allows a user to experience as if they were in the virtual space. According to such a technology, the user can have an experience in the virtual space related to the real world that cannot be experienced in the real world.
上述した技術において、現実空間についての情報をどのように取得したらよいかについては、いまだ十分に検討されていない。 In the above-mentioned technology, how to obtain information about the physical space has not been sufficiently studied.
本発明は上記実情を考慮してなされたものであって、その目的の一つは、効果的に現実空間の情報を取得して、現実空間に対応する仮想空間を構築することのできる情報処理装置、情報処理方法、プログラム、及び情報記憶媒体を提供することにある。 The present invention has been made in consideration of the above situation, and one of the objects thereof is information processing that can effectively acquire information in the real space and construct a virtual space corresponding to the real space. An object is to provide an apparatus, an information processing method, a program, and an information storage medium.
本発明に係る情報処理装置は、１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得する距離画像取得部と、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築する仮想空間構築部と、を含むことを特徴とする。 The information processing apparatus according to the present invention is a distance image obtained by observing a physical space in which one or a plurality of subjects are present, and includes a distance to a subject portion reflected in each of a plurality of unit areas in the distance image. Distance image acquisition for acquiring a first distance image including information on a distance from a first observation point and a second distance image including information on a distance from a second observation point different from the first observation point And a virtual space constructing unit that constructs a virtual space expressing the subject based on information on distances included in each of the first distance image and the second distance image. ..
本発明に係る情報処理方法は、１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得するステップと、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築するステップと、を含むことを特徴とする。 The information processing method according to the present invention is a distance image obtained by observing a physical space in which one or a plurality of subjects are present, and the distance image up to the subject portion reflected in each of the plurality of unit areas in the distance image. Acquiring a first distance image including information on a distance from a first observation point, and a second distance image including information on a distance from a second observation point different from the first observation point; Constructing a virtual space representing the subject based on information on distances included in each of the first distance image and the second distance image.
本発明に係るプログラムは、１又は複数の被写体が存在する現実空間を観測して得られる距離画像であって、当該距離画像内の複数の単位領域のそれぞれに写っている被写体部分までの第１観測点からの距離の情報を含んだ第１距離画像と、前記第１観測点とは異なる第２観測点からの距離の情報を含んだ第２距離画像と、を取得する距離画像取得部、及び、前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に基づいて、前記被写体を表現する仮想空間を構築する仮想空間構築部、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。 A program according to the present invention is a distance image obtained by observing a physical space in which one or a plurality of subjects exist, and a first image up to a subject portion reflected in each of a plurality of unit regions in the distance image. A distance image acquisition unit that acquires a first distance image including information on a distance from an observation point and a second distance image including information on a distance from a second observation point different from the first observation point, And a program for causing a computer to function as a virtual space constructing unit that constructs a virtual space expressing the subject based on the distance information included in each of the first distance image and the second distance image. is there. This program may be provided by being stored in a computer-readable non-transitory information storage medium.
以下、本発明の実施形態について、図面に基づき詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の一実施形態に係る情報処理装置１をユーザーが使用する様子を示す図である。また、図２は情報処理装置１の構成を示す構成ブロック図である。情報処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等であって、図２に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１は、図１に示すように、表示装置１４、第１ステレオカメラ１５、及び第２ステレオカメラ１６と接続されている。 FIG. 1 is a diagram showing how a user uses an information processing apparatus 1 according to an embodiment of the present invention. 2 is a configuration block diagram showing the configuration of the information processing device 1. The information processing apparatus 1 is, for example, a home-use game machine, a portable game machine, a personal computer, a smart phone, or the like, and includes a control unit 11, a storage unit 12, and an interface unit 13, as shown in FIG. It is configured to include. In addition, the information processing device 1 is connected to the display device 14, the first stereo camera 15, and the second stereo camera 16 as illustrated in FIG. 1.
制御部１１は少なくとも一つのプロセッサーを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、情報処理装置１が表示装置１４、第１ステレオカメラ１５、及び第２ステレオカメラ１６との間で各種の情報を授受するためのインタフェースである。 The control unit 11 is configured to include at least one processor, and executes a program stored in the storage unit 12 to execute various types of information processing. A specific example of the process executed by the control unit 11 in this embodiment will be described later. The storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program. The interface unit 13 is an interface for the information processing device 1 to exchange various information with the display device 14, the first stereo camera 15, and the second stereo camera 16.
表示装置１４は、ヘッドマウントディスプレイ等、ユーザーが頭部に装着して使用する頭部装着型の表示装置である。表示装置１４は、情報処理装置１が出力する映像信号に応じた画像をユーザーの眼前に表示する。特に本実施形態では、表示装置１４はユーザーの左右の目に互いに異なる左目用画像、右目用画像を閲覧させるものとする。これにより表示装置１４は、視差を利用した立体映像を表示することができる。 The display device 14 is a head-mounted display device, such as a head-mounted display, which the user wears on his / her head for use. The display device 14 displays an image corresponding to the video signal output by the information processing device 1 in front of the user's eyes. Particularly in this embodiment, the display device 14 allows the left and right eyes of the user to browse different left-eye images and right-eye images. Accordingly, the display device 14 can display a stereoscopic image using parallax.
第１ステレオカメラ１５は、左右に並んで配置された複数のカメラによって構成されており、１又は複数の被写体が存在する現実空間を観測するために用いられる。情報処理装置１は、これら複数のカメラによる撮影画像の視差を利用することで、第１ステレオカメラ１５の撮影位置（観測点）から撮影画像内に写っている被写体までの距離を算出することができる。第1ステレオカメラ１５を構成する各カメラによって撮影された撮影画像は、インタフェース部１３経由で情報処理装置１に入力される。同様に、第２ステレオカメラ１６も左右に並んで配置された複数のカメラから構成され、視野範囲内の被写体までの距離の算出に用いられる。 The first stereo camera 15 is composed of a plurality of cameras arranged side by side on the left and right, and is used for observing a physical space in which one or a plurality of subjects are present. The information processing apparatus 1 can calculate the distance from the shooting position (observation point) of the first stereo camera 15 to the subject in the shot image by using the parallax of the shot images by the plurality of cameras. it can. The captured image captured by each camera that constitutes the first stereo camera 15 is input to the information processing apparatus 1 via the interface unit 13. Similarly, the second stereo camera 16 is also composed of a plurality of cameras arranged side by side on the left and right, and is used for calculating the distance to the subject within the visual field range.
本実施形態において第１ステレオカメラ１５は、ユーザーの前方に設置されており、ユーザー側に向けられた位置及び向きで固定されている。一方、第２ステレオカメラ１６は、表示装置１４に取り付けられており、その撮影方向は表示装置１４の前面に向けられている。すなわち、第１ステレオカメラ１５の観測点は現実空間内で固定されている。これに対して、第２ステレオカメラ１６の観測点はユーザーに対して固定されており、ユーザーが頭部を動かすとこれに連動して動くことになる。通常の使用状態では、第１ステレオカメラ１５と第２ステレオカメラ１６は互いに向き合う状態となり、第１ステレオカメラ１５の視野範囲にはユーザーの頭部、表示装置１４、及び第２ステレオカメラ１６が含まれることになる。また、ユーザーが正面を向いている際には、第２ステレオカメラ１６の視野範囲に第１ステレオカメラ１５が含まれることになる。 In the present embodiment, the first stereo camera 15 is installed in front of the user and is fixed at a position and an orientation facing the user. On the other hand, the second stereo camera 16 is attached to the display device 14, and its shooting direction is directed to the front surface of the display device 14. That is, the observation point of the first stereo camera 15 is fixed in the physical space. On the other hand, the observation point of the second stereo camera 16 is fixed with respect to the user, and when the user moves his / her head, the observation point moves in conjunction with this. In a normal use state, the first stereo camera 15 and the second stereo camera 16 face each other, and the visual field range of the first stereo camera 15 includes the user's head, the display device 14, and the second stereo camera 16. Will be done. Further, when the user faces the front, the first stereo camera 15 is included in the visual field range of the second stereo camera 16.
なお、ここでは第２ステレオカメラ１６は表示装置１４に取り付けられた別の装置であることとしたが、第２ステレオカメラ１６は表示装置１４と一体に構成されてもよい。また、第１ステレオカメラ１５は情報処理装置１と一体に構成されてもよい。 Although the second stereo camera 16 is a separate device attached to the display device 14 here, the second stereo camera 16 may be integrated with the display device 14. The first stereo camera 15 may be integrated with the information processing device 1.
以下、情報処理装置１が実現する機能について、図３を用いて説明する。図３に示すように、情報処理装置１は、機能的に、距離画像取得部２１と、仮想空間構築部２２と、表示制御部２３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。 The functions realized by the information processing device 1 will be described below with reference to FIG. As shown in FIG. 3, the information processing device 1 is functionally configured to include a distance image acquisition unit 21, a virtual space construction unit 22, and a display control unit 23. These functions are realized by the control unit 11 operating according to a program stored in the storage unit 12. This program may be provided to the information processing device 1 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disc.
距離画像取得部２１は、第１ステレオカメラ１５、及び第２ステレオカメラ１６のそれぞれが現実空間を撮影することで得られる距離画像（デプスマップ）を取得する。以下では、第１ステレオカメラ１５の撮影画像に基づいて生成された距離画像を第１距離画像ＤＭ１と表記し、第２ステレオカメラ１６の撮影画像に基づいて生成された距離画像を第２距離画像ＤＭ２と表記する。また、これら２種類の距離画像を距離画像ＤＭと総称する。本実施形態において距離画像ＤＭは、画像内の複数の単位領域ごとに、少なくとも当該単位領域内に写っている物体の一部分（被写体部分）までの距離Ｄの情報を含んだ画像である。ここで単位領域は、画像内の一つ一つの画素であってもよいし、互いに隣接する複数の画素からなる画素ブロックであってもよい。距離画像ＤＭは、単位領域に写っている被写体の色成分の情報を含んでもよい。 The distance image acquisition unit 21 acquires a distance image (depth map) obtained by each of the first stereo camera 15 and the second stereo camera 16 shooting an actual space. Hereinafter, the distance image generated based on the captured image of the first stereo camera 15 is referred to as a first distance image DM1, and the distance image generated based on the captured image of the second stereo camera 16 is referred to as a second distance image. Notated as DM2. Further, these two types of range images are collectively referred to as range image DM. In the present embodiment, the distance image DM is an image including, for each of a plurality of unit areas in the image, information of at least the distance D to a part (subject portion) of the object imaged in the unit area. Here, the unit area may be each pixel in the image, or may be a pixel block including a plurality of pixels adjacent to each other. The distance image DM may include information on the color components of the subject reflected in the unit area.
また、距離画像取得部２１は、距離画像ＤＭの生成に用いる画像を撮影した時点におけるステレオカメラの位置、及び向きの情報を距離画像ＤＭとともに取得する。以下、距離画像ＤＭの生成に用いる画像を撮影した際のステレオカメラの位置、及び向きの情報を、観測点情報という。特に第２ステレオカメラ１６は、ユーザーの頭部の動きに合わせてその位置、及び向きが変化する。そのため、第２距離画像ＤＭ２内に写っている物体の現実空間内における位置を特定するためには、対応する観測点情報が必要となる。距離画像ＤＭのデータと、距離画像ＤＭの生成に用いられた画像の観測点情報を用いることにより、距離画像ＤＭ内の各単位領域に写っている被写体の、現実空間内における位置を特定することができる。 Further, the distance image acquisition unit 21 acquires, together with the distance image DM, information on the position and orientation of the stereo camera at the time when the image used to generate the distance image DM is captured. Hereinafter, the position and orientation information of the stereo camera when the image used to generate the distance image DM is captured is referred to as observation point information. Particularly, the position and orientation of the second stereo camera 16 change according to the movement of the user's head. Therefore, in order to specify the position in the real space of the object shown in the second distance image DM2, corresponding observation point information is required. By using the data of the distance image DM and the observation point information of the image used to generate the distance image DM, the position of the subject in each unit area in the distance image DM in the physical space is specified. You can
具体的に、例えば距離画像取得部２１は、第１ステレオカメラ１５による撮影画像内に写っている第２ステレオカメラ１６の位置、及び向きを特定することによって、第２ステレオカメラ１６の現実空間内における位置、及び向きを特定してもよい。この場合、精度よく第２ステレオカメラ１６の位置を特定するために、第２ステレオカメラ１６，又は表示装置１４の所定位置に発光素子を取り付け、この発光素子を発光させてもよい。こうすれば、距離画像取得部２１は、第１ステレオカメラ１５の撮影画像内において発光素子からの光が写っている位置を特定することによって、第２ステレオカメラ１６の観測点情報を特定することができる。また、第２ステレオカメラ１６又は表示装置１４に複数の発光素子を配置し、その光の位置パターンを検出することによって、第１ステレオカメラ１５から見た第２ステレオカメラ１６の傾きの変化を特定することもできる。 Specifically, for example, the distance image acquisition unit 21 identifies the position and the orientation of the second stereo camera 16 included in the image captured by the first stereo camera 15 so that the real space of the second stereo camera 16 is determined. You may specify the position and direction in. In this case, in order to specify the position of the second stereo camera 16 with high accuracy, a light emitting element may be attached at a predetermined position of the second stereo camera 16 or the display device 14 and the light emitting element may emit light. In this way, the distance image acquisition unit 21 specifies the observation point information of the second stereo camera 16 by specifying the position where the light from the light emitting element is reflected in the captured image of the first stereo camera 15. You can Further, a plurality of light emitting elements are arranged in the second stereo camera 16 or the display device 14 and the positional pattern of the light is detected to identify the change in the inclination of the second stereo camera 16 viewed from the first stereo camera 15. You can also do it.
また、距離画像取得部２１は、第２ステレオカメラ１６、又は表示装置１４が備えるモーションセンサーの検出結果を用いて、第２ステレオカメラ１６の位置、及び向きの変化を特定してもよい。具体的に距離画像取得部２１は、第２ステレオカメラ１６、又は表示装置１４が内蔵する加速度センサーやジャイロスコープ、地磁気センサー等のモーションセンサーの検出結果を利用することで、第２ステレオカメラ１６の観測点情報を特定できる。 Further, the distance image acquisition unit 21 may specify the change in the position and the orientation of the second stereo camera 16 using the detection result of the second stereo camera 16 or the motion sensor included in the display device 14. Specifically, the distance image acquisition unit 21 uses the detection result of the second stereo camera 16 or a motion sensor such as an acceleration sensor, a gyroscope, and a geomagnetic sensor built in the display device 14 to detect the second stereo camera 16. The observation point information can be specified.
また、距離画像取得部２１は、第２ステレオカメラ１６による撮影画像の時間変化を用いて、第２ステレオカメラ１６の位置、及び向きの変化を特定してもよい。このような撮影画像の時間変化に基づく位置推定は、公知のステレオＳＬＡＭ（Simultaneous Localization and Mapping）技術等により実現できる。このような技術によって第２ステレオカメラ１６の位置、及び向きの変化をモニタし続けることで、モニタ開始時点の第２ステレオカメラ１６の位置及び向きを基準として、任意の時点における第２ステレオカメラ１６の観測点情報を特定することができる。この方法によれば、発光素子やモーションセンサー等のデバイスがなくとも、第２ステレオカメラ１６の撮影画像だけから観測点情報を特定できる。 Further, the distance image acquisition unit 21 may specify the change in the position and orientation of the second stereo camera 16 by using the time change of the image captured by the second stereo camera 16. The position estimation based on such a temporal change of the captured image can be realized by a known stereo SLAM (Simultaneous Localization and Mapping) technique or the like. By continuing to monitor the change in the position and orientation of the second stereo camera 16 by such a technique, the second stereo camera 16 at an arbitrary time point is referenced with the position and orientation of the second stereo camera 16 at the start of monitoring as a reference. The observation point information of can be specified. According to this method, the observation point information can be specified only from the image captured by the second stereo camera 16 without a device such as a light emitting element or a motion sensor.
なお、距離画像取得部２１は、以上説明した観測点情報を特定するための複数の方法を組み合わせて用いてもよい。これにより、より精度よく観測点情報を特定できる。また、以上説明したもの以外の方法で観測点情報を特定してもよい。 The distance image acquisition unit 21 may use a combination of a plurality of methods for identifying the observation point information described above. Thereby, the observation point information can be specified more accurately. Further, the observation point information may be specified by a method other than the one described above.
仮想空間構築部２２は、距離画像取得部２１が取得した第１距離画像ＤＭ１及び第２距離画像ＤＭ２に基づいて、仮想空間を構築する。具体的に仮想空間構築部２２は、各距離画像ＤＭに写っている被写体（すなわち、現実空間に存在している物体）に対応するオブジェクトを生成し、仮想３次元空間内に配置する。特に本実施形態では、現実仮想空間構築部２２は、各距離画像ＤＭ内の各単位領域に対応するボクセルを仮想空間内に配置していくことによって、当該距離画像ＤＭ内に写っている物体を仮想空間内に再現する。ボクセルは、３次元空間を格子状に分割した際の各格子に対応する単位体積要素であって、所定のサイズを有する。ボクセルのサイズは、距離画像ＤＭの単位領域と対応するサイズであってよい。また、ボクセルの形状は立方体であってよい。現実空間に存在する様々な形状の物体は、仮想空間内において複数のボクセルの集合によって表現される。 The virtual space construction unit 22 constructs a virtual space based on the first distance image DM1 and the second distance image DM2 acquired by the distance image acquisition unit 21. Specifically, the virtual space construction unit 22 generates an object corresponding to a subject (that is, an object existing in the physical space) shown in each distance image DM, and arranges the object in the virtual three-dimensional space. In particular, in the present embodiment, the real virtual space construction unit 22 arranges voxels corresponding to each unit area in each distance image DM in the virtual space to detect an object in the distance image DM. Reproduce in virtual space. A voxel is a unit volume element corresponding to each grid when a three-dimensional space is divided into grids, and has a predetermined size. The voxel size may be a size corresponding to the unit area of the distance image DM. Also, the voxels may be cubic in shape. Objects of various shapes existing in the physical space are represented by a set of voxels in the virtual space.
具体的に、仮想空間構築部２２は、距離画像取得部２１が取得した第１距離画像ＤＭ１、及び第２距離画像ＤＭ２に含まれる単位領域のそれぞれに対応するボクセルを生成し、仮想空間内に配置する。ボクセルの配置位置は、対応する単位領域に写っている物体までのステレオカメラからの距離Ｄ、距離画像ＤＭ内における当該単位領域の位置、及びステレオカメラの観測点情報に基づいて決定される。また、ボクセルの表面の色は、対応する単位領域の色（画素値）に基づいて決定されてよい。 Specifically, the virtual space construction unit 22 generates voxels corresponding to each of the unit areas included in the first distance image DM1 and the second distance image DM2 acquired by the distance image acquisition unit 21, and the voxels are generated in the virtual space. Deploy. The position of the voxel is determined based on the distance D from the stereo camera to the object shown in the corresponding unit area, the position of the unit area in the distance image DM, and the observation point information of the stereo camera. The surface color of the voxel may be determined based on the color (pixel value) of the corresponding unit area.
第２距離画像ＤＭ２は、ユーザーの視点に近い位置から見た景色を含んでいる。そのため、第２距離画像ＤＭ２に基づいて生成されるボクセルは、ユーザーのいる部屋の中の壁や床、家具など、ユーザーの周囲に存在する物体に対応すると考えられる。すなわち、第２距離画像ＤＭ２に基づいてボクセルを生成、配置することによって、仮想空間構築部２２は、ユーザーがいる部屋の様子を仮想空間内に再現することができる。なお、距離画像取得部２１は複数回にわたって第２距離画像ＤＭ２を取得し、仮想空間構築部２２はこれら複数の第２距離画像ＤＭ２のそれぞれに基づいてボクセルを生成してもよい。第２ステレオカメラ１６が取り付けられた表示装置１４を装着した状態でユーザーに自分の周囲を見渡してもらい、その間に撮影された複数の撮影画像に基づいて生成された第２距離画像ＤＭ２を用いてボクセルを配置することによって、仮想空間構築部２２は第２ステレオカメラ１６の視野角以上の広い範囲にわたって現実空間の様子を再現することができる。 The second distance image DM2 includes a view seen from a position close to the user's viewpoint. Therefore, it is considered that the voxels generated based on the second distance image DM2 correspond to objects existing around the user, such as walls and floors in the room where the user is, furniture. That is, by generating and arranging voxels based on the second distance image DM2, the virtual space construction unit 22 can reproduce the state of the room where the user is in the virtual space. The distance image acquisition unit 21 may acquire the second distance image DM2 multiple times, and the virtual space construction unit 22 may generate voxels based on each of the plurality of second distance images DM2. Using the second distance image DM2 generated based on a plurality of captured images captured by the user while wearing the display device 14 to which the second stereo camera 16 is attached, By arranging the voxels, the virtual space construction unit 22 can reproduce the state of the real space over a wide range beyond the viewing angle of the second stereo camera 16.
一方、第１距離画像ＤＭ１には、ユーザー自身が写っていると想定される。そのため、第１距離画像ＤＭ１に基づいて生成されるボクセルにより、ユーザー自身の体が再現される。二つの距離画像ＤＭに基づいて生成されたボクセルを一つの仮想空間内に配置することによって、仮想空間構築部２２は、ユーザー自身とその周囲の空間の双方を再現した仮想空間を構築することができる。なお、仮想空間構築部２２は、第１距離画像ＤＭ１に基づいてボクセルを配置する際には、現実空間において第２ステレオカメラ１６の存在する位置を中心とした所定範囲内に存在する被写体部分のみを処理対象としてもよい。第２ステレオカメラ１６から離れた位置に存在する被写体は、ユーザー自身ではないと考えられるためである。逆に、第２距離画像ＤＭ２に基づいてボクセルを配置する際には、現実空間において第２ステレオカメラ１６の存在する位置を中心とした所定範囲の外に存在する被写体部分のみを処理対象としてもよい。 On the other hand, it is assumed that the user himself / herself appears in the first distance image DM1. Therefore, the user's own body is reproduced by the voxels generated based on the first distance image DM1. By arranging the voxels generated based on the two distance images DM in one virtual space, the virtual space construction unit 22 can construct a virtual space that reproduces both the user himself and the surrounding space. it can. When arranging the voxels based on the first distance image DM1, the virtual space construction unit 22 selects only the subject portion existing within a predetermined range around the position where the second stereo camera 16 exists in the real space. May be the processing target. This is because it is considered that the subject present at a position away from the second stereo camera 16 is not the user himself. On the contrary, when arranging the voxels based on the second distance image DM2, even if only the object portion existing outside the predetermined range centered on the position where the second stereo camera 16 exists in the physical space may be processed. Good.
さらに本実施形態では、仮想空間構築部２２は、第１距離画像ＤＭ１に写っている物体を仮想空間内に再現する場合と、第２距離画像ＤＭ２に写っている物体を仮想空間内に再現する場合とで、異なる処理を実行することとする。これにより、各距離画像ＤＭの取得条件（観測点等）の違いに応じて、仮想空間内に配置されるボクセルの役割や性質を異ならせることができる。このような処理の具体例については、後に詳しく説明する。 Further, in the present embodiment, the virtual space construction unit 22 reproduces the object shown in the first distance image DM1 in the virtual space and the object shown in the second distance image DM2 in the virtual space. Different processing is executed depending on the case. As a result, the roles and properties of the voxels arranged in the virtual space can be changed according to the acquisition conditions (observation points, etc.) of each distance image DM. A specific example of such processing will be described later in detail.
表示制御部２３は、仮想空間構築部２２が構築した仮想空間内の様子を示す空間画像を生成し、表示装置１４に表示させる。例えば表示制御部２３は、現実空間内における表示装置１４の現在位置に対応する仮想空間内の位置に視点を配置し、その視点から仮想空間内を見た様子を示す空間画像を生成する。このとき表示制御部２３は、ユーザーの左右の目に対応する２つの視点を仮想空間内に並べて配置し、この２つの視点のそれぞれから仮想空間内を見た様子を示す２つの空間画像を生成する。この２つの空間画像を左目用画像、右目用画像として表示装置１４に表示させることにより、ユーザーは仮想空間内の様子を立体的に認識することができる。 The display control unit 23 generates a space image showing the state in the virtual space constructed by the virtual space construction unit 22, and causes the display device 14 to display the space image. For example, the display control unit 23 arranges a viewpoint at a position in the virtual space that corresponds to the current position of the display device 14 in the physical space, and generates a spatial image that shows how the virtual space is viewed from that viewpoint. At this time, the display control unit 23 arranges two viewpoints corresponding to the left and right eyes of the user side by side in the virtual space, and generates two spatial images showing the appearance of the virtual space from each of these two viewpoints. To do. By displaying these two spatial images on the display device 14 as an image for the left eye and an image for the right eye, the user can stereoscopically recognize the state in the virtual space.
ここで、表示制御部２３は、第２ステレオカメラ１６の観測点情報を用いて、ユーザーの目の位置、及び視線方向を特定する。そして、このユーザーの目の位置と向きに対応する仮想空間内の位置及び向きに、空間画像を描画するための視点を設定する。これにより、ユーザーが現実空間を見るのと同じように仮想空間内のオブジェクトを見た様子を表示装置１４に表示させることができる。 Here, the display control unit 23 uses the observation point information of the second stereo camera 16 to specify the position of the user's eyes and the line-of-sight direction. Then, the viewpoint for drawing the spatial image is set at the position and orientation in the virtual space corresponding to the position and orientation of the user's eyes. As a result, it is possible to display on the display device 14 how the user looks at the object in the virtual space in the same way as when the user looks at the real space.
また、表示制御部２３は、ユーザーの実際の目の位置とは異なる位置に視点を設定してもよい。例えば表示制御部２３は、ユーザーの操作デバイスに対する方向指示に応じて、視点の位置を仮想空間内で移動させてもよい。これによりユーザーは、自分の体を離れた空間内の任意の位置から、自分自身の体を含め自分がいる空間の様子を閲覧することができる。 The display control unit 23 may set the viewpoint at a position different from the actual position of the user's eyes. For example, the display control unit 23 may move the position of the viewpoint in the virtual space according to a direction instruction given to the operation device by the user. This allows the user to view the state of the space in which he / she is, including his / her own body, from any position in the space away from his / her body.
以下、仮想空間構築部２２が２種類の距離画像ＤＭを用いて異なる性質を持った２種類のボクセルからなる仮想空間を構築する処理の具体例について、説明する。以下の例では、第１距離画像ＤＭ１と第２距離画像ＤＭ２のどちらを入力とするかに応じて、仮想空間内に配置するボクセルの更新頻度を変化させる例について、説明する。なお、以下では説明の便宜のために、第１距離画像ＤＭ１に基づいて生成されるボクセルを人物ボクセルと表記し、第２距離画像ＤＭ２に基づいて生成されるボクセルを背景ボクセルと表記する。 Hereinafter, a specific example of a process in which the virtual space construction unit 22 constructs a virtual space composed of two types of voxels having different properties by using two types of distance images DM will be described. In the following example, an example in which the update frequency of voxels arranged in the virtual space is changed according to which of the first distance image DM1 and the second distance image DM2 is input will be described. For convenience of description, voxels generated based on the first distance image DM1 will be referred to as human voxels, and voxels generated based on the second distance image DM2 will be referred to as background voxels.
具体的に、第２距離画像ＤＭ２については、距離画像取得部２１が仮想空間の初期化時に所定時間にわたって繰り返し取得することとし、仮想空間構築部２２は、これら複数の第２距離画像ＤＭ２に基づいて生成した背景ボクセルを仮想空間内に配置する。そして、次に初期化が行われるまでは、一度生成した背景ボクセルを更新せずにそのまま仮想空間内に存在させ続けることとする。 Specifically, the distance image acquisition unit 21 repeatedly acquires the second distance image DM2 for a predetermined time when the virtual space is initialized, and the virtual space construction unit 22 determines the second distance image DM2 based on the plurality of second distance images DM2. The generated background voxel is arranged in the virtual space. Then, until the next initialization is performed, the background voxel once generated is allowed to continue to exist in the virtual space as it is without being updated.
これに対して第１距離画像ＤＭ１については、ユーザーが仮想空間内の様子を閲覧している間、距離画像取得部２１が比較的短い時間間隔で繰り返し取得することとし、仮想空間構築部２２は、第１距離画像ＤＭ１が新たに取得されるつど、前回配置した人物ボクセルを仮想空間から消去し、新たに取得された第１距離画像ＤＭ１に基づいて人物ボクセルを生成し、仮想空間内に配置する。これにより、ユーザーの体を表す人物ボクセルについては実際のユーザーの動きに合わせてリアルタイムに更新しつつ、背景ボクセルを固定とすることで処理負荷を軽減することができる。 On the other hand, regarding the first distance image DM1, the distance image acquisition unit 21 is repeatedly acquired at relatively short time intervals while the user browses the state in the virtual space, and the virtual space construction unit 22 , Each time the first distance image DM1 is newly acquired, the previously placed person voxel is deleted from the virtual space, a person voxel is generated based on the newly acquired first distance image DM1, and the person voxel is placed in the virtual space. To do. As a result, the processing load can be reduced by fixing the background voxels while updating the person voxels representing the user's body in real time according to the actual movement of the user.
さらに、仮想空間構築部２２は、取得された距離画像ＤＭに基づいてボクセルを仮想空間内に配置する場合、全てのボクセルを一度に配置するのではなく、仮想空間内のボクセルが徐々に増えていくように各ボクセルの配置タイミングをずらしながら配置していってもよい。特に背景ボクセルを配置する際にこのような処理を適用することにより、徐々に仮想世界が構築されていくように演出することができる。この例における各ボクセルの配置タイミングの決定例について、以下に説明する。 Furthermore, when arranging voxels in the virtual space based on the acquired distance image DM, the virtual space construction unit 22 does not arrange all the voxels at once, but the voxels in the virtual space gradually increase. The voxels may be arranged while shifting the arrangement timing of each voxel. In particular, by applying such processing when arranging the background voxels, it is possible to produce a virtual world that is gradually constructed. An example of determining the arrangement timing of each voxel in this example will be described below.
例えば仮想空間構築部２２は、対応する距離画像ＤＭ内の単位領域の色に応じて、ボクセルの配置タイミングを決定してもよい。具体例として、仮想空間構築部２２は、距離画像ＤＭ内の複数の単位領域のうち、色成分値が所定の色範囲に属する単位領域について、対応するボクセルを配置する。この状態の仮想空間の様子が表示制御部２３によって表示装置１４に表示された後、仮想空間構築部２２は次の色範囲に属する単位領域について、対応するボクセルを配置する。このような処理を全ての色範囲について順次繰り返すことにより、仮想空間内に徐々にボクセルが配置されていく様子を表示できる。 For example, the virtual space construction unit 22 may determine the arrangement timing of voxels according to the color of the unit area in the corresponding distance image DM. As a specific example, the virtual space construction unit 22 arranges the corresponding voxels for the unit areas of the plurality of unit areas in the distance image DM whose color component values belong to a predetermined color range. After the state of the virtual space in this state is displayed on the display device 14 by the display control unit 23, the virtual space construction unit 22 arranges the corresponding voxels for the unit area belonging to the next color range. By sequentially repeating such processing for all color ranges, it is possible to display how voxels are gradually arranged in the virtual space.
また、仮想空間構築部２２は、ボクセルを配置する候補となる候補位置のそれぞれについて、当該候補位置に対応する現実空間内の位置に被写体部分が所定時間にわたって存在すると判定されたタイミングで、当該候補位置にボクセルを配置することとしてもよい。このような手法によれば、所定時間にわたって継続的に物体の存在が検出された位置から、順にボクセルが配置されていくことになる。この例における候補位置は、仮想空間内を格子状に分割して得られる位置である。仮想空間構築部２２は、これらの候補位置のそれぞれに対して、カウンタを設定する。そして、仮想空間の初期化時には、距離画像取得部２１が第２距離画像ＤＭ２を繰り返し取得し、取得するごとに仮想空間構築部２２は第２距離画像ＤＭ２に写っている物体が存在すると推定される仮想空間内の各候補位置について、その候補位置に設定されたカウンタの値をインクリメントする。その結果、カウンタの値が所定の閾値に達した場合、その候補位置に背景ボクセルを配置する。一方、あるタイミングで取得された第２距離画像ＤＭ２に基づいて物体が存在しないと推定された候補位置については、当該候補位置のカウンタの値をリセットする。これにより、一定時間にわたって物体が存在すると検出された位置から、順にボクセルを配置していくことができる。 Further, the virtual space construction unit 22 determines, for each candidate position that is a candidate for arranging a voxel, at the timing when it is determined that the subject portion exists at a position in the real space corresponding to the candidate position for a predetermined time. Voxels may be arranged at the positions. According to such a method, voxels are sequentially arranged from the position where the presence of the object is continuously detected for a predetermined time. The candidate position in this example is a position obtained by dividing the virtual space into a grid pattern. The virtual space construction unit 22 sets a counter for each of these candidate positions. Then, at the time of initialization of the virtual space, the distance image acquisition unit 21 repeatedly acquires the second distance image DM2, and each time the virtual space construction unit 22 acquires, it is estimated that the object shown in the second distance image DM2 exists. For each candidate position in the virtual space, the counter value set at that candidate position is incremented. As a result, when the value of the counter reaches a predetermined threshold value, the background voxel is arranged at the candidate position. On the other hand, for a candidate position in which it is estimated that the object does not exist based on the second distance image DM2 acquired at a certain timing, the value of the candidate position counter is reset. As a result, voxels can be arranged in order from the position where it is detected that the object exists for a certain period of time.
このような手法によれば、ノイズや誤検出を回避して物体が確かに存在すると判定される候補位置にボクセルを配置することができる。しかも、カウンタの値が閾値に到達するタイミングは、仮想空間内の候補位置ごとにずれると想定されるため、同じ条件で各候補位置にボクセルを配置するにもかかわらず、ボクセルが仮想空間内に配置されるタイミングをずらすことができる。図４は、このような手法によりボクセルが時間とともに徐々に仮想空間内に配置されていく様子の一例を示している。 According to such a method, it is possible to arrange a voxel at a candidate position where it is determined that an object surely exists while avoiding noise and erroneous detection. Moreover, it is assumed that the timing at which the value of the counter reaches the threshold value shifts for each candidate position in the virtual space, so even though voxels are arranged at each candidate position under the same conditions, the voxel remains in the virtual space. The arrangement timing can be shifted. FIG. 4 shows an example of how voxels are gradually arranged in the virtual space with time by such a method.
ここで、以上説明したようにカウンタを用いて徐々に背景ボクセルを仮想空間内に配置し、その後人物ボクセルをリアルタイムで生成、配置していく場合に情報処理装置１が実行する処理の流れの一例について、図５Ａ及び図５Ｂのフロー図を用いて説明する。 Here, as described above, an example of the flow of processing executed by the information processing device 1 when the background voxels are gradually arranged in the virtual space using the counter, and then the human voxels are generated and arranged in real time Will be described with reference to the flowcharts of FIGS. 5A and 5B.
まず、仮想空間構築部２２が、仮想空間の初期化処理を実行する（Ｓ１）。この初期化処理では、仮想空間内に存在する全てのボクセルが消去され、仮想空間内のボクセルが配置される可能性がある全ての候補位置に対して、初期値０でカウンタが設定される。 First, the virtual space construction unit 22 executes virtual space initialization processing (S1). In this initialization processing, all voxels existing in the virtual space are erased, and counters are set with an initial value 0 for all candidate positions in which the voxels in the virtual space may be arranged.
続いて距離画像取得部２１が、その時点での第２ステレオカメラ１６の撮像画像を用いて生成された第２距離画像ＤＭ２を取得する（Ｓ２）。仮想空間構築部２２は、Ｓ３で取得された第２距離画像ＤＭ２内の注目する単位領域について、当該単位領域に写っている被写体部分の現実空間内における位置を特定し（Ｓ３）、対応する仮想空間内の候補位置に設定されたカウンタの値をインクリメントする（Ｓ４）。仮想空間構築部２２は、この段階でインクリメントされたカウンタの値が所定の閾値以上になったか判定し（Ｓ５）、閾値以上になった場合にはその候補位置に背景ボクセルを配置する（Ｓ６）。Ｓ３〜Ｓ６の処理を全ての単位領域について実行すると、次に仮想空間構築部２２は、この一連のループ中にＳ４でカウンタの値がインクリメントされなかった候補位置について、そのカウンタの値を０にリセットする（Ｓ７）。 Subsequently, the distance image acquisition unit 21 acquires the second distance image DM2 generated using the captured image of the second stereo camera 16 at that time (S2). The virtual space construction unit 22 specifies the position in the real space of the subject portion reflected in the unit area of interest in the second distance image DM2 acquired in S3 (S3), and the corresponding virtual area is identified. The value of the counter set at the candidate position in the space is incremented (S4). The virtual space construction unit 22 determines whether the value of the counter incremented at this stage is equal to or larger than a predetermined threshold value (S5), and if the value is equal to or larger than the threshold value, arranges the background voxel at the candidate position (S6). .. When the processes of S3 to S6 are executed for all the unit areas, the virtual space construction unit 22 next sets the value of the counter to 0 for the candidate position whose counter value was not incremented in S4 during this series of loops. It is reset (S7).
その後、仮想空間構築部２２は、その時点での第２ステレオカメラ１６の位置及び向きに基づいて、仮想空間内の視点位置及び視線方向を更新する（Ｓ８）。そして表示制御部２３が、Ｓ８で更新された視点位置から視線方向に向けて仮想空間を見た様子を示す空間画像を描画し、表示装置１４に表示させる（Ｓ９）。 After that, the virtual space construction unit 22 updates the viewpoint position and the line-of-sight direction in the virtual space based on the position and orientation of the second stereo camera 16 at that time (S8). Then, the display control unit 23 draws a spatial image showing how the virtual space is viewed from the viewpoint position updated in S8 in the line-of-sight direction, and causes the display device 14 to display the spatial image (S9).
次に仮想空間構築部２２は、初期化が行われた後、所定の時間が経過したか判定する（Ｓ１０）。所定時間が経過していなければ、Ｓ２に戻って新たな第２距離画像ＤＭ２に基づく背景ボクセルの配置処理が実行される。所定時間が経過すると、背景ボクセルの配置処理は終了し、次の処理が実行される。 Next, the virtual space construction unit 22 determines whether a predetermined time has passed after the initialization (S10). If the predetermined time has not elapsed, the process returns to S2 and the background voxel arranging process based on the new second distance image DM2 is executed. After a lapse of a predetermined time, the background voxel arrangement processing ends, and the next processing is executed.
背景ボクセルの配置処理が終了すると、それ以降、Ｓ６で配置された背景ボクセルは更新されなくなる。次に仮想空間構築部２２は、その時点で仮想空間内に配置されている全ての人物ボクセルを消去する（Ｓ１１）。そして、今度は距離画像取得部２１が第１距離画像ＤＭ１を取得する（Ｓ１２）。仮想空間構築部２２は、Ｓ１２で取得した第１距離画像ＤＭ１内の各単位領域に写っている被写体部分の現実空間内における位置を特定し（Ｓ１３）、対応する仮想空間内の候補位置に人物ボクセルを配置する（Ｓ１４）。 When the background voxel placement processing is completed, the background voxels placed in S6 are not updated thereafter. Next, the virtual space construction unit 22 erases all the person voxels arranged in the virtual space at that time (S11). Then, this time, the distance image acquisition unit 21 acquires the first distance image DM1 (S12). The virtual space construction unit 22 specifies the position in the real space of the subject portion shown in each unit area in the first distance image DM1 acquired in S12 (S13), and the person is set as the candidate position in the corresponding virtual space. Voxels are arranged (S14).
その後、仮想空間構築部２２は、その時点での第２ステレオカメラ１６の位置及び向きに基づいて、仮想空間内の視点位置及び視線方向を更新する（Ｓ１５）。そして表示制御部２３が、Ｓ１５で更新された視点位置から視線方向に向けて仮想空間を見た様子を示す空間画像を描画し、表示装置１４に表示させる（Ｓ１６）。その後、処理の終了がユーザーから指示されるまで、Ｓ１１に戻って人物ボクセルの更新処理が繰り返し実行される。 After that, the virtual space construction unit 22 updates the viewpoint position and the line-of-sight direction in the virtual space based on the position and orientation of the second stereo camera 16 at that time (S15). Then, the display control unit 23 draws a spatial image showing how the virtual space is viewed from the viewpoint position updated in S15 in the line-of-sight direction, and causes the display device 14 to display the spatial image (S16). After that, the process returns to S11 and the updating process of the person voxel is repeatedly executed until the end of the process is instructed by the user.
このように第１距離画像ＤＭ１に基づいて配置される人物ボクセルと第２距離画像ＤＭ２に基づいて配置される背景ボクセルとで更新タイミングや更新頻度を変化させることで、ユーザーについてはリアルタイムでその動きを仮想空間に反映させつつ、それほど変化しないと想定されるユーザー周囲の物体については更新頻度を抑えて処理負荷を軽減することができる。また、第２ステレオカメラ１６の撮影位置はユーザーの動きとともに変化するため、第２距離画像ＤＭ２に基づいて配置される背景ボクセルを消去せずに仮想空間内に残し続けることで、一度に第２ステレオカメラ１６で撮影可能な範囲を超える広い範囲から得られた背景ボクセルを仮想空間内に配置することができる。 In this way, by changing the update timing and the update frequency between the person voxel arranged based on the first distance image DM1 and the background voxel arranged based on the second distance image DM2, the movement of the user in real time can be changed. While reflecting in the virtual space, it is possible to reduce the processing load by suppressing the update frequency for the objects around the user, which are assumed not to change so much. In addition, since the shooting position of the second stereo camera 16 changes with the movement of the user, the background voxels arranged based on the second distance image DM2 are not erased but left in the virtual space, so that the second stereoscopic image is displayed at once. Background voxels obtained from a wide range beyond the range that can be captured by the stereo camera 16 can be arranged in the virtual space.
なお、上記の例では背景ボクセルが一度配置されるとその後一切消去されないこととしたが、その後も人物ボクセルの更新処理よりも低い更新頻度で背景ボクセルに対応する被写体部分の存在をチェックし、被写体部分の存在が検出されなくなった候補位置に配置されている背景ボクセルは消去することとしてもよい。これにより、ユーザーの周囲に存在する動きのある物体が背景ボクセルとして固定され続けることを回避できる。 In the above example, once the background voxels are placed once, they are not deleted at all, but even after that, the existence of the subject part corresponding to the background voxels is checked at a lower update frequency than the updating process of the person voxels, The background voxels arranged at the candidate positions where the existence of the part is no longer detected may be deleted. As a result, it is possible to prevent a moving object existing around the user from being fixed as a background voxel.
なお、背景ボクセルの消去は、第２距離画像ＤＭ２に基づいて実行するのではなく、これとは別の固定位置に配置されたステレオカメラによって得られる別の距離画像に基づいて実行してもよい。この場合、第２距離画像ＤＭ２により検出された被写体部分の存在を、固定位置に配置されたステレオカメラから得られる画像を用いてモニタし、その被写体部分に動きがあるか否かを判定する。そして、動きがあればその被写体部分の更新頻度を上げることとする。固定位置に配置されたステレオカメラを用いることで、被写体部分に動きがあるか否かを第２ステレオカメラ１６よりも精度よく判定することが期待できる。 It should be noted that the background voxel may be deleted not based on the second distance image DM2 but based on another distance image obtained by a stereo camera arranged at a fixed position different from the second distance image DM2. .. In this case, the presence of the subject portion detected by the second distance image DM2 is monitored using an image obtained from a stereo camera arranged at a fixed position, and it is determined whether or not the subject portion moves. If there is movement, the frequency of updating the subject portion is increased. By using the stereo camera arranged at the fixed position, it can be expected that whether or not there is a motion in the subject portion can be determined more accurately than the second stereo camera 16.
また、仮想空間構築部２２は、現実空間に存在する被写体部分に対応するボクセルを、現実空間における位置とは異なる位置に配置してもよい。例えば、ユーザーの周囲の予め定められた一部の空間領域内に存在する被写体部分については、その被写体部分に対応するボクセルを、仮想空間内における離れた空間領域に配置することとする。この場合、仮想空間構築部２２は、ボクセルの配置位置を決定する際に、その現実空間内における位置座標を予め定められた変換行列によって変換することで、ボクセルの位置座標を決定する。このような制御によれば、例えばユーザーが現実空間内の所定領域に自分の手を進入させた場合に、その所定領域内の手が別の場所にワープするかのような演出を実現できる。図６は、このような例において仮想空間構築部２２が構築する仮想空間の様子を模式的に示した図である。また、空間画像を描画する際の基準となる視点位置についても、同様の手法でユーザーの現実の目の位置とは異なる位置に配置させてもよい。 Further, the virtual space construction unit 22 may arrange the voxels corresponding to the subject portion existing in the real space at a position different from the position in the real space. For example, for a subject part existing in a predetermined partial space region around the user, voxels corresponding to the subject part are arranged in distant space regions in the virtual space. In this case, when determining the placement position of the voxel, the virtual space construction unit 22 determines the position coordinate of the voxel by converting the position coordinate in the real space by a predetermined transformation matrix. According to such control, for example, when the user puts his or her hand into a predetermined area in the physical space, it is possible to realize an effect as if the hand in the predetermined area warps to another place. FIG. 6 is a diagram schematically showing a state of the virtual space constructed by the virtual space construction unit 22 in such an example. Further, the viewpoint position serving as a reference when drawing the spatial image may be arranged at a position different from the actual eye position of the user by the same method.
なお、この例においても、位置を変化させるボクセルを、２種類のボクセルのうちの一方に限定してもよい。具体的に、仮想空間構築部２２は、第２距離画像ＤＭ２に写っている物体については、所定領域内に存在すると算定された場合であってもそのままの位置に対応する背景ボクセルを配置する。一方、第１距離画像ＤＭ１に写っている物体については、所定領域内に存在すると算定された場合、所定のルールに従って変換された位置に人物ボクセルを配置する。 Also in this example, the voxel whose position is changed may be limited to one of the two types of voxels. Specifically, the virtual space construction unit 22 arranges the background voxels corresponding to the positions of the objects shown in the second distance image DM2, even if it is calculated that they exist within the predetermined area. On the other hand, with respect to the object shown in the first distance image DM1, when it is calculated that the object exists in the predetermined area, the person voxel is arranged at the position converted according to the predetermined rule.
また、以上の説明では、仮想空間構築部２２は、距離画像ＤＭに写っている被写体部分に対応するボクセルだけを仮想空間内に配置することとした。そのため、ステレオカメラの撮影位置から見えない死角の領域に存在する物体については、対応するボクセルを仮想空間内に配置することはできない。そこで仮想空間構築部２２は、距離画像ＤＭから検出された被写体部分の位置、及び配列に基づいて、そこに写っている被写体が何なのかを推定し、推定結果に基づいて被写体を表すボクセルを配置してもよい。このような手法によれば、被写体の一部が他の物体の影に隠れているなどの場合に、その影に隠れた部分を表すボクセルも仮想空間内に配置することができる。 Further, in the above description, the virtual space construction unit 22 arranges only the voxels corresponding to the subject portion shown in the distance image DM in the virtual space. Therefore, for an object existing in a blind spot area that cannot be seen from the shooting position of the stereo camera, the corresponding voxel cannot be placed in the virtual space. Therefore, the virtual space construction unit 22 estimates what the subject in the image is based on the position and the arrangement of the subject portion detected from the distance image DM, and determines the voxels representing the subject based on the estimation result. You may arrange. According to such a method, when a part of the subject is hidden by the shadow of another object, the voxels representing the part hidden by the shadow can be arranged in the virtual space.
具体例として、第２ステレオカメラ１６から見て椅子の上部だけが机の上に現れており、椅子の下部は机の影に隠れているものとする。この場合、仮想空間構築部２２は、予め用意された推定器を用いて、机の上に現れている被写体部分からその物体が椅子であると推定する。このような推定ができれば、標準的な形状の椅子を表すボクセルを対応する位置に配置することで、机の影に隠れた部分にもボクセルを配置することができる。この例における推定器は、公知の機械学習技術によって生成することができる。 As a specific example, it is assumed that only the upper part of the chair appears on the desk when viewed from the second stereo camera 16, and the lower part of the chair is hidden by the shadow of the desk. In this case, the virtual space construction unit 22 estimates that the object is a chair from the subject portion appearing on the desk, using an estimator prepared in advance. If such an estimation is possible, by arranging a voxel representing a chair having a standard shape at a corresponding position, the voxel can be arranged even in a portion hidden by the shadow of the desk. The estimator in this example can be generated by a known machine learning technique.
また、仮想空間構築部２２は、上述したような推定器を用いて、第１距離画像ＤＭ１に写っている被写体の中から、ユーザーと背景とを識別してもよい。このような識別ができれば、第１距離画像ＤＭ１に基づいて配置するボクセルを全てリアルタイムで更新する人物ボクセルとするのではなく、ユーザーを表すと推定されたボクセルのみを人物ボクセルとし、それ以外のボクセルは背景ボクセルとして仮想空間内に固定してもよい。 Further, the virtual space construction unit 22 may identify the user and the background from the subjects included in the first distance image DM1 using the estimator as described above. If such identification is possible, all voxels arranged based on the first distance image DM1 are not set as person voxels that are updated in real time, but only voxels estimated to represent the user are set as person voxels and other voxels are set. May be fixed in the virtual space as a background voxel.
さらに、以上説明した被写体部分から物体を推定する技術を適用する場合、仮想空間構築部２２は、ステレオカメラの撮影位置から見てより遠くに存在する被写体部分を優先的に物体推定の対象とし、推定された物体を表すボクセルを、手前側の物体を表すボクセルよりも先に仮想空間内に配置することとしてもよい。前述した椅子と机の例では、机の影に隠れた部分も含めた椅子の全体を表すボクセルを、机を表すボクセルよりも先に仮想空間内に配置し、その様子を示す空間画像が表示されてから、机を表すボクセルを仮想空間内に配置する。このような制御によれば、ユーザーは物体の前後関係や隠れて見えない部分を把握しやすくなる。 Furthermore, when applying the above-described technique of estimating an object from a subject portion, the virtual space construction unit 22 preferentially sets a subject portion that exists farther from the shooting position of the stereo camera as an object estimation target, The voxel representing the estimated object may be arranged in the virtual space before the voxel representing the object on the near side. In the example of the chair and desk described above, the voxels that represent the entire chair, including the parts hidden in the shadow of the desk, are placed in the virtual space before the voxels that represent the desk, and a spatial image showing that state is displayed. Then, the voxel representing the desk is placed in the virtual space. According to such control, the user can easily understand the front-back relation of the object and the hidden and invisible portion.
なお、本発明の実施の形態は以上説明したものに限られない。例えば、以上の説明ではユーザーの前方に固定した第１ステレオカメラ１５、及び表示装置１４に固定された第２ステレオカメラ１６によって距離画像ＤＭを取得することとしたが、ユーザーの後方や天井など、これ以外の場所に設置したステレオカメラを用いて取得した距離画像ＤＭに基づいてボクセルを配置してもよい。また、表示装置１４に対しても、ユーザーの前方だけでなく、ユーザーの側方や後方などを撮影範囲とする別のステレオカメラを配置してもよい。これにより、ユーザーが自分の周囲を見渡す動きをせずとも、ユーザーの周囲の広い範囲に存在する物体の情報を一度に取得することができる。 The embodiments of the present invention are not limited to those described above. For example, in the above description, the distance image DM is acquired by the first stereo camera 15 fixed to the front of the user and the second stereo camera 16 fixed to the display device 14, but the rear or ceiling of the user, etc. You may arrange | position voxels based on the distance image DM acquired using the stereo camera installed in the place other than this. Further, not only in front of the user but also in the side or rear of the user, another stereo camera having a shooting range may be arranged for the display device 14. As a result, it is possible to obtain the information of objects existing in a wide range around the user at a time without the user having to look around himself.
また、以上の説明では第２ステレオカメラ１６は表示装置１４に固定されていることとしたが、第２ステレオカメラ１６は表示装置１４に固定されておらずともよく、またユーザーの頭部の動きに連動して撮影方向を変化させなくともよい。例えばユーザーが第２ステレオカメラ１６を手で持って動かすことにより、情報処理装置１はユーザーの周囲に存在する物体の情報を取得することができる。さらにこの場合、表示装置１４はユーザーが頭部に装着するタイプのものでなくともよく、据え置き型の表示装置などであってもよい。 Further, although the second stereo camera 16 is fixed to the display device 14 in the above description, the second stereo camera 16 may not be fixed to the display device 14 and the movement of the user's head may be changed. It is not necessary to change the shooting direction in conjunction with. For example, when the user holds and moves the second stereo camera 16 with his / her hand, the information processing apparatus 1 can acquire information on objects existing around the user. Further, in this case, the display device 14 does not have to be of a type worn on the head by the user, and may be a stationary display device or the like.
また、以上の説明では情報処理装置１はユーザーの近くに存在し、各ステレオカメラや表示装置１４と直接接続されるものとしたが、情報処理装置１はユーザーと離れた位置に設置され、通信ネットワークを介して各ステレオカメラや表示装置１４と接続されることとしてもよい。 Further, in the above description, the information processing device 1 exists near the user and is directly connected to each stereo camera and the display device 14. However, the information processing device 1 is installed at a position away from the user, and communication is performed. It may be connected to each stereo camera or the display device 14 via a network.
また、情報処理装置１は通信ネットワークを介してクライアント装置と接続されるサーバ装置であってもよい。この場合、クライアント装置がステレオカメラや表示装置１４と接続され、これらの入出力装置と情報処理装置１との間の情報の授受を中継する。また、以上の説明では情報処理装置１自身がステレオカメラの撮影画像を用いて距離画像ＤＭを生成することとしたが、情報処理装置１はクライアント装置が生成した距離画像ＤＭをネットワーク経由で受信することにより取得してもよい。 Further, the information processing device 1 may be a server device connected to a client device via a communication network. In this case, the client device is connected to the stereo camera or the display device 14 and relays the exchange of information between these input / output devices and the information processing device 1. Further, in the above description, the information processing apparatus 1 itself generated the distance image DM using the image captured by the stereo camera, but the information processing apparatus 1 receives the distance image DM generated by the client apparatus via the network. It may be acquired by
また、情報処理装置１は、複数のクライアント装置と接続されてもよい。例えばこの場合、１台のクライアント装置が第１ステレオカメラ１５と接続され、第１距離画像ＤＭを生成して情報処理装置１に送信する。一方、別のクライアント装置は第２ステレオカメラ１６、及び表示装置１４と接続され、第２距離画像ＤＭを生成して情報処理装置１に送信するとともに、情報処理装置１からの指示に応じて空間画像を表示装置１４に表示させる。 Further, the information processing device 1 may be connected to a plurality of client devices. For example, in this case, one client device is connected to the first stereo camera 15 and generates the first distance image DM and transmits it to the information processing device 1. On the other hand, another client device is connected to the second stereo camera 16 and the display device 14, generates the second distance image DM and transmits the second distance image DM to the information processing device 1, and at the same time, transmits a space according to an instruction from the information processing device 1. The image is displayed on the display device 14.
また、以上の説明では情報処理装置１の表示制御部２３が空間画像の描画を行うこととしたが、これに限らず表示装置１４と接続されるクライアント装置が空間画像を描画してもよい。この場合、情報処理装置１から送信される仮想空間内のボクセルの情報をクライアント装置が受信し、受信した情報を用いて空間画像を描画し、表示装置１４に表示させる。 In the above description, the display control unit 23 of the information processing device 1 draws the spatial image, but the present invention is not limited to this, and the client device connected to the display device 14 may draw the spatial image. In this case, the client device receives the voxel information in the virtual space transmitted from the information processing device 1, draws a spatial image using the received information, and displays it on the display device 14.
また、ステレオカメラと表示装置１４とは別の場所に設置されてもよい。これにより、例えばあるユーザーがいる部屋の様子や当該ユーザーの動きを、別の場所にいる別のユーザーに閲覧させることができる。 Further, the stereo camera and the display device 14 may be installed in different places. Thereby, for example, the state of the room in which a certain user exists and the movement of the user can be viewed by another user in another place.
また、以上の説明では距離画像ＤＭは、ステレオカメラによって得られる複数の撮影画像を用いて生成されるものとした。しかしながらこれに限らず、距離画像ＤＭは、その内部の単位領域ごとに被写体までの距離Ｄの情報を含むものであれば、どのような方式で生成されたものであってもよい。具体的に情報処理装置１は、例えばＴＯＦ方式などで生成された距離画像ＤＭを用いて仮想空間を構築してもよい。 Further, in the above description, the distance image DM is assumed to be generated using a plurality of captured images obtained by the stereo camera. However, the present invention is not limited to this, and the distance image DM may be generated by any method as long as the distance image DM includes information on the distance D to the subject for each internal unit area. Specifically, the information processing device 1 may construct a virtual space by using the distance image DM generated by, for example, the TOF method.
１ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、１４ 表示装置、１５ 第１ステレオカメラ、１６ 第２ステレオカメラ、２１ 距離画像取得部、２２ 仮想空間構築部、２３ 表示制御部。 DESCRIPTION OF SYMBOLS 1 Information processing apparatus, 11 Control part, 12 Storage part, 13 Interface part, 14 Display device, 15 1st stereo camera, 16 2nd stereo camera, 21 Distance image acquisition part, 22 Virtual space construction part, 23 Display control part.
Claims (5)
前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に応じて決まる位置に複数の単位体積要素を配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部と、
を含み、
前記仮想空間構築部は、前記第１距離画像に応じて配置される単位体積要素については、一度配置した後は更新せず、前記第２距離画像に応じて配置される単位体積要素については、所定時間おきに新たに取得される前記第２距離画像に基づいて更新する
ことを特徴とする情報処理装置。 A distance image obtained by observing a physical space in which one or a plurality of subjects are present by the first device arranged at the first observation point, which is reflected in each of a plurality of unit areas in the distance image. A first distance image including information on a distance to the object portion from the first observation point and a second distance different from the first device arranged at a second observation point different from the first observation point. A distance image obtained by observing the real space with the device of No. 1, including the information of the distance from the second observation point to the object part captured in each of the plurality of unit areas in the distance image. A distance image acquisition unit that acquires a 2 distance image,
Virtual space construction for constructing a virtual space representing the subject by arranging a plurality of unit volume elements at positions determined in accordance with distance information included in each of the first distance image and the second distance image. Department,
Only including,
The virtual space construction unit does not update the unit volume element arranged according to the first distance image after once arranged, and the unit volume element arranged according to the second distance image, An information processing apparatus, which updates based on the second distance image newly acquired at predetermined time intervals .
前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に応じて決まる位置に複数の単位体積要素を配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部と、
を含み、
前記仮想空間構築部は、前記単位体積要素を配置する候補となる前記仮想空間内の候補位置のそれぞれについて、当該候補位置に対応する現実空間内の位置に被写体部分が所定時間にわたって存在すると判定されたタイミングで、当該候補位置に単位体積要素を配置する
ことを特徴とする情報処理装置。 A distance image obtained by observing a physical space in which one or a plurality of subjects are present by the first device arranged at the first observation point, which is reflected in each of a plurality of unit areas in the distance image. A first distance image including information on a distance to the object portion from the first observation point and a second distance different from the first device arranged at a second observation point different from the first observation point. A distance image obtained by observing the real space with the device of No. 1, including the information of the distance from the second observation point to the object part captured in each of the plurality of unit areas in the distance image. A distance image acquisition unit that acquires a 2 distance image,
Virtual space construction for constructing a virtual space representing the subject by arranging a plurality of unit volume elements at positions determined in accordance with distance information included in each of the first distance image and the second distance image. Department,
Including,
For each of the candidate positions in the virtual space that are candidates for arranging the unit volume element, the virtual space construction unit determines that a subject portion exists at a position in the real space corresponding to the candidate position for a predetermined time. An information processing device, wherein a unit volume element is arranged at the candidate position at a predetermined timing.
前記第１距離画像は、前記被写体としてユーザーを含み、現実空間内に固定された前記第１観測点からの距離の情報を含む画像であって、
前記第２距離画像は、前記ユーザーに対して固定され、当該ユーザーの動きに連動して動く前記第２観測点からの距離の情報を含む画像である
ことを特徴とする情報処理装置。 The information processing apparatus according to claim 1 or 2 ,
The first distance image is an image including a user as the subject and including information on a distance from the first observation point fixed in the physical space,
The information processing apparatus, wherein the second distance image is an image that is fixed to the user and includes information on a distance from the second observation point that moves in association with the movement of the user.
前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に応じて決まる位置に複数の単位体積要素を配置することによって、前記被写体を表現する仮想空間を構築するステップと、
を含み、
前記仮想空間を構築するステップにおいて、前記第１距離画像に応じて配置される単位体積要素については、一度配置した後は更新せず、前記第２距離画像に応じて配置される単位体積要素については、所定時間おきに新たに取得される前記第２距離画像に基づいて更新する、
又は、
前記仮想空間を構築するステップにおいて、前記単位体積要素を配置する候補となる前記仮想空間内の候補位置のそれぞれについて、当該候補位置に対応する現実空間内の位置に被写体部分が所定時間にわたって存在すると判定されたタイミングで、当該候補位置に単位体積要素を配置する、
ことを特徴とする情報処理方法。 A distance image obtained by observing a physical space in which one or a plurality of subjects are present by the first device arranged at the first observation point, which is reflected in each of a plurality of unit areas in the distance image. A first distance image including information on a distance to the object portion from the first observation point and a second distance different from the first device arranged at a second observation point different from the first observation point. A distance image obtained by observing the real space with the device of No. 1, including the information of the distance from the second observation point to the object part captured in each of the plurality of unit areas in the distance image. Acquiring a two-distance image,
Constructing a virtual space representing the subject by arranging a plurality of unit volume elements at positions determined according to distance information contained in each of the first distance image and the second distance image,
Only including,
In the step of constructing the virtual space, the unit volume elements arranged according to the first distance image are not updated after being arranged once, and the unit volume elements arranged according to the second distance image are arranged. Is updated based on the second distance image newly acquired at predetermined time intervals,
Or
In the step of constructing the virtual space, for each candidate position in the virtual space that is a candidate for arranging the unit volume element, if a subject portion exists at a position in the real space corresponding to the candidate position for a predetermined time. The unit volume element is arranged at the candidate position at the determined timing,
An information processing method characterized by the above.
前記第１距離画像、及び前記第２距離画像のそれぞれに含まれる距離の情報に応じて決まる位置に複数の単位体積要素を配置することによって、前記被写体を表現する仮想空間を構築する仮想空間構築部、
としてコンピュータを機能させるためのプログラムであって、
前記仮想空間構築部は、前記第１距離画像に応じて配置される単位体積要素については、一度配置した後は更新せず、前記第２距離画像に応じて配置される単位体積要素については、所定時間おきに新たに取得される前記第２距離画像に基づいて更新する、
又は、
前記仮想空間構築部は、前記単位体積要素を配置する候補となる前記仮想空間内の候補位置のそれぞれについて、当該候補位置に対応する現実空間内の位置に被写体部分が所定時間にわたって存在すると判定されたタイミングで、当該候補位置に単位体積要素を配置する、
プログラム。 A distance image obtained by observing a physical space in which one or a plurality of subjects are present by the first device arranged at the first observation point, which is reflected in each of a plurality of unit areas in the distance image. A first distance image including information on a distance to the object portion from the first observation point and a second distance different from the first device arranged at a second observation point different from the first observation point. A distance image obtained by observing the real space with the device of No. 1, including the information of the distance from the second observation point to the object part captured in each of the plurality of unit areas in the distance image. A distance image acquisition unit that acquires a two distance image, and
Virtual space construction for constructing a virtual space representing the subject by arranging a plurality of unit volume elements at positions determined in accordance with distance information included in each of the first distance image and the second distance image. Department,
A program for causing a computer to function as,
The virtual space construction unit does not update the unit volume element arranged according to the first distance image after once arranged, and the unit volume element arranged according to the second distance image, Updating based on the second distance image newly acquired at predetermined time intervals,
Or
For each of the candidate positions in the virtual space that are candidates for arranging the unit volume element, the virtual space construction unit determines that a subject portion exists at a position in the real space corresponding to the candidate position for a predetermined time. Arrange the unit volume element at the candidate position at
Program .
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016194092 | 2016-09-30 | ||
| JP2016194092 | 2016-09-30 | ||
| PCT/JP2017/034907 WO2018062251A1 (en) | 2016-09-30 | 2017-09-27 | Information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018062251A1 JPWO2018062251A1 (en) | 2019-06-24 |
| JP6694514B2 true JP6694514B2 (en) | 2020-05-13 |
Family
ID=61762792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018542629A Active JP6694514B2 (en) | 2016-09-30 | 2017-09-27 | Information processing equipment |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6694514B2 (en) |
| WO (1) | WO2018062251A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020049619A1 (en) * | 2018-09-03 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device, information processing method, and program |
| JP7406350B2 (en) * | 2019-11-15 | 2023-12-27 | 日本信号株式会社 | Object detection device and object detection program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011095858A (en) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | Three-dimensional digitizer |
| US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
| US8570320B2 (en) * | 2011-01-31 | 2013-10-29 | Microsoft Corporation | Using a three-dimensional environment model in gameplay |
-
2017
- 2017-09-27 JP JP2018542629A patent/JP6694514B2/en active Active
- 2017-09-27 WO PCT/JP2017/034907 patent/WO2018062251A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018062251A1 (en) | 2018-04-05 |
| JPWO2018062251A1 (en) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7349793B2 (en) | Image processing device, image processing method, and program | |
| JP7523615B2 (en) | Augmented reality display device and augmented reality display method | |
| US20160307374A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
| JP7423683B2 (en) | image display system | |
| US10600253B2 (en) | Information processing apparatus, information processing method, and program | |
| US10360444B2 (en) | Image processing apparatus, method and storage medium | |
| CN106062821A (en) | Sensor-based camera motion detection for unconstrained slam | |
| JP5762600B1 (en) | Information processing apparatus and information processing method | |
| JP7182976B2 (en) | Information processing device, information processing method, and program | |
| US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
| TWI821220B (en) | Apparatus and method of image capture | |
| WO2018216602A1 (en) | Information processing device, information processing method, and program | |
| JP2022522504A (en) | Image depth map processing | |
| JP6694514B2 (en) | Information processing equipment | |
| JP6695997B2 (en) | Information processing equipment | |
| CN112774183A (en) | Viewing system, model configuration device, control method, and recording medium | |
| JP6775669B2 (en) | Information processing device | |
| JP6739539B2 (en) | Information processing equipment | |
| US20200211275A1 (en) | Information processing device, information processing method, and recording medium | |
| JP7341736B2 (en) | Information processing device, information processing method and program | |
| KR102287939B1 (en) | Apparatus and method for rendering 3dimensional image using video | |
| US10798360B2 (en) | Information processing system, method for controlling same, and program | |
| JP7044846B2 (en) | Information processing equipment | |
| US20240275935A1 (en) | Image display system and image display method | |
| US20240233269A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190110 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200417 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6694514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |