[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112912936A - 混合现实系统、程序、移动终端装置和方法 - Google Patents

混合现实系统、程序、移动终端装置和方法 Download PDF

Info

Publication number
CN112912936A
CN112912936A CN201980069925.2A CN201980069925A CN112912936A CN 112912936 A CN112912936 A CN 112912936A CN 201980069925 A CN201980069925 A CN 201980069925A CN 112912936 A CN112912936 A CN 112912936A
Authority
CN
China
Prior art keywords
feature point
virtual
real space
mixed reality
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980069925.2A
Other languages
English (en)
Inventor
仓林修一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Publication of CN112912936A publication Critical patent/CN112912936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供使用户能在诸如室外空间等的相对宽阔的空间中体验与场所相对应的MR的混合现实系统。本发明是用于在显示器上显示混合现实图像的混合现实系统，混合现实系统包括具有向存在于规定真实空间中的用户显示虚拟物体的显示器和拍摄真实空间的拍摄装置的移动终端装置。混合现实系统包括布置在规定真实空间中的多个特征点集合。移动终端装置识别拍摄装置拍摄的各特征点集合，基于各特征点集合的布置位置姿势信息和移动终端装置相对于各特征点集合的相对位置姿势信息，确定与真实空间中拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，并且生成根据视点位置的虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。

Description

混合现实系统、程序、移动终端装置和方法
技术领域
本发明涉及一种混合现实系统等，特别涉及使得存在于规定真实空间中的用户能够体验混合现实的混合现实系统等。
背景技术
近来，已知用于实时无缝地将真实世界与虚拟世界融合的混合现实(MR)技术。MR技术使得正在体验MR技术的用户能够具有如同虚拟物体存在于该场所那样的体验。关于MR技术，已经开发了用于以高精确度执行MR本身使得在不对用户造成不适的情况下显示虚拟空间中的物体的技术。例如，专利文献1公开了一种能够实时识别混合现实环境中的真实空间环境的系统。
{引文列表}
{专利文献}
{专利文献1}
日本特开2017-227975
{非专利文献1}
Francisco J.Romero-Ramirez，Rafael Munoz-Salinas，Rafael Medina-Carnicer，“Speeded up detection of squared fiducial markers”，Image and VisionComputing，第76卷，2018年，第38-47页，ISSN 0262-8856，DOI：10.1016/j.imavis.2018.05.004。
{非专利文献2}
David G Lowe，“Distinctive Image Features from Scale-InvariantKeypoints”，International Journal of Computer Vision，第50卷，第2期，2004年，第91-110页。
{非专利文献3}
Ethan Rublee，Vincent Rabaud，Kurt Konolige和Gary Bradski，“ORB:andefficient alternative to SIFT or SURF”，IEEE International Conference onComputer Vision，2011。
{非专利文献4}
Genshiro Kitagawa，“Monte Carlo Filter and Smoother for Non-GaussianNonlinear State Space Models”，Journal of Computational and GraphicalStatistics，第5卷，第1期(1996年3月)，第1-25页。
{非专利文献5}
Shuichi Kurabayashi，Hidetoshi Ishiyama和Masaru Kanai，“Sensing ByOverlaying:a Practical Implementation of a Multiplayer Mixed-Reality GamingSystem by Integrating a Dense Point Cloud and a Real-Time Camera”，在2016IEEEInternational Symposium on Multimedia(ISM)的会议记录中，第636-639页，San Jose，CA，DOI:10.1109/ISM.2016.0136，(2016)。
发明内容
发明要解决的问题
常规地，MR技术的对象是传感器观测范围内的真实空间，并且难以在宽阔的空间中实现MR。例如，在室外空间，难以实现虚拟巨型机器人在建筑物之间飞行的MR。
本发明是为了解决上述问题而作出的，其主要目的是提供一种使得用户能够在诸如室外空间等的相对宽阔的空间中体验与场所相对应的MR的混合现实系统等。
用于解决问题的方案
为了实现上述目的，根据本发明的一方面的系统是一种混合现实系统，用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的移动终端装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及所述移动终端装置进行以下操作：存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，识别所述拍摄装置所拍摄的各特征点集合，基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及基于所述第一虚拟物体的数据、所述第二虚拟物体的数据和所述视点位置，来生成与所述视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
此外，在本发明中，优选地，在生成所述混合现实图像时在所述虚拟照相机的视场范围中所述第一虚拟物体和所述第二虚拟物体彼此重叠的情况下，如果所述第二虚拟物体相对于所述视点位置的深度距离大于所述第一虚拟物体相对于所述视点位置的深度距离，则所述移动终端装置生成叠加了所述第二虚拟物体的被去除了重叠部分的图像的混合现实图像。
此外，在本发明中，优选地，所述混合现实系统包括五个或更多个所述特征点集合，以及所述移动终端装置以规定时间间隔识别所述拍摄装置所拍摄的各特征点集合，确定所述视点位置，并且生成所述混合现实图像。
此外，在本发明中，优选地，所述混合现实系统包括布置在所述规定真实空间中的四个特征点集合，各个特征点集合具有与真实空间中的虚拟矩形的四个顶点位置相对应的位置关系，并且各个特征点集合被布置成在垂直方向上彼此远离预定义距离且在水平方向上彼此远离预定义距离。
此外，在本发明中，优选地，一个或多个所述特征点集合固定地附接到以在水平方向上隔离的方式安装的多个棒状体中的各棒状体。
此外，在本发明中，优选地，各特征点集合固定地附接到由透光材料形成的透射构件。
此外，在本发明中，优选地，各特征点集合通过使用线来固定地附接。
此外，在本发明中，优选地，所述特征点集合是海报、绘画、图片、ArUco标记、AR标记、二维码或数据矩阵。
为了实现上述目的，根据本发明的一方面的程序是一种由混合现实系统中的移动终端装置执行的程序，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及所述程序使得所述移动终端装置执行以下步骤：识别所述拍摄装置所拍摄的各特征点集合，基于布置各特征点集合的虚拟空间中的布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及基于预先获得的第一虚拟物体的数据、虚拟空间中的不与真实物体相对应的第二虚拟物体的数据、以及所述视点位置，来生成与所述视点位置相对应的第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间。
此外，为了实现上述目的，根据本发明的一方面的移动终端装置是一种混合现实系统中的移动终端装置，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及所述移动终端装置进行以下操作：存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，识别所述拍摄装置所拍摄的各特征点集合，基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及基于所述第一虚拟物体的数据、所述第二虚拟物体的数据和所述视点位置，来生成与所述视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
此外，为了实现上述目的，根据本发明的一方面的方法是一种由混合现实系统中的移动终端装置执行的方法，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及所述方法包括以下步骤：识别所述拍摄装置所拍摄的各特征点集合，基于布置各特征点集合的虚拟空间中的布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及基于预先获得的第一虚拟物体的数据、虚拟空间中的不与真实物体相对应的第二虚拟物体的数据、以及所述视点位置，来生成与所述视点位置相对应的第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间。
此外，为了实现上述目的，根据本发明的一方面的系统是一种混合现实系统，用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括服务器和移动终端装置，所述移动终端装置具有所述显示器和用于拍摄真实空间的拍摄装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；所述服务器存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间；以及所述移动终端装置进行以下操作：识别所述拍摄装置所拍摄的各特征点集合，基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及基于所述第一虚拟物体的数据、所述第二虚拟物体的数据和所述视点位置，来生成与所述视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
此外，为了实现上述目的，根据本发明的一方面的系统是一种混合现实系统，用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的移动终端装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及所述移动终端装置进行以下操作：存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，识别所述拍摄装置所拍摄的各特征点集合，基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定所述第一虚拟物体的位置姿势信息，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及基于所述第一虚拟物体的数据和所述第二虚拟物体的数据，来生成与视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
此外，为了实现上述目的，根据本发明的一方面的程序是一种由混合现实系统中的移动终端装置执行的程序，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其特征在于：所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及所述程序使得所述移动终端装置执行以下步骤：识别所述拍摄装置所拍摄的各特征点集合，基于布置各特征点集合的虚拟空间中的布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定预先获得的第一虚拟物体的位置姿势信息，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，以及基于所述第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，来生成与视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
发明的效果
根据本发明，用户能够在诸如室外空间等的相对宽阔的空间中体验与场所相对应的MR。
附图说明
图1是示出根据本发明实施例的混合现实系统的一部分的示意图。
图2是示出根据本发明实施例的移动终端装置的硬件配置的框图。
图3是示出根据本发明实施例的二维码的图。
图4是示出根据本发明实施例的真实空间的一部分的示意图。
图5是示出与图4中所示的真实空间相对应的虚拟空间的图。
图6是根据本发明实施例的移动终端装置的功能框图。
图7是第二虚拟物体的图像的示例。
图8是图7中所示的第二虚拟物体的图像叠加在真实空间的拍摄图像上的混合现实图像的示例。
图9是用于说明根据本发明实施例的混合现实系统中的移动终端装置和包括在特征点集合群中的特征点集合之间的位置关系的图。
图10是示出根据本发明实施例的混合现实系统中的信息处理的流程图。
图11是示出固定地附接到窗玻璃的特征点集合群3的图。
图12示出根据本发明实施例的混合现实系统的总体配置的示例。
具体实施方式
现在，将参考附图描述向用户提供混合现实空间的混合现实(MR)系统，在该混合现实空间中虚拟空间和真实空间被混合在一起。在本说明书中，为了便于描述，可以省略不必要的更详细描述。例如，可以省略与公知事项有关的详细描述或与实质相同配置有关的重复描述。注意，除非另有特别说明，否则在各图中，相同的符号指示相同或相应部分。
根据本实施例的MR系统在用户通过例如智能电话的画面而从视觉上识别的所拍摄的真实空间图像上，以叠加的方式绘制作为被布置在与真实空间相对应的虚拟空间中的物体的虚拟物体，来允许用户体验MR。
图1是示出根据本发明实施例的混合现实系统(MR系统)1的一部分的示意图。根据本发明实施例的MR系统1在预定义的规定真实空间(真实空间50)中实现。真实空间50是预定义的室外真实空间，并且在该空间中存在作为真实世界中的物体的真实物体。例如，真实物体是在真实空间中固定的诸如建筑物、桥梁和墙壁等的结构。然而，移动项可以包括在真实物体中。此外，代替室外真实空间，真实空间50可以是室内真实空间，并且可以部分地包括室内真实空间。
如图1中所示，MR系统1包括移动终端装置2和特征点集合群3，特征点集合群3包括布置在真实空间50中的多个特征点集合4。
图2是示出根据本发明实施例的移动终端装置2的硬件配置的框图。移动终端装置2包括处理器11、输入装置12、显示装置13、拍摄装置14、存储装置15和通信装置16。这些构成装置经由总线17连接。注意，根据需要在总线17和各个构成装置之间插入接口。在本实施例中，移动终端装置2是智能电话。然而，移动终端装置2可以是诸如平板计算机或配备有诸如触摸板等的接触型输入装置的计算机等的终端，只要该终端是具有上述配置的便携式终端即可。
处理器11控制移动终端装置2的整体操作。例如，处理器11是CPU。可替代地，诸如MPU等的电子电路可以用作处理器11。处理器11通过加载存储在存储装置15中的程序和数据并执行该程序来执行各种处理。在一个示例中，处理器11由多个处理器构成。
输入装置12是用于接受来自用户的对移动终端装置2的输入的用户接口。显示装置(显示器)13根据处理器11的控制来向移动终端装置2的用户显示应用画面、或拍摄装置14所拍摄的图像等。在本实施例中，作为智能电话的移动终端装置2包括作为输入装置12的触摸屏，触摸屏也用作显示装置13，并且输入装置12和显示装置13以一体化的形式构造。然而，输入装置12和显示装置13可以作为分离的单元设置在不同的位置。在这种情况下，输入装置12可以是例如触摸板或按钮，并且显示装置13可以是液晶显示器、使用有机EL的显示器或等离子体显示器等。
拍摄装置(摄像装置)14拍摄(捕获)真实空间的静止图像或运动图像，并将拍摄的图像或运动图像数据存储在存储装置15中。拍摄装置14是例如由图像传感器构成的照相机。
存储装置15是设置在一般智能电话中的存储装置，并且包括作为易失性存储器的RAM和作为非易失性存储器的ROM。存储装置15可以包括外部存储器。
在一个示例中，存储装置15包括主存储装置和辅助存储装置。主存储装置是允许高速读取和写入信息的易失性存储介质，并且在处理器11处理信息时用作存储区域和工作区域。辅助存储装置存储处理器11在执行各个程序时使用的各种程序和数据。辅助存储装置例如是硬盘装置，但是可以是能够存储信息的任何种类的非易失性存储设备或非易失性存储器，并且可以属于可移动类型。例如，辅助存储装置存储操作系统(OS)、中间件、应用程序、在执行这些程序可参考的各种数据等。
通信装置16经由诸如因特网等的网络向其它计算机发送数据和从其它计算机接收数据。例如，通信装置16执行诸如移动通信或无线LAN通信等的无线通信以连接到网络。在一个示例中，通信装置16从服务器下载程序并将该程序存储在存储装置15中。然而，通信装置16可以使用以太网(注册商标)线缆等来执行有线通信。在不向其它计算机发送数据或不从其它计算机接收数据的情况下，移动终端装置2不需要包括通信装置16。
特征点集合4表示局部特征点集合，并且在本实施例中，特征点集合4是ArUco标记(非专利文献1)。特征点集合4预先布置并固定在真实空间50中。各特征点集合4与唯一辨识信息(ID)相关联。然而，各特征点集合4包括使得能够辨识各特征点集合4的可辨识信息，这就足够了。辨识信息是可辨识信息的示例。此外，特征点集合4不限于ArUco标记。
图3是示出根据本发明实施例的特征点集合4的图。特征点集合4由白色正方形和黑色正方形构成，并且作为整体具有正方形形状。黑色正方形布置在用于构成特征点集合4的外边缘的位置处。白色正方形和黑色正方形布置在各特征点集合4中的不同位置处，并且根据布置位置分配ID(例如，ID编号)。例如，通过使用颜料在具有平坦表面的金属板上进行打印、或者将打印后的金属板附接到其它支持物来制作特征点集合4，并且对该金属板进行涂覆以防止阳光反射。
特征点集合4使得能够辨识各特征点集合4并被配置和固定在真实空间50中，这就足够了，因此不限于上述示例。特征点集合4可以通过打印特征点集合4本身的图案来制作，或者可以通过将特征点集合4本身的图案包括在打印物中来制作。例如，特征点集合4具有正方形形状，该正方形的边长为10cm。
如图1中所示，特征点集合群3包括四个特征点集合4，并且各特征点集合4以在垂直方向上隔离的方式固定地附接到以在水平方向上隔离的方式安装的一对棒状体41中的各个上。例如，棒状体41是固定的杆或柱，并且固定地附接到地面。包括在特征点集合群3中的各个特征点集合4具有与真实空间50中的虚拟矩形的四个顶点位置相对应的位置关系，并且布置成在垂直方向上彼此远离预定义距离并且在水平方向上彼此远离预定义距离。优选地，构成虚拟矩形的两条边在铅直方向(垂直方向)和水平方向上彼此平行。注意，特征点集合群3指示多个特征点集合4。特征点集合群3可以指示局部存在的多个特征点集合4，或者可以指示包括在拍摄装置14所拍摄的单个拍摄图像中的多个特征点集合4。此外，MR系统1可以包括多个特征点集合群3。
在本实施例中，真实空间50是具有几千米方形范围的区域，诸如涩谷站周围的整个区域等。图4是示出根据本发明实施例的真实空间50的一部分的示意图。真实空间50包括诸如建筑物等的真实物体51。
虚拟空间60是与真实空间50相关联的虚拟空间，并且真实空间50中的位置和虚拟空间60中的位置以一对一的方式彼此相关联。在虚拟空间60中MR系统1使用用于表示真实空间50中存在的真实物体51的三维空间数据。因此，三维空间数据定义与真实空间50相关联的虚拟空间60，并表示真实物体51的三维形状。预先获得三维空间数据，并且三维空间数据的各项由三维形状元素构成，该三维形状元素是在虚拟空间60中具有三维位置信息的基本单位。这个基本单位将被称为三维形状元素。在本实施例中，三维网格用作三维形状元素。因此，三维空间数据由三维网格构成。三维网格由一个或多个多边形形成，并且构成各三维网格的多边形的顶点中的至少一个顶点具有三维位置信息。然而，三维形状元素可以是点群数据等。
三维形状元素所具有的三维位置信息是与虚拟空间60中的位置信息相对应的真实空间50中的位置信息。这里，真实空间50中的位置信息例如是包括纬度、经度、高度和方向的6DoF(6轴)值，并且虚拟空间60中的位置信息也是相应的6DoF值。
近来，多家不同的公司提供了相对宽阔区域(该区域是用于本实施例中的真实空间50的关注区域)的三维网格数据，并且能够相对容易地获得精确的三维网格数据。
例如，如下预先获得如上所述的三维网格数据。首先，使用高精度激光扫描仪预先获得用于指示真实空间50中的真实物体51的三维形状的点群数据。图5示出与真实空间50相关联的虚拟空间60中的点群数据的示例。例如，点群数据的各项具有三维坐标(x，y，z)，并且被布置在与真实空间50相关联的虚拟空间60中。注意，点群数据的各项是包括颜色信息的颜色点群数据。接下来，根据如上所述获得的颜色点群数据，通过使用已知方法形成具有各个点群作为顶点的多边形。三维网格由多边形构成。然而，由于构成三维空间数据的三维形状元素不需要具有颜色信息，因此在上述示例中，点群数据不需要具有颜色信息。在其它示例中，通过使用已知方法根据真实空间50中的多个拍摄图像生成三维网格。
图5示出与图4中所示的真实空间50相对应的虚拟空间60，并且还示出第一虚拟物体61，该第一虚拟物体61是与真实空间50中存在的真实物体51相对应的虚拟物体。虽然布置在虚拟空间60中的所有物体都是虚拟物体，但是为了便于描述，与真实物体51相对应的虚拟物体将被称为第一虚拟物体61，并且不与真实物体51相对应的虚拟物体(即，不存在于真实空间50中的虚拟物体)将被称为第二虚拟物体62。因此，三维空间数据是第一虚拟物体61的数据，并且虚拟空间60由第一虚拟物体61的数据来定义。在本实施例中，例如，三维空间数据的坐标与虚拟空间60的坐标意义相同。
如图5中所示，通过使用包括三维坐标(x，y，z)的6DoF来确定虚拟空间60中的位置。然而，由于图5中所示的虚拟空间60中的三维坐标是示例，因此三维坐标的原点可以被设置为任何位置，并且各个坐标轴可以具有任何方向，只要坐标轴彼此正交即可。可替代地，关于虚拟空间60中的位置，可以通过使用其它类型的坐标系来确定三维位置。
图6是根据本发明实施例的移动终端装置2的功能框图。移动终端装置2包括应用单元21。应用单元21包括识别单元22、位置确定单元23、图像生成单元24和图像显示单元25。在本实施例中，这些功能通过处理器11执行程序来实现。在本实施例中，由于通过加载程序来实现各种功能，因此一个部件(功能)的一部分可以包括在其它部件中。然而，这些功能可以通过配置用于实现各功能的一部分或全部的电子电路等利用硬件来实现。
在移动终端装置2上安装OS，并且还安装用于允许用户体验MR的、在OS上运行的应用。应用单元21与该应用相对应，并且作为应用程序存储在存储装置15中。
存储装置15存储与真实空间50中存在的真实物体51相对应的在虚拟空间60中的第一虚拟物体61的数据、以及虚拟空间60中的第二虚拟物体62的数据。在本实施例中，第二虚拟物体62的数据也由三维网格形成，并且包括在第二虚拟物体的数据中的位置信息由三维空间数据的坐标表示或者与三维空间数据的坐标相关联。在一个示例中，第二虚拟物体62是虚拟角色或虚拟项。图7是第二虚拟物体62的图像的示例。在一个示例中，第二虚拟物体62的数据是形状、大小或朝向中的至少一个根据位置和时间中的至少一个而改变的虚拟物体的数据。
存储装置15存储特征点集合位置数据，在该特征点集合位置数据中，各个特征点集合4的ID与虚拟空间60中的布置位置信息相关联，该布置位置信息与布置有各个特征点集合4的真实空间50中的位置信息相对应。这里的布置位置信息由三维空间数据的坐标表示或者与三维空间数据的坐标相关联。此外，更准确地，布置位置信息是布置位置姿势信息，并且例如是6DoF(六自由度)值。因此，例如，布置位置信息(布置位置姿势信息)是使用第一虚拟物体61的规定位置(虚拟空间60的原点)作为原点的特征点集合4的位置姿势信息。注意，与通常使用ArUco的情况类似，存储装置15存储用于使用ArUco的软件模块，并且应用单元21使用该模块来将各个特征点集合4与ID相关联。
在一个示例中，存储装置15将三维空间数据与用于使三维空间数据用作三维空间数据库的程序一起进行存储。例如，在这种情况下，应用单元21使用所识别的各个特征点集合4的ID的组合来查询三维空间数据库，从而根据该ID的组合来获得三维空间数据。
应用单元21在通过用户操作等启动应用时启动拍摄装置14。识别单元22识别由拍摄装置14拍摄的各个特征点集合4。例如，识别单元22基于特征点集合4的外边缘和特征点集合4的白色正方形和黑色正方形的布置位置来识别特征点集合4，并且识别特征点集合4的ID。优选地，识别单元22以诸如0.5s等的规定时间间隔来识别由拍摄装置14拍摄的各个特征点集合4。
位置确定单元23确定虚拟空间60中的虚拟照相机视点位置，该虚拟照相机视点位置与真实空间50中的拍摄装置14的位置和拍摄方向相对应。例如，由位置确定单元23确定的虚拟照相机视点位置在虚拟空间60中由6DoF(六自由度)表示。例如，根据拍摄装置14的实际视角确定虚拟照相机视角。
在一个示例中，应用单元21判断由拍摄装置14拍摄的特征点集合4的数量是否大于或等于规定数量，并且在判断为由拍摄装置14拍摄的特征点集合4的数量大于或等于规定数量的情况下，位置确定单元23确定虚拟照相机视点位置。例如，在应用单元21判断为识别单元22已经识别了三个或更多个特征点集合4的情况下，位置确定单元23确定虚拟照相机视点位置。
位置确定单元23通过使用所识别的特征点集合4的ID和存储在存储装置15中的特征点集合位置数据来获得与特征点集合4的布置有关的布置位置信息。此外，位置确定单元23根据特征点集合4的形状和大小来确定用于指示移动终端装置2相对于所识别的特征点集合4的位置的相对位置信息。更准确地，相对位置信息是相对位置姿势信息(相对位置信息的示例是包括作为相对位置的6DoF的信息)，并且相对位置信息包括移动终端装置2(拍摄装置14)相对于特征点集合4的三维位置和面向方向。因此，例如，相对位置信息(相对位置姿势信息)是使用虚拟照相机位置作为原点的特征点集合4的位置姿势信息。位置确定单元23获得用于所识别的各个特征点集合4的布置位置信息，并确定用于指示移动终端装置2相对于特征点集合4的位置的相对位置信息。位置确定单元23基于所获得的布置位置信息和所确定的相对位置信息来确定虚拟照相机视点位置(6DoF)。
在一个示例中，位置确定单元23通过使用所识别的各个特征点集合4的布置位置信息和相对位置信息来分别计算暂定的虚拟照相机视点位置(6DoF)。位置确定单元23通过使用计算出的多个6DoF值的平均值来确定虚拟照相机视点位置。可替代地，位置确定单元23通过使用计算出的多个6DoF值的中值来确定虚拟照相机视点位置。可替代地，位置确定单元23通过将计算出的多个6DoF值输入到诸如粒子滤波器(非专利文献4)等的估计模型来确定虚拟照相机视点位置。
在一个示例中，代替上述示例，或除上述示例以外，位置确定单元23还通过使用已知特征点集合4之间的布置关系来确定虚拟照相机视点位置。这里，由于在垂直方向和水平方向上将各个特征点集合4彼此远离预定义距离地进行布置，所以能够从一个特征点集合4的位置导出其它特征点集合4的位置。在一个示例中，位置确定单元23针对各个所识别的特征点集合4确定相对位置信息，然后确定由所识别的特征点集合4构成的第一虚拟矩形。另一方面，位置确定单元23获得用于各个所识别的特征点集合4的布置位置信息，然后确定由所获得的布置位置信息构成的第二虚拟矩形。位置确定单元23通过使用第二虚拟矩形的布置位置信息以及第一虚拟矩形相对于第二虚拟矩形的形状和大小来确定虚拟照相机视点位置。
在其它示例中，在将暂定的虚拟照相机视点位置设置为通过使用一个特征点集合4的布置位置信息和相对位置信息计算出的6DoF值的情况下，位置确定单元23计算从一个特征点集合4导出的其它特征点集合4的位置与从拍摄装置14所拍摄的图像辨识出的其它特征点集合4的位置之间的差。位置确定单元23从计算出的各个6DoF值中提取所计算出的差在规定范围内的6DoF值，并通过使用6DoF值的平均值或中值或者通过将6DoF值输入到已知估计模型来确定虚拟照相机视点位置。可替代地，位置确定单元23根据计算出的差对计算出的各个6DoF值进行加权，并且通过使用加权的6DoF值的平均值或中值或者将该6DoF值输入到已知估计模型来确定虚拟照相机视点位置。可替代地，位置确定单元23基于计算出的6DoF值来确定虚拟照相机视点位置，然后通过使用已知特征点集合群3的布置关系来校正虚拟照相机视点位置。
在一个示例中，位置确定单元23如下确定移动终端装置2相对于特征点集合4的位置。预先定义各个特征点集合4的大小和形状。通过使用已知的方法，位置确定单元23将特征点集合4作为图像来识别，识别特征点集合4的轮廓，并且计算用于进行从特征点集合坐标系到照相机坐标系的转换的坐标转换矩阵。通过使用计算出的坐标变换矩阵，位置确定单元23计算由拍摄装置14拍摄的图像中的特征点集合4在照相机坐标系中的位置和姿势，并且确定特征点集合4相对于拍摄装置14的位置(6DoF)。
在一个示例中，位置确定单元23如下确定移动终端装置2相对于特征点集合4的位置。位置确定单元23使用已知方法(非专利文献2和非专利文献3)，在该已知方法中，作为抵抗旋转和移动的鲁棒特征的局部特征被用于检测包括在拍摄图像中的物体。在本示例中，存储装置15将各个特征点集合4的模板图像与特征点集合4的ID相关联地存储。位置确定单元23通过使用局部特征以导出模板图像和由拍摄装置14拍摄的图像之间的投影(诸如旋转、放大/缩小和变形等)来确定相对位置(6DoF)。这里，局部特征是指诸如点、边缘或小图像块(patch)等的在图像中看到的图案或显著结构。具体地，通过使用模板图像的四个角的点和通过使用局部特征获得的单应性矩阵(homography matrix)来估计投影。单应性矩阵是指当通过投影变换将平面投影到另一平面时使用的参数。
虽然通过使用6DoF来计算和确定虚拟照相机视点位置，但是也可以使用其它格式的位置信息，只要包括了等同信息即可。
基于存储在存储装置15中的第一虚拟物体61的数据和第二虚拟物体62的数据以及由位置确定单元23确定的虚拟照相机视点位置，图像生成单元24生成根据视点位置的第二虚拟物体62的图像被叠加在真实空间50的拍摄图像上的混合现实图像。图像显示单元25在显示装置13上显示包括所生成的混合现实图像的应用画面。
在一个示例中，图像生成单元24读取与由位置确定单元23确定的虚拟照相机视点位置相对应的第一虚拟物体61的数据和第二虚拟物体62的数据，并且生成根据视点位置的第二虚拟物体62的图像被叠加在真实空间50的拍摄图像上的混合现实图像。当生成混合现实图像时，可以使用如专利文献1或非专利文献5中所指示的已知方法。
图8是图7所示的第二虚拟物体62的图像被叠加在真实空间50的拍摄图像上的混合现实图像的示例。在第一虚拟物体61和第二虚拟物体62在虚拟照相机的视场范围中彼此重叠的情况下，如果第二虚拟物体62相对于虚拟照相机视点位置的深度距离大于第一虚拟物体61相对于虚拟照相机视点位置的深度距离，则图像生成单元24生成叠加了第二虚拟物体62的除重叠部分之外的图像的混合现实图像。例如，图像生成单元24进行第一虚拟物体61的绘制处理作为不可见网格，并且针对第二虚拟物体62进行正常绘制处理。通过这样做，对于上述重叠部分，进行用于比第二虚拟物体62更接近虚拟照相机视点位置的第一虚拟物体61的不可见绘制处理。注意，根据拍摄装置14的视角确定虚拟照相机的视场范围。
图8示出第二虚拟物体62，第二虚拟物体62的一部分未显示。在图8中，可以看到第二虚拟物体62被显示为使得第二虚拟物体62存在于作为真实物体51的建筑物后面。
在一个示例中，图像生成单元24通过以规定帧速率生成混合现实图像来生成MR运动图像。在一个示例中，在拍摄装置14未识别到特征点集合4的情况下或者在未确定出虚拟照相机视点位置的情况下，图像显示单元25直接将真实空间50的拍摄图像显示为混合现实图像。
在本实施例中，由于应用单元21的各个部分的操作，MR系统1需要包括拍摄装置14所拍摄的单个拍摄图像中的至少三个特征点集合4。基于远离特征点集合群3预定距离时的拍摄装置14的视角，确定特征点集合群3中所包括的特征点集合4中的、与虚拟矩形的相邻顶点位置相对应的两个特征点集合4之间的垂直方向距离和水平方向距离。
图9是用于说明根据本发明实施例的MR系统1中的移动终端装置2和包括在特征点集合群3中的特征点集合4之间的位置关系的图。在图9中，距离h表示固定在棒状体41上的特征点集合4之间的距离，以及距离w表示固定在一对棒状体41的上侧的特征点集合4之间的距离、或者固定在棒状体41的下侧的特征点集合4之间的距离。距离d表示从特征点集合群3到拍摄装置14(移动终端装置2)的距离。特征点集合4之间的距离例如为特征点集合4的中心之间的距离，并且相对于特征点集合群3的距离例如为相对于由特征点集合群3中包括的特征点集合4构成的虚拟矩形(平面)的距离。例如，距离d是由MR系统1推荐给希望具有MR体验的用户的、从用户到特征点集合群3的距离。
在一个示例中，在拍摄装置14的垂直视角为α度并且拍摄装置14的水平视角为β度的情况下，通过以下公式分别确定距离h的最大值hmax和距离w的最大值wmax。
Figure BDA0003033388300000191
Figure BDA0003033388300000192
通过布置各个特征点集合4使得h≤hmax且w≤wmax，当拍摄装置14远离特征点集合群3距离d时，拍摄装置14变得能够在单个拍摄图像中拍摄特征点集合群3中所包括的特征点集合4。为了使位置确定单元23更精确地计算出位置，优选地使特征点集合4之间的距离更大，因此优选地布置各个特征点集合4使得h＝hmax且w＝wmax。在一个示例中，在d＝2m、α＝63度且β＝50度的情况下，h＝1.2m且w＝0.9m。
接下来，将使用图10中所示的流程图来描述根据本发明实施例的MR系统1中的信息处理。图10中所指示的信息处理是通过使移动终端装置2执行程序来实现的。在该处理中，具有移动终端装置2的用户存在于真实空间50中，并且由用户启动包括应用单元21的功能的应用。在一个示例中，当应用正在运行时，移动终端装置2定期执行该流程图中的处理。
在步骤S101中，移动终端装置判断是否能够从移动终端装置2的拍摄装置14所拍摄的拍摄图像中识别三个或更多个特征点集合4。在识别出三个或更多个特征点集合4的情况下，该处理前进到步骤S102，并且在识别出少于三个特征点集合4的情况下，该处理终止。
接下来，在步骤S102中，移动终端装置2通过使用所识别的特征点集合4的各个ID和存储在存储装置15中的特征点集合位置数据来获得与各个特征点集合4的布置有关的布置位置信息。移动终端装置2根据所识别的特征点集合4的形状和大小来确定用于指示移动终端装置2相对于各个特征点集合4的位置的相对位置信息。
接下来，在步骤S103中，移动终端装置2基于用于所识别的各个特征点集合4的布置位置信息和相对位置信息中的各信息来确定虚拟照相机视点位置。
接下来，在步骤S104中，移动终端装置2判断第二虚拟物体62是否存在于虚拟照相机视场范围内。在存在第二虚拟物体62的情况下，该处理前进到步骤S105，并且在不存在第二虚拟物体62的情况下，该处理终止。在步骤S105中，基于第一虚拟物体61的数据、第二虚拟物体62的数据和所确定的虚拟照相机视点位置，移动终端装置2生成根据视点位置的第二虚拟物体62的图像被叠加在真实空间50的拍摄图像上的混合现实图像。在该处理结束的情况下，移动终端装置2直接将真实空间50的拍摄图像显示为混合现实图像。
接下来，将描述根据本发明实施例的MR系统1(移动终端装置2)的操作和优点。在本实施例中，MR系统1在规定真实空间50中包括多个特征点集合4，并且各个特征点集合4以在垂直方向上彼此远离预定义距离且在水平方向上彼此远离预定义距离的方式布置在真实空间50中的虚拟矩形的四个顶点位置处。此外，存储装置15存储用于表示存在于真实空间50中的真实物体51并定义虚拟空间60的三维空间数据，并且存储各个特征点集合4的布置位置信息，该布置位置信息与三维空间数据相关联。
通过识别特征点集合4，移动终端装置2获得所识别的各个特征点集合4的布置位置信息。另一方面，移动终端装置2根据拍摄图像中的所识别的各个特征点集合4的形状和大小，确定用于指示移动终端装置2相对于各个特征点集合4的位置的相对位置信息(6DoF)。移动终端装置2基于所识别的各个特征点集合4的布置位置信息和相对位置信息来确定照相机视点位置(6DoF)，并且生成与真实空间50的拍摄图像有关的、根据虚拟照相机视点位置的混合现实图像。
如上所述，在MR系统1中，通过使用三维空间数据(虚拟空间60)的坐标，将真实物体51的位置与特征点集合4的位置相关联，因此，通过识别特征点集合4，移动终端装置2可以获得所识别的特征点集合4在虚拟空间60中的布置位置信息。此外，在本实施例中，通过使用布置位置信息和移动终端装置2相对于特征点集合4的相对位置信息，能够确定与用户正在操作的拍摄装置14(自身位置)相对应的虚拟照相机视点位置(6DoF)。
此外，在本实施例中，在根据各个特征点集合4计算出各个暂定的虚拟照相机视点位置(6DoF)之后，移动终端装置2基于计算出的各个6DoF值来确定虚拟照相机视点位置。虚拟照相机视点位置的精度在生成混合现实图像方面非常重要。通过使用这种配置，在本实施例中，变得能够更精确地确定虚拟照相机视点位置。此外，在本实施例中，移动终端装置2通过进一步使用已知特征点集合群3的布置关系来确定虚拟照相机视点位置。通过这样做，变得能够更精确地确定虚拟照相机视点位置。在这种情况下，为了更精确且更快速地执行操作，在移动终端装置2确定虚拟照相机视点位置时，优选地构成特征点集合群3的相邻特征点集合4在铅直方向(垂直方向)和水平方向上实质上平行。
此外，在本实施例中，在生成混合现实图像时，移动终端装置2针对第一虚拟物体61进行绘制处理作为不可见网格，并且针对第二虚拟物体62进行正常绘制处理。通过使用这种配置，在本实施例中，变得能够实现与显示第二虚拟物体62时的真实物体51的更高的几何匹配性(前/后关系、遮挡等)。当将现实感应用于第二虚拟物体62时，混合现实图像中的几何匹配性是极其重要的。
除非另有明确说明，否则上述操作和优点类似地适用于其它实施例或其它示例。
在本发明的其它实施例中，本发明还可以是用于实现本发明的上述实施例的功能或流程图中所示的信息处理的程序，或者存储该程序的计算机可读存储介质。在本发明的又一实施例中，本发明还可以是用于实现本发明的上述实施例的功能或流程图中所示的信息处理的方法。在本发明的又一实施例中，本发明还可以是能够向计算机提供用于实现本发明的上述实施例的功能或流程图中所示的信息处理的程序的服务器。在本发明的又一实施例中，本发明还可以是用于实现本发明的上述实施例的功能或流程图中所示的信息处理的虚拟机。在本发明的又一实施例中，本发明还可以是MR系统1中的特征点集合4的布置结构。
下面将描述本发明实施例的变形例。下面将描述的变形例可以适当地组合并应用于任意实施例，只要不出现矛盾即可。
在一个变形例中，特征点集合4是二维码或包括二维码。例如，特征点集合4是QR码(注册商标)或数据矩阵。在又一变形例中，用作特征点集合4的二维码包括用于指示纬度、经度、角度等的标识符作为可辨识信息。在这种情况下，已经识别出二维码的移动终端装置2能够直接从所获得的可辨识信息获得特征点集合4的布置位置信息。在这种情况下，存储装置15不需要存储特征点集合位置数据。
在一个变形例中，特征点集合4是已知的AR标记。
在一个变形例中，将具有各自可辨识的不同特征点的空间分布的海报、绘画、图片等用作特征点集合4。识别单元22和位置确定单元23使用上述利用局部特征的已知方法(非专利文献2和非专利文献3)。在这种情况下，局部特征用作可辨识信息。在该变形例中，存储装置15将各个特征点集合4的模板图像与特征点集合4的ID相关联地进行存储。识别单元22通过从由拍摄装置14拍摄的特征点集合4提取局部特征并将该局部特征与各个特征点集合4的模板图像进行比较来识别各个特征点集合4的ID。位置确定单元23通过使用所识别的特征点集合4的ID和存储在存储装置15中的特征点集合位置数据来获得与特征点集合4的布置有关的布置位置信息。此外，位置确定单元23通过使用局部特征以导出模板图像和拍摄装置14所拍摄的图像之间的投影(诸如旋转、放大/缩小和变形等)，来确定移动终端装置2相对于特征点集合4的相对位置信息。针对各个所识别的特征点集合4，位置确定单元23获得布置位置信息并确定相对位置信息，并且基于布置位置信息和相对位置信息来确定虚拟照相机视点位置。
在一个变形例中，特征点集合群3包括被布置成具有预定义位置关系的三个特征点集合4。例如，特征点集合4中的两个特征点集合固定地附接到以在水平方向上隔离的方式安装在真实空间50中的一对棒状体41中的一个棒状体41，并且特征点集合4中的一个特征点集合固定地附接到另一个棒状体41。在本实施例中，通过在特征点集合群3中包括具有预定义位置关系的三个特征点集合4，位置确定单元23变得能够通过使用已知特征点集合群3的布置关系来确定虚拟照相机视点位置。在这种情况下，优选地，三个特征点集合4被布置成具有与真实空间50中的虚拟矩形的四个顶点中的三个顶点的位置相对应的位置关系。
在一个变形例中，MR系统1包括多个特征点集合4，各特征点集合4固定地附接到以在水平方向上隔离的方式安装在真实空间50中的三个或更多个棒状体41中的各个。多个特征点集合4以在垂直方向上隔离的方式固定地附接到各棒状体41。然而，一些棒状体41仅可以附接特征点集合4中的一个特征点集合。
在一个变形例中，各特征点集合4固定地附接到由透光材料形成的透射构件42。透射构件42例如是透射几乎整个可见光范围的玻璃或树脂，并且可以是诸如窗玻璃等的结构的一部分，或者可以是便携式的(诸如玻璃板等)。图11是示出固定地附接到窗玻璃的特征点集合群3的图。
在一个变形例中，各特征点集合4通过使用线固定地附接。然而，可以通过使用具有等同于线的功能的构件来将特征点集合4固定在真实空间50中。
在一个变形例中，MR系统1包括具有五个或更多个特征点集合4的特征点集合群3。例如，特征点集合群3由20个特征点集合4构成。该变形例假定拍摄装置14不能在单个拍摄图像中拍摄包括在特征点集合群3中的所有特征点集合4的情况。
识别单元22以规定时间间隔识别拍摄装置14所拍摄的图像中包括的各个特征点集合4。位置确定单元23基于所识别的各个特征点集合4的布置位置信息和相对位置信息，以规定时间间隔确定照相机视点位置(6DoF)。基于第一虚拟物体61的数据和第二虚拟物体62的数据以及由位置确定单元23以规定时间间隔确定的虚拟照相机视点位置，图像生成单元24生成与真实空间50的拍摄图像有关的、根据虚拟照相机视点位置的混合现实图像。
如上所述，在拍摄装置14识别出多个特征点集合4之后，当拍摄装置14的拍摄位置通过用户的移动而被移动时，移动终端装置2识别多个其它特征点集合4。通过使用这种配置，使得随着用户在真实空间50中移动，移动终端装置2变得能够在多个特征点集合4之间顺序切换的同时进行用于执行校准的“漫游处理”。因此，在该变形例中，即使在由拍摄装置14拍摄的多个特征点集合4随时间改变的情况下，移动终端装置2也能够连续地计算自身位置(6DoF)。这使得能够持续地向在真实空间50中移动的用户提供MR体验。
在该变形例中，位置确定单元23可以基于用于所识别的特征点集合4的一些特征点集合4中的各个特征点集合的布置位置信息和相对位置信息来确定照相机视点位置(6DoF)。例如，照相机视点位置(6DoF)可以基于拍摄图像中的具有大于或等于规定大小的大小的各特征点集合4的布置位置信息和相对位置信息来确定。
在一个变形例中，如图11中所示，MR系统1包括多个特征点集合群3，多个特征点集合群3包括第一特征点集合群3a、第二特征点集合群3b、第三特征点集合群3c和第四特征点集合群3d。在该变形例中，虽然各个特征点集合群3包括相互不同的特征点集合4，但是多个特征点集合群3包括相同的特征点集合4。例如，第一特征点集合群3a包括第二特征点集合群3b中所包括的特征点集合4和第二特征点集合群3b中未包括的特征点集合4。
识别单元22以规定时间间隔识别拍摄装置14所拍摄的图像中包括的各个特征点集合4。应用单元21选择所识别的特征点集合群3中的一个特征点集合群3作为参考特征点集合群3。位置确定单元23确定用于参考特征点集合群3中包括的各个所识别的特征点集合4的相对位置信息，然后确定由所识别的特征点集合4构成的第一虚拟矩形。另一方面，位置确定单元23获得用于各个所识别的特征点集合4的布置位置信息，然后确定由所获得的布置位置信息构成的第二虚拟矩形。位置确定单元23通过使用第二虚拟矩形的布置位置信息和第一虚拟矩形相对于第二虚拟矩形的形状和大小来确定虚拟照相机视点位置。
在一个示例中，每当识别单元22识别各特征点集合4时，应用单元21选择参考特征点集合群3。在一个示例中，应用单元21选择具有拍摄图像中所包括的更多的特征点集合4的特征点集合群3作为参考特征点集合群3。在一个示例中，代替上述选择方法，或者除上述选择方法以外，应用单元21还选择具有拍摄图像的中心部分中所包括的更多的特征点集合4的特征点集合群3作为参考特征点集合群3。在一个示例中，代替上述选择方法，或者除上述选择方法以外，应用单元21还选择具有拍摄图像中所包括的更高比率的大尺寸特征点集合4的特征点集合群3作为参考特征点集合群3。
以此方式，在拍摄装置14识别包括在参考特征点集合群3中的特征点集合4之后，当拍摄装置14的拍摄位置通过用户的移动而被移动时，移动终端装置2识别包括在其它参考特征点集合群3中的特征点集合4。通过使用这种配置，使得随着用户在真实空间50中移动，移动终端装置2变得能够在对特征点集合群3进行顺序切换的同时进行用于执行校准的“漫游处理”。因此，在该变形例中，即使在由拍摄装置14拍摄的多个特征点集合4随时间改变的情况下，移动终端装置2也能够连续地计算自身位置(6DoF)。这使得能够持续地向在真实空间50中移动的用户提供MR体验。
注意，一个特征点集合群3可以包括六个特征点集合4或者可以包括九个特征点集合4。
在一个变形例中，移动终端装置2(位置确定单元23)将虚拟照相机视点位置固定到虚拟空间60中的规定位置(例如，预定义的6DoF)，并且动态地确定三维空间数据的坐标的位置。代替确定照相机视点位置，移动终端装置2确定第一虚拟物体61的三维位置信息。例如，移动终端装置2确定三维空间数据的坐标。相应地，改变特征点集合4的坐标和第二虚拟物体62的坐标。
在一个变形例中，代替6DoF值，布置位置信息(布置位置姿势信息)或相对位置信息(相对位置姿势信息)使用四元数值。
在一个变形例中，如图12中所示，MR系统1设置有服务器6和多个移动终端装置2，并且移动终端装置2和服务器6连接到诸如因特网等的网络8并且能够彼此进行通信。服务器6设置有普通服务器中所设置的配置。例如，服务器6设置有用于控制各个组件的诸如CPU等的处理器，诸如ROM或RAM等的存储元件，诸如硬盘驱动器等的存储装置，诸如显示器等的显示装置，诸如鼠标、键盘或触摸屏等的输入装置，以及诸如网络板等的通信装置。这些构成元件经由总线连接。
设置在服务器6中的存储装置存储第一虚拟物体61的数据(三维空间数据)和第二虚拟物体62的数据。移动终端装置2的存储装置15不需要存储服务器6中所存储的数据。例如，服务器6将三维空间数据与具有用于使三维空间数据用作三维空间数据库的程序一起存储，并且响应于来自移动终端装置2的查询而将三维空间数据传输到移动终端装置2。服务器6中所设置的存储装置可以代表移动终端装置2的存储装置15来存储特征点集合位置数据。
在又一变形例中，MR系统1的移动终端装置2的操作由服务器6提供的Web应用实现。例如，服务器6提供有应用单元21的所有功能，并存储应用单元21的操作中所使用的各种数据。在这种情况下，服务器6向移动终端装置2提供与应用单元21相对应的Web应用。当移动终端装置2中安装的Web应用启动时，移动终端装置2访问服务器6上的Web应用。移动终端装置2通过与服务器6通信来实现移动终端装置2上的应用单元21的功能。
除非在处理或操作中出现任何矛盾(诸如步骤涉及了在该步骤中尚不可用的数据的使用的矛盾等)，否则在上述处理或操作中，可以自由地修改处理和操作。此外，上述实施例是用于说明本发明的示例，并且本发明不限于这些实施例。本发明可以以不脱离其主旨的各种形式实施。
{附图标记列表}
1 混合现实系统
2 移动终端装置
3 特征点集合群
4 特征点集合
6 服务器
8 网络
11 处理器
12 输入装置
13 显示装置
14 拍摄装置
15 存储装置
16 通信装置
17 总线
21 应用单元
22 识别单元
23 位置确定单元
24 图像生成单元
25 图像显示单元
41 棒状体
42 透射构件
50 真实空间
51 真实物体
60 虚拟空间
61 第一虚拟物体
62 第二虚拟物体

Claims (14)

1.一种混合现实系统，用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的移动终端装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及
所述移动终端装置进行以下操作：
存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，
识别所述拍摄装置所拍摄的各特征点集合，
基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及
基于所述第一虚拟物体的数据、所述第二虚拟物体的数据和所述视点位置，来生成与所述视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
2.根据权利要求1所述的混合现实系统，其中，在生成所述混合现实图像时在所述虚拟照相机的视场范围中所述第一虚拟物体和所述第二虚拟物体彼此重叠的情况下，如果所述第二虚拟物体相对于所述视点位置的深度距离大于所述第一虚拟物体相对于所述视点位置的深度距离，则所述移动终端装置生成叠加了所述第二虚拟物体的被去除了重叠部分的图像的混合现实图像。
3.根据权利要求1或2所述的混合现实系统，其中，
所述混合现实系统包括五个或更多个所述特征点集合，以及
所述移动终端装置以规定时间间隔识别所述拍摄装置所拍摄的各特征点集合，确定所述视点位置，并且生成所述混合现实图像。
4.根据权利要求1至3中任一项所述的混合现实系统，其中，所述混合现实系统包括布置在所述规定真实空间中的四个所述特征点集合，各个特征点集合具有与真实空间中的虚拟矩形的四个顶点位置相对应的位置关系，并且各个特征点集合被布置成在垂直方向上彼此远离预定义距离且在水平方向上彼此远离预定义距离。
5.根据权利要求4所述的混合现实系统，其中，一个或多个所述特征点集合固定地附接到以在水平方向上隔离的方式安装的多个棒状体中的各棒状体。
6.根据权利要求1至4中任一项所述的混合现实系统，其中，各特征点集合固定地附接到由透光材料形成的透射构件。
7.根据权利要求1至4中任一项所述的混合现实系统，其中，各特征点集合通过使用线来固定地附接。
8.根据权利要求1至7中任一项所述的混合现实系统，其中，所述特征点集合是海报、绘画、图片、ArUco标记、AR标记、二维码或数据矩阵。
9.一种由混合现实系统中的移动终端装置执行的程序，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及
所述程序使得所述移动终端装置执行以下步骤：
识别所述拍摄装置所拍摄的各特征点集合，
基于布置各特征点集合的虚拟空间中的布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及
基于预先获得的第一虚拟物体的数据、虚拟空间中的不与真实物体相对应的第二虚拟物体的数据、以及所述视点位置，来生成与所述视点位置相对应的第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间。
10.一种混合现实系统中的移动终端装置，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及
所述移动终端装置进行以下操作：
存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，
识别所述拍摄装置所拍摄的各特征点集合，
基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及
基于所述第一虚拟物体的数据、所述第二虚拟物体的数据和所述视点位置，来生成与所述视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
11.一种由混合现实系统中的移动终端装置执行的方法，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及
所述方法包括以下步骤：
识别所述拍摄装置所拍摄的各特征点集合，
基于布置各特征点集合的虚拟空间中的布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及
基于预先获得的第一虚拟物体的数据、虚拟空间中的不与真实物体相对应的第二虚拟物体的数据、以及所述视点位置，来生成与所述视点位置相对应的第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间。
12.一种混合现实系统，用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括服务器和移动终端装置，所述移动终端装置具有所述显示器和用于拍摄真实空间的拍摄装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；
所述服务器存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间；以及
所述移动终端装置进行以下操作：
识别所述拍摄装置所拍摄的各特征点集合，
基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定与真实空间中的所述拍摄装置的位置和拍摄方向相对应的、虚拟空间中的虚拟照相机的视点位置，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及
基于所述第一虚拟物体的数据、所述第二虚拟物体的数据和所述视点位置，来生成与所述视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
13.一种混合现实系统，用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的移动终端装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及
所述移动终端装置进行以下操作：
存储预先获得的第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，并且存储用于布置在所述规定真实空间中的各特征点集合的虚拟空间中的布置位置姿势信息，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，
识别所述拍摄装置所拍摄的各特征点集合，
基于用于各特征点集合的所述布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定所述第一虚拟物体的位置姿势信息，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，以及
基于所述第一虚拟物体的数据和所述第二虚拟物体的数据，来生成与视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
14.一种由混合现实系统中的移动终端装置执行的程序，所述混合现实系统用于在显示器上显示混合现实图像，所述显示器用于向存在于规定真实空间中的用户显示虚拟物体，在所述混合现实图像中，布置在与真实空间相对应的虚拟空间中的虚拟物体的图像被叠加在真实空间的拍摄图像上，所述混合现实系统包括具有所述显示器和用于拍摄真实空间的拍摄装置的所述移动终端装置，其中，
所述混合现实系统包括布置在所述规定真实空间中的多个特征点集合，所述特征点集合包括使得能够对各特征点集合进行辨识的可辨识信息，并且所述多个特征点集合中的至少三个特征点集合被布置成具有预定义位置关系；以及
所述程序使得所述移动终端装置执行以下步骤：
识别所述拍摄装置所拍摄的各特征点集合，
基于布置各特征点集合的虚拟空间中的布置位置姿势信息、以及所述移动终端装置相对于各特征点集合的相对位置姿势信息，来确定预先获得的第一虚拟物体的位置姿势信息，所述布置位置姿势信息是从所识别的特征点集合中的一部分或全部特征点集合的可辨识信息获得的，所述相对位置姿势信息是从所述特征点集合的形状和大小确定的，所述第一虚拟物体与存在于所述规定真实空间中的真实物体相对应并且定义虚拟空间，以及
基于所述第一虚拟物体的数据、以及虚拟空间中的不与真实物体相对应的第二虚拟物体的数据，来生成与视点位置相对应的所述第二虚拟物体的图像被叠加在真实空间的拍摄图像上的混合现实图像。
CN201980069925.2A 2018-08-24 2019-08-23 混合现实系统、程序、移动终端装置和方法 Pending CN112912936A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-157410 2018-08-24
JP2018157410A JP6640294B1 (ja) 2018-08-24 2018-08-24 複合現実システム、プログラム、携帯端末装置、及び方法
PCT/JP2019/032969 WO2020040277A1 (ja) 2018-08-24 2019-08-23 複合現実システム、プログラム、携帯端末装置、及び方法

Publications (1)

Publication Number Publication Date
CN112912936A true CN112912936A (zh) 2021-06-04

Family

ID=69320908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069925.2A Pending CN112912936A (zh) 2018-08-24 2019-08-23 混合现实系统、程序、移动终端装置和方法

Country Status (4)

Country Link
US (2) US20210174599A1 (zh)
JP (1) JP6640294B1 (zh)
CN (1) CN112912936A (zh)
WO (1) WO2020040277A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674433A (zh) * 2021-08-25 2021-11-19 先壤影视制作(上海)有限公司 混合现实显示方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195336B2 (en) * 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
CN117635879A (zh) * 2022-08-17 2024-03-01 北京字跳网络技术有限公司 图像处理方法及装置
WO2024070602A1 (ja) * 2022-09-29 2024-04-04 日本電気通信システム株式会社 情報表示システム、情報表示方法、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020614A (ja) * 2007-07-10 2009-01-29 Ritsumeikan 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
US20120120199A1 (en) * 2009-07-29 2012-05-17 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
CN104571604A (zh) * 2013-10-24 2015-04-29 富士通株式会社 信息处理设备及方法
US20150130790A1 (en) * 2013-11-14 2015-05-14 Nintendo Of America Inc. Visually Convincing Depiction of Object Interactions in Augmented Reality Images
US20160247320A1 (en) * 2015-02-25 2016-08-25 Kathy Yuen Scene Modification for Augmented Reality using Markers with Parameters
JP2017076295A (ja) * 2015-10-16 2017-04-20 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
CN107077739A (zh) * 2017-01-23 2017-08-18 香港应用科技研究院有限公司 使用单目相机的三维标记模型构建和实时跟踪

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
JP6244954B2 (ja) * 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置
JP6265027B2 (ja) * 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
US9892560B2 (en) * 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10424117B2 (en) * 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
WO2018123022A1 (ja) * 2016-12-28 2018-07-05 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
WO2018147093A1 (ja) * 2017-02-10 2018-08-16 株式会社エンプラス マーカ
JP6410874B1 (ja) * 2017-05-30 2018-10-24 株式会社タカラトミー Ａｒ映像生成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020614A (ja) * 2007-07-10 2009-01-29 Ritsumeikan 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
US20120120199A1 (en) * 2009-07-29 2012-05-17 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
CN104571604A (zh) * 2013-10-24 2015-04-29 富士通株式会社 信息处理设备及方法
US20150130790A1 (en) * 2013-11-14 2015-05-14 Nintendo Of America Inc. Visually Convincing Depiction of Object Interactions in Augmented Reality Images
US20160247320A1 (en) * 2015-02-25 2016-08-25 Kathy Yuen Scene Modification for Augmented Reality using Markers with Parameters
JP2017076295A (ja) * 2015-10-16 2017-04-20 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
CN107077739A (zh) * 2017-01-23 2017-08-18 香港应用科技研究院有限公司 使用单目相机的三维标记模型构建和实时跟踪

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674433A (zh) * 2021-08-25 2021-11-19 先壤影视制作(上海)有限公司 混合现实显示方法及系统

Also Published As

Publication number Publication date
JP2020030748A (ja) 2020-02-27
JP6640294B1 (ja) 2020-02-05
US20240071016A1 (en) 2024-02-29
US20210174599A1 (en) 2021-06-10
WO2020040277A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US20240071016A1 (en) Mixed reality system, program, mobile terminal device, and method
KR102164471B1 (ko) 복합 현실 환경을 작성하기 위한 시스템 등
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9443353B2 (en) Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
US20180075652A1 (en) Server and method for producing virtual reality image about object
US9805509B2 (en) Method and system for constructing a virtual image anchored onto a real-world object
JP6458371B2 (ja) ３次元モデルのためのテクスチャデータを取得する方法、ポータブル電子デバイス、及びプログラム
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
JP5387668B2 (ja) 情報処理端末、情報処理方法、およびプログラム
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
CN113610702A (zh) 一种建图方法、装置、电子设备及存储介质
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
JP6351984B2 (ja) 位置特定装置、映像処理装置、パターン生成装置、スクリーン、スクリーンシステムおよび位置特定方法
JP2020057430A (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
WO2024095744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7380661B2 (ja) 投射方法、及び投射システム
TWI779332B (zh) 擴增實境系統與其錨定顯示虛擬物件的方法
JP2015031922A (ja) 情報端末装置及びプログラム
CN107742275A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045179

Country of ref document: HK