CN104205175A

CN104205175A - 信息处理装置，信息处理系统及信息处理方法

Info

Publication number: CN104205175A
Application number: CN201380015874.8A
Authority: CN
Inventors: 后藤哲郎; 上野正俊; 桦泽宪一; 中川俊之; 川上大介; 栗屋志伸; 塚原翼; 菅野尚子
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-03-29
Filing date: 2013-02-20
Publication date: 2014-12-10
Anticipated expiration: 2033-02-20
Also published as: US10198870B2; JP5966510B2; CN104205175B; TW201350912A; KR20140136943A; US20150070389A1; EP2831849A1; US9824497B2; WO2013145536A1; JP2013206322A; US20180096536A1

Abstract

本发明主要涉及一种信息处理装置，包括至少一个处理器，被配置为执行指令以：基于由输入装置投影在真实空间上的标记的空间位置而产生对应于将虚拟信息叠加在真实空间上的叠加参数；及使显示部在标记可检测时根据空间位置关系显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据标记的最后检测的空间位置继续叠加在真实空间上的虚拟信息的显示。

Description

信息处理装置,信息处理系统及信息处理方法

技术领域

本技术涉及信息处理装置、信息处理系统及信息处理方法，利用它们，通过相对于真实空间叠加图像而显示所述图像。

背景技术

存在一种所谓的增强现实(augmented reality，AR)技术，通过该技术，真实空间的图像与对应于真实空间的图像相加。通过AR，使用照相机等来获得真实空间的图像，且相对于所获得的真实空间的图像叠加虚拟信息(下文称虚拟信息)以用于显示。通过观看相对于真实空间叠加的显示虚拟信息，用户辨识出作为虚拟信息显示的对象犹如其存在于真实空间中。

AR包括标记(marker)AR及无标记(marker-less)AR。

在标记AR的情形下，提前登记关于物理设置在真实空间中的标记(例如，预定大小的彩色正方形)的图像信息。通过真实空间的成像获得真实空间的图像(真实图像)，从该真实图像检测标记，且使用关于所检测的标记的大小和角度的信息，计算(例如)成像装置相对于标记的空间位置关系。基于成像装置相对于标记的该空间位置关系，计算虚拟信息的显示位置和显示角度。基于所计算的显示位置和显示角度，在其位置相对于成像装置固定的显示装置上显示虚拟信息，以使得用户可连同真实空间一起感知虚拟信息(例如，参见专利文献1)。

另一方面，在无标记AR的情形下，不使用特定标记。对真实图像中的任何对象和真实空间本身进行空间辨识，且基于关于对象的大小、角度及其他的信息，例如，计算成像装置相对于对象的空间位置关系。基于该位置关系，计算虚拟信息的显示位置和显示角度，且在其位置相对于成像装置固定的显示设备上显示虚拟信息，以使得用户可连同真实空间一起感知虚拟信息。

引用列表

专利文献

PTL1：日本专利申请公开第2007-75213号

PTL2：日本专利申请公开第2008-40556号

PTL3：日本专利申请公开第2007-272623号

PTL4：日本专利申请公开第2002-324239号

发明内容

技术问题

在标记AR的情形下，存在于真实空间中的标记被用作计算虚拟信息的显示位置和显示角度的基础。因此，具有能够相对容易地计算这些值的优点。另一方面，存在若干缺点，包括创建标记的时间和劳动强度、用于标记的放置空间的布置、标记随时间的劣化、由存在于真实空间中的标记造成的生理和心理压力、对标记的设计限制及其他。

另一方面，无标记AR具有不需要创建及放置标记以及适用于不允许设置标记的位置的优点。另一方面，例如，存在以下缺点：由于在宽广区域中及其周围建构空间模型以用于显示虚拟信息而使计算复杂化，需要高的计算能力，若计算能力不够则导致难以确保稳定性及高精确度且引起可能延迟。

此外，存在标记AR和无标记AR共有的如下问题。

-用户难以自由地操作虚拟信息(例如，位置移动、缩放及旋转)。即，需要暂时停止使用以改变现有标记的位置(在标记AR的情形下)且在程序上改变虚拟信息的显示位置。

-由于图像辨识与可见光照相机一起使用，因此不可能在太亮的地方中或在太暗的地方中进行图像辨识。另外，若挡住光源(太阳、电灯及其他)的遮挡物(shield)在现有对象的表面上产生强烈阴影(对比度)，则也引起问题。

如上所述，标记AR和无标记AR各自具有优点和缺点，且针对实际使用易做出改进。

考虑到如上所述的情况，期望以稳定性且高精确度显示虚拟信息。

问题的解决方案

本发明的示例性实施例涉及一种信息处理装置，包括：至少一个处理器，被配置为执行指令以：基于由输入装置投影在真实空间上的标记的空间位置产生对应于将虚拟信息叠加在真实空间上的叠加参数；以及使显示部在标记可检测时根据空间位置关系显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据标记的最后检测的空间位置继续叠加在真实空间上的虚拟信息的显示。

本发明的另一示例性实施例涉及一种信息处理装置，包括：接收器；及至少一个处理器，被配置为执行指令以：基于由输入装置投影在真实空间上的标记的空间位置接收对应于将虚拟信息叠加在真实空间上的叠加参数；以及使显示部在标记可检测时根据空间位置关系显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据标记的最后检测的空间位置继续叠加在真实空间上的虚拟信息的显示。

本发明的另一示例性实施例涉及一种系统，包括：第一信息处理装置，包括：第一处理器，被配置为执行指令以：基于由输入装置投影在真实空间上的标记的空间位置产生对应于将虚拟信息叠加在真实空间上的叠加参数；及第二信息处理装置，包括：第二处理器，被配置为执行指令以：使显示部在标记可检测时根据空间位置关系显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据标记的最后检测的空间位置继续叠加在真实空间上的虚拟信息的显示。

发明的有利效果

如上所述，根据本技术，可以稳定性且高精确度显示虚拟信息。

附图说明

[图1]图1是示出了根据本技术的第一实施例的信息处理系统的示意图。

[图2]图2是示出了包括多个头戴式显示器(HMD)的信息处理系统的示意图。

[图3]图3是示出了HMD的硬件配置和输入装置的硬件配置的框图。

[图4]图4是示出了用于执行第一处理的HMD的功能配置的框图。

[图5]图5是示意性地示出了根据变形实例9的信息处理系统的框图。

[图6]图6是示意性地示出了通过叠加参数产生部产生叠加参数的原理的示图。

[图7]图7是示出了HMD在第一处理中的操作的流程图。

[图8]图8是示出了使用标记AR示例性标记的示图。

[图9]图9是示出了用于执行第二处理的HMD的功能配置的框图。

[图10]图10是示出了HMD在第二处理中的操作的流程图。

[图11]图11是用于说明将由第二处理获得的效果的示图。

[图12]图12是用于说明第三处理的概述的示图。

[图13]图13是示出了用于执行第三处理的HMD的功能配置的框图。

[图14]图14是示出了HMD在第三处理中的操作的流程图。

[图15]图15是示出了第三处理的显示结果的示图。

[图16]图16是示意性地示出了标记的失真的示图。

[图17]图17是示出了根据本技术的第二实施例的信息处理系统的示意图。

[图18]图18是示出了根据第二实施例的HMD的硬件配置的框图。

[图19]图19是示出了由投影HMD进行的主要操作的流程图。

[图20]图20是示出了通过非投影HMD获得投影HMD的叠加参数的操作的流程图。

[图21]图21是示出了根据变形实例1的信息处理系统的示意图。

[图22]图22是示出了根据变形实例2的信息处理系统的示意图。

[图23]图23是示出了根据变形实例2的信息处理系统的硬件配置的框图。

[图24]图24是示出了根据变形实例3的信息处理系统的示意图。

[图25]图25是示出了根据变形实例4的信息处理系统的示意图。

[图26]图26是示出了根据变形实例4的信息处理系统的硬件配置的框图。

[图27]图27是示出了根据变形实例5的信息处理系统的示意图。

[图28]图28是示出了根据变形实例6的信息处理系统的示意图。

[图29]图29是示出了根据变形实例7的输入装置的透视图。

[图30]图30是示意性地示出了将由变形实例9实现的处理的示图。

[图31]图31是示意性地示出了将由变形实例9实现的处理的示图。

[图32]图32是示意性地示出了将由变形实例9实现的处理的示图。

具体实施方式

在下文中，通过参照附图来描述根据本技术的实施例。

<第一实施例>

(第一实施例的概述)

图1是示出了根据本技术的第一实施例的信息处理系统1的示意图。

此实施例中的信息处理系统1包括头戴式显示器(HMD)100(信息处理装置)及输入装置200(投影装置)。

HMD 100整体上呈眼镜的形状且可佩戴于用户U的头部上。HMD100包括在其被佩戴时将位于用户U的眼睛前方的显示部102及可至少使真实空间中用户U的视野范围成像的成像部101。显示部102具有透明性，且允许用户U透过显示部102感知真实空间，且同时图像可通过叠加在用户U所感知的真实空间中显示。HMD 100检测包括在由成像部101捕获的真实空间中的图像(真实图像)中且由输入装置200投影的标记M。基于所检测的标记M，计算虚拟信息I的叠加参数。该“叠加参数”是与将相对于真实空间叠加而显示的虚拟信息的格式相关的参数，且具体地，是虚拟信息I的位置、角度及大小。HMD 100基于所计算的叠加参数产生预定虚拟信息，且通过显示部102，虚拟信息I叠加在投影至用户U所感知的真实空间中的标记M上而显示。由用户提前利用为HDD 100设置的输入部(图3)输入将被显示为该虚拟信息I的内容的选择。

输入装置200具有使得由用户U的手握持的大小及形状。输入装置200设置有投影按钮201、缩放滑块202及电源按钮203。当用户U按压投影按钮201时，从投影窗204朝向真实空间中的投影目标T(例如，桌子)投影呈预定形状的图形形式作为标记M。该标记M的投影位置是HMD100对虚拟信息I的显示位置。此外，通过用户U在按压投影按钮201的同时使输入装置200移动，可操作虚拟信息I。例如，当通过用户U在按压投影按钮201的同时使输入装置200移动而使标记M的投影位置移动时，可使虚拟信息I移动(拖曳)。类似地，当用户U通过在按压投影按钮201的同时使输入装置200旋转来使标记M旋转时，可使虚拟信息I旋转。此外，当用户U在按压投影按钮201的同时操作缩放滑块202时，可放大/缩小(缩放)虚拟信息I。为了在虚拟信息I的显示期间显示任何其他新的虚拟信息，用户U停止按压投影按钮201，并使用为HMD 100设置的输入部(图3)输入作为新的虚拟信息而显示的内容的选择。此外，当用户U停止按压投影按钮201时，且此后当用户再次按压投影按钮201以将标记M叠加在正显示的虚拟信息I上时，虚拟信息I再次变为可供操作。

注意，信息处理系统1可包括分别由多个用户佩戴的多个HMD。

图2是示出了包括多个HMD 100A和100B的信息处理系统1的示意图。

多个HMD 100A和100B分别由多个用户U1和U2佩戴。用户U1使用输入装置200将标记M投影至真实空间中。从由HMD 100A的成像部101A捕获的真实图像，HMD 100A检测由佩戴HMD 100A的用户U1握持的输入装置200所投影的标记M且基于所检测的标记M而显示虚拟信息。从由HMD 100B的成像部101B捕获的真实图像，HMD 100B检测由不同于佩戴HMD 100B的用户U2的用户U1握持的输入装置200所投影的标记M且基于所检测的标记M而显示虚拟信息。

(HMD的硬件配置)

图3是示出了HMD 100的硬件配置和输入装置200的硬件配置的框图。

HMD 100包括CPU(中央处理单元)103、存储器104、成像部101、显示部102、输入部105、运动传感器(motion sensor)106、环境传感器107、第一传输器/接收器108、第二传输器/接收器109及内部电源110。存储器104、成像部101、显示部102、输入部105、运动传感器106、环境传感器107、第一传输器/接收器108及第二传输器/接收器109均连接至CPU 103。

CPU 103通过遵循储存于存储器104中的程序而执行各种处理。

成像部101能够至少对真实空间中用户的视野范围成像。例如，成像部101由诸如CMOS(互补金属氧化物半导体)图像传感器的成像组件及使该成像组件的输出经受A/D(模拟/数字)转换的A/D转换器配置。

例如，显示部102由LCD(液晶显示组件)及光学系统配置且经由该光学系统将由该LCD形成的图像呈现给用户。更具体地，显示部102能够在允许用户感知外部世界的同时以叠加在用户的视野上的形式显示LCD形成的图像。

输入部105由按钮、滑块、开关、拨号盘、触摸传感器及其他配置且能够通过用户操作将命令输入至CPU 103且输入用于作为虚拟信息显示的内容的选择。

例如，运动传感器106是加速度传感器、陀螺仪传感器及磁性传感器且能够检测HMD 100的移动。

例如，环境传感器107能够检测照度及温度/湿度。

第一传输器/接收器108是诸如Bluetooth(商标)及Wi-Fi(商标)的中/高速短程无线传输器/接收器且执行与输入装置200的信息交换。

第二传输器/接收器109是诸如3G(第三代)及WiMAX(全球微波存取互通，商标)的中程无线传输器/接收器且通过连接至诸如因特网及LAN(局域网络)的网络N下载将作为虚拟信息显示的内容。

(输入装置的硬件配置)

参照图3，输入装置200包括CPU 212、存储器205、输入部206、运动传感器207、第三传输器/接收器208、调制部209、投影部210及内部电源211。存储器205、输入部206、运动传感器207、第三传输器/接收器208、调制部209及投影部210均连接至CPU 212。

CPU 212通过遵循储存于存储器205中的程序而执行各种处理。注意，作为CPU的替代方案，可使用MPU(微处理单元)。

输入部206由按钮、滑块、开关、拨号盘、触摸传感器及其他(诸如投影按钮201、缩放滑块202及电源按钮203)配置且能够通过用户操作将命令输入至CPU 212。

例如，运动传感器207是加速度传感器、陀螺仪传感器及磁性传感器且能够检测输入装置200的移动。

第三传输器/接收器208是诸如Bluetooth(商标)及Wi-Fi(商标)的中/高速短程无线传输器/接收器且执行与HMD 100的信息交换。

调制部209将由CPU 212处置的数字数据调制成可由投影部210投影的光学信号。

投影部210由能够从投影窗204(图1)朝向真实空间中的投影目标(墙壁、桌子及其他)投影呈预定形状的图形形式作为标记的激光指示器或激光投影器配置。用作激光指示器的是点显示类型(红色、绿色、蓝色)、射束可变类型(扫描仪类型、透镜类型、全息图类型)、紫外线类型、红外线类型或其他。例如，用作激光投影器的是配备有MEMS(微机电系统)扫描仪且能够通过使激光光线以高速度沿横向方向移动自顶部依序扫描进行图像投影的装置。

(将由HMD执行的处理)

HMD 100能够执行以下三个处理。

1、相对于包括于通过成像获得的真实图像数据中的标记显示虚拟信息的处理，以及当由于标记的消失或由于因用户操作而在真实图像数据中不再存在标记而停止对虚拟信息的叠加参数的计算/更新处理时及当此后使成像部移动时显示虚拟信息而不会引起用户感觉不舒适的处理(第一处理)。

2、当多个用户正经由其HMD观看相同对象时由HMD中的每一个以相似的角度、位置、大小及其他显示虚拟信息的处理(第二处理)。

3、当存在(例如)若基于标记显示虚拟信息则引起用户感觉不舒适的可能性时以用户不太可能感觉不舒适的状态显示虚拟信息的处理(第三处理)。

<第一处理>

(第一处理的概述)

为了解决标记AR及无标记AR的上述问题中的每一个，例如，提出一种通过使用固定激光投影器投影标记来利用标记AR的优点而不使用实体标记的方法。然而，此方法具有以下问题。

-由于必需准备诸如投影器及固定点照相机的额外设备而关于放置位置是特定的。

-由于在使用之前必需检验(prove)执行详细空间扫描的步骤而在实时性能上是很差的。

-由于必需在宽的区域中建构空间模型而使计算复杂化。

另一方面，提出一种通过用户手持便携式激光指示器投影标记来解决关于放置位置的上述问题的方法(专利文献2及专利文献3)。

根据专利文献2，成像装置及便携式激光指示器的每一个检测其在空间中的位置及姿态。在由成像装置捕获的图像中的激光指示器(laserpointer)的指示点与依据激光指示器的空间位置和成像装置的空间位置估计的虚拟指示点之间的匹配的情形下，计算虚拟信息的叠加位置。然而，此方法具有以下问题。

-由于必需在宽的区域中建构空间模型而使空间的测量及计算复杂化。

-由于必需还计算激光指示器的姿态及成像装置的姿态而使计算复杂化且难以确保稳定性及良好精确度。

根据专利文献3，使用便携式激光指示器至少朝向投影目标(例如，墙壁)的三个部分投影指示点。基于这些指示点，计算的是激光指示器与投影目标之间的距离、方向及显示坐标。然而，此方法具有以下问题。

-在整体配置激光指示器与投影装置的形式中(专利文献3的图1及图19)，为了在特定位置处无运动地显示虚拟信息，由于必需使激光指示器始终保持于相同姿态而引起用户的疲劳。此外，由于手抖动而引起难以使虚拟信息在显示器上的位置稳定。

-在虚拟信息的显示期间必需连续地投影指示点，因为若停止指示点的投影，则不能计算虚拟信息的显示位置。此外，不能够单独地操作多条虚拟信息。

-为了应对这些问题，假设处理方式是当停止指示点的投影时在最后显示的位置处继续显示虚拟信息。然而，若在这种情况下成像部(用户携载成像部)甚至轻微地移动或旋转，对于用户而言虚拟信息的位置、角度及其他也不再准确，因为虚拟信息的位置、角度及其他并不改变。

考虑到如上情况，在根据本技术的此实施例的第一处理中，即使由于标记的消失或由于因用户操作而在真实图像数据中不再存在标记而停止对虚拟信息的叠加参数的计算/更新处理及即使此后使成像部移动，仍显示虚拟信息而不会使户感觉不舒适。更具体地，显示利用紧接在停止计算之前(在最后检测到标记的时间点)的真实空间与叠加的虚拟信息之间的所保持的相对位置而继续。

(用于执行第一处理的HMD的功能配置)

图4是示出了用于执行第一处理的HMD 100的功能配置的框图。

HMD 100包括成像部101、三维配置估计部120、标记检测部121、叠加参数产生部122、转换矩阵计算部123、图像数据产生部124及显示部102。

成像部101捕获真实空间的图像且获得真实图像数据。成像部101将所获得的真实图像数据提供至三维配置估计部120及标记检测部121。

三维配置估计部120使用所谓的场景映射(移动立体(mobile stereo))技术来估计真实空间的三维配置。即，三维配置估计部120(特征点检测部)从由成像部101提供的真实图像数据检测的多个特征点(角点)。在成像部101的视野移动期间，三维配置估计部120继续实时检测特征点(继续保持追踪(执行追踪)特征点)。

在一般三维配置估计技术的情形下，使用两个照相机(立体照相机)，获得右立体视频及左立体视频。另一方面，该实施例中的三维配置估计部120通过使用一部移动照相机(成像部101)进行分时成像而通过追踪特征点按时间顺序建立链接来计算立体视频。

依据此立体视频，三维配置估计部120估计真实空间的三维配置且将估计结果提供至叠加参数产生部122。

通过返回参照图4，从由成像部101获得的真实图像数据，标记检测部121(图形形式检测部)检测由输入装置200投影的标记(图形形式)。提前给标记检测部121登记关于参考标记的信息。该“参考标记”是呈针对其中远离其预定距离地沿垂直方向投影标记的情况下提前确定的参考形状的标记。“关于参考标记的信息”是关于参考标记的大小、顶点之间的距离、每一侧边的长度及其他。基于参考标记的大小，标记检测部121产生平面坐标转换矩阵且使用该平面坐标转换矩阵对所检测标记执行坐标转换，其中，通过所述平面坐标转换矩阵，从真实图像数据检测的标记示出与参考标记的形状匹配。此后，标记检测部121对坐标转换的标记执行与参考标记的图案匹配，由此确定所检测的标记与参考标记之间的匹配程度。标记检测部121将确定结果提供至叠加参数产生部122。

对于示出预定的匹配程度的标记，基于与参考标记相比标记的失真，叠加参数产生部122计算成像部101相对于投影在投影目标(墙壁、桌子及其他)上的标记的空间位置关系，即，角度及距离。此外，如图6中所示，叠加参数产生部122通过轮廓提取计算示于图6的左上部分中的标记M的坐标系。基于成像部101相对于标记的上述空间位置关系，叠加参数产生部122计算虚拟信息的叠加参数以具有图6的右部分中示出的坐标系，图6的左上部分中所示的标记M的坐标系与图6的左下部分中示出的提前设定的虚拟信息I的坐标系之间匹配。如此，下文中，将基于成像部101相对于标记的空间位置关系(第一位置关系)而产生的叠加参数称为“第一叠加参数”。基于由运动传感器106检测的HMD 100的位置与由输入装置200的运动传感器106检测的输入装置200的位置之间的关系，叠加参数产生部122校正第一叠加参数以使得对于用户更自然地显示虚拟信息。此外，叠加参数产生部122基于用户的眼睛与显示部102之间的位置关系而校正第一叠加参数。另外，叠加参数产生部122通过保持虚拟信息相对于真实空间的空间位置关系(第二位置关系)计算虚拟信息的叠加参数，以便具有由三维配置估计部120估计的真实空间的三维配置的坐标系与在显示的虚拟信息的坐标系之间的匹配。下文中，将如上被产生以具有真实空间的三维配置的坐标系与在显示的虚拟信息的坐标系统之间的匹配的叠加参数称为“第二叠加参数”。注意，当不需要区分第一叠加参数与第二叠加参数时，将其简称为“叠加参数”。

转换矩阵计算部123使用第一叠加参数产生用于将参考标记的坐标系转换成参考真实空间中的成像部101的坐标系的空间坐标转换矩阵。图像数据产生部124使用由转换矩阵计算部123提供的空间坐标转换矩阵来使提前记录的虚拟信息的对象数据经受坐标转换。以此方式，图像数据产生部124计算(渲染)在参考成像部101的坐标系的虚拟信息的对象图像数据。

此外，转换矩阵计算部123使用第二叠加参数产生用于将在显示的虚拟信息的坐标系转换成真实空间的三维配置的坐标系的空间坐标转换矩阵。图像数据产生部124使用由转换矩阵计算部123提供的空间坐标转换矩阵来使虚拟信息的对象数据经受坐标转换。

图像数据产生部124将虚拟信息的所产生的对象图像数据提供至显示部102。

显示部102显示由转换矩阵计算部123提供的虚拟信息的对象图像数据。

(HMD在第一处理中的操作)

图7是示出了HMD 100在第一处理中的操作的流程图。

当CPU 103执行预定的初始化处理(步骤S101)时，成像部101捕获真实空间的图像且获得真实图像数据(步骤S102)。成像部101将所获得的真实图像数据提供至三维配置估计部120及标记检测部121。三维配置估计部120从真实图像数据检测多个特征点(步骤S103)。在成像部101的视野移动期间，三维配置估计部120也继续实时检测特征点(继续保持追踪(执行追踪)特征点)(步骤S104)。三维配置估计部120通过使用一部移动照相机(成像部101)进行分时成像而通过追踪特征点按时间顺序建立链接来计算立体视频。从该立体视频，三维配置估计部120估计真实空间的三维配置且将估计结果提供至叠加参数产生部122(步骤S105)。

描述了当用于虚拟信息的显示部102尚未显示虚拟信息时或当其已显示虚拟信息时及当虚拟信息叠加在真实空间上而显示时的情况(步骤S106中的“否”)。在该情况下，从由成像部101获得的真实图像数据(步骤S102)，标记检测部121检测由输入装置200投影的标记(在步骤S107中的“是”)。基于参考标记的大小，标记检测部121产生平面坐标转换矩阵且使用该平面坐标转换矩阵对所检测的标记执行坐标转换，其中，通过所述平面坐标转换矩阵，从真实图像数据检测的标记示出与参考标记的形状的匹配。此后，标记检测部121对坐标转换的标记执行与参考标记的图案匹配，由此确定所检测的标记与参考标记之间的匹配程度(步骤S108)。标记检测部121将确定结果提供至叠加参数产生部122。

对于示出预定匹配程度(步骤S108中的“是”)的标记，基于与参考标记相比标记的失真，叠加参数产生部122估计成像部101相对于标记的空间位置关系。更具体地，叠加参数产生部122计算成像部101相对于投影在投影目标(例如，墙壁)上的标记的空间位置关系(第一位置关系)，即，角度及距离。此外，叠加参数产生部122计算虚拟信息的第一叠加参数以便具有标记的坐标系与虚拟信息的坐标系之间的匹配(步骤S109)。此后，叠加参数产生部122校正第一叠加参数以使得对于用户更自然地显示虚拟信息(步骤S110)。

转换矩阵计算部123使用第一叠加参数产生用于将参考标记的坐标系转换成参考真实空间中的成像部101的坐标系的空间坐标转换矩阵(步骤S111)。图像数据产生部124使用由转换矩阵计算部123提供的空间坐标转换矩阵来使提前记录的虚拟信息的对象数据经受坐标转换。以此方式，图像数据产生部124计算(渲染)在参考成像部101的坐标系中的虚拟信息的对象图像数据(步骤S112)。图像数据产生部124将所产生的虚拟信息的对象图像数据提供至显示部102。显示部102显示所提供的虚拟信息的对象图像数据(步骤S113)。此后，重复地执行从针对下一帧的获得真实空间中的图像数据(步骤S102)至显示虚拟信息的对象图像数据(步骤S113)的程序。

接下来，描述了用于虚拟信息的显示部102已显示虚拟信息但未从真实图像数据检测到叠加虚拟信息的标记的情况(步骤S106中的“是”)。从真实图像数据检测到标记的这种情况在(例如)由于用户已使输入装置200移动而将标记投影在用于成像部101的成像空间外部时或在(例如)用户在相对于输入装置200的输入操作期间有意地停止标记的投影时发生。若从真实图像数据中没有检测到标记，则不基于标记对第一叠加参数执行计算/更新处理(例如，步骤S109)。另外，当在不再从真实图像数据检测到标记之后通过用户的移动而使成像部101移动时，在用户的视野中真实空间的场景改变，但在显示空间中虚拟信息的位置及角度不改变。因此，虚拟信息仍然以使用户感觉不舒适的位置及角度显示。考虑到此，在第一处理中，通过实时检测真实空间中的特征点(步骤S103)，假定在真实图像数据中不再存在标记之后紧接在停止基于标记计算第一叠加参数之前(在最后检测到标记的时间点)以相对于真实空间保持的虚拟信息的空间位置关系(第二位置关系)继续地显示虚拟信息。

即，叠加参数产生部122计算虚拟信息的第二叠加参数以具有由三维配置估计部120估计的真实空间的三维配置的坐标系(步骤S105)与在显示的虚拟信息的坐标系之间的匹配(步骤S114)。此后，叠加参数产生部122类似于步骤S110而校正第二叠加参数(步骤S115)。

转换矩阵计算部123使用第二叠加参数产生用于将在显示的虚拟信息的坐标系转换成真实空间的三维配置的坐标系的空间坐标转换矩阵(步骤S116)。图像数据产生部124使用由转换矩阵计算部123提供的空间坐标转换矩阵来使虚拟信息的对象数据经受坐标转换。以此方式，图像数据产生部124计算(渲染)真实空间的三维配置的坐标系统中的虚拟信息的对象图像数据(步骤S117)。图像数据产生部124将所产生的虚拟信息的对象图像数据提供至显示部102。除此之外，当已显示虚拟信息但存在任何消失的叠加虚拟信息的标记(在步骤S118中的“是”)时，重复步骤S114之后的处理。

(第一处理的效果)

如上所述，根据第一处理，预期如下的效果。

1、当显示部已显示虚拟信息时但当从真实图像数据没有检测到叠加虚拟信息的标记时，对于虚拟信息的叠加参数，难以使用标记作为对第一叠加标记执行计算/更新处理的基础。另外，当在不再从真实图像数据检测到标记之后通过用户的移动而使成像部移动时，在用户的视野中真实空间的场景改变，但在显示空间中虚拟信息的位置及角度没有改变。因此，虚拟信息仍然以使用户感觉不舒适的位置及角度显示。

然而，在第一处理中，计算/更新虚拟信息的第二叠加参数以实时检测真实空间中的特征点且具有真实空间的三维配置的坐标系与在显示的虚拟信息的坐标系之间的匹配。因此，可在真实图像数据中不再存在标记之后紧接在停止基于标记计算第一叠加参数之前(在最后检测到标记的时间点)以相对于真实空间被保持的虚拟信息的空间位置关系来继续显示虚拟信息。此外，可由等效于标记AR的简单计算/系统来实施通常需要高计算能力及复杂硬件系统/设备的无标记AR系统。

2、在作为标记AR的实例的最流行的“ARToolKit”中所使用的实体标记中，如图8中所示，在由正方形黑框包围的白色区域中显现的任意图案(在示图中所示的实例中为“AR”)。使用黑框来检测标记，且根据白色区域中的图案来识别标记。因此，“ARToolKit”的AR标记对设计具有如下限制。

-整体上形状为正方形

-沿正方形的宽度或高度方向在黑框：白色区域：黑框中具有基本上为25％:50％:25％且至少3:14:3的比率

-白色区域中的图案相对于一点/线不对称且不由细线绘制

-在标记周围必需具有余量以在二元化时明确地区别黑框。

然而，在于第一处理中通过激光投影做出的标记的情况下，S/N(信号/噪声)值可以是非常高的，从而消除了对色彩(黑色/白色)的受限使用、细线的受限制使用及其他的限制。此外，由于设置余量是为了与背景分离，因此在第一处理中通过激光投影做出的标记不再必需包括余量部分。以此方式，与物理地设置在真实空间中的标记相比，可提高标记的设计灵活性。

3、使用包括是激光指示器或激光投影器的投影部的输入装置操作在HMD上显示的虚拟信息。因此，用户可以直观地且容易地执行操作。

4、本技术适用于如下用途。通过将标记投影在存在于真实空间中的墙壁及窗上，可将用于虚拟信息的投影目标设定为任何任意墙壁及窗，且任意墙壁及窗可以被用作虚拟的投影器屏幕及白板。如下示例特定应用。

-在大屏幕上显示视频图像及天象仪图像(planetarium image)。

-在办公室的隔断上或在墙壁上呈现虚拟便利贴及文件。

-在大屏幕上显示及移动多个虚拟便利贴。

此外，通过使输入装置移动，自由地控制叠加虚拟信息的位置。如下示例特定应用。

-通过操作输入装置像牵着一样遛作为虚拟信息的虚拟宠物。

<第二处理>

(第二处理的概述)

通过参照图2，描述了多个HMD 100的每一个基于由用户使用输入装置200投影的标记显示虚拟信息的情况。注意，在以下描述中，将由握持用于标记投影的输入装置200的用户佩戴的HMD称为“投影HMD”，且将由未握持用于标记投影的输入装置200的用户佩戴的HMD称为“非投影HMD”。用户U1(第一用户)使用输入装置200朝向投影目标投影标记M。接下来，假定由另一用户U2(第二用户)佩戴的非投影HMD 100B相对于标记M显示虚拟信息，由此将虚拟信息呈现给第二用户U2的情况。在该情况中，第二用户U2的非投影HMD 100B使包括由第一用户U1的输入装置200投影的标记M的真实空间成像，且使用此真实图像，计算虚拟信息的叠加参数。

因此，例如，存在引起如下问题的可能性。假定由第一用户U1投影的标记M呈不同于投影目标上的参考标记的形状的失真形状。若第二用户U2的非投影HMD 100B使标记M成像，则其意谓不仅标记M已呈失真形状，而且其是从不同于握持执行投影的输入装置200的第一用户U1的位置成像的。因此，对于通过非投影HMD 100B计算叠加参数，存在使通过非投影HMD 100B进行的计算复杂化的可能性，因为(例如)需要将失真的标记M校正为呈参考标记的形状且在校正之后计算相对于标记的叠加参数。因此，该计算花费时间，且第二用户U2难以实时观看实际上正由第一用户U1观看的对象。即，存在引起投影HMD 100A的显示结果与非投影HMD 100B的显示结果之间的时间滞后的可能性。此外，由于计算是复杂的，因此存在消弱由非投影HMD 100B进行的计算的正确性(即，引起投影HMD 100A的显示结果与非投影HMD 100B的显示结果之间的空间偏差)的可能性。因此，存在引起实际上正由第二用户U2观看的对象的角度、位置及大小与实际上正由第一用户U1观看且假定为也正由第二用户U2观看的对象的角度、位置及大小的差的可能性。

另一方面，根据专利文献4，为通过某一投影器(第一投影器)将一对象作为虚拟信息显示，通过另一投影器(第二投影器)在投影目标(例如，屏幕)上投影标记图像。本文中，预先设定第二投影器与投影目标之间的位置关系。通过成像装置(固定点照相机)，使此标记成像，且基于成像数据而计算将被显示的对象的位置、角度及大小以使得所述对象由第一投影器显示在投影目标上。然而，专利文献4的技术具有以下问题。

-由于必需准备诸如第二投影器及成像装置(固定点照相机)的额外设备而关于供使用的位置是特定的。

-由于针对第一投影器及投影目标进行位置固定的必要性而关于供使用的位置是特定的。

-第一投影器仅用于投影标记是浪费的。

考虑到如上情况，当多个用户正通过其HMD从其各个位置观看相同对象时，根据本技术的此实施例的第二处理更容易且可靠地执行每一HMD以相似的角度、位置及大小对虚拟信息的显示。

(用于执行第二处理的HMD的功能配置)

图9是示出了用于执行第二处理的HMD 100的功能配置的框图。

HMD(投影HMD及非投影HMD)100包括成像部101、标记检测部121、叠加参数产生部122、标记校正部125、转换矩阵计算部123、图像数据产生部124、显示部102及第一传输器/接收器108。

在下文中，与已经描述的配置、功能及其他类似的配置、功能及其他将不再描述或不再全部描述，且主要描述不同之处。

基于与参考标记相比标记的失真，标记校正部125估计成像部101相对于标记的空间位置关系。具体地，标记校正部125(角度获得部)计算成像部101相对于投影在投影目标(例如，桌子)上的标记的空间位置关系，即，成像部101相对于投影目标的角度及距离(由输入装置200投影的标记图像的光轴与真实场景中的投影目标的表面之间的角度及距离)。基于所计算的角度及距离，标记校正部125产生用于将具有失真的所检测的标记校正为具有参考标记的形状的平面坐标转换矩阵。标记校正部125使用该平面坐标转换矩阵对所检测的标记执行坐标转换，由此计算校正的标记。此“校正的标记”是当其从输入装置200的当前位置朝向投影目标投影时可呈投影目标上的参考标记的形状的标记。标记校正部125(失真创建部)使用第一传输器/接收器108将所计算的校正的标记通知给输入装置200。以此方式，输入装置200变为能够停止投影失真的标记且开始投影校正的标记。此外，标记校正部125向标记检测部121通知校正的标记被通知给输入装置200。

(HMD在第二处理中的操作)

图10是示出了HMD 100在第二处理中的操作的流程图。

CPU 103执行预定初始化处理(步骤S201)并确定其HMD是否是投影HMD，即，标记是否由佩戴HMD的用户握持的输入装置200来投影(步骤S202)。具体地，例如，HMD 100可提前登记有佩戴其HMD的用户所拥有的输入装置200的装置ID，且CPU 103可使用第一传输器/接收器108来关于是否执行标记投影而查询由装置ID识别的输入装置200。可选地，用户可对输入部105做出关于由此用户握持的输入装置200是否投影标记的输入。

首先，描述了投影HMD的操作(在步骤S202中的“是”)。类似于步骤S102、S107及S108，投影HMD获得真实图像数据(步骤S203)、执行标记检测(在步骤S204中的“是”)且确定匹配程度(步骤S205)。标记检测部121将关于标记匹配程度的确定结果提供至标记校正部125。

对于示出预定匹配程度的标记(在步骤S205中的“是”)，标记校正部125基于与参考标记相比标记的失真而估计成像部101相对于标记的空间位置关系。具体地，标记校正部125(角度获得部)计算成像部101相对于投影在投影目标(例如，桌子)上的标记的角度及距离(由输入装置200投影的标记图像的光轴与真实场景中的投影目标的表面之间的角度及距离)(步骤S206)。基于所计算的角度及距离，标记校正部125产生用于将具有失真的所检测的标记校正成参考标记的形状的平面坐标转换矩阵(步骤S207)。标记校正部125使用该平面坐标转换矩阵对所检测的标记执行坐标转换，由此计算校正的标记(步骤S208)。标记校正部125(失真创建部)使用第一传输器/接收器108将所计算的校正的标记通知给输入装置200(步骤S209)。以此方式，输入装置200变为能够停止投影失真的标记且开始投影校正的标记。此外，标记校正部125向标记检测部121通知校正的标记被通知给输入装置200。

在标记校正部125将校正的标记通知给输入装置200(步骤S209)之后，获得真实图像数据(步骤S210)，检测校正的标记(在步骤S211中为“是”)，且确定关于校正的标记的匹配程度(步骤S212)。标记检测部121将确定的结果提供至叠加参数产生部122。此后，类似于步骤S109至S113，计算并校正第一叠加参数(步骤S213及S214)，产生坐标转换矩阵(步骤S215)，且计算并显示对象图像数据(步骤S216及S217)。

另一方面，非投影HMD(步骤S202中的“否”)执行步骤S210至S217中的处理。本文中，当待检测的标记(步骤S211中的“是”)是校正的标记时，其意味着非投影HMD基于呈参考标记的形状的校正标记而计算第一叠加参数。

(第二处理的效果)

如上所述，在第二处理的情形下，预期以下效果。

1、如图11中所示，由第一用户U1投影的校正标记M'在投影目标上呈无失真的参考标记的形状。因此，针对通过第二用户U2的非投影HMD100B计算叠加参数，不需要将失真的标记(图2的M)校正为呈参考标记的形状，且仅需要计算相对于校正标记M’的叠加参数以使得由非投影HMD 100B进行的计算量可以是小的。因此，计算所花费的时间可以是短的，由此允许第二用户U2实时观看实际上正由第一用户U1观看的对象。即，此几乎不引起投影HMD 100A的显示结果与非投影HMD 100B的显示结果之间的时间滞后，且即使引起时间滞后，该时间滞后的值也可小至忽略不计。此外，由非投影HMD 100B进行的计算仍然正确。即，几乎不引起投影HMD 100A的显示结果与非投影HMD 100B的显示结果之间的空间偏差。因此，当由第一用户U1操作的虚拟信息由多个用户观看时，将由分别由所述用户佩戴的HMD显示的对象在角度、位置及大小上表现出极少偏差。

可选地，叠加参数产生部122可基于成像部101相对于投影在投影目标(例如，桌子)上的标记的角度及距离(由输入装置200投影的标记图像的光轴与真实场景中的投影目标的表面之间的角度及距离)而产生叠加参数(步骤S206)。

<第三处理>

(第三处理的概述)

若不考虑在其上投影标记的投影目标的类型及位置而显示虚拟信息，如图12中所示，则可引起以下显示状态。

-当将标记投影在桌子10的拐角处时，虚拟信息部分地离开桌子10且被显示为犹如其漂浮在空中(附图中的A)。

-当将标记投影在隔断11上时，若在标记的投影位置的附近存在诸如椅子12或桌子10的任何其他对象，则虚拟信息部分地显示在该对象上(附图中的B)。

-在将标记投影在相对小尺寸的隔断11上的尝试中，若标记未被投影在隔断11上而是被投影在位于远处的墙壁13上，则虚拟信息显示在位于远处的墙壁13上(附图中的C)。

-当将标记投影在过于靠近用户的位置处时，虚拟信息显示在显示部102难以在硬件性能方面良好地形成图像的位置处(附图中的D)。

在如上所述的状态中，存在用户可感觉不舒适或烦恼或感觉生理疼痛(例如，眼睛疲劳)的可能性。

考虑到如上所述的情况，在根据本技术的此实施例的第三处理的情况下，当存在若基于标记显示虚拟信息则使用户感觉不舒适或其他的可能性时，例如，以几乎不引起用户感觉不舒适的可能性的状态显示虚拟信息。具体地，通过遵循预定规则，做出当虚拟信息叠加在真实空间上而显示时该虚拟信息的内容是否违背自然法则及/或是否满足预期视觉质量的条件的确定，且当其违背时，则取消虚拟信息的显示。

(用于执行第三处理的HMD的功能配置)

图13是示出了用于执行第三处理的HMD 100的功能配置的框图。

HMD 100包括成像部101、标记检测部121、叠加参数产生部122、标记位置确定部126、转换矩阵计算部123、图像数据产生部124及显示部102。

标记位置确定部126确定由标记检测部121检测的标记相对于真实空间的空间位置关系(第三位置关系)且将确定结果提供至叠加参数产生部122。

(HMD在第三处理中的操作)

图14是示出了HMD 100在第三处理中的操作的流程图。

当CPU 103执行预定的初始化处理(步骤S301)时，成像部101获得真实图像数据(步骤S302)。成像部101将所获得的真实图像数据提供至标记检测部121及标记位置确定部126。类似于步骤S107，标记检测部121检测标记(步骤S303中的“是”)且将检测结果提供至叠加参数产生部122及标记位置确定部126。此后，类似于步骤S108至S110，确定匹配程度(步骤S304)，且计算并校正第一叠加参数(步骤S305及S306)。

基于由成像部101提供的真实图像数据及由标记检测部121检测的标记，标记位置确定部126确定标记相对于真实空间的空间位置关系且将确定结果提供至叠加参数产生部122。当由标记位置确定部126提供的确定结果指示建立了预定的位置关系时(步骤S307中的“是”)，叠加参数产生部122(第二虚拟信息显示控制部)不将所产生(步骤S305及S306)的第一叠加参数提供至转换矩阵计算部123。因此，不执行通过此第一叠加参数进行的显示处理。另一方面，当未建立预定的位置关系时(步骤S307中的“否”)，叠加参数产生部122将所产生(步骤S305及S306)的第一叠加参数提供至转换矩阵计算部123。

该“预定的位置关系”是当虚拟信息叠加在真实空间上而显示时其内容违背自然法则及/或不满足预期视觉质量的条件的位置关系。“违背自然法则及/或不满足预期视觉质量的条件的位置关系”是当虚拟信息叠加在真实空间上而显示时用户可感觉不舒适或烦恼或感觉生理疼痛(例如，眼睛疲劳)的位置关系。作为“违背自然法则及/或不满足预期视觉质量的条件的位置关系”，具体地，如图12中所示，如下示例的以下位置关系。

-在其上投影标记的目标(桌子、墙壁及其他，且下文中称为“投影目标”)的轮廓与标记之间的最短距离小于预定值(图12中A)。或者，标记的至少一部分迭覆在投影目标的轮廓上。

-在距标记的预定距离范围内存在诸如柱子、椅子、桌子及其他的任何其他对象(图12中的B)。

-标记与成像部101之间的距离等于或大于预定值(标记过于远)(图12中的C)。

-标记与成像部101之间的距离小于预定值(标记过于近)(图12中的D)。

通过返回参照图14，在获得第一叠加参数(步骤S307中的“否”)之后，类似于步骤S111至S113，转换矩阵计算部123产生坐标转换矩阵(步骤S308)，且计算并显示对象图像数据(步骤S309及S310)。当存在各自佩戴HMD 100的多个用户时，HMD 100将其装置ID及其叠加参数传输至其他HMD 100(步骤S311)。

注意，当步骤S307中的确定结果示出建立了预定位置关系时(步骤S307中的“是”)，可由图像数据产生部124(第二虚拟信息显示控制部)执行以下处理。

-如图15中所示，删除在显示的虚拟信息。

-另外，如图15中所示，将虚拟信息减小大小或图标化以产生用于在视野中的安全区域S上显示的图像数据Ia、Ib、Ic及Id。此“安全区域”可以是几乎不引起对存在于真实空间中的对象的干扰的位置、在显示部102可形成图像的范围之前的位置(在视野范围内或下面)、在不妨碍视野的视野范围的末端部分处的位置及其他。

-当在其上投影标记的目标(桌子、墙壁及其他，且下文中称为“投影目标”)的轮廓与标记之间的最短距离小于预定值(图12中的A)时，或当标记的至少一部分迭覆在投影目标的轮廓上时，可执行以下处理。当输入装置是可投影任何任意图形形式的诸如激光投影器的装置时，所投影标记在大小及形状上改变以对应于将被显示的虚拟信息的大小及形状。以此方式，允许用户直观地了解真实空间与虚拟信息之间的干扰的可能性。作为实例，如图16中所示，在已投影标记M1且显示虚拟信息II的状态下(其图16的左部分中示出)，假定用户的输入操作将虚拟信息II的定向及姿态改变为虚拟信息12的定向及姿态(虚拟信息II被旋转)。在这种情况下，标记Ml的旋转之后的标记Ml'被改变为经定形而迭覆在虚拟信息12的大部分上的标记M2(这在图16的右部分中示出)。以此方式，允许用户直观地了解标记的至少一部分是否迭覆在投影目标的轮廓上。

(第三处理的效果)

如上所述，在第三处理的情形下，预期以下效果。

1、当存在若基于标记显示虚拟信息则使用户感觉不舒适或烦恼或感觉生理疼痛(例如，眼睛疲劳)的可能性时，例如，可以几乎不引起使用户感觉不舒适的可能性的状态显示虚拟信息。

<第二实施例>

(第二实施例的概述)

第二实施例可实施在第一实施例中的第二处理中执行的由多个HMD(投影HMD、非投影HMD)对虚拟信息的显示且可获得类似于第二处理的效果。

图17是示出了根据本技术的第二实施例的信息处理系统2的示意图。

在该实施例中，投影HMD 100A的叠加参数由多个非投影HMD 100B及100C通过无线通信共享。通过使用投影HMD 100A的叠加参数，非投影HMD 100B及100C校正HMD 100B及100C的叠加参数。以此方式，同样在第二实施例中，当多个用户观看由单个用户操作的虚拟信息时，将由用户所佩戴的HMD(投影HMD、非投影HMD)显示的对象在角度、位置及大小上发生较少失真。

(HMD的硬件配置)

图18是示出了根据第二实施例的HMD(投影HMD、非投影HMD)100a的硬件配置的框图。

除第一实施例(图3)中的HMD 100的硬件配置以外，HMD 100a也包括第四传输器/接收器111。

第四传输器/接收器111是诸如Bluetooth(商标)及红外线的短程无线传输器/接收器且执行与任何其他HMD 100a的信息交换。更具体地，第四传输器/接收器111(传输部)执行至/自非投影HMD 100a传输/接收处理以用于投影HMD 100a与非投影HMD 100a对叠加参数的共享使用。

(由HMD进行的操作)

首先，描述(1)投影HMD 100a的操作，且接下来，描述(2)非投影HMD 100a的操作。

((1)由投影HMD进行的操作)

图19是示出了投影HMD 100a的主要操作的流程图。

当CPU 103执行预定的初始化处理(步骤S401)时，类似于步骤S102及步骤S107至S113，投影HMD 100a获得真实图像数据(步骤S402)、执行标记检测(步骤S403)、确定标记匹配程度(步骤S404)、计算并校正叠加参数(步骤S405及S406)、产生坐标转换矩阵(步骤S407)、计算对象图像数据(步骤S408)以及显示对象图像数据(步骤S409)。此后，投影HMD 100a使用第四传输器/接收器111(传输部)将HMD 100a的装置ID及在步骤S406中获得的叠加参数传输至其他HMD 100a(步骤S410)。以此方式，投影HMD 100a的叠加参数由非投影HMD 100a共享。

((2)由非投影HMD进行的操作)

图20是示出了非投影HMD 100a获得投影HMD 100a的叠加参数的操作的流程图。

CPU 103执行预定的初始化处理(步骤S501)，且第四传输器/接收器111接收由投影HMD 100a传输(步骤S410)的装置ID及叠加参数(步骤S502中的“是”)。CPU 103将所获得(步骤S503)的装置ID及叠加参数存储于存储器104中(步骤S504)。

由非投影HMD 100a进行的主要操作类似于由投影HMD 100a进行的主要操作(步骤S401至S410)，且通过参照图19的流程图仅描述不同之处。在步骤S406中，非投影HMD 100a的叠加参数产生部122(校正部)基于存储(步骤S504)于存储器104中的投影HMD 100a的叠加参数而校正叠加参数。

注意，可相对于主处理(步骤S401至S410)通过中断或多线程执行非投影HMD 100a获得投影HMD 100a的叠加参数的操作(步骤S501至S504)。此外，当在开始操作时或在操作期间用户的位置移动很大时，多个用户都可执行将标记投影在投影目标的任意位置处的校准步骤。

(第二实施例的效果)

如上所述，根据第二实施例，预期以下效果。

1、非投影HMD基于投影HMD的叠加参数校正基于HMD本身与在其上投影标记的投影目标(例如，墙壁)之间的角度及距离而计算的叠加参数。这允许由非投影HMD进行的计算保持正确，即，几乎不引起投影HMD的显示结果与非投影HMD的显示结果之间的空间偏差。因此，即使多个用户观看由单个用户操作的虚拟信息，将由用户所佩戴的HMD显示的对象在角度、位置及大小上发生较少失真。

<变形实例1>

变形实例1可实施在第二实施例中的第二处理中执行的由多个HMD(投影HMD、非投影HMD)对虚拟信息的显示且可获得类似于第二处理的效果。

图21是示出了根据变形实例1的信息处理系统2a的示意图。

为虚拟信息的显示目标的显示目标T(墙壁、隔断及其他)设置有现有的物理标记M。多个HMD 100各自计算HMD与为显示目标T设置的标记M之间的距离及角度。

以此方式，由多个HMD进行的计算可保持正确，即，预期几乎不引起多个HMD的显示结果之间的时间滞后及空间偏差的效果。

<变形实例2>

图22是示出了根据变形实例2的信息处理系统3的示意图。图23是示出了根据变形实例2的信息处理系统3的硬件配置的框图。

信息处理系统3包括HMD 100b、输入装置200及个人数字助理400。在上文所述的实施例中的每一个中，为HMD 100及100a设置的CPU 103执行主要操作。另一方面，在该变形实例的信息处理系统3中，与HMD100b分开设置个人数字助理400执行主处理。该个人数字助理400由智能电话、便携式游戏机及其他示例。

除去第一实施例中的HMD 100的硬件配置的第一传输器/接收器108及第二传输器/接收器109，HMD 100b进一步包括第五传输器/接收器112。第五传输器/接收器112是诸如Bluetooth(商标)的中/低速短程无线传输器/接收器且执行与个人数字助理400的信息交换。更具体地，例如，第五传输器/接收器112执行将由成像部获得的真实图像的图像输入信号传输至个人数字助理400的处理。

除去第一实施例中的输入装置200的硬件配置的第三传输器/接收器208，输入装置200a进一步包括第六传输器/接收器。第六传输器/接收器213是诸如Bluetooth(商标)及红外线的短程无线传输器/接收器且执行与个人数字助理400的信息交换。更具体地，例如，第六传输器/接收器213执行将由用户输入至输入部的诸如缩放操作的操作输入信号传输至个人数字助理400的处理。

HMD 100b不包括第一传输器/接收器108，且输入装置200a不包括第三传输器/接收器208。因此，HMD 100b和输入装置200a不直接进行信息交换，且经由个人数字助理400执行HMD 100b与输入装置200a之间的信息交换。

个人数字助理400包括CPU 401、存储器402、显示部403、输入部404、第七传输器/接收器405、第八传输器/接收器406、第九传输器/接收器408及内部电源407。存储器402、显示部403、输入部404、第七传输器/接收器405、第八传输器/接收器406及第九传输器/接收器408均连接至CPU 401。

CPU 401遵循存储于存储器402中的程序以作为以上实施例中的每一个中所述的功能部执行各种处理。

第七传输器/接收器405是诸如Bluetooth(商标)的中/低速短程无线传输器/接收器且执行与HMD 100b的信息交换。更具体地，例如，第七传输器/接收器405执行将由HMD 100b的显示部显示的虚拟信息的图像输出信号传输至HMD 100b的处理。

第八传输器/接收器406是诸如Bluetooth(商标)及红外线的短程无线传输器/接收器且执行与输入装置200a的信息交换。更具体地，例如，第八传输器/接收器406执行将改变信号传输至输入装置200a以改变作为由输入装置200a投影的标记的图形形式的图案的处理。

第九传输器/接收器408是诸如3G(第三代)及WiMAX(全球微波存取互通，商标)的高速中程无线传输器/接收器或高速远程无线传输器/接收器且通过至诸如因特网及LAN(局域网络)的网络N的连接下载将作为虚拟信息而显示的内容。

注意，HMD 100b的第五传输器/接收器112及个人数字助理400的第七传输器/接收器405可均是缆线传输器/接收器。

<变形实例3>

图24是示出了根据变形实例3的信息处理系统4的示意图。

该变形实例中的信息处理系统4的硬件配置类似于第一实施例中的信息处理系统1的硬件配置(图3)。

在上述实施例中，为HMD设置的CPU执行主要处理。另一方面，在该变形实例中的信息处理系统4中，作为输入装置200的个人数字助理执行主要处理。该个人数字助理由智能电话、便携式游戏机及其他示例。

例如，HMD 100的第一传输器/接收器108执行将由成像部101获得的真实图像的图像输入信号传输至输入装置(个人数字助理)200的处理。

例如，输入装置(个人数字助理)200的第三传输器/接收器208执行将由HMD 100的显示部102显示的虚拟信息的图像输出信号传输至HMD 100的处理。

输入装置(个人数字助理)200的CPU 212遵循存储于存储器205中的程序以作为以上实施例中所述的功能部执行各种处理。

注意，当显示部102及成像部101安装于一个装置(HMD 100)中时，可基于HMD 100的位置与输入装置200的位置之间的关系而执行叠加参数校正(步骤S110)。

<变形实例4>

图25是示出了根据变形实例4的信息处理系统5的示意图。图26是示出了根据变形实例4的信息处理系统5的硬件配置的框图。

在上述的实施例中，与HMD 100分开设置的输入装置200被用于执行标记投影及相对于虚拟信息的输入操作。另一方面，在该变形实例中，没有分开地设置输入装置，且仅HMD 100c执行包括标记投影及相对于虚拟信息的输入操作的每个操作。

除去第一实施例中的HMD 100的硬件配置的第一传输器/接收器108，HMD 100c进一步包括连接至CPU 103的调制部113及连接至调制部113的投影部114。调制部113和投影部114的功能类似于为上文所述的实施例中的输入装置200所设置的调制部209的功能及投影部210的功能。

通过使佩戴HMD 100c的头移动，用户可操作虚拟信息。作为实例，当用户通过向上和向下移动其头部而使标记的投影位置移动时，可使用于将被显示的虚拟信息的显示位置移动(拖曳)。

<变形实例5>

图27是示出了根据变形实例5的信息处理系统6的示意图。

信息处理系统6包括多个HMD 100A、100B及100C、多个输入装置200及存储将作为虚拟信息显示的内容的内容数据的服务器装置500。

投影HMD 100A经由无线或缆线LAN(局域网络)通过在服务器装置500中对将作为虚拟信息而显示的内容的内容数据的搜索来获得该内容数据。投影HMD 100A使用短程无线传输器/接收器(第四传输器/接收器111)来给非投影HMD 100B及100C提供从服务器装置500获得的内容数据。以此方式，投影HMD 100A以及非投影HMD 100B及100C均能够显示一个特定内容作为虚拟信息。

<变形实例6>

图28是示出了根据变形实例6的信息处理系统7的示意图。

信息处理系统7包括主处理装置600、投影/成像装置700及一个或多个显示装置800。

主处理装置600通过短程无线或缆线通信将关于用于投影的标记M的形状、其在真实空间R中的位置或其他的命令发布至投影/成像装置700。此外，主处理装置600从投影/成像装置700获得真实图像数据且基于所获得的真实图像数据计算虚拟信息的对象图像数据。主处理装置600通过将所计算的对象图像数据叠加在真实图像数据上产生显示数据且通过无线通信将所产生的显示数据提供至多个显示装置800。

投影/成像装置700向真实空间R投影标记M、通过固定点照相机对真实空间R的成像获得真实图像数据且将所获得的真实图像数据提供至主处理装置600。

显示装置800显示由主处理装置600提供的显示数据。例如，显示装置800是HUD(抬头显示器(Head-Up Display))。具体地，用作HUD的是数字招牌、可设置在桌子或车辆仪表盘上的透明显示器、个人数字助理的显示器及其他。

<变形实例7>

图29是根据变形实例7的输入装置200b的透视图。

输入装置200b包括投影按钮201、滚轮214、菜单按钮215及选择按钮216且具有作为指示装置(pointing device)的功能。输入装置200b相对于OS(操作系统)执行如下的输入操作处理。

(1)当操作投影按钮201时，开始来自投影窗204的标记的投影，且显示作为虚拟信息的指针(pointer)。

(2)在作为虚拟信息显示的图标或窗口上显示作为虚拟信息的指针的环境中，当使输入装置200b(指示装置)移动时且当点击选择按钮216时，选择图标或点击按钮。

-在以上环境中，当双击选择按钮216时，执行对象。

-在以上环境中，当在正按压选择按钮216的同时使输入装置200b移动时，使对象移动(拖曳)。

-在以上环境中，当在正按压选择按钮216的同时使输入装置200b旋转时，使对象旋转。

-在以上环境中，当使滚轮214旋转时，放大/缩小对象，且对象被滚动(scroll)。

(3)当在对对象的拖曳/旋转操作之后释放选择按钮216时，作为虚拟信息的对象仍然显示为所保持的那样且相对于真实空间固定于适当位置中。

(4)当操作菜单按钮215时，显示子菜单。

(5)当在标记的投影期间按压投影按钮201时，结束标记的投影。在结束标记的投影之后，正在该时间点显示的虚拟信息可仍然显示达固定时间长度。

<变形实例8>

当甚至在标记投影及叠加参数计算的停止之后仍继续显示虚拟信息时(步骤S106中的“是”)，图像数据产生部124(第一虚拟信息显示控制部)可通过预定事件的发生而停止虚拟信息的显示。如下示例该“预定事件”。

-对输入装置200执行操作。作为实例，当输入装置200设置有虚拟信息关断按钮(未示出)时，按压虚拟信息按钮。

-在停止标记投影之后过去固定时间长度。

-成像部101(HMD 100)移动固定距离或更长。

-成像部101(HMD 100)旋转及移动固定角度或更大。

<变形实例9>

图5是示意性地示出了根据变形实例9的信息处理系统8的框图。

信息处理系统8包括HMD 100、输入装置200及信息处理装置900(例如，个人计算机，下文中称为PC),信息处理装置900包括成像部901、显示部902及主处理部903。输入装置200能够在真实空间中投影标记。成像部901及显示部902连接至PC 900或安装于其上，且显示部902包括显示器(图30的显示器904)。

如图30中所示，用户U使用输入装置200在显示器904上投影标记M1。成像部901使输入装置200的投影窗口成像。主处理部903基于所成像的投影窗口204相对于成像部901的角度、距离及其他而计算显示器904上的标记的投影位置。显示部902相对于显示在显示器904上的标记M显示虚拟信息I1。

此后，如图31中所示，用户U使输入装置200移动以使该标记在显示器904上移动，使得虚拟信息在显示器904上移动(拖曳)。用户U进一步使输入装置200移动以使标记远离显示器904在投影目标(例如，桌子)上移动(标记M2)。PC 900的主处理部903通过无线通信通知HMD100标记M2远离显示器904而移动至投影目标910上。

一旦接收到此通知，如图32中所示，HMD 100使投影在投影目标910上的标记M2成像，由此显示虚拟信息12。

<变形实例10>

将由输入装置投影的标记的图形形式可以是任何现有形式。具体地，HMD的成像部使存在于真实空间中的标记成像。可选地，HMD经由网络下载任何现有标记。HMD通过无线通信将通过成像或下载获得的标记提供至输入装置。本文中，输入装置是能够投影任意图形形式的诸如激光投影器的装置。输入装置将由HMD获得的标记投影至真实空间中。

<变形实例11>

作为用于标记投影的光源，可使用不可见范围(红外线、紫外线及其他)激光。此可防止未佩戴HMD的用户感知标记及虚拟信息。另一方面，佩戴HMD的用户可感知虚拟信息。此外，通过在HMD的显示部上执行以允许其感知不可见范围(红外线、紫外线及其他)激光的处理，可允许佩戴HMD的用户感知标记。

<变形实例12>

在上文所述的实施例中的每一个中，假定用户能够使用输入装置操作虚拟信息。可选地，HMD的CPU可通过遵循提前存储于存储器中的程序而改变虚拟信息的位置及角度。在该情况下，可基于由显示设备投影的标记而确定用于最初显示虚拟信息的参考位置。

<变形实例13>

为校正叠加参数，也可使用以下方法。限制用户可自然地操作输入装置的区域(例如，在胸部前方50cm正方形的区域)。另一方面，在安装于HMD上的成像部的情况下，在某种程度上固定了用户与成像部之间的位置关系。出于此原因，也在某种程度上固定了成像部与输入装置之间的位置关系。通过利用此，可校正基于由成像部成像的标记而计算的虚拟信息的第一叠加参数以使得用户更自然地观看。该方法甚至在HMD难以检测输入装置相对于成像部的位置/定向时也可用。

注意，本技术也可采取以下结构。

(1)一种信息处理装置，包括：

处理器，被配置为执行指令以：

基于成像部与由输入装置投影在真实空间上的标记的空间位置关系产生对应于将虚拟信息叠加在真实空间上的叠加参数，以及

使显示部在标记可检测时根据空间位置关系显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据基于标记的最后检测的位置和成像部的当前位置的更新的空间位置关系继续叠加在真实空间上的虚拟信息的显示。

(2)如(1)所述的信息处理装置，其中，预定事件使在标记不可检测之后叠加在真实空间上的虚拟信息的显示停止。

(3)如(2)所述的信息处理装置，其中，预定事件是以下项中的至少一个：在标记不可检测之后过去的固定时间长度，成像部移动至少固定距离，及成像部旋转至少固定角度和移动至少固定角度中的至少一个。

(4)如(1)所述的信息处理装置，其中，信息处理装置是包括成像部和显示部的第一头戴式显示器。

(5)如(4)所述的信息处理装置，其中，包括第一头戴式显示器的多个头戴式显示器的每一个基于由输入装置投影在真实空间上的标记而显示叠加在真实空间上的虚拟信息。

(6)如(1)所述的信息处理装置，其中，处理器进一步被配置为执行指令以：

计算校正标记；

将校正标记传输至输入装置，输入装置将校正标记投影在真实空间上；以及

检测投影在真实空间上的校正标记。

(7)如(6)所述的信息处理装置，其中，基于第二成像部与由输入装置投影在真实空间上的校正标记的第二空间位置关系产生对应于将虚拟信息叠加在真实空间上的第二叠加参数。

(8)如(1)所述的信息处理装置，其中，当不满足虚拟信息的预期视觉质量的条件时，校正叠加参数。

(9)如(1)所述的信息处理装置，其中，输入装置是个人数字助理、智能电话、便携式游戏机中的至少一个。

(10)如(1)所述的信息处理装置，其中，输入装置包括投影按钮。

(11)如(1)所述的信息处理装置，其中，输入装置包括缩放操作输入。

(12)一种信息处理装置，包括：

接收器；以及

处理器，被配置为执行指令以：

基于成像部与由输入装置投影在真实空间上的标记的空间位置关系而接收对应于将虚拟信息叠加在真实空间上的叠加参数，以及

使显示部在标记可检测时根据空间位置关系，显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据基于标记的最后检测的位置和成像部的当前位置的更新的空间位置关系继续叠加在真实空间上的虚拟信息的显示。

(13)一种系统，包括：

第一信息处理装置，包括：

第一处理器，被配置为执行指令以：基于成像部与由输入装置投影在真实空间上的标记的空间位置关系而产生对应于将虚拟信息叠加在真实空间上的叠加参数；以及

第二信息处理装置，包括：

第二处理器，被配置为执行指令以：使显示部在标记可检测时根据空间位置关系显示叠加在真实空间上的虚拟信息，且在标记不可检测之后根据基于标记的最后检测的位置和成像部的当前位置的更新的空间位置关系继续叠加在真实空间上的虚拟信息的显示。

(14)一种信息处理装置，包括：

成像部，被配置为通过真实场景的成像而获得真实图像；

图形形式检测部，被配置为从真实图像检测由投影装置投影在真实场景上的图形形式的图像；

特征点检测部，被配置为从真实场景的真实图像实时检测特征点；以及

参数产生部，被配置为基于图形形式与成像部之间的第一位置关系产生使显示部以叠加在真实场景上的形式显示虚拟信息所必需的参数，且当图形形式从真实图像消失时，基于特征点检测部的检测结果产生参数以继续显示虚拟信息而同时保持在图形形式被最后检测到的时间点处与真实场景的第二位置关系。

(15)根据(14)所述的信息处理装置，进一步包括第一虚拟信息显示控制部，被配置为由于预定事件的发生而停止使用基于特征点检测部的检测结果而产生的参数的显示虚拟信息。

(16)根据(15)所述的信息处理装置，进一步包括：

角度获得部，被配置为获得由投影装置投影的图像的光轴与真实场景中的投影目标表面之间的角度；以及

失真创建部，被配置为基于所获得的角度而创建由投影装置投影的图形形式的失真以使由投影装置投影在投影目标表面上的图形形式呈预定参考形状。

(17)根据(16)所述的信息处理装置，其中

参数产生部被配置为基于创建失真的图形形式(distortion-createdgraphic form)与成像部之间的第一位置关系而产生参数。

(18)根据(17)所述的信息处理装置，进一步包括第二虚拟信息显示控制部，配置为：

通过遵循预定规则而确定以下项中的至少一个：当虚拟信息叠加在真实场景上而显示时，虚拟信息的内容是否违背自然法则，以及是否满足预期视觉质量的条件，以及

在内容违背自然法则和不满足所述条件的情况中的至少一个中，取消虚拟信息的显示。

(19)根据(17)所述的信息处理装置，进一步包括第二虚拟信息显示控制部，被配置为：

通过遵循预定规则而确定以下项中的至少一个：当虚拟信息叠加于真实场景上而显示时，虚拟信息的内容是否违背自然法则，及是否满足预期视觉质量的条件，以及

在内容违背自然法则和不满足条件的情况中的至少一个中，改变虚拟信息的显示位置以满足自然法则和视觉质量的条件中的至少一个。

(20)根据(14)所述的信息处理装置，进一步包括显示部。

(21)根据(14)所述的信息处理装置，进一步包括投影装置。

(22)一种信息处理系统，包括：

第一信息处理装置，包括：

第一成像部，被配置为通过第一真实场景的成像获得第一真实图像，

第一图形形式检测部，被配置为从第一真实图像检测由投影装置投影在真实场景上的图形形式的图像，

特征点检测部，被配置为从真实场景的第一真实图像实时检测特征点，

第一参数产生部，被配置为基于图形形式与第一成像部之间的第一位置关系产生使第一显示部以叠加在真实场景上的形式显示虚拟信息所必需的第一参数，且当图形形式从第一真实图像消失时，基于特征点检测部的检测结果而产生第一参数以继续显示虚拟信息而同时保持图形形式被最后检测的时间点处与真实场景的第二位置关系，

角度获得部，被配置为获得由投影装置投影的图像的光轴与真实场景中的投影目标表面之间的角度，以及

失真创建部，被配置为基于所获得的角度而创建由投影装置投影的图形形式的失真以使由投影装置投影在投影目标表面上的图形形式呈预定参考形状，第一参数产生部被配置为基于创建失真的图形形式(distortion-created graphic form)与第一成像部之间的第一位置关系而产生参数；以及

第二信息处理装置，包括：

第二成像部，被配置为通过第一真实场景的成像获得第二真实图像，

第二图形形式检测部，被配置为从第二真实图像检测由投影装置投影在第一真实场景上的创建失真的图形形式的图像，以及

第二参数产生部，被配置为基于创建失真的图形形式与第二成像部之间的第三位置关系产生使第二显示部以叠加在真实场景上的形式显示虚拟信息所必需的第二参数。

(23)一种信息处理系统，包括：

第一信息处理装置，包括：

第一参数产生部，被配置为基于图形形式与第一成像部之间的第一位置关系产生使第一显示部以叠加在真实场景上的形式显示虚拟信息所必需的第一参数，且当图形形式从第一真实图像消失时，基于特征点检测部的检测结果而产生第一参数以继续显示虚拟信息，而同时保持在图形形式被最后检测的时间点处与真实场景的第二位置关系，

传输部，被配置为将第一参数传输至第二信息处理装置；以及

第二信息处理装置，包括：

第二图形形式检测部，被配置为从第二真实图像检测由投影装置投影在第一真实场景上的图形形式的图像，

第二参数产生部，被配置为基于图形形式与第二成像部之间的第三位置关系产生使第二显示部以叠加在真实场景上的形式显示虚拟信息所必需的第二参数，以及

校正部，被配置为从第一信息处理装置接收第一参数且使用所接收的第一参数校正第二参数。

(24)一种信息处理方法，包括：

由成像部通过真实场景的成像获得真实图像；

由图形形式检测部从真实图像检测由投影装置投影在真实场景上的图形形式的图像；

由特征点检测部从真实场景的真实图像实时检测特征点；以及

由参数产生部基于图形形式与成像部之间的第一位置关系产生使显示部以叠加在真实场景上的方式显示虚拟信息所必需的参数，且当图形形式从真实图像消失时，基于特征点检测部的检测结果而产生参数以继续显示虚拟信息，而同时保持图形形式被最后检测的时间点处与真实场景的第二位置关系。

本申请包括于2012年3月29日向日本专利局提交的日本优先权专利申请JP 2012-076966中公开的主题相关的主题，其全部内容通过引用并入本文。

本领域技术人员应该理解，根据设计需求和其它因素可以进行各种修改、组合、子组合以及改变，只要其在所附权利要求或其等同内容的范围之内即可。

参考标记列表

100 HMD

101 成像部

102 显示部

120 三维配置估计部

121 标记检测部

122 叠加参数产生部

124 图像数据产生部

200 输入装置

Claims

1.一种信息处理装置，包括：

处理器，被配置为执行指令以：

使显示部在所述标记可检测时根据所述空间位置关系显示叠加在所述真实空间上的所述虚拟信息，且在所述标记不可检测之后根据基于所述标记的最后检测的位置和所述成像部的当前位置的更新的空间位置关系继续叠加在所述真实空间上的所述虚拟信息的显示。

2.根据权利要求1所述的信息处理装置，其中，预定事件使得在所述标记不可检测之后叠加在所述真实空间上的所述虚拟信息的显示停止。

3.根据权利要求2所述的信息处理装置，其中，所述预定事件是以下项中的至少一个：在所述标记不可检测之后过去的固定时间长度，所述成像部移动至少固定距离，以及成像部旋转至少固定角度及移动至少固定角度中的至少一个。

4.根据权利要求1所述的信息处理装置，其中，所述信息处理装置是包括所述成像部和所述显示部的第一头戴式显示器。

5.根据权利要求4所述的信息处理装置，其中，包括所述第一头戴式显示器的多个头戴式显示器的每一个基于由输入装置投影在所述真实空间上的所述标记而显示叠加在所述真实空间上的虚所述拟信息。

6.根据权利要求1所述的信息处理装置，其中，所述处理器进一步被配置为执行指令以：

计算校正标记；

将所述校正标记传输至所述输入装置，所述输入装置将所述校正标记投影在所述真实空间上；以及

检测投影在所述真实空间上的所述校正标记。

7.根据权利要求6所述的信息处理装置，其中，基于第二成像部与由所述输入装置投影在所述真实空间上的所述校正标记的第二空间位置关系产生对应于将所述虚拟信息叠加在所述真实空间上的第二叠加参数。

8.根据权利要求1所述的信息处理装置，其中，当不满足所述虚拟信息的预期视觉质量的条件时，校正所述叠加参数。

9.根据权利要求1所述的信息处理装置，其中，所述输入装置是个人数字助理、智能电话、便携式游戏机中的至少一个。

10.根据权利要求1所述的信息处理装置，其中，所述输入装置包括投影按钮。

11.根据权利要求1所述的信息处理装置，其中，所述输入装置包括缩放操作输入。

12.一种信息处理装置，包括：

接收器；以及

处理器，被配置为执行指令以：

基于成像部与由输入装置投影在真实空间上的标记的空间位置关系接收对应于将虚拟信息叠加在所述真实空间上的叠加参数，以及

使显示部在所述标记可检测时根据所述空间位置关系，显示叠加在所述真实空间上的所述虚拟信息，且在所述标记不可检测之后根据基于所述标记的最后检测的位置和所述成像部的当前位置的更新的空间位置关系继续叠加在所述真实空间上的所述虚拟信息的显示。

13.一种系统，包括：

第一信息处理装置，包括：

第一处理器，被配置为执行指令以基于成像部与由输入装置投影在真实空间上的标记的空间位置关系而产生对应于将虚拟信息叠加在真实空间上的叠加参数；以及第二信息处理装置，包括：

第二处理器，被配置为执行指令以使显示部在所述标记可检测时根据所述空间位置关系显示叠加在所述真实空间上的所述虚拟信息，且在所述标记不可检测之后根据基于所述标记的最后检测的位置和所述成像部的当前位置的更新的空间位置关系继续叠加在所述真实空间上的所述虚拟信息的显示。