[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102708355B - 信息处理装置、信息处理方法 - Google Patents

信息处理装置、信息处理方法 Download PDF

Info

Publication number
CN102708355B
CN102708355B CN201210027593.1A CN201210027593A CN102708355B CN 102708355 B CN102708355 B CN 102708355B CN 201210027593 A CN201210027593 A CN 201210027593A CN 102708355 B CN102708355 B CN 102708355B
Authority
CN
China
Prior art keywords
virtual objects
real
user
dimensional position
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210027593.1A
Other languages
English (en)
Other versions
CN102708355A (zh
Inventor
多井坚郎
多井坚一郎
本间俊
本间俊一
岩井嘉昭
贝野彰彦
吴嘉宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102708355A publication Critical patent/CN102708355A/zh
Application granted granted Critical
Publication of CN102708355B publication Critical patent/CN102708355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种信息处理装置、信息处理方法及程序，该信息处理装置包括：图像获取单元，其被配置成获取利用成像装置捕获的真实空间的输入图像；用户接口单元，其被配置成在显示装置的屏幕上显示输入图像，并且检测用户在屏幕上指定的指定位置；计算单元，其被配置成根据用户接口单元检测到的指定位置，计算虚拟对象在增强现实空间中的三维位置；以及制作单元，其被配置成将计算单元计算的虚拟对象的三维位置与虚拟对象相关联，以将三维位置存储在存储介质中。

Description

信息处理装置、信息处理方法
技术领域
本公开涉及一种信息处理装置、信息处理方法及程序。
背景技术
近年来，被称为增强现实(AR)的技术已引起了关注，其中，向用户呈现其上叠加有另外的信息的真实世界。在AR技术中呈现给用户的信息还被称为注释(annotation)，并且可以使用诸如文本、图标或动画的各种形式的虚拟对象来可视化。例如，当AR技术用于广告时，用于广告的虚拟对象(例如，增加有宣传词(catch copy)的产品图像)可以被显示为使得其叠加在真实世界中的建筑物的墙表面或标牌上。另外，当AR技术用于导航时，用于导航的虚拟对象(例如，箭头)可以被显示为使得其叠加在真实世界中的目标真实对象、道路等上。
创建AR内容的操作是一种所谓的制作(authoring)。创建AR内容的开发用户确定哪个虚拟对象应该布置在三维空间中的哪个位置和在三维空间中以什么姿势布置。如此确定的虚拟对象的布置与真实世界中的特定地方或特定真实对象相关联并且被存储为数据。
参考文献1(A.van den Hengel，R.Hill，B.Ward和A.Dick，“In SituImage-basedModeling”(在关于混合和增强现实(Mixed and AugmentedReality)的第八届IEEE国际研讨会的会议论文集中，2009))示出了用于在布置虚拟对象之前的阶段对真实空间进行建模的技术的示例。参考文献2(W.Daniel，G.Reitmayr，A.Mulloni，T.Drummond和D.Schmalstieg，“Pose Tracking from Natural Features on Mobile Phones”(在关于混合和增强现实(Mixed and Augmented Reality)的第七届IEEE国际研讨会的会议论文集中，2008))示出了使用自然标志(nature marker)的技术的示例，其目的是计算用于将虚拟对象叠加在捕获图像上所需的成像装置的位置和姿势。
发明内容
然而，对于至今为止的制作操作，需要关于坐标变换、CAD(计算机辅助设计)等的专业知识，以适当地将虚拟对象布置在AR空间中。即，只有具有专业知识的专业人员才能够制作AR内容。在这样的情形下，难以向市场大量供应各种类型的AR内容并且使最终用户享受AR技术的益处。
考虑到上述情况，期望提供一种没有专业知识的普通用户可以容易地制作AR内容的信息处理装置、信息处理方法及程序。
根据本公开的实施例，提供了一种信息处理装置，包括：图像获取单元，其被配置成获取利用成像装置捕获的真实空间的输入图像；用户接口单元，其被配置成在显示装置的屏幕上显示输入图像以及检测用户在屏幕上指定的指定位置；计算单元，其被配置成根据用户接口单元检测到的指定位置来计算虚拟对象在增强现实空间中的的三维位置；以及制作单元，其被配置成将计算单元计算的虚拟对象的三维位置与虚拟对象相关联，以将三维位置存储在存储介质中。
用户接口单元可提示用户将包括在输入图像中的真实对象的面之一指定为第一面，并且计算单元计算的三维位置可以是在增强现实空间中包括第一面的平面上并且对应于指定位置的位置。
用户接口单元还可提示用户在屏幕上指定向量，计算单元还可使用所指定的向量计算虚拟对象在增强现实空间中的姿势，并且制作单元还可将计算单元计算的虚拟对象的姿势存储在存储介质中。
计算单元可计算虚拟对象在增强现实空间中的姿势，使得当显示虚拟对象时，虚拟对象的至少一面的法线变得与第一面的法线平行。
用户接口单元还可提示用户指定虚拟对象的至少一面与包括第一面的平面之间的距离，并且计算单元可在距离不为零时，根据距离偏移虚拟对象的三维位置。
用户接口单元可检测用户在屏幕上指定的两个指定位置，计算单元可计算虚拟对象在增强现实空间中的三维位置和姿势，使得对应于两个相应指定位置的包括在输入图像中的真实对象的面与虚拟对象的两个面接触，并且制作单元可将计算单元计算的虚拟对象的三维位置和姿势存储在存储介质中。
用户接口单元可提示用户指定与虚拟对象相关联的真实空间中的真 实对象，并且三维位置可被存储为关于用户指定的真实对象的相对位置。
信息处理装置还可包括：数据获取单元，其被配置成获取表示真实空间中的一个或多个真实对象中的每个的外表特征的模型数据；以及识别单元，其被配置成通过核对输入图像与模型数据，识别输入图像中真实空间的各个真实对象的位置和姿势。
计算单元还可根据真实空间中的第一面的大小，计算当显示虚拟对象时虚拟对象在增强现实空间中的大小。
根据本公开的另一实施例，提供了一种信息处理方法，包括：获取利用成像装置捕获的真实空间的输入图像；在显示装置的屏幕上显示输入图像；检测用户在屏幕上指定的指定位置；根据检测到的指定位置来计算虚拟对象在增强现实空间中的三维位置；以及将计算的虚拟对象的三维位置与虚拟对象相关联，以将三维位置存储在存储介质中。
根据本公开的又一实施例，提供了一种程序，其用于使控制连接到显示装置的信息处理装置的计算机用作如下单元：图像获取单元，其被配置成获取利用成像装置获取的真实空间的输入图像；用户接口单元，其被配置成在显示装置的屏幕上显示输入图像以及检测用户在屏幕上指定的指定位置；计算单元，其被配置成根据用户接口单元检测到的指定位置来计算虚拟对象在增强现实空间中的三维位置；以及制作单元，其被配置成将计算单元计算的虚拟对象的三维位置与虚拟对象相关联，以将三维位置存储在存储介质中。
如上所述，根据本公开的信息处理装置、信息处理方法及程序使没有专业知识的普通用户容易地制作AR内容。
附图说明
图1是示出根据实施例的信息处理装置的概况的说明图；
图2是示出AR内容的制作的说明图；
图3是示出根据实施例的信息处理装置的硬件配置的示例的框图；
图4是示出真实空间模型的概况的说明图；
图5是示出真实空间模型的数据示例的说明图；
图6是示出对象模型的概况的说明图；
图7是示出对象模型的数据示例的说明图；
图8是示出虚拟对象的第一示例的说明图；
图9是示出虚拟对象的第二示例的说明图；
图10是示出虚拟对象的第三示例的说明图；
图11是示出虚拟对象的第四示例的说明图；
图12是示出虚拟对象数据的数据示例的说明图；
图13是示出根据实施例的信息处理装置的功能配置的示例的框图；
图14是示出根据实施例的制作画面的示例的说明图；
图15是示出离接触位置的偏移的说明图；
图16是示出根据实施例的位置/姿势计算处理的示例性流程的流程图；
图17是示出根据实施例的实例数据的数据示例的说明图；
图18是示出制作操作的第一场景的序列图；
图19是示出显示在第一场景中的图像的示例的说明图；
图20是示出制作操作的第二场景的序列图；
图21是示出显示在第二场景中的图像的示例的说明图；
图22是示出制作操作的第三场景的序列图；
图23是示出显示在第三场景中的图像的示例的说明图；
图24是示出制作操作的第四场景的序列图；
图25是示出显示在第四场景中的图像的示例的说明图；
图26是示出制作操作的第五场景的序列图；
图27是示出显示在第五场景中的图像的示例的说明图；以及
图28是示出虚拟对象的大小的改变的说明图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例。注意，在该说明书和附图中，用相同的附图标记来表示具有基本相同功能和结构的结构 元件，并且省略这些结构元件的重复说明。
将按以下顺序描述“具体实施方式”。
1.根据实施例的信息处理装置的概况
2.硬件配置的示例
3.数据结构的示例
3-1.模型数据
3-2.虚拟对象数据
4.功能配置的示例
4-1.图像获取单元
4-2.数据获取单元
4-3.图像识别单元
4-4.用户接口单元
4-5.制作单元
4-6.计算单元
5.实例数据的生成
6.操作场景
7.结论
<1.根据实施例的信息处理装置的概况>
首先，将参考图1和2描述根据本公开的实施例的信息处理装置的概况。参考图1，示例性示出了信息处理装置100。信息处理装置100是制作AR内容的用户使用的装置。在图1中，将PC(个人计算机)示出为信息处理装置100的示例。然而，信息处理装置100可以是其它类型的装置，例如智能电话、PDA(个人数字助理)、游戏终端或工作站。
在图1的示例中，信息处理装置100连接到成像装置102。成像装置102捕获真实空间1的图像并且生成捕获图像。成像装置102生成的捕获图像成为将由以下描述的信息处理装置100处理的输入图像。在图1的下部，示例性示出了输入图像Im00。输入图像可以在执行制作时实时地输入到信息处理装置100。替选地，捕获图像可以一次存储在从信息处理装置100可访问的存储介质中，使得稍后可以使用所存储的捕获图像作为输 入图像来执行制作。作为另一替选，可以从信息处理装置100可访问的网络上的服务器提供捕获图像。例如，信息处理装置100可以从诸如GoogleEarthTM的图像信息提供服务获取捕获图像。
图2是示出AR内容的制作的说明图。图2的左部示出了通过局部地放大图1所示的输入图像Im00而获得的输入图像Im01。输入图像Im01包括存在于真实空间中的真实对象B1和B2。真实对象B1是建筑物。真实对象B2是设置在建筑物B1的屋顶上的标牌。在真实空间中，标牌B2在其表面上没有写任何东西。
图2的下部示出了虚拟对象V1。虚拟对象V1是模仿用于显示关于新型摄像机的广告的海报的注释。在信息处理装置100中，预先存储一个或更多个这样的虚拟对象。然后，用户在制作AR内容的操作期间将虚拟对象布置在输入图像中的期望位置处。
图2的右部示出了布置有虚拟对象V1的输出图像Im02。在输出图像Im02中，虚拟对象V1叠加在标牌B2的表面上。输出图像Im02是可以由开发用户在信息处理装置100的屏幕上检查的图像。输出图像Im02也是可以呈现给在真实空间1中使用AR应用的最终用户的图像。为了即使当最终用户改变终端的取向时也可以将虚拟对象V1适当地叠加在标牌B2的表面上，应该准确地定义虚拟对象V1在AR空间中的的三维位置(和姿势)。
例如，为了定义虚拟对象在AR空间中的的布置，至今为止需要涉及高级专业知识的操作，例如虚拟对象的三维坐标的计算以及三维坐标与二维坐标之间的坐标变换。因此，只有具有专业知识的专业人员才能够制作AR内容。相比之下，根据该实施例的信息处理装置100使没有专业知识的普通用户通过以下部分中详细描述的机制而容易地制作AR内容。
<2.硬件配置的示例>
图3是示出根据该实施例的信息处理装置100的硬件配置的示例的框图。参考图3，信息处理装置100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、连接端口114、总线116以及控制单元118。
(成像单元)
成像单元102是与图1示例性示出的成像装置102对应的摄像模块。成像单元102使用诸如CCD(电荷耦合器件)或CMOS(互补金属氧化 物半导体)的图像传感器捕获真实空间1的图像，以生成捕获图像。
(传感器单元)
传感器单元104是辅助信息处理装置100的位置和姿势(成像单元102的位置和姿势)的识别的传感器组。例如，传感器单元104可以包括GPS(全球定位系统)传感器，该GPS传感器在接收到GPS信号时测量信息处理装置100的纬度、经度以及高度。另外，传感器单元104可以包括定位传感器，该定位传感器根据从无线接入点接收的无线电信号的强度来测量信息处理装置100的位置。此外，传感器单元104可以包括测量信息处理装置100的倾斜角的陀螺传感器、测量三轴加速度的加速计或者测量取向的地磁传感器。注意，当信息处理装置100具有基于图像识别的位置估计功能和姿势估计功能时，可以从信息处理装置100的配置中省略传感器单元104。
(输入单元)
输入单元106是用户用来操作信息处理装置100或向信息处理装置100输入信息的输入装置。例如，输入装置106可以包括键盘、小键盘、鼠标、按钮、开关、触摸板等。输入单元106还可以包括识别输入图像中的用户手势的手势识别模块。此外，输入单元106还可以包括视线检测模块，该视线检测模块将佩戴HMD(头戴式显示器)的用户的视线的方向检测为用户输入。
(存储单元)
存储单元108使用诸如半导体存储器或硬盘的存储介质，来存储由信息处理装置100执行的处理的程序和数据。例如，存储单元108临时存储从成像单元102输出的图像数据和从传感器单元104输出的传感器数据。另外，存储单元108还存储用于制作的模型数据和虚拟对象数据。此外，存储单元108还存储作为制作结果而生成的实例数据。
(显示单元)
显示单元112是包括LCD(液晶显示器)、OLED(有机发光二极管)或CRT(阴极射线管)的显示模块。在显示单元112的屏幕上，显示由信息处理装置100提供的用于制作AR内容的用户接口。显示单元112可以是信息处理装置100的一部分或者可以被配置为信息处理装置100的分开部件。替选地，显示单元112可以是用户佩戴的HMD。
(连接端口)
连接端口114是用于将信息处理装置100连接到外围装置或网络的端口。例如，作为附加存储介质的可拆卸介质可以连接到连接端口114。替选地，有线或无线通信接口可以连接到连接端口114。因此，信息处理装置100可以从网络上的服务器获取图像。
(总线)
总线116相互连接成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、连接端口114以及控制单元118。
(控制单元)
控制单元118对应于诸如CPU(中央处理单元)或DSP(数字信号处理器)的处理器。控制单元118通过执行存储在存储单元108或其它存储介质中的程序，使以下描述的信息处理装置100的多种功能运行。
<3.数据结构的示例>
接下来，将参考图4至图12描述该实施例中的信息处理装置100使用的模型数据和虚拟对象数据。
[3-1.模型数据]
模型数据是表示真实空间中的一个或更多个真实对象中的每个的外表特征的数据。模型数据用于识别输入图像中的真实对象。另外，还可以使用模型数据识别输入图像中的真实对象的位置和姿势、或者成像装置(或信息处理装置100)的位置和姿势。模型数据的类型可以进一步分成两种。第一类型的模型数据是真实空间模型，其除了包括表示各个真实对象的外表的数据之外，还包括表示各个真实对象的位置的位置数据。即，真实空间模型对应于模型化的真实空间的图。第二类型的模型数据是对象模型，其表示与真实对象的位置不相关联的真实对象的外表特征。信息处理装置100使用真实空间模型或对象模型中的至少之一。
(1)真实空间模型
图4是示出真实空间模型的概况的说明图。参考图4，示出了真实空间1中的五个真实对象B1至B5。真实对象B1、B3、B4和B5是存在于真实空间1中的建筑物(的模型)。真实对象B2是存在于真实空间1中的标牌(的模型)。各个真实对象位于可以由真实空间1中的全局坐标系X(x，y，z)表示的特定位置。
各个真实对象被表示为多边形(多边形的面)的集合。例如，真实对 象B1具有面F11、F12和F13以及没有示出的其它面。真实对象B2具有面F21以及没有示出的其它面。真实对象B3具有面F31、F32和F33以及没有示出的其它面。这样的面的顶点的坐标可以由设置在各个真实对象上的局部坐标系X’来表示。另外，各个面具有从该面延伸到该面所属的真实对象的外侧的法线。例如，法线n11是面F11的法线，并且法线n12是面F12的法线。
图5是示出真实空间模型的具体数据示例的说明图。参考图5，真实空间模型MD1被部分地示出为示例。真实空间模型MD1具有七个数据项：“对象ID”、“描述”、“位置”、“姿势”、“面”、“法线”以及“顶点”。“对象ID”是用于唯一地标识包括在真实空间模型MD1中的各个真实对象的标识符。“描述”是示出关于真实对象的描述的字符串。“位置”表示各个真实对象在全局坐标系上的位置坐标，并且通常对应于各个真实对象在局部坐标系上的原点的位置。“姿势”是旋转矩阵或四元数，其中，该旋转矩阵表示各个真实对象的局部坐标相对于全局坐标系的旋转。“面”是用于唯一地标识各个真实对象的面的标识符。各个真实对象具有一个或更多个面。“法线”是各个面的法向量。“顶点”是各个面的顶点在局部坐标系上的位置坐标。各个面具有三个或更多个顶点。
(2)对象模型
图6是示出对象模型的概况的说明图。参考图6，示出了可以存在于真实空间1中的真实对象B8。例如，真实对象B8是汽车(的模型)。真实对象B8具有特定的局部坐标系，并且真实对象B8的外表被定义为使用该局部坐标系的多边形的集合。例如，真实对象B8具有面F81、F82和F83以及没有示出的其它面。各个面的顶点的坐标由局部坐标系X’来表示。另外，各个面具有从该面延伸到该面所属的真实对象的外侧的法线。例如，法线n81是面F81的法线，法线n82是面F82的法线，并且法线n83是面F83的法线。
由对象模型表示的各个真实对象与真实空间的全局坐标系上的具体位置不相关联。因此，对象模型适合于定义可以在真实空间内移动的动态真实对象。另外，真实空间模型适合于定义在真实空间中位置固定的静态真实对象。
图7是示出对象模型的具体数据示例的说明图。在图7的示例中，部分地示出了包括关于真实对象B8和真实对象B9的数据的对象模型MD2。对象模型MD2具有五个数据项：“对象ID”、“描述”、“面”、“法线”以 及“顶点”。“对象ID”是用于唯一地标识包括在对象模型MD2中的各个真实对象的标识符。“描述”是示出关于真实对象的描述的字符串。“面”是用于唯一地标识各个真实对象的面的标识符。各个真实对象具有一个或更多个面。“法线”是各个面的法向量。“顶点”是各个面的顶点在局部坐标系上的位置坐标。各个面具有三个或更多个顶点。
这样的真实空间模型和对象模型通常是预先创建的并被存储在存储单元108或其它存储介质中。替选地，例如，可以根据以上的参考文献1中描述的方法，在信息处理装置100中交互式地或动态地创建真实空间模型和对象模型。此外，在真实空间模型和对象模型中，以下标志可以被设置为各个面的属性，该标志用于标识可以用作接触面(稍后描述)的面。
[3-2.虚拟对象数据]
虚拟对象数据是表示虚拟对象的形状特征和虚拟对象的部件属性的数据。图8至11示出了虚拟对象的四个示例。
图8示出了作为第一示例的虚拟对象V1。虚拟对象V1是模仿用于显示广告的海报的注释。虚拟对象V1是平面对象，并且被表示为增加有纹理图像的单个多边形。虚拟对象V1具有面FA。面FA的顶点的坐标可以由设置在虚拟对象V1上的局部坐标系X’来表示。法线nA是面FA的法线。
在该实施例中，将参考点和参考线设置在虚拟对象的至少一个面上，其中，参考点和参考线在虚拟对象的布置的计算中用作参考。在图8的示例中，参考点PA和参考线LA设置在虚拟对象V1的面FA上。参考点可以是参考点所属的面的重心或者可以是任意顶点。替选地，参考点可以是用户预先指定的给定位置处的点。参考线通常是从参考点开始的线段。
图9示出了作为第二示例的虚拟对象V2。虚拟对象V2是对应于容器的对象，该容器具有用于显示给定图像的场(图中的虚线框)。例如，当用于导航的图像设置在该场中时，虚拟对象V2可以是用于导航的注释。虚拟对象V2也是平面对象，并且被表示为单个多边形。虚拟对象V2具有面FB。面FB的顶点的坐标可以由设置在虚拟对象V2上的局部坐标系X’来表示。法线nB是面FB的法线。在图9的示例中，参考点PB和参考线LB设置在虚拟对象V2的面FB上。
图10示出了作为第三示例的虚拟对象V3。虚拟对象V3是立体对象，并且被表示为多边形的集合。例如，虚拟对象V3具有面FC1和FC2以及 其它面。各个面的顶点的坐标可以由设置在虚拟对象V3上的局部坐标系X’来表示。法线nC1是面FC1的法线。法线nC2是面FC2的法线。立体虚拟对象的至少一个面被定义为AR空间中与真实空间的真实对象相接触或相对的接触面。例如，当虚拟对象是模仿直立人的立体虚拟对象时，与虚拟对象的鞋底对应的底面被定义为接触面。在图10的示例中，虚拟对象V3的两个阴影线面是接触面。参考点和参考线设置在各个接触面上。
图11示出了作为第四示例的虚拟对象V4。虚拟对象V4是形状上近似为球形的立体对象。虚拟对象V4的近似球形的形状也可以被表示为作为近似多面体的多边形的集合。然而，对于这样的虚拟对象，难以将接触面设置在对象的表面上。因此，将用作接触面的辅助面FDZ增加到虚拟对象V4。法线nDZ是面FDZ的法线。面FDZ是透明面，并且不显示给最终用户。参考点和参考线设置在接触面FDZ上。
图12是示出虚拟对象数据的具体数据示例的说明图。在图12中，部分地示出了包括关于虚拟对象V1、V2、V3和V4的数据的虚拟对象数据VD。虚拟对象数据VD包括十个数据项：“ID”、“描述”、“类型”、“面”、“透明标志”、“接触标志”、“参考点”、“参考线”、“法线”以及“顶点”。“ID”是用于唯一地标识各个虚拟对象的标识符。“描述”是示出关于虚拟对象的描述的字符串。“类型”表示标志，该标志指示虚拟对象是平面对象还是立体对象。“面”是用于唯一地标识虚拟对象的面的标识符。各个虚拟对象具有一个或更多个面。“透明标志”是指示各个面是否为透明面的标志。“接触标志”是表示各个面是否是接触面的标志。对于平面虚拟对象，“接触标志”可以省略(由于单个面是接触面)。“参考点”是设置在各个接触面上的参考点在局部坐标系上的位置坐标。“参考线”是表示设置在各个接触面上的参考线的数据(例如，沿参考线的单位向量、或在参考点的相对侧上的端点的位置坐标)。“法线”是各个面的法向量。“顶点”是各个面的顶点在局部坐标系上的位置坐标。各个面具有三个或更多个顶点。
这样的虚拟对象数据可以预先创建并且存储在存储单元108或其它存储介质中。
<4.功能配置的示例>
图13是示出由图3所示的信息处理装置100的控制单元118实现的功能的配置的示例的框图。参考图13，控制单元118包括图像获取单元120、数据获取单元130、图像识别单元140、用户接口单元150、制作单 元160以及计算单元170。
[4-1.图像获取单元]
图像获取单元120获取已利用成像单元102(或其它成像装置)捕获的真实空间的输入图像。输入图像是要被布置虚拟对象的真实空间中的地方或真实对象的图像。图像获取单元120将所获取的输入图像输出到图像识别单元140和用户接口单元150。
[4-2.数据获取单元]
数据获取单元130获取将用于信息处理装置100中的制作的数据。数据获取单元130获取的数据包括上述模型数据(真实空间模型和对象模型之一或二者)和虚拟对象数据。数据获取单元130将模型数据输出到图像识别单元140。另外，数据获取单元130将虚拟对象数据输出到制作单元160。此外，传感器单元104测量的传感器数据也被数据获取单元130获取。
[4-3.图像识别单元]
图像识别单元140核对输入图像与从数据获取单元130输入的模型数据，以识别输入图像中的真实对象。更具体地，例如，图像识别单元140根据诸如FAST特征检测的任何公知方法来提取输入图像中的特征点。然后，图像识别单元140核对所提取的特征点与包括在模型数据中的真实对象的顶点。因此，图像识别单元140识别哪些真实对象包括在输入图像中，以及所识别的真实对象中的每个在什么位置和以什么姿势。当所识别的真实对象是包括在真实空间模型中的真实对象时，在真实空间模型中示出真实对象的三维位置和姿势。当所识别的真实对象是包括在对象模型中的真实对象时，可以通过根据针孔模型(pinholemodel)(例如，参见JP2008-304268A)将成像平面上的真实对象的顶点的二维位置变换为真实空间中的三维位置，来确定真实对象的三维位置和姿势。
此外，图像识别单元140识别信息处理装置100的位置和姿势。例如，当输入图像中的真实对象具有自然标记时，图像识别单元140可以根据以上参考文献2中描述的方法，使用输入图像中的自然标记来识别信息处理装置100的位置和姿势。替选地，图像识别单元140可以根据SLAM(同时定位和映射)技术(参见J.Davison的“Real-TimeSimultaneousLocalization and Mapping with a Single Camera(关于计算机视觉的第九届IEEE国际会议的会议论文集，第2卷，2003年，第1403-1410页)) 的原理，动态地估计信息处理装置100的位置和姿势。
注意，还可以取代图像识别而使用从传感器单元104获取的传感器数据(例如，来自GPS传感器的位置数据)，来识别信息处理装置100的位置和姿势。另外，可以根据作为图像识别的结果而识别的各个真实对象的相对位置和姿势、以及通过使用传感器数据而识别的信息处理装置100的绝对位置和姿势，来计算各个真实对象的绝对位置和姿势。
[4-4.用户接口单元]
用户接口单元150在以下描述的制作单元160的控制下向用户提供用于制作的用户接口。用户接口单元150提供的用户接口通常是通过使用输入单元106和显示单元112实现的GUI(图形用户接口)。更具体地，用户接口单元150使用显示单元112显示制作画面，该制作画面用于显示从图像获取单元120输入的输入图像。
图14是示出可以根据该实施例显示的制作画面的示例的说明图。参考图14，示例性示出了制作画面SC1。制作画面SC1具有输入图像区域SA1和虚拟对象列表区域SA2。在输入图像区域SA1中，显示从图像获取单元120输入的输入图像。在虚拟对象列表区域SA1中，显示要布置在AR空间中的虚拟对象的候选列表。用户使用光标CUR从显示在虚拟对象列表区域SA2中的候选中选择要布置在AR空间中的虚拟对象。然后，用户将所选择的AR空间中的虚拟对象布置在输入图像区域SA1上。用户接口单元150根据对输入图像区域SA1执行的操作，来检测用于计算AR空间中的虚拟对象的三维位置和姿势的若干参数。以下具体描述经由这样的用户接口执行的制作操作的典型场景。
[4-5.制作单元]
制作单元160控制经由用户接口单元150提供的用户接口而执行的AR内容的制作。制作单元160从图像识别单元140获取输入图像中的真实对象的三维位置和姿势、以及信息处理装置100的位置和姿势。另外，制作单元160从数据获取单元130获取图12中示例性示出的虚拟对象数据。然后，制作单元160使用户接口单元150显示上述制作画面。此后，制作单元160使计算单元170根据制作画面上指定的参数来计算虚拟对象在AR空间中的三维位置和姿势。然后，制作单元160使存储单元108或其它存储介质存储所计算的虚拟对象的三维位置和姿势。
注意，由虚拟对象数据定义的各个虚拟对象可以布置在AR空间中的 多个位置处。在该说明书中，实际布置的这样的各个虚拟对象将被称为(虚拟对象的)实例。即，布置在两个不同地方的虚拟对象V1是相同的虚拟对象，但是是不同的实例。
[4-6.计算单元]
计算单元170在制作单元160的控制下，使用制作画面上指定的参数，来执行用于确定虚拟对象的实例的三维位置和姿势的计算处理。
(1)计算处理的原理
真实空间的全局坐标系X(也是AR空间的坐标系)与单个虚拟对象的局部坐标系X’之间的关系可以由以下关系表达式(1)来表示。
[公式1]
X′＝R0·(X-C0)...(1)
此处，C0是表示局部坐标系的原点在全局坐标系中的位置的位置坐标。R0是表示局部坐标系相对于全局坐标系的姿势变换的旋转矩阵。如公式(1)所示，可以根据公式(1)将包括在虚拟对象数据中的各个顶点的坐标(局部坐标系)变换为真实空间中的坐标位置(全局坐标)，只要可以获得局部坐标系的原点位置C0和姿势变换R0即可。
在该实施例中，计算单元170根据以下原理计算原点位置C0和姿势变换R0。
首先，假定如此布置虚拟对象的实例，使得虚拟对象的实例具有与输入图像中的真实对象的接触面相同的倾斜(即，两条法线彼此平行)。接触面是根据用户输入标识的。注意，在以下描述中，具有接触面的真实对象将被称为接触面真实对象。
假设所标识的接触面在全局坐标系上的法向量是n，并且虚拟对象的实例的接触面在局部坐标系上的法向量是n’，建立公式(2)。
[公式2]
n′＝R0·(-n)...(2)
另外，假设表示实例的参考线在局部坐标系上的方向的向量是a’，并且指向与实例的参考线在全局坐标系上的方向相同的方向的向量(下文中 称为“参考线布置向量”)是a，建立公式(3)。
[公式3]
a′＝R0·a...(3)
向量a’可以根据设置在虚拟对象数据中的参考线的数据获得。参考线布置向量a可以根据用户输入来标识。注意，四个向量n、n’、a以及a’中的每个是单位向量。此外，四个向量n、n’、a以及a’满足以下关系表达式(4)。
[公式4]
(n′×a′)＝R0·(-n×a)...(4)
通过求解公式(2)至(4)，可以获得局部坐标系的姿势变换R0。注意，局部坐标系的姿势变换可以不用旋转矩阵来表示，而是用四元数来表示。在这样的情况下，可以推导表示局部坐标系的姿势变换的四元数，只要可以标识上述向量n、n’、a以及a’即可。
此外，假设全局坐标系上布置实例参考点的三维位置(下文中称为接触位置)是Y，并且参考点在局部坐标系上的三维位置是Y’，建立公式(5)。
[公式5]
C0＝Y-R0 T·Y′...(5)
实例的参考点在局部坐标系上的位置Y’预先设置在虚拟对象数据中。因此，可以计算局部坐标系的原点在全局坐标系上的位置C0，只要识别接触位置Y即可。
在这样的计算处理的原理中，预先未知的变量是三个：接触面的ID、接触位置Y以及参考线布置向量a。
(2)接触面的识别
当用户在图14示例性示出的制作画面SC1的输入图像区域SA1中指定接触面(通过诸如点击或轻击的操作)时，可以识别接触面的ID。注意，作为图像识别单元140执行的图像识别的结果，制作单元160还知道 输入图像中隐藏在其它面之后的面的位置。因此，制作单元160可以使输入图像区域SA1中位于其它面之后的面透明地显示，或者通过框强调显示的方法来显示，使得用户还可以指定后面的面。
(3)接触位置的识别
当用户在输入图像区域SA1中指定要布置参考点的地点时，还可以识别接触位置Y。还可以通过单个的用户输入同时指定接触面和接触位置。
例如，在输入图像区域SA1中指定的位置被称为指定位置U。指定位置U由成像平面上的摄像机坐标系上的二维位置(u，v)来表示。然后，在指定位置U(u，v)与对应于指定位置U的接触位置Y之间建立下面的根据针孔模型的关系表达式。
[公式6]
λ[u，v，1]T＝A·RC·(Y-XC)...(6)
在公式(6)中，XC表示摄像机的三维位置，RC表示与摄像机的姿势对应的旋转矩阵，矩阵A表示摄像机内部参数，并且λ表示归一化参数。根据成像单元102的特性由以下公式给出摄像机内部参数A。
[公式7]
这里，f表示焦距，θ表示图像轴的正交性(理想值为90°)，ku表示成像平面的纵轴的标度(从全局坐标系到摄像机坐标系的标度改变率)，kv表示成像平面的水平轴的标度，并且(uo，vo)表示成像平面的中心位置。
在关系表达式(6)中，如果给定指定位置U(u，v)，则未知变量将仅为接触位置Y。因此，计算单元170可以根据关系表达式(6)通过逆投影变换来计算接触位置Y(对于细节，参见JP 2008-304268A)。
注意，也可以取代用户指定而将接触位置Y计算为预设值。例如， 计算单元170可以自动将接触面的重心的三维位置计算为接触位置Y的预设值。
(4)参考线布置向量的识别
当用户指定输入图像区域SA1中的两个点(向量的起点和终点)时，识别参考线布置向量a。接触位置Y和参考线布置向量a的起点也可以通过单个的用户输入同时指定。计算单元170可以使用与上述计算接触位置Y的方法类似的方法，根据用户指定的两个二维位置来计算参考线布置向量a的起点和终点在全局坐标系上的三维位置。
注意，也可以取代用户指定而将参考线布置向量a计算为预设值。例如，当接触面是矩形时，计算单元170可以自动将沿接触面的长边方向的单位向量计算为参考线布置向量a的预设值。
替选地，计算单元170可以根据预设规则自动计算参考线布置向量a的预设值。例如，参考线布置向量a可以是单位向量中垂直分量(例如，全局坐标系的Z轴分量)在AR空间中最大的向量，这些单位向量从接触位置开始并且包括在接触面中。此外，如果将虚拟对象的参考线预先设定在显示器的上部方向上，则可以将虚拟对象的姿势自动设定为适当姿势(上部位于上面而下部位于下面的姿势)。
(5)另外的参数的识别
在该实施例中，制作单元160允许用户指定以下描述的另外的参数，以允许虚拟对象在AR空间中更灵活的布置。
另外的参数之一是离接触位置的偏移。偏移的预设值是零，并且在该情况下，AR空间中的实例的参考点的位置与接触位置重合(实例的接触面与接触真实对象的接触面相接触)。当偏移的值是D(D≠0)时，实例的参考点的位置在接触面的法线方向上以距离D偏离接触位置(实例的接触面变得与接触真实对象的接触面平行)。
图15是示出离接触位置的偏移的说明图。参考图15，示出了成像平面上的摄像机坐标系上的指定位置U0、AR空间中的全局坐标系上的接触位置Y0以及偏移的参考点的位置P0。接触位置Y0位于接触真实对象B2的接触面F21上。指定位置U0由用户在制作画面上指定。接触位置Y0可以由计算单元170根据上述针孔模型、根据指定位置U0的二维坐标来计算。此外，当用户指定偏移D(D≠0)时，计算单元170计算以距离D离开接触位置Y0的参考点的位置P0。连接接触位置Y0与参考点的位置 P0的线段垂直于接触面F21。
另一另外的参数是第二接触面的ID。当用户在图14示例性示出的制作画面SC1上的输入图像区域SA1中指定第二接触面时，识别第二接触面的ID。当所选择的虚拟对象是具有两个或更多个接触面的立体对象时，允许指定第二接触面。当指定两个接触面时，如此布置虚拟对象的实例，使得实例的两个面与两个相应的接触面相接触。
此外，当所选择的虚拟对象具有三个或更多个接触面时，可以由用户指定三个接触面。当指定三个接触面时，如此布置虚拟对象的实例，使得实例的三个面与三个相应的接触面相接触。
(5)计算处理的流程
参考图16，首先，计算单元170从制作单元160获取用户在制作画面上指定的参数(步骤S102)。此处获取的参数通常是一个或更多个二维指定位置，其指定接触面、接触位置以及参考线布置向量的终点。另外，还可以获取用户指定的偏移的值。
然后，计算单元170从图像识别单元140获取图像识别的结果(步骤S104)。此处获取的图像识别的结果包括输入图像中的各个真实对象的对象ID、真实空间中的各个真实对象的位置和姿势以及信息处理装置100的位置和姿势(步骤S104)。
接下来，计算单元170获取用户在制作画面上选择的虚拟对象的虚拟对象数据(步骤S106)。
接下来，计算单元170计算未知变量的值，以计算所选择的虚拟对象的实例的布置(步骤S108)。未知变量包括以上描述的接触面的ID、接触位置Y以及参考线布置向量a。接触面的ID可以被识别为与步骤S102中获取的指定位置对应的真实对象的ID。接触位置Y可以被计算为与包括接触面的平面上的指定位置对应的三维位置。参考线布置向量a可以根据与包括接触面的平面上的两个指定位置对应的两个三维位置来计算。替选地，可以将这样的变量的值中的一些自动地计算为预设值。
接下来，计算单元170通过使用参考线布置向量a和步骤S108中计算的已知变量的值求解上述公式(2)至(4)，来计算AR空间中的实例的姿势变换R0(步骤S110)。此处的已知变量包括表示实例的参考线的方向的局部坐标系上的向量a’、接触面在全局坐标系上的法向量n以及接触面在局部坐标系上的法向量n’。
接下来，计算单元170通过将步骤S108中计算的接触位置Y、步骤S110中计算的姿势变换R0以及已知变量的值代入以上公式(5)中，来计算AR空间中的实例的三维位置(步骤S112)。此处计算的三维位置是局部坐标系上的实例的原点在全局坐标系上的位置C0。已知变量包括由虚拟对象数据定义的实例的参考点在局部坐标系上的位置Y’。
当用户没有指定偏移时(当偏移的值是零时)，计算单元170的计算处理终止(步骤S114)。另外，当指定了不为零的偏移值时，计算单元170在接触面的法线方向上将实例的三维位置C0偏移指定偏移值(步骤S116)。
注意，当指定第二接触面时，取代步骤S110及其之后的处理，可以如此计算实例的姿势，使得实例的两个接触面与两个相应的接触面相接触。例如，可以如此计算实例的位置，使得连接第一接触面上的接触位置Y与实例的参考点的位置的线段变得垂直于第二接触面。此外，当进一步指定第三接触面时，可以如此计算实例的三维位置，使得实例的第三接触面与指定的第三接触面相接触。
<5.实例数据的生成>
当计算AR空间中的虚拟对象的实例的三维位置和姿势时，制作单元160根据计算的三维位置和姿势将实例叠加在制作画面上显示的输入图像上。可以根据针孔模型的上述关系表达式(6)，通过投影变换根据实例的三维位置和姿势来计算实例叠加在画面上的位置。然后，当检查了画面的用户发出用于保存数据的指令时，制作单元160使存储介质存储表示实例的三维位置和姿势的实例数据。
图17是示出根据该实施例的实例数据的数据示例的说明图。图17示出了包括关于四个实例IS11、IS12、IS13和IS21的数据的实例数据ISD。实例数据ISD包括六个数据项：“实例ID”、“对象ID”、“坐标类型”、“相关联的对象”、“位置”以及“姿势”。“实例ID”是用于唯一地标识各个实例的标识符。“对象ID”是与各个实例相关联的虚拟对象的ID，并且指示各个实例是哪个虚拟对象实例。在图17的示例中，实例IS11、IS12和IS13是虚拟对象V1的实例。实例IS21是虚拟对象V2的实例。“坐标类型”表示“全局”或“局部”之一。“坐标类型”是“全局”的实例的位置和姿势被存储为全局坐标系上的值。另外，“坐标类型”是“局部”的实例的位置和姿势被存储为与局部坐标系上的实例相关联的真实对象的值。“相关联的对象”是当实例的“坐标类型”是“局部”时与实例相 关联的真实对象的对象ID。还可以取代相关联的对象的ID，使用相关联的对象在全局坐标系上的三维位置。“位置”是各个实例(在相关联的对象的全局坐标系或局部坐标系上)的三维位置。“姿势”是表示AR空间中的各个实例的姿势的旋转矩阵或四元数。
根据可在发出用于保存数据的指令之前设定的模式来确定“坐标类型”的值。当用户想以固定方式来布置AR空间中的实例时，用户可以将模式设置为“全局模式”。在该情况下，“坐标类型”变为“全局”，并且实例的三维位置和姿势被存储为全局坐标系上的值。如果在“全局模式”中存储实例数据，则用户终端可以在最终用户使用AR内容时，根据终端的位置和姿势来确定实例在屏幕上的显示位置，而无需执行根据输入图像的对象识别。
另外，在“局部模式”中，实例数据的“坐标类型”是“局部”，实例的三维位置和姿势的值被变换为相关联的对象在局部坐标系上的值，并且存储变换后的值。与“局部模式”中的实例相关联的真实对象可以是上述接触真实对象。如果在“局部模式”中存储实例数据，则即使当用户终端没有诸如GPS功能的定位功能时，用户终端也可以在最终用户使用AR内容时，基于根据输入图像的对象识别来确定实例在屏幕上的显示位置。在该情况下，实例的显示可以更准确地叠加在屏幕上的相关联的对象上，而不受定位功能的误差的影响。此外，还可以创建这样的AR内容，在这样的AR内容中，实例如此移动，使得实例跟随动态真实对象。
<6.操作场景>
接下来，将描述使用该实施例中提供的用户接口的制作操作的五个示例性场景。
(1)第一场景
在第一场景中，用户在选择虚拟对象之后，仅在制作画面上指定与虚拟对象的实例的参考点的位置对应的指定位置。
图18是示出制作操作的第一场景的序列图。另外，图19是示出第一场景中显示在制作画面上的图像示例的说明图。
参考图18，首先，信息处理装置100的用户接口单元150使用显示单元112向用户显示制作画面，例如图14示例性示出的制作画面(步骤S122)。
接下来，用户从制作画面上的虚拟对象列表区域中选择要布置在AR 空间中的虚拟对象(S124)。注意，当虚拟对象具有多个接触面时，用户可以进一步从多个接触面中选择单个接触面。在图19的示例中，选择虚拟对象V1。
接下来，用户通过诸如点击或轻击的操作在制作画面上指定所选择的虚拟对象要布置在输入图像区域中的位置(S134)。虚拟对象的选择和指定位置的输入还可以通过单击操作(例如，从虚拟对象列表区域中拖放)来执行。图19的左部示出了用户指定的指定位置P1。
接下来，计算单元170执行参考图16描述的位置/姿势计算处理(步骤S150)。在位置/姿势计算处理中，可以将接触面的ID识别为与指定位置P1对应的真实对象的ID(图19中的面F21)。接触位置可以被识别为接触面F21上与指定位置P1对应的三维位置。参考线布置向量可以自动被识别为预设值。
然后，当计算单元170计算出实例的三维位置和姿势时，用户接口单元150根据计算出的三维位置和姿势，将虚拟对象的实例叠加在制作画面的输入图像区域上(步骤S152)。图19的右部示出了虚拟对象V1的实例叠加在接触面F21上的视图。
此后，制作单元160在从用户接收到保存数据的指令时(步骤S154)，生成实例数据(例如图17中示例性示出的实例数据)，并且使存储介质存储所生成的实例数据(步骤S156)。用户可以在发出用于保存数据的指令之前，返回到步骤S124或步骤S134，以再次选择虚拟对象或输入指定位置。
上述第一场景是最简单的场景，其中用户仅需要指定画面上的单个点以布置虚拟对象。在第一场景中，同时指定接触面和接触位置。这样的场景的优点在于，对用户来说，操作非常直观并且易于执行。
(2)第二场景
在第二场景中，用户分别指定接触面和接触位置。另外，所生成的实例数据的“坐标类型”是“局部”。
图20是示出制作操作的第二场景的序列图。图21是示出第二场景中显示在制作画面上的图像示例的说明图。
参考图20，首先，信息处理装置100的用户接口单元150使用显示单元112向用户显示制作画面(例如图14中示例性示出的制作画面)(步骤S122)。
接下来，用户从制作画面上的虚拟对象列表区域中选择要布置在AR空间中的虚拟对象(步骤S124)。在图21的示例中，选择虚拟对象V1。
接下来，用户通过诸如点击或轻击的操作在制作画面上指定输入图像区域中的接触面。虚拟对象的选择和接触面的指定还可以通过单击操作(例如，从虚拟对象列表区域拖放)来执行。在图21的示例中，用户指定的真实对象B8的面F83是阴影线。
接下来，用户进一步指定所选择的虚拟对象要布置在输入图像区域中的位置(步骤S134)。此处指定的位置可以是画面上的接触面的内侧或外侧的位置。图21的左部示出了在用户指定的接触面F83的外侧上的指定位置P2。
接下来，计算单元170执行参考图16描述的位置/姿势计算处理(步骤S150)。在位置/姿势计算处理中，接触位置被识别为AR空间中与包括接触面F83的平面上的指定位置P2对应的三维位置。参考线布置向量可以被自动识别为预设值。
当计算单元170计算出实例的三维位置和姿势时，用户接口单元150根据计算出的三维位置和姿势将输入图像区域中的虚拟对象的实例叠加在制作画面上(步骤S152)。图21的右部示出了虚拟对象V1的实例叠加在输入图像上的视图。
此后，制作单元160在从用户接收到保存数据的指令时(步骤S154)，生成实例数据(例如图17中示例性示出的实例数据)，并且使存储介质存储所生成的实例数据(步骤S156)。在该场景中，虚拟对象V1的实例的实例数据与真实对象B8相关联，并且具有真实对象B8在局部坐标系上的三维位置和姿势(例如，参见图17的实例数据ISD中的实例ID＝“IS13”的行)。因此，虚拟对象V1的实例的位置将在AR空间内改变以跟随移动的真实对象B8。
在上述第二场景中，在分开的步骤中指定接触面和接触位置。因此，可以将接触面的多边形的外侧上的位置指定为接触位置。另外，在第二场景中，虚拟对象的实例的位置和姿势由相关联的对象的局部坐标系来表示。因此，可以容易地创建如下AR内容：其中，实例的位置改变以跟随相关联的移动对象。
(3)第三场景
在第三场景中，用户同时指定接触面和接触位置，并且进一步在制 作画面上指定参考线布置向量。
图22是示出制作操作的第三场景的序列图。图23是示出第三场景中显示在制作画面上的图像示例的说明图。
第三场景的步骤S122至S134与第一场景中的步骤类似。参考图23，在该场景中，用户选择虚拟对象V2。另外，用户指定真实对象B1的面F11上的指定位置P3。
计算单元170将与指定位置P3对应的面F11识别为接触面。另外，计算单元170将与包括接触面F11的平面上的指定位置P3对应的三维位置识别为接触位置(步骤S136)。
此外，在该场景中，用户通过诸如拖拽或多点触摸的操作来指定参考线的方向(步骤S138)。在图23的示例中，向量V1被指定为参考线的方向。
接下来，计算单元170执行参考图16描述的位置/姿势计算处理(步骤S150)。在位置/姿势计算处理中，参考线布置向量可以被计算为与AR空间中的包括接触面的平面上的单位向量，该单位向量对应于步骤S138中指定的向量V1。
以下步骤S152至S156也可以与第一场景中的步骤类似。在图23的示例中，如此叠加虚拟对象V2的实例，使得参考点与对应于接触面F11上的指定位置P3的接触位置重合。如此旋转实例的姿势，使得参考线与AR空间中的参考线布置向量重合。
在上述第三场景中，用户甚至可以通过执行用于指定参考线布置向量的操作来自由地改变虚拟对象的姿势。用于指定参考线布置向量的操作可以通过屏幕上诸如拖拽或多点触摸的简单操作来实现。替选地，当根据拖拽的初始化指定接触面和接触位置时，可以通过单击拖拽操作指定所有的接触面、接触位置以及参考线布置向量。
注意，在该场景中，与具有用于显示给定图像的场的容器对应的虚拟对象被用作示例。该容器也可以用在其它场景中。当将这样的容器的实例布置在AR空间中时，即使在制作AR内容之后，也可以仅通过替换设置在容器上的图像来容易地改变AR内容。
(4)第四场景
在第四场景中，在如第三场景中一样指定参考线布置向量之后，用户 进一步在制作画面上指定偏移。
图24是示出制作操作的第四场景的序列图。图25是示出第四场景中显示在制作画面上的图像示例的说明图。
第四场景的步骤S122至S138可以与第三场景中的步骤类似。参考图25，在该场景中，用户选择虚拟对象V2。另外，用户指定真实对象B1的面F11上的指定位置P3。此外，指定表示参考线的方向的向量v1。
计算单元170根据AR空间中的接触面F11上与向量v1的起点和终点对应的两个点，来识别参考线布置向量(步骤S140)。
此外，在该场景中，用户指定实例的参考点的位置离接触位置的偏移(步骤S142)。偏移的值可以由诸如点击新的点或拖拽与偏移对应的距离的操作来指定。在图25的示例中，指定的偏移值是D1。
接下来，计算单元170执行参考图16描述的位置/姿势计算处理(步骤S150)。在位置/姿势计算处理中，实例的参考点在接触面的法线方向上偏离接触位置。
以下步骤S152至S156也可以与第三场景中的步骤类似。在图25的示例中，虚拟对象V2的实例的参考点以距离D1偏离与接触面F11上的指定位置P3对应的接触位置。
在上述第四场景中，用户可以通过另外指定偏移，容易地在远离包括接触面的平面的位置处布置虚拟对象的实例。
(5)第五场景
在第五场景中，用户指定两个接触面。
图26是示出制作操作的第五场景的序列图。另外，图27是示出第五场景中显示在制作画面上的图像示例的说明图。
参考图26，首先，信息处理装置100的用户接口单元150使用显示单元112向用户显示制作画面，例如图14示例性示出的制作画面(步骤S122)。
接下来，用户从制作画面上的虚拟对象列表区域选择要布置在AR空间中的虚拟对象(步骤S124)。在图27的示例中，选择虚拟对象V3。在该场景中，用户进一步选择所选择的虚拟对象的两个接触面。
接下来，用户在制作画面上指定输入图像区域中的第一接触面(步骤 S144)。另外，用户指定输入图像区域中的第二接触面(步骤S146)。在图27的示例中，作为指定了指定位置P4的结果，真实对象B1的面F13被指定为第一接触面。另外，作为指定了指定位置P5的结果，真实对象B2的面F21被指定为第二接触面。
接下来，计算单元170执行上述位置/姿势计算处理(步骤S150)。在位置/姿势计算处理中，如此计算虚拟对象的实例的三维位置和姿势，使得实例的两个接触面与两个相应的接触面相接触。
以下步骤S152至S156可以与其它场景中的步骤类似。在图27的示例中，如此叠加虚拟对象V3的实例，使得虚拟对象V3的实例的接触面与两个相应的接触面F13和F21相接触。
在上述第五场景中，用户可以通过指定输入图像中的两个点的简单操作在AR空间中布置虚拟对象。这样的操作也可以通过诸如点击或轻击的简单操作来实现。
(6)变型
注意，虚拟对象的实例的大小在上述制作画面上也可以是可调整的。例如，虚拟对象的实例的大小可以通过用户在制作画面上的操作(例如拖拽)来改变。替选地，例如，计算单元170可以根据接触面的大小来放大或缩小虚拟对象的实例的大小。在图28的示例中，根据接触面F21的大小自动放大布置在真实对象B2的接触面F21上的接触位置P1处的虚拟对象V1的实例的大小。制作单元160还可以使实例数据包括以此方式改变的实例的大小的放大率(或者仅大小)。
<7.结论>
至此，已参考图1至28详细描述了本公开的实施例。根据该实施例，将用于显示真实空间的输入图像的制作画面呈现给用户。然后，用户指定虚拟对象要被布置在制作画面上的位置。信息处理装置100根据用户指定的指定位置计算虚拟对象在AR空间中的三维位置，并且将计算的三维位置与虚拟对象相关联，以将三维位置存储在存储介质中。因此，用户可以在观看显示在制作画面上的输入图像的同时，通过简单操作将虚拟对象布置在AR空间中的期望位置。因此，即使是没有专业知识的普通用户也可以容易地制作AR内容。另外，由于用户可以在观看屏幕显示的同时布置虚拟对象而不需要执行诸如坐标变换的复杂计算，因此还可以避免虚拟对象布置中的误差。
根据该实施例，虚拟对象布置在与输入图像中的真实对象的平面上的上述指定位置对应的三维位置处，该平面包括用户指定的面。因此，用户可以仅通过指定要布置虚拟对象的真实对象的面以及指定上述指定位置，来适当地在AR空间中布置虚拟对象。此外，还可以将真实对象的面的指定和上述指定位置的指定组合为单个操作，以进一步简化用户执行的操作。
另外，根据该实施例，当在制作画面上指定用于确定AR空间中的虚拟对象的姿势的向量时，使用该向量进一步计算AR空间中的虚拟对象的姿势。可以通过屏幕上诸如拖拽或多点触摸的简单操作来执行向量的指定。因此，即使没有专业知识的普通用户也可以容易地编辑虚拟对象在AR空间中的三维位置以及姿势。
此外，根据该实施例，可以根据制作画面上指定的偏移值对虚拟对象在AR空间中的三维位置进行偏移。因此，用户可以将虚拟对象布置在AR空间中的不同位置，而不限于真实对象的指定接触面。
此外，根据该实施例，虚拟对象的三维位置可以被存储为AR空间中的绝对位置、或关于与虚拟对象相关联的真实空间中的真实对象的相对位置。当虚拟对象的三维位置被存储为关于真实空间中的真实对象的相对位置时，例如变得可以创建如下AR内容：在该AR内容中，虚拟对象移动以跟随动态真实对象。
另外，根据该实施例，可以通过核查输入图像与模型数据，识别真实空间的输入图像中的各个真实对象的位置和姿势，该模型数据表示真实空间中的一个或更多个真实对象中的每个的外表特征。因此，可以使用这样的图像识别的结果，来计算与包括指定面的平面上的指定位置对应的位置。
注意，可以使用软件、硬件或软件和硬件的组合中的任一个，来实现由本说明书中描述的信息处理装置100执行的一系列控制处理。构成软件的程序预先存储在例如存储介质中，该存储介质设置在各个装置的内部或外部。然后，各个程序在执行时被读取到RAM(随机存取存储器)中，并且由诸如CPU(中央处理单元)的处理器来执行。
尽管已参考附图详细描述了本公开的优选实施例，但是本公开不限于此。对本领域技术人员来说明显的是，在所附权利要求或其等同方案的技术范围内，各种修改或变型是可能的。应理解，这样的修改或变型也在本 公开的技术范围内。
本公开包含与2011年2月15日向日本专利局提交的日本优先权专利申请JP 2011-030006中公开的主题内容相关的主题内容，其全部内容通过引用而合并于此。

Claims (9)

1.一种信息处理装置，包括：
图像获取单元，其被配置成获取利用成像装置捕获的真实空间的输入图像；
用户接口单元，其被配置成在显示装置的屏幕上显示所述输入图像，并且检测用户在所述屏幕上指定的摄像机坐标系中的指定位置；
计算单元，其被配置成通过将所述用户接口单元检测到的所述指定位置的坐标从所述摄像机坐标系变换成在表示增强现实空间的真实空间模型中固定的全局坐标系，计算虚拟对象在与所述真实空间模型对应的增强现实空间中的三维位置；以及
制作单元，其被配置成将所述计算单元计算的所述虚拟对象的在所述全局坐标系中的所述三维位置与所述虚拟对象相关联，以将所述三维位置存储在存储介质中，
所述信息处理装置还包括：
数据获取单元，其被配置成获取表示所述真实空间中的一个或更多个真实对象中的每个的外表特征的模型数据；以及
识别单元，其被配置成通过核对所述输入图像与所述模型数据，识别所述输入图像中所述真实空间的各个真实对象的位置和姿势。
2.根据权利要求1所述的信息处理装置，其中，
所述用户接口单元提示所述用户将包括在所述输入图像中的真实对象的面之一指定为第一面，以及
由所述计算单元计算的三维位置是在所述增强现实空间中的包括所述第一面的平面上并且对应于所述指定位置的位置。
3.根据权利要求2所述的信息处理装置，其中，
所述用户接口单元还提示所述用户在所述屏幕上指定向量，
所述计算单元还使用所指定的向量计算所述虚拟对象在所述增强现实空间中的姿势，以及
所述制作单元还将所述计算单元计算的所述虚拟对象的所述姿势存储在所述存储介质中。
4.根据权利要求3所述的信息处理装置，其中，所述计算单元计算所述虚拟对象在所述增强现实空间中的姿势，使得当显示所述虚拟对象时，所述虚拟对象的至少一面的法线变得与所述第一面的法线平行。
5.根据权利要求4所述的信息处理装置，其中，
所述用户接口单元还提示所述用户指定所述虚拟对象的所述至少一面与包括所述第一面的所述平面之间的距离，以及
所述计算单元在所述距离不为零时，根据所述距离偏移所述虚拟对象的所述三维位置。
6.根据权利要求2所述的信息处理装置，其中，
所述用户接口单元检测所述用户在所述屏幕上指定的两个指定位置，
所述计算单元计算所述虚拟对象在所述增强现实空间中的所述三维位置和姿势，使得分别对应于所述两个指定位置的包括在所述输入图像中的真实对象的面与所述虚拟对象的两个面相接触，以及
所述制作单元将所述计算单元计算的所述虚拟对象的所述三维位置和所述姿势存储在所述存储介质中。
7.根据权利要求1所述的信息处理装置，其中，
所述用户接口单元提示所述用户指定与所述虚拟对象相关联的所述真实空间中的真实对象，以及
将所述三维位置存储为关于所述用户指定的所述真实对象的相对位置。
8.根据权利要求2所述的信息处理装置，其中，所述计算单元还根据所述真实空间中的所述第一面的大小，计算在显示所述虚拟对象时所述虚拟对象在所述增强现实空间中的大小。
9.一种信息处理方法，包括：
获取利用成像装置捕获的真实空间的输入图像；
在显示装置的屏幕上显示所述输入图像；
检测用户在所述屏幕上指定的摄像机坐标系中的指定位置；
通过将检测到的所述指定位置的坐标从所述摄像机坐标系变换成在表示增强现实空间的真实空间模型中固定的全局坐标系，计算虚拟对象在与所述真实空间模型对应的增强现实空间中的三维位置；
将计算的所述虚拟对象的在所述全局坐标系中的所述三维位置与所述虚拟对象相关联，以将所述三维位置存储在存储介质中；
获取表示所述真实空间中的一个或更多个真实对象中的每个的外表特征的模型数据；以及
通过核对所述输入图像与所述模型数据，识别所述输入图像中所述真实空间的各个真实对象的位置和姿势。
CN201210027593.1A 2011-02-15 2012-02-08 信息处理装置、信息处理方法 Active CN102708355B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011030006A JP5799521B2 (ja) 2011-02-15 2011-02-15 情報処理装置、オーサリング方法及びプログラム
JP2011-030006 2011-02-15

Publications (2)

Publication Number Publication Date
CN102708355A CN102708355A (zh) 2012-10-03
CN102708355B true CN102708355B (zh) 2017-03-01

Family

ID=45655372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210027593.1A Active CN102708355B (zh) 2011-02-15 2012-02-08 信息处理装置、信息处理方法

Country Status (4)

Country Link
US (2) US8850337B2 (zh)
EP (2) EP2490182A1 (zh)
JP (1) JP5799521B2 (zh)
CN (1) CN102708355B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105637564B (zh) * 2013-10-04 2019-06-28 高通股份有限公司 产生未知对象的扩增现实内容

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036280B1 (ko) * 2010-01-26 2011-05-23 광주과학기술원 수동 조작 도구를 이용한 3차원 메뉴 시스템
US8627508B2 (en) 2011-06-17 2014-01-07 Microsoft Corporation Cloud key directory for federating data exchanges
US8891772B2 (en) 2011-06-17 2014-11-18 Microsoft Corporation Cloud key escrow system
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9576397B2 (en) 2012-09-10 2017-02-21 Blackberry Limited Reducing latency in an augmented-reality display
EP2706508B1 (en) * 2012-09-10 2019-08-28 BlackBerry Limited Reducing latency in an augmented-reality display
US20140123507A1 (en) 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US20140192182A1 (en) * 2013-01-10 2014-07-10 General Electric Company Method for viewing virtual objects within an appliance
WO2014125134A1 (es) * 2013-02-14 2014-08-21 Manin Company Construcciones En Acero Inoxidable, S.L.U. Método para la representación de entornos virtuales localizados geográficamente y dispositivo móvil
US20140278053A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Navigation system with dynamic update mechanism and method of operation thereof
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
CN103150658B (zh) * 2013-04-02 2016-05-18 武汉友睿科技有限公司 一种面向终端用户的现实增强定制系统及方法
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP6245837B2 (ja) * 2013-04-30 2017-12-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB201310360D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
US20150042678A1 (en) * 2013-08-09 2015-02-12 Metaio Gmbh Method for visually augmenting a real object with a computer-generated image
US9776364B2 (en) 2013-08-09 2017-10-03 Apple Inc. Method for instructing a 3D printing system comprising a 3D printer and 3D printing system
JP6314394B2 (ja) 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
JP6110780B2 (ja) * 2013-12-05 2017-04-05 株式会社ジオ技術研究所 付加情報表示システム
JP6402443B2 (ja) * 2013-12-18 2018-10-10 富士通株式会社 制御プログラム、制御装置及び制御システム
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
CN105723422B (zh) * 2014-03-17 2019-05-28 松下知识产权经营株式会社 针对多视点图像的标签信息的处理装置以及处理方法
JP2015184778A (ja) * 2014-03-20 2015-10-22 コニカミノルタ株式会社 拡張現実表示システム、拡張現実情報生成装置、拡張現実表示装置、サーバー、拡張現実情報生成プログラム、拡張現実表示プログラムおよび拡張現実情報のデータ構造
JP6265027B2 (ja) * 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
CN115359567A (zh) * 2014-06-14 2022-11-18 奇跃公司 用于产生虚拟和增强现实的方法和系统
JP6488591B2 (ja) * 2014-08-27 2019-03-27 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
JP6417797B2 (ja) * 2014-09-03 2018-11-07 株式会社リコー 情報端末装置、情報処理方法、システムおよびプログラム
US9892560B2 (en) 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
WO2016103521A1 (ja) * 2014-12-26 2016-06-30 株式会社ニコン 検出装置およびプログラム
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
CN106558103A (zh) * 2015-09-24 2017-04-05 鸿富锦精密工业（深圳）有限公司 扩增实境图像处理系统及扩增实境图像处理方法
US10152825B2 (en) * 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
CN105608745B (zh) * 2015-12-21 2019-01-29 大连新锐天地文化科技有限公司 应用于图像或视频的ar显示系统
WO2017124074A1 (en) * 2016-01-15 2017-07-20 Mecha Industries, Inc. Methods for automatically generating a common measurement across multiple assembly units
JP6723018B2 (ja) * 2016-02-02 2020-07-15 株式会社パスコ 対象物記録装置及び対象物記録プログラム
KR102503155B1 (ko) * 2016-02-11 2023-02-22 매직 립, 인코포레이티드 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
CN105681684A (zh) * 2016-03-09 2016-06-15 北京奇虎科技有限公司 基于移动终端的图像实时处理方法及装置
CN105786432A (zh) * 2016-03-18 2016-07-20 北京奇虎科技有限公司 在移动终端上展示虚拟画面的方法及装置
JP6701930B2 (ja) 2016-04-28 2020-05-27 富士通株式会社 オーサリング装置、オーサリング方法およびオーサリングプログラム
JP6126271B1 (ja) * 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
WO2017199848A1 (ja) * 2016-05-17 2017-11-23 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
WO2018031621A1 (en) * 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
JP6113897B1 (ja) * 2016-08-22 2017-04-12 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
WO2018071562A1 (en) * 2016-10-12 2018-04-19 Viar Inc Virtual/augmented reality content management system
JP2018077644A (ja) 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
JP6350640B2 (ja) * 2016-12-15 2018-07-04 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラム
TWI615776B (zh) * 2016-12-23 2018-02-21 李雨暹 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
DE112017006836T5 (de) * 2017-01-16 2019-09-26 Sony Corporation Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
EP3594906B1 (en) * 2017-03-06 2022-10-19 LINE Corporation Method and device for providing augmented reality, and computer program
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
CN107888600A (zh) * 2017-11-21 2018-04-06 北京恒华伟业科技股份有限公司 一种定位方法
WO2019118002A1 (en) * 2017-12-15 2019-06-20 Google Llc Methods and systems for generating augmented reality environments
JP7017689B2 (ja) * 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US20190206102A1 (en) * 2017-12-29 2019-07-04 Facebook, Inc. Systems and methods for enhancing content
DK180842B1 (en) 2018-01-24 2022-05-12 Apple Inc Devices, procedures, and graphical user interfaces for System-Wide behavior for 3D models
JP6745852B2 (ja) * 2018-01-24 2020-08-26 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
CN108932055B (zh) * 2018-06-04 2021-08-24 杭州艺手工网络科技有限公司 一种增强现实内容的方法和设备
EP3825817A4 (en) * 2018-07-20 2021-09-08 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
CN109348003A (zh) * 2018-09-17 2019-02-15 深圳市泰衡诺科技有限公司 应用控制方法及装置
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
WO2020115784A1 (ja) 2018-12-03 2020-06-11 マクセル株式会社 拡張現実表示装置及び拡張現実表示方法
US10848335B1 (en) * 2018-12-11 2020-11-24 Amazon Technologies, Inc. Rule-based augmentation of a physical environment
US10803669B1 (en) * 2018-12-11 2020-10-13 Amazon Technologies, Inc. Rule-based augmentation of a physical environment
JP6818968B2 (ja) * 2019-01-11 2021-01-27 三菱電機株式会社 オーサリング装置、オーサリング方法、及びオーサリングプログラム
CN113498531A (zh) * 2019-03-06 2021-10-12 麦克赛尔株式会社 头戴式信息处理装置以及头戴式显示系统
JP7160183B2 (ja) * 2019-03-28 2022-10-25 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラム
US20210052976A1 (en) 2019-08-22 2021-02-25 NantG Mobile, LLC Virtual and real-world content creation, apparatus, systems, and methods
CN112702643B (zh) * 2019-10-22 2023-07-21 上海哔哩哔哩科技有限公司 弹幕信息显示方法、装置、移动终端
CN110782532B (zh) * 2019-10-23 2021-04-16 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质
CN114730212A (zh) * 2019-12-05 2022-07-08 Oppo广东移动通信有限公司 用于关联多人ar系统中的设备坐标系的方法和系统
US11263818B2 (en) 2020-02-24 2022-03-01 Palo Alto Research Center Incorporated Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
US11626994B2 (en) 2020-02-27 2023-04-11 Sneakertopia Inc. System and method for presenting content based on articles properly presented and verifiably owned by or in possession of user
CN111651056A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 一种沙盘演示方法、装置、计算机设备及存储介质
CN112100407B (zh) * 2020-09-25 2021-05-21 南京酷朗电子有限公司 多媒体图像系统的信息继承和叠加方法
FR3117650B1 (fr) * 2020-12-16 2023-09-08 Schneider Electric Ind Sas Procédé de gestion de l’affichage d’au moins une information, produit programme d’ordinateur, support d’information et système d’affichage associés
JP7082698B1 (ja) 2021-02-18 2022-06-08 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7086242B1 (ja) 2021-02-18 2022-06-17 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
US11928783B2 (en) * 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
KR102433894B1 (ko) * 2021-12-30 2022-08-18 주식회사 버넥트 맵 타겟을 생성 및 저장하는 방법 및 그 시스템
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US20230401802A1 (en) * 2022-06-14 2023-12-14 Shopify Inc. System and Method for Updating Electronic Content By Selectively Replacing Virtual 3D Objects

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057856A (en) * 1996-09-30 2000-05-02 Sony Corporation 3D virtual reality multi-user interaction with superimposed positional information display for each user
US6037914A (en) * 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
US20020163482A1 (en) * 1998-04-20 2002-11-07 Alan Sullivan Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures
AU2001275308A1 (en) * 2000-06-06 2001-12-17 Frauenhofer Institut Fuer Graphische Datenverarbeitung The extended virtual table: an optical extension for table-like projection systems
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
JP2004046326A (ja) * 2002-07-09 2004-02-12 Dainippon Screen Mfg Co Ltd 画像表示装置、画像表示方法およびプログラム
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
JP2005141671A (ja) * 2003-11-10 2005-06-02 Canon Inc 情報処理装置及びその方法及びその方法を実行するためのプログラムおよびそのプログラムを記憶した記憶媒体
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
JP2006145988A (ja) * 2004-11-22 2006-06-08 Olympus Corp 情報重畳表示装置及び情報重畳表示システム
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
JP4594136B2 (ja) * 2005-03-09 2010-12-08 キヤノン株式会社 画像処理方法、画像処理装置
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
WO2008107021A1 (de) * 2007-03-08 2008-09-12 Siemens Aktiengesellschaft Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8102334B2 (en) * 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
US8190295B1 (en) * 2008-05-14 2012-05-29 Sandia Corporation Apparatus and method for modifying the operation of a robotic vehicle in a real environment, to emulate the operation of the robotic vehicle operating in a mixed reality environment
JP2010026818A (ja) * 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
US8606657B2 (en) * 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8379056B2 (en) * 2009-02-27 2013-02-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for providing a video signal of a virtual image
JP5316285B2 (ja) 2009-07-27 2013-10-16 三菱電機株式会社 電力増幅器用バイアス回路
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
US9699438B2 (en) * 2010-07-02 2017-07-04 Disney Enterprises, Inc. 3D graphic insertion for live action stereoscopic video
WO2012048252A1 (en) * 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US9898844B2 (en) * 2013-12-31 2018-02-20 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9754417B2 (en) * 2014-12-31 2017-09-05 Canon Information And Imaging Solutions, Inc. Methods and systems for displaying virtual objects
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105637564B (zh) * 2013-10-04 2019-06-28 高通股份有限公司 产生未知对象的扩增现实内容

Also Published As

Publication number Publication date
US20120210255A1 (en) 2012-08-16
US9996982B2 (en) 2018-06-12
JP2012168798A (ja) 2012-09-06
US8850337B2 (en) 2014-09-30
JP5799521B2 (ja) 2015-10-28
EP2490182A1 (en) 2012-08-22
CN102708355A (zh) 2012-10-03
EP3664040A1 (en) 2020-06-10
US20140362084A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
CN102708355B (zh) 信息处理装置、信息处理方法
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
US11640672B2 (en) Method and system for wireless ultra-low footprint body scanning
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN103582893B (zh) 用于增强现实表示的二维图像获取
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN102200881B (zh) 图像处理装置以及图像处理方法
US20160078663A1 (en) Cloud server body scan data system
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN103733229A (zh) 信息处理设备、信息处理方法及程序
TW201346640A (zh) 影像處理裝置及電腦程式產品
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
CN104081307A (zh) 图像处理装置、图像处理方法和程序
US11954773B1 (en) Process for creating an augmented image
JP7273284B2 (ja) データ生成方法、装置およびプログラム
JP2004110459A (ja) ３次元モデル空間生成装置、３次元モデル空間生成方法、３次元モデル空間生成プログラム、及びコンテンツ送信サーバ
CN115515487A (zh) 基于使用多视图图像的3d人体姿势估计的基于视觉的康复训练系统
US11373329B2 (en) Method of generating 3-dimensional model data
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
JPWO2018025825A1 (ja) 撮像システム
WO2021164653A1 (zh) 动画形象的生成方法、设备及存储介质
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant