[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106980378B - 虚拟显示方法和系统 - Google Patents

虚拟显示方法和系统 Download PDF

Info

Publication number
CN106980378B
CN106980378B CN201710200129.0A CN201710200129A CN106980378B CN 106980378 B CN106980378 B CN 106980378B CN 201710200129 A CN201710200129 A CN 201710200129A CN 106980378 B CN106980378 B CN 106980378B
Authority
CN
China
Prior art keywords
user
graphic
graph
target object
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710200129.0A
Other languages
English (en)
Other versions
CN106980378A (zh
Inventor
周子尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710200129.0A priority Critical patent/CN106980378B/zh
Publication of CN106980378A publication Critical patent/CN106980378A/zh
Application granted granted Critical
Publication of CN106980378B publication Critical patent/CN106980378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种虚拟显示方法,包括:获取用户在空间场景中绘制对象时的空间动作;确定与所绘制的对象的图形特征相匹配的目标对象的图形;以及在空间场景中的相应位置呈现所述目标对象的图形。本公开还提供了一种虚拟显示系统。

Description

虚拟显示方法和系统
技术领域
本公开涉及一种虚拟显示方法和系统。
背景技术
随着人工智能、自动控制、通信和计算机技术的快速发展,仿真技术已经被越来越多地应用于工农业生产、建筑、物流、和日常生活等诸多领域。由于应用环境越来越复杂,需要仿真技术呈现的功能也越来越繁琐。例如,增强现实技术(Augmented Reality,简称AR)是在虚拟现实技术(Virtual Reality,简称VR)的发展基础上出现的,若能克服其本身的一些问题,则会显著提高用户的使用体验,扩展该技术的应用范围。
发明内容
本公开的一个方面提供了一种虚拟显示方法,包括:获取用户在空间场景中绘制对象时的空间动作;确定与所绘制的对象的图形特征相匹配的目标对象的图形;以及在空间场景中的相应位置呈现目标对象的图形。
可选地,获取用户在空间场景中绘制对象时的空间动作,包括:在以第一视点和第二视点向用户呈现空间场景时,分别获取用户绘制的对象的图形;以及根据所绘制的对象的图形生成对象的三维图形。
可选地,在空间场景中的相应位置呈现目标对象的图形,包括:确定用户的空间动作的操作位置;以及确定操作位置在空间场景的映射位置,作为在空间场景中对象的图形的位置,在空间场景中对象的图形的位置呈现目标对象的图形。
可选地,在空间场景中的相应位置呈现目标对象的图形,包括:确定用户所绘制的对象的尺寸;以及根据所确定的对象的尺寸,调整目标对象的图形在空间场景中的呈现,以使呈现的目标对象的尺寸与所确定的对象的尺寸相匹配。
可选地,在空间场景中的相应位置呈现目标对象的图形,包括:确定用户所绘制的对象相对于用户的视角;根据确定的对象的视角,调整目标对象的图形在空间场景中的呈现,以使呈现的目标对象的视角与确定的对象的视角匹配。
可选地,确定与所绘制的对象的图形特征相匹配的目标对象的图形包括:确定绘制的对象的图形特征;以及搜索与绘制的对象的图形特征相匹配的目标对象的图形。
可选地,确定绘制的对象的图形特征,还包括:提供与对象相关的属性选项以供用户选择;以及利用用户选择的属性选项对用户绘制的对象的图形进行处理。
本公开的另一方面公开了一种虚拟显示系统,包括:显示设备,能够显示图形;存储器,存储有可执行指令;以及处理器,执行可执行指令,以实现上述的方法。
可选地,该虚拟显示系统还包括:传感器,用于感测用户的空间动作,并将感测的空间动作转换为电信号发送给处理器。
可选地,该虚拟显示系统还包括:图像采集设备,用于采集用户的空间动作,并将所采集的空间动作发送给处理器。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机可执行指令,该指令在被执行时用于实现如上述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的虚拟显示方法的流程图;
图2示意性示出了根据本公开实施例的在空间场景中呈现用户绘制的对象的图形。
图3示意性示出了根据本公开实施例在空间场景中根据用户绘制的对象的图形生成三维图形、并根据该绘制对象的三维图形得到目标对象的标准图形;
图4示意性示出了根据本公开实施例的根据目标对象的标准图形和所绘制对象图形的尺寸和位置匹配目标对象的图形的尺寸和位置;
图5示意性示出了根据本公开实施例的根据目标对象的标准图形调整目标对象的图形的尺寸和位置;以及
图6示意性示出了根据本公开实施例的虚拟显示系统的框图。
具体实施方式
以下,将参照附图来描述本公开实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思,除非上下文另外明确指出。此外,在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
随着人工智能、自动控制、通信和计算机技术的快速发展,仿真技术已经被越来越多地应用于工农业生产、建筑、医疗、和日常生活等诸多领域。其中,计算机仿真技术本质上是创建生成一种用户可视的具有多源信息融合、交互式体验等功能的动态视景的沉浸式模拟环境,可以是完全虚拟的模拟环境(例如VR技术),亦可以是实际的模拟环境(例如AR技术)甚至是实际和虚拟环境混合的模拟环境(例如,混合现实技术Mixed Reality,简称MR技术)。例如,AR技术是一种将真实世界信息和虚拟世界信息集成的技术,即其把原本在现实世界中一定时间、空间范围内很难体验到的实体信息(诸如视觉、声音、味道、触觉等),通过计算机模拟仿真技术奖虚拟的信息应用到真实世界中,从而使得用户获得超越现实的感官体验。AR技术将真实世界和虚拟世界的信息集成,具有实时交互性,并可以在三维尺度空间中增添定位虚拟物体,使得其可以广泛应用到军事、医疗、影视、建筑、工程等领域。因此,以AR技术为代表的虚拟显示技术,在未来社会中将具有重要的应用意义。
虚拟显示技术的本身特点使得其可以很好地满足用户对虚拟空间或真实空间的自定义设置。例如,在建筑工程领域中,用户若需要在房间内选择合适的家具来展现其本身在该房间的效果,就可以利用AR技术,将真实空间呈现给用户的同时,用户可以选择对应的家具设置在该呈现的真实空间中。因此,用户可以借此筛选适合该房间的合适家具,不再需要利用互联网选择那些无法展示效果的家具图片。其中,关于该家具的选择,用户可以自己设计家具的外形,然后往其中添加材质、图案和/或颜色等特性,并据此搜索与之相类似的图形信息,将其放置在用户所看到的实际空间中展现出视觉效果。因此,不仅使得用户的筛选工作变得简单,还使得用户实时看到所选家具对象在该房间中的真实效果,使得用户体验得到极大提升。
图1示意性示出了根据本公开实施例的虚拟显示方法的流程图。
如图1所示,在本公开的实施例中,一种虚拟显示方法包括操作S101~S103。
在操作S101,获取用户在空间场景中绘制对象时的空间动作。
在操作S102,确定与所绘制的对象的图形特征相匹配的目标对象的图形。
在操作S103,在空间场景中的相应位置呈现目标对象的图形。
根据本公开的实施例,用户根据真实的空间获取一个可视的空间场景,例如,对于AR技术,用户在真实房间内,佩戴上AR显示设备后,AR显示设备实时将该真实房间里的真实空间呈现给用户作为空间场景。因此,空间场景是用户所看到的由显示设备呈现的内容,该内容是由显示设备实时向用户传递的真实房间的真实场景。因此,空间场景是真实存在的实际场景,在没有AR显示设备的情况下亦可以看到该场景所展示的背景内容。对于VR技术,空间场景则可以为计算机模拟仿真的一种虚拟环境。用户虽然可以通过VR显示设备看到该空间场景,但没有显示设备用户无法看到该空间场景。
根据本公开的实施例,在佩戴显示设备的情况下,用户通过操作体可以在呈现的空间场景中一位置上自定义设计图形,即绘制对象的图形。对于AR技术,可直接用手指作为操作体在所呈现的空间场景一位置中自定义绘制对象的图形。通过捕捉该操作体在空间场景中的绘制动作(即空间动作),利用计算机模拟计算,可以识别用户绘制该对象的图形的空间动作,得到该空间动作的运动轨迹,该运动轨迹即呈现了用户绘制该对象的图形轮廓,例如点和线条组成的图形。
根据本公开的实施例,用户绘制的对象是根据用户所需目标对象的基本图形特征所绘制的内容。例如,目标对象是一个四腿方桌,绘制的对象则可以是一个平行四边形加下方四个长方体构成的图形。因此,用户绘制的对象的图形具有一定的基本图形特征,包括:图形的尺寸大小、在空间场景中的位置、形状和/或图案等。所以,根据该绘制对象的图形的图形特征,可以匹配与之图形特征类似的目标对象的图形,从而获取该目标对象的图形。其中,绘制对象可以是二维或三维效果的图形。
根据本公开的实施例,为使得目标对象的图形在呈现给用户的空间场景中的视觉效果与绘制对象的图形在该空间场景中呈现的视觉效果类似,则需要使得目标对象的图形展现在该空间场景中,可以替换所绘制对象的图形,并相应在该空间中景中的绘制对象的图形的位置呈现。
因此,通过捕捉用户在空间场景中的空间动作,识别该空间动作所绘制对象的图形,即可基于该绘制对象的图形特征获取用户所需要的目标对象的图形,并且能够将该目标对象的图形以一定位置和尺寸实现在该空间场景中的呈现,使得用户所获取的目标对象的图形展示的视觉效果与所绘制对象的图形所展示的视觉效果类似或一致。
图2示意性示出了根据本公开实施例的在空间场景中呈现用户绘制的对象的图形。
在本公开的实施例中,获取用户在空间场景中绘制对象时的空间动作,包括:在以第一视点和第二视点向用户呈现空间场景时,分别获取用户绘制的对象的图形;以及根据所绘制的对象的图形生成对象的三维图形。
如图2所示,在本公开的实施例中,若要根据绘制对象的图形的空间动作获取所绘制对象的图形,需要识别该空间动作所绘制的动作轨迹。另外,一般情况下,若是对三维空间,用户所需要的目标对象的图形为三维图形。用户绘制的对象多为二维效果的图形,所以有必要使得用户所绘制对象的图形呈现出三维的效果。例如,如图2(a)和图2(b)所示,呈现给用户的可视空间场景是由X、Y、Z坐标轴建立的三维空间坐标系。用户利用手指作为操作体,在空间场景一位置进行绘制对象的图形的空间动作。除可使得二维图形直接生成三维图形(2D-Centric Interfaces andAlgorithms for 3D Modeling)之外,可以借助三维效果的呈现原理,即在空间中,用户改换自身的空间位置两次对同一位置的同一物体实施影像捕捉,获取两个视角的不同影像,经过对影像数据的计算分析之后,可以生成所需物体的三维效果图。
根据本公开的实施例,用户亦可以在真实空间的两个位置,对同一空间场景的同一位置,实施两次不同的针对同一对象图形的绘制空间动作,即对应分别在第一位置时具有第一视点和在第二位置时具有第二视点向用户呈现空间场景。用户在变换真实空间中的位置时,空间场景是将真实场景实时同步呈现给用户的。因此,用户分别在该两个不同视点下实现对对象的图形绘制动作,即获取了该绘制对象的第一图形和第二图形。如图2(a)所示,其中图形201a为在第一视点向用户呈现的空间场景中用户所绘制的对象,即第一图形。如图2(b)所示,其中图形201b为在第二视点向用户呈现的空间场景中用户所绘制的对象,即第二图形。其中,第一图形和第二图形均为用户在对应第一视点和第二视点下,对捕捉到的在空间场景中相同位置的空间动作轨迹进行分析处理获取的二维图形。根据该二维图形的尺寸大小、在空间中的位置,可以实现对该两个二维图形的计算、拟合,使其成为对应于同一空间场景对应位置的三维图形。
因此,实现了直接识别用户的空间动作,进而呈现出用户需要的对象的三维图形。该方式尽可能使得用户的想法在绘制对象的过程中得以自由表现,避免了用户为获取目标对象进行的繁复筛选工作,极大地提高了用户的使用体验。
图3示意性示出了根据本公开实施例在空间场景中根据用户绘制的对象的图形生成三维图形、并根据该绘制对象的三维图形得到目标对象的标准图形。
根据本公开的实施例,用户绘制的图形无论是形状、线条甚至点等都不标准。因此,在将二维的第一图形和第二图形拟合生成三维图形时,需要对用户绘制的对象的二维图形进行标准化处理,即将不标准的线条,例如歪斜的线条进行冗余数据处理,按照一定的平均值波动范围,抹除多余的数据,填补缺失的数据,使得图形成为标准图形,例如使得无规则的歪斜线条成为标准的横竖线条或者斜向线条。
如图3所示,在空间场景呈现的三维坐标系中,用户所绘制的第一图形201为2维图形,该图形有n个点组成,对每个点的坐标进行计算,便可以呈现其在该空间中图形的轮廓。例如A(x1,y1,0)、B(x1,y1,z1)、C(x2,y2,0)、D(x2,y2,z2)四个点,分别与该第一图形201上对应的标准图形202的四个点,对该四个点进行冗余数据处理之后,使得该四个点与二维标准图形202上对应的四个点相匹配。同样,对于第一图形201上所有的点,标准图形202上的点都可以实现一一对应关系,从而确定了标准图形202。对于第二图形,利用类似的方法,亦可以实现对其处理之后呈现的二维图形。利用该第一图形和第二图形所呈现的标准二维图形,可计算其相应的三维图形,并根据三维图形的形状特征,得出用户所绘制的对象的图形。如图3所示,根据第一图形和第二图形生成的三维图形,可以判定用户所绘制的对象为一圆柱体203。
因此,就实现了将用户自定义的绘制对象的图形转变成为了相应的标准图形,并根据该两个标准图形计算生成与空间动作操作位置一致的对象的三维图形。最后,利用该三维图形获取用户所需要的目标对象的图形。
在本公开的实施例中,确定与所绘制的对象的图形特征相匹配的目标对象的图形包括:确定绘制的对象的图形特征;以及搜索与绘制的对象的图形特征相匹配的目标对象的图形。
根据本公开的实施例,在获取绘制的对象的标准图形后,需要对该对象的图形特征进行处理,使得该绘制对象的图形特征和所需目标对象的图形特征类似或一致。根据用户所绘制对象的图形,可以确定该图形的图形特征,例如尺寸大小、在空间场景三维坐标系中的坐标位置等。在空间坐标系中,图形的每一个点都可以用坐标来确定。同样,根据对点坐标的计算,可以确定出图形上每个点的尺寸、位置等内容。对于图形的形状特征,根据预设的图形特征数据库,将所绘制对象的图形的图形特征匹配到用户所需目标对象的图形,可以确定对应目标对象的图形。简而言之,在图形特征数据库中,按照所绘制对象的图形的图形特征进行搜索,获取与所绘制对象图形的特征最类似的目标对象的图形。
如图3所示,在图形数据库中,通过对目标对象的图形的形状进行匹配,可获取所绘制对象的目标对象为一圆柱体203。图形特征数据库可以用于形状、尺寸大小、颜色、材质等图形特征的匹配,并找出与所绘制对象的图形相匹配的目标对象的图形。
因此,就实现了将用户自定义的绘制对象的图形转换成用户所需要的目标对象的图形。
图4示意性示出了根据本公开实施例的根据目标对象的标准图形和所绘制对象图形的尺寸和位置匹配目标对象的图形的尺寸和位置。
根据本公开的实施例,在空间场景中的相应位置呈现目标对象的图形包括确定用户的空间动作的操作位置,并确定操作位置在空间场景的映射位置,作为在空间场景中对象的图形的位置,在空间场景中对象的图形的位置呈现目标对象的图形。在空间坐标系中,图形的每一个点都可以用坐标来确定。同样,根据对点坐标的计算,可以确定出图形上每个点的尺寸、位置等内容。
如图4所示,根据用户所绘制对象的图形201,获取了用户目标对象的图形标准图形,并据此结合第二图形获取所绘制对象的三维标准图形,最终搜索得到与之相匹配的目标对象的三维图形202。因此,若通过识别用户空间动作来确定用户所绘制的对象的图形,则需要确定空间动作的操作位置。空间动作的位置是由在空间场景坐标系中对应的空间动作轨迹上所有的点来确定。因此,空间动作轨迹上的坐标点与空间动作操作位置的坐标点形成映射关系,确定了空间动作的操作位置。空间动作的操作轨迹的位置即是在空间场景中对象的图形的位置。
如图4所示,在空间场景中对象的图形的位置呈现目标对象的图形,需要根据该对象的图形上每个点在空间坐标系的坐标,将目标对象的图形204上的点与绘制对象的图形201上的点实现匹配。例如,对于原空间坐标系,绘制对象的图形201上坐标点A(x1,y1,0)、B(x1,y1,z1)、C(x2,y2,0)、D(x2,y2,z2)与目标对象的图形204所在该空间场景的空间坐标系中的坐标点A′(x3,y3,0)、B′(x3,y3,z3)、C′(x4,y4,0)、D′(x4,y2,z4)分别对应,根据x1与x3、x2与x4、y1与y3、y2与y4、z1与z3、以及z2与z4之间的对应差值,可以确定目标对象的图形204上的点在绘制对象的图形201上的点的位置和与该点各对应坐标的差值,因此,通过对相应点上相应坐标值的计算,就可以使得目标对象的图形204准确地还原到原绘制的对象图形201在原空间场景中的位置。若所获得的目标对象的图形204尺寸和原绘制对象的图形201尺寸不一致,可根据其相同的形状,以绘制对象的图形201中某点作为中心点,将目标对象的图形204对应的中心点的坐标与之匹配。相应地,其他非中心点位置的坐标点按照与绘制对象的图形201坐标点的比例关系,基于匹配的中心点坐标进行计算,使得目标对象的图形以中心点为参照,精确还原至原绘制对象的图形所在位置。
因此,在实现了获取目标对象的图形之后,可以精确地将其还原至原绘制对象的图形所处的位置。
根据本公开的实施例,,在空间场景中的相应位置呈现目标对象的图形,包括:确定用户所绘制的对象的尺寸;以及根据所确定的对象的尺寸,调整目标对象的图形在空间场景中的呈现,以使呈现的目标对象的尺寸与所确定的对象的尺寸相匹配。在空间坐标系中,图形的每一个点都可以用坐标来确定。同样,根据对点坐标的计算,可以确定出图形上每个点的尺寸、位置等内容。
如图4所示,根据空间场景的坐标系,可以利用点坐标将用户所绘制的对象的图形201上的每一点的坐标进行确定,同时基于坐标的计算,可以确定该绘制对象的图形201的尺寸。
在确定了所绘制对象的图形的标准图形202之后,根据该空间场景坐标系的坐标点,将目标对象的图形204上的点与根据绘制对象的图形201上的点实现匹配。例如,对于原空间坐标系,绘制对象的图形201上坐标点A(x1,y1,0)、B(x1,y1,z1)、C(x2,y2,0)、D(x2,y2,z2)与目标对象的图形204所在该空间场景的空间坐标系中的坐标点A′(x3,y3,0)、B′(x3,y3,z3)、C′(x4,y4,0)、D′(x4,y2,z4)分别对应,可以确定目标对象的图形204上的点在绘制对象的图形201上的点的位置和与该点各对应坐标的差值,因此,通过对相应点上相应坐标值的计算,就可以使得目标对象的图形204准确地还原到原绘制的对象图形201在原空间场景中的尺寸大小。
因此,实现获取目标对象的图形之后,可以精确地将其还原至原绘制对象的图形的尺寸大小。
图5示意性示出了根据本公开实施例的根据目标对象的标准图形调整目标对象的图形的尺寸和位置。
根据本公开的实施例,在空间场景中的相应位置呈现目标对象的图形,包括:确定用户所绘制的对象相对于用户的视角;根据确定的对象的视角,调整目标对象的图形在空间场景中的呈现,以使呈现的目标对象的视角与确定的对象的视角匹配。用户根据所绘制的对象图形获取了目标对象的图形,并将其与绘制的对象的图形的相同图形特征显示在空间场景中后,视角可以发生改变。在视角改变后,呈现给用户的空间场景也实时在改变。为此,获取的目标对象的图形也可以自动或经过调整使得用户能够获得实时的场景效果变化。
如图5所示,当用户在真实场景中试图向显示在空间场景(如空间坐标系所示)中的虚拟目标对象的图形202靠近时,空间场景坐标系发生了实时变化,但是该虚拟目标对象的图形202也需要随空间场景坐标系实时变化,使得其在空间场景中呈现给用户视觉效果不会出现违和感。
如图5所示,当用户在真实场景中向显示在空间场景中的虚拟目标对象的图形202靠近时,其空间场景的对应坐标相对原空间场景发生变化,相应地,对应于该目标对象的图形的坐标点也发生变化。例如,对于原空间坐标系,原目标对象的图形202上坐标点包括A"(x5,y5,0)、B"(x5,y5,z1)、C"(x6,y6,0)、D"(x6,y6,z6),在空间场景坐标系发生变化之后,目标对象的图形205所在空间场景坐标系中的坐标点包括与原图形202对应的A′(x3,y3,0)、B′(x3,y3,z3)、C′(x4,y4,0)、D′(x4,y2,z4)。通过计算该对应点坐标变化的差值,可以使得原目标对象的图形的坐标点自动调整,从而确定变化之后的目标对象的图形205。实现了用户在真实环境中改换位置,使得空间场景中的视角发生变化时,目标对象的图形的坐标相应调整,使其在呈现给用户的空间场景中不会违和。
根据本公开的实施例,基于上述的坐标关系调整,也可以实现对绘制对象的图形或目标对象的图形的尺寸、位置等特征的手动调整。通过识别调整尺寸、位置等的空间动作,根据该空间动作与调整策略之间的对应关系,使得用户在空间场景中实现自由拖动绘制对象的图形或目标对象的图形,以调整其在空间场景中呈现的位置、尺寸等。
因此,进一步给予了用户更加丰富的自定义调整功能,使得用户无论怎么改变视角,都可以使得空间场景中图形的展示效果与未改换视角时的展示效果一致,不致出现违和感。另外,通过识别用户的操作动作,可以实现对所绘制对象的图形或目标对象的图形的尺寸调整,也可以实现对其位置的自由调整。
在本公开的实施例中,确定绘制的对象的图形特征,还包括提供与对象相关的属性选项以供用户选择,并利用用户选择的属性选项对用户绘制的对象的图形进行处理。
对于绘制对象的图形,其一般只表现出图形轮廓,具有尺寸、显示位置等特征。因此,若要丰富该图形在空间场景中所展现出的视觉效果,需要根据对象本身的属性进行补充。其中,对象的属性用于反映该对象在空间场景中的视觉效果,其可以用以反映图形的颜色、材质、图案花纹甚至搭配部件等内容,可以用具体的数值来实现对应,例如颜色值R1可以代指第一红色效果。
根据本公开的实施例,可以利用图形特征数据库建立与对象属性相关的数据选项以供用户自主选择。根据用户选择的属性选项,将对应的属性添加到绘制的对象的图形里,使其展现出在空间场景中相应属性的视觉效果。另外,对于根据绘制对象的图形获取的目标对象的图形,其本身的属性与绘制对象的图形属性类似。
因此,用户可以根据图形特征数据库中的属性选项,对目标对象的图形属性进行改换,使其在空间场景多种呈现不同的视觉效果,利于用户自主选择。
综上所述,通过捕捉用户在空间场景中的空间动作,识别该空间动作所绘制对象的图形,获取用户所需要的目标对象的图形,并且使得用户所获取的目标对象的图形展示的视觉效果与所绘制对象的图形所展示的视觉效果类似或一致。另一方面,在获取了目标对象的图形之后,可以精确地将其还原至原绘制对象的图形所处的位置和原绘制对象的图形所呈现的尺寸。此外,通过识别用户的操作动作,可以实现对所绘制对象的图形或目标对象的图形的尺寸调整,也可以实现对其位置的自由调整。最后,尽可能使得用户的想法在虚拟显示的过程中得以自由表现,避免了用户为获取目标对象进行的繁复筛选工作,极大地提高了用户的使用体验。
图6示意性示出了根据本公开实施例的虚拟显示系统的框图。
本公开的另一方面公开了一种虚拟显示系统,包括显示设备、存储器和处理器。其中,显示设备能够显示图形。存储器存储有可执行指令。处理器执行可执行指令,以实现上述的方法。
如图6所示,虚拟显示系统600包括处理器610、存储器620、显示设备630。该虚拟显示系统600可以执行上面参考图1~图5描述的方法。
根据本公开的实施例,处理器610例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器610还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行参考图1~图5描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
根据本公开的实施例,存储器620包括计算机程序621,该计算机程序621可以包括代码/计算机可执行指令,其在由处理器610执行时使得处理器610执行例如上面结合图1~图5所描述的方法流程及其任何变形。
根据本公开的实施例,计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序的代码可以包括一个或多个程序模块,例如包括621A、模块621B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器610执行时,使得处理器610可以执行例如上面结合图1~图5所描述的方法流程及其任何变形。
根据本公开的实施例,处理器610可以与显示设备630进行交互,来执行上面结合图1~图5所描述的方法流程及其任何变形。
因此,通过显示设备可以向用户同时呈现空间背景,以及空间背景中的绘制对象的图形和目标对象的图形,可以直观地向用户展现用户的操作空间动作和操作指示。另外,还可以对操作指令进行存储,以加快系统的响应速度。最后,通过处理器可以加速对操作指令的处理,进一步提高了系统的响应速度,并且加强了系统自动化处理的能力。
根据本公开的实施例,该虚拟显示系统还可以包括传感器,用于感测用户的空间动作,并将感测的空间动作转换为电信号发送给处理器。
例如,如图6所示,虚拟显示系统600还可以包括传感器650。其中,传感器650将感测到用户的空间动作转换为电信号发送给处理器610,处理器610将其进行处理成可执行指令,用于控制显示设备630的显示。
因此,利用传感器,可以实现对用户在空间场景中的空间动作的感测,并将其利用电信号的形式发送至处理器,大大提高了空间动作的识别效率。
根据本公开的实施例,该虚拟显示系统还可以包括图像采集设备,用于采集用户的空间动作,并将所采集的空间动作发送给处理器。
例如,如图6所示,虚拟显示系统600还可以包括图像采集设备640。其中,图像采集设备640用于对传感器650感测到的空间动作进行采集,并将其发送处理器610,并且根据处理器610获取的传感器650将感测到的空间动作转换的电信号进行处理,生成可执行指令,用于控制显示设备630的显示。
因此,利用图像采集设备,可以实现对用户在空间场景中的空间动作的捕捉,进一步提高了空间动作的识别效率。
综上所述,通过该虚拟显示系统可以直观地向用户展现用户的操作空间动作和操作指示、以及系统呈现的图形效果。另外,还加快了系统的响应速度,进一步提高了系统的响应速度,并且加强了系统自动化处理的能力。另外,大大提高了空间动作的识别效率。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (9)

1.一种虚拟显示方法,包括:
获取用户在空间场景中绘制对象时的空间动作,所述空间场景为真实空间的可视场景;
确定与所绘制的对象的图形特征相匹配的目标对象的图形;以及
在空间场景中的相应位置呈现所述目标对象的图形,
其中,所述获取用户在空间场景中绘制对象时的空间动作,包括:
在以第一视点和第二视点向用户呈现所述空间场景时,分别获取用户绘制的所述对象的二维图形,其中,所述二维图形是不标准的;以及
根据所绘制的所述对象的所述二维图形生成所述对象的三维图形。
2.根据权利要求1所述的方法,其中,所述在空间场景中的相应位置呈现所述目标对象的图形,包括:
确定所述用户的空间动作的操作位置;以及
确定所述操作位置在所述空间场景的映射位置,作为在所述空间场景中所述对象的所述图形的位置,在空间场景中所述对象的所述图形的位置呈现所述目标对象的图形。
3.根据权利要求1所述的方法,其中,所述在空间场景中的相应位置呈现所述目标对象的图形,包括:
确定所述用户所绘制的所述对象的尺寸;以及
根据所确定的所述对象的尺寸,调整所述目标对象的图形在所述空间场景中的呈现,以使呈现的所述目标对象的尺寸与所确定的所述对象的尺寸相匹配。
4.根据权利要求1所述的方法,其中,所述在空间场景中的相应位置呈现所述目标对象的图形,包括:
确定所述用户所绘制的所述对象相对于用户的视角;
根据确定的所述对象的视角,调整所述目标对象的图形在所述空间场景中的呈现,以使呈现的所述目标对象的视角与确定的所述对象的视角匹配。
5.根据权利要求1所述的方法,其中,所述确定与所绘制的对象的图形特征相匹配的目标对象的图形包括:
确定所述绘制的对象的图形特征;以及
搜索与所述绘制的对象的图形特征相匹配的所述目标对象的图形。
6.根据权利要求5所述的方法,其中,所述确定所述绘制的对象的图形特征,还包括:
提供与所述对象相关的属性选项以供所述用户选择;以及
利用所述用户选择的属性选项对所述用户绘制的所述对象的图形进行处理。
7.一种虚拟显示系统,包括:
显示设备,能够显示图形;
存储器,存储有可执行指令;以及
处理器,执行可执行指令,以实现如权利要求1-6中任一项的方法。
8.根据权利要求7所述的系统,还包括:传感器,用于感测用户的空间动作,并将感测的所述空间动作转换为电信号发送给所述处理器。
9.根据权利要求8所述的系统,还包括:图像采集设备,用于采集用户的空间动作,并将所采集的所述空间动作发送给所述处理器。
CN201710200129.0A 2017-03-29 2017-03-29 虚拟显示方法和系统 Active CN106980378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710200129.0A CN106980378B (zh) 2017-03-29 2017-03-29 虚拟显示方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710200129.0A CN106980378B (zh) 2017-03-29 2017-03-29 虚拟显示方法和系统

Publications (2)

Publication Number Publication Date
CN106980378A CN106980378A (zh) 2017-07-25
CN106980378B true CN106980378B (zh) 2021-05-18

Family

ID=59339153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710200129.0A Active CN106980378B (zh) 2017-03-29 2017-03-29 虚拟显示方法和系统

Country Status (1)

Country Link
CN (1) CN106980378B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609178A (zh) * 2017-09-29 2018-01-19 维沃移动通信有限公司 一种资源显示方法及移动终端
CN107967717A (zh) * 2017-12-11 2018-04-27 深圳市易晨虚拟现实技术有限公司 基于vr虚拟现实的室内装修效果图设计方法
CN108664231B (zh) * 2018-05-11 2021-02-09 腾讯科技(深圳)有限公司 2.5维虚拟环境的显示方法、装置、设备及存储介质
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学(浙江)研究院有限公司 虚实融合系统及其方法
CN111882672A (zh) * 2020-07-24 2020-11-03 上海光追网络科技有限公司 一种vr游戏中可绘制3d图形识别3d虚拟物件的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109345A1 (ja) * 2004-05-11 2005-11-17 Konami Digital Entertainment Co., Ltd. 表示装置、表示方法、情報記録媒体、ならびに、プログラム
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN101673139A (zh) * 2008-09-10 2010-03-17 Tcl集团股份有限公司 一种遥控器及其输入系统与方法
CN103049165A (zh) * 2012-09-30 2013-04-17 北京科东电力控制系统有限责任公司 用于电网监控的三维人机交互系统及其实现方法
CN203445974U (zh) * 2013-08-30 2014-02-19 北京京东方光电科技有限公司 3d眼镜及3d显示系统
CN104866121A (zh) * 2014-02-21 2015-08-26 上海市七宝中学 三维模型绘制系统及其绘制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109345A1 (ja) * 2004-05-11 2005-11-17 Konami Digital Entertainment Co., Ltd. 表示装置、表示方法、情報記録媒体、ならびに、プログラム
CN101673139A (zh) * 2008-09-10 2010-03-17 Tcl集团股份有限公司 一种遥控器及其输入系统与方法
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN103049165A (zh) * 2012-09-30 2013-04-17 北京科东电力控制系统有限责任公司 用于电网监控的三维人机交互系统及其实现方法
CN203445974U (zh) * 2013-08-30 2014-02-19 北京京东方光电科技有限公司 3d眼镜及3d显示系统
CN104866121A (zh) * 2014-02-21 2015-08-26 上海市七宝中学 三维模型绘制系统及其绘制方法

Also Published As

Publication number Publication date
CN106980378A (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
CN112926428B (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
CN106980378B (zh) 虚拟显示方法和系统
TWI567659B (zh) 照片表示視圖的基於主題的增強
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US9654734B1 (en) Virtual conference room
CN105981076B (zh) 合成增强现实环境的构造
CN107710108B (zh) 内容浏览
US20160343166A1 (en) Image-capturing system for combining subject and three-dimensional virtual space in real time
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
CN105339867A (zh) 使用视觉逼真的对象显示
US10853966B2 (en) Virtual space moving apparatus and method
US11189057B2 (en) Provision of virtual reality content
JP2018526716A (ja) 媒介現実
JP2024054137A (ja) 画像表示システム
US12026351B2 (en) 3D models for displayed 2D elements
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
US10582190B2 (en) Virtual training system
CN111602391B (zh) 用于根据物理环境定制合成现实体验的方法和设备
EP3665656B1 (en) Three-dimensional video processing
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
EP3599539B1 (en) Rendering objects in virtual views
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
US20180103237A1 (en) Virtual reality telepresence
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant