[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108027987B - 信息处理方法、信息处理装置及信息处理系统 - Google Patents

信息处理方法、信息处理装置及信息处理系统 Download PDF

Info

Publication number
CN108027987B
CN108027987B CN201780002079.3A CN201780002079A CN108027987B CN 108027987 B CN108027987 B CN 108027987B CN 201780002079 A CN201780002079 A CN 201780002079A CN 108027987 B CN108027987 B CN 108027987B
Authority
CN
China
Prior art keywords
information processing
user
processing method
virtual camera
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002079.3A
Other languages
English (en)
Other versions
CN108027987A (zh
Inventor
野口裕弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Publication of CN108027987A publication Critical patent/CN108027987A/zh
Application granted granted Critical
Publication of CN108027987B publication Critical patent/CN108027987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

进一步提高用户对虚拟空间的投入感。一种信息处理方法，包括：生成规定虚拟空间(200)的虚拟空间数据的步骤；取得检测单元的检测结果的步骤，其中，该检测单元构成为检测头戴式设备的运动和控制器的运动；根据头戴式设备的运动，更新虚拟摄像机(300)的视野的步骤；基于虚拟摄像机(300)的视野和虚拟空间数据，生成视野图像数据的步骤；基于视野图像数据，在显示部显示视野图像的步骤；根据控制器的运动，使手物件(400)进行动作的步骤；以及根据手物件(400)对平板电脑物件(500)的输入操作，操作在监视器物件(600)显示的菜单的步骤。

Description

信息处理方法、信息处理装置及信息处理系统
技术领域
本公开涉及一种信息处理方法、用于使计算机实施该信息处理方法的程序、实施该信息处理方法的信息处理装置及信息处理系统。
背景技术
已知一种在虚拟空间内配置用户界面(User Interface：UI)物件的技术。例如，专利文件1所述，在虚拟空间内配置小部件(用户界面物件的一个示例)，在虚拟摄像机的视野内显示该小部件。伴随着头戴式设备(Head Mounted Device：HMD)的移动，当小部件位于虚拟摄像机的视野外时，该小部件移动，以位于虚拟摄像机的视野内。如此，在小部件配置于虚拟空间内的期间，在HMD 所显示的视野图像内始终显示小部件。
专利文件1：日本专利第5876607号
发明内容
可是，如专利文件1所述，如果在视野图像内始终显示小部件，则用户有时候对该小部件感到厌烦。尤其是，在小部件显示于视野图像的期间，用户无法充分地获得对虚拟空间的投入感。
本发明的目的在于，提供一种能够进一步提高用户对虚拟空间的投入感的信息处理方法以及用于使计算机实施该信息处理方法的程序。
依照本公开所示的一个实施方式，提供了一种由计算机的处理器实施的信息处理方法，该计算机的处理器控制具备显示部的头戴式设备。
所述信息处理方法包括：
(a)生成规定虚拟空间的虚拟空间数据的步骤，其中，该虚拟空间包含虚拟摄像机、固定地配置于虚拟空间内且显示菜单的第1物件、能够操作在所述第1物件显示的菜单的第2物件以及操作物件；
(b)取得检测单元的检测结果的步骤，其中，该检测单元构成为检测所述头戴式设备的运动和用户的头部以外的身体的一部分的运动；
(c)根据所述头戴式设备的运动，更新所述虚拟摄像机的视野的步骤；
(d)基于所述虚拟摄像机的视野和所述虚拟空间数据，生成视野图像数据的步骤；
(e)基于所述视野图像数据，在所述显示部显示视野图像的步骤；
(f)根据所述用户的身体的一部分的运动，使所述操作物件进行动作的步骤；以及
(g)根据所述操作物件对所述第2物件的输入操作，操作在所述第1物件显示的菜单的步骤。
依照本公开，能够提供一种能够进一步提高用户对虚拟空间的投入感的信息处理方法以及用于使计算机实施该信息处理方法的程序。
附图说明
图1是示意头戴式设备(Head Mounted Device：HMD)系统的示意图。
图2是示意安装了头戴式设备的用户的头部的图。
图3是示意控制装置的硬件构成的图。
图4是示意外部控制器的具体的构成的一个示例的图。
图5是示意在头戴式设备显示视野图像的处理的流程图。
图6是示意显示虚拟空间的一个示例的xyz空间图。
图7(a)是图6所示的虚拟空间的yx平面图，图7(b)是图6所示的虚拟空间的zx平面图。
图8是示意显示于头戴式设备的视野图像的一个示例的图。
图9是示意包含虚拟摄像机、手物件、平板电脑物件以及监视器物件的虚拟空间的图。
图10是示意平板电脑物件的显示画面的一个示例的图。
图11是用于说明本实施方式涉及的信息处理方法的流程图。
图12是示意用于设定平板电脑物件的移动范围的方法的一个示例的流程图。
图13(a)是示意投入于虚拟空间的用户的情形的图，图13(b)是示意设定于虚拟摄像机的周边的平板电脑物件的移动范围的一个示例的图，图13(c) 是示意设定于虚拟摄像机的周边的平板电脑物件的移动范围的另一个示例的图。
图14(a)是示意平板电脑物件位于移动范围外的情形的图，图14(b)是示意平板电脑物件从移动范围外移动至移动范围内的规定的位置的情形的图。
具体实施方式
(本公开所示的实施方式的说明)
对本公开所示的实施方式的概要进行说明。
(1)一种由计算机的处理器实施的信息处理方法，该计算机的处理器控制具备显示部的头戴式设备。
所述信息处理方法包括：
(a)生成规定虚拟空间的虚拟空间数据的步骤，其中，该虚拟空间包含虚拟摄像机、固定地配置于虚拟空间内且显示菜单的第1物件、能够操作在所述第1物件显示的菜单的第2物件以及操作物件；
(b)取得检测单元的检测结果的步骤，其中，该检测单元构成为检测所述头戴式设备的运动和用户的头部以外的身体的一部分的运动；
(c)根据所述头戴式设备的运动，更新所述虚拟摄像机的视野的步骤；
(d)基于所述虚拟摄像机的视野和所述虚拟空间数据，生成视野图像数据的步骤；
(e)基于所述视野图像数据，在所述显示部显示视野图像的步骤；
(f)根据所述用户的身体的一部分的运动，使所述操作物件进行动作的步骤；以及
(g)根据所述操作物件对所述第2物件的输入操作，操作在所述第1物件显示的菜单的步骤。
此外，可以基于所述第2物件和所述操作物件的相互作用，确定所述输入操作。另外，所述虚拟空间数据还包含介质物件，基于所述操作物件的动作而操作该介质物件，基于所述第2物件和所述介质物件的相互作用，确定所述输入操作。
依照上述方法，根据操作物件对第2物件的输入操作，操作在第1物件显示的菜单。即，用户，能够使用与用户的身体的一部分(例如，手)的运动联动的虚拟空间内的操作物件，对虚拟空间内的第2物件进行规定的操作。该规定的操作的结果是，操作在第1物件显示的菜单。如此，能够由虚拟空间内的物件彼此的相互作用实施菜单操作。再者，由于不一定视野图像内始终显示第1 物件和第2物件，因而能够避免在视野图像内始终显示小部件等的UI物件的状況。所以，能够提供一种能够进一步提高用户对虚拟空间的投入感的信息处理方法。
(2)项目(1)所述的信息处理方法，还包括：
(h)基于所述虚拟摄像机的位置，设定所述第2物件的移动范围的步骤；
(i)判定所述第2物件是否位于所述移动范围内的步骤；以及
(j)在判定所述第2物件不位于所述移动范围内的情况下，使所述第2物件移动至所述移动范围内的规定的位置的步骤。
依照上述方法，在判定第2物件不位于第2物件的移动范围内的情况下，第2物件移动至该移动范围内的规定的位置。例如，在用户未持有第2物件就进行移动，或者用户将第2物件扔出，使得第2物件配置于移动范围外。根据相关的状况，即使在第2物件位于移动范围外的情况下，第2物件也移动至移动范围内的规定的位置。如此，用户，能够容易地发现第2物件，并且，能够大幅地减少用于拿取第2物件的人工。
(3)项目(2)所述的信息处理方法中，所述步骤(j)包括：
基于所述虚拟摄像机的位置和所述第1物件的位置，使所述第2物件移动至所述移动范围内的所述规定的位置的步骤。
依照上述方法，基于虚拟摄像机的位置和第1物件的位置，将第2物件移动至移动范围内的规定位置。如此，由于基于第1物件和虚拟摄像机之间的位置关系而决定第2物件的位置，因而，用户能够容易地发现第2物件。
(4)项目(2)或(3)所述的信息处理方法中，所述步骤(h)包括：
测量所述用户的头部和所述用户的身体的一部分之间的距离的步骤；以及
基于所述测量的距离和所述虚拟摄像机的位置，设定所述移动范围的步骤。
依照上述方法，基于用户的头部和用户的身体的一部分(例如，手)之间的距离以及虚拟摄像机的位置，设定第2物件的移动范围。如此，第2物件，配置在用户在静止的状态下就能够拿取的范围，因而，能够大幅地减少用户用于拿取第2物件的人工。
(5)项目(2)或(3)所述的信息处理方法中，所述步骤(h)包括：
基于所述用户的头部的位置和所述用户的身体的一部分的位置，确定所述用户的头部和所述用户的身体的一部分之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
依照上述方法，基于用户的头部和用户的身体的一部分之间的距离的最大值以及虚拟摄像机的位置，设定操作物件的移动范围。如此第2物件，配置在用户在静止的状态下就能够拿取的范围，因而，能够大幅地减少用户用于拿取第2物件的人工。
(6)项目(2)或(3)所述的信息处理方法中，所述步骤(h)包括：
基于所述虚拟摄像机的位置和所述操作物件的位置，确定所述虚拟摄像机和所述操作物件之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
依照上述方法，基于虚拟摄像机和操作物件之间的距离的最大值以及虚拟摄像机的位置，设定操作物件的移动范围。如此，第2物件配置在用户在静止的状态下就能够拿取的范围，因而，能够大幅地减少用户用于拿取第2物件的人工。
(7)一种程序，用于使计算机实施项目(1)至(5)中的任一项所述的信息处理方法。一种信息处理装置，至少具备处理器和存储器，通过所述处理器的控制而实施项目(1)至(5)中的任一项所述的信息处理方法。一种信息处理系统，包括信息处理装置，该信息处理装置至少具备处理器和存储器，该信息处理系统实施项目(1)至(5)中的任一项所述的信息处理方法。
依照上述方法，能够提供一种能够进一步提高用户对虚拟空间的投入感的程序、信息处理装置以及信息处理系统。
(本公开所示的实施方式的详细说明)
以下，参照附图，说明本公开所示的实施方式。此外，为了说明的方便，对于具有与本实施方式中已经说明的部件相同的标记的部件，不再重复说明。
首先，参照图1，说明头戴式设备(HMD)系统1的构成。图1是示意头戴式设备系统1的示意图。如图1所示，头戴式设备系统1具备安装于用户U 的头部的头戴式设备110、位置传感器130、控制装置120、外部控制器320以及耳机116。
头戴式设备110具备显示部112、头戴传感器114、注视传感器140。显示部112具备非透过型的显示装置，该非透过型的显示装置构成为覆盖安装了头戴式设备110的用户U的可视范围(视野)。由此，用户U仅见到显示于显示部 112的视野图像，能够投入于虚拟空间。显示部112可以与头戴式设备110的本体部一体地构成，也可以独立地构成。显示部112可以由左眼用的显示部和右眼用的显示部构成，该左眼用的显示部构成为向用户U的左眼提供图像，该右眼用的显示部构成为向用户U的右眼提供图像。另外，头戴式设备110可以具备透过型显示装置。这种情况下，该透过型显示装置，通过调整其透过率，能够暂时地构成为非透过型的显示装置。
头戴传感器114搭载于头戴式设备110的显示部112的附近。头戴传感器 114包括地磁传感器、加速度传感器以及倾斜度传感器(角速度传感器、陀螺传感器等)之中的至少一个，能够检测安装于用户U的头部的头戴式设备110的各种运动。
注视传感器140具有用于检测用户U的视线方向的眼球追踪功能。注视传感器140，例如，可以具备右眼用注视传感器和左眼用注视传感器。右眼用注视传感器，可以向用户U的右眼照射例如红外光，检测从右眼(尤其是，角膜和虹膜)反射的反射光，从而取得与右眼的眼球的旋转角相关的信息。另一方面，左眼用注视传感器，可以向用户U的左眼照射例如红外光，检测从左眼(尤其是，角膜和虹膜)反射的反射光，从而取得与左眼的眼球的旋转角相关的信息。
位置传感器130，例如由位置追踪摄像机构成，构成为检测头戴式设备110 和外部控制器320的位置。位置传感器130，可通信地无线连接或有线连接于控制装置120，构成为检测与设于头戴式设备110的图中未显示的多个检测点的位置、倾斜度或发光强度相关的信息。再者，位置传感器130，构成为检测与设于外部控制器320的多个检测点304(参照图4)的位置、倾斜度及/或发光强度相关的信息。检测点例如为放射红外线或可见光的发光部。另外，位置传感器130 可以包括红外线传感器或多个光学摄像机。
此外，本实施方式中，头戴传感器114、注视传感器140以及位置传感器 130等的传感器有时候被统称为检测单元。检测单元，在检测了用户U的身体的一部分(例如，用户U的手)的运动之后，向控制装置120发送表示该检测结果的信号。另外，检测单元，具有检测用户U的头部的运动的功能(由头戴传感器114实现的功能)和检测用户U的头部以外的身体的一部分的运动的功能(由位置传感器130实现的功能)。另外，检测单元，也可以具有检测用户U 的视线的运动的功能(由注视传感器140实现的功能)。
控制装置120，为构成为控制头戴式设备110的计算机。控制装置120，能够基于从位置传感器130取得的信息，取得头戴式设备110的位置信息，并基于该取得的位置信息，正确地将虚拟空间内的虚拟摄像机的位置与现实空间内的安装了头戴式设备110的用户U的位置对应。再者，控制装置120，能够基于从位置传感器130取得的信息，取得外部控制器320的位置信息，并基于该取得的位置信息，正确地将虚拟空间内显示的手物件400(后述)的位置与现实空间中的外部控制器320的位置对应。
另外，控制装置120，能够基于从注视传感器140发送的信息，分别确定用户U的右眼的视线和左眼的视线，确定该右眼的视线和该左眼的视线的交点，即注视点。再者，控制装置120，能够基于所确定的注视点，确定用户U的视线方向。在此，用户U的视线方向，与用户U的双眼的视线方向一致，即，与通过将用户U的右眼和左眼连接的线段的中点和注视点的直线的方向一致。
接着，参照图2，说明取得与头戴式设备110的位置和倾斜度相关的信息的方法。图2是示意安装了头戴式设备110的用户U的头部的图。与安装了头戴式设备110的用户U的头部的运动联动且与头戴式设备110的位置和倾斜度相关的信息，能够由位置传感器130及/或搭载于头戴式设备110的头戴传感器114 检测。如图2所示，以安装了头戴式设备110的用户U的头部为中心，规定了三维坐标(uvw坐标)。将用户U直立的垂直方向规定为v轴，将与v轴垂直且通过头戴式设备110的中心的方向规定为w轴，将与v轴和w轴垂直的方向规定为u轴。位置传感器130及/或头戴传感器114，检测围绕各uvw轴旋转的角度(即，表示以v轴为中心的旋转的偏转角、表示以u轴为中心的旋转的俯仰角以及表示以w轴为中心的旋转的侧偏角所决定的倾斜度)。控制装置120，基于所检测的围绕各uvw轴旋转的角度变化，决定用于控制虚拟摄像机的视轴的角度信息。
接着，参照图3，说明控制装置120的硬件构成。图3是示意控制装置120 的硬件构成的图。如图3所示，控制装置120，具备控制部121、存储部123、输入输出(I/O)接口124、通信接口125以及总线126。控制部121、存储部123、输入输出接口124以及通信接口125，经由总线126而相互可通信地连接。
控制装置120，可以独立于头戴式设备110，作为个人计算机、平板电脑或可穿戴设备而构成，也可以内置于头戴式设备110。另外，控制装置120的一部分功能可以搭载于头戴式设备110，并且，控制装置120的其他功能可以搭载于与头戴式设备110独立的其他装置。
控制部121，具备存储器和处理器。存储器，例如，由存储了各种程序等的只读存储器(Read Only Memory：ROM)及/或具有多个工作区的随机存取存储器(Random AccessMemory：RAM)等构成，该工作区存储了由处理器执行的各种程序等。处理器，例如为中央处理器(Central Processing Unit：CPU)、微处理器(Micro Processing Unit：MPU)及/或图形处理器(Graphics Processing Unit： GPU)，构成为在RAM上加载从集成于ROM的各种程序指定的程序，与RAM 协作实施各种处理。
尤其是，处理器在RAM上加载用于使计算机实施本实施方式涉及的信息处理方法的程序(后述)，与RAM协作执行该程序，由此，控制部121可以控制控制装置120的各种工作。控制部121，通过执行存储于存储器及/或存储部123 的指定的应用程序(游戏程序)，在头戴式设备110的显示部112显示虚拟空间 (视野图像)。由此，用户U能够投入于在显示部112显示的虚拟空间。
存储部123，例如为硬盘(Hard Disk Drive：HDD)、固态硬盘(Solid State Drive：SSD)、USB闪存等的存储装置，构成为存储程序及/或各种数据。存储部123，也可以存储使计算机实施本实施方式涉及的信息处理方法的程序。另外，也可以存储包含数据的游戏程序等，该数据与用户U的认证程序、各种图像及/ 或物件相关。再者，在存储部123可以构筑数据库，该数据库包含用于管理各种数据的表格。
输入输出接口124，构成为分别将位置传感器130、头戴式设备110、外部控制器320可通信地连接于控制装置120，例如，由通用串行总线(Universal Serial Bus：USB)端子、数字视频接口(Digital Visual Interface：DVI)端子、高清多媒体接口(High-DefinitionMultimedia Interface：HDMI(注册商标))端子等构成。此外，控制装置120，可以分别与位置传感器130、头戴式设备110、外部控制器320无线连接。
通信接口125，构成为将控制装置120连接至局域网(Local Area Network： LAN)、广域网(Wide Area Network：WAN)或互联网等的通信网络3。通信接口125，包括用于经由通信网络3而与网络上的外部装置通信的各种有线连接端子及/或用于无线连接的各种处理电路，构成为符合经由通信网络3而进行通信的通信规格。
接着，参照图4，说明外部控制器320的具体的构成的一个示例。外部控制器320，用于通过检测用户U的身体的一部分(头部以外的部位，在本实施方式中，为用户U的手)的运动，从而控制在虚拟空间内显示的手物件的动作。外部控制器320，具有由用户U的右手操作的右手用外部控制器320R(以下，简称为控制器320R)和由用户U的左手操作的左手用外部控制器320L(以下，简称为控制器320L)(参照图13(a))。控制器320R，为表示用户U的右手的位置及/或右手的手指的运动的装置。另外，存在于虚拟空间内的右手物件根据控制器320R的运动而移动。控制器320L，为表示用户U的左手的位置及/或左手的手指的运动的装置。另外，存在于虚拟空间内的左手物件根据控制器320L 的运动而移动。控制器320R和控制器320L具有大致相同的构成，因此，以下，参照图4，仅说明控制器320R的具体的构成。此外，在以下的说明中，为了方便，有时候将控制器320L、320R简单地统称为控制器320。再者，有时候将与控制器320R的运动联动的右手物件和与控制器320L的运动联动的左手物件简单地统称为手物件400。
如图4所示，控制器320R，具备操作按钮302、多个检测点304、图中未显示的传感器以及图中未显示的收发器。可以仅设置检测点304和传感器中的任一个。操作按钮302，由多个按钮组构成，该按钮组构成为接受来自用户U的操作输入。操作按钮302，包括按压式按钮、触发式按钮以及模拟摇杆。按压式按钮，为通过拇指的按下动作而操作的按钮。例如，在顶面322上，设有2个的按压式按钮302a、302b。触发式按钮，为通过食指及/或中指扣扳机的动作而操作的按钮。例如，在握柄324的前面部分设有触发式按钮302e，并且，在握柄324的侧面部分设有触发式按钮302f。触发式按钮302e、302f，分别由食指和中指操作。模拟摇杆，为能够被操作从规定的中立位置向360度任意的方向倾斜的摇杆型的按钮。例如，顶面322上设有模拟摇杆320i，使用拇指进行操作。
控制器320R，具备框架326，该框架326从握柄324的两侧面向与顶面322 相反的一侧的方向延伸，形成半圆状的环。在框架326的外侧面，嵌入了多个检测点304。多个检测点304，例如为沿着框架326的圆周方向而排成一列的多个红外线发光二极管。在位置传感器130检测到与多个检测点304的位置、倾斜度或发光强度相关的信息之后，控制装置120，基于由位置传感器130检测到的信息，取得与控制器320R的位置及/或姿势(倾斜度及/或朝向)相关的信息。
控制器320R的传感器，例如，可以为磁性传感器、角速度传感器或加速度传感器中的任一种，或者这些传感器的组合。传感器，在用户U使控制器320R 运动时，输出与控制器320R的朝向及/或位置相对应的信号(例如，表示与磁性、角速度或加速度相关的信息的信号)。控制装置120，基于从传感器输出的信号，取得与控制器320R的位置及/或姿势相关的信息。
控制器320R的收发器，构成为在控制器320R和控制装置120之间收发数据。例如，收发器，可以将与用户U的操作输入相对应的操作信号发送至控制装置120。另外，收发器可以从控制装置120接收表示信号，该表示信号向控制器320R表示检测点304的发光。再者，收发器可以向控制装置120发送表示由传感器检测到的数值的信号。
接着，参照图5至图8，说明用于在头戴式设备110显示视野图像的处理。图5是示意在头戴式设备110显示视野图像的处理的流程图。图6是示意虚拟空间200的一个示例的xyz空间图。图7(a)是图6所示的虚拟空间200的yx 平面图。图7(b)是图6所示的虚拟空间200的zx平面图。图8是示意在头戴式设备110显示的视野图像V的一个示例的图。
如图5所示，在步骤S1中，控制部121(参照图3)，生成表示虚拟空间200 的虚拟空间数据，该虚拟空间200包含虚拟摄像机300和各种物件。如图6所示，虚拟空间200被规定为以中心位置21为中心的整个天球(图6中，仅显示了上半部的天球)。另外，在虚拟空间200内，设定有以中心位置21为原点的 xyz坐标系。虚拟摄像机300规定了视轴L，该视轴L用于确定在头戴式设备110 显示的视野图像V(参照图8)。定义虚拟摄像机300的视野的uvw坐标系被决定成与以现实空间中的用户U的头部为中心而规定的uvw坐标系联动。另外，控制部121，可以根据安装了头戴式设备110的用户U在现实空间中的移动，使虚拟摄像机300在虚拟空间200内移动。另外，虚拟空间200内的各种物件，例如为平板电脑物件500、监视器物件600以及手物件400(参照图9)。
接着，在步骤S2中，控制部121，确定虚拟摄像机300的视野CV(参照图7)。具体而言，控制部121，在取得从位置传感器130及/或头戴传感器114 发送的、表示头戴式设备110的状态的数据之后，基于该取得的数据，取得与头戴式设备110的位置及/或倾斜度相关的信息。接着，控制部121，基于与头戴式设备110的位置和倾斜度相关的信息，确定虚拟空间200内的虚拟摄像机 300的位置及/或朝向。接着，控制部121，从虚拟摄像机300的位置及/或朝向决定虚拟摄像机300的视轴L，从所决定的视轴L确定虚拟摄像机300的视野 CV。在此，虚拟摄像机300的视野CV，相当于安装了头戴式设备110的用户U 能够辨认的虚拟空间200的一部分区域。换言之，视野CV相当于在头戴式设备 110显示的虚拟空间200的一部分区域。另外，视野CV具有第1区域CVa和第 2区域CVb，该第1区域CVa在图7(a)所示的xy平面中，设定成以视轴L 为中心的极角α的角度范围，该第2区域CVb在图7(b)所示的xz平面中，设定成以视轴L为中心的方位角β的角度范围。此外，控制部121，可以基于从注视传感器140发送的、表示用户U的视线方向的数据，确定用户U的视线方向，并基于用户U的视线方向，决定虚拟摄像机300的朝向。
如此，控制部121，能够基于来自位置传感器130及/或头戴传感器114的数据，确定虚拟摄像机300的视野CV。在此，如果安装了头戴式设备110的用户U运动，则控制部121能够基于从位置传感器130及/或头戴传感器114发送的、表示头戴式设备110的运动的数据，使虚拟摄像机300的视野CV变化。即，控制部121，能够根据头戴式设备110的运动，使视野CV变化。同样地，如果用户U的视线方向变化，则控制部121能够基于从注视传感器140发送的、表示用户U的视线方向的数据，使虚拟摄像机300的视野CV移动。即，控制部 121，能够根据用户U的视线方向的变化，使视野CV变化。
接着，在步骤S3中，控制部121生成视野图像数据，该视野图像数据表示在头戴式设备110的显示部112显示的视野图像V。具体而言，控制部121，基于规定虚拟空间200的虚拟空间数据和虚拟摄像机300的视野CV，生成视野图像数据。
接着，在步骤S4中，控制部121，基于视野图像数据，在头戴式设备110 的显示部112显示视野图像V(参照图7)。如此，根据安装了头戴式设备110 的用户U的运动，更新虚拟摄像机300的视野CV，更新在头戴式设备110的显示部112显示的视野图像V，因而，用户U能够投入于虚拟空间200。
此外，虚拟摄像机300，可以包括左眼用虚拟摄像机和右眼用虚拟摄像机。这种情况下，控制部121，基于虚拟空间数据和左眼用虚拟摄像机的视野，生成表示左眼用的视野图像的左眼用视野图像数据。再者，控制部121，基于虚拟空间数据和右眼用虚拟摄像机的视野，生成表示右眼用的视野图像的右眼用视野图像数据。随后，控制部121，基于左眼用视野图像数据和右眼用视野图像数据，在头戴式设备110的显示部112显示左眼用视野图像和右眼用视野图像。如此，用户U，能够从左眼用视野图像和右眼用视野图像立体地辨认视野图像作为三维图像。此外，本说明书中，为了便于说明，虚拟摄像机300的数量为一个。当然，本公开的实施方式，即使在虚拟摄像机的数量为2个的情况下，也能够适用。
接着，参照图9，说明虚拟空间200所包含的虚拟摄像机300、手物件400 (操作物件的一个示例)、平板电脑物件500(第2物件的一个示例)、监视器物件600(第1物件的一个示例)。如图9所示，虚拟空间200包含虚拟摄像机300、手物件400、监视器物件600以及平板电脑物件500。控制部121生成虚拟空间数据，该虚拟空间数据规定包含这些物件的虚拟空间200。如上所述，虚拟摄像机300，与用户U所安装的头戴式设备110的运动联动。即，根据头戴式设备 110的运动而更新虚拟摄像机300的视野。
手物件400，为左手物件和右手物件的统称。如上所述，左手物件根据安装于用户U的左手的控制器320L(参照图13(a))的运动而移动。同样地，右手物件根据安装于用户U的右手的控制器320R的运动而移动。此外，本实施方式中，为了便于说明，在虚拟空间200内仅配置了1个手物件400，但也可以在虚拟空间200内配置2个手物件400。
控制部121，在从位置传感器130取得控制器320的位置信息之后，基于该取得的位置信息，将虚拟空间200内的手物件400的位置和现实空间中的控制器320的位置对应。如此，控制部121，根据用户U的手的位置(控制器320 的位置)，控制手物件400的位置。
另外，用户U通过操作操作按钮302，从而能够操作配置于虚拟空间200 内的手物件400的各手指。即，控制部121，在从控制器320取得与对操作按钮 302的输入操作相对应的操作信号之后，基于该操作信号，控制手物件400的手指的动作。例如，用户U操作操作按钮302，使得手物件400能够握持平板电脑物件500(参照图9)。再者，在手物件400握持平板电脑物件500的状态下，能够根据控制器320的移动，使手物件400和平板电脑物件500移动。如此，控制部121，构成为根据用户U的手指的运动，控制手物件400的动作。
监视器物件600，构成为显示菜单(尤其是，菜单画面610)。在菜单画面 610，可以显示用户U能够选择的多个选择项目。图9中，在菜单画面610显示“西餐”、“日餐”以及“中餐”作为选择项目。另外，在菜单画面610也可以显示阶段信息、获得物品信息、放弃按钮及/或游戏重开按钮。监视器物件600，也可以固定地配置于虚拟空间200内的规定的位置。配置有监视器物件600的位置，能够通过用户的操作而变更。另外，配置有监视器物件600的位置，也可以基于存储于存储器的规定的动作规则而自动地变更。
平板电脑物件500，能够操作在监视器物件600显示的菜单。控制部121，根据手物件400对平板电脑物件500的输入操作，操作在监视器物件600显示的菜单。具体而言，控制部121，基于从控制器320发送的操作信号及/或从位置传感器130发送的控制器320的位置信息，控制手物件400的动作。随后，控制部121，在确定手物件400和平板电脑物件500之间的相互作用之后，基于该相互作用，确定手物件400对平板电脑物件500的输入操作。控制部121，基于该确定的输入操作，选择在监视器物件600的菜单画面610显示的多个选择项目(“西餐”、“日餐”以及“中餐”)之中的一个。控制部121，实施与该选择结果相对应的规定的处理。
此外，控制部121，可以不仅根据手物件400对平板电脑物件500直接地输入的输入操作，而且根据间接地输入的输入操作，操作在监视器物件600显示的菜单。例如，可以通过如上所述地操作手物件400，从而在握持虚拟空间200 内的规定的介质物件的状态下进行操作，基于介质物件和平板电脑物件500之间的相互作用，确定手物件400对平板电脑物件500的输入操作。控制部121，基于该确定的输入操作，选择在监视器物件600的菜单画面610显示的多个选择项目(“西餐”、“日餐”以及“中餐”)之中的一个。控制部121，实施与该选择结果相对应的规定的处理。介质物件，优选为暗示用户能够对平板电脑物件500 实施输入的物件，例如，模仿手写笔那样的物体的物件。
接着，参照图10，说明平板电脑物件500的显示画面510的一个示例。在显示画面510，显示有方向键520、BACK按钮530、OK按钮540、L按钮550L 以及R按钮550R。在此，方向键520是用于控制在监视器物件600的菜单画面 610显示的光标的移动的按钮。
接着，以下，参照图11至图14，说明本实施方式涉及的信息处理方法。图11是用于说明本实施方式涉及的信息处理方法的流程图。图12是示意用于设定平板电脑物件500的移动范围的方法的一个示例的流程图。图13(a)是示意投入于虚拟空间200的用户U的情形的图。图13(b)是示意设定于虚拟摄像机 300的周边的平板电脑物件500的移动范围的一个示例(移动范围Ra)的图。图13(c)是示意设定于虚拟摄像机300的周边的平板电脑物件500的移动范围的另一个示例(移动范围Rb)的图。图14(a)是示意平板电脑物件500位于移动范围Ra外的情形的图。图14(b)是示意平板电脑物件500从移动范围Ra 外移动至移动范围Ra内的规定的位置的情形的图。此外，在以下的说明中，虽然举例说明了移动平板电脑物件500，但也可以通过同样的方法移动上述介质物件，以代替平板电脑物件500。
如图11所示，在步骤S11中，控制部121设定平板电脑物件500的移动范围。在此，平板电脑物件500的移动范围可以规定成在用户U不移动的状态(换言之，现实空间中的用户U的位置坐标不变化的状态)下，用户U使用手物件 400能够抓到平板电脑物件500的范围。在平板电脑物件500位于移动范围外的情况下，控制部121使平板电脑物件500移动至移动范围内的规定的位置。
如图13(b)所示，平板电脑物件500的移动范围可以为被规定成球体的移动范围Ra，该球体以虚拟摄像机300的中心位置为中心，并具有规定的半径R。在此，在平板电脑物件500和虚拟摄像机300之间的距离为半径R以下的情况下，判定平板电脑物件500存在于移动范围Ra内。与此相反，在平板电脑物件 500和虚拟摄像机300之间的距离大于半径R的情况下，判定平板电脑物件500 存在于移动范围Ra外。
另外，如图13(c)所示，平板电脑物件500的移动范围可以为被规定成旋转椭圆体的移动范围Rb，该旋转椭圆体以虚拟摄像机300的中心位置为中心。在此，旋转椭圆体的长轴与虚拟摄像机300的w轴平行，并且，旋转椭圆体的短轴与虚拟摄像机300的v轴平行。另外，平板电脑物件500的移动范围可以为被规定成正方体或长方体的移动范围，该正方体或长方体以虚拟摄像机300 的中心位置为中心。
以下，以平板电脑物件500的移动范围为图13(b)所示的移动范围Ra为例，进行说明。如图13(a)所示，基于头戴式设备110和控制器320(控制器 320L或控制器320R)之间的距离D，设定规定移动范围Ra的球体的半径R。参照图12，说明移动范围Ra的设定方法(图11所示的在步骤S11实施的处理) 的一个示例。
如图12所示，控制部121，在步骤S21中，将整数N的数值设定为1。在图12所示的处理开始的情况下，最初将整数N的数值设定为1。例如，整数N 的数值可以在每帧增加1。例如，在游戏动画的帧率为90fps的情况下，可以每经过1/90秒，整数N的数值增加1。接着，在步骤S22中，控制部121，基于从位置传感器130发送的头戴式设备110的位置信息和控制器320的位置信息，确定头戴式设备110的位置(用户U的头部的位置)，并且，确定控制器320的位置(用户U的手的位置)。接着，控制部121，基于所确定的头戴式设备110 的位置和控制器320的位置，确定头戴式设备110和控制器320之间的距离DN (步骤S23)。
接着，由于整数N的数值为1(步骤S24的YES)，因而控制部121将所确定的距离D1设定为头戴式设备110和控制器320之间的最大距离Dmax(步骤 S25)。随后，在未经过规定時间的情况下(步骤S26中的NO)，在步骤S27中，整数N的数值增加1(N＝2)，处理再次回到步骤S22。接着，在实施步骤S22 的处理之后，在步骤S23中，控制部121确定N＝2时的头戴式设备110和控制器320之间的距离D2。接着，由于N≠1(步骤S24中的NO)，控制部121判定距离D2是否大于最大距离Dmax(＝D1)(步骤S28)。控制部121，在判定距离 D2大于最大距离Dmax的情况下(步骤S28中的YES)，将距离D2设定为最大距离Dmax(步骤S29)。另一方面，控制部121，在判定距离D2为最大距离 Dmax以下的情况下(步骤S28的NO)，进行步骤S26的处理。在未经过规定時间的情况下(步骤S26的NO)，在步骤S27中，整数N的数值增加1。如此，直到经过规定時间之前，重复实施步骤S22、S23、S28、S29的处理，并且，整数N的数值在每帧增加1。即，直到经过规定時间之前，在每帧确定头戴式设备110和控制器320之间的距离DN，然后，更新头戴式设备110和控制器320 之间的最大距离Dmax。接着，控制部121，在判定已经过规定時间的情况下(步骤S26的YES)，基于头戴式设备110和控制器320之间的最大距离Dmax以及虚拟摄像机300的位置，设定平板电脑物件500的移动范围Ra(步骤S30)。具体而言，控制部121，将虚拟摄像机300的中心位置设定成规定移动范围Ra的球体的中心，并且，将最大距离Dmax设定成规定移动范围Ra的球体的半径R。如此，基于头戴式设备110和控制器320之间的距离的最大值以及虚拟摄像机 300的位置，设定移动范围Ra。
此外，控制部121，可以基于虚拟摄像机300和手物件400之间的距离的最大值以及虚拟摄像机300的位置，设定移动范围Ra。这种情况下，控制部121，在步骤S22中，确定虚拟摄像机300的位置和手物件400的位置，并且，在步骤S23中，确定虚拟摄像机300和手物件400之间的距离DN。再者，直到经过规定時间之前，控制部121确定虚拟摄像机300和手物件400之间的最大距离 Dmax。控制部121，将虚拟摄像机300的中心位置设定成规定移动范围Ra的球体的中心，并且，将虚拟摄像机300和手物件400之间的最大距离Dmax设定成该球体的半径R。
另外，作为移动范围Ra的另一设定方法，控制部121，可以基于用户U的规定的姿势时的头戴式设备110和控制器320之间的距离以及虚拟摄像机300 的位置，设定移动范围Ra。例如，可以基于在用户U起立的状态下两手向前方伸出时的头戴式设备110和控制器320之间的距离以及虚拟摄像机300的位置，设定移动范围Ra。
再次参照图11，在步骤S12中，控制部121判定在手物件400握持平板电脑物件500的状态下手物件400是否移动(参照图14)。在步骤S12为YES的情况下，控制部121，根据控制器320的移动，使手物件400和平板电脑物件 500一起移动(步骤S13)。另一方面，在步骤S12为NO的情况下，处理进行到步骤S14。接着，在步骤S14中，控制部121，判定平板电脑物件500是否被手物件400操作。在步骤S14为YES的情况下，控制部121，根据手物件对平板电脑物件500的输入操作，操作在监视器物件600显示的菜单(菜单画面610)，然后实施与操作结果相对应的规定的处理(步骤S15)。另一方面，在步骤S14 为NO的情况下，处理进行到步骤S16。
接着，控制部121，判定平板电脑物件500是否存在于移动范围Ra外，并且，平板电脑物件500是否被手物件400握持(在步骤S16)。例如，如图14(a) 所示，用户U使用手物件400将平板电脑物件500扔出，使得平板电脑物件500 位于移动范围Ra外。或者，在平板电脑物件500未被手物件400握持的状态下，用户U移动，使得平板电脑物件500位于移动范围Ra外。这种情况下，用户U 移动，使得虚拟摄像机300移动，因而，设定于虚拟摄像机300的周边的移动范围Ra移动。如此，平板电脑物件500位于移动范围Ra外。在步骤S16为YES 的情况下，控制部121基于虚拟摄像机300的位置和监视器物件600的位置，使平板电脑物件500移动至移动范围Ra内的规定的位置(步骤S17)。例如，如图14(b)所示，控制部121，可以确定从将监视器物件600的中心位置和虚拟摄像机300的中心位置连接的线段C的中心位置起沿y轴方向偏移规定距离的位置，从而在该确定的位置配置平板电脑物件500。此外，在步骤S16，可以仅判定平板电脑物件500是否存在于移动范围Ra外。
如此，依照本实施方式，根据手物件400对平板电脑物件500的输入操作，操作在监视器物件600显示的菜单。即，用户U，能够使用与用户U的手的运动联动的虚拟空间200内的手物件400，对虚拟空间200内的平板电脑物件500 进行规定的操作。该规定的操作的结果是，操作在监视器物件600显示的菜单。如此，菜单操作由虚拟空间200内的物件彼此的相互作用实施，并且，能够避免在视野图像内始终显示小部件等的UI物件的状况。所以，能够提供一种信息处理方法，该信息处理方法能够进一步提高用户U对虚拟空间200的投入感。
另外，即使在平板电脑物件500位于移动范围Ra外的情况下，平板电脑物件500也移动至移动范围Ra内的规定的位置。如此，用户U，能够容易地发现平板电脑物件500，并且，能够大幅地减少用于拿取平板电脑物件500的人工。再者，基于监视器物件600和虚拟摄像机300之间的位置关系(例如，线段C 的中心点)，决定移动范围Ra内的平板电脑物件500的位置，因而，用户U能够容易地发现平板电脑物件500。
另外，基于头戴式设备110(用户U的头部)和控制器320(用户U的手) 之间的最大距离Dmax，决定平板电脑物件500的移动范围Ra。如此，平板电脑物件500配置在当用户U静止(现实空间中用户的位置坐标未变化的状态) 时用户U能够拿取的范围，因而，能够大幅地减少用户U拿取平板电脑物件500 的人工。
为了通过软件实现控制部121所实施的各种处理，用于使计算机(处理器) 实施本实施方式涉及的信息处理方法的信息处理程序可以预先集成于存储部 123或ROM。或者，信息处理程序，可以存储于磁盘(硬盘、软盘)，光盘 (CD-ROM、DVD-ROM，Blu-ray(注册商标)disk等)，磁光盘(MO等)，闪存(SD card，USB存储器，SSD等)等的计算机可读取的存储介质。这种情况下，存储介质连接于控制装置120，使得存储于该存储介质的信息处理程序集成于存储部123。然后，在RAM上加载集成于存储部123的信息处理程序，处理器执行所加载的该程序，使得控制部121实施本实施方式涉及的信息处理方法。
另外，可以经由通信接口125从通信网络3上的计算机下载信息处理程序。这种情况下，同样地，所下载的该程序集成于存储部123。
以上，说明了本公开的实施方式，但本发明的技术范围并不由本实施方式的说明限定性地解释。本领域的技术人员能够理解的是，本实施方式为一个示例，在权利要求书所记载的发明的范围内，能够进行各种实施方式的变更。本发明的技术范围以权利要求书所记载的发明的范围及其等同范围为准。
本实施方式中，根据示意用户U的手的运动的外部控制器320的运动，控制手物件的移动，但是，也可以根据用户U的手自身的移动量，控制虚拟空间内的手物件的移动。例如，使用安装于用户的手指的手套型设备及/或指环型设备，代替外部控制器，从而能够由位置传感器130检测用户U的手的位置及/或移动量，并且，能够检测用户U的手指的运动及/或状态。另外，位置传感器130，可以为构成为拍摄用户U的手(包括手指)的摄像机。这种情况下，通过使用摄像机拍摄用户的手，从而在用户的手指不直接安装任何设备，就能够基于显示用户的手的图像数据，检测用户U的手的位置及/或移动量，并检测用户U的手指的运动及/或状态。
另外，本实施方式中，根据作为用户U的头部以外的身体的一部分的手的位置及/或运动，由手物件操作平板电脑物件，但是，例如，也可以根据作为用户U的头部以外的身体的一部分的脚的位置及/或运动，由与用户U的脚的运动联动的脚物件(操作物件的一个示例)操作平板电脑物件。如此，不仅可以将手物件规定为操作物件，也可以将脚物件规定为操作物件。
另外，也可以将遥控器物件等规定为能够操作在监视器物件显示的菜单的物件，以代替平板电脑物件。
符号说明
1：头戴式设备系统
3：通信网络
21：中心位置
112：显示部
114：头戴传感器
120：控制装置
121：控制部
123：存储部
124：输入输出接口
125：通信接口
126：总线
130：位置传感器
140：注视传感器
200：虚拟空间
300：虚拟摄像机
302：操作按钮
302a：按压式按钮
302b：按压式按钮
302e：触发式按钮
302f：触发式按钮
304：检测点
320：外部控制器(控制器)
320i：模拟摇杆
320L：左手用外部控制器(控制器)
320R：右手用外部控制器(控制器)
322：顶面
324：握柄
326：框架
400：手物件(操作物件)
500：平板电脑物件(第2物件)
510：显示画面
520：方向键
530：BACK按钮
540：OK按钮
550L：L按钮
550R：R按钮
600：监视器物件(第1物件)
610：菜单画面
C：线段
CV：视野
CVa：第1区域
CVb：第2区域
L：视轴
Ra、Rb：移动范围

Claims (18)

1.一种由计算机的处理器实施的信息处理方法，该计算机的处理器控制具备显示部的头戴式设备，其中，所述信息处理方法包括：
生成规定虚拟空间的虚拟空间数据的步骤，其中，该虚拟空间包含虚拟摄像机、显示菜单的第1物件、能够操作所述菜单的第2物件以及操作物件；
取得检测单元的检测结果的步骤，其中，该检测单元构成为检测所述头戴式设备的运动和用户的头部以外的身体的一部分的运动；
在所述显示部显示所述虚拟摄像机根据所述头戴式设备的运动而定义的视野图像的步骤；
根据所述用户的身体的一部分的运动，使所述操作物件进行动作的步骤；以及
根据所述操作物件对所述第2物件的输入操作，操作所述菜单的步骤；
基于所述虚拟摄像机在所述虚拟空间内的位置，设置所述第2物件的移动范围，其中所述移动范围在所述虚拟空间内，并且所述移动范围围绕所述虚拟摄像机；
确定所述第2物件是否位于所述移动范围内；以及
响应于确定所述第2物件没有位于所述移动范围内，将所述第2物件移动到所述移动范围内的预定位置。
2.如权利要求1所述的信息处理方法，其中，基于所述第2物件和所述操作物件的相互作用，确定所述输入操作。
3.如权利要求1所述的信息处理方法，其中，所述虚拟空间数据还包含介质物件，基于所述操作物件的动作而操作该介质物件，
基于所述第2物件和所述介质物件的相互作用，确定所述输入操作。
4.如权利要求1或2所述的信息处理方法，其中，
所述信息处理方法还包括：
基于所述虚拟摄像机在所述虚拟空间中的位置，设定所述第2物件的移动范围的步骤；
判定所述第2物件是否位于所述移动范围内的步骤；以及
在判定所述第2物件不位于所述移动范围内的情况下，使所述第2物件移动至所述移动范围内的规定的位置的步骤。
5.如权利要求4所述的信息处理方法，其中，基于所述虚拟摄像机的位置和所述第1物件的位置，使所述第2物件移动至所述移动范围内的所述规定的位置。
6.如权利要求4所述的信息处理方法，其中，所述信息处理方法包括：
测量所述用户的头部和所述用户的身体的一部分之间的距离的步骤；以及
基于所述测量的距离和所述虚拟摄像机的位置，设定所述移动范围的步骤。
7.如权利要求4所述的信息处理方法，其中，所述信息处理方法包括：
基于所述用户的头部的位置和所述用户的身体的一部分的位置，确定所述用户的头部和所述用户的身体的一部分之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
8.如权利要求4所述的信息处理方法，其中，所述信息处理方法包括：
基于所述虚拟摄像机的位置和所述操作物件的位置，确定所述虚拟摄像机和所述操作物件之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
9.如权利要求5所述的信息处理方法，其中，所述信息处理方法包括：
测量所述用户的头部和所述用户的身体的一部分之间的距离的步骤；以及
基于所述测量的距离和所述虚拟摄像机的位置，设定所述移动范围的步骤。
10.如权利要求5所述的信息处理方法，其中，所述信息处理方法包括：
基于所述用户的头部的位置和所述用户的身体的一部分的位置，确定所述用户的头部和所述用户的身体的一部分之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
11.如权利要求5所述的信息处理方法，其中，所述信息处理方法包括：
基于所述虚拟摄像机的位置和所述操作物件的位置，确定所述虚拟摄像机和所述操作物件之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
12.如权利要求3所述的信息处理方法，其中，
所述信息处理方法还包括：
基于所述虚拟摄像机在所述虚拟空间中的位置，设定所述介质物件的移动范围的步骤；
判定所述介质物件是否位于所述移动范围内的步骤；以及
在判定所述介质物件不位于所述移动范围内的情况下，使所述介质物件移动至所述移动范围内的规定的位置的步骤。
13.如权利要求12所述的信息处理方法，其中，基于所述虚拟摄像机的位置和所述第1物件的位置，使所述介质物件移动至所述移动范围内的所述规定的位置。
14.如权利要求12或13所述的信息处理方法，其中，所述信息处理方法包括：
测量所述用户的头部和所述用户的身体的一部分之间的距离的步骤；以及
基于所述测量的距离和所述虚拟摄像机的位置，设定所述移动范围的步骤。
15.如权利要求12或13所述的信息处理方法，其中，所述信息处理方法包括：
基于所述用户的头部的位置和所述用户的身体的一部分的位置，确定所述用户的头部和所述用户的身体的一部分之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
16.如权利要求12或13所述的信息处理方法，其中，所述信息处理方法包括：
基于所述虚拟摄像机的位置和所述操作物件的位置，确定所述虚拟摄像机和所述操作物件之间的距离的最大值的步骤；以及
基于所述确定的距离的最大值和所述虚拟摄像机的位置，设定所述移动范围的步骤。
17.一种信息处理装置，至少具备处理器和存储器，通过所述处理器的控制而实施如权利要求1至16中的任一项所述的信息处理方法。
18.一种信息处理系统，包括信息处理装置，该信息处理装置至少具备处理器和存储器，所述信息处理系统实施如权利要求1至16中的任一项所述的信息处理方法。
CN201780002079.3A 2016-09-08 2017-03-10 信息处理方法、信息处理装置及信息处理系统 Active CN108027987B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-175916 2016-09-08
JP2016175916A JP6122537B1 (ja) 2016-09-08 2016-09-08 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
PCT/JP2017/009739 WO2018047384A1 (ja) 2016-09-08 2017-03-10 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム、当該情報処理方法が実行される情報処理装置、及び情報処理システム

Publications (2)

Publication Number Publication Date
CN108027987A CN108027987A (zh) 2018-05-11
CN108027987B true CN108027987B (zh) 2020-01-17

Family

ID=58666618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002079.3A Active CN108027987B (zh) 2016-09-08 2017-03-10 信息处理方法、信息处理装置及信息处理系统

Country Status (4)

Country Link
US (1) US20190011981A1 (zh)
JP (1) JP6122537B1 (zh)
CN (1) CN108027987B (zh)
WO (1) WO2018047384A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US10664993B1 (en) * 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
JP7345396B2 (ja) * 2017-11-21 2023-09-15 株式会社ワコム レンダリング装置及びレンダリング方法
JP7349793B2 (ja) * 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
CN110134197A (zh) * 2019-06-26 2019-08-16 北京小米移动软件有限公司 可穿戴式控制设备、虚拟/增强现实系统及控制方法
US11178384B2 (en) * 2019-07-10 2021-11-16 Nintendo Co., Ltd. Information processing system, storage medium, information processing apparatus and information processing method
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元ｃｇ操作方法および装置
JP2005148844A (ja) * 2003-11-11 2005-06-09 Fukuda Gakuen 表示システム
CN104115100A (zh) * 2012-02-17 2014-10-22 索尼公司 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
CN105190477A (zh) * 2013-03-21 2015-12-23 索尼公司 用于在增强现实环境中的用户交互的头戴式显示装置
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US10254920B2 (en) * 2013-12-01 2019-04-09 Upskill, Inc. Systems and methods for accessing a nested menu
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US20150193979A1 (en) * 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment
JP2017187952A (ja) * 2016-04-06 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018101293A (ja) * 2016-12-20 2018-06-28 株式会社コロプラ ヘッドマウントデバイスに仮想空間を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107963A (ja) * 2003-09-30 2005-04-21 Canon Inc 三次元ｃｇ操作方法および装置
JP2005148844A (ja) * 2003-11-11 2005-06-09 Fukuda Gakuen 表示システム
CN104115100A (zh) * 2012-02-17 2014-10-22 索尼公司 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
CN105190477A (zh) * 2013-03-21 2015-12-23 索尼公司 用于在增强现实环境中的用户交互的头戴式显示装置
JP2015232783A (ja) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Also Published As

Publication number Publication date
CN108027987A (zh) 2018-05-11
JP6122537B1 (ja) 2017-04-26
JP2018041341A (ja) 2018-03-15
US20190011981A1 (en) 2019-01-10
WO2018047384A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN108027987B (zh) 信息处理方法、信息处理装置及信息处理系统
CN109690447B (zh) 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
JP6189497B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6117414B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6157703B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6118444B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018110871A (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018026099A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018045338A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6934374B2 (ja) プロセッサを備えるコンピュータにより実行される方法
JP6290493B2 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
JP2018032413A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6449922B2 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6242452B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018018499A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018014110A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant