[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN105074625A - 信息处理设备、信息处理方法及程序 - Google Patents

信息处理设备、信息处理方法及程序 Download PDF

Info

Publication number
CN105074625A
CN105074625A CN201480018454.XA CN201480018454A CN105074625A CN 105074625 A CN105074625 A CN 105074625A CN 201480018454 A CN201480018454 A CN 201480018454A CN 105074625 A CN105074625 A CN 105074625A
Authority
CN
China
Prior art keywords
hand
operator
shape
display frame
panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480018454.XA
Other languages
English (en)
Other versions
CN105074625B (zh
Inventor
石绵克利
小森显博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105074625A publication Critical patent/CN105074625A/zh
Application granted granted Critical
Publication of CN105074625B publication Critical patent/CN105074625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

[问题]为提供一种能够在操作显示画面时减少操作者的身体负荷的信息处理设备、信息处理方法及程序。[方案]一种信息处理设备，该信息处理设备设置有：手形识别单元，该手形识别单元用于基于测量的与操作者的手有关的信息来识别操作者的手形；以及显示控制单元，该显示控制单元用于在操作者的手形是预定形状时根据操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。

Description

信息处理设备、信息处理方法及程序
技术领域
本公开内容涉及信息处理设备、信息处理方法及程序。
背景技术
到目前为止，在使用户能够直观地操作信息处理设备例如个人计算机(PC)的目的下已经进行了与图形用户界面(GUI)有关的研究。通常，在GUI的情况下，例如，通过使用指示装置在显示画面上移动指示器并且通过选择对象例如在显示画面上的图标或按钮，用户可以使计算机执行与所选择的对象对应的处理。
此外，已经提出了用于使用户在不使用输入装置例如键盘、鼠标等的情况下操作显示画面的技术。例如，专利文献1公开了如下技术，该技术通过识别使用操作者的双手执行的手势操作来确定由操作者对显示画面执行的操作的细节。
引用列表
专利文献
专利文献1JP2012-068854A
发明内容
技术问题
然而，在上述技术中，操作者在操作显示画面期间的身体负荷较大。例如，在上述技术中，用户仅可以在真实空间中已经初始设置的虚拟操作面上的位置处执行手势操作，此外，用户不能移动虚拟操作面的位置。因此，限制了用于执行手势操作的手臂位置和手臂角度，以及当操作者执行操作达较长的时间段时，身体负荷例如手臂疲劳变得较大。
因此，在本公开内容中，提出了一种能够减少操作者在操作显示画面期间的身体负荷的新的和改进的信息处理设备、信息处理方法以及程序。
问题的解决方案
为了解决上面的问题，根据本公开内容的一方面，提供了一种信息处理设备，该信息处理设备包括：手形识别单元，该手形识别单元被配置成基于测量的与操作者的手有关的信息来识别操作者的手形；以及显示控制单元，该显示控制单元被配置成在操作者的手形是预定形状时根据操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
为了解决上面的问题，根据本公开内容的另一方面，提供了一种信息处理方法，该信息处理方法包括：基于测量的与操作者的手有关的信息来识别操作者的手形；以及在操作者的手形是预定形状时根据操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
为了解决上面的问题，根据本公开内容的另一方面，提供了一种程序，所述程序使计算机用作为：手形识别单元，该手形识别单元被配置成基于测量的与操作者的手有关的信息来识别操作者的手形；以及显示控制单元，该显示控制单元被配置成在操作者的手形是预定形状时根据操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
本发明的有益效果
如上所述，本公开内容能够减少操作者在操作显示画面期间的身体负荷。
附图说明
[图1]图1是示出了根据本公开内容的第一实施方式的操作UI面板的人的外部视图。
[图2]图2是示出了根据相同实施方式的HMD的硬件配置的说明图。
[图3]图3是示出了根据相同实施方式的显示画面的显示示例的说明图。
[图4]图4是示出了根据相同实施方式的HMD的配置的功能框图。
[图5]图5是示出了根据相同实施方式的握持UI面板的手形的示例的第一说明图。
[图6]图6是示出了根据相同实施方式的握持UI面板的手形的示例的第二说明图。
[图7]图7是示出了根据相同实施方式的显示UI面板的运动的示例的说明图。
[图8]图8是示出了根据相同实施方式的手指指示手形的示例的说明图。
[图9]图9是示出了根据相同实施方式的操作的一部分的流程图。
[图10]图10是示出了根据相同实施方式的操作的一部分的流程图。
[图11]图11是详细地示出了根据相同实施方式的UI面板的显示/隐藏处理的第一流程图。
[图12]图12是详细地示出了根据相同实施方式的UI面板的显示/隐藏处理的第二流程图。
[图13]图13是详细地示出了根据相同实施方式的UI面板的移动处理的流程图。
[图14]图14是示出了根据本公开内容的第二实施方式的UI面板和聚焦框的显示示例的说明图。
[图15]图15是示出了根据相同实施方式的操作UI面板的人的外部视图。
[图16]图16是示出了根据相同实施方式的操作示例的说明图。
[图17]图17是示出了根据相同实施方式的操作的一部分的流程图。
[图18]图18是示出了根据相同实施方式的操作的一部分的流程图。
[图19]图19是根据本公开内容的第三实施方式的操作UI面板的人的外部视图。
[图20]图20是示出了根据相同实施方式的视频装置的配置的功能框图。
[图21]图21是示出了根据相同实施方式的显示画面的显示示例的第一说明图。
[图22]图22是示出了根据相同实施方式的显示画面的显示示例的第二说明图。
具体实施方式
在下文中，将会参照附图详细地描述本公开内容的优选实施方式。本公开内容可以以作为本公开内容的示例详细描述的下述各种形式来实现：从“1.第一实施方式的详细描述”至“3.第三实施方式的详细描述”。此外，将以具有以下示出项的以下顺序来描述“具体实施方式”。
1.第一实施方式的详细描述
2.第二实施方式的详细描述
3.第三实施方式的详细描述
4.修改
要注意的是在本说明书和附图中，给具有基本上相同的功能配置的部件标上相同的符号以便省略重复的描述。
此外，可以给具有基本上相同的功能配置的多个部件在相同的符号之后标上不同的字母字符以便在部件之间进行区分。例如，将具有基本上相同功能配置的多个部件按照需要区分为UI面板30a和UI面板30b。然而，在不需要特别地区分具有基本上相同的功能配置的多个部件的情况下，仅给部件标上相同的符号。例如，在不需要特别地区分UI面板30a和UI面板30b的情况下，UI面板30a和UI面板30b均仅被称为UI面板30。
-背景-
到目前为止，尽管已经构思了使用操作者的手势来操作装备件的构想，但出现以下各点的问题。首先，在传统的构想中，由于在通过手势操作装备时不存在物理反馈，因此操作者感觉不到对装置进行操作的发生。其次，在传统的构想中，由于操作者在做手势时需要向前举起手臂，当操作者执行操作达较长的时间段时，会出现身体疼痛如肩膀、手臂以及肘关节出现的严重疲劳。第三，在传统的构想中，对于操作者当在二维显示装置上显示在真实空间中设置的虚拟图标时难以精确地选择图标。
因此，将上述情况作为重点，已经设计了实施方式的HMD10和视频装置40。由于实施方式的HMD10和视频装置40使操作对象能够移动至对于操作者易于对操作对象进行操作的位置，所以可以减少操作者在操作显示画面期间的身体负荷。
<1.第一实施方式的详细描述>
[1-1.基本的配置]
首先，将参照图1来描述根据第一示例性实施方式的HMD10(图像处理设备)的基本配置。如在图1中所示，HMD10是用于例如使操作者2观看在图2中示出的显示画面20的显示装置。HMD10可以是安装在操作者2的头上的头戴式显示装置或者可以例如是包括透视型显示装置的眼镜型计算机。此外，HMD10能够在显示画面20上显示已经拍摄的静态图像或动态图像或者显示已经由计算机绘图绘制的二维对象或三维对象。
图2是示出了由HMD10显示的显示画面20的示例的说明图。如在图2中所示，显示画面20包括操作对象例如UI面板30a(操作面)。要注意的是，HMD10能够将操作对象表现为三维对象。例如，当操作者2执行在显示画面20的景深方向上移动操作对象的操作时，HMD10能够以减小的方式在显示画面20上显示操作对象。此外，HMD10能够类似于公告板在与操作者2的眼睛相对的取向上一直显示UI面板30，甚至当操作者2的位置应改变时也如此。
此外，如在图2中所示，UI面板30a包括例如用于启动各种应用的图标300。要注意的是，UI面板30a还可以包括按钮、图像、文本等。
此外，HMD10可以通过基于经由稍后描述的成像单元120或传感器单元122获得的信息识别操作者2的手形和手的位置来改变UI面板30在显示画面20上的显示位置。此外，通过识别操作者2的手部动作，HMD10能够识别由操作者2执行的选择图标300、按钮、图像、文本等的操作，此外，HMD10能够执行与选择操作对应的预定处理例如启动与所选择的图标300对应的应用。
要注意的是在图1中，尽管描述了操作者2在站立时操作UI面板30的示例，但是不限于该示例，例如，操作者2可以在坐在座位上时操作UI面板30。
-硬件配置-
此外，例如，HMD10具有如在图3中所示的硬件配置。如在图3中所示，HMD10包括中央处理单元(CPU)150、只读存储器(ROM)152、随机存取存储器(RAM)154、内部总线156、接口158、输入装置160、输出装置162、存储装置164以及通信装置166。
CPU150例如被配置为稍后描述的控制器100、手形识别单元102、动作识别单元104、显示控制单元106以及确定单元108的示例。CPU150起算术处理单元和控制器的作用并且根据各种程序控制HMD10的总体的操作。CPU150可以是微处理器。
ROM152存储由CPU150使用的程序、操作参数等。此外，RAM154暂时地存储在CPU150的执行中使用的程序和在执行期间适当地改变的参数等。CPU150、ROM152以及RAM154通过由CPU总线等配置的内部总线156来彼此连接。
接口158将输入装置160、输出装置162、存储装置164以及通信装置166连接至内部总线156。例如，输入装置160通过接口158和内部总线156与CPU150等交换数据。
输入装置160接收由传感器单元122获得的景深信息的输入和捕获的用相机拍摄的图像的输入。此外，已经由输入装置160接收输入的景深信息和捕获的图像被输出至CPU150。
例如，输出装置162包括显示装置例如液晶显示(LCD)装置、有机发光二极管(OLED)装置、照明器等。此外，输出装置162包括声音输出装置例如扬声器。例如，显示装置显示捕获的图像和生成的图像。同时，语音输出装置将音频数据等转换成声音并且将声音输出。
存储装置164是用于存储数据的装置并且例如被配置为稍后描述的存储单元110的示例。存储装置164可以包括存储介质、记录装置、读出装置、删除装置等，记录装置将数据记录在存储介质中，读出装置从存储介质中读出数据，删除装置将在存储介质中记录的数据删除。存储装置164存储CPU150执行的程序和各种数据。
通信装置166是例如通过通信装置等配置的用于连接至通信网络例如因特网的通信接口。此外，通信装置166可以是无线LAN使能通信装置、长期演进(LTE)使能通信装置或执行有线通信的有线通信装置。
[1-2.配置]
(1-2-1.HMD10的配置)
上面已经描述了第一实施方式的HMD10的基本的配置。随后，将详细地描述根据第一实施方式的配置。图4是示出了根据第一实施方式的HMD10的配置的功能框图。如在图4中所示，HMD10包括：控制器100、存储单元110以及输出单元112。此外，控制器100包括：手形识别单元102、动作识别单元104、显示控制单元106以及确定单元108。
控制器100具有通过使用硬件例如内置在HMD10中的CPU150和RAM154来总体上控制HMD10的操作的功能。例如，控制器100控制存储单元110和输出单元112的操作。
手形识别单元102基于例如由稍后描述的成像单元120拍摄的操作者2的手的图像或者由稍后描述的传感器单元122测量的操作者2的手的景深信息来识别操作者2的手形。
更具体地，手形识别单元102能够通过对拍摄的操作者2的手的图像执行图像模式匹配来识别操作者2的手形。例如，可以通过某种图像处理装置使用所捕获的已经形成为预定形状例如图5所示的形状的多个人的手的图像数据来提取特征量例如类Haar特征量并且通过执行机器学习来预先创建用于模式匹配的字典数据。然后，手形识别单元102能够通过对由成像单元120捕获的操作者2的图像执行对至操作者2的手的距离进行计算以及对与操作者2的手有关的特征量进行计算，并且在计算结果与上面的字典数据之间进行比较来确定操作者2的手形是否与预定手形相同。要注意的是，上述的图像处理装置可以是HMD10或者可以是不同的装置。
可替选地，通过例如基于由传感器单元122测量的操作者2的手的景深信息对手指进行骨骼估计来计算操作者2的手的每个手指的位置，并且根据已经计算的手指的位置关系，手形识别单元102能够识别操作者2的手形。
例如，手形识别单元102识别操作者2的第一只手的手形是否是如在图5和图6中所示的握持UI面板30的手形4a。此外，手形识别单元102识别操作者2的第二只手的手形是否是如在图8中所述的手指指示形状6a。要注意的是，如稍后所描述的，第一只手是用于移动UI面板30的显示位置的手以及第二只手是用于对UI面板30执行操作的手。
要注意的是，在本说明书的下文中，将在第一只手是左手并且第二只手是右手的情况下给出描述。然而，不限于上面的示例，第一只手可以是右手并且第二只手可以是左手。可以认为上面修改的效果是，即使在操作者2是惯于用右手的或者惯于用左手的情况下，也没有改变易于操作性。
稍后将描述细节，例如，当操作者2的左手的手形形成为如在图6中所示的握持UI面板30的手形4a时，HMD10能够在真实空间中的左手的拇指与食指之间设置UI面板30。因此，即使在操作者2移动左手的情况下，操作者2也可以容易地识别在移动之后UI面板30在真实空间中位置。
此外，当操作者2的右手的手形形成为手指指示形状6a时，HMD10能够识别与真实空间中的右手食指的指尖的位置对应的UI面板30中的位置例如是由操作者2选择的位置。可以认为上面的效果是，由于操作者2能够感知到真实空间中的左手的位置即设置UI面板30的位置与右手的手指的位置之间的位置关系，因此操作者2能够精确地选择UI面板30中的期望的位置。
除了上述功能之外，例如，手形识别单元102能够识别操作者2的与在触摸面板中采用的操作类似的操作。例如，当操作者2的右手的手指的位置在左手的位置的后面并且当手形识别单元102识别到在向上、向下、向左、或向右方向上移动右手的运动时，手形识别单元102可以识别：在与右手的手指的位置对应的显示位置处已经执行了悬停操作。此外，当手形识别单元102识别到右手的手指的位置在左手的位置的前面时，手形识别单元102可以识别确定操作例如在与右手的手指的位置对应的显示位置处已经执行了轻击。此外，当右手的手指的位置在左手的位置的前面并且当手形识别单元102识别到在向上、向下、向左或向右方向上移动右手的运动时，手形识别单元102可以识别：在与右手的手指的位置对应的显示位置处已经执行了拖动操作。
此外，手形识别单元102能够识别操作者2已经切换左手形状和右手形状。可以认为上面的效果是，当在操作中操作者2感到一只手或双手疲劳时，操作者2可以通过切换左手形状和右手形状来缓解疲劳。
动作识别单元104基于由成像单元120拍摄的图像、由传感器单元122测量的管理信息例如景深信息以及在稍后描述的存储单元110中预存储的手形的学习数据来识别操作者2的手部动作。更具体地，动作识别单元104对操作者2的手的正常旋转(在下文中，还称为在第一方向上旋转手的运动)进行识别。例如，当操作者2的左手的手形形成为如图7中所示的手是握住的手形4b时，动作识别单元104通过基于在存储单元110中存储的手形4b的旋转量中的每个旋转量的学习数据计算左手的旋转角来识别手的正常旋转运动。此外，动作识别单元104对操作者2的手的反向旋转运动(在下文中，还称为在第二方向上旋转手的运动)进行识别。要注意的是，例如如图7中所示的，第一方向可以是旋转左手使得向下定向的拇指成为向上定向的方向。此外，第二方向是与第一方向相反的方向。
当操作者2的手形是预定形状时，显示控制单元106根据操作者2的手的位置的改变来移动UI面板30在显示画面20上的显示位置。例如，当操作者2在左手的手形是预定形状的情况下向上移动左手时，显示控制单元106能够在显示画面20的向上方向上移动UI面板30。例如，当操作者2在左手的手形是预定形状的情况下将左手向前移动时，显示控制单元106能够以减小的方式显示UI面板30以便在显示画面20的景深方向上移动UI面板30。例如，当操作者2在左手的手形是预定形状的情况下将左手向后部移动时，也就是说，当操作者2将左手向使左手靠近操作者2的方向移动时，显示控制单元106能够以放大的方式显示UI面板30。要注意的是，例如，可以将预定形状设置成握持UI面板30的手形4a或者可以将预定形状设置成另外的形状。
此外，显示控制单元106基于动作识别单元104对操作者2的手部动作的识别结果来在显示画面20上显示UI面板30与在显示画面20上隐藏UI面板30之间进行切换。例如，当由动作识别单元104识别到操作者2的手的正常旋转运动时，显示控制单元106能够在与操作者2的手在旋转之后的位置对应的显示画面20上的位置处显示UI面板30。此外，在显示画面20上显示有UI面板30时，当由动作识别单元104识别到操作者2的手的反向旋转运动时，显示控制单元106能够隐藏UI面板30。
在此，将详细地描述上述用显示控制单元106移动UI面板30的细节。根据左手与右手之间的位置关系，显示控制单元106能够改变UI面板30在显示画面20上的移动量与左手的位置的改变量的比率。更具体地，在左手处于右手的前面的情况下，随着操作者2的左手与右手之间在前-后方向上的距离变小，显示控制单元106能够降低UI面板30在显示画面20上的移动量与左手的位置的改变量的比率。例如，在UI面板30在显示画面20上的移动量与左手的位置的改变量的比率在初始状态下被设置为50％的情况下，随着左手与右手之间的距离变得更小，UI面板30的移动量的比率可以逐渐地降低例如50％→40％→30％。此外，当左手与右手之间的距离变得小于预定距离时，可以将UI面板30的移动量的比率设置为0％，换言之，可以将UI面板30的显示位置固定。
由于上面的影响，所以存在下述优点：当操作者2用左手选择例如在图2中所示的图标300时，即使在左手违背操作者2的意愿稍微地移动时也可以抑制UI面板30的位置的移动，使得操作者2能够以更精确的方式来选择图标300。
要注意的是，HMD10可以预设UI面板30的移动量与手的位置的改变量的比率使得左手的比率与右手的比率不同。例如，HMD10可以设置UI面板30的移动量与手位置的改变量的比率使得右手即执行对UI面板30的选择的手的比率低于左手即握持UI面板30的手的比率。由于上面的影响，存在下述优点：当操作者2选择图标300时，可以在不那么多地移动右手的情况下以更精确的方式选择图标300。
此外，在手形识别单元102没有识别出操作者2的手形是预定形状时，显示控制单元106能够不在显示画面20上显示UI面板30。此外，显示控制单元106能够将例如已经由成像单元120拍摄的操作者2的手臂的一部分或身体的一部分叠加在显示画面20上。
当手形识别单元102识别出操作者2的右手的手形是例如手指指示形状时，确定单元108能够基于右手的手指的位置来确定由操作者2执行的操作的细节。例如，在手形识别单元102识别出右手的手指的位置在左手的位置的前面时，确定单元108可以确定与右手的手指的位置对应的UI面板30中的位置由操作者2选择。
存储单元110存储各种信息例如已经预先设置的下述值以及显示画面20的图像信息，所述值包括：UI面板30的移动量与左手位置的改变量的比率、UI面板30的移动量与右手位置的改变量的比率。
输出单元112根据例如显示控制单元106的指令来对显示画面20进行显示。
要注意的是，根据第一实施方式，还提供下述计算机程序，所述计算机程序用于使内置于HMD10中的硬件例如CPU150、ROM152以及RAM154发挥与上述HMD10的部件中的每个部件类似的功能。此外，还提供了存储上面的计算机程序的存储介质。
(1-2-2.成像单元120)
成像单元120具有通过镜头拍摄动态图像的静态图像来在成像元件例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)上形成外部图像的图像的功能。此外，成像单元120将所拍摄的图像发送至HMD10。要注意的是，成像单元120能够如在图1中所示的传感器单元122那样例如设置在HMD10上以便被定位在操作者2的脸的上部。
(1-2-3.传感器单元122)
传感器单元122例如用景深传感器来测量外部对象如操作者2的手的景深信息。此外，传感器单元122将所测量的信息发送至HMD10。要注意的是，传感器单元122例如能够如在图1中所示的那样设置在HMD10上以便被定位在操作者2的脸的上部。
要注意的是，根据第一实施方式的配置不限于上述配置。例如，HMD10可以在其中设置有HMD10、成像单元120以及传感器单元122中至少之一。此外，可以不设置成像单元120和传感器单元122中之一。
[1-3.操作]
(1-3-1.总体的操作)
上面已经描述了第一实施方式的配置。随后，将描述根据第一实施方式的操作。图9是示出了第一实施方式的操作的一部分的流程图。
如在图9中所示，首先，成像单元120拍摄操作者2的手的图像并且然后将所拍摄的图像发送至HMD10。此外，传感器单元122测量操作者2的手的景深的信息并且将所测量的景深信息发送至HMD10(S101)。
接下来，手形识别单元102基于由成像单元120拍摄的图像或者由传感器单元122测量的景深信息来识别操作者2的左手的手形(S102)。
接下来，HMD10执行“UI面板显示/隐藏处理”(S103)。
接下来，参照图10，将描述在S103之后的操作。如在图10中所示，在S103之后，显示控制单元106检查在显示画面20上是否显示有UI面板30(S104)。当没有显示UI面板30时(S104：否)，HMD10维持当前操作。
相反地，当显示有UI面板30时(S104：是)，HMD10检测由操作者2执行的指示运动(S105)。更具体地，手形识别单元102通过识别操作者2的右手的手形是否是手指指示形状来确定是否已经由操作者2执行了指示运动。
当没有检测到由操作者2执行的指示运动时(S105：否)，HMD10维持当前操作。另一方面，如果检测到由操作者2执行的指示运动时(S105：是)，HMD10增加UI面板30的相机抖动滤波器的乘数(S106)。更具体地，显示控制单元106降低UI面板30在显示画面20上的移动量与操作者2的左手的位置的改变量的比率。
接下来，手形识别单元102对操作者2的右手的手指的位置是否在左手的前面进行识别(S107)。当右手的手指的位置在左手的位置的后面时(S107：否)，HMD10维持当前操作。
相反地，当右手的手指的位置在左手的位置的前面时(S107：是)，HMD10对指示运动的所选择的位置进行检测(S108)。更具体地，确定单元108确定:与右手的手指的位置对应的UI面板30的位置被操作者2选择。
此外，例如，当由指示运动所选择的位置是图标300的显示位置时，HMD10能够启动与所选择的图标300对应的应用。
(1-3-2.UI面板显示/隐藏处理的第一操作示例)
随后，将描述S103的UI面板显示/隐藏处理的细节。首先，参照图11，将给出UI面板显示/隐藏处理的第一操作示例的描述。
如在图11中所示，首先，手形识别单元102对操作者2的左手的手形是否是握持UI面板30的手形进行识别(S201)。当左手的手形是握持UI面板30的手形时(S201：是)，显示控制单元106在与操作者2的左手的位置对应的显示画面20上的位置处显示UI面板30(S202)。相反地，如果左手的手形不是握持UI面板30的手形(S201：否)，则显示控制单元106在显示画面20上隐藏UI面板30(S203)。
根据第一操作示例，可以通过仅将操作者2的左手的手形形成为握持UI面板30的手形来显示UI面板30，可以容易地显示UI面板30并且可以容易地移动UI面板30的显示位置。
(1-3-3.UI面板显示/隐藏处理的第二操作示例)
接下来，参照图12，将给出UI面板显示/隐藏处理的第二操作示例的描述。如在图12中所示，首先，显示控制单元106检查在显示画面20上是否显示有UI面板30(S301)。
当显示有UI面板30时(S301：是)，动作识别单元104检查是否存在操作者2的手的反向旋转运动，换言之，是否存在在第二方向上旋转手的运动(S302)。当识别到操作者2的手的反向旋转运动时(S302：是)，显示控制单元106在显示画面20上隐藏UI面板30(S303)。
相反地，当没有识别到操作者2的手的反向旋转运动时(S302：否)，手形识别单元102对操作者2的左手的手形是否是握持UI面板30的手形进行识别(S302)。当左手的手形是握持UI面板30的手形时(S304：是)，HMD10执行稍后描述的“UI面板移动处理”(S305)。相反地，如果左手的手形不是握持UI面板30的手形(S304：否)，则HMD10结束UI面板显示/隐藏处理。
此外，参照图13，现在将描述S305的UI面板移动处理的细节。如在图13中所示，首先，显示控制单元106检查在与操作者2的左手的位置对应的显示画面20上的位置处是否显示有UI面板30(S351)。然后，如果在与左手的位置对应的显示画面20上的位置处没有显示UI面板30(S351：否)，则显示控制单元106将UI面板30移动至与左手的位置对应的显示画面20上的位置处(S352)。
返回参照图12，现在将继续第二操作示例的描述。在S301中，当没有显示UI面板30时(S301：否)，动作识别单元104检查是否已经执行了操作者2的手的正常旋转运动，换言之，是否已经执行将手向第一方向旋转的运动(S306)。当识别到操作者2的手的正常旋转运动时(S306：是)，显示控制单元106在与操作者2的手在旋转之后的位置对应的显示画面20上的位置处显示UI面板30(S307)。相反地，如果没有识别到操作者2的手的正常旋转运动(S306：否)，则HMD10结束UI面板显示/隐藏处理。
根据第二操作示例，当显示有UI面板30时，除非执行了预定运动例如操作者2的手的反向旋转运动，否则HMD10继续显示UI面板30。因此，即使在操作者2改变左手的手形或者收回左手的情况下，也可以保持显示UI面板30，因此，存在操作者2可以在更舒适的位置操作UI面板30的优点。此外，在显示UI面板30之后，操作者2能够仅用左手即仅用单手通过将左手的手形改变成例如手指指示形状6a来对UI面板30执行操作。
(1-3-4.修改)
尽管上面已经描述了第一实施方式的操作，但是第一实施方式不限于上述的操作。例如，在S103中，取决于UI面板30的类型和显示内容，HMD10可以确定在图11中所示的第一操作示例与在图12中所示的第二操作示例之间采用哪个示例。更具体地，显示控制单元106可以在包括在UI面板30中的信息量较小的情况下且针对应暂时显示的操作对象例如搜索窗口采用第一操作示例。对于上面的原因是，第一操作示例是更轻的处理并且是更简单的操作。此外，显示控制单元106可以在包括在UI面板30中的信息量较大的情况下并且针对期望长时间地显示的操作对象例如至目的地的路线指南显示采用第二操作示例。对于上面的原因是，在第二操作示例中，除非操作者2执行了预定运动，否则可以持续地显示操作对象。
[1-4.效果]
如上面参照图4、图9至图13等所描述的，例如，在根据第一实施方式的HMD10中，基于所测量的与操作者2的手有关的信息来识别操作者2的手形，以及当操作者2的左手的手形是预定形状时，根据操作者2的左手的位置的改变来移动UI面板30在显示画面20上的显示位置。因此，由于可以通过移动操作者2的左手来将UI面板30的位置改变至易于操作的位置，HMD10可以减少操作者2的身体负荷。例如，由于操作者2可以在易于执行右手的指示操作的位置处设置UI面板30，所以即使在操作了较长的时间段的情况下，也将几乎没有任何身体疼痛。
此外，如参照图12至图13等所描述的，例如，当识别到操作者2的手的正常旋转运动时，HMD10能够与操作者2的手在旋转之后的位置对应的在显示画面20上的位置处显示UI面板30。此外，在显示有操作对象时，当识别到操作者2的手的反向旋转运动时，HMD10能够在显示画面20上隐藏UI面板30。因此，在显示有UI面板30时，由于即使在操作者2改变左手的手形或者收回左手的情况下也可以保持显示UI面板30，因此操作者2可以在更舒适的位置操作UI面板30。
此外，HMD10能够设置UI面板30的移动量与手位置的改变量的比率使得右手的比率低于左手的比率。因此，当选择图标300时，操作者2能够在不很大地移动右手的情况下收集期望的图标300。
此外，在左手在右手的前面的情况下，随着操作者2的左手与右手之间在前-后方向上的距离变小，HMD10能够减少UI面板30的移动量与左手的位置的改变量的比率。因此，当操作者2执行选择图标300的指示运动时，即使违背操作者2的意愿而移动左手，HMD10也可以抑制UI面板30的位置移动。因此，操作者2可以更容易地并且以精确的方式选择图标300。
此外，HMD10例如能够将已经由成像单元120拍摄的操作者2的手臂的一部分或身体的一部分叠加在显示画面20上。因此，操作者2可以容易地识别到他/她正在执行操作，因此，操作者2可以直观地执行操作。
<2.第二实施方式的详细描述>
上面已经描述了第一实施方式。如上所述，在第一实施方式中，操作者2使用双手来操作UI面板30。如接下来描述的，根据第二实施方式，操作者2能够仅用一只手操作UI面板30。
[2-1.配置]
根据第二实施方式的HMD10包括与图4中所示的根据第一实施方式的HMD10的那些部件类似的部件。因此，在此将主要描述与第一实施方式不同的要点。
根据第二实施方式的显示控制单元106在与操作者2的视点的位置对应的显示画面20上的位置处显示聚焦框36。例如，如在图14中所示，显示控制单元106能够单独地显示UI面板30b和聚焦框36，并且在相对于UI面板30b的前侧的位置处显示聚焦框36。此外，如在图15中所示，显示控制单元106能够在大约与真实空间中的操作者的眼睛的高度相同的高度处并且在操作者的眼睛的前方的位置处设置聚焦框36。
聚焦框36是用于选择例如在显示画面20上显示的图标、按钮、图像、文本等的对象。参照图16，现在将描述根据第二实施方式的操作UI面板30的示例性方法。操作者2可以通过向上、向下、向左以及向右移动左手的位置来移动UI面板30在显示画面20上的显示位置。同时，聚焦框36的位置总体上固定在显示画面20上。因此，如在图16中所示，例如，当操作者2期望选择图标300c时，操作者2可以通过在图16中的右下方向移动UI面板30b使得图标300c处于聚焦框36的内部来选择图标300c。
此外，当移动UI面板30的显示位置时，根据第二实施方式的确定单元108确定操作者2已经选择了与在移动之后UI面板30上的聚焦框36对应的区域。例如，在图16所示的示例中，在移动UI面板30使得图标300c处于聚焦框36的内部之后，确定单元108确定操作者2已经选择了图标300c。
[2-2.操作]
上面已经描述了第二实施方式的配置。随后，将描述根据第二实施方式的操作。图17是示出了第二实施方式的操作的一部分的流程图。
如在图17中所示，首先，控制器100确定是否已经由操作者2执行显示UI板30的运动(S401)。例如，可以通过使动作识别单元104如在图12中的S306那样识别是否已经由操作者2执行了左手的正常旋转运动来确定是否已经由操作者2执行了显示UI板30的运动。此外，可以通过使手形识别单元102如在图11中的S201那样识别操作者2的左手的手形是否是握持UI面板30的手形来确定是否已经由操作者2执行了显示UI面板30的运动。
当确定已经执行了显示UI面板30的运动时(S401：是)，显示控制单元106在与操作者2的视点的位置对应的显示画面20上的位置处显示聚焦框36(S402)。
接下来，显示控制单元106在显示画面20上显示UI面板30(S403)。要注意在S401中，当动作识别单元104识别到操作者2的左手的正常旋转运动时，显示控制单元106可以在与操作者2的左手在旋转之后的位置对应的显示画面20上的位置处显示UI面板30。
接下来，显示控制单元106在显示画面20上固定聚焦框36的显示位置(S404)。
接下来，参照图18，将描述在S404之后的操作。如在图18中所示，在S404之后，控制器100确定是否已经由操作者2执行了删除UI面板30的运动(S405)。例如，可以通过使动作识别单元104如在图12中的S302那样识别是否已经由操作者2执行了左手的反向旋转运动来确定是否已经由操作者2执行了删除UI面板30的运动。此外，可以通过由手形识别单元102如在图11中的S201那样识别操作者2的左手的手形不是握持UI面板30的手形、来确定是否已经由操作者2执行了删除UI面板30的运动。
当确定已经执行删除UI面板30的运动时(S405：是)，HMD10执行稍后描述的S409的操作。相反地，当确定还没有执行删除UI面板30的运动时(S405：否)，手形识别单元102对操作者2的左手的手形是否是握持UI面板30的手形并且是否已经移动左手的位置进行识别(S406)。当左手的手形不是握持UI面板30的手形时，或者当还没有移动左手的位置时(S406：否)，HMD10重复S405的操作。相反地，当左手的手形是握持UI面板30的手形时并且当移动了左手的位置时(S406：是)，HMD10移动UI面板30在显示画面20上的显示位置(S407)。
接下来，确定单元108确定与在UI面板30上的聚焦框36对应的区域是否已经被操作者2选择(S408)。例如，确定单元108可以通过确定在图标300、按钮等处在聚焦框36中的情况下是否已经经过了预定时间来确定操作者2是否已经执行了使用聚焦框36对区域的选择。
当确定还没有执行使用聚焦框36对区域的选择时(S408：否)，HMD10重复S405的操作。相反地，例如，当确定已经执行了使用聚焦框36对区域的选择时(S408：是)，控制器100执行预定处理例如启动与所选择的图标300对应的应用。此外，显示控制单元106在显示画面20上删除UI面板30(S409)。
随后，显示控制单元106在显示画面20上删除聚焦框36(S410)。
-修改-
要注意的是，根据第二实施方式的操作不限于上述操作。例如，显示控制单元106可以不考虑操作者2对UI面板30进行显示的操作而在显示画面20上显示聚焦框36。例如，显示控制单元106可以一直显示聚焦框36或者当已经由操作者2进行预定运动时显示聚焦框36。
此外，在S408之后，当手形识别单元102或者动作识别单元104识别到操作者2的预定运动时，确定单元108可以确定操作者2已经取消了S408的区域的选择。例如，当由动作识别单元104识别到操作者2的左手的反向旋转运动时或者当由手形识别单元102将操作者2的左手的手形识别为不是握持UI面板30的手形时，确定单元108可以确定操作者2已经取消了区域的选择。
此外，在S408之后，替代执行S409的操作并且在之后，HMD10可以再次重复S405的操作。此外，在S409之后，替代执行S410的操作，HMD10可以再次重复S401的操作。
[2-3.效果]
如上面参照图17和图18等所描述的，例如，根据第二实施方式的HMD10在与操作者2的视点的位置对应的显示画面20上的位置处显示聚焦框36，以及当移动UI面板30的显示位置时，确定与在移动之后的UI面板30上的聚焦框36对应的区域已经被操作者2选择。因此，当操作者2移动左手的位置以移动UI面板30使得要在UI面板30上选择的期望的区域处于聚焦框36的内部时，操作者2可以选择期望的区域。因此，操作者2能够仅用单手来操作UI面板30并且可以容易地操作UI面板30。
<3.第三实施方式的详细描述>
上面已经描述了第二实施方式。如上所述，在第一实施方式和第二实施方式中，HMD10对显示画面20和UI面板30进行显示。如随后描述的，根据第三实施方式，例如，视频装置40如电视接收器对显示画面20和UI面板30进行显示。
[3-1.基本的配置]
将要参照图19来描述根据第三实施方式的视频装置40(图像处理设备)的基本配置。例如，视频装置40是用于显示如在图2中所示的显示画面20的装置。要注意的是，视频装置40可以是液晶显示装置、OLED装置、等离子体显示装置等。此外，由视频装置40显示的显示画面20可以是由根据第一实施方式的HMD10显示的显示画面20或者可以是不同的画面。
如在图19中所示，操作者2基本上位于视频装置40的前面并且能够在观看视频装置40的显示时对操作对象例如UI面板30进行操作。与HMD10类似，视频装置40可以通过基于经由稍后描述的成像单元420或传感器单元422获得的信息识别操作者2的手形和手的位置来改变UI面板30在显示画面20上的显示位置。此外，例如，通过识别操作者2的手部动作，视频装置40能够识别由操作者2执行的选择图标300、按钮、图像、文本等的操作，此外，视频装置40能够执行与选择操作对应的预定处理，例如启动与所选择的图标300对应的应用。
要注意的是在图19中，尽管描述了操作者2在站立时操作UI面板30的示例，但是不限于此，例如，操作者2可以在坐在座位上时操作UI面板30。此外，视频装置40的硬件配置可以与在图3中所示的根据第一实施方式的HMD10的硬件配置类似。
[3-2.配置]
(3-2-1.视频装置40)
上面已经描述了第三实施方式的视频装置40的基本配置。随后，将详细地描述根据第三视频装置40实施方式的配置。图20是示出了根据第三实施方式的视频装置40的配置的功能框图。如在图20中所示，视频装置40包括：控制器400、存储单元410以及输出单元412。此外，控制器400包括：手形识别单元402、动作识别单元404、显示控制单元406以及确定单元408。要注意的是，每个部件的功能总体上与根据第一实施方式的HMD10的对应部件的功能类似。因此，在此将主要描述与第一实施方式不同的要点。
如在图19中所示，在第三实施方式中，操作者2在远离于视频装置40一定距离的情况下操作UI面板30。因此，例如，如图21所示，当操作者2的手处在连接操作者2的视点与UI面板30的延伸线上时，可以产生由操作者2的手遮住并且操作者2不能观看的UI面板30中的区域。
因此，例如，如图22中的UI面板30a，当操作者2的手位于视频装置40的显示装置与操作者2的眼睛之间的空间时，显示控制单元406能够在与从操作者2的视角由操作者2的手遮住的区域不同的显示画面20中区域中显示UI面板30。例如，基于由传感器单元422测量的操作者2的脸和手相对于视频装置40的相对位置信息，显示控制单元406可以计算从操作者2的视角由操作者2的手所遮住的显示画面20中的区域。然后，显示控制单元406可以在与所计算的区域不同的区域中显示UI面板30。
要注意的是，当以移动的方式在显示画面20上显示UI面板30时，对于操作者2会变得难以操作UI面板30。因此，例如，作为在图22中的左手的图像32和右手的图像34，显示控制单元406能够在与操作者2的手的位置对应的位置处将虚拟的手的图像显示和叠加在显示画面20上。通常，据说人从外部环境接收的大约80％的信息是视觉信息并且人主要倾向于基于视觉信息来行动。因此，即使在如图22中那样显示UI面板30的情况下，通过在观看手的图像时操作UI面板30，没有降低易于操作性并且操作者2可以精确地操作UI面板30。
要注意的是在图22中，作为左手的图像32和右手的图像34，例如，通过计算机绘图显示虚拟的手的图像的示例不限于上面的示例，例如，可以在显示画面20上显示所捕获的用成像单元420拍摄的操作者2的手和上半身的图像，以及可以将其叠加在显示画面20上。此外，替代显示左手的图像32和右手的图像34两者，可以仅显示任一个图像，例如可以仅显示左手的图像32。
(3-2-2.成像单元420和传感器单元422)
成像单元420的功能和传感器单元422的功能总体上分别与根据第一实施方式的成像单元120的功能和传感器单元122的功能类似。要注意的是，例如，与在图19中所示的传感器单元422类似，成像单元420和传感器单元422可以安装在视频装置40上以便被定位在水平方向上显示装置的中上部分。
要注意的是，根据第一实施方式的配置不限于上述配置。例如，视频装置40可以在其中设置有成像单元120以及传感器单元122中至少之一。此外，可以不设置成像单元420和传感器单元422中之一。
[3-3.操作]
上面已经描述了第三实施方式的配置。随后，将描述根据第三实施方式的操作。例如，根据第三实施方式的视频装置40能够执行总体上与在图9至图13所示的第一实施方式的操作和在图17至图18中所示的第二实施方式的操作类似的操作。因此，在此省略了类似的操作的描述。
[3-4.效果]
如上所述，在根据第三实施方式的视频装置40中，基于所测量的与操作者2的手有关的信息来识别操作者2的手形，以及当操作者2的左手的手形是预定形状时，根据操作者2的左手的位置的改变来移动UI面板30在显示画面20上的显示位置。因此，与第一实施方式和第二实施方式类似，由于可以通过移动操作者2的左手来将UI面板30的位置改变至易于操作的位置，因此视频装置40可以减少操作者2的身体负荷。
此外，当操作者2的手位于显示装置与操作者2的眼睛之间的空间时，视频装置40在与从操作者2的视角由操作者2的手所遮住的区域不同的显示画面20中的区域处显示UI面板30。因此，视频装置40可以防止操作者2的视场中的UI面板30的一部分被操作者2的手遮盖住；因此，即使在将操作者2定位为与显示装置相对的情况下，也可以在不降低可视性的情况下操作UI面板30。
此外，由于视频装置40是显示装置比如电视接收器或用于PC的显示装置，所以操作者2可以在与例如其他人如朋友和家人一起观看视频装置40上显示的显示画面20时操作UI面板30。此外，操作者2能够与另一人替换以使另一人操作UI面板30，使得可以在多个人之间共享和享用UI面板30的操作。
<4.修改>
要注意的是，尽管已经参照附图详细地描述了本公开内容的优选实施方式，但是本公开内容不限于这样的示例。对于本公开内容的技术领域的普通技术人员清楚的是，可以在权利要求中描述的技术思想的范畴下构思各种修改和变化，以及要理解的是，所述修改和变化自然地属于本公开内容的技术范围。
例如，HMD10和视频装置40均能够在将视差纳入考虑的情况下使用显示画面20或UI面板30向操作者2的左眼和右眼显示不同的图像。更具体地，HMD10包括两个显示装置，一个用于左眼且一个用于右眼，以及HMD10能够向操作者2显示针对左眼的图像和针对右眼的图像。此外，视频装置40可以是用于3D显示的显示装置。此外，操作者2能够通过安装特定的一组眼镜并且通过观看在视频装置40上显示的显示画面20来用左眼和右眼观看不同的图像。根据上面的修改，由于操作者2可以用更立体的方式感知显示画面20或UI面板30，所以操作者2可以用更直观地方式操作UI面板30。
此外，HMD10和视频装置40能够通过使操作者2执行在UI面板30上选择预定按钮的操作来使得操作者2能够改变显示画面20的大小和UI面板30的大小。在上面修改的情况下，操作者2可以根据身体高度和操作环境的大小使显示画面20和UI面板30以利于操作的大小来显示；因此，提高了可用性。
此外，本技术还可以被配置如下。
(1)一种信息处理设备，包括：
手形识别单元，所述手形识别单元被配置成基于测量的与操作者的手有关的信息来识别所述操作者的手形；以及
显示控制单元，所述显示控制单元被配置成在所述操作者的所述手形是预定形状时、根据所述操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
(2)根据(1)所述的信息处理设备，其中，
所述预定形状是握持所述操作对象的形状。
(3)根据(1)或(2)所述的信息处理设备，其中，
所述操作对象是用于所述操作者对所述显示画面进行操作的操作面。
(4)根据(1)至(3)中任一项所述的信息处理设备，还包括：
动作识别单元，所述动作识别单元被配置成对由所述操作者执行的手部动作进行识别，
其中，所述显示控制单元基于所述动作识别单元对所述操作者的手部动作的识别结果、来在所述显示画面上显示所述操作对象与隐藏所述操作对象之间进行切换。
(5)根据(4)所述的信息处理设备，其中，
所述手部动作是旋转手的动作，以及
其中，当所述操作者在第一方向上旋转手的动作被所述动作识别单元识别时，所述显示控制单元在所述显示画面上与所述操作者的手在旋转之后的位置对应的位置处显示所述操作对象。
(6)根据(5)所述的信息处理设备，其中，
在所述显示画面上显示所述操作对象的情况下，当在第二方向上旋转所述操作者的手的动作被所述动作识别单元识别时，所述显示控制单元在所述显示画面上隐藏所述操作对象，其中，所述第二方向是与所述第一方向相反的方向。
(7)根据(4)至(6)中任一项所述的信息处理设备，其中，
旋转所述手的动作是在一只手握住时旋转所述一只手的动作。
(8)根据(4)至(7)中任一项所述的信息处理设备，其中，
当所述操作者的第一只手的手形是所述预定形状时，所述显示控制单元根据所述第一只手的位置的改变来移动所述操作对象的显示位置，以及
其中，所述信息处理设备还包括：确定单元，所述确定单元被配置成在所述操作者的第二只手的手形是手指指示形状时，基于所述第二只手的手指的位置来确定由所述操作者执行的操作的细节，其中，所述手形由所述手形识别单元来识别。
(9)根据(8)所述的信息处理设备，其中，
当所述第二只手的手指的位置被识别为在所述第一只手的位置的前面时，所述确定单元确定：在所述操作对象中与所述第二只手的手指的位置对应的位置由所述操作者选择。
(10)根据(9)所述的信息处理设备，其中，
所述操作对象在所述显示画面上的移动量与手的位置的改变量的比率在所述第一只手与所述第二只手之间不同。
(11)根据(9)或(10)所述的信息处理设备，其中，
所述显示控制单元根据所述第一只手与所述第二只手之间的位置关系来改变所述操作对象在所述显示画面上的移动量与所述第一只手的位置的改变量的比率。
(12)根据(11)所述的信息处理设备，其中，
在所述第一只手在所述第二只手的前面的情况下，随着所述第一只手与所述第二只手之间在所述操作者的前-后方向上的距离变得更小，所述显示控制单元减小所述操作对象在所述显示画面上的移动量与所述第一只手的位置的改变量的比率。
(13)根据(1)至(3)中任一项所述的信息处理设备，其中，
当所述操作者的手形没有被所述手形识别单元识别为所述预定形状时，所述显示控制单元不在所述显示画面上显示所述操作对象。
(14)根据(1)至(13)中任一项所述的信息处理设备，其中，
当所述操作者的手位于显示所述显示画面的显示装置与所述操作者的眼睛之间的空间中时，所述显示控制单元在所述显示画面中与从所述操作者的视角由所述操作者的手遮住的区域不同的区域中显示所述操作对象。
(15)根据(3)所述的信息处理设备，其中，
所述显示控制单元在所述显示画面上与所述操作者的视点的位置对应的位置处显示聚焦框，以及
其中，所述信息处理设备还包括：确定单元，所述确定单元在所述操作面的显示位置被移动时确定：在移动之后的所述操作面上与所述聚焦框对应的区域由所述操作者选择。
(16)根据(1)至(15)中任一项所述的信息处理设备，其中，
所述显示控制单元在所述显示画面上与所述操作者的手的位置对应的位置处显示手的图像。
(17)根据(1)至(16)中任一项所述的信息处理设备，其中，
与所述操作者的手有关的信息是与从显示所述显示画面的显示装置至所述操作者的手的距离对应的值或者是所述操作者的手的图像。
(18)一种信息处理方法，包括：
基于测量的与操作者的手有关的信息来识别所述操作者的手形；以及
在所述操作者的手形是预定形状时，根据所述操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
(19)一种程序，所述程序使计算机用作为：
手形识别单元，所述手形识别单元被配置成基于测量的与操作者的手有关的信息来识别所述操作者的手形；以及
显示控制单元，所述显示控制单元被配置成在所述操作者的手形是预定形状时根据所述操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
附图标记列表
10HMD
40视频装置
100控制器
102手形识别单元
104动作识别单元
106显示控制单元
108确定单元
110存储单元
112输出单元
120成像单元
122传感器单元
150CPU
152ROM
154RAM
156内部总线
158接口
160输入装置
162输出装置
164存储装置
166通信装置
400控制器
402手形识别单元
404动作识别单元
406显示控制单元
408确定单元
410存储单元
412输出单元
420成像单元
422传感器单元

Claims (19)

1.一种信息处理设备，包括：
手形识别单元，所述手形识别单元被配置成基于测量的与操作者的手有关的信息来识别所述操作者的手形；以及
显示控制单元，所述显示控制单元被配置成在所述操作者的所述手形是预定形状时、根据所述操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
2.根据权利要求1所述的信息处理设备，其中，
所述预定形状是握持所述操作对象的形状。
3.根据权利要求1所述的信息处理设备，其中，
所述操作对象是用于所述操作者对所述显示画面进行操作的操作面。
4.根据权利要求1所述的信息处理设备，还包括：
动作识别单元，所述动作识别单元被配置成对由所述操作者执行的手部动作进行识别，
其中，所述显示控制单元基于所述动作识别单元对所述操作者的手部动作的识别结果、来在所述显示画面上显示所述操作对象与隐藏所述操作对象之间进行切换。
5.根据权利要求4所述的信息处理设备，其中，
所述手部动作是旋转手的动作，以及
其中，当所述操作者在第一方向上旋转手的动作被所述动作识别单元识别时，所述显示控制单元在所述显示画面上与所述操作者的手在旋转之后的位置对应的位置处显示所述操作对象。
6.根据权利要求5所述的信息处理设备，其中，
在所述显示画面上显示所述操作对象的情况下，当在第二方向上旋转所述操作者的手的动作被所述动作识别单元识别时，所述显示控制单元在所述显示画面上隐藏所述操作对象，其中，所述第二方向是与所述第一方向相反的方向。
7.根据权利要求4所述的信息处理设备，其中，
旋转所述手的动作是在一只手握住时旋转所述一只手的动作。
8.根据权利要求4所述的信息处理设备，其中，
当所述操作者的第一只手的手形是所述预定形状时，所述显示控制单元根据所述第一只手的位置的改变来移动所述操作对象的显示位置，以及
其中，所述信息处理设备还包括：确定单元，所述确定单元被配置成在所述操作者的第二只手的手形是手指指示形状时，基于所述第二只手的手指的位置来确定由所述操作者执行的操作的细节，其中，所述手形由所述手形识别单元来识别。
9.根据权利要求8所述的信息处理设备，其中，
当所述第二只手的手指的位置被识别为在所述第一只手的位置的前面时，所述确定单元确定：在所述操作对象中与所述第二只手的手指的位置对应的位置由所述操作者选择。
10.根据权利要求9所述的信息处理设备，其中，
所述操作对象在所述显示画面上的移动量与手的位置的改变量的比率在所述第一只手与所述第二只手之间不同。
11.根据权利要求9所述的信息处理设备，其中，
所述显示控制单元根据所述第一只手与所述第二只手之间的位置关系来改变所述操作对象在所述显示画面上的移动量与所述第一只手的位置的改变量的比率。
12.根据权利要求11所述的信息处理设备，其中，
在所述第一只手在所述第二只手的前面的情况下，随着所述第一只手与所述第二只手之间在所述操作者的前-后方向上的距离变得更小，所述显示控制单元减小所述操作对象在所述显示画面上的移动量与所述第一只手的位置的改变量的比率。
13.根据权利要求1所述的信息处理设备，其中，
当所述操作者的手形没有被所述手形识别单元识别为所述预定形状时，所述显示控制单元不在所述显示画面上显示所述操作对象。
14.根据权利要求1所述的信息处理设备，其中，
当所述操作者的手位于显示所述显示画面的显示装置与所述操作者的眼睛之间的空间中时，所述显示控制单元在所述显示画面中与从所述操作者的视角由所述操作者的手遮住的区域不同的区域中显示所述操作对象。
15.根据权利要求3所述的信息处理设备，其中，
所述显示控制单元在所述显示画面上与所述操作者的视点的位置对应的位置处显示聚焦框，以及
其中，所述信息处理设备还包括：确定单元，所述确定单元在所述操作面的显示位置被移动时确定：在移动之后的所述操作面上与所述聚焦框对应的区域由所述操作者选择。
16.根据权利要求1所述的信息处理设备，其中，
所述显示控制单元在所述显示画面上与所述操作者的手的位置对应的位置处显示手的图像。
17.根据权利要求1所述的信息处理设备，其中，
与所述操作者的手有关的信息是与从显示所述显示画面的显示装置至所述操作者的手的距离对应的值或者是所述操作者的手的图像。
18.一种信息处理方法，包括：
基于测量的与操作者的手有关的信息来识别所述操作者的手形；以及
在所述操作者的手形是预定形状时，根据所述操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
19.一种程序，所述程序使计算机用作为：
手形识别单元，所述手形识别单元被配置成基于测量的与操作者的手有关的信息来识别所述操作者的手形；以及
显示控制单元，所述显示控制单元被配置成在所述操作者的手形是预定形状时根据所述操作者的手的位置的改变来移动操作对象在显示画面上的显示位置。
CN201480018454.XA 2013-04-02 2014-01-24 信息处理设备、信息处理方法及计算机可读记录介质 Active CN105074625B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013076724 2013-04-02
JP2013-076724 2013-04-02
PCT/JP2014/051536 WO2014162762A1 (ja) 2013-04-02 2014-01-24 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN105074625A true CN105074625A (zh) 2015-11-18
CN105074625B CN105074625B (zh) 2018-09-21

Family

ID=51658068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018454.XA Active CN105074625B (zh) 2013-04-02 2014-01-24 信息处理设备、信息处理方法及计算机可读记录介质

Country Status (5)

Country Link
US (1) US10514767B2 (zh)
EP (1) EP2983064B1 (zh)
JP (3) JP6264370B2 (zh)
CN (1) CN105074625B (zh)
WO (1) WO2014162762A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106041967A (zh) * 2016-07-19 2016-10-26 彭爽 一种仿生机械手的控制装置
CN107229380A (zh) * 2016-03-24 2017-10-03 卡西欧计算机株式会社 信息处理装置以及信息处理方法
CN109416583A (zh) * 2016-07-05 2019-03-01 索尼公司 信息处理装置、信息处理方法及程序
CN109478092A (zh) * 2016-07-12 2019-03-15 富士胶片株式会社 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
CN114637376A (zh) * 2019-09-27 2022-06-17 苹果公司 用于与三维环境进行交互的设备、方法和图形用户界面

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6478713B2 (ja) * 2015-03-04 2019-03-06 キヤノン株式会社 計測装置および計測方法
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
EP3392740A4 (en) * 2015-12-18 2018-12-19 Sony Corporation Information processing device, information processing method, and program
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US20210294482A1 (en) * 2016-10-19 2021-09-23 Sony Corporation Information processing device, information processing method, and program
KR102560598B1 (ko) * 2016-12-21 2023-07-28 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11507216B2 (en) * 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
WO2018198910A1 (ja) 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US12105869B2 (en) 2018-08-24 2024-10-01 Sony Corporation Information processing apparatus and information processing method
CN110072046B (zh) * 2018-08-24 2020-07-31 北京微播视界科技有限公司 图像合成方法和装置
KR102539579B1 (ko) * 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
CN115380236A (zh) 2020-01-24 2022-11-22 奇跃公司 使用单个控制器的内容移动和交互
US11947119B2 (en) 2020-02-17 2024-04-02 Sony Group Corporation Display control device, display control method, and recording medium
US20230124173A1 (en) * 2020-03-12 2023-04-20 Maxell, Ltd. Information terminal device and application operation mode control method of same
JP2022052324A (ja) * 2020-09-23 2022-04-04 株式会社x garden 料理支援装置、プログラム及び料理支援方法
KR102613391B1 (ko) * 2021-12-26 2023-12-13 주식회사 피앤씨솔루션 제스처를 이용해 동공 간 거리를 자동 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 동공 간 거리 자동 조절 방법
WO2024075565A1 (ja) * 2022-10-04 2024-04-11 ソニーグループ株式会社 表示制御装置および表示制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301668A (ja) * 2004-04-12 2005-10-27 Seiko Epson Corp 情報処理装置および情報処理プログラム
US20070252832A1 (en) * 2004-05-24 2007-11-01 3D For All Számítástechnikai Fejleszto Kft System And Method For Operating In Virtual 3D Space And System For Selecting An Operation Via A Visualizing System
WO2010073928A1 (ja) * 2008-12-22 2010-07-01 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
CN102057347A (zh) * 2008-06-03 2011-05-11 岛根县 图像识别装置、操作判断方法及程序

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3311025B2 (ja) * 1991-07-12 2002-08-05 株式会社東芝 情報検索装置
JPH07175587A (ja) * 1993-10-28 1995-07-14 Hitachi Ltd 情報処理装置
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2000075991A (ja) 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
JP2004142656A (ja) 2002-10-25 2004-05-20 Keio Gijuku ハンドパターンスイッチ装置
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
WO2006020305A2 (en) * 2004-07-30 2006-02-23 Apple Computer, Inc. Gestures for touch sensitive input devices
KR100687737B1 (ko) 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
WO2009019760A1 (ja) * 2007-08-07 2009-02-12 Osaka Electro-Communication University 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP2011028366A (ja) 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP2011258160A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
JP5167523B2 (ja) * 2010-09-22 2013-03-21 島根県 操作入力装置および操作判定方法並びにプログラム
CN109116985A (zh) * 2011-05-10 2019-01-01 寇平公司 控制信息显示的方法
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
JP5922349B2 (ja) * 2011-07-27 2016-05-24 京セラ株式会社 表示機器、制御システムおよび制御プログラム
US9030487B2 (en) 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US9541997B2 (en) * 2012-07-27 2017-01-10 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301668A (ja) * 2004-04-12 2005-10-27 Seiko Epson Corp 情報処理装置および情報処理プログラム
US20070252832A1 (en) * 2004-05-24 2007-11-01 3D For All Számítástechnikai Fejleszto Kft System And Method For Operating In Virtual 3D Space And System For Selecting An Operation Via A Visualizing System
CN102057347A (zh) * 2008-06-03 2011-05-11 岛根县 图像识别装置、操作判断方法及程序
WO2010073928A1 (ja) * 2008-12-22 2010-07-01 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229380A (zh) * 2016-03-24 2017-10-03 卡西欧计算机株式会社 信息处理装置以及信息处理方法
CN109416583A (zh) * 2016-07-05 2019-03-01 索尼公司 信息处理装置、信息处理方法及程序
CN109478092A (zh) * 2016-07-12 2019-03-15 富士胶片株式会社 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
CN106041967A (zh) * 2016-07-19 2016-10-26 彭爽 一种仿生机械手的控制装置
CN114637376A (zh) * 2019-09-27 2022-06-17 苹果公司 用于与三维环境进行交互的设备、方法和图形用户界面

Also Published As

Publication number Publication date
JP6264370B2 (ja) 2018-01-24
JP6551502B2 (ja) 2019-07-31
CN105074625B (zh) 2018-09-21
EP2983064A4 (en) 2016-11-30
JPWO2014162762A1 (ja) 2017-02-16
EP2983064B1 (en) 2019-11-27
JP2018077876A (ja) 2018-05-17
JP2019175510A (ja) 2019-10-10
US20160041619A1 (en) 2016-02-11
JP6702489B2 (ja) 2020-06-03
US10514767B2 (en) 2019-12-24
WO2014162762A1 (ja) 2014-10-09
EP2983064A1 (en) 2016-02-10

Similar Documents

Publication Publication Date Title
CN105074625A (zh) 信息处理设备、信息处理方法及程序
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
US20190324552A1 (en) Systems and methods of direct pointing detection for interaction with a digital device
US8866781B2 (en) Contactless gesture-based control method and apparatus
CN103347437B (zh) 3d映射环境中的凝视检测
JP6350772B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
US20140015831A1 (en) Apparatus and method for processing manipulation of 3d virtual object
KR20160048062A (ko) 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
CN105589553A (zh) 一种智能设备的手势控制方法和系统
JP5509227B2 (ja) 移動制御装置、移動制御装置の制御方法、及びプログラム
JP5766957B2 (ja) ジェスチャ入力装置
CN112198962A (zh) 一种与虚拟现实设备交互的方法及虚拟现实设备
KR20160137253A (ko) 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
JP2013114647A (ja) ジェスチャー入力システム
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
CN112771477A (zh) 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序
CN102902468A (zh) 移动终端地图浏览方法和装置
CN206178663U (zh) 手势指令判断装置
Zhang et al. Free-hand gesture control with" touchable" virtual interface for human-3DTV interaction
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
TW201925989A (zh) 互動系統
JP2023143634A (ja) 制御装置、制御方法、プログラム
CN106896904A (zh) 一种控制方法及电子设备
Chen et al. Cubot: Prototype of a computer-using robot
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant