[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103180800A - 使用动作及语音命令的主机应用程序的高级远程控制 - Google Patents

使用动作及语音命令的主机应用程序的高级远程控制 Download PDF

Info

Publication number
CN103180800A
CN103180800A CN2011800507909A CN201180050790A CN103180800A CN 103180800 A CN103180800 A CN 103180800A CN 2011800507909 A CN2011800507909 A CN 2011800507909A CN 201180050790 A CN201180050790 A CN 201180050790A CN 103180800 A CN103180800 A CN 103180800A
Authority
CN
China
Prior art keywords
equipment
user
action
miniscope
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800507909A
Other languages
English (en)
Other versions
CN103180800B (zh
Inventor
J·J·雅各布森
C·帕金森
S·A·波姆博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kopin Corp filed Critical Kopin Corp
Publication of CN103180800A publication Critical patent/CN103180800A/zh
Application granted granted Critical
Publication of CN103180800B publication Critical patent/CN103180800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式微型显示器(HMD)设备，该设备使用手部、身体、头部运动或姿势及语音命令来控制与本地处理器或主计算机的相互作用。该本地处理器将信息叠加到诸如操作系统桌面或应用程序菜单上，该信息指示激活相关联行动所需的动作、姿势和/或语音输入。

Description

使用动作及语音命令的主机应用程序的高级远程控制
相关申请的交叉引用
本申请要求于2010年9月20日提交的美国临时申请号61/384,586的权益。通过引用将以上一项或多项申请的全部教导结合在此。
背景技术
本申请涉及人类/计算机接口，更具体地涉及一种接受语音命令并跟踪手势和/或头部运动的设备，以向如在本地或在远程主计算机上执行的软件提供输入。
能够存储和显示大量高分辨率计算机图形信息甚至视频内容的小型便携式电子设备继续越来越受欢迎。这些智能电话设备(如AppleiPhoneTM和Google AndroidTM电话)代表了移动电话、便携式计算机和数字媒体播放器之间的融合的显著趋势。(iPhone是California的Cupertino的Apple Computer，Inc.的商标；Android是California的Mountain View的Google，Inc.的商标。)虽然这些设备通常包括显示屏，但是由于它们的物理尺寸的限制，高分辨率大幅面的显示器的视觉体验无法在此类设备中轻易地复制。
因此，消费者现在追求一种高品质、便携式、彩色显示器来加强他们的手持设备。一种此类设备是头戴式眼镜设备，其佩戴在用户的脸部或头部周围，类似一副眼镜或耳机。这些设备包括小型高分辨率微型显示器和放大图像的镜头。无线接口为此类设备提供了极大的便利性和移动性。该微型显示器可以提供超级视频图形阵列(SVGA)(800×600)分辨率，或者甚至扩展图形阵列(XGA)(1024×768)或更高的分辨率。如需有关此类显示器的更多信息，请参阅于2009年1月5日提交的美国申请第12/348,648号的标题为“用于控制其他系统和设备的移动无线显示软件平台(Mobile Wireless DisplaySoftware Platform for Controlling Other Systems and Devices)”以及于2009年3月27日提交的PCT国际申请第PCT/US09/38601号的标题为“具有适合用作移动互联网设备的高分辨率显示器的手持无线显示设备(Handheld Wireless Display Devices Having High ResolutionDisplay Suitable for Use as Mobile Internet Device)”的共同未决的专利申请，其中每个文件的全部内容通过引用结合于此。
发明内容
便携式个人计算机有微型显示器、输入设备(如头部跟踪加速计)、一个或多个陀螺仪或检测运动(如头部运动、手部动作和/或姿势)的摄像机、多个检测语音命令的音频处理电路。这些组合的输入提供对在该设备本身上和/或在远程主处理器上运行的一个或多个操作系统和/或一个或多个应用程序的控制。
头戴式显示器(HMD)设备包括微型显示器。在一个实施例中，用于显示从本地处理器接收到的视觉信息。动作检测器检测用户的头部和/或身体部分的物理运动，以提供动作或姿势输入。麦克风提供音频信号，该音频信号被该本地处理器解释为语音命令。该本地处理器将文字、图形或其他用户提示叠加到该微型显示器上以指示将要激活某些命令的动作/姿势/语音输入。
该处理器将这些语音、动作或姿势输入或其组合转换成用户命令。该用户命令然后由操作系统或应用程序解释，以改变显示在该微型显示器上的信息的多个方面。这可以包括该本地处理器已经处理了该用户命令的视觉或音频确认。
附图说明
根据示例实施例的以下更具体的说明，上述内容将是清楚的，如在这些附图中展示的，其中贯穿这些不同的视图，相同的附图标记是指相同的部分。这些图不一定是按比例绘出，而是着重展示实施例。
图1是高层次图，示出了头戴式显示器(HMD)设备，以及使用手势和/或头部运动控制本地或远程计算机的行动的人。
图2A是使用头部条带的实施例。
图2B示出了可选的摄像机元件。
图3是该设备及到主机的可选连接的高层次方框图，展示了语音、手势和头部动作跟踪命令是如何被翻译的。
图4是该HMD设备的组件的更详细的图。
图5是到如Microsoft Windows桌面上的示例软件叠加，以向该用户指示可用的头部运动和语音命令。
图6是一组由一个或多个操作系统业务执行的功能。
图7是这个或这些业务保持的示例表。
图8是示例滚动列表。
图9示出了用户用头部动作和语音输入从多个桌面做出选择。
具体实施方式
下面是对示例实施例的说明。
图1示出了无线计算头戴式耳机设备(HMD)100(也称为视频眼镜设备100)，其结合了高分辨率(VGA或更好)微型显示器元件和下面描述的其他特征。HMD设备100通常包括许多不同类型的集成电路，包括微型计算机(单核或多核)、一个或多个无线接口、相关联的存储器或其他存储设备、一个或多个摄像机(光学传感器)和/或各种传感器。这些传感器可以包括音频输入和/或输出设备(如一个或多个麦克风输入和一个或多个输出扬声器)，这些传感器可以包括地理位置传感的3轴至9轴自由度的定向传感器(如数字磁强计)、大气传感器、健康状况传感器、GPS、数字罗盘、压力传感器、环境传感器、能量传感器、加速度传感器、位置传感器、姿态传感器、动作传感器、速度传感器或光学传感器、摄像机(可见光、红外线等)。进一步的电路(如额外的无线电波、辅助照明、测距仪等等)和/或传感器阵列可以嵌入在和/或附装到该设备中。如“热靴”(图1中未示出)的一个或多个外围底座也通常位于HMD 100内，用于安装如摄像机或额外传感器的可选附件。这个或这些摄像机、这个或这些动作传感器和/或这个或这些传感器用于在至少第一轴111(水平)但也优选在第二轴(垂直)112、第三轴(深度)113、第四轴(斜角)114、第五轴(坡角)115及第六轴(偏航角)116跟踪该用户的头部、手部和/或身体的动作和/或位置。
设备100可以以各种方式使用。它可以用作完全包含的头戴式全功能便携式个人计算机/智能电话，通过短和/或长距离无线链路150(如蓝牙、WiFi、蜂窝、LTE、WiMAX或其他无线电波)与外部计算机和网络完全连接。
设备100还可以用作由远程主计算机200提供的视频流信号的远程显示器。主机200可以是例如笔记本计算机、手机、Blackberry、iPhoneTM或具有比视频眼镜设备100本身更小或更大的计算复杂度的其他计算设备。然后，主机200向设备100提供将要显示的信息。设备100与主机200通过如由蓝牙、WiFi、蜂窝、LTE、WiMax或其他无线电波链路150提供的一个或多个合适的无线连接进行连接。主机200本身可以进一步连接到其他网络，如通过有线或无线连接连接到互联网210。
设备100还可以用作主机200的遥控器。
包含在HMD 100中的各种音频输入设备和动作传感器和/或一个或多个摄像机可以允许用户在虚拟显示器400所定义的更大的区域内选择视野300，该虚拟显示器由设备100本地的处理器和/或由主机200内部的处理器提供。例如，该用户通常可以使用头部运动或手部运动或身体姿势或以其他方式(如用语音输入)控制该更大的虚拟显示区域400的视野300的位置、范围(例如X-Y或3D范围)和/或放大率。因此，无线计算耳机设备100可以对来自这些外设的输入做出响应，并将其处理以例如平移、缩放改变视野300，并控制虚拟显示器400的其他方面，如视野300的位置、范围(例如X-Y或3D范围)和/或放大率。
如将在下面更详细说明的，语音、动作和姿势输入还可以控制该微型显示器上信息呈现的进一步的方面，或者甚至显示哪些信息。
虽然图1中所示的内容是单眼微型显示器，展示出用悬臂式吊杆将单一的固定显示元件支撑在该用户的脸部，但是应该理解的是，各种视频眼镜设备100的其他机械配置也是可能的。
图2是透视图，示出了HMD设备100的更多细节。设备100通常包括框架1000、条带1002、背部1004、扬声器1006、悬臂或臂1008以及微型显示器子组件1010。在设备100相对悬臂1008的一侧上是外围端口1020。外围端口1020提供了到一个或多个外围设备的相应连接，这样用户就可以将各种附件可移除地附装到设备100。示例端口1020提供了机械和电气配件底座，如热靴。接线将电信号从端口1020穿过例如背部1004传递到安置在其中的电路。热靴1020可以很像摄像机上的热靴一样操作，自动提供连接从而为该配件供电并且传递来自设备100外围扬声器1031的其余部分的信号并向其传递信号。因此可以与端口1020一起使用各种类型的配件以向该系统提供手部运动、头部运动和/或语音输入，例如但并不限于麦克风、位置、定向及其他先前描述的传感器、摄像机等等。
图2B是戴在用户头部的HMD设备100的视图，其中配件1060已经放置在热靴端口1020中。此配件1060是自包含的摄像机(或其他动作传感器)组件。摄像机1060可以在类似“子弹凸轮”的程序包中包括音频和视频传感和记录两个能力。它可以通过背部1004中的内置接线连接到设备100中的其余组件(如在前面描述的扬声器的情况)，或者可以通过BluetoothTM或WiFiTM连接进行无线连接。摄像机1060可以不一定是视频摄像机，还可以检测红外线、紫外线或其他波长。摄像机1060还可以包括用户可调节的辅助光源。使用该光源，摄像机1060还可以根据需要用作手电筒，而无需激活该摄像机部分。
该摄像机、到设备100的动作跟踪和音频输入被以各种方式解释为用户命令，以控制该本地处理器、微型显示器或外部主机200的操作。
头部运动跟踪和/或语音命令还可以由用户1050提供以操纵摄像机1060的设置。例如，用户语音命令(如“缩放”或“平移”)可以由该本地处理器识别并导致摄像机1060拉近或长焦。
摄像机1060还可以通过利用该3轴直到9轴自由度的位置传感器具有内置的图像稳定化系统和/或运动跟踪解决方案，以便设备100中的软件或附装的外围设备可以通过检测到的运动校正传入视频馈送中的微弱振动的头部运动或微弱的摄像机运动，尤其是当摄像机图像被放大时。在此配置中，设备100还可以比单独由摄像机1060实际上捕获的更高的帧速率操作。此类摄像机1060外设存在众多应用。例如，它可以放置在老年人的头部，然后设备100可以识别和校正由于通常随着年龄增加的人类自然稳定性颤动而导致的他们头部运动中的振动。这可以有助于当该用户正在设备100上查看该微型显示器时光标移动的准确性，或校正当在粗糙的表面上、在恶劣天气中或在恶劣的环境中(如土路)乘坐移动车辆或运输工具时使用设备100时的动作，从而校正显示器1010上的视图的振动，并再次提供对光标移动的更好的控制。
图3是方框图，示出了HMD 100、可选主机200及它们之间行进的数据的更多细节。HMD 100通过麦克风接收音频信号输入，通过位置和定向传感器、摄像机或一个或多个光学传感器接收手部运动或身体姿势，并通过头部跟踪电路(如3轴至9轴自由度定向传感器)接收头部运动输入。这些内容由设备100本地的处理器中的软件翻译成键盘和/或鼠标命令。然后，这些命令可由HMD 100内部的处理器解释，以控制该微型显示器上的信息呈现的多个方面。这些命令还可以通过蓝牙或其他无线接口150被发送到主机200。然后，主机200按照其自己的操作系统/应用软件解释这些已翻译的命令以执行各种功能和/或向设备100返回信息。
在这些可以在该本地处理器和/或远程主机200上执行的命令中有用于在该虚拟显示器内选择视野300的命令。因此，应当理解的是，非常大幅面的虚拟显示区域可能与HMD 100或主机200上运行的操作系统或应用软件相关联。然而，只有视野300内的该大虚拟显示区域的一部分被返回并实际由远程控制显示设备100显示，如语音、手势或头部动作命令所选择的。
例如，该虚拟显示区域可以包括美国的详细地图。用户可能在该微型显示器上首先看到整个美国区域，尽管以降低的分辨率。视野最初可能以低放大率集中在中心位置，如在Kansas的Lawrence。然后，该用户移动他的头部或做出手势以查看特别感兴趣的区域(如Seattle、Washington)的更多细节。该手势可以是斜扫动作。该头部运动可以是向左然后向上或者可以是直线斜向运动到新的感兴趣的区域。用相应的语音命令(如“放大”)，所展示的虚拟显示区域然后被放大以在该微型显示器上看到Seattle周围地区的更多细节。
图4是HMD系统100的非限制性示例实施例的简化的高层次方框图。系统电子元件可以放在该框架上或该框架中的适当位置(如背部1004)，并且包括开放式媒体应用平台(OMAP)作为本地处理器4110、电源/音频同伴芯片(companion chip)4102、显示器驱动器4104、头部跟踪器电路板4106以及无线LAN/蓝牙接口4108。该壳体中还设置有电源，例如锂离子电池4200。
HMD设备100还可以包括眼容器(eye pod)组件4000，其包括上述微型显示器4010(例如，图2A的微型显示器1010和吊杆1008)，及一个或多个麦克风4020。一个或多个扬声器4030被放置在靠近用户耳朵的HMD壳体听筒中(图2A中的项目1006)。头部跟踪器电路4106可以包括使用霍尔效应传感器、MIM二极管、加速计、陀螺仪和/或变频器或其他上述传感器确定由设备100中的传感器检测到的头部运动和姿势的电路，如沿着或绕着X轴、Y轴和Z轴的横向运动及旋转姿势。
HMD系统100还可以接收来自外部输入设备(如无线鼠标、轨迹球或可以通过蓝牙接口4108无线连接的键盘)的输入。
WLAN/BT前端4108、OMAP 4100和/或主机200中的软件可以用于解释该摄像机或其他传感器检测到的手势。摄像机板4060同样可以任选地提供视频输入。
OMAP处理器4100可包括中央处理单元，以及可能包括非易失性存储器和/或只读存储器(ROM)的片上存储器，如随机存取存储器(RAM)。该OMAP可以是由Texas Instruments，Inc.销售并使用多媒体处理器的Texas Instruments型号OMAP 3530的处理器或更新版本。OMAP 4100通常可以执行嵌入式系统，如操作Microsoft
Figure BPA00001702313200081
的特定版本。OMAP 4100通常是比WLAN/BT接口4108更强大、更耗电的处理器。
在此示例中，也是从Texas Instruments可得的TPS 65950电源/音频同伴芯片向该系统提供了音频、USB、键盘控制和电池充电功能。
WLAN/BT接口4108可以是型号LBEE 1W8的NEC接口电路、从United Kingdom的Cambridge的CDR Ltd.可得的蓝牙电路或其他具有类似或更强功能的无线电模块。
该显示器驱动器可以是从Massachusetts的Westborough的Kopin Corporation可得的型号KCD-A 910的显示器驱动器。
也是从Kopin可得的微型显示器4010可以包括型号113LV、152LV、230LV、WQVGA或其他制造商可接受的微型显示器。
NCS模块4400处理接收到的麦克风信号，以提供语音识别功能并向音频同伴芯片4102产生音频信号并从此处发送到OMAP处理器4100。
在实施例中，OMAP处理器4100被设计成以“左眼”或“右眼”定向运行。如果标准配置是运行“右眼”，则当使用左眼运行时，该软件必须考虑到该显示屏现在物理上旋转了180度。这意味着该软件必须还能够“倒置”运行。该屏幕可能能够用口头命令或鼠标点击被手动“翻转”倒置。可替代地，可以产生硬件信号以允许该处理器检测屏幕翻转，并且由此在软件(即硬件陀螺仪、加速计或开关等)中导致相同结果。
图5展示了实现为HMD 100的一部分的一个特征。此处，该HMD设备将软件叠加器强加于该用户的信息呈现上。该叠加器添加了与口头命令、手势或头部运动相关联的图形图像和/或文本，该口头命令、手势或头部运动是在该屏幕上启动由图标、按钮、滑动条、下拉列表或其他物体指示的行动所需的。
这些叠加器由用户的
Figure BPA00001702313200091
桌面上的图标旁边的方框中的文本示出。在此示例中，该叠加器向该用户指示口头命令(如“Excel”或“Word”)将因此激活相应的Microsoft
Figure BPA00001702313200092
程序。手部摆动的姿势将激活Adobe
Figure BPA00001702313200093
程序。并且头部向上倾斜并摆动的姿势的组合将打开“新建”文件夹。应当理解的是，图5仅是示例，并且这些叠加器可以应用到各种应用程序、菜单、对话框、滚动列表、操作系统桌面/命令或其他该系统要捕获用户键盘或鼠标姿势或命令的地方中。
成功识别命令时，HMD设备100可以播放音频样本(蜂鸣声)以向该用户指示成功识别。设备100还可以在很短的持续时间(1秒)内在该屏幕的中心显示所识别的单词，以再次向该用户反馈HMD设备100正确识别了所说的内容。
现在结合图6和图7描述这些叠加特征的示例实现方式。该软件叠加器可被实现为用户界面业务或在例如OMAP处理器4100上执行的Microsoft嵌入式操作系统下运行的业务。这些业务提供了许多功能，如在图6中列出的。第一步6100是询问用户桌面的状态，以确定所显示的任何图标。接着，在6102，与所显示的图标相关联的叠加文本然后被确定。作为此状态6102的一部分，可查阅如在图7中所示的表。该表将图标(如在最左边的栏中所示)与叠加文本相关联。对于定位的任何叠加文本，在状态6104下在与每个相关联的图标相邻的桌面上生成图标叠加。
在状态6106下，这个或这些业务然后等待检测任何语音、姿势或动作输入。然后在6108，再次在该表中找到这些检测到的输入。接着在6110，然后激活与该检测到的输入相关联的行动或采取其他行动。
例如，如果在桌面上检测到标有“新建文件夹”的文件夹，在此类图标旁边显示了该叠加文本“倾斜加摆动”。然后，这个或这些业务等待检测该头部跟踪器的动作与该姿势检测器检测到的手部摆动动作的组合。一旦发生这种现象，则采取行动打开该新文件夹，即在该桌面上激活该图标。
应当理解的是，不管叠加文本和/或图标与该桌面是否相关联，都可以采取行动。如图7的表中所示，作为示例，可以检测到口头“关闭窗口”的命令，引起关闭活动窗口的行动。
在另一个示例中，该头部跟踪器检测到的头部向上的动作可以引起滚动条在向上的方向上滚动。
另一个行动(如手部滑动)可以引起一系列桌面中的下一个桌面的选择。
用采取的类似行动和图7的表的编程，可以实现其他特征。一个特征是在完成菜单命令后协助该用户。该用户通过头部动作、手势和/或口头语言输入了菜单命令后，该叠加菜单然后可能消失，允许再次查看相关信息。可替代地，这些“弹出”窗口元素都可以有自动关闭特征。这意味着，如果该用户尚未在该窗口中选择任何命令，所有此类窗口都将在特定的持续时间后(即10秒等)关闭自己。以此方式，(其中用户否则一般用鼠标在对话框上单击“关闭”、“确定”或“取消”)，消除了进一步输入的需要。用鼠标或语音输入说出“关闭”、“确认”等来手动关闭窗口仍然是可用的。在一些实施例中，要帮助该用户，这些自动关闭窗口可以显示定时器倒计时以指示该窗口还要多长时间就会自动关闭。
这些头部动作跟踪和手势输入还可以控制其他特征，如滚动列表。许多用户界面元素利用滚动列表的概念，即大于该屏幕或用户界面元素本身的可选项目的列表。此类滚动列表的示例是如图8中所示，其中该用户被要求从数据库应用程序中选择特定的字段进行编辑。然而，有很多其他示例，如下拉菜单、媒体播放列表(如
Figure BPA00001702313200101
的
Figure BPA00001702313200102
)及此特征可以帮助的类似物。这些项目列表通常是向上和向下(或左/右)滚动的，使用滚动条、鼠标移动或在典型笔记本电脑中的触摸板或触摸屏的“滑动”姿势。然而，此处人们可以使用HMD设备100的头部跟踪输入来操作这些用户界面元素：例如，左/右或上/下的头部移动可以导致滚动该列表或选择其他列表。这些运动可以与以下口头命令相结合，以在该列表中选择项目(例如，“点击”或“选择”)。
图9展示了另一种实现方式，用于说明这些头部跟踪和/或语音输入如何可以用来操作多个桌面和/或运行的应用程序。此处，可以在OMAP 4100或主机200上执行的操作系统内配置多个桌面屏幕，并使用头部运动和/或语音命令导航。每个桌面都可被配置成在同一时间运行不同的应用程序。例如，可以使用第一桌面运行占用整个屏幕的图片查看应用程序。要看电影，该用户可以发出“新桌面”口头命令，并且然后从该新桌面中选择观看电影的应用程序。这则允许在该当前窗口中观看电影。然而，该图片查看应用程序仍然在运行但不可见。该用户可以通过发出切换可视桌面(“去桌面1”)的适当命令来切换到该图片查看应用程序，或通过向左、右、上或下移动头部在打开的桌面间四处移动。因此，该用户能够快速浏览所有打开的桌面及其正在运行的应用程序。
应当理解的是，由HMD设备100执行的功能中的一个或多个还可以以其他形状因素实现，如其他类型的手提外壳。
在此引用的所有专利、公开申请以及参考文献的教导都通过引用以其全部内容结合在此。
虽然已经参考其示例实施例具体地展示和说明了本发明，但是本领域普通技术人员应当理解的是，在不偏离由所附权利要求所包括的本发明的范围的情况下，其中可以在形式和细节方面进行多种改变。

Claims (4)

1.一种手提设备，包括：
微型显示器，用于显示从本地处理器接收到的视觉信息；
动作检测器，用于检测用户的身体部分的物理运动，并且提供动作或姿势输入；以及
位于所述手提设备中的所述本地处理器，并且进一步包括：
收发器，用于接收所述动作或姿势输入；
翻译器，用于将所述动作或姿势输入翻译成用户命令；
叠加器，用于生成依赖于一个或多个可能的动作或姿势输入的信息叠加；
显示器控制器，用于转发将要在所述微型显示器上包括在所述信息叠加处显示的信息。
2.根据权利要求1所述的设备，其中所述手提设备是头戴式显示器(HMD)设备。
3.根据权利要求1所述的设备，其中所述将要显示的信息进一步包括所述本地处理器已经处理了所述用户命令的视觉或音频确认。
4.根据权利要求1所述的设备，进一步包括：
无线通信接口，用于向主处理器转发所述用户命令，并且用于从所述主处理器接收应答。
CN201180050790.9A 2010-09-20 2011-09-19 使用动作及语音命令的主机应用程序的高级远程控制 Active CN103180800B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38458610P 2010-09-20 2010-09-20
US61/384,586 2010-09-20
PCT/US2011/052164 WO2012040107A1 (en) 2010-09-20 2011-09-19 Advanced remote control of host application using motion and voice commands

Publications (2)

Publication Number Publication Date
CN103180800A true CN103180800A (zh) 2013-06-26
CN103180800B CN103180800B (zh) 2016-08-03

Family

ID=45874115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180050790.9A Active CN103180800B (zh) 2010-09-20 2011-09-19 使用动作及语音命令的主机应用程序的高级远程控制

Country Status (5)

Country Link
US (1) US9122307B2 (zh)
EP (1) EP2616907B1 (zh)
JP (1) JP6082695B2 (zh)
CN (1) CN103180800B (zh)
WO (1) WO2012040107A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
CN103543831A (zh) * 2013-10-25 2014-01-29 梁权富 头戴式全景播放装置
CN103576792A (zh) * 2013-11-10 2014-02-12 赵明 分体式穿戴电脑
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN105899996A (zh) * 2013-12-06 2016-08-24 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN107003823A (zh) * 2014-12-25 2017-08-01 日立麦克赛尔株式会社 头戴式显示系统和头戴式显示装置
TWI658404B (zh) * 2018-02-09 2019-05-01 宏碁股份有限公司 語音辨識系統及其方法
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN114415932A (zh) * 2022-01-07 2022-04-29 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备和可读介质

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855719B2 (en) * 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
WO2010129679A1 (en) 2009-05-08 2010-11-11 Kopin Corporation Remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
KR101341727B1 (ko) * 2011-08-29 2013-12-16 주식회사 팬택 3ｄ ｇｕｉ 제어 장치 및 방법
JP2015501984A (ja) 2011-11-21 2015-01-19 ナント ホールディングス アイピー，エルエルシー 加入請求書サービス、システムおよび方法
US9557819B2 (en) * 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US8830165B1 (en) 2012-01-24 2014-09-09 Google Inc. User interface
KR102038856B1 (ko) * 2012-02-23 2019-10-31 찰스 디. 휴스턴 환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법
JP5938977B2 (ja) * 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
WO2013163293A1 (en) 2012-04-25 2013-10-31 Kopin Corporation Instant translation system
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9378028B2 (en) * 2012-05-31 2016-06-28 Kopin Corporation Headset computer (HSC) with docking station and dual personality
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US20130339859A1 (en) * 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
CN102795349B (zh) * 2012-06-29 2015-04-15 电子科技大学 一种穿戴式飞机维修用辅助装置
US20140033045A1 (en) * 2012-07-24 2014-01-30 Global Quality Corp. Gestures coupled with voice as input method
US20140085198A1 (en) * 2012-09-26 2014-03-27 Grinbath, Llc Correlating Pupil Position to Gaze Location Within a Scene
US9268136B1 (en) * 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9298970B2 (en) 2012-11-27 2016-03-29 Nokia Technologies Oy Method and apparatus for facilitating interaction with an object viewable via a display
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
JP2016509292A (ja) * 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
JP2016508271A (ja) * 2013-01-04 2016-03-17 コピン コーポレーション 制御可能なヘッドセットコンピュータディスプレイ
US9134793B2 (en) * 2013-01-04 2015-09-15 Kopin Corporation Headset computer with head tracking input used for inertial control
CN105009202B (zh) * 2013-01-04 2019-05-07 寇平公司 分为两部分的语音识别
WO2014107410A1 (en) * 2013-01-04 2014-07-10 Kopin Corporation Lifeboard-series of home pages for head mounted displays (hmd) that respond to head tracking
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
CN104335155B (zh) * 2013-02-22 2018-11-09 索尼公司 头戴式显示系统、头戴式显示器以及头戴式显示器的控制程序
US20150185855A1 (en) * 2013-02-24 2015-07-02 Praveen Elak Method and apparatus to continuously maintain users eyes focused on an electronic display when either one or both are moving
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
US20140310764A1 (en) * 2013-04-12 2014-10-16 Verizon Patent And Licensing Inc. Method and apparatus for providing user authentication and identification based on gestures
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
US10514965B2 (en) * 2013-06-07 2019-12-24 Verizon New Jersey Inc. Navigating between applications of a device
US8988345B2 (en) * 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc Adaptive event recognition
JP6102588B2 (ja) * 2013-07-10 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
WO2016117970A1 (en) * 2015-01-23 2016-07-28 Lg Electronics Inc. Head mounted display and method of controlling therefor
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN103558916A (zh) * 2013-11-07 2014-02-05 百度在线网络技术（北京）有限公司 人机交互系统、方法及其装置
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
EP2887205A1 (en) * 2013-12-17 2015-06-24 Sony Corporation Voice activated device, method & computer program product
CN114760555A (zh) * 2013-12-26 2022-07-15 寇平公司 用户可配置的话音命令
US9311718B2 (en) 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9465445B2 (en) 2014-07-02 2016-10-11 Nagravision S.A. Application swap based on smart device position
US9767373B2 (en) 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
CN107210950A (zh) 2014-10-10 2017-09-26 沐择歌有限责任公司 用于共享用户交互的设备
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP6380091B2 (ja) * 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9883007B2 (en) 2015-01-20 2018-01-30 Microsoft Technology Licensing, Llc Downloading an application to an apparatus
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
CN105867608A (zh) * 2015-12-25 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
US10429935B2 (en) 2016-02-08 2019-10-01 Comcast Cable Communications, Llc Tremor correction for gesture recognition
US10665020B2 (en) 2016-02-15 2020-05-26 Meta View, Inc. Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
JP2017173530A (ja) * 2016-03-23 2017-09-28 富士通株式会社 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
JP2018074366A (ja) * 2016-10-28 2018-05-10 京セラ株式会社 電子機器、制御方法およびプログラム
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10365493B2 (en) 2016-12-23 2019-07-30 Realwear, Incorporated Modular components for a head-mounted display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11048325B2 (en) * 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
WO2019013409A1 (en) 2017-07-10 2019-01-17 Samsung Electronics Co., Ltd. INCREASED REALITY VISIOCASTIC DEVICE FOR DISPLAYING TELEPHONE CONTENT AND HEALTH MONITORING
CN107608076B (zh) * 2017-09-06 2019-11-26 北京小鸟看看科技有限公司 头戴显示系统和主机
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
WO2019241075A1 (en) * 2018-06-13 2019-12-19 Realwear Inc. Customizing user interfaces of binary applications
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device
US20240310921A1 (en) * 2023-03-17 2024-09-19 NEX Team Inc. Methods and Systems for Offloading Pose Processing to a Mobile Device for Motion Tracking on a Hardware Device without a Camera
US12075597B1 (en) 2023-05-15 2024-08-27 Apple Inc. Head mountable display

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538676B1 (en) * 1999-10-04 2003-03-25 Intel Corporation Video token tracking system for overlay of metadata upon video data
US20060109237A1 (en) * 2004-11-24 2006-05-25 Morita Mark M System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
CN1797299A (zh) * 2004-12-22 2006-07-05 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
CN101196793A (zh) * 2006-12-04 2008-06-11 三星电子株式会社 基于手势的用户界面方法和设备
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
WO2009120984A1 (en) * 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
CN101581969A (zh) * 2009-01-06 2009-11-18 香港应用科技研究院有限公司 运动驱动系统和相关的运动数据库
CN101599267A (zh) * 2008-06-02 2009-12-09 索尼爱立信移动通信日本株式会社 显示处理设备、显示处理方法和程序及移动终端设备
CN101620511A (zh) * 2008-07-01 2010-01-06 索尼株式会社 信息处理设备和用于显示辅助信息的方法

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005213A (en) 1986-07-10 1991-04-02 Varo, Inc. Head mounted video display and remote camera system
US5642129A (en) 1994-03-23 1997-06-24 Kopin Corporation Color sequential display panels
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6369952B1 (en) 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
JPH09179062A (ja) * 1995-12-25 1997-07-11 Canon Inc コンピュータシステム
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
WO1999001838A2 (en) * 1997-07-03 1999-01-14 Koninklijke Philips Electronics N.V. Apparatus and method for creating and controlling a virtual workspace of a windowing system
US6270414B2 (en) * 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
US7860725B2 (en) 1998-05-26 2010-12-28 Ineedmd.Com, Inc. Method for remote medical consultation and care
EP1116211A4 (en) * 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US7035897B1 (en) 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US20060061551A1 (en) 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US7158096B1 (en) 1999-06-21 2007-01-02 The Microoptical Corporation Compact, head-mountable display device with suspended eyepiece assembly
US6408257B1 (en) 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
JP2001100878A (ja) * 1999-09-29 2001-04-13 Toshiba Corp マルチモーダル入出力装置
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6981229B1 (en) 2000-04-28 2005-12-27 Alias Systems Corp. System for dynamically mapping input device movement as a user's viewpoint changes
US7487112B2 (en) 2000-06-29 2009-02-03 Barnes Jr Melvin L System, method, and computer program product for providing location based services and mobile e-commerce
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP4649050B2 (ja) 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
US6961912B2 (en) 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
US6778906B1 (en) 2001-08-14 2004-08-17 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for ensuring retention of situational awareness by employing an active network guidance and emergency logic (angel) system
US6583808B2 (en) 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
AU2002362095A1 (en) 2001-12-05 2003-06-17 Kopin Corporation Head-mounted display system
US7519918B2 (en) 2002-05-30 2009-04-14 Intel Corporation Mobile virtual desktop
US7330740B2 (en) 2002-10-22 2008-02-12 Broadcom Corporation Cell phone wireless speaker-microphone sleep modes
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040267527A1 (en) 2003-06-25 2004-12-30 International Business Machines Corporation Voice-to-text reduction for real time IM/chat/SMS
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US20050108643A1 (en) 2003-11-17 2005-05-19 Nokia Corporation Topographic presentation of media files in a media diary application
US20050114140A1 (en) 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
CN101770073B (zh) 2003-12-03 2013-03-27 株式会社尼康 信息显示装置
KR20050102803A (ko) 2004-04-23 2005-10-27 삼성전자주식회사 가상입력장치, 시스템 및 방법
JP4664360B2 (ja) 2004-06-04 2011-04-06 クゥアルコム・インコーポレイテッド 高速データレートインタフェース装置及び方法
US7284192B2 (en) 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
WO2006012679A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US8083569B2 (en) 2005-02-04 2011-12-27 Nicholas Sotereanos Remotely controlled vehicle
US8606333B2 (en) 2005-06-10 2013-12-10 At&T Mobility Ii Llc Push to lower hearing assisted device
US7437223B2 (en) 2005-08-05 2008-10-14 The Boeing Company Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers
WO2007020591A2 (en) 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
US20080144854A1 (en) 2006-12-13 2008-06-19 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
US20070265495A1 (en) 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US7732694B2 (en) 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
US20070220108A1 (en) * 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US8947531B2 (en) 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080055194A1 (en) 2006-08-31 2008-03-06 Motorola, Inc. Method and system for context based user interface information presentation and positioning
US8611889B2 (en) 2006-09-26 2013-12-17 Samsung Electronics Co., Ltd. Remote handset diagnostics
US8036917B2 (en) 2006-11-22 2011-10-11 General Electric Company Methods and systems for creation of hanging protocols using eye tracking and voice command and control
US20080211768A1 (en) 2006-12-07 2008-09-04 Randy Breen Inertial Sensor Input Device
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
US9044136B2 (en) 2007-02-16 2015-06-02 Cim Technology Inc. Wearable mini-size intelligent healthcare system
US20080201634A1 (en) 2007-02-20 2008-08-21 Gibb Erik W System and method for customizing a user interface
US20080239080A1 (en) 2007-03-26 2008-10-02 Moscato Jonathan D Head-mounted rear vision system
US9116340B2 (en) 2007-05-14 2015-08-25 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US8909296B2 (en) 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
FR2916541B1 (fr) 2007-05-25 2014-11-21 Thales Sa Dispositif de visualisation tete haute pour aeronef comprenant des moyens d'affichage d'une symbologie dediee a l'evitement d'obstacles.
KR20080114391A (ko) 2007-06-27 2008-12-31 삼성전기주식회사 레이저 광원을 이용한 디스플레이 장치, 디스플레이 방법및 디스플레이 방법을 구현하기 위한 프로그램이 기록된기록매체
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
JP5116424B2 (ja) 2007-10-09 2013-01-09 任天堂株式会社 ゲームプログラムおよびゲーム装置
US20090182562A1 (en) 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US8099289B2 (en) 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8249243B2 (en) 2008-11-13 2012-08-21 Aspect Software, Inc. Method of remotely operating contact center systems
US8547342B2 (en) * 2008-12-22 2013-10-01 Verizon Patent And Licensing Inc. Gesture-based delivery from mobile device
JP5616367B2 (ja) 2009-02-27 2014-10-29 ファウンデーション プロダクションズ エルエルシー ヘッドセットに基づく通信プラットホーム
US20100225734A1 (en) 2009-03-03 2010-09-09 Horizon Semiconductors Ltd. Stereoscopic three-dimensional interactive system and method
WO2010129679A1 (en) 2009-05-08 2010-11-11 Kopin Corporation Remote control of host application using motion and voice commands
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
WO2010141870A1 (en) 2009-06-04 2010-12-09 Kopin Corporation 3d video processor integrated with head mounted display
US8279861B2 (en) 2009-12-08 2012-10-02 International Business Machines Corporation Real-time VoIP communications using n-Way selective language processing
CN102812417B (zh) 2010-02-02 2016-03-02 寇平公司 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
GB2478738A (en) 2010-03-16 2011-09-21 Belron Hungary Kft Zug Branch Eye level display in communication with electronic device
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8862186B2 (en) 2010-09-21 2014-10-14 Kopin Corporation Lapel microphone micro-display system incorporating mobile information access system
US20120089392A1 (en) 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US20120110456A1 (en) 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US8184983B1 (en) 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
WO2013163293A1 (en) 2012-04-25 2013-10-31 Kopin Corporation Instant translation system
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538676B1 (en) * 1999-10-04 2003-03-25 Intel Corporation Video token tracking system for overlay of metadata upon video data
US20060109237A1 (en) * 2004-11-24 2006-05-25 Morita Mark M System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
CN1797299A (zh) * 2004-12-22 2006-07-05 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
CN101196793A (zh) * 2006-12-04 2008-06-11 三星电子株式会社 基于手势的用户界面方法和设备
WO2009120984A1 (en) * 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
CN101599267A (zh) * 2008-06-02 2009-12-09 索尼爱立信移动通信日本株式会社 显示处理设备、显示处理方法和程序及移动终端设备
CN101620511A (zh) * 2008-07-01 2010-01-06 索尼株式会社 信息处理设备和用于显示辅助信息的方法
CN101349944A (zh) * 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
CN101581969A (zh) * 2009-01-06 2009-11-18 香港应用科技研究院有限公司 运动驱动系统和相关的运动数据库

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
CN103543831A (zh) * 2013-10-25 2014-01-29 梁权富 头戴式全景播放装置
CN103576792A (zh) * 2013-11-10 2014-02-12 赵明 分体式穿戴电脑
CN105899996A (zh) * 2013-12-06 2016-08-24 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN105899996B (zh) * 2013-12-06 2019-04-23 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN107003823A (zh) * 2014-12-25 2017-08-01 日立麦克赛尔株式会社 头戴式显示系统和头戴式显示装置
CN107003823B (zh) * 2014-12-25 2020-02-07 麦克赛尔株式会社 头戴式显示装置及其操作方法
TWI658404B (zh) * 2018-02-09 2019-05-01 宏碁股份有限公司 語音辨識系統及其方法
CN114415932A (zh) * 2022-01-07 2022-04-29 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备和可读介质

Also Published As

Publication number Publication date
EP2616907B1 (en) 2020-02-12
US9122307B2 (en) 2015-09-01
JP2013541092A (ja) 2013-11-07
EP2616907A4 (en) 2016-07-27
US20120236025A1 (en) 2012-09-20
EP2616907A1 (en) 2013-07-24
WO2012040107A1 (en) 2012-03-29
JP6082695B2 (ja) 2017-02-15
CN103180800B (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN103180800A (zh) 使用动作及语音命令的主机应用程序的高级远程控制
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
CN102812417B (zh) 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US10540003B2 (en) Head mounted display device and method for controlling the same
US8862186B2 (en) Lapel microphone micro-display system incorporating mobile information access system
CN103890836B (zh) 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
US8706170B2 (en) Miniature communications gateway for head mounted display
EP2400733B1 (en) Mobile terminal for displaying augmented-reality information
CN110291576A (zh) 基于触摸的操作系统的免提导航
WO2022088884A1 (zh) 页面展示方法和终端
CN105335001A (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
US20130241927A1 (en) Computer device in form of wearable glasses and user interface thereof
US20130265300A1 (en) Computer device in form of wearable glasses and user interface thereof
EP3905016A1 (en) Electronic device for performing various functions in augmented reality environment, and operation method for same
US10990339B2 (en) Electronic device having plurality of display panels, first and second panels display images inside the housing and third display panel connecting to external interface port
CN105940371A (zh) 用户可配置的话音命令
US20180150133A1 (en) Glasses-type terminal and control method therefor
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
KR102718478B1 (ko) 이동 단말기 및 그 제어 방법
JP2018200415A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR20170074726A (ko) 연성디스플레이가 설치된 모바일 장치
KR20240009984A (ko) 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색
KR20120062427A (ko) 휴대 단말기 및 그 동작 방법
KR20120057256A (ko) 휴대 단말기 및 그 동작 방법
KR101675730B1 (ko) 멀티플레이어 게임을 제공하는 휴대 단말기 및 그 동작방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant