[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN210573659U - 计算机系统、头戴式设备、手指设备和电子设备 - Google Patents

计算机系统、头戴式设备、手指设备和电子设备 Download PDF

Info

Publication number
CN210573659U
CN210573659U CN201921105173.4U CN201921105173U CN210573659U CN 210573659 U CN210573659 U CN 210573659U CN 201921105173 U CN201921105173 U CN 201921105173U CN 210573659 U CN210573659 U CN 210573659U
Authority
CN
China
Prior art keywords
finger
user
sensor
input
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201921105173.4U
Other languages
English (en)
Inventor
P·X·王
N·乔治
B·R·布莱奇尼特兹
A·A·帕卡尔
M·伊斯兰姆
A·J·勒哈曼
M·S·科迪尔
J-S·韩
孙鸿程
S·E·李
K·Z·罗
L·I-M·约恩逊
L·德利兹森特诺
Y·潘
S·E·德伊
P·N·迪蒙泰勒
J·C·阿特勒
T·孙
J·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Application granted granted Critical
Publication of CN210573659U publication Critical patent/CN210573659U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了计算机系统、头戴式设备、手指设备和电子设备。该系统包括：显示器；控制电路，所述控制电路被配置为接收由佩戴在用户手指上的手指设备所采集的手指输入，同时使手指尖端处的指垫露出；以及凝视跟踪器，所述凝视跟踪器被配置为产生与所述用户眼睛相关联的凝视点信息，其中所述控制电路被配置为使用所述显示器来显示叠加在现实世界内容上的虚拟内容，并且其中所述控制电路被配置为基于所述手指输入和所述凝视点信息使用所述显示器来显示所述虚拟内容。

Description

计算机系统、头戴式设备、手指设备和电子设备
技术领域
本实用新型整体涉及电子设备，并且更具体地涉及用于手指安装的电子设备的传感器。
背景技术
电子设备(诸如计算机)可使用计算机鼠标和其他输入附件来控制。在虚拟现实系统中，可使用力反馈手套来控制虚拟对象。移动电话可具有用于响应于触摸输入来创建触觉反馈的触摸屏显示器和振动器。
诸如这些设备对于用户来说可能不方便，也可能是麻烦的或者不舒服的，或者可能提供不充分的反馈。
实用新型内容
本申请一方面公开了一种计算机系统。该系统包括：显示器；控制电路，所述控制电路被配置为接收由佩戴在用户手指上的手指设备所采集的手指输入，同时使手指尖端处的指垫露出；以及凝视跟踪器，所述凝视跟踪器被配置为产生与所述用户眼睛相关联的凝视点信息，其中所述控制电路被配置为使用所述显示器来显示叠加在现实世界内容上的虚拟内容，并且其中所述控制电路被配置为基于所述手指输入和所述凝视点信息使用所述显示器来显示所述虚拟内容。
根据一个示例，所述手指输入包括应变仪电路输入，所述应变仪电路输入用所述手指设备中的应变仪电路来采集，并且包括惯性测量单元输入，所述惯性测量单元输入用所述手指设备中的惯性测量单元来采集，其中所述虚拟内容与现实世界内容中的现实世界对象相关联，其中所述控制电路被配置为使用所述显示器来显示所述虚拟内容中的可选项目，其中所述现实世界对象包括电子设备并且其中所述控制电路被配置为使用所述显示器来显示在列表中的可选项目，其中所述手指设备包括触觉输出设备并且其中当所述手指设备被用于选择可选项目和正在使用所述触觉输出设备向手指提供相应的触觉输出时，所述控制电路被配置为采集手指输入，所述系统还包括：头戴式支撑结构，在所述头戴式支撑结构内安装所述显示器，其中所述凝视跟踪器安装至所述头戴式支撑结构。
根据一个示例，所述控制电路被配置为接收来自附加手指设备的附加手指输入，并且其中所述控制电路被配置为基于来自所述手指设备的所述手指输入和来自所述附加手指设备的所述附加手指输入来显示所述虚拟内容。
本申请另一方面公开了一种可用手指设备操作的头戴式设备，所述手指设备被配置为采集来自用户手指的手指输入。所述头戴式设备包括：控制电路，所述控制电路被配置为接收来自所述手指设备的所述手指输入；头戴式支撑结构；显示器，所述显示器由所述头戴式支撑结构支撑；以及凝视跟踪器，所述凝视跟踪器被配置为采集凝视点信息，其中所述控制电路被配置为使用所述显示器来显示叠加在现实世界内容上并且基于所述凝视点信息和所述手指输入的虚拟内容。
根据一个示例，所述用户具有眼睛，其中所述凝视点信息与所述用户的眼睛相关联，其中所述控制电路包括无线通信电路，所述无线通信电路被配置为无线接收来自所述手指设备的所述手指输入，其中所述手指设备包括惯性测量单元，所述惯性测量单元被配置为当所述手指与所述虚拟内容交互时采集所述手指输入，并且其中所述控制电路被配置为基于用所述惯性测量单元采集所述手指输入来使用所述显示器显示所述虚拟内容。
根据一个示例，所述头戴式支撑结构被配置为支撑所述凝视跟踪器，其中所述凝视点信息由所述凝视跟踪器在所述用户正在查看电子设备时采集，并且其中所述虚拟内容包括与所述电子设备相关联的列表。
本申请另一方面公开了一种可用头戴式设备操作的手指设备，所述头戴式设备被配置为在现实世界对象上显示虚拟内容，所述手指设备包括：壳体，所述壳体被配置为联接到所述手指尖端处的手指，同时使手指尖端处的指垫露出；触觉输出设备，所述触觉输出设备联接到所述壳体；传感器电路，所述传感器电路被配置为当所述手指与所显示的虚拟内容交互时采集手指位置信息；以及控制电路被配置为基于所述手指位置信息使用所述触觉输出设备向所述手指提供触觉输出。
根据一个示例，所述传感器电路包括选自由以下项组成的组的电路：惯性测量单元，所述惯性测量单元被配置为在所述用户正与被所述虚拟内容叠加的所述现实世界对象进行交互时采集所述位置信息；应变仪电路，所述应变仪电路被配置为当所述手指接触所述现实世界对象的表面，同时与显示的虚拟内容交互时，采集与所述手指产生的力相关联的力测量；超声波传感器和图像传感器以及深度传感器，并且其中所述控制电路被配置为当所述手指正在选择虚拟内容中的交互列表中的项目时向所述触觉输出设备提供触觉输出。
根据一个示例，所述现实世界对象不包含电路，其中所述传感器电路被配置为当所述手指与所显示的虚拟内容交互，同时移动所述真实对象时采集所述手指位置信息，其中所述控制电路被配置为通过基于所述手指位置信息使用触觉输出设备向不同区域中的所述手指提供不同的触觉输出来向所述手指提供现实世界对象的不同区域中的不同纹理，并且其中所述虚拟内容包括虚拟对象，并且其中所述控制电路被配置为响应于所述手指位置信息来移动虚拟对象。
本申请另一方面公开了一种手指设备，所述手指设备配置为佩戴在用户的手指上并包括：壳体，所述壳体被配置为联接到所述手指尖端，同时使手指尖端处的指垫露出；触觉输出设备，所述触觉输出设备联接到所述壳体；触摸传感器，所述触摸传感器被配置为沿着所述壳体的外部表面采集触摸输入；以及控制电路，所述控制电路被配置为基于所采集的触摸输入使用所述触觉输出设备向所述手指提供触觉输出。
根据一个示例，所述触摸传感器包括沿着所述壳体延伸的电容式触摸传感器电极阵列，其中所述触摸传感器被配置为从触摸所述触摸传感器的附加手指采集所述触摸输入，并且其中所述控制电路被配置为当所述附加手指沿着所述电容式触摸传感器电极阵列移动时通过提供所述触觉输出来创建触觉止动器。
根据一个示例，所述壳体被配置为容纳所述手指，而不覆盖所述手指尖端处的指垫，其中所述触摸传感器具有沿着所述壳体延伸的传感器元件阵列，并且其中所述传感器元件包括电容性触摸传感器电极，所述手指设备还包括：传感器，所述传感器联接到所述壳体，所述传感器采集有关所述手指与所述外部对象相互作用的信息，其中所述传感器选自由以下项组成的组：惯性测量单元、应变仪、图像传感器和深度传感器；以及附加传感器，所述附加传感器选自包括以下项的组：传感器元件，所述传感器元件被配置为从邻近所述壳体并且不被所述壳体叠加的所述手指上的区域采集触摸输入；和力传感器，所述力传感器被配置为当所述手指按压另一手指时从所述手指采集手指捏住输入。
本申请另一方面公开了一种可用无线电子设备操作的手指设备，并且所述手指设备被配置为在接收用户的第二手指的触摸输入时佩戴在用户的第一手指上，所述手指设备包括：壳体，所述壳体被配置为联接到所述第一手指；触摸传感器，所述触摸传感器被配置为从所述第二手指沿着所述壳体的外部表面采集触摸输入；以及控制电路，所述控制电路被配置为将所采集的触摸输入无线地传输到所述无线电子设备。
根据一个示例，所述手指设备还包括：触觉输出设备，所述触觉输出设备被配置为提供触觉输出，其中所述控制电路被配置为当所述第二手指沿所述触摸传感器移动时使用所述触觉输出设备来创建止动器；传感器，所述传感器被配置为采集与所述第一手指相关联的手指输入，其中所述控制电路系统被配置为基于所述手指输入使用所述触觉输出设备为所述第一手指提供触觉输出，并且其中所述传感器包括选自包括以下项的组：加速度计、惯性测量单元、力传感器、超声波传感器和光学传感器。
根据一个示例，所述壳体被配置为联接到所述第一手指的尖端，同时使所述第一手指的尖端处的指垫露出，其中所述壳体包括具有通过顶部联接的第一侧面和第二侧面的U形壳体，其中所述触摸传感器被配置为在所述第一侧面、第二侧面和顶部采集触摸输入，其中所述无线电子设备包括头戴式设备，所述头戴式设备被配置为当所述触摸传感器采集所述触摸输入时显示与所述外部表面叠加的虚拟内容，并且其中所述壳体具有带有应变仪的可弯曲臂，并且其中所述触摸传感器与所述可弯曲臂叠加。
本申请另一方面公开了一种可用无线电子设备操作的手指设备，并且所述手指设备被配置为在接收用户的第二手指的触摸输入时佩戴在用户的第一手指上。所述手指设备包括：壳体，所述壳体被配置为联接到所述第一手指；传感器，所述传感器被配置为采集来自所述第二手指的手指输入，所述第二手指在所述第一手指上不与所述壳体叠加的区域内；以及控制电路，所述控制电路被配置为将采集的手指输入无线传输到所述无线电子设备。
根据一个示例，所述壳体具有在所述第一手指的指尖部分前方突出的部分，并且包括传感器电路，所述传感器电路被配置为采集关于所述第一手指的移动的信息，所述手指设备还包括：正交的第一方向传感器、第二方向传感器和第三方向传感器，其中所述控制电路被配置为从第一方向传感器、第二方向传感器和第三方向传感器采集关于所述第一手指的取向的信息，并且其中所述第一传感器、第二传感器和第三传感器包括射频传感器。
本申请另一方面公开了一种可用具有显示器的计算机操作的手指设备。所述手指设备包括：壳体，所述壳体被配置为佩戴在用户的手指上；触觉输出设备；传感器，所述传感器被配置为当用户的手指触摸所述显示器时采集用户输入；无线通信电路，所述无线通信电路被配置为将所述用户输入传输到所述计算机；以及控制电路，所述控制电路被配置为当所述手指的露出表面触摸所述显示器时使用所述触觉输出设备向用户的所述手指提供触觉输出。
根据一个示例，所述计算机包括选自由以下项组成的组的计算机：平板电脑和台式计算机，其中所述显示器被配置为显示对象，并且其中所述控制电路被配置成当所述手指触摸对象时，使用所述传感器采集所述用户输入，所述手指设备还包括：触摸传感器，所述触摸传感器被配置为沿所述壳体的外部表面采集触摸输入，其中所述控制电路被配置为基于所采集的触摸输入，使用所述触觉输出设备向所述手指提供触觉输出。
本申请再一方面公开了一种可用手指设备操作的电子设备，所述手指设备被配置为佩戴在用户一只手的手指上，并且具有传感器，所述传感器被配置为采集用户输入。所述电子设备包括：显示器；手部跟踪系统，所述手部跟踪系统被配置为测量所述用户手的移动；无线通信电路，所述无线通信电路被配置为接收用所述手指设备中的传感器采集的用户输入；以及控制电路，所述控制电路被配置为响应于所测量的手的移动并响应于所述用户输入来移动所述显示器上的对象。
一种系统可包括手指设备。具有显示器的头戴式设备或其他设备可显示叠加在现实世界内容上的虚拟内容。
触摸传感器可安装在手指设备壳体中，以在对象沿壳体的外部表面移动时采集来自外部对象的输入。例如，外部对象可以是除了容纳在手指设备内的手指之外的手指的尖端。
手指设备上的触摸传感器可以包括一维传感器元件阵列或二维传感器元件阵列。传感器元件可为基于光学感测、超声波感测或其他类型感测的电容传感器电极或触摸传感器元件。在一些布置中，安装在手指设备壳体中的光学传感器、超声波传感器或其他传感器可被配置为从邻近手指设备并且不被手指设备叠加的用户手指的区域采集触摸输入。
当用户正在查看用头戴式设备或其他电子设备呈现的虚拟内容时，诸如力传感器、超声波传感器、惯性测量单元、光学传感器和手指设备中的其他部件的传感器可以用于采集来自用户的手指输入。
来自用户的手指输入可用于操纵虚拟对象。例如，用户基于使用手指设备或能够选择的显示的菜单选项采集的手指输入移动对应于可移动控件的虚拟对象。在一些布置中，用户可与现实世界对象进行交互，而计算机生成的内容叠加在一些或所有对象上。现实世界对象的旋转和与现实世界对象以及叠加在现实世界对象上的虚拟内容的其他交互可以用作输入，用于控制混合现实系统或其他电子设备的操作。
附图说明
图1为根据实施方案具有手指设备的例示性系统的示意图。
图2为根据实施方案已放置手指设备的用户的例示性手指的俯视图。
图3为根据实施方案处于用户手指上的例示性手指设备的横截面侧视图。
图4为根据实施方案从手指设备未覆盖的手指上的相邻区域采集输入的例示性手指设备的侧视图。
图5为根据实施方案示出虚拟内容如何叠加在设备的表面和相邻手指表面上的例示性手指设备的侧视图。
图6为根据实施方案示出触摸传感器如何结合到设备中的例示性电子设备的侧视图。
图7为根据实施方案的例示性手指设备的一部分的横截面俯视图，该示例性手指设备具有触摸传感器阵列和应变仪电路并且具有安装在用于手指设备的壳体的可弯曲细长臂部分的触觉输出电路。
图8为根据实施方案具有接近感测电路的例示性手指设备的主视图。
图9为根据实施方案具有传感器(诸如基于具有相应数字图像传感器的多个相机的深度传感器)的例示性手指设备的透视图。
图10为根据实施方案具有沿三个正交轴定向的传感器以监测手指活动的例示性手指设备的透视图。
图11为根据实施方案具有安装在突出超过用户手指的尖端的壳体部分上的传感器的例示性手指设备上的顶视图。
图12是根据实施方案示出用户如何使用多个手指设备并且可使用这些设备与身体部件或其他对象进行交互的图示。
图13为根据实施方案具有计算机壳体(其中安装有显示器或带显示器的其他设备)和具有凝视追踪器的计算机的例示性系统的侧视图。
图14为根据实施方案的例示性头戴式设备的俯视图，该头戴式设备具有被配置为支撑显示器的支撑结构和传感器(诸如前置相机)以及凝视跟踪器。
图15为根据实施方案示出例示性触觉输出信号的曲线图，该例示性触觉输出信号可在当与虚拟对象和/或现实世界对象进行交互时产生，以提供用户不同的纹理。
图16为根据实施方案的例示性对象(诸如电子设备或非电子无生命对象)的侧视图，其示出用一个或多个手指设备的用户如何可与该对象交互。
图17为根据实施方案的例示性无生命对象(诸如铅笔)的透视图，用户使用该铅笔可在当戴着一个或多个手指设备时进行交互。
图18为根据实施方案的例示性电子设备和相关联的计算机生成的视觉内容(虚拟内容)的透视图，用户可使用一个或多个手指设备与该视觉内容进行交互。
图19为根据实施方案用户在佩戴在用户的两个手指上时彼此使用的例示性手指设备对的透视图。
图20为根据实施方案的三维工作空间的透视图，其示出了具有手指设备的用户可如何创建三维图形或以其他方式与三维计算机生成的图像进行交互。
图21为根据实施方案的另一个例示性三维工作空间的透视图，其示出用户如何使用手指设备与虚拟对象进行交互。
图22是根据实施方案的例示性系统的示意图。
具体实施方式
本专利申请要求于2019年4月26日提交的美国专利申请第16/395,806 号以及于2018年7月17日提交的美国临时专利申请第62/699,642号的优先权，这些专利申请据此全文以引用方式并入本文。
被配置为安装在用户的身体上的电子设备可用于采集用户输入并向用户提供输出。例如，被配置为佩戴在用户一个或多个手指上的电子设备(其有时被称为手指设备或手指安装设备)可用于采集用户输入并提供输出。作为示例，手指设备可包括惯性测量单元，该惯性测量单元具有用于采集关于手指运动(诸如手指轻击或自由空间手指手势)的信息的加速度计；并且可包括力传感器，该力传感器用于采集关于手指设备和用户手指中的法向力和剪切力的信息；并且可包括用于采集关于手指设备(和其上安装有设备的用户手指)与周围环境之间的相互作用的信息的其他传感器。手指设备可包括触觉输出设备以向用户的手指提供触觉输出，并且可包括其他输出部件。
一个或多个手指设备可通过用户采集用户输入。用户可使用手指设备来操作虚拟现实或混合现实设备(例如，头戴式设备，诸如眼镜、护目镜、头盔或具有显示器的其他装置)。在操作期间，手指设备可采集用户输入，诸如关于手指设备与周围环境之间关于交互的信息(例如，用户手指与环境之间的交互，其包括手指运动和与为用户显示的虚拟内容相关联的其他交互)。用户输入可用于控制显示器上的视觉输出。可使用手指设备向用户的手指提供相应的触觉输出。例如，触觉输出可用于在用户触摸真实对象时或当用户触摸虚拟对象时向用户的手指提供期望的纹理感觉。触觉输出还可用于产生止动器和其他触觉效果。
可将手指设备佩戴在用户任何或全部手指上(例如，食指、中指和拇指，用户一只手上的三个用户手指，双手上的一些或全部手指等)。为了在用户与周围对象交互时增强用户触摸的灵敏度，手指设备可具有倒U形状，或具有允许手指设备被佩戴在用户的指尖的顶部和侧面上同时使用户的指垫露出的其他结构。这允许用户在使用期间用用户手指的指垫部分来触摸对象。如果需要，可在用户的手指上、指关节之间和/或用户手指的其他部分上佩戴手指设备。在本文中有时将手指设备在用户的指尖上的使用描述为示例。
用户可使用手指设备与任何合适的电子装置进行交互。例如，用户可使用一个或多个手指设备与虚拟现实或混合现实系统(例如，具有显示屏的头戴式设备)进行交互，以向台式计算机、平板电脑、蜂窝电话、手表、耳塞或其他附件提供输入，或与其他电子装置进行交互。
图1是可包括一个或多个手指设备的类型的例示性系统的示意图。如图 1所示，系统8可包括电子设备，诸如手指设备10和其他电子设备24。每个手指设备10可被佩戴在用户手上的一根手指上。系统8中的附加电子设备(诸如设备24)可包括以下设备：诸如膝上型计算机、包含嵌入式计算机的计算机监视器、平板计算机、台式计算机(例如、具有集成计算机处理器和其他计算机电路的支架上的显示器)、蜂窝电话、媒体播放器或其他手持或便携式电子设备、诸如手表设备的小型设备、悬挂设备、头戴式耳机或耳机设备，诸如佩戴在用户头上的眼镜、护目镜、头盔或其他装置的头戴式设备、或其他可佩戴或微型设备、电视机、不包含嵌入式计算机的计算机显示器、游戏设备、遥控器、导航设备、嵌入式系统(诸如其中安装在售货亭、汽车、飞机或其他车辆上的系统)，或其他车辆、可拆卸的电子设备外壳、带子、腕带或发箍、可拆卸的设备盖、具有带子或具有其他结构以容纳和携带电子设备和其他物品的箱子或包、可以插入电子设备或其他物品的项链或手臂带、钱包、袖子、口袋或其他结构、椅子、沙发或其他座椅的一部分(例如、靠垫或其他座椅结构)、衣物或其他可穿戴物品(例如、帽子、腰带、手腕带、发箍、袜子、手套、衬衫、裤子等)、或实现这些设备中的两个或更多个的功能的装置。
利用一种例示性结构(其有时在本文中可作为示例进行描述)，设备10 为手指安装设备，其具有抓握用户手指的U形体或具有配置为依靠在用户的手指上的其他形状的手指安装壳体，并且装置(24)为蜂窝电话、平板电脑、膝上型计算机、手表设备、头戴式设备、具有扬声器的设备，或其他电子设备(例如，具有显示器、音频组件和/或其他输出组件的设备)。具有U形壳体的手指设备可具有相对的左侧和右侧，相对的左侧和右侧配置为容纳用户的手指和顶部壳体部分，该顶部壳体部分联接该左侧和右侧并且与用户的指甲重叠。
设备10和设备24可包括控制电路12和控制电路26。控制电路12和控制电路26可包括用于支持系统8的操作的存储和处理电路。存储和处理电路可以包括诸如非易失性存储器的存储器，(例如，闪存存储器或其他配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如，动态随机存取存储器)等，控制电路12和26中的处理电路可以用于采集来自传感器和其他输入设备的输入，并且可以用于控制输出设备。处理电路可基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器和其他无线通信电路、电源管理单元、音频芯片、专用集成电路等。
为了支持设备10和设备24之间的通信和/或为了支持系统8中的设备与外部电子设备之间的通信，控制电路12可使用通信电路14进行通信和/或控制电路26可以使用通信电路28进行通信。电路14和/或电路28可包括天线、射频收发器电路以及其他无线通信电路和/或有线通信电路。例如，电路14 和/或电路26(其有时可被称为控制电路和/或控制和通信电路)可以经由无线链路38支持设备10和设备24之间的双向无线通信(例如，无线局域网链路、近场通信链路或其他合适的有线或无线通信链路(例如，
Figure DEST_PATH_GDA0002377743090000101
链路、
Figure DEST_PATH_GDA0002377743090000102
链路、60GHz链路或其他毫米波链路等))。设备10和设备 24还可包括用于传输和/或接收有线和/或无线功率的电源电路，并且可包括电池。在设备10和设备24之间支持无线功率传输的结构中，可以使用感应功率传输线圈(作为示例)来支持带内无线通信。
设备10和设备24可包括输入输出设备，诸如设备16和设备30。输入输出设备16和/或输入输出设备30可用于采集用户输入，用于采集关于用户周围环境的信息和/或向用户提供输出。设备16可包括传感器18，并且设备24可包括传感器32。传感器18和/或32可包括力传感器(例如，应变仪、电容式力传感器、阻力传感器等)、音频传感器(诸如麦克风)、触摸传感器和/或接近传感器(诸如电容传感器)、光学传感器(诸如发射和检测光的光学传感器)、超声波传感器、和/或其他触摸传感器和/或接近传感器、单色和彩色环境光传感器、图像传感器、用于检测位置、取向和/或运动的传感器 (例如，加速度计、磁性传感器(诸如罗盘传感器、陀螺仪和/或包含部分或全部这些传感器的惯性测量单元))、用于检测手指动作的肌肉活动传感器 (EMG)、射频传感器、深度传感器(例如，基于立体成像设备的结构光传感器和/或深度传感器)、光学传感器(诸如采集飞行时间测量的自混合传感器和光探测及测距(激光雷达)传感器)、光学传感器(诸如视觉测距传感器，其使用在相机中的数字图像传感器采集的图像来采集位置和/或方向信息)、凝视跟踪传感器、具有数字图像传感器的可见光和/或红外相机、湿度传感器、含水率传感器和/或其他传感器。在一些布置中，设备10和/或设备 24可使用传感器18和/或传感器32和/或其他输入输出设备16和/或输入输出设备30来采集用户输入(例如，按钮可用于采集按钮按压输入，与显示器重叠的触摸传感器可用于采集触摸输入，麦克风可用于采集音频输入，加速度计可用于监测手指何时触摸输入表面，并且因此可用于采集手指按压输入等)。如果需要，设备10和/或设备24可包括旋转按钮(例如，手表或手指设备上的表冠机构或旋转并且任选地可被按压以选择所感兴趣的项目的其他合适的旋转按钮)。可在设备16和/或设备30中包括字母数字按键和/或其他按钮。
设备16和设备30可包括触觉输出设备20和触觉输出设备34。触觉输出设备20和/或触觉输出设备34可产生由用户感测的运动(例如，通过用户的指尖感测的运动)。触觉输出设备20和/或触觉输出设备34可包括以下制动器：诸如电磁致动器、电动机、压电致动器、电活性聚合物致动器、振动器、线性致动器、旋转致动器，可弯曲地弯曲构件的致动器、在设备10和/ 或设备24之间产生和/或控制排斥力和/或吸引力的致动器设备(例如，用于产生静电排斥和/或吸引力的部件，诸如电极；用于产生超声波输出的部件，诸如超声波换能器；用于产生磁性相互作用的部件，诸如用于产生直流和/ 或交流磁场的电磁铁、永磁体、磁性材料，诸如铁或铁氧体；和/或用于在设备10和/或设备24之间产生排斥力和/或吸引力的其他电路)。在一些情况下，用于在设备10中产生力的致动器可用于挤压用户的手指和/或以其他方式与用户的指腹直接交互。在其他情况下，这些部件可用于彼此交互(例如，通过使用电磁体在一对设备10和/或设备10和设备(24)之间产生动态可调的电磁排斥力和/或吸引力)。
如果需要，输入-输出设备16和/或输入-输出设备30可包括其他设备22 和/或设备36，诸如显示器(例如，在设备24显示用户图像)、状态指示灯 (例如，用作功率指示器的设备10和/或设备24中的发光二极管，以及其他基于光的输出设备)、扬声器和其他音频输出设备、电磁铁、永磁铁、由磁性材料形成的结构(例如，被磁铁吸引的铁棒或其他铁磁构件，诸如电磁铁和/或永磁铁)、电池等。设备10和/或设备24还可以包括配置成传输和/或接收有线和/或无线功率信号的功率传输和/或接收电路。
图2为用户的手指(手指40)和例示性手指安装设备10的俯视图。如图2所示，设备10可由安装在手指的尖端40上或附近(例如，部分或完全重叠的指甲42)的手指安装单元形成。如果需要，设备10可被佩戴在用户的手指上的其他位置上，诸如在关节上，关节之间等，其中诸如设备10的设备被佩戴在手指40之间的构造也可被使用。
用户可以同时佩戴一个或多个设备10。例如，用户可在用户的无名指或食指上佩戴单个设备10。作为另一示例，用户可以在用户的拇指上佩戴第一设备10，在用户的食指上佩戴第二设备10，并且在用户的中指上佩戴可选的第三设备10。也可使用将设备10佩戴在其他手指上和/或用户的一只手或两只手的所有手指的布置方式。
控制电路12(以及如果需要，通信电路14和/或输入-输出设备16)可完全包含在设备10内(例如，在用于指尖安装单元的壳体中)和/或可包括联接到指尖结构的电路(例如，通过来自相关联腕带、手套、无指手套等的电线)。设备10具有安装在单个用户手指的尖端上的主体的配置在本文中有时被描述为示例。
图3为例示性手指设备(手指安装设备)10的横截面侧视图，其示出处于手指设备壳体44内和/或处于手指设备壳体44的表面上用于电子部件(例如，控制电路12、通信电路14和/或输入-输出设备16)的例示性安装位置 46。如果需要，这些部件可结合到壳体44的其他部分中。
如图3所示，壳体44可具有U形状(例如，壳体44可为U形壳体结构，其面向下并覆盖用户手指40和指甲42的尖端的上表面)。在操作期间，用户可按压诸如结构50的结构。当手指40的底部(例如，指腹40P)抵靠结构50 的表面48时，用户的手指可以压紧并迫使手指的一部分向外抵靠壳体44的侧壁部分(例如，用于通过力传感器或安装在壳体44侧部的其他传感器进行感测)。手指40在X-Y平面中的横向移动也可以使用壳体44的侧壁或壳体 44的其他部分上的力传感器或其他传感器来感测(例如，因为横向移动将倾向于将手指40的部分按压在一些传感器上而不是其它传感器和/或将产生剪切力，该剪切力由配置为感测剪切力的力传感器进行测量)。
超声波传感器、光学传感器、惯性测量单元、应变仪和其他力传感器、射频传感器和/或其他传感器可用于采集指示手指40的活动的传感器测量。如果需要，这些传感器还可以用于映射三维物体的轮廓(例如，通过飞行时间测量和/或其他测量)。例如，超声波传感器(诸如二维图像传感器或具有单个超声换能器元件的超声传感器)可以发射在反射外部物体之后接收并处理的自由空间超声波声音信号。这允许生成指示外部对象的形状和位置的三维超声图。
在一些构造中，使用安装在外部电子设备中的传感器(例如，在计算机或其他台式设备中，在头戴式设备中或其他可穿戴设备中，和/或在与设备 10分开的其他电子设备24中)来采集手指活动信息(位置、移动、取向等)。例如，光学传感器(诸如与设备10分开的图像传感器)可用于监测装置10以确定它们的位置、移动和/或取向。如果需要，设备10可包括无源光对准特征和/或有源光学对准特征，以帮助设备24中的图像传感器跟踪设备10的位置、取向和/或运动。例如，设备10可包括发光设备(诸如发光二极管和/ 或激光器)。发光设备可以以不对称图案布置在壳体44上，并且可以发射由设备24中的图像传感器、深度传感器和/或其他基于光的跟踪传感器电路检测到的光。通过处理所接收的图案形发射光，设备24能够确定设备10的位置、取向和/或运动。
还可执行涉及从已知身体部位取向(例如手指取向)进行推算以在其他身体部位(例如，使用反向运动学估计的手腕和/或臂取向)产生取向信息的跟踪。如果需要，可将视觉测距传感器包括在设备10中。这些传感器可包括采集设备10的环境的图像数据的帧的图像传感器，并且可用于测量来自图像数据的帧的位置、取向和/或运动。如果需要，可以使用激光雷达、在多个方向上定向的超声波传感器、射频跟踪传感器和/或其他手指设备跟踪布置。在一些构造中，用于控制系统8的用户输入可包括用户手指输入和其他用户输入两者(例如，用户眼睛注视输入、用户语音输入等)。例如，当控制系统 8中的设备10和/或设备24时，凝视跟踪信息(诸如用凝视跟踪器测量的用户的凝视点)可与手指输入融合。手指输入可包括关于手指取向、位置和/ 或运动的信息，并且可包括关于手指如何强制按压表面的信息(例如，力信息)。
例如，设备10中的传感器可以测量用户如何有力地使设备10(和手指 40)靠着表面48(例如，在平行于表面48的表面法线n的方向上，诸如图 3的-Z方向)移动和/或用户如何有力地使设备10(和手指40)在与表面48 相切的X-Y平面内移动。设备10在X-Y平面和/或Z方向上的移动方向也可以通过位置46处的力传感器和/或其他传感器18来测量。
结构50可为设备24的壳体的一部分，可为另一个设备10的一部分(例如，另一个壳体44)，可为用户手指40或其他身体部分的一部分，可为现实世界对象(诸如桌子)的表面、可移动现实世界对象(诸如瓶子或笔)、或者可以是设备10外部的其他无生命对象，和/或可以是用户可以用手指40 接触的任何其他结构，同时用期望的力在期望的方向上移动手指40。因为诸如这些的运动可由设备10来感测，所以设备10能够用于采集指向输入(例如，输入在诸如设备36中的显示器的显示器上移动光标或其他虚拟对象)，可用来采集点击输入、滑动输入，捏合缩放输入(例如，当使用一对设备10时)，或其他手势输入(例如，手指手势、手势、手臂运动等)，和/或可用于采集其他用户输入。
图4是用户手指上的例示性手指设备的侧视图。在图4的例示性构造中，设备10包括触摸传感器56。触摸传感器56可以由电容式触摸传感器电极阵列形成，诸如与壳体44的侧表面和/或顶表面重叠的电极52。触摸传感器56 可以用于采集触摸输入，例如来自与用户的不同手指或其他外部对象的直接接触和/或紧密接近的输入。在图4的示例中，触摸传感器56可与设备10的侧面上的触摸输入区域54重叠。如果需要，可以在相邻区域(诸如，在与设备10相邻的手指40露出侧上的触摸输入区域62)中采集附加的触摸输入。可以使用设备10中的朝向区域62的传感器从区域62采集触摸输入。例如，这些传感器可以是电容式传感器、光学传感器、超声波传感器和/或可监测区域62的其他传感器(参见例如传感器58)。利用一个示例性构造，传感器58 为具有发光二极管(例如，发光二极管或激光)的光学传感器，其发射光60将区域62重叠，并且具有测量来自用户手指或区域62中的其他外部对象的反射光的光检测器(例如光电二极管)。这样，设备10的触摸传感器电路所覆盖的区域可横跨壳体44的两个部分和相邻身体部位的部分(诸如手指40上的区域62)延伸。
系统8可具有头戴式显示装置或向用户呈现混合现实内容的其他设备。在混合现实环境中，虚拟内容(例如，来自系统8中的控制电路的计算机生成的内容)可叠加在现实世界内容上(例如，通过光耦合器直接检视现实世界获得的现实世界图像和/或使用前置摄像机或其他图像传感器获得的现实世界图像，该图像传感器以直通模式进行操作，以在显示器上为用户提供现实世界的图像。作为示例，系统8的混合现实内容可包括覆盖在采集用户输入(例如，触摸输入)的区域上的图标和其他计算机生成的视觉内容(有时称为虚拟内容)。作为示例，考虑图5的情境。在该示例中，用户在手指40上佩戴手指设备10。触摸传感器56形成于设备10中(例如，在壳体44中)并且在壳体 44的外表面上的区域54中采集触摸传感器输入。光学传感器58采集来自与设备10相邻的手指40上的区域62的触摸输入。用户可通过混合的现实头戴式设备(例如，参见图1的设备24)来查看手指40和设备10。混合现实设备可呈现与虚拟内容区域66中的现实世界内容重叠的计算机生成的内容(由设备24生成的虚拟内容)。
例如，区域66中的虚拟内容可以包括与用户可以通过提供相应的触摸输入而调用的功能(例如，由应用软件和/或操作系统软件执行的功能)相对应的可选图标。例如，设备24可以是混合现实头戴式设备，其在区域66中呈现可选择的日历图标。当用户使用设备10被佩戴在其上的手指之外的自由手指来触摸区域66中的日历图标时，触摸传感器56或光学传感器58将检测到该触摸输入，这取决于在其中呈现日历项目的区域66的部分。响应于对日历图标进行的用户触摸输入选择，设备24中的控制电路可采取适当的动作，诸如使用设备24中的显示器启动日历应用程序并视觉地显示已启动的日历应用程序的内容(例如，作为现实世界图像上的叠加)。如果需要，可以采集自由形式的触摸输入(例如，用户可以在用作输入命令的区域66中跟踪字母数字字符的形状)。设备10可以响应于所接收的触摸输入来提供触觉输出。
作为另一示例，可以在区域66中显示音量滑块或其他滑动控制图标。当用户的手指指向并重叠滑动控制图标时，选择滑动控制图标。然后，用户可以在区域66中来回滑动用户的手指以调整滑块。如果需要，可以响应于控制图标的选择和/或移动来提供触觉输出(例如，点击)。例如，可以在区域66中的用户手指交互期间提供触觉输出止动器(当用户的手指位置与预定位置64重合时提供的振动)。在一些布置中，图标(例如，点、发光点、闪烁点、手指图标、可移动线等)可用于描绘区域66中的手指位置。通常，任何合适的内容可以显示在诸如区域66的区域中(例如，与设备10的全部或部分重叠的区域，与手指40的全部或部分重叠的区域，和/或与现实世界对象重叠的其他区域)。该内容可以包括包含文本、图形、照片、现实世界视频、移动动画、图标和/或其他内容的静止和/或移动图像)。
图6是设备10的前视图，其示出了设备10如何具有与壳体44的侧壁 (侧面)44SW和顶部44T二者重叠的触摸传感器(例示性触摸传感器68)。触摸传感器68可以具有形成在柔性印刷电路上、壳体44中的壳体侧壁的内表面上、壳体44的外部表面上和/或设备10的其他合适部分上的电极。在一个例示性构造中，诸如壳体44中的电路72的电路(例如，印刷电路、集成电路、触摸传感器控制电路等)可与壳体44的侧壁44SW上的触摸传感器70 进行通信(例如，使用由在电路72和传感器70之间延伸的柔性印刷电路形成的信号路径，使用包含用于耦合到电路72的信号路径和电容式触摸传感器电极阵列等的柔性印刷电路基板)。
包含电容式触摸传感器电极的柔性印刷电路可以由诸如银(例如，包括聚合物粘合剂中的银填料的银涂料/墨水)、银纳米线、铜或其他聚合物基底材料上的其他金属迹线(诸如聚对苯二甲酸乙二醇酯(PET)基材或聚酰亚胺基材)的导电材料形成。还可以使用其中电容器传感器基材包括织物(例如，其上沉积有导电迹线的织物和/或具有形成电极的导电材料股线的织物等)的构造。电容传感器可以使用互电容感测布置或自电容感测布置。用于设备10的触摸传感器可以形成在单个侧壁44SW、一个两个侧壁44SW(例如，在手指40的左侧和右侧壳体部分)上、在一个或两个侧壁44SW和顶部44T上、仅在顶部44T上和/或在设备10的任何其他合适区域上。
如果需要，除了使用电容式触摸传感和/或代替使用电容式触摸传感，可以使用非电容式触摸感测，诸如基于光学传感、超声波传感、力检测等的触摸/接近传感器。图6的诸如例示性触摸传感器68和/或触摸传感器70的触摸传感器可以使用单个触摸传感器元件形成(例如，单个电容式触摸传感器电极、单个超声波传感器元件、单个光学传感器元件等)和/或可以使用传感器元件的一维(线形)和/或二维阵列(例如，具有行和列的电容感测电极、光传感器设备、超声传感器设备等的传感器)形成。
图7中示出了例示性构造中设备10的横截面俯视图，其中设备10包括力传感器电路，诸如应变仪电路和触觉输出组件。如图7所示，电极52可以形成触摸传感器56。例如，触摸传感器56可以是二维触摸传感器，其在壳体44的侧面和/或顶部上延伸(例如，在壳体44的内表面和/或设备10的其他合适部分上)。壳体44可具有细长部分，诸如图7的部分44’(有时也被称为臂)，其沿着纵向壳体轴线81延伸(例如，平行于手指40的长度的轴线)。臂44′可以配置为在来自手指40的压力下沿方向84弯曲(例如，侧向手指运动和/或其他手指输入)。应变仪电路80可以形成在臂44′的基部附近(例如，臂44’附接到壳体44的其余部分的地方)，使得应变仪电路80 可以检测臂44′的弯曲。应变仪电路80可包含一个或多个应变仪。如果需要，其他力感测部件可用于检测臂44′的弯曲(例如，压电力传感器等)。
如图7所示，诸如部件82的附加部件可以安装在臂44′上。作为示例，部件82可以是触觉输出设备，其为手指40或其他合适的电子部件生成触觉输出。在一些布置中，部件82可以是压电设备，其既用作触觉输出部件又用作力传感器。使用如图7所示类型的电路，设备10可以监控施加在设备 10侧壁上的手指力，从而在用户操纵设备10并与周围环境相互作用时测量剪切力和/或法向力。触摸输入可以从触摸传感器56采集和/或可以从利用应变仪电路80进行的力传感器测量进行推算。
图8示出了壳体44如何设置有一个或多个传感器86，其用于感测设备 10(例如，壳体44和手指40)与结构50的表面48之间的分离。传感器86 可以是光学传感器、电容传感器、超声波传感器和/或其他传感器(例如，接近传感器、距离传感器等)。使用诸如图8的传感器86的传感器，设备10 能够监视设备10和表面48之间的距离，和/或可以采集关于设备取向和/或设备运动的信息。
图9示出了壳体44如何设置有深度传感器或具有多个传感器部件92的其他传感器。例如，传感器部件92可以是配置为形成立体深度传感器的一对数字图像传感器。利用一个例示性构造，壳体44的部分90可以联接到与铰链轴线88对准的铰链。当希望使用部件92时(例如，在方向96上捕获对象的图像)，部件90可以在方向94上绕铰链轴线88旋转(枢转)。使用图9的深度传感器，设备10可以采集关于设备10相对于其他结构的取向、位置和/或运动的信息，和/或能够收集关于设备10周围环境的信息(例如，现实世界对象的图像、现实世界对象的三维地图等)。
图10为处于例示性构造中设备10的透视图，其中设备10具有被取向为在正交方向上采集数据的一组传感器98。例如，可存在三个传感器98，每个传感器分别沿图10的X轴、Y轴或Z轴进行取向其操作方向(例如，其最敏感的操作方向)。当设备10在用户佩戴在手指40上的同时进行移动时，传感器98可用于采集关于设备10的移动、取向和位置的信息。传感器98可以例如是诸如联接到定向天线的射频收发器的射频传感器(例如，发射器和接收器)。在操作期间，每个传感器98可发射射频信号并且可检测来自外部对象的对应的反射信号。在另一个例示性布置中，基站和/或其他外部电子装置(例如，设备24等)可发射使用传感器98中的接收器所测量的参考 (信标)射频信号。如果需要，可在设备10中包括其他类型的定向传感器(例如，光学传感器，诸如激光雷达传感器，定向超声波传感器等)。使用三个正交取向的射频传感器是例示性的。
图11是处于例示性构造中的设备10的俯视图，其中壳体44具有向前突出的部分(诸如部分100)，其当设备10被用户佩戴时延伸超过手指44 的尖端。部分100可以用作电气部件(诸如部件102)的支撑件。部件102 可以是例如接近传感器和/或距离传感器，诸如光学传感器、电容传感器、超声波传感器，和/或被配置为采集关于设备10与周围表面之间距离的信息。这允许设备10采集关于设备10的位置、取向和/或移动的信息和/或关于附近对象的信息。
如图12所示，用户可以具有多于一个设备10。在图12示例中，用户在第一手指40上佩戴第一手指设备10，在第二手指40上佩戴第二手指设备 10。当第一手指和第二手指40与第三手指(例如，在该示例中是用户拇指的下侧表面)交互时，这些手指设备10中的每一个可以采集用户输入(例如，通过力传感器、超声波传感器、光学传感器、电容传感器等测量的输入)。以这种方式采集的输入可以包括关于手指设备10和与其他手指40和/或其他表面相关联的表面(例如，与用户的腿、用户的手的背部、用户的手掌或其他身体部位相关联的表面；与诸如铅笔、瓶子、桌面等无生命外部物体相关联的表面；与电子设备相关联的表面，诸如显示器表面、键盘表面、壳体和配件中的按钮表面等)之间交互的信息。该输入可包括触摸输入(例如，指示手指40和外表面之间的接触的输入)、剪切力输入(例如，指示用户在用指垫40P接触外表面的同时将手指40推向和/或拖动到一侧的信息)和/或法向力输入(例如，关于手指40如何有力地按压在外表面上的信息)。
在一些布置中，可以采集关于设备10之间的相对运动的信息。例如，设备10中的传感器可用于采集指示设备10朝向彼此移动或远离彼此移动的信息和/或关于设备位置、取向等的信息。这允许用户用多个设备10进行多手指手势(例如，捏合缩放手势，通过用相反的手指抓住物品来选择项目的手势等)。
在图12所示类型的构造中，其中具有设备10的用户手指40与另一个手指40或用户身体的其他表面进行接触并进行交互，用户不需要在诸如桌面的外部无生命对象附近，以便提供输入。相反，用户可通过在佩戴设备10 的手指40和/或不佩戴设备10和/或其他对象的手指之间创建手指交互来提供触摸手势和其他手势。如果需要，可以使用设备10将通过空中的手指运动和/或与手指位置、取向、运动和/或手指力的变化相关联的其他手指活动采集为手指输入。触摸传感器输入也可使用设备10中的触摸传感器电路来采集。手指输入可以包括手指轻击、手指滑动(例如，依赖于速度和/或取决于方向的滑动手势)，手指捏合缩放手势、其中手指挤压在一起的手势、手指以不同的力按压表面的手势、三维自由空间手势，诸如手指轻弹和/或上下手指动作(例如，在预定时间内在特定轻击位置上向下运动以选择与轻击位置相关联的物品的向上运动)、诸如拇指滚动的手势、微调手势、惯性滑动、轻击和滑动手势、依赖于驻留时间的力输入，和/或其中手指40在空气中移动，沿着表面移动和/或以预定模式按压表面的其他手指活动。
系统8可包括光学传感器，诸如凝视检测传感器(有时称为凝视检测器、凝视跟踪器、凝视跟踪系统或眼睛监测系统)。用于系统8的凝视跟踪系统可以例如包括图像传感器、光源和/或用于监视用户眼睛的其他装置。该系统可包括一个或多个可见和/或红外相机，其面向检视者的眼睛并捕捉检视者(用户)眼睛的图像。在系统8的操作期间，系统8中的控制电路(例如，联接到设备24中壳体的控制电路)可以使用凝视跟踪系统来跟踪检视者的凝视。设备24中的相机和/或其他传感器可例如确定用户眼睛(例如，用户的瞳孔的中心)的位置，并且可确定用户眼睛取向的方向。
用户凝视的取向可以用于确定用户眼睛被引导的虚拟和/或现实世界环境中的位置(有时称为用户的凝视点)。如果需要，设备24和/或系统8中的其他装置可以使用凝视跟踪信息(诸如关于用户的凝视点的信息)来确定在系统8中采取哪些动作。例如，凝视跟踪系统可以确定用户的凝视点指向第一对象而不是第二对象，并且可以通过假设用户在视觉上选择第一对象而不是第二对象来作出响应。手指输入和/或其他用户输入可以与输入(诸如在确定在系统8中采取哪些动作时的注视点信息)结合使用。
作为示例，考虑图13中所示类型的场景。在该示例中，设备24具有壳体，其中已安装凝视跟踪器112用于监测用户的眼睛104。设备24可包括诸如部件111的部件。例如，部件111可为显示器，其被配置为向用户显示图像。图像可包括一个或多个对象(例如，视觉物品)，诸如对象110。设备24 中的控制电路可使用凝视跟踪器112来确定用户查看部件111或其他对象的方向106。使用来自凝视跟踪器112和/或其他传感器(例如，深度传感器和/ 或确定用户距设备24的距离的其他传感器)的方向106和/或其他信息，设备24可以确定用户在组件111上的凝视点108的位置。例如，设备24可以确定用户当前是否正在查看虚拟对象(诸如图13的显示器上的对象110)。
具有凝视跟踪的另一示例性系统在图14中示出。在图14的示例中，设备24为头戴式设备，其具有被配置为被佩戴在用户的头部上的头戴式支撑结构116(有时称为壳体)。面向后方的凝视跟踪系统112可监视用户的眼睛 104以确定用户凝视的方向106。附加传感器(例如，深度传感器114)可用于确定用户的视场中的对象的位置和/或其他属性，诸如图14的对象110。对象110可为现实世界对象(例如，用户或其他人的身体部位，具有诸如一个或多个设备24的电路的无生命物体，诸如铅笔、球、瓶子、杯子、桌子、墙壁等的非电子无生命物体)或者可以是由设备24中的显示器呈现给用户的眼睛104的计算机生成的(虚拟)对象(例如，透视显示系统或显示系统，其中虚拟内容叠加在用相机114捕获的显示器上的现实世界图像上)。使用关于用户凝视方向106的信息和关于用户与对象110之间的相对位置的信息 (例如，来自设备24中的深度传感器的信息和/或关于向用户呈现的虚拟对象的信息)，设备24可以确定用户的凝视点108何时与对象110重合。
图13和图14中所示类型的布置允许用户与现实世界内容和计算机生成 (虚拟)内容进行交互。例如，用户可以通过将凝视点108指向该对象来选择感兴趣的对象(例如，超过预定的停留时间和/或直到接收到诸如手指输入的相关用户输入以确认选择为止)。使用手指设备10和/或系统8中的其他设备，用户可对所选择的对象执行操作。
作为第一示例，考虑其中对象110为计算机生成的图标的场景。在这种情况下，在对准凝视点108以与计算机生成的图标重叠并因此选择用于进一步操作的图标之后，用户可以在系统8中提供具有手指设备10和/或其他输入部件的命令，该命令指示系统8开始系统8中的相关操作。作为示例，如果图标是电子邮件图标，则系统8可在接收到来自用户的手指输入时，在设备24上启动电子邮件程序。
在第二示例中，对象110是现实世界对象，诸如非电子无生命对象(例如，当设备24戴在用户的头上时，由图14的设备24的用户检视的对象)。响应于检测到用户的凝视点108指向对象110并且响应于从用户接收到用户手指输入或其他合适的输入，设备24可生成与用户的视场中的对象110的全部或部分重叠的虚拟对象。其他操作可包括放大对象110的一部分，改变对象110的颜色或纹理，在对象110周围添加轮廓，添加与对象110对准的图形元素，和/或采取其他合适的动作。
在第三示例中，对象110是包括电路的现实世界对象。对象110可以是，例如，无线扬声器或其他电子设备24。响应于检测到用户的凝视点108指向对象110并且响应于用户手指输入的接收或来自用户的其他合适的输入，设备24可以调节扬声器的输出音量。如果与凝视点108重合的对象是诸如电视机的设备，则可响应于用户手指输入或其他输入来改变电视机的频道。这样，通过简单地凝视该对象并与这个凝视点选择进行协调来提供额外的用户输入，用户可以与用户家庭或办公室周围的电子设备或其他环境中的电子设备进行交互。可以使用手指设备10和/或其他输入设备(例如，鼠标或其他指示设备、处理语音命令的设备、键盘、蜂窝电话或平板设备中的触摸屏显示器等)来进行附加用户输入。凝视点停留时间、眨眼和其他眼睛活动也可以用作用户输入。
用户可在佩戴手指设备10的同时触摸用户环境中的物品。当使用者接触这些物品的表面时，利用设备10中的传感器进行的测量可用于确定物品的轮廓。然后可以将该信息与可选的附加传感器数据(例如深度传感器数据、相机图像等)组合以确定物品(诸如物品大小、物品形状、物品位置等)的属性。可以在设备10中用于测量物品轮廓的传感器的示例包括惯性测量单元，其可以在三维中跟踪设备10的取向、位置和/或移动，并且可以在设备10(其可以感测用户何时接触到对象的表面)中强制和/或触摸传感器。设备 10和/或设备24中的深度传感器也可用于采集用户环境中的对象的三维表面地图(表面轮廓信息)。
一旦系统8已采集到关于用户环境中的对象的轮廓的信息，就可创建与对象的表面部分地或完全重叠的虚拟内容和/或可生成与对象的表面相关联的触觉输出。作为示例，获知立方体表面的位置后，每当系统8确定用户的手指正触摸这些表面时，系统8可以在一个或多个立方体表面上覆盖虚拟内容，并且可以使用手指设备10中的触觉输出设备以将触觉输出应用于用户的手指40。如果需要，可以使用触觉输出设备为立方体或其他对象的不同表面提供不同的虚拟纹理。作为示例，每当用户的手指触摸立方体的第一侧面时，设备10中的控制电路能够提供具有相对高幅度和频率的第一驱动信号 D(参见例如图15的曲线图中的时间段118的驱动信号D，其中驱动信号D 已绘制为时间t的函数)。每当确定用户的手指正在触摸立方体的第二侧面时，可以利用手指设备10中的触觉输出组件向用户的手指提供不同的纹理。作为示例，如果用户在图15的时间段120期间触摸立方体的第二侧面，较低频率和较低幅度的驱动信号D可用于控制手指设备10中的触觉输出组件。结果，当触摸立方体的第一侧面时，用户将感觉到第一纹理，当触摸立方体的第二侧时，用户将感觉到第二纹理。如果需要，可以沿着对象的边缘向立方体和其他对象提供触觉效果，诸如触觉输出可产生形状和/或圆形边缘，可产生与柔顺结构相关联的效果，和/或可产生止动器，模拟运动阻力的力反馈，点击模拟凹入和/或释放具有物理点击感的按钮，和/或其他触觉效果。可以提供相应的视觉效果。
图16为示出用户如何用一个或多个手指设备10将手指40可按压在对象110的露出表面的简图，以用三维方式测量物体110的轮廓。这允许系统 8确定对象110的所有侧面的形状，其包括设备24中的相机或其他传感器可能看不到对象110的远端(例如，在设备24是头戴式设备，其中前置相机捕获现实世界的图像的情况下)。
对象110可以是没有电路的无生命对象(例如，除了诸如铅笔等的电子设备之外的对象)或者可以是电子设备。在图16的示例中，对象110是具有输入组件的电子设备(诸如可以采集用户输入的部件110′)。例如，对象 110可以是触摸屏显示器，并且部件110′可以是显示器中的触摸传感器。在另一个例示性构造中，对象110可以是通过用户采集指向输入的计算机鼠标，并且部件110′可以是计算机鼠标上可按压按钮(开关)。在另外的情形中，对象110可以是蜂窝电话、平板电脑、台式计算机或键盘，并且部件110′可以是触摸屏、触摸感应按钮、键盘按键或对象110上的其他输入设备。
在操作期间，系统8可任选地使用设备24(例如，头戴式显示设备)来显示覆盖在对象110的一些或全部的顶部上的图像。如果需要，可以使用叠加的虚拟内容将现实世界的对象(例如石头或普通的家用物品)变换为控制旋钮(例如，具有触觉止动器和/或其他触觉特征的可旋转旋钮，诸如触觉输出按钮区域，和具有由叠加在石头上的计算机生成图像的颜色、纹理和形状控制的外观)。这样，已断电的电子设备，没有电路的对象和/或用户环境中的其他不同对象可用作控制系统8的操作的输入设备。作为示例，虚拟控制器可由铅笔、擦除器、篮子、杯子、盘子、家具、鞋或其他衣物、箱子或其他外壳、纸型笔记本和/或可由用户触摸、旋转、移动和/或以其他方式操纵的其它物品来构造。
在一些布置中，当用户在与被虚拟内容叠加的对象交互期间佩戴手指设备10时，可以从用户采集来自设备10的手指输入和/或可以由设备10提供触觉输出。如果需要，可使用凝视跟踪系统、深度传感器、照相机和/或其他传感器来采集用户输入。如果需要，虚拟内容可叠加在对象的一些部分上，同时使其他部分不被覆盖。例如，笔记本中的页面可包含手写便笺。虚拟内容(诸如计算机生成的文本注释)可叠加在邻近便笺的页面的一部分上。笔记本中的页面可具有条形码(例如，QR代码)和/或其他识别信息以帮助识别哪些页面与相应的注释信息相关联(作为示例)。
在图17的例示性构造中，对象110为铅笔并且不包含任何电路。用户佩戴一个或多个手指设备10可围绕对象110的纵向轴线112旋转对象110。用户也可横向移动对象110(例如，对象110的尖端和/或末端)，如图17的横向运动124所指示。在对象110的移动期间，手指设备10可采集关于手指设备10和对象110之间的交互的信息，并因此可用于确定对象110的位置、取向和移动。
与对象110的不同交互可用于控制系统8中的不同对应功能。例如，对象110围绕轴线122的旋转可调节系统8中的体积或其他模拟属性，可旋转虚拟对象，和/或可在系统8的操作中产生其他变化。对象110的侧向移动，对象110的角取向的变化(例如，对象110的倾斜)和/或对象110的其他操纵可用于对系统8的操作产生其他调节(例如，虚拟对象移动，虚拟对象属性的调节，系统8中的硬件和/或软件属性的调节等)。对象110可用作杖、剑、操纵杆和/或虚拟世界中的物品。
在一些布置中，对象110中的一些或全部可叠加有虚拟内容。作为示例，图标、可移动控件和/或其他交互式视觉元素可以显示在所有对象110上或者在诸如例示性区域126的对象的选择区域中。作为示例，区域126可包括虚拟按钮阵列，当用户在佩戴手指设备10的同时将手指40按压在期望的虚拟按钮上时，可选择虚拟按钮的阵列。用户还可以向区域126或对象110的其他部分提供输入，诸如力输入(例如，当用户在用户的手指中挤压对象110时，区域126中的对象110的侧面上的压力不同)、滑动输入(例如，滑动手势)等。在一些布置中，可以通过分析手指40的位置和/或通过跟踪设备 24中的图像传感器采集的对象110的图像来跟踪对象110的尖端的位置。为了帮助校准对对象110的表面的形状和位置的视觉测量，用户可触摸对象 110的整个表面，同时用手指设备10进行对应的测量，从而确定对象110的表面轮廓，用户可使得对象110与其他系统部件进行交互(例如，通过将对象 110的顶端依靠在设备24中的力传感器，而对象110用相机成像等)。
如果需要，用户可与已用深度传感器、手指设备或其他感测布置进行扫描的虚拟对象进行交互(例如，以改变对象的颜色、尺寸、形状、外观等)。在一些布置中，设备24可使用图案识别来识别对象110，并且可相应地采取动作(例如，通过为识别的铅笔创建魔杖皮肤)。
在图18的构造中，系统8包括多个电子设备。图18的示例中的设备24A 是电子设备，诸如互联网连接的语音控制的扬声器或不包括能够显示广泛文本的显示器的其他设备。装置24B是头戴式设备，其具有由用户佩戴的头戴式支撑结构(外壳)，使得用户的眼睛104可检视由设备24B生成的内容和围绕设备24A的现实世界环境。
当与设备24A交互时，用户可以在设备24B上检视补充的计算机生成的内容，诸如基于文本的内容。例如，用户可佩戴一个或多个手指设备10。用户可能希望检视可用音乐迹线的列表。响应于来自手指设备10的手指命令或其他用户输入，设备24B可以(直接地或与设备24A通过无线通信)确定哪些迹线可用。用户可以提供具有手指设备10或其他输入设备的输入命令以在虚拟菜单选项和/或其他选项之间进行导航，从而选择期望的音乐类型以检视。然后，用户可以通过设备24B显示计算机生成的音乐曲目列表130。
作为示例，列表130可以与设备24A相邻地显示和/或与设备24A中的一些或全部进行叠加。列表130可以包含可选择的音乐曲目。用户可以通过用手指设备10朝向迹线做手势来选择期望的迹线(例如，通过将用户手指尖端放置在期望的迹线上超过预定的时间量等)，如在图18中的所选择的迹线 132所例示。响应于迹线132的选择，手指设备10可提供触觉输出(例如，点击确认已选择的迹线132)，设备24B可采取合适的动作(例如，通过加亮迹线，通过显示所选迹线上的信息等)，设备24A可采取合适的动作(例如，通过响应于接收到对迹线132的选择的用户手指输入来播放所选择的迹线)。设备24A、设备24B和手指设备10之间的无线通信和/或有线通信可用于协调系统的操作。在这种类型的环境中，如果需要，设备24A可用作主机设备，并且设备24B可用作联接至设备24A的输入-输出访问器(例如，除了输入- 输出手指设备10被佩戴在用户的手指上之外)和/或可使用其他联网设备布置。
如果需要，除使用手指输入和/或代替使用手指输入，可基于眼睛跟踪信息来做出选择计算机生成的列表中音乐迹线和其他项目或其他虚拟内容。例如，可响应于眼睛跟踪信息来显示列表130。例如，如果用户的凝视点朝向设备24A被引导超过预先确定的时间量，和/或在用户使用设备24A进行特定手指手势时被导向设备10，则可自动显示交互列表(诸如列表130)以允许用户进行音乐轨迹选择或其他合适的选择。
可以以这种方式控制任何设备24。例如，图18的设备24A可为电视机、平板电脑、膝上型计算机、蜂窝电话和/或家庭或办公室中的其他可调节装置 (例如，灯、恒温器、风扇、音响装置、灯罩等)。图18的系统8中的凝视跟踪器可安装在设备24A和/或设备24B上。如果需要，设备24A可包括附加部件(例如，显示器等)。
如图19所示，设备10可用于彼此进行交互(例如，以采集轻击、滑过、捏拉缩放手势输入等)。如果需要，设备10可测量当用户将一对手指40按压在一起时所产生的手指捏力的量。除了来自设备10的其他用户手指输入之外，用户可以动态地改变手指捏力的量以控制系统8的操作。作为示例，用户可通过在系统8上运行的绘图应用程序来调节在虚拟三维空间中绘制的线条的线宽(例如，在设备24上，诸如头戴式显示器或具有显示器的其他设备24)。
例示性三维线的曲线图在图20中示出。如图20所示，线136可具有线宽W，该线宽W随着沿线136的距离的函数而变化。线136的形状可以通过手势来确定(例如，由用户的手通过空气进行的三维手势)。可以使用设备 10中的惯性测量单元或其他传感器来采集这些运动(其有时可称为三维手指手势)。在用户在图20的三维工作空间上绘制线136的同时，用户可以用可变力将手指40夹在一起。由用户提供的夹紧力的量可由手指设备10测量 (例如，使用应变仪电路)，并可用于动态调整线宽W。例如，如果用户希望创建线136的宽线宽部分，则用户可以暂时增加施加到手指设备10的夹紧力。在捏合手势中，两个设备10同时接收增加的力测量，使得可以将捏合手势与涉及仅施加到单个手指设备10的力(诸如单指敲击)的手势区分开。
通常，可以使用手指捏合手势和/或其他手指输入来调整绘制线或其他屏幕上内容的任何合适属性(例如，画笔纹理和其他画笔属性、线条颜色、对象大小等)。使用捏合手势输入来调整线宽W是例示性的。来自设备10 的手指捏合手势和其他手指输入也可用于控制缩放功能(例如，通过执行三维捏合缩放操作来放大感兴趣的项目等)、旋转操作(例如，来旋转三维对象)、沿选定轴线移动物体和/或系统8中的其他操作。
图21是当用户使用手指设备10与设备24交互时可以呈现给设备24的用户的混合现实环境的简图。现实世界桌面154的表面可以叠加有计算机生成的对象，诸如虚拟水平表面140。虚拟竖直表面142可邻近虚拟水平表面 140而被显示(例如，以形成虚拟三维桌面)。如果需要，表面140和表面142 可以具有有助于将表面140和表面142与现实世界的对象区分开的颜色、纹理和其他可视属性。图标、列表、菜单选项、文本、静态和/或移动图像和/ 或可以在表面140和/或表面142上显示的其他虚拟对象。这些虚拟对象可由用户使用手指设备10来操纵。
在一些构造中，表面140和表面142不与任何现实世界对象相关联(例如，表面140和表面142可浮动)。在其他构造中，表面140和/或表面142 可与墙壁、桌子或其他非电子设备的表面对准和/或可与电子设备中的显示器的表面或其他部件对准。例如，表面142可以与桌面对准，使得用户的手指和设备10在桌子上的移动可以用于拖放，以及以其他方式移动和操纵在桌面上可视地显示的虚拟对象。同时，由于桌面的物理存在，用户的手指将接触桌子(并且如果需要，手指设备10将检测接触并提供触觉反馈)，使得用户在桌面上选择虚拟对象对用户来说将是自然的。如果需要，触控板或鼠标输入或设备24的其他输入可用于操纵诸如表面142的表面上的虚拟对象 (例如，移动对象等)。
如果需要，表面142可以与台式计算机中的显示器对准(例如，参见图 21的例示性可选结构160，其可以是具有壳体和壳体中的显示器的台式计算机)，表面140可以与位于桌面154上的平板电脑中的显示器对准(例如，参见图21的例示性可选结构162，其可以是具有壳体和壳体中的显示器的平板电脑)等。这些布置可用于允许设备10在用户的手指触摸台式计算机显示器上的对象或平板计算机上的显示器上时采集输入并提供触觉输出。在图21的示例中，表面140与表面154对准。这是例示性的。
用户可以与图21的环境中的虚拟内容进行交互，以控制系统8中的一个或多个相关设备24。作为示例，考虑诸如虚拟对象138的虚拟对象，其可以是电子邮件图标。希望在系统8中的设备24上检视电子邮件收件箱的用户可以通过用手指40朝向对象138在方向150上向内移动手指设备10来选择对象138。当用户的手指到达对象138的表面时，设备10中的触觉输出设备可提供适当的触觉反馈。在选择电子邮件图标之后，用户可将电子邮件图标从表面140移动到表面142(例如，使用拖放命令，使用轻弹手势，通过拾取和丢弃图标等)。这指示用户的系统(例如，计算机和/或与计算机进行无线通信的头戴式设备24)在表面142上显示电子邮件收件箱144。在已显示电子邮件收件箱144之后，用户可以将手指40放置在收件箱144的电子邮件列表中列出的电子邮件消息主题行146上，以选择并打开所需的电子邮件。
如果需要，用户无需直接与虚拟对象138进行交互。例如，虚拟指针(例如，一对虚拟手指)可出现在表面140上，并且可在用户的手指设备10例如沿方向152移动以抓握现实世界桌面156上的对象操纵位置154时由用户远程操纵。这样，虚拟手指可被引导以操纵虚拟对象138(例如，以将对象138 从表面140移动到表面142或以其他方式操纵呈现给用户的虚拟世界中的虚拟对象)。
当与虚拟对象(诸如虚拟对象138和列表144)进行交互时，除使用来自手指设备10的手指输入之外和/或代替使用手指设备的手指输入，用户的凝视点可用作用户输入。作为示例，当用户的凝视点指向对象138时，对象 138的外观可以被自动放大或以其他方式突出显示。然后，用户可以使用手指设备10抓住对象，或者可以提供其他手指输入，使得对象可以移动到表面142。这样，可以使用凝视点信息和来自设备10的手指输入来操纵与现实世界(和/或现实世界的实时图像)叠加的虚拟对象，诸如虚拟对象138。
图21的装置中的图像传感器或其他电路可用作手部跟踪系统。例如，图21的结构160可以为具有图像传感器的台式计算机，和/或图21的结构 162可以是具有图像传感器的平板计算机或其他电子设备(例如，参见设备 24)。图像传感器可用于捕获用户手的图像(例如，包括手指4的手)。通过处理该图像数据，系统8可跟踪用户的手(和手指40)的位置。系统8可例如用于确定用户的手与显示器的距离并且监视手相对于显示器的水平和垂直移动。通过使用手部跟踪系统来确定用户的手的当前位置，可增强计算机或其他设备24可确定手指设备10和手指40的位置的准确度。
例如，基于图像的手部跟踪可以单独使用，或与来自设备10的手指位置数据组合使用，以确定设备10和用户的手指相对于包含图像传感器和/或手部跟踪系统(例如，设备24)的其他电路的设备的位置。然后，可使用设备10来采集指示触摸事件的力测量或其他用户输入，其中用户的手指接触结构160和/或结构162中的显示器的表面(例如，以选择所感兴趣的虚拟对象等)。可以响应于介于用户手指的露出表面和显示表面之间所检测到的触摸接触来提供触觉输出。这样，可以精确地跟踪诸如由于手移动引起的设备 10的移动的粗略移动(例如，仅使用基于图像的手部跟踪系统或其他手动跟踪器或者与来自设备10的手指和手部移动数据进行组合使用)，而手指设备10能够使用力传感器或其他传感器来敏感地检测触摸事件(例如，轻击显示器的表面和其他精细运动，诸如与触摸相关联的运动，从而选择虚拟对象，使得手指40的手移动或其他移动可用于在显示器上移动所选择的虚拟对象)。在使用来自手部跟踪系统中的图像传感器或其他传感器和/或使用手指设备位置数据的手部位置测量来操纵显示的对象时，手指设备10可以使用触觉输出设备来提供相关联的触觉输出，诸如与触摸事件相关联的触觉输出。
如该示例所演示，用户可通过移动手指设备10(是否使用设备24中的手部跟踪系统、设备10中的位置传感器和/或手部跟踪和位置传感器测量二者来检测手指设备10的位置)来操纵虚拟对象(例如，用户可选择和移动对象，可绘制线等)。例如，用户可在设备24的显示器上选择、拖动和放置虚拟对象。
当用户与系统8进行交互时，来自传感器的用户输入可以实时地从设备10无线传送到设备24，并且可以从设备10内的控制电路接收用于设备10 中的触觉输出设备的控制信号。用于触觉输出设备的控制信号能够源自设备 10内和/或基于来自设备24的无线接收信号由设备10内的控制电路提供给触觉输出设备。
图22是系统8的例示性构造的示意图。在图22的示例中，系统8包括第一设备，诸如手指设备10，其经由路径38与外部电子设备(主机)24进行无线通信。设备10可具有存储和处理电路(诸如控制器170和存储器172) 和/或用于控制设备10的操作的其他控制电路。在操作期间，设备10的控制电路(参见例如图1的控制电路12)可使用通信电路(参见例如图1的通信电路 14)来与电子设备24进行通信。例如，控制器170可以使用诸如
Figure DEST_PATH_GDA0002377743090000301
收发器电路194和天线196的无线收发器电路来与电子设备24进行无线通信。
装置10的功率可使用储能设备(诸如电池178或超级电容器(作为实例)) 来提供。可以使用通过端口182中的连接器提供的功率和/或使用端口182 中的无线功率接收电路从无线功率发射器无线接收的功率来对电池178进行充电。充电电路180可向电池178提供所接收的功率以对电池178充电和/ 或将所接收的功率引导至设备10中的负载电路。
增强相机和其他跟踪设备跟踪设备10的位置和方向的能力，控制器170 可以使用发光二极管驱动电路184来接通一组发光二极管186(例如，一组四个发光二极管，每个发光二极管位于设备10的壳体的相应角落处)。控制器170可以通过使用压电驱动器电路174驱动压电致动器146来向用户的手指提供触觉输出，或者可以使用其他触觉输出设备20来提供触觉输出。
设备10可采集来自传感器(参见，例如图1的传感器18)的输入，诸如加速度计、陀螺仪200和罗盘202。该输入可向控制器170提供关于设备10 的取向和移动的信息。来自一个或多个应变仪190和其他传感器192(例如，力感测电阻器)的输入可使用模数转换器电路188来采集。来自应变仪190 和其他传感器的信息可指示壳体44上的力，并且因此可用于测量手指40的侧向运动(例如，导致壳体44弯曲的运动，使得可使用应变仪来检测这种弯曲、使得手指40压靠在力感测电阻器上的运动等)。使用多个应变仪190和/ 或其他组的多个传感器可有助于使系统8对故障更稳健。来自多个应变仪 190的输入也可以由控制器170使用以确定触摸位置和/或触摸方向。如果需要，可采集来自电容式触摸传感器或基于力传感器的触摸传感器的触摸输入。用户输入(例如，使用运动和取向传感器和/或诸如应变仪电路和/或其他力传感器的其他传感器采集的手指输入)可在本地处理和/或可无线地传输到24设备以进行处理。
蓝牙电路194可以符合诸如通用串行总线(USB)人机接口设备(HID) 标准的标准。在操作期间，控制器170可处理原始传感器数据以检测轻击和其他手势并检测设备10的指向移动。已检测到的用户输入能够无线地传输至电子设备24。利用另一个例示性布置，控制器170将所测量的传感器数据发送至电子设备24进行处理(例如，用于轻击识别和其他手势处理)。如果需要，可以使用其他布置。
当控制器170检测到轻击和其他用户输入事件时，控制器170可使用驱动器174和致动器176向用户提供触觉输出。作为示例，例如，这种触觉输出可能适用于这样情况：其中希望向进行轻击输入或用设备10进行其他输入的用户提供相应的触觉反馈。在使用设备24处的处理电路来处理轻击和其他用户输入设备的场景下，设备24可以无线地引导控制器170以使用驱动器174和压电致动器176向用户的手指提供触觉输出。触觉输出波形(参见例如图15)可存储在存储器172中。
如果需要，可使用手指设备10和/或系统8中的其他装置从多个用户采集输入。也可使用手指设备10和/或系统8中的其他装置向多个用户提供输出。在一些布置中，可以从在虚拟环境中彼此交互的多个用户采集来自手指设备10和/或系统8中的其他装置的用户输入(例如，游戏、社交应用或在线环境中的其他应用，用户经由本地无线通信(例如，游戏、社交应用程序或在线环境中的其他应用程序、本地环境(其中用户经由本地无线通信进行的交互，诸如通信布置，其中系统8中的装置通过无线局域网和/或对等无线连接)或其他协作环境))。在用户之间的这些交互期间，可使用手指设备10 和/或系统8中的其他装置向用户提供触觉输出和/或其他输出。
设备10中的控制电路12和/或设备24中的控制电路26可以响应来自多个用户的输入采取任何合适的动作。例如，如果多个用户正在玩游戏和/或在社交应用程序中进行交互，则系统8中的控制电路可采集来自每个用户的游戏和/或社交应用程序输入，并且可在适当时向一个或多个适当的用户提供触觉输出或其他输出(例如作为一种通信形式，作为与游戏内容相关的反馈等)。作为另一个示例，如果两个用户在社交上进行交互(例如，通过握手)，则系统8中的控制电路可采集指示握手的用户的握手的用户输入，并且作为响应，可采取诸如提供触觉输出以向这些用户中的每一个确认名片信息或其他个人信息已被无线地交换(例如，指示已传输的联系人信息的第一类型的触觉输出和/或指示已接收到联系人信息的类型的触觉输出)。如果需要，握手和其他社交互动可以在线进行，并且触觉输出或其他输出相应地在系统8中提供的设备10和/或其他设备进行(例如，作为在线握手或其他社交互动期间的反馈)。
在一些布置中，系统8中的设备10和/或其他装置可由残疾人使用。作为示例，考虑视力有限的用户。该用户可在系统8上运行应用程序(例如，在控制电路12和/或控制电路26上)。应用程序可使用传感器18和/或传感器 32来感测用户何时位于对象(例如，用户环境中的物理元件，诸如墙壁、门或台阶)附近。飞行时间光学传感器、射频传感器和/或用于范围检测的其他传感器(例如，远程接近传感器)能够用于在用户正与用户的环境进行交互时检测的外部对象。响应于检测到外部对象，可以用手指设备10和/或系统8 中的其他装置向用户提供相应的触觉输出、音频输出和/或其他输出。作为示例，系统8可用于为任意长度的无签名人员实施虚拟手杖。当系统8检测到台阶或其他障碍时，触觉反馈或其他输出可通知用户步骤台阶的存在，使得用户能够采取适当的动作。
如果需要，可以使用头戴式设备(例如，装置24可包括头戴式设备) 向视力受限或其他用户提供触觉输出、音频输出和/或视觉输出，该头戴式设备具有或不具有来自系统8中的手指设备10的伴随输出。当检测到用户视野之外的障碍物或人时，例如，系统8可以提供触觉振动以警告用户或者可以提供其他输出，所述其他输出向头戴式设备和/或手指设备的佩戴者指示障碍物或人是否存在。也可以以这种方式向具有听力受损的用户提供触觉输出和/或其他输出，已指示存在外部对象、用户在场的人。
根据一种实施方案，提供了一种系统，该系统包括显示器、控制电路，该控制电路被配置为接收佩戴在用户的手指上的手指设备采集的手指输入，同时使手指尖端处的指垫露出；和凝视跟踪器，该凝视跟踪器被配置为产生与用户的眼睛相关联的凝视点信息，该控制电路被配置为使用显示器来显示叠加在现实世界内容上的虚拟内容，并且控制电路被配置为基于手指输入和凝视点信息使用显示器来显示虚拟内容。
根据另一种实施方案，手指输入包括用手指设备中的应变仪电路采集的应变仪电路输入，并且包括用手指设备中的惯性测量单元采集的惯性测量单元输入，该虚拟内容与现实世界内容中的现实世界对象相关联，并且控制电路被配置为使用显示器在虚拟内容中显示可选项目。
根据另一种实施方案，现实世界对象包括电子设备，并且控制电路被配置为使用显示器在列表中显示可选项目。
根据另一种实施方案，该手指设备包括触觉输出设备，并且控制电路被配置为在手指设备被用于选择可选项目时采集手指输入以及使用触觉输出设备向手指提供相应的触觉输出。
根据另一种实施方案，该系统包括安装有显示器的头戴式支撑结构，凝视跟踪器被安装到头戴式支撑结构。
根据另一种实施方案，控制电路被配置为接收来自附加手指设备的附加手指输入，并且控制电路被配置为基于来自手指设备的手指输入和来自附加手指设备的附加手指输入来显示虚拟内容。
根据一种实施方案，提供一种可用手指设备操作的头戴式设备，该手指设备被配置为从用户的手指采集手指输入，该头戴式设备包括控制电路，该控制电路被配置为接收来自手指设备的手指输入；头戴式支撑结构；显示器，该显示器可由头戴式支撑结构支撑；和凝视跟踪器，该凝视跟踪器被配置为采集凝视点信息，该控制电路被配置为使用显示器显示叠加在现实世界内容上并且基于凝视点信息和手指输入的虚拟内容。
根据另一种实施方案，用户具有眼睛，凝视点信息与用户的眼睛相关联，并且控制电路包括无线通信电路，该无线通信电路被配置为无线接收来自手指设备的手指输入。
根据另一种实施方案，手指设备包括惯性测量单元，该惯性测量单元被配置为当手指与虚拟内容交互时采集手指输入，并且控制电路被配置为基于与惯性测量单元所采集的手指输入使用显示器来显示虚拟内容。
根据另一种实施方案，头戴式支撑结构被配置为支持凝视跟踪器，凝视跟踪器在用户观看电子设备时采集凝视点信息，并且虚拟内容包括与电子设备相关联的列表。
根据一种实施方案，提供了一种用头戴式设备操作的手指设备，该头戴式设备被配置为显示在现实世界的对象上显示虚拟内容，该手指设备包括壳体，该壳体被配置为在手指尖端处联接到手指，同时使手指尖端处的指垫露出；触觉输出设备，该触觉输出设备联接到壳体；传感器电路，该传感器电路被配置为在手指与所显示的虚拟内容交互时采集手指位置信息；和控制电路，该控制电路被配置为基于手指位置信息使用触觉输出设备向手指提供触觉输出。
根据另一种实施方案，传感器电路包括惯性测量单元，该惯性测量单元被配置为当用户正在与被虚拟内容叠加的现实世界对象进行交互时采集位置信息。
根据另一种实施方案，传感器电路包括应变仪电路，该应变仪电路被配置为当手指接触现实世界物体的表面时，采集与手指产生的力相关联的力测量，同时与所显示的虚拟内容进行交互。
根据另一种实施方案，该传感器电路包括超声波传感器。
根据另一种实施方案，该传感器电路包括图像传感器。
根据另一种实施方案，该传感器电路包括深度传感器。
在另一种实施方案，控制电路被配置为向触觉输出设备提供触觉输出，同时手指在虚拟内容中的交互式列表中选择项目。
根据另一种实施方案，现实世界对象不包含电路，并且传感器电路被配置为当手指与所显示的虚拟内容交互时采集手指位置信息，同时移动真实对象。
根据另一种实施方案，控制电路被配置为基于手指位置信息，通过使用触觉输出设备向不同区域中的手指提供不同的触觉输出而向手指提供现实世界中不同区域的不同纹理。
在另一种实施方案，虚拟内容包括虚拟对象和控制电路，该控制电路被配置为响应于手指位置信息而移动虚拟对象。
根据一种实施方案，提供了一种配置为佩戴在用户的手指上的手指设备，该手指设备包括壳体，该壳体被配置为联接到手指尖端，同时使手指尖端处的指垫露出；触觉输出设备，该触觉输出设备联接至壳体；触摸传感器，该触摸传感器被配置为沿壳体的外部表面采集触摸输入；和控制电路，该控制电路被配置为基于所采集的触摸输入使用触觉输出设备向手指提供触觉输出。
根据另一种实施方案，触摸传感器包括沿着壳体延伸的电容式触摸传感器电极阵列，该触摸传感器被配置为从触摸触摸传感器的附加手指采集触摸输入，并且控制电路被配置为当附加手指沿着电容式触摸传感器电极阵列移动时通过提供触觉输出来创建触觉止动器。
根据另一种实施方案，壳体被配置为容纳手指不会被覆盖手手指尖端端处的指垫，并且触摸传感器具有沿壳体延伸的传感器元件阵列。
根据另一种实施方案，传感器元件包括电容式触摸传感器电极。
根据另一种实施方案，手指设备包括联接到壳体的传感器，该传感器采集关于手指与外部对象进行交互的信息。
根据另一种实施方案，联接到壳体的传感器包括选自惯性测量单元和应变仪组成的组的传感器。
根据另一种实施方案，联接到壳体的传感器包括图像传感器。
根据另一种实施方案，联接到壳体的传感器包括深度传感器。
根据另一种实施方案，联接到壳体的传感器包括联接到壳体中的细长臂的应变仪。
根据另一种实施方案，手指设备包括传感器元件，该传感器元件被配置为从手指上与壳体相邻并且不与壳体叠加的区域采集触摸输入。
根据另一种实施方案，手指设备包括力传感器，该力传感器被配置成当手指按压另一手指时从手指采集手指捏压输入。
根据一种实施方案，提供了一种可用无线电子设备操作的手指设备，并且被配置为在从用户的第二手指接收触摸输入的同时佩戴在用户的第一手指上，该手指设备包括壳体，该壳体被配置成联接到第一手指；触摸传感器，该触摸传感器被配置为从第二手指沿着壳体的外部表面采集触摸输入；和控制电路，该控制电路被配置为将采集的触摸输入无线地传输到无线电子设备。
根据另一种实施方案，手指设备包括触觉输出设备，该触觉输出设备被配置为提供触觉输出。
根据另一种实施方案，控制电路被配置为在第二手指沿着触摸传感器移动时使用触觉输出设备来创建止动器。
根据另一个实施方案，手指设备包括传感器，该传感器被配置为采集与第一手指相关联的手指输入。
根据另一种实施方案，控制电路被配置为基于手指输入使用触觉输出设备向第一手指提供触觉输出。
根据另一种实施方案，传感器包括加速度计，并且手指输入包括利用加速度计感测的手指运动。
根据另一种实施方案，传感器包括惯性测量单元。
根据另一种实施方案，传感器包括力传感器。
根据另一种实施方案，传感器包括超声波传感器。
根据另一种实施方案，传感器包括光学传感器。
根据另一种实施方案，壳体被配置为联接到第一手指的尖端，同时使该第一手指尖端处的指垫露出。
根据另一种实施方案，壳体包括U形壳体，该U形壳体具有通过顶部联接的第一侧面和第二侧面，并且触摸传感器被配置为在第一侧面、第二侧面和顶部上采集触摸输入。
根据另一种实施方案，无线电子设备包括头戴式设备，该头戴式设备被配置为在触摸传感器采集触摸输入时显示与外部表面叠加的虚拟内容。
根据另一种实施方案，壳体具有带有应变仪的可弯曲臂，并且触摸传感器与可弯曲臂叠加。
根据一种实施方案，提供了一种可用无线电子设备操作的手指设备，该手指设备被配置为佩戴在用户的第一手指上，同时接收来自用户的第二手指的触摸输入，该手指设备包括壳体，该壳体被配置为联接到第一手指；传感器，该传感器被配置为从第二手指采集手指输入，第一手指上的区域不与壳体叠加；和控制电路，该控制电路被配置为将所采集的手指输入无线地传输到无线电子设备。
根据另一种实施方案，手指设备包括正交的第一方向传感器、第二方向传感器和第三方向传感器，控制电路被配置为从第一方向传感器、第二方向传感器和第三方向传感器采集关于第一手指的取向的信息。
根据另一种实施方案，第一传感器、第二传感器和第三传感器包括射频传感器。
根据另一种实施方案，壳体具有在第一手指的手指尖端部分前方突出的部分，并且包括传感器电路，该传感器电路被配置为采集关于第一手指的移动的信息。
在根据一种实施方案，提供了一种可用具有显示器的计算机操作的手指设备，该手指设备包括壳体，该壳体被配置为佩戴在用户的手指上；触觉输出设备；传感器，该传感器被配置为在用户的手指触摸显示器时采集用户输入；无线通信电路，该无线通信电路被配置为将用户输入传输到计算机；和控制电路，该控制电路被配置为当手指的露出表面触摸显示器时使用触觉输出设备向用户的手指提供触觉输出。
根据另一种实施方案，计算机包括平板电脑，显示器被配置为显示对象，并且控制电路被配置为在手指触摸对象时使用传感器来采集用户输入。
根据另一种实施方案，手指设备包括触摸传感器，该触摸传感器被配置为沿着壳体的外部表面采集触摸输入，控制电路被配置为基于所采集的触摸输入使用触觉输出设备向手指提供触觉输出。
根据另一种实施方案，计算机包括台式计算机，显示器被配置为显示对象，并且控制电路被配置为在手指触摸对象时使用传感器来采集用户输入。
根据另一种实施方案，手指设备包括触摸传感器，该触摸传感器被配置为沿着壳体的外部表面采集触摸输入，控制电路被配置为基于所采集的触摸输入使用触觉输出设备向手指提供触觉输出。
根据一种实施方案，提供了一种可用手指设备操作的电子设备，该手指设备被配置为能够佩戴在用户的手的手指上，并且具有被配置为采集用户输入的传感器，该手指设备包括显示器；手部跟踪系统，该手部跟踪系统被配置为测量用户的手的移动；无线通信电路，该无线通信电路被配置为接收用手指设备中的传感器采集的用户输入；和控制电路，该控制电路被配置为响应于所测量的手的移动并响应于用户输入而在显示器上移动对象。
根据一种实施方案，提供了一种系统，该系统包括显示器、控制电路，该控制电路被配置为接收佩戴在用户的手指上的手指设备采集的手指输入，同时使手指尖端处的指垫露出；和凝视跟踪器，该凝视跟踪器被配置为产生与用户的眼睛相关联的凝视点信息，该控制电路被配置为使用显示器来显示叠加在现实世界内容上的虚拟内容，并且控制电路被配置为基于手指输入和凝视点信息使用显示器来显示虚拟内容。
根据另一种实施方案，手指输入包括用手指设备中的应变仪电路采集的应变仪电路输入，并且包括用手指设备中的惯性测量单元采集的惯性测量单元输入，该虚拟内容与现实世界内容中的现实世界对象相关联，并且控制电路被配置为使用显示器在虚拟内容中显示可选项目。
根据另一种实施方案，现实世界对象包括电子设备，并且控制电路被配置为使用显示器在列表中显示可选项目。
根据另一种实施方案，该手指设备包括触觉输出设备，并且控制电路被配置为在手指设备被用于选择可选项目时采集手指输入以及使用触觉输出设备向手指提供相应的触觉输出。
根据另一种实施方案，该系统包括安装有显示器的头戴式支撑结构，凝视跟踪器被安装到头戴式支撑结构。
根据另一种实施方案，控制电路被配置为接收来自附加手指设备的附加手指输入，并且控制电路被配置为基于来自手指设备的手指输入和来自附加手指设备的附加手指输入来显示虚拟内容。
根据一种实施方案，提供了一种可用手指设备操作的头戴式设备，该手指设备被配置为从用户的手指采集手指输入，该头戴式设备包括控制电路，该控制电路被配置为从手指设备接收手指输入；头戴式支撑结构；显示器，该显示器由头戴式支撑结构支撑；和凝视跟踪器，该凝视跟踪器被配置为采集凝视点信息；该控制电路被配置为使用显示器来显示虚拟内容，该虚拟内容叠加在现实世界内容上，并且基于凝视点信息和手指输入。
根据另一种实施方案，用户具有眼睛，凝视点信息与用户的眼睛相关联，并且控制电路包括无线通信电路，该无线通信电路被配置为无线接收来自手指设备的手指输入。
根据另一种实施方案，手指设备包括惯性测量单元，该惯性测量单元被配置为当手指与虚拟内容交互时采集手指输入，并且控制电路被配置为基于与惯性测量单元所采集的手指输入使用显示器来显示虚拟内容。
根据另一种实施方案，头戴式支撑结构被配置为支持凝视跟踪器，凝视跟踪器在用户观看电子设备时采集凝视点信息，并且虚拟内容包括与电子设备相关联的列表。
根据一种实施方案，一种可用头戴式设备操作的手指设备，该头戴式设备被配置为在现实世界的对象上显示虚拟内容，提供的手指设备包括壳体，该壳体被配置为在手指尖端处联接到手指，同时使手指尖端处的指垫露出；触觉输出设备，该触觉输出设备耦接到壳体；传感器电路，该传感器电路被配置为在手指与所显示的虚拟内容交互时采集手指位置信息；和控制电路，该控制电路被配置为基于手指位置信息使用触觉输出设备向手指提供触觉输出。
根据另一种实施方案，传感器电路包括惯性测量单元，该惯性测量单元被配置为当用户正在与被虚拟内容叠加的现实世界对象进行交互时采集位置信息。
根据另一种实施方案，传感器电路包括应变仪电路，该应变仪电路被配置为当手指接触现实世界物体的表面时，采集与手指产生的力相关联的力测量，同时与所显示的虚拟内容进行交互。
根据另一种实施方案，该传感器电路包括超声波传感器。
根据另一种实施方案，该传感器电路包括图像传感器。
根据另一种实施方案，该传感器电路包括深度传感器。
在另一种实施方案，控制电路被配置为在手指正在选择虚拟内容中的交互列表中的项目时向触觉输出设备提供触觉输出。
根据另一种实施方案，现实世界对象不包含电路，并且传感器电路被配置为当手指与所显示的虚拟内容交互时采集手指位置信息，同时移动真实对象。
根据另一种实施方案，控制电路被配置为基于手指位置信息，通过使用触觉输出设备向不同区域中的手指提供不同的触觉输出而向手指提供现实世界中不同区域的不同纹理。
在另一种实施方案，虚拟内容包括虚拟对象和控制电路，该控制电路被配置为响应于手指位置信息而移动虚拟对象。
根据一种实施方案，提供了一种配置为佩戴在用户的手指上的手指设备，该手指设备包括壳体，该壳体被配置为联接到手指尖端，同时使手指尖端处的指垫露出；触觉输出设备，该触觉输出设备联接至壳体；触摸传感器，该触摸传感器被配置为沿壳体的外部表面采集触摸输入；和控制电路，该控制电路被配置为基于所采集的触摸输入使用触觉输出设备向手指提供触觉输出。
根据另一种实施方案，触摸传感器包括沿着壳体延伸的电容式触摸传感器电极阵列，该触摸传感器被配置为从触摸触摸传感器的附加手指采集触摸输入，并且控制电路被配置为当附加手指沿着电容式触摸传感器电极阵列移动时通过提供触觉输出来创建触觉止动器。
根据另一种实施方案，壳体被配置为容纳手指不会被覆盖手手指尖端端处的指垫，并且触摸传感器具有沿壳体延伸的传感器元件阵列。
根据另一种实施方案，传感器元件包括电容式触摸传感器电极。
根据另一种实施方案，手指设备包括联接到壳体的传感器，该传感器采集关于手指与外部对象进行交互的信息。
根据另一种实施方案，联接到壳体的传感器包括选自惯性测量单元和应变仪组成的组的传感器。
根据另一种实施方案，联接到壳体的传感器包括图像传感器。
根据另一种实施方案，联接到壳体的传感器包括深度传感器。
根据另一种实施方案，联接到壳体的传感器包括联接到壳体中的细长臂的应变仪。
根据另一种实施方案，所限定的手指设备包括传感器元件，该传感器元件被配置为从手指上邻近壳体并且不被壳体重叠的区域采集触摸输入。
根据另一种实施方案，手指设备包括力传感器，该力传感器被配置成当手指按压另一手指时从手指采集手指捏压输入。
根据一种实施方案，提供了一种可用无线电子设备操作的手指设备，并且被配置为在从用户的第二手指接收触摸输入的同时佩戴在用户的第一手指上，该手指设备包括壳体，该壳体被配置成联接到第一手指；触摸传感器，该触摸传感器被配置为从第二手指沿着壳体的外部表面采集触摸输入；和控制电路，该控制电路被配置为将采集的触摸输入无线地传输到无线电子设备。
根据另一种实施方案，手指设备包括触觉输出设备，该触觉输出设备被配置为提供触觉输出。
根据另一种实施方案，控制电路被配置为在第二手指沿着触摸传感器移动时使用触觉输出设备来创建止动器。
根据另一个实施方案，手指设备包括传感器，该传感器被配置为采集与第一手指相关联的手指输入。
根据另一种实施方案，控制电路被配置为基于手指输入使用触觉输出设备向第一手指提供触觉输出。
根据另一种实施方案，传感器包括加速度计，并且手指输入包括利用加速度计感测的手指运动。
根据另一种实施方案，传感器包括惯性测量单元。
根据另一种实施方案，传感器包括力传感器。
根据另一种实施方案，传感器包括超声波传感器。
根据另一种实施方案，传感器包括光学传感器。
根据另一种实施方案，壳体被配置为联接到第一手指的尖端，同时使该第一手指尖端处的指垫露出。
根据另一种实施方案，壳体包括U形壳体，该U形壳体具有通过顶部联接的第一侧面和第二侧面，并且触摸传感器被配置为在第一侧面、第二侧面和顶部上采集触摸输入。
根据另一种实施方案，无线电子设备包括头戴式设备，该头戴式设备被配置为在触摸传感器采集触摸输入时显示与外部表面叠加的虚拟内容。
根据另一种实施方案，壳体具有带有应变仪的可弯曲臂，并且触摸传感器与可弯曲臂叠加。
根据一种实施方案，一种可用无线电子设备操作的手指设备，并且该手指设备被配置为在接收来自用户的第二手指的触摸输入的同时佩戴在用户的第一手指上，该手指设备包括壳体，该壳体被配置为联接到第一手指；传感器，该传感器被配置为在第一手指上不与壳体重叠的区域内采集来自第二手指的手指输入；和控制电路，该控制电路被配置为将所采集的手指输入无线地传输到无线电子设备。
根据另一种实施方案，手指设备包括正交的第一方向传感器、第二方向传感器和第三方向传感器，控制电路被配置为从第一方向传感器、第二方向传感器和第三方向传感器采集关于第一手指的取向的信息。
根据另一种实施方案，第一传感器、第二传感器和第三传感器包括射频传感器。
根据另一种实施方案，壳体具有在第一手指的手指尖端部分前方突出的部分，并且包括传感器电路，该传感器电路被配置为采集关于第一手指的移动的信息。
根据一种实施方案，提供了一种可用具有显示器的计算机操作的手指设备，该手指设备包括壳体，该壳体被配置为佩戴在用户的手指上；触觉输出设备；传感器，该传感器被配置在用户的手指触摸显示器时采集用户输入；无线通信电路，该无线通信电路被配置为将用户输入传输到计算机；和控制电路，该控制电路被配置为当手指的露出表面触摸显示器时使用触觉输出设备向用户的手指提供触觉输出。
根据另一种实施方案，计算机包括平板电脑，显示器被配置为显示对象，并且控制电路被配置为在手指触摸对象时使用传感器来采集用户输入。
根据另一种实施方案，手指设备包括触摸传感器，该触摸传感器被配置为沿着壳体的外部表面采集触摸输入，控制电路被配置为基于所采集的触摸输入使用触觉输出设备向手指提供触觉输出。
根据另一种实施方案，计算机包括台式计算机，显示器被配置为显示对象，并且控制电路被配置为在手指触摸对象时使用传感器来采集用户输入。
根据另一种实施方案，手指设备包括触摸传感器，该触摸传感器被配置为沿着壳体的外部表面采集触摸输入，控制电路被配置为基于所采集的触摸输入使用触觉输出设备向手指提供触觉输出。
根据一种实施方案，一种可用手指设备操作的电子设备，该手指设备被配置为佩戴在用户的手的手指上，该电子设备具有传感器，该传感器配置为采集用户输入；提供的电子设备包括显示器、手部跟踪系统，该手部跟踪系统被配置为测量用户的手的移动；无线通信电路，该无线通信电路被配置为接收用手指设备中的传感器采集的用户输入，和控制电路，该控制电路被配置为响应于所测量的手的移动并响应于用户输入而在显示器上移动对象。
前述内容仅为示例性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种计算机系统，包括：
显示器；
控制电路，所述控制电路被配置为接收由佩戴在用户手指上的手指设备所采集的手指输入，同时使手指尖端处的指垫露出；以及
凝视跟踪器，所述凝视跟踪器被配置为产生与所述用户眼睛相关联的凝视点信息，其中所述控制电路被配置为使用所述显示器来显示叠加在现实世界内容上的虚拟内容，并且其中所述控制电路被配置为基于所述手指输入和所述凝视点信息使用所述显示器来显示所述虚拟内容。
2.根据权利要求1所述的计算机系统，其中所述手指输入包括应变仪电路输入，所述应变仪电路输入用所述手指设备中的应变仪电路来采集，并且所述手指输入包括惯性测量单元输入，所述惯性测量单元输入用所述手指设备中的惯性测量单元来采集，其中所述虚拟内容与现实世界内容中的现实世界对象相关联，其中所述控制电路被配置为使用所述显示器来显示所述虚拟内容中的可选项目，其中所述现实世界对象包括电子设备并且其中所述控制电路被配置为使用所述显示器来显示在列表中的可选项目，其中所述手指设备包括触觉输出设备并且其中当所述手指设备被用于选择可选项目和正在使用所述触觉输出设备向手指提供相应的触觉输出时，所述控制电路被配置为采集手指输入，所述系统还包括：
头戴式支撑结构，在所述头戴式支撑结构内安装所述显示器，其中所述凝视跟踪器安装至所述头戴式支撑结构。
3.根据权利要求1所述的计算机系统，其中所述控制电路被配置为接收来自附加手指设备的附加手指输入，并且其中所述控制电路被配置为基于来自所述手指设备的所述手指输入和来自所述附加手指设备的所述附加手指输入来显示所述虚拟内容。
4.一种可用手指设备操作的头戴式设备，所述手指设备被配置为采集来自用户手指的手指输入，所述头戴式设备包括：
控制电路，所述控制电路被配置为接收来自所述手指设备的所述手指输入；
头戴式支撑结构；
显示器，所述显示器由所述头戴式支撑结构支撑；以及
凝视跟踪器，所述凝视跟踪器被配置为采集凝视点信息，其中所述控制电路被配置为使用所述显示器来显示叠加在现实世界内容上并且基于所述凝视点信息和所述手指输入的虚拟内容。
5.根据权利要求4所述的头戴式设备，其中所述用户具有眼睛，其中所述凝视点信息与所述用户的眼睛相关联，其中所述控制电路包括无线通信电路，所述无线通信电路被配置为无线接收来自所述手指设备的所述手指输入，其中所述手指设备包括惯性测量单元，所述惯性测量单元被配置为当所述手指与所述虚拟内容交互时采集所述手指输入，并且其中所述控制电路被配置为基于用所述惯性测量单元采集所述手指输入来使用所述显示器显示所述虚拟内容。
6.根据权利要求4所述的头戴式设备，其中所述头戴式支撑结构被配置为支撑所述凝视跟踪器，其中所述凝视点信息由所述凝视跟踪器在所述用户正在查看电子设备时采集，并且其中所述虚拟内容包括与所述电子设备相关联的列表。
7.一种可用头戴式设备操作的手指设备，所述头戴式设备被配置为在现实世界对象上显示虚拟内容，所述手指设备包括：
壳体，所述壳体被配置为联接到所述手指尖端处的手指，同时使手指尖端处的指垫露出；
触觉输出设备，所述触觉输出设备联接到所述壳体；
传感器电路，所述传感器电路被配置为当所述手指与所显示的虚拟内容交互时采集手指位置信息；以及
控制电路被配置为基于所述手指位置信息使用所述触觉输出设备向所述手指提供触觉输出。
8.根据权利要求7所述的手指设备，其中所述传感器电路包括选自由以下项组成的组的电路：惯性测量单元，所述惯性测量单元被配置为在所述用户正与被所述虚拟内容叠加的所述现实世界对象进行交互时采集所述位置信息；应变仪电路，所述应变仪电路被配置为当所述手指接触所述现实世界对象的表面，同时与显示的虚拟内容交互时，采集与所述手指产生的力相关联的力测量；超声波传感器和图像传感器以及深度传感器，并且其中所述控制电路被配置为当所述手指正在选择虚拟内容中的交互列表中的项目时向所述触觉输出设备提供触觉输出。
9.根据权利要求7所述的手指设备，其中所述现实世界对象不包含电路，其中所述传感器电路被配置为当所述手指与所显示的虚拟内容交互，同时移动所述真实对象时采集所述手指位置信息，其中所述控制电路被配置为通过基于所述手指位置信息使用触觉输出设备向不同区域中的所述手指提供不同的触觉输出来向所述手指提供现实世界对象的不同区域中的不同纹理，并且其中所述虚拟内容包括虚拟对象，并且其中所述控制电路被配置为响应于所述手指位置信息来移动虚拟对象。
10.一种手指设备，所述手指设备配置为佩戴在用户的手指上，包括：
壳体，所述壳体被配置为联接到所述手指尖端，同时使手指尖端处的指垫露出；
触觉输出设备，所述触觉输出设备联接到所述壳体；
触摸传感器，所述触摸传感器被配置为沿着所述壳体的外部表面采集触摸输入；以及
控制电路，所述控制电路被配置为基于所采集的触摸输入使用所述触觉输出设备向所述手指提供触觉输出。
11.根据权利要求10所述的手指设备，其中所述触摸传感器包括沿着所述壳体延伸的电容式触摸传感器电极阵列，其中所述触摸传感器被配置为从触摸所述触摸传感器的附加手指采集所述触摸输入，并且其中所述控制电路被配置为当所述附加手指沿着所述电容式触摸传感器电极阵列移动时通过提供所述触觉输出来创建触觉止动器。
12.根据权利要求10所述的手指设备，其中所述壳体被配置为容纳所述手指，而不覆盖所述手指尖端处的指垫，其中所述触摸传感器具有沿着所述壳体延伸的传感器元件阵列，并且其中所述传感器元件包括电容性触摸传感器电极，所述手指设备还包括：
传感器，所述传感器联接到所述壳体，所述传感器采集有关所述手指与所述外部对象相互作用的信息，其中所述传感器选自由以下项组成的组：惯性测量单元、应变仪、图像传感器和深度传感器；以及
附加传感器，所述附加传感器选自包括以下项的组：传感器元件，所述传感器元件被配置为从邻近所述壳体并且不被所述壳体叠加的所述手指上的区域采集触摸输入；和力传感器，所述力传感器被配置为当所述手指按压另一手指时从所述手指采集手指捏住输入。
13.一种可用无线电子设备操作的手指设备，并且所述手指设备被配置为在接收用户的第二手指的触摸输入时佩戴在用户的第一手指上，所述手指设备包括：
壳体，所述壳体被配置为联接到所述第一手指；
触摸传感器，所述触摸传感器被配置为从所述第二手指沿着所述壳体的外部表面采集触摸输入；以及
控制电路，所述控制电路被配置为将所采集的触摸输入无线地传输到所述无线电子设备。
14.根据权利要求13所述的手指设备，还包括：
触觉输出设备，所述触觉输出设备被配置为提供触觉输出，其中所述控制电路被配置为当所述第二手指沿所述触摸传感器移动时使用所述触觉输出设备来创建止动器；
传感器，所述传感器被配置为采集与所述第一手指相关联的手指输入，其中所述控制电路系统被配置为基于所述手指输入使用所述触觉输出设备为所述第一手指提供触觉输出，并且其中所述传感器包括选自包括以下项的组：加速度计、惯性测量单元、力传感器、超声波传感器和光学传感器。
15.根据权利要求13所述的手指设备，其中所述壳体被配置为联接到所述第一手指的尖端，同时使所述第一手指的尖端处的指垫露出，其中所述壳体包括具有通过顶部联接的第一侧面和第二侧面的U形壳体，其中所述触摸传感器被配置为在所述第一侧面、第二侧面和顶部采集触摸输入，其中所述无线电子设备包括头戴式设备，所述头戴式设备被配置为当所述触摸传感器采集所述触摸输入时显示与所述外部表面叠加的虚拟内容，并且其中所述壳体具有带有应变仪的可弯曲臂，并且其中所述触摸传感器与所述可弯曲臂叠加。
16.一种可用无线电子设备操作的手指设备，并且所述手指设备被配置为在接收用户的第二手指的触摸输入时佩戴在用户的第一手指上，所述手指设备包括：
壳体，所述壳体被配置为联接到所述第一手指；
传感器，所述传感器被配置为采集来自所述第二手指的手指输入，所述第二手指在所述第一手指上不与所述壳体叠加的区域内；以及
控制电路，所述控制电路被配置为将采集的手指输入无线传输到所述无线电子设备。
17.根据权利要求16所述的手指设备，其中所述壳体具有在所述第一手指的指尖部分前方突出的部分，并且包括传感器电路，所述传感器电路被配置为采集关于所述第一手指的移动的信息，所述手指设备还包括：
正交的第一方向传感器、第二方向传感器和第三方向传感器，其中所述控制电路被配置为从第一方向传感器、第二方向传感器和第三方向传感器采集关于所述第一手指的取向的信息，并且其中所述第一方向传感器、第二方向传感器和第三方向传感器包括射频传感器。
18.一种可用具有显示器的计算机操作的手指设备，所述手指设备包括：
壳体，所述壳体被配置为佩戴在用户的手指上；
触觉输出设备；
传感器，所述传感器被配置为当用户的手指触摸所述显示器时采集用户输入；
无线通信电路，所述无线通信电路被配置为将所述用户输入传输到所述计算机；以及
控制电路，所述控制电路被配置为当所述手指的露出表面触摸所述显示器时使用所述触觉输出设备向用户的所述手指提供触觉输出。
19.根据权利要求18所述的手指设备，其中所述计算机包括选自由以下项组成的组的计算机：平板电脑和台式计算机，其中所述显示器被配置为显示对象，并且其中所述控制电路被配置成当所述手指触摸对象时，使用所述传感器采集所述用户输入，所述手指设备还包括：
触摸传感器，所述触摸传感器被配置为沿所述壳体的外部表面采集触摸输入，其中所述控制电路被配置为基于所采集的触摸输入，使用所述触觉输出设备向所述手指提供触觉输出。
20.一种可用手指设备操作的电子设备，所述手指设备被配置为佩戴在用户一只手的手指上，并且具有传感器，所述传感器被配置为采集用户输入，所述电子设备包括：
显示器；
手部跟踪系统，所述手部跟踪系统被配置为测量所述用户手的移动；
无线通信电路，所述无线通信电路被配置为接收用所述手指设备中的传感器采集的用户输入；以及
控制电路，所述控制电路被配置为响应于所测量的手的移动并响应于所述用户输入来移动所述显示器上的对象。
CN201921105173.4U 2018-07-17 2019-07-16 计算机系统、头戴式设备、手指设备和电子设备 Active CN210573659U (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862699642P 2018-07-17 2018-07-17
US62/699,642 2018-07-17
US16/395,806 US11360558B2 (en) 2018-07-17 2019-04-26 Computer systems with finger devices
US16/395,806 2019-04-26

Publications (1)

Publication Number Publication Date
CN210573659U true CN210573659U (zh) 2020-05-19

Family

ID=69162637

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980047419.3A Pending CN112424730A (zh) 2018-07-17 2019-07-11 具有手指设备的计算机系统
CN201921105173.4U Active CN210573659U (zh) 2018-07-17 2019-07-16 计算机系统、头戴式设备、手指设备和电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980047419.3A Pending CN112424730A (zh) 2018-07-17 2019-07-11 具有手指设备的计算机系统

Country Status (4)

Country Link
US (1) US11360558B2 (zh)
EP (1) EP3797344A1 (zh)
CN (2) CN112424730A (zh)
WO (1) WO2020018351A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015081321A1 (en) * 2013-11-29 2015-06-04 Mechio Inc. Wearable computing device
US11137905B2 (en) 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) * 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
US12025486B2 (en) * 2019-06-25 2024-07-02 Tactual Labs Co. MEMS sensing system
US11755107B1 (en) * 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
GB201914638D0 (en) * 2019-10-10 2019-11-27 Rolls Royce Plc Inspection system
US11850068B2 (en) * 2019-11-27 2023-12-26 International Business Machines Corporation Modular sensing unit
US11237632B2 (en) 2020-03-03 2022-02-01 Finch Technologies Ltd. Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
US11501255B2 (en) 2020-05-01 2022-11-15 Monday.com Ltd. Digital processing systems and methods for virtual file-based electronic white board in collaborative work systems
WO2022060586A1 (en) * 2020-09-16 2022-03-24 Sterling Labs Llc Changing a dimensional representation of a content item
CN117222971A (zh) * 2020-09-22 2023-12-12 苹果公司 基于手指操纵数据和肢体跟踪数据的多手指手势
WO2022066472A1 (en) * 2020-09-23 2022-03-31 Sterling Labs Llc Targeted drop of a computer-generated object
US11301041B1 (en) 2020-09-30 2022-04-12 International Business Machines Corporation Hand tremor accessible using augmented reality user interface
KR102479975B1 (ko) * 2021-01-11 2022-12-20 중앙대학교 산학협력단 인체운동 보조용 웨어러블 디바이스
US11928315B2 (en) * 2021-01-14 2024-03-12 Monday.com Ltd. Digital processing systems and methods for tagging extraction engine for generating new documents in collaborative work systems
US11402964B1 (en) * 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
US11797130B2 (en) * 2021-03-16 2023-10-24 Htc Corporation Finger touch detecting method based on finger distribution area detected on touch detection area and handheld device
EP4315004A1 (en) * 2021-03-31 2024-02-07 Legind von Bergen Holding APS A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program
CN117616366A (zh) * 2021-07-14 2024-02-27 索尼集团公司 输入装置、系统和控制方法
WO2023014790A1 (en) * 2021-08-05 2023-02-09 Kokanee Research Llc Systems with deformable controllers
US11940293B2 (en) 2021-09-02 2024-03-26 Apple Inc. Finger devices with self-mixing interferometric proximity sensors
CN117999533A (zh) * 2021-09-24 2024-05-07 苹果公司 图形环境中的对象操纵
US12105948B2 (en) 2021-10-29 2024-10-01 Monday.com Ltd. Digital processing systems and methods for display navigation mini maps
CN114296543B (zh) * 2021-11-15 2024-10-29 北京理工大学 一种指尖力检测及手势识别的智能交互系统及智能指环
KR20230096730A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US12073024B1 (en) * 2022-03-01 2024-08-27 Meta Platforms Technologies, Llc Systems and methods of controlling activation of physical or virtual keyboard keys using an adjustable electrostatically-controlled actuator, and methods of manufacturing electrostatically-controlled actuators for use therewith
CN115033100B (zh) * 2022-06-08 2024-07-05 苏州大学 一种多方位指尖平面触觉反馈装置
JP7560591B2 (ja) 2022-07-28 2024-10-02 株式会社Ｎｔｔドコモ ユーザインターフェースを制御するための方法、コンピューティングシステム、およびコンピュータ読み取り可能な記憶媒体
US12105926B2 (en) * 2022-07-28 2024-10-01 Ntt Docomo, Inc. XR manipulation feature with smart watch
US20240281065A1 (en) * 2023-02-16 2024-08-22 Apple Inc. Ring Device
US11985103B1 (en) * 2023-03-17 2024-05-14 Mark Lambert Electronic message client including dynamic prioritization based on sender features and serial undo functionality
US12056255B1 (en) 2023-11-28 2024-08-06 Monday.com Ltd. Digital processing systems and methods for facilitating the development and implementation of applications in conjunction with a serverless environment
CN118294535B (zh) * 2024-06-04 2024-08-06 中北大学 一种管道周向高频磁致伸缩导波传感器

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128004A (en) 1996-03-29 2000-10-03 Fakespace, Inc. Virtual reality glove system with fabric conductors
US6304840B1 (en) 1998-06-30 2001-10-16 U.S. Philips Corporation Fingerless glove for interacting with data processing system
US20030025721A1 (en) 2001-08-06 2003-02-06 Joshua Clapper Hand mounted ultrasonic position determining device and system
US20030214481A1 (en) 2002-05-14 2003-11-20 Yongming Xiong Finger worn and operated input device and method of use
AU2003291304A1 (en) 2002-11-06 2004-06-03 Julius Lin Virtual workstation
US20060001646A1 (en) * 2004-07-02 2006-01-05 Wei Hai Finger worn and operated input device
ITPI20040084A1 (it) 2004-11-18 2005-02-18 Massimo Bergamasco Interfaccia aptica portabile
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7920124B2 (en) 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
WO2008112519A1 (en) * 2007-03-12 2008-09-18 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Fingertip visual haptic sensor controller
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9110505B2 (en) 2010-04-16 2015-08-18 Innovative Devices Inc. Wearable motion sensing computing interface
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
US10168775B2 (en) * 2012-10-10 2019-01-01 Innovative Devices Inc. Wearable motion sensing computing interface
CN105144035B (zh) * 2013-04-26 2019-03-22 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
WO2015070343A1 (en) * 2013-11-13 2015-05-21 The University Of Western Ontario Finger segment tracker and digitizer
CN103677272A (zh) 2013-12-19 2014-03-26 上海闻泰电子科技有限公司 手指设备、利用手指设备操控的电子设备及其控制方法
US10627904B2 (en) 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
US10444834B2 (en) 2014-04-01 2019-10-15 Apple Inc. Devices, methods, and user interfaces for a wearable electronic ring computing device
KR20160031896A (ko) * 2014-09-15 2016-03-23 엘지전자 주식회사 반지형 이동 단말기
US9652038B2 (en) 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US10509468B2 (en) * 2016-01-27 2019-12-17 Tactai, Inc. Providing fingertip tactile feedback from virtual objects
WO2019005586A1 (en) 2017-06-29 2019-01-03 Apple Inc. FINGER-FITTED DEVICE WITH SENSORS AND HAPTIC TECHNOLOGY

Also Published As

Publication number Publication date
EP3797344A1 (en) 2021-03-31
US11360558B2 (en) 2022-06-14
CN112424730A (zh) 2021-02-26
WO2020018351A1 (en) 2020-01-23
US20200026352A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
US11416076B2 (en) Finger-mounted device with sensors and haptics
US11720174B2 (en) Electronic finger devices with charging and storage systems
JP6669069B2 (ja) 検出装置、検出方法、制御装置、および制御方法
US20210089131A1 (en) Finger-Mounted Input Devices
US8570273B1 (en) Input device configured to control a computing device
KR20200099574A (ko) 공중 햅틱 시스템들과의 인간 상호작용들
US20100090949A1 (en) Method and Apparatus for Input Device
CN111240465B (zh) 具有用于采样对象属性的手指设备的计算机系统
US20230004231A1 (en) Sensors for Electronic Finger Devices
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
WO2003003185A1 (en) System for establishing a user interface
US20240069352A1 (en) Handheld Controllers with Charging and Storage Systems
US11755107B1 (en) Finger devices with proximity sensors
US12130972B2 (en) Tracking devices for handheld controllers
US12026325B2 (en) Handheld input devices with sleeves
EP4418079A1 (en) Ring device
US20240012496A1 (en) Computer Systems with Handheld Controllers
CN118502580A (zh) 环设备
WO2024015750A1 (en) Computer systems with handheld controllers
WO2023244851A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: P.X.Wang

Inventor after: S.E.Li

Inventor after: K.Z.Luo

Inventor after: 50. I-m. Johnson

Inventor after: 50. Derizsentno

Inventor after: Y.Pan

Inventor after: S.E. Dee

Inventor after: P. N. dimontal

Inventor after: J. C. atler

Inventor after: T.Sun

Inventor after: J.Li

Inventor after: N. George

Inventor after: C.Zhang

Inventor after: B.R . brecknetz

Inventor after: A.A . Pakal

Inventor after: M. Islam

Inventor after: A.J. Lehaman

Inventor after: M.S. Cordill

Inventor after: J-S.Han

Inventor after: Sun Hongcheng

Inventor before: P.X.Wang

Inventor before: S.E.Li

Inventor before: K.Z.Luo

Inventor before: 50. I-m. Johnson

Inventor before: 50. Derizsentno

Inventor before: Y.Pan

Inventor before: S.E. Dee

Inventor before: P. N. dimontal

Inventor before: J. C. atler

Inventor before: T.Sun

Inventor before: J.Li

Inventor before: N. George

Inventor before: B.R . brecknetz

Inventor before: A.A . Pakal

Inventor before: M. Islam

Inventor before: A.J. Lehaman

Inventor before: M.S. Cordill

Inventor before: J-S.Han

Inventor before: Sun Hongcheng