[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106687889B - 显示器便捷式文本输入和编辑 - Google Patents

显示器便捷式文本输入和编辑 Download PDF

Info

Publication number
CN106687889B
CN106687889B CN201580047733.3A CN201580047733A CN106687889B CN 106687889 B CN106687889 B CN 106687889B CN 201580047733 A CN201580047733 A CN 201580047733A CN 106687889 B CN106687889 B CN 106687889B
Authority
CN
China
Prior art keywords
input
text
virtual keyboard
word
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580047733.3A
Other languages
English (en)
Other versions
CN106687889A (zh
Inventor
T·佩克
D·鲁德成可
V·库尔卡尼
A·J·R·古纳瓦达纳
J·格里夫斯
D·奥斯特洛夫斯基
A·帕特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106687889A publication Critical patent/CN106687889A/zh
Application granted granted Critical
Publication of CN106687889B publication Critical patent/CN106687889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

公开了对计算设备上的用户界面处接收到的用户输入作出响应的方法的实施例。该方法包括在计算设备的显示器上呈现虚拟键盘，检测对该虚拟键盘的输入。该方法还包括：对于每个检测到的输入，确定该输入是否选择一个或多个分隔符键中的任一个；响应于输入未选择一个或多个分隔符键中的任一个来显示该输入的占位符，以及响应于输入选择一个或多个分隔符键中的任一个，接收来自单词级识别器的经建议的候选文本并用该经建议的候选文本替代所有当前被显示的占位符。

Description

显示器便捷式文本输入和编辑
附图简述
图1示意性地示出了腕戴式计算设备的形式的文本输入设备。
图2示出了在文本输入设备的触摸显示器上显示的示例用户界面。
图3示出了文本输入设备的示例初始化场景。
图4示出了文本输入设备的文本输入场景。
图5A，5B、图6和图7示出了文本输入设备的键盘布局选择场景。
图8示出了在文本输入设备上选择数字键盘布局的场景。
图9示出了文本输入设备上的文本编辑器查看场景。
图10A－10C示出了文本输入设备的示例滑动带状功能区(ribbon)配置。
图11－14示出了文本输入设备上的文本编辑场景。
图15示出了利用语音输入的示例文本输入和编辑场景。
图16是文本输入的示例方法的流程图。
图17示出了示例文本编辑计算设备。
详细描述
本公开涉及用于在计算设备上键入并且/或者编辑文本型输入的直观而强大的机制。尽管本公开的概念与具有非常小的显示器的文本输入设备兼容，但是该概念不限于任何特定的设备形状因子。
图1示出了腕戴式计算设备100的形式的示例文本输入设备，包括触摸显示器102。腕戴式计算设备100被配置成接收用户输入并且将输入转换成文本，例如字母、数字、字符和/或符号。
如下面更详细地讨论的，文本输入设备可包括允许用户经由在显示器上呈现的虚拟键盘来输入文本的触摸显示传感器；允许用户在显示器或非显示器触摸区域上绘制文本的触摸传感器；允许用户通过口语来键入文本的语音识别系统；允许用户经由注视来键入文本的眼睛跟踪系统；允许用户凭空描绘文字形状的手势识别系统；和/或其他文本输入机制。
当被包括时，文本输入设备的虚拟键盘可通过基本上填充显示器的全部来充分利用小的显示器尺寸。具体而言，虚拟键盘可被呈现，而没有保留显示器的很大部分用于向用户示出正在被键入的内容或已被键入的内容的逐字母重现。在一些实现中，只有最后被完成的单词或其一部分才与键盘一起被显示－未被完成的单词的字母不被显示，直到该单词被完成，并且倒数第二个单词不与最后被完成的单词一起被显示。在一些实现中，最后被完成的单词或其一部分被显示成紧邻虚拟键盘的末行中的最右侧或最左侧键。最后被完成的单词或其一部分可附加地或替代地被临时(例如，持续设定的时间段和/或直到适当的输入被接收到)显示(例如，叠加)在键盘上。在一些示例中，在经叠加的文本的显示期间，经叠加的单词或其部分可以是部分透明的并且/或者键盘的外观可被改变(例如，变暗)。任选地，占位符(例如，星号或项目符号)可响应于每个经识别的键击而被显示在这些相同的区域中。
在一些实现中，两个或更多个不同的虚拟键盘可协作以向用户提供更多数量的文本输入选项。作为示例，一个键盘可包括26个小写字母键；另一个键盘可包括10个数字键；另一个键盘可包括一个或多个符号(例如，@、#、$、％、&和/或其他)和/或表情符号；另一个键盘可包括26个大写字母键；而另一个键盘可包括一个或多个外语字母或符号(例如，汉字、日本汉字和/或其他)。除了给定键盘的主键之外，一些键盘还可包括空格键、一个或多个辅助键、一个或多个标点符号(例如，句点、逗号、问号)和/或其他补充键。当两个或更多个键盘被包括时，用户可通过触摸滑动、语音命令、手势、注视和/或其他用户命令在键盘之间选择性地进行切换。在一些实现中，一个键盘的键可提供到不同键盘的直接链接。图2－9示出了示例虚拟键盘。
计算设备可利用内置(on-board)单词级(word-level)识别器104或(例如，在远程计算设备108内的)外置(off-board)单词级识别器106，其分析文本分隔符之间的所有输入并且根据单词级分析来推荐候选文本。在一些实施例中(例如，在利用与基于字符的语言相关的键盘期间)，每个输入字符可被处理，并且单词可基于该语言的自然单词边界来确定，而无需输入特定的分隔符。一旦文本－分隔符(text-delimiter)、其它用户指示或基于语言的自然单词边界发出单词完成的信号，则单词级识别器可确定用户最有可能想要输入的一个或多个单词。在用户指示发出单词完成的信号之前，单词级识别器不需要呈现任何单词预测。通过避免这样的预测，用户将不会被潜在非预期的单词片段(word fragment)分散注意力，该潜在非预期的单词片段基于该单词的少于全部的用户输入而被不准确地预测。单词级识别器可经由监督式或非监督式机器学习来训练并且/或者可包括来自计算设备或基于云的网络的个性化训练数据。
当外置单词级识别器被使用时，文本输入设备可使用一个或多个局域网或广域网将所有用户输入传送到外置单词级识别器。在一些实现中，外置单词级识别器可以是物理上靠近文本输入计算设备的移动电话或其他便携式计算设备的模块。在其他实现中，外置单词级识别器可被提供作为远程基于云的服务的一部分。本地文本输入设备和外置单词级识别器可使用任何合适的协议和/或技术进行通信。合适的协议和技术的非限制性示例在附录A中进行描述。
当外置单词级识别器与虚拟键盘一同协作被使用时，文本输入设备任选地可使用与外置单词级识别器的非常轻量级的通信。作为一个示例，文本输入设备可将检测到的触摸接触参数传送到外置单词级识别器。比起在内置对原始传感器测量进行转换并随后传送该原始输入的转换而言，这在计算上较不昂贵。
文本输入设备可提供允许用户验证并且/或者改变已使用设备的任何文本输入机制被识别的候选文本的文本编辑功能。文本编辑器被独立地显示，并且不是虚拟键盘的图形用户界面的一部分。通过在时间上将虚拟键盘和文本编辑器的显示分开，虚拟键盘和文本编辑器都被允许来独立地对文本输入设备提供的任何显示空间作充分利用。虚拟键盘不必与文本编辑器作任何折衷，反之亦然。在一些实现中，用户可在虚拟键盘与文本编辑器之间选择性地进行切换。这样的切换可通过触摸滑动、语音命令、手势、注视、大于阈值的暂停和/或其他事件或用户命令来发起。虚拟键盘与文本编辑器之间的切换可包括动画，其中虚拟键盘显示为被文本编辑器推离显示器，反之亦然。
文本编辑器可显示根据用户输入(例如，经由单词级识别器)转换成的候选文本。在一些实例中，候选文本可能不是用户想要的最终文本。由此，文本编辑器被配置成允许用户选择以供编辑的任何单词、删除任何单词、添加新单词并且/或者作其他改变。在一些示例中，文本编辑器可为每个候选单词提供一个或多个替代候选单词。图9－15示出了文本编辑器和编辑场景的非限制性示例。
现在转到图2，例示了在图1的腕戴式计算设备100的触摸显示器102上被显示的示例用户界面202。用户界面202可包括两个或更多个页面，包括菜单页面、一个或多个虚拟键盘页面，和/或文本编辑器页面。菜单可使得用户能够从多个可能的布局中选择期望的键盘布局，并且/或者可包括定向型导航键(例如，后退或退出按钮)。虚拟键盘可包括用户可使用触摸输入来选择的字母、数字和/或符号。由用户键入的文本可经由文本编辑器来显示并且/或者编辑。如本文所描述的经键入和编辑的文本可被用于几乎任何计算场景，包括文本消息、电子邮件、文字处理、笔记记录和/或其他书写场景。
由于触摸显示器102的相对小的尺寸，为了允许用户有效地可视化并且向虚拟键盘的每个键、菜单选项等键入触摸输入，用户界面202可被配置成使得在任何给定时间只有用户界面的一部分被显示(例如，键盘页面或文本编辑器页面)。例如，用户界面可被配置成带状功能区，并且可以一次只显示带状功能区的一部分，当用户滚动用户界面时，带状功能区的每个部分都是可查看的。下面将参照图10A－10C来提供关于用户界面的带状功能区配置的附加的信息。
图2例示了用户界面202的虚拟键盘204，包括按标准的QWERTY键盘布置来布置的字母、一个或多个文本分隔符(包括空格键206和句点键208)以及文本预览区域210。由于显示器102的相对小的尺寸，虚拟键盘204可占据几乎所有可用的显示空间，因此用户界面的菜单和文本编辑器区域在图2中是不可查看的。例如，显示器102可具有顶部边缘和底部边缘，并且虚拟键盘可在没有介于虚拟键盘与底部边缘之间的文本编辑区域的情况下被呈现。如图所示，虚拟键盘的首排(例如，具有字母“QWE...”的排)可被显示在显示器102的靠顶部的三分之一中，虚拟键盘的中间排(例如，具有字母“ASD...”的排)可被显示在显示器102的中间的三分之一中，而虚拟键盘的末排(例如，具有字母“ZXC...”的排)可被显示在显示器102的靠底部的三分之一中。
要理解，虚拟键盘204的所例示的布置是可能的布置中的一个示例，并且其他配置是可能的。例如，字母可按字母顺序来布置或者几乎可以是任何合适的布置，而不是非要使字母按所例示的QWERTY布置来布置。此外，附加的或替代的文本分隔符可在虚拟键盘204上被呈现，包括但不限于问号键、感叹号键等。此外，尽管在虚拟键盘204中仅例示了字母，但是要理解，其他字符(诸如数字或符号)可附加地或替代地被显示，如下面更详细地解释的。
为了创建文本字符串，用户可触摸虚拟键盘204。由此，计算设备100可包括被配置成检测触摸输入的多个触摸传感器。在一些示例中，多于一个的字母、数字或符号可被映射到相同的触摸传感器(即，触摸感测分辨率可以小于键的数量)。
在图2所例示的示例中，预览区域210显示指示当前已由用户键入的触摸输入的数量的占位符符号。占位符符号可包括合适的符号，诸如星号、项目符号或其他符号。以这种方式，在没有看到实际字符的情况下，用户可看到他或她已经键入了多少触摸输入(例如，多少字符)，直到文本分隔符键被键入。一旦用户将文本分隔符键(例如，空格键206或句点键208)输入，则候选单词可被显示在预览区域中。
当用户正在向用户界面202键入触摸输入时，除了在预览区域210中显示已进行了多少触摸输入之外，用户界面202还可被配置成向用户提供触摸输入反馈以通知用户最后一次触摸输入发生在何处。例如，如图2所示，用户212已经在靠近D、F、X和C键的位置处向虚拟键盘204键入了触摸输入。反馈指示符214可被显示在用户界面202上以向用户提供最新近的触摸输入的位置的视觉指示符。如图2所示，反馈指示符可以是半透明圆，或者可以是另外的合适的设计。此外，反馈指示符可在用户已结束当前触摸输入之后的持续时间内(例如直到后续触摸输入被键入和/或达预定/选定的持续时间)保持在显示器102上。在一些示例中，被提供给用户的反馈可包括触觉反馈、音频反馈或其他合适的反馈。
现在将参照图3－16描述与被显示在计算设备100的触摸显示器102上的用户界面进行交互的多个示例场景。要理解，下面所描述的用户界面示例和状态中的一个或多个可对应于用户界面202。
从图3着手，显示了例示出用户界面304的虚拟键盘302的初始化的示例初始化场景。初始化场景包括可以随时间被显示的一系列用户界面状态。由此，在图3中沿着垂直轴描绘了时间线306。在时间T0，用户界面304显示连接通知305，其通知用户虚拟键盘正在被初始化，例如计算设备100正在连接到远程设备以基于对虚拟键盘的用户触摸输入来启用候选单词的标识，如上所述。在此期间，连接通知被显示在虚拟键盘上。在一些实现中，连接周期可能不被需要。
在时间T1，用户界面304发生转换以显示菜单308的预览。菜单308可允许用户选择期望的键盘布局，诸如显示字母、数字或符号的键盘。预览被显示成提示，该提示通知用户菜单在虚拟键盘302的左侧可用。在时间T2，用户界面304进一步转换以显示导航键310。导航键310可允许用户退出虚拟键盘302，返回到先前的用户界面显示或者执行其他操作。在时间T3和T4，用户界面304移回到仅显示虚拟键盘302。要理解，在虚拟键盘初始化时所显示的键盘类型可以是上下文相关的。例如，键盘可响应于用户输入来初始化以回应所接收的消息(例如，电子邮件、SMS消息或另外的合适的消息)。因此，响应于这样的选择而呈现出的键盘可具有与所接收的消息的检测到的语言相对应的语言。默认类型的键盘可附加地或替代地由用户偏好设置来定义。
图3中所例示的初始化动画是动画的非限制性示例，其可被用来通知用户通常可与虚拟键盘在同一页面上被显示的功能可以在不同的页面上被访问，从而允许与这样的功能相关联的键和/或其他显示空间从虚拟键盘中被省略。
图4示出了经由用户界面404的虚拟键盘402键入文本输入的示例文本输入场景。类似于图3，沿着垂直轴描绘了时间线406，并且随时间例示出一系列用户界面状态。如上所述，每当用户键入触摸输入时，反馈指示符可任选地被显示。因此，在时间T0，响应于由用户键入的触摸输入，反馈指示符408被显示在触摸输入的位置处，在该示例中，该位置在T、G、F和R键的附近。类似地，在时间T1，对应于用户通过H键所键入的第二次触摸输入，反馈指示符408被显示在不同的位置。在时间T2，响应于在I和U键的区域处的后续的用户触摸输入，反馈指示符408被显示在另一位置。在时间T3，反馈指示符被显示在与S键上的另一触摸输入的位置相对应的另一不同位置处，并且在时间T4，响应于在空格键处的附加的触摸输入，反馈指示符408被显示在另一位置处。
当用户向虚拟键盘402键入触摸输入时，占位符符号410被显示在预览区域412中。对于在文本分隔符之间所键入的每个单独的触摸输入，显示占位符符号。因此，在时间T0，第一个占位符符号(在该示例中，项目符号)被显示在预览区域412中，指示一个触摸输入已被键入。在时间T1，两个占位符符号被显示在预览区域412中，指示两个触摸输入已被键入。在时间T2，三个占位符符号被显示在预览区域412中，指示三个触摸输入已被键入。在时间T3，四个占位符符号被显示在预览区域412中，指示四个触摸输入已被键入。
在时间T4，用户向空格键键入触摸输入，如上所述，该空格键是文本分隔符。由此，对应于四个触摸输入的原始传感器数据被处理以确定一个或多个候选单词。一旦至少一个候选单词被确定，则候选单词被显示在预览区域412中。在一个示例中，所显示的候选单词可以是单词级识别器已经确定的由接收到的触摸输入所表示的最有可能的单词的单词。在图4所例示的示例触摸输入场景中，用户已经键入了单词级识别器确定与单词“THIS”相对应的触摸输入。
在向计算设备100提供输入时，用户可访问不同的键盘布局，以便扩展可被键入的字符的数量和类型。图5A，5B、图6和图7示出了示例键盘布局选择场景。在图5A和5B所例示的示例中，键盘布局可通过在查看虚拟键盘的同时执行滑动或移动手势输入(例如，在显示器上移动手指或其他输入设备)来访问。
在图5A中的时间T0，QWERTY虚拟键盘502被显示，并且用户(例如，通过手指506)开始向下垂直的滑动手势以访问不同的键盘布局。在时间T1，继续向下滑动，并且当符号键盘被移动进视图中时，符号键盘布局508的一部分沿可视用户界面504的顶部被呈现。QWERTY虚拟键盘502的一部分不再被显示，因为QWERTY键盘被移出视图以由符号键盘508替代。在时间T2，完成向下滑动，并且符号键盘被显示，替代了QWERTY键盘。如图所示，符号键盘包括多个符号(例如，标点符号、符号字符和表情符号)、空格分隔符510、删除图标512和预览区域514(例如，以供显示所键入的符号)。要理解，任何合适的符号可被包括在符号键盘中。
现在转到图5B，例示了可通过向上垂直滑动访问的数字键盘布局。在图5B中的时间T0，用户(例如，经由手指506)开始向上垂直滑动手势以访问不同的键盘布局。在时间T1，继续向上滑动，并且当数字键盘被移动进视图中时，数字键盘布局516的一部分沿可视用户界面504的底部被呈现。QWERTY虚拟键盘502的一部分不再被显示，因为QWERTY键盘被移出视图以由数字键盘516替代。在时间T2，完成向上滑动，并且数字键盘被显示，替代了QWERTY键盘。如图所示，数字键盘包括数字0－9、空格分隔符518、删除图标520，以及预览区域522(例如，以供显示所键入的数字)。要理解，任何合适的数字可被包括在数字键盘布局中以供选择。在一些实现中，附加的或替代的键盘布局可通过在虚拟键盘被显示的同时执行附加的或替代的滑动手势或其他用户输入来访问。
如上所述，图5A和5B例示了通过滑动手势访问附加的键盘布局的示例。在其他实现中，附加的键盘布局可经由对直接链接和/或键(例如，菜单项)的选择来访问，如图6所示。在图6中的时间T0，QWERTY虚拟键盘602被包括在用户界面604中。同样在时间T0，用户(例如，经由手指606)开始朝向显示器的右侧的水平滑动手势来访问不同的键盘布局。在时间T1，QWERTY虚拟键盘被向右拖动，使得键盘的一部分(例如，键盘右侧的字母)不再被显示。键盘选择菜单608的一部分被显示在QWERTY虚拟键盘602的左侧。在时间T2，完成水平滑动手势，并且导航键610被显示在键盘选择菜单608的左侧。如上所述，导航键610可包括使得用户能够取消当前任务、退出键盘、退出键盘选择菜单(例如，返回到虚拟键盘的显示)并且/或者输入任何其他合适的命令的返回按钮或类似的键。要理解，图6中所例示的键盘选择菜单的布置本质上是示例性的，并且键盘选择键可以以任何合适的布置来显示或者被完全省略。
图7例示了经由键盘选择菜单来选择符号键盘布局的示例场景。在时间T0，用户界面704的QWERTY虚拟键盘702的一部分被显示在键盘选择菜单706的右侧。同样在时间T0，用户输入在符号键盘布局选择键708处被接收(例如，如由反馈指示符710表示)。响应于用户输入，在时间T1符号虚拟键盘712被选择，如通过符号键盘布局选择键708的高亮或其他视觉区别所指示的。还如在时间T1所示，符号虚拟键盘的一部分被显示在键盘布局选择菜单706的右侧，包括符号虚拟键盘中所包括的符号的子集。在时间T1所显示的符号虚拟键盘的部分替代在时间T0所显示的QWERTY虚拟键盘702的部分。
在时间T2，水平滑动手势正被执行，如由向左移动手势指示符714所表示的。作为滑动手势的结果，用户界面704被向左拖动以从键盘布局选择菜单转换到所选择的虚拟键盘(例如，符号虚拟键盘)。如图所示，导航键不再被显示，键盘布局菜单706的键盘选择键被显示在显示器的最左侧，并且附加的符号(例如，相对于在时间T1所显示的符号)被显示在虚拟键盘区域。在时间T3，结束滑动手势，显示了完整的符号键盘。要理解，被包括在符号虚拟键盘中的所例示的符号本质上是示例性的，并且任何合适的符号可被包括在任何合适的布置中。除了符号虚拟键盘的符号之外，分隔符键(例如，空格键716)、删除键718和预览区域720被显示。如在时间T4所示，对符号虚拟键盘中的符号的选择(例如，如反馈指示符722所指示的)导致在预览区域720内所选符号的显示。换言之，符号可包括隐式的分隔符。在一些实现中，占位符可被显示，直到专用分隔符键被选择。
图8例示了经由上述键盘选择菜单来选择数字键盘布局的示例场景。在时间T0，用户界面802的QWERTY虚拟键盘804的一部分被显示在键盘选择菜单806的右侧。同样在时间T0，用户输入在数字键盘布局选择键808处被接收(例如，如由反馈指示符810表示)。响应于用户输入，在时间T1数字虚拟键盘被选择，如通过符号键盘布局选择键808的高亮或其他视觉区别所指示的。还如在时间T1所示，数字虚拟键盘809的一部分被显示在键盘布局选择菜单806的右侧，包括数字虚拟键盘中所包括的数字的子集。在时间T1所显示的数字虚拟键盘809的部分替代在时间T0所显示的QWERTY虚拟键盘802的部分。
在时间T2，水平滑动手势正被执行，如由向左移动手势指示符812所表示的。作为滑动手势的结果，用户界面804被向左拖动以从键盘布局选择菜单转换到所选择的虚拟键盘(例如，数字虚拟键盘809)。如图所示，导航键不再被显示，键盘选择键被显示在显示器的最左侧，并且附加的数字(例如，相对于在时间T1所显示的数字)被显示在虚拟键盘区域。在时间T3，结束滑动手势，显示了完整的数字虚拟键盘809。要理解，被包括在数字虚拟键盘中的所例示的数字本质上是示例性的，并且任何合适的数值或其他相关的字符(例如，数学符号、小数点和/或其他合适的字符)可被包括在任何适合的布置中。除了数字虚拟键盘的数字之外，分隔符键(例如，空格键816)、删除键818和预览区域820被显示。如在时间T4所示，对数字虚拟键盘中的数字(例如，“9”)的选择(例如，如反馈指示符822所指示的)导致在预览区域820内所选数字的显示。换言之，数字可包括隐式的分隔符。在一些实现中，占位符可被显示，直到专用分隔符键被选择。
如上所述，示例虚拟键盘可被配置成基本上占据显示器的全部，仅留下以供查看所键入的文本/字符的很小的空间。为了查看已被键入的输入(例如，已被识别的候选文本，形成消息的至少一部分)，文本编辑器可通过向设备提供用户输入来访问(例如，诸如轻敲、滑动、移动或其他手势之类的触摸输入、物理按钮致动、检测到的眼睛注视、语音输入或任何其他合适的输入)。图9例示了从虚拟键盘页面到文本编辑器页面的转换的示例。
在图9中的时间T0，例示了用户界面904的QWERTY虚拟键盘902(例如，在虚拟键盘与显示器的顶部或底部边缘之间没有文本编辑区域)。如右下角所示，预览区域906可包括被最后识别的候选文本单词的一部分。例如，在时间T0之前，用户可能已提供了选择多个字母的输入并随后选择了分隔符(例如，句点键908)，导致基于敲击输入被识别的候选文本“DEVICE”。由于预览区域906被约束到特定区域(例如，所例示的示例示出了对示出来自示例候选文本的三个字符而言足够大的区域)，如果文本大于预览区域的尺寸，则候选文本可被截断。以这种方式，在时间T0在预览区域中仅候选文本的一部分(例如，前三个字符)被显示。
预览区域被配置成对候选文本的结束部分进行截断(例如，在候选文本太大而不符合预览区域的情况下)，以便向用户暗示并且/或者提供关于候选文本的剩余部分的位置的提示。例如，通过注意到候选文本被显示器的右边缘截断，可鼓励用户将用户界面(例如，虚拟键盘)拖动到左边，以便显示候选文本的剩余字符。因此，如时间T0所示，显示－文本－编辑器输入(show-text-editor input)(诸如向左水平滑动或移动手势)可被启用，由向左移动手势指示符910指示。响应于滑动手势，用户界面904可被向左拖动，如在时间T1所例示的。例如，当用户界面从虚拟键盘转换到文本编辑器时，只有虚拟键盘的右边部分可被显示在显示器的左侧区域中。文本编辑器可被部分地显示在显示器的右侧，如候选文本的部分字符串912(例如，当前所编写的消息的消息字符串)和动作按钮(例如，“发送”键914)所例示。要理解，其他合适的动作按钮可被显示。在一些实现中，“发送”键914可包括文本和/或图形图标。还如在时间T1所示，被最后识别的单词的候选文本(例如，“DEVICE”)可被完全显示，从而在虚拟键盘与文本编辑器之间产生“渗透(bleed-over)”效果。
在时间T1滑动手势被继续，如向左移动手势指示符916所例示的。作为响应，在时间T2，用户界面被完全转换到文本编辑器918，使得文本编辑器在没有虚拟键盘的情况下被显示。文本编辑器可显示候选文本的字符串912(例如，在当前文本输入会话期间和/或在选择诸如发送键之类的动作按钮之前所识别的输入)。候选文本的字符串912可包括从QWERTY虚拟键盘识别出的单词、从符号虚拟键盘所选择的符号和/或从数字虚拟键盘所选择的数字。在一些实现中，文本编辑器可包括字符计数器920。例如，一些消息(例如，SMS文本消息)可被限制为包括阈值数量的字符(例如，由于带宽参数和/或通信协议的原因)。字符计数器920可使得用户能够跟踪在文本输入会话期间已经输入了多少字符(例如，当前正在被编写的消息中包括了多少字符)。
文本编辑器918还可包括滑块条922，其例示了候选文本的字符串的长度(例如，滑块条的长度可相对于候选文本的字符串的长度)以及在候选文本的字符串中的当前所查看的位置。例如，在时间T2，字符串的起始部分可以在视图中，导致了显示器的较低的最左角落处的滑块条922的显示。当用户在时间T3沿着该字符串导航时(例如，如由向左移动的手势指示符924表示的向左水平滑动手势所例示)，该字符串沿着显示器移动，使得该字符串的不同部分是可查看的。因此，在时间T3，在时间T2可查看的文本中的一些文本不再是可查看的(例如，朝着显示器的左侧被拖出可显示区域)，并且在时间T2不可查看的附加的文本被带入视野(例如，从显示器的右侧被拖动到可显示区域中)。还如在时间T3所示，滑块条922向右移动，指示候选文本的字符串的中间部分正在被查看。
当用户在时间T3沿着该字符串继续导航时(例如，如由向左移动的手势指示符924表示的向左水平滑动手势所例示)，该字符串沿着显示器移动，使得该字符串的不同部分(例如，结尾)是可查看的。因此，在时间T4，在时间T3可查看的文本中的一些文本不再是可查看的(例如，朝着显示器的左侧被拖出可显示区域)，并且在时间T3不可查看的附加的文本被带入视野(例如，从显示器的右侧被拖动到可显示区域中)。还如在时间T4所示，滑块条922向右移动，指示候选文本的字符串的结尾部分正在被查看。
如图9所示，响应于显示文本编辑器的一部分，动作按钮(例如，“发送”键914)被呈现(例如，在时间T1)。在一些实现中，“发送”键的选择可导致消息的发送和/或保存。例如，如果响应于选择编写消息或者回复消息命令而进入文本输入用户界面，则选择“发送”键可导致将消息发送到所选择的(诸)接收者。在其他实现中，在时间T1、T2、T3和/或其中候选文本字符串的结尾没被查看的任何其他时间，对“发送”键的选择可导致用户界面自动地(例如，无需进一步的用户输入)导航到字符串的结尾(例如，模拟水平滑动手势的效果)。随后的“发送”键的选择可导致消息的发送和/或保存。在另外的实现中，动作按钮直到候选文本字符串的结尾被显示时才被显示，并且选择动作按钮可导致消息被发送和/或保存。
图10A－10C例示了呈现全景或带状功能区图形用户界面1002的文本输入设备1000(例如，腕戴式计算设备)。例如，带状功能区图形用户界面1002可对应于图2－图15中所描述和例示的用户界面。应当理解，图10A－10C示出了带状功能区图形用户界面1002延伸越过文本输入设备的显示器的边界的部分，带状功能区图形用户界面的这些部分对于用户而言是不可见的。图10A－10C旨在示出带状功能区图形用户界面的水平部分，其当前对于用户不可见，但是可被带入视野。
文本输入设备1000包括用于呈现带状功能区图形用户界面1002、其他用户界面、应用、数据、媒体内容和/或其他内容的显示器1004。显示器1004具有沿着第一轴的第一维度和沿着第二轴的第二维度。在所例示的实现中，第一维度是高度维度，第二维度是宽度维度。在其他实现中，显示器可成不同的形状。例如，尽管显示器1004被规格化为具有横向宽高比(即，宽度大于高度)，但是具有纵向宽高比(即，高度大于宽度)、正方形宽高比或非矩形宽高比的显示器可被使用。此外，虽然带状功能区图形用户界面1002被示为可水平横扫，但是可垂直滚动的图形用户界面和/或既可垂直滚动又可水平横扫的图形界面也落在本公开的范围内。在一些实现中，显示器的取向可响应于文本输入设备被旋转而自动地旋转。
带状功能区图形用户界面1002包括被锚定在连续背景1006上的用户界面状态或输入区域的集合。用户界面输入区域可包括键盘选择菜单、虚拟键盘、文本编辑器和/或任何其他合适的用户界面输入区域。如本文所使用的，术语“锚定”意味着用户界面输入区域与连续背景一起移动。换言之，当背景保持静止时，输入区域不在背景上滚动。相反，输入区域和背景一起移动。然而，应当理解，一些输入区域可相对于连续背景移动(例如，增大、收缩、旋转，改变形式和/或呈现其他合适的相对运动)。此外，在一些实现中，背景可任选地以与前景不同的速度来滚动，以给出视差的视觉感知，这可帮助使得用户界面的三维比喻生效。
如图10A－10C所示，带状功能区图形用户界面1002是固定高度的、可水平横扫的图形用户界面。带状功能区图形用户界面1002的高度被确定大小以符合显示器1004的第一维度。相比之下，带状功能区图形用户界面的宽度太大以至于使用显示器1004无法一次完全可见。具体而言，连续背景被确定大小以延伸超过显示器的第二维度，并且用户界面输入区域中的至少一个被布置成延伸超过显示器的第二维度。
图10A示出了带状功能区图形用户界面的第一状态，其中第一用户界面输入区域在文本输入设备1000的显示器1004内是可查看的。如图所示，键盘选择菜单和虚拟键盘的一部分在图10A所示的状态下可查看。在图10B中，带状功能区图形用户界面1002以第二状态被呈现在显示器1004内，其中第二用户界面输入区域(例如，虚拟键盘)是可查看的。类似地，在图10C中，带状功能区图形用户界面1002以第三状态被呈现在显示器1004内，其中第三用户界面输入区域(例如，文本编辑器)是可查看的。在一些实施例中，用户可在所例示的用户界面输入区域之间流畅地进行转换，使得在转换期间(例如，当用户从一个输入区域行进到另一输入区域时)，多个输入区域的部分在显示器上可见。在一些实施例中，用户界面可“咬入”或以其他方式偏移向独立地呈现所例示的用户界面输入区域，使得当用户界面在输入区域之间移动时，多个输入区域的同时性视图仅在短时间段内(例如，在运动中)被呈现。
如图10C中进一步例示的，一些附加的用户界面元素(例如，消息计数器1008和动作按钮1010)可仅在呈现特定输入区域时才被显示。例如，当该输入区域被部分地呈现或处于转换中时，用户界面元素可不出现。用户界面元素可不被锚定到用户界面的连续背景，使得当用户界面呈现相关联的输入区域时，元素保持在显示器的(诸)特定位置上。例如，只要文本编辑器是可查看的，消息计数器1008和动作按钮1010就可分别保持在显示器1004的右上角和右下角，即使用户界面被移动以示出文本字符串1012的不同部分。
图11-15例示了示例文本编辑场景和相关联的用户界面状态。首先转到图11，例示了用替代候选单词来替代所识别的候选单词的示例场景。在时间T0，用户界面1102包括候选文本的字符串1104的一部分。例如，候选文本的字符串1104可包括由用户在文本输入会话期间(例如，在键盘启动之后且在发送消息之前)键入的所有经识别的候选单词。在时间T1(或者T0与T1之间的某个时间段)，对字符串1104中的候选单词之一的选择被输入，如由候选单词“test”上所例示的手势指示符1106指示。如时间T1所示，对候选单词的选择促成多个用户界面元素要被显示。例如，添加单词键1108、删除单词键1110和替代候选单词1112可被显示。在一些实施例中，通过改变字符串中的所选择的单词和/或其他单词的显示特性，所选择的单词可与字符串中的其他单词区分开来。例如，字符串中的其他单词可相对于所选择的单词变灰、淡出、尺寸上缩小和/或以其他方式较不突出地显示。附加地或替代地，相反的效果可被应用于所选择的单词以增加所选择的单词的显著性。例如，所选择的单词可保持相同的颜色、被改变成不同(例如，更亮)的颜色、在尺寸增大、高亮和/或以其他方式比字符串中的其他词更显著地显示。
在图11所例示的示例中，针对所选择的候选单词的替代候选单词被呈现在所选择的候选单词的上方和下方。如时间T2所示，用户可滚动遍历替代候选单词(例如，如垂直移动手势指示符1114所指示)以查看替代候选单词。在时间T3，用户选择期望的替代候选单词(例如，“tear”)以替代出现在字符串中的所选择的候选单词。作为结果，在时间T4，所选择的候选单词由所选择的替代候选单词来替代。如图所示，所选择的替代候选单词不被显著地显示(例如，附加的用户界面项不被显示，并且字符串中的其他词不再变灰)。在一些实施例中，对替代候选单词的选择可促成替代候选单词与所选择的候选单词交换位置，使得附加的用户界面项仍然被显示，并且替代候选单词(现在被定位在候选文本的字符串内)相对于字符串中的其他单词被显著地显示。
如上所述，替代候选单词1112可被呈现在所选择的候选单词的上方和下方，以允许用户滚动遍历替代候选单词的列表。在一些实施例中，显示器的高度和/或触摸感测能力可能阻碍这样的垂直滚动手势的执行。图12例示了呈现替代候选单词的另一示例。在时间T0，用户界面1202的可查看部分包括候选文本的字符串1204的一部分。在时间T1(或者T0与T1之间的某个时间段)，对字符串1204中的候选单词之一的选择被输入，如由候选单词“test”上所例示的反馈指示符1206指示。如时间T1所示，对候选单词的选择促成多个用户界面元素要被显示，包括添加单词键1208、删除单词键1210，以及替代候选单词1212。在图12所例示的示例中，替代候选单词被水平地显示在所选择的候选单词的顶部。要理解，替代候选单词的布置本质上是示例性的，并且替代候选单词可在用户界面中的任何合适的位置上被显示。
在一些示例中，预定数量的替代候选单词(例如，由单词级识别器所标识的第二到第四最有可能的替代候选单词)可被显示。根据模态，替代候选单词的来源可以变化。例如，如果文本是通过语音识别来生成的，则除了语言模型候选之外，(例如，来自单词混淆网络的)声学语音识别候选也可被利用。在其他实施例中，所有替代候选单词可通过水平横扫遍历所显示的替代候选单词的列表(例如，通过沿着显示器的顶部提供水平滑动手势)来查看。在时间T2，用户选择期望的替代候选单词以替代所选择的候选单词(例如，如反馈指示符1214所指示的)。作为响应，在时间T3，所选择的替代候选单词替代所选择的候选单词。
图13例示了删除候选文本的字符串中的单词的示例场景。在时间T0，用户界面1302包括在文本编辑器1306中被显示的字符串1304。在时间T1(或者T0与T1之间的某个时间段)，对字符串1304中的候选单词之一的选择被提供作为输入，如由候选单词“test”上所例示的反馈指示符1308指示。如时间T1所示，对候选单词的选择促成多个用户界面元素要被显示。例如，添加单词键1310、删除单词键1312和替代候选单词1314可被显示。在时间T2，删除单词键1312被选择，如反馈指示符1316所指示。作为结果，在时间T3，候选文本的字符串在没有所选择的候选单词的情况下(例如，词“test”被删除)被呈现。在一些实施例中，添加单词键1310可保持在被删除的单词的位置上，以便使得用户能够在被删除的单词的位置上快速地插入单词。
图14例示了在候选文本的字符串中添加单词的示例场景。在时间T0，用户界面1402包括在文本编辑器1406中被显示的字符串1404。在时间T1(或者T0与T1之间的某个时间段)，对字符串1404中的候选单词之一的选择被提供作为输入，如由候选单词“test”上所例示的反馈指示符1407指示。如时间T1所示，对候选单词的选择促成多个用户界面元素要被显示。例如，添加单词键1408、删除单词键1410和替代候选单词1412可被显示。在时间T2，添加单词键1408被选择，如反馈指示符1414所指示。作为结果，在时间T3，虚拟键盘1416被显示，使得用户能够开始键入字符以形成要被插入到所选择的候选单词前面的单词。在一些实施例中，键盘布局选择或输入方法选择可在选择添加单词键1408时被呈现给用户，使得用户能够选择附加的单词将被输入的方式。
文本/字符输入可经由虚拟键盘上的触摸输入以外的机制来输入。例如，文本输入设备可包括麦克风以捕捉语音输入，其可被处理以本地或远程地(例如，经由文本输入设备内的内置语音识别/语音到文本模块和/或经由计算设备内位于文本输入设备的远程的外置语音识别/语音到文本模块并且通过诸如无线通信链路之类的通信链路与文本输入设备通信)生成经识别的候选单词。在远程计算设备被用来执行语音识别的示例中，原始和/或经部分处理的语音数据可从文本输入设备传送并且由远程计算设备来接收。在执行语音识别/语音到文本处理之后，远程计算设备可将(诸)候选单词传送到文本输入设备。
在一些示例中，文本输入设备可向外部计算设备(例如，智能电话或其他移动计算设备，其可在文本输入设备的直接通信范围之内)发送原始和/或经部分处理的语音数据。外部计算设备可在将接收到的和/或经进一步处理的语音数据经由网络(例如，位于文本输入设备的远程的云计算设备以及外部计算设备)发送到远程服务之前对接收到的语音数据执行一些处理或者不进行处理。远程服务可将从外部计算设备接收到的语音数据转换成文本并且/或者执行附加的处理，并且随后将文本和/或经附加地处理的语音数据返回到外部计算设备。然后，外部计算设备可将文本和/或经附加地处理的语音数据转发至文本输入设备。
图15例示了提供语音输入的示例。在时间T0，用户界面1502包括指示用户界面正在接受语音输入的麦克风图标1504。在预览区域1506中，占位符在视觉上表示正在被捕捉的语音数据。在时间T1，水平滑动手势(例如，如由向左移动反馈指示符1508所指示的)被执行以将用户界面从语音输入区域/状态转换到文本编辑器。如以上参考图9所描述的，用户界面的文本编辑器可在时间T2被显示，包括经识别的候选文本的字符串。在时间T3，字符串可经由水平滑动手势来拖动以使得能够查看附加的文本，并且在时间T4，字符串的结尾可响应于水平滑动手势可被查看。在一些实现中，语音命令或另一类型的用户输入可被用来转换到文本编辑器。
可从用户界面的任何合适的区域进入如上所述的用户界面的语音输入模式。例如，语音输入模式可以是图6中所描述的键盘布局选择菜单中的附加的选项。语音输入模式可附加地或替代地通过向上或向下滑动(如参考图5A和5B所描述的)，或者在查看虚拟键盘时通过选择被显示的图标来访问。语音输入模式可附加地或替代地在文本编辑器内被访问。例如，在选择经识别的候选单词的字符串中的候选单词时，用于提供语音输入以替代该单词的键可被显示。
附加地或替代地，手写、绘制或形状写入(shape-writing)输入模式可经由被显示的图标或菜单选项来选择。绘制输入模式可使得用户能够通过用手指、触控笔或其他输入设备直接在显示器上绘制来替代并且/或者键入字符/单词。在一些实施例中，字符或形状可被绘制在与被用于文本编辑器的显示器取向不同的显示器取向上(例如，可以以纵向取向来绘制文本，而文本编辑器可以是横向取向的)。绘制输入可包括对显示器的一个或多个触摸输入(例如，一系列的连续触摸输入，每个连续触摸输入形成或者表示字符或字符的一部分)。触摸输入和/或与触摸输入相对应的数据可由包括显示器的计算设备来分析并且/或者可被传送到远程计算设备以供处理以确定与绘制输入相对应的字符或单词。
所确定的字符或单词可被添加到经键入的文本的字符串中，并且在完成绘制输入会话时(例如，响应于退出绘制输入模式)被显示在文本编辑器中。在一些示例中，绘制输入模式可利用与虚拟键盘类似的分隔符，以便触发字符或单词识别。例如，提起手指，暂停(例如，不触摸显示器或保持与显示器的单个点的接触)达超过阈值的时间，选择用户界面元素(例如，“结束绘制模式”用户界面元素)或其他分隔符输入(例如，轻敲、滑动手势和/或另外的合适的输入)可触发自上个分隔符输入或绘制模式开始以来所接收到的触摸输入的字符或单词识别。
图16示出了识别文本输入的方法1600。方法1600可由图1的腕戴式计算设备100或能够显示虚拟键盘的任何其他文本输入设备来执行。
在1602，方法1600包括呈现虚拟键盘。如上所述，虚拟键盘可被呈现为基本上占据整个显示器，从而允许虚拟键盘的每个键如显示器允许的那样大。
在1604，方法1600包括识别输入。这样的输入可包括虚拟键盘上的键击(例如，轻敲输入)、语音输入、注视输入、手势输入、硬件按钮按压或可由文本输入设备识别的任何其他类型的输入。
在1606，如果经识别的输入是退出虚拟键盘的命令，则该方法在1608结束。这样的命令可以是滑动或其他输入以切换到文本编辑器、打开另一个应用、关闭文本输入设备，或者执行另一操作。如果经识别的输入不是退出虚拟键盘的命令，则该方法前进到1610。
在1610，如果经识别的输入是分隔符键，则该方法行进到1612。如果经识别的输入不是分隔符键，则该方法行进到1614，其中检测到的输入被任选地发送到内置或外置单词级识别器。如下面参考1612所讨论的，连续的分隔符之间的多个输入可被打包并一起被发送,而不是在每个输入识别之后来发送每个输入。
在1616，方法1600任选地包括将占位符与虚拟键盘一起显示。当占位符被显示时，占位符可以是星号、项目符号或任何其他通用符号，其表示键已被输入，而不会以潜在的错误的键来分散用户的注意力。在一些实现中，可使用对应于特定输入的实际字母或其他符号来替代。占位符可响应于输入未选择任何分隔符键而被显示。
如在1618所指示的，占位符可替代与在上个分隔符之前的输入相对应的所显示的单词(即，前一个单词)。如在1620所指示的，多个占位符可一起被显示，使得在分隔符之前的每个新输入将添加新的占位符。以这种方式，用户可看到每个触摸输入正在被识别。在一些实现中，仅阈值数量的占位符将被显示(例如，将适合在显示器上而不改变虚拟键盘尺寸或位置的占位符的数量)。在一些实现中，虚拟键盘页面的占位符和/或其他方面可闪烁或以其他方式在视觉上指示触摸输入何时被识别。在一些实现中，触觉反馈和/或其他机制可被用来向用户发出触摸输入识别的信号。
在1612，方法1600任选地包括绑定在连续的分隔符输入之间的所有键输入并且将该绑定发送到内置或外置单词级识别器。例如，这样的绑定可减少传达输入所需的通信的数量。替代地，如以上参考1614所讨论的，每个输入可被单独地发送。
在1622，方法1600包括接收来自单词级识别器的建议候选文本。在1624，接收到的建议候选文本与虚拟键盘一起被显示。该新的建议候选文本响应于选择分隔符键中的一个的输入来替代根据前一个单词的任何候选文本或者当前单词的任何占位符(例如，所有当前被显示的占位符)。以这种方式，在任何给定时间最多只有一个单词与键盘一起被显示。由此，不需要将键盘做得更小来容适以供将键入的文本与虚拟键盘一起显示的更大的区域。如在1626所指示的，所显示的候选文本可被截断，使得所显示的单词的一部分从显示器的边缘逸出。替代地，候选文本的大小可被减小，使得整个单词与虚拟键盘一起适合在显示器上。
在一些示例中，作为用候选文本来替代占位符的补充或替代，新的建议候选文本可被临时地显示在键盘上。例如，新的建议候选文本可以以半透明的方式被显示在键盘上，并且/或者在新的建议候选文本的显示期间键盘可被淡出(例如，以类似于以上参考图3中的时间T0－T3所描述的淡出的方式)。在一些示例中，新的建议候选文本可具有统一的大小，而不管文本中的字符的数量(例如，如上文参考替代占位符的文本所描述的导致选择性截断)。在其他示例中，候选文本可被按比例缩放/被拉伸并且/或者被缩小以适合屏幕尺寸。
可将以上所描述的方法和过程绑定到包括一个或多个计算设备的计算系统。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图17示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1700的非限制性实施例。以简化形式示出了计算系统1700。计算系统1700可采取一个或多个文本输入设备和/或协作计算设备的形式，其可采取可穿戴计算设备、移动计算设备、移动通信设备(例如智能电话)、个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备和/或其他计算设备的形式。
计算系统1700包括逻辑机1702和存储机1704。计算系统1700可任选地包括显示子系统1706、输入子系统1708、通信子系统1710和/或在图17中未示出的其他组件。
逻辑机1702包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机1704包括被配置成保持可由逻辑机执行以实现此处所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机1704的状态(例如，保存不同的数据)。
存储机1704可以包括可移动和/或内置设备。存储机1704可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机1704可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机1704包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机1702和存储机1704的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算系统1700的一方面。在某些情况下，可以通过执行由存储机1704所保持的机器可读指令的逻辑机1702来实例化模块、程序或引擎。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块、程序和/或引擎。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
在被包括时，显示子系统1706可用于呈现由存储机1704保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统1706的状态以视觉地表示底层数据的改变。显示子系统1706可包括使用实质上任何类型的技术的一个或多个显示设备。可将这样的显示设备与逻辑机1702和/或存储机1704组合在共享封装中，或者这样的显示设备可以是外围显示设备。
在包括输入子系统1708时，输入子系统2008包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这样的部件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统1710时，通信子系统1700可被配置成将计算系统2000与一个或多个其他计算设备通信地耦合。通信子系统1710可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统1700经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
一个示例提供了一种在计算设备上提供用户界面的方法，该方法包括：在计算设备的显示器上呈现虚拟键盘，检测对虚拟键盘的输入，并且对于每个检测到的输入，确定该输入是否选择一个或多个分隔符键中的任一个，响应于输入未选择一个或多个分隔符键中的任一个，显示该输入的占位符，以及响应于输入选择一个或多个分隔符键中的任一个，接收来自单词级识别器的建议候选文本并用该建议候选文本替代所有当前被显示的占位符。在这样的示例中，响应于检测对虚拟键盘的输入，每个检测到的输入可附加地或替代地被发送到单词级识别器。在这样的示例中，计算设备可附加地或替代地是第一计算设备，并且单词级识别器可附加地或替代地被包括在位于第一计算设备的远程并经由无线通信链路与第一计算设备通信的第二计算设备中。在这样的示例中，显示输入的占位符可附加地或替代地包括：如果未显示最大数量的占位符，则递增被显示的占位符的数量，并且如果最大数量的占位符被显示，则保持所显示的占位符的数量。在这样的示例中，检测对虚拟键盘的输入可附加地或替代地包括检测对虚拟键盘的轻敲输入，并且该方法可附加地或替代地包括检测滑动输入并响应于该滑动输入从显示虚拟键盘转换成显示用户界面的不同部分。在这样的示例中，显示用户界面的不同部分可附加地或替代地包括显示键盘选择菜单。在这样的示例中，显示用户界面的不同部分可附加地或替代地包括显示文本编辑器，该文本编辑器呈现先前接收到的建议候选文本的列表。在这样的示例中，从显示虚拟键盘转换成显示用户界面的不同部分可附加地或替代地包括将虚拟键盘的一部分移出用户界面的可显示区域并将用户界面的不同部分移入用户界面的可显示区域。在这样的示例中，用建议候选文本替代所有当前被显示的占位符可附加地或替代地包括：如果候选文本的长度大于阈值，则在用户界面的可显示区域中仅示出候选文本的一部分。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一个示例提供了一种计算设备，包括具有顶部边缘和底部边缘的触摸显示设备、逻辑机和存储机。在这样的示例中，存储机可保持可由逻辑机执行的指令，以在触摸显示器上呈现虚拟键盘，该虚拟键盘不具有位于虚拟键盘与顶部边缘之间的先前键入的文本编辑区域并且不具有位于虚拟键盘与底部边缘之间的文本编辑区域，基于对虚拟键盘的输入生成经识别的单词，并且响应于显示－文本－编辑器输入，从显示虚拟键盘转换成显示不带虚拟键盘的文本编辑器，该文本编辑器呈现经识别的单词。在这样的示例中，转换可附加地或替代地包括用户界面的横扫，并且虚拟键盘的一部分可附加地或替代地在转换期间在用户界面的可显示区域中与文本编辑器的一部分一起被显示。在这样的示例中，呈现虚拟键盘可附加地或替代地包括在触摸显示设备的靠顶部的三分之一中呈现虚拟键盘的首排的键，在触摸显示设备的中间的三分之一中呈现虚拟键盘的中间排的键，并在触摸显示设备的靠底部的三分之一中呈现虚拟键盘的末排的键。在这样的示例中，基于对虚拟键盘的输入生成经识别的单词可附加地或替代地包括检测对虚拟键盘的输入，并且对于每个检测到的输入，确定该输入是否选择一个或多个分隔符键中的任一个，响应于输入未选择一个或多个分隔符键中的任一个，显示该输入的占位符，以及响应于输入选择一个或多个分隔符键中的任一个，接收来自单词级识别器的建议候选文本并用该建议候选文本替代所有当前被显示的占位符。在这样的示例中，响应于检测对虚拟键盘的输入，每个检测到的输入可附加地或替代地被发送到单词级识别器。在这样的示例中，单词级识别器可附加地或替代地被包括在远程计算设备中，并且该远程计算设备可附加地或替代地经由无线通信链路与计算设备通信。在这样的示例中，显示输入的占位符可附加地或替代地包括：如果未显示最大数量的占位符，则递增被显示的占位符的数量，并且如果最大数量的占位符被显示，则保持所显示的占位符的数量。在这样的示例中，显示－文本－编辑器输入可附加地或替代地包括滑动输入。在这样的示例中，计算设备可附加地或替代地包括麦克风，并且经识别的单词响应于由麦克风检测到的语音输入可附加地或替代地被生成。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一个示例提供了一种腕戴式计算设备，包括具有顶部边缘和底部边缘的触摸显示设备、逻辑机和存储机。存储机可保持可由逻辑机执行的指令，以在触摸显示器上呈现虚拟键盘，该虚拟键盘不具有位于虚拟键盘与底部边缘之间的先前键入的文本编辑区域，检测对虚拟键盘的输入，并且对于每个检测到的输入，确定该输入是否选择一个或多个分隔符键中的任一个，响应于输入未选择一个或多个分隔符键中的任一个，显示该输入的占位符，以及响应于输入选择一个或多个分隔符键中的任一个，接收来自单词级识别器的建议候选文本并用该建议候选文本替代所有当前被显示的占位符。存储机可附加地或替代地保持可由逻辑机执行的指令，以响应于显示－文本－编辑器输入，从显示虚拟键盘转换成显示不带虚拟键盘的文本编辑器，该文本编辑器呈现由先前接收到的建议候选文本形成的先前已进入的文本。在这样的示例中，响应于检测对虚拟键盘的输入，每个检测到的输入可附加地或替代地被发送到单词级识别器。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种计算设备，包括：
具有顶部边缘和底部边缘的触摸显示设备；
逻辑机；以及
存储机，所述存储机保持能由所述逻辑机执行以进行以下操作的指令：
呈现所述触摸显示器上的虚拟键盘，所述虚拟键盘不具有位于所述虚拟键盘与所述顶部边缘之间的先前键入的文本编辑区域并且不具有位于所述虚拟键盘与所述底部边缘之间的文本编辑区域；
基于对所述虚拟键盘的输入生成经识别的单词；以及
响应于显示－文本－编辑器输入，从显示所述虚拟键盘转换成显示不带所述虚拟键盘的文本编辑器，所述文本编辑器呈现所述经识别的单词；
其中基于对所述虚拟键盘的输入来生成经识别的单词包括：
检测对所述虚拟键盘的输入；并且
对于每个检测到的输入：
确定所述输入是否选择一个或多个分隔符键中的任一个；
响应于所述输入未选择所述一个或多个分隔符键中的任一个，显示所述输入的占位符；并且
响应于所述输入选择所述一个或多个分隔符键中的任一个，接收来自单词级识别器的建议候选文本，并且用所述建议候选文本来替代所有当前被显示的占位符。
2.根据权利要求1所述的计算设备，其特征在于，其中所述转换包括对用户界面的横扫，并且其中，在所述转换期间，所述虚拟键盘的一部分在所述用户界面的可显示区域中与所述文本编辑器的一部分一起被显示。
3.根据权利要求1所述的计算设备，其特征在于，其中呈现所述虚拟键盘包括在所述触摸显示设备的靠顶部的三分之一中呈现所述虚拟键盘的顶排的键，在所述触摸显示设备的中间的三分之一中呈现所述虚拟键盘的中间排的键，并在所述触摸显示设备的靠底部的三分之一中呈现所述虚拟键盘的末排的键。
4.根据权利要求1所述的计算设备，其特征在于，其中，在绘制输入模式期间，附加的经识别的单词响应于对所述触摸显示设备的绘制或形状写入输入而被生成。
5.根据权利要求1所述的计算设备，其特征在于，其中所述单词级识别器被包括在远程计算设备中，所述远程计算设备经由无线通信链路与所述计算设备通信。
6.根据权利要求1所述的计算设备，其特征在于，其中显示所述输入的占位符包括：如果未显示最大数量的占位符，则递增被显示的占位符的数量，并且如果最大数量的占位符被显示，则保持所显示的占位符的数量。
7.根据权利要求1所述的计算设备，其特征在于，其中所述显示－文本－编辑器输入是滑动输入。
8.根据权利要求1所述的计算设备，其特征在于，其中所述计算设备还包括麦克风，并且其中经识别的单词响应于由所述麦克风检测到的语音输入而被生成。
9.一种腕戴式计算设备，包括：
具有顶部边缘和底部边缘的触摸显示设备；
逻辑机；以及
存储机，所述存储机保持能由所述逻辑机执行以进行以下操作的指令：
在所述触摸显示器上呈现虚拟键盘，该虚拟键盘不具有位于所述虚拟键盘与所述底部边缘之间的先前键入的文本编辑区域；
检测对所述虚拟键盘的输入；
对于每个检测到的输入：
确定所述输入是否选择一个或多个分隔符键中的任一个；
响应于所述输入未选择所述一个或多个分隔符键中的任一个，显示所述输入的占位符；并且
响应于所述输入选择所述一个或多个分隔符键中的任一个，接收来自单词级识别器的建议候选文本，并且用所述建议候选文本来替代所有当前被显示的占位符；以及
响应于显示－文本－编辑器输入，从显示所述虚拟键盘转换成显示不带所述虚拟键盘的文本编辑器，所述文本编辑器呈现由先前接收到的建议候选文本形成的先前已进入的文本。
10.根据权利要求9所述的腕戴式计算设备，其特征在于，其中所述指令响应于所述输入选择所述一个或多个分隔符键中的任一个还可被执行，以临时地在所述键盘上显示所述建议候选文本。
CN201580047733.3A 2014-09-05 2015-09-04 显示器便捷式文本输入和编辑 Active CN106687889B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462046883P 2014-09-05 2014-09-05
US62/046,883 2014-09-05
US14/555,502 2014-11-26
US14/555,502 US10261674B2 (en) 2014-09-05 2014-11-26 Display-efficient text entry and editing
PCT/US2015/048445 WO2016037019A1 (en) 2014-09-05 2015-09-04 Display-efficient text entry and editing

Publications (2)

Publication Number Publication Date
CN106687889A CN106687889A (zh) 2017-05-17
CN106687889B true CN106687889B (zh) 2020-03-06

Family

ID=55437528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580047733.3A Active CN106687889B (zh) 2014-09-05 2015-09-04 显示器便捷式文本输入和编辑

Country Status (4)

Country Link
US (2) US10261674B2 (zh)
EP (1) EP3195099B1 (zh)
CN (1) CN106687889B (zh)
WO (1) WO2016037019A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
DE102013004246A1 (de) * 2013-03-12 2014-09-18 Audi Ag Einem Fahrzeug zugeordnete Vorrichtung mit Buchstabiereinrichtung - Vervollständigungs-Kennzeichnung
USD741875S1 (en) * 2013-06-10 2015-10-27 Apple Inc. Display screen or portion thereof with graphical user interface
GB2516029A (en) * 2013-07-08 2015-01-14 Ibm Touchscreen keyboard
USD750658S1 (en) 2013-09-10 2016-03-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD763299S1 (en) 2013-11-26 2016-08-09 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9640181B2 (en) * 2013-12-27 2017-05-02 Kopin Corporation Text editing with gesture control and natural speech
US10255267B2 (en) * 2014-05-30 2019-04-09 Apple Inc. Device, method, and graphical user interface for a predictive keyboard
CN104267922B (zh) * 2014-09-16 2019-05-31 联想(北京)有限公司 一种信息处理方法及电子设备
US10067670B2 (en) * 2015-05-19 2018-09-04 Google Llc Multi-switch option scanning
US10430072B2 (en) 2015-06-05 2019-10-01 Apple Inc. Touch-based interactive learning environment
USD771701S1 (en) * 2015-10-29 2016-11-15 Microsoft Corporation Display screen with animated graphical user interface
USD772292S1 (en) * 2015-10-29 2016-11-22 Microsoft Corporation Display screen with animated graphical user interface
USD772934S1 (en) * 2015-10-29 2016-11-29 Microsoft Corporation Display screen with animated graphical user interface
USD775202S1 (en) * 2015-10-29 2016-12-27 Microsoft Corporation Display screen with animated graphical user interface
US10254900B2 (en) * 2016-02-18 2019-04-09 Tufts University Drifting keyboard
US10771427B2 (en) * 2016-02-18 2020-09-08 Versign, Inc. Systems and methods for determining character entry dynamics for text segmentation
US9781243B1 (en) * 2016-06-27 2017-10-03 Intel Corporation Optimizing wearable device settings using machine learning
KR101791930B1 (ko) * 2016-09-23 2017-10-31 (주)신성이노테크 문자입력 장치
JP6801347B2 (ja) * 2016-09-30 2020-12-16 ブラザー工業株式会社 表示入力装置及び記憶媒体
US10845885B2 (en) * 2017-02-27 2020-11-24 International Business Machines Corporation Object scrolling and selection on a wearable computing device
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
US10365823B2 (en) * 2017-03-02 2019-07-30 International Business Machines Corporation Simplified text entry user interface for touch devices
CN117519478A (zh) 2017-05-19 2024-02-06 M·W·墨菲 交错字符选择界面
US10956033B2 (en) * 2017-07-13 2021-03-23 Hand Held Products, Inc. System and method for generating a virtual keyboard with a highlighted area of interest
CN111052064B (zh) * 2017-07-27 2023-09-19 三星电子株式会社 自动提供基于手势的自动完成建议的方法及其电子设备
KR102054517B1 (ko) * 2017-11-15 2019-12-11 주식회사 비트바이트 인터렉티브 키보드 제공방법 및 그 시스템
US10656780B2 (en) 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
JP2019139485A (ja) * 2018-02-09 2019-08-22 京セラドキュメントソリューションズ株式会社 入力受付装置
USD880523S1 (en) * 2018-02-23 2020-04-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN108845754B (zh) * 2018-07-03 2022-09-30 西交利物浦大学 用于移动虚拟现实头戴显示器的无驻留文本输入方法
USD904456S1 (en) * 2018-11-06 2020-12-08 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD916129S1 (en) * 2018-11-06 2021-04-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD918959S1 (en) * 2018-11-06 2021-05-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD916132S1 (en) * 2018-11-06 2021-04-13 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11922007B2 (en) * 2018-11-29 2024-03-05 Michael William Murphy Apparatus, method and system for inputting characters to an electronic device
USD910038S1 (en) * 2019-02-18 2021-02-09 Samsung Electronics Co., Ltd. Foldable mobile phone with transitional graphical user interface
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
CN112400155B (zh) * 2019-06-12 2024-11-05 谷歌有限责任公司 在用户界面中动态展示重复使用的数据
US11134034B2 (en) * 2019-09-09 2021-09-28 Disney Enterprises, Inc. Systems, methods, and storage media configured to integrate artificial intelligence chatbots into a communication between real-world users
US11379662B2 (en) * 2019-10-29 2022-07-05 Karmen Langlotz Data entry capitalization error correction system and word processing system with second language facility
US11157089B2 (en) * 2019-12-27 2021-10-26 Hypori Llc Character editing on a physical device via interaction with a virtual device user interface
CN111144073B (zh) * 2019-12-30 2021-11-16 文思海辉智科科技有限公司 在线文本显示系统中的空白字符可视化方法及装置
US11416136B2 (en) 2020-09-14 2022-08-16 Apple Inc. User interfaces for assigning and responding to user inputs
CN112698739B (zh) * 2020-12-28 2023-03-21 联想(北京)有限公司 一种控制方法及装置
US12118811B2 (en) * 2021-01-28 2024-10-15 Samsung Electronics Co., Ltd. Electronic device and method for shape recognition based on stroke analysis in electronic device
US11656723B2 (en) 2021-02-12 2023-05-23 Vizio, Inc. Systems and methods for providing on-screen virtual keyboards
US11757951B2 (en) 2021-05-28 2023-09-12 Vizio, Inc. System and method for configuring video watch parties with gesture-specific telemojis
CN113535043A (zh) * 2021-06-28 2021-10-22 展讯通信(天津)有限公司 一种信息输入的方法及装置
USD984475S1 (en) * 2021-12-14 2023-04-25 Cana Technology, Inc. Display screen or portion thereof with animated graphical user interface
USD1029878S1 (en) * 2022-01-06 2024-06-04 Gaeastar Gmbh Display screen or portion thereof with graphical user interface
US12111977B2 (en) 2022-07-06 2024-10-08 Bonggeun Kim Device and method for inputting characters

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393506A (zh) * 2007-09-13 2009-03-25 苹果公司 用于具有多语言环境的设备的输入方法及相关设备和系统

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546538A (en) * 1993-12-14 1996-08-13 Intel Corporation System for processing handwriting written by user of portable computer by server or processing by the computer when the computer no longer communicate with server
US5893133A (en) * 1995-08-16 1999-04-06 International Business Machines Corporation Keyboard for a system and method for processing Chinese language text
US6408272B1 (en) * 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
US10728381B2 (en) * 1999-06-04 2020-07-28 Raman K. Rao Reconfigurable mobile device interfaces supporting authenticated high quality video, audio, TV and multimedia services
JP4728537B2 (ja) * 2001-09-14 2011-07-20 株式会社ホンダアクセス ブルートゥース通信システム
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US9223426B2 (en) * 2010-10-01 2015-12-29 Z124 Repositioning windows in the pop-up window
AU2007223505A1 (en) * 2006-03-08 2007-09-13 Toray Industries, Inc. Process for producing fiber-reinforced resin
US8683362B2 (en) * 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US20080077393A1 (en) * 2006-09-01 2008-03-27 Yuqing Gao Virtual keyboard adaptation for multilingual input
US20090276839A1 (en) * 2008-05-02 2009-11-05 Fortknock Protection Llc Identity collection, verification and security access control system
US20110066042A1 (en) 2009-09-15 2011-03-17 Texas Instruments Incorporated Estimation of blood flow and hemodynamic parameters from a single chest-worn sensor, and other circuits, devices and processes
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
KR20130001261A (ko) 2010-03-12 2013-01-03 뉘앙스 커뮤니케이션즈, 인코포레이티드 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20120028062A1 (en) * 2010-07-27 2012-02-02 E. I. Du Pont De Nemours And Company Polyamide composite structures and process for their preparation
US20120178325A1 (en) * 2010-08-10 2012-07-12 E. I. Du Pont De Nemours And Company Polyamide composite structures and processes for their preparation
GB2496803A (en) * 2010-09-24 2013-05-22 Research In Motion Ltd Transitional view on a portable electronic device
US20120249596A1 (en) 2011-03-31 2012-10-04 Nokia Corporation Methods and apparatuses for dynamically scaling a touch display user interface
US20120328187A1 (en) * 2011-06-23 2012-12-27 Mr. Stanko Gligorije Vuleta Text analysis and visualization
US20130002559A1 (en) 2011-07-03 2013-01-03 Vardi Nachum Desktop computer user interface
JP5799628B2 (ja) * 2011-07-15 2015-10-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20130212515A1 (en) * 2012-02-13 2013-08-15 Syntellia, Inc. User interface for text input
US8641306B2 (en) 2011-08-16 2014-02-04 Argotext Wristwatch keyboard
US9652448B2 (en) * 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US20130169540A1 (en) 2012-01-04 2013-07-04 Huy Hai Dinh Moving virtual keyboard
US9477642B2 (en) * 2012-02-05 2016-10-25 Apple Inc. Gesture-based navigation among content items
US20130263039A1 (en) * 2012-03-30 2013-10-03 Nokia Corporation Character string shortcut key
US20130298071A1 (en) * 2012-05-02 2013-11-07 Jonathan WINE Finger text-entry overlay
US20130326392A1 (en) * 2012-05-30 2013-12-05 Research In Motion Limited Portable electronic device including a placeholder for an entry field and method of controlling same
US20140019253A1 (en) * 2012-07-10 2014-01-16 Richard Ricasata Systems and methods for selecting and displaying interactive advertising content with a lock screen
US20140053098A1 (en) * 2012-08-17 2014-02-20 Christofer Bengt Thure LEYON Secure text entry methods for portable electronic devices
KR101947034B1 (ko) 2012-08-21 2019-04-25 삼성전자 주식회사 휴대 기기의 입력 장치 및 방법
US8914751B2 (en) * 2012-10-16 2014-12-16 Google Inc. Character deletion during keyboard gesture
US8612213B1 (en) * 2012-10-16 2013-12-17 Google Inc. Correction of errors in character strings that include a word delimiter
US9372602B2 (en) * 2012-11-04 2016-06-21 International Business Machines Corporation Password presentation management
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US20140160055A1 (en) 2012-12-12 2014-06-12 Jeffrey Margolis Wearable multi-modal input device for augmented reality
US9047268B2 (en) * 2013-01-31 2015-06-02 Google Inc. Character and word level language models for out-of-vocabulary text input
US9807495B2 (en) 2013-02-25 2017-10-31 Microsoft Technology Licensing, Llc Wearable audio accessories for computing devices
US9122371B2 (en) * 2013-03-08 2015-09-01 Qualcomm Incorporated Displaying an icon based upon user input
WO2014147785A1 (ja) * 2013-03-21 2014-09-25 富士通株式会社 動作検知装置，動作検知方法，プログラム及び記録媒体
US20150065893A1 (en) * 2013-08-27 2015-03-05 Cywee Group Limited Wearable electronic device, customized display device and system of same
WO2015065424A1 (en) * 2013-10-31 2015-05-07 Intel Corporation Context-based message creation via user-selectable icons
CN103576792A (zh) 2013-11-10 2014-02-12 赵明 分体式穿戴电脑
JP5960114B2 (ja) * 2013-11-29 2016-08-02 京セラドキュメントソリューションズ株式会社 認証装置
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input
WO2015130875A1 (en) * 2014-02-27 2015-09-03 Keyless Systems Ltd. Improved data entry systems
US10691332B2 (en) * 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
CN106104451B (zh) * 2014-03-25 2019-05-17 富士通株式会社 终端装置、显示控制方法以及程序
US9201933B2 (en) * 2014-04-01 2015-12-01 BizDox, LLC Systems and methods for documenting, analyzing, and supporting information technology infrastructure
JP2015201131A (ja) * 2014-04-10 2015-11-12 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
US20150323998A1 (en) * 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
KR20160001180A (ko) * 2014-06-26 2016-01-06 삼성전자주식회사 가상 키보드의 디스플레이를 위한 방법 및 그 전자 장치
US10185488B2 (en) * 2014-07-08 2019-01-22 Sony Corporation Device and method for displaying information
US9672340B2 (en) * 2014-08-07 2017-06-06 Lenovo (Singapore) Pte. Ltd Secure handwriting input for password fields
US20160098086A1 (en) * 2014-10-06 2016-04-07 Chien-Wen Li Wearable smart type input and control device
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
JP2016105549A (ja) * 2014-12-01 2016-06-09 ブラザー工業株式会社 会議設定プログラム、会議設定装置、及び会議設定方法
WO2017023185A1 (ru) * 2015-08-06 2017-02-09 Общество С Ограниченной Ответственностью "1С Виарабл" Способ, устройство и система для ввода и отображения данных на сенсорном дисплее
US11209976B2 (en) * 2016-04-29 2021-12-28 Myscript System and method for editing input management
US10520979B2 (en) * 2016-06-10 2019-12-31 Apple Inc. Enhanced application preview mode

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393506A (zh) * 2007-09-13 2009-03-25 苹果公司 用于具有多语言环境的设备的输入方法及相关设备和系统

Also Published As

Publication number Publication date
US20190286300A1 (en) 2019-09-19
WO2016037019A1 (en) 2016-03-10
US10698587B2 (en) 2020-06-30
US20160070441A1 (en) 2016-03-10
EP3195099B1 (en) 2021-03-24
US10261674B2 (en) 2019-04-16
EP3195099A1 (en) 2017-07-26
CN106687889A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106687889B (zh) 显示器便捷式文本输入和编辑
US20230214107A1 (en) User interface for receiving user input
CN114564113B (zh) 电子设备上的手写输入
US20210406578A1 (en) Handwriting-based predictive population of partial virtual keyboards
KR101375166B1 (ko) 문자화장단말기 및 제어방법
US9176668B2 (en) User interface for text input and virtual keyboard manipulation
US10372327B2 (en) Cursor-based character input interface
CN105659194B (zh) 用于屏幕上键盘的快速任务
US8952897B2 (en) Single page soft input panels for larger character sets
US20120019540A1 (en) Sliding Motion To Change Computer Keys
US11029824B2 (en) Method and apparatus for moving input field
JP2013003803A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
KR20150143989A (ko) 간편한 이모티콘 입력 방법 및 이 방법을 구현한 장치
JP2013003801A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
JP2013003802A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、及び記録媒体
US20150347004A1 (en) Indic language keyboard interface
KR102324946B1 (ko) 표시 영역 자동 분할 방법 및 장치
JP2024011566A (ja) 情報処理装置、プログラム、及び情報処理方法
CN111566602A (zh) 具有改进的触摸界面的计算机设备及相应的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant