[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114127676A - 电子设备上的手写输入 - Google Patents

电子设备上的手写输入 Download PDF

Info

Publication number
CN114127676A
CN114127676A CN202080049378.4A CN202080049378A CN114127676A CN 114127676 A CN114127676 A CN 114127676A CN 202080049378 A CN202080049378 A CN 202080049378A CN 114127676 A CN114127676 A CN 114127676A
Authority
CN
China
Prior art keywords
input
text
user interface
handwritten
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080049378.4A
Other languages
English (en)
Inventor
J·米西格
M·斯陶贝尔
G·阿尔多
J·T·伯恩斯坦
M·R·卢
李佳宝
P·沙玛
C·D·索利
S·O·勒梅
D·T·普里斯通
P·布莱肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210131407.2A priority Critical patent/CN114564113B/zh
Publication of CN114127676A publication Critical patent/CN114127676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Calculators And Similar Devices (AREA)

Abstract

在一些实施方案中,电子设备接收文本输入字段中的手写输入并将这些手写输入转换为基于字体的文本。在一些实施方案中,电子设备基于来自触笔的输入来选择和删除文本。在一些实施方案中,电子设备基于来自触笔的输入将文本插入预先存在的文本中。在一些实施方案中,电子设备管理将手写输入转换为基于字体的文本的定时。在一些实施方案中,电子设备呈现手写输入菜单。在一些实施方案中,电子设备基于在该手写输入菜单上的选择来控制手写输入的特征。在一些实施方案中,电子设备呈现自动补全建议。在一些实施方案中,电子设备将手写输入转换为基于字体的文本。在一些实施方案中,电子设备在内容输入控制板中显示选项。

Description

电子设备上的手写输入
相关申请的交叉引用
本专利申请要求于2019年5月6日提交的美国临时专利申请62/843,976、于2019年6月10日提交的美国临时专利申请62/859,413和于2020年5月5日提交的美国临时专利申请63/020,496的权益,这些临时专利申请的内容据此全文以引用方式并入本文以用于所有目的。
技术领域
本发明整体涉及接受手写输入的电子设备,以及用户与此类设备的交互。
背景技术
近年来,用户与电子设备的交互显著增强。这些设备可以是诸如计算机、平板电脑、电视机、多媒体设备、移动设备等之类的设备。
在一些情况下,用户希望在电子设备上输入文本或以其他方式利用触笔与电子设备交互。在一些情况下,用户希望使用触笔或其他手写设备将期望文本手写到电子设备的触摸屏显示器上。增强这些交互可改善用户对设备的使用体验,并减少用户交互时间,这在输入设备经电池供电的情况下尤为重要。
众所周知,使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地,应管理和处理个人可识别信息数据,以使无意或未经授权的访问或使用的风险最小化,并应当向用户明确说明授权使用的性质。
发明内容
本公开中描述的一些实施方案涉及接收文本输入字段中的手写输入并将手写输入转换为基于字体的文本。本公开中描述的一些实施方案涉及使用触笔选择和删除文本。本公开的一些实施方案涉及使用触笔将文本插入预先存在的文本中。本公开的一些实施方案涉及管理将手写输入转换为基于字体的文本的定时。本公开的一些实施方案涉及在电子设备上呈现手写输入菜单。本公开的一些实施方案涉及基于在手写输入菜单上的选择来控制手写输入的特征。本公开的一些实施方案涉及呈现自动补全建议。本公开的一些实施方案涉及将手写输入转换为基于字体的文本。本公开的一些实施方案涉及在内容输入控制板中显示选项。
附图说明
为了更好地理解各种所述实施方案,应该结合以下附图参考下面的具体实施方式,在附图中,类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出了根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的便携式多功能设备上应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图5C至图5D示出了根据一些实施方案的具有触敏显示器和强度传感器的个人电子设备的示例性部件。
图5E至图5H示出了根据一些实施方案的个人电子设备的示例性部件和用户界面。
图5I示出了根据本公开的一些实施方案的用于设备的示例性架构的框图。
图6A至图6YY示出了根据一些实施方案的电子设备将手写输入转换为基于字体的文本的示例性方式。
图7A至图7I是示出根据一些实施方案的将手写输入转换为基于字体的文本的方法的流程图。
图8A至图8MM示出了根据一些实施方案的电子设备解释手写输入以选择或删除文本的示例性方式。
图9A至图9G是示出根据一些实施方案的解释手写输入以选择或删除文本的方法的流程图。
图10A至图10SSS示出了根据一些实施方案的电子设备将手写输入插入预先存在的文本中的示例性方式。
图11A至图11M是示出根据一些实施方案的将手写输入插入预先存在的文本中的方法的流程图。
图12A至图12SS示出了根据一些实施方案的电子设备管理将手写文本转换为基于字体的文本的定时的示例性方式。
图13A至图13G是示出根据一些实施方案的管理将手写文本转换为基于字体的文本的定时的方法的流程图。
图14A至图14V示出了根据一些实施方案的电子设备呈现手写输入菜单的示例性方式。
图15A至图15F是示出根据一些实施方案的呈现手写输入菜单的方法的流程图。
图16A至图16D是示出根据一些实施方案的基于在手写输入菜单上的选择来控制手写输入的特征的方法的流程图。
图17A至图17W示出了根据一些实施方案的电子设备呈现自动补全建议的示例性方式。
图18A至图18I是示出根据一些实施方案的呈现自动补全建议的方法的流程图。
图19A至图19BB示出了根据一些实施方案的电子设备将手写输入转换为基于字体的文本的示例性方式。
图20A至图20D是示出根据一些实施方案的将手写输入转换为基于字体的文本的方法的流程图。
图21A至图21DD示出了根据一些实施方案的电子设备在内容输入控制板中显示选项的示例性方式。
图22A至图22J是示出根据一些实施方案的在内容输入控制板中显示选项的方法的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而,应当认识到,此类描述并非意在限制本公开的范围,而是作为对示例性实施方案的描述来提供。
需要提供用于接收和解释(例如,来自触笔或其他手写输入设备的)手写输入的有效方法的电子设备。此类技术可减轻使用此类设备的用户的认知负担。此外,此类技术可减少以其他方式浪费在冗余用户输入上的处理器功率和电池功率。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件,但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸,而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸,但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文,术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中,该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备,诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的
Figure BDA0003457651220000051
设备、iPod
Figure BDA0003457651220000052
设备、和
Figure BDA0003457651220000053
设备。任选地使用其他便携式电子设备,诸如具有触敏表面(例如,触摸屏显示器和/或触控板)的膝上型电脑或平板电脑。还应当理解的是,在一些实施方案中,该设备并非便携式通信设备,而是具有触敏表面(例如,触摸屏显示器和/或触控板)的台式计算机。
在下面的讨论中,描述了一种包括显示器和触敏表面的电子设备。然而,应当理解,该电子设备任选地包括一个或多个其他物理用户界面设备,诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序,诸如以下中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备,诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化,和/或在相应应用程序内被调整和/或变化。这样,设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出了根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”,并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如,触敏表面,诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如,在触敏表面(诸如设备100的触敏显示器系统112或设备300的触控板355)上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的,术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如,手指接触)的力或压力(每单位面积的力),或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围,该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如,至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如,在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中,来自多个力传感器的力测量值被组合(例如,加权平均)以确定所估计的接触力。类似地,触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地,在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中,接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如,强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中,接触力或压力的替代物测量被转换成估计的力或压力,并且估计的力或压力用于确定是否已超过强度阈值(例如,强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性,从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能,该尺寸更小的设备用于(例如,在触敏显示器上)显示示能表示和/或接收用户输入(例如,经由触敏显示器、触敏表面或物理控件/机械控件,诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的,术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如,触敏表面)相对于设备的另一个部件(例如,外壳)的物理位移、或部件相对于设备的质心的位移。例如,在设备或设备的部件与用户对触摸敏感的表面(例如,手指、手掌或用户手部的其他部分)接触的情况下,通过物理位移生成的触觉输出将由用户解释为触感,该触感对应于设备或设备的部件的物理特征的所感知的变化。例如,触敏表面(例如,触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下,用户将感觉到触感,诸如“按下点击”或“松开点击”,即使在通过用户的移动而物理地被按压(例如,被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如,即使在触敏表面的光滑度无变化时,触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制,但是对触摸的许多感官知觉是大多数用户共有的。因此,当触觉输出被描述为对应于用户的特定感官知觉(例如,“按下点击”、“松开点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其部件的物理位移,该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解,设备100仅仅是便携式多功能设备的一个示例,并且设备100任选地具有比所示出的部件更多或更少的部件,任选地组合两个或更多个部件,或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器,并且还任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中,外围设备接口118、CPU120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中,它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信,这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如,蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于诸如通过近程通信无线电部件来检测近场通信(NFC)场的熟知的电路。无线通信任选地使用多种通信标准、协议和技术中的任一者,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如,IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n和/或IEEE802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如,可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS),或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据转换为电信号,并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中,音频电路110还包括耳麦插孔(例如,图2中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口,该外围设备为诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到该其他输入控制设备。该其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等。在一些另选实施方案中,输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者):键盘、红外线端口、USB端口以及指向设备诸如鼠标。一个或多个按钮(例如,图2中的208)任选地包括用于扬声器111和/或麦克风113音量控制的增大/减小按钮。该一个或多个按钮任选地包括下压按钮(例如,图2中的206)。
快速按下下压按钮任选地脱离触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程,如在2005年12月23日提交的名称为“Unlocking a Deviceby Performing Gestures on an Unlock Image”的美国专利申请11/322,549(即,美国专利No.7,657,849)中所述的,该美国专利申请据此全文以引用方式并入本文。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或将电信号发送到触摸屏112。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中,一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断),并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如,一个或多个软键、图标、网页或图像)的交互。在示例性实施方案中,触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术,但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在示例性实施方案中,使用投射式互电容感测技术,诸如在来自Apple Inc.(Cupertino,California)的
Figure BDA0003457651220000101
和iPod
Figure BDA0003457651220000102
中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触控板:6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1,该每个专利据此全文以引用方式并入。然而,触摸屏112显示来自设备100的视觉输出,而触敏触控板不提供视觉输出。
在一些实施方案中,触摸屏112的触敏显示器如以下专利申请所述:(1)提交于2006年5月2日的名称为“Multipoint Touch Surface Controller”的美国专利申请No.11/381,313;(2)2004年5月6日提交的名称为“Multipoint Touchscreen”的美国专利申请No.10/840,862;(3)2004年7月30日提交的名称为“Gestures For Touch Sensitive InputDevices”的美国专利申请No.10/903,964;(4)2005年1月31日提交的名称为“Gestures ForTouch Sensitive Input Devices”的美国专利申请No.11/048,264;(5)2005年1月18日提交的名称为“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”的美国专利申请No.11/038,590;(6)2005年9月16日提交的名称为“VirtualInput Device Placement On A Touch Screen User Interface”的美国专利申请No.11/228,758;(7)2005年9月16日提交的名称为“Operation Of A Computer With A TouchScreen Interface”的美国专利申请No.11/228,700;(8)2005年9月16日提交的名称为“Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”的美国专利申请No.11/228,737;以及(9)2006年3月3日提交的名称为“Multi-Functional Hand-HeldDevice”的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中,触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中,将用户界面设计为主要通过基于手指的接触和手势来工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些实施方案中,设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中,除了触摸屏之外,设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中,触控板是设备的触敏区域,与触摸屏不同,该触敏区域不显示视觉输出。触控板任选地是与触摸屏112分开的触敏表面,或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光,并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块),光学传感器164任选地捕获静态图像或视频。在一些实施方案中,光学传感器位于设备100的后部上,与设备前部上的触摸屏显示器112相背对,使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中,光学传感器位于设备的前部上,使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像以用于视频会议。在一些实施方案中,光学传感器164的位置可由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得单个光学传感器164与触摸屏显示器一起使用,以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些实施方案中,至少一个接触强度传感器与触敏表面(例如,触敏显示器系统112)并置排列或邻近。在一些实施方案中,至少一个接触强度传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地,接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行:No.11/241,839,名称为“Proximity Detector In Handheld Device”;No.11/240,788,名称为“ProximityDetector In Handheld Device”;No.11/620,702,名称为“Using Ambient Light SensorTo Augment Proximity Sensor Output”;No.11/586,862,名称为“Automated ResponseTo And Sensing Of User Activity In Portable Devices”;以及No.11/638,251,名称为“Methods And Systems For Automatic Configuration Of Peripherals”,这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中,当多功能设备被置于用户的耳朵附近时(例如,当用户正在进行电话呼叫时),接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备诸如扬声器或其他音频部件;和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合物、压电致动器、静电致动器或其他触觉输出生成部件(例如,用于将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令,并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中,至少一个触觉输出发生器与触敏表面(例如,触敏显示器系统112)并置排列或邻近,并且任选地通过竖直地(例如,向设备100的表面内/外)或侧向地(例如,在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中,至少一个触觉输出发生器传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地,加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行:美国专利公开No.20050190059,名称为“Acceleration-based Theft Detection System for PortableElectronic Devices”和美国专利公开No.20060017692,名称为“Methods AndApparatuses For Operating A Portable Device Based On An Accelerometer”,这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中,基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出),以用于获取关于设备100的位置和取向(例如,纵向或横向)的信息。
在一些实施方案中,存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外,在一些实施方案中,存储器102(图1A)或370(图3)存储设备/全局内部状态157,如图1A和图3中所示。设备/全局内部状态157包括以下中的一者或多者:活动应用程序状态,其指示哪些应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域;传感器状态,包括从设备的各个传感器和输入控制设备116获得的信息;以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如,Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器,并且促进各种硬件部件和软件部件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信,并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如,通用串行总线(USB)、火线等)适于直接耦接到其他设备,或间接地通过网络(例如,互联网、无线LAN等)进行耦接。在一些实施方案中,外部端口是与
Figure BDA0003457651220000141
(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如,30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如,触控板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作,诸如确定是否已经发生了接触(例如,检测手指按下事件)、确定接触强度(例如,接触的力或压力,或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如,检测一个或多个手指拖动事件),以及确定接触是否已经停止(例如,检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变),所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如,单指接触)或者多点同时接触(例如,“多点触摸”/多个手指接触)。在一些实施方案中,接触/运动模块130和显示控制器156检测触控板上的接触。
在一些实施方案中,接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如,确定用户是否已“点击”图标)。在一些实施方案中,根据软件参数来确定强度阈值的至少一个子集(例如,强度阈值不是由特定物理致动器的激活阈值来确定的,并且可在不改变设备100的物理硬件的情况下被调节)。例如,在不改变触控板或触摸屏显示器硬件的情况下,触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外,在一些具体实施中,向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如,通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测由用户进行的手势输入。触敏表面上的不同手势具有不同的接触模式(例如,所检测到的接触的不同运动、计时和/或强度)。因此,任选地通过检测特定接触模式来检测手势。例如,检测手指轻击手势包括检测手指按下事件,然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如,在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例,在触敏表面上检测手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件,包括用于改变所显示的图形的视觉冲击(例如,亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用,术语“图形”包括可被显示给用户的任何对象,其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中,图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码,在必要的情况下还一起接收坐标数据和其他图形属性数据,并且然后生成屏幕图像数据,以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件,该指令由触觉输出发生器167用于响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如,联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置,并提供该信息以供在各种应用程序中使用(例如提供给电话138以供在基于位置的拨号中使用;提供给相机143作为图片/视频元数据;以及提供给提供基于位置的服务的应用,诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集:
·联系人模块137(有时称为通讯录或联系人列表);
·电话模块138;
·视频会议模块139;
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·健身支持模块142;
·用于静态图像和/或视频图像的相机模块143;
·图像管理模块144;
·视频播放器模块;
·音乐播放器模块;
·浏览器模块147;
·日历模块148;
·桌面小程序模块149,其任选地包括以下各项中的一者或多者:天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6;
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150;
·搜索模块151;
·视频和音乐播放器模块152,其合并视频播放器模块和音乐播放器模块;
·记事本模块153;
·地图模块154;以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134,联系人模块137任选地用于管理通讯录或联系人列表(例如,存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中),包括:向通讯录添加一个或多个姓名;从通讯录删除姓名;将电话号码、电子邮件地址、物理地址或其他信息与姓名关联;将图像与姓名关联;对姓名进行归类和分类;提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或IM 141进行的通信;等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话,以及当会话完成时断开或挂断。如上所述,无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138,视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电子邮件客户端模块140包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,即时消息模块141包括用于以下操作的可执行指令:输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如,使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中,所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用,“即时消息”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块,健身支持模块142包括用于创建健身(例如,具有时间、距离和/或卡路里燃烧目标)的可执行指令;与健身传感器(运动设备)进行通信;接收健身传感器数据;校准用于监视健身的传感器;为健身选择和播放音乐;以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144,相机模块143包括用于以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征,或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、和相机模块143,图像管理模块144包括用于排列、修改(例如,编辑)、或以其他方式操控、加标签、删除、呈现(例如,在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,浏览器模块147包括用于根据用户指令来浏览互联网,包括搜索、链接至、接收和显示网页或其部分,以及链接至网页的附件和其他文件的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如,日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如,天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如,用户创建的桌面小程序149-6)。在一些实施方案中,桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中,桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如,将网页的用户指定部分转变为桌面小程序)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,搜索模块151包括用于根据用户指令来搜索存储器102中与一个或多个搜索条件(例如,一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式诸如MP3或AAC文件存储的所记录的音乐和其他声音文件的可执行指令,以及用于显示、呈现或以其他方式回放视频(例如,在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中,设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如,驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据,以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括用于执行以下操作的指令:允许用户访问、浏览、接收(例如,通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件,以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中,使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。在线视频应用程序的其他描述可见于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请No.60/936,562和2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国专利申请No.11/968,067,这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如,本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如,指令集)不必以独立的软件程序、过程或模块实现,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如,视频播放器模块任选地与音乐播放器模块组合成单个模块(例如,图1A中的视频和音乐播放器模块152)。在一些实施方案中,存储器102任选地存储上述模块和数据结构的子组。此外,存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中,设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触控板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备,任选地减少设备100上的物理输入控制设备(例如,下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中,触控板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中,使用触控板来实现“菜单按钮”。在一些其他实施方案中,菜单按钮是物理下压按钮或者其他物理输入控制设备,而不是触控板。
图1B是示出了根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中,存储器102(图1A)或存储器370(图3)包括事件分类器170(例如,在操作系统126中)以及相应的应用程序136-1(例如,前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中,应用程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中,设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的,并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中,应用程序内部状态192包括附加信息,诸如以下各项中的一者或多者:当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列,以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如,触敏显示器112上的用户触摸,作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中,事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应,外围设备接口118传输事件信息。在其他实施方案中,外围设备接口118仅当存在显著事件(例如,接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中,事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时,命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如,在其中检测到触摸的最低水平视图任选地被称为命中视图,并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定,所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下,命中视图是发起子事件(例如,形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别,命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中,活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图,并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中,即使触摸子事件完全被局限到与一个特定视图相关联的区域,分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如,事件识别器180)。在包括活动事件识别器确定模块173的实施方案中,事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中,事件分配器模块174在事件队列中存储事件信息,该事件信息由相应事件接收器182进行检索。
在一些实施方案中,操作系统126包括事件分类器170。另选地,应用程序136-1包括事件分类器170。在又一个实施方案中,事件分类器170是独立模块,或者是存储在存储器102中的另一个模块(诸如,接触/运动模块130)的一部分。
在一些实施方案中,应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191,其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常,相应应用程序视图191包括多个事件识别器180。在其他实施方案中,事件识别器180中的一个或多个事件识别器是独立模块的一部分,该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中,相应事件处理程序190包括以下各项中的一者或多者:数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地,应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外,在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179),并且根据事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中,事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息任选地还包括子事件的速率和方向。在一些实施方案中,事件包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向取向,或反之亦然),并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该比较来确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施方案中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中,事件(187)中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中,事件1(187-1)的定义是被显示对象上的双击。例如,双击包括被显示对象上的预先确定时长的第一触摸(触摸开始)、预先确定时长的第一抬离(触摸结束)、被显示对象上的预先确定时长的第二触摸(触摸开始)以及预先确定时长的第二抬离(触摸结束)。在另一个示例中,事件2(187-2)的定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中,事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中,事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在触敏显示器112上显示三个用户界面对象的应用程序视图中,当在触敏显示器112上检测到触摸时,事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如,事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中,相应事件(187)的定义还包括延迟动作,该延迟动作延迟事件信息的递送,直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时,该相应事件识别器180进入事件不可能、事件失败或事件结束状态,在此之后忽略基于触摸的手势的后续子事件。在这种情况下,对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中,相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中,元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中,元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中,当事件的一个或多个特定子事件被识别时,相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中,相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中,事件识别器180抛出与所识别的事件相关联的标记,并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中,事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反,子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中,数据更新器176创建并更新在应用程序136-1中使用的数据。例如,数据更新器176对联系人模块137中所使用的电话号码进行更新,或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中,对象更新器177创建并更新在应用程序136-1中使用的对象。例如,对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息,并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中,事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178,或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中,它们被包括在两个或更多个软件模块中。
应当理解,关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入,并不是所有用户输入都是在触摸屏上发起的。例如,任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下;触控板上的接触移动,诸如轻击、拖动、滚动等;触笔输入;设备的移动;口头指令;检测到的眼睛移动;生物特征输入;和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中,用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
在一些实施方案中,触笔203是有源设备并且包括一个或多个电子电路。例如,触笔203包括一个或多个传感器以及一个或多个通信电路(诸如通信模块128和/或RF电路108)。在一些实施方案中,触笔203包括一个或多个处理器和电力系统(例如,类似于电力系统162)。在一些实施方案中,触笔203包括加速度计(诸如加速度计168)、磁力仪和/或陀螺仪,其能够确定触笔203的定位、角度、位置和/或其他物理特征(例如,诸如触笔是否放下、朝向或远离设备倾斜和/或靠近或远离设备)。在一些实施方案中,触笔203与电子设备通信(例如,经由通信电路、通过无线通信协议诸如蓝牙),并且将传感器数据传输到电子设备。在一些实施方案中,触笔203能够确定(例如,经由加速度计或其他传感器)用户是否正在握持设备。在一些实施方案中,触笔203可接受触笔203上来自用户的轻击输入(例如,单击或双击)(例如,由加速度计或其他传感器接收),并且将该输入解释为执行功能或改变到不同输入模式的命令或请求。
设备100任选地还包括一个或多个物理按钮,诸如“home”或菜单按钮204。如前所述,菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地,在一些实施方案中,菜单按钮被实现为被显示在触摸屏112上的GUI中的软键。
在一些实施方案中,设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁过程。在另选的实施方案中,设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165,和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中,设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如,家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一条或多条通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330,该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如,类似于上文参考图1A所述的触觉输出发生器167)、传感器359(例如,光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于上文参考图1A所述的接触强度传感器165))。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM,或其他随机存取固态存储器设备;并且任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中,存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或其子集。此外,存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如,设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390,而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如,指令集)不必被实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中,存储器370任选地存储上述模块和数据结构的子组。此外,存储器370任选地存储上文未描述的附加模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,用户界面400包括以下元件或者其子集或超集:
·无线通信诸如蜂窝信号和Wi-Fi信号的信号强度指示符402;
·时间404;
·蓝牙指示符405;
·电池状态指示符406;
·具有针对常用应用程序的图标的托盘408,该图标诸如:
ο电话模块138的被标记为“电话”的图标416,该图标416任选地包括未接来电或语音信箱的数量的指示符414;
ο电子邮件客户端模块140的被标记为“邮件”的图标418,该图标418任选地包括未读电子邮件的数量的指示符410;
ο浏览器模块147的标记为“浏览器”的图标420;以及
ο视频和音乐播放器模块152(也称为iPod(苹果公司(AppleInc.)的商标)模块152)的被标记为“iPod”的图标422;以及
·其他应用的图标,诸如:
οIM模块141的被标记为“消息”的图标424;
ο日历模块148的被标记为“日历”的图标426;
ο图像管理模块144的被标记为“照片”的图标428;
ο相机模块143的被标记为“相机”的图标430;
ο在线视频模块155的被标记为“在线视频”的图标432;
ο股市桌面小程序149-2的被标记为“股市”的图标434;
ο地图模块154的被标记为“地图”的图标436;
ο天气桌面小程序149-1的被标记为“天气”的图标438;
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440;
ο健身支持模块142的被标记为“健身支持”的图标442;
ο记事本模块153的标记为“记事本”的图标444;以及
ο设置应用程序或模块的被标记为“设置”的图标446,该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是,图4A中示出的图标标签仅是示例性的。例如,视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中,相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中,特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如,触摸屏显示器112)分开的触敏表面451(例如,图3的平板电脑或触控板355)的设备(例如,图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如,传感器359中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例,但是在一些实施方案中,设备检测与显示器分开的触敏表面上的输入,如图4B中所示。在一些实施方案中,触敏表面(例如,图4B中的451)具有与显示器(例如,450)上的主轴(例如,图4B中的453)对应的主轴(例如,图4B中的452)。根据这些实施方案,设备检测在与显示器上的相应位置对应的位置(例如,在图4B中,460对应于468并且462对应于470)处与触敏表面451的接触(例如,图4B中的460和462)。这样,当触敏表面(例如,图4B中的451)与多功能设备的显示器(例如,图4B中的450)分开时,由设备在该触敏表面上检测到的用户输入(例如,接触460和462以及它们的移动)被该设备用于操纵该显示器上的用户界面。应当理解,类似的方法任选地用于本文所述的其他用户界面。
另外,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例,但是应当理解的是,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如,基于鼠标的输入或触笔输入)替代。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中,设备500可包括相对于设备100和300(例如,图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中,设备500具有在下文中称为触摸屏504的触敏显示屏504。作为触摸屏504的替代或补充,设备500具有显示器和触敏表面。与设备100和300的情况一样,在一些实施方案中,触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如,触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于触摸的强度来对触摸作出响应,这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中:2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列No.PCT/US2013/040061,发布为WIPO专利公开No.WO/2013/169849;以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for TransitioningBetween Touch Input to Display Output Relationships”的国际专利申请序列No.PCT/US2013/069483,发布为WIPO专利公开No.WO/2014/105276,该每个专利申请据此全文以引用方式并入。
在一些实施方案中,设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中,设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中,设备500可包括参考图1A、图1B和图3所述的部件中的一些或全部部件。设备500具有总线512,该总线将I/O部分514与一个或多个计算机处理器516和存储器518操作性地耦接。I/O部分514可连接到显示器504,该显示器可具有触敏部件522并且任选地具有强度传感器524(例如,接触强度传感器)。此外,I/O部分514可与通信单元530连接,用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备500可包括输入机构506和/或508。例如,输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中,输入机构508任选地是按钮。
在一些示例中,输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器,诸如GPS传感器532、加速度计534、定向传感器540(例如,罗盘)、陀螺仪536、运动传感器538和/或其组合,所有这些设备均可操作地连接到I/O部分514。
个人电子设备500的存储器518可包括用于存储计算机可执行指令的一个或多个非暂态计算机可读存储介质,这些计算机可执行指令在由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下文所述的技术,包括过程700、900、1100、1300、1500、1600、1800、2000和2200(图7、图9、图11、图13、图15、图16、图18、图20、图22)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中,存储介质是暂态计算机可读存储介质。在一些示例中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置,而是可包括多种配置中的其他部件或附加部件。
如本文所用,术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如,图像(例如,图标)、按钮和文本(例如,超链接)任选地各自构成示能表示。
如本文所用,术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中,光标充当“焦点选择器”,使得当光标在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如,图3中的触控板355或图4B中的触敏表面451)上检测到输入(例如,按压输入)的情况下,该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如,图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中,在触摸屏上所检测到的接触充当“焦点选择器”,使得当在触摸屏显示器上在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如,由接触进行的按压输入)时,该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中,焦点从用户界面的一个区域移动到用户界面的另一个区域,而无需光标的对应移动或触摸屏显示器上的接触的移动(例如,通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮);在这些具体实施中,焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式,焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如,通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如,在触敏表面(例如,触控板或触摸屏)上检测到按压输入时,焦点选择器(例如,光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的,接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中,特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如,在检测到接触之后,在检测到接触抬离之前,在检测到接触开始移动之前或之后,在检测到接触结束之前,在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如,0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者:接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10%处的值、接触的强度的半最大值、接触的强度的90%最大值等。在一些实施方案中,在确定特征强度时使用接触的持续时间(例如,在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中,将特征强度与一组一个或多个强度阈值进行比较,以确定用户是否已执行操作。例如,该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中,特征强度未超过第一阈值的接触导致第一操作,特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作,而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中,使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如,是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
图5C示出了利用多个强度传感器524A-524D检测触敏显示屏504上的多个接触552A-552E。图5C还包括强度图,其相对于强度单位示出了强度传感器524A-524D的当前强度测量值。在该示例中,强度传感器524A和524D的强度测量值均是9个强度单位,并且强度传感器524B和524C的强度测量值均是7个强度单位。在一些具体实施中,累积强度是多个强度传感器524A-524D的强度测量值之和,在该示例中是32个强度单位。在一些实施方案中,每个接触都被分配了相应强度,即累积强度的一部分。图5D示出了基于其与力554中心的距离而向接触552A-552E分配累积强度。在该示例中,接触552A、552B和552E中的每个接触都被分配以累积强度的8个强度单位的接触的强度,并且接触552C和552D的中每个接触都被分配以累积强度的4个强度单位的接触的强度。更一般地,在一些具体实施中,每个接触j都根据预定义的数学函数Ij=A·(Dj/ΣDi)被分配相应强度Ij,其为累积强度A的一部分,其中Dj是相应接触j距力中心的距离,并且ΣDi是所有相应接触(例如,i=1到最后)距力中心的距离之和。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5C-图5D所述的操作。在一些实施方案中,接触的特征强度基于接触的一个或多个强度。在一些实施方案中,强度传感器用于确定单个特征强度(例如,单个接触的单个特征强度)。应当指出,强度图不是所显示用户界面的部分,而是包括在图5C-图5D中以辅助读者。
在一些实施方案中,识别手势的一部分以用于确定特征强度。例如,触敏表面任选地接收连续的轻扫接触,该连续的轻扫接触从起始位置过渡并到达结束位置,在该结束位置处,接触强度增加。在该示例中,接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分,而不是整个轻扫接触(例如,仅结束位置处的轻扫接触的部分)。在一些实施方案中,在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑算法。例如,平滑化算法任选地包括以下各项中的一种或多种:不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下,这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷,以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中,轻按压强度阈值对应于这样的强度:在该强度下设备将执行通常与点击物理鼠标或触控板的按钮相关联的操作。在一些实施方案中,深按压强度阈值对应于这样的强度:在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中,当检测到特征强度低于轻按压强度阈值(例如,并且高于标称接触检测强度阈值,比标称接触检测强度阈值低的接触不再被检测到)的接触时,设备将根据接触在触敏表面上的移动来移动焦点选择器,而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲,除非另有陈述,否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中,接触检测强度阈值为零。在一些实施方案中,接触检测强度阈值大于零。
在本文中所述的一些实施方案中,响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作,其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中,响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如,相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值,并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。
图5E-图5H示出了对手势的检测,手势包括与接触562的强度从低于图5E中的轻按压强度阈值(例如,“ITL”)的强度增大到高于图5H中的深按压强度阈值(例如,“ITD”)的强度对应的按压输入。在所显示的包括预定义区域574中显示的应用图标572A-572D的用户界面570上,在与应用2对应的应用图标572B上方显示光标576时,在触敏表面560上检测利用接触562执行的手势。在一些实施方案中,在触敏显示器504上检测到手势。强度传感器检测触敏表面560上的接触的强度。该设备确定接触562的强度在深按压强度阈值(例如,“ITD”)以上达到峰值。在触敏表面560上保持接触562。响应于检测到手势,并且根据在手势期间强度升高到深按压强度阈值(例如,“ITD”)以上的接触562,显示最近为应用程序2打开的文档的缩比表示578A-578C(例如,缩略图),如图5F至图5I所示。在一些实施方案中,与一个或多个强度阈值相比,强度是接触的特征强度。应当指出,针对接触562的强度图不是所显示用户界面的部分,而是包括在图5E-图5H中以辅助读者。
在一些实施方案中,表示578A-578C的显示包括动画。例如,表示578A一开始显示于应用图标572B的附近,如图5F所示。随着动画的进行,表示578A向上移动,并在应用图标572B附近显示表示578B,如图5G中所示。然后,表示578A向上移动,578B朝表示578A向上移动,并且在应用图标572B附近显示表示578C,如图5H中所示。表示578A-578C在图标572B上方形成阵列。在一些实施方案中,动画根据接触562的强度进展,如图5F-图5G中所示,其中表示578A-578C出现并随着接触562的强度向深按压强度阈值(例如,“ITD”)增大而向上移动。在一些实施方案中,动画进展所依据的强度是接触的特征强度。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5E至图5H所述的操作。
图5I示出了根据本公开的一些实施方案的用于设备580的示例性架构的框图。在图5I的实施方案中,媒体内容或其他内容任选地由设备580经由网络接口582接收,该网络接口任选地为无线连接或有线连接。一个或多个处理器584任选地执行存储在存储器586或存储装置中的任何数量的程序,该程序任选地包括用于执行本文所述的方法和/或过程(例如,方法700、900、1100、1300、1500、1600、1800、2000和2200)中的一个或多个的指令。
在一些实施方案中,显示控制器588使得本公开的各种用户界面显示在显示器594上。另外,到设备580的输入任选地由遥控器590经由遥控器接口592提供,该遥控器接口任选地为无线或有线连接。在一些实施方案中,到设备580的输入由多功能设备591(例如,智能电话)提供,在该多功能设备上正在运行将该多功能设备配置为模拟远程控制功能的远程控制应用程序,如将在下文更详细地描述的。在一些实施方案中,多功能设备591对应于图1A和图2中的设备100、图3中的设备300以及图5A中的设备500中的一者或多者。应当理解,图5I的实施方案不意味着限制本公开的设备的特征,并且有利于本公开所述的其他特征的其他部件也任选地包括于图5I的架构中。在一些实施方案中,设备580任选地对应于图1A和图2中的多功能设备100、图3中的设备300以及图5A中的设备500中的一者或多者;网络接口582任选地对应于图1A和图2中的RF电路108、外部端口124和外围设备接口118以及图3中的网络通信接口360中的一者或多者;处理器584任选地对应于图1A中的处理器120和图3中的CPU 310中的一者或多者;显示控制器588任选地对应于图1A中的显示控制器156和图3中的I/O接口330中的一者或多者;存储器586任选地对应于图1A中的存储器102和图3中的存储器370中的一者或多者;遥控器接口592任选地对应于图1A中的外围设备接口118和I/O子系统106(和/或其部件)和图3中的I/O接口330中的一者或多者;遥控器590任选地对应于和/或包括以下中的一者或多者:图1A中的扬声器111、触敏显示器系统112、麦克风113、光学传感器164、接触强度传感器165、触觉输出发生器167、其他输入控制设备116、加速度计168、接近传感器166和I/O子系统106,以及图3中的键盘/鼠标350、触摸板355、触觉输出发生器357和接触强度传感器359,以及图4中的触敏表面451;并且显示器594任选地对应于图1A和图2中的触敏显示器系统112和图3中的显示器340。
在一些实施方案中,设备采用强度滞后以避免有时被称为“抖动”的意外输入,其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如,滞后强度阈值比按压输入强度阈值低X个强度单位,或滞后强度阈值是按压输入强度阈值的75%、90%或某个合理比例)。因此,在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值,并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。类似地,在一些实施方案中,仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入,并且响应于检测到按压输入(例如,根据环境,接触强度增大或接触强度减小)来执行相应操作。
为了容易解释,任选地,响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述:接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外,在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中,任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
如本文所用,“已安装的应用”是指已下载到电子设备(例如,设备100、300和/或500)上并准备好在设备上启动(例如,变为打开)的软件应用。在一些实施方案中,下载的应用利用安装程序而变为已安装的应用,安装程序从下载的软件包提取程序部分并将提取的部分与计算机系统的操作系统集成。
如本文所用,术语“打开的应用”或“执行中的应用”是指具有保持状态信息(例如,作为设备/全局内部状态157和/或应用内部状态192的一部分)的软件应用。打开的或执行中的应用是任选地以下类型的应用中的任一者:
·当前显示于正使用应用的设备的显示屏上的活动应用;
·后台应用(或后台进程),其当前未显示但该应用的一个或多个进程正由一个或多个处理器处理;以及
·没有运行但具有被存储在存储器(分别有易失性和非易失性的)中并可用于恢复应用的执行的状态信息的暂停的或休眠的应用。
如本文所用,术语“关闭的应用”是指不具有保持状态信息的软件应用(例如,关闭的应用的状态信息不被存储在设备的存储器中)。因此,关闭应用包括停止和/或移除应用的应用进程以及从设备的存储器移除应用的状态信息。一般来讲,当在第一应用中时,打开第二应用并不关闭第一应用。在显示第二应用并且第一应用停止显示时,第一应用变为后台应用。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
用户界面和相关联的过程
将手写输入转换为文本
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。在一些实施方案中,电子设备提供虚拟键盘(例如,软键盘),该虚拟键盘模拟物理键盘的布局并且允许用户选择要输入的字母。下文所述的实施方案提供了电子设备接受来自手写输入设备(例如,触笔)的手写输入并将手写输入转换为基于字体的文本(例如,计算机文本、数字文本等)的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图6A至图6YY示出了电子设备将手写输入转换为基于字体的文本的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图7A-图7I所述的过程。
图6A至图6YY示出了电子设备500将手写输入转换为基于字体的文本的操作。图6A示出了包括触摸屏504的示例性设备500。如图6A所示,电子设备500呈现用户界面600。在一些实施方案中,用户界面600是包括一个或多个文本输入字段(例如,文本输入区域)的任何用户界面。在一些实施方案中,文本输入字段(例如,文本输入区域)是用户能够在其中输入文本(例如,字母、字符、字词等)的用户界面元素。例如,文本输入字段可以是表格上的文本字段、浏览器上的URL输入元素、登录字段等。换句话讲,其可以是用户能够在其中输入文本并且能够在其中编辑、删除、复制、剪切等或执行任何其他基于文本的操作的任何用户界面元素。应当理解,文本输入字段(例如,文本输入区域)不限于仅接受文本的用户界面元素,而是也能够接受和显示音频和/或视觉媒体的用户界面元素。
在一些实施方案中,如图6A所示,用户界面600是显示(例如,导航到)乘客信息输入用户界面(例如,以用于购买机票)的互联网浏览器应用程序的用户界面。应当理解,图6A至图6YY所示的示例是示例性的,并且不应被认为仅限于所示的用户界面和/或应用程序。在一些实施方案中,用户界面600包括文本输入字段602-1至602-9,用户能够在其中输入文本以填充相应文本输入字段(例如,两位乘客的信息)。
在图6B中,在触摸屏504上接收到(例如,检测到)来自触笔203的用户输入。如图6B所示,触笔203正在触压触摸屏504。在一些实施方案中,触笔203触压触摸屏504以提供手写输入604-1。例如,如图6B所示,手写输入604-1由字符“12”组成。在一些实施方案中,如果完全在文本输入字段内执行手写输入,则手写输入被解释为在相应文本输入字段内输入文本的请求。在一些实施方案中,如果在文本输入字段的边界周围的阈值区域执行手写输入,则手写输入仍然被解释为在相应文本输入字段内输入文本的请求。在一些实施方案中,文本输入字段具有误差或公差边际,使得略微超出文本输入字段的字面边界(例如,1mm、2mm、3mm、5mm、3个点、6个点、12个点等)的手写输入仍将被认为是在相应文本输入字段内输入文本的请求。在一些实施方案中,从文本输入字段的边界外开始但进入文本输入字段的边界的手写输入被认为是在相应文本输入字段内输入文本的请求。在一些实施方案中,大部分笔触在文本输入字段内的手写输入被认为是在相应文本输入字段内输入文本的请求。在一些实施方案中,在文本输入字段中开始但延伸到文本输入字段外并任选地延伸到另一文本输入字段中的手写输入仍被认为是在相应文本输入字段(例如,而不是另一文本输入字段)内输入文本的请求。在一些实施方案中,提供围绕文本输入字段的边界的误差或公差边际允许系统接受不完全在文本输入字段内(例如,大于文本输入字段,“未命中”文本输入字段,或无意地延伸超出文本输入字段的边界)的手写输入。
如图6B所示,手写输入604-1指向文本输入字段602-3。在一些实施方案中,手写输入604-1开始时略微超出文本输入字段602-3(例如,但在文本输入字段602-3的误差或公差边际内)并且/或者任选地大部分笔触在文本输入字段602-3的边界内。因此,在一些实施方案中,手写输入602-1被解释为将字符“12”输入到文本输入字段602-3中的请求。
在图6C中,用户继续手写输入604-1并将“1234”书写到文本输入字段602-3中。在一些实施方案中,用户还提供对应于“E”的手写输入604-2。在一些实施方案中,手写输入604-2从文本输入字段602-3的边界外开始,但是手写输入604-2的大部分在602-3的边界内,使得手写输入604-2被认为是将文本输入到文本输入字段602-3中的请求。在一些实施方案中,手写输入是否被认为是将文本输入到特定文本输入字段中的请求基于对每个字母(例如,每个字母是否被认为指向相应文本输入字段)、每个字词(例如,每个字词整体是否被认为指向相应文本输入字段)或者整个手写输入序列(例如,从初始触压到手写输入暂停阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)或终止的整个序列是否被认为指向相应文本输入字段)的分析。
在图6D中,用户继续手写604-2并将“Elm”书写到文本输入字段602-3中。在一些实施方案中,在自用户输入了手写输入604-1(例如,“1234”)以来已经过阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)之后。在一些实施方案中,在阈值时间量之后,设备600确定手写输入604-1对应于字符“1234”。换句话讲,设备600分析手写输入604-1并将用户的书写识别为字符“1234”。在一些实施方案中,手写输入604-1改变颜色和/或不透明度以指示手写输入604-1被设备500识别并且/或者手写输入604-1将被转换为基于字体的文本(例如,计算机文本、数字文本)。例如,当手写输入604-1被转换为基于字体的文本时或随着手写输入604-1正在被转换为基于字体的文本,手写输入604-1变成灰色。在一些实施方案中,颜色和/或不透明度的改变是将手写输入604-1转换为基于字体的文本的动画的一部分(例如,在将手写输入转换为基于字体的文本的动画期间,手写输入在短时间内(诸如0.2秒、0.3秒、0.5秒、1秒)变成灰色)。在一些实施方案中,当接收到手写输入时,显示手写输入改变颜色和/或不透明度(例如,诸如油墨变干效果)的动画,这类似于下文相对于方法2000所述(例如,和/或相对于图19B至图19I所述)的油墨变干动画。在一些实施方案中,在接收到手写输入时(例如,任选地在设备开始用于将手写输入转换为基于字体的文本的过程之前)执行油墨变干效果的动画。在一些实施方案中,当手写输入被转换为基于字体的文本时,执行油墨变干效果的动画(例如,作为手写输入被转换为基于字体的文本的动画的一部分)。
在图6E中,用户输入对应于字词“Streat”的手写输入604-3。在一些实施方案中,手写输入604-3在文本输入字段602-3的边界内开始,并且在文本输入字段602-3的边界外终止,并且进入文本输入字段602-4的边界。在一些实施方案中,即使手写输入604-3离开文本输入字段602-3的边界并进入文本输入字段602-4的边界,手写输入604-3也被认为是将文本输入到文本输入字段602-3中(例如,指向文本输入字段602-3)的请求。
在一些实施方案中,手写输入604-1被转换为基于字体的文本。在一些实施方案中,基于字体的文本是在使用传统文本输入系统诸如物理键盘或软键盘时输入的文本。在一些实施方案中,使用特定字体样式格式化文本。例如,基于字体的文本是具有12号尺寸的Times New Roman或具有10号尺寸的Arial等。在一些实施方案中,在阈值延迟量(例如,0.5秒、1秒、2秒、3秒、5秒)之后,手写输入604-3被转换。在一些实施方案中,在手写输入604-3的视觉特征被修改为指示手写输入604-3将被转换(例如,如图6D所述)之后,手写输入604-3被转换。在一些实施方案中,在转换之前,手写输入604-3的视觉特征不改变。
在一些实施方案中,在被转换之后,手写输入的尺寸是用于文本输入字段的默认字体尺寸。在一些实施方案中,在手写输入被转换为基于字体的文本之前,手写输入的尺寸改变。在一些实施方案中,基于字体的文本的尺寸与手写输入的尺寸匹配,然后基于字体的文本的尺寸改变为匹配用于文本输入字段的默认尺寸(例如,在将手写输入改变为基于字体的文本的动画之后,尺寸改变)。在一些实施方案中,在将手写输入改变为基于字体的文本的动画期间,尺寸改变。在一些实施方案中,将手写输入转换为基于字体的文本的动画包括将手写输入变幻为基于字体的文本。在一些实施方案中,手写输入被分散(例如,分散成碎片或颗粒)并重新组装为基于字体的文本(例如,诸如下文相对于方法2000所述)。在一些实施方案中,手写输入溶解或淡出,并且基于字体的文本溶解或淡入。在一些实施方案中,手写输入在溶解时朝向基于字体的文本的最终位置移动(例如,自身与文本输入区域或任何预先存在的文本对齐),并且在手写输入朝向最终位置移动时同时出现基于字体的文本。因此,在一些实施方案中,在动画的至少一部分期间,手写输入和基于字体的文本可同时显示在显示器上(例如,以减少动画时间)。
在图6F中,用户输入对应于字母“Apt.”的手写输入604-4。在一些实施方案中,手写输入604-4完全在任何文本输入字段(例如,文本输入字段604-3和602-4两者)外。在一些实施方案中,在手写输入604-3之后快速相继执行手写输入604-4,使得其被认为与手写输入604-3在同一手写输入序列中(例如,在书写手写输入604-3之后0.25秒、0.5秒、1秒、2秒、5秒)。在一些实施方案中,因为手写输入604-4被认为与手写输入604-3在同一输入序列内,所以手写输入604-4也被认为是将文本输入到文本输入字段602-3中(例如,指向文本输入字段602-3)的请求。
图6G示出了用户在完成书写手写输入602-4至604-4之后抬离触笔203以免接触触摸屏504。在一些实施方案中,响应于触笔203从触摸屏504抬离阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒),设备500分析、解释手写输入并将其转换为基于字体的文本,如图6H所示。如图6H所示,经转换的手写输入604-2至604-4中的每个手写输入被输入到文本输入字段602-3中,并且在视觉上与文本输入字段602-3对齐,并且任选地与所转换的手写输入604-1对齐。
在图6I中,在触笔203从触摸屏504抬离阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)之后,用户继续输入手写输入604-5。然而,因为用户已暂停手写输入,所以不再认为任何另外的手写输入与手写输入604-3和手写输入604-4在同一手写输入序列内。因此,在图6I所示的示例中,单独地分析另外的手写输入诸如手写输入604-5,以确定该手写输入指向哪个文本输入字段(例如,在该情况下,指向文本输入字段602-4)。
在图6J中,在一些实施方案中,当用户在文本输入字段602-4的末尾处或附近(例如,在1mm、2mm、3mm内等)输入手写输入604-5时,文本输入字段602-4将水平扩展以容纳另外的手写输入。例如,在用户书写字符“1”之后,文本输入字段602-4任选地扩展以向用户提供书写字符“2”的空间等。另选地,在一些实施方案中,在用户书写字符“1”之后,文本输入字段602-4不扩展;但是在用户在文本输入字段602-4外书写字符“2”之后,文本输入字段602-4将扩展以笼括字符“2”。
在图6K中,用户继续输入手写输入604-5以书写“1234”。在一些实施方案中,因为手写输入604-5已到达触摸屏504的末尾,使得文本输入字段602-4不能进一步水平扩展,所以文本输入字段602-4垂直扩展以向用户提供额外行来继续输入手写输入,如图6K所示。
在一些实施方案中,在用户将触笔203从触摸屏504抬离阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)之后,设备500分析、解释手写输入并将其转换为基于字体的文本(例如,手写输入604-5)。在一些实施方案中,如上所述,手写输入604-5被输入到文本输入字段602-4中而不是文本输入字段602-3中,因为用户暂停手写输入阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒),使得手写输入604-5不被认为是手写输入604-3或手写输入604-5的延续(例如,这将任选地使手写输入应被输入到文本输入字段602-3中)。在一些实施方案中,在手写输入604-5被转换为基于字体的文本的同时或之后,文本输入字段602-4返回到其原始尺寸。
图6M至图6O示出了另选的方法,其中当手写输入接近或到达文本输入字段的末尾时,设备500提供额外空间以用于继续手写输入。在图6M中,用户在文本输入字段602-4的末尾处或附近提供手写输入604-5。在一些实施方案中,如图6N所示,手写输入604-5从文本输入字段602-4的末尾向左移位以向用户提供空间来继续输入手写输入。在一些实施方案中,手写输入604-5在用户完成书写字母之后向左移位(例如,在0.2秒、0.4秒、0.6秒、1秒、2秒等的短抬离之后)。在一些实施方案中,手写输入向左移位与文本输入字段扩展同时执行。在一些实施方案中,在用户将触笔203从触摸屏504抬离阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)之后,设备500将手写输入604-5转换为基于字体的文本,如图6O所示。
在图6P中,在触摸屏504上文本输入字段602-5处检测到(例如,接收到)手写输入604-6。在一些实施方案中,手写输入604-6难以识别。例如,设备500对手写输入604-6中的手写字母中的置信度低于阈值置信度(例如,25%置信度、50%置信度、75%置信度等)。在一些实施方案中,如果用户书写的字母的置信度低于阈值置信度水平,则向用户显示具有建议的基于字体的文本的弹出窗口,如图6Q所示。
在一些实施方案中,弹出窗口606被显示在手写输入604-6上方或以其他方式显示在手写输入604-6附近(例如,在5mm、1cm、1.5cm、3cm内等)。在一些实施方案中,与弹出窗口606相关联的字词或字母被突出显示。在一些实施方案中,弹出窗口606包括手写输入604-6的最高置信度解释(例如,“Salem”)。在一些实施方案中,弹出窗口606包括手写输入604-6的多于一个潜在解释(例如,对应于一个或多个可选选项)。在一些实施方案中,可选择弹出窗口606以使得手写输入604-6转换为所选择的解释(例如,而不是在阈值时间延迟之后转换或其他基于时间的启发法)。在一些实施方案中,在用户已将触笔203从触摸屏504抬离并且设备600已有机会分析和解释整个手写序列(例如,整个字词、整个句子、字母序列等)之后显示弹出窗口606。在一些实施方案中,弹出窗口606在用户正在执行手写输入时的任何时间显示,并且该弹出窗口随着用户书写由设备500识别的附加字母而更新。例如,弹出窗口606任选地在用户已书写“Sa”之后初始出现并显示“Sa”。在此类示例中,在用户书写“l”之后,弹出窗口606更新为显示“Sal”。在一些实施方案中,在用户书写“em”之后,弹出窗口606更新为显示“Salem”(例如,在一些实施方案中,每个字母之后或几个字母之后弹出窗口更新为具有新字母)。在一些实施方案中,显示弹出窗口606,而无论手写输入的解释的置信度水平如何(例如,任选地始终显示弹出窗口606,并且其向用户提供“接受”建议的基于字体的文本并使得手写输入转换为建议的基于字体的文本的方法,而不考虑正在用于确定何时将手写文本转换为基于字体的文本的定时器)。在一些实施方案中,弹出窗口606包括拒绝建议或以其他方式解除弹出窗口606的可选选项。在一些实施方案中,解除弹出窗口或拒绝建议不会导致手写输入604-6永不被转换。在一些实施方案中,解除弹出窗口或拒绝建议导致手写输入604-6在该时间点不被转换,但手写输入604-6仍然任选地在稍后时间点基于其他启发法(诸如基于定时器的转换启发法)被转换。
如图6R所示,设备500在触摸屏504上检测到来自触笔203选择弹出窗口606的轻击。在一些实施方案中,响应于选择弹出窗口606的用户输入(例如,选择与建议的基于字体的文本“Salem”对应的可选选项),设备500将手写输入604-6替换为基于字体的文本,如图6S所示。在一些实施方案中,如上所述,将手写输入替换(例如,转换)为基于字体的文本任选地包括改变手写输入的尺寸和/或形状,任选地包括执行将手写输入转换为基于字体的文本的动画,并且任选地包括将基于字体的文本与文本输入字段(例如,文本输入字段602-5)对齐或者任选地将基于字体的文本与文本输入字段中的任何预先存在的文本对齐(任选地以类似于下文相对于方法2000所述的过程的方式)。
在一些实施方案中,基于设备500对手写输入604-6中的书写字母中的置信度水平,将经转换的基于字体的文本放置在文本输入字段中的不同位置中。例如,如果设备500的置信度水平低于阈值水平(例如,25%置信度水平、50%置信度水平、75%置信度水平等),则经转换的基于字体的文本不与任何预先存在的文本或文本输入字段对齐。相反,在一些实施方案中,经转换的基于字体的文本被留在与原始手写输入相同的位置,从而向用户指示设备500对转换没有信心。在一些实施方案中,如果置信度水平高于阈值水平,则经转换的基于字体的文本与文本输入字段中的任何预先存在的文本对齐或与文本输入字段保持对齐(例如,如果不存在预先存在的文本)。
图6T至图6W示出了其中文本输入字段延伸其边界以基于文本输入字段在显示器上的位置来提供更舒适或自然的书写位置的实施方案。在图6T中,在文本输入字段602-8处检测到来自触笔203触压触摸屏504的用户输入(例如,轻击输入、长按压输入(例如,轻击并保持)等)。在一些实施方案中,文本输入字段602-8位于触摸屏504的底部(例如,底部三分之一、底部二分之一、底部四分之一等)处或附近。在一些实施方案中,利用触笔203在到触摸屏504的底部中手写很尴尬,因为当手写时,几乎没有用户在其上搁置用户的手掌的表面。因此,在一些实施方案中,设备500基于用户与之交互的文本输入字段的位置来确定文本输入字段应向上延伸,使得用户能够在不那么不舒服的位置中提供手写输入。因此,如图6U所示,响应于接收到轻击或选择文本输入字段602-8的输入,文本输入字段602-8的边界垂直向上延伸。在一些实施方案中,文本输入字段602-8延伸到屏幕的中间点、屏幕的三分之二点等。在一些实施方案中,文本输入字段602-8水平延伸并且垂直延伸。
在图6V中,接收到来自触笔203的用户输入,其提供将字词“Bob”书写到延伸的文本输入字段602-8中的手写输入604-7。在一些实施方案中,对手写输入是否指向或对应于将文本输入到延伸的文本输入字段602-8中的请求的确定与用于将文本输入到未延伸的文本输入字段中的确定相同。在一些实施方案中,在完成书写手写输入604-7(例如,抬离触笔203和/或在阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)内没有检测到另外的手写输入)之后,手写输入604-7被转换为基于字体的文本,并且文本输入字段602-8返回到其原始尺寸和形状(例如,与转换同时、在转换之后或在转换之前),如图6W所示。
在图6X中,在触摸屏504上在任何文本输入字段的边界外检测到来自触笔203的用户输入。在一些实施方案中,如果用户输入不满足用于确定用户输入指向文本输入字段或用户输入是将文本输入到文本输入字段中的请求的标准中的任一个标准,则用户输入不被认为是手写文本输入。在一些实施方案中,如果用户输入不是手写文本输入,则由用户输入执行的手势不显示在屏幕上。在一些实施方案中,当用户正在执行手写文本输入时,用户手写的字母和字词在接收到输入的位置处和时间出现在屏幕上。相比之下,在一些实施方案中,当用户未执行手写文本输入时,用户的手势不出现在屏幕上。类似地,在一些实施方案中,基于用户正在与之交互的元素和输入的特征,用户输入被解释为非文本输入命令或非文本输入手势。例如,在图6X中,设备500检测到用户已开始向上滚动输入(例如,通过触笔203在触摸屏504上触压,并且在连续接触触摸屏504的同时向上移动)。在一些实施方案中,响应于来自触笔203的向上滚动输入,用户界面600根据滚动输入的移动向上滚动,如图6Y所示。如图6X至图6Y所示,用户在触摸屏504上触压时的向上手势不显示在触摸屏504上(例如,与当用户正在使用触笔203执行文本输入时不同)。
图6Z至图6MM示出了接收多行文本输入字段中的手写输入的示例性方法。在图6Z中,设备500正在显示包括文本输入字段612-1和612-2的用户界面610。在一些实施方案中,文本输入字段612-2是能够接受并显示多行文本的多行文本输入字段。在图6AA中,文本输入字段612-1填充有文本616-1,并且文本输入字段612-2已接收到手写输入616-2。在一些实施方案中,如果手写输入616-2到达或开始到达文本输入字段612-2的水平末尾,则弹出窗口618被显示为呈现用于创建新的文本行以供输入的可选选项。在一些实施方案中,创建新的文本行包括垂直增大文本输入字段的尺寸以接受另外的手写输入(例如,任选地基于手写输入的尺寸)。例如,如图6BB所示,检测到由触笔203选择弹出窗口618以用于创建(例如,插入)新的文本行的用户输入。在一些实施方案中,作为用户输入的结果,文本输入字段612-2向下扩展其下边界以创建文本行以供用户提供另外的手写输入,如图6CC所示。
在图6DD中,来自触笔203的另外的手写输入616-3被接收到文本输入字段612-2中的新创建的空间中。在一些实施方案中,如图6EE所示,设备500接收手写输入616-4。在一些实施方案中,在文本输入字段612-2中低于手写输入616-3的垂直位置处接收到手写输入616-4。然而,在一些实施方案中,因为手写输入616-4不在手写输入616-3下方阈值距离(例如,至少部分地与手写输入616-3的垂直空间重叠、手写输入616-3下方1mm、手写输入616-3下方2mm等)处,手写输入616-4不被认为书写在与手写输入616-3不同的行上,并且不被认为是插入新的文本行的请求。
在图6FF中,在手写输入616-3下方超过阈值距离(例如,手写输入616-3下方1mm、2mm、3mm等)处接收到手写输入616-5。在一些实施方案中,因为例如在手写输入616-4之后不久输入手写输入616-5并且没有太多延迟并且/或者在文本输入字段612-2下方没有另外的文本输入字段,所以即使通常在文本输入字段612-2的边界外接收到手写输入616-5(例如,与文本输入字段612-2的区域仅略微重叠),手写输入616-5也被认为是将文本输入到文本输入字段612-2中的新行中的请求。在一些实施方案中,响应于在手写输入616-3下方阈值距离处接收到手写输入616-5,文本输入字段612-2创建新的文本行以笼括手写输入616-5,如图6GG所示。
在图6HH中,接收到来自触笔203的用户输入,其轻击文本输入字段612-2中手写输入616-5下方的空间,对应于添加新的文本行的请求。在一些实施方案中,响应于接收到轻击输入(例如,或长按压输入),文本输入字段612-2进一步扩展文本输入字段612-2以创建用于新的文本行的空间,如图6II所示。在图6JJ至图6KK中,在新的文本行的空间中接收到手写输入616-6。在图6LL中,在用户已完成手写输入并且已将触笔203从触摸屏504抬离之后,设备500任选地将手写输入转换为基于字体的文本。在一些实施方案中,在手写输入被转换为基于字体的文本之后,文本输入字段612-2返回到其原始尺寸和形状,如图6MM所示。在一些实施方案中,如果文本输入字段612-2中的文本溢出文本输入字段612-2的尺寸,则提供滚动条或导航元素(未示出)以允许用户查看溢出的文本。
图6NN至图6RR示出了用于将手写输入转换为基于字体的文本的示例性标准。在图6NN中,设备500正在显示对应于笔记应用程序的用户界面620。在一些实施方案中,用户界面620包括文本输入区域622,用户能够在其中输入多行文本。在图6OO中,在文本输入区域622中接收到手写输入624-1。在一些实施方案中,手写输入624-1包括一个或多个字母或字词之后的标点符号(例如,在图6OO中,逗号)。在一些实施方案中,响应于检测到标点符号,分析在标点符号之前并包括标点符号的手写输入并将其转换为基于字体的文本,如图6PP所示。在一些实施方案中,在短时间延迟之后执行转换(例如,根据方法1300)。
在图6PP中,在文本输入区域622中接收到另外的手写输入624-2。在一些实施方案中,在用户完成书写手写输入624-2之后特定时间延迟之后,手写输入624-2被转换,如图6QQ所示。在一些实施方案中,设备500将手写输入624-2识别为用户已完成书写的字词,此时手写输入624-2被转换。在一些实施方案中,在设备500检测到用户已在与手写输入624-2(例如,手写输入624-3)不同的行上开始书写之后,手写输入624-2被转换。在图6QQ中,在文本输入区域622中接收到手写输入624-3。在一些实施方案中,手写输入624-3包括不可在其中添加附加字母的字词(例如,“o’clock”)。在一些实施方案中,当设备500检测到不可向其中添加附加字母的最近书写的字词时,则分析直到并且包括不可在其中添加附加字母的字词的手写输入并将其转换为基于字体的文本,如图6RR所示。在一些实施方案中,不可在其中添加字母的字词是基于设备的默认字典中不可添加另外的字母以创建有效字词的那些字词。换句话讲,向该字词添加任何附加字母将产生不存在的字词(例如,附加字母的组合将不产生有效字词)。在一些实施方案中,另选地,因为用户已书写阈值数量的字词(例如,3个字词、5个字词、6个字词等),手写输入624-3被转换为基于字体的文本。
图6SS至图6YY示出了将基于字体的文本从第一电子设备传输到第二电子设备的示例性方法。在图6SS中,设备500与设备631通信。在一些实施方案中,设备631是机顶盒或与显示器632通信的其他电子设备(例如,诸如设备580)。在一些实施方案中,设备500通过无线通信协议(例如,WiFi、WiFi直连、NFC、IR、RF等)与设备631无线通信。在一些实施方案中,设备631与能够远程控制设备631的其他电子设备(诸如设备590和/或设备591)通信。在一些实施方案中,如图6SS所示,设备631正在显示包括文本输入字段636的用户界面634。因此,在一些实施方案中,设备631期望用户输入以将文本输入到文本输入字段636中。在一些实施方案中,设备500正在显示与用于远程控制设备631的远程控制应用程序对应的用户界面630。在一些实施方案中,用户界面630包括能够接受手写输入的文本输入区域。例如,在图6TT中,在用户界面630的文本输入区域中检测到手写输入638。在一些实施方案中,在接收到手写输入638之后(或者另选地,在接收到手写输入638时),手写输入638被转换为基于字体的文本,如图6UU所示。在一些实施方案中,响应于将手写输入638转换为基于字体的文本(或与将手写输入638转换为基于字体的文本同时),将文本传输到设备631,并且任选地输入到文本输入字段636中并显示在其中。
图6VV至图6YY示出了将基于字体的文本从第一电子设备传输到第二电子设备的另选的示例性方法。在一些实施方案中,如图6VV所示,设备631在用户界面642上显示一个或多个文本输入字段(例如,文本输入字段644-1至644-4)。在一些实施方案中,设备631将该一个或多个文本输入字段的数据传输到设备500(或者设备500以其他方式接收关于该一个或多个文本输入字段的数据)。在一些实施方案中,设备500在用户界面640上显示该一个或多个文本输入字段。在一些实施方案中,该一个或多个文本输入字段模拟显示器632上对应文本输入字段的位置和放置。在一些实施方案中,设备500不模拟文本输入字段的位置和放置。
在图6WW中,在设备500的用户界面640上在文本输入字段646-1中接收到手写输入648。在一些实施方案中,在用户已完成手写输入648并抬离触笔203之后(例如,如图6XX所示),设备500将手写输入648转换为基于字体的文本,如图6YY所示。在一些实施方案中,在将手写输入648转换为基于字体的文本之后或同时,设备500将文本传输到设备631。在一些实施方案中,响应于接收到文本,设备631将所接收的文本输入并显示到文本输入字段644-1(例如,对应于文本输入字段646-1)中。
图7A至图7I是示出将手写输入转换为基于字体的文本的方法700的流程图。方法700任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法700中的一些操作任选地被组合,和/或一些操作的次序任选地被改变。
如下所述,方法700提供了将手写输入转换为基于字体的文本的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示包括第一文本输入区域的用户界面(702),诸如图6A所示(例如,具有用户能够在其中输入文本的文本字段或文本输入区域的用户界面)。例如,用户界面是具有多个文本字段(或文本输入区域)的表格,并且(例如,利用手指)对特定文本字段的选择任选地显示用于将文本输入到文本字段中的软键盘。在一些实施方案中,任选地使用物理键盘将文本输入到相应文本字段中。
在一些实施方案中,在显示用户界面时,电子设备经由触敏显示器接收用户输入,该用户输入包括指向第一文本输入区域的手写输入(704),诸如图6B所示(例如,在文本字段(或文本输入区域)上或附近接收到手写输入)。在一些实施方案中,接收到来自触笔或其他书写设备的用户输入。在一些实施方案中,接收到来自手指的用户输入。在一些实施方案中,当在文本字段(或文本输入区域)上或附近的位置处接收到手写输入时,该手写输入指向第一文本输入字段。在一些实施方案中,指示将文本输入到文本输入字段(或文本输入区域)中的请求的手写输入被认为指向第一文本输入字段。例如,在文本字段(或文本输入区域)中开始的手写输入任选地指示整个手写输入序列旨在被输入到文本字段(或文本输入区域)中,即使该手写输入的一部分(例如,一些或全部)延伸到文本字段(或文本输入区域)外。在一些实施方案中,从文本字段(或文本输入区域)外开始但大量手写输入落入文本字段(或文本输入区域)内(例如,30%、50%等落入文本字段或文本输入区域内)的用户输入任选地被认为意图将文本输入到文本字段(或文本输入区域)中。在一些实施方案中,文本输入字段(或文本输入区域)包括预先确定的误差边际,在误差边际中距文本输入字段(或文本输入区域)一定距离内的手写输入将被认为是文本输入字段(或文本输入区域)内的手写输入。在一些实施方案中,如果输入定时指示输入是应被输入到文本字段中的手写输入的延续(例如,用户继续书写而无暂停或短暂停,并且书写延伸超出文本字段),则完全在文本字段(或文本输入区域)外的用户输入被认为意图将文本输入到文本字段(或文本输入区域)中。
在一些实施方案中,在接收到用户输入时,电子设备在用户界面中与文本输入区域对应的位置处显示手写输入的表示(706),诸如图6B所示(例如,在接收到输入时在显示器上接收到手写输入的位置处显示该手写输入的迹线)。在一些实施方案中,当用户在触敏显示器上“绘制”时,显示器在接收到输入的位置处显示用户的手写输入。在一些实施方案中,如果在文本字段中接收到手写输入,则在文本字段内显示手写输入迹线。更一般地,在一些实施方案中,在触敏显示器上任何接收到手写输入的地方显示手写输入迹线。在一些实施方案中,显示手写输入发生在接收到每个字母、每个字词或每个句子等之后。在一些实施方案中,利用输入设备(例如,触笔、手指等)进行的未被确定为手写输入(例如,不指向文本输入字段或区域的输入)的用户输入将不会使得同时显示输入的迹线。
在一些实施方案中,在用户界面中显示手写输入的表示之后(708),诸如图6E所示(例如,在手写输入结束之后或在手写输入开始之后并且在用户仍在输入另外的手写输入时),根据确定用户输入满足一个或多个第一标准(例如,将手写输入替换为文本(例如,计算机文本))任选地取决于多个标准,包括书写的定时、特定字词和/或字母的使用、标点符号,手写输入的句子结构和/或与其他用户界面元素的交互),电子设备停止在文本输入区域中显示手写输入的表示的至少一部分并显示与手写输入的表示的至少一部分对应的基于字体的文本(710),诸如图6E所示(例如,移除显示器上的手写输入的至少一部分并显示与文本输入字段中的手写输入的移除部分对应的计算机化文本(例如,基于字体的文本)。
在一些实施方案中,在接收到输入时发生替换(例如,在用户仍在输入手写输入的第二部分时替换手写输入的第一部分)。在一些实施方案中,在输入结束之后(例如,在不接收手写输入阈值时间量之后,在用户完成书写字词或句子之后,或者在满足一些其他输入终止标准之后)发生替换。在一些实施方案中,在向用户显示建议文本并接收到选择或确认建议文本的输入之后发生替换。
在一些实施方案中,系统确定用户在手写输入中书写的字母和/或字词,并将它们转换为计算机化文本。例如,手写输入任选地被替换为具有例如12号Times New Roman字体(或其他合适的字体)的文本。在一些实施方案中,基于字体的文本是10号尺寸、12号尺寸等的文本,并且任选地是Arial、Calibri、Times New Roman等。在一些实施方案中,计算机化文本(例如,基于字体的文本)替换手写输入。在一些实施方案中,在从显示器移除手写输入的该部分之前或之后(例如,之前或之后0.5秒、之前或之后1秒、之前或之后3秒等),显示基于字体的文本。在一些实施方案中,示出了将手写输入转换为计算机化文本或以其他方式移除手写输入并显示计算机化文本的动画。在一些实施方案中,计算机化文本的位置与转换之前手写输入存在的位置重叠。在一些实施方案中,计算机化文本的尺寸小于手写输入(例如,字体尺寸小于手写输入)。在一些实施方案中,将手写输入转换为具有与手写输入相同尺寸的基于字体的文本(例如,基于字体的文本的尺寸与手写输入匹配),随后将基于字体的文本更新为其最终尺寸(例如,基于字体的文本的默认尺寸或文本输入区域的默认尺寸)。在一些实施方案中,将手写输入的尺寸修改为基于字体的文本的最终尺寸(例如,基于字体的文本的默认尺寸或文本输入区域的默认尺寸),之后在将手写输入转换为基于字体的文本(例如,转换为其最终尺寸—该最终尺寸匹配手写输入的最终尺寸)。在一些实施方案中,手写输入的尺寸不改变,并且基于字体的文本已经以其最终尺寸出现,而无需匹配手写输入的尺寸并且无需从初始尺寸改变为最终尺寸。类似地,在一些实施方案中,任选地在转换之前或之后更新文本的位置。在一些实施方案中,在转换之前将手写输入移动到最终位置,基于字体的文本出现(例如,当其被转换时)在手写输入的位置处然后移动到其最终位置,或者基于字体的文本出现(例如,当其被转换时)在最终位置处而没有将基于字体的文本从初始位置移动到最终位置的动画。在一些实施方案中,动画包括从手写输入的初始位置和尺寸(例如,以任何顺序)改变手写输入或基于字体的文本的尺寸和/或位置以产生最终位置和尺寸的任何组合。在一些实施方案中,无论用户书写的尺寸如何,手写文本的表示都以基于字体的文本的最终尺寸(例如,基于字体的文本的默认尺寸或文本输入区域的默认尺寸)显示。在一些实施方案中,作为转换操作的结果,将基于字体的文本作为文本输入提供给文本输入或文本输入区域。在一些实施方案中,将手写文本转换为基于字体的文本的动画与下文相对于方法2000所述的将手写输入转换为基于字体的文本类似或共享类似的特征。在一些实施方案中,当手写输入被转换为基于字体的文本时,显示手写输入溶解成颗粒并移动到基于字体的文本出现的位置的动画,其中基于字体的文本出现的位置类似于下文相对于方法2000所述的动画(例如,和/或下文相对于19I至图19N和/或相对于图19O至图19V所述的动画)。
在一些实施方案中,在用户界面中显示手写输入的表示之后(708),诸如图6C所示(例如,在手写输入结束之后或在手写输入开始之后并且在用户仍在输入另外的手写输入时),根据确定用户输入不满足该一个或多个第一标准,电子设备保持显示手写输入的表示,而不在文本输入区域中显示基于字体的文本(712),诸如图6C所示(例如,如果不满足用于转换文本的标准,则不将手写输入转换为基于字体的文本)。在一些实施方案中,在满足标准之后(例如,如果标准与时间相关或者需要另外的输入来满足用于转换文本的标准),在稍后的时间转换手写输入。在一些实施方案中,手写输入不能被识别并且不被转换为计算机文本。在一些实施方案中,忽略未被识别的手写输入或将其解释为命令。在一些实施方案中,在显示器上保持并且不移除手写输入的迹线。例如,手写输入被解释为绘图而不是手写输入,因此该绘图保持显示在文本输入区域中。
上述将手写输入转换为文本的方式(例如,通过在文本输入字段处或附近接收到输入,并且如果满足特定标准,则将手写输入替换为文本)允许电子设备向用户提供直接书写到用户界面上以输入文本的能力(例如,通过接受手写输入并且自动确定与手写输入对应的文本并将文本输入到相应文本输入字段中),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户将文本直接手写到触摸屏显示器上,而无需用户选择相应文本字段,然后使用键盘(例如,物理或虚拟键盘)以将文本输入到文本字段中),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在继续接收手写输入时发生在文本输入区域中显示与手写输入的表示的至少一部分对应的基于字体的文本(714),诸如图6B所示(例如,在仍在接收手写输入时显示基于字体的文本)。在一些实施方案中,当正在接收输入时,手写输入被“实时”转换。在一些实施方案中,在每个字词之后(或者任选地,在每两个字词、三个字词、四个字词等之后)发生转换。在一些实施方案中,在特定时间延迟之后发生转换。在一些实施方案中,在一些触发事件之后发生转换。在一些实施方案中,如果转换是“实时”的,则当用户仍在书写另外的字词或字母时,手写输入被转换为基于字体的文本。
上述将手写输入转换为文本的方式(例如,通过在继续接收手写输入的同时显示基于字体的文本)允许电子设备向用户提供接收用户正在书写的文本的即时反馈的能力(例如,通过接受手写输入并在用户仍在继续提供手写输入时将手写输入转换为文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户验证转换是否正确,而无需等待直到所有输入一次被转换或执行单独的输入以触发转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,响应于在手写输入中检测到暂停长于时间阈值(例如,0.5秒、1秒、2秒、3秒、5秒),发生在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本(716),诸如图6H所示(例如,在用户已暂停手写输入特定时间阈值之后执行从手写输入到基于字体的文本的转换)。例如,如果用户书写特定短语并停止书写阈值时间量,则系统将该短语转换为基于字体的文本。在一些实施方案中,通过考虑字词串并且在暂停之后转换手写文本来改善对文本的识别,从而在改善文本识别和减少转换手写文本的延迟之间提供平衡。
上述将手写输入转换为文本的方式(例如,通过在手写输入暂停之后显示基于字体的文本)允许电子设备转换手写文本而不会不必要地分散用户的注意力(例如,通过在用户已暂停手写输入之后转换手写文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户完成其当前输入之后执行转换,这减少了分散用户注意力的可能性,同时提高了转换的准确性,并且平衡了向用户提供关于用户手写输入的反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在用户界面中显示手写输入的表示之后,电子设备在触敏显示器上同时显示(718),诸如图6Q所示:手写输入的表示的至少一部分(720),诸如图6Q所示;和可选选项,该可选选项对应于与手写输入的表示的至少该部分对应的基于字体的文本(724),诸如图6Q所示(例如,显示具有一个或多个可选选项的弹出窗口或其他类型的对话框,该一个或多个可选选项在被选择时使得系统将手写输入的表示的该部分转换为基于字体的文本。在一些实施方案中,可选选项是将手写输入的该部分转换为基于字体的文本的建议。在一些实施方案中,当对手写输入的识别的置信度低于特定阈值时,显示弹出窗口。例如,如果系统不确定用户的手写输入是什么,则弹出窗口能够向用户提供要将手写输入转换为什么内容的一个或多个选择。在一些实施方案中,如果在显示弹出窗口的同时用户继续手写输入,则基于继续的手写输入来继续更新弹出窗口中的建议文本。例如,继续解释和评估手写输入,并且继续更新建议以反映添加到手写输入的新字母或字词。在一些实施方案中,针对每个字词显示弹出窗口。在一些实施方案中,针对整个手写输入显示弹出窗口。在一些实施方案中,针对手写输入的字词子集(例如,两个字词、三个字词、四个字词等)显示弹出窗口。
在一些实施方案中,响应于检测到对可选选项的选择,停止显示手写输入的表示的至少该部分并且在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本(726),诸如图6S所示(例如,响应于用户选择可选选项而发生转换)。在一些实施方案中,如果用户未选择可选选项,则不执行转换。在一些实施方案中,在稍后的时间(例如,当向用户呈现另一个可选选项时,或者当满足其他转换标准时)执行转换。在一些实施方案中,如果向用户呈现基于字体的文本的多个建议,则用户选择的选项是显示的选项。
上述向用户呈现手写转换选项的方式(例如,通过显示转换手写文本的可选选项)允许电子设备向用户呈现是否转换手写文本和将手写文本转换为什么内容的选项(例如,通过在用户选择可选选项以确认转换时转换手写文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户在视觉上验证转换并且肯定和/或确认转换,而无需用户在转换之后验证转换,然后在转换不正确时进行任何所需的编辑),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,文本输入区域包括文本输入字段(728),诸如图6G所示(例如,将基于字体的文本输入到用户的手写输入指向的文本字段中)。在一些实施方案中,基于手写输入的特征来确定用户的手写输入指向哪个文本字段。在一些实施方案中,如果手写输入偏向给定文本字段,则将基于字体的文本输入到给定文本字段中。在一些实施方案中,如果手写输入在给定文本字段中开始,则将基于字体的文本输入到给定文本字段中。在一些实施方案中,如果手写输入在给定文本字段中结束,则将基于字体的文本输入到给定文本字段中。在一些实施方案中,如果手写输入与两个或更多个文本输入字段重叠,则将基于字体的文本输入到手写输入中的更多内容与之重叠的文本输入字段中。在一些实施方案中,如果手写输入完全在文本输入字段外,但是已确定的字词序列的一部分将被输入到给定文本输入字段中,则完全在文本输入外的手写输入也被输入到给定文本字段中。
上述输入基于字体的文本的方式(例如,通过将基于字体的文本转换和输入到文本输入字段中)允许电子设备将用户的手写输入输入到适当的文本字段中(例如,通过将手写文本转换为基于字体的文本并显示到接受基于字体的文本的文本输入字段中),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过将转换的文本输入到适当的文本字段中,而无需用户将手写输入精确地提供在期望的文本输入字段中,并且不需要用户在转换之后将经转换的文本单独地移动到文本输入字段中),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,手写输入的至少该部分包括在文本输入区域的边界内检测到的手写输入和在文本输入区域的边界外检测到的手写输入(730),诸如图6G所示(例如,部分地与给定文本输入区域重叠但还延伸到给定文本输入区域外的手写文本任选地被输入到给定文本输入区域中)。在一些实施方案中,如果手写输入在给定文本字段中开始,则将基于字体的文本输入到给定文本字段中。在一些实施方案中,如果手写输入在给定文本字段中结束,则将基于字体的文本输入到给定文本字段中。在一些实施方案中,如果手写输入与两个或更多个文本输入字段重叠,则将基于字体的文本输入到手写输入中的更多内容与之重叠的文本输入字段中。
上述接受手写输入的方式(例如,通过将位于文本输入区域内和文本输入区域外两者的手写输入识别为指向该文本输入区域)允许电子设备向用户提供与自然手写特征的兼容性(例如,通过接受潜在地延伸到文本输入区域外并且不完全在文本输入区域内的手写文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过接受可能较大并且延伸到给定文本输入区域外的自然手写输入,而无需用户完美地书写在给定文本输入区域内以使手写输入被接受),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在大于文本输入区域并且围绕文本输入区域的误差边际区域内检测到的手写输入有资格被转换为文本输入区域中的基于字体的文本,并且在误差边际区域外检测到的手写输入没有资格被转换为文本输入区域中的基于字体的文本(732),诸如图6B所示(例如,手写被接受为指向大于文本输入区域(例如,大10%、20%、30%)的预先确定的尺寸的给定文本输入区域。在一些实施方案中,如果用户的手写输入的一部分延伸超过给定文本输入区域但保持在文本输入区域的误差边际区域内,则整个手写输入将被识别为指向给定文本输入区域。在一些实施方案中,如果手写输入延伸超过误差边际区域,则手写输入不被认为指向给定文本输入区域。在一些实施方案中,如果手写输入延伸超过误差边际区域,则处理并任选地转换手写输入在误差边际区域内的部分,而不处理或任选地转换手写输入在误差边际区域外的部分(任选地,手写输入的该部分保持在显示器上)。
上述接受手写输入的方式(例如,通过在文本输入区域周围提供误差边际区域,在该误差边际区域中的手写输入有资格被转换为基于字体的文本)允许电子设备向用户提供与自然手写特征的兼容性(例如,通过接受潜在地延伸到文本输入区域外并且不完全在文本输入区域内的手写文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过接受可能较大并且延伸到给定文本输入区域外的自然手写输入,而无需用户完美地书写在给定文本输入区域内以使手写输入被接受),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,电子设备经由触敏显示器接收第二用户输入,该第二用户输入包括指向用户界面中的第二文本输入区域的手写输入(734),诸如图6E所示(例如,接收到手写输入的延续)。在一些实施方案中,第二用户输入是一个或多个手写输入的序列内的输入。在一些实施方案中,在第一用户输入之后快速相继进行第二用户输入。在一些实施方案中,第二用户输入不指向第一文本输入区域。在一些实施方案中,第二用户输入指向第二文本输入区域或甚至不指向任何文本输入区域(例如,用户界面上不与文本输入区域相关联的空间,诸如两个文本字段之间的空间)。
在一些实施方案中,在接收到第二用户输入之后(736),根据确定第二用户输入满足一个或多个第二标准,包括当在用户输入的时间阈值内检测到第二用户输入时满足的标准,电子设备在文本输入区域中显示与第二用户输入对应的基于字体的文本(738),诸如图6H所示(例如,如果接收到第二用户输入使得系统确定其与指向文本输入区域的手写输入序列相关联(例如,在先前手写输入的时间阈值内),则将经转换的文本输入到文本输入区域中而不是第二输入区域中,即使第二用户输入指向第二文本输入区域)。在一些实施方案中,时间阈值为0.5秒、1秒、2秒、3秒、5秒等。
在一些实施方案中,在接收到第二用户输入之后(736),根据确定第二用户输入不满足该一个或多个第二标准,电子设备在第二文本输入区域中显示与第二用户输入对应的基于字体的文本(740),诸如图6L所示(例如,如果在阈值延迟量之后接收到第二用户输入,则不认为第二用户输入与指向文本输入区域的手写输入序列相关联)。在一些实施方案中,然后将第二用户输入解释为指向第二文本输入区域,并且将经转换的文本输入到第二文本输入区域中而不是文本输入区域中。
上述转换手写输入的方式(例如,通过将后续手写输入输入到给定文本输入区域中,即使后续手写输入指向另一文本输入区域)允许电子设备向用户提供与自然手写特征的兼容性(例如,通过接受完全在给定文本输入区域外并且潜在地指向另一文本输入区域的继续手写文本,只要继续手写文本在距指向给定文本输入区域的先前手写文本的特定时间阈值内),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过接受自然手写输入而无需用户暂停其手写输入并将手写输入重新定位到期望的文本输入区域,或者在转换之后将经转换的文本单独地从第二文本输入区域移动到文本输入区域),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个第二标准包括当第二用户输入的大部分指向文本输入区域而不是第二文本输入区域时满足,诸如图6G所示,并且当第二用户输入的大部分指向第二文本输入区域而不是文本输入区域时不满足的标准(742),诸如图6K所示(例如,如果第二(例如,继续)手写输入更多地在文本输入区域内(例如,具有或不具有误差边际)执行,而不是更多地在第二文本输入区域内(例如,考虑或不考虑文本输入区域和第二文本输入区域之间的空间)执行,则满足第二标准,使得将第二用户输入的经转换的文本输入到文本输入区域中而不是第二文本输入区域中)。在一些实施方案中,如果第二用户输入的大部分在第二输入区域内(例如,具有或不具有误差边际),则不满足第二标准并且将经转换的文本任选地输入到第二用户输入中。
上述转换手写输入的方式(例如,通过在后续手写输入的大部分指向给定文本输入区域而不是另一文本输入区域的情况下将后续手写输入输入到给定文本输入区域中)允许电子设备向用户提供与自然手写特征的兼容性(例如,通过在继续手写文本的大部分在给定文本输入区域内的情况下接受延伸到给定文本输入区域外的继续手写文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过继续自然手写输入而无需用户暂停其手写输入并将手写输入重新定位到期望的文本输入区域,或者在转换之后将经转换的文本单独地从第二文本输入区域移动到文本输入区域),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本包括(744),诸如图6D至图6E所示:在检测到与手写输入的表示的至少该部分对应的基于字体的文本之后,但在将基于字体的文本提交到文本输入区域之前,以视觉特征的第一值显示基于字体的文本(746),诸如图6D所示(例如,更新手写输入的一个或多个视觉特征以指示手写输入已被检测为能够被解释并转换为基于字体的文本的文本);以及在将基于字体的文本提交到文本输入区域之后,以视觉特征的不同于第一值的第二值显示基于字体的文本(748),诸如图6E所示(例如,更新基于字体的文本的一个或多个视觉特征以指示基于字体的文本现在被提交到(例如,输入到)文本输入区域中)。在一些实施方案中,更新手写输入包括改变手写输入的颜色和/或不透明度。在一些实施方案中,另选地或除此之外,(例如,在转换手写输入之后)所显示的基于字体的文本以特定视觉特征(例如,灰色)显示,以指示基于字体的文本是试探性建议的基于字体的文本,并且将在特定时间延迟(例如,0.5秒、1秒、2秒、3秒、5秒)之后提交(例如,正式输入到文本输入区域中)。在一些实施方案中,基于字体的文本更新为黑色或不然的话更新为文本输入区域的默认颜色和/或尺寸。
上述显示基于字体的文本的方式(例如,通过在将文本提交到文本输入字段之前以第一视觉特征显示基于字体的文本并且通过在将文本提交到文本输入字段之后以第二视觉特征显示基于字体的文本)允许电子设备向用户提供关于转换用户的手写文本的进度的反馈(例如,通过在提交之前以第一视觉特征显示基于字体的文本并且在将基于字体的文本提交到文本输入区域之后以第二视觉特征显示基于字体的文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供关于将手写输入转换为基于字体的文本的进度的视觉反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本包括(750),诸如图6D和图6H所示:根据确定基于字体的文本的检测具有第一置信度水平,以相应视觉特征的第一值显示基于字体的文本(752),诸如图6D所示(例如,基于手写输入的解释的置信度水平,以特定颜色或不透明度显示基于字体的文本);以及根据确定基于字体的文本的检测具有不同于第一置信度水平的第二置信度水平,以相应视觉特征的不同于第一值的第二值显示基于字体的文本(754),诸如图6H所示(例如,如果系统对手写输入的转换不具有高置信度(例如,如果手写输入潦草或因其他原因难以解释),则以与系统对解释具有高置信度时不同的视觉特征显示基于字体的文本)。例如,如果系统对手写输入转换为给定基于字体的文本具有高置信度,则基于字体的文本以黑色显示。例如,如果系统具有低置信度,则基于字体的文本以灰色或红色显示。
上述提供视觉反馈的方式(例如,通过在对解释和转换的置信度处于第一水平时以第一视觉特征显示基于字体的文本,并且通过在对解释和转换的置信度处于第二水平时以第二视觉特征显示基于字体的文本)允许电子设备向用户提供置信度的视觉反馈和/或转换的准确性,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供用户的手写用户输入的转换的置信度水平的视觉提示,因此向用户提供是否确认转换准确的指示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本包括(756),诸如图6S所示:根据确定基于字体的文本的检测具有第一置信度水平,在文本输入区域中的第一位置处显示基于字体的文本(758),诸如图6S所示(例如,基于转换的置信度水平,在文本输入区域中的不同位置处显示基于字体的文本);以及根据确定基于字体的文本的检测具有不同于第一置信度水平的第二置信度水平,在文本输入区域中的不同于第一位置的第二位置处显示基于字体的文本(760),诸如图6S所示(例如,如果转换的置信度水平低,则基于字体的文本任选地留在与原始手写输入相同的位置)。例如,如果转换的置信度高,则基于字体的文本移动到在文本输入区域中左对齐(例如,如果文本输入区域为空)或以其他方式与文本输入区域中的其他文本对齐。在一些实施方案中,如果转换的置信度水平低,则手写输入被转换并留在相同位置以允许用户在将文本与文本输入区域中的其他文本对齐之前验证转换是否准确(例如,如果文本输入区域为空,则使文本左对齐)。在一些实施方案中,需要单独的用户输入来确认或以其他方式接受具有低置信度的基于字体的文本。
上述显示基于字体的文本的方式(例如,通过在基于从手写输入转换文本的置信度水平的位置处显示基于字体的文本)允许电子设备向用户提供置信度的视觉反馈和/或转换的准确性,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过不将基于字体的文本移动到其最终位置中来向用户提供用户的手写用户输入的转换的置信度水平的视觉提示,因此向用户提供是否确认转换准确的指示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,诸如图6A至图6RR所示,该一个或多个第一标准包括基于手写输入的定时特征(例如,在手写输入停止预先确定的时间段之后转换文本)、与手写输入相关联的上下文(例如,如果没有另外的字母可添加到用户已书写的字词,则将该字词转换为基于字体的文本)、手写输入中的标点符号(例如,如果用户书写标点符号诸如句号,则转换已书写到并包括该标点符号的文本)、触笔距触敏显示器的距离(例如,如果用户将触笔放下或将触笔移动到远离设备阈值距离(例如,6英寸、12英寸、2英尺等),则转换迄今为止已输入的手写输入)、指向用户界面中的第二文本输入区域的输入(例如,如果用户开始在另一文本输入区域中输入文本,则转换已输入到第一文本输入区域中的手写文本)、滚动用户界面的输入(例如,如果用户与用户界面交互以滚动用户界面或以其他方式在用户界面周围导航,则转换迄今为止已输入的手写输入)、触笔的角度(例如,如果用户将触笔指向远离设备的角度,则转换迄今为止已输入的手写输入)、手写输入距文本输入区域的边缘的距离(例如,当用户到达文本输入区域的末尾时更快地转换文本以释放空间以供用户执行更多手写输入)、在触笔上检测到的手势(例如,检测到在触笔上轻击的用户输入使得转换迄今为止已输入的手写输入)或在触敏显示器上检测到的来自手指的输入(例如,接收到来自手指而不是触笔的用户输入,则转换在来自手指的用户输入之前由触笔输入的手写文本)而满足的一个或多个标准(762)。
上述转换手写输入的方式(例如,通过基于多个不同因素来转换手写文本)允许电子设备基于情况来选择最适当的时间来转换手写文本(例如,通过基于输入的定时、上下文、标点符号、触笔的距离和角度、与其他元件交互的输入等来转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在平衡转换文本的速度的同时在对用户打扰最少的时间转换文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在接收到用户输入时,根据确定满足一个或多个第二标准,电子设备在用户界面中移动手写输入的表示的至少一部分,以显露用户界面中用于接收附加手写输入的空间(764),诸如图6N所示(例如,在接收手写用户输入时,移动手写用户输入以在文本输入区域中提供空间以供用户继续提供另外的手写输入)。例如,当接收到手写用户输入时,将先前提供的手写输入向左滚动。在一些实施方案中,作为滚动的结果,用户能够在相同位置继续书写或仅将其书写略微向右移位。在一些实施方案中,向左滚动的文本滚动超过文本输入区域的边界,在这种情况下,文本显示在文本输入区域上方(例如,滚动超过文本输入区域并且不被隐藏而不显示)或在文本输入区域后面(例如,滚动超过文本输入区域,但是超过文本输入区域的边界的任何文本被显示为被文本输入区域的边界隐藏)。
上述接收手写输入的方式(例如,通过在接收到手写输入时移动先前的手写输入以为更多手写输入提供空间)允许电子设备向用户提供空间以提供手写输入(例如,通过空间移动先前输入的手写输入以提供用于接收另外的手写输入的空间),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户继续提供手写输入而不必重新设定用户输入的位置以确保其保持在文本输入区域内),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在接收到用户输入时,根据确定满足一个或多个第三标准,电子设备扩展文本输入区域的边界以在文本输入区域中创建用于接收附加手写输入的空间(766),诸如图6J所示(例如,当用户到达文本输入区域的边界时,水平扩展和/或垂直扩展文本输入区域,以向用户提供空间以继续输入手写输入)。在一些实施方案中,文本输入区域扩展到另一文本输入区域的区域中,在这种情况下,文本输入区域将覆盖另一文本输入区域或以其他方式显示在另一文本输入区域上方。在一些实施方案中,在用户完成手写输入并且/或者手写输入被转换为基于字体的文本之后,文本输入区域将收缩回其原始尺寸。
上述接收手写输入的方式(例如,通过扩展文本输入区域的尺寸)允许电子设备向用户提供空间以提供手写输入(例如,通过在用户开始到达文本输入区域的边界时水平扩展和/或垂直扩展文本输入区域以提供用于接收另外的手写输入的空间),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户继续向文本输入区域中提供手写输入),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,扩展文本输入区域的边界,诸如图6J所示,包括(768)根据确定文本输入区域位于用户界面中的第一位置处,扩展文本输入区域的第一边界(770),诸如图6J所示(例如,如果文本输入区域位于触摸屏上的特定预定义位置处,诸如触摸屏的下三分之一处,则垂直向上扩展文本输入区域)。在一些实施方案中,垂直向上扩展文本输入区域允许用户在更舒适或自然的手写位置处提供手写输入。例如,在触摸屏底部三分之一处书写可能尴尬或不舒服,并且垂直向上扩展文本输入区域允许用户避免尴尬或不舒服的手写位置。
在一些实施方案中,扩展文本输入区域的边界,诸如图6K所示,包括(768)根据确定文本输入区域位于用户界面中不同于第一位置的第二位置处,扩展文本输入区域的第二边界而不扩展文本输入区域的第一边界(772),诸如图6K所示(例如,如果文本输入区域不位于触摸屏上的预定义位置处,诸如触摸屏的下三分之一处,则不垂直向上扩展文本输入区域)。在一些实施方案中,文本输入区域垂直向下和/或水平向右扩展,以提供自然扩展的空间以供手写(例如,自然手写进度是从左往右并且从上往下,因此,文本输入区域的自然扩展水平向右并且垂直向下,而不是当文本输入区域在触摸屏的下三分之一中时的垂直向上扩展)。
上述接收手写输入的方式(例如,通过基于文本输入区域在屏幕上的位置来扩展文本输入区域的边界)允许电子设备向用户提供空间以提供手写输入(例如,通过基于文本输入区域的位置移动文本输入区域的相应边界以提供最自然的位置来执行手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供在其中舒适且自然地执行手写输入的空间而无需用户在尴尬的位置书写),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在接收到用户输入时在用户界面中显示手写输入的表示包括显示手写输入的表示的一个或多个视觉特征随着自接收到对应手写输入以来经过的时间而改变的动画(774),诸如图6D所示(例如,在接收到手写输入时显示其动画)。例如,手写输入以类似于油墨书写的方式显示,并且动画看起来好像油墨书写随时间推移而变干一样。在一些实施方案中,手写输入的颜色和/或不透明度改变以达到最终颜色和/或不透明度水平。在一些实施方案中,视觉特征的动画(例如,油墨变干)与下文相对于方法2000所述的手写输入转换为基于字体的文本类似或共享类似的特征(例如,手写输入变为灰色)。
上述显示手写输入的方式(例如,通过随时间推移而改变手写输入的视觉特征)允许电子设备向用户提供关于自已接收到手写输入以来多长时间以及已处理手写输入多长时间的视觉提示(例如,通过显示手写输入基于自接收到手写输入以来多长时间而改变视觉特征的动画),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供自接收到手写输入以来经过的时间的视觉指示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,停止显示手写输入的表示的至少该部分并且在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本包括显示手写输入的表示变幻为基于字体的文本的动画(776),诸如图6D所示(例如,以动画方式显示手写输入转换为基于字体的文本)。在一些实施方案中,手写输入改变形状和尺寸以产生基于字体的文本。在一些实施方案中,动画包括改变手写输入的尺寸、形状、颜色和/或不透明度。在一些实施方案中,手写输入似乎被分散并重新组装为基于字体的文本(例如,分散成大片、小片、颗粒、雾化、上述的任何组合等并重新组装,诸如下文相对于方法2000所述)。在一些实施方案中,手写输入淡出并且基于字体的文本淡入。在一些实施方案中,在动画期间,在手写输入的同时在显示器上显示基于字体的文本(例如,当从显示器移除手写输入时,显示器上正在显示基于字体的文本,使得在某个时间点,在显示器上同时显示基于字体的文本和手写输入两者)。在一些实施方案中,手写输入变幻为基于字体的文本的动画与下文相对于方法2000所述的手写输入转换为基于字体的文本类似或共享类似的特征(例如,手写输入溶解成颗粒并朝向基于字体的文本出现的位置移动)。
上述显示手写输入的方式(例如,通过显示手写输入变幻为基于字体的文本的动画)允许电子设备向用户提供手写输入被转换为基于字体的文本的视觉提示(例如,通过显示手写输入变幻为基于字体的文本的动画),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供用户的手写输入正被处理、解释并转换为基于字体的文本的视觉指示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,手写输入的至少该部分与包括打字错误的基于字体的文本对应,并且在文本输入区域中显示与手写输入的表示的至少该部分对应的基于字体的文本包括显示打字错误已校正的基于字体的文本(778),诸如图6H所示(例如,在一些实施方案中,如果手写输入包括系统能够在其中确定正确输入的打字错误,则将手写文本转换为基于字体的文本的过程也自动校正打字错误)。在一些实施方案中,如果经校正输入的置信度高于特定阈值置信度水平(例如,高置信度水平),则执行转换的自动校正。
上述转换手写输入的方式(例如,通过在将手写输入转换为基于字体的文本时移除打字错误)允许电子设备自动向用户提供基于字体的无错文本(例如,通过在将手写输入转换为基于字体的文本时自动移除打字错误),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动移除用户的打字错误而无需用户单独确定是否存在打字错误,并且执行附加输入以编辑基于字体的文本并移除打字错误),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在用户界面中显示手写输入的表示之后(780),根据确定用户输入满足一个或多个第一标准(782),电子设备将与手写输入的表示的至少该部分对应的基于字体的文本传输到独立于电子设备的第二电子设备(784),诸如图6UU所示(例如,如果设备正在(例如,无线地或有线地)控制第二电子设备并且请求第二电子设备进行文本输入,则在将手写输入转换为基于字体的文本之后,将文本传输到第二电子设备以满足文本输入请求)。例如,如果第二电子设备是机顶盒并且用户已请求第二电子设备上的搜索用户界面,则用户能够使用电子设备将文本远程传输到第二电子设备的搜索用户界面上的搜索字段中。
上述将文本传输到第二电子设备的方式(例如,通过在电子设备上接收手写输入,将其转换为基于字体的文本,并且将基于字体的文本传输到第二电子设备)允许电子设备向用户提供在第二电子设备上输入文本的手写输入方法(例如,通过接收来自用户的手写输入,将手写输入转换为基于字体的文本,并且将文本传输到第二电子设备),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过接受用户的手写输入并将基于字体的文本传输到第二电子设备,而无需用户使用虚拟键盘或使用传统远程控制器在第二电子设备上输入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,第二电子设备正在显示包括一个或多个相应文本输入区域的用户界面,该一个或多个相应文本输入区域包括与由电子设备显示的文本输入区域对应的相应文本输入区域(786),诸如图6SS所示(例如,第二电子设备正在显示一个或多个文本输入区域)。
在一些实施方案中,电子设备在电子设备处检测由第二电子设备显示的该一个或多个相应文本输入区域(788),诸如图6VV所示。在一些实施方案中,响应于检测到由第二电子设备显示的该一个或多个相应文本输入区域,电子设备在用户界面中显示一个或多个文本输入区域,包括与该一个或多个相应文本输入区域对应的文本输入区域(790),诸如图6VV所示(例如,从第二电子设备的用户界面提取文本输入区域并将其显示在电子设备上)。在一些实施方案中,电子设备镜像包括任何标签、文本、图形等的第二电子设备的用户界面,使得电子设备显示与第二电子设备相同的用户界面。在一些实施方案中,电子设备不镜像第二电子设备的用户界面,而是仅显示第二电子设备的用户界面的元素的部分(例如,显示来自第二电子设备的用户界面的文本字段和文本字段标签,并且不显示第二电子设备的用户界面的其他元素)。
在一些实施方案中,将与手写输入的表示的至少该部分对应的基于字体的文本传输到第二电子设备包括将基于字体的文本传输到第二电子设备上的相应文本输入区域(792),诸如图6YY所示(例如,电子设备接收指向相应文本输入区域的手写输入,并且在将手写输入转换为基于字体的文本之后,将基于字体的文本传输到第二电子设备以输入到第二电子设备的用户界面上的对应文本输入区域中)。
上述将文本传输到第二电子设备的方式(例如,通过在电子设备上显示与第二电子设备上正在显示的相同的文本输入区域)允许电子设备向用户提供用于将文本传输到第二电子设备的直观界面(例如,通过将第二电子设备的用户界面镜像到电子设备并将文本从电子设备传输到第二电子设备上的适当文本输入区域),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在电子设备上提供与第一电子设备上所示相同的用户界面,使得用户可以容易且直观地选择要在其中输入文本的文本输入区域,而无需用户执行附加输入或使用传统远程控制器来选择要在其中输入文本的文本输入区域),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,文本输入区域是多行文本输入区域,并且与手写输入的表示的至少该部分对应的基于字体的文本显示在多行文本输入区域的第一行中(794),诸如图AA所示(例如,文本输入区域支持多行文本)。
在一些实施方案中,在多行文本输入区域的第一行中显示与手写输入的表示的至少该部分对应的基于字体的文本时,电子设备经由触敏显示器接收第二用户输入,该第二用户输入包括指向第一文本输入区域的手写输入(796),诸如图6DD所示(例如,在检测到指向文本输入区域的手写输入之后,接收指向文本输入区域的第二输入)。在一些实施方案中,第二输入与在先前手写输入下方插入第二行的请求对应。在一些实施方案中,插入第二行的请求包括在先前手写输入下方的轻击。在一些实施方案中,请求包括在先前手写输入下方接收到另外的手写输入。在一些实施方案中,请求包括选择创建第二行的可选选项。在一些实施方案中,创建第二行包括垂直扩展文本输入区域的尺寸。
在一些实施方案中,在接收到第二用户输入之后(798),根据确定满足一个或多个第二标准,电子设备在多行文本输入区域的不同于第一行的第二行中显示与第二用户输入对应的基于字体的文本(798-2),诸如图6LL所示(例如,转换第二用户输入的手写输入并将经转换的文本输入到文本输入区域的第二行(例如,在先前手写文本行下方的行))中。在一些实施方案中,当第二用户输入包括在先前手写文本行下方的空间中的轻击,包括对创建新行的可选选项的选择,并且/或者包括在先前手写文本行下方阈值距离(例如,6个点、12个点、18个点、24个点等)处的手写输入时,满足该一个或多个第二标准。
在一些实施方案中,在接收到第二用户输入之后(798),根据确定满足一个或多个第二标准,根据确定不满足该一个或多个第二标准,电子设备在多行文本输入区域的第一行中显示与第二用户输入对应的基于字体的文本(798-4),诸如图6EE所示(例如,如果第二用户输入不反映在第二行中输入文本的输入,则将基于字体的文本输入到与先前手写文本行相同的行中)。例如,如果用户在先前行略微下方但在先前行下方不够远处继续手写输入,使得第二用户输入应被输入到先前行中(例如,看起来好像用户意图继续在先前行上书写),则经转换的文本将继续被输入到先前行中。
上述输入手写文本的方式(例如,通过在用户输入指示在第二行中输入文本的请求时将文本输入到支持多行文本的文本输入区域的第二行中)允许电子设备向用户提供输入多行文本的直观方法(例如,通过在满足用于手写输入的特定标准时在文本输入区域的第二行中输入文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过确定是否应创建新行并将文本输入到新行中,而无需用户执行附加用户输入或等待直到手写文本被转换之后来手动编辑基于字体的文本以在期望位置处插入换行符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当在用户输入下方超过阈值距离(例如,6个点、12个点、18个点、20个点、24个点等)处检测到第二用户输入时,满足该一个或多个第二标准,并且当在用户输入下方小于阈值距离处检测到第二用户输入时,不满足该一个或多个第二标准(798-6),诸如图6EE至图6FF所示(例如,如果第二用户输入在先前手写文本下方超过阈值距离处,则第二用户输入指示在第二行(例如,先前手写文本行下方)中插入文本的请求)。在一些实施方案中,如果第二用户输入在先前手写文本下方不超过阈值距离处,则第二用户输入指示继续在先前文本行中插入文本的请求。
上述输入多行手写文本的方式(例如,通过在接收到在先前文本行下方超过阈值距离处的用户输入时将文本输入到文本输入区域的第二行中,指示在第二行中输入文本的请求)允许电子设备向用户提供输入多行文本的直观方法(例如,通过接受在先前文本行下方的手写文本并将输入解释为将手写文本输入到先前文本行下方的行中的请求),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在先前文本行下方阈值距离处接收到手写文本时将文本输入到新行中,而无需用户执行附加用户输入或等待直到手写文本被转换之后来手动编辑基于字体的文本以在期望位置处插入换行符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当第二用户输入包括在多行文本输入区域中的第二行处检测到的触笔输入时,满足该一个或多个第二标准,并且当第二用户输入不包括在多行文本输入区域中的第二行处检测到的触笔输入时,不满足该一个或多个第二标准(798-8),诸如图6FF所示(例如,如果第二用户输入包括在先前文本行下方的位置处的轻击、长按压或高于特定力阈值的输入,则第二用户输入被解释为包括在先前文本行下方插入第二文本行的请求)。
上述输入多行手写文本的方式(例如,通过在第二行处接收到指示在第二行中输入文本的请求的轻击,并在文本输入区域的第二行中插入文本)允许电子设备向用户提供输入多行文本的直观方法(例如,通过接受在先前文本行下方的手势输入并将输入解释为将手写文本输入到先前文本行下方的行中的请求),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在先前文本行下方接收到轻击时将文本输入到新行中,而无需用户执行附加用户输入或等待直到手写文本被转换之后来手动编辑基于字体的文本以在期望位置处插入换行符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,用于移动到第二行的可选选项和与手写输入的表示的至少该部分对应的基于字体的文本同时显示,当已选择可选选项时满足该一个或多个第二标准,并且当未选择可选选项时不满足该一个或多个第二标准(798-10),诸如图6BB所示(例如,接收选择用于插入新的文本行的可选选项的用户输入)。在一些实施方案中,响应于接收到轻击输入或插入新的文本行的请求的其他指示,显示或以其他方式呈现可选选项。在一些实施方案中,响应于接收到选择用于插入新的文本行的可选选项的用户输入,将基于字体的文本插入先前文本行下方的新的文本行中。
上述输入多行手写文本的方式(例如,通过接收对用于在先前文本行下方插入新的文本行的可选选项的选择)允许电子设备向用户提供输入多行文本的简单方法(例如,通过提供可选择以将手写文本插入先前文本行下方的行中的可选选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过响应于接收到对可选选项的选择而提供可选选项以输入新的文本行并将文本输入到新行中,而无需用户在手写文本已被转换为基于字体的文本之后手动编辑基于字体的文本以在期望位置处插入换行符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,电子设备经由触敏显示器接收第二用户输入(798-12),诸如图6B所示。在一些实施方案中,响应于接收到第二用户输入(798-14),根据确定在用户界面的与相应文本输入区域对应的区域中检测到第二用户输入,电子设备基于第二用户输入在相应文本输入区域中执行手写输入操作(798-16),诸如图6C所示(例如,如果用户输入指向文本输入区域,则将用户输入解释为手写输入或以其他方式解释为在文本输入区域中输入文本的请求)。在一些实施方案中,响应于接收到指向文本输入区域的用户输入,然后接受输入作为手写输入。
在一些实施方案中,响应于接收到第二用户输入(798-14),根据确定在用户界面的不与文本输入区域对应的区域中检测到第二用户输入,电子设备基于第二用户输入在用户界面中执行滚动操作(798-18),诸如图6Y所示(例如,如果用户输入不指向文本输入区域,则不将用户输入解释为插入文本的请求)。例如,如果用户与不是文本输入区域的另一用户元素交互,则不执行手写转换过程。在一些实施方案中,例如,如果用户执行滚动或其他类型的导航手势,则根据用户输入来执行导航,而不是基于手写输入来插入基于字体的文本。
上述解释用户输入的方式(例如,通过在文本输入区域中接收到手写文本时将输入解释为手写文本,但在非文本输入区域中接收到手写文本时不将输入解释为手写文本)允许电子设备向用户提供输入文本的简单方法(例如,通过在输入不指示输入文本的请求时允许用户以非文本方法与设备交互,但是在输入指示输入文本的请求时还允许接受手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动确定用户是请求输入文本还是请求以其他方式与用户界面交互,而无需用户执行附加输入来切换到文本输入模式或与单独的用户界面交互或使用单独的设备输入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,手写输入的表示变幻为基于字体的文本的动画包括(798-20):根据确定文本输入区域还不包括基于字体的文本,以动画方式显示手写输入的表示(例如,直接地)变幻为位于文本输入区域中的最终位置处并且处于最终尺寸的基于字体的文本,该基于字体的文本将被显示处于该最终尺寸(798-22),诸如图6E所示(例如,如果文本输入区域不具有任何基于字体的文本(或手写输入指向的行不具有任何文本),则动画是手写文本同时将尺寸和形状改变为基于字体的文本并移动到基于字体的文本的最终位置(例如,在文本输入区域中左对齐)的动画。因此,在一些实施方案中,以一个步骤执行动画。在一些实施方案中,将手写输入变幻为基于字体的文本的动画与下文相对于方法2000所述的将手写输入转换为基于字体的文本类似或共享类似的特征。在一些实施方案中,如果文本输入区域具有基于字体的文本,则动画是手写文本将形状改变为基于字体的文本然后将尺寸改变为匹配预先存在的基于字体的文本的尺寸的动画。
上述将手写输入转换为文本的方式(例如,通过显示手写输入同时改变为基于字体的文本的最终尺寸并移动到最终位置的动画)允许电子设备向用户提供手写输入被转换为基于字体的文本的视觉提示(例如,通过以一个步骤显示手写输入变幻为基于字体的文本的动画),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供用户的手写输入正被处理、解释并转换为基于字体的文本的视觉指示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,手写输入的表示变幻为基于字体的文本的动画包括(798-24):根据确定文本输入区域还不包括基于字体的文本,基于手写输入的表示的尺寸以动画方式显示手写输入的表示变幻为处于中间尺寸的基于字体的文本,并且随后以动画方式显示处于中间尺寸的基于字体的文本变幻为位于文本输入区域中的最终位置处并且处于不同于中间尺寸的最终尺寸的基于字体的文本,该基于字体的文本将被显示处于该最终尺寸(798-26),诸如图6E所示(例如,如果文本输入区域不具有任何基于字体的文本(或手写输入指向的行不具有任何文本),则动画是手写文本首先将形状改变为基于字体的文本并将尺寸改变为介于最终尺寸与原始手写尺寸之间的尺寸(例如,并且任选地保持在与原始手写输入相同的位置中)的动画)。在一些实施方案中,在将形状改变为基于字体的文本之后,动画继续并且将文本改变为最终尺寸并将文本移动到基于字体的文本的最终位置(例如,在文本输入区域中左对齐)。因此,在一些实施方案中,以两个步骤执行动画。在一些实施方案中,将手写输入变幻为基于字体的文本的动画与下文相对于方法2000所述的将手写输入转换为基于字体的文本类似或共享类似的特征。例如,在一些实施方案中,执行与方法2000中所述的动画类似的第一动画,从而将手写输入转换为与手写输入具有相同尺寸的基于字体的文本,并且在第一动画之后,执行第二动画(例如,任选地与方法2000中所述的动画类似)将所得的基于字体的文本的尺寸变幻为基于字体的文本的最终尺寸(例如,从36字体尺寸到12字体尺寸、从24字体尺寸到12字体尺寸等)。
上述将手写输入转换为文本的方式(例如,通过显示手写输入首先转换为具有中间尺寸(介于最终尺寸和手写输入的尺寸之间)的基于字体的文本,然后从中间尺寸转换为最终尺寸同时移动到最终位置的动画)允许电子设备向用户提供手写输入被转换为基于字体的文本的视觉提示(例如,通过以两个步骤显示手写输入变幻为基于字体的文本的动画,以强调该过程既将手写输入转换为基于字体的文本又将基于字体的文本调整到适当的尺寸并将基于字体的文本移动到适当的位置),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效,而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,手写输入的表示变幻为基于字体的文本的动画包括(798-28):根据确定文本输入区域包括先前输入的基于字体的文本(例如,在手写输入被转换为基于字体的文本之前在文本输入区域中显示的基于字体的文本(例如,与手写输入对应的基于字体的文本将添加到文本输入区域中预先存在的基于字体的文本)),基于手写输入的表示的尺寸以动画方式显示手写输入的表示变幻为处于中间尺寸的基于字体的文本,并且随后以动画方式显示处于中间尺寸的基于字体的文本变幻为位于文本输入区域中的最终位置处并且处于不同于中间尺寸的最终尺寸的基于字体的文本,该基于字体的文本将被显示处于该最终尺寸,其中与手写输入对应的基于字体的文本的最终尺寸与先前输入的基于字体的文本的尺寸相同(798-30),诸如图6H所示(例如,如果文本输入区域具有预先存在的基于字体的文本(或手写输入指向的行具有预先存在的文本),则动画是手写文本首先将形状改变为基于字体的文本,并且将尺寸改变为介于预先存在的文本的尺寸与原始手写尺寸之间的尺寸(例如,并且任选地保持在与原始手写输入相同的位置)的动画)。在一些实施方案中,在将形状改变为基于字体的文本之后,动画继续并且将文本改变为最终尺寸(例如,与预先存在的文本相同的尺寸)并将文本移动到基于字体的文本的最终位置(例如,与预先存在的文本左对齐)。因此,在一些实施方案中,动画以两个步骤执行并且匹配预先存在的文本的字体格式。在一些实施方案中,将手写输入变幻为基于字体的文本的动画与下文相对于方法2000所述的将手写输入转换为基于字体的文本类似或共享类似的特征。例如,在一些实施方案中,执行与方法2000中所述的动画类似的第一动画,从而将手写输入转换为中间尺寸的基于字体的文本,并且在第一动画之后,执行第二动画(例如,任选地与方法2000中所述的动画类似)将所得的基于字体的文本的尺寸从中间尺寸变幻为基于字体的文本的最终尺寸(例如,从手写输入的有效36字体尺寸变幻为24字体尺寸的基于字体的文本,然后变幻为12字体尺寸)。
上述将手写输入转换为文本的方式(例如,通过显示手写输入首先转换为具有中间尺寸(介于最终尺寸和手写输入的尺寸之间)的基于字体的文本,然后从中间尺寸转换为与任何预先存在的文本相同的尺寸同时移动到最终位置(例如,与预先存在的文本对齐)的动画)允许电子设备向用户提供手写输入被转换为基于字体的文本的视觉提示(例如,通过以两个步骤显示手写输入变幻为基于字体的文本的动画,以强调该过程既将手写输入转换为基于字体的文本又将基于字体的文本调整到适当的尺寸并将基于字体的文本移动到适当的位置),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效,而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
应当理解,对图7A-图7I中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法900、1100、1300、1500、1600、1800、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图7A至图7I所述的方法700。例如,上文参考方法700所述的电子设备将手写输入转换为基于字体的文本的操作任选地具有以下特征中的一个或多个特征:选择和删除文本、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、控制手写输入的特征、呈现自动补全建议以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法900、1100、1300、1500、1600、1800、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图7A-图7I描述的操作任选地由图1A-图1B中所描绘的部件来实现。例如,显示操作702、706、710、712、714、716、718、738、740、744、746、748、750、752、754、756、758、760、774、776、778、790、798-2和798-4以及接收操作704、734、796和798-12任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
使用触笔选择和删除文本
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。在一些实施方案中,电子设备在文本字段或文本区域中显示文本。下文所述的实施方案提供了电子设备使用手写输入设备(例如,触笔)来选择和/或删除文本的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图8A至图8II示出了电子设备解释手写输入以选择或删除文本的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图9A至图9G描述的过程。
图8A示出了包括触摸屏504的示例性设备500。在图8A中,设备500正在显示对应于笔记应用程序的用户界面800。在一些实施方案中,用户界面800包括文本输入区域802,用户能够在其中输入多行文本。在一些实施方案中,文本输入区域802包括一个或多个预先存在的文本804。在一些实施方案中,预先存在的文本804先前作为手写输入被输入并被转换为基于字体的文本。在一些实施方案中,使用软键盘(例如,由用户或另一用户在该设备或另一设备上)输入了预先存在的文本804。
在图8B中,接收到来自触笔203的用户输入。在一些实施方案中,用户输入是触摸屏504上穿过预先存在的文本804的一部分的手势,如图8B所示。在一些实施方案中,响应于用户输入,在显示器上显示手写输入的迹线806。在一些实施方案中,迹线806是显示器上的与手写输入的位置处的手写用户输入对应的视觉指示。换句话讲,迹线806是用户的手写输入的表示。在一些实施方案中,如图8B所示,手写输入已水平地穿过字词“clock”中的字母“ck”。在一些实施方案中,迹线806提供用户已执行穿过字词“clock”的字母“ck”的水平手势的视觉指示。在图8C中,继续接收来自触笔203(例如,不抬离)划过整个字词“clock”的用户输入。在一些实施方案中,水平手势(例如,或基本上水平的手势)被认为是选择(例如,突出显示)预先存在的文本804的相应部分的请求。
在图8D中,手写用户输入终止(例如,触笔203已从触摸屏504抬离)。在一些实施方案中,响应于触笔203的抬离,选择对应于字词“clock”的预先存在的文本804。在一些实施方案中,选择字词包括突出显示字词(例如,如高亮部分808所指示)、显示一个或两个选择调整元素810-1和810-2和/或显示弹出菜单812。在一些实施方案中,选择调整元素810-1和810-2可选择以移动选择区域以包括更多或更少的字母或字词(例如,用户能够拖动选择调整元素810-1和810-2以笼括更多或更少的字母)。在一些实施方案中,弹出菜单812包括用于对突出显示的文本执行操作的一个或多个可选选项。在一些实施方案中,弹出菜单812包括:剪切所选择的文本的可选选项(例如,将所选择的文本复制到剪贴板中并同时删除所选择的文本)、复制文本的可选选项(例如,将所选择的文本复制到剪贴板中)、修改所选择的文本的字体的可选选项(例如,改变字体、尺寸、是否加粗、加下划线、斜体等)和/或共享所选择的文本的可选选项(例如,共享给另一用户和/或另一电子设备)。
图8E至图8H示出了用于基于手写输入来选择文本的另选的示例性实施方案。在图8E中,设备500正在显示对应于笔记应用程序的用户界面800。在一些实施方案中,用户界面800包括文本输入区域802,用户能够在其中输入多行文本。在一些实施方案中,文本输入区域802包括一个或多个预先存在的文本804。在一些实施方案中,预先存在的文本804先前作为手写输入被输入并被转换为基于字体的文本。在一些实施方案中,使用软键盘(例如,由用户或另一用户在该设备或另一设备上)输入了预先存在的文本804。
在图8F中,接收到来自触笔203的用户输入。在一些实施方案中,用户输入是触摸屏504上穿过预先存在的文本804的一部分的手势,如图8F所示。在一些实施方案中,响应于用户输入,在显示器上显示手写输入的迹线806。在一些实施方案中,迹线806是显示器上的与手写输入的位置处的手写用户输入对应的视觉指示。在一些实施方案中,如图8F所示,手写输入已穿过字词“clock”中的字母“ck”。在一些实施方案中,迹线806提供用户已执行穿过字词“clock”的字母“ck”的水平手势的视觉指示。在一些实施方案中,在将手写输入识别为选择手势之后,突出显示迄今为止已选择的字母,并且高亮部分“实时”更新(例如,与手写输入一起移动)。因此,如图8F所示,高亮部分808当前突出显示字母“ck”。
在图8G中,继续接收来自触笔203(例如,不抬离)划过整个字词“clock”的用户输入。在一些实施方案中,随着用户正在选择附加字母,高亮部分808更新以突出显示已由用户输入选择的附加字母(例如,现在突出显示整个字词“clock”)。
在一些实施方案中,如图8F至图8G所示,手写输入不需要是完全直线的或完全水平的以被解释为选择字母或字词的请求。在一些实施方案中,基本上直线的和/或基本上水平的手写输入被解释为选择字母或字词的请求。在一些实施方案中,穿过字母或字词的至少一部分并且不被解释为删除命令(如将在下文更详细地讨论)的任何手写输入被解释为选择字母或字词的请求。在一些实施方案中,除非手写输入被解释为另一命令(例如,删除),否则对字母或字词的选择作为默认功能执行。因此,在一些实施方案中,其为另一命令的置信度水平低于特定阈值(例如,其为另一命令的置信度水平低于80%、75%、50%)的任何手写输入被解释为选择命令。在一些实施方案中,在一个或多个字母或字词下划线被解释为选择字母或字词的请求。在一些实施方案中,环绕一个或多个字母或字词画圈被解释为选择字母或字词的请求。在一些实施方案中,轻击或双击(例如,利用触笔203)字词被解释为选择相应字词的请求。
在图8H中,手写用户输入终止(例如,触笔203已从触摸屏504抬离)。在一些实施方案中,响应于触笔203的抬离,选择对应于字词“clock”的预先存在的文本804。在一些实施方案中,选择字词包括突出显示字词(例如,如高亮部分808所指示)、显示一个或两个选择调整元素(类似于图8D中所讨论的那些选择调整元素)和/或显示弹出菜单812(类似于图8D中所讨论的弹出菜单812)。在一些实施方案中,手写输入的迹线806被拉直并与所指示字词的底部对齐。在一些实施方案中,手写输入的表示(例如,迹线806)“靠齐”以在正在选择的字词下划线。
图8I至图8N示出了用于基于手写输入来选择文本的另选的示例性实施方案。在图8N中,设备500正在显示对应于笔记应用程序的用户界面800(类似于图8E和图8A中所讨论的用户界面800)。
在图8J中,接收到来自触笔203的用户输入。在一些实施方案中,用户输入是触摸屏504上穿过预先存在的文本804的一部分的手势,如图8F所示。在一些实施方案中,响应于用户输入,在显示器上显示手写输入的迹线806。在一些实施方案中,迹线806是显示器上的与手写输入的位置处的手写用户输入对应的视觉指示。在一些实施方案中,如图8F所示,手写输入已水平地穿过字词“clock”中的字母“ck”。在一些实施方案中,迹线806提供用户已执行穿过字词“clock”的字母“ck”的水平手势的视觉指示。在图8K中,继续接收来自触笔203(例如,不抬离)划过整个字词“clock”的用户输入。
在图8L中,手写用户输入终止(例如,触笔203已从触摸屏504抬离)。在一些实施方案中,响应于触笔203的抬离,手写输入的迹线806被拉直并与所指示字词的底部对齐。在一些实施方案中,手写输入的表示(例如,迹线806)“靠齐”以在正被请求选择的字词下划线。在一些实施方案中,不发生实际选择并且不显示弹出菜单。
在图8M中,检测到选择手写输入806的拉直且靠齐的表示的用户输入(例如,通过触笔203或任选地通过手指或其他输入设备)。在一些实施方案中,响应于选择字词“clock”的下划线的用户输入,选择对应于字词“clock”的预先存在的文本804,如图8N所示。在一些实施方案中,选择字词包括突出显示字词(例如,如高亮部分808所指示)、显示一个或两个选择调整元素(类似于图8D中所讨论的那些选择调整元素)和/或显示弹出菜单812(类似于图8D中所讨论的弹出菜单812)。
图8O至图8R示出了基于手写输入来删除文本的示例性过程。在图8O中,设备500正在显示对应于笔记应用程序的用户界面800(类似于图8E和图8A中所讨论的用户界面800)。
在图8P中,接收到来自触笔203的用户输入。在一些实施方案中,用户输入是触摸屏504上穿过预先存在的文本804的一部分的手势,如图8P所示。在一些实施方案中,响应于用户输入,在显示器上显示手写输入的迹线814。在一些实施方案中,迹线814是显示器上的与手写输入的位置处的手写用户输入对应的视觉指示。在一些实施方案中,如图8P所示,手写输入垂直穿过字母“w”两次(例如,以上下手势)。在一些实施方案中,手写输入还包括用于指示划过整个字母“w”的运动的较小水平分量。
在图8Q中,手写输入继续划过字词“woke”。在一些实施方案中,当手写输入被识别为删除字词“woke”的请求时,则更新字词和迹线814以改变颜色和/或不透明度。例如,如图8Q所示,在一些实施方案中,字词和/或迹线变成灰色,指示设备500已将用户的手势识别为删除命令并且将被删除的字词是“woke”。在一些实施方案中,不改变将被删除的字词的视觉特征和/或迹线。在一些实施方案中,如果输入以垂直划过、擦除或涂画方式垂直穿过字词的一个或多个字母或每个字母,则将输入识别为删除命令。例如,如果手写输入垂直穿过字词阈值次数(例如,3次、4次、5次等),则其被认为是删除字词的请求。在一些实施方案中,如果快速相继(例如,0.25秒、0.5秒、1秒、3秒)接收到垂直移动的手写输入,则手势被认为是删除字词的请求。在一些实施方案中,如上所述,其为删除命令的置信度水平的任何手势将被解释为选择命令。
在图8R中,手写用户输入终止(例如,触笔203已从触摸屏504抬离)。在一些实施方案中,响应于触笔203的抬离,执行(例如,实施)删除命令,从而从预先存在的文本804中删除字词“woke”。在一些实施方案中,在从预先存在的文本804中删除字词“woke”的同时、之后或响应于从预先存在的文本804中删除字词“woke”,显示弹出窗口816以用于撤销删除命令。换句话讲,弹出窗口816包括可选选项(例如,或其自身为可选选项),可选择该可选选项以将所删除的字词(例如,“woke”)插回预先存在的文本804中其原始位置中,从而撤销删除命令。
图8S至图8W示出了取消删除操作的示例性方法。在图8S中,设备500正在显示对应于笔记应用程序的用户界面800(类似于图8E和图8A中所讨论的用户界面800)。
在图8T中,接收到来自触笔203的用户输入。在一些实施方案中,用户输入是触摸屏504上穿过预先存在的文本804的一部分的手势,如图8T所示。在一些实施方案中,响应于用户输入,在显示器上显示手写输入的迹线814。在一些实施方案中,迹线814是显示器上的与手写输入的位置处的手写用户输入对应的视觉指示。在一些实施方案中,如图8T所示,手写输入垂直穿过字母“w”两次(例如,以上下手势)。在一些实施方案中,手写输入还包括用于指示划过整个字母“w”的运动的较小水平分量。
在图8U中,手写输入继续划过字词“woke”。在一些实施方案中,当手写输入被识别为删除字词“woke”的请求时,则更新字词(例如“woke”)和迹线814以改变颜色和/或不透明度(例如,50%不透明度、75%不透明度等)。例如,如图8U所示,在一些实施方案中,字词和/或迹线变成灰色,指示设备500已将用户的手势识别为删除命令并且将被删除的字词是“woke”。
在图8V中,手写输入在触摸屏504上继续触压的同时移动远离预先存在的文本804。在一些实施方案中,如果手写输入移动远离已选择用于删除的字词(例如“woke”)阈值距离(例如3mm、5mm、1cm、3cm等),则附加手写输入(例如,移动远离字词“woke”)被认为是取消删除操作的请求。在一些实施方案中,如图8V所示,迹线814的视觉特征和已选择用于删除的字词返回到其原始状态(例如,从灰色返回到黑色)。在图8W中,检测到触笔203的抬离并且取消删除命令。因此,在一些实施方案中,未触及并且不删除字词“woke”,如图8W所示。
图8X至图8Z示出了利用选择部件和删除部件两者来解释手写输入的示例性过程。在图8W中,设备500正在显示对应于笔记应用程序的用户界面800(类似于图8E和图8A中所讨论的用户界面800)。在图8X中,接收到来自触笔203的选择预先存在的文本804的一部分的用户输入,如图8X所示。在图8Y中,用户继续手写输入(不抬离)并且开始执行与删除命令相关联的手势(例如,垂直划过字词)。在一些实施方案中,即使用户已经将手写输入转变为提供通常被解释为删除命令的手势,设备500也确定用户仍然意图执行选择命令。例如,在图8Z中,检测到触笔203的抬离,并且响应于该抬离,突出显示整个字词序列(例如,包括受到删除手势的字词)。因此,在一些实施方案中,如果用户开始执行特定命令,则即使手势转变为另一命令,设备也将提交该特定命令。在一些实施方案中,这同样适用于作为删除手势开始并转变为选择手势的手势(例如,系统将对与之交互的整个字词序列执行删除命令)。
图8AA至图8DD示出了利用选择部件和删除部件两者来解释手写输入的另一示例性过程。在图8AA中,设备500正在显示对应于笔记应用程序的用户界面800(类似于图8E和图8A中所讨论的用户界面800)。在图8BB中,接收到来自触笔203的选择预先存在的文本804的一部分(例如,“o’clock”)的用户输入,如图8BB所示。在图8CC中,用户继续手写输入(不抬离)并且开始执行与删除命令相关联的手势(例如,垂直划过字词“up at 6”)。在一些实施方案中,用户已经将手写输入转变为提供通常被解释为删除命令的手势,因此设备500确定用户现在意图对在其上接收到删除命令的字词执行删除命令。例如,在图8DD中,检测到触笔203的抬离,并且响应于该抬离,分别与受到选择手势和删除手势的部分对应地选择字词的一部分(例如,“o’clock”)和删除字词的一部分(例如,“up at 6”)。因此,在一些实施方案中,如果用户开始执行特定命令并转变为另一命令,则设备将对预先存在的文本的相应部分执行两个命令。在一些实施方案中,如图8DD所示,弹出窗口812包括撤销对预先存在的文本的已删除的部分的删除的附加可选选项。
图8EE至图8II示出了利用选择部件和删除部件两者来解释手写输入的另一示例性过程。在图8EE中,设备500正在显示对应于笔记应用程序的用户界面800(类似于图8E和图8A中所讨论的用户界面800)。在图8FF中,接收到来自触笔203的选择预先存在的文本804的一部分(例如,“o’clock”)的用户输入,如图8FF所示。在图8GG中,用户继续手写输入(不抬离)并且开始执行与删除命令相关联的手势(例如,垂直划过字词“up at 6”)。在一些实施方案中,用户已经将手写输入转变为提供通常被解释为删除命令的手势,因此设备500确定用户现在意图执行删除命令。在一些实施方案中,如果用户已经转变为删除命令,则在抬离时将删除对齐执行了选择手势和删除手势的整个字词序列。另选地,在一些实施方案中,在用户已转变为手写输入之后,系统不标记进行删除的整个字词序列,直到整个手写输入序列包括大部分删除手势而不是选择手势。例如,在图8HH中,用户继续手写输入(不抬离)并且在字词“I woke”上。因此,在一些实施方案中,手写输入已更多地执行删除手势而不是选择手势。在图8II中,检测到触笔203的抬离,并且响应于该抬离,删除整个字词序列(例如,包括受到选择手势的字词)。在一些实施方案中,如图8II所示,在从预先存在的文本804中删除字词序列的同时、之后或响应于从预先存在的文本804中删除字词序列,显示弹出窗口816以用于撤销删除命令。换句话讲,弹出窗口816包括可选选项(例如,或其自身为可选选项),可选择该可选选项以将所删除的字词插回预先存在的文本804中其原始位置中,从而撤销删除命令。
应当理解,可基于每个字母或基于每个字词来应用上述删除手势和选择手势。换句话讲,如果在字词的一个或多个字母上接收到手势,则在一些实施方案中,仅这些一个或多个字母受到相应选择或删除命令的约束。在一些实施方案中,如果在字词的一个或多个字母上接收到手势,则与该一个或多个字母相关联的整个字词受到相应选择或删除命令的约束。
图8JJ至图8MM示出了接收到手写输入并将当前所选择的字符替换为手写输入的实施方案。图8JJ示出了在文本输入区域802中具有预先存在的基于字体的文本804的用户界面800。在图8JJ中,接收到来自触笔203的穿过预先存在的文本804的一部分(例如,字词“woke”)的用户输入,诸如穿过“woke”的从右到左的笔触。在一些实施方案中,响应于用户输入(任选地用户输入的终止),选择对应于字词“woke”的预先存在的文本804,如图8KK所示(任选地根据上文相对于图8B至图8N所述的方法)。
在图8LL中,在选择字词“woke”时,接收到来自触笔203的在文本输入区域802中书写字词“go”的手写输入。在一些实施方案中,在接收到手写输入时,手写输入820的表示显示在文本输入区域802中。在一些实施方案中,(例如,至少部分地)接收到与所选择的字词重叠阈值量的手写输入。例如,在图8LL中,手写输入的50%与所选择的字词重叠。在一些实施方案中,在距所选择的字词阈值距离(例如,0.5英寸、1英寸、3英寸、5英寸等)内接收到手写输入。在一些实施方案中,在文本输入区域802中的任何位置处接收到手写输入,而不考虑距所选择的字词的距离或与所选择的字词的重叠量。
在一些实施方案中,响应于接收到手写输入(任选地响应于与手写输入对应的抬离(例如,触笔203的抬离),并且任选地在阈值时间量诸如0.5秒、1秒、3秒、5秒等之后)时,所选择的字词“woke”被替换为与手写输入对应的字符,如图8MM所示。在图8MM中,识别手写输入“got”并将其转换为基于字体的文本,然后替换字词“wake”(例如,在手写输入的原始位置处将“got”转换为基于字体的文本,然后移动到字词“woke”的位置)(任选地根据方法700、900、1300、1500、1600、1800和2000)。在一些实施方案中,识别手写输入“got”并在替换字词“woke”的同时转换手写输入“got”(例如,在替换字词“woke”的同时转换“got”,而无需在替换之前显示基于字体的版本“got”)。在一些实施方案中,预先存在的文本804的字词被重新布置为与新插入的字词具有适当的字符间距。因此,在一些实施方案中,当选择(例如,突出显示)一个或多个字符时,设备500能够接收书写一个或多个字符的手写输入并将所选择的字符替换为新书写的字符。在一些实施方案中,对于要被识别为替换所选择的字符的请求的手写输入,手写输入必须与所选择的字符重叠阈值量(例如,10%重叠、30%重叠、50%重叠、75%重叠等)。在一些实施方案中,对于要被识别为替换所选择的字符的请求的手写输入,手写输入必须在所选择的字符阈值距离(例如,0.5英寸、1英寸、3英寸、5英寸等)内。在一些实施方案中,手写输入被识别为替换所选择的字符的请求,而不考虑与所选择的字符的距离的重叠量(例如,只要当前选择了字符)。在一些实施方案中,只有在设备当前处于文本输入模式诸如手写输入被转换为如本公开中所述的基于字体的文本的模式(例如,而不是绘图模式)时,才替换所选择的字符。
图9A至图9G是示出解释手写输入以选择或删除文本的方法900的流程图。方法900任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法900中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法900提供了解释手写输入以选择或删除文本的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示用户界面,该用户界面包括具有一个或多个文本字符的第一可编辑文本串(902),诸如图8A所示(例如,已包括文本的可编辑文本字段)。在一些实施方案中,可编辑文本字段中的文本先前由用户输入或者在没有用户输入的情况下被预先填充。在一些实施方案中,可编辑文本字段中的预先存在的文本也是可编辑的(例如,文本可被删除、修改、移动、添加等)。
在一些实施方案中,在显示用户界面时,电子设备经由触敏显示器接收(904)用户输入,该用户输入包括与穿过第一可编辑文本串中的多个文本字符绘制的线对应的手写输入,诸如图8B所示(例如,在触敏显示器上接收到(例如,使用触笔、手指或其他书写设备)穿过文本的至少一部分的手写输入)。在一些实施方案中,输入纵向穿过文本串(例如,输入具有基本上仅水平的分量,使得输入从文本串的一部分的开头穿到文本串的该部分的结束,或反之亦然)。在一些实施方案中,输入横向穿过文本串(例如,输入具有基本上垂直的分量,使得输入从顶部到底部横穿文本,或反之亦然)。在一些实施方案中,输入具有水平分量和垂直分量的组合。在一些实施方案中,根据输入特征,系统不同地解释输入并执行不同动作。在一些实施方案中,穿过该多个文本字符绘制的线不一定是直的,并且任选地包括曲折、转弯、波浪等。
在一些实施方案中,响应于接收到用户输入(906),根据确定手写输入满足一个或多个第一标准,电子设备发起选择第一可编辑文本串的该多个文本字符的过程(908),诸如图8D所示(例如,如果线在纵向方向上划过或穿过可编辑文本(例如,在左/右方向上穿过文本),则输入被解释为选择输入)。在一些实施方案中,选择可编辑文本的相应部分包括突出显示文本的相应部分。在一些实施方案中,当(例如,响应于)突出显示可编辑文本的相应部分时,显示文本编辑菜单或弹出窗口。在一些实施方案中,第一可编辑文本的相应部分是手写输入穿过的部分。在一些实施方案中,第一可编辑文本的相应部分不包括第一可编辑文本的手写输入尚未穿过的其他部分。在一些实施方案中,如果手写输入包括纵向分量和横向分量两者,则仅选择文本的被包括纵向分量的手写输入穿过的部分。在一些实施方案中,如果手写输入以纵向分量开始并且随后包括横向分量,则选择所有文本(例如,甚至横向分量穿过的文本)。在一些实施方案中,如果手写输入包括纵向分量和横向分量两者,则基于哪个分量包括了输入的大部分来解释输入(例如,如果输入主要是纵向的,则将输入解释为选择输入,并且如果输入主要是横向的,则将输入解释为删除)。
在一些实施方案中,响应于接收到用户输入(906),根据确定手写输入满足不同于第一标准的一个或多个第二标准,电子设备发起删除第一可编辑文本串的该多个文本字符的过程(910),诸如图8R所示(例如,如果手写输入在横向方向上以之字形图案划过或穿过可编辑文本(例如,在上/下方向上波浪形地穿过文本),则输入被解释为删除输入)。在一些实施方案中,手写输入的图案建议了擦除、覆盖、取消或删除文本的请求。在一些实施方案中,从可编辑文本中删除可编辑文本的手写输入穿过的部分(并且任选地不删除文本的其他部分)。在一些实施方案中,需要阈值次数的横“穿”来将输入解释为删除(例如,好像用户正在划过可编辑文本的相应部分)。在一些实施方案中,如果手写输入不满足阈值次数的横“穿”,则手写输入既不被解释为删除输入也不被解释为选择输入(例如,忽略该输入,或者该输入引起在显示器上进行绘制而不另外引起执行选择或删除操作)。例如,如果手写输入不具有足够多的之字形图案或击穿图案的特征,则系统不将手写输入解释为突出显示文本的请求或删除文本的请求。
上述选择或删除文本的方式(例如,通过在可编辑文本上接收手写用户输入并基于输入的特征将手写用户输入解释为选择或删除)允许电子设备向用户提供编辑文本的能力(例如,通过接受手写输入并基于输入手势自动确定用户是意图选择文本还是删除文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户使用手写输入来选择或删除文本,而无需用户导航到单独的用户界面或菜单来激活选择功能或删除功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,发起选择第一可编辑文本串的该多个文本字符的过程包括在显示第一可编辑文本串中的该多个文本字符的同时显示与手写输入对应的线的表示(912),诸如图8K所示(例如,在接收到输入时,如果用户正在请求突出显示文本,则在显示器上接收到输入的位置处显示线输入的迹线)。在一些实施方案中,当用户“绘制”穿过该多个文本字符的线时,显示器显示正在接收到输入的位置处绘制线。在一些实施方案中,在用户从触摸屏抬离之后,在触摸屏上已绘制的线被转换为直线(例如,如果该线不是完全直的但仍被解释为突出显示请求,则该线靠齐成直线)。在一些实施方案中,直线与该多个文本字符的底部对齐(例如,类似于在该多个文本字符下划线)。
上述选择方式(例如,通过在用户正在输入用户输入时显示用户的输入)允许电子设备向用户提供关于用户正在请求选择哪些字符的反馈(例如,通过提供用户在何处以及与什么内容交互的视觉指示),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供关于正在识别哪些字符以进行选择或删除的反馈,而无需用户猜测或执行附加输入以校正选择或删除中的任何错误),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在显示第一可编辑文本串中的该多个文本字符的同时显示与手写输入对应的线的表示时,电子设备经由触敏显示器接收与对线的选择对应的输入(914),诸如图8M所示(例如,可选择与该多个文本字符的底部对齐的线以造成线的选择)。在一些实施方案中,在接收到选择该多个字符的输入之后,不突出显示该多个字符。相反,在一些实施方案中,向用户呈现可选选项(例如,下划线),可选择该可选选项以产生高亮部分。
在一些实施方案中,响应于接收到与对线的选择对应的输入,电子设备使得第一可编辑文本串中的该多个文本字符被选择用于进一步的动作(916),诸如图8N所示(例如,响应于用户选择线,突出显示该多个字符)。在一些实施方案中,向用户呈现一个或多个可选选项以对所选择的该多个文本字符执行动作。例如,动作包括复制(例如,将所选择的文本复制到剪贴板中)、剪切(例如,将所选择的文本复制到剪贴板中并删除所选择的文本)、粘贴(例如,将所选择的文本替换为来自剪贴板的内容)、删除所选择的文本以及格式化(例如,改变所选择的文本的格式,诸如改变字体、改变字体尺寸、加粗、斜体、下划线等)。在一些实施方案中,更多或更少的动作是可能的。
上述选择文本的方式(例如,通过显示在被选择来突出显示的该多个字符下划线的用户输入,并且在接收到用户对线的选择之后突出显示字词)允许电子设备向用户提供关于用户正在请求选择哪些字符的反馈(例如,通过提供哪些字符将被选择的视觉指示并向用户提供确认该选择的机会),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供确认哪些字符将被选择的机会或向用户提供退出选择模式的机会,而无需用户执行附加输入以校正选择中的错误或退出选择模式),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,发起选择第一可编辑文本串的该多个文本字符的过程包括选择第一可编辑文本串中的该多个文本字符,而不在显示该多个文本字符的同时显示与手写输入对应的线的表示(918),诸如图8D所示(例如,当用户正在执行穿过该多个文本字符的选择手势时,选择该多个文本字符)。在一些实施方案中,当用户正在选择时,选择“实时”发生。在一些实施方案中,未显示与用户的选择输入对应的线的迹线(例如,因为已经存在正在选择什么内容的视觉指示)。在一些实施方案中,显示线的迹线。
上述选择文本的方式(例如,通过在用户正在执行选择输入手势时选择该多个字符)允许电子设备向用户提供关于用户正在请求选择哪些字符的反馈(例如,通过提供哪些字符将被选择的视觉指示),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供查看在用户正在执行输入时发生的选择的机会,以确认正在选择预期字符,而无需用户执行附加输入以校正选择中的错误),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,发起删除第一可编辑文本串的该多个文本字符的过程包括当正在接收用户输入时,以视觉特征的第一值显示该多个文本字符,并且以视觉特征的不同于第一值的第二值显示第一可编辑文本串的其余部分(920),诸如图8Q所示(例如,当用户正在执行用于删除文本字符的手势时,更新迄今为止已选择进行删除的字符的视觉特征)。例如,迄今为止已选择进行删除的字符变成灰色。在一些实施方案中,迄今为止已选择进行删除的字符是半透明的(例如,75%透明度、50%透明度、25%透明度等)。
上述删除文本的方式(例如,通过改变用户迄今为止已选择进行删除的字符的视觉特征)允许电子设备向用户提供关于用户正在请求删除哪些字符的反馈(例如,通过提供哪些字符将被删除的视觉指示),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更有效(例如,通过向用户提供在用户正在执行输入时查看哪些字符将被删除的机会,以确认预期字符将被删除,而无需用户执行附加输入以校正删除中的错误),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在以视觉特征的第一值显示该多个文本字符并且以视觉特征的第二值显示第一可编辑文本串的其余部分时,电子设备检测用户输入的抬离(922),诸如图8R所示。在一些实施方案中,响应于检测到用户输入的抬离,电子设备停止显示该多个文本字符,同时保持显示第一可编辑文本串的其余部分(924),诸如图8R所示(例如,当用户从与触摸屏交互中抬离时,从文本字符串中删除已被标记进行删除的该多个文本字符)。例如,如果用户使用触笔执行删除手势,则当用户将触笔抬离触摸屏时实施(例如,执行)删除。
上述删除文本的方式(例如,通过在用户已从与触摸屏交互中抬离之后执行删除)允许电子设备向用户提供在执行删除之前确认要删除的文本的能力(例如,通过在用户执行删除手势时不删除文本,但允许用户在用户已抬离(这指示对删除的确认)之后验证要删除的文本并删除文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供在抬离之前查看哪些字符将被删除的机会,以确认预期字符将被删除,而无需用户执行附加输入以校正删除中的错误),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在检测到用户输入的抬离之前,电子设备在显示第一可编辑文本串的同时显示与手写输入对应的线的表示(926),诸如图8Q所示(例如,显示在文本字符上执行删除手势的用户输入的迹线)。在一些实施方案中,响应于检测到用户输入的抬离,电子设备停止(928)显示与手写输入对应的线,诸如在图8R所示(例如,当执行删除时(例如,当检测到抬离时),还移除用户输入的迹线(例如,删除手势的迹线)的显示)。
上述删除文本的方式(例如,通过在执行删除时移除手写输入的显示)允许电子设备清除已执行手势的显示(例如,通过在执行删除时或在执行删除之后移除删除手势的表示),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供已执行删除的多个视觉指示,包括移除残余手写手势),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在发起删除第一可编辑文本串的该多个文本字符的过程之后(930),根据确定手写输入从第一可编辑文本串的该多个文本字符延伸超过阈值距离(例如,0.5cm、1cm、2cm、5cm),电子设备取消删除第一可编辑文本串的该多个文本字符的过程(932),诸如图8V所示(例如,在用户已开始执行删除手势之后,接收到指示用户想要取消删除功能的另外的手写用户输入)。例如,如果用户将手写用户输入(例如,垂直地和/或水平地)拉离已被标记进行删除的文本,则系统任选地识别用户正在请求取消删除功能。在一些实施方案中,响应于接收到取消删除的请求,当用户抬离时不执行删除。在一些实施方案中,响应于接收到取消删除的请求,被标记进行删除的字符的颜色和/或不透明度分别恢复到其原始颜色和/或不透明度。在一些实施方案中,如果用户没有将手写输入延伸远离文本字符,则系统确定用户仍在请求删除文本字符(例如,用户没有在请求取消删除)并且继续删除过程。
上述取消文本删除的方式(例如,通过将使输入延伸远离文本字符特定阈值距离的用户手势解释为取消删除功能的请求)允许电子设备向用户提供取消删除文本的机会(例如,通过接受延伸远离已被标记进行删除的字符的输入作为取消删除过程的请求),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供取消删除功能的机会,而无需用户重新输入用户不打算删除的所有文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在接收到用户输入时,电子设备在显示第一可编辑文本串的同时以视觉特征的第一值显示与手写输入对应的线的表示(934),诸如图8P所示。在一些实施方案中,响应于接收到用户输入(936),根据确定手写输入满足该一个或多个第二标准,电子设备以视觉特征的不同于第一值的第二值显示与手写输入对应的线的表示(938),诸如在图8Q所示(例如,当手写输入被检测为删除请求时,手写输入的表示(例如,迹线)改变为指示系统已将手写输入确定为删除请求)。在一些实施方案中,手写输入的表示更新为具有与已被标记进行删除的文本相同的视觉特征。例如,表示更新为变成灰色。在一些实施方案中,表示更新为半透明的(例如,75%透明度、50%透明度、25%透明度等)。
上述删除文本的方式(例如,通过改变用户手写输入的表示的视觉特征)允许电子设备向用户提供用户输入已被正确解释为删除文本的请求的反馈(例如,通过提供用户的输入手势已被处理并解释为删除请求的视觉指示),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户的输入被识别并解释为删除请求时向用户提供反馈,并向用户提供手势与之重叠的字符将被删除的视觉反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,发起删除第一可编辑文本串的该多个文本字符的过程包括删除第一可编辑文本串的该多个文本字符(940),诸如图8R所示。在一些实施方案中,响应于删除第一可编辑文本串的该多个文本字符,电子设备在用户界面中显示可选选项,该可选选项用于撤销第一可编辑文本串的该多个文本字符的删除(942),诸如在图8R所示(例如,在执行该多个字符的删除之后,向用户提供具有可选择以撤销该多个字符的删除的可选选项的弹出窗口或对话框)。在一些实施方案中,弹出窗口或对话框显示在被删除的字符的位置处或附近。在一些实施方案中,响应于对用于撤销删除的可选选项的选择,重新显示该多个文本字符并将其插回其原始位置。
上述提供删除撤销功能的方式(例如,通过显示用于撤销删除的可选选项)允许电子设备向用户提供撤销删除的选项(例如,通过提供可选择以撤销删除的可选选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供撤销删除的选项,而无需用户手动重新输入被删除的所有文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,发起选择第一可编辑文本串的该多个文本字符的过程包括选择第一可编辑文本串的该多个文本字符(944),诸如图8D所示(例如,在视觉上突出显示已由用户标记为待选择的该多个文本字符)。在一些实施方案中,响应于选择第一可编辑文本串的该多个文本字符,电子设备在用户界面中显示一个或多个可选选项,该一个或多个可选选项用于执行相对于第一可编辑文本串的该多个文本字符的相应操作(946),诸如图8D所示(例如,提供或显示具有用于对所选择的文本执行一个或多个操作的一个或多个选项的弹出窗口或对话框)。例如,操作包括将所选择的文本复制到剪贴板中、剪切所选择的文本(例如,将所选择的文本复制到剪贴板中并同时删除文本)、将所选择的文本替换为剪贴板的内容(例如,粘贴)和/或改变所选择的文本的一种或多种字体特征(例如,尺寸、字体、加粗、斜体、下划线、删除线等)。
上述提供与所选择的文本相关的功能的方式(例如,通过显示具有对所选择的文本执行特定功能或执行关于所选择的文本的特定功能的可选选项的用户界面)允许电子设备向用户提供用于与所选择的文本交互的选项(例如,通过在选择所选择的文本之后,在所选择的文本上分别显示用于执行一个或多个功能的一个或多个可选选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户自动提供在所选择的文本上执行的功能,而无需用户执行附加输入或导航到单独的用户界面以执行相同的功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,选择第一可编辑文本串的该多个文本字符的过程包括在检测到用户输入的抬离之前选择第一可编辑文本串的该多个文本字符(948),诸如图8G所示(例如,在用户输入的抬离之前执行或实施对该多个文本字符的选择)。在一些实施方案中,在接收到手势时执行选择。在一些实施方案中,删除第一可编辑文本串的该多个文本字符的过程包括在检测到用户输入的抬离之后删除第一可编辑文本串的该多个文本字符(950),诸如图8R所示(例如,在检测到用户输入的抬离之后执行或实施该多个文本字符的删除)。
上述选择和删除文本的方式(例如,通过在检测到抬离之前执行选择功能,但在检测到抬离之后执行删除功能)允许电子设备在适当的时间执行选择或删除(例如,通过在接收到选择手势时执行选择,但在用户已有机会确认用户想要删除的文本之后执行删除,并在适当时取消删除),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供在执行删除之前确认删除的机会,但在用户正在执行选择手势时选择内容,因为选择比删除打扰更少),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在发起删除该多个文本字符的过程和选择该多个文本字符的过程的相应过程之后,并且在检测到用户输入的抬离之前,电子设备经由触敏显示器接收附加手写输入(952),诸如图8Y所示(例如,在接收到删除手势并将手势识别为删除之后,接收到另外的手写输入)。在一些实施方案中,另外的手写输入是删除更多字符的删除手势的延续。在一些实施方案中,另外的手写输入不是删除手势。在一些实施方案中,另外的手写输入是选择手势。
在一些实施方案中,响应于接收到附加手写输入,电子设备继续基于附加手写输入来执行相应过程,而与附加手写输入是满足该一个或多个第一标准还是该一个或多个第二标准无关(954),诸如图8Z所示(例如,尽管附加手写输入是选择手势或是任何其他手势,但将整个手写输入解释为删除命令)。在一些实施方案中,忽略用户已切换为不同类型的手势并且好像用户正在请求删除那样继续执行。在一些实施方案中,附加手写输入指向的文本也与由初始手写输入标记进行删除的文本一起被删除。在一些实施方案中,上述相同过程适用于当手写输入作为选择手势开始并且变为不同手势,诸如删除手势的情况(例如,尽管附加输入是删除手势,但继续执行选择)。
上述选择和删除文本的方式(例如,通过在手写输入作为选择或删除手势开始的情况下分别执行选择功能或删除功能)允许电子设备向用户提供对所执行的功能的确定性(例如,通过提交特定功能,而不管输入手势从初始手势如何演变),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户开始手势,然后即使另外的输入偏离初始手势,仍然接受另外的输入以执行初始功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在发起删除该多个文本字符的过程和选择该多个文本字符的过程的相应过程之后,并且在检测到用户输入的抬离之前,电子设备经由触敏显示器接收附加手写输入(956),诸如图8Y所示(例如,在接收到删除手势或选择手势并将手势分别识别为删除或选择之后,接收到另外的手写输入)。在一些实施方案中,另外的手写输入是相同手势的延续。在一些实施方案中,另外的手写输入是不同手势。例如,手写输入作为选择手势开始,然后变成删除手势,或者手写输入作为删除手势开始,然后变成选择手势。
在一些实施方案中,响应于接收到附加手写输入(958),根据确定附加手写输入满足一个或多个第一相应标准,电子设备基于手写输入和附加手写输入来执行选择过程(960),诸如图8Z所示(例如,在整个手写输入(例如,初始手写输入和附加手写输入两者)上执行选择功能)。在一些实施方案中,如果附加手写输入是特定阈值的选择手势(例如,穿过阈值数量的字符(例如,3个字符、5个字符、1个字词、2个字词等)或持续阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)),则满足第一标准。在一些实施方案中,如果附加手写输入使得整个手写输入(例如,初始手写输入和附加手写输入)的大部分是选择手势而不是删除手势(例如,附加手写输入使得整个手写输入的大部分是选择手势,或者附加手写输入使得手写的大部分不再是选择手势),则满足第一标准。
在一些实施方案中,响应于接收到附加手写输入(958),根据确定附加手写输入满足一个或多个第二相应标准,电子设备基于手写输入和附加手写输入来执行删除过程(962),诸如图8HH所示(例如,在整个手写输入(例如,初始手写输入和附加手写输入两者)上执行删除功能)。在一些实施方案中,如果附加手写输入是特定阈值的删除手势(例如,穿过阈值数量的字符(例如,3个字符、5个字符、1个字词、2个字词等)或持续阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)),则满足第二标准。在一些实施方案中,如果附加手写输入使得整个手写输入(例如,初始手写输入和附加手写输入)的大部分是删除手势而不是选择手势(例如,附加手写输入使得整个手写输入的大部分是删除手势,或者附加手写输入使得手写的大部分不再是删除手势),则满足第二标准。
上述选择和删除文本的方式(例如,通过在整个手写满足第一标准时执行选择功能,并且在整个手写输入满足第二标准时执行删除功能)允许电子设备向用户提供在运行中改变要执行的功能的能力(例如,通过在确定用户是正在请求执行删除还是选择选项时将手写输入作为整体进行解释),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户以特定手势开始并在用户改变其想法的情况下切换为另一手势,并且基于用户的手势执行用户正在请求的功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当手写输入沿第一可编辑文本串的方向击穿(strikethrough)第一可编辑文本串的该多个文本字符时,满足该一个或多个第一标准(964),诸如图8C所示(例如,如果手写输入击穿文本,则手写输入被解释为选择文本的请求)。在一些实施方案中,如果水平(或基本上水平的)手写输入穿过文本,则手写输入被解释为选择所穿过的文本的请求。
在一些实施方案中,当手写输入沿与第一可编辑文本串的方向垂直的方向划过(cross out)第一可编辑文本串的该多个文本字符时,满足该一个或多个第二标准(966),诸如图8Q所示(例如,如果手写输入以垂直于文本的方向的上下运动(包括穿过该多个字符和/或字词的较小横向运动)穿过文本,则手写输入被解释为删除文本的请求)。在一些实施方案中,如果满足第一标准,则不满足第二标准,反之亦然。在一些实施方案中,系统执行选择命令或删除命令,但不是两者。
上述选择和删除文本的方式(例如,通过在手写输入击穿多个文本字符的情况下执行选择功能,并且在手写输入垂直穿过该多个文本字符的情况下执行删除功能)允许电子设备向用户提供使用同一输入设备来选择或删除文本的能力(例如,通过基于由手写输入执行的手势将手写输入解释为选择或删除),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于手写输入的特征将手写输入解释为选择请求或删除请求,而无需用户导航到单独的用户界面以启用或禁用选择或删除功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当手写输入在第一可编辑文本串的该多个文本字符下划线时,满足该一个或多个第一标准(968),诸如图8G所示(例如,如果手写输入在文本下划线,则手写输入被解释为选择文本的请求)。在一些实施方案中,当手写输入划过第一可编辑文本串的该多个文本字符时,满足该一个或多个第二标准(970),诸如图8Q所示(例如,如果手写输入以垂直于文本的方向的上下运动(包括穿过该多个字符和/或字词的较小横向运动)穿过文本,则手写输入被解释为删除文本的请求)。在一些实施方案中,如果水平(或基本上水平的)手写输入经过文本下方,则手写输入被解释为选择带下划线文本的请求。在一些实施方案中,如果满足第一标准,则不满足第二标准,反之亦然。在一些实施方案中,系统执行选择命令或删除命令,但不是两者。
上述选择和删除文本的方式(例如,通过在手写输入在多个文本字符下划线的情况下执行选择功能,并且在手写输入垂直穿过该多个文本字符的情况下执行删除功能)允许电子设备向用户提供使用同一输入设备来选择或删除文本的能力(例如,通过基于由手写输入执行的手势将手写输入解释为选择或删除),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于手写输入的特征将手写输入解释为选择请求或删除请求,而无需用户导航到单独的用户界面以启用或禁用选择或删除功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,手写输入横贯第一可编辑文本串的该多个文本字符(972),诸如图8G所示(例如,手写输入正在与字符交互)。在一些实施方案中,手写输入经过或穿过一个或多个字词的一个或多个字母。在一些实施方案中,根据确定手写输入与划过该多个文本字符的输入对应的概率小于概率阈值,满足该一个或多个第一标准(974),诸如图8G所示(例如,如果手写输入的特征不满足被解释为删除文本的请求所需的标准,则手写输入被解释为选择文本的请求)。在一些实施方案中,系统偏向于将不确定姿势解释为选择输入而不是删除输入。在一些实施方案中,如果手写输入与字词的字母的子集交互,则选择整个字词。在一些实施方案中,如果手写输入与字词的字母的子集交互,则仅选择字母的子集。
在一些实施方案中,根据确定手写输入与划过该多个文本字符的输入对应的概率大于概率阈值(976),满足该一个或多个第二标准,诸如图8Q所示(例如,如果手写输入的特征被解释为与将手写文本解释为删除文本的请求所需的标准匹配达至少特定置信度或概率阈值(例如,75%、80%、90%的概率手势与删除文本的请求对应),则手写输入被解释为删除文本的请求)。在一些实施方案中,如果满足第一标准,则不满足第二标准,反之亦然。在一些实施方案中,系统执行选择命令或删除命令,但不是两者。
上述选择和删除文本的方式(例如,通过在手写输入以不满足删除标准的方式与多个文本字符交互的情况下执行选择功能,并且在手写输入以满足删除标准的方式与文本字符交互的情况下执行删除功能)允许电子设备向用户提供使用同一输入设备来选择或删除文本的能力(例如,通过除非手写输入是删除文本的请求的置信度高于特定阈值水平,否则将手写输入解释为选择),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过默认将手写输入解释为选择,而无需用户导航到单独的用户界面以启用或禁用选择或删除功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当手写输入包括在第一可编辑文本串的该多个文本字符上的双击时,满足该一个或多个第一标准(978),诸如图8G所示(例如,如果输入包括相应字词上的快速相继(例如,在0.2秒、0.5秒、0.7秒、1秒等内)的两次轻击输入,则手写输入被解释为选择文本的请求)。在一些实施方案中,双击字词使得选择整个字词(例如,而不是选择字词的仅特定字母)。
在一些实施方案中,当手写输入穿过第一可编辑文本串的该多个文本字符中的两个或更多个文本字符时,满足该一个或多个第二标准(980),诸如图8Q所示(例如,如果手写输入以垂直于文本的方向的上下运动(包括穿过该多个字符和/或字词的较小横向运动)穿过文本,则手写输入被解释为删除文本的请求)。在一些实施方案中,如果满足第一标准,则不满足第二标准,反之亦然。在一些实施方案中,系统执行选择命令或删除命令,但不是两者。
上述选择和删除文本的方式(例如,通过在手写输入在字词上双击的情况下执行选择功能,并且在手写输入垂直穿过该多个文本字符的情况下执行删除功能)允许电子设备向用户提供使用同一输入设备来选择或删除文本的能力(例如,通过基于由手写输入执行的手势将手写输入解释为选择或删除),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于手写输入的特征将手写输入解释为选择请求或删除请求,而无需用户导航到单独的用户界面以启用或禁用选择或删除功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当手写输入移动成包围第一可编辑文本串的该多个文本字符的至少一部分的闭合(或基本上闭合的)形状时,满足该一个或多个第一标准(982),诸如图8G所示(例如,如果输入包括环绕字词画圈的手势,则手写输入被解释为选择文本的请求)。在一些实施方案中,如果手势环绕仅字词的字母的子集画圈,则选择整个字词。在一些实施方案中,如果手势环绕仅字词的字母的子集画圈,则仅选择由环绕捕获的字母。
在一些实施方案中,当手写输入穿过第一可编辑文本串的该多个文本字符中的两个或更多个文本字符时,满足该一个或多个第二标准(984),诸如图8Q所示(例如,如果手写输入以垂直于文本的方向的上下运动(包括穿过该多个字符和/或字词的较小横向运动)穿过文本,则手写输入被解释为删除文本的请求)。在一些实施方案中,如果满足第一标准,则不满足第二标准,反之亦然。在一些实施方案中,系统执行选择命令或删除命令,并不是两者。
上述选择和删除文本的方式(例如,通过在手写输入环绕多个文本字符画圈的情况下执行选择功能,并且在手写输入垂直穿过该多个文本字符的情况下执行删除功能)允许电子设备向用户提供使用同一输入设备来选择或删除文本的能力(例如,通过基于由手写输入执行的手势将手写输入解释为选择或删除),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于手写输入的特征将手写输入解释为选择请求或删除请求,而无需用户导航到单独的用户界面以启用或禁用选择或删除功能),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在选择第一可编辑文本串中的该多个文本字符时(例如,在突出显示多个文本字符时),设备经由触敏显示器接收包括手写输入的用户输入(986),诸如图8LL所示(例如,在与第一可编辑文本串的该多个文本字符对应的位置处书写一个或多个手写字符的手写输入)。在一些实施方案中,手写输入至少部分地与第一可编辑文本串的该多个文本字符重叠(例如,10%重叠、20%重叠、50%重叠、75%重叠等),或者在第一可编辑文本串的该多个文本字符的阈值距离内(例如,在第一可编辑文本串的多个文本字符的0.25cm、0.5cm、1cm、3cm、5cm等内)。在一些实施方案中,手写输入不需要与第一可编辑文本串的该多个文本字符重叠。在一些实施方案中,手写输入不需要在第一可编辑文本串的该多个文本字符的阈值距离内。
在一些实施方案中,响应于接收到用户输入(988),设备将第一可编辑文本串中的该多个文本字符替换为与手写输入对应的相应可编辑文本(990),诸如图8MM中将字词“woke”替换为字词“got”(例如,删除第一可编辑文本串的该多个文本字符并将其替换为与手写输入对应的文本(例如,基于字体的文本))。
在一些实施方案中,手写输入被转换为基于字体的文本,如上文相对于方法700、1100、1300、1500、1600、1800和/或2000所述。在一些实施方案中,在接收到手写输入时,设备在将手写输入转换为基于字体的文本之前(例如,与第一可编辑文本串的相应部分同时)显示手写输入的表示,如上文相对于方法700、1100、1300、1500、1600、1800和/或2000所述。在一些实施方案中,在手写输入被转换为基于字体的文本的同时或之后,将第一可编辑文本串的相应部分替换为与手写输入对应的基于字体的文本。在一些实施方案中,选择(例如,突出显示)新插入的文本。在一些实施方案中,不选择(例如,不突出显示)新插入的文本。在一些实施方案中,重新定位紧接在替换文本左侧和右侧的字符以为新插入的文本提供空间(例如,提供相应字符量的空间)。在一些实施方案中,如果手写输入不指向与第一可编辑文本串的相应部分对应的位置(例如,不满足重叠和/或阈值距离标准),则电子设备不将可编辑文本串的相应部分替换为与手写输入对应的基于字体的文本—在此类实施方案中,电子设备任选地响应于诸如方法700、1100、1300、1500、1600、1800和/或2000中所述的手写输入(例如,在相应位置处插入手写输入并将其转换为基于字体的文本)。
上述替换文本的方式(例如,通过在所选择的文本处或附近接收手写用户输入)提供了使用手写输入替换文本的快速且高效的方式,从而简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户选择要替换的字符并且直接书写字符以将所选择的字符替换为新书写的字符,而无需用户执行附加输入以在插入新字符之前删除不期望的字符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
应当理解,对图9A至图9G中的操作进行描述的特定顺序仅仅是示例性的,并且并非旨在指示所述顺序是操作可以被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、1100、1300、1500、1600、1800、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图9A至图9G所述的方法900。例如,上文参考方法900所述的使用触笔选择和删除文本任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、控制手写输入的特征、呈现自动补全建议以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、1100、1300、1500、1600、1800、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图9A至图9G所述的操作任选地由图1A至图1B中所描绘的部件来实施。例如,显示操作902、926、934、938、942和946、接收操作904、914、952、956和986以及发起操作908、910任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
使用触笔插入文本
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。在一些实施方案中,电子设备在文本字段或文本区域中显示文本。下文所述的实施方案提供了电子设备使用手写输入设备(例如,触笔)将文本插入预先存在的文本中的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图10A至图10SSS示出了电子设备将手写输入插入预先存在的文本中的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图11A至图11M所述的过程。
图10A示出了包括触摸屏504的示例性设备500。在图10A中,设备500正在显示对应于笔记应用程序的用户界面1000。在一些实施方案中,用户界面1000包括文本输入区域1002,用户能够在其中输入多行文本。在一些实施方案中,文本输入区域1002包括一个或多个预先存在的文本1004。在一些实施方案中,预先存在的文本1004先前作为手写输入被输入并被转换为基于字体的文本。在一些实施方案中,使用软键盘(例如,由用户或另一用户在该设备或另一设备上)输入了预先存在的文本1004。
在图10B中,在触摸屏504上检测到来自触笔203的用户输入。在一些实施方案中,用户输入是触摸屏504上的轻击或长按压。在一些实施方案中,在预先存在的文本1004中的相应位置处接收到用户输入。在一些实施方案中,为了便于描述,预先存在的文本1004将被称为第一部分1004-1和第二部分1004-2,如图10B所示。因此,在一些实施方案中,在第一部分1004-1和第二部分1004-2之间的位置处检测到的用户输入与在文本的第一部分和第二部分之间插入文本的请求对应。
在一些实施方案中,响应于用户输入,在文本的第一部分和第二部分之间创建空间,如图10C所示。在一些实施方案中,第一部分1004-1向左移动,第二部分1004-2向右移动,或两者的组合。在一些实施方案中,在文本的第一部分和第二部分之间创建的空间向用户提供了使用触笔203输入手写文本的空间。
在图10D中,在文本的第一部分和第二部分(分别为1004-1和1004-2)之间创建的空间中接收到手写用户输入1006-1。在一些实施方案中,手写输入的迹线显示在显示器上,类似于上文相对于图6和图8所讨论的方法。在图10E中,检测到手写输入的抬离(例如,触笔203从触摸屏504的抬离)。在一些实施方案中,响应于触笔203的抬离或在触笔203的抬离之后,手写输入1006-1被转换为基于字体的文本(例如,根据相对于方法700和方法1300所讨论的转换过程),如图10F所示。在一些实施方案中,在手写输入1006-1已被转换为基于字体的文本之后或在转换为基于字体的文本的同时,通过移动文本的第一部分1004-1、文本的第二部分1004-2、经转换的手写输入1006-1或这些的任何组合来移除在文本的第一部分1004-1、文本的第二部分1004-2和经转换的手写输入1006-1之间的多余空间,以便移除多余空间。
在图10G中,接收到执行特殊保留手势、符号或字符的手写用户输入1010。例如,如图10G所示,手写用户输入1010对应于字符“v”或插入符号字符。在一些实施方案中,字符“v”或插入符号字符是预留的关键字字符,其指示创建空间以便在文本的多个部分之间插入文本的请求。因此,响应于接收到与特殊预留手势对应的手写用户输入1010,在文本的第一部分1008-1(例如,文本在关键字字符前面的部分)与文本的第二部分1008-2(例如,文本在关键字字符后面的部分)之间创建空间,如图10H所示。
在图10I中,在文本的第一部分1008-1与文本的第二部分1008-2之间的空间中接收到手写用户输入1006-2。在图10J中,用户在文本的第一部分1008-1与文本的第二部分1008-2之间的空间中继续手写用户输入1006-2。在一些实施方案中,当用户提供手写输入时,文本的第一部分和第二部分之间的空间继续扩展以继续为手写输入提供空间。因此,例如,如图10J所示,文本的第二部分1008-2向右移动甚至更远(例如,与图10I相比)。在图10K中,用户在文本的第一部分1008-1与文本的第二部分1008-2之间的空间中进一步继续手写用户输入1006。在一些实施方案中,文本的第二部分1008-2不能再进一步向右移动(例如,因为文本已到达用户界面的末尾或显示器的末尾)。在一些实施方案中,因此,文本的第二部分1008-2移动到文本的当前行下方的行,如图10K所示。在一些实施方案中,文本的第二部分1008-2在文本的第二行上左对齐。在一些实施方案中,文本的第二部分1008-2不左对齐,并且为第二行上的手写输入提供空间。在一些实施方案中,在创建新行之前,文本的第二部分1008-2向下移动并与文本的第二部分1008-2的原始或先前横向位置对齐。
在图10L中,在文本的第二行上文本的第二部分1008-2前面接收到手写用户输入1006-3。在一些实施方案中,如图10M至图10O所示,系统不缩小文本之间的多余空间。例如,在图10M中,检测到触笔203的抬离。在一些实施方案中,响应于检测到触笔203的抬离,定时器1001开始递增计数。在一些实施方案中,当定时器1001达到阈值时间(例如,0.5秒、1秒、2秒、3秒、5秒)时,则手写输入被转换为基于字体的文本,并且文本之间的多余空间被减小或消除。在图10N中,定时器继续递增计数,但尚未达到阈值时间(例如,如虚线所示),因此手写输入尚未被转换。在图10O中,达到阈值时间,并且手写输入1006-3被转换为基于字体的文本,并且文本之间的多余空间被减小或移除。在一些实施方案中,在多余空间被移除之前或同时,手写输入1006-3被转换。在一些实施方案中,在与计数消除或减小多余空间的时间不同的定时器(例如,任选地更长的定时器,诸如1秒、2秒、3秒、5秒、8秒)上计数转换手写输入1006-3的时间。因此,应当理解,在一些实施方案中,多余空间的移除与转换同时发生,并且在一些实施方案中,多余空间的移除发生在与转换不同的时间(例如,之前或之后)。
图10P至图10R示出了在预先存在的文本中插入用于接收手写输入的空间的示例性另选方法。在图10P中,在文本的第一部分1012-1和文本的第二部分1012-2之间的空间中接收到用户输入(例如,轻击、长按压等)。在一些实施方案中,响应于用户输入,显示弹出窗口1014,如图10Q所示。在一些实施方案中,弹出窗口1014包括与用于与预先存在的文本交互的一个或多个功能对应的一个或多个可选选项。在一些实施方案中,弹出窗口1014包括用于在文本的第一部分1012-1和文本的第二部分1012-2之间创建空间以用于插入文本的可选选项。在图10Q中,接收到来自触笔203的选择用于插入文本的可选选项的用户输入。在一些实施方案中,响应于用户输入,在文本的第一部分1012-1和文本的第二部分1012-2之间创建空间,如图10R所示。在一些实施方案中,如上所述,在文本的第一部分和第二部分之间创建空间包括向左移动文本的第一部分、向右移动文本的第二部分或两者的组合。
在图10S中,在文本的第一部分和第二部分之间创建的空间中接收到来自触笔203的执行预留关键字字符(例如,类似于上文相对于图10G所述的预留关键字字符“v”或插入符号字符)的用户输入。在一些实施方案中,响应于接收到用户输入,文本的第一部分和第二部分之间的空间进一步扩展以为用户输入提供甚至更多的空间,如图10T所示。在图10U中,在文本的第一部分1012-1和文本的第二部分1012-2之间的空间中接收到手写输入1006-4。
在图10V中,在手写输入1006-5下方的空间中接收到另外的手写输入1006-5。在一些实施方案中,手写输入1006-5被解释为插入新的文本行的请求。因此,在一些实施方案中,在当前文本行或先前手写输入(例如,1006-4)下方阈值距离(例如,1mm、3mm、5mm、1cm、2cm等)处接收到的手写输入1006-5被认为是插入新的文本行的请求。在一些实施方案中,响应于手写输入1006-5,插入新的文本行,如图10W所示。在一些实施方案中,插入新的文本行包括将文本的第二部分移动到当前文本行下方的行。在一些实施方案中,插入新的文本行包括将换行符字符插入当前文本行中或文本的第二部分1012-2的开头处。
在图10X中,用户继续提供手写输入1006-5。在一些实施方案中,如果手写输入1006-5到达行的末尾(例如,文本区域的末尾或用户界面的末尾),则文本的第二部分1012-2进一步移动到下一行以创建用于手写输入的空间。在一些实施方案中,如果手写输入1006-5到达或接近行的末尾,则弹出窗口1014显示为具有可选择以插入新的文本行的可选选项。在一些实施方案中,在检测到触笔203的抬离之后(例如,并且任选地在已经过特定时间阈值之后),手写输入被转换为基于字体的文本,如图10Y所示。在一些实施方案中,在手写输入已被转换为基于字体的文本的同时或之后,文本的第一部分和第二部分重新对齐,使得字词之间的多余空间被移除,如图10Y所示。
在图10Z中,检测到触笔203在触摸屏504上的触压。在一些实施方案中,触笔203的触压是触摸屏504上的轻击或长按压输入。在一些实施方案中,触笔203的触压是手写输入的开头。例如,如图10AA所示,用户开始在文本的第一部分1016-1和文本的第二部分1016-2之间的位置处执行手写输入1006-6。在一些实施方案中,响应于手写输入1006-6,在文本的第一部分1016-1和文本的第二部分1016-2之间创建空间,如图10AA所示。因此,在一些实施方案中,用户能够通过以下方式在预先存在的文本之间插入空间:在相应位置处触压,等待生成空间,然后开始手写输入而不抬离与触摸屏的接触;或者另选地,用户能够在相应位置处触压并且开始手写输入而不抬离(例如,触压是用户手写输入的开头)并且无需等待创建空间(例如,并且作为响应,将创建适当的空间)。
在图10BB中,在先前手写输入1006-6下方的行处接收到用户输入。在一些实施方案中,用户输入是轻击或长按压。在一些实施方案中,在先前手写输入1006-6下方阈值距离(例如,3mm、5mm、1cm、2cm)接收到的用户输入被认为是插入新的文本行的请求。在一些实施方案中,响应于用户输入,在手写输入1006-6后面插入新的文本行(例如,有效地将文本的第二部分1016-2推移到下一行),如图10CC所示。
在图10DD中,用户在先前文本行处继续手写输入1006-6。在一些实施方案中,当用户返回到先前行中的手写时,不移除插入的行(例如,换行符)。在图10EE中,在文本的第二部分1016-2的开头处检测到触笔203的轻击(例如,或长按压)。在一些实施方案中,响应于用户输入,显示弹出窗口1018,可选择该弹出窗口以移除在文本的第二部分1016-2之前插入的换行符。在一些实施方案中,如果用户在用户的手写输入1006-6结束时轻击(或长按压),则也显示弹出窗口1018。换句话讲,在换行符之前的最后字词的末尾处的轻击以及在换行符之后的第一字词的开头处的轻击任选地导致弹出窗口1018的显示,可选择该弹出窗口以移除换行符。在一些实施方案中,响应于接收到选择弹出窗口1018的用户输入,移除手写输入1006-6和文本的第二部分1016-2之间的换行符,如图10GG所示。
在图10HH中,显示弹出窗口1014以用于在手写输入1006-6和文本的第二部分1016-2之间插入新行(例如,换行符)。在一些实施方案中,响应于在手写输入1006-6和文本的第二部分1016-2之间的位置处的轻击或长按压输入,显示弹出窗口1014。在一些实施方案中,选择弹出窗口1014使得在相应位置处插入新行(例如,换行符),如图10II所示。
在图10II中,在文本的第二部分1016-2的开头处检测到触笔203的触压。在一些实施方案中,用户能够通过将文本的第二部分1016-2“拖动”回到先前文本行来移除插入的换行符。例如,如图10JJ所示,在不从触摸屏504抬离的情况下,用户输入向上拖动文本的第二部分1016-2跨行到先前文本行。在图10KK中,用户继续拖动手势,将文本的第二部分1016-2向上移动到先前文本行并超过文本的第二部分1016-2与手写输入1006-6对齐的点。在一些实施方案中,如图10LL所示,响应于检测到用户输入的抬离,文本的第二部分1016-2与手写输入1006-6“靠齐”(例如,对齐)。图10MM示出了手写输入1006-6被转换为基于字体的文本(例如,任选地根据方法700和/或方法1300)。
在图10MM中,检测到在预先存在的文本中触压(例如,轻击或长按压)的用户输入。在一些实施方案中,响应于用户输入,显示文本输入弹出窗口1022,如图10NN所示。在一些实施方案中,在将出现插入的文本的位置中出现光标1024(例如,在文本的第一部分1020-1和文本的第二部分1020-2之间的位置中出现光标)。在一些实施方案中,不显示光标。在一些实施方案中,文本输入弹出窗口1022包括文本输入区域。在一些实施方案中,文本输入区域能够接收手写输入,将手写输入转换为基于字体的文本,并且在光标的位置处插入基于字体的文本。
在图10OO中,在文本输入弹出窗口1022中接收到手写输入1006-8。在一些实施方案中,在文本输入弹出窗口1022中显示手写输入1006-8的迹线。在一些实施方案中,文本输入弹出窗口的文本输入区域共享与图6中所述的文本输入区域类似的特征(例如,误差边际、公差、在文本输入区域外开始或结束的字词的解释等)。在一些实施方案中,在用户已完成输入手写输入之后,将手写输入转换为基于字体的文本并插入在光标的位置处,如图10PP所示。在一些实施方案中,将手写输入转换为基于字体的文本,同时基于字体的文本仍然在文本输入弹出窗口1022中,然后将基于字体的文本移动到光标的位置。在一些实施方案中,将手写输入转换为基于字体的文本与插入同时发生(例如,从显示器中移除手写输入并且基于字体的文本出现在光标的位置处)。
在图10QQ中,在文本输入弹出窗口1022中接收到另外的手写输入1006-8。在一些实施方案中,在将手写输入1006-8转换为基于字体的文本并插入光标的位置中时,插入的文本溢出被插入了文本的当前行的其余部分。因此,在一些实施方案中,插入的文本的一部分在先前行中,同时插入的文本的另一部分在下一行中。在一些实施方案中,响应于插入跨越两行的文本,文本输入弹出窗口1022下方的用户界面向上滚动,以确保文本输入弹出窗口1022不阻挡插入的文本的任何部分并且/或者文本输入弹出窗口1022的位置不移动。在一些实施方案中,响应于插入跨越两行的文本,用户界面不移动,并且文本输入弹出窗口1022向下移动以确保其不阻挡插入的文本。
在图10SS中,检测到选择用于消除(例如,关闭)文本输入弹出窗口1022的可选选项的用户输入。在一些实施方案中,响应于用户输入,解除并且不再显示文本输入弹出窗口1022,如图10TT所示。在一些实施方案中,还被从显示器中移除光标1024。
图10UU至图10AAA示出了基于手写输入的位置来加速将手写输入转换为文本的过程。在图10UU中,接收到执行手写输入1006-9的用户输入。在一些实施方案中,手写输入1006-9较大并且笼括几个文本行。在图10VV中,用户继续书写并输入手写输入1006-10。在一些实施方案中,因为用户达到触摸屏504上的阈值位置或用户界面中的位置(例如,一半、3/4、2/3等),所以系统开始更快地将手写输入转换为基于字体的文本(例如,减小控制将手写输入转换为基于字体的文本的定时的定时器)。在一些实施方案中,更快地将手写输入转换为基于字体的文本允许在行的开头(例如,如果手写输入笼括几个文本行并且基于字体的文本仅笼括一个文本行)和行的末尾(例如,通过将基于字体的文本与预先存在的文本对齐,同时将文本的尺寸从原始手写尺寸减小到基于字体的文本尺寸,从而在显示器上提供附加空间)处为用户释放空间。
例如,如图10WW所示,手写输入1006-9任选地已被转换为基于字体的文本,这释放了显示器左侧的空间以用于另外的手写输入。在图10WW中,用户书写手写输入1006-11。在图10XX中,用户开始在已通过将手写输入1006-9转换为基于字体的文本而释放的位置中进行书写。在一些实施方案中,手写输入1006-10也已被转换为基于字体的文本。在图10YY中,手写输入1006-11已被转换为基于字体的文本并与先前输入的文本对齐。在一些实施方案中,用户书写手写输入1006-13。在图10YY中,因为用户尚未书写超过用户界面中的阈值位置(例如,一半、3/4、2/3等),所以系统不以加快的速度转换手写输入1006-12(例如,系统将默认定时器用于转换手写输入1006-12,而不减少转换之前所需经过的时间)。在图10ZZ中,用户抬离触笔203以免接触触摸屏504。在一些实施方案中,响应于用户抬离触笔203(例如,任选地在阈值时间量之后),手写输入1006-12和手写输入1006-13被转换为基于字体的文本,如图10AAA所示。在一些实施方案中,经转换的基于字体的文本全部对齐以生成连续句子。
图10BBB至图10III示出了在两个字符之间创建空间的实施方案。在图10BBB中示出了用户界面1000,其中文本输入区域1002包括一个或多个预先存在的文本字符1004。在一些实施方案中,为了便于描述,预先存在的文本1004将被称为第一部分1004-1和第二部分1004-2,如图10CCC所示。在图10CCC中,检测到来自触笔203在第一部分1004-1和第二部分1004-2之间的空间中触压的用户输入。在图10DDD中,与触摸屏504的接触保持小于阈值时间量,并且在第一部分1004-1和第二部分1004-2之间不创建空间。在图10EEE中,响应于用户与触摸屏504保持接触阈值时间量(例如,0.25秒、0.5秒、1秒、3秒、5秒等),在第一部分1004-1和第二部分1004-2之间创建空间以向用户提供插入字符的附加空间。在图10FFF中,检测到用户输入的终止(例如,与触摸屏504的接触的抬离)。在一些实施方案中,响应于检测到用户输入的终止,保持第一部分1004-1和第二部分1004-2之间的空间。在一些实施方案中,在空间塌缩到用户输入之前的间距之前(例如,如图10BBB所示),空间保持阈值时间量(例如,0.25秒、0.5秒、1秒、3秒、5秒、10秒等)。应当理解,上述在两个字符之间创建空间的方法适用于基于字体的文本和手写文本(例如,尚未转换为基于字体的文本的文本或使用绘图工具插入并且不会转换为基于字体的文本但仍然被识别为有效文本的文本)两者。
在图10GGG中,在文本输入区域1002中接收到来自触笔203在第一部分1004-1和第二部分1004-2之间创建的空间中书写字词“all”的用户输入。在一些实施方案中,当正在接收用户输入时,在用户输入的位置处显示手写输入1006-1的表示。在图10HHH中,检测到用户输入的终止(例如,与触摸屏504的接触的抬离)。在一些实施方案中,响应于检测到用户输入的终止,分析手写输入1006-1的表示,检测有效字符并将其转换为基于字体的文本,如图10III所示。在一些实施方案中,相对于方法700、900、1300、1500、1600、1800和2000来描述手写字符的检测以及将手写字符转换为基于字体的文本。在一些实施方案中,在将手写输入转换为基于字体的文本之后(例如,任选地,在未接收到输入的阈值时间量之后,诸如1秒、3秒、5秒、10秒等)或响应于将手写输入转换为基于字体的文本,未被新插入的字符占用的任何附加空间塌缩,并且字符和字词之间的间距恢复到其原始设置,诸如图10III中所示。因此,在一些实施方案中,设备500将手写输入识别为有效字符并将字符作为基于字体的文本插入(例如,将手写输入转换为基于字体的文本并将基于字体的文本插入)到文本的相应行和/或句子中。
图10JJJ至图10MMM示出了在两个字符之间创建和移除空间的实施方案。在图10JJJ中,接收到来自触笔203的与预先存在的文本1004中的字词“nowhere”中的字符“no”和“where”之间的向下轻扫手势对应的手写输入。在一些实施方案中,在接收到手写输入时,向下轻扫1030的表示显示在文本输入区域1002中。在一些实施方案中,向下轻扫1030的表示不显示在文本输入区域1002中。在一些实施方案中,响应于手写输入,在字词“nowhere”中的字符“no”和“where”之间插入空白字符(例如,单个空格),如图10KKK所示。在一些实施方案中,插入多个空白字符。
在图10LLL中,接收到来自触笔203的与“no”和“where”之间的空白字符上的向下轻扫手势对应的手写输入。在一些实施方案中,在接收到手写输入时,向下轻扫1030的表示显示在文本输入区域1002中。在一些实施方案中,向下轻扫1030的表示不显示在文本输入区域1002中。在一些实施方案中,响应于手写输入,移除“no”和“where”之间的空白字符(例如,得到字词“nowhere”),如图10MMM所示。在一些实施方案中,无论两个非空白字符之间的空白字符数量如何(例如,如果存在多个空白字符),设备500都仅移除一个空白字符。在一些实施方案中,设备500移除两个非空白字符之间的所有空白字符(例如,如果存在多个空白字符)。因此,在一些实施方案中,在两个相邻非空白字符之间的位置处的向下轻扫手势引起空白字符的插入,而在空白字符的位置处的向下轻扫手势引起空白字符的删除。在一些实施方案中,向上轻扫手势也执行上述插入/删除功能。在一些实施方案中,向下和/或向上轻扫手势无需是完全垂直的。例如,偏离垂直5度、偏离垂直10度、偏离垂直15度、偏离垂直30度等的向下或向上轻扫手势可被识别为插入或删除空白字符的请求(视情况而定)。应当理解,上述在两个字符之间添加和移除空白字符的方法适用于基于字体的文本和手写文本(例如,尚未转换为基于字体的文本的文本或使用绘图工具插入并且不会转换为基于字体的文本但仍然被识别为有效文本的文本)两者。
图10NNN至图10SSS示出了文本插入指示符的显示。在图10NNN中,检测到来自触笔203在文本输入区域1002中的文本的第一部分1004-1和第二部分1004-2之间的空间中触压的用户输入(例如,类似于图10DDD)。在图10OOO中,保持接触阈值时间量(例如,0.25秒、0.5秒、1秒、3秒、5秒等)。在一些实施方案中,响应于接触保持阈值时间量,在第一部分1004-1和第二部分1004-2之间创建空间以向用户提供插入字符的附加空间,并且在插入的空间的位置处显示文本插入指示器1032,如图10OOO所示。如图10OOO所示,在第一部分1004-1和第二部分1004-2之间显示文本插入指示符1032,表示被插入以供用户提供附加手写输入的空间。在一些实施方案中,文本插入指示符1032的高度高于基于字体的文本的高度,以为手写输入提供足够的高度。在一些实施方案中,文本插入指示符1032的高度是基于字体的文本的高度(例如,预先存在的文本字符1004的高度)。如图10OOO所示,在插入的空间的位置处文本插入指示符1032是灰色矩形或灰色高亮部分。
在一些实施方案中,显示文本插入指示符1032包括显示文本插入指示符1032从初始宽度(例如,0.5个字符宽度、1个字符宽度、2个字符宽度等)扩展到插入的空间的最终宽度的动画结合第一部分1004-1向左移动和/或第二部分1004-2向右移动的动画。例如,在图10OOO中,当第二部分1004-2向右移动以开始在第一部分1004-1和第二部分1004-2之间创建空间时,以窄宽度显示文本插入指示符1032。
在图10PPP中,文本插入指示器1032的动画继续,并且文本插入指示器1032进一步扩展以达到其最终宽度(例如,插入的空间的宽度)。在一些实施方案中,第二部分1004-2进一步向右移动以容纳插入的空间的整个宽度。
在图10QQQ中,检测到用户输入的终止(例如,与触摸屏504的接触的抬离)。在一些实施方案中,响应于检测到用户输入的终止,保持第一部分1004-1和第二部分1004-2之间的空间,并且保持文本插入指示符1032的显示。在图10RRR中,在插入的空间中(例如,在文本插入指示符1032的位置处)接收到手写输入。在一些实施方案中,当正在接收用户输入时,在用户输入的位置处显示手写输入1006-1的表示(例如,在文本插入指示符1032内或其上)。在图10RRR中,手写输入到达文本插入指示符1032的末尾(例如,到达插入的空间的末尾,到达文本插入指示符1032的末尾的0.5mm、1mm、3mm、5mm、1cm、3cm等内)。在一些实施方案中,响应于手写输入到达文本插入指示符1032的末尾,在第一部分1004-1和第二部分1004-2之间插入附加空间,并且文本插入指示符1032扩展以包括附加空间的宽度,如图10SSS所示。在一些实施方案中,第二部分1004-2(或第二部分1004-2的一部分)由于被手写输入移位而被移动到第一部分1004-1下方的第二行。
在一些实施方案中,在手写输入终止时并且任选地在阈值时间量之后,手写输入1006-1的表示被转换为基于字体的文本(例如,诸如上文在图10III中所述)。在一些实施方案中,在阈值时间量之后,字符之间的间距塌缩以移除附加手写输入未消耗的附加空间(例如,诸如上文在图10III中所述)。在一些实施方案中,在移除附加空间的同时,停止显示文本插入指示符1032(例如,不再显示在用户界面1000中)。
应当理解,尽管上述示例描述和示出了在两个字词之间插入文本,但是基于上述示例性方法在同一字词中的两个字符之间插入文本或者在任何两个字符之间插入文本也是可能的。
图11A至图11M是示出将手写输入插入预先存在的文本中的方法1100的流程图。方法1100任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法1100中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1100提供了将手写输入插入预先存在的文本中的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示包括第一字符序列的文本输入用户界面,该第一字符序列包括第一字符序列的第一部分和第一字符序列的第二部分(1102),诸如图10A所示(例如,在文本输入用户界面上显示的是包括字符序列(例如,文本串)的可编辑文本字段)。在一些实施方案中,可编辑文本字段中的字符序列先前由用户输入或者在没有用户输入的情况下被预先填充。在一些实施方案中,可编辑文本字段中的预先存在的字符也是可编辑的(例如,字符能够被删除、修改、移动、添加等)。在一些实施方案中,预先存在的文本是计算机文本(例如,基于字体的文本)。在一些实施方案中,预先存在的文本是手写字词(例如,尚未转换为基于字体的文本的手写输入)。
在一些实施方案中,在显示文本输入用户界面时,电子设备经由触敏显示器接收在文本输入用户界面中在第一字符序列的第一部分和第一字符序列的第二部分之间的用户输入(1104),诸如图10B所示(例如,来自触笔的在第一文本串中两个字词、两个字符等之间的输入)。在一些实施方案中,输入是轻击输入、长按压输入、压力高于特定阈值的输入、手势或手写输入。
在一些实施方案中,响应于接收到用户输入(1106),根据确定用户输入与使用手写输入在第一字符序列的第一部分和第一字符序列的第二部分之间输入相应基于字体的文本的请求对应(例如,利用触笔在文本串中的两个字词或字符之间进行的轻击输入任选地分别指示在两个字词或字符之间输入文本的请求),电子设备通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面,其中第一部分和第二部分之间的空间被配置为接收用于在第一字符序列的第一部分和第二部分之间插入相应基于字体的文本的手写输入(1108),诸如图10C所示(例如,将文本的第一部分和第二部分推开以创建用户可在其中输入手写输入的空间)。
在一些实施方案中,触笔在两个字符之间的触压和达阈值时间量(例如,0.5秒、1秒、3秒、5秒)的持续接触指示在两个字符之间输入文本的请求。在一些实施方案中,具有特定图案的输入指示在两个字符之间输入文本的请求(例如,关键字手势或关键字字符,诸如插入符号)。在一些实施方案中,利用触笔开始在两个字符之间手写输入(例如,用户直接开始书写)指示在两个字词之间输入文本的请求。在一些实施方案中,响应于在第一文本串的第一部分和第二部分之间输入文本的请求,系统进入文本插入模式。在一些实施方案中,如果用户输入不与输入基于字体的文本的请求对应,则将输入解释为命令或其他非文本输入手势。例如,如果用户输入任选地是滚动或导航通过用户界面的请求(例如,垂直或水平手势)、选择输入(例如,穿过一个或多个字符的水平手势)或删除输入(例如,垂直划过手势)。
在一些实施方案中,文本的第一部分向左移动,并且文本的第二部分保持静止。在一些实施方案中,文本的第一部分向左移动,并且文本的第二部分向右移动。在一些实施方案中,文本的第一部分保持静止,并且文本的第二部分向右移动以创建空间。在一些实施方案中,如果用户在阈值时间量(例如,1秒、2秒、5秒、10秒)之后尚未在所创建的空间中输入手写输入,则文本的第一部分和第二部分移动回到一起以形成连续文本串(例如,回到其原始状态)。在一些实施方案中,当用户将手写输入输入到空间中时,空间的长度将增加(例如,通过继续将预先存在的文本串的第一部分和/或第二部分推开),以连续地向用户提供继续输入手写输入的空间。在一些实施方案中,在用户已停止输入手写输入阈值时间量(例如,1秒、2秒、5秒、10秒)之后,文本的第一部分和第二部分将移动以移除新输入的文本与预先存在的文本之间的任何多余空间(例如,所创建的多余空间将塌缩)。在一些实施方案中,文本的第二部分向下(例如,而不是向右)移动,使得创建新行(例如,响应于用户到达显示器或文本字段的末尾或者响应于与插入新行的请求对应的用户输入)以提供更多空间以供用户输入手写输入。在一些实施方案中,当用户输入手写输入时,手写输入被转换为计算机文本(例如,如参考方法700所述)。在一些实施方案中,在移除多余空间时(例如,在文本插入模式终止时),手写输入被转换。
上述插入文本的方式(例如,通过接收与在预先存在的文本之间插入文本的请求对应的用户输入,并且移动预先存在的文本以创建空间以供用户执行手写输入)允许电子设备向用户提供入在预先存在的文本之间插入手写输入的能力(例如,通过确定用户是否请求在预先存在的文本之间插入文本并自动移动预先存在的文本以创建空间以供用户插入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户容易地在字词之间插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本并在完成文本插入之后移除空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面之后,电子设备经由触敏显示器在第一字符序列的第一部分和第二部分之间的空间中接收手写输入(1110),诸如图10D所示(例如,在被创建用于输入手写文本的空间中接收手写输入)。在一些实施方案中,手写输入是用于创建更多空间的另外的手势或命令。在一些实施方案中,手写输入是要转换为基于字体的文本的文本。
在一些实施方案中,在接收到手写输入之后,电子设备将手写输入转换为第一字符序列的第一部分和第二部分之间的基于字体的文本(1112),诸如图10F所示(例如,解释和识别手写输入并将其转换为基于字体的文本并将基于字体的文本输入到字符的两个部分之间的空间中)。在一些实施方案中,在手写输入被转换之后,移除字符的第一部分、字符的第二部分与新的基于字体的文本之间的任何剩余空间(例如,文本被退格“合拢”)。
上述插入文本的方式(例如,通过在创建的空间中接收手写输入并将手写输入转换为基于字体的文本并在序列的第一部分和第二部分之间插入基于字体的文本)允许电子设备向用户提供入在预先存在的文本之间插入手写输入的能力(例如,通过在字符的两个部分之间创建的空间中接收手写文本并将从手写文本转换为的基于字体的文本插入该空间中),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户容易地在字词之间插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本并在完成文本插入之后移除空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在检测到第一字符序列的第一部分和第二部分之间的用户输入之后而未检测到从触敏显示器的抬离的情况下,检测手写输入(1114),诸如图10AA所示(例如,直接书写到字符序列的第一部分和第二部分之间的位置中的用户手写输入本身被认为是在第一部分和第二部分之间插入文本的请求)。在一些实施方案中,用户能够开始书写文本,并且系统将自动确定用户正在请求插入文本,并且为用户创建继续输入文本所需的空间。在一些实施方案中,在轻击并保持输入之后没有抬离的情况下开始手写输入。在一些实施方案中,用户在屏幕上触压,等待创建空间,然后在不从触敏显示器抬离的情况下开始书写到空间中。因此,在一些实施方案中,在未检测到从使得空间被创建的输入抬离的情况下,检测正在书写字母和/或字词的手写输入。
上述插入文本的方式(例如,通过在未检测到输入的抬离的情况下接收手写输入)允许电子设备向用户提供在预先存在的文本之间创建空间之后开始接受手写输入的能力(例如,通过接受在字符的两个部分之间创建的空间中的手写文本,而无需或以其他方式检测手写输入的抬离),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户在空间已被创建之后开始手写输入而不从屏幕抬离),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当用户输入包括触笔在触敏显示器上第一字符序列的第一部分和第二部分之间的触压时,用户输入与使用手写输入在第一字符序列的第一部分和第二部分之间输入相应文本的请求对应,并且响应于在检测到来自触笔的另外的输入之前检测到触笔的触压,发生通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面(1116),诸如图10C所示(例如,当触笔初始在触摸屏上触压时,系统进入文本插入模式并且将文本的部分移动分开以创建空间)。在一些实施方案中,触笔在触摸屏上触压并且开始书写要插入的字符,而不抬离或以其他方式等待创建空间(例如,用户开始书写被认为是插入文本的请求)。
上述插入文本的方式(例如,通过在检测到触摸屏上的触压时开始插入文本的过程)允许电子设备向用户提供开始插入手写文本的能力(例如,通过用户一在屏幕上触压就创建空间,从而允许用户开始在创建的空间中书写),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户通过仅触压期望位置而容易地插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,触笔的触压位于第一字符序列的两个字词之间(1118),诸如图10B所示(例如,不在第一字符序列中的一个字词的中间)。在一些实施方案中,系统将字词推开以创建用于插入字词或字母的空间。在一些实施方案中,当字词移动回到一起时,系统自动在插入的文本的每一侧插入空格。在一些实施方案中,系统不自动在插入侧的每一侧插入空格,并且基于插入的文本的确切位置来保留插入的文本的一侧的空格。
上述插入文本的方式(例如,通过接收在两个字词之间插入文本的请求)允许电子设备向用户提供入在预先存在的文本之间插入手写输入的能力(例如,通过接收在两个字词之间的触压并且允许在两个字词之间插入文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户容易地在字词之间插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本并在文本插入完成之后移除空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当用户输入包括触笔在触敏显示器上长于时间阈值(例如,1秒、2秒、3秒、5秒)的触压时,用户输入与使用手写输入在第一字符序列的第一部分和第二部分之间输入相应文本的请求对应。在一些实施方案中,与插入文本的请求对应的输入是触笔在触摸屏上的长触压),并且响应于检测到触笔在触敏显示器上长于时间阈值的触压,发生通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面(1120),诸如图10B和图10CCC至图10EEE所示(例如,系统在接收到长保持输入之后进入文本插入模式并为文本的插入创建空间)。
在一些实施方案中,输入还需要基本上静止持续时间阈值(例如,在时间阈值期间触笔的移动不超过阈值量)。在一些实施方案中,在长保持之后进入插入模式允许系统确定用户不会无意地请求插入文本。在一些实施方案中,如果触压不长于时间阈值,则忽略用户输入或以其他方式不将其解释为输入相应文本的请求。在一些实施方案中,不长于时间阈值的用户输入被解释为选择输入。在一些实施方案中,不长于时间阈值的用户输入使得显示弹出菜单或其他菜单以允许用户确定要执行什么功能。
上述插入文本的方式(例如,通过将长按压用户输入解释为在预先存在的文本之间插入文本的请求,并且移动预先存在的文本以创建空间以供用户执行手写输入)允许电子设备向用户提供入在预先存在的文本之间插入手写输入的能力(例如,通过将长按压用户输入解释为在预先存在的文本之间插入文本的请求并自动移动预先存在的文本以创建空间以供用户插入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过将长按压输入解释为插入文本的请求来确保用户正在请求插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本并在完成文本插入之后移除空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当用户输入包括相应手势(例如,接收到指示插入文本的请求的特定关键字手势)时,用户输入与使用手写输入在第一字符序列的第一部分和第二部分之间输入相应文本的请求对应,并且响应于检测到相应手势,发生通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面(1122),诸如图10G所示(例如,响应于接收到关键字手势,进入插入模式并创建用于插入手写输入的空间)。
在一些实施方案中,在字符序列的两个部分之间接收到插入符号手势被认为是在字符序列的两个部分之间插入文本的请求。在一些实施方案中,如果用户输入不包括相应手势(例如,用户输入是不被认为是用于插入文本的关键字手势的另一手势),则用户输入不被解释为插入文本的请求。在一些实施方案中,不包括相应手势的用户输入被解释为选择输入、删除输入或导航输入等。
上述插入文本的方式(例如,通过将特定相应手势的手写输入解释为在预先存在的文本之间插入文本的请求,并且移动预先存在的文本以创建空间以供用户执行手写输入)允许电子设备向用户提供入在预先存在的文本之间插入手写输入的能力(例如,通过将手写输入中的相应手势解释为在预先存在的文本之间插入文本的请求并自动移动预先存在的文本以创建空间以供用户插入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户容易地在字词之间插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,用户输入包括触笔在触敏显示器上的触压(1124),诸如图10P所示。在一些实施方案中,响应于检测到触笔在触敏显示器上在第一字符序列的第一部分和第二部分之间的触压,电子设备在触敏显示器上显示用于在第一字符序列的第一部分和第二部分之间创建空间的可选选项(1126),诸如图10Q所示(例如,响应于检测到触压或轻击,显示包括用于插入文本的可选选项的弹出窗口或其他菜单)。在一些实施方案中,弹出菜单包括用于与文本输入字段交互的其他选项,诸如粘贴来自剪贴板的文本的选项、选择文本的选项等。
在一些实施方案中,在显示用于在第一字符序列的第一部分和第二部分之间创建空间的可选选项时,电子设备经由触敏显示器接收对可选选项的选择(1128),诸如图10Q所示(例如,接收选择用于插入文本的可选选项的输入)。
在一些实施方案中,响应于检测到对可选选项的选择,发生通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面(1130),诸如图10R所示(例如,响应于接收到选择用于插入文本的可选选项的输入,进入文本插入模式并在字符序列的第一部分和第二部分之间创建空间用于插入文本)。
上述插入文本的方式(例如,通过接收对用于插入文本的可选选项的用户选择,并且移动预先存在的文本以创建空间以供用户执行手写输入)允许电子设备向用户提供入在预先存在的文本之间插入手写输入的能力(例如,通过显示包括插入文本的可选选项的菜单,并且响应于用户对可选选项的选择,自动移动预先存在的文本以创建空间以供用户插入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户通过选择插入文本的可选选项在字词之间插入文本,而无需用户导航到单独的用户界面或菜单以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面之后,电子设备经由触敏显示器在第一字符序列的第一部分和第二部分之间的空间中接收手写输入(1132),诸如图10J所示。
在一些实施方案中,响应于接收到手写输入(1134),电子设备在第一字符序列的第一部分和第二部分之间的空间中显示手写输入的表示(1136),诸如图10J所示(例如,在接收到手写输入时,在显示器上接收到输入的位置处显示手写输入)。换句话讲,显示手写输入的“迹线”。
在一些实施方案中,响应于接收到手写输入(1134),根据确定手写输入满足一个或多个标准(例如,到达空间的末尾附近,包括添加更多空间的特殊手势等),电子设备扩展第一字符序列的第一部分和第二部分之间的空间(1138),诸如图10J所示(例如,进一步移动字符序列的第一部分和/或第二部分以提供附加空间以用于在第一字符序列的第一部分和第二部分之间接收附加手写输入)。在一些实施方案中,当手写输入开始耗尽已创建的空间时,向用户提供更多空间以继续输入手写输入。在一些实施方案中,如果手写输入不满足标准,则不创建用于进一步输入文本的空间。例如,如果手写输入未耗尽最初创建的用于插入文本的空间,则不创建用于插入更多文本的附加空间。
上述进一步提供用于插入文本的空间的方式(例如,通过接收指向在文本的第一部分和第二部分之间创建的空间的手写输入并在用户继续提供手写输入时进一步移动第一部分和/或第二部分以创建更多空间以供用户继续手写输入)允许电子设备向用户提供在预先存在的文本之间继续插入手写输入的能力(例如,通过继续移动预先存在的文本以继续向用户提供空间来输入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过即使在耗尽被创建用于插入文本的初始空间之后也允许用户容易地继续插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当手写输入包括第一相应手势时,手写输入满足该一个或多个标准,并且当手写输入包括不同于第一相应手势的第二相应手势时,手写输入不满足该一个或多个标准(1140),诸如图10G所示(例如,检测到用于创建用于插入文本的附加空间的关键字手势)。在一些实施方案中,关键字手势或字符是用于初始进入插入模式的相同关键字手势。在一些实施方案中,响应于检测到关键字手势,移位第一部分和/或第二部分以创建用于插入文本的另外的空间。
上述进一步提供用于插入文本的空间的方式(例如,通过接收具有特定关键字手势的手写输入并在用户继续提供手写输入时进一步移动第一部分和/或第二部分以创建更多空间以供用户继续手写输入)允许电子设备向用户提供在预先存在的文本之间继续插入手写输入的能力(例如,通过响应于接收到特定关键字手势而移动预先存在的文本以向用户提供另外的空间来输入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过即使在耗尽被创建用于插入文本的初始空间之后也允许用户容易地继续插入文本,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面之后,电子设备经由触敏显示器在第一字符序列的第一部分和第二部分之间的空间中接收手写输入(1142),诸如图10V所示。
在一些实施方案中,响应于接收到手写输入(1144),电子设备在第一字符序列的第一部分和第二部分之间的空间中显示手写输入的表示(1146),诸如图10V所示(例如,在接收到手写输入时,在显示器上接收到输入的位置处显示手写输入)。换句话讲,显示手写输入的“迹线”。
在一些实施方案中,响应于接收到手写输入(1144),根据确定满足一个或多个新行标准,电子设备更新用户界面以创建新行,该新行被配置为接收用于在新行中插入附加相应文本的附加手写输入(1148),诸如图10W所示(例如,插入新行(例如,回车字符))。在一些实施方案中,当创建新行时,文本的第二部分被下推一行。在一些实施方案中,如果手写输入到达当前行的末尾附近,则满足新行标准。在一些实施方案中,如果用户到达相应文本输入字段的末尾,则满足新行标准。在一些实施方案中,如果用户开始在当前行下方阈值距离处书写,则满足新行标准。因此,在一些实施方案中,基于手写输入和预先存在的文本的上下文、手写输入的位置、文本输入区域的尺寸以及手写文本和预先存在的文本的长度来满足新行标准。
上述插入新行以用于进一步插入文本的方式(例如,通过接收手写输入,并且如果满足新一行标准,则在预先存在的文本中插入新行)允许电子设备向用户提供插入多行文本的能力(例如,通过自动确定是否应插入新行,并且插入新行以向用户提供空间来进一步输入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户容易地在预先存在的文本中插入新行,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个新行标准包括当手写输入到达用户界面中的当前行的末尾时满足的标准(1150),诸如图10K所示(例如,如果手写输入到达文本字段的末尾或用户界面的末尾,使得没有另外的空间来输入文本或者文本输入字段不能进一步扩展,则在文本输入用户界面中插入新行以提供空间以供用户继续提供手写输入)。
上述插入新行以用于进一步插入文本的方式(例如,通过接收手写输入,并且如果手写输入到达当前文本行的末尾或接近当前文本行的末尾,则在预先存在的文本中插入新行)允许电子设备向用户提供插入多行文本的能力(例如,通过自动确定用户可能需要新行来进一步输入手写文本,并且插入新行以向用户提供空间来进一步输入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在可能需要新行的情况下自动插入新行,而无需用户导航到单独的用户界面或菜单或执行附加用户输入以创建空间来插入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个新行标准包括当在用户界面中的现有基于字体的文本下方检测到附加手写输入时满足的标准(1152),诸如图10V所示(例如,如果手写输入在现有文本行下方阈值距离(例如,6个点、12个点、24个点等)的位置处,则在当前文本行下方阈值距离的位置处插入新行。
上述插入新行以用于进一步插入文本的方式(例如,通过接收现有文本行下方的手写输入并在现有文本行下方的位置处插入新行)允许电子设备向用户提供插入多行文本的能力(例如,通过将现有基于字体的文本下方的手写输入自动解释为在手写输入的位置处插入新行,并且插入新行以向用户提供空间来进一步输入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过当用户在现有基于字体的文本下方提供手写输入从而指示在手写输入的位置处插入新行的请求时自动插入新行),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个新行标准包括当在用户界面中的现有基于字体的文本下方检测到轻击输入时满足的标准(1154),诸如图10BB所示(例如,如果在现有基于字体的文本下方的位置处接收到轻击输入,则在现有基于字体的文本下方的位置处插入新行)。
上述插入新行以用于进一步插入文本的方式(例如,通过接收现有文本行下方的轻击输入并在现有文本行下方的位置处插入新行)允许电子设备向用户提供插入多行文本的能力(例如,通过将现有基于字体的文本下方的轻击输入解释为在手写输入的位置处插入新行,并且插入新行以向用户提供空间来进一步输入手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过当用户在现有基于字体的文本下方的位置处轻击从而指示在手写输入的位置处插入新行的请求时插入新行),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,响应于接收到手写输入(1156),根据确定手写输入在用户界面中的当前行的末尾的阈值距离内,电子设备在用户界面中显示用于在用户界面中创建新行的可选选项(1158),诸如图10X所示(例如,动态显示弹出窗口或菜单,该弹出窗口或菜单包括可选择以创建新行的可选选项)。在一些实施方案中,当用户到达或接近当前行的末尾时,向用户动态显示弹出窗口或菜单以向用户提供插入新行的选项。
在一些实施方案中,该一个或多个新行标准包括当检测到对用于在用户界面中创建新行的可选选项的选择时满足的标准(1160),诸如图10HH所示(例如,响应于用户选择用于插入新行的可选选项而创建新行)。
上述插入新行以用于进一步插入文本的方式(例如,通过显示可选择以插入新行的可选选项,并且响应于接收到选择用于插入新行的可选选项的用户输入而插入新行)允许电子设备向用户提供插入多行文本的能力(例如,通过在用户的手写输入到达行的末尾并且可能需要新行时动态显示插入新行的可选选项,并且响应于接收到选择可选选项的用户输入而插入新行),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过当用户选择在用户到达当前行的末尾时显示的用于插入新行的可选选项时插入新行),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在被配置为接收附加手写输入的新行被包括在用户界面中时,电子设备经由触敏显示器接收相应用户输入(1162),诸如图10EE所示(例如,在已自动插入或响应于用户的输入而插入新行之后,或者在文本输入用户界面包括多行文本时,接收用户输入)。
在一些实施方案中,响应于接收到相应用户输入(1164),根据确定相应用户输入包括在用户界面中新行之前的先前行中的最后字词的末尾处检测到的轻击输入,或在用户界面中新行中的第一字词的开头处检测到的轻击输入,电子设备在用户界面中显示用于从用户界面移除新行的可选选项(1166),诸如图10FF(例如,在先前行上的最后字词的末尾处接收到轻击输入和/或在下一行上的第一字词的开头处接收到轻击输入以显示弹出窗口或菜单,该弹出窗口或菜单包括移除先前行与下一行之间的换行符的可选选项)。在一些实施方案中,选择可选选项移除先前行与下一行之间的换行符。
上述移除多行文本中的换行符的方式(例如,通过在第一行的末尾或第二行的开头处接收输入,显示用于移除第一行和第二行之间的换行符的可选选项,并且响应于接收到选择可选选项的用户输入而移除换行符)允许电子设备向用户提供移除多行文本中的换行符的能力(例如,通过动态显示移除换行符的可选选项,并且响应于用户对移除换行符的可选选项的选择而移除换行符),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供移除换行符的可选选项,并且响应于接收到选择可选选项的用户输入而移除换行符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在被配置为接收附加手写输入的新行被包括在用户界面中并且该新行包括相应字符序列时,电子设备经由触敏显示器接收相应输入,该相应输入包括触笔在相应字符序列上的触压以及触笔向用户界面中不同于新行的相应行的移动(1168),诸如图10JJ所示(例如,在已自动插入或响应于用户的输入而插入新行之后,或者在文本输入用户界面包括多行文本时,在新的文本行上接收用户输入并“拖动”新的文本行)。在一些实施方案中,在新的文本行的开头处接收到用户输入。
在一些实施方案中,响应于接收到相应输入(1170),电子设备将相应字符序列移动到用户界面中的相应行(1172),诸如图10JJ所示(例如,根据触笔的移动而移动新的文本行)。在一些实施方案中,在触笔抬离时,新的文本行靠齐到新行被拖到的行)。在一些实施方案中,当用户完成移动手势时,新的文本行与新行被拖动到的位置处存在的文本对齐。
在一些实施方案中,响应于接收到相应输入(1170),电子设备从用户界面移除新行(1174),诸如图10LL所示(例如,移除新行与先前行之间的换行符(例如,回车或换行字符,如果有的话),使得移除新行)。
上述移除多行文本中的换行符的方式(例如,通过在第二文本行处接收将第二文本行拖动到第一文本行的输入并移除第一文本行和第二文本行之间的任何换行符)允许电子设备向用户提供移除多行文本中的换行符的能力(例如,通过将拖动行到先前行的用户手势解释为移除两行之间的换行符的请求,并且响应于用户移除换行符的请求而移除换行符),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供根据用户的输入移动文本并自动移除换行符的直观方法,而无需用户导航到单独的用户界面或执行附加输入以移除换行符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面之后,电子设备经由触敏显示器在第一字符序列的第一部分和第二部分之间的空间中接收手写输入(1176),诸如图10UU所示(例如,在移动文本的第一部分和/或第二部分以创建空间以供用户在文本的第一部分和第二部分之间插入文本之后,接收插入文本的手写输入)。
在一些实施方案中,响应于接收到手写输入(1178),电子设备在用户界面中第一字符序列的第一部分和第二部分之间的空间中显示手写输入的表示(1180),诸如图10UU所示(例如,在接收到输入时,在显示器上接收到输入的位置处显示手写输入的迹线)。
在一些实施方案中,响应于接收到手写输入(1178),根据确定手写输入尚未到达用户界面中的当前行的末尾,电子设备在自接收到手写输入以来第一经过时间之后停止显示手写输入的表示(1182),诸如图10AAA所示(例如,开始将手写文本转换为基于字体的文本)。在一些实施方案中,在特定时间延迟之后执行转换。在一些实施方案中,根据方法700和/或方法1300执行转换。在一些实施方案中,如果手写输入的进度在特定阈值位置之前(例如,在到达中间点之前,在到达3/4点之前)的某个位置处,则根据转换文本的一般定时转换文本。
在一些实施方案中,响应于接收到手写输入(1178),根据确定手写输入已到达用户界面中的当前行的末尾,电子设备在自接收到手写输入以来短于第一经过时间的第二经过时间之后停止显示手写输入的表示(1184),诸如图10WW所示(例如,当手写输入的进度达到特定阈值位置(例如超过特定阈值位置)时),开始以比手写的进度尚未达到阈值位置时更快的速度(例如,具有更短的时间延迟)将手写文本转换为基于字体的文本)。换句话讲,当手写输入开始耗尽行的末尾的空间时,以更快的速度转换手写文本以便释放空间。在一些实施方案中,更快地转换手写文本使得行的开头处的手写文本被转换,从而移除手写文本的显示并且将手写文本的显示替换为基于字体的文本。在一些实施方案中,基于字体的文本具有比手写文本更小的尺寸。因此,转换手写文本释放屏幕空间以供用户在下一行的开头处继续书写。在一些实施方案中,转换手写文本使得用户刚刚书写的手写文本被转换,从而移除在当前行的末尾处或附近的手写文本的显示,因此,允许用户继续在同一位置提供手写文本,而无需用户在书写时向右移动(例如,字词和/或字母在用户正在书写的同时被转换,使得用户不必移动位置以在可用空间中继续书写)。
上述提供用于手写输入的空间的方式(例如,通过在用户开始耗尽空间时以更快的速度转换文本以提供手写)允许电子设备连续地向用户提供输入手写输入的空间(例如,通过确定用户将耗尽用于手写输入的空间并提高将手写文本转换为基于字体的文本的速度以便从显示器中移除手写文本以释放空间以供用户继续提供手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过以更快的速度转换先前书写的手写文本来自动且连续地提供空间以供用户输入手写文本,而无需用户等待转换过程发生或执行附加输入以创建用于另外的手写文本的空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面之后,电子设备经由触敏显示器在第一字符序列的第一部分和第二部分之间的空间中接收手写输入(1186),诸如图10D所示(例如,在移动文本的第一部分和/或第二部分以创建空间以供用户在文本的第一部分和第二部分之间插入文本之后,接收插入文本的手写输入)。
在一些实施方案中,在接收到手写输入之后(1188),根据确定在手写输入的结束之后的时间阈值内没有接收到附加手写输入,电子设备减小第一字符序列的第一部分和第二部分之间的空间的尺寸以移除用户界面中未被手写输入消耗的空间(1190),诸如图10F所示(例如,如果不再接收到手写输入阈值时间量(例如,1秒、3秒、5秒、10秒),则移除字符的第一部分与手写输入之间以及手写输入与字符的第一部分之间的任何多余空间)。在一些实施方案中,所移除的多余空间是为创建用于手写输入的空间而插入的但未被手写输入使用的空间。在一些实施方案中,所移除的多余空间是为了将新插入的文本与预先存在的文本对齐(例如,在字词之间的适当位置保持或插入空格字符)而需要移除的任何空间。在一些实施方案中,手写输入在移除多余空间之前被转换为基于字体的文本。换句话讲,手写输入任选地被转换,并且在手写输入被转换之后的阈值时间量(例如,0.5秒、1秒、2秒、5秒)之后,然后移除多余空间。在一些实施方案中,在手写输入被转换为基于字体的文本的同时移除多余空间。
上述在手写输入之后移除多余空间的方式(例如,通过在手写输入已停止阈值时间量之后移除在文本之间创建的为手写输入制造空间的多余空间)允许电子设备退出文本插入模式(例如,通过确定用户已停止插入文本并移除任何多余空间以将插入的文本与预先存在的文本对齐),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动退出文本插入模式并移除多余空间,而无需用户执行附加输入以在插入手写输入之后移除多余空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在通过在第一字符序列的第一部分和第一字符序列的第二部分之间创建空间来更新文本输入用户界面之后,电子设备经由触敏显示器在第一字符序列的第一部分和第二部分之间的空间中接收手写输入(1192),诸如图10D所示(例如,在移动文本的第一部分和/或第二部分以创建空间以供用户在文本的第一部分和第二部分之间插入文本之后,接收插入文本的手写输入)。
在一些实施方案中,在接收到手写输入之后(1194),根据确定在手写输入的结束之后的时间阈值(例如,1秒、2秒、3秒、5秒等)内没有接收到附加手写输入,电子设备将手写输入转换为第一字符序列的第一部分和第二部分之间的空间中的基于字体的文本(1196),诸如图10F所示(例如,在手写输入已停止阈值时间量之后,将迄今为止已输入的手写输入转换为基于字体的文本)。
上述插入手写输入的方式(例如,通过在用户已停止输入阈值时间量之后转换手写输入)允许电子设备插入文本(例如,通过转换手写输入并将经转换的文本插入文本的第一部分和第二部分之间的空间中),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在看起来用户已完成手写输入时将手写输入自动转换为基于字体的文本并将基于字体的文本插入文本的第一部分和第二部分之间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,电子设备在文本输入用户界面中显示第二字符序列,该第二字符序列包括第二字符序列的第一部分和第二字符序列的第二部分(1198),诸如图10MM所示。
在一些实施方案中,在显示文本输入用户界面时,电子设备经由触敏显示器接收在文本输入用户界面中在第二字符序列的第一部分和第二字符序列的第二部分之间的第二用户输入(1198-2),诸如图10MM所示(例如,在文本的第一部分和第二部分之间接收轻击输入或超过阈值时间段的长按压输入)。
在一些实施方案中,响应于接收到第二用户输入(1198-4),根据确定第二用户输入与使用手写输入在第二字符序列的第一部分和第二字符序列的第二部分之间输入第二相应基于字体的文本的请求对应(1198-6),电子设备在用户界面中显示手写输入用户界面元素(例如,其覆盖在用户界面中先前显示的内容上),该手写输入用户界面元素被配置为接收用于在第二字符序列的第一部分和第二部分之间插入第二相应基于字体的文本的手写输入(1198-8),诸如图10NN所示(例如,弹出文本框,用户能够在其中提供将被转换为基于字体的文本的手写输入)。在一些实施方案中,在文本将被定位的位置处显示光标指示符。在一些实施方案中,弹出文本框包括退出文本插入模式的可选选项(例如,解除弹出文本框)。在一些实施方案中,弹出文本框包括将用户的手写输入转换为基于字体的文本并提交的可选选项。
上述插入手写输入的方式(例如,通过显示具有文本框的弹出窗口用户界面元素,用户在其中插入手写输入以用于转换和插入预先存在的文本中)允许电子设备向用户提供文本插入元素(例如,通过响应于用户插入文本的请求而显示文本框,接受文本框中的手写输入,并且将手写输入转换为基于字体的文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过显示用户能够在其中输入的文本插入用户界面元素),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示手写输入用户界面元素时,电子设备经由触敏显示器接收手写输入用户界面元素中的第二手写输入(1198-10),诸如图10QQ所示(例如,在弹出文本框中接收到与将手写输入插入预先存在的文本中的请求对应的手写输入)。
在一些实施方案中,响应于接收到手写输入用户界面元素中的第二手写输入(1198-12),电子设备将与第二手写输入对应的基于字体的文本插入文本输入用户界面中(1198-14),诸如图10RR所示(例如,将手写输入转换为基于字体的文本并将基于字体的文本插入预先存在的文本中(例如,在字符的第一部分和第二部分之间))。
在一些实施方案中,响应于接收到手写输入用户界面元素中的第二手写输入(1198-12),当手写输入用户界面元素在触敏显示器上保持静止时,电子设备根据当前文本插入点在文本输入用户界面中的移动(例如,当用户插入文本时,插入点(例如,光标)根据已插入的文本而向前移动)来滚动文本输入用户界面(1198-16),诸如图10RR所示(例如,文本输入用户界面中从手写输入用户界面元素中的手写输入转换的文本将插入的位置)。在一些实施方案中,基于插入的文本的量,光标移动到后续文本行(例如,插入的文本的量耗尽了一行上的空间并移动到下一行)。在一些实施方案中,响应于光标向下移动,用户界面向上滚动一行的尺寸,以将光标保留在屏幕上的相同垂直位置中并且不被弹出文本框阻挡。在一些实施方案中,弹出文本框不移动位置,并且弹出文本框下方的用户界面向上滚动。在一些实施方案中,弹出文本框下方的用户界面向上滚动超过光标已向下移动的量,以创建甚至更多的空间以供用户插入文本。
上述插入手写输入的方式(例如,通过在用户继续输入手写输入时使用户界面在弹出文本框后面滚动)允许电子设备向用户提供静态文本插入元素(例如,通过在需要时保持弹出文本框的位置并使用户界面在弹出文本框后面滚动以保持显示插入点),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在显示插入点的同时保持弹出文本框的位置,而无需用户在提供手写输入的同时重新调整其手写位置),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示手写输入用户界面元素时,电子设备经由触敏显示器接收手写输入用户界面元素中的第二手写输入(1198-18),诸如图10OO所示(例如,在弹出文本框中接收到与将手写输入插入预先存在的文本中的请求对应的手写输入)。
在一些实施方案中,响应于接收到手写输入用户界面元素中的第二手写输入(1198-20),电子设备在手写输入用户界面元素中显示第二手写输入的表示(1198-22),诸如图10OO所示(例如,在接收到输入时,在显示器上接收到输入的位置处显示手写输入的迹线)。
在一些实施方案中,响应于接收到手写输入用户界面元素中的第二手写输入(1198-20),根据确定第二手写输入尚未到达手写输入用户界面元素的末尾,电子设备在自接收到第二手写输入以来第一经过时间之后停止显示第二手写输入的表示(1198-24),诸如图10AAA所示(例如,开始将手写文本转换为基于字体的文本)。在一些实施方案中,在特定时间延迟之后执行转换。在一些实施方案中,根据方法700和/或方法1300执行转换。在一些实施方案中,如果手写输入的进度在特定阈值位置之前(例如,在到达中间点之前,在到达3/4点之前)的某个位置处,则根据转换文本的一般定时转换文本。
在一些实施方案中,响应于接收到手写输入用户界面元素中的第二手写输入(1198-20),根据确定第二手写输入已到达手写输入用户界面元素的末尾,电子设备在自接收到第二手写输入以来短于第一经过时间的第二经过时间之后停止显示第二手写输入的表示(1198-26),诸如图10WW所示(例如,当手写输入的进度达到特定阈值位置(例如超过特定阈值位置)时),开始以比手写的进度尚未达到阈值位置时更快的速度(例如,具有更短的时间延迟)将手写文本转换为基于字体的文本)。换句话讲,当手写输入开始耗尽弹出文本框的末尾的空间时,以更快的速度转换手写文本以便释放空间。在一些实施方案中,更快地转换手写文本使得文本框的开头处的手写文本被转换,从而移除手写文本的显示并且将手写文本的显示替换为基于字体的文本。在一些实施方案中,基于字体的文本具有比手写文本更小的尺寸。因此,转换手写文本释放空间以供用户在弹出文本框的开头处继续书写。在一些实施方案中,转换手写文本使得用户刚刚书写的手写文本被转换,从而移除在文本框的末尾处或附近的手写文本的显示,因此,允许用户继续在同一位置提供手写文本,而无需用户在书写时向右移动(例如,字词和/或字母在用户正在书写的同时被转换,使得用户不必移动位置以在可用空间中继续书写)。
上述提供用于手写输入的空间的方式(例如,通过在用户开始耗尽空间时以更快的速度转换文本以提供手写)允许电子设备连续地向用户提供输入手写输入的空间(例如,通过确定用户将耗尽用于手写输入的空间并提高将手写文本转换为基于字体的文本的速度以便从显示器中移除手写文本以释放空间以供用户继续提供手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过以更快的速度转换先前书写的手写文本来自动且连续地提供空间以供用户输入手写文本,而无需用户等待转换过程发生或执行附加输入以创建用于另外的手写文本的空间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示包括第一字符序列的文本输入用户界面时,设备经由触敏显示器接收相应用户输入,该相应用户输入包括在保持与触敏显示器在第一字符序列中第一字符和第二字符之间的位置处接触的同时跨第一字符序列的相应部分的移动(例如,跨第一字符序列的相应部分的向下移动或向上移动)(1198-28),诸如图10JJJ和图10LLL所示(例如,两个字符(任选地相邻字符)之间的垂直或向下或向上轻扫手势)。
在一些实施方案中,第一字符序列是手写字符序列。在一些实施方案中,第一字符序列是基于字体的文本。在一些实施方案中,第一字符序列包括一些基于字体的文本和一些手写字符。在一些实施方案中,向下轻扫手势与垂直方向成小于阈值角度(例如,与垂直方向成5度、与垂直方向成10度、与垂直方向成20度等),并且不需要是完全垂直的。在一些实施方案中,输入来自与触敏显示器接触的触笔或类似输入设备。
在一些实施方案中,响应于接收到相应用户输入(1198-30),根据确定没有字符将第一字符序列中第一字符和第二字符分开(例如,第一字符和第二字符是相邻字符而二者之间没有空白字符(例如,空格),设备通过在第一字符序列中第一字符和第二字符之间添加空白字符来更新文本输入用户界面(1198-32),诸如图10KKK所示(例如,在第一字符和第二字符之间自动插入空白字符(例如,单个空格))。在一些实施方案中,插入多个空白字符。
在一些实施方案中,根据确定仅空白字符将第一字符序列中第一字符和第二字符分开,设备通过移除第一字符序列中第一字符和第二字符之间的空白字符来更新文本输入用户界面(1198-34),诸如图10MMM所示(例如,如果第一字符和第二字符由单个空白字符分开,并且其间没有其他字符,则移除空白字符,从而使这两个字符相邻)。
在一些实施方案中,如果第一字符和第二字符由多个空白字符分开,则移除单个空白字符。在一些实施方案中,如果第一字符和第二字符由多个空白字符分开,则移除第一字符和第二字符之间的所有空白字符,从而使这两个字符相邻。
上述插入和移除空格的方式(例如,通过接收到两个文本字符之间的向下轻扫)向用户提供了使字符分开或邻接的快速且高效的方法(例如,通过在不存在空格的情况下自动添加空格以及在已存在空格的情况下自动移除空格),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过使用相同手势执行添加和删除功能两者,而无需用户执行附加输入或不同输入以添加或移除空格),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
应当理解,对图11A至图11M中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1300、1500、1600、1800、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图11A至图11M所述的方法1100。例如,上文参考方法1100所述的将文本插入预先存在的文本中任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、控制手写输入的特征、呈现自动补全建议以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、900、1300、1500、1600、1800、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图11A至图11M所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1102、1126、1136、1146、1158、1166、1180、1198、1198-8和1198-22以及接收操作1104、1110、1128、1132、1142、1162、1168、1176、1186、1192、1198-2、1198-10、1198-18和1198-28任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
将手写输入转换为文本的定时
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。在一些实施方案中,电子设备接收来自手写输入设备(例如,触笔)的手写输入并将手写输入转换为基于字体的文本(例如,计算机文本、数字文本等)。下文描述的实施方案提供了电子设备管理将来自手写输入设备(例如,触笔)的手写输入转换为基于字体的文本(例如,计算机文本、数字文本等)的定时的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图12A至图12SS示出了电子设备管理将手写文本转换为基于字体的文本的定时的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图13A至图13G所述的过程。
图12A示出了包括触摸屏504的示例性设备500。如图12A所示,电子设备500呈现用户界面1200。在一些实施方案中,用户界面1200是包括一个或多个文本输入字段(例如,文本输入区域)的任何用户界面。在一些实施方案中,文本输入字段(例如,文本输入区域)是用户能够在其中输入文本(例如,字母、字符、字词等)的用户界面元素。例如,文本输入字段可以是表格上的文本字段、浏览器上的URL输入元素、登录字段等。换句话讲,其可以是用户能够在其中输入文本并且能够在其中编辑、删除、复制、剪切等或执行任何其他基于文本的操作的任何用户界面元素。应当理解,文本输入字段(例如,文本输入区域)不限于仅接受文本的用户界面元素,而是也能够接受和显示音频和/或视觉媒体的用户界面元素。
在一些实施方案中,如图12A所示,用户界面1200是显示(例如,导航到)乘客信息输入用户界面(例如,以用于购买机票)的互联网浏览器应用程序的用户界面。应当理解,图12A至图12SS所示的示例是示例性的,并且不应被认为仅限于所示的用户界面和/或应用程序。在一些实施方案中,用户界面1200包括文本输入字段1202-1至1202-9,用户能够在其中输入文本以填充相应文本输入字段(例如,两位乘客的信息)。
在图12B中,在触摸屏504上接收到(例如,检测到)来自触笔203的用户输入。如图6B所示,触笔203正在触压触摸屏504。在一些实施方案中,触笔203触压触摸屏504以提供手写输入1204-1。例如,如图12B所示,手写输入1204-1由字符“1”组成。在图12C中,用户继续将手写输入1204-1(例如,“1234Elm Street”)输入到文本输入字段1202-3中。在图12D中,检测到触笔203的抬离(例如,与触摸屏504的接触终止)。在一些实施方案中,响应于检测到触笔203的抬离,定时器开始计数用于将手写输入转换为基于字体的文本的时间。下文将参考图12P至图12SS更详细地描述定时器在将手写输入转换为基于字体的文本中的使用。因此,在一些实施方案中,在检测到触笔203的抬离时,手写输入1204-1不被转换为基于字体的文本。
在图12E中,检测到来自触笔203触压在文本输入字段1202-5上的用户输入。在一些实施方案中,用户输入可以是轻击、长按压输入或手写文本输入的开始。在一些实施方案中,响应于触压文本输入字段1202-5(例如,除了文本输入字段1202-3之外的文本输入字段)的用户输入,手写输入1204-1被转换为基于字体的文本。在该示例中,用于控制手写输入1204-1的转换的定时的定时器被覆写,并且手写输入1204-1被转换为基于字体的文本。因此,在一些实施方案中,特定用户交互使得手写输入1204-1转换为基于字体的文本,而无需等待满足其他预先确定的条件(例如,不考虑正在用于确定何时将手写文本转换为基于字体的文本的定时器)。在一些实施方案中,使得手写输入转换的用户交互是通常指示用户已完成手写输入或特定手写输入序列的那些交互。例如,如图12E所示,用户利用触笔203触压在文本输入字段1202-5上指示用户可能已完成将手写输入输入到文本输入字段1202-3中(例如,将可能不会在特定持续时间内输入任何另外的文本)。因此,定时器的使用或以其他方式延迟手写输入是不必要的(例如,因为系统可能不会接收到文本输入字段1202-3中的任何另外的输入),并且系统能够转换手写输入,而不会造成用户注意力过度分散或造成用户与用户界面的交互中断。
在图12F中,检测到来自触笔203的将手写输入1204-2(例如,“Salem”)输入到文本输入字段1202-5中的用户输入。在图12G中,检测到触笔203的抬离,并且任选地定时器开始计数用于将手写输入1204-2转换为基于字体的文本的时间。在图12H中,在用户界面1200中任何文本输入字段外的位置处检测到来自触笔203的触压。在一些实施方案中,在当时不转换手写输入1204-2(例如,因为设备500不确定用户正在执行什么手势或命令)。在一些实施方案中,响应于检测到触笔203的触压和/或在检测到触笔203的触压时,将手写输入1204-2转换为基于字体的文本。
在图12I中,用户在继续与触摸屏504接触的同时移动触笔203,并且执行向上轻扫手势。在一些实施方案中,用户输入被解释为向上滚动命令。在一些实施方案中,响应于接收到向上滚动命令,用户界面1200根据向上滚动手势而向上滚动(例如,用户界面向上滚动与手势相同的量)(例如,因此显露文本输入字段1202-10)。在一些实施方案中,响应于确定用户正在执行滚动手势(例如,响应于与滚动用户界面的请求对应的用户输入),将手写输入1204-2转换为基于字体的文本。因此,在一些实施方案中,在接收到滚动命令时,系统确定用户可能已完成手写输入1204-2的输入,并且能够将手写输入1204-2转换为基于字体的文本而不考虑任何定时器(或考虑满足其他预先确定的条件)。
在图12J中,检测到来自触笔203的将手写输入1204-3(例如,“Bob”)输入到文本输入字段1202-8中的用户输入。在图12K中,检测到触笔203的抬离,并且任选地定时器开始计数用于将手写输入1204-3转换为基于字体的文本的时间。在图12L中,检测到触笔203已放下。在一些实施方案中,基于触笔203中的一个或多个传感器而检测到触笔203已放下。例如,触笔203包括能够确定用户已将触笔203放下的加速度计或陀螺仪。在一些实施方案中,触笔203与设备500通信(例如,通过无线通信协议诸如蓝牙)并且向设备500传输触笔203已放下的数据。在一些实施方案中,响应于确定触笔203已放下(例如,通过设备500或触笔203),将手写输入1204-3转换为基于字体的文本。
在一些实施方案中,当确定触笔203距设备500阈值距离(例如,6英寸、1英尺、2英尺、无线通信范围之外等)时,将手写输入1204-3转换为基于字体的文本。在一些实施方案中,当确定触笔203指向远离设备500(例如,触笔203的尖端或书写端背向设备500)时,将手写输入1204-3转换为基于字体的文本。在一些实施方案中,当触笔203与设备500对接(例如,磁性附接到设备500、由设备500充电或以其他方式处于未使用状态)时,将手写输入1204-3转换为基于字体的文本。因此,基于触笔203自身的上下文(例如,位置、距离、角度、移动或用户正在使用触笔进行手写输入的任何其他指示等),任选地将手写输入转换为基于字体的文本。
在图12M中,检测到来自触笔203的将手写输入1204-4(例如,“Uncle”)输入到文本输入字段1202-9中的用户输入。在图12N中,检测到触笔203的抬离,并且任选地定时器开始计数用于将手写输入1204-4转换为基于字体的文本的时间。在图12O中,在触摸屏504上检测来自手指202的用户输入。在一些实施方案中,在文本输入字段1202-10上检测来自手指202的用户输入。在一些实施方案中,响应于检测到来自手指202的用户输入(例如,在文本输入字段1202-10上或任选地在用户界面1200上的任何地方),将手写输入1204-4转换为基于字体的文本(例如,不考虑任何定时器)。因此,在一些实施方案中,当用户从使用触笔执行手写输入切换到使用手指与触摸屏交互时,任选地将来自触笔的任何先前输入的手写输入转换为基于字体的文本。
图12P至图12在图12P中,检测到来自触笔203的将手写输入1204-5(例如,“Los”)输入到文本输入字段1202-10中的用户输入。在图12Q中,检测到触笔203的抬离,并且定时器1201开始计数用于将手写输入1204-5转换为基于字体的文本的时间。
在一些实施方案中,基于设备的上下文和手写输入转换模式,使用不同的预先确定的延迟时间将手写输入转换为基于字体的文本。在一些实施方案中,当设备500处于实时转换模式(例如,在用户仍在执行手写输入时转换字母或字词的模式)时,当满足较快转换时间的特定标准时,使用较短的预先确定的延迟时间(例如,0.5秒、1秒、2秒、5秒),如将在下文进一步详细讨论的。在一些实施方案中,当设备500处于实时转换模式时,当满足较慢转换时间的特定标准时,使用较长的预先确定的延迟时间(例如,0.5秒、1秒、2秒、3秒、5秒、10秒),如将在下文进一步详细讨论的。在一些实施方案中,当处于实时转换模式时,每个字母或字词具有其自己的相应定时器,以用于控制将相应字母或字词转换为基于字体的文本的定时。在一些实施方案中,当设备500处于同时转换模式(例如,在用户已完成手写输入序列之后的一个时刻转换整个字母或字词序列的模式)时,使用第三甚至更长的预先确定的延迟时间。在一些实施方案中,在同时转换模式中,整个字母或字词序列具有一个定时器,以用于控制将字母或字词序列转换为基于字体的文本的定时。
在图12Q中,对应于字词“Los”的手写输入1204-5是可向其中添加附加字母以形成有效字词的手写输入。例如,用户能够将“t”添加到“Los”以形成有效字词“Lost”。因此,在一些实施方案中,定时器1201使用较长的预先确定的时间延迟将手写输入1204-5转换为基于字体的文本。在一些实施方案中,在转换手写输入之前,使用较长的预先确定的时间延迟向用户提供附加时间来提供附加输入(例如,书写“t”以完成字词“Lost”)。在图12R中,定时器1201已超过较短的预先确定的时间延迟,但触笔203仍然不接触触摸屏504。然而,在一些实施方案中,因为不满足缩短的转换时间(例如,使用较短的预先确定的时间延迟)的标准,手写输入1204-5还未被转换为基于字体的文本。在图12S中,定时器1201已满足较长的预先确定的时间延迟,并且响应于满足较长的预先确定的时间延迟,将手写输入1204-5转换为基于字体的文本。
在图12T中,检测到来自触笔203的进一步将手写输入1204-6(例如,“Angeles”)输入到文本输入字段1202-10中的用户输入。在图12U中,检测到触笔203的抬离,并且定时器1201开始计数用于将手写输入1204-6转换为基于字体的文本的时间。在一些实施方案中,字词“Angeles”是不可向其中添加附加字母以形成有效字词的字词。因此,在一些实施方案中,设备500确定用户可能正在写完当前字词并且可使用较短的预先确定的时间延迟。换句话讲,因为用户可能正在写完字词,所以系统不需要向用户提供附加时间来潜在地添加附加字母。因此,如图12V所示,定时器1201已满足较短的预先确定的时间延迟,并且响应于满足较短的预先确定的时间延迟,将手写输入1204-6转换为基于字体的文本。
在图12W中,检测到来自触笔203的进一步将手写输入1204-7(例如,“St.”)输入到文本输入字段1202-10中的用户输入。在图12X中,检测到触笔203的抬离,并且定时器1201开始计数用于将手写输入1204-7转换为基于字体的文本的时间。在一些实施方案中,字词“St.”包括标点符号(例如,句号)。在一些实施方案中,如果手写输入包括标点符号(例如,句号、逗号、冒号、分号等),则设备500确定用户可能正在写完当前字词并且可使用较短的预先确定的时间延迟。换句话讲,因为用户可能正在写完字词,所以系统不需要向用户提供附加时间来潜在地添加附加字母。因此,如图12Y所示,定时器1201已满足较短的预先确定的时间延迟,并且响应于满足较短的预先确定的时间延迟,将手写输入1204-7转换为基于字体的文本。
在图12Z中,用户界面1200向上滚动以显露附加文本输入字段(例如,文本输入字段1202-11至1202-14)和可选选项1206(例如,按钮)。在图12AA中,检测到来自触笔203的将手写输入1204-8(例如,“New York”)输入到文本输入字段1202-12中的用户输入。在图12BB中,检测到触笔203的抬离,并且定时器1201开始计数用于将手写输入1204-8转换为基于字体的文本的时间。在图12CC中,在检测到触笔203的抬离之后,检测到使用触笔203选择可选选项1206的用户输入。在一些实施方案中,响应于选择可选选项1206的用户输入,将手写输入1204-8转换为基于字体的文本,而无需等待满足其他预先确定的条件(例如,不考虑正在用于确定何时将手写文本转换为基于字体的文本的任何定时器)。因此,在一些实施方案中,当用户与另一用户界面元素(例如,另一文本输入字段、可选选项等)交互或执行除了输入文本之外(例如,滚动用户界面、导航用户界面等)的手势或命令时,将手写输入转换为基于字体的文本。
图12DD至图1212MM示出了当设备500处于同时转换模式(例如,在用户已完成手写输入序列之后的一个时刻转换整个字母或字词序列的模式)时转换手写输入的示例性实施方案。在图12DD中,设备500正在显示对应于笔记应用程序的用户界面1210。在一些实施方案中,用户界面1210包括文本输入区域1212,用户能够在其中输入多行文本。在图12EE中,在文本输入区域1212中接收到手写输入1212-1。在图12FF中,继续在文本输入区域中接收到手写输入1212-1,书写了四个字词“I woke up at”。在一些实施方案中,手写输入1212-1尚未被转换为基于字体的文本。在图12GG中,在书写了四个字词“I woke up at”之后检测到触笔203的抬离。在一些实施方案中,尽管检测到触笔203的抬离,手写输入1212-1也不被转换为基于字体的文本。在一些实施方案中,触笔203的抬离是用户在书写“at”之后的下一个字词时的自然移动。
在图12HH中,在文本区域1212中接收到手写输入1212-2,执行下一个字词“6”的书写。在一些实施方案中,响应于接收到手写输入1212-2,将手写输入1212-1转换为基于字体的文本(例如,四个字词的整个序列)。在一些实施方案中,在用户已书写阈值数量的字词(例如,4个字词、5个字词、6个字词等)之后,将手写输入转换为基于字体的文本。在一些实施方案中,当用户已书写阈值数量的字词时(例如,在书写相应字词的抬离之后)或在用户开始书写下一个字词之后(例如,在接收到手写输入并确定其是下一个字词的开头而不是前一个字词的延续之后,诸如确定用户已在前一个字词之后留下空格)。在一些实施方案中,在接收到相应字词之后(或者另选地,在接收到下一个字词的开头之后)执行转换,而不考虑定时器。在一些实施方案中,在接收到阈值数量的字词之后,设备500能够确定用户可能不会编辑任何先前的手写字词,并且转换手写输入将不会过度中断或分散注意力。在一些实施方案中,在阈值数量的字词之后转换手写文本释放了附加空间以供用户继续执行手写输入。
在图12II中,在文本输入区域1212中接收到手写输入1212-3,书写了五个字词“Then I went to work”。在图12II至图12MM所示的实施方案中,字词的阈值数量大于五,使得接收手写输入1212-3的五个字词不导致在当时转换手写输入。因此,如图12JJ所示,检测到触笔203的抬离,并且定时器1211开始计数转换手写输入1212-3的时间。在一些实施方案中,如图12JJ所示,当设备500处于同时转换模式时用于转换手写文本的预先确定的时间延迟长于实时转换模式中用于转换手写文本的时间延迟中的任一个时间延迟。在一些实施方案中,同时转换模式中用于转换手写文本的预先确定的时间延迟与实时转换模式中用于转换手写文本的较长时间延迟相同。
图12KK和图12LL分别示出了定时器1211递增计数超过较短的预先确定的时间延迟(例如,在实时转换模式期间使用)和较长的预先确定的时间延迟(例如,在实时转换模式期间使用),同时触笔203未接触触摸屏504并且未将手写输入1212-3转换为基于字体的文本。在图12MM中,定时器1211现在已满足同时转换模式中用于转换手写文本的预先确定的时间延迟,并且手写输入1212-3被转换为基于字体的文本。在一些实施方案中,当处于同时转换模式时,并且当等待定时器1211满足预先确定的时间延迟时(例如,当定时器1211仍然在计数时),显示弹出窗口,其具有与上文相对于图6Q所述的弹出窗口606类似的建议的基于字体的文本。在一些实施方案中,选择弹出窗口使得转换手写输入1212-3,而无需等待定时器1211满足预先确定的时间延迟。
图12NN至图12SS示出了重置用于转换手写输入的定时器的示例性方法。应当理解,本文所述的重置定时器的方法适用于实时和同时转换模式两者,并且适于用于转换手写输入的任何定时器或延迟持续时间。在图12NN中,在文本输入区域1212中接收到手写输入1212-4。在图12OO中,检测到触笔203的抬离,并且定时器1211开始计数转换手写输入1212-4的时间。在图12PP中,定时器1211已超过较短的预先确定的时间延迟(例如,在实时转换模式期间使用),而触笔203仍然不接触触摸屏504。在图12QQ中,当定时器1211仍在计数时,设备500检测到触笔203已触压并且已继续执行手写输入1212-4,从而将字词“after”扩展成字词“afterwards”。如图12QQ所示,响应于接收到继续添加到字词“after”的用户输入,定时器1211重置到其初始位置。在一些实施方案中,当用户继续添加到特定字词时,定时器1211重置到其初始位置。在一些实施方案中,每当用户继续手写输入时,即使当手写输入由新字词组成时(例如,不是先前字词的延续),定时器1211都重置到其初始位置。
在图12RR中,检测到触笔203的抬离,并且定时器1211再次开始计数用于将手写输入1212-4转换为基于字体的文本的时间。在图12SS中,在定时器1211已达到较短的预先确定的时间延迟之后(例如,因为设备500现在处于实时转换模式并且没有附加字母可添加到“afterwards”),将手写输入1212-4转换为基于字体的文本。
图13A至图13G是示出管理将手写文本转换为基于字体的文本的定时的方法1300的流程图。方法1300任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法1300中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1300提供了管理将手写文本转换为基于字体的文本的定时的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示文本输入用户界面(1302),诸如图12A所示(例如,具有用户能够在其中输入文本的文本字段的用户界面)。在一些实施方案中,使用物理键盘、软键盘或触笔将文本输入到文本字段中(例如,诸如参考方法700所述)。
在一些实施方案中,在显示文本输入用户界面时,电子设备经由触敏显示器在文本输入用户界面中接收第一序列的一个或多个手写用户输入(1304),诸如图12B所示(例如,在文本输入用户界面中的文本字段上或附近接收到来自触笔的手写输入)。在一些实施方案中,手写输入是与一个或多个句子中的一个或多个字词对应的一个或多个字符的序列。
在一些实施方案中,在接收到第一序列的一个或多个手写用户输入时,电子设备在触敏显示器上在文本输入用户界面中显示第一序列的一个或多个手写用户输入的视觉表示(1306),诸如图12B所示(例如,在接收到输入时在显示器上显示手写输入的迹线)。在一些实施方案中,当用户在触敏显示器上“绘制”时,显示器在接收到输入的位置处显示用户的手写输入的迹线。
在一些实施方案中,响应于检测到第一序列的一个或多个手写用户输入的结束(1308)(例如,手写用户输入序列的任何合适的终止),根据确定与第一序列的一个或多个手写用户输入相关联的上下文满足一个或多个第一标准(例如,将手写输入转换为基于字体的文本而无需等待其他预先确定的条件的文本转换标准),电子设备将第一序列的一个或多个手写用户输入的视觉表示替换为与第一序列的一个或多个手写用户输入对应的文本,而不考虑是否已满足相应定时标准(1310),诸如图12E所示(例如,基于用户输入,将手写输入转换为计算机文本)。
例如,如果用户停止执行手写输入(例如,持续阈值时间量,诸如1秒、3秒或5秒),则认为手写输入序列已结束。在一些实施方案中,如果用户完成书写字符、字词或句子,则认为手写输入序列已结束。在一些实施方案中,手写输入不一定需要完成书写句子、字词或字符才被认为是手写输入的结束。例如,如果用户在句子中间、在字词中间或在字符中间停止输入,则任选地认为手写输入序列终止。在一些实施方案中,如果在接收手写输入时(例如,或任选地在接收手写字词、字符或句子之间)检测到另一用户输入,则认为手写输入序列终止。
例如,触发事件任选地使得手写输入在当时转换为计算机文本,而无需等待满足其他预先确定的条件(例如,不考虑任何定时器)。在一些实施方案中,如果用户在一个文本字段中输入手写输入并选择另一文本字段,则将第一文本字段中的手写输入转换为计算机文本。在一些实施方案中,如果用户输入手写输入并且随后与另一用户界面元素交互或滚动用户界面,则将手写输入转换为计算机文本。在一些实施方案中,如果用户使用触笔输入手写输入并且随后使用手指与屏幕交互,则将手写输入转换为计算机文本。在一些实施方案中,如果用户使用触笔输入手写输入并将触笔放下、将触笔移动远离触摸屏或者将触笔放在远处(例如,基于来自加速度计、陀螺仪或触笔中的其他位置和/或旋转感测机构的测量结果),则将手写输入转换为计算机文本。
在一些实施方案中,响应于检测到第一序列的一个或多个手写用户输入的结束(1308)(例如,手写用户输入序列的任何合适的终止),根据确定与第一序列的一个或多个手写用户输入相关联的上下文不满足该一个或多个第一标准,电子设备延迟将第一序列的一个或多个手写用户输入的视觉表示替换为与第一序列的一个或多个手写用户输入对应的文本,直到已满足相应定时标准(1312),诸如图12D和图12Q所示(例如,基于用户输入,使用预先确定长度的定时器将手写输入转换为计算机文本)。在一些实施方案中,当手写输入暂停预先确定的时间长度时,则将手写输入转换为基于字体的文本。在一些实施方案中,在已接收到字词或字母达预先确定的时间量之后,将字词或字母转换为基于字体的文本。在一些实施方案中,根据手写输入的上下文,使用不同的时间长度将手写输入转换为计算机文本。例如,如果用户在输入标点符号(例如,句号)之后暂停手写输入,则使用较短定时器(例如,0.5秒、1秒、2秒、3秒等)来转换文本。在一些实施方案中,在用户书写不可向其中添加附加字母的字词(例如,不可通过添加更多字母来创建其他字词)之后,使用较短定时器。在一些实施方案中,如果用户暂停手写输入而不满足较短定时器的条件中的一个条件,则使用较长定时器(例如,10秒、5秒、3秒、2秒、1.5秒等)来转换。例如,如果用户在句子中间暂停手写输入,则系统在将手写输入转换为计算机文本之前将等待较长的时间长度。在一些实施方案中,如果不满足无需等待满足其他预先确定的条件而转换文本的条件,则系统将等待特定预先确定的时间量(例如,等待满足其他预先确定的条件),并且在一些实施方案中,预先确定的时间量基于手写输入的上下文而变化。在一些实施方案中,在定时器倒计时时接收到另外的输入使得定时器重置。例如,如果用户在句子中间暂停输入,则较长定时器开始计数以转换文本,但是在定时器达到较长阈值时间量之前,用户恢复手写输入,则定时器重置并等待直到用户下一次暂停或终止手写输入。因此,在一些实施方案中,基于该附加输入的特征,当转换先前输入时,将(或不将)附加输入添加到先前输入。
上述将手写输入转换为文本的方式(例如,通过在特定条件下转换为文本并且通过在其他条件下延迟转换一定时间量)允许电子设备在用户看起来已完成手写输入时转换文本(例如,通过在指示用户已完成书写的特定情况下转换文本,以及通过在用户看起来不像已完成书写的情况下不转换(或延迟转换)),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过尽可能快地向用户显示其手写输入的结果(例如,在用户看起来已完成书写的情况下),而不会在用户看起来仍在书写时过度分散用户的注意力,或在用户已完成书写之前过早地转换文本时,而无需用户在即使用户已完成书写时也总是等待转换或是在用户已完成书写之前过早地转换了文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当第一序列的一个或多个手写用户输入包括超过阈值数量的字词且后接空格时,满足该一个或多个第一标准(1314),诸如图12HH所示(例如,在用户已书写阈值数量的字词(例如,2个字词、3个字词、5个字词等)之后,则将字词转换为基于字体的文本)。在一些实施方案中,在书写下一个字词时发生转换(例如,如果阈值是5个字词,则在识别到正在书写第六字词时执行转换)。在一些实施方案中,在系统识别到用户已完成书写阈值数量的字词之后发生转换。
上述将手写输入转换为文本的方式(例如,通过在用户已书写阈值数量的字词之后转换为基于字体的文本)允许电子设备在用户已书写特定数量的字词之后转换文本(例如,通过在转换字词不会分散正在手写输入的用户的注意力的情况下转换文本并平衡字词转换为基于字体的文本之前的时间延迟),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过尽可能快地向用户显示其手写输入的结果,而不会在用户仍在书写时过度分散用户的注意力,而无需用户在即使用户已完成书写时也等待转换或是在用户已完成书写字词或句子之前过早地转换了文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当第一序列的一个或多个手写用户输入指向文本输入用户界面中的第一文本输入区域时,满足该一个或多个第一标准,并且第一序列的一个或多个手写用户输入的结束包括指向文本输入用户界面中的第二文本输入区域的输入(1316),诸如图12E所示(例如,当用户与另一文本输入区域交互或以其他方式指示在另一文本输入区域中输入文本的请求时,将手写输入转换为基于字体的文本)。例如,如果用户选择另一文本输入区域,则转换在第一文本输入区域中输入的文本,而无需等待满足其他预先确定的条件。
上述将手写输入转换为文本的方式(例如,通过在用户指示在另一文本输入区域中插入文本的请求之后转换为基于字体的文本)允许电子设备在用户已在文本输入区域中完成手写输入之后转换文本(例如,通过在用户通过选择要在其中输入文本的另一文本输入区域来发送信号通知用户完成在文本输入区域中输入手写文本时转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户看起来完成了在第一文本输入区域中输入手写输入时尽可能快地向用户显示其手写输入的结果,而无需用户在即使用户已完成书写时也等待转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,文本输入用户界面包括用于执行动作的可选选项,并且当第一序列的一个或多个手写用户输入的结束包括对可选选项的选择时,满足该一个或多个第一标准(1318),诸如图12CC所示(例如,如果用户在用户界面上选择(例如,致动)可选选项,则将任何输入的手写输入转换为基于字体的文本)。
上述将手写输入转换为文本的方式(例如,通过在用户与另一用户界面交互包括选择可选选项之后转换为基于字体的文本)允许电子设备在用户已在文本输入区域中完成手写输入之后转换文本(例如,通过在用户通过选择可选选项来发送信号通知用户完成在文本输入区域中输入手写文本时转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户看起来完成了在第一文本输入区域中输入手写输入时尽可能快地向用户显示其手写输入的结果,而无需用户在即使用户已完成书写时也等待转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,第一序列的一个或多个手写用户输入包括在触敏显示器上检测到的触笔输入,并且当在触敏显示器上检测到包括手指输入的输入时,满足该一个或多个第一标准(1320),诸如图12O所示(例如,在接收到来自触笔的手写输入之后,当检测到来自手指的输入时转换手写输入)。
上述将手写输入转换为文本的方式(例如,通过在用户利用手指与触摸屏交互之后转换为基于字体的文本)允许电子设备在用户已在文本输入区域中完成手写输入之后转换文本(例如,通过在用户通过切换到使用手指而不是触笔来发送信号通知用户完成在文本输入区域中输入手写文本时转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户看起来完成了在第一文本输入区域中输入手写输入时尽可能快地向用户显示其手写输入的结果,而无需用户在即使用户已完成书写时也等待转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当在触敏显示器上检测到滚动输入时,满足该一个或多个第一标准(1322),诸如图12I所示(例如,在接收到手写输入之后,在用户界面上检测到滚动输入或手势之后)。在一些实施方案中,如果用户在将手写输入输入到第一文本输入用户界面中之后与不同的用户界面元素交互。例如,如果用户执行滚动手势或以其他方式输入滚动或导航用户界面的请求,则用户正在发送信号通知他已在第一文本输入用户界面中完成手写输入,使得先前输入的手写输入应转换,而无需等待满足其他预先确定的条件。
上述将手写输入转换为文本的方式(例如,通过在用户执行滚动输入之后转换为基于字体的文本)允许电子设备在用户已在文本输入区域中完成手写输入之后转换文本(例如,通过在用户通过执行滚动输入来发送信号通知用户完成在文本输入区域中输入手写文本时转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户看起来完成了在第一文本输入区域中输入手写输入时尽可能快地向用户显示其手写输入的结果,而无需用户在即使用户已完成书写时也等待转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,第一序列的一个或多个手写用户输入包括在触敏显示器上检测到的触笔输入,并且根据确定触笔已被用户放下在表面上,满足该一个或多个第一标准(1324),诸如图12L所示(例如,在用户已执行手写输入之后,当确定用户已将触笔放下时,将手写输入转换为基于字体的文本)。在一些实施方案中,触笔具有一个或多个传感器(例如,陀螺仪、加速度计等)以检测位置、方向、速度、角度等。在一些实施方案中,触笔能够将数据从该一个或多个传感器传送到系统,使得触笔和/或系统能够确定触笔已放置在桌子上或以其他方式存放。在一些实施方案中,如果用户不再握持或触摸触笔,则触笔和/或设备确定触笔已被放下。
上述将手写输入转换为文本的方式(例如,通过在用户将触笔放下之后转换为基于字体的文本)允许电子设备在用户已在文本输入区域中完成手写输入之后转换文本(例如,通过在用户通过将触笔放下来发送信号通知用户完成在文本输入区域中输入手写文本时转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户看起来完成了在第一文本输入区域中输入手写输入时尽可能快地向用户显示其手写输入的结果,而无需用户在即使用户已完成书写时也等待转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,第一序列的一个或多个手写用户输入包括在触敏显示器上检测到的触笔输入,并且当触笔已从触敏显示器移动超过阈值距离(例如,0.5cm、1cm、3cm、5cm)时,满足该一个或多个第一标准(1326),诸如图12L所示(例如,在用户已执行手写输入之后,当确定用户已将触笔移动远离显示器特定距离远时,将手写输入转换为基于字体的文本)。换句话讲,在一些示例中,如果用户暂停手写输入并将触笔移动特定阈值距离远,则用户正在发送信号通知用户已完成手写输入或将暂停手写输入。
上述将手写输入转换为文本的方式(例如,通过在用户将触笔移动远离触摸屏阈值距离之后转换为基于字体的文本)允许电子设备在用户在文本输入区域中已完成或正在暂停手写输入之后转换文本(例如,通过在用户通过将触笔移动远离触摸屏阈值距离来发送信号通知用户完成在文本输入区域中输入手写文本或者已暂停在文本输入区域中的手写输入时转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户看起来完成了或看起来已暂停在第一文本输入区域中输入手写输入时尽可能快地向用户显示其手写输入的结果,而无需用户在即使用户已完成书写时也等待转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,根据确定已满足一个或多个第二标准,当自第一序列的一个或多个手写用户输入的结束以来已经过第一时间阈值时,已满足相应定时标准(1328),诸如图12V所示(例如,在一些实施方案中,使用较短定时器(例如,0.5秒、1秒、2秒、3秒)将手写输入转换为基于字体的文本)。例如,如果用户书写不可向其中添加另外的字母的字词,则在较短时间延迟之后转换该字词。在另一个示例中,如果用户输入标点符号,则在较短时间延迟之后转换直到并包括该标点符号的文本。
在一些实施方案中,根据确定已满足一个或多个第三标准,当自第一序列的一个或多个手写用户输入的结束以来已经过长于第一时间阈值的第二时间阈值时,已满足相应定时标准,(1330),诸如图12S所示(例如,在一些实施方案中,使用较长定时器(例如,1秒、2秒、3秒、5秒、10秒)将手写输入转换为基于字体的文本)。例如,如果用户书写字词(其不包括标点符号并且可向其中添加另外的字母),则在较长时间延迟之后将字词转换为基于字体的文本。
上述将手写输入转换为文本的方式(例如,通过基于手写输入的上下文在预先确定量的定时器之后转换为基于字体的文本)允许电子设备在用户可能已完成书写字词之后或在打扰最少的时间点转换文本(例如,通过在用户可能已完成书写字词或句子的特定情况下使用较短定时器来转换文本,以及通过在用户潜在地可能输入另外的字母或字词的情况下使用较长定时器来转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在打扰最少的时刻转换手写输入,同时即使用户已暂停书写片刻也向用户提供继续书写的机会),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当第一序列的一个或多个手写用户输入的结束包括向字符序列添加标点符号的请求时,已满足该一个或多个第二标准(1332),诸如图12W所示(例如,当手写输入包括标点符号时,使用较短定时器将手写输入转换为基于字体的文本)。例如,如果用户书写句子并包括句号,则在较短延迟之后将句子转换为基于字体的文本。
上述将手写输入转换为文本的方式(例如,通过在检测到用户已输入标点符号之后在较短定时器延迟之后转换为基于字体的文本)允许电子设备在用户可能已完成书写字词之后或在打扰最少的时间点转换文本(例如,通过在用户已输入标点符号并且用户可能已完成书写字词或句子时使用较短定时器来转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在打扰最少并且可能已完成书写字词或句子时转换手写输入),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当该一个或多个手写用户输入以不可向其中添加字符的字词结束时,已满足该一个或多个第二标准(1334),诸如图12T所示(例如,如果用户书写不可向其中添加另外的字母的字词,则在将手写输入转换为基于字体的文本之前使用较短定时器)。
上述将手写输入转换为文本的方式(例如,通过在检测到不可向其中添加另外的字符的字词之后转换为基于字体的文本)允许电子设备在用户可能已完成书写字词之后转换文本(例如,通过在用户已输入不可向其中添加另外的字母的字词并且用户可能已完成书写字词时使用较短定时器来转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在打扰最少并且可能已完成书写字词时转换手写输入),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,当第一序列的一个或多个手写用户输入的结束包括长于时间阈值的暂停时,满足该一个或多个第三标准(1336),诸如图12S所示(例如,1秒、2秒、3秒)。在一些实施方案中,如果不满足第一标准(用于在当时转换)和第二标准(用于在延迟之后转换),则满足第三标准。
上述将手写输入转换为文本的方式(例如,通过如果不满足用于更快转换的其他标准,则在较长定时器之后转换为基于字体的文本)允许电子设备在特定时间延迟之后转换文本(例如,通过在没有任何其他更快转换情况适用时,使用较长定时器来转换文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过确保无过多延迟地转换手写输入,而无需用户执行附加输入以引起手写输入的转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,根据确定文本输入用户界面正在第一模式中操作,在该第一模式中响应于对在显示手写用户输入的同时显示的可选选项的选择而将手写用户输入转换为基于字体的文本,当自第一序列的一个或多个手写用户输入的结束以来已经过一个或多个第一时间阈值时,已满足相应定时标准(1338),诸如图12MM所示(例如,在第一操作模式中,在手写输入完成或终止之后一次转换手写输入(例如,“同时转换”或“同时交托”模式))。在一些实施方案中,向用户呈现手写输入的建议转换(例如,转换为基于字体的文本)的可选选项。在一些实施方案中,对可选选项的选择使得手写输入转换为建议的基于字体的文本。在一些实施方案中,如果未选择可选选项,则在较长时间段(例如,1.5秒、3.5秒、5秒、10秒)之后,将整个手写文本转换为基于字体的文本。在一些实施方案中,执行上述转换手写文本的“同时转换”或“同时提交”模式,而不显示可选选项,并且在经过较长时间段之后发生转换(例如,不向用户呈现用于选择可选选项以进行转换的选项)。
在一些实施方案中,根据确定文本输入用户界面正在第二模式中操作,在该第二模式中手写用户输入被转换为基于字体的文本,而无需显示或选择可选选项以进行此操作,当自第一序列的一个或多个手写用户输入的结束以来已经过小于该一个或多个第一时间阈值的一个或多个第二时间阈值时,已满足相应定时标准(1340),诸如图12S所示(例如,在第二操作模式中,在接收到手写输入时转换手写输入(例如,“实时提交”模式))。在一些实施方案中,基于手写输入的上下文,使用不同的时间阈值将手写输入转换为基于字体的文本。在一些实施方案中,每个手写字词基于其自身的定时器(例如,从相应字词的完成起0.5秒、1秒、2秒)而转换。
上述将手写输入转换为文本的方式(例如,通过提供两种转换模式,在一种模式中随着接收并确认输入同时转换输入,在另一种模式中在已完成所有输入之后转换整个手写输入)允许电子设备根据两种不同的转换模式进行转换(例如,通过提供两种转换模式,基于哪种模式最适合于该情况),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过提供不同的转换模式并部署更适合于文本插入情况的模式),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,第一序列的一个或多个手写用户输入与第一序列的基于字体的文本对应(1342),诸如图12P所示。在一些实施方案中,在延迟将第一序列的一个或多个手写用户输入的视觉表示替换为第一序列的基于字体的文本之后,电子设备确定已满足相应定时标准(1344),诸如图12S所示(在接收到手写输入之后,延迟相应时间段(例如,基于相应定时器,其基于上下文使用))。
在一些实施方案中,响应于确定已满足相应定时标准,电子设备将第一序列的一个或多个手写用户输入的视觉表示替换为第一序列的基于字体的文本(1346),诸如图12S所示(例如,将手写输入转换为基于字体的文本)。在一些实施方案中,在由于使用定时器而延迟转换过程之后,经转换的基于字体的文本是如果满足转换标准(例如,非基于定时器的转换标准)(例如,选择另一文本输入区域、选择可选选项、滚动用户界面等),手写文本原本将转换为的相同基于字体的文本。例如,如果用户完成在相应文本字段中书写字词,而不是执行非基于定时器的转换输入触发,并且暂停输入阈值时间量,则将手写输入转换为基于字体的文本。
上述将手写输入转换为文本的方式(例如,通过将手写文本转换为相同所得的基于字体的文本,而不管转换是由于满足非基于定时器的转换标准而发生还是由于满足基于定时器的转换标准而发生)允许电子设备向用户提供一致且可靠地转换手写文本(例如,通过确保在不使用定时器的情况下的转换得到与基于定时器的转换相同的基于字体的文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过提供不同的转换模式并部署更适合于文本插入情况的模式),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,第一序列的一个或多个手写用户输入与第一序列的基于字体的文本对应(1348),诸如图12P所示。在一些实施方案中,在延迟将第一序列的一个或多个手写用户输入的视觉表示替换为第一序列的基于字体的文本之后,电子设备确定已满足相应定时标准(1350),诸如图12S所示(例如,在接收到手写输入之后,延迟相应时间段(例如,基于相应定时器,其基于上下文使用))。
在一些实施方案中,响应于确定已满足相应定时标准,电子设备替换(1352)将第一序列的一个或多个手写用户输入的视觉表示替换为与第一序列的基于字体的文本不同的基于字体的文本,诸如图6H所示(例如,将手写输入转换为基于字体的文本,其不同于如果满足非基于定时器的转换标准(例如,选择另一文本输入区域、选择可选选项、滚动用户界面等),手写文本原本将被转换为的基于字体的文本)。例如,手写输入包括一个或多个打字错误(例如,拼写错误、语法错误),并且在将手写输入转换为基于字体的文本时,校正该一个或多个打字错误。在一些实施方案中,延迟手写输入的转换为系统提供了关于用户意图书写什么内容的更多信息(例如,根据手写输入的另外的上下文),从而增加了对手写输入中错误识别和校正的置信度。
上述将手写输入转换为文本的方式(例如,通过将手写文本转换为基于字体的文本,同时自动校正手写文本中所识别的错误)允许电子设备自动校正手写文本中的用户错误(例如,通过识别手写文本中的错误并在将手写输入转换为基于字体的文本的过程期间自动校正错误),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动校正用户手写输入中的错误,而无需用户执行附加输入或导航到单独的用户界面以在转换为基于字体的文本之后校正错误),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,第一序列的一个或多个手写用户输入与第一序列的基于字体的文本对应(1354),诸如图12NN所示。在一些实施方案中,在延迟将第一序列的一个或多个手写用户输入的视觉表示替换为第一序列的基于字体的文本之后,电子设备经由触敏显示器检测与第二序列的基于字体的文本对应的第二序列的一个或多个手写用户输入(1356),诸如图12QQ所示(例如,在接收到第一手写输入序列之后,接收第二手写输入序列)。在一些实施方案中,当接收到第二手写输入序列时,先前挂起用于第一手写输入序列的定时器重置。在一些实施方案中,尽管检测到第二手写输入序列,定时器仍继续计数。
在一些实施方案中,响应于检测到第二序列的一个或多个手写用户输入,电子设备在显示第一序列的一个或多个手写用户输入的视觉表示的同时显示第二序列的一个或多个手写用户输入的视觉表示(1358),诸如图12QQ所示。在一些实施方案中,在显示第二序列的一个或多个手写用户输入的视觉表示之后,电子设备确定已满足相应定时标准(1360),诸如图12SS所示(例如,在接收到第一手写输入和第二手写输入之后,延迟相应时间段(例如,基于相应定时器,其基于上下文使用))。在一些实施方案中,相应定时器是用于第一手写输入序列的定时器,并且在接收到第二手写输入序列之后不重置。在一些实施方案中,在接收到第二手写输入序列之后重置相应定时器。
在一些实施方案中,响应于确定已满足相应定时标准(1362),电子设备将第一序列的一个或多个手写用户输入的视觉表示替换为第一序列的基于字体的文本(1364),诸如图12SS所示(例如,将第一手写输入序列转换为与第一手写输入序列对应的基于字体的文本)。
在一些实施方案中,响应于确定已满足相应定时标准(1366),电子设备将第二序列的一个或多个手写用户输入的视觉表示替换为第二序列的基于字体的文本(1362),诸如图12SS所示(例如,将第二手写输入序列转换为与第二手写输入序列对应的基于字体的文本)。在一些实施方案中,因为在经过用于第一手写输入序列的定时器之前接收到第二手写输入序列,所以第二手写输入序列的转换加速。相反地,在一些实施方案中,因为第二手写输入序列的接收使得定时器重置为用于转换第二手写输入序列的定时器,所以第一手写输入序列的转换延迟,并且第一手写输入序列和第二手写输入序列两者基于重置定时器同时转换。
上述将手写输入转换为文本的方式(例如,通过基于单个定时器同时转换第一手写输入序列和第二手写输入序列)允许电子设备组合文本转换操作并减少对用户的中断(例如,通过基于用于第一手写输入序列的定时器或在接收到第二手写输入序列时重置的定时器来同时转换第一手写输入序列和第二手写输入序列),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过同时转换两个手写输入序列,而无需用户等待两个手写输入序列的转换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
应当理解,对图13A至图13G中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100、1500、1600、1800、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图13A至图13G所述的方法1300。例如,上文参考方法1300所述的管理将手写输入转换为基于字体的文本的定时的操作任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、将手写输入插入预先存在的文本中、呈现手写输入菜单、控制手写输入的特征、呈现自动补全建议以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、900、1100、1500、1600、1800、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图13A至图13G描述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1302、1306和1358以及接收操作1304可选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
手写输入菜单
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。在一些实施方案中,电子设备显示接受文本输入和图形输入两者的用户界面。下文所述的实施方案提供了电子设备显示输入控制菜单以用于控制用户输入到接受文本输入和图形输入两者的文本字段中的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图14A至图14V示出了电子设备呈现手写输入菜单的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图15A至图15F以及图16A至图16D所述的过程。
图14A示出了包括触摸屏504的示例性设备500。如图14A所示,电子设备500呈现用户界面1400。在一些实施方案中,用户界面1400是用于撰写电子邮件的邮件应用程序的用户界面。在一些实施方案中,用户界面1400包括文本输入字段1402和通用输入字段1404。在一些实施方案中,文本输入字段1402仅接受并显示文本输入。例如,如图14A所示,文本输入字段1402是用于提供电子邮件的收件人的文本输入字段,并且仅接受文本作为输入。在一些实施方案中,通用输入字段1404接受并显示文本输入和媒体输入两者。例如,通用输入字段1404是电子邮件的消息正文并且接受文本、符号、图片、链接、视频、多媒体、附件等。
在图14B中,在与电子邮件收件人字段对应的文本输入字段1402中接收到来自触笔203的手写输入1406。在一些实施方案中,因为文本输入字段1402仅支持文本输入,所以手写输入1406被解释为文本输入。因此,如图14C所示,在一些实施方案中,将手写输入1406转换为基于字体的文本(例如,根据方法700和/或方法1300)。
在图14D中,在通用输入字段1404中检测到触笔203的触压。在一些实施方案中,因为通用输入字段1404接受并显示文本和媒体两者,所以设备500可接受来自触笔203的作为文本或作为绘图的输入。因此,在一些实施方案中,响应于在通用输入字段1404中检测到触笔203的触压,显示手写输入菜单1410,如图14E所示。在一些实施方案中,手写输入菜单1410是包括用于使用触笔生成内容的一个或多个选项的内容输入用户界面。
如图14E所示,手写输入菜单1410包括可选选项1412-1至1412-2、1414-1至1414-4、1416、1418和1419。在一些实施方案中,手写输入菜单1410上显示更少或更多的可选选项。在一些实施方案中,可选选项1412-1对应于撤销选项,可选择该撤销选项以撤销最近执行的功能或操作。在一些实施方案中,可选选项1412-2对应于重做选项,可选择该重做选项以重做最近撤销的功能或操作,或者重新执行最近执行的功能或操作。
在一些实施方案中,可选选项1414-1至1414-4对应于多个绘图工具。在一些实施方案中,绘图工具控制手写输入的形状、尺寸、样式和其他视觉特征。例如,如果选择与文本输入绘图工具对应的可选选项1414-1,则设备500处于文本输入模式,使得来自触笔203的手写输入被解释为输入文本的请求并因此被转换为基于字体的文本。在一些实施方案中,如果选择与钢笔绘图工具对应的可选选项1414-2,则设备500处于钢笔输入模式,使得来自触笔203的手写输入被解释为绘图并因此具有与使用钢笔绘图相关联的视觉特征(例如,中等尺寸的线)。在一些实施方案中,如果选择与标记笔绘图工具对应的可选选项1414-3,则设备处于标记笔输入模式,使得来自触笔203的手写输入被解释为绘图并具有与使用标记笔绘图相关联的视觉特征(例如,更粗且任选地矩形的线)。在一些实施方案中,如果选择与铅笔绘图工具对应的可选选项1414-4,则设备处于铅笔输入模式,使得来自触笔203的手写输入被解释为绘图并具有与使用铅笔绘图相关联的视觉特征(例如,细线)。在一些实施方案中,可在手写输入菜单1410上显示更多或更少的绘图工具。
在一些实施方案中,可选选项1416是与所选择的绘图工具(例如,在图14E中,文本输入绘图工具)对应的一组选项。在一些实施方案中,可选选项1416包括(例如,在被选择时)用于改变由触笔203输入的文本的字体、字体尺寸或其他特征(诸如下划线、斜体、粗体等)的选项。在一些实施方案中,可选选项1416包括(例如,在被选择时)用于附加照片或文件的选项。在一些实施方案中,可选择可选选项1418以显示用于输入文本的软键盘。在一些实施方案中,可选择可选选项1419以显示第二组选项(例如,显示手写输入菜单1410的另一“页面”或“标签”)。
在图14F中,在选择与文本输入绘图工具对应的可选选项1414-1时,在通用输入字段1404中接收到来自触笔203的手写输入1408-1。在一些实施方案中,因为选择文本输入绘图工具,所以手写输入1408-1被解释为文本。因此,如图14H所示,将手写输入1408-1转换为基于字体的文本(例如,根据方法700和/或方法1300)。
在图14H中,接收到选择于钢笔绘图工具对应的可选选项1414-2的用户输入。响应于接收到用户输入,设备500进入钢笔输入模式。在一些实施方案中,如图14I所示,可选选项1414-2的视觉特征更新为显示选择钢笔绘图工具。例如,在图14I中,可选选项1414-2比其他可选选项更突出地延伸并显示(例如,钢笔比其他绘图工具升出更高)。在一些实施方案中,响应于进入钢笔输入模式(例如,响应于选择可选选项1414-2),可选选项1416更新为反映可用于钢笔绘图工具的选项。例如,可选选项1416包括(例如,在被选择时)用于控制绘图的颜色的一个或多个颜色选项。在一些实施方案中,可选选项1416包括调色板选项,对该调色板选项的选择使得显示用户能够从中选择期望颜色的调色板。
在图14J中,当选择钢笔绘图工具执行绘图1408-2时,接收到来自触笔203的用户输入。在一些实施方案中,因为在设备处于钢笔输入模式时输入绘图1408-2,所以绘图1408-2不被解释为文本并且不被转换为基于字体的文本。相反,在一些实施方案中,绘图1408-2被解释为绘图。在图14K中,检测到触笔203的抬离,但是绘图1408-2未被转换为基于字体的文本。在一些实施方案中,将绘图1408-2解释为绘图包括将绘图1408-2转换为绘图文件格式(例如,BMP、JPG等)并且将绘图嵌入通用输入字段1404中的相应位置处。
在图14L中,当仍然选择钢笔绘图工具时,在通用输入字段1404中接收到手写输入1408-3。在一些实施方案中,由于仍然选择钢笔绘图工具,因此手写输入1408-3不被解释为输入基于字体的文本的请求,尽管事实上手写1408-3包括手写字词和字母。因此,如图14M所示,在检测到触笔203的抬离之后,手写输入1408-3不被转换为基于字体的文本。在一些实施方案中,类似于绘图1408-2,手写输入1408-3被转换为绘图文件格式并且嵌入通用输入字段1404中的相应位置处。因此,在一些实施方案中,当未选择文本输入工具时(例如,当选择除了文本输入工具之外的任何绘图工具时),手写输入不改变并且不转换为基于字体的文本,并且保留手写输入的视觉特征。
在图14N中,检测到选择可选选项1419的用户输入。在一些实施方案中,响应于用户输入,将手写输入菜单1410替换为手写输入菜单1420。在一些实施方案中,手写输入菜单1420是与手写输入菜单1410相同的元素,并且手写输入菜单更新为显示手写输入菜单1420的选项(例如,而不是解除第一手写输入菜单元素并显示不同的手写输入菜单元素)。
在一些实施方案中,手写输入菜单1420包括对应于撤销选项的可选选项1422-1,可选择该撤销选项以撤销最近执行的功能或操作。在一些实施方案中,手写输入菜单1420包括对应于重做选项的可选选项1422-2,可选择该重做选项以重做最近撤销的功能或操作,或者重新执行最近执行的功能或操作。在一些实施方案中,手写输入菜单1420包括一组颜色选项1424。在一些实施方案中,该组颜色选项1424包括用于设置手写输入的颜色的一个或多个可选选项。在一些实施方案中,围绕特定颜色选项的光环指示当前选择的颜色选项(例如,围绕黑色选项的光环)。在一些实施方案中,该组颜色选项1424包括显示调色板的可选选项,用户能够从该调色板中选择期望颜色。在一些实施方案中,手写输入菜单1420包括对象插入选项1426。例如,对象插入选项1426包括可选择以将文本框插入通用输入区域1404中的可选选项。在一些实施方案中,对象插入选项1426包括可选择以将几何形状(例如,圆形、正方形、三角形、线等)插入通用输入区域1404中的可选选项。在一些实施方案中,手写输入菜单1420包括重新显示手写输入菜单1410的可选选项1419。在一些实施方案中,手写输入菜单1420可包括比这里示出和讨论的那些可选选项更多或更少的可选选项。
在图14P中,当手写输入菜单未显示在显示器上时,在触摸屏504上接收到由手指202进行的用户输入(例如,轻击、触摸、保持等)。在一些实施方案中,响应于接收到用户输入,设备500显示软键盘1430,如图14Q所示。在一些实施方案中,软键盘1430是模拟物理键盘布局的虚拟键盘。在一些实施方案中,可选择软键盘上的字母以将相应字母插入通用输入字段1404中。
在图14R中,然后在显示器上显示软键盘1430时,在通用输入字段1404中接收到来自触笔203的用户输入。在一些实施方案中,响应于用户输入,设备500将软键盘1430的显示替换为手写输入菜单1410的显示,如图14S所示。在一些实施方案中,软键盘1430是与手写输入菜单1410不同的元素。在一些实施方案中,软键盘1430是与手写输入菜单1410相同的元素,并且仅仅是手写输入菜单1410的不同输入模式。应当理解,如果在显示手写输入菜单1410时在触摸屏504上接收到由手指202进行的用户输入,则设备500任选地手写输入菜单1410的显示替换为软键盘1430。
在图14T中,接收到选择可选选项1418的用户输入。在一些实施方案中,响应于选择可选选项1418的用户输入,将手写输入菜单1410替换为软键盘1430,如图14U所示。在一些实施方案中,软键盘1430包括用于显示手写输入菜单1410的可选选项1432。如图14U所示,接收到选择可选选项1432的用户输入。响应于用户输入,显示手写输入菜单1410,如图14V所示。
图15A至图15F是示出呈现手写输入菜单的方法1500的流程图。方法1500任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法1500中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1500提供了呈现手写输入菜单的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示包括第一内容输入区域的用户界面(1502),诸如图14A所示(例如,具有用户能够在其中输入文本、图像、多媒体等的内容输入区域的用户界面)。例如,在电子邮件撰写用户界面中,用于电子邮件的正文的内容输入区域能够接收(并通过电子邮件传输)文本、静态图像、视频、附件等。
在一些实施方案中,在显示用户界面时,电子设备经由触敏显示器检测与发起将内容输入到内容输入区域中的请求对应的用户输入,该请求包括在内容输入区域中检测到接触(1504),诸如图14D所示(例如,在内容输入区域中接收到来自输入设备诸如触笔、键盘、鼠标或用户的手指的输入)。
在一些实施方案中,响应于检测到用户输入(1506),根据确定用户输入包括利用手指在内容输入区域中进行的输入,电子设备在触敏显示器上显示内容输入用户界面,该内容输入用户界面包括用于将文本输入到内容输入区域中的软键盘(1508),诸如图14Q所示(例如,如果在内容输入区域中接收到来自除了触笔之外的输入设备诸如手指的输入,则在显示器上显示虚拟键盘(例如,软键盘))。在一些实施方案中,键盘显示在菜单元素中,该菜单元素提供用于控制来自相应输入设备(例如,手指)的输入的多个选项。在一些实施方案中,菜单元素包括虚拟键盘(例如,任选地不显示用于控制输入的选项)。在一些实施方案中,菜单包括用于控制由软键盘输入的字符(例如,字体、字体尺寸、颜色等)的选项。在一些实施方案中,菜单包括解除软键盘的选项。在一些实施方案中,菜单包括选项以显示在接收到来自手写输入设备的输入时所显示的选项。在一些实施方案中,能够通过使用触笔、手指或其他输入设备与虚拟键盘交互(例如,选择虚拟键盘上的按键)来输入文本。
在一些实施方案中,响应于检测到用户输入(1506),根据确定用户输入包括利用触笔在内容输入区域中进行的输入,电子设备在触敏显示器上显示用于使用触笔生成内容的内容输入用户界面而不显示用于将(基于字体的)文本输入到内容输入区域中的软键盘(1510),诸如图14E所示(例如,如果接收到来自触笔或其他手写设备的输入,则显示菜单,该菜单提供多个选项以用于控制来自相应手写设备的输入)。在一些实施方案中,菜单是与响应于接收到来自手指(或除了触笔之外的其他输入设备)的输入而显示的菜单相同的菜单。在一些实施方案中,当响应于接收到来自触笔的输入而显示时,菜单显示比响应于接收到来自手指(或除了触笔之外的其他输入设备)的输入而显示的选项更多或更少的选项。例如,菜单包括一个或多个手写工具,诸如文本输入工具、绘图工具、突出显示工具等。在一些实施方案中,选择文本输入工具使得设备进入文本输入模式,在文本输入模式中在内容输入区域中接收到的来自输入设备的手写输入被解释为并被转换为计算机文本(例如,如参考方法700所述)。在一些实施方案中,选择绘图工具使得设备进入绘图模式,在绘图模式中在内容输入区域中接收到的手写输入被解释为绘图,并且该输入不被转换为计算机文本。在一些实施方案中,菜单不包括虚拟键盘(例如,软键盘),因为例如能够使用手写输入将文本输入到内容输入区域。在一些实施方案中,能够使用触笔(例如,根据方法700和/或1300,在显示或不显示虚拟键盘的情况下)将文本输入到内容输入区域中。在一些实施方案中,响应于在菜单上选择显示虚拟键盘的可选选项而显示虚拟键盘。在一些实施方案中,能够通过使用触笔、手指或其他输入设备与虚拟键盘交互(例如,选择虚拟键盘上的按键)来输入文本。
上述提供内容输入选项的方式(例如,通过在接收到来自手指的输入时显示包括软键盘的内容输入用户界面,并且在接收到来自触笔的输入时显示没有软键盘的内容输入用户界面)允许电子设备向用户提供用于将内容输入到内容输入区域中的特定于上下文的菜单(例如,通过确定如果用户正在使用其手指输入内容则应显示虚拟键盘,并且通过确定如果用户正在使用触笔则不显示虚拟键盘(例如,因为手写输入任选地被转换为计算机文本)并且相应地显示适当的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于用户的输入设备来向用户提供适当的选项,而无需用户导航到单独的菜单或执行附加输入以达到相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示包括用于将文本输入到内容输入区域中的软键盘的内容输入用户界面时,电子设备经由触敏显示器检测内容输入区域中的第二用户输入(1512),诸如图14R所示。在一些实施方案中,响应于检测到第二用户输入(1514),根据确定第二用户输入包括利用触笔在内容输入区域中进行的输入,电子设备停止显示软键盘(1516),诸如图14S所示(例如,当正在显示器上显示软键盘时接收到来自触笔的输入)。在一些实施方案中,响应于接收到来自触笔的输入,移除软键盘的显示。在一些实施方案中,保持显示内容输入用户界面,并且将软键盘替换为用于控制来自触笔(例如,文本输入工具、绘图工具等)的输入的一个或多个选项。在一些实施方案中,内容输入用户界面也从显示器中移除,并且不向用户显示选项。
上述移除软键盘的显示的方式(例如,通过接收到来自触笔的输入并移除软键盘的显示)允许电子设备更新用于输入内容的菜单以在不再需要键盘时移除键盘(例如,通过确定如果用户正在使用触笔则虚拟键盘是不必要的(例如,因为手写输入任选地被转换为基于字体的文本,使得软键盘是不必要的)),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于用户切换到使用触笔而自动向用户提供适当的选项,而无需用户导航到单独的菜单或执行附加输入以移除软键盘),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示用于使用触笔生成内容的内容输入用户界面而不显示用于将文本输入到内容输入区域中的软键盘时(例如,在显示当用户利用触笔与显示器交互时显示的菜单时),电子设备经由触敏显示器检测内容输入区域中的第二用户输入(1518),诸如图14P所示。
在一些实施方案中,响应于检测到第二用户输入(1520),根据确定第二用户输入包括利用手指在内容输入区域中进行的输入,电子设备在触敏显示器上显示软键盘(1522),诸如图14Q所示(例如,如果显示不具有软键盘的菜单并且接收到来自手指(例如,来自除了触笔之外的输入设备)的输入,则更新菜单以包括软键盘或以其他方式显示软键盘)。在一些实施方案中,更新菜单包括移除当用户使用触笔与设备交互时向用户显示的选项。在一些实施方案中,更新菜单包括切换到虚拟键盘模式。
上述显示软键盘的方式(例如,通过接收到来自手指的输入并显示软键盘)允许电子设备更新用于输入内容的菜单以在可能需要键盘时显示键盘(例如,通过确定如果用户正在利用其手指交互(例如,输入文本)则可能需要虚拟键盘),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过基于用户切换到使用其手指而自动向用户提供软键盘,而无需用户导航到单独的菜单或执行附加输入以显示软键盘),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,根据确定内容输入区域满足一个或多个标准,在不显示用于将文本输入到内容输入区域中的软键盘的情况下,用于使用触笔生成内容的内容输入用户界面包括用于使用触笔控制将绘图内容输入到内容输入区域中的一个或多个工具(1524),诸如图14E所示(例如,显示内容输入菜单中的绘图工具)。例如,绘图工具包括用于选择或改变绘图的颜色的可选选项、用于改变绘图的尺寸或形状的可选选项、切换到突出显示模式的可选选项、切换到文本输入模式的可选选项等。在一些实施方案中,如果内容输入模式兼容同时显示或以其他方式接受文本和绘图作为用户输入,则满足标准。在一些实施方案中,如果不满足标准(例如,如果内容输入区域仅接受文本或仅接受绘图),则内容输入用户界面不显示或仅显示有选项的子集(例如,与内容输入区域兼容的选项)。例如,如果内容输入区域仅与文本而不是绘图兼容,则不显示用于改变绘图的尺寸或形状的可选选项或者用于切换到突出显示模式的可选选项等。
上述显示用于控制来自触笔的绘图的工具的方式(例如,通过在内容输入区域满足特定标准(例如,接受绘图输入)时自动显示绘图选项)允许电子设备基于内容输入区域的特征来更新菜单(例如,通过确定内容输入区域支持绘图并显示供用户控制绘图内容的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动向用户提供基于内容输入区域的兼容性可用的选项,而无需用户导航到单独的菜单或执行附加输入以激活相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当内容输入区域能够接受绘图输入时,内容输入区域满足该一个或多个标准,并且当内容输入区域不能够接受绘图输入时,内容输入区域不满足该一个或多个标准(1526),诸如图14B和图14E所示(例如,如果内容输入区域能够接受来自用户的绘图,则显示用于控制绘图输入的选项)。在一些实施方案中,如果内容输入区域不能接受来自用户的绘图,则不显示用于控制绘图输入的选项。
上述显示用于控制来自触笔的绘图的工具的方式(例如,通过在内容输入区域支持绘图选项时自动显示绘图选项)允许电子设备基于内容输入区域的特征来更新菜单(例如,通过确定内容输入区域支持绘图并显示供用户控制绘图内容的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动向用户提供基于内容输入区域的兼容性可用的选项,而无需用户导航到单独的菜单或执行附加输入以激活相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,用于使用触笔生成内容的内容输入用户界面包括(1528):用于使用触笔控制将绘图内容输入到内容输入区域中的一个或多个工具(1530)(例如,铅笔工具、钢笔工具、突出显示工具、标记笔工具、炭笔工具等);以及用于使用来自触笔的手写输入将基于字体的文本输入到内容输入区域中的相应文本输入工具(1532),诸如图14E所示(例如,其中手写输入被解释并转换为文本的文本输入工具(例如,根据方法700和/或1300))。
上述显示用于控制来自触笔的输入的工具的方式(例如,通过在内容输入区域支持绘图和文本两种输入时显示用于绘图和输入文本的选项)允许电子设备基于内容输入区域的特征来更新菜单(例如,通过确定内容输入区域支持绘图和文本并显示供用户输入绘图内容和文本的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动向用户提供基于内容输入区域的兼容性可用的选项,而无需用户导航到单独的菜单或执行附加输入以激活相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,用于使用触笔生成内容的内容输入用户界面包括(1534):第一组一个或多个工具,包括用于使用触笔控制将绘图内容输入到内容输入区域中的该一个或多个工具(1536),诸如图14E所示(例如,用于控制绘图内容的一个或多个可选选项,诸如用于控制绘图输入的颜色的可选选项(例如,调色板和一种或多种预设颜色));第二组一个或多个工具,包括用于控制将基于字体的文本输入到内容输入区域中的相应文本输入工具(1538),诸如图14O所示(例如,包括其中手写输入被解释并转换为基于字体的文本的文本输入工具的一组选项);以及可选选项,该可选选项用于在内容输入用户界面中交替显示第一组一个或多个工具和第二组一个或多个工具(1540)中,诸如图14O所示(例如,内容输入用户界面上的可选选项,用于切换显示第一组选项和显示第二组选项的菜单)。
上述显示用于控制来自触笔的输入的工具组的方式(例如,通过在第一组工具和第二组工具之间切换的可选选项)允许电子设备提供多个选项并基于使用来组织选项(例如,通过将工具组织成第一组选项或第二组选项并且提供在从一组选项中选择和从第二组选项中选择之间切换的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供基于内容输入区域的兼容性可用的多组选项,并且允许用户在两组之间切换,而无需用户导航到单独的菜单或执行附加输入以访问相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示包括用于将文本输入到内容输入区域中的软键盘的内容输入用户界面时,电子设备经由触敏显示器检测与停止显示软键盘的请求对应的输入,其中在显示用于修改内容输入区域中的文本的一个或多个可选选项的同时显示软键盘(1542),诸如图14U所示(例如,接收到从内容输入用户界面中移除软键盘的显示的输入,诸如接收到来自触笔的输入)。在一些实施方案中,内容输入用户界面包括用于修改由软键盘输入的文本的选项,诸如字体尺寸、字体样式(例如,粗体、斜体、下划线等)。
在一些实施方案中,响应于接收到与停止显示软键盘的请求对应的输入(1544),电子设备停止显示软键盘,同时保持在用户界面中显示用于修改内容输入区域中的文本的该一个或多个可选选项(1546),诸如图14V所示(例如,响应于停止显示软键盘的请求而移除软键盘的显示,但是保持用于修改输入的文本的可选选项)。在一些实施方案中,选项作为可选选项显示在内容输入用户界面中,其不同于与软键盘同时显示的选项。在一些实施方案中,选项显示在软键盘中,并且在解除软键盘之后,选项重新定位到内容输入用户界面。
上述保持显示用于修改文本的选项的方式(例如,通过在显示软键盘时显示用于修改文本的选项,并且在解除软键盘之后保持用于修改文本的选项)允许电子设备继续向用户提供用于修改文本的选项(例如,在用户可能会想要选项时(例如,因为用户正在使用触笔而不是软键盘来输入文本),即使在解除软键盘之后仍然保持显示用于修改文本的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户开始使用触笔输入文本时保持用于修改文本的选项,而无需用户导航到单独的菜单或执行附加输入以访问相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示包括用于将文本输入到内容输入区域中的软键盘的内容输入用户界面时,电子设备经由触敏显示器检测与停止显示软键盘的请求对应的输入,其中软键盘包括一个或多个第一按键和一个或多个第二按键(1548),诸如图14U所示(例如,软键盘包括多个可选选项和/或按键,诸如输入按钮和/或“go”按钮(例如,用于执行到网站的导航))。
在一些实施方案中,响应于接收到与停止显示软键盘的请求对应的输入(1550):电子设备停止显示软键盘(1552);并且电子设备在用户界面中显示与该一个或多个第一按键对应的一个或多个可选选项(1554),诸如图14V所示(例如,保持显示先前显示在软键盘上的可选选项中的一个或多个可选选项,诸如输入按钮和/或“go”按钮)。在一些实施方案中,保持显示该一个或多个可选选项包括将可选选项重新定位到用户界面上不同于内容输入用户界面(例如,不同于内容输入菜单)的另一位置。在一些实施方案中,将可选选项重新定位到当前正在显示的应用程序的用户界面的菜单。例如,将输入或“go”按钮重新定位到浏览器应用程序的URL导航菜单。
上述保持显示一个或多个可选选项的方式(例如,通过在解除软键盘之后将一个或多个选项从软键盘重新定位到应用程序的用户界面)允许电子设备继续向用户提供选择键盘选项(例如,通过在用户可能会想要选项时,即使在解除软键盘之后仍然保持显示选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户解除键盘但仍在与用户界面交互时保持选项,而无需用户导航到单独的菜单或执行附加输入以访问相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
应当理解,对图15A至图15F中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100、1300、1600、1800、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图15A至图15F所述的方法1500。例如,上文参考方法1500所述的呈现手写输入菜单的操作任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、控制手写输入的特征、呈现自动补全建议以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、900、1100、1300、1600、1800、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图15A至图15F描述的操作任选地由图1A-图1B中所描绘的部件来实现。例如,显示操作1502、1508、1510、1522和1554任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
图16A至图16D是示出基于在手写输入菜单上的选择来控制手写输入的特征的方法1600的流程图。方法1600任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法1600中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1600提供了基于在手写输入菜单上的选择来控制手写输入的特征的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示内容输入用户界面(1602),诸如图14A所示(例如,具有用户能够在其中输入文本、图像、多媒体等的内容输入区域的用户界面)。例如,在电子邮件撰写用户界面中,用于电子邮件的正文的内容输入区域能够接收(并通过电子邮件传输)文本、静态图像、视频、附件等。
在一些实施方案中,在显示内容输入用户界面时,电子设备经由触敏显示器接收与内容输入用户界面对应的手写用户输入(1604),诸如图14F所示(例如,在触敏显示器上接收手写输入(例如,使用触笔、手指或其他书写设备))。在一些实施方案中,在能够接收和/或显示文本、静态图像、视频、附件等的用户界面元素中接收输入。
在一些实施方案中,响应于接收到手写用户输入(1606),根据确定在检测到手写用户输入时选择了文本输入绘图工具,电子设备在内容输入用户界面中发起将手写用户输入转换为与手写用户输入对应的第一序列的基于字体的文本字符的过程(1608),诸如图14G所示(例如,显示手写菜单,该手写菜单包括用于选择相应绘图工具的一个或多个可选选项,包括用于选择文本输入绘图工具的可选选项)。在一些实施方案中,文本输入绘图工具允许用户执行手写输入,并且允许手写输入被解释为文本并被转换为基于字体的文本。在一些实施方案中,如果选择文本输入绘图工具,则用户的手写输入被解释为并被转换为基于字体的文本(例如,如参考方法700和/或方法1300所述)。在一些实施方案中,当从手写菜单中选择文本输入绘图工具时,设备进入文本输入模式。
在一些实施方案中,响应于接收到手写用户输入(1606),根据确定在检测到手写输入时选择了文本输入绘图工具之外的绘图工具,电子设备在内容输入用户界面中显示手写用户输入的视觉表示,而不发起将手写用户输入转换为第一序列的基于字体的文本字符的过程(1610),诸如图14K至图14M所示(例如,当未选择文本输入绘图工具并且选择了手写菜单中的另一绘图工具时,则手写输入被解释为绘图,并且输入不被转换为基于字体的文本(例如,手写输入显示在显示器上,并且不被移除并替换为计算机文本))。在一些实施方案中,如果选择了文本输入绘图工具之外的绘图工具,则设备进入绘图模式。在一些实施方案中,手写输入被转换为图像或图形元素,但除此以外在视觉上基本上不改变(例如,不被移除并且不被转换为计算机文本)。
上述解释手写输入的方式(例如,通过在文本输入模式活动时将手写用户输入转换为文本,并且在文本输入模式不活动时不转换手写用户输入)允许电子设备向用户提供在书写文本和不书写文本之间切换的能力(例如,通过在文本输入模式活动时将手写输入转换为文本,或者在文本输入模式不活动时使手写输入不被修改),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户通过切换文本输入模式而使用相同的手写输入来输入文本或绘制图像,而无需用户切换到不同的输入设备或导航到单独的用户界面以在输入文本和绘制图像之间切换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,根据确定选择文本输入绘图工具,电子设备在内容输入用户界面中显示用于控制基于字体的文本在内容输入用户界面中的格式化的一个或多个选项(1612),诸如图14E所示(例如,当选择文本输入绘图工具并且系统处于文本输入模式时(例如,手写输入被转换为基于字体的文本),则内容输入用户界面包括用于格式化经转换的基于字体的文本的选项)。例如,内容输入用户界面包括用于改变字体、字体尺寸、字体样式(粗体、斜体、下划线等)的选项。
上述呈现输入选项的方式(例如,通过在选择文本输入绘图工具时呈现基于字体的文本格式化选项)允许电子设备向用户提供用于选择的输入操作的最相关选项(例如,通过在文本输入绘图工具使得手写输入能够转换为基于字体的文本时呈现基于字体的文本格式化选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动确定用户可能期望的选项,而无需用户导航到单独的用户界面或执行附加输入以访问相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,根据确定选择文本输入绘图工具之外的绘图工具,电子设备在内容输入用户界面中显示用于控制将绘图输入输入到内容输入用户界面中的一个或多个选项(1614),诸如图14I所示(例如,当选择其他绘图工具诸如铅笔工具、钢笔工具、标记笔工具等时,则内容输入用户界面包括用于控制手写绘图的选项)。例如,内容输入用户界面包括用于改变绘图的颜色和尺寸的选项。在一些实施方案中,向用户呈现一个或多个预选颜色选项。在一些实施方案中,可选择可选选项以显示用户能够在其中选择颜色的全彩光谱。
上述呈现输入选项的方式(例如,通过在选择文本输入绘图工具之外的绘图工具时呈现绘图输入选项)允许电子设备向用户提供用于选择的输入操作的最相关选项(例如,通过在选择绘图工具时呈现绘图选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动确定用户可能期望的选项,而无需用户导航到单独的用户界面或执行附加输入以访问相同的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,内容输入用户界面包括在内容输入用户界面中显示用于输入基于字体的文本的键盘的可选选项(1616),诸如图14T所示(例如,内容输入用户界面包括在内容输入用户界面中显示虚拟键盘或软键盘的可选选项,该可选选项在被选择时使得显示虚拟键盘或软键盘)。在一些实施方案中,虚拟键盘或软键盘替换显示在内容输入用户界面中的选项(例如,键盘是内容输入用户界面中呈现的唯一元素)。在一些实施方案中,虚拟键盘或软键盘包括解除虚拟或软键盘并恢复在呈现虚拟键盘或软键盘之前呈现的选项的可选选项。
上述显示虚拟键盘的方式(例如,通过呈现显示虚拟键盘的可选选项)允许电子设备向用户提供切换到使用虚拟键盘输入文本的选项(例如,通过呈现显示虚拟键盘以输入文本的可选选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户从使用手写输入来输入文本切换到使用熟悉的虚拟键盘来输入文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,响应于接收到手写用户输入,电子设备在内容输入用户界面中显示手写用户输入的视觉表示(1618),诸如在图14F和图14L所示(例如,在接收到输入时,在显示器上显示手写输入的迹线,而不管选择或以其他方式激活哪个绘图工具)。换句话讲,当用户在触敏显示器上“绘制”时,显示器在接收到输入的位置处显示用户的手写输入。更一般地,在一些实施方案中,在触敏显示器上任何接收到手写输入的地方显示手写输入迹线。
在一些实施方案中,在内容输入用户界面中显示手写用户输入的视觉表示之后(1620),根据确定在检测到手写用户输入时选择了文本输入绘图工具,电子设备停止在内容输入用户界面中显示手写用户输入的视觉表示,并且将手写用户输入的视觉表示转换为基于字体的文本(1622),诸如图14G所示(例如,如果选择了文本输入绘图工具,则将手写输入转换为基于字体的文本(例如,以相对于方法700和/或方法1300所述的方式))。在一些实施方案中,转换手写输入包括停止显示手写输入的迹线并显示基于字体的文本。
在一些实施方案中,在内容输入用户界面中显示手写用户输入的视觉表示之后(1620),根据确定在检测到手写用户输入时未选择文本输入绘图工具,电子设备保持在内容输入用户界面中显示手写用户输入的视觉表示,而不将手写用户输入的视觉表示转换为基于字体的文本(1624),诸如图14M所示(例如,如果选择了文本输入绘图工具之外的绘图工具,则不将手写用户输入转换为基于字体的文本,而是保持手写用户输入的显示)。换句话讲,手写用户输入不被解释为文本,而是被解释为绘图,并且因此在内容输入用户界面中被显示为绘图。在一些实施方案中,手写用户界面被转换为绘图文件格式(例如,嵌入式BMP文件、嵌入式JPG文件或任何其他合适的图片对象等),但除此之外在视觉上不改变。
上述在显示器上显示手写输入的方式(例如,通过在显示器上接收到输入时总是显示手写输入,而不管选择了什么工具,并且仅在手写输入被转换为基于字体的文本的情况下(例如,当选择文本输入绘图工具时)移除手写输入)允许电子设备向用户提供关于用户的手写输入的视觉反馈(例如,通过每当接收到手写输入时显示手写输入,而不管选择了什么工具如何,因此允许用户查看用户正在输入的内容),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过每当用户正在内容输入用户界面中执行手写输入时向用户提供用户输入的反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,根据确定在检测到手写输入时选择了文本输入绘图工具之外的绘图工具而显示的手写用户输入的视觉表示包括具有相应外观的线(1626),诸如图14E所示(例如,当选择了文本输入绘图工具之外的绘图工具(例如,钢笔工具、铅笔工具、标记笔工具等)时,在接收到输入时,在显示器上显示手写输入的迹线)。
在一些实施方案中,根据确定绘图工具是第一绘图工具,相应外观是第一外观(1628),诸如图14E所示(例如,如果选择的工具是相应工具,则手写输入的迹线具有第一外观)。例如,铅笔工具具有小厚度,而钢笔工具具有中等厚度并且标记笔工具具有大厚度。在一些实施方案中,基于所选择的工具,工具具有特定形状和尺寸。
在一些实施方案中,根据确定绘图工具是不同于第一绘图工具的第二绘图工具,相应外观是不同于第一外观的第二外观(1630),诸如图14E所示(例如,如果工具是第二绘图工具,则外观对应于所选择的第二绘图工具)。
上述在显示器上显示手写输入的方式(例如,通过基于选择的绘图工具以不同外观显示手写输入)允许电子设备向用户提供用于模仿不同绘图工具的选项(例如,通过以基于选择的特定绘图工具的视觉特征显示手写输入),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供使用相同的输入设备模仿不同绘图设备的能力,而无需用户导航到单独的用户界面或使用单独的输入设备来实现不同的绘图样式),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
应当理解,对图16A至图16D中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100、1300、1500、1800、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图16A至图16D所述的方法1600。例如,基于上文参考方法1600所述的基于在手写输入菜单上的选择来控制手写输入的特征的操作任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、呈现自动补全建议以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、900、1100、1300、1500、1800、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图16A至图16D所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1502和接收操作1510、1512和1542任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
用于手写输入的自动补全建议
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。下文所述的实施方案提供了电子设备接受来自手写输入设备(例如,触笔)的手写输入并向用户提供自动补全建议的方式,从而增强了用户与设备的交互。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图17A至图17W示出了电子设备呈现自动补全建议的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图18A至图18I所述的过程。
图17A至图17W示出了电子设备500呈现自动补全建议的操作。图17A示出了包括触摸屏504的示例性设备500。在图17A中,设备500正在显示对应于笔记应用程序的用户界面1700(例如,类似于用户界面620、800、1000和1210)。在一些实施方案中,用户界面1700包括文本输入区域1702,用户能够(例如,经由软键盘或触笔203,如上文相对于方法700、1100、1300和1800所述)在其中输入文本。
在图17B中,在文本输入区域1702中接收到来自触笔203的手写输入1704。在图17B中,手写输入1704的一部分已被转换为基于字体的文本(例如,“My”)(例如,诸如上文相对于方法700和1300所述),而手写输入1704的第二部分尚未被转换为基于字体的文本(例如,“br”)(例如,诸如上文相对于方法700和1300所述)。在图17C中,在书写一个或多个字符(例如,“br”)之后检测到触笔203的抬离。在图17D中,响应于检测到触笔203的抬离,设备500显示自动补全建议1706。在一些实施方案中,在用户已停止执行手写输入阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒)之后,显示自动补全建议1706,其中用户从触摸屏504抬离或不抬离触笔203。在一些实施方案中,如果用户未抬离触笔203或未停止手写输入阈值时间量,则不显示自动补全建议1706。在一些实施方案中,自动补全建议1706包括一个或多个字符(例如,预测字符、建议字符),当这些字符添加到用户的手写输入时产生给定的建议字词(例如,预测字词)。在一些实施方案中,建议字词基于用户的手写输入的上下文(例如,句子、文本输入字段的类型)。在一些实施方案中,建议字词是基于用户的手写输入的最可能字词。在一些实施方案中,建议字词基于其他用户(例如,除了设备的用户之外)的使用。在一些实施方案中,如果建议字词(例如,用户的手写输入和建议字符的组合)是唯一字词,则显示自动补全建议。例如,在一些实施方案中,如果向手写输入添加字符仅可变成有限数量的字词(例如,10个字词、20个字词、50个字词),则提供自动补全建议。在一些实施方案中,如果字词不是唯一字词(例如,大于阈值数量的潜在字词),则不显示自动补全建议。
在一些实施方案中,以与手写输入1704不同的视觉外观显示自动补全建议1706(例如,以指示自动补全建议1706是建议并且尚未输入到文本输入字段中)。例如,在图17D中,自动补全建议1706为灰色(例如,与黑色的手写输入1704形成对比)。在一些实施方案中,自动补全建议1706具有透明度。在一些实施方案中,自动补全建议1706具有最终基于字体的文本的字体样式(例如,手写输入1704最终将被转换为的字体类型)。在一些实施方案中,自动补全建议1706的尺寸匹配手写输入1704的尺寸(例如,高度、宽度和/或字符间距等)。
如图17D所示,在一些实施方案中,自动补全建议1706与手写输入1704呈线性显示。例如,如果手写输入的方向是从左往右,则仅在手写输入的右侧显示自动补全建议1706(例如,以得到完整的建议字词)。在一些实施方案中,自动补全建议1706匹配手写输入的字符间距。例如,如果手写输入1704中的字符之间的空间是窄间距,则自动补全建议1706中的字符之间的空间任选地是窄间距(例如,任选地与手写输入1704中的间距相同),并且如果手写输入1704中的字符之间的间距是宽间距,则自动补全建议1706中的字符之间的间距任选地是宽间距。在一些实施方案中,基于手写输入1704的语言或手写输入1704已书写的方向来确定手写输入的方向。在一些实施方案中,基于手写输入1704来确定语言。在一些实施方案中,语言是系统的默认输入语言(例如,或任选地键盘语言设置)。因此,在一些实施方案中,自动补全建议显示的位置取决于特定语言的书写方向。例如,对于其中字符从上往下(例如,中文)或从右往左(例如,阿拉伯文)书写的语言,则自动补全建议任选地分别显示在手写输入的下方或左侧。
图17E至图17H示出了设备500显示自动补全提示1708。在一些实施方案中,自动补全提示1708是下划线动画,以指示在自动补全建议1706下划线将接受自动补全建议1706以输入到文本输入区域1702中。在一些实施方案中,自动补全提示1708在自动补全建议1706的左端下方开始下划线到自动补全建议1706的右端下方,如图17E至图17G所示。在一些实施方案中,在完成在自动补全建议1706下划线的动画之后,不再显示自动补全提示1708。在一些实施方案中,每当显示自动补全建议时,都显示自动补全提示1708。在一些实施方案中,每当显示自动补全建议时,都不显示自动补全提示1708。在一些实施方案中,每个设备仅显示自动补全提示1708一次。在一些实施方案中,为每个用户显示自动补全提示1708一次。在一些实施方案中,每次设备使用会话(例如,从设备被唤醒时到其进入睡眠状态时)显示自动补全提示1708一次。在一些实施方案中,每个用户界面显示自动补全提示1708一次(例如,每个网页显示一次,每个应用用户界面显示一次等)。在一些实施方案中,每个文本输入字段显示自动补全提示1708一次。在一些实施方案中,一直显示自动补全提示1708,直到用户执行自动补全接受手势。在一些实施方案中,自动补全提示1708显示仅预先确定的次数(例如,5次、10次等)。
在图17I中,用户使用触笔203恢复在自动补全建议1706顶部书写的手写输入1704(例如,继续手写输入1704)。在一些实施方案中,一旦(例如,响应于)设备500检测到用户继续手写输入,就从显示器中移除先前的自动补全建议(例如,“ief”)。在一些实施方案中,在显示器上保持先前的自动补全建议(例如,直到自动补全建议1706更新)。
在一些实施方案中,响应于继续手写输入,自动补全建议1706更新为基于用户已书写的新字符来建议新字符,如图17J所示。在一些实施方案中,在用户暂停阈值时间量和/或抬离触笔203之后(例如,如上文相对于图17D所述),显示(例如,更新)自动补全建议1706。在一些实施方案中,当用户完成书写相应字符时(例如,无需等待触笔203的抬离和/或无需等待用户暂停手写输入阈值时间量),显示(例如,更新)自动补全建议1706。例如,在一些实施方案中,如果显示自动补全建议1706,则连续显示(并更新)该建议,直到用户完成书写字词或接受自动补全建议。
如图17J所示,自动补全建议1706更新为考虑已经由手写输入书写的新字符,并且任选地建议不同字符组(例如,“thers”)以产生不同的字词(例如,“brothers”)。在图17K中,用户使用触笔203继续在自动补全建议1706顶部书写的手写输入1704。在一些实施方案中,用户的继续手写输入1704是与向用户建议的字符相同的字符。在一些实施方案中,响应于用户提供与自动补全建议1706中的下一个字符是相同字符的手写输入,自动补全建议1706不更新为建议新一组字符,如图17K所示。在一些实施方案中,自动补全建议1706重新对齐或以其他方式移动以针对距继续手写输入1704的字词间距、宽度和/或高度的任何改变进行调整。
在图17L中,接收到来自触笔203的在自动补全建议1706的一部分(例如,“h”)下划线的用户输入。在一些实施方案中,响应于用户在自动补全建议1706的一部分下划线,设备500更新下划线部分的视觉特征。在一些实施方案中,视觉特征更新为匹配手写输入1704的视觉特征。例如,在图17L中,“h”从灰色(例如,自动补全建议1706的颜色)改变为黑色(例如,手写输入1704的颜色)。
在图17M中,来自触笔203的用户输入继续下划线通过自动补全建议1706的其余部分(例如,“hers”)。在一些实施方案中,响应于用户输入,更新自动补全建议1706的其余部分的视觉特征,类似于如上所述。
在图17N中,在整个自动补全建议1706下划线之后,检测到触笔203的抬离。在一些实施方案中,响应于检测到触笔203的抬离,设备500将自动补全建议1706输入到文本输入区域1702中,如图17N所示。在一些实施方案中,设备500将手写输入1704转换为基于字体的文本,并且插入与对应于手写输入1704的基于字体的文本对齐的(例如,作为基于字体的文本的)自动补全建议(例如,使得对应于手写输入1704的基于字体的文本和自动补全建议形成完整字词)。在一些实施方案中,更新手写输入1704和自动补全建议1706两者的基于字体的文本,使得视觉特征(例如,字体类型、字体尺寸、颜色等)匹配文本输入区域1702中的文本(例如,或任选地文本输入区域1702的默认字体类型、尺寸和颜色)。应当理解,虽然上述公开内容描述了使用下划线手势接受自动补全建议,但是指向自动补全建议的任何手势都是可能的。例如,击穿自动补全建议、环绕自动补全建议画圈等。在一些实施方案中,击穿自动补全建议被解释为拒绝自动补全建议(例如,并且响应于击穿输入,停止显示自动补全建议)。
在一些实施方案中,接受自动补全建议的任何部分(例如,通过下划线或其他手势)使得接受整个自动补全建议。在一些实施方案中,用户能够接受自动补全建议的一部分但不接受其他部分(例如,字符的子集)。例如,在图17O中,接收到来自触笔203的在自动补全建议1706的仅一部分(例如,“her”)下划线的用户输入。在一些实施方案中,响应于用户输入,设备500仅将下划线部分输入(例如,附加)到文本输入区域1702中,如图17P所示,而不将自动补全建议中的“s”输入到文本输入区域1702中。
图17Q至图17W示出了另选的实施方案,其中在弹出窗口用户界面元素中(例如,而不是如上所述与手写输入呈线性)提供自动补全建议。在图17Q中,在文本输入区域1702中接收到来自触笔203的书写字符“b”的手写输入1704。在一些实施方案中,响应于用户书写字符“b”,弹出窗口1712显示在用户界面1700上。在一些实施方案中,弹出窗口1712与手写输入1704相邻地显示(例如,诸如,在上方或下方)。在一些实施方案中,弹出窗口1712包括手写输入的基于字体的字符(例如,“b”)。在一些实施方案中,可选择弹出窗口1712以使得手写输入转换为基于字体的文本(例如,如上文相对于图6R所述)。在一些实施方案中,不可选择弹出窗口1712以使得手写输入转换为基于字体的文本。
在图17R中,手写输入1704继续并书写附加字符(例如,“r”)。在一些实施方案中,响应于继续手写输入1704,弹出窗口1712更新为显示由用户书写的解释字符(例如,“br”)。在图17S中,检测到触笔203的抬离。在一些实施方案中,响应于抬离,弹出窗口1712更新为包括两个区段(例如,如所描绘)。在一些实施方案中,对应于弹出窗口1712的一个区段的文本1712-1是基于用户迄今为止已书写的字母的建议的自动补全字词(例如,“brief”)。在一些实施方案中,文本1712-2对应于弹出窗口1712的另一区段,并且显示迄今为止由用户书写的解释字符(例如,类似于上文相对于图17Q至图17R所述的弹出窗口1712)。在一些实施方案中,可选择文本1712-2以使得相应建议文本输入到文本输入区域1702中并替换已由用户书写的相应字母(例如,“br”)。
在图17T中,用户继续手写输入并书写“o”。在一些实施方案中,响应于继续手写输入,更新弹出窗口1712,使得文本1712-1基于用户的新字符来显示更新的建议字词(例如,“brother”),并且文本1712-2显示迄今为止书写的解释字符(例如,“bro”)。
在图17U中,用户继续手写输入并书写“t”,该字符是与建议字词中的下一个字符相同的字符。在一些实施方案中,响应于用户书写与建议字词中的下一个字符相同的字符,更新弹出窗口1712,使得文本1712-1继续显示相同的建议字词(例如,“brother”),并且文本1712-2更新为显示迄今为止书写的解释字符(例如,“brot”)。
在图17V中,接收到来自触笔203的选择对应于建议字词(例如,“brother”)的文本1712-1的用户输入。在一些实施方案中,响应于选择文本1712-1的用户输入,设备500将文本1712-1输入到文本输入区域1702中作为基于字体的文本,并且替换迄今为止用户书写的字符(例如,“brot”),如图17W所示。在一些实施方案中,输入的基于字体的文本匹配文本输入区域1702的文本输入区域1702中的其他基于字体的文本的字体类型、字体尺寸和/或视觉特征(例如,或任选地默认字体类型、尺寸和/或视觉特征)。
图18A至图18I是示出呈现自动补全建议的方法1800的流程图。方法1800任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法1800中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
如下所述,方法1800提供了呈现自动补全建议的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,诸如图17A所示,与触敏显示器通信的电子设备(例如,包括触摸屏的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏的计算机,诸如设备100、设备300、设备500、设备501或设备591)在触敏显示器上显示用户界面(1802),诸如图17A所示(例如,具有用户能够在其中输入文本的一个或多个文本字段(例如,文本输入区域)的用户界面)。例如,在一些实施方案中,用户界面是具有多个文本字段的表格,并且(例如,利用手指)对特定文本字段的选择任选地显示用于将文本输入到文本字段中的软键盘。在一些实施方案中,用户界面是能够接收并显示来自用户的文本输入的任何用户界面或元素。在一些实施方案中,任选地使用物理键盘将文本输入到相应文本字段和/或用户界面中。
在一些实施方案中,在显示用户界面时,电子设备经由触敏显示器接收第一用户输入,该第一用户输入包括指向用户界面的第一手写输入(例如,在文本字段上或附近接收到手写输入),其中第一手写输入对应于第一字符序列(1804),诸如图17B所示(例如,基于手写输入检测到的字符)。
在一些实施方案中,接收到来自触笔或其他书写设备的用户输入。在一些实施方案中,接收到来自手指的用户输入。在一些实施方案中,在文本字段上或附近的位置处接收到指示将文本输入到文本输入字段中的请求的手写输入。例如,在文本字段中开始的手写输入任选地指示整个手写输入序列旨在被输入到文本字段中,即使该手写输入的一部分延伸到文本字段外。在一些实施方案中,从文本字段外开始但大量手写输入(例如,30%、50%等)落入文本字段内的用户输入任选地被认为意图将文本输入到文本字段中。在一些实施方案中,文本输入字段包括预先确定的误差边际,在误差边际中距文本输入字段一定距离内的手写输入将被认为是文本输入字段内的手写输入。在一些实施方案中,第一字符序列是部分书写字词(例如,不完整字词)。
在一些实施方案中,响应于接收到第一用户输入,电子设备在用户界面中显示第一手写输入的表示(例如,在接收到输入时,在显示器上显示手写输入的迹线)和基于第一手写输入中的第一字符序列而选择的一个或多个预测字符的表示(例如,与手写输入同时显示(例如,与手写输入对齐)对应于字符的基于字体的文本,这些字符如果添加到第一字符序列将完成任选地显示的建议字词,而不显示建议字词的第一部分的基于字体的文本),其中在第一手写输入的表示之后沿书写方向该显示一个或多个预测字符的表示(1806),诸如图17D所示(例如,该一个或多个预测字符沿基于设备的当前语言或定位设置而确定的书写方向(诸如,对于英语、西班牙语、法语是从左往右,对于希伯来语或阿拉伯语是从右往左,或者对于普通话或日语汉字是从上往下)或基于第一手写输入进展的大致方向显示为与手写输入对齐)。
在一些实施方案中,当用户在触敏显示器上“绘制”时,显示器在接收到输入的位置处显示用户的手写输入。在一些实施方案中,在触敏显示器上任何接收到手写输入的地方显示手写输入迹线。在一些实施方案中,如果字符序列是部分书写字词,则电子设备显示建议字符以将用户的部分书写字词完成为建议字词。在一些实施方案中,该一个或多个预测字符是向用户建议的字词的剩余字符(例如,要添加到手写输入以产生预测字词的字符)。在一些实施方案中,在手写输入暂停之后(例如,0.5秒、1秒、2秒、3秒、5秒)显示预测字符。在一些实施方案中,基于用于预测用户的期望字词的一个或多个因素来确定预测字词,这些因素诸如用户或多个用户(例如,该用户之外的用户)使用的流行度、字词的共性、句子的上下文等。
上述向用户建议字词的方式(例如,通过接收手写输入并向用户显示建议字词的其余部分)允许电子设备向用户提供建议字词(例如,通过向用户显示建议字词的其余部分),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过允许用户手写文本并自动确定用户最可能正在书写的字词,并且通过向用户显示字母的其余部分来向用户建议字词),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在显示第一手写输入的表示和该一个或多个预测字符的表示时,电子设备经由该一个或多个输入设备接收包括指向用户界面的第二手写输入的第二用户输入(1808),诸如图17M所示(例如,在文本字段上或附近接收到用户输入)。在一些实施方案中,接收到来自触笔或其他书写设备的用户输入。在一些实施方案中,用户输入是指向第一手写输入和/或该一个或多个预测字符的表示的手势。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(1810),根据确定第二手写输入满足相对于该一个或多个预测字符的表示的一个或多个第一标准,电子设备接受该一个或多个预测字符用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)(1812),诸如图17N所示(例如,如果用户输入是在该一个或多个预测字符下方的下划线手势,则用户输入被解释为接受该一个或多个预测字符的请求)。在一些实施方案中,响应于在该一个或多个预测字符下方的下划线手势,将预测字符输入到用户界面中。在一些实施方案中,在输入预测字符的同时,将手写输入转换为基于字体的文本(例如,然后将预测字符与基于字体的文本对齐)。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(1810),根据确定第二手写输入不满足相对于该一个或多个预测字符的表示的一个或多个第一标准,电子设备放弃接受该一个或多个预测字符用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)(1814),诸如图17J所示(例如,如果用户输入不是在该一个或多个预测字符下方的下划线,则用户输入不是接受该一个或多个预测字符的请求,并且预测字符不输入到用户界面中)。
上述接受预测字符的方式(例如,通过接收指向预测字符的手写输入,并且如果手写输入满足第一标准,则接受预测字符)使得能够利用快速手势接受建议字词,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过根据用户的书写自动向用户建议字词并向用户提供接受建议字词的简单方法,而无需导航到单独的用户界面或执行附加输入以接受建议字词),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在显示第一手写输入的表示和该一个或多个预测字符的表示时,电子设备经由该一个或多个输入设备接收包括指向用户界面的第二手写输入的第二用户输入(1816),诸如图17M所示(例如,在该一个或多个预测字符中的一些或全部预测字符下划线的用户输入)。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(1818),根据确定第二手写输入满足相对于该一个或多个预测字符的表示的第一部分而不是该一个或多个预测字符的表示的第二部分的一个或多个第一标准,电子设备接受与该一个或多个预测字符的表示的第一部分对应的该一个或多个预测字符的子集用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)(1820),诸如图17P所示(例如,如果用户输入是该一个或多个预测字符中的仅一些预测字符(例如,预测字符的第一部分而不是第二部分),则用户输入是仅接受带下划线的一些字符的请求并且仅接受带下划线的字符用于在用户界面上输入)。
在一些实施方案中,已加下划线的该一个或多个字符更新为具有不同的视觉特征(例如,改变颜色、改变不透明度等)以向用户指示用户已接受哪些字符。例如,该一个或多个预测字符显示为灰色文本,并且当用户在字符下划线时,下划线字符变成黑色,指示用户已经接受该字符。在一些实施方案中,在第一部分已输入到文本输入区域中作为输入之后,停止显示该一个或多个预测字符的第二部分。在一些实施方案中,当该一个或多个预测字符的第一部分输入到文本输入区域中时,将手写输入转换为基于字体的文本,并且字符的第一部分和与手写输入对应的基于字体的文本对齐。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(1818),根据确定第二手写输入满足相对于该一个或多个预测字符的表示的第一部分和第二部分的一个或多个第一标准,电子设备接受与该一个或多个预测字符的表示的第一部分和第二部分对应的该一个或多个预测字符的一部分用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)(1822),诸如图17N所示(例如,如果用户输入是在该一个或多个预测字符的第一部分和第二部分下方的下划线手势(例如,而不是预测字符的仅第一部分或不是所有预测字符),则用户输入是仅接受带下划线的那些字符(例如,预测字符的第一部分和第二部分)的请求并且仅接受带下划线的字符用于在用户界面上输入。在一些实施方案中,下划线字符输入到用户界面中并且与手写输入(例如,其任选地已转换为基于字体的文本)对齐。
上述接受预测字符的方式(例如,通过接收在用户想要接受的字符下划线的手写输入)使得能够利用快速手势接受建议字词的一部分,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供接受建议字词的简单方法,而无需导航到单独的用户界面或执行附加输入以接受建议字词),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,接受用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)的一个或多个相应预测字符包括(1824),停止显示第一手写输入的表示和该一个或多个相应预测字符的表示(1826),诸如图17N所示。
在一些实施方案中,接受用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)的一个或多个相应预测字符包括(1824)在用户界面中显示(1828):与第一手写输入对应的第一字符序列的表示(1830),和该一个或多个相应预测字符的表示(1832),诸如图17N所示(例如,在接受该一个或多个预测字符的同时将手写输入转换为基于字体的文本)。在一些实施方案中,这包括移除手写输入和预测字符的显示,并将其替换为与手写输入和所接受的预测字符的组合对应的基于字体的文本。在一些实施方案中,替换显示包括显示手写输入和预测字符转换为最终基于字体的文本的动画,类似于上文相对于方法700所讨论的动画。
上述接受预测字符的方式(例如,通过将手写输入和预测字符两者替换为手写输入和所接受的预测字符的组合的基于字体的文本)使得能够利用快速手势将建议字词用于用户界面中,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在预测字符输入到用户界面中的同时将手写输入转换为基于字体的文本,而无需用户与接受预测字符独立地等待手写输入转换为基于字体的文本),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在接收到满足相对于该一个或多个预测字符的表示的该一个或多个第一标准的第二用户输入时,由于第二用户输入满足该一个或多个预测字符中的相应预测字符的该一个或多个第一标准,因而电子设备改变该一个或多个预测字符中的相应预测字符的显示特征的值(1834),诸如图17L所示(例如,当用户在该一个或多个预测字符的字符下划线时,已加下划线的该一个或多个字符更新为具有不同的视觉特征(例如,改变颜色、改变不透明度等)以向用户指示用户已接受哪些字符)。例如,该一个或多个预测字符显示为灰色文本,并且当用户在字符下划线时,下划线字符变成黑色,指示用户已经接受该字符。
上述接受预测字符的方式(例如,通过改变迄今为止已选择的字符的视觉特征)允许电子设备提供关于已接受并将输入哪些字符的确认,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,提供用户已选择哪些字符的实时视觉指示器),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在显示第一手写输入的表示和该一个或多个预测字符的表示时,电子设备经由该一个或多个输入设备接收包括指向用户界面的第二手写输入的第二用户输入(1836),诸如图17K所示(例如,另外的手写输入)。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(1838),根据确定第二手写输入包括第一手写输入的延续,电子设备停止显示该一个或多个预测字符的至少子集的表示(1840),诸如图17K所示(例如,如果在显示预测字符之后,用户继续书写,则从显示器中移除预测字符)。在一些实施方案中,从显示器中移除预测字符的序列(或任选地,整个序列)。在一些实施方案中,从显示器中移除用户已书写的预测字符的序列(或任选地,仅序列)。在一些实施方案中,设备确定用户是否正在书写与预测字符相同的字符,并且从显示器中移除用户已书写的字符(例如,同时继续显示预测字符中用户尚未书写的一些或全部预测字符)。
上述拒绝建议字符的方式(例如,通过在用户继续手写输入时停止显示预测字符,指示用户不想接受预测字符)使得能够无中断地提供继续手写输入,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户继续手写输入时自动停止显示字符,而无需用户执行附加输入以解除预测字符的显示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(例如,另外的手写输入)(1842),根据确定第二手写输入包括第一手写输入的延续,电子设备在用户界面中显示(1844):第一手写输入和第二手写输入的表示,其中第二手写输入与第二字符序列对应(1846),诸如图17J所示(例如,在显示第一手写输入的迹线的同时在接收到手写输入的位置处显示第二手写输入的迹线),以及基于第一手写输入和第二手写输入中的第一字符序列和第二字符序列而选择的一个或多个第二预测字符的表示(1848),诸如图17J所示(例如,更新预测字符以考虑新的手写输入并显示另一组预测字符)。
在一些实施方案中,第一字符序列、第二字符序列和该一个或多个第二预测字符的组合与第一字符序列和该一个或多个预测字符的组合不同(1850),诸如图17H和图17J所示(例如,如果第一字符序列和第二字符序列的组合改变了用户可能正在书写的预测,则基于第一字符序列和第二字符序列的组合来显示与用户可能正在书写的新预测对应的新预测字符)。在一些实施方案中,如果第一字符序列和第二字符序列的组合不改变用户可能正在书写的预测(例如,第二字符序列与预测相同),则新一组预测字符与移除了一些字符(例如,用户已书写的字符)的前一组字符相同。
上述更新所显示的预测字符的方式(例如,通过基于另外的手写输入来改变所显示的预测字符)允许电子设备基于另外的手写输入来提供更新的预测字词,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过根据用户的输入自动更新建议字词以连续地向用户提供相关的预测字词,而无需用户执行附加输入以更新预测字词),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,响应于接收到包括指向用户界面的第二手写输入的第二用户输入(例如,另外的手写输入)(1852),根据确定第二手写输入包括第一手写输入的延续,电子设备在用户界面中显示(1854):第一手写输入和第二手写输入的表示,其中第二手写输入与第二字符序列对应(1856),诸如图17J所示(例如,在显示第一手写输入的迹线的同时在接收到手写输入的位置处显示第二手写输入的迹线),以及基于第一手写输入和第二手写输入中的第一字符序列和第二字符序列而选择的一个或多个第二预测字符的表示(1858),诸如图17J所示(例如,更新预测字符以考虑新的手写输入并显示另一组预测字符)。
在一些实施方案中,第一字符序列、第二字符序列和该一个或多个第二预测字符的组合与第一字符序列和该一个或多个预测字符的组合相同(1860),诸如图17J至图17K所示(例如,如果第一字符序列和第二字符序列的组合不改变用户可能正在书写的预测(例如,第二字符序列是与预测相同的字符),则新一组预测字符与移除了一些字符(例如,用户已经在第二序列中书写的字符)的前一组字符相同。
上述更新预测字符的方式(例如,通过更新预测字符以移除用户的另外的手写输入已书写的字符的显示)允许电子设备即使在用户继续书写建议字词时也提供继续接受建议字词的能力,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过随着用户书写字符而自动移除用户已书写的字符的显示,而无需用户查看用户不再感兴趣的无关字符(例如,因为用户已经书写它们)),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示第一手写输入的表示和该一个或多个预测字符的表示时(1862),根据确定满足一个或多个标准,电子设备在用户界面中显示(1864)用于接受该一个或多个预测字符用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)的手写输入的表示的动画,诸如图17E至图17H所示(例如,在预测字符下方显示下划线动画,以向用户提供如何接受预测字符的提示)。在一些实施方案中,动画是在该一个或多个预测字符上移动的下划线。在一些实施方案中,如果提供如何接受预测字符的提示的动画在当天、该周、该会话、针对该用户等尚未显示,则满足该一个或多个标准。
在一些实施方案中,在显示第一手写输入的表示和该一个或多个预测字符的表示时(1862),根据确定不满足该一个或多个标准,电子设备放弃在用户界面中显示用于接受该一个或多个预测字符用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)的手写输入的表示的动画(1866),诸如图17E中所示(例如,不显示向用户提供提示的动画)。在一些实施方案中,如果在当前手写会话期间、在当天(或任何其他持续时间)已经向用户显示过动画,则不显示该动画。在一些实施方案中,动画仅在设备上显示一次,或者仅针对特定用户显示一次。在一些实施方案中,如果用户已执行下划线手势以接受预测字符(例如,指示用户知道如何接受预测字符),则不再显示动画。
上述显示如何接受预测字符的提示的方式(例如,通过显示在预测字符下划线的下划线动画)提供了用于接受建议字词的手势的视觉指示,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动显示如何接受预测字词的短教程,而无需用户执行单独的研究以确定如何接受预测字词),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个标准包括当电子设备已检测到用于接受预测字符用于用户界面的手写输入少于阈值次数(例如,从未检测到用于接受预测字符的手写输入,已检测到用于接受预测字符的手写输入少于五次或另一预先确定的次数)时满足,并且当电子设备尚未检测到用于接受预测字符用于用户界面的手写输入至少阈值次数时不满足的标准(1868),诸如图17E所示(例如,如果用户从未执行用于接受预测字符的手势,则显示动画,但是如果用户先前已执行该手势,则放弃显示动画)。
上述限制如何接受预测字符的提示的显示的方式(例如,如果用户先前已执行接受预测字符的手势,从而指示用户知道如何接受预测字符,则不再显示动画)允许电子设备避免在显示器上不必要地显示动画,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动确定用户可能不需要提示来学习如何接受预测字符并放弃在将来显示提示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,第一手写输入指向用户界面中的第一文本输入区域,该一个或多个标准包括当电子设备已在第一文本输入区域中显示预测字符少于阈值次数(例如,从未在第一文本输入区域中显示预测字符,已在第一文本输入区域中显示预测字符少于五次或另一预先确定的次数)时满足,并且当电子设备尚未在第一文本输入区域中显示预测字符至少阈值次数时不满足的标准(1870),诸如图17E所示(例如,如果尚未针对当前手写输入指向的相应文本输入区域中的预测字符显示动画,则显示动画,但是如果先前已针对相应文本输入区域显示了动画,则不在该文本输入区域中再次显示动画)。
上述限制如何接受预测字符的提示的显示的方式(例如,通过针对每个文本输入区域仅显示动画一次)允许电子设备指示当前文本输入区域支持接受预测字符,同时避免在显示器上不必要地显示动画,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过针对每个文本输入区域显示提示一次并在将来放弃针对该文本输入区域显示提示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个标准包括当电子设备已在用户界面中显示预测字符少于阈值次数(例如,从未在用户界面中显示预测字符,已在用户界面中显示预测字符少于五次或另一预先确定的次数)时满足,并且当电子设备尚未在用户界面中显示预测字符至少阈值次数时不满足的标准(1872),诸如图17E所示(例如,如果尚未针对正在其中输入当前手写输入的相应用户界面上的预测字符显示动画,则显示动画,但是如果先前已在相应用户界面上显示动画,则不在用户界面上再次显示动画)。
上述限制如何接受预测字符的提示的显示的方式(例如,通过针对每个用户界面仅显示动画一次)允许电子设备指示当前用户界面支持接受预测字符,同时避免在显示器上不必要地显示动画,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过针对每个用户界面显示提示一次并在将来放弃针对该用户界面显示提示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,该一个或多个标准包括当电子设备在当天已显示预测字符少于阈值次数(例如,在当天从未显示预测字符,在当天已显示预测字符少于五次或另一预先确定的次数)时满足,并且当电子设备在当天尚未显示预测字符至少阈值次数时不满足的标准(1874),诸如图17E所示(例如,如果当天尚未显示动画,则显示动画,但是如果当天已显示过动画,则在当天的其余时间内不显示动画)。
上述限制如何接受预测字符的提示的显示的方式(例如,通过每天仅显示动画一次)允许电子设备提供对如何接受预测字符的提醒,同时避免在显示器上不必要地显示动画,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过每天显示提示一次并在当天的其余时间内放弃显示提示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,根据确定构成第一手写输入的手写字符的尺寸是第一尺寸,以第二尺寸显示该一个或多个预测字符(1876),诸如图17D所示(例如,基于手写输入的尺寸以特定尺寸显示预测字符)。在一些实施方案中,以比手写输入更小、更大或相同的尺寸显示预测字符。
在一些实施方案中,根据确定构成第一手写输入的手写字符的尺寸是不同于第一尺寸的第三尺寸,以不同于第二尺寸的第四尺寸显示该一个或多个预测字符(1878),诸如图17D所示(例如,如果手写输入具有不同于第一尺寸的尺寸,则该一个或多个预测字符也以不同尺寸(例如,基于手写输入的尺寸)显示)。
上述显示预测字符的方式(例如,通过以基于手写输入的尺寸的相应尺寸显示预测字符)允许电子设备基于手写输入的尺寸来调整预测字符的尺寸以增加显示在显示器上的字符的连续性,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过以基于手写输入的尺寸的相应尺寸显示预测字符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,第二尺寸匹配第一尺寸,并且第四尺寸匹配第三尺寸(1880),诸如图17D所示(例如,预测字符的尺寸匹配预测字符所对应的手写输入的尺寸)。在一些实施方案中,匹配尺寸包括匹配高度、宽度、字符间距或上述的任何组合。
上述显示预测字符的方式(例如,通过将预测字符的尺寸与手写输入的尺寸匹配)允许电子设备基于手写输入的尺寸来调整预测字符的尺寸以增加显示在显示器上的字符的连续性,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过以匹配手写输入的尺寸的相应尺寸显示预测字符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示用户界面时,电子设备经由触敏显示器接收第二用户输入,该第二用户输入包括指向用户界面的第二手写输入,其中第二手写输入对应于第二字符序列(1882),诸如图17B所示(例如,在文本字段上或附近接收到用户输入)。在一些实施方案中,接收到来自触笔或其他书写设备的用户输入。在一些实施方案中,用户输入是指向第一手写输入和/或该一个或多个预测字符的表示的手势。
在一些实施方案中,响应于接收到第二用户输入(1884),根据确定第二字符序列满足一个或多个标准,电子设备在用户界面中显示第二手写输入的表示和基于第二手写输入中的第二字符序列而选择的一个或多个第二预测字符的表示(1886),诸如图17D所示(例如,如果第二字符序列对应于唯一字词,则显示预测字符)。在一些实施方案中,唯一字词是使得通过向手写输入添加字符可创建少于特定数量字词(例如,5个字词、10个字词、20个字词)的字词。
在一些实施方案中,响应于接收到第二用户输入(1884),根据确定第二字符序列不满足该一个或多个标准,电子设备在用户界面中显示第二手写输入的表示而不显示该一个或多个第二预测字符的表示(1888),诸如图17D所示(例如,如果第二字符序列不对应于唯一字词,则不显示预测)。在一些实施方案中,如果用户输入可能潜在地变成大量字词(例如,多于20个潜在字词、50个潜在字词、100个潜在字词等),则不显示预测(例如,因为预测正确的可能性低于阈值)。
上述显示预测字符的方式(例如,通过如果手写输入满足特定标准(例如,手写输入对应于唯一字词)则显示预测字符)允许电子设备限制向用户提供预测的实例并且避免在用户将接受预测的可能性较低时提供预测,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在用户更可能接受预测字符的特定情况下显示预测字符),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示用户界面时,电子设备经由触敏显示器接收第二用户输入,该第二用户输入包括指向用户界面的第二手写输入,其中第二手写输入对应于第二字符序列(1890),诸如图17B所示(例如,在文本字段上或附近接收到用户输入)。在一些实施方案中,接收到来自触笔或其他书写设备的用户输入。在一些实施方案中,用户输入是指向第一手写输入和/或该一个或多个预测字符的表示的手势。
在一些实施方案中,响应于接收到第二用户输入(1892),电子设备在用户界面中显示第二手写输入的表示(1894),诸如图17B所示(例如,在接收到手写输入的位置处显示第二手写输入的迹线)。
在一些实施方案中,响应于接收到第二用户输入(1892),根据确定自第二手写输入的结束以来已经过超过预先确定的时间量,电子设备在用户界面中显示基于第二手写输入中的第二字符序列而选择的一个或多个第二预测字符的表示(1896),诸如图17D所示(例如,如果用户已暂停手写输入阈值时间量(例如,0.5秒、1秒、2秒、3秒、5秒),则显示预测字符)。
在一些实施方案中,响应于接收到第二用户输入(1892),根据确定自第二手写输入的结束以来已经过小于预先确定的时间量,电子设备放弃显示该一个或多个第二预测字符的表示(1898),诸如图17D所示(例如,如果用户尚未暂停手写输入阈值时间量,则不显示预测字符,并且任选地,一旦自第二手写输入的结束以来已经过预先确定的时间量,就显示预测字符)。
上述提供预测字符的方式(例如,通过在用户已暂停手写输入阈值时间量之后显示预测字符)允许电子设备在用户更可能查看和考虑预测字符的情况下提供预测字符,同时避免在用户正在主动执行手写输入时显示预测字符,这可能不必要地分散用户的注意力,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效,而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,第一字符序列和该一个或多个预测字符的组合显示在用户界面中可选用户界面元素中,可选择该可选用户界面元素以输入第一字符序列和该一个或多个预测字符的组合用于用户界面(例如,用于输入到显示在用户界面中的文本字段中)(1898-02),诸如图17S所示(例如,在手写输入的表示附近显示弹出窗口)。在一些实施方案中,弹出窗口包括预测字词的可选选项(例如,手写输入和预测字符组合而成的预测字词),可选择该可选选项以接受预测字词并将手写输入转换为预测字词。在一些实施方案中,当用户提供另外的手写输入时,弹出窗口更新以基于附加手写输入来显示更新的预测字词。
上述显示预测字符的方式(例如,通过在手写输入的位置附近的弹出窗口中显示预测字符)允许电子设备提供预测字词而不会阻挡正检测到手写输入的用户界面,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在弹出窗口中显示预测字符,其中用户可在提供手写输入的同时查看预测输入),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,可选用户界面元素包括第一字符序列和该一个或多个预测字符的组合的第一表示以及第一字符序列的第二表示,其中可选择第一表示以输入第一字符序列和该一个或多个预测字符的组合用于用户界面(例如,用于输入到显示在用户界面中的文本字段中),并且可选择第二表示以输入该一个或多个预测字符而没有第一序列字符用户界面(例如,用于输入到显示在用户界面中的文本字段中)(1898-04),诸如图17S所示(例如,弹出窗口还包括迄今为止已书写的手写字符的文本显示)。在一些实施方案中,手写字符的文本显示被显示为基于字体的文本。在一些实施方案中,不可选择文本显示以将手写输入转换为迄今为止书写的字符的基于字体的文本版本。在一些实施方案中,可选择文本显示以将手写输入转换为迄今为止书写(和解释)的字符的基于字体的文本版本(但并不包括转换的预测字符)。在一些实施方案中,随着用户继续提供另外的手写输入,弹出窗口更新(例如,迄今为止已书写的预测字词和/或手写字符的文本显示)。
上述在显示与手写输入对应的基于字体的文本的同时显示预测字符的方式(例如,通过在弹出窗口中同时显示预测字符和手写输入的基于字体的文本解释)允许电子设备提供确认用户的书写并接受预测字词或接受迄今为止书写的手写输入的能力,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供接受预测字词或接受迄今为止用户已书写的内容的基于字体的文本的选项,而无需用户导航到不同的用户界面以选择预测字词或接受所书写的手写输入),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
应当理解,对图18A至图18I中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100、1300、1500、1600、2000和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图18A至图18I所述的方法1800。例如,上文参考方法1800所述的呈现自动补全建议的操作任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、控制手写输入的特征以及将手写输入转换为基于字体的文本、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、900、1100、1300、1500、1600、2000和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图18A至图18I描述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1802、1806、1844、1854、1864、1886、1888、1894和1896以及接收操作1804、1808、1816、1836、1882和1890任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
将手写输入转换为基于字体的文本
用户以多种不同的方式与电子设备交互,包括将文本输入到电子设备中。下文描述的实施方案提供了电子设备将手写输入转换为基于字体的文本的方式,从而增强用户与电子设备的交互。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图19A至图19BB示出了电子设备将手写输入转换为基于字体的文本的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图20A至图20D所述的过程。
图19A至图19BB示出了电子设备500将手写输入转换为基于字体的文本的操作。图19A示出了包括触摸屏504的示例性设备500。在图19A中,设备500正在显示对应于笔记应用程序的用户界面1900(例如,类似于用户界面620、800、1000、1210和1700)。在一些实施方案中,用户界面1900包括文本输入区域1902,用户能够(例如,经由软键盘或触笔203,如上文相对于方法700、1100、1300和1800所述)在其中输入文本。
在图19B中,在文本输入区域1902中接收到来自触笔203的书写字符“h”的手写输入1904。在图19C中,手写输入1904继续,书写字符“an”。在一些实施方案中,在用户已书写预先确定数量的字符(1个字符、2个字符、3个字符)之后或在预先确定的时间量(0.5秒、1秒、3秒)之后,手写输入1906的一部分(例如,手写输入留下的迹线的一部分)开始改变视觉特征。在一些实施方案中,手写输入1906的该部分改变颜色和/或不透明度(例如,从黑色变成灰色、从深蓝色变成浅蓝色等)。在一些实施方案中,手写输入1906的改变颜色的部分开始于手写1904的开头(例如,在第一笔触处)并且沿循手写输入的路径。例如,“h”的第一垂直笔触的顶部从黑色变成灰色,然后垂直笔触的其余部分变成灰色,然后曲线变成灰色,以此类推,如图19D所示。
在图19D中,当用户继续手写输入时,手写输入1906的该部分沿手写输入的路径扩展,如上所述。在一些实施方案中,视觉特征的继续改变不要求用户继续手写输入(例如,并且如果手写输入减慢或停止,则任选地将“追赶”手写输入,如下文进一步详细所述)。在一些实施方案中,手写输入1906的该部分基于原始笔触的速度沿路径扩展(例如,如果用户非常快速地书写“h”,则非常快速地将“h”转换为灰色)。在一些实施方案中,转换的速度基于用户当前书写的速度(例如,如果用户快速地书写“and”以及后续字符,则转换的速度同样快)。在一些实施方案中,改变(例如,扩展的)视觉特征的速度匹配用户手写输入的速度。在一些实施方案中,改变视觉特征的速度基于用户手写输入的速度(例如,并且任选地慢于用户手写输入的速度)。在一些实施方案中,改变视觉特征的速度是固定的并且不取决于用户手写输入的速度。在一些实施方案中,改变视觉特征的速度基于自用户已书写手写输入的相应部分以来的时间量(例如,0.5秒、1秒、2秒、3秒等)。因此,在一些实施方案中,改变手写输入的视觉特征看起来好像来自用户手写输入的“油墨”正在变干(例如,手写迹线的更早创建并显示的那些部分比手写迹线的更晚创建并显示的那些部分更早转换)。
在图19E中,用户继续执行手写输入并向“hand”添加“wri”。在一些实施方案中,响应于用户正在执行手写输入或在用户正在执行手写输入时,手写输入1906的该部分继续沿循手写输入1904的路径,从而改变手写输入1904中另外的字符的视觉特征。在一些实施方案中,逐个笔触地执行改变(例如,一次转换一个字符的一个手写笔触)。在一些实施方案中,逐个字符地执行改变(例如,一次转换一个字符,而不考虑字符的笔触顺序)。在实施方案中,如图19E所示,改变手写输入1904的视觉特征的速度滞后于手写输入1904的速度(例如,在用户书写三个字符的时间期间已转换两个字符)。
在图19F中,当触笔203保持触压时(例如,或任选地,当触笔203不再接触触摸屏时,但在设备500将手写输入转换为基于字体的文本的时间之前,诸如当定时器正在计数时,如上文相对于方法1300所述),用户暂停手写输入(例如,不书写任何附加字符)。在一些实施方案中,手写输入1906的该部分的转换继续“追赶”手写输入1904/触笔203的当前位置。在一些实施方案中,手写输入1906的该部分未完全追赶上手写输入1904的当前位置。在一些实施方案中,手写输入1906的被转换为灰色的部分停止在距手写输入1904的最远位置预先确定的距离(例如,1个字符、2个字符等)处。在一些实施方案中,如果用户尚未完成书写相应字词,则转换暂停,并且/或者手写输入1904还不会被转换为基于字体的文本(例如,如上文相对于方法1300所述)。因此,如图19F所示,与最近书写的两个字符对应的字符“r”和“i”不转换为灰色。
在图19G中,用户恢复手写输入1904(例如,通过书写“t”)。在一些实施方案中,响应于用户恢复手写输入,转换沿手写输入1904的路径继续。在一些实施方案中,当转换(例如,灰色的扩展)沿手写输入1904的路径继续时,转换保持距手写输入1904的当前位置(例如,手写输入的最远位置)预先确定的距离。
在图19H中,用户继续执行手写输入1904并且完成书写字词“handwriting”。在一些实施方案中,响应于用户继续手写输入,转换沿手写输入1904的路径继续,直到距手写输入1904的最远位置(例如,触笔203的当前位置)预先确定的距离。
在图19I中,检测到触笔203的抬离。在一些实施方案中,设备500确定用户已完成书写手写输入1904。在一些实施方案中,响应于用户完成书写手写输入1904,设备500将手写输入1904转换为基于字体的文本(例如,任选地根据方法700、1100和1300中所述的过程)。在一些实施方案中,响应于设备500确定用户已完成书写相应字词(例如,而不是上文相对于图19F所述的在字词中间暂停手写输入),将手写输入1904转换为灰色的过程转换手写字词的其余部分(例如包括图19H中未转换的字符),使得手写输入的所有字符都变成灰色。
在一些实施方案中,在手写输入1904完全转换为灰色的同时或之后(例如,并且响应于确定用户已完成书写字词“handwriting”),设备500开始将手写输入1904转换为基于字体的文本的过程。在一些实施方案中,转换手写输入1904的过程包括将手写输入1904转化为基于字体的文本的动画。在一些实施方案中,动画包括溶解手写输入1908的一部分,如图19I所示。例如,如图19I所示,“h”开始溶解并转化为单独的离散颗粒。
在图19J中,动画继续,并且“h”进一步溶解成颗粒,而字符“a”和“n”开始溶解。在一些实施方案中,颗粒保持在从中溶解成颗粒的字符的原始边界内(例如,颗粒尚未开始朝向基于字体的文本的最终位置移动)。因此,在一些实施方案中,动画从字词“handwriting”的开头前进,并且逐个字符地移动到字词“handwriting”的最终字符。在一些实施方案中,相应字符溶解成为的颗粒的数量基于相应字符的面积。例如,具有较长和/或较宽笔触的字符将溶解成更多的颗粒,而具有较短和/或较薄笔触的字符将溶解成更少的颗粒。
在图19K中,来自字符“h”的颗粒开始朝向基于字体的文本的最终位置移动(例如,与文本输入区域1902左对齐)。在一些实施方案中,字符“a”和“n”完全溶解成颗粒。在一些实施方案中,溶解动画沿字词往后继续(例如,“d”和“w”等)。
在图19L中,当来自字符“h”的颗粒继续朝向基于字体的文本的最终位置移动时,显示基于字体的文本1912(例如,“h”)。因此,在一些实施方案中,在来自“h”的所有颗粒已移动到最终位置之前显示基于字体的文本。在一些实施方案中,来自字符“h”的颗粒移动到基于字体的文本中并融入其中。在一些实施方案中,在到达基于字体的文本之前预先确定的距离(例如,1mm、2mm、5mm等)处,从显示器中移除颗粒。在一些实施方案中,来自字符“h”的每个颗粒具有其自身的从其原始位置到最终位置的相应轨迹(例如,从显示器中移除每个颗粒而不考虑从显示器中移除其他颗粒)。在一些实施方案中,颗粒具有动量,使得颗粒在它们朝向最终基于字体的位置移动时加速,然后在它们接近最终基于字体的位置时(例如,任选地,在颗粒接近从显示器中移除颗粒的位置时)减速。
例如,在图19M中,来自字符“h”的大部分颗粒已到达其最终位置并且从显示器中移除。在一些实施方案中,一些颗粒仍在朝向其相应最终位置移动(例如,任选地,来自字符“h”的最右侧部分的颗粒)。应当理解,虽然图19K至图19M未示出来自字符“a”和“n”的颗粒朝向其相应最终位置移动,来自字符“a”和“n”的颗粒的动画任选地根据与针对字符“h”所述相同的过程同时朝向其相应最终位置移动。类似地,尽管图19K至图19M未示出手写输入1904的剩余字符的溶解动画,任选地根据与针对字符“h”所述相同的过程在来自“h”的颗粒朝向其最终位置移动时执行颗粒的溶解和移动的动画。图19N示出了在所有字符已溶解成颗粒、移动到其最终位置并转换为基于字体的文本1912之后的最终结果。
上面的图19A至图19M示出了字词以逐个字符的方式溶解的过程的实施方案。图19O至图1919V示出了同时以动画方式显示字词的所有字符的另选实施方案(例如,溶解动画是逐个字词而不是逐个字符进行的)。
在图19O中,接收到书写字词“two”的手写输入1914。在一些实施方案中,在用户正在执行手写输入1914时,字词“two”从黑色转换为灰色,类似于上文相对于图19A至图19I所述的过程。在图19P中,当用户完成书写字词“two”,检测到触笔203的抬离,并且整个字词随后转换为灰色时。在图19Q中,手写输入1914的字符(例如,任选地,手写输入1914的每个字符)开始溶解(例如,而不是一次一个顺序字符)。在图19R中,在手写输入1914转换为基于字体的文本1916的动画正在进行时,用户开始第二字词的手写输入1918。在一些实施方案中,如图19R所示,来自字词“two”的颗粒朝向其相应最终位置移动,并且显示与经转换的字词(例如,“two”)对应的基于字体的文本1916。
在图19S中,用户继续执行手写输入1918。在一些实施方案中,与手写输入1918同时,手写输入1918转换为灰色,类似于上文相对于图19A至图19I所述的过程。在图19S中,完成将手写输入1914转换为基于字体的文本1916的动画(例如,不再显示来自字词“two”的颗粒)。
在图19T中,当用户完成写字词“cats”时,检测到触笔203的抬离。在一些实施方案中,响应于用户完成书写字词“cats”,字词更新为灰色(例如,根据上文相对于图19A至图19I所述的过程)。在一些实施方案中,响应于或在用户完成书写字词“cats”并将字词转换为灰色之后,字词(例如,每个字符同时)开始溶解成颗粒并朝向基于字体的文本的最终位置移动,如图19U所示。在一些实施方案中,基于字体的文本(例如,“cats”)的最终位置与先前转换的基于字体的文本(例如,“two”)对齐。在图19V中,动画完成,并且手写输入1914和1918已转换为对应于“two cats”的基于字体的文本1916。因此,在一些实施方案中,逐个字词地(例如,字词中的每个字符同时)执行动画。在一些实施方案中,每个字词的颗粒的数量基于每个字词的面积(例如,字词的每个字符占据的面积量)。应当理解,将相应字词转换为基于字体的文本的动画不取决于用户继续手写输入(例如,书写另一字词),并且任选地在设备500确定用户已完成书写字词的任何时间执行动画,并将手写输入转换为基于字体的文本。
图19W至图19BB示出了显示手写输入转换为基于字体的文本的动画的另一个实施方案。在图19W中,用户完成字词“handwriting”的书写(例如,类似于如图19H所示)。在图19X中,检测到触笔203的抬离。在一些实施方案中,设备500确定用户已完成书写手写输入1904。在一些实施方案中,响应于用户完成书写手写输入1904,设备500将手写输入1904转换为基于字体的文本(例如,任选地根据方法700、1100和1300中所述的过程)。在一些实施方案中,响应于设备500确定用户已完成书写相应字词,将手写输入1904转换为灰色的过程转换手写字词的其余部分(例如,包括图19W中先前未转换为灰色的字符),使得手写输入的所有字符都变成灰色。
在一些实施方案中,在手写输入1904完全转换为灰色的同时或之后(例如,并且响应于确定用户已完成书写字词“handwriting”),设备500开始将手写输入1904转换为基于字体的文本的过程。在一些实施方案中,转换手写输入1904的过程包括将手写输入1904转化为基于字体的文本的动画。在一些实施方案中,动画包括将手写输入1908收缩到和/或朝向所得的基于字体的文本的最终尺寸,并且/或者使手写输入1908淡出视图,同时使所得的基于字体的文本淡入视图。例如,在图19Y中,手写输入1904与图19X相比尺寸减小(例如,尺寸水平和/或垂直减小)。在图19Y中,手写输入1904除此之外或另选地开始淡出(例如,透明度增大和/或变成灰色)。在图19Y中,与手写输入对应的基于字体的文本1920开始淡入视图。例如,在图19Y中,基于字体的文本1920显示为灰色并且具有高透明度值。在一些实施方案中,基于字体的文本1920的尺寸是文本输入区域1902的当前字体设置的默认尺寸。
图19Z示出了转换动画继续。在图19Z中,手写输入1904继续减小尺寸并淡出。同时,基于字体的文本1920继续淡入视图(例如,透明度变小和/或变得不太灰)。在图19AA中,手写输入1904继续减小尺寸并淡出,而基于字体的文本1920继续淡入视图。如图19AA所示,手写输入1904接近基于字体的文本1920的最终尺寸(例如,高度和/或宽度)。在图19BB中,转换动画完成并且手写输入1904停止显示(例如,透明度达到100%),并且完全显示基于字体的文本1920(例如,没有透明度并且没有灰度)。
应当理解,虽然图19W至图19BB示出了手写输入1904的尺寸随着手写输入1904的淡出而同时改变,转换动画的这两个分量任选地相继执行(例如,而不是同时执行)。在一些实施方案中,手写输入1904的尺寸在淡出之前(例如,在完全淡出之前或在开始淡出之前)收缩到基于字体的文本的尺寸(或大约基于字体的文本的尺寸)。
还应当理解,本文相对于手写输入在用户书写时改变视觉特征的动画所述的实施方案任选地在接收到书写字符和/或字词的手写输入任何时间或每当接收到书写字符和/或字词的手写输入时执行(例如,如上文相对于图6至图19中任一附图所述),并且手写输入溶解成微粒并移动到基于字体的文本的最终位置的动画和/或手写输入收缩尺寸并淡出同时基于字体的文本淡入时的动画任选地在手写输入转换为基于字体的文本的任何时间或每当手写输入转换为基于字体的文本时执行(例如,如上文相对于图6至图19中任一附图所述)。
图20A至图20D是示出将手写输入转换为基于字体的文本的方法2000的流程图。方法2000任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法2000中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法2000提供了将手写输入转换为基于字体的文本的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,诸如图19B所示,具有显示设备和一个或多个输入设备的电子设备(例如,包括触摸屏(例如,触敏显示器)的电子设备、移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)或包括触摸屏(例如,触敏显示器)的计算机,诸如设备100、设备300、设备500、设备501或设备591)在显示用户界面(例如,在触敏显示器上的文本或字符输入用户界面,诸如参考方法700、1100、1300、1500和1800所述的那些界面)时,经由该一个或多个输入设备检测与移动路径对应的输入,诸如图19B所示(例如,利用触笔在显示器上进行的输入,诸如手写输入)。
在一些实施方案中,当继续检测输入时(例如,当在显示器上保持接触时)(2004),响应于检测到输入,电子设备经由显示设备在用户界面中的第一位置处以第一外观显示路径的表示(2006),诸如图19B所示(例如,路径的表示的位置)。最初,路径任选地显示为黑色。
在一些实施方案中,在继续检测输入时(2004),在以第一外观显示路径的表示之后,电子设备将路径的表示的至少一部分的外观改变为不同于第一外观的第二外观(2008),诸如图19C所示(例如,随着时间的推移,将路径的该部分从黑色改变为灰色)。在一些实施方案中,路径的距触笔与显示器的当前接触位置直到某个预先确定的距离(例如,0.5cm、1cm、2cm、5cm、1个字符、2个字符、3个字符)的一部分改变为灰色,并且路径的靠近触笔的部分保持黑色。
在一些实施方案中,在将路径的表示的该部分的外观改变为不同于第一外观的第二外观之后(2010)(例如,并且响应于检测到动画标准,诸如与输入对应的接触的抬离或者与路径对应的字词或字符的检测),电子设备在用户界面中的第二位置处显示基于路径而选择的一个或多个基于字体的字符(2012),诸如图19L所示(例如,识别与手写输入对应的字符,并且在显示器中的第二位置处显示它们)。在一些实施方案中,第二位置与第一位置不同。在一些实施方案中,第二位置与第一位置相同。
在一些实施方案中,在将路径的表示的该部分的外观改变为不同于第一外观的第二外观之后(2010),电子设备显示路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画(2014),诸如图19K至图19M所示(例如,基于字体的字符的位置)。在一些实施方案中,在显示该一个或多个基于字体的字符的同时显示动画的至少一部分(或整个动画)。在一些实施方案中,在显示该一个或多个基于字体的字符之前,显示动画的至少一部分(或整个动画)。在一些实施方案中,在显示该一个或多个基于字体的字符之后,显示动画的至少一部分(或整个动画)。
上述改变手写输入的表示的外观并且然后显示路径从其当前位置移动到基于字体的字符的位置的动画的方式指示手写输入的哪些部分将转换为基于字体的文本并且指示基于字体的文本将是什么,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过提供关于即将发生的操作的反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,第一外观是第一颜色(例如,黑色),并且第二外观是不同于第一颜色的第二颜色(例如,灰色)(2016),诸如图19C所示。上述改变手写输入的表示的一部分的外观的方式指示手写输入的哪些部分将转换为基于字体的文本,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过提供关于即将发生的操作的反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,改变路径的表示的该部分的外观包括通过在基于路径的表示初始显示的方向而确定的方向上将路径的表示的子部分从第一外观逐步改变为第二外观,从而以动画方式逐渐显示路径的表示的该部分的外观的改变(2018),诸如图19C至图19I所示。例如,当检测到手写输入时,路径的距触笔在显示器上的当前位置最远的部分首先改变外观,并且朝向触笔的当前位置逐渐改变。
上述改变手写输入的表示的外观的方式指示可向先前输入的手写输入的哪个部分添加附加手写输入,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过提供关于附加手写输入的正确位置的反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,改变路径的表示的该部分的外观包括通过以基于路径的表示初始显示的速度而确定的速率将路径的表示的子部分从第一外观逐步改变为第二外观,从而以动画方式逐渐显示路径的表示的该部分的外观的改变(2020),诸如图19C至图19F所示。例如,手写输入越快,路径的子部分的外观改变越快。
上述基于手写输入的速度来改变手写输入的表示的外观的方式确保反馈的呈现不是接收另外的输入的瓶颈,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过减少提供上述路径反馈所需的时间),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,改变路径的表示的该部分的外观包括当路径的表示的该部分到达距使得路径生成的输入第一阈值距离时,停止以动画方式显示路径的表示的该部分的外观从第一外观到第二外观的改变(2022),诸如图19F所示(例如,路径从第一颜色逐渐改变为第二颜色,直到路径的第二颜色的部分到达距触敏表面上的用于绘制路径的接触阈值距离(例如,0.25cm、0.5cm、1cm、2cm、5cm、1个字符、2个字符、3个字符等))处。
上述在表示的最靠近当前触笔位置的部分中不改变手写输入的表示的外观的方式指示仍可接受另外的手写输入并将其与先前检测到的手写输入结合,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效,而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在停止以动画方式显示路径的表示的该部分的外观的改变之后,电子设备检测输入的继续移动(2024),诸如图19G所示(例如,检测来自最后检测到的触笔输入位置的附加手写输入)。在一些实施方案中,响应于检测到输入的继续移动,电子设备通过在基于路径的表示初始显示的方向而确定的方向上将路径的表示的子部分从第一外观逐步改变为第二外观,从而恢复以动画方式逐渐显示路径的表示的该部分的外观的改变(2026),诸如图19G所示。例如,当接收到附加手写输入时,手写输入的表示继续动画(恢复动画):在沿循由附加手写输入创建的路径的方向上改变路径的外观。
上述恢复外观改变的动画的方式提供了相对于附加手写输入的连续反馈,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过不需要除了继续手写输入之外的任何动作来继续提供反馈),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,响应于检测到输入的结束,显示路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画(2028),诸如图19I所示(例如,接触从触敏表面抬离,或者在抬离之后没有后续接触长于时间阈值,诸如1秒、2秒、4秒)。在一些实施方案中,动画的执行由用于将手写输入转换为基于字体的文本的相同触发器触发,诸如上文相对于方法700、1100和1300所述的那些触发器。在一些实施方案中,每当手写文本转换为基于字体的文本时,执行本文所述的动画(例如,如上文相对于方法700、100和1300所述)。
上述直到抬离才以动画方式显示到第二位置的路径的方式防止了设备不必要地呈现动画并且错误地停止路径的显示,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过降低在可检测到指向路径的附加手写输入时过早停止显示路径的可能性),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,响应于检测到已满足字符识别标准,显示路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画(2030),诸如图19I所示。例如,诸如方法700、1100和1300中所述的标准)。因此,在一些实施方案中,仅当(和/或响应于)在手写输入中识别出这些字符时才发生路径朝向基于字体的字符的位置飞去的动画。
上述直到已满足字符识别标准才以动画方式显示到第二位置的路径的方式防止了设备不必要地呈现动画并且错误地停止路径的显示,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过降低在可检测到指向路径的附加手写输入时过早停止显示路径的可能性),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画包括将路径的该部分替换为多个分开的颗粒,该多个分开的颗粒在朝向第二位置移动而相对于彼此(例如,朝向彼此或远离彼此)移动(2032),诸如图19J至图19K所示(例如,该多个分开的颗粒初始显示在手写输入的边界内,诸如以指示手写输入正在溶解成该多个颗粒)。在一些实施方案中,该多个颗粒然后朝向基于字体的文本的最终位置移动或飞去,并且重新组装为基于字体的文本。在一些实施方案中,该多个颗粒的移动具有惯性,使得颗粒初始加速远离初始位置,然后朝向最终位置减速。因此,在一些实施方案中,动画反映出好像路径的部分变幻为/创建基于字体的字符的结果。
上述以动画方式显示路径从第一位置移动到第二位置的方式提供了关于手写的哪个部分与基于字体的字符对应的即时反馈,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更有效(例如,通过在视觉上将手写输入与最终对应的基于字体的文本相关联),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,至少部分地基于与该多个分开的颗粒对应的路径的表示的该部分的长度来确定该多个分开的颗粒中的分开的颗粒的数量(2034),诸如图19J所示(例如,更多颗粒用于路径的表示的更长部分,并且更少颗粒用于路径的表示的更短部分)。在一些实施方案中,手写输入和/或路径的其他特征(例如,诸如宽度)也是确定该多个颗粒中的颗粒数量的因素。
上述基于手写路径的该部分的长度来利用更多或更少颗粒的方式提供了关于手写路径的哪个部分对应于哪个字符的即时反馈,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在视觉上将手写输入的部分与基于字体的字符的部分相关联),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画包括在与动画对应的视觉元素到达第二位置之前停止显示动画(2036),诸如图19U所示。例如,颗粒在接近第二位置时逐渐淡出。上述防止动画的视觉元素到达第二位置的方式防止了第二位置处的基于字体的字符被动画遮蔽,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过提供对手写输入转换为的基于字体的字符的清楚显示),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,该一个或多个基于字体的字符包括基于字体的字符序列(2038),诸如图19L所示(例如,多个字符串)。在一些实施方案中,路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画包括通过以下方式以动画方式顺序地显示路径的表示的与不同字符对应的部分:开始路径的表示的与字符序列中(例如,从第一位置到第二位置的)第一基于字体的字符对应的第一部分的动画在前,之后开始路径的表示的与在字符序列中第一基于字体的字符之后发生的字符序列中(例如,从第一位置到第二位置的)第二基于字体的字符对应的第二部分的动画(2040),诸如图19L所示。例如,首先第一手写字符被示出为以动画方式变成第一基于字体的字符,然后第二手写字符被示出为以动画方式变成第二基于字体的字符,以此类推。在一些实施方案中,直到第一动画完成,才开始第二动画。在一些实施方案中,在第一动画开始之后(但是在第一动画完成之前)开始第二动画。
上述逐个字符执行动画的方式提供了关于手写路径中哪个字符对应于基于字体的字符中哪个字符的即时反馈,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在视觉上将手写输入中的字符与基于字体的字符中的字符相关联,这使得转换中的潜在错误明显),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,该一个或多个基于字体的字符包括基于字体的字词序列(2042),诸如图19R所示(例如,多字词字符串)。在一些实施方案中,路径的该部分从用户界面中的第一位置移动到用户界面中的第二位置的动画包括通过以下方式以动画方式顺序地显示路径的表示的与不同字词对应的部分:开始路径的表示的与字词序列中(例如,从第一位置到第二位置的)第一基于字体的字词对应的第一部分的动画在前,之后开始路径的表示的与在字词序列中第一基于字体的字词之后发生的字词序列中(例如,从第一位置到第二位置的)第二基于字体的字词对应的第二部分的动画(2044),诸如图19R所示。例如,首先第一手写字词被示出为以动画方式变成第一基于字体的字词,然后第二手写字词被示出为以动画方式变成第二基于字体的字词,以此类推。在一些实施方案中,直到第一动画完成,才开始第二动画。在一些实施方案中,在第一动画开始之后(但是在第一动画完成之前)开始第二动画。
上述逐个字词执行动画的方式提供了关于手写路径中哪个字词对应于基于字体的字符中哪个字词的即时反馈,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过在视觉上将手写输入中的字词与基于字体的字符中的字词相关联,这使得转换中的潜在错误明显),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
应当理解,对图20A至图20D中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100、1300、1500、1600、1800和2200)所述的其他过程的细节同样以类似的方式适用于上文结合图20A至图20D所述的方法2000。例如,上文参考方法2000所述的将手写输入转换为基于字体的文本的操作任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、控制手写输入的特征以及呈现自动补全建议、在内容输入控制板中显示选项等,如本文参考本文所述的其他方法(例如,方法700、900、1100、1300、1500、1600、1800和2200)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图20A至图20D描述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作2006、2012和2014以及检测操作2002和2024任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
内容输入控制板上的动态选项
用户以多种不同的方式与电子设备交互,包括将文本和绘图输入到电子设备中。在一些实施方案中,电子设备提供内容输入控制板,该内容输入控制板包括用于控制插入内容输入区域中的内容的选项。下文描述的实施方案提供了电子设备基于内容输入的当前上下文在内容输入控制板中动态显示不同工具和选项的方式。在一些实施方案中,显示不同的工具和选项定制用户的体验,从而增强与设备的交互。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图21A至图21DD示出了电子设备在内容输入控制板中显示选项的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图22A至图22J描述的过程。
图21A示出了包括触摸屏504的示例性设备500。在图21A中,设备500正在显示用户界面2100(例如,经由显示设备、经由显示生成部件等)。在一些实施方案中,显示生成部件是能够接收显示数据并显示用户界面的硬件部件(例如,包括电子部件)。在一些实施方案中,显示生成部件的示例包括触摸屏显示器(例如,触摸屏504)、监视器、电视机、投影仪、集成、分立或外部显示设备或与设备500通信的任何其他合适的显示设备。
在一些实施方案中,用户界面2100对应于笔记应用程序(例如,类似于上文相对于图8A所述的用户界面800)。在一些实施方案中,用户界面2100包括内容输入区域2102,用户能够在其中输入多行文本。在一些实施方案中,内容输入区域2102包括一个或多个预先存在的文本字符2104。在一些实施方案中,预先存在的文本2104先前被输入为手写输入并被转换为基于字体的文本(诸如上文相对于方法700、1100、1300、1500、1600、1800和/或2000所述)。在一些实施方案中,使用软键盘(例如,由用户或另一用户在该设备或另一设备上)输入了预先存在的文本2104。在图8A中,预先存在的文本2104是基于字体的文本,但是应当理解,预先存在的文本2104可以是手写文本。
在图21B中,在触摸屏504上内容输入区域2102处检测到触笔203的触压(例如,与触摸屏504接触)。在一些实施方案中,响应于在内容输入区域2102处检测到触笔203的触压,设备500显示内容输入控制板2110,如图21C所示。在一些实施方案中,内容输入控制板2110是包括与内容输入区域2102中的内容相关联的一个或多个可选选项的用户界面元素。例如,内容输入控制板2110包括用于改变内容输入区域中的内容的颜色(例如,改变现有内容的颜色或改变用户插入的未来内容的内容)的选项,用于改变内容输入区域中的文本的字体(例如,改变现有文本的字体或改变用户插入的未来文本的字体)的选项、用于附加或插入丰富对象(例如,文件、图像等)的选项、用于选择内容输入工具的选项等。
如图21C所示,内容输入控制板2110包括撤销选项2112-1和重做选项2112-2。在一些实施方案中,可选择撤销选项2112-1以撤销最近动作(例如,内容输入相关的动作),并且可选择重做选项2112-2以再次执行最近动作(例如,内容输入相关的动作)。在一些实施方案中,内容输入控制板2110包括可选择以显示当前未在内容输入控制板2110中显示的附加选项的选项2118。在一些实施方案中,响应于对选项2118的选择,将当前显示的工具从内容输入控制板2110移除并替换为其他选项。在一些实施方案中,附加选项显示在弹出框中,并且保持当前显示在内容输入控制板2110中的选项。
在一些实施方案中,内容输入控制板2110包括文本输入工具2114-1、钢笔输入工具2114-2和标记笔工具2114-3。在一些实施方案中,更多或更少的内容输入工具可被包括在内容输入控制板2110中。在一些实施方案中,对文本输入工具2114-1的选择使得设备进入文本输入模式,在该文本输入模式中,将在内容输入区域中绘制的手写输入分析为文本字符、识别并转换为基于字体的文本(诸如上文相对于方法700、1100、1300、1500、1600、1800和/或2000所述)。在一些实施方案中,对钢笔输入工具2114-2的选择使得设备进入钢笔输入模式,在该钢笔输入模式下,将在内容输入区域中绘制的手写输入样式化为好像由钢笔绘制(例如,不将它们转换为基于字体的文本)。在一些实施方案中,对标记笔输入工具2114-3的选择使得设备进入标记笔输入模式,在该标记笔输入模式下,将在内容输入区域中绘制的手写输入样式化为好像由标记笔绘制(例如,不将它们转换为基于字体的文本)。在一些实施方案中,除了文本输入工具之外的内容输入工具被称为绘图工具(例如,因为这些工具允许用户在内容输入区域中绘图并且绘图不被转换为基于字体的文本)。
在一些实施方案中,被包括在内容输入控制板2110中的选项中的一个或多个选项取决于当前活动的内容输入工具。在一些实施方案中,显示由于与当前活动的内容输入工具相关联而被包括在内容输入控制板2110中的一个或多个选项。例如,在图21C中,因为文本输入工具2114-1当前是活动的(例如,如与其他工具相比延伸显示的文本输入工具2114-1所示),所以内容输入控制板2110包括与将基于字体的文本输入到内容输入区域2102中相关联的选项2116(例如,选项2116-1至2116-8)。在一些实施方案中,可选择选项2116-1以将表插入内容输入区域2102中。在一些实施方案中,可选择选项2116-2以修改字体设置(例如,手写输入转换为的基于字体的文本的字体设置)。在一些实施方案中,可选择选项2116-3以将复选框插入内容输入区域2102中。在一些实施方案中,可选择选项2116-4以显示虚拟键盘。在一些实施方案中,可选择选项2116-5以使用设备的集成相机拍摄照片并将该照片插入内容输入区域2102中。在一些实施方案中,可选择选项2116-6以将文件附加到内容输入区域2102中(例如,作为可选图标)。在一些实施方案中,可选择选项2116-7以剪切/复制/粘贴内容(如下文将相对于图21F至图21G更详细地描述)。在一些实施方案中,如图21C所示,可选择选项2116-7以在弹出窗口用户界面中显示附加选项(例如,如省略号所指示)。在一些实施方案中,可选择选项2116-8以将表情符号插入内容输入区域2102中(例如,通过显示包括多个表情符号的弹出窗口用户界面,可选择这些表情符号以插入所选择的表情符号)。在一些实施方案中,图21C中所示的选项仅仅是示例性的,并且更多、更少或其他选项可被包括在内容输入区域2102中。
在图21D中,检测到来自触笔203的在内容输入区域2102中绘图的手写输入。在一些实施方案中,响应于手写输入,在内容输入区域2102中手写输入的位置处显示手写输入的表示2106。例如,在图21D中,用户在内容输入区域2102中书写了“buy eggs”。在图21E中,检测到触笔203从触摸屏504的抬离。在一些实施方案中,响应于检测到触笔203的抬离,将手写输入的表示2106转换为基于字体的文本,如图21E所示。在一些实施方案中,上文相对于方法700、1100、1300、1500、1600、1800和/或2000描述了用于将手写输入转换为基于字体的文本的过程。
在图21F中,接收到来自触笔203的选择选项2116-7的用户输入(例如,轻击输入)。在一些实施方案中,响应于用户输入,设备500显示弹出窗口2117。在一些实施方案中,弹出窗口2117包括一个或多个附加选项。在图21G中,弹出窗口2117包括可选择以执行剪切功能(例如,将所选择的内容复制到设备的剪贴板中,同时从内容输入区域中移除所选择的内容)的选项2119-1、可选择以执行复制功能(例如,将所选择的内容复制到设备的剪贴板中而不从内容输入区域中移除内容)的选项2119-2以及可选择以执行粘贴功能(例如,将设备的剪贴板中的内容插入内容输入区域中)的选项2119-3。
在图21H中,接收到来自触笔203的选择钢笔输入工具2114-2的用户输入(例如,轻击输入)。在一些实施方案中,响应于用户输入,设备500进入钢笔输入模式,在该钢笔输入模式下,将在内容输入2102中的手写输入样式化为好像由钢笔绘制,如图21I所示。在一些实施方案中,响应于设备进入钢笔输入模式,内容输入控制板2110更新为包括与为文本输入工具2114-1显示的一组工具不同的一组工具。例如,在图21I中,选项2116不再显示在内容输入控制板2110中,并且选项2113(例如,选项2113-1至2113-6)显示在内容输入控制板2110中。在一些实施方案中,可选择选项2113-1以将手写输入的颜色设置为黑色,可选择选项2113-2以将手写输入的颜色设置为红色,可选择选项2113-3以将手写输入的颜色设置为黄色,可选择选项2113-4以将手写输入的颜色设置为蓝色,并且可选择选项2113-5以将手写输入的颜色设置为绿色。在一些实施方案中,可选择选项2113-6以显示调色板,其中用户能够从多种颜色中选择、从色轮中选择或者输入数字颜色参数。
在图21J中,检测到来自触笔203的在内容输入区域2102中绘图的手写输入。在一些实施方案中,响应于手写输入,在内容输入区域2102中手写输入的位置处显示手写输入的表示2108。例如,在图21J中,当处于钢笔输入模式时,用户在内容输入区域2102中书写了“today”。在图21K中,检测到触笔203从触摸屏504的抬离。在一些实施方案中,因为设备不处于文本输入模式,所以触笔203的抬离不会使得表示2108转换为基于字体的文本,并且表示2108保持其钢笔样式。
因此,在一些实施方案中,如上所述,显示在内容输入控制板2110中的选项中的一个或多个选项基于选择的内容输入工具。在一些实施方案中,如果文本输入工具当前是活动的,则内容输入控制板2110包括与基于字体的文本的输入相关的工具。在一些实施方案中,如果绘图工具(例如,钢笔工具、标记笔工具、荧光笔工具等)当前是活动的,则内容输入控制板2110包括与绘图的输入相关的工具。
在图21L中,在移动条2115上检测到触笔203的触压。在图21M中,在保持与触摸屏504接触的同时,检测到触笔203的移动。在一些实施方案中,响应于检测到触笔203的移动,内容输入控制板2110根据触笔203的移动而移动。在一些实施方案中,在移动时,内容输入控制板2110进入微型显示模式(例如,诸如在下面图21P中所述)。在一些实施方案中,在移动时,内容输入控制板2110保持完整显示模式。
在图21N中,在移动内容输入控制板2110之后检测到触笔203的触压的终止。在一些实施方案中,响应于检测到触笔203的触压的终止,内容输入控制板2110靠齐到触摸屏504的右侧并且以纵向模式(例如,垂直地,而不是如图21A至图21M所示水平地)显示。在一些实施方案中,如果内容输入控制板2110移动到任何边缘的阈值距离内(例如,0.5英寸、1英寸、2英寸内,比其他边缘更靠近相应边缘等),则内容输入控制板2110靠齐到触摸屏504的相应边缘(例如,顶部、底部、左侧、右侧)。
在图21O中,在移动条2115上检测到触笔203的触压。在图21P中,检测到触笔203将内容输入控制板2110朝向触摸屏504的左下角移动的移动。在一些实施方案中,响应于被移动到触摸屏504的左下角,内容输入控制板2110进入微型显示模式,如图21P所示。在一些实施方案中,微型显示模式中的内容输入控制板被显示为图标2120。在一些实施方案中,图标2120包括当前活动的内容输入工具的表示。在图21P中,当前活动的内容输入工具是钢笔输入工具,并且图标2120包括钢笔输入工具的表示。
在图21Q中,在将内容输入控制板2110移动到左下角之后检测到触笔203的触压的终止。在一些实施方案中,响应于检测到触笔203的触压的终止,内容输入控制板在触摸屏504的左下角保持处于微型显示模式。
图21R至图21V示出了启用手指绘图输入设置的实施方案。在图21R中,禁用手指绘图输入设置。在一些实施方案中,手指绘图输入设置是应用于设备500上的所有内容输入区域和所有应用程序的全局设置。在此类实施方案中,当用户切换到不同的应用程序或开始向不同的内容输入区域中输入评论时,继续应用全局手指绘图输入设置。在一些实施方案中,用户能够从设备500的设置用户界面改变(例如,启用或禁用)全局手指绘图输入设置。在一些实施方案中,手指绘图输入设置控制在内容输入区域中接收到的来自手指(例如,而不是触笔203)的输入是被解释为绘图输入还是被解释为导航输入。例如,当启用手指绘图输入设置时,则内容输入区域中的手指输入被解释为内容输入输入(例如,类似于接收到的来自触笔203的输入)以绘制内容或以其他方式将内容插入相应内容输入区域中。在一些实施方案中,当禁用手指绘图输入设置时,则手指输入被解释为导航或选择输入(例如,诸如滚动用户界面或选择内容输入区域中的对象),而不是在相应内容输入区域中绘制或输入内容的输入。在一些实施方案中,内容输入控制板2110包括用于启用或禁用手指绘图输入(例如,改变全局设置)的切换键2122。在一些实施方案中,切换切换键2122使得手指绘图输入仅针对内容输入区域2102或当前应用程序而启用或禁用(视情况而定)(例如,暂时覆盖全局设置)。在一些实施方案中,切换切换键2122使得手指绘图输入针对所有内容输入区域和/或所有应用程序而启用或禁用(视情况而定)(例如,改变全局设置)。在一些实施方案中,切换键2122暂时覆盖全局手指绘图输入设置,直到会话结束。例如,临时手指绘图输入设置仅针对当前绘图会话是活动的(例如,直到用户选择另一内容输入区域,此时恢复全局手指绘图输入设置)。在另一示例中,临时手指绘图输入设置仅针对当前应用程序会话是活动的(例如,直到用户切换到另一应用程序,此时恢复全局手指绘图输入设置)。在另一示例中,临时手指绘图输入设置针对当前设备会话是活动的(例如,直到用户锁定设备或关闭显示器,此时恢复全局手指绘图输入设置)。
在图21S中,在禁用手指绘图输入设置时,接收到来自手指2124的向上轻扫输入。在一些实施方案中,响应于向上轻扫输入,用户界面2100根据向上轻扫移动而向上滚动,如图21S所示。因此,在禁用手指绘图输入设置时,内容输入区域2102中的手指手势导致用户界面的导航(例如,滚动或选择对象)。在图21T中,接收到来自手指2124的切换切换键2122的用户输入,从而启用手指绘图输入。在图21U中,检测到来自手指2124的在内容输入区域2102中绘图的手写输入。在一些实施方案中,响应于手写输入,在内容输入区域2102中手写输入的位置处显示手写输入2126的表示。例如,在图21U中,用户使用手指2124在内容输入区域2102中书写“test”。在图21V中,因为文本输入工具2114-1是活动的,所以将表示2126转换为基于字体的文本(以类似于上面相对于方法700、1100、1300、1500、1600、1800和/或2000所述的方式)。因此,在启用手指绘图输入设置时,以与触笔输入相同的方式处理内容输入区域中的手指手势,使得手势导致内容插入内容输入区域中(任选地转换为基于字体的文本或基于当前活动的内容输入工具而样式化)。
图21W至图21DD示出了在设备500同时显示多个应用程序时显示内容输入控制板的实施方案。在图21W中,设备500处于同时显示两个应用程序的多任务模式。在一些实施方案中,这两个应用程序是同一应用程序的两个实例或各为两个不同应用程序的一个实例。在图21W中,对应于笔记应用程序的用户界面2100显示在触摸屏504的左侧,并且对应于电子邮件应用程序的用户界面2101显示在触摸屏504的右侧。
在图21W中,用户界面2100的内容输入区域2102类似于上文相对于图21V所述的内容输入区域2102,并且包括预先存在的文本2104、基于字体的文本的表示2106、手写输入的表示2108和基于字体的文本的表示2126。在一些实施方案中,对应于电子邮件应用程序的用户界面2101包括对应于收件人字段的文本输入字段2128和对应于电子邮件的正文的内容输入字段2130。
在图21X中,在触摸屏504上内容输入区域2130处检测到触笔203的触压(例如,与触摸屏504接触)。在一些实施方案中,响应于在内容输入区域2130处检测到触笔203的触压,设备500显示居中于用户界面2101中的内容输入控制板2110,如图21Y所示。在一些实施方案中,显示在内容输入控制板2110中的选项基于选项正为其显示的应用程序。例如,在图21Y中,内容输入控制板2110包括可选择以修改字体设置的选项2116-2、可选择以使用设备的集成相机拍摄照片并将该照片插入内容输入区域2102中的选项2116-5、可选择以剪切/复制/粘贴内容的选项2116-7(例如,显示具有剪切、复制或粘贴内容的选项的弹出窗口)以及可选择以在多个内容输入工具中选择的选项2116-9(例如,显示具有内容输入工具选项的弹出窗口)。因此,即使内容输入控制板2110被显示用于接受基于字体的文本和绘图两者的内容输入区域2130(例如,类似于内容输入区域2102),用于内容输入区域2130的内容输入控制板2110也具有与用于内容输入区域2102的内容输入控制板不同的选项。在一些实施方案中,应用程序的设计者能够为每个内容输入区域选择或以其他方式定制在内容输入控制板2110中显示的选项。
在一些实施方案中,除基于应用程序显示选项之外或另选地,内容输入控制板2110能够基于用户界面2101的宽度以较小模式显示(例如,由于正处于同时显示多个应用程序的多任务模式)。在一些实施方案中,当内容输入控制板2110处于较小模式时,更少的选项在内容输入控制板2110中显示。在一些实施方案中,当内容输入控制板2110处于较小模式时,特定选项与其他选项一起塌缩并且以弹出形式显示)。
在图21Z中,在触摸屏504上文本输入区域2128处检测到触笔203的触压(例如,与触摸屏504接触)。在一些实施方案中,响应于在文本输入区域2128处检测到触笔203的触压,设备500显示居中于用户界面2101中的内容输入控制板2110,如图21AA所示。在一些实施方案中,文本输入区域2128仅与基于字体的文本兼容并且与绘图不兼容(例如,文本输入区域2128不能接受或显示绘图输入/内容,并且只能接受或显示基于字体的文本输入/内容)。因此,如图21AA所示,内容输入控制板2110包括基于仅与基于字体的文本兼容的文本输入区域2128的一组选项。例如,在图21AA中,内容输入控制板2110包括撤销选项2112-1、重做选项2112-2、文本输入工具2114-1、用于显示软键盘的选项2116-4和选项2118。因此,内容输入控制板2110包括特定于将文本输入到文本输入区域2128中的有限组选项(例如,并且不包括选项诸如选择标记笔输入工具的选项或设置手写输入的颜色的选项)。
因此,如上所述,设备500能够基于为其显示控制板的应用程序、正为其输入内容的内容输入区域的类型和/或控制板的尺寸(其任选地基于用户界面的宽度)在内容输入控制板2110中显示不同组选项。
图21BB至图21DD示出了当显示内容输入控制板2110时自动选择内容输入工具的实施方案。在图21BB中,在触摸屏504上内容输入区域2102处检测到触笔203的触压(例如,与触摸屏504接触)。在一些实施方案中,响应于在内容输入区域2102处检测到触笔203的触压,设备500显示居中于用户界面2100中的内容输入控制板2110,如图21CC所示。在一些实施方案中,因为内容输入区域2102包括基于字体的文本(例如,预先存在的文本2104、表示2106和表示2126),所以自动选择文本输入工具2114-1使得内容输入区域2102中的手写输入转换为基于字体的字体(例如,自动选择文本输入工具2114-1,而不考虑哪个工具是最近使用的内容输入工具)。因此,因为内容输入区域2102包括基于字体的文本,所以用户可能意图插入更多基于字体的文本,并且自动选择文本输入工具2114-1(例如,设备自动设置为文本输入模式)。在一些实施方案中,如图21CC所示,内容输入控制板2110以较小模式显示,其中较少选项被包括在内容输入控制板2110中。例如,在图21CC中,不显示撤销选项和重做选项,仅显示两个内容输入工具(例如,文本输入工具2114-1和钢笔输入工具2114-2),并且即使选择文本输入工具2114-1,也仅显示选项2116-2、2116-3、2116-4、2116-6、2116-7和2116-8(例如,不包括选项2116-1和2116-5)。
在图21DD中,内容输入区域2102包括仅手写输入2109的表示而不包括基于字体的文本。在图21DD中,响应于在内容输入区域2102处检测到触笔203的触压,设备500显示居中于用户界面2100中的内容输入控制板2110。在一些实施方案中,因为内容输入区域2102不包括任何基于字体的文本(并且任选地因为内容输入区域2102包括手绘内容),所以自动选择先前使用的工具(例如,最近使用的内容输入工具)。在一些实施方案中,先前使用的工具是最近用于将内容插入内容输入区域2102(例如,内容输入控制板2110正为其显示的相同内容输入区域)中的工具。在一些实施方案中,先前使用的工具是最近用于将内容插入任何应用程序的任何内容输入区域中的工具。例如,在图21DD中,自动选择钢笔输入工具2114-2(例如,设备自动设置为钢笔输入模式)。在一些实施方案中,最近使用的工具可以是文本输入工具(例如,如果用户选择文本输入工具以用于另一内容输入区域)。
图22A至图22J是示出在内容输入控制板中显示选项的方法2200的流程图。方法2200任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5I所述。方法2200中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法2200提供了在内容输入控制板中显示选项的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与显示生成部件和一个或多个输入设备通信的电子设备(例如,移动设备(例如,平板电脑、智能手机、媒体播放器或可穿戴设备)或任选地与鼠标(例如,外部的)、触控板(任选地集成的或外部的)、触摸板(任选地集成的或外部的)、远程控制设备(例如,外部的)、另一个移动设备(例如,独立于该电子设备)、手持设备(例如,外部的)和/或控制器(例如,外部的)等中的一者或多者通信的计算机)经由显示生成部件显示用户界面,该用户界面包括第一内容输入区域(例如,用户界面中用户能够在其中输入和/或输入文本、图像、多媒体等的区域)和内容输入用户界面元素(2202),诸如图21C中的内容输入区域2102和内容输入控制板2110(例如,包括控制将内容输入到内容输入区域中的一个或多个选项的控制板),其中当电子设备处于第一内容输入模式时,在该第一内容输入模式中电子设备被配置用于接收手写输入并且将手写输入转换为基于字体的文本,内容输入用户界面元素包括与第一内容输入模式对应的第一组选项(例如,在内容输入用户界面元素中显示的一组一个或多个选项取决于设备正在以其操作的内容输入模式)。
例如,在电子邮件撰写用户界面中,用于电子邮件的正文的内容输入区域能够接收(并通过电子邮件传输)文本、静态图像、视频、附件等,诸如上文相对于用户界面1400所述。在另一个示例中,在笔记应用程序中,内容输入区域能够接收手写文本、绘图、图形等,并且能够插入图像、绘图等,诸如上文相对于用户界面620、800、1000和1210所述。
在一些实施方案中,控制板包括与不同内容输入模式对应的手写设备的一个或多个表示(可选择该一个或多个表示以进入相应内容输入模式)。在一些实施方案中,控制板包括用于改变插入的手写内容的颜色、尺寸、形状、字体等的选项。在一些实施方案中,控制板包括用于插入文件、附件、图像、基于字体的文本等的选项,诸如上文相对于方法1500所述。
例如,当电子设备处于手写文本输入模式中时,设备能够接收手写输入,识别手写输入,并且将手写输入转换为基于字体的文本(例如,以类似于上文相对于方法700、1100、1300、1500、1600、1800和/或2000所述的过程的方式)。在一些实施方案中,接收到来自触笔、手指或任何其他书写设备的手写输入。在一些实施方案中,仅将来自触笔的手写输入转换为基于字体的文本。在一些实施方案中,与第一内容输入模式对应的第一组选项包括表输入选项(用于在内容输入区域中插入表)、字体选项(用于改变基于字体的文本的字体)、复选框输入选项(用于在内容输入区域中插入选项按钮)、虚拟键盘选项(用于在用户界面中显示软键盘或虚拟键盘)、相机选项(用于使用电子设备的相机拍摄图像并将图像插入内容输入区域中)、文件附加选项(用于将文件插入和/或附加到内容输入区域)、表情符号选项(用于将表情符号插入内容输入区域中)、复制/粘贴选项(用于将内容复制到剪贴板或从剪贴板插入内容)等中的一者或多者。
在一些实施方案中,显示生成部件是与电子设备集成的显示器(任选地触摸屏显示器)、外部显示器诸如监视器、投影仪、电视机或用于投影用户界面或使得用户界面对一个或多个用户可见的硬件部件(任选地集成的或外部的)等。在一些实施方案中,显示生成部件是能够接收显示数据并显示用户界面的硬件部件(例如,包括电子部件)。
在一些实施方案中,当在电子设备处于第一内容输入模式时显示内容输入用户界面元素时,电子设备接收与将电子设备从第一内容输入模式切换到第二内容输入模式的请求对应的用户输入,在第二内容输入模式中电子设备被配置用于接收手写输入而不将手写输入转换为基于字体的文本(2204),诸如图21H中选择钢笔输入工具2114-2(例如,在控制板上接收到选择与不同于手写文本输入模式的内容输入模式对应的手写设备的表示的用户输入)。
例如,用户输入选择铅笔、钢笔、标记笔、荧光笔等的表示。在一些实施方案中,用户输入与退出手写文本输入模式并进入与所选择的表示相关联的另一内容输入模式的请求对应。在一些实施方案中,手写文本输入模式之外的内容输入模式不将手写输入转换为基于字体的文本。在一些实施方案中,在处于手写文本输入模式之外的内容输入模式时,手写输入使得基于所选择的手写设备插入内容。例如,当处于铅笔内容输入模式时(例如,当选择铅笔工具时),手写输入以对应于铅笔绘图的样式显示。在一些实施方案中,接收到来自触笔、手指或任何其他书写设备的手写输入。在一些实施方案中,经由触笔或触摸输入(例如,在内容输入用户界面元素上选择相应工具)、语音命令(例如,经由麦克风)或任何其他合适的输入机构来接收与切换电子设备的请求对应的用户输入。
在一些实施方案中,响应于接收到用户输入(2206),诸如图21I所示:电子设备将内容输入用户界面元素中与第一内容输入模式对应的第一组选项替换为与第一组选项不同的与第二内容输入模式对应的第二组选项(2208),诸如图21I中内容输入控制板2110从包括选项2116切换到包括选项2113(例如,将当处于第一内容输入模式时显示的内容输入用户界面元素中显示的一组一个或多个选项替换为基于正处于第二内容输入模式的不同组一个或多个选项)。
在一些实施方案中,从内容输入用户界面元素中移除一个或多个选项。在一些实施方案中,将一个或多个选项添加到内容输入用户界面元素。在一些实施方案中,被移除的选项不应用于第二内容输入模式或与第二内容输入模式无关。在一些实施方案中,添加的选项不应用于第一内容输入模式或与第一内容输入模式无关,而是应用于第二内容输入模式和/或与第二内容输入模式相关。例如,当处于手写文本输入模式时,内容输入用户界面元素包括字体选项(例如,可选择以改变所得的基于字体的文本的字体,诸如字体尺寸、字体类型、颜色、下划线、斜体、删除线、下标、上标等),并且进入铅笔绘图内容输入模式使得从显示器中移除字体选项并且显示一个或多个颜色输入选项(例如,可选择以改变插入的内容和/或手写绘图的颜色)。在一些实施方案中,响应于接收到用户输入,设备被配置为在第二内容输入模式中操作。例如,如果用户从内容输入用户界面元素中选择绘图工具,则设备进入绘图模式并且手写输入被解释为绘图,并且输入不被转换为计算机文本(例如,基于字体的文本)。
上述提供都基于手写输入(例如,使用触笔)但以不同方式操作的两种内容输入模式的不同内容输入选项的方式允许电子设备向用户提供为用户所处的内容输入模式定制的选项,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动向用户提供与活动的内容输入模式相关的选项并且不向用户提供与活动的内容输入模式无关的选项,而无需用户导航到单独的菜单或执行附加输入以访问相关选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当电子设备处于第一内容输入模式时,电子设备经由该一个或多个输入设备接收包括指向第一内容输入区域的手写输入的用户输入(2210),诸如图21D中触笔203的触压(例如,经由触敏显示器在第一内容输入区域上接收到的来自手指或触笔的接触)。在一些实施方案中,用户输入包括形成一个或多个手写字词的一个或多个字符的手势序列。
在一些实施方案中,响应于接收到用户输入,电子设备在用户界面中与第一内容输入区域对应的位置处显示手写输入的表示(2212),诸如图21D中手写输入的表示2106(例如,在接收到输入时在显示器上接收到手写输入的位置处显示该手写输入的迹线)。例如,当用户在触敏显示器上“绘制”时,显示器在接收到输入的位置处显示用户的手写输入。在一些实施方案中,上文相对于方法700更详细地描述了显示手写输入的表示。
在一些实施方案中,在与第一内容输入区域对应的位置处显示手写输入的表示之后(2214),诸如图21D所示,电子设备停止显示手写输入的表示(2216)并且在第一内容输入区域中显示与手写输入对应的基于字体的文本(2218),诸如图21E所示(例如,移除显示器上的手写输入的至少一部分并且在文本输入字段中显示与手写输入的移除部分对应的基于字体的文本(例如,计算机化文本、数字文本))。在一些实施方案中,第一内容输入模式是文本输入模式(例如,当选择文本输入工具时),使得手写输入被转换为第一内容输入区域中的基于字体的文本,如上面相对于方法700、1100、1300、1500、1600、1800和/或2000更详细地描述的。
上述将手写输入转换为文本的方式(例如,通过接收指向第一内容输入区域的输入,并且如果设备处于第一内容输入模式,则将手写输入替换为基于字体的文本)允许用户在选择文本输入工具的情况下直接书写到用户界面上以输入文本,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,无需用户切换到不同的输入机构诸如物理或虚拟键盘以在文本输入模式和绘图模式之间切换),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,当电子设备处于第二内容输入模式时,电子设备经由该一个或多个输入设备接收包括指向第一内容输入区域的手写输入的用户输入(2200),诸如图21J中触笔203的触压(例如,经由触敏显示器在第一内容输入区域上接收到的来自手指或触笔的接触)。在一些实施方案中,用户输入包括形成一个或多个手写字词的一个或多个字符的手势序列。
在一些实施方案中,响应于接收到用户输入,电子设备在用户界面中与第一内容输入区域对应的位置处显示手写输入的表示,而不显示与手写输入的表示对应的基于字体的文本(2222),诸如图21K中手写输入2108的表示(例如,在接收到输入时在显示器上接收到手写输入的位置处显示该手写输入的迹线)。
例如,当用户在触敏显示器上“绘制”时,显示器在接收到输入的位置处(例如,在第一内容输入区域中)显示用户的手写输入。在一些实施方案中,当处于第二内容输入模式时,手写输入的表示不替换为基于字体的文本。在一些实施方案中,第二内容输入模式是绘图模式。在一些实施方案中,第二内容输入模式是除了文本输入模式之外的内容输入模式(例如,选择除了文本输入工具之外的工具),诸如上文相对于方法1500和1600所述。
上述接受手写输入作为绘图的方式(例如,通过接收指向第一内容输入区域的输入,并且如果设备处于第二内容输入模式,则不将输入替换为基于字体的文本)允许用户快速且高效地切换到绘图模式并且使用用于输入基于字体的文本的相同输入设备在用户界面中绘制(例如,无需用户切换到另一个输入设备或输入机构),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效,而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,与第一内容输入模式对应的第一组选项,诸如图21C中的选项2116,包括以下中的一者或多者(2224)(例如,包括以下类别中的每个类别的至少一个工具,包括来自以下类别中的一个类别的至少一个工具,包括来自以下类别中的多于一个类别的至少一个工具等):用于为第一内容输入区域中的基于字体的文本选择一种或多种字体设置的一个或多个选项(2226),诸如图21C中的选项2116-2(例如,可选择用于显示对话框或弹出窗口以用于选择不同字体设置的选项或用于选择不同字体设置的多个选项)、用于显示软键盘以用于将基于字体的文本输入到第一内容输入区域中的一个或多个选项(2228),诸如图21C中的选项2116-4(例如,可选择用于显示软键盘或虚拟键盘的选项)或用于将表情符号插入第一内容输入区域中的一个或多个选项(2230),诸如图21C中的选项2116-8(例如,可选择用于显示对话框以用于选择一个或多个表情符号输入到第一内容输入区域中的选项)。
在一些实施方案中,当设备处于第一内容输入模式时,选项影响手写输入(例如,未来输入)的表示的视觉特征。在一些实施方案中,如果选择(例如,突出显示)第一内容区域中的文本,则选项影响所选择的文本的视觉特征。在一些实施方案中,字体设置包括字体尺寸、字体类型、粗体、斜体、下划线、删除线状态、颜色等。在一些实施方案中,软键盘或虚拟键盘是物理键盘的视觉表示。在一些实施方案中,用户对软键盘上字符的选择使得相应字符输入到第一内容输入区域中。
上述在内容输入用户界面元素中显示与文本输入模式相关联的选项的方式(例如,通过当设备处于文本输入模式时包括特定于基于字体的文本的选项)允许用户快速且高效地配置在内容输入区域中输入的基于字体的文本,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,无需用户导航到单独的用户界面或执行附加输入以改变基于字体的文本的视觉特征),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,与第二内容输入模式对应的第二组选项包括用于为第一内容输入区域中的手写输入的表示选择一种或多种颜色设置的一个或多个选项(2232),诸如图21I中的选项2113(例如,用于当设备处于第二内容输入模式时改变手写输入(例如,未来输入)的表示的颜色的选项)。在一些实施方案中,选项包括多个最近使用的颜色。在一些实施方案中,选项包括多个预先确定的常用颜色(例如,蓝色、红色、绿色、黄色、原色等)。在一些实施方案中,选项包括显示用于选择颜色的调色板的选项。在一些实施方案中,如果选择(例如,突出显示)第一内容区域中的内容,则选项影响所选择的内容的视觉特征。
上述在内容输入用户界面元素中显示与绘图模式相关联的选项的方式(例如,通过当设备处于绘图模式时包括特定于绘图的选项)允许用户快速且高效地配置在内容输入区域中输入的绘图,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,无需用户导航到单独的用户界面或执行附加输入以改变绘图的视觉特征),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,在显示内容输入用户界面元素时,电子设备接收指向内容输入用户界面元素的用户输入(2234),诸如图21L所示(例如,选择内容输入用户界面元素的用户输入)。
在一些实施方案中,响应于接收到用户输入(2236),根据确定用户输入包括指向与内容输入用户界面元素对应的位置的选择输入和在保持选择输入的同时的移动,电子设备根据用户输入的移动在用户界面内移动内容输入用户界面元素(2238),诸如图21M所示(例如,根据用户输入的移动而移动内容输入用户界面元素)。
在一些实施方案中,用户输入包括与内容输入用户界面上的操纵示能表示的接触。在一些实施方案中,在接触终止(例如,抬离)时,内容输入用户界面元素保持在接触的最终位置处。在一些实施方案中,内容输入用户界面元素靠齐到显示器上预先确定的位置。例如,预先确定的位置包括显示器的底部、显示器的左侧、显示器的右侧或显示器的顶部。在一些实施方案中,内容输入用户界面元素改变其视觉外观以符合新位置。例如,当位于显示器的顶部或底部时,内容输入用户界面元素是水平的,并且当位于显示器的左侧或右侧时,内容输入用户界面元素是垂直的。
上述移动内容输入用户界面元素的方式(例如,通过接收选择内容输入用户界面元素并将其拖动到不同位置的用户输入)简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供移动内容输入用户界面元素以显露用户界面的先前被遮挡的部分的能力,而无需用户执行附加输入以滚动用户界面或解除内容输入用户界面元素),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,响应于根据用户输入的移动而移动内容输入用户界面元素(2240),诸如图21M所示(例如,响应于移动内容输入用户界面元素的用户输入),根据确定内容输入用户界面元素的最终位置满足一个或多个位置标准,电子设备以第一尺寸显示内容输入用户界面元素,其中当内容输入用户界面具有第一尺寸时,内容输入用户界面元素包括当前内容输入模式的表示,而不显示与当前内容输入模式对应的一组给定选项(2242),诸如图21P所示(例如,如果内容输入用户界面元素已移动到显示器中预先确定的位置,则以“微型”模式或简化模式显示内容输入用户界面元素)。
在一些实施方案中,响应于根据用户输入的移动而移动内容输入用户界面元素,根据确定内容输入用户界面元素的最终位置不满足该一个或多个位置标准,电子设备以不同于第一尺寸的第二尺寸显示内容输入用户界面元素,其中当内容输入用户界面具有第二尺寸时,内容输入用户界面元素包括当前内容输入模式的表示和与当前内容输入模式对应的一组给定选项(2244),诸如图21O所示(例如,如果在移动内容输入用户界面元素之后内容输入用户界面元素的最终位置不在显示器上预先确定的位置处,则以全尺寸模式显示内容输入用户界面元素)。
在一些实施方案中,用户输入包括触压和拖动内容输入用户界面元素的移动。在一些实施方案中,微型或简化模式包括显示当前活动的内容输入工具的表示,而不显示其他内容输入工具,并且不显示与活动的内容输入模式对应的一组选项。在一些实施方案中,显示器中使得内容输入用户界面元素以微型模式显示的预先确定的位置包括显示器的角部(例如,左上角、右上角、左下角和右下角)。在一些实施方案中,当内容输入用户界面元素处于“微型”模式时,对内容输入用户界面元素的选择使得内容输入用户界面元素返回到其默认(例如,全尺寸)模式。
上述改变内容输入用户界面元素的尺寸的方式(例如,基于内容输入用户界面元素的位置)快速且高效地向用户提供用于输入内容的选项,同时将对用户界面的遮挡最小化(例如,通过允许用户移动内容输入用户界面元素并且使内容输入用户界面元素微型化,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过如果用户请求将内容输入用户界面元素移动到预先确定的位置,则将内容输入用户界面元素自动改变为更小的尺寸,而无需用户执行附加输入以移动内容输入用户界面元素并调整其尺寸),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,电子设备包括全局设置,该全局设置用于将电子设备配置为在处于第一内容输入模式和第二内容输入模式时接受或忽略来自相应设备(例如,触笔)之外的对象的相应手写输入(例如,启用或禁用来自手指的内容插入的全局设置)(2246),诸如图21R所示。
在一些实施方案中,启用全局设置导致来自手指的输入与来自触笔的输入类似地处理(例如,诸如用于插入被转换为基于字体的文本的手写输入或插入绘图)。在一些实施方案中,禁用全局设置导致来自手指的输入被处理为导航输入、选择输入或除了内容插入输入之外的任何其他输入(例如,轻扫手势任选地被处理为滚动输入,轻击输入任选地被处理为选择输入等)。
在一些实施方案中,内容输入用户界面元素包括在处于第一内容输入模式和第二内容输入模式时可选择以接受或忽略来自触笔之外的对象的相应手写输入的选项,而不考虑全局设置的状态(2248),诸如图21R中的切换选项2122(例如,控制板包括选项诸如按钮或切换开关,其覆盖全局设置以禁用或启用手指输入(视情况而定),该手指输入将被解释为类似于相对于与内容输入区域的交互的触笔输入)。
上述管理来自手指的手写输入的方式(例如,通过提供可被控制板上的可选选项覆盖的全局设置)提供了覆盖对手指输入的默认响应的快速且高效的方式,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过向用户提供插入内容的另一种方法,而无需用户切换到使用触笔或执行附加输入并导航到设置用户界面以切换全局设置),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,用户界面包括第二内容输入区域,第一内容输入区域支持第一组内容选项,并且第二内容输入区域支持不同于第一组内容选项的第二组内容选项(2250),诸如图21W中的文本输入区域2128和内容输入区域2130(例如,这些内容输入区域被配置为使得针对给定内容输入模式仅支持特定选项)。
例如,第一内容输入区域被配置为仅接受特定的字体类型或字体尺寸,而第二内容输入区域被配置为接受任何字体类型或字体尺寸。在此类实施方案中,用于第一内容输入区域的内容输入用户界面元素不包括用于选择字体类型或字体尺寸的选项,而用于第二内容输入区域的内容输入用户界面元素包括用于字体类型和字体尺寸的选项,即使当设备在将手写输入输入到第一内容输入区域和第二内容输入区域中时处于第一内容输入模式时也是如此。
在一些实施方案中,当电子设备处于第一内容输入模式时(2252),电子设备接收指向相应内容输入区域的用户输入(2254),诸如图21X所示(例如,轻击或选择相应内容输入区域的用户输入或在相应内容输入区域中绘图的用户输入)。
在一些实施方案中,响应于接收到指向相应内容输入区域的用户输入(2256),电子设备在用户界面中显示内容输入用户界面元素(2258),诸如图21Y所示(例如,显示具有与内容输入区域的类型对应的选项的内容输入用户界面元素)。
在一些实施方案中,根据确定相应内容输入区域是第一内容输入区域,内容输入用户界面元素包括与第一组内容选项对应的第一组选项(2260),诸如图21Y所示(例如,在用于第一内容输入区域的内容输入用户界面元素中显示的选项对应于由第一内容输入区域支持的内容选项)。例如,如果第一内容输入区域被配置为不允许用户改变字体设置,则内容输入用户界面元素不包括用于改变字体设置的选项。
在一些实施方案中,根据确定相应内容输入区域是第二内容输入区域,内容输入用户界面元素包括与第一组选项不同的与第二组内容选项对应的第三组选项(2262),诸如图21AA所示(例如,在用于第二内容输入区域的内容输入用户界面元素中显示的选项对应于由第二内容输入区域支持的内容选项)。
例如,如果第二内容输入区域被配置为允许用户改变字体设置,则内容输入用户界面元素包括用于改变字体设置的选项。因此,在一些实施方案中,被包括在内容输入用户界面元素中的选项取决于用户正在向其中输入内容的内容输入区域的类型(例如,具有焦点的内容输入区域或用户最近已与之交互或当前正与之交互的内容输入区域)。响应于指向相应内容输入区域的用户输入,根据用户输入将内容插入相应内容输入区域中。例如,在一些实施方案中,如果用户开始在相应内容输入区域中绘图,则显示控制板并且用户绘图的表示显示在相应内容输入区域中。
上述基于内容输入区域来配置在内容输入用户界面元素上显示的选项的方式(例如,通过显示内容输入区域支持的选项并且不显示内容输入区域不支持的选项)快速且高效地向用户提供支持的选项(例如,通过自动确定相应内容输入区域支持哪些选项并且不显示不支持的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过不向用户提供不可操作或不支持的选项),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
在一些实施方案中,在显示包括第一内容输入区域的用户界面时,其中第一内容输入区域支持第一内容输入模式和第二内容输入模式(例如,第一内容输入区域接受基于字体的文本和绘图,使得第一内容输入区域在处于文本输入模式和绘图模式时接受输入),电子设备接收(2264)指向第一内容输入区域的用户输入,诸如图21BB所示。在一些实施方案中,不同的内容输入区域可被配置为接受不同类型的内容,使得特定内容输入模式禁用。
在一些实施方案中,响应于指向第一内容输入区域的用户输入,电子设备在用户界面中显示内容输入用户界面元素(2266),诸如图21CC所示。在一些实施方案中,根据确定第一内容输入区域不包括基于字体的文本,内容输入用户界面元素包括与第一内容输入区域中最近使用的内容输入模式对应的相应一组选项(2268),诸如图21DD所示(例如,如果内容输入区域不包括任何基于字体的文本(例如,经由键盘、软键盘输入的或在使用文本输入工具时手写输入的),则选择的默认内容输入工具是最近使用的内容输入工具)。
在一些实施方案中,最近使用的内容输入工具是全局最近使用的内容输入工具(例如,跨任何内容输入区域和/或跨任何应用程序)。在一些实施方案中,最近使用的内容输入是用于第一内容输入区域的最近使用的内容输入工具。在一些实施方案中,内容输入用户界面元素包括与选择的内容输入工具对应的一组选项。在一些实施方案中,如果内容输入区域不包括任何基于字体的文本,则设备被配置为在最近使用的内容输入模式中操作,并且内容输入用户界面元素包括与最近使用的内容输入模式对应的选项。例如,如果用户先前选择了用于在相应内容输入区域中插入铅笔样式绘图的铅笔工具,然后解除内容输入用户界面元素,则下一次用户使得显示内容输入用户界面元素(例如,使得内容输入用户界面元素被显示,诸如响应于检测到指向相应内容输入区域的手写输入)时,自动选择铅笔工具,并且内容输入用户界面元素中的该组选项对应于铅笔工具。又如,如果用户先前选择了用于在第一内容输入区域中插入标记笔样式绘图的标记笔工具,解除内容输入用户界面元素,然后显示用于第二内容输入区域的内容输入用户界面元素,则自动选择标记笔工具,并且内容输入用户界面元素中的该组选项对应于标记笔工具。在第三示例中,如果用户在相应内容输入区域中插入基于字体的文本(例如,使用虚拟键盘、物理键盘、文本输入工具或任何其他文本插入功能),选择荧光笔工具,然后解除内容输入用户界面元素,则下一次用户显示内容输入用户界面元素时,即使先前选择的工具是荧光笔工具,也自动选择文本输入工具,因为相应内容输入区域具有基于字体的文本。在一些实施方案中,当显示内容输入用户界面元素时自动选择的工具指示设备被配置的内容输入模式。例如,如果自动选择的工具是文本输入工具,则设备被配置为在手写文本输入模式中操作。在另一个示例中,如果自动选择的工具是铅笔工具,则设备被配置为在铅笔内容输入模式中操作。在一些实施方案中,如果在接收到用户输入之前设备被配置为在不同模式中操作,则响应于用户输入,设备切换到基于自动选择的工具在对应模式中操作。
上述显示与最近使用的内容输入工具相关联的选项的方式(例如,如果内容输入区域不包括任何基于字体的字体)快速且高效地向用户提供用户最可能使用的选项,这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动将设备配置为处于用户最近已使用的内容输入模式,而无需用户执行附加输入以切换到期望的内容输入模式),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,根据确定第一内容输入区域包括基于字体的文本,内容输入用户界面元素包括与第一内容输入模式对应的第一组选项(2270),诸如图21CC所示(例如,如果内容输入区域包括基于字体的文本,则选择的内容输入工具是文本输入工具)。
在一些实施方案中,如果内容输入区域包括基于字体的文本,则设备被配置为(例如,在内容输入区域中检测到触压时)在第一内容输入模式(例如,文本输入模式)中操作。在一些实施方案中,内容输入用户界面元素包括与文本输入工具对应的第一组选项。在一些实施方案中,响应于用户输入,因为自动选择的工具是内容输入工具,所以设备被配置为在相应内容输入模式中操作。
上述显示与文本输入工具相关联的选项的方式(例如,如果内容输入区域包括基于字体的字体)快速且高效地向用户提供用户最可能使用的选项(例如,由于内容输入区域已包括基于字体的字体,用户可能输入文本),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过自动将设备配置为处于文本输入模式,而无需用户执行附加输入以切换到期望的内容输入模式),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,显示内容输入用户界面元素(2272),诸如图21CC所示包括:根据确定用户界面是第一应用程序的用户界面,在第一组选项中包括第一选项(2274),诸如图21CC所示(例如,应用程序可被配置为支持不同组选项用于其相应内容输入区域)。例如,针对特定类型的内容输入区域,第一应用程序可允许用户选择所有可能的颜色,而第二应用程序限制用户使得不能选择颜色。因此,在一些实施方案中,如果用户界面是第一应用程序的用户界面,则用于选择输入到第一内容输入区域中的内容的颜色的选项包括在为第一内容输入区域显示的选项中。
在一些实施方案中,显示内容输入用户界面元素包括:根据确定用户界面是不同于第一应用程序的第二应用程序的用户界面,在第一组选项中包括第二选项而不在第一组选项中包括第一选项(2276),诸如图21Y所示(例如,在内容输入用户界面元素中显示的一组选项中包括不同于第一选项的第二选项,并且在内容输入用户界面元素中显示的选项中不包括用于选择输入到第一内容输入区域中的内容的颜色的选项,不管事实上第一应用程序和第二应用程序的内容输入区域都支持相同类型的内容(在该示例中,基于字体的文本和绘图))。
在一些实施方案中,在相应应用程序的内容输入用户界面元素中显示的选项由相应应用程序的开发者定制。例如,开发者能够在选项和/或工具的默认或标准列表中添加或移除选项和/或工具。在一些实施方案中,开发者能够定制用于相应应用程序中的所有内容输入区域的工具或者单独定制用于相应应用程序中的每个内容输入区域的工具。
上述基于应用程序来显示选项的方式(例如,通过显示相应应用程序被配置为允许的选项)快速且高效地向用户提供相应应用程序支持的选项(例如,不向用户提供不可操作或不支持的选项),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效,而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命。
在一些实施方案中,用户界面是第一应用程序的用户界面(2278),诸如图21W中的用户界面2100。在一些实施方案中,在经由显示生成部件显示包括第一内容输入区域的用户界面时(2280),诸如图21W所示,电子设备经由显示生成部件显示第二应用程序的第二用户界面,其中第二用户界面包括第二内容输入区域(2282),诸如图21W中的用户界面2102(例如,在显示器上同时显示两个用户界面)。在一些实施方案中,电子设备处于多任务模式,并且两个用户界面是同一应用程序的用户界面(例如,同一应用程序的两个实例或窗口),或者两个用户界面是两个不同应用程序的用户界面。
在一些实施方案中,在显示用户界面和第二用户界面时,电子设备接收用户输入(2284),诸如图21X所示。在一些实施方案中,响应于接收到用户输入(2286),根据确定用户输入指向第一内容输入区域,电子设备在与第一应用程序对应的第一位置处显示内容输入用户界面元素(2288),诸如图21CC所示(例如,如果用户选择第一用户界面的内容输入区域,则内容输入用户界面元素显示在基于第一应用程序的位置处)。例如,如果第一应用程序的用户界面显示在显示器的右半部上,则内容输入用户界面元素显示在显示器的右半部上和/或居中显示在第一应用程序上。
在一些实施方案中,响应于接收到用户输入,根据确定用户输入指向第二内容输入区域,电子设备在与第一位置不同的与第二应用程序对应的第二位置处显示内容输入用户界面元素(2290),诸如图21Y所示(例如,如果用户选择第二用户界面的内容输入区域,则内容输入用户界面元素显示在基于第二应用程序的位置处)。
例如,如果第二应用程序的用户界面显示在显示器的左半部上,则内容输入用户界面元素显示在显示器的左半部上和/或居中显示在第二应用程序上。在一些实施方案中,如果用户界面的尺寸不是显示器的全尺寸,则内容输入用户界面元素以除了全尺寸之外的尺寸显示并且具有除了与活动的内容输入模式对应的全组选项之外的一组选项。例如,如果第一用户界面是显示器宽度的25%(例如,第二用户界面是显示器宽度的75%),则为第一用户界面显示的内容输入用户界面元素任选地小于全尺寸(例如,全尺寸的25%、33%、50%、66%等),并且一个或多个选项不显示在内容输入用户界面元素中。在一些实施方案中,不显示在内容输入用户界面元素中的一个或多个选项显示在响应于对内容输入用户界面元素中的选项的选择而显示的子菜单中(例如,不可适配在内容输入用户界面元素中的一个或多个选项被移动到可从内容输入用户界面元素访问的子菜单中)。
上述显示内容输入用户界面元素的方式(例如,居中于具有用户正在向其中输入内容的内容输入区域的应用程序)快速且高效地向用户指示内容输入用户界面元素与哪个用户界面相关联(例如,通过将内容输入用户界面元素放置成更靠近相关应用程序并且更远离用户未将内容插入其中的应用程序),这简化了用户与电子设备之间的交互,并且增强了电子设备的可操作性,并且使得用户-设备界面更高效(例如,通过减少对错误用户界面的错误输入),而通过使得用户能够更快速且高效地使用电子设备,能够减少电力使用,延长电子设备的电池寿命,同时减少设备使用中的错误。
应当理解,对图22A至图22J中的操作进行描述的特定顺序仅仅是示例性的,并且并非旨在指示所述顺序是操作可以被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100、1300、1500、1600、1800和2000)所述的其他过程的细节同样以类似的方式适用于上文结合图22A至图22J所述的方法2200。例如,上文参考方法2200所述的在内容输入控制板中显示选项的操作任选地具有以下特征中的一个或多个特征:接受和/或转换手写输入、选择和删除文本、将手写输入插入预先存在的文本中、管理将手写文本转换为基于字体的文本的定时、呈现手写输入菜单、控制手写输入的特征、以及呈现自动补全建议、将手写输入转换为基于字体的文本等,如本文参考本文所述的其他方法(例如,方法700、900、1100、1300、1500、1600、1800和2000)所述。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5I所述)或专用芯片。此外,上文参考图22A至图22J描述的操作任选地由图1A至图1B中所示的部件来实现。例如,显示操作2202、2212、2218、2222、2242、2244、2258、2266、2272、2282、2288和2290以及接收操作2204、2210、2220、2234、2254、2264和2284任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
如上所述,本技术的一个方面潜在地涉及收集和使用可从特定和合法来源获得的数据,以促进内容从一个电子设备流式传输到另一个电子设备。本公开设想,在一些实例中,该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身级别相关的数据或记录(例如,生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息、使用历史、手写样式等。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于自动执行相对于使用触笔与电子设备交互(例如,将手写识别为文本)的操作。因此,使用此类个人信息数据使得用户能够输入更少的输入来执行相对于手写输入的动作。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,手写样式可用于为用户生成建议的基于字体的文本。
本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出并能够被用户方便地访问,并应当随数据的收集和/或使用改变而被更新。用户的个人信息应被收集仅用于合法使用。另外,此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应针对被收集和/或访问的特定类型的个人信息数据调整政策和实践,并使其适用于适用法律和标准,包括可用于施加较高标准的辖区专有的考虑因素。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,用户能够将一个或多个电子设备配置为更改电子设备的发现设置或隐私设置。例如,用户可选择仅允许电子设备在提供自动补全建议时访问用户的手写输入历史中的特定手写输入历史的设置。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可基于聚合的非个人信息数据或绝对最低数量的个人信息来识别手写,诸如仅基于用户的设备或其他非个人信息来处理手写。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (221)

1.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示用户界面,所述用户界面包括第一文本输入区域;
在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括指向所述第一文本输入区域的手写输入;
在接收到所述用户输入时,在所述用户界面中与所述文本输入区域对应的位置处显示所述手写输入的表示;以及
在所述用户界面中显示所述手写输入的所述表示之后:
根据确定所述用户输入满足一个或多个第一标准,停止显示所述手写输入的所述表示的至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的基于字体的文本;以及
根据确定所述用户输入不满足所述一个或多个第一标准,保持所述手写输入的所述表示的显示,而不在所述文本输入区域中显示所述基于字体的文本。
2.根据权利要求1所述的方法,其中在继续接收所述手写输入时发生在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本。
3.根据权利要求1至2中任一项所述的方法,其中响应于在所述手写输入中检测到长于时间阈值的暂停,发生在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本。
4.根据权利要求1至3中任一项所述的方法,还包括:
在所述用户界面中显示所述手写输入的所述表示之后,在所述触敏显示器上同时显示:
所述手写输入的所述表示的至少所述部分;和
可选选项,所述可选选项对应于与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本,
其中响应于检测到对所述可选选项的选择,停止显示所述手写输入的所述表示的所述至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本。
5.根据权利要求1至4中任一项所述的方法,其中所述文本输入区域包括文本输入字段。
6.根据权利要求1至5中任一项所述的方法,其中所述手写输入的所述至少一部分包括在所述文本输入区域的边界内检测到的手写输入和在所述文本输入区域的所述边界外检测到的手写输入。
7.根据权利要求6所述的方法,其中在大于所述文本输入区域并且围绕所述文本输入区域的误差边际区域内检测到的手写输入有资格被转换为所述文本输入区域中的基于字体的文本,并且在所述误差边际区域外检测到的手写输入没有资格被转换为所述文本输入区域中的基于字体的文本。
8.根据权利要求1-7中任一项所述的方法,还包括:
经由所述触敏显示器接收第二用户输入,所述第二用户输入包括指向所述用户界面中的第二文本输入区域的手写输入;以及
在接收到所述第二用户输入之后:
根据确定所述第二用户输入满足一个或多个第二标准,在所述文本输入区域中显示与所述第二用户输入对应的基于字体的文本,其中所述一个或多个第二标准包括当在所述用户输入的时间阈值内检测到所述第二用户输入时满足的标准;以及
根据确定所述第二用户输入不满足所述一个或多个第二标准,在所述第二文本输入区域中显示与所述第二用户输入对应的基于字体的文本。
9.根据权利要求8所述的方法,其中所述一个或多个第二标准包括当所述第二用户输入的大部分指向所述文本输入区域而不是所述第二文本输入区域时满足并且当所述第二用户输入的所述大部分指向所述第二文本输入区域而不是所述文本输入区域时不满足的标准。
10.根据权利要求1至9中任一项所述的方法,其中在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本包括:
在检测到与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本之后,但在将所述基于字体的文本提交到所述文本输入区域之前,以视觉特征的第一值显示所述基于字体的文本;以及
在将所述基于字体的文本提交到所述文本输入区域之后,以所述视觉特征的不同于所述第一值的第二值显示所述基于字体的文本。
11.根据权利要求10所述的方法,其中在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本包括:
根据确定所述基于字体的文本的所述检测具有第一置信度水平,以相应视觉特征的第一值显示所述基于字体的文本;以及
根据确定所述基于字体的文本的所述检测具有不同于所述第一置信度水平的第二置信度水平,以所述相应视觉特征的不同于所述第一值的第二值显示所述基于字体的文本。
12.根据权利要求10至11中任一项所述的方法,其中在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本包括:
根据确定所述基于字体的文本的所述检测具有第一置信度水平,在所述文本输入区域中的第一位置处显示所述基于字体的文本;以及
根据确定所述基于字体的文本的所述检测具有不同于所述第一置信度水平的第二置信度水平,在所述文本输入区域中的不同于所述第一位置的第二位置处显示所述基于字体的文本。
13.根据权利要求1至12中任一项所述的方法,其中所述一个或多个第一标准包括基于所述手写输入的定时特征、与所述手写输入相关联的上下文、所述手写输入中的标点符号、触笔距所述触敏显示器的距离、指向所述用户界面中的第二文本输入区域的输入、滚动所述用户界面的输入、触笔的角度、所述手写输入距所述文本输入区域的边缘的距离、在触笔上检测到的手势或在所述触敏显示器上检测到的来自手指的输入而满足的一个或多个标准。
14.根据权利要求1至13中任一项所述的方法,还包括:
在接收到所述用户输入时,根据确定满足一个或多个第二标准,在所述用户界面中移动所述手写输入的所述表示的至少一部分,以显露所述用户界面中用于接收附加手写输入的空间。
15.根据权利要求14所述的方法,还包括:
在接收到所述用户输入时,根据确定满足一个或多个第三标准,扩展所述文本输入区域的边界以在所述文本输入区域中创建用于接收附加手写输入的空间。
16.根据权利要求15所述的方法,其中扩展所述文本输入区域的所述边界包括:
根据确定所述文本输入区域位于所述用户界面中的第一位置处,扩展所述文本输入区域的第一边界;以及
根据确定所述文本输入区域位于所述用户界面中不同于所述第一位置的第二位置处,扩展所述文本输入区域的第二边界而不扩展所述文本输入区域的所述第一边界。
17.根据权利要求1至16中任一项所述的方法,其中在接收到所述用户输入时在所述用户界面中显示所述手写输入的所述表示包括显示所述手写输入的所述表示的一个或多个视觉特征随着自接收到所述对应手写输入以来经过的时间而改变的动画。
18.根据权利要求1至17中任一项所述的方法,其中停止显示所述手写输入的所述表示的所述至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本包括显示所述手写输入的所述表示变幻为所述基于字体的文本的动画。
19.根据权利要求1至18以及148至150中任一项所述的方法,其中所述手写输入的所述至少一部分与包括打字错误的基于字体的文本对应,并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本包括显示所述打字错误已校正的所述基于字体的文本。
20.根据权利要求1至19以及148至150中任一项所述的方法,还包括:
在所述用户界面中显示所述手写输入的所述表示之后:
根据所述确定所述用户输入满足一个或多个第一标准:
将与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本传输到独立于所述电子设备的第二电子设备。
21.根据权利要求20所述的方法,其中所述第二电子设备正在显示包括一个或多个相应文本输入区域的用户界面,所述一个或多个相应文本输入区域包括与由所述电子设备显示的所述文本输入区域对应的相应文本输入区域,所述方法还包括:
在所述电子设备处检测由所述第二电子设备显示的所述一个或多个相应文本输入区域;以及
响应于检测到由所述第二电子设备显示的所述一个或多个相应文本输入区域,在所述用户界面中显示一个或多个文本输入区域,包括与所述一个或多个相应文本输入区域对应的所述文本输入区域,
其中将与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本传输到所述第二电子设备包括将所述基于字体的文本传输到所述第二电子设备上的所述相应文本输入区域。
22.根据权利要求1至21以及148至150中任一项所述的方法,其中所述文本输入区域是多行文本输入区域,并且与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本显示在所述多行文本输入区域的第一行中,所述方法还包括:
在所述多行文本输入区域的所述第一行中显示与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本时,经由所述触敏显示器接收第二用户输入,所述第二用户输入包括指向所述第一文本输入区域的手写输入;以及
在接收到所述第二用户输入之后:
根据确定满足一个或多个第二标准,在所述多行文本输入区域的不同于所述第一行的第二行中显示与所述第二用户输入对应的基于字体的文本;以及
根据确定不满足所述一个或多个第二标准,在所述多行文本输入区域的所述第一行中显示与所述第二用户输入对应的所述基于字体的文本。
23.根据权利要求22所述的方法,其中当在所述用户输入下方超过阈值距离处检测到所述第二用户输入时,满足所述一个或多个第二标准,并且当在所述用户输入下方小于所述阈值距离处检测到所述第二用户输入时,不满足所述一个或多个第二标准。
24.根据权利要求22至23中任一项所述的方法,其中当所述第二用户输入包括在所述多行文本输入区域中的所述第二行处检测到的触笔输入时,满足所述一个或多个第二标准,并且当所述第二用户输入不包括在所述多行文本输入区域中的所述第二行处检测到的触笔输入时,不满足所述一个或多个第二标准。
25.根据权利要求22至24中任一项所述的方法,其中用于移动到所述第二行的可选选项和与所述手写输入的所述表示的所述至少一部分对应的所述基于字体的文本同时显示,当已选择所述可选选项时满足所述一个或多个第二标准,并且当未选择所述可选选项时不满足所述一个或多个第二标准。
26.根据权利要求1至25以及148至150中任一项所述的方法,还包括:
经由所述触敏显示器接收第二用户输入;以及
响应于接收到所述第二用户输入:
根据确定在所述用户界面的与相应文本输入区域对应的区域中检测到所述第二用户输入,基于所述第二用户输入在所述相应文本输入区域中执行手写输入操作;以及
根据确定在所述用户界面的不与文本输入区域对应的区域中检测到所述第二用户输入,基于所述第二用户输入在所述用户界面中执行滚动操作。
27.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一文本输入区域;
在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括指向所述第一文本输入区域的手写输入;
在接收到所述用户输入时,在所述用户界面中与所述文本输入区域对应的位置处显示所述手写输入的表示;以及
在所述用户界面中显示所述手写输入的所述表示之后:
根据确定所述用户输入满足一个或多个第一标准,停止显示所述手写输入的所述表示的至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的基于字体的文本;以及
根据确定所述用户输入不满足所述一个或多个第一标准,保持所述手写输入的所述表示的显示,而不在所述文本输入区域中显示所述基于字体的文本。
28.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一文本输入区域;
在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括指向所述第一文本输入区域的手写输入;
在接收到所述用户输入时,在所述用户界面中与所述文本输入区域对应的位置处显示所述手写输入的表示;以及
在所述用户界面中显示所述手写输入的所述表示之后:
根据确定所述用户输入满足一个或多个第一标准,停止显示所述手写输入的所述表示的至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的基于字体的文本;以及
根据确定所述用户输入不满足所述一个或多个第一标准,
保持所述手写输入的所述表示的显示,而不在所述文本输入区域中显示所述基于字体的文本。
29.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一文本输入区域;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括指向所述第一文本输入区域的手写输入;
用于执行以下操作的装置:在接收到所述用户输入时,在所述用户界面中与所述文本输入区域对应的位置处显示所述手写输入的表示;和
用于执行以下操作的装置:在所述用户界面中显示所述手写输入的所述表示之后:
根据确定所述用户输入满足一个或多个第一标准,停止显示所述手写输入的所述表示的至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的基于字体的文本;以及
根据确定所述用户输入不满足所述一个或多个第一标准,
保持所述手写输入的所述表示的显示,而不在所述文本输入区域中显示所述基于字体的文本。
30.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一文本输入区域;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括指向所述第一文本输入区域的手写输入;
用于执行以下操作的装置:在接收到所述用户输入时,在所述用户界面中与所述文本输入区域对应的位置处显示所述手写输入的表示;和
用于执行以下操作的装置:在所述用户界面中显示所述手写输入的所述表示之后:
根据确定所述用户输入满足一个或多个第一标准,停止显示所述手写输入的所述表示的至少一部分并且在所述文本输入区域中显示与所述手写输入的所述表示的所述至少一部分对应的基于字体的文本;以及
根据确定所述用户输入不满足所述一个或多个第一标准,保持所述手写输入的所述表示的显示,而不在所述文本输入区域中显示所述基于字体的文本。
31.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至26以及148至150中任一项所述的方法的指令。
32.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至26以及148至150中任一项所述的方法。
33.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求1至26以及148至150中任一项所述的方法的装置。
34.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求1至26以及148至150中任一项所述的方法的装置。
35.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示用户界面,所述用户界面包括具有一个或多个文本字符的第一可编辑文本串;
在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括与穿过所述第一可编辑文本串中的多个文本字符绘制的线对应的手写输入;以及
响应于接收到所述用户输入:
根据确定所述手写输入满足一个或多个第一标准,发起选择所述第一可编辑文本串的所述多个文本字符的过程;以及
根据确定所述手写输入满足不同于所述第一标准的一个或多个第二标准,发起删除所述第一可编辑文本串的所述多个文本字符的过程。
36.根据权利要求35所述的方法,其中发起选择所述第一可编辑文本串的所述多个文本字符的所述过程包括与所述第一可编辑文本串中的所述多个文本字符一起显示与所述手写输入对应的所述线的表示。
37.根据权利要求36所述的方法,还包括:
与所述第一可编辑文本串中的所述多个文本字符一起显示与所述手写输入对应的所述线的所述表示时,经由所述触敏显示器接收与对所述线的选择对应的输入;以及
响应于接收到与对所述线的所述选择对应的所述输入,使得所述第一可编辑文本串中的所述多个文本字符被选择用于进一步的动作。
38.根据权利要求35至37中任一项所述的方法,其中发起选择所述第一可编辑文本串的所述多个文本字符的所述过程包括选择所述第一可编辑文本串中的所述多个文本字符,而不与所述多个文本字符一起显示与所述手写输入对应的所述线的表示。
39.根据权利要求35至38中任一项所述的方法,其中发起删除所述第一可编辑文本串的所述多个文本字符的所述过程包括当正在接收所述用户输入时,以视觉特征的第一值显示所述多个文本字符,并且以所述视觉特征的不同于所述第一值的第二值显示所述第一可编辑文本串的其余部分。
40.根据权利要求39所述的方法,还包括:
在以所述视觉特征的所述第一值显示所述多个文本字符并且以所述视觉特征的所述第二值显示所述第一可编辑文本串的所述其余部分时,检测所述用户输入的抬离;以及
响应于检测到所述用户输入的所述抬离,停止显示所述多个文本字符,同时保持显示所述第一可编辑文本串的所述其余部分。
41.根据权利要求40所述的方法,还包括:
在检测到所述用户输入的所述抬离之前,与所述第一可编辑文本串一起显示与所述手写输入对应的所述线的表示;以及
响应于检测到所述用户输入的所述抬离,停止显示与所述手写输入对应的所述线。
42.根据权利要求35至41中任一项所述的方法,还包括:
在发起删除所述第一可编辑文本串的所述多个文本字符的所述过程之后:
根据确定所述手写输入从所述第一可编辑文本串的所述多个文本字符延伸超过阈值距离,取消删除所述第一可编辑文本串的所述多个文本字符的所述过程。
43.根据权利要求35至42中任一项所述的方法,还包括:
在接收到所述用户输入时,与所述第一可编辑文本串一起以视觉特征的第一值显示与所述手写输入对应的所述线的表示;以及
响应于接收到所述用户输入:
根据所述确定所述手写输入满足所述一个或多个第二标准,以所述视觉特征的不同于所述第一值的第二值显示与所述手写输入对应的所述线的所述表示。
44.根据权利要求35至43中任一项所述的方法,其中发起删除所述第一可编辑文本串的所述多个文本字符的所述过程包括删除所述第一可编辑文本串的所述多个文本字符,所述方法还包括:
响应于删除所述第一可编辑文本串的所述多个文本字符,在所述用户界面中显示可选选项,所述可选选项用于撤销所述第一可编辑文本串的所述多个文本字符的所述删除。
45.根据权利要求35至44中任一项所述的方法,其中发起选择所述第一可编辑文本串的所述多个文本字符的所述过程包括选择所述第一可编辑文本串的所述多个文本字符,所述方法还包括:
响应于选择所述第一可编辑文本串的所述多个文本字符,在所述用户界面中显示一个或多个可选选项,所述一个或多个可选选项用于执行相对于所述第一可编辑文本串的所述多个文本字符的相应操作。
46.根据权利要求35至45中任一项所述的方法,其中:
选择所述第一可编辑文本串的所述多个文本字符的所述过程包括在检测到所述用户输入的抬离之前选择所述第一可编辑文本串的所述多个文本字符;并且
删除所述第一可编辑文本串的所述多个文本字符的所述过程包括在检测到所述用户输入的抬离之后删除所述第一可编辑文本串的所述多个文本字符。
47.根据权利要求35至46中任一项所述的方法,还包括:
在发起删除所述多个文本字符的所述过程和选择所述多个文本字符的所述过程的相应过程之后,并且在检测到所述用户输入的抬离之前,经由所述触敏显示器接收附加手写输入;以及
响应于接收到所述附加手写输入,继续基于所述附加手写输入来执行所述相应过程,而与所述附加手写输入是满足所述一个或多个第一标准还是所述一个或多个第二标准无关。
48.根据权利要求35至47中任一项所述的方法,还包括:
在发起删除所述多个文本字符的所述过程和选择所述多个文本字符的所述过程的相应过程之后,并且在检测到所述用户输入的抬离之前,经由所述触敏显示器接收附加手写输入;以及
响应于接收到所述附加手写输入:
根据确定所述附加手写输入满足一个或多个第一相应标准,基于所述手写输入和所述附加手写输入来执行选择过程;以及
根据确定所述附加手写输入满足一个或多个第二相应标准,基于所述手写输入和所述附加手写输入来执行删除过程。
49.根据权利要求35至48中任一项所述的方法,其中:
当所述手写输入沿所述第一可编辑文本串的方向击穿所述第一可编辑文本串的所述多个文本字符时,满足所述一个或多个第一标准,并且
当所述手写输入沿与所述第一可编辑文本串的所述方向垂直的方向划过所述第一可编辑文本串的所述多个文本字符时,满足所述一个或多个第二标准。
50.根据权利要求35至49中任一项所述的方法,其中:
当所述手写输入对所述第一可编辑文本串的所述多个文本字符做下划线时,满足所述一个或多个第一标准,并且
当所述手写输入划过所述第一可编辑文本串的所述多个文本字符时,满足所述一个或多个第二标准。
51.根据权利要求35至50中任一项所述的方法,其中:
所述手写输入横贯所述第一可编辑文本串的所述多个文本字符,
根据确定所述手写输入与划过所述多个文本字符的输入对应的概率小于概率阈值,满足所述一个或多个第一标准,并且
根据确定所述手写输入与划过所述多个文本字符的输入对应的所述概率大于所述概率阈值,满足所述一个或多个第二标准。
52.根据权利要求35至51中任一项所述的方法,其中:
当所述手写输入包括在所述第一可编辑文本串的所述多个文本字符上的双击时,满足所述一个或多个第一标准,并且
当所述手写输入穿过所述第一可编辑文本串的所述多个文本字符中的两个或更多个文本字符时,满足所述一个或多个第二标准。
53.根据权利要求35至52中任一项所述的方法,其中:
当所述手写输入移动成包围所述第一可编辑文本串的所述多个文本字符的至少一部分的闭合形状时,满足所述一个或多个第一标准,并且
当所述手写输入穿过所述第一可编辑文本串的所述多个文本字符中的两个或更多个文本字符时,满足所述一个或多个第二标准。
54.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括具有一个或多个文本字符的第一可编辑文本串;
在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括与穿过所述第一可编辑文本串中的多个文本字符绘制的线对应的手写输入;以及
响应于接收到所述用户输入:
根据确定所述手写输入满足一个或多个第一标准,发起选择所述第一可编辑文本串的所述多个文本字符的过程;以及
根据确定所述手写输入满足不同于所述第一标准的一个或多个第二标准,发起删除所述第一可编辑文本串的所述多个文本字符的过程。
55.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括具有一个或多个文本字符的第一可编辑文本串;
在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括与穿过所述第一可编辑文本串中的多个文本字符绘制的线对应的手写输入;以及
响应于接收到所述用户输入:
根据确定所述手写输入满足一个或多个第一标准,发起选择所述第一可编辑文本串的所述多个文本字符的过程;以及
根据确定所述手写输入满足不同于所述第一标准的一个或多个第二标准,发起删除所述第一可编辑文本串的所述多个文本字符的过程。
56.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括具有一个或多个文本字符的第一可编辑文本串;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括与穿过所述第一可编辑文本串中的多个文本字符绘制的线对应的手写输入;和
用于执行以下操作的装置:响应于接收到所述用户输入:
根据确定所述手写输入满足一个或多个第一标准,发起选择所述第一可编辑文本串的所述多个文本字符的过程;以及
根据确定所述手写输入满足不同于所述第一标准的一个或多个第二标准,发起删除所述第一可编辑文本串的所述多个文本字符的过程。
57.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括具有一个或多个文本字符的第一可编辑文本串;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器接收用户输入,所述用户输入包括与穿过所述第一可编辑文本串中的多个文本字符绘制的线对应的手写输入;和
用于执行以下操作的装置:响应于接收到所述用户输入:
根据确定所述手写输入满足一个或多个第一标准,发起选择所述第一可编辑文本串的所述多个文本字符的过程;以及
根据确定所述手写输入满足不同于所述第一标准的一个或多个第二标准,发起删除所述第一可编辑文本串的所述多个文本字符的过程。
58.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求35至53和199中任一项所述的方法的指令。
59.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行权利要求35至53和199中任一项所述的方法。
60.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求35至53和199中任一项所述的方法的装置。
61.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求35至53和199中任一项所述的方法的装置。
62.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示包括第一字符序列的文本输入用户界面,所述第一字符序列包括所述第一字符序列的第一部分和所述第一字符序列的第二部分;
在显示所述文本输入用户界面时,经由所述触敏显示器接收在所述文本输入用户界面中在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间的用户输入;以及
响应于接收到所述用户输入:
根据确定所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间输入相应基于字体的文本的请求对应,通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建空间来更新所述文本输入用户界面,其中所述第一部分和所述第二部分之间的所述空间被配置为接收用于在所述第一字符序列的所述第一部分和所述第二部分之间插入所述相应基于字体的文本的所述手写输入。
63.根据权利要求62所述的方法,还包括:
在通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面之后,经由所述触敏显示器在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中接收手写输入;以及
在接收到所述手写输入之后,将所述手写输入转换为所述第一字符序列的所述第一部分和所述第二部分之间的基于字体的文本。
64.根据权利要求63所述的方法,其中在检测到所述第一字符序列的所述第一部分和所述第二部分之间的所述用户输入之后而未检测到从所述触敏显示器的抬离的情况下,检测所述手写输入。
65.根据权利要求62至64中任一项所述的方法,其中当所述用户输入包括触笔在所述触敏显示器上所述第一字符序列的所述第一部分和所述第二部分之间的触压时,所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第二部分之间输入相应文本的所述请求对应,并且响应于在检测到来自所述触笔的另外的输入之前检测到所述触笔的所述触压,发生通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面。
66.根据权利要求65所述的方法,其中所述触笔的所述触压位于所述第一字符序列的两个字词之间。
67.根据权利要求62至66中任一项所述的方法,其中当所述用户输入包括触笔在所述触敏显示器上长于时间阈值的触压时,所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第二部分之间输入相应文本的所述请求对应,并且响应于检测到触笔在所述触敏显示器上长于所述时间阈值的所述触压,发生通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面。
68.根据权利要求62至67中任一项所述的方法,其中当所述用户输入包括相应手势时,所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第二部分之间输入相应文本的所述请求对应,并且响应于检测到所述相应手势,发生通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面。
69.根据权利要求62至68中任一项所述的方法,其中所述用户输入包括触笔在所述触敏显示器上的触压,所述方法还包括:
响应于检测到所述触笔在所述触敏显示器上在所述第一字符序列的所述第一部分和所述第二部分之间的所述触压,在所述触敏显示器上显示用于在所述第一字符序列的所述第一部分和所述第二部分之间创建所述空间的可选选项;以及
在显示用于在所述第一字符序列的所述第一部分和所述第二部分之间创建所述空间的所述可选选项时,经由所述触敏显示器接收对所述可选选项的选择,
其中响应于检测到对所述可选选项的所述选择,发生通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面。
70.根据权利要求62至69中任一项所述的方法,还包括:
在通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面之后,经由所述触敏显示器在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中接收手写输入;以及
响应于接收到所述手写输入:
在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中显示所述手写输入的表示;以及
根据确定所述手写输入满足一个或多个标准,扩展所述第一字符序列的所述第一部分和所述第二部分之间的所述空间。
71.根据权利要求70所述的方法,其中当所述手写输入包括第一相应手势时,所述手写输入满足所述一个或多个标准,并且当所述手写输入包括不同于所述第一相应手势的第二相应手势时,所述手写输入不满足所述一个或多个标准。
72.根据权利要求62至71中任一项所述的方法,还包括:
在通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面之后,经由所述触敏显示器在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中接收手写输入;以及
响应于接收到所述手写输入:
在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中显示所述手写输入的表示;以及
根据确定满足一个或多个新行标准,更新所述用户界面以创建新行,所述新行被配置为接收用于在所述新行中插入附加相应文本的附加手写输入。
73.根据权利要求72所述的方法,其中所述一个或多个新行标准包括当所述手写输入到达所述用户界面中的当前行的末尾时满足的标准。
74.根据权利要求72至73中任一项所述的方法,其中所述一个或多个新行标准包括当在所述用户界面中的现有基于字体的文本下方检测到所述附加手写输入时满足的标准。
75.根据权利要求72至74中任一项所述的方法,其中所述一个或多个新行标准包括当在所述用户界面中的现有基于字体的文本下方检测到轻击输入时满足的标准。
76.根据权利要求72至75中任一项所述的方法,还包括:
响应于接收到所述手写输入:
根据确定所述手写输入在所述用户界面中的当前行的末尾的阈值距离内,在所述用户界面中显示用于在所述用户界面中创建新行的可选选项,
其中所述一个或多个新行标准包括当检测到对用于在所述用户界面中创建所述新行的所述可选选项的选择时满足的标准。
77.根据权利要求72至76中任一项所述的方法,还包括:
在被配置为接收所述附加手写输入的所述新行被包括在所述用户界面中时,经由所述触敏显示器接收相应用户输入;以及
响应于接收到所述相应用户输入:
根据确定所述相应用户输入包括在所述用户界面中所述新行之前的先前行中的最后字词的末尾处检测到的轻击输入,或在所述用户界面中所述新行中的第一字词的开头处检测到的轻击输入,在所述用户界面中显示用于从所述用户界面移除所述新行的可选选项。
78.根据权利要求72至77中任一项所述的方法,还包括:
在被配置为接收所述附加手写输入的所述新行被包括在所述用户界面中并且所述新行包括相应字符序列时,经由所述触敏显示器接收相应输入,所述相应输入包括触笔在所述相应字符序列上的触压以及所述触笔向所述用户界面中不同于所述新行的相应行的移动;以及
响应于接收到所述相应输入:
将所述相应字符序列移动到所述用户界面中的所述相应行;以及
从所述用户界面移除所述新行。
79.根据权利要求62至78中任一项所述的方法,还包括:
在通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面之后,经由所述触敏显示器在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中接收手写输入;以及
响应于接收到所述手写输入:
在所述用户界面中所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中显示所述手写输入的表示;
根据确定所述手写输入尚未到达所述用户界面中的当前行的末尾,在自接收到所述手写输入以来第一经过时间之后停止显示所述手写输入的所述表示;以及
根据确定所述手写输入已到达所述用户界面中的所述当前行的所述末尾,在自接收到所述手写输入以来短于所述第一经过时间的第二经过时间之后停止显示所述手写输入的所述表示。
80.根据权利要求62至79中任一项所述的方法,还包括:
在通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面之后,经由所述触敏显示器在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中接收手写输入;以及
在接收到所述手写输入之后:
根据确定在所述手写输入的结束之后的时间阈值中没有接收到附加手写输入,减小所述第一字符序列的所述第一部分和所述第二部分之间的所述空间的尺寸以移除所述用户界面中未被所述手写输入消耗的空间。
81.根据权利要求62至80中任一项所述的方法,还包括:
在通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建所述空间来更新所述文本输入用户界面之后,经由所述触敏显示器在所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中接收手写输入;以及
在接收到所述手写输入之后:
根据确定在所述手写输入的结束之后的时间阈值中没有接收到附加手写输入,将所述手写输入转换为所述第一字符序列的所述第一部分和所述第二部分之间的所述空间中的基于字体的文本。
82.根据权利要求62至81中任一项所述的方法,还包括:
在所述文本输入用户界面中显示第二字符序列,所述第二字符序列包括所述第二字符序列的第一部分和所述第二字符序列的第二部分;
在显示所述文本输入用户界面时,经由所述触敏显示器接收在所述文本输入用户界面中所述第二字符序列的所述第一部分和所述第二字符序列的所述第二部分之间的第二用户输入;以及
响应于接收到所述第二用户输入:
根据确定所述第二用户输入与使用手写输入在所述第二字符序列的所述第一部分和所述第二字符序列的所述第二部分之间输入第二相应基于字体的文本的请求对应:
在所述用户界面中显示手写输入用户界面元素,所述手写输入用户界面元素被配置为接收用于在所述第二字符序列的所述第一部分和所述第二部分之间插入所述第二相应基于字体的文本的手写输入。
83.根据权利要求82所述的方法,还包括:
在显示所述手写输入用户界面元素时,经由所述触敏显示器接收所述手写输入用户界面元素中的第二手写输入;以及
响应于接收到所述手写输入用户界面元素中的所述第二手写输入:
将与所述第二手写输入对应的基于字体的文本插入所述文本输入用户界面中;以及
当所述手写输入用户界面元素在所述触敏显示器上保持静止时,根据当前文本插入点在所述文本输入用户界面中的移动来滚动所述文本输入用户界面。
84.根据权利要求82至83中任一项所述的方法,还包括:
在显示所述手写输入用户界面元素时,经由所述触敏显示器接收所述手写输入用户界面元素中的第二手写输入;以及
响应于接收到所述手写输入用户界面元素中的所述第二手写输入:
在所述手写输入用户界面元素中显示所述第二手写输入的表示;
根据确定所述第二手写输入尚未到达所述手写输入用户界面元素的末尾,在自接收到所述第二手写输入以来第一经过时间之后停止显示所述第二手写输入的所述表示;以及
根据确定所述第二手写输入已到达所述手写输入用户界面元素的所述末尾,在自接收到所述第二手写输入以来短于所述第一经过时间的第二经过时间之后停止显示所述第二手写输入的所述表示。
85.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在与所述电子设备通信的触敏显示器上显示包括第一字符序列的文本输入用户界面,所述第一字符序列包括所述第一字符序列的第一部分和所述第一字符序列的第二部分;
在显示所述文本输入用户界面时,经由所述触敏显示器接收在所述文本输入用户界面中在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间的用户输入;以及
响应于接收到所述用户输入:
根据确定所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间输入相应基于字体的文本的请求对应,通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建空间来更新所述文本输入用户界面,其中所述第一部分和所述第二部分之间的所述空间被配置为接收用于在所述第一字符序列的所述第一部分和所述第二部分之间插入所述相应基于字体的文本的所述手写输入。
86.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在与所述电子设备通信的触敏显示器上显示包括第一字符序列的文本输入用户界面,所述第一字符序列包括所述第一字符序列的第一部分和所述第一字符序列的第二部分;
在显示所述文本输入用户界面时,经由所述触敏显示器接收在所述文本输入用户界面中在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间的用户输入;以及
响应于接收到所述用户输入:
根据确定所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间输入相应基于字体的文本的请求对应,通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建空间来更新所述文本输入用户界面,其中所述第一部分和所述第二部分之间的所述空间被配置为接收用于在所述第一字符序列的所述第一部分和所述第二部分之间插入所述相应基于字体的文本的所述手写输入。
87.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示包括第一字符序列的文本输入用户界面,所述第一字符序列包括所述第一字符序列的第一部分和所述第一字符序列的第二部分;
用于执行以下操作的装置:在显示所述文本输入用户界面时,经由所述触敏显示器接收在所述文本输入用户界面中在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间的用户输入;和
用于执行以下操作的装置:响应于接收到所述用户输入:
根据确定所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间输入相应基于字体的文本的请求对应,通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建空间来更新所述文本输入用户界面,其中所述第一部分和所述第二部分之间的所述空间被配置为接收用于在所述第一字符序列的所述第一部分和所述第二部分之间插入所述相应基于字体的文本的所述手写输入。
88.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示包括第一字符序列的文本输入用户界面,所述第一字符序列包括所述第一字符序列的第一部分和所述第一字符序列的第二部分;
用于执行以下操作的装置:在显示所述文本输入用户界面时,经由所述触敏显示器接收在所述文本输入用户界面中在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间的用户输入;和
用于执行以下操作的装置:响应于接收到所述用户输入:
根据确定所述用户输入与使用手写输入在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间输入相应基于字体的文本的请求对应,通过在所述第一字符序列的所述第一部分和所述第一字符序列的所述第二部分之间创建空间来更新所述文本输入用户界面,其中所述第一部分和所述第二部分之间的所述空间被配置为接收用于在所述第一字符序列的所述第一部分和所述第二部分之间插入所述相应基于字体的文本的所述手写输入。
89.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求62至84和200中任一项所述的方法的指令。
90.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行权利要求62至84和200中任一项所述的方法。
91.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求62至84和200中任一项所述的方法的装置。
92.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求62至84和200中任一项所述的方法的装置。
93.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示文本输入用户界面;
在显示所述文本输入用户界面时,经由所述触敏显示器在所述文本输入用户界面中接收第一序列的一个或多个手写用户输入;
在接收到所述第一序列的一个或多个手写用户输入时,在所述触敏显示器上在所述文本输入用户界面中显示所述第一序列的一个或多个手写用户输入的视觉表示;以及
响应于检测到所述第一序列的一个或多个手写用户输入的结束:
根据确定与所述第一序列的一个或多个手写用户输入相关联的上下文满足一个或多个第一标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的文本,而不考虑是否已满足相应定时标准;以及
根据确定与所述第一序列的一个或多个手写用户输入相关联的所述上下文不满足所述一个或多个第一标准,延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的所述文本,直到已满足所述相应定时标准。
94.根据权利要求93所述的方法,其中当所述第一序列的一个或多个手写用户输入包括超过阈值数量的字词且后接空格时,满足所述一个或多个第一标准。
95.根据权利要求93至94中任一项所述的方法,其中当所述第一序列的一个或多个手写用户输入指向所述文本输入用户界面中的第一文本输入区域,并且所述第一序列的一个或多个手写用户输入的所述结束包括指向所述文本输入用户界面中的第二文本输入区域的输入时,满足所述一个或多个第一标准。
96.根据权利要求93至95中任一项所述的方法,其中所述文本输入用户界面包括用于执行动作的可选选项,并且当所述第一序列的一个或多个手写用户输入的所述结束包括对所述可选选项的选择时,满足所述一个或多个第一标准。
97.根据权利要求93至96中任一项所述的方法,其中所述第一序列的一个或多个手写用户输入包括在所述触敏显示器上检测到的触笔输入,并且当在所述触敏显示器上检测到包括手指输入的输入时,满足所述一个或多个第一标准。
98.根据权利要求93至97中任一项所述的方法,其中当在所述触敏显示器上检测到滚动输入时,满足所述一个或多个第一标准。
99.根据权利要求93至98中任一项所述的方法,其中所述第一序列的一个或多个手写用户输入包括在所述触敏显示器上检测到的触笔输入,并且根据确定所述触笔已被用户放下在表面上,满足所述一个或多个第一标准。
100.根据权利要求93至99中任一项所述的方法,其中所述第一序列的一个或多个手写用户输入包括在所述触敏显示器上检测到的触笔输入,并且当所述触笔已从所述触敏显示器移动超过阈值距离时,满足所述一个或多个第一标准。
101.根据权利要求93至100中任一项所述的方法,其中:
根据确定已满足一个或多个第二标准,当自所述第一序列的一个或多个手写用户输入的所述结束以来已经过第一时间阈值时,已满足所述相应定时标准,并且
根据确定已满足一个或多个第三标准,当自所述第一序列的一个或多个手写用户输入的所述结束以来已经过长于所述第一时间阈值的第二时间阈值时,已满足所述相应定时标准。
102.根据权利要求101所述的方法,其中当所述第一序列的一个或多个手写用户输入的所述结束包括向所述字符序列添加标点符号的请求时,已满足所述一个或多个第二标准。
103.根据权利要求101至102中任一项所述的方法,其中当所述一个或多个手写用户输入以不能向其中添加字符的字词结束时,已满足所述一个或多个第二标准。
104.根据权利要求101至103中任一项所述的方法,其中当所述第一序列的一个或多个手写用户输入的所述结束包括长于时间阈值的暂停时,已满足所述一个或多个第三标准。
105.根据权利要求93至104中任一项所述的方法,其中:
根据确定所述文本输入用户界面正在第一模式中操作,其中在所述第一模式中响应于对与手写用户输入一起显示的可选选项的选择而将所述手写用户输入转换为基于字体的文本,当自所述第一序列的一个或多个手写用户输入的所述结束以来已经过一个或多个第一时间阈值时,已满足所述相应定时标准,并且
根据确定所述文本输入用户界面正在第二模式中操作,其中在所述第二模式中手写用户输入被转换为基于字体的文本,而无需显示或选择可选选项以进行此操作,当自所述第一序列的一个或多个手写用户输入的所述结束以来已经过小于所述一个或多个第一时间阈值的一个或多个第二时间阈值时,已满足所述相应定时标准。
106.根据权利要求93至105中任一项所述的方法,其中所述第一序列的一个或多个手写用户输入与第一序列的基于字体的文本对应,所述方法还包括:
在延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为所述第一序列的基于字体的文本之后,确定已满足所述相应定时标准;以及
响应于确定已满足所述相应定时标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为所述第一序列的基于字体的文本。
107.根据权利要求93至106中任一项所述的方法,其中所述第一序列的一个或多个手写用户输入与第一序列的基于字体的文本对应,所述方法还包括:
在延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为所述第一序列的基于字体的文本之后,确定已满足所述相应定时标准;以及
响应于确定已满足所述相应定时标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为不同于所述第一序列的基于字体的文本的第二序列的基于字体的文本。
108.根据权利要求93至107中任一项所述的方法,其中所述第一序列的一个或多个手写用户输入与第一序列的基于字体的文本对应,所述方法还包括:
在延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为所述第一序列的基于字体的文本之后,经由所述触敏显示器检测与第二序列的基于字体的文本对应的第二序列的一个或多个手写用户输入;
响应于检测到所述第二序列的一个或多个手写用户输入,与所述第一序列的一个或多个手写用户输入的所述视觉表示一起显示所述第二序列的一个或多个手写用户输入的视觉表示;
在显示所述第二序列的一个或多个手写用户输入的所述视觉表示之后,确定已满足所述相应定时标准;以及
响应于确定已满足所述相应定时标准:
将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为所述第一序列的基于字体的文本;以及
将所述第二序列的一个或多个手写用户输入的所述视觉表示替换为所述第二序列的基于字体的文本。
109.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在与所述电子设备通信的触敏显示器上显示文本输入用户界面;
在显示所述文本输入用户界面时,经由所述触敏显示器在所述文本输入用户界面中接收第一序列的一个或多个手写用户输入;
在接收到所述第一序列的一个或多个手写用户输入时,在所述触敏显示器上在所述文本输入用户界面中显示所述第一序列的一个或多个手写用户输入的视觉表示;以及
响应于检测到所述第一序列的一个或多个手写用户输入的结束:
根据确定与所述第一序列的一个或多个手写用户输入相关联的上下文满足一个或多个第一标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的文本,而不考虑是否已满足相应定时标准;以及
根据确定与所述第一序列的一个或多个手写用户输入相关联的所述上下文不满足所述一个或多个第一标准,延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的所述文本,直到已满足所述相应定时标准。
110.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在与所述电子设备通信的触敏显示器上显示文本输入用户界面;
在显示所述文本输入用户界面时,经由所述触敏显示器在所述文本输入用户界面中接收第一序列的一个或多个手写用户输入;
在接收到所述第一序列的一个或多个手写用户输入时,在所述触敏显示器上在所述文本输入用户界面中显示所述第一序列的一个或多个手写用户输入的视觉表示;以及
响应于检测到所述第一序列的一个或多个手写用户输入的结束:
根据确定与所述第一序列的一个或多个手写用户输入相关联的上下文满足一个或多个第一标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的文本,而不考虑是否已满足相应定时标准;以及
根据确定与所述第一序列的一个或多个手写用户输入相关联的所述上下文不满足所述一个或多个第一标准,延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的所述文本,直到已满足所述相应定时标准。
111.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示文本输入用户界面;
用于执行以下操作的装置:在显示所述文本输入用户界面时,经由所述触敏显示器在所述文本输入用户界面中接收第一序列的一个或多个手写用户输入;
用于执行以下操作的装置:在接收到所述第一序列的一个或多个手写用户输入时,在所述触敏显示器上在所述文本输入用户界面中显示所述第一序列的一个或多个手写用户输入的视觉表示;和
用于执行以下操作的装置:响应于检测到所述第一序列的一个或多个手写用户输入的结束:
根据确定与所述第一序列的一个或多个手写用户输入相关联的上下文满足一个或多个第一标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的文本,而不考虑是否已满足相应定时标准;以及
根据确定与所述第一序列的一个或多个手写用户输入相关联的所述上下文不满足所述一个或多个第一标准,延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的所述文本,直到已满足所述相应定时标准。
112.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示文本输入用户界面;
用于执行以下操作的装置:在显示所述文本输入用户界面时,经由所述触敏显示器在所述文本输入用户界面中接收第一序列的一个或多个手写用户输入;
用于执行以下操作的装置:在接收到所述第一序列的一个或多个手写用户输入时,在所述触敏显示器上在所述文本输入用户界面中显示所述第一序列的一个或多个手写用户输入的视觉表示;和
用于执行以下操作的装置:响应于检测到所述第一序列的一个或多个手写用户输入的结束:
根据确定与所述第一序列的一个或多个手写用户输入相关联的上下文满足一个或多个第一标准,将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的文本,而不考虑是否已满足相应定时标准;以及
根据确定与所述第一序列的一个或多个手写用户输入相关联的所述上下文不满足所述一个或多个第一标准,延迟将所述第一序列的一个或多个手写用户输入的所述视觉表示替换为与所述第一序列的一个或多个手写用户输入对应的所述文本,直到已满足所述相应定时标准。
113.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求93至108中任一项所述的方法的指令。
114.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求93至108中任一项所述的方法。
115.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求93至108中任一项所述的方法的装置。
116.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求93至108中任一项所述的方法的装置。
117.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示用户界面,所述用户界面包括第一内容输入区域;
在显示所述用户界面时,经由所述触敏显示器检测与发起将内容输入到所述内容输入区域中的请求对应的用户输入,所述发起将内容输入到所述内容输入区域中的请求包括在所述内容输入区域中检测到接触;以及
响应于检测到所述用户输入:
根据确定所述用户输入包括利用手指在内容输入区域中进行的输入,在所述触敏显示器上显示包括用于将文本输入到所述内容输入区域中的软键盘的内容输入用户界面;以及
根据确定所述用户输入包括利用触笔在所述内容输入区域中进行的输入,在所述触敏显示器上显示用于使用所述触笔生成内容的所述内容输入用户界面而不显示用于将文本输入到所述内容输入区域中的软键盘。
118.根据权利要求117所述的方法,还包括:
在显示包括用于将文本输入到所述内容输入区域中的所述软键盘的所述内容输入用户界面时,经由所述触敏显示器检测所述内容输入区域中的第二用户输入;以及
响应于检测到所述第二用户输入:
根据确定所述第二用户输入包括利用所述触笔在所述内容输入区域中进行的输入,停止显示所述软键盘。
119.根据权利要求117至118中任一项所述的方法,还包括:
在显示用于使用所述触笔生成内容的所述内容输入用户界面而不显示用于将文本输入到所述内容输入区域中的所述软键盘时,经由所述触敏显示器检测所述内容输入区域中的第二用户输入;以及
响应于检测到所述第二用户输入:
根据确定所述第二用户输入包括利用手指在所述内容输入区域中进行的输入,在所述触敏显示器上显示所述软键盘。
120.根据权利要求117至119中任一项所述的方法,其中:
根据确定所述内容输入区域满足一个或多个标准,用于使用所述触笔生成内容而不显示用于将文本输入到所述内容输入区域中的所述软键盘的所述内容输入用户界面包括用于使用所述触笔控制将绘图内容输入到所述内容输入区域中的一个或多个工具。
121.根据权利要求120所述的方法,其中当所述内容输入区域能够接受绘图输入时,所述内容输入区域满足所述一个或多个标准,并且当所述内容输入区域不能接受绘图输入时,所述内容输入区域不满足所述一个或多个标准。
122.根据权利要求117至121中任一项所述的方法,其中用于使用所述触笔生成内容的所述内容输入用户界面包括:
用于使用所述触笔控制将绘图内容输入到所述内容输入区域中的一个或多个工具;和
用于使用来自所述触笔的手写输入将基于字体的文本输入到所述内容输入区域中的相应文本输入工具。
123.根据权利要求122所述的方法,其中用于使用所述触笔生成内容的所述内容输入用户界面包括:
第一组一个或多个工具,包括用于使用所述触笔控制将绘图内容输入到所述内容输入区域中的所述一个或多个工具;第二组一个或多个工具,包括用于控制将基于字体的文本输入到所述内容输入区域中的所述相应文本输入工具;和
可选选项,所述可选选项用于在所述内容输入用户界面中交替显示所述第一组一个或多个工具和所述第二组一个或多个工具。
124.根据权利要求117至123中任一项所述的方法,还包括:
在显示包括用于将文本输入到所述内容输入区域中的所述软键盘的所述内容输入用户界面时,经由所述触敏显示器检测与停止显示所述软键盘的请求对应的输入,其中与用于修改所述内容输入区域中的文本的一个或多个可选选项一起显示所述软键盘;以及
响应于接收到与停止显示所述软键盘的所述请求对应的所述输入:
停止显示所述软键盘,同时保持在所述用户界面中显示用于修改所述内容输入区域中的文本的所述一个或多个可选选项。
125.根据权利要求117至124中任一项所述的方法,还包括:
在显示包括用于将文本输入到所述内容输入区域中的所述软键盘的所述内容输入用户界面时,经由所述触敏显示器检测与停止显示所述软键盘的请求对应的输入,其中所述软键盘包括一个或多个第一按键和一个或多个第二按键;以及
响应于接收到与停止显示所述软键盘的所述请求对应的所述输入:
停止显示所述软键盘;以及
在所述用户界面中显示与所述一个或多个第一按键对应的一个或多个可选选项。
126.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一内容输入区域;
在显示所述用户界面时,经由所述触敏显示器检测与发起将内容输入到所述内容输入区域中的请求对应的用户输入,所述发起将内容输入到所述内容输入区域中的请求包括在所述内容输入区域中检测到接触;以及
响应于检测到所述用户输入:
根据确定所述用户输入包括利用手指在内容输入区域中进行的输入,在所述触敏显示器上显示包括用于将文本输入到所述内容输入区域中的软键盘的内容输入用户界面;以及
根据确定所述用户输入包括利用触笔在所述内容输入区域中进行的输入,在所述触敏显示器上显示用于使用所述触笔生成内容的所述内容输入用户界面而不显示用于将文本输入到所述内容输入区域中的软键盘。
127.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一内容输入区域;
在显示所述用户界面时,经由所述触敏显示器检测与发起将内容输入到所述内容输入区域中的请求对应的用户输入,所述发起将内容输入到所述内容输入区域中的请求包括在所述内容输入区域中检测到接触;以及
响应于检测到所述用户输入:
根据确定所述用户输入包括利用手指在内容输入区域中进行的输入,在所述触敏显示器上显示包括用于将文本输入到所述内容输入区域中的软键盘的内容输入用户界面;以及
根据确定所述用户输入包括利用触笔在所述内容输入区域中进行的输入,在所述触敏显示器上显示用于使用所述触笔生成内容的所述内容输入用户界面而不显示用于将文本输入到所述内容输入区域中的软键盘。
128.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一内容输入区域;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器检测与发起将内容输入到所述内容输入区域中的请求对应的用户输入,所述发起将内容输入到所述内容输入区域中的请求包括在所述内容输入区域中检测到接触;和
用于响应于检测到所述用户输入来进行以下操作的装置:
根据确定所述用户输入包括利用手指在内容输入区域中进行的输入,在所述触敏显示器上显示包括用于将文本输入到所述内容输入区域中的软键盘的内容输入用户界面;以及
根据确定所述用户输入包括利用触笔在所述内容输入区域中进行的输入,在所述触敏显示器上显示用于使用所述触笔生成内容的所述内容输入用户界面而不显示用于将文本输入到所述内容输入区域中的软键盘。
129.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示用户界面,所述用户界面包括第一内容输入区域;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器检测与发起将内容输入到所述内容输入区域中的请求对应的用户输入,所述发起将内容输入到所述内容输入区域中的请求包括在所述内容输入区域中检测到接触;和
用于响应于检测到所述用户输入来进行以下操作的装置:
根据确定所述用户输入包括利用手指在内容输入区域中进行的输入,在所述触敏显示器上显示包括用于将文本输入到所述内容输入区域中的软键盘的内容输入用户界面;以及
根据确定所述用户输入包括利用触笔在所述内容输入区域中进行的输入,在所述触敏显示器上显示用于使用所述触笔生成内容的所述内容输入用户界面而不显示用于将文本输入到所述内容输入区域中的软键盘。
130.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求117至125中任一项所述的方法的指令。
131.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求117至125中任一项所述的方法。
132.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求117至125中任一项所述的方法的装置。
133.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求117至125中任一项所述的方法的装置。
134.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示内容输入用户界面;
在显示所述内容输入用户界面时,经由所述触敏显示器接收与所述内容输入用户界面对应的手写用户输入;以及
响应于接收到所述手写用户输入:
根据确定在检测到所述手写用户输入时选择了文本输入绘图工具,在所述内容输入用户界面中发起将所述手写用户输入转换为与所述手写用户输入对应的第一序列的基于字体的文本字符的过程;以及
根据确定在检测到所述手写输入时选择了所述文本输入绘图工具之外的绘图工具,在所述内容输入用户界面中显示所述手写用户输入的视觉表示,而不发起将所述手写用户输入转换为所述第一序列的基于字体的文本字符的所述过程。
135.根据权利要求134所述的方法,还包括:
根据确定选择所述文本输入绘图工具,在所述内容输入用户界面中显示用于控制基于字体的文本在所述内容输入用户界面中的格式化的一个或多个选项。
136.根据权利要求134至135中任一项所述的方法,还包括:
根据确定选择所述文本输入绘图工具之外的绘图工具,在所述内容输入用户界面中显示用于控制将绘图输入输入到所述内容输入用户界面中的一个或多个选项。
137.根据权利要求134至136中任一项所述的方法,其中所述内容输入用户界面包括在所述内容输入用户界面中显示用于输入基于字体的文本的键盘的可选选项。
138.根据权利要求134至137中任一项所述的方法,还包括:
响应于接收到所述手写用户输入,在所述内容输入用户界面中显示所述手写用户输入的所述视觉表示;以及
在所述内容输入用户界面中显示所述手写用户输入的所述视觉表示之后:
根据所述确定在检测到所述手写用户输入时选择了所述文本输入绘图工具,停止在所述内容输入用户界面中显示所述手写用户输入的所述视觉表示,并且将所述手写用户输入的所述视觉表示转换为基于字体的文本;以及
根据所述确定在检测到所述手写用户输入时未选择所述文本输入绘图工具,保持在所述内容输入用户界面中显示所述手写用户输入的所述视觉表示,而不将所述手写用户输入的所述视觉表示转换为基于字体的文本。
139.根据权利要求134至138中任一项所述的方法,其中:
根据所述确定在检测到所述手写输入时选择了所述文本输入绘图工具之外的绘图工具而显示的所述手写用户输入的所述视觉表示包括具有相应外观的线,
根据确定所述绘图工具是第一绘图工具,所述相应外观是第一外观,并且
根据确定所述绘图工具是不同于所述第一绘图工具的第二绘图工具,所述相应外观是不同于所述第一外观的第二外观。
140.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在与所述电子设备通信的触敏显示器上显示内容输入用户界面;
在显示所述内容输入用户界面时,经由所述触敏显示器接收与所述内容输入用户界面对应的手写用户输入;以及
响应于接收到所述手写用户输入:
根据确定在检测到所述手写用户输入时选择了文本输入绘图工具,在所述内容输入用户界面中发起将所述手写用户输入转换为与所述手写用户输入对应的第一序列的基于字体的文本字符的过程;以及
根据确定在检测到所述手写输入时选择了所述文本输入绘图工具之外的绘图工具,在所述内容输入用户界面中显示所述手写用户输入的视觉表示,而不发起将所述手写用户输入转换为所述第一序列的基于字体的文本字符的所述过程。
141.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在与所述电子设备通信的触敏显示器上显示内容输入用户界面;
在显示所述内容输入用户界面时,经由所述触敏显示器接收与所述内容输入用户界面对应的手写用户输入;以及
响应于接收到所述手写用户输入:
根据确定在检测到所述手写用户输入时选择了文本输入绘图工具,在所述内容输入用户界面中发起将所述手写用户输入转换为与所述手写用户输入对应的第一序列的基于字体的文本字符的过程;以及
根据确定在检测到所述手写输入时选择了所述文本输入绘图工具之外的绘图工具,在所述内容输入用户界面中显示所述手写用户输入的视觉表示,而不发起将所述手写用户输入转换为所述第一序列的基于字体的文本字符的所述过程。
142.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示内容输入用户界面;
用于执行以下操作的装置:在显示所述内容输入用户界面时,经由所述触敏显示器接收与所述内容输入用户界面对应的手写用户输入;和
用于执行以下操作的装置:响应于接收到所述手写用户输入:
根据确定在检测到所述手写用户输入时选择了文本输入绘图工具,在所述内容输入用户界面中发起将所述手写用户输入转换为与所述手写用户输入对应的第一序列的基于字体的文本字符的过程;以及
根据确定在检测到所述手写输入时选择了所述文本输入绘图工具之外的绘图工具,在所述内容输入用户界面中显示所述手写用户输入的视觉表示,而不发起将所述手写用户输入转换为所述第一序列的基于字体的文本字符的所述过程。
143.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在与所述电子设备通信的触敏显示器上显示内容输入用户界面;
用于执行以下操作的装置:在显示所述内容输入用户界面时,经由所述触敏显示器接收与所述内容输入用户界面对应的手写用户输入;和
用于执行以下操作的装置:响应于接收到所述手写用户输入:
根据确定在检测到所述手写用户输入时选择了文本输入绘图工具,在所述内容输入用户界面中发起将所述手写用户输入转换为与所述手写用户输入对应的第一序列的基于字体的文本字符的过程;以及
根据确定在检测到所述手写输入时选择了所述文本输入绘图工具之外的绘图工具,在所述内容输入用户界面中显示所述手写用户输入的视觉表示,而不发起将所述手写用户输入转换为所述第一序列的基于字体的文本字符的所述过程。
144.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求134至139中任一项所述的方法的指令。
145.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行权利要求134至139中任一项所述的方法。
146.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求134至139中任一项所述的方法的装置。
147.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求134至139中任一项所述的方法的装置。
148.根据权利要求18所述的方法,其中所述手写输入的所述表示变幻为所述基于字体的文本的所述动画包括:
根据确定所述文本输入区域还不包括基于字体的文本,以动画方式显示所述手写输入的所述表示变幻为位于所述文本输入区域中的最终位置处并且处于最终尺寸的基于字体的文本,所述基于字体的文本将被显示处于所述最终尺寸。
149.根据权利要求18所述的方法,其中所述手写输入的所述表示变幻为所述基于字体的文本的所述动画包括:
根据确定所述文本输入区域还不包括基于字体的文本,基于所述手写输入的所述表示的尺寸以动画方式显示所述手写输入的所述表示变幻为处于中间尺寸的基于字体的文本,并且随后以动画方式显示处于所述中间尺寸的所述基于字体的文本变幻为位于所述文本输入区域中的最终位置处并且处于不同于所述中间尺寸的最终尺寸的基于字体的文本,所述基于字体的文本将被显示处于所述最终尺寸。
150.根据权利要求18所述的方法,其中所述手写输入的所述表示变幻为所述基于字体的文本的所述动画包括:
根据确定所述文本输入区域包括先前输入的基于字体的文本,基于所述手写输入的所述表示的尺寸以动画方式显示所述手写输入的所述表示变幻为处于中间尺寸的基于字体的文本,并且随后以动画方式显示处于所述中间尺寸的所述基于字体的文本变幻为位于所述文本输入区域中的最终位置处并且处于不同于所述中间尺寸的最终尺寸的基于字体的文本,所述基于字体的文本将被显示处于所述最终尺寸,其中与所述手写输入对应的所述基于字体的文本的所述最终尺寸与所述先前输入的基于字体的文本的尺寸相同。
151.一种方法,包括:
在与触敏显示器通信的电子设备处:
在所述触敏显示器上显示用户界面;
在显示所述用户界面时,经由所述触敏显示器接收第一用户输入,所述第一用户输入包括指向所述用户界面的第一手写输入,其中所述第一手写输入与第一字符序列对应;以及
响应于接收到所述第一用户输入,在所述用户界面中显示所述第一手写输入的表示和基于所述第一手写输入中的所述第一字符序列而选择的一个或多个预测字符的表示,其中在所述第一手写输入的所述表示之后沿书写方向显示所述一个或多个预测字符的所述表示。
152.根据权利要求151所述的方法,还包括:
在显示所述第一手写输入的所述表示和所述一个或多个预测字符的所述表示时,经由所述一个或多个输入设备接收包括指向所述用户界面的第二手写输入的第二用户输入;以及
响应于接收到包括指向所述用户界面的所述第二手写输入的所述第二用户输入:
根据确定所述第二手写输入满足相对于所述一个或多个预测字符的所述表示的一个或多个第一标准,接受所述一个或多个预测字符用于所述用户界面;以及
根据确定所述第二手写输入不满足相对于所述一个或多个预测字符的所述表示的所述一个或多个第一标准,放弃接受所述一个或多个预测字符用于所述用户界面。
153.根据权利要求151至152中任一项所述的方法,还包括:
在显示所述第一手写输入的所述表示和所述一个或多个预测字符的所述表示时,经由所述一个或多个输入设备接收包括指向所述用户界面的第二手写输入的第二用户输入;以及
响应于接收到包括指向所述用户界面的所述第二手写输入的所述第二用户输入:
根据确定所述第二手写输入满足相对于所述一个或多个预测字符的所述表示的第一部分而不是所述一个或多个预测字符的所述表示的第二部分的一个或多个第一标准,接受与所述一个或多个预测字符的所述表示的所述第一部分对应的所述一个或多个预测字符的子集用于所述用户界面;以及
根据确定所述第二手写输入满足相对于所述一个或多个预测字符的所述表示的所述第一部分和所述第二部分的一个或多个第一标准,接受与所述一个或多个预测字符的所述表示的所述第一部分和所述第二部分对应的所述一个或多个预测字符的一部分用于所述用户界面。
154.根据权利要求152至153中任一项所述的方法,其中接受一个或多个相应预测字符用于所述用户界面包括:
停止显示所述第一手写输入的所述表示和所述一个或多个相应预测字符的表示;以及
在所述用户界面中显示:
与所述第一手写输入对应的所述第一字符序列的表示;和
所述一个或多个相应预测字符的表示。
155.根据权利要求152至154中任一项所述的方法,还包括:
在接收到满足相对于所述一个或多个预测字符的所述表示的所述一个或多个第一标准的所述第二用户输入时,由于所述第二用户输入满足所述一个或多个预测字符中的相应预测字符的所述一个或多个第一标准,因而改变所述一个或多个预测字符中的所述相应预测字符的显示特征的值。
156.根据权利要求151至155中任一项所述的方法,还包括:
在显示所述第一手写输入的所述表示和所述一个或多个预测字符的所述表示时,经由所述一个或多个输入设备接收包括指向所述用户界面的第二手写输入的第二用户输入;以及
响应于接收到包括指向所述用户界面的所述第二手写输入的所述第二用户输入:
根据确定所述第二手写输入包括所述第一手写输入的延续,停止显示所述一个或多个预测字符的至少子集的所述表示。
157.根据权利要求156所述的方法,还包括:
响应于接收到包括指向所述用户界面的所述第二手写输入的所述第二用户输入:
根据所述确定所述第二手写输入包括所述第一手写输入的所述延续,在所述用户界面中显示:
所述第一手写输入和所述第二手写输入的表示,其中所述第二手写输入与第二字符序列对应;以及
基于所述第一手写输入和所述第二手写输入中的所述第一字符序列和所述第二字符序列而选择的一个或多个第二预测字符的表示,
其中所述第一字符序列、所述第二字符序列和所述一个或多个第二预测字符的组合与所述第一字符序列和所述一个或多个预测字符的组合不同。
158.根据权利要求156所述的方法,还包括:
响应于接收到包括指向所述用户界面的所述第二手写输入的所述第二用户输入:
根据所述确定所述第二手写输入包括所述第一手写输入的所述延续,在所述用户界面中显示:
所述第一手写输入和所述第二手写输入的表示,其中所述第二手写输入与第二字符序列对应;以及
基于所述第一手写输入和所述第二手写输入中的所述第一字符序列和所述第二字符序列而选择的一个或多个第二预测字符的表示,
其中所述第一字符序列、所述第二字符序列和所述一个或多个第二预测字符的组合与所述第一字符序列和所述一个或多个预测字符的组合相同。
159.根据权利要求151至158中任一项所述的方法,还包括:
在显示所述第一手写输入的所述表示和所述一个或多个预测字符的所述表示时:
根据确定满足一个或多个标准,在所述用户界面中显示用于接受所述一个或多个预测字符用于所述用户界面的手写输入的表示的动画;以及
根据确定不满足所述一个或多个标准,放弃在所述用户界面中显示用于接受所述一个或多个预测字符用于所述用户界面的所述手写输入的所述表示的所述动画。
160.根据权利要求159所述的方法,其中所述一个或多个标准包括当所述电子设备已检测到用于接受预测字符用于所述用户界面的所述手写输入少于阈值次数时满足、并且当所述电子设备尚未检测到用于接受预测字符用于所述用户界面的所述手写输入至少所述阈值次数时不满足的标准。
161.根据权利要求159所述的方法,其中所述第一手写输入指向所述用户界面中的第一文本输入区域,所述一个或多个标准包括当所述电子设备已在所述第一文本输入区域中显示预测字符少于阈值次数时满足、并且当所述电子设备尚未在所述第一文本输入区域中显示预测字符至少所述阈值次数时不满足的标准。
162.根据权利要求159所述的方法,其中所述一个或多个标准包括当所述电子设备已在所述用户界面中显示预测字符少于阈值次数时满足、并且当所述电子设备尚未在所述用户界面中显示预测字符至少所述阈值次数时不满足的标准。
163.根据权利要求159所述的方法,其中所述一个或多个标准包括当所述电子设备在当天已显示预测字符少于阈值次数时满足、并且当所述电子设备在所述当天尚未显示预测字符至少所述阈值次数时不满足的标准。
164.根据权利要求151至163中任一项所述的方法,其中:
根据确定构成所述第一手写输入的手写字符的尺寸是第一尺寸,以第二尺寸显示所述一个或多个预测字符,并且
根据确定构成所述第一手写输入的所述手写字符的尺寸是不同于所述第一尺寸的第三尺寸,以不同于所述第二尺寸的第四尺寸显示所述一个或多个预测字符。
165.根据权利要求164所述的方法,其中所述第二尺寸匹配所述第一尺寸,并且所述第四尺寸匹配所述第三尺寸。
166.根据权利要求151至165中任一项所述的方法,还包括:
在显示所述用户界面时,经由所述触敏显示器接收第二用户输入,所述第二用户输入包括指向所述用户界面的第二手写输入,其中所述第二手写输入与第二字符序列对应;以及
响应于接收到所述第二用户输入:
根据确定所述第二字符序列满足一个或多个标准,在所述用户界面中显示所述第二手写输入的表示和基于所述第二手写输入中的所述第二字符序列而选择的一个或多个第二预测字符的表示;以及
根据确定所述第二字符序列不满足所述一个或多个标准,在所述用户界面中显示所述第二手写输入的所述表示而不显示所述一个或多个第二预测字符的所述表示。
167.根据权利要求151至166中任一项所述的方法,还包括:
在显示所述用户界面时,经由所述触敏显示器接收第二用户输入,所述第二用户输入包括指向所述用户界面的第二手写输入,其中所述第二手写输入与第二字符序列对应;以及
响应于接收到所述第二用户输入:
在所述用户界面中显示所述第二手写输入的表示;
根据确定自所述第二手写输入的结束以来已经过超过预先确定的时间量,在所述用户界面中显示基于所述第二手写输入中的所述第二字符序列而选择的一个或多个第二预测字符的表示;以及
根据确定自所述第二手写输入的所述结束以来已经过小于所述预先确定的时间量,放弃显示所述一个或多个第二预测字符的所述表示。
168.根据权利要求151至167中任一项所述的方法,其中所述第一字符序列和所述一个或多个预测字符的组合显示在所述用户界面中可选用户界面元素中,所述可选用户界面元素能够被选择以输入所述第一字符序列和所述一个或多个预测字符的所述组合用于所述用户界面。
169.根据权利要求168所述的方法,其中所述可选用户界面元素包括所述第一字符序列和所述一个或多个预测字符的所述组合的第一表示以及所述第一字符序列的第二表示,其中所述第一表示能够被选择以输入所述第一字符序列和所述一个或多个预测字符的所述组合用于所述用户界面,并且所述第二表示能够被选择以输入所述一个或多个预测字符而没有所述第一字符序列用于所述用户界面。
170.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在触敏显示器上显示用户界面;
在显示所述用户界面时,经由所述触敏显示器接收第一用户输入,所述第一用户输入包括指向所述用户界面的第一手写输入,其中所述第一手写输入与第一字符序列对应;以及
响应于接收到所述第一用户输入,在所述用户界面中显示所述第一手写输入的表示和基于所述第一手写输入中的所述第一字符序列而选择的一个或多个预测字符的表示,其中在所述第一手写输入的所述表示之后沿书写方向显示所述一个或多个预测字符的所述表示。
171.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在触敏显示器上显示用户界面;
在显示所述用户界面时,经由所述触敏显示器接收第一用户输入,所述第一用户输入包括指向所述用户界面的第一手写输入,其中所述第一手写输入与第一字符序列对应;以及
响应于接收到所述第一用户输入,在所述用户界面中显示所述第一手写输入的表示和基于所述第一手写输入中的所述第一字符序列而选择的一个或多个预测字符的表示,其中在所述第一手写输入的所述表示之后沿书写方向显示所述一个或多个预测字符的所述表示。
172.一种电子设备,包括:
一个或多个处理器;
存储器;
用于在触敏显示器上显示用户界面的装置;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器接收第一用户输入,所述第一用户输入包括指向所述用户界面的第一手写输入,其中所述第一手写输入与第一字符序列对应;和
用于执行以下操作的装置:响应于接收到所述第一用户输入,在所述用户界面中显示所述第一手写输入的表示和基于所述第一手写输入中的所述第一字符序列而选择的一个或多个预测字符的表示,其中在所述第一手写输入的所述表示之后沿书写方向显示所述一个或多个预测字符的所述表示。
173.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于在触敏显示器上显示用户界面的装置;
用于执行以下操作的装置:在显示所述用户界面时,经由所述触敏显示器接收第一用户输入,所述第一用户输入包括指向所述用户界面的第一手写输入,其中所述第一手写输入与第一字符序列对应;和
用于执行以下操作的装置:响应于接收到所述第一用户输入,在所述用户界面中显示所述第一手写输入的表示和基于所述第一手写输入中的所述第一字符序列而选择的一个或多个预测字符的表示,其中在所述第一手写输入的所述表示之后沿书写方向显示所述一个或多个预测字符的所述表示。
174.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求151至169中任一项所述的方法的指令。
175.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行权利要求151至169中任一项所述的方法。
176.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行权利要求151至169中任一项所述的方法的装置。
177.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行权利要求151至169中任一项所述的方法的装置。
178.一种方法,包括:
在具有显示设备和一个或多个输入设备的电子设备处:
在显示用户界面时,经由所述一个或多个输入设备检测与移动路径对应的输入;
在继续检测所述输入的同时:
响应于检测到所述输入,经由所述显示设备在所述用户界面中的第一位置处以第一外观显示所述路径的表示;
在以所述第一外观显示所述路径的所述表示之后,将所述路径的所述表示的至少一部分的外观改变为不同于所述第一外观的第二外观;以及
在将所述路径的所述表示的所述部分的所述外观改变为不同于所述第一外观的第二外观之后:
在所述用户界面中的第二位置处显示基于所述路径而选择的一个或多个基于字体的字符;以及
显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的动画。
179.根据权利要求178所述的方法,其中所述第一外观是第一颜色,并且所述第二外观是不同于所述第一颜色的第二颜色。
180.根据权利要求178至179中任一项所述的方法,其中改变所述路径的所述表示的所述部分的所述外观包括通过在基于所述路径的所述表示初始显示的方向而确定的方向上将所述路径的所述表示的子部分从所述第一外观逐步改变为所述第二外观,从而以动画方式逐渐显示所述路径的所述表示的所述部分的所述外观的改变。
181.根据权利要求178至180中任一项所述的方法,其中改变所述路径的所述表示的所述部分的所述外观包括通过以基于所述路径的所述表示初始显示的速度而确定的速率将所述路径的所述表示的子部分从所述第一外观逐步改变为所述第二外观,从而以动画方式逐渐显示所述路径的所述表示的所述部分的所述外观的改变。
182.根据权利要求178至181中任一项所述的方法,其中改变所述路径的所述表示的所述部分的所述外观包括当所述路径的所述表示的所述部分到达距使得所述路径被生成的所述输入第一阈值距离时,停止以动画方式显示所述路径的所述表示的所述部分的所述外观从所述第一外观到所述第二外观的所述改变。
183.根据权利要求182所述的方法,包括:
在停止以动画方式显示所述路径的所述表示的所述部分的所述外观的所述改变之后,检测所述输入的继续移动;以及
响应于检测到所述输入的所述继续移动,通过在基于所述路径的所述表示初始显示的所述方向而确定的方向上将所述路径的所述表示的子部分从所述第一外观逐步改变为所述第二外观,从而恢复以动画方式逐渐显示所述路径的所述表示的所述部分的所述外观的改变。
184.根据权利要求178至183中任一项所述的方法,其中响应于检测到所述输入的结束,显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的所述动画。
185.根据权利要求178至184中任一项所述的方法,其中响应于检测到已满足字符识别标准,显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的所述动画。
186.根据权利要求178至185中任一项所述的方法,其中所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的所述动画包括将所述路径的所述部分替换为多个分开的颗粒,所述多个分开的颗粒在朝向所述第二位置移动时相对于彼此移动。
187.根据权利要求186所述的方法,其中至少部分地基于与所述多个分开的颗粒对应的所述路径的所述表示的所述部分的长度来确定所述多个分开的颗粒中的分开的颗粒的数量。
188.根据权利要求178至187中任一项所述的方法,其中所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的所述动画包括在与所述动画对应的视觉元素到达所述第二位置之前停止显示所述动画。
189.根据权利要求178至188中任一项所述的方法,其中:
所述一个或多个基于字体的字符包括基于字体的字符序列;并且
所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的所述动画包括通过以下方式以动画方式顺序地显示所述路径的所述表示的与不同字符对应的部分:开始所述路径的所述表示的与所述字符序列中第一基于字体的字符对应的第一部分的动画,之后开始所述路径的所述表示的与在所述字符序列中所述第一基于字体的字符之后发生的所述字符序列中第二基于字体的字符对应的第二部分的动画。
190.根据权利要求178至188中任一项所述的方法,其中:
所述一个或多个基于字体的字符包括基于字体的字词序列;并且
所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的所述动画包括通过以下方式以动画方式顺序地显示所述路径的所述表示的与不同字词对应的部分:开始所述路径的所述表示的与所述字词序列中第一基于字体的字词对应的第一部分的动画,之后开始所述路径的所述表示的与在所述字词序列中所述第一基于字体的字词之后发生的所述字词序列中第二基于字体的字词对应的第二部分的动画。
191.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在显示用户界面时,经由一个或多个输入设备检测与移动路径对应的输入;
在继续检测所述输入的同时:
响应于检测到所述输入,经由显示设备在所述用户界面中的第一位置处以第一外观显示所述路径的表示;
在以所述第一外观显示所述路径的所述表示之后,将所述路径的所述表示的至少一部分的外观改变为不同于所述第一外观的第二外观;以及
在将所述路径的所述表示的所述部分的所述外观改变为不同于所述第一外观的第二外观之后:
在所述用户界面中的第二位置处显示基于所述路径而选择的一个或多个基于字体的字符;以及
显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的动画。
192.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
在显示用户界面时,经由一个或多个输入设备检测与移动路径对应的输入;
在继续检测所述输入的同时:
响应于检测到所述输入,经由显示设备在所述用户界面中的第一位置处以第一外观显示所述路径的表示;
在以所述第一外观显示所述路径的所述表示之后,将所述路径的所述表示的至少一部分的外观改变为不同于所述第一外观的第二外观;以及
在将所述路径的所述表示的所述部分的所述外观改变为不同于所述第一外观的第二外观之后:
在所述用户界面中的第二位置处显示基于所述路径而选择的一个或多个基于字体的字符;以及
显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的动画。
193.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:在显示用户界面时,经由一个或多个输入设备检测与移动路径对应的输入;
用于执行以下操作的装置:在继续检测所述输入时:
响应于检测到所述输入,经由显示设备在所述用户界面中的第一位置处以第一外观显示所述路径的表示;
在以所述第一外观显示所述路径的所述表示之后,将所述路径的所述表示的至少一部分的外观改变为不同于所述第一外观的第二外观;和
用于执行以下操作的装置:在将所述路径的所述表示的所述部分的所述外观改变为不同于所述第一外观的第二外观之后:
在所述用户界面中的第二位置处显示基于所述路径而选择的一个或多个基于字体的字符;以及
显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的动画。
194.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:在显示用户界面时,经由一个或多个输入设备检测与移动路径对应的输入;
用于执行以下操作的装置:在继续检测所述输入时:
响应于检测到所述输入,经由显示设备在所述用户界面中的第一位置处以第一外观显示所述路径的表示;
在以所述第一外观显示所述路径的所述表示之后,将所述路径的所述表示的至少一部分的外观改变为不同于所述第一外观的第二外观;和
用于执行以下操作的装置:在将所述路径的所述表示的所述部分的所述外观改变为不同于所述第一外观的第二外观之后:
在所述用户界面中的第二位置处显示基于所述路径而选择的一个或多个基于字体的字符;以及
显示所述路径的所述部分从所述用户界面中的所述第一位置移动到所述用户界面中的所述第二位置的动画。
195.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求178至190中任一项所述的方法的指令。
196.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时使得所述电子设备执行根据权利要求178至190中任一项所述的方法。
197.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求178至190中任一项所述的方法的装置。
198.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求178至190中任一项所述的方法的装置。
199.根据权利要求35至53中任一项所述的方法,还包括:
在选择所述第一可编辑文本串中的所述多个文本字符时,经由所述触敏显示器接收包括手写输入的用户输入;以及
响应于接收到所述用户输入:
将所述第一可编辑文本串中的所述多个文本字符替换为与所述手写输入对应的相应可编辑文本。
200.根据权利要求62至84中任一项所述的方法,还包括:
在显示包括所述第一字符序列的所述文本输入用户界面时,经由所述触敏显示器接收相应用户输入,所述相应用户输入包括在保持与所述触敏显示器在所述第一字符序列中第一字符和第二字符之间的位置处接触的同时跨所述第一字符序列的相应部分的移动;以及
响应于接收到所述相应用户输入:
根据确定没有字符将所述第一字符序列中所述第一字符和所述第二字符分开,通过在所述第一字符序列中所述第一字符和所述第二字符之间添加空白字符来更新所述文本输入用户界面;以及
根据确定仅空白字符将所述第一字符序列中所述第一字符和所述第二字符分开,通过移除所述第一字符序列中所述第一字符和所述第二字符之间的所述空白字符来更新所述文本输入用户界面。
201.一种方法,包括:
在与显示生成部件和一个或多个输入设备通信的电子设备处:
经由所述显示生成部件显示用户界面,所述用户界面包括第一内容输入区域和内容输入用户界面元素,其中当所述电子设备处于第一内容输入模式时,所述内容输入用户界面元素包括与所述第一内容输入模式对应的第一组选项,其中在所述第一内容输入模式中所述电子设备被配置用于接收手写输入并且将所述手写输入转换为基于字体的文本;
当在所述电子设备处于所述第一内容输入模式时显示所述内容输入用户界面元素时,接收与将所述电子设备从所述第一内容输入模式切换到第二内容输入模式的请求对应的用户输入,其中在所述第二内容输入模式中所述电子设备被配置用于接收手写输入而不将所述手写输入转换为基于字体的文本;以及
响应于接收到所述用户输入:
将所述内容输入用户界面元素中与所述第一内容输入模式对应的所述第一组选项替换为与所述第一组选项不同的与所述第二内容输入模式对应的第二组选项。
202.根据权利要求201所述的方法,还包括:
当所述电子设备处于所述第一内容输入模式时,经由所述一个或多个输入设备接收用户输入,所述用户输入包括指向所述第一内容输入区域的手写输入;
响应于接收到所述用户输入,在所述用户界面中与所述第一内容输入区域对应的位置处显示所述手写输入的表示;以及
在与所述第一内容输入区域对应的所述位置处显示所述手写输入的所述表示之后:
停止显示所述手写输入的所述表示;以及
在所述第一内容输入区域中显示与所述手写输入对应的基于字体的文本。
203.根据权利要求201至202中任一项所述的方法,还包括:
当所述电子设备处于所述第二内容输入模式时,经由所述一个或多个输入设备接收用户输入,所述用户输入包括指向所述第一内容输入区域的手写输入;以及
响应于接收到所述用户输入,在所述用户界面中与所述第一内容输入区域对应的位置处显示所述手写输入的表示,而不显示与所述手写输入的所述表示对应的基于字体的文本。
204.根据权利要求201至203中任一项所述的方法,其中:
与所述第一内容输入模式对应的所述第一组选项包括以下中的一者或多者:
用于为所述第一内容输入区域中的基于字体的文本选择一种或多种字体设置的一个或多个选项,
用于显示用于将基于字体的文本输入到所述第一内容输入区域中的软键盘的一个或多个选项,或
用于将表情符号插入所述第一内容输入区域中的一个或多个选项。
205.根据权利要求201至204中任一项所述的方法,其中:
与所述第二内容输入模式对应的所述第二组选项包括用于为所述第一内容输入区域中的手写输入的表示选择一种或多种颜色设置的一个或多个选项。
206.根据权利要求201至205中任一项所述的方法,还包括:
在显示所述内容输入用户界面元素时,接收指向所述内容输入用户界面元素的用户输入;以及
响应于接收到所述用户输入:
根据确定所述用户输入包括指向与所述内容输入用户界面元素对应的位置的选择输入和在保持所述选择输入的同时的移动,根据所述用户输入的所述移动在所述用户界面内移动所述内容输入用户界面元素。
207.根据权利要求206所述的方法,还包括:
响应于根据所述用户输入的所述移动而移动所述内容输入用户界面元素:
根据确定所述内容输入用户界面元素的最终位置满足一个或多个位置标准,以第一尺寸显示所述内容输入用户界面元素,其中当所述内容输入用户界面具有所述第一尺寸时,所述内容输入用户界面元素包括当前内容输入模式的表示,而不显示与所述当前内容输入模式对应的一组给定选项;以及
根据确定所述内容输入用户界面元素的所述最终位置不满足所述一个或多个位置标准,以不同于所述第一尺寸的第二尺寸显示所述内容输入用户界面元素,其中当所述内容输入用户界面具有所述第二尺寸时,所述内容输入用户界面元素包括所述当前内容输入模式的表示和与所述当前内容输入模式对应的所述一组给定选项。
208.根据权利要求201至207中任一项所述的方法,其中:
所述电子设备包括全局设置,所述全局设置用于将所述电子设备配置为在处于所述第一内容输入模式和所述第二内容输入模式时接受或忽略来自相应设备之外的对象的相应手写输入;并且
所述内容输入用户界面元素包括在处于所述第一内容输入模式和所述第二内容输入模式时能够被选择以接受或忽略来自所述触笔之外的所述对象的所述相应手写输入的选项,而不考虑所述全局设置的状态。
209.根据权利要求208中任一项所述的方法,其中所述用户界面包括第二内容输入区域,所述第一内容输入区域支持第一组内容选项,并且所述第二内容输入区域支持不同于所述第一组内容选项的第二组内容选项,所述方法还包括:
当所述电子设备处于所述第一内容输入模式时:
接收指向相应内容输入区域的用户输入;以及
响应于接收到指向所述相应内容输入区域的所述用户输入:
在所述用户界面中显示所述内容输入用户界面元素,其中:
根据确定所述相应内容输入区域是所述第一内容输入区域,所述内容输入用户界面元素包括与所述第一组内容选项对应的所述第一组选项;并且
根据确定所述相应内容输入区域是所述第二内容输入区域,所述内容输入用户界面元素包括与所述第一组选项不同的与所述第二组内容选项对应的第三组选项。
210.根据权利要求201至209中任一项所述的方法,还包括:
在显示包括所述第一内容输入区域的所述用户界面时,接收指向所述第一内容输入区域的用户输入,其中所述第一内容输入区域支持以所述第一内容输入模式和所述第二内容输入模式输入内容;以及
响应于指向所述第一内容输入区域的所述用户输入,在所述用户界面中显示所述内容输入用户界面元素,其中:
根据确定所述第一内容输入区域不包括基于字体的文本,
所述内容输入用户界面元素包括与所述第一内容输入区域中最近使用的内容输入模式对应的相应一组选项。
211.根据权利要求210所述的方法,其中:
根据确定所述第一内容输入区域包括基于字体的文本,所述内容输入用户界面元素包括与所述第一内容输入模式对应的所述第一组选项。
212.根据权利要求201至211中任一项所述的方法,其中显示所述内容输入用户界面元素包括:
根据确定所述用户界面是第一应用程序的用户界面,在所述第一组选项中包括第一选项;以及
根据确定所述用户界面是不同于所述第一应用程序的第二应用程序的用户界面,在所述第一组选项中包括第二选项而不在所述第一组选项中包括所述第一选项。
213.根据权利要求201至212中任一项所述的方法,其中所述用户界面是第一应用程序的用户界面,所述方法还包括:
在经由所述显示生成部件显示包括所述第一内容输入区域的所述用户界面时:
经由所述显示生成部件显示第二应用程序的第二用户界面,其中所述第二用户界面包括第二内容输入区域;
在显示所述用户界面和所述第二用户界面时,接收用户输入;以及
响应于接收到所述用户输入:
根据确定所述用户输入指向所述第一内容输入区域,在与所述第一应用程序对应的第一位置处显示所述内容输入用户界面元素;以及
根据确定所述用户输入指向所述第二内容输入区域,在与所述第一位置不同的与所述第二应用程序对应的第二位置处显示所述内容输入用户界面元素。
214.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
经由显示生成部件显示用户界面,所述用户界面包括第一内容输入区域和内容输入用户界面元素,其中当所述电子设备处于第一内容输入模式时,所述内容输入用户界面元素包括与所述第一内容输入模式对应的第一组选项,其中在所述第一内容输入模式中所述电子设备被配置用于接收手写输入并且将所述手写输入转换为基于字体的文本;
当在所述电子设备处于所述第一内容输入模式时显示所述内容输入用户界面元素时,接收与将所述电子设备从所述第一内容输入模式切换到第二内容输入模式的请求对应的用户输入,其中在所述第二内容输入模式中所述电子设备被配置用于接收手写输入而不将所述手写输入转换为基于字体的文本;以及
响应于接收到所述用户输入:
将所述内容输入用户界面元素中与所述第一内容输入模式对应的所述第一组选项替换为与所述第一组选项不同的与所述第二内容输入模式对应的第二组选项。
215.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:
经由显示生成部件显示用户界面,所述用户界面包括第一内容输入区域和内容输入用户界面元素,其中当所述电子设备处于第一内容输入模式时,所述内容输入用户界面元素包括与所述第一内容输入模式对应的第一组选项,其中在所述第一内容输入模式中所述电子设备被配置用于接收手写输入并且将所述手写输入转换为基于字体的文本;
当在所述电子设备处于所述第一内容输入模式时显示所述内容输入用户界面元素时,接收与将所述电子设备从所述第一内容输入模式切换到第二内容输入模式的请求对应的用户输入,其中在所述第二内容输入模式中所述电子设备被配置用于接收手写输入而不将所述手写输入转换为基于字体的文本;以及
响应于接收到所述用户输入:
将所述内容输入用户界面元素中与所述第一内容输入模式对应的所述第一组选项替换为与所述第一组选项不同的与所述第二内容输入模式对应的第二组选项。
216.一种电子设备,包括:
一个或多个处理器;
存储器;
用于执行以下操作的装置:经由显示生成部件显示用户界面,所述用户界面包括第一内容输入区域和内容输入用户界面元素,其中当所述电子设备处于第一内容输入模式时,所述内容输入用户界面元素包括与所述第一内容输入模式对应的第一组选项,其中在所述第一内容输入模式中所述电子设备被配置用于接收手写输入并且将所述手写输入转换为基于字体的文本;
用于执行以下操作的装置:当在所述电子设备处于所述第一内容输入模式时显示所述内容输入用户界面元素时,接收与将所述电子设备从所述第一内容输入模式切换到第二内容输入模式的请求对应的用户输入,其中在所述第二内容输入模式中所述电子设备被配置用于接收手写输入而不将所述手写输入转换为基于字体的文本;和
用于执行以下操作的装置:响应于接收到所述用户输入:
将所述内容输入用户界面元素中与所述第一内容输入模式对应的所述第一组选项替换为与所述第一组选项不同的与所述第二内容输入模式对应的第二组选项。
217.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行以下操作的装置:经由显示生成部件显示用户界面,所述用户界面包括第一内容输入区域和内容输入用户界面元素,其中当所述电子设备处于第一内容输入模式时,所述内容输入用户界面元素包括与所述第一内容输入模式对应的第一组选项,其中在所述第一内容输入模式中所述电子设备被配置用于接收手写输入并且将所述手写输入转换为基于字体的文本;
用于执行以下操作的装置:当在所述电子设备处于所述第一内容输入模式时显示所述内容输入用户界面元素时,接收与将所述电子设备从所述第一内容输入模式切换到第二内容输入模式的请求对应的用户输入,其中在所述第二内容输入模式中所述电子设备被配置用于接收手写输入而不将所述手写输入转换为基于字体的文本;和
用于执行以下操作的装置:响应于接收到所述用户输入:
将所述内容输入用户界面元素中与所述第一内容输入模式对应的所述第一组选项替换为与所述第一组选项不同的与所述第二内容输入模式对应的第二组选项。
218.一种电子设备,包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求201至213中任一项所述的方法的指令。
219.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求201至213中任一项所述的方法。
220.一种电子设备,包括:
一个或多个处理器;
存储器;和
用于执行根据权利要求201至213中任一项所述的方法的装置。
221.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求201至213中任一项所述的方法的装置。
CN202080049378.4A 2019-05-06 2020-05-06 电子设备上的手写输入 Pending CN114127676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210131407.2A CN114564113B (zh) 2019-05-06 2020-05-06 电子设备上的手写输入

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962843976P 2019-05-06 2019-05-06
US62/843,976 2019-05-06
US201962859413P 2019-06-10 2019-06-10
US62/859,413 2019-06-10
US202063020496P 2020-05-05 2020-05-05
US63/020,496 2020-05-05
PCT/US2020/031727 WO2020227445A1 (en) 2019-05-06 2020-05-06 Handwriting entry on an electronic device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210131407.2A Division CN114564113B (zh) 2019-05-06 2020-05-06 电子设备上的手写输入

Publications (1)

Publication Number Publication Date
CN114127676A true CN114127676A (zh) 2022-03-01

Family

ID=70779979

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080049378.4A Pending CN114127676A (zh) 2019-05-06 2020-05-06 电子设备上的手写输入
CN202210131407.2A Active CN114564113B (zh) 2019-05-06 2020-05-06 电子设备上的手写输入

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210131407.2A Active CN114564113B (zh) 2019-05-06 2020-05-06 电子设备上的手写输入

Country Status (7)

Country Link
US (2) US11429274B2 (zh)
EP (1) EP3966678A1 (zh)
JP (2) JP7153810B2 (zh)
KR (2) KR102610481B1 (zh)
CN (2) CN114127676A (zh)
AU (5) AU2020267498B2 (zh)
WO (1) WO2020227445A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472257A (zh) * 2023-12-28 2024-01-30 广东德远科技股份有限公司 一种基于ai算法的自动转正楷的方法及系统

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD764498S1 (en) 2015-06-07 2016-08-23 Apple Inc. Display screen or portion thereof with graphical user interface
JP6528820B2 (ja) * 2017-09-19 2019-06-12 カシオ計算機株式会社 コンピュータ、情報機器、これらを動作させるプログラム、情報処理システム、及び情報処理システムの制御方法
WO2019084665A1 (en) * 2017-11-06 2019-05-09 Fixmestick Technologies Inc. Method and system for automatically booting a computer to run from a removable device
USD905718S1 (en) * 2018-03-15 2020-12-22 Apple Inc. Display screen or portion thereof with graphical user interface
USD931310S1 (en) * 2018-05-18 2021-09-21 Carefusion 303, Inc. Display screen with graphical user interface for an infusion device
USD876449S1 (en) 2018-09-12 2020-02-25 Apple Inc. Electronic device or portion thereof with animated graphical user interface
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
CH715583A1 (de) * 2018-11-22 2020-05-29 Trihow Ag Smartboard zum Digitalisieren von Workshop-Ergebnissen sowie Set umfassend ein solches Smartboard und mehrere Objekte.
US11429274B2 (en) 2019-05-06 2022-08-30 Apple Inc. Handwriting entry on an electronic device
US11048408B2 (en) * 2019-05-27 2021-06-29 Ricoh Company, Ltd. Display apparatus, recording medium, and display method
CN110413153B (zh) * 2019-07-19 2020-12-25 珠海格力电器股份有限公司 一种防误触方法、装置及存储介质
CA3231830A1 (en) 2019-08-05 2021-02-11 Ai21 Labs Systems and methods of controllable natural language generation
WO2021025495A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Electronic device and method for processing handwriting input thereof
JP7540190B2 (ja) * 2020-05-08 2024-08-27 ブラザー工業株式会社 編集プログラム
US20210349627A1 (en) 2020-05-11 2021-11-11 Apple Inc. Interacting with handwritten content on an electronic device
USD942470S1 (en) * 2020-06-21 2022-02-01 Apple Inc. Display or portion thereof with animated graphical user interface
KR20220017231A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치 및 그의 필기 입력을 처리하는 방법
JP7543788B2 (ja) * 2020-08-31 2024-09-03 株式会社リコー 表示装置、入力方法、プログラム
JP2022057931A (ja) * 2020-09-30 2022-04-11 株式会社リコー 表示装置、表示方法、プログラム
US11790005B2 (en) * 2020-11-30 2023-10-17 Google Llc Methods and systems for presenting privacy friendly query activity based on environmental signal(s)
CN112511883A (zh) * 2020-12-09 2021-03-16 广东长虹电子有限公司 一种具有手写输入功能的遥控器、电视系统及控制方法
CN112558812B (zh) * 2020-12-15 2021-08-06 深圳市康冠商用科技有限公司 笔锋生成方法、装置、智能设备及存储介质
US11409432B2 (en) * 2020-12-23 2022-08-09 Microsoft Technology Licensing, Llc Pen command for ink editing
KR20220102263A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 전자 장치 및 전자 장치에서 스타일러스 펜의 입력을 처리하는 방법
JP2022139957A (ja) * 2021-03-12 2022-09-26 株式会社リコー 表示装置、プログラム、変換方法、表示システム
EP4258094A4 (en) * 2021-04-28 2024-07-10 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR PROCESSING HANDWRITTEN INPUTS AND OPERATING METHODS THEREFOR
JP7384191B2 (ja) * 2021-06-29 2023-11-21 株式会社リコー 表示装置、プログラム、領域変更方法
KR20230006240A (ko) * 2021-07-02 2023-01-10 삼성전자주식회사 입력 필드를 기반으로 사용자 인터페이스를 구성하는 방법 및 전자 장치
US11720237B2 (en) 2021-08-05 2023-08-08 Motorola Mobility Llc Input session between devices based on an input trigger
KR20230023437A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐츠 편집 방법
US11902936B2 (en) 2021-08-31 2024-02-13 Motorola Mobility Llc Notification handling based on identity and physical presence
US11641440B2 (en) 2021-09-13 2023-05-02 Motorola Mobility Llc Video content based on multiple capture devices
CN116391164A (zh) * 2021-10-26 2023-07-04 京东方科技集团股份有限公司 手写输入显示方法及装置、计算机可读存储介质
US11941902B2 (en) * 2021-12-09 2024-03-26 Kpmg Llp System and method for asset serialization through image detection and recognition of unconventional identifiers
US11922009B2 (en) * 2021-12-17 2024-03-05 Google Llc Using a stylus to input typed text into text boxes
US11543959B1 (en) * 2022-06-02 2023-01-03 Lenovo (Singapore) Pte. Ltd. Method for inserting hand-written text
WO2023235526A1 (en) * 2022-06-04 2023-12-07 Apple Inc. User interfaces for displaying handwritten content on an electronic device
US20240071118A1 (en) * 2022-08-31 2024-02-29 Microsoft Technology Licensing, Llc Intelligent shape prediction and autocompletion for digital ink
CN115438070A (zh) * 2022-09-26 2022-12-06 支付宝(杭州)信息技术有限公司 针对图数据库的查询语句自动补全的方法及装置
US12124693B2 (en) * 2022-10-31 2024-10-22 Optoma Corporation Electronic whiteboard system and operation method thereof
US20240176482A1 (en) * 2022-11-29 2024-05-30 Microsoft Technology Licensing, Llc Gesture Based Space Adjustment for Editing

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5367353A (en) * 1988-02-10 1994-11-22 Nikon Corporation Operation control device for a camera
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
CA2318815C (en) 1998-01-26 2004-08-10 Wayne Westerman Method and apparatus for integrating manual input
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US20020107885A1 (en) 2001-02-01 2002-08-08 Advanced Digital Systems, Inc. System, computer program product, and method for capturing and processing form data
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US20030071850A1 (en) 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US20030214539A1 (en) 2002-05-14 2003-11-20 Microsoft Corp. Method and apparatus for hollow selection feedback
US7259752B1 (en) * 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7002560B2 (en) * 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
JP4244614B2 (ja) * 2002-10-31 2009-03-25 株式会社日立製作所 手書き入力装置、プログラムおよび手書き入力方法システム
JP2003296029A (ja) 2003-03-05 2003-10-17 Casio Comput Co Ltd 入力装置
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7692636B2 (en) 2004-09-30 2010-04-06 Microsoft Corporation Systems and methods for handwriting to a screen
US8487879B2 (en) * 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
JP4762070B2 (ja) 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
JP4385169B1 (ja) * 2008-11-25 2009-12-16 健治 吉田 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート
US8516397B2 (en) 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
WO2010119603A1 (ja) 2009-04-16 2010-10-21 日本電気株式会社 手書き入力装置
US20100293460A1 (en) 2009-05-14 2010-11-18 Budelli Joe G Text selection method and system based on gestures
TWI416369B (zh) 2009-09-18 2013-11-21 Htc Corp 資料選取方法及系統,及其電腦程式產品
KR20130001261A (ko) 2010-03-12 2013-01-03 뉘앙스 커뮤니케이션즈, 인코포레이티드 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템
JP2012185694A (ja) 2011-03-07 2012-09-27 Elmo Co Ltd 描画システム
JP2012238295A (ja) 2011-04-27 2012-12-06 Panasonic Corp 手書き文字入力装置及び手書き文字入力方法
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
KR102076539B1 (ko) 2012-12-06 2020-04-07 삼성전자주식회사 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법
US9898186B2 (en) * 2012-07-13 2018-02-20 Samsung Electronics Co., Ltd. Portable terminal using touch pen and handwriting input method using the same
US8935638B2 (en) 2012-10-11 2015-01-13 Google Inc. Non-textual user input
US9026428B2 (en) 2012-10-15 2015-05-05 Nuance Communications, Inc. Text/character input system, such as for use with touch screens on mobile phones
US9329726B2 (en) 2012-10-26 2016-05-03 Qualcomm Incorporated System and method for capturing editable handwriting on a display
EP3435220B1 (en) 2012-12-29 2020-09-16 Apple Inc. Device, method and graphical user interface for transitioning between touch input to display output relationships
US20140194162A1 (en) 2013-01-04 2014-07-10 Apple Inc. Modifying A Selection Based on Tapping
US9117125B2 (en) 2013-02-07 2015-08-25 Kabushiki Kaisha Toshiba Electronic device and handwritten document processing method
KR102104910B1 (ko) 2013-02-28 2020-04-27 삼성전자주식회사 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법
US9766723B2 (en) 2013-03-11 2017-09-19 Barnes & Noble College Booksellers, Llc Stylus sensitive device with hover over stylus control functionality
US20160349897A1 (en) 2013-04-25 2016-12-01 Sharp Kabushiki Kaisha Touch panel system and electronic apparatus
WO2015030461A1 (en) * 2013-08-26 2015-03-05 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
KR102162836B1 (ko) 2013-08-30 2020-10-07 삼성전자주식회사 필드 속성을 이용한 컨텐트를 제공하는 전자 장치 및 방법
JP6192104B2 (ja) 2013-09-13 2017-09-06 国立研究開発法人情報通信研究機構 テキスト編集装置及びプログラム
US9176657B2 (en) 2013-09-14 2015-11-03 Changwat TUMWATTANA Gesture-based selection and manipulation method
US9317937B2 (en) 2013-12-30 2016-04-19 Skribb.it Inc. Recognition of user drawn graphical objects based on detected regions within a coordinate-plane
KR102166833B1 (ko) 2014-01-28 2020-10-16 엘지전자 주식회사 이동단말기 및 그 제어방법
US9305382B2 (en) 2014-02-03 2016-04-05 Adobe Systems Incorporated Geometrically and parametrically modifying user input to assist drawing
JP2016071819A (ja) * 2014-10-02 2016-05-09 株式会社東芝 電子機器および方法
US10168899B1 (en) 2015-03-16 2019-01-01 FiftyThree, Inc. Computer-readable media and related methods for processing hand-drawn image elements
JP6456203B2 (ja) 2015-03-20 2019-01-23 シャープ株式会社 情報処理装置、情報処理プログラムおよび情報処理方法
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
KR20170011178A (ko) 2015-07-21 2017-02-02 삼성전자주식회사 휴대 장치, 디스플레이 장치 및 디스플레이 장치의 사진 표시방법
US10346510B2 (en) 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
US10976918B2 (en) 2015-10-19 2021-04-13 Myscript System and method of guiding handwriting diagram input
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10318034B1 (en) 2016-09-23 2019-06-11 Apple Inc. Devices, methods, and user interfaces for interacting with user interface objects via proximity-based and contact-based inputs
US20180121074A1 (en) 2016-10-28 2018-05-03 Microsoft Technology Licensing, Llc Freehand table manipulation
US10228839B2 (en) 2016-11-10 2019-03-12 Dell Products L.P. Auto-scrolling input in a dual-display computing device
US20180329589A1 (en) 2017-05-15 2018-11-15 Microsoft Technology Licensing, Llc Contextual Object Manipulation
US10402642B2 (en) 2017-05-22 2019-09-03 Microsoft Technology Licensing, Llc Automatically converting ink strokes into graphical objects
CN108845757A (zh) 2018-07-17 2018-11-20 广州视源电子科技股份有限公司 一种智能交互平板的触控输入方法及装置、计算机可读存储介质、智能交互平板
US11429274B2 (en) 2019-05-06 2022-08-30 Apple Inc. Handwriting entry on an electronic device
EP3754537B1 (en) 2019-06-20 2024-05-22 MyScript Processing text handwriting input in a free handwriting mode
US20210349627A1 (en) 2020-05-11 2021-11-11 Apple Inc. Interacting with handwritten content on an electronic device
WO2023220165A1 (en) 2022-05-10 2023-11-16 Apple Inc. Interactions between an input device and an electronic device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472257A (zh) * 2023-12-28 2024-01-30 广东德远科技股份有限公司 一种基于ai算法的自动转正楷的方法及系统
CN117472257B (zh) * 2023-12-28 2024-04-26 广东德远科技股份有限公司 一种基于ai算法的自动转正楷的方法及系统

Also Published As

Publication number Publication date
AU2023204314A1 (en) 2023-07-27
JP2022191324A (ja) 2022-12-27
AU2024204400A1 (en) 2024-07-18
AU2024204397A1 (en) 2024-07-18
KR102610481B1 (ko) 2023-12-07
US20220197493A1 (en) 2022-06-23
KR20220002658A (ko) 2022-01-06
WO2020227445A1 (en) 2020-11-12
CN114564113B (zh) 2024-09-20
KR20230169450A (ko) 2023-12-15
CN114564113A (zh) 2022-05-31
AU2023204314B2 (en) 2024-03-28
AU2024204396A1 (en) 2024-07-18
JP7153810B2 (ja) 2022-10-14
EP3966678A1 (en) 2022-03-16
JP7575435B2 (ja) 2024-10-29
US20200356254A1 (en) 2020-11-12
US12093523B2 (en) 2024-09-17
AU2020267498A1 (en) 2022-01-06
JP2022532326A (ja) 2022-07-14
AU2020267498B2 (en) 2023-04-06
US11429274B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114564113B (zh) 电子设备上的手写输入
US20230214107A1 (en) User interface for receiving user input
US11656758B2 (en) Interacting with handwritten content on an electronic device
CN109791465B (zh) 用于对文本进行注释的设备、方法和图形用户界面
CN111488111A (zh) 虚拟计算机键盘
US20240004532A1 (en) Interactions between an input device and an electronic device
US20230385523A1 (en) Manipulation of handwritten content on an electronic device
US20220365632A1 (en) Interacting with notes user interfaces
CN115698933A (zh) 用于在选择模式之间转变的用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination