[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104115107B - 用于操纵用户界面元件的装置、方法和计算机可读存储介质 - Google Patents

用于操纵用户界面元件的装置、方法和计算机可读存储介质 Download PDF

Info

Publication number
CN104115107B
CN104115107B CN201280055598.3A CN201280055598A CN104115107B CN 104115107 B CN104115107 B CN 104115107B CN 201280055598 A CN201280055598 A CN 201280055598A CN 104115107 B CN104115107 B CN 104115107B
Authority
CN
China
Prior art keywords
user interface
touch event
target user
elements
engagement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055598.3A
Other languages
English (en)
Other versions
CN104115107A (zh
Inventor
M·A·纽曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newman Infinite Inc
Original Assignee
Newman Infinite Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newman Infinite Inc filed Critical Newman Infinite Inc
Publication of CN104115107A publication Critical patent/CN104115107A/zh
Application granted granted Critical
Publication of CN104115107B publication Critical patent/CN104115107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了离合器特征和动臂特征，所述特征在使用触摸敏感部件来构建或以其他方式设计诸如网站、视频游戏、杂志布局等图形显示时能够实现对用户界面元件的操纵。在触摸要被操纵的用户界面元件时，用户界面元件能够被定为操纵目标。响应于离合器用户界面元件被接合，能够启动目标用户界面元件以便用户操纵(例如，着色、旋转、移动等)，同时保护非目标用户元件免于被操纵。动臂是由一些实施例提供的操纵功能的示例，其能够配置为使目标用户界面元件移动一精确量(例如，逐像素地)。

Description

用于操纵用户界面元件的装置、方法和计算机可读存储介质
相关申请的交叉引用
本申请要求享有于2011年9月13日递交的、美国临时专利申请No.61/534,005的权益和优先权。
技术领域
本发明的实施例一般涉及用户界面的图形设计。
背景技术
诸如网站设计应用、视频游戏设计程序、表示/绘图软件和智能手机应用构建工具的软件应用正不断发展，使得能够利用鼠标来创建、移动、定尺寸、定形、着色和/或以其它方式操纵图形对象。随之而来的是开发软件的实际代码编写正在变得越来越不流行，因为现在能够基于所创建的图形布局来自动地编译成软件。
图形软件创建的增长似乎与诸如平板式计算机和智能手机的多触摸设备的普及的增长相关。然而，利用上文提到的这些可视化工具来编写软件的能力通常受限于多触摸设备的精确度缺失(与鼠标或其它指针设备相比)以及当用户触摸显示器时发生的显示器的模糊。因此，图形软件创建经常是更难以完成并且不是总能容易地传输到多触摸设备，并且图形软件创建通常是为传统的计算设备(例如，具有鼠标和键盘)预留，而多触摸设备通常用于消费目的(例如，网上冲浪以及阅读媒体)。通过所运用的努力、智慧和创新，已经鉴别出许多问题，并且通过开发包含在本发明的实施例中的解决方案解决了这些问题，在本文中对本发明实施例的示例进行详细说明。
发明内容
根据一些示例性实施例，本文提供了包括用于操纵在显示屏上呈现的用户界面元件的模块的装置、方法、计算机程序产品和任何其它类型的系统。能够提供一种触摸敏感的显示屏，其构造为：显示目标用户界面元件(例如，待选择以便操纵的用户界面元件)；显示离合器(clutch)用户界面元件(例如，接合目标用户界面元件以便操纵的用户界面元件)；检测选择触摸事件(例如，用户触摸接近目标用户界面元件的显示器)；以及检测接合触摸事件(例如，检测用户触摸接近离合器用户界面元件的显示器)。
在一些实施例中还包括处理器，该处理器配置为：判定在接近所述离合器用户界面元件不存在接合触摸事件的同时接近所述目标用户界面元件已经发生所述选择触摸事件；响应于判定出已经发生所述选择触摸事件来选择所述目标用户界面元件以便操纵；判定所述接合触摸事件何时正在发生；以及当所述接合触摸事件正在发生时，激活与所述目标用户界面元件相关联的操纵功能。
处理器能够进一步配置为：判定所述接合触摸事件何时停止发生；以及将与所述目标用户界面相关联的所述操纵功能去激活。另外地或可选地，处理器能够进一步配置为激活使得能够在不存在接合触摸事件的同时选择用户界面元件的选择功能。在一些实施例中，即使当检测到接合触摸事件时，也能够激活选择功能。
非暂态存储介质和/或其他类型的存储器还能够被包括且配置为响应于判定出已经发生选择触摸事件而存储与目标元件相关联的目标元件标识符。目标元件标识符对于目标元件可以是唯一的。目标元件标识符可随机生成，当每个用户界面元件被创建时分配目标元件标识符，和/或以任何其他适合的方式生成目标元件标识符。
响应于判定出已经开始发生接合触摸事件，依照一些实施例的处理器能够配置为：从存储器取回目标元件标识符；以及将目标用户界面元件与操纵功能相关联。在一些实施例中，响应于判定出已经选择目标用户界面元件以便操纵，处理器进一步配置为显示将目标用户界面标识为已选的可视指示符。
处理器还能够或作为替代地配置为使用户能够以仅当正检测到接合触摸事件时才容许的方式操纵目标用户界面元件。作为另一示例，处理器能够进一步配置为使用户能够以除非检测到接合触摸事件否则就受限制的方式操纵目标用户界面元件。
处理器进一步配置为能够实现动臂功能，其能够使多触摸设备的用户能够精确地(例如，逐像素地)移动用户界面元件。还能够包括具有至其他菜单的各种标签的一个或多个覆盖图(overlay)。除了具有与在正发生接合触摸事件的同时被激活的一个或多个操纵功能相关联的一个或多个可选虚拟按钮之外，覆盖图和/或其他类型的菜单还能够显示出表示正在构建的用户界面的信息，诸如目标或其他用户界面元件和/或光标的位置(像素x-y-z坐标)。
附图说明
已经如此大概描述了本发明，现在将参考附图，附图不一定按比例绘制，并且其中：
图1示出了配置为依照本发明的一些示例性实施例操作的系统的示意性框图；
图2示出了配置为依照本发明的一些示例性实施例在客户端和/或服务器中操作的装置的示意性框图；
图3和图4示出了说明根据本发明的一些示例性实施例的方法中的各步骤的流程图；
图5-7示出了可以通过根据本发明的一些示例性实施例的装置呈现出的示例显示；
图8示出了根据本发明的一些示例性实施例的表示目标显示元件如何可以在显示屏上移动的示例性线性函数；
图9和图10示出了根据本发明的一些示例性实施例的表示目标显示元件如何可以在显示屏上移动的示例性非线性函数；以及
图11-13示出了可以通过根据本发明的一些示例性实施例的装置呈现出的示例显示。
具体实施方式
现在下面将参考附图对本发明进行更全面地说明，其中示出了本发明的优选实施例。然而，本发明可以多种不同形式来具体实施，而不应解释为局限于此处所阐述的实施例。例如，本文所参照的方向和方位包括上、下、右和左；然而，应当理解的是，任何方向和方位的参照仅仅是示例，并且任何特定的方向或方位可取决于所要进行方向或方位参照的特定对象、和/或特定对象的方位。在全文中相似的标记指代相似的元件。
诸如那些用于网站、视频游戏和其他图形界面的图形设计应用变得日益普及。结果，许多的应用开发者更易于通过使用这种图形设计应用来构建图形界面，这与例如编写软件代码不同。
平板式计算机和其他触摸式设备也变得日益普及。然而，由于与触摸式设备相关联的固有特性(例如，不得不触摸正试图构建的显示并且仅选择离散项，这与进行宽泛的扫描姿势不同)，所以利用触摸式设备来设计和构建图形界面相对较难(与传统计算设备相比较)。在解决这些问题中的一些问题时，图1示出了系统10，其可受益于本发明的示例性实施例(本文中所使用的“示例”、“示例性的”等术语是指“用作示例、实例或示范例”)。如图所示，系统包括一个或多个客户端，诸如工作站12，并且可以进一步包括一个或多个服务器，诸如服务器14。一般地，示例性实施例的工作站12和服务器14可以包括(例如，包括和/或具体实施为)一个或多个便携式或固定式电子设备，诸如便携式媒体播放器、智能电话、便携式数字助理(PDA)、平板式计算机、膝上型计算机、台式计算机、服务器计算机等中的一个或多个。在这方面，虽然本文在公开本发明的实施例的一些示例时参考了具有多触摸显示的平板式计算机，但是本文所论述的一些实施例同样可通过其他类型的装置来实现，而不偏离本发明的实质。
工作站12和服务器14可配置为以多种不同方式中的任一种直接地和/或间接地彼此通信，这些方式包括例如多种有线或无线通信或联网技术中的任一种。这些技术的示例包括但不限于：通用串行总线(USB)、射频(RF)、蓝牙(BT)、红外(IrDA)、诸如多种2G、2.5G、3G或4G通信技术中的任一种的多种不同蜂窝(无线)通信技术中的任一种、局域网(LAN)、无线LAN(WLAN)技术、和/或任何其他适合的技术。依照这些技术中的各种技术，客户端和服务器可与一个或多个网络16耦合并且配置为跨越一个或多个网络16通信。网络16可以包括一个或多个不同类型网络(包括数据和/或语音网络)的多种不同组合中的任一种。例如，网络16可以包括一个或多个数据网络，诸如LAN、城域网(MAN)、和/或广域网(WAN)(例如，因特网)，并且包括一个或多个语音网络，诸如公用交换电话网(PSTN)。虽然未示出，但网络16可以包括一个或多个用于在工作站12和服务器14之间中继数据、信息等的装置，例如一个或多个路由器、交换机等。
现在参考图2，该图示出了电路的框图，其中的一些或全部可包括在可配置在作为工作站12和/或服务器14工作或者以其他方式执行工作站12和/或服务器14的一种或多种功能的装置中。虽然在图1中显示为分离的装置，但是在一些实施例中，该装置可以支持与逻辑上分离但是共同位于同一外壳内的工作站12和/或服务器14中的一个或两个相关联的功能。本发明的示例性实施例的装置包括依照本发明的示例性实施例用于执行一种或多种功能的各种模块，包括尤其在本文图示和描述的那些模块。然而，应当理解的是，装置中的任一个或两个可以包括用于执行一种或多种类似功能的可选模块，而不偏离本发明的精神和范围。
如图2所示，装置可以包括与存储器20连接的处理器18。依照一些示例性实施例，电路可以包括各种器件，诸如处理器18、存储器20、通信模块24和/或输入/输出模块28。在一些实施例中，诸如当电路包括在使用触摸敏感界面部件的平板设备和/或其他设备中时。如本文所提到的，“模块”包括配置为执行一种或多种特定功能的硬件、软件和/或固件。在这方面，如本文所描述的电路的器件可具体实施为例如电路、硬件元件(例如，适当编程的处理器、组合逻辑电路和/或类似器件)、包括存储在非暂态计算机可读介质(例如，存储器20)中的、能够由适当配置的处理设备(例如，处理器18)执行的计算机可读程序指令的计算机程序产品、或其某种组合。
处理器18可以例如具体实施为各种器件，包括附带数字信号处理器的一个或多个微处理器、未附带数字信号处理器的一个或多个处理器、一个或多个协处理器、一个或多个多核处理器、一个或多个控制器、处理电路、一台或多台计算机、包括例如ASIC(专用集成电路)或FPGA(现场可编程门阵列)的集成电路的其他各种处理元件、或其某种组合。因此，虽然图2中图示为单个处理器，但在一些实施例中，处理器18包括多个处理器。多个处理器可以具体实施在单个计算设备上，或者可以分布在统一配置为充当电路的多个计算设备上。多个处理器可以彼此可操作通信，并且可以统一地配置为执行如本文所描述的电路的一种或多种功能。在示例性实施例中，处理器18配置为执行存储在存储器20中或以其他方式可由处理器18存取的指令。当由处理器18执行时，这些指令可以使电路执行如本文所描述的电路的一种或多种功能。
无论是通过硬件、固件/软件方法还是提供其组合配置而成，处理器18可以包括能够在相应配置的同时执行根据本发明的实施例的操作的实体。因此，例如，当处理器18具体实施为ASIC、FPGA等时，处理器18可以包括用于进行本文所描述的一种或多种操作的专门配置的硬件。可替代地，作为另一示例，当处理器18具体实施为指令的执行器时，例如可以存储在存储器20中，指令可专门配置处理器18以执行本文所描述的一种或多种算法和操作，诸如结合图3和图4论述的那些。
存储器20可以包括例如易失性存储器、非易失性存储器或其某种组合。虽然在图2中图示为单个存储器，但存储器20可以包括多个存储器部件。多个存储器部件可以具体实施在单个计算设备上或者分布在多个计算设备上。在各个实施例中，存储器20可以包括例如硬盘、随机存取存储器、超高速缓冲存储器、闪存、压缩盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)、光盘、配置为存储信息的电路、或其某种组合。存储器20可配置为存储用于使电路能够实施依照本发明的示例性实施例的各种功能的信息、数据、应用、指令或类似物。例如，在至少一些实施例中，存储器20配置为缓冲由处理器18处理的输入数据。另外地或者可替代地，在至少一些实施例中，存储器20配置为存储由处理器18执行的程序指令。存储器20可以存储静态和/或动态信息形式的信息。该存储的信息可以通过电路在执行其功能的过程中进行存储和/或使用。
通信模块24可以具体实施为以电路、硬件、包括存储在计算机可读介质(例如，存储器20)上且由处理设备(例如，处理器18)执行的计算机可读程序指令的计算机程序产品、或配置为接收来自另一设备电路的数据和/或发送数据到另一设备电路的它们的组合来具体实施的任何设备或器件。在一些实施例中，通信模块24(类似于本文所论述的其他部件)能够至少部分地具体实施为处理器18或以其他方式由处理器18控制。在这方面，通信模块24可以例如经由总线与处理器18通信。通信模块24可以包括例如天线、发送器、接收器、收发器、网络界面卡和/或用于使能与另一计算设备进行通信的支持硬件和/或固件/软件。通信模块24可配置为利用可用于在计算设备之间通信的任何协议来接收和/或发送任何可由存储器20存储的数据。因此，一些或全部的存储器20可以距处理器18远程定位，诸如在网络驱动器上，从而使得能够实现基于云的功能。通信模块24可另外地或可替代地经由例如总线与存储器20、输入/输出模块28和/或电路的任何其他部件通信。
输入/输出模块28可以与处理器18通信，以接收用户输入的指示和/或向用户提供可听、可视、机械的或其他的输出。参考图5-7和图11-13论述可通过电路提供给用户的一些示例的可视输出。因此，输入/输出模块28可以包括例如对于键盘、鼠标、操纵杆、触摸敏感部件、麦克风、扬声器、RFID读取器、条形码读取器、生物计量扫描仪和/或其他的输入/输出机构的支持。输入/输出模块28可以包括显示器26和/或例如经由总线与存储器20、通信模块24和/或任何其他部件通信。虽然多于一个的输入/输出模块和/或其他部件可以包含于电路中，但是图2中仅示出了一个以免图过于复杂(类似于本文论述的其他部件)。
如上所述，存储器20可以存储呈诸如软件22的一个或多个软件应用、模块等形式的指令，所述指令配置处理器18以执行与依照本发明的实施例的装置的操作相关联的步骤。在此提供这种功能的两个示例，其涉及操纵一个或多个用户界面元件，在本文不限制地称为“离合器(Clutch)”和“动臂(Boom)”。例如，软件22可使处理器18配置为用作提供如下文所论述的离合器模块18A和动臂模块18B等的专门化功能的专用机器。在一些实施例中并且不同于本文论述的装置的其他功能，离合器模块18A和/或动臂模块18B能够配置为对于所有操作系统不可知，具有通用应用兼容性。可以包括的其他软件应用和/或功能的示例是一个或多个网络浏览器、产率应用、游戏应用、实用器具等，如下文论述。
存储器20还可以存储从装置发送的内容和/或由装置接收到的内容。如本文所描述的，软件应用可各自包括由装置操作的软件。然而，应当理解的是，本文所描述的软件应用中的任意一个或多个可替代地由固件、硬件、或者软件、固件和/或硬件的任意组合来实现，而不偏离本发明的精神和范围。
除了存储器20之外，处理器18还可以诸如遵照USB、RF、BT、IrDA、WLAN、LAN、MAN、WAN(例如，因特网)、PSTN技术等，与用于显示、发送和/或接收数据、内容等的至少一个界面或其他器件连接。在这点上，界面可以包括至少一个通信界面24或者用于发送和/或接收数据、内容等的其他器件。除了通信界面之外，界面还可以包括至少一个用户界面，所述用户界面可包括一个或多个耳机和/或扬声器、显示器26、和/或用户输入界面28。反过来，用户输入界面可以包括多个允许装置从用户接收数据的部件和/或设备中的任一个，诸如麦克风、键区、触摸敏感表面(与显示器集成或与显示器分离)、操纵杆、或其他输入设备。在一些实施例中，离合器模块18A和/或动臂模块18B能够优化和/或以其他方式配置为使能实现经由多触摸输入界面与图形对象的更高效和精确的用户交互和/或控制图形对象。
如上所述，装置可以存储处理器18所执行的软件应用，以充当专用计算机并且执行与依照本发明的实施例的装置的操作相关联的专门化步骤，并且提供了两个这种专门化功能的示例，即离合器和动臂，用于使处理器18配置为创建一个或多个用户界面元件的专用机器。图3和图4是示出依照本发明的示例性实施例的离合器模块18A和动臂18B的前端(例如，用户界面交互)和后端(例如，装置)的操作的流程图。图5-11是可由实现离合器模块18A和动臂模块18B的装置所呈现的示例显示，包括用于各模块的用户界面元件的呈现。如图所示且如本文所描述的，在离合器模块18A的操作期间呈现的用户界面元件可称为离合器用户界面(UI)元件、离合器元件或简称为离合器。类似地，在动臂模块18B的操作期间呈现的用户界面元件可称为动臂用户界面(UI)元件、动臂元件或简称为动臂。
如图所示，离合器是用于接合和脱离计算环境的另一软件应用(例如，网络浏览器)内的程序功能的专属机构，并且尤其可用于触摸界面环境。例如，在一些实施例中，离合器能够配置装置以提供用于接合和脱离触摸界面环境的浏览器和/或其他应用内的程序功能的机构。通过在应用(应用程序)而不是操作系统内起作用，离合器可以对于所有操作系统不可知，具有通用应用兼容性。参考图3和图5，通过经由适合的离合器UI元件30接合离合器，用户能够采用、控制和操纵应用内的多种功能，在步骤S302中，用户(和/或任何其他适合的服务提供商)将功能分配给离合器。
例如，如图5所示，可以在步骤S304中通过单次轻敲和/或通过用户将手指保持在显示屏上接近离合器UI元件30来选择使在装置上操作的应用的UI元件32与离合器接合，如图6、图7和图13所示。UI元件32可以是任意类型的能够被操纵和/或由触摸敏感显示器显示的设计元件。虽然在图5-7、图12和图13中仅显示了单个UI元件，但是离合器能够允许用户在用于操纵的应用的不同元件之间切换或以其他方式指示和选择(例如，突出显示)用于操纵的应用的不同元件。多种功能(诸如那些涉及例如移动、着色、加粗、分组、以其他方式编辑/格式化等的功能)可用来操纵UI元件32，同时在离合器接合且用户元件已选的应用中工作。
在步骤S306中，UI元件32的元件标识符(“ID”)能够存储到存储器，例如响应于装置检测到触摸事件在正显示UI元件32近处。如本文所提到的，“触摸事件”在UI元件“近处”包括在触摸敏感显示器上的任何适合的触摸(例如通过用户的手指、定位笔等)，使得装置的操作系统和/或其他系统配置使装置确定用户已经“选择”由显示屏呈现的虚拟按钮。在这点上，响应于UI元件32被选择，可呈现出UI元件32的可视化指示被选择。例如，能够在用户和/或系统选择UI元件32之后提供图6所示的指示符602。
在步骤S308中，用户可以触摸被指定和/或与本文所论述的离合器功能相关联的屏幕区域和/或至少一个屏幕上按钮，诸如离合器UI元件30。离合器模块18A可对系统判定出已经通过将元件ID定位在存储器(例如，存储器20)中而选择离合器UI元件30做出应答。
在步骤S310中，能够将功能分配给已选的UI元件32。例如，在选择了离合器UI元件30的同时，能够将移动功能、着色功能、和/或任何其他可操纵功能分配给UI元件32。在一些实施例中，各种可操纵功能能够与可以呈现为调色板、色带和/或任何其他适合格式的一个或多个菜单相关联，图11-13中示出了这些格式的一些示例。分配给UI元件32的功能能够由用户选择(例如，通过触摸在所显示的调色板覆盖图中所包含的可操纵功能)，和/或通过系统自动选择，并且可以在UI元件32的元件ID存储在存储器中之前或之后确定，和/或在离合器UI元件30由用户选择之前/之后确定。
在步骤S312中，已选的UI元件32随后可以展现出所分配的功能(例如，改变颜色、可移动、可旋转等)。在一些实施例中，可操纵功能响应于进一步的用户交互而被激活。例如，用户可以在屏幕上拖动另一手指的同时触摸离合器UI元件30，从而使UI元件32在屏幕上移动。
当用户释放离合器(例如，停止触摸触摸屏上接近离合器UI元件30的部分)时，在步骤S314中，装置能够配置为脱离与UI元件32相关联的操纵功能。因此，如果用户在屏幕上拖动手指，则UI元件32不会像选择了离合器UI元件30的时候那样在屏幕上移动。在一些实施例中，当脱离离合器UI元件30时可以不以任何方式操纵UI元件32，并且在一些实施例中，可以除了当离合器UI元件30接合时如何可操纵的方式之外的方式来操纵UI元件32。在这方面，离合器UI元件30能够充当用于可操纵功能的激活开关和/或充当可用的可操纵功能之间的拨钮开关。
在一些实施例中，在离合器正在运行的同时所操作的应用还会影响通过使离合器UI元件30接合/脱离所使能和/或禁止的可操纵功能。例如，网络浏览器可具有与离合器UI元件30相关联的第一组可操纵功能，而视频游戏或应用设计应用可具有与离合器UI元件30相关联的第二组可操纵功能。
返回图3的处理，在S316中，所分配的功能可以终止且从已选UI元件32中去除，从而使UI元件30脱离操纵或另外地具有在装置检测到触摸事件的情况下(例如，用户触摸在触摸敏感屏上的各位置)将会导致的有限的可操纵功能。
通过在应用中而不是在操作系统内操作，动臂能够将增补功能添加到装置的本地操作系统，和/或通过创建可便于应用元件在触摸屏环境内的精确关节式运动(例如，逐像素地)的独立辅助用户界面元件34来增加其他功能。当在两维环境中运行时，动臂可允许应用UI元件32在x轴和/或y轴上的关节式运动(移动)；并且当在三维环境中运行时，动臂功能可进一步允许UI元件在z轴上的关节式运动。
在操作中，参考图4和图5，在步骤S402中，用户可以选定目标并且触摸屏幕以选择应用UI元件，诸如UI元件32，以与动臂UI元件34接合且由动臂UI元件34操纵。类似于上文关于离合器的论述，在步骤S404中UI元件32的元件ID作为目标元件标识符被存储到存储器中。
在步骤S406中，可通过用户触摸和/或接近动臂UI元件34的一个或多个部件的显示来施加任何其他类型的触摸事件而选择动臂UI元件34。处理器随后可配置为将元件ID定位在存储器中，并且将关节式运动功能分配给所选UI元件32。在步骤S408中，用户可以接合动臂UI元件34(例如，触摸方向指示符)以使所选UI元件32在x轴、y轴和/或z轴上做关节式运动。
如图6和图7所示，离合器UI元件30还必须接合以便使能动臂功能。当装置检测到在离合器UI30处的接合触摸事件并且动臂UI元件34的一部分也接近第二触摸事件时，所选UI元件32可以与所选的动臂UI元件34的该部分相关的方式在y轴上向下和/或向上移动(分别如图6和图7中所示)。应当理解的是，所选的UI元件32不限于如图6和图7所示的在y轴上移动，其还可以在x轴和/或z轴上移动。
目标在于移动的所选元件还可以线性和/或非线性地加速，这取决于例如装置的配置、UI元件正在其上移动的一个/多个轴、和/或基于任何其他原因。例如，可以存在可由系统施加的多个加速功能。当实现较高的速度变化时，目标UI元件32能够根据需要在屏幕上行进，诸如以非线性的、基于加速度的函数。图8示出了示例性的线性函数x+1，而图9和图10分别示出了示例性的非线性函数，分别为x0.5和x3。这些函数可应用于当使用动臂时目标UI元件如何在屏幕上移动。例如，动臂功能可以是线性和/或非线性特征。如果是非线性的，则用户触摸动臂按钮时间越长，目标对象在屏幕上移动的越快。在这些实例中，通过使用定时器能够实现时间敏感功能，例如，一旦离合器接合，则启动定时器。精确的硬件优化定时器能够通过如下创建：从处理器取回压下/接合“离合器”的时间(例如，以毫秒计)并且将该值存储到存储器中的全局变量中，以及取回当前时间并且在一定间隔内存储到局部变量中。每当激活间隔时，能够从当前时间减去起始时间以得到自“离合器”已接合起已经经过的总时间量。当动臂被激活时(离合器接合或者不接合)，能够实现相似和/或相同的功能。
移动函数(例如，“线性”对“加速”)还可以或者另外地取决于手指与触摸屏之间的触摸区域，以将施加到动臂UI元件34上的力与所选UI元件32的加速相关联。例如，由于施加到动臂UI元件34上的较大的力引起的手指与触摸屏之间的较大的触摸区域会使得处理器比当对动臂UI元件34施加较小力(通过引起触摸事件的手指的表面积来测量)时更快地移动所选UI元件32。一旦元件到达其最终位置，则在步骤S410中用户可释放动臂UI元件34，并且可以在步骤S412中从所选元件去除方向功能。
图11-13示出了可以根据本发明的一些实施例呈现的附加的用户界面显示。为了创建图形用户界面，用户可能需要采用、控制和/或操纵多个用户界面元件中的单个用户界面元件的多种功能。虽然到目前为止上文讨论了单个用户界面元件，但是当设计网页、视频游戏、杂志布局、连载漫画和/或任何其他类型的图形显示时，可存在多个UI元件，诸如UI元件32和UI元件32B。然而，仅需要操纵一个UI元件。例如，用户可能想要将UI元件32定为填充颜色的目标。其他的示例操纵包括实现梯度颜色、实现外观上的层模糊或鲜明、使得所选区域变暗或变亮、或者在显示屏四处移动所选区域或所选层。
例如，如图11所示，用户可能期望利用在线设计应用1102来构建网页。在空白背景内，用户可以创建一个或多个UI元件。然后，用户可能期望为UI元件32填充颜色。用户可能首先通过接近颜色选项1104触摸而从显示在屏幕上覆盖图中的颜色调色板来选择颜色。通过选择颜色选项1104且随后触摸UI元件32，如果离合器UI元件30接合，则UI元件32被标识为目标用户界面元件。在选定UI元件32为目标时，如上文所述，UI元件32的元件标识符可以存储到存储器中。然后，用户可以选择离合器UI元件30，从而隔离和接合UI元件32以便操纵。在离合器UI元件30接合的同时触摸UI元件32时，装置可使得UI元件32被用与选项1104相关联的颜色着色。如果用户随后选择UI元件32B而不脱离离合器UI元件30，则UI元件32B将保持原样而不被操纵，因为离合器UI元件30的接合会使得操纵功能与目标UI元件隔离，从而当利用多触摸显示设备来构建或以其他方式设计图形显示时避免不期望的操纵。
用户还可能期望在所选的、目标UI元件32已经着灰色之后将其放大以使其覆盖(并隐藏)UI元件32B，如图12所示。作为另一示例，如图13所示，其中不包括UI元件32B，在离合器UI元件30接合的同时，用户可以使用手指来自由地在网页设计应用1102内四处移动UI元件32，而不使用动臂UI元件34。例如，UI元件32可以在离合器UI元件30接合的同时跟踪用户手指的移动，并且UI元件32被定为操纵目标。在一些实施例中，如图12所示，可以提供目标UI元件的精确像素位置。例如，能够提供x坐标1106和y坐标1108以使用户能够在构建图形用户界面时获知坐标参考点。当利用动臂来获得目标UI元件的精确位置时，也可以使用x坐标1106和y坐标1108，虽然有时会存在与多触摸显示部件的精确度公差相关联的困难。
在不通过离合器功能来将特定UI元件接合和脱离的情况下，存在UI元件中的一些或全部将具有用于诸如“触摸移动”的特定触摸事件的事件收听者分配功能的风险，在该情况下用户可能无意地移动UI元件。一旦离合器已经接合，离合器就向元件提供用于为事件收听者单独分配功能的机制。虽然本文中按照离合器接合有关的规则论述了一些实施例，但在其他实施例中，离合器功能能够配置在装置上，使得离合器功能对于元件和离合器功能接合的规则不可知。
根据本文所论述的本发明的一些实施例，虽然上文所示出的示例和显示涉及包括在与用于构建图形用户界面的显示相同的显示中的离合器UI元件30和/或其他UI元件，但是在一些实施例(未示出)中，可以使用一个或多个其他用户输入部件，诸如充当离合器启动器的外部跟踪板(与UI元件30相对或者作为UI元件30的附加)。同样，本文所论述的一个或多个其他特征可以任何适合的方式实现，而不偏离本发明的精神。此外，如上所述，图3和图4是反映根据本发明的示例性实施例的方法、系统和计算机程序的流程图。将理解的是，流程图中的每个块或步骤以及流程图中块的组合可通过各种方式来实现，诸如硬件、固件和/或包括一个或多个计算机程序指令的软件。将理解的是，任何这样的计算机程序指令可装载到计算机上或其他可编程装置上以制成机器，从而在计算机或其他可编程装置(例如，硬件)上执行的指令产生用于实现流程图的块或步骤中所指定的功能的手段。这些计算机程序指令还可以存储在计算机可读存储器中，计算机可读存储器可以引导计算机或其他可编程装置以特定方式运行，使得存储在计算机可读存储器中的指令制成包括实现流程图的块或步骤中指定的功能的指令模块的制造品。计算机程序指令还可装载到计算机或其他可编程装置上，以使得在计算机或其他可编程装置上执行一系列操作步骤来生成计算机实现处理，从而在计算机或其他可编程装置上执行的指令提供用于实现流程图的块或步骤中所指定的功能的步骤。
因此，流程图的块或步骤支持用于实现指定功能的方式的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的程序指令手段。还将理解的是，流程图的一个或多个块或步骤以及流程图中块或步骤的组合可通过执行指定功能或步骤的基于硬件的专用计算机系统、或专用硬件和计算机指令的组合来实现。
在受益于前面的说明书和相关附图中所提供的教导之后，本文所阐述的发明的许多变型例和其他实施例是本发明所属领域技术人员容易想到的。例如，虽然上述许多示例主要涉及使用多触摸设备来通过操纵可视化的、屏幕上的对象创建内容(例如，设计网页、构建视频游戏、对演示稿布局等)，但是相似功能可以用于与使用例如多触摸设备的内容交互和/或以其他方式消耗使用例如多触摸设备的内容。例如，可以利用离合器UI元件30和/或动臂UI元件34来玩视频游戏。例如，在第一人射击游戏中，离合器UI元件30能够用作触发按钮，并且动臂UI元件34用作人物和/或视场运动控制。定时功能(例如，用户触摸屏幕的某区域多长时间)、压力敏感功能(例如，基于所触摸的屏幕表面区域用户按压有多难)、和/或加速功能(例如基于如结合图9和图10所论述的触摸事件多久发生和/或多难发生来应用加速)也能够应用于视频游戏环境。例如，用户触摸触发按钮(例如，离合器UI元件30)越长时间和/或越难，则人物的枪械将发射得越快。作为另一示例，离合器UI元件30可以充当赛车和/或其他类型驾驶游戏中的节气阀，并且用户触摸离合器UI元件30越长时间和/或越难，则车辆将加速得越快，并且动臂UI元件34能够用于使车辆(例如，飞机、轮船、汽车、摩托车等)转向。作为又一示例，离合器UI元件30和动臂UI元件34能够用于城市模拟游戏、智力游戏、和/或任何其他类型的游戏来导航(例如，使用动臂)并且选择以用于操纵(例如，使用离合器)过多的所显示的可选对象。此外，由于本文所论述的实施例的不可知配置，离合器和动臂功能能够使用户能够利用本地应用(例如，网络浏览器、能够查看基于网络内容的其他类型的软件等)来与基于网络的游戏交互。例如，通过服务器14在网络16上提供视频游戏，并且工作站12能够配置为仅通过多触摸设备来玩视频游戏，而无需下载任何游戏专属软件或者利用任何附加的用户界面部件(例如，操纵杆、蓝牙鼠标等)。
因此，应当理解的是，本发明不限于所公开的具体实施例，变型例和其他实施例也应包含在随附权利要求的范围内。虽然在本文采用了特定术语，但是它们仅用于一般性的和描述性的含义，而不是为了限制的目的。

Claims (24)

1.一种操纵在显示屏上呈现的用户界面元件的方法，所述方法包括：
在触摸敏感显示屏上显示目标用户界面元件；
显示离合器用户界面元件；
判定在接近所述离合器用户界面元件不存在接合触摸事件的同时接近所述目标用户界面元件已经发生选择触摸事件；
响应于判定出已经发生所述选择触摸事件，来选择所述目标用户界面元件以便操纵；
判定所述接合触摸事件何时正在发生；以及
当所述接合触摸事件正在发生时，通过处理器激活与所述目标用户界面元件相关联的操纵功能，
其中，选择所述目标用户界面元件以便操纵包括：响应于判定出已经发生所述选择触摸事件，而将与所述目标元件相关联的目标元件标识符存储在存储器中；
并且其中，响应于判定出已经开始发生所述接合触摸事件：从存储器中取回所述目标元件标识符；以及将所述目标用户界面元件与所述操纵功能相关联。
2.如权利要求1所述的方法，还包括：
判定所述接合触摸事件何时停止发生；以及
将与所述目标用户界面相关联的所述操纵功能去激活。
3.如权利要求2所述的方法，还包括：激活使得能够在不存在所述接合触摸事件的同时选择用户界面元件的选择功能。
4.如权利要求1所述的方法，还包括：响应于判定出已经选择所述目标用户界面元件以便操纵，显示将所述目标用户界面标识为已选的可视指示符。
5.如权利要求1所述的方法，其中激活所述操纵功能使用户能够以仅当正检测到所述接合触摸事件时才容许的方式来操纵所述目标用户界面元件。
6.如权利要求1所述的方法，其中激活所述操纵功能使用户能够以除非检测到所述接合触摸事件否则就受限制的方式来操纵所述目标用户界面元件。
7.如权利要求1所述的方法，其中激活所述操纵功能能够实现所述目标用户界面元件在所述显示屏上的精确运动的动臂功能以及显示与所述目标用户界面元件的位置相关联的x和y像素位置。
8.如权利要求1所述的方法，还包括显示覆盖图，该覆盖图包括与在所述接合触摸事件正在发生的同时被激活的一个或多个操纵功能相关联的多个可选虚拟按钮。
9.一种配置为操纵在显示屏上呈现的用户界面元件的装置，所述装置包括：
触摸敏感显示屏，其配置用于：
显示目标用户界面元件；
显示离合器用户界面元件；
检测选择触摸事件；以及
检测接合触摸事件；以及
处理器，其配置用于：
判定在接近所述离合器用户界面元件不存在接合触摸事件的同时接近所述目标用户界面元件已经发生所述选择触摸事件；
响应于判定出已经发生所述选择触摸事件来选择所述目标用户界面元件以便操纵；
判定所述接合触摸事件何时正在发生；以及
当所述接合触摸事件正在发生时，激活与所述目标用户界面元件相关联的操纵功能，
其中，选择所述目标用户界面元件以便操纵包括：响应于判定出已经发生所述选择触摸事件，而将与所述目标元件相关联的目标元件标识符存储在存储器中；
并且其中，响应于判定出已经开始发生所述接合触摸事件：从存储器中取回所述目标元件标识符；以及将所述目标用户界面元件与所述操纵功能相关联。
10.如权利要求9所述的装置，其中所述处理器还配置用于：
判定所述接合触摸事件何时停止发生；以及
将与所述目标用户界面相关联的所述操纵功能去激活。
11.如权利要求10所述的装置，其中所述处理器还配置用于：激活使得能够在不存在所述接合触摸事件的同时选择用户界面元件的选择功能。
12.如权利要求9所述的装置，其中，响应于判定出已经选择所述目标用户界面元件以便操纵，所述处理器还配置用于使得显示将所述目标用户界面标识为已选的可视指示符。
13.如权利要求9所述的装置，其中所述处理器还配置用于：使用户能够以仅当正检测到所述接合触摸事件时才容许的方式来操纵所述目标用户界面元件。
14.如权利要求9所述的装置，其中所述处理器还配置用于：使用户能够以除非检测到所述接合触摸事件否则就受限制的方式来操纵所述目标用户界面元件。
15.如权利要求9所述的装置，其中所述处理器还配置用于支持动臂功能。
16.如权利要求9所述的装置，其中所述处理器还配置用于促进显示覆盖图，该覆盖图包括与在所述接合触摸事件正在发生的同时被激活的一个或多个操纵功能相关联的多个可选虚拟按钮。
17.一种其中存储有计算机可执行程序代码部分的计算机可读存储介质，所述计算机可执行程序代码部分包括用于以下操作的程序代码指令：
在触摸敏感显示屏上显示目标用户界面元件；
显示离合器用户界面元件；
判定在接近所述离合器用户界面元件不存在接合触摸事件的同时接近所述目标用户界面元件已经发生选择触摸事件；
响应于判定出已经发生所述选择触摸事件，来选择所述目标用户界面元件以便操纵；
判定所述接合触摸事件何时正在发生；以及
当所述接合触摸事件正在发生时，通过处理器激活与所述目标用户界面元件相关联的操纵功能，
其中，选择所述目标用户界面元件以便操纵包括：响应于判定出已经发生所述选择触摸事件，而将与所述目标元件相关联的目标元件标识符存储在存储器中；
并且其中，响应于判定出已经开始发生所述接合触摸事件：从存储器中取回所述目标元件标识符；以及将所述目标用户界面元件与所述操纵功能相关联。
18.如权利要求17所述的计算机可读存储介质，还包括用于以下操作的指令：
判定所述接合触摸事件何时停止发生；以及
将与所述目标用户界面相关联的所述操纵功能去激活。
19.如权利要求18所述的计算机可读存储介质，还包括用于以下操作的指令：激活使得能够在不存在所述接合触摸事件的同时选择用户界面元件的选择功能。
20.如权利要求17所述的计算机可读存储介质，还包括：响应于判定出已选择所述目标用户界面元件以便操纵而用于显示将所述目标用户界面标识为已选的可视指示符的指令。
21.如权利要求17所述的计算机可读存储介质，其中用于激活所述操纵功能的指令使用户能够以仅当正检测到所述接合触摸事件时才容许的方式来操纵所述目标用户界面元件。
22.如权利要求17所述的计算机可读存储介质，其中，用于激活所述操纵功能的指令使用户能够以除非检测到所述接合触摸事件否则就受限制的方式来操纵所述目标用户界面元件。
23.如权利要求17所述的计算机可读存储介质，其中，用于激活所述操纵功能的指令能够实现所述目标用户界面元件在所述显示屏上精确运动的动臂功能。
24.如权利要求17所述的计算机可读存储介质，还包括用于以下操作的指令：显示覆盖图，该覆盖图包括与在所述接合触摸事件正在发生的同时被激活的一个或多个操纵功能相关联的多个可选虚拟按钮。
CN201280055598.3A 2011-09-13 2012-09-13 用于操纵用户界面元件的装置、方法和计算机可读存储介质 Active CN104115107B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161534005P 2011-09-13 2011-09-13
US61/534,005 2011-09-13
PCT/US2012/055249 WO2013040270A1 (en) 2011-09-13 2012-09-13 Apparatus, method and computer-readable storage medium for manipulating a user interface element

Publications (2)

Publication Number Publication Date
CN104115107A CN104115107A (zh) 2014-10-22
CN104115107B true CN104115107B (zh) 2018-01-09

Family

ID=47883746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055598.3A Active CN104115107B (zh) 2011-09-13 2012-09-13 用于操纵用户界面元件的装置、方法和计算机可读存储介质

Country Status (5)

Country Link
US (4) US11262892B2 (zh)
EP (1) EP2756379A1 (zh)
JP (1) JP2014530417A (zh)
CN (1) CN104115107B (zh)
WO (1) WO2013040270A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474358B2 (en) * 2016-02-29 2019-11-12 Google Llc Computing devices having dynamically configurable user input devices, and methods of operating the same
WO2017183821A1 (ko) * 2016-04-21 2017-10-26 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치
TWI670639B (zh) 2017-05-18 2019-09-01 美商愛特梅爾公司 用於識別使用者介面元件之技術以及使用其之系統及裝置
CN112569601B (zh) * 2019-09-30 2024-03-22 超级魔方(北京)科技有限公司 一种游戏中模型组件的拼接方法、装置及电子设备
CN114647351B (zh) * 2020-12-25 2023-03-03 华为技术有限公司 一种界面元素显示方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1129889A (zh) * 1994-07-25 1996-08-28 国际商业机器公司 在个人通讯设备的显示屏幕上标记文本的装置和方法
CN101052939A (zh) * 2004-07-30 2007-10-10 苹果电脑有限公司 用于触敏输入设备的基于模式的图形用户接口

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19741453A1 (de) * 1997-09-19 1999-03-25 Packing Gmbh Agentur Fuer Desi Digitales Buch
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7730401B2 (en) * 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US7345671B2 (en) * 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
JP4786257B2 (ja) * 2005-08-31 2011-10-05 ニスカ株式会社 画像編集用グラフィカルユーザインターフェース、画像編集用プログラム及び画像編集方法、並びに、カード発行システム
KR100877829B1 (ko) * 2006-03-21 2009-01-12 엘지전자 주식회사 스크롤링 기능을 갖는 단말기 및 그 스크롤링 방법
JP2007304666A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc 情報出力システム及び情報出力方法
JP5119763B2 (ja) * 2007-06-25 2013-01-16 日本電気株式会社 タッチパネルを備えた情報機器、それに使用されるアイコン選択方法及びプログラム
US10007340B2 (en) * 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8253705B2 (en) * 2009-05-08 2012-08-28 Research In Motion Limited Target zones for menu items on a touch-sensitive display
US8352884B2 (en) * 2009-05-21 2013-01-08 Sony Computer Entertainment Inc. Dynamic reconfiguration of GUI display decomposition based on predictive model
US8473862B1 (en) * 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US9348364B2 (en) * 2011-09-09 2016-05-24 Facebook, Inc. Content scrolling and transitioning using touchpad input
US20130093690A1 (en) * 2011-10-17 2013-04-18 Matthew Nicholas Papakipos Multi-Action Game Controller with Touch Screen Input Device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1129889A (zh) * 1994-07-25 1996-08-28 国际商业机器公司 在个人通讯设备的显示屏幕上标记文本的装置和方法
CN101052939A (zh) * 2004-07-30 2007-10-10 苹果电脑有限公司 用于触敏输入设备的基于模式的图形用户接口

Also Published As

Publication number Publication date
EP2756379A1 (en) 2014-07-23
US20220137760A1 (en) 2022-05-05
US20140344741A1 (en) 2014-11-20
US20230280889A1 (en) 2023-09-07
CN104115107A (zh) 2014-10-22
US12131010B2 (en) 2024-10-29
US20220137762A1 (en) 2022-05-05
WO2013040270A1 (en) 2013-03-21
JP2014530417A (ja) 2014-11-17
US11262892B2 (en) 2022-03-01
US11650721B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
CN104115107B (zh) 用于操纵用户界面元件的装置、方法和计算机可读存储介质
EP2666075B1 (en) Light-based finger gesture user interface
EP2406705B1 (en) System and method for using textures in graphical user interface widgets
JP3797977B2 (ja) 文字入力装置、文字入力方法及び文字入力プログラム
EP4038472A1 (en) Moving applications on multi-screen computing device
CN106843715A (zh) 用于远程化的应用的触摸支持
CN104081326A (zh) 用于显示终端中的页面的方法和设备
US20170315721A1 (en) Remote touchscreen interface for virtual reality, augmented reality and mixed reality devices
CN102591497A (zh) 一种触控屏幕上的鼠标模拟系统及方法
US20100162178A1 (en) Apparatus, method, computer program and user interface for enabling user input
CN105302341B (zh) 电子系统、触控笔以及电子装置与触控笔之间的数据传输方法
CN105074644A (zh) 信息处理终端、屏幕控制方法以及屏幕控制程序
CN108744527B (zh) 游戏中虚拟载具的控制方法、装置和计算机可读存储介质
EP3908907B1 (en) Techniques for multi-finger typing in mixed-reality
KR20140084066A (ko) 간접 터치 입력 장치를 위한 압력 기반 상호작용 기법
EP2520076A1 (en) An apparatus, method, computer program and user interface
CN101833421A (zh) 电子装置及获取用户操作的方法
EP3582080A1 (en) Systems and methods for integrating haptics overlay in augmented reality
CN106020625A (zh) 交互系统及其控制车辆应用的方法
CN103870131A (zh) 一种控制电子设备的方法及电子设备
CN104583919A (zh) 信息处理设备、信息处理方法、程序以及信息存储介质
KR101482701B1 (ko) 제스처 인터랙션 디자인 장치 및 제스처 인터랙션 디자인 시스템
KR20240122181A (ko) 리소스 지향 프로그램을 시각적으로 모델링, 디버깅 및 실행하는 대화형 디자인 환경
Zacharia et al. Virtual Interactive Prototyping
GB2452869A (en) Controlling a User Interface by Different Modes of Operation of a Cursor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant