[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

ES2657948T3 - Acción contextual basada en oculómetro - Google Patents

Acción contextual basada en oculómetro Download PDF

Info

Publication number
ES2657948T3
ES2657948T3 ES11707356.9T ES11707356T ES2657948T3 ES 2657948 T3 ES2657948 T3 ES 2657948T3 ES 11707356 T ES11707356 T ES 11707356T ES 2657948 T3 ES2657948 T3 ES 2657948T3
Authority
ES
Spain
Prior art keywords
user
input
screen
interest
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11707356.9T
Other languages
English (en)
Inventor
Aron Yu
John Mikael Holtz Elvesjö
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2657948T3 publication Critical patent/ES2657948T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Un método para la manipulación de objetos o partes de objetos y la realización de acciones contextuales relacionadas con los objetos presentados en una pantalla de un dispositivo informático asociado a un sistema de seguimiento ocular, comprendiendo dicho método: i) configurar las condiciones de observación predeterminadas incluyendo seleccionar qué condiciones de observación deben cumplirse para dar lugar a una acción contextual específica; ii) mostrar objetos en dicha pantalla de dicho dispositivo informático; iii) proporcionar una señal de datos de seguimiento ocular que describe el punto de observación de un usuario en la pantalla y/o con relación a dicha pantalla; iv) recibir la entrada de activación, en donde dicha entrada de activación es una entrada sin señal de seguimiento ocular; v) identificar un objeto o una parte del objeto al que dicho usuario está observando utilizando dicho punto de observación; vi) determinar que dicho objeto o parte del objeto es un objeto o parte del objeto de interés, si las condiciones de observación actuales cumplen dichas condiciones de observación predeterminadas; vii) determinar una acción contextual específica basándose en la entrada de activación recibida, el objeto o parte del objeto de interés determinado y dichas condiciones de observación actuales, y viii) ejecutar dicha acción contextual específica.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Acción contextual basada en oculómetro Campo de la invención
La invención se refiere por lo general a sistemas y métodos para la utilización de la detección de los movimientos del ojo en relación con las interfaces de usuario gráficas interactivas implementadas en ordenador. En particular, la presente invención se refiere a sistemas y métodos para ayudar a un usuario cuando se interactúa con una interfaz gráfica de usuario mediante la combinación de entrada basada en los ojos con, por ejemplo entrada mecánica, entrada de un sensor IR, entrada activada por voz, detección de los gestos del cuerpo o entrada basada en proximidad para, por ejemplo, la selección y activación de objetos y partes de objetos y la ejecución de acciones contextuales relacionadas con los objetos y las partes de objetos. La presente invención se refiere también a tales sistemas y métodos en los que el usuario puede configurar y personalizar combinaciones específicas de entrada de datos del ojo y otra entrada (por ejemplo entrada mecánica, entrada de un sensor IR, entrada activada por voz, detección de gestos del cuerpo o entrada basada en proximidad) lo que debería dar como resultado una acción contextual específica.
Antecedentes
La interacción ordenador-humano se ha revolucionado por la introducción de la interfaz gráfica de usuario (GUI). De este modo, se ha proporcionado un medio eficaz para presentar información a un usuario con un ancho de banda que ha superado inmensamente los canales anteriores. Con los años, la velocidad a la que la información puede ser presentada ha aumentado aún más a través de pantallas a color, pantallas agrandadas, objetos gráficos inteligentes (por ejemplo, ventanas pop-up), pestañas de ventanas, menús, barras de herramientas, etc. Durante este tiempo, sin embargo, los dispositivos de entrada han permanecido esencialmente sin cambios, es decir, el teclado y el dispositivo señalador (por ejemplo el ratón, bola de seguimiento o almohadilla táctil). En los últimos años, se han introducido dispositivos de escritura a mano (por ejemplo, en la forma de un lápiz o un bolígrafo gráfico). Sin embargo, mientras que el ancho de banda de salida se ha multiplicado varias veces, el ancho de banda de entrada ha permanecido sustancialmente sin cambios. En consecuencia, una severa asimetría en el ancho de banda de la comunicación en la interacción ordenador-humano de ha desarrollado.
Para disminuir esta asimetría de ancho de banda, así como para mejorar y facilitar la interacción del usuario, se han realizado diversos intentos para utilizar de seguimiento ocular para tales fines. El monitoreo o seguimiento de los movimientos del ojo y la detección de punto de observación de una persona (como se utiliza aquí, el punto en el espacio que la persona está buscando) puede ser una importante fuente de información para el análisis del comportamiento o la conciencia de la persona. Se puede utilizar tanto para evaluar el objeto que la persona está buscando como para evaluar a la persona respectiva. Mediante la implementación de un dispositivo de seguimiento ocular en, por ejemplo, un ordenador portátil, las posibilidades de interacción entre el usuario y las diferentes aplicaciones de software que se ejecutan en el ordenador se pueden mejorar significativamente.
Por lo tanto, una idea interesante para mejorar y facilitar la interacción del usuario y para eliminar la asimetría de ancho de banda es utilizar el seguimiento de la observación en lugar de o como complemento a la entrada del ratón. Normalmente, el cursor se sitúa sobre la pantalla de acuerdo con el punto de observación del usuario calculado. Un número de diferentes técnicas se han desarrollado para seleccionar y activar un objeto diana en estos sistemas. En un ejemplo, el sistema activa un objeto después de la detección de que el usuario fija su mirada en un objeto determinado durante un cierto período de tiempo. Otro enfoque es detectar una activación de un objeto cuando el ojo del usuario parpadea.
Sin embargo, existen problemas asociados a estas soluciones que utilizan el seguimiento ocular. Por ejemplo, los seres humanos utilizan su ojo en acciones perceptivas en vez del control. Por lo tanto, puede ser estresante utilizar con cuidado los movimientos oculares para interactuar con un ordenador, por ejemplo, para activar y seleccionar un objeto presentado en la pantalla del ordenador. También puede ser difícil controlar el parpadeo o la observación para interactuar con los objetos presentados en una pantalla.
Por lo tanto, existe la necesidad dentro de la técnica, de técnicas mejoradas que permiten la interacción del usuario con un ordenador provisto de un dispositivo de seguimiento ocular que permita al usuario controlar, seleccionar y activar objetos y partes de objetos presentados en una pantalla informático utilizando sus ojos de manera más intuitiva y natural. Por otra parte, también existe la necesidad dentro de la técnica de técnicas que de aprovechen de forma más eficaz el potencial del uso del seguimiento ocular para mejorar y facilitar la interacción del usuario con un ordenador.
Uno de tales intentos se presenta en la Solicitud de Patente de los Estados Unidos n°. 2005/0243054 de Beymer et al. en la que se divulga una tecnología para la selección y la activación de un objeto 5 diana utilizando una combinación de la observación y pulsaciones de teclas. Más específicamente, un usuario observa a un objeto diana, por ejemplo, un botón en una interfaz gráfica de usuario y, a continuación presiona una tecla de selección del
5
10
15
20
25
30
35
40
45
50
55
60
65
teclado. Una vez que se pulsa la tecla de selección, la diana más probable se determina utilizando el razonamiento de probabilidad. El objeto diana determinado se resalta a continuación y el usuario lo puede seleccionar pulsando la tecla de selección de nuevo. Si el objeto resaltado no es el objeto diana, el usuario puede seleccionar otro objeto diana con teclas adicionales para navegar hasta el objeto diana previsto.
Sin embargo, esta tecnología se limita a la selección de objetos y la activación basada en una combinación de la observación y dos depresiones secuenciales de una tecla de selección dedicada.
En consecuencia, sigue existiendo la necesidad en la técnica de una técnica mejorada que aproveche de forma más eficaz el potencial en el uso de seguimiento ocular para mejorar y facilitar la interacción del usuario con un ordenador y en la interacción de usuario, en particular, con interfaces gráficas de usuario.
El documento US 7.013.258 B1 describe un sistema de introducción de texto en chino con la técnica de seguimiento ocular que se puede utilizar para entrar en un ordenador caracteres chinos. El sistema se compone de dos componentes principales: el software Pinyin chino y el sistema de seguimiento ocular.
Sumario
Un objetivo de la presente invención es proporcionar métodos y sistemas mejorados para ayudar a un usuario cuando interactúa con una interfaz gráfica de usuario mediante la combinación de entrada basada en los ojos con otra entrada, por ejemplo, entrada mecánica, entrada de un sensor IR, entrada activada por voz, detección de los gestos del cuerpo o entrada basada en proximidad, para la selección y la activación de las áreas de una pantalla o visualización, objetos y partes de objetos presentados en la pantalla y ejecución de acciones contextuales relacionadas con estas áreas, objetos y partes de objetos.
Otro objetivo de la presente invención es proporcionar métodos y sistemas para la interacción amigable e intuitiva de un usuario con interfaces gráficas de usuario.
En el contexto de la presente invención, el término "GUI" (Graphical User Interface) se refiere a una interfaz de usuario basada en gráficos con representaciones o imágenes y palabras (incluyendo por ejemplo, signos y figuras) en una pantalla que incorpora, por ejemplo, ventanas e iconos móviles.
Además, en el contexto de la presente invención las expresiones "objeto de interés" o "parte del objeto de interés" se refieren a un objeto gráfico interactivo u objeto de GUI tal como un botón o un hipervínculo de la barra de
desplazamiento, u objetos no interactivos tal como un texto o una palabra en un texto que el usuario desea
seleccionar o activar a través de su mirada.
La expresión "acción contextual" se refiere, en el contexto de la presente invención, a una acción que se puede ejecutar con respecto a un objeto o parte del objeto basándose en la entrada de datos oculares y en la entrada de, por ejemplo, dispositivos de entrada mecánicos tales como un ratón o teclas o botones, la entrada procedente de un sensor IR, entrada activada por voz, o detección de los gestos del cuerpo o entrada basada en proximidad. Por ejemplo, el usuario observa a una cierta ventana que se muestra en la pantalla y pulsa una tecla determinada lo que puede resultar en la acción contextual que se maximiza la ventana determinada. Otro ejemplo es que cuando un usuario observa un enlace web en una ventana y hace un cierto gesto con la mano, abre la página Web vinculada.
De acuerdo con un aspecto de la presente invención, se proporciona un método para la manipulación de objetos o
partes de objetos y la realización de acciones contextuales relacionadas con los objetos presentados en una pantalla de un dispositivo informático asociado a un sistema de seguimiento ocular. El método comprende la configuración de condiciones de observación predeterminadas incluyendo seleccionar cuáles condiciones de observación deben cumplirse para dar lugar a una acción contextual específica, y presentar los objetos en la pantalla del dispositivo informático y proporcionar una señal de datos de seguimiento ocular que describe punto de observación de un usuario en la pantalla y/o con relación a dicha pantalla. La entrada de activación que es una entrada sin señal de seguimiento ocular se recibe de un dispositivo de entrada (por ejemplo, pulsando una tecla de un teclado o pulsando un botón de la palanca de mando asociada a el dispositivo informático. Además, la entrada de activación se puede recibir desde un sensor IR, o puede ser una entrada activada por voz, o puede ser la detección de los gestos del cuerpo o una entrada basada en la proximidad. Después de lo que, un objeto o una parte del objeto al que el usuario está observando se determina utilizando el punto de observación determinado. El objeto o parte del objeto se determina que es un objeto o parte del objeto de interés, si las condiciones de observación actuales cumplen las condiciones de observación predeterminadas. Una acción contextual específica se determina basándose en la entrada de activación recibida y el objeto o parte del objeto de interés. Por último, se ejecuta la acción contextual específica.
De acuerdo con segundo aspecto de la presente invención, se proporciona un sistema para ayudar a un usuario en la manipulación de objetos o partes de objetos y la realización de acciones contextuales relacionadas con los objetos presentados en una pantalla de un dispositivo informático asociado a un sistema de seguimiento ocular. El sistema comprende un dispositivo informático asociado a un sistema de seguimiento ocular y una pantalla adaptada para
5
10
15
20
25
30
35
40
45
50
55
60
65
mostrar los objetos. Un módulo de entrada se adapta para recibir la entrada de activación de un dispositivo de entrada asociado a dicho dispositivo informático, en el que dicha entrada de activación es una entrada sin señal de seguimiento ocular, por ejemplo, al menos una tecla de un teclado asociado al dispositivo informático, o un pedal, interruptor mecánico, botón de la palanca de mando, mando de juegos etc. Como alternativa, la entrada de activación se puede recibir de, por ejemplo, un sensor IR, o puede ser una entrada activada por voz, o puede ser una detección de los gestos del cuerpo o entrada basada en proximidad. Un módulo de configuración se proporciona y configura además para recibir instrucciones con respecto a la configuración de usuario de la función de seguimiento ocular, incluyendo una configuración de las condiciones de observación predeterminadas que incluye una selección de cuáles condiciones de observación deben cumplirse para dar lugar a una acción contextual específica. Además, un identificador de objetos se adapta para recibir una señal de datos de seguimiento ocular que describe el punto de observación de un usuario en la pantalla y/o con relación a dicha pantalla, para identificar un objeto o una parte del objeto al que el usuario está observando utilizando el punto de observación determinado y para determinar que el objeto es un objeto de interés, si las condiciones de observación actuales cumplen las condiciones de observación predeterminadas. Un módulo de determinación de la acción se adapta para determinar una acción contextual específica basándose en la entrada de activación recibida y el objeto o la parte del objeto de interés y dichas condiciones de observación actuales y proporcionar instrucciones para la ejecución de la acción contextual específica.
La presente invención ofrece varias ventajas sobre las técnicas conocidas. Por ejemplo, el usuario puede seleccionar y activar objetos y ejecutar acciones contextuales relacionadas con estos objetos en una forma amigable para el usuario, fiable y precisa debido a la forma intuitiva de la función de la presente invención. Los comandos y ejecución de las acciones contextuales que tradicionalmente requieren una secuencia de manipulaciones con la mano y/o dedos pueden ahora realizarse de forma eficaz y sin esfuerzo basándose en la actividad de los ojos del usuario y en la entrada personalizada. Esto es de gran utilidad e interés para el común de los usuarios, por ejemplo, en el trabajo o en casa. Además, esto también es deseable en una amplia gama de aplicaciones más específicas, tales como, por ejemplo, operadores de apoyo en un entorno de centro de llamadas (por ejemplo, cuando se introduce/editan datos en una aplicación de gestión de relaciones con los clientes) y para usuarios de herramientas de diseño asistido por ordenador (CAD) avanzadas. La invención puede también ser útil para mejorar la ergonomía y reducir el riesgo de, por ejemplo, lesiones por esfuerzo repetitivo.
Por otra parte, debido a que, de acuerdo con una realización preferida, el usuario puede definir o configurar qué acciones específicas deben resultar de una combinación específica de entrada de datos oculares (por ejemplo, la selección de un determinado objeto y la detección de un tiempo de permanencia de la observación) y su entrada (por ejemplo, pulsando una tecla específica), un entorno de muy fácil interacción e intuitivo basado en las preferencias y necesidades de ese usuario se puede crear.
De acuerdo con un aspecto adicional de la presente invención, los datos de observación y su entrada en combinación se utiliza para permitir a un usuario seleccionar, ampliar y activar objetos y partes de objetos de interés. El usuario puede aumentar o ampliar un objeto o parte del objeto o un área alrededor de un punto de observación observando al objeto o parte del objeto o a un área en una pantalla o visualización y entregando la entrada, por ejemplo presionando una tecla determinada del teclado. Durante una señal de entrada mecánica mantenida, por ejemplo, presión mantenida en la tecla, el objeto o parte del objeto se ve gradualmente ampliado, y, así, se consigue un efecto de ampliación. Mediante la entrega de una segunda señal de entrada mecánica, por ejemplo, mediante la liberación de la pulsación de la tecla, el usuario puede manipular, hacer clic o activar el objeto o una parte del objeto ampliado. El usuario puede ajustar la observación si es necesario para ajustar, por ejemplo, inexactitud del oculómetro. La ampliación del objeto o parte del objeto puede ser lo suficiente grande para atender a la inexactitud o error de desfase medio del oculómetro.
En un ejemplo, el objeto o parte del objeto más probable se puede ampliar o agrandar y centrar en el punto de observación determinado. Si es el objeto o parte del objeto correcto, el usuario puede activar el objeto o parte del objeto mediante la entrega de la segunda entrada, por ejemplo, mediante la liberación de la pulsación de la tecla. Para ayudar al usuario, se puede mostrar una señal visual para indicar sobre cuál objeto o parte del objeto descansa la observación del usuario. Como alternativa, se puede mostrar el punto de observación determinado para indicar al usuario qué objeto o parte del objeto que se someterá a la acción contextual se realizará después de la ampliación (o acción de ampliación), por ejemplo, donde se realizará un clic.
Otros objetos y ventajas de la presente invención se analizan a continuación por medio de las realizaciones a modo de ejemplo.
Breve descripción de los dibujos
Se describirán las realizaciones a modo de ejemplo de la invención a continuación con referencia a los dibujos adjuntos, en los que:
la Figura 1 muestra una visión general de la imagen de un usuario quien controla un aparato informático en el
que se implementa la presente invención;
5
10
15
20
25
30
35
40
45
50
55
60
65
la Figura 2 es un diagrama de bloques que ilustra una realización de una disposición de acuerdo con la presente invención;
la Figura 3 es un diagrama de flujo que ilustra los principios generales de un método de acuerdo con la presente invención.
la Figura 4 un diagrama de bloques que ilustra otra realización de la disposición de acuerdo con la presente invención;
la Figura 5 es un diagrama de bloques que ilustra una realización adicional de una disposición de acuerdo con la presente invención; y
la Figura 6 es un diagrama de flujo que ilustra los principios generales de un método de acuerdo con la presente invención.
Descripción de realizaciones a modo de ejemplo
Lo siguiente es una descripción de las realizaciones a modo de ejemplo de acuerdo con la presente invención. Esta descripción no debe tomarse en sentido limitativo, sino que se realiza solamente con la finalidad de describir los principios generales de la invención. Se debe entender que se pueden utilizar otras realizaciones y que se pueden hacer cambios estructurales y lógicos sin apartarse del alcance de la presente invención como se reivindica a continuación. Con referencia primero a las Figuras 1 y 2, y 4, se describirán realizaciones de un sistema informático de acuerdo con la presente invención. La Figura 1 muestra una realización de un sistema informático con control manual y de mirado integrado de acuerdo con la presente invención. El usuario 110 es capaz de controlar el sistema 10 informático al menos en parte basándose en una señal Dojo de seguimiento ocular, que describe el punto x, y con respecto a un usuario en una pantalla 20. La pantalla 20 puede ser cualquier tipo de pantalla o monitor de ordenador conocida, así como combinaciones de dos o más pantallas. Por ejemplo, la pantalla 20 puede constituir un par de pantallas estereoscópicas, una pantalla Heads-Up (HUD), o una pantalla de realidad virtual (HMD).
Además, la presente invención se puede implementar también en dispositivos portátiles con pequeños teclados y pantallas tales como asistentes personales digitales, teléfonos móviles, reproductores de música portátiles (por ejemplo, iPods), ordenadores portátiles, juegos de ordenador, libros electrónicos y otros dispositivos similares. La presente invención se puede implementar también en un "entorno inteligente", donde, por ejemplo, objetos presentados en múltiples pantallas se pueden seleccionar y activar.
Para producir la señal DOJO de seguimiento ocular, una unidad 40 de oculómetro se incluye en la pantalla 20 u ordenador 30, o se asocia a la pantalla 20 o con el ordenador 30. Un oculómetro adecuado se describe en la patente de Estados Unidos n°. 7.572.008, titulada "Método e instalación para la detección y seguimiento de los ojos y la dirección de la observación de los mismos", del mismo solicitante, que por la presente se incorpora en su totalidad.
La programación de software asociada a la unidad 40 de oculómetro se puede incluir en la unidad 40 de oculómetro en sí. El ejemplo específico mostrado en la Figura 2 ilustra el software asociado implementado en un módulo de seguimiento ocular, que se puede incluir únicamente en el ordenador 30, en la unidad 40 de seguimiento ocular, o en una combinación de ambos, dependiendo de la aplicación particular.
Un identificador 34 de objetos se adapta para determinar un objeto o parte de objetos que aparecen en la pantalla 20 a la que observa el usuario 110 basándose en la señal DOJO de seguimiento ocular recibida de la unidad 40 de oculómetro.
Al observar una representación de un componente 120 de GUI, por ejemplo, un objeto interactivo tal como un botón, el usuario puede generar comandos a un ordenador 30. Esta manipulación se permite puesto que el componente de GUI se adapta para verse, al menos indirectamente, influenciado por la señal Dojo de seguimiento ocular. De acuerdo con la presente invención, el usuario 110 es capaz de manipular, por ejemplo, seleccionar y activar objetos, partes de los objetos presentados en la pantalla 20 por medio de una combinación de la señal DOJO de seguimiento ocular (generada por la observación del usuario) y la entrada del usuario o la acción manual del usuario mediante el dispositivo 50 de entrada de usuario, por ejemplo, pulsando una tecla o una combinación de teclas en el teclado 51.
Por lo tanto, el sistema 10 informático comprende un ordenador 30, una unidad 40 de seguimiento ocular, una pantalla 20, y un dispositivo 50 de entrada de usuario. El ordenador 30 puede, por ejemplo, ser uno cualquiera de entre el grupo de un ordenador personal, puesto de trabajo, ordenador central, o un dispositivo portátil como un teléfono móvil, reproductor de música portátil (como por ejemplo, un iPod), o un portátil. Un equipo de este tipo comprende varios otros componentes además de los ilustrados en la Figura 2, pero estos componentes se han omitido en la Figura 2 para fines ilustrativos.
El dispositivo 50 de entrada de usuario comprende elementos que son sensibles a la presión, el contacto físico u otro control manual por parte del usuario, por ejemplo, se puede utilizar un teclado de ordenador, un ratón, una "bola de seguimiento", una pantalla táctil o cualquier otro dispositivo, por ejemplo, entrada de un sensor IR, entrada activada por voz, o detección de los gestos del cuerpo o entrada basada en proximidad. Sin embargo, en la realización específica mostrada en la Figura 2, un teclado 51 y un ratón 52 se incluyen en el dispositivo 50 de entrada de usuario.
5
10
15
20
25
30
35
40
45
50
55
60
65
Un módulo 32 de entrada, que puede ser un módulo de software incluido únicamente en el ordenador 30 o en el dispositivo 50 de entrada de usuario, o en ambos, se adapta para recibir señales desde el dispositivo 50 de entrada de usuario que representa las acciones manuales del usuario, por ejemplo, la pulsación de un botón del teclado 51. El módulo 32 de entrada se adapta también para interpretar las señales recibidas. Por ejemplo, las señales eléctricas se reciben del teclado 51 y el módulo 32 de entrada proporciona una salida como una letra específica en la pantalla 20. Como en otro ejemplo específico, el módulo 32 de entrada proporciona una salida para su uso en la determinación de una acción contextual específica a ejecutar. La salida representa la señal eléctrica recibida producida por la entrada de activación manual (por ejemplo, la pulsación de una tecla predeterminada, una combinación de teclas, o varias pulsaciones de una tecla). Como se explicará en más detalle a continuación, la acción contextual específica a ser ejecutado se determina en un módulo 35 de determinación de la acción basándose en la determinación de que el usuario observa a un objeto o parte del objeto y la entrada de activación manual a través del dispositivo 50 de entrada de usuario. Una acción contextual de este tipo podría, por ejemplo, ser, como se describe más adelante, traer una ventana al frente y enfocarla. De este modo, el usuario es capaz de seleccionar una ventana no enfocada para su enfoque al mirarla en combinación con una pulsación de una tecla o una combinación de teclas.
El módulo 35 de determinación de la acción se adapta para determinar las acciones contextuales basadas en el objeto de interés o la parte del objeto de interés en combinación con la entrada de activación manual. Por ejemplo, el módulo de 34 de determinación de la acción puede incluir una biblioteca que comprende una lista de acciones contextuales a ser ejecutadas para cada combinación de objeto o parte del objeto y entrada de activación manual.
En una realización a modo de ejemplo de la presente invención mostrada en la Figura 4, el usuario 110 puede configurar manualmente la combinación de entrada de activación manual y el objeto o parte del objeto. Las partes, módulos y componentes similares mostrados en las Figuras 2 y 4 se indican con los mismos números de referencia y la descripción de los mismos se ha omitido a continuación. Al permitir al usuario personalizar o configurar las combinaciones manualmente, es posible determinar qué combinación específica de entrada de activación manual y objeto de interés o parte del objeto de interés debe dar lugar a una acción contextual. La entrada de activación manual puede consistir en cualquier tipo de entrada o cualquier combinación de entrada, por ejemplo, en el caso de dos botones con función de oculómetro, cada botón se puede asociar a acciones separadas (en combinación con la observación sobre un objeto o parte del objeto), pero la pulsación de dos botones simultáneamente puede estar asociada a una tercera acción. Las acciones pueden también desencadenarse por varios clics del botón con función de oculómetro. Por ejemplo, un doble clic o un solo clic, donde un doble clic podría desencadenar una acción diferente que un solo clic en combinación con que el usuario mire al mismo objeto o parte del objeto. Como se ha mencionado anteriormente, el botón o botones con función oculómetro se podrían configurar. Por lo tanto, incluso si dependen del mismo objeto o parte del objeto al que el usuario observa es posible asociar diferentes acciones al objeto o a parte del objeto. Por ejemplo, al dirigir la observación a una barra de título de la ventana, el usuario puede configurar el botón con función de oculómetro para maximizar la ventana. Pero el mismo botón con función de oculómetro puede también configurarse para arrastrar la ventana con la observación. Para este fin, el sistema 100 incluye un módulo 37 de configuración, que puede ser un módulo de software incluido en el ordenador 300, que se configura para recibir señales de entrada procedentes del dispositivo 50 de entrada de usuario que contienen instrucciones con respecto a la configuración de usuario de los botones con función de oculómetro y entregar la salida al módulo 35 de determinación de la acción que contiene la configuración definida por el usuario de los botones con función de oculómetro.
El módulo 35 de determinación de la acción se puede adaptar también para utilizar el estado actual del objeto en la determinación de la acción contextual a ser ejecutada, por ejemplo, si el objeto se desactiva, la acción contextual se puede inhibir. Además, el módulo 35 de determinación de la acción puede utilizar el estado histórico del sistema operativo del ordenador 30 y/o el estado histórico del ordenador 30 y/o el estado actual del sistema operativo y/o el estado actual del ordenador 30 y/o el estado actual del usuario, cuando se determina la acción contextual a ser ejecutada.
Un módulo 38 de componentes de GUI se adapta para manipularse basándose en los comandos y/o instrucciones generados por el usuario procedentes del módulo 35 de determinación de la acción. El módulo 38 de componentes de GUI puede incluir una unidad de vídeo que genera señales que representan imágenes para su presentación en la pantalla 20.
Además, una unidad 39 de hardware que comprende, por ejemplo, un altavoz y una cámara web se incluye en o asociado al ordenador 30. La unidad de hardware se puede manipular basándose en los comandos y/o instrucciones generados por el usuario procedentes del módulo 35 de determinación de la acción. Además, otros dispositivos y componentes (no mostrados) tal como una impresora se pueden conectar al ordenador 30 y se pueden manipular basándose en los comandos y/o instrucciones generados por el usuario procedentes del módulo 35 de determinación de la acción.
A continuación se dará una lista no exhaustiva de posibles acciones contextuales ejecutadas basándose en una combinación de entrada y datos oculares:
5
10
15
20
25
30
35
40
45
50
55
60
65
- Cuando se observa una ventana de fondo mientras se pulsa el botón con función de oculómetro, el usuario puede traer la ventana al frente. En este caso, la entrada de activación manual es la pulsación del botón con función de oculómetro. El objeto de interés es la ventana que el usuario desea traer al frente. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, traer la ventana al frente en la pantalla 20.
- Cuando se observa una ventana en primer plano con enfoque, el usuario puede arrastrar la ventana con movimientos de la cabeza, manteniendo pulsado el botón con función de oculómetro hacia abajo. En este caso, la entrada de activación manual es la pulsación y la pulsación mantenida del botón con función de oculómetro. El objeto de interés es la ventana en primer plano con enfoque. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, arrastrar la ventana sobre la pantalla 20.
- Cuando se observa una ventana de la barra de título y se pulsa el botón con función de oculómetro, el usuario puede maximizar la ventana. En este caso, la entrada de activación manual es la pulsación del botón con función de oculómetro y la parte del objeto de interés es la barra de título de la ventana. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, la maximización de la ventana presentada en la pantalla 20.
- En una realización de la presente invención, un botón con función de oculómetro se puede configurar para actuar como un clic izquierdo del ratón. Al contemplar un componente de interfaz gráfica de usuario en la pantalla 20, una pulsación del botón con función de oculómetro puede dar lugar a un clic del componente de GUI en el punto de observación. La entrada de activación manual es en este caso, la pulsación de tecla y el objeto de interés es el componente de GUI. Tras la recepción de la entrada manual y los datos de observación que definen el componente de GUI de interés, el módulo 35 de determinación de la acción puede envía instrucciones para ejecutar un clic del ratón sobre el componente de GUI.
- En una realización de la presente invención, un botón con función de oculómetro se puede configurar para actuar como un selector del componente de GUI. Al contemplar los componentes de GUI en la pantalla 20, una pulsación del botón con función de oculómetro puede resaltar o seleccionar el componente de GUI en el punto de observación. La entrada de activación manual, en este caso, es la pulsación de tecla y el objeto de interés es el componente de GUI. Tras la recepción de la entrada manual y los datos de observación que definen el componente de GUI de interés, el módulo 35 de determinación de la acción envía instrucciones que pueden resaltar/seleccionar el componente de GUI.
- Durante la visualización de una película, el usuario puede pausar o reanudar la película con el botón con función de oculómetro. En este caso, la entrada de activación manual es la pulsación del botón con función de oculómetro y el objeto de interés es la película. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, hacer una pausa o reanudar la visualización de la película en la pantalla 20.
- Cuando se observa a la parte superior de un control de volumen vertical y se pulsa el botón con función de oculómetro, el usuario podría aumentar el volumen, y cuando se observa a la parte inferior del control de volumen y se pulsa el botón el volumen se podría reducir en cambio. La entrada de activación manual es la pulsación de tecla y la parte del objeto de interés es la parte superior o la parte inferior del control de volumen. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción envía instrucciones a la unidad 39 de hardware para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, subir o bajar el volumen.
- Cuando se observa una gran imagen, el usuario podría girar suavemente la imagen centrando la parte de la imagen que está en el punto de observación pulsando un botón con función de oculómetro. La entrada de activación manual es la pulsación de la tecla y el objeto de interés es la imagen. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, girar suavemente la imagen en la pantalla 20.
5
10
15
20
25
30
35
40
45
50
55
60
65
- Cuando se observa una gran imagen, el usuario podría girar suavemente la imagen observando a la imagen y girar con un gesto del cuerpo, tal como movimientos de la mano. La entrada de activación manual son los movimientos de la mano. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, girar suavemente la imagen en la pantalla 20.
- Cuando se observa una imagen, el usuario puede ampliar la imagen en el punto de observación pulsando de botón con función de oculómetro y alejar la imagen pulsando otro botón con función de oculómetro. La entrada de activación manual son las pulsaciones de tecla y el objeto de interés es la imagen. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, acercar o alejar la imagen en la pantalla 20. Como alternativa, la posición de la distancia de los ojos con respecto a la pantalla 20 (en efecto la distancia de la cabeza con respecto a la pantalla 20) se podría utilizar para determinar si el botón con función de oculómetro debe acercar o no. Si la distancia con respecto a la pantalla 20 está por debajo de un determinado umbral que se podría acercar, con una velocidad particular. Si está por encima de un determinado umbral se podría alejar, con una velocidad particular.
- Cuando se observa un enlace web y se pulsa un botón con función de oculómetro, el usuario puede tener una vista previa de la página web sin salir de la página actual. La vista previa se puede mostrar en una ventana emergente. La entrada de activación manual es la pulsación de tecla y el objeto de interés es el enlace web. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, mostrar una vista previa de la página web en una ventana emergente en la pantalla 20.
- Cuando se observa un enlace web y se pulsa un botón con función de oculómetro, el usuario puede navegar a la página del enlace web. La entrada de activación manual es la pulsación de tecla y el objeto de interés es el enlace web. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, ir a la página relacionada con el enlace web y mostrar la página en la pantalla 20.
- Cuando se observa una palabra extranjera en un texto y se pulsa el botón con función de oculómetro una traducción de la palabra se puede mostrar en una ventana emergente. La entrada de activación manual es la pulsación de tecla y la parte del objeto de interés es la palabra extranjera. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, la traducción de la palabra se muestra en una ventana emergente en la pantalla 20.
- Cuando se observa un icono de aplicación en el escritorio mostrado en la pantalla 20, el usuario puede iniciar la aplicación pulsando también el botón con función de oculómetro. La entrada de activación manual es la pulsación de tecla y el objeto de interés es el icono. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, iniciar la aplicación y mostrar la ventana de la aplicación en la pantalla 20.
- Cuando se observa una lista de contactos y se pulsa el botón con función de oculómetro, el usuario puede desplazarse por la lista de contactos, por ejemplo, un contacto de conjunto (en oposición a una línea de desplazamiento por línea como lo hace la bola de un ratón normal o tradicional). Esto también es diferente a los métodos de desplazamiento automático, donde puede ocurrir el desplazamiento involuntario. La entrada de activación es la pulsación de tecla y el objeto de interés es la lista de contactos. Tras la recepción de la entrada manual y los datos de observación que definen el objeto o parte del objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar, seleccionar o activar el objeto de acuerdo con la acción contextual determinada, es decir, desplazarse por la lista de contactos en la pantalla 20.
- Si no se determina ningún objeto o no se puede encontrar ningún objeto de interés, una pulsación del botón con función de oculómetro puede mover el cursor del ratón al punto de observación en la pantalla 20. La entrada de activación manual es la pulsación de tecla y el objeto de interés es en este caso ningún objeto. Tras la recepción de la entrada manual y los datos de observación que definen que no hay ningún objeto de interés, el módulo 35 de determinación de la acción, envía instrucciones al módulo 38 de componentes de GUI para visualizar el cursor
5
10
15
20
25
30
35
40
45
50
55
60
65
del ratón en el punto de observación en la pantalla.
- Cuando se observa a un campo de entrada numérico y se pulsa un primer botón con función de oculómetro se puede aumentar el número en el campo mientras que cuando se pulsa un segundo botón se puede disminuir el número en el campo. La entrada de activación manual son las pulsaciones de la tecla y la parte del objeto de interés es el campo de entrada numérico. Tras la recepción de la entrada manual y los datos de observación que definen la parte del objeto de interés, el módulo 35 de determinación de la acción envía instrucciones al módulo 38 de componentes de GUI para aumentar o disminuir el número en el campo dependiendo de la pulsación de tecla específica.
- Cuando se observa una ventana de aviso o alarma y se pulsa el botón con función de oculómetro, el usuario puede posponer o silenciar las alarmas. La entrada de activación manual es la pulsación de tecla y la parte del objeto de interés es la ventana de aviso o alarma. Tras la recepción de la entrada manual y los datos de observación que definen la parte del objeto de interés, el módulo 35 de determinación de la acción envía instrucciones al módulo 38 de componentes de GUI para silenciar o detener la alarma en función de los datos de observación.
- Cuando se observa fuera de la pantalla y se pulsa el botón con función de oculómetro, el usuario puede apagar la pantalla. La entrada de activación manual es la pulsación de tecla y en este caso no hay ningún objeto de interés. Tras la recepción de la entrada manual y los datos de observación que definen que no hay ningún objeto de interés, el módulo 35 de determinación de la acción envía instrucciones a la pantalla 20 para apagarse, o entrar en un modo ahorro de energía.
- En una aplicación de 3D, el usuario puede girar un objeto al que el usuario observa pulsando un botón con función de oculómetro. El usuario puede girar el objeto en una dirección opuesta pulsando otro botón con función de oculómetro. La entrada de activación manual es la pulsación de tecla y la parte del objeto de interés es el objeto al que el usuario observa. Tras la recepción de la entrada manual y los datos de observación que definen la parte del objeto de interés, el módulo 35 de determinación de la acción envía instrucciones al módulo 38 de componentes de GUI para hacer girar el objeto de interés.
Como se ha indicado anteriormente, esto es solo una lista no exhaustiva de acciones contextuales concebibles que se pueden ejecutar mediante una combinación de la observación del ojo y otra de entrada y, por supuesto, existe un gran número de otras acciones contextuales que se pueden ejecutar por medio de la presente invención.
Haciendo referencia a continuación a la Figura 3, se analizará una realización del método de acuerdo con la presente invención. El método para la manipulación de objetos o partes de objetos y la realización de acciones contextuales relacionadas con los objetos se realiza preferentemente mediante un sistema informático, por ejemplo, de acuerdo con el sistema descrito con referencia a las Figuras 1, 2 y 4. Un número de objetos se presentan en la pantalla 20 y, en la etapa S100, una señal DOJO de datos de seguimiento ocular que describe el punto x, y con respecto a un usuario en la pantalla 20 se proporciona por la unidad 40 de oculómetro y puede entregarse a la computadora 30. En la Figura 1, el punto con respecto al usuario es un punto del objeto 120. La entrada puede también recibirse desde el dispositivo 50 de entrada de usuario, por ejemplo, al menos una tecla de un teclado 51 se puede pulsar o una combinación de teclas se puede pulsar.
Después de esto, en la etapa S110, se determina un punto de observación del usuario en la pantalla 20 utilizando los datos de seguimiento ocular. Esto se puede realizar en la unidad 40 de oculómetro o en el identificador 34 de objetos. En la etapa S120, un objeto o una parte del objeto al que el usuario está observando se identifica utilizando el punto de observación determinado y/o la entrada de, por ejemplo, el teclado, y, con referencia a la Figura 1 se determina que la observación del usuario cae en el objeto 120. Es decir, se determina si la señal DOJO de datos de seguimiento ocular indica que el punto con respecto al usuario cae dentro de una representación de componentes de GUI en la pantalla 20. En realizaciones, la entrada de, por ejemplo, el teclado se utiliza también para determinar el objeto o parte del objeto de interés, por ejemplo, un botón con función ocular específica se puede asociar a ventanas (es decir, la combinación de una observación a una ventana y la pulsación de la tecla asociada a ventanas identifica esa ventana como el objeto de interés). Otra tecla se puede asociar a las imágenes y la combinación de una observación en una imagen, que reside en una ventana, y la pulsación de la tecla asociada a ventanas identifica esa ventana como el objeto de interés a pesar de que el usuario está observando la imagen.
A partir de entonces, en la etapa S130, se comprueba si el objeto o parte del objeto es una parte del objeto u objeto de interés. Esto se hace mediante la comprobación de si las condiciones de observación actuales cumplen con las condiciones de observación predeterminadas y si la entrada de, por ejemplo, el teclado cumple con las condiciones predeterminadas. Por ejemplo, puede comprobarse si la observación del usuario ha caído en el objeto o en parte del objeto durante un periodo predeterminado, o, en otras palabras, si el denominado tiempo de permanencia es superior a un límite predeterminado. El tiempo de permanencia se define como la diferencia entre el punto de tiempo en que comienza la observación, que es el instante de tiempo cuando la señal Dojo de datos de seguimiento ocular indica que el punto con respecto al usuario cae dentro de una representación de componentes de GUI en la pantalla 20, y el punto de tiempo en que se abandona la observación, que es el instante de tiempo cuando la señal Dojo de
5
10
15
20
25
30
35
40
45
50
55
60
65
datos de seguimiento ocular indica que el punto con respecto al usuario cae fuera de esta representación. Por tanto, si la observación cae sobre un objeto o parte del objeto durante un período suficientemente largo de tiempo se considera que el usuario está interesado en dicho objeto o parte del objeto particular. Como se ha mencionado anteriormente, la entrada de, por ejemplo, el teclado se puede utilizar también en la determinación de si un objeto o parte del objeto es una parte del objeto u objeto de interés.
Si se juzga que el usuario está interesado en ese objeto o parte del objeto particular, se comprueba, en la etapa S140, si la entrada de activación del dispositivo 50 de entrada de usuario se ha recibido, por ejemplo, si al menos una tecla del teclado se ha pulsado o si una combinación de teclas se ha pulsado. Esto puede comprobarse en el módulo 32 de entrada o en el módulo 35 de determinación de la acción. También puede comprobarse si esta entrada manual se ha recibido en relación con la selección del usuario de un objeto o parte del objeto (es decir, que se ha determinado que el usuario observa a un objeto o parte del objeto) o suficientemente próximos en el tiempo con la selección del usuario. De este modo, se puede verificar que una entrada de usuario manual recibida está en realidad destinada a la selección del usuario o a la activación de una acción contextual relacionada con un objeto o parte del objeto específico.
A continuación, en la etapa S150, una acción contextual específica a ser ejecutada se determina basándose en la entrada de activación recibida y el objeto o parte del objeto de interés en el módulo 35 de determinación de la acción. Anteriormente, un número no exhaustivo de posibles acciones contextuales son el resultado de diferentes combinaciones de entrada de, por ejemplo, la entrada de datos del teclado y los ojos. Además, la decisión de cuál acción contextual ejecutar se puede basar también en un estado del objeto de interés, y/o un historial y/o un estado actual del sistema operativo, y/o en la determinación de un historial y/o un estado actual del ordenador 30. Esto, en efecto, incluye también el estado actual del usuario puesto que, por ejemplo, un oculómetro o un dispositivo de detección de EMG se puede utilizar para la entrada del estado del usuario en un ordenador. Por ejemplo, los movimientos de la observación de los ojos o parpadeo de los ojos se pueden utilizar para detectar si un usuario se siente cansado, se está durmiendo o está distraído. El usuario puede configurar una entrada de activación manual, incluyendo seleccionar qué entrada o combinación de entradas en combinación con la entrada de datos de seguimiento ocular debe dar lugar a una acción contextual específica tras la selección de un objeto específico de interés o parte del objeto de interés. Por ejemplo, el usuario puede seleccionar que la combinación de observar una ventana en el fondo en una ventana fuera de foco y pulsar el botón con función de oculómetro (que el usuario puede seleccionar como, por ejemplo, la tecla "R" o que puede ser un botón "con función ocular" dedicado o una tecla del teclado) deberá dar lugar a que la ventana se lleve al frente. Además, el usuario puede configurar las condiciones de observación predeterminadas incluyendo seleccionar qué condiciones de observación deben cumplirse para dar lugar a una acción contextual específica. Por ejemplo, el usuario puede determinar que se requiere un cierto tiempo de permanencia para determinar que la observación del usuario cae sobre un objeto y ese objeto es un objeto de interés. En la etapa S160, el módulo 35 de determinación de la acción envía instrucciones al módulo 38 de componentes de GUI para ejecutar la acción contextual determinada.
Con referencia a las Figuras 5 y 6, se divulgarán más aspectos y realizaciones de la presente invención. En principio, los datos de observación y la entrada de, por ejemplo, el teclado en combinación se utilizan para permitir a un usuario seleccionar, ampliar y activar objetos y partes de objetos de interés.
El usuario puede aumentar o ampliar un objeto o parte del objeto de interés o un área zona alrededor de un punto de observación observando al objeto o parte del objeto o en un área presentada en la pantalla 20 y entregar la entrada del usuario, por ejemplo, pulsando una tecla determinada del teclado. Durante una señal de entrada de usuario mantenida, por ejemplo, se mantiene la pulsación de la tecla, el objeto o parte del objeto es gradualmente aumentado, y, así, se consigue un efecto de ampliación. Al entregar una segunda señal de entrada, por ejemplo, por la liberación de la pulsación de la tecla, el usuario puede manipular, hacer clic o activar el objeto o parte del objeto ampliada. El usuario puede ajustar la observación si es necesario para ajustar, por ejemplo, la inexactitud del oculómetro. La ampliación del objeto o parte del objeto puede ser lo suficiente grande para atender a la inexactitud o error de desfase medio del oculómetro.
En un ejemplo, el objeto o parte del objeto más probable se puede ampliar o agrandar y centrar en el punto observación determinado. Si es el objeto o parte del objeto correcto, el usuario puede activar el objeto o parte del objeto mediante la entrega de la segunda entrada, por ejemplo, mediante la liberación de la pulsación en la tecla. Para ayudar al usuario, una señal visual se puede mostrar indicando sobre qué objeto o parte del objeto descansa la observación del usuario. Como alternativa, se puede demostrar que el punto de observación determinado indica al usuario qué objeto o parte del objeto se somete a la acción contextual que se realizará después de la ampliación (o acción de ampliación), por ejemplo, donde se realizará un clic.
Haciendo referencia a la Figura 5, se describirá una realización de un sistema informático de acuerdo con la presente invención. Las partes, módulos y componentes iguales o similares del sistema que se muestran en las Figuras 2, 4, y 5 se indican con los mismos números de referencia y la descripción de los mismos se omitirá a continuación.
El sistema 200 de acuerdo con esta realización, incluye un ordenador 310 que comprende un módulo 350 de
5
10
15
20
25
30
35
40
45
50
55
60
determinación de la acción adaptado para recibir una primera entrada de activación del dispositivo 50 de entrada a través del módulo 32 de entrada. La primera entrada puede ser una pulsación mantenida de cierta tecla del teclado 51. El módulo 350 de determinación de la acción se adapta para determinar si una acción de ampliación se debe realizar y, en tal caso, qué área, objeto, o parte del objeto se debe ampliar basándose en la entrada recibida y en el punto de observación. En una realización, un área centrada en el punto observación se agranda. En otra realización, un objeto o parte del objeto se agranda, en la que un objeto o parte del objeto se selecciona como el objeto o parte del objeto sobre el que se realiza la observación del usuario. En consecuencia, el módulo 350 de determinación de la acción puede recibir el punto de observación desde la unidad 40 de oculómetro o puede recibir un objeto o parte del objeto de interés desde el identificador 34 de objetos. El módulo 350 de determinación de la acción envía instrucciones al módulo 38 de componentes de GUI de qué área, objeto, o parte del objeto representado en la pantalla 20 debe ampliarse. La ampliación se puede realizar en etapas secuenciales o de forma continua a una velocidad de ampliación predeterminada. El módulo 350 de determinación de la acción se adapta además para, tras recibir la segunda entrada de activación del dispositivo de entrada 50, a través del módulo de entrada 50, determinar una acción contextual específica basándose en la segunda entrada de activación recibida y en dicha área u objeto o parte del objeto de interés ampliado. En una realización, la segunda entrada es la liberación de la tecla pulsada y la acción contextual es, por ejemplo, hacer clic en la parte del objeto u objeto de interés. El módulo 350 de determinación de la acción se adapta para enviar una instrucción al módulo 38 de componentes de GUI para ejecutar la acción contextual específica.
Haciendo referencia a continuación a la Figura 6, se expondrá una realización del método de acuerdo con la presente invención. El método para la manipulación de objetos o partes de objetos y la realización de acciones contextuales relacionadas con los objetos se realiza preferentemente utilizando un sistema informático, por ejemplo, de acuerdo con el sistema descrito con referencia a las Figuras 1 y 5. Un número de objetos se presentan en la pantalla 20 y, en la etapa S200, una señal Dojo de datos de seguimiento ocular que describe el punto x, y con relación a un usuario en la pantalla 20 se proporciona por la unidad 40 de oculómetro y se puede suministrar al ordenador 30. En la Figura 1, el punto con respecto al usuario es un punto del objeto 120.
En la etapa S210, la entrada se recibe desde el dispositivo 50 de entrada de usuario. En una realización preferida, se pulsa una tecla del teclado 51 y se mantiene la pulsación. A partir de entonces, en la etapa S220, se realiza una acción de ampliación, en la que un área alrededor del punto de observación o un objeto o parte del objeto de interés se agranda gradualmente. El usuario 110 puede ajustar la inexactitud de la unidad de oculómetro moviendo alrededor su mirada o la cabeza. Puesto que el área alrededor del punto de observación o el objeto o parte del objeto de interés se agranda gradualmente, el ajuste de un punto de observación será fácil. En una realización alternativa, el objeto o parte del objeto más probable de interés se puede ampliar y centrada sobre el punto observación. El objeto o parte del objeto a agrandar se puede determinar mediante un cálculo de probabilidad, por ejemplo, el objeto o parte del objeto que esté geométricamente más cercano al punto observación se puede seleccionar. El objeto o parte del objeto se puede seleccionar también basándose en patrones de usuario almacenados, por ejemplo, el objeto o parte del objeto previamente más usado dentro de un área que rodea el punto de observación se puede seleccionar. Además, la selección puede basarse en un estado del objeto o parte del objeto de interés, y/o un historial y/o un estado actual del sistema operativo, y/o un historial y/o un estado actual del ordenador. Si el objeto o parte del objeto ampliado es el objeto o parte del objeto correcto (es decir, el objeto o parte del objeto que el usuario realmente desea activar), el usuario puede liberar la presión de la tecla para activar el objeto (etapas S230 y S240, véase más adelante). Sin embargo, si no es el objeto o parte del objeto correcto, el usuario puede ajustar su mirada. Una señal visual se puede mostrar para ayudar al usuario indicando el objeto a seleccionar para la ampliación después de un ajuste. Como alternativa, el punto de observación se puede indicar o mostrar para mostrar al usuario cuál es el punto de observación.
Cuando el objeto, parte del objeto o área correcta se ha ampliado, el usuario puede activar o hacer clic en el objeto, parte del objeto o área, en la etapa S230, mediante la entrega de segunda entrada de activación utilizando el dispositivo de entrada 50. Preferentemente, la entrada de activación es la liberación de la presión de la tecla del teclado 51. En la etapa S240, una acción contextual específica se determina en el módulo 350 de determinación de la acción basándose en la entrada de activación recibida y en el área u objeto o parte del objeto de interés ampliado. En una realización, la acción contextual es la activación o clic sobre el objeto o parte del objeto, por ejemplo, hacer clic en un enlace web. En la etapa S250, se envían instrucciones al módulo 38 de componentes de GUI para ejecutar la acción contextual, por ejemplo, para ir a la página relacionada con el enlace web y mostrar la página en la pantalla 20
Si bien la invención divulgada en la presente memoria se ha descrito por medio de realizaciones y aplicaciones específicas de la misma, numerosas modificaciones y variaciones se podrían hacer en la misma por los expertos en la materia sin apartarse del alcance de las invenciones, que se define por las reivindicaciones adjuntas.

Claims (5)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un método para la manipulación de objetos o partes de objetos y la realización de acciones contextúales relacionadas con los objetos presentados en una pantalla de un dispositivo informático asociado a un sistema de seguimiento ocular, comprendiendo dicho método:
    i) configurar las condiciones de observación predeterminadas incluyendo seleccionar qué condiciones de observación deben cumplirse para dar lugar a una acción contextual específica;
    ii) mostrar objetos en dicha pantalla de dicho dispositivo informático;
    iii) proporcionar una señal de datos de seguimiento ocular que describe el punto de observación de un usuario en la pantalla y/o con relación a dicha pantalla;
    iv) recibir la entrada de activación, en donde dicha entrada de activación es una entrada sin señal de seguimiento ocular;
    v) identificar un objeto o una parte del objeto al que dicho usuario está observando utilizando dicho punto de observación;
    vi) determinar que dicho objeto o parte del objeto es un objeto o parte del objeto de interés, si las condiciones de observación actuales cumplen dichas condiciones de observación predeterminadas;
    vii) determinar una acción contextual específica basándose en la entrada de activación recibida, el objeto o parte del objeto de interés determinado y dichas condiciones de observación actuales, y
    viii) ejecutar dicha acción contextual específica.
  2. 2. El método de acuerdo con la reivindicación 1, en el que la etapa de determinar una acción contextual específica comprende:
    determinar una combinación de la entrada de activación y la señal de datos de seguimiento ocular; y determinar la acción contextual específica basándose en una configuración predeterminada para la combinación de la entrada de activación específica y la señal de datos de seguimiento ocular para el objeto o parte del objeto de interés determinados.
  3. 3. El método de acuerdo con las reivindicaciones 1 o 2, en el que la etapa de determinar la acción contextual específica comprende:
    determinar un estado del objeto de interés; y/o
    determinar un historial y/o un estado actual de un sistema operativo del dispositivo informático; y/o determinar un historial y/o un estado actual del dispositivo informático.
  4. 4. El método de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende además:
    configurar la entrada de activación incluyendo seleccionar qué entrada o combinación de entradas en combinación con qué señal de datos de seguimiento ocular debería dar como resultado una acción contextual específica tras determinar que un objeto específico es de interés o parte del objeto es de interés.
  5. 5. Sistema para ayudar a un usuario en la manipulación de objetos o partes de objetos y la realización de acciones contextuales relacionadas con los objetos presentados en una pantalla de un dispositivo informático asociado a un sistema de seguimiento ocular, comprendiendo dicha disposición:
    un dispositivo informático asociado a un sistema de seguimiento ocular y una pantalla
    un módulo de entrada adaptado para recibir la entrada de activación procedente de un dispositivo de entrada asociado a dicho dispositivo informático, en donde dicha entrada de activación es una entrada sin señal de seguimiento ocular;
    un módulo de configuración configurado para recibir instrucciones con respecto a la configuración de usuario de la función de oculómetro que incluye una configuración de condiciones de observación predeterminadas que incluye una selección de las condiciones de observación que deben cumplirse para dar lugar a una acción contextual específica; un identificador de objetos adaptado para:
    recibir una señal de datos de seguimiento ocular que describe el punto la observación de un usuario en la pantalla y/o con relación a dicha pantalla;
    identificar un objeto o una parte del objeto a los que dicho usuario está observando utilizando dicho punto de observación; y
    determinar dicho objeto como un objeto de interés, si las condiciones de observación actuales cumplen dichas condiciones de observación predeterminadas;
    un módulo de determinación de la acción adaptado para:
    determinar una acción contextual específica basándose en la entrada de activación recibida, en el objeto o la
    parte del objeto de interés determinado y en dichas condiciones de observación actuales, y proporcionar instrucciones para la ejecución de dicha acción contextual específica.
ES11707356.9T 2010-01-21 2011-01-20 Acción contextual basada en oculómetro Active ES2657948T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US691289 2010-01-21
US12/691,289 US9507418B2 (en) 2010-01-21 2010-01-21 Eye tracker based contextual action
PCT/EP2011/050786 WO2011089199A1 (en) 2010-01-21 2011-01-20 Eye tracker based contextual action

Publications (1)

Publication Number Publication Date
ES2657948T3 true ES2657948T3 (es) 2018-03-07

Family

ID=44022882

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11707356.9T Active ES2657948T3 (es) 2010-01-21 2011-01-20 Acción contextual basada en oculómetro

Country Status (8)

Country Link
US (3) US9507418B2 (es)
EP (2) EP2526469B1 (es)
JP (1) JP5944326B2 (es)
CN (1) CN102822771B (es)
DK (1) DK2526469T3 (es)
ES (1) ES2657948T3 (es)
PT (1) PT2526469T (es)
WO (1) WO2011089199A1 (es)

Families Citing this family (213)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP4600548B2 (ja) * 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
KR101651430B1 (ko) * 2009-12-18 2016-08-26 삼성전자주식회사 휴대용 단말기에서 출력 데이터의 사이즈를 조절하기 위한 장치 및 방법
WO2012011893A1 (en) 2010-07-20 2012-01-26 Empire Technology Development Llc Augmented reality proximity sensing
KR101726849B1 (ko) * 2010-08-06 2017-04-13 삼성전자주식회사 휴대 단말, 휴대 단말을 이용한 위험 감지 장치 및 방법
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
US8892578B2 (en) * 2010-10-29 2014-11-18 Microsoft Corporation Visual preview of search results
US10042516B2 (en) * 2010-12-02 2018-08-07 Instavid Llc Lithe clip survey facilitation systems and methods
WO2012075295A2 (en) * 2010-12-02 2012-06-07 Webshoz, Inc. Systems, devices and methods for streaming multiple different media content in a digital container
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US20120302206A1 (en) * 2011-05-27 2012-11-29 Vock Curtis A Surface software and associated methods
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9557819B2 (en) 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US9489574B2 (en) * 2011-12-06 2016-11-08 Kyungpook National University Industry-Academic Cooperation Foundation Apparatus and method for enhancing user recognition
US20150035746A1 (en) * 2011-12-27 2015-02-05 Andy Cockburn User Interface Device
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US20130215250A1 (en) * 2012-02-16 2013-08-22 Research In Motion Limited Portable electronic device and method
DE102012003283A1 (de) 2012-02-20 2013-08-22 4tiitoo AG Verfahren und Vorrichtung zur blickgestützten Steuerung
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US10331769B1 (en) 2012-03-23 2019-06-25 Amazon Technologies, Inc. Interaction based prioritized retrieval of embedded resources
US9785619B1 (en) * 2012-03-23 2017-10-10 Amazon Technologies, Inc. Interaction based display of visual effects
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
DE102012206030A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zumindest einer Funktion zumindest eines Anzeigegerätes für einen Innenraum eines Fahrzeugs
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
US8810604B2 (en) * 2012-06-19 2014-08-19 Mastercard International Incorporated System and method for activating, actioning and providing feedback on interactive objects within line of sight
US9098111B2 (en) * 2012-06-22 2015-08-04 Microsoft Technology Licensing, Llc Focus guidance within a three-dimensional interface
JP5783957B2 (ja) * 2012-06-22 2015-09-24 株式会社Ｎｔｔドコモ 表示装置、表示方法及びプログラム
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9152227B2 (en) 2012-10-10 2015-10-06 At&T Intellectual Property I, Lp Method and apparatus for controlling presentation of media content
US9746915B1 (en) * 2012-10-22 2017-08-29 Google Inc. Methods and systems for calibrating a device
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20140139556A1 (en) * 2012-11-22 2014-05-22 Shanghai Powermo Information Tech. Co. Ltd. Apparatus and method for displaying software keyboards thereof
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
TWI488070B (zh) * 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
US20140164366A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Flat book to rich book conversion in e-readers
US20140172579A1 (en) * 2012-12-17 2014-06-19 United Video Properties, Inc. Systems and methods for monitoring users viewing media assets
US8571851B1 (en) * 2012-12-31 2013-10-29 Google Inc. Semantic interpretation using user gaze order
US9829971B2 (en) * 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US20140210702A1 (en) * 2013-01-31 2014-07-31 United Video Properties, Inc. Systems and methods for presenting messages based on user engagement with a user device
US9576316B2 (en) * 2013-02-09 2017-02-21 Todd Christopher Adelmann Dynamic menus
CN104007909B (zh) * 2013-02-25 2019-03-01 腾讯科技（深圳）有限公司 页面自动调整方法和装置
KR20160005013A (ko) * 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014164453A1 (en) * 2013-03-13 2014-10-09 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
EP2975997B1 (en) 2013-03-18 2023-07-12 Mirametrix Inc. System and method for on-axis eye gaze tracking
CN103207676B (zh) * 2013-04-09 2017-08-04 上海斐讯数据通信技术有限公司 计算机图像扫描控制系统及方法
CN103294194B (zh) * 2013-04-28 2016-12-28 小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
EP2992405A1 (en) * 2013-04-29 2016-03-09 Mirametrix Inc. System and method for probabilistic object tracking over time
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US8988344B2 (en) 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
EP3014604A4 (en) * 2013-06-28 2017-03-01 Nokia Technologies Oy Supporting activation of function of device
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
KR102101741B1 (ko) * 2013-08-16 2020-05-29 엘지전자 주식회사 이동 단말기 및 이의 제어방법
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
KR102160650B1 (ko) * 2013-08-26 2020-09-28 삼성전자주식회사 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US9740361B2 (en) 2013-10-14 2017-08-22 Microsoft Technology Licensing, Llc Group experience user interface
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US20150138244A1 (en) * 2013-11-18 2015-05-21 Tobii Technology Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统
US9229235B2 (en) * 2013-12-01 2016-01-05 Apx Labs, Inc. Systems and methods for unlocking a wearable device
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
DE102013022035B4 (de) * 2013-12-20 2015-11-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit graphischer Benutzerschnittstelle, sowie Kraftfahrzeug und Verfahren
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
CN104751152B (zh) * 2013-12-30 2019-03-15 腾讯科技（深圳）有限公司 一种翻译方法及装置
US10321124B2 (en) * 2014-01-10 2019-06-11 Nokia Technologies Oy Display of a visual representation of a view
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
US9325938B2 (en) 2014-03-13 2016-04-26 Google Inc. Video chat picture-in-picture
US10278782B2 (en) * 2014-03-19 2019-05-07 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
RU2578516C2 (ru) * 2014-06-02 2016-03-27 Владимир Леонтьевич Крапивин Очки с электронным изменением фокуса для водителей транспортных средств (оэиф)
US9583105B2 (en) * 2014-06-06 2017-02-28 Microsoft Technology Licensing, Llc Modification of visual content to facilitate improved speech recognition
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
DE102014009302A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009301A1 (de) * 2014-06-26 2016-03-03 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009304A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009299A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
KR101848475B1 (ko) 2014-06-30 2018-04-13 주식회사 퓨처플레이 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN105260369B (zh) * 2014-07-15 2019-05-31 联想(北京)有限公司 一种辅助阅读的方法和电子设备
CN104182046A (zh) * 2014-08-22 2014-12-03 京东方科技集团股份有限公司 眼控提醒方法、眼控图像显示方法及显示系统
US9659482B2 (en) * 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
CN104317392B (zh) * 2014-09-25 2018-02-27 联想(北京)有限公司 一种信息控制方法及电子设备
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
EP3018558B1 (en) * 2014-11-04 2019-08-14 4tiitoo GmbH Method and system for detecting objects of interest
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
CN105320261A (zh) * 2015-01-07 2016-02-10 维沃移动通信有限公司 移动终端的控制方法及移动终端
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
US10242379B2 (en) 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US9911037B2 (en) * 2015-02-23 2018-03-06 Umoove Services Ltd. System and method of feedback for attention and concentration
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
US10521012B2 (en) * 2015-03-13 2019-12-31 Apple Inc. Method for automatically identifying at least one user of an eye tracking device and eye tracking device
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
CN106293039B (zh) * 2015-06-17 2019-04-12 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
KR101671838B1 (ko) 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
CN106293040B (zh) * 2015-06-17 2019-04-16 北京智谷睿拓技术服务有限公司 设备间的交互方法以及近眼设备
CN106325468B (zh) * 2015-06-17 2019-09-10 北京智谷睿拓技术服务有限公司 设备间的交互方法以及用户设备
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN106293444B (zh) 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
EP3353633A1 (en) * 2015-09-24 2018-08-01 Tobii AB Eye-tracking enabled wearable devices
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
ES2939165T3 (es) 2016-04-29 2023-04-19 Tobii Ab Dispositivos portátiles con seguimiento ocular
CN107771342B (zh) * 2016-06-20 2020-12-15 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
KR101671839B1 (ko) * 2016-09-01 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
US10345898B2 (en) 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
JP2018120521A (ja) * 2017-01-27 2018-08-02 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DE102017210599A1 (de) * 2017-06-23 2018-12-27 Audi Ag Verfahren zum Positionieren eines digitalen Anzeigeinhalts auf einer Anzeigeeinrichtung eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug mit Steuervorrichtung
TWI638281B (zh) * 2017-07-25 2018-10-11 國立臺北科技大學 Providing a method for patients to visually request assistance information
US11237691B2 (en) 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
US10496162B2 (en) * 2017-07-26 2019-12-03 Microsoft Technology Licensing, Llc Controlling a computer using eyegaze and dwell
US11079899B2 (en) * 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
KR102718810B1 (ko) 2017-08-23 2024-10-16 뉴레이블 인크. 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스
JP6962079B2 (ja) * 2017-09-04 2021-11-05 株式会社Ｊｖｃケンウッド 画像音声出力装置、画像音声出力方法、及び画像音声出力プログラム
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
US10678116B1 (en) * 2017-11-09 2020-06-09 Facebook Technologies, Llc Active multi-color PBP elements
EP3710915A4 (en) 2017-11-13 2021-08-11 Neurable Inc. BRAIN-COMPUTER INTERFACE WITH ADAPTATIONS FOR HIGH-SPEED, ACCURATE AND INTUITIVE USER INTERACTIONS
JP2019113928A (ja) * 2017-12-21 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
KR20200108888A (ko) 2018-01-18 2020-09-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
EP3547079B1 (en) * 2018-03-27 2021-08-25 Nokia Technologies Oy Presenting images on a display device
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
CN108733214A (zh) * 2018-05-15 2018-11-02 宇龙计算机通信科技(深圳)有限公司 阅读器控制方法、装置、阅读器及计算机可读存储介质
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
DE102018215597A1 (de) * 2018-09-13 2020-03-19 Audi Ag Verfahren zum Unterstützen eines Benutzers beim Durchführen eines Scroll-Vorgangs, Vorrichtung und Kraftfahrzeug
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN109542217B (zh) * 2018-10-12 2022-05-17 深圳市元征科技股份有限公司 一种眼球追踪显示方法以及装置
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
DE112019007085T5 (de) 2019-03-27 2022-01-20 Intel Corporation Intelligente Anzeigetafeleinrichtung und verwandte Verfahren
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
WO2021028018A1 (en) * 2019-08-12 2021-02-18 Smart Reporting Gmbh System and method for reporting on medical images
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11269907B1 (en) * 2019-11-15 2022-03-08 Palantir Technologies Inc. Object-centric data analysis system and graphical user interface
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
CN111770371B (zh) * 2020-06-24 2023-01-24 维沃移动通信有限公司 参数调节方法及装置
CN116438510A (zh) 2020-06-26 2023-07-14 苹果公司 用于内容应用程序的设备、方法和图形用户界面
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
JP2023543799A (ja) 2020-09-25 2023-10-18 アップル インコーポレイテッド ユーザインタフェースをナビゲートする方法
US11113893B1 (en) * 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
TWI796883B (zh) * 2021-12-20 2023-03-21 荷蘭商荷蘭移動驅動器公司 使用者介面控制方法、電子裝置及使用者介面
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US11775061B1 (en) * 2022-04-22 2023-10-03 Microsoft Technology Licensing, Llc Detecting computer input based upon gaze tracking with manually triggered content enlargement
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US20240211034A1 (en) * 2022-12-23 2024-06-27 Juntao Ye Methods and systems for gaze assisted interaction
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04372012A (ja) 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
JP3363283B2 (ja) 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10207615A (ja) 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JPH11167644A (ja) 1997-12-03 1999-06-22 Sharp Corp 設計支援装置
JP3822357B2 (ja) * 1998-02-09 2006-09-20 株式会社東芝 マルチモーダル入出力装置のインタフェース装置及びその方法
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
JP2000231427A (ja) 1999-02-08 2000-08-22 Nec Corp マルチモーダル情報解析装置
US6924822B2 (en) * 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7013258B1 (en) 2001-03-07 2006-03-14 Lenovo (Singapore) Pte. Ltd. System and method for accelerating Chinese text input
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US7486302B2 (en) * 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
ES2535364T3 (es) * 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
JP2006240368A (ja) 2005-03-01 2006-09-14 Toyota Motor Corp 車両用運転支援装置
JP2006244038A (ja) 2005-03-02 2006-09-14 Nec Corp 携帯電話機
US7719520B2 (en) * 2005-08-18 2010-05-18 Scenera Technologies, Llc Systems and methods for processing data entered using an eye-tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP5207513B2 (ja) 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2009081309A (ja) 2007-09-26 2009-04-16 Fujifilm Corp 有機半導体組成物、及びそれを用いた有機電子デバイス
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US7983579B2 (en) 2009-03-06 2011-07-19 Xerox Corporation System and method for determining an amount of toner mass on a photoreceptor
US8537181B2 (en) * 2009-03-09 2013-09-17 Ventana Medical Systems, Inc. Modes and interfaces for observation, and manipulation of digital images on computer screen in support of pathologist's workflow
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US20100283722A1 (en) 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
US8977972B2 (en) * 2009-12-31 2015-03-10 Intel Corporation Using multi-modal input to control multiple objects on a display
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same
US9244527B2 (en) * 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
WO2014205422A2 (en) * 2013-06-20 2014-12-24 Parshionikar Uday Systems, methods, apparatuses, computer readable medium for controlling electronic devices

Also Published As

Publication number Publication date
US20200159316A1 (en) 2020-05-21
US10353462B2 (en) 2019-07-16
WO2011089199A1 (en) 2011-07-28
JP2013518316A (ja) 2013-05-20
US20170075420A1 (en) 2017-03-16
EP3293613A1 (en) 2018-03-14
US20110175932A1 (en) 2011-07-21
PT2526469T (pt) 2018-02-07
EP2526469B1 (en) 2017-11-01
DK2526469T3 (da) 2018-01-29
CN102822771B (zh) 2016-04-13
US9507418B2 (en) 2016-11-29
CN102822771A (zh) 2012-12-12
EP2526469A1 (en) 2012-11-28
JP5944326B2 (ja) 2016-07-05

Similar Documents

Publication Publication Date Title
ES2657948T3 (es) Acción contextual basada en oculómetro
US11573631B2 (en) System for gaze interaction
US12032803B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230409166A1 (en) Multi-dimensional object rearrangement
US10884592B2 (en) Control of system zoom magnification using a rotatable input mechanism
US20180364802A1 (en) System for gaze interaction
Ren et al. 3D selection with freehand gesture
US10394320B2 (en) System for gaze interaction
US20200285379A1 (en) System for gaze interaction
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
Kajastila et al. Eyes-free interaction with free-hand gestures and auditory menus
EP3187976A2 (en) System for gaze interaction
AU2018101076A4 (en) Multi-dimensional object rearrangement