BR112017007976B1 - Método e dispositivo para fornecer uma interface de usuário baseada em toque - Google Patents
Método e dispositivo para fornecer uma interface de usuário baseada em toque Download PDFInfo
- Publication number
- BR112017007976B1 BR112017007976B1 BR112017007976-3A BR112017007976A BR112017007976B1 BR 112017007976 B1 BR112017007976 B1 BR 112017007976B1 BR 112017007976 A BR112017007976 A BR 112017007976A BR 112017007976 B1 BR112017007976 B1 BR 112017007976B1
- Authority
- BR
- Brazil
- Prior art keywords
- touch
- finger
- screen
- user
- user interface
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
MÉTODO E DISPOSITIVO PARA FORNECER UMA INTERFACE DE USUÁRIO BASEADA EM TOQUE. Um dispositivo (100) para fornecer uma interface de usuário baseada em toque é revelado. O dispositivo (100) compreende uma tela (110), uma câmera (120), e meio de processamento (101). A câmera (120) é configurada para formar imagem de um reflexo da tela (110) por uma córnea de um usuário do dispositivo (100). O meio de processamento (101) é operativo para exibir pelo menos um elemento de interface de usuário (111, 112) na tela (110), detectar que um dedo (151) de uma mão (150) toca ou está para tocar a tela (110), estimar uma trajetória (261) do dedo (151), e determinar um local pretendido de toque do dedo (151) na tela (110). A trajetória (261) do dedo (151) é estimada por analisar uma sequência de imagens do reflexo. O local pretendido de toque é determinado com base na trajetória estimada (261) do dedo (151). A solução descrita provê uma interface de usuário baseada em toque aperfeiçoada para dispositivos portáteis (100), como smartphones, tablets ou terminais móveis, por utilizar uma vista de cima para baixo do dedo do usuário (151), obtida por meio de formação de imagem de córnea, quando interage com a tela (110).
Description
[001] A invenção refere-se a um dispositivo para fornecer uma interface de usuário baseada em toque, um método de fornecer uma interface de usuário baseada em toque, um programa de computador correspondente e um produto de programa de computador correspondente.
[002] Dispositivos que incorporam telas de toque se tornaram cada vez mais populares devido à flexibilidade aumentada oferecida por interfaces de usuário baseadas em toque em relação a teclados físicos. Em particular, esse é o caso para dispositivos de computação portáteis como smartphones, computadores tablet ou simplesmente tablets, tocadores de mídia portáteis e similares.
[003] Uma tela de toque é um display visual eletrônico que provê informações gráficas a um usuário e permite ao usuário inserir informações no dispositivo, ou controlar o dispositivo, por toques ou gestos únicos feitos por tocar a tela de toque. Vários tipos de tela de toque são conhecidos, como telas de toque resistivas, telas de toque de onda acústica de superfície e telas de toque capacitivas.
[004] O uso de dispositivos baseados em tela de toque, em particular, dispositivos portáteis, é intrinsecamente limitado pelo tamanho de 'espaço de interação' disponível para o usuário, isto é, o tamanho da tela de toque. Esse é o caso uma vez que muitos usuários têm dedos que são comparativamente grandes em comparação com os botões virtuais que tipicamente são apresentados aos usuários de tais dispositivos. Por exemplo, ao usar um teclado virtual para entrar ou editar texto, usuários frequentemente pressionam uma tecla que está adjacente à tecla que pretendem tocar.
[005] Uma solução conhecida para melhorar a capacidade de uso de teclados virtuais é dispor as teclas em um número de camadas separadas entre as quais o usuário pode mudar por meio de teclas modificadoras, desse modo aumentando o tamanho das teclas virtuais. Entretanto, devido ao tamanho pequeno de telas de toque incorporadas em dispositivos móveis, em particular smartphones, o tamanho de teclas virtuais é, não obstante, limitado, e são tipicamente menores que seus equivalentes físicos em um teclado convencional. Como consequência a seleção da tecla correta pode ser mais difícil para usuários e a operação de tais dispositivos é excessivamente intricada, complexa, lenta e confusa.
[006] É um objetivo da invenção fornecer uma alternativa aperfeiçoada às técnicas acima e técnica anterior.
[007] Mais especificamente, é um objetivo da invenção fornecer uma interface de usuário baseada em toque aperfeiçoada e em particular uma solução aperfeiçoada para inserir informações usando teclados virtuais.
[008] Esses e outros objetivos da invenção são obtidos por meio de aspectos diferentes da invenção, como definido pelas reivindicações independentes. As modalidades da invenção são caracterizadas pelas reivindicações dependentes.
[009] De acordo com um primeiro aspecto da invenção, um dispositivo para fornecer uma interface de usuário baseada em toque é fornecido. O dispositivo compreende uma tela, uma câmera e meio de processamento. A câmera é configurada para formar imagem ("imaging") de um reflexo da tela por uma córnea de um usuário do dispositivo. O meio de processamento é operativo para exibir pelo menos um elemento de interface de usuário na tela, detectar que um dedo de uma mão toca ou vai tocar a tela, estimar uma trajetória do dedo e determinar um local pretendido de toque do dedo sobre a tela. A trajetória do dedo é estimada por analisar uma sequência de imagens do reflexo. O local pretendido de toque do dedo sobre a tela é determinado com base na trajetória estimada do dedo.
[0010] De acordo com um segundo aspecto da invenção, é fornecido um método de prover uma interface de usuário baseada em toque. O método compreende exibir pelo menos um elemento de interface de usuário em uma tela, detectar que um dedo de uma mão toca ou vai tocar a tela, estimar uma trajetória do dedo e determinar um local pretendido de toque do dedo sobre a tela. A trajetória do dedo é estimada por analisar uma sequência de imagens de um reflexo da tela por uma córnea de um usuário. O local pretendido de toque do dedo sobre a tela é determinado com base na trajetória estimada do dedo.
[0011] De acordo com um terceiro aspecto da invenção, um programa de computador é fornecido. O programa de computador compreende instruções executáveis por computador para fazer com que um dispositivo execute o método de acordo com uma modalidade do segundo aspecto da invenção, quando as instruções executáveis por computador são executadas em uma unidade de processamento compreendida no dispositivo.
[0012] De acordo com um quarto aspecto da invenção, um produto de programa de computador é fornecido. O produto de programa de computador compreende um meio de armazenamento legível por computador que tem o programa de computador de acordo com o terceiro aspecto da invenção incorporado no mesmo.
[0013] A invenção faz uso de uma compreensão de que uma interface de usuário baseada em toque aperfeiçoada pode ser obtida utilizando uma vista de cima para baixo do dedo do usuário à medida que interage com a tela. Isso é particularmente vantajoso para dispositivos portáteis, como smartphones, tablets ou terminais móveis, que tipicamente são equipados com telas comparativamente pequenas. Com base na vista de cima para baixo, que é obtida por meio de formação de imagem de córnea, o local no qual o usuário pretende tocar a tela pode ser determinado. As modalidades da invenção utilizam uma câmera que tem um campo de visão que é dirigido substancialmente na mesma direção que a direção de visão da tela. Preferivelmente, a câmera e a tela de toque são fornecidas na mesma face do dispositivo, como câmera frontal de um tipo que é frequentemente dotado de dispositivos portáteis como tablets e smartphones.
[0014] Formação de imagem de córnea é uma técnica que utiliza uma câmera para formar imagem de a córnea de uma pessoa, por exemplo, aquela do usuário do dispositivo, para coletar informações sobre o que está na frente da pessoa e também, devido à natureza esférica do globo ocular humano, para coletar informações sobre objetos em um campo de visão que é mais largo que o campo de visão de visualização da pessoa. Tais objetos podem estar potencialmente fora do campo de visão da câmera e mesmo ser localizados atrás da câmera. A técnica é tornada possível devido à natureza altamente refletiva da córnea humana e também a disponibilidade de câmeras de alta definição em dispositivos como smartphones e tablets.
[0015] O local pretendido de toque do dedo, ou preferivelmente a ponta do dedo, sobre a tela é determinado com base em uma trajetória estimada do dedo e é preferivelmente expresso em termos de um quadro de referência da tela. Desse modo, uma relação entre o local pretendido de toque e um ou mais elementos de interface de usuário exibidos podem ser estabelecidos. O local pretendido de toque pode, por exemplo, ser calculado como o local de interceptação entre a trajetória estimada e uma superfície externa da tela.
[0016] De acordo com uma modalidade da invenção, o meio de processamento é operativo para estimar a trajetória do dedo por determinar uma trajetória passada do dedo e projetar uma trajetória futura do dedo em direção à tela. A trajetória passada do dedo é estimada por analisar a sequência de imagens, por exemplo, por determinar um local do dedo e/ou um local do dedo e opcionalmente da mão, como uma função de tempo. Em geral, isso pode ser realizado por determinar um local respectivo de uma pluralidade de pontos característicos de um ou mais dedos e/ou a mão. A trajetória futura é projetada com base na trajetória passada determinada do dedo. Isso pode, por exemplo, ser obtido com base em um modelo para a trajetória que é derivado por analisar trajetórias de uma população, do usuário, ou um grupo de usuários. Tal modelo da trajetória pode refletir a anatomia da mão humana, dedos e braço, bem como seu movimento. O modelo pode ser derivado por analisar regularmente ou durante uma fase de aprendizagem, ações de digitação de um ou mais usuários capturadas por meio de formação de imagem de córnea.
[0017] De acordo com uma modalidade da invenção, o meio de processamento é operativo para continuamente obter imagens do reflexo. As imagens são obtidas a partir da câmera. O meio de processamento é adicionalmente operativo para detectar que o dedo toca ou vai tocar a tela por analisar as imagens, isto é, por meio de processamento de imagem. Desse modo, modalidades da invenção podem detectar que o dedo vai tocar a tela mais cedo do que pode ser obtido usando telas de toque convencionais, como telas de toque resistivas, telas de toque de onda acústica de superfície e telas de toque capacitivas. Além disso, as modalidades da invenção podem utilizar telas do tipo tela não de toque para fornecer uma interface de usuário baseada em toque para usuários do dispositivo. Isso é obtido por detectar o toque e determinar sua localização na tela, com base na formação de imagem de córnea. Vantajosamente, a complexidade da tela pode ser reduzida resultando em custos de fabricação mais baixos.
[0018] De acordo com uma modalidade da invenção, a tela é uma tela de toque. A tela de toque é configurada para detectar que o dedo toca ou vai tocar a tela de toque. Desse modo, o meio de processamento pode ser operativo para detectar que o dedo toca ou vai tocar a tela de toque em resposta ao recebimento de uma indicação, por exemplo, um sinal, a partir da tela de toque, por meio de analisar a sequência de imagens como descrito anteriormente, ou uma combinação das mesmas. A tela de toque é adicionalmente configurada para determinar uma localização onde o dedo toca ou vai tocar a tela de toque e o meio de processamento é operativo para determinar o local pretendido de toque adicionalmente baseado no local determinado pela tela de toque. Por determinar o local pretendido de toque determinado com base na análise da sequência de imagens capturando o movimento do dedo antes do toque, isto é, a trajetória estimada do dedo, em combinação com o local de toque determinado pela tela de toque, a tolerância à imprecisão de colocação de dedo, que em particular é inerente a dispositivos portáteis, é melhorada. Isso é vantajoso uma vez que muitos elementos de interface de usuário que são apresentados a usuários de dispositivos à base de tela de toque, como teclas em um teclado virtual, links em uma web Page, ou palavras em um trecho de texto, são bem pequenas em relação ao dedo que toca. Desse modo, o problema de tocar a tecla, link ou palavra errada que usuários de dispositivos à base de tela de toque experimentam, pode ser diminuído.
[0019] De acordo com uma modalidade da invenção, o meio de processamento é operativo para exibir uma pluralidade de elementos de interface de usuário sobre a tela e determinar um elemento de interface de usuário pretendido da pluralidade de elementos de interface de usuário. O elemento de interface de usuário pretendido é determinado com base no local pretendido de toque. No presente contexto, o elemento de interface de usuário pretendido é o elemento de interface de usuário, por exemplo, uma tela em um teclado virtual, que o usuário pretendia tocar. Na prática, esse pode ser o elemento de interface de usuário que tem uma área de superfície mais próxima ao local pretendido de toque.
[0020] De acordo com uma modalidade da invenção, o meio de processamento é adicionalmente operativo para modificar um ou mais de pelo menos um elemento de interface de usuário em resposta à detecção de que o dedo toca ou vai tocar a tela. Um ou mais elementos de interface de usuário modificados pode estar próximo ao local pretendido de toque, por exemplo, o elemento de interface de usuário pretendido. Alternativamente, um ou mais elementos de interface de usuário modificados pode estar próximo à trajetória estimada. Por exemplo, o meio de processamento pode ser operativo para modificar um ou mais elementos de interface de usuário por ampliar um ou mais elementos de interface de usuário. Alternativamente, o meio de processamento pode ser operativo para modificar um ou mais elementos de interface de usuário por alterar uma aparência visual de um ou mais elementos de interface de usuário. Isso é vantajoso em que, com base na detecção de que o dedo vai tocar a tela e o local pretendido estimado de toque, porém antes do dedo efetivamente tocar a tela, feedback visual pode ser fornecido ao usuário. Desse modo, o usuário/a usuária pode corrigir a trajetória de seu dedo no caso de ele/ela prever que um elemento de interface de usuário errado vai ser tocado, ou que a tela é tocada em um local errado, por exemplo, ao editar texto. Se um ou mais dos elementos de interface de usuário próximo à trajetória estimada forem modificados, por exemplo, por ampliar um número de telas ou um teclado virtual ao longo da trajetória estimada, o feedback visual fornecido apoia o usuário no toque da tecla pretendida entre a pluralidade de teclas ampliadas ao longo da trajetória estimada.
[0021] De acordo com uma modalidade da invenção, o meio de processamento é adicionalmente operativo para executar uma ação em respostas à determinação do local pretendido de toque, e em particular em resposta à determinação do elemento de interface de usuário pretendido. A ação é associada ao toque da tela no local pretendido de toque, como tocar ou pressionar um botão virtual ou link, ou mover um cursor até o local pretendido de toque.
[0022] De acordo com uma modalidade da invenção, o meio de processamento é adicionalmente operativo para corrigir e/ou prever uma palavra digitada com base na trajetória estimada e/ou local pretendido de toque. Vantajosamente, funcionalidade de correção de texto para entrar e editar texto, conhecido como Autocorreção, substituir à medida que digita, ou substituição de texto, pode ser desse modo intensificada. Isso pode ser obtido por considerar a trajetória estimada do dedo e/ou o local pretendido de toque, além de sugerir uma ou mais palavras prováveis a partir de um dicionário.
[0023] Embora vantagens da invenção tenham em alguns casos sido descritas com referência a modalidades do primeiro aspecto da invenção, raciocínio correspondente se aplica a modalidades de outros aspectos da invenção.
[0024] Objetivos, características e vantagens adicionais da invenção tornar-se-ão evidentes ao estudar a seguinte revelação detalhada, desenhos e reivindicações apensas. Aqueles versados na técnica perceberão que características diferentes da invenção podem ser combinadas para criar modalidades diferentes daquelas descritas a seguir.
[0025] O acima, bem como objetivos, características e vantagens adicionais da invenção, serão mais bem entendidas através da seguinte descrição detalhada ilustrativa e não limitadora de modalidades da invenção, com referência aos desenhos apensos, nos quais: As figuras 1a e 1b ilustram interação por um usuário com um dispositivo que fornece uma interface de usuário à base de toque, de acordo com uma modalidade da invenção.
[0026] A figura 2 ilustra a determinação de um local pretendido de toque, de acordo com uma modalidade da invenção.
[0027] A figura 3 ilustra a determinação de um local pretendido de toque, de acordo com outra modalidade da invenção.
[0028] As figuras 4a-4d ilustram a modificação de um ou mais elementos de interface de usuário, de acordo com modalidades da invenção.
[0029] A figura 5 mostra uma unidade de processamento de um dispositivo para fornecer uma interface de usuário baseada em toque, de acordo com uma modalidade da invenção.
[0030] A figura 6 mostra um método de fornecer uma interface de usuário baseada em toque, de acordo com uma modalidade da invenção.
[0031] A figura 7 mostra uma unidade de processamento de um dispositivo para fornecer uma interface de usuário baseada em toque, de acordo com outra modalidade da invenção.
[0032] Todas as figuras são esquemáticas, não necessariamente em escala, e em geral somente mostram partes que são necessárias para elucidar a invenção, em que outras partes podem ser omitidas ou meramente sugeridas
[0033] A invenção será descrita agora mais completamente a seguir com referência aos desenhos em anexo, nos quais certas modalidades da invenção são mostradas. A presente invenção pode, entretanto, ser incorporada em muitas formas diferentes e não deve ser interpretada como limitada às modalidades expostas aqui. Ao invés, essas modalidades, são fornecidas como exemplo de modo que essa revelação seja detalhada e completa, e passe totalmente o escopo da invenção para aqueles versados na técnica.
[0034] Na figura 1a, um dispositivo 100 é mostrado, de acordo com uma modalidade da invenção. O dispositivo 100, na figura 1a ilustrada como um smartphone, compreende meio de processamento 101, uma tela 110, e uma câmera 120. A tela 110 é operável como dispositivo de saída para o dispositivo 100, isto é, para exibir conteúdo gráfico como elementos de interface de usuário, por exemplo, botões virtuais ou teclas, fotos, trechos de texto, campos para entrar ou editar texto, localizadores de recurso uniformes (URLs) ou outros links e similares. A tela 110 e os objetos gráficos exibidos sobre a mesma são controlados pelo meio de processamento 101, por exemplo, um sistema operacional ou aplicativo sendo executado nomeio de processamento 101. Ateia 110 pode ser uma tela convencional do tipo de tela não de toque ou uma tela de toque, como uma tela de toque resistiva, uma tela de toque de onda acústica de superfície, ou uma tela de toque capacitiva, como discutido adicionalmente abaixo.
[0035] A câmera 120 tem um campo de visão que é dirigido na mesma direção que a direção de visualização da tela 110. A câmera 120 e tela 110 são preferivelmente fornecidas na mesma face do dispositivo 100, isto é, a câmera 120 é uma câmera frontal. Opcionalmente, o dispositivo 100 pode compreender múltiplas câmeras frontais e também uma câmera traseira. A câmera 120 é configurada para formar imagem de um reflexo 163 da tela 110 por uma córnea 162 de um olho 160 do usuário 130, como ilustrado na figura 1 b. Observe que, em geral, luz é na maior parte refletida pela córnea do olho humano, e que é mais fácil detectar reflexos na região escura da íris em comparação com a esclera branca que circunda a íris. Para essa finalidade, modalidades da invenção utilizam a câmera 120 para capturar uma vista de cima para baixo do dedo 151 tocando a tela 110 e determinar um local pretendido de toque, como é descrito adicionalmente abaixo.
[0036] A técnica de formação de imagem de córnea é tornada possível pela natureza esférica do globo ocular humano permitindo a coleta de informações sore objetos em um campo de visão 161 que pode ser mais largo que o campo de visão de visualização do usuário 130. Opcionalmente, modalidades da invenção podem utilizar as duas córneas do usuário 130, e mesmo córneas de usuários diferentes que estão no campo de visão da câmera 120, permitindo formação de imagem estereoscópica da córnea. Desse modo, informações de profundidade podem ser obtidas, por exemplo, a distância entre o dedo 151 e a tela 110. Será reconhecido que o reflexo 163 pode opcionalmente originar de uma lente de contato colocada na superfície do olho 160 ou mesmo a partir de óculos usados na frente do olho 160 (não mostrado nas figuras 1 a e 1 b).
[0037] Por toda essa revelação, um usuário de um dispositivo é entendido como sendo uma pessoa localizada de modo a ser capaz de operar o dispositivo, por exemplo, segundo o dispositivo, sentando na frente de uma mesa sobre a qual o dispositivo é colocado, ou sentando ao lado de uma pessoa segurando o dispositivo. Deve ser adicionalmente entendido que o usuário pode controlar o dispositivo e/ou inserir informações por tocar elementos de interface de usuário exibidos sobre uma tela do dispositivo, isto é, por meio de uma interface de usuário baseada no toque fornecida pelo dispositivo.
[0038] O meio de processamento 101 e desse modo o dispositivo 100 é operativo para exibir pelo menos um elemento de interface de usuário sobre a tela 110. Na figura 1a, a tela 110 é ilustrada como exibindo um campo de texto 111, para entrar ou editar texto e um teclado virtual 112 que é operável como dispositivo de entrada para o dispositivo 100, permitindo ao usuário 130 inserir informações e controlar a operação do dispositivo 100 por tocar a tela 110. Em particular, o usuário 130 pode usar o teclado virtual 112 para digitar texto no campo de texto 111 ou editar texto exibido no campo de texto 111.
[0039] O meio de processamento 101 é adicionalmente operativo para detectar que um dedo de uma mão, por exemplo, dedo 151 da mão 150, toca ou vai tocar a tela 110. Por exemplo, o meio de processamento 101 pode ser operativo para continuamente obter imagens de reflexo 163 da câmera 120 e detectar que o dedo 151 toca ou vai tocar a tela 110 por analisar as imagens. Isso pode, por exemplo, ser realizado por analisar uma sequência de imagens que capturam um movimento da mão 150 e dedo 151 em direção a tela 110. Alternativamente, a tela 110 pode ser uma tela de toque, como uma tela de toque resistiva, uma tela de toque de onda acústica de superfície ou uma tela de toque capacitiva, que é configurada para detectar que o dedo 151 toca ou vai tocar a tela de toque 110 e enviar uma indicação, como uma mensagem, para o meio de processamento 101, como é discutido adicionalmente abaixo.
[0040] O meio de processamento 101 é adicionalmente operativo para estimar uma trajetória 261 do dedo 151 ao se aproximar a tela 110, como ilustrado na figura 2. Isso pode ser obtido por analisar uma sequência de imagens de reflexo 163. A sequência de imagens é obtida da câmera 110, diretamente ou através de um buffer com o qual o dispositivo 100 é fornecido. Por exemplo, o meio de processamento 101 pode ser operativo para solicitar a câmera 120 a capturar uma sequência de imagens em respostas à detecção de que o dedo 151 vai tocar a tela 110, isto é, antes do toque efetivo. Alternativamente, o meio de processamento 101 pode ser operativo para recuperar uma sequência passada de imagens a partir do buffer em resposta à detecção do toque efetivo. Ainda como uma alternativa adicional, o meio de processamento 101 pode ser operativo para prever que um toque vai ocorrer, por exemplo, com base em hábitos de digitação do usuário 130 enquanto digita o texto e obtém a sequência de imagens a partir da câmera 120 em resposta a tal predição. A sequência de imagens que é analisada para estimar a trajetória 261 do dedo 151 pode ser a mesma sequência de imagens, ou uma sequência de imagens diferentes, como a sequência de imagens que é analisada para detectar que o dedo 151 toca ou vai tocar a tela 110, como descrito anteriormente.
[0041] Além disso, com referência à figura 2, para estimar a trajetória 261 o meio de processamento 101 pode ser operativo para determinar uma trajetória passada 261' do dedo 151 e projetar uma trajetória futura 262" do dedo 151 em direção à tela 110. A trajetória passada 261' do dedo 15'é determinada por analisar a sequência de imagens, por exemplo, por determinar um local do dedo 151, e/ou um local da ponta do dedo 151 e opcionalmente mão 150, como uma função de tempo. Na figura 2, a trajetória passada 261' é ilustrada como sendo determinada com base no local respectivo do dedo 151 em três pontos diferentes em tempo, visualizado por dedos 151', 151" e 151"', bem como mãos 150', 150" e 150"', respectivamente.
[0042] Será reconhecido que a determinação da trajetória passada 261' feita seja obtida por utilizar técnicas conhecidas de processamento de imagem. Mais especificamente, para cada imagem da sequência de imagens pelo menos um olho 160 do usuário 130 é detectado e uma córnea 162 é identificada. Subsequentemente, o reflexo 163 da tela 110 é detectado, por exemplo, com base no formato e aparência visual de elementos de interface de usuário. Finalmente, o dedo 151, e opcionalmente outros dedos e mão 150, são identificados com base em um número de pontos biométricos característicos relacionados à geometria da mão humana e/ou dedos. Subsequentemente, a alteração em localização do dedo 151, ou ao invés a localização da ponta do dedo 151, e opcionalmente a alteração e localização de outros dedos e mão 150, é usada para modelar o movimento passado do dedo 151 em direção à tela 110 ao longo da trajetória passada 261'. Será reconhecido que a trajetória passada 261' do dedo 151 é determinada com base em informações de timing para as imagens da sequência de imagens, como marcações de tempo para cada imagem ou intervalos de tempo entre imagens subsequentes.
[0043] Após a trajetória passada 261' do dedo 151 ter sido determinada, trajetória futura 261" é estimada, isto é, o movimento do dedo 151 ou a ponta do dedo 151, é extrapolado em direção à tela 110. Isso pode, por exemplo, ser obtido com base em um modelo para trajetórias de dedos humanos operando um dispositivo por meio de uma interface de usuário baseada em toque, por exemplo, uma tela de toque. Tal modelo pode ser baseado em trajetórias observadas para um usuário único, um grupo de usuários, ou uma certa população, e na anatomia da mão humana, dedos e braço bem como seu movimento. O modelo pode ser derivado por analisar, regularmente ou durante uma fase de aprendizagem, ações de toque de um ou mais usuários capturadas por meio de formação de imagem de córnea, de acordo com as técnicas descritas aqui.
[0044] O meio de processamento 101 é adicionalmente operativo para determinar um local pretendido de toque de dedo 151 sobre a tela 110. O local pretendido de toque é o local sobre a tela 110, em relação a um quadro de referência de tela 110, que o usuário 130 pretendia tocar. É determinado com base na trajetória estimada 261 do dedo 151, por exemplo, por calcular o ponto de interceptação entre a trajetória 261 e uma superfície externa da tela 110. Opcionalmente, no caso de uma pluralidade de elementos de interface de usuário ser exibida sobre a tela 110, como teclado virtual 112 compreendendo uma pluralidade de teclas virtuais, meio de processamento 101 pode ser adicionalmente operativo para determinar um elemento de interface de usuário pretendido da pluralidade de elementos de interface de usuário, isto é, o elemento de interface de usuário, por exemplo, uma tecla 113 no teclado virtual 112, que o usuário 130 pretendida tocar. O elemento de interface de usuário pretendido é determinado com base no local pretendido de toque. Na prática, esse é o elemento de interface de usuário que tem uma área de superfície, por exemplo, definida pela circunferência de uma tecla de teclado virtual 112, que está mais próximo ao local pretendido de toque.
[0045] Ainda opcionalmente, o meio de processamento 101 pode ser operativo para executar uma ação associada ao toque da tela no local pretendido de toque, como tocar/pressionar um botão virtual ou link, mover um cursor para o local pretendido de toque (como cursor 471 ilustrado na figura 4a), executar um aplicativo ou similar. Preferivelmente, tal ação é executada em resposta à determinação do local pretendido de toque do elemento de interface de usuário pretendido.
[0046] A seguir, uma modalidade alternativa 300 do dispositivo é descrita com referência à figura 3. O dispositivo 300, ilustrado como smartphone, é similar ao dispositivo 100 e compreende meio de processamento 301, uma tela 310, e uma câmera 320 que tem um campo de visão que é dirigido na mesma direção que a direção de visualização da tela 310 e que é preferivelmente fornecido na mesma face do dispositivo 300 como tela de toque 310. Além disso, o dispositivo 300 é ilustrado como exibindo um campo de texto 311 e um teclado virtual 312 sobre a tela 310.
[0047] A tela 310 é uma tela de toque, por exemplo, uma tela de toque resistiva, uma tela de toque de onda acústica de superfície ou uma tela de toque capacitiva, e é configurada para detectar que o dedo 151 toca ou vai tocar a tela de toque 310. Por conseguinte, o meio de processamento 301 pode detectar que o dedo 151 toca ou vai tocar a tela de toque 310 por receber uma indicação, como um sinal ou mensagem transmitida através de uma interface de comunicação entre a tela de toque 310 e o meio de processamento 301, a partir da tela de toque 310. A tela de toque 310 pode ser configurada para enviar o sinal ou mensagem em resposta à detecção de um toque, ou em resposta à detecção de que o dedo 151 vai tocar a tela de toque 310, por exemplo, se uma distância entre o dedo 151 e a tela de toque 310 estiver abaixo de certo valor limiar. Por exemplo, se a tela de toque 310 for uma tela de toque capacitiva, a distância entre o dedo 151 e a tela de toque 310 pode ser estimada com base em uma alteração em capacitância. A tela de toque 310 é adicionalmente configurada para determinar um local 362 onde o dedo 151 toca ou vai tocar a tela de toque 310, como sabido na técnica. Em contraste com o local pretendido de toque descrito com referência à figura 2, que é estimado com base na trajetória 261 do dedo 151 derivada de uma vista de cima para baixo obtida através de formação de imagem de córnea, o local 362 determinado por tela de toque 310 corresponde tipicamente a uma superfície normal em um local de tela de toque 310 que está mais próximo à ponta do dedo 151. Informações pertinentes ao local 362 determinado pela tela de toque 310 podem ser sinalizadas a partir da tela de toque 310 para o meio de processamento 301 através da interface de comunicação entre a tela de toque 310 e o meio de processamento 301.
[0048] Além disso com referência à figura 3, o meio de processamento 301 pode ser operativo para determinar o local pretendido de toque adicionalmente com base no local 362 determinado pela tela de toque 310. Em outras palavras, o local pretendido de toque é determinado com base em trajetória estimada 261 do dedo 151 em combinação com o local 362 determinado pela tela de toque 362. Desse modo, um local pretendido mais preciso de toque é obtido. Isso é vantajoso porque os elementos de interface de usuário, como telas em um teclado virtual 312, texto em campo de texto 311, ou links em uma homepage, podem ser bem pequenos em relação ao dedo que toca 151.
[0049] Por exemplo, o local pretendido de toque pode ser determinado como o ponto médio entre o local no qual a trajetória 261 intercepta a tela de toque 310 e local 362 determinado pela tela de toque 310. Alternativamente, uma pessoa pode considerar modalidades da invenção que atribuem pesos diferentes aos dois locais distintos, isto é, o local de interceptação entre a trajetória 261 e a tela de toque 310 e o local 362 determinado pela tela de toque 310 e que calcula um local pretendido de toque com base nos dois locais, considerando o fator de peso respectivo. Tais fatores de peso podem ser configuráveis por um usuário do dispositivo 300, definido por um fabricante do dispositivo 300 com base em uma população, ou adaptado durante uso do dispositivo 300 com base em trajetórias aprendidas e ações de digitação de acordo com o que é descrito acima.
[0050] Similar ao dispositivo 100, o meio de processamento 301 pode ser adicionalmente operativo para determinar um elemento de interface de usuário pretendido da pluralidade de elementos de interface de usuário, por exemplo, uma tecla 313 no teclado virtual 312. O elemento de interface de usuário pretendido pode ser determinado com base no local pretendido de toque e é o elemento de interface de usuário que o usuário 130 pretendia tocar. Em contraste com o dispositivo 100, o dispositivo 300 pode ser operativo para determinar o elemento de interface de usuário pretendido com base tanto no local de interceptação entre a trajetória 261 e a tela de toque 310, e o local 362 determinado pela tela de toque 310.
[0051] A seguir, com referência às figuras 4a a 4d, modalidades da invenção são descritas que são operativas para modificar um ou mais de uma pluralidade de elementos de interface de usuário exibidos que está/estão próximos ao local pretendido de toque.
[0052] O dispositivo 400, ilustrado como smartphone, é similar a dispositivos 100 e 300 em que compreende meio de processamento 401, uma tela 410 e uma câmera 420 que tem um campo de visão que é dirigido na mesma direção que a direção de visão da tela 410 e que preferivelmente é fornecido na mesma face do dispositivo 400 como tela 410. A tela 410 pode ser uma tela do tipo não tela de toque, como a tela 110, ou uma tela de toque, como a tela de toque 310 descrita com referência à figura 3. Além disso, o dispositivo 400 é ilustrado como exibindo um campo de texto 411 e um teclado virtual 412 na tela 410. O meio de processamento 401 é operativo para executar de acordo com o que é descrito acima.
[0053] Com referência às figuras 4a a 4d, o meio de processamento 401 é adicionalmente operativo para modificar um ou mais dos elementos de interface de usuário exibidos em resposta a detecção de que o dedo 151 toca ou vai tocar a tela 410. Um ou mais elementos de interface de usuário modificados está/estão próximo(s) ao local pretendido de toque, nas figuras 4a a 4d ilustradas como o local de interceptação entre a trajetória 261 e a tela 410, porém podem ser opcionalmente determinados adicionalmente com base em um local de toque determinado pela tela 410, por exemplo, se a tela 410 for uma tela de toque. Um ou mais elementos de interface de usuário modificados podem em particular ser o elemento de interface de usuário pretendido que é determinado de acordo com o que é descrito acima.
[0054] Como exemplo, o meio de processamento 401 pode ser operativo para modificar um ou mais elementos de interface de usuário por ampliar um ou mais elementos de interface de usuário, como ilustrado na figura 4a. isso pode ser obtido por aplicar um efeito visual correspondendo àquele de uma lupa 472 no local pretendido de toque, aqui ilustrado juntamente com um cursor 471 exibido no local pretendido de toque no campo de texto 411. Desse modo, editar ou entrar texto é facilitado em que o usuário é dotado de feedback visual ao selecionar a posição471 na qual pretende editar ou entrar texto.
[0055] Alternativamente, o meio de processamento 401 pode ser operativo para modificar um ou mais elementos de interface de usuário por ampliar 414 o elemento de interface de usuário pretendido, como uma tecla 413 do teclado virtual 412, como mostrado na figura 4b. isso é vantajoso em que o usuário é dotado de feedback visual enquanto digita, desse modo diminuindo o risco de pressionar a tecla errada no teclado virtual 412.
[0056] Ainda como alternativa adicional, o meio de processamento 401 pode ser operativo para modificar um ou mais elementos de interface de usuário por alterar uma aparência visual de um ou mais elementos de interface de usuário, como alterar o segundo plano da tecla 413, como ilustrado na figura 4c. a alteração da aparência visual pode ser alternativamente realizada por alterar uma cor de um elemento de interface de usuário ou uma parte de um elemento de interface de usuário, como usar uma fonte colorida para alguns caracteres em um string de texto, ou por exibir um elemento de interface de usuário em um modo animado.
[0057] Na figura 4d, ainda outra alternativa para modificar um ou mais elementos de interface de usuário é ilustrada. Mais especificamente, o meio de processamento 401 pode ser operativo para modificar um ou mais dos elementos de interface de usuário exibidos, como teclas 415 ("M", "K" e "O") do teclado virtual 412, em resposta à detecção de que o dedo 151 vai tocar a tela 410, em que os elementos de interface de usuário modificados 415 estão próximos à trajetória estimada 261. Em outras palavras, aqueles elementos de interface de usuário que estão ao longo da trajetória estimada 261 são modificados, por exemplo, ampliados 416 como ilustrado na figura 4d. desse modo, o feedback visual é fornecido para o usuário, ilustrando qual dos elementos de interface de usuário exibidos estão ao longo da trajetória estimada 261 e, por conseguinte mais prováveis de serem tocados pelo dedo 151. Com base nesse feedback visual o usuário pode corrigir a trajetória do dedo 151 e tocar um dos elementos de interface de usuário 416 ampliados.
[0058] Além do que é descrito acima, as modalidades da invenção podem utilizar também a vista de cima para baixo obtida através de formação de imagem de córnea para melhorar a funcionalidade de correção de texto, como Autocorreção, substituir à medida que digita ou substituição de texto, que é fornecido frequentemente com dispositivos à base de tela de toque para diminuir as dificuldades que os usuários têm em selecionar a tecla correta. Tal funcionalidade de correção de texto sugere tipicamente palavras completas por determinar uma ou mais palavras que têm a maior probabilidade, com base nas letras que foram digitadas até o presente e um dicionário de palavras, de ser a palavra que o usuário pretendia digitar. De acordo com uma modalidade da invenção, tal funcionalidade de correção de texto para entrar e editar texto pode ser aperfeiçoada por considerar a trajetória estimada 261 do dedo 151 e/ou o local pretendido de toque, além de sugerir uma ou mais palavras prováveis a partir de um dicionário. Por exemplo, a trajetória estimada 261 e/ou o local pretendido de toque podem ser usados em um modo ponderado como entrada em um algoritmo de correção de texto.
[0059] Será reconhecido que modalidades da invenção podem compreender meios diferentes para implementar as características descritas acima, e que essas características podem em alguns casos ser implementadas de acordo com um número de alternativas. Por exemplo, a exibição de um campo de texto e um teclado virtual pode, por exemplo, ser executada pelo meio de processamento, presumivelmente executando um sistema operacional do dispositivo, em cooperação com a tela. Além disso, a aquisição de uma sequência de imagens de um reflexo da tela pode, por exemplo, ser executada pelo meio de processamento em cooperação com a câmera. Finalmente, estimar uma trajetória do dedo e determinar um local pretendido de toque do dedo sobre a tela é preferivelmente realizada pelo meio de processamento.
[0060] Na figura 5, uma modalidade 500 do meio de processamento 101, 301 e 4013 é mostrada. O meio de processamento 500 compreende um processador 501, por exemplo, um processador de propósito geral ou um Processador de sinais digitais (DPS), uma memória 502 contendo instruções, isto é um programa de computador 503, e uma ou mais interfaces 504 ("110" na figura 5) para receber informações de e controlar a tela 110, 310 ou 410, e câmera 120, 320 ou 420, respectivamente. O programa de computador 503 é executável pelo processador 501, pelo que o dispositivo 100, 300 ou 400, é operativo para executar de acordo com modalidades da invenção, como descrito acima com referência às figuras 1 a 4.
[0061] Na figura 6, um fluxograma ilustrando uma modalidade 600 do método de fornecer uma interface de usuário baseada em toque é mostrada. O método 600 compreende exibir 601 pelo menos um elemento de interface de usuário sobre uma tela, detectar 602 que um dedo de uma mão toca ou vai tocar a tela, estimar 604, por analisar uma sequência de imagens obtidas 603 de um reflexo da tela por uma córnea de um usuário, uma trajetória do dedo, e determinar 605 um local pretendido de toque do dedo sobre a tela com base na trajetória estimada do dedo. Opcionalmente, a estimativa 604 da trajetória do dedo pode compreender determinar uma trajetória passada do dedo por analisar a sequência de imagens, e projetar uma trajetória futura do dedo em direção à tela com base na trajetória passada determinada do dedo.
[0062] De acordo com uma modalidade alternativa da invenção, o método 600 pode compreender ainda obter 603 continuamente imagens do reflexo e detectar 602 que o dedo toca ou vai tocar a tela por analisar as imagens. Por conseguinte, as etapas 602 e 603 na figura 6 podem ser trocadas. De acordo com outra modalidade alternativa da invenção, a tela é uma tela de toca que é configurada para detectar 602 que o dedo toca ou vai tocar a tela de toque e determinar um local onde o dedo toca ou vai tocar a tela de toque. Nesse caso, o local pretendido de toque é determinado 605 adicionalmente com base no local determinado pela tela de toque.
[0063] Opcionalmente, o método 600 pode compreender ainda determinar 606, com base no local pretendido de toque, um elemento de interface de usuário pretendido de uma pluralidade de elementos de interface de usuário exibidos. Ainda opcionalmente, o método 600 pode compreender ainda modificar 607 um ou mais de pelo menos um elemento de interface de usuário que está/estão próximos ao local pretendido de toque, em particular o elemento de interface de usuário pretendido, ou próximo à trajetória estimada. Isso pode, por exemplo, ser obtido por ampliar um ou mais elementos de interface de usuário ou alterar uma aparência visual de um ou mais elementos de interface de usuário. Ainda opcionalmente, o método 600 pode compreender ainda, em resposta à determinação do local pretendido de toque e/ou elemento de interface de usuário pretendido, executar uma ação associada ao toque da tela no local pretendido de toque.
[0064] Será reconhecido que o método 600 pode compreender etapas adicionais ou modificadas de acordo com o que é descrito acima. Uma modalidade do método 600 pode ser implementada como software, como programa de computador 503, a ser executado por um processador compreendido no dispositivo (como processador 501 descrito com referência à figura 5), pelo que o dispositivo é operativo para executar de acordo com modalidades da invenção.
[0065] Na figura 7, uma modalidade alternativa 700 do meio de processamento 1013 301 e 401, é mostrada. O meio de processamento 700 compreende um ou mais módulos de interface 706 ("110" na figura 7) para receber informações a partir de, e controlar, a tela 110, 310 ou 410, e a câmera 120, 320 e 420, respectivamente. O meio de processamento 700 compreende ainda um módulo de exibição 701 para exibir pelo menos um elemento de interface de usuário sobre a tela, um módulo de toque 702 para detectar que um dedo de uma mão toca ou vai tocar a tela, um módulo de câmera 703 para obter uma sequência de imagens a partir da câmera, um módulo de trajetória 704 para estimar, por analisar uma sequência de imagens do reflexo, uma trajetória do dedo, e um módulo de local 705 para determinar um loca pretendido de toque do dedo sobre a tela com base na trajetória estimada do dedo.
[0066] Opcionalmente, o módulo de trajetória 704 pode ser configurado para estimar a trajetória do dedo por determinar uma trajetória passada do dedo por analisar a sequência de imagens, e projetar uma trajetória futura do dedo em direção à tela com base na trajetória passada determinada do dedo.
[0067] O módulo de câmera 703 pode ser configurado para continuamente obter imagens do reflexo a partir da câmera, e o módulo de toque 702 pode ser configurado para detectar que o dedo toca ou vai tocar a tela por analisar as imagens. Alternativamente, se a tela for uma tela de toque que é configurada para detectar que o dedo toca ou vai tocar a tela de toque e determinar um local onde o dedo toca ou vai tocar a tela de toque, o módulo de localização 705 pode ser configurado para determinara localização pretendida de toque adicionalmente com base na localização determinada pela tela de toque.
[0068] O módulo de localização 705 pode ser adicionalmente configurado para determinar um elemento de interface de usuário pretendido de uma pluralidade de elementos de interface de usuário exibidos, com base na localização pretendida de toque.
[0069] Opcionalmente, o módulo de display 701 pode ser configurado para modificar, em resposta à detecção de que o dedo toca ou vai tocar a tela, um ou mais de pelo menos um elemento de interface de usuário que está/estão próximos à localização pretendida de toque, em particular o elemento de interface de usuário pretendido. Como alternativa, o módulo de display 701 pode ser configurado para modificar, em resposta à detecção de que o dedo vai tocar a tela, um ou mais de pelo menos um elemento de interface de usuário que está/estão próximos à trajetória estimada. Por exemplo, um ou mais elementos de interface de usuário pode ser modificado por ampliar um ou mais elementos de interface de usuário. Alternativamente, um ou mais elementos de interface de usuário pode ser modificado por alterar uma aparência visual de um ou mais elementos de interface de usuário.
[0070] O meio de processamento 700 pode compreender módulos adicionais para implementar características adicionais ou modificadas de acordo com modalidades da invenção. Por exemplo, o meio de processamento 700 pode compreender um módulo de ação para executar uma ação associada ao toque da tela na localização pretendida de toque.
[0071] Será reconhecido que os módulos 701-706, e quaisquer módulos adicionais compreendidos no meio de processamento 700, podem ser implementados por qualquer tipo de conjunto de circuitos eletrônicos, por exemplo, qualquer um ou uma combinação de conjunto de circuitos eletrônicos analógicos, conjunto de circuitos eletrônicos digitais e meios de processamento que executam um programa de computador adequado.
[0072] Embora modalidades da invenção sejam descritas acima como smartphones, como dispositivos 100, 300 e 400, será reconhecido que a invenção pode ser incorporada em qualquer tipo de dispositivo tendo uma interface de usuário baseada em toque, em particular dispositivos compreendendo telas de toque, como tablets, terminais móveis, Equipamentos de Usuário (UEs) ou similares, porém também displays embutidos de um tipo que é frequentemente encontrado em carros ou máquinas de venda.
[0073] A pessoa versada na técnica percebe que a invenção não é limitada de modo algum às modalidades descritas acima. Ao contrário, muitas modificações e variações são possíveis compreendidas no escopo das reivindicações apensas. Por exemplo, a localização pretendida de toque pode ser determinada adicionalmente com base em leituras de acelerômetros e/ou giroscópios com os quais smartphones e tablets são comumente equipados.
Claims (10)
1. Método (600) para fornecer uma interface de usuário baseada em toque para um usuário de um dispositivo eletrônico, o dispositivo eletrônico compreendendo uma tela de toque (110, 310, 410) e uma câmera (120), o método sendo caracterizado pelo fato de compreender: exibir (601) uma pluralidade de elementos de interface de usuário (111-113, 312, 313, 411-413, 415) em uma tela de toque (110, 310, 410), estimar (604) uma trajetória de um dedo do usuário do dispositivo eletrônico baseado em uma análise de uma sequência de imagens, cada imagem da sequência compreendendo um reflexo (163) do dedo (151) e da tela de toque na córnea (162) de um olho (160) do usuário (130), em que a sequência de imagens é provida pela câmera (120) do dispositivo eletrônico, detectar (602) que um dedo (151) do usuário está em uma distância limítrofe da tela de toque baseada na análise da sequência de imagens do reflexo, e determinar (605) um local pretendido no qual o dedo (151) do usuário tocará a tela de toque (110, 310, 410) com base na trajetória estimada do dedo do usuário em resposta a detectar que o dedo do usuário está a uma distância menor do que a distância limítrofe da tela de toque (110, 310, 410).
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente modificar seletivamente pelo menos um de uma pluralidade de elementos de interface de usuário (111-113, 312, 313, 411-413, 415) da tela de toque (110, 310, 410) em resposta a determinar o local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o pelo menos um da pluralidade de elementos de interface de usuário (111-113, 312, 313, 411-413, 415) corresponde ao local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a modificação seletiva (607) compreende ampliar (414, 416, 427) os pelo menos um da pluralidade de elementos de interface de usuário (413, 415, 411) na tela de toque (110, 310, 410) em resposta a determinar o local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
5. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a modificação seletiva (607) compreender mudar uma aparência visual dos pelo menos um da pluralidade de elementos de interface de usuário (413, 415, 411) na tela de toque (110, 310, 410) em resposta a determinar o local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
6. Dispositivo (100, 200, 300) para fornecer uma interface de usuário baseada em toque, o dispositivo sendo caracterizado pelo fato de compreender: uma tela de toque (110, 310, 410), uma câmera (120, 320, 420) configurada para formar imagem de um reflexo (163) da tela por uma córnea (162) de um usuário (130) do dispositivo, e um processador (101, 301, 401) acoplado à câmera e à tela de toque, em que o processador é configurado para: exibir uma pluralidade de elementos de interface de usuário (111-113, 312, 313, 411-413, 415) na tela de toque (110, 310, 410), estimar (604) uma trajetória de um dedo do usuário do dispositivo eletrônico baseado em uma análise de uma sequência de imagens, cada imagem da sequência compreendendo um reflexo (163) do dedo (151) e da tela de toque (110, 310, 410) na córnea (162) de um olho do usuário, em que a sequência de imagens é provida pela câmera do dispositivo eletrônico, detectar (602) que um dedo (151) do usuário está em uma distância limítrofe da tela de toque (110, 310, 410) baseada na análise da sequência de imagens do reflexo, e determinar (605) um local pretendido no qual o dedo do usuário tocará a tela de toque (110, 310, 410) com base na trajetória estimada do dedo do usuário em resposta a detectar que o dedo do usuário está a uma distância menor do que a distância limítrofe da tela de toque (110, 310, 410).
7. Dispositivo, de acordo com a reivindicação 6, caracterizado pelo fato de que o processador é configurado adicionalmente para modificar seletivamente pelo menos um de uma pluralidade de elementos de interface de usuário da tela de toque (110, 310, 410) em resposta a determinar o local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
8. Dispositivo, de acordo com a reivindicação 7, caracterizado pelo fato de que o pelo menos um da pluralidade de elementos de interface de usuário corresponde ao local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
9. Dispositivo, de acordo com a reivindicação 7, caracterizado pelo fato de que a modificação seletiva (607) compreende ampliar (414, 416, 427) os pelo menos um da pluralidade de elementos de interface de usuário (413, 415, 411) na tela de toque em resposta a determinar o local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
10. Dispositivo, de acordo com a reivindicação 7, caracterizado pelo fato de que a modificação seletiva (607) compreender mudar uma aparência visual dos pelo menos um da pluralidade de elementos de interface de usuário (413, 415, 411) na tela de toque (110, 310, 410) em resposta a determinar o local estimado em que o dedo do usuário tocará a tela de toque (110, 310, 410).
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/SE2014/051241 WO2016064311A1 (en) | 2014-10-22 | 2014-10-22 | Method and device for providing a touch-based user interface |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| BR112017007976A2 BR112017007976A2 (pt) | 2018-01-23 |
| BR112017007976A8 BR112017007976A8 (pt) | 2022-11-16 |
| BR112017007976B1 true BR112017007976B1 (pt) | 2023-01-17 |
Family
ID=51905355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112017007976-3A BR112017007976B1 (pt) | 2014-10-22 | 2014-10-22 | Método e dispositivo para fornecer uma interface de usuário baseada em toque |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US10620748B2 (pt) |
| BR (1) | BR112017007976B1 (pt) |
| WO (1) | WO2016064311A1 (pt) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112017007976B1 (pt) * | 2014-10-22 | 2023-01-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Método e dispositivo para fornecer uma interface de usuário baseada em toque |
| FR3028968B1 (fr) * | 2014-11-21 | 2016-11-25 | Renault Sa | Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche |
| FR3028967B1 (fr) * | 2014-11-21 | 2017-12-15 | Renault Sas | Interface graphique et procede de gestion de l'interface graphique lors de la selection tactile d'un element affiche |
| EP3230825B1 (en) | 2014-12-10 | 2019-05-29 | Telefonaktiebolaget LM Ericsson (publ) | Device for and method of corneal imaging |
| JP6701836B2 (ja) * | 2016-03-14 | 2020-05-27 | オムロン株式会社 | 文字入力装置、文字入力方法、および文字入力プログラム |
| JP6844206B2 (ja) * | 2016-11-14 | 2021-03-17 | 富士通株式会社 | プログラム、情報処理方法、および情報処理装置 |
| EP3799778A1 (en) * | 2019-10-03 | 2021-04-07 | Nokia Technologies Oy | Alerts based on corneal reflections |
| JP7314196B2 (ja) * | 2021-04-19 | 2023-07-25 | ヤフー株式会社 | 端末装置、端末装置の制御方法および端末装置の制御プログラム |
| FR3124872A1 (fr) * | 2021-07-02 | 2023-01-06 | Faurecia Interieur Industrie | Dispositif électronique et procédé d'affichage de données sur un écran d’affichage, système d’affichage, véhicule et programme d’ordinateur associés |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8073198B2 (en) * | 2007-10-26 | 2011-12-06 | Samsung Electronics Co., Ltd. | System and method for selection of an object of interest during physical browsing by finger framing |
| JP4982430B2 (ja) * | 2008-05-27 | 2012-07-25 | 株式会社エヌ・ティ・ティ・ドコモ | 文字入力装置及び文字入力方法 |
| US8788977B2 (en) * | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
| US8913056B2 (en) * | 2010-08-04 | 2014-12-16 | Apple Inc. | Three dimensional user interface effects on a display by using properties of motion |
| JP5304848B2 (ja) * | 2010-10-14 | 2013-10-02 | 株式会社ニコン | プロジェクタ |
| FR2970576B1 (fr) * | 2011-01-19 | 2013-02-08 | Matchic Labs | Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre |
| US8947351B1 (en) * | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
| US9684374B2 (en) * | 2012-01-06 | 2017-06-20 | Google Inc. | Eye reflection image analysis |
| CN104246682B (zh) * | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
| US20140196143A1 (en) * | 2012-08-29 | 2014-07-10 | Identity Validation Products, Llc | Method and apparatus for real-time verification of live person presence on a network |
| US9317746B2 (en) * | 2012-09-25 | 2016-04-19 | Intel Corporation | Techniques for occlusion accomodation |
| US20140282269A1 (en) * | 2013-03-13 | 2014-09-18 | Amazon Technologies, Inc. | Non-occluded display for hover interactions |
| JP6202942B2 (ja) * | 2013-08-26 | 2017-09-27 | キヤノン株式会社 | 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体 |
| CN105980965A (zh) * | 2013-10-10 | 2016-09-28 | 视力移动科技公司 | 用于非接触式打字的系统、设备和方法 |
| JP6206099B2 (ja) * | 2013-11-05 | 2017-10-04 | セイコーエプソン株式会社 | 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置 |
| US9360935B2 (en) * | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
| US9645641B2 (en) * | 2014-08-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Reflection-based control activation |
| BR112017007976B1 (pt) * | 2014-10-22 | 2023-01-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Método e dispositivo para fornecer uma interface de usuário baseada em toque |
-
2014
- 2014-10-22 BR BR112017007976-3A patent/BR112017007976B1/pt active IP Right Grant
- 2014-10-22 US US14/655,865 patent/US10620748B2/en active Active
- 2014-10-22 WO PCT/SE2014/051241 patent/WO2016064311A1/en active Application Filing
-
2020
- 2020-04-09 US US16/844,057 patent/US11360605B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016064311A1 (en) | 2016-04-28 |
| US20160216837A1 (en) | 2016-07-28 |
| US11360605B2 (en) | 2022-06-14 |
| US20200326811A1 (en) | 2020-10-15 |
| BR112017007976A2 (pt) | 2018-01-23 |
| US10620748B2 (en) | 2020-04-14 |
| BR112017007976A8 (pt) | 2022-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112017007976B1 (pt) | Método e dispositivo para fornecer uma interface de usuário baseada em toque | |
| CN104704451B (zh) | 提供用于定位和数据输入的触觉反馈 | |
| US10282090B2 (en) | Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones | |
| US10001838B2 (en) | Feature tracking for device input | |
| US10514842B2 (en) | Input techniques for virtual reality headset devices with front touch screens | |
| US9529523B2 (en) | Method using a finger above a touchpad for controlling a computerized system | |
| US9207852B1 (en) | Input mechanisms for electronic devices | |
| US20150261310A1 (en) | One-dimensional input system and method | |
| EP3324274A1 (en) | Handwriting keyboard for screens | |
| EP2840478B1 (en) | Method and apparatus for providing user interface for medical diagnostic apparatus | |
| US20150323998A1 (en) | Enhanced user interface for a wearable electronic device | |
| US10591988B2 (en) | Method for displaying user interface of head-mounted display device | |
| US20140282269A1 (en) | Non-occluded display for hover interactions | |
| CN102262504A (zh) | 带虚拟键盘的用户交互手势 | |
| CN108073432B (zh) | 一种头戴式显示设备的用户界面显示方法 | |
| US20160034738A1 (en) | Method using a touchpad for controlling a computerized system with epidermal print information | |
| US20150363038A1 (en) | Method for orienting a hand on a touchpad of a computerized system | |
| TW201947361A (zh) | 終端的控制方法、裝置及終端 | |
| US20160098160A1 (en) | Sensor-based input system for mobile devices | |
| TWI776159B (zh) | 顯示方法與電子裝置 | |
| CN110291495B (zh) | 信息处理系统、信息处理方法及程序 | |
| Huber | Inaccurate input on touch devices relating to the fingertip | |
| US12147597B2 (en) | Methods for cursor-based interactions with an electronic device | |
| US20230100689A1 (en) | Methods for interacting with an electronic device | |
| Gil | WearPut: Designing Dexterous Wearable Input based on the Characteristics of Human Finger Motions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Free format text: AS CLASSIFICACOES ANTERIORES ERAM: G06F 3/0488 , G06F 3/042 Ipc: G06F 3/042 (2006.01), G06F 3/00 (2006.01), G06F 3/ |
|
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 22/10/2014, OBSERVADAS AS CONDICOES LEGAIS |