RU2464624C2 - Рабочие интерфейсы сенсорного экрана - Google Patents
Рабочие интерфейсы сенсорного экрана Download PDFInfo
- Publication number
- RU2464624C2 RU2464624C2 RU2009121545/08A RU2009121545A RU2464624C2 RU 2464624 C2 RU2464624 C2 RU 2464624C2 RU 2009121545/08 A RU2009121545/08 A RU 2009121545/08A RU 2009121545 A RU2009121545 A RU 2009121545A RU 2464624 C2 RU2464624 C2 RU 2464624C2
- Authority
- RU
- Russia
- Prior art keywords
- screen
- area
- target
- selection
- callout
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Telephone Function (AREA)
Abstract
Изобретение относится к области сенсорного ввода с помощью устройства с сенсорным экраном. Технический результат заключается в обеспечении более точного выбора небольших целей, отображаемых на сенсорном экране, и снижении числа ошибок, вызванных загораживанием этих целей пальцем пользователя. Такой результат достигается за счет того, что в ответ на попытку выбрать цель, отображаемую на экране, может быть визуализирована выноска в незагороженной области экрана, при этом выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, причем выноску не визуализируют, если определено, что область под областью выбора не загорожена, и причем взаимодействие с пользователем включает в себя соприкосновение загороженной области экрана с объектом выбора при попытке выбрать цель, отображаемую на экране под объектом выбора; и определяют, что область под областью выбора загорожена, если объект выбора соприкасается с дисплеем дольше порогового времени. 8 н. и 14 з.п. ф-лы, 9 ил.
Description
Уровень техники
Многие устройства, такие как персональные цифровые помощники (PDA), гибриды мобильных телефонов с PDA и сверхмобильные персональные компьютеры (UMPC) используют ввод на основе пера, чтобы помочь пользователю четко определить точку выбора на экране, и кроме того, они также поддерживают сенсорный ввод. Перо или стилус обычно является тонким и также позволяет создать вертикальное смещение между рукой пользователя и экраном так, что цели, появляющиеся на экране, не загорожены пальцем или рукой пользователя. Однако извлечение стилуса занимает время и может быть неудобным, например, в контексте работы одной рукой, или может быть неэффективным, например, в контексте коротких/прерывистых взаимодействий.
Когда использование стилуса неэффективно или неудобно, пользователи иногда используют свой палец или другое "устройство сенсорного ввода", чтобы выбрать объекты, отображенные на экране устройства. Например, это происходит часто при прерывистых или коротких взаимодействиях, таких как подтверждение времени встречи, навигация по карте или управление мультимедийным проигрывателем.
Сущность изобретения
Предоставляется методика смещения указания, которая предназначена, чтобы помочь пользователям работать с пользовательским интерфейсом с помощью объекта выбора, такого как пальцы, предотвращая загораживания и определяя четкую точку выбора, когда пользователь использует прикосновение для работы с устройством с сенсорным экраном. Когда пользователь пытается выбрать небольшую цель, отображенную на экране устройства с дисплеем, чувствительным к прикосновению, методика смещения указания создает и отображает выноску, показывающую представление загороженной экранной области, и помещает представление загороженной экранной области в незагороженное местоположение на экране. Загороженной областью является область сенсорного экрана, загороженная пальцем пользователя или другим объектом выбора. Выноска также показывает указатель, представляющий текущую точку выбора пальцем пользователя или другим объектом выбора. С помощью визуальной обратной связи, обеспеченной посредством выноски, пользователь может направлять указатель в цель, перемещая (например, перетаскивая или перекатывая) свой палец или другой объект выбора по поверхности экрана. Пользователь может затем подтвердить захват цели (например, выбрать небольшую цель), подняв свой палец или другой объект выбора с экрана устройства. Наоборот, когда пользователь пытается выбрать более крупную цель на экране устройства с сенсорным экраном, выноска не создается, и пользователи имеют полную функциональность неизмененного сенсорного экрана.
Таким образом, в дополнение к смещению указателя методика смещения указания смещает содержимое экрана, чтобы предоставить значительно более лучшую эффективность указания цели. Эти методики могут позволить выбирать небольшие цели с гораздо более низкой частотой ошибок, чем на лишенном помощи сенсорном экране, и могут снизить число ошибок, вызванных загораживанием цели пальцем пользователя (или другим объектом выбора) и неопределенностью того, какая часть пальца (или другого объекта выбора) задает точку выбора на дисплее или экране. По существу, частота ошибок может быть уменьшена при использовании сенсорного ввода в устройстве с сенсорным экраном.
Эта сущность изобретения предоставлена, чтобы представить выбор концепций в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Эта сущность не предназначена для того, чтобы идентифицировать ключевые признаки или существенные признаки заявляемого объекта изобретения, а также не предназначена для того, чтобы быть использованной в качестве помощи при определении объема заявляемого объекта изобретения.
Краткое описание чертежей
Более полное понимание примерного варианта осуществления может быть получено посредством ссылки на подробное описание и формулу изобретения, когда рассматривается вместе со следующими чертежами, на которых одинаковые номера ссылок ссылаются на похожие элементы на всех чертежах.
Фиг.1 является упрощенным схематическим представлением примерной вычислительной системы согласно одному примерному осуществлению.
Фиг.2 является упрощенным схематическим представлением вида спереди устройства с сенсорным экраном согласно одному примерному осуществлению.
Фиг.3 является примерной блок-схемой технологий выбора требуемой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению.
Фиг.4(a)-4(e) являются последовательностью примерных схем, иллюстрирующих технологию расширения или "смещения указания" для выбора относительно небольшой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению.
Фиг.5(a)-5(b) являются последовательностью примерных схем, показывающих обычную технологию выбора более крупной цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно другому примерному осуществлению.
Фиг.6(a) является схемой, которая иллюстрирует область контакта пальца пользователя, когда пользователь пытается выбрать цель.
Фиг.6(b) является графиком, показывающим, как соотношение SF/ST может быть сопоставлено с тайм-аутом задержки с помощью логистической функции.
Фиг.7(a)-(d) являются схемами, которые иллюстрируют примерное размещение выноски и указателя относительно других местоположений пальца пользователя на экране устройства с сенсорным экраном.
Фиг.8(a) является схемой, показывающей цель, палец пользователя и точку ввода с позиции пользователя.
Фиг.8(b) является схемой, показывающей цель, область соприкосновения пальца пользователя и точку ввода с позиции аппаратных средств; и
фиг.9 является схемой, иллюстрирующей увеличение масштаба, которое может быть применено к выноске, когда пользователь пытается выбрать небольшую цель.
Подробное описание
Следующее подробное описание является просто примерным по своему характеру и не предназначено, чтобы ограничивать изобретение или применение и использование изобретения. Когда используется в данном документе, слово "примерный" обозначает "служащий в качестве примера, отдельного случая или иллюстрации". Любое осуществление, описанное в данном документе как "примерное", необязательно должно быть истолковано как предпочтительное или выгодное по сравнению с другими осуществлениями. Все осуществления, описанные ниже, являются примерными осуществлениями, предоставленными, чтобы позволить специалистам в данной области техники сделать или использовать изобретение, и не предназначены, чтобы ограничивать рамки изобретения, которые определены формулой изобретения.
Примерные варианты осуществления могут быть описаны в данном документе в терминах компонентов функциональных и/или логических блоков и различных этапов обработки. Должно быть понятно, что такие компоненты блоков могут быть реализованы любым числом аппаратных, программных и/или программно-аппаратных компонентов, сконфигурированных, чтобы выполнять конкретные функции. Например, вариант осуществления может применять различные компоненты интегральных схем, например элементы памяти, элементы цифровой обработки сигналов, логические элементы, поисковые таблицы или т.п., которые могут выполнять множество функций под управлением одного или более микропроцессоров или других устройств управления. Кроме того, специалисты в данной области техники поймут, что практические варианты осуществления могут быть применены на практике вместе с любым числом протоколов передачи данных, и что система, описанная в данном документе, является просто одним примерным вариантом осуществления.
Ради краткости, традиционные технологии, связанные с работой вычислительного устройства, работой сенсорного экрана, визуализацией графики на элементе отображения и другими функциональными аспектами систем (и отдельными рабочими компонентами систем), могут быть не описаны подробно в данном документе. Кроме того, соединяющие линии, показанные на различных чертежах, содержащихся в данном документе, предназначены, чтобы представлять примерные функциональные связи и/или физические соединения между различными элементами. Следует отметить, что многие альтернативные или дополнительные функциональные связи или физические соединения могут быть представлены в примерном варианте осуществления.
Фиг.1 является упрощенным схематическим представлением примерной вычислительной системы 100 для осуществления устройства с сенсорным экраном. Вычислительная система 100 является только одним примером подходящего операционного окружения и не предназначена для того, чтобы предлагать какое-либо ограничение относительно рамок использования или функциональности осуществлений, описанных в данном документе. Другие хорошо известные вычислительные системы, окружения и/или конфигурации, которые могут быть подходящими для использования с такими осуществлениями, включают в себя, но не только, персональные компьютеры, серверные компьютеры, карманные или портативные устройства, персональные цифровые помощники, мобильные телефоны, компьютеры на основе общественного терминала, такие как банкоматы (ATM) и системы бортового окружения, системы предоставления информации о продуктах розничной торговли, навигационные устройства системы глобального позиционирования (GPS), схемы расположения, справочники сооружений, переносные мультимедийные проигрыватели, электронные книги, общественные терминалы городского транспорта, дисплеи с музейной информацией, многопроцессорные системы, микропроцессорные системы, программируемую бытовую электронную аппаратуру, сетевые PC, миникомпьютеры, универсальные компьютеры, распределенные вычислительные среды, которые включают в себя любые из вышеуказанных систем или устройств, и т.п.
Вычислительная система 100 может быть описана в общем контексте машиноисполняемых инструкций, таких как программные модули, исполняемые одним или более компьютерами или другими устройствами. Как правило, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и/или другие элементы, которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Типично, функциональность программных модулей может быть объединена или распределена, как требуется в различных вариантах осуществления.
Вычислительная система 100 типично включает в себя, по меньшей мере, некую форму машиночитаемых носителей. Машиночитаемые носители могут быть любыми доступными носителями, к которым можно обратиться посредством вычислительной системы 100 и/или приложений, исполняемых вычислительной системой 100. В качестве примера, а не ограничения, машиночитаемые носители могут содержать компьютерные носители хранения и среду передачи. Компьютерные носители хранения включают в себя энергозависимые, энергонезависимые, съемные и несъемные носители, реализованные любым способом или технологией хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Носитель хранения данных компьютера включает в себя, но не только, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, универсальные цифровые диски (DVD) или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитном диске или другие магнитные устройства хранения, или любой другой носитель, который может быть использован для сохранения требуемой информации и который может быть доступен посредством вычислительной системы 100. Среда передачи данных типично реализует машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированных сигналах данных, таких как волновая несущая или другой механизм передачи, и включает в себя любую среду доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более из его характеристик, установленных или изменяемых таким образом, чтобы кодировать информацию в сигнале. В качестве примера, но не в качестве ограничения, среда связи включает в себя проводную среду, такую как проводная сеть или прямое проводное соединение, и беспроводную среду, такую как акустическая среда, RF, инфракрасное излучение и другая беспроводная среда. Сочетания любого из вышеперечисленного также следует включить в число машиночитаемых носителей.
Обращаясь опять к фиг.1, в своей самой базовой конфигурации вычислительная система 100 типично включает в себя, по меньшей мере, один процессор 102 и подходящий объем памяти 104. В зависимости от точной конфигурации и типа вычислительной системы 100 память 104 может быть энергозависимой (такой как RAM), энергонезависимой (такой как ROM, флеш-память и т.д.) или некоторой комбинацией обеих. Эта самая базовая конфигурация идентифицирована на фиг.1 ссылочным номером 106. Дополнительно, вычислительная система 100 может также иметь дополнительные признаки/функциональность. Например, вычислительная система 100 может также включать в себя дополнительное запоминающее устройство (съемное и/или несъемное), включающее в себя, но не только, магнитные или оптические диски или ленту. Такое дополнительное запоминающее устройство иллюстрировано на фиг.1 посредством съемного запоминающего устройства 108 и несъемного запоминающего устройства 110. Память 104, съемное запоминающее устройство 108 и несъемное запоминающее устройство 110 - все являются примерами компьютерных носителей хранения, которые определены выше.
Вычислительная система 100 может также содержать соединение(я) 112 связи, которые позволяют системе связываться с другими устройствами. Соединение(я) 112 связи может быть ассоциативно связано с управлением средой связи, которая определена выше.
Вычислительная система 100 может также включать в себя или связываться с устройством(ми) 114 ввода, такими как клавиатура, мышь или другое указывающее устройство, устройство голосового ввода, перо, стилус или другое устройство ввода и т.д. В примерном варианте осуществления, описанном ниже со ссылкой на фиг.2, вычислительная система 100 включает в себя экран, дисплей или другой пользовательский интерфейс (UI), который может принимать сенсорный ввод и позволяет пользователю выбрать определенные объекты, отображенные на экране. Хотя примерный вариант осуществления, описанный в данном документе, использует сенсорный ввод, варианты осуществления, описанные в данном документе, могут быть эквивалентно выполнены с возможностью также поддерживать любой эквивалентный ввод на основе прикосновения, такой как тот, который происходит с помощью пера или стилуса. Вычислительная система 100 может также включать в себя или связываться с устройством(ми) 115 вывода, такими как дисплей, динамики, принтер или т.п. Все эти устройства хорошо известны в области техники, и нет необходимости обсуждать их долго здесь.
Обзор
Хотя и является удобным, использование сенсорного ввода может увеличить время указания цели и частоту ошибок. К несчастью, пользовательские интерфейсы, предназначенные для ввода пером или стилусом, часто содержат небольшие цели, и в таких случаях выбор с помощью пальца может стать медленным и подверженным ошибкам. Например, использование пальца или другой формы "сенсорного ввода" загораживает небольшие цели, заставляя делать выбор цели и захват без визуальной обратной связи. Это сопровождает выбор и захват с ошибками.
В то время как пальцы являются отчасти менее точными, чем стилус в терминах точного управления, не только точность является причиной высокой частоты ошибок, связанных с сенсорным вводом. Другие причины высокой частоты ошибок, связанных с сенсорным вводом, возникают из-за неопределенной точки выбора, созданной областью соприкосновения пальца в комбинации с загораживанием цели. Например, пользователи с трудом определяют, захватили ли они цель, при выборе целей, меньших чем размер области соприкосновения пальца. К несчастью, палец пользователя также загораживает цели, меньшие чем область соприкосновения пальца, таким образом, мешая пользователям увидеть визуальную обратную связь.
В широком смысле предоставлены технические приемы и технологии, которые могут улучшить работу устройств с пером или сенсорным экраном, таких как PDA или UMPC. Эти технические приемы и технологии могут предоставить возможность сенсорного ввода, когда палец пользователя или другой объект выбора (например, другая часть тела) прикасается к экрану устройства с сенсорным экраном, чтобы попытаться выбрать объект, отображенный на экране. Когда пользователь пытается выбрать цель, может быть визуализирована выноска в незагороженной области экрана. Выноска включает в себя представление области экрана, которая загорожена пальцем пользователя (или другим объектом выбора). В некоторых вариантах осуществления "представление области экрана, которая загорожена" может содержать копию области экрана, которая загорожена пальцем пользователя (или другим объектом выбора).
В последующем описании технологии расширения или "смещения указания" будут описаны со ссылкой на сценарии, в которых пользователь пытается выбрать цель с помощью своего пальца. Однако будет понятно, что технологии расширения или "смещения указания" могут также, в целом, применяться всякий раз, когда пользователь пытается выбрать цель с помощью любого "объекта выбора". Когда используется в данном документе, термин "объект выбора" может заключать в себе часть тела, такую как палец или ноготь пальца, или другой инструмент для выбора, который блокирует или загораживает область устройства с сенсорным экраном, когда пользователь пытается выбрать цель, которая отображена в загороженной области, с помощью объекта выбора.
Фиг.2 является упрощенным схематическим представлением вида спереди устройства 200 с сенсорным экраном. Устройство 200 с сенсорным экраном может быть осуществлено в любом соответствующим образом сконфигурированном вычислительном устройстве или системе, например вычислительной системе 100.
Устройство 200 с сенсорным экраном содержит сенсорный экран 202 для отображения информации, включающей в себя требуемую цель, которую пользователь хочет выбрать. Когда используется в данном документе, термин "сенсорный экран" ссылается на экран, дисплей или другой UI, который выполнен с возможностью или сконструирован так, чтобы предоставить возможность сенсорного ввода посредством нажатия на область экрана, дисплея или другого UI, чтобы выбрать объект, отображенный на экране, дисплее или другом UI. Например, пользователь может нажать на экран с помощью устройства, такого как стилус или перо, или прикоснуться к экрану с помощью пальца пользователя или другой конечности. Устройство с сенсорным экраном может быть осуществлено в любом числе электронных устройств, включающих в себя, например, портативные приборы, такие как сотовые телефоны, PDA, переносные компьютеры, видеоигры, электронные игрушки, клавишные панели электронного управления для любого числа других применений, фиксированные киоски для распространения информации, такие как ATM.
Когда пользователь пытается выбрать требуемую цель (не показана на фиг.2), отображенную на сенсорном экране 202, пользователь может поместить его или ее палец поверх требуемой цели на сенсорном экране 202. Область сенсорного экрана 202, которая закрыта пальцем пользователя, может называться загороженной экранной областью 204 сенсорного экрана 202. Эта загороженная экранная область 204 содержит область экрана 202, которая закрыта пальцем пользователя и которая включает в себя требуемую цель, которую пользователь пытается выбрать. Требуемая цель занимает первую площадь на экране 202, которая находится в загороженной экранной области 204.
Когда палец пользователя прикасается к поверхности сенсорного экрана 202 в попытке выбрать требуемую цель, отображенную на экране 202, модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы определить, является ли загораживание проблемой для требуемой цели (под пальцем пользователя).
Когда определено, что загораживание вероятно должно быть проблемой относительно требуемой цели под пальцем пользователя, может быть отображена или визуализирована выноска 206 или указатель 208. Решение отобразить или визуализировать выноску 206 и указатель 208 может называться "расширением". Примерные технологии определения того, отображать или нет или визуализировать ли выноску 206 и указатель 208 (или "расширять"), могут включать в себя, но не только, например, триггер на основе пользовательского ввода, триггер на основе таймера задержки или триггер на основе размера цели. Эти технологии определения того, выполнять ли расширение, будут описаны более подробно ниже.
Когда используется в данном документе, термин "выноска" ссылается на смещенное представление загороженной экранной области (что типично включает в себя представление требуемой цели). В некоторых вариантах осуществления "представление области экрана, которая загорожена" может содержать копию области экрана, которая загорожена пальцем пользователя (или другим объектом выбора). В некоторых осуществлениях выноска может двигаться в ответ на перемещение ввода, обновления экрана или по другим причинам, и, таким образом, необязательно должна располагаться статически. Выноска, как правило, может быть любого подходящего размера и любой подходящей формы. В отдельном примере, показанном на фиг.2, показана скопированная часть выноски 206, имеющей круглую форму или рамку, однако, скопированная часть может иметь прямоугольную форму или рамку, квадратную форму или рамку, эллиптическую форму или рамку, форму или рамку анимированного пузырька или любую их комбинацию. Выноска 206 также может быть помещена или располагаться в (или транслироваться) в любое подходящее местоположение в незагороженной экранной области (показанной штриховкой на фиг.2). Примеры размещения выноски будут предоставлены ниже относительно фиг.7. Более того, выноска 206 может иметь такой же размер, что и загороженная область, меньший, чем загороженная область, или больший, чем загороженная область, в зависимости от осуществления. В одном примерном варианте осуществления "масштабирования", описанном ниже со ссылкой на фиг.9, выноска 206 больше, чем загороженная область. Это осуществление особенно полезно в ситуациях, где требуемая цель очень мала, и ее трудно выбрать.
Когда используется в данном документе, термин "указатель" ссылается на текущую координату системного ввода, определенную устройством ввода, таким как палец пользователя, и представляет точку фактического соприкосновения или выбора на экране. В одном осуществлении смещенный указатель 208 и точка фактического соприкосновения под пальцем соединены штриховой линией, как показано на фиг.2. Точка фактического соприкосновения представляет точку фактического текущего соприкосновения или точку выбора пальцем пользователя в загороженной экранной области 204. Таким образом, в дополнение к смещению указателя 208 выноска 206 смещает представление загороженного экранного содержимого, что может привести к значительно более лучшему выполнению указания цели.
Когда решение о расширении принято, модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы выполнить компьютерные инструкции для отображения или визуализации выноски 206 и указателя 208 в незагороженной экранной области (показанной штриховкой на фиг.2) сенсорного экрана 202.
Указатель 208 движется, когда пользователь пытается выбрать требуемую цель, так, что указатель 208 может двигаться посредством перемещения пальца по поверхности экрана 202. Визуальная обратная связь, обеспеченная пользователю с помощью выноски 206, позволяет пользователю двигать указатель 208 поверх представления требуемой цели, отображенной в выноске 206. Например, пользователь может направлять указатель 208 поверх представления требуемой цели, отображенной в выноске 206, удерживая свой палец на загороженной экранной области 204 сенсорного экрана 202, и направляя указатель 208, двигая или прокатывая свой палец по поверхности сенсорного экрана 202 (в загороженной экранной области 204) до тех пор, пока указатель 208 не будет находиться поверх представления требуемой цели.
Чтобы выбрать требуемую цель, пользователь совершает захват цели, поднимая свой палец с поверхности экрана 202, когда указатель 208 находится над представлением требуемой цели, отображенной в выноске 206. В одном осуществлении успешный захват цели может быть подтвержден звуковым щелчком, в то время как неудачные попытки захвата цели могут закончиться звуком ошибки. Модуль или модули в устройстве 200 с сенсорным экраном работают во взаимодействии с процессором 102, чтобы перемещать выноску 206 и указатель 208, когда пользователь поднимает свой палец с поверхности сенсорного экрана 202.
Фиг.3 является примерной блок-схемой 300 последовательности операций технологий выбора требуемой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению. Фиг.3 будет описана со ссылкой на фиг.4(a)-4(e) и фиг.5(a)-5(b), чтобы проиллюстрировать то, как технологии на фиг.3 могут быть применены в одном примерном осуществлении. Фиг.4(a)-4(e) являются последовательностью примерных схем 400, иллюстрирующих технологию расширения или "смещения указания" для выбора относительно небольшой цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно одному примерному осуществлению. Фиг.5(a)-5(b) являются последовательностью примерных схем 500, показывающих обычную технологию выбора более крупной цели, отображенной на экране устройства с сенсорным экраном, с помощью сенсорного ввода согласно другому примерному осуществлению.
На этапе 310 пользователь пытается захватить или выбрать требуемую цель, отображенную на дисплее или экране устройства с сенсорным экраном, посредством прикосновения к поверхности устройства отображения (например, поверхности устройства) с помощью своего пальца. Например, как показано на фиг.4(a) и фиг.5(a), пользователь нажимает на поверхность экрана с помощью своего пальца 401, 501 (или другого объекта, включающего в себя другие части тела или устройства), чтобы попытаться выбрать требуемую цель 410, 510. На фиг.4(a) требуемая цель 410 занимает первую, небольшую область, отображенную на экране под пальцем 401 пользователя. Требуемая цель 410 находится близко с некоторым числом других возможных целей (показанных как маленькие прямоугольники). Область экрана, которая закрыта пальцем 401 пользователя (и включает в себя требуемую цель 410 и другие возможные цели), ниже называется "загороженной" областью, которую пользователь не может видеть. На фиг.5(a) требуемая цель 510 занимает относительно большую область, отображенную на экране, которая не полностью закрыта пальцем 501 пользователя. Другими словами, на фиг.5(a) требуемая цель 510 только частично загорожена, тогда как некоторые части требуемой цели 510 все еще видимы.
Условное расширение преодолевает проблемы загораживания и позволяет пользователям легко выбирать небольшие цели. Технология расширения или смещения указания может гарантировать то, что дополнительные усилия по взаимодействию ограничены ситуацией, в которой они реально необходимы (например, небольшие цели), что может сэкономить значительное количество времени. На этапе 320 процессор или другой модуль в устройстве с сенсорным экраном определяет, необходимо ли "расширение" относительно отдельной требуемой цели. Вообще, процессор или другой модуль в устройстве с сенсорным экраном определяет, является ли загораживание проблемой для данных возможных целей, отображенных в загороженной экранной области под пальцем пользователя. Любое число различных технологий может быть использовано, чтобы определить, должно или нет выполняться расширение (например, чтобы определить, отображать ли или визуализировать или нет выноску и указатель). Эти технологии могут включать в себя, но не только, например, триггер на основе пользовательского ввода, триггер на основе таймера задержки или триггер на основе размера цели. Эти технологии будут описаны ниже.
Если определено, что расширение не нужно (например, загораживание не является проблемой для требуемой цели под пальцем пользователя), тогда на этапе 325 устройство с сенсорным экраном продолжает работать в своей обычной или нормальной манере подобно немодифицированному сенсорному экрану (например, без вызова расширения). Процесс 300 ожидает следующую требуемую цель и возвращается к этапу 310. В примерном сценарии, изображенном на фиг.5(a) и 5(b), выноска не создается или не отображается, когда пользователь пытается выбрать более крупную цель на экране устройства с сенсорным экраном. Поднимая свой палец немедленно, пользователь делает выбор как при использовании сенсорного экрана, лишенного помощи. Здесь простота ввода на сенсорном экране, лишенном помощи, делает его адекватным для цели более крупного размера.
Технология расширения или смещения указания также работает, как ожидают пользователи сенсорного экрана, в том, что она позволяет пользователям прицелиться в саму фактическую цель. Предоставляя возможность пользователям прицелиться в фактическую цель, технология расширения или смещения указания остается совместимой с обычным пером и сенсорным вводом. Эта совместимость сохраняет согласующееся взаимодействие при переключении назад и вперед между вводом с помощью пера и сенсорным вводом. Это также делает легким применение технологии расширения или смещения указания в сценариях ношения или для того, чтобы модернизировать существующие системы.
Если определено, что расширение необходимо (например, загораживание является проблемой для требуемой цели под пальцем пользователя), то на этапе 330 выноски и указатель могут быть визуализированы или отображены в незагороженной области экрана.
Технология расширения или смещения указания также работает, как ожидают пользователи сенсорного экрана, в том, что она позволяет пользователям прицелиться в саму фактическую цель. Предоставляя возможность пользователям прицелиться в фактическую цель, технология расширения или смещения указания остается совместимой с обычным пером и сенсорным вводом. Эта совместимость сохраняет согласующееся взаимодействие при переключении назад и вперед между вводом с помощью пера и сенсорным вводом. Это также делает легким применение технологии расширения или смещения указания в сценариях ношения или для того, чтобы модернизировать существующие системы.
Выноска и указатель могут помочь устранить проблемы, связанные с загораживанием, и могут также помочь уменьшить проблемы, связанные с неопределенностью точки фактического соприкосновения или выбора. Например, как показано на фиг.4(b), выноска 406 и указатель 408 могут быть предоставлены или визуализированы в незагороженной области экрана. Выноска 406 отображает представление загороженной экранной области (например, области, закрытой пальцем 410 пользователя) в незагороженной области экрана. Это представление загороженной экранной области может включать в себя, например, копию 401' требуемой цели 401. Указатель 408 представляет точку фактического соприкосновения или выбора пальца пользователя на экране. При первоначальном отображении указателя 408 указатель 408 не совпадает с копией 401' требуемой цели 401.
Более того, должно быть понятно, что в то время как позиция выноски 406 показана отображаемой выше цели и пальца пользователя, как будет описано ниже со ссылкой на фиг.6, выноска 406 может быть расположена в любом удобном местоположении в незагороженной области экрана относительно либо цели, либо пальца пользователя. Размещение выноски и указателя должно быть сделано способом, который может помочь минимизировать загораживание и максимизировать предсказуемость, чтобы ускорить визуальную переориентацию.
На этапе 340 пользователь направляет указатель поверх представления требуемой цели, чтобы выбрать требуемую цель. Например, как показано на фиг.4(c), сохраняя свой палец 410 в соприкосновении с экраном, пользователь в то же время может направлять позицию указателя 408 на основе визуальной обратной связи, обеспеченной с помощью выноски 406. Пользователь может сделать корректирующие движения и точную настройку позиции указателя, перемещая свой палец по поверхности экрана до тех пор, пока указатель 408 не будет находиться над копией 401' требуемой цели 401, отображенной в незагороженной экранной области экрана.
Когда указатель находится поверх представления требуемой цели, на этапе 350 пользователь совершает захват требуемой цели. Например, как показано на фиг.4(d), чтобы выбрать требуемую цель, пользователь совершает захват требуемой цели 401, поднимая свой палец 410 с поверхности экрана (например, выбор по поднятию), в то время как указатель 408 находится поверх копии 401' требуемой цели 401, которая отображена в незагороженной экранной области. В одном осуществлении успешный захват цели может быть подтвержден звуком щелчка, в то время как неудачные попытки захвата цели могут заканчиваться звуком ошибки. В другом осуществлении, после того как правильная позиция визуально подтверждена, поднятие пальца 410 выбирает цель 401, вызывает краткую вспышку и завершает выбор.
На этапе 360 выноска и указатель удаляются, когда пользователь поднимает свой палец с поверхности экрана. Например, как показано на фиг.4(e), выноска 406 и указатель 408 удаляются, когда пользователь поднимает свой палец (не показан) с поверхности экрана, и требуемая цель выбрана.
Технологии определения того, должно ли быть выполнено расширение
В одном варианте осуществления триггер на основе пользовательского ввода может использоваться, чтобы запустить расширение или "технологию смещения указания". Например, пользователь может нажать кнопку или выбрать другое устройство ввода, чтобы запустить расширение.
В другом варианте осуществления может использоваться триггер на основе размера цели, чтобы запустить расширение или "технологию смещения указания". Процессор или другой модуль может определить, является ли загораживание проблемой для требуемой цели, на основе размера требуемой цели относительно области соприкосновения объекта выбора (например, пальца пользователя). Например, так как загораживание может быть проблемой, когда самый маленький размер требуемой цели меньше, чем диаметр соприкосновения типичного пальца, процессор или другой модуль может определить, присутствуют ли цели, которые являются достаточно небольшими, чтобы быть загороженными пальцем (например, требуемая цель содержит небольшую цель относительно области соприкосновения объекта выбора (например, пальца пользователя)). В одном варианте осуществления существует приблизительный пороговый размер или "порог загораживания", где загораживание делает выбор более маленьких целей подверженным ошибкам. Когда пользователь нажимает на поверхность экрана с помощью своего пальца, чтобы попытаться выбрать требуемую цель (например, касается или применяет нажатие на загороженную экранную область), процессор или модуль в устройстве с сенсорным экраном определяет, является ли требуемая цель меньшей, чем порог загораживания. Если требуемая цель меньше, чем порог загораживания, выполняется технология расширения или смещения указания. Наоборот, загораживание, как правило, не будет проблемой, когда пользователь пытается выбрать более крупную цель на экране. По существу, для целей, больших чем порог загораживания, технология расширения или смещения указания не визуализирует или не отображает выноску на экране, а вместо этого работает подобно немодифицированному сенсорному экрану.
Еще в одном варианте осуществления может использоваться триггер на основе таймера задержки, чтобы запустить расширение или "технологию смещения указания". Например, процессор или другой модуль определяет, был ли палец пользователя в соприкосновении с дисплеем в течение времени, большего чем пороговое время. Если палец пользователя был в соприкосновении с дисплеем в течение времени, большего чем пороговое время, тогда процессор или другой модуль определяет, что должно быть выполнено расширение или смещение указания. Если палец пользователя был в соприкосновении с дисплеем в течение времени, менее или равного пороговому времени, процессор или другой модуль определяет, что расширение или смещение указания не должно выполняться, и что должен быть осуществлен обычный сенсорный экран без помощи.
Расширение на основе колебания и неопределенности выбора
Еще в одном варианте осуществления вместо обоснования решения о расширении только на основе триггера на основании размера цели или только на основе триггера на основании таймера задержки идеи из обоих вариантов осуществления могут быть объединены при принятии решения выполнять или нет расширение и использовать ли технологии "смещения указания" в попытке предстоящего целеуказания.
Используя время задержки, окончательное решение о том, выполнять или нет расширение, оставляется пользователю. Например, при полном отсутствии дополнительных знаний о размере и местоположениях цели может использоваться фиксированный тайм-аут задержки (например, 300 миллисекунд). Когда фиксированный тайм-аут задержки истекает, должно быть выполнено расширение или смещение указания. Однако когда устройство с сенсорным экраном предоставляет информацию, касающуюся размеров и местоположений цели, технология смещения указания может определить или вычислить тайм-аут задержки на основе "неопределенности выбора". В одном варианте осуществления, описанном ниже со ссылкой на фиг.6(a) и 6(b), может быть определен тайм-аут задержки между соприкосновением с экраном и расширением. Продолжительность тайм-аута задержки может изменяться согласно размеру целей под пальцем пользователя, а неопределенность выбора может быть определена или оценена посредством сравнения наименьшего размера цели, найденной под пальцем пользователя, с порогом загораживания.
Когда цель является небольшой по сравнению с порогом загораживания, неопределенность выбора относительно высока, и тайм-аут задержки может быть установлен в очень короткую продолжительность, и расширение происходит почти немедленно. Однако если цель гораздо больше, чем порог загораживания, тогда загораживание не является проблемой. В этом случае расширение необязательно, таким образом, тайм-аут задержки может быть установлен в более продолжительное время, позволяющее пользователю получить преимущество простого, непосредственного прикосновения. По существу, для относительно более крупных целей тайм-аут задержки относительно долог, и пользователь может захватить цель без расширения, имея в результате ту же эффективность, что и немодифицированный сенсорный экран.
Для целей приблизительно того же размера, что и порог загораживания, степень неопределенности выбора сама является неопределенной (пользователю может быть нужно расширение или нет в зависимости от его уверенности в своем выборе). В этом случае тайм-аут задержки случается после короткой задержки, как раз достаточно продолжительной для того, чтобы управлять инициированием расширения при сомнениях. Если пользователь хочет расширить или вызывать технологию смещения указания, тогда пользователь может колебаться, удерживая свой палец на поверхности экрана в течение периода времени. Чтобы избежать расширения, пользователь может немедленно поднять свой палец с поверхности экрана.
Фиг.6(a) является схемой, которая иллюстрирует область 605 соприкосновения пальца 610 пользователя, когда пользователь пытается выбрать цель 601. Фиг.6(a) также показывает пороговую величину (SF) загораживания и наименьший размер (ST) наименьшей цели 601, найденной под пальцем 610 пользователя. В одном варианте осуществления пороговая величина (SF) загораживания является наибольшим размером области 605 соприкосновения пальца 610 пользователя. Пороговая величина (SF) загораживания и наименьший размер (ST) наименьшей цели 601 могут использоваться, чтобы вычислить отношение пороговой величины (SF) к наименьшему размеру наименьшей цели, найденной под пальцем (ST).
Фиг.6(b) является графиком, показывающим, как соотношение SF/ST может быть сопоставлено с тайм-аутом задержки с помощью логистической функции. Логистическая функция определена математической формулой:
для действительных параметров a, m, n и τ.
Отношение пороговой величины (SF) загораживания к наименьшему размеру наименьшей цели, найденной под пальцем (ST), может быть сопоставлено со временем задержки с помощью логистической функции. В одном варианте осуществления, действительные параметры могут быть установлены в a=1, m=0, n=4 и τ=3. Как показано на фиг.6b, когда эти действительные параметры используются в логистической функции, это создает плавную кривую, сопоставляющие небольшие цели с ~0 мс, большие цели - с ~1500 мс и цели рядом с пороговой величиной загораживания - приблизительно с 300 мс. Другими словами, кривая достигает минимального времени задержки, близкого к 0 мс, для каждой маленькой цели; она достигает максимального времени задержки около 1500 мс для больших целей; и для целей, близких по размеру с пороговой величиной загораживания, она достигает времени задержки, близкого к 300 мс.
Оценка пороговой величины загораживания
Пороговая величина (SF) загораживания приблизительно связана с областью соприкосновения пальца, но чувствительные к прикосновению экраны, обычно используемые в PDA и UMPC, сообщают только одну точку ввода, а не область соприкосновения пальца. Оценка пороговой величины (SF) загораживания по времени может быть определена на основе размеров целей, для которой используется расширение, и на основе размеров целей, для которых расширение не используется. Мы начнем с начального предположения SF, затем увеличивая пороговую величину (SF) загораживания, если пользователь выполняет расширение, когда SF<ST, и уменьшая пороговую величину (SF) расширения, если пользователь не делает расширение и SF>ST, где s=w|SF-ST| и где w является вручную настроенным весовым коэффициентом, чтобы сгладить оценку по времени. В одном варианте осуществления, весовой коэффициент (w), равный 0,125, может быть использован, чтобы обеспечить хороший баланс между гладкостью и скоростью изучения.
Потенциальным преимуществом этой схемы является то, что, если пользователь предпочитает использовать свой ноготь (в противоположностью своему пальцу или кончику пальца), чтобы выбрать цель, пороговая величина (SF) загораживания будет сокращена так, что расширение является немедленным только для очень небольших целей. Для устройств, которые могут ощущать прикосновение, если стилус находится в кобуре устройства, этот подход позволит изучать независимые пороговые величины (SF) загораживания для ввода с помощью пальца и пера соответственно. В отсутствие этих данных обнаружения установка весового коэффициента (w) в относительно высокое значение позволяет быстро изучить новую пороговую величину (SF) загораживания в ответ на измерения в стиле пользовательского ввода.
Фиг.7(a)-(d) являются схемами, которые иллюстрируют примерное размещение выноски 706 и указателя 708 относительно других местоположений пальца 710 пользователя на экране устройства с сенсорным экраном. Фиг.7(a)-(d) иллюстрируют, что расширение или технология смещения указания не имеет в результате каких-либо недоступных экранных областей. Позиция выноски может быть отображена в любом местоположении в незагороженной области экрана относительно требуемой цели 701 и/или пальца 710 пользователя. Например, в схеме, показанной на фиг.7(a), выноска 706A смещена непосредственно выше пальца 710A пользователя и требуемой цели 701A в незагороженной области экрана. На фиг.7(b), чтобы избежать обрезания по краям экрана, выноска 706B смещена вправо и выше от пальца 710B пользователя и требуемой цели 701B в незагороженной области экрана. Размещение выноски 706B дополнительно по направлению к середине экрана может помочь избежать обрезания рядом с краями. На фиг.7(c), чтобы избежать обрезания с верхнего края экрана, требуемая цель 701C находится рядом с верхним краем дисплея. По существу, чтобы избежать обрезания, выноска 706C может быть смещена влево от пальца 710C пользователя и слегка ниже требуемой цели 701C в незагороженной области экрана. Будет понятно, что если невозможно сместить выноску 706C влево, тогда выноска 706C может быть смещена вправо, как показано на фиг.7(d), где выноска 706D может быть смещена вправо от пальца 710D пользователя и слегка ниже требуемой цели 701D в незагороженной области экрана. Регулируя относительное местоположение выноски 706, технология расширения или смещения указания управляет целями 701 где угодно на экране, и может предотвратить проблемы обрезания, которые иначе могут возникнуть на краях экрана. Кроме того, будет понятно, что "обнаружение доминирования одной из рук" может использоваться, чтобы реверсировать размещение или позиционирование выноски 706 для пользователей-левшей.
Корректировка воспринятой пользователем точки ввода
Фиг.8(a) является схемой, показывающей цель 801, палец 810 пользователя и точку 807 ввода с позиции пользователя. Во многих устройствах с сенсорным экраном одна точка выбора вычисляется и помещается приблизительно в середину области соприкосновения пальца. Фиг.8(b) является схемой, показывающей цель 801, область 809 соприкосновения пальца пользователя и точку 807' ввода с позиции аппаратных средств. У некоторых пользователей точки соприкосновения часто находятся слегка ниже подразумеваемой цели. Технология смещения указания отображает позицию указателя относительно первоначальной точки соприкосновения. В некоторых вариантах осуществления местоположение указателя относительно первоначальной точки соприкосновения может регулироваться, чтобы отразить воспринятую пользователем точку соприкосновения.
Например, в одном варианте осуществления технология смещения указания может регулировать позицию ввода на основе одной точки соприкосновения. Оценка поправочного вектора (V), который сопоставляет аппаратную точку 807' ввода с воспринятой пользователем точкой 807 ввода, может быть вычислена на обычной основе. Например, в одном варианте осуществления оценка поправочного вектора (V) может обновляться посредством добавления взвешенного вектора между исправленной конечной точкой (P2) поднятия пальца и первоначальной точкой (P1) соприкосновения: Vt+1=Vt+w(P2-P1), где w - вручную настроенный весовой коэффициент. В одном варианте осуществления вручную настроенный весовой коэффициент (w) может быть установлен приблизительно равным 0,33, чтобы сгладить оценку при этом не получая слишком медленное итеративное уточнение. Это уменьшает время точной настройки после того, как оценка V сходится, позволяя пользователям просто подтверждать выбранную цель без дополнительной регулировки. Но в отличие от других пальцев, форма соприкосновения большого пальца имеет склонность изменяться в зависимости от местоположения соприкосновения на экране. Это делает единственный вектор регулировки недостаточным. Линейная интерполяция между местоположением конкретных векторов регулировки может смягчить эту проблему.
Увеличение или "масштабирование" выноски
Одной целью технологии расширения или смещения указания является разрешение пользователям захватывать цели, избегая загораживания цели. В некоторых случаях использования цель может быть очень маленькой. Например, тогда как технологии смещения указания, описанные выше, хорошо работают для захвата целей, которые равны 6 пикселям или более (приблизительно 2,6 мм), в некоторых случаях пользователь может захотеть захватить цели, меньшие чем 6 пикселей. В некоторых вариантах осуществления технология смещения указания может быть улучшена с помощью масштабирования и улучшенного управления соотношением управление/отображение (CD), чтобы улучшить точность указания цели и позволить высокоточную безошибочность указания.
Фиг.9 является схемой, показывающей увеличение масштаба, которое может быть применено к выноске 906, созданной технологией расширения или смещения указания, когда пользователь пытается выбрать небольшую цель. Для очень маленьких целей вышеописанные технологии могут дополнительно осуществлять функциональность масштабирования, увеличивая выноску 906 и увеличивая отношение отображения выноски 906 к загороженной экранной области, которую воспроизводит выноска 906. Когда функциональность масштабирования реализована, воспроизведение загороженной экранной области, в которой отображается выноска 906, больше по размеру, чем фактическая область, загороженная пальцем пользователя, так что выноска 906 представляет увеличенную версию загороженной экранной области.
В некоторых вариантах осуществления выноска 906 может быть модифицирована так, что она теперь перемещается вместе с пальцем подобно сопровождающему меню, так что пользователи могут добраться до содержимого за ней. Так как палец больше не сопоставляется непосредственно с позицией указателя 908, выноска 906 перемещается так, что она не становится загороженной во время исправительной фазы. Первоначальная позиция выноски 906 может быть помещена относительно первоначальной точки соприкосновения. Если точка соприкосновения перемещается за пороговый диаметр, выноска 906 перемещается вместе с пальцем 906 подобно сопровождающему меню. Это предоставляет возможность точной настройки за первоначальной областью, закрытой рамкой, если первоначальная точка соприкосновения была слишком далеко от требуемой цели на данное расстояние увеличенного масштаба (или увеличенное двигательное пространство с высокими CD-соотношениями).
В отдельном примере выполнено расширение, и представление загороженной экранной области, которая отображается в выноске 906, было увеличено. Будет понятно, что любая подходящая кратность увеличения может использоваться в зависимости от размера дисплея, размера загороженной области или размера отдельной цели. Чем выше увеличение выноски, тем меньше содержимого выноски будет видно. В то время как такое увеличение будет обеспечивать видимость цели размером с пиксель, этого может быть недостаточно, чтобы позволить надежный захват цели. В некоторых вариантах осуществления масштабирование может быть дополнено, кроме того, улучшением в соотношении управление/отображение (CD).
Улучшение соотношения управление/отображение (CD)
Соотношение управление/отображение (CD) является сопоставлением между реальным перемещением пальца ("Управление") с перемещением системного указателя по отображению ("Отображение"). Увеличивая CD-соотношение больше 1, пальцу необходимо двигаться больше, чем указателю, чтобы покрыть определенное расстояние указателя. Посредством уменьшения CD-соотношения меньше 1 палец может двигаться на более короткое расстояние, чем указатель, чтобы покрыть определенное расстояние указателя. Эта манипуляция также называется "усилением", которая противоположна CD-соотношению. Усиление увеличивает или уменьшает результирующее перемещение указателя, заданное некоторым перемещением органа управления. Если усиление слабое, то перемещение указателя меньше, чем определенное перемещение органа управления.
Чтобы позволить пользователям прицелиться в цель, многие устройства с сенсорным экраном работают с CD-соотношением, равным 1. Например, позиция указателя может быть сопоставлена 1:1 с позицией ввода пальцем. Однако после того как палец пользователя находится в соприкосновении с экраном, указатель может быть отображен, чтобы обеспечить пользователей визуальной обратной связью. Тогда перемещение пальца может управлять указателем соответствующим образом, при этом указатель движется быстрее или медленнее, чем палец управляет им. Чтобы избежать этого, в улучшенной версии технологии смещения указания, CD-соотношения могут регулироваться вплоть до 8:1 при расширении. Перемещение указателя по экрану замедляется, расширяя 1 пиксель цели до 8 пикселей в двигательном пространстве. В альтернативных вариантах осуществления CD-соотношение может регулироваться с помощью пантографического манипулятора или на основе расстояния от первоначальной точки касания с целью стабилизации.
Как обсуждалось выше, несмотря на первоначальную позицию цели, выноска размещается, чтобы избежать загораживания пальцем. В некоторых случаях перемещение пальца делает первоначальную позицию цели более незагороженной. Так как чувствительный к прикосновению дисплей имеет ограниченную область ввода, увеличение CD-соотношения выше 1 уменьшает диапазон "двигательного пространства" до 1/CD пространства отображения. Перемещение пальца в пространстве управления может называться перемещением в "двигательном пространстве", так как человек управляет этим перемещением с помощью своих когнитивных двигательных процессов. Это может быть проблемой, если первоначальная точка соприкосновения находится в X пикселях от края дисплея и более чем в X/CD пикселей дополнительно далее от цели. Так как технология смещения указания применяет выбор по поднятию пальца, для пользователя не существует способа выбрать цель. Чтобы обойти эту проблему, технология смещения указания может быть модифицирована, чтобы привязаться к точке, более близкой к краю, где промежуточные пиксели выбираются или используют ускорение указателя так, что быстрая последовательность длинных-медленных и коротких-быстрых перемещений может имитировать захват.
В то время как, по меньшей мере, один примерный вариант осуществления был представлен в предшествующем подробном описании, следует понимать, что существует огромное число вариаций. Также следует понимать, что примерный вариант или варианты осуществления, описанные в данном документе, не предназначены, чтобы ограничивать рамки, применимость или конфигурацию систем, способов или устройств каким-либо способом. Скорее, предшествующее подробное описание обеспечит специалистов в данной области техники удобной подсказкой для осуществления описанного варианта или вариантов осуществления. Должно быть понятно, что различные изменения могут быть сделаны в функционировании и размещении элементов без отступления от рамок, определенных формулой изобретения, которая включает в себя известные эквиваленты и поддающиеся предвидению эквиваленты во время регистрации этой патентной заявки.
Claims (22)
1. Способ сенсорного ввода в устройстве с сенсорным экраном, содержащем экран, содержащий этапы, на которых
отображают цель на экране и
условно визуализируют выноску на экране в ответ на попытку пользователя выбрать цель с помощью объекта выбора, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, причем выноску не визуализируют, если определено, что область под областью выбора не загорожена, и причем взаимодействие с пользователем включает в себя соприкосновение загороженной области экрана с объектом выбора при попытке выбрать цель, отображаемую на экране под объектом выбора; и
определяют, что область под областью выбора загорожена, если объект выбора соприкасается с дисплеем дольше порогового времени.
отображают цель на экране и
условно визуализируют выноску на экране в ответ на попытку пользователя выбрать цель с помощью объекта выбора, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, причем выноску не визуализируют, если определено, что область под областью выбора не загорожена, и причем взаимодействие с пользователем включает в себя соприкосновение загороженной области экрана с объектом выбора при попытке выбрать цель, отображаемую на экране под объектом выбора; и
определяют, что область под областью выбора загорожена, если объект выбора соприкасается с дисплеем дольше порогового времени.
2. Способ по п.1, дополнительно содержащий этап, на котором визуализируют указатель, представляющий фактическую точку соприкосновения на экране.
3. Способ по п.2, дополнительно содержащий этап, на котором направляют указатель поверх представления цели, отображаемой в незагороженной области экрана.
4. Способ по п.3, дополнительно содержащий этап, на котором совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.
5. Способ по п.1, причем загороженная область включает в себя область экрана, которая содержит цель и которая закрыта объектом выбора.
6. Способ по п.1, в котором определение, является ли область под областью выбора незагороженной, основано на размере цели.
7. Способ по п.6, в котором выноску не визуализируют, если цель включает в себя цель, которая является относительно большой относительно загороженной области.
8. Способ по п.1, причем взаимодействие с пользователем включает в себя команду на визуализацию выноски, принимаемую от пользователя.
9. Способ по п.1, в котором фактическая точка соприкосновения является текущей точкой выбора объекта выбора на экране и причем визуализация выноски включает в себя этап, на котором отображают выноску в незагороженной области в ответ на соприкосновение с загороженной областью экрана, причем выноска содержит представление загороженной области экрана в незагороженной области экрана.
10. Способ по п.9, в котором этап направления указателя поверх представления цели, отображаемой в незагороженной области экрана, включает в себя этапы, на которых
удерживают объект выбора на экране и
направляют указатель на основе визуальной обратной связи, обеспечиваемой с помощью выноски, поверх представления цели, отображаемой в незагороженной области экрана, посредством перемещения объекта выбора по поверхности экрана.
удерживают объект выбора на экране и
направляют указатель на основе визуальной обратной связи, обеспечиваемой с помощью выноски, поверх представления цели, отображаемой в незагороженной области экрана, посредством перемещения объекта выбора по поверхности экрана.
11. Способ по п.10, в котором совершение захвата цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана, включает в себя этапы, на которых
поднимают объект выбора с поверхности экрана, чтобы определить точку выбора, когда указатель находится поверх представления цели, отображаемой в незагороженной области, чтобы выбрать цель; и
удаляют выноску, когда объект выбора поднят с экрана.
поднимают объект выбора с поверхности экрана, чтобы определить точку выбора, когда указатель находится поверх представления цели, отображаемой в незагороженной области, чтобы выбрать цель; и
удаляют выноску, когда объект выбора поднят с экрана.
12. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, сохраненные на нем, предписывающие компьютеру выполнять способ по п.1.
13. Способ сенсорного ввода в устройстве с сенсорным экраном, содержащем экран, содержащий этапы, на которых
отображают цель на экране и
визуализируют выноску на экране в ответ на попытку выбрать цель, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем попытка выбрать цель включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора;
определяют, является ли область под областью выбора загороженной, причем выноску визуализируют, если область под областью выбора является загороженной, и выноску не визуализируют, если область под областью выбора не является загороженной, причем определение того, является ли область под областью выбора загороженной, включает в себя этап, на котором определяют, является ли область под областью выбора загороженной, на основе периода тайм-аута задержки;
визуализируют указатель, представляющий фактическую точку соприкосновения на экране;
направляют указатель поверх представления цели, отображаемой в незагороженной области экрана; и
совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.
отображают цель на экране и
визуализируют выноску на экране в ответ на попытку выбрать цель, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем попытка выбрать цель включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора;
определяют, является ли область под областью выбора загороженной, причем выноску визуализируют, если область под областью выбора является загороженной, и выноску не визуализируют, если область под областью выбора не является загороженной, причем определение того, является ли область под областью выбора загороженной, включает в себя этап, на котором определяют, является ли область под областью выбора загороженной, на основе периода тайм-аута задержки;
визуализируют указатель, представляющий фактическую точку соприкосновения на экране;
направляют указатель поверх представления цели, отображаемой в незагороженной области экрана; и
совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.
14. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, сохраненные на нем, предписывающие компьютеру выполнять способ по п.13.
15. Способ сенсорного ввода в устройстве с сенсорным экраном, содержащем экран, содержащий этапы, на которых
отображают цель на экране и
визуализируют выноску на экране в ответ на попытку выбрать цель, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем попытка выбрать цель включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора;
определяют, является ли область под областью выбора загороженной, причем выноску визуализируют, если область под областью выбора является загороженной, и выноску не визуализируют, если область под областью выбора не является загороженной, причем определение того, является ли область под областью выбора загороженной, включает в себя этап, на котором определяют, является ли область под областью выбора загороженной, на основе команды, принятой от пользователя;
визуализируют указатель, представляющий фактическую точку соприкосновения на экране;
направляют указатель поверх представления цели, отображаемой в незагороженной области экрана; и
совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.
отображают цель на экране и
визуализируют выноску на экране в ответ на попытку выбрать цель, причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем попытка выбрать цель включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора;
определяют, является ли область под областью выбора загороженной, причем выноску визуализируют, если область под областью выбора является загороженной, и выноску не визуализируют, если область под областью выбора не является загороженной, причем определение того, является ли область под областью выбора загороженной, включает в себя этап, на котором определяют, является ли область под областью выбора загороженной, на основе команды, принятой от пользователя;
визуализируют указатель, представляющий фактическую точку соприкосновения на экране;
направляют указатель поверх представления цели, отображаемой в незагороженной области экрана; и
совершают захват цели, когда указатель находится поверх представления цели, отображаемой в незагороженной области экрана.
16. Машиночитаемый носитель, содержащий машиноисполняемые инструкции, сохраненные на нем, предписывающие компьютеру выполнять способ по п.15.
17. Устройство сенсорного ввода, содержащее
сенсорный экран для отображения информации, содержащей цель;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для условной визуализации выноски в незагороженной области сенсорного экрана в ответ на попытку пользователя выбрать цель, отображаемую на сенсорном экране, с помощью объекта выбора, причем экран включает в себя загороженную область, которая включает в себя цель и которая закрыта объектом выбора, и причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, и причем выноску не визуализируют, если определено, что область под областью выбора не загорожена;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для визуализации указателя в незагороженной области сенсорного экрана в ответ на попытку выбрать цель, отображаемую на сенсорном экране, причем указатель представляет фактическую точку соприкосновения объекта выбора на экране и причем указатель является перемещаемым поверх представления цели, отображаемой в незагороженной области сенсорного экрана, причем цель выбирают поднятием объекта выбора с поверхности экрана, в то время как указатель находится поверх представления цели, отображаемой в незагороженной области;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для определения того, является ли область под областью выбора загороженной, когда объект выбора нажимает на поверхность сенсорного экрана, чтобы попытаться выбрать цель, отображаемую на экране, дольше порогового времени; и машиночитаемый носитель, содержащий машиноисполняемые инструкции для удаления выноски, когда объект выбора поднят с сенсорного экрана.
сенсорный экран для отображения информации, содержащей цель;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для условной визуализации выноски в незагороженной области сенсорного экрана в ответ на попытку пользователя выбрать цель, отображаемую на сенсорном экране, с помощью объекта выбора, причем экран включает в себя загороженную область, которая включает в себя цель и которая закрыта объектом выбора, и причем выноска содержит представление загороженной области экрана в незагороженной области экрана, причем выноску визуализируют, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, и причем выноску не визуализируют, если определено, что область под областью выбора не загорожена;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для визуализации указателя в незагороженной области сенсорного экрана в ответ на попытку выбрать цель, отображаемую на сенсорном экране, причем указатель представляет фактическую точку соприкосновения объекта выбора на экране и причем указатель является перемещаемым поверх представления цели, отображаемой в незагороженной области сенсорного экрана, причем цель выбирают поднятием объекта выбора с поверхности экрана, в то время как указатель находится поверх представления цели, отображаемой в незагороженной области;
машиночитаемый носитель, содержащий машиноисполняемые инструкции для определения того, является ли область под областью выбора загороженной, когда объект выбора нажимает на поверхность сенсорного экрана, чтобы попытаться выбрать цель, отображаемую на экране, дольше порогового времени; и машиночитаемый носитель, содержащий машиноисполняемые инструкции для удаления выноски, когда объект выбора поднят с сенсорного экрана.
18. Устройство сенсорного ввода по п.17, причем взаимодействие с пользователем включает в себя команду на визуализацию выноски, принимаемую от пользователя.
19. Устройство отображения, содержащее экран, предназначенный для отображения, по меньшей мере, одной цели, которая может быть выбрана нажатием на поверхность экрана с помощью объекта выбора, содержащее выноску, условно визуализированную в незагороженной области экрана в ответ на попытку пользователя выбрать цель с помощью объекта выбора, причем выноска содержит представление загороженной области экрана, которая включает в себя цель и которая закрыта объектом выбора, причем представление загороженной области включает в себя представление цели, причем выноска визуализируется, если на основе взаимодействия с пользователем определено, что область под областью выбора загорожена, причем выноска не визуализируется, если определено, что область под областью выбора не загорожена, причем взаимодействие с пользователем включает в себя соприкосновение загороженной области экрана с объектом выбора, чтобы попытаться выбрать цель, отображаемую на экране под объектом выбора; и причем определяется, что область под областью выбора является загороженной, если объект выбора соприкасается с дисплеем дольше порогового времени.
20. Устройство отображения по п.19, причем выноска не отображается, когда пользователь пытается выбрать цель на экране устройства отображения, которая больше загороженной области.
21. Устройство отображения по п.19, дополнительно содержащее указатель, представляющий фактическую точку соприкосновения объекта выбора на экране, причем указатель отображается в незагороженной области, и причем фактическая точка соприкосновения представляет фактическую текущую точку соприкосновения в загороженной области, и причем указатель является перемещаемым посредством перемещения объекта выбора по поверхности экрана, и причем визуальная обратная связь, обеспечиваемая пользователю посредством выноски, позволяет пользователю перемещать указатель поверх представления цели, отображаемой в незагороженной области экрана.
22. Устройство отображения по п.19, причем взаимодействие с пользователем включает в себя команду на визуализацию выноски, принимаемую от пользователя.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/635,730 | 2006-12-07 | ||
US11/635,730 US7692629B2 (en) | 2006-12-07 | 2006-12-07 | Operating touch screen interfaces |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012130086A Division RU2623181C2 (ru) | 2006-12-07 | 2012-07-16 | Рабочие интерфейсы сенсорного экрана |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2009121545A RU2009121545A (ru) | 2010-12-10 |
RU2464624C2 true RU2464624C2 (ru) | 2012-10-20 |
Family
ID=39492631
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2009121545/08A RU2464624C2 (ru) | 2006-12-07 | 2007-12-07 | Рабочие интерфейсы сенсорного экрана |
RU2012130086A RU2623181C2 (ru) | 2006-12-07 | 2012-07-16 | Рабочие интерфейсы сенсорного экрана |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012130086A RU2623181C2 (ru) | 2006-12-07 | 2012-07-16 | Рабочие интерфейсы сенсорного экрана |
Country Status (16)
Country | Link |
---|---|
US (1) | US7692629B2 (ru) |
EP (1) | EP2126672B1 (ru) |
JP (1) | JP4790847B2 (ru) |
KR (2) | KR101486688B1 (ru) |
CN (2) | CN101553775B (ru) |
AU (1) | AU2007329261B2 (ru) |
BR (1) | BRPI0717968B1 (ru) |
CA (1) | CA2668207C (ru) |
IL (1) | IL198055A (ru) |
MX (1) | MX2009004905A (ru) |
MY (1) | MY151816A (ru) |
NO (1) | NO20092538L (ru) |
RU (2) | RU2464624C2 (ru) |
TW (2) | TWI506504B (ru) |
WO (1) | WO2008070815A1 (ru) |
ZA (1) | ZA200900784B (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2651194C2 (ru) * | 2015-01-23 | 2018-04-18 | Сяоми Инк. | Способ и устройство для взаимодействия с кнопкой |
RU2675153C2 (ru) * | 2013-02-23 | 2018-12-17 | Самсунг Электроникс Ко., Лтд. | Способ предоставления обратной связи в ответ на пользовательский ввод и терминал, его реализующий |
Families Citing this family (114)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7509588B2 (en) | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
KR100830467B1 (ko) | 2006-07-13 | 2008-05-20 | 엘지전자 주식회사 | 터치 패널을 갖는 영상기기 및 이 영상기기에서 줌 기능을수행하는 방법 |
US10313505B2 (en) | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
US7924271B2 (en) * | 2007-01-05 | 2011-04-12 | Apple Inc. | Detecting gestures on multi-event sensitive devices |
US8519964B2 (en) | 2007-01-07 | 2013-08-27 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
US8619038B2 (en) | 2007-09-04 | 2013-12-31 | Apple Inc. | Editing interface |
US20090077459A1 (en) * | 2007-09-19 | 2009-03-19 | Morris Robert P | Method And System For Presenting A Hotspot In A Hypervideo Stream |
JP2009193423A (ja) * | 2008-02-15 | 2009-08-27 | Panasonic Corp | 電子機器の入力装置 |
US8323026B2 (en) * | 2008-04-15 | 2012-12-04 | International Business Machines Corporation | Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback |
US8992225B2 (en) * | 2008-04-15 | 2015-03-31 | International Business Machines Corporation | Monitoring recipe preparation using instructive device and generating an alert to provide feedback |
US8342847B2 (en) * | 2008-04-15 | 2013-01-01 | International Business Machines Corporation | Interactive recipe preparation instruction delivery to disabled indiviuals |
US8419433B2 (en) * | 2008-04-15 | 2013-04-16 | International Business Machines Corporation | Monitoring recipe preparation using interactive cooking device |
US8419434B2 (en) * | 2008-04-15 | 2013-04-16 | International Business Machines Corporation | Interactive recipe preparation using interactive cooking device to communicate with kitchen appliances |
JP4650549B2 (ja) * | 2008-10-06 | 2011-03-16 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
EP2228668A1 (en) * | 2009-03-09 | 2010-09-15 | Agfa HealthCare | Method of eliminating the effect of afterglow on a radiation image read out of a photostimulable phosphor screen. |
US20100295799A1 (en) | 2009-05-21 | 2010-11-25 | Sony Computer Entertainment America Inc. | Touch screen disambiguation based on prior ancillary touch input |
JP5218293B2 (ja) * | 2009-06-22 | 2013-06-26 | ソニー株式会社 | 情報処理装置、表示制御方法、およびプログラム |
US9372614B2 (en) * | 2009-07-09 | 2016-06-21 | Qualcomm Incorporated | Automatic enlargement of viewing area with selectable objects |
US8531410B2 (en) * | 2009-08-18 | 2013-09-10 | Fuji Xerox Co., Ltd. | Finger occlusion avoidance on touch display devices |
TWI416369B (zh) * | 2009-09-18 | 2013-11-21 | Htc Corp | 資料選取方法及系統,及其電腦程式產品 |
KR101630754B1 (ko) * | 2009-10-16 | 2016-06-24 | 삼성전자주식회사 | 디스플레이 장치 및 인터페이스 방법 |
TW201115454A (en) * | 2009-10-29 | 2011-05-01 | Htc Corp | Data selection and display methods and systems, and computer program products thereof |
JP2011134273A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
TWI410842B (zh) * | 2009-12-31 | 2013-10-01 | Acer Inc | 觸控顯示系統 |
US8782556B2 (en) | 2010-02-12 | 2014-07-15 | Microsoft Corporation | User-centric soft keyboard predictive technologies |
US20110221684A1 (en) * | 2010-03-11 | 2011-09-15 | Sony Ericsson Mobile Communications Ab | Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device |
US10788976B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
US8881060B2 (en) | 2010-04-07 | 2014-11-04 | Apple Inc. | Device, method, and graphical user interface for managing folders |
US8799815B2 (en) | 2010-07-30 | 2014-08-05 | Apple Inc. | Device, method, and graphical user interface for activating an item in a folder |
US8826164B2 (en) | 2010-08-03 | 2014-09-02 | Apple Inc. | Device, method, and graphical user interface for creating a new folder |
JP5614173B2 (ja) * | 2010-08-25 | 2014-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5732783B2 (ja) * | 2010-09-02 | 2015-06-10 | ソニー株式会社 | 情報処理装置、情報処理装置の入力制御方法及びプログラム |
JP5703873B2 (ja) * | 2011-03-17 | 2015-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20120238254A1 (en) * | 2011-03-17 | 2012-09-20 | Ebay Inc. | Video processing system for identifying items in video frames |
FR2973899B1 (fr) * | 2011-04-07 | 2013-04-26 | Archos | Procede de selection d'un element d'une interface utilisateur et dispositif mettant en oeuvre un tel procede. |
CN103492981A (zh) * | 2011-04-19 | 2014-01-01 | 惠普发展公司,有限责任合伙企业 | 触摸屏选择 |
US9389764B2 (en) * | 2011-05-27 | 2016-07-12 | Microsoft Technology Licensing, Llc | Target disambiguation and correction |
US9990003B2 (en) | 2011-06-03 | 2018-06-05 | Microsoft Technology Licensing, Llc | Motion effect reduction for displays and touch input |
WO2012169106A1 (ja) * | 2011-06-10 | 2012-12-13 | Necカシオモバイルコミュニケーションズ株式会社 | 入力装置およびタッチパネルの制御方法 |
US9404767B2 (en) * | 2011-06-10 | 2016-08-02 | The Boeing Company | Methods and systems for performing charting tasks |
US8832588B1 (en) * | 2011-06-30 | 2014-09-09 | Microstrategy Incorporated | Context-inclusive magnifying area |
KR20130017241A (ko) * | 2011-08-10 | 2013-02-20 | 삼성전자주식회사 | 터치 스크린 단말기에서 입출력 방법 및 장치 |
US8971572B1 (en) | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
US9612670B2 (en) | 2011-09-12 | 2017-04-04 | Microsoft Technology Licensing, Llc | Explicit touch selection and cursor placement |
US9939888B2 (en) | 2011-09-15 | 2018-04-10 | Microsoft Technology Licensing Llc | Correlating movement information received from different sources |
CN102508601B (zh) * | 2011-10-12 | 2018-01-16 | 李锐 | 控制电子终端中的菜单导航的设备和方法 |
US8490008B2 (en) | 2011-11-10 | 2013-07-16 | Research In Motion Limited | Touchscreen keyboard predictive display and generation of a set of characters |
US9122672B2 (en) | 2011-11-10 | 2015-09-01 | Blackberry Limited | In-letter word prediction for virtual keyboard |
US9310889B2 (en) | 2011-11-10 | 2016-04-12 | Blackberry Limited | Touchscreen keyboard predictive display and generation of a set of characters |
EP2784640A4 (en) * | 2011-11-21 | 2015-10-21 | Nikon Corp | DISPLAY DEVICE AND DISPLAY CONTROL PROGRAM |
US9524097B2 (en) * | 2011-12-22 | 2016-12-20 | International Business Machines Corporation | Touchscreen gestures for selecting a graphical object |
TWI480768B (zh) * | 2012-01-04 | 2015-04-11 | Aver Information Inc | 具調校功能之顯示方法與系統 |
TWI518580B (zh) | 2012-01-15 | 2016-01-21 | 仁寶電腦工業股份有限公司 | 可攜式裝置與其操作方法 |
US9977876B2 (en) | 2012-02-24 | 2018-05-22 | Perkinelmer Informatics, Inc. | Systems, methods, and apparatus for drawing chemical structures using touch and gestures |
WO2013123572A1 (en) | 2012-02-24 | 2013-08-29 | Research In Motion Limited | Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters |
WO2013128935A1 (ja) * | 2012-03-01 | 2013-09-06 | Necカシオモバイルコミュニケーションズ株式会社 | 情報処理装置、操作状況通知方法及び非一時的なコンピュータ可読媒体 |
JP5754410B2 (ja) * | 2012-04-13 | 2015-07-29 | トヨタ自動車株式会社 | 表示装置 |
CN102681779A (zh) * | 2012-04-25 | 2012-09-19 | 中兴通讯股份有限公司南京分公司 | 触摸屏操作方法及装置 |
US10025487B2 (en) * | 2012-04-30 | 2018-07-17 | Blackberry Limited | Method and apparatus for text selection |
CN103425311A (zh) * | 2012-05-25 | 2013-12-04 | 捷达世软件(深圳)有限公司 | 移动对象点选定位方法及系统 |
US11073959B2 (en) * | 2012-06-08 | 2021-07-27 | Apple Inc. | Simulating physical materials and light interaction in a user interface of a resource-constrained device |
US9116552B2 (en) | 2012-06-27 | 2015-08-25 | Blackberry Limited | Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard |
US9032335B2 (en) * | 2012-08-14 | 2015-05-12 | Christopher V. Beckman | User interface techniques reducing the impact of movements |
CN103631506B (zh) * | 2012-08-24 | 2018-09-04 | 腾讯科技(深圳)有限公司 | 基于终端的阅读方法及相应的终端 |
JP2014044605A (ja) * | 2012-08-28 | 2014-03-13 | Fujifilm Corp | タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム |
CN103677594B (zh) * | 2012-09-04 | 2018-04-27 | 中兴通讯股份有限公司 | 文本处理方法和装置 |
TWI467458B (zh) * | 2012-09-21 | 2015-01-01 | Touchplus Information Corp | 電容式觸控裝置 |
US10114445B2 (en) * | 2012-10-29 | 2018-10-30 | Facebook, Inc. | Screen timeout duration |
US20140118268A1 (en) * | 2012-11-01 | 2014-05-01 | Google Inc. | Touch screen operation using additional inputs |
US9535583B2 (en) * | 2012-12-13 | 2017-01-03 | Perkinelmer Informatics, Inc. | Draw-ahead feature for chemical structure drawing applications |
US9436357B2 (en) * | 2013-03-08 | 2016-09-06 | Nook Digital, Llc | System and method for creating and viewing comic book electronic publications |
US20140282269A1 (en) * | 2013-03-13 | 2014-09-18 | Amazon Technologies, Inc. | Non-occluded display for hover interactions |
US8854361B1 (en) | 2013-03-13 | 2014-10-07 | Cambridgesoft Corporation | Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information |
EP2973005A1 (en) | 2013-03-13 | 2016-01-20 | Perkinelmer Informatics, Inc. | Systems and methods for gesture-based sharing of data between separate electronic devices |
US8812995B1 (en) | 2013-04-10 | 2014-08-19 | Google Inc. | System and method for disambiguating item selection |
US9430127B2 (en) * | 2013-05-08 | 2016-08-30 | Cambridgesoft Corporation | Systems and methods for providing feedback cues for touch screen interface interaction with chemical and biological structure drawing applications |
US9751294B2 (en) | 2013-05-09 | 2017-09-05 | Perkinelmer Informatics, Inc. | Systems and methods for translating three dimensional graphic molecular models to computer aided design format |
WO2014185920A1 (en) * | 2013-05-16 | 2014-11-20 | Empire Technology Development, Llc | Three dimensional user interface in augmented reality |
CN104423863A (zh) * | 2013-08-30 | 2015-03-18 | 宏碁股份有限公司 | 被遮蔽画面投影方法及应用该方法的可携式电子装置 |
CN104461312A (zh) * | 2013-09-17 | 2015-03-25 | 联想(北京)有限公司 | 一种显示控制方法及电子设备 |
AU2013404001B2 (en) | 2013-10-30 | 2017-11-30 | Apple Inc. | Displaying relevant user interface objects |
US9239648B2 (en) * | 2014-03-17 | 2016-01-19 | Google Inc. | Determining user handedness and orientation using a touchscreen device |
JP2015191259A (ja) * | 2014-03-27 | 2015-11-02 | 日本電気株式会社 | 入力インターフェイスおよびその制御方法およびその制御プログラム、および入力インターフェイスを有する情報端末およびその制御方法およびその制御プログラム |
KR102281133B1 (ko) * | 2014-06-12 | 2021-07-26 | 엘지전자 주식회사 | 와치 타입 단말기 및 그것의 제어 방법 |
WO2016007354A1 (en) | 2014-07-07 | 2016-01-14 | ChefSteps, Inc. | Systems, articles and methods related to providing customized cooking instruction |
CN105677193A (zh) * | 2014-11-18 | 2016-06-15 | 夏普株式会社 | 对象操作方法和电子设备 |
CN107249403B (zh) | 2014-12-22 | 2021-03-30 | 布瑞威利美国公司 | 食物制备指导系统 |
JP6385272B2 (ja) * | 2014-12-26 | 2018-09-05 | 株式会社バンダイナムコエンターテインメント | 入力処理装置及びプログラム |
DE112016000542T5 (de) | 2015-01-30 | 2017-11-02 | ChefSteps, Inc. | Nahrungsmittelzubereitungssteuerungs-system |
CN106293444B (zh) * | 2015-06-25 | 2020-07-03 | 小米科技有限责任公司 | 移动终端、显示控制方法及装置 |
CA2993176A1 (en) | 2015-07-21 | 2017-01-26 | ChefSteps, Inc. | Food preparation control system |
EP3378028A4 (en) | 2015-11-16 | 2019-04-03 | Chefsteps Inc. | AGGREGATION AND PERSONALIZATION OF DATA FOR REMOTE CONTROL COOKING DEVICES |
US9791833B1 (en) | 2016-04-13 | 2017-10-17 | Google Inc. | Physical watch hands for a computerized watch |
DK201670595A1 (en) | 2016-06-11 | 2018-01-22 | Apple Inc | Configuring context-specific user interfaces |
US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
US10572054B2 (en) * | 2016-10-28 | 2020-02-25 | Nanning Fugui Precision Industrial Co., Ltd. | Interface control method for operation with one hand and electronic device thereof |
CN106527948A (zh) * | 2016-11-14 | 2017-03-22 | 珠海市魅族科技有限公司 | 一种屏幕触控方法以及装置 |
US10409480B2 (en) | 2016-12-28 | 2019-09-10 | Amazon Technologies, Inc. | Interruption and resumption of feedback animation for touch-based interactions |
US10289300B2 (en) * | 2016-12-28 | 2019-05-14 | Amazon Technologies, Inc. | Feedback animation for touch-based interactions |
US10521854B1 (en) | 2017-01-04 | 2019-12-31 | Amazon Technologies, Inc. | Selection and display of custom user interface controls |
US10922743B1 (en) | 2017-01-04 | 2021-02-16 | Amazon Technologies, Inc. | Adaptive performance of actions associated with custom user interface controls |
KR101920332B1 (ko) * | 2017-01-06 | 2018-11-20 | 김찬기 | 터치스크린을 포함하는 스마트 디바이스 상에서의 문자 편집 방법 및 이를 구현한 스마트 디바이스 |
US10572545B2 (en) | 2017-03-03 | 2020-02-25 | Perkinelmer Informatics, Inc | Systems and methods for searching and indexing documents comprising chemical information |
WO2018195730A1 (zh) * | 2017-04-24 | 2018-11-01 | 北京小米移动软件有限公司 | 屏幕控制方法及装置 |
CN107783747B (zh) * | 2017-10-19 | 2020-04-28 | 维沃移动通信有限公司 | 一种界面显示处理方法及移动终端 |
US11442591B2 (en) * | 2018-04-09 | 2022-09-13 | Lockheed Martin Corporation | System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment |
US11440767B2 (en) | 2018-07-30 | 2022-09-13 | Otis Elevator Company | Dynamic assignment of selection buttons on a destination entry system of an elevator |
US11213158B2 (en) | 2018-08-29 | 2022-01-04 | Breville USA, Inc. | Cooking system |
JP6717901B2 (ja) * | 2018-09-12 | 2020-07-08 | 株式会社メルカリ | プログラム、表示方法および情報処理装置 |
JP6876086B2 (ja) * | 2019-04-01 | 2021-05-26 | 日精樹脂工業株式会社 | 動作設定装置を備えた射出成形機 |
US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
US11554323B2 (en) * | 2020-09-11 | 2023-01-17 | Riot Games, Inc. | System and method for precise positioning with touchscreen gestures |
CN115779424B (zh) * | 2023-02-08 | 2023-04-28 | 广州三七极耀网络科技有限公司 | 一种导航网格寻路方法、装置、设备及介质 |
CN116166165B (zh) * | 2023-04-25 | 2023-06-27 | 福昕鲲鹏(北京)信息科技有限公司 | 可视化的文本选择方法、装置及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1349057A2 (de) * | 2002-03-01 | 2003-10-01 | Siemens Aktiengesellschaft | Verfahren zur optischen Hervorhebung von Informationen eines Bereichs der Benutzeroberfläche einer Computeranwenderstation |
RU2224283C2 (ru) * | 1998-02-26 | 2004-02-20 | Монек Мобайл Нетворк Компьютинг Лтд. | Электронное устройство, предпочтительно электронная книга |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994029788A1 (en) | 1993-06-15 | 1994-12-22 | Honeywell Inc. | A method for utilizing a low resolution touch screen system in a high resolution graphics environment |
WO2000075766A1 (en) | 1999-06-02 | 2000-12-14 | Ncr International, Inc. | Self-service terminal |
US7075512B1 (en) * | 2002-02-07 | 2006-07-11 | Palmsource, Inc. | Method and system for navigating a display screen for locating a desired item of information |
AU2003288689A1 (en) | 2002-11-29 | 2004-06-23 | Koninklijke Philips Electronics N.V. | User interface with displaced representation of touch area |
CN100432912C (zh) * | 2004-05-07 | 2008-11-12 | 索尼株式会社 | 便携式电子设备及其显示方法和图形用户接口装置 |
RU44200U1 (ru) * | 2004-09-08 | 2005-02-27 | Моисеев Борис Викторович | Устройство для управления отображением данных на экране дисплея |
-
2006
- 2006-12-07 US US11/635,730 patent/US7692629B2/en active Active
-
2007
- 2007-12-07 CN CN2007800454229A patent/CN101553775B/zh active Active
- 2007-12-07 EP EP07869022.9A patent/EP2126672B1/en active Active
- 2007-12-07 KR KR1020137019561A patent/KR101486688B1/ko active IP Right Grant
- 2007-12-07 WO PCT/US2007/086707 patent/WO2008070815A1/en active Application Filing
- 2007-12-07 JP JP2009540490A patent/JP4790847B2/ja active Active
- 2007-12-07 ZA ZA200900784A patent/ZA200900784B/xx unknown
- 2007-12-07 RU RU2009121545/08A patent/RU2464624C2/ru active
- 2007-12-07 CA CA2668207A patent/CA2668207C/en active Active
- 2007-12-07 MX MX2009004905A patent/MX2009004905A/es active IP Right Grant
- 2007-12-07 AU AU2007329261A patent/AU2007329261B2/en active Active
- 2007-12-07 MY MYPI20091821 patent/MY151816A/en unknown
- 2007-12-07 KR KR1020097013866A patent/KR101311018B1/ko active IP Right Grant
- 2007-12-07 CN CN201210335164.0A patent/CN102999290B/zh active Active
- 2007-12-07 TW TW102136040A patent/TWI506504B/zh not_active IP Right Cessation
- 2007-12-07 BR BRPI0717968A patent/BRPI0717968B1/pt active IP Right Grant
- 2007-12-07 TW TW096146928A patent/TWI450136B/zh not_active IP Right Cessation
-
2009
- 2009-04-07 IL IL198055A patent/IL198055A/en active IP Right Grant
- 2009-07-06 NO NO20092538A patent/NO20092538L/no not_active Application Discontinuation
-
2012
- 2012-07-16 RU RU2012130086A patent/RU2623181C2/ru active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2224283C2 (ru) * | 1998-02-26 | 2004-02-20 | Монек Мобайл Нетворк Компьютинг Лтд. | Электронное устройство, предпочтительно электронная книга |
EP1349057A2 (de) * | 2002-03-01 | 2003-10-01 | Siemens Aktiengesellschaft | Verfahren zur optischen Hervorhebung von Informationen eines Bereichs der Benutzeroberfläche einer Computeranwenderstation |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2675153C2 (ru) * | 2013-02-23 | 2018-12-17 | Самсунг Электроникс Ко., Лтд. | Способ предоставления обратной связи в ответ на пользовательский ввод и терминал, его реализующий |
RU2651194C2 (ru) * | 2015-01-23 | 2018-04-18 | Сяоми Инк. | Способ и устройство для взаимодействия с кнопкой |
US10705676B2 (en) | 2015-01-23 | 2020-07-07 | Xiaomi Inc. | Method and device for interacting with button |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2464624C2 (ru) | Рабочие интерфейсы сенсорного экрана | |
AU2021254568B2 (en) | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface | |
US11314407B2 (en) | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object | |
US10606469B2 (en) | Device, method, and graphical user interface for managing multiple display windows | |
EP2607853B1 (en) | Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs | |
WO2013119813A1 (en) | Device, method, and graphical user interface for adjusting partially off-screen windows | |
US20130139079A1 (en) | Information processing device and information processing method using graphical user interface, and data structure of content file | |
AU2024100009A4 (en) | User interfaces for viewing and refining the current location of an electronic device | |
US11635826B2 (en) | Device, method, and graphical user interface for adjusting touch activation regions associated with selectable user interface elements | |
AU2011253778B2 (en) | Operating touch screen interfaces | |
AU2016203054B2 (en) | Operating touch screen interfaces | |
CN114371799A (zh) | 一种带有触摸屏的笔记本的操作方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PC41 | Official registration of the transfer of exclusive right |
Effective date: 20150526 |