KR20160046885A - 응시 제어 인터페이스 방법 및 시스템 - Google Patents

Abstract

본 발명은 사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하는 것을 가능하게 하는 응시 제어 인터페이스 시스템에 관한 것이다. 시스템은 전자 시각 작업을 제공하도록 구성되는 전자 디스플레이 스크린 및 디스플레이 스크린 상에서 사용자의 응시 위치를 감지하고 전형적인 응시 신호를 생성하도록 구성되는 눈 응시 추적기를 갖는다. 프로세서는 응시에 기반하여 사용자가 전자 시각 작업과 상호 작용하는 것을 가능하게 하도록 응시 신호를 수신하고 처리한다.

Description

응시 제어 인터페이스 방법 및 시스템{GAZE-CONTROLLED INTERFACE METHOD AND SYSTEM}

본 발명은 사용자가 눈 응시를 통하여 전자 시각 작업과 상호 작용하는 것을 가능하게 하는 응시 제어 인터페이스에 관한 것이다.

다양한 응시 제어 인터페이스가 일상적인 컴퓨팅 또는 컴퓨팅 디바이스에 대한 입력 디바이스로서의 사용을 위해 제안되었다. 눈 응시 추적으로 지시하는 것은 비교적 간단하지만, 클릭과 같은 행위를 수행하기 위해 눈 응시 추적을 사용하는 것은 어렵다. 부정확성 및 의도하지 않은 클릭이 컴퓨팅 디바이스에 대한 입력 디바이스로서 눈 응시 추적을 사용할 때 직면하는 주요 문제들이다. 부정확성은 응시 추적기 오류에 의해 야기될 수 있거나, 지터(jitter) 및 드리프트(drift)를 포함하는 본의 아닌 눈 움직임(및 화소 지시 정밀성의 결여)과 같은 기본적인 제한에 기인할 수 있다. 눈이 지각(입력) 기관이므로, 미다스의 손 문제로도 알려진 의도하지 않은 클릭이 발생하고 이는 컴퓨터에 의도를 전하기 위한 수단으로서 눈을 사용할 때, 부조화를 만들어 낸다.

하이퍼링크, 버튼, 필드 등과 같은 활성화 가능 요소 또는 '활성화 가능한 것'에 대해 행위(또는 모의 마우스 클릭)를 수행하도록 고안된 기법이 예를 들어, '클릭 대안'으로 불린다. 눈 응시로 행위를 인코딩하는 다양한 클릭 대안이 제안되었다. 응시가 한정된 시간 간격 동안 디스플레이 스크린의 동일한 영역을 오래 바라볼 때(즉, 주시할 때), 행위를 트리거하는 하나의 클릭 대안이 바라보기 또는 주시로 불린다. 바라보기 클릭 대안은 특히, 많은 활성화 가능한 것이 응시 영역 내에 있을 때, 주로 의도하지 않은 클릭을 겪는다. 그러한 문제를 다루기 위해, 다수의 활성화 가능한 것이 있으면, 응시되는 영역을 자동으로 확대함으로써 바라보기 클릭 대안이 개선될 수 있다. 그러나, 확대는 스크린 상에 보이는 콘텐츠를 감소시키는 것 그리고 시각적인 혼란과 같은 확대 자체의 문제를 가져온다. 이에 더하여, 의도적인 눈 제어는 일반적으로 부자연스럽고 피곤하게 한다. 결과적으로, 깜박이는 것, 눈짓하는 것 또는 눈 제스처를 이용하는 클릭 대안은 일반적으로 바람직하지 않다.

다른 개선된 바라보기 클릭 대안은 확인 버튼과의 조합하여 바라보기를 이용한다. 이러한 설계는 확인 단계를 제공함으로써 의도하지 않은 클릭을 제어하려 한다. 하나의 알려진 형태에서, 사용자가 활성화 가능한 것을 오래 바라볼 때, 단일 확인 버튼이 사용자에게 일시적으로 제공된다. 확인 버튼은 활성화 가능한 것 근처에 또는 옆에 또는 대안적으로 스크린의 여백에 제공될 수 있다. 활성화 가능한 것을 오래 바라볼 때, 사용자는 그 때 활성화 가능한 것을 '클릭'하기 위해 확인 버튼을 보고 오래 바라봐야 한다. 다른 알려진 형태에서, 다수의 확인 버튼이 일시적으로 제공될 수 있으며, 각각의 확인 버튼은 스크린 상의 사용자의 응시 영역에서 각각의 활성화 가능한 것에 상응한다. 게다가, 다수의 확인 버튼이 응시 영역 근처에 또는 주위에 또는 대안적으로 주디스플레이 스크린에 대한 별도의 여백에 제공될 수 있다. 단일 확인 버튼에 비해 다수의 확인 버튼의 이점은 확대와 유사한 방식으로 응시 추적기의 부정확성 및 부정밀성을 처리하거나 보상하는 것이다. 다수의 확인 버튼을 사용할 때, 사용자는 어느 확인 버튼이 어느 활성화 가능한 것에 속하는지를 알아야 한다. 하나의 알려진 형태에서, 확인 버튼 상의 텍스트 라벨들은 활성화 가능한 것들과 맞추어진다. 다른 알려진 형태에서, 연결 라인이 활성화 가능한 것과 연관된 확인 버튼 사이에 그려진다. 이러한 형태들에서, 일시적 확인 버튼은 응시가 활성화 가능한 것들 사이에서 이동함에 따라, 전자 시각 작업을 막고 일시적 확인 버튼의 위치를 변경한다.

바라보기만을 사용하는 것과 비교하여 의도하지 않은 클릭을 감소시키지만, 위의 단일 및 다수의 확인 클릭 대안은 사용자를 주의를 산만하게 하고 피곤하게 할 수 있다. 첫째로, 그러한 접근법은 사용자가 활성화 가능한 것을 오래 바라볼 때, 스크린 콘텐츠 상에서 또는 여백에서 나타나고 사용자가 새로운 활성화 가능한 것 또는 활성화 가능한 것들의 클러스터를 오래 바라봄에 따라, 변하는 일시적으로 나타나는 확인 버튼을 활용한다. 사용자가 상이한 영역들에서 응시함에 따른 확인 버튼의 일정한 나타남 및 사라짐은 매우 주의를 산만하게 할 수 있다. 게다가, 활성화 가능한 것을 오래 바라봄으로써 확인 버튼을 구동시키기 전에, 사용자는 텍스트 라벨 또는 연결 라인을 통하여 사용자가 클릭하도록 의도되는 활성화 가능한 것에 확인 버튼이 상응한 것을 확인해야 한다. 이는 연관을 확인하기 위해 예를 들어, 확인 버튼 상의 텍스트 라벨을 활성화 가능한 것의 텍스트와 맞추기 위해, 사용자가 의도된 활성화 가능한 것과 확인 버튼 사이에서 앞뒤로 보거나, 연결 라인을 추적하는 것이 필요할 수 있다. 이는 사용자가 그 때 임의로 제공되는 다양한 확인 버튼을 검토하고 정확한 것을 선택해야 하므로, 다수의 확인 버튼 접근법의 경우에 극히 피곤하고 시간 소모적일 수 있다. 게다가 바라보기 시간 임계치에 따라, 확인 버튼은 사용자가 여백에서 제공될 수 있는 확인 버튼에 걸친 관심 있는 활성화 가능한 것 영역으로부터 사용자의 응시를 움직일 때, 변경될 수 있다. 확인 버튼이 응시 영역 근처에 제공되면, 확인 버튼은 스크린 콘텐츠를 가리고 혼란을 야기할 수 있다.

특허 명세서, 다른 외부 문서, 또는 정보의 다른 소스에 대한 참조가 행해졌던 본 명세서에서, 이는 일반적으로 본 발명의 특징들을 논의하기 위한 맥락을 제공하기 위한 것이다. 상세하게 달리 진술되지 않는다면, 그러한 외부 문서에 대한 참조는 그러한 문서, 또는 그러한 정보의 소스가 임의의 관할 구역에서 종래 기술이거나, 관련 분야에서의 통상의 일반적 지식의 일부를 형성한다는 인정으로 해석되지 않아야 한다.

사용자가 전자 시각 작업과 상호 작용하는 것을 가능하게 하거나, 적어도 일반인에게 유용한 선택권을 제공하는 개선된 응시 제어 인터페이스 방법 및 시스템을 제공하는 것이 본 발명의 목적이다.

제1 양태에서, 본 발명은 사용자가 전자 디스플레이 스크린상에 제공되는 전자 시각 작업과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서: 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계; 적어도 하나의 타입의 활성화 가능 요소들을 식별하도록 전자 시각 작업을 처리하는 단계; 식별된 활성화 가능 요소들 각각에 요소 시각 식별자를 할당하는 단계로서, 각각의 요소 시각 식별자가 버튼 시각 식별자들 중 하나에 상응하는 단계; 표시된 활성화 가능 요소들 중 적어도 일부에 대해 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계; 눈 응시 추적기로부터 디스플레이 스크린 상에 사용자의 응시 위치를 나타내는 응시 신호를 수신하는 단계; 응시 신호에 기반하여 표시된 전자 시각 작업의 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 사용자의 응시를 감지하는 단계; 활성화된 확인 버튼의 구동이 오래 바라보아진 활성화 가능 요소의 활성화를 야기하기 위해 확인 버튼이 오래 바라보아진 활성화 가능 요소에 일시적으로 링크되도록 오래 바라보아진 활성화 가능 요소에 할당되는 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 확인 버튼을 활성화하는 단계; 응시 신호에 기반하여 활성화된 확인 버튼을 오래 바라보는 사용자의 응시에 응하여 활성화된 확인 버튼의 구동을 감지하는 단계; 및 활성화된 확인 버튼의 감지된 구동에 응하여 활성화 가능 요소를 활성화하는 단계를 포함하는 방법으로 폭넓게 구성된다.

일 실시예에서, 방법은 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 미리 정해진 수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계를 포함한다.

일 실시예에서, 확인 버튼들은 전자 디스플레이 스크린 상에 제공되는 전자적으로 생성된 그래픽 확인 버튼들이다.

일 실시예에서, 방법은 표시된 전자 시각 작업에 대하여 여백에서 확인 버튼들을 제공하는 단계를 포함한다.

일 실시예에서, 확인 버튼들은 전자 시각 작업이 표시되는 동안, 확인 버튼들이 확인 버튼들의 각각의 고정된 위치들에 영속적으로 제공되는 점에서 정적이다.

일 실시예에서, 확인 버튼들은 전자 디스플레이 스크린의 주변부에 인접하게 또는 이것 주위에 제공되는 물리적 마커들 또는 타겟들 또는 표지 형태의 물리적 확인 버튼들이다. 하나의 형태에서, 확인 버튼들은 전자 디스플레이 스크린의 하나의 또는 다수의 프레임 워크 에지 또는 경계 또는 전자 디스플레이 스크린을 제공하는 전자 디바이스의 하우징 또는 케이싱을 따라 제공된다. 다른 형태에서, 물리적 확인 버튼들은 전자 디스플레이 스크린 또는 전자 디스플레이 스크린을 제공하는 전자 디바이스를 개량할 수 있는 패널 또는 프레임 상에 제공된다. 일 실시예에서, 물리적 확인 버튼들은 인쇄, 마킹 또는 스티커들에 의해 제공된다.

일 실시예에서, 버튼 시각 식별자들은 색상 기반이며, 상이한 색상들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 확인 버튼들의 색상들 중 하나에 상응한다.

일 실시예에서, 버튼 시각 식별자들은 패턴 기반이며, 상이한 패턴들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 확인 버튼들의 패턴들 중 하나에 상응한다.

일 실시예에서, 버튼 시각 식별자들은 형상 기반이며, 상이한 형상들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 확인 버튼들의 형상들 중 하나에 상응한다.

일 실시예에서, 버튼 시각 식별자들은 색상, 패턴 및/또는 형상 중 임의의 2개 이상의 조합에 기반하며, 임의의 2개 이상의 색상, 패턴 및/또는 형상의 조합이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 확인 버튼들과 연관되는 조합들 중 하나에 상응한다.

일 실시예에서, 방법은 단일 타입의 활성화 가능 요소들을 식별하기 위해 전자 시각 작업을 처리하는 단계를 포함한다. 다른 실시예에서, 방법은 전자 시각 작업을 처리하여 다수의 타입의 활성화 가능 요소들을 식별하는 단계를 포함한다.

일 실시예에서, 활성화 가능 요소들은: 아이콘들, 위젯들, 영역들, 메뉴들, 버튼들, 필드들, 하이퍼링크들의 타입들 중 임의의 하나 이상이다.

일 실시예에서, 각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 단계는 동일하거나 유사한 요소 시각 식별자들을 갖는 활성화 가능 요소들 사이의 최소 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함한다.

일 실시예에서, 각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 단계는 이웃하는 활성화 가능 요소들의 경우, 이웃하는 활성화 가능 요소들의 할당된 요소 시각 식별자들에 상응하는 버튼 시각 식별자들을 갖는 확인 버튼들 사이의 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함한다.

일 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 모든 표시된 활성화 가능 요소에 대해 할당된 요소 시각 식별자들을 제공하는 단계를 포함한다. 다른 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 디스플레이 스크린 상의 사용자의 응시 위치를 중심으로 중심 위치되는 미리 정해진 영역 내에서 캡처되는 표시된 활성화 가능 요소들 중 일부에 대해 상기 할당된 요소 시각 식별자들을 동적으로 제공하는 단계를 포함한다.

일 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 제공된 전자 시각 작업 중 적어도 일부 위에 전자 마스킹 오버레이를 제공하는 단계를 포함한다.

일 실시예에서, 버튼 및 요소 시각 식별자들이 색상들에 상응하는 경우, 마스킹 오버레이는 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 요소 시각 식별자들의 할당된 색상들을 하이라이팅하거나, 경계를 이루거나, 외형을 그리거나, 밑줄을 긋거나, 표시에 적용한다.

일 실시예에서, 버튼 및 요소 시각 식별자들이 패턴들에 상응하는 경우, 마스킹 오버레이는 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 요소 시각 식별자들의 할당된 패턴들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 표시에 적용한다.

일 실시예에서, 버튼 및 요소 시각 식별자들이 형상들에 상응하는 경우, 마스킹 오버레이는 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 요소 시각 식별자들의 할당된 형상들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 표시에 적용한다.

다른 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 활성화 가능 요소들의 각각의 할당된 요소 시각 식별자를 표시하기 위해 전자 시각 작업에서 활성화 가능 요소들의 상기 디스플레이를 변경하거나 렌더링(rendering)을 제어하도록 전자 시각 작업의 데이터 파일을 변경하는 단계를 포함한다.

일 실시예에서, 전자 시각 작업의 디스플레이를 변경하는 단계는 동일한 할당된 요소 시각 식별자를 갖는 활성화 가능 요소들의 분리를 증대시키기 위해 활성화 가능 요소들의 상대 위치를 변경하도록 전자 시각 작업의 레이아웃을 변경하는 단계를 포함한다.

일 실시예에서, 응시 신호에 기반하여 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 사용자의 응시를 감지하는 단계는 사용자의 응시가 제1 시간 임계치에 상응하는 시간 간격 동안 실질적으로 정지했는지 여부를 감지하는 단계를 포함한다. 하나의 형태에서, 사용자의 응시는 제1 시간 임계치에 상응하는 시간 간격의 경우, 사용자의 응시 위치를 나타내는 각각의 연속적인 응시 신호 샘플이 미리 정해진 거리 임계치 또는 파라미터에 의해 한정되는 이전 샘플의 미리 정해진 거리 내에 있으면, 실질적으로 정지한 것으로 고려된다. 하나의 형태에서, 연속적인 응시 위치 샘플들은 샘플 위치들 중 하나가 다른 응시 위치 샘플을 중심으로 중심 위치되는 미리 정해진 반경의 원형 응시 영역의 범위 내에 있으면, 미리 정해진 거리 내에 있는 것으로 고려된다.

일 실시예에서, 방법은 오래 바라보아지는 활성화 가능 요소의 할당된 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 확인 버튼만을 활성화하는 단계를 포함한다.

다른 실시예에서, 방법은 응시 신호에 의해 한정되는 오래 바라보아지는 응시 영역에 대하여 미리 정해진 활성화 구역의 범위 내에 있는 임의의 활성화 가능 요소들의 할당된 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 임의의 확인 버튼을 활성화하는 단계를 포함한다. 하나의 형태에서, 미리 정해진 활성화 구역은 응시 영역의 근처에서 활성화 가능 요소들의 최대수를 캡처하지만 동일한 할당된 요소 시각 식별자를 갖는 활성화 가능 요소들을 캡처하지 않는 크기를 갖도록 구성된다.

일 실시예에서, 활성화된 확인 버튼을 오래 바라보는 사용자의 응시를 감지하는 단계는 제2 시간 임계치에 상응하는 시간 간격 동안 확인 버튼 상에서 실질적으로 정지한 것으로 사용자의 응시를 감지하는 단계를 포함한다.

일 실시예에서, 전자 시각 작업은: 웹페이지, 문서 또는 그래픽 사용자 인터페이스 중 임의의 하나이다.

제2 양태에서, 본 발명은 사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서: 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계; 적어도 하나의 타입의 활성화 가능 요소들을 식별하도록 전자 시각 작업을 처리하는 단계; 식별된 활성화 가능 요소들 각각에 요소 시각 식별자를 할당하는 단계로서, 각각의 요소 시각 식별자가 버튼 시각 식별자들 중 하나에 상응하는 단계; 표시된 활성화 가능 요소들 중 적어도 일부에 대해 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계; 눈 응시 추적기로부터 디스플레이 스크린 상에 사용자의 응시 위치를 나타내는 응시 신호를 수신하는 단계; 사용자가 표시된 전자 시각 작업을 응시함에 따라, 수신된 응시 신호를 나타내는 응시 데이터를 기록하는 단계; 응시 신호에 기반하여 확인 버튼을 오래 바라보는 사용자의 응시를 감지하는 단계; 오래 바라보아지는 확인 버튼의 버튼 시각 식별자에 상응하는 할당된 요소 시각 식별자를 갖는 어느 활성화 가능 요소가 사용자에 의해 활성화되는 것으로 의도되었는지를 결정하도록 확인 버튼이 오래 바라보아지기 이전에 기록된 응시 데이터를 분석하는 단계; 및 결정된 활성화 가능 요소를 활성화하는 단계를 포함하는 방법으로 폭넓게 구성된다.

일 실시예에서, 방법은 사용자의 응시가 표시된 전자 시각 작업의 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 것으로 감지될 때, 응시 데이터를 기록하는 단계를 포함한다.

일 실시예에서, 응시 데이터를 기록하는 단계는 응시 신호에 대하여 미리 정해진 구역의 범위 내에 있는 임의의 인근의 활성화 가능 요소들을 나타내는 응시 신호 및 데이터를 기록하는 단계를 더 포함한다.

일 실시예에서, 사용자에 의해 활성화되는 것으로 의도되는 활성화 가능 요소를 결정하도록 기록된 응시 데이터를 분석하는 단계는 사용자가 미리 정해진 시간 임계치 동안 가장 최근에 오래 바라보았거나 인근에 바라보았던 활성화 가능 요소를 선택하는 단계를 포함한다.

일 실시예에서, 사용자에 의해 활성화되는 것으로 의도되는 활성화 가능 요소를 결정하도록 기록된 응시 데이터를 분석하는 단계는 사용자가 확인 버튼이 오래 바라보아지기 이전에 일정 기간 내의 가장 긴 기간 동안 오래 바라보았거나 인근에 바라보았던 활성화 가능 요소를 선택하는 단계를 포함한다.

일 실시예에서, 사용자에 의해 활성화되는 것으로 의도되는 활성화 가능 요소를 결정하도록 기록된 응시 데이터를 분석하는 단계는 확인 버튼이 오래 바라보아지기 이전에 응시 데이터에 의해 나타내어지는 응시 경로에 기반하여 활성화 가능 요소를 선택하는 단계를 포함한다. 이러한 실시예에서, 방법은 사용자에 의해 활성화되는 것으로 의도되는 가장 활성화 가능할 것 같은 요소와 오래 바라보아진 확인 버튼 사이의 응시 경로 상에 동시적으로만 놓여 있는 것으로 판단되는 활성화 가능 요소들을 선택에서 배제하는 단계를 더 포함할 수 있다.

일 실시예에서, 사용자에 의해 활성화되는 것으로 의도되는 활성화 가능 요소를 결정하도록 기록된 응시 데이터를 분석하는 단계는 기준들의 조합에 기반하여 활성화 가능 요소를 선택하는 단계를 포함한다.

일 실시예에서, 결정된 활성화 가능 요소를 활성화하는 단계는 사용자의 응시가 응시 신호에 기반하여 미리 정해진 시간 임계치에 상응하는 시간 간격 동안 확인 버튼을 오래 바라보는 것으로 감지되어야만 결정된 활성화 가능 요소를 활성화하는 단계를 포함한다.

본 발명의 제2 양태는 본 발명의 제1 양태에 대해 언급된 특징들 중 임의의 하나 이상을 가질 수 있다.

제3 양태에서, 본 발명은 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 사용자가 상호 작용하는 것을 가능하게 하는 응시 제어 인터페이스 시스템으로서: 전자 시각 작업을 제공하도록 구성되는 전자 디스플레이 스크린; 디스플레이 스크린 상에서 사용자의 응시 위치를 감지하고 전형적인 응시 신호를 생성하도록 구성되는 눈 응시 추적기; 및 디스플레이 스크린 및 눈 응시 추적기에 작동적으로 연결되는 프로세서를 포함하고, 본 발명의 제1 또는 제2 양태들 중 임의의 하나의 방법들을 실행하도록 프로그래밍되는 응시 제어 인터페이스 시스템으로 폭넓게 구성된다.

제4 양태에서, 본 발명은 처리 디바이스 또는 디바이스들 상에서 실행될 때, 본 발명의 제1 또는 제2 양태들의 방법들 중 임의의 하나를 처리 디바이스 또는 디바이스들이 수행하게 하는 컴퓨터 실행 가능 명령어들이 내부에 저장된 비일시적 컴퓨터 판독 가능 매체로 폭넓게 구성된다.

사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서: 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계; 적어도 하나의 타입의 활성화 가능 요소들을 식별하도록 전자 시각 작업을 처리하는 단계; 식별된 활성화 가능 요소들 각각에 요소 시각 식별자를 할당하는 단계로서, 각각의 요소 시각 식별자가 버튼 시각 식별자들 중 하나에 상응하는 단계; 표시된 활성화 가능 요소들 중 적어도 일부에 대해 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계; 눈 응시 추적기로부터 디스플레이 스크린 상에 사용자의 응시 위치를 나타내는 응시 신호를 수신하는 단계; 응시 영역에서 응시 신호 및 제1 시간 임계치에 기반하여 표시된 전자 시각 작업의 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 사용자의 응시를 감지하는 단계; 오래 바라보아진 응시 영역에 가장 근접한 활성화 가능 요소의 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 적어도 확인 버튼을 활성화하는 단계; 응시 신호 및 제2 시간 임계치에 기반하여 활성화된 확인 버튼을 응시 영역에서 오래 바라보는 사용자의 응시를 감지하는 단계; 및 오래 바라보아진 활성화된 확인 버튼에 응하여 활성화 가능 요소를 활성화하는 단계를 포함하는 방법을 포함하는 제5 양태를 또한 설명한다.

일 실시예에서, 방법은 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 미리 정해진 수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계를 포함한다.

일 실시예에서, 확인 버튼들은 전자 디스플레이 스크린 상에 제공되는 전자적으로 생성된 그래픽 확인 버튼들이다. 하나의 형태에서, 확인 버튼들은 전자 시각 작업을 표시하는 주스크린부 외부에 위치되는 여백 영역에서 제공된다. 이러한 실시예에서, 확인 버튼들은 전자 시각 작업이 표시되는 동안, 확인 버튼들이 확인 버튼들의 각각의 고정된 위치들에 영속적으로 제공되는 점에서 '정적'이다.

다른 실시예에서, 확인 버튼들은 전자 디스플레이 스크린의 주변부에 인접하게 또는 이것 주위에 제공되는 물리적 마커들 또는 타겟들 또는 표지의 형태이다. 하나의 형태에서, 확인 버튼들은 전자 디스플레이 스크린의 하나의 또는 다수의 프레임 워크 에지 또는 경계 또는 전자 디스플레이 스크린을 제공하는 전자 디바이스의 하우징 또는 케이싱을 따라 제공될 수 있다. 예를 들어, 물리적 확인 버튼들은 인쇄되거나, 마커들이거나, 스티커들이거나, 전자 디스플레이 스크린을 둘러싸는 하우징 또는 케이싱의 표면에 형성되거나 고정될 수 있다.

일 실시예에서, 버튼 시각 식별자들은 예를 들어, 상이한 색상들이 각각의 확인 버튼과 연관되는 색상 기반이다. 그러한 실시예들에서, 각각의 요소 시각 식별자는 확인 버튼들의 색상들 중 하나에 상응한다. 다른 실시예에서, 버튼 시각 식별자들은 예를 들어, 상이한 패턴들이 각각의 확인 버튼과 연관되는 패턴 기반이다. 그러한 실시예들에서, 각각의 요소 시각 식별자는 확인 버튼들의 패턴들 중 하나에 상응한다. 다른 실시예에서, 버튼 시각 식별자들은 방향들의 표시들 예를 들어, 시계 문자판 비유(예를 들어, 3시 방향으로) 또는 나침반, 또는 화살표들과 같은 방향들을 나타내는 널리 알려진 관례들과 같은 형상들이다. 그러한 실시예들에서, 각각의 요소 시각 식별자는 확인 버튼들의 형상들 중 하나에 상응한다.

일 실시예에서, 전자 시각 작업은 단일 타입의 활성화 가능 요소들 또는 다수의 타입의 활성화 가능 요소들을 포함할 수 있다. 하나의 형태에서, 전자 시각 작업은: 하이퍼링크들, 버튼들, 필드들, 또는 전자 시각 작업들의 맥락에서 임의의 다른 형태의 상호 작용하거나, 클릭 가능하거나, 행위 가능한 요소의 형태의 임의의 하나 이상의 활성화 가능 요소를 포함할 수 있다.

일 실시예에서, 각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 단계는 동일한 요소 시각 식별자 또는 유사한 요소 시각 식별자들을 갖는 활성화 가능 요소들 사이의 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함한다. 다른 실시예에서, 전자 시각 작업에서 동일하거나 유사한 요소 시각 식별자들 사이의 최소 거리가 최대화된다. 또 다른 실시예에서, 이웃하는 활성화 가능한 것들에 상응하는 확인 버튼들 사이의 거리가 최대화된다.

일 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 모든 표시된 활성화 가능 요소에 대해 할당된 요소 시각 식별자들을 제공하는 단계를 포함한다. 다른 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 디스플레이 스크린 상의 사용자의 응시 위치를 중심으로 중심 위치되는 미리 정해진 영역 내에서 캡처되는 표시된 활성화 가능 요소들 중 일부에 대해 상기 할당된 요소 시각 식별자들을 동적으로 제공하는 단계를 포함한다.

일 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계는 제공된 전자 시각 작업 중 적어도 일부 위에 스크린 또는 마스킹 오버레이를 제공하는 단계를 포함한다. 하나의 형태에서, 버튼 및 요소 시각 식별자들이 색상들에 상응하는 경우, 마스킹 오버레이는 요소 시각 식별자들의 각각의 활성화 가능 요소들에 요소 시각 식별자들의 할당된 색상들을 하이라이팅하거나, 경계를 이루거나, 외형을 그리거나, 밑줄을 긋거나, 적용한다. 다른 형태에서, 버튼 및 요소 시각 식별자들이 패턴들에 상응하는 경우, 마스킹 오버레이는 요소 시각 식별자들의 각각의 활성화 가능 요소들에 요소 시각 식별자들의 할당된 패턴들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 적용한다. 다른 형태에서, 버튼 및 요소 시각 식별자들이 형상들에 상응하는 경우, 마스킹 오버레이는 요소 시각 식별자들의 각각의 활성화 가능 요소들에 요소 시각 식별자들의 할당된 형상을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 적용한다.

다른 실시예에서, 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 방법은 활성화 가능 요소들의 할당된 요소 시각 식별자의 색상 또는 패턴 또는 형상을 갖기 위해 전자 시각 작업에서 활성화 가능 요소들의 디스플레이를 변경하거나 렌더링을 제어하도록 전자 시각 작업의 데이터 파일을 변경하는 단계를 포함한다. 다른 형태에서, 전자 시각 작업의 레이아웃은 특히 활성화 가능 요소들이 동일한 요소 시각 식별자가 할당되면, 예를 들어, 활성화 가능 요소들의 분리를 증대시키기 위해, 활성화 가능 요소들의 상대 위치를 변화시키도록 변경된다.

일 실시예에서, 응시 신호 및 제1 시간 임계치에 기반하여 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 사용자의 응시를 감지하는 단계는 사용자의 응시를 제1 시간 임계치에 상응하는 시간 간격 동안 실질적으로 정지한 것으로 감지하는 단계를 포함한다. 하나의 형태에서, 사용자의 응시는 제1 시간 임계치에 상응하는 시간 간격의 경우, 사용자의 응시 위치를 나타내는 각각의 연속적인 응시 신호 샘플이 이전 샘플 근처에 있으면, 실질적으로 정지한 것으로 고려된다. 하나의 형태에서, 응시점 샘플들은 미리 정해진 거리 임계치 또는 파라미터에 의해 한정되는 미리 정해진 거리 내에 있으면, 서로에 가까운 것으로 고려된다. 일 예에서, 연속적인 응시 위치 샘플들은 샘플 위치들 중 하나가 다른 응시 위치 샘플을 중심으로 중심 위치되는 미리 정해진 반경의 원형 응시 영역의 범위 내에 있으면, 서로 가까운 것으로 고려된다.

일 실시예에서, 방법은 오래 바라보아지는 활성화 가능 요소의 할당된 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 확인 버튼만을 활성화하는 단계를 포함한다.

다른 실시예에서, 방법은 응시 영역에 대하여 미리 정해진 활성화 구역의 범위 내에 있는 임의의 활성화 가능 요소들의 할당된 요소 시각 식별자에 상응하는 버튼 시각 식별자들을 갖는 임의의 확인 버튼을 활성화하는 단계를 포함한다. 하나의 형태에서, 미리 정해진 활성화 구역은 응시 영역의 근처에서 활성화 가능 요소들의 최대수를 캡처하지만 동일한 요소 시각 식별자를 갖는 활성화 가능 요소들을 캡처하지 않는 크기를 갖도록 구성된다.

일 실시예에서, 활성화 가능 요소에 대한 확인 버튼을 활성화하는 단계는 확인 버튼의 구동이 상응하거나 링크된 활성화 가능 요소의 활성화를 야기하도록 즉, 활성화된 확인 버튼의 구동이 활성화 가능 요소가 마우스에 의해 클릭되었거나 (터치 스크린 디스플레이 인터페이스의 맥락에서) 터치 입력을 겪었던 경우와 동일한 결과를 야기하도록 확인 버튼을 활성화 가능 요소에 일시적으로 링크하거나 할당하는 단계를 포함한다.

일 실시예에서, 활성화된 확인 버튼을 오래 바라보는 사용자의 응시를 감지하는 단계는 제2 시간 임계치에 상응하는 시간 간격 동안 확인 버튼 상에서 실질적으로 정지한 것으로 사용자의 응시를 감지하는 단계를 포함한다.

일 실시예에서, 전자 시각 작업은 웹페이지이고, 활성화 가능 요소들은 적어도 하이퍼링크들을 포함한다. 이러한 실시예에서, 방법은 웹 브라우저의 맥락에서 수행되어, 응시 제어 인터페이스가 사용자가 표시된 웹페이지들과 상호 작용하는 것을 가능하게 하는 웹 브라우저에의 사용자 입력이다.

사용자가 전자 디스플레이 스크린 상에 제공되는 활성화 가능 요소들과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서: 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 다른 것들과 시각적으로 구별 가능한 단계; 및 활성화된 확인 버튼의 구동이 활성화된 확인 버튼의 일시적으로 링크된 활성화 가능 요소의 활성화를 야기하도록 미리 정해진 할당 구성에 기반하여 사용자의 응시에서 활성화 가능 요소와 일시적으로 링크된 확인 버튼들을 동적으로 활성화하는 단계를 포함하는 방법을 포함하는 제6 양태를 또한 설명한다.

사용자가 전자 디스플레이 스크린 상에 제공되는 활성화 가능 요소들과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서: 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 다른 것들과 시각적으로 구별 가능한 단계; 및 활성화된 확인 버튼의 구동이 활성화된 확인 버튼의 일시적으로 링크된 활성화 가능 요소의 활성화를 야기하도록 미리 정해진 할당 구성에 적어도 부분적으로 기반하여 활성화 가능 요소와 일시적으로 링크된 확인 버튼들을 동적으로 활성화하는 단계를 포함하는 방법을 포함하는 제7 양태를 또한 설명한다.

다수의 확인 버튼 응시 제어 인터페이스에서의 전자 디스플레이 스크린 상에서 표시되는 활성화 가능 요소와 확인 버튼을 링크하는 방법으로서: 디스플레이 스크린 상에서 또는 이것에 대하여 고정된 위치들에 제공되는 다수의 확인 버튼 중 하나의 시각적 외관에 상응하는 시각적 외관을 갖도록 표시된 활성화 가능 요소들을 변경하는 단계; 및 디스플레이 스크린 상의 사용자의 응시에서 활성화 가능 요소와 일시적으로 링크하도록 확인 버튼을 활성화하는 단계를 포함하며, 응시되는 활성화 가능 요소에 상응하는 시각적 외관을 갖는 확인 버튼은 활성화되는 방법을 포함하는 제8 양태를 또한 설명한다.

다수의 확인 버튼 응시 제어 인터페이스에서의 전자 디스플레이 스크린 상에서 표시되는 활성화 가능 요소와 확인 버튼을 링크하는 방법으로서: 디스플레이 스크린 상에서 또는 이것에 대하여 고정된 위치들에 제공되는 다수의 확인 버튼 중 하나의 시각적 외관에 상응하는 시각적 외관을 갖도록 표시된 활성화 가능 요소들을 변경하는 단계; 및 확인 버튼의 구동이 일시적으로 링크된 활성화 가능 요소의 활성화를 야기하도록 현재 또는 이전 사용자의 응시를 나타내는 응시 데이터에 적어도 부분적으로 기반하여 확인 버튼에 상응하는 시각적 외관을 갖는 디스플레이 스크린 상의 활성화 가능 요소와 일시적으로 링크하도록 확인 버튼을 활성화하는 단계를 포함하는 방법을 포함하는 제9 양태를 또한 설명한다.

사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서: 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계; 적어도 하나의 타입의 활성화 가능 요소들을 식별하도록 전자 시각 작업을 처리하는 단계; 식별된 활성화 가능 요소들 각각에 요소 시각 식별자를 할당하는 단계로서, 각각의 요소 시각 식별자가 버튼 시각 식별자들 중 하나에 상응하는 단계; 표시된 활성화 가능 요소들 중 적어도 일부에 대해 할당된 요소 시각 식별자들을 제공하도록 전자 시각 작업의 디스플레이를 변경하는 단계; 눈 응시 추적기로부터 디스플레이 스크린 상에 사용자의 응시 위치를 나타내는 응시 신호를 수신하는 단계; 응시 신호에 기반하여 표시된 전자 디스플레이 스크린의 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 사용자의 응시를 감지하는 단계; 활성화된 확인 버튼의 구동이 오래 바라보아진 활성화 가능 요소의 활성화를 야기하도록 오래 바라보아진 활성화 가능 요소에 할당되는 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 확인 버튼을 활성화하는 단계; 응시 신호에 기반하여 활성화된 확인 버튼을 오래 바라보는 사용자의 응시에 응하여 활성화된 확인 버튼의 구동을 감지하는 단계; 및 활성화된 확인 버튼의 감지된 구동에 응하여 활성화 가능 요소를 활성화하는 단계를 포함하는 방법을 포함하는 제10 양태를 또한 설명한다.

전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 사용자가 상호 작용하는 것을 가능하게 하는 응시 제어 인터페이스 시스템으로서: 전자 시각 작업을 제공하도록 구성되는 전자 디스플레이 스크린; 디스플레이 스크린 상에서 사용자의 응시 위치를 감지하고 전형적인 응시 신호를 생성하도록 구성되는 눈 응시 추적기; 디스플레이 스크린 및 눈 응시 추적기에 작동적으로 연결되는 프로세서를 포함하고, 이전 양태들 중 임의의 하나의 방법들을 실행하도록 프로그래밍되는 응시 제어 인터페이스 시스템을 포함하는 제11 양태를 또한 설명한다.

이전 양태들 중 임의의 하나의 방법들을 실행하도록 구성되는 하드웨어 시스템 또는 프로세서를 포함하는 제12 양태를 또한 설명한다.

처리 디바이스 상에서 실행될 때, 이전 양태들의 방법들 중 임의의 하나를 처리 디바이스가 수행하게 하는 컴퓨터 실행 가능 명령어들이 내부에 저장된 비일시적 컴퓨터 판독 가능 매체를 포함하는 제13 양태를 또한 설명한다.

제5 양태 내지 제13 양태는 제1 양태 내지 제4 양태에 대해 언급된 임의의 하나 이상의 특징을 가질 수 있다.

본 명세서 및 청구항들에서 사용되는 "확인 버튼"이란 어구는 맥락이 달리 제시하지 않는다면, 스티커 형태와 같이 영속적으로 적용되든 일시적으로 적용되든 인쇄된 버튼 마커들 또는 타겟들 또는 표지와 같은 주로 2차원 형태의 전자 디스플레이 스크린 상에 나타내어지는 전자적으로 생성된 그래픽 버튼들 또는 물리적 버튼 발현들, 또는 다른 물리적 형성물들이 제공되는 둘러싸는 표면에 대하여 3차원으로 양각화되거나 돌출되는 것들을 포함하는 버튼들을 나타내는 다른 물리적 형성물들, 및 촉각으로 작동되는 버튼들과는 대조적으로 눈 응시 타겟들 또는 타겟 위치들을 나타내는 버튼들을 의미하는 것으로 의도된다.

본 명세서 및 청구항들에서 상호 교환 가능하게 사용되는 "활성화 가능 요소들"이란 어구 또는 "활성화 가능한 것들"이란 용어는 맥락이 달리 제시하지 않는다면, 키보드, 마우스 포인터 또는 터치 스크린 디스플레이 상의 터치 입력과 같은 통상적 전자 입력 인터페이스로 정상적으로 클릭 가능하거나, 선택 가능하거나, 행위 가능하거나 임의의 다른 방식으로 활성화될 것이고, 예를 들어, 구조상 또는 이미지 하이퍼링크, 버튼, 또는 선택 가능한 필드의 형태의 활성화 가능 요소들을 포함하는 웹페이지들의 형태의 전자 시각 작업들을 포함하는 전자 시각 작업 또는 그래픽 사용자 인터페이스(GUI)에서 임의의 형태의 활성화 가능하거나, 행위 가능하거나, 상호 작용하는 요소 또는 대상을 의미하는 것으로 의도되거나, 애플리케이션 프로그램을 제어하기 위한 그래픽 사용자 인터페이스들(GUI)의 형태의 전자 시각 작업들의 맥락에서, 활성화 가능 요소들은 작동 가능한 그래픽 아이콘, 위젯, 영역, 메뉴, 버튼, 필드, 다른 사용자 인터페이스 요소 등을 포함할 수 있고, 여기서 '클릭하는', '선택하는' 또는 '구동시키는'이란 용어들은 활성화 가능 요소에 대한 행위를 수행하는 일부 방식을 나타내도록 동의어로 사용되는 예들이다.

본 명세서 및 청구항들에서 사용되는 "전자 시각 작업"이란 어구는 맥락이 달리 제시하지 않는다면, 웹페이지, 워드 프로세싱 문서, 웹 브라우저에 의해 렌더링되는 상호 작용하는 매체 문서, 워드 프로세싱 애플리케이션 또는 다른 문서 애플리케이션과 같은 전자 매체 콘텐츠를 포함하는 전자 디스플레이 스크린 상에서 제공되거나 제공 가능한 임의의 형태의 전자 시각 디스플레이 작업, 또는 대안적으로 사용자 상호 작용 또는 애플리케이션 프로그램들 또는 소프트웨어의 작동 또는 제어와 연관되는 그래픽 사용자 인터페이스(GUI)의 형태의 전자 시각 작업들을 의미하는 것으로 의도된다.

본 명세서 및 청구항들에서 사용되는 "여백"이란 용어는 맥락이 달리 제시하지 않는다면, 전자 작업이 어떻게 표시되는지에 따라 여백이 작동 가능한 디스플레이 스크린 영역의 동적으로 바뀌는 부분 또는 부분들인 것으로서 고려될 수 있도록 제공되는 전자 시각 작업의 콘텐츠의 주변부 외부의 또는 주위의 디스플레이 스크린 상의 영역, 또는 디스플레이 스크린이 독립형 디바이스이든 전자 디바이스의 구성 요소 또는 일부이든, 여백이 디스플레이 스크린의 작동 가능한 영역을 둘러싸거나 이것과 경계를 이루는 하우징, 프레임 또는 본체의 전용 부분 또는 부분들인 것으로 고려될 수 있도록 디스플레이 스크린의 작동 가능한 영역의 주변부 외부의 또는 주위의 영역을 의미하는 것으로 의도된다.

본 명세서 및 청구항들에서 사용되는 "포함하는"이란 용어는 "으로 적어도 부분적으로 구성되는"을 의미한다. "포함하는"이란 용어를 포함하는 본 명세서 및 청구항들에서의 각각의 진술을 해석할 때, 본 용어에 의해 시작되는 것 또는 시작되는 것들 이외의 특징들이 존재할 수도 있다. "포함하다" 및 "포함한다"와 같은 관련된 용어들은 동일한 방식으로 해석되어야 한다.

수 범위들

본원에 개시되는 수들의 범위(예를 들어, 1 내지 10)에 대한 참조가 또한 그러한 범위 내의 모든 유리수(예를 들어, 1, 1.1, 2, 3, 3.9, 4, 5, 6, 6.5, 7, 8, 9 및 10) 그리고 또한 그러한 범위 내의 유리수들의 임의의 범위(예를 들어, 2 내지 8, 1.5 내지 5.5 및 3.1 내지 4.7)에 대한 참조를 포함하고, 그러므로, 본원에 명확히 개시되는 모든 범위의 모든 하위 범위가 이로써 명확히 개시된다는 점이 의도된다. 이것들은 단지 상세하게 의도되는 것의 예들이고 열거되는 최저값과 최고값 사이의 수치값들의 모든 가능한 조합이 본 출원에서 유사한 방식으로 명확히 진술되는 것으로 고려되어야 한다.

본원에 사용되는 "및/또는"이란 용어는 "및" 또는 "또는", 또는 둘 다를 의미한다.

본원에 사용되는 명사를 뒤따르는 "(들)"은 명사의 복수 및/또는 단수 형태들을 의미한다.

본 발명은 전술한 것에 있고 또한 이하의 것이 단지 예들을 부여하는 구성들을 예상한다.

본 발명의 바람직한 실시예들을 예로서만 그리고 도면들을 참조하여 설명할 것이다:
도 1은 본 발명의 일 실시예에 따른 응시 제어 인터페이스를 구현하는 시스템의 전형적 하드웨어 구성 요소들 및 구성의 개략도이다.
도 2a는 '활성화 임계치' 알고리즘을 사용하여 구현되는 본 발명의 제1 실시예에 따른 응시 제어 인터페이스 방법의 상태도이다.
도 2b는 '경험적 분석' 알고리즘을 사용하여 구현되는 본 발명의 제2 실시예에 따른 응시 제어 인터페이스 방법의 상태도이다.
도 3은 도 2a 및 도 2b의 실시예들에서 사용되는 응시 제어 인터페이스 방법의 시각 식별자 할당 하위 알고리즘의 제1 형태의 흐름도이다.
도 4는 도 2a 및 도 2b의 실시예들에서 사용되는 응시 제어 인터페이스 방법의 시각 식별자 할당 하위 알고리즘의 제2 형태이다.
도 5는 도 2a 및 도 2b의 실시예들에서 사용되는 응시 제어 인터페이스 방법의 활성화 가능한 것 바라보기 하위 알고리즘의 흐름도이다.
도 6은 데스크탑 컴퓨터의 전자 디스플레이 스크린의 개략적인 표현이고, 디스플레이 스크린의 우측 여백에서 전자적으로 생성된 그래픽 확인 버튼들을 도시하고 있다.
도 7은 웹페이지를 렌더링하는 도 6의 데스크탑 컴퓨터 구현의 일 예를 도시한다.
도 8은 전자 디스플레이 스크린을 둘러싸는 하우징 또는 케이싱의 부분들 상에 제공되는 물리적 확인 버튼 표현들을 사용하여 응시 제어 인터페이스를 구현하는 태블릿 컴퓨터의 개략적인 표현을 도시한다.
도 9는 전자 디스플레이 스크린을 둘러싸는 하우징 또는 케이싱의 부분들 상에 제공되는 물리적 제어 버튼 표현들을 사용하여 응시 제어 인터페이스를 구현하는 스마트폰의 개략적인 표현을 도시한다.

이하의 설명에서, 구체적 상세들이 실시예들의 철저한 이해를 제공하기 위해 주어진다. 그러나, 실시예들이 이러한 구체적 상세들 없이 실행될 수 있다는 점이 당업자에 의해 이해될 것이다. 예를 들어, 소프트웨어 모듈들, 기능들, 회로들 등은 불필요한 상세로 실시예들을 모호하게 하지 않기 위해 블록도들로 도시될 수 있다. 다른 경우들에서, 널리 알려진 모듈들, 구조체들 및 기법들은 실시예들을 모호하게 하지 않기 위해 상세히 도시되지 않을 수 있다.

또한, 실시예들이 플로우차트, 흐름도, 구조도, 또는 블록도로서 도시되는 프로세스로서 설명될 수 있다는 점이 주목된다. 플로우차트가 작동들을 순차적 프로세스로서 설명할 수 있지만, 작동들 중 많은 것이 병렬로 또는 동시에 수행될 수 있다. 게다가, 작동들의 순서는 재배열될 수 있다. 프로세스는 프로세스의 작동들이 완료될 때, 종료된다. 프로세스는 컴퓨터 프로그램 또는 하드웨어에서의 방법, 기능, 절차, 서브루틴, 하위 프로그램 등에 상응할 수 있다. 프로세스가 어느 기능에 상응할 때, 프로세스의 종료는 호출 기능 또는 주기능으로의 기능의 복귀에 상응한다.

후술하는 시스템들 및 방법들의 양태들은 데스크탑, 랩탑, 노트북, 태블릿 또는 모바일 디바이스를 포함하지만, 이에 제한되지 않는 임의의 타입의 범용 컴퓨터 시스템 또는 컴퓨팅 디바이스 상에서 작동 가능할 수 있다. "모바일 디바이스"란 용어는 무선 디바이스, 스마트폰, 휴대폰, 모바일 통신 디바이스, 사용자 통신 디바이스, 개인 휴대 정보 단말기, 모바일 핸드헬드 컴퓨터, 랩탑 컴퓨터, (안경을 포함하는) 착용 가능 컴퓨터들, 전자 콘텐츠를 판독할 수 있는 전자 서적 판독기 및 판독 디바이스들 및/또는 전형적으로 개인들에 의해 휴대되는 다른 타입들의 모바일 디바이스들을 포함하지만, 이에 제한되지 않는다.

1. 개관

본 발명은 컴퓨팅 또는 처리 디바이스에 의해 전자 디스플레이 스크린 상에 제공되는 웹페이지 또는 그래픽 사용자 인터페이스와 같은, 그러나 이에 제한되지 않는 전자 시각 작업과 사용자가 상호 작용하는 것을 가능하게 하는 응시 제어 인터페이스 방법 및 시스템에 관한 것이다. 응시 제어 인터페이스 방법은 바라보기 및 미리 정해진 고정된 위치들에 제공되는 다수의 정적 확인 버튼에 기반한다. 추가로 설명할 것인 바와 같이, 다수의 확인 버튼은 색상들 및/또는 패턴들 및/또는 형상들과 같은 각각의 버튼 시각 식별자를 통하여 시각적으로 서로 구별 가능하다.

작동에서, 응시 제어 인터페이스 방법은 특정 타입 또는 많은 타입의 활성화 가능 요소들에 대한 전자 시각 작업 디스플레이 스크린을 분석하고, 그 다음 버튼 시각 식별자들 중 하나에 상응하는 각각의 활성화 가능 요소(예를 들어, 웹페이지의 맥락에서 하이퍼링크, 버튼, 필드 또는 임의의 다른 클릭 가능하거나 상호 작용하는 아이템 또는 대상)에 요소 시각 식별자를 할당한다. 이러한 할당 후에, 전자 시각 작업은 할당된 요소 시각 식별자들을 할당된 요소 시각 식별자들의 각각의 활성화 가능 요소에 제공하거나 적용하는 오버레이로 변경되거나 마스킹된다. 요소 시각 식별자들은 사용자가 응시하는 디스플레이 스크린의 부분들에 대해 점진적으로 그리고 동적으로 드러나거나 제공될 수 있다. 대안적으로, 할당된 요소 시각 식별자들은 디스플레이 스크린 상에서 캡처되는 모든 활성화 가능 요소에 대해 제공되거나 드러날 수 있다. 이러한 할당 프로세스로, 각각의 활성화 가능 요소는 색상 연관, 패턴 연관 및/또는 형상 연관을 통하여 다수의 확인 버튼 중 하나와 시각적으로 연관되거나 링크될 수 있는 할당된 요소 시각 식별자를 갖는다. 예를 들어, 색상 기반 시각 연관의 맥락에서, 적색이 할당된 하이퍼링크들은 적색 확인 버튼에 의해 활성화 가능할 것이고, 청색이 할당된 하이퍼링크들은 청색 확인 버튼에 의해 활성화 가능할 것이고, 녹색이 할당된 하이퍼링크들은 녹색 확인 버튼에 의해 활성화 가능할 것이다.

확인 버튼들은 확인 버튼들이 임의의 특정 개별 활성화 가능 요소에 링크되지 않음에 따라, 확인 버튼을 오래 바라보는 것에 의한 구동이 어떤 행위도 야기하지 않도록 초기에 불활성이거나 작동하고 있지 않다. 응시 제어 인터페이스 방법은 일 실시예에서 사용자가 전자 시각 작업에서 응시하고 있는 곳에 기반하여 또는 대안적으로 제2 실시예에서 사용자가 전자 시각 작업에서 응시하고 있었던 곳에 기반하여 확인 버튼들의 연관된 활성화 가능 요소들 중 하나에 확인 버튼들을 동적으로 활성화하거나 할당하도록 구성된다.

예로서 제1 실시예에서, 전자 시각 작업의 특정 응시 영역에서 사용자가 바라보고 있으면 즉, 응시가 실질적으로 정지하면, 인터페이스 알고리즘은 응시 영역에서 적어도 가장 근접한 활성화 가능 요소에 상응하는 확인 버튼 그리고 전형적으로 또한 응시 영역에서 또는 응시 영역 근처에서 임의의 다른 근접한 활성화 가능 요소들과 연관되는 다른 확인 버튼들을 활성화한다. 확인 버튼의 활성화는 확인 버튼의 버튼 시각 식별자에 상응하는 요소 시각 식별자를 갖는 활성화 가능 요소와 확인 버튼이 일시적으로 연관되거나 링크된다는 것을 의미한다. 사용자가 그 다음 활성화된 확인 버튼을 오래 바라보면, 인터페이스 알고리즘은 연관된 활성화 가능 요소를 구동시키며 즉, 이는 활성화 가능 요소 상의 터치 입력 또는 마우스 클릭과 동일하다. 사용자의 응시가 활성화된 확인 버튼들 중 어떤 것도 구동시키지 않지만, 활성화 가능 요소들의 새로운 영역을 가로지르거나 응시하면, 확인 버튼들은 오래 바라보아지는 임의의 새로운 활성화 가능 요소들로 동적으로 비활성화되고/되거나 재활성화된다. 이러한 '활성화 임계치' 실시예를 추가로 후술할 것이다.

예로서 제2 실시예에서, 인터페이스 알고리즘은 사용자가 전자 시각 작업에서 활성화 가능한 것들 근처를 바라볼 때의 응시 신호에 기반하여 사용자의 응시를 나타내는 응시 데이터를 기록하거나 저장하도록 구성된다. 언제라도 사용자가 그 다음 확인 버튼을 오래 바라보면, 인터페이스 알고리즘은 사용자가 가장 구동시키려고 할 것 같은 활성화 가능 요소(들)을 찾기 위해 기록된 응시 데이터를 분석하도록 구성된다. 사용자가 구동시키려고 할 것 같은 활성화 가능 요소가 식별되면, 기록된 응시 데이터 및 오래 바라보아진 확인 버튼에 기반하여, 이러한 활성화 가능 요소가 구동된다. 특히, 오래 바라보아진 확인 버튼이 활성화되고 즉, 식별된 활성화 가능 요소와 일시적으로 연관되거나 링크되고, 연관된 식별된 활성화 가능 요소가 구동된다. 근본적으로 이러한 제2 실시예에서, 확인 버튼의 활성화 및 확인 버튼의 구동의 단계들은 함께 일어나거나 단일 단계로서 고려될 수 있다. 이러한 '경험적 분석' 실시예를 추가로 후술할 것이다.

어느 한 실시예에서, 확인 버튼들이 정적이고 제 위치에 고정되므로, 확인 버튼들은 사용자의 주변 시야에서 주의를 산만하게 하지 않고, 확인 버튼들의 정적 위치의 익숙함은 확인 단계의 속도가 사용 빈도에 따라 증가하도록 사용 빈도에 따라 증가한다. 게다가, 확인 버튼들이 그래픽 확인 버튼들, 또는 대안적으로 전자 디스플레이의 작동 가능한 영역 또는 영역을 둘러싸는 케이싱 또는 하우징 상에 제공되는 물리적 확인 버튼들로서 시각 작업의 디스플레이 스크린 외부에 즉, 별도의 윈도우 여백에 있으므로, 확인 버튼들은 스크린 콘텐츠를 가리지 않는다. 또한, 확인 버튼들이 시각적으로 색상, 패턴 및/또는 형상 연관을 통하여 활성화 가능 요소들과 연관되므로, 빠른 대응이 원하는 확인 버튼을 오래 바라볼 때, 확인 및/또는 구동 단계들 동안 사용자에 의해 행해질 수 있다. 또한, 확인 버튼의 각각의 색상, 패턴 및/또는 형상의 위치가 변화되지 않으므로, 그것은 빈번한 사용으로 확인 및/또는 구동 단계들의 속도를 더 개선한다. 이러한 구성으로, 활성화 가능한 것들은 동일한 확인 버튼들에 할당되게 머무르며, 이는 인터페이스를 보다 예측 가능하게 하고 활성화 가능한 것에 대한 후속 확인 버튼 활성화들 및/또는 구동들에 사용 가능하게 한다.

게다가 제1 실시예로, 알고리즘은 다수의 확인 버튼을 한 번에 활성화할 수 있고 이는 스크린 콘텐츠의 임의의 시각 확대를 필요로 하지 않고 활성화 가능 요소들의 타이트한 클러스터들에 대한 정확성 및 정밀성의 임의의 부족을 보상한다.

2. 시스템 구성

응시 제어 인터페이스 방법은 데스크탑 컴퓨터이든, 태블릿 또는 스마트폰 또는 유사한 것과 같은 휴대용 디바이스이든, 통합되거나 연관된 전자 디스플레이를 갖는 임의의 하드웨어 시스템 상에서 구현될 수 있다. 도 1을 참조하면, 전형적 하드웨어 시스템 또는 디바이스(10)는 응시 제어 인터페이스 알고리즘을 실행시키는 프로세서(12) 및 연관된 메모리(14)를 포함한다. 하드웨어 시스템(10)은 디스플레이 신호들(18)을 통하여 전자 시각 작업을 제공하도록 프로세서(12)에 의해 제어되는 디스플레이 스크린(16) 상에서 사용자의 눈 응시 위치를 감지하도록 구성되는 눈 또는 응시 추적기 시스템을 포함한다. 전형적으로, 응시 추적기 시스템은 비외과적이고 디스플레이 스크린(16)을 향하고 있는 사용자의 눈들을 보도록 구성되는 적외선 카메라들과 같은 하나 이상의 광 센서(20)를 포함한다. 광 센서 또는 센서들(20)이 디스플레이 스크린의 주변부 또는 프레임 주위에 통합된 웹캠들과 같이 디스플레이 스크린과 통합되는 것과 같이 하드웨어 디바이스와 통합될 수 있거나, 대안적으로 사용자의 눈들을 볼 수 있고 배선에 의하든 무선으로이든, 하드웨어 디바이스 또는 시스템에 연결되는 위치에 위치되는 별도의 광 센서들일 수 있다는 점이 이해될 것이다. 광 센서들은 예를 들어, 당업자에게 알려진 동공 중심 각막 반사(PCCR) 방법, 또는 임의의 다른 적절한 눈 추적 알고리즘 또는 눈 또는 응시 추적을 위한 이미지 처리를 사용하여 사용자의 응시 방향을 결정할 수 있는 프로세서 상에서 실행되는 응시 추적기 알고리즘 또는 소프트웨어(24)에 의해 처리되는 센서 신호들(22)을 생성한다. 응시 추적기(24)는 디스플레이 스크린 상에서 또는 이것에 대하여 사용자의 응시 위치를 나타내는 응시 신호 또는 신호들(26)을 생성한다. 예를 들어, 응시 신호는 화소 좌표들 또는 응시 방향 등일 수 있다. 응시 신호(26)는 응시 제어 인터페이스 알고리즘(28)에 의해 계속적으로 수신되고 처리된다. 추가로 설명할 것인 바와 같이, 응시 제어 인터페이스는 프로세서에 의해 디스플레이 스크린(16) 상에 제공되는 전자 시각 작업을 처리하고 응시 추적기(24)로부터의 응시 신호(들)(26)을 처리하는 것에 기반하여 전자 시각 작업과의 사용자 상호 작용을 가능하게 한다.

일부 실시예들에서, 응시 제어 인터페이스는 인터페이스의 하나 이상의 시각 특징을 사용하여 응시 추적기(24)를 자동으로 교정하도록 구성되는 응시 추적기 자동 교정 알고리즘을 더 포함할 수 있다. 예로서, 시각 특징들은 확인 버튼들 및 확인 버튼들의 기준점들 또는 좌표 또는 전자 시각 작업의 활성화 가능 요소들 중 임의의 하나 이상을 포함할 수 있다. 예를 들어, 확인 버튼들을 오래 바라보는 것과 연관되는 보고된 응시점이 응시 신호(들)에 의해 나타내어지는 바와 같이, 오래 바라보아지는 확인 버튼들의 기준점들 또는 좌표들로부터 일관되게 오프셋되면, 인터페이스 알고리즘은 응시 추적기(24)의 교정을 동적으로 정정하거나 개선할 수 있다.

3. 응시 제어 웹 브라우저

예로서만, 응시 제어 인터페이스 방법 및 시스템을 응시 제어 웹 브라우저에 대한 응시 제어 인터페이스 방법 및 시스템의 구현의 맥락에서 설명할 것이다. 특히, 응시 제어 인터페이스 방법을 웹 브라우저를 통하여 렌더링되는 웹페이지 형태의 전자 시각 작업으로 사용자가 순항하고 이것과 상호 작용하는 것을 참조하여 설명할 것이다. 그러나, 응시 제어 인터페이스 알고리즘이 애플리케이션 프로그램 또는 GUI들 또는 애플리케이션 프로그램들의 GUI들의 메뉴들 및/또는 버튼들과 같은 제어 요소들에 의해 렌더링되는 전자 시각 작업들을 포함하여, 사용자가 상호 작용할 수 있는 활성화 가능 요소들을 갖는 임의의 다른 형태의 상호 작용하는 전자 시각 작업들을 위해 구현될 수 있다는 점이 이해될 것이다. 인터페이스의 알고리즘들이 상이한 타입들의 전자 시각 작업들에 어떻게 맞추어질 수 있는지가 당업자에 의해 이해될 것이다.

주응시 제어 인터페이스 알고리즘

도 2a 및 도 2b는 주응시 제어 인터페이스 알고리즘(30 및 47)의 2개의 실시예를 도시한다. 유사 참조 번호들은 유사 단계들을 지칭한다. 첫째로, 인터페이스는 전자 시각 작업을 로딩하도록 구성되며, 전자 시각 작업은 웹 브라우저 예의 맥락에서 웹페이지일 수 있고, 32에서 도시된 바와 같이, 하드웨어 디바이스의 디스플레이 스크린 상에 전자 시각 작업을 렌더링한다. 전자 시각 작업을 로딩할 시에, 응시 인터페이스 알고리즘은 사용자가 할당 단계(34)에서 상호 작용할 수 있는 임의의 활성화 가능 요소를 식별하기 위해 웹페이지 예의 맥락에서, HTML 또는 유사한 것과 같은 전자 시각 작업의 데이터 파일을 처리하고 분석하도록 구성된다. 활성화 가능 요소들은 웹페이지 예의 맥락에서, 하이퍼링크, 필드, 버튼 또는 유사한 것과 같은 임의의 통상적 마우스 클릭 가능하거나 터치 입력 상호 작용 요소들일 수 있다. 할당 단계(34)는 필요한 응시 제어의 레벨에 따라 하나의 또는 다수의 타입의 활성화 가능 요소들을 식별하도록 구성될 수 있다. 예를 들어, 모든 타입의 모든 활성화 가능 요소가 응시 제어를 통하여 전체 사용자 상호 작용을 위해 일 예에서 식별될 수 있거나, 대안적으로 단일 타입만의 활성화 가능 요소들이 전자 시각 작업과의 보다 제한되거나 부분적인 응시 제어 상호 작용을 위해 식별될 수 있다.

원하는 타입 또는 타입들의 활성화 가능 요소들이 전자 시각 작업에서 식별되었으면, 할당 단계(34)는 요소 시각 식별자를 식별된 활성화 가능 요소들 각각에 할당한다. 각각의 요소 시각 식별자는 각각이 다수의 확인 버튼 중 하나의 버튼 시각 식별자와 시각적으로 상응하거나 이것과 시각 연관을 갖는 미리 정해진 고정된 수의 식별자 중 하나로부터 선택된다.

확인 버튼들

상술한 바와 같이, 응시 인터페이스 알고리즘의 실시예들은 확인 단계 또는 구동 버튼들('확인 버튼들')과의 조합으로 바라보기에 기반한다. 인터페이스는 예를 들어, 표시된 전자 시각 작업에 대한 여백에서와 같이 알려진 고정된 위치들에서의 디스플레이 스크린의 근처에서 정적으로 표시되는 미리 정해진 수의 다수의 확인 버튼을 사용한다. 도 6은 이러한 예에서 웹페이지와 같은 전자 시각 작업이 디스플레이 스크린(50)의 우측 여백에서 확장되는 웹 브라우저, 및 별도의 응시 제어 윈도우(53)로 표시될 주디스플레이 윈도우(51)를 갖는 디스플레이 스크린(50)의 일 예를 도시한다. 응시 제어 윈도우(53)에서, 각각이 별개의 버튼 시각 식별자를 갖는 다수의 확인 버튼(52)이 제공된다. 이러한 예에서, 버튼 시각 식별자들은 별개의 상이한 패턴들로서 도시되지만, 대안적으로 상이한 색상들, 패턴들, 형상들 또는 색상, 패턴 및/또는 형상의 조합일 수 있다.

이러한 형태에서, 확인 버튼들(52)은 응시 제어 인터페이스 알고리즘에 의해 생성되는 전자적으로 생성된 그래픽 확인 버튼들이다. 그러나 다른 형태들에서, 응시 제어 인터페이스 알고리즘에 의해 사용되는 확인 버튼들은 작동 가능한 디스플레이 스크린 영역과 경계를 이루는 케이싱 및 하우징의 적어도 일부 주위에 제공되는 물리적 확인 버튼들일 수 있다. 예를 들어, 도 8은 터치 스크린 디스플레이(61)를 갖는 태블릿(60)의 형태의 하드웨어 디바이스를 도시한다. 도시된 바와 같이, 확인 버튼들(62)의 상부 세트는 태블릿의 케이싱(64)의 상부 프레임 상에 제공되고 확인 버튼들의 하부 세트(63)는 케이싱의 하부 프레임 상에 제공된다. 이러한 세트들의 확인 버튼들(62, 63)은 다시 구별 짓는 버튼 시각 식별자들이 구비되고 (레이저 또는 달리) 인쇄되거나, 스티커들이거나, 케이싱 또는 디스플레이 스크린을 개량할 수 있는 새로 설치된 프레임 또는 제어 패널 상에 제공되는 것과 같이 케이싱 상에 형성되거나 제공될 수 있다. 물리적 확인 버튼들(62, 63)은 평평하거나 케이싱과 같은 높이이거나 약간 양각화되거나 3차원 양상을 가질 수 있다. 다른 예에서, 도 9는 터치 스크린 디스플레이(71) 및 디스플레이 스크린을 둘러싸는 케이싱 또는 하우징(74) 상에 제공되는 확인 버튼들의 상부 세트(72) 및 확인 버튼들의 하부 세트(73)를 갖는 스마트폰 디바이스(70)를 도시한다.

위의 실시예들 중 어느 하나에서, 전자적으로 생성된 그래픽 확인 버튼들이든 물리적 확인 버튼들이든, 확인 버튼들에 의해 커버되는 화소 위치들 및/또는 영역은 고정되고 인터페이스 알고리즘에 알려져 있다. 그래픽 확인 버튼들의 맥락으로, 그래픽 확인 버튼들의 온스크린 화소 위치들이 알려져 있고, 물리적 버튼들의 맥락으로, 디스플레이 스크린에 대한 물리적 버튼들의 '가상' 화소 위치가 알려져 있다. 예를 들어 이러한 맥락에서, 디스플레이 스크린을 둘러싸는 프레임 또는 케이싱은 마치 물리적 버튼들이 그래픽으로 디스플레이 스크린 상에 제공되는 것처럼 가상 화소 위치를 물리적 버튼들이 갖도록 작동 가능한 디스플레이 스크린의 연장으로서 고려될 수 있다. 응시 추적기 시스템은 또한 전자 디스플레이 스크린을 둘러싸는 케이싱 또는 프레임 상에서 사용자의 응시 위치를 감지할 수 있다.

사용되는 확인 버튼의 수는 인터페이스 알고리즘의 의도되는 사용에 따라 달라질 수 있다. 전자적으로 생성된 그래픽 확인 버튼들의 경우, 인터페이스 알고리즘은 시작 부분에서 전자 시각 작업에서 활성화 가능 요소의 밀도 및/또는 수, 및/또는 이용 가능한 스크린 실제 상태를 포함하는 다양한 요인에 따라 제공되는 확인 버튼의 수를 구성할 수 있다. 너무 많은 확인 버튼과 충분하지 않은 확인 버튼 사이에 균형이 있다. 물리적으로 제공되는 확인 버튼들의 경우, 수는 디스플레이 스크린을 둘러싸는 케이싱 상의 표면적의 크기에 의해 영향을 받거나 제한될 수 있다. 너무 많은 확인 버튼은 빠른 시각 연관을 어렵게 할 수 있고, 충분하지 않은 확인 버튼은 사용자가 활성화 가능한 것들의 근접한 클러스터들을 갖는 문서들과 정확하게 상호 작용하는 것을 알고리즘이 가능하게 하는 것을 어렵게 할 수 있다.

확인 버튼들의 제공은 인터페이스 알고리즘의 의도되는 용도에 따라 달라질 수도 있다. 버튼들은 수직 또는 수평선 어레이들, 2D-어레이들 또는 무작위 위치들에 제공될 수 있다.

요소 시각 식별자들의 할당

도 2a 및 도 2b를 다시 참조하면, 요소 시각 식별자들의 할당 단계(34)는 동일한 요소 시각 식별자를 갖는 활성화 가능 요소들 사이의 온 스크린 거리가 최대화되도록 한다. 특히, 고정된 수의 확인 버튼에 상응하는 미리 정해진 고정된 수의 요소 시각 식별자만이 있으므로, 전자 시각 작업에서의 다수의 활성화 가능 요소는 동일한 요소 시각 식별자가 할당되었을 수 있다. 예를 들어, 전자 시각 작업은 다수의 활성화 가능 요소를 포함할 수 있고, 이용 가능한 미리 정해진 수의 요소 시각 식별자는 동일하거나 유사한 시각 식별자들을 갖는 활성화 가능 요소들 사이의 거리가 최대화되도록 할당된다. 일부 실시예들에서, 이웃하는 활성화 가능한 것들에 상응하는 확인 버튼들 사이의 거리를 최대화하는 것과 같은 부가적이거나 대안적인 기준들이 의도하지 않은 클릭들의 가능성들을 감소시키도록 채용될 수도 있다.

이하의 예들에서, 요소 시각 식별자들은 색상 기반이고 각각의 색상은 확인 버튼들 중 하나의 버튼 시각 식별자를 나타내는 색상에 상응하지만, 동일한 원리들이 패턴들 및/또는 형상들에 상응하는 요소 및 버튼 시각 식별자들에 적용될 수 있다. 가능한 시각 식별자 할당 하위 알고리즘들의 예들을 도 3 및 도 4를 참조하여 설명할 것이다. 예시적 하위 알고리즘들을 웹페이지에서 하이퍼링크들인 활성화 가능한 것들의 맥락에서 설명할 것이지만, 알고리즘들이 임의의 전자 시각 작업에서 임의의 하나 이상의 타입의 활성화 가능한 것들에 적용될 수 있다는 점이 이해될 것이다.

도 3을 참조하면, 전자 시각 작업을 처리하기 위한 시각 식별자 할당 하위 알고리즘(80)의 제1 예가 도시된다. 시작(81) 후에, 시각 식별자 할당 하위 알고리즘(80)은 미리 정해진 세트의 이용 가능한 식별자로부터 임의로 선택되는 현재 시각 식별자 예를 들어, 이러한 예에서 색상들을 설정한다. 예를 들어, 적색, 녹색, 청색 및 주황색으로 색상화되는 4개의 확인 버튼이 있으면, 그 때 적색, 녹색, 청색 및 주황색에 상응하는 4개의 요소 시각 식별자가 있다. 하위 알고리즘(80)은 활성화 가능 요소(예를 들어, 이러한 예에서 하이퍼링크)가 결정(83)에서 존재하는지 여부를 판단하기 위해 전자 시각 작업을 검토한다. 추가의 활성화 가능한 것들(예를 들어, 하이퍼링크들)이 존재하지 않으면, 알고리즘은 중단된다(84).

다른 활성화 가능한 것이 결정(83)에서 식별되면, 다음 활성화 가능한 것이 단계(85)에서 현재의 활성화 가능한 것으로서 그 다음 설정된다. 85에서의 다음 활성화 가능한 것의 선택은 이전 처리된 활성화 가능한 것에 다음 가장 근접한 할당되지 않은 활성화 가능한 것에 기반하거나 임의의 다른 주어진 순서 또는 패턴에 기반하여 다음 할당되지 않은 활성화 가능한 것을 점진적으로 선택할 수 있다. 임의의 이전 활성화 가능한 것들에 동일한 선택된 현재 시각 식별자(82)(예를 들어, 이러한 예에서 색상)가 할당되었는지 여부에 대한 결정(86)이 그 다음 행해진다. 선택된 현재 시각 식별자(82)가 이전에 다른 활성화 가능한 것에 할당되지 않았으면, 그 다음 선택된 시각 식별자(82)는 단계(87)에서 현재의 활성화 가능한 것에 할당되고 이러한 요소 시각 식별자의 활성화 가능 요소에의 할당은 데이터 구조체 또는 데이터 파일(88) 또는 메모리에 저장된다. 이후에, 알고리즘은 임의의 더 많은 활성화 가능한 것(예를 들어, 이러한 예에서 하이퍼링크들)이 요소 시각 식별자의 할당을 필요로 하는 전자 작업에서 존재하는지 여부를 판단하도록 결정(83)으로 복귀한다.

이전 활성화 가능한 것에 선택된 현재 시각 식별자(82)가 할당되었으면, 그 다음 현재 시각 식별자의 가장 근접한 이전 활성화 가능한 것이 회수된다(89). 그 다음 회수된 활성화 가능한 것이 현재의 활성화 가능한 것에 근접한지 여부(즉, 회수된 하이퍼링크가 이러한 예에서 현재 하이퍼링크에 얼마나 근접한지)에 대한 결정(90)이 행해진다. 예를 들어, 이전에 할당된 활성화 가능한 것 및 현재의 활성화 가능한 것의 화소 좌표들이 미리 정해진 구역 예를 들어, 서로에 대하여 화소 반경 내에 있으면, 그 때 이전에 할당된 활성화 가능한 것 및 현재의 활성화 가능한 것이 근접한 것으로 고려된다. 그것들이 근접하면, 그 다음 모든 시각 식별자(예를 들어, 이러한 예에서 모든 색상)가 현재의 활성화 가능한 것에 대해 확인되었는지 여부의 결정(91)이 행해진다. 모든 시각 식별자가 확인되었으면, 그 다음 현재의 활성화 가능한 것으로부터 가장 먼 시각 식별자가 현재의 활성화 가능한 것에 할당된다(93). 이것은 그 다음 데이터 구조체 또는 데이터 파일 또는 메모리에 저장된다(88). 그에 반해서, 모든 시각 식별자가 확인되지 않았으면(91), 그 다음 아직 확인되지 않았던 다음 시각 식별자가 현재 시각 식별자(82)로서 선택되고 알고리즘은 전과 같이 결정(86)으로 복귀한다. 현재 시각 식별자(82) (또는 재선택된 식별자(92))의 더 이른 활성화 가능한 것(89)이 결정(90)에서 확인되는 바와 같이, 현재의 활성화 가능한 것(85)에 근접하지 않으면, 그 다음 현재 시각 식별자(82) (또는 재선택된 식별자(92))는 현재의 활성화 가능한 것(85)에 할당되고 데이터 구조체 또는 파일 또는 메모리에 저장된다(88).

위의 시각 식별자 할당 하위 알고리즘(80)으로, 요소 시각 식별자(예를 들어, 이러한 예에서 색상)의 활성화 가능 요소들(예를 들어, 이러한 예에서 하이퍼링크들) 각각으로의 할당은 동일한 할당된 시각 식별자를 갖는 활성화 가능 요소들 사이의 디스플레이 스크린 상의 거리가 최대화되도록 또는 그 거리가 미리 정해진 거리 임계치 또는 할당 구역을 초과하도록 설정된다. 하나의 형태에서, 현재의 활성화 가능한 것이 선택된 현재 식별자와 동일한 시각 식별자의 이전에 할당된 활성화 가능한 것에 근접한지 여부를 판단하는 것은 각각의 활성화 가능한 것의 화소 위치들에 상응하는 화소 좌표들이 각각의 활성화 가능한 것을 중심으로 중심 위치되는 미리 정해진 화소 반경의 원형 구역의 범위 내에 있는지 여부에 의해 결정된다.

도 4를 참조하여, 시각 식별자들(예를 들어, 이러한 예에서 색상들)을 전자 시각 작업의 활성화 가능한 것들(예를 들어, 웹페이지 내의 하이퍼링크들)에 점진적으로 할당하기 위한 시각 식별자 할당 하위 알고리즘(94)의 제2 예를 설명할 것이다. 이러한 알고리즘(94)에서, 95에서 시작된 후에, 전자 시각 작업은 다른 활성화 가능 요소(예를 들어, 하이퍼링크)가 존재하는지 여부를 판단하는 결정(96)에서 처리된다. 추가의 활성화 가능한 것들이 존재하지 않으면, 알고리즘은 중단된다(97). 다른 활성화 가능한 것이 존재하면, 다음 할당되지 않은 활성화 가능한 것이 98에서 현재의 활성화 가능한 것으로서 선택된다. 선택 단계(98)에서, 선택된 다음 할당되지 않은 활성화 가능한 것(a)은 이전에 할당된 활성화 가능한 것으로부터의 거리 또는 임의의 다른 주어진 순서 또는 패턴에 기반하여 다음 할당되지 않은 활성화 가능한 것을 점진적으로 선택할 수 있다. 이용 가능한 시각 식별자들의 세트에서의 임의의 시각 식별자(들)이 할당되지 않은 채 남겨졌는지 여부에 대한 결정(99)이 그 다음 행해진다. 시각 식별자들 중 하나가 아직 할당되지 않았으면, 그 다음 그러한 시각 식별자가 단계(100)에서 선택된 활성화 가능한 것(a)에 할당되고, 그 다음 알고리즘은 단계(96)에서 할당된 시각 식별자를 필요로 하는 임의의 추가의 할당되지 않은 활성화 가능한 것들에 대한 전자 시각 작업을 확인하도록 복귀한다.

그러나 결정(99)에서, 미리 정해진 세트에서의 모든 시각 식별자(예를 들어, 이러한 예에서 모든 색상)가 이미 할당되었으면, 분석이 단계(101)에서 이웃 세트의 활성화 가능한 것들을 수집하도록 행해진다. 특히, 미리 정해진 세트에서의 각각의 시각 식별자(i)의 경우, 현재의 활성화 가능한 것(a)에 가장 근접한 시각 식별자(i)를 갖는 활성화 가능한 이웃(i,a)이 이웃 세트에 위치되고 저장된다. 할당되지 않은 현재의 활성화 가능한 것(a)으로부터 이웃 세트에서의 가장 먼 활성화 가능한 이웃이 그 다음 단계(102)에서 식별되고, 알고리즘이 시각 식별자들을, 만일 존재한다면, 다음 할당되지 않은 활성화 가능한 것들에 할당하도록 결정(96)으로 복귀하기 전에, 그러한 가장 먼 활성화 가능한 이웃의 시각 식별자가 할당되지 않은 현재 활성화 가능한 것(a)에 할당된다.

제1 예시적 시각 식별자 할당 하위 알고리즘으로와 같이, 링크들에 대한 시각 식별자 할당이 데이터 파일 또는 메모리에 저장된다.

시각 식별자 할당 후의 전자 시각 작업의 변경

시각 식별자 할당 단계(34) 후에, 전자 시각 작업(예를 들어, 이러한 예에서 웹페이지)은 할당 데이터 파일에 기반하여 활성화 가능한 것들의 할당된 요소 시각 식별자들(이러한 예에서 색상화된 확인 버튼들 중 하나에 상응하는 할당된 색상)을 갖는 활성화 가능한 것들(예를 들어, 이러한 예에서 하이퍼링크들)을 제공하도록 변경된다. 사용자는 활성화 가능한 것들(예를 들어, 이러한 예에서 하이퍼링크들)이 모두 색상화되거나, 하이라이팅되거나, 밑줄이 그어지거나, 활성화 가능한 것들의 할당된 시각 식별자(예를 들어, 활성화 가능한 것들의 할당된 색상)에 상응하는 연관된 시각 식별자(예를 들어, 이러한 예에서 색상)를 갖는 디스플레이 스크린이 제공될 수 있다. 하나의 형태에서, 시각 식별자 할당은 사용자가 스크린의 상이한 영역들을 응시함에 따라 점진적으로 또는 동적으로 사용자에게 제공될 수 있다. 대안적인 형태에서, 스크린 상의 모든 활성화 가능한 것은 임의의 어느 때에 제공되는 모든 활성화 가능한 것의 할당된 시각 식별자를 가질 수 있다. 이러한 형태에서, 알고리즘은 사용자의 추적된 응시에 관한 사용자 반응으로서의 부가 밑줄들, 경계 하이라이팅, 또는 임의의 다른 추가 시각 지시자를 사용하여 사용자의 응시 근처의 활성화 가능 요소(들)를 식별하도록 추가로 구성될 수 있다.

하나의 형태에서, 시각 식별자 할당은 활성화 가능한 것들의 할당된 시각 식별자들을 갖는 활성화 가능한 것들을 하이라이팅하도록 전자 시각 작업의 통상적 디스플레이를 오버레이하는 마스킹 오버레이 윈도우 또는 스크린을 통하여 사용자에게 제공될 수 있다. 다른 형태에서, 응시 제어 인터페이스는 디스플레이 스크린이 별도의 스크린 오버레이를 필요로 하지 않고 링크들의 할당된 시각 식별자들을 갖는 링크들을 렌더링하도록 이러한 웹페이지 예의 맥락에서, HTML 파일과 같은 전자 시각 작업의 코드 또는 파일을 변경할 수 있다.

제1 실시예 - 확인 버튼 활성화 및 구동

도 2a를 다시 참조하면, 활성화 가능한 것들의 할당된 시각 식별자들(예를 들어, 이러한 예에서 색상들)을 갖는 활성화 가능한 것들(예를 들어, 이러한 예에서 하이퍼링크들)을 제공하거나 렌더링하도록 전자 시각 작업(예를 들어, 이러한 예에서 웹페이지)의 제공의 변경 및 요소 시각 식별자 할당 단계(34) 후에, 주응시 제어 인터페이스 알고리즘(36)이 시작된다. 이러한 제1 실시예에서, 주응시 제어 인터페이스 알고리즘(36)은 '활성화 임계치' 알고리즘이다. 초기에, 모든 확인 버튼들은 사용자의 응시가 정지하지 않거나 임의의 활성화 가능한 것 근처에 있지 않을 때, 불활성 상태(38)가 된다. 불활성 상태가 되면, 확인 버튼들은 사용자에 의해 오래 바라보아질 때의 임의의 행위를 트리거하거나 수행하지 않는다.

사용자의 응시가 활성화 가능한 것들 근처에서 실질적으로 정지한 것으로 감지되면(39), 알고리즘은 사용자가 활성화 가능한 것들을 오래 바라보거나 이것들 근처를 바라보는 것에 상응하는 상태(40)로 넘어간다. 사용자가 제1 시간 임계치에 상응하는 시간 간격 동안 활성화 가능한 것들 상의 또는 근처의 응시 영역에서 응시하는 것으로 감지되면, 그 다음 확인 버튼들 중 하나 이상이 활성화된다. 사용자가 활성화 가능한 것들을 오래 바라보고 있는지 여부 그리고 확인 버튼(들)이 활성화되어야 하는지 여부를 검출하기 위한 하위 알고리즘이 도 5에 도시된다.

도 5의 활성화 가능한 것 바라보기 하위 알고리즘(120)은 사용자의 응시가 제1 시간 임계치에 상응하는 시간 간격 동안 실질적으로 정지하는지 여부를 판단한다. 활성화 가능한 것 바라보기 상태(40)로 진입한 후의 단계(121)에서 시작된 후에, 타이머가 시작되고 눈 추적기로부터의 응시 신호에 의해 결정되는 응시 위치가 저장된다(122). 다음 응시 위치 샘플이 그 다음 불러와지고(123) 다음 응시 위치 샘플이 이전 응시 샘플 근처이거나 이것에 근접한지 여부에 관한 결정(124)에서 분석된다. 그것이 아니면(125), 알고리즘은 상태(122)로 복귀하고 타이머를 재시작한다. 하나의 예시적 구현에서, 응시점 샘플들은 미리 정해진 거리 임계치 또는 파라미터에 의해 한정되는 미리 정해진 거리 내에 있으면, 서로 가까운 것으로 고려된다. 이러한 예에서, 연속적인 응시 위치 샘플들은 샘플 위치들 중 하나가 응시 위치 샘플들을 중심으로 중심 위치되는 미리 정해진 반경의 원형 응시 영역의 범위 내에 있으면, 서로 가까운 것으로 고려되며, 예를 들어, 다른 실시예들에서 반경이 30 화소일 수 있지만 이것이 눈 추적기의 정확성에 따라 달라질 수 있다. 연속적인 응시 샘플 위치들이 서로 가까운 것으로 고려되면, 그 다음 타이머는 단계(126)에서 타이머 임계치와 비교된다. 임계치가 초과되지 않으면, 그 다음 알고리즘은 127로 도시된 바와 같이 다음 응시점 샘플에 대해 단계(123)로 복귀한다. 그러나, 타이머가 제1 임계치를 초과하면, 그 다음 응시는 응시 영역에서 정지한 것으로 고려되고 하위 알고리즘은 확인 버튼들의 지점 활성화가 필요한 단계(128)로 이동한다. 이러한 실시예에서, 제1 시간 임계치는 100 ㎳이지만, 이것이 다른 실시예들에서 필요한 바에 따라 달라지거나 조정될 수 있다는 점이 이해될 것이다.

일 실시예에서, 주인터페이스 알고리즘(36)은 지난 응시 샘플 근처의 활성화 가능한 것에 상응하는 확인 버튼만을 활성화하는 것으로 고려될 수 있거나 대안적으로 지난 응시 샘플에 대하여 미리 정해진 활성화 구역의 범위 내에 있는 모든 활성화 가능한 것은 모든 활성화 가능한 것의 활성화되는 확인 버튼들을 가질 수 있다. 그러한 실시예들에서, 미리 정해진 활성화 구역은 활성화가 동일한 할당된 색상을 갖는 2개의 활성화 가능한 것을 캡처할 것 같지 않도록 할당 단계에서 사용되는 할당 구역보다 더 작게 구성될 수 있다. 그러나, 동일한 할당된 색상을 갖는 2개 이상의 활성화 가능한 것이 활성화 구역의 범위 내에 있게 되면, 그 다음 지난 응시 위치 샘플에 가장 근접한 활성화 가능한 것이 그것의 상응하는 활성화된 확인 버튼과 연관되도록 선택된다. 일부 실시예들에서, 알고리즘은 활성화 가능 요소들의 연관된 확인 버튼이 활성화될 때, 활성화 가능 요소들에 동적으로 밑줄들을 표시하거나 경계 하이라이팅함으로써 또는 임의의 다른 추가 시각 지시자에 의해 예를 들어, 활성화 구역의 범위 내에 있는 사용자 응시 근처의 활성화 가능 요소들과 연관되는 확인 버튼들의 활성화를 시각적으로 나타내도록 구성될 수 있다. 활성화 가능한 것 바라보기 하위 알고리즘은 그 다음 단계(129)에서 중단된다.

예로서 도 7을 참조하면, 이러한 예에서 설명의 명확화를 위해 경계들로 윤곽이 그려지는 다수의 하이퍼링크(112)를 갖는 예시적 웹페이지(110)가 도시된다. 이러한 예에서, 지난 응시 위치 샘플이 화소로 도시되고(113) 활성화 구역이 지난 응시 위치를 중심으로 중심 위치되는 점선으로 표시된 경계(116)로 도시된다(113). 이러한 예에서, 링크들(112a 및 112b)은 활성화 구역의 범위 내에 있다. 확인 버튼들(114)이 미리 정해진 고정된 위치들에서의 응시 제어 윈도우에 그래픽으로 도시되고, 이러한 예에서, 요소(하이퍼링크들) 및 버튼 시각 식별자들이 설명의 명확화를 위해 색상들이 아닌 패턴들로서 도시된다. 도시된 바와 같이, 활성화 가능 요소들(112a, 112b)의 요소 시각 식별자들은 버튼들(114a 및 114b)의 버튼 시각 식별자들에 상응하고, 그러므로 이러한 확인 버튼들은 활성화되는 반면에, 하부 확인 버튼들(114c 및 114d)은 불활성인 상태로 남는다. 확인 버튼들(114a, 114b)의 활성화는 사용자의 응시에 의해 이러한 확인 버튼들을 임의의 오래 바라보는 것이 추가로 후술하는 바와 같이 각각 버튼의 구동인 것으로 고려되고 일시적으로 연관된 활성화 가능 요소(112a, 112b)의 활성화를 야기할 것을 의미한다.

도 2a를 다시 참조하면, 하나 이상의 확인 버튼의 활성화 후에, 주인터페이스 알고리즘(36)은 활성화된 확인 버튼 상태(41)로 이동한다. 확인 버튼 활성화된 상태(41)에서, 응시 신호는 사용자의 응시가 동일한 활성화 가능한 것 상에서 정지하는지 아니면 임의의 새로운 활성화 가능한 것 상에서 정지하는지 여부, 또는 응시가 확인 버튼들 중 임의의 것 상에서 정지하는지 여부를 판단하도록 분석된다.

응시가 새로운 활성화 가능한 것들 상에서 정지하고 이것들을 오래 바라보고 있는 것으로 검출되면, 그 다음 도 5를 참조하여 상술한 활성화 가능한 것 바라보기 하위 알고리즘(120)이 상태(42)에서 적용된다. 임의의 새로운 활성화 가능한 것들이 미리 정해진 시간 임계치(예를 들어 100 ㎳)에 상응하는 시간 간격 동안 새로운 또는 변경된 응시 영역에서 오래 바라보아지면, 그 다음 확인 버튼 활성화가 임의의 그러한 새롭게 오래 바라보아진 활성화 가능한 것들에 필요한 확인 버튼들이 활성화되거나 재활성화되도록 업데이트된다.

활성화된 확인 버튼들 중 임의의 것이 상태(43)에서 미리 정해진 제2 시간 임계치(예를 들어, 400 ㎳이지만, 이는 원하는 바에 따라 다른 실시예들에서 달라지거나 맞춤화될 수 있음)에 상응하는 시간 간격 동안 오래 바라보아지면, 그 다음 확인 버튼은 응시 구동을 통하여 구동되는 것으로 고려된다. 확인 버튼을 오래 바라보는 것은 상술한 바와 같이 가상 화소 좌표들에서 디스플레이 스크린 외부에 그래픽으로 제공되는지 물리적으로 제공되는지, 연관된 확인 버튼들의 타겟 영역, 경계선 또는 표면 영역 내에서 실질적으로 정지하는 응시 위치 샘플을 제공하는 응시 신호에 의해 검출될 수 있다. 구동되면, 확인 버튼과 일시적으로 연관되는 활성화 가능한 것(예를 들어, 이러한 예에서 하이퍼링크)은 클릭되는 것으로 고려되거나 구동된다. 예로서 응시 제어 웹 브라우저에서, 브라우저는 마치 하이퍼링크가 클릭 또는 터치 입력에 의해 클릭되거나 활성화되었던 것처럼 하이퍼링크에 의해 지정되는 새로운 위치, 파일 또는 웹페이지로 넘어가거나 이것들을 로딩한다(44). 응시 제어 인터페이스 알고리즘은 그 다음 단계(32)에서 새로운 웹페이지, 위치 또는 파일을 렌더링한 후에 시각 식별자 할당 단계를 처음부터 다시 시작하여, 사용자가 위와 동일한 방식으로 새로운 웹페이지를 상호 작용하고/하거나 순항하는 것을 가능하게 한다.

상태(45)에서 도시된 바와 같이, 모든 확인 버튼은 사용자가 주디스플레이 윈도우를 업데이트하고 상태(38)에서 알고리즘을 재시작하도록 스크롤하여, 스크롤하는 것이 알고리즘에의 인터럽트로서의 역할을 하도록 전반적으로 비활성화될 수 있다. 사용자가 디스플레이 윈도우의 크기 조절(46)을 트리거하는 것은 알고리즘이 재시작하거나 상태(32)로 전이하는 것을 트리거할 수 있다.

제2 실시예 - 확인 버튼 활성화 및 구동

도 2b를 다시 참조하면, 활성화 가능한 것들의 할당된 시각 식별자들을 갖는 활성화 가능한 것들을 제공하거나 렌더링하는 전자 시각 작업의 제공의 변경 및 요소 시각 식별자 할당 단계(34) 후에, 주응시 제어 인터페이스 알고리즘(47)이 시작된다. 이러한 제2 실시예에서, 주응시 제어 알고리즘(47)은 '경험적 분석' 알고리즘이다. 초기에 제1 실시예와 같이, 모든 확인 버튼은 불활성 상태(48)가 된다.

이러한 제2 실시예에서, 사용자가 전자 시각 작업을 응시함에 따라, 알고리즘은 응시 기록 상태(49)로 진입한다. 이러한 응시 기록 상태에서, 알고리즘은 응시 추적기(24)로부터 수신된 응시 신호(26)를 나타내는 메모리에 응시 데이터를 일시적으로 또는 영속적으로 기록하고 저장한다. 제1 형태에서, 응시 기록 상태(49)는 계속적으로 수신되는 모든 응시 신호를 기록하도록 구성될 수 있다. 제2 형태에서, 응시 기록 상태(49)는 (예를 들어, 도 5의 알고리즘 또는 유사한 것을 사용하여) 사용자의 응시가 정지한 것으로 검출될 때를 나타내는 수신된 응시 신호들의 기간들만을 기록하도록 구성될 수 있다. 이러한 제2 형태에서, 응시 기록 상태는 정지한 응시의 가장 최근의 기간으로부터의 응시 데이터만을 저장하여 즉, 모든 이전 응시 데이터를 퍼징(purging)하도록 구성될 수 있다. 어느 한 경우에도, 기록되는 응시 데이터는 제1 실시예에서 설명한 바와 같이 응시 신호 및 임의의 연관된 인근의 활성화 가능한 것들 예를 들어, 미리 정해진 활성화 구역의 범위 내에 있는 것들을 포함한다. 알고리즘은 사용자의 응시가 전자 시각 작업(예를 들어, 이러한 예에서 웹페이지) 상에서 머무르는 것으로 검출되는 한, 응시 기록 상태(49)로 남거나 이것을 반복한다.

사용자가 확인 버튼을 보면, 알고리즘은 상태(54)로 이동한다. 상태(54)에서, 알고리즘은 사용자가 가장 구동시키려 할 것 같은 활성화 가능한 것을 결정하기 위해 기록되거나 저장된 응시 데이터의 이후의 분석을 구현한다. 알고리즘은 다양한 방식으로 활성화 가능한 것을 결정하도록 구성될 수 있다. 일 실시예에서, 응시되는 확인 버튼과 동일한 시각 식별자를 갖는 가장 활성화 가능할 것 같은 것이 사용자가 일정 시간 임계치 동안 가장 최근에 오래 바라보았거나 인근을 바라보았던 것으로서 선택된다. 다른 실시예에서, 그 확인 버튼과 동일한 시각 식별자를 갖는 가장 활성화 가능할 것 같은 것이 사용자가 일정 기간 내에서 가장 긴 기간 동안 오래 바라보았거나 인근을 바라보았던 것으로서 선택된다. 다른 실시예에서, 그 확인 버튼과 동일한 시각 식별자를 갖는 가장 활성화 가능할 것 같은 것이 예를 들어, 가장 활성화 가능할 것 같은 것과 확인 버튼 사이의 경로 상에 동시적으로만 놓여 있을 것 같은 임의의 활성화 가능한 것들을 무시함으로써 응시 경로에 기반하여 선택된다. 다른 실시예에서, 가장 활성화 가능할 것 같은 것이 기준들의 조합에 기반하여 선택되고 사용자가 실제로 상이한 확인 버튼을 오래 바라보는 것을 의미할 확률이 크면, 오래 바라보아졌던 확인 버튼과 상이한 시각 식별자를 가질 수도 있다.

가장 활성화 가능할 것 같은 것이 식별되면, 확인 버튼은 그러한 식별된 활성화 가능한 것과 일시적으로 링크되거나 연관되도록 활성화된다. 상태(54)에서의 알고리즘은 그 다음 사용자가 미리 정해진 시간 임계치(예를 들어, 이러한 예에서 400 ㎳이지만, 이는 원하는 바에 따라 대안적인 실시예들에서 변경되거나 달라질 수 있음)에 상응하는 시간 간격 동안 확인 버튼을 오래 바라보았는지 여부를 판단하도록 응시 신호를 분석한다. 사용자가 미리 정해진 임계치 동안 활성화된 확인 버튼을 오래 바라본 것으로 검출되면, 확인 버튼에 일시적으로 링크되는 식별된 활성화 가능한 것이 구동된다.

4. 일반

더욱이, 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크들을 수행할 프로그램 코드 또는 코드 세그먼트들이 저장 매체 또는 다른 저장소(들)과 같은 기계 판독 가능 매체에 저장될 수 있다. 프로세서는 필요한 태스크들을 수행할 수 있다. 코드 세그먼트는 절차, 기능, 하위 프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령어들, 데이터 구조체들 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있다. 코드 세그먼트는 정보, 데이터, 독립 변수들, 파라미터들, 또는 메모리 콘텐츠를 전하고/전하거나 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수 있다. 정보, 독립 변수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네크워크 송신 등을 포함하는 임의의 적절한 수단을 통하여 전해지거나, 전달되거나, 송신될 수 있다.

전술한 것에서, 저장 매체는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 디바이스 및/또는 정보를 저장하기 위한 다른 기계 판독 가능 매체를 포함하는 데이터를 저장하기 위한 하나 이상의 디바이스를 나타낼 수 있다. "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"란 용어들은 휴대용이거나 고정된 저장 디바이스, 광 저장 디바이스, 및/또는 명령어(들) 및/또는 데이터를 저장하거나, 포함하거나, 수용할 수 있는 다양한 다른 매체를 포함하지만, 이에 제한되지 않는다.

본원에 개시되는 예들과 관련되어 설명한 다양한 예시적인 논리 블록, 모듈, 회로, 요소 및/또는 구성 요소는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 반도체(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 다른 프로그램 가능 로직 구성 요소, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 구성 요소들, 또는 본원에 설명하는 기능들을 수행하도록 설계되는 이들의 임의의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안으로, 프로세서는 임의의 통상적 프로세서, 제어기, 마이크로제어기, 회로 및/또는 상태 기계일 수 있다. 프로세서는 컴퓨팅 구성 요소들의 조합, 예를 들어, DSP 및 마이크로프로세서의 조합, 다수의 마이크로프로세서, DSP 코어와 함께 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.

본원에 개시되는 예들과 관련되어 설명한 방법들 또는 알고리즘들은 처리 유닛, 프로그래밍 명령어들, 또는 다른 지시들의 형태로 하드웨어로 직접, 프로세서에 의해 실행 가능한 소프트웨어 모듈로, 또는 둘 다의 조합으로 구현될 수 있고, 단일 디바이스에 포함되거나 다수의 디바이스에 걸쳐 분배될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 제거 가능 디스크, CD-ROM, 또는 관련 분야에 알려진 임의의 다른 형태의 저장 매체에 상주할 수 있다. 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기록할 수 있도록 프로세서에 결합될 수 있다. 대안으로, 저장 매체는 프로세서와 일체화될 수 있다.

도면들에 도시되는 구성 요소들 및 기능들 중 하나 이상은 본 발명으로부터 벗어나지 않는 범위 내에서 단일 구성 요소로 재배열되고/되거나 결합되거나 수개의 구성 요소로 구현될 수 있다. 부가 요소들 또는 구성 요소들이 본 발명으로부터 벗어나지 않는 범위 내에서 추가될 수도 있다. 게다가, 본원에 설명하는 특징들은 소프트웨어로, 하드웨어로, 비즈니스 방법으로서, 그리고/또는 이들의 조합으로서 구현될 수 있다.

그것의 다양한 양태에서, 본 발명은 컴퓨터 구현 프로세스, (전자 디바이스, 또는 범용 컴퓨터 또는 컴퓨터 프로그램들이 실행될 수 있는 플랫폼을 제공하는 다른 디바이스와 같은) 기계, 이러한 기계들에 의해 수행되는 프로세스들, 또는 제조 물품으로 구현될 수 있다. 그러한 물품들은 내부에 저장되는 컴퓨터 프로그램 명령어들 또는 컴퓨터 판독 가능 데이터가 컴퓨터 판독 가능 저장 매체에 포함되는 컴퓨터 프로그램 제품 또는 디지털 정보 제품, 및 이러한 제조 물품들을 만들어내고 사용하는 프로세스들 및 기계들을 포함할 수 있다.

본 발명의 전술한 설명은 본 발명의 바람직한 형태들을 포함한다. 첨부 청구항들에 의해 한정되는 본 발명의 범위로부터 벗어나지 않는 범위 내에서 본 발명의 바람직한 형태들이 변경될 수 있다.

Claims (71)

1. 사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서:
   알려진 고정된 위치들에서의 상기 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계;
   하나 이상의 타입의 활성화 가능 요소들을 식별하도록 상기 전자 시각 작업을 처리하는 단계;
   상기 식별된 활성화 가능 요소들 각각에 요소 시각 식별자를 할당하는 단계로서, 각각의 요소 시각 식별자가 상기 버튼 시각 식별자들 중 하나에 상응하는 단계;
   표시된 활성화 가능 요소들 중 적어도 일부에 대해 상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 단계;
   눈 응시 추적기로부터 상기 디스플레이 스크린 상에 상기 사용자의 응시 위치를 나타내는 응시 신호를 수신하는 단계;
   상기 응시 신호에 기반하여 상기 표시된 전자 시각 작업의 활성화 가능 요소를 오래 바라보거나 이것 근처를 오래 바라보는 상기 사용자의 응시를 감지하는 단계;
   활성화된 확인 버튼의 구동이 상기 오래 바라보아진 활성화 가능 요소의 활성화를 야기하기 위해 상기 확인 버튼이 상기 오래 바라보아진 활성화 가능 요소에 일시적으로 링크되도록 상기 오래 바라보아진 활성화 가능 요소에 할당되는 상기 요소 시각 식별자에 상응하는 상기 버튼 시각 식별자를 갖는 상기 확인 버튼을 활성화하는 단계;
   상기 응시 신호에 기반하여 상기 활성화된 확인 버튼을 오래 바라보는 상기 사용자의 응시에 응하여 상기 활성화된 확인 버튼의 구동을 감지하는 단계; 및
   상기 활성화된 확인 버튼의 상기 감지된 구동에 응하여 상기 활성화 가능 요소를 활성화하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 방법은 알려진 고정된 위치들에서의 상기 디스플레이 스크린의 근처에서 미리 정해진 수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계를 포함하는 것을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 확인 버튼들은 상기 전자 디스플레이 스크린 상에 제공되는 전자적으로 생성된 그래픽 확인 버튼들인 것을 특징으로 하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 표시된 전자 시각 작업에 대하여 여백에서 상기 확인 버튼들을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 확인 버튼들은 상기 전자 시각 작업이 표시되는 동안, 상기 확인 버튼들이 확인 버튼들의 각각의 고정된 위치들에 영속적으로 제공되는 점에서 정적인 것을 특징으로 하는 방법.
6. 제1항 또는 제2항에 있어서,
   상기 확인 버튼들은 상기 전자 디스플레이 스크린의 주변부에 인접하게 또는 이것 주위에 제공되는 물리적 마커들 또는 타겟들 또는 표지 형태의 물리적 확인 버튼들인 것을 특징으로 하는 방법.
7. 제6항에 있어서,
   상기 확인 버튼들은 상기 전자 디스플레이 스크린의 하나의 또는 다수의 프레임 워크 에지 또는 경계 또는 상기 전자 디스플레이 스크린을 제공하는 전자 디바이스의 하우징 또는 케이싱을 따라 제공되는 것을 특징으로 하는 방법.
8. 제6항에 있어서,
   상기 물리적 확인 버튼들은 상기 전자 디스플레이 스크린 또는 상기 전자 디스플레이 스크린을 제공하는 전자 디바이스를 개량할 수 있는 패널 또는 프레임 상에 제공되는 것을 특징으로 하는 방법.
9. 제6항 내지 제8항 중 어느 한 항에 있어서,
   상기 물리적 확인 버튼들은 인쇄, 마킹 또는 스티커들에 의해 제공되는 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 색상 기반이며, 상이한 색상들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들의 색상들 중 하나에 상응하는 것을 특징으로 하는 방법.
11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 패턴 기반이며, 상이한 패턴들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들의 패턴들 중 하나에 상응하는 것을 특징으로 하는 방법.
12. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 형상 기반이며, 상이한 형상들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들의 형상들 중 하나에 상응하는 것을 특징으로 하는 방법.
13. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 색상, 패턴 및/또는 형상 중 임의의 2개 이상의 조합에 기반하며, 임의의 2개 이상의 색상, 패턴 및/또는 형상의 조합이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들과 연관되는 상기 조합들 중 하나에 상응하는 것을 특징으로 하는 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    단일 타입의 활성화 가능 요소들을 식별하기 위해 상기 전자 시각 작업을 처리하는 단계를 포함하는 것을 특징으로 하는 방법.
15. 제1항 내지 제13항 중 어느 한 항에 있어서,
    다수의 타입의 활성화 가능 요소들을 식별하기 위해 상기 전자 시각 작업을 처리하는 단계를 포함하는 것을 특징으로 하는 방법.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 활성화 가능 요소들은: 아이콘들, 위젯들, 영역들, 메뉴들, 버튼들, 필드들, 하이퍼링크들의 타입들 중 임의의 하나 이상인 것을 특징으로 하는 방법.
17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 상기 단계는 동일하거나 유사한 요소 시각 식별자들을 갖는 활성화 가능 요소들 사이의 최소 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 상기 단계는 이웃하는 활성화 가능 요소들의 경우, 상기 이웃하는 활성화 가능 요소들의 상기 할당된 요소 시각 식별자들에 상응하는 버튼 시각 식별자들을 갖는 상기 확인 버튼들 사이의 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 모든 표시된 활성화 가능 요소에 대해 상기 할당된 요소 시각 식별자들을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
20. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 상기 디스플레이 스크린 상의 상기 사용자의 응시 위치를 중심으로 중심 위치되는 미리 정해진 영역 내에서 캡처되는 상기 표시된 활성화 가능 요소들 중 일부에 대해 상기 할당된 요소 시각 식별자들을 동적으로 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 상기 제공된 전자 시각 작업 중 적어도 일부 위에 전자 마스킹 오버레이를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
22. 제21항에 있어서,
    상기 버튼 및 요소 시각 식별자들이 색상들에 상응하는 경우, 상기 마스킹 오버레이는 상기 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 상기 요소 시각 식별자들의 할당된 색상들을 하이라이팅하거나, 경계를 이루거나, 외형을 그리거나, 밑줄을 긋거나, 표시에 적용하는 것을 특징으로 하는 방법.
23. 제21항에 있어서,
    상기 버튼 및 요소 시각 식별자들이 패턴들에 상응하는 경우, 상기 마스킹 오버레이는 상기 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 상기 요소 시각 식별자들의 할당된 패턴들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 표시에 적용하는 것을 특징으로 하는 방법.
24. 제21항에 있어서,
    상기 버튼 및 요소 시각 식별자들이 형상들에 상응하는 경우, 상기 마스킹 오버레이는 상기 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 상기 요소 시각 식별자들의 할당된 형상들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 표시에 적용하는 것을 특징으로 하는 방법.
25. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 활성화 가능 요소들의 각각의 할당된 요소 시각 식별자를 표시하기 위해 상기 전자 시각 작업에서 상기 활성화 가능 요소들의 상기 디스플레이를 변경하거나 렌더링을 제어하도록 상기 전자 시각 작업의 데이터 파일을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
26. 제1항 내지 제25항 중 어느 한 항에 있어서,
    상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 동일한 할당된 요소 시각 식별자를 갖는 활성화 가능 요소들의 분리를 증대시키기 위해 활성화 가능 요소들의 상대 위치를 변경하도록 상기 전자 시각 작업의 레이아웃을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
27. 제1항 내지 제26항 중 어느 한 항에 있어서,
    상기 응시 신호에 기반하여 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 상기 사용자의 응시를 감지하는 상기 단계는 상기 사용자의 응시가 제1 시간 임계치에 상응하는 시간 간격 동안 실질적으로 정지했는지 여부를 감지하는 단계를 포함하는 것을 특징으로 하는 방법.
28. 제27항에 있어서,
    상기 사용자의 응시는 상기 제1 시간 임계치에 상응하는 상기 시간 간격의 경우, 상기 사용자의 응시 위치를 나타내는 각각의 연속적인 응시 신호 샘플이 미리 정해진 거리 임계치 또는 파라미터에 의해 정해진 이전 샘플의 미리 정해진 거리 내에 있으면, 실질적으로 정지한 것으로 고려되는 것을 특징으로 하는 방법.
29. 제28항에 있어서,
    연속적인 응시 위치 샘플들은 상기 샘플 위치들 중 하나가 다른 응시 위치 샘플을 중심으로 중심 위치되는 미리 정해진 반경의 원형 응시 영역의 범위 내에 있으면, 미리 정해진 거리 내에 있는 것으로 고려되는 것을 특징으로 하는 방법.
30. 제1항 내지 제29항 중 어느 한 항에 있어서,
    상기 방법은 오래 바라보아지는 상기 활성화 가능 요소의 상기 할당된 요소 시각 식별자에 상응하는 상기 버튼 시각 식별자를 갖는 상기 확인 버튼만을 활성화하는 단계를 포함하는 것을 특징으로 하는 방법.
31. 제1항 내지 제29항 중 어느 한 항에 있어서,
    상기 방법은 상기 응시 신호에 의해 한정되는 바와 같이 오래 바라보아지는 응시 영역에 대하여 미리 정해진 활성화 구역의 범위 내에 있는 임의의 활성화 가능 요소들의 할당된 요소 시각 식별자에 상응하는 버튼 시각 식별자를 갖는 임의의 확인 버튼을 활성화하는 단계를 포함하는 것을 특징으로 하는 방법.
32. 제31항에 있어서,
    상기 미리 정해진 활성화 구역은 상기 응시 영역의 근처에서 활성화 가능 요소들의 최대수를 캡처하지만 동일한 할당된 요소 시각 식별자를 갖는 활성화 가능 요소들을 캡처하지 않는 크기를 갖도록 구성되는 것을 특징으로 하는 방법.
33. 제1항 내지 제32항 중 어느 한 항에 있어서,
    활성화된 확인 버튼을 오래 바라보는 상기 사용자의 응시를 감지하는 단계는 제2 시간 임계치에 상응하는 시간 간격 동안 확인 버튼 상에서 실질적으로 정지한 것으로 상기 사용자의 응시를 감지하는 단계를 포함하는 것을 특징으로 하는 방법.
34. 제1항 내지 제33항 중 어느 한 항에 있어서,
    전자 시각 작업은: 웹페이지, 문서 또는 그래픽 사용자 인터페이스 중 임의의 하나인 것을 특징으로 하는 방법.
35. 사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하도록 응시 제어 인터페이스를 제공하는 방법으로서:
    알려진 고정된 위치들에서의 상기 디스플레이 스크린의 근처에서 다수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계;
    하나 이상의 타입의 활성화 가능 요소들을 식별하도록 상기 전자 시각 작업을 처리하는 단계;
    상기 식별된 활성화 가능 요소들 각각에 요소 시각 식별자를 할당하는 단계로서, 각각의 요소 시각 식별자가 상기 버튼 시각 식별자들 중 하나에 상응하는 단계;
    표시된 활성화 가능 요소들 중 적어도 일부에 대해 상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 단계;
    눈 응시 추적기로부터 상기 디스플레이 스크린 상에 상기 사용자의 응시 위치를 나타내는 응시 신호를 수신하는 단계;
    상기 사용자가 상기 표시된 전자 시각 작업을 응시함에 따라, 상기 수신된 응시 신호를 나타내는 응시 데이터를 기록하는 단계;
    상기 응시 신호에 기반하여 확인 버튼을 오래 바라보는 상기 사용자의 응시를 감지하는 단계;
    오래 바라보아지는 상기 확인 버튼의 상기 버튼 시각 식별자에 상응하는 할당된 요소 시각 식별자를 갖는 어느 활성화 가능 요소가 상기 사용자에 의해 활성화되는 것으로 의도되었는지를 결정하도록 상기 확인 버튼이 오래 바라보아지기 이전에 상기 기록된 응시 데이터를 분석하는 단계; 및
    상기 결정된 활성화 가능 요소를 활성화하는 단계를 포함하는 것을 특징으로 하는 방법.
36. 제35항에 있어서,
    상기 방법은 상기 사용자의 응시가 상기 표시된 전자 시각 작업의 활성화 가능 요소를 오래 바라보거나 이것 근처를 바라보는 것으로 감지될 때, 상기 응시 데이터를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
37. 제35항 또는 제36항에 있어서,
    응시 데이터를 기록하는 단계는 상기 응시 신호에 대하여 미리 정해진 구역의 범위 내에 있는 임의의 인근의 활성화 가능 요소들을 나타내는 상기 응시 신호 및 데이터를 기록하는 단계를 더 포함하는 것을 특징으로 하는 방법.
38. 제35항 내지 제37항 중 어느 한 항에 있어서,
    상기 사용자에 의해 활성화되는 것으로 의도되는 상기 활성화 가능 요소를 결정하도록 상기 기록된 응시 데이터를 분석하는 단계는 상기 사용자가 미리 정해진 시간 임계치 동안 가장 최근에 오래 바라보았거나 인근에 바라보았던 상기 활성화 가능 요소를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
39. 제35항 내지 제37항 중 어느 한 항에 있어서,
    상기 사용자에 의해 활성화되는 것으로 의도되는 상기 활성화 가능 요소를 결정하도록 상기 기록된 응시 데이터를 분석하는 단계는 상기 사용자가 상기 확인 버튼이 오래 바라보아지기 이전에 일정 기간 내의 가장 긴 기간 동안 오래 바라보았거나 인근에 바라보았던 상기 활성화 가능 요소를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
40. 제35항 내지 제37항 중 어느 한 항에 있어서,
    상기 사용자에 의해 활성화되는 것으로 의도되는 상기 활성화 가능 요소를 결정하도록 상기 기록된 응시 데이터를 분석하는 단계는 상기 확인 버튼이 오래 바라보아지기 이전에 상기 응시 데이터에 의해 나타내어지는 상기 응시 경로에 기반하여 상기 활성화 가능 요소를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
41. 제40항에 있어서,
    상기 사용자에 의해 활성화되는 것으로 의도되는 가장 활성화 가능할 것 같은 요소와 오래 바라보아진 상기 확인 버튼 사이의 상기 응시 경로 상에 동시적으로만 놓여 있는 것으로 판단되는 상기 활성화 가능 요소들을 선택에서 배제하는 단계를 포함하는 것을 특징으로 하는 방법.
42. 제35항 내지 제37항 중 어느 한 항에 있어서,
    상기 사용자에 의해 활성화되는 것으로 의도되는 상기 활성화 가능 요소를 결정하도록 상기 기록된 응시 데이터를 분석하는 단계는 기준들의 조합에 기반하여 상기 활성화 가능 요소를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
43. 제35항 내지 제42항 중 어느 한 항에 있어서,
    상기 결정된 활성화 가능 요소를 활성화하는 단계는 상기 사용자의 응시가 상기 응시 신호에 기반하여 미리 정해진 시간 임계치에 상응하는 시간 간격 동안 상기 확인 버튼을 오래 바라보는 것으로 감지되어야만 상기 결정된 활성화 가능 요소를 활성화하는 단계를 포함하는 것을 특징으로 하는 방법.
44. 제35항 내지 제43항 중 어느 한 항에 있어서,
    상기 방법은 알려진 고정된 위치들에서의 상기 디스플레이 스크린의 근처에서 미리 정해진 수의 확인 버튼을 제공하는 단계로서, 각각의 확인 버튼이 상이한 고정된 각각의 버튼 시각 식별자를 갖는 단계를 포함하는 것을 특징으로 하는 방법.
45. 제35항 내지 제44항 중 어느 한 항에 있어서,
    상기 확인 버튼들은 상기 전자 디스플레이 스크린 상에 제공되는 전자적으로 생성된 그래픽 확인 버튼들인 것을 특징으로 하는 방법.
46. 제35항 내지 제45항 중 어느 한 항에 있어서,
    상기 표시된 전자 시각 작업에 대하여 여백에서 상기 확인 버튼들을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
47. 제35항 내지 제46항 중 어느 한 항에 있어서,
    상기 확인 버튼들은 상기 전자 시각 작업이 표시되는 동안, 상기 확인 버튼들이 확인 버튼들의 각각의 고정된 위치들에 영속적으로 제공되는 점에서 정적인 것을 특징으로 하는 방법.
48. 제35항 내지 제45항 중 어느 한 항에 있어서,
    상기 확인 버튼들은 상기 전자 디스플레이 스크린의 주변부에 인접하게 또는 이것 주위에 제공되는 물리적 마커들 또는 타겟들 또는 표지 형태의 물리적 확인 버튼들인 것을 특징으로 하는 방법.
49. 제48항에 있어서,
    상기 확인 버튼들은 상기 전자 디스플레이 스크린의 하나의 또는 다수의 프레임 워크 에지 또는 경계 또는 상기 전자 디스플레이 스크린을 제공하는 전자 디바이스의 하우징 또는 케이싱을 따라 제공되는 것을 특징으로 하는 방법.
50. 제48항에 있어서,
    상기 물리적 확인 버튼들은 상기 전자 디스플레이 스크린 또는 상기 전자 디스플레이 스크린을 제공하는 전자 디바이스를 개량할 수 있는 패널 또는 프레임 상에 제공되는 것을 특징으로 하는 방법.
51. 제48항 내지 제50항 중 어느 한 항에 있어서,
    상기 물리적 확인 버튼들은 인쇄, 마킹 또는 스티커들에 의해 제공되는 방법.
52. 제35항 내지 제51항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 색상 기반이며, 상이한 색상들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들의 색상들 중 하나에 상응하는 것을 특징으로 하는 방법.
53. 제35항 내지 제51항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 패턴 기반이며, 상이한 패턴들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들의 패턴들 중 하나에 상응하는 것을 특징으로 하는 방법.
54. 제35항 내지 제51항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 형상 기반이며, 상이한 형상들이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들의 형상들 중 하나에 상응하는 것을 특징으로 하는 방법.
55. 제35항 내지 제51항 중 어느 한 항에 있어서,
    상기 버튼 시각 식별자들은 색상, 패턴 및/또는 형상 중 임의의 2개 이상의 조합에 기반하며, 임의의 2개 이상의 색상, 패턴 및/또는 형상의 조합이 각각의 확인 버튼과 연관되고, 각각의 요소 시각 식별자가 상기 확인 버튼들과 연관되는 상기 조합들 중 하나에 상응하는 것을 특징으로 하는 방법.
56. 제35항 내지 제55항 중 어느 한 항에 있어서,
    단일 타입의 활성화 가능 요소들을 식별하기 위해 상기 전자 시각 작업을 처리하는 단계를 포함하는 것을 특징으로 하는 방법.
57. 제35항 내지 제55항 중 어느 한 항에 있어서,
    다수의 타입의 활성화 가능 요소들을 식별하기 위해 상기 전자 시각 작업을 처리하는 단계를 포함하는 것을 특징으로 하는 방법.
58. 제35항 내지 제57항 중 어느 한 항에 있어서,
    상기 활성화 가능 요소들은: 아이콘들, 위젯들, 영역들, 메뉴들, 버튼들, 필드들, 하이퍼링크들의 타입들 중 임의의 하나 이상인 것을 특징으로 하는 방법.
59. 제35항 내지 제58항 중 어느 한 항에 있어서,
    각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 상기 단계는 동일하거나 유사한 요소 시각 식별자들을 갖는 활성화 가능 요소들 사이의 최소 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
60. 제35항 내지 제59항 중 어느 한 항에 있어서,
    각각의 식별된 활성화 가능 요소에 요소 시각 식별자를 할당하는 상기 단계는 이웃하는 활성화 가능 요소들의 경우, 상기 이웃하는 활성화 가능 요소들의 상기 할당된 요소 시각 식별자들에 상응하는 버튼 시각 식별자들을 갖는 상기 확인 버튼들 사이의 거리가 최대화되도록 요소 시각 식별자들을 할당하는 단계를 포함하는 것을 특징으로 하는 방법.
61. 제35항 내지 제60항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 모든 표시된 활성화 가능 요소에 대해 상기 할당된 요소 시각 식별자들을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
62. 제35항 내지 제60항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 상기 디스플레이 스크린 상의 상기 사용자의 응시 위치를 중심으로 중심 위치되는 미리 정해진 영역 내에서 캡처되는 상기 표시된 활성화 가능 요소들 중 일부에 대해 상기 할당된 요소 시각 식별자들을 동적으로 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
63. 제35항 내지 제62항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 상기 제공된 전자 시각 작업 중 적어도 일부 위에 전자 마스킹 오버레이를 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
64. 제63항에 있어서,
    상기 버튼 및 요소 시각 식별자들이 색상들에 상응하는 경우, 상기 마스킹 오버레이는 상기 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 상기 요소 시각 식별자들의 할당된 색상들을 하이라이팅하거나, 경계를 이루거나, 외형을 그리거나, 밑줄을 긋거나, 표시에 적용하는 것을 특징으로 하는 방법.
65. 제63항에 있어서,
    상기 버튼 및 요소 시각 식별자들이 패턴들에 상응하는 경우, 상기 마스킹 오버레이는 상기 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 상기 요소 시각 식별자들의 할당된 패턴들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 표시에 적용하는 것을 특징으로 하는 방법.
66. 제63항에 있어서,
    상기 버튼 및 요소 시각 식별자들이 형상들에 상응하는 경우, 상기 마스킹 오버레이는 상기 전자 시각 작업의 요소 시각 식별자들의 각각의 활성화 가능 요소들에 상기 요소 시각 식별자들의 할당된 형상들을 하이라이팅하거나, 외형을 그리거나, 경계를 이루거나, 밑줄을 긋거나, 표시에 적용하는 것을 특징으로 하는 방법.
67. 제35항 내지 제62항 중 어느 한 항에 있어서,
    상기 할당된 요소 시각 식별자들을 제공하도록 상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 활성화 가능 요소들의 각각의 할당된 요소 시각 식별자를 표시하기 위해 상기 전자 시각 작업에서 상기 활성화 가능 요소들의 상기 디스플레이를 변경하거나 렌더링을 제어하도록 상기 전자 시각 작업의 데이터 파일을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
68. 제35항 내지 제67항 중 어느 한 항에 있어서,
    상기 전자 시각 작업의 상기 디스플레이를 변경하는 상기 단계는 동일한 할당된 요소 시각 식별자를 갖는 활성화 가능 요소들의 분리를 증대시키기 위해 활성화 가능 요소들의 상대 위치를 변경하도록 상기 전자 시각 작업의 레이아웃을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
69. 제35항 내지 제68항 중 어느 한 항에 있어서,
    전자 시각 작업은: 웹페이지, 문서 또는 그래픽 사용자 인터페이스 중 임의의 하나인 것을 특징으로 하는 방법.
70. 사용자가 전자 디스플레이 스크린 상에 제공되는 전자 시각 작업과 상호 작용하는 것을 가능하게 하는 응시 제어 인터페이스 시스템으로서:
    상기 전자 시각 작업을 제공하도록 구성되는 전자 디스플레이 스크린;
    상기 디스플레이 스크린 상에서 상기 사용자의 응시 위치를 감지하고 전형적인 응시 신호를 생성하도록 구성되는 눈 응시 추적기; 및
    상기 디스플레이 스크린 및 눈 응시 추적기에 작동적으로 연결되는 프로세서를 포함하고, 제1항 내지 제69항 중 어느 한 항의 방법들을 실행하도록 프로그래밍되는 것을 특징으로 하는 시스템.
71. 처리 디바이스 또는 디바이스들 상에서 실행될 때, 제1항 내지 제69항 중 어느 한 항의 방법들 중 임의의 하나를 상기 처리 디바이스 또는 디바이스들이 수행하게 하는 것을 특징으로 하는 컴퓨터 실행 가능 명령어들이 내부에 저장된 비일시적 컴퓨터 판독 가능 매체.

Images