KR20110063561A - 다접촉 터치 스크린 상의 그래픽 객체를 다루는 것에 의해 전자 기기를 제어하기 위한 장치 - Google Patents

Abstract

본 발명은 그래픽 객체(2, 3a, 3b, 3c, 3d)를 다루는 것(handling)에 의해 전자 기기(1)를 제어하기 위한 장치에 관련된다. 장치는 시각화 스크린(visualization screen; 4), 복수의 포인팅 수단(5, 6)에 의해 생성된 다접촉 터치 정보를 취득하기 위한 투명 다접촉 터치 센서 및 상기 터치 정보에 기초하여 제어 신호를 생성하고 상기 시각화 스크린(4) 상에 그래픽 객체(2, 3a, 3b, 3c, 3d)를 생성하기 위한 전자 제어 회로를 포함한다. 그래픽 객체의 각각은 적어도 하나의 특정 처리 규칙에 연관된다. 터치 정보의 각각의 조각은 그래픽 객체(2, 3a, 3b, 3c, 3d)의 위치에 상대적인 그것의 로케이션에 의해 판정된 특정 처리의 대상이 된다. 장치는 각각 적어도 하나의 주 특정 처리 규칙 및 적어도 하나의 부차적 특정 처리 규칙과 연관되는 주 기능 및 부차적 상보적인 기능을 각각 가지는 그래픽 객체(2)의 제1 계열 및 부차적 그래픽 객체(3a, 3b, 3c, 3d)의 제2 계열을 포함하는 것을 특징으로 한다. 모든 그래픽 객체(2, 3a, 3b, 3c, 3d)는 제1 계열은 포인팅 수단의 제1 집합(5)에 의해 다루어지고, 제2 계열은 제1 집합(5)과는 상이한 포인팅 수단의 제2 집합(6)에 의해 다루어지도록 배열되며, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d) 중 적어도 하나의 다룸은 주 그래픽 객체(2) 중 적어도 하나의 속성의 변경을 야기한다.

Description

다접촉 터치 스크린 상의 그래픽 객체를 다루는 것에 의해 전자 기기를 제어하기 위한 장치{DEVICE FOR CONTROLLING AN ELECTRONIC APPARATUS BY HANDLING GRAPHIC OBJECTS ON A MULTI-CONTACT TOUCH SCREEN}

본 발명은 사용자가 전자 또는 정보 처리 장비 아이템을 제어하는 것을 가능하게 하는 모든 장치에 관계된 인간-기계 인터페이스(man-machine interfaces) 분야에 대한 것이다. 본 발명은, 예를 들어 버튼, 키보드 또는 스크롤 휠(scroll wheel)과 같은 기계적인 인터페이스를 포함한다. 본 발명은 또한 마우스, 터치 패드{영어로는 "트랙패드(trackpad)"}, 조이스틱 또는 그래픽 태블릿(graphic tablet)과 같은 포인팅 인터페이스를 포함할 수 있다.

본 발명은 더 구체적으로는 그래픽 객체의 조작에 의해 전자 장비 아이템의 제어를 위한 장치에 대한 것으로서, 이 장치에는 디스플레이 스크린, 복수의 포인팅 수단(pointing means)에 의해 생성된 다접촉 터치 정보 아이템의 취득을 위한 투명 다접촉 터치 센서(transparent multicontact touch sensor), 그리고 이 디스플레이 스크린 상에 그래픽 객체를 생성하고 이러한 터치 정보 아이템에 따른 제어 신호를 생성할 수 있는 전자 제어 회로가 제공되고, 각각의 이러한 그래픽 객체는 적어도 하나의 특정 처리 규칙과 연관되며, 각각의 이러한 터치 정보 아이템은 이러한 그래픽 객체의 위치에 상대적인 그것의 로케이션(location)에 의해 판정되는 특정 처리의 객체(object of a specific processing)이다.

전자 장비 아이템(이동 전화, 컴퓨터 등)의 제어는 적절한 조작에 의해 제공되는 다양한 기능에 액세스할 수 있도록 적어도 하나의 인간-기계 인터페이스를 필요로 한다.

이러한 조작은 적어도 두 장치를 통합하여 사용하는 것에 의해 획기적으로 용이하게 되고 향상된다. 사실, 특정 장치는 하나의 특정 유형의 작업에 더 적합한 반면, 다른 것은 제2 유형의 작업에 더 적합할 수 있다. 그것은 또한 사용자가 더 많은 수의 작업을 보다 신속하게 실행하도록 양손을 사용할 수 있게 한다.

예를 들어, 개인 컴퓨터의 경우에는, 사용자가 활용할 수 있는 키보드와 마우스와 같은 두 개의 장치가 있다. 각각의 손은 작업의 집합에 할당된다: 주로 쓰는 손(dominant hand)은 마우스로 (또는 다른 포인팅 주변 장치로) 포인팅하고 - 그리고 필요하다면 다른 동작(우클릭, 스크롤 휠)을 또한 수행한다 - 다른 손은 부차적인 작업(키보드 바로가기, 기능 키)을 실행한다. 양손의 조합은 주로 쓰는 손을 개별적으로 사용하는 것보다 훨씬 신속하고 효율적으로 복잡한 소프트웨어 프로그램의 기능의 집합에 액세스하는 것을 가능하게 한다.

마우스의 위치에 대응하는 커서가 있는 위치에서 드롭-다운 메뉴(drop-down menu)를 디스플레이하기 위해 주로 쓰지 않는 손의 손가락으로 키를 누르는 것이 또한 가능할 수 있다. 주로 쓰는 손은 마우스 수단에 의해 드롭-다운 메뉴 내부에 커서를 이동시킴(displacing)에 의해 리스트 내의 동작을 선택할 수 있다. 유사하게, 특정 소프트웨어 프로그램은 양손의 동기적인 활동(synchronous actions)을 필요로 하는 진보된 문서-편집 수단을 제공한다. 예를 들어, 그래픽 객체, 파일 또는 텍스트를 포함하는 블록을 복사하기 위해, 사용자는 주로 쓰지 않는 손의 손가락으로 키보드의 키를 누르고 있으면서(hold down), 주로 쓰는 손의 손가락으로 마우스 버튼을 동시에 누른다. 그리고 나서 그것을 복사하기 위하여 키보드 키 및 마우스 버튼을 누르고 있는 것에 의해 선택된 객체를 이동시킨다.

그럼에도 불구하고, 그래픽 객체의 신속한 조작에 대한 이러한 유형의 상호작용 해결책은 휴대형 전자 기기에 사용될 수 없으며, 더 구체적으로는 3-세대 이동 전화, 울트라-모바일 컴퓨터(ultra-mobile computers) 또는 휴대용 게임 콘솔에서 조차 사용될 수 없다. 사실, 비록 점점 더 진보된 기능이 제공되고 있지만, 이러한 기기의 소형화 및 공간적 제약은 복수의 인간-기계 인터페이스 장치가 결합되는 것을 가능케 하지 않는다.

이러한 공간적 제약에 대응하기 위하여, 점점 더 많은 수의 휴대용 전자 기기의 제조사가 주 인간-기계 인터페이스 장치로서 터치 스크린을 이용하고 있다.

휴대용 인간-기계 인터페이스 장치의 조작을 용이하기 위한 하나의 해결책은 특허 문헌 FR 2751442에 기술되어 있다. 이것은 축소된 크기의 키보드 및 키보드와 연관된 터치 스크린이 제공된 장치를 제안한다. 한편으로 이러한 키보드는 종래의 키보드의 키의 수와 비교하여 더 적은 수의 키가 제공되고, 다른 한편으로는 스크린 상에 객체를 선택하고 커서를 위치시키는 것을 가능하게 한다. 터치 스크린은 키보드 상에서 제공되지 않는 문자를 사용하는 것과 컨텍스트적 명령(contextual commands)을 활성화하는 것을 가능하게 한다. 드라이버 수단(driver means)은 키보드 키에 의해, 그리고/또는 터치 스크린의 키에 의해 작동될 수 있어, 터치 스크린 상에 키보드에 제공되지 않은 영숫자 문자(alphanumerical characters)를 디스플레이하는 것과, 그와 동시에 디스플레이 스크린 상에 키보드에 제공된 영숫자 문자를 디스플레이하는 것을 가능하게 한다. 디스플레이 스크린을 제어하기 위한 수단 또한 키보드 키에 의해 그리고/또는 터치 스크린의 키에 의해 작동될 수 있어, 키보드 또는 터치 스크린에 제공된 영숫자 문자의 디스플레이 스크린 상의 디스플레이를 개시하는 것(initiate)을 가능하게 한다.

이러한 유형의 해결책, 키보드와 터치 스크린을 결합하는 것은, 그럼에도 불구하고 사용자의 다른 손에 대한 한 손에 의해 발휘되는 개별적인 우세(respective domination)를 고려하지 않는다는 단점이 있다. 사실, 다른 손은 거의 사용되지 않으므로, 터치 스크린의 조작은 주로 쓰는 손을 분명히 드러낸다. 휴대용 기기(전화, mp3 판독기, GPS 등)의 특정 경우에서, 이러한 다른 손은 단지 기기의 지지 기능(function of supporting)을 갖는다. 그러한 양손의 공헌의 부족은 스크린 사용을 늦추며 사용자가 복잡한 동작(문서 편집 등)을 실행하는 것을 방해한다. 추가로, 키보드는 필수적으로 신속하게 조작하는 것이 어려운 축소화된 키를 표현한다.

복수의 포인팅 수단에 의해 동시에 조작될 수 있는 다접촉 터치 스크린만이 제공된 휴대용 장비 아이템의 경우, 사용자의 양손의 공헌은 그래픽 객체의 조작을 향상시키는 것에 충분히 고려되지 않는다. 특허 문헌 US 2003/098858에서, 터치 스크린은 가상 키들의 집합이 제공된 가상 표준 키보드(virtual standard keyboard)를 디스플레이한다. 사용자는 포인팅 수단{손가락, 스타일렛(stylet) 등}으로 그것에 포인팅함에 의해 키를 사용할 수 있다. 특허 문헌 US 2006/097991에서, 터치 스크린이 활용할 수 있는 인간-기계 인터페이스는 사용자가 손쉽게 그래픽 객체를 선택할 수 있도록 포인팅 수단을 움직일 수 있게 한다. 특허 문헌 FR 2866726에서, 터치 스크린은 스크린 및 터치 정보 아이템의 취득을 위한 투명 다접촉 터치 센서 뿐만 아니라, 이러한 터치 정보 아이템에 따른 제어 신호를 생성하는 연산 수단(calculating means)을 포함한다. 그래픽 객체는 터치 스크린 상에 생성되며, 각각의 이러한 그래픽 객체는 적어도 하나의 특정 처리 규칙과 연관된다. 센서는 각각의 취득시 복수의 터치 정보 아이템을 전달한다. 각각의 이러한 터치 정보 아이템은 이러한 그래픽 객체 중 하나의 위치에 상대적인 그것의 로케이션에 의해 판정되는 특정 처리의 객체이다.

그럼에도 불구하고, 사실 이러한 인터페이스 시스템은 양손 간의 작업 공유를 관리하기 위하여 제공되지 않았으므로, 이러한 해결책 중 어떤 것도 양손으로 작업하는 것을 위해 디자인되지 않았다. 따라서, 휴대용 다접촉 터치 스크린을 지지하는 기능을 갖는 손은 오직 이 기능만을 가지고, 인간-기계 인터페이스는 주로 쓰는 손의 작업량을 가볍게 하고 이러한 방식으로 그래픽 객체의 조작을 용이하게 하도록 하는 부차적인 작업을 실행하게 하는 방식으로 구성되어 있지 않다.

본 발명의 목적은 이러한 기술적인 문제, 즉 신속하고 복잡한 조작을 하기 위하여, 양손 간의 작업 공유를 해결하는 것이다. 그러한 목적으로, 각각 특정 처리 규칙 및 주 기능과 보조 기능에 연관된, 주 그래픽 객체의 제1 계열(first series of main graphical objects) 및 부차적 그래픽 객체의 제2 계열(second series of subordinate graphical objects)을 정의하는 것을 제안한다. 이러한 두 유형의 그래픽 객체는 소정의 복잡한 작업을 실행하기 위해 상보적인 방식(complementary manner)으로 상호작용할 수 있다. 객체의 제1 계열은 포인팅 수단의 제1 집합에 의해 조작될 수 있고, 객체의 제2 계열은 포인팅 수단의 제2 집합에 의해 조작될 수 있는 방식으로, 그래픽 객체는 디스플레이 스크린에 조직된다(organized).

그래픽 객체의 상이한 레벨을 만들기 위한 해결책을 찾는 것에 특징이 있는 해결책에 대한 접근 방안은, 각각의 조작 난이도에 따라 상호작용한다. 그래픽 객체의 기능의 상보적인 성질(complementary nature)에 따른 포인팅 수단의 각각의 집합에 할당된 작업의 분포가 그래픽 객체의 집합과 복수의 포인팅 수단 - 예를 들어 주어진 사용자의 두 개의 서로 다른 손의 손가락 - 과의 결합을 가능하게 함이 명백하게 되었다.

이러한 목적과 함께, 본 발명의 목적은 그래픽 객체의 조작에 의해 전자 인터페이스의 제어를 위한 장치이다. 이러한 장치에는 디스플레이 스크린, 복수의 포인팅 수단에 의해 생성된 다접촉 터치 정보 아이템의 취득을 위한 투명 다접촉 터치 센서, 그리고 이러한 터치 정보 아이템에 따른 제어 신호를 생성하고 이러한 디스플레이 스크린 상에 그래픽 객체를 생성할 수 있는 전자 제어 회로가 제공된다. 이러한 그래픽 객체의 각각은 적어도 하나의 특정 처리 규칙과 연관된다. 이러한 터치 정보 아이템의 각각은 이러한 그래픽 객체의 위치에 상대적인 그것의 로케이션에 의해 판정되는 특정 처리의 객체이다. 이러한 장치는 주 그래픽 객체의 제1 계열 및 부차적 그래픽 객체의 제2 계열을 포함하고, 이러한 주 그래픽 객체의 각각은 주 기능을 가지며 적어도 하나의 주 특정 처리 규칙과 연관되고, 이러한 부차적 그래픽 객체의 각각은 부차적 기능을 가지며 적어도 하나의 부차적 특정 처리 규칙과 연관되는 것을 특징으로 한다. 이러한 부차적 그래픽 객체의 기능은 이러한 주 그래픽 객체의 기능과 상보적이다. 이러한 부차적 그래픽 객체는 이러한 주 그래픽 객체와 상이한 로케이션에서 디스플레이 스크린 상에 배치된다. 이러한 그래픽 객체는 제1 계열이 포인팅 수단의 제1 집합에 의해 조작되고 제2 계열이 제1 집합과 구별되는 포인팅 수단의 제2 집합에 의해 조작되도록 조직된다. 이러한 부차적 그래픽 객체 중 적어도 하나의 조작은 이러한 주 그래픽 객체 중 적어도 하나의 속성의 변경으로 이어진다.

특정 처리 규칙 및 연관된 기능에 대한 그래픽 객체의 구역(division)간의 조합, 그리고 포인팅 수단에 상대적인 이러한 그래픽 객체의 조직은, 시간을 소모하거나 복잡하고 지루한 조작 노력을 하지 않고, 상이한 포인팅 수단으로 터치 스크린이 장착된 전자 기기를 조작하는 것을 가능하게 한다.

특정 실시예에 따르면, 부차적 그래픽 객체 중 적어도 하나의 조작에 의해 변경되는 주 그래픽 객체 중 적어도 하나에 대한 속성 중 하나는 디스플레이이다.

전술한 예에 또한 상보적인 일 실시예에 따르면, 부차적 그래픽 객체 중 적어도 하나의 조작에 의해 변경되는 주 그래픽 객체 중 적어도 하나에 대한 속성 중 하나는 연관된 특정 처리 규칙이다.

전술한 예에 상보적인 일 실시예에 따르면, 부차적 그래픽 객체 중 적어도 하나의 조작에 의해 변경되는 주 그래픽 객체 중 적어도 하나에 대한 속성 중 하나는 디스플레이 스크린 상의 로케이션이다.

바람직하게는 포인팅 수단의 제1 집합은 한 손에 의해 조작된다.

이러한 경우에, 특정 실시예에 따르면, 포인팅 수단의 제1 집합은 한 손에 의해 조작되는 스타일렛을 포함하여, 특히 전자 장비 아이템에 제공된 터치 스크린 상에 정교한 필기의 기능(functions of fine writing)을 실행하는 것을 가능하게 한다.

다른 실시예에 따르면, 포인팅 수단의 제1 집합은 한 손의 적어도 하나의 손가락을 포함한다.

바람직하게는 포인팅 수단의 제2 집합은 한 손에 의해 조작된다.

이 경우에, 특정 실시예에 따르면, 포인팅 수단의 제2 집합은 한 손의 적어도 하나의 손가락을 포함한다. 이러한 방식으로, 예를 들어 애플리케이션에 의해 요구되는 필요성에 따라 전자 장비 아이템을 지지하는 기능을 위하여 이러한 손으로부터의 이득을 보는 것이 가능하다.

유리하게, 포인팅 수단의 제1 및 제2 집합의 손은 각각 사용자의 두 개의 상이한 손이다. 이러한 방식으로 그래픽 객체의 조작은 사용자의 양손의 상보적인 성질을 이용함에 의해 최적화된다.

포인팅 수단의 제1 및 제2 집합의 손이 각각 주로 쓰는 손과 주로 쓰지 않는 손을 포함하는 경우에, 주로 쓰는 손은 바람직하게는 주 그래픽 객체를 조작하고 주로 쓰지 않는 손은 바람직하게는 부차적 그래픽 객체를 조작한다. 이러한 방식으로 각각의 손에 의해 수행될 작업은 적절한 수준의 복잡함을 할당받고, 따라서 더욱 정확한 그래픽 객체의 조작을 제공한다.

특정 실시예에 따르면, 적어도 하나의 주 그래픽 객체의 주 기능은 필기 기능(writing function)이다.

다른 특정 실시예에 따르면, 적어도 하나의 주 그래픽 객체의 주 기능은 포인팅 기능이다.

다른 특정 실시예에 따르면, 적어도 하나의 부차적 그래픽 객체의 부차적 기능은, 주로 쓰는 손에 의해 조작되는 적어도 하나의 주 그래픽 객체에 할당된 기능들의 선택 기능이다.

포인팅 수단의 제1 및 제2 집합의 손들이 각각 주로 쓰는 손과 주로 쓰지 않는 손을 포함하는 경우로 다시 돌아가서, 주 그래픽 객체 및 부차적 그래픽 객체는, 바람직하게는 주로 쓰는 손과 주로 쓰지 않는 손 각각에 더 가깝게 배치된다. 이러한 방식에서 포인팅 수단들이 이동하는 거리들이 단축되고, 따라서 조작 속도가 최적화된다.

전자 장비 아이템이 휴대 가능한 경우에서, 주로 쓰지 않는 손은 유리하게 전자 장비 아이템에 대한 지지를 제공하고, 따라서 이는 주로 쓰지 않는 손에게 2차적인 키들을 사용하는 것의 기능과 함께 이중의 기능을 제공한다.

바람직하게는 적어도 하나의 부차적 그래픽 객체의 위치는 사용자에 의해 변경된다. 이러한 동작은 대응하는 감지 영역을 누르고 있는 동안 대응하는 포인팅 수단을 슬라이딩하는 동작을 통해 혹은 추가적인 그래픽 객체를 통해 실행될 수 있다.

바람직하게는 취득 속성들은 포인팅 수단의 제1 집합 및 제2 집합과 주 그래픽 객체 및 부차적 그래픽 객체들에 따라 변경된다. 이러한 방식에서는, 예를 들어, 고려되는 그래픽 객체의 필요에 따라 스캔 주파수 및 해상도를 조정하는 것이 가능하다. 예를 들어, 주 그래픽 객체의 기능이 필기인 경우에서, 사용자가 필기한 것에서보다 정교한 터치 정보 아이템들을 얻기 위하여 이러한 그래픽 객체에서 보다 높은 해상도의 취득을 시작하는 것이 가능하다.

이하에서 본 발명의 실시예는 첨부된 도면들을 참조하여 기술된다. 첨부된 도면들 각각이 도시하는 내용은 다음과 같다.
도 1은 본 발명에 따른 다접촉 터치 스크린을 포함하는 전자 장비 아이템의 제어를 위한 장치를 도시한 도면.
도 2는, 본 발명에 따른 다접촉 터치 스크린을 포함하는 장치의 구조 도면.
도 3a 내지 3c는, 주 그래픽 객체에 의해 제시될 수 있는 다양한 기능들을 도시한 도면.
도 4, 5a, 5b, 6, 7, 8a 및 8b는 주 그래픽 객체 및 부차적 그래픽 객체 간의 상보적인 성질 및 상호작용의 예들을 도시한 도면.
상기 도면들에서, 동일한 참조 번호들은 달리 지정되지 않는 한 유사한 기술적 특성들과 연관된다.

도 1에 도시된 바와 같이, 장치는 알려진 유형의 디스플레이 유닛 등의 전자 장비 아이템(1)을 포함한다. 이러한 디스플레이 유닛은, 예를 들어 액정 디스플레이 유닛일 수 있다. 이러한 디스플레이 유닛은 복수의 그래픽 객체들(2 및 3)을 디스플레이하는 것을 가능케 한다. 투명 다접촉 터치 센서(4)는 디스플레이 유닛 위에 배치된다. 투명 다접촉 터치 센서(4)는 주 그래픽 객체(2) 및 부차적 그래픽 객체들(3a, 3b, 3c 및 3d)의 집합을 조작하기 위해, 동시 접촉 포인트들의 집합을 취득하는 것을 가능하게 하며, 각각의 접촉은 센서(4)의 표면 상의 객체(5b) 또는 손가락(5c, 5d 또는 6b)의 존재에 대응한다.

사용 중인 접촉 수단 중에서, 제1 집합(5)은 주로 쓰는 손(5a)을 포함하며, 주로 쓰는 손은 스타일렛(5b)을 쥐고 있다. 엄지 손가락(5c) 및 검지 손가락(5d) 또한 포인팅 수단으로 사용될 수 있다. 제2 집합(6)은 주로 쓰지 않는 손(6a)을 포함하며, 주로 쓰지 않는 손은 또한 전자 장치가 휴대 가능한 경우에서 전자 장치에 대한 지지 수단으로 사용될 수 있다. 이러한 경우에서, 포인팅을 실행하는 것은 유일하게 움직일 수 있는 손가락인 엄지 손가락(6b)이다.

제1 주 그래픽 객체(2)는 주로 쓰는 손(5a)에 의해 조작될 수 있는 반면, 부차적 그래픽 객체들(3a, 3b, 3c 및 3d)의 집합은 주로 쓰지 않는 손(6a)에 의해 조작될 수 있다. 이러한 그래픽 객체들은, 엄지 손가락(6b)이 부차적 그래픽 객체들(3a 내지 3d)에 가까이 위치되고 주로 쓰는 손(5a)에 의해 조작되는 스타일렛(5b)이 주 그래픽 객체(2)에 가까이 위치되도록 스크린(4) 상에 배치된다. 이러한 방식에서 포인팅 수단들의 이동 거리들이 매우 감소된다. 또한, 부차적 그래픽 객체들(3a 내지 3d)은 수직 축을 따라 나란히 배치되어 객체들 중 하나에서 다른 하나로 엄지 손가락(6b)이 이동하는 것을 용이하게 한다.

도 1은 주로 쓰는 손(5a)이 사용자의 오른손인 반면 주로 쓰지 않는 손(6a)이 사용자의 왼손인 경우를 도시하고 있다. 사용자가 주로 쓰는 손과 주로 쓰지 않는 손의 배치가 이와 반대되는 경우에서, 이러한 새로운 배치에 따라 그래픽 객체들을 위치시킨다는 점에서, 혹은 다시 말해서 부차적 그래픽 객체들(3a 내지 3d)을 스크린의 우측에 배치하고 주 그래픽 객체(2)를 좌측에 배치함으로써 사용자에 의한 스크린의 조정을 제공하는 것이 가능하다.

부차적 그래픽 객체들(3a 내지 3d)의 다수성(multiplicity)과 부차적 그래픽 객체들의 작은 크기들(dimensions)은, 부차적 그래픽 객체들을 특히 드롭-다운 메뉴로 사용하는 것을 가능하게 하며, 각각의 부차적 그래픽 객체는 디스플레이된 주 그래픽 객체들 중 적어도 하나에 영향을 줄 수 있는 대안을 구성한다. 이러한 방식에서 부차적 그래픽 객체(3a, 3b, 3c 또는 3d)의 접촉에 의한 작동(actuation)은, 주 그래픽 객체(2) 또는 그 시점까지는 디스플레이되지 않은 다른 주 그래픽 객체의 속성들, 예를 들어, 디스플레이, 연관된 특정 처리 규칙 또는 표시 스크린(4) 상의 로케이션 등의 변경을 일으킬 수 있다.

주 그래픽 객체 및 부차적 그래픽 객체 간의 이러한 유형의 상호작용은 사용될 수 있는 상이한 포인팅 수단의 능력들(capacities)을 최대한도로 이용한다. 사실, 주로 쓰지 않는 손의 엄지 손가락(6b)은 아주 잘 움직이거나 제어하기 용이한 것은 아니지만, 그럼에도 불구하고 그것은 부차적 그래픽 객체들(3a 내지 3d)을 포함하는 드롭 다운 메뉴에서의 선택의 부차적 작업들을 실행하기에는 충분하며, 이러한 작업들은 주로 쓰는 손이 또한 달성할 수 있는 작업들을 구성하지만, 그 이동성 및 능숙함(dexterity)이 허용하는 더 복잡한 작업들에 사용되는 시간이 할애된다. 주로 쓰는 손(5a)에 의해 조작되는 스타일렛(5b) 또는 엄지 손가락(5c)이나 검지 손가락(5c)은 그 능력들을 완전히 이용하는 복잡한 작업들(필기, 그리기 등등)에 배타적으로 할당된다.

이제 도 2를 참조하여 장치의 구조 도면이 기술되며, 도 2는 하나의 사용 방법(employment)에 따른 이 장치의 단면을 도시하고 있다. 이 장치는 투명한 매트릭스 터치 센서(7), 디스플레이 스크린(4), 센싱 인터페이스(9), 주 프로세서(10) 및 그래픽 프로세서(11)를 포함한다.

이 터치 장치의 가장 기본적인 요소는, 센싱 인터페이스(9)를 통한 취득 - 다접촉 조작 - 에 필요한 터치 센서(7)이다. 이러한 센싱 인터페이스(9)는 취득 및 분석 회로들을 포함한다. 터치 센서(7)는 매트릭스 형태이다. 이것은 필요한 경우 센싱을 가속화하기 위해 복수의 부분으로 분할될 수 있고, 각각의 분할된 부분들이 동시에 스캔될 수 있다.

센싱 인터페이스(9)로부터 발생한 데이터는 필터링된 후 주 프로세서(10)로 전송된다. 이는 조작되기 위해 스크린(4)에 할당되는 그래픽 객체들과 스크린의 데이터를 연관시키는 것을 가능하게 하는 로컬 프로그램을 실행한다. 주 프로세서(10)는 또한, 디스플레이 스크린(4)에서 디스플레이될 데이터를 그래픽 프로세서(11)로 전송한다. 이 그래픽 프로세서는 그래픽 인터페이스의 구동을 실행한다.

매트릭스 센서(1)는, 예를 들어 저항 방식 혹은 투영 정전 용량 방식(projected capacitive type)의 센서이다. 이는 두 개의 투명하고 중첩된 층들을 포함하며, 그 위에는 전도성 와이어들에 대응하는 행들 및 열들이 조직된다. 이러한 방식에서 이러한 층들은 전도성 와이어들의 매트릭스 네트워크를 형성한다. 따라서 터치 센서(7)는 두 개의 중첩된 와이어들을 포함하며, 각각의 중첩된 와이어는 투명한 전극들의 네트워크를 나타낸다. 이들은 예를 들어 인듐 주석 산화물(indium tin oxides; ITO)로 만들어질 수 있다. 매트릭스를 형성하기 위해 제1 층의 전극들은 제2 층의 전극들에 대해 상대적으로 수직이 되도록 구성된다. 바람직하게는 2개의 층들은 이격 기둥들(spacing stays)에 의해 분리된다. 2개의 층을 구성하는 전극들의 집합은 제어 회로에 연결되고, 제어 회로는 각각의 취득 단계 동안 매트릭스의 각각의 노드의 상태를 추론하기 위해 순차적으로 터치 센서에 전류를 통하고 터치 센서를 스캔하는 것을 가능하게 한다.

접촉이 활성되었는지 여부를 알고자 하는 경우, 전압, 정전 용량 또는 유도 용량과 같은 전기적 특성들이 매트릭스의 각 노드의 단말들에서 측정된다. 장치는 주 프로세서(10)로 통합된 제어 회로 및 센서(7)를 사용함으로써 약 100Hz의 샘플링 주파수로 센서(7) 전체에 걸쳐 데이터를 취득하는 것을 가능하게 한다.

수동 매트릭스(passive matrix)를 구비한 터치 센서의 경우에서, 취득은 다음의 방식으로 이루어진다: 열들에 전류가 가해지고 센서의 행들의 각각에서의 응답이 감지된다. 휴지 상태(rest state)와 비교하여 상태가 변경된 노드들에 대응하는 접촉 영역들(contact zones)이 이러한 응답들에 따라 판정된다. 상태가 변경된 인접한 노드들의 하나 이상의 집합들이 판정된다. 그러한 인접한 노드들의 집합은 접촉 영역을 정의한다. 본 발명의 측면에서 커서로 지칭되는 위치 정보가 이러한 노드들의 집합으로부터 계산된다. 비활성 영역들에 의해 구분되는 노드들의 복수의 집합의 경우에서, 복수의 독립적인 커서가 주어진 스캔 단계 동안 판정될 수 있다.

이러한 정보 아이템은 새로운 스캔 단계들 동안 주기적으로 갱신된다. 커서들은 연속적인 스캔 동안에 얻어진 정보 아이템들에 따라 생성되거나, 트래킹되거나 또는 파괴된다. 예로써, 커서는 접촉 영역의 무게 중심 기능(barycentric function)에 의해 계산된다. 일반적인 원리는 터치 센서 상의 한정된 접촉 영역들만큼 많은 커서들을 생성하고 그들의 시간에 따른 변화(evolution in time)를 트래킹하는 것이다. 사용자가 그의 손가락들을 센서로부터 제거한 경우, 연관된 커서들은 파괴된다. 이러한 방식에서는 터치 센서 상의 복수의 손가락의 위치 및 변화를 동시에 센싱하는 것이 가능하다.

주 프로세서(10)는 조작되기 위해 디스플레이 스크린(8) 상에 할당된 그래픽 객체들에 센서의 데이터를 연관시키는 것을 가능하게 하는 프로그램을 실행한다.

유리한 실시예에 따라, 각각의 취득 단계에서 그리고 매트릭스의 각각의 노드에서 측정된 전기적 특성은 전위이다. 이러한 방식에서, 움직임이, 예를 들어 손가락의 움직임인지 혹은 펜의 움직임인지와 무관하게, 움직임을 감지하는 것이 가능하다. 이러한 전위의 측정 후에 순차적으로 혹은 이러한 전위의 측정과 평행하게 전극들 간의 정전 용량의 측정을 수행하는 것 또한 가능하다.

제어 회로는 집적 회로(10) 내로 통합될 수 있다. 이는 알려진 유형의 마이크로컨트롤러일 수 있다. 이와 달리, 집적 회로는 FPGA 혹은 마이크로프로세서일 수 있다. 그러한 마이크로프로세서는 전자 장치(1)의 주 프로세서일 수 있다. 멀티플렉서가 집적 회로 상에서 입력들 및 출력들의 개수를 제한하기 위해 개재될 수 있다.

도 3은 본 발명의 하나의 사용 모드에 따른 그래픽 객체 상에서 주로 사용하는 손으로 포인팅하는 서로 다른 모드들을 도시한다. 만일 단일 접촉 포인트(12) - 커서 - 가 주 그래픽 객체(2a) 위에서 감지된 경우, 제1 포인팅 방법이 활성화된다(도 3a). 만일 두개의 손가락들이 감지된 경우, 제어 회로는 두 개의 생성된 커서들(13a 및 13b) 간의 거리, 방향 및 궤적을 계산한다. 만일 이러한 커서들이, 하나의 프레임으로부터 나머지 프레임까지 커서들 간 거리의 실질적인 증가 없이 동일한 방향으로 동시에 이동시키는 경우, 제2 포인팅 모드가 활성화된다(도 3b). 만일 하나의 취득 단계로부터 나머지 단계까지 커서들(13a 및 13b) 간의 거리가 실질적으로 증가하거나 감소하는 경우 또는 커서들이 두 개의 반대 방향들로 옮겨지는 경우, 제3 포인팅 모드가 활성화된다(도 3c).

도 9는 주 객체 위에서 감지된 커서들 각각의 개수 및 이동에 따라 적절한 제어 규칙을 선택할 수 있는 단계들의 기능도를 도시한다.

디스플레이된 그래픽 객체와 연관된 특정 처리 규칙은 포인팅 모드에 따라 적용될 수 있다. 예를 들어, 그래픽 객체(2a)가 사진 혹은 그림인 경우, 제1 모드는, 예를 들어 커서(12)의 위치에 따라 그래픽 객체(2a)를 이동시키는 것을 가능하게 한다. 제2 모드는, 예들 들어 두 개의 커서들(13a 및 13b)의 궤적에 따라 이동을 가속시키는 것을 가능하게 하고, 반면 제3 모드는, 예를 들어 두 개의 커서들(13a 및 13b) 간의 거리에 따라 객체를 확대시키는 것을 가능하게 한다.

도 3에 도시된 포인팅 모드들은 다른 유형의 그래픽 객체들에 적용될 수 있다. 예를 들어, 그래픽 객체가 사용자로 하여금 손가락들 혹은 스타일렛을 통해 메뉴스크립트(manuscript)를 얻도록 하는 텍스트 영역인 경우, 이러한 객체에 특정한 처리 규칙들이 포인팅 모드에 따라 적용될 것이다. 예를 들어, 제1 포인팅 모드에서, 커서의 궤적이 하나의 취득 단계로부터 나머지 취득 단계까지 트래킹될 것이고, 직선 세그먼트 또는 보간된 커브(interpolated curve)가 하나의 포인트에서 다른 포인트로 그려질 것이다. 이는 문자 인식 처리를 적용함으로써 손으로 쓴 것을 복원(restitute)하는 것을 가능하게 한다. 제2 포인팅 모드에서, 사용자는 텍스트 영역을 스크롤할 수 있을 것이다. 제3 포인팅 모드에서, 사용자는 텍스트 영역을 확대하기 위해 그의 손가락들을 서로 떨어뜨려 펼치거나 서로 가깝게 모은다.

도 4는 주로 쓰지 않는 손(6a)과 관련된 포인팅 모드를 도시한다. 통상적으로, 휴대 가능한 장치와 관련하여, 주로 쓰지 않는 손(6a)은 장치를 지지한다. 오직 엄지손가락(6b)만이 동작에 대해 이용 가능하다. 그럼에도 불구하고, 자주 쓰지 않는 손은 스크린의 모서리에 배치된 버튼들 등의 그래픽 객체들을 조작할 수 있다.

이런 유형의 배열의 단점은 이러한 그래픽 객체가 실수로 활성화될 위험이 크게 증가된다는 것이다. 이 위험을 최소화하기 위하여, 우선순위 포인팅 모드(priority pointing mode)는 스크린(4)의 왼편 안쪽 모퉁이에 위치한 제1 버튼(14)을 활성화하는 것을 가능하게 하여, 정의된 수의 버튼(3a 내지 3d)을 포함하는 메뉴가 스크린을 따라 드롭 다운되도록 한다. 상이한 버튼을 액세스하기 위하여, 주로 쓰지 않는 손(6a)의 엄지 손가락(6b)을 수직으로 슬라이드한다(slides).

유리하게, 하부 버튼(bottom button; 14)이 활성화될 때, 카운트다운(countdown; TTL = 영어로는 "Time to Live")이 활성화된다. 이렇게 하여, 이 카운트 다운의 끝에서, 메뉴의 그래픽 객체(3a 내지 3d) 중 아무것도 활성화되지 않는다면, 드롭-다운 메뉴가 디스플레이되는 것을 중단한다. 예를 들어, TTL 지연(delay)은 2초일 수 있다. 이 구성은 다수의 추가 기능(supplementary functionalities)을 신속하고 신뢰성있게 액세스하는 장점을 제공한다.

유리하게, 드롭-다운 메뉴는 제1 드롭-다운 메뉴에 대하여 직각을 이루게 배치된 서브-메뉴를 제안한다.

조작을 보다 효과적으로 하기 위하여, 전술된 포인팅 모드들이 조합될 수 있다.

도 5a 및 도 5b는 도 3 및 4에서 기술된 포인팅 모드들이 조합된 일 모드를 도시한다. 사진 또는 다른 어떤 이미지를 조작하는 것을 가능하게 하는 전술된 애플리케이션의 예에서는, 주로 쓰지않는 손(6a)의 엄지 손가락(6b)에 의한 드롭-다운 메뉴의 버튼의 활성화는 주로 쓰는 손(5a)에 의해 조작되는 그래픽 객체(2a)에 적용되는 특정 처리 규칙을 변경한다. 따라서, "선택" 버튼(3d; 영어로는 "select")이 선택되면, 주로 쓰는 손(5a)의 제1 포인팅 모드(도 5a)는 그것을 선택하기 위하여 이미지의 일부분을 둘러싸는(encircling) 효과를 가지는 반면 제3 포인팅 모드(도 5b)는 이 선택을 확대하는 것을 가능하게 한다.

손으로 쓴 형식의 텍스트를 취득하는 것을 가능하게 하는 애플리케이션의 전술된 다른 예에서, 동일한 버튼(3d)의 활성화는 제1 포인팅 모드(도 5a)로 텍스트를 문자 별로 선택하고, 제3 포인팅 모드(도 5b)로 텍스트 전체를 선택하거나 선택을 취소하는 것을 가능하게 할 것이다.

도 10은 부차적인 객체(3a 내지 3d)의 수단에 의해 특정 제어 규칙의 컬렉션을 판정하고, 그 다음 포인팅 모드에 따른 제어 규칙의 컬렉션 중에 적절한 제어 규칙을 선택하는 것을 가능하게 해주는 단계들의 도면을 도시한다.

유사하게, 도 6 및 7은 전술된 포인팅 모드들을 조합한 또 다른 모드를 도시한다. 여기서, 주로 쓰는 손(5a)에 의해 조작되는 주 그래픽 객체(2a)를 처리하기 위한 특정 규칙을 변경하는 대신에, 주로 쓰지않는 손(6a)의 엄지 손가락(6b)에 의한 드롭-다운 메뉴의 버튼(3c)의 활성화는 제1 주 객체(2a) 위에 중첩된 또 다른 주 객체를 일시적으로 디스플레이되게 한다. 예를 들어, 이 객체는 숫자가 매겨진 리스트의 형식 또는 아이콘의 리스트의 형식으로 상이한 기능들을 제공하는 드롭-다운 메뉴일 수 있다. 그리고 나서, 주로 쓰는 손(5a)은 기능들 중 하나를 선택할 수 있다. 이렇게 하여, 도 6에 도시된 바와 같이, 주로 쓰지않는 손(6a)의 엄지 손가락이 "편집" 버튼(3c; 영어로는 "edit")을 선택한다면, 드롭-다운 메뉴(15)가 나타나서 주로 쓰는 손(5a)으로 복사(15a), 붙여넣기(15b), 삭제(15c)와 같은 복수의 동작들을 실행하는 것을 가능하게 한다. 도 7에 도시된 바와 같이, 주로 쓰지 않는 손(6a)의 엄지 손가락(6b)이 "내보내기" 버튼(3a; 영어로는 "export")을 선택한다면, 메뉴(16)가 나타나서 예를 들어 "내보내기"하려는 문서의 포맷 또는 대상을 선택하는 것을 가능하게 한다.

도 11은 컨텍스트적 객체를 디스플레이하는 것을 가능하게 하는 단계들의 도면을 도시한다. 컨텍스트적 객체는 스크린의 임의의 위치에, 예를 들어 한 가운데에, 디스플레이됨을 알아야한다.

도 12는 도 11에서 기술된 방법의 변형(variant)을 도시한다. 이 실시예에서는, 컨텍스트적 객체가 임의로 결정된 좌표에 디스플레이되지 않고, 마지막으로 감지된 포인터의 마지막 위치에 따라 디스플레이된다. 이 실시예는 특히 대면적 스크린에 유리하다. 이렇게 하여, 컨텍스트적 객체는 사용자의 주로 쓰는 손이 있었던 마지막 위치에 디스플레이되고, 따라서 컨텍스트적 객체를 사용하기 위하여 주로 쓰는 손을 스크린의 임의의 위치로 이동시키는 것이 방지된다.

도 8의 본 경우에는, 필기 기능이 활성화되었다. 디스플레이 스크린(4)의 그래픽 객체(2a) 위에 필기하기 위하여 주로 쓰는 손(5a)에 의해 스타일렛(5b)이 조작된다(도 8a). 유리하게, 다접촉 터치 센서의 매트릭스의 취득은 필기가 감지되는 영역에서 더 높은 해상도로 달성되는 것이 접촉 영역(17)의 존재에 의해 제공될 수 있다(도 8b). 이렇게 하여, 해상도는 마지막으로 감지된 접촉 포인트(17) 주변의 작은 크기의 영역에서 향상되고, 따라서 다음 획득에서의 스타일렛(5b)의 이동을 예상할 수 있게 된다. 따라서, 상응하는(commensurately) 더 정확한 터치 정보 아이템이 접촉 영역에 가까운 곳에서 얻어진다.

전술된 본 발명의 실시예들은 예로서 제시되었고, 어떤 방향으로도 제한적이지 않다. 당업자는 본 발명의 범위에서 벗어나지 않으면서 발명의 상이한 변형을 달성할 수 있음을 이해해야한다.

Claims (18)

1. 그래픽 객체(2, 3a, 3b, 3c, 3d)의 조작에 의한 전자 장비 아이템(1)의 제어를 위한 장치로서,
   디스플레이 스크린(4),
   복수의 포인팅 수단(5, 6)에 의해 생성된 다접촉 터치 정보 아이템의 획득을 위한 투명 다접촉 터치 센서, 및
   상기 터치 정보 아이템에 따른 제어 신호를 생성할 수 있고, 상기 디스플레이 스크린(4)에 그래픽 객체(2, 3a, 3b, 3c, 3d)를 생성할 수 있는 전자 제어 회로
   를 포함하고,
   상기 그래픽 객체의 각각은 적어도 하나의 특정 처리 규칙에 연관되고, 상기 터치 정보 아이템의 각각은 상기 그래픽 객체(2, 3a, 3b, 3c, 3d)의 위치에 상대적인 상기 터치 정보 아이템의 로케이션(location)에 의해 판정된 특정 처리의 객체이며,
   상기 장치는,
   주 그래픽 객체(2)의 제1 계열, 및
   부차적 그래픽 객체(3a, 3b, 3c, 3d)의 제2 계열
   을 포함하며,
   상기 주 그래픽 객체(2)의 각각은 주 기능(main function)을 가지며 적어도 하나의 주 특정 처리 규칙(main specific processing rule)과 연관되고, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d)의 각각은 부차적 기능(subordinate function)을 가지며 적어도 하나의 부차적 특정 처리 규칙과 연관되고, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d)의 상기 기능은 상기 주 그래픽 객체(2)의 상기 기능에 상보적이며, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d)는 상기 주 그래픽 객체(2)의 로케이션으로부터 상기 디스플레이 스크린(4) 상의 상이한 로케이션에 배치되어, 상기 제1 계열은 포인팅 수단의 제1 집합(5)에 의해 조작되고 상기 제2 계열은 상기 제1 집합(5)으로부터 구별되는 포인팅 수단의 제2 집합(6)에 의해 조작되도록 상기 그래픽 객체(2, 3a, 3b, 3c, 3d)가 조직되며(organized), 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d) 중 적어도 하나의 상기 조작은 상기 주 그래픽 객체(2) 중 적어도 하나의 속성의 변경으로 이어지는 것을 특징으로 하는, 장치.
2. 제1항에 있어서, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d) 중 적어도 하나의 상기 조작에 의해 변경된 상기 주 그래픽 객체(2) 중 적어도 하나의 상기 속성 중 하나는 디스플레이인, 장치.
3. 제1항 또는 2항에 있어서, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d) 중 적어도 하나의 상기 조작에 의해 변경된 상기 주 그래픽 객체(2) 중 적어도 하나의 상기 속성 중 하나는 상기 연관된 특정 처리 규칙인, 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d) 중 적어도 하나의 상기 조작에 의해 변경된 상기 주 그래픽 객체(2) 중 적어도 하나의 상기 속성 중 하나는 상기 디스플레이 스크린(4) 상의 상기 로케이션인, 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 포인팅 수단의 제1 집합(5)은 한 손(5a)에 의해 조작되는, 장치.
6. 제5항에 있어서, 상기 포인팅 수단의 제1 집합(5)은 한 손(5a)에 의해 조작되는 스타일렛(stylet; 5b)을 포함하는, 장치.
7. 제5항 또는 제6항에 있어서, 상기 포인팅 수단의 제1 집합(5)은 한 손(5a)의 적어도 하나의 손가락(5c, 5d)을 포함하는, 장치.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 포인팅 수단의 제2 집합(6)은 한 손(6a)에 의해 조작되는, 장치.
9. 제8항에 있어서, 상기 포인팅 수단의 제2 집합(6)은 한 손(6a)의 적어도 하나의 손가락(6b)을 포함하는, 장치.
10. 제8항에 있어서, 제5항에 따라, 상기 포인팅 수단의 제1 및 제2 집합(5, 6)의 상기 손들(5a, 6a)은 사용자의 각각 두 개의 상이한 손인, 장치.
11. 제10항에 있어서, 상기 포인팅 수단의 제1 및 제2 집합(5, 6)의 상기 손들(5a, 6a)은 각각 주로 쓰는 손(5a) 및 주로 쓰지않는 손(6a)을 포함하며, 상기 주로 쓰는 손(5a)은 상기 주 그래픽 객체(2)를 조작하고, 상기 주로 쓰지않는 손(6a)은 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d)를 조작하는, 장치.
12. 제11항에 있어서, 적어도 하나의 주 그래픽 객체(2)의 주 기능은 필기 기능인, 장치.
13. 제11항 또는 제12항에 있어서, 적어도 하나의 그래픽 객체(2)의 주 기능은 포인팅 기능인, 장치.
14. 제11항 내지 제13항 중 어느 한 항에 있어서, 적어도 하나의 부차적 그래픽 객체(3a, 3b, 3c, 3d)의 부차적 기능은 상기 주로 쓰는 손(5a)에 의해 조작되는 적어도 하나 주 그래픽 객체(2)에 할당된 기능들의 선택의 기능인, 장치.
15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 주 그래픽 객체(2) 및 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d)는 각각 상기 주로 쓰는 손(5a) 및 상기 주로 쓰지않는 손(6a)에 가깝게 위치된, 장치.
16. 제11항 내지 제15항 중 어느 한 항에 있어서, 상기 전자 장비 아이템(1)은 휴대 가능하고, 상기 주로 쓰지않는 손(6a)은 상기 전자 장비 아이템(1)을 위한 지지(support)를 제공하는, 장치.
17. 제1항 내지 제16항 중 어느 한 항에 있어서, 적어도 하나의 부차적 그래픽 객체(3a, 3b, 3c, 3d)의 상기 위치는 상기 사용자에 의해 변경되는, 장치.
18. 제1항 내지 제17항 중 어느 한 항에 있어서, 취득 속성(acquisition properties)은 상기 포인팅 수단의 제1 집합(5)과 상기 포인팅 수단의 제2 집합(6) 및 상기 주 그래픽 객체(2)와 상기 부차적 그래픽 객체(3a, 3b, 3c, 3d)에 따라 변경되는, 장치.
    

Images