KR20160134799A

KR20160134799A - 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템, 방법 및 컴퓨터-판독가능 매체

Info

Publication number: KR20160134799A
Application number: KR1020167028988A
Authority: KR
Inventors: 빈센트 레베스크; 후안 마누엘 크루즈-헤르난데즈; 자말 사본; 대니 그랜트; 커트-에릭 스탈버그; 리웬 우; 압델와합 하맘
Original assignee: 임머숀 코퍼레이션
Priority date: 2014-03-21
Filing date: 2015-03-19
Publication date: 2016-11-23
Also published as: JP2020038681A; CN106104426A; WO2015143121A1; US10031583B2; US20180314333A1; CN106104426B; EP3120223A1; CN111399646A; JP6788719B2; US20150268725A1; JP2017513165A

Abstract

힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들 및 방법들이 개시된다. 한 개시된 방법은 사용자 상호작용의 위치를 표시하는 제1 신호를 수신하는 단계 및 제1 힘을 표시하는 제2 신호를 수신하는 단계를 포함한다. 상기 방법은 또한 사용자 상호작용의 위치가 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에: 제1 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제1 햅틱 신호를 출력하고; 제1 힘이 제1 힘 임계값을 충족시키거나 초과하는 경우에 제2 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제2 햅틱 신호를 출력하는 단계를 포함한다.

Description

힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템, 방법 및 컴퓨터-판독가능 매체{SYSTEM, METHOD AND COMPUTER-READABLE MEDIUM FOR FORCE-BASED OBJECT MANIPULATION AND HAPTIC SENSATIONS}

관련 출원들에 대한 참조

본원은 그 전체 내용이 본원에 참조로 포함된, 2014년 3월 21일자 출원된, "Systems and Methods for Force-Based Object Manipulation and Haptic Sensations"라고 하는 미국 가 특허 출원 번호 61/968,913을 우선권 주장한다.

분야

본 개시내용은 일반적으로 힘-기반 햅틱 방법들 및 디바이스들에 관한 것이고, 더욱 구체적으로는, 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들 및 방법들에 관한 것이다.

많은 최신의 프로세서-기반 디바이스들은 터치 스크린들과 같은 터치-감지 입력 디바이스들을 갖추고 있고, 일부는 또한 햅틱 효과들을 출력할 수 있다. 이러한 디바이스들은 사용자가 소정의 기능들을 수행하거나 하나 이상의 애플리케이션을 시작하기 위해 아이콘들 또는 위젯들과 같은, 그래픽-디스플레이된 물체들과 상호작용하게 한다. 사용자가 이들 작업을 수행하기 위해 터치 스크린과 상호작용할 때, 디바이스는 사용자가 이러한 아이콘 또는 위젯에 터치할 때 사용자가 그 물체를 작동하였다는 것을 표시하기 위해 햅틱 효과를 출력할 수 있다.

힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들 및 방법들이 개시된다. 예를 들어, 한 개시된 방법은 사용자 상호작용의 위치를 표시하는 제1 신호를 수신하고; 제1 힘을 표시하는 제2 신호를 수신하는 것을 포함한다. 방법은 또한 사용자 상호작용의 위치가 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에: 제1 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제1 햅틱 신호를 출력하고; 제1 힘이 제1 힘 임계값을 충족시키거나 초과하는 경우에 제2 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제2 햅틱 신호를 출력하는 것을 또한 포함한다. 일부 예들에서 컴퓨터-판독가능 매체는 프로세서로 하여금 이러한 방법을 수행하게 하기 위한 프로그램 코드로 인코드될 수 있다.

이들 예시적인 예는 본 개시내용의 범위를 제한하거나 정하지 않고, 오히려 그것의 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 예들은 추가 설명을 제공하는 상세한 설명에 개시된다. 다양한 예들에 의해 제공된 장점들은 본 명세서를 참조함으로써 더 이해될 수 있다.

본 명세서에 포함되거나 그 일부를 구성하는 첨부 도면은 하나 이상의 예를 도시하고, 예들의 설명과 함께, 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들 및 방법들의 원리들 및 구현들을 설명하기 위해 제공된다.
도 1a-1b는 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들을 도시한다.
도 2a-2b는 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법들을 도시한다.
도 2c는 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 상태도들을 도시한다.
도 3은 본 개시내용에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들 및 방법들의 예들에 사용가능한 예시적인 그래픽 사용자 인터페이스들을 도시한다.
도 4는 본 개시내용의 예들에 따른 힘-감지 표면과의 사용자 상호작용과 관련된 힘들의 예시적인 그래프를 도시한다.
도 5a는 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법을 도시한다.
도 5b는 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들에 대한 상태도를 도시한다.
도 6은 본 개시내용의 예들에 따른 힘-감지 표면과의 사용자 상호작용과 관련된 힘들의 예시적인 그래프를 도시한다.
도 7은 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법을 도시한다.
도 8a-8b는 본 개시내용의 예들에 따라 도시한 힘-기반 물체 조작 및 햅틱 감각들을 제공하는 소프트웨어 애플리케이션들을 도시한다.
도 9는 본 개시내용의 예들에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법을 도시한다.

힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템 및 방법들의 맥락에서 예들이 여기에 설명된다. 본 기술 분야의 통상의 기술자는 다음의 설명이 단지 예시적인 것이고 어떤 방식으로 제한하려는 것은 아니라는 것을 알 것이다. 다른 예들이 본 개시내용의 이점을 얻은 그러한 통상의 기술자에게 자체로 쉽게 제안할 것이다. 이제 첨부 도면에 도시된 것과 같은 예들의 구현이 상세히 참조될 것이다. 동일한 참조 부호 표시들이 도면 전체 및 다음의 설명에 걸쳐 사용될 것이고 동일하거나 유사한 아이템들을 참조하는 데 사용될 것이다.

분명히 하기 위해, 여기에 설명된 구현들의 일반적인 특징들 모두가 도시되지도 않고 설명되지 않는다. 물론, 임의의 이러한 실제 구현의 개발에 있어서, 많은 구현-특정 결정들이 응용- 및 업무-관련 제약들에 따르는 것과 같이, 개발자의 특정한 목적들을 달성하기 위해 이루어져야 하고, 이들 특정한 목적들은 한 구현으로부터 다른 구현으로 및 한 개발자로부터 다른 개발자로 변화할 것이라는 것을 알 것이다.

힘-기반 물체 조작 및 햅틱 감각들을 위한 예시적인 시스템

도 1a는 힘-기반 물체 조작 및 햅틱 감각들을 위한 예시적인 시스템들을 도시한다. 도 1a에 도시한 예에서, 시스템은 하우징(110) 내에 터치-감지 디스플레이(120)(또한 "터치 스크린"이라고 함)를 갖는 태블릿 컴퓨터(100) 및 사용자가 터치-감지 디스플레이(120)에 접촉할 때 텍스처들을 시뮬레이트할 수 있는 햅틱 출력 디바이스(도시 안됨)를 포함한다. 또한, 태블릿(100)은 터치-감지 디스플레이(120)에 진동 효과들을 출력할 수 있는 또 하나의 햅틱 출력 디바이스(도시 안됨)를 포함한다. 태블릿(100)은 애플리케이션들을 시작하고, 스크린 상에 디스플레이된 물체들 또는 이미지들을 조작하거나, 혹은 다양한 작업들을 수행함으로써 같이, 사용자가 태블릿(100)과 상호작용하게 하기 위한 그래픽 사용자 인터페이스(GUI)를 제공한다. 이 예에서, 태블릿(100)이 터치-감지 디스플레이(120)로 가능하기 때문에, 사용자는 아이콘들을 선택하여, 태블릿의 운영 체제(OS)에 의해 또는 애플리케이션들, 위젯들, 또는 다른 유형들의 소프트웨어를 통해 가용한 다른 GUI들에 의해 제공된 GUI에 입력들을 제공하는 제스처들을 수행하기 위해 터치-감지 디스플레이(120)를 터치하도록 선택할 수 있다.

또한, 태블릿(100)에는 사용자가 그의 손가락을 사용하여 터치-감지 디스플레이(120)에 접촉할 때와 같이, 터치-감지 디스플레이(120)에 가해진 힘을 감지하는 하나 이상의 힘 센서가 장치되어 있다. 이 예에서, 터치-감지 디스플레이(120)는 멀티-터치 능력을 갖는다. 즉, 터치-감지 디스플레이(120)는 사용자가 여러 손가락(또는 스타일러스들과 같은 다른 입력 디바이스)을 사용하여 제스처들을 수행하게 하기 위해 다중의 동시(또는 실질적으로 동시) 접촉들 및 대응하는 힘들을 해석할 수 있다. 사용자가 터치-감지 디스플레이(120)를 터치할 때, 터치-감지 디스플레이(120) 및 힘 센서들은 사용자의 접촉의 위치 및 힘에 기초하여 특정 액션들을 취하도록 구성되는, 태블릿(100)의 프로세서에 위치 및 힘 정보를 보낸다.

예를 들어, 태블릿(100)은 태블릿(100) 상에 설치된 상이한 애플리케이션들 또는 위젯들을 나타내는 아이콘들의 배열을 GUI에 디스플레이할 수 있다. 일부 경우들에서, 사용자는 GUI의 소자들을 작동하거나 혹은 이들과 상호작용하지 않고서 터치-감지 디스플레이(120)와 상호작용하기를 원할 수 있다. 예를 들어, 태블릿(100)은 사용자가 터치-감지 디스플레이(120)에 가볍게 접촉할 수 있게 하고 아이콘 또는 위젯을 활성화하거나, 다른 방식으로 GUI를 조작하지 않고서, 그 접촉에 기초하여 햅틱 피드백을 수신할 수 있게 하도록 구성된다. 그러므로, 사용자는 터치-감지 디스플레이(120)를 가로질러 그의 손가락을 드래그하여 다양한 햅틱 효과들에 기초하여, 상이한 아이콘들 또는 위젯들이 어디에 위치하는지를 느끼고, 터치-감지 디스플레이(120)를 볼 필요 없이 그들 햅틱 효과에 기초하여 상이한 아이콘들 또는 위젯들 간을 구별할 수 있다. 이러한 기능성은 사용자가 운전하고 있지만, 무선국들을 변경하거나 기후 제어 설정들을 조정하려고 시도하는 동안과 같이, 사용자 주의가 다른 곳에 집중되는 상황들에서 특히 유리할 수 있다. 사용자가 아이콘 또는 위젯을 선택하거나 혹은 GUI를 조작하기(예를 들어, 아이콘들의 또 하나의 페이지로 스와이프하기)를 선택하면, 사용자는 터치-감지 디스플레이(120) 위를 더 강하게 누르고 원하는 제스처를 수행할 것이다. 터치-감지 디스플레이(120) 상의 힘을 증가시킴으로써, 태블릿(100)은 사용자가 스크린을 촉각으로 탐색할 수 있는 "탐색" 모드로부터, 사용자가 아이콘들 또는 위젯들을 작동하거나, 혹은 GUI를 조작할 수 있는 "조작" 모드로 변경한다. 일부 예들에서, 사용자는 터치-감지 디스플레이(120) 상의 힘을 감소시킴으로써 탐색 모드로 복귀할 수 있다.

이 기능성을 가능하게 하기 위해서, 태블릿(100)은 사용자에 의해 맞춤화될 수 있거나 디바이스에 의해 시간이 지남에 따라 자동적으로 조정될 수 있는 힘 임계값들을 결정하는 소프트웨어를 포함한다. 이러한 조정은 사용자에게 메시지 - 예를 들어, "애플리케이션을 시작... 앱을 시작하려고 하는가?" - 를 제시하고 사용자에게 "예" 또는 "아니오"를 선택하는 옵션을 제공함으로써와 같이, 투명하게 또는 대화식으로 발생할 수 있다. 이러한 정보는 힘 임계값들의 적응적 결정으로 피드백될 수 있다. 그러므로, 사용자의 접촉들의 힘을 힘 임계값(들)과 비교함으로써, 디바이스는 탐색 모드와 조작 모드 간에 전환할 수 있다. 또한, 디바이스는 추가의 햅틱 효과들과 같은, 모드 또는 모드들의 변화; 팝업 메시지들 또는 (예를 들어, 탐색 모드 동안 특징들을 그레이 아웃함에 의한) 디스플레이 내의 변화들과 같은 시각적 효과들; 소리 또는 화음과 같은 청각 효과들을 표시하기 위해 다른 유형들의 피드백을 제공할 수 있다.

탐색 및 조작 모드들 외에, 태블릿(100)은 또한 제2 힘 임계값을 포함하고, 이 값 위에서 GUI의 조작들이 사실상 변화한다. 사용자가 특히 강하게 누르고, 그 러한 양의 힘을 단념할 때, GUI는 조작에 덜 응답하게 될 수 있다. 이러한 경우에, 아이콘들은 그들이 아이콘 아래의 가상 표면에 기초하여 점성 재료를 통해 드래그되고 또는 마찰 저항을 겪는 것처럼, 보다 더 느리게 이동할 수 있고, 또는 애플리케이션 아이콘들은 초기에 쉽게 선택 가능하기보다는 오히려 사용자의 손가락 아래로부터 슬라이드 아웃할 수 있다. 또한, 사용자의 접촉력이 제2 임계값을 충족시키거나 초과할 때, 태블릿(100)은 제2 힘 임계값이 도달되었다는 것을 표시하기 위해 사용자에게 햅틱 효과를 출력할 수 있다. 유사하게, 사용자가 제2 힘 임계값 아래로 힘을 감소시킴에 따라, 그 힘 레벨이 GUI를 유지하기 위해 적당하다는 것을 사용자에게 확인시켜 주기 위해 또 하나의 햅틱 효과가 출력될 수 있다. 아래에 보다 더 상세히 논의되는 일부 예들에서, 임계값은 2개의 상이한 값을 가질 수 있는데, 하나는 증가되는 힘으로서 사용되고, 다른 하나는 감소되는 힘으로서 사용된다. 또는, 일부 예들에서, 모드가 전환되기 전에 최소 기간 동안 힘은 (히스테레틱 임계값의 경우에 포함하는) 임계값 아래로 떨어져야 한다. 바꾸어 말하면, 일부 힘들은 히스테레틱(hysteretic) 또는 "스티키(sticky)"일 수 있다. 이것은 상호작용의 모드가 예기치 않게 조작 중에 변경한 경우에 사용자가 좌절되지 않음에 따라, 사용자가 조작 동안 의도하지 않게 힘을 감소하는 경우들에서 보다 더 사용하기 쉬운 인터페이스를 제공할 수 있다.

위에 논의된 멀티-모드 힘 인터페이스 외에, 태블릿(100)은 또한 다양한 사용자 인터페이스들과 상호작용하기 위해 힘-기반 제스처들에 응답한다. 예를 들어, 태블릿(100)의 주 GUI 스크린은 타일된 포맷으로 배열된 애플리케이션들을 나타내는 많은 아이콘을 포함할 수 있다. 사용자 인터페이스의 추가 스크린들을 보기 위해, 사용자는 추가 애플리케이션들을 갖는 다른 스크린들을 드러내기 위해 터치-감지 디스플레이(120)를 따라 좌측으로부터 우측으로 스와이프할 수 있다. 그러나, 사용자 인터페이스는 또한 사용자가 인터페이스 내로 "줌"하기 위해 터치-감지 디스플레이(120)에 가하는 힘을 사용자가 증가시키게 한다. 예를 들어, 사용자는 간단히 터치-감지 디스플레이(120) 위를 더 강하게 누름으로써 인터페이스 상에 나타난 폴더 내로 내비게이트할 수 있다. 또 하나의 예로서, 사용자가 맵핑 애플리케이션과 상호작용하고 있다면, 사용자는 힘을 증가 또는 감소시킴으로써 줌 레벨을 증가 또는 감소시킬 수 있다. 일부 예들에서, 사용자는 특정한 사용자 인터페이스 레벨에서 디스플레이된 정보의 유형을 변경하도록 선택할 수 있다. 예를 들어, 사용자는 도로 및 고속도로 라인 지도로부터 지형적 지도, 위성 이미지, 또는 지도의 가시 부분의 거리 뷰로 하는 것과 같이, 특정한 줌 레벨에서 디스플레이된 정보의 유형을 맞춤화할 수 있다. 그러므로, 힘의 사용은 그렇지 않은 경우에 2차원 인터페이스로 나타나는 것에서 자유도들의 수를 향상시킬 수 있다.

태블릿(100)은 또한 디바이스와의 사용자 상호작용들에 기초하여 사용자에게 보다 몰입적인 햅틱 감각들을 제공하기 위해 힘 감지를 이용한다. 위에 논의된 바와 같이, 사용자 인터페이스의 주 GUI 스크린은 타일된 포맷으로 배열된 많은 아이콘을 포함할 수 있다. 사용자가 터치-감지 디스플레이(120) 위에서 그의 손가락을 가볍게 드래그할 때, 사용자가 아이콘 위에서 "호버링(hovering)"하고 있는 것을 표시하기 위해 그의 손가락이 아이콘을 가로질러 슬라이드함에 따라, 사용자는 정전기 마찰 효과들과 같은 햅틱 효과를 느낄 수 있다. 보다 유용한 햅틱 감각들을 획득하기 위해서, 사용자는 접촉력을 증가시킬 수 있다. 접촉력이 증가함에 따라, 디바이스는 아이콘에 의해 나타내진 애플리케이션과 관련한 텍스처 효과와 같은, 점점 더 상세한 햅틱 감각들을 제공한다. 예를 들어, 사용자가 달력 애플리케이션을 위한 아이콘을 누르길 시작하면, 태블릿(100)은 월별 달력의 형상을 나타내기 위해, 그리드와 같이 느껴지는 햅틱 텍스처를 출력한다. 또는 사용자가 전화 호출을 하기 위한 아이콘을 누르길 시작하면, 태블릿(100)은 터치-감지 디스플레이(120) 상의 접촉 표면을 변형한 햅틱 출력 디바이스를 사용함으로써와 같이, 전화 수화기의 형상에 대응하는 텍스처를 출력한다. 일부 경우들에서, 진동 햅틱 효과가 사용될 수 있다. 예를 들어, 사용자가 태블릿(100)이 잠겨있는 동안 비상 호출을 하기 위해 아이콘을 찾으려고 시도하면, 태블릿(100)은 사용자가 올바른 아이콘을 찾았다는 것을 사용자에게 표시하기 위해 - SOS를 위한 모르스 코드 시퀀스 - 즉, 3번의 짧은 진동 후의 3번의 더 긴 진동 후의 3번의 짧은 진동을 모방한 햅틱 효과들의 반복된 시퀀스를 출력한다.

그러므로, 도 1a에 도시한 예시적인 디바이스는 사용자 인터페이스의 사용자 탐색 및 조작 동안 사용자가 보다 양호한 제어 및 감지 피드백을 가능하게 하기 위한 완전 특징화된 힘-감지 햅틱 사용자 인터페이스를 제공한다. 이들 예시적인 예는 독자에게 여기에 논의된 일반적 주제를 소개하기 위해 주어지고 본 개시내용은 이들 예로 제한되지 않는다. 다음의 섹션들은 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템들 및 방법들의 다양한 추가의 비제한적인 예들을 설명한다.

이제 도 1b를 참조하면, 도 1b는 본 개시내용의 한 예에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 시스템(200)을 도시한다. 도 1b에 도시한 예에서, 시스템(200)은 하우징(210), 프로세서(220), 메모리(230), 터치-감지 디스플레이(250), 햅틱 출력 디바이스(240), 통신 인터페이스(260), 스피커(270), 및 힘 센서(290)를 포함한다. 또한, 시스템(200)은 일부 예들에 선택적으로 결합되거나 그들에 포함될 수 있는, 햅틱 출력 디바이스(280)와 통신한다. 프로세서(220)는 메모리(230)와 통신하고, 이 예에서, 프로세서(220)와 메모리(230)는 둘 다 하우징(210) 내에 배치된다.

터치-감지 표면을 포함하거나 이와 통신하는 터치-감지 디스플레이(250)는 터치-감지 디스플레이(250)의 적어도 일부가 시스템(200)의 사용자에게 노출되도록 하우징(210) 내에 부분적으로 배치된다. 일부 예들에서, 터치-감지 디스플레이(250)는 하우징(210) 내에 배치되지 않을 수 있다. 예를 들어, 시스템(200)은 별도의 하우징 내에 배치된 터치-감지 디스플레이(250)에 접속되거나 혹은 그와 통신할 수 있다. 일부 예들에서, 하우징(210)은 서로 슬라이드가능하게 결합되고, 서로 피봇가능하게 결합되거나 서로 해제가능하게 결합될 수 있는 2개의 하우징을 포함할 수 있다. 또 다른 예들에서, 시스템(200)은 디스플레이를 포함할 수 있거나 그와 통신할 수 있고 마우스, 키보드, 버튼들, 노브들, 슬라이더 컨트롤들, 스위치들, 휠들, 롤러들, 조이스틱들, 다른 조작기들, 또는 이들의 조합과 같은, 다른 사용자 입력 디바이스들을 포함할 수 있거나 이들과 통신할 수 있다.

일부 예들에서, 하나 이상의 터치-감지 표면이 시스템(200)의 하나 이상의 면 상에 포함될 수 있거나 그 안에 배치될 수 있다. 예를 들어, 터치-감지 표면은 시스템(200)의 후면 내에 배치될 수 있거나 이를 포함할 수 있다. 또 하나의 예에서, 제1 터치-감지 표면은 시스템(200)의 후면 내에 배치될 수 있거나 이를 포함할 수 있고 제2 터치-감지 표면은 시스템(200)의 측면 내에 배치될 수 있거나 이를 포함할 수 있다. 일부 예들에서, 시스템(200)은 뚜껑이 달린 배열에서 또는 슬라이드가능한 배열에서와 같이, 2개 이상의 하우징 소자를 포함할 수 있다. 예를 들어, 시스템(200)은 뚜껑의 부분들 각각 내에 배치된 터치-감지 디스플레이(120)를 갖는 뚜껑이 달린 구성을 가질 수 있다. 게다가, 일부 예들에서, 터치-감지 디스플레이(250)는 터치-감지 표면을 포함하지 않을 수 있다(예를 들어, 터치-감지 디스플레이(250)는 터치-입력 능력이 없는 디스플레이일 수 있다). 일부 예들에서, 하나 이상의 터치-감지 표면은 가요성이거나 변형가능할 수 있다. 다른 예들에서, 하나 이상의 터치-감지 표면은 강성일 수 있다. 시스템(200)은 가요성 및 강성 둘 다의 터치-감지 표면들을 포함할 수 있다.

도 1b에 도시한 예에서, 터치-감지 디스플레이(250)는 프로세서(220)와 통신하고 프로세서(220) 또는 메모리(230)에 신호들을 제공하고 프로세서(220) 또는 메모리(230)로부터 신호들을 수신하도록 구성된다. 메모리(230)는 프로세서(220)에 의해 사용하기 위한 프로그램 코드, 데이터, 또는 이 둘 다를 저장하도록 구성된다. 프로세서(220)는 메모리(230) 내에 저장된 프로그램 코드를 실행하고 신호들을 터치-감지 디스플레이(250)에 송신하고 그로부터 신호들을 수신하도록 구성된다. 도 1b에 도시한 예에서, 프로세서(220)는 또한 통신 인터페이스(260)와 통신한다. 프로세서(220)는 하나 이상의 원격 컴퓨터 또는 서버와 같은, 다른 소자들 또는 디바이스들과 통신하기 위해 통신 인터페이스(260)로부터 신호들을 수신하고 신호들을 통신 인터페이스(260)에 출력하도록 구성된다.

또한, 프로세서(220)는 햅틱 출력 디바이스(240) 및 햅틱 출력 디바이스(280)와 통신하고, 햅틱 출력 디바이스(240), 햅틱 출력 디바이스(280), 또는 이 둘 다가 하나 이상의 햅틱 효과를 출력하게 하기 위한 신호들을 출력하도록 더 구성된다. 또한, 프로세서(220)는 스피커(270)와 통신하고 스피커(270)가 사운드들을 출력하게 하기 위한 신호들을 출력하도록 구성된다. 다양한 예들에서, 시스템(200)은 보다 적은 수의 또는 추가의 소자들 또는 디바이스들을 포함하거나 이들과 통신할 수 있다. 예를 들어, 마우스, 트랙볼, 트랙패드, 키보드, 추가의 터치-감지 디바이스, 또는 이들의 어떤 조합과 같은 다른 사용자 입력 디바이스들이 시스템(200) 내에 포함될 수 있거나 시스템(200)과 통신할 수 있다. 또 하나의 예로서, 시스템(200)은 하나 이상의 가속도계, 자이로스코프, 디지털 나침반, 및/또는 다른 센서를 포함할 수 있고/있거나 이들과 통신할 수 있다.

도 1b에 도시한 시스템(200)의 하우징(210)은 소자들 시스템(200)의 적어도 일부에 대한 보호를 제공한다. 예를 들어, 하우징(210)은 프로세서(220) 및 메모리(230)를 빗물과 같은 이물질들로부터 보호하는 플라스틱 케이싱일 수 있다. 일부 예들에서, 하우징(210)은 사용자가 시스템(200)을 떨어뜨린 경우에 하우징(210) 내의 소자들을 손상으로부터 보호한다. 하우징(210)은 플라스틱들, 고무들, 또는 금속들을 포함하지만, 이들로 제한되지 않는 임의의 적합한 재료로 이루어질 수 있다. 다양한 예들은 상이한 유형들의 하우징들 또는 복수의 하우징을 포함할 수 있다. 예를 들어, 일부 예들에서, 시스템(200)은 휴대용 디바이스, 휴대형 디바이스, 토이, 트랙볼, 마우스, 트랙패드, 게이밍 콘솔, 휴대형 비디오 게임 시스템, 게임패드, 게임 컨트롤러, 데스크탑 컴퓨터, 전자책 리더, 카메라, 비디오 카메라, 휴대 전화, 스마트폰, 개인 휴대 단말기(PDA), 랩탑, 태블릿 컴퓨터, 디지털 뮤직 플레이어 등과 같은 휴대용 다기능 디바이스일 수 있다.

도 1b에 도시한 예에서, 햅틱 출력 디바이스들(240 및 280)은 프로세서(220)와 통신하고 하나 이상의 햅틱 효과를 제공하도록 구성된다. 예를 들어, 프로세서(220)가 햅틱 출력 디바이스(240), 햅틱 출력 디바이스(280), 또는 이 둘 다에 작동 신호를 송신할 때, 각각의 햅틱 출력 디바이스(들)(240, 280)는 작동 신호에 기초하여 햅틱 효과를 출력한다. 일부 예들에서, 프로세서(220)는 아날로그 구동 신호를 포함하는 햅틱 출력 신호를 햅틱 출력 디바이스(240)에 송신하도록 구성된다. 다른 예들에서, 프로세서(220)는 햅틱 출력 디바이스(280)에 고레벨 명령을 송신하도록 구성된다. 명령은 햅틱 출력 디바이스(280)가 햅틱 효과를 출력하게 하기 위해 적절한 구동 신호를 발생하는 데 사용될 명령 식별자 및 제로 또는 더 많은 파라미터를 포함할 수 있다. 상이한 신호들 및 상이한 신호 유형들이 하나 이상의 햅틱 출력 디바이스 각각에 보내질 수 있다. 예를 들어, 프로세서는 햅틱 효과를 출력하기 위해 햅틱 출력 디바이스(240)를 구동하도록 저레벨 구동 신호들을 송신할 수 있다. 이러한 구동 신호는 증폭기에 의해 증폭될 수 있거나 구동되는 특정한 햅틱 출력 디바이스(240)를 수용하기 위한 적합한 프로세서들 또는 회로를 사용하여, 디지털로부터 아날로그 신호로, 또는 아날로그로부터 디지털 신호로 변환될 수 있다.

햅틱 효과들을 발생하기 위해, 많은 디바이스들은 일부 유형의 액추에이터 또는 햅틱 출력 디바이스(240, 280)를 이용한다. 햅틱 출력 디바이스(240, 280)는 편심 질량이 모터에 의해 이동되는 편심 회전 질량("ERM"), 스프링에 부착된 질량이 왔다갔다 구동되는 선형 공진 액추에이터("LRA")와 같은 전자기 액추에이터, 또는 압전, 전기-활성 중합체들 또는 형상 메모리 합금들과 같은 "스마트 재료"를 포함할 수 있다. 햅틱 출력 디바이스들은 또한 정전기 마찰(ESF), 초음파 표면 마찰(USF)을 사용하는 것들, 또는 초음파 햅틱 트랜스듀서로 음향 방사 압력을 유도하는 것들, 또는 햅틱 기판 및 가요성 또는 변형가능 표면을 사용하는 것들, 또는 공기 제트를 사용하는 공기의 퍼프와 같은 돌출된 햅틱 출력을 제공하는 것들 등과 같은 다른 디바이스들(예를 들어, 비기계 및 비진동 디바이스들)을 폭넓게 포함한다.

일부 예들에서, 하나 이상의 소자의 변형이 햅틱 효과를 발생하는 데 사용될 수 있다. 예를 들어, 하나 이상의 햅틱 효과가 표면의 형상 또는 표면의 마찰 계수를 변화시키도록 출력될 수 있다. 한 예에서, 하나 이상의 햅틱 효과가 표면 상의 마찰을 변화시키는 데 사용된 정전기력들 및/또는 초음파력들을 생성함으로써 발생된다. 다른 예들에서, 투명한 변형 요소들의 어레이가 스마트 젤을 포함하는 하나 이상의 영역과 같은, 햅틱 효과를 발생하는 데 사용될 수 있다.

일부 예들은 터치-감지 디스플레이(250) 상에 덮어 씌워지거나 혹은 터치-감지 디스플레이(250)에 결합된 햅틱 출력 디바이스들(240, 280)을 포함한다. 햅틱 출력 디바이스들(240, 280)은 터치-감지 디스플레이(250)의 터치-감지 표면에 마찰 또는 변형 효과들을 출력할 수 있다. 일부 예들에서, 시스템의 다른 부분들은 사용자에 의해 접촉될 수 있거나 시스템(200)에 결합된 별도의 터치-감지 입력 디바이스 내에 있을 수 있는 하우징의 부분들과 같은, 그러한 힘들을 제공할 수 있다. 그 전체가 여기에 참조로 포함된, "Systems and Methods for Providing Haptic Effects"라고 하는, 2011년 4월 22일자 출원된, 계류중인 미국 특허 출원 번호 13/092,484는 하나 이상의 햅틱 효과가 발생될 수 있는 방식들을 설명하고 다양한 햅틱 출력 디바이스들(240, 280)을 설명한다.

임의 유형의 입력 합성 방법이 아래의 표 1에 리스트된 합성 예들의 방법을 포함하지만 이로 제한되지 않는 하나 이상의 햅틱 효과 신호들로부터 상호작용 파라미터를 발생하는 데 사용될 수 있다.

도 1b에서, 통신 인터페이스(260)는 프로세서(220)와 통신하고 시스템(200)으로부터 다른 소자들 또는 다른 디바이스들까지의 유선 또는 무선 통신을 제공한다. 예를 들어, 통신 인터페이스(260)는 시스템(200)과 통신 네트워크 간에 무선 통신들을 제공할 수 있다. 일부 예들에서, 통신 인터페이스(260)는 또 하나의 시스템(200)과 같은 하나 이상의 다른 디바이스 및/또는 텔레비전, DVR, 또는 다른 오디오-비주얼 소자와 같은 하나 이상의 다른 디바이스와의 통신들을 제공할 수 있다. 통신 인터페이스(260)는 시스템(200)이 또 하나의 소자, 디바이스, 또는 네트워크와 통신하게 하는 임의의 소자 또는 소자들의 집합일 수 있다. 예를 들어, 통신 인터페이스(260)는 PCI 통신 어댑터, USB 네트워크 어댑터, 또는 이더넷 어댑터를 포함할 수 있다. 통신 인터페이스(260)는 802.11 a, g, b, 또는 n 표준들을 포함하는 무선 이더넷을 사용하여 통신할 수 있다. 한 예에서, 통신 인터페이스(260)는 무선 주파수(RF), 블루투스, CDMA, TDMA, FDMA, GSM, 와이파이, 위성, 또는 다른 셀룰러 또는 무선 기술을 사용하여 통신할 수 있다. 다른 예들에서, 통신 인터페이스(260)는 유선 접속을 통해 통신할 수 있고 이더넷, 토큰 링, USB, 파이어와이어(FireWire) 1394, 광섬유 등과 같은 하나 이상의 네트워크로 통신할 수 있다. 일부 예들에서, 시스템(200)은 단일 통신 인터페이스(260)를 포함한다. 다른 예들에서, 시스템(200)은 2개, 3개, 4개, 또는 그 이상의 통신 인터페이스들을 포함한다.

도 1b에 도시한 예는 또한 힘 센서(290)를 포함하지만, 일부 예들은 힘 센서들 또는 복수의 힘 센서를 포함하지 않을 수 있다. 부가적으로, 힘 센서(290)는 시스템(200)의 다른 소자들과 동일한 소자들 내에 또는 별도의 소자 내에 하우징될 수 있다. 예를 들어, 프로세서(220), 메모리(230), 및 힘 센서(290)는 모두 하우징(210) 내에 포함될 수 있다. 힘 센서(290)는 프로세서(220)와 통신하고 프로세서(220)에 힘 정보를 포함하는 하나 이상의 신호를 송신하도록 구성된다. 이러한 힘 정보는 크기, 위치, 면적, 힘의 변화, 힘의 변화율, 및 다른 유형들의 힘 정보를 포함할 수 있다. 일부 예들에서, 힘 센서(290)는 예를 들어, 가해진 압력 또는 힘을 측정하기 위해 터치-감지 표면 아래에 장착될 수 있는, 부하 셀들, 힘-감지 저항기들(FSR), 또는 양자 터널링 복합재들(QTC)을 포함할 수 있다. 가해진 압력 또는 힘은 또한 손가락 패드의 접촉 면적의 변화들 또는 색에 기초하여 평가될 수 있다. 예를 들어, 프로세서(220)는 터치-감지 디스플레이(250)에 대한 사용자의 손가락 패드의 접촉의 면적을 표시하는 센서 신호를 힘 센서(290)로부터 수신할 수 있다. 프로세서(220)는 접촉 면적에 기초하여 터치-감지 디스플레이(250)에 가해진 힘의 양을 평가할 수 있다(예를 들어, 접촉 면적이 클수록 더 높은 힘을 표시할 수 있다).

일부 예들에서, 힘 센서(290)는 원하는 범위 내에서 힘들을 감지하도록 구성된다. 예를 들어, 힘 센서(290)는 8-비트 이상의 해상도로, 1 내지 200그램-힘의 범위 내에서 연속적으로 힘들을 감지 및 측정하도록 구성된다. 일부 예들에서, 힘 센서(290)는 보다 대략적인 측정들을 제공할 수 있다. 예를 들어, 하나의 적합한 힘 센서(290)는 3개의 값: 힘이 가해지지 않은 것, 낮은 힘, 및 높은 힘을 출력할 수 있다.

더 부가적인 유형들의 힘 센서들(290)이 본 개시내용에 따른 예들에 사용하기에 적합할 수 있다. 예를 들어, 힘 센서(290)는 2개의 스위치를 포함할 수 있다. 제1 스위치는 사용자가 힘 센서(290)에 제1 임계값 위의 힘을 가할 때 작동할 수 있다. 제2 스위치는 사용자가 힘 센서(290)에 제2 임계값 위의 힘을 가할 때 작동할 수 있다. 각각의 스위치는 작동될 때 프로세서(220)에 신호들을 송신할 수 있다. 이 방식으로, 힘 센서(290)는 상이한 양들의 힘을 검출하고 관련된 신호들을 프로세서(220)에 송신할 수 있다. 힘 센서(290)는 임의 수 또는 구성의 힘 레벨에 임의 방식으로 응답하여 작동하는 임의 수 또는 구성의 스위치들을 포함할 수 있다.

일부 예들에서, 시스템(200)은 힘 센서(290)를 포함하지 않을 수 있지만, 의사 힘을 결정할 수 있다. 예를 들어, 터치-감지 표면은 터치-감지 표면과의 접촉에 기초하여 의사-힘 신호를 발생할 수 있다. 한 이러한 예에서의 의사 힘은 터치-감지 표면에 터치하는 도체(예를 들어, 사용자의 손가락)로부터 발생하는 커패시턴스의 양에 기초할 수 있다. 예를 들어, 커패시턴스의 양은 힘의 직접 측정이 아니고 오히려 의사 힘이다. 터치-감지 표면에 의해 제공된 의사 힘은 터치-감지 표면 상의 단일 점에서의 도체에 의한 실제 수직 변위의 측정이 아니고, 오히려 커패시턴스 변화의 크기에 기초한 수직 변위의 평가일 수 있다. 의사 힘은 터치-감지 표면 상에 실제로 가해진 힘의 양을 정확히 나타낼 수 있거나 없을 수 있다. 예를 들어, 터치-감지 표면 상에 사용된 도체(예를 들어, 사용자의 손가락)의 표면이 클수록, 가해진 힘의 양 당 커패시턴스의 변화는 더 크다. 사용자가 손가락의 살집이 있는 부분으로 터치-감지 표면을 강하게 누르면, 손가락에 의해 덮이는 터치-감지 표면 면적의 양은 손가락의 동일한 부분이 가볍게 터치할 때보다 크다. 일부 예들에서, 덮여진 영역, 및 대응하는 의사 힘은 또한 사용자가 손가락의 뼈가 있는 부분으로 강하게 누를 때보다 크다.

일부 예들에서, 추가의 센서들(도시 안됨)이 시스템(200) 내에 포함될 수 있다. 예를 들어, 센서들은 하우징(210) 내에 또는 메모리(230) 및/또는 프로세서(220)를 하우징하는 또 하나의 소자와 별도인 소자 내에 배치될 수 있다. 예를 들어, 웨어러블 센서는 유선 또는 무선 접속을 통해 프로세서(220) 및 메모리(230), 사용자 디바이스, 또는 웨어러블 디바이스와 통신할 수 있다. 일부 예들에서, 이러한 센서들은 주위 조건 또는 센서에 가해진 힘 중 적어도 하나를 나타낼 수 있는, 환경 인자를 감지하도록 구성될 수 있다. 추가의 센서들은 임의 수 또는 유형의 감지 소자들을 포함할 수 있다. 한 예로서, 센서들은 가속도계 또는 자이로스코프를 포함할 수 있다. 센서들의 예들 및 환경 인자들의 비제한적 리스트가 아래에 제공된다:

환경 인자들은 위에 기재된 환경 인자들 중 어느 것 또는 시스템(200)의 디바이스에 가해지거나 향해지는 주위 조건 또는 힘을 나타내는 기타 양들을 포함할 수 있다. 부가적으로, 환경 인자들은 센서로부터 직접 평가될 수 있거나 다른 환경 인자들을 도출하기 위해 디바이스에 의해 처리될 수 있다. 예를 들어, 가속 데이터는 디바이스 배향, 속도 및/또는 움직임의 패턴을 결정하는 데 사용될 수 있다. 추가 예로서, 심박수, 피부 저항, 및 다른 인자들과 같은 생리적 데이터가 디바이스 사용자의 생리적 상태(예를 들어, 깨어 있는 상태, 스트레스받는 상태, 수면 상태, REM 수면 상태 등)를 결정하는 데 사용될 수 있다.

일부 예들에서, 시스템(200)은 마우스, 트랙볼, 트랙패드, 조이스틱, 게임패드, 또는 다른 사용자 인터페이스 디바이스를 포함한다. 프로세서(220), 메모리(230), 힘 센서(290), 및/또는 햅틱 출력 디바이스들(240, 280)은 사용자 인터페이스 디바이스 내에 배치될 수 있거나 그에 결합될 수 있다. 일부 예들에서, 힘 센서(290)는 사용자 인터페이스 디바이스의 하나 이상의 조작기(예를 들어, 트랙볼, 터치-감지 표면, 버튼, 또는 조이스틱)에 가해진 힘의 양을 검출하고 관련된 센서 신호를 프로세서(220)에 송신하도록 구성될 수 있다.

일부 예들에서, 시스템(200)은 사용자가 착용하도록 구성된다. 예를 들어, 시스템(200)은 손목시계, 다른 귀금속, 장갑들 등과 같은 웨어러블 디바이스 내에 매립되거나 그에 결합될 수 있다. 한 예에서, 시스템(200)은 장갑의 손가락 끝들에 결합된 하나 이상의 힘 센서(290)를 포함할 수 있다. 사용자는 장갑을 착용할 수 있고 테이블, 벽, 또는 책상 등과 같은 표면과 상호작용할 수 있다. 시스템(200)은 힘 센서들(290)을 통해, 표면과 상호작용하는 사용자를 검출하고 관련된 센서 신호를 프로세서(220)에 송신할 수 있다. 예를 들어, 시스템(200)은 디스플레이 상에 (가시 또는 비가시) 가상 물체를 출력할 수 있고, 또는 가상 물체를 (예를 들어, 투사기를 통해) 표면 상으로 투사할 수 있다. 시스템(200)은 가상 물체와 상호작용하기 위해 특정한 위치에서 및/또는 특정한 양의 힘으로 디스플레이 또는 표면과 접촉하는 사용자를 검출할 수 있다. 사용자 상호작용에 기초하여, 시스템(200)은 (디스플레이 상에 출력되거나 표면 상에 투사된) GUI를 조작하고, 시스템 상태들 또는 모드들 간에 전환하고, 사용자 인터페이스 레벨들 간에 전환하고/하거나, 관련된 햅틱 효과를 출력할 수 있다.

예를 들어, 사용자가 상이한 양들의 힘으로 테이블에 대해 손가락을 누를 때, 시스템(200)은 사용자 인터페이스 레벨들 간에, 또는 탐색 모드와 조작 모드 간에 전환할 수 있다. 또 하나의 예로서, 시스템(200)은 사용자 상호작용에 기초하여 햅틱 출력 디바이스들(240, 280)을 통해 햅틱 효과를 출력할 수 있다. 햅틱 출력 디바이스들(240, 280)은 웨어러블 디바이스, 디스플레이, 표면, 또는 이들의 어떤 조합에 결합될 수 있다. 예를 들어, 웨어러블 디바이스는 장갑의 손가락 끝에 결합된 햅틱 출력 디바이스들(240, 280)을 포함할 수 있다. 웨어러블 디바이스는 햅틱 출력 디바이스들(240, 280)을 통해 사용자의 손가락 끝들에 햅틱 효과들을 출력할 수 있다. 또 하나의 예로서, 시스템(200)은 디스플레이 또는 표면에 결합된 햅틱 출력 디바이스(280)에 (예를 들어, 무선으로) 햅틱 신호들을 송신할 수 있게 되어, 디스플레이 또는 표면이 각각 햅틱 효과(예를 들어, 진동)를 출력하게 한다.

이제 도 2a를 참조하면, 도 2a는 본 개시내용의 한 예에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법(300)을 도시한다. 도 2a는 도 1b에 도시한 시스템(200)에 의해 실행되는 소프트웨어 애플리케이션에 대해 설명되지만; 여기에 개시된 방법들은 도 1b에 도시한 디바이스 만에 의한 실행으로 제한되지 않고, 오히려, 본 개시내용에 따른 임의의 적합한 시스템에 의해 실행될 수 있다.

방법(300)은 시스템(200)이 제1 임계값을 결정하는 블록(310)에서 시작된다. 제1 임계값을 결정하기 위해서, 시스템(200)은 소프트웨어 애플리케이션 내에 인코드된 디폴트 값을 사용할 수 있고, 하드 디스크 내에 저장된 구성 파일로부터와 같이, 컴퓨터-판독가능 매체로부터 제1 임계값을 판독할 수 있고, 통신 네트워크를 통해 원격 디바이스로부터 제1 임계값을 수신할 수 있고, 또는 사용자가 원하는 임계값을 입력하는 것에 의한 것과 같이, 사용자 선호 설정으로부터 제1 임계값을 수신할 수 있다. 일부 예들에서, 제1 임계값은 시스템(200)이 제1 임계값에 대한 초기 값을 사용하고, 사용 패턴들에 기초하여, 제1 임계값을 시간에 따라 위로 또는 아래로 조정한다는 점에서 적응적일 수 있다. 예를 들어, 시스템(200)은 사용자가 시간에 따라 디바이스를 어떻게 사용하는지에 기초하여 제1 임계값을 위로 조정할 수 있다.

일부 예들에서, 시스템(200)은 히스테레틱 제1 임계값을 결정할 수 있다. 예를 들어, 도 4에 도시한 예에서, 제1 임계값은 낮은 힘과 높은 힘의 2개의 상이한 힘 양들을 포함한다. 상이한 힘들이 시스템(200)의 모드에 따라 사용된다. 도 4에서 알 수 있는 바와 같이, 시스템(200)은 탐색 모드 또는 조작 모드에 있을 수 있다. 시스템(200)이 탐색 모드에 있는 동안, 제1 임계값은 도 4에서 "조작 임계값"으로서 식별된, 높은 힘 값에 대응한다. 그러나, 시스템(200)이 조작 모드에 있는 동안, 제1 임계값은 "탐색 임계값"으로서 식별된, 낮은 힘 값에 대응한다. 이러한 히스테레틱 임계값은 사용자에게 탐색 모드로부터 조작 모드로 전이하기 위해 상당한 힘을 가하라고 요구하지만, 사용자가 탐색 모드로 돌아오지 않고서, 사용된 힘을 보다 편한 레벨로 감소하게 하는 데 사용될 수 있다. 일부 예들에서, 히스테레틱 임계값은 50그램-힘의 제1 힘 값 및 100그램-힘의 제2 힘 값을 포함할 수 있다.

일부 예들에서, 제1 임계값은 힘 레벨과 기간 둘 다를 포함할 수 있다. 이러한 예에서, 시스템(200)은 힘 임계값에 대한 사용자의 힘 레벨을 체크할 것이지만, 시스템(200)은 제1 임계값이 사용자가 요구된 기간 동안 힘 레벨을 유지한 후에 충족되었거나 초과되었다는 것을 단지 결정할 것이다. 유사하게, 제1 임계값을 만족시킨 후에, 시스템(200)은 또한 그 임계값 아래로 다시 떨어지는 것을 표시하기 전에, 힘이 그 기간 동안 제1 임계값 레벨 아래로 떨어지기를 요구할 수 있다. 이러한 조건들은 의도하지 않은 제스처들에 기초하여 사용자 좌절을 감소시키는 보다 친숙한 사용자 인터페이스를 제공할 수 있다. 제1 임계값이 결정되고 나서, 방법(300)은 블록(320)으로 진행한다.

블록(320)에서, 시스템(200)은 힘-감지 표면(예를 들어, 터치-감지 표면 또는 힘-감지 버튼)과의 사용자 상호작용(예를 들어, 접촉)을 표시하고, 제1 힘 및/또는 제1 위치를 포함하는 하나 이상의 신호를 수신한다. 예를 들어, 사용자가 터치-감지 디스플레이(250)를 터치함에 따라, 힘-감지 표면은 사용자 상호작용의 위치 및 힘의 양을 표시하는 하나 이상의 신호를 제공할 수 있다. 일부 예들에서, 위에 논의된 바와 같이, 시스템(200)은 사용자 상호작용의 위치를 표시하는 신호를 제공하는 터치-감지 디스플레이(250), 및 힘 정보를 제공하는 별도의 힘 센서(290)를 포함할 수 있다. 그러므로, 다중 신호들이 본 개시내용의 일부 예들에 따라 수신되고 사용될 수 있다. 일부 예들에서, 단일 신호는 위치 정보와 힘 정보 둘 다를 포함할 수 있다. 하나 이상의 신호가 수신된 후에, 방법(300)은 블록(330)으로 진행한다.

블록(330)에서, 시스템(200)은 사용자 상호작용이 디스플레이 스크린(예를 들어, 터치-감지 디스플레이(250)) 상에 디스플레이된 물체와 대응하는지를 결정한다. 예를 들어, 시스템(200)은 사용자 입력 디바이스에 의해 제어가능한 가상 커서의 위치가 디스플레이 스크린 상에 디스플레이된 물체와 대응하는지를 결정할 수 있다. 일부 예들에서, 시스템(200)은 사용자 상호작용이 제1 위치에 기초하여 물체에 대응하는지를 결정할 수 있다. 예를 들어, 디스플레이 스크린이 복수의 아이콘 및 위젯을 갖는 홈 스크린을 나타내는 경우에, 프로세서(220)는 사용자 상호작용이 아이콘 또는 위젯에 대응하는 위치에 있는지를 결정한다. 일부 예들에서, 다른 물체들이 시스템(200)에 의해 디스플레이될 수 있다. 예를 들어, 시스템(200)은 도 3에 도시한 기후 제어 시스템(402)과 같은, 디스플레이 스크린 상에 차량용 사용자 인터페이스 시스템에 대한 제어들을 디스플레이할 수 있다. 이러한 예에서, 시스템(200)은 사용자 상호작용이 "A/C" 제어 또는 디프로스터 제어(defroster control)와 같은, 디스플레이 스크린 상에 디스플레이된 제어에 대응하는지를 결정할 수 있다. 도 3에 도시한 게임(404)과 같은, 터치-기반 게임에 대응하는 또 하나의 예에서, 시스템(200)은 사용자 상호작용이 서핑 보드 상의 개를 조작하기 위한 제어들 중 하나에 대응하는지를 결정할 수 있다. 다른 물체들은 도 3에 도시한 것들과 같은, 라이터(406)의 이미지, 돌(408)의 이미지, 또는 깃털(410)의 이미지를 포함할 수 있다. 이러한 이미지들은 또한 물체와 상호작용하는 것이 요구되는 압력 또는 힘의 감각을 전달할 수 있다. 예를 들어, 깃털보다는 돌과 상호작용하는 데 더 많은 힘이 요구될 수 있거나, 또는 상이한 힘들이 라이터에서와 같이, 상이한 결과들을 트리거할 수 있다는 예상을 사용자가 할 수 있다. 시스템(200)이 사용자 상호작용이 디스플레이 스크린 상의 물체에 대응한다고 결정하면, 방법(300)은 블록(340)으로 진행하고, 그렇지 않으면 방법(300)은 블록(320)으로 복귀한다.

블록(340)에서, 시스템(200)은 제1 힘을 제1 임계값과 비교하고 제1 힘이 제1 임계값을 충족시키거나 초과하는지를 결정한다. 제1 힘이 제1 임계값을 충족시키거나 초과하면, 방법(300)은 블록(350)으로 진행한다. 위에 논의된 바와 같이, 히스테레틱 임계값들이 이용되는 일부 예들에서, 시스템(200)은 시스템(200)의 상태에 따라 제1 임계값을 위해 상이한 값을 사용할 수 있다. 도 2c에 도시한 상태도(302)를 참조하면, 시스템(200)이 탐색 모드(380)에 있으면, 제1 임계값은 제1 값에 대응할 수 있는 반면, 시스템(200)이 조작 모드(354)에 있으면, 제1 임계값은 제2 값에 대응할 수 있다. 또한, 일부 예들에서, 임계값 결정은 또한 힘이 최소 기간 동안 제1 임계값을 충족시키거나 초과하여야(또는 그 아래로 떨어져야) 하는 타이밍 성분을 포함할 수 있다. 그렇지 않으면, 방법(300)은 블록(342)으로 진행한다.

블록(342)에서, 시스템(200)은 햅틱 효과를 출력할지를 결정한다. 이 예에서, 시스템(200)은 사용자 상호작용이 물체에 대응하는 위치에 있으면 햅틱 효과를 출력하고, 그러므로 블록(344)으로 진행할 것이다. 그러나, 사용자가 디스플레이된 물체와 상호작용하면, 일부 예들에서 방법은 블록(320)으로 복귀하여 추가의 사용자 상호작용 신호들을 수신한다. 일부 예들에서, 방법(300)은 블록(310)으로 복귀한다. 방법(300)은 블록(310)으로 복귀하여 적응적 제1 임계값의 경우에서와 같이, 디바이스의 사용에 기초하여 제1 임계값을 재결정할 수 있다.

블록(350)에서, 시스템(200)은 제1 햅틱 출력 디바이스에 제1 햅틱 신호를 출력하고, 제1 햅틱 신호는 제1 햅틱 효과를 발생하도록 구성된다. 도 2a에 도시한 예에서, 제1 햅틱 효과는 제1 임계값이 도달되었다는 것을 사용자에게 표시하도록 구성된다. 일부 예들에서, 제1 임계값에 도달하거나 초과할 때, 시스템(200)은 "탐색" 모드로부터 "조작" 모드로 전이한다. 그러므로, 햅틱 효과는 단순히 임계값이 충족되었다는 것을 표시하기보다는, 시스템(200)의 동작 모드들의 변화 또는 접촉된 물체의 활성화를 사용자에게 표시하도록 구성된다. 시스템(200)이 이미 탐색 모드에 있었다면, 시스템(200)은 햅틱 효과가 전이를 표시하기 위해 출력되지 않아야 하는 것을 결정할 수 있지만, 그것은 사용자 상호작용(예를 들어, 사용자의 접촉)이 터치-감지 디스플레이(250) 상에 디스플레이된 물체에 대응하는 경우에 햅틱 효과를 여전히 출력할 수 있다. 일부 예들에서, 햅틱 효과는 대신에 단지 사용자가 물체를 조작하기 시작했다는 것을 표시하도록 구성될 수 있다. 햅틱 효과 신호를 출력한 후에, 방법(300)은 블록(360)으로 진행한다.

블록(360)에서, 시스템(200)은 사용자 상호작용에 기초하여 물체에 대해 취할 액션을 결정한다. 예를 들어, 물체가 애플리케이션에 대응하는 아이콘이면, 시스템(200)은 액션이 애플리케이션을 시작하는 것이라는 것을 결정할 수 있다. 대안적으로, 시스템(200)은 사용자가 아이콘을 이동하려고 시도한다는 것을 결정할 수 있고 사용자 상호작용(예를 들어, 접촉 위치)의 이동에 기초하여 이동될 아이콘을 "픽업"할 수 있다. 나중 시간에, 힘이 제1 임계값 아래로 떨어지면, 시스템(200)은 사용자가 아이콘을 드롭한다는 것을 결정할 수 있고, 사용자 상호작용 위치에 대응하는 위치에 아이콘을 남길 수 있다.

도 3에 도시한 차량용 기후 제어 시스템(402)에서, 시스템(200)은 액션이 버튼의 상태를 변경하거나, 또는 새로운 옵션을 선택하거나 온도 설정을 하거나 에어 컨디셔닝 제어를 활성화/비활성화하는 것과 같은 제어를 위한 설정을 하는 것을 포함한다는 것을 결정할 수 있다. 도 3에 도시한 게이밍 애플리케이션에서, 시스템(200)은 서핑 보드 상의 개, 또는 서핑 보드 자체의 배향을 변경하기 위한 것과 같이, 게임에 대응하는 액션을 결정할 수 있다. 시스템(200)이 취할 액션을 결정한 후에, 방법(300)은 블록(370)으로 진행한다.

블록(370)에서, 시스템(200)은 액션을 실행한다. 위에 논의된 바와 같이, 애플리케이션들을 시작하는 것, 제어들의 설정들, 및/또는 게이밍 애플리케이션들 내로의 입력들을 변경하는 것과 같은 액션들이 취해질 액션을 결정한 것에 응답하여 시스템(200)에 의해 실행될 수 있다.

도 2c는 도 2a에 도시한 방법(300)에 대응하는 상태도(302)를 도시한다. 알 수 있는 바와 같이, 상태도는 시스템(200)에 대한 동작의 2개의 상태, 탐색 모드(380) 및 조작 모드(354)를 나타낸다. 초기에, 시스템(200)은 탐색 모드(380)에 있으며, 여기서 사용자는 다양한 위치들에서 디스플레이 스크린에 접촉할 수 있지만, 제1 임계값을 초과하지 않으면, 사용자의 접촉들은 시스템(200)에 의해 취해질 임의의 액션들을 트리거하지 않는다. 오히려, 시스템(200)은 사용자의 접촉이 디스플레이 스크린 상에 디스플레이된 물체에 대응할 때 햅틱 효과들을 출력한다. 그러나, 사용자의 접촉이 제1 임계값을 충족시키거나 초과하면, 시스템(200)은 조작 모드(354)로 전이하고, 여기서 물체에 대응하는 사용자의 접촉들이 물체에 대한 액션을 트리거할 수 있다. 또한, 조작 모드(354)에 있으면, 시스템(200)은 접촉력이 더 이상 제1 임계값을 만족시키지 않는 경우에 탐색 모드(380)로 복귀할 수 있다. 일부 예들에서, 시스템(200)이 상태들 사이에서, 탐색 모드(380)로부터 조작 모드(354)로, 또는 조작 모드(354)로부터 탐색 모드(380)로 전이할 때 시스템(200)은 햅틱 효과들을 출력할 수 있다. 이러한 전이 햅틱 효과들은 사용자에게 동작 모드의 변화를 알리고 보다 직관적인 힘-기반 인터페이스를 제공하는 데 사용될 수 있다. 다른 예들에서, 시스템(200)이 상태들 사이에서 변화하기 바로 전에 - 예를 들어, 접촉력이 제1 임계값에 근접할 때 시스템(200)은 햅틱 효과들을 출력할 수 있다. 이것은 사용자에게 시스템(200)이 상태들을 변화하려는 것을 표시할 수 있어서, 사용자는 상태들을 무심코 변화하는 것을 피할 수 있다.

이제 도 2b를 참조하면, 도 2b는 도 1b에 도시한 시스템(200)에 의해 실행되는 소프트웨어 애플리케이션에 대해 설명되지만; 여기에 개시된 방법들은 도 1b에 도시한 디바이스 만에 의한 실행으로 제한되지 않고, 오히려, 본 개시내용에 따른 임의의 적합한 시스템에 의해 실행될 수 있다.

도 2b의 방법(304)은 블록(309)에서 시작된다. 블록(309)에서, 시스템(200)은 제1 임계값을 결정한다. 제1 임계값을 결정하는 것의 설명은 도 2a의 블록(310)에 대해 위에 제공되고 그 설명은 여기에 참조로 포함된다. 또한, 시스템(200)은 또한 제1 임계값보다 큰 제2 임계값을 결정한다. 이와 관련하여, 제2 임계값은 제2 임계값의 크기의 절대값이 제1 임계값의 크기의 절대값보다 크면 제1 임계값보다 크다. 일부 예들에서, 제2 임계값은 히스테레틱 임계값을 포함할 수 있다. 제2 임계값은 또한 기간을 포함할 수 있다. 제1 및 제2 임계값들을 결정한 후에, 방법(304)은 블록(320)으로 진행한다.

블록들(320-344)의 설명들은 위의 도 2a와 동일하고, 그 설명은 여기에 참조로 포함된다. 그러나, 블록(340)에서 제1 힘을 제1 임계값과 비교한 후에, 방법(304)은 블록(351)으로 진행한다.

블록(351)에서, 시스템(200)은 제1 힘을 제2 임계값과 비교한다. 제1 힘이 제2 임계값보다 적으면, 방법(304)은 블록(350)으로 진행하다. 그렇지 않으면, 방법(304)은 블록(352)으로 진행한다.

블록들(350, 360, 및 370)에서, 참조로 여기에 포함된 도 2a와 관련하여 논의된 바와 같이, 시스템(200)은 햅틱 효과 신호를 출력하고, 사용자 상호작용에 기초하여 물체에 대해 취할 액션을 결정하고, 각각 액션을 실행한다. 방법(304)은 다음에 블록(320)으로 진행한다.

블록(352)에서, 시스템(200)은 햅틱 효과 신호를 출력한다. 이 단계는 도 2a와 관련하여 위에 논의된 블록(350)과 실질적으로 유사하게 수행될 수 있다. 햅틱 효과 신호를 출력한 후에, 방법(304)은 블록(361)으로 진행한다.

블록(361)에서, 시스템(200)은 액션을 결정한다. 이 단계는 도 2a와 관련하여 위에 논의된 블록(350)과 실질적으로 유사하게 수행될 수 있다. 액션을 결정한 후에, 방법(304)은 블록(362)으로 진행한다.

블록(362)에서, 시스템(200)은 취해질 액션을 수정한다. 예를 들어, 결정된 액션이 아이콘에 대응하는 애플리케이션을 시작하는 것이라면, 시스템(200)은 대신에 사용자 상호작용(예를 들어, 커서 위치 또는 사용자의 접촉)으로부터 멀리 아이콘을 이동시키고 진동 햅틱 효과를 제공하기 위해 액션을 수정하기로 결정할 수 있다. 도 3을 다시 참조하면, 사용자가 기후 제어 시스템(402)과 상호작용하고 있고 A/C 버튼에 접촉하면, 시스템(200)은 액션이 A/C를 인에이블시키고 또한 온도 설정을 최소 온도 설정으로 변경하는 것이라는 것을 결정할 수 있다. 또는 사용자가 게임(404)과 상호작용하고 있다면, 시스템(200)은 액션이 개가 물에 빠지게 하기 위해 서핑 보드를 뒤집도록 수정되어야 하는 것을 결정할 수 있다. 다른 예들에서, 결정된 액션은 상이한 방식들로 수정될 수 있다. 액션을 수정한 후에, 방법(304)은 블록(372)으로 진행한다.

블록(372)에서, 시스템(200)은 수정된 액션을 실행한다. 이 단계는 도 2a와 관련하여 논의된 블록(370)과 실질적으로 유사하게 수행될 수 있다.

도 2c는 또한 도 2b에 도시한 방법(304)에 대응하는 상태도(306)를 도시한다. 상태도(306)는 탐색 모드(380), 조작 모드(354), 및 수정된 조작 모드(364)인, 시스템(200)에 대한 동작의 3개의 모드 또는 상태를 나타낸다. 초기에, 시스템(200)은 탐색 모드(380)에 있으며, 여기서 사용자는 다양한 위치들에서 스크린에 접촉할 수 있지만, 제1 임계값을 초과하지 않으면, 사용자의 접촉들은 시스템에 의해 취해질 임의의 액션들을 트리거하지 않는다. 오히려, 시스템(200)은 사용자의 접촉이 스크린 상에 디스플레이된 물체에 대응할 때 햅틱 효과들을 출력한다. 그러나, 사용자의 접촉이 제1 임계값을 충족시키거나 초과하면, 시스템(200)은 조작 모드(354)로 전이하고, 여기서 물체에 대응하는 사용자의 접촉들이 물체에 대한 액션을 트리거할 수 있다. 사용자의 임계값이 다음에 더 제2 임계값을 충족시키거나 초과하면, 시스템(200)은 방법(304)과 관련하여 위에 설명된 것과 같이, 수정된 조작 모드(364)로 전이한다. 또한, 조작 모드(354)에 있으면, 시스템(200)은 접촉력이 더 이상 제1 임계값을 만족시키지 않는 경우에 탐색 모드(380)로 복귀할 수 있다. 마찬가지로, 수정된 조작 모드(364)에 있으면, 시스템(200)은 접촉력이 더 이상 제2 임계값을 만족시키지 않는 경우에 조작 모드(354)로 복귀할 수 있다.

이제 도 4를 참조하면, 도 4는 탐색 모드 및 조작 모드인 2개의 모드를 이용하는 예에서 시간에 따라 힘-감지 표면(예를 들어, 힘-감지 버튼, 마우스, 트랙볼, 조이스틱, 또는 터치-감지 표면)에 가해진 사용자의 힘의 그래프를 도시한다. 도 2a에 도시한 방법(300)과 관련하여 도 4에 도시한 그래프를 고려하여, 이 예에서의 도 2a의 제1 임계값은, 제1 임계값이 하나의 값은 시스템(200)이 탐색 모드에 있는 동안 사용되는 값이고, 제2 값은 시스템(200)이 조작 모드에 있는 동안 사용되는 값인 2개의 값을 갖는 히스테레틱 임계값을 포함한다. 이러한 예에서, 사용자는 시스템(200)이 조작 모드로 전이한 점에서, 가해진 힘이 제1 임계값에 대한 2개의 값 중 더 높은 것을 초과할 때까지 탐색 모드를 사용할 수 있다. 사용자가 시스템(200)과 계속 상호작용함에 따라, 사용자의 접촉의 힘은 변화하여 제1 임계값의 2개의 값 중 더 낮은 것 위로 유지하면서, 제1 임계값의 2개의 값 중 더 높은 것 아래로 떨어질 수 있다. 그러므로, 사용자는 탐색 모드로부터 조작 모드로의 전이를 트리거시킨 임계값의 상한 범위 아래로 떨어지는 접촉력에도 불구하고 조작 모드에 남을 것이다.

이제 도 5a를 참조하면, 도 5a는 본 개시내용의 한 예에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법(500)을 도시한다. 도 5b는 도 5a의 방법(500)과 관련된 상태도(502)를 도시한다. 도 5a는 도 1b에 도시한 시스템(200)에 의해 실행되는 소프트웨어 애플리케이션에 대해 설명되지만; 여기에 개시된 방법들은 도 1b에 도시한 디바이스 만에 의한 실행으로 제한되지 않고, 오히려, 본 개시내용에 따른 임의의 적합한 시스템에 의해 실행될 수 있다.

도 5a의 방법은 다중 층들을 갖는 사용자 인터페이스 내에 힘-기반 내비게이션을 제공하기 위해 유리하게 이용될 수 있다. 예를 들어, 일부 예시적인 예들과 관련하여 위에 논의된 바와 같이, 지도 애플리케이션을 위한 사용자 인터페이스는 지도의 동일한 부분의 다중의 상이한 뷰들을 가질 수 있다. 한 예에서, 지도는 도시 지도 층, 도로 지도 층, 및 지형 지도 층을 제공할 수 있다. 사용자가 힘-감지 표면(예를 들어, 터치-감지 디스플레이(250)) 상의 접촉력을 증가시킴에 따라, 사용자 인터페이스는 접촉력에 기초하여 사용자 인터페이스의 층들 간에 전이할 수 있다. 이것은 사용자가 기능을 수행하기 위해 메뉴 옵션들 또는 컨트롤들을 찾을 필요 없이 사용자가 상이한 층들로 쉽게 그리고 이음매 없이 전이하게 할 수 있다. 일부 예들에서, 사용자는 어떤 정보가 사용자 인터페이스의 각 층에서 출력되는가를 맞춤화할 수 있다. 예를 들어, 사용자는 도시 지도, 도로 지도, 또는 지형 지도가 사용자 인터페이스의 특정한 층에서 출력되는지를 맞춤화할 수 있다.

또한, 상이한 층들로 전이함으로써, 시스템(200)은 상이한 세트들의 햅틱 감각들을 제공할 수 있다. 예를 들어, 상이한 유형들의 시각 정보를 갖는 다중 층들을 갖는 맵핑 애플리케이션에서, 시스템(200)은 상이한 세트들의 햅틱 정보 간에 전환할 수 있거나, 보다 큰 라이브러리의 햅틱 효과들로부터 상이한 햅틱 효과들을 선택할 수 있다. 예를 들어, 맵핑 애플리케이션이 제1 층, 예를 들어, 도시 지도 층에 관한 정보를 디스플레이하고 있을 때, 시스템(200)은 사용자가 힘-감지 표면을 통해 (예를 들어, 터치-감지 디스플레이(250) 상의 위치에 접촉함으로써 또는 커서를 통해) 지도 상에 나타난 가상 도시와 상호작용할 때 햅틱 효과들을 제공할 수 있다. 이러한 햅틱 효과는 ESF에 의해 제공되는 것과 같이 증가된 마찰을 포함할 수 있거나, 액추에이터에 의해 출력된 펄스 진동을 포함할 수 있다. 예를 들어, 진동의 세기, 또는 증가된 마찰을 갖는 영역의 크기는 도시의 인구 또는 도시의 지리적 크기에 따라 변화할 수 있다.

일부 예들에서, 시스템(200)은 사용자에게 층에 관한 정보를 제공하도록 구성되는 햅틱 효과들을 출력할 수 있다. 예를 들어, 시스템(200)은 층 수에 대응하는 많은 진동 펄스를 출력할 수 있다. 사용자는 펄스들을 인지할 수 있고 예를 들어, 입력 디바이스 또는 디스플레이 상에 시각적으로 집중하지 않고서, 사용자가 상호작용하는 사용자 인터페이스의 층이 어떤 것인지 또는 시스템(200)이 어떤 상태에 있는지를 결정할 수 있다. 이것은 특히 시스템(200)이 차 안에 있는 경우 유리할 수 있으므로, 사용자는 도로에 집중할 수 있다. 또 하나의 예로서, 시스템(200)은 가용한 사용자 인터페이스 레벨들의 수에 관한 정보를 사용자에 제공하도록 구성되는 햅틱 효과들을 출력할 수 있다. 예를 들어, 사용자가 물체와 상호작용하기 위해 입력 디바이스를 사용할 때, 시스템(200)은 사용자가 상호작용할 수 있는 사용자 인터페이스 레벨들의 수에 대응하는 많은 진동 펄스를 출력할 수 있다. 이것은 사용자에게 일부 예들에서, 사용자가 그렇지 않으면 알 수 없는 사용자 인터페이스에 관한 정보를 제공할 수 있다.

사용자가 힘-감지 표면에 가해지는 힘을 증가시키면, 시스템(200)은 도로 지도 층에 대응할 수 있는, 맵핑 애플리케이션의 제2 층으로 전이한다. 이러한 예에서, 시스템(200)은 사용자의 접촉이 도로에 대응할 때 ESF 햅틱 효과들을 출력할 수 있다. 또한, 시스템(200)은 사용자가 도로들을 촉각으로 추적하게 하는 도로들의 형상, 또는 사용자가 맵핑 애플리케이션과의 보다 풍부하거나 보다 직관적인 상호작용을 경험할 수 있게 하는 도로의 유형(비포장 도로, 도시 거리, 주립 고속도로, 주간(interstate) 고속도로)에 대응하는 햅틱 효과들을 발생할 수 있다. 일부 예들에서, 시스템은 제2 층으로의 전이를 따르는 시각 디스플레이 및 햅틱 효과들 둘 다를 변경할 수 있거나, 시각 디스플레이는 변경되지 않은 채로 남길 수 있지만, 제2 층과 관련된 효과들을 제공하기 위해 햅틱 효과들을 변경한다. 그러므로, 사용자는 지역의 위성 지도를 계속 볼 수 있지만, 더 강하게 누름으로써 도시들을 느끼는 것으로부터 상이한 도로들을 느끼는 것으로 전이할 수 있다.

사용자가 다시 힘-감지 표면에 가해지는 힘을 증가시키면, 시스템(200)은 지도의 디스플레이된 부분에 대한 지형의 시각적 표현을 제공하기 위해 제3 층으로 전이한다. 시스템(200)은 다음에 상이한 유형들의 디스플레이된 지형에 대응하는 햅틱 효과들을 제공한다. 예를 들어, 시스템(200)은 나무들을 표시하기 위해 날카롭거나 가시로 뒤덮인 것으로 느끼게 하도록 힘-감지 표면의 표면을 변형할 수 있고, 대초원들 또는 개방된 공간들은 매끄럽게 느끼게 하기 위해 감소된 마찰을 가질 수 있다. 언덕들 또는 산들과 같은 다른 특징들은 변화하는 크기의 범프들을 사용함으로써, 또는 상이한 주파수들이거나 상이하게-시간이 정해진 펄스들을 갖는 진동들을 출력함으로써와 같이 햅틱으로 디스플레이될 수 있다. 또한, 그리고 위에 논의된 바와 같이, 일부 예들에서, 시스템은 시각 디스플레이를 변화되지 않은 채로 남길 수 있지만, 제3 층과 관련된 효과들을 제공하기 위해 햅틱 효과들을 변화시킬 수 있다. 그러므로, 사용자는 지역의 위성 지도를 계속 볼 수 있지만, 더 강하게 누름으로써, 상이한 도로들을 느끼는 것으로부터 지도 상에 디스플레이된 다양한 유형들의 지형을 느끼는 것으로 전이할 수 있다.

또 다른 예들은 보다 많거나 적은 수의 층들을 포함할 수 있고, 사용자에 의해 선택된 층에 기초하여, 상이한 햅틱 효과들, 또는 상이한 햅틱 출력 디바이스들 또는 햅틱 출력 디바이스들의 조합들을 사용할 수 있다.

또 하나의 예에서, 이러한 층을 이룬 사용자 인터페이스는 드래프팅 과정에서 도움을 주도록 사용자 인터페이스 큐들을 노출하기 위해 드로잉 애플리케이션에서 이용될 수 있다. 예를 들어, 힘-감지 표면 상의 힘의 양을 증가시킴으로써, 사용자 인터페이스는 수평 라인들, 정렬 그리드들, 투사 라인들과 같은 보조 기구들을 디스플레이할 수 있거나, CAD 시스템에서 그렇지 않으면 드로잉 내에서 사용자에 "더 가까운" 물체들에 의해 가려지는 다른 물체들을 노출하기 위해 전경 물체들의 층들을 벗길 수 있다. 또 하나의 예에서, 사용자는 또한 CT 스캔들 또는 MRI들과 같은 의료 절차들로부터 발생한 3차원 스캔들과 같은, 3차원 영상들의 상이한 층들을 통해 내비게이트할 수 있다.

또 하나의 예는 다층 또는 3차원 사용자 인터페이스를 포함할 수 있다. 예를 들어, 사용자 인터페이스는 애플리케이션들에 대응하는 타일된 세트의 아이콘들로서 디스플레이될 수 있지만, 사용자 인터페이스의 보다 깊은 "평면들" 또는 층들 내에 추가의 아이콘들을 디스플레이한다. 이들 추가의 층들에 액세스하기 위해, 사용자는 힘-감지 표면 상의 힘을 증가시킬 수 있다. 사용자가 보다 깊은 층에 액세스하고 나서, 사용자는 힘-감지 표면 상의 힘을 감소시킬 수 있고 새로운 층에 남거나, 힘-감지 표면 상의 힘을 더 감소시키어 이전의 층으로 복귀할 수 있다.

또 다른 예는 다층의 "원형" 사용자 인터페이스를 포함할 수 있다. 예를 들어, 맵핑 애플리케이션을 위한 사용자 인터페이스는 3개의 층: 도시 층, 도로 층, 및 지형 층을 가질 수 있다. 사용자가 힘-감지 표면에 임계값을 초과하는 양의 힘을 가할 때마다, 시스템은 다음 층으로 전이할 수 있다. 마지막 층에 도달할 때, 사용자가 임계값을 초과하는 양의 힘을 가하면, 시스템은 제1 층으로 다시 전이할 수 있다. 예를 들어, 맵핑 애플리케이션을 위한 사용자 인터페이스는 (예를 들어, 디폴트로) 도시 층을 출력할 수 있다. 사용자는 도로 층으로 순환하기 위해 임계값을 초과하는 양의 힘을 가할 수 있다. 사용자는 지형 층으로 순환하기 위해 임계값을 초과하는 양의 힘을 다시 가할 수 있다. 사용자가 다시 임계값을 초과하는 양의 힘을 가하면, 시스템은 도시 층으로 다시 순환할 수 있다. 이 방식으로 사용자는 임계값을 초과하는 양의 힘을 가함으로써 사용자 인터페이스 층들을 통해 순환 또는 전이할 수 있다.

도 5의 방법(500)은 시스템(200)이 제1 및 제2 임계값들을 결정하는 블록(510)에서 시작된다. 제1 및 제2 임계값들을 결정하는 것의 설명은 도 2b의 블록(309)에 대해 위에 제공되고 그 설명은 여기에 참조로 포함된다. 시스템(200)이 제1 및 제2 임계값들을 결정한 후에, 방법(500)은 블록(520)으로 진행한다.

블록(520)에서, 시스템(200)은 힘-감지 표면과의 사용자 상호작용을 표시하고, 제1 힘 및/또는 제1 위치를 포함하는 하나 이상의 신호를 수신한다. 힘-감지 표면은 프로세서-기반 디바이스와 통신할 수 있고, 프로세서-기반 디바이스는 디스플레이 스크린과 통신할 수 있고 복수의 층을 갖는 그래픽 사용자 인터페이스(GUI)를 제공한다. 디스플레이 스크린은 GUI의 제1 층을 디스플레이할 수 있다.

블록(530)에서, 시스템(200)은 제1 힘을 제1 임계값과 비교한다. 제1 힘이 제1 임계값을 충족시키거나 초과하면, 방법은 블록(540)으로 진행한다. 그렇지 않으면, 방법은 블록(520)으로 복귀한다.

블록(540)에서, 시스템(200)은 GUI의 제2 층이 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 신호를 발생하고, 제2 층이 디스플레이되게 하기 위한 신호를 송신한다. 제2 층으로 변경한 후에, 추가의 층들이 있으면, 방법은 블록(550)으로 진행한다.

블록(550)에서, 시스템(200)은 제1 힘을 제2 임계값과 비교한다. 제1 힘이 제2 임계값을 충족시키거나 초과하면, 방법은 블록(560)으로 진행한다. 그렇지 않으면, 시스템은 블록(555)에 도시된 바와 같이 제2 층에 남는다.

블록(560)에서, 시스템(200)은 GUI의 제3 층이 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 신호를 발생하고, 제3 층이 디스플레이되게 하기 위한 신호를 송신한다.

일부 예들에서 3개보다 많은 층이 이용될 수 있다. 일부 이러한 예들에서, 추가의 임계값들이 추가 층들로의 전이들을 트리거하는 데 사용될 수 있다.

도 5b는 도 5a에 도시한 방법(500)에 대응하는 상태들 및 상태들 간의 전이들을 도시한 상태도(502)를 도시한다. 상태도(502)는 시스템(200)의 GUI에 대한 3개의 상이한 층: 층 1 상태(532), 층 2 상태(534), 및 층 3 상태(552)를 나타낸다. 초기에, 시스템(200)은 층 1 상태(532)에 있으며, 여기서 사용자는 다양한 위치들에서 디스플레이 스크린에 접촉할 수 있지만, 제1 임계값을 초과하지 않으면, 사용자의 액션들은 다른 층으로의 변화를 트리거하지 않는다. 그러나, 사용자의 접촉이 제1 임계값을 충족시키거나 초과하면, 시스템(200)은 층 2 상태(534)로 전이한다. 사용자의 임계값이 다음에 더 제2 임계값을 충족시키거나 초과하면, 시스템은 방법(304)과 관련하여 위에 설명된 바와 같이, 층 3 상태(552)로 전이한다.

이제 도 6을 참조하면, 도 6은 3개의 층: 도시 층, 도로 층, 및 지형 층을 갖는 맵핑 애플리케이션을 위한 사용자 인터페이스를 이용하는 예에서 시간에 따라 힘-감지 표면에 가해지는 사용자의 힘의 그래프를 도시한다. 도 6에 도시한 그래프는 도 5a에 도시한 방법(500)의 한 예에 대응한다. 이 예에서, 도 5a의 제1 및 제2 임계값들은 각각 히스테레틱 임계값을 포함하고 여기서 임계값들은 각각, 하나는 시스템(200)이 보다 높은 층에 있는 동안 사용되는 값이고, 다른 것은 시스템(200)이 보다 낮은 층에 있는 동안 사용되는 값인 2개의 값을 가진다. 이러한 예에서, 사용자는 가해진 힘이, 시스템(200)이 맵핑 애플리케이션의 도로 층으로 전이한 점에서, 제1 임계값에 대한 2개의 값 중 더 높은 것을 초과할 때까지 사용자 인터페이스의 도시 층과 상호작용할 수 있다. 사용자가 시스템(200)과 계속 상호작용함에 따라, 사용자의 접촉의 힘은 제2 임계값 위로 증가하여, 시스템(200)이 맵핑 애플리케이션의 지형 층으로 전이하게 한다.

사용자가 맵핑 애플리케이션 내에서 계속 내비게이트함에 따라, 사용자에 의해 힘-감지 표면에 가해진 힘은 제2 임계값 아래로 떨어져, 시스템은 맵핑 애플리케이션의 도로 층으로 복귀한다. 그리고 궁극적으로, 사용자는 힘을 제1 임계값 아래로 감소시키고, 시스템(200)은 맵핑 애플리케이션을 도시 층으로 전이시킨다.

일부 예들에서, 제1 임계값 및 제2 임계값은 힘 범위(힘 갭)가 제1 임계값과 제2 임계값 사이에 있도록 구성될 수 있다. 시스템(200)은 사용자가 이 힘 범위 내에 드는 양의 힘을 가하면 햅틱 효과들을 출력할 수 있다. 예를 들어, 사용자에 의해 가해지는 힘이 도시 층에 대한 힘 임계값과 도로 층에 대한 힘 임계값 사이에 들면, 시스템(200)은 펄스를 포함하는 햅틱 효과를 출력할 수 있다. 이것은 그 사용자에게 층들을 변경하려고 한다는 것을 경보할 수 있고/있거나 사용자가 사용자 인터페이스 층들 간에 무심코 전환하는 것을 방지함에 따라, 시스템(200)의 안정도를 증가시킬 수 있다.

이제 7을 참조하면, 도 7은 본 개시내용의 한 예에 따른 힘-기반 물체 조작 및 햅틱 감각들에 대한 방법(700)을 도시한다. 도 7은 도 1b에 도시한 시스템(200)에 의해 실행되는 소프트웨어 애플리케이션에 대해 설명되지만; 여기에 개시된 방법들은 도 1b에 도시한 디바이스 만에 의한 실행으로 제한되지 않고, 오히려, 본 개시내용에 따른 임의의 적합한 시스템에 의해 실행될 수 있다.

도 7의 방법(700)은 시스템(200)이 힘-감지 표면과의 사용자 상호작용을 표시하고, 제1 힘 및/또는 제1 위치를 포함하는 하나 이상의 신호를 수신할 때 블록(710)에서 시작된다. 예를 들어, 사용자가 터치-감지 디스플레이(250)를 터치함에 따라, 터치-감지 디스플레이(250)는 접촉의 위치 및 힘의 양을 표시하는 하나 이상의 신호를 제공할 수 있다. 일부 예들에서, 위에 논의된 바와 같이, 시스템(200)은 접촉의 위치를 표시하는 신호를 제공하는 터치-감지 디스플레이(250), 및 힘 정보를 제공하는 별도의 힘 센서(290)를 포함할 수 있다. 그러므로, 다중 신호들이 일부 예들에 따라 수신되고 사용될 수 있다. 일부 예들에서, 단일 신호가 위치 정보와 힘 정보 둘 다를 포함할 수 있다. 하나 이상의 신호가 수신된 후에, 방법(700)은 블록(720)으로 진행한다.

블록(720)에서, 시스템(200)은 사용자 상호작용이 (예를 들어, 제1 위치 또는 관련된 커서의 위치에 기초하여) 디스플레이 스크린 상에 디스플레이된 물체에 대응하는지를 결정한다. 예를 들어, 디스플레이 스크린이 복수의 아이콘 및 위젯을 갖는 홈 스크린을 나타내면, 시스템(200)은 터치-감지 디스플레이(250)와의 상호작용이 아이콘 또는 위젯에 대응하는 위치에 있는지를 결정한다. 일부 예들에서, 다른 물체들이 시스템(200)에 의해 디스플레이될 수 있다. 예를 들어, 시스템(200)은 도 3에 도시한 기후 제어 시스템(402)과 같은, 디스플레이 스크린 상의 차량용 사용자 인터페이스 시스템에 대한 제어들을 디스플레이할 수 있다. 이러한 예에서, 시스템(200)은 사용자 상호작용이 "A/C" 제어 또는 디프로스터 제어와 같은, 디스플레이 스크린 상에 디스플레이된 제어에 대응하는지를 결정할 수 있다. 도 3에 도시한 게임(404)과 같은, 터치-기반 게임에 대응하는 또 하나의 예에서, 시스템(200)은 사용자 상호작용이 서핑 보드 상의 개를 조작하기 위한 제어들 중 하나에 대응하는지를 결정할 수 있다. 다른 물체들은 도 3에 도시한 것들과 같은, 라이터(406)의 이미지, 돌(408)의 이미지, 또는 깃털(410)의 이미지를 포함할 수 있다. 사용자 상호작용이 물체에 대응한다는 것을 결정한 후에, 방법(700)은 블록(730)으로 진행한다.

블록(730)에서, 시스템(200)은 햅틱 출력 디바이스(240, 280)가 제1 세기를 갖는 제1 햅틱 효과를 출력하게 하도록 구성되는 제1 햅틱 신호를 (예를 들어, 제1 힘 및 물체와 관련된 텍스처에 기초하여) 발생하고, 햅틱 출력 디바이스(240, 280)에 제1 햅틱 신호를 출력한다. 예를 들어, 아이콘들, 위젯들, 또는 다른 그래픽 물체들이 텍스처와 관련될 수 있다. 사용자가 그래픽 물체를 가로질러 손가락을 드로(draw)함에 따라, 사용자는 텍스처-기반 햅틱 효과를 느낄 수 있다. 이 예에서, 텍스처 감각은 사용자에 의해 힘-감지 표면 상에 가해지는 힘에 기초하여 변화한다. 그러므로, 사용자가 그래픽 물체에 대응하는 위치에서 터치-감지 디스플레이(250)에 단지 가볍게 접촉하면, 사용자는 물체의 에지들 만(예를 들어, 에지 햅틱 효과들)이지만 물체의 텍스처에 관한 촉각 정보가 거의 없거나 없는 것을 느낄 수 있다. 그러나, 사용자가 접촉력을 증가시킴에 따라, 시스템(200)은 물체와 관련된 텍스처를 점점 더 많이 나타내는 햅틱 효과들을 발생하고 출력한다.

예를 들어, 도 3에 도시한 이미지들을 참조하면, 돌에 터치하는 사용자는 터치-감지 디스플레이(250)를 가볍게 누를 때 돌의 일반적 형상만을 느낄 수 있다. 그러나, 사용자가 접촉력을 증가시키면, 사용자는 돌의 부분들의 거칠음 및 다른 부분들의 매끄러움을 느낄 수 있다. 그리고, 사용자가 접촉력을 계속 증가시키면, 사용자는 돌 상의 작은 금들 또는 튀어나온 부분들, 또는 돌의 입자성과 같은, 돌의 텍스처에 관한 미세한 상세들을 느낄 수 있다. 또한, 돌에 대한 힘을 증가시킴으로써, 돌의 (시각적으로, 촉각으로, 또는 둘 다로) 겉보기 크기는 사용자가 돌 에 대한 힘을 더 증가시킴으로써 돌의 표면 특징들을 보다 상세히 촉각으로 탐색하게 하기 위해 증가할 수 있다. 이 예에서, 햅틱 감각들의 상세의 레벨은 접촉력의 증가에 따라 거의 선형으로 증가한다. 다른 예들에서, 햅틱 감각들의 상세의 레벨은 선형으로 증가하지 않을 수 있다. 예를 들어, 햅틱 감각들의 상세의 레벨은 대수적으로 증가할 수 있다. 일부 예들에서, 텍스처는 도 5-6과 관련하여 위에 논의된 사용자 인터페이스 층들과 유사한, 상이한 텍스처 "층들"을 가질 수 있으므로, 사용자의 힘이 증가함에 따라, 그것은 상이한 텍스처 층이 햅틱 효과들을 통해 제시되는 임계값들에 도달한다.

일부 예들은 사용자 상호작용에 기초하여 추가의 햅틱 텍스처 효과들을 제공할 수 있다. 예를 들어, 도 8a를 참조하면, 2개의 상이한 햅틱 가능한 소프트웨어 애플리케이션들(810, 820)이 도시된다. 제1 소프트웨어 애플리케이션(810)은 사용자에게 사용자가 상이한 텍스처들을 느끼기 위해 촉각으로 상호작용할 수 있는 상이한 유형들의 피부 또는 털을 갖는 여러 상이한 동물들로 제시한다. 예를 들어, 사용자가 힘-감지 표면을 통해 양과 상호작용하면, 시스템(200)은 양모, 또는 늑대의 뻣뻣한 털, 또는 금붕어의 매끄럽거나 미끄러운(예를 들어, 낮은 마찰) 텍스처, 또는 아르마딜로의 껍데기의 이랑이 있는 텍스처를 모방하기 위해 부드럽거나 영향을 잘 받는 느낌을 사용자에게 주는 변형 효과를 출력할 수 있다.

또한, 시스템(200)은 사용자가 힘-감지 표면(예를 들어, 터치-감지 디스플레이(250))을 강하게 누를 때 효과들의 세기를 증가시키도록 구성된다. 예를 들어, 시스템(200)은 다음의 맵핑 함수를 이용하여 햅틱 효과의 세기를 조정할 수 있다:

수학식 1에서, V는 햅틱 출력 디바이스(240, 280)에 대한 출력 전압에 대응하고, F(...)는 텍스처 또는 다른 렌더링 효과를 제공하고, k(P)는 힘 P를 0.0과 1.0 사이의 값에 맵핑하는 맵핑 함수를 제공한다. 일부 예들에서, 다음의 함수와 같은 상이한 함수가 사용될 수 있다:

수학식 2에서, V는 햅틱 출력 디바이스(240, 280)에 대한 출력 전압에 대응하고, F(...) 및 G(...)는 텍스처 또는 다른 렌더링 효과를 식별하고, k(P)는 힘 P를 0.0과 1.0 사이의 값에 맵핑하는 맵핑 함수를 제공한다. 다른 예들은 추가의 텍스처 또는 렌더링 효과 함수들, 또는 그들 효과 함수들 간의 상이한 가중 관계들을 제공할 수 있다.

도 8a에 도시한 제2 소프트웨어 애플리케이션(820)에서, 사용자는 로프들 중 하나 또는 둘 다를 자르기 위해 디스플레이된 톱을 조작할 수 있다. 한 예에서, 톱을 조작하기 위해, 사용자는 톱을 누르고 그의 손가락을 왔다갔다 이동하여 톱질 동작을 할 수 있다. 다른 예에서, 톱을 조작하기 위해, 사용자는 특정한 양의 힘으로 조작기(예를 들어, 마우스 또는 조이스틱 버튼)와 상호작용하는 동안 힘-감지 표면(예를 들어, 마우스 또는 조이스틱)을 왔다갔다 이동시켜서 톱질 동작을 할 수 있다. 이것은 가상 톱을 왔다갔다 이동시킬 수 있다. 시스템(200)은 사용자가 톱질하는 속도에 기초할 뿐만 아니라, 사용자에 의해 힘-감지 표면 상에 가해지는 힘에 기초하여 진동 또는 마찰 효과들을 제공한다. 사용자가 힘-감지 표면에 가해지는 힘을 증가시킴에 따라, 톱은 로프 속으로 더 깊게 자를 수 있으므로, 사용자는 톱이 더 힘을 가하거나 로프의 보다 많은 섬유들이 잘리는 것을 표시하기 위해 증가된 마찰, 또는 증가된 진동을 느낄 수 있다. 제2 소프트웨어 애플리케이션(820)에 따른 예들은 또한 위에 논의된 제1 소프트웨어 애플리케이션(810)에 대해 사용된 것들과 같은 맵핑 식들을 이용할 수 있다. 그리고 이 소프트웨어 애플리케이션이 톱들의 사용을 포함하지만, 드로잉 또는 페인팅 애플리케이션들과 같은 다른 애플리케이션들, 또는 도구들을 이용하는 다른 애플리케이션들이 도구에 가해지는 힘뿐만 아니라 각각의 도구(예를 들어, 펜 또는 페인트 붓)의 사용자의 조작에 기초하여 유사한 효과들 또는 응답들을 제공할 수 있다.

이제 도 8b를 참조하면, 힘-기반 물체 조작 및 햅틱 감각들을 제공하기 위한 3개의 추가의 소프트웨어 애플리케이션들(850, 860, 870)이 도시된다. 소프트웨어 애플리케이션(850)은 초기에 얼음 또는 서리 안에 넣어진 빅풋(Bigfoot)의 이미지를 디스플레이하고, 사용자는 서리를 벗겨냄으로써 빅풋을 자유롭게 할 수 있다. 일부 예들에서, 사용자가 스크린을 가로질러 그의 손가락을 가볍게 왔다갔다 드래그할 때, 서리는 벗겨지지 않지만, 사용자는 얼음 위에 그의 손가락을 미끄러트리는 것을 모방하도록 매끄러운 균일한 텍스처 또는 감소된 마찰을 느낄 수 있다. 사용자가 서리를 벗겨내기 위해 힘을 약간 증가시키면, 사용자는 사용자 손가락이 서리를 벗겨 내는 그의 손가락의 느낌을 모방하도록 액추에이터에 의해 제공된 낮은-크기 진동뿐만 아니라 ESF 출력 디바이스에 의해 제공된 약간의 마찰력을 느낀다. 사용자가 접촉력을 증가시킴에 따라, 시스템(200)은 위의 수학식 2에 나타낸 것과 같은 맵핑 함수를 이용하여, 서리의 울퉁불퉁한 것들과 같은, 충분한 힘이 가해질 때 단지 나타나는 햅틱 효과들의 양태들을 또한 트리거할 수 있는, 햅틱 효과들의 세기를 증가시킨다. 예를 들어, F(...)는 마찰 효과에 대응할 수 있는 반면 G(...)는 진동 효과에 대응할 수 있다. 또한, 더 많은 양의 서리가 제거될 수 있다.

소프트웨어 애플리케이션(860)에서, 시스템(200)은 사용자에게 딱딱하고, 이랑이 있는 표면 상에 덮어 씌워진 모래의 외관상 균일한 필드를 디스플레이한다. 즉, 하부의 가상 물체(예를 들어, 딱딱하고 강한 표면)는 상부의 가상 물체(예를 들어, 모래의 필드) 아래에 층을 이룰 수 있다. 일부 예들에서, 사용자가 표면과 상호작용함에 따라(예를 들어 표면 위에 그의 손가락을 가볍게 드래그함에 따라), 시스템(200)은 상부 가상 물체의 특성(예를 들어, 텍스처)과 관련된 햅틱 효과를 발생하고 출력한다. 예를 들어, 시스템(200)은 알갱이가 있거나 모래같은 텍스처를 포함하는 햅틱 효과와 같은, 모래의 필드와 관련된 텍스처 효과를 발생하고 출력할 수 있다. 이러한 효과들은 ESF 또는 변형가능한 햅틱 출력 디바이스에 의해 제공될 수 있다. 사용자가 표면에 더 큰 세기의 힘을 가하면, 시스템(200)은 하부의 가상 물체와 관련된 하나 이상의 햅틱 효과를 발생하고 출력할 수 있다. 예를 들어, 사용자가 접촉력을 증가시킴에 따라, 하부의 딱딱한 표면은 텍스처 효과의 변화로부터 분명해진다. 이 예에서, 예를 들어, 수학식 1에 대한 스케일링 팩터(scaling factor)를 간단히 변화시키기보다는, 대신에 시스템(200)은, 예를 들어, 수학식 2로 전이하는 것에 의해, 제2 햅틱 텍스처를 부가한다. 일부 예들에서, 시스템(200)은 항상 수학식 2를 사용하지만, 대신에 최소 힘 아래의 딱딱한 표면에 대응하는 텍스처 효과에 제로 가중을 제공할 수 있다. 그러므로, 사용자는 시각적으로 나타나지 않는 정보의 존재, 즉 모래 아래의 딱딱한 표면의 존재를 촉각으로 결정할 수 있다.

소프트웨어 애플리케이션(870)은 사용자에게 제1 텍스처로 초기에 나타난다는 점에서 소프트웨어 애플리케이션(860)의 것과 유사한 기능성을 제공한다. 이 예에서, 제1 텍스처는 젤라틴의 느낌을 모방하도록 부드럽거나 물렁물렁한 느낌을 제공하는 변형 효과일 수 있다. 그러나, 젤라틴 내의 소정의 영역들에서, 딱딱한 물체가 도 8b에 도시한 콩(bean)과 같이 나타날 수 있다. 일부 경우들에서, 물체는 가시적일 수 있지만, 다른 것들에서는 그렇지 않을 수 있다. 일부 예들에서, 사용자가 디스플레이 스크린을 가로질러 그의 손가락을 드래그하고 콩을 만날 때, 햅틱 효과의 성질은 콩의 존재를 표시하기 위해 변화할 수 있다. 예를 들어, 사용자가 증가한 힘으로 아래로 누름에 따라, 시스템(200)은 젤라틴에 대응하는 더 부드러운 변형에 의해 둘러싸인 콩의 존재를 표시하기 위해 더 딱딱한 변형을 출력한다. 일부 예들에서, 더 딱딱한 변형의 크기는 콩의 크기에 대응하지만, 다른 예들에서, 사용자의 접촉이 콩의 위치에 대응하는 한, 더 딱딱한 변형 효과가 제공된다.

이제 도 9를 참조하면, 도 9는 본 개시내용의 한 예에 따른 힘-기반 물체 조작 및 햅틱 감각들을 위한 방법(900)을 도시한다. 도 9는 도 1b에 도시한 시스템(200)에 의해 실행되는 소프트웨어 애플리케이션에 대해 설명되지만; 여기에 개시된 방법들은 도 1b에 도시한 디바이스 만에 의한 실행으로 제한되지 않고, 오히려, 본 개시내용에 따른 임의의 적합한 시스템에 의해 실행될 수 있다.

도 9에 도시한 방법(900)은 시스템(200)이 힘-감지 표면과의 사용자 상호작용을 표시하고, 제1 힘 및/또는 제1 위치를 포함하는 하나 이상의 신호를 수신할 때 블록(910)에서 시작된다. 신호들은 터치-감지 디스플레이(250) 또는 힘 센서(290)로부터 나올 수 있다. 예를 들어, 사용자가 터치-감지 디스플레이(250)를 터치함에 따라, 힘-감지 표면은 접촉의 위치 및 접촉의 힘의 양을 표시하는 하나 이상의 신호를 제공할 수 있다. 일부 예들에서, 위에 논의된 바와 같이, 시스템(200)은 접촉의 위치를 표시하는 신호를 제공하는 터치-감지 디스플레이(250), 및 힘 정보를 제공하는 별도의 힘 센서(290)를 포함할 수 있다. 그러므로, 다중 신호들이 시스템(200)에 의해 수신되고 사용될 수 있다. 일부 예들에서, 단일 신호가 위치 정보와 힘 정보 둘 다를 포함할 수 있다. 하나 이상의 신호가 수신된 후에, 방법(900)은 블록(920)으로 진행한다.

블록(920)에서, 시스템(200)은 사용자와 시스템(200) 간의 상호작용을 결정한다. 이러한 상호작용들은 시스템(200)과의 사용자의 어떤 상호작용을 가상적으로 포함할 수 있다. 예를 들어, 사용자는 터치-감지 디스플레이(250) 상에서 한 위치로부터 또 하나의 위치로 아이콘을 이동하기를 원할 수 있다. 이러한 예에서, 사용자는 터치-감지 디스플레이(250) 상에 배치된 아이콘을 누를 수 있다. 사용자가 터치-감지 디스플레이(250) 상의 힘을 증가시킴에 따라, 사용자의 접촉은 시스템(200)이 사용자가 아이콘을 이동시키려고 시도하고 있다는 것을 결정하는 임계값을 통과할 수 있다. 방법(900)은 다음에 블록(930)으로 진행한다.

블록(930)에서, 사용자가 아이콘을 이동시키려고 시도한다는 것을 결정한 후에, 시스템(200)은 간단한 디텐트 효과와 같은, 햅틱 효과를 출력한다. 방법(900)은 다음에 블록(910)으로 복귀하고, 다시 블록(920)으로 진행한다. 블록(920)의 제2 반복에서, 사용자는 그의 손가락을 스크린 상의 새로운 위치로 옮긴다. 이 경우에, 사용자가 아이콘을 "픽업"하였기 때문에, 시스템(200)은 사용자의 손가락의 움직임을 따름으로써 아이콘을 새로운 위치로 이동시킨다. 방법(900)은 다시 블록(930)으로 진행한다. 블록(930)에서, 시스템(200)은 (예를 들어 ESF 또는 USF 햅틱 출력 디바이스를 통해) 터치-감지 디스플레이(250) 상의 마찰력을 감소시키는 것과 같은, 아이콘의 이동을 가능하게 하기 위해 햅틱 효과들을 제공한다. 다시, 방법은 블록(910)으로 복귀한다.

블록(910)에서, 시스템(200)은 사용자 상호작용 신호들을 계속 수신한다. 이것은 힘-감지 표면(예를 들어, 터치-감지 디스플레이(250))과의 사용자의 계속된 접촉으로부터 비롯될 수 있고, 블록(920)으로 진행한다. 그러나, 이때, 사용자는 힘-감지 표면 상의 힘을 감소시키지만, 힘-감지 표면으로부터 그의 손가락을 완전히 들어올리지 않고, 새로운 위치로 아이콘을 "드롭한다". 시스템(200)은 사용자의 접촉력이 아이콘을 이동시키는 것을 허용하기 위해 임계값 아래로 떨어졌다는 것을 결정하고, 시스템(200)은 아이콘이 드롭된다는 것을 결정한다. 방법(900)은 시스템(200)이 간단한 디텐트와 같은, 또 하나의 햅틱 효과를 출력하는 블록(930)으로 진행한다. 이것은 이동 동작의 완료를 표시할 수 있다. 그 다음에, 방법(900)은 다시 블록(910)으로 복귀하여 시스템(200)과의 계속되는 상호작용을 대기한다.

상기 예는 본 개시내용에 따른 시스템들과의 힘-기반 상호작용들의 사용의 예시이다. 그러나, 다른 힘-기반 상호작용들이 고려된다. 예를 들어, 사용자는 힘을 사용하여 3차원 환경 내에서 커서를 내비게이트할 수 있다. 한 이러한 예에서, 터치-감지 디스플레이(250) 상의 측방향 이동은 환경 내의 X- 및 Y-축 변위들에 대응할 수 있고, 증가되거나 감소된 힘은 Z-축 내의 속도-기반 변위를 야기할 수 있다. Z-축에 따른 양 및 음의 이동들 간을 구별하기 위해, 시스템(200)은 상이한 진동 또는 다른 햅틱 효과들을 출력할 수 있다. 또는 시스템(200)은 X-축 또는 Y-축에서 측방향으로 이동하면서, Z-축 이동이 Z-축 위치를 유지하는 데 사용자에게 도움을 주기 위해 발생하지 않는 중간점 힘에서 햅틱 효과를 출력할 수 있다.

추가 예에서, 시스템(200)은 그것이 연장된 기간 동안 아이들 상태에 있은 후에 디바이스를 언로크하기 위한 향상된 능력을 제공할 수 있다. 예를 들어, 비활동의 기간 후에, 시스템(200)은 허가되지 않은 사용을 방지하기 위해 자체로 로크할 수 있다. 디바이스를 언로크하기 위해, 사용자는 패스코드를 입력할 수 있다. 대안적으로, 사용자는 힘-기반 제스처를 수행할 수 있다. 예를 들어, 사용자는 디바이스를 언로크하기 위해 스크린을 가로질러 그의 손가락을 좌측으로부터 우측으로 스와이프하고 빠른 연속으로 3번 강하게 누를 수 있다. 또는 이러한 힘-기반 제스처는 전통적인 움직임-기반 제스처와 조합될 수 있다. 예를 들어, 사용자는 디바이스를 언로크하기 위해, 터치-감지 디스플레이(250)를 가로질러 지그재그 패턴을 스와이프하고, 방향 변화마다 강하게 누를 수 있다.

또한, 이러한 언록킹 메커니즘은 사용자의 힘 사용에 도움을 주기 위해 햅틱들을 조합할 수 있다. 예를 들어, 힘-향상 스와이프 제스처를 수행할 때, 한 예는 3개의 상이한 힘 레벨 "대역들"에 대응하는 3개의 상이한 햅틱 텍스처들 중 하나를 제공할 수 있다. 이 예에서, 텍스처들은 사용자가 낮은 힘 대역으로부터 높은 힘 대역으로 전이함에 따라 "껄끄러움 정도"를 증가할 수 있다. 일부 예들에서, 시스템은 힘 대역들의 변화를 표시하기 위해 간단한 디덴트를 출력할 수 있다. 그러므로, 사용자는 적절한 양의 힘을 가하려고 시도할 때 디바이스에 의해 도움을 받는다. 이러한 예는 또한 사용자가 촉각 응답들의 시퀀스로서, 또는 심지어 상이한 힘 대역들에 대응하는 수들의 시퀀스로서 힘 시퀀스를 기억하는 데 사용자에게 도움을 줄 수 있다. 예를 들어, 사용자의 힘 코드는 3개의 힘 대역들 각각에 대응하기 위해, 1,2,3,2,3,1로서 연상적으로 상기될 수 있다. 3개의 힘 대역들이 이 예에서 사용되지만, 일부 예들은 보다 큰 수 또는 적은 수의 힘 대역들을 사용할 수 있다.

일부 예들에서, 접촉력은 비디오 게임들을 하는 데 필수적인 부분일 수 있다. 예를 들어, 골프 게임을 하는 사용자는 백스윙을 생성하기 위해 한 방향으로 먼저 스와이프함으로써 클럽을 스윙하고, 다음에 클럽을 스윙하기 위해 반대 방향으로 스윙할 수 있다. 게임을 향상시키기 위해, 사용자에게는 또한 볼을 치기 위해 사용자의 손가락이 볼 위를 지나는 순간에 강하게 누르는 것이 스윙 동안에 요구된다. 사용자의 높은 힘 접촉이 볼의 위치에 대응하는 것이 정확할수록, 볼 치기는 더 정확할 수 있고, 또는 드라이브 거리가 더 길 수 있다. 스윙을 수행하는 데 있어서 사용자에게 도움을 주기 위해, 예들은 골프 스윙의 양태들에 대응하는 햅틱 효과들을 제공할 수 있다. 예를 들어, 햅틱 효과는 스윙의 "품질"에 기초하여 사용자에 촉각 피드백을 제공할 수 있다. 한 이러한 예에서, 사용자가 백스윙에서 클럽 헤드를 뒤로 드로함에 따라, 사용자에게는 특정한 경로를 따르거나, 특정한 횟수로 적절한 힘을 가하는 것이 요구된다. 시스템(200)은 올바른 백스윙 경로를 따르는 마찰을 감소하고, 힘 점들에서 텍스처들을 제공하는 것과 같은, 햅틱 효과들을 출력할 수 있다. 게다가, 힘 점들에서, 시스템(200)은 올바른 양의 힘의 가하는데 있어서 사용자에게 도움을 주도록 구성되는 햅틱 효과들을 출력할 수 있다. 예를 들어, 힘 점에 도달할 때, 사용자는 시스템(200)이 사용자가 백스윙 동작을 계속할 수 있는 점에서 디덴트를 출력할 때까지 힘을 증가시킬 수 있다. 또한, 스윙 및 볼과의 접촉 동안에, 사용자는 볼을 치기 위해 힘을 증가시킬 수 있고, 볼에 가해지는 힘의 정확도 및 힘의 위치에 기초하여 크기가 변하는 진동 효과와 같은, 즉각적인 촉각 피드백을 수신할 수 있다.

또한, 백스윙에서와 같이, 시스템(200)은 적절한 위치에 증가된 힘을 가하는데 있어서 사용자에게 도움을 주기 위해 볼의 위치에서 텍스처 효과를 제공할 수 있다. 게다가, 시스템(200)은 볼을 치기 위한 힘의 양에 대응하는 볼에서 하나 이상의 힘-작동 진동 디텐트를 제공할 수 있다. 그러므로, 사용자는 변화하는 레벨들의 힘을 가함으로써 시스템(200)과 상호작용할 수 있지만, 특정의 작업들을 수행하면서 사용자를 안내하는 것뿐만 아니라, 적절한 양의 힘을 가하는 데 있어서 사용자를 지원하기 위한 햅틱 피드백을 수신할 수도 있다.

사용자가 본 개시내용에 따른 시스템들(200)과의 상호작용들로 힘 변화들을 조합하게 하는 것 외에, 일부 예들은 또한 이러한 힘-기반 조작들 동안 사용자를 지원할 수 있다. 예를 들어, 사용자가 터치-감지 디스플레이(250)와의 접촉력을 증가시킴에 따라, 시스템(200)은 미끄럼 마찰 계수를 감소시키도록 구성되는 햅틱 효과를 출력할 수 있다. 이것은 사용자가 디바이스를 가로질러 그의 손가락을 보다 쉽게 드래그하게 할 수 있다. 한 예에서, 시스템(200)은 사용자에 의해 디바이스에 가해진 힘에 정비례하여 햅틱 효과를 증가시킨다. 이러한 기능성은 사용자가 그의 손가락이 디바이스의 표면을 가로질러 이동할 수 있게 하기 위해 증가된 측방향 힘을 가하지 않고서도 디바이스에 더 높은 힘을 더 쉽게 가할 수 있게 할 수 있다. 다른 예들에서, 시스템(200)은 접촉력을 로그 스케일(logarithmic scale)과 같은 다른 알고리즘에 적용함으로써 햅틱 효과의 크기를 변경할 수 있다. 일부 예들에서, 시스템(200)은 디바이스에 의해 감지된 증가한 힘들을 표시하기 위해 터치-감지 디스플레이(250)에 변화한 텍스처를 적용할 수 있다. 이러한 변화한 텍스처는 사용자가 접촉력을 계속 증가시키는 경우에, 사용자가 위에 설명된 조작 모드와 같은 상이한 상호작용 모드에 잠재적으로 들어갈 수 있다는 것을 사용자에게 표시할 수 있다.

본원의 방법들 및 시스템들이 다양한 머신들 상에서 실행하는 소프트웨어에 대해 설명되었지만, 방법들 및 시스템들은 또한 다양한 방법들을 실행하기 위해 구체적으로 필드-프로그래머블 게이트 어레이(FPGA)와 같은 구체적으로-구성된 하드웨어로서 구현될 수 있다. 예를 들어, 예들은 디지털 전자 회로에서, 또는 컴퓨터 하드웨어, 펌웨어 소프트웨어, 또는 이들의 조합에서 구현될 수 있다. 한 예에서 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합된 랜덤 액세스 메모리(RAM)와 같은, 컴퓨터-판독가능 매체를 포함한다. 프로세서는 이미지를 편집하기 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리 내에 저장된 컴퓨터-실행가능 프로그램 명령어들을 실행한다. 이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이들(FPGA들), 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들과 같은 프로그래머블 전자 디바이스들, 프로그래머블 인터럽트 제어기들(PIC들), 프로그래머블 논리 디바이스들(PLD들), 프로그래머블 리드 온리 메모리들(PROM들), 전자적으로 프로그램가능한 리드 온리 메모리들(EPROM들 또는 EEPROM들), 또는 다른 유사한 디바이스들을 더 포함할 수 있다.

이러한 프로세서들은 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 것과 같이 여기에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어, 컴퓨터-판독가능 매체를 포함할 수 있거나, 그와 통신할 수 있다. 컴퓨터-판독가능 매체의 예들은 컴퓨터-판독가능 명령어들로, 웹 서버 내의 프로세서와 같은, 프로세서를 제공할 수 있는 전자, 광학, 자기, 또는 다른 저장 디바이스를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프, 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 기타 매체를 포함하지만, 이들로 제한되지 않는다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조 내에 있을 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 여기에 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 수행하기 위한 코드를 포함할 수 있다.

본 발명의 일부 예들의 상기 설명이 예시 및 설명의 목적을 위해 단지 제시된 것이고 본 발명을 개시된 정확한 형태로 한정하거나 제한하려는 것은 아니다. 이들의 수많은 수정들 및 개조들이 본 발명의 취지 및 범위에서 벗어나지 않고서 본 기술 분야의 통상의 기술자에게 분명할 것이다.

여기서 "한 예" 또는 "예"라고 하는 것은 이 예와 관련하여 설명된 특정한 특징, 구조, 동작, 또는 다른 특성들이 본 발명의 적어도 하나의 구현 내에 포함될 수 있다는 것을 의미한다. 본 발명은 이와 같이 설명된 특정한 예들로 제한되지 않는다. 본 명세서의 여러 군데에서의 "한 예에서" 또는 "예에서"란 문구의 출현은 반드시 동일한 예를 참조하는 것은 아니다. "한 예"와 관련하여 본 명세서에서 설명된 임의의 특정한 특징, 구조, 동작, 또는 다른 특성은 기타 예와 관련하여 설명된 다른 특징들, 구조들, 동작들, 또는 다른 특성들과 조합될 수 있다.

Claims

햅틱 효과를 발생하는 방법으로서,
사용자 상호작용의 위치를 표시하는 제1 신호를 수신하는 단계;
제1 힘을 표시하는 제2 신호를 수신하는 단계;
상기 사용자 상호작용의 상기 위치가 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에:
제1 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제1 햅틱 신호를 출력하는 단계; 및
상기 제1 힘이 제1 힘 임계값을 충족시키거나 초과하는 경우에 제2 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제2 햅틱 신호를 출력하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 제1 힘을 상기 제1 힘 임계값보다 큰 제2 힘 임계값과 비교하는 단계; 및
상기 제1 힘이 상기 제2 힘 임계값을 충족시키거나 초과하는 경우에:
상기 사용자 상호작용의 상기 위치에 기초하여 상기 물체에 대해 취할 액션을 결정하는 단계; 및
상기 제1 힘에 기초하여 수정된 액션을 실행하는 단계
를 더 포함하는 방법.
제2항에 있어서,
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하지만, 상기 제2 힘 임계값을 충족시키거나 초과하지 않는다고 결정한 것에 응답하여 탐색 모드(exploration mode)를 설정하는(establishing) 단계; 및
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하고 상기 제2 힘 임계값을 충족시키거나 초과한다고 결정한 것에 응답하여 조작 모드(manipulation mode)를 설정하는 단계
를 더 포함하는 방법.
제3항에 있어서, 상기 탐색 모드는 상기 사용자 상호작용의 상기 위치가 상기 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에 햅틱 효과들을 제공하지만, 상기 액션을 실행하지 않고, 상기 조작 모드는 상기 사용자 상호작용의 상기 위치가 상기 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에 햅틱 효과들을 제공하고, 또한 상기 액션을 실행하는 방법.
제1항에 있어서,
복수의 층을 갖는 그래픽 사용자 인터페이스(GUI)의 제1 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제1 층 신호를 발생하는 단계; 및
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하는 경우에 상기 GUI의 제2 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제2 층 신호를 발생하는 단계
를 더 포함하는 방법.
제5항에 있어서,
상기 제1 힘이 상기 제1 힘 임계값 및 상기 제1 힘 임계값보다 큰 제2 힘 임계값 둘 다를 충족시키거나 초과하는지를 결정하는 단계; 및
상기 제1 힘이 상기 제1 힘 임계값 및 상기 제2 힘 임계값 둘 다를 충족시키거나 초과하는 경우에:
상기 GUI의 제3 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제3 층 신호를 발생하는 단계 - 상기 제3 층은 상기 제1 층 및 상기 제2 층과 상이함 - ; 및
상기 디스플레이 스크린에 상기 제3 층 신호를 송신하는 단계
를 더 포함하는 방법.
제6항에 있어서,
상기 제2 층이 상기 물체를 포함하는 경우에 제3 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제3 햅틱 신호를 출력하는 단계; 및
상기 제3 층이 상기 물체를 포함하는 경우에 제4 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제4 햅틱 신호를 출력하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제1 힘 및 상기 물체와 관련된 텍스처(texture)에 기초하여 상기 제1 햅틱 신호를 발생하는 단계를 더 포함하는 방법.
제8항에 있어서,
제2 위치에서 상기 제1 힘보다 큰 세기를 포함하는 제2 힘을 포함하는 제2 사용자 상호작용을 표시하는 하나 이상의 추가 신호를 수신하는 단계;
상기 물체 아래에 층을 이룬 가상 물체의 다른 텍스처에 기초하여 상기 제2 햅틱 신호를 발생하는 단계
를 더 포함하는 방법.
햅틱 효과를 발생하는 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로서,
사용자 상호작용의 위치를 표시하는 제1 신호를 수신하는 프로그램 코드;
제1 힘을 표시하는 제2 신호를 수신하는 프로그램 코드; 및
상기 사용자 상호작용의 상기 위치가 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에:
제1 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제1 햅틱 신호를 출력하고;
상기 제1 힘이 제1 힘 임계값을 충족시키거나 초과하는 경우에 제2 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제2 햅틱 신호를 출력하는 프로그램 코드
를 포함하는 컴퓨터-판독가능 매체.
제10항에 있어서,
상기 제1 힘을 상기 제1 힘 임계값보다 큰 제2 힘 임계값과 비교하는 프로그램 코드; 및
상기 제1 힘이 상기 제2 힘 임계값을 충족시키거나 초과하는 경우에:
상기 사용자 상호작용의 상기 위치에 기초하여 상기 물체에 대해 취할 액션을 결정하고;
상기 제1 힘에 기초하여 수정된 액션을 실행하는 프로그램 코드
를 더 포함하는 컴퓨터-판독가능 매체.
제11항에 있어서,
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하지만, 상기 제2 힘 임계값을 충족시키거나 초과하지 않는다고 결정한 것에 응답하여 탐색 모드를 설정하는 프로그램 코드; 및
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하고 상기 제2 힘 임계값을 충족시키거나 초과한다고 결정한 것에 응답하여 조작 모드를 설정하는 프로그램 코드
를 더 포함하는 컴퓨터-판독가능 매체.
제12항에 있어서, 상기 탐색 모드는 상기 사용자 상호작용의 상기 위치가 상기 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에 햅틱 효과들을 제공하지만, 상기 액션을 실행하지 않고, 상기 조작 모드는 상기 사용자 상호작용의 상기 위치가 상기 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에 햅틱 효과들을 제공하고, 또한 상기 액션을 실행하는 컴퓨터-판독가능 매체.
제10항에 있어서,
복수의 층을 갖는 그래픽 사용자 인터페이스(GUI)의 제1 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제1 층 신호를 발생하는 프로그램 코드; 및
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하는 경우에 상기 GUI의 제2 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제2 층 신호를 발생하는 프로그램 코드
를 더 포함하는 컴퓨터-판독가능 매체.
제14항에 있어서,
상기 제1 힘이 상기 제1 힘 임계값 및 상기 제1 힘 임계값보다 큰 제2 힘 임계값 둘 다를 충족시키거나 초과하는지를 결정하는 프로그램 코드; 및
상기 제1 힘이 상기 제1 힘 임계값 및 상기 제2 힘 임계값 둘 다를 충족시키거나 초과하는 경우에:
상기 GUI의 제3 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제3 층 신호를 발생하고 - 상기 제3 층은 상기 제1 층 및 상기 제2 층과 상이함 - ;
상기 디스플레이 스크린에 상기 제3 층 신호를 송신하는 프로그램 코드
를 더 포함하는 컴퓨터-판독가능 매체.
제15항에 있어서,
상기 제2 층이 상기 물체를 포함하는 경우에 제3 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제3 햅틱 신호를 출력하는 프로그램 코드; 및
상기 제3 층이 상기 물체를 포함하는 경우에 제4 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제4 햅틱 신호를 출력하는 프로그램 코드
를 더 포함하는 컴퓨터-판독가능 매체.
제10항에 있어서,
상기 제1 힘 및 상기 물체와 관련된 텍스처에 기초하여 상기 제1 햅틱 신호를 발생하는 프로그램 코드를 더 포함하는 컴퓨터-판독가능 매체.
제17항에 있어서,
제2 위치에서 상기 제1 힘보다 큰 세기를 포함하는 제2 힘을 포함하는 제2 사용자 상호작용을 표시하는 하나 이상의 추가 신호를 수신하는 프로그램 코드;
상기 물체 아래에 층을 이룬 가상 물체의 다른 텍스처에 기초하여 상기 제2 햅틱 신호를 발생하는 프로그램 코드
를 더 포함하는 컴퓨터-판독가능 매체.
햅틱 효과를 발생하는 시스템으로서,
컴퓨터-판독가능 매체; 및
상기 컴퓨터-판독가능 매체와 통신하고, 상기 컴퓨터-판독가능 매체 내에 저장된 프로그램 코드를 실행하도록 구성되는 프로세서
를 포함하고, 상기 프로그램 코드는 상기 프로세서로 하여금,
사용자 상호작용의 위치를 표시하는 제1 신호를 수신하고;
제1 힘을 표시하는 제2 신호를 수신하고;
상기 사용자 상호작용의 상기 위치가 디스플레이 스크린 상에 디스플레이된 물체에 대응하는 경우에:
제1 햅틱 효과를 발생하기 위해 햅틱 출력 디바이스에 제1 햅틱 신호를 출력하고;
상기 제1 힘이 제1 힘 임계값을 충족시키거나 초과하는 경우에 제2 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제2 햅틱 신호를 출력하는
동작들을 수행하게 하도록 구성되는 시스템.
제19항에 있어서, 상기 프로세서는
상기 제1 힘을 상기 제1 힘 임계값보다 큰 제2 힘 임계값과 비교하고;
상기 제1 힘이 상기 제2 힘 임계값을 충족시키거나 초과하는 경우에:
상기 사용자 상호작용의 상기 위치에 기초하여 상기 물체에 대해 취할 액션을 결정하고;
상기 제1 힘에 기초하여 수정된 액션을 실행하도록 더 구성되는 시스템.
제20항에 있어서, 상기 프로세서는
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하지만, 상기 제2 힘 임계값을 충족시키거나 초과하지 않는다고 결정한 것에 응답하여 탐색 모드를 설정하고;
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하고 상기 제2 힘 임계값을 충족시키거나 초과한다고 결정한 것에 응답하여 조작 모드를 설정하도록 더 구성되는 시스템.
제21항에 있어서, 상기 탐색 모드는 상기 디스플레이 스크린 상에 디스플레이된 복수의 물체에 대응하는 접촉들에 기초하여 햅틱 효과들을 제공하지만, 상기 복수의 물체와의 상호작용을 방지하고, 상기 조작 모드는 상기 디스플레이 스크린 상에 디스플레이된 상기 복수의 물체에 대응하는 접촉들에 기초하여 햅틱 효과들을 제공하고, 또한 상기 복수의 물체와의 상호작용을 제공하는 시스템.
제19항에 있어서, 상기 프로세서는
복수의 층을 갖는 그래픽 사용자 인터페이스(GUI)의 제1 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제1 층 신호를 발생하고;
상기 제1 힘이 상기 제1 힘 임계값을 충족시키거나 초과하는 경우에 상기 GUI의 제2 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제2 층 신호를 발생하도록 더 구성되는 시스템.
제23항에 있어서, 상기 프로세서는
상기 제1 힘이 상기 제1 힘 임계값 및 상기 제1 힘 임계값보다 큰 제2 힘 임계값 둘 다를 충족시키거나 초과하는지를 결정하고;
상기 제1 힘이 상기 제1 힘 임계값 및 상기 제2 힘 임계값 둘 다를 충족시키거나 초과하는 경우에:
상기 GUI의 제3 층이 상기 디스플레이 스크린 상에 디스플레이되게 하도록 구성되는 제3 층 신호를 발생하고 - 상기 제3 층은 상기 제1 층 및 상기 제2 층과 상이함 - ;
상기 디스플레이 스크린에 상기 제3 층 신호를 송신하도록 더 구성되는 시스템.
제24항에 있어서, 상기 프로세서는
상기 제2 층이 상기 물체를 포함하는 경우에 제3 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제3 햅틱 신호를 출력하고;
상기 제3 층이 상기 물체를 포함하는 경우에 제4 햅틱 효과를 발생하기 위해 상기 햅틱 출력 디바이스에 제4 햅틱 신호를 출력하도록 더 구성되는 시스템.
제19항에 있어서, 상기 프로세서는
상기 제1 힘 및 상기 물체와 관련된 텍스처에 기초하여 상기 제1 햅틱 신호를 발생하도록 더 구성되는 시스템.
제26항에 있어서, 상기 프로세서는
제2 위치에서 상기 제1 힘보다 큰 세기를 포함하는 제2 힘을 포함하는 제2 사용자 상호작용을 표시하는 하나 이상의 추가 신호를 수신하고;
상기 물체 아래에 층을 이룬 가상 물체의 다른 텍스처에 기초하여 상기 제2 햅틱 신호를 발생하도록 더 구성되는 시스템.