KR100404918B1

KR100404918B1 - 컴퓨터식대화시스템및그형성방법

Info

Publication number: KR100404918B1
Application number: KR10-1998-0700818A
Authority: KR
Inventors: 알 코헨 죠나단; 힌더스 데비; 엠 죤슨 보니; 제이 싱어 앤드류; 제이 스티펠먼 라이사; 엘 버플랭크 윌리엄; 씨 월터스 스콧트; 엠 위드 가트 마가렛
Original assignee: 인터벌 리서치 코포레이션
Priority date: 1995-08-03
Filing date: 1996-08-01
Publication date: 2004-04-29
Also published as: US8154511B2; DE69637146D1; KR19990036150A; AU6646096A; EP0842490A2; US20090174654A1; US6262711B1; WO1997006479A3; DE69637146T2; US7545359B1; WO1997006479A2; JP2001517331A; EP0842490B1

Abstract

본 발명의 컴퓨터식 대화시스템은 컴퓨터시스템에의 의도된 사용자입력용의 메타포어로서 물리적인 삼차원 물체들을 사용한다. 하나 이상의 대화기들이 검출필드와 결합되면, 검출필드는 상기 물체와 관련된 식별자를 판독하여 그 식별자를 컴퓨터시스템과 통신시키게 한다. 본 발명의 컴퓨터시스템은 식별자 및 컴퓨터시스템이 동작하는 의미 컨텍스트에 근거하여대화기의 의미를 결정한다. 대화기들은 오디오시스템과 같은 다른 시스템을 제어하는데 사용가능하며, 또는 시간적흐름의이벤트들을 표시하는 등의 목적을 위해 컴퓨터시스템에의 직관적인 입력으로서 사용될 수 있다. 최소단위로서 대화기들은 그들의 식별자를 전달하나, 또한 추가로 처리된 또는 처리되지 않은 데이타를 전달할 수 있게 보다 정교할 수도 있다. 즉, 대화기들은 자체의 데이타처리기들을 포함할 수 있다. 검출필드는 1차원 또는 다차원일 수 있으며, 전형적으로 검출필드의 서로다른 부분들과 관련된 서로 다른 의미들을 갖는다.

Description

컴퓨터식 대화시스템 및 그 형성방법{Computerized Interactor Systems and Method for Providing Same}

단순한 시스템(일례로, 컴퓨터식 토스터 또는 커피포트)으로부터 아주 복잡한 시스템(일례로, 복잡한 전기통신 및 디지털네트워크시스템)에 이르기까지 시스템들을 컴퓨터화시키는 것은 아주 보편화되어 왔다. 컴퓨터화의 이점은 이러한 시스템들을 보다 융통성 있게 하고 강력하게 할 수 있다는 데 있다. 그러나, 이러한 파워 및 융통성을 위해서는 인간 기계 인터페이스의 어려움이 증가한다는 문제점이 있다.

이러한 문제점의 근본적인 이유는 컴퓨터들은 수학 및 논리의 추상적인 개념에 근거한 원리에 따라 동작하지만 인간은 보다 공간적인 방식으로 사고하는 경향이 있기 때문이다. 사람들은 실제의 세계에서 살고 있고, 따라서 컴퓨터세계의 추상적개념을 갖는 물리적인 삼차원 물체들에 의해 보다 편리함을 취하고 있다. 인간은 컴퓨터와 같이 사고하지 않기 때문에, 인간이 컴퓨터들과 효과적으로 통신을 하기 위해서는 메타포어(metaphor)가 채용된다. 일반적으로, 메타포어를 좋게 하면할수록 인간과 컴퓨터 사이에 보다 효율적이고 매개적이며 독립적인 통신이 가능하게 된다.

물론, 사용자가 편안함과 용이함의 정도를 변화시키면서 컴퓨터와 상호작용할 수 있게 해주는 인간 컴퓨터 인터페이스는다수가 개발되어 있다. 일례로, 키보드, 컴퓨터 마우스, 조이스틱 등등은 사용자가 컴퓨터시스템에 대한 입력을 발생시킬수 있게 삼차원물체를 물리적으로 조정할 수 있게 해준다. 그러나, 이러한 인간/컴퓨터 인터페이스들은 본질적으로 아주인조적이며, 따라서 효과적인 사용을 위해서는 훈련에 상당한 투자를 하여야만 한다.

최근에는 그래픽 사용자 인터페이스(GUI)를 사용함으로써 인간/컴퓨터 인터페이스를 개선하는데 진전이 있었다. GUI 인터페이스의 경우에는, 컴퓨터화면상에 물리적 물체를 나타내는 아이콘들이 존재한다. 일례로, 서류파일의 경우는 서류의 한쪽과 같이 보이며, 디렉토리파일은 파일홀더와 같이 보이며, 서류들과 파일들을 폐기시키기 위해서는 쓰레기를 나타내는아이콘을 사용할 수 있다. 다시말하자면, GUI 인터페이스는 그래픽 아이콘이 사용자에 익숙한 물리적인 물체를 나타내게되어 있는 '메타포어'를 사용하고 있다. 이에 따라, 대부분의 사용자는 GUI 인터페이스를 보다 쉽게 사용할 수 있다. GUI인터페이스들은 캘리포니아, 팔로알토에 소재하는 Xerox PARC 및 캘리포니아 커퍼티노에 소재하는 Apple Computer, Inc.에서 개발하였다. 이러한 GUI는 또한 종종 UNIXTM과 공동으로 사용되며, 워싱톤, 레드몬드에 소재하는 MicrosoftCorporation에서 제공하는 WindowsTM 동작시스템과 함께 PC-DOS 에서 급속히 기준화 되었다.

비록 GUI가 인간/컴퓨터 인터페이스에 지대한 진전을 이루게 한 것은 사실이지만, 여전히 제한된 메타포어 때문에 사용자는 소정의 학습이 요구된다. 다시 말하자면, 아이콘은 단지 물리적인 물체만을 나타내지, 그 자체가 물리적인 물체는 아니다. 이러한 문제점을 인식하여 많은 연구자들 및 회사들은 실제세계의 메타포어상에서 동작하는 선택적인 인간/컴퓨터인터페이스들에 대해 연구하게 되었다. 이러한 개념들 중 일부는 Communications of the ACM의 1993년자 특판의 '실제세계으로 회귀하는 컴퓨터화 환경(ComputerAugmented Environments, Back to the Real World)'란 명칭의 논문에 기재되어 있다. 이러한 컴퓨터화 환경으로는 뉴욕주, 뉴욕에 소재하는 New York University (NYU)에서 연구한 바와 같이 방전체가 그 방에 대한 세팅을 제어하기 위한 센서들로 채워져 있는 이머시브(immersive)환경을 들 수 있다. 또 다른 예로는 통상의 지우개 및 표시기(marker)를 사용하여전자 '잉크'를 발생시키게 되어 있는 Wacom의 전자 화이트보드(white board) 및 그러한 기능을 갖는 것들을 들 수 있다.Wellner는 비디오카메라, 종이, 그리고 종이와 전자세계 사이에서 이동하는 워크스테이션을 사용하는 '디지탈데스크(Digital Desk)'를 설명하고 있다. Fitzmarice는 사용자가 책선반까지 걸어가 접촉감지형 LCD 스트립을 눌러 선택된 책에관해 상세히 청취할 수 있게 해주는 'Chameleon' 장치를 가지고 있다. 마지막으로, MIT 미디어 랩(Media Lab)은 어린아이들이 각기 마이크로프로세서가 내장되어 있는 플라스틱빌딩블록들을 함께 모아 프로그램을 만들 수 있게 해주는 Leggo/Lego로서 알려진 제품을 가지고 있다.

본 발명의 공동발명자들은 Bishop은 컴내로 떨어지는 구슬에 음성전송메시지를 저장하는 것으로 보이는 '구슬응답기계'를개발하였다. 실제로, 구슬은 메시지를 저장하는 소형컴퓨터상의 포인터(pointer)를 트리거시킨다. 메시지를 재생하기 위해서는 구슬을 기계내로 다시 떨어뜨린다. 이 구슬응답기계는 최소한1993년 6월부터는 공지된 것이다.

비록 인간/컴퓨터 인터페이스를 개선시키기 위한 시도에 진전이 있었던 것은 사실이나, 이 분야는 여전히 진전이 요구되고 있다.궁극적으로, 인터페이스자체는 사용자들이 인터페이스의 역학 또는 컴퓨터식 시스템의 기본적인 동작에 대한 고려없이 그들의 목표를 달성할 수 있게 하기 위해서는 사용자들의 의식적인 사고에서 사라져야만 한다.

본 발명은 일반적으로 인간/컴퓨터 인터페이스에 관한 것으로, 특히 컴퓨터 식 시스템용의 기계적인 입력장치에 관한 것이다.

도 1은 본 발명에 따른 대화시스템의 개략도;

도 2는 본 발명의 제1실시예를 도시하는 개략도;

도 3은 본 발명에 따른 이차원 검출필드의 측면도;

도 4는 도 3의 선 4-4의 평면도;

도 5는 본 발명에 따른 대화기의 사시도;

도 5a는 도 5의 대화기의 내부회로의 개략도;

도 6은 도 3 및 도 4에 도시된 검출필드의 회로의 개략도;

도 7은 도 6의 마이크로프로세서상에서 동작하는, 컴퓨터를 이용한 공정의 흐름도;

도 8a는 도 7의 공정에 의해 발생되는 데이타단어를 나타내는 도면;

도 8b는 도 8a의 데이타단어의 상태비트에 관련된 의미를 나타내는 테이블;

도 9a는 일차원 검출필드를 도시하는 도면;

도 9b는 3차원 검출필드 및 4차원 검출필드를 도시하는 도면;

도 9c는 3차원 검출필드를 도시하는 도면;

도 10은 오디오시스템을 제어하는데 사용하는 대화기를 도시하는 도면;

도 11a는 사용자가 시스템내에 구현되게 되어 있는 오디오제어시스템의 제 1 실시예를 도시하는 도면;

도 11b는 사용자가 시스템내에 구현되어 있지 않은, 즉 시스템에 대해 옴니션트(omniscient)한 상태로 되어 있는 오디오제어시스템의 제 2실시예를 도시하는 도면;

도 11c는 오디오제어장치용으로 사용되는 2차원 검출필드의 레이아웃도;

도 12는 본 발명의 오디오제어시스템의 블록도;

도 13은 도 12의 컴퓨터들 및 서버상에서 동작하는, 컴퓨터를 이용한 공정을 도시하는 블록도;

도 14는 도 13의 적용 프로그램의 동작을 도시하는 흐름도;

도 15는 도 13의 네트워크 라이브러리의 동작을 도시하는 흐름도;

도 16은 도 13의 서버소프트웨어 동장을 도시하는 흐름도;

도 17은 이벤트들을 시간적흐름들로 표시하기 위한, 검출필드상의 대화기들을 도시하는 도면;

도 18은 본 발명에 따른 이벤트 표시시스템의 흐름도;

도 19는 도 18의 '이벤트에 근거한 제어매체'를 도시하는 흐름도;

도 20은 도 18의 '공정 바인딩 이벤트'를 도시하는 흐름도;

도 21은 도 18의 '표시 시간적 흐름'을 도시하는 흐름도;

도 22는 도 18의 '공정 기타 이벤트'를 도시하는 흐름도.

[발명을 실시하기 위한 최적형태]

도 1에는 본 발명에 따른 대화시스템(10)이 도시되어 있는데, 이 대화시스템(10)은 검출공간(12), 제어컴퓨터(14) 및 임의의 시스템(16)을 포함하고 있다. 검출공간(12)에는 후술할 다수의 대화기(18)들이 접속되어, 검출공간내에서 이동될 수 있고, 그로부터 제거될 수 있게 되어 있다. 검출공간과 접속되는 이러한 대화기(18)들은 의미가 직관적이고 융통성이 있으며, 풍부한 인간/컴퓨터 인터페이스를 정의하는데 일조를 하며, 다중 동시사용자들에 의해 사용할 수 있게 되어 있다.

여기서 사용되는 '검출공간'등과 같은 용어는 물리적세계에서의 어느 n차원 공간을 나타낼 수 있다. 상기 검출공간은 '검출필드', '이벤트 필드'등으로 이하 언급하겠다. 따라서, '공간', '필드', '영역', '볼륨'과 같은 용어들은 여기서 동의어로서 간주되여야 한다. 그러나, '필드'는 2차원 검출공간에 대해 보다 자주 사용되는 반면, '공간'은 3차원 검출공간에대해 보다 자주 사용되겠다.

우리는 3차원세계에 살고 있기 때문에, 실제의 모든 세계 검출공간은 3차원의 양상을 가지고 있다. 그러나, 차원들 중 2개만이 컴퓨터(14)의 입력으로 사용될 경우, 검출필드는 '2차원'의 관점에서 언급하겠다. 마찬가지로, 한 개의 차원만이 컴퓨터(14)의 입력으로 사용될 경우에는 그 필드는 '1차원'관점에서 언급하겠다. 또한, 본 발명의 모든 실시예에서 검출공간은 시간적으로 변화될 수 있으며, 따라서 4차원 검출공간이 형성될 수 있다. 검출공간 및 필드의 여러 예에 대해서는후술하겠다.

상기 컴퓨터(14)는 여러 업체들 중 하나에 의해 제조된 범용 마이크로컴퓨터일 수 있다. 일례로, 컴퓨터(14)는 AppleComputer, Inc. 에서 제조한 Macintosh 컴퓨터 시스템 또는 Compaq, IBM, Packard-Bell에서 제조한 PC/AT 호환 DOS 컴퓨터시스템등등 일 수 있다. 상기 컴퓨터(14)는 검출공간(12)내에 위치한 대화기(18)에 관한 정보를 수신할 수 있도록 부호(20)으로 표시된 바와 같이 검출공간(12)에 접속된다. 컴퓨터시스템(14)의 내부 또는 외부에서는 검출공간(12)과 컴퓨터(14)간에 인터페이스가 구성된다. 본 발명의 바람직한 인터페이스구성에 대해 후술하겠지만, 그렇다 하더라도 인터페이스의 설계 및 구성은 기술상 공지된 것이다.

컴퓨터(14)에 임의의 시스템(16)을 접속시킴으로써 대화기들과 임의 시스템(16)이 제어컴퓨터(14)내에서 대화가능하다.시스템(16)은 컴퓨터(14)에 대한 입력부 또는 출력부로서 동작할 수 있다. 시스템(16)은 컴퓨터(14)에 대한 입력부로서사용될 경우 대화기(18)와 검출공간(12)간의 대화로부터 유도된 라인(20)상의 데이타와 함께 사용되는 데이타를 라인(22)상에 제공할 수 있다. 시스템(16)은 시스템(14)에 대한 출력부로서 사용될 경우 대화기(18)과 검출공간(12)간의 대화에의해 제어될 수 있다. 상기 시스템(16)은 비디오테이프 플레이어와 같이 규격의 상업용으로 설계되거나, 특정 용도를 위해 설계된 주문 시스템일 수 있다.

도 2에는 시간적 흐름에서의 이벤트들을 표시하도록 사용되는 대화시스템(24)가 개략적으로 도시되어 있다.

상기 대화시스템(24)은 검출필드(26), 컴퓨터(28) 및 비디오시스템(30)을 포함한다. 이러한 대화시스템(24)에 의해 비디오테이프 또는 다른 비디오소자가 비디오시스템(30)의 화면(32)상에 디스플레이될 수 있고, 이벤트들이 대화기(34)들을검출필드(26)에 접속시킴으로써 '표시(mark)'될 수 있다. 비디오 화면(32)상의 영상은 비디오시스템(30)의 기록/재생장치(35)내에서 기록되거나, 비디오 시스템(30)의 비디오카메라(36)에 의해 생성되는 일시적인 영상일 수 있다. 영상은 기록될 경우 기록과 동시에 또는 기록 후 '표시'될 수 있다. 후자의 경우, 장치(35)는 이벤트 표시를 위해 앞서 기록된 비디오테이프를 재생하는 재생모드에서 간단히 사용될 수 있다.

본 실시예에서 검출필드(26)는 'x' 및 'y'의 두방향 모두에서 대화기(34)들의 위치를 검출할 수 있다는 점에서 2차원 검출필드이다. 그러나, 도 2의 검출필드(26)는 본 실시예에서의 검출필드로부터 수직변위(즉, 2방향)를 검출하지 못한다.상기 검출필드(26)에는 대화기(34)가 통상의 각도에서 검출필드(26)와 접속할 수 있도록 4개의 V자형 채널(38)들이 제공된다. 각 채널(38)에는 다수(일례로, 12개)의 대화기(34)들이 접속될 수 있다.

검출필드(26)는 인터페이스(40)에 의해 컴퓨터(28)에 접속된다. 특히, 검출 필드(26)은 제 1케이블(42)에 의해 인터페이스(40)에 접속되고, 인터페이스(40)는 제 2케이블(44)에 의해 컴퓨터(28)에 접속된다. 검출필드(26)과 인터페이스(40)의 구조 및 동작은 후술하겠다.

컴퓨터(28)에는 케이블(46)에 의해 비디오시스템(30)이 접속되어 있다. 바람직하게 컴퓨터(28)는 케이블(46)의 일단에서적당한 접속기와 접속되는 내부 비디오 인터페이스를 포함한다. 다른 실시예의 경우에는 비디오시스템을 컴퓨터에 접속시키기 위한 다른 구성을 포함한다. 비디오시스템(30)과 비디오시스템 인터페이스카드(도시 안됨)는 캘리포니아에 소재하는Radius Corporation에서 시판하는 것을 사용할 수 있다. 비디오카메라(36)는 케이블(48)에 의해 기록/재생장치(35)에 접속되거나, 상술한 비디오 인터페이스카드(도시 안됨)을 통해 컴퓨터(28)내에 직접 접속될 수 있다. 비디오 카메라(36)과같은 비디오 카메라는 일본의 Sony Corporation을 포함한 여러 제조자들이 시판하고 있는 것을 사용할 수 있다.

도 3은 검출필드(26)의 측면도로서, 4개의 V형 채널(38)들중 3개에 대화기(34)들이 접속되어 있는 상태가 도시되어 있다.비록 각 채널(38)에 단지 하나의 대화기가 접속되어 있는 것으로 도시되어 있지만, 각 채널에 다수(일례로, 12개)의 대화기(34)가 동시에 접속될 수 있다. 검출필드(26)의 몸체(50)은 바람직하게 목재 또는 플라스틱과 같은 절연물질로 제조된다.

본 발명의 양호한 실시예의 경우에는 각 V형 채널(38)의 제 1벽(54)에는 대화기가 채널들과 접속될 수 있는 위치에 각기대응하여 다수의 영구자석(52)이 제공된다. 대화기(34)들의 배면(56)들은 채널들의 벽(54)들과 결합될 수 있게 되어 있다.

즉, 바람직하게 채널들의 벽(54)들과 대화기들의 배면(56)들은 평면형의 형상을 가지고 있다. 각각의 대화기(34)에는 또한 대화기(34)의 배면(56)들이 V형 채널(38)의 벽(54)와 결합될시 자석(52)에 부착되는 자석(58)이 제공되어 있다. 이것은 대화기(34)가 채널(38)에 결합될 시 자석(52), (58)들의 반대(N/S)극들이 서로 대면하게 함으로써 달성된다. 자석(52), (58)들은 대화기(34)가 채널(38)에 결합되었을 때 수직방향으로 약간 오프셋되기 때문에, 힘 F가 대화기(34)의 각각에 가해져 배면(56)을 벽(54)에 부착한 상태로 견고하게 유지시키며, 대화기(34)의 베이스(60)를 V형 채널(38)의 벽(62)에 부착한 상태로 견고하게 유지시킨다. 따라서, 자석들은 대화기(34)들을 제위치에 유지시켜 줄 뿐만 아니라, 대화기(34)와 채널(38)간의 접촉표면간의 양호한 접속을 보장해준다.

도 4는 도시된 바와 같이, 각각의 채널(38)에는 다수의 접점(64)들과 접지스트립(66)이 제공되어 있다. 접점(64)들은 전기적인 전도성을 가지고 있으며, 채널들의 벽(54)내에 위치된다. 접지스트립(66)들도 전기적인 전도성을 가지고 있으며,채널들의 벽(62)들의 바닥 부근에 연결되어 있다. 후술하겠지만 대화기(34)는 V형 채널(38)에 적절히 결합될 시 접점(64)들중 하나 및 접지스트립(66)들과의 전기적인 접점을 형성한다. 자석(52), (58)들은 채널(38)내로 대화기(34)를 가압하는외에 대화기(34)가 의도된 접점(64)와 양호한 접촉을 할 수 있도록 x방향으로 적절히 정렬될 수 있게 해준다. 이러한 바람직한 결과는 자석(52), (58)들이 대화기를 x방향으로 정렬되게 작용하는 힘을 발생시킬 것이기 때문에 달성된다. 접점(64)와 접지 스트립(66)은 일례로 구리 또는 기타의 적당한 전도성물질로 형성할 수 있다.

도 5에 도시된 대화기(34)의 사시도에는 베이스(60)와 배면(56)이 도시되어 있다. 도 5의 대화기(34)의 몸체(68)는 직사각형 프리즘으로서, 목재 또는 플라스틱과 같은 비전도성물질로 형성된다. 베이스(60)는 V형 채널(38)의 접지스트립(66)과 결합하게 되어 있는 박막부재(70)를 포함한다. 배면(56)에는 접점(72)들이 부착되어 있는데, 이 접점(72)는 V형 채널(38)의 접점(64)들 중 하나와 결합하게 되어 있다. 박막(70)과 접점(72)들은 구리와 같은 적당한 전도성물질로 형성된다.

대화기(34)들과 검출필드(26)들은 여러 사람들이 동시에 사용할 수 있도록 그리고 용이하게 사용할 수 있도록 크기가 정해진다. 일례로, 대화기(34)는 약 0.5인치×1.5인치×2.0인치의 칫수를 가질 수 있으며, 검출필드는 약 1피트×2피트×3인치(높이)를 가질 수 있다. 이에 따라 대화기(34)는 사용자가 손으로 편안히 잡을 수 있으며, 다수의 사용자들이 검출필드(26)과 동시에 대화할 수 있게 된다.

도 5a에는 대화기(34)의 내부회로가 도시되어 있다. 이 회로는 식별자(식별자 칩(74))와 다이오드(76)을 포함하고 있다.식별자 칩은 Dallas Semiconductor ofTexas에서 부품번호 DS2401로 시판하고 있는 것을 사용할 수 있으며, 적절히 질의될 시 독특한 48-비트 식별자를 제공한다. 다이오드(76)는 키보드 설계분야에서 숙련된 자에게 잘 알려져 있는 바와 같이허위 키이조작을 방지한다. 식별자칩(74)는 다이오드(76)에 의해 노드(70)에 접속되며 라인(78)에 의해 접점(72)에 접속된다.

도 6에는 검출필드(26)의 내부 회로(80)이 예시되어 있다. 특히, 내부 회로(80)는 상술한 4개의 접지 스트립(66)들과 접점(64)들을 포함하고 있다. 접점(64)들은 선(82)들에 의해 다수의 행으로 함께 접속되고, 풀업(pull-up)저항(84)에 의해Vcc(일례로, 5볼트)에 접속되어 있다. 풀업저항(84)와 접점(64)간의 회로(80)의 노드들은 버퍼레지스터(86)에의 입력이되는 12비트 버스를 형성한다. 유사하게, 접지스트립(66)들은 4비트 버스로 접속되어, 레지스터(86)으로 입력되게 된다.마이크로프로세서(88)(텍사스, 오스틴에 소재하는 Motorola에서 제조한 M68H141과 같은)가 버스(90)을 거쳐 레지스터(86)와 통신한다. 선택적으로, 레지스터(86)과 마이크로프로세서(88)은 인터페이스(40)를 포함하며, 12비트 버스와 4비트 버스가 선택적으로 버스(42)를 구성한다. 출력버스(44)는 마이크로프로세서(88)의 제어하에 동작하게 되어 있다. 당해 기술분야에서 숙련된 자라면 인터페이스(50)이 또한 스크래치-패드(scratch-pad) 저장용의 RAM과, 마이크로프로세서(88)등등에 관련된 제어명령들을 저장하기 위한 ROM과 같은 기타의 공지소자들을 포함한다.

이하, 도 7에 관련하여 회로(80)을 제어하도록 마이크로프로세서(88)상에서 동작하는, 컴퓨터를 이용한 공정(92)에 대해설명하겠다. 이공정(92)에 사용되는 명령들은 당해기술분야에서 숙련된 자라면 인지할 수 있는 바와 같이 인터페이스(40)의 상기한 ROM에 저장된다. 공정(92)는 단계(94)에서 시작하며, 제 1단계(96)에서 마이크로프로세서(88)는 비트맵들을 소거시킨다. 비트맵은 이진수들이 보드상의 특정위치에 맵핑되는 것을 의미한다.

이러한 비트맵들은 바람직하게 인터페이스(40)의 상기한 RAM 메모리에 저장되게 된다. 그 뒤에, 단계(98)에서 회로(80)의행들 및 열들이 판독되어, 현재의 비트맵에 기입된다. 다음에, 단계(100)에서 디바운스(debounce)루틴이 수행된다. 디바운스루틴은 키보드 및 컴퓨터 스위치 설계분야에서 숙련된 자에게는 잘 알려진 것이다. 그 뒤에, 단계(102)에서, '피스(piece)'들을 갖는 검출필드(26)상의 위치들이 비트맵상에 '표시'된다. 본 명세서에서 사용하는 '피스'는 대화기이다. 위치를 '표시'함으로써 검출필드(26)에 피스가 회로(80)과 전기적인 접촉을 이룰 수 있게 결합된다. 그 뒤에, 단계(104)에서, 검출필드(26)에 결합된 각 피스의 식별자가 판독되고, 그뒤에 피스들의 리스트(인터페이스(40)의 RAM 메모리에 저장된)와 비교된다. 단계(106)에서 만일 새로 판독된 식별자가 특정위치에 대한 구(old) 식별자와 동일하지 않으면 새로운피스가 기입되었다는 것(즉, 검출필드(26)과 결합되었다는 것)에 대한 보고 및 구 피스가 동일위치에서 픽업되었다는 것에 대한 보고가 이루어진다. 이 정보는 RAM에 저장된 큐(queue)에 추가된다.

단계(108)에서 만일 동일한 피스가 검출필드상의 동일위치에 있다면 피스가 여전히 기입된 상태에 있다는 것이 보고된다.단계(110)에서 만일 새로운 피스가 한 위치에서 검출되면, 피스가 검출필드(26)상에 위치되어 있다는 것이 보고된다. 그뒤에, 단계(112)에서 제거된 피스를 위해 배트맵의 주사가 이루어지며, 만일 제거된 피스가 검출되면 식별자가 보고된다. 그 뒤에, 단계(114)에서 현재의 비트맵이 구 비트맵내로 이동하게 된다. 그 뒤에, 단계(116)에서 사용자요구가 있는지의여부가 결정된다. 만일 '아니오'이면 공정제어는 단계(98)로 복귀된다. 만일 사용자요구가 있는 경우에는 단계(118)에서 그 사용자요구가 처리된다. 양호한 실시예의 경우, 상기 단계는 '보드상태 취함', 다음 이벤트 취함', '모든 이벤트 취함', '모든 이벤트 소거' 및 '보드형태(버전)취함'의 명령들을 처리하기 위한 사용자요구의 처리를 포함한다.

도 8a에 도시된 본 발명의 디지탈 단어(120)은 다수의 비트들을 포함한다. 특히, 현재의 단어는 55비트로 구성된다. 이들비트들중 비트 B0는 대화기의 상태를 나타내며, 비트 B1, B2는 대화기의 행을 나타내며, 비트 B3 내지 B6들은 대화기의 열을 나타낸다. 마지막으로, 비트 B7 내지 B54들은 대화기의 48비트 식별자들을 나타낸다. 이 데이타는 버스(44)를 거쳐컴퓨터(28)로 전달될 수 있다.

도 8b에는 상태변화테이블이 그에 관련된 의미들과 함께 도시되어 있다. 이미 설명한 바와 같이 단어(120)은 본질적으로특정 대화장에 대한 퇴장/입장(상/하)의 상태(즉, 대화기가 검출필드에 언제 그리고 얼마나 오래 위치되는가를 나타내는 상태)를 포함한다. 만일 현재의 상태값이 0이고, 최종 상태값이 0인 경우에는 그 행열위치에 피스(대화기)가 없다는 것을의미한다. 만일 현재상태가 1이 최종상태가 0인 경우에는 그 행열위치에 피스가 기입되어 있다는 것을 의미한다. 만일 현재 상태가 1 이고 최종상태가 1인 경우에는 검출필드가 주사된 최종시간이래 피스가 여전히 기입된 상태에 있다는 것을 의미한다. 최종적으로, 만일 현재상태가 0이고 최종상태가 1이면, 이는 피스가 픽업되었다는 것을, 즉 대화기가 검출필드로부터 제거되어 있다는 것을 의미한다.

도 9a, 9b, 9c들은 검출필드에 대한 세 개의 다른 실시예들을 도시하고 있다.

도 9a의 경우, 검출필드(122)는 대화기(124)가 x축을 따라 다수의 위치에 선형적으로 위치되게 해준다. 이는 일차원 검출필드를 예시하는 것이다. 여기서 주지할 점은 하찮은 말단에서 만일 검출필드(122)가 충분히 짧게 되는 경우에는 단일의 대화기(124)를 수용하기에 충분한 정도로만 크게 만들 수 있다. 이것은 대화기의 존재 또는 결여 및 대화기의 식별자번호를 단순히 검출할 수 있는, 즉 단순한 스위치로서 동작할 수 있는 0차원 검출필드를 포함한다.

도 9b의 경우에는, 대화기(128)을 삼차원, 즉 x, y, z축들을 따라 수용할 수 있는 검출공간(126)이 예시되어 있다. 대화기(128)의 x, y, z위치들은 모두 대화기의 컨텍스트 또는 의미를 결정하는데 사용될 수 있다. 일례로, 베이스플랫폼(130)은 제 1플랫폼(132), 제 2플랫폼(134), 제 3플랫폼(136), 제 4플랫폼(138), 제 5플랫폼(140)들과는 다른 의미를 가질 수있다. 일례로 플랫폼(136)은 대화기(128)들중 하나의 식별자를 변경하는데 전용으로 사용할 수 있다. 플랫폼(138)상의 물체들은 플랫폼(140)상의 '동봉(enclosing)' 대화기들일 수 있다. 따라서, 상기한 여러 플랫폼의 의미 및 관계들은 사용자에 의해 지정된 요구되는 기능들에 따라 설계될 수 있다.

또한, 도 9b의 검출공간(126)에 제 4의 칫수가 부가될 수 있다는 것을 주지해야한다. 다시 말하자면, 검출필드(126)은 시간에 따라 변화할 수 있다. 이를 달성하기 위한 한가지 방법은 플랫폼들이 그들의 의미가 변화할 수 있게끔 소정시간 이상 이동되게 하는 것이다. 일례로, 화살표(142), (144), (146)으로 표시되어 있는 바와 같이 플랫폼(134), (136), (138)들은 아마도 모터(도시 안됨)의 제어하에서 각기 상하이동을 할 수 있게 된다. 이에 따라, 대화기(128)은 소정기간이 지나면 다른 의미들을 갖게 된다. 일례로, 플랫폼(134)상의 대화기(128)은 플랫폼이 z방향으로 아래로 이동함에 따라 소정시간 후 감소하게 될 스피커의 볼륨레벨을 나타낼 수 있다. 따라서, 상술한 바로부터, 검출공간 또는 검출필드가 n-차원(여기서, n은 0, 1, 2, 3, 등등)이 될 수 있다는 것이 분명하다.

상기한 실시예들의 경우, 검출필드 및 검출공간들은 항상 데카르트(x, y, z)좌표에 의해 매핑되어 있게 된다. 도 9c의 경우에는 표면에 다수의 대화기가 접착(일례로, 자석에 의해)되게 되는 검출공간(148)이 구형체의 형태로 제공된다. 이러한구형 검출공간 또는 검출필드가 사용됨에 따라 구형 좌표계를 사용하여 대화기들의 위치를 결정하기가 보다 편리하게 될수 있을 것이다. 또한 불규칙한 형태의 검출필드와 같은 다른 형태의 검출필드들을 제공할 수 있다는 것도 주지해야 한다.

이하, 본 발명을 두 실시예를 통해 상세히 설명하겠지만, 이외에도 대화방법 및 대화시스템들을 사용하여 양호한 효과를얻게 할 수 있는 여러 적용이 있다는 것을 인지할 수 있을 것이다.

[실시예 1]

오디오 제어시스템

도 10에는 본 발명의 특정실시를 위해 사용할 수 있는 대화기(152)가 도시되어 있다. 이 대화기(152)는 도 5 및 도 5a에도시된 대화기(34)와 매우 유사한 방식으로 기능동작을 행하는 본체(154)를 포함한다. 대화기(152)는 도 3, 4, 6에 도시된 검출필드(26)과 유사한 또는 동일한 검출필드와 함께 사용할 수 있다. 대화기(152)와 함께 사용되는 검출필드(26)는 또한 검출필드와 컴퓨터시스템(28)을 서로 접속시키도록 동일한 인터페이스(40)을 사용할 수 있다.

대화기(152)와 상술한 대화기(34)간의 차이는 그들이 서로 다른 메타포어들을 지지한다는 점에서 성질면에서 컴퓨터적이 아니고 관련이 있는 설계에 있다. 대화기(152)와 함께 인형헤드(156) 또는 다른 탈리스먼(talisman)이 제공되는데, 이 인형 헤드(156)에는 본체(154)의 구멍(160)에 결합할 수 있는 못대(158)를 가지고 있다.

몸체(154)에는 작은 크기의 화이트보드(162)가 한쌍의 후크-앤-파일(hook-and-pile) 부재(일례로, Velcro)(164a, 164b)에 의해 분리가능하게 부착된다. 상기 후크-앤-파일 부재(164a)는 몸체(154)의 표면에 부착되며, 부재(164b)는 화이트보드(162)이 배면에 부착된다.

이러한 방식으로, 화이트보드(162)는 대화기(152)의 몸체(154)에 분리가능하게 부착될 수 있다. 화이트보드(162)상에는표시기(166)을 사용하여 이름 'Fred'로 예시한 바와 같이 이름, 레벨 또는 기타 표시를 할 수 있다. 따라서, 대화기(152)는 헤드구조(156) 및 화이트보드(162)상의 이름 모두에 의해 Fred라는 이름을 가진사람을 나타내도록 사용할 수 있다. 인간-컴퓨터 인터페이스의 메타포어에 도움을 주는 독특한 시각적인, 청각적인 도는 기타의 감각적인 식별자가 대화기에제공된다는 점에서 본 발명은 유용한 특징을 갖는다.

도 11a에는 여러 위치에 위치될 수 있는 다수의 대화기(168)들을 갖는 검출 필드(166)이 도시되어 있다. 이 경우, 대화기들중 하나인 대화기(168a)는 사용자 자체를 나타낸다. 본 실시예의 경우 다른 대화기(168)들은 다른 사람들을 나타낸다.설명한 바와 같이, 대화기들은 그들의 상대 x, y 위치들을 서로에 대해 변화시킬 수 있게 이동가능하게 되어 있다. 따라서, 본 발명의 대화기들은 대화기들에 의해 표시되는 여러 사람들에 의해 만들어지는 발언들이 대화기들로 표시된 바와같이 공간적으로 위치하는 것처럼 보이게 되어 있는 '가상 방'을 형성시키는 것이 가능하다.

따라서, 본 발명의 대화기들 및 검출필드는 '가상 방'내에 집단들을 형성하고 각 그룹의 여러 멤버들의 상대위치를 변화시키기 위한 제어기로서 사용될 수 있다.

일례로, 도 11a의 경우, 사용자의 대화기가 이동하기 전에는 두 사람이 사용자의 좌측으로 대화를 하고 있는 것으로 보이며, 두사람에 사용자의 전방에서 사용자의 우측으로 대화를 하고 있는 것으로 보인다. 대화기(168a)가 새로운 위치(168a')로 이동한 후에는 분명히 사용자의 좌측에 있던 두사람이 이제는 사용자의 뒤에 있게 될 것이며, 사용자의 전방및 우측에 있던 두 사람은 사용자의 바로 우측에 있게될 것이다. '가상 방'으로부터 대화기(168)들 중 임의의 하나를 제거하면, 그에 대응하는 사람은 더 이상 대화에 참여할 수 없을 것이고, 방으로부터 사용자의 대화기(168a)를 제거하면(즉,검출필드(166)으로부터 대화기를 제거하면) '가상 방'이 제거될 것이다. 물론, 요구되는 착각을 발생시키기 위해서는 적당한 갯수의 스피커가 필요할 것이다.

도 11b의 경우에는 상술한 바와 동일한 목적을 위해 약간 변경된 검출필드(166')가 사용된다. 그러나, 상술한 실시예의경우에는 사용자자체를 나타내는 대화기가 검출필드(166)내에 존재하는 반면, 도 11b의 실시예의 경우에는 사용자가 검출필드(166')상에서 그 자체를 나타내는 대화기를 가지고 있지 않다. 도 11a에 예시된 실시예의 경우, 사용자는 검출필드상에 있고 그 검출필드상에서 다른 대화기들에 대해 상대적으로 이동할 수 있다는 점에서 '구현'되는 것으로 말할 수 있다.그러나, 도 11b에 도시된 '비구현' 또는 '옴니션트(omniscient)' 버젼의 경우에는, 사용자의 위치가 검출필드(166')상에있는 또는 그로부터 벗어난 소정의 지점에 고정된다. 일례로, 사용자는 검출필드(166')에서 바로 벗어난 지점(170)에 위치될 수 있을 것이다.

그러나, 대화기(168)로 표시된 다른 사람들은 도 11a의 실시예에서 얻을 수 있는 효과의 대부분을 얻을 수 있도록 사용자에 대해 조정가능하다.

도 11c에는 검출필드(166)의 잠재적인 '레이아웃'이 예시되어 있다. 만일 대화기가 필드의 배면면부근에 위치하면 대화기로 표시되는 사람과 관련된 볼륨은 가장 조용한 상태에 있게 된다. 대화기를 검출필드의 전면부근에 위치시키게 되면, 관련된 사람은 가장 시끄러운 상태에 있게 된다. 검출필드의 중앙 아래, 좌, 우측가장자리상의 특정위치들은 '팬(pan)', '정보 취득(get info)' 또는 '할당(assign)'과 같은 특수 기능을 수행할 수 있다.

도 12에는 본 발명에 따른 대화시스템(172)가 도시되어 있는데, 이 대화시스템(172)은 오디오서버(174)와, 다수의 워크스테이션(176)들을 포함한다. 대화기시스템(172)는 하나의 시스템으로서 도 11a 및 11b에 관련하여 설명한 기능들을 수행할수 있다.

오이오서버(174)는 데이타서버(178)과, MIDI 시계(180), 다수의 MIDI장치(182), 그리고 오디오집중장치(184)를 포함한다.데이타서버(178)은 네트워크버스(186)으로부터 데이타를 수신하며 버스(188)에 의해 MIDI 시계(180)에 접속되어 있다.MIDI 시계(180)은 버스(190)에 의해 MIDI 장치(182)의 랙(rack)에 접속되어 있고, MIDI 장치(182)의 출력은 버스(192)에 의해 집중장치(184)에 접속되어 있다. 집중장치(184)는 입력으로서 다수의 오디오선(194)를 가지고 있다.

각 워크스테이션(176)은 상술한 바와 같이 컴퓨터(196)와, 인터페이스(198)와, 검출필드(200)을 포함한다. 검출필드(200)의 표면상에는 도 11a와 11b와 관련하여 상술한 바와 같이 하나 이상의 대화기(202)가 설치되어 있다. 또한 워크스테이션은 한쌍의 스테레오 스피커(204)와 한쌍의 스테레오 마이크로폰(206)을 포함한다. 스피커(204)들은 스피커확성기들을 포함하는 제어박스(208)에 직접적으로 접속되어 있다. 마이크로폰들은 제어박스(208)에 접속되어 있는 전치증폭기(210)에접속되어 있다. 제어박스(208)은 또한 마이크로폰 증폭기들을 포함하고 있다. 오디오라인(104)들에 의해 마이크로폰신호들이 집중장치(184)로 전달되며, 집중장치(184)로부터 스피커신호가 여러 스피커(204)로 전달된다.

도 13의 블록도에는 대화시스템(172)를 동작시키기 위한 소프트웨어가 개념적으로 예시되어 있다. 데이타버스(186)에 의해 시스템(172)의 여러소자들을 서로 접속시키는데 필요한 데이타들이 전달되는데, 이 데이타버스의 네트워크기능은 일례로 Apple Local Talk 또는 Ethemet 네트워크 프로토콜에서 실시할 수 있다. 그러나, 네트워크버스(186)의 네트워크기능은또한 Novell Netware 또는 전통적인 네트워크 소프트웨어와 같은 다른 네트워크 프로토콜을 사용하여 제공할 수도 있다.

본 발명의 대화시스템(172)를 실시하는 데는 3개의 소프트웨어루틴이 사용된다. 즉, 각 워크스테이션(176)은 적용프로그램 및 네트워크 라이브러리(library)를 동작시키며, 데이타서버(178)는 데이타서버소프트웨어와 네트워크 라이브러리를동작시킨다. 적용프로그램(212)은 대화시스템(172)의 일부를 구성하는 워크스테이션(176)들의 각각에 포함된 컴퓨터(196)상에서 동작한다. 네트워크 라이브러리는 개념링크(216)을 통해 네트워크 버스(186)과 통신하며, 개념링크(218)을 통해적용프로그램과 통신한다. 적용프로그램(212)은 개념링크(220)을 통해 네트워크버스(186)과 통신한다. 링크(216, 218,220)들은 버스에 대한 물리적인 링크가 아니라 동작하는 시스템소프트웨어, 네트워크 소프트웨어, 내부 버스, 네트워크카드 등등을 통한 논리링크이기 때문에 개념적인 것으로 간주된다.

데이타서버(178)상에서 동작하는 소프트웨어는 네트워크 라이브러리(222)와 데이타서버 소프트웨어(224)를 포함한다. 이네트워크 라이브러리는 네트워크 버스에 대한 개념 링크(226)과 데이타서버 소프트웨어(224)에 대한 개념 링크(228)을가지고 있다.

상기 데이타 서버 소프트웨어는 네트워크 버스(186)에 대한 개념링크(230)를 가지고 있다.

본 실시예의 경우, 네트워크버스(186)와 적용 프로그램(212) 그리고 데이타 서버 소프트웨어(224)간의 개념링크(220),(230)들은 Apple 네트워크 시스템에 의해 발생되는 Apple Event이다. 네트워크 라이브러리 및 네트워크 버스(186)들 간의개념 링크(216), (226)들은 바람직하게 규격의 Apple Talk 또는 Ethernet 데이타 패키지들이다.

도 14에는 워크스테이션(176)에서 동작하는 적용프로그램(212)가 예시되어 있다. 공정(212)는 단계(232)에서 시작되며,단계(234)에서 공정의 보드형태 및 현재의 보드공간이 초기화된다. 다음에, 단계(236)에서 시스템상의 모든 사람들의 상태가 보드상태 및 보드형태에 따라 전달된다. 초기화 및 전달단계후 공정의 다음의 이벤트에 대기하도록 이벤트큐(queue)(238)로 입장한다. 만일 다음의 이벤트가 '픽업(pick-up)이벤트인 경우에는 단계(240)에서 대화기가 제어공간내에있는지의 여부가 결정되게 된다. 본 명세서에서 사용되는 제어공간은 공정을 제어하는데 사용하는 검출필드의 전용부분을나타낸다. 만일 제어공간의 할당(대화기에의 할당)이 있으면, 공정은 단계(238)로 복귀한다. 만일 제어공간이 인간제어공간인 경우에는 단계(242)에서 오디오가 차단되고, 공정은 단계(238)로 복귀된다.

만일 단계(240)에서 대화기가 제어공간내에 있지 않은 것으로 결정되면, 보드(즉, 검출필드)가 자체로 구현되는 지의 여부가 단계(246)에서 결정된다. 만일 '예'인 경우에는 단계(248)에서 사용자('자체')를 나타내는 대화기가 보드로부터 제거되었는지의 여부가 결정된다. 만일 '아니오'이면, 단계(250)에서 시스템은 서버로의 오디오궤환 및 새로운 상태를 제공한다. 만일 사용자를 나타내는 대화기가 자체구현 보드로부터 제거된 경우에는 단계(252)에서 오디오궤환을 제공하고 모든 사용자에 대한 음의 전달을 차단시킨다.

만일 이벤트큐가 검출필드상에 기입된 대화기를 검출하면, 단계(254)에서 그 대화기가 제어공간내에 기입되었는지가 결정된다. 만일 '예'이면, 단계(256)에서 인간정보가 제공된다. 만일 할당공간내에 대화기가 기입되었다면, 단계(258)에서 대화기에 대한 할당이 입력된다. 단계(256) 및 (258)이 완료된 후, 공정은 단계(238)로 복귀된다. 다음에, 단계(260)에서 자체구현보드가 있는지의 여부가 결정된다. 만일 '예'이면 단계(268)에서 사용자를 나타내는 대화기가 검출필드상에 위치되어 있는지의 여부가 결정된다. 만일 '아니오'이거나, 단계(260)에서 자체구현보드가 없을 경우에는 단계(264)에서 오디오궤환이 제공되고, 대화기를 나타내는 사람에 대한 데이타가 리셋된다. 그렇지 않으면, 단계(268)에서 사용자를 나타내는 대화기가 검출필드상에 위치되어 있는지의 여부가 결정되고, 오디오궤환이 제공되며, 대화기들에 의해 표시된 모든 사람들의 리셋이 초기화된다. 단계(264) 또는 (266)의 완료후, 공정은 단계(238)로 복귀된다.

도 15에는 도 13의 네트워크 라이브러리(214)의 기능이 보다 상세하게 도시 되어 있다. 네트워크 라이브러리(222)의 기능은 대체로 동일하다. 공정(214)은 단계(268)에서 시작하며, 단계(270)에서 기능호출이 수신되었는지의 여부가 결정된다.만일 '아니오'이면, 공정(214)은 기능호출에 대기하는 아이들 루프(idle loop)로 진행한다. 만일 기능호출 '이벤트 수신'이 수신되면, 단계(272)에서 이벤트에 관한 정보와 함께 요청 프로그램이 제공된다. 만일 '이벤트 송신'에 대응하는 기능 호출이 수신되면 단계(274)에서 다른 프로그램들과의 통신을 위해 기능호출로부터 Apple Event가 발생된다. 단계(272) 및(274)의 완료후 공정은 기능호출 이벤트루프(270)으로 복귀된다.

도 16에는 도 13의 데이타 소프트웨어서버(224)의 동작이 상세하게 예시되어 있다. 공정(224)는 단계(276)에서 시작되며,단계(278)에서 Apple Event가 수신되었는지의 여부가 결정된다. 본 공정(224)은 Macintosh 종으로, 유사 또는 대등한 공정들을 다른 형태의 컴퓨터시스템에 사용할 수 있다. 만일 Apple Event가 수신되지 않았다면, Apple Event가 수신될 때까지 Apple Event 루프(278)가 반복된다. 만일 Apple Event가 '값 변화' Apple Event인 경우에는, 단계(280)에서 비밀침해가 있는지의 여부가 결정된다. 만일 '예'인 경우에는 단계(282)에서 비밀침해를 처리하기 위한 에러처리기를 통지한다. 만일 단계(280)에서 비밀침해가 검출되지 않은 경우에는, 단계(284)에서 동적 정보 데이타베이스의 갱신이 행해진다. 그 뒤에, 단계(286)에서 MIDI 데이타가 계산된 후 송신된다. 이후의 단계(288)에서는 상기 기능과 관련이 있는 사용자들이 통지되고, 공정은 단계(278)로 복귀된다. 만일 '값 조회' Apple Event가 검출되면, 단계(290)에서 비밀침해가 있는 지의 여부가 결정된다. 만일 '예'이면, 단계(292)에서 에러기능을 갖는 네트워크 라이브러리를 통지하고, 공정은 단계(278)로 복귀된다. 만일 단계(290)에서 비밀침해가 있지 않은 것으로 결정되면, 단계(294)에서데이타베이스로부터 정보가 검색된다. 최종적으로 단계(296)에서 네트워크 라이브러리가 응답에 호출되고, 공정은 단계(278)로 복귀된다.

[실시예 2]

비디오테이프 마킹 시스템

본 제 2실시예에서는 비디오테이프에 이벤트들을 '표시' 또는 '기입'하도록 대화시스템(24)와 같은 대화시스템이 제어된다. 도 17에서, 검출필드(298)는 3개의 영역(300a), (300b), (300c) 및 다수의 대화기(302)들을 포함한다. 각 대화기는그의 동일성, 검출영역(298)의 여러 영역(300a), (300b), (300c)에서의 위치, 검출영역 내에서 존재하는 시간량 또는 시간 '형태'(상/하 또는 종종 퇴장/입장으로 언급 됨) 때문에 의미를 가지고 있다. 도 2에 관련하여 이미 설명한 바와 같이기록매체의 시간적인 흐름을 표시 및 제어하기 위해 여러 물체(302)들이 사용될 수 있다.

본 명세서에서 사용되는 '시간적 흐름'은 실시간 또는 컨텍스트에 관련된 소정의 다른 시간들 모두에서 이벤트들의 흐름으로 설명된다. 따라서, 이벤트들은 시간적인 흐름으로 표시될 수 있으며, 또한 이미 기록된 이벤트들 또는 현재 기록중인 이벤트들도 시간적인 흐름으로 표시될 수 있다. '표시'는 완전히 시간적(실시간에서와 같이)이고, 특정 발단에 대해시간적이고(테이프의 시작이래 수 초와 같이), 또는 측정값이 시간적인 흐름으로 변환될 수 있다는 점에서만 시간적(테이프의 수 피트 또는 프레임 수와 같이)이다. 비록 본 실시예가 기록 비디오매체에 관한 것이라 하더라도, 오디오 매체와 같은 또 다른 매체의 시간적인 흐름의 표시 및 제어또한 수행될 수 있을 것이다.

도 18에는 시간적인 흐름을 표시 및 제어하기 위해 도 2의 컴퓨터(28)상에서 동작하는 컴퓨터에 의한 공정(304)이 도시되어 있는데, 이 공정(304)는 단계(306)에서 시작하며, 단계(308)에서 비-보드(non-board) 이벤트가 수신되었는지의 여부가결정된다. 만일 그렇다면, 이 '다른' 형태의 이벤트는 단계(310)에서 수행되고, 공정은 단계(308)로 복귀된다. 그 뒤에,단계(312)에서 보드 이벤트가 수신되었는지의 여부가 결정된다. 만일 '아니오'이면, 공정은 단계(308)로 복귀된다. 만일보드 이벤트가 수신되었다면, 단계(314)에서 보드가 등록되게 되며, 단계(316)에서 무효 보드 이벤트가 수신되었는지의여부가 결정된다. 무효 보드 이벤트는 검출필드에 수신된 대화기가 없다는 것을 의미하거나 검출필드내의 대화기의 상태에 변화가 없다는 것을 의미한다. 만일 그렇다면, 공정은 단계(308)로 복귀한다. 그러나, 만일 보드 이벤트가 수신 되었다면(즉, 무효 보드 이벤트가 아니면), 단계(318)에서 보드 이벤트가 분석된다. 다음에, 단계(320)에서, 대화기의 식별자, 위치 그리고 그것이 상 또는 하(즉 검출영역내의 대화기의 시간적인 기간)인가의 여부에 대한 임의의 조합(일례로, 임의의 하나, 임의의 둘 또는 셋 전부)에 따라 이벤트의 형태가 결정된다.

다음에, 단계(332)에서, 분석된 이벤트가 형태별로 처리된다. 만일 매체 이벤트인 경우에는 단계(324)에서 이벤트에 따라 매체가 제어된다. 만일 바인딩(binding) 이벤트인 경우에는 단계(326)에서 바인딩 이벤트가 처리된다. 만일 표시 이벤트인 경우에는 단계(324)에서 시간적인 흐름이 표시된다. 이 경우, 시간적인 흐름은 비디오 플레이어로부터 프레임정보를수신하고 이 프레임정보를 이벤트 형태와 함께 컴퓨터(28)상의 데이타베이스내에 저장함으로써 표시되게 된다. 만일 이벤트 형태가 인식되지 않거나, 단계(324), (326), (328)들이 처리된 상태에서는 공정은 단계(308)로 복귀된다.

도 19에는 도 18의 단계(324)가 보다 상세히 예시되어 있다. 이벤트에 근거하여 매체를 제어할 수 있도록 공정(324)는 단계(320)에서 시작되며, 단계(332)에서 검출필드의 대화기의 의미가 대화기의 식별자. 위치 및 상 또는 하인가의 여부에따라 결정된다. 상기의 의미는 대화기의 존재(상/하), 대화기의 식별자, 및 대화기의 위치의 임의의 조합에 따라 결정될 수 있을 것이다. 그 뒤에, 단계(334)에서, 상기 의미는 매체 시스템용의 제어명령(일례로, 정지, 고속전진, 속도 등등)으로 변환된다.

도 20에는 도 18의 단계(326)이 구체적으로 예시되어 있다. 공정(326)은 단계(338)에서 시작하며, 단계(326)에서 대화기의 현재의 의미가 디스플레이된다. 그 뒤에 시스템은 단계(324)에서 사용자가 대화기의 현재의미를 재 정의하기를 원하는지의 여부를 결정한다. 만일 '아니오'이면, 공정(326)은 단계(352)에 표시되어 있는 바와 같이 완료된다. 만일 사용자가특정 대화기의 의미를 재 정의하기를 원한다면, 단계(344)에서 어떠한 재정의 형태가 요구되는지가 결정된다. 만일 위치의 의미가 '식별자의 재-바인딩'인 경우에는 단계(346)에서 의미에 대한 식별자의 바인딩이 재정의된다. 만일 물체의 의미가 '위치의 재 정의'인 경우에는 시스템은 단계(384)에서 의미에 대한 위치의 바인딩을 재정의한다. 만일 위치 또는 식별자의의미가 '근접의 재 정의'인 경우에는, 단계(350)에서 의미에 대한 근접의 바인딩이 재정의된다.

본 명세서에서 사용하는 '근접'에 대한 정의는 대화기와 검출필드간의 거리, 또는 검출공간내에서의 대화기의 위치에 대한 척도이다. 바인딩단계(346), (348) 또는 (350)의 완료후, 공정(326)자체는 단계(352)에 표시된 바와 같이 완료된다.

도 21에는 도 18의 단계(238)이 구체적으로 도시되어 있다. 공정(328)은 단계(352)에서 시작하며, 단계(354)에서 매체의 현재의 시간 값이 검색된다. 다음에, 단계(356)에서, 표시에 시간값, 그리고 식별자, 위치 및 검출필드에 대화기가 '상 또는 하'중 어떻게 위치되어 있는가에 따른 의미가 저장된다. 그 뒤에, 공정(328)은 단계(358)에서 완료된다.

도 22에는 도 18의 단계(310)에 구체적으로 예시되어 있다. 공정(310)은 단계(360)에서 시작하며, 단계(362)에서 이벤트의 형태가 결정된다. 만일 이벤트 형태가 보드제어인 경우에는 단계(364)에서 보드 제어명령이 발생된다. 만일 이벤트 형태가 '데이타베이스'인 경우에는, 단계(366)에서 표시들의 데이타베이스가 조정된다. 만일 이벤트형태가 '관측 매체'인 경우에는, 단계(368)에서 매체제어명령이 발생된다. 만일 이벤트 형태가 장치제어'인 경우에는 단계(370)에서 제어할 장치가 선택된다. 단계(364), (366), (368), 또는 (370)의 완료후, 공정(310)은 단계(372)로 표시된 바와 같이 완료된다.

지금까지 본 발명의 실시예에 관해 설명하였으나 본 발명은 이에 국한되지 않고 이하의 특허청구범위의 범위내에서 변경이 가능함은 물론이다.

본 발명은 '대화기(interactor)'를 사용하여 인간-컴퓨터 인터페이스를 개선시키고 있다. 인터페이스는 검출필드를 다른시스템들에 접속될 수 있는 제어 컴퓨터 시스템에 접속시켜준다. 대화기가 검출필드에 도입되어 검출필드내에서 옮겨다니거나 검출필드로부터 제거되면, 이벤트(event)가 검출되는데, 이 이벤트는 컴퓨터시스템에 전달될 시 제어기 컴퓨터시스템 또는 그 제어기 컴퓨터시스템에 접속된 시스템을 위한 제어신호를 발생시키는 데 사용할 수 있다. 바람직하게, 검출필드는 여러 사용자가 동시에 억세스할 수 있도록 그리고 여러 대화기들이 동시에 필드에 접속될 수 있게 적당한 크기 및구성을 가진다.

'대화기'는 정보를 제어기 컴퓨터시스템 및 사용자 모두에 전달할 수 있는 물리적인 실제 세계 물체가 사용된다는 것을의미한다. 대화기는 내장식 컴퓨터칩,바코드 등등을 통해 컴퓨터에 식별(ID) 정보를 제공할 수 있다. 또한, 프로그램논리어레이, 마이크로프로세서 또는 심지어 풀-블로운(full-blown) 마이크로컴퓨터와 같은 보다 높은 레벨의 논리회로를 내장시킴으로써 물체를 대화기로 형성시킬 수 있다. 대화기는 사용자에 의해 최소한 하나의 물체에 정보가 할당되게 되어있는 시스템의 일부를 형성한다.

본 발명에 따라 대화시스템은 검출공간과, 그 검출공간내에서 수동으로 조작 가능한 다수의 대화기들을 포함한다.

상기 대화기들은 바람직하게 유일한 식별자(ID)를 가지고 있다. 검출공간내의 대화기들에 응답하는 인터페이스는 대화기들에 관한 정보(일례로, 식별자, 위치, 퇴장/입장(EXIT/ENTER), 및 '시간'정보)를 컴퓨터 시스템에 전송하기 위한 신호를제공한다. '퇴정/입장(EXIT/ENTER)'은 대화기가 필드상에서 아래로 기입되어 입장하고 필드로부터 위로 집어내어 퇴장하기 때문에 이차원의 검출필드에 관련하여서는 종종 '상(UP)/하(DOWN)'으로 언급될 것이다.

중요한 점은 상기 컴퓨터시스템은 사용자 요구 임무를 달성할 수 있도록 의미적인 컨텍스트(context)내에서 정보를 처리한다. 여기서, '의미적'이라는 것은 대화기의 의미가 기능 및 내용의 명백한 또는 명백하지 않은 할당면에서 사용중인 컨텍스트에 종속된다는 것을 의미하는 것이다.

상술한 설명으로부터 명백한 바와 같이 본 발명의 컴퓨터식 시스템의 제어방법은 검출공간을 제공하는 단계(a)와, 상기검출공간내에 의미를 갖는 물리적인 식별가능한 대화기를 위치시키는 단계(b)와, 상기 의미적인 컨텍스트내에서 대화기의의미를 결정하는 단계(c)와, 상기 대화기의 의미에 응답하여 컴퓨터식 시스템을 제어하는 단계(d)를 포함한다.

본 발명의 대화기 기술은 여러 특정 분야에 적용할 수 있다. 두 개의 예를 들 수 있는데, 하나는 '기상 방'을 형성시킬수 있게 오디오시스템을 제어하는 것이고, 다른 하나는 기록매체 또는 다른 시간적인 활동을 위한 이벤트 표시시스템을제공한다.

첫 번째예의 경우에는 공동의 청중공간내에 많은 수의 개인들이 넓게 분포할 수 있게 해주는 오디오 시스템이 제공된다.일례로, 상기 오디오 시스템은 개개인들이 여러 위치에서 청각적인 감각을 함께 가질 수 있게 하는 '가상 방'을 제공할수 있다. 일례로, 개인 A, B, C들이 각기 별도의 물리적인 사무실내에 있는 상태에서 개인 A가 개인 B, C들과 뜻없이 담소를 하기를 원할 수 있다. 그러면, 개인 A는 개인 B, C와 대화하기를 원한다는 것을 나타내도록 검출필드내의 B, C를 나타내는 대화기(아마도 대화기상에 개인들의 사진이 있을 것임)들을 사용한다. 검출필드에 의해 검출된 대화기들은 대화를 위해 마이크로폰, 스피커, 그리고 증폭기들을 제어하도록 제어컴퓨터내에 제어신호들을 발생시킨다. 이러한 방식으로 그리고 매우 간단한 메타포어에 의해, 개인 A, B, C들은 대화 및 다른 청각적인 통신을 위해 동일 '가상 방'에 존재할 수 있게 된다.

두 번째예의 경우에는, 비디오테이프 '표시'시스템이 제공된다. 제어컴퓨터에 비디오테이프 플레이어를 접속한 상태에서,비디오테이프를 재생시키면서 하나이상의 사용자가 모니터를 관찰한다. 비디오테이프상에서 발생하는 이벤트를 기입 또는표시해야하면, 대화기를 검출필드에 접속시킨다. 그러면, 제어컴퓨터는 비디오테이프 플레이어로부터 타이밍 정보를 검색하여, 검색된 타이밍정보를 표시할 이벤트와 조합시킨다. 검출필드로부터 대화기의 제거는 이벤트의 끌을 의미할 수 있으며, 또는 컨텍스트 또는 사용자의 요구에 따라서는 아무것도 의미하지 않을 수 있다. 바람직하게 검출필드는 재생되는 비디오에 대한 여러 관측자들이 동시에 검출필드를 억세스할 수 있게 크기 및 구성이 정해진다. 집단적인 접근을 채택하면개개인은 특정 이벤트 또는 소그룹의 이벤트들을 감시 및 표시할 수 있다. 이러한 접근은 비디오테이프의 표시로 인한 피로 및 지루함을 감소시켜준다.

대화기를 사용하면 인간/컴퓨터 인터페이스가 크게 개선된다. 오디오제어시스템의 경우에는 대화기들 및 그들의 공간적인 관계가 사용자와 직관적이기 때문에 시스템을 사용하는데 훈련이 거의 또는 전혀 필요치 않다. 유사하게, 사용자가 비디오 재생시 검출된 소정의 이벤트에 응답하여 검출필드상에 라벨이 붙은 또는 달리 환기된 대화기를 위치시키는 것은 물리적으로 매우 직관적인 행동이다. 따라서, 본 발명은 인간과 컴퓨터식 시스템간의 상호작용을 위해 보다 직관적이고 풍부한 메타포어를 제공한다. 또한, 본 발명은 사용자들이 상기의 메타포어를 사용하여 컴퓨터식 시스템과 동시에 대화할 수있게 하는 시스템을 제공한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하겠다.

Claims

컴퓨터식 대화시스템에 있어서,

시간변화를 포함하는 적어도 4차원 이상의 검출공간과;

상기 검출공간내에 수동으로 설치가능하고 상기 검출공간으로부터 제거가능한 다수의 물리적인 대화기들과;

상기 검출공간내의 대화기에 응답하고, 상기 대화기의 식별자 및 상태를 나타내는 대화기 신호를 제공하도록 동작하는 인터페이스와;

상기 인터페이스에 접속되고, 예정된 의미적 프레임워크내에서 상기 대화기의 상기 식별자 및 상태를 나타내는 제어입력을 발생시키기 위해 상기 대화기신호를 처리하도록 동작하는 컴퓨터시스템과;

상기 컴퓨터시스템과 접속되고, 상기 제어입력에 응답하는 응용시스템을 포함하며,

상기 검출공간은 상기 다수의 대화기들의 각각이 선택적으로 수동으로 위치되고 제거되게 되어 있는 다수의 위치들을 포함하여, 상기 검출공간의 상기 다수의 위치에 상기 다수의 대화기들의 선택가능한 그리고 변화가능한 다수의 배열을 제공하는 것을 특징으로 하는 컴퓨터식 대화시스템.
제1항에 있어서, 상기 다수의 대화기들은 상기 시스템의 다수의 사용자들에 의해 상기 검출공간에 수동적으로 설치 및 그로부터 제거될 수 있는 것을 특징으로하는 컴퓨터식 대화시스템.
제1항 또는 제2항에 있어서, 상기 대화기들의 각각은 식별회로를 포함하고, 상기 검출공간은 상기 대화기의 상기 식별회로에 접속되게 되어 있고 상기 인터페이스에 접속되는 내부회로를 포함하는 것을 특징으로 하는 컴퓨터식 대화시스템.
제1항 또는 제2항에 있어서, 상기 최소한 하나의 물리적 대화기는 상기 대화기의 상기 식별자를 은유적으로 나타내기 위한 독특한 시각적 형상을 포함하는 것을 특징으로 하는 컴퓨터식 대화시스템.
제1항 또는 제2항에 있어서, 상기 적용시스템은 오디오 적용시스템수단 및 비디오 적용시스템수단중 최소한 하나를 포함하는 것을 특징으로 하는 컴퓨터식 대화시스템.
컴퓨터식 시스템을 제어하는 방법에 있어서,

시간변화를 포함하는 적어도 4차원 이상의 검출공간을 제공하는 단계(a)와;

상기 검출공간내에 물리적이고 식별가능한 부재를 그 부재로부터 독립된 의미를 갖게 한 상태에서 위치시키는 단계(b)와;

상기 검출공간내에서의 상기 부재의 선택된 위치 및 상기 부재의 식별자를 결정하여 주어진 의미컨텍스트내에서 상기 부재의 상기 의미를 결정하는 단계(c)와;

상기 식별가능한 부재의 상기 의미에 응답하여 컴퓨터식 시스템을 제어하는 단계(d)를 포함하며,

상기 부재의 의미를 결정하는 단계는 상기 검출공간내에 위치한 상기 부재의 시간적인 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터식 시스템의 제어방법.
제6항에 있어서, 상기 검출공간내에 다수의 물리적이고 식별가능한 부재들을 위치시키고, 상기 다수의 부재들의 의미를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터식 시스템의 제어방법.
컴퓨터식 시스템을 제어하기 위한 시스템에 있어서,

식별가능한 식별자를 갖는 하나 이상의 물리적 제어부재와;

상기 제어부재에 대해 감수성을 갖는 필드와;

상기 필드에 접속되고 상기 제어부재의 상기 식별자를 나타내는 식별신호를 발생시키도록 동작하는 인터페이스와;

상기 인터페이스에 접속되고 상기 식별신호에 감수성이 있으며, 제어할 시스템을 위한 제어신호를 발생시키도록 상기 식별신호를 처리하는 처리기를 포함하며,

상기 인터페이스는 상기 필드에 의해 수신된, 상기 부재의 위치와 상기 필드에 의해 상기 부재가 수신되는 시간의 함수인 상기 부재의 상태를 검출하도록 동작하며, 상기 부재의 상기 상태를 나타내는 상태신호를 발생시키도록 동작하는 것을 특징으로 하는 컴퓨터식 시스템의 제어시스템.
제8항에 있어서, 제어할 상기 시스템은 오디오적용시스템수단 및 비디오 적용시스템수단중 최소한 하나인 것을 특징으로 하는 컴퓨터식 시스템의 제어시스템.
제8항에 있어서, 상기 제어부재는 상기 제어부재의 상기 식별자를 은유적으로 나타내기 위한 독특한 시각적 형상을 포함하는 것을 특징으로 하는 컴퓨터식 시스템의 제어시스템.
시간적 흐름내의 이벤트들을 표시하는 방법에 있어서,

시간적 흐름을 감시하는 단계(a)와;

검출공간을 제공하는 단계(b)와;

상기 검출공간내에 의미를 갖는 식별가능한 부재를 위치시키는 단계(c)와;

상기 시간적 흐름의 컨텍스트에서 상기 부재와는 다른 상기 부재의 의미를 결정하는 단계(d)와;

상기 시간적 흐름에 관련되고 상기 식별가능한 부재의 의미에 관련된 이벤트를 기록하는 단계(e)를 포함하며,

상기 부재의 의미를 결정하는 단계는 상기 검출공간내에 위치한 상기 부재의 시간적인 관계를 결정하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
제11항에 있어서, 다수의 사용자에 의해 억세스 가능한 검출공간을 제공하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
제11항 또는 제12항에 있어서,

상기 검출공간내에 다수의 식별가능한 부재들을 위치시키는 단계와;

상기 다수의 부재들의 의미를 결정하는 단계와;

상기 시간적 흐름에 관련되고, 상기 다수의 부재들의 의미에 관련된 다수의 이벤트들을 기록하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
제11항 또는 제12항에 있어서, 상기 부재의 의미를 결정하는 단계는 상기 검출공간내에 위치한 상기 부재의 선택된 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
제11항 또는 제12항에 있어서, 상기 부재의 의미를 결정하는 단계는 상기 부재의 식별자를 결정하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
기록매체에서 발생하는 이벤트를 표시하는 시스템에 있어서,

기록된 것을 디스플레이하고, 상기 기록중에 발생하는 이벤트 타이밍정보에 관련된 이벤트를 제공하는 디스플레이시스템과;

각기 이벤트 표시식별자가 제공되는 다수의 이벤트 표시기들과;

상기 이벤트 표시기들에 대해 감수성을 가지고 이벤트 표시시간내에서 상기 이벤트 표시식별자를 제공하도록 동작하는 이벤트필드와;

상기 이벤트 타이밍 정보 및 상기 이벤트 표시식별자를 수신하도록 상기 디스플레이 시스템에 접속되고, 상기 이벤트 타이밍 정보, 상기 이벤트 표시시간, 그리고 상기 이벤트 표시식별자에 근거하여 이벤트를 표시하도록 동작하는 프로세서를 포함하는 것을 특징으로하는 이벤트 표시시스템.
제16항에 있어서, 상기 다수의 이벤트 표시기들은 상기 이벤트필드에 의해 제거가능하게 수신된 다수의 상기 이벤트들을 표시할 수 있도록 다수의 사용자들에 의해 동작가능한 것을 특징으로 하는 이벤트 표시시스템.
제3항에 있어서, 상기 최소한 하나의 물리적 대화기는 상기 대화기의 상기 식별자를 은유적으로 나타내기 위한 독특한 시각적 형상을 포함하는 것을 특징으로 하는 컴퓨터식 대화시스템.
제3항에 있어서, 상기 적용시스템은 오디오 적용시스템수단 및 비디오 적용시스템수단중 최소한 하나를 포함하는 것을 특징으로 하는 컴퓨터식 대화시스템.
제4항에 있어서, 상기 적용시스템은 오디오 적용시스템수단 및 비디오 적용시스템수단중 최소한 하나를 포함하는 것을 특징으로 하는 컴퓨터식 대화시스템.
제9항에 있어서, 상기 제어부재는 상기 제어부재의 상기 식별자를 은유적으로 나타내기 위한 독특한 시각적 형상을 포함하는 것을 특징으로 하는 컴퓨터식 시스템의 제어시스템.
제13항에 있어서, 상기 부재의 의미를 결정하는 단계는 상기 검출공간내에 위치한 상기 부재의 선택된 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
제13항에 있어서, 상기 부재의 의미를 결정하는 단계는 상기 부재의 식별자를 결정하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.
제14항에 있어서, 상기 부재의 의미를 결정하는 단계는 상기 부재의 식별자를 결정하는 단계를 포함하는 것을 특징으로 하는 이벤트 표시방법.