[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101169674B1 - 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법 - Google Patents

원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
KR101169674B1
KR101169674B1 KR1020100021668A KR20100021668A KR101169674B1 KR 101169674 B1 KR101169674 B1 KR 101169674B1 KR 1020100021668 A KR1020100021668 A KR 1020100021668A KR 20100021668 A KR20100021668 A KR 20100021668A KR 101169674 B1 KR101169674 B1 KR 101169674B1
Authority
KR
South Korea
Prior art keywords
information
robot
driving
remote presence
telepresence
Prior art date
Application number
KR1020100021668A
Other languages
English (en)
Other versions
KR20110102585A (ko
Inventor
최문택
김문상
박인준
김창구
유진환
이영호
황적규
신홍식
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020100021668A priority Critical patent/KR101169674B1/ko
Priority to EP10847544.3A priority patent/EP2544865A4/en
Priority to PCT/KR2010/005491 priority patent/WO2011111910A1/en
Priority to US13/634,163 priority patent/US20130066468A1/en
Publication of KR20110102585A publication Critical patent/KR20110102585A/ko
Application granted granted Critical
Publication of KR101169674B1 publication Critical patent/KR101169674B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/50Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51Remote controlling of devices based on replies, status thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

원격현전(telepresence) 로봇은, 사용자 장치로부터 수신한 주행 정보에 따라 상기 원격현전 로봇을 이동시키는 수동 주행부; 상기 원격현전 로봇의 주변 환경을 감지하고, 감지 결과를 이용하여 상기 원격현전 로봇의 이동을 제어하는 자동 주행부; 하나 이상의 동작에 관련된 데이터베이스를 포함하며, 상기 사용자 장치로부터 상기 데이터베이스의 동작에 대한 선택 정보를 수신하고, 상기 선택 정보에 따라 상기 원격현전 로봇을 구동시키는 행동 제어부; 및 상기 사용자 장치로부터 사용자의 표현 정보를 수신하여 출력하는 출력부를 포함할 수 있다. 상기 원격 현전 로봇은, 원어민 교사에 의한 영어 교육, 의료 전문가 검진, 원격 회의, 원격 공장 견학 체험, 또는 다른 다양한 분야에 적용될 수 있다.

Description

원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법{TELEPRESENCE ROBOT, TELEPRESENCE SYSTEM COMPRISING THE SAME AND METHOD FOR CONTROLLING THE SAME}
실시예들은 원격현전(telepresence) 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법에 관한 것이다.
원격현전(telepresence)이란, 원격지에 위치하는 사용자로 하여금 자신의 위치가 아닌 다른 장소에 있는 것과 같이 느끼거나 동작할 수 있도록 하는 일련의 기술을 의미한다. 원격현전을 구현하기 위해서는, 해당 장소에 실제로 사용자가 위치하였을 경우 경험할 수 있는 감각 정보가 원격지의 사용자에게 전달될 수 있어야 한다. 나아가, 원격지의 사용자의 움직임 또는 음성 등을 감지하고 이를 다른 위치에서 재생함으로써 사용자가 자신의 실제 위치가 아닌 다른 장소에 영향을 미치는 것이 가능하게 할 수도 있다.
본 발명의 일 측면에 따르면, 원격지의 사용자에 의한 수동 조작 및 자율 주행의 하이브리드(hybrid) 방식으로 주행할 수 있으며, 사용자가 그래픽 사용자 인터페이스(Graphic User Interface; GUI)를 이용하여 다양한 표현에 대응되는 구동을 용이하게 제어할 수 있는 원격현전(telepresence) 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법을 제공할 수 있다.
일 실시예에 따른 원격현전(telepresence) 로봇은, 사용자 장치로부터 수신한 주행 정보에 따라 상기 원격현전 로봇을 이동시키는 수동 주행부; 상기 원격현전 로봇의 주변 환경을 감지하고, 감지 결과를 이용하여 상기 원격현전 로봇의 이동을 제어하는 자동 주행부; 하나 이상의 동작에 관련된 데이터베이스를 포함하며, 상기 사용자 장치로부터 상기 데이터베이스의 동작에 대한 선택 정보를 수신하고, 상기 선택 정보에 따라 상기 원격현전 로봇을 구동시키는 행동 제어부; 및 상기 사용자 장치로부터 사용자의 표현 정보를 수신하여 출력하는 출력부를 포함할 수 있다.
일 실시예에 따른 원격현전 시스템은, 주행 정보 및 주변 환경의 감지 결과를 이용하여 이동하며, 하나 이상의 동작에 관련된 데이터베이스를 포함하고, 상기 데이터베이스의 동작에 대한 선택 정보에 따라 구동되며, 사용자의 표현 정보를 출력하는 원격현전 로봇; 상기 주행 정보 및 상기 선택 정보를 입력받아 상기 원격현전 로봇에 전송하고, 상기 원격현전 로봇에 상기 표현 정보를 전송하는 사용자 장치; 및 상기 원격현전 로봇의 주변 환경의 시각 정보 및 청각 정보 중 하나 이상을 상기 사용자 장치에 전송하는 촬영 장치를 포함할 수 있다.
일 실시예에 따른 원격현전 로봇의 제어 방법은, 원격현전 로봇이 사용자 장치로부터 주행 정보를 수신하는 단계; 상기 주행 정보에 따라 상기 원격현전 로봇을 이동시키는 단계; 상기 원격현전 로봇 주변의 환경을 감지하고, 감지 결과에 따라 상기 원격현전 로봇의 이동을 제어하는 단계; 하나 이상의 동작에 관련된 데이터베이스에 기초하여, 상기 원격현전 로봇이 상기 사용자 장치로부터 상기 데이터베이스의 동작에 대한 선택 정보를 수신하는 단계; 상기 선택 정보에 따라 상기 원격현전 로봇을 구동시키는 단계; 상기 원격현전 로봇이 상기 사용자 장치로부터 사용자의 표현 정보를 수신하여 출력하는 단계; 및 상기 원격현전 로봇의 주변 환경의 청각 정보 및 시각 정보 중 하나 이상을 상기 사용자 장치에 전송하는 단계를 포함할 수 있다.
다른 실시예에 따른 원격현전 로봇의 제어 방법은, 사용자 장치가 원격현전 로봇의 주행 정보를 입력받는 단계; 상기 주행 정보를 상기 원격현전 로봇에 전송하는 단계; 상기 원격현전 로봇의 하나 이상의 동작에 관련된 데이터베이스에 기초하여, 상기 사용자 장치가 상기 데이터베이스의 동작에 대한 선택 정보를 입력받는 단계; 상기 선택 정보를 상기 원격현전 로봇에 전송하는 단계; 사용자의 표현 정보를 상기 원격현전 로봇에 전송하는 단계; 및 상기 원격현전 로봇의 주변 환경의 청각 정보 및 시각 정보 중 하나 이상을 수신하여 출력하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따른 원격현전 로봇을 영어 교사 보조 로봇으로 이용할 경우, 원격지에 위치하는 원어민 교사가 원격현전 로봇을 통해 학습자와 쉽게 상호작용할 수 있으며, XML(Extensible Markup Language) 메시지 기반의 그래픽 사용자 인터페이스(Graphic User Interface; GUI)를 이용하여 원어민 교사가 원격현전 로봇의 다양한 표현을 용이하게 제어할 수 있다. 따라서, 한정된 수의 영어 전담교사에 의존하여야 하는 종래의 원어민 영어 학습 형태와 비교하면 교육 집중도의 향상 및 인건비 절감 효과가 있다. 또한 본 발명의 일 측면에 따른 원격현전 로봇 및 이를 포함하는 원격현전 시스템은, 영어 교육뿐만 아니라 의료 전문가 검진, 원격 회의, 원격 공장 견학 체험, 또는 다른 다양한 분야에 적용될 수 있다.
도 1은 일 실시예에 따른 원격현전(telepresence) 로봇의 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 원격현전 로봇의 형상을 개략적으로 도시한 사시도이다.
도 3은 일 실시예에 따른 원격현전 시스템이 적용된 교실의 형태를 개략적으로 도시한 도면이다.
도 4는 일 실시예에 따른 원격현전 시스템에서 사용자 장치에 포함되는 헤드 마운트(head mount) 형태의 장치의 개략적인 사시도이다.
도 5는 일 실시예에 따른 원격현전 시스템에서 사용자 장치의 그래픽 사용자 인터페이스(Graphic User Interface; GUI)를 예시적으로 도시한 도면이다.
도 6은 일 실시예에 따른 원격현전 로봇의 제어 방법을 도시한 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 원격현전(telepresence) 로봇의 구성을 도시한 블록도이다.
상기 실시예에 따른 원격현전 로봇은, 원격지에 위치하는 사용자가 그래픽 사용자 인터페이스(Graphic User Interface; GUI)를 이용하여 용이하게 조작할 수 있으며, 사용자의 음성 및/또는 영상 정보를 출력하고/하거나 사용자의 표정 또는 몸 동작을 재현할 수 있고, 원격현전 로봇의 주변 환경의 청각 및/또는 시각 정보를 사용자에게 전달할 수 있다. 예를 들어, 상기 원격현전 로봇은 영어 교사 보조 로봇으로 응용될 수 있다. 원격지에 위치하는 원어민(native speaker) 교사가 원격현전 로봇을 통하여 학습자들과 상호작용할 수 있어, 종래의 교육 형태에서 탈피한 새로운 형태의 영어 교육이 가능하다.
본 명세서에서는, 원격현전 로봇을 원어민 교사에 의한 영어 교사 보조 로봇으로 응용한 예에 기초하여 본 발명의 기술적 사상에 대해 설명하기로 한다. 그러나 실시예들에 따른 원격현전 로봇의 응용 분야는 전술한 것에 한정되는 것은 아니며, 의료 전문가 검진, 원격 회의, 원격 공장 견학 체험, 또는 다른 다양한 분야에 적용될 수 있다.
일 실시예에 따른 원격현전 로봇은, 수동 주행부(12), 자동 주행부(13), 행동 제어부(14), 출력부(15) 및 촬영부(16)를 포함할 수 있다. 본 명세서에서 부(unit) 또는 시스템(system) 등은 원격현전 로봇을 플랫폼(platform)으로 하거나 원격현전 로봇과 통신하며 구동되는 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어를 지칭할 수 있다. 예컨대, 부 또는 시스템은 실행중인 프로세스, 프로세서, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램 등을 지칭할 수 있으며, 임의의 애플리케이션(application) 및 이를 실행하기 위한 컴퓨터 양쪽이 모두 부 또는 시스템에 해당할 수도 있다.
원격현전 로봇은 원격지에 위치하는 사용자 장치(미도시)와 통신하기 위한 송수신부(11)를 포함할 수 있다. 송수신부(11)는 유선 및/또는 무선으로 사용자 장치와 신호 또는 데이터를 주고받을 수 있다. 예를 들어, 송수신부(11)는 유무선 공유기에 연결되는 무선 랜(Local Area Network; LAN) 장치일 수 있으며, 상기 유무선 공유기는 광역 네트워크(Wide Area Network; WAN)에 연결되어 사용자 장치와 데이터를 송수신할 수 있다. 또는, 송수신부(11)가 직접 WAN에 연결되어 사용자 장치와 통신할 수도 있다.
수동 주행부(12)는, 사용자 장치에 입력된 주행 정보에 따라 원격현전 로봇을 이동시키는 부분이다. 원어민 교사는 사용자 장치에 구현된 GUI를 이용하여 원격현전 로봇의 주행 정보를 입력함으로써, 원격현전 로봇을 원하는 위치로 이동시킬 수 있다. 예를 들어, 원어민 교사는 직접 원격현전 로봇의 이동 방향 및 거리를 지정할 수도 있으며, 또는 지도상에서 특정 지점을 선택하여 원격현전 로봇을 이동시킬 수도 있다. 또는 원어민 교사가 원격현전 로봇의 특정 동작을 선택할 경우, 해당 동작에 대해 미리 설정된 위치로 원격현전 로봇을 이동시킬 수도 있다. 예를 들어, 원어민 교사가 GUI에서 수업 시작을 선택하면 원격현전 로봇이 수업 시작 위치로 이동하도록 구성할 수도 있다.
자동 주행부(13)는, 원격현전의 주변 환경을 감지하고, 감지 결과에 따라 원격현전 로봇의 이동을 제어하는 부분이다. 즉, 원격현전 로봇은 수동 주행부(12)에 의한 사용자의 조작에 따른 주행과 자동 주행부(13)에 의한 자율 주행을 동시에 이용하여 이동을 제어하는 하이브리드(hybrid) 방식으로 주행할 수 있다. 예를 들어, 수동 주행부(12)에 의해 사용자가 입력한 주행 정보에 따라 원격현전 로봇이 이동하는 동안, 자동 주행부(13)는 원격현전 로봇 주변 환경의 장애물 등을 감지하고, 감지 결과에 따라 정지하거나 장애물을 회피하도록 원격현전 로봇을 제어할 수 있다.
행동 제어부(14)는 원격현전 로봇을 사용자가 지정한 동작에 따라 구동시키는 부분이다. 행동 제어부(14)는, 미리 설정된 하나 이상의 동작에 관련된 데이터베이스(140)를 포함할 수 있다. 데이터베이스(140)는 원격현전 로봇에 탑재된 저장소에 저장되거나, 또는 원격현전 로봇에 의해 접근 가능한 네트워크 상의 특정 주소에 저장될 수 있다. 데이터베이스(140)에는 각 동작에 대응되는 하나 이상의 구동 정보가 포함될 수 있으며, 원격현전 로봇은 사용자에 의해 선택된 동작에 대응되는 구동 정보에 따라 구동될 수 있다. 각 동작에 대한 사용자의 선택 정보는 XML(Extensible Markup Language) 메시지의 형태로 원격현전 로봇에 전송될 수 있다.
본 명세서에서 구동 정보란 원격현전 로봇의 발화문장 또는 일련의 행동에 적합한 표현을 위해 선택된 원격현전 로봇의 표현단위인 템플릿(template)을 하나 또는 복수 개 조합한 것으로서, 원격현전 로봇의 다양한 행동양식을 구현할 수 있다. 이러한 행동양식은 원격현전 로봇의 구성요소인 머리, 팔, 목, LED, 주행부(다리 또는 바퀴 등) 또는 음성발화부 등의 물리적 객체를 하나 이상의 템플릿 조합으로 이루어진 구동 정보를 통해 각각 독립적으로 제어함으로써 구현될 수 있다.
예를 들어, 템플릿은 원격현전 로봇을 구성하는 물리적 객체(예컨대, 머리, 팔, 목, LED, 주행부, 음성발화부 등)별로 XML 파일의 형태로 저장될 수 있다. 각 템플릿에는 원격현전 로봇의 해당 물리적 객체를 동작시키기 위한 모터 등의 액추에이터(actuator)를 제어하는 파라미터가 포함될 수 있다. 일 예로, 각 파라미터에는 모터의 구동 속도, 지속 시간, 반복 횟수, 동기화 관련 정보 및 궤적 특성 등의 정보가 포함될 수 있다.
구동 정보는 상기 템플릿을 하나 이상 포함하여 이루어질 수 있다. 이러한 구동 정보에 따라 구동되는 원격현전 로봇은, 각 템플릿 및 이에 포함되는 파라미터에 따라 원격현전 로봇의 머리, 팔, 목, LED, 주행부, 음성발화부 등의 동작을 제어함으로써, 해당 구동 정보에 대응되는 특정 행동양식을 구현하게 된다. 예를 들어, "칭찬"에 대응되는 구동 정보에 따라 원격현전 로봇이 구동되는 경우, 원격현전 로봇은 학습자를 칭찬하는 특정 발화문을 출력함과 동시에 팔을 들어올리는 등 특정 제스쳐를 취하도록 구성될 수 있다.
일 실시예에서는, 하나의 동작에 대해 복수 개의 구동 정보가 정의될 수 있으며, 원격현전 로봇은 선택된 동작에 대응되는 구동 중 어느 하나를 임의적으로 수행할 수 있다. 이와 같이 구성함으로써 원격현전 로봇의 행동 표현을 다양하게 할 수 있으며, 원격현전 로봇과 마주한 학습자가 느끼는 반복의 지루함을 해소할 수 있다.
일 실시예에서, 데이터베이스(140)에 포함되는 원격현전 로봇의 동작, 이에 대응되는 사용자 장치 GUI 상의 표기 및 각 동작에 대응되는 구동 정보의 개수는 하기 표와 같을 수 있다.
동작의 종류 사용자 장치 GUI상의 표기 대응 구동 정보의 개수
칭찬 Praise 10
실망 Disappointed 10
기쁨 Happy 10
슬픔 Sad 10
인사 Hi / Bye 10
계속 Keep going 1
모니터 지시 Point to the monitor 1
시작 Let's start 1
격려 Cheer up 10
틀린 답변 Wrong 10
맞는 답변 Correct 10
그러나, 상기 표 1은 일 실시예에 따라 원격현전 로봇을 영어 교사 보조 로봇으로 적용하였을 경우 데이터베이스(140)의 구현의 한가지 형태를 예시적으로 나타내는 것으로서, 원격현전 로봇에서 데이터베이스(140)에 포함될 수 있는 동작의 종류 및 개수는 이에 한정되는 것은 아니다.
출력부(15)는 사용자 장치로부터 사용자의 표현 정보를 수신하여 출력하는 부분이다. 일 실시예에서, 표현 정보는 원어민 교사의 음성 및/또는 영상 정보를 포함할 수 있다. 원격지에 위치하는 원어민 교사의 음성 및/또는 영상을 출력부(15)를 통해 표시함으로써 학습자의 영어 학습을 도울 수 있다. 이를 위하여, 출력부(15)는 액정표시장치(Liquid Crystal Display; LCD) 모니터 및 스피커, 또는 다른 적당한 영상 출력 수단이나 음성 출력 수단을 포함할 수 있다.
다른 실시예에서, 표현 정보는 원어민 교사의 표정 또는 몸 동작에 대응되는 구동 정보를 포함할 수도 있다. 사용자 장치에서는 사용자의 표정 또는 몸 동작을 인식하고, 인식 결과에 대응되는 구동 정보를 표현 정보로서 원격현전 로봇에 전송할 수 있다. 출력부(15)는, 사용자의 실제 음성 및/또는 영상을 그대로 출력하는 것과 병행하거나 이를 대체하여, 전송된 표현 정보를 이용하여 사용자의 표정 또는 몸 동작을 재현할 수 있다.
예를 들어, 원격현전 로봇이 기계적인 안면 구조를 포함하는 경우, 사용자 장치는 원어민 교사의 표정을 인식한 결과를 원격현전 로봇에 전송하고, 출력부(15)는 전송된 인식 결과에 따라 안면 구조를 동작시킬 수 있다. 또한, 출력부(15)는 원어민 교사의 몸 동작을 인식한 결과에 따라 원격현전 로봇의 머리, 팔, 목, 주행부 등을 구동시킬 수도 있다. 또는, 출력부(15)는 원어민 교사의 표정 또는 몸 동작을 애니메이션 캐릭터 또는 아바타(avatar)로 LCD 모니터 등에 표시할 수도 있다.
전술한 실시예와 같이 사용자 장치에서 원어민 교사의 표정 또는 몸 동작을 인식하고 인식 결과를 원격현전 로봇에 전송하는 경우, 원어민 교사의 실제 음성 및/또는 영상을 네트워크를 통하여 전송하지 않아도 되므로 전송 부담을 감소시킬 수 있다. 그러나 원어민 교사의 표정 또는 몸 동작을 원격현전 로봇에 재현하는 것은, 원어민 교사의 실제 음성 및/또는 영상을 원격현전 로봇에 출력하는 것과 병행하여 수행될 수도 있다.
촬영부(16)는 원격현전 로봇의 주변 환경의 시각 정보 및/또는 청각 정보를 획득하여 사용자 장치로 전송하기 위한 부분이다. 예를 들어, 촬영부(16)에 의해 학습자들의 음성 및/또는 영상을 원격지의 원어민 교사에게 전달할 수 있다. 이를 위하여, 촬영부(16)는 마이크가 내장된 웹캡(webcam) 또는 다른 적당한 촬영 수단을 포함할 수 있다.
이상에서 설명한 실시예에 따른 원격현전 로봇을 이용하면, 원격지의 원어민 교사의 음성 및/또는 영상을 원격현전 로봇에 출력하고/하거나 원어민 교사의 표정 또는 몸 동작을 원격현전 로봇에 재현하고, 원격현전 로봇 주변 환경의 시각 및/또는 청각 정보를 원어민 교사에게 전송함으로써, 원어민 교사와 학습자들이 거리 제약을 극복하고 용이하게 상호작용할 수 있다. 원어민 교사는 사용자 장치에 구현된 GUI를 이용하여 원격현전 로봇의 동작을 제어할 수 있다. 이때 한 가지 동작에 대해 원격현전 로봇의 다양한 구동이 정의될 수 있으므로, 동일한 표현이 반복되어 생길 수 있는 지루함을 해소하고 학습자의 흥미를 유발할 수 있다. 원격현전 로봇을 이용하면 다른 지역 또는 국가에 위치한 원어민으로부터 학습자가 영어를 학습할 수 있으므로, 한정된 수의 영어 전담교사에 의존하여야 하는 종래의 원어민 영어 학습 형태와 비교하면 교육 집중도의 향상 및 인건비 절감 효과가 있다.
일 실시예에서, 행동 제어부(14)는, 출력부(15)를 통해 출력되는 원어민 교사의 음성 및/또는 영상 정보에 따라 원격현전 로봇이 자율적으로 미리 설정된 구동을 수행하도록 제어할 수도 있다. 예를 들어, 사람이 발화할 때 취하는 몸 동작과 비슷하게 원격현전 로봇의 구동 정보를 사전에 구축하고, 이를 특정 단어 또는 구문에 대응시켜 저장할 수 있다. 그리고 원어민 교사가 해당 단어 또는 구문을 발화하여 출력부(15)에 해당 음성이 출력되면, 원격현전 로봇은 단어 또는 구문에 대해 미리 지정된 구동을 취하도록 함으로써 자연스러운 언어 표현이 가능하게 될 수 있다. 자동으로 원어민 교사의 발화 구간을 검출하는 것이 어려울 경우에는, 사용자 장치의 GUI에 발화 버튼을 배치하여 수동으로 동작이 가능하게 할 수도 있다.
도 2는 일 실시예에 따른 원격현전 로봇의 형상을 개략적으로 도시한 사시도이다.
도 2를 참조하면, 원격현전 로봇은 머리 부분 및 가슴 부분에 각각 LCD 모니터(151, 152)를 포함할 수 있다. 2개의 LCD 모니터(151, 152)는 출력부(15)에 해당된다. 머리 부분의 LCD 모니터(151)는 원어민 교사의 영상을 표시할 수 있으며, 원격현전 로봇의 몸체에 회전 가능하게 고정될 수 있다. 예를 들어, 머리 부분의 LCD 모니터(151)는 좌우로 약 90° 회전 가능하게 고정될 수 있다. 가슴 부분의 LCD 모니터(152)는 원격현전 로봇의 개발 용도로서 리눅스(Linux) 화면을 표시하도록 구성할 수 있다. 그러나 이는 예시적인 것으로서, 가슴 부분의 LCD 모니터(152)에는 다른 상이한 화면을 표시하도록 구성되거나, 또는 생략될 수도 있다. 머리 부분의 LCD 모니터(151)의 상부에는 촬영부(16)에 해당하는 웹캠이 장착되어, 원격지의 원어민 교사가 학습자를 관찰하도록 할 수 있다.
도 2에 도시된 원격현전 로봇의 형상은 예시적인 것으로서, 실시예들에 따른 원격현전 로봇은 용도에 따라 다른 상이한 형상으로 구현될 수도 있다.
일 실시예에 따른 원격현전 시스템은, 이상에서 설명한 원격현전 로봇을 포함하여 구성될 수 있다. 도 3은 일 실시예에 따른 원격현전 시스템이 적용된 교실의 형태를 개략적으로 도시한 도면이다. 도 3에 도시된 실시예의 설명에 있어서, 원격현전 로봇(1)의 구성 및 동작에 대해서는 도 1 및 도 2를 참조하여 전술한 실시예로부터 용이하게 이해될 수 있으므로 자세한 설명을 생략한다.
도 3을 참조하면, 원격현전 시스템은 원격현전 로봇(1) 및 사용자 장치(2)를 포함할 수 있다. 원격현전 로봇(1)은 교실 내의 소정의 활동 영역(100)에서 이동 가능하게 배치될 수 있다. 예를 들어, 활동 영역(100)은 한 변의 길이가 약 2.5m인 정사각형 형상의 공간일 수 있다. 그러나 활동 영역(100)의 형상 및 크기는 이에 한정되는 것은 아니며, 교실의 형태, 원격현전 로봇(1)의 용도 및 주행 오차 등을 고려하여 적절하게 결정될 수 있다. 교실에는 강의를 위한 마이크/스피커 장치(4) 및 텔레비전(5) 등이 배치될 수 있다. 예를 들어, 텔레비전(5)은 수업 컨텐츠(contents)를 표시하기 위한 용도 등으로 사용될 수 있다.
원격현전 로봇(1)의 활동 영역(100)과 인접하여 책상(200) 및 의자(300)가 배치되고, 학습자들이 의자(300)에 앉아 원격현전 로봇(1)과 마주보도록 할 수 있다. 원격현전 로봇(1)이 센서를 이용하여 활동 영역(100) 내에서만 구동되도록 하기 위해, 책상(200)은 앞면이 가려진 것을 사용할 수 있다. 또한, 활동영역(100)과 책상(200)의 사이에 턱을 두어 원격현전 로봇(1)의 활동 범위를 제한하는 것도 가능하다.
원격현전 로봇(1) 및 사용자 장치(2)는 유선 및/또는 무선 네트워크(9)를 통하여 통신할 수 있다. 예컨대, 원격현전 로봇(1)은 무선 랜 장치 등와 같은 송수신부(11)에 의해 개인용 컴퓨터(Personal Computer; PC)(7) 및 유무선 공유기(8)에 연결될 수 있다. 유무선 공유기(8)는 유선 랜을 통하여 WAN 등의 네트워크(9)에 연결되어 사용자 장치(2)와 통신할 수 있다. 다른 실시예에서는, 원격현전 로봇(1)의 송수신부(11)가 직접 네트워크(9)에 연결되어 사용자 장치(2)와 통신하도록 구성할 수도 있다.
사용자 장치(2)는 원어민 교사에 의한 조작이 입력되는 입력부(21), 원어민 교사의 음성 및/또는 영상 정보나, 원어민 교사의 표정 또는 몸 동작에 대응되는 구동 정보를 포함하는 표현 정보를 획득하여 원격현전 로봇(1)에 전송하는 촬영부(22) 및 원격현전 로봇(1)으로부터 수신한 학습자들의 청각 및/또는 시각 정보를 출력하는 출력부(23)를 포함할 수 있다. 사용자 장치(2)의 입력부(21), 촬영부(22) 및 출력부(23)는 컴퓨터상에서 실행되는 소프트웨어 애플리케이션 및 이를 실행하기 위한 하드웨어의 조합을 의미할 수 있다. 예를 들어, 사용자 장치(2)는 웹캠이 장착된 컴퓨터 및/또는 헤드 마운트(head mount) 형태의 장치를 포함할 수 있다.
도 4는 일 실시예에 따라 사용자 장치에 포함되는 헤드 마운트형 장치를 도시한 개략적인 사시도이다.
도 4를 참조하면, 헤드 마운트형 장치는 웹캠(410) 및 마이크(420)를 포함하여, 원어민 교사의 얼굴 영상 및 음성을 획득할 수 있다. 웹캠(410)은 얼굴 형태에 따라 적절한 위치로 조절할 수 있도록 각도 조절 수단(450)을 통해 고정판(440)에 연결될 수 있다. 헤드 마운트형 장치는 턱끈(460)에 의하여 원어민 교사의 얼굴에 고정될 수 있다. 또한, 헤드 마운트형 장치에는 학습자들의 음성을 원어민 교사에게 출력하기 위한 헤드폰(430)이 포함될 수 있다.
원어민 교사는 도 4에 도시된 헤드 마운트형 장치와 함께 모니터가 구비된 컴퓨터(미도시)를 이용하여 원격으로 수업을 진행할 수 있다. 원어민 교사의 영상 및 음성은 각각 웹캠(410) 및 마이크(420)를 통하여 획득되고, 학습자들에게 전송되어 원격현전 로봇에 출력된다. 웹캠(410)이 원어민 교사의 머리 부분에 장착되므로, 원어민 교사가 어느 방향을 바라보더라도 학습자들에게는 원어민 교사의 얼굴이 항시 정면으로 유지되어 현장감을 증가시킬 수 있다. 또한, 학습자들의 영상은 컴퓨터의 영상 출력 장치로 출력되며, 학습자들의 음성은 헤드 마운트형 장치의 헤드폰(430)을 통하여 원어민 교사에게 전달될 수 있다.
도 4에 도시된 헤드 마운트형 장치는 원어민 교사의 음성 및/또는 영상을 수신하고 학습자들의 음성을 출력하기 위한 사용자 장치의 일부분의 구성을 예시적으로 도시한 것이며, 사용자 장치는 도 4에 도시된 헤드 마운트형 장치에서 일부 구성요소를 생략, 변형 또는 부가한 다른 상이한 형태의 장치일 수도 있다. 예를 들어, 학습자들의 영상을 출력하기 위한 수단이 헤드 마운트형 장치에 포함될 수도 있다.
다시 도 3을 참조하면, 원격현전 로봇(1)의 활동 영역(100)의 한쪽 측면에는 충전기(6)가 배치될 수도 있다. 원격현전 로봇(1)은 교육 시작 전 또는 교육 종료 후에는 충전기(6)에 인접한 위치로 이동하여 충전될 수 있다. 예를 들어, 원어민 교사가 사용자 장치(2)를 이용하여 교육 종료를 지시하면 원격현전 로봇(1)이 충전기(6)에 인접한 위치로 이동하도록 구성할 수 있다. 또한, 원어민 교사가 사용자 장치(2)를 이용하여 교육 시작을 입력하면, 원격현전 로봇(1)이 활동 영역(100) 내의 설정된 지점으로 이동하도록 구성할 수도 있다. 또는 원어민 교사에 의해 수동으로 원격현전 로봇(1)의 이동을 제어할 수도 있다.
일 실시예에 따른 원격현전 시스템은 원격현전 로봇(1)의 주변 환경의 시각 및/또는 청각 정보를 사용자 장치(2)에 전송하기 위한 촬영 장치를 포함할 수도 있다. 예컨대, 원격현전 시스템은 교실 벽면의 한쪽에 브라켓(bracket) 등을 사용하여 고정된 광각 웹캠(3)을 포함할 수 있다. 원격지의 원어민 교사는 원격현전 로봇(1)에 장착된 웹캠뿐만 아니라 교실 벽면에 설치된 광각 웹캠(3)을 이용하여 여러 명의 학습자를 관찰할 수 있다. 또는, 다른 실시예에서는 원격현전 로봇(1)에 장착되는 웹캠을 생략하고 광각 웹캠(3)만을 이용하여 수업을 진행할 수도 있다.
일 실시예에 따른 원격현전 시스템에서, 학습자의 영상을 원어민 교사에게 전송하기 위한 웹캠 및 원어민 교사의 영상을 학습자에게 출력하기 위한 모니터는 원격현전 로봇에 탑재하되, 학습자와 원어민 교사 사이에 음성을 송수신하기 위한 장치는 원격현전 로봇과 별개로 구성할 수도 있다. 예를 들어, 원격현전 로봇과 이격된 위치에 유선 또는 무선 마이크/스피커 장치를 설치하여, 학습자들의 음성을 원어민 교사에게 전달하고 원어민 교사의 음성을 출력하기 위한 용도로 사용할 수도 있다. 또는, 각 학습자가 마이크가 탑재된 헤드셋(headset)을 사용하여 원어민 교사와 음성을 송수신할 수도 있다.
도 5는 일 실시예에 따른 원격현전 시스템에서 사용자 장치에 구현될 수 있는 GUI를 도시한 개략도이다.
도 5를 참조하면, 사용자 장치를 통하여 원어민 교사에게 표시되는 GUI는 하나 이상의 기능 버튼들로 구성될 수 있다. GUI에서 가장 상단의 영역(510)은 원격현전 로봇의 상태를 표시하기 위한 영역으로서, 원격현전 로봇의 IP 주소(Internet Protocol address) 및 현재 접속 상태 등이 상기 영역(510)에 표시될 수 있다.
GUI에서 영역(520)은 원격현전 로봇의 하나 이상의 동작에 대응되는 버튼들을 포함하는 영역이다. 원어민 교사가 영역(520)에 위치하는 Praise, Disappoint 등의 버튼 중 어느 하나를 클릭하여 선택하면, 원격현전 로봇이 해당 동작에 대응되는 구동을 수행하게 된다. 이때 하나의 동작이 구동 중일때는 다른 동작에 대한 선택이 불가능하도록 구성할 수도 있다. 원격현전 로봇의 동작에 대한 선택 정보는 XML(Extensible Markup Language) 메시지의 형태로 원격현전 로봇에 전송될 수 있다.
GUI에서 영역(530)에는 원격현전 로봇이 학습자를 응시하도록 하기 위한 버튼들이 배치될 수 있다. 영역(530)의 각 버튼은 각 학습자에 대응되며, 원격현전 로봇에는 각 학습자의 위치 정보(예컨대, 도 3의 각 의자(300)의 위치 정보)가 저장되어 있어, 원어민 교사가 영역(530)에서 어느 하나의 버튼을 누를 경우 원격현전 로봇이 해당 학습자를 바라보도록 구성할 수 있다.
GUI에서 영역(540)은 원어민 교사가 원격현전 로봇의 이동을 수동으로 제어하기 위한 부분이다. 원어민 교사는 좌측의 휠을 이용하여 원격현전 로봇이 향하는 방향을 제어할 수 있으며, 우측의 4 방향의 화살표를 클릭함으로써 원격현전 로봇의 위치 이동을 제어할 수 있다.
GUI에서 영역(550)은 원격현전 로봇이 노래에 맞추어 춤추는 것과 같은 구동을 수행하게 하기 위한 부분이다. 원어민 교사가 영역(550)을 조작하여 챈트(chant) 또는 노래를 선택하면, 원격현전 로봇에 의해 해당 챈트 또는 노래가 출력되면서 원격현전 로봇이 노래에 맞추어 이동하거나 팔을 움직이는 등 춤추는 것과 같은 동작을 수행할 수 있다.
GUI에서 영역(560)은 사용자 장치와 원격현전 로봇 사이의 통신 상태 및 원격현전 로봇의 구동에 관련된 로그(log)가 표시되는 부분이다.
이상에서 도 5를 참조하여 설명한 사용자 장치의 GUI는 예시적인 것으로서, 사용자 장치의 GUI는 원격현전 로봇의 용도, 원격현전 로봇이 수행하는 동작의 종류, 사용자 장치의 하드웨어 및/또는 운영체제(Operating System; OS)의 종류 등에 따라 적절히 구성될 수 있다. 예컨대, 도 5에 도시된 GUI에서 하나 이상의 부분이 생략될 수도 있으며, 또는 원격현전 로봇의 다른 기능에 맞추어 구성이 추가될 수도 있다.
전술한 실시예에 따른 원격현전 시스템에서 원어민 교사는 사용자 장치의 GUI를 이용하여 조작 정보를 입력하였으나, 이는 예시적인 것으로서, 실시예들에 따른 원격현전 시스템에서 사용자 장치는 GUI 이외에도 다른 적당한 방법을 이용하여 원어민 교사의 입력을 수신할 수 있다. 예를 들어, 사용자 장치는 원어민 교사의 음성, 얼굴 표정 또는 몸 동작 등을 인식하여 동작하는 멀티모달 인터페이스(multimodal interface; MMI)를 이용하여 구현될 수도 있다.
도 6은 일 실시예에 따른 원격제어 로봇의 제어 방법을 도시한 순서도이다. 설명의 편의를 위하여, 도 3 및 도 6을 참조하여 상기 실시예에 따른 원격현전 로봇의 제어 방법에 대해 설명하기로 한다.
도 3 및 도 6을 참조하면, 원어민 교사에 의해 사용자 장치에 원격현전 로봇의 주행 정보가 입력될 수 있다(S1). 원어민 교사는 사용자 장치상에 구현된 GUI를 이용하여 원격현전 로봇의 이동 방향 등을 지정하거나, 지도에서 이동하고자 하는 지점을 선택하는 것에 의하여 원격현전 로봇의 주행 정보를 입력할 수도 있다. 또는 다른 실시예에서는, 원어민 교사가 수업 시작 또는 수업 종료 등과 같은 특정 동작을 선택할 경우, 해당 동작에 대해 미리 지정된 위치로 원격현전 로봇이 이동하도록 구성할 수도 있다.
다음으로, 입력된 주행 정보에 따라 원격현전 로봇을 이동시킬 수 있다(S2). 이는 원격현전 로봇이 사용자 장치에 입력된 주행 정보를 네트워크를 통하여 수신하고, 수신된 주행 정보에 따라 이동함으로써 수행될 수 있다. 또한 원격현전 로봇이 이동하는 동안, 원격현전 로봇은 자동으로 주변 환경을 감지하여 이동을 제어할 수 있다(S3). 예를 들어, 원격현전 로봇은 원어민 교사에 의해 지정된 지점으로 이동하는 동안 자동으로 장애물을 회피하는 등의 동작을 수행할 수 있다. 즉, 원격현전 로봇은 사용자의 조작에 따른 수동 주행 및 자율 주행을 동시에 이용하여 이동할 수 있다.
또한, 원어민 교사는 사용자 장치에 구현되는 GUI를 이용하여 원격현전 로봇이 수행할 동작을 선택할 수 있다(S4). 원격현전 로봇은 하나 이상의 동작에 관련된 데이터베이스를 포함하며, 사용자 장치의 GUI는 상기 데이터베이스에 따라 구현될 수 있다. 예를 들어, 사용자 장치의 GUI에서 각각의 동작은 버튼의 형태로 표시될 수 있다. 사용자가 GUI를 이용하여 동작을 선택하면, 선택된 동작에 대응되는 선택 정보가 원격현전 로봇에 전송될 수 있다. 일 실시예에서, 선택 정보는 XML 메시지의 형태로 원격현전 로봇에 전송될 수도 있다.
다음으로, 원격현전 로봇은 전술한 데이터베이스를 이용하여 사용자가 선택한 동작에 대응되는 구동을 수행할 수 있다(S5). 이때 하나의 동작에 대응되는 원격현전 로봇의 구동 정보는 복수 개일 수도 있으며, 원격현전 로봇은 선택된 동작에 대응되는 복수 개의 구동 중 임의의 어느 하나를 수행할 수 있다. 이와 같이 구성할 경우, 원격현전 로봇을 이용하는 학습자가 하나의 동작에 대한 다양한 표현을 접하게 되므로, 반복의 지루함을 해소할 수 있다.
또한, 원격지에 있는 원어민 교사의 표현 정보를 원격현전 로봇에 출력할 수 있다(S6). 일 실시예에서, 표현 정보는 원어민 교사의 음성 및/또는 영상 정보를 포함할 수 있다. 사용자 장치에서 마이크가 내장된 웹캠 등을 이용하여 원어민 교사의 음성 및/또는 영상을 획득하고, 이를 원격현전 로봇에 송신하여 출력할 수 있다. 다른 실시예에서, 표현 정보는 원어민 교사의 표정 또는 몸 동작에 대응되는 원격현전 로봇의 구동 정보를 포함할 수도 있다. 사용자 장치에서는 원어민 교사의 표정 또는 몸 동작을 인식하여 이에 대응되는 구동 정보를 전송하며, 원격현전 로봇은 원어민 교사의 실제 음성 및/또는 영상을 출력하는 것과 병행 또는 이를 대체하여, 상기 구동 정보에 따라 구동되어 원어민 교사의 표정 또는 몸 동작을 재현할 수도 있다.
또한, 원격현전 로봇의 주변 환경의 청각 및/또는 시각 정보를 사용자 장치로 전송하여 출력시킬 수 있다(S7). 예를 들어, 원격현전 로봇에 장착된 웹캠 등을 이용하여 학습자의 음성 및 영상을 원어민 교사의 사용자 장치에 전송할 수 있다.
본 명세서에서 일 실시예에 따른 원격현전 로봇의 제어 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (25)

  1. 원격현전(telepresence) 로봇으로서,
    사용자 장치로부터 수신한 주행 정보를 이용하여 상기 원격현전 로봇을 이동시키는 수동 주행부;
    상기 원격현전 로봇의 주변 환경을 감지하고, 감지 결과를 이용하여 상기 원격현전 로봇의 이동을 제어하는 자동 주행부;
    하나 이상의 동작에 관련된 데이터베이스를 포함하며, 상기 사용자 장치로부터 상기 데이터베이스의 동작에 대한 선택 정보를 수신하고, 상기 선택 정보에 의해 선택된 제1 동작을 수행하도록 상기 원격현전 로봇을 구동시키는 행동 제어부; 및
    상기 사용자 장치로부터 사용자의 표현 정보를 수신하여 출력하는 출력부를 포함하되,
    상기 행동 제어부는, 상기 출력부를 통해 출력되는 상기 표현 정보에 대해 미리 설정된 제2 동작을 더 수행하도록 상기 원격현전 로봇을 구동시키는 것을 특징으로 하는 원격현전 로봇.
  2. 제 1항에 있어서,
    상기 데이터베이스는 상기 하나 이상의 동작 각각에 대응되는 하나 이상의 구동 정보를 포함하며,
    상기 행동 제어부는, 상기 선택 정보에 의해 선택된 상기 제1 동작에 대응되는 하나 이상의 구동 정보 중 어느 하나를 이용하여 상기 원격현전 로봇을 구동시키는 것을 특징으로 하는 원격현전 로봇.
  3. 제 1항에 있어서,
    상기 표현 정보는 사용자의 영상 정보 및 음성 정보 중 하나 이상을 포함하는 것을 특징으로 하는 원격현전 로봇.
  4. 제 1항에 있어서,
    상기 표현 정보는 사용자의 표정 또는 몸 동작에 대응되는 구동 정보를 포함하며,
    상기 출력부는 상기 표현 정보를 이용하여 상기 표정 또는 몸 동작을 수행하도록 상기 원격현전 로봇을 구동시키는 것을 특징으로 하는 원격현전 로봇.
  5. 제 1항에 있어서,
    상기 원격현전 로봇 주변 환경의 청각 정보 및 시각 정보 중 하나 이상을 상기 사용자 장치에 전송하는 촬영부를 더 포함하는 것을 특징으로 하는 원격현전 로봇.
  6. 제 1항에 있어서,
    상기 원격현전 로봇이 상기 사용자 장치와 유선 또는 무선으로 통신하기 위한 송수신부를 더 포함하는 것을 특징으로 하는 원격현전 로봇.
  7. 삭제
  8. 제 1항에 있어서,
    상기 선택 정보는 XML 메시지인 것을 특징으로 하는 원격현전 로봇.
  9. 주행 정보 및 주변 환경의 감지 결과를 이용하여 이동하며, 하나 이상의 동작에 관련된 데이터베이스를 포함하고, 상기 데이터베이스의 동작에 대한 선택 정보를 수신하며, 상기 선택 정보에 의하여 선택된 동작을 수행하도록 구동되고, 사용자의 표현 정보를 출력하는 원격현전 로봇;
    상기 데이터베이스를 그래픽 사용자 인터페이스의 형태로 표시하며, 상기 주행 정보를 입력받아 상기 원격현전 로봇에 전송하고, 상기 선택 정보를 상기 그래픽 사용자 인터페이스를 이용하여 입력받아 상기 원격현전 로봇에 전송하며, 상기 원격현전 로봇에 상기 표현 정보를 전송하는 사용자 장치; 및
    상기 원격현전 로봇의 주변 환경의 시각 정보 및 청각 정보 중 하나 이상을 상기 사용자 장치에 전송하는 촬영 장치를 포함하는 것을 특징으로 하는 원격현전 시스템.
  10. 제 9항에 있어서,
    상기 데이터베이스는 상기 하나 이상의 동작 각각에 대응되는 하나 이상의 구동 정보를 포함하며,
    상기 원격현전 로봇은, 상기 선택 정보에 의해 선택된 동작에 대응되는 상기 하나 이상의 구동 정보 중 어느 하나를 이용하여 구동되는 것을 특징으로 하는 원격현전 시스템.
  11. 제 9항에 있어서,
    상기 표현 정보는 사용자의 영상 정보 및 음성 정보 중 하나 이상을 포함하는 것을 특징으로 하는 원격현전 시스템.
  12. 제 9항에 있어서,
    상기 표현 정보는 사용자의 표정 또는 몸 동작에 대응되는 구동 정보를 포함하며,
    상기 원격현전 로봇은 상기 표현 정보를 이용하여 상기 표정 또는 몸 동작을 수행하도록 구동되는 것을 특징으로 하는 원격현전 시스템.
  13. 제 9항에 있어서,
    상기 촬영 장치는 상기 원격현전 로봇에 장착된 것을 특징으로 하는 원격현전 시스템.
  14. 제 9항에 있어서,
    상기 사용자 장치는 사용자의 머리 부분에 착용 가능한 헤드 마운트형 장치를 포함하는 것을 특징으로 하는 원격현전 시스템.
  15. 제 9항에 있어서,
    상기 선택 정보는 XML 메시지인 것을 특징으로 하는 원격현전 시스템.
  16. 원격현전 로봇이 사용자 장치로부터 주행 정보를 수신하는 단계;
    상기 주행 정보를 이용하여 상기 원격현전 로봇을 이동시키는 단계;
    상기 원격현전 로봇 주변의 환경을 감지하고, 감지 결과를 이용하여 상기 원격현전 로봇의 이동을 제어하는 단계;
    하나 이상의 동작에 관련된 데이터베이스를 이용하여, 상기 원격현전 로봇이 상기 사용자 장치로부터 상기 데이터베이스의 동작에 대한 선택 정보를 수신하는 단계;
    상기 선택 정보에 의하여 선택된 제1 동작을 수행하도록 상기 원격현전 로봇을 구동시키는 단계;
    상기 원격현전 로봇이 상기 사용자 장치로부터 사용자의 표현 정보를 수신하여 출력하는 단계;
    출력되는 상기 표현 정보에 대해 미리 설정된 제2 동작을 더 수행하도록 상기 원격현전 로봇을 구동시키는 단계; 및
    상기 원격현전 로봇의 주변 환경의 청각 정보 및 시각 정보 중 하나 이상을 상기 사용자 장치에 전송하는 단계를 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  17. 제 16항에 있어서,
    상기 데이터베이스는 상기 하나 이상의 동작 각각에 대응되는 하나 이상의 구동 정보를 포함하며,
    상기 제1 동작을 수행하도록 상기 원격현전 로봇을 구동시키는 단계는, 상기 제1 동작에 대응되는 하나 이상의 구동 정보 중 어느 하나를 이용하여 상기 원격현전 로봇을 구동시키는 단계를 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  18. 제 16항에 있어서,
    상기 표현 정보는 사용자의 영상 정보 및 음성 정보 중 하나 이상을 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  19. 제 16항에 있어서,
    상기 표현 정보는 사용자의 표정 또는 몸 동작에 대응되는 구동 정보를 포함하며,
    상기 표현 정보를 수신하여 출력하는 단계는, 상기 구동 정보를 이용하여 상기 표정 또는 몸 동작을 수행하도록 상기 원격현전 로봇을 구동시키는 단계를 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  20. 삭제
  21. 제 16항에 있어서,
    상기 선택 정보는 XML 메시지인 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  22. 사용자 장치가 원격현전 로봇의 주행 정보를 입력받는 단계;
    상기 주행 정보를 상기 원격현전 로봇에 전송하는 단계;
    상기 사용자 장치상에, 상기 원격현전 로봇의 하나 이상의 동작에 관련된 데이터베이스를 그래픽 사용자 인터페이스의 형태로 표시하는 단계;
    상기 사용자 장치가 상기 그래픽 사용자 인터페이스를 이용하여 상기 데이터베이스의 동작에 대한 선택 정보를 입력받는 단계;
    상기 선택 정보를 상기 원격현전 로봇에 전송하는 단계;
    사용자의 표현 정보를 상기 원격현전 로봇에 전송하는 단계; 및
    상기 원격현전 로봇의 주변 환경의 청각 정보 및 시각 정보 중 하나 이상을 수신하여 출력하는 단계를 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  23. 제 22항에 있어서,
    상기 표현 정보는 사용자의 영상 정보 및 음성 정보 중 하나 이상을 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  24. 제 22항에 있어서,
    상기 표현 정보는 사용자의 표정 또는 몸 동작에 대응되는 상기 원격현전 로봇의 구동 정보를 포함하는 것을 특징으로 하는 원격현전 로봇의 제어 방법.
  25. 제 22항에 있어서,
    상기 선택 정보는 XML 메시지인 것을 특징으로 하는 원격현전 로봇의 제어 방법.
KR1020100021668A 2010-03-11 2010-03-11 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법 KR101169674B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100021668A KR101169674B1 (ko) 2010-03-11 2010-03-11 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법
EP10847544.3A EP2544865A4 (en) 2010-03-11 2010-08-19 Telepresence robot, telepresence system comprising the same and method for controlling the same
PCT/KR2010/005491 WO2011111910A1 (en) 2010-03-11 2010-08-19 Telepresence robot, telepresence system comprising the same and method for controlling the same
US13/634,163 US20130066468A1 (en) 2010-03-11 2010-08-19 Telepresence robot, telepresence system comprising the same and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100021668A KR101169674B1 (ko) 2010-03-11 2010-03-11 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20110102585A KR20110102585A (ko) 2011-09-19
KR101169674B1 true KR101169674B1 (ko) 2012-08-06

Family

ID=44563690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100021668A KR101169674B1 (ko) 2010-03-11 2010-03-11 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US20130066468A1 (ko)
EP (1) EP2544865A4 (ko)
KR (1) KR101169674B1 (ko)
WO (1) WO2011111910A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501377B1 (ko) * 2013-10-10 2015-03-12 재단법인대구경북과학기술원 원격현전 로봇 간의 통신 연결 방법 및 원격현전 로봇 간의 통신 연결 장치

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2358139B1 (es) * 2009-10-21 2012-02-09 Thecorpora, S.L. Robot social.
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
WO2013176760A1 (en) 2012-05-22 2013-11-28 Intouch Technologies, Inc. Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9384443B2 (en) 2013-06-14 2016-07-05 Brain Corporation Robotic training apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
WO2015017691A1 (en) * 2013-08-02 2015-02-05 Irobot Corporation Time-dependent navigation of telepresence robots
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9296101B2 (en) 2013-09-27 2016-03-29 Brain Corporation Robotic control arbitration apparatus and methods
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9248569B2 (en) 2013-11-22 2016-02-02 Brain Corporation Discrepancy detection apparatus and methods for machine learning
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
WO2015153109A1 (en) 2014-03-31 2015-10-08 Irobot Corporation Autonomous mobile robot
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
EP3446839B1 (en) * 2016-04-20 2023-01-18 Sony Interactive Entertainment Inc. Robot and housing
WO2017183294A1 (ja) 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント アクチュエータ装置
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US10001780B2 (en) 2016-11-02 2018-06-19 Brain Corporation Systems and methods for dynamic route planning in autonomous navigation
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US10377040B2 (en) 2017-02-02 2019-08-13 Brain Corporation Systems and methods for assisting a robotic apparatus
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
US10293485B2 (en) 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning
US10901430B2 (en) 2017-11-30 2021-01-26 International Business Machines Corporation Autonomous robotic avatars
CN108297082A (zh) * 2018-01-22 2018-07-20 深圳果力智能科技有限公司 一种智能机器人控制的方法及系统
CN108241311B (zh) * 2018-02-05 2024-03-19 安徽微泰导航电子科技有限公司 一种微型机器人电子失能系统
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
KR102165352B1 (ko) * 2018-06-25 2020-10-13 엘지전자 주식회사 로봇
US20200027364A1 (en) * 2018-07-18 2020-01-23 Accenture Global Solutions Limited Utilizing machine learning models to automatically provide connected learning support and services
CN109333542A (zh) * 2018-08-16 2019-02-15 北京云迹科技有限公司 机器人语音交互方法及系统
CN109839829A (zh) * 2019-01-18 2019-06-04 弗徕威智能机器人科技(上海)有限公司 一种场景和表情双向同步方法
JP7067503B2 (ja) * 2019-01-29 2022-05-16 トヨタ自動車株式会社 情報処理装置及び情報処理方法、プログラム
US11320804B2 (en) * 2019-04-22 2022-05-03 Lg Electronics Inc. Multi information provider system of guidance robot and method thereof
CN110202587B (zh) * 2019-05-15 2021-04-30 北京梧桐车联科技有限责任公司 信息交互方法及装置、电子设备及存储介质
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
US11417328B1 (en) * 2019-12-09 2022-08-16 Amazon Technologies, Inc. Autonomously motile device with speech commands
DE112021007350T5 (de) * 2021-03-19 2024-03-28 Honda Motor Co., Ltd. Roboter

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138225A (ja) * 2003-11-06 2005-06-02 Ntt Docomo Inc 制御プログラム選択システム及び制御プログラム選択方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2761454B2 (ja) * 1993-12-09 1998-06-04 インターナショナル・ビジネス・マシーンズ・コーポレイション 自律移動機械の誘導方法
US6292713B1 (en) * 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US8788092B2 (en) * 2000-01-24 2014-07-22 Irobot Corporation Obstacle following sensor scheme for a mobile robot
JP4022477B2 (ja) * 2002-01-21 2007-12-19 株式会社東京大学Tlo ロボットフォン
US20040162637A1 (en) * 2002-07-25 2004-08-19 Yulun Wang Medical tele-robotic system with a master remote station with an arbitrator
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
US7158860B2 (en) * 2003-02-24 2007-01-02 Intouch Technologies, Inc. Healthcare tele-robotic system which allows parallel remote station observation
US7092001B2 (en) * 2003-11-26 2006-08-15 Sap Aktiengesellschaft Video conferencing system with physical cues
KR100639068B1 (ko) * 2004-09-06 2006-10-30 한국과학기술원 로봇의 감정표현장치 및 방법
JP2006142407A (ja) * 2004-11-17 2006-06-08 Sanyo Electric Co Ltd ロボット装置およびロボット装置システム
US7474945B2 (en) * 2004-12-14 2009-01-06 Honda Motor Company, Ltd. Route generating system for an autonomous mobile robot
ATE522330T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung
US8843244B2 (en) * 2006-10-06 2014-09-23 Irobot Corporation Autonomous behaviors for a remove vehicle
KR100811886B1 (ko) * 2006-09-28 2008-03-10 한국전자통신연구원 장애물 회피 진행이 가능한 자율이동로봇 및 그 방법
US7843431B2 (en) * 2007-04-24 2010-11-30 Irobot Corporation Control system for a remote vehicle
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US8477177B2 (en) * 2007-08-10 2013-07-02 Hewlett-Packard Development Company, L.P. Video conference system and method
KR101372482B1 (ko) * 2007-12-11 2014-03-26 삼성전자주식회사 이동 로봇의 경로 계획 방법 및 장치
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
JP4658155B2 (ja) * 2008-03-17 2011-03-23 株式会社日立製作所 自律移動ロボット装置及び自律移動ロボット装置の回避方法
JP4717105B2 (ja) * 2008-08-29 2011-07-06 株式会社日立製作所 自律移動ロボット装置及びかかる装置における飛び出し衝突回避方法
US20110066082A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of visual motor response
US8475391B2 (en) * 2009-09-16 2013-07-02 Cerebral Assessment Systems Method and system for quantitative assessment of spatial distractor tasks
US8948913B2 (en) * 2009-10-26 2015-02-03 Electronics And Telecommunications Research Institute Method and apparatus for navigating robot
WO2012092340A1 (en) * 2010-12-28 2012-07-05 EnglishCentral, Inc. Identification and detection of speech errors in language instruction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138225A (ja) * 2003-11-06 2005-06-02 Ntt Docomo Inc 制御プログラム選択システム及び制御プログラム選択方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOCH, J. et al. 'Universal Web Interfaces for Robot Control Frameworks.' In: 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, 22-26 September 2008, pp. 2336-2341.*
MICHAUD, F. et al. `Telepresence robot for home care assistance.' In: AAAI Spring Symposium on Multidisciplinary Collaboration for Socially Assistive Robotics, 26-28 March 2007, pp. 50-55.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501377B1 (ko) * 2013-10-10 2015-03-12 재단법인대구경북과학기술원 원격현전 로봇 간의 통신 연결 방법 및 원격현전 로봇 간의 통신 연결 장치

Also Published As

Publication number Publication date
EP2544865A1 (en) 2013-01-16
KR20110102585A (ko) 2011-09-19
US20130066468A1 (en) 2013-03-14
EP2544865A4 (en) 2018-04-25
WO2011111910A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
KR101169674B1 (ko) 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법
US9381426B1 (en) Semi-automated digital puppetry control
US8909370B2 (en) Interactive systems employing robotic companions
KR100814330B1 (ko) 학습보조 및 교사 도우미 로봇 시스템
US10490095B2 (en) Robot control device, student role-playing robot, robot control method, and robot control system
US20150298315A1 (en) Methods and systems to facilitate child development through therapeutic robotics
US20170319282A1 (en) Integrated user environments
Miskam et al. Humanoid robot NAO as a teaching tool of emotion recognition for children with autism using the Android app
JP6730363B2 (ja) 操作訓練システム
Aidinlou et al. Applications of robot assisted language learning (RALL) in language learning and teaching
Manohar et al. Programming robots to express emotions: interaction paradigms, communication modalities, and context
CH709251A2 (de) Verfahren und Vorrichtung für Telepräsenz.
Pitsch et al. Better be reactive at the beginning. Implications of the first seconds of an encounter for the tutoring style in human-robot-interaction
US20230195401A1 (en) Information processing apparatus and information processing method
Nikolopoulos et al. Robotic agents used to help teach social skills to children with autism: the third generation
US12122039B2 (en) Information processing device and information processing method
JP2001242780A (ja) 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム
JP2019200257A (ja) 学習支援システム及びプログラム
CN112823083A (zh) 可配置和交互式的机器人系统
Tsuji et al. A Telepresence System using Toy Robots the Users can Assemble and Manipulate with Finger Plays and Hand Shadow
Hashimoto et al. Study on educational application of android robot SAYA: field trial and evaluation at elementary school
CA3133789A1 (en) System and method for virtual online medical team training and assessment
Haramaki et al. A Broadcast Control System of Humanoid Robot by Wireless Marionette Style
US20230230293A1 (en) Method and system for virtual intelligence user interaction
Kishore Robotic Embodiment Developing a System for and Applications with Full Body Ownership of a Humanoid Robot

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160707

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 8