KR20150124009A - 손동작을 이용한 로봇 코칭 시스템 - Google Patents

Abstract

본 발명은 손동작을 이용한 로봇 코칭 시스템에 관한 것으로, 더욱 상세하게는 복잡한 키 조작이 아닌 손동작을 이용한 직관적인 인터페이스를 통해 로봇을 무선으로 제어하고 조종할 수 있는 손동작을 이용한 로봇 코칭 시스템에 관한 것이다.

Description

손동작을 이용한 로봇 코칭 시스템 {Coaching System Of Robot Using Hand Movement}

본 발명은 손동작을 이용한 로봇 코칭 시스템에 관한 것으로, 더욱 상세하게는 복잡한 키 조작이 아닌 손동작을 이용한 직관적인 인터페이스를 통해 로봇을 무선으로 제어하고 조종할 수 있는 손동작을 이용한 로봇 코칭 시스템에 관한 것이다.

로봇은 인간의 활동의 대신하거나 인간의 의도를 모사하여 행동할 수 있으며, 더 나아가 자율적인 판단에 따라 행동을 결정할 수 있다.

이 중 인간과 로봇이 협업하는 HRI(Human Robot Interaction) 기술이란, 광의적으로 로봇이 사용자 의도를 판단하고, 적합한 반응과 행동을 수행함으로서 인간과의 의사소통 및 상호 협력을 가능하게 하는 인식-판단-표현 기술을 의미한다.

상기와 같은 HRI 기술에서 로봇이 인간의 의도를 파악하거나, 인간으로부터 명령이나 지시를 입력받아 그에 따라 행동하기 위한 로봇과 인간 사이의 입력 인터페이스가 매우 중요하다.

종래의 로봇과 인간 사이의 입력 인터페이스는 프로그래밍에 의해 로봇 동작을 설계하고 유저가 매개체인 직접 컨트롤러나 별도의 조작기를 제어하여 로봇에 명령을 전송하여야 하므로 숙련되지 않은 사람이 로봇을 조종하기 어려운 문제가 있었다.

상기와 같은 문제점을 해결하기 위해 안출된 것으로서 본 발명의 목적은 유저의 손동작을 로봇 명령에 대응되는 손동작 패턴으로 설정하여 손동작 변화로 로봇을 조종함으로써 보다 직관적이고 편리한 로봇 조종이 가능한 손동작을 이용한 로봇 코칭 시스템을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위해 본 발명에 따른 손동작을 이용한 로봇 코칭 시스템은 유저의 손동작을 인식하는 모션 인식기와 상기 모션 인식기를 통해 입력된 손동작을 분석하여 로봇 명령을 생성하는 로봇에 전송하는 제어 단말과 상기 제어 단말로부터 전송된 로봇 명령에 따라 동작하는 로봇을 포함하는 것을 특징으로 한다.

상기 모션 인식기는 동작 인식 센서와 적어도 하나의 카메라를 포함하여 구성되고, 상기 동작 인식 센서와 적어도 하나의 카메라를 이용하여 유저의 손동작을 감지하여 인식된 손동작 정보를 상기 제어 단말로 전송하는 것을 특징으로 한다.

그리고 상기 제어 단말은 상기 모션 인식기로부터 인식된 손동작을 분석하여 로봇 명령으로 변환하는 모션 분석부와 상기 모션 분석부를 통해 변환된 로봇 명령을 로봇에 전송하는 통신부와 손동작 패턴이 저장된 패턴 DB와 상기 손동작 패턴에 대응되는 로봇 명령이 매핑되어 저장된 명령 DB를 구비하는 데이터베이스와 상기 로봇으로부터 전송된 로봇 주변의 영상 정보를 제공하여 멀티미디어 환경을 제공하는 이미지 매니저와 상기 이미지 매니저를 통해 제공된 멀티미디어 환경을 출력하는 디스플레이부를 포함하는 것을 특징으로 한다.

상기 모션 분석부는 상기 모션 인식기를 통해 수신된 손동작 감지정보와 패턴 DB를 분석하여 손동작 패턴을 판단하는 손동작 분석모듈과 상기 손동작 패턴을 명령DB에 매핑되어 저장된 로봇 명령으로 변환하는 로봇명령 변환모듈을 포함하는 것을 특징으로 한다.

상기 이미지 매니저는 로봇에 설치된 카메라를 통해 전송된 로봇 주변의 영상 정보를 기반으로 멀티미디어 데이터를 생성하되, 상기 카메리를 통해 전송된 로봇 주변의 영상 정보에 3D 가상 멀티미디어를 합성하여 생성된 멀티미디어 데이터를 생성하는 것을 특징으로 한다.

상기 로봇은 상기 제어 단말을 통해 전송된 로봇 명령을 수신하여 상기 로봇 명령 신호에 따른 로봇 제어 신호를 생성하는 로봇 제어기와 상기 로봇 제어기에서 전송된 로봇 제어 신호에 따라 로봇의 동작시키는 동작 신호를 생성하는 모션 생성기와 상기 모션 생성기의 동작 신호에 따라 로봇을 동작시키는 로봇 동작부와 로봇 주변의 영상을 촬영하는 카메라부를 포함하는 것을 특징으로 한다.

상기에서 살펴본 바와 같이 본 발명에 따른 손동작을 이용한 로봇 코칭 시스템은 유저의 손동작을 로봇 명령에 대응되는 손동작 패턴으로 설정하여 손동작 변화로 로봇을 조종함으로써 보다 직관적이고 편리한 로봇 조종이 가능하고, 초보자라 하더라도 손동작 패턴만 익히면 로봇 조종이 가능하므로 조종의 효율성이 우수한 탁월한 효과가 발생한다.

도 1은 본 발명의 바람직한 실시예에 따른 손동작을 이용한 로봇 코칭 시스템을 개략적으로 도시한 시스템 구성도이고, 도 2는 도 1의 상세 블럭도이다.
도 3은 본 발명의 바람직한 실시예에 따른 로봇 코칭 방법을 개략적으로 도시한 순서도이다.

이하, 본 발명의 구체적인 실시예에 대하여 도면을 참조하여 상세하게 설명하기로 한다.

도 1은 본 발명의 바람직한 실시예에 따른 손동작을 이용한 로봇 코칭 시스템을 개략적으로 도시한 시스템 구성도이고, 도 2는 도 1의 상세 블럭도이다.

도 1 및 2를 참조하면, 본 발명에 따른 손동작을 이용한 로봇 코칭 시스템은 유저의 손동작을 인식하는 모션 인식기와 상기 모션 인식기를 통해 입력된 손동작을 분석하여 로봇 명령을 생성하는 로봇에 전송하는 제어 단말과 상기 제어 단말로부터 전송된 로봇 명령에 따라 동작하는 로봇을 포함하여 구성될 수 있다.

여기서, 상기 로봇은 보행 로봇, 차륜 이동 로봇, 양팔 로봇 등 제공되는 기능과 컨텐츠에 따라 선택될 수 있으므로 로봇의 형태나 동작을 제한할 필요가 없다.

상기 모션 인식기는 동작 인식 센서와 적어도 하나의 카메라를 포함하여 유저의 손동작을 인식하여 인식된 손동작 정보를 상기 제어 단말로 전송하는 역할을 담당한다.

상기 제어 단말은 모션 인식기로부터 인식된 손동작을 분석하여 로봇 명령으로 변환하는 모션 분석부와 상기 모션 분석부를 통해 변환된 로봇 명령을 로봇에 전송하는 통신부와 손동작 패턴이 저장된 패턴 DB와 상기 손동작 패턴에 대응되는 로봇 명령이 매핑되어 저장된 명령 DB를 구비하는 데이터베이스와 상기 로봇으로부터 전송된 로봇 주변의 영상 정보를 제공하여 멀티미디어 환경을 제공하는 이미지 매니저와 상기 이미지 매니저를 통해 제공된 멀티미디어 환경을 출력하는 디스플레이부를 포함하여 구성될 수 있다.

여기서, 상기 제어 단말은 컴퓨터, 노트북과 같은 컴퓨팅 단말은 물론 스마트 폰과 같은 휴대용 단말로 구성될 수 있다.

상기 모션 분석부는 상기 모션 인식기를 통해 수신된 손동작 감지정보를 분석하여 손동작 패턴을 판단하는 손동작 분석모듈과 상기 손동작 패턴에 매핑된 로봇 명령으로 변환하는 로봇명령 변환모듈을 포함하여 구성될 수 있다.

상기 손동작 분석모듈은 도 1과 같은 다양한 손동작을 구분하여 손동작 패턴을 판단하는 역할을 담당한다.

손동작은 양손 또는 한손의 손목의 회전과 손가락 관절의 제어에 따라 서로 구분이 가능한 다양한 패턴을 가질 수 있으며, 각 손동작 패턴을 구분하여 패턴 DB에 미리 저장할 수 있다.

여기서, 상기 손동작 패턴은 손동작의 세기나 방향에 따라 로봇의 움직의 강도와 방향을 제어하도록 정의될 수 있다.

따라서, 손동작이 로봇의 단일 동작은 물론 시나리오에 따른 연속 동작과 동작의 세기와 방향도 동시에 입력하여 제어할 수 있다.

따라서, 상기 손동작 분석모듈은 상기 모션 인식기로부터 감지된 손동작 감지정보를 미리 저장된 손동작 패턴과 비교하여 일치하는 손동작 패턴을 추출하여 판단하게 된다. 만일, 엄지손가락을 위로 치켜 세우는 동작이 제 1 손동작 패턴으로 저장된 경우 상기 엄지손가락을 위로 치켜 세우는 동작에 대한 손동작 감지 정보과 일치하는 손동작 패턴을 패턴 DB로부터 비교 분석하여 일치하는 제 1 손동작 패턴을 추출하여 상기 손동작을 제 1 손동작 패턴으로 판단하게 된다.

상기 로봇명령 변환모듈은 상기와 같이 손동작 분석모듈을 통해 손동작 패턴이 판단되면, 상기 손동작 패턴과 매핑되어 저장된 로봇 명령을 명령 DB로부터 추출하고, 해당 로봇 명령을 변환하는 역할을 담당한다.

여기서, 상기 명령 DB는 상기 패턴 DB에 저장된 손동작 패턴과 일대일로 매핑된 로봇 명령이 저장된다. 예를 들어, 상기 제 1 손동작 패턴이 로봇이 점프를 하는 점프 명령인 경우 상기 제 1 손동작 패턴과 점프 명령이 매핑되어 상기 명령 DB에 저장된다.

상기 모션 분석부를 통해 손동작에 따른 로봇 명령이 결정되면, 통신부를 통해 상기 로봇 명령을 로봇에 전송한다.

여기서, 상기 로봇과 제어 단말은 유선 또는 무선 통신을 통해 데이터를 송수신할 수 있으며, 무선 통신으로 구성된 경우 블루투스, RF, 적외선 등의 근거리 무선 통신에 의해 로봇과 제어 단말 사이에 통신이 가능하다.

그리고 상기 이미지 매니저는 로봇에 설치된 카메라를 통해 전송된 로봇 주변의 영상 정보를 기반으로 멀티미디어 데이터를 생성하여 유저의 조작의 편의를 높이는 역할을 한다.

여기서, 상기 이미지 매니저는 카메리를 통해 전송된 로봇 주변의 영상 정보에 3D 가상 멀티미디어를 합성하여 생성된 멀티미디어 데이터를 생성할 수 있으며, 상기 3D 가상 멀티미디어는 게임, 교육, 엔터테인먼트 등 로봇의 사용 목적에 따라 다르게 결정될 수 있다.

상기 생성된 멀티미디어 데이터는 디스플레이부를 통해 출력되고, 유저는 로봇의 시각에서 주변의 상황을 주시하면서 로봇을 조종할 수 있다.

한편, 로봇은 상기 제어 단말을 통해 전송된 로봇 명령을 수신하여 상기 로봇 명령 신호에 따른 로봇 제어 신호를 생성하는 로봇 제어기와 상기 로봇 제어기에서 전송된 로봇 제어 신호에 따라 로봇의 동작시키는 동작 신호를 생성하는 모션 생성기와 상기 모션 생성기의 동작 신호에 따라 로봇을 동작시키는 로봇 동작부와 로봇 주변의 영상을 촬영하는 카메라부를 포함하여 구성될 수 있다.

상기 로봇 제어기는 상기 제어 단말과 데이터를 송수신할 수 있는 통신모듈을 포함하여 구성될 수 있으며, 제어 단말과 근거리 통신을 통해 데이터를 송수신할 경우 근거리 통신 모듈을 포함하여 구성될 수 있다.

이하, 본 발명의 바람직한 실시예에 따른 손동작을 이용한 로봇 코칭 방법에 대해 살펴보기로 한다.

도 3은 본 발명의 바람직한 실시예에 따른 로봇 코칭 방법을 개략적으로 도시한 순서도이다.

도 3을 참조하면, 먼저 손동작 패턴을 정의하고, 상기 정의된 손동작 패턴과 로봇 명령을 매핑하여 데이터베이스에 등록 저장한다.

보다 구체적으로, 로봇 조종에 사용할 손동작 패턴이 결정되면, 상기 손동작 패턴들이 패턴 DB에 저장되고, 상기 손동작 패턴과 대응되는 로봇 명령이 매핑되어 명령 DB에 저장된다.

즉, 손동작 인식을 통해 손동작 패턴이 판단되고, 상기 손동작 패턴이 판단되면, 매핑된 로봇 명령으로 변환되어 손동작을 통해 로봇 조종이 가능하다.

이어서, 모션 인식기를 통해 손동작이 감지되면 상기 감지된 손동작 정보를제어 단말로 전송된다.

보다 구체적으로, 상기 모션 인식기의 동작 인식 센서와 적어도 1개의 카메라가 유저의 손동작을 감지하게 되고, 감지된 손동작 정보를 제어 단말의 모션 분석부로 전송한다.

그리고 상기 모션 분석부가 상기 손동작 정보를 분석하여 손동작 패턴을 판단한다.

여기서, 상기 손동작 정보는 3위치에 대한 좌표 정보로 구성될 수 있으며, 상기 좌표 정보가 3D 형상을 이루게 되므로 상기 모션 분석부의 손동작 분석모듈은 상기 좌표 정보와 패턴 DB에 저장된 손동작 패턴을 비교하여 일치하는 손동작 패턴을 추출하여, 손동작 패턴을 판단하게 된다.

이어서, 모션 분석부의 로봇명령 변환모듈은 상기 판단된 손동작 패턴에 대응되는 로봇 명령을 추출하여 로봇 명령으로 변환한다.

보다 구체적으로, 상기 로봇명령 변환모듈은 상기 손동작 패턴과 매핑되어 저장된 로봇 명령을 명령 DB로부터 추출하고, 로봇에 전송할 로봇 명령으로 변환하게 된다.

그리고 통신부를 통해 상기 로봇 명령이 로봇에 전송되고, 상기 로봇 명령에 따라 로봇을 동작시킨다.

따라서, 유저의 손동작의 변화를 입력 수단으로 활용할 수 있으며, 이를 통해 보다 직관적인 입력 인터페이스를 제공하여 보다 편리하고 효율적으로 로봇을 조종할 수 있다.

이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명의 보호범위는 상기 실시예에 한정되는 것이 아니며, 해당 기술분야의 통상의 지식을 갖는 자라면 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 모션 인식기 20 : 제어 단말
30 : 로봇

Claims (6)

1. 유저의 손동작을 인식하는 모션 인식기와;
   상기 모션 인식기를 통해 입력된 손동작을 분석하여 로봇 명령을 생성하는 로봇에 전송하는 제어 단말과;
   상기 제어 단말로부터 전송된 로봇 명령에 따라 동작하는 로봇을 포함하는 것을 특징으로 하는 손동작을 이용한 로봇 코칭 시스템.
   
2. 제 1항에 있어서,
   상기 모션 인식기는
   동작 인식 센서와 적어도 하나의 카메라를 포함하여 구성되고;
   상기 동작 인식 센서와 적어도 하나의 카메라를 이용하여 유저의 손동작을 감지하여 인식된 손동작 정보를 상기 제어 단말로 전송하는 것을 특징으로 하는 손동작을 이용한 로봇 코칭 시스템.
   
3. 제 1항에 있어서,
   상기 제어 단말은
   상기 모션 인식기로부터 인식된 손동작을 분석하여 로봇 명령으로 변환하는 모션 분석부와;
   상기 모션 분석부를 통해 변환된 로봇 명령을 로봇에 전송하는 통신부와;
   손동작 패턴이 저장된 패턴 DB와 상기 손동작 패턴에 대응되는 로봇 명령이 매핑되어 저장된 명령 DB를 구비하는 데이터베이스와;
   상기 로봇으로부터 전송된 로봇 주변의 영상 정보를 제공하여 멀티미디어 환경을 제공하는 이미지 매니저와;
   상기 이미지 매니저를 통해 제공된 멀티미디어 환경을 출력하는 디스플레이부를 포함하는 것을 특징으로 하는 손동작을 이용한 로봇 코칭 시스템.
   
4. 제 3항에 있어서,
   상기 모션 분석부는
   상기 모션 인식기를 통해 수신된 손동작 감지정보와 패턴 DB를 분석하여 손동작 패턴을 판단하는 손동작 분석모듈과;
   상기 손동작 패턴을 명령DB에 매핑되어 저장된 로봇 명령으로 변환하는 로봇명령 변환모듈을 포함하는 것을 특징으로 하는 손동작을 이용한 로봇 코칭 시스템.
   
5. 제 3항에 있어서,
   상기 이미지 매니저는
   로봇에 설치된 카메라를 통해 전송된 로봇 주변의 영상 정보를 기반으로 멀티미디어 데이터를 생성하되;
   상기 카메리를 통해 전송된 로봇 주변의 영상 정보에 3D 가상 멀티미디어를 합성하여 생성된 멀티미디어 데이터를 생성하는 것을 특징으로 하는 손동작을 이용한 로봇 코칭 시스템.
   
6. 제 1항에 있어서,
   상기 로봇은
   상기 제어 단말을 통해 전송된 로봇 명령을 수신하여 상기 로봇 명령 신호에 따른 로봇 제어 신호를 생성하는 로봇 제어기와;
   상기 로봇 제어기에서 전송된 로봇 제어 신호에 따라 로봇의 동작시키는 동작 신호를 생성하는 모션 생성기와;
   상기 모션 생성기의 동작 신호에 따라 로봇을 동작시키는 로봇 동작부와;
   로봇 주변의 영상을 촬영하는 카메라부를 포함하는 것을 특징으로 하는 손동작을 이용한 로봇 코칭 시스템.
   
   

Images