KR101929451B1

KR101929451B1 - 로봇의 제어 장치 및 방법

Info

Publication number: KR101929451B1
Application number: KR1020120011214A
Authority: KR
Inventors: 김경록
Original assignee: 삼성전자주식회사
Priority date: 2012-02-03
Filing date: 2012-02-03
Publication date: 2018-12-14
Also published as: US8924020B2; US20130204436A1; KR20130090119A

Abstract

본 발명은 로봇의 팔의 움직임을 제어하는 로봇의 제어 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 의한 로봇의 제어 장치는 영상 획득부, 구동부, 및 제어부를 포함한다. 영상 획득부는 사용자의 3차원 영상을 획득하고, 구동부는 로봇의 복수의 부분로 구성된 팔을 구동하고, 제어부는 상기 3차원 영상을 기초로 상기 사용자의 관절의 움직임에 대응되는 사용자 모델을 생성하고, 상기 사용자 모델을 기초로 부분의 길이가 가변되는 목표 모델을 생성하고, 상기 목표 모델을 기초로 상기 로봇의 팔이 구동되도록 한다.

Description

로봇의 제어 장치 및 방법 {CONTROLLING APPARATUS AND METHOD FOR ROBOT}

본 발명은 로봇의 팔의 움직임을 제어하는 로봇의 제어 장치 및 방법에 관한 것이다.

로봇은 제어 명령을 입력 받거나 주위 환경을 검출하는 센서를 통해 반응 또는 행동을 일으키는 기계 시스템을 말하고, 휴머노이드는 인간의 신체와 유사한 모습을 하고 있는 로봇을 의미한다. 휴머노이드는 인간의 행동을 모방하고 인간과 같은 운동을 구현하기 위해서 다양한 알고리즘으로 제어되는데, 일 예로 3차원 깊이 센서가 설치된 로봇이 사용자의 움직임을 인식하여 인식된 사용자의 움직임에 따라 동작을 수행할 수 있다.

로봇이 사용자의 팔의 움직임을 인식하는 경우라면, 로봇은 사용자의 팔을 어깨부터 손목까지 복수의 부분으로 구성된 기구로 모델링하여 사용자의 팔의 움직임을 인식할 수 있다. 그리고, 사용자의 움직임에 따라 로봇의 팔의 움직임을 제어하는 방법은 대표적으로, 로봇이 사용자의 특정 자세와 유사한 자세로 움직일 수 있도록 사용자의 팔의 기구적인 형태를 분석하여 각 관절의 각도(joint angle)를 매핑(mapping)하는 방법과, 특정 대상과 상호 작용하는 사용자의 움직임을 손끝, 또는 팔끝의 위치를 중심으로 분석하여 말단의 위치(end position)를 매핑하는 방법이 있다.

그러나, 각 관절의 각도를 매핑하는 방법은 사용자의 자세에만 초점을 맞추었기 때문에 특정 대상과 상호 작용하는 움직임을 재현하기 어려우며, 말단의 위치를 매핑하는 방법은 특정 대상과의 상호 작용만을 중시하게 되고 로봇의 팔의 부분의 길이와 사용자의 부분의 길이가 다른 경우 인간의 자세와 비유사한 자세로 움직이게 된다.

본 발명의 일 측면은 부분의 길이를 가변하여 사용자의 움직임을 모델링하는 로봇의 제어 장치 및 방법을 제공한다.

이를 위한, 본 발명의 일 실시예에 의한 로봇의 제어 장치는 사용자의 3차원 영상을 획득하는 영상 획득부, 로봇의 복수의 부분으로 구성된 팔을 구동하는 구동부, 및 상기 3차원 영상을 기초로 상기 사용자의 관절의 움직임에 대응되는 사용자 모델을 생성하고, 상기 사용자 모델을 기초로 부분의 길이가 가변되는 목표 모델을 생성하고, 상기 목표 모델을 기초로 상기 로봇의 팔이 구동되도록 하는 제어부를 포함한다.

상기 제어부는 초기 위치에서는 상기 목표 모델의 부분의 길이가 상기 로봇의 팔의 부분의 길이와 동일하도록 생성하고, 목표 위치에서는 상기 목표 모델의 부분의 길이가 상기 사용자의 팔의 부분의 길이와 동일하도록 생성한다.

상기 제어부는 현재 위치로부터 상기 목표 위치의 거리에 따라 상기 목표 모델의 부분의 길이가 가변되도록 생성한다.

상기 제어부는 전체 구동 시간 대비 잔여 구동 시간의 비율에 따라 상기 목표 모델의 부분의 길이가 가변되도록 생성한다.

상기 제어부는 상기 로봇의 손목 관절의 위치가 상기 목표 모델의 손목 관절의 위치를 추종하도록 한다.

상기 제어부는 상기 로봇의 팔꿈치 관절이 상기 로봇의 어깨 관절, 또는 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 부분의 길이를 반지름으로 하는 복수의 구의 접선에 위치하도록 한다.

상기 제어부는 상기 목표 모델의 어깨 관절, 또는 손목 관절의 위치를 중심으로 하고 상기 목표 모델의 부분의 길이를 반지름으로 하는 복수의 구의 접선이 이루는 원의 중심에서 상기 목표 모델의 팔꿈치 관절을 향한 방향 벡터와, 상기 로봇의 팔꿈치 관절이 상기 로봇의 어깨 관절, 또는 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 부분의 길이를 반지름으로 하는 복수의 구의 접선이 이루는 원의 중심에서 상기 로봇의 팔꿈치 관절을 향한 방향 벡터가 일치하도록 한다.

이를 위한, 본 발명의 일 실시예에 의한 로봇의 제어 방법은 사용자의 3차원 영상을 획득하는 단계, 상기 3차원 영상을 기초로 상기 사용자의 관절의 움직임에 대응되는 사용자 모델을 생성하는 단계, 상기 사용자 모델을 기초로 부분의 길이가 가변되는 목표 모델을 생성하는 단계, 및 상기 목표 모델을 기초로 로봇의 복수의 부분로 구성된 팔을 구동하는 단계를 포함한다.

상기 목표 모델을 생성하는 단계는 초기 위치에서는 상기 목표 모델의 부분의 길이가 상기 로봇의 팔의 부분의 길이와 동일하도록 생성하고, 목표 위치에서는 상기 목표 모델의 부분의 길이가 상기 사용자의 팔의 부분의 길이와 동일하도록 생성한다.

상기 목표 모델을 생성하는 단계는 현재 위치로부터 상기 목표 위치의 거리에 따라 상기 목표 모델의 부분의 길이가 가변되도록 생성한다.

상기 목표 모델을 생성하는 단계는 전체 구동 시간 대비 잔여 구동 시간의 비율에 따라 상기 목표 모델의 부분의 길이가 가변되도록 생성한다.

상기 로봇의 팔을 구동하는 단계는 상기 로봇의 손목 관절의 위치가 상기 목표 모델의 손목 관절의 위치를 추종하도록 한다.

상기 로봇의 어깨 관절, 또는 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 부분의 길이를 반지름으로 하는 복수의 구의 접선에 위치하는 상기 로봇의 팔꿈치 관절의 위치를 결정하는 단계를 더 포함한다.

상기 로봇의 팔꿈치 관절의 위치를 결정하는 단계는 상기 목표 모델의 어깨 관절, 또는 손목 관절의 위치를 중심으로 하고 상기 목표 모델의 부분의 길이를 반지름으로 하는 복수의 구의 접선이 이루는 원의 중심에서 상기 목표 모델의 팔꿈치 관절을 향한 방향 벡터와, 상기 로봇의 팔꿈치 관절이 상기 로봇의 어깨 관절, 또는 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 부분의 길이를 반지름으로 하는 복수의 구의 접선이 이루는 원의 중심에서 상기 로봇의 팔꿈치 관절을 향한 방향 벡터가 일치하도록 한다.

본 발명의 일 측면에 의하면 부분의 길이를 가변하여 사용자의 움직임을 모델링하고, 모델링 결과에 기초하여 로봇의 팔의 움직임을 제어하므로 사람의 자세와 유사하고 자연스럽게 로봇의 팔을 구동할 수 있다.

도 1은 일 실시예에 의한 로봇을 개략적으로 도시하는 도면이다.
도 2는 도 1의 로봇의 관절의 구성을 개략적으로 도시하는 도면이다.
도 3은 일 실시예에 의한 로봇의 제어 장치의 구성을 개략적으로 도시하는 도면이다.
도 4는 일 실시예에 의한 사용자의 3차원 영상을 개략적으로 도시하는 도면이다.
도 5는 도 4의 3차원 영상을 기초로 생성된 사용자 모델을 개략적으로 도시하는 도면이다.
도 6은 일 실시예에 의한 사용자 모델의 관절의 움직임을 개략적으로 도시하는 도면이다.
도 7은 도 6의 사용자의 모델의 관절의 각도를 추종하는 목표 모델을 개략적으로 도시하는 도면이다.
도 8은 도 7의 목표 모델의 부분의 길이의 변화를 개략적으로 도시하는 도면이다.
도 9는 도 8의 목표 모델의 손목 관절의 위치를 추종하는 로봇의 팔을 개략적으로 도시하는 도면이다.
도 10은 도 7의 목표 모델의 팔꿈치 관절의 위치를 개략적으로 도시하는 도면이다.
도 11은 도 9의 로봇의 팔의 팔꿈치 관절의 위치를 개략적으로 도시하는 도면이다.
도 12는 일 실시예에 의한 로봇의 제어 방법을 개략적으로 도시하는 흐름도이다.
도 13은 다른 일 실시예에 의한 로봇의 제어 방법을 개략적으로 도시하는 흐름도이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 일 실시예에 의한 로봇을 개략적으로 도시하는 도면이고, 도 2는 도 1의 로봇의 관절의 구성을 개략적으로 도시하는 도면이다.

도 1을 참조하면, 로봇(100)은 머리, 몸통, 및 팔로 이루어진 상체와 복수의 다리로 이루어진 하체를 가진다.

로봇(100)의 상체는 몸통(102), 몸통(102)의 상부에 목(120)을 통해 연결된 머리(104), 몸통(102)의 상부 양측에 어깨(114L, 114R)를 통해 연결된 두 개의 팔(106L, 106R), 상기 두 개의 팔(106L, 106R)의 말단에 각각 연결된 손(108L, 108R)으로 이루어진다. 그리고, 상체의 몸통(102) 내부는 커버(116)에 의해 보호된다.

로봇(100)의 하체는 상체의 몸통(102) 하부 양측에 연결된 두 개의 다리(110L, 110R), 및 두 개의 다리(110L, 110R) 말단에 각각 연결된 발(112L, 112R)로 이루어진다.

여기서, 머리(104), 두 개의 팔(106L, 106R), 두 개의 다리(110L, 110R), 두 개의 손(108L, 108R), 및 두 개의 발(112L, 112R)은 각각 관절을 통해 일정 수준의 자유도를 갖는다.

참조 부호에서 "R"과 "L"는 각각 로봇(100)의 우측(Right)과 좌측(Left)을 나타낸다.

도 2를 참조하면, 로봇(100)의 머리(104)에는 주위를 촬영하는 카메라(41), 및 사용자 음성이 입력되는 마이크로폰(42)이 설치된다.

머리(104)는 목 관절부(280)를 통해 상체의 몸통(102)과 연결된다. 목 관절부(280)는 요우 방향(yaw, Y축 회전)의 회전 관절(281), 피치 방향(pitch, Z축 회전)의 회전 관절(282), 및 롤 방향(roll, X축 회전)의 회전 관절(283)을 포함하여 3 자유도를 가진다.

목 관절부(280)의 회전 관절(281, 282, 283)은 머리 회전용 모터들(미도시)이 각각 연결된다.

어깨 관절부(250L, 250R)는 상체의 몸통(102)의 양측에 장착되어 두 개의 팔(106L, 106R)을 상체의 몸통(102)에 연결한다.

두 개의 팔(106L, 106R)은 상박골부(31), 하박골부(32), 및 손(33)을 가진다.

상박골부(31)는 어깨 관절부(250L, 250R)를 통해 상체(102)에 연결되고, 상박골부(31)와 하박골부(32)는 팔꿈치 관절부(260)를 통해 서로 연결되며, 하박골부(32)와 손(33)은 손목 관절부(270)를 통해 서로 연결된다.

팔꿈치 관절부(260)는 피치 방향의 회전 관절(261), 및 요우 방향의 회전 관절(262)를 포함하여 2 자유도를 가지고, 손목 관절부(270)는 피치 방향의 회전 관절(271), 및 롤 방향의 회전 관절(272)을 포함하여 2 자유도를 가진다.

손(33)에는 5개의 손가락(33a)이 설치된다. 각각의 손(33a)에는 모터에 의해 구동되는 다수의 관절(미도시)들이 설치될 수 있다. 손가락(33a)은 팔(106)의 움직임에 연동하여 물건을 파지하거나 특정 방향을 가리키는 것과 같은 다양한 동작을 실행한다.

상체의 몸통(102)에는 상체가 회전할 수 있도록 요우(Yaw) 방향의 회전 관절(15)이 설치된다.

또한 상체의 몸통(102)을 구성하는 가슴과 허리 사이에는 가슴이 허리에 대해 회전할 수 있도록 요우(Yaw) 방향의 회전 관절(15)이 설치된다.

상체의 몸통(102)에는 연직축에 대한 상체의 경사 각도와 그 각속도를 검출하는 포즈 센서(pose sensor, 14)가 더 설치되는 것도 가능하다.

로봇(100)의 두 개의 다리(110L, 110R)는 각각 대퇴골부(21), 하퇴골부(22), 및 발(112L, 112R)을 가진다.

대퇴골부(21)는 고관절부(210)를 통해 상체의 몸통(102)에 연결되고, 대퇴골부(21)와 하퇴골부(22)는 무릎 관절부(220)를 통해 서로 연결되며, 하퇴골부(22)와 발(112L, 112R)은 발목 관절부(230)를 통해 서로 연결된다.

고관절부(210)는 3 자유도를 가진다. 보다 상세하게, 고관절부(210)는 요 방향(yaw, Y축 회전)의 회전 관절(211), 피치 방향(pitch, Z축 회전)의 회전 관절(212), 및 롤 방향(roll, X축 회전)의 회전 관절(213)을 갖는다.

무릎 관절부(220)는 피치 방향의 회전 관절(221)을 포함하여 1 자유도를 가진다.

발목 관절부(230)는 피치 방향의 회전 관절(231), 및 롤 방향의 회전 관절(232)을 포함하여 2 자유도를 가진다.

이하에서는 로봇(100)의 팔(106L, 106R)의 움직임을 제어하여, 로봇(100)의 팔(106L, 106R)이 자연스럽게 구동될 수 있도록 하는 로봇의 제어 장치 및 방법을 상세하게 설명한다.

로봇의 제어 장치는 사용자의 3차원 영상을 기초로 사용자의 움직임을 인식하고, 인식된 사용자의 움직임에 대응하여 로봇(100)이 움직이도록 로봇(100)의 관절을 제어한다. 로봇의 제어 장치는 모듈 형태로 로봇(100)에 내장되어 설치될 수 있고, 원격 제어 장치로 구성되어 사용자가 원격지에서 로봇(100)의 움직임을 제어할 수도 있다.

도 3은 일 실시예에 의한 로봇의 제어 장치의 구성을 개략적으로 도시하는 도면이다.

도 3을 참조하면, 로봇의 제어 장치는 영상 획득부(310), 제어부(320), 및 구동부(330)를 포함한다.

영상 획득부(310)는 사용자의 3차원 영상을 획득한다. 이를 위해, 영상 획득부(310)는 깊이 영상을 획득하는 깊이 센서(311), 및 컬러 영상을 획득하는 RGB 센서(312)를 포함한다. 깊이 센서(311)는 적외선을 송신하고 송신된 적외선이 오브젝트에 반사되어 돌아오는 거리를 측정하여 깊이를 측정한다. RGB 센서(312)는 사용자의 얼굴, 또는 머리를 검출하기 위한 컬러 영상을 촬영한다.

제어부(320)는 미리 저장된 제어 프로그램에 따라 사용자의 3차원 영상을 기초로 로봇의 움직임을 제어한다. 이를 위해, 제어부(320)는 영상 처리부(321), 사용자 모델 생성부(322), 및 목표 모델 생성부(323)를 포함한다.

영상 처리부(321)는 깊이 영상의 해상도가 컬러 영상의 해상도보다 낮은 경우 깊이 영상을 컬러 영상에 정합시킨다. 한편, 본 발명의 다른 일 실시예에서 깊이 영상과 컬러 영상이 동일한 센서에 의해 획득되는 경우에는 깊이 영상과 컬러 영상의 정합은 생략될 수 있다.

또한, 영상 처리부(321)는 3차원 영상을 기초로 실루엣 영상을 추출한다. 예를 들어, 영상 처리부(321)는 3차원 영상을 복수 개의 세그먼트로 분할하고, 분할된 복수 개의 세그먼트 중에서 타겟 오브젝트(400)에 해당하는 세그먼트를 검출한다. 이때, 영상 처리부(321)는 사용자의 인체에 해당하는 타겟 오브젝트(400)를 검출하기 위해서, 학습 데이터 기반의 얼굴 검출, 또는 머리 검출 알고리즘 등을 이용할 수 있다.

사용자 모델 생성부(322)는 실루엣 영상을 기초로 Rectangle Fitting 알고리즘 등을 이용하여 타겟 오브젝트(400)의 부분 및 관절의 위치를 계산한다. 그리고, 사용자 모델 생성부(322)는 계산된 타겟 오브젝트(400)의 부분 및 관절의 위치를 기초로 사용자 모델(500)을 생성한다. 예를 들어, 사용자 모델(500)은 사용자의 관절의 움직임에 대응되는 Skeleton 모델일 수 있다.

한편, 본 발명의 사용자 모델(500)을 생성하는 방법은 특정 실시예에 한정되는 것은 아니며, 3차원 영상을 기초로 타겟 오브젝트(400)의 부분 및 관절의 위치를 계산하는 다양한 알고리즘이 이용될 수 있다. 또한, 사용자 모델(500)을 생성하기 위해서 별도의 모션 센서를 이용하여 타겟 오브젝트(400)의 부분 및 관절의 위치를 계산할 수도 있다.

목표 모델 생성부(323)는 사용자 모델(500)을 기초로 부분의 길이가 가변되는 목표 모델을 생성한다. 목표 모델을 생성하는 방법의 구체적인 내용은 도 7 내지 도 8에서 후술하기로 한다.

구동부(330)는 제어부(320)의 제어 명령에 따라 각 관절부에 설치된 구동 모터를 구동하여 각 관절의 위치 및 각도 등을 변화시킨다. 이때, 제어부(320)의 제어 명령은 로봇(100)의 팔(106L, 106R)의 각 관절의 각도가 목표 각도를 추종하도록 하거나, 로봇(100)의 손목 관절(270)의 위치가 목표 위치를 추종하도록 한다.

한편, 로봇의 제어 장치가 원격 제어 장치로 구성되는 경우, 로봇의 제어 장치는 유무선 네트워크를 통해 원격지의 로봇(100)과 연결되고, 각 관절의 제어 신호를 전송하기 위한 통신부를 더 포함할 수 있다.

도 4는 일 실시예에 의한 사용자의 3차원 영상을 개략적으로 도시하는 도면이다.

도 4를 참조하면, 3차원 영상에는 타겟 오브젝트(400)인 사용자 부분과 배경 부분이 포함될 수 있다. 예를 들어, 배경 부분은 벽이나 바닥 등의 부분일 수 있다. 이에 따라, 타겟 오브젝트(400)와 다른 오브젝트를 분리하는 과정이 요구되며, 영상 처리부(321)에 의해 3차원 영상을 기초로 실루엣 영상이 추출된다.

3차원 영상의 각 픽셀은 X좌표값, Y좌표값 및 깊이값에 해당되는 Z좌표값을 갖는다. 그리고, 실루엣 영상은 타겟 오브젝트(400)에 해당하는 부분의 픽셀만이 깊이값을 갖는다.

도 5는 도 4의 3차원 영상을 기초로 생성된 사용자 모델(500)을 개략적으로 도시하는 도면이다.

도 5를 참조하면, 실루엣 영상을 기초로 타겟 오브젝트(400)의 각 관절 및 부분의 위치가 계산되며, 사용자 모델(500)은 Rectangle Fitting 알고리즘에 따라 타겟 오브젝트(400)의 얼굴 또는 머리 부분을 기초로 몸통 부분, 팔 부분 및 다리 부분의 부분와 관절의 위치를 모델링한 것이다.

사용자 모델(500)에서 머리 부분은 중심 점의 위치가 특징점으로 결정되고, 나머지 몸통 부분, 팔 부분, 및 다리 부분은 각 부분가 연결되는 관절 위치 또는 각 부분의 말단 위치가 특징점으로 결정된다.

본 실시예에서 사용자 모델(500)은 총 14개의 특징점들의 위치가 결정되며, 각각 머리 중심(510), 우측 어깨 관절(533), 우측 팔꿈치 관절(532), 우측 손목 관절(531), 좌측 어깨 관절(523), 좌측 팔꿈치 관절(522), 좌측 손목 관절(521), 몸통(540), 우측 골반 관절(563), 우측 무릎 관절(562), 우측 발목 관절(561), 좌측 골반 관절(553), 좌측 무릎 관절(552), 좌측 발목 관절(551)의 위치로 모델링 된다.

한편, 본 발명의 사용자 모델(500)에서 특징점의 개수는 특정 실시예에 한정되는 것은 아니며, Inverse Kinematics 알고리즘 등을 이용하여 보다 많은 특징점들이 이용될 수 있다.

이하에서는 사용자의 움직임을 모델링하면서 편의상 사용자의 우측 팔의 움직임만을 모델링하였으나, 좌측 팔의 움직임에 대해서도 동일한 방식이 적용될 수 있다. 또한, 사용자 모델(500), 목표 모델 및 로봇의 팔의 상부 부분 및 하부 부분의 길이는 동일한 것으로 가정하였으나, 본 발명이 상부 부분 및 하부 부분의 길이가 동일한 실시예에 한정되는 것은 아니다.

도 6은 일 실시예에 의한 사용자 모델의 관절의 움직임을 개략적으로 도시하는 도면이다.

도 6을 참조하면, 사용자 모델(500)의 팔이 움직이는 경우 사용자 모델(500)의 우측 손목 관절(531)이 초기 위치에서 목표 위치로 이동된다. 이때, 사용자 모델(500)의 우측 어깨 관절(533)의 위치가 고정된 것으로 가정하면, 사용자 모델(500)의 우측 팔의 상부 부분 및 하부 부분이 연결되는 우측 팔꿈치 관절(532)의 각도가 θ1에서 θ2를 경유하여 θ3로 변화하게 된다.

도 7은 도 6의 사용자의 모델의 관절의 각도를 추종하는 목표 모델을 개략적으로 도시하는 도면이다.

도 7을 참조하면, 목표 모델 생성부(323)는 목표 모델의 부분의 길이가 로봇(100)의 팔의 부분의 길이와 동일하도록 생성한다. 그리고, 목표 모델 생성부(323)는 목표 모델의 관절의 각도가 사용자 모델(500)의 관절의 각도를 추종하도록 한다.

이에 따라, 목표 모델의 부분의 길이는 사용자 모델(500)의 부분의 길이와 다르지만, 목표 모델의 우측 팔꿈치 관절(632)의 각도는 사용자 모델(500)의 우측 팔꿈치 관절(532)의 각도와 동일하게 θ1에서 θ2를 경유하여 θ3로 변화하게 된다. 이와 같이 목표 모델의 관절의 각도가 사용자 모델(500)의 관절의 각도를 추종하게 함으로써, 후술하는 로봇(100)의 팔의 움직임은 인간의 자세와 유사한 자세로 동작될 수 있다.

그리고, 목표 모델의 우측 손목 관절(631)의 위치는 사용자 모델(500)의 우측 손목 관절의 위치(531)와 다르게 P1에서 P2를 경유하여 P3로 변화하게 된다. 여기서, 우측 손목 관절(631)의 위치 P1, P2 및 P3는 사용자 모델(500)의 팔이 움직이는 평면상에 위치하며, 예를 들어, P1은 (10, 10), P2는 (30, 18), P3는 (48, 36)일 수 있다.

도 8은 도 7의 목표 모델의 부분의 길이의 변화를 개략적으로 도시하는 도면이다.

도 8을 참조하면, 목표 모델 생성부(323)는 초기 위치에서는 목표 모델의 부분의 길이가 로봇(100)의 팔의 부분의 길이와 동일하도록 생성하고, 최종 목표 위치에서는 목표 모델의 부분의 길이가 사용자의 팔의 부분의 길이와 동일하도록 생성한다.

보다 상세하게, 초기 위치에서 목표 모델의 팔의 상부 부분의 길이 M1은 로봇(100)의 팔의 부분의 길이 N과 동일하고, 목표 위치에서 목표 모델의 팔의 상부 부분의 길이 M3는 사용자 모델(500)의 부분의 길이 L과 동일하며, 움직임 경로에서 목표 모델의 부분의 길이 M2는 M1과 M3의 사이에 해당하는 값으로 변화된다.

또한 목표 모델 생성부(323)는 목표 모델의 우측 팔꿈치 관절(632)의 각도가 사용자 모델(500)의 우측 팔꿈치 관절(532)의 각도를 추종하여 θ1에서 θ2를 경유하여 θ3로 변화되도록 한다.

이에 따라, 목표 모델의 우측 손목 관절(631)의 위치는 부분의 길이가 변화되기 전과 다르게 P1`에서 P2`를 경유하여 P3`로 변화하게 된다. 예를 들어, P1`은 (10, 10), P2`는 (25, 28), P3`는 (27, 44)일 수 있다.

그리고, 구동부(330)는 로봇(100)의 팔의 우측 손목의 관절(270)의 위치가 목표 모델의 우측 손목 관절(631)의 위치를 추종하도록 구동하게 된다.

이는 본 발명의 일 측면에 따라 사용자의 움직임을 모델링하면서, 목표 위치로부터 멀수록 사용자의 자세를 우선으로 하여 로봇(100)의 움직임이 사용자의 관절의 각도를 추종하도록 하고, 목표 위치로부터 가까울수록 사용자의 말단의 위치(end position)를 우선으로 하여 로봇(100)의 움직임이 사용자의 관절의 위치를 추종하도록 하기 위한 것이다.

본 발명의 일 측면에 의하면, 사용자의 손 끝, 또는 팔 끝의 위치를 매핑하더라도, 초기에는 로봇(100)의 팔의 움직임이 인간의 자세와 유사한 자세로 동작되면서, 최종에는 로봇(100)의 말단이 목표 위치에 도달되므로 특정 대상과 상호 작용하는 동작을 수행할 수 있다.

보다 상세하게, 목표 모델 생성부(323)는 하기 수학식에 따라 목표 모델의 부분의 길이를 가변하여 사용자의 움직임을 모델링하게 된다.

[수학식]

목표 모델의 부분의 길이 = 사용자 모델의 부분의 길이 + k * (로봇의 팔의 부분의 길이 - 사용자 모델의 부분의 길이)

여기서, k = 잔여 구동 시간 / 전체 구동 시간이다.

이에 따라, 목표 모델 생성부(323)는 목표 모델의 우측 손목 관절(631)의 위치가 현재 위치(P1`)로부터 목표 위치(P3`)로 변화함에 따라 목표 모델의 팔의 부분의 길이가 가변되도록 생성하게 된다.

도 9는 도 8의 목표 모델의 손목 관절의 위치를 추종하는 로봇의 팔을 개략적으로 도시하는 도면이다.

도 9를 참조하면, 로봇(100)의 팔의 손목 관절(270)의 위치는 목표 모델의 손목 관절(631)의 위치를 추종하여 P1`에서 P2`를 경유하여 P3`로 변화하게 된다. 그리고, 로봇(100)의 팔꿈치 관절(260)의 각도는 목표 모델의 관절의 각도를 추종하지 않고, 고정된 로봇(100)의 어깨 관절부(250R)의 위치와 변화하는 손목 관절부(270)의 위치에 따라 적절한 각도로 변화하게 된다.

이에 따라, 목표 모델을 기초로 하는 로봇(100)의 팔의 움직임은 초기 위치에서는 로봇(100)의 자세와 유사하지만, 목표 위치에 근접할수록 인간의 자세와 유사하게 된다.

도 10은 도 7의 목표 모델의 팔꿈치 관절의 위치를 개략적으로 도시하는 도면이다.

도 10을 참조하면, 목표 모델의 팔꿈치 관절(632)은 각각 목표 모델의 어깨 관절(633) 및 손목 관절(631)의 위치를 구의 중심으로 하고 목표 모델의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선에 위치하는 것으로 모델링할 수 있다.

여기서, 목표 모델의 팔꿈치 관절(632)은 복수의 구가 서로 접할 때의 접점들로 이루어지는 선 상의 어느 위치에도 위치할 수 있으므로, 제어부(320)는 목표 모델의 자세를 특정하기 위해서, 목표 모델의 어깨 관절(633), 또는 손목 관절(631)의 위치를 중심으로 하고 목표 모델의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선이 이루는 원의 중심에서 목표 모델의 팔꿈치 관절(632)을 향한 방향 벡터 V1을 산출할 수 있다.

도 11은 도 9의 로봇의 팔의 팔꿈치 관절의 위치를 개략적으로 도시하는 도면이다.

도 11을 참조하면, 목표 모델과 동일한 어깨 관절(250R)의 위치 및 손목 관절(270)의 위치를 가지는 로봇(100)의 팔의 경우에도, 로봇(100)의 팔꿈치 관절(260)은 로봇(100)의 어깨 관절(250R), 또는 손목 관절(270)의 위치를 중심으로 하고 로봇(100)의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선 상의 다양한 위치에 위치할 수 있다.

여기서, 제어부(320)는 로봇(100)의 자세를 특정하기 위해서, 로봇(100)의 어깨 관절(250R) 또는 손목 관절(270)의 위치를 중심으로 하고 로봇(100)의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선이 이루는 원의 중심에서 로봇(100)의 팔꿈치 관절(260)을 향하는 방향 벡터 V2를 산출할 수 있다.

그리고, 제어부(320)는 로봇(100)의 팔의 자세가 사용자의 팔의 자세와 유사하도록 방향 벡터 V1의 방향각과 방향 벡터 V2의 방향각이 일치하도록 로봇(100)의 팔꿈치(260)의 위치를 결정한다. 이에 따라, 로봇(100)의 팔꿈치(260)의 위치를 포함하는 로봇(100)의 자세가 인간의 자세와 매우 유사하게 동작될 수 있다.

도 12는 일 실시예에 의한 로봇의 제어 방법을 개략적으로 도시하는 흐름도이다.

도 12를 참조하면, 영상 획득부(310)는 사용자의 3차원 영상을 획득한다(710). 사용자의 3차원 영상은 깊이 영상과 컬러 영상이 각각의 센서에 의해 획득되거나, 깊이 영상과 컬러 영상이 동일한 센서에 의해 획득될 수 있다.

다음으로, 영상 처리부(321)는 사용자의 3차원 영상을 기초로 실루엣 영상을 추출한다(720). 이 때, 영상 처리부(321)는 학습 데이터 기반의 얼굴 검출, 또는 머리 검출 기법 등을 이용하여 타겟 오브젝트(400)를 검출하고, 타겟 오브젝트(400)에 해당하는 세그먼트를 검출할 수 있다.

다음으로, 사용자 모델(500) 생성부(322)는 실루엣 영상을 기초로 사용자의 관절의 움직임에 대응되는 사용자 모델(500)을 생성한다(730). 그리고, 생성된 사용자 모델(500)은 타겟 오브젝트(400)의 부분, 및 관절의 위치를 기초로 한다.

다음으로, 목표 모델 생성부(323)는 사용자 모델(500)을 기초로 목표 모델을 생성한다(740). 목표 모델은 먼저 사용자 모델(500)의 관절의 각도를 추종하여 생성된다. 그리고, 목표 모델은 부분의 길이가 가변되어, 초기 위치에서는 부분의 길이가 로봇(100)의 팔의 부분의 길이와 동일하도록 생성되고, 목표 위치에서는 부분의 길이가 사용자의 팔의 부분의 길이와 동일하도록 생성된다.

다음으로, 구동부(330)는 목표 모델을 기초로 로봇(100)의 팔을 구동한다(750). 이에 따라 로봇(100)의 팔의 손목 관절(270)의 위치가 목표 모델의 손목 관절(631)의 위치를 추종하면서 구동된다.

도 13은 다른 일 실시예에 의한 로봇의 제어 방법을 개략적으로 도시하는 흐름도이다. 도 12와 중복되는 내용에 대해서는 상세한 설명을 생략한다.

도 13을 참조하면, 제어부(320)는 로봇(100)의 팔이 구동되기 전에 로봇의 팔꿈치 관절(260)의 위치를 결정한다(850). 로봇(100)의 팔꿈치(260) 위치는 목표 모델의 어깨 관절(633), 또는 손목 관절(631)의 위치를 중심으로 하고 목표 모델의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선이 이루는 원의 중심에서 목표 모델의 팔꿈치 관절(632)을 향한 방향 벡터 V1과 로봇(100)의 어깨 관절(250R), 또는 손목 관절(270)의 위치를 중심으로 하고 로봇(100)의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선이 이루는 원의 중심에서 로봇(100)의 팔꿈치 관절(260)을 향한 방향 벡터 V2가 일치하도록 결정한다.

한편, 상술한 실시예에서는 사용자의 움직임에 대응하여 로봇의 움직임을 제어하면서, 말단 위치(end position)의 매핑을 위해 로봇의 손목 관절이 사용자의 손목 관절을 추종하도록 하였으나, 로봇의 손 끝이 사용자의 손 끝을 추종하도록 할 수도 있으며, 기타 다른 관절에 대해서도 동일한 방식으로 적용할 수 있다.

310: 영상 획득부 320: 제어부
330: 구동부

Claims

사용자의 3차원 영상을 획득하는 영상 획득부;
로봇의 복수의 부분들로 이루어진 팔을 구동하는 구동부; 및
상기 3차원 영상을 기초로 상기 사용자의 관절의 움직임에 대응하는 사용자 모델을 생성하고, 상기 사용자 모델을 기초로 길이가 가변되는 복수의 부분들로 이루어진 팔을 가지는 목표 모델을 생성하고, 상기 목표 모델을 기초로 상기 로봇의 팔이 구동되도록 하는 제어부를 포함하는 로봇의 제어 장치.
제1항에 있어서,
상기 제어부는 상기 목표 모델의 손목 관절의 초기 위치에서는 상기 목표 모델의 팔의 복수의 부분들의 길이가 각각 대응하는 상기 로봇의 팔의 복수의 부분들의 길이와 동일하도록 상기 목표 모델을 생성하고, 상기 목표 모델의 손목 관절의 목표 위치에서는 상기 목표 모델의 팔의 복수의 부분들의 길이가 각각 대응하는 상기 사용자의 팔의 복수의 부분들의 길이와 동일하도록 상기 목표 모델을 생성하는 로봇의 제어 장치.
제2항에 있어서,
상기 제어부는 상기 초기 위치로부터 상기 목표 위치로 변화함에 따라 상기 목표 모델의 팔의 복수의 부분들의 길이가 가변되도록 상기 목표 모델을 생성하는 로봇의 제어 장치.
제3항에 있어서,
상기 제어부는 전체 구동 시간 대비 잔여 구동 시간의 비율에 따라 상기 목표 모델의 팔의 복수의 부분들의 길이가 가변되도록 상기 목표 모델을 생성하는 로봇의 제어 장치.
제4항에 있어서,
상기 제어부는 상기 로봇의 손목 관절의 위치가 상기 목표 모델의 손목 관절의 위치를 추종하도록 하는 로봇의 제어 장치.
제5항에 있어서,
상기 제어부는 상기 로봇의 팔꿈치 관절이, 각각 상기 로봇의 어깨 관절 및 상기 로봇의 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선에 위치하도록 하는 로봇의 제어 장치.
제6항에 있어서,
상기 제어부는 각각 상기 목표 모델의 어깨 관절 및 상기 목표 모델의 손목 관절의 위치를 중심으로 하고 상기 목표 모델의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 원의 중심에서 상기 목표 모델의 팔꿈치 관절을 향하는 방향 벡터의 방향각과 각각 상기 로봇의 어깨 관절 및 상기 로봇의 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 원의 중심에서 상기 로봇의 팔꿈치 관절을 향하는 방향 벡터의 방향각이 일치하도록 상기 로봇의 팔꿈치 관절의 위치를 결정하는 로봇의 제어 장치.
사용자의 3차원 영상을 획득하고;
상기 3차원 영상을 기초로 상기 사용자의 관절의 움직임에 대응하는 사용자 모델을 생성하고;
상기 사용자 모델을 기초로 길이가 가변되는 복수의 부분들로 이루어진 팔을 가지는 목표 모델을 생성하고;
상기 목표 모델을 기초로 로봇의 복수의 부분들로 이루어진 팔을 구동하는 로봇의 제어 방법.
제8항에 있어서,
상기 목표 모델을 생성하는 것은 상기 목표 모델의 손목 관절의 초기 위치에서는 상기 목표 모델의 팔의 복수의 부분들의 길이가 각각 대응하는 상기 로봇의 팔의 복수의 부분들의 길이와 동일하도록 상기 목표 모델을 생성하고, 상기 목표 모델의 손목 관절의 목표 위치에서는 상기 목표 모델의 팔의 복수의 부분들의 길이가 각각 대응하는 상기 사용자의 팔의 복수의 부분들의 길이와 동일하도록 상기 목표 모델을 생성하는 로봇의 제어 방법.
제9항에 있어서,
상기 목표 모델을 생성하는 것은 상기 초기 위치로부터 상기 목표 위치로 변화함에 따라 상기 목표 모델의 팔의 복수의 부분들의 길이가 가변되도록 상기 목표 모델을 생성하는 로봇의 제어 방법.
제10항에 있어서,
상기 목표 모델을 생성하는 것은 전체 구동 시간 대비 잔여 구동 시간의 비율에 따라 상기 목표 모델의 팔의 복수의 부분들의 길이가 가변되도록 상기 목표 모델을 생성하는 로봇의 제어 방법.
제11항에 있어서,
상기 로봇의 팔을 구동하는 것은 상기 로봇의 손목 관절의 위치가 상기 목표 모델의 손목 관절의 위치를 추종하도록 하는 로봇의 제어 방법.
제12항에 있어서,
상기 로봇의 팔꿈치 관절이, 각각 상기 로봇의 어깨 관절 및 상기 로봇의 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 선에 위치하도록 상기 로봇의 팔꿈치 관절의 위치를 결정하는 것을 더 포함하는 로봇의 제어 방법.
제13항에 있어서,
상기 로봇의 팔꿈치 관절의 위치를 결정하는 것은 각각 상기 목표 모델의 어깨 관절 및 상기 목표 모델의 손목 관절의 위치를 중심으로 하고 상기 목표 모델의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 원의 중심에서 상기 목표 모델의 팔꿈치 관절을 향하는 방향 벡터의 방향각과 각각 상기 로봇의 어깨 관절 및 상기 로봇의 손목 관절의 위치를 중심으로 하고 상기 로봇의 팔의 복수의 부분들 중 어느 하나의 길이를 반지름으로 하는 복수의 구가 서로 접할 때의 접점들로 이루어지는 원의 중심에서 상기 로봇의 팔꿈치 관절을 향하는 방향 벡터의 방향각이 일치하도록 상기 로봇의 팔꿈치 관절의 위치를 결정하는 로봇의 제어 방법.