KR101901588B1

KR101901588B1 - 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치

Info

Publication number: KR101901588B1
Application number: KR1020120000066A
Authority: KR
Inventors: 황효석; 노경식; 윤석준
Original assignee: 삼성전자주식회사
Priority date: 2012-01-02
Filing date: 2012-01-02
Publication date: 2018-09-28
Also published as: US20130170744A1; KR20130078913A; EP2610783B1; EP2610783A2; EP2610783A3; US9104944B2

Abstract

본 발명은 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자에 관한 것으로, 물체의 영상의 표본화(Sampling)된 점들의 집합에서 각 점들의 상호 위치 관계 및 색상 정보 관계를 이용하여 특징 점을 추출하고, 이 특징 점을 이용하여 물체를 인식하도록 하는데 그 목적이 있다. 본 발명에 따른 물체 인식 방법은, 물체의 3차원 영상의 점 구름을 구성하는 점들의 위치 정보 및 색상 정보를 이용하여 점 구름의 특징 요소를 추출하고; 추출된 특징 요소를 이용하여 물체의 인식을 위한 기술자를 생성하며; 기술자에 기초하여 물체의 인식을 수행한다.

Description

물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치{OBJECT RECOGNITION METHOD, DESCRIPTOR GENERATING METHOD FOR OBJECT RECOGNITION, DESCRIPTOR GENERATING APPARATUS FOR OBJECT RECOGNITION}

본 발명은 물체 인식에 관한 것으로, 영상의 점 구름의 분석을 이용한 물체 인식에 관한 것이다.

물체를 인식하는 방법은 센서의 특징에 따라 다양한 방법들이 제안되었다. 이 중에서, 영상 센서의 정보를 이용하는 방법은 크게 두 가지로 나눌 수 있다. 첫 번째 방법은 영상 위의 각각의 픽셀이 가지는 밝기 값을 이용하여 특징 점을 추출하고 기술자(descriptor)를 생성하는 방법이 있다(SIFT, SURF등) 두 번째로는 영상의 밝기의 미분 값을 이용하여 물체의 가장자리 영역을 추출해 내고 가장자리 영역으로 물체의 모양을 추론하여 인식하는 방법이 있다. 영상 센서 외에 TOF(Time of Flight), 레이저 센서 등을 이용하여 삼차원의 점 구름을 획득 한 후 이를 바탕으로 물체를 인식하는 방법이다.

기존 방식은 알고리즘의 특징에 따라서 각각 문제점을 가지고 있다. 밝기 값에 의해 물체를 인식하는 방법(SIFT, SURF등)은 물체의 표면에 반복되지 않는 무늬가 있어야 한다. 즉 우리가 실생활에서 사용하는 접시, 공 등을 식별하기가 어렵다. 또한 영상 내에서 물체가 크게 기울어 질 경우 인식률이 급격히 떨어진다. 가장자리를 추출하는 방식은 반대로 물체의 외형이 단순할수록 물체 인식률이 낮아진다. 또한 물체의 배경이 복잡하여 많은 선이 추출 될 경우에는 물체 인식 수행 시간이 급격하게 증가한다. 3차원 점 구름을 이용하는 기존 알고리즘 역시 모양만을 특징으로 하기 때문에 모양이 비슷한 서로 다른 물체를 구분하기 어렵다.

본 발명은 물체 인식을 수행함에 있어서, 물체의 영상의 표본화(Sampling)된 점들의 집합에서 각 점들의 상호 위치 관계 및 색상 정보 관계를 이용하여 특징 점을 추출하고, 이 특징 점을 이용하여 물체를 인식하도록 하는데 그 목적이 있다.

본 발명에 따른 물체 인식 방법은, 물체의 3차원 영상의 점 구름을 구성하는 점들의 위치 정보 및 색상 정보를 이용하여 점 구름의 특징 요소를 추출하고; 추출된 특징 요소를 이용하여 물체의 인식을 위한 기술자를 생성하며; 기술자에 기초하여 물체의 인식을 수행한다.

또한, 특징 요소는, 점 구름의 기준 점과 이웃 점 사이의 밝기 값의 차인 제 1 특징 요소와; 이웃 점의 색상 값(hue)인 제 2 특징 요소와; 기준 점에서 이웃 점을 잇는 벡터와 기준 점에서 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 3 특징 요소와; 점 구름의 주요 벡터와 기준 점에서 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 4 특징 요소로 이루어진다.

또한, 제 1 특징 요소가 아래의 수학식으로 표현된다.

여기서 vi와 vj는 각각 기준 점과 이웃 점의 명도 값이다.

또한, 제 2 특징 요소가 아래의 수학식으로 표현된다.

여기서, hj는 이웃 점의 색상 값(hue value)이다.

또한, 제 3 특징 요소가 아래의 수학식으로 표현된다.

여기서

이고,

이며,

이고, pi와 pj는 각각 기준 점과 이웃 점의 위치 좌표이다.

또한, 제 4 특징 요소가 아래의 수학식으로 표현된다.

여기서,

이고,

이다.

또한, 제 4 특징 요소의 부호가 아래의 조건으로 결정된다.

또한, 제 1 내지 제 4 특징 요소를 히스토그램에 적층하는 방식으로 기술자를 생성한다.

또한, 제 1 내지 제 4 특징 요소 각각은, 제 1 내지 제 4 특징 요소 각각이 가질 수 있는 최대 값과 최소 값 사이를 복수의 구간으로 나눈 구간 중 어느 하나의 구간의 값을 갖는다.

또한, 점 그룹의 점들을 기준 점으로부터의 거리를 기준으로 하여 복수의 그룹으로 분할하고, 복수의 그룹 각각마다 미리 설정된 수의 구간을 갖는 기술자를 생성한다.

또한, 물체의 3차원 영상의 점 구름에서 하나의 기준 점에 대해 K-최근접 이웃 점을 선별하는 표본화을 수행하는 것을 더 포함하되, K는 임의의 정수이다.

본 발명에 따른 물체 인식을 위한 기술자 생성 방법은, 물체의 3차원 영상의 점 구름에 대해, 기준 점과 이웃 점 사이의 밝기 값의 차인 제 1 특징 요소와, 이웃 점의 색상 값(hue)인 제 2 특징 요소와, 기준 점에서 이웃 점을 잇는 벡터와 기준 점에서 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 3 특징 요소를 구하고; 점 구름의 주요 벡터와 기준 점에서 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 4 특징 요소를 구하며; 제 1 내지 제 4 특징 요소를 이용하여 물체의 인식을 위한 기술자를 생성한다.

또한, 제 1 특징 요소가 아래의 수학식으로 표현된다.

여기서 vi와 vj는 각각 기준 점과 이웃 점의 명도 값이다.

또한, 제 2 특징 요소가 아래의 수학식으로 표현된다.

여기서, hj는 이웃 점의 색상 값(hue value)이다.

또한, 제 3 특징 요소가 아래의 수학식으로 표현된다.

여기서

이고,

이며,

이고, pi와 pj는 각각 기준 점과 이웃 점의 위치 좌표이다.

또한, 제 4 특징 요소가 아래의 수학식으로 표현된다.

여기서,

이고,

이다.

또한, 제 4 특징 요소의 부호가 아래의 조건으로 결정된다.

또한, 기준 점에 대한 K-최근접 이웃 점의 그룹으로부터 제 1 내지 제 4 특징 요소를 추출하되, K는 임의의 정수이다.

본 발명에 따른 물체 인식을 위한 기술자는, 물체의 3차원 영상의 점 구름의 기준 점과 이웃 점 사이의 밝기 값의 차인 제 1 특징 요소와; 이웃 점의 색상 값(hue)인 제 2 특징 요소와; 기준 점에서 이웃 점을 잇는 벡터와 기준 점에서 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 3 특징 요소와; 점 구름의 주요 벡터와 기준 점에서 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 4 특징 요소로 이루어진다.

또한, 제 1 특징 요소가 아래의 수학식으로 표현된다.

여기서 vi와 vj는 각각 기준 점과 이웃 점의 명도 값이다.

또한, 제 2 특징 요소가 아래의 수학식으로 표현된다.

여기서, hj는 이웃 점의 색상 값(hue value)이다.

또한, 제 3 특징 요소가 아래의 수학식으로 표현된다.

여기서

이고,

이며,

이고, pi와 pj는 각각 기준 점과 이웃 점의 위치 좌표이다.

또한, 제 4 특징 요소가 아래의 수학식으로 표현된다.

여기서,

이고,

이다.

또한, 제 4 특징 요소의 부호가 아래의 조건으로 결정된다.

본 발명은 물체 인식을 수행함에 있어서, 물체의 영상의 표본화(Sampling)된 점들의 집합에서 각 점들의 상호 위치 관계 및 색상 정보 관계를 이용하여 특징 점을 추출하고, 이 특징 점을 이용하여 물체를 인식하도록 함으로써, 모양이 서로 비슷하거나 무늬가 서로 비슷한 서로 다른 물체에 대한 인식률을 크게 높일 수 있다.

도 1은 본 발명의 실시 예에 따른 이동 장치의 일례인 보행 로봇의 외관을 나타낸 도면.
도 2는 도 1에 도시된 보행 로봇의 주요 기구 및 관절 구조를 나타낸 도면.
도 3은 도 1에 도시된 보행 로봇의 제어 계통을 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 물체 인식 방법을 나타낸 도면.
도 5와 도 6은 도 4에 나타낸 전 처리 과정의 구체적인 방법을 나타낸 도면.
도 7은 하나의 점 구름의 특징 요소를 나타낸 도면.
도 8은 이웃 점(j)을 법선 벡터(Vi)에 수직한 평면에 투영했을 때 평면상에 형성되는 투영된 이웃 점 즉 투영 점(j')을 나타낸 도면.
도 9는 주요 벡터(mi)와 특징 요소 φ의 관계를 나타낸 도면.
도 10은 기준 점(i)의 K개의 이웃 점(j)의 그룹 분할의 예를 나타낸 도면.
도 11은 본 발명의 실시 예에 따른 기술자의 히스토그램의 일례를 나타낸 도면.
도 12는 본 발명의 실시 예에 따른 기술자 생성 방법을 나타낸 도면.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명하도록 한다.

도 1은 본 발명의 실시 예에 따른 이동 장치의 일례인 보행 로봇의 외관을 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 이동 장치의 일례인 보행 로봇(10)은 인간과 마찬가지로 두 개의 다리(16L, 16R)에 의해 직립 이동하는 이족 보행 로봇으로, 머리(12), 몸통(13), 두 개의 팔(14L, 14R)로 이루어진 상체(11)와, 두 개의 다리(16L, 16R)로 이루어진 하체(15)를 가진다. 머리(12)에서 인간의 눈의 형상을 가진 기구부에는 이동 공간의 주위를 촬영하기 위한 영상 센서(120)가 장착된다.

참조 부호에서, 숫자 뒤에 오는 문자 "R"과 "L"은 각각 보행 로봇(10)의 왼쪽(left)과 오른쪽(right)을 나타낸다.

본 발명의 실시 예에서는 이동 장치로서 이족 보행 로봇을 예로 들어 설명하였으나, 이외에도 가정에서의 청소 로봇, 공공장소용 서비스 로봇, 생산 현장에서의 반송 로봇, 작업자 지원 로봇 등 다양한 형태의 이동 로봇 및 자율 이동 기능을 가지고 있지는 않지만 인간이 휴대하고 이동하면서 조작할 수 있는 모바일 기기(휴대폰과 같은 이동 통신 기기 등)에 대해 본 발명이 적용될 수 있다.

도 2는 도 1에 도시된 보행 로봇의 주요 기구 및 관절 구조를 나타낸 도면이다.

도 2에 도시된 바와 같이, 보행 로봇(10)의 머리(12)에는 이동 공간의 주위를 촬영하는 영상 센서(120)가 설치된다.

머리(12)는 목 관절부(17)를 통해 상체(11)의 몸통(13)과 연결된다. 몸통(13), 두 개의 팔(14L, 14R) 및 두 개의 다리(16L, 16R)에는 어깨 관절부(18), 팔꿈치 관절부(19), 손목 관절부(20), 허리 관절부(21), 힙 관절부(22), 무릎 관절부(23), 발목 관절부(24) 등 복수의 관절부가 설치된다. 각 관절부(18)(19)(20)(21)(22)(23)(24)에는 자유도(degree of freedom; 관절이 움직이는 방향의 수)에 따라 한 개 내지 세 개의 회전 관절(25)을 포함한다. 예를 들어, 힙 관절부(22)는 요우 방향(yaw, Z축 중심 회전)의 회전 관절(25)과, 피치 방향(pitch, Y축 중심 회전)의 회전 관절(25)과, 롤 방향(roll, X축 중심 회전)의 회전 관절(25)을 포함하여 3 자유도를 가진다. 각 관절부(18)(19)(20)(21)(22)(23)(24)는 링크(L; 도 2에서 직선으로 도시된 구조)에 의해 연결된다.

상체(11)의 하측에 설치되는 허리 관절부(21)에는 상체(11)를 지지하기 위한 골반(26)이 연결된다. 골반(26)은 펠비스 링크(27)를 통해 힙 관절부(22)에 연결된다. 펠비스 링크(27)에는 보행 로봇(10)의 자세 정보(각도 정보)를 검출하기 위한 관성 센서(Inertial Measurement Unit; IMU, 130)가 설치된다. 관성 센서(130)는 중력 방향과 관성계에 대해 펠비스 링크(27)의 상대적 각도를 검출하여 롤 방향, 피치 방향, 요우 방향의 자세 정보(각도 정보)를 발생시킨다. 이 관성 센서(130)는 펠비스 링크(27) 뿐만 아니라 몸통(13), 머리(12) 등에 설치하는 것도 가능하다.

도 2에 도시되어 있지는 않지만, 보행 로봇(10)의 각 관절부(18)(19)(20)(21)(22)(23)(24)에는 동력(전기, 유압)에 의해 각 회전 관절(25)을 구동하는 모터 등의 액추에이터(도 3의 "구동부"에 해당)와, 각 액추에이터의 회전 각도 즉, 각 회전 관절(25)의 회전 각도를 검출하는 엔코더(도 3의 110)가 설치된다. 보행 로봇(10)의 동작 전반을 제어하는 제어부(도 3의 200)는 이러한 액추에이터들을 적절히 제어함으로써 보행 로봇(10)의 다양한 동작을 구현할 수 있다.

도 3은 도 1에 도시된 보행 로봇의 제어 계통을 나타낸 도면이다.

도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 이동 장치의 일례인 보행 로봇(10)의 제어 계통은 센서 모듈(100), 제어부(200), 저장부(202) 및 구동부(350)를 포함한다.

센서 모듈(100)은 보행 로봇(10)에 관한 정보 및 이동 공간에 관한 정보를 검출하기 위한 복수의 센서(110)(120)(130)를 포함하여 이루어진다. 센서 모듈(100)은 보행 로봇(10)의 보행과 관련된 회전 관절의 회전 각도 정보를 획득하기 위한 엔코더(110, encoder), 보행 로봇(10)이 보행하고 있는 이동 공간의 주변을 촬영하기 위한 영상 센서(120), 보행 로봇(10)의 자세 정보(각도 정보)를 검출하기 위한 관성 센서(130) 등의 다양한 센서들을 포함할 수 있다.

센서 모듈(100)에서, 엔코더(110)는 힙 관절부(22), 무릎 관절부(23) 및 발목 관절부(24)에 마련된 각 회전 관절(25)을 회전 구동하기 위해 설치된 액추에이터(구동부)의 회전 각도를 검출한다.

센서 모듈(100)에서, 영상 센서(120)는 피사체로부터 반사되는 빛을 검출하고, 이를 디지털 신호로 변환하여 이동 공간 주변의 영상 정보를 획득한다. 영상 센서(120)로는 CCD(charge-coupled device) 카메라, CMOS(complementary metal oxide) 카메라, TOF(Time of Flight) 카메라 등이 이용될 수 있으며, 이외에도 보행 로봇(10)이 보행하는 경로 상에 위치하는 물체에 대한 영상 정보 및 3차원 저보를 획득할 수 있는 장치라면 어떠한 장치라도 사용할 수 있다.

센서 모듈(100)에서, 관성 센서(130)는 보행 로봇(10)의 가속도, 속도, 방향(각도) 등 다양한 항법 관련 정보를 측정하기 위한 것으로, 펠비스 링크(27)의 롤 방향, 피치 방향, 요우 방향의 기울기 및 회전 각도를 측정한다. 관성 센서(130)는 보행 로봇(10)의 각도를 측정하는 기울기 센서와, 각속도를 측정하는 각속도 센서를 포함한다. 여기서, 기울기 센서로는 가속도계가 이용되고 각속도 센서로는 레이트 자이로스코프(rate-gyroscope)가 이용된다.

제어부(200)는 보행 로봇(10)의 동작 전반을 제어한다.

저장부(202)는 보행 로봇(10)이 동작을 수행하기 위해 필요로 하는 정보를 저장하기 위한 것으로, 저장부(202)에는 링크(관절부와 관절부 사이를 연결하는 기구 구조)의 기구 정보(길이 정보), 보행 로봇(100)의 보행 과정에서 복수의 알고리즘(복수의 필터)을 이용하여 산출되는 보행 로봇(10)의 위치 인식 결과(표식의 위치 정보, 보행 로봇의 위치/자세 정보) 및 복수의 알고리즘 중 특히 SLAM 알고리즘을 이용하여 작성되는 이동 공간(작업 공간)에 대한 로컬 맵 등이 저장된다.

본 발명의 실시 예에서는 보행 로봇(10)이 동작을 수행하기 위해 필요로 하는 사전 정보 및 위치 인식의 수행 결과를 저장하기 위한 저장부(202)가 별도로 마련되는 구성을 예로 들어 설명하였으나, 저장부(202)의 구성을 채용하지 않고 제어부(200) 내의 내부 메모리에 위치 인식을 위한 사전 정보 등을 저장하도록 구성할 수도 있다.

구동부(350)는 각 관절부(18)(19)(20)(21)(22)(23)(24)를 이루는 각 회전 관절(25)에 전기 또는 유압에 의한 동력을 전달하기 위한 모터 등의 액추에이터로, 제어부(200)로부터 전달되는 제어 신호에 따라 각 관절부(18)(19)(20)(21)(22)(23)(24)의 각 회전 관절(25)을 회전 구동한다.

이와 같은 보행 로봇(10)이 주어진 이동 공간을 자유롭게 보행하기 위해서는 이동 공간에 존재하는 장애물이나 벽 등을 인식하고 이를 회피할 수 있어야 한다. 이를 위해 필요한 것이 보행 로봇(10)의 높은 3차원 물체 인식 능력이다. 대표적인 3차원 물체 인식 방법으로는 컬러 영상을 이용하는 방법 외에 3차원 점 구름(point clouds)을 이용하는 방법이 있다. 3차원 점 구름을 이용한 물체 인식 방법은 데이터베이스 상의 특정 물체의 점 구름과 입력 점 구름의 기하학적 위치 관계 등을 비교함으로써 이루어진다.

도 4는 본 발명의 실시 예에 따른 물체 인식 방법을 나타낸 도면이다. 도 4에 나타낸 바와 같이, 먼저 보행 로봇(10)은 주어진 이동 공간의 영상을 획득한다(402). 보행 로봇(10)은 이 영상의 분석을 통해 물체를 인식하게 된다. 영상이 확보되면 영상의 전처리 과정을 수행한다(404). 영상 전처리 과정에서는 영상 정보의 분석을 통해 다음 과정의 기술자 생성을 위해 필요한 다양한 정보들을 구한다. 영상의 전처리 과정이 완료되면, 전처리 결과를 이용하여 기술자(descriptor)를 생성한다(406). 이 기술자는 물체를 인식하기 위한 물체만의 고유의 특징을 찾아 이를 기술(descript)하는 것이다. 기술자가 생성되면, 기술자의 비교를 통해 물체를 인식할 수 있다(408).

도 5와 도 6은 도 4에 나타낸 전 처리 과정의 구체적인 방법을 나타낸 도면이다. 먼저 도 5에 나타낸 바와 같이, 영상의 전 처리 과정은 표본화(502)와 최근접 이웃 구하기(504), 법선 벡터 구하기(506) 등으로 이루어진다.

본 발명의 실시 예에 따른 3차원 물체 인식을 위해서는 먼저 영상의 점 구름 집합을 구하게 되는데, 점 구름의 개수가 많을수록 물체 인식을 위한 연산 시간은 더 길어진다. 실제로 기술자를 생성함에 있어서 점 구름의 모든 점들에 대해서 기술자를 생성할 수도 있지만, 인식 성능은 표본화 과정을 거쳐서 기술자를 생성하는 경우와 비교할 때 그 차이가 크지 않다. 따라서 인식 성능을 크게 해치지 않는 선에서 전체 연산 시간의 단축을 위해 점 구름에 대해 표본화를 수행한다(502). 본 발명의 실시 예에서는 표본화 방법으로서 등 간격 추출 방법을 제안한다. 등 간격 추출 방법은 점 구름을 구성하는 모든 점들 중에서 서로 동일한 거리만큼 떨어져 있는 점들만을 취하는 방법이다. 즉, 점 구름의 점들의 수와 같은 크기를 가지는 T(Traversed) 집합을 초기화하고, 처음부터 순차적으로 점을 탐색하면서 해당 점과 일정 거리(N) 내에 있는 점들을 찾아서 T값을 참(true)으로 부여한다. 다음 탐색 점의 T 값이 참(true)이면 하나의 점에 대해서 일정 거리(N) 내에 포함되는 점이므로 건너뛰고 T값이 거짓(false)이 되는 점을 찾으면 이 거짓(false)이 되는 점으로부터 다시 일정 거리(N) 내에 있는 점의 T값을 참(true)으로 한다. 이와 같은 과정을 통해 점 구름은 점들 사이의 거리가 N인 점들만이 남게 되어 표본화를 통한 점들의 수의 감소가 이루어진다. 도 6은 표본화를 실시하기 전과 후의 점 구름을 나타낸 도면이다. 도 6의 (A)는 표본화를 실시하기 전의 점 구름의 이미지이고, 도 6의 (B)는 등 간격 표본화를 실시한 후의 점 구름의 이미지이다. 표본화를 통해 점의 수가 크게 감소했지만, 물체의 형상은 여전히 인지 가능한 수준으로 유지되는 것을 알 수 있다.

다시 도 5로 돌아가서, 표본화가 완료되면, 최근접 이웃(Nearest Neighborhood)을 구한다(504). 최근접 이웃은 하나의 점에 대해서 유클리디언 거리가 가장 가까운 점들의 집합을 구하는 것으로서, 본 발명의 실시 예에서는 K-최근접 이웃(K Nearest Neighborhood) 방법을 이용한다. 도 6의 (C)는 하나의 점(602)에 대한 K-최근접 이웃의 집합(점 602 주변의 밝은색 점들)의 이미지이다.

다시 도 5로 돌아가서, 최근접 이웃 구하기가 완료도면, 법선 벡터를 구한다(506). 즉, 점 구름의 모든 점들에 대해서 최근접 이웃 점들을 이용하여 법선 벡터 V를 구한다. 법선 벡터의 크기는 1을 갖도록 정규화 한다.

이와 같은 영상의 전 처리가 완료되면, 기술자 생성 과정을 실시한다. 기술자 생성을 위해서는 각각의 점 구름의 특징 요소를 추출하고, 추출된 특징 요소를 이용하여 기술자를 작성한다. 도 7 내지 도 9를 통해 특징 요소를 추출하는 방법을 설명하고, 도 10 내지 도 12를 통해 기술자를 생성하는 방법을 설명하고자 한다.

도 7은 하나의 점 구름의 특징 요소를 나타낸 도면이다. 도 7에서, 참조 부호 Vi로 지시된 것은 점 구름의 어느 한 점(이를 기준 점(i)이라 부르기로 함)의 법선 벡터이고, 참조 부호 mi로 지시된 것은 기준 점(i)의 주요 벡터(dominant vector)이다. 여기서 주요 벡터(mi)는 기준 점(i)과 이웃 점(예를 들면 j) 사이에서 밝기 값의 방향이 가장 급격하게 변화하는 방향으로 정해진다. 도 7에서, 나머지 점들을 잇는 선들은 기준 점(i)에서 법선 벡터(Vi)에 직교하는 면에 각 점들이 수직으로 투영된 것을 의미한다.

도 7에 나타낸 점 구름 그룹의 기준 점(i)과 이웃 점(j)의 밝기 값의 차(di)는 제 1 특징 요소로서, HSV 색 공간(색상(Hue), 채도(Saturation), 명도(Value) color space)에서 명도(V) 값의 차로 나타낼 수 있으며, 이를 다음의 수학식 1과 같이 나타낼 수 있다. HSV 색 공간에서는 명도(brightness)를 V(Value)로 표시한다.

[수학식 1]

수학식 1에서, vi와 vj는 각각 기준 점(i)과 이웃 점(j)의 HSV 색 공간에서의 명도(V) 값이다.

또한, 기준 점(i)과 이웃 점(j)의 ah 값(absolute hue value)은 제 2 특징 요소로서, 이웃 점(j)의 색상 값(hue value)에 의해 결정되며, 이를 다음의 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

도 8은 이웃 점(j)을 법선 벡터(Vi)에 수직한 평면에 투영했을 때 평면상에 형성되는 투영된 이웃 점 즉 투영 점(j')을 나타낸 도면이다. 도 8에 나타낸 기준 점(i)과 이웃 점(j), 투영 점(j')의 관계를 이용하면 특징 요소인 a, b, c, θ, φ를 구할 수 있다.

먼저 특징 요소 b는 아래의 수학식 3으로 표현된다.

[수학식 3]

수학식 3에서, pi와 pj는 각각 기준 점(i)과 이웃 점(j)의 위치 좌표이다.

특징 요소 a는 아래의 수학식 4로 표현된다.

[수학식 4]

특징 요소 c는 아래의 수학식 5로 표현된다.

[수학식 5]

기준 점(i)의 모든 이웃 점(j)에 대해 위의 특징 요소들의 값을 구한 다음에는 기준 점(i)의 주요 벡터(mi)를 구한다. 주요 벡터(mi)는 특징 요소 중에서 φ를 구할 때 이용된다.

또 다른 특징 요소 θ는 제 3 특징 요소로서, 도 8에 나타낸 것처럼, b와 c 사이의 각도를 나타내며, 아래의 수학식 6과 같이 나타낼 수 있다. 여기서 b는 기준 점(i)에서 이웃 점(j)을 잇는 벡터이고, c는 기준 점(i)과 투영 점(j')을 잇는 벡터이다.

[수학식 6]

도 9는 주요 벡터(mi)와 특징 요소 φ의 관계를 나타낸 도면이다. 도 9의 (A)는 φ>0인 경우이고, 도 9의 (B)는 φ<0인 경우이다. φ는 제 4 특징 요소로서, 점 구름의 주요 벡터(mi)에 대한 이웃 점(j)의 투영 점(j')의 각도를 나타낸다.

기준 점(i)의 어느 한 이웃 점(j)에 대한 주요 벡터는 다음의 수학식 7 및 수학식 8과 같이 나타낼 수 있다.

[수학식 7]

[수학식 8]

주요 벡터 mi를 이용하면, 아래의 수학식 9를 이용하여 φ를 구할 수 있다.

[수학식 9]

φ의 부호는 다음과 같이 정해진다.

[수학식 10]

아크 코사인(arc cosine)은 범위가 0~180°이므로 φ의 부호를 결정하기 위해 주요 벡터(mi)와 투영 벡터(c)(즉 기준 점(i)과 투영 점(j')을 잇는 벡터)의 외적을 구하고, 이 외적과 법선 벡터(Vi)의 내적을 구하며, 이 내적의 결과 값이 0보다 크거나 같으면 φ의 부호는 음(-)이 되고, 내적의 결과 값이 0보다 작으면 φ의 부호는 양(+)이 된다.

위와 같은 과정을 통해 점 구름의 각각의 기준 점(i)의 K개의 이웃 점(j) 모두에 대한 특징 요소인 di, ah, θ 및 해당 점 구름의 φ를 구하였는데, 이 네 가지 특징 요소를 이용하여 기술자를 작성한다.

도 10은 기준 점(i)의 K개의 이웃 점(j)의 그룹 분할의 예를 나타낸 도면이다. 도 10에 나타낸 것처럼, 기준 점(i)의 K개의 이웃 점(j)을 기준 점(i)으로부터의 거리를 기준으로 4개의 그룹으로 분할한다.

기술자는 각각의 특징 요소를 히스토그램에 적층 하는 방식으로 작성한다. 하나의 특징 요소는 8개의 구간을 갖는다. 즉, 하나의 특징 요소는 해당 특징 요소가 가질 수 있는 최대 값과 최소 값 사이를 8개로 나눈 구간 중 어느 하나의 구간에 속하게 된다(즉 해당 구간의 값을 가진다). 본 발명의 실시 예에서는 4개의 특징 요소 di, ah, θ, φ를 사용하므로 기준 점(i)과 어느 하나의 이웃 점(j)의 특징 요소는 8×4=32개의 구간을 가지는 히스토그램에 속한다.

도 11은 본 발명의 실시 예에 따른 기술자의 히스토그램의 일례를 나타낸 도면이다. 도 11에 나타낸 바와 같이, 본 발명의 실시 예에서는 기준 점(i)과 이웃 점(j) 사이의 거리를 기준으로 총 4개의 그룹으로 분할하고(도 10 참조)또 4개의 그룹 각각마다 32개의 구간을 가지는 기술자를 생성하기 때문에, 본 발명의 실시 예에 따른 하나의 기술자는 총 128개의 구간을 갖도록 규정된다. 즉, 점 구름으로 이루어진 물체는 도 11의 (D)와 같은 기술자를 점 구름을 구성하는 점의 수만큼 갖게 된다.

도 12는 본 발명의 실시 예에 따른 기술자 생성 방법을 나타낸 도면이다. 도 12에 나타낸 바와 같이, 물체의 영상의 점 구름 중에서 어느 하나의 점 i를 시작 점으로 설정한다(1202). 이 시작 점이 곧 앞서의 설명에서 언급한 기준 점(i)이 되므로 시작 점(i)을 기준 점(i)으로 하여 이 기준 점(i)의 첫 번째 이웃 점(j)을 선택하고(1204), 기준 점(i)과 첫 번째 이웃 점(j)에 대해 j', a, b, c, di, ah, θ를 구한다(1206). 이와 같은 과정을 점 구름을 구성하는 모든 이웃 점에 대해 실시한다. 즉, 만약 현재의 점 구름(j)이 기준 점(i)의 마지막 이웃 점이 아니면(1208의 ‘아니오’) 기준 점(i)의 다름 이웃 점(j)에 대해 j', a, b, c, di, ah, θ를 구한다(1210). 반대로, 만약 현재의 점 구름(j)이 기준 점(i)의 마지막 이웃 점이면(1208의 ‘예’) 이 점 구름의 주요 벡터(도 7의 mi)를 구한다(1212). 주요 벡터(mi)가 구해지면, 주요 벡터(mi)에 대한 각도 φ를 구한다(1214). 지금까지 구한 특징 요소 di, ah, θ, φ를 이용하여 도 11에 나타낸 것과 같은 기술자를 생성한다(1216). 이와 같은 기술자 생성 과정을 점 구름의 모든 점 각각에 대해 실시한다. 즉, 만약 현재의 기준 점(i)이 점 구름의 마지막 점이 아니면(1218의 ‘아니오’) 다음 기준 점에 대해 1204의 과정으로 돌아가 기술자 작성을 실시하며, 반대로 만약 현재의 기준 점(i)이 점 구름의 마지막 점이면(1218의 ‘예’) 물체의 점 구름의 모든 점에 대한 기술자 생성이 완료된 것이므로 기술자 생성을 종료한다.

10 : 보행 로봇
100 : 센서 모듈
110 : 엔코더
120 : 영상 센서
130 : 관성 센서
200 : 제어부
202 : 저장부
350 : 구동부

Claims

물체의 3차원 영상의 점 구름을 구성하는 점들의 위치 정보 및 색상 정보를 이용하여 상기 점 구름의 특징 요소를 추출하고;
상기 추출된 특징 요소를 이용하여 상기 물체의 인식을 위한 기술자를 생성하고;
상기 기술자에 기초하여 상기 물체의 인식을 수행하되,
상기 기술자는:
상기 점 구름의 기준 점과 이웃 점 사이의 밝기 값의 차인 제 1 특징 요소;
상기 이웃 점의 색상 값(hue)인 제 2 특징 요소;
상기 기준 점에서 상기 이웃 점을 잇는 벡터와 상기 기준 점에서 상기 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 3 특징 요소; 및
상기 점 구름의 주요 벡터와 상기 기준 점에서 상기 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 4 특징 요소를 포함하는 물체 인식 방법.
삭제
제 1 항에 있어서,
상기 제 1 특징 요소가 아래의 수학식으로 표현되는 물체 인식 방법.

여기서 vi와 vj는 각각 상기 기준 점과 상기 이웃 점의 명도 값이다.
제 1 항에 있어서,
상기 제 2 특징 요소가 아래의 수학식으로 표현되는 물체 인식 방법.

여기서, hj는 상기 이웃 점의 색상 값(hue value)이다.
제 1 항에 있어서,
상기 제 3 특징 요소가 아래의 수학식으로 표현되는 물체 인식 방법.

여기서,
이고, vi는 상기 기준 점의 명도 값이고,
이고,
이고, pi와 pj는 각각 상기 기준 점과 상기 이웃 점의 위치 좌표이다.
제 1 항에 있어서,
상기 제 4 특징 요소가 아래의 수학식으로 표현되는 물체 인식 방법.

여기서,
이고,
이고,
이고,
이고,
이고, vi는 상기 기준 점의 명도 값이고,
이고, vj는 상기 이웃 점의 명도 값이고, pi는 상기 기준 점의 위치 좌표이고, pj는 상기 이웃 점의 위치 좌표이다.
제 6 항에 있어서,
상기 제 4 특징 요소의 부호가 아래의 조건으로 결정되는 물체 인식 방법.
제 1 항에 있어서,
상기 제 1 내지 제 4 특징 요소를 히스토그램에 적층하는 방식으로 상기 기술자를 생성하는 물체 인식 방법.
제 8 항에 있어서,
상기 제 1 내지 제 4 특징 요소 각각은, 상기 제 1 내지 제 4 특징 요소 각각이 가질 수 있는 최대 값과 최소 값 사이를 복수의 구간으로 나눈 구간 중 어느 하나의 구간의 값을 갖는 물체 인식 방법.
제 8 항에 있어서,
상기 점 구름의 점들을 상기 기준 점으로부터의 거리를 기준으로 하여 복수의 그룹으로 분할하고, 상기 복수의 그룹 각각마다 미리 설정된 수의 구간을 갖는 기술자를 생성하는 물체 인식 방법.
제 1 항에 있어서,
물체의 3차원 영상의 점 구름에서 하나의 기준 점에 대해 K-최근접 이웃 점을 선별하는 표본화를 수행하는 것을 더 포함하되, 상기 K는 임의의 정수인 물체 인식 방법.
물체의 3차원 영상의 점 구름에 대해, 기준 점과 이웃 점 사이의 밝기 값의 차인 제 1 특징 요소와, 상기 이웃 점의 색상 값(hue)인 제 2 특징 요소와, 상기 기준 점에서 상기 이웃 점을 잇는 벡터와 상기 기준 점에서 상기 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 3 특징 요소를 구하고;
상기 점 구름의 주요 벡터와 상기 기준 점에서 상기 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 4 특징 요소를 구하고;
상기 제 1 내지 제 4 특징 요소를 이용하여 상기 물체의 인식을 위한 기술자를 생성하는 물체 인식을 위한 기술자 생성 방법.
제 12 항에 있어서,
상기 제 1 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 방법.

여기서 vi와 vj는 각각 상기 기준 점과 상기 이웃 점의 명도 값이다.
제 12 항에 있어서,
상기 제 2 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 방법.

여기서, hj는 상기 이웃 점의 색상 값(hue value)이다.
제 12 항에 있어서,
상기 제 3 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 방법.

여기서,
이고, vi는 상기 기준 점의 명도 값이고,
이고,
이고, pi와 pj는 각각 상기 기준 점과 상기 이웃 점의 위치 좌표이다.
제 12 항에 있어서,
상기 제 4 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 방법.

여기서,
이고,
이고,
이고,
이고,
이고, vi는 상기 기준 점의 명도 값이고,
이고, vj는 상기 이웃 점의 명도 값이고, pi는 상기 기준 점의 위치 좌표이고, pj는 상기 이웃 점의 위치 좌표이다.
제 16 항에 있어서,
상기 제 4 특징 요소의 부호가 아래의 조건으로 결정되는 물체 인식을 위한 기술자 생성 방법.
제 12 항에 있어서,
상기 기준 점에 대한 K-최근접 이웃 점의 그룹으로부터 상기 제 1 내지 제 4 특징 요소를 추출하되, 상기 K는 임의의 정수인 물체 인식을 위한 기술자 생성 방법.
제 12 항에 있어서,
상기 제 1 내지 제 4 특징 요소를 히스토그램에 적층하는 방식으로 상기 기술자를 생성하는 물체 인식을 위한 기술자 생성 방법.
제 19 항에 있어서,
상기 제 1 내지 제 4 특징 요소 각각은, 상기 제 1 내지 제 4 특징 요소 각각이 가질 수 있는 최대 값과 최소 값 사이를 복수의 구간으로 나눈 구간 중 어느 하나의 구간의 값을 갖는 물체 인식을 위한 기술자 생성 방법.
제 19 항에 있어서,
상기 점 구름의 점들을 상기 기준 점으로부터의 거리를 기준으로 하여 복수의 그룹으로 분할하고, 상기 복수의 그룹 각각마다 미리 설정된 수의 구간을 갖는 기술자를 생성하는 물체 인식을 위한 기술자 생성 방법.
제 12 항에 있어서,
물체의 3차원 영상의 점 구름에서 하나의 기준 점에 대해 K-최근접 이웃 점을 선별하는 표본화를 수행하는 것을 더 포함하되, 상기 K는 임의의 정수인 물체 인식을 위한 기술자 생성 방법.
프로세서;
상기 프로세서에 의해 실행될 때, 아래의 동작들을 수행하는 컴퓨터 실행 가능한 명령어로 인코딩된 비일시적 컴퓨터 판독 가능 저장 장치를 포함하되,
물체의 3차원 영상의 점 구름을 구성하는 점들의 위치 정보 및 색상 정보를 이용하여 상기 점 구름의 특징 요소를 추출하고;
상기 추출된 특징 요소를 이용하여 상기 물체의 인식을 위한 기술자를 생성하고;
상기 기술자에 기초하여 상기 물체의 인식을 수행하고,
상기 기술자는:
물체의 3차원 영상의 점 구름의 기준 점과 이웃 점 사이의 밝기 값의 차인 제 1 특징 요소;
상기 이웃 점의 색상 값(hue)인 제 2 특징 요소;
상기 기준 점에서 상기 이웃 점을 잇는 벡터와 상기 기준 점에서 상기 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 3 특징 요소; 및
상기 점 구름의 주요 벡터와 상기 기준 점에서 상기 이웃 점의 투영 점을 잇는 벡터 사이의 각도인 제 4 특징 요소를 포함하는 물체 인식을 위한 기술자 생성 장치.
제 23 항에 있어서,
상기 제 1 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 장치.

여기서 vi와 vj는 각각 상기 기준 점과 상기 이웃 점의 명도 값이다.
제 23 항에 있어서,
상기 제 2 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 장치.

여기서, hj는 상기 이웃 점의 색상 값(hue value)이다.
제 23 항에 있어서,
상기 제 3 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 장치.

여기서,
이고, vi는 상기 기준 점의 명도 값이고,
이고,
이고, pi와 pj는 각각 상기 기준 점과 상기 이웃 점의 위치 좌표이다.
제 23 항에 있어서,
상기 제 4 특징 요소가 아래의 수학식으로 표현되는 물체 인식을 위한 기술자 생성 장치.

여기서,
이고,
이고,
이고,
이고,
이고, vi는 상기 기준 점의 명도 값이고,
이고, vj는 상기 이웃 점의 명도 값이고, pi는 상기 기준 점의 위치 좌표이고, pj는 상기 이웃 점의 위치 좌표이다.
제 27 항에 있어서,
상기 제 4 특징 요소의 부호가 아래의 조건으로 결정되는 물체 인식을 위한 기술자 생성 장치.