KR101501531B1 - 스테레오 비전 기반 보행자 검출 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 보행자 검출 시스템 및 그 방법에 관한 것으로, 구체적으로 스테레오 비전 시스템을 이용하여 시차맵(Depth map)을 획득하여 스테레오 비전 기반으로 획득한 영상에서 보행자를 검출하는 시스템 및 그 방법에 관한 것이다.
본 발명은 좌측과 우측에서 입력된 영상의 시차값을 획득하여, 상기 영상에 대한 시차맵(Depth/Disparity map)을 생성하는 시차맵 생성부, 상기 생성된 시차맵을 기초로, 상기 입력 받은 영상내의 도로, 상기 도로 위에 존재하는 객체 및 상기 도로와 객체에 의해 형성되는 접점의 위치 정보를 추정하는 데이터 추출부, 상기 데이터 추출부로부터 획득한 위치 정보 및/또는 상기 시차맵을 기초로, 상기 객체의 높이를 추정하여 보행자 영역을 검출하는 보행자 영역 검출부 상기 검출된 보행자 영역에서 상기 시차맵 및/또는 추정된 상기 객체의 높이에 따라 윈도우를 형성하여 보행자를 검출하는 보행자 검출부를 포함한다.

Description

스테레오 비전 기반 보행자 검출 시스템 및 그 방법 {Stereo Vision-based Pedestrian Detection System and the method of}

본 발명은 보행자 검출 시스템 및 그 방법에 관한 것으로, 구체적으로 스테레오 비전을 기반으로 한 영상에서 시차맵(Depth map)을 획득하여 보행자를 검출하는 시스템 및 그 방법에 관한 것이다.

최근, 영상을 이용하여 도로의 보행자를 검출하는 방법에 관한 많은 연구가 진행되고 있다. 영상기반 보행자 검출 기술은 지능형 자동차, 보안/감시 등 다양한 분야에 접목이 가능한 중요한 기술이다.

이러한, 보행자 검출 및 차량 주행 시 장애물체를 검출하기 위한 방법으로서는, 스테레오 비전을 이용하는 방법과 모노 영상(예컨대, 그레이 영상)만을 이용하는 방법 등이 있다.

스테레오 영상을 통해 장애물체를 검출하는 방법은 3차원 이미지 정보를 통해, 검출 성능을 높일 수 있다. 예컨대, 스테레오 비전 시스템을 이용하여 3차원 정보인 시차맵(Depth map)을 구하고, 이를 이용하여 장애물체를 검출하면, 장애물 주변의 배경 패턴이나 그림자 등으로 인해 검출 성능이 떨어지는 문제를 줄일 수 있다. 아울러, 시차맵을 사용하면 3차원 거리정보를 사용할 수 있어, 객체와 배경의 분리도가 향상되고, 다양한 정보를 사용할 수 있어 객체 검출 성능을 높일 수 있는 장점이 있다.

하지만, 단일 영상으로 보행자를 검출할 경우, 다양한 크기의 보행자를 검출하기 위하여, 다양한 크기의 보행자 템플릿을 사용하여, 전체 입력 영상에서 수행을 해야 하므로, 많은 시간이 소요될 뿐만 아니라, 검출 성능이 저하되는 문제점이 있다.

도면 1은 기존 단일 영상기반의 보행자 검출에 있어 다양한 크기의 보행자 검출시의 문제점을 나타내고 있다. 도 1-a는 입력한 그레이 영상을 나타내고, 도 1-b는 기존 단일 영상기반으로 다양한 크기의 보행자를 검출하는 방법을 나타내고 있다.

도1-b에 도시된 바와 같이, 종래의 단일영상 기반에서, 다양한 크기의 보행자를 검출하기 위해서는, 다양한 크기의 보행자 템플릿을 사용하여 입력 영상 전체 영역에 대해서 보행자 여부를 판단하거나, 일정한 한 개의 보행자 템플릿을 이용하되, 입력영상의 크기를 변화시켜 보행자를 검출 해야만 한다.

전술한 단일 영상을 이용해 보행자를 검출하는 방법들은 많은 반복적인 작업으로 인하여 많은 시간이 소요될 뿐만 아니라, 성능의 저하되는 문제점이 있다.

아울러, 단일 영상만을 이용하면 객체와 배경의 분리도가 저하될 뿐만 아니라, 다양한 크기의 보행자를 검출하기 위해서는 다양한 크기의 보행자 템플릿을 사용하여, 전체 입력 영상에서 수행을 해야 하므로, 많은 시간이 소요된다는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여, 스테레오 비전 기반의 시차맵 시차맵(Depth map, Disparity map)을 이용하여 보행자 영역을 검출하고, 검출된 보행자 영역 내에서 보행자를 검출하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 일면에 따른 스테레오 비전 (Stereo Vision)을 기반으로 한 영상으로부터 보행자를 검출하는 시스템은 좌측과 우측에서 입력된 영상의 시차값을 획득하여, 상기 영상에 대한 시차맵(Depth/Disparity map)을 생성하는 시차맵 생성부, 생성된 시차맵을 기초로, 상기 입력 받은 영상내의 도로, 도로 위에 존재하는 객체 및 상기 도로와 객체에 의해 형성되는 접점의 위치 정보를 추정하는 데이터 추출부, 데이터 추출부로부터 획득한 위치 정보 및/또는 시차맵을 기초로, 객체의 높이를 추정하여 보행자 영역을 검출하는 보행자 영역 검출부, 검출된 보행자 영역에서 상기 시차맵 및/또는 추정된 객체의 높이에 따라 윈도우를 형성하여 보행자를 검출하는 보행자 검출부를 포함한다.

본 발명의 보행자 검출부는 검출된 객체의 노이즈를 필터링하는 노이즈 제거부를 더 포함한다.

아울러 본 발명의 보행자 검출부는 도로에서 검출된 객체가 보행자인지 여부를 판단한 이후, 영상의 시차값 분포, 색상, 텍스처를 통해 상기 보행자의 오검출 여부를 확인하고, 오검출 일 경우 이를 바로 잡는 보행자 검증부를 더 포함한다.

본 발명의 다른 일면에 따른 스테레오 비전을 기반으로한 영상으로부터 장애물을 검출하는 방법은 복수개의 스테레오 비전을 기반으로한 영상을 입력 받아 시차맵을 생성하는 단계, 생성된 시차맵을 기초로, 영상에 포함된 도로, 객체 및 도로와 객체에 의해 형성된 접점의 위치정보를 획득하는 단계, 획득된 위치정보를 기반으로, 입력된 영상의 도로에 존재하는 객체의 높이를 추정하는 단계, 추정된 객체의 높이, 위치정보 및 시차맵으로부터 영상의 보행자 영역을 검출하는 단계, 검출된 보행자 영역에 존재하는 보행자 검출을 위해, 객체의 높이에 따른 윈도우를 설정하는 단계 및 설정된 윈도우 내의 보행자를 검출하는 단계를 포함한다.

본 발명의 위치정보를 획득하는 단계는 V-시차맵을 통해 상기 영상에 포함된 도로의 특징을 추정하는 것이다.

아울러, 본 발명의 위치정보를 획득하는 단계는 U-시차맵, V-시차맵 및/또는 컬럼검출을 통해 도로의 위치 정보를 획득하고 이를 기반으로 영상에 포함된 객체를 검출하는 단계를 포함한다.

본 발명의 보행자 영역을 검출하는 단계는 검출된 영역의 노이즈를 필터링 하는 단계를 더 포함한다.

본 발명의 보행자를 검출하는 단계는 객체를 보행자로 오검출 하였는지 검토하는 단계 및 객체를 보행자로 오검출한 경우, 이를 수정하는 단계를 더 포함한다.

본 발명은 스테레오 비전을 기반으로 한 시차맵을 이용하여 입력된 영상의 보행자 영역만을 정확하게 검출하여, 검출된 영역 내에서 보행자가 존재할 수 있는 높이의 템플릿만을 사용하여 보행자 검출을 수행함으로써, 보행자 검출 처리 속도 및 시스템 성능을 향상시키는 이점을 제공한다.

아울러, 본 발명은 지능형 자동차, 로봇, 보안/감시, 의료 분야 등 다양한 분야의 장애물체 검출에 이용될 수 있는 이점을 제공한다.

도 1은 종래기술에 따른 보행자 검출 방법의 실시예를 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 시차맵 기반 보행자 검출 실시예를 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 시스템 구성도.
도 4는 본 발명의 일실시예에 따른 보행자 검출 동작 흐름도.
도 5는 본 발명의 일실시예에 따른 보행자 검출 과정에 따른 실시예를 나타낸 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 2는 본 발명의 일실시예에 따른 시차맵 기반 보행자 검출 실시예를 나타낸 도면이다.

본 발명에 따른 일실시예에서는 도 2-a에 도시된 바와 같이, 시차맵을 이용하여 보행자 영역만을 정확하게 검출하고, 도2-b에 도시된 바와 같이 검출된 보행자 영역 내에서 적절한 크기의 보행자 템플릿을 이용하여 보행자를 검출하는 방법을 제안한다.

도 3은 본 발명의 일실시예에 따른 보행자 검출 시스템의 구성도이다.

본 발명은 스테레오 비전 (Stereo Vision)을 기반으로 한 영상으로부터 보행자를 검출하는 시스템으로, 좌측과 우측에서 입력된 영상의 시차값을 획득하여, 영상에 대한 시차맵(Depth/Disparity map)을 생성하는 시차맵 생성부(310), 생성된 시차맵을 기초로, 입력 받은 영상내의 도로, 도로 위에 존재하는 객체 및 도로와 객체에 의해 형성되는 접점의 위치 정보를 추정하는 데이터 추출부(320), 데이터 추출부(320)로부터 획득한 위치 정보 및/또는 상기 시차맵을 기초로, 객체의 높이를 추정하여 보행자 영역을 검출하는 보행자 영역 검출부(330) 및 검출된 보행자 영역에서 시차맵 및/또는 추정된 객체의 높이에 따라 윈도우를 형성하여 보행자를 검출하는 보행자 검출부(340)를 포함한다.

본 발명에 따른 일실시예에서 시차맵 생성부(310)은 시차맵을 생성하기 위해 좌, 우 2 개의 스테레오 카메라를 이용하여 대상으로서 도로를 촬영한 이미지에 맺힌 물체의 시차 정보를 획득하고, 이 시차값, 양안카메라 간의 거리(base line), 카메라 포컬 길이(focal length)를 이용하여 거리 정보를 추출하여 표현함으로써 시차맵을 생성할 수 있다.

보행자 검출부(340)는 검출된 객체의 노이즈를 필터링하는 노이즈 제거부(341) 및 도로에서 검출된 객체가 보행자인지 여부를 판단한 이후, 영상의 시차값 분포, 색상, 텍스처를 통해 상기 보행자의 오검출 여부를 확인하고, 오검출 일 경우 오검출을 바로 잡는 보행자 검증부(342)를 포함한다.

시차맵을 이용하여 보행자를 검출하는 일실시예로 V-변위맵(시차맵)을 이용하는 방법이 있다. V-시차맵은 수평축은 시차값 빈도수를, 수직 축은 수직라인을 나타내는데, 해당 수직 라인에서 시차맵의 값 (예컨대0~255)의 분포를 그리는 것이다.

즉, 해당되는 시차값 별로 그 빈도를 표시하는 것으로, 빈도수가 많은 데이터는 밝게, 빈도수가 적은 데이터는 어둡게 나타난다. 이후, 빈도수가 적은 데이터는 삭제한 후 이진화한다.

이진화된 V-시차맵을 살펴보면, 도로와 같은 평면성분은 대각선 형태(붉은선)로 나타나고, 장애물체는 수직선 형태(파란선)로 나타난다.

이를 통해, 장애물체만을 검출 할 수 있다. 먼저 V-시차맵 에서 도로 성분을 추출하고, 수직라인 별로 해당되는 도로성분 값보다 높은 시차 값이 존재하는지 확인 후 이를 추출하는데, 추출 후 얻는 성분이 장애물체에 해당한다. V-시차맵에서 장애물체가 추출되면 장애물체 존재 수직라인 구간도 추출가능하며, 이 수직라인 구간 내에서 시차값을 갖는 부분을 추출하면 시차맵에서 장애물체 검출이 가능하다.

도 4는 본 발명의 일실시예에 따른 보행자 검출 동작 흐름도이다.

도 4에 도시된 바와 같이, 먼저 스테레오 비전을 이용하여 좌측과 우측에서 입력되는 두 장의 그레이 영상으로부터 3차원 정보인 시차맵을 생성한다(S410).

생성된 시차맵으로부터 입력 받은 영상에 담긴 도로의 특징 정보를 추출한다(S420).

모든 장애물체는 도로 위에 존재하기 때문에 도로 특징 정보는 장애물체 유무를 판단하는 중요한 정보이다. 특히, 도로의 특징 정보는 정확한 보행자 영역 검출을 위해 사용되기 때문에, 도로 특징 정보를 정밀하게 추정하는 것은 매우 중요하다.

본 발명에 따른 일실시예에서는 U-시차맵, V-시차맵 및/또는 컬럼검출을 통해 상기 도로의 위치 정보를 획득하고 이를 기반으로 영상에 포함된 객체를 검출한다(S430).

도로 특징 정보를 추출하기 위해 일반적으로 V-시차맵을 이용할 수 있다. V-시차맵은 획득한 시차값을 수평적으로 누적 히스토그램화 한 것으로서, 시차값 분포에 따른 도로 특징 정보와 검출된 객체의 상태를 보여준다.

아울러, V-시차맵에서 DP(Dynamic Programming) 및 최대 빈도값 등을 이용하여 도로의 특징 정보만을 추출할 수 있다. 추출된 도로 특징 정보를 기반으로 객체를 검출하는데, 객체 검출을 위한 대표적인 방법으로는 U-시차맵, V-시차맵 방법, 컬럼 검출 방법 등이 있다.

검출된 영역의 형태 맵 생성 (morphology) 등을 통해 노이즈를 제거하는 후처리를 수행한다(S440).

이후, 검출된 영상에서 각 수직 열별로 도로 접점을 추정한다(S450). 영상 수직 라인별로 값이 존재하는 화소의 위치들 중에서 가장 아래에 존재하는 지점을 찾고(S450), 각 수직 라인별로 추정된 도로접점의 위치를 기준으로 보행자가 존재할 수 있는 영역인 높이를 추정한다(S460). 높이 추정 시 아래의 수학식 1을 사용한다.

[수학식 1]

수학식 1에서, h는 영상 내에서 수직 높이(수직 화소수), d는 시차값(시차맵의 화소값),

는 두 카메라가 지면에 대해서 기울어져 있는 각도, b는 base lin 으로서 두 카메라의 간격을 각각 나타낸다.

아울러, H는 실제 보행자의 수직 크기로서 일반적으로 1.8 ~ 2m의 값을 갖는다. 즉 각각의 시차값(d)에서 실제 보행자의 높이(H)와 다양한 파라미터를 이용하면, 각 수직라인에서 보행자가 존재할 수 있는 범위(높이)를 구할 수 있게 되어 모든 수직라인에 대해서 앞서 추정한 도로 접점위치를 기준으로, 보행자가 존재할 수 있는 보행자 영역을 검출 가능하게 된다(S470).

이후, 검출된 보행자 영역 내에서 보행자 검출을 수행한다. 먼저 객체 높이 별 윈도우(window)를 설정한다(S480). 윈도우는 보행자 검출을 위한 보행자 크기에 알맞은 템플릿으로, 윈도우의 세로와 가로의 비는 대략적으로 2: 1로 설정한다.

보행자 영역의 수직라인이 정해지면, 그 수직 라인 크기의 1/2정도로 윈도우의 폭을 정하고, 각 윈도우 별로 그레이 영상 내에서 보행자 검출을 수행한다(S490).

보행자 검출을 위한 방법으로는 Histograms of Oriented Gradient(HOG)기반의 SVM(Support Vector Machine), Integral Channel Features기반의 Adaboost 알고리즘 등 다양한 방법이 사용 될 수 있다.

보행자 검출의 결과는 다양한 오검출을 포함할 수 있으므로, 시차값 분포, 색상, 텍스쳐 등 다양한 특징을 이용하여 보행자 검증을 수행한다(S500). 보행자 검증 단계에서 보행자가 아닌 객체를 보행자로 오검출한 경우, 이를 수정 가능하다.

도면 5는 본 발명의 일실시예에 따른 보행자 검출 과정의 실시예를 나타낸 것이다.

제안된 보행자 검출 방법은 도 5에 도시된 바와 같이, 도면 5-a는 시차맵을 나타내고 도 5-b는 시차맵으로부터 생성된 V-시차맵을 나타낸다.

도 5-c는 V-시차맵으로부터 도로 특징 정보만 추출한 결과를 나타내고, 도 5-d는 도로 특징 정보를 이용하여 객체 검출을 수행한 결과이다.

도 5-e는 모든 수직 라인별로 객체 도로 접점 지점을 추정한 결과이고, 도 5-f는 도로 접점 지점을 기준으로 객체 높이를 추정한 결과이다. 도 5-g는 최종 보행자 영역을 검출한 결과이고, 도 5-h는 그 영역 내에서 객체 높이 별 윈도우를 설정한 것을 나타낸다.

도 5-i는 각각의 윈도우에서 보행자를 검출하는 과정을 나타내고, 도 5-j는 보행자 검출결과를 나타낸다. 마지막으로 오검출을 줄이기 위해서 최종적으로 보행자를 검증한 결과는 도 5-k에 도시되어 있다.

이상 설명한 바와 같이, 본 발명은 시차맵을 이용하여 보행자 영역을 정확하게 검출하고, 검출된 보행자 영역 내에서 적절한 크기의 보행자 템플릿을 이용하여 보행자를 검출하는 방법을 제공하여 보다 빠르게 보행자를 검출할 수 있는 이점을 제공한다.

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

1. 스테레오 비전 (Stereo Vision)을 기반으로 한 영상으로부터 보행자를 검출하는 시스템에 있어서,
   좌측과 우측에서 입력된 영상의 시차값을 획득하여, 상기 영상에 대한 시차맵(Depth/Disparity map)을 생성하는 시차맵 생성부;
   상기 생성된 시차맵을 기초로, 상기 입력 받은 영상내의 도로, 상기 도로 위에 존재하는 객체 및 상기 도로와 객체에 의해 형성되는 접점의 위치 정보를 추정하는 데이터 추출부;
   상기 데이터 추출부로부터 획득한 위치 정보 및 상기 시차맵을 기초로, 상기 객체의 높이를 추정하여 보행자 영역을 검출하는 보행자 영역 검출부;
   상기 검출된 보행자 영역에서 상기 시차맵 및 추정된 상기 객체의 높이에 따라 윈도우를 형성하여 보행자를 검출하는 보행자 검출부를 포함하고,
   상기 보행자 검출부는 상기 도로에서 검출된 객체가 보행자인지 여부를 판단한 이후, 상기 영상의 시차값 분포, 색상, 텍스처를 통해 상기 보행자의 오검출 여부를 확인하고, 오검출 일 경우 상기 오검출을 바로 잡는 보행자 검증부를 더 포함하는 것
   인 보행자 검출 시스템.
   
2. 제 1항에 있어서, 상기 보행자 검출부는
   상기 객체의 노이즈를 필터링하는 노이즈 제거부; 를 더 포함하는 것
   인 보행자 검출 시스템.
   
3. 삭제
4. 스테레오 비전을 기반으로한 영상으로부터 장애물을 검출하는 방법에 있어서,
   복수개의 스테레오 비전을 기반으로한 영상을 입력 받아 시차맵을 생성하는 단계;
   상기 생성된 시차맵을 기초로, 상기 영상에 포함된 도로, 객체 및 상기 도로와 객체에 의해 형성된 접점의 위치정보를 획득하는 단계;
   상기 획득된 위치정보를 기반으로, 상기 입력된 영상의 도로에 존재하는 객체의 높이를 추정하는 단계;
   상기 추정된 객체의 높이, 위치정보 및 상기 시차맵으로부터 상기 영상의 보행자 영역을 검출하는 단계;
   상기 검출된 보행자 영역에 존재하는 보행자 검출을 위해, 상기 객체의 높이에 따른 윈도우를 설정하는 단계; 및
   상기 설정된 윈도우 내의 보행자를 검출하는 단계를 포함하고,
   상기 보행자를 검출하는 단계는 상기 객체를 보행자로 오검출하였는지 검토하는 단계 및 상기 객체를 보행자로 오검출한 경우, 상기 오검출을 수정하는 단계를 더 포함하는 것
   인 장애물 검출 방법.
   
5. 제 4항에 있어서, 상기 위치정보를 획득하는 단계는
   V-시차맵을 통해 상기 영상에 포함된 도로의 특징을 추정하는 것
   인 장애물 검출 방법.
6. 제 5항에 있어서, 상기 위치정보를 획득하는 단계는
   U-시차맵, V-시차맵, 및 컬럼검출 중 어느 하나에 기초하여 상기 도로의 위치를 획득하고 이를 기반으로 상기 영상에 포함된 객체를 검출하는 단계; 를 포함하는 것
   인 장애물 검출 방법.
   
7. 제 4항에 있어서, 상기 영상의 보행자 영역을 검출하는 단계는
   상기 검출된 영역의 노이즈를 필터링 하는 단계; 를 더 포함하는 것
   인 장애물 검출 방법.
   
8. 삭제

Images