KR101868898B1 - 자율주행을 위한 차선 인식 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 자율주행을 위한 차선 인식 방법은, 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신 과정 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 － ; 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬 과정; 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식하는 노면 영역 인식 단계; 및 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 계산 단계를 포함하고, 자율 주행 차량에서 주변 환경 영향에 관계없이 효과적으로 차선을 인식할 수 있다.

Description

자율주행을 위한 차선 인식 방법 및 장치{Method and apparatus of identifying lane for self-driving car}

본 발명은 자율주행을 위한 차선 인식 방법 및 장치에 관한 것으로, 보다 상세하게는 주야간 도로환경 자율주행을 위한 반사율정보 기반 차선인식 방법 및 장치에 관한 것이다.

지상차량의 무인자율화는 크게 환경을 인식하고, 경로를 계획하는 단계로 구성된다. 특히 차량에 장착된 각종 센서를 통하여 차량주변을 인지하고 구분함으로서 안전한 주행을 담보할 수 있도록 한다. 이러한 차량 주변 환경에 대한 인식의 기술은 무인차량이 주행을 목표하는 대상환경에 따라 필요한 기술이 달라지는데, 그 중에서 기존의 유인차량이 주행하도록 설계/시공된 도로환경에서의 자율주행은 도로에 존재하는 규칙을 인식하는 기술이 필수적으로 요구된다.

본 발명에서는 도로에 존재하는 규칙 중에서 다른 유무인의 차량과 함께 주행하기 위해 첫 번째로 지켜져야 하는 규칙인 차선을 인식하는 기술을 포함하고 있다. 차선을 인식하는 기술은 앞서 언급한 것과 같이 도로환경 자율주행에 요구되는 기본적인 사항이기 때문에 많은 연구가 이루어왔는데 기존의 대다수의 연구들은 카메라 센서로부터 획득된 영상을 기반으로 하고 있다.

영상정보는 다른 환경인식 센서들로부터 획득되는 정보들에 비하여 정보의 밀도가 높기 때문에 정보를 획득하기 좋은 환경에서는 상대적으로 활용할 수 있는 정보가 많다는 장점이 있다. 또한, 영상정보는 사람이 눈으로 보는 색상정보를 그대로 활용할 수 있는 장점이 있기 때문에 정보획득에 좋은 환경에서는 높은 밀도의 색상정보를 활용하여 보다 정확한 차선을 인식할 수 있다. 하지만, 영상정보는 다른 환경인식 센서에 비하여 주변 환경과 상황에 영향이 매우 높은 센서이다. 다시 말해, 적정한 광량이 보장되는 환경에서는 앞서 언급한 센서의 장점을 모두 활용할 수 있지만 입사되는 빛이 너무 적거나 많은 경우 영상 내 차선의 특징이 모두 사라지거나, 다른 특징들이 더 강하게 발생하여 의미있는 정보를 제공하지 못한다. 또한, 같은 시간대와 같은 위치에서도 바라보는 방향과 주변 사물에 의한 그림자 등으로 얻을 수 있는 정보가 일정하지 않은 단점이 있다.

이러한 단점은 매우 다양한 환경과 주/야간을 포함한 모든 시간대에서 일정한 결과를 보장해야 하는 무인차량의 자율주행 성능에 치명적인 영향을 준다. 차선인식 장치가 운용자가 존재하고 단순히 주행을 보조하는 시스템이라면 운용자가 오동작할 경우 운용자가 인식결과를 인지하고 사고를 막을 수 있겠지만 인식결과에만 의존하여 주행하는 지상무인차량의 경우 한번의 오동작이 사고로 이어질 수 있기 때문에 인식의 정확도 뿐만 아니라 다양한 환경에서의 일정하고 강건한 결과를 보장할 수 있어야 한다. 따라서 좋은 환경에서 인식의 정확도를 높일 수 있지만 여러 악조건의 환경에서는 그 성능을 담보할 수 없는 영상기반의 차선인식 기법은 지상무인차량을 위한 환경인식 방법 및 장치로서 한계가 있다.

따라서, 본 발명에서 해결하고자 하는 과제는, 자율 주행 차량에 있어서 노면 상의 차선의 3차원 좌표를 인식하는 데에 그 목적이 있다.

또한, 본 발명에서 해결하고자 하는 과제는, 주변 환경 영향에 관계없이 차선의 3차원 좌표를 인식함에 그 목적이 있다.

상기와 같은 과제를 해결하기 위한 본 발명에 따른 자율주행을 위한 차선 인식 방법은, 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신 과정 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 － ; 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬 과정; 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식하는 노면 영역 인식 단계; 및 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 계산 단계를 포함하고, 자율 주행 차량에서 주변 환경 영향에 관계없이 효과적으로 차선을 인식할 수 있다.

일 실시예에 따르면, 상기 자율주행을 위한 차선 인식 방법은, 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행하는 2차원 비 최대치 억제 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 자율주행을 위한 차선 인식 방법은, 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅하는 차선 위치 피팅 단계; 및 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 차선 인식 결과 출력 단계를 더 포함할 수 있다.

일 실시예에 따르면, 상기 노면 영역 인식 단계는, 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할하고, 그리고 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식하는 것을 특징으로 할 수 있다.

일 실시예에 따르면, 상기 반사율 피크 지점 계산 단계는, 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산하고, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태이고, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.

본 발명의 다른 양상에 따른 자율주행을 위한 차선 인식 장치는, 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신부 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 －; 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬부; 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 추정하는 노면 영역 추정부; 및 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 검출부를 포함할 수 있다.

일 실시예에 따르면, 상기 차선 인식 장치는 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행하는 비 최대치 억제부를 더 포함할 수 있다.

일 실시예에 따르면, 상기 차선 인식 장치는 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하는 누적 저장부; 및 차량의 주행에 따른 차선의 위치를 피팅하고, 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 피팅 및 차선결과 생성부를 더 포함할 수 있다.

일 실시예에 따르면, 상기 차선 인식 장치는 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할하는 노면 영역 추정부를 더 포함할 수 있다. 또한, 상기 노면 영역 추정부는 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식할 수 있다.

일 실시예에 따르면, 상기 차선 인식 장치는 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산하는 반사율 피크 지점 검출부를 더 포함할 수 있다. 여기서, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태일 수 있다. 또한, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.

본 발명에 따르면, 3차원 레이저 거리센서의 경우 카메라 센서와 다르게 시간대와 주변 환경에 따라 변하는 광량에 영향이 없는 정보를 제공하고, 시각효과가 반영되지 않은 3차원의 좌표를 직접 사용할 수 있는 장점이 있다.

또한, 본 발명에 따르면, 인식된 결과가 주변 환경에 영향이 적고 별도의 캘리브레이션 과정 없이 직접 사용할 수 있는 장점이 있다.

또한, 본 발명에 따르면, 도로 노면의 영역을 3차원 레이저 거리센서의 거리정보를 활용하여 추정함으로서 그 외의 불필요한 정보를 제거하여 오탐지 확률을 낮추었고 인식 결과를 시간에 따라 누적하여 피팅함으로서 인식의 강건성을 높였다는 장점이 있다.

도 1은 본 발명에 따른 자율주행을 위한 차선 인식 방법의 흐름도를 도시한다.
도 2는 본 발명에 따른 3차원 레이저 거리센서를 통해 얻어지는 거리정보와 반사율 정보를 나타낸다.
도 3은 거리정보에 따른 지형의 형태를 직선으로 표현한 결과를 도시한다.
도 4는 본 발명의 일 실시예에 따라 하나의 프레임을 대상으로 하여 차선의 위치를 찾는 결과를 도시한다.
도 5는 본 발명에 따른 자율주행을 위한 차선 인식 장치의 세부 구성을 도시한다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명은 고휘도의 도료로 도색되는 차선의 특성을 활용하여 3차원 레이저 거리센서에서 획득되는 반사율정보를 통해 차선을 인식하는 방법 및 장치를 포함한다. 이하, 본 발명에 따른 자율주행을 위한 차선 인식 방법 및 장치에 대해 살펴보기로 하자.

3차원 레이저 거리센서의 경우, 카메라 센서와 다르게 시간대와 주변 환경에 따라 변하는 광량에 영향이 없는 정보를 제공하고, 시각효과가 반영되지 않은 3차원의 좌표를 직접 사용할 수 있는 장점이 있다. 그러므로 본 발명에 포함된 방법과 장치를 사용할 경우 인식된 결과가 주변 환경에 영향이 적고 별도의 캘리브레이션 과정 없이 직접 사용할 수 있는 장점을 가질 수 있다. 또한, 본 발명은 도로 노면의 영역을 3차원 레이저 거리센서의 거리정보를 활용하여 추정함으로서 그 외의 불필요한 정보를 제거하여 오탐지 확률을 낮추었고 인식 결과를 시간에 따라 누적하여 피팅함으로서 인식의 강건성을 높였다는 장점을 가진다.

도 1은 본 발명에 따른 자율주행을 위한 차선 인식 방법의 흐름도를 도시한다. 도 1에 도시된 바와 같이, 차선 인식 방법은 3차원 거리 정보 수신 과정(S110), 데이터 정렬 과정(S120), 노면 영역 인식 단계(S130) 및 반사율 피크 지점 계산 단계(S140)를 포함한다. 또한, 상기 차선 인식 방법은 2차원 비 최대치 억제 단계(S150), 차선 위치 피팅 단계(S160) 및 차선 인식 결과 출력 단계(S170)를 더 포함할 수 있다.

먼저, 상기 3차원 거리 정보 수신 과정(S110)은 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신한다. 여기서, 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함한다.

다음으로, 상기 데이터 정렬 과정(S120)은 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬한다.

다음으로, 상기 노면 영역 인식 단계(S130)는 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식한다. 구체적으로, 상기 노면 영역 인식 단계(S130)는 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현한다. 이후에, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할한다. 또한, 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식할 수 있다.

다음으로, 상기 반사율 피크 지점 계산 단계(S140)는 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정한다. 구체적으로, 상기 반사율 피크 지점 계산 단계(S140)는 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산한다. 이때, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태일 수 있다. 이와 관련하여, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.

다음으로, 상기 2차원 비 최대치 억제 단계(S150)는 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행한다.

다음으로, 차선 위치 피팅 단계(S160)는 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅한다. 마지막으로, 상기 차선 인식 결과 출력 단계(S170)는 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력한다.

이와 관련하여, 전술된 각 단계에 대하여 그 구현 방법에 대해 구체적으로 살펴보면 아래와 같다.

(1) 차선 인식 방법은 3차원 거리 정보 수신 과정(S110): 본 발명에서 포함하는 방법은 3차원 거리센서의 정보를 입력으로 받는다. 본 발명에서 전제하는 3차원 거리센서는 360도로 회전하며 수평방향으로 특정 분해능을 가지는 단일 레이어가 n개로 구성된 센서이며 하나의 3차원 거리정보는 레이어 번호, 거리정보(X,Y,Z), 반사율 정보를 포함한다.

(2) 데이터 정렬 과정(S120): 입력된 거리정보는 데이터 정렬과정을 통하게 되는데 본 발명에서는 각 레이어 별로 각각 차선의 위치를 찾는 과정을 수행하기 때문에 입력된 정보를 레이어 번호 별로 정렬하고 하나의 레이어 번호에 해당하는 정보들을 순차적으로 다음 과정에 제공한다.

이와 관련하여, 도 2는 본 발명에 따른 3차원 레이저 거리센서를 통해 얻어지는 거리정보와 반사율 정보를 나타낸다. 도 2의 (가)는 상기 거리정보를 나타내고, (나)는 반사율 정보를 나타낸다. 이와 관련하여, (가)에서 붉은색으로 표시된 레이어에 해당하는 반사율 정보의 예시는 (나)를 통하여 확인할 수 있다.

(3) 노면 영역 인식 단계(S130): 본 발명에서는 360도로 회전하여 획득된 모든 정보를 사용할 경우 도로 바깥의 비정형화된 반사율 특징을 가지는 물체들로 인한 오탐지를 최소화하기 위하여 3차원 레이저 거리센서의 거리정보를 활용하여 도로 노면 영역을 인식한다. 상기의 데이터 정렬 단계에서 제공하는 단일 레이어의 거리정보 포인트를 연결하면 센서가 바라보는 지형의 형태를 표현할 수 있는데 해당 형태 정보를 통하여 도로에 해당하는 부분과 그 외 부분으로 나눌 수 있고, 두 부분의 접점을 도로경계로 추정할 수 있다. 본 발명에서는 획득된 거리정보의 형태를 표현하기 위하여 단일 레이어의 거리정보를 한계치 t 안에 각 거리정보 포인트를 포함할 수 있는 직선들의 집합으로 표현하도록 하였다. 다시 말해, 왼편에서 오른편으로 순차적으로 획득된 거리정보의 포인트 집합을 하나의 직선으로 포함하고, 해당 직선으로부터 가장 먼 수선의 거리를 가진 포인트와 직선과의 거리를 t 이하가 되도록 직선을 분할하여 최종적으로 모든 포인트가 직선과의 거리가 t 이하에 위치하도록 한다.

이와 관련하여, 도 3은 거리정보에 따른 지형의 형태를 직선으로 표현한 결과를 도시한다. 도 3의 (가)에서, 파란색 포인트가 획득된 거리정보이고, 붉은색 점을 연결한 녹색 직선이 지형의 형태를 직선으로 표현한 결과이다. 이렇게 계산된 직선은 3차원 공간의 직선으로 표현되고 해당 직선의 공간 특성(roll/pitch/yaw)가 노면 특성과 유사한지 판단하여 해당 직선이 도로부분에 해당하는 그 외 부분인지 판단한다. 즉, 도 3의 (나)는 추정된 차선의 공간 특성과 노면 특성을 비교하여 해당 부분이 도로부분인지 차선부분인지를 판단한 것이다.

(4) 반사율 피크 지점 계산 단계(S140): 상기의 단계에서 추정된 도로 노면 영역 내에서 반사율 Peak Point 계산을 통한 차선 위치 추정을 수행한다. 도로에 도색된 차선에 대한 반사율 값은 도로 마다, 도색의 상태에 따라 반사율의 절대적인 값은 변하지만 도색된 차선에 비하여 낮은 값을 고르게 가진 노면 중앙에 상대적으로 높은 반사율을 존재하는 패턴을 가질 것이다. 따라서 반사율 정보를 활용하여 차선의 위치를 찾으려면 일정하며 상대적으로 낮은 값이 있는 영역 사이에 높은 값을 가진 부분을 찾음으로서 차선의 위치를 추정할 수 있다. 본 발명에서는 해당 패턴에 기초하여 차선의 위치를 추정하기 위하여 좌/우에 일정한 낮은 값과 중심의 높은 값에 반응하는 윈도우 필터를 생성하여 대상 레이어의 반사율 정보에 슬라이딩시킨다. 특히 도로 중앙의 도색된 차선은 상대적으로 넓은 도로 위에 좁은 영역만을 포함하고 있기 때문에 노면에 해당하는 낮은 반사율 값의 영역은 차선을 기준으로 좌/우로 넓게 위치하고, 차선에 해당하는 높은 반사율 값의 영역은 좁게 존재한다. 그러므로 단순히 반사율이 높기만 한 곳을 찾는 것이 아니라 펄스 형태의 위치를 찾아야 하므로 필터의 양의 영역은 좁고, 좌우로 넓은 양의 영역을 가지도록 윈도우 필터를 적용한다. 생성되는 윈도우 필터의 크기는 대상 도로 환경(도색된 차선의 폭 등)에 따라 변경될 수 있다.

(5) 2차원 비 최대치 억제 단계(S150): 상기 반사율 피크 지점 계산 단계(S140)에서, 노면의 색상이 바래거나 흙과 같은 이물질에 의해 일부 약한 필터 반응이 발생할 수 있기 때문에 제안하는 방법은 필터 반응 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 적용할 수 있다. 따라서, 노면에서 발생하는 오탐지를 최소화 한다. 또한 해당 기법을 적용함으로서 하나의 차선에서 발생할 수 있는 두 개 이상의 필터 반응을 하나로 판단할 수 있다.

(6) 차선 위치 피팅 단계(S160): 본 발명에서 전제하는 3차원 레이저 거리센서는 다중의 레이어를 가지고 있으므로 앞선 단계(S130, S140)를 레이어 별로 적용함으로서 한 프레임에서 획득된 전체 센서정보에서 차선의 위치를 찾을 수 있다.

이와 관련하여, 도 4는 본 발명의 일 실시예에 따라 하나의 프레임을 대상으로 하여 차선의 위치를 찾는 결과를 도시한다. 도 4의 (가)는 단일 프레임의 차량 기준의 좌우(x), 레이어 번호(y)에 대한 반사율 정보(z)에 대하여 차선의 위치(붉은점)을 표시한 결과이다. 도로 중앙에 나타는 반사율이 높은 차선의 위치를 찾아내고 있음을 확인할 수 있다. 그리고 도면 4의 (나)는 반사율 정보를 통해 찾아진 결과를 좌우(x), 전방(y)에 대한 거리정보에 표시한 결과이다.

상기 단계(S130 내지 S150)를 통하여 단일 프레임의 반사율 정보를 활용한 차선인식 결과를 확인하였다. 하지만, 3차원 거리센서는 카메라에 비하여 정보의 밀도가 낮아 얻을 수 있는 결과 또한 적은 단점이 있다. 따라서 본 발명에서는 이러한 단점을 극복하기 위하여 차선의 위치에 해당하는 거리정보 포인트를 GPS/IMU 정보로부터 계산한 프레임 간 위치/회전이동 정보를 통하여 단위 프레임의 결과를 시간에 따라 누적한다. 거리센서가 전방으로 지향하는 위치는 레이어 별로 일정한데 반하여 차량은 시간에 따라 움직이기 때문에 매 프레임의 결과를 시간에 따라 누적한 후 현재 프레임의 위치로 옮겨 현재 프레임의 결과와 합치게 되면, 단일 프레임에서 얻어진 결과 사이의 빈 공간이 누적된 이전 프레임 결과로 채워져 좀 더 조밀한 결과를 얻을 수 있다.

(7) 차선 인식 결과 출력 단계(S170): 상기 단계(S160)을 통하여 시간에 따라 누적된 결과는 2차원 이상의 피팅 기법을 통하여 차선으로 인식된다. 일반적으로 15m 이내의 경우 도로의 곡선 또한 직선으로 표현될 수 있기 때문에 2차원의 RANSAC 기법 등을 통하여 피팅함으로서 차선인식 결과를 생성할 수 있다. 3차원 레이저 거리센서로부터 유효한 반사율 정보를 그 이상의 거리로부터 획득하여 차선의 위치를 추정할 수 있다면 3차원 이상의 곡선으로 피팅하여 차선 결과를 생성할 수 있다.

이상에서는 본 발명에 따른 자율주행을 위한 차선 인식 방법에 대해 기술하였다. 이하에서는, 본 발명의 다른 양상에 따른 자율주행을 위한 차선 인식 장치에 대해 살펴보기로 하자. 한편, 전술된 차선 인식 방법에 대한 내용은 차선 인식 장치에도 결합되어 이용될 수 있다.

이와 관련하여, 도 5는 본 발명에 따른 자율주행을 위한 차선 인식 장치의 세부 구성을 도시한다. 상기 차선 인식 장치(200)는 3차원 거리 센서로부터 거리 정보를 수신하고, 자율 운행 장치로 추정된 차선 결과를 표시한다. 구체적으로, 상기 차선 인식 장치(200)는 3차원 레이저 거리센서로부터 거리정보와 반사율정보를 수신하는 수신부, 수신된 정보를 레이어 별로 정렬하여 제공하는 데이터 정렬부, 레이어 별로 제공된 거리정보를 기반으로 노면 영역을 추정하는 노면 영역 추정부, 반사율 정보에서 차선위치를 찾기 위한 필터를 생성하는 필터 생성부, 레이어 별로 제공된 반사율 정보와 추정된 노면 영역 정보, 그리고 생성된 필터 정보를 통하여 반사율기반 차선 위치를 찾는 반사율 peak point 검출부, 검출된 결과를 입력으로 받고 시간에 따라 결과를 누적하는 결과 입력 및 누적 저장 공간, 누적된 결과를 미리 정해진 n차원의 피팅을 수행함으로서 최종적으로 자율 운행 장치로 차선정보를 전달하는 피팅 및 차선결과 생성부로 구성이 된다.

이와 관련하여, 도 5를 참조하여 상기 차선 인식 장치(200)에 대해 살펴보면 다음과 같다. 즉, 도 5에 도시된 바와 같이, 상기 차선 인식 장치(200)는 3차원 거리 정보 수신부(210), 데이터 정렬부(220), 노면 영역 추정부(230) 및 반사율 피크 지점 검출부(240)를 포함한다. 또한, 상기 차선 인식 장치(200)는 비 최대치 억제부(245), 누적 저장부(250) 및 피팅 및 차선결과 생성부(260)를 더 포함할 수 있다.

상기 3차원 거리 정보 수신부(210)는 차선을 포함하는 도로에 대한 3차원 거리 정보를 수신한다. 이때, 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함한다.

상기 데이터 정렬부(220)는 상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬한다. 또한, 상기 노면 영역 추정부(230)는 상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 추정한다. 이때, 상기 노면 영역 추정부(230)는 왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할할 수 있다. 또한, 상기 노면 영역 추정부(230)는 상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식할 수 있다.

한편, 상기 반사율 피크 지점 검출부(240)는 상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정할 수 있다. 이때, 상기 반사율 피크 지점 검출부(240)는 윈도우 필터를 생성하여 해당 레이어의 상기 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산할 수 있다. 여기서, 상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태일 수 있다. 또한, 상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정될 수 있다.

또한, 상기 비 최대치 억제부(245)는 상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행한다.

또한, 상기 누적 저장부(250)는 상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적한다. 이때, 상기 피팅 및 차선결과 생성부(260)는 차량의 주행에 따른 차선의 위치를 피팅하고, 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력한다.

본 발명의 적어도 일 실시예에 따르면, 3차원 레이저 거리센서의 경우 카메라 센서와 다르게 시간대와 주변 환경에 따라 변하는 광량에 영향이 없는 정보를 제공하고, 시각효과가 반영되지 않은 3차원의 좌표를 직접 사용할 수 있는 장점이 있다.

또한, 본 발명의 적어도 일 실시예에 따르면, 인식된 결과가 주변 환경에 영향이 적고 별도의 캘리브레이션 과정 없이 직접 사용할 수 있는 장점이 있다.

또한, 본 발명의 적어도 일 실시예에 따르면, 도로 노면의 영역을 3차원 레이저 거리센서의 거리정보를 활용하여 추정함으로서 그 외의 불필요한 정보를 제거하여 오탐지 확률을 낮추었고 인식 결과를 시간에 따라 누적하여 피팅함으로서 인식의 강건성을 높였다는 장점이 있다.

본 발명의 효과에 대해 좀 더 구체적으로 살펴보면 다음과 같다. 본 발명은 카메라 센서로부터 획득되는 영상정보를 기반으로 한 차선인식 방법이 다양한 환경에서 일정하고 강건한 결과를 제공하지 못하는 한계를 극복하기 위한 방법 및 장치에 대한 발명이다. 이러한 한계를 극복하기 위하여 본 발명은 환경에 비교적 강인한 3차원 레이저 거리센서의 반사율 정보를 활용하여 차선을 인식하는 방법 및 장치를 포함한다. 이러한 방법 및 장치는 기존의 여러 영상정보 기반의 차선인식 방법에 비하여 야간 환경을 포함한 여러 어려운 환경에서도 차선을 인식할 수 있도록 함으로서 자율주행의 성능 및 강건성을 높이는 효과가 있다. 또한 본 발명은 반사율정보를 활용함에 있어 도로 외의 비정형화된 반사율 특성을 가지는 구조물 및 물체들의 정보를 도로 노면 영역 추정을 통하여 제거함으로서 인식의 정확도를 높이므로 차선기반의 자율주행 안정성을 향상시킬 수 있는 효과가 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들은 별도의 소프트웨어 모듈로도 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.

200: 차선 인식 장치
210: 3차원 거리 정보 수신부 220: 데이터 정렬부
230: 노면 영역 추정부 240: 반사율 피크 지점 검출부
245: 비 최대치 억제부 250누적 저장부
260: 피팅 및 차선결과 생성부

Claims (6)

1. 자율주행을 위한 차선 인식 방법에 있어서,
   차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신 과정 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 － ;
   상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬 과정;
   상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 인식하는 노면 영역 인식 단계;
   상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 계산 단계;
   상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅하는 차선 위치 피팅 단계; 및
   상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 차선 인식 결과 출력 단계를 포함하는, 자율주행을 위한 차선 인식 방법.
   
2. 제1항에 있어서,
   상기 추정된 차선에 대하여 노면에서 발생하는 오탐지가 최소화되도록, 상기 필터 반응의 결과에 2차원 비 최대치 억제(2D non-maxima Suppression)를 수행하는 2차원 비 최대치 억제 단계를 더 포함하는, 자율주행을 위한 차선 인식 방법.
   
3. 삭제
4. 제1항에 있어서,
   상기 노면 영역 인식 단계는,
   왼편에서 오른편으로 순차적으로 획득된 상기 거리정보 포인트의 집합을 하나의 직선으로 표현하고, 그리고
   상기 직선과 이웃한 다른 직선과 상기 직선과의 거리가 t 이하가 되도록 직선을 분할하고, 그리고
   상기 직선 및 상기 다른 직선의 공간 특성이 노면 특성과 유사한지 판단하여 상기 직선 및 상기 다른 직선이 도로 부분인지 또는 차선 부분인지를 인식하는 것을 특징으로 하는, 자율주행을 위한 차선 인식 방법.
   
5. 제4항에 있어서,
   상기 반사율 피크 지점 계산 단계는,
   윈도우 필터를 생성하여 해당 레이어의 반사율 그래프에 슬라이딩시켜, 상기 노면 영역 내에서 반사율 피크 지점을 계산하고,
   상기 윈도우 필터는 좌/우 영역에서는 제1값을 가지고, 중심 영역에서는 상기 제1값보다 높은 제2값을 가지는 펄스 형태이고,
   상기 펄스 형태에서 상기 중심 영역의 비율은 상기 직선 및 상기 다른 직선과의 거리와 상기 차선의 폭에 기반하여 결정되는, 자율주행을 위한 차선 인식 방법.
   
6. 자율주행을 위한 차선 인식 장치에 있어서,
   차선을 포함하는 도로에 대한 3차원 거리 정보를 수신하는 3차원 거리 정보 수신부 － 상기 3차원 거리 정보는 수평 방향으로 특정 분해능을 갖는 복수의 레이어들에 대응하는 레이어 번호, 거리 정보(X,Y,Z), 반사율 정보를 포함함 －;
   상기 수신된 거리 정보와 반사율 정보를 각 단일 레이어 별로 정렬하는 데이터 정렬부;
   상기 단일 레이어의 거리정보 포인트를 연결하여 상기 도로의 노면 영역을 추정하는 노면 영역 추정부; 및
   상기 반사율 정보에 필터 반응을 통해 상기 노면 영역 내에서 반사율 피크 지점(Peak Point)을 계산하여 차선의 위치를 추정하는 반사율 피크 지점 검출부; 및
   상기 거리정보 포인트를 프레임 간 위치/회전이동 정보를 통해 시간에 따라 누적하여 차량의 주행에 따른 차선의 위치를 피팅하고, 상기 차량의 주행에 따라 피팅된 차선의 위치를 3차원의 곡선으로 표시하여 출력하는 피팅 및 차선결과 생성부를 포함하는, 자율주행을 위한 차선 인식 장치.

Images