KR102227843B1 - 차선 이탈 경보 시스템의 동작방법 - Google Patents

Abstract

본 발명은, 입력된 차량의 주행영상에서 복수의 후보차선을 검출하는 단계, 상기 차량의 주행차로 내에서 차량위치를 연산하는 단계, 상기 차량위치에 따라 상기 복수의 후보차선 중 상기 주행차로를 이루는 좌우 차선을 검출하기 위한 관심영역(Region of interest)을 설정하는 단계, 상기 관심영역에 대하여 허프 변환(hough transform) 알고리즘을 적용하여 직선을 나타내는 차선들을 인식하는 단계 및 상기 차선들 중 상기 주행차로를 이루는 상기 좌우 차선을 선택하는 단계;를 포함하는 차선 이탈 경보 시스템의 동작방법을 포함한다.

Description

차선 이탈 경보 시스템의 동작방법{Operating method of lane departure warning system}

본 발명은 차선 이탈 경보 시스템의 동작방법에 관한 것으로서, 더욱 상세하게는 차량 주행 증 차선 이탈 여부를 처리하기 용이한 차선 이탈 경보 시스템의 동작방법에 관한 것이다.

차량의 주행 시 가장 중요한 것은 안전주행 및 교통사고의 예방이며, 이를 위해 차량의 자세제어, 차량 구성장치들의 기능제어 등을 수행하는 다양한 보조장치 및 안전벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.

최근에는 블랙박스(black box)를 차량에 설치하고, 차량의 각종 센서들로부터 전송되는 데이터를 블랙박스에 저장함으로써 차량의 사고 발생시 차량에 설치된 블랙박스를 회수하여 차량의 사고 원인을 규명할 수 있다.

한편, 차선 이탈 경보 시스템(Lane Departure Warning System)는 졸음운전, 부주의운전, 뜻하지 않은 차선이탈사고로부터 운전자를 지켜주고 안전운전을 할 수 있도록 도와주는 장치이며, 룸미러 뒤의 차량 앞유리에 전용 카메라를 장착하여, 카메라로 도로의 상황을 계속 모니터링하고 있다가 차선이탈 예측시 경보음을 자동으로 울려주도록 되어 있다.

최근들어, 차선 이탈 경보 시스템에서 영상에서 차량이 차선 이탈 여부를 확인 시 처리 속도를 높이기 위한 연구가 진행 중에 있다.

본 발명의 목적은, 차량 주행 증 차선 이탈 여부를 처리하기 용이한 차선 이탈 경보 시스템의 동작방법을 제공함에 있다.

본 발명에 따른 차선 이탈 경보 시스템의 동작방법은, 입력된 차량의 주행영상에서 복수의 후보차선을 검출하는 단계, 상기 차량의 주행차로 내에서 차량위치를 연산하는 단계, 상기 차량위치에 따라 상기 복수의 후보차선 중 상기 주행차로를 이루는 좌우 차선을 검출하기 위한 관심영역(Region of interest)을 설정하는 단계, 상기 관심영역에 대하여 허프 변환(hough transform) 알고리즘을 적용하여 직선을 나타내는 차선들을 인식하는 단계 및 상기 차선들 중 상기 주행차로를 이루는 상기 좌우 차선을 선택하는 단계를 포함한다.

본 발명에 따른 차선 이탈 경보 시스템의 동작방법은, 상기 검출 단계 이전에, 상기 주행영상을 그레이 영상으로 영상변환하는 단계를 더 포함한다.

상기 검출 단계는, 상기 그레이 영상에 포함된 복수의 픽셀 각각의 조도를 기반으로 상기 복수의 후보차선을 검출한다.

상기 연산 단계는, 상기 주행영상에서 추출한 영상소실점(vanishing point) 및 상기 영상소실점을 통과하는 가로선을 기반으로 상기 차량위치를 연산한다.

상기 설정 단계는, 상기 주행영상을 촬영하는 카메라의 설치 각도 및 시야각에 따라 상기 복수의 후보차선이 존재하는 영역을 상기 관심 영역으로 설정한다.

상기 인식 단계는, 상기 주행영상에서 상기 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지의 위치를 상기 차선들로 인식한다.

상기 선택 단계는, 상기 차선들 중 상기 주행차로를 이루며 신뢰성이 높은 상기 좌우 차선을 선택한다.

본 발명에 따른 차선 이탈 경보 시스템의 동작방법은, 상기 선택 단계 이후, 상기 차량위치가 상기 좌우 차선에 겹치면, 차선 이탈에 대한 경보를 발생시키는 단계를 더 포함한다.

본 발명에 따른 차선 이탈 경보 시스템의 동작방법은, 차량 주행 중 차선을 인식하기 위한 허프 변환 알고리즘을 적용하는 속도를 증가시킴으로써, 차선 인식 속도를 증가시킬 수 있는 이점이 있다.

또한, 본 발명에 따른 차선 이탈 경보 시스템의 동작방법은, 차선 인식 속도가 증가됨으로써, 차선 이탈 시 즉각적으로 운전자에게 차선 이탈 경보를 발생시킴으로써, 안전 운전을 용이하게 하는 이점이 있다.

도 1은 본 발명에 따른 차선 이탈 경보 시스템의 제어 구성을 나타낸 제어블록도이다.
도 2는 본 발명에 따른 차선 이탈 경보 시스템에서 허프 변환에 대한 일 예를 나타낸 도이다.
도 3 내지 도 5는 본 발명에 따른 차선 이탈 경보 시스템에서 차량위치별로 허프 공간 그리드를 나타낸 예시도이다.
도 6은 본 발명에 따른 차선 이탈 경보 시스템의 동작방법을 나타낸 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

도 1은 본 발명에 따른 차선 이탈 경보 시스템의 제어 구성을 나타낸 제어블록도, 도 2는 본 발명에 따른 차선 이탈 경보 시스템에서 허프 변환에 대한 일 예를 나타낸 도, 및 도 3 내지 도 5는 본 발명에 따른 차선 이탈 경보 시스템에서 차량위치별로 허프 공간 그리드를 나타낸 예시도이다.

도 1 내지 도 5를 참조하면, 차선 이탈 경보 시스템은, 카메라부(110), 영상 처리부(120), 후보차선 검출부(130), 허프변환부(140), 차선 선택부(150) 및 이탈 경보부(160)를 포함할 수 있다.

실시 예에서, 차선 이탈 경보 시스템은 차량용 네비게이션 장치일 수 있으며, 이에 한정을 두지 않는다.

카메라부(110)는 차량 주행 중인 차량의 전방에 대한 주행영상을 촬영할 수 있으며, 상기 주행영상은 RGB(Red Green Blue)(칼라) 영상을 의미할 수 있다.

실시 예에서, 카메라부(110)은 차량의 전방, 후방 및 측방 중 적어도 하나의 방향에 대하여 상기 주행영상을 촬영할 수 있으며, 이에 한정을 두지 않는다.

영상 처리부(120)는 상기 주행영상을 차선 인식이 용이한 그레이 영상으로 변환할 수 있다.

즉, 영상 처리부(120)는 상기 주행영상을 상기 그레이 영상으로 변환함에 있어, 해상도, 컬러 공간, 노이즈 제거 및 영상을 보정할 수 있으며, 이에 한정을 두지 않는다.

예를 들어, 영상 처리부(120)는 주행차로의 일부분이 그림자 영향을 받으면 차선 검출에 어려움이 있기 때문에 그림자 영향을 최소화 하기 위하여, 광원을 보정할 수 있는 방법을 적용할 수 있다.

또한, 영상 처리부(120)는 상기 주행영상의 RGB에 대하여 광원 보정 알고리즘을 적용하여 RGB의 광원을 보정한 후, 보정된 RGB를 그레이 영상으로 변환할 수 있으며, 이에 한정을 두지 않는다.

후보차선 검출부(130)는 상기 그레이 영상에 포함된 복수의 픽셀 각각의 조도를 기반으로 복수의 후보차선을 검출 할 수 있다.

즉, 후보차선 검출부(130)는 상기 그레이 영상에서 밝고 어두운 부분에 대하여 설정된 조도값보다 높은 조도값을 갖는 상기 픽셀을 찾아 연결하여 상기 복수의 후보차선을 검츨할 수 있다.

허프변환부(140)는 차량위치 연산부(142), 관심영역 설정부(144) 및 허프변환적용부(146)를 포함할 수 있다.

차량위치 연산부(142)는 상기 주행영상 또는 상기 그레이 영상에서 추출한 영상소실점(vanishing point) 및 상기 영상소실점을 통과하는 가로선을 기반으로 상기 차량위치를 연산할 수 있다.

관심영역 설정부(144)는 상기 주행영상을 촬영하는 카메라부(110)의 설치 각도 및 시야각에 따라 상기 복수의 후보차선이 존재하는 영역을 상기 관심 영역으로 설정할 수 있으며, 이에 한정을 두지 않는다.

실시 예에서, 상기 관심 영역은 복수 개일 수 있으며, 이에 한정을 두지 않는다.

허프변환적용부(146)는 상기 관심 영역에 해당되는 그레이 영상에서 에지(edge)를 검출한 에지 영상으로 변환하는 역할을 수행한다.

허프변환적용부(146)는 에지 영상으로부터 차량이 주행 중인 주행차로를 검출하는 역할을 수행한다.

즉, 허프변환적용부(146)는 에지 영상에 대하여 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지를 검출하고 검출된 직선의 위치를 차선으로 인식할 수 있다.

여기서, 도 2 내지 도 5에 나타낸 허프 공간 그리드를 기반으로 허프변환부(140)의 동작을 설명하기로 한다.

도 2 내지 도 5는 허프 변환을 위한 주행 차로 내에 차량위치에 따른 허프 공간 그리드를 나타낸다.

여기서, 상기 허프 공간 그리드는, 설정된 각도 범위 [thetamin,thetamax], 거리 범위 [distmin,distmax]로 그 크기가 결정하며, 일반적으로 허프 공간 그리드의 크기는 처리 되는 영상의 크기에 따라 변하게 되는데 영상의 크기가 커질수록 그리드의 크기도 비례하여 커지게 된다.

또한, 상기 허프 공간 그리드는 그리드 크기가 커지게 되면 계산 해야 하는 거리값이 증가하게 되며 가장 높은 vote 값을 추출하기 위해 내림차순으로 정렬할때 계산량이 증가하게 된다.

상기 허프 변환은 컴퓨터 비전에서 사용되는 개념으로써 x,y 좌표계를 각도와 거리의 좌표계로 변환하여 dominant 한 직선을 fitting 하는데에 이용된다.

여기서, 도 2는 허프 변환의 개념을 나타낸다.

도 2를 설명하면, 여러 개의 포인트를 지나는 하나의 직선은 원점으로부터 각도와 거리로 표현할 수 있다. 즉, 하나의 직선은 고정된 하나의 거리와 각도로 표현 가능하다. 하나의 포인트 (x1,y1)를 지나는 직선은 무수히 많기 때문에 x,y 도메인에서 theta, distance 도메인으로 변경을 하면 사인파형을 갖는 곡선이 하나 도출된다.

그리고 다른 포인트 (x2,y2)를 지나는 수많은 직선들은 theta, distance 도메인에서 또다른 하나의 곡선으로 표현된다. 이들 곡선의 교차점이 (r,θ)에 존재하게 되며 이것의 의미는 두 포인트 (x1,y1)과 (x2,y2)는 (r, θ)로 표현될 수 있는 하나의 직선상에 존재하는 것을 의미한다. Theta, distance 공간을 특정 간격 grid 로 나누어서 해당 하는 지점을 곡선이 지나게 되면 vote수를 하나씩 누적시킨다. 예를 들어, 두 포인트의 교차점에 해당하는 지점의 vote수는 2가 되게 된다.

이렇게 함으로써, 여러 개의 포인트들이 놓여 있는 하나의 직선을 도출할 수 있으며 이러한 개념을 이용하여 edge point에 허프 변환을 함으로써 dominant한 직선 (차선)을 도출할 수 있다. Dominant 한 직선은 hough grid에서 가장 많은 vote수를 갖는 r, θ로 표현된다.

도 3 내지 도 5는 허프 공간의 크기를 상황에 맞게 조절하여 거리값 계산과 정렬하는데 드는 계산량을 줄이는 개념을 제안한다.

즉, 도 3은 차량위치가 주행차로의 중앙으로 주행할때의 영상에서 좌우 차선모양에 대응하는 허프 공간을 나타낸다.

도 3에 나타낸 허프 공간 그리드는 헤칭이 들어간 부분이 거리값이 계산되고 vote가 일어나는 부분을 나타낸다. 이렇게 허프 공간을 줄일 수 있는 이유는 차량이 차로의 중앙으로 주행하고 있는 경우에는 좌/우측 차선의 각도가 부호만 다르고 크기값은 같으며 거리값도 거의 동일하다. 거리값의 범위는 중간 크기 정도로 잡았으며 각도도 50도 부근에서 대칭이 되도록 설정한다.

도 4 및 도 5에 나타낸 허프 공간 그리드는 차량이 차로 중앙으로부터 좌측, 우측으로 치우쳐서 주행하고 있거나 차선을 변경할때의 차선 모양을 나타낸다. 도 4과 같이 좌측으로 치우쳐 있는 경우에는 좌측 차선은 거의 0도 각도를 가지면서 그 거리값은 작은 값을 갖는다. 반면, 우측 차선의 각도는 -45도 각도와 상대적으로 큰 거리값을 갖는다. 도 5와 같이 차량이 차로 중앙으로부터 우측으로 치우쳐서 주행하거나 우측 차로로 변경을 하는 경우에는 좌측 차선의 각도는 45도 부근 거리값은 상대적으로 커지며, 우측 차선의 각도는 0도 부근 거리값은 상대적으로 작아진다.

상술한 바와 같이, 허프변환부(140)는 차량이 차선의 중앙, 좌측, 우측에서 주행하는 것은 소실점의 위치나 lateral offset을 통해 알 수 있으며, 초기에는 전체 허프 공간에 대해서 처리를 하다가 어느 정도 차선 인식이 안정된 상태로 돌입하게 되면 상술한 바와 같이 허프 변환 알고리즘을 수행할 수 있으며, 이에 한정을 두지 않는다.

또한, 도 3 내지 도 5에서의 허프 공간은 더 세부적인 상황에 맞게 결정 되어 준비되어 질 수 있으며 헤칭이 칠해진 부분은 영상 DB 기반 수치 해석을 통해 변경될 수 있다. 상기 그림에서 그리드 간 각도 간격은 1도, 거리 간격은 1화소가 될 수도 있고 더 많은 set으로 정해질 수도 있지만 분명한 것은 모든 허프 공간에 대해 거리값 계산을 하지 않아도 되며 정렬시에도 계산량을 감소시킬 수 있다. 차량의 상황에 따라 vote 되는 위치가 명확한 만큼 본 발명이 제안하는 기술은 기존의 차선 인식률은 보존하면서 처리 속도를 증가시킬 수 있다.

차선 선택부(150)는 허프 변환부(140)에서 인식한 상기 차선들 중 상기 주행차로를 이루며 신뢰성이 높은 상기 좌우 차선을 선택한다.

이탈 경보부(160)는 차량이 차선 선택부(150)에서 선택한 상기 좌우 차선에 겹치는 경우, 운전자가 인식할 수 있도록 경보를 발생시킬 수 있으며, 이에 한정을 두지 않는다.

도 6은 본 발명에 따른 차선 이탈 경보 시스템의 동작방법을 나타낸 순서도이다.

도 6을 참조하면, 차선 이탈 경보 시스템은 카메라부(110)에서 촬영된 차량의 주행영상을 그레이 영상을 영상변환하고(S110), 상기 그레이 영상에 포함된 복수의 픽셀 각각의 조도를 기반으로 복수의 후보차선을 검출한다(S120).

차선 이탈 경보 시스템은 상기 주행영상에서 추출한 영상소실점 및 상기 영상소실점을 통과하는 가로선을 기반으로 차량의 주행차로 내에 차량위치를 연산한다(S130).

차량 이탈 경보 시스템은 상기 차량위치에 따라 상기 복수의 후보차선 중 상기 주행차로를 이루는 좌우 차선을 검출하기 위한 관심영역을 설정한다(S140).

차량 이탈 경보 시스템은 상기 관심영역에 대하여 허프 변환 알고리즘을 적용하여 직선을 나타낸 차선들을 인식한다(S150).

차량 이탈 경보 시스템은 상기 차선들 중 상기 주행차로를 이루는 상기 좌우 차선을 선택한다(S160).

이후, 차량 이탈 경보 시스템은 상기 차량위치가 상기 좌우 차선에 겹치면, 차선 이탈에 대한 경보를 발생시킨다(S170).

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

1. 입력된 차량의 주행영상에서 복수의 후보차선을 검출하는 단계;
   상기 주행영상에서 영상소실점(vanishing point)을 추출하고, 상기 영상소실점을 통과하는 가로선을 기반으로 상기 차량의 주행차로 내에서 차량위치가 중앙, 좌측 또는 우측에 치우쳐 있는지를 연산하는 단계;
   상기 차량위치에 따라 상기 복수의 후보차선 중 상기 주행차로를 이루는 좌우 차선을 검출하기 위한 관심영역(Region of interest)을 설정하는 단계;
   상기 관심영역에 대하여 허프 변환(hough transform) 알고리즘을 적용하여 직선을 나타내는 차선들을 인식하는 단계; 및
   상기 차선들 중 상기 주행차로를 이루는 상기 좌우 차선을 선택하는 단계;를 포함하되,
   상기 설정 단계는,
   상기 주행영상을 촬영하는 카메라의 설치 각도 및 시야각에 따라 상기 복수의 후보차선이 존재하는 영역을 상기 관심 영역으로 설정하되,
   차량이 차로의 중심에 위치한 경우, 좌/우측 차선의 각도가 부호만 다르고 크기값은 같으며 거리 값을 갖는 허프 공간 그리드의 헤칭이 들어간 부분에 대해서만 거리값을 계산하고,
   차량이 차로 좌측으로 치우쳐 있는 경우에는 좌측 차선은 0도 각도를 가지면서 그 거리값은 작은 값을 갖고, 우측 차선의 각도는 -45도 각도와 상대적으로 큰 거리값을 갖는 허프 공간 그리드의 헤칭이 들어간 부분에 대해서만 거리값을 계산하고,
   차량이 차로 중앙으로부터 우측으로 치우쳐서 주행하거나 우측 차로로 변경을 하는 경우에는 좌측 차선의 각도는 45도 부근 거리값은 상대적으로 커지며, 우측 차선의 각도는 0도 부근 거리값은 상대적으로 작아지는 거리값을 갖는 갖는 허프 공간 그리드의 헤칭이 들어간 부분에 대해서만 거리값을 계산하되,
   초기에는 전체 허프 공간에 대해서 처리를 하다가 차선 인식이 안정된 상태로 돌입하게 되면 허프 변환 알고리즘을 수행하는 것인 차선 이탈 경보 시스템의 동작방법.
2. 제 1 항에 있어서,
   상기 검출 단계 이전에,
   상기 주행영상을 그레이 영상으로 영상변환하는 단계;를 더 포함하는 차선 이탈 경보 시스템의 동작방법.
3. 제 2 항에 있어서,
   상기 검출 단계는,
   상기 그레이 영상에 포함된 복수의 픽셀 각각의 조도를 기반으로 상기 복수의 후보차선을 검출하는 차선 이탈 경보 시스템의 동작방법.
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 인식 단계는,
   상기 주행영상에서 상기 허프 변환 알고리즘을 적용하여 직선을 나타내는 에지의 위치를 상기 차선들로 인식하는 차선 이탈 경보 시스템의 동작방법.
7. 제 1 항에 있어서,
   상기 선택 단계는,
   상기 차선들 중 상기 주행차로를 이루며 신뢰성이 높은 상기 좌우 차선을 선택하는 차선 이탈 경보 시스템의 동작방법.
8. 제 1 항에 있어서,
   상기 선택 단계 이후,
   상기 차량위치가 상기 좌우 차선에 겹치면, 차선 이탈에 대한 경보를 발생시키는 단계;를 포함하는 차선 이탈 경보 시스템의 동작방법.

Images