KR100391442B1 - 차선 이탈 방지용 영상 처리방법 - Google Patents

Abstract

본 발명은 차선 이탈 방지용 영상 처리방법을 개시한다.

본 발명에서는 차선이 포함되어 있는 주행 도로를 촬영하여 도로 영상을 생성하고, 도로 영상의 밝기를 평준화화 한 다음에, 평준화된 도로 영상을 필터링하여 차선 영상을 검출한다. 그리고 필터링된 차선 영상을 역원근 처리하고, 압축 처리한 다음에, 압축 처리된 차선 영상을 토대로 차선의 기울기를 구하고, 차선의 기울기를 토대로 차선의 곡률을 구한다. 그리고 차선의 기울기를 토대로 차량의 진행 방향, 차량의 차선 탈선량을 구한다.

이러한 본 발명에 따르면, 촬영된 도로 영상의 밝기를 평준화하고 필터링하여 차선을 검출함에 따라 영상의 노이즈에 거의 영향을 받지 않으며, 차선의 기울기와 휨량 등을 정확하게 검출할 수 있으므로, 정확하게 차선을 검출할 수 있다.

Description

차선 이탈 방지용 영상 처리방법{IMAGE PROCESSING METHOD FOR PREVENTING A VEHICLE FROM RUNNING OFF THE LINE}

본 발명은 영상 처리방법에 관한 것으로, 더욱 상세하게 말하자면, 주행 차량이 차선을 이탈하는 것을 방지하기 위한 영상 처리방법에 관한 것이다.

최근에는 다양한 기술의 발전과 함께 안전하고 편리한 차량 운행을 위한 다양한 시스템들이 개발되고 있다. 이러한 시스템 중에 운전자의 장시간 운전이나 졸음 운전 또는 휴대 전화 사용 등에 의하여 전방 주시가 태만해져서 발생되는 사고를 방지하기 위한 차선 이탈 방지 시스템이 있다.

차선 이탈 방지 시스템은 주행 도로 상의 차선 및 차량의 위치를 측정하여 차량이 차선을 이탈하는 경우에 경고를 하거나 자동으로 조향 액츄에이터를 구동시켜 차량의 주행 방향을 조절하는 장치로서, 크게 주행 도로를 촬영하는 촬영부와, 촬영된 주행 도로의 영상으로부터 차로 상의 차량의 위치 및 진행 방향들을 추출하는 영상 처리부와, 현재 차량의 위치 데이터로부터 차선 이탈 방지를 위한 조향 명령을 생성하는 조향 제어부와, 조향 명령에 따라 구동되는 조향 액츄에이터로 이루어진다.

그러나 종래의 차량 이탈 방지용 시스템의 영상 처리방법은 영상의 에지(edge)를 기초로 하는 알고리즘을 이용하여 촬영된 영상을 처리하여 차선을 추출하기 때문에, 각종 노이즈에 대응하기가 어려우며 또한 영상 처리에 시간이 많이 소요되는 단점이 있다.

영상 에지 처리방법 이외에 영상의 밝기값(gray level)을 토대로 차선을 추출하는 방법이 있으나, 이 방법은 전체 영상의 밝기에 따라 성능이 가변되기 때문에 저녁이나 흐린 날 등 주변 휘도가 낮은 경우에는 차선 검출이 어려우며, 또한 다른 물체를 차선으로 잘못 인식하는 등 오동작이 많다.

또한, 영상을 칼라 처리하여 차선을 검출하는 방법도 있으나, 이러한 방법은 칼라 영상 촬영에 소요되는 카메라의 가격이 고가이며, 칼라 영상 처리방법이 매우 복잡하여 처리 시간이 증가되는 단점이 있다.

그러므로 본 발명의 기술적 과제는 이러한 종래의 단점을 해결하기 위한 것으로, 주행 도로의 차선을 정확하게 검출하여 차량의 차선 이탈을 방지하도록 하고자 하는데 있다.

도 1은 본 발명의 실시예에 따른 차선 이탈 방지용 영상 처리방법을 구현하기 위한 장치의 구조도이다.

도 2는 본 발명의 실시예에 따른 차선 이탈 방지용 영상 처리방법의 흐름도이다.

도 3은 본 발명의 실시예에 따른 밝기 평균화 처리된 영상의 예시도이다.

도 4는 본 발명의 실시예에 따라 처리되는 영상의 크기를 나타낸 예시도이다.

도 5는 본 발명의 실시예에서 필터링 과정을 거치기 전의 도로 영상과 필터링된 도로 영상의 예시도이다.

도 6은 본 발명의 실시예에서 평면 영상으로 변환 처리된 영상의 예시도이다.

도 7은 본 발명의 실시예에서 압축 처리된 영상의 예시도이다.

도 8은 본 발명의 실시예에서 구해진 차선의 기울기를 나타내는 영상의 예시도이다.

도 9는 본 발명의 실시예에 따라 구해진 중첩 함수의 특징을 나타낸 그래프이다.

도 10은 본 발명의 실시예에 따라 커브피팅 처리된 영상의 예시도이다.

도 11은 본 발명의 실시예에 따른 영상 처리방법에 따라 구해진 차선 상태를 나타내는 각종 변수들의 예시도이다.

도 12는 본 발명의 실시예에 따른 조향 제어부의 동작 과정을 나타낸 흐름도이다.

이러한 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 차량의 탈선 방지용 영상 처리방법은, 차선이 포함되어 있는 주행 도로를 촬영하여 도로 영상을생성하는 단계; 상기 도로 영상의 밝기를 평준화하는 단계; 상기 평준화된 도로 영상을 필터링하여 차선 영상을 검출하는 단계; 상기 필터링된 차선 영상을 역원근 처리하는 단계; 상기 역원근 처리된 차선 영상을 압축 처리하는 단계; 상기 압축 처리된 차선 영상을 토대로 차선의 기울기를 구하는 단계; 상기 차선의 기울기를 토대로 차선의 곡률을 구하는 단계; 및 상기 차선의 기울기를 토대로 차량의 진행 방향, 차량의 차선 탈선량을 구하는 단계를 포함한다.

이외에도, 차량의 주행 속도 및 운전자의 주행 의지를 검출하는 단계; 상기 차량의 주행 속도, 운전자의 주행 의지 그리고 상기에서 산출된 차량의 탈선량을 토대로 차량의 조향을 조절하여 차량의 차선 탈선을 방지하는 단계를 더 포함한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.

도 1에 본 발명의 실시예에 따른 차선 이탈 방지용 영상 처리방법을 구현하기 위한 시스템의 구조가 도시되어 있다.

첨부한 도 1에 도시되어 있듯이, 본 발명의 실시예에 따른 차선 이탈 방지 시스템은, 주행 도로를 촬영하는 촬영부(10)와, 촬영부(10)에 의하여 생성된 도로 영상을 처리하는 영상 처리부(20), 조향 액츄에이터(40) 및 영상 처리된 결과에 따라 조향 액츄에이터(40)를 구동시키는 조향 제어부(30)로 이루어지며, 차량의 주행 상태를 측정하는 차속 감지부(51), 가속 페달 감지부(52), 브레이크 페달 감지부(53), 변속레버 감지부(54)를 포함하는 차량 주행 상태 감지부(50)를 더 포함한다.

촬영부(10)는 차량의 전륜 쪽에 장착되어 피사체 즉, 차량이 주행하는 도로를 촬영하기 위한 촬영 렌즈와 촬상 소자인 CCD(charge coupled device)를 포함할 수 있으며, 영상 처리부(20)는 촬영된 도로 영상을 처리하여 차선과 현재 차량의 위치 데이터를 검출한다. 그리고 조향 제어부(30)는 검출된 차량의 위치 데이터를 토대로 하여 조향 액츄에이터(40)를 구동시켜 차량이 차선 내에서 주행되도록 제어한다.

특히, 조향 제어부(30)는 차속 감지부(51)에 의하여 측정되는 차량의 차속에 따른 차량 주행 상태와, 가속 페달, 브레이크 페달 및 변속 레버 감지부(52∼54))에 의하여 측정되는 운전자의 조작 의지와, 그리고 검출된 차량의 주행 위치와 차선과의 관계를 토대로 하여 조향 액츄에이터(40)를 구동시킨다.

이러한 구조로 이루어지는 시스템을 토대로 하여 본 발명의 실시예에 따른 차선 이탈 방지용 영상 처리방법에 대하여 설명한다.

도 2에 본 발명의 실시예에 따른 영상 처리방법의 순서도가 도시되어 있다.

먼저, 차량의 전륜측에 설치되어 있는 촬영부(10)가 차량이 주행하는 도로를 촬영하여 그에 해당하는 전기적인 신호를 영상 처리부(20)로 출력한다. 촬영부는 CCD에 의하여 생성되는 아날로그 신호를 상관 이중 샘플링 처리하여 노이즈를 제거하고 신호 이득을 조절하여 출력하며, 이외에도 처리된 아날로그 신호를 디지털 신호로 변환되어 출력할 수 있다(S100∼S110).

이와 같이 촬영부(10)에 의하여 주행 도로가 촬영되면 영상 처리부(20)는 다음과 같이 주행 도로의 차선을 검출하고, 차선 상에서의 차량의 현재 위치를 검출하기 위한 영상 처리를 수행한다.

먼저, 영상 처리부(20)는 촬영된 도로 영상에서 전체 밝기보다 너무 어두워서 영상 처리에 노이즈로 동작할 수 있는 부분 예를 들어, 스키드 마크, 그림자 등을 미리 제거하는 밝기 평균화 과정을 수행한다(S130).

본 발명의 실시예에서는 차선이 주위보다 밝기값이 크다는 것을 이용하여 차선을 검출하기 때문에, 만일 촬영된 도로 영상내에 너무 어두운 부분이 존재하는 경우에는 주위와 밝기 차이가 많이 나게 되어, 차선이 아닌데도 차선으로 잘못 인식될 수 있다. 따라서 영상 처리부(20)는 촬영된 도로 영상의 밝기의 평균값을 구한 다음에, 평균값보다 작은 값을 가지는 부분의 밝기를 평균값으로 치환하여 도로 영상에서 평균값 이하의 밝기를 가지는 부분을 제거한다.

도 3의 (a) 및 (b)에 본 발명의 실시예에 따른 밝기 평균화 처리된 영상의 예가 도시되어 있다. 도 3의 (a)에 도시되어 있듯이 원래 촬영된 도로 영상 중 주변보다 밝기값이 현저히 낮은 부분(도면 상에서 원으로 표시된 부분)에 기술된 밝기 평균화 작업에 따라 도 3b에서와 같이 주변의 밝기로 치환되어 제거된다.

다음에, 영상 처리부(20)는 필터링 과정을 수행한다. 구체적으로 차선의 간격을 이용하여 그 간격만큼 떨어진 차선 주위의 밝기값이 현재 위치 즉, 차선보다 어둡다는 것을 이용하는 것이다(S140).

예를 들어, 도 4에서와 같이, 촬영된 도로 영상의 사이즈가 160×120인 경우에 현재 화소의 위치를 x, y라고 하고, P(x,y)를 화소(x,y)에서의 밝기값, F(x,y)를 화소(x,y)에서의 필터링된 밝기값, 그리고 m을 차선폭(화소 단위)이라고 하면, 다음과 같은 조건식이 성립된다.

then F(x,y) = {P(x,y) - p(x-m,y)} + {P(x,y)-P(x+m,y)} else F(x,y)=0

즉, 차선폭만큼의 양옆보다 밝고(차선이 밝기 때문에) 그 차이가 클수록 F(x,y)값이 커지게 된다.

도 5의 (a) 및 (b)에 위의 필터링 과정을 거치기 전의 도로 영상과 필터링된 도로 영상의 예가 도시되어 있다.

다음에, 영상 처리부(20)는 필터링된 영상에 대하여 역원근법(inverse perspective)을 이용한 영상 변환을 수행한다(S150).

구체적으로 도로가 평행하다고 가정하고, 필터링된 영상을 위에서 본 것과 같은 영상(평면 영상)으로 변환시키며, 이러한 변환 방법은 기하학적 연산으로 이루어지며 이미 공지된 기술임으로 상세한 설명은 생략한다. 도 6에 영상 변환 처리된 도로 영상의 예가 도시되어 있다.

다음에, 영상 처리부(20)는 영상 압축 과정을 수행한다(S160). 본 실시예에서는 영상의 계산 시간을 단축시키기 위하여 도로 영상을 수직 방향으로 1/5 정도 압축시키며, 도 7에 압축된 도로 영상의 예가 도시되어 있다. 여기서는 영상을 1/5로 압축하였으나 본 발명에 따른 압축률은 위에 기술된 것에 한정되지는 않는다.

그리고 영상 처리부(20)는 차선의 기울기를 구한다(S170). 차선의 기울기는바로 차량의 진행 방향(heading angle)이 된다. 구체적으로 압축된 도로 영상을 왼쪽, 오른쪽으로 기울이면서 다수 단계 예를 들어 왼쪽으로 도로 영상을 많이 기울이는 단계, 왼쪽으로 도로 영상을 중간쯤 기울이는 단계, 왼쪽으로 도로 영상을 조금 기울이는 단계, 도로 영상을 중앙에 위치시키는 단계, 오른쪽으로 도로 영상을 조금 기울이는 단계, 오른쪽으로 도로 영상을 중간정도 기울이는 단계, 오른쪽으로 도로 영상을 많이 기울이는 단계로 총 7단계를 거치면서 수직으로 밝기값을 합한 함수를 구하여 최종적으로 차선의 기울기를 구한다. 도 8에 차선의 기울기가 구핸진 영상의 예가 도시되어 있다.

이와 같이 차선의 기울기를 구한 다음, 영상 처리부(20)는 차량의 탈선량(lateral deviation)을 구한다. 도 9에 도로 영상의 수직 중첩 함수가 도시되어 있다. 구해진 차선의 기울기를 토대로 하여 도로 영상의 수직 합(sumation)인 수직 중첩 함수를 구하고, 이 수직 중첩 함수의 두 최대값을 구한다. 두 개의 최대값은 바로 차선의 x 위치가 되며, 따라서 차량이 차선으로부터 탈선한 편차량을 계산할 수 있게 된다.

그리고, 도로의 곡률을 구한다. 일반적으로 도로에 곡률이 있게 되면 첨부한 도 10에 도시되어 있듯이 차선이 휘게 되며, 도로가 휘어진 량이 바로 도로 곡률이 된다. 구체적으로 영상 처리부(20)는 영상의 밝은 곳을 이진화하고, 그 포인트들을 가지고 2차원 커브 피팅( curve fitting)하여 도로의 휨량을 구한다. 도 8에 이와 같이 피팅 처리된 도로의 영상이 도시되어 있으며, 영상의 커브 피팅 처리는 이미 공지된 기술임으로 상세한 설명은 생략한다(S180).

이와 같이 촬영된 도로 영상을 처리함에 따라 도 11에서와 같이 산출되는 각종 변수들 즉, 차선상에서의 차량의 위치를 나타내는 데이타들(도로 휨량, 진행 방향, 탈선량, 이탈 거리)을 구한 다음에, 조향 제어부(30)는 상기 데이터와 감지부(51∼54)들로부터 측정되는 차량의 주행 상태 예를 들어, 차속, 운전자의 가속 페달 또는 브레이크 페달 작동 여부, 변속 레버 조작에 따라 설정된 변속단 등의 데이터를 토대로 하여 차선의 탈선 여부를 판단하고, 차량이 차선을 탈선하거나 탈선될 가능성이 있는 경우에는 조향 액츄에이터(40)를 구동시켜 차량이 차선내에서 주행되도록 한다(S190∼S200).

이러한 조향 제어부(30)의 동작 흐름이 도 12에 도시되어 있다.

구체적으로 도 12에서와 같이 조향 제어부(30)는 영상 처리 결과에 따른 도로 곡률과 차량 주행 상태 감지부(50)에서 출력되는 차량의 차속에 따라서 제1 조향 토크를 산출하고, 영상 처리 결과 얻어진 탈선량과 진행 방향에 따른 이탈 오차값을 보정하는 제2 조향 토크를 산출한다(S300).

그리고, 차량 주행 상태 감지부(50)로부터 인가되는 다수의 주행 데이터를 토대로 하여 목표 진로를 추종하기 위한 제3 조향 토크와, 예상 진로(predicted driving course), 목표 진로(target driving course), 그리고 예상 이탈치(predicted lateral deviation)을 산출한다. 이외에도 가속 페달이나 브레이크 페달 작동 상태에 따라 운전자의 주행 의지를 판단한다(S310∼S320.

다음에, 조향 제어부(30)는 위에서 산출된 제1 내지 제3 조향 토크, 차량의 예상 진로, 목표 진로 그리고 차선으로부터의 예상 이탈치와 운전자 조작 의지를토대로 하여 조향 제어 시작/해제 여부를 판단하여 그에 따라 조향 액츄에이터(40)를 구동시켜 차량이 차선내에서 주행되도록 한다(S330).

한편 본 발명에 따른 주행 상태를 판단하기 위한 차량 주행 데이터는 위에 기술된 실시예에 한정되지 않는다.

본 발명은 다음의 기술되는 청구 범위를 벗어나지 않는 범위내에서 다양한 변경 및 실시가 가능하다.

이상에서와 같이 본 발명의 실시예에 따라, 촬영된 도로 영상의 밝기를 평준화하고 필터링하여 차선을 검출함에 따라 영상의 노이즈에 거의 영향을 받지 않으며, 차선의 기울기와 휨량 등을 정확하게 검출할 수 있으므로, 정확하게 차선을 검출할 수 있다.

따라서 차선 상에서의 차량의 위치를 토대로 하여 운전자의 주행 의지 및 차속의 주행 상태에 따라 차선의 탈선량을 예측하여 조향을 자동을 제어함으로써, 차량의 탈선을 방지할 수 있다.

Claims (2)

1. 차선이 포함되어 있는 주행 도로를 촬영하여 도로 영상을 생성하는 단계;

   상기 도로 영상의 밝기를 평준화하는 단계;

   상기 평준화된 도로 영상을 필터링하여 차선 영상을 검출하는 단계;

   상기 필터링된 차선 영상을 역원근 처리하는 단계;

   상기 역원근 처리된 차선 영상을 압축 처리하는 단계;

   상기 압축 처리된 차선 영상을 토대로 차선의 기울기를 구하는 단계;

   상기 차선의 기울기를 토대로 차선의 곡률을 구하는 단계;

   상기 차선의 기울기를 토대로 차량의 진행 방향, 차량의 차선 탈선량을 구하는 단계 및;

   차량의 주행 속도 및 운전자의 주행 의지를 검출하고 상기에서 산출된 차량의 탈선량을 토대로 차량의 조향을 조절하여 차량의 차선 탈선을 방지하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 방지 영상 처리방법.
2. 삭제