KR101406316B1

KR101406316B1 - 차선 인식 장치 및 그 방법

Info

Publication number: KR101406316B1
Application number: KR1020120090963A
Authority: KR
Inventors: 박상형
Original assignee: 하이브모션 주식회사
Priority date: 2012-08-20
Filing date: 2012-08-20
Publication date: 2014-06-12
Also published as: KR20140024681A

Abstract

복수의 픽셀들을 포함하는 이미지 센서로부터 촬상된 영상의 상기 픽셀들의 픽셀값을 출력하고, 인접하는 상기 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 도출하고, 상기 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 상기 선들의 리스트를 이용하여 실제 차선을 추출하는 것을 특징으로 하는 차선 인식 장치 및 방법이 제공된다. 본 발명은 차선의 밝기값과 차선의 폭을 이용하여 차선 후보군을 도출함으로써 연산량을 줄이는 효과가 있다.

Description

차선 인식 장치 및 그 방법 {Apparatus and method for detecting lane}

본 발명은 차선 인식 장치 및 그 방법에 관한 것이다.

운전자가 차량의 장거리 운전 시, 우천 시, 야간 운전 시 시계 불량 및 운전자의 집중력 부족 등으로 인해, 차선 이탈과 주행 차량과의 추돌에 의한 교통사고가 끊임없이 발생하고 있다. 상기와 같은 교통사고를 방지하기 위하여 차선 인식을 통해 차선 이탈 경보, 차선 이탈 방지 등과 같은 운전자 보조시스템이 제공되고 있다.

이와 더불어, 최근 컴퓨터 하드웨어 성능의 발달로 컴퓨터 비전 및 영상처리 기술이 급속히 발달하였고, 이러한 컴퓨터 비전을 자동차에 응용하여 사고율을 줄이고자 연구들이 진행되고 있다. 또한, 블랙박스, 내비게이션 등과 같은 제품은 차선 인식을 통해 차선 이탈 경고 시스템을 부가하려는 움직임이 일고 있다.

차선 인식에 대한 대표적인 방법은 허프 변환(Hough Transform)을 이용하는 방법, 히스토그램(Histogram)을 이용하는 방법, 에지(Edge)연결 정보를 이용하는 방법 등이 있다. 종래기술들 중에서 허프 변환(Hough Transform)을 이용하는 방법은 다른 방법들에 비해 간단하지만, 픽셀 도메인에 존재하는 직선상의 각 픽셀에 대해 파라미터 평면에 각각의 궤적을 그리는 과정으로 인하여, 처리 대상 픽셀 수가 증가하여 많은 처리시간이 소요된다는 문제점이 있다.

이러한 문제점을 해결하기 위해 허프 변환을 통해 차선을 추출하는 방법을 이용하는 경우 smoothing, sobel edge 및 이진화 등과 같은 복잡한 연산을 이용하여 차선을 원본 영상 전체에서 분리해내는 방법이 이용되고 있으나, 연산량이 과다하고 불필요한 부분까지도 차선 영상에 포함되어 후처리 연산도 증가시키는 문제점이 있다.

종래기술인 한국공개특허(2001-0069603)는 이전 프레임에서 차선이 검출된 부분을 탐색영역으로 하여 연산 속도를 증대시켰으나, 이전 프레임에서 차선을 잘못 인식한 경우 이후 프레임에서도 잘못 인식 할 문제점이 있다. 또한, 도로사정에 따라 차선이 탐색영역 이외의 곳에 나타난 경우 상기 특허문헌의 발명은 차선 인식을 할 수 없는 문제점이 있다. 따라서, 일부분이 아닌 전체 영상을 대상으로 연산량을 줄이고 속도를 증대시키는 방법이 필요하다

본 발명의 목적은, 차선 후보군을 먼저 추출하고 실제 차선을 추출하여, 기존에 사용하는 방식보다 월등히 연산량을 줄여 속도를 향상시켜, 차선 이탈 방지 시스템이 작은 자원(Resource)에서도 동작하도록 하는데 있다.

본 발명의 다른 목적은, 블랙박스나 내비게이션이 본래의 동작 후에 남는 자원(Resource)으로도 차선 이탈 방지 기능을 수행하게 하여, 추가적인 H/W비용과 성능 저하 없이 차선 이탈 방지 기능을 탑재하도록 함에 있다.

본 발명의 실시의 일 측면에서, 본 발명은, 복수의 픽셀들을 포함하는 이미지 센서로부터 촬상된 영상의 상기 픽셀들의 픽셀값을 제어부에 출력하는 영상 촬상부; 및 인접하는 상기 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 도출하고, 상기 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 상기 선들의 리스트를 이용하여 실제 차선을 추출하는 제어부를 포함하는 것을 특징으로 하는 차선 인식 장치를 제공할 수 있다.

바람직하게는, 상기 제어부는, 상기 실제 차선 중 경고영역으로부터 일정범위에 있는 차선을 주행 차선으로 판단할 수 있다.

바람직하게는, 차선 인식 장치는 상기 제어부로부터 경고 신호를 전달받은 경우 경고 메시지를 발생시키는 경고부를 더 포함하되, 상기 제어부는, 상기 경고영역과 상기 주행 차선을 비교하여 차선 이탈이 있는 경우 경고 신호를 경고부에 전달할 수 있다.

바람직하게는, 차선 인식 장치는 상기 경고영역과 상기 실제 차선을 디스플레이하는 디스플레이부를 더 포함할 수 있다.

본 발명의 실시의 다른 측면에서, 본 발명은, 복수의 픽셀들을 포함하는 이미지 센서를 구비한 장치가 차선을 인식하는 방법에 있어서, 상기 이미지 센서로부터 촬상된 영상의 상기 픽셀들의 픽셀값을 출력하는 제1단계; 상기 인접하는 상기 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 도출하는 제2단계; 및 상기 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 상기 선들의 리스트를 이용하여 실제 차선을 추출하는 제3단계를 포함하는 것을 특징으로 하는 차선 인식 방법을 제공할 수 있다.

바람직하게는, 차선 인식 방법은 상기 실제 차선 중 경고영역으로부터 일정범위에 있는 차선을 주행 차선으로 판단하는 제4단계를 더 포함할 수 있다.

본 발명의 실시의 또 다른 측면에서, 본 발명은, 이미지 센서로부터 촬상된 영상을 출력하는 영상 촬상부; 및 상기 영상으로부터 소실점 기준선을 추출하여 상기 소실점 기준선에 상응하여 소실점을 선택하고, 상기 소실점에서 각을 이루며 나오는 선들의 내측영역인 경고영역을 설정한 후, 상기 경고 영역과 상기 영상의 주행 차선을 비교하여 차선 이탈 여부를 판단하는 제어부;를 포함하는 것을 특징으로 하는 차선 인식 장치를 제공할 수 있다.

바람직하게는, 차선 인식 장치는 상기 제어부로부터 경고 신호를 전달받은 경우 경고 메시지를 발생시키는 경고부를 더 포함하되, 상기 제어부는, 차선 이탈이 있는 경우 경고 신호를 경고부에 전달할 수 있다.

바람직하게는, 상기 제어부는, 상기 주행 차선의 우측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 우측 차선 이탈로 판단할 수 있다.

바람직하게는, 상기 제어부는, 상기 주행 차선의 좌측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 좌측 차선 이탈로 판단할 수 있다.

본 발명의 실시의 또 다른 측면에서, 본 발명은, 복수의 픽셀들을 포함하는 이미지 센서를 구비한 장치가 차선을 인식하는 방법에 있어서,

이미지 센서로부터 촬상된 영상을 출력하는 제1단계; 상기 영상으로부터 소실점 기준선을 추출하여 상기 소실점 기준선에 상응하여 소실점을 선택 제2단계; 상기 소실점에서 각을 이루며 나오는 선들의 내측영역인 경고영역을 설정하는 제3단계; 및 상기 경고 영역과 상기 영상의 주행 차선을 비교하여 차선 이탈 여부를 판단하는 제4단계;를 포함하는 것을 특징으로 하는 차선 인식 방법을 제공할 수 있다.

바람직하게는 차선 인식 방법은 차선 이탈이 있는 경우 경고 메시지를 발생시키는 제5단계를 더 포함할 수 있다.

바람직하게는, 상기 제4단계는 상기 주행 차선의 우측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 우측 차선 이탈로 판단할 수 있다.

바람직하게는, 상기 제4단계는 상기 주행 차선의 좌측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 좌측 차선 이탈로 판단할 수 있다.

여기서, 상기 경고영역은 소실점에서 각을 이루며 나오는 선들의 내측영역일 수 있다.

여기서, 상기 경고영역의 각은 상기 이미지 센서의 화각과 차량 크기에 상응하는 결정될 수 있다.

여기서, 상기 소실점은 상기 영상으로부터 인식된 소실점 기준선의 교점일 수 있다.

여기서, 상기 소실점 기준선은 일정시간 연속되거나 여러 번 반복되는 좌우의 상기 실제 차선으로부터 선택될 수 있다.

여기서, 상기 소실점은 상기 영상의 중앙을 중심으로 일정 영역 내에 위치하는 상기 소실점 기준선의 교점일 수 있다.

여기서, 상기 차선 후보군은, 상기 영상 중 상기 밝기값의 차이를 통해 산출되는 밝은 부분의 폭이 최대 차선 폭보다 짧았을 때의 밝은 부분의 영상일 수 있다.

여기서, 상기 밝기값의 차이는 상기 밝기값에 마스크를 적용하여 계산될 수 있다.

여기서, 상기 밝은 부분은 상기 밝기값의 차이가 기준치 이상일 수 있다.

여기서, 상기 밝은 부분의 폭은 상기 밝은 부분의 영상에 상응하는 픽셀을 카운트하여 산출될 수 있다.

여기서, 상기 기준치는 도로의 밝기 사정에 따라 매 프레임마다 실시간 업데이트될 수 있다.

여기서, 상기 밝기값은 상기 픽셀값을 이진화하거나 그레이-스케일 변환하여 산출될 수 있다.

여기서, 상기 점들로 이루어진 선들의 리스트는 허프 변환(hough transform)을 통해 추출될 수 있다.

본 발명은 차선의 밝기값과 차선의 폭을 이용하여 차선 후보군을 도출함으로써 연산량을 줄이는 효과가 있다.

또한, 블랙박스나 내비게이션 등이 작은 자원으로 차선을 인식하고 이탈 방지 기능을 수행할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 차선 인식 장치의 블록 구성도를 나타낸 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 제어부의 블록 구성도를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 차선 인식 장치가 차선를 인식하는 방법을 나타낸 순서도이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 소실점을 선택하는 방법을 포현하기 위한 예시도이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 경고영역을 설정하는 방법을 포현하기 위한 예시도이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 화각과 차량크기에 상응하는 경고영역의 각을 나타낸 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 차선 후보군을 추출하는 방법을 나타낸 순서도이다.
도 8a는 이미지 센서로부터 촬상된 영상을 나타내는 예시도이다.
도 8b는 본 발명의 일 실시예에 따른 차선 후보군을 도출한 영상의 예시도이다.
도 9는 영상의 실제 차선이 다른 도로보다 픽셀의 밝기값이 크다는 것을 표현한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 차선 인식 장치가 주행 차선을 추출하는 방법을 표현하기 위한 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

먼저 차선 인식 장치의 구성에 대해서 살펴본다. 도 1은 본 발명의 바람직한 일 실시예에 따른 차선 인식 장치의 블록 구성도를 나타낸 도면이다. 도 1을 참고하면, 차선 인식 장치는 영상 촬상부(110), 디스플레이부(120), 제어부(130) 및 경고부(140)를 포함한다.

영상 촬상부(110)는 차량의 전방에 설치되어 있으며 복수의 픽셀들을 포함하는 이미지 센서로부터 촬상된 영상의 픽셀들의 픽셀값을 제어부(130)에 출력한다. 영상 촬상부(110)는 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며, 60˚에서 140˚ 정도의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 획득할 수 있다.

디스플레이부(120)는 상기 영상 촬상부(110)로부터 촬영된 영상과 제어부(130)가 설정한 경고영역을 디스플레이한다.

제어부(130)는 영상 촬상부(110)로부터 받은 영상에 대한 인접하는 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 도출하고, 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 선들의 리스트를 이용하여 실제 차선을 추출한다. 제어부(130)는 실제 차선 중 소실점에서 각을 이루며 나오는 차선들 중 하나를 주행 차선으로 판단한다. 제어부(130)는 경고영역과 주행 차선을 비교하여 차선 이탈이 있는 경우 경고 신호를 경고부(140)에 전달한다.

경고부(140)는 제어부(130)로부터 경고 신호를 전달받은 경우 경고 메시지를 발생시킨다. 경고 메시지는 소리 또는 영상일 수 있다. 본 발명의 바람직한 일 실시예의 의하면 소리를 통하여 경고 메시지를 발생시키는 방법은 스피커를 통하여 경고음을 출력하는 것이 될 수 있고, 영상을 통하여 경고 메시지를 발생시키는 방법은 디스플레이부(120)를 통하여 메시지를 출력하는 것이 될 수 있다.

이하에서는, 제어부(130)에 대해 더 구체적으로 살펴본다. 도 2는 제어부의 블록 구성도이다. 도 2를 참조하면, 제어부(130)는 차선 후보군 추출부(210), 실제 차선 추출부(220), 경고영역 설정부(230), 주행 차선 추출부(240) 및 차선 이탈 판단부(250)를 포함한다.

차선 후보군 추출부(210)는 영상의 인접하는 상기 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 추출한다. 차선 후보군 추출부(210)는 밝기값의 차이의 계산으로부터 산출되는 밝은 부분의 폭(Cal Width)이 최대 차선 폭(MaX Width)보다 짧았을 때의 밝은 부분의 영상을 차선 후보군으로 판단한다.

실제 차선 추출부(220)는 점들로 이루어진 선들의 리스트를 추출한다. 실체 차선 추출부(132)는 선들의 리스트를 이용하여 실제 차선을 추출한다. 즉, 실체 차선 추출부(132)는 차선 후보군 중 차선 이외의 잡음 성분(차선 후보군으로 인식된 가드레일, 가로수 및 기타 지형물)을 제거한다.

경고영역 설정부(230)는 경고경역을 설정한다. 구체적으로, 경고영역 설정부(230)는 영상에서 일정시간 연속되거나 여러 번 반복되는 좌우의 상기 실제 차선으로부터 소실점 기준선을 선택하고, 상기 소실점 기준선의 교점을 소실점으로 선택한다. 경고영역 설정부(230)는 소실점에서 각을 이루며 나오는 선들의 내측영역을 경고영역으로 설정한다.

주행 차선 추출부(240)는 실제 차선 중에서 차량의 주행 자선을 추출한다. 구체적으로, 주행 차선 추출부(240)는 경고영역으로부터 일정범위에 있는 실제 차선을 주행 차선으로 판단한다.

차선 이탈 판단부(250)는 경고영역과 비교하여 차량이 주행 차선을 이탈하고 있는지 여부를 판단하고, 차선 이탈이 있는 경우 경고 신호를 경고부(140)에 전달한다.

이하에서는 차선 인식 장치가 차선을 인식하는 방법에 대해 도 3을 참조하여 더욱 구체적으로 살펴본다. 도 3은 본 발명의 일 실시예에 따른 차선 인식 장치가 차선를 인식하는 방법을 나타낸 순서도이다. 도 3을 참조하면, S310 단계에서, 차선 인식 장치는 이미지 센서를 통해 도로 전면의 영상을 촬상하고, 촬상된 영상의 픽셀값 중 밝기값을 추출한다. 구체적으로, 차선 인식 장치는 영상의 픽셀값을 이진화(binarization)하거나 그레이-스케일(gray-scale) 변환하여 밝기값을 추출한다. 이진화(binarization)는 모든 픽셀값을 오로지 흑과 백으로만 표현하는 것으로서, 픽셀값이 임계값보다 크면 255로, 작으면 0으로 변경시키는 것을 말한다.

S320 단계에서, 차선 인식 장치는 영상의 밝기값의 차이를 통해 차선 후보군을 추출한다. 도 7을 참조하여 S320 단계에 대하여 더욱 구체적으로 살펴본다. 도 7은 본 발명의 바람직한 일 실시예에 따른 차선 후보군을 추출하는 방법을 나타낸 순서도이다. 도 7을 참조하면, S710 단계에서, 차선 인식 장치는 거리에 따른 최대 차선 폭(MaX Width)을 산출한다. 차선 인식 장치는 차선의 폭이 각국의 도로 기준과 차량에 설치한 이미지 센서의 각에 상응하여 정해지기 때문에, 최대 차선 폭(MaX Width)을 고정값으로 산출할 수 있다.

S720 단계에서, 차선 인식 장치는 영상의 밝기값의 차이로부터 밝은 부분의 폭(Cal Width)을 산출한다. 본 발명의 바람직한 일 실시예에 의하면, 차선 인식 장치는 영상의 밝기값에 마스크를 적용하여 밝은 부분의 폭(Cal Width)을 산출할 수 있다.

예를 들어, 차선 인식 장치는 1X3(N-1, N, N+1) 행렬의 (-1.0,1)의 가중치를 가지는 마스크를 적용할 수 있다. 차선 인식 장치는 마스크의 N+1번째 픽셀의 밝기값과 N-1번째 픽셀의 밝기값을 빼주는 연산을 수행할 수 있다. 차선 인식 장치는 밝기값의 차이가 기준치 이상이면 영상이 어두운 쪽에서 밝은 쪽으로 변화(왼쪽 픽셀의 밝기<오른쪽 픽셀의 밝기)하여 영상의 밝은 부분의 시작으로 판단하고, 기준치 이하이면 밝은 쪽에서 어두운 쪽으로 변화(왼쪽 픽셀의 밝기>오른쪽 픽셀의 밝기)하여 영상의 밝은 부본의 끝으로 판단할 수 있다. 차선 인식 장치는 영상의 밝은 부분에 상응하는 픽셀을 카운트하여 영상의 밝은 부분의 폭(Cal Width)을 산출할 수 있다. 여기서, 기준치는 고정될 수 있고 도로 밝기 사정에 따라 실시간으로 매 프레임마다 최적의 값으로 업데이트될 수도 있다.

S730 단계에서, 차선 인식 장치는 최대 차선 폭(MaX Width)과 밝은 부분의 폭(Cal Width)을 비교하여 차선 후보군인지 여부를 판단한다. 차선 인식 장치는 밝은 부분의 폭(Cal Width)이 최대 차선 폭(MaX Width)보다 짧으면 차선 후보군으로 판단하고, S750 단계로 진행한다. 한편, 차선 인식 장치는 밝은 부분의 폭(Cal Width)이 최대 차선 폭(MaX Width)보다 길면 차선 후보군이 아닌 것으로 판단하고, S740 단계로 진행한다.

S740 단계에서, 차선 인식 장치는 밝은 부분의 폭(Cal Width)이 최대 차선 폭(MaX Width)보다 긴 밝은 부분의 폭(Cal Width)을 가진 영상을 제거한다. 즉, 차선 인식 장치는 밝은 부분의 폭(Cal Width)이 최대 차선 폭(MaX Width)보다 긴 밝은 부분의 폭(Cal Width)을 가진 영상의 밝기값을 0 또는 기준치 이하 값으로 조정한다.

S750 단계에서, 차선 인식 장치는 영상의 마지막 라인인지 여부를 판단한다. 차선 인식 장치는 영상의 마지막 라인이 아닌 경우 S720 단계로 진행하고, 영상의 마지막 라인인 경우 차선 후보군 추출을 종료한다.

도 8a는 이미지 센서로부터 촬상된 영상을 나타내는 예시도이고, 도 8b는 본 발명의 일 실시예에 따른 차선 후보군을 도출한 영상의 예시도이다. 도 8b에 나타난 바와 같이, 차선 인식 장치는 영상의 밝기값의 차이를 계산하여 밝은 부분의 폭(Cal Width)을 산출하고, 밝은 부분의 폭(Cal Width)을 가진 영상 중 최대 차선 폭(MaX Width)보다 짧은 영상을 영상 후보군으로 추출한다.

차선 후보군은 운전자 차량의 양 차선인 주행 차선(820)뿐만 아니라 같은 방향의 옆 차선(도 8b에서 미도시), 중앙선 및 반대방향으로 오는 차의 차선(도 8b에서 미도시)들을 포함할 수 있다. 또한, 도로 사정에 따라서는 가드레일(810)과 같은 차량 방호벽, 가로수 및 지형물들(도 8b에서 미도시)이 차선 후보군으로 인식될 수 있다.

다시 도 3을 참조하면, S330 단계에서, 차선 인식 장치는 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 상기 선들의 리스트를 이용하여 실제 차선을 추출한다. 본 발명의 바람직한 일 실시예에 의하면, 차선 인식 장치는 차선 후보군을 점-직선의 상호변환이 가능한 허프 변환(Hough Transform)하여 점들로 이루어진 선들의 리스트를 추출할 수 있다.

허프 변환(Hough Transform)은 물체의 위치에 관한 사전지식이 없이도 물체를 찾을 수 있다는 특징을 가지고 있다. 도 9는 영상의 실제 차선이 다른 도로보다 픽셀의 밝기값이 크다는 것을 표현한 예시도이다. 도 9를 참조하여, 허브 변환(Hough Transform)의 원리에 대해 살펴본다. 2차원상에서 직선을 이루는 (X,Y)의 집합은 직선의 방정식(Y=aX+b)으로 나타낼 수 있는데, 이 직선은 b = -aX+Y로 표현되는 파라미터 공간상에 나타낼 수 있다. 따라서 픽셀 공간상의 점들은 파라미터 공간상에서 직선으로 표현되고, 하나의 점에서 중첩될 수 있다. 이 경우, 수직선을 표현하려면 기울기 a가 무한대로 되기 때문에 구현상의 문제점이 있다. 이런 문제를 해결하기 위해 <수식 3>과 같이 (ρ,θ)의 파라미터 공간으로 표현할 수 있다.

<수식 3>

ρ = X cosθ + Y sinθ

여기서, θ는 [0,π]의 범위를 갖는다.

이와 같은 방법에 의해 영상의 각 픽셀에서 추출된 (ρ,θ)값은 파라미터 공간상의 누적그래프에 가산되고, 추출된 (ρ,θ)값을 역변환하여 직선을 추출한다. 이와 같이, 영상에는 수많은 직선 후보들이 존재하므로 (ρ,θ)의 쌍은 다수개가 존재한다.

그런데, 도 9에서와 같이 실제 차선은 도로에 비해 가장 밝기 때문에, 차선 인식 장치는 차선 후보군 영상의 (ρmax,θmax) 또는 일정 이상의 누적값을 가진 (ρ,θ)의 선들을 실제 차선으로 판단한다.

다시 도 3을 참조하면 S340 단계에서, 차선 인식 장치는 촬상되는 영상 중 일정시간 연속되거나 여러 번 반복되는 좌우의 실제 차선을 소실점 기준선으로 판단한다.

S350 단계에서, 차선 인식 장치는 소실점 기준선의 교점을 소실점으로 선택한다. 도 4를 참조하여 S350 단계에 대하여 더욱 구체적으로 살펴본다. 도 4는 본 발명의 바람직한 일 실시예에 따른 소실점을 선택하는 방법을 포현하기 위한 예시도이다. 도 4를 참조하면, 차선 인식 장치는 영상의 중앙을 중심으로 일정 영역(430) 내에 위치하는 소실점 기준선(410)의 교점을 소실점(420)으로 선택할 수 있다. 차선 인식 장치는 영상의 중앙을 중심으로 일정 영역(430) 내에 소실점(420)이 위치하지 않은 경우 다시 소실점 기준선(410)과 소실점(420)을 추출할 수 있다.

차선 인식 장치는 소실점(420)의 좌표(X,Y)를 계산할 수 있다. 차선 인식 장치가 소실점의 좌표(X,Y)를 구하는 공식은 <수식1>과 같다.

<수식1>

여기서, ρ1은 원점에서 직선으로 소실점 기준선 중 어느 하나에 수선을 내렸을 때 수선의 길이를 의미하고, ρ2는 소실점 기준선 중 다른 어느 하나에 수선을 내렸을 때 수선의 길이를 의미하고, θ1은 소실점을 지나는 수평선과 소실점 기준선 중 어느 하나가 1사분면에서 반시계방향으로 이루는 각을 나타내고, θ2는 소실점을 지나는 수평선과 소실점 기준선 중 다른 어느 하나가 1사분면에서 반시계방향으로 이루는 각을 나타낸다.

본 발명의 바람직한 일 실시예에 의하면, 소실점(420)의 좌표는 영상에서 소실점 기준선(410)이 변함에 상응하여 변할 수 있다.

S360 단계에서 차선 인식 장치는 경고영역을 설정한다. 도 5와 도 6을 참조하여 S360 단계에 대해서 더욱 구체적으로 살펴본다. 도 5는 본 발명의 바람직한 일 실시예에 따른 경고영역을 설정하는 방법을 표현하기 위한 예시도이고, 도 6은 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 화각과 차량크기에 상응하는 경고영역의 각을 나타낸 도면이다. 도 5와 도 6을 참조하면, 차선 인식 장치는 이미지 센서의 화각(510)과 차량 크기(520)에 상응하여 경고영역의 각을 결정한다. 예를 들어, 도 6과 같이 차선 인식 장치는 이미지 센서의 화각(510)이 140°이고, 차량크기(520)가 소형인 경우 경고영역의 왼쪽 각을 65°로, 오른쪽 각을 115°(530)로 결정한다.

그 후, 차선 인식 장치는 경고영역의 각에 따라 차량과 경고영역이 접하는 좌표(X1, 0), 좌표(X2, 0) 위치를 결정한다. 구체적으로, 차선 인식 장치가 차량과 경고영역이 접하는 좌표(X1, 0), 좌표(X2, 0)를 구하는 공식은 <수식2>와 같다.

<수식2>

차선 인식 장치는 소실점(420)의 좌표(X, Y)와 차량과 경고영역이 접하는 좌표(X1, 0), 좌표(X2, 0)를 선들의 내측 영역을 경고영역으로 설정한다.

다시 도3을 참조하면, S370 단계에서 차선 인식 장치는 경고영역으로부터 일정범위에 있는 실제 차선을 주행 차선으로 추출한다. 도 10을 참조하여 차선 인식 장치가 주행 차선을 추출하는 방법에 대해 더욱 구체적으로 살펴본다. 도 10은 본 발명의 일 실시예에 따른 차선 인식 장치가 주행 차선을 추출하는 방법을 표현하기 위한 예시도이다. 도 10을 참조하면, 차선 인식 장치는 경고영역(1010)으로부터 가장 가까운 위치에 있는 실체 차선을 주행 차선(1030)으로 추출할 수 있다.

다시 도 3을 참조하면, S380 단계에서 차선 인식 장치는 차량이 주행 차선을 이탈하였는지 여부를 판단한다. 구체적으로, 차선 인식 장치는 주행 차선이 경고영역으로부터 일정거리에 근접하는 경우 차선 이탈로 판단된다. 에를 들어, 차선 인식 장치는 주행 차선의 우측 차선이 경고영역으로부터 일정거리에 근접하는 경우 우측 차선 이탈로 판단할 수 있고, 주행 차선의 좌측 차선이 경고영역으로부터 일정거리에 근접하는 경우 좌측 차선 이탈로 판단할 수 있다.

차선 인식 장치는 차량이 주행 차선을 이탈한 것으로 판단된 경우 S390 단계로 진행하고, 차량이 주행 차선을 이탈하지 않은 것으로 판단된 경우 S320 단계로 진행한다.

S390 단계에서 차선 인식 장치는 소리 또는 영상으로 된 경고 메시지를 발생시킨다.

이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

10 : 영상 촬상부
120 : 디스플레이부
130 : 제어부
140 : 경고부

Claims

복수의 픽셀들을 포함하는 이미지 센서로부터 촬상된 영상의 상기 픽셀들의 픽셀값을 제어부에 출력하는 영상 촬상부; 및
인접하는 상기 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 도출하고, 상기 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 상기 선들의 리스트를 이용하여 복수의 실제 차선들을 추출하는 제어부;를 포함하되,
상기 제어부는 상기 복수의 실제 차선들 중 주행 차선을 선정하는 기준인 경고영역을 설정하고, 상기 실제 차선들 중 경고영역으로부터 가장 가까운 위치에 있는 실제 차선을 주행 차선으로 판단하는 것
을 특징으로 하는 차선 인식 장치.
삭제
제1항에 있어서,
상기 제어부로부터 경고 신호를 전달받은 경우 경고 메시지를 발생시키는 경고부를 더 포함하되,
상기 제어부는,
상기 경고영역과 상기 주행 차선을 비교하여 차선 이탈이 있는 경우 경고 신호를 경고부에 전달하는 것
을 특징으로 하는 차선 인식 장치.
제1항에 있어서,
상기 경고영역은 소실점에서 각을 이루며 나오는 선들의 내측영역인 것
을 특징으로 하는 차선 인식 장치.
제4항에 있어서,
상기 경고영역의 각은 상기 이미지 센서의 화각과 차량 크기에 상응하여 결정되는 것을 특징으로 하는 차선 인식 장치.
제4항에 있어서,
상기 소실점은 상기 영상으로부터 인식된 소실점 기준선의 교점인 것을 특징으로 하는 차선 인식 장치.
제6항에 있어서,
상기 소실점 기준선은 일정시간 연속되거나 여러 번 반복되는 좌우의 상기 실제 차선으로부터 선택되는 것
을 특징으로 하는 차선 인식 장치.
제6항에 있어서,
상기 소실점은 상기 영상의 중앙을 중심으로 일정 영역 내에 위치하는 상기 소실점 기준선의 교점인 것
을 특징으로 하는 차선 인식 장치.
제1항에 있어서,
상기 차선 후보군은, 상기 영상 중 상기 밝기값의 차이를 통해 산출되는 밝은 부분의 폭이 최대 차선 폭보다 짧았을 때의 밝은 부분의 영상인 것
을 특징으로 하는 차선 인식 장치.
제9항에 있어서,
상기 밝기값의 차이는 상기 밝기값에 마스크를 적용하여 계산되는 것
을 특징으로 하는 차선 인식 장치.
제9항에 있어서,
상기 밝은 부분은 상기 밝기값의 차이가 기준치 이상인 것을 특징으로 하는 차선 인식 장치.
제9항에 있어서,
상기 밝은 부분의 폭은 상기 밝은 부분의 영상에 상응하는 픽셀을 카운트하여 산출되는 것
을 특징으로 하는 차선 인식 장치.
제11항에 있어서,
상기 기준치는 도로의 밝기 사정에 따라 매 프레임마다 실시간 업데이트 되는 것을 특징으로 하는 차선 인식 장치.
제1항에 있어서,
상기 밝기값은 상기 픽셀값을 이진화하거나 그레이-스케일 변환하여 산출되는 것을 특징으로 하는 차선 인식 장치.
제1항에 있어서,
상기 점들로 이루어진 선들의 리스트는 허프 변환(hough transform)을 통해 추출되는 것을 특징으로 하는 차선 인식 장치.
제1항에 있어서,
상기 경고영역과 상기 실제 차선을 디스플레이하는 디스플레이부를 더 포함하는 것
을 특징으로 하는 차선 인식 장치.
복수의 픽셀들을 포함하는 이미지 센서를 구비한 장치가 차선을 인식하는 방법에 있어서,
상기 이미지 센서로부터 촬상된 영상의 상기 픽셀들의 픽셀값을 출력하는 제1단계;
인접하는 상기 픽셀들의 픽셀값 중 밝기값의 차이를 계산하여 차선 후보군을 도출하는 제2단계;
상기 차선 후보군 중에서 점들로 이루어진 선들의 리스트를 추출하고, 상기 선들의 리스트를 이용하여 복수의 실제 차선들을 추출하는 제3단계;
상기 복수의 실제 차선들 중 주행 차선을 선정하는 기준인 경고영역을 설정하는 제4단계; 및
상기 실제 차선들 중 경고영역으로부터 가장 가까운 위치에 있는 실제 차선을 주행 차선으로 판단하는 제5단계;를 포함하는 것
을 특징으로 하는 차선 인식 방법.
삭제
제17항에 있어서,
상기 경고영역은 소실점에서 각을 이루며 나오는 선들의 내측영역인 것
을 특징으로 하는 차선 인식 방법.
제17항에 있어서,
상기 경고영역의 각은 상기 이미지 센서의 화각과 차량 크기에 상응하여 결정되는 것을 특징으로 하는 차선 인식 방법.
제19항에 있어서,
상기 소실점은 상기 영상으로부터 인식된 소실점 기준선의 교점인 것
을 특징으로 하는 차선 인식 방법.
제21항에 있어서,
상기 소실점 기준선은 일정시간 연속되거나 여러 번 반복되는 좌우의 상기 실제 차선으로부터 선택되는 것
을 특징으로 하는 차선 인식 방법.
제17항에 있어서,
상기 차선 후보군은, 상기 영상 중 상기 밝기값의 차이를 통해 산출되는 밝은 부분의 폭이 최대 차선 폭보다 짧았을 때의 밝은 부분의 영상인 것
을 특징으로 하는 차선 인식 방법.
이미지 센서로부터 촬상된 영상을 출력하는 영상 촬상부; 및
상기 영상으로부터 소실점 기준선을 추출하여 상기 소실점 기준선에 상응하여 소실점을 선택하고, 상기 소실점에서 각을 이루며 나오는 선들의 내측영역인 경고영역을 설정한 후, 상기 경고영역과 상기 영상의 주행 차선을 비교하여 차선 이탈 여부를 판단하는 제어부;를 포함하되,
상기 주행 차선은 상기 경고영역으로부터 가장 가까운 위치에 있는 실제 차선인 것
을 특징으로 하는 차선 인식 장치.
제24항에 있어서,
상기 제어부로부터 경고 신호를 전달받은 경우 경고 메시지를 발생시키는 경고부를 더 포함하되,
상기 제어부는,
차선 이탈이 있는 경우 경고 신호를 경고부에 전달하는 것
을 특징으로 하는 차선 인식 장치.
제24항에 있어서,
상기 경고영역의 각은 상기 이미지 센서의 화각과 차량 크기에 상응하는 결정되는 것을 특징으로 하는 차선 인식 장치.
제24항에 있어서,
상기 제어부는, 상기 주행 차선의 우측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 우측 차선 이탈로 판단하는 것
을 특징으로 하는 차선 인식 장치.
제24항에 있어서,
상기 제어부는, 상기 주행 차선의 좌측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 좌측 차선 이탈로 판단하는 것
을 특징으로 하는 차선 인식 장치.
제24항에 있어서,
상기 경고영역 및 상기 주행 차선을 디스플레이하는 디스플레이부를 더 포함하는 것을 특징으로 하는 차선 인식 장치.
복수의 픽셀들을 포함하는 이미지 센서를 구비한 장치가 차선을 인식하는 방법에 있어서,
이미지 센서로부터 촬상된 영상을 출력하는 제1단계;
상기 영상으로부터 소실점 기준선을 추출하여 상기 소실점 기준선에 상응하여 소실점을 선택 제2단계;
상기 소실점에서 각을 이루며 나오는 선들의 내측영역인 경고영역을 설정하는 제3단계; 및
상기 경고 영역과 상기 영상의 주행 차선을 비교하여 차선 이탈 여부를 판단하는 제4단계;를 포함하되,
상기 주행 차선은 상기 경고영역으로부터 가장 가까운 위치에 있는 실제 차선인 것
을 특징으로 하는 차선 인식 방법.
제30항에 있어서,
차선 이탈이 있는 경우 경고 메시지를 발생시키는 제5단계를 더 포함하는 것
을 특징으로 하는 차선 인식 방법.
제30항에 있어서,
상기 제4단계는 상기 주행 차선의 우측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 우측 차선 이탈로 판단하는 것
을 특징으로 하는 차선 인식 방법.
제30항에 있어서,
상기 제4단계는 상기 주행 차선의 좌측 차선이 상기 경고영역으로부터 일정거리에 근접하는 경우 좌측 차선 이탈로 판단하는 것
을 특징으로 하는 차선 인식 방법.