KR20180022277A

KR20180022277A - 블랙박스영상 기반 차간거리 측정 시스템

Info

Publication number: KR20180022277A
Application number: KR1020160107486A
Authority: KR
Inventors: 김정태; 윤상우; 김영웅
Original assignee: 김정태; 윤상우; 김영웅
Priority date: 2016-08-24
Filing date: 2016-08-24
Publication date: 2018-03-06

Abstract

본 발명은 블랙박스영상 기반 차간거리 측정 시스템에 관한 것으로, 차량 전방을 촬영하는 블랙박스 영상 촬영부(100); 영상 촬영부에서 받은 영상에서 차선과 소실점을 검출하는 차선 및 소실점 검출부(200); 영상 촬영부에서 받은 영상에서 차량을 검출하는 차량 검출부(300); 차선 및 소실점 검출부와 차량검출부의 정보를 보정하는 검출 보정부(400); 검출 보정부에서 받은 정보로 차간거리를 측정하는 차간거리 검출부(500)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

Description

블랙박스영상 기반 차간거리 측정 시스템{System for measuring vehicle interval based blackbox}

본 발명은 단일 카메라(차량블랙박스)를 통해 획득한 영상을 이용해 영상처리 기반의 차간거리 측정시스템에 관한 것으로, 보다 상세하게는 기계학습과 소실점 보정을 통해 차량과 차선을 보다 정확하게 인식하고 이 두 가지 정보를 사용해 차간거리를 측정할 수 있는 ADAS(Advanced Driver Assistance Systems)에 관한 것이다.

전 세계적으로 ADAS(Advanced Driver Assistance Systems) 시장이 활성화 되고 있고, 기존의 ADAS시스템은 레이더나 레이다와 같은 정확도는 높지만 가격이 비싼 센서들이 사용되고 있어 보다 저렴하고 효율적인 차간거리 시스템을 개발할 필요성이 있다.

기존 ADAS 차량의 거리 간격 측정 센서는 레이져에 의존하고 있어, 정확하지만 가격이 비싸기 때움에 적정 수준의 정확도가 담보되면서 더욱 저렴한 차간 거리 측정기를 개발할 필요성이 있다.

또한, 곡선차로에서는 직선차로에 비해 거리측정 오차율이 늘어나는 문제점이 있는 데, 이를 보완하여 오차율을 최소화할 수 있는 기술 개발이 요구되었다.

특허문헌 1: 대한민국등록특허 제1268473호 특허문헌 2: 대한민국등록특허 제2012-0021445호 특허문헌 3: 대한민국공개특허 제2004-0037429호

본 발명의 목적은 전 세계적으로 ADAS(Advanced Driver Assistance Systems) 시장이 활성화 되고 있고, 기존의 ADAS시스템은 레이더나 레이다와 같은 정확도는 높지만 가격이 비싼 센서들이 사용되고 있어 보다 저렴하고 효율적인 차간거리 시스템을 개발할 필요성이 있다.

또한 본 발명의 목적은 기존 ADAS 차량의 거리 간격 측정 센서는 레이져에 의존하고 있어, 정확하지만 가격이 비싸기 때움에 적정 수준의 정확도가 담보되면서 더욱 저렴한 차간 거리 측정기를 개발할 필요성이 있다.

상기 목적을 달성하기 위해 본 발명은 차량 전방을 촬영하는 블랙박스 영상 촬영부(100); 영상 촬영부에서 받은 영상에서 차선과 소실점을 검출하는 차선 및 소실점 검출부(200); 영상 촬영부에서 받은 영상에서 차량을 검출하는 차량 검출부(300); 차선 및 소실점 검출부와 차량검출부의 정보를 보정하는 검출 보정부(400); 검출 보정부에서 받은 정보로 차간거리를 측정하는 차간거리 검출부(500)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 차선 및 소실점 검출부는 차선과 소실점을 검출하는 부분으로써 차선 검출부(201), 차선 교정부 (202), 소실점 검출부(203)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 차선 검출부는 현재 주행주인 차로의 차선을 인식하는 하는 부분으로써 어느 곳의 차선에 상관없이 영상에서 바라본 차선은 특정 기울기를 갖는 공통적인 특징에 근거해 특정 관심영역과 기울기를 사용하여 두 조건을 만족하는 결과를 현재 주행중인 차선으로 인식하여 검출하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 차선 교정부는 직선도로를 곡선도로로 변화하는 부분으로써 직선도로에 비해 오차율이 커지는 곡선도로 주행 상황에서 오차율을 감소시키는 역할을 할 수 있다. 일정 영역마다 복수개의 관심영역을 설정하고 전체 기울기의 평균에 적정한 x값으로 ±σ의 신뢰도를 벗어나는 오차값들은 곡선으로 판단하여 역투영 변환을 통해 직선으로 변환하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 소실점 검출부는 차선교정부를 통해 교정된 차선의 정보로부터 좌우 하나씩 검출된 직선의 교점을 찾아 소실점을 검출하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 차량 검출부(300)는 기계학습을 통해 차량을 검출하며, 상기 기계학습은 회선 신경망 기술(CNN: Convolutional Neural Network)을 사용하여 초기 학습에 사용된 데이터에 맞지 않는 차량(튜닝차량 및 데이터에 없는 차종)과 외부환경(광원 및 날씨)에 대해서도 정확한 차량과 위치를 측정하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 검출 보정부(400)는 카메라의 위치변동 또는 운행 중 상하좌우로 시야가 변할 때 검출오차를 줄이기 위한 부분으로써 소실점 보정부(401), 차량위치 보정부(402)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 소실점 보정부는 운행 중 실시간으로 측정되는 소실점과 미리 정해놓은 기준소실점을 사용해서 기준소실점 대비 측정된 소실점의 틀어진 각도를 삼각함수를 이용해 구한 뒤에 구한 각도만큼 전체영상을 이동시키는 것을 특징으로 하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 상기 차량위치 보정부는 상기 소실점 보정부를 통해 기준소실점에 맞춰 이동된 영상에서 차량위치가 이동되어 새로운 차량위치를 업데이트 하여 보정된 차량 위치를 검출하는 것을 특징으로 하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

또한 본 발명에 의하면, 차간거리 검출부는 검출보정부를 통해 보정된 영상정보에서 기준선(차량의 보닛)으로부터 기계학습을 통해 검출한 차량까지(하단 바퀴 부분)의 픽셀 값을 시스템에 미리 입력시킨 픽셀당 거리 데이터와 비교하여 차간거리를 측정하는 블랙박스영상 기반 차간거리 측정 시스템을 제공한다.

본 발명에 따른 블랙박스영상 기반 차간거리 측정 시스템에 의하면, 영상 촬영부에서 촬영한 차량 전방의 영상에 기반하여, 차선의 소실점 및 전방 차량과의 차간거리를 보다 정확하게 측정할 수 있다.

일 실시예에 따른 블랙박스영상 기반 차간거리 측정 시스템에 의하면, 삼각함수(trigonometric function)를 이용하여 실시간으로 측정되는 소실점의 위치를 미리 설정해둔 기준소실점의 위치로 보정함으로써 전체 영상이 보정됨에 따라 차선 및 차량의 위치를 보정됨으로써 보다 간편하고 정확하게 차간 거리를 측정할 수 있다.

본 발명에 따른 블랙박스영상 기반 차간거리 측정 시스템에 의하면, 경우에 따라서 차선의 소실점 또는 전방 차량을 검출하기 위한 관심 영역을 조정함으로써 소실점 및 차간 거리에 대한 오차율을 최소화할 수 있다.

본 발명에 따른 블랙박스영상 기반 차간거리 측정 시스템에 의하면, 곡선차로에서 직선차로에 비해 거리측정 오차율이 늘어나는 문제점을 보완하기 위해 곡선차로를 직선차로로 변환하여 거리를 측정함으로써 오차율을 최소화한다.

본 발명에 따른 블랙박스영상 기반 차간거리 측정 시스템에 의하면, 별도의 캘리브레이션(calibration)을 위한 조작 없이 용이하게 오토 캘리브레이션(autocalibration)을 구현할 수 있다.

도 1은 영상처리기반 차간거리 측정 시스템을 나타내는 도면이다.
도 2는 차선을 검출하고 검출된 차선을 이용해서 소실점을 검출하는 모습을 도시한다.
도 3은 영상에서 차량을 검출하고 픽셀을 이용해서 거리를 측정하는 모습을 도시한다.
도 4는 곡선차로를 직선차로로 변환하여 거리를 측정하는 모습을 도시한다.
도 5는 차량 검출시 차량의 특징점을 이용하는 기계학습에 대한 도면이다.
도 6은 차량 거리 측정시 변하지 않는 기준선(차량의 보닛)을 정하기 위해 설정한 관심영역을 보여주는 도면이다.

이하, 본 발명에 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명하기로 한다.

우선, 도면들 중, 동일한 구성요소 또는 부품들은 가능한 동일한 참조부호로 나타내고 있음에 유의하여야 한다. 본 발명을 설명함에 있어, 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않기 위하여 생략한다.

본 명세서에서 사용되는 정도의 용어 " 약 ", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적이니 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.

도 1은 일 실시예에 따른 영상 처리 기반 자동 주행 시스템을 도시하고, 도 2는 차선 인식을 통한 소실점이 검출되는 모습을 도시하고, 도 3은 기계학습에 통해 차량을 검출한 모습을 도시하고, 도 4는 곡선차로를 직선차로로 변환하는 모습을 도시한다.

도 1을 참조하여, 일 실시예에 따른 블랙박스영상 기반 차간거리 측정 시스템(10)은 블랙박스 영상 촬영부(100), 차선 및 소실점 검출부(200), 차량 검출부(300), 검출 보정부(400), 차간거리 검출부(500)를 포함하며, 차선 및 소실점 검출부(200)는 차선 검출부(201), 차선 교정부(202), 소실점 검출부(203) 3개를 포함하며, 검출 보정부(400)은 소실점 보정부(401), 차량위치 보정부(402) 2개를 포함한다.

상기 블랙박스 영상 촬영부(100)는 차량의 전방을 촬영하기 위한 것으로서, 본 발명에서는 블랙박스 카메라를 말하는 데, 전방을 주시하는 블랙박스 카메라로부터 차간 거리에 필요한 주행영상을 촬영한다.

이하에서는 영상 처리를 통한 소실점 또는 차간 거리 검출에 대하여 설명된다.

상기 차선 검출부(201)는 영상 촬영부(100)에 수신된 영상으로부터 차선을 검출할 수 있고, 상기 소실점 검출부(203)는 차선 검출부(201)와 차선 교정부(202)에서 검출 후 교정된 차선으로부터 차선의 소실점을 검출할 수 있다.

특히, 도 2를 참조하여, 차선 교정부(300)에서는 예를 들어 역 투영 변환(inverse perspective transformation)에 의해 영상 촬영부(100)에서 수신된 영상이 3D 좌표에서 2D 좌표로 변환될 수 있다.

구체적으로, 역 투영 변환(inverse perspective transformation) 은 영상 촬영부(100)에서 수신된 영상에서 사다리꼴처럼 보이는 차선의 모서리 부분의 지표를 이용하여 호모그래피(homography)를 유도할 수 있다.

상기 호모그래피는 homogeneous 좌표계에서 정의되며, 그 일반식은 다음과 같다.

이때, c는 0이 아닌 상수이고, (u, v, 1)T는 x'를 나타내며, (x, y, 1)T는 x를 나타낸다.

그리고,

이다.

H와 관련하여, h1, h2, h4, h5의 인자는 회전/스케일(scale) 인자이고, h3, h6 인자는　평행 이동 인자이며, h7, h8 인자는　원근 인자이다.

따라서 차선 교정부(203)에서는 호모그래피 일반식의 H에 대한 매트릭스에서 회전/스케일 인자, 평행 이동 인자 및 원근 인자를 변형함으로써, 사다리꼴처럼 보이는 직선 차선 또는 굽은 차선을 일직선으로 변환할 수 있다.

이와 같이 영상 촬영부(100)에 수신된 영상은 차선 교정부(300)에서 역투영 변환에 의해 3D 좌표에서 2D 좌표로 변환된 후, 허프 변환(Hough Transform)에 의해 차선의 직선 성분이 추출될 수 있다.

상기 허프 변환은 차선의 직선 검출을 위해 영상에서 엣지를 추출한 후에, 엣지가 되는 무수히 많은 점들을 검출함으로써, 미리 입력된 r(기준점으로부터 엣지까지의 수직 거리) 및 theta(수평축과 r의 연장선 사이의 각도)의 조건을 만족하는 점들의 개수가 임계값(threshold)에 다다르게 될 경우 차선의 직선을 검출한다.

그러나 차선 검출부(201)과 차선 교정부(202)에서 차선을 검출하는 방식은 전술된 방법에 국한되지 아니하며, 차선을 보다 정확하게 검출할 수 있다면 어느 것이든지 가능하다.

또한, 도 3을 참조하면 상기 소실점 검출부(203)에서는 차선 검출부(201)와 차선 교정부(202) 를 통해 검출된 차선으로부터 차선의 소실점이 검출될 수 있다.

상기 차선의 소실점은 선과 선이 만나는 점으로서, 예를 들어 차선을 구성을 두 개의 라인이 멀리 만나는 점이 될 수 있다.

이때, 소실점 검출부(203)에서 검출된 소실점은 영상 촬영부(100)의 위치 또는 각도가 반영된 현재의 소실점으로서, 외부 조건에 의해 부정확한 소실점이 검출될 수 있다. 예를 들어, 외부 조건은 차선 간격을 포함할 수 있다.

따라서, 보다 정확한 소실점 검출을 위해서 소실점 검출부(203)에서 검출된 차선의 소실점은 검출 보정부(400)에 속해있는 소실점 보정부(401)로 전달될 수 있다.

이때, 소실점 검출부(203)에서 차선의 소실점이 차량의 주행에 따라서 실시간으로 검출됨과 동시에 소실점 보정부(401)에서 차선의 소실점이 실시간으로 보정될 수 있다.

이를 위해 소실점 보정부(401)에는 영상 수신부 상의 소실점, 즉 기준이 되는 소실점이 미리 입력될 수 있다.

이에 의해 상기 소실점 보정부(401)에서는 미리 입력된 기준소실점에 소실점 검출부(203)에서 검출된 차선의 소실점을 일치시킴으로써 소실점을 보정할 수 있다.

구체적으로, 미리 입력된 영상 수신부 상의 소실점은 영상 촬영부(100)의 중앙이 될 수 있으며, 소실점 보정부(401)는 소실점 검출부(203)에서 검출된 차선의 소실점을 영상 촬영부(100)의 중앙으로 이동시킬 수 있다.

소실점 보정은 미리 입력된 기준소실점과 소실점 검출부(203)에서 검출된 차선의 소실점 사이의 수평각 차이는 다음과 같은 수식에 의해 결정될 수 있다.

이때, θ1은 미리 입력된 영상 수신부(200) 상의 소실점과 소실점 검출부(400)에서 검출된 차선의 소실점 사이의 수평각 차이이고, w는 영상 수신부(200)의 폭이며, f는 영상 촬영부(100)의 초점 길이이다. 그리고 x는 소실점 검출부(400)에서 검출된 차선의 소실점의 x축 좌표값이다.

따라서, 상기 수식에 의해 결정된 수평각 차이만큼 소실점 검출부(400)에서 검출된 차선의 소실점을 x축으로 이동시킴으로써 미리 입력된 영상 수신부(200) 상의 소실점과 일치될 수 있다.

또한, 미리 입력된 기준소실점과 소실점 검출부(203)에서 검출된 차선의 소실점 사이의 수직각 차이는 다음과 같은 수식에 의해 결정될 수 있다.

이때, θ2는 미리 입력된 기준소실점과 소실점 검출부(400)에서 검출된 차선의 소실점 사이의 수직각 차이이고, H는 영상 수신부(200)의 높이이며, f는 영상 촬영부(100)의 초점 길이이다. 그리고 y는 소실점 검출부(400)에서 검출된 차선의 소실점의 y축 좌표값이다.

따라서, 상기 수식에 의해 결정된 수직각 차이만큼 소실점 검출부(203)에서 검출된 차선의 소실점을 y축으로 이동시킴으로써 미리 입력된 기준소실점과 일치될 수 있다.

전술된 바와 같이 소실점 보정부(401)에는 두 개의 수식이 코드화되어 있어, 소실점 검출부(203)에서 검출된 차선의 소실점을 실시간으로 용이하게 보정할 수 있으며, 이러한 소실점의 보정에 의해 영상 촬영부(100)에 수신된 차량 전방의 영상이 보정될 수 있다.

다시 말해서, 소실점은 영상 보정을 위한 기준점이 되는 것이며, 소실점의 보정에 의해 영상 촬영부(100)에 수신된 영상 내에 포함된 이미지들이 동일한 방식으로 이동한다.

한편, 일 실시예에 따른 블랙박스영상 기반 차간거리 측정 시스템(10)은 소실점을 보다 정확하게 측정하기 위해서, 영상 촬영부(100)에 수신된 영상에 설정된 관심영역을 조정할 수 있다.

상기 관심 영역은 소실점 검출을 위한 것으로서, 도 4에서 볼 수 있는 바와 같이 관심 영역은 A로 나타내진 점선 안의 영역이 될 수 있다.

이때, 상기 소실점 검출을 위한 관심 영역의 크기는 영상 수신부에 수신된 영상에 기초하여 조정될 수 있다. 다시 말해서 소실점 검출을 위한 관심 영역의 크기는 영상 수신부에 수신된 영상에 기초하여 증가하거나 감소할 수 있다.

예를 들어, 영상 촬영부(100)에 수신된 영상으로부터 차선의 기울기가 검출되고, 차선의 기울기에 기초하여 관심 영역의 크기가 조절될 수 있다.

구체적으로, 영상 촬영부(100)에 수신된 영상으로부터 차선의 기울기가 0인 직선 차선의 경우 소실점 검출을 위한 관심 영역의 크기를 크게 하고, 영상 촬영부(100)에 수신된 영상으로부터 차선의 기울기가 0보다 큰 굽은 차선의 경우 소실점 검출을 위한 관심 영역의 크기를 작게 할 수 있다.

이에 의해 고속도로 또는 구불구불한(curve) 도로와 같이 주행 도로의 상황에 맞도록 관심 영역이 자동적으로 조정되어 보다 정확하게 소실점을 검출할 수 있다.

이러한 관심 영역의 조정은 소실점 검출은 차량의 자동 주행과 관련하여 중요한 사항이고, 관심 영역에 따라서 소실점 검출이 다르게 될 수 있다는 점에서 의미가 있다.

또한, 관심 영역은 소실점 검출의 사전 작업인 차선 검출을 보다 정확하게 하기 위하여 조정될 수 있다.

예를 들어, 영상 촬영부(100)에 수신된 영상으로부터 차선의 엣지(edge)가 검출되고, 차선의 엣지 상에 관심 영역이 설정되게 할 수 있다.

구체적으로, 영상 촬영부(100)에 수신된 영상으로부터 차선의 엣지가 복수개 검출되고, 차선의 엣지 상에 각각의 관심 영역이 설정되게 할 수 있다.

이에 의해 영상 촬영부(100)에 수신된 영상이 복수 개의 구획으로 분할될 수 있으며, 차선의 엣지가 차선 검출부(201)에서 개별적으로 직선화되고, 소실점 검출부(203)에서는 각각의 직선화된 차선으로부터 소실점을 검출하므로, 보다 정확한 소실점을 검출할 수 있다.

한편, 도 5를 참조하여, 차량 검출부(300)는 영상 촬영부(100)에 수신된 영상으로부터 차량 전방에 위치된 차량을 검출할 수 있다.

예를 들어, 차량 검출부(300)에서는 회선 신경망 기술(CNN; Convolutional Neural Network)을 이용하여 전방 차량을 검출할 수 있다.

상기 회선 신경망 기술은 기본적으로 검출하고자 하는 물체(차량)의 이미지를 추상화 시킨 다음 그 추상화된 이미지에서 가장 중요한 정보만을 남기도록 압축시키고 압축시킨 이미지를 다시 추상화시킨 뒤 압축시키는 과정을 반복해서 각각 압축된 이미지층에 누적된 정보들을 종합해 차량인지 아닌지 분류하는 기술이다.

따라서 차량 검출부(300)에는 복수 개의 차량에 대한 정보가 미리 입력될 수 있으며, 예를 들어 복수 개의 차량에 대한 정보는 복수 개의 차종에 대한 복수 개의 특징들을 포함할 수 있다

이와 같이 입력된 복수 개의 차량에 대한 정보와 영상 촬영부(100)에 수신된 영상의 매칭에 의해 차량이 검출될 수 있다.

또한, 차량 검출부(300)에 의한 차량의 검출은 상기 차선 검출부(201)에 의한 차선 검출 및 소실점 검출부(203)에 의한 소실점의 검출과 동시적으로 및 개별적으로 수행될 수 있다. 다시 말해서 영상 촬영부(100)에 수신된 영상으로부터 차선, 소실점 및 차량에 대한 정보가 동시적으로 획득될 수 있다.

전술된 바와 같이 차량 검출부(300)에서 검출된 차량에 대한 정보, 특히 차량의 위치 정보는 차량 위치 보정부(402)에 의해 보정될 수 있다.

상기 차량 위치 보정부(402)는 소실점 보정부(401)에서 소실점의 보정과 함께 수행될 수 있으며, 소실점의 보정에 의해 차량 검출부(300)에서 검출된 차량의 위치를 이동시킬 수 있다. 따라서 영상 촬영부(100)에 수신된 영상에서 소실점이 보정되면서 차량의 위치 또한 함께 보정될 수 있으며, 최종적으로 영상 촬영부(100)에는 소실점 보정부(401) 및 차량 위치 보정부(402)에 의해 보정된 영상이 표시될 수 있다.

전술된 같이 차량 위치 보정부(402)에서 수행된 차량의 위치 보정이 된 후에 차간 거리 산출부(500)에서 전방 차량과의 차간 거리가 산출될 수 있다.

이때, 차간 거리 산출부(500)는 차간 거리에 따른 영상의 픽셀 수를 활용할 수 있다. (도 6 참조)

예를 들어, 차간 거리 산출부(500)에는 기준 차간 거리에 따른 영상의 픽셀수가 미리 입력될 수 있고, 소실점 보정부(401) 및 차량 위치 보정부(402)에 의해 보정된 영상의 픽셀 수를 연산하여 차간 거리를 산출할 수 있다.

구체적으로, 실제 도로에서 측정한 거리 데이터를 이용하여 기준이 되는 거리마다 영상에서의 픽셀 수를 미리 입력할 수 있다. 예를들면, 상기 기준 차간 거리가 1km인 경우 영상의 픽셀 수가 100 pixel로 미리 입력된 경우, 소실점 보정부(401) 및 차량 위치 보정부(402)에 의해 보정된 영상에서 전방 차량의 픽셀 수가 100 pixel이라면 전방 차량과의 차간 거리가 1km라는 것을 역으로 도출할 수 있다.

또는, 차간 거리 산출부(500)에는 기준 차간 거리에 따른 영상의 픽셀 수가 미리 입력되고, 비례관계에 의해 차간 거리가 도출될 수 있음은 당연하다. 상기 기준 차간 거리가 1km인 경우 영상의 픽셀 수가 100 pixel로 미리 입력된 경우, 소실점 보정부(401) 및 차량 위치 보정부(402)에 의해 보정된 영상에서 전방 차량의 픽셀 수가 50 pixel이라면 전방 차량과의 차간 거리가 2km라는 것을 도출할 수 있다.

이와 같이 차간 거리 산출부(500)에서 차간 거리가 산출된 후에, 도 3에 도시된 바와 같이 영상 촬영부(100)에 수신된 영상에서 전방 차량의 아래 차간 거리가 표시될 수 있다. 이에 의해 차량의 운전자가 전방 차량과의 차간 거리를 용이하게 확인할 수 있다.

게다가, 차간 거리를 산출하기 전에 소실점 및 차량의 위치의 보정을 함으로써, 카메라와 같은 영상 촬영부(100)가 흔들렸을 경우에도 정확하게 차간 거리를 산출할 수 있다.

전술된 바와 같이 일 실시예에 따른 영상 처리 기반 자동 주행 시스템은 영상 촬영부에서 촬영된 차량 전방의 영상에 기반하여, 차선의 소실점 및 전방 차량과의 차간 거리를 용이하게 측정할 수 있으며, 특히 삼각함수(trigonometric function)를 이용하여 소실점 및 차량의 위치를 실시간으로 보정함으로써 차간 거리를 보다 정확하게 측정할 수 있다. 또한, 별도의 카메라 캘리브레이션(calibration) 없이 용이하게 주행과 동시에 이루어지는 오토 캘리브레이션(auto calibration)을 구현할 수 있으며, 블랙박스 카메라와 같은 자동차에 구비된 영상촬영부에서 촬영된 영상을 처리함으로써 저렴한 비용으로 자동차 주행 시 다양한 정보를 획득할 수 있다.

이상과 같이 본 발명의 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할것이다.

10 : 블랙박스영상 기반 차간거리측정 시스템
100 : 영상촬영부
200 : 차선 및 소실점 검출부
201 : 차선 검출부
202 : 차선 교정부
203 : 소실점 검출부
300 : 차량 검출부
400 : 검출 보정부
401 : 소실점 보정부
402 : 차량위치 보정부
500 : 차간거리 검출부

Claims

차량 전방을 촬영하는 블랙박스 영상 촬영부(100);
영상 촬영부에서 받은 영상에서 차선과 소실점을 검출하는 차선 및 소실점 검출부(200);
영상 촬영부에서 받은 영상에서 차량을 검출하는 차량 검출부(300);
차선 및 소실점 검출부와 차량검출부의 정보를 보정하는 검출 보정부(400);
검출 보정부에서 받은 정보로 차간거리를 측정하는 차간거리 검출부(500)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템.
제1항에 있어서,
상기 차선 및 소실점 검출부(200)는 차선과 소실점을 검출하는 부분으로써 차선 검출부(201), 차선 교정부 (202), 소실점 검출부(203)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템.
제2항에 있어서,
상기 차선 검출부는 현재 주행주인 차로의 차선을 인식하는 하는 부분으로써 어느 곳의 차선에 상관없이 영상에서 바라본 차선은 특정 기울기를 갖는 공통적인 특징에 근거해 특정 관심영역과 기울기를 사용하여 두 조건을 만족하는 결과를 현재 주행중인 차선으로 인식하여 검출하는 블랙박스영상 기반 차간거리 측정 시스템.
제2항에 있어서,
상기 차선 교정부는 직선도로를 곡선도로로 변화하는 부분으로써 직선도로에 비해 오차율이 커지는 곡선도로 주행 상황에서 오차율을 감소시키는 역할을 할 수 있다. 일정 영역마다 복수개의 관심영역을 설정하고 전체 기울기의 평균에 적정한 x값으로 ±σ의 신뢰도를 벗어나는 오차값들은 곡선으로 판단하여 역투영 변환을 통해 직선으로 변환하는 블랙박스영상 기반 차간거리 측정 시스템.
제2항에 있어서,
상기 소실점 검출부는 차선교정부를 통해 교정된 차선의 정보로부터 좌우 하나씩 검출된 직선의 교점을 찾아 소실점을 검출하는 블랙박스영상 기반 차간거리 측정 시스템.
제1항에 있어서,
상기 차량 검출부(300)는 기계학습을 통해 차량을 검출하며, 상기 기계학습은 회선 신경망 기술(CNN: Convolutional Neural Network)을 사용하여 초기 학습에 사용된 데이터에 맞지 않는 차량(튜닝차량 및 데이터에 없는 차종)과 외부환경(광원 및 날씨)에 대해서도 정확한 차량과 위치를 측정하는 블랙박스영상 기반 차간거리 측정 시스템.
제1항에 있어서,
상기 검출 보정부(400)는 카메라의 위치변동 또는 운행 중 상하좌우로 시야가 변할 때 검출오차를 줄이기 위한 부분으로써 소실점 보정부(401), 차량위치 보정부(402)를 포함하는 블랙박스영상 기반 차간거리 측정 시스템.
제7항에 있어서,
상기 소실점 보정부는 운행 중 실시간으로 측정되는 소실점과 미리 정해놓은 기준소실점을 사용해서 기준소실점 대비 측정된 소실점의 틀어진 각도를 삼각함수를 이용해 구한 뒤에 구한 각도만큼 전체영상을 이동시키는 것을 특징으로 하는 블랙박스영상 기반 차간거리 측정 시스템.
제8항에 있어서,
상기 차량위치 보정부는 상기 소실점 보정부를 통해 기준소실점에 맞춰 이동된 영상에서 차량위치가 이동되어 새로운 차량위치를 업데이트 하여 보정된 차량 위치를 검출하는 것을 특징으로 하는 블랙박스영상 기반 차간거리 측정 시스템.
제1항에 있어서,
상기 차간거리 검출부는 검출보정부를 통해 보정된 영상정보에서 기준선(차량의 보닛)으로부터 기계학습을 통해 검출한 차량까지(하단 바퀴 부분)의 픽셀 값을 시스템에 미리 입력시킨 픽셀당 거리 데이터와 비교하여 차간거리를 측정하는 블랙박스영상 기반 차간거리 측정 시스템.