KR101500016B1 - 차선 이탈 경보 방법 - Google Patents

Abstract

본 발명은 운전자의 상태 및 차량 주변 환경을 판단하여 LDWS(Lane Departure Warning System)의 불필요한 오경보를 억제하여 상품성을 향상시키는 기술이다. 또한, 운전자 부주의 시에는 조기 경보를 하여 순간적인 졸음 또는 부주의 상황에서도 신속하게 대응할 수 있도록 하는 기술이다.

Description

차선 이탈 경보 방법{Lane Departure Warning System}

본 발명은 차선 이탈 경보 방법에 관한 것으로서, 보다 상세하게는, 운전자 상태 및 차량 주변 환경을 반영한 차선 이탈 경보 방법에 관한 것이다.

ASV(Advanced Safety Vehicle)는 차량의 안전도 향상을 위해서 첨단 전자기술과 제어 기술을 적용하는 첨단 차량으로, 교통사고를 감소시켜 교통량을 증가시키고 에너지를 절약하며 운전자의 편의를 도모하게 된다.

ASV의 하나로써 차선 이탈 경보 방법(LDWS : Lane Departure Warning System)은 차량에 내장된 카메라로부터 전방도로 영상을 감지하여 현재 달리고 있는 차선을 파악한 후, 만약 운전자가 부주의나 졸음운전 등으로 차선을 이탈하려고하면 경보음이 울리도록 하여 운전자가 주의력을 되찾게 도와주는 안전 장치이다.

종래 LDWS의 구성은 전후방주행 영상을 입력받는 영상센서부와, 차선인식을 위해 영상처리를 수행하는 영상처리부와, 인식된 차선을 기반으로 차량의 이탈여부를 판단하는 이탈판단부와, 차량 인터페이스(Interface) 신호를 입력받는 인터페이스입력부와, 차선이탈 경보 및 상황을 나타내는 인터페이스출력부로 구성된다.

이때, 차량 인터페이스는 차선 폭, 차선의 곡률반경, 차선 횡단시간 등의 다 양한 변수로 구성된다. 여기서, 상기 영상센서부는 전후방 중앙에 설치된 단일 카메라를 이용하여 도로상의 차선을 인식하고, 인식한 차선 중심과 카메라 광학축 사이의 차이 정도를 파악하여 차선이탈 경보가 발생한다.

그러나, 종래의 LDWS는 차선을 밟거나 차선 이탈 가능성이 있는 경우에 경보음을 울리도록 되어 있어, 정상 주행 및 차량 주변에 위험이 없는 상황에서도 경보음이 울리는 경우가 잦아 품질이 저하되는 문제가 있다.

또한, 종래의 LDWS는 턴시그날 작동 시 차선 이탈하는 경우에는 차선변경 상황으로 판단하여 LDWS 경보음을 울리지 않는다. 그러나, 운전자들이 턴시그날 작동을 하지 않고 차선변경하는 경우에 불필요한 LDWS 경보가 많이 발생하는 문제가 있다.

그리고, 종래의 LDWS는 운전자의 상태가 반영되지 않아서 실제 운전자가 졸음 또는 부주의인 경우에 차선 이탈 경보를 하더라도 운전자가 사고에 대응할 수 있는 시간이 부족한 문제가 있다.

본 발명의 목적은 LDWS에 운전자 상태 및 차량 주변 환경을 반영하여 불필요한 오경보를 억제하고, 필요시 조기 경보를 하여 상품성을 향상시키는 기술을 제공하는 것이다.

본 발명에 따른 차선 이탈 경보 방법은 차량 내장 카메라를 통해 영상을 입력하는 단계와, 상기 입력된 영상을 캡처한 후 저장하는 단계와, 차선을 인식하는 단계와, 상기 차선 이탈 여부를 판정하는 단계와, 차선 이탈이 판정되면, 운전자 상태 및 차량 주변 상태를 파악하는 단계와, 상기 운전자 상태 및 차량 주변 상태를 통해 경보 조건을 판단하는 단계와, 상기 경보 조건에 따라 차선 이탈 여부를 판정하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 운전자 상태는 운전자의 얼굴 방향각에 따라 부주의 또는 졸음 여부를 판단하여 차선 이탈을 조기에 경보한다. 운전자의 얼굴 방향각은 얼굴 윤곽선, 눈, 코 및 모션정보 등을 기준으로 인식하고, 상기 얼굴 방향각이 일정각도 이상이면 부주의로 판단하며, 눈 개도값이 일정값 이하이면 폐안으로 인식하고, 폐안이 일정시간 이상 지속되면 졸음으로 판단한다. 얼굴 방향각은 안경 착용여부에 따라 구분되며, 안경 착용시에는 얼굴 좌/우 윤곽선과 양 눈 및 코의 중심점을 이용하고, 안경 미착용시에는 눈 및 코를 기준으로 인식하며, 눈 및 코의 검출 불가시에는 얼굴의 특징점의 모션 정보를 가지고 인식한다.

그리고, 상기 차량 주변 상태는 인접 차량이 차선을 침범하는 경우, 주행도로면에 장애물이 존재하는 경우 또는 후측방에 접근 차량이 있는 경우로 판단한다.

그리고, 상기 운전자 상태는 사이드 미러 주시 각도 및 시간으로 차선 변경 의지를 판단하며, 상기 운전자 상태는 운전자의 얼굴 방향각에 따라 정면 주시 상태를 판단하고, 눈 개안 상태에 따라 정상 주행 상태를 판정하여, 차선 이탈 경보를 지연한다.

이상에서 본 바와 같이 본 발명에 따른 차선이탈 경보 방법은 다음과 같은 효과를 제공한다.

첫째, 운전자 상태 및 차량 주변 상태를 반영하여 불필요한 오경보 억제로 상품성을 향상시키는 효과가 있다.

둘째, 운전자 부주의시 조기 경보를 하여 운전자가 사고에 대응할 수 있는 충분한 시간을 제공하는 효과가 있다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1은 본 발명에 따른 차선 이탈 경보 방법(Lane Departure Warning System: 이하, LDWS라고 한다.)에 관한 흐름도이다.

도 1을 참조하면, 먼저 차량에 내장된 카메라에 의해 영상이 입력(S100)된다. 다음에, 입력된 영상을 캡처한 후 이를 저장하여 영상을 처리(S105)한다.

다음에, 처리된 영상에서 차선을 인식(S110)한다. 여기서, 차선 인식은 황색 강조 및 회색의 영상을 변환시킨다. 그리고, 변환된 영상에서 대상물과 배경의 경계가 명확해지도록 하는 차선 강조 필터링을 한다. 그리고, 노이즈(Noise) 및 플로우(Flow)를 체크한다. 그 후 차선을 인식한다.

그 다음, 차선 이탈 여부를 판정(S115)한다. 여기서, 차선 이탈 판정은 범위를 셋팅하고, 도착지를 체크한다. 그리고, 버드 뷰(Bird view)를 변환하고, 차량 중심 옵셋, 도로폭 및 차량 진행 각도 등을 계산한다.

그 다음, 운전자 상태 및 차량 주변 환경을 파악(S120)하여 경보 조건을 판단(S125)한다.

이때, 운전자 상태는 운전자의 부주의와 졸음 여부 판단, 정상 상태 판단 및 차선 변경 의지 판단으로 구분할 수 있다.

그리고, 차량 주변 환경은 전방 상황 판단 및 후측방 상황 판단으로 구분할 수 있다.

또한, 경보 조건은 조기 경보, 경보 지연 및 경보 억제로 구분할 수 있다.

첫번째로, 운전자가 졸음 또는 부주의 시 LDWS 조기 경보를 한다. 이때, 운전자 상태를 내장된 카메라 기반에 반영하여 운전자 얼굴의 방향 각도를 측정하여 졸음 또는 부주의를 판단한다.

상기 운전자 얼굴의 방향 각도의 인식은 눈, 코 및 모션정보 등를 기준으로 측정하도록 한다. 그러나, 안경 착용자와 같이 눈 검출이 불가한 경우에는 얼굴 좌/우 윤곽선과 양 눈 및 코의 중심점을 이용하고, 안경 미착용시에는 눈 및 코를 기준으로 인식하며, 눈 및 코의 검출 불가시에는 얼굴의 특징점의 모션 정보를 가지 고 인식한다.

그리고, 운전자가 비정면을 향하고 있거나, 광환경이 변화되는 경우와 같이 눈 및 코의 검출이 불가한 경우에는 모션 기반으로 얼굴 방향각을 인식하도록 한다. 상기 얼굴 방향각에 대하여 도 2a 및 도 2b를 참조하여 설명하면 다음과 같다.

도 2a는 차량 내부의 특정 포인트를 나타낸 도면이고, 도 2b는 차량 내 특정 포인트 주시에 대한 얼굴 방향각을 도시한 그래프로서, 'A'영역이 정면 주행 시 운전자가 주시하는 정면 영역이며, 운전자가 사이드 미러를 포함한 각각의 포인트 주시시에 얼굴 방향각을 나타낸다.

이때, 상기 도 2b에서 알 수 있듯이 차량 내 주요 포인트 주시에 대한 얼굴 방향각이 정면을 기준으로 수평 일정각도 이상이면 비정면 영역으로 판단하여 부주의로 판단할 수 있다. 바람직하게는 얼굴 방향각이 정면을 기준으로 수평 ±15 ~ ±30°이상이고, 수직 ±15°이상이면 비정면 영역으로 판단한다. 또한, 눈 개도 값이 일정 값 이하이면 폐안으로 인식하고, 폐안이 일정시간 이상 지속되면 졸음으로 판단할 수 있다.

상기 얼굴 방향각은 안경 착용여부에 따라 구분되며, 안경 착용시에는 얼굴 좌/우 윤곽선과 양 눈 및 코의 중심점을 이용하고, 안경 미착용시에는 눈 및 코를 기준으로 인식하며, 눈 및 코의 검출 불가시에는 얼굴의 특징점의 모션 정보를 가지고 인식하는 것을 특징으로 하는 차선이탈 경보 방법.

여기서, 얼굴의 방향 각도에 따라 경보 후 브레이크 제어시까지 걸리는 반응 시간이 다르므로, 방향각에 따라 경보 판정시간을 다르게 반영하도록 한다. 이때, 정상 주행 시 글랜스 타임(Glance time)은 1.2초 이내가 대부분이므로, 경보 판정 시간은 1.2초 이상으로 하는 것이 바람직하다.

종래에는 차량 거동을 이용하여 졸음 또는 부주의를 판단하는 경우에는 순간적인 졸음 또는 부주의에는 대응할 수 없었다.

그러나, 본 발명에서와 같이 운전자 상태를 감시하면 순간적인 졸음 또는 부주의 상황에서도 즉각적인 감지가 가능하여 조기 경보의 활용 효과가 높아진다.

두번째로, 운전자의 얼굴 방향각에 따라 정면 주시 상태를 판단하고, 눈 개안 상태에 따라 정상 주행 상태를 판정하여, 차선 이탈 경보를 지연한다. 정상 상태는 운전자 상태 및 전방 주행 상황을 반영하여 위험성이 없는 정상 주행을 말한다. 이와 같은 정상 상태 시에는 경보를 지연하여 LDWS의 오경보 횟수를 감소시킬 수 있다. 또한, 운전자 정면 주시 상태에서 차량 주변 환경에 의해 차선을 밟는 상황 발생 시 경보를 지연한다.

예컨대, 인접 차선의 차량이 차선을 밟거나 침범하는 우려가 있고, 후측방 차량이 존재하지 않는 경우에는 경보를 지연한다.

또한, 전방 도로면에 주차된 차량(오토바이, 자전거 등)이 존재하고, 후측방 차량이 존재하지 않는 경우에도 경보를 지연한다.

세번째로, 운전자가 의도한 차선 변경 시 LDWS의 경보를 억제한다. 여기서는, 차선 변경 시 운전자가 아웃 사이드 미러를 보는 행위를 운전자의 차선 변경 의도로 판단하며, 스티어링 휠이 일정 각도 이상되고, 후측방 차량이 존재하지 않 으면 LDWS의 경보를 억제한다.

상술한 도 2a 및 도 2b를 참조하여 차선 변경 의도 판단 로직을 설명하도록 한다. 여기서, 운전석 사이드 미러(②) 주시각은 정면을 기준으로 20 ~ 40°이고, 조수석 사이드 미러(⑨) 주시각은 정면을 기준으로 35 ~ 55°인 것을 알 수 있다.

또한, 도 3a 및 도 3b는 차선 변경 시 사이드 미러 주시시간 빈도를 나타낸 그래프이다. 도 3a를 참조하면, 운전석측으로 차선 병경 시 사이드 미러 주시시간은 0.5 ~ 1.5초에서 그 빈도가 가장 높은 것을 알 수 있다.

그리고, 도 3b를 참조하면, 조수석측으로 차선 변경 시 사이드 미러 주시시간은 1 ~ 1.5초에서 그 빈도가 가장 높은 것을 알 수 있다.

따라서, 사이드 미러 이상 영역, 즉, 운전석 사이드 미러는 20°이하, 조수석 사이드 미러는 35°이상을 최근 3초간 일정 시간 이내 주시하면 차선 변경 의도로 판단하여 LDWS의 경보를 억제한다. 이때, 0.5초 이하 주시는 정면 주시로 판단하고, 1.5초 이상 주시는 부주의 운전으로 판단한다.

상술한 바와 같이 운전자의 상태 및 차량 주변 환경을 판단하여 LDWS의 불필요한 오경보를 억제하여 상품성을 향상시킬 수 있다. 또한, 운전자 부주의 시에는 조기 경보를 하여 순간적인 졸음 또는 부주의 상황에서도 신속하게 대응할 수 있도록 한다.

본 발명은 상기 실시예에만 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않는 한 다양하게 변형될 수 있음은 당업자에게 자명하다고 할 수 있는 바, 그러한 변형예는 본 발명의 청구범위에 속한 것이다.

도 1은 본 발명에 따른 차선 이탈 경보 방법에 관한 흐름도.

도 2a 및 도 2b는 차량 내 포인트 주시에 대한 얼굴 방향각에 관한 그래프.

도 3a 및 도 3b는 차선병경 시 사이드 미러 주시시간 빈도를 도시한 그래프.

Claims (7)

1. 차량 내장 카메라를 통해 영상을 입력하는 단계;

   상기 입력된 영상을 캡처한 후 저장하는 단계;

   차선을 인식하는 단계;

   운전자 상태 및 차량 주변 상태를 파악하는 단계; 및

   상기 운전자 상태 및 차량 주변 상태를 통해 경보 조건을 판단하는 단계;

   상기 경보 조건에 따라 차선 이탈 여부를 판정하는 단계를 포함하고,

   상기 운전자 상태는 운전자의 얼굴 방향각에 따라 정면 주시 상태를 판단하고, 눈 개안 상태에 따라 정상 주행 상태를 판정하여, 차선 이탈 경보를 지연하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법.
2. 청구항 1에 있어서,

   상기 운전자 상태는 운전자의 얼굴 방향각에 따라 부주의 또는 졸음 여부를 판단하여 차선 이탈을 조기에 경보하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법.
3. 청구항 2에 있어서,

   상기 운전자의 얼굴 방향각은 얼굴 윤곽선, 눈, 코 및 모션정보 등을 기준으로 인식하고, 상기 얼굴 방향각이 일정각도 이상이면 부주의로 판단하며, 눈 개도값이 일정값 이하이면 폐안으로 인식하고, 폐안이 일정시간 이상 지속되면 졸음으로 판단하는 것을 특징으로 하는 차선 이탈 경보 방법.
4. 청구항 3에 있어서,

   상기 얼굴 방향각은 안경 착용여부에 따라 구분되며, 안경 착용시에는 얼굴 좌/우 윤곽선과 양 눈 및 코의 중심점을 이용하고, 안경 미착용시에는 눈 및 코를 기준으로 인식하며, 눈 및 코의 검출 불가시에는 얼굴의 특징점의 모션 정보를 가지고 인식하는 것을 특징으로 하는 차선이탈 경보 방법.
5. 청구항 1에 있어서,

   상기 차량 주변 상태는 인접 차량이 차선을 침범하는 경우, 주행도로면에 장애물이 존재하는 경우 또는 후측방에 접근 차량이 있는 경우로 판단하는 것을 특징으로 하는 차선 이탈 경보 방법.
6. 청구항 1에 있어서,

   상기 운전자 상태는 사이드 미러 주시 각도 및 시간으로 차선 변경 의지를 판단하는 단계를 포함하는 것을 특징으로 하는 차선 이탈 경보 방법.
7. 삭제

Images