KR20180099280A

KR20180099280A - 가상 차로 생성 장치 및 방법

Info

Publication number: KR20180099280A
Application number: KR1020170026524A
Authority: KR
Inventors: 강효아
Original assignee: 삼성전자주식회사
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2018-09-05
Also published as: JP7121497B2; US20180247138A1; CN108509832A; EP3376432A3; EP3376432A2; JP2018142309A; EP3376432B1; CN108509832B; US10853665B2

Abstract

가상 차로 생성 방법 및 장치가 제공된다. 일 실시예에 따른 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 경우 주변 객체에 기초하여 가상의 차로 경계선을 생성할 수 있다.

Description

가상 차로 생성 장치 및 방법{METHOD AND DEVICE TO GENERATE VIRTUAL LANE}

이하, 가상 차로를 생성하는 기술이 제공된다.

자율 주행(Automatic Driving)은 차량의 주행 중 요구되는 각종 조작을 자동으로 수행하는 것으로, 예를 들어 자율 주행하는 호스트 차량은 운전자가 핸들과 가속 페달, 브레이크 등을 조작하지 않아도 스스로 도로에서 달릴 수 있다. 자율 주행을 위한 다양한 기술들은 차량에서 파악되는 주변 영상 정보를 통해 수행될 수 있다. 특히, 자율 주행을 위한 차선은 차량의 전방 영상으로부터 검출되지만, 차량의 주변 지형, 악천후(눈, 비, 안개), 도로 형태 등으로 인하여 차량에 의해 수집 가능한 정보에 제한이 있을 수 있다.

일 실시예에 따른 가상 차로 생성 방법은, 차량(vehicle)의 전방에 대한 외부 이미지(external image)로부터 추출된 차로 검출 정보(lane detection information)의 유효성을 판단하는 단계; 및 상기 차로 검출 정보가 유효하지 않은 경우에 응답하여, 상기 외부 이미지에 나타나는 객체(object)에 기초하여 가상 차로(virtual lane)를 생성하는 단계를 포함할 수 있다.

상기 가상 차로를 생성하는 단계는, 상기 외부 이미지로부터 상기 차량의 전방에 존재하는 객체를 검출하는 단계; 및 상기 검출된 객체에 기초하여 상기 가상 차로를 생성하는 단계를 포함할 수 있다.

상기 객체를 검출하는 단계는, 상기 객체를 포함하는 객체 영역(object region) 및 상기 객체의 특징 부분(feature portion)을 포함하는 특징 영역(feature region)을 검출하는 단계를 포함할 수 있다.

상기 가상 차로를 생성하는 단계는, 상기 외부 이미지 내에서 상기 차량의 전방에 존재하는 객체를 클러스터링(cluster)하여 주행 그룹(driving group)을 생성하는 단계; 및 상기 주행 그룹에 기초하여 상기 가상 차로를 생성하는 단계를 포함할 수 있다.

상기 주행 그룹에 기초하여 상기 가상 차로를 생성하는 단계는, 상기 주행 그룹이 복수인 경우에 응답하여, 복수의 주행 그룹의 각각이 차지하는 영역에 기초하여 복수의 차로 영역을 추정하는 단계; 상기 추정된 복수의 차로 영역의 각각의 사이에서 가상의 차로 경계선(lane line)을 생성하는 단계; 및 상기 가상의 차로 경계선에 기초하여 상기 가상 차로를 생성하는 단계를 포함할 수 있다.

가상 차로 생성 방법은 연속적인 프레임 이미지를 포함하는 상기 외부 이미지를 획득하는 단계를 더 포함하고, 상기 가상 차로를 생성하는 단계는, 상기 연속적인 프레임 이미지에 나타나는 객체를 미리 정한 시간 구간 동안 추적하여 주행 그룹을 생성하는 단계; 및 상기 주행 그룹에 기초하여 상기 가상 차로를 생성하는 단계를 포함할 수 있다.

상기 연속적인 프레임 이미지에 나타나는 객체를 미리 정한 시간 구간 동안 추적하여 주행 그룹을 생성하는 단계는, 상기 객체의 속도가 상기 차량의 속도와 다른 경우에 응답하여, 상기 객체의 이동을 추적하여 상기 주행 그룹을 생성하는 단계를 포함할 수 있다.

상기 차로 검출 정보의 유효성을 판단하는 단계는, 상기 외부 이미지로부터 차로 검출 정보를 추출하는 단계; 및 상기 추출된 차로 검출 정보의 유효 점수가 임계 점수를 초과하는지 여부를 판단하는 단계를 포함할 수 있다.

상기 유효 점수가 임계 점수를 초과하는지 여부를 판단하는 단계는, 상기 차량 주변의 조도(luminance level) 정보, 기상 정보(climate information), 시각 정보(time information), 및 상기 외부 이미지의 화질 정보(image quality information) 중 적어도 하나에 기초하여 상기 유효 점수를 산출하는 단계를 포함할 수 있다.

가상 차로 생성 방법은 상기 생성된 가상 차로를 디스플레이하는 단계를 더 포함할 수 있다.

상기 차로 검출 정보의 유효성을 판단하는 단계는, 상기 차량의 전방으로부터 검출된 객체의 속성에 기초하여, 상기 차로 검출 정보의 유효성을 판단하는 단계를 포함할 수 있다.

상기 차로 검출 정보의 유효성을 판단하는 단계는, 상기 차량의 전방으로부터 경고 객체를 검출하는 단계; 및 상기 검출된 경고 객체에 대응하는 차로 경계선을 상기 차로 검출 정보로부터 배제하는 단계를 포함할 수 있다.

상기 가상 차로를 생성하는 단계는, 상기 차량의 전방으로부터 대상 객체를 검출하는 단계; 및 상기 대상 객체로부터 지시 정보가 검출되는 경우에 응답하여, 상기 대상 객체를 상기 가상 차로의 생성으로부터 배제하는 단계를 포함할 수 있다.

가상 차로 생성 방법은 상기 생성된 가상 차로에 기초하여 주행 경로(driving route)를 생성하는 단계를 더 포함할 수 있다.

상기 차로 검출 정보의 유효성을 판단하는 단계는, 대상 객체의 이동 경로 및 상기 차로 검출 정보에 기초한 차로가 매칭하는지 여부를 판단하는 단계; 및 상기 이동 경로가 상기 차로 검출 정보에 기초한 차로에 매칭하지 않는 경우, 상기 대상 객체에 대응하는 차로 경계선을 상기 차로 검출 정보로부터 배제하는 단계를 포함할 수 있다.

상기 차로 검출 정보의 유효성을 판단하는 단계는, 대상 객체의 이동 속도가 임계 속도 미만으로 감소되는 경우에 응답하여, 상기 대상 객체에 대응하는 차로 경계선을 상기 차로 검출 정보로부터 배제하는 단계를 포함할 수 있다.

상기 가상 차로를 생성하는 단계는, 상기 외부 이미지로부터 검출된 상기 객체까지의 거리를 지시하는 깊이 정보(depth information)을 검출하는 단계; 및 상기 외부 이미지 및 상기 깊이 정보에 기초하여 상기 가상 차로를 생성하는 단계를 포함할 수 있다.

상기 가상 차로를 생성하는 단계는, 상기 차량이 위치하는 위치 정보(location information) 및 상기 위치 정보에 대응하는 도로 정보(road information)에 기초하여 상기 가상 차로를 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 가상 차로 생성 장치는 차량(vehicle)의 전방에 대한 외부 이미지(external image)를 획득하는 이미지 획득부; 및 상기 외부 이미지로부터 추출된 차로 검출 정보(lane detection information)의 유효성을 판단하고, 상기 차로 검출 정보가 유효하지 않은 경우에 응답하여, 상기 외부 이미지에 나타나는 객체(object)에 기초하여 가상 차로(virtual lane)를 생성하는 처리부를 포함할 수 있다.

도 1 및 도 2는 일 실시예에 따른 가상 차로 생성 방법을 설명하는 흐름도이다.
도 3은 일 실시예에 따른 외부 이미지 획득을 설명하는 도면이다.
도 4 내지 도 7은 일 실시예에 따른 차로 검출 정보의 유효성 판단을 설명하는 도면이다.
도 8은 일 실시예에 따른 객체 및 특징 부분의 검출을 설명하는 도면이다.
도 9 및 도 10은 일 실시예에 따른 객체 클러스터링을 설명하는 도면이다.
도 11은 일 실시예에 따른 복수의 차로 영역의 추정을 설명하는 도면이다.
도 12는 일 실시예에 따른 가상의 차로 경계선의 생성을 설명하는 도면이다.
도 13 및 도 14는 일 실시예에 따른 가상 차로를 설명하는 도면이다.
도 15는 일 실시예에 따라 대상 객체로부터 지시 정보가 검출되는 경우를 설명하는 도면이다.
도 16 및 도 17은 일 실시예에 따른 가상 차로 생성 장치의 구성을 설명하는 블록도이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1 및 도 2는 일 실시예에 따른 가상 차로 생성 방법을 설명하는 흐름도이다.

도 1은 가상 차로 생성 방법을 간략하게 설명하는 도면이다.

우선, 단계(110)에서 가상 차로 생성 장치는 차량(vehicle)의 전방에 대한 외부 이미지로부터 추출된 차로 검출 정보의 유효성을 판단할 수 있다. 가상 차로 생성 장치는 차량에 장착되거나, 차량 내부에 포함되도록 구현될 수 있다. 차로 검출 정보는 차량의 전방에 대해 검출된 차로와 연관된 정보를 나타낼 수 있다. 예를 들어, 차로 검출 정보(lane detection information)는 외부 이미지에 나타나는 차로 경계선(lane line) 및 차로 영역(lane region) 등을 포함할 수 있다. 차로 경계선은 차로(lane)와 차로 사이를 구분하는 경계선을 나타낼 수 있다. 차로 영역은 외부 이미지에서 차로에 대응하는 영역을 나타낼 수 있다.

차로 검출 정보의 유효성 판단은 하기 도 4 내지 도 7에서 설명한다.

그리고 단계(120)에서 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 경우에 응답하여, 외부 이미지에 나타나는 객체에 기초하여 가상 차로(virtual lane)를 생성할 수 있다. 객체(object)는 예를 들어, 가상 차로 생성 장치가 장착된 차량 이외의 다른 차량, 사람, 및 동물 등일 수 있으나, 이로 한정하는 것은 아니다. 가상 차로는 현재 차량이 주행 가능한 것으로 가상 차로 생성 장치에 의해 추정된 차로를 나타낼 수 있다.

예를 들어, 가상 차로 생성 장치는 외부 이미지를 통한 차로 경계선 등의 식별이 실패하는 경우, 현재 차량의 주변 객체 등에 기초하여 새로운 가상 차로를 생성함으로써 현재 차량의 주행을 보조할 수 있다.

반대로, 차로 검출 정보가 유효한 경우, 가상 차로 생성 장치는 별도의 가상 차로를 생성하는 대신 유효한 차로 검출 정보를 이용할 수 있다. 예를 들어, 가상 차로 생성 장치는 유효한 차로 검출 정보를 사용자에게 디스플레이하거나, 자율 주행 차량의 주행 경로를 생성할 수 있다.

도 2는 가상 차로 생성 방법을 보다 상세히 설명한다.

우선, 단계(201)에서 가상 차로 생성 장치는 외부 이미지를 획득할 수 있다. 예를 들어, 가상 차로 생성 장치는 차량의 전방을 촬영함으로써 외부 이미지를 획득할 수 있다. 본 명세서에서 외부 이미지는 컬러 이미지인 경우를 예로 들어 설명하였으나, 이로 한정하는 것은 아니고 다양한 포맷의 이미지가 사용될 수 있다. 예를 들어, 적외선 이미지, 그레이 스케일 이미지, 및 깊이 이미지 등이 사용될 수도 있다.

그리고 단계(110)에서 가상 차로 생성 장치는 차로 검출 정보의 유효성을 판단할 수 있다. 가상 차로 생성 장치는 외부 이미지로부터 차로 검출 정보를 추출할 수 있다.

예를 들어, 단계(211)에서 가상 차로 생성 장치는 차로 경계선이 검출 가능한 지 여부를 판단할 수 있다. 가상 차로 생성 장치는 차로 경계선이 검출되지 않는 경우, 차로 검출 정보가 유효하지 않은 것으로 판단할 수 있다. 따라서, 가상 차로 생성 장치는 예를 들어, 시골길 및 차로 경계선의 페인트가 유실된 지역 등과 같이 차량의 전방 도로로부터 차로 경계선이 검출되지 않는 경우에 차로 검출 정보가 유효하지 않은 것으로 판단할 수 있다. 차로 경계선이 검출되지 않는 경우는, 예를 들어, 차로 경게선일 확률이 임계 확률 미만일 수 있다.

이어서 단계(212)에서 가상 차로 생성 장치는 차로 경계선이 검출된 경우에 응답하여 검출된 차로 경계선이 유효한 지 여부를 판단할 수 있다. 예를 들어, 가상 차로 생성 장치는 추출된 차로 검출 정보의 유효 점수가 임계 점수를 초과하는지 여부를 판단할 수 있다.

유효 점수는 차로 검출 정보가 유효한 정도를 나타내는 점수일 수 있다. 가상 차로 생성 장치는 차량 주변의 조도(luminance level) 정보, 기상 정보(climate information), 시각 정보(time information), 및 외부 이미지의 화질 정보(image quality information) 중 적어도 하나에 기초하여 유효 점수를 산출할 수 있다. 유효 점수는 조도 정보, 기상 정보, 시각 정보 및 화질 정보 중 적어도 둘 이상의 정보에 기초하여 복합적으로 산출될 수 있으나, 이로 한정하는 것은 아니고, 각각의 정보에 대해 개별적으로 복수의 유효 점수가 산출될 수도 있다. 조도 정보는 차량 주변의 조도를 지시하는 정보를 나타낼 수 있다. 기상 정보는 차량이 위치하는 지점에 대응하는 날씨를 지시하는 정보를 나타낼 수 있다. 시각 정보는 차량의 현재 시점과 관련된 정보로서, 예를 들어, 낮인 지 밤인 지 여부 등을 지시할 수 있다. 화질 정보는 외부 이미지의 화질을 지시하는 정보를 나타낼 수 있다.

예를 들어, 조도 정보, 기상 정보, 시각 정보 및 화질 정보 중 적어도 하나에 기초하여 단일 유효 점수가 산출된 경우, 가상 차로 생성 장치는 하나의 임계 점수를 결정하여 해당 임계 점수를 초과하는지 여부를 판단할 수 있다. 다른 예를 들어, 조도 정보, 기상 정보, 시각 정보 및 화질 정보 중 적어도 둘 이상에 기초하여 복수의 유효 점수가 산출된 경우, 가상 차로 생성 장치는 각 유효 점수에 대응하는 복수의 임계 점수를 결정하여, 복수의 유효 점수의 각각이 개별적으로 임계 점수를 초과하는지 여부를 판단할 수 있다.

여기서, 유효 점수가 임계 점수를 초과하는 경우, 가상 차로 생성 장치는 차로 검출 정보가 유효한 것으로 결정할 수 있다. 유효 점수가 임계 점수 이하인 경우, 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다. 복수의 유효 점수가 산출된 경우, 유효 점수 중 하나라도 임계 점수 이하인 경우 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다. 다만, 이로 한정하는 것은 아니고, 설계에 따라 임계 점수를 초과하는 유효 점수가 미리 정한 개수 이하인 경우, 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 것으로 결정할 수도 있다. 따라서, 가상 차로 생성 장치는 저녁 시간 등과 같이 다양한 요인으로 인해 차량 주변의 조도가 일정 값 이하인 경우, 차로 검출 정보의 이용이 불가능하다고 판단할 수 있다. 기상 정보를 이용하는 경우, 가상 차로 생성 장치는 눈이나 폭우가 오는 날씨에서 차로 검출 정보의 신뢰도가 낮다고 판단할 수 있다. 또한, 가상 차로 생성 장치는 유효 점수가 발진(oscillation)하는 정도가 임계 발진을 초과하는 경우에도 차로 검출 정보가 유효하지 않은 것으로 판단할 수 있다.

다만, 차로 검출 정보의 유효성을 유효 점수로만 판단하는 것은 아니다. 가상 차로 생성 장치는 객체의 속성 등과 같은 다양한 요소를 고려하여 차로 검출 정보의 유효성을 판단할 수 있다. 차량 검출 정보의 유효성 판단은 하기 도 4 내지 도 7에서 상세히 설명한다.

또한, 검출된 차로 경계선이 유효한 경우, 가상 차로 생성 장치는 가상 차로를 생성하지 않고, 검출된 차로 검출 정보를 이용할 수 있다.

그리고 단계(120)에서 차로 검출 정보가 유효하지 않은 경우에 응답하여, 외부 이미지에 나타나는 객체에 기초하여 가상 차로를 생성할 수 있다.

예를 들어, 단계(221)에서 가상 차로 생성 장치는 외부 이미지로부터 객체 및 특징 부분을 추출할 수 있다. 가상 차로 생성 장치는 외부 이미지로부터 차량의 전방에 존재하는 객체를 검출할 수 있다. 여기서, 가상 차로 생성 장치는 객체를 포함하는 객체 영역(object region) 및 객체의 특징 부분(feature portion)을 포함하는 특징 영역(feature region)을 검출할 수 있다. 객체 영역은 외부 이미지에서 객체에 대응하는 영역을 나타낼 수 있다. 특징 영역은 외부 이미지에서 특징 부분에 대응하는 영역을 나타낼 수 있다. 특징 부분은 객체의 특징을 지시하는 부분을 나타낼 수 있다. 객체의 특징은, 예를 들어, 객체가 차량인 경우 차량의 양쪽 후미등, 백미러, 바퀴, 및 번호판 등을 포함할 수 있다. 이러한 객체 및 특징 부분의 추출은 하기 도 8에서 설명한다.

그리고 단계(222)에서 가상 차로 생성 장치는 검출된 객체 및 특징 부분에 기초하여 클러스터링할 수 있다. 예를 들어, 가상 차로 생성 장치는 외부 이미지 내에서 차량의 전방에 존재하는 객체를 클러스터링(cluster)하여 주행 그룹(driving group)을 생성할 수 있다. 클러스터링은 하기 도 9에서 설명한다.

이어서 단계(223)에서 가상 차로 생성 장치는 클러스터링된 주행 그룹에 기초하여, 가상 차로 영역을 추정할 수 있다. 예를 들어, 가상 차로 생성 장치는 주행 그룹이 복수인 경우에 응답하여, 복수의 주행 그룹의 각각이 차지하는 영역에 기초하여 복수의 차로 영역을 추정할 수 있다. 가상 차로 영역의 추정은 하기 도 11에서 설명한다.

그리고 단계(224)에서 가상 차로 생성 장치는 가상 차로 영역 사이의 중앙에 해당하는 가상 차로 경계선을 생성할 수 있다. 예를 들어, 가상 차로 생성 장치는 가상의 차로 경계선에 기초하여 가상 차로를 생성할 수 있다. 가상 차로 생성 장치는 추정된 복수의 차로 영역의 각각의 사이에서 가상의 차로 경계선(lane line)을 생성할 수 있다. 가상 차로는 현재 차량이 주행할 수 있는 것으로 추정된 차로로서, 가상 차로 경계선에 의해 지시될 수 있다. 이러한 가상 차로 경계선의 생성은 하기 도 12에서 설명한다.

따라서, 가상 차로 생성 장치는 검출된 객체에 기초하여 가상 차로 경계선을 추정함으로써, 가상의 차로 경계선에 기초하여 가상 차로를 생성할 수 있다. 다만, 이로 한정하는 것은 아니고, 가상 차로 생성 장치는 외부 이미지, 깊이 정보, 주행 그룹, 차량이 위치하는 위치 정보(location information) 및 위치 정보에 대응하는 도로 정보(road information) 등에 기초하여 가상 차로를 생성할 수 있다. 위치 정보는 차량이 위치한 지점의 GPS(global positioning system) 정보를 포함할 수 있고, 도로 정보는 도로와 연관된 정보로서, 도로의 차로 개수, 공사 중인 도로, 및 폐쇄된 도로 등에 관한 정보를 포함할 수 있다.

이어서 단계(230)에서 가상 차로 생성 장치는 생성된 차로 경계선을 디스플레이할 수 있다. 예를 들어, 가상 차로 생성 장치는 헤드업 디스플레이(HUD, Head-Up Display) 등을 통해 차량의 윈드쉴드글래스에 가상의 차로 경계선을 디스플레이할 수 있다. 다만, 이로 한정하는 것은 아니고, 윈드쉴드글래스 자체가 디스플레이 기능을 구비하고, 가상 차로 생성 장치와 연결된 경우, 가상 차로 생성 장치는 해당 윈드쉴드글래스로 가상의 차로 경계선을 디스플레이하라고 요청할 수 있다. 차로 경계선의 디스플레이는 하기 도 13에서 설명한다.

가상 차로 생성 장치는 비가 많이 오는 경우와 같이 도로 면의 차로 경계선의 식별이 어려운 경우, 주변 차량 및 주변 차량의 특징 부분을 이용하여 주변 차량의 이동 경로를 추정할 수 있다. 가상 차로 생성 장치는 추정된 이동 경로를 이용하여 가상 차로 경계선을 생성하여 제공함으로써, 운전자 또는 자율 주행 차량의 운전을 보조할 수 있다.

도 3은 일 실시예에 따른 외부 이미지 획득을 설명하는 도면이다.

가상 차로 생성 장치는 차량의 전방에 대한 외부 이미지(300)를 획득할 수 있다. 예를 들어, 가상 차로 생성 장치는 차량에 장착될 수 있고, 가상 차로 생성 장치의 카메라는 차량의 전방을 향하도록 구성될 수 있다. 다만, 외부 이미지(300)를 컬러 이미지로 한정하는 것은 아니고, 적외선 이미지 및 깊이 이미지 등이 사용될 수도 있다.

도 4 내지 도 7은 일 실시예에 따른 차로 검출 정보의 유효성 판단을 설명하는 도면이다.

도 4는 차량이 공사 현장을 통과하는 동안 가상 차로 생성 장치가 획득한 외부 이미지(400)를 나타낼 수 있다.

일 실시예에 따른 가상 차로 생성 장치는 차량의 전방으로부터 검출된 객체의 속성에 기초하여, 차로 검출 정보의 유효성을 판단할 수 있다. 예를 들어, 가상 차로 생성 장치는 외부 이미지(400)로부터 복수의 객체를 검출할 수 있고, 식별된 객체의 각각의 속성을 식별할 수 있다. 객체는 속성에 따라, 대상 객체, 경고 객체(410), 및 고정 객체 등으로 분류될 수 있다. 대상 객체는 가상 차로 생성을 위해 추적의 대상이 되는 객체로서, 예를 들어, 현재 차량에 선행하여 이동 중인 다른 차량일 수 있다. 경고 객체(410)는 현재 차량에 대해 위험 등을 경고하는 정보와 연관된 객체로서, 예를 들어, 공사 현장을 나타내는 표식, 도로 상에 위치하는 장애물 등일 수 있다. 고정 객체는 도로 상에 고정된 객체로서, 예를 들어, 도로의 가장자리에 정차 또는 주차 중인 차량 등일 수 있다.

예를 들어, 가상 차로 생성 장치는 차량의 전방으로부터 경고 객체(410)를 검출할 수 있다. 도 4에서 경고 객체(410)는 차로 차단(lane closed)을 지시하는 표시판 및 차량의 진입을 방지하는 장애물로 도시되었다.

가상 차로 생성 장치는 검출된 경고 객체(410)에 대응하는 차로 경계선을 차로 검출 정보로부터 배제할 수 있다. 예를 들어, 가상 차로 생성 장치는 도 4에서 경고 객체(410)가 배치된 차로에 대응하는 차로 경계선을 차로 검출 정보로부터 배제할 수 있다.

다른 예를 들어, 가상 차로 생성 장치는 대상 객체의 이동 경로 및 차로 검출 정보에 기초한 차로가 매칭하는지 여부를 판단할 수 있다. 가상 차로 생성 장치는 이동 경로가 차로 검출 정보에 기초한 차로에 매칭하지 않는 경우, 대상 객체에 대응하는 차로 경계선을 차로 검출 정보로부터 배제할 수 있다.

또 다른 예를 들어, 가상 차로 생성 장치는 대상 객체의 이동 속도가 임계 속도 미만으로 감소되는 경우에 응답하여, 대상 객체에 대응하는 차로 경계선을 차로 검출 정보로부터 배제할 수 있다.

가상 차로 생성 장치는 검출된 차로 경계선이 차로 검출 정보로부터 배제되어, 유효한 차로 경계선이 없는 경우, 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다.

다만, 차로 검출 정보의 유효성 판단 방식을 상술한 바로 한정하는 것은 아니다. 가상 차로 생성 장치는, 도로 정보에 기초하여 현재 위치의 도로가 공사 중이라는 정보가 식별되는 경우에 응답하여, 현재 위치에서 검출된 차로 검출 정보의 적어도 일부가 유효하지 않은 것으로 결정할 수도 있다. 또한, 가상 차로 생성 장치는 운전자의 수동 조작(예를 들어, 가상 차로 생성하라는 조작)에 응답하여, 차로 검출 조작이 유효하지 않은 것으로 판단할 수 있다.

도 5는 눈(snow)으로 인해 외부 이미지(500)에서 차로 경계선이 검출되지 않는 경우를 도시한다. 일 실시예에 따르면 가상 차로 생성 장치는 기상이 악화되어 시야가 확보되지 않는 경우, 차로 검출 정보가 유효하지 않은 것으로 판단할 수 있다. 예를 들어, 외부 이미지(500)에서 중앙성(yellow line)(510)이 눈에 의해 가려져서, 가상 차로 생성 장치가 차로 경계선을 검출하지 못할 수 있다. 이 경우, 가상 차로 생성 장치는 검출된 차로 경계선이 없으므로, 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다.

다만, 이로 한정하는 것은 아니고, 가상 차로 생성 장치는 외부 이미지 뿐 아니라 기상 정보도 고려할 수 있다. 예를 들어, 가상 차로 생성 장치는 현재 위치에서의 기상 정보가 많은 눈, 비, 및 흐림 등과 같이 시야를 저하하는 날씨를 지시하는 경우, 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다.

도 6은 혼잡한 도로 상황에 대한 외부 이미지(600)를 나타낼 수 있다. 예를 들어, 복수의 다른 차량에 의하여 가려진 차로 경계선이 검출되지 않을 수 있고, 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다.

도 7은 교차로에 대한 외부 이미지(700)를 나타낼 수 있다. 예를 들어, 교차로에서 동일한 경로에 대해 복수의 차로 경계선(710)이 중복되어 그려질 수 있고, 가상 차로 생성 장치가 정확한 차로 경계선을 검출하지 못할 수 있다. 예를 들어, 가상 차로 생성 장치는 검출된 차로 경계선(710) 간의 간격이 임계 간격 미만인 경우에 응답하여, 차로 검출 정보가 유효하지 않은 것으로 결정할 수 있다.

다만, 이로 한정하는 것은 아니고, 가상 차로 생성 장치는 도로 정보에 기초하여, 현재 위치에 대응하는 도로 정보가 교차로인 것을 지시하는 경우에 응답하여 현재 위치에서 검출된 차로 검출 정보를 유효하지 않은 것으로 결정할 수도 있다.

도 3 내지 도 7에서 상술한 방식 등에 기초하여 차로 검출 정보가 유효하지 않은 것으로 판단된 경우에 응답하여, 가상 차로 생성 장치는 가상 차로를 생성하기 위한 동작을 하기 도 8 내지 도 15와 같이 수행할 수 있다.

도 8은 일 실시예에 따른 객체 및 특징 부분의 검출을 설명하는 도면이다.

가상 차로 생성 장치는 외부 이미지(800)로부터 객체를 포함하는 객체 영역(object region)(810) 및 객체의 특징 부분(feature portion)을 포함하는 특징 영역(feature region)(820)을 검출할 수 있다.

예를 들어, 가상 차로 생성 장치는 객체(예를 들어, 차량)을 검출하도록 트레이닝된 뉴럴 네트워크(neural network)를 이용하여, 객체를 포함하는 객체 영역(810)을 검출할 수도 있다. 또한, 가상 차로 생성 장치는 카메라를 통해 촬영된 외부 이미지(800) 뿐 아니라, LiDAR(Light Imaging, Detection, And Ranging) 센서 등을 이용하여 캡쳐된 센서 정보도 이용하여 객체 영역(810)을 검출할 수 있다. 센서 정보는 예를 들어, 외부 이미지(800)로부터 검출된 객체까지의 거리를 지시하는 깊이 정보(depth information)를 포함할 수 있다. 또한, 뉴럴 네트워크는 객체와 함께 객체의 특징 부분을 포함하는 특징 영역(820)을 검출하도록 트레이닝된 모델일 수도 있다.

도 9 및 도 10은 일 실시예에 따른 객체 클러스터링을 설명하는 도면이다.

도 9는 도 8에서 검출된 객체 영역 및 특징 영역을 이용하여 객체를 클러스터링하는 과정을 설명한다. 일 실시예에 따르면, 가상 차로 생성 장치는 외부 이미지(900) 내에서 차량의 전방에 존재하는 객체(911, 921, 930)를 클러스터링(cluster)하여 주행 그룹(driving group)을 생성할 수 있다. 주행 그룹은 검출된 객체(911, 921, 930)가 차로 단위로 분류된 그룹을 나타낼 수 있다. 예를 들어, 주행 그룹은 가상 차로 생성 장치가 장착된 현재 차량이 주행 중인 주행 차로에 대응하는 주행 그룹(910), 주행 차로의 좌측에 대응하는 주행 그룹(920), 및 주행 차로의 우측에 대응하는 주행 그룹으로 분류될 수 있다. 주행 차로는 차량 속도 제어 장치가 장착된 차량이 현재 주행 중인 차로를 나타낼 수 있다.

예를 들어, 가상 차로 생성 장치는 외부 이미지(900) 내에서 객체 영역의 위치 좌표에 따라, 객체를 클러스터링할 수 있다. 가상 차로 생성 장치는 제1 경계 좌표보다 왼쪽에서 검출된 객체 영역(921)을 좌측에 대응하는 주행 그룹(920)에 추가하고, 제2 경계 좌표보다 오른쪽에서 검출된 객체 영역(930)을 우측에 대응하는 주행 그룹에 추가하고, 제1 경계 좌표 및 제2 경계 좌표 사이에서 검출된 객체 영역(910)을 주행 차로에 대응하는 주행 그룹(911)에 추가할 수 있다. 제1 경계 좌표 및 제2 경계 좌표는 이미지에서 주행 그룹을 구분하기 위해 설정된 좌표로서, 예를 들어, 가로축(예를 들어, x축) 상의 좌표일 수 있다.

또한, 가상 차로 생성 장치는 객체 영역의 주행 그룹을 분류하도록 트레이닝된 모델을 이용할 수도 있다. 예를 들어, 가상 차로 생성 장치는 뉴럴 네트워크, 서포트 벡터 머신(SVM, support vector machine), 및 결정 트리(Decision Tree) 등을 이용하여 객체 영역이 속하는 주행 그룹을 결정할 수 있다.

다만, 이로 한정하는 것은 아니고, 가상 차로 생성 장치는 도로 정보를 이용하여 객체를 클러스터링할 수도 있다. 예를 들어, 가상 차로 생성 장치는 현재 위치의 도로 정보로부터 주행 중인 도로의 넓이 및 차로 개수를 추출할 수 있다. 가상 차로 생성 장치는 주행 중인 도로의 넓이 및 차로 개수 등에 기초하여, 주행 중인 도로에 대해 분류될 수 있는 주행 그룹의 최대 개수 및 최소 개수 등을 추정할 수 있다.

도 10은 현재 차량의 전방에서 주행 중이 차량이 차로 별로 1대 이하인 경우를 설명한다.

우선, 가상 차로 생성 장치는 연속적인 프레임 이미지를 포함하는 외부 이미지(1000)를 획득할 수 있다. 가상 차로 생성 장치는 연속적인 프레임 이미지에 나타나는 객체를 미리 정한 시간 구간 동안 추적하여 주행 그룹(1010)을 생성할 수 있다. 연속적인 프레임 이미지가 m fps로 촬영되는 경우(여기서, m은 1이상의 정수로서, 예를 들어, 30 fps 또는 60 fps 등일 수 있음), 미리 정한 시간 구간은 n/m일 수 있다. (여기서, n은 1이상의 정수) 예를 들어, 가상 차로 생성 장치는 도 10에 도시된 바와 같이 미리 정한 시간 구간 동안 각 프레임 이미지에서 동일한 객체에 대응하는 객체 영역을 추적할 수 있다. 가상 차로 생성 장치는 순차적으로 제1 객체 영역(1015), 제2 객체 영역(1014), 제3 객체 영역(1013), 제2 객체 영역(1012), 및 제1 객체 영역(1011)을 검출해낼 수 있다. 가상 차로 생성 장치는 동일한 객체에 해당하는 복수의 객체 영역(1011 내지 1015)을 하나의 주행 그룹(1010)으로 클러스터링할 수 있다. 도 10에서 n은 5일 수 있다.

또한, 가상 차로 생성 장치는 객체의 속도가 차량의 속도와 다른 경우에 응답하여, 객체의 이동을 추적하여 주행 그룹(1010)을 생성할 수 있다. 현재 차량과 선행 차량의 속도가 동일할 경우, 상대적인 위치가 변화되지 않으므로, 선행 찰

가상 차로 생성 장치는 선행 차량과의 속도 차이가 임계 차이 이상인 경우에 연속적인 프레임 이미지로부터 객체의 이동을 추적할 수 있다. 예를 들어, 가상 차로 생성 장치는 객체의 속도가 현재 차량의 속도보다 빠른 경우에 객체의 이동을 추적할 수 있다.

가상 차로 생성 장치는 도 9 및 도 10에서 설명한 클러스터링을 결합하여 사용할 수도 있다. 예를 들어, 가상 차로 생성 장치는 제1 차로를 따라 복수의 차량이 위치하고, 제2 차로를 따라 단일 차량만 존재하는 경우, 제1 차로에 대해서는 복수의 차량을 동일 주행 그룹으로 클러스터링하고, 제2 차로에 대해서는 단일 차량의 연속적인 추적 결과를 동일 주행 그룹으로 클러스터링할 수 있다.

다만, 도 9 및 도 10에서는 객체 영역을 클러스터링하는 것을 중심으로 설명하였는데 이로 한정하는 것은 아니다. 예를 들어, 가상 차로 생성 장치는 전방에서 검출된 후미등을 클러스터링하여 주행 그룹을 생성할 수 있다. 다른 예를 들어, 가상 차로 생성 장치는 전방에서 검출된 바퀴를 클러스터링하여 주행 그룹을 생성할 수도 있다. 또한, 가상 차로 생성 장치는 클러스터링시, 라이다 센서 등에 기초한 깊이 정보, 현재 위치의 실제 도로의 넓이 및 차로 정보 등에 기초하여 차로 별로 주행 그룹을 생성할 수도 있다.

도 11은 일 실시예에 따른 복수의 차로 영역의 추정을 설명하는 도면이다.

가상 차로 생성 장치는 주행 그룹에 기초하여 차로 영역을 생성할 수 있다. 일 실시예에 따르면 가상 차로 생성 장치는 주행 그룹이 복수인 경우에 응답하여, 복수의 주행 그룹의 각각이 차지하는 영역에 기초하여 복수의 차로 영역을 추정할 수 있다. 다만, 이로 한정하는 것은 아니고, 가상 차로 생성 장치는 주행 그룹이 1개인 경우, 해당 주행 그룹이 차지하는 영역에 기초하여 단일 차로 영역을 추정할 수도 있다.

예를 들어, 도 11의 외부 이미지(1100)에서 가상 차로 생성 장치는 좌측 주행 그룹(1121, 1122)에 대하여 좌측 차로 영역을 지시하는 윤곽선(1191, 1192)을 생성할 수 있다. 가상 차로 생성 장치는 중앙 주행 그룹(1111, 1112)에 대하여 중앙 차로 영역을 지시하는 윤곽선(1193, 1194)을 생성할 수 있다. 가상 차로 생성 장치는 우측 주행 그룹(1131)에 대해서도 우측 차로 영역을 생성할 수 있다.

예를 들어, 가상 차로 생성 장치는 각 주행 그룹이 차지하는 영역의 커브(curve)를 피팅(fitting)함으로써 차로 영역을 추정할 수 있다. 커브 피팅을 위한 기법은 예를 들어, 선형 최소 제곱(Linear least squares)을 이용한 기법 및 비선형회귀 모델(Non-linear regression model)을 이용한 기법 등을 포함할 수 있다. 예를 들어, 특정 주행 그룹에 속한 차량의 바운딩 박스(bounding box)의 중심 좌표에 대한 위치 정보에 기초하여 선형 최소 제곱 기법이나 비선형 회기 모델 등의 커브 피팅 기법을 통해 차로 영역이 추정될 수 있다. 다른 예로, 좌측 차로 영역에 위치하는 차량들의 최외곽 우측 좌표들 및/또는 우측 차로 영역에 위치하는 차량들의 최외곽 좌측 좌표들에 대한 위치 정보에 기초하여 커브 피팅 기법을 통해 차로 영역이 추정될 수도 있다. 또 다른 예로, 차량의 특징점들의 위치 정보에 기초하여 커브 피팅 기법을 통해 차로 영역이 추정될 수도 있다. 각각의 예들에서, 각 위치 정보가 커브 피팅 기법의 입력으로 이용될 수 있다.

다른 예를 들어, 가상 차로 생성 장치는 객체 영역에 기초하여 차로 영역을 생성하도록 트레이닝된 모델을 이용할 수도 있다. 차로 영역을 생성하도록 트레이닝된 모델은 오토인코더(auto-encoder)가 변형된 모델 등일 수 있다. 다만, 이로 한정하는 것은 아니고, 가상 차로 생성 장치는, 검출된 객체 영역 및 특징 영역으로부터 차로 영역이 출력되도록 트레이닝된 모델을 사용할 수도 있다.

도 12는 일 실시예에 따른 가상의 차로 경계선의 생성을 설명하는 도면이다.

가상 차로 생성 장치는 도 11에서 추출된 차로 영역에 기초하여 가상의 차로 경계선을 생성할 수 있다. 차로 영역은 도 11에서 상술한 바와 같이, 외부 이미지(1200)로부터 검출된 객체 영역(1211, 1212, 1221, 1222, 1231)이 클러스터링된 주행 그룹이 차지하는 영역에 기초하여 추정될 수 있다. 차로 영역은 차로 영역의 경계를 지시하는 윤곽선(1291, 1292, 1293, 1294)에 의해 정의될 수 있다.

일 실시예에 따르면 가상 차로 생성 장치는 추정된 복수의 차로 영역의 각각의 사이에서 가상의 차로 경계선(lane line)(1281, 1282)을 생성할 수 있다. 예를 들어, 가상 차로 생성 장치는 복수의 차로 영역 중 서로 인접한 차로 영역 사이의 중간을 가로지르는 선(line)을 가상 차로 경계선(1281)으로 결정할 수 있다. 도 12에서는, 좌측 차로 영역의 우측 윤곽선(1292) 및 중앙 차로 영역의 좌측 윤곽선(1293)의 중간을 가로지르는 선이 가상 차로 경계선(1281)으로 산출될 수 있다.

또한, 가상 차로 생성 장치는 선행 차량에 대응하는 주행 그룹의 가장 좁은 차로 영역 및 가장 넓은 차로 영역을 산출할 수 있고, 중간 넓이를 가지는 차로 영역을 지시하는 윤곽선을 차로 경계선으로 산출할 수도 있다. 중간 넓이를 가지는 차로 영역은, 가장 좁은 차로 영역을 지시하는 윤곽선 및 가장 넓은 차로 영역을 지시하는 윤곽선의 평균 위치에 배치된 좌표들의 집합일 수 있다.

다만 이로 한정하는 것은 아니고, 가상 차로 생성 장치는 선행 차량에 대응하는 주행 그룹이 차량의 후미등에 기초하여 생성된 경우, 후미등에 기초하여 차로 영역을 산출할 수 있다. 가상 차로 생성 장치는 산출된 차로 영역을 지시하는 윤곽선에 일정 길이(예를 들어, 차량의 범퍼와 후미등 간의 간격)를 보상함으로써 가상의 차로 경계선을 생성할 수도 있다.

도 13 및 도 14는 일 실시예에 따른 가상 차로를 설명하는 도면이다.

도 13은 도 12에서 생성된 가상의 차로 경계선(1311, 1312)에 기초하여, 가상 차로 생성 장치가 가상 차로를 결정할 수 있다.

가상 차로 생성 장치는 생성된 가상 차로를 도 13에 도시된 바와 같이, 디스플레이할 수 있다. 예를 들어, 가상 차로 생성 장치는 차량의 윈드쉴드글래스(1300)에 가상 차로 경계선(1311, 1312)을 HUD로 제공할 수 있다.

또한, 가상 차로 생성 장치는 생성된 가상 차로에 기초하여 주행 경로(driving route)를 생성할 수도 있다. 예를 들어, 가상 차로 생성 장치는 차로 검출 정보가 유효하지 않은 경우에 응답하여, 차량이 가상 차로를 따라 주행하도록 제어할 수 있다. 따라서, 가상 차로 생성 장치는, 차량이 자율 주행으로 이동하는 경우에도, 시야 저하에 따른 위험을 최소화할 수 있다.

도 14는 골목길 등에서 별도의 차로 경계선이 없이 고정 객체들이 존재하는 경우를 도시한다.

가상 차로 생성 장치는 외부 이미지(1400)로부터 객체(1410)를 검출할 수 있고, 객체의 속성에 기초하여 가상 차로를 생성할 수 있다. 예를 들어, 가상 차로 생성 장치는 고정 객체가 차지하는 영역의 윤곽선에 기초하여 가상 차로 경계선(1480)을 결정할 수 있다.

따라서, 가상 차로 생성 장치는 차로 경계선이 검출되지 않는 골목에서도, 가상 차로를 생성하여 사용자 또는 자율 주행 차량에 제공할 수 있다.

도 15는 일 실시예에 따라 대상 객체로부터 지시 정보가 검출되는 경우를 설명하는 도면이다.

일 실시예에 따르면 가상 차로 생성 장치는 차량의 전방으로부터 대상 객체를 검출할 수 있다. 가상 차로 생성 장치는 대상 객체로부터 지시 정보가 검출되는 경우에 응답하여, 대상 객체를 가상 차로의 생성으로부터 배제할 수 있다. 지시 정보(1591, 1595)는, 대상 객체의 상태를 지시하는 정보로서, 예를 들어, 대상 객체가 방향 지시등을 활성화한 경우, 비상등을 활성화한 경우, 및 일정 시간 이상 브레이크 등을 활성화한 경우 등을 포함할 수 있다.

도 15에서, 가상 차로 생성 장치는 외부 이미지(1500)의 제1 프레임 이미지의 객체 영역(1515)에서 지시 정보(예를 들어, 방향 지시등)(1591, 1595)를 검출할 수 있고, 제2 프레임 이미지 내지 제5 프레임 이미지의 객체 영역(1511 내지 1514)에서 지시 정보(1591, 1595)를 연속적으로 검출할 수 있다. 가상 차로 생성 장치는 검출된 지시 정보(1591, 1595)와 연관된 동일 대상 객체에 대한 주행 그룹(1510)을 가상 차로 생성으로부터 배제할 수 있다. 따라서, 가상 차로 생성 장치는 선행하는 다른 차량이 방향을 바꾸거나, 비상 상황으로 정차하는 등의 예외적인 상황이 발생한 차로를 배제함으로써, 보다 안전한 가상 차로를 생성하여 사용자 또는 자율 주행 차량에게 제공할 수 있다.

도 16 및 도 17은 일 실시예에 따른 가상 차로 생성 장치의 구성을 설명하는 블록도이다.

도 16에 도시된 가상 차로 생성 장치(1600)는 이미지 획득부(1610) 및 처리부(1620)를 포함한다.

이미지 획득부(1610)는 차량(vehicle)의 전방에 대한 외부 이미지(external image)를 획득할 수 있다.

처리부(1620)는 외부 이미지로부터 추출된 차로 검출 정보(lane detection information)의 유효성을 판단하고, 차로 검출 정보가 유효하지 않은 경우에 응답하여, 외부 이미지에 나타나는 객체(object)에 기초하여 가상 차로(virtual lane)를 생성할 수 있다.

다만, 가상 차로 생성 장치(1600)의 동작을 상술한 바로 한정하는 것은 아니고, 도 1 내지 도 15에서 상술한 동작들과 결합될 수도 있다.

도 17에 도시된 가상 차로 생성 장치(1700)는 카메라(1711), 차로 인식부(1712), 처리부(1720), 출력부(1730), 및 데이터베이스(1740)를 포함할 수 있다. 처리부(1720)는 도 16의 처리부(1620)와 유사한 동작을 수행할 수 있으며, 차로 경계선 검출부(1721), 객체 검출부(1722), 객체 클러스터링부(1723), 및 가상 차로 경계선 생성부(1724)를 포함할 수 있다.

카메라(1711)는 차량의 전방에 대한 외부 이미지를 촬영할 수 있다. 카메라(1711)는 예를 들어, 컬러 이미지로 차량의 전방을 촬영할 수 있으나, 이로 한정하는 것은 아니다. 또한, 카메라(1711)는 복수개가 사용될 수도 있다.

차로 인식부(1712)는 현재 차량이 위치한 도로의 상황을 인식할 수 있다. 예를 들어, 차로 인식부(1712)는 GPS 신호에 기초하여 차량의 위치를 식별할 수 있고, 및 라이더 센서에 기초한 깊이 정보 등을 이용하여 주변 객체와의 거리를 식별할 수 있다.

차로 경계선 검출부(1721)는 카메라(1711)를 통해 획득한 외부 이미지로부터 차량의 전방에 대한 차로 경계선을 검출할 수 있다.

객체 검출부(1722)는, 외부 이미지로부터 전방에 위치하는 객체를 식별할 수 있다. 예를 들어, 객체 검출부(1722)는 객체의 속성 등에 기초하여, 객체의 종류를 식별할 수도 있다.

객체 클러스터링부(1723)는 객체를 클러스터링하여 주행 그룹을 생성할 수 있다. 예를 들어, 객체 클러스터링부(1723)는 현재 차량이 주행 중인 차로를 기준으로, 현재 주행 중인 주행 그룹, 좌측 주행 그룹, 및 우측 주행 그룹 등을 생성할 수 있다.

가상 차로 경계선 생성부(1724)는 생성된 주행 그룹에 기초하여 가상의 차로 경계선을 생성할 수 있다. 예를 들어, 가상 차로 경계선 생성부(1724)는 생성된 주행 그룹 사이의 영역의 중간을 가로지르는 선을 가상 차로 경계선으로 결정할 수 있다.

출력부(1730)는 생성된 가상 차로 경계선을 출력할 수 있다. 예를 들어, 출력부(1730)는 가상 차로 경계선을 디스플레이로 출력하거나, 자율 주행 차량으로 출력할 수 있다. 출력부(1730)가 디스플레이로 출력한 가상 차로 경계선은 주행 참조 정보로서 운전자에게 제공될 수 있다. 예를 들어, 출력부(1730)는 차량 내 디스플레이에 실시간 영상에 가상 차로 경계선을 오버레이하여 제공할 수 있다. 또한, 출력부(1730)는 내비게이션 스크린의 지도상 도로에 오버레이하여 제공할 수도 있다. 더 나아가, 출력부(1730)는 차량의 전방 도로에 대하여 레이저나 프로젝션을 통해, 가상 차로 경계선을 운전자에게 시각적으로 제공할 수도 있다.

데이터베이스(1740)는 가상 차로 생성을 위해 요구되는 데이터를 저장할 수 있다. 예를 들어, 데이터베이스(1740)는 가상 차로 추정에 사용되는 기 트레이닝된 모델, 및 지도 정보 등을 포함할 수 있다.

따라서 일 실시예에 따른 가상 차로 생성 장치(1700)는 운전자가 차로 경계선 인식이 불가능하거나 정상적인 방식으로 차로를 따라갈 수 없는 경우, 운전자의 주행을 가이드하기 위한 정보로서 가상 차로를 생성하여 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

1600: 가상 차로 생성 장치
1610: 이미지 획득부
1620: 처리부

Claims

가상 차로 생성 방법에 있어서,
차량(vehicle)의 전방에 대한 외부 이미지(external image)로부터 추출된 차로 검출 정보(lane detection information)의 유효성을 판단하는 단계; 및
상기 차로 검출 정보가 유효하지 않은 경우에 응답하여, 상기 외부 이미지에 나타나는 객체(object)에 기초하여 가상 차로(virtual lane)를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 가상 차로를 생성하는 단계는,
상기 외부 이미지로부터 상기 차량의 전방에 존재하는 객체를 검출하는 단계; 및
상기 검출된 객체에 기초하여 상기 가상 차로를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제2항에 있어서,
상기 객체를 검출하는 단계는,
상기 객체를 포함하는 객체 영역(object region) 및 상기 객체의 특징 부분(feature portion)을 포함하는 특징 영역(feature region)을 검출하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 가상 차로를 생성하는 단계는,
상기 외부 이미지 내에서 상기 차량의 전방에 존재하는 객체를 클러스터링(cluster)하여 주행 그룹(driving group)을 생성하는 단계; 및
상기 주행 그룹에 기초하여 상기 가상 차로를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제4항에 있어서,
상기 주행 그룹에 기초하여 상기 가상 차로를 생성하는 단계는,
상기 주행 그룹이 복수인 경우에 응답하여, 복수의 주행 그룹의 각각이 차지하는 영역에 기초하여 복수의 차로 영역을 추정하는 단계;
상기 추정된 복수의 차로 영역의 각각의 사이에서 가상의 차로 경계선(lane line)을 생성하는 단계; 및
상기 가상의 차로 경계선에 기초하여 상기 가상 차로를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
연속적인 프레임 이미지를 포함하는 상기 외부 이미지를 획득하는 단계
를 더 포함하고,
상기 가상 차로를 생성하는 단계는,
상기 연속적인 프레임 이미지에 나타나는 객체를 미리 정한 시간 구간 동안 추적하여 주행 그룹을 생성하는 단계; 및
상기 주행 그룹에 기초하여 상기 가상 차로를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제6항에 있어서,
상기 연속적인 프레임 이미지에 나타나는 객체를 미리 정한 시간 구간 동안 추적하여 주행 그룹을 생성하는 단계는,
상기 객체의 속도가 상기 차량의 속도와 다른 경우에 응답하여, 상기 객체의 이동을 추적하여 상기 주행 그룹을 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 차로 검출 정보의 유효성을 판단하는 단계는,
상기 외부 이미지로부터 차로 검출 정보를 추출하는 단계;
상기 추출된 차로 검출 정보의 유효 점수가 임계 점수를 초과하는지 여부를 판단하는 단계
를 포함하는 가상 차로 생성 방법.
제8항에 있어서,
상기 유효 점수가 임계 점수를 초과하는지 여부를 판단하는 단계는,
상기 차량 주변의 조도(luminance level) 정보, 기상 정보(climate information), 시각 정보(time information), 및 상기 외부 이미지의 화질 정보(image quality information) 중 적어도 하나에 기초하여 상기 유효 점수를 산출하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 생성된 가상 차로를 디스플레이하는 단계
를 더 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 차로 검출 정보의 유효성을 판단하는 단계는,
상기 차량의 전방으로부터 검출된 객체의 속성에 기초하여, 상기 차로 검출 정보의 유효성을 판단하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 차로 검출 정보의 유효성을 판단하는 단계는,
상기 차량의 전방으로부터 경고 객체를 검출하는 단계; 및
상기 검출된 경고 객체에 대응하는 차로 경계선을 상기 차로 검출 정보로부터 배제하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 가상 차로를 생성하는 단계는,
상기 차량의 전방으로부터 대상 객체를 검출하는 단계; 및
상기 대상 객체로부터 지시 정보가 검출되는 경우에 응답하여, 상기 대상 객체를 상기 가상 차로의 생성으로부터 배제하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 생성된 가상 차로에 기초하여 주행 경로(driving route)를 생성하는 단계
를 더 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 차로 검출 정보의 유효성을 판단하는 단계는,
대상 객체의 이동 경로 및 상기 차로 검출 정보에 기초한 차로가 매칭하는지 여부를 판단하는 단계; 및
상기 이동 경로가 상기 차로 검출 정보에 기초한 차로에 매칭하지 않는 경우, 상기 대상 객체에 대응하는 차로 경계선을 상기 차로 검출 정보로부터 배제하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 차로 검출 정보의 유효성을 판단하는 단계는,
대상 객체의 이동 속도가 임계 속도 미만으로 감소되는 경우에 응답하여, 상기 대상 객체에 대응하는 차로 경계선을 상기 차로 검출 정보로부터 배제하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 가상 차로를 생성하는 단계는,
상기 외부 이미지로부터 검출된 상기 객체까지의 거리를 지시하는 깊이 정보(depth information)을 검출하는 단계; 및
상기 외부 이미지 및 상기 깊이 정보에 기초하여 상기 가상 차로를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제1항에 있어서,
상기 가상 차로를 생성하는 단계는,
상기 차량이 위치하는 위치 정보(location information) 및 상기 위치 정보에 대응하는 도로 정보(road information)에 기초하여 상기 가상 차로를 생성하는 단계
를 포함하는 가상 차로 생성 방법.
제1 항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
가상 차로 생성 장치에 있어서,
차량(vehicle)의 전방에 대한 외부 이미지(external image)를 획득하는 이미지 획득부; 및
상기 외부 이미지로부터 추출된 차로 검출 정보(lane detection information)의 유효성을 판단하고, 상기 차로 검출 정보가 유효하지 않은 경우에 응답하여, 상기 외부 이미지에 나타나는 객체(object)에 기초하여 가상 차로(virtual lane)를 생성하는 처리부
를 포함하는 가상 차로 생성 장치.