KR102180193B1 - 주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치 - Google Patents

Abstract

본 발명은 주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치를 개시한다. 본 발명에 따르면, 주차공간 포즈 검출 장치로서, 프로세서 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 영상센서를 통해 주차공간 영상을 입력 받고, 상기 주차공간 영상에서 획득된 주차선 정보와 주차선 템플릿을 매칭하고, 매칭된 주차선 템플릿의 포즈를 주차공간을 포즈로 결정하여 주차공간 좌표계 상에서 토잉점 및 주차 완료점을 설정하며, 차량의 포즈와 매칭된 주차선 템플릿의 상기 토잉점 및 주차 완료점을 이용하여 주차 경로를 생성하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 주차공간 포즈 검출 장치 제공된다.

Description

주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치{Method and apparatus for parking space pose detection using parking stripe template matching}

본 발명은 주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치에 관한 것이다.

차량의 운행 시 운전자의 부주의나 시계의 불량, 후방 차량의 전방 주시 의무 위반 등으로 교통사고가 빈번하게 발생하고 있다.

이를 방지하기 위해 최근 차량에 지능형 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이 장착되고 있다.

지능형 운전자 보조 시스템은 첨단 감지 센서와 GPS, 통신, 지능형 영상 장비 등을 이용하여 주행 중 일부 상황을 차량 스스로 인지하여 상황을 판단, 자동차를 제어하거나 운전자가 미리 위험요소를 감지할 수 있도록 소리, 불빛, 진동 등으로 알려주는 운전자 보조 시스템이다.

운전자 보조 시스템 중 주차 보조 시스템(SPAS, Smart Parking Assistant System)은 차량의 주차 시에 운전자에게 편의를 제공하면서 주차가 미숙한 운전자에게 주차공간 이탈에 의한 접촉 사고를 미연에 방지한다.

근래에는 차량의 주변에 설치된 초음파 센서 외에 카메라 센서를 이용하여 자율주차를 지원해주는 서비스까지 시도되고 있다.

종래의 주차보조 시스템(SPAS)은 차량에 설치된 초음파 센서를 이용하여 주변차량과의 간격을 검출하여 주차공간을 감지한다.

근래에 시도되고 있는 영상센서를 이용하는 주차보조는 차량에 설치된 카메라(영상센서)를 이용하여 주차선(parking stripe)이나 주차선이 만나는 모서리를 이용하여 주차공간을 감지한다.

그러나 영상센서가 외부 조명 등의 영향으로 주차선이나 모서리를 정확히 감지하지 못하는 경우 주차공간 감지 결과가 매우 불량해지는 문제점이 있다.

또한, 주차중 차량의 위치에 따라 주차공간의 전부 또는 일부가 보이지 않는 경우 주차공간을 정확히 인식하지 못하는 문제점이 있다.

한국공개특허공보 제10-2006-0134719호

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 주차선이나 모서리가 불량한 품질로 인식되는 경우에도 주차공간 포즈를 최적으로 정확히 검출할 수 있는 주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치를 제안하고자 한다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 주차공간 포즈 검출 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 영상센서를 통해 주차공간 영상을 입력 받고, 상기 주차공간 영상에서 획득된 주차선 정보와 주차선 템플릿을 매칭하고, 매칭된 주차선 템플릿의 포즈를 주차공간의 포즈로 결정하여 주차공간 좌표계 상에서 주차 완료점을 설정하며, 차량의 포즈와 매칭된 주차선 템플릿의 주차 완료점을 이용하여 주차 경로를 생성하도록 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 주차공간 포즈 검출 장치가 제공된다.

상기 주차선 정보는 상기 주차공간 영상 내에서 주차선 및 모서리 좌표 정보를 포함할 수 있다.

상기 프로그램 명령어들은, 초기 시점에 상기 주차선 템플릿의 위치 및 사이즈를 변경하여 상기 주차공간 영상 내에서의 주차선 정보와 매칭시킬 수 있다.

상기 프로그램 명령어들은, 상기 초기 시점에서 상기 주차선 템플릿이 매칭된 이후 차량의 이동 또는 시간의 경과에 따라 주차선 템플릿 포즈 예측치를 산출하고, 상기 주차선 템플릿 포즈 예측치를 이용하여 새로 입력된 주차공간 영상 내에서의 주차선 정보와 주차선 템플릿을 매칭시킬 수 있다.

상기 차량의 포즈는 x, y 및 헤딩각으로 정의되며, 상기 주차공간의 포즈는 x, y 및 헤딩각으로 정의되며, 상기 주차선 템플릿의 포즈는 상기 주차 완료점과 동일한 y좌표 및 헤딩각을 가지도록 설정될 수 있다.

본 발명의 다른 측면에 따르면, 영상센서를 통해 주차공간 영상을 입력 받는 단계, 상기 주차공간 영상에서 획득된 주차선 정보와 주차선 템플릿을 매칭하는 단계, 매칭된 주차선 템플릿의 포즈를 주차공간의 포즈로 결정하여 주차공간 좌표계 상에서 주차 완료점을 설정하는 단계 및 차량의 포즈와 매칭된 주차선 템플릿의 주차 완료점을 이용하여 주차 경로를 생성하는 단계를 포함하는 주차공간 포즈 검출 방법이 제공된다.

본 발명에 따르면, 주차선 템플릿을 이용하여 주차공간 영상에서 주차선 정보가 충분하지 않은 경우에도 주차공간의 포즈를 최적으로 정확히 결정할 수 있다.

도 1은 본 발명의 바람직한 일 실시예에 따른 주차공간 포즈 검출 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 차량 및 주차공간 좌표계를 도시한 도면이다.
도 3은 주차공간의 주차선 종류를 도시한 것이다.
도 4는 매칭된 PST와 매칭되지 않은 PST를 각각 도시한 것이다.
도 5는 주차공간 영상이 충분하지 않은 상태를 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명은 주차공간 포즈의 검출을 위해 영상센서를 통해 획득된 영상 내에서의 주차선과 주차선 템플릿(Parking Stripe Templete, 이하, 'PST'라 함)을 매칭하고, PST를 주차공간의 포즈로 결정한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 주차공간 포즈 검출 장치의 구성을 도시한 도면이다.

본 실시예에 따른 주차공간 포즈 검출 장치는 주차 중 영상센서를 통해 획득된 영상의 주차선과 PST 템플릿 매칭을 통해 주차공간 포즈를 검출한다. .

도 1에 도시된 바와 같이, 본 실시예에 따른 주차공간 포즈 검출 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.

프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

이와 같은 메모리(102)에는 프로세서(100)에 의해 실행 가능한 프로그램 명령어들이 저장된다.

본 실시예에 따른 주차공간 포즈 검출 장치는 차량 내에 설치된 컴퓨팅 장치로서, 주기적 또는 비주기적으로 영상센서(카메라)를 통해 입력된 주차공간 영상에서 주차선 정보(주차선 및 모서리 좌표 정보)를 획득하고, 주차선 정보에 상응하게 PST를 매칭시킨다.

여기서, 주차선 정보와 PST의 매칭은 주차선 및 모서리의 좌표에 맞게 PST의 위치 및 사이즈를 결정하는 과정으로 정의될 수 있다.

PST가 매칭된 이후, 주차공간 포즈 검출 장치는 매칭된 PST를 주차공간의 포즈로 결정한다.

시간의 경과 또는 차량의 이동에 따라 주차공간 포즈 검출 장치는 좌표 변환을 통해 PST 포즈 예측치를 계산하고, 예측된 PST 포즈와 현 시점에서 획득된 영상의 주차선 정보의 매칭 과정을 수행한다.

초기 PST 매칭에서 PST의 위치뿐만 아니라 사이즈 결정 과정이 수행되며, 이후 차량의 이동 또는 시간의 경과에 따라 PST 매칭이 반복 수행되는 경우에는 PST의 사이즈는 유지하고 PST 포즈 예측치만 변경한다.

상기한 주차공간 영상은 차량의 전방 또는 후방 카메라로부터 촬영된 영상을 탑뷰로 변환한 영상일 수 있다.

이하에서는 도면을 참조하여 본 실시예에 따른 자율주차를 위한 좌표계와 PST 매칭, 차량, 주차 완료점 및 주차경로 생성 과정을 상세하게 설명한다.

본 명세서에서, PST, 차량 및 주차 완료점은 좌표는 포즈로 정의되며, 포즈는 차량 좌표계 상에서 차량의 소정 기준점의 좌표, 주차공간 좌표계 상에서 PST 좌표 및 주차 완료점의 좌표를 의미한다.

도 2는 본 실시예에 따른 차량 및 주차공간 좌표계를 도시한 도면이다.

도 2를 참조하면, 임의 좌표계

상 목적물의 포즈를

로 표시한다.

목적물이

평면상에 존재할 때, 목적물의 포즈는 목적물의 지정된 특징점의 좌표계 상의 위치

와 목적물이

좌표축과 이루는 헤딩각

로 표시한다.

주차 완료점은 주차공간 내에 위치하며 주차공간에 대하여 주차 완료 시 차량의 후륜축 중심(Center of Rear Axle, 이하 CRA)이 위치하는 지점이다.

본 발명은 주차공간의 주차 완료점을 특징점(기준점)으로 설정하고, 주차 완료점에 대한 포즈를 주차공간의 포즈로 정의한다.

주차공간의 주차 완료점은

로 표시한다.

차량의 특징점(기준점)은 CRA으로 설정하고, CRA에 대한 포즈를 차량의 포즈로 정의하며,

로 표시한다.

주차공간 좌표계

는 주차 완료점을 원점으로 하고 주차공간에 고정된 좌표계로 정의한다.

차량 좌표계

는 차량의 CRA를 원점으로 하고 차량에 고정된 좌표계로 정의한다.

차량 좌표계의 원점과 차량에 설치된 센서의 위치가 상이할 경우 센서값을 센서 좌표계로부터 좌표 변환하여 차량 좌표계로 표시한다.

편의상

평면에 주차공간이 존재하고,

평면에 차량이 존재하는 것으로 가정한다.

도 2에 도시된 바와 같이, 본 발명에서 정한 주차공간 좌표계는

이고, 차량 좌표계는

로 표시한다.

주차 완료점은

에 해당하는 주차공간 좌표계의 원점이다.

차량의 포즈는 후륜축 중심(CRA)을 주차공간 좌표계로

로 표시한다.

차량 좌표계상 주차공간의 포즈는

로 표시한다.

본 실시예에 따르면, 주차공간의 포즈는 PST 매칭 이후, PST의 좌표로 정의된다.

본 실시예에 따르면, 차량의 포즈는 x, y 및 헤딩각으로 정의되며, 주차공간의 포즈는 x, y 및 헤딩각으로 정의되며, 주차선 템플릿의 포즈는 상기 주차 완료점과 동일한 y좌표 및 헤딩각을 가지도록 설정된다.

차량 좌표계상 장애물의 포즈는

로 표시한다.

이와 같은 좌표계 상에서 차량의 속도-가속도 모델링은 상태 변수를

라 할 때 아래와 같다.

여기서,

는 시간 상수(time constant)이며,

,

,

는 차량에 가해지는 가속도 명령이다.

이산화 모델식은 다음과 같다.

여기서 주기

에 대하여

와

로 각각

와

의 이산화 모델이다.

주차공간 좌표계상 주차차량의 포즈를

로 표시할 때, 종횡 모션 모델링은 다음과 같다.

여기서

는 차량의 속도,

는 휠베이스,

이다.

주기

에 대하여 수학식 3을 오일러 방식(Forward-Euler) 으로 이산화 모델식으로 나타내면, 수학식 4와 같이 나타낼 수 있다.

여기서,

이다.

이하에서는 상기한 좌표계 및 차량의 속도-가속도 모델링을 통해 PST 매칭 과정을 상세하게 설명한다.

도 3은 주차공간의 주차선 종류를 도시한 것이다.

도 3과 같이 PST는 주차공간의 주차선 종류에 따라 하나가 선택될 수 있다.

PST는 주차공간의 주차선과 일치하는 사이즈로 미리 제공되거나, 켈리브레이션된 주차공간 감지용 영상센서로부터 획득된 영상의 탑뷰 영상에서 PST 사이즈 및 위치가 결정될 수 있다.

주차공간 포즈 검출 장치는 영상센서로부터 획득된 영상에서 주차선 정보(예를 들어, 주차선 및 하나 이상의 모서리의 좌표 정보)와 PST가 서로 일치하는지 여부를 판단한다

주차공간 정보와 PST가 매칭되지 않는 경우, PST의 좌표를 변환하거나 PST의 사이즈를 변경한다.

도 4는 매칭된 PST와 매칭되지 않은 PST를 각각 도시한 것이다.

PST 매칭이 이루어진 후, 주차공간 포즈 검출 장치는 PST의 포즈 예측치를 주차공간 포즈 예측치로 결정한다.

이후, 차량의 이동에 따라 PST 매칭을 반복 수행하여 주차공간의 포즈를 변경한다.

본 실시예에 따르면, 영상센서로부터 획득된 주차선 및 모서리를 이용하여 주차공간을 결정하는 것이 아니라, 도 7에 도시된 바와 같이, 주차공간 영상에서 주차선의 일부 또는 상당 부분이 보이지 않는 경우 해당 부분을 제외하는 최적의 PST 매칭을 통해 PST의 포즈를 구하고, 이를 주차공간의 포즈로 결정하기 때문에 자율주차를 안정적으로 수행할 수 있다.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (7)

1. 주차공간 포즈 검출 장치로서,
   프로세서; 및
   상기 프로세서에 연결된 메모리를 포함하되,
   상기 메모리는,
   영상센서를 통해 주차공간 영상을 입력 받고,
   상기 주차공간 영상에서 획득된 주차선 정보와 주차선 템플릿을 매칭하고,
   매칭된 주차선 템플릿의 포즈를 주차공간의 포즈로 결정하여 주차공간 좌표계 상에서 주차 완료점을 설정하며,
   차량의 포즈와 매칭된 주차선 템플릿의 주차 완료점을 이용하여 주차 경로를 생성하도록,
   상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
   상기 프로그램 명령어들은,
   초기 시점에 상기 주차선 템플릿의 위치 및 사이즈를 변경하여 상기 주차공간 영상 내에서의 주차선 정보와 매칭시키는 주차공간 포즈 검출 장치.
2. 제1항에 있어서,
   상기 주차선 정보는 상기 주차공간 영상 내에서 주차선 및 모서리 좌표 정보를 포함하는 주차공간 포즈 검출 장치.
3. 삭제
4. 제1항에 있어서,
   상기 프로그램 명령어들은,
   상기 초기 시점에서 상기 주차선 템플릿이 매칭된 이후 차량의 이동 또는 시간의 경과에 따라 주차선 템플릿 포즈 예측치를 산출하고, 상기 주차선 템플릿 포즈 예측치를 이용하여 새로 입력된 주차공간 영상 내에서의 주차선 정보와 주차선 템플릿을 매칭시키는 주차공간 포즈 검출 장치.
5. 제1항에 있어서,
   상기 차량의 포즈는 x, y 및 헤딩각으로 정의되며, 상기 주차공간의 포즈는 x, y 및 헤딩각으로 정의되며, 상기 주차선 템플릿의 포즈는 상기 주차 완료점과 동일한 y좌표 및 헤딩각을 가지도록 설정되는 주차공간 포즈 검출 장치.
6. 제1항에 있어서,
   상기 차량의 기준점은 차량 좌표계 상에서 상기 차량의 후륜축 중심의 x, y 및 헤딩각으로 설정되는 주차공간 포즈 검출 장치.
7. 주차공간 포즈 검출 방법으로서,
   (a) 영상센서를 통해 주차공간 영상을 입력 받는 단계;
   (b) 상기 주차공간 영상에서 획득된 주차선 정보와 주차선 템플릿을 매칭하는 단계;
   (c) 매칭된 주차선 템플릿의 포즈를 주차공간의 포즈로 결정하여 주차공간 좌표계 상에서 주차 완료점을 설정하는 단계; 및
   (d) 차량의 포즈와 매칭된 주차선 템플릿의 주차 완료점을 이용하여 주차 경로를 생성하는 단계를 포함하되,
   상기 (b) 단계는 초기 시점에 상기 주차선 템플릿의 위치 및 사이즈를 변경하여 상기 주차공간 영상 내에서의 주차선 정보와 매칭시키는 주차공간 포즈 검출 방법.
   
   

Images