[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20060134719A - 차량의 주차 구획 인식방법 - Google Patents

차량의 주차 구획 인식방법 Download PDF

Info

Publication number
KR20060134719A
KR20060134719A KR1020050054626A KR20050054626A KR20060134719A KR 20060134719 A KR20060134719 A KR 20060134719A KR 1020050054626 A KR1020050054626 A KR 1020050054626A KR 20050054626 A KR20050054626 A KR 20050054626A KR 20060134719 A KR20060134719 A KR 20060134719A
Authority
KR
South Korea
Prior art keywords
parking
vehicle
obstacle
detecting
disparity map
Prior art date
Application number
KR1020050054626A
Other languages
English (en)
Inventor
정호기
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020050054626A priority Critical patent/KR20060134719A/ko
Publication of KR20060134719A publication Critical patent/KR20060134719A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량의 주차 구획 인식방법에 관한 것으로, 버즈 아이 뷰(bird's eye view)와 옵스터클 뎁스 맵(obstacle depth map)을 이용하여 주차 구획의 조사범위를 제한함으로써 운영 속도를 증가시키고, 스테인(stain), 웨이스트(waste) 및 쉐도우(shadow)와 같은 노이즈에 강한 효과가 있다.

Description

차량의 주차 구획 인식방법{method for recognizing parking site of vehicle}
도1은 본 발명에 따른 차량의 주차 구획 인식방법이 적용되는 장치의 일예를 나타낸 도면
도2는 본 발명에 따른 차량의 주차 구획 인식방법의 플로우 차트
도3은 도1의 카메라에 의해 촬상된 이미지를 나타낸 도면
도4는 도1의 주차 구획 인식부에서의 촬상된 이미지의 픽셀 클래서피케이션(classification) 결과를 나타낸 도면
도5는 도1의 주차 구획 인식부에서의 클래서피케이션 결과를 스트레오 매칭(stereo matching) 결과를 나타낸 도면
도6은 도1의 주차 구획 인식부에서의 로드(road)/옵스터클(obstacle) 분리 결과를 나타낸 도면
도7은 도1의 주차 구획 인식부에서의 주차 구획 표시의 디스퍼러티 맵(disparity map of parking site marking)으로부터 검출된 버즈 아이 뷰(bird's eye view)를 나타낸 도면
도8은 도1의 주차 구획 인식부에서의 옵스터클 디스퍼러티 맵(obstacle disparity map)으로부터 옵스터클 뎁스 맵(obstacle depth map)을 나타낸 도면
도9는 사용자로 입력된 시드 포인트(seed point) 위치와 도2에 따른 가이드라인(guideline)과 옵스터클 히스토그램(obstacle histogram)을 나타낸 도면
도10은 도에 따른 주차 구회 표시 결과와 입력 이미지 결과를 나타낸 도면
도면의 주요부분에 대한 부호의 설명
110 : 주차 구획 인식부 120 : 경로 계획 발생부
130 : 차량 자세 센서 140 : 차량 위치 추정부
150 : 휴먼 머신 인터페이스부 160 : 경로 추적 제어부
170 : 조향부
본 발명은 차량에 관한 것으로, 특히 차량의 주차 구획 인식방법에 관한 것이다.
일반적으로 보면, 여성과 노 운전자는 차량들 사이를 후진으로 주차하는데 압박을 느낀다.
따라서, 많은 차량들이 방해물로부터의 정지거리를 운전자에게 경고하는 초음파 주차 도움 시스템을 채용하고 있다.
예들 들어, 토요타와 에이신 세이키는 후방 시각 카메라의 이미지로 예견되는 운전 코스를 조사하여 운전자를 돕기 위한 후방 가이드 모니터를 소개했다. 에이신 세이키의 다음 세대 장치는 운전에게 최상의 시각을 제공하기 위한 환경 인식 기능을 포함하는 것을 기대하고 있다. 그들은 최상의 뷰어 포인트(view point)로부터 가상된 이미지를 만들기 위해 휠 스피드 센서와, 운전 기술과 시각 카메라 즉, 인터미디에이트 뷰어 리컨스트럭션(Intermediate View Reconstruction:IVR) 기술로부터의 구조를 사용한다.
자동 주차 시스템은 자동 스티어링 제어와 자동 브레이킹 제어로 주차 운전을 자동화하게 된다.
이러한 자동 주차 시스템은 세가지 요소로 구성된다. : 타겟 위치의 위치 측정으로 포함하는 경로 생성, 계획된 궤도를 수행하는 것을 이용한 자동 스티어링과 브레이킹 시스템, 휴먼 머신 인터페이스(Human Machine Interface:HMI)는 운전자의 입력을 받아, 진행중인 주차 진행의 시각 정보를 제공한다.
타겟 위치의 위치 측정은 다양한 방법들 즉, 완전한 수동 지시, GPS 하부 구조 및 가용 주차 구획의 비전 기반 위치 측정으로 실행될 수 있다.
토요타의 인텔리전트 파킹 어시스트(Intelligent Parking Assist:IPA)는 운전자의 책임으로 브레이킹 제어가 남은 반자동 주차 시스템이다. 토요타의 IPA는 HMI에 의한 타겟 위치의 위치 측정을 개발했다. 그것은 후방 시각 카메라의 이미지로 가능한 타겟 위치를 보여주게 되며, 운전자는 위, 아래, 좌, 우 및 회전과 같은 방향 제어 버튼을 이용하여 타겟 위치의 변화가 가능하다.
반자동 주차 시스템은 상품화되었음에도 불구하고, 완전한 수동 지시는 매일 사용하기에는 너무 지루하고, 복잡하다.
따라서, 가용 주착 구획의 비전 기반 위치 측정의 필요성이 빠르게 증가하는 것은 당연한 것이다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 버즈 아이 뷰(bird's eye view)와 옵스터클 뎁스 맵(obstacle depth map)을 이용하여 주차 구획의 조사범위를 제한함으로써 운영 속도를 증가시키고, 스테인(stain), 웨이스트(waste) 및 쉐도우(shadow)와 같은 노이즈에 강하도록 하기 위한 차량의 주차 구획 인식방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 차량의 주차 구획 인식방법의 특징은, 3차원 스테레오 비전 카메라에 의해 주차 구획의 레프트 이미지(left image)와 라이트 이미지(fight image)를 촬상하는 단계와, 상기 촬상된 주차 구획의 레프트 이미지(left image)와 라이트 이미지(fight image)를 픽셀 단위로 클래서피케이션하여 버티클 에지(vertical edge)를 검출하는 단계와, 상기 검출된 버티클 에지를 스테레오 매칭(stereo matching)하여 디스퍼러티 맵(disparity map)을 검출하는 하는 단계와, 상기 검출된 디스퍼러티 맵을 플레인 서피스 컨스트레인트(plane surface constraint)를 통해 주차 구획 표시의 디스퍼러티 맵(disparity map)과 옵스터클 디스퍼러티 맵(obstacle disparity map)을 분리하는 단계와, 상기 분리된 주차 구획 표시의 디스퍼러티 맵으로부터 z,x 월드 좌표 포인트로 매핑된 버즈 아이 뷰(bird's eye view)를 검출하는 단계와, 상기 분리된 주차 구획 표시의 옵스터클 디스퍼러티 맵으로부터 z,x 월드 좌표 포인트로 매핑된 옵스터클 뎁스 맵 (obstacle depth map)을 검출하는 단계로 이루어진 차량의 주차 구획 인식방법에 있어서, 상기 검출된 주차 구획 표시의 버즈 아이 뷰(bird's eye view)를 허프 변환하여 가이드라인을 검출하는 단계와; 상기 검출된 옵스터클 뎁스 맵(obstacle depth map)에 가이드라인을 투영하여 옵스터클 히스토그램(obstacle histogram)을 검출하는 단계와; 상기 검출된 옵스터클 히스토그램과 사용자로부터 입력된 시드 포인트(seed point)에 의해 상기 버즈 아이 뷰(bird's eye view)내의 서치 레인지(search range)를 설정하는 단계와; 상기 설정된 서치 레인지에 템플리트 매칭(template matching)을 통해 주차 구획을 인식하는 단계를 포함하여 구성되는데 있다.
상기 주차 구획 인식 단계는 상기 설정된 서치 레인지에 인너 렉탱글(inner rectangle)과 아웃터 렉탱글(outer rectangle)에 의한 템플리트 매칭을 수행하는 것을 다른 특징으로 하는데 있다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 본 발명에 따른 차량의 주차 구획 인식방법의 바람직한 실시예에 대하여 설명하면 다음과 같다.
도1은 본 발명에 따른 차량의 주차 구획 인식방법이 적용되는 장치의 일예를 나타낸 도면으로서, 3차원 스테레오 비전 카메라(미부호)와, 주차 구획 인식부(110)와, 경로 계획 발생부(120)와, 차량 자세 센서(130)와, 차량 위치 추정부(140)와, 휴먼 머신 인터페이스부(150)와, 경로 추적 제어부(160)와, 조향부(170) 를 포함하여 구성된다.
도2는 본 발명에 따른 차량의 주차 구획 인식방법의 플로우 차트이고, 도3은 도1의 카메라에 의해 촬상된 이미지를 나타낸 도면이며, 도4는 도1의 주차 구획 인식부에서의 촬상된 이미지의 픽셀 클래서피케이션(classification) 결과를 나타낸 도면이고, 도5는 도1의 주차 구획 인식부에서의 클래서피케이션 결과를 스트레오 매칭(stereo matching) 결과를 나타낸 도면이다.
도6은 도1의 주차 구획 인식부에서의 로드(road)/옵스터클(obstacle) 분리 결과를 나타낸 도면이고, 도7은 도1의 주차 구획 인식부에서의 주차 구획 표시의 디스퍼러티 맵(disparity map of parking site marking)으로부터 검출된 버즈 아이 뷰(bird's eye view)를 나타낸 도면이며, 도8은 도1의 주차 구획 인식부에서의 옵스터클 디스퍼러티 맵(obstacle disparity map)으로부터 옵스터클 뎁스 맵(obstacle depth map)을 나타낸 도면이다.
도9는 사용자로 입력된 시드 포인트(seed point) 위치와 도2에 따른 가이드라인(guideline)과 옵스터클 히스토그램(obstacle histogram)을 나타낸 도면이고, 도10은 도에 따른 주차 구회 표시 결과와 입력 이미지 결과를 나타낸 도면이다.
이와 같이 구성된 본 발명에 따른 차량의 주차 구획 인식방법에 대하여 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
주차 구획을 인식하여 차량을 반자동/자동으로 주차하는데 도움을 주는 시스템은 다음과 같다.
먼저, 도1에 도시된 바와 같이, 주차 구획 인식부(110)는 3차원 스테레오 비 전 카메라(미부호)로부터 촬상된 주차 구획 이미지로부터 3차원 주차 구획 인식하여 주차된 차량의 3차원 위치정보와 주차장 인식 결과를 출력하게 된다. 상기 카메라로는 테스트 차량의 후면에 설치된 포인트 그레이 리서치 범블리비 카메라(Point Gray Research's Bumblebee camera)가 사용된다.
그러면, 경로 계획 발생부(120)는 상기 주차 구획 인식부(110)에서 출력된 주차된 차량의 3차원 위치 정보에 따라 경로를 계획하여 출력하게 된다.
또한, 차량 자세 센서(130)는 미도시된 차륜속도센서, 조향각센서, 요 레이트(Yaw rate)센서, 가속도센서로부터 자기 차량의 차륜속도, 조향각, 선회속도, 가속도를 감지하여 출력하게 된다.
그러면 차량 위치 추정부(140)는 상기 차량 자세 센서(130)로부터 출력된 차륜속도, 조향각, 선회속도, 가속도로부터 자기 차량의 위치를 추정하여 출력하게 된다.
또한, 휴먼 머신 인터페이스부(150)는 상기 주차 구획 인식부(110)에서 출력된 주차장 인식 결과를 디스플레이하고, 사용자의 조작에 따른 제어신호를 인터페이스하게 된다.
그러면 경로 추적 제어부(160)는 상기 경로 계획 발생부(120)로부터 출력된 경로계획과 상기 차량 위치 추정부(140)로부터 출력된 차량 위치 추정치 및 휴먼 머신 인터페이스부(150)로부터 인터페이스된 사용자 입력신호에 따라 주차 경로를 추적하여 조향각 명령을 출력하게 된다.
이에 따라 조향부(170)는 상기 경로 추적 제어부(160)로부터 출력된 조향각 명령에 따라 조향각을 조정하게 된다.
이렇게 조향을 조정함으로써 반자동 또는 자동 주차가 가능하게 된다.
이때, 상기 주차 구획 인식부(110)는 도2에 도시된 본 발명에 따른 주차 구획 인식방법에 따라 다음과 같이 주차 구획을 인식하게 된다.
먼저, 도3의 3차원 스테레오 비전 카메라로부터 촬상된 전형적인 주차 구획의 스테레오 이미지인 (a) 레프트 이미지(left image)와 (b) 라이트 이미지(right image)로부터 하기한 표1에 도시된 바와 같이 레프트 이미지(left image)와 라이트 이미지(right image) 각각의 하나의 픽셀과 그 주위의 4개의 이웃 픽셀들의 인텐서티(intensity) 차이로 하기한 표2에 도시된 바와 같이, 픽셀 클래스(pixel class)를 검출하게 된다.
상기 검출된 각 이미지는 640*480 해상도와 24비트 칼라 정보를 가지게 되고, 각 이미지는 포인트 그레이 리서치 트릭럽스 렉티리케이션 라이브러리(Point Gray Research's Triclops rectification library)에 의해 수정되게 된다.
(표 1)
Figure 112005033520068-PAT00001
(표2)
Figure 112005033520068-PAT00002
여기서, 표2의 픽셀 클래스(pixel class)인
Figure 112005033520068-PAT00003
는 표1의 하나의 픽셀과 그 주위의 4개의 이웃 픽셀들을 하기한 수학식1에 의해 검출되게 되는데, 부드러운 면의 픽셀은 제로 클래스(zero class)로 분류되고, 에지 픽셀(edge pixel)은 넌-제로 클래스(non-zero class)로 클래서피케이션되게 되며, 쓰레스홀드(threshold) T의 효과를 줄이기 위해 히스토그램 이퀄라이제이션(histogram equalization) 또는 어뎁티브 쓰레스홀드(adaptive threshold)가 사용될 수 있다.
(수학식 1)
Figure 112005033520068-PAT00004
여기서,
Figure 112005033520068-PAT00005
는 그레이 벨루(gray value)이다.
이러한 픽셀 클래서피케이션 리절트(pixel classification result)는 도4의 (a) 픽셀 클래서파이드 에즈 호리전탈 에지(pixels classified as horizontal edge)와 (b) 픽셀 클래서파이드 에즈 버티컬 에지(pixels classified as vertical edge)에 나타낸 바와 같다. 여기서, 토탈 픽셀(total pixels)의 13.7%가 호리전탈 에지(horizontal edge)로, 7.8%는 버티컬 에지(vertical edge)로 분류되게 된다.
이렇게 검출된 픽셀 클래서파이드 에즈 호리전탈 에지(pixels classified as horizontal edge)와 픽셀 클래서파이드 에즈 버티컬 에지(pixels classified as vertical edge)중 픽셀 클래서파이드 에즈 버티컬 에지(pixels classified as vertical edge)에 의해서만 스테레오 매칭(stereo matching)이 수행되게 되는데, 스테레오 매칭은 도5에 도시된 바와 같은, (a) 레프트 이미지(left image)의 조사 포인트(investigated point)가 (b) 라이트 이미지(right image)의 코레스펀딩 포인트(corresponding point)를 검출하는 것으로서, 클래스 컴페어리즌(class comparison), 클래스 시멀러러티(class similarity), 칼라 시멀러러티(color similarity) 및 맥시멈 시멀러러티 디텍션(maximum similarity detection)을 통해 스텝-바이-스텝 테스트 시퀀스(step-by-step test sequences)로 구성되게 된다.
이전 테스트 스텝에서 통과한 코레스펀던스 캔디데이트(correspondence candidates)만이 다음 테스트에서 조사되게 된다. 픽셀의 조사 범위는 범블리비 버티컬 얼라인먼트(Bumblebee vertical alignment)가 정확하다는 가정하에 -35~35 디스퍼러티(disparity)를 갖는 호리전탈 라인(horizontal line)으로 제한되게 된다.
즉, 코레스펀던스 테스트(correspondency test)는 조사 픽셀과 세임 클래스(same class)를 갖는 픽셀들로 수행되게 된다.
이어, 클래스 시멀러러티(class similarity)는 캔디데이트 픽셀(candidate pixel)이 3*3 클래스 윈도우(class window)에서 조사된 픽셀과 얼마나 유사한가를 측정하는 것으로, 하기한 수학식2에 의해 측정되게 된다.
(수학식 2)
Figure 112005033520068-PAT00006
여기서,
Figure 112005033520068-PAT00007
이어, 칼라 시멀러러티(color similarity)는 캔디데이트 픽셀(candidate pixel)이 5*5 칼라 윈도우(color window)에서 조사된 픽셀과 얼마나 유사한가를 측정하는 것으로, 하기한 수학식3에 의해 측정되게 된다.
(수학식 3)
Figure 112005033520068-PAT00008
여기서,
Figure 112005033520068-PAT00009
이어, 맥시멈 시멀러러티 디텍션(maximum similarity detection)은 클래스 시멀러러티(class similarity)와 칼라 시멀러러티(color similarity)의 결과물로서, 하기한 수학식4에 의한 결과물이다. 하이스트 토탈 시멀러러티(highest total similarity)는 어떤 쓰레스홀드(certain threshold)보다 낮다면, 조사 픽셀은 코레스펀딩 포인트(corresponding point)를 찾는데 실패한 것으로 무시된다.
(수학식 4)
Figure 112005033520068-PAT00010
일반적으로, 로드 서피스(road surface)상의 픽셀들은 플렌 서피스 컨스트레인트(plane surface constraint)인 d(x,y) 즉, 픽셀의 y 좌표는 방정식 (5)와 같은 픽셀 디스퍼러티(disparity of pixel)를 갖는 선형 관계를 만족하게 된다.
(수학식 5)
Figure 112005033520068-PAT00011
여기서, B는 베이스라인(baseline)이고, H는 높이(Height)이며,
Figure 112005033520068-PAT00012
는 포컬 렝스(focal length)이고,
Figure 112005033520068-PAT00013
는 틸트 앵글(tilt angle)이다.
옵스터클의 픽셀들(obstacles of pixels) 예들 들어, 인접 차량들은 컨스트레인트(constraint)를 따르지 않는다. 그러므로, 스테레오 매칭의 결과인 디스퍼러티 맵(disparity map)은 도6에 도시된 바와 같은, 두개의 디스퍼러티 맵(disparity map) : (a) 옵스터클 디스퍼러티 맵(obstacle disparity map)과 (b) 주차 구획 표시의 디스퍼러티 맵(disparity map of parking site marking)으로 분리될 수 있다.
이와 같이 분리된 주차 구획 표시의 디스퍼러티 맵(disparity map of parking site marking)을
Figure 112005033520068-PAT00014
와
Figure 112005033520068-PAT00015
좌표 포인트로 매핑하여 주차 구획 표시의 버즈 아이 뷰(bird's eye view)를 검출하고, 옵스터클 디스퍼러티 맵(obstacle disparity map)으로부터
Figure 112005033520068-PAT00016
와
Figure 112005033520068-PAT00017
좌표 포인트로 매핑하여 옵스터클 뎁스 맵(obstacle depth map)을 검출하게 되는데(S1, S2), 이러한 과정은 다음과 같다.
카메라와 물체간의 디스퍼러티(disparity)인
Figure 112005033520068-PAT00018
는 하기한 방정식 (6-1) 과 같은 디스퍼러티(disparity)에 역 비례하게 된다.
(수학식 6-1)
Figure 112005033520068-PAT00019
상기 언급한 플렌 서피스 컨스트레인트(plane surface constraint)는 하기한 방정식 (6-2)과 같이 간단화될 수 있다. P1과 P2는 카메라 환경의 컨스탄트 파라메터(constant parameter)이다.
(수학식 6-2)
Figure 112005033520068-PAT00020
여기서,
Figure 112005033520068-PAT00021
로드 서피스(road surface)상의 픽셀의 y 좌표와
Figure 112005033520068-PAT00022
사이의 관계는 하기한 방정식 (6-3), (6-4)와 같이 간략화될 수 있다.
(수학식 6-3)
Figure 112005033520068-PAT00023
(수학식 6-4)
Figure 112005033520068-PAT00024
Figure 112005033520068-PAT00025
와 픽셀의 x 좌표 사이의 관계는 3각 측량에 의해 하기한 방정식 (6- 5)와 같이 정의된다.
(수학식 6-5)
Figure 112005033520068-PAT00026
이러한 관계를 사용하여 도7 (a) 및 (b)에 도시된 바와 같이, 주차 구획 표시의 디스퍼러티 맵(disparity map of parking site marking)이 버즈 아이 뷰어(bird's eye view)로 변환된다. 버즈 아이 뷰어(bird's eye view)는 주차 구획 표시의 디스퍼러티 맵(disparity map of parking site marking)으로부터
Figure 112005033520068-PAT00027
와
Figure 112005033520068-PAT00028
의 알오아이(ROI:Region Of Interest)로의 값을 복사하여 이루어진다. 주차 구획 표시의 다른 칼라를 갖는 픽셀들은 아스팔트와 잔디와 같이 구조의 노이즈를 제거하는 것으로 무시된다.
그리고, 옵스터클 뎁스 맵(obstacle depth map)은 플렌 서피스 컨스트레인트(plane surface constraint)를 불만족시키는 픽셀들의 디스퍼러티(disparity) 정보를 투영함으로써
Figure 112005033520068-PAT00029
와
Figure 112005033520068-PAT00030
로 좌표 포인으로 매핑된 검출되게 된다(S2). 도8 (a) 및 (b)에 도시된 바와 같이, 옵스터클 디스퍼러티 맵(obstacle disparity map)에서 픽셀에 상응하는 월드 좌표 포인트(
Figure 112005033520068-PAT00031
와
Figure 112005033520068-PAT00032
)는 상기한 방정식 (6-1)과 (6-5)에 의해 결정될 수 있다.
상기 S1단계에서 검출된 주차 구획 표시의 버즈 아이 뷰(bird's eye view)를 허프 변환(hough transform)하여 가이드라인(guideline)을 검출하게 된다(S3).
이어, 상기 S2단계에서 검출된 옵스터클 디스퍼러티 맵(obstacle disparity map)에 가이드라인을 투영하여 옵스터클 히스토그램(obstacle histogram)을 검출하게 된다(S4).
여기서, 스테레오 매칭(stereo matching)은 실시간 수행을 위한 서브 픽셀 해상도를 수행하지 않기 때문에, 디스퍼러티 맵(disparity map)의 픽셀은 옵스터클 뎁스 맵(obstacle depth map)에서 수직 어레이에 컨트리뷰트(contribute)된다. 옵스터클 뎁스 맵(obstacle depth map)의 요소는 상응하는 디스퍼러티 맵 픽셀(disparity map pixel)들의 컨트리뷰션(contribution)을 축적하게 된다. 어떤 문턱값 하의 옵스터클 뎁스 맵(obstacle depth map)의 요소들을 제거함으로써 디스퍼러티 맵(disparity map)상의 노이즈는 제거될 수 있다. 일반적으로, 디스퍼러티 맵(disparity)의 노이즈는 옵스터클 뎁스 맵(obstacle depth map)상에서 피크를 만들지 않는다. 따라서, 자유 공간(free space)은 어떤 문턱값하의 옵스터클 히스토그램(obstacle histocle)의 연속하는 부분이다.
이어, 상기 S4단계에서 검출된 옵스터클 히스토그램(obstacle histacle)에 도9 (a)에 도시된 바와 같이, 사용자로부터 입력된 시드 포인트(seed point)로부터 양방향 서치 레인지(search range)가 설정되게 된다(S5).
여기서, 자기 차량의 위치는 주차 에어리어의 세로 방향에 관련된 -40~40도로 제한된다. 그러므로, 이러한 각 범위에서 허프 변환의 피크는 도9 (b)에 도시된 가이드라인이다. 가이드라인 방향에서 주차 구획 센터의 조사 범위 자유 공간의 중심 20%이다. 가이드라인 방향에 직교하는 다른 방향에서 주차 구획 센터의 초기 추 정은 가이드라인으로부터 템플리트(template) 길이의 반 사이즈까지의 먼 위치이다. 직교 방향의 조사 범위는 10픽셀이고, 각 조사 범위는 10도이다.
이어, S5단계에서 설정된 서치 레인지에 인너 렉탱글(inner rectangle)과 아웃터 렉탱글(outer rectangle)에 의한 템플리트 매칭(template matching)하여 주차 구획을 인식하게 된다(S6).
즉, 최종 템플리트 매칭(template matching)은 주차 구획 도면에 관한 규격으로부터 유추된 2 렉탱글(rectangle)로 구성되는 템플리트(template)를 사용한다. 템플리트 매칭(template matching)은 주차 구획 표시의 얼마나 많은 픽셀이 2 렉탱글(rectangle) 즉, 이너와 아웃터 렉탱글(inner and outer rectangle) 사이에 존재하는 지를 측정한다. 도10 (a)는 주차 구획 표시의 버즈 아이 뷰어(bird's eye view)상에 대한 결과를 나타낸다. 도10 (b)는 입력 이미지의 버즈 아이 뷰어(bird's eye view)에 대한 결과를 투영한다. 조사 범위는 옵스터클 뎁스 맵(obstacle depth map)에 의해 좁아지기 때문에 템플리트 매칭(template matching)은 스테인(stain), 웨이스트(waste) 및 쉐도우(shadow)에도 불구하고 정확한 위치를 성공적으로 검출한다. 게다가, 위치화 과정의 버틀넥(bottleneck)인 템플리트 매칭(template matching)은 적은 시간 소비한다. 1G㎐의 피씨에서 총 계산 시간은 약 400~500msec이다.
이상에서 설명한 바와 같이 본 발명에 따른 차량의 주차 구획 인식방법은 버즈 아이 뷰(bird's eye view)를 이용하여 주차 구획의 조사범위를 제한함으로써 운 영 속도를 증가시키고, 스테인(stain), 웨이스트(waste) 및 쉐도우(shadow)와 같은 노이즈에 강한 효과가 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위 및 그와 균등한 것들에 의하여 정해져야 한다.

Claims (2)

  1. 3차원 스테레오 비전 카메라에 의해 주차 구획의 레프트 이미지(left image)와 라이트 이미지(fight image)를 촬상하는 단계와, 상기 촬상된 주차 구획의 레프트 이미지(left image)와 라이트 이미지(fight image)를 픽셀 단위로 클래서피케이션하여 버티클 에지(vertical edge)를 검출하는 단계와, 상기 검출된 버티클 에지를 스테레오 매칭(stereo matching)하여 디스퍼러티 맵(disparity map)을 검출하는 하는 단계와, 상기 검출된 디스퍼러티 맵을 플레인 서피스 컨스트레인트(plane surface constraint)를 통해 주차 구획 표시의 디스퍼러티 맵(disparity map)과 옵스터클 디스퍼러티 맵(obstacle disparity map)을 분리하는 단계와, 상기 분리된 주차 구획 표시의 디스퍼러티 맵으로부터 z,x 월드 좌표 포인트로 매핑된 버즈 아이 뷰(bird's eye view)를 검출하는 단계와, 상기 분리된 주차 구획 표시의 옵스터클 디스퍼러티 맵으로부터 z,x 월드 좌표 포인트로 매핑된 옵스터클 뎁스 맵(obstacle depth map)을 검출하는 단계로 이루어진 차량의 주차 구획 인식방법에 있어서,
    상기 검출된 주차 구획 표시의 버즈 아이 뷰(bird's eye view)를 허프 변환하여 가이드라인을 검출하는 단계와;
    상기 검출된 옵스터클 뎁스 맵(obstacle depth map)에 가이드라인을 투영하여 옵스터클 히스토그램(obstacle histogram)을 검출하는 단계와;
    상기 검출된 옵스터클 히스토그램과 사용자로부터 입력된 시드 포인트(seed point)에 의해 상기 버즈 아이 뷰(bird's eye view)내의 서치 레인지(search range)를 설정하는 단계와;
    상기 설정된 서치 레인지에 템플리트 매칭(template matching)을 수행하여 주차 구획을 인식하는 단계를 포함하여 이루어진 것을 특징으로 하는 차량의 주차 구획 인식방법.
  2. 제항에 있어서,
    상기 주차 구획 인식 단계는 상기 설정된 서치 레인지에 인너 렉탱글(inner rectangle)과 아웃터 렉탱글(outer rectangle)에 의한 템플리트 매칭을 수행하는 것을 특징으로 하는 차량의 주차 구획 인식방법.
KR1020050054626A 2005-06-23 2005-06-23 차량의 주차 구획 인식방법 KR20060134719A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050054626A KR20060134719A (ko) 2005-06-23 2005-06-23 차량의 주차 구획 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050054626A KR20060134719A (ko) 2005-06-23 2005-06-23 차량의 주차 구획 인식방법

Publications (1)

Publication Number Publication Date
KR20060134719A true KR20060134719A (ko) 2006-12-28

Family

ID=37813055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050054626A KR20060134719A (ko) 2005-06-23 2005-06-23 차량의 주차 구획 인식방법

Country Status (1)

Country Link
KR (1) KR20060134719A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100816377B1 (ko) * 2006-09-14 2008-03-25 주식회사 만도 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
KR20190013688A (ko) * 2017-06-22 2019-02-11 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행을 위한 지도 이미지에 기반한 교통 예측
KR102180193B1 (ko) 2019-05-30 2020-11-18 한양대학교 산학협력단 주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치
CN112289070A (zh) * 2020-10-20 2021-01-29 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、车辆、可读介质
KR20230140713A (ko) 2022-03-30 2023-10-10 한화비전 주식회사 주차 모니터링 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100816377B1 (ko) * 2006-09-14 2008-03-25 주식회사 만도 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
KR20190013688A (ko) * 2017-06-22 2019-02-11 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행을 위한 지도 이미지에 기반한 교통 예측
US11367354B2 (en) 2017-06-22 2022-06-21 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Traffic prediction based on map images for autonomous driving
KR102180193B1 (ko) 2019-05-30 2020-11-18 한양대학교 산학협력단 주차선 탬플릿 매칭을 이용한 주차공간 포즈 검출 방법 및 장치
CN112289070A (zh) * 2020-10-20 2021-01-29 广州小鹏自动驾驶科技有限公司 一种车位检测方法、装置、车辆、可读介质
KR20230140713A (ko) 2022-03-30 2023-10-10 한화비전 주식회사 주차 모니터링 장치 및 방법

Similar Documents

Publication Publication Date Title
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
JP4328692B2 (ja) 物体検出装置
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
US8233660B2 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
JP2005136946A (ja) 路上走行車両用のカメラ式位置認識装置および方法
US20090041337A1 (en) Image processing apparatus and method
JP2004531424A (ja) 車用の感知装置
JP2006053757A (ja) 平面検出装置及び検出方法
JP2006054681A (ja) 移動体周辺監視装置
JP6171593B2 (ja) 視差図からの対象追跡方法及びシステム
Gern et al. Vision-based lane recognition under adverse weather conditions using optical flow
JP2009198445A (ja) 対象物検出装置及び方法
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US11904843B2 (en) Autonomous parking systems and methods for vehicles
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
JP6815963B2 (ja) 車両用外界認識装置
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2006053754A (ja) 平面検出装置及び検出方法
KR20060134719A (ko) 차량의 주차 구획 인식방법
JP4270386B2 (ja) 移動体移動量算出装置
CN113353071B (zh) 一种基于深度学习的狭窄区域交汇车安全辅助方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application