KR101342124B1 - 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 - Google Patents

Abstract

차량의 전방 카메라로 획득한 영상에서 추적할 차량을 인식하고, 그 차량을 추적하는 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법이 개시된다. 본 발명의 영상을 이용한 전방 차량 인식 및 추적 방법은 차량의 전방에 위치한 카메라로부터 원 영상을 획득하는 단계; 상기 원 영상으로부터 3차원 정보를 가진 탑뷰 영상을 생성하는 단계; 상기 탑뷰 영상에서 에지 영상을 생성하는 단계; 상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환하는 단계; 상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구하는 단계; 상기 히스토그램으로부터 피크들을 추출하는 단계; 상기 피크들의 조합으로부터 차량 후보군을 추출하는 단계; 및 상기 차량 후보군에서 차량의 존재 유무를 결정하며, 차량이 있는 경우에는 차량을 인식하는 단계를 포함한다. 본 발명에 따르면, 영상을 이용한 전방 차량 인식 및 추적 방법에 있어서, 전방의 차량을 배경 영상과 구분하여 정확하게 인식하고, 정확하고 빠르게 전방 차량을 추적할 수 있다. 또한, 종래의 전방 차량 인식 및 추적 방법보다 고속 알고리즘을 구현할 수 있어 저비용 고효율의 특징으로 인해 상용화에 유리한 효과가 있다.

Description

영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법{A Front Vehicle Detecting And Tracking System Using The Image And Detecting And Tracking Method Using The Same}

본 발명은 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법에 관한 것으로서, 보다 상세하게는 차량의 전방 카메라로 획득한 영상에서 추적할 차량을 인식하고, 그 차량을 추적하는 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법에 관한 것이다.

영상을 이용하여 전방 차량을 인식하고, 추적하여, 전방 추돌을 경보하는 연구들이 많이 진행되고 있다. 이 기술에서 가장 핵심적인 것은 도로에 주행 중인 차량의 정확한 위치를 찾는 부분이다. 이를 위해, 영상에서 수직 수평 에지를 추출하고, 히스토그램을 구하는 방법, 차량의 모델을 디자인하여 인식하는 방법, 신경망을 이용하는 방법, 차량의 그림자 영역 인식 방법, 차량의 제동등의 색으로 인식하는 방법 등이 연구 개발되고 있다.

그런데, 이러한 종래기술들은 원래 영상을 직접 처리하는 방식으로서, 도로의 차선과 표시 문자 등 차량의 인식에 방해를 주는 요소들에 의해 인식률이 떨어지며, 추가적인 알고리즘 적용으로 인하여 전체 성능이 저하되는 문제점이 있었다.

대한민국 등록특허 10-0917330호 대한민국 등록특허 10-1163446호

본 발명이 해결하고자 하는 과제는 전방의 차량을 배경 영상과 구분하여 정확하게 인식하고, 정확하고 빠르게 전방 차량을 추적할 수 있는 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법을 제공하는데 목적이 있다.

또한, 고속 알고리즘을 구현할 수 있어 저비용 고효율의 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법을 제공하는데 목적이 있다.

상기 기술적 과제를 달성하기 위하여 본 발명의 영상을 이용한 전방 차량 인식 및 추적 방법은 차량의 전방에 위치한 카메라로부터 원 영상을 획득하는 단계; 상기 원 영상으로부터 3차원 정보를 가진 탑뷰 영상을 생성하는 단계; 상기 탑뷰 영상에서 에지 영상을 생성하는 단계; 상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환하는 단계; 상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구하는 단계; 상기 히스토그램으로부터 피크들을 추출하는 단계; 상기 피크들의 조합으로부터 차량 후보군을 추출하는 단계; 및 상기 차량 후보군에서 차량의 존재 유무를 결정하며, 차량이 있는 경우에는 차량을 인식하는 단계를 포함한다.

본 발명에 있어서, 상기 탑뷰 영상을 생성하는 단계는, 상기 탑뷰 영상에서 일정 거리 범위와 각도에 대한 부분 영역 탑뷰 영상(Local Area Top View)을 생성할 수 있다.

본 발명에 있어서, 상기 카테시안 좌표계에서 극좌표계로 변환하는 단계는, 상기 극좌표계의 가상 원점을 구하는 단계를 포함하며, 상기 가상 원점은 원 영상의 2개의 수직선이 탑뷰 영상으로 변환된 수직선의 방정식을 구하고, 직선의 교차점을 구하여 극좌표계의 가상 원점을 구할 수 있다.

본 발명에 있어서, 상기 차량을 인식하는 단계는, 상기 차량 후보군에서 후보 차량의 좌우 동형성을 측정하여 차량을 인식할 수 있다.

본 발명에 있어, 상기 차량의 좌우 동형성을 측정하여 차량을 인식하고, 차량에 대해 모멘트 함수를 사용하여 추적할 차량을 결정하는 단계를 더 포함하며, 상기 모멘트 함수 중, x축 방향과 y축 방향의 에지 영상의 밀도를 의미하는 모멘트 함수를 이용하며, 상기 모멘트 함수의 모멘트 값이 시간에 따른 다수의 프레임에서 차량 후보 결정 변수 값을 결정하여, 이 차량 후보 결정 변수 값이 일정 상수 이상일 경우에는 추적할 차량으로 결정할 수 있다.

본 발명에 있어서, 상기 차량이 추적할 차량으로 결정되지 않은 경우에는 원 영상으로부터 차량을 인식하는 단계로 되돌아 갈 수 있다.

본 발명에 있어서, 상기 인식된 차량을 추적하는 단계를 더 포함하며, 상기 차량의 추적은 피크 추적 방법을 사용하여, 상기 차량의 좌우 피크의 좌표가 다음 시간 프레임의 각도 누적 히스토그램에서 새로운 피크의 좌표를 찾는 방법에 의하여 차량을 추적할 수 있다. 상기 피크 추적 방법에서, 상기 피크를 찾는 과정에서 피크 검색을 위한 범위를 각도 넓이에 따라 변동되도록 변수를 정의하되, 상기 추적 차량이 상대적으로 멀리 있는 경우는 차량의 좌우 각도의 범위가 좁을 경우로서 시간에 따른 차량의 피크 검색 범위는 상대적으로 작도록 설정하며, 상기 추적 차량이 상대적으로 가까이 있는 경우는 차량의 좌우 각도의 범위가 넓은 경우로서 시간에 따른 차량의 피크 검색 범위는 상대적으로 크게 설정할 수 있다.

상기 기술적 과제를 달성하기 위하여 본 발명의 영상을 이용한 전방 차량 인식 및 추적 시스템은 차량의 전방에 위치한 카메라로부터 원 영상을 획득하는 영상 촬영부; 상기 원 영상으로부터 3차원 정보를 가진 탑뷰 영상을 생성하는 탑뷰 생성부, 상기 탑뷰 영상에서 에지 영상을 생성하는 에지 영상 생성부, 상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환하는 극좌표계 변환부, 상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구하는 히스토그램부, 상기 히스토그램으로부터 피크들을 추출하여 상기 피크들의 조합으로부터 차량을 인식하는 전방 차량 인식부로 구성되는 차량 인식부; 및 상기 차량 인식부에서 인식된 차량을 피크 추적 방법에 의하여 추적하는 차량 추적부를 포함한다.

본 발명에 있어서, 상기 탑뷰 생성부는 탑뷰 영상에서 일정 거리 범위와 각도에 대한 부분 영역 탑뷰 영상(Local Area Top View)을 생성할 수 있다.

본 발명에 있어서, 상기 차량 인식부는, 상기 피크들의 조합으로부터 차량 후보군을 추출하고, 후보 차량의 좌우 동형성(Symmetry)를 측정하여 형상에 있어서 차량에 가장 가까운 후보를 선택하며, 모멘트(moment) 함수를 사용하여 시간에 따른 다수의 프레임에서 특징 벡터(Feature vector)가 안정적으로 유지되는 지를 검사하여 차량을 인식할 수 있다.

본 발명에 있어서, 상기 차량 추적부는 시간 축에 대해 영상 프레임의 차량의 위치를 찾는 것으로서, 차량의 좌우 피크의 좌표가 다음 시간 프레임의 각도 누적 히스토그램에서 새로운 피크의 좌표를 찾는 방법에 의하여 차량을 추적할 수 있다.

본 발명에 있어서, 상기 차량 추적부의 차량 추적의 성공 여부는 좌우 피크의 존재 여부, 차량의 위치 검사, 차량의 동형성 검사에 의하여 이루어질 수 있다.

본 발명에 있어서, 상기 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 경보를 알리는 경보부를 더 포함할 수 있다.

본 발명에 있어서, 상기 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 전자 제어에 의하여 브레이크를 제어하는 브레이크 제어부를 더 포함할 수 있다.

본 발명에 따르면, 영상을 이용한 전방 차량 인식 및 추적 방법에 있어서, 전방의 차량을 배경 영상과 구분하여 정확하게 인식하고, 정확하고 빠르게 전방 차량을 추적할 수 있다.

또한, 종래의 전방 차량 인식 및 추적 방법보다 고속 알고리즘을 구현할 수 있어 저비용 고효율의 특징으로 인해 상용화에 유리한 효과가 있다.

도 1은 본 발명의 일실시예에 따른 영상을 이용한 전방 차량 인식 및 추적 방법을 나타내는 블록도이다.
도 2는 본 발명의 실시예에서 사용되는 원 영상을 나타낸다.
도 3은 도 2의 원 영상을 전체 영역 탑뷰 영상으로 변환한 결과를 나타내는 도면이다.
도 4는 도 2의 원 영상을 부분 영역 탑뷰 영상으로 변환한 결과를 나타내는 도면이다.
도 5는 도 4의 부분 영역 탑뷰 영상의 수직 에지 성분을 이진화한 영상 도면이다.
도 6은 본 발명의 일실시예에 따른 극좌표계의 원점을 구하는 방법을 설명하는 도면이다.
도 7은 도 5의 부분 영역 탑뷰의 에지 영상을 극좌표계에서 각도 누적 히스토그램으로 표현한 그래프이다.
도 8은 도 7의 누적 히스토그램의 각 피크들이 부분 영역 탑뷰 영상의 에지 성분과 원 영상에서 차량의 수직 에지 후보에 일치하는 것을 나타낸다.
도 9는 도 7에서 찾은 피크들의 조합을 차량 후보군으로 결정하여, 사각형 박스로 표현한 것을 나타낸다.
도 10은 도 9의 차량 후보군들을 정규화한 영상을 나타낸다.
도 11은 도 10의 차량 후보군 정규화 영상에서 에지 성분을 검출한 영상을 나타낸다.
도 12는 도 11의 차량 후보군 에지 영상에서 좌우 동형성 값을 계산한 결과값을 나타낸다.
도 13은 도 1의 차량 인식 단계와 차량 추적 단계를 시간에 따른 흐름도로 설명한 순서도이다.
도 14는 본 발명의 일실시예로 전방 차량의 거리에 무관하게 차량을 인식하는 것을 나타낸다.
도 15는 본 발명의 일실시예로 전방 차량의 다양한 종류의 차량을 인식하는 모습을 나타낸다.
도 16은 본 발명의 일실시예에 따른 차량 추적의 예를 나타낸다.
도 17은 본 발명의 일실시예에 따른 전방 차량 인식 및 추적 시스템의 블록도이다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 영상을 이용한 전방 차량 인식 및 추적 방법을 나타내는 블록도이다.

도 1을 참조하면, 차량의 전방에 위치한 카메라로부터 원 영상을 획득하여, 상기 원 영상으로부터 3차원 정보를 가진 부분 탑뷰 영상을 생성하다.

이어서, 상기 부분 탑뷰 영상에서 에지 영상을 생성하다.

이어서, 상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환한다.

이어서, 상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구한다.

이어서, 상기 히스토그램으로부터 피크들을 추출한다.

이어서, 상기 피크들의 조합으로부터 차량 후보군을 추출한다.

이어서, 성기 차량 후보군에서 차량의 존재 유무를 결정하며, 차량이 있는 경우에는 차량을 인식한다.

이어서, 인식한 차량에서 추적할 차량을 결정하고, 차량을 추적한다.

이하, 구체적인 영상을 기반으로 본 발명의 영상을 이용한 전방 차량 인식 및 추적 방법에 대하여 살펴본다.

도 2는 본 발명의 실시예에서 사용되는 원 형상을 나타낸다.

도 2를 참조하면, 차량 전방의 동일 차선에서 승용차가 보여지며, 옆 차선에서는 트럭이 보여진다.

도 3은 도 2의 원 영상을 전체 영역 탑뷰 영상으로 변환한 결과를 나타내는 도면이다.

도 3을 참조하면, 도 2의 원 영상을 일반적인 방법으로 탑뷰로 변환한 것이다.

그런데, 실험 결과 전체 거리를 포함하는 탑뷰 영상은 도로면의 차선과 여러 형상들로 인해, 차량을 검출하기가 쉽지 않다. 따라서, 본 발명에서는 원 영상의 일부를 탑뷰 영상으로 만드는 방법을 사용한다.

탑뷰 영상을 만들기 위해서 카메라 모델을 확장한다. 수학식 1은 카메라 모델을 기반으로 탑뷰를 만들기 위한 것으로, 전 사상(forward mapping)으로 표현된 것이다.

수학식 2는 수학식 1의 역 사상(Inverse mapping)을 의미한다.

여기서, c _ho 는 실제 카메라 동형 좌표계이며, c _ht 는 탑뷰가 표시되는 카메라 동형 좌표계이다.

PCRG는 각각 투사변환, 영상 평면 원점의 변위, 회전 변환, 카메라의 이동 변환을 의미한다.

PCRG의 인덱스 o는 카메라 위치에 대한 월드 좌표계에서 카메라 좌표계로의 변환을 의미하며, 인덱스 t는 탑뷰 영상을 얻기 위한 월드 좌표계에서 카메라 좌표계로의 변환을 의미한다.

수학식 1을 이용하여 탑뷰 영상을 만들지는 않는다. 그 이유는 정변환에 의해서는 보간법을 적용하여 올바른 영상을 얻기가 매우 어렵기 때문이다. 그러므로, 일반적으로 수학식 2의 역변환과 양선형보간법(Bilinear Interpolation)을 적용하여 양질의 탑뷰 영상을 얻을 수 있다.

수학식 2를 사용하여 탑뷰 영상을 만들기 위해, c _ht 의 값을 만드는 방법이 필요하다. 일반적인 전체 영상을 탑뷰로 만들 때는 수학식 3을 사용한다.

여기서, (x _w , y _w )는 수학식 2의 c _ht 의 좌표를 의미한다. (x _T , y _T )는 탑뷰 좌표계를 의미한다. C_m은 월드좌표계를 영상에 확대 축소하여 보여줄 수 있는 상수를 의미하며, x _h 는 탑뷰가 표시될 영상의 x 방향의 크기의 반을 의미하는 것으로 월드좌표계의 x 값을 영상좌표계로 변환하기 위한 값이다.

그러므로, 도 3의 전체 탑뷰 영상은 수학식 2와 수학식 3을 사용하여 생성한 것이다.

본 발명에서 제안하는 부분 탑뷰 영상을 만들기 위해서는 수학식 3을 변형하여 수학식 4와 같이 만든다.

수학식 4에서 C_a는 탑뷰 화면에 표시되는 영상의 각도를 의미하는 것으로, 원하는 영상을 얻기 위해 각도를 적절히 조정할 수 있다.

C_y는 카메라와 탑뷰의 거리를 의미하는 것으로 이 값이 클수록 탑뷰를 보여주는 최소 거리를 증가시킬 수 있다.

도 4는 도 2의 원 영상을 부분 영역 탑뷰 영상으로 변환한 결과를 나타내는 도면이다.

도 4를 참조하면, 수학식 4를 사용하여 변환된 부분 영역 탑뷰 영역의 예시이다.

도 5는 도 4의 부분 영역 탑뷰 영상의 수직 에지 성분을 이진화한 영상 도면이다.

도 5를 참조하면, 탑뷰 영상에서 볼 수 있듯이 높이를 가진 물체(차량, 장애물 등)은 가상의 원점을 중심으로 에지 성분이 극좌표계의 각도 좌표축에 따라 분포되어 있음을 알 수 있다. 높이가 없는 물체인 차선, 도로 표식 등은 극좌표계에서는 무작위적으로 분포되어 있다. 그러므로, 극좌표계에서 각도에 따라 에지 성분의 분포를 누적 히스토그램으로 표현하여 차량의 에지 위치를 검출하여 차량의 위치를 판단한다.

수학식 5는 카테시안 좌표계를 극좌표계로 변환하는 식이다.

여기서, (x, y)는 카테시안 좌표 성분이며, (r, θ)는 극좌표 성분이다. r은 원점에서의 거리를 의미하며, θ는 각도 성분을 의미한다.

극좌표계에서 각도와 거리 성분을 구하기 위해서는 극좌표계의 원점을 결정해야 한다. 부분 탑뷰 영상에서는 극좌표계의 원점을 구하기 위한 추가적인 처리가 필요하다.

도 6은 본 발명의 일실시예에 따른 극좌표계의 원점을 구하는 방법을 설명하는 도면이다.

도 6을 참조하면, (a)는 원 영상의 2개의 수직선을 표시하며, (b)는 (a)의 수직선이 변환된 결과를 나타낸다. 즉, (a)의 원 영상의 2개의 수직선이 도면 (b)의 탑뷰 영상으로 변환된 수직선의 방정식을 알아내고, 2개의 직선의 교차점을 구하여, 극좌표계의 원점으로 결정하는 방법을 사용한다.

극좌표계로의 변환이 끝나면, 각도 성분을 1도씩 양자화(quantization)하여 도 5의 이진 영상에서 에지가 존재하는 화소를 누적하여 히스토그램을 구한다. 이것을 각도 누적 히스토그램이라 한다.

도 7은 도 5의 탑뷰의 부분 영역 탑뷰의 에지 영상을 극좌표계에서 각도 누적 히스토그램으로 표현한 그래프이다.

도 7을 참조하면, 각도 누적 히스토그램의 각 피크들은 일정 높이를 가진 물체의 에지를 나타낸다. 여기서, x축은 각도를 의미하며, f(x)축은 도 6(b)의 에지를 각도에 따라 누적한 값을 의미한다.

도 8은 도 7의 누적 히스토그램의 각 피크들이 부분 영역 탑뷰 영상의 에지 성분과 원 영상에서 차량의 수직 에지 후보에 일치하는 것을 나타낸다.

도 8을 참조하면, 도 7에 표시된 4개의 피크는 (a)에서 탑뷰 영상의 극좌표계의 특정 각도의 에지를 나타낸다. (a)의 직선은 (b)에서 수직선에 해당된다. 그러므로, 각도 히스토그램의 각 피크들은 원 영상의 차량의 에지 후보에 매칭되는 것을 할 수 있으며, 이 특징을 이용하여 차량을 검출하는데 사용할 수 있다.

피크 추출을 위해서는 히스토그램에 가우시안(Gaussian) 1차 미분 필터를 컨벌루션(Convoulution)하여 부호 변환점(zero crossing)을 찾는 방법을 사용한다.

차량 후보군을 생성하기 위해서 피크들의 조합을 만든다. 차량은 좌우 두 개의 에지가 있으므로, 피크의 2개의 조합을 만들어 차량 후보군을 결정한다.

이 조합은 순열(permutation)에서 같은 짝의 경우는 한 개의 쌍으로 보는 경우이므로, 순열의 개수를 2로 나눈 값이 된다. 이 조합의 개수는 수학식 6으로 정의된다.

여기서, n은 피크의 개수를 의미하며, _nP₂는 차량 후보군의 개수를 의미한다.

도 9는 도 7에서 찾은 피크들의 조합을 차량 후보군으로 결정하여, 사각형 박스로 표현한 것을 나타낸다.

도 9를 참조하면, 도 8에서 4개의 피크를 사용하여, 6개의 차량 후보군을 찾은 결과를 보여준다. 사각형 영역에서 높이는 좌우 길이에 비례하여 일정 비율로 설정한다. 예컨대, 높이는 좌우 길이의 0.7 배로 설정할 수 있다.

이렇게 차량 후보군이 결정되면, 추돌 가능성이 있는 단 한 대의 전방 차량을 선택하는 단계를 수행한다.

본 발명에서는 차량 인식을 위한 두 개의 조건을 제안한다.

첫째, 후보 차량의 좌우 동형성(Symmetry)를 측정하여, 형상에 있어서 차량에 가장 가까운 후보를 선택한다.

둘째, 모멘트(moment) 함수를 사용하여 시간에 따른 다수의 프레임에서 특징 벡터(Feature vector)가 안정적으로 유지되는 지를 검사한다.

이 조건을 검사하기 위해서는 영상 좌표계의 차량을 동일한 크기로 정규화하는 과정이 필요하다. 정규화 방법은 양선형보간법(Bilinear interpolation)을 사용하였다.

도 10은 도 9의 차량 후보군들을 정규화한 영상을 나타낸다.

도 10을 참조하면, 도 9의 6개의 사각형 영역을 정규화한 결과를 보여 준다.

차량은 일반적으로 차량의 중심에서 좌우가 유사한 것을 특징으로 한다. 그러므로, 차량 후보군에서 좌우가 유사한 것을 검색하여 차량인지 결정할 수 있다.

도 11은 도 10의 차량 후보군 정규화 영상에서 에지 성분을 검출한 영상을 나타낸다.

도 11을 참조하면, 잡음을 제거하고, 동형성을 강조하기 위해, 입력 영상으로 도 11과 같은 에지 영상을 사용한다.

수학식 7은 후보 차량의 좌우 동형성 값을 계산한다.

여기서, 분자는 동형성 펙터 값을 계산하며, 분모는 정규화를 위한 전체 에지 값의 합이다. g(x,y)는 해당 좌표의 에지 밝기 값을 의미하며, N은 y 좌표의 크기, M은 x좌표의 크기를 의미한다. x_m 은 x 좌표계의 중심 좌표 값을 의미한다. 즉, 이 식은 계산 범위 내의 사각형안의 차량 후보가 x축의 중심 좌표축에 대해 얼마나 유사한지를 측정하는 것이다. 수학식 7의 계산 값이 작을수록 좌우 동형성이 높은 것이며, 차량 후보군 중에서 계산 값이 작은 것을 차량 후보로 결정한다.

도 12는 도 11의 차량 후보군 에지 영상에서 좌우 동형성 값을 계산한 결과 값을 나타낸다.

도 12를 참조하면, 도 11의 영상의 동형성 값에 대하여, 최소 값이 나온 첫 번째 값을 차량 후보로 결정한다.

차량후보가 정해지면, 시간에 따른 안정성 검사를 통해 추적할 차량 후보를 결정하게 된다. 이 검사를 위해서 차량의 특징 벡터를 검출하는 방법이 필요하다. 본 발명에서는 모멘트 함수를 사용한다. 수학식 8은 영상 처리에 사용되는 원(raw) 모멘트 함수를 보여준다. 원 모멘트는 해당 영상의 특징들을 포함하고 있다.

여기서, i,j는 모멘트 차수를 의미하며, x,y는 화소의 좌표이며, I(x,y)는 해당 좌표의 밝기 값을 의미한다. 이 식에 의하면, i,j의 조합에 따라 무한대의 함수를 얻을 수 있다. 하지만, 차수가 커질수록 계산량도 급수적으로 늘어난다. 본 발명의 경우는 낮은 차수만을 사용해도 충분한 결과를 얻을 수 있으므로, 수학식 9와 같이 5개의 함수만을 사용 한다

원 모멘트는 영상의 밝기 값의 이동 변환에 대해 동일한 값을 유지하지 못한다. 그러므로, 이동 변환에 대해 불변성을 가진 중심 모멘트(Central Moments)를 적용한다. 수학식 10은 중심 모멘트를 정의한다.

여기서,

와

는 수학식 11과 같이 정의되며, 모멘트를 적용하는 영상의 중심의 구성요소를 의미한다. μ_pq는 차수 p,q인 중심 모멘트를 의미한다.

수학식 12는 수학식 10을 사용하여 정리한 중심 모멘트 함수들이다.

중심 모멘트는 영상의 이동에 대해 불변이지만, 크기에 대해서는 값이 변한다. 그러므로, 이동과 크기에 대해 불변인 모멘트를 사용한다. 이것은 수학식 13과 같이 정의된다.

여기서, η _ij 는 차수i,j인 크기 불변 모멘트이다.

수학식 14는 본 발명에서 사용되는 최종 모멘트 함수이다.

η ₂₀는 x축 방향의 에지 영상의 밀도를 의미하며, η ₀₂는 y 축 방향의 에지 영상의 밀도를 의미한다. 이 두 개의 모멘트를 사용하여 추적할 차량인식에 사용한다.

에지 영상을 이용하여 모멘트 값을 구할 경우, 에지 영상의 강도의 변화에 따라 모멘트 값이 일정하게 표현되지 않을 경우가 있다. 이것을 보정하기 위해서, 에지 영상을 정규화할 필요가 있다. 전체 에지 영상의 평균을 구하고, 이 값을 사용하여 정규화를 시도하여 정규화된 에지 영상을 얻어낸다. 그 관계식은 다음과 같다.

여기서, I _s 는 원 영상의 밝기 평균값이며, x _c 는 보정 변수이며, I _d 는 정규화할 밝기 값이다.

위 식에서, I _s 는 어떤 상수 값으로 사용하게 되면, 밝기 평균값을 이 상수 값으로 정규화 한다는 의미를 갖는다. 보정 변수는 다음 식과 같다.

위 식에서 I _d 는 정규화할 상수 값으로 정할 수 있다. I _s 는 원 영상의 밝기 평균값으로 결정된다. 그러면, x _c 가 나오며, 이 값을 원 영상의 모든 밝기 값에 곱해주면, 정규화된 영상을 얻을 수 있게 된다. 이것을 정리하면 아래 식과 같다.

I _d (x,y)를 수학식 8에 적용하면 에지 영상의 강도에 무관한 모멘트 값을 얻을 수 있다.

시간축에 대해 다수의 영상에서 검출된 차량 후보의 수학식 14의 모멘트 값이 오차 범위 내에서 일정하게 유지되면 추적할 차량으로 판단한다.

수학식 18에서 모멘트 값을 시간에 대해 미분하면, 오차 값이 나온다.

여기서, ε_x는 η ₂₀의 시간에 대한 오차 값을 의미하며, ε_y는 η ₀₂의 시간에 대한 오차 값을 의미한다.

여기서, E는 오차 허용 상수이며, 실험을 통해 그 값을 얻을 수 있다. 수학식 18의 ε_x와 ε_y이 오차 허용 기준치를 모두 만족하면, 시간 i에 대해 카운트 하여, 변수 c에 누적한다. 수학식 19의 결과값 c는 차량 후보 결정 변수라 부르며, 이 값이 일정 상수 이상일 때, 차량 추적을 위한 좌표가 결정되며, 차량 추적 단계로 진행된다.

차량 추적 단계는 차량 인식 단계에서 결정된 차량을 시간의 흐름에 따라 추적을 유지하는 단계를 말한다.

도 13은 도 1의 차량 인식 단계와 차량 추적 단계를 시간에 따른 흐름도로 설명한 순서도이다.

도 13을 참조하면, 차량 인식 단계는 부분 영역 탑뷰 영상 생성에서 차량 인식 단계까지의 모든 단계를 포함한다.

차량을 인식하고 추적 차량이 결정되면, 이후에 차량 추적 단계가 시작되며, 추적 차량이 결정되지 않은 경우에는 차량 인식 단계로 되돌아 간다.

차량 추적 단계에서 추적된 차량이 올바르게 유지되고 있으면, 다음 시간 프레임의 영상을 추적하기 위해 차량 추적 단계로 순환하여 되돌아 간다.

만약에 차량 추적이 실패하면, 차량 인식 단계의 처음으로 되돌아가서 추적할 차량을 다시 결정하게 된다.

차량 추적 단계에서 사용되는 방법은 차량 인식 단계에서 사용되었던 부분 영역 탑뷰 영상 생성 단계, 극좌표 변환 단계, 누적 히스토그램 생성 단계까지 동일하게 사용된다. 그리고, 본 발명에서 제안하는 피크 추적 단계가 사용된다.

피크 추적 단계는 차량 인식 단계에서 결정된 차량의 좌우 피크의 좌표가 다음 시간 프레임의 각도 누적 히스토그램에서 새로운 피크를 찾는 방법에 의해 차량의 추적을 수행한다.

추적 단계는 시간 축에 대해 영상 프레임의 차량의 위치를 찾는 것이며, 수학식 20과 같이 표현된다.

여기서, x _i-1 은 도 7의 이전 시간의 x축의 각도 값을 의미하며, f(x _{i -1})은 x _{i -1} 위치의 누적 히스토그램 값을 의미한다. x _l 과 x _h 는 최대값을 찾기 위한 범위를 의미한다. f(x _i )는 수학식 20에서 현재 프레임의 차량의 피크 위치를 기준으로 일정 범위 내에서 찾은 누적 히스토그램의 최대값을 의미하며, x _i 는 새로 검색된 최대 피크값의 x축의 위치를 의미한다.

수학식 20은 시간 축에 대한 데이터를 처리한다, x _{i -1}은 이전 시간에서 찾은 차량의 위치를 의미하며, x _i 는 현재 시간에서 찾은 차량의 위치를 의미한다. 즉 i는 시간 프레임의 변화를 표현하는 변수이다.

x _l 과 x _h 는 차량 검색을 위한 범위이다. 이 값은 고정된 상수 값이 아니다. 그 이유는 탑뷰의 특성상, 차량이 멀리 있는 경우(차량의 좌우 각도의 범위가 좁을 경우) 시간에 따른 차량의 넓이의 변화는 상대적으로 작은 반면에, 차량이 가까이 있는 경우(차량의 좌우 각도의 범위가 넓은 경우) 시간에 따른 차량의 넓이의 변화가 상대적으로 크다. 이 현상은 누적 히스토그램의 각도의 변화에도 동일한 영향을 준다. 그러므로, 수학식 21과 같이 x _l 과 x _h 를 정의한다.

여기서, w는 차량 검색을 위한 범위 변수로 차량의 넓이에 따라 변한다. A _L 은 차량의 왼쪽 피크의 각도 값이며, A _R 은 차량의 오른쪽 피크의 각도 값이다. C는 w의 크기를 조정하기 위한 가중치 상수로 실험을 통해 얻어진다. 위의 수학식 20은 차량의 좌우 피크에 대해 독립적으로 적용되어 추적이 이루어진다.

차량의 추적 성공 판단 단계는 좌우 피크의 존재 여부, 차량의 위치 검사, 차량의 동형성 검사로 이루어진다.

좌우 피크의 존재 여부는 임계값을 넘는 피크가 존재하는지 검사하여 결정된다.

차량의 위치 검사 단계는 추적중인 차량의 위치가 주행중인 차선 내부에 있는지, 아니면 차선 영역을 이탈했는지 검사하여 결정된다,

차량의 동형성 검사는 수학식 7을 사용하여 차량인지 아닌지를 검사하여 결정된다.

도 13를 다시 참조하면, 이 3가지 조건을 모두 만족하면, 차량 추적을 계속 진행하며, 만족하지 않으면 차량 추적을 중단하고 차량 인식 단계로 되돌아 간다.

(실시예)

본 발명의 실시예는 다음과 같다.

본 발명의 실험을 위해 차량에 설치할 수 있는 폐사의 실험용 단말기를 사용하였으며, 단말기에 사용된 CPU는 s3c6410이며 CPU 속도는 800MHz이며, OS는 리눅스이다. 실험 결과, 10fps(frame/second)의 처리 속도를 평균적으로 유지하여, 실시간 차량 추적이 가능함을 알 수 있다.

도 14는 본 발명의 일시시예로 전방 차량의 거리에 무관하게 차량을 인식하는 것을 나타낸다.

도 14를 참조하면, (a)는 상대적으로 멀리 있는 원거리 전방 차량, (b)는 중거리의 전방 차량, (c)는 근거리의 전방 차량을 인식한 것을 보여 준다.

도 15는 본 발명의 일시예로 전방 차량의 다양한 종류의 차량을 인식하는 모습을 나타낸다.

도 15를 참조하면, (a)는 승용차, (b)는 SUV, (c)는 미니밴, (d)는 트럭, (e)는 탑차를 인식한 영상을 보여 준다.

도 16은 본 발명의 일실시예에 따른 차량 추적의 예를 나타낸다.

도 16을 참조하면, (a)에서 (d)까지의 영상은 실시간으로 차량을 추적하는 모습을 보여주며, 각 영상의 시간 간격은 1초 간격이다.

이 실험 환경은 앞차가 신호 정지한 상태에서, 자차가 급제동을 하여야 하는 경우로서, 이런 경우가 전방 추돌 경보를 운전자에 알려야 하는 경우이다. 실험 결과, 전방의 차량이 자차와 짧은 시간에 근접하는 경우에도 추적의 성공율이 높았다.

이하, 상술한 영상을 이용한 전방 차량 인식 및 추적 방법을 구현하기 위한 전방 차량 인식 및 추적 시스템에 대하여 살펴본다.

도 17은 본 발명의 일실시에에 따른 전방 차량 인식 및 추적 시스템의 블록도이다.

도 17을 참조하면, 전방 차량 인식 및 추적 시스템은 영상촬영부(100), 차량 인식부(200), 차량 추적부(300), 경보부(400), 및 브레이크 제어부(500)를 포함한다.

영상 촬영부(100)는 차량의 전방에 위치한 카메라로부터 원 영상을 획득한다.

차량 인식부(200)는 원 영상으로부터 전방 차량을 인식하는 구성으로서, 구체적으로 원 영상으로부터 3차원 정보를 가진 탑뷰 영상을 생성하는 탑뷰 생성부(210), 상기 탑뷰 영상에서 에지 영상을 생성하는 에지 영상 생성부(220), 상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환하는 극좌표계 변환부(230), 상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구하는 히스토그램부(240), 상기 히스토그램으로부터 피크들을 추출하여 상기 피크들의 조합으로부터 차량을 인식하는 전방 차량 인식부(250)로 구성된다.

탑뷰 생성부(210)는 탑뷰 영상에서 일정 거리 범위와 각도에 대한 부분 영역 탑뷰 영상(Local Area Top View)을 생성할 수 있다.

에지 영상 생성부(220)는 탑뷰 영상의 수직 에지 성분을 이진화한 영상으로 생성한다.

극좌표계 변환부(230)는 카테시안 좌표계에서 극좌표계로 변환하며, 극좌표계의 가상 원점을 구하는데, 가상 원점은 원 영상의 2개의 수직선이 탑뷰 영상으로 변환된 수직선의 방정식을 구하고, 직선의 교차점을 구하여 극좌표계의 가상 원점을 구할 수 있다.

히스토그램부(240)는 극좌표계로의 변환이 끝나면, 각도 성분을 1도씩 양자화(quantization)하여 수직 에지 성분의 이진 영상에서 에지가 존재하는 화소를 누적하여 히스토그램을 구한다

차량 인식부(250)는 피크들의 조합으로부터 차량 후보군을 추출하고, 후보 차량의 좌우 동형성(Symmetry)를 측정하여 형상에 있어서 차량에 가장 가까운 후보를 선택하며, 모멘트(moment) 함수를 사용하여 시간에 따른 다수의 프레임에서 특징 벡터(Feature vector)가 안정적으로 유지되는 지를 검사하여 차량을 인식한다.

차량 추적부(300)는 시간 축에 대해 다수의 영상 프레임에서 차량의 위치를 찾는 것으로서, 차량의 좌우 피크의 좌표가 다음 시간 프레임의 각도 누적 히스토그램에서 새로운 피크의 좌표를 찾는 방법에 의하여 차량을 추적하며, 차량 추적의 성공 여부는 좌우 피크의 존재 여부, 차량의 위치 검사, 차량의 동형성 검사에 의하여 이루어진다.

경보부(400)는 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 운전자에게 추돌 경보를 알린다.

브레이크 제어부(500)는 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 전자 제어에 의하여 브레이크를 제어하여 추돌을 예방할 수 있다.

상기 본 발명의 실시예를 기술하였으나, 본 발명의 권리는 이에 한정하지 않으며, 청구 범위에 의해 해석되어야 하며, 본 발명의 기술을 사용한 당업자의 다양한 수정 및 변형도 본 발명의 권리 범위에 속한다.

100: 영상 촬영부 200: 차량 인식부
210: 탑뷰 생성부 220: 에지 영상 생성부
230: 극좌표계 변환부 240: 히스토그램부
250: 전방 차량 인식부 300: 차량 추적부
400: 경보부 500: 브레이크 제어부

Claims (15)

1. 차량의 전방에 위치한 카메라에서 영상을 획득하여 영상 내의 차량을 인식하고 추적하는 방법에 있어서,
   차량의 전방에 위치한 카메라로부터 원 영상을 획득하는 단계;
   상기 원 영상으로부터 3차원 정보를 가진 탑뷰 영상을 생성하는 단계;
   상기 탑뷰 영상에서 에지 영상을 생성하는 단계;
   상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환하는 단계;
   상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구하는 단계;
   상기 히스토그램으로부터 피크들을 추출하는 단계;
   상기 피크들의 조합으로부터 차량 후보군을 추출하는 단계; 및
   상기 차량 후보군에서 차량의 존재 유무를 결정하며, 차량이 있는 경우에는 차량을 인식하는 단계를 포함하는 영상을 이용한 전방 차량 인식 및 추적 방법.
2. 제1항에 있어서,
   상기 탑뷰 영상을 생성하는 단계는,
   상기 탑뷰 영상에서 일정 거리 범위와 각도에 대한 부분 영역 탑뷰 영상(Local Area Top View)을 생성하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
3. 제1항에 있어서,
   상기 카테시안 좌표계에서 극좌표계로 변환하는 단계는,
   상기 극좌표계의 가상 원점을 구하는 단계를 포함하며,
   상기 가상 원점은 원 영상의 2개의 수직선이 탑뷰 영상으로 변환된 수직선의 방정식을 구하고, 직선의 교차점을 구하여 극좌표계의 가상 원점을 구하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
4. 제1항에 있어서,
   상기 차량을 인식하는 단계는,
   상기 차량 후보군에서 후보 차량의 좌우 동형성을 측정하여 차량을 인식하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
5. 제4항에 있어서,
   상기 후보 차량의 좌우 동형성을 측정하여 차량을 인식하고, 차량에 대해 모멘트 함수를 사용하여 추적할 차량을 결정하는 단계를 더 포함하며,
   상기 모멘트 함수 중, x축 방향과 y축 방향의 에지 영상의 밀도를 의미하는 모멘트 함수를 이용하며,
   상기 모멘트 함수의 모멘트 값이 시간에 따른 다수의 프레임에서 차량 후보 결정 변수 값을 결정하여, 이 차량 후보 결정 변수 값이 일정 상수 이상일 경우에는 추적할 차량으로 결정하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
6. 제5항에 있어서,
   상기 후보 차량이 추적할 차량으로 결정되지 않은 경우에는 원 영상으로부터 차량을 인식하는 단계로 되돌아 가는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
7. 제1항에 있어서,
   상기 인식된 차량을 추적하는 단계를 더 포함하며,
   상기 차량의 추적은 피크 추적 방법을 사용하여, 상기 차량의 좌우 피크의 좌표가 다음 시간 프레임의 각도 누적 히스토그램에서 새로운 피크의 좌표를 찾는 방법에 의하여 차량을 추적하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
8. 제7항에 있어서,
   상기 피크 추적 방법에서,
   상기 피크를 찾는 과정에서 피크 검색을 위한 범위를 각도 넓이에 따라 변동되도록 변수를 정의하되,
   상기 추적 차량이 상대적으로 멀리 있는 경우는 차량의 좌우 각도의 범위가 좁을 경우로서 시간에 따른 차량의 피크 검색 범위는 상대적으로 작도록 설정하며,
   상기 추적 차량이 상대적으로 가까이 있는 경우는 차량의 좌우 각도의 범위가 넓은 경우로서 시간에 따른 차량의 피크 검색 범위는 상대적으로 크게 설정하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 방법.
9. 차량의 전방에 위치한 카메라로부터 원 영상을 획득하는 영상 촬영부;
   상기 원 영상으로부터 3차원 정보를 가진 탑뷰 영상을 생성하는 탑뷰 생성부, 상기 탑뷰 영상에서 에지 영상을 생성하는 에지 영상 생성부, 상기 에지 영상에 대해 카테시안 좌표계에서 극좌표계로 변환하는 극좌표계 변환부, 상기 극좌표계에서 각도축에 대해 각도 누적 히스토그램으로 구하는 히스토그램부, 상기 히스토그램으로부터 피크들을 추출하여 상기 피크들의 조합으로부터 차량을 인식하는 전방 차량 인식부로 구성되는 차량 인식부; 및
   상기 차량 인식부에서 인식된 차량을 피크 추적 방법에 의하여 추적하는 차량 추적부를 포함하는 영상을 이용한 전방 차량 인식 및 추적 시스템.
10. 제9항에 있어서,
    상기 탑뷰 생성부는 탑뷰 영상에서 일정 거리 범위와 각도에 대한 부분 영역 탑뷰 영상(Local Area Top View)을 생성하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 시스템.
11. 제9항에 있어서,
    상기 차량 인식부는,
    상기 피크들의 조합으로부터 차량 후보군을 추출하고,
    후보 차량의 좌우 동형성(Symmetry)를 측정하여 형상에 있어서 차량에 가장 가까운 후보를 선택하며,
    모멘트(moment) 함수를 사용하여 시간에 따른 다수의 프레임에서 특징 벡터(Feature vector)가 안정적으로 유지되는 지를 검사하여 차량을 인식하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 시스템.
12. 제9항에 있어서,
    상기 차량 추적부는 시간 축에 대해 영상 프레임의 차량의 위치를 찾는 것으로서, 차량의 좌우 피크의 좌표가 다음 시간 프레임의 각도 누적 히스토그램에서 새로운 피크의 좌표를 찾는 방법에 의하여 차량을 추적하는 것을 특징으로 영상을 이용한 전방 차량 인식 및 추적 시스템.
13. 제9항에 있어서,
    상기 차량 추적부의 차량 추적의 성공 여부는 좌우 피크의 존재 여부, 차량의 위치 검사, 차량의 동형성 검사에 의하여 이루어지는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 시스템.
14. 제9항에 있어서,
    상기 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 경보를 알리는 경보부를 더 포함하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 시스템.
15. 제9항에 있어서,
    상기 차량 추적부에 의한 차량의 추적에 의하여, 전방 추돌이 예상되는 경우에는 전자 제어에 의하여 브레이크를 제어하는 브레이크 제어부를 더 포함하는 것을 특징으로 하는 영상을 이용한 전방 차량 인식 및 추적 시스템.

Images