KR101339121B1 - 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 - Google Patents

Abstract

본 발명은 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량 어라운드 뷰 영상 생성장치에 있어서, 차량의 사방을 촬영하도록 설치되는 복수 개의 광각 카메라, 복수 개의 광각 카메라로부터 촬영된 복수 개의 입력 영상 신호를 수신하는 영상 신호 수신부, 상기 수신된 입력 영상 신호를 구성하는 영상 화소들이 보정 후의 단일 평면화 영상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장하는 것으로서, 상기 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계와, 상기 재배열 단계에 의해 재배열된 영상 신호의 단일 영상화 단계에 의해 생성되는 샘플 출력 영상을 구성하는 각각의 영상 화소들이 복수개의 입력 영상 신호의 영상 화소에 대응되는 관계를 역연산하여 생성되는 제 1 룩업 테이블, 미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 제 2 룩업 테이블, 주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장하는 제 3 룩업 테이블, 상기 제 1 ~ 제 3 룩업 테이블을 참조하여 상기 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 영상 합성부 및 상기 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 영상 디스플레이부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 어라운드 뷰 영상을 생성하기 위해 소요되는 시간 및 연산량을 단축하여 프로그램 성능이 향상될 뿐 아니라 종래에 비해 낮은 사양의 장비로도 동등한 성능을 제공할 수 있어 제품 단가가 인하될 수 있고 그에 따라 제품 경쟁력을 현저하게 향상시킬 수 있는 효과가 있다.

Description

다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치{AN APPARATUS FOR GENERATING AROUND VIEW IMAGE OF VEHICLE USING MULTI LOOK-UP TABLE}

본 발명은 복수 개의 광각 카메라에서 얻어지는 영상들을 이용하여 차량의 어라운드 뷰 영상을 생성하는 장치에 관한 것으로서, 보다 상세하게는 다중 록업 테이블을 이용하여 광각 카메라 영상의 왜곡이 보정된 영상, 사용자 인터페이스 영상 및 주차 지원 영상이 하나의 단말기 출력 윈도우 상에 표시될 수 있도록 하여 영상 신호처리를 위한 연산 시간을 현저하게 단축할 수 있도록 함과 아울러 어라운드 뷰 영상 내에서 차량의 주위 영상뿐만 아니라 주차 지원 영상을 동시에 표시할 수 있어 보다 원활한 주차를 지원할 수 있도록 하는 기술에 관한 것이다.

최근, IT 기술의 발전과 더불어 이를 차량에 접목시키고자 하는 시도가 증가하고 있다. 예컨대, 차량에 카메라를 장착하여 운전 상태나 주변 상황을 녹화하는 블랙 박스 장치나 차량의 후방에 카메라를 설치하여 후진시 후방 영상을 촬영하여 차량 내부의 디스플레이 장치에 출력하도록 하는 주차 보조 시스템 등이 사용되고 있으며 이러한 추세는 점차 증가하고 있는 것으로 보고되고 있다. 한편, 이러한 기술 중에서 최근에는 차량의 전후방, 좌우측면에 광각 카메라를 설치하고 이들 카메라들로부터 촬영되는 영상을 차량의 바로 위 즉, 상방향에서 내려다보는 형태의 영상으로 재구성하여 차량의 디스플레이 장치에 출력함으로써 운전자의 편의를 도모하도록 하는 시스템도 제안되고 있다.

이러한 시스템은 마치 새가 하늘에서 내려다 보는 듯한 영상을 제공한다는 점에서 버드아이뷰(Bird eye vie) 시스템이라고 하거나 AVM(around view monitoring) 시스템 등으로 불리우고 있다. 이러한 기술은 보다 넓은 시야각을 확보하기 위하여 어안(fish eye) 렌즈를 구비하는 광각 카메라를 사용하는데, 이러한 광각 카메라를 사용하게 되면 왜곡된 영상을 최초 영상 신호로서 획득하게 되므로 이러한 왜곡 영상을 왜곡이 없는 영상으로 보정하기 위한 과정을 필요로 하게 된다.

또한, 이러한 시스템은 차량의 전후방, 좌우측면에 설치된 복수개의 광각 카메라에 의해 지면에 수평 방향으로 촬영된 영상을 지면에서 수직 방향인 형태의 영상으로 변환하는 과정(평면화,homography))을 필요로 하므로 이러한 변환을 수행하기 위한 복잡한 연산 과정을 필요로 한다. 또한, 평면화된 복수개의 영상들을 하나의 영상으로 재배열하고 재배열된 영상에서 겹치는 부분들을 처리하는 단일 영상화 과정까지 필요로 한다. 따라서, 종래 기술에 의한 버드아이뷰 시스템은 연산 과정이 매우 복잡하고 수단계의 과정을 연속적으로 또한 실시간으로 처리해야 하므로 연산량이 방대하고 고사양 및 고가의 하드웨어 장비를 필요로 한다는 문제점이 있다.

이러한 문제점을 해결하기 위해, 한국등록특허 10-1077584호에는 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법에 관한 것으로서, 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 룩업 테이블을 이용하여 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 룩업 테이블을 참조하여 각각의 입력 영상 신호에 대응되는 합성 영상 신호를 생성하여 출력하도록 함으로써, 복수개의 카메라로부터 획득한 복수개의 영상을 신속하고 효율적으로 단일 평면화 영상으로 구성할 수 있도록 하는 기술이 제안된 바 있다.

그러나, 이러한 종래 기술은 단일 룩업 테이블을 이용한 것으로서, 도 1과 같이, 카메라의 촬영 영상과 왜곡이 보정된 합성 영상 간의 관계만이 단일 룩업 테이블에 저장되어 있으므로 미리 생성된 사용자 인터페이스 영상이 메모리 상에 별도로 저장되고, 그에 따라 어라운드 뷰 영상과 사용자 인터페이스 영상이 각각의 윈도우에서 생성되어 화면에 출력되게 되므로 영상 처리 효율이 저하되는 문제점이 있다.

또한, 종래 어라운드 뷰 시스템은 어라운드 뷰 영상만을 표시할 뿐, 어라운드 뷰 영상 내에 후방 감지 센서의 감지 신호를 시각화한 영상(후방 감지 신호 영상) 등의 주차 지원 영상은 표시되지 않아 만족할만한 주차 지원이 이루어지지 못하고 있는 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위한 안출된 것으로서, 본 발명의 목적은 다중 록업 테이블을 이용하여 단일 평면화 영상, 사용자 인터페이스 영상 및 주차 지원 영상이 하나의 단말기 출력 윈도우 상에 표시될 수 있도록 하여 영상 신호처리를 위한 연산 시간을 현저하게 단축할 수 있도록 하는 것이다.

본 발명의 다른 목적은 어라운드 뷰 영상 내에서 차량의 주위 영상뿐만 아니라 주차 지원 영상을 동시에 표시할 수 있도록 함으로써 보다 원활한 주차를 지원할 수 있도록 하는 기술에 관한 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량 어라운드 뷰 영상 생성장치에 있어서, 차량의 사방을 촬영하도록 설치되는 복수 개의 광각 카메라, 복수 개의 광각 카메라로부터 촬영된 복수 개의 입력 영상 신호를 수신하는 영상 신호 수신부, 상기 수신된 입력 영상 신호를 구성하는 영상 화소들이 보정 후의 단일 평면화 영상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장하는 것으로서, 상기 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계와, 상기 재배열 단계에 의해 재배열된 영상 신호의 단일 영상화 단계에 의해 생성되는 샘플 출력 영상을 구성하는 각각의 영상 화소들이 복수개의 입력 영상 신호의 영상 화소에 대응되는 관계를 역연산하여 생성되는 제 1 룩업 테이블, 미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 제 2 룩업 테이블, 주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장하는 제 3 룩업 테이블, 상기 제 1 ~ 제 3 룩업 테이블을 참조하여 상기 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 영상 합성부 및 상기 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 영상 디스플레이부를 포함하는 것을 특징으로 하는 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치가 제공된다.

여기서, 상기 제 1 룩업 테이블은 샘플 출력 영상을 구성하는 각각의 영상 화소가 어느 카메라로부터 획득된 것인가를 결정한 후, 단일 영상화 단계, 재배열 단계, 평면화 단계 및 왜곡 보정 단계에 대한 역연산을 순차적으로 수행함으로써 생성될 수 있다.

여기서, 상기 영상 디스플레이부는 사용자 인터페이스 표시부, 후방 카메라 영상 표시부, 어라운드뷰 영상 표시부를 포함하는 것을 특징으로 하는 다중 룩업 테이블을 포함하여 구성될 수 있다.

그리고, 상기 사용자 인터페이스 영상은 상기 사용자 인터페이스 표시부를 구성하는 영상과 상기 어라운드 뷰 영상 표시부의 중심에 표시되는 차량 이미지 중 적어도 어느 하나를 포함하는 것이 바람직하다.

또한, 상기 주차 지원 영상은 상기 후방 카메라 영상 표시부에 표시되는 차량 궤적 영상과 상기 어라운드 뷰 영상 표시부에 표시되는 후방 감지 신호 영상 중 적어도 어느 하나를 포함하는 것이 바람직하다.

그리고, 상기 후방 감지 신호 영상은 감지되는 후방 장애물과의 거리를 표현하는 복수 개의 원호로 표시되고, 상기 후방 장애물과의 거리와 원호들의 대응되는 관계가 제 3 룩업 테이블에 저장되는 것이 보다 바람직하다.

또한, 상기 제 3 룩업 테이블은 상기 각 원호에 대응되는 단위 경보음의 출력 시간, 출력 듀티 사이클 정보가 더 저장되는 것이 더욱 바람직하다.

본 발명에 따르면, 어라운드 뷰 영상을 생성하기 위해 소요되는 시간 및 연산량을 단축하여 프로그램 성능이 향상될 뿐 아니라 종래에 비해 낮은 사양의 장비로도 동등한 성능을 제공할 수 있어 제품 단가가 인하될 수 있고 그에 따라 제품 경쟁력을 현저하게 향상시킬 수 있는 효과가 있다.

도 1은 종래 단일 룩업 테이블을 사용한 어라운드 뷰 영상 생성장치에 의해 어라운드 뷰 영상이 표시되는 개념을 설명하기 위한 도면이다.
도 2는 어라운드 뷰 영상 생성을 위한 영상 합성 과정과 각 과정별 영상을 예시적으로 나타낸 도면이다.
도 3은 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치의 구성 블럭도이다.
도 4는 제 1 룩업 테이블의 생성과정을 나타낸 흐름도이다.
도 5는 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치에 의해 어라운드 뷰 영상이 표시되는 개념을 설명하기 위한 도면이다.
도 6은 후방 감지 신호 영상을 생성하는 과정을 도시한 것이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.

우선, 도 2를 참조하여 어라운드 뷰 영상 생성을 위한 영상 합성 과정을 개략적으로 설명하면 다음과 같다.

차량의 전후방, 좌우측면에 복수개 예컨대 4개의 어안 렌즈를 갖는 광각 카메라를 설치하여 지면에 수평 방향으로 영상을 촬영하고, 이를 차량의 상부에서 내려다 보는 형태로 재구성하는 영상 합성 시스템은 6단계로 구성되는데, 영상 입력단계(S100), 왜곡 보정 단계(S110), 평면화 단계(S120), 재배열 단계(S130), 단일 영상화 단계(S140) 및 단일 영상 출력 단계(S150)의 과정을 구비한다.

영상 입력 단계(S100)는 복수개의 광각 카메라로부터 획득되는 복수개의 영상 신호가 입력되는 과정이다. 예컨대, 차량인 대상 물체에 복수개의 카메라를 장착하는 경우, 전방/후방/좌측면/우측면에 4개의 광각 카메라를 장착할 수 있으며, 이 때 촬영되는 영상은 도 1에 나타낸 바와 같이 나타나게 된다. 전술한 바와 같이, 광각 카메라는 어안 렌즈를 구비하므로 넓은 시야각을 확보할 수 있는데, 이는 대상 물체 주변의 영상 신호에 의해 추후에 설명하는 바와 같이 단일 평면화 영상을 구성하기 위해서는 각 카메라간에 일정 영역이 서로 겹치는 부분이 있어야 하고 겹치는 영역에도 불구하고 보다 적은 수의 카메라로서 영상을 재구성하기 위해서는 각각의 카메라의 시야각이 넓어야 하기 때문이다.

다음으로, 왜곡 보정 단계(S110)는 전술한 바와 같이 가능한 한 적은 수의 카메라만을 사용하기 위해 어안 렌즈를 장착한 광각 카메라를 사용할 경우 넓은 시야각을 확보할 수는 있으나, 획득되는 영상의 가장자리 쪽으로 갈수록 영상이 방사형으로 왜곡되게 된다. 왜곡 보정 단계(S110)는 이러한 왜곡 영상을 보정하기 위한 과정이다.

어안 렌즈 왜곡 보정은 크게 "Equi-solid Angle Projection", "Orthographic Projection"의 두 가지 방식으로 나눌 수 있는데, 이는 어안 렌즈를 제조할 때 어안 렌즈로 들어오는 빛을 어떻게 재배열하느냐를 정의하는 방식으로 어안 렌즈 제조사는 어안 렌즈 제조 시에 두 가지 방법 중 하나를 선택해서 어안렌즈를 제조한다. 따라서 어안 렌즈에 적용된 왜곡 방식에 따라 왜곡 연산의 역연산을 구하고, 어안 렌즈로 촬영한 영상을 역변환해주면 "왜곡 보정"된 영상을 얻을 수 있으며, 이 때 변환된 영상을 "왜곡 보정 영상"이라고 한다. 왜곡 보정 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.

왜곡 보정을 수행하기 위한 연산식은 예컨대 다음과 같은 수학식을 사용할 수 있다.

여기에서, f는 카메라의 촛점 거리, R_f는 카메라의 광중심에서 입력 영상의 (x,y) 좌표 즉,

까지의 거리,

및

은 입력 영상의 (x,y) 좌표값이고,

및

은 왜곡 보정 영상의 (x,y) 좌표값이다.

다음으로, 왜곡 보정 영상을 얻게 되면, 평면화(homography) 과정을 수행한다(S120). 평면화 과정(S120)은 대상 물체 즉, 카메라가 장착된 물체 위에서 대상물체를 지면을 향하는 방향 즉, 수직으로 내려다보는 영상으로 변환하는 과정이다. 전술한 바와 같이, 왜곡 보정 단계(S110)에서 얻어지는 왜곡 보정 영상은 각각의 카메라마다 각기 다른 시점으로 촬영한 영상에 해당하므로, 이들 영상은 하나의 시점 즉, 수직으로 내려다 보는 시점의 영상으로 변환하는 과정이 평면화 단계(S120)이다. 평면화 단계(S120)를 수행하여 생성된 영상을 평면화 영상이라고 하며, 평면화 단계(S120) 수행 이후의 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.

평면화 단계에서는 예컨대 다음과 같은 수학식을 사용할 수 있다.

다음으로, 평면화 영상이 획득되면, 재배열 단계(Affine transform)를 수행한다(S130). 재배열 단계(S130)는, 평면화 단계에서 생성된 평면화 영상들을 변위이동 및 회전만을 적용해 재배열하는 단계로서, 대상 물체를 둘러싸도록 촬영된 영상들이 대상물체를 제외한 주변 영상으로 재구성되는 단계이다. 이러한 재배열 단계(S130)는, 화소에 대한 이동과 회전만으로 이루어질 수 있는데, 이를 위해 어파인 변환(Affine transform) 등과 같은 방법을 사용할 수 있다. 재배열을 통해 생성된 영상을 재배열 영상이라고 하며, 재배열 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.

재배열 단계에서는 다음과 같은 수학식을 사용할 수 있다.

다음으로, 단일 영상화 단계(S140)를 수행한다. 재배열 영상은 영상을 단지 다시 배열해 놓은 것에 불과하기 때문에, 대상 물체 주변을 촬영한 영상들은 서로 공통 영역을 가지며 공통 영역이 서로 겹치게 배열된다. 따라서 공통 영역을 가지는 재배열 영상에서 겹치는 부분을 처리하여 공통 영역에 대해 하나의 대표 영상을 획득하게 하는 단일 영상화 단계가 필요하다. 단일 영상화 단계는 여러 가지 구현 방식을 사용할 수 있으며 구현 방식에 따라 달라질 수 있으므로, 구현 원리만 간단히 설명하도록 한다. 공통 영역이 발생하면 단일 영상화단계는 이 공통 영역을 화소 단위로 쪼개어 분석하여 보다 더 정확한 위치에 배열된 화소들만으로 단일화 영상 영역을 구성하게 한다. 정확한 위치에 배열된 화소에 대한 기준은 여러 가지가 될 수 있는데 가장 간단한 기준은 예컨대 화소가 속한 영상의 광중심과 화소와의 거리가 될 수 있다. 이 기준을 이용하여 공통 영역의 겹치는 화소들 가운데 광중심에 보다 더 가까이 놓인 화소만으로 공통 영역을 재구성하게 되면, 재배열 영상을 겹치는 영역없이 단일 영상으로 구성할 수 있게 된다. 단일 영상화 단계를 통해 생성되는 영상을 단일 영상이라 하며, 도 1에 나타낸 바와 같이 표시될 수 있다.

이와 같이 단일 영상화 단계(S140)까지를 수행하게 되면 평면화된 단일 영상이 획득되고, 이를 출력(S150)하게 되면 도 1에 나타낸 바와 같이 대상 물체 주변을 대상 물체의 수직 상방향에서 내려다 본 형태의 영상을 볼 수 있게 된다.

도 3은 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치의 구성 블럭도, 도 4는 제 1 룩업 테이블의 생성과정을 나타낸 흐름도, 도 5는 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치에 의해 어라운드 뷰 영상이 표시되는 개념을 설명하기 위한 도면, 도 6은 후방 감지 신호 영상을 생성하는 과정을 도시한 것이다.

도 3을 참조하면, 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치는 복수 개의 광각 카메라(10), 영상신호 수신부(20), 영상 합성부(30), 영상 디스플레이부(40) 및 메모리(50)를 포함하여 구성된다.

광각 카메라(10)는 인접한 광각 카메라 사이에서 촬영 영역이 일부 겹치도록 배치되며, 적어도 2개 이상의 복수 개로 구성되어 각각 영상을 촬영하여 이를 전기적인 신호로 변환하여 영상신호 수신부(20)로 전송한다. 바람직하게는, 광각 카메라(10)는 차량의 전,후,좌,우 영상을 촬영하도록 차량의 전,후,좌,우에 각각 설치된다.

영상신호 수신부(20)는 복수 개의 광각 카메라(10)로부터 획득된 복수 개의 입력 영상신호를 각각 수신하는 수단으로서, 수신된 복수 개의 입력 영상신호를 전치리한 후 영상 합성부(30)로 전송한다.

영상 합성부(30)는 영상신호 수신부(20)로부터 복수 개의 입력 영상신호를 수신하면, 메모리(50)의 룩업 테이블을 참조하여 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 기능을 수행한다.

영상 디스플레이부(40)는 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 것으로서, 도 5의 우측 영상과 같은 형태로 표시될 수 있으며, 이는 사용자 인터페이스 화면을 표시하는 사용자 인터페이스 표시부(61), 후방에 설치된 광각 카메라(10)에 의해 촬영되는 영상이 표시되는 후방 카메라 영상 표시부(62) 및 차량의 궤적 형상 주위에 차량의 주변 촬영 영상이 표시되는 어라운드뷰 영상 표시부(63)를 포함한다.

메모리(50)는 입력 영상신호, 사용자 인터페이스 영상 및 주차 지원 영상과 단말기 출력 윈도우 상의 영상 화소와의 대응관계가 기록된 제 1 ~ 3 룩업 테이블을 포함한다.

제 1 룩업 테이블(51)은 수신된 입력 영상 신호를 구성하는 영상 화소들이 3차원 워핑 방정식에 의해 대응되는 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장한다.

제 1 룩업 테이블(51)의 생성 과정 및 이를 이용한 단일 평면 영상 방법을 상세하게 설명하면 다음과 같다.

도 4를 참조하면, 우선 샘플 출력 영상을 구성하는 화소 중 어느 하나의 화소를 선택한다(S200). 화소가 선택되면, 선택된 화소가 복수개의 광각 카메라(11) 중에서 어느 것으로부터 생성된 것인지를 파악한다(S210). 이는 단일 영상화 단계(S140)의 역과정으로 볼 수 있는데, 전술한 바와 같이 단일 영상화 단계에서는 겹치는 영역중에서 어느 하나의 화소만을 일정 기준에 의해 결정하므로, 단계(S200)에서 선택된 화소가 단일 영상화 단계에서 어느 카메라(11)로부터 온 것인지를 파악하는 것으로 볼 수 있다. 이를 수행하기 위한 방법으로서는, 복수개의 광각 카메라(11)로부터 생성되는 입력 영상 신호 각각에 대하여 카메라(11)를 식별할 수 있는 식별자(identifier)를 추가해 두고, 추후 이러한 식별자를 확인하는 방법으로 하는 것이 간편하다. 즉, 도 2에서 설명한 과정을 수행할 때, 각각의 입력 영상 신호를 생성한 카메라(11)를 구분할 수 있는 식별자를 각 영상 신호와 함께 사용함으로써 이루어질 수 있다. 다음으로, 재배열 단계(S130)에서 사용한 수학식의 역연산을 적용한다(S220). 도 2에서 설명한 바와 같이, 예컨대 재배열 단계(S130)에서 수학식 3과 같은 수학식을 사용했다면 이 수학식의 역연산은 다음과 같이 정의될 수 있다.

다음으로, 평면화 단계(S120)에서 사용한 수학식의 역연산을 적용한다(S230). 이 또한 도 1에서 설명한 바와 같이, 평면화 단계(S120)에서 수학식 2를 사용했다면 이 수학식의 역연산은 다음과 같이 정의될 수 있다.

다음으로, 왜곡 보정 단계(S110)에서 사용한 수학식의 역연산을 적용한다(S240). 이 또한 도 1에서 설명한 바와같이 왜곡 보정 단계(S110)에서 수학식 1과 같은 수학식을 사용했다면 이 수학식의 역연산은 다음과 같이 정의될 수있다.

이와 같은 과정을 수행하면, 단계(S200)에서 선택된 합성 영상 신호의 화소(좌표)가 카메라에 의해 획득되는 입력 영상 신호에서의 화소(좌표)가 어디인지를 알 수 있게 된다. 이와 같은 과정을 합성 영상 신호(샘플 출력 영상 신호)의 모든 화소에 대해서 수행하게 되면 도 3과 같은 룩업 테이블을 생성할 수 있게 된다. 한편, 수학식 4 내지 수학식 6은 전술한 수학식 1 내지 수학식 3의 역연산을 기재한 것으로서, 이들 또한 예시적인 것이며 이들에 한정되는 것은 아니다. 수학식 4 내지 수학식 6은 사용되는 수학식 1 내지 수학식 3이 어떠한 것이건 간에 이들의 역연산으로 정의되는 것이라는 점에 유의해야 한다. 각각의 입력 영상 신호를 구성하는 각각의 영상 화소의 좌표값을 제 1 룩업 테이블(51)의 인덱스로 사용하면 해당 합성 영상 신호의 영상 화소의 좌표값을 얻을 수 있으므로, 이를 이용하여 합성 영상 신호의 해당 영상 화소에 대응되는 입력 영상 신호의 영상 화소의 화소값(픽셀 데이터)를 기록함으로써 합성 영상 신호를 구성하게 된다. 이러한 과정을 각각의 입력 영상 신호의 모든 영상 화소들에 대하여 수행하게 되면, 합성 영상 신호를 구성하는 모든 영상 화소의 각각의 좌표값 전체에 대해 대응되는 입력 영상 신호의 화소들의 화소값을 기록할 수 있으므로, 합성 영상 신호를 신속하게 생성해 낼 수 있게 된다.

제 2 룩업 테이블(52)은 미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 것이다. 사용자 인터페이스 영상은 사용자 인터페이스 표시부를 구성하는 영상과 어라운드 뷰 영상 표시부(63)의 중심에 표시되는 차량 이미지를 포함한다. 이러한 사용자 인터페이스 영상은 프로그램 제작자에 의해 미리 생성된 것으로서, 사용자 인터페이스 영상을 구성하는 각 화소들이 실제 단말기 출력 윈도우 상에 표시될 때의 좌표정보를 룩업 테이블로 기록하는 것이다.

제 3 룩업 테이블(53)은 주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장한다. 이러한 주차 지원 영상은 후방 카메라 영상 표시부에 표시되는 차량 궤적 영상과 어라운드 뷰 영상 표시부에 표시되는 후방 감지 신호 영상을 포함하며, 후방 감지 신호 영상은 도 5와 같은 방법에 의해 생성되는데, 이러한 주차 지원 영상을 구성하는 각 화소들이 실제 단말기 출력 윈도우 상에 표시될 때의 좌표정보를 룩업 테이블로 기록된다. 후방 감지 신호 영상은 후방 감지센서에서 후방 장애물이 감지될 때 출력되는 감지신호로서, 감지되는 후방 장애물과의 거리를 표현하는복수 개의 원호 영상으로 표시될 수 있으며, 후방 장애물과의 거리와 원호들의 대응되는 관계가 제 3 룩업 테이블에 저장된다. 각 원호 영상은 장애물과 차량의 거리에 따라 차량 이미지와의 이격 거리 및 색상이 상이하게 표시되어 사용자가 장애물과의 거리를 용이하게 파악할 수 있도록 되어 있다.

제 3 룩업 테이블(53)에는 각 원호에 대응되는 단위 경보음의 출력 시간, 출력 듀티 사이클 정보가 더 저장되는 것이 바람직하다.

영상 합성부(40)는 도 5에 도시된 바와 같이, 촬영된 왜곡 영상, 사용자 인터페이스 영상, 주차 지원 영상들과 단말기 출력 윈도우 간의 대응 관계에 관한 제 1 ~ 3 영상 매핑 데이터를 참조하여 단일 윈도우 상에 사용자 인터페이스 영상, 어라운드뷰 영상 및 주차 지원 영상을 표시할 수 있게 되어 영상 처리 과정이 매우 간단해지게 된다.

이하에서는 도 6을 참조하여 후방 감지 신호 영상을 생성하는 방법을 설명하기로 한다.

우선, (a)와 같이, (x1, y1)과 (x3, y3)의 좌표는 UI를 구성할 때 알고 있는 좌표이고 점 A는 두 점의 좌표의 중점이기 때문에 두 점의 좌표를 이용하면 점 A인 (x2, y2)를 구할 수 있다. 즉, x2=x3-x1이고, y2=y3-y1이다. x2와 x4의 좌표는 같다.

예를 들어, 실제 차량의 x축 길이가 1865mm이고 y축 길이가 4895mm이면 픽셀 크기에 대한 비율이y=2.62x가 나오게 된다. 사용될 차량 이미지의 X축을 정해주면 Y축의 픽셀의 길이를 알 수 있다. 점 의 좌표는 차량 이미지 X축 픽셀의 중심점이기 때문에 X축 좌표를 구할 수 있다.

선분 AC의 길이는 차량 이미지 Y축의 픽셀 길이이다. 여기에서는 3개의 센서를 사용한다고 가정을 하고 센서의 위치를 정한다. 점 B, C, D는 실제 차량에 달리는 후방 센서의 위치이기 때문에 비율을 이용하면 차량 이미지에 위치할 좌표를 구할 수 있다.

(b)와 같이, 후방 감지 신호의 폭을 구하기 위해 선분 BC와 선분 CD의 중점의 좌표를 산출한다.

(c)와 같이, 선분 AC와 BC의 길이로부터

의 수학식을 이용하여 선분 AB의 길이를 구한다. 그리고, 선분 BB'와 선분 BB"의 길이가 같고,

이므로 B'와 B"의 좌표를 구할 수 있으며, 동일한 방법으로 점 D'와 점 D"의 좌표를 구한다.

(d)와 같이, 원호는 후방 감지 신호가 나타나는 범위를 나타내고, 3개의 후방감지 센서를 사용하는 경우 3개의 신호 범위간격을 정할 수 있게 된다.

(e)와 같이, 위에서 정리한 초기 위치에서 거리에 대한 정보를 제3 룩업 테이블(53)로 정리를 해두고 후방 감지신호 영상을 표시하는 경우 해당값을 불러오게 되며, 후방 감지신호 영상이 (f)와 같이 어라운드 영상에 함께 표시되어 운전자가 차량 후방의 장애물을 용이하게 인식할 수 있게 된다.

후방 감지신호 영상 표출시에는 경보음이 동시에 출력되는 것이 바람직한데, 장애물과의 거리에 따라서 경보음의 길이와 듀티 사이클이 달라지도록 할 수 있다.

즉, 예를 들면 하기 표 1과 같이, 차량과 장애물 간의 거리를 8개의 구간으로 구분하고, 각 구간마다 경보음의 길이와 듀티 사이클이 가변되도록 할 수 있으며, 장애물이 가장 근접한 영역 1에 가까울수록 경보의 우선순위가 높아져 경보음의 주기 및 1주기 내의 경보음의 길이가 커지도록 설정할 수 있다.

비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.

10 : 광각 카메라 20 : 영상신호 수신부
30 : 영상 합성부 40 : 영상 디스플레이부
50 : 메모리 51 : 제 1 룩업 테이블
52 : 제 2 룩업 테이블 53 : 제 3 룩업 테이블
61 : 사용자 인터페이스 표시부 62 : 후방 카메라 영상 표시부
63 : 어라운드뷰 영상 표시부

Claims (7)

1. 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량 어라운드 뷰 영상 생성장치에 있어서,
   차량의 사방을 촬영하도록 설치되는 복수 개의 광각 카메라;
   복수 개의 광각 카메라로부터 촬영된 복수 개의 입력 영상 신호를 수신하는 영상 신호 수신부;
   상기 수신된 입력 영상 신호를 구성하는 영상 화소들이 보정 후의 단일 평면화 영상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장하는 것으로서, 상기 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계와, 상기 재배열 단계에 의해 재배열된 영상 신호의 단일 영상화 단계에 의해 생성되는 샘플 출력 영상을 구성하는 각각의 영상 화소들이 복수개의 입력 영상 신호의 영상 화소에 대응되는 관계를 역연산하여 생성되는 제 1 룩업 테이블;
   미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 제 2 룩업 테이블;
   주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장하는 제 3 룩업 테이블;
   상기 제 1 ~ 제 3 룩업 테이블을 참조하여 상기 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 영상 합성부; 및
   상기 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 것으로서, 사용자 인터페이스 표시부, 후방 카메라 영상 표시부, 어라운드뷰 영상 표시부를 포함하는 영상 디스플레이부를 포함하되,
   상기 주차 지원 영상은 상기 후방 카메라 영상 표시부에 표시되는 차량 궤적 영상과 상기 어라운드 뷰 영상 표시부에 표시되는 후방 감지 신호 영상 중 적어도 어느 하나를 포함하고, 상기 후방 감지 신호 영상은 감지되는 후방 장애물과의 거리를 표현하는 복수 개의 원호로 표시되고, 상기 후방 장애물과의 거리와 원호들의 대응되는 관계가 제 3 룩업 테이블에 저장되는 것을 특징으로 하는 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
2. 제 1 항에 있어서,
   상기 제 1 룩업 테이블은 샘플 출력 영상을 구성하는 각각의 영상 화소가 어느 카메라로부터 획득된 것인가를 결정한 후, 단일 영상화 단계, 재배열 단계, 평면화 단계 및 왜곡 보정 단계에 대한 역연산을 순차적으로 수행함으로써 생성되는 것을 특징으로 하는 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
3. 삭제
4. 제 1 항에 있어서,
   상기 사용자 인터페이스 영상은 상기 사용자 인터페이스 표시부를 구성하는 영상과 상기 어라운드 뷰 영상 표시부의 중심에 표시되는 차량 이미지 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
5. 삭제
6. 삭제
7. 제 1 항에 있어서,
   상기 제 3 룩업 테이블은 상기 각 원호에 대응되는 단위 경보음의 출력 시간, 출력 듀티 사이클 정보가 더 저장되는 것을 특징으로 하는 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
   
   

Images