KR100422647B1 - Ｃｃｄ 카메라의 영상 프레임 수 배증 방법 - Google Patents

Abstract

CCD 카메라에 있어서, 영상 프레임 수를 2배로 하도록 한다.

CCD 카메라의 아날로그 영상을 디지털 영상으로 변환하고, 변환된 디지털 영상의 수직 방향에서 지평선 위의 유용하지 않은 영역을 제거하며, 수평 방향에서 양단의 유용하지 않은 영역을 제거하고, 변환된 디지털 영상의 한 프레임을 구성하는 홀수 필드와 짝수 필드 각각에서 가로 방향으로 한 화소씩 건너뛰어 각각 새로운 한 프레임을 구성하여 30 프레임의 영상을 60 프레임으로 할 수 있다.

Description

ＣＣＤ 카메라의 영상 프레임 수 배증 방법 {METHOD FOR DOUBLING VIDEO FRAME RATE OF CCD CAMERA}

본 발명은 CCD 카메라의 영상 프레임 수를 배증하는 방법에 관한 것으로, 특히 비전 제어 능동형 안전 시스템에서 CCD 카메라의 영상 프레임 수를 30에서 60으로 배증하는 방법에 관한 것이다.

비전 제어 능동형 안전 시스템이란, 비전 시스템을 사용하여 사고의 위험을 미리 예측하여 적절한 제동력이나 신호로 운전자의 위험을 방지하는 장치를 말한다. 차로의 근접을 경보하는 FVCWS(Forward Vehicle Collision Warning System; 전방 차령 충돌 경보 장치), 측면의 사각 지역의 물체를 경보해주는 SOWS(Side Obstacle Warning System; 측면 장애물 경보 장치)가 여기 속하며 CCD 카메라에 의한 영상 정보를 차량의 안전 상태를 판단하기 위한 기본 자료로 한다는 공통점이 있다.

한편, CCD 카메라는 NTSC(National Television System Committee), PAL (Phase Alternation by Line), SECAM(Sequential a memoire) 등의 표준에 입각한 표준 TV 신호를 내도록 설계되어 있다. 특히, 위의 TV 표준 영상은 30㎐(NTSC), 25㎐(PAL)의 영상 신호를 비월 주사(interlace scanning)하여 각각 60㎐, 50㎐의 영상으로 구성된다.

특히, 한국, 일본, 미국 등에서 널리 쓰이고 있는 NTSC 표준의 비월 주사 방식은 다음과 같다. 도 2를 참조하면, 순차 주사(progressive scanning) 방식(51)은 영상을 화면의 왼쪽 위에서 오른쪽 아래까지 순차적으로 주사하는 방식이다. 화질은 좋으나 사람이 깜박임을 느끼지 않는 적정 주파수인 60㎐의 영상을 만들어야 하므로 비용이 많이 들게 된다. 비월 주사(52)는 화질은 순차 주사에 비해 떨어지지만 30㎐의 영상을 한 줄씩 걸러서 주사함으로써 사람이 깜박임을 느끼지 못하는 60㎐ 정도의 영상의 효과를 낸다.

이때 홀수 줄들로 이루어진 신호를 홀수 필드(odd field)라고 하고, 짝수 줄들로 이루어진 신호를 짝수 필드(even field)라고 한다. 그리고, 두 신호가 한 영상을(image frame)을 구성하게 되며, 따라서 NTSC는 초당 30 프레임의 완전한 영상을 주사한다. 그러나, 이러한 CCD 카메라의 영상 신호는 아날로그 신호이므로 이를 화상 처리에 사용하기에는 부적절하다. 그러므로, 아날로그 신호를 디지털 신호로 변환할 필요가 있다. 이때 사용되는 IC로는 필립스사의 SAA7111, 삼성전자의 KS0127B 등이 있다. 이와 같이 디지털 신호로 변환하면 가로 640 화소, 세로 480 화소(640 ×480)의 유효 크기를 갖는 디지털 영상을 얻을 수 있다.

종래의 영상 처리 방법에서는 위와 같은 640 ×480 크기의 30㎐ 영상을 그대로 영상 처리에 사용하였다. 도 3은 30㎐ 영상 신호와 60㎐ 영상 신호의 최대 대기 시간의 비교를 나타낸다. 도 3에 나타낸 바와 같이, 이러한 30㎐ 영상 신호(61)에서는 이전 차수의 영상 처리가 끝난 시점에서 막 새로운 프레임이 시작되었다면, 다음 프레임이 시작될 때까지 기다려야 하며, 이 경우 최대 대기 시간은 1sec/30㎐ = 33.3㎳가 된다. 일반적으로 영상 정보를 기반으로 하는 안전 장치들은 초당 약 5회 내지 15회 정도의 영상을 처리하여 상황에 따라 적절한 대응을 하도록 설계된다. 초당 10회로 안전 상태를 판단하는 안전 장치에 있어서는, 한 프레임의 영상을 처리하는데 100㎳의 시간이 할당되므로, 33.3㎳의 대기 시간은 이의 1/3에 해당하는 양이 된다. 60㎐의 영상 신호(62)에서는, 최대 대기 시간은 1sec/60㎐ = 16.7㎳가 되므로 영상 처리에 할당할 수 있는 시간이 16.7㎳ 증가하게 되어 시스템의 성능을 향상시킨다.

또한, 종래기술에서 사용되었던 영상은 가로 세로의 비가 4：3을 만족하는 표준 TV 신호의 특성에 의해 만들어진 영상이다. 이와 같은 영상에 있어서, 지평선 위의 부분 및 수평 방향의 양단 부분에는 유용한 정보가 없으며, 이러한 정보는 오히려 영상 획득 시간의 연장 및 영상 저장 메모리의 증가 등 역효과를 일으킨다. 그러므로, 차량 안전 장치의 특성상 필요 없는 이 부분의 영상을 실시간으로 건너뛴다면 시스템의 성능을 더욱 향상시킬 수 있을 것이다.

따라서, 본 발명은 LDWS, FVCWS, SOWS 등의 영상 정보를 바탕으로 한 차량 안전 장치에 사용되는 CCD 카메라의 영상을 시스템의 목적에 맞게 변형시키는 것을 목적으로 한다.

본 발명은 초당 30 프레임으로 고정된 프레임 수를 60 프레임으로 증가시켜 영상 처리에 할당할 수 있는 시간을 증가시키는 것을 목적으로 한다.

또한, 본 발명은 가로 대 세로의 비가 4：3으로 고정된 영상에서 유용하지 않은 정보를 제거하여 영상 획득 시간을 줄이고 영상 저장 메모리 용량을 줄이는 것을 목적으로 한다.

도 1은 본 발명에 따라 새로운 프레임을 생성하는 것을 나타내는 플로우 차트이고,

도 2는 순차 주사와 비월 주사를 나타내는 도면이고,

도 3는 30㎐ 영상 신호와 60㎐ 영상 신호의 최대 대기 시간을 비교한 도면이고,

도 4는 가로 640, 세로 480의 화소를 가지는 차량 전방의 전형적인 영상을 나타내는 도면이고,

도 5는 SAA7111의 타이밍 신호들의 관계를 나타내는 도면이고,

도 6a는 본 발명에 따라 프레임 내의 수직 방향의 영상에서 유용하지 않은 영역의 제거를 나타내는 순서도이고,

도 6b는 도 6a에서 제거되는 영역을 나타내는 도면이고,

도 7a는 프레임 내의 수평 방향의 영상에서 유용하지 않은 영역의 제거를 나타내는 순서도이고,

도 7b는 도 7a에서 제거되는 영역을 나타내는 도면이고,

도 8은 본 발명에 따라 처리된 영상을 나타내는 도면이다.

상기 목적을 달성하기 위한 본 발명에 따른 CCD 카메라의 영상 프레임 수 배증 방법은 CCD 카메라의 아날로그 영상을 디지털 영상으로 변환하는 단계, 변환된 디지털 영상의 수직 방향의 유용하지 않은 영역을 제거하는 단계, 상기 변환된 디지털 영상의 수평 방향의 유용하지 않은 영역을 제거하는 단계, 및 상기 변환된 디지털 영상의 한 프레임을 구성하는 홀수 필드와 짝수 필드에서 가로 방향으로 한 화소씩 건너뛰어서 각각 새로운 한 프레임을 구성하는 단계로 이루어지는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따라 CCD 카메라로부터 영상 신호를 받아서 개선된 영상의 새로운 1 프레임을 생성하는 것을 나타내는 플로우 차트이다.

도 1에 나타낸 바와 같이, CCD 카메라의 영상을 입력으로 받아서 아날로그 영상을 디지털 영상으로 변환하는 단계(1), 홀수 필드와 짝수 필드 각각에서 가로 방향의 홀수 화소만을 제거하는 단계(2), 수직 방향의 비유용한 부분을 제거하는 단계(3), 및 수평 방향의 비유용한 부분을 제거하는 단계(4)에 의하여 새로운 1 프레임을 생성하고, 이를 반복하여 프레임 수를 배증한다. 이에 대하여 이하 상술한다.

CCD 카메라의 영상 신호를 비전 제어 능동형 안전 시스템에서 사용하기 위해서는 디지털 신호로 변환할 필요가 있다. 이와 같은 아날로그 비디오 신호를 디지털 신호로 변환하는 소자에는 예를 들면 필립스사의 SAA7111이나 삼성전자의 KS0127B 등이 있다. 이러한 변환 소자들에 의해서 변환된 영상 신호는 도 4에 나타낸 바와 같은 가로 640, 세로 480 화소의 크기를 가지는 디지털 영상이 된다.

이러한 변환 소자들은, 변환된 화상에서 프레임 내 위치와 관계를 알 수 있도록 타이밍 신호(timing signal)를 함께 출력한다. 타이밍 신호를 입력으로 활용하면, 영상 획득을 시작하며 필요한 요소만을 선택하는 것이 가능하다.

각 소자에 따라 약간의 차이가 있으나 보편적으로 널리 쓰이는 필립스사의 SAA7111 소자의 신호를 기준으로 한다. 상기 소자의 타이밍 신호는, 도 5는 이러한 타이밍 신호 사이의 관계를 나타낸다. 이러한 타이밍 신호는 홀수 필드 동안 HIGH인 홀수 필드 지시자(ODD)(11), 홀수 필드 또는 짝수 필드 동안 HIGH인 수직 레퍼런스(VREF)(12), 한 줄 동안 HIGH인 수평 레퍼런스(HREF)(13), 및 한 화소 동안 HIGH인 클락 레퍼런스(CREF)를 포함한다. 도 5의 (a)는 홀수 필드 지시자(11), 수직 레퍼런스(12) 및 수평 레퍼런스(13) 사이의 관계를 나타내고, 도 5의 (b)는 수평 레퍼런스(14)와 클락 레퍼런스(15) 사이의 관계를 나타낸다. 도 5의 (b)의 수평 레퍼런스(14)는 도 5의 (a)의 수평 레퍼런스(13)의 확대된 펄스를 나타낸다.

위의 신호들을 이용하여 변환된 영상에서 유용하지 않은 영역을 건너뛰어 필요한 영역만으로 구성되는 영상을 획득할 수 있는 장치의 순서도를 도 6 및 도 7에 나타내다.

도 6a는 프레임 내의 수직 방향의 영상에서 유용하지 않은 영역의 제거를 나타내는 순서도이다. 도 6a에 나타낸 바와 같이, 처음에 입력을 기다리는 V_IDLE(30) 상태에서, VREF가 HIGH일 때(31) 즉, 홀수나 짝수 필드의 신호가 있을 때, 프레임의 시작에서 미리 정해진 수의 라인(vskip_num)을 건너뜀(VSKIP)(32)으로써 지평선 위의 불필요한 영역을 제거한다. 그리고, 미리 정해진 수의 라인(vskip_num)을 지났으면(33), 프로세서가 다음 영상을 받을 준비가 되었다는 신호인 CAPTURE 신호를 검사함으로써(35), 프레임 시작 이후 VSKIP 상태에서 이전 프레임의 처리가 끝난 경우에도 바로 다음 영상을 획득(VGET)할 수 있다(36). 이때, VGET 신호는 도 7a의 입력 신호로 사용되어 수평 방향의 유용하지 않은 영역 제거에 사용된다. 이후, 1 필드의 수직 레퍼런스가 끝났으면 다시 이 과정을 반복한다(37). 도 6b는 도 6a에서 제거되는 영역을 나타내는 도면이다. 도 6b의 VSKIP 영역은 수직 방향의 유용하지 않은 영상으로 제거될 영역을 나타내며, VGET 영역은 수직 방향의 유용한 영역임을 나타낸다.

도 7a는 프레임 내의 수평 방향의 영상에서 유용하지 않은 영역의 제거를 나타내는 순서도이다. 수평 방향에서도 양단의 영역은 비교적 유용하지 않은 영역이므로 제거할 필요가 있다. 도 7a에 나타낸 바와 같이, H_IDLE 상태(40)에서 수직 방향의 유용한 영역(VGET)이 되면(41), 수평 방향의 영역에서 미리 정해진 수의 라인(hskip_num)을 건너뜀(HSKIP)으로써 왼쪽의 불필요한 영역을 제거한다(42). 그리고, 미리 정해진 수의 라인(hskip_num)을 지났으면(43), HGET 상태로 되어 영상 정보를 받는다(HGET)(45). 미리 정해진 수(hget_num) 만큼의 화소 데이터를 획득하면(46), 오른쪽의 불필요한 영역을 무시하고(IGNORE)(48), 수평 방향의 신호가끝나는 순간(HREF=0)(49)에 다시 H_IDLE 상태로 돌아간다. 도 7b는 도 7a에서 제거되는 영역을 나타내는 도면이다. HSKIP 영역 및 IGNORE 영역은 수평 방향의 유용하지 않은 영역으로 제거되는 영역을 나타내며, HGET 영역은 유용한 영역임을 나타낸다.

이와 같이 하여 수직 방향 및 수평 방향의 유용하지 않은 영역을 제거할 수 있다. 이하, 30㎐ 영상을 60㎐ 영상으로 변환하는 방법에 대하여 설명한다.

NTSC 표준은 비월 주사 방식으로 30㎐의 영상을 한 줄씩 걸러서 주사하여, 60㎐의 영상의 효과를 낸다. 홀수 줄들로 이루어진 신호를 홀수 필드, 짝수 줄들로 이루어진 신호를 짝수 필드라 한다. 두 신호가 한 영상을 구성하므로, NTSC는 30 프레임의 완전한 영상을 주사할 수 있다. 여기서는 한 프레임을 구성하는 홀수 필드와 짝수 필드로 이루어진 화상을 각각 새로운 프레임으로 만들어 60 프레임의 영상을 만든다.

한 프레임(가로 640 화소, 세로 480 화소)을 구성하는 홀수 필드와 짝수 필드는 각각 가로 640, 세로 240의 가로로 긴 화상이며, 이를 각각 새로운 프레임으로 만들기 위해서는 정상적인 가로, 세로의 비율이다. 따라서 정상적인 가로, 세로의 비율을 가지는 화상으로 만들기 위해서는 가로 방향으로 한 화소씩 건너뛰어야 한다. 예를 들면, 홀수 화소는 제거하고 짝수 화소는 받아들이는 식이다.

도 8은 전술한 회로들을 이용하여 얻어진 280 ×200 크기의 60㎐ 영상을 나타낸다.

이와 같은 화상 전처리 회로를 이용하여 30㎐ 영상을 60㎐ 영상으로 변환하고 크기도 줄일 수 있으므로 고속의 영상 처리 시스템을 구성할 수 있다.

따라서, 본 발명은 LDWS, FVCWS, SOWS 등의 영상 정보를 바탕으로 한 차량 안전 장치에 사용되는 CCD 카메라의 영상을 시스템의 목적에 맞게 변형시킬 수 있으며, 또한 초당 30 프레임의 프레임 수를 60 프레임으로 증가시켜 대기 시간을 줄여서 영상 처리에 할당할 수 있는 시간을 증가시킬 수 있다.

또한, 본 발명은 가로 대 세로의 비가 4：3으로 고정된 영상에서 유용하지 않은 정보를 제거하여 영상 획득 시간을 줄여서 고속의 영상 처리 시스템을 구성할 수 있다.

Claims (2)

1. CCD 카메라의 화상 프레임 수를 배증하는 방법에 있어서,

   CCD 카메라의 아날로그 영상을 디지털 영상으로 변환하는 단계,

   상기 변환된 디지털 영상의 한 프레임을 구성하는 홀수 필드와 짝수 필드에서 가로 방향으로 한 화소씩 건너뛰는 단계,

   상기 변환된 디지털 영상의 수직 방향의 유용하지 않은 영역을 제거하는 단계,

   상기 변환된 디지털 영상의 수평 방향의 유용하지 않은 영역을 제거하는 단계, 및

   상기 1 프레임을 구성하는 상기 홀수 필드와 상기 짝수 필드를 각각 새로운 1 프레임으로 만드는 단계

   로 이루어지는 CCD 카메라의 화상 프레임 수 배증 방법.
2. 삭제