KR100834550B1 - 불법 주정차 무인 자동 단속방법 및 그 시스템 - Google Patents

Abstract

본 발명은 불법 주정차 무인 자동 단속방법 및 그 시스템에 관한 것으로서, (a) 도로에 설치된 검지용 고정카메라(30)를 통해 실시간으로 촬영된 단속현장의 영상을 관심영역 설정모듈(56)을 통해 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 단계; (b) 상기 검지용 고정카메라(30)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 획득된 이동물체와 이동물체의 그림자가 포함된 전경영상을 그림자 제거모듈(58)에서 이동물체의 그림자 영역을 제거하는 단계; (c) 상기 그림자 제거모듈(58)에서 그림자영역이 제거된 이동물체 영역을 적응적 배경 모델링모듈(57)에서 검지된 이동물체영역(추적객체영역)으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하는 단계, 및 (d) 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석을 위한 영상의 블록화 및 단속을 위한 차량을 검지하는 단계를 포함하여 별도의 주정차위반 감시요원이 필요 없이 신속하고 정확하게 불법주정차 차량을 자동 단속할 수 있도록 한 것이다.

불법주정차, 관심영역, 차량, 적응적, 배경모델링, 영상블록화, 검지, 추적, 무인, 자동, 단속

Description

불법 주정차 무인 자동 단속방법 및 그 시스템{Detecting Method at Automatic Police Enforcement System of Illegal-stopping and Parking Vehicle and System thereof}

본 발명은 불법 주정차 차량의 무인 자동 단속시스템에 관한 것으로서, 보다 상세하게는 원격지 주정차 감시지역 내에서 차량의 움직임을 파악하여 무인 자동으로 단속을 실시하는 영상분석에 의한 차량을 검지하고, 차량의 이동을 추적하는 방법에 의한 불법 주정차 무인 자동 단속시스템에 관한 것이다.

불법 주정차는 교통량이 많은 도로상에서 차량의 정상적인 교통의 흐름을 방해하고, 도로의 통행 폭을 좁게 할 뿐만 아니라, 대인 및 대물 교통사고의 주요한 원인이 될 수 있다. 따라서 주정차를 금지하는 구역에서의 불법 주정차 차량에 대한 단속이 필요한 실정이다.

이와 같이 도로변에 불법적으로 주정차된 차량에 대한 단속은 크게 두 가지 유형으로 분류될 수 있다. 먼저, 첫 번째 유형은 불법 주정차 단속요원에 의한 인위적인 단속방식이고, 두 번째 유형은 감시카메라를 이용하여 원격에서 단속하는 방식이다. 또한, 감시카메라를 이용하여 원격에서 이루어지는 단속방식은 다시 두 가지 유형으로 대별될 수 있다. 즉 단속의 주체가 사람의 조작에 의한 수동 방식과, 단속의 주체가 시스템의 작동에 의한 자동 방식이다.

상기 인위적인 단속방식의 경우에는 단속현장에서 단속요원에 의해 직접 이루어진다. 그러나 현재 국내 차량 대수에 비해 주차를 위한 면적이 절대적으로 부족한 실정이고, 단속요원을 모든 주정차 단속을 위한 단속지역마다 배치할 수 없는 것이 현재 실정이다. 결국, 주정차 금지구역임에도 불구하고 차량 운전자의 법질서 무시에 의한 불법적인 주정차 행위가 만연하고 있고, 더구나 인위적인 단속방식의 경우에는 단속 중에 차량의 소유주나 운전자와의 물리적 충돌 및 마찰이 발생되며, 단속요원은 단속업무가 끝난 후에 해당 단속기관으로 복귀하여 적발된 차량에 대한 데이터를 재차 입력해야 하는 번거로움이 있었다.

이와 같은 인위적인 단속방식의 문제점을 해결하기 위하여, 일부 도로 주변에는 단속현장에 감시카메라를 설치하고, 이렇게 설치된 감시카메라를 이용하여 원격에서 단속하는 방식을 채택하고 있다. 그러나 이 또한, 원격으로 설치된 복수의 감시카메라의 영상정보를 중앙상황실에서 단속을 하는 주체가 인위적인 수동 방식으로 이루어지는 사례가 대부분이며, 그 외에 자동 방식으로 이루어지는 사례는 다음과 같은 문제점이 노출되었다.

첫째, 감시카메라로부터 전송된 영상을 영상분석에 의한 차량 검지방법은 대량의 계산과정을 수반한다. 영상분석의 대상 영역을 주정차 감시영역의 전역으로 설정함으로써, 주정차 감시영역과 주정차 금지구역 등의 차이만큼 불필요한 계산과정을 수행하게 된다.

둘째, 영상분석 방법 중에서 차량 검지방법으로 영상의 단순한 현재와 이전 또는 배경과 현재 영상프레임 간의 차이를 영상기법으로 활용하는 시스템의 경우에는 단속현장의 외부 환경변화에 적응하지 못하여 차량 검지율과 검지 정확도가 떨어지는 실정이다. 또한, 차량의 움직임이 매우 서서히 이동할 때, 이전과 현재 영상프레임 간의 차이를 영상기법으로 활용하는 경우에는 물체의 이동이 없는 것으로 나타나기 때문에 치명적인 오류나 결함이 발생된다. 또한, 감시카메라의 잡음으로 인하여 움직임 벡터가 발생하여 차량으로 잘못 인식되는 경우가 많았다.

셋째, 영상분석에서 부정확한 특징을 발생시키는 그림자 제거를 배제한 단순한 이동물체 검지방법의 경우에는 이동물체의 유무만 판단하기 때문에 이동물체가 정확히 차량인지 아니면 차량 이외의 객체 즉, 사람이나 동물인지 판단할 수 없었다. 따라서 부정확한 이동물체의 검지는 시스템의 불필요한 동작을 수반한다.

넷째, 영상분석에 의한 차량 검지방법을 활용하는 기존 방법의 경우에는 픽셀단위의 영상처리를 요하는 모폴로지(Morphology) 연산과 레이블링(Labeling) 연산에 많은 계산량이 요구되어 전체시스템 동작의 정확성과 안정성을 저하시킨다. 따라서 두 연산에서 계산량의 최소화 방법이 요구되는 실정이다.

다섯째, 주차단속 개시 전부터 주차된 차량에 대해서는 이를 자동으로 단속하여 처리할 방안이 없었기 때문에 이러한 허점이 악용될 소지가 많은 문제점이 있었다.

본 발명은 상기 종래기술의 문제점을 해소하기 위한 것으로, 본 발명은 불필요한 계산영역을 제외시켜 차량의 검지율을 향상시키고, 교통체증 시에 차량행렬에 대한 문제를 해결하기 위하여 주정차 감시지역에 대해 관심영역(ROI: Region of Interest)의 설정을 제안하며, 신속하고 정확하며 간편하게 관심영역을 설정할 수 있는 불법 주정차 차량의 무인 자동 단속시스템을 제공하기 위한 것이 목적이다.

또한, 본 발명은 배경과 전경 영상프레임 간의 차이 영상기법으로 이동물체를 검지하는 방법에서 차량검지의 성능향상을 위한 단속현장의 환경변화에 적응적 배경 모델링 방법을 제안하여 단속현장의 환경변화에서도 안정적인 차량을 검지하는 성능을 확보할 수 있는 불법 주정차 차량의 무인 자동 단속시스템을 제공하기 위한 것이 다른 목적이다.

또한, 본 발명은 단속현장의 환경변화에 적응적인 그림자 제거수단을 제안하여 영상분석에서 부정확한 특징을 발생시키는 그림자 영역을 제거함으로써, 태양의 고도변화에 따는 밝기 변화에도 정확하게 차량영역을 검지할 수 있는 불법 주정차 차량의 무인 자동 단속시스템을 제공하기 위한 것이 다른 목적이다.

본 발명은 상기 목적을 달성하기 위하여, (a) 도로에 설치된 검지용 고정카메라를 통해 실시간으로 촬영된 단속현장의 영상을 관심영역 설정모듈을 통해 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 단계; (b) 상기 검지용 고정카메라로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간 의 차영상으로 획득된 이동물체와 이동물체의 그림자가 포함된 전경영상을 그림자 제거모듈에서 이동물체의 그림자 영역을 제거하는 단계; (c) 상기 그림자 제거모듈에서 그림자영역이 제거된 이동물체 영역을 적응적 배경 모델링모듈에서 검지된 이동물체영역(추적객체영역)으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하는 단계, 및 (d) 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석을 위한 영상의 블록화 및 단속을 위한 차량을 검지하는 단계를 포함하는 불법 주정차 무인 자동 단속방법을 제공한 것이 특징이다.

또한, 주정차 감시지역에 설치되어 거리에 비례하여 도로 양쪽의 감시섹터로 분할되어 있는 주정차 금지구역을 감시하기 위한 검지용 고정카메라; 상기 검지용 고정카메라를 통해 실시간으로 촬영된 단속현장의 영상을 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 관심영역 설정모듈; 상기 검지용 고정카메라로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 이동물체와 이동물체의 그림자가 포함된 전경영역을 분할하며, 전경영역에서 이동물체의 그림자 영역을 제거하는 그림자 제거모듈; 상기 그림자 제거모듈에서 그림자영역이 제거된 이동물체 영역을 검지된 이동물체 영역으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모 델을 갱신하는 적응적 배경 모델링모듈을 포함하는 불법 주정차 무인 자동 단속시스템을 제공한 것이 특징이다.

본 발명은 상기 해결수단에 의하여, 불법 주정차 무인 자동 단속시스템의 실현을 위해 차량검지 영역인 관심영역(ROI: Region of Interest)의 개념을 도입하고 관심영역을 쉽고 빠르며 간편하게 설정하는 수단을 활용하여 차량검지 대상영역을 축소한다. 대상영역이 축소되면 영상분석 시간과 계산 량을 축소할 수 있고 차량검지 성공률과 관심영역 이외에서 발생하는 차량검지요인에 의한 불필요한 시스템동작을 제외할 수 있다는 장점이 있다. 그리고 관심영역 설정은 기존 시스템이 해결하지 못하는 교통체증 시의 차량행렬에 대한 문제를 해소한 효과가 있다.

또한, 본 발명은 입력영상 프레임과 배경영상 프레임 간의 차영상 기법으로 차량을 정확히 검지하는 불법주정차 무인 자동 단속시스템의 실현을 위해 단속현장의 환경변화에 적응적인 배경 영상프레임을 만드는 적응적 배경 모델링 수단을 활용한다. 적응적 배경 모델링은 구름, 비, 눈 등의 기상변화, 태양의 하루 동안의 고도 변화, 대형 차량이 지나감으로 발생하는 순간적인 조명변화 등 단속현장의 환경변화에 적응하며 이동물체를 검지한다. 또한, 단순한 배경영상 프레임과 입력영상 프레임 간의 차영상에 비하여 잡영(노이즈)의 영향이 거의 없고, 실외 환경변화에도 높은 차량검지 성공률을 보장하며 불법주정차 무인자동 단속을 가능하게 한 효과가 있다.

또한, 본 발명은 단속현장의 환경변화에 적응적 그림자 제거 수단을 활용하 면, 영상분석에서 부정확한 특징을 발생시키는 그림자 영역을 제거할 수 있어 태양의 고도가 낮은 아침과 저녁에도 차량검지 정확성이 향상되며 차량 오검지에 기인한 불필요한 시스템 동작을 제거한 효과가 있다.

또한, 본 발명은 실외환경에서도 안정적으로 실현이 가능함과 더불어, 주정차 감시지역 내의 차량의 움직임을 검지하고, 이를 추적하며, 정지여부를 감지함에 따라 주정차 금지구역을 서행하다가 빠져나가는 차량, 일시적으로 정차했다가 빠져나가는 차량, 촬영을 피해 주정차 하려는 차량 등을 선별적으로 처리할 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예로서, 불법 주정차 무인 자동 단속시스템에 관하여 상세하게 설명한다.

도 1은 본 발명에 따른 실시예로서, 도 1a는 본 발명에 따른 불법 주정차 무인 자동 단속시스템을 이용하여 주정차 감시지역을 감시 및 단속하는 상태를 개략적으로 나타낸 사시도이고, 도 1b는 컨트롤박스의 주요 구성을 나타낸 블록도이며, 도 1c는 복수의 무인 자동 단속시스템과 서버 사이의 네트워크 구성을 나타낸 구성도이다.

먼저, 본 발명의 불법 주정차 무인 자동 단속시스템(1A)은 도로(20) 주변에 설치되어 도로(20)의 주정차 감시지역(31) 내에 복수의 주정차 감시섹터(24)가 구획된 주정차 금지구역(22)에서 불법으로 주정차하는 차량(10)을 감시 및 단속하는 시스템이다. 단속시스템(1A)은 도로(20)의 일측에 설치된 지주(40)의 상부에 검지 용 고정카메라(30)와 단속용 P/T(Pan/Tilt 및 Zoom 기능이 포함)카메라(32)가 장착되고, 지주(40)에는 불법 주정차를 무인으로 자동 단속할 수 있는 컨트롤박스(50)가 설치되어 있다. 상기 컨트롤박스(50)에는 도 1b의 주요 구성요소가 포함된다.

상기 검지용 고정카메라(30)는 주정차 감시지역(31)에 설치되어 거리에 비례하여 도로 양쪽의 감시섹터(24)로 분할되어 있는 주정차 금지구역(22)을 감시하는 것이다. 그리고 단속용 P/T카메라(32)는 주정차 금지구역(22)에 불법으로 주정차된 차량의 영상을 촬영하여 단속자료로 획득 및 활용할 수 있도록 하는 것이다.

상기 컨트롤박스(50)에 설치된 관심영역 설정모듈(56)은 상기 검지용 고정카메라(30)를 통해 실시간으로 단속현장을 보며 스냅사진을 촬영하고, 촬영된 사진 위에 다각형을 추가하며, 다각형의 각 꼭짓점을 마우스로 누르고 끄는 방식으로 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 것이다.

본 발명에서, 불법주정차 무인 자동 단속시스템의 실현을 위해 차량 검지영역인 관심영역(ROI: Region of Interest)의 개념을 도입하고 관심영역을 쉽고 빠르고 간편하게 설정하기 위한 관심영역 설정모듈(56)은 검지용 고정카메라(30)로부터 수집된 영상을 A/D변환하고, 중앙상황실의 서버(70)로 네트워크(60)를 통해 전송하기 위하여 영상을 압축하는 영상전송모듈(52)과, A/D변환된 주정차 감시지역(31)의 영상을 허브(54)를 경유하여 관심영역을 설정한다.

상기 관심영역의 설정은 A/D변환된 주정차 감시지역(31)의 영상을 입력받아 주정차 금지구역(22)상의 주정차 위반차량(10)을 검지하는 차량 검지모듈(59)로 전 송하는 단속현장 제어모듈(55)상에서 이루어진다.

이는 도 2의 차량 검지영역으로서 관심영역을 설정하는 상태를 나타낸 예시도를 참조하면 용이하게 알 수 있다. 도 2a는 관심영역을 설정하는 프로그램의 초기화면이다. 도 2a에서 연결(Connect)버튼을 클릭하면, 도 2b와 같이 검지용 고정카메라(30)를 선택할 수 있다. 선택된 검지용 고정카메라(30)를 마우스 클릭하면 도 2c와 같이 주정차 감시지역(31)의 검지용 고정카메라(30)의 카메라영상이 출력된다. 다시 촬영(capture)버튼을 클릭하면 도 2d와 같이 검지용 고정카메라(30)의 사진이 촬영되어 촬영된 사진이 관심영역 설정을 위하여 화면에 표출된다. 관심영역 추가(Add)버튼을 클릭하면 도 2e와 같이 촬영된 사진 위에 관심영역 설정용 사각형이 출력된다. 출력된 사각형의 각 제어점인 네 개의 꼭짓점을 도2f와 같이 마우스로 누르고 끌면 관심영역 설정이 가능하다. 주정차 감시지역(31) 상에 관심영역을 추가로 설정하기 위해서는 도 2f에서 관심영역 추가(Add)버튼을 클릭하면 도 2g와 같이 관심영역이 추가되며 도 2h는 두 개의 관심영역 설정이 완료된 예시도이다. 관심영역은 전방향의 오른쪽과 왼쪽, 후방향의 오른쪽과 왼쪽으로 총 네 개가 설정된다.

영상분석에 의한 차량검지 방법은 많은 영상처리 계산을 수반한다. 따라서 영상분석의 대상영역이 주정차 감시영역(31) 전체에서 관심영역으로 축소되면 주정차 감시영역(31) 전체와 관심영역의 차이만큼 불필요한 영상처리 영역이 축소되어 계산량이 줄어들게 된다. 그리고 관심영역은 영상이 분석되는 영상 프레임과 프레임 간의 계산시간 간격을 단축시켜 전체적인 시스템의 차량추적 성공률과 차량 검 지율을 높이게 된다.

또한, 영상분석 대상영역이 주정차 감시영역(31)에서 관심영역으로 제한되므로 기존방식의 관심영역 외부영역에서 차량검지에 기인한 불필요한 시스템의 동작이 제외되고, 관심영역 설정은 기존 시스템이 해결하지 못하는 교통체증시의 차량행렬에 대한 문제를 해결할 수 있게 된다.

본 발명의 그림자 제거모듈(58)은 상기 검지용 고정카메라(30)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 이동물체와 이동물체의 그림자가 포함된 전경영역을 분할하며, 상기 분할된 전경영역으로부터 그림자영역은 채도가 전경영역의 다른 영역에 비교하여 상대적으로 낮다는 것과, 입력영상과 배경영상의 명암값의 비율이 단속현장의 환경변화에도 일정범위에 포함되는 것을 활용하여 구름, 비, 눈 등의 기상변화, 태양의 하루 동안의 고도변화, 대형 차량이 지나감으로 발생하는 순간적인 조명변화 등 단속현장의 환경변화에도 안정적으로 전경영역에서 이동물체의 그림자 영역을 제거하는 것이다.

본 발명에서, 불법주정차 무인 자동 단속시스템의 실현을 위해 단속현장의 환경변화에 적응적 그림자 제거모듈(58)은 영상분석에 의한 차량 검지방법을 활용하는 불법주정차 단속시스템이 현장에 실용화되기 위해서는 효과적인 그림자 제거모듈(58)이 요구된다. 영상분석에서 그림자는 동일한 객체임에도 불구하고 부정확한 특징을 발생시켜 서로 다른 객체로 오인하는 결과를 가져온다.

본 발명의 차량검지 방법은 크게 3단계로 이루어진다. 첫 번째 단계는 단속 현장의 환경변화에 적응적인 배경모델링으로 배경영상 프레임을 생성하고, 두 번째 단계는 배경영상 프레임과 현재 입력영상 프레임 간의 차영상을 이용하여 전경영역 분할하며, 세 번째 단계는 이동물체와 이동물체의 그림자가 포함된 전경영역으로부터 그림자를 분리하는 것이다. 영상분석에서 부정확한 특징을 발생시키는 그림자는 차량검지의 정확성을 위하여 반드시 제거되어야 한다. 따라서 본 발명에서는 도로 상황분석의 정확성과 차량검지의 정확성을 향상시키기 위하여 그림자 제거모듈(58)이 제공되는 것이다.

도 1a에서 A/D변환된 주정차 감시지역(31)의 영상을 영상전송모듈(52)로부터 허브(54), 단속현장 제어모듈(55)을 경유하여 입력받아 그림자 제거모듈(58)에서 그림자 제거가 이루어진다.

이러한 그림자의 제거는 도 4에서 그림자 제거모듈(58)에서 적응적 그림자 제거를 나타낸 흐름도를 참조하면 알 수 있다.

즉 적응적 배경영상 모델링을 통해 배경영상 프레임을 만들고, 배경영상 프레임과 입력영상 프레임 간의 차영상을 이용하여 전경영역을 만든다. 전경영역은 이동물체의 영역과 이동물체의 그림자 영역 등을 관심화소(0:black)로 표현하고, 배경영역은 비관심화소(255:white)로 표현한다. 적응적 그림자 제거를 위한 도 4의 입력은 전경영역이다. 전경영역에서 좌표 (x,y)가 전경영역의 관심화소이면 RGB형태 배경영상의 좌표 (x,y)에서 컬러값을 읽어와 baseRGB에 할당하고, 카메라 입력영상의 좌표 (x,y)에서 컬러값을 읽어와 inputRGB에 할당한다. 그리고 baseRGB와 inputRGB의 R,G,B값을 HSI컬러모델로 변환하여 각 baseH, baseS, baseI 값과 inputH, inputS, inputI값을 산출한다. 그리고 흐름도의 단계(S6)와 같이 두 가지 조건을 만족하는지를 판단한다. 첫 번째 조건은 입력영상의 채도값 inputS가 채도 임계값 Sth보다 작은가, 두 번째 조건은 (입력영상의 명도값 / 배경영상의 명도값)이 명도값 임계값 1th_1에서 2th_2까지에 포함되는가이다. 두 가지 조건을 동시에 만족할 때 좌표 (x,y)는 그림자에 포함되며 조건을 만족하지 않을 때는 객체영역(예:차량영역)으로 판단한다. 전경영역의 관심화소좌표에 대하여 반복 적용하여 그림자영역을 제거한다. 그림자 판단의 두 번째 조건이 입력영상과 배경영상간의 비율 값으로 결정되므로 적응적으로 그림자가 제거된다. 따라서 그림자영역은 채도S가 다른 영역에 비교하여 낮다는 사실과 입력영상의 명암값과 배경영상의 명암값의 비율이 일정범위에 포함된다는 사실에 근거하여 그림자를 제거한다. 또한, 도로 영상에서 차량이 있는 경우에는 차량의 하단과 차량의 좌우 부분에 그림자 영역이 존재한다는 사실을 이용하여 구해진 그림자 영역을 검증한다.

본 발명의 그림자 제거모듈(58)의 적용은 영상분석에서 부정확한 특징을 발생시키는 그림자 제거를 통한 차량검지 정확성 향상과, 차량검지의 성공률 향상, 그리고 차량 오검지에 기인한 불필요한 시스템 동작을 줄일 수 있다.

본 발명의 적응적 배경 모델링모듈(57)은 상기 그림자 제거모듈에서 그림자영역이 제거된 이동물체 영역을 제거하여 이동물체 영역만을 취하여 검지된 이동물체 영역으로 하고, N+1번째 이후 입력영상에서 검지된 이동물체 영역을 제외하고 이전에 추적 완료된 이동물체 영역은 포함하여 배경모델을 갱신하는 것이다.

본 발명에서, 영상분석 방법 중에서 입력영상 프레임과 배경영상 프레임 간 의 차영상 기법으로 차량을 정확히 검지하는 불법주정차 무인 자동 단속시스템의 실현을 위해 단속현장의 환경변화에 적응적인 배경 영상프레임을 만드는 적응적 배경 모델링모듈(57)은 도 1a에서 A/D변환된 주정차감시지역(31)의 영상을 영상전송모듈(52)로부터 허브(54), 단속현장 제어모듈(55)을 경유하여 입력받아 이루어진다.

이러한 단속현장의 환경변화에 적응적 배경 모델링은 도 3의 단속현장의 환경변화에 적응적인 배경영상 프레임을 만드는 적응적 배경 모델링을 나타낸 흐름도를 참조하면 알 수 있다.

즉 단속현장의 환경변화에 적응적 배경 모델링은 차량을 검지하기 위해서 매우 중요하며 어려운 과제이다. 제안하는 수단은 정확하고 지능적인 방법으로 주정차감시지역의 환경변화에 적응적인 배경영상, 즉 배경모델을 생성한다. 적응적 배경 모델링모듈(57)의 기본 원리는 "관심 물체 영역을 제외한 영역만으로 차영상을 위한 배경영상 프레임을 생성한다." 는 것이다. 여기서 관심물체는 도로상의 차량이며, 반면에 비관심 물체는 차량이외의 그림자, 사람, 자전거, 오토바이, 동물 등이 될 것이다.

도 3에서, 입력영상에 대하여 초기 배경모델이 제작되었는지를 판단하고(B1, B2), 상기 초기 배경모델의 제작이 이루어지지 않으면 현재 프레임을 프레임 누적공간(N)에 누적한다(B3, B4). 상기 초기 배경모델의 제작이 완료되면 프레임 누적공간(N)을 배경모델 제작 프레임 수로 나누어 배경모델이 설정하고(B5), 상기 초기 배경모델을 기준으로 현재 획득영상을 이동객체검지로 차영상 해주고(B6-1), 그림 자를 제거(B6-2)하게 된다(B6). 상기 프레임 누적공간(N)에 배경모델을 위한 현재 프레임을 누적하고(B7), 객체를 분리하여 관심 물체에 관한 정보만을 생성하며(B8), 현재 프레임에서 생성한 객체 정보의 분리로 배경에 대해서만 배경모델을 적용하여 순수한 배경영상을 생성한다(B-9).

이와 같이 초기 배경모델을 기준으로 먼저 객체를 분리하여, 관심 물체에 관한 정보만을 생성한다. 현재 프레임에서 생성한 객체 정보를 분리하여 배경에 대해서만 배경모델에 적용한다. 따라서 모든 현재 입력 영상 프레임을 배경에 적용하는 것이 아니라, 지능적으로 관심물체는 분리하고 배경(차량의 그림자, 차량이외의 객체)만 배경모델에 적용하므로 생성된 배경 모델은 순수한 배경영상이 생성된다.

문제점은 비관심 물체영역 또한 관심 물체영역으로 인식하여, 배경영상 제작에 미적용 될 수 있으므로, 이를 해결하기위한 방법은 도 3의 단계(B8)와 같이 입력영상에서 검지된 이동물체영역(추적객체영역)은 차영상을 해주고 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)에 대해서는 배경모델에 합하여 발생할 수 있는 오류에 대해 지능적으로 적응할 수 있도록 하는 것이다. 추적 완료된 이동물체영역은 주정차 단속 상황에서 1차 단속완료 차량을 의미하며, 현행법에서는 이미 단속된 차량도 일정시간 경과 후 재단속이 이루어지도록 법제화되어 있다.

다음으로, 도 5의 전체 시스템에 관한 흐름도와, 도 6의 예시도를 참조하면, 도로에 설치된 검지용 고정카메라(30)를 통해 실시간으로 단속현장의 영상이 촬영된 주정차 감시지역(31)의 입력영상을 관심영역 설정모듈(56)을 통해 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하여 저장한다(CD1, CD2). 이는 도 6a와 같다.

상기 검지용 고정카메라(30)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 획득된 이동물체와 이동물체의 그림자가 포함된 전경영상을 그림자 제거모듈(58)에서 이동물체의 그림자 영역을 제거한다(CD4, CD5). 이는 도 6c와 같다.

상기 그림자 제거모듈(58)에서 그림자영역이 제거된 이동물체 영역을 적응적 배경 모델링모듈(57)에서 검지된 이동물체 영역으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체 영역을 제외하고, 이전에 추적 완료된 이동물체 영역을 포함하여 배경모델을 갱신한다(CD3). 이는 도 6b와 같다.

그리고 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석을 위한 영상의 블록화 및 단속을 위한 차량을 검지하게 된다(CD6, CD7). 이는 도 6d와 같다.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술 분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

도 1a는 본 발명에 따른 불법 주정차 무인 자동 단속시스템을 이용하여 주정차 감시지역을 감시 및 단속하는 상태를 개략적으로 나타낸 사시도이다.

도 1b는 본 발명에 따른 불법 주정차 무인 자동 단속시스템에 포함된 컨트롤박스의 주요 구성을 나타낸 블록도이다.

도 1c는 본 발명에 따른 복수의 무인 자동 단속시스템과 서버 사이의 네트워크 구성을 나타낸 구성도이다.

도 2는 본 발명에 따른 불법 주정차 무인 자동 단속시스템에서 차량 검지영역으로서 관심영역을 설정하는 상태를 나타낸 예시도이다.

도 3은 본 발명에 따른 불법 주정차 무인 자동 단속시스템의 적응적 배경 모델링모듈에서 단속현장의 환경변화에 적응적인 배경영상 프레임을 만드는 적응적 배경 모델링을 나타낸 흐름도이다.

도 4는 본 발명에 따른 불법 주정차 무인 자동 단속시스템의 그림자 제거모듈에서 적응적 그림자 제거를 나타낸 흐름도이다.

도 5는 본 발명에 따른 불법 주정차 무인 자동 단속시스템에서 전체적인 시스템의 흐름도이다.

도 6은 본 발명에 따른 불법 주정차 무인 자동 단속시스템에서 해당 모듈의 작동에 따른 예시도이다.

♣ 도면의 주요 부분에 대한 부호의 설명 ♣

10: 차량 20: 도로

22: 주정차 금지구역 24: 주정차 감시섹터

30: 검지용 고정카메라 31: 주정차감시지역

32: 단속용 P/T카메라 40: 지주

50: 컨트롤박스 52: 영상전송모듈

54: 허브 55: 단속현장 제어모듈

56: 관심영역 설정모듈 57: 적응적 배경 모델링모듈

58: 그림자 제거모듈 59: 차량검지모듈

60: 네트워크 70: 서버

80: 프린터 서버 82: 프린터

1A, 1B, 1C: 무인 자동 단속시스템

Claims (5)

1. (a) 도로에 설치된 검지용 고정카메라(30)를 통해 실시간으로 촬영된 단속현장의 영상을 관심영역 설정모듈(56)을 통해 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 단계;

   (b) 상기 검지용 고정카메라(30)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 획득된 이동물체와 이동물체의 그림자가 포함된 전경영상을 그림자 제거모듈(58)에서 이동물체의 그림자 영역을 제거하는 단계;

   (c) 상기 그림자 제거모듈(58)에서 그림자영역이 제거된 이동물체 영역을 적응적 배경 모델링모듈(57)에서 검지된 이동물체영역(추적객체영역)으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하는 단계, 및

   (d) 상기 그림자 영역의 제거와 배경영상의 모델링 후에 영상분석을 위한 영상의 블록화 및 단속을 위한 차량을 검지하는 단계를 포함하여 이루어진 것을 특징으로 하는 불법 주정차 무인 자동 단속방법.
2. 제1항에 있어서,

   상기 단계(a)의 관심영역을 설정하는 단계는,

   관심영역의 설정을 위한 프로그램의 초기화면에서, 연결(Connect)버튼을 마우스로 클릭하여 검지용 고정카메라(30)를 선택하는 단계와,

   상기 선택된 검지용 고정카메라(30)를 클릭하여 주정차 감시지역(31)의 검지용 고정카메라(30)의 카메라 영상을 출력시키는 단계와,

   상기 카메라 영상이 출력된 후에 촬영(capture)버튼의 클릭으로 관심영역 설정을 위한 검지용 고정카메라(30)의 영상이 촬영 및 화면에 표출시키는 단계와,

   상기 화면에 표출된 영상에 관심영역 추가(Add)버튼의 클릭으로 촬영된 영상 위에 관심영역 설정용 사각형이 출력되는 단계와,

   상기 출력된 사각형의 각 제어점인 네 개의 꼭짓점을 마우스로 누르고 끌어 관심영역을 설정하는 단계와,

   상기 관심영역의 설정 후에 주정차감시지역(31) 상에 관심영역을 추가로 설정하기 위하여 관심영역 추가(Add)버튼의 클릭으로 복수의 관심영역을 설정하는 단계를 포함하여 이루어진 것을 특징으로 하는 불법 주정차 무인 자동 단속방법.
3. 제1항에 있어서,

   상기 단계(b)의 그림자 영역을 제거하는 단계는,

   전경영역에서 좌표 (x,y)가 전경영역의 관심화소인지를 판단하는 단계와,

   상기 관심화소인 경우에 RGB형태 배경영상의 좌표 (x,y)에서 컬러값을 읽어와 baseRGB에 할당하는 단계와,

   상기 baseRGB에 할당되면 카메라 입력영상의 좌표 (x,y)에서 컬러값을 읽어 와 inputRGB에 할당하는 단계와,

   상기 baseRGB와 inputRGB의 R,G,B값을 HSI컬러모델로 변환하여 각 baseH, baseS, baseI값과 inputH, inputS, inputI값을 산출하는 단계와,

   상기 HSI컬러값의 산출된 후에 입력영상의 채도값 inputS가 채도 임계값 Sth보다 작은지와 입력영상의 명도값/배경영상의 명도값이 명도값 임계값 1th_1에서 2th_2까지에 포함되는 지의 조건을 동시에 만족할 때에 좌표 (x,y)는 그림자에 포함되고, 조건을 만족하지 않을 때는 객체영역(차량영역)으로 판단하는 단계와,

   상기 전경영역의 관심화소 좌표(x,y)에 대하여 반복 적용하여 그림자영역을 제거하는 단계를 포함하여 이루어진 것을 특징으로 하는 불법 주정차 무인 자동 단속방법.
4. 제1항에 있어서,

   상기 단계(c)의 배경모델을 갱신하는 단계는,

   입력영상에 대하여 초기 배경모델이 제작되었는지를 판단하는 단계와,

   상기 초기 배경모델의 제작이 이루어지지 않으면 현재 프레임을 프레임 누적공간(N)에 누적하는 단계와,

   상기 초기 배경모델의 제작이 완료되면 프레임 누적공간(N)을 배경모델 제작 프레임 수로 나누어 배경모델이 설정하는 단계와,

   상기 초기 배경모델을 기준으로 현재 획득영상을 이동객체검지로 차영상 해주고 그림자를 제거하는 단계와,

   상기 프레임 누적공간(N)에 현재 프레임을 누적하고, 객체를 분리하여 관심 물체에 관한 정보만을 생성하며, 현재 프레임에서 생성한 객체 정보의 분리로 배경에 대해서만 배경모델을 적용하여 순수한 배경영상을 생성하는 단계를 포함하여 이루어진 것을 특징으로 하는 불법 주정차 무인 자동 단속방법.
5. 주정차 감시지역(31)에 설치되어 거리에 비례하여 도로 양쪽의 감시섹터(24)로 분할되어 있는 주정차 금지구역(22)을 감시하기 위한 검지용 고정카메라(30);

   상기 검지용 고정카메라(30)를 통해 실시간으로 촬영된 단속현장의 영상을 영상분석을 위한 차량 검지영역인 복수의 관심영역(ROI: Region of Interest)을 설정하는 관심영역 설정모듈(56);

   상기 검지용 고정카메라(30)로부터 차례로 입력되는 1~N장의 영상으로 초기 배경모델을 제작하고, 제작된 초기 배경모델과 N+1번째 이후부터는 입력영상 간의 차영상으로 이동물체와 이동물체의 그림자가 포함된 전경영역을 분할하며, 전경영역에서 이동물체의 그림자 영역을 제거하는 그림자 제거모듈(58);

   상기 그림자 제거모듈에서 그림자영역이 제거된 이동물체 영역을 검지된 이동물체 영역으로 취하고, N+1번째 이후 입력영상에서 검지된 이동물체영역(추적객체영역)을 제외하고, 이전에 영상프레임에서 추적 완료된 이동물체영역(단속 완료된 이동물체영역)을 포함하여 배경모델을 갱신하는 적응적 배경 모델링모듈(57)을 포함하여 이루어진 것을 특징으로 하는 불법 주정차 무인 자동 단속시스템.

Images