KR20150050224A - 비정상 배회 탐지 장치 및 방법 - Google Patents

Abstract

비정상 배회 감지 장치는 카메라로부터 영상을 수신하는 통신부, 영상에서 비정상 배회하는 객체를 감지하도록 하는 명령어를 저장하는 메모리 및 명령어에 따라 동작하는 프로세서를 포함하되, 명령어는 영상에서 객체를 추출하고, 객체의 경로에 상응하는 하나 이상의 대표점을 검출하는 단계, 대표점 간의 벡터를 산출하는 단계 및 벡터 간 방향 차이가 미리 지정된 임계 각도 이상인 회수가 미리 지정된 수 이상인 경우, 객체가 비정상 배회하고 있음으로 감지하는 단계의 수행을 명령하는 명령어를 포함한다.

Description

비정상 배회 탐지 장치 및 방법{APPARATUS AND METHDO FOR ABNORMAL WANDERING}

본 발명은 감시 서비스 기술에 관한 것으로 보다 상세하게는 비정상 배회하는 객체를 탐지 장치 및 방법에 관한 것이다.

최근에 많은 수의 CCTV 카메라들로부터 입력된 영상에 대해 단순히 저장만을 제공하는 것이 아니라 입력된 영상을 분석하여 비정상적 행동을 인식하는 지능형 감시 서비스의 요구가 증대하고 있다. 지능형 영상감시 시스템은 비디오 영상에서 객체들의 행동을 모니터링 하는 것으로 기본적으로 객체 탐지 및 추적 기능을 수행하고 최종적으로 객체들의 비정상적 행동 패턴들을 탐지하는 기능을 수행 한다. 이때, 객체의 이동궤적 정보는 비정상 행동 탐지를 위해서 가장 많이 사용되는 특징들 중의 하나이다.

기존의 이동궤적을 분석하여 비정상행동을 탐지하는 방법들은 정상적 이동궤적을 모델링 하기 위해 공간상의 거리 및 움직임 속도 등의 유사도를 기반으로 이동궤적들의 클러스터링을 통해 정상적 이동궤적들에 대해 모델링을 수행한다. 이때, 생성된 모델과 새로 입력된 이동궤적간의 공간상 거리를 비교하여 정상/비정상 여부를 탐지 한다. 하지만 기존 방법들은 새로 입력된 이동궤적이 학습된 모델과의 임계 거리값 내에 있을 경우에 앞뒤로 움직임, Zigzag, 그리고 meandering 등의 불규칙 방향의 배회 등과 같이 여러 가지 형태의 비정상 행동을 탐지 하는 데는 어려움이 있다. 또한, 발생 가능한 다양한 모든 형태의 이동궤적들에 대해 모델링 하는 것은 어려운 일이다.

본 발명이 해결하고자 하는 과제는 이동궤적의 방향 정보 히스토리를 분석하여 비정상적 배회를 탐지하는 방법 및 장치를 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는 카메라의 시점로 인한 이동궤적 방향 정보들의 왜곡을 해결하는 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명의 일 측면에 따르면, 카메라로부터 영상을 수신하는 통신부; 상기 영상에서 비정상 배회하는 객체를 감지하도록 하는 명령어를 저장하는 메모리; 및 상기 명령어에 따라 동작하는 프로세서를 포함하되, 상기 명령어는 상기 영상에서 객체를 추출하고, 상기 객체의 경로에 상응하는 하나 이상의 대표점을 검출하는 단계; 상기 대표점 간의 벡터를 산출하는 단계; 및 상기 벡터 간 방향 차이가 미리 지정된 임계 각도 이상인 회수가 미리 지정된 수 이상인 경우, 상기 객체가 비정상 배회하고 있음으로 감지하는 단계;의 수행을 명령하는 명령어를 포함하는 것을 특징으로 하는 비정상 배회 감지 장치가 제공된다.

상술한 바와 같이 본 발명의 일 실시예에 따르면, 감시 카메라의 영상을 분석하여 비정상 배회를 하는 사람이 있음을 감지할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 카메라의 시점에 따라 방향 정보가 왜곡되는 현상을 완화시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 비정상 배회 감지 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 비정상 배회 감지 장치가 특정 객체의 비정상 배회를 감지하는 과정을 예시한 순서도.
도 3은 본 발명의 일 실시예에 따른 비정상 배회 감지 장치에 연결된 카메라의 방향을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 비정상 배회 감지 장치의 시점 변환에 따른 효과를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 비정상 배회 감지 장치가 대표점을 선정한 것을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 비정상 배회 감지 장치가 감지하는 비정상 배회 및 정상적인 배회를 나타낸 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 비정상 배회 감지 장치를 예시한 블록도이다.

도 1을 참조하면, 비정상 배회 감지 장치는 통신부(110), 메모리(120) 및 프로세서(130)를 포함한다.

통신부(110)는 프로세서(130)의 제어에 따라 통신망을 통해 카메라(미도시)와 연결되어 영상을 수신한다. 통신부(110)는 수신한 영상을 메모리(120)에 저장한다. 또한, 통신부(110)는 통신망을 통해 외부 디바이스(미도시)와 연결되어 비정상 배회 객체가 있음을 알리는 알림 메시지를 전송할 수 있다.

메모리(120)는 통신부(110)를 통해 수신한 영상을 저장한다. 또한, 메모리(120)는 영상을 분석하여 비정상 배회 객체를 감지하는 명령어를 저장한다.

프로세서(130)는 메모리(120)에 저장된 명령어에 따라 영상을 분석하여 비정상 배회 객체가 있음을 감지하고, 알림 메시지를 생성하여 통신부(110)를 통해 외부 디바이스(미도시)로 전송한다.

이하, 도 2 내지 도 4를 참조하여, 프로세서(130)가 메모리(120)에 저장된 명령어에 따라 비정상 배회 객체를 감지하는 과정을 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 비정상 배회 감지 장치가 특정 객체의 비정상 배회를 감지하는 과정을 예시한 순서도이다. 이하 설명하는 과정은 프로세서(130)가 메모리(120)에 저장된 명령어에 따라 수행하는 과정이나 발명의 명확하고 간략한 설명을 위해 주체를 비정상 배회 감지 장치로 통칭하기로 한다.

도 2를 참조하면, 단계 210에서 비정상 배회 감지 장치는 통신부(110)를 통해 카메라로부터 영상을 입력 받고, 영상을 월드 좌표계(중력 방향을 일 축으로 하는 3차원 좌표계) 상의 탑 뷰(top view)에 상응하는 시점의 영상으로 변환한다. 일반적으로 카메라의 방향은 월드 좌표계 상에서 탑 뷰가 아닐 수 있다. 따라서, 카메라에서 촬영한 영상에서 객체가 이동한 경로는 당해 카메라의 시점에 따른 원근 효과(perspective effect)로 인해 투영 왜곡 현상이 발생한다. 이에 따라, 비정상 배회 감지 장치는 카메라로부터 수신한 영상을 월드 좌표계 상의 탑 뷰에 상응하는 시점의 영상으로 변환하여 경로의 왜곡을 감소시키는 단계 210을 수행한다. 추후, 도 3 및 도 4를 참조하여 영상을 탑 뷰에 상응하도록 변환하는 과정을 상세히 설명하도록 한다.

단계 220에서 비정상 배회 감지 장치는 영상에서 객체를 추출하고, 해당 객체가 위치한 지점인 경로점의 위치를 산출한다.

단계 230에서 비정상 배회 감지 장치는 경로점 간 거리를 기준으로 각 경로점 중 하나 이상을 대표점으로 선정한다. 예를 들어, 비정상 배회 감지 장치는 첫 경로점(최초로 객체가 영상에 등장한 지점)을 우선 대표점으로 선정한다. 이후 비정상 배회 감지 장치는 최근 선정된 대표점과 시간 순서대로 당해 대표점 이후의 각 경로점 간의 거리를 순차적으로 산출한다. 이 때, 대표점과 대표점 이후의 경로점 간의 거리가 미리 지정된 거리 이상인 경우, 해당 경로점을 다음 대표점으로 선정한다. 비정상 배회 감지 장치는

단계 240에서 비정상 배회 감지 장치는 이웃한 대표점 간의 벡터를 산출한다. 예를 들어, 비정상 배회 감지 장치는 i번 째 선정된 대표점와 i+1번 째 선정된 대표점 간의 벡터를 하기의 수학식 1과 같이 산출할 수 있다.

이 때, x_i는 i번 째 대표점의 x 좌표이고, y_i는 i번 째 대표점의 y 좌표이고, v_i 는 i번 째 선정된 대표점와 i+1번 째 선정된 대표점 간의 벡터이고, T는 각 벡터를 포함하는 집합이다.

단계 250에서 비정상 배회 감지 장치는 기준 벡터와 j번째 벡터 간의 내적이 미리 지정된 제1 임계값 이상인지 판단한다. 이 때, 기준 벡터의 초기값은 첫 번째 벡터일 수 있다.

단계 250에서 기준 벡터와 j번째 벡터 간의 내적이 미리 지정된 제1 임계값 이상인 경우, 단계 260에서 비정상 배회 감지 장치는 방향 변경 회수를 1 증가시키고, 기준 벡터를 j번째 벡터로 선정한다. 이 때, 방향 변경 회수의 초기값은 0이다. 이후, 비정상 배회 감지 장치는 단계 270을 수행한다.

단계 250에서 기준 벡터와 j번째 벡터 간의 내적이 미리 지정된 제1 임계값 미만인 경우, 단계 270에서 비정상 배회 감지 장치는 j를 1만큼 증가시킨다.

단계 280에서 비정상 배회 감지 장치는 모든 벡터에 대해 기준 벡터와의 내적을 산출하였는지 판단한다.

단계 280에서 모든 벡터에 대해 기준 벡터와의 내적을 산출하지 않은 경우, 비정상 배회 감지 장치는 단계 250부터의 과정을 반복 수행한다.

단계 280에서 모든 벡터에 대해 기준 벡터와의 내적을 산출한 경우, 단계 290에서 비정상 배회 감지 장치는 방향 변경 회수가 미리 지정된 제2 임계값 이상인지 판단한다.

단계 290에서 방향 변경 회수가 미리 지정된 제2 임계값 이상인 경우, 단계 295에서 비정상 배회 감지 장치는 특정 객체의 비정상적 배회가 발생하였음으로 인식하고, 이를 알리는 알림 메시지를 발생한다. 해당 알림 메시지는 당해 비정상 배회 감지 장치와 통신망을 통해 연결된 단말 등의 외부 디바이스로 전송될 수 있다.

단계 290에서 방향 변경 회수가 미리 지정된 제2 임계값 미만인 경우, 비정상 배회 감지 장치는 비정상 배회 감지 과정을 종료한다.

도 3은 본 발명의 일 실시예에 따른 비정상 배회 감지 장치에 연결된 카메라의 방향을 예시한 도면이다.

도 3을 참조하면, 일반적으로 CCTV는 사선 형태로 설치되어 입력 영상을 생성한다. 이로 인해 perspective effect로 인하여 거리 및 방향 등의 값이 왜곡되는 문제를 가지게 된다. 본 발명의 일 실시예에 따른 비정상 배회 감지 장치는 상술한 단계 210을 통해 좀 더 정확한 방향 정보 분석을 수행하기 위해 Inverse Perspective Mapping을 통해 카메라에서 촬영한 영상을 탑뷰에 상응하도록 변환을 수행하여 왜곡 문제를 해결한다.

예를 들어, 비정상 배회 감지 장치는 카메라의 촬영 방향과 수직인 u, v 축으로 형성된 2차원 이미지 좌표계의 영상을 x, y, z 축으로 형성된 월드 좌표계로 맵핑한다. 이 때, 이미지 좌표계의 영상을 월드 좌표계로 매핑하기 위해서는 카메라의 촬영 방향과 월드 좌표계의 xz 평면 간의 각도는

이고, 카메라의 촬영 방향과 월드 좌표계의 xy 평면 간의 각도는

, 카메라의 조리개 구경은 2

이고, 카메라의 해상도는 m x n이다.

예를 들어, 비정상 배회 감지 장치는 이미지 좌표계 상의 영상을 월드 좌표계의 z축 좌표가 0인 면 상에 위치하는 이미지로 변환한다. 즉, 하기의 수학식 2에 따라 영상을 월드 좌표계로 매핑할 수 있다.

이 때, x(u,v)는 이미지 좌표계 상 영상의 좌표 (u,v)에 위치한 점에 대한 월드 좌표계 상의 x축 좌표이고, y(u,v)는 이미지 좌표계 상 영상의 좌표 (u,v)에 위치한 점에 대한 월드 좌표계 상의 y축 좌표이고, z(u,v)는 이미지 좌표계 상 영상의 좌표 (u,v)에 위치한 점에 대한 월드 좌표계 상의 z축 좌표이다.

이어서, 비정상 배회 감지 장치는 하기의 수학식 3과 같이 3차원 좌표계인 월드 좌표계 상의 이미지를 2차원 이미지로 변환한다.

이 때, x는 는 이미지 좌표계 상 영상의 좌표 (u,v)에 위치한 점에 대한 월드 좌표계 상의 x축 좌표이고, y는 이미지 좌표계 상 영상의 좌표 (u,v)에 위치한 점에 대한 월드 좌표계 상의 y축 좌표이다. u(x, y, 0)는 월드 좌표계 상의 좌표 (x, y, 0)에 위치한 점을 월드 좌표계의 탑뷰로 보았을 경우의 u축 좌표이고, v(x, y, 0)는 월드 좌표계 상의 좌표 (x, y, 0)에 위치한 점을 월드 좌표계의 탑뷰로 보았을 경우의 v축 좌표이다.

도 4는 본 발명의 일 실시예에 따른 비정상 배회 감지 장치의 시점 변환에 따른 효과를 설명하기 위한 도면이다.

도 4를 참조하면, 카메라로부터 입력받은 영상은 도 4a와 같이 원근 효과로 인해 각 경로 상의 방향이 왜곡되어 있다. 도 4b와 같이 시점 변환을 통해 변환된 영상에서는 월드 좌표계의 탑뷰에서 본 것과 유사하도록 경로가 추출될 수 있다. 실제로 도 4a에서는 벡터의 변화가 큰 지점 간의 각(교차된 화살표 간의 각)이 예각을 형성하고 있으나, 도 4b에서는 둔각을 형성하고 있다. 따라서, 본 발명의 일 실시예에 따르 비정상 배회 감지 장치는 원근 효과에 따른 왜곡으로 인해 경로 상의 방향(벡터)이 부정확하게 산출되는 것을 완화시킬 수 있다.

도 5는 본 발명의 일 실시예에 따른 비정상 배회 감지 장치가 대표점을 선정한 것을 예시한 도면이다.

도 5를 참조하면, 비정상 배회 감지 장치가 추출한 경로점에 따른 경로는 510과 같이 객체가 미세하게 지그재그로 움직인 것으로 나타난다. 하지만, 이는 객체의 움직임에 따라 발생한 미세한 움직임이기 때문에 경로를 평탄화시켜 미세한 움직임은 무시하도록 하는 과정이 필요하다. 이에 따라 비정상 배회 감지 장치는 도 2를 참조하여 상술한 단계 230의 대표점을 선정하는 과정을 통해 도 5와 같이 대표점을 연결한 경로를 이용할 수 있다.

도 6은 본 발명의 일 실시예에 따른 비정상 배회 감지 장치가 감지하는 비정상 배회 및 정상적인 배회를 나타낸 도면이다.

도 6을 참조하면, 비정상 배회 감지 장치는 610과 같은 정상적인 배회와 620 및 630과 같은 비정상적 배회를 감지한다. 따라서, 비정상 배회 감지 장치는 감시 카메라 등에서 촬영한 영상에서 특정 사람이 도난 등을 목적으로 비정상적 배회를 하는 것을 감지하고, 이를 알림 메시지로 전송하도록 하여 범죄 행위에 미리 대비할 수 있도록 할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (1)

1. 카메라로부터 영상을 수신하는 통신부;
   상기 영상에서 비정상 배회하는 객체를 감지하도록 하는 명령어를 저장하는 메모리; 및
   상기 명령어에 따라 동작하는 프로세서
   를 포함하되,
   상기 명령어는
   상기 영상에서 객체를 추출하고, 상기 객체의 경로에 상응하는 하나 이상의 대표점을 검출하는 단계;
   상기 대표점 간의 벡터를 산출하는 단계; 및
   상기 벡터 간 방향 차이가 미리 지정된 임계 각도 이상인 회수가 미리 지정된 수 이상인 경우, 상기 객체가 비정상 배회하고 있음으로 감지하는 단계;
   의 수행을 명령하는 명령어를 포함하는 것을 특징으로 하는 비정상 배회 감지 장치.
   

Images