[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101921610B1 - 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 - Google Patents

촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101921610B1
KR101921610B1 KR1020120096805A KR20120096805A KR101921610B1 KR 101921610 B1 KR101921610 B1 KR 101921610B1 KR 1020120096805 A KR1020120096805 A KR 1020120096805A KR 20120096805 A KR20120096805 A KR 20120096805A KR 101921610 B1 KR101921610 B1 KR 101921610B1
Authority
KR
South Korea
Prior art keywords
image
object candidate
pixel
candidate
reference image
Prior art date
Application number
KR1020120096805A
Other languages
English (en)
Other versions
KR20140029069A (ko
Inventor
이희열
조영관
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020120096805A priority Critical patent/KR101921610B1/ko
Priority to PCT/KR2013/007629 priority patent/WO2014035103A1/ko
Priority to CN201380045430.9A priority patent/CN104603838B/zh
Publication of KR20140029069A publication Critical patent/KR20140029069A/ko
Priority to US14/634,618 priority patent/US9367742B2/en
Application granted granted Critical
Publication of KR101921610B1 publication Critical patent/KR101921610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

촬영영상으로부터 객체를 감시하기 위한 장치 및 방법를 개시한다.
영상 촬영장치로부터 촬영된 영상 중 프레임을 수신하는 영상 수신부; 상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지(Edge)영상을 생성하는 에지영상 생성부; 복수 개의 프레임에 소정의 횟수로 반복하여 동일하게 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성부; 상기 에지영상과 상기 참조영상을 비교하여 산출된 상대 차이값에 근거하여 객체후보 화소를 추출하고, 추출된 복수 개의 상기 객체후보 화소를 그룹화한 객체후보로 추출하는 객체후보 추출부; 및 상기 객체후보의 크기 및 검출 지속시간에 근거하여 관심객체인지 여부를 판단하는 관심객체 판단부; 상기 객체후보가 소정의 시간 이상 화소의 변화가 없고 상기 객체후보의 크가가 기 설정된 기준크기보다 큰 경우, 상기 객체후보를 상기 관심객체로 등록하여 이벤트 발생 여부를 감지하는 관심객체 감시부를 포함하는 것을 특징으로 하는 객체 감시장치를 제공한다.

Description

촬영영상으로부터 객체를 감시하기 위한 장치 및 방법{Method and Apparatus for Monitoring Objects from Video}
본 실시예는 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법에 관한 것이다. 더욱 상세하게는, 프레임의 그래디언트(Gradient) 정보에 근거하여 에지(Edge)영상 및 참조영상을 생성하고, 에지영상과 참조영상을 비교하여 관심객체를 설정하고, 설정된 관심객체에 대한 도난 및 방치 등의 이벤트를 감시하는 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
종래에는 객체를 감시하는 데 있어서 화소의 컬러 변화를 검출하여, 컬러 변화가 있는 화소를 일정시간 주시하고 있다가 이를 그래디언트 정보를 이용해서 방치 및 도난 객체의 화소를 판정하였다.
하지만 전체 혹은 부분적인 조명(그늘짐, 점등 및 소등)에 의한 컬러변화는 실시간 감시 영상에서 빈번하게 나타나는데, 컬러에 의한 검출기법은 이러한 조명의 변화에 민감하게 반응하여 잘못된 판정을 일으킬 발생 확률이 높은 문제점이 있다. 또한, 조명에 의한 컬러변화의 문제점 이외에도, 방치 및 도난을 판단하는 과정이 객체후보 추출 과정과는 별도로 진행되기 때문에 감지속도가 저하되는 문제점이 있다. 또한, 방치 및 도난을 판단하는데 그래디언트 정보를 이용하면, 3차원의 컬러정보에 그래디언트 정보까지 추출하여 많은 계산시간이 필요로 하여 실시간 처리가 힘들다는 문제점이 있다.
본 실시예는, 프레임의 그래디언트 정보에 근거하여 에지영상 및 참조영상을 생성하고, 에지영상과 참조영상을 비교하여 관심객체를 설정하고, 설정된 관심객체에 대한 도난 및 방치 등의 이벤트를 감시하는 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 영상 촬영장치로부터 촬영된 영상 중 프레임을 수신하는 영상 수신부; 상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지(Edge)영상을 생성하는 에지영상 생성부; 복수 개의 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성부; 상기 에지영상과 상기 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 상기 객체후보 화소를 그룹화하여 통합된 객체후보로 추출하는 객체후보 추출부; 및 상기 객체후보의 크기 및 검출 지속시간에 근거하여 관심객체인지 여부를 판단하는 관심객체 판단부; 상기 객체후보가 소정의 시간 이상 화소의 변화가 없고 상기 객체후보의 크가가 기 설정된 기준크기보다 큰 경우, 상기 객체후보를 상기 관심객체로 등록하여 이벤트 발생 여부를 감지하는 관심객체 감시부를 포함하는 것을 특징으로 하는 객체 감시장치를 제공한다.
본 실시예의 다른 측면에 의하면, 영상 촬영장치로부터 프레임을 수신하는 영상 수신과정; 상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지영상을 생성하는 에지영상 생성과정; 복수 개의 상기 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성과정; 상기 에지영상과 상기 참조영상을 비교하여 객체후보를 추출하는 객체후보 추출과정; 상기 객체후보가 관심객체인지 여부를 판단하는 관심객체 판단과정; 상기 객체후보가 상기 관심객체로 판단되면, 상기 객체후보를 상기 관심객체로 등록하여 이벤트 발생 여부를 감시하는 관심객체 감시과정; 및 상기 관심객체 감시과정에서 상기 이벤트가 발생하면, 상기 관심객체 영역을 부각시켜 출력하는 디스플레이 과정을 포함하는 것을 특징으로 하는 객체 감시방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 프레임의 그래디언트 정보에 근거하여 에지영상 및 참조영상을 생성하고, 에지영상과 참조영상을 비교하여 관심객체를 설정하고, 설정된 관심객체에 대한 도난 및 방치 등의 이벤트를 감시함으로써, 컬러정보를 이용하여 관심객체를 감지할 때 발생하는 조명의 변화(그늘짐, 점등 및 소등 등)에 의한 오류를 줄일 수 있고, 에지정보를 이용하여 관심객체를 빠르고 정확하게 감지할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시시스템을 개략적으로 나타낸 블록 구성도,
도 2는 본 실시예에 따른 객체 감시장치에서 참조영상을 업데이트하기 위한 업데이트부를 개략적으로 나타낸 블록 구성도,
도 3은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시방법을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 객체 감시장치의 동작을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시시스템을 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 객체 감시시스템은 영상 촬영장치(110), 객체 감시장치(120)를 포함한다. 여기서, 객체 감시장치(120)는 영상 수신부(130), 에지(Edge)영상 생성부(140), 참조영상 생성부(150), 업데이트부(160), 객체후보 추출부(170), 관심객체 판단부(180) 및 디스플레이부(190)를 포함한다.
영상 촬영장치(110)는 영상을 촬영할 수 있는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 물체의 도난 및 방치 등의 감시를 위해 객체 감시 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등으로 구현되는 것이 바람직하다. 영상 촬영장치(110)는 도난 및 방치를 감시하기 위해 촬영된 촬영영상을 객체 감시장치(120)로 전송한다. 영상 촬영장치(110)로 촬영된 영상은 복수 개의 프레임을 포함하여 구성될 수 있다.
객체 감시장치(120)는 에지영상과 참조영상을 생성하고, 에지영상에 대한 화소값과 참조영상에 대한 화소값을 소정의 함수에 적용하여 산출된 상대 차이값에 근거하여 검출후보를 추출한다. 또한, 객체 감시장치(120)는 추출된 검출후보를 소정의 기준에 따라 관심객체로 등록하여 도난 및 방치 등의 이벤트를 감시한다.
본 실시예에 따른 객체 감시장치(120)에 포함된 구성요소에 대해 더 자세히 설명하자면 다음과 같다.
영상 수신부(130)는 객체 감시장치(120)와 연결된 영상 촬영장치(110)로부터 촬영된 촬영영상 중 프레임을 수신한다. 여기서, 프레임은 촬영영상에서 캡쳐된 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 수신하여 그 중 선택된 하나의 프레임일 수 있다.
에지영상 생성부(140)는 프레임의 그래디언트(Gradient) 정보를 이용하여 프레임 내에 나타나는 객체들의 윤곽을 에지(Edge)로 검출하여 에지영상을 생성한다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서, 차이의 절대값의 합을 의미할 수 있다. 여기서, 에지는 그래디언트 정보를 이용하여 객체 간의 경계를 표현한 것을 의미한다.
참조영상 생성부(150)는 프레임에서 배경에 해당하는 부분을 배경에지로 검출하여 참조영상을 생성한다. 여기서, 참조영상은 기 설정된 영역의 객체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 복수 개의 프레임을 비교하여 소정의 횟수 이상 반복하여 동일하게 나타나는 윤곽을 배경에지로 검출한 영상일 수도 있다.
객체후보 추출부(170)는 에지영상과 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 객체후보 화소를 객체후보로 그룹화한다.
본 실시예에 따른 객체후보 추출부(170)는 에지영상의 화소값과 참조영상의 화소값을 소정의 함수에 적용하여 상대 차이값(RD: Relative Difference)을 산출하고 소정의 임계값 이상인 상태가 기 설정된 시간동안 지속되면, 해당 상대 차이값을 갖는 화소를 객체후보 화소로 판단하여 추출한다. 여기서, 기 설정된 시간은 에지영상과 참조영상을 비교하여 프레임 간에 움직임이 있는 객체가 객체후보로 추출되지 않도록 설정된 시간을 의미한다. 여기서, 상대 차이값은 에지영상의 화소값과 참조영상의 화소값의 차이의 제곱에 비례하고, 에지영상의 화소값과 참조영상의 화소값 중 최대값에 반비례한다.
에지영상 화소값과 참조영상 화소값을 비교하여 객체후보 화소를 추출하기 위한 상대 차이값(RD)을 구하기 위한 일 예는 수학식 1과 같다.
Figure 112012070653817-pat00001
(RD: 상대 차이값, A: 에지영상의 화소값, B: 참조영상의 화소값)
객체후보 추출부(170)는 예컨대, 객체후보 화소를 추출하기 위한 임계값은 2일 경우, 에지영상의 화소값이 10 화소, 참조영상의 화소값이 6 화소이면 상대 차이값은 1.6이 계산된다. 여기서, 상대 차이값은 임계값 이하이므로 해당 영상 프레임에 객체후보 화소가 없는 것으로 판단한다. 한편, 객체후보 화소를 추출하기 위한 임계값은 2일 경우, 에지영상의 화소값이 10 화소, 참조영상의 화소값이 4 화소이면 상대 차이값은 3.6이 계산된다. 여기서, 상대 차이값은 임계값 이상이므로 기 설정된 시간동안 지속되면 해당 상태 차이값을 갖는 화소를 객체후보 화소로 판단한다.
또한, 객체후보 추출부(170)는 객체후보 화소로 판단된 복수 개의 객체후보 화소를 객체후보로 그룹화한다. 여기서, 객체후보 추출부(170)는 소정의 임계값 이상인 상대 차이값이 기 설정된 시간 이상 지속되는 복수 개의 객체후보 화소를 객체후보로 그룹화한다.
관심객체 판단부(180)는 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 크면, 객체후보를 관심객체인 것으로 판단한다. 한편, 관심객체 판단부(180)는 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 작으면, 참조영상에 배경에지로 판단하여 업데이트부(160)를 통해 참조영상에 업데이트한다.
업데이트부(181)는 관심객체 판단부(180)에서 배경에지로 판단된 객체후보를 참조영상에 업데이트한다. 여기서, 업데이트는 참조영상 생성부(150)에서 생성된 참조영상을 배경에지로 판단된 객체후보와 비교하여 변화된 부분만을 추가 또는 삭제하는 것을 의미한다.
관심객체 감시부(182)는 관심객체 판단부(180)에서 판단된 객체후보를 관심객체로 등록하고, 관심객체가 등록된 시간부터 촬영영상 내에서의 지속시간을 측정하고, 측정된 시간이 기 설정된 기준시간에 도달하면 도난 및 방치 등의 이벤트가 발생한 것으로 인지하여 이벤트신호(예컨대, 도난 및 방치신호)를 생성한다. 여기서, 이벤트는 도난 및 방치 등의 것이 바람직하나 관심객체의 감지를 이용하여 적용될 수 있는 분야라면 그 어떤 분야도 가능하다. 또한, 기 설정된 기준시간은 사용자가 입력하여 설정된 시간으로서 예컨대, 차량의 정차위반을 감시하기 위해 방치기능을 사용하는 경우 기준시간을 5분으로 설정하여 5분 이상 동일 위치에 방치된 차량에 대한 방치신호를 생성할 수 있고, 미술관의 미술품 도난을 감시하기 위한 도난기능을 사용하는 경우 기준시간을 3초로 설정하여 3초 이상 미술품이 없어지면 미술품에 대한 도난신호를 생성할 수 있다.
관심객체 감시부(182)는 도난 및 방치 등의 이벤트를 감지하는 데 있어서, 소정의 에지영상에 대한 화소값과 소정의 참조영상에 대한 화소값을 각각 A, B라고 하면, 관심객체 영역에 해당하는 복수 개의 화소들의 (A-B)값들을 조합하여 관심객체에 대한 에지 분포를 이용함으로써, 도난 및 방치 등의 이벤트를 감지할 수 있다.
관심객체 감시부(182)에서 에지영상에 대한 화소값과 참조영상에 대한 화소값의 차가 0보다 크면(A-B>0), 참조영상에 없던 화소가 나타나고(이하, 생성화소), 관심객체 감시부(182)에서 에지영상에 대한 화소값과 참조영상에 대한 화소값의 차가 0보다 작으면(A-B<0), 참조영상에 있던 화소가 사라진다(이하, 삭제화소). 예컨대, 관심객체 감시부(182)가 방치 이벤트를 감시하는 경우, 참조영상 내에서 객체의 외곽선 부분에 생성화소가 나타나고, 기존의 배경에지는 객체에 가려져 객체의 중심부분에 삭제화소로 나타난다. 한편, 관심객체 감시부(182)가 도난 이벤트를 감시하는 경우, 참조영상 내에서 객체에 가려져 있던 객체의 중심부분에 생성화소가 나타나고, 객체의 외곽선 부분에 사라진 객체에 대한 삭제화소가 나타난다.
관심객체 감시부(182)는 에지영상에 대한 화소값과 참조영상에 대한 화소값의 차이에 근거하여 도난 및 방치 등과 같은 이벤트를 감지하는 데 있어서, 관심객체의 중심에서의 거리를 가중치로 하는 가중치의 합을 구함으로써 도난 및 방치 등과 같은 이벤트를 감지할 수 있다. 예컨대, 관심객체 감시부(182)가 방치 이벤트를 감시하는 경우, 객체의 외곽선 부분에 나타난 화소(생성화소)는 관심객체 영역과의 거리가 크고, 사라진 화소(삭제화소)의 개수보다 많을 것으로 판단되어 관심객체의 중심에서의 거리를 가중치로 하는 가중치의 합은 양수의 값이 산출되어 방치된 객체임을 판단할 수 있다.
여기서, 관심객체의 중심에서의 거리를 가중치로 하는 가중치의 합을 구하기 위한 일 예는 수학식 2와 같다.
Figure 112012070653817-pat00002
(P: 생성 또는 삭제된 화소, d(P): 화소(P)와 관심객체 영역의 중심 사이의 거리, RD(P): 화소(P)에 대한 상대 차이값, type: 생성화소(예컨대, +1) 또는 삭제화소(예컨대, -1) 타입, ROI(Region of Interest): 관심객체에 대한 영역)
디스플레이부(190)는 관심객체 감시부(182)에서 기 설정된 기준시간에 따라 생성된 이벤트신호(예컨대, 도난 및 방치신호)를 수신하여 해당 관심객체에 표시(예컨대, 원 표시, 사각 표시 등)를 하여 모니터에 출력한다.
도 2는 본 실시예에 따른 객체 감시장치에서 참조영상을 업데이트하기 위한 업데이트부를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 업데이트부(160)는 업데이트 시작부(210), 업데이트 실행부(220) 및 업데이트 종료부(230)를 포함한다.
업데이트 시작부(210)는 관심객체 판단부(180)에서 객체후보가 참조영상에 배경에지로 판단되면, 참조영상을 업데이트하기 위해 참조영상 생성부(150)에 초기화 신호를 전송한다. 한편, 업데이트 시작부(210)는 관심객체 판단부(180)의 판단에 따라서만 참조영상에 대한 업데이트를 수행하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 에지영상 과 참조영상을 비교하여 기 설정된 배경영역이 변경된 경우, 업데이트 실행부(220)를 통해 참조영상을 업데이트할 수도 있다.
업데이트 실행부(220)는 참조영상에 대한 업데이트를 수행한다. 여기서, 업데이트 실행부(220)는 배경에지로 판단된 객체후보와 참조영상을 비교하여 변화된 에지만을 추가 또는 삭제하는 것이 바람직하나 객체후보로 그룹화한다. 에지를 리셋(Reset)하여 참조영상을 생성할 수도 있다.
업데이트 종료부(230)는 참조영상에 대한 업데이트가 종료되면 업데이트된 참조영상을 이용하여 객체후보를 추출하도록 참조영상 생성부(150)에 업데이트 완료신호를 전송한다.
도 3은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시방법을 설명하기 위한 순서도이다.
객체 감시장치(120)는 영상 촬영장치(110)로부터 촬영된 영상 중 프레임을 수신한다(S310). 여기서, 프레임은 촬영영상에서 캡쳐된 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 수신하여 그 중 선택된 하나의 프레임일 수 있다.
객체 감시장치(120)는 그래디언트 정보를 이용하여 상기 프레임 내에 포함된 객체들의 윤곽을 에지로 검출하여 에지영상을 생성한다(S320).
객체 감시장치(120)는 복수 개의 프레임에서 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 검출하여 참조영상을 생성한다(S330).
한편, 객체 감시장치(120)는 참조영상에 대한 업데이트가 필요하지 않은 경우, 에지영상과 참조영상을 비교하여 상이한 에지부분을 그룹화하여 객체후보를 추출한다(S340). 객체 감시장치(120)는 에지영상의 화소값과 참조영상의 화소값을 소정의 함수에 적용하여 상대 차이값을 산출하고 소정의 임계값 이상인 상태가 기 설정된 시간동안 지속되면, 해당 상대 차이값을 갖는 화소를 객체후보 화소로 판단하여 추출한다. 또한, 객체 감시장치(120)는 소정의 임계값 이상인 상대 차이값이 기 설정된 시간 이상 지속되는 복수 개의 객체후보 화소를 객체후보로 그룹화한다.
객체 감시장치(120)는 단계 S340에서 추출된 객체후보가 소정의 기준을 이용하여 관심객체인지 여부를 판단하여(S350), 객체후보가 관심객체가 아닌 경우 참조영상의 배경에지로 판단하여 참조영상에 대한 업데이트를 수행한다(S352). 여기서, 객체 감시장치(120)는 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 작으면, 객체후보를 관심객체가 아닌 것으로 판단한다.
한편, 단계 S350를 확인한 결과, 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 커서 관심객체로 판단된 경우, 객체 감시장치(120)는 객체후보를 관심객체로 등록한다(S360).
객체 감시장치(120)는 관심객체의 도난 및 방치 등의 이벤트를 감시하고(S370), 관심객체에 대한 도난 및 방치 등의 이벤트가 발생하면(S380), 관심객체에 대한 영역을 예컨대, 원 또는 사각 테두리로 부각시켜 디스플레이한다(S390).
도 3에서는 단계 S310 내지 단계 S390를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S390 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 객체 감시장치의 동작을 설명하기 위한 예시도이다.
촬영영상(410)은 영상 촬영장치(110)에서 촬영된 영상으로서 빈 방안에 사람이 가방을 두고 가는 영상이다.
에지영상(420)은 객체 감지장치(120)가 그래디언트 정보를 이용하여 촬영영상(410)의 프레임 내에 나타나는 복수 개의 객체들의 윤곽을 에지로 검출하여 생성한 영상이다.
참조영상(430)은 프레임에서 배경에 해당하는 부분을 배경에지로 검출하여 생성한 영상이다. 여기서, 참조영상은 기 설정된 영역의 객체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 복수 개의 프레임을 비교하여 소정의 횟수 이상 반복하여 동일하게 나타나는 윤곽을 배경에지로 검출한 영상일 수도 있다.
에지 비교영상(440)은 에지영상(420)과 참조영상(430)을 비교하여 객체후보(442)를 추출한 영상이다. 여기서, 객체 감지장치(120)는 에지 비교영상(440)에 추출된 객체후보(442)를 추출하기 위해 에지영상(420)의 화소값과 참조영상(430)의 화소값을 소정의 함수에 적용하여 상대 차이값을 산출하고 소정의 임계값 이상인 상태가 기 설정된 시간동안 지속되면, 해당 상대차이 값을 갖는 화소를 객체후보(442)에 대한 화소로 판단한다.
관심객체 영상(450)은 소정의 기준에 근거하여 객체후보(442) 중 관심객체(452)를 판단하여 추출한 영상이다. 여기서, 객체 감지장치(120)는 객체후보(442)에 대한 에지부분이 소정의 시간 이상 화소의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 큰 것으로 확인되면, 객체후보(442)를 관심객체(452)인 것으로 판단한다
이벤트 탐지 결과영상(460)은 관심객체(452)에 대한 이벤트가 발생하면, 이벤트 결과(462)를 부각시켜 출력된 영상이다. 여기서, 객체 감지장치(120)는 관심객체(452)의 지속시간을 측정하고, 측정된 시간이 기 설정된 기준시간에 도달하면 도난 및 방치 등의 이벤트가 발생한 것으로 판단하여 이벤트 결과(462)를 부각되도록 표시(예컨대, 원 표시, 사각 표시 등)하여 모니터에 출력할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 객체후보로 그룹화한다. 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예은 분야에 적용되어, 컬러정보를 이용하여 관심객체를 감지할 때 발생하는 조명의 변화(그늘짐, 점등 및 소등 등)에 의한 오류를 줄일 수 있고, 에지정보를 이용하여 관심객체를 보다 빠르고 정확하게 감지할 수 있는 효과를 발생하는 유용한 발명이다.
110: 영상 촬영장치 120: 객체 감시장치
130: 영상 수신부 140: 에지영상 생성부
150: 참조영상 생성부 170: 객체후보 추출부
180: 관심객체 판단부 181: 업데이트부
182: 관심객체 감시부 190: 디스플레이부

Claims (15)

  1. 촬영영상의 프레임을 수신하는 영상 수신부;
    상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지(Edge)영상을 생성하는 에지영상 생성부;
    복수 개의 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성부;
    상기 에지영상과 상기 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 상기 객체후보 화소를 그룹화한 객체후보로 추출하는 객체후보 추출부;
    상기 객체후보의 크기 및 검출 지속시간에 근거하여 관심객체인지 여부를 판단하는 관심객체 판단부; 및
    상기 객체후보가 소정의 시간 이상 화소의 변화가 없고 상기 객체후보의 크가가 기 설정된 기준크기보다 큰 경우, 상기 객체후보를 상기 관심객체로 등록하고, 상기 에지영상에 대한 화소값과 상기 참조영상에 대한 화소값의 차를 기 설정된 값과 비교한 결과에 따라 복수개의 생성화소와 삭제화소를 생성하고, 상기 생성화소와 상기 삭제화소를 기반으로 이벤트 발생 여부를 감지하는 관심객체 감시부
    를 포함하는 것을 특징으로 하는 객체 감시장치.
  2. 제 1 항에 있어서,
    상기 관심객체 판단부에서 상기 객체후보가 상기 관심객체가 아닌 것으로 판단되는 경우, 상기 객체후보를 상기 참조영상에 업데이트하는 업데이트부
    를 추가로 포함하는 것을 특징으로 하는 객체 감시장치.
  3. 제 2 항에 있어서,
    상기 업데이트부는,
    상기 객체후보가 소정의 시간 이상 화소의 변화가 없되, 상기 객체후보의 크기가 기 설정된 기준크기보다 작은 경우 상기 객체후보를 상기 참조영상에 업데이트하는 것을 특징으로 하는 객체 감시장치.
  4. 제 1 항에 있어서,
    상기 이벤트가 발생하면, 상기 관심객체 영역을 부각시켜 출력하는 디스플레이부
    를 추가로 포함하는 것을 특징으로 하는 객체 감시장치.
  5. 제 1 항에 있어서,
    상기 객체후보 추출부는,
    상기 에지영상과 상기 참조영상의 상대 차이값에 근거하여 상기 객체후보 화소를 추출하는 것을 특징으로 하는 객체 감시장치.
  6. 제 5 항에 있어서,
    상기 상대 차이값은,
    상기 에지영상의 화소값과 상기 참조영상의 화소값의 차이의 제곱에 비례하고, 상기 에지영상의 화소값과 상기 참조영상의 화소값 중 최대값에 반비례하는 것을 특징으로 하는 객체 감시장치.
  7. 제 6 항에 있어서,
    상기 객체후보 추출부는,
    상기 상대 차이값이 소정의 임계값보다 큰 상태가 기 설정된 시간 이상 유지되면 상기 객체후보 화소로 추출하고 상기 객체후보로 그룹화하는 것을 특징으로 하는 객체 감시장치.
  8. 제 1 항에 있어서,
    상기 에지영상 생성부는,
    상기 프레임의 그래디언트(Gradient) 정보를 이용하여 상기 에지를 검출하는 것을 특징으로 하는 객체 감시장치.
  9. 제 1 항에 있어서,
    상기 관심객체 감시부는,
    상기 관심객체가 등록된 시간부터 상기 촬영영상 내에서의 지속시간을 측정하고, 측정된 상기 지속시간이 기 설정된 기준시간에 도달하게 되면 상기 이벤트가 발생한 것으로 인지하는 것을 특징으로 하는 객체 감시장치.
  10. 제 1 항에 있어서,
    상기 관심객체 감시부는,
    상기 생성화소 및 상기 삭제화소를 조합하여 상기 관심객체에 대한 에지분포를 확인하고, 상기 에지분포를 기반으로 상기 이벤트의 종류를 확인하는 것을 특징으로 하는 객체 감시장치.
  11. 제 10 항에 있어서,
    상기 관심객체 감시부는,
    상기 에지영상에 대한 화소값과 상기 참조영상에 대한 화소값의 차가 O보다 크면 상기 생성화소로 생성하고, 상기 에지영상에 대한 화소값과 상기 참조영상에 대한 화소값의 차가 O보다 작으면 상기 삭제화소로 생성하며,
    상기 이벤트의 종류가 도난 감시 이벤트인 경우, 상기 참조영상 내에서 상기 관심객체에 가려져 있던 상기 관심객체의 중심부분에 상기 생성화소를 나타내고, 상기 관심객체의 외곽선 부분에 상기 삭제화소를 나타내는 것을 특징으로 하는 객체 감시장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020120096805A 2012-08-31 2012-08-31 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 KR101921610B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120096805A KR101921610B1 (ko) 2012-08-31 2012-08-31 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
PCT/KR2013/007629 WO2014035103A1 (ko) 2012-08-31 2013-08-26 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
CN201380045430.9A CN104603838B (zh) 2012-08-31 2013-08-26 从采集的图像监测对象的设备和方法
US14/634,618 US9367742B2 (en) 2012-08-31 2015-02-27 Apparatus and method for monitoring object from captured image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120096805A KR101921610B1 (ko) 2012-08-31 2012-08-31 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140029069A KR20140029069A (ko) 2014-03-10
KR101921610B1 true KR101921610B1 (ko) 2018-11-23

Family

ID=50183856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120096805A KR101921610B1 (ko) 2012-08-31 2012-08-31 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법

Country Status (4)

Country Link
US (1) US9367742B2 (ko)
KR (1) KR101921610B1 (ko)
CN (1) CN104603838B (ko)
WO (1) WO2014035103A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102131896B1 (ko) 2014-09-23 2020-07-09 에스케이텔레콤 주식회사 영상 감시 방법 및 장치
KR102366521B1 (ko) 2015-01-19 2022-02-23 한화테크윈 주식회사 이동 물체 탐지 시스템 및 방법
US20160342845A1 (en) * 2015-04-28 2016-11-24 Arcsoft Inc. Detection zones
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
CN108428228A (zh) * 2018-03-05 2018-08-21 深圳市奥拓电子股份有限公司 Led灯智能检测方法、检测系统及存储介质
JP6915575B2 (ja) * 2018-03-29 2021-08-04 京セラドキュメントソリューションズ株式会社 制御装置及び監視システム
US11900701B2 (en) * 2019-03-01 2024-02-13 Hitachi, Ltd. Left object detection device and left object detection method
CN113574849A (zh) 2019-07-29 2021-10-29 苹果公司 用于后续对象检测的对象扫描
KR102108326B1 (ko) * 2019-12-19 2020-05-12 주식회사 세오 레이더 신호 및 카메라 영상 정보 기반 인공지능 객체 식별 방법 및 시스템

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0532052B1 (en) * 1991-09-12 2008-02-13 FUJIFILM Corporation Method for extracting object images and method for detecting movements thereof
KR101380783B1 (ko) * 2008-08-22 2014-04-02 정태우 영상에 포함된 객체를 식별하여 부가 서비스를 제공하는 시스템
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
KR101108491B1 (ko) * 2010-07-13 2012-01-31 한국과학기술연구원 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법
KR101180887B1 (ko) * 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
JP2012128877A (ja) * 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
실시간 지능형 감시 시스템을 위한 방치, 제거된 객체 검출에 관한 연구

Also Published As

Publication number Publication date
US9367742B2 (en) 2016-06-14
CN104603838B (zh) 2017-04-19
KR20140029069A (ko) 2014-03-10
US20150169958A1 (en) 2015-06-18
WO2014035103A1 (ko) 2014-03-06
CN104603838A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
KR101921610B1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
CN104902246B (zh) 视频监视方法和装置
JP5576937B2 (ja) 車両の周辺監視装置
US10032283B2 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
JP6554169B2 (ja) 物体認識装置及び物体認識システム
KR101618814B1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6764481B2 (ja) 監視装置
JP2017129567A5 (ko)
JP2008286756A5 (ko)
JP5832910B2 (ja) 画像監視装置
JP6638723B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
KR20170092662A (ko) 이미지 처리 방법
JP2015103104A5 (ko)
JP2007018426A5 (ko)
JP2014183322A (ja) 交差点認識装置及びコンピュータが実行可能なプログラム
JP2011234237A5 (ko)
KR101640527B1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
JP5626099B2 (ja) 歩行者検出装置
JP2015061163A (ja) 遮蔽検知装置
KR101395666B1 (ko) 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법
WO2014085025A1 (en) Object removable detection using 3-d depth information
KR101960741B1 (ko) 관심경계에 따른 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
JP2011134119A (ja) 車両周辺監視装置
KR102160583B1 (ko) 이벤트 객체 감시장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant