[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101893677B1 - 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치 - Google Patents

컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치 Download PDF

Info

Publication number
KR101893677B1
KR101893677B1 KR1020170012692A KR20170012692A KR101893677B1 KR 101893677 B1 KR101893677 B1 KR 101893677B1 KR 1020170012692 A KR1020170012692 A KR 1020170012692A KR 20170012692 A KR20170012692 A KR 20170012692A KR 101893677 B1 KR101893677 B1 KR 101893677B1
Authority
KR
South Korea
Prior art keywords
color
change area
image
channel
value
Prior art date
Application number
KR1020170012692A
Other languages
English (en)
Other versions
KR20180088557A (ko
Inventor
김동근
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020170012692A priority Critical patent/KR101893677B1/ko
Publication of KR20180088557A publication Critical patent/KR20180088557A/ko
Application granted granted Critical
Publication of KR101893677B1 publication Critical patent/KR101893677B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 색상과 에지 공분산 특징을 이용하여 컬러 영상 내의 변화영역을 검출하는 방법에 관한 것으로, 획득된 비디오 프레임에서 잡음을 제거하고 색상채널과 밝기채널로 분리하여 출력하는 전처리단계와, 전송된 영상에 대한 상기 색상채널과 밝기채널의 통계적 분포특성을 산출하는 분포특성 산출단계 및 상기 분포특성 산출단계에서 전송된 배경영상과 현재 입력영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역 검출단계를 포함하되, 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상 갱신단계를 더 포함하는 컬러 영상 내의 변화영역을 검출하는 방법을 제공한다.

Description

컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치{Method and apparatus for Detecting the change area in color image signals}
본 발명은 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 카메라로부터 획득한 컬러 비디오 영상에서 컬러 색상과 에지 그래디언트의 공분산 행렬을 기반으로 영상의 변화영역을 검출하는 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치에 관한 것이다.
비디오 또는 감시목적으로 설치된 카메라에서 서로 다른 시간에 촬영된 두 영상 사이의 변화영역 검출에 대한 기술은 비디오 감시, 원격탐사, 의료분야 진단, 수중탐사 등 많은 분야에 응용될 수 있다. 특히, 비디오 감시는 기준이 되는 배경영상으로부터 비디오에서 움직이는 물체를 검출할 수 있으며, 검출영역을 추적 또는 물체의 종류를 식별하는 과정 등을 수행한다.
배경영상에서 변화영역을 검출하는 간단한 방법은 배경 차영상을 이용하는 방법이다. 배경 차영상을 이용한 방법은 배경영상과 현재 입력 프레임과의 차영상을 이용하는 방법으로 구현이 간단하며, 효율적으로 이동물체를 검출할 수 있는 장점이 있지만, 이러한 화소사이의 배경 차영상을 이용한 방법은 잡음과 바람, 카메라의 흔들림 등에 민감한 문제점이 있다.
따라서, 배경 차영상 방법은 배경영상을 계산하고, 시간변화에 따라 지속적으로 갱신하는 방법이 중요하다.
위와 같이 배경영상을 지속적으로 갱신하기 위해 배경영상에 대한 영상의 시간 평균, 중위수, 최빈수를 사용하는 방법이 있으나, 메모리 문제와 계산속도 문제로 대부분의 응용에서 배경영상과 입력영상의 가중치에 의한 이동평균을 계산하는 방법으로 배경영상을 갱신하는 방법을 사용한다.
배경 차영상을 이용하는 영상 내의 변화영역을 검출하는 대부분의 방법은 밝깃값의 차이를 이용하고 있으나, 이외에도 색상 정보, 에지, 코너점, 필터링값 등 다양한 값을 사용하여 변화영역을 검출 할 수 있다.
한편, 공분산행렬은 다변량 확률분포에서 서로 다른 확률변수 사이의 분포를 특징 짖는 중요한 도구이다. 영상처리 및 컴퓨터 비전 응용에서 화소의 위치, 에지, 코너점, 밝깃값, 컬러, 그래디언트 등의 다양한 특징에 대한 공분산행렬은 특징 공간의 분포특성을 잘 나타내는 영역 묘사자로 물체검출 및 분할 등에 사용할 수 있는 등의 장점이 있다.
하지만, 위와 같은 공분산행렬은 계산시간이 많이 소요된다는 문제점이 있다. 특히, 비디오 처리에서 각 화소 주위의 공분산행렬을 계산할 때는 매우 많은 시간이 소요된다는 문제점이 있다.
관련 선행기술로는 한국등록특허 10-1582800호(등록일: 2015. 12. 30)가 있다.
본 발명은 고정된 카메라로부터 획득한 비디오 영상에서 배경영상의 컬러색상과 에지 그래디언트의 공분산행렬을 이용하여 배경영상으로부터 현재 입력 프레임의 변화영역을 검출할 수 있는 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치를 제공하고자 한다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 컬러 영상 내의 변화영역을 검출하는 방법은, 색상과 에지 공분산 특징을 이용하여 컬러 영상 내의 변화영역을 검출하는 방법에 있어서, 획득된 비디오 프레임에서 잡음을 제거하고 색상채널과 밝기채널로 분리하여 출력하는 전처리단계와, 전송된 영상에 대한 상기 색상채널과 밝기채널의 통계적 분포특성을 산출하는 분포특성 산출단계 및 상기 분포특성 산출단계에서 전송된 배경영상과 현재 입력영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역 검출단계를 포함하되, 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상 갱신단계를 더 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 전처리 단계에서, 상기 잡음 제거는 가우시안 필터링에 의하여 잡음을 제거하는 것을 특징으로 할 수 있다.
구체적으로, 상기 전처리 단계에서, 상기 배경영상 중에서 초기의 배경영상은 일정 시간동안 획득된 프레임을 평균하여 생성하는 것을 특징으로 할 수 있다.
구체적으로, 상기 분포특성 산출단계는, 어느 하나의 화소 주위에 기설정된 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 영상적분단계와, 상기 사각형 윈도우의 색상 평균벡터과 색상 공분산행렬을 구하는 색상 분포특성 산출단계 및 상기 사각형 윈도우의 에지그래디언트 평균벡터와 에지그래디언트 공분산행렬을 구하는 에지그래디언트 분포특성 산출단계를 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 색상 평균벡터는 화소(x,y)에서 하기의 수학식 A에 의해 계산되는 것을 특징으로 할 수 있다.
[수학식 A]
Figure 112017009498361-pat00001
여기서, cM(x,y)는 색상 평균벡터를 나타내고, Cr, Cb는 색차정보를 나타내고, E는 기댓값을 나타낸다.
구체적으로, 상기 색상 공분산행렬은 하기의 수학식 B에 의해 계산되는 것을 특징으로 할 수 있다.
[수학식 B]
Figure 112017009498361-pat00002
여기서, cC(x,y)는 색상 공분산행렬을 나타내고, Cr, Cb는 색차정보를 나타내고, E는 기댓값을 나타낸다.
구체적으로, 상기 에지그래디언트 평균벡터는 화소(x,y)에서 하기의 수학식 C에 의해 계산되는 것을 특징으로 할 수 있다.
[수학식 C]
Figure 112017009498361-pat00003
여기서, gM(x,y)는 그래디언트 평균벡터를 나타내고, E는 기댓값을 나타낸다.
구체적으로, 상기 에지그래디언트 공분산행렬은 하기의 수학식 D에 의해 계산되는 것을 특징으로 할 수 있다.
[수학식 D]
Figure 112017009498361-pat00004
여기서, gC(x,y)는 그래디언트 공분산행렬을 나타내고, E는 기댓값을 나타낸다.
구체적으로, 상기 변화영역 검출단계는, 어느 하나의 화소를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널과 밝기채널의 통계적 거리를 산출하는 통계적 거리 산출단계와, 상기 색상채널과 밝기채널의 통계적 거리를 기설정된 임계값과 비교하는 비교단계와, 상기 색상채널 또는 밝기채널의 통계적 거리가 기설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기설정된 값을 부여하고 작으면 또 다른 하나의 기설정된 값을 부여하는 변화영역값 부여단계 및 상기 통계적 거리가 기설정된 임계값보다 클 때 값이 부여된 변화영역을 변화영역으로 검출하는 변화영역 지정단계;를 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 색상채널의 통계적 거리는 어느 하나의 화소의 위치에서 상기 현재 입력영상의 색상채널값과 상기 배경영상의 색상 평균벡터와 색상 공분산행렬을 이용하여 산출하고, 상기 밝기채널의 통계적 거리는 상기 현재 입력영상의 에지그래디언트 벡터와 상기 배경영상의 에지그래디언트 평균벡터와 에지그래디언트 공분산행렬을 이용하여 산출하는 것을 특징으로 할 수 있다.
구체적으로, 상기 통계적 거리는 마하라노비스 거리인 것을 특징으로 할 수 있다.
구체적으로, 상기 변화영역 지정단계에서, 상기 변화영역값은 하기의 수학식 E에서처럼 산출하는 것을 특징으로 할 수 있다.
[수학식 E]
Figure 112017009498361-pat00005
여기서, M(x,y)는 변화영역을 나타내고, Dc(x,y)는 색상채널의 통계적 거리를 나타내고, Dg(x,y)는 밝기채널의 통계적 거리를 나타내고, T1과 T2는 각각 기설정된 임계값을 나타낸다.
구체적으로, 상기 변화영역 검출단계는, 상기 변화영역을 산출할 때 서로 겹치지 않은 영역 단위로 변화영역을 검출할 수 있는 것을 특징으로 할 수 있다.
구체적으로, 상기 검출된 변화영역에서 고립된 검출위치를 제거하고 레이블링을 적용하여 변화영역을 검출할 수 있는 것을 특징으로 할 수 있다.
구체적으로, 상기 배경영상 갱신단계는, 상기 변화영역으로 판단된 위치에서 배경영상을 가중평균을 이용하여 시간에 따라 갱신한 값은 하기의 식 F에서처럼 계산되는 것을 특징으로 할 수 있다.
[수학식 F]
Figure 112017009498361-pat00006
여기서, (x,y)는 변화영역으로 판단된 위치를 나타내고, Bt(x,y)는 가중평균을 이용하여 시간에 따라 갱신한 값을 나타내고, M(x,y)는 변화영역을 나타내고, α는 [0, 1] 사이의 가중치를 나타낸다.
상기 과제를 달성하기 위한 본 발명의 컬러 영상 내의 변화영역 검출장치는, 획득된 비디오 프레임을 입력받는 영상입력부와, 상기 획득된 비디오프레임에서 잡음을 제거하고 색상채널과 밝기채널로 분리하여 출력하는 전처리부와, 상기 전처리부에서 전송된 상기 색상채널과 밝기채널의 통계적 분포특성을 산출하는 분포특성산출부와, 상기 전처리부에서 전송되는 현재 입력영상과 상기 분포특성산출부에서 전송된 이전 배경영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역검출부와, 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상갱신부와, 상기 변화영역검출부에서 전송되는 영상을 출력하는 영상출력부를 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 전처리부는, 상기 획득된 비디오프레임의 잡음을 제거하는 잡음제거부와, RGB 색상모델로 획득된 영상신호를 YCrCb 색상모델 영상신호로 변환하는 색상모델 변환부와, 상기 YCrCb 색상모델 영상신호에서 밝기 에지변화값과 색상변화값을 산출하는 변화값 산출부를 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 분포특성산출부는, 획득된 비디오프레임에서 어느 하나의 화소 주위에 기 설정된 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 적분연산부와, 상기 사각형 윈도우의 색상 평균벡터과 색상 공분산행렬을 산출하는 색상분포특성산출부와, 상기 사각형 윈도우의 에지그래디언트 평균벡터와 에지그래디언트 공분산행렬을 산출하는 에지그래디언트분포특성산출부를 포함하는 것을 특징으로 할 수 있다.
구체적으로, 상기 변화영역검출부는, 어느 하나의 화소를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널과 밝기채널의 통계적 거리 산출하는 거리계산부와, 상기 색상채널 또는 밝기채널의 통계적 거리가 기 설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기 설정된 값을 부여하고 작으면 또 다른 하나의 기 설정된 값을 부여한 후 상기 통계적 거리가 기 설정된 임계값보다 클 때 부여된 변화영역값을 변화영역으로 검출하는 변화영역할당부를 포함하는 것을 특징으로 할 수 있다.
이상에서 설명한 바와 같이 본 발명은 본 발명에서는, 컬러 비디오 영상에서 YCbCr 컬러 비디오 포맷을 사용하여 CbCr-채널로부터 색상 공분산 행렬을 계산하고 Y-채널로부터는 에지 그래디언트 공분산 행렬을 계산한 후 상기 색상 공분산 행렬과 에지 그래디언트 공분산 행렬로 배경영상으로부터 적분영상을 사용하여 임의의 사각영역의 합계와 제곱 합계, 곱셈 합계를 효과적으로 계산하여 각 화소에서 빠르게 계산되기 때문에, 영상 내의 변화영역을 검출하기 위해 배경경상을 시간변화에 따라 지속적으로 갱신할 때 계산속도가 빨라 처리 속도가 단축되는 효과가 있다.
또한, 현재 프레임에서의 배경영상으로부터의 변화영역은 컬러 공분산 행렬과 에지 그래디언트 공분산 행렬을 사용한 통계적 거리 측정인 마하라노비스 거리를 이용하여 검출하기 때문에, 컬러 비디오 영상에서 컬러색상과 그래디언트의 변화영역을 효과적으로 검출할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 컬러 영상 내의 변화영역을 검출하는 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 전처리부의 구성을 나타내는 블록도이다.
도 3은 도 1에 도시된 분포특성산출부의 구성을 나타내는 블록도이다.
도 4는 도 1에 도시된 변화영역검출부의 구성을 나타내는 블록도이다.
도 5는 본 발명의 일실시예에 따른 컬러 영상 내의 변화영역을 검출하는 방법을 나타내는 순서도이다.
도 6은 도 5에 도시된 분포특성 산출단계를 상세히 나타낸 순서도이다.
도 7은 도 5에 도시된 변화영역 검출단계를 상세히 나타낸 순서도이다.
도 8은 도 6에 도시된 영상적분단계에서 어느 하나의 화소 주위에 기 설정된 크기의 사각형 윈도우를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 컬러 영상 내의 변화영역 검출장치의 실제 구현 결과를 예시한 도면이다.
본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 컬러 영상 내의 변화영역을 검출하는 장치의 구성을 나타내는 블록도로서, 본 발명의 컬러 영상 내의 변화영역 검출장치(100)는, 획득된 비디오 프레임을 입력받는 영상입력부(110)와, 상기 획득된 비디오 프레임에서 잡음을 제거하고 색상채널(CrCb-)과 밝기채널(Y-)로 분리하여 출력하는 전처리부(120)와, 상기 전처리부(120)에서 전송된 상기 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 분포특성을 산출하는 분포특성산출부(130)와, 전처리부(120)에서 전송되는 현재 입력영상과 상기 분포특성산출부(130)에서 전송된 이전 배경영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역검출부(140)와, 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상갱신부(150)와, 상기 변화영역검출부(140)에서 전송되는 영상을 출력하는 영상출력부(160)를 포함할 수 있다.
컬러 영상 내의 변화영역 검출장치(100)는 고정된 카메라로부터 촬영된 영상을 계속하여 입력받고 있는 것으로 가정한다. 즉, 상술한 바와 같이 비디오 감시를 위해서는 연속되어 입력되는 영상 중에서 기준이 되는 배경영상과 움직이는 물체의 변화가 발생되는 현재 입력영상을 비교하여 영상 내의 변화영역을 검출하여 움직이는 물체의 변화를 감지하게 되는데, 이하에서 현재 입력영상이라 하면 일정 시점의 시간 t 에서 입력 영상의 프레임을 말하는 것으로 하고 배경영상이라 하면 일정 시점의 시간 t 이전의 입력 영상의 프레임을 말하는 것으로 한다. 그리고 이하에서 기재되는 식에서 입력영상은 I로 표시하고, 배경영상은 B로 표시한다. 그리고 식 중간의 O.W(otherwise)는 if 다음에 사용되어 '만약 그렇지 않으면'의 의미로 사용된다. 이에 대한 구체적인 내용은 후술하기로 한다.
컬러 영상 내의 변화영역 검출장치(100)가 입력받는 영상은 화면에 뿌려지는 한 장면 한 장면의 정지 화상을 의미하는 프레임 단위로 입력되는 것으로 가정한다. 즉, 예를 들면 일반적으로 사용되는 NTSC 시스템에서는 일초에 30장의 정지된 화면으로 구성되고 영화는 보통 1초에 24프레임으로 구성되어 동화상을 구현하게 된다.
컬러 영상 내의 변화영역 검출장치(100)를 이루는 이하의 구성요소들은 데이터의 연산과 저장을 위해 마이크로프로세서 등의 연산 처리 장치와 다양한 저장장치가 주를 이루어 구성되는 것으로 한다. 물론 이는 본 발명의 일실시예이며 본 발명이 이에 한정되는 것은 아니다.
영상입력부(110)는 대상이 되는 영상을 촬영하여 획득된 비디오 프레임을 입력받는다. 본 발명의 일실시예에서는 고정된 카메라에 의해 촬영된 영상을 예시로 하였지만 이외에도 다양한 입력소스, 즉, 저장장치에 저장되어 있던 영상일 수도 있고 유무선 네트워크를 통하여 전송된 영상일 수도 있다. 그리고 영상을 촬영하는 카메라는 CCTV 카메라, 휴대폰의 카메라, 휴대용 비디오카메라 등과 같이 다양한 분야의 카메라가 모두 해당될 수 있음은 당연하다 할 것이다.
영상입력부(110)에 입력되는 영상의 색상모델은 RGB 색상모델에 의한 것으로 가정한다. 여기서 색상모델이라 함은 주로 숫자 또는 문자 등으로 색의 특징을 설명하기 위한 수학적 방법을 사용하여 표현되며 이러한 색상모델은 영상처리를 위한 영상인식 알고리즘에 의해 사용된다.
도 2는 전처리부의 구성을 나타내는 블록도로서, 전처리부(120)는 상기 획득된 비디오프레임의 잡음을 제거하는 잡음제거부(121)와, RGB 색상모델로 획득된 영상신호를 YCrCb 색상모델 영상신호로 변환하는 색상모델 변환부(123)와, 상기 YCrCb 색상모델 영상신호에서 밝기 에지변화값과 색상변화값을 산출하는 변화값 산출부(124)를 포함할 수 있다.
전처리부(120)는 영상입력부(110)에서 획득된 영상의 비디오 프레임에서 잡음을 제거하고 색상채널(CrCb-)과 밝기채널(Y-)로 분리하여 신호를 출력하는데, 상술한 바와 같이 영상입력부(110)에 입력되는 영상은 연속적으로 입력된다고 할 때, 어느 일정 시점의 시간 t에서 입력되는 현재 입력영상의 신호는 분포특성산출부(130)를 거치지 않고 변화영역검출부(140)로 전송되고 일정 시점의 시간 t 이전에 입력되었던 신호는 배경영상의 신호는 분포특성산출부(130)를 거쳐서 변화영역검출부(140)로 전송된다. 따라서, 일정 시점의 시간 t를 기준으로 하여 이전에 입력된 배경영상과 현재 입력영상을 변화영역검출부(140)가 서로 비교할 수 있게 된다.
그리고, 여기서 초기의 배경영상의 경우에는 그 이전에 입력된 영상이 없으므로 일정 시간동안 획득된 프레임을 평균하여 생성한 것을 배경영상으로 할 수 있다. 이에 대한 상세한 내용은 후술하기로 한다.
잡음제거부(121)는 영상입력부(110)에서 획득된 영상의 비디오 프레임을 잡음을 제거하기 위하여 가우시안 필터를 거치도록 할 수 있다. 여기서 영상잡음에는 전기적 잡음에 의해 발생하는 잡음으로 종 모양의 분포를 뛰는 가우시안 잡음, 카메라 센서 내 화소 요소의 오작동 또는 영상의 디지털화 과정에서 시차적 오류 등으로 발생하는 임펄스 잡음 등이 있을 수 있는데, 이 중에서 가우시안 잡음을 제거하기 위한 필터가 가우시안 필터이다. 본 발명의 일실시예에서 잡음제거부(121)가 획득된 영상의 잡음을 제거하기 위하여 가우시안 필터를 사용하는 것을 예를 들었지만 본 발명이 이에 한정되는 것이 아님은 당연하다 할 것이다.
색상모델 변환부(123)는 상술한 것처럼 영상입력부(110)에서 RGB 색상모델로 획득된 영상신호를 YCrCb 색상모델 영상신호로 변환하는 기능을 수행한다. 이는 전송된 영상을 색상정보와 밝기정보로 분리하여 처리하기 위함인데, 상기 YCrCb 색상모델 영상신호의 경우 Y- 채널은 밝기성분의 값을 나타내고 CrCb- 채널은 색차정보의 값을 나타낸다. 디지털 영상에 있어서 상기 값들은 각각 0 ~ 255 사이의 값을 가진다.
변화값 산출부(124)는 상기 YCrCb 색상모델 영상신호에서 밝기 에지변화값과 색상변화값을 산출하는 기능을 수행한다. 즉, Y- 채널은 밝기성분의 값은 에지변화를 계산하고 CrCb- 채널은 색차정보의 값은 색상의 변화를 계산한다. 이에 대한 상세한 내용은 후술하기로 한다.
도 3은 분포특성산출부의 구성을 나타내는 블록도로서, 분포특성산출부(130)는 획득된 비디오프레임에서 어느 하나의 화소 (x,y) 주위에 기 설정된 가로 세로 WxH 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 적분연산부(131)와, 상기 사각형 윈도우의 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)을 산출하는 색상분포특성산출부(132)와, 상기 사각형 윈도우의 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)을 산출하는 에지그래디언트분포특성산출부(133)를 포함할 수 있다.
분포특성산출부(130)는 상기 전처리부(120)에서 전송된 상기 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 분포특성을 산출함으로써 이후에 해당 영상에서 색상이 변하는 영역을 검출하는데 사용되도록 한다.
적분연산부(131)는, 획득된 비디오프레임에서 어느 하나의 화소 (x,y) 주위에 기 설정된 가로 세로 WxH 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는데, 이는 상기 사각형 윈도우 영역의 합계, 평균, 분산 등을 빠르게 계산하기 위해서 적분영상을 사용하는 것이다. 이에 대한 상세한 내용은 후술하기로 한다.
색상분포특성산출부(132)는 상기 사각형 윈도우의 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)을 산출하는 기능을 수행하는 데, 상기 적분연산부(131)에서 계산된 적분영상을 이용하여 계산한다. 이에 대한 상세한 내용은 후술하기로 한다.
에지그래디언트분포특성산출부(133)는 상기 사각형 윈도우의 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)을 산출하는 기능을 수행하는 데, 마찬가지로 상기 적분연산부(131)에서 계산된 적분영상을 이용하여 계산한다. 이에 대한 상세한 내용은 후술하기로 한다.
도 4는 변화영역검출부의 구성을 나타내는 블록도로서, 변화영역검출부(140)는 어느 하나의 화소(x,y)를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널(CrCb-) 과 밝기채널(Y-)의 통계적 거리를 산출하는 거리계산부(141)와, 상기 색상채널(CrCb-) 또는 밝기채널(Y-)의 통계적 거리가 기 설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기 설정된 값을 부여하고 작으면 또 다른 하나의 기 설정된 값을 부여한 후 상기 통계적 거리가 기 설정된 임계값보다 클 때 부여된 변화영역 M(x,y) 값을 변화영역으로 검출하는 변화영역할당부(142)를 포함할 수 있다.
변화영역검출부(140)는 전처리부(120)에서 전송되는 현재 입력영상과 상기 분포특성산출부(130)에서 전송된 이전 배경영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 기능을 수행하게 된다. 즉, 어느 일정 시점의 시간 t를 기준으로 할 때, 현재 입력영상은 일정 시점의 시간 t에 해당하는 영상이고 배경영상은 일정 시점의 시간 t 이전에 분포특성산출부(130)에서 전송된 영상이 되어 변화영역검출부(140)가 t이전의 배경영상을 현재 t 시점의 현재 입력영상과 비교하여 변화영역을 검출하게 된다.
거리계산부(141)는 어느 하나의 화소(x,y)를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널(CrCb-) 과 밝기채널(Y-)의 통계적 거리를 산출하는데, 색상채널(CrCb-)의 통계적 거리는 어느 하나의 화소의 위치에서 상기 현재 입력영상의 색상채널값과 상기 배경영상의 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)을 이용하여 산출하고, 상기 밝기채널(Y-)의 통계적 거리는 상기 현재 입력영상의 에지그래디언트 벡터와 상기 배경영상의 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y) 을 이용하여 산출하게 된다.
그리고, 본 발명의 일실시예어서 상기 통계적 거리는 마하라노비스 거리를 사용하는데, 마하라노비스 거리는 공분산행령의 역행렬을 사용하여 계산하여서 데이터의 상관관계를 반영한 통계적 거리를 계산한다. 이에 대한 상세한 내용은 후술하기로 한다.
변화영역할당부(142)는 상기 색상채널(CrCb-) 또는 밝기채널(Y-)의 통계적 거리가 기 설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기 설정된 값을 부여하고 작으면 또 다른 하나의 기 설정된 값을 부여한 후 상기 통계적 거리가 기 설정된 임계값보다 클 때 부여된 변화영역 M(x,y) 값을 변화영역으로 검출하는 기능을 하는데, 예를 들어 색상채널(CrCb-) 또는 밝기채널(Y-)의 통계적 거리가 각각 기 설정된 T1, T2 값보다 크게 되면 해당 영상의 어느 한 화소는 변화된 것으로 보고 변화영역 M(x,y)에 255 값을 부여하고 그렇지 않으면 0을 부여한다. 이에 대한 자세한 내용은 후술하기로 한다.
변화영역할당부(142)는 상기 변화영역을 산출할 때 빠른 속도의 검출을 위해서 서로 겹치지 않은 영역 단위로 변화영역을 검출할 수 있고, 후처리를 통하여 상기 검출된 변화영역 M(x,y) 에서 고립된 검출위치를 제거하고 레이블링을 적용하여 보다 큰 변화영역을 검출할 수 있다.
배경영상갱신부(150)는 시간의 변화에 따른 배경영상의 변화를 고려하기 위하여 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 기능을 한다. 즉, 시간의 변화에 따라 해당 영상의 변화영역은 계속하여 변하게 되는데 이를 계속하여 갱신하여 그 다음의 배경영상으로 함으로써 새로 입력되는 현재 입력영상과 비교될 수 있도록 한다. 이에 대한 상세한 내용은 후술하기로 한다.
영상출력부(160)는 상기 변화영역검출부(140)에서 변화영역 M(x,y)에 대한 판단과 그 해당 값이 부여되고 나면 해당 영상은 변화영역 M(x,y)이 반영된 영상이 되어 전송되고 그 영상을 출력하는 기능을 한다. 이러한 영상출력부(160)는 디스플레이로의 출력, 유무선 등을 통한 외부로의 전송, 저장장치 등에의 저장과 같이 다양한 방법으로 출력될 수 있다.
이하에서는 위와 같이 이루어지는 변화영역 검출장치를 이용하여 컬러 영상 내의 변화영역을 검출하는 방법에 대하여 상세히 설명하기로 한다.
도 5는 본 발명의 일실시예에 따른 컬러 영상 내의 변화영역을 검출하는 방법을 나타내는 순서도로서, 본 발명의 색상과 에지 공분산 특징을 이용하여 컬러 영상 내의 변화영역을 검출하는 방법은, 획득된 비디오 프레임에서 잡음을 제거하고 색상채널(CrCb-)과 밝기채널(Y-)로 분리하여 출력하는 전처리단계(S210)와, 전송된 영상에 대한 상기 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 분포특성을 산출하는 분포특성 산출단계(S220) 및 상기 분포특성 산출단계에서 전송된 배경영상과 현재 입력영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역 검출단계(S230)를 포함하되, 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상 갱신단계(S240)를 더 포함할 수 있다.
전처리단계(S210)는 획득된 비디오 프레임에서 잡음을 제거하고 색상채널(CrCb-)과 밝기채널(Y-)로 분리하여 출력하는 단계로서, 상술한 바와 같이 전처리부(120)의 잡음제거부(121)가 영상입력부(110)에서 획득된 영상의 비디오 프레임을 잡음을 제거하기 위하여 가우시안 필터를 거치도록 한 후, 전처리부(120)의 색상모델 변환부(123)가 상술한 것처럼 영상입력부(110)에서 RGB 색상모델로 획득된 영상신호를 YCrCb 색상모델 영상신호로 변환하고, 전처리부(120)의 변화값 산출부(124)가 상기 YCrCb 색상모델 영상신호에서 밝기 에지변화값과 색상변화값을 산출하여 출력한다.
여기서, Y- 채널 밝기성분의 값에 대한 에지변화는 아래의 수학식 1과 같이 계산되고, CrCb- 채널 색차정보의 값에 대한 색상의 변화는 아래의 수학식 2와 같이 계산된다.
[수학식 1]
Figure 112017009498361-pat00007
[수학식 2]
Figure 112017009498361-pat00008
여기서,
Y는 Y- 채널 밝기성분의 값에 대한 에지변화 값이고, Cr, Cb는 색차정보의 값에 대한 색상의 변화 값이다.
전처리 단계(S210)에서 잡음 제거는 가우시안 필터링에 의하여 잡음을 제거할 수 있고, 상기 배경영상 중에서 초기의 배경영상은 일정 시간동안 획득된 프레임을 평균하여 생성한다. 이에 대한 내용은 상술하였으므로 자세한 내용은 생략하기로 한다.
도 6은 도 5에 도시된 분포특성 산출단계를 상세히 나타낸 순서도로서, 상기 분포특성 산출단계(S220)는, 어느 하나의 화소 (x,y) 주위에 기 설정된 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 영상적분단계(S221)와, 상기 사각형 윈도우의 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)을 구하는 색상 분포특성 산출단계(S222) 및 상기 사각형 윈도우의 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)을 구하는 에지그래디언트 분포특성 산출단계(S223)를 포함할 수 있다.
분포특성 산출단계(S220)는 전송된 영상에 대한 상기 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 분포특성을 산출하는 단계이다. 그 구체적인 단계는 아래와 같다.
영상적분단계(S221)는 분포특성산출부(130)의 적분연산부(131)가 어느 하나의 화소 (x,y) 주위에 기 설정된 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 단계로서, 적분연산부(131)가 획득된 비디오프레임에서 어느 하나의 화소 (x,y) 주위에 기 설정된 가로 세로 WㅧH 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는데, 이는 상기 사각형 윈도우 영역의 합계, 평균, 분산 등을 빠르게 계산하기 위해서 적분영상을 사용하는 것이다.
도 8을 참조하면 기 설정된 가로 세로 WㅧH 크기의 사각형 윈도우가 영역 A로 표시되어 있고, 사각형 모서리 점은 각각 (x1,y1), (x1,y2), (x2,y1), (x2,y2)로 표시되어 있음을 알 수 있다.
사각형 모서리 점인 각각 (x1,y1), (x1,y2), (x2,y1), (x2,y2)의 적분영상 값 sum(X,Y)을 이용하여 상기 영역 A의 적분영상 cRsum(X,Y), cBsum(X,Y), cRsum2(X,Y), cBsum2(X,Y), cXsum(X,Y)를 아래의 수학시 3과 같이 계산한다.
[수학식 3]
Figure 112017009498361-pat00009
여기서, cRsum(X,Y)은 Cr- 색상채널의 적분영상이고, cBsum(X,Y)는 Cb- 색상채널의 적분영상이고, cRsum2(X,Y)는 Cr- 색상채널의 제곱 적분영상이고, cBsum2(X,Y)는 Cb- 색상채널의 제곱 적분영상이고, cXsum(X,Y)는 Cr- 색상채널과 Cb- 색상채널의 곱셈의 적분영상이다.
다시, 위에서 계산된 각각의 적분영상을 이용하여 x1 ≤ x ≤x2, y1 ≤ y ≤y2에 의해 정의되는 상기 사각형 윈도우 영역 A에서의 합계 sCr(A), sCb(A), s2Cr(A), s2Cb(A), sCrb(A)를 아래의 수학식 4과 같이 계산한다.
[수학식 4]
Figure 112017009498361-pat00010
여기서, sCr(A)와 sCb(A)는 상기 사각형 윈도우 영역 A에서의 Cr-채널과 Cb채널의 합계이고, s2Cr(A)와 s2Cb(A)는 Cr-채널과 Cb채널의 제곱합계이고, sCrb(A)는 Cr-채널과 Cb채널의 곱셈의 합계이다.
색상 분포특성 산출단계(S222)는 분포특성산출부(130)의 색상분포특성산출부(132)가 상기 사각형 윈도우 영역 A의 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)을 구하는 단계로서, 상기 색상 평균벡터는 화소(x,y)에서 하기의 수학식 5에 의해 계산될 수 있고, 상기 색상 공분산행렬은 하기의 수학식 6에 의해 계산될 수 있다.
[수학식 5]
Figure 112017009498361-pat00011
여기서, cM(x,y)는 색상 평균벡터를 나타내고, Cr, Cb는 색차정보를 나타내고, E는 기댓값을 나타낸다.
[수학식 6]
Figure 112017009498361-pat00012
여기서, cC(x,y)는 색상 공분산행렬을 나타내고, Cr, Cb는 색차정보를 나타내고, E는 기댓값을 나타낸다.
이때, 상기 수학식 5는 상기 수학식 3과 4에서의 계산결과인 상기 사각형 윈도우 영역 A에서의 Cr-채널과 Cb채널의 합계인 sCr(A)와 sCb(A)를 이용하여 계산하는데, 기댓값 E[Cr(x,y)]와 E[Cb(x,y)]는 하기의 수학식 7에 의해 계산될 수 있다.
[수학식 7]
Figure 112017009498361-pat00013
여기서, N은 상기 사각형 윈도우 영역 A의 크기이다.
또한, 상기 수학식 6에서 색상 공분산행렬 cC(x,y)를 계산하기 위한 cov(Cr,Cr), cov(Cb,Cb), cov(Cr,Cb)의 구체적인 계산과정은 하기의 수학식 8과 같이 계산될 수 있다.
[수학식 8]
Figure 112017009498361-pat00014
여기서, N은 상기 사각형 윈도우 영역 A의 크기이다.
에지그래디언트 분포특성 산출단계(S223)는 분포특성산출부(130)의 에지그래디언트 분포특성산출부(133)가 상기 사각형 윈도우 영역 A의 에지그래디언트 평균벡터gM(x,y)와 에지그래디언트 공분산행렬gC(x,y)을 구하는 단계로서, 이후의 단계인 변화영역 검출단계(S320)에서 상술한 바와 같이 일정 시점의 시간 t 이전의 배경영상과 전처리부(120)에서 전송되는 현재 입력영상의 프레임 사이의 밝기 값의 변화를 검출하는 대신에 밝기 채널인 Y- 채널 영상에서 에지 그래디언트 분포의 변화를 이용하여 변화영역을 검출할 수 있도록 상기 사각형 윈도우 영역 A의 에지그래디언트 평균벡터gM(x,y)와 에지그래디언트 공분산행렬gC(x,y)을 구하는 단계이다.
여기서, 픽셀과 픽셀 사이의 에지변화는 잡음에 매우 민감하므로, 기 설정된 WㅧH 크기의 상기 사각형 윈도우 영역 A에서의 에지 그래디언트 분포변화를 계산하게 되는데, 1차 미분 에지 연자산자를 이용하여 에지의 그래디언트 g(x,y)=(Ix,Iy)를 계산하여 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)을 계산한다.
한편, 에지그래디언트 분포특성 산출단계(S223)는 색상분포 특성산출(S222)에서와 마찬가지로 영상적분(S221)단계에서 계산되는 sumIx(x,y), sumIy(x,y), sum2Ix(x,y), sum2Iy(x,y), sumIxy(x,y) 등의 적분영상을 이용하여 상기 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)을 계산하게 된다.
즉, 영상적분(S221) 단계에서 sumIx(x,y), sumIy(x,y), sum2Ix(x,y), sum2Iy(x,y), sumIxy(x,y)는 하기의 수학식 9와 같이 계산될 수 있다.
[수학식 9]
Figure 112017009498361-pat00015
여기서, sIx(A)와 sIy(A)는 상기 사각형 윈도우 영역 A에서의 Ix와 Iy의 합계이고, s2Ix(A)와 s2Iy(A)는 상기 사각형 윈도우 영역 A에서의 Ix와 Iy의 제곱합계이고, sIxy(A)는 상기 사각형 윈도우 영역 A에서의 Ix와 Iy의 곱셈의 합계이다.
다시, 영상적분(S221) 단계에서는 위에서 계산된 각각의 적분영상을 이용하여 x1 ≤ x ≤x2, y1 ≤ y ≤y2에 의해 정의되는 상기 사각형 윈도우 영역 A에서의 합계 sIx(A), sIy(A), s2Ix(A), s2Iy(A), sIxy(A)를 아래의 수학식 10과 같이 계산한다.
[수학식 10]
Figure 112017009498361-pat00016
위와 같이 영상적분(S221) 단계에서의 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)을 계산하기 위한 적분 연산단계가 계산되고 나면 비로소 에지그래디언트 분포특성 산출단계(S223)에서 에지그래디언트 평균벡터gM(x,y)와 에지그래디언트 공분산행렬gC(x,y)을 구하게 된다.
즉, 에지그래디언트 분포특성 산출단계(S223)에서 분포특성산출부(130)의 에지그래디언트 분포특성산출부(133)가 상기 사각형 윈도우 영역 A에서의 상기 에지그래디언트 평균벡터 gM(x,y)를 화소(x,y)에서 하기의 수학식 11과 같이 계산하고, 상기 에지그래디언트 공분산행렬 gC(x,y)을 하기의 수학식 12와 같이 계산한다.
[수학식 11]
Figure 112017009498361-pat00017
여기서, gM(x,y)는 그래디언트 평균벡터를 나타내고, E는 기댓값을 나타낸다.
[수학식 12]
Figure 112017009498361-pat00018
여기서, gC(x,y)는 그래디언트 공분산행렬을 나타내고, E는 기댓값을 나타낸다.
이때, 상기 수학식 11에서 에지그래디언트 평균벡터 gM(x,y)를 계산하기 위한 기댓값 E는 구체적으로는 하기의 수학식 13과 같이 계산된다.
[수학식 13]
Figure 112017009498361-pat00019
여기서, N은 상기 사각형 윈도우 영역 A의 크기이다.
또한, 상기 수학식 12에서 에지그래디언트 공분산행렬 gC(x,y)을 계산하기 위한 cov(Cr,Cr), cov(Cb,Cb), cov(Cr,Cb)의 구체적인 계산과정은 하기의 수학식 8과 같이 계산될 수 있다.
[수학식 14]
Figure 112017009498361-pat00020
여기서, N은 상기 사각형 윈도우 영역 A의 크기이다.
도 7은 도 5에 도시된 변화영역 검출단계를 상세히 나타낸 순서도로서, 상기 변화영역 검출단계(S230)는, 변화영역검출부(140)가, 어느 하나의 화소 (x,y)를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 거리를 산출하는 통계적 거리 산출단계(S231)와, 상기 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 거리를 기 설정된 임계값과 비교하는 비교단계(S232)와, 상기 색상채널(CrCb-) 또는 밝기채널(Y-)의 통계적 거리가 기 설정된 임계값보다 크면 변화영역 M(x,y)의 값에 어느 하나의 기 설정된 값을 부여하고(S233) 작으면 또 다른 하나의 기 설정된 값을 부여하는(S234) 변화영역값 부여단계(S233, S234) 및 상기 통계적 거리가 기 설정된 임계값보다 클 때 부여된 변화영역M(x,y) 값을 변화영역으로 검출하는 변화영역 지정단계(S235)를 포함할 수 있다.
변화영역 검출단계(S230)는, 변화영역검출부(140)가 상기 분포특성 산출단계(S220)에서 전송된 배경영상과 현재 입력영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 단계로서, 상술한 바와 같이 변화영역검출부(140)의 거리계산부(141)는 어느 하나의 화소(x,y)를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널(CrCb-) 과 밝기채널(Y-)의 통계적 거리를 산출하고, 이후, 변화영역할당부(142)의 변화영역할당부(142)는 상기 색상채널(CrCb-) 또는 밝기채널(Y-)의 통계적 거리가 기 설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기 설정된 값을 부여하고 작으면 또 다른 하나의 기 설정된 값을 부여한 후 상기 통계적 거리가 기 설정된 임계값보다 클 때 값이 부여된 변화영역 M(x,y)을 변화영역으로 검출하게 된다.
또한, 변화영역 검출단계(S230)에서는 변화영역할당부(142)가 상기 변화영역을 산출할 때 빠른 속도의 검출을 위해서 서로 겹치지 않은 영역 단위로 변화영역을 검출할 수 있고, 후처리를 통하여 상기 검출된 변화영역 M(x,y) 에서 고립된 검출위치를 제거하고 레이블링을 적용하여 보다 큰 변화영역을 검출할 수 있다.
통계적 거리 산출단계(S231)는, 거리계산부(141)가 어느 하나의 화소 (x,y)를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 거리를 산출하는 단계로서, 구체적으로, 상기 색상채널(CrCb-)의 통계적 거리는 어느 하나의 화소의 위치에서 상기 현재 입력영상의 색상채널(CrCb-) 값과 상기 배경영상의 색상 평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)을 이용하여 산출하고, 상기 밝기채널(Y-)의 통계적 거리는 상기 현재 입력영상의 에지그래디언트 벡터와 상기 배경영상의 에지그래디언트 평균벡터gM(x,y)와 에지그래디언트 공분산행렬gC(x,y)을 이용하여 산출하게 되는데, 본 발명의 일실시예에 따르면 상기 통계적 거리는 마하라노비스 거리일 수 있다.
통계적 거리 산출단계(S231)에서 위의 마하라노비스 거리는 공분산행령의 역행렬을 사용하여 계산하여서 데이터의 상관관계를 반영한 통계적 거리를 계산하는데, 영상처리, 컴퓨터 비전에서 마하라노비스 거리는 아웃라이어 검출 및 클러스터 사이의 거리계산에 사용된다.
통계적 거리 산출단계(S231)에서 계산되는 위의 색상채널(CrCb-)의 통계적 거리인 마하라노비스 거리 Dc(x,y)와, 밝기채널(Y-)의 통계적 거리인 마하라노비스 거리 Dg(x,y)는 아래의 수학식 15와 같이 계산된다.
[수학식 15]
Figure 112017009498361-pat00021
여기서, Crbt(x,y)는 어느 일정 시점의 시간 t를 기준으로 그 시간 t에서의 현재 입력영상의 프레임의 색상채널(CrCb-)이고, cM(x,y)와 cC(x,y)는 일정 시점의 시간 t를 기준으로 그 이전 시간 t에서의 배경영상 B(x,y)로부터 계산된 색상채널(CrCb-)의 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)이고, cC(x,y)-1은 상기 색상공분산행렬 cC(x,y)의 역행렬이다.
또한, gt(x,y)는 어느 일정 시점의 시간 t를 기준으로 그 시간 t에서의 현재 입력영상의 프레임의 발기기채널(Y-)의 에지그래디언트 벡터이고, gM(x,y)와 gC(x,y)는 일정 시점의 시간 t를 기준으로 그 이전 시간 t에서의 배경영상 B(x,y)로부터 계산된 밝디채널(Y-)의 에지그래디언트 평균벡터 gM(x,y)와 에지그래디언트 공분산행렬 gC(x,y)이고, gC(x,y)-1은 상기 에지그래디언트 공분산행렬 gC(x,y)의 역행렬이다.
다시 말하면, Dc(x,y)는 현재 입력영상의 (x,y) 위치의 색상채널(CrCb-)의 색상정보가 배경영상의 색상분포로부터 통계적 거리를 측정하는 값이며, Dg(x,y)는 현재 입력영상의 (x,y) 위치의 밝기정보의 에지그래디언트의 배경영상의 에지 그래디언트 분포로부터 통계적 거리를 측정하는 값이다.
비교단계(S232)는 변화영역할당부(142)가 위와 같이 계산된 상기 색상채널(CrCb-)과 밝기채널(Y-)의 통계적 거리 각각을 기 설정된 임계값과 비교하는 단계로서, 본 발명의 일실시예에서 상기 기 설정된 임계값을 T라고 표시하였다(도 7 참조).
변화영역값 부여단계(S233, S234)는 변화영역할당부(142)가 비교단계9S232)에서 비교된 결과에 따라 변화영역 M(x,y)에 값을 부여하는 단계로서, 상기 색상채널(CrCb-) 또는 밝기채널(Y-)의 통계적 거리 Dc(x,y), Dg(x,y)가 기 설정된 임계값(T1, T2)보다 크면 변화영역 M(x,y)의 값에 어느 하나의 기 설정된 값 A를 부여하고(S233) 작으면 또 다른 하나의 기 설정된 값 B을 부여하는(S234) 변화영역값 부여단계(S233, S234)를 포함할 수 있다. 여기서 기 설정된 임계값 (T1, T2)와, 기 설정된 값 A, B는 본 발명의 일실시예에서 필요에 따라 달리 정할 수 있으며, A와 B의 일실시예로서, A는 255, B는 0으로 지정할 수 있다.
다시말하면, 변화영역 지정단계(S230)의 변화영역값 부여단계(S233, S234)에서, 상기 변화영역 값은 하기의 수학식 16에서처럼 산출하는 것으로 표시할 수 있다.
[수학식 16]
Figure 112017009498361-pat00022
여기서, M(x,y)는 변화영역을 나타내고, Dc(x,y)는 색상채널의 통계적 거리를 나타내고, Dg(x,y)는 밝기채널의 통계적 거리를 나타내고, T1과 T2는 각각 기 설정된 임계값을 나타낸다.
변화영역 지정단계(S235)는 위의 단계와 같이 상기 통계적 거리 Dc(x,y), Dg(x,y)가 기 설정된 임계값(T: T1, T2) 보다 클 때 값이 부여된 변화영역 M(x,y)을 최종적으로 변화영역으로 검출하는 단계이다.
배경영상 갱신단계(S240)는 상기 변화영역 M(x,y)으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 단계로서, 상기 변화영역으로 판단된 위치에서 배경영상을 가중평균을 이용하여 시간에 따라 갱신한 값은 하기의 식 17에서처럼 계산되는 것을 특징으로 할 수 있다.
[수학식 17]
Figure 112017009498361-pat00023
여기서, (x,y)는 변화영역으로 판단된 위치를 나타내고, Bt(x,y)은 가중평균을 이용하여 시간에 따라 갱신한 값을 나타내고, M(x,y)는 변화영역을 나타내고, α는 [0, 1] 사이의 가중치를 나타낸다.
배경영상 갱신단계(S240)에서 배경영상이 위의 수학식 17에 따라 갱신되고 나면 이후의 과정에서 상기 배경영상을 일정 시점의 시간 t 이전의 배경영상으로 현재 입력된 영상과 비교할 수 있도록 상기 배경영상을 다시 분포특성산출부(130)로 전송하여 분포특성산출단계(S220)를 거치도록 함으로써 갱신된 위치에서 상기 수학식 5와 6에 따라 색상평균벡터 cM(x,y)와 색상공분산행렬 cC(x,y)를 다시 계산하도록 하고, 에지그래디언트 평균벡터gM(x,y)와 에지그래디언트 공분산행렬gC(x,y)을 다시 계산하게 된다.
도 9의 a 내지 f는 본 발명의 일실시예에 따른 컬러 영상 내의 변화영역 검출장치의 실제 구현 결과를 예시한 도면으로서, 이는 본 발명의 일실시예에 따른 하나의 실시예로서 본 발명이 아래에서 예를 드는 모든 설정 사양들에 의해 한정되는 것이 아님은 당연하다 할 것이다.
도 9를 참조하면 본 발명의 컬러 영상 내의 변화영역을 검출하는 방법을 구현하는 컬러 영상 내의 변화영역 검출장치를 구성한 후 그 결과가 도시되었는데 실험 비디오는 720ㅧ480ㅧ24비트이 해상도에 24fps 속도의 고속도로 비디오 영상을 예로 들었다. 그리고, 컬러색상의 2ㅧ2의 색상공분산행렬 cC(x,y)과 에지그래디언트 gC(x,y)을 계산하기 위한 사각형 윈도우의 기 설정된 크기는 5ㅧ5로 설정하였다. 물론 위의 예는 일실시예에 불과한 것으로 필요에 따라 얼마든지 변경이 가능함은 당연하다 할 것이다.
도 9의 a, b, c는 일정 시점의 시간 t = 10에서의 실험 결과인데, 도 9의 a는 변화영역 지정단계(S230)의 변화영역값 부여단계(S233, S234)에서, 상기 변화영역 값은 상술한 수학식 16의 기 설정된 임계값 T1 = 10 으로 하여 색상변화가 있는 영역을 연두색으로 검출한 결과를 나타낸 것이고, 도 9의 b는 변화영역 지정단계(S230)의 변화영역값 부여단계(S233, S234)에서, 상기 변화영역 값은 상술한 수학식 16의 기 설정된 임계값 T2 = 30 으로 하여 에지 그래디언트 변화가 있는 영역을 빨강색으로 검출한 결과를 나타낸 것이고, 도 9의 c는 변화영역 검출단계(S230)를 거치고 난 후 위의 색상변화 및 에지 그래디언트에 의해 변화영역이 검출된 결과를 나타낸 것이다.
도 9의 d, e, f 는 일정 시점의 시간 t = 215에서의 실험 결과인데, 기 설정된 임계값 T1과 T2는 도 9의 a, b, c 에서 설정된 값과 동일하다. 도 9의 d는 색상변화가 있는 영역을 연두색으로 검출한 결과를 나타낸 것이고, 도 9의 e는 에지 그래디언트 변화가 있는 영역을 빨강색으로 검출한 결과를 나타낸 것이고, 도 9의 f는 색상변화 및 에지 그래디언트에 의해 변화영역이 검출된 결과를 나타낸 것이다.
도 9의 g, h는 또 다른 컬러 영상 내의 변화영역을 검출하는 방법에 의해서 구현된 결과를 나타낸 것인데 RGB 컬러 비디오의 입력 영상에서 RGB 채널의 공분산행렬을 서로 다른 채널 사이는 독립이라 가정하고, 3ㅧ3 공분산행령의 대각요소인 각 채널의 분산을 적분영상으로 계산하여 변화영역을 검출하는 방법으로 실험한 결과를 나타낸 것이다. 도 9의 g는 t = 10에서 기 설정된 임계값 TH = 1.8 로 검출한 결과이고, 도 9의 h는 t = 215에서 기 설정된 임계값 TH = 1.8 로 검출한 결과이다.
따라서, 위의 또 다른 컬러 영상 내의 변화영역을 검출하는 방법에 의해서 구현된 결과를 나타내는 도 9의 g, h와 본 발명의 일실시예의 결과를 나타낸 도 9의 c와, f를 비교하여 보면, 본 발명의 일실시예에 따른 결과를 나타낸 도 9의 c와, f는 컬러색상 뿐만 아니라 그래디언트 변화까지 검출함으로써 훨씬 더 변화영역을 안정적으로 검출할 수 있게 됨을 알 수 있다.
이상에서 설명한 바와 같이 본 발명은 본 발명에서는, 컬러 비디오 영상에서 YCbCr 컬러 비디오 포맷을 사용하여 CbCr-채널로부터 색상 공분산 행렬을 계산하고 Y-채널로부터는 에지 그래디언트 공분산 행렬을 계산한 후 상기 색상 공분산 행렬과 에지 그래디언트 공분산 행렬로 배경영상으로부터 적분영상을 사용하여 임의의 사각영역의 합계와 제곱 합계, 곱셈 합계를 효과적으로 계산하여 각 화소에서 빠르게 계산되기 때문에, 영상 내의 변화영역을 검출하기 위해 배경경상을 시간변화에 따라 지속적으로 갱신할 때 계산속도가 빨라 처리 속도가 단축되는 효과가 있다.
또한, 현재 프레임에서의 배경영상으로부터의 변화영역은 컬러 공분산 행렬과 에지 그래디언트 공분산 행렬을 사용한 통계적 거리 측정인 마하라노비스 거리를 이용하여 검출하기 때문에, 컬러 비디오 영상에서 컬러색상과 그래디언트의 변화영역을 효과적으로 검출할 수 있는 효과가 있다.
이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
110: 영상입력부 120: 전처리부
121: 잡음제거부 122: 색상모델변환부
123: 변화값산출부 130: 분포특성산출부
131: 색상 분포특성산출부 132: 에지그래디언트 분포특성산출부
140: 변화영역검출부 141: 거리계산부
142: 변화영역할당부 150: 배경영상갱신부
160: 영상출력부

Claims (19)

  1. 색상과 에지 공분산 특징을 이용하여 컬러 영상 내의 변화영역을 검출하는 방법에 있어서,
    획득된 비디오 프레임에서 잡음을 제거하고 색상채널과 밝기채널로 분리하여 출력하는 전처리단계;와, 전송된 영상에 대한 상기 색상채널과 밝기채널의 통계적 분포특성을 산출하는 분포특성 산출단계; 및 상기 분포특성 산출단계에서 전송된 배경영상과 현재 입력영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역 검출단계;를 포함하되, 상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상 갱신단계;를 더 포함하고,
    상기 분포특성 산출단계는 어느 하나의 화소 주위에 기 설정된 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 영상적분단계;와, 상기 사각형 윈도우의 색상 평균벡터과 색상 공분산행렬을 구하는 색상 분포특성 산출단계; 및 상기 사각형 윈도우의 에지그래디언트 평균벡터와 에지그래디언트 공분산행렬을 구하는 에지그래디언트 분포특성 산출단계;를 포함하는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  2. 청구항 1에 있어서,
    상기 전처리 단계에서,
    상기 잡음 제거는 가우시안 필터링에 의하여 잡음을 제거하는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  3. 청구항 1에 있어서,
    상기 전처리단계에서,
    상기 배경영상 중에서 초기의 배경영상은 일정 시간 동안 획득된 프레임을 평균하여 생성하는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 색상 평균벡터는 화소(x,y)에서 하기의 수학식 A에 의해 계산되는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
    [수학식 A]
    Figure 112018035107199-pat00024


    여기서,
    cM(x,y)는 색상 평균벡터를 나타내고, Cr, Cb는 색차정보를 나타내고, E는 기댓값을 나타낸다.
  6. 청구항 1에 있어서,
    상기 색상 공분산행렬은 하기의 수학식 B에 의해 계산되는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
    [수학식 B]
    Figure 112018035107199-pat00025


    여기서,
    cC(x,y)는 색상 공분산행렬을 나타내고, Cr, Cb는 색차정보를 나타내고, E는 기댓값을 나타낸다.
  7. 청구항 1에 있어서,
    상기 에지그래디언트 평균벡터는 화소(x,y)에서 하기의 수학식 C에 의해 계산되는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
    [수학식 C]
    Figure 112018035107199-pat00026


    여기서,
    gM(x,y)는 그래디언트 평균벡터를 나타내고, E는 기댓값을 나타낸다.
  8. 청구항 1에 있어서,
    상기 에지그래디언트 공분산행렬은 하기의 수학식 D에 의해 계산되는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
    [수학식 D]
    Figure 112018035107199-pat00027


    여기서,
    gC(x,y)는 그래디언트 공분산행렬을 나타내고, E는 기댓값을 나타낸다.
  9. 청구항 1에 있어서,
    상기 변화영역 검출단계는,
    어느 하나의 화소를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널과 밝기채널의 통계적 거리를 산출하는 통계적 거리 산출단계;
    상기 색상채널과 밝기채널의 통계적 거리를 기 설정된 임계값과 비교하는 비교단계;
    상기 색상채널 또는 밝기채널의 통계적 거리가 기 설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기 설정된 값을 부여하고 작으면 또 다른 하나의 기 설정된 값을 부여하는 변화영역값 부여단계; 및
    상기 통계적 거리가 기 설정된 임계값보다 클 때 부여된 변화영역값을 변화영역으로 검출하는 변화영역 지정단계;를 포함하는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  10. 청구항 9에 있어서,
    상기 색상채널의 통계적 거리는 어느 하나의 화소의 위치에서 상기 현재 입력영상의 색상채널값과 상기 배경영상의 색상 평균벡터와 색상 공분산행렬을 이용하여 산출하고,
    상기 밝기채널의 통계적 거리는 상기 현재 입력영상의 에지그래디언트 벡터와 상기 배경영상의 에지그래디언트 평균벡터와 에지그래디언트 공분산행렬을 이용하여 산출하는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  11. 청구항 10에 있어서,
    상기 통계적 거리는 마하라노비스 거리인 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  12. 청구항 9에 있어서,
    상기 변화영역 지정단계에서,
    상기 변화영역값은 하기의 수학식 E에서처럼 산출하는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
    [수학식 E]
    Figure 112017009498361-pat00028


    여기서,
    M(x,y)는 변화영역을 나타내고, Dc(x,y)는 색상채널의 통계적 거리를 나타내고, Dg(x,y)는 밝기채널의 통계적 거리를 나타내고, T1과 T2는 각각 기 설정된 임계값을 나타낸다.
  13. 청구항 9에 있어서,
    상기 변화영역 검출단계는,
    상기 변화영역을 산출할 때 서로 겹치지 않은 영역 단위로 변화영역을 검출할 수 있는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  14. 청구항 13에 있어서,
    상기 검출된 변화영역에서 고립된 검출위치를 제거하고 레이블링을 적용하여 변화영역을 검출할 수 있는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
  15. 청구항 1에 있어서,
    상기 배경영상 갱신단계는,
    상기 변화영역으로 판단된 위치에서 배경영상을 가중평균을 이용하여 시간 t에 따라 갱신한 값 배경영상 Bt(x,y)는 하기의 식 F에서처럼 계산되는 것을 특징으로 하는 컬러 영상 내의 변화영역을 검출하는 방법.
    [수학식 F]
    Figure 112018035107199-pat00046

    여기서,
    (x,y)는 변화영역으로 판단된 위치를 나타내고, It(x,y)는 시간 t의 입력영상을 나타내고, Bt-1(x,y)는 시간 t-1의 배경영상을 나타내고, Bt(x,y)는 가중평균을 이용하여 시간에 따라 갱신한 시간 t의 배경영상을 나타내고, M(x,y)는 변화영역을 나타내고, α는 [0, 1] 사이의 가중치를 나타낸다.
  16. 청구항 1 내지 3 및 청구항 5 내지 15 중 어느 한 항의 컬러 영상 내의 변화영역을 검출하는 방법을 이용하는 변화영역 검출장치는,
    획득된 비디오 프레임을 입력받는 영상입력부;
    상기 획득된 비디오프레임에서 잡음을 제거하고 색상채널과 밝기채널로 분리하여 출력하는 전처리부;
    상기 전처리부에서 전송된 상기 색상채널과 밝기채널의 통계적 분포특성을 산출하는 분포특성산출부;
    상기 전처리부에서 전송되는 현재 입력영상과 상기 분포특성산출부에서 전송된 이전 배경영상 간의 변화영역을 통계적 거리를 이용하여 검출하는 변화영역검출부;
    상기 변화영역으로 판단된 위치에서 가중평균을 이용하여 상기 배경영상을 시간에 따라 갱신하는 배경영상갱신부; 및
    상기 변화영역검출부에서 전송되는 영상을 출력하는 영상출력부;를 포함하는 것을 특징으로 하는 컬러 영상 내의 변화영역 검출장치.
  17. 청구항 16에 있어서,
    상기 전처리부는,
    상기 획득된 비디오프레임의 잡음을 제거하는 잡음제거부;와, RGB 색상모델로 획득된 영상신호를 YCrCb 색상모델 영상신호로 변환하는 색상모델 변환부;와, 상기 YCrCb 색상모델 영상신호에서 밝기 에지변화값과 색상변화값을 산출하는 변화값 산출부;를 포함하는 것을 특징으로 하는 컬러 영상 내의 변화영역 검출장치.
  18. 청구항 16에 있어서,
    상기 분포특성산출부는,
    획득된 비디오프레임에서 어느 하나의 화소 주위에 기 설정된 크기의 사각형 윈도우를 정한 후 상기 사각형 윈도우의 영상을 적분하는 적분연산부;와, 상기 사각형 윈도우의 색상 평균벡터과 색상 공분산행렬을 산출하는 색상분포특성산출부;와, 상기 사각형 윈도우의 에지그래디언트 평균벡터와 에지그래디언트 공분산행렬을 산출하는 에지그래디언트분포특성산출부;를 포함하는 것을 특징으로 하는 컬러 영상 내의 변화영역 검출장치.
  19. 청구항 16에 있어서,
    상기 변화영역검출부는,
    어느 하나의 화소를 기준으로 상기 현재 입력영상과 배경영상 간 색상채널과 밝기채널의 통계적 거리를 산출하는 거리계산부;와, 상기 색상채널 또는 밝기채널의 통계적 거리가 기 설정된 임계값보다 크면 변화영역의 값에 어느 하나의 기 설정된 값을 부여하고 작으면 또 다른 하나의 기 설정된 값을 부여한 후 상기 통계적 거리가 기 설정된 임계값보다 클 때 값이 부여된 변화영역을 변화영역으로 검출하는 변화영역할당부;를 포함하는 것을 특징으로 하는 컬러 영상 내의 변화영역 검출장치.
KR1020170012692A 2017-01-26 2017-01-26 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치 KR101893677B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170012692A KR101893677B1 (ko) 2017-01-26 2017-01-26 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012692A KR101893677B1 (ko) 2017-01-26 2017-01-26 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180088557A KR20180088557A (ko) 2018-08-06
KR101893677B1 true KR101893677B1 (ko) 2018-08-31

Family

ID=63252202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012692A KR101893677B1 (ko) 2017-01-26 2017-01-26 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101893677B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102408456B1 (ko) * 2020-11-10 2022-06-13 (주)더길 색상 채널 분리를 이용한 고화각 영상 신율계
CN113938672B (zh) * 2021-09-16 2024-05-10 青岛信芯微电子科技股份有限公司 信号源的信号识别方法及终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3659609B2 (ja) * 1997-10-24 2005-06-15 株式会社日立国際電気 物体検出方法及び物体検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법

Also Published As

Publication number Publication date
KR20180088557A (ko) 2018-08-06

Similar Documents

Publication Publication Date Title
US7418134B2 (en) Method and apparatus for foreground segmentation of video sequences
KR101861722B1 (ko) 비디오 데이터를 처리하는 방법과 이미지 처리 회로
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
US7386181B2 (en) Image display apparatus
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
CN107301624B (zh) 基于区域划分及浓雾预处理的卷积神经网络去雾方法
CN109308711B (zh) 目标检测方法、装置及图像处理设备
US20110299774A1 (en) Method and system for detecting and tracking hands in an image
KR101441947B1 (ko) 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법
Kartika et al. Frame differencing with post-processing techniques for moving object detection in outdoor environment
KR20190060774A (ko) 블록의 모션 벡터에 기초한 이미지의 블록의 분산 결정
JP2004531823A (ja) カラー分布に基づいたオブジェクトトラッキング
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
WO2014070489A1 (en) Recursive conditional means image denoising
US20140056519A1 (en) Method, apparatus and system for segmenting an image in an image sequence
CN113936252A (zh) 基于视频监控的电瓶车智能管理系统及方法
EP2795904B1 (en) Method and system for color adjustment
CN108765454A (zh) 一种基于视频的烟雾检测方法、装置及设备终端
KR101893677B1 (ko) 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치
CN104484865A (zh) 对视频图像进行去雨的方法
KR101024731B1 (ko) 디지털 이미지의 모스키토 노이즈를 감소시키기 위한 방법 및 시스템
US10916016B2 (en) Image processing apparatus and method and monitoring system
KR20180064028A (ko) 영상 처리 방법 및 장치
Kaur Background subtraction in video surveillance

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170126

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180213

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180821

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180824

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180824

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210701

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220621

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230621

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240624

Start annual number: 7

End annual number: 7