KR20100088282A

KR20100088282A - 영상 데이터 인페인팅 방법 및 장치

Info

Publication number: KR20100088282A
Application number: KR1020090007401A
Authority: KR
Inventors: 이상욱; 이수빈
Original assignee: 서강대학교산학협력단
Priority date: 2009-01-30
Filing date: 2009-01-30
Publication date: 2010-08-09
Also published as: KR101105675B1

Abstract

본 발명은 다수의 연속되는 영상 데이터에 포함된 인페인팅 대상영역에 대한 이미지를 동일하게 인페인팅하는 영상 데이터 인페인팅 방법 및 장치에 관한 것이다.

본 발명에 따르는 영상 데이터 인페인팅 방법은, 다수의 연속되는 영상 데이터를 입력받아 하나의 영상 데이터로 스티칭하는 제1단계; 상기 스티칭된 영상 데이터에서 선택된 인페인팅 대상영역에 대한 밴드매칭을 이행하는 제2단계; 상기 인페인팅 대상영역이 밴드매칭된 상기 스티칭된 영상 데이터에 대해 상기 인페인팅 대상영역의 가장자리에 대한 경계를 제거하는 제3단계; 상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 제4단계;를 포함하는 것을 특징으로 한다.

영상 데이터, 인페인팅, 스티치, 밴드 매칭, 경계 제거

Description

영상 데이터 인페인팅 방법 및 장치{METHOD AND APPARATUS OF INPAINTING FOR VIDEO DATA}

본 발명은 영상 데이터 처리 기술에 관한 것으로, 더욱 상세하게는 다수의 연속되는 영상 데이터에 포함된 인페인팅 대상영역에 대해 동일하게 인페인팅하는 영상 데이터 인페인팅 방법 및 장치에 관한 것이다.

최근 영화들 중에 특수 효과가 사용되지 않은 영화가 없을 정도로 특수효과는 영화에서 광범위하게 사용되고 있다. 많은 특수 효과 기술 중 인페인팅(inpainting)은 실사 영상에서 제거된 특정 영역을 주변 배경과 어울리게 채워 넣는 기술로 다양한 분야에서 널리 사용되고 있다. 예를 들면, 영화 촬영 후 영화 속 배경에 시대에 맞지 않은 물체나 사람이 있을 경우에 영화를 재촬영할 수도 있지만, 비용과 시간을 고려하여 인페인팅 기술을 사용하고 있다.

그런데 영화와 같이 다수의 연속되는 영상 데이터가 연이어 재생되는 경우에 상기 다수의 영상 데이터 각각에 대해 인페인팅을 이행하는 경우에는 상기 채워 넣어지는 이미지 또는 상기 인페인팅을 위한 이미지 처리 정도가 영상 데이터마다 상이해질 수 있었다.

이와 같이 연이어 재생되는 다수의 연속되는 영상 데이터 각각에 대해 동일 영역에 대한 이미지가 서로 상이해지는 것은, 상기 다수의 연속되는 영상 데이터를 연이어 재생하였을 때에 영상의 품위를 저하시키는 원인이 된다.

이에 종래에는 다수의 연속되는 영상 데이터 각각에 대한 인페인팅 대상영역에 대해 동일하게 인페인팅 처리하여, 상기 다수의 연속되는 영상 데이터 각각에 대해 인페인팅 대상영역이 일관성을 가질 수 있게 하는 기술의 개발이 절실하게 요망되었다.

본 발명은 다수의 연속되는 영상 데이터에 포함된 인페인팅 대상영역을 동일하게 인페인팅하여, 다수의 연속되는 영상 데이터 각각의 인페인팅 대상영역이 일관성을 가질 수 있게 하는 영상 데이터 인페인팅 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명에 따르는 영상 데이터 인페인팅 방법은, 다수의 연속되는 영상 데이터를 입력받아 하나의 영상 데이터로 스티칭하는 제1단계; 상기 스티칭된 영상 데이터에서 선택된 인페인팅 대상영역에 대한 밴드매칭을 이행하는 제2단계; 상기 인페인팅 대상영역이 밴드매칭된 상기 스티칭된 영상 데이터에 대해 상기 인페인팅 대상영역의 가장자리에 대한 경계를 제거하는 제3단계; 상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 제4단계;를 포함하는 것을 특징으로 한다.

그리고 상기한 본 발명에 따르는 영상 데이터 인페인팅 처리장치는, 다수의 연속되는 영상 데이터를 저장하는 메모리부; 상기 다수의 연속되는 영상 데이터를 하나의 영상 데이터로 스티칭하고, 상기 스티칭된 영상 데이터에서 선택된 인페인팅 대상영역에 대한 밴드매칭을 이행하고, 상기 인페인팅 대상영역이 밴드매칭된 상기 스티칭된 영상 데이터에 대해 상기 인페인팅 대상영역의 가장자리에 대한 경계를 제거하고, 상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 프로세서;를 포함하는 것을 특징으로 한다.

상기한 본 발명은 다수의 연속되는 영상 데이터에 포함된 인페인팅 대상영역에 대해 동일하게 인페인팅함으로써, 다수의 연속되는 영상 데이터 각각의 인페인팅 결과가 일관성을 가질 수 있게 하여, 상기 인페인팅된 다수의 영상 데이터가 순차적으로 재생될 때에 고품위의 영상이 출력될 수 있게 하는 효과가 있다.

또한 본 발명은 다수의 연속되는 영상 데이터를 자동으로 스티칭하여 하나의 영상 데이터로 변환한 후에 인페인팅을 이행함으로써, 인페인팅 처리시간을 대폭적으로 절감할 수 있는 효과가 있다.

또한 본 발명은 다수의 연속되는 영상 데이터에서 인페인팅 대상영역을 자동으로 설정함으로써, 사용자의 편이성을 극대화할 수 있는 효과가 있다.

또한 본 발명은 자동으로 스티칭될 수 없는 영상 데이터에 대해서는 사용자에 의해 스티칭을 위한 특징점을 입력받을 수 있게 함으로써, 다양한 영상 데이터에 적용할 수 있는 효과가 있다.

또한 본 발명은 인페인팅 대상영역을 분할하여 인페인팅을 이행함으로써, 인페인팅 결과를 향상시킬 수 있는 효과가 있다.

본 발명은 다수의 연속되는 영상 데이터에 포함된 인페인팅 대상영역에 대한 인페인팅을 동일하게 처리하여 다수의 영상 데이터 각각에 대한 인페인팅 결과가 일관성을 가질 수 있게 한다.

<인페인팅 처리장치의 구성>

이러한 본 발명의 바람직한 실시예에 따른 인페인팅 처리장치의 간략 구성을 도 1을 참조하여 설명한다.

상기 인페인팅 처리장치의 프로세서(100)와 메모리부(102), 사용자 인터페이스(104)로 구성된다.

상기 프로세서(100)는 다수의 연속되는 프레임을 제공받아 메모리부(102)에 저장하며, 상기 메모리부(102)에 저장된 다수의 연속된 영상 데이터에 대한 인페인팅을 이행한다.

그리고 상기 메모리부(102)는 상기 프로세서(100)의 처리 프로그램을 포함하는 다양한 정보를 저장하며, 상기 본 발명의 바람직한 실시예에 따른 인페인팅을 이행하기 위한 저장영역을 제공한다.

그리고 상기 사용자 인터페이스(104)는 사용자로부터 각종 정보를 입력받아 상기 프로세서(100)에 제공한다.

<제1실시예에 따른 인페인팅 처리방법>

본 발명의 바람직한 제1실시예에 따른 인페인팅 처리방법을 도 2의 흐름도를 참조하여 상세히 설명한다.

상기 프로세서(100)는 인페인팅 대상영역을 사용자에 의해 입력받는 제1인페인팅 모드로의 동작이 요청되면(200단계), 연속된 영상 데이터들간의 특징점들을 검출한다(202단계).

상기 특징점들의 검출은 KLT(Kanade-Lucas-Tomasi Feature Tracker) 방법에 따른다. 이는 Birchfield, S., An implementation of the Kanade-Lucas-Tomasi feature tracker, http://www.ces.clemson.edu/ stb/klt.에 개시된 바 그 상세한 설명은 생략한다.

상기 KLT 방법에 따라 특징점들이 검출되면, 상기 프로세서(100)는 연속된 영상 데이터들의 특징점들에 대한 호모그래피 행렬을 검출한다(204단계).

여기서, 두 개의 연속된 영상 데이터들을 토대로 상기 호모그래피 행렬에 대해 좀 더 상세히 설명한다.

상기 호모그래피 행렬은 두 영상 데이터 사이의 관계를 정의하는 것으로, 두 영상 데이터에서 대응되는 특징점들을 기준으로 산출한다.

도 3은 인접한 두 영상 데이터를 도시한 것으로, 제2영상 데이터(b)에는 제1영상 데이터(a)의 특징점들(X1,X2,X3,X4) 각각에 대응되는 특징점들(X1',X2',X3',X4')이 존재한다. 상기 제1특징점들(X1,X2,X3,X4)과 상기 제2특징점들(X1',X2',X3',X4')간의 관계는 수학식 1과 같이 표현될 수 있다.

상기 수학식 1에서 H는 호모그래피 행렬으로 2차원 영상의 경우에 상기 H는 3*3 행렬로 나타낼 수 있으며, 이는 수학식 2와 같이 H에 관한 식으로 전개될 수 있다.

상기 수학식 2에서 앞의 행렬을 A로 단순화시켰을 때에, 상기 A는 (2*n)×9의 행렬이고, n은 특징점의 갯수이다. 즉, 상기 수학식 2는 인접한 두 프레임에서 대응되는 특징점이 4개일 때의 행렬을 나타낸 것이고, 대응되는 특징점이 많아지면 A의 행이 많아진다. 그리고 상기 h는 A를 특이값 분해(SINGULAR VALUE DECOMPOSITION, SVD)하여 계산한 것이다.

상기 A를 특이값 분해하면 UDV^T로 분해할 수 있고, 이때 V 행렬의 마지막 열이 h값, 즉 본 발명에 따른 호모그래픽 행렬 H이다.

상기한 호모그래피 행렬은 RANSAC 과정을 통해 획득될 수 있다.

상기 RANSAC 과정은 다음과 같은 순서에 따른다.

1. 두 영상 데이터 사이의 임의의 특징점 네 개를 선택한다.

2. 네 개의 특징점 사이의 H를 계산한다.

3. 모든 특징점에 대해

를 산출하며, 상기 P₁은 제1영상 데이터의 특징점, P₂는 제2영상 데이터의 특징점, K는 특징점이 수이다. 여기서, 상기 수학식 1에 따르면 P₂=HP₁이나, 상기 H 계산 상에 오차가 있을 수 있으므로, P₂와 HP₁은 동일한 값이 나오지 않는다. 상기 d_k는 상기 P₂와 HP₁사이의 오차를 나타낸다.

4. 상기 d_k가 미리 정해둔 값 이하인 점의 개수를 NIi라 한다.

5. 상기 1~4 단계를 미리 정해진 횟수만큼 이행한다.

6. 상기 NIi가 최대일 때의 특징점들을 가지고 H를 다시 계산하여 최종 호모그래피 행렬 H를 획득한다.

상기한 RANSAC 과정은 반복을 통해 가장 좋은 H를 계산하기 위한 것으로, 프로세서(100)는 미리 정해진 횟수만큼 반복하여 임의의 특징점을 선택하여 H를 계산하고, 그 중 가장 좋은 H를 판단하기 위해 d_k가 정해둔 값 이하인 특징점의 개수 NIi가 가장 클 때의 H가 가장 좋다고 판단하여 해당 H를 본 발명의 호모그래피 행렬로 결정한다.

상기한 호모그래피 행렬의 검출이 완료되면, 상기 프로세서(100)는 호모그래피 행렬에 따라 연속된 영상 데이터들을 하나로 스티칭한다. 즉, 상기 프로세서(100)는 호모그래피 행렬을 이용하여 양선형 보간(BILINEAR INTERPOLATION)으로 스티칭 영상 데이터를 구한다. 이때 영상들이 겹치는 영역은 평균값으로 계산한다.

도 4는 본 발명에 따라 스티칭된 영상 데이터를 도시한 것으로, 도 3의 제1영상 데이터와 제2영상 데이터를 4개의 특징점을 기준으로 양선형 보간한 것이다.

이후 상기 프로세서(100)는 상기 하나로 스티칭된 영상 데이터에 대해 사용자가 사용자 인터페이스(104)를 통해 입력하는 인페인팅 대상영역에 대한 정보를 입력받는다(208단계).

상기 인페인팅 대상영역에 대한 정보가 입력되면, 상기 프로세서(100)는 상기 하나로 스티칭된 영상 데이터에 대해 인페인팅 대상영역에 대한 밴드 매칭을 이 행한다(210단계).

상기 밴드 매칭 과정을 좀더 상세히 설명한다.

상기 프로세서(100)는 밴드 매칭을 위해 목표 영역을 둘러싸는 일정한 두께를 갖는 목표 밴드를 정의한다.

도 5a는 인페인팅 대상영역을 나타내고, 도 5b는 입력 영상을 확대한 것으로, 흰색영역은 목표영역이고, 붉은색 선은 목표영역의 경계를 나타내고, 도 5c는 상기 경계를 기준으로 일정 두께를 가지는 목표밴드를 설정한 것으로 파랑색 영역이 목표 밴드이다.

상기 목표밴드는 영상내의 여러 후보 소스밴드들과의 비교를 위해 사용하며, 상기 소스밴드는 입력영상에서 목표영역을 제외한 나머지 부분을 목표밴드와 같은 모양과 두께로 나눈 것을 말한다.

도 6a에서 녹색 부분들은 목표 밴드와 비교하기 위한 후보 소스 밴드의 일부를 표시한 것이다.

상기 프로세서(100)는 목표 밴드와 후보 소스밴드들 사이의 그래디언트의 차의 합을 수학식 3에 따라 산출한다.

상기 수학식 3에서 k는 후보 소스밴드들의 인덱스를 나타내고, Ck는 세 색상 채널의 차이의 합, Gk는 그래디언트의 차이를 나타낸다. 상기 t는 목표밴드, s는 소스밴드를 나타내고, N은 밴드의 총 화소수를 나타내고, c에서 R,G,B는 빨강, 녹색, 파랑의 색상채널이다.

는 각 색상 채널의 화소값이고,

는 각 색상 채널의 그래디언트이다.

목표밴드와 K번째 소스밴드 사이의 Dk는 Ck와 Gk의 합으로 다음 수학식 4와 같이 계산될 수 있다.

상기 수학식 4에서

과

는

와

의 가중치를 나타내기 위한 상수이다.

상기한 과정을 거쳐 Dk가 최소가 되는 소스밴드가 검출되면, 상기 프로세서(100)는 그 소스밴드의 내부 색상정보를 인페인팅 대상영역에 채워줌으로써, 밴드매칭을 완료한다.

즉, 도 6b에서 녹색 부분이 Dk가 최소가 되는 최적 소스밴드를 표식한 것이며, 도 6c는 목표영역에 최적의 소스밴드의 내부 색상정보를 채워 넣은 것이며, 도 6d는 결과 영상 데이터를 도시한 것이다.

상기한 밴드 매칭이 완료되면, 상기 프로세서(100)는 상기 밴드 매칭된 인페 인팅 대상영역의 가장자리에 대한 경계 제거를 이행한다(212단계).

여기서, 상기 경계 제거과정을 좀 더 설명한다.

본 발명의 바람직한 실시예에 따라 밴드 매칭으로 인페인팅을 이행하면, 목표영역과 주변영역 사이에 경계가 나타난다. 도 7b는 밴드매칭 후 목표영역과 주변영역 사이에서 나타나는 경계를 예시한 것이다. 상기 경계를 제거하기 위해 프로세서(100)는 목표밴드와 최적밴드의 화소값의 비율을 계산하고, 그 비율을 이용하여 인페인팅 대상영역의 각 화소값을 재계산하여 갱신한다.

상기 경계제거의 첫번째 단계는 수학식 5에 따라 목표밴드의 화소값과 최적의 소스밴드의 화소값의 비율 h(x,y)을 산출하는 것이다.

상기 수학식 5에서 f(x,y)는 목표밴드, g(x,y)는 최적 소스밴드의 색상값이다. 상기 목표영역의 초기 h(x,y)는 1로 설정된다.

두번째 단계는 상기 h(x,y)을 h(x,y)의 라플라시안(Laplacian)을 반복 적용하여 갱신한다.

상기 수학식 6에서 n은 반복횟수를 나타내며,

는 라플라시안을 나타내는 것이다. 여기서, 2차 미분을 라플라시안이라 한다. 이는 밴드영역의 값을 채워넣은 인페인팅 영역으로 전파하기 위한 기능을 합니다.

이후 상기 프로세서(100)는 인페인팅 대상영역의 최종 화소값을 반복을 통해 갱신된

값과 최적의 소스밴드 내부의 화소값을 곱하여 갱신하며, 이는 수학식 7에 따른다.

상기한 과정을 거쳐 경계 제거가 완료되면, 상기 프로세서(100)는 호모그래피 역행렬에 따라 상기 스티칭된 영상 데이터들을 다수의 영상 데이터로 분리한다(214단계).

여기서, 본 발명의 바람직한 실시예에 따른 인페인팅 과정을 도 8을 참조하여 간략히 설명한다.

도 8(a)는 다수의 연속되는 영상 데이터들을 도시한 것이며, 상기 다수의 연속되는 영상 데이터를 스티칭한 결과를 도시한 것이 도 8(b)이다.

도 8(c)에 도시한 바와 같이 상기 스티칭한 영상 데이터에서 백색으로 표식한 영역에 대해 인페인팅 대상영역으로 정하였을 때에, 인페인팅이 완료된 영상 데이터를 도시한 것이 도 8(d)이다.

상기 인페인팅이 완료된 영상 데이터를 다수의 영상데이터로 분리한 것을 도시한 것이 도 8(e)이다.

이와 같이 본 발명은 다수의 연속되는 영상 데이터를 하나로 스티칭한 후에 다시 다수의 영상 데이터로 분리함으로써, 다수의 연속되는 영상 데이터 각각에 대한 인페인팅 결과가 일관성을 가질 수 있게 한다.

<제2실시예>

본 발명의 바람직한 제2실시예는 오래된 필름 등과 같이 노이즈가 많아서 화질이 좋지 않은 영사 데이터에 대해 특징점을 수동으로 선택하여 호모그래피 행렬을 계산하는 것으로, 도 9를 참조하여 설명한다.

상기 인페인팅 처리장치의 프로세서(100)는 사용자 인터페이스(102)를 통해 특징점을 직접 입력받아 인페인팅을 이행하는 제2인페인팅 모드로의 동작이 요청되면(300단계), 연속된 영상 데이터들에 대해 직접 특징점을 입력받아, 연속된 영상 데이터들의 특징점들에 대한 호모그래피 행렬을 검출한다(302,304단계).

이후 상기 프로세서(100)는 상기 호모그래피 행렬에 따라 연속된 영상 데이터들을 하나로 스티칭하고, 상기 스티칭된 영상 데이터에 대한 인페인팅 대상영역을 입력받는다(306,308단계).

이후 상기 프로세서(100)는 스티칭된 영상 데이터에 대해 인페인팅 대상영역 에 대한 밴드매칭을 이행하고, 밴드매칭된 인페인팅 대상영역의 가장자리에 대한 경계를 제거한다(310,312단계).

상기 밴드매칭 및 경계제거에 따른 인페인팅이 완료된 스티칭된 영상 데이터는 호모그래피 역행렬에 따라 스티칭된 영상 데이터들로 분리된다(314단계).

<제3실시예>

본 발명의 바람직한 제3실시예는 카메라를 고정시켜 촬영을 이행하였을 때에 움직이는 대상을 자동으로 트래킹하여 인페인팅하는 것으로 도 10을 참조하여 상세히 설명한다.

상기 인페인팅 처리장치의 프로세서(100)는 인페인팅 대상영역을 자동으로 트래킹하는 제3페인팅 모드로의 동작이 요청되면, 연속된 영상 데이터들에 대해 인페인팅 대상영역을 트래킹한다(400,402단계). 여기서, 상기 인페인팅 대상영역은 카메라가 고정되어 있는 상태에서 움직이는 물체나 사람을 인페이팅하고자 하는 경우에 배경을 기준으로 움직이는 영역을 트래킹하여 인페인팅 대상영역으로 설정된다.

이후, 상기 프로세서(100)는 인페인팅 대상영역이 포함되지 않은 영상 데이터에서 상기 인페인팅 대상영역에 대한 영상 데이터를 추출하여 상기 인페인팅 대상영역이 포함된 영상 데이터의 인페인팅 대상영역에 채워넣거나, 상기 인페인팅 대상영역에 대한 밴드매칭 및 경계제거를 통해 인페인팅을 이행한다(404단계).

도 11은 본 발명의 바람직한 제3실시예에 따른 인페인팅 결과를 도시한 것으로, (a)는 원본 이미지이고, (b)는 인페인팅 대상영역을 트래킹하여 추출한 것을 도시한 것이고, (c)는 인페인팅 대상영역이 포함되지 않은 영상 데이터에서 상기 인페인팅 대상영역에 대한 영상 데이터를 추출하여 인페인팅 대상영역이 포함된 영상 데이터의 인페인팅 대상영역에 채워넣은 것이고, (d)는 상기 인페인팅 대상영역에 대한 밴드매칭 및 경계제거를 통해 인페인팅을 이행한 것을 도시한 것이다.

<제4실시예>

본 발명의 바람직한 제4실시예에는 일정속도로 변화하는 영상 데이터에서 다른 속도로 변화하는 대상을 자동으로 트래킹하여 인페인팅하는 것으로 도 12를 참조하여 설명한다.

상기 인페인팅 처리장치의 프로세서(100)는 일정 속도로 움직이는 배경에서 다른 속도로 움직이는 대상을 인페인팅하는 제4인페인팅 모드로의 동작이 요청되면, 일정 속도로 변화하는 영상 데이터에서 다른 속도로 변화하는 인페인팅 대상영역을 트래킹한다(500,502단계).

이후 상기 프로세서(100)는 연속된 영상 데이터들 간의 특징점을 검출하고, 연속된 영상 데이터들의 특징점들에 대한 호모그래피 행렬을 검출하고, 상기 호모그래피 행렬에 따라 연속된 영상 데이터들을 하나의 영상 데이터로 스티칭한다(504~508단계).

상기 하나의 영상 데이터로 스티칭된 영상 데이터들에 대해 인페인팅 대상영역에 대한 밴드매칭을 이행하고, 상기 밴드매칭된 인페인팅 대상영역의 가장자리에 대한 경계제거를 이행한다(512단계).

이후 상기 프로세서(100)는 호모그래피 역행렬에 따라 스티칭된 영상 데이터 들을 분리한다(514단계).

상기한 본 발명의 바람직한 실시예에서는 인페인팅 대상영역에 대해 밴드 매칭 및 경계 제거를 이행하는 것만을 예시하였으나, 인페인팅 결과를 향상시키기 위해 상기 인페인팅 대상영역을 다수로 분할하고, 상기 분할된 각각의 영역에 대해 밴드매칭과 경계제거를 이행할 수도 있다.

도 1은 본 발명의 바람직한 실시예에 따른 인페인팅 처리장치의 구성도.

도 2는 본 발명의 바람직한 제1실시예에 따른 인페인팅 처리방법의 흐름도.

도 3 내지 도 8, 도 11은 영상 데이터를 예시한 도면.

도 9는 본 발명의 바람직한 제2실시예에 따른 인페인팅 처리방법의 흐름도.

도 10은 본 발명의 바람직한 제3실시예에 따른 인페인팅 처리방법의 흐름도.

도 12은 본 발명의 바람직한 제4실시예에 따른 인페인팅 처리방법의 흐름도.

Claims

영상 데이터 인페인팅 방법에 있어서,

다수의 연속되는 영상 데이터를 입력받아 하나의 영상 데이터로 스티칭하는 제1단계;

상기 스티칭된 영상 데이터에서 선택된 인페인팅 대상영역에 대한 밴드매칭을 이행하는 제2단계;

상기 인페인팅 대상영역이 밴드매칭된 상기 스티칭된 영상 데이터에 대해 상기 인페인팅 대상영역의 가장자리에 대한 경계를 제거하는 제3단계;

상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 제4단계;

를 포함하는 것을 특징으로 하는 영상 데이터 인페인팅 방법.
제1항에 있어서,

상기 제1단계가,

영상 데이터들 사이에 서로 대응되는 특징점들을 검출하는 단계;

상기 특징점들 사이의 위치변화정보인 호모그래피 행렬을 검출하는 단계;

상기 호모그래피 행렬을 기준으로 상기 연속되는 영상 데이터들을 스티칭하여 하나의 영상 데이터를 생성하는 단계로 구성되며,

상기 제4단계가,

상기 스티칭된 영상 데이터를 상기 호모그래피 역행렬에 따라 다수의 영상 데이터로 분리함을 특징으로 하는 영상 데이터 인페인팅 방법.
제2항에 있어서,

상기 호모그래피 행렬의 검출은,

두 영상 데이터 사이의 미리 정해둔 수의 임의의 특징점을 선택하여 호모그래피 행렬을 산출하고,

상기 어느 한 영상 데이터의 특징점들과 다른 영상 데이터의 특징점들에 호모그래피 행렬을 적용한 결과들 각각의 오차를 산출하는 과정을 미리 정해둔 횟수만큼 반복하고,

상기 오차가 미리 정해둔 값보다 작은 특징점을 가장 많이 검출되는 상기 임의의 특징점의 호모그래피 행렬을 최종 호모그래피 행렬로 설정하는 것임을 특징으로 하는 영상 데이터 인페인팅 방법.
제2항에 있어서,

상기 특징점은 KLT(Kanade-Lucas-Tomasi Feature Tracker) 방법에 따라 검출됨을 특징으로 하는 영상 데이터 인페인팅 방법.
제2항에 있어서,

상기 특징점은 사용자에 의해 입력됨을 특징으로 하는 영상 데이터 인페인팅 방법.
제1항에 있어서,

상기 인페인팅 대상영역은,

전체 영상 데이터의 속도와 상이한 속도로 움직이는 영상 데이터 영역으로 선택됨을 특징으로 하는 영상 데이터 인페인팅 방법.
제1항에 있어서,

상기 인페인팅 대상영역은,

움직이는 영상 데이터 영역으로 선택됨을 특징으로 하는 영상 데이터 인페인팅 방법.
제1항에 있어서,

상기 인페인팅 대상영역은,

사용자에 의해 선택됨을 특징으로 하는 영상 데이터 인페인팅 방법.
제1항에 있어서,

상기 제3단계는,

선택된 인페인팅 대상영역의 가장자리에 일정 두께를 가지는 목표 밴드를 설정하는 단계;

상기 목표 밴드를 제외한 영상 데이터 부분에 상기 목표밴드와 같은 모양과 두께를 가지는 다수의 소스 밴드를 설정하는 단계;

상기 다수의 소스 밴드 각각과 상기 목표 밴드 사이의 그래디언트의 차를 산출하고, 상기 그래디언트 차이가 최소인 소스 밴드를 최적 소스 밴드로 선택하고, 상기 소스 밴드내의 색상정보를 상기 인페인팅 대상영역에 삽입하는 단계;

를 포함하는 것을 특징으로 하는 영상 데이터 인페인팅 방법.
제9항에 있어서,

상기 제4단계는,

상기 인페인트 대상영역의 최종 화소값을,

상기 목표 밴드와 상기 최적의 소스 밴드 사이의 화소값의 비율과 상기의 최적 밴드 내부의 화소값을 곱한 값으로 결정함을 특징으로 하는 영상 데이터 인페인팅 방법.
영상 데이터 인페인팅 처리장치에 있어서,

다수의 연속되는 영상 데이터를 저장하는 메모리부;

상기 다수의 연속되는 영상 데이터를 하나의 영상 데이터로 스티칭하고,

상기 스티칭된 영상 데이터에서 선택된 인페인팅 대상영역에 대한 밴드매칭을 이행하고,

상기 인페인팅 대상영역이 밴드매칭된 상기 스티칭된 영상 데이터에 대해 상 기 인페인팅 대상영역의 가장자리에 대한 경계를 제거하고,

상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 프로세서;

를 포함하는 것을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제11항에 있어서,

상기 프로세서가,

상기 다수의 영상 데이터에 대한 스티칭은,

영상 데이터들 사이에 서로 대응되는 특징점들을 검출하고,

상기 특징점들 사이의 위치변화정보인 호모그래피 행렬을 검출하고,

상기 호모그래피 행렬을 기준으로 상기 연속되는 영상 데이터들을 스티칭하여 하나의 영상 데이터를 생성함으로써 이행하고,

상기 스티칭된 하나의 영상 데이터의 분리는,

상기 스티칭된 영상 데이터를 상기 호모그래피 역행렬에 따라 다수의 영상 데이터로 분리하는 것임을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제12항에 있어서,

상기 호모그래피 행렬의 검출은,

두 영상 데이터 사이의 미리 정해둔 수의 임의의 특징점을 선택하여 호모그래피 행렬을 산출하고,

상기 어느 한 영상 데이터의 특징점들과 다른 영상 데이터의 특징점들에 호모그래피 행렬을 적용한 결과들 각각의 오차를 산출하는 과정을 미리 정해둔 횟수만큼 반복하고,

상기 오차가 미리 정해둔 값보다 작은 특징점을 가장 많이 검출되는 상기 임의의 특징점의 호모그래피 행렬을 최종 호모그래피 행렬로 설정하는 것임을 특징으로 하는 영상 데이터 인페인팅 방법.
제12항에 있어서,

상기 특징점은 KLT(Kanade-Lucas-Tomasi Feature Tracker) 방법에 따라 검출됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제12항에 있어서,

상기 특징점은 사용자에 의해 입력됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제11항에 있어서,

상기 인페인팅 대상영역은,

전체 영상 데이터의 속도와 상이한 속도로 움직이는 영상 데이터 영역으로 선택됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제11항에 있어서,

상기 인페인팅 대상영역은,

움직이는 영상 데이터 영역으로 선택됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제11항에 있어서,

상기 인페인팅 대상영역은,

사용자에 의해 선택됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제11항에 있어서,

상기 밴드 매칭은,

선택된 인페인팅 대상영역의 가장자리에 일정 두께를 가지는 목표 밴드를 설정하고,

상기 목표 밴드를 제외한 영상 데이터 부분에 상기 목표밴드와 같은 모양과 두께를 가지는 다수의 소스 밴드를 설정하고,

상기 다수의 소스 밴드 각각과 상기 목표 밴드 사이의 그래디언트의 차를 산출하고, 상기 그래디언트 차이가 최소인 소스 밴드를 최적 소스 밴드로 선택하고, 상기 소스 밴드내의 색상정보를 상기 인페인팅 대상영역에 삽입하여 이행됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
제19항에 있어서,

상기 경계 제거는,

상기 인페인트 대상영역의 최종 화소값을,

상기 목표 밴드와 상기 최적의 소스 밴드 사이의 화소값의 비율과 상기의 최적 밴드 내부의 화소값을 곱한 값으로 결정하여 이행됨을 특징으로 하는 영상 데이터 인페인팅 처리장치.
영상 데이터 인페인팅 방법에 있어서,

다수의 연속되는 영상 데이터를 입력받아 하나의 영상 데이터로 스티칭하는 제1단계;

상기 스티칭된 영상 데이터에서 인페인팅 대상영역을 선택받아 다수로 분할하는 제2단계;

상기 다수로 분할된 인페인팅 대상영역 각각에 대해 밴드매칭을 이행하고, 상기 밴드매칭된 영역들의 가장자리에 대한 경계를 제거하는 제3단계;

상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 제4단계;

를 포함하는 것을 특징으로 하는 영상 데이터 인페인팅 방법.
영상 데이터 인페인팅 처리장치에 있어서,

다수의 연속되는 영상 데이터를 저장하는 메모리부;

상기 다수의 연속되는 영상 데이터를 하나의 영상 데이터로 스티칭하고,

상기 스티칭된 영상 데이터에서 선택된 인페인팅 대상영역을 다수로 분할하고,

상기 분할된 인페인팅 대상영역에 대해 밴드매칭을 이행하고, 상기 밴드매칭된 영역들의 가장자리에 대한 경계를 제거하고,

상기 가장자리에 대한 경계 제거가 이행된 스티칭된 영상 데이터를 다수의 연속되는 영상 데이터로 분리하는 프로세서;

를 포함하는 것을 특징으로 하는 영상 데이터 인페인팅 처리장치.