KR102555534B1 - 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 - Google Patents
구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 Download PDFInfo
- Publication number
- KR102555534B1 KR102555534B1 KR1020210084189A KR20210084189A KR102555534B1 KR 102555534 B1 KR102555534 B1 KR 102555534B1 KR 1020210084189 A KR1020210084189 A KR 1020210084189A KR 20210084189 A KR20210084189 A KR 20210084189A KR 102555534 B1 KR102555534 B1 KR 102555534B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- target
- watermark
- panoramic
- blocks
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 13
- 238000009795 derivation Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 238000011176 pooling Methods 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0052—Embedding of the watermark in the frequency domain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
본 발명의 일 실시예에 따른 워터마크 검출 방법은, 학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 단계; 상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계; 및 상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계를 포함한다.
Description
본 발명은 워터마크 검출 방법 및 장치에 관한 것으로서, 타겟 영상이 파노라마 영상으로부터 기인한 것인지 확인하고 저작권 정보를 추출하기 위해 타겟 영상으로부터 워터마크를 검출하는 워터마크 검출 방법 및 장치에 관한 것이다.
파노라마 영상은 360° 전경 시야를 확보할 수 있는 영상으로서 사용자로 하여금 영상 내에서 자유롭게 시점을 선택할 수 있도록 하여 사용자가 가상 공간에 위치하여 직접 보고 있는 것과 같은 느낌을 제공한다.
최근 파노라마 영상에 대한 관심이 증가하면서 파노라마 영상에 대한 저작권 보호가 중요해지고 있다. 하지만 급격히 발달하는 파노라마 영상 산업에 비해서 저작권을 보호할 수 있는 기술은 아직 제대로 구축되어 있지 않은 상황이다.
기존 미디어 컨텐츠의 불법 복제와 불법 유통 문제로부터 저작권을 보호하기 위한 기술로 디지털 워터마킹(Digital watermarking)이 있고, 현재 2D, Streoscopic 3D, 3D mesh 등의 컨텐츠를 위한 디지털 워터마킹 기술은 지속적으로 연구가 되고 있으나, 파노라마 영상을 보호하기 위한 워터마킹 기술은 현재 전무한 실정이다.
특히 파노라마 영상의 특성상 파노라마 영상의 전체가 유출되기 보다는 파노라마 영상의 시점(perspective) 영상 이 유출되어 저작권 침해가 발생할 수 있다. 예를 들어, 콘서트 장을 파노라마 영상으로 만든 경우 무대 방향의 시점 영상은 전체 파노라마 영상이 아니어도 컨텐츠적 가치가 있으며 또한 여러 각도의 시점 영상을 모아서 다시 파노라마 컨텐츠로 재생성할 수 있기 때문에 파노라마 영상의 시점 영상에서도 워터마크를 검출할 수 있는 기술의 필요성이 요구된다.
본 발명의 실시예에서 해결하고자 하는 과제는 파노라마 영상의 시점 영상으로부터 워터마크 검출이 가능한 기술을 제공하는 것이다.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.
본 발명의 일 실시예에 따른 워터마크 검출 방법은, 학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 단계; 상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계; 및 상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계를 포함한다.
또한, 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는, 상기 복수의 블럭의 위치와 대응하도록 상기 타겟 원본 영상을 복수의 블럭으로 나누는 단계; 상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하는 단계; 상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하는 단계; 상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산하는 단계; 및 상기 각각의 선별된 블럭으로부터 계산된 상기 상관 계수의 평균이 제2 임계치 이상인 경우 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분인 것으로 판정하는 단계를 포함할 수 있다.
또한, 상기 주파수 계수로 변환하는 단계는, 이산 푸리에 변환(discrete fourier transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는 단계를 포함할 수 있다.
또한, 상기 워터마크 패턴의 상관 계수를 계산하는 단계는, 상기 각각의 선별된 블럭 내의 상기 주파수 계수 중 크기 계수(magnitude coefficient)와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산할 수 있다.
또한, 상기 시점 정보 도출 모델은, 마지막 레이어 유형(Layer Type)에서만 풀링(Pooling)을 수행하는 SRNet 모델로 구현될 수 있다.
또한, 상기 타겟 원본 영상은, 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 워터마크 검출 장치는, 학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 시점 정보 도출부; 상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 역랜더링부; 및 상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 워터마크 검출부를 포함한다.
또한, 상기 워터마크 검출부는, 상기 복수의 블럭의 위치와 대응하도록 상기 타겟 원본 영상을 복수의 블럭으로 나누고, 상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하고, 상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하고, 상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산하고, 상기 각각의 선별된 블럭으로부터 계산된 상기 상관 계수의 평균이 제2 임계치 이상인 경우 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분인 것으로 판정할 수 있다.
또한, 상기 워터마크 검출부는, 이산 푸리에 변환(discrete fourier transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환할 수 있다.
또한, 상기 워터마크 검출부는, 상기 각각의 선별된 블럭 내의 상기 주파수 계수 중 크기 계수(magnitude coefficient)와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산할 수 있다.
또한, 상기 시점 정보 도출 모델은, 마지막 레이어 유형(Layer Type)에서만 풀링(Pooling)을 수행하는 SRNet 모델로 구현될 수 있다.
또한, 상기 타겟 원본 영상은, 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따르면, 파노라마 영상 전체뿐만 아니라 파노라마 영상의 특정 시점에 해당하는 시점 영상에서도 워터마크 검출하여 파노라마 영상에 대한 저작권 침해 문제를 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 워터마크 삽입 장치의 기능 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법의 프로세스를 도시하는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 검출 장치의 기능 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 검출 방법의 프로세스를 도시하는 흐름도이다.
도 5는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 시점 정보 도출 모델의 구조를 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 영상 보간법을 통해 홀의 픽셀을 복원하는 것을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법의 프로세스를 도시하는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 검출 장치의 기능 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 워터마크 검출 방법의 프로세스를 도시하는 흐름도이다.
도 5는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 시점 정보 도출 모델의 구조를 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 영상 보간법을 통해 홀의 픽셀을 복원하는 것을 설명하기 위한 예시도이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한, 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 워터마크 삽입 장치(100)의 기능 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터마크 삽입 장치(100)는 블럭 할당부(110), 변환부(120), 삽입부(130), 복원부(140) 및 파노라마 영상 생성부(150)를 포함한다.
블럭 할당부(110)는 파노라마 영상으로 렌더링될 원본 영상을 복수의 블럭으로 나눈다. 이때 '블럭'은 특정 이미지의 소정 부분을 의미하는 패치 이미지라는 용어에서의 '패치'와 같은 의미로서 사용한다. 한편, 파노라마 영상으로 렌더링할 수 있는 포맷의 원본 영상은 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 등을 포함한다.
변환부(120)는 각각의 블럭에 포함된 영상의 공간 영역을 주파수 계수로 변환한다. 예를 들면, 이산 푸리에 변환(discrete fourier transform)을 통해 각각의 블럭을 공간 영역에서 주파수 계수로 변환한다.
삽입부(130)는 각각의 블럭의 주파수 계수에 워터마크 패턴을 삽입할 수 있다. 만약 이산 푸리에 변환에 의하는 경우, 삽입부(130)는 변환된 주파수 계수 중 크기 계수(magnitude coefficient)에 워터마크 패턴을 삽입할 수 있다.
복원부(140)는 각각의 블럭에 대해 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원하여, 파노라마 영상 생성부(150)는 각각의 블럭 내의 주파수 계수에 워터마크 패턴이 삽입된 원본 영상을 렌더링하여 파노라마 영상을 생성한다.
이때 워터마크 삽입 장치(100)의 각 구성이 동작하는 구체적인 과정을 도 2와 함께 설명하기로 한다.
한편 상술한 실시예가 포함하는 블럭 할당부(110), 변환부(120), 삽입부(130), 복원부(140) 및 파노라마 영상 생성부(150)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리와 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법의 프로세스를 도시하는 흐름도이다. 도 2에 따른 워터마크 삽입 방법의 각 단계는 도 1을 통해 설명된 워터마크 삽입 장치(100)에 의해 수행될 수 있다.
각 단계를 설명하기에 앞서, 파노라마 영상은 카메라를 이용해 실제 존재하는 공간을 촬영한 후 이를 렌더링함으로써 360°x 180°(수평각도 x 수직각도)의 시점으로 볼 수 있는 형태로 제작된다. 이때 파노라마 영상을 생성할 수 있는 포맷의 원본 영상은 구(Sphere)를 2차원 평면에 투영한 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 등을 포함한다.
특히, 파노라마 영상을 다룰 때 가장 널리 사용되는 포맷은 등장방형 영상이다. 등장방형 영상은 원통형 투영법 중 하나로서 등장방형 영상의 너비가 높이의 2배인데, 이는 영상의 너비가 구에서 경도 방향의 한바퀴인 360°를 의미하고 영상의 높이가 구의 천장과 바닥간의 각도인 180°를 의미하기 때문이다. 본 명세서의 도면에서는 등장방형 영상을 원본 영상으로 도시하고 있지만, 이는 예시일 뿐 등장방형 영상이 아닌 다른 포맷의 원본 영상을 사용하여 본 발명의 실시예를 적용할 수 있다. 이에 각 단계를 설명하기로 한다.
우선, 블럭 할당부(110)는 파노라마 영상으로 렌더링될 원본 영상을 복수의 블럭으로 나눈다(S210). 복수의 블럭은 워터마크가 삽입되는 위치로서, 복수의 블럭 단위로 워터마크가 삽입되는 경우 파노라마 영상의 임의의 영역에서 워터마크를 검출할 수 있으며, 절단(cropping) 공격으로부터 워터마크를 효율적으로 보호할 수 있다.
이때 블럭 할당부(110)는 복수의 블럭을 서로 겹치지 않는 격자 형식으로 할당할 수 있다. 복수의 블럭을 격자 형식으로 나누면 원본 영상에서 빠트리는 부분 없이 모든 영역에 워터마크를 삽입할 수 있기 때문에 모든 각도에서의 시점(perspective) 영상 에서 워터마크를 추출할 수 있다.
또한 파노라마 영상의 시점 영상을 역렌더링할 경우, 시점 영상의 수직 각도에 따라서 복원되는 영상의 면적과 품질이 달라진다. 파노라마 영상의 수직 각도의 범위를 -90도에서 +90도라고 하였을 때, 수직 각도가 -90도와 +90도에 가까운 시점 영상은 역렌더링 시 넓은 면적으로 복원되지만 품질이 낮고, 수직 각도가 0도에 가까운 시점 영상은 역렌더링 시 복원되는 면적의 넓이는 적지만 품질은 높다. 즉, 역렌더링 시에 복원되는 영상의 품질과 면적은 반비례한다. 이때 복수의 블럭을 격자 형식으로 할당하여 각 블럭에 워터마크를 삽입하면 복원되는 품질이 낮더라도 넓은 면적이 복원되므로 추출할 수 있는 워터마크의 개수가 많아진다. 따라서 격자 형식으로 분할된 각 블럭에 워터마크를 삽입하는 경우 낮은 품질로 복원되는 수직 각도에서 더 많은 블럭으로부터 워터마크를 검출할 수 있게 되어 워터마크 검출의 강인성을 높일 수 있다.
다음으로, 변환부(120)는 각각의 블럭에 포함된 영상의 공간 영역을 주파수 계수로 변환한다(S220). 예를 들면, 이산 푸리에 변환(discrete fourier transform)을 통해 공간 영역을 주파수 계수로 변환할 수 있다.
삽입부(130)는 레퍼런스 패턴 생성기를 통해 비밀키로부터 워터마크 패턴을 생성하고(S225), 각 블럭 내에서 변환된 주파수 계수에 워터마크 패턴을 삽입할 수 있다(S230). 구체적으로, 삽입부(130)는 주파수 계수 중 크기 계수에 워터마크 패턴을 삽입할 수 있다.
이때 저주파 대역에 워터마크를 삽입하는 경우 워터마크의 비가시성을 저하시킬 수 있고, 고주파 대역에 워터마크를 삽입하는 경우 워터마크는 압축 등의 공격에 취약하므로, 삽입부(130)는 워터마크 검출의 강인성을 높이기 위해 지그재그 스캔 방식을 통해 중간 주파수 대역의 주파수 계수에 워터마크 패턴을 삽입할 수 있다. (Barni, Mauro, et al. "A DCT-domain system for robust image watermarking." Signal processing 66.3 (1998): 357-372.)
복원부(140)는 각각의 블럭 내에서 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원한다(S240). 예를 들면, 역 이산 푸리에 변환(inverse discrete fourier transform)을 통해 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원할 수 있다.
이후, 파노라마 영상 생성부(150)는 복원부(140)를 통해 복원된 각각의 블럭의 영상을 결합하고(S245), 각각의 블럭 내의 주파수 계수에 워터마크 패턴이 삽입된 원본 영상을 렌더링하여 파노라마 영상을 생성할 수 있다(S250).
본 발명의 일 실시예에 따른 워터마크 검출 장치(300)는 타겟 영상이 도 1 및 도 2의 실시예에 따라 생성된 파노라마 영상의 일부분에 해당하는지 워터마크 검출을 통해 확인한다. 도 3은 본 발명의 일 실시예에 따른 워터마크 검출 장치(300)의 기능 블럭도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터마크 검출 장치(300)는 저장부(310), 시점 정보 도출 모델 생성부(320), 시점 정보 도출부(330), 역렌더링부(340) 및 워터마크 검출부(350)를 포함한다.
저장부(310)는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 도출하는 시점 정보 도출 모델을 저장한다. 이 때, 저장부(310)에 의해 저장되는 시점 정보 도출 모델은 시점 정보 도출 모델 생성부(320)가 학습 파노라마 영상에 대한 학습 영상을 학습함으로써 생성되거나, 외부의 장치로부터 수신되어 저장되는 것일 수 있다.
시점 정보 도출부(330)는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 도출하고, 역렌더링부(340)는 시점 정보 도출부(330)가 도출한 시점 정보를 기초로 타겟 영상을 역렌더링하여 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성한다.
워터마크 검출부(350)는 역렌더링부(340)가 생성한 타겟 원본 영상에 포함된 워터마크 패턴과 파노라마 영상에 포함된 워터마크 패턴을 비교하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 판정한다.
이때 워터마크 검출 장치(300)의 각 구성이 동작하는 구체적인 과정을 도 4와 함께 설명하기로 한다.
한편 상술한 실시예가 포함하는 시점 정보 도출부(330), 역렌더링부(340) 및 워터마크 검출부(350)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리와 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 워터마크 검출 방법의 프로세스를 도시하는 흐름도이다. 도 4에 따른 워터마크 검출 방법의 각 단계는 도 3을 통해 설명된 워터마크 검출 장치(300)에 의해 수행될 수 있다.
우선, 도 1 및 도 2의 실시예에 따라 파노라마 영상에 삽입된 워터마크는 파노라마 영상을 역렌더링한 원본 영상으로부터 검출할 수 있기 때문에, 유출되었다고 가정하는 타겟 영상으로부터 워터마크를 검출하기 위해서는 타겟 영상을 역렌더링하여 타겟 원본 영상으로부터 워터마크를 검출해야 한다.
이때 타겟 원본 영상, 가령 등장방형 영상과 동일하게 복원하기 위해서는 어느 정도의 수치를 가지고 역렌더링하여야 하는지 역렌더링 설정값이 필요하기 때문에 타겟 영상이 파노라마 영상의 어떠한 부분에 해당하는지 나타내는 시점 정보가 반드시 필요하다. 도 5는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 설명하기 위한 예시도이다. 도 5에 도시된 바와 같이 파노라마 영상이 구형(Spherical)의 모습이라고 하였을 때, 시점 정보는 구의 중앙에서부터 타겟 영상일 것이라고 판단되는 영역의 중앙 지점을 잇는 선분이 기준 축으로부터 가지는 수직 각도 v 및 수평 각도 h를 의미한다.
이어서, 타겟 영상의 시점 정보를 기초로 타겟 영상을 역렌더링한 타겟 원본 영상으로부터 워터마크를 검출하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 확인할 수 있다. 이에 각 단계를 설명하기로 한다.
저장부(310)는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 출력하는 시점 정보 도출 모델을 저장(S420)한다. 이를 위해, 저장부(310)는 외부의 장치로부터 시점 정보 도출 모델을 수신하여 저장하거나, 시점 정보 도출 모델 생성부(320)에 의해 생성된 것을 저장할 수 있다. 이하에서는 후자의 실시예를 전제로 설명한다.
시점 정보 도출 모델 생성부(320)는 학습 파노라마 영상으로부터 도출된 학습 영상을 학습하여 시점 정보 도출 모델을 생성(S430)한다. 일 실시예에 따른 시점 정보 도출 모델 생성부(320)는 딥러닝과 같은 기계학습을 통해 학습 영상으로부터 학습 파노라마 영상에 대한 시점 정보를 학습할 수 있다. 예를 들어, 시점 정보 도출 모델 생성부(320)는 지도 학습(supervised learning)을 통해 시점 정보 도출 모델을 생성할 수 있다. 지도 학습이란 입력과 이에 대응되는 레이블로 구성되는 학습 데이터를 학습하는 기계 학습 방법을 의미하며, 레이블(label)은 학습 데이터 중 입력에 대한 정답, 즉 시점 정보를 의미할 수 있다. 여기서, 시점 정보는 수평 시점 정보 및 수직 시점 정보 중 적어도 하나를 포함할 수 있다.
지도 학습 방법을 따르는 시점 정보 도출 모델 생성부(320)는 학습 파노라마 영상으로부터 분할된 직접 영상과 이로부터 시점 정보가 변경된 간접 영상 중 적어도 하나를 포함하는 학습 영상을 입력으로 하고, 해당 학습 영상의 학습 파노라마 영상에 대한 시점을 레이블로 대응시킨 학습 데이터를 학습할 수 있다. 구체적으로, 시점 정보 도출 모델 생성부(320)는 입력인 학습 영상과 정답인 시점 정보 사이의 관계를 학습하고, 그 학습의 결과로서 시점 정보 도출 모델을 생성할 수 있다.
이와는 달리, 시점 정보 도출 모델 생성부(320)는 학습 영상에 시점 정보가 레이블 된 일부 학습 데이터와 레이블 되지 않은 학습 영상으로 이루어진 나머지 학습 데이터를 함께 이용하여 학습하는 반지도 학습(semisupervised learning)을 수행하여, 시점 정보 도출 모델을 생성할 수 있다. 또는, 시점 정보 도출 모델 생성부(320)는 학습에 따라 생성된 시점 정보 도출 모델의 시점 정보를 평가한 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 시점 정보 도출 모델을 생성할 수 있다.
시점 정보 도출 모델 생성부(320)에 의해 생성되는 시점 정보 도출 모델은, 영상 보안 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 일 실시예에 따른 시점 정보 도출 모델은 신경망(neural network)을 기반으로 하는 모델일 수 있다. 예를 들어, 시점 정보 도출 모델은 CNN(convolution neural network), DNN(deep neural network), RNN(recurrent neural network), BRDNN(bidirectional recurrent deep neural network)과 같은 모델로 구현될 수 있으나, 이에 한정되지는 않는다.
도 6은 본 발명의 일 실시예에 따른 시점 정보 도출 모델의 구조를 예시한 도면이다. 여기서, LT는 레이어 유형을 의미하고, SC는 스킵 연결을 의미하며, 괄호 안의 숫자는 커널 번호를 의미한다.
일 실시예에 따른 시점 정보 도출 모델은 CNN 중 SRNet 모델로 구현될 수 있다. 하이레벨 특징을 감지하는데 좋은 성능을 나타내는 ResNet 모델과 비교할 때, SRNet 모델은 노이즈 위주로 감지하는데 유리하다. 따라서, SRNet 모델로 구현되는 시점 정보 도출 모델은 랜더링에 의한 왜곡을 검출하여 시점 정보를 출력하는데 적합하다.
도 6을 참조하면, SRNet 모델로 구현되는 시점 정보 도출 모델은 세 종류의 레이어 유형으로 구성된다. 첫번째 레이어 유형과 두번째 레이어 유형은 풀링 레이어(pooling Layer)가 존재하지 않고, 세번째 레이어 유형에서만 풀링 레이어가 존재한다. 네트워크 시작 부분에서 풀링을 진행할 경우 미세한 노이즈를 감지하기 어렵기 때문에, 랜더링에 의한 왜곡을 검출하여 시점 정보를 출력하기 위해 시점 정보 도출 모델은 세번째 레이어 유형에서만 풀링을 수행한다.
역렌더링부(340)는 시점 정보 도출부(330)가 도출한 시점 정보를 기초로 타겟 영상을 역렌더링하여 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성한다(S440). 이때 타겟 원본 영상은 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상을 포함한다. 역렌더링부(340)는 시점 정보를 통해 타겟 영상이 파노라마 영상의 어느 부분에 위치하고 있는 지 정확히 알 수 있으므로, 시점 정보를 반영하여 역렌더링을 통해 타겟 원본 영상을 생성할 수 있다.
한편, 타겟 영상이 포함하고 있는 픽셀 정보만 역렌더링이 가능하므로 도 7에 도시된 바와 같이 타겟 원본 영상은 파노라마 영상의 기초가 되는 원본 영상의 일부 영역만 복원된다. 또한 역렌더링 시에 왜곡이 발생하기 때문에 타겟 원본 영상에는 복원된 부분에 해당하는 영역에서도 홀(hole)이 발생한다. 홀은 워터마크 검출 시 픽셀 정보가 없으므로 워터마크 검출의 강인성을 낮출 수 있다.
이를 방지하기 위해, 역렌더링부(340)는 영상 보간법(interpolation)을 통해 홀의 픽셀을 복원할 수 있다(S445). 도 7은 본 발명의 일 실시예에 따라 영상 보간법을 통해 홀의 픽셀을 복원하는 것을 설명하기 위한 예시도이다. 도 7을 참조하면, 역렌더링부(340)는 영상 보간법을 통해 보간하려는 픽셀 주변의 픽셀 중 홀이 아닌 픽셀 정보의 평균값으로 홀 픽셀을 보간할 수 있다.
이후, 워터마크 검출부(350)는 역렌더링부(340)가 생성한 타겟 원본 영상에 포함된 워터마크 패턴과 파노라마 영상에 포함된 워터마크 패턴을 비교하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 판정한다(S450).
보다 자세하게 S450 단계에서는, 원본 영상에 할당된 복수의 블럭의 위치와 대응하도록 타겟 원본 영상을 복수의 블럭으로 나누고, 타겟 원본 영상의 복수의 블럭 중 블럭 내에 포함된 픽셀이 소정의 임계치 이상 복원되어 있는 블럭을 선별할 수 있다(S451).
이후, 선별된 각 블럭 내의 영상의 공간 영역을 주파수 계수로 변환할 수 있다(S452). 예를 들어, 워터마크 검출부(350)는 이산 푸리에 변환을 통해 공간 영역을 주파수 계수로 변환한다.
또한 변환된 주파수 계수를 파노라마 영상에 포함된 워터마크 패턴과 비교하기 위해, 레퍼런스 패턴 생성기를 통해 파노라마 영상에 사용된 비밀키로부터 워터마크 패턴을 생성하고(S453), S452 단계에서 변환된 각 블럭 내의 주파수 계수 중 크기 계수를 S453 단계에서 생성된 워터마크 패턴과 비교하여 상관 계수(correlation)를 계산할 수 있다(S454). 만약 이산 푸리에 변환에 의하는 경우, 워터마크 검출부(350)는 변환된 주파수 계수 중 크기 계수를 파노라마 영상의 워터마크 패턴과 비교할 수 있다
이때 아웃라이어를 제거하기 위해 상관 계수가 가장 높은 블럭의 일부와 가장 낮은 블럭의 일부를 제외한 후, 남은 상관 계수의 평균을 구하여 상관 계수의 평균이 소정의 임계치 이상인 경우 타겟 영상이 파노라마 영상의 일부분인 것으로 판단할 수 있다.
상술한 실시예에 따르면, 파노라마 영상 전체뿐만 아니라 파노라마 영상의 특정 시점에 해당하는 시점 영상에서도 워터마크 검출하여 파노라마 영상에 대한 저작권 침해 문제를 방지할 수 있다.
특히, 원본 영상을 렌더링하여 파노라마 영상을 생성 시 수직적(vertical) 왜곡만 존재하고 이 또한 오차가 존재하는데, 본 발명에 따른 워터마크 검출 방법 및 장치는 Shift-Invariant(이미지 수평 이동에 강인)한 특성을 가진 이산 푸리에 변환의 크기 계수를 이용함으로써 이러한 문제를 해결할 수 있다.
또한, 딥러닝과 같은 기계학습을 사용할 경우 수직 시점 정보가 약 5° 이내로 99% 이상의 정확도를 가지므로, 이산 푸리에 변환의 크기 계수로부터 수직 시점 정보 5° 이내에서 워터마크 검출이 가능하다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
본 발명의 일 실시예에 따르면, 상술한 워터마크 검출 방법 및 장치는 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
100: 워터마크 삽입 장치
110: 블럭 할당부
120: 변환부
130: 삽입부
140: 복원부
150: 파노라마 영상 생성부
300: 워터마크 검출 장치
310: 저장부
320: 시점 정보 도출 모델 생성부
330: 시점 정보 도출부
340: 역렌더링부
350: 워터마크 검출부
110: 블럭 할당부
120: 변환부
130: 삽입부
140: 복원부
150: 파노라마 영상 생성부
300: 워터마크 검출 장치
310: 저장부
320: 시점 정보 도출 모델 생성부
330: 시점 정보 도출부
340: 역렌더링부
350: 워터마크 검출부
Claims (14)
- 학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 단계;
상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계; 및
상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계;를 포함하되,
상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는,
상기 타겟 원본 영상을 복수의 블럭으로 나누는 단계;
상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하는 단계;
상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하는 단계; 및
상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산하는 단계;를 포함하고,
상기 워터마크 패턴의 상관 계수를 계산하는 단계는,
상기 각각의 선별된 블럭 내의 상기 주파수 계수 중 크기 계수(magnitude coefficient)와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상기 상관 계수를 계산하는 단계;를 포함하는
워터마크 검출 방법. - 제 1 항에 있어서,
상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는,
상기 각각의 선별된 블럭으로부터 계산된 상기 상관 계수의 평균이 제2 임계치 이상인 경우 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분인 것으로 판정하는 단계를 더 포함하는
워터마크 검출 방법. - 제 2 항에 있어서,
상기 주파수 계수로 변환하는 단계는,
이산 푸리에 변환(discrete fourier transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는 단계를 포함하는
워터마크 검출 방법. - 삭제
- 제 1 항에 있어서,
상기 시점 정보 도출 모델은,
마지막 레이어 유형(Layer Type)에서만 풀링(Pooling)을 수행하는 SRNet 모델로 구현되는
워터마크 검출 방법. - 제 1 항에 있어서,
상기 타겟 원본 영상은,
등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 중 적어도 하나를 포함하는
워터마크 검출 방법. - 학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 시점 정보 도출부;
상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 역랜더링부; 및
상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 워터마크 검출부;를 포함하되,
상기 워터마크 검출부는,
상기 타겟 원본 영상을 복수의 블럭으로 나누고, 상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하고, 상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하고, 상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수를 계산하되, 상기 각각의 선별된 블럭 내의 상기 주파수 계수 중 크기 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상기 상관 계수를 계산하는
워터마크 검출 장치. - 제 7 항에 있어서,
상기 워터마크 검출부는,
상기 각각의 선별된 블럭으로부터 계산된 상기 상관 계수의 평균이 제2 임계치 이상인 경우 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분인 것으로 판정하는
워터마크 검출 장치. - 제 8 항에 있어서,
상기 워터마크 검출부는,
이산 푸리에 변환(discrete fourier transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는
워터마크 검출 장치. - 삭제
- 제 7 항에 있어서,
상기 시점 정보 도출 모델은,
마지막 레이어 유형(Layer Type)에서만 풀링(Pooling)을 수행하는 SRNet 모델로 구현되는
워터마크 검출 장치. - 제 7 항에 있어서,
상기 타겟 원본 영상은,
등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 중 적어도 하나를 포함하는
워터마크 검출 장치. - 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 단계;
상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계; 및
상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계;를 포함하되,
상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는,
상기 타겟 원본 영상을 복수의 블럭으로 나누는 단계;
상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하는 단계;
상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하는 단계; 및
상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수를 계산하는 단계;를 포함하고,
상기 워터마크 패턴의 상관 계수를 계산하는 단계는,
상기 각각의 선별된 블럭 내의 상기 주파수 계수 중 크기 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상기 상관 계수를 계산하는 단계;를 포함하는 워터마크 검출 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
학습 영상 및 학습 파노라마 영상에 대한 상기 학습 영상의 시점 정보를 학습하여 생성된 시점 정보 도출 모델에 타겟 영상을 입력하여 워터마크가 삽입된 360° 파노라마 영상에 대한 상기 타겟 영상의 시점 정보를 획득하는 단계;
상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계; 및
상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계;를 포함하되,
상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는,
상기 타겟 원본 영상을 복수의 블럭으로 나누는 단계;
상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하는 단계;
상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하는 단계; 및
상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수를 계산하는 단계;를 포함하고,
상기 워터마크 패턴의 상관 계수를 계산하는 단계는,
상기 각각의 선별된 블럭 내의 상기 주파수 계수 중 크기 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상기 상관 계수를 계산하는 단계;를 포함하는 워터마크 검출 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210084189A KR102555534B1 (ko) | 2021-06-28 | 2021-06-28 | 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210084189A KR102555534B1 (ko) | 2021-06-28 | 2021-06-28 | 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230001392A KR20230001392A (ko) | 2023-01-04 |
| KR102555534B1 true KR102555534B1 (ko) | 2023-07-17 |
Family
ID=84925116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210084189A KR102555534B1 (ko) | 2021-06-28 | 2021-06-28 | 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102555534B1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100426690B1 (ko) | 2001-07-26 | 2004-04-17 | 주식회사 마크애니 | 화면분할에 의한 디지털 워터마크의 삽입 및 추출방법과이를 이용한 장치 |
| FR2998126B1 (fr) * | 2012-11-15 | 2014-12-26 | Giroptic | Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques |
| KR101925011B1 (ko) * | 2017-03-14 | 2019-02-27 | 한국과학기술원 | 워터마크 삽입/검출 방법 및 장치 |
| KR102017487B1 (ko) * | 2018-02-01 | 2019-09-04 | 광운대학교 산학협력단 | 특징점을 이용한 전방위 영상의 블라인드 디지털 워터마킹 방법 |
-
2021
- 2021-06-28 KR KR1020210084189A patent/KR102555534B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 한서우, 딥 러닝 기반 360도 파노라마 이미지 인페이팅 방법에 대한 연구, 경희대학교 대학원 전자공학과 석사학위논문, 2020.08* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230001392A (ko) | 2023-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3308371B1 (en) | System and method for digital watermarking | |
| JP3431593B2 (ja) | コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体 | |
| JP5341095B2 (ja) | メディア・コンテンツに信頼性よく対応するメディア・フィンガープリント | |
| US6757405B1 (en) | Digital watermark embedding device, digital watermark detection device and recording medium recording computer readable program for realizing functions of two devices | |
| US20080226125A1 (en) | Method of Embedding Data in an Information Signal | |
| JP2005510921A (ja) | 任意の歪みに対する耐性を有するウォータマークの検出方法及び検出装置 | |
| KR101135472B1 (ko) | 차이값 히스토그램을 이용한 가역 워터마크 삽입, 추출 및 원본 복원 방법 | |
| US7564973B2 (en) | Digital watermark embedding device and digital watermark embedding method | |
| US6996250B2 (en) | Digital watermark embedding processor, digital watermark detecting processor, digital watermark embedding-processing method, digital watermark detecting-processing method, and program storage medium and program used therewith | |
| Su et al. | A practical design of digital watermarking for video streaming services | |
| Keyvanpour et al. | A secure method in digital video watermarking with transform domain algorithms | |
| Niu et al. | Video watermarking resistance to rotation, scaling, and translation | |
| KR101925011B1 (ko) | 워터마크 삽입/검출 방법 및 장치 | |
| KR102555534B1 (ko) | 구형 파노라마 영상에 대한 워터마크 검출 방법 및 장치 | |
| WO2004102477A1 (en) | Watermarking | |
| Kim et al. | Robust motion watermarking based on multiresolution analysis | |
| CN113763224A (zh) | 一种图像处理方法及其装置 | |
| US7317811B2 (en) | Method to decode temporal watermarks in compressed video | |
| US20140093121A1 (en) | Image processing apparatus and method | |
| Akhlaghian et al. | A new robust video watermarking algorithm against cropping and rotating attacks | |
| Delannay et al. | Relevant modeling and comparison of geometric distortions in watermarking systems | |
| CN113497981B (zh) | 数据处理方法、装置及设备 | |
| Berchtold et al. | Maximal stable extremal regions for robust video watermarking | |
| JP2002369161A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム | |
| JP2002354219A (ja) | 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20210628 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221121 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230627 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230710 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230711 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |