KR101913837B1

KR101913837B1 - 파노라마 영상 생성 방법 및 이를 적용한 영상기기

Info

Publication number: KR101913837B1
Application number: KR1020110125738A
Authority: KR
Inventors: 최종윤
Original assignee: 삼성전자주식회사
Priority date: 2011-11-29
Filing date: 2011-11-29
Publication date: 2018-11-01
Also published as: KR20130059658A; US9538085B2; EP2654286A1; CN103139464A; US20130135428A1; CN103139464B

Abstract

파노라마 영상 생성 방법 및 이를 적용한 영상기기를 제공함에 있다. 본 파노라마 영상 생성 방법은, 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출하고, 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이 화면에 디스플레이하며, 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성한다. 이에 의해, 사용자가 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있게 된다.

Description

파노라마 영상 생성 방법 및 이를 적용한 영상기기{Method for providing Panoramic image and imaging device thereof}

본 발명은 파노라마 영상 생성 방법 및 이를 적용한 영상기기에 관한 것으로, 더욱 상세하게는 동영상 데이터를 이용하여 파노라마 영상을 생성하는 파노라마 영상 생성 방법 및 이를 적용한 영상기기에 관한 것이다.

영상기기의 발전 및 영상 처리 방법의 발전에 따라, 사용자는 영상기기를 이용하여 다양한 영상이 획득할 수 있게 되었다. 특히, 사용자는 광범위한 범위를 촬영할 수 있는 초광각 렌즈를 이용하거나 파노라마 촬영 모드를 이용하여 파노라마 영상을 획득할 수 있게 되었다.

그러나, 초광각 렌즈는 구매 비용이 매우 비싸고, 모든 영상기기에 파노라마 촬영 모드가 지원되지 않으므로, 사용자는 쉽게 파노라마 영상을 획득할 수가 없다.

또한, 파노라마 영상을 획득하기 위해서는 처음 영상을 촬영할 때부터 파노라마를 촬영한 목적을 가지고 일정한 조건(예를 들어, 방향, 노출 등)으로 촬영한 후 촬영된 각각의 영상을 합성하여 파노라마 영상을 생성하여야 했다.

따라서, 사용자가 촬영 당시 파노라마 영상을 촬영하기 위한 목적으로 촬영을 수행하지 않았다면, 추후에 파노라마 영상을 획득하기 어려운 문제점이 존재한다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 기 촬영된 동영상 데이터에서 파노라마 영상을 생성할 수 있는 파노라마 구간을 추출하여 파노라마 영상을 생성하는 파노라마 영상 생성 방법 및 이를 적용한 영상기기를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 기기의 파노라마 영상 생성 방법은, 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출하는 단계; 상기 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이 화면에 디스플레이하는 단계; 및 상기 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 단계;를 포함한다.

그리고, 상기 추출하는 단계는, 상기 동영상 데이터를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.

또한, 상기 추출하는 단계는, 상기 동영상 데이터를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.

그리고, 상기 썸네일 이미지는, 상기 파노라마 구간의 첫 영상 프레임일 수 있다.

또한, 상기 생성하는 단계는, 상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성할 수 있다.

그리고, 상기 생성하는 단계는, 상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성할 수 있다.

또한, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터는 상기 동영상 데이터에 함께 저장하는 단계;를 더 포함할 수 있다.

그리고, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터를 상기 동영상 데이터와 별도로 저장하는 단계;를 더 포함할 수 있다.

또한, 상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하는 단계;를 더 포함할 수 있다.

그리고, 상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 데이터에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생하는 단계;를 더 포함할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상기기는, 디스플레이부; 및 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출하고, 상기 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 상기 디스플레이부에 디스플레이하며, 상기 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 제어부;를 포함한다.

그리고, 상기 제어부는, 상기 동영상 데이터를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.

또한, 상기 제어부는, 상기 동영상 데이터를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 적어도 하나의 파노라마 구간을 추출할 수 있다.

또한, 상기 제어부는, 상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성할 수 있다.

그리고, 상기 제어부는, 상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성할 수 있다.

또한, 저장부;를 더 포함하며, 상기 제어부는, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터는 상기 동영상 데이터에 함께 상기 저장부에 저장하도록 제어할 수 있다.

그리고, 저장부;를 더 포함하며, 상기 제어부는, 상기 파노라마 영상이 생성되면, 상기 파노라마 영상 데이터 및 상기 파노라마 영상 데이터의 메타 데이터를 상기 동영상 데이터와 별도로 상기 저장부에 저장할 수 있다.

또한, 상기 제어부는, 상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.

그리고, 상기 제어부는, 상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 데이터에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생할 수 있다.

상술한 바와 같은 본 발명의 다양한 실시예에 따르면, 사용자가 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른, 영상기기의 구성을 나타내는 블럭도,
도 2 내지 7은 본 발명의 일 실시예에 따른, 동영상 데이터를 이용하여 파노라마 영상을 생성하는 방법 및 생성된 파노라마 영상을 이용하여 동영상 데이터를 재생하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 동영상 데이터를 이용하여 파노라마 영상을 생성하는 방법을 설명하기 위한 흐름도이다.

이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 영상기기의 구성을 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 영상기기(100)는 촬영부(110), 영상 처리부(120), 디스플레이부(130), UI 생성부(140), 저장부(150), 사용자 입력부(160) 및 제어부(170)를 포함한다. 이때, 본 발명의 일 실시 예에 따른, 영상기기(100)는 디지털 카메라일 수 있으나, 이에 한정되지 않고, 촬영부가 존재하는 휴대폰, PDA, 태블릿 PC, 캠코더, TV 등으로 구현할 수 있다.

촬영부(110)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 이미지 센서 및 ADC(Analog/Digital Converter)를 포함한다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. CCD 이미지 센서는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기 신호에 맞추어 출력한다. 영상기기(100)의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD 이미지 센서에 의해 이루어진다. CCD 이미지 센서를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD 이미지 센서로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다.

한편, 촬영부(110)가 상술한 바와 같이 영상을 촬영하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 촬영할 수 있다. 예를 들어, CCD 이미지 센서가 아닌가 아닌 CMOS(Complementary Metal Oxide Semiconductor)이미지 센서를 이용하여 영상을 촬영할 수 있다.

영상 처리부(120)는 제어부(170)의 제어에 의해 디지털 변환된 RAW 데이터를 디스플레이 가능하도록 신호처리 한다. 영상 처리부(120)는 온도변화에 민감한 CCD 이미지 센서 및 CFA 필터에서 발생하는 암 전류에 의한 블랙레벨(Black level)을 제거한다. 영상 처리부(120)는 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행한다. 영상 처리부(120)는 감마 보정된 소정 데이터의 RGRG라인 및 GBGB 라인으로 구현된 베이어 패턴을 RGB 라인으로 보간하는 CFA 보간을 수행한다. 영상 처리부(12)는 보간된 RGB 신호를 YUV 신호로 변환하고, 고 대역 필터에 의해 Y 신호를 필터링 하여 영상을 뚜렷하게 처리하는 에지 보상과, 표준 컬러 좌표계를 이용하여 U, V 신호의 컬러 값을 정정하는 컬러 정정을 수행하며, 이들의 노이즈를 제거한다. 영상 처리부(120)는 노이즈가 제거된 Y, U, V 신호를 압축 및 신호 처리하여 JPEG 파일을 생성하고, 생성된 JPEG 파일은 디스플레이부(130)에 디스플레이되고, 저장부(150)에 저장된다.

한편, 영상 처리부(120)가 상술한 바와 같이 영상을 처리하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 처리할 수 있다.

디스플레이부(130)는 영상 처리부(120)에서 처리된 영상 데이터 또는 저장부(150)에 저장된 영상 데이터를 디스플레이한다. 또한, 디스플레이부(130)는 UI 생성부(140)에 의해 생성된 UI를 디스플레이한다. 특히, 디스플레이부(130)는 제어부(170)의 제어에 의해, 복수의 영상 데이터에 각각 대응하는 복수의 썸네일 이미지가 포함된 썸네일 이미지 리스트를 디스플레이할 수 있다.

UI 생성부(140)는 제어부(170)의 제어에 의해 OSD(On Screen Display) 형태의 UI를 생성한다.

저장부(150)는 영상기기(100)를 구동하기 위한 프로그램 및 데이터가 저장되어 있으며, 영상 처리부(120)에서 처리된 영상 데이터를 저장한다.

사용자 입력부(160)는 사용자의 명령을 입력받는다. 이때, 사용자 입력부(160)는 영상기기(100)의 외부에 구비된 셔터, 버튼 및 터치 스크린 등으로 구현될 수 있다.

제어부(170)는 사용자 입력부(160)를 통해 입력된 사용자 명령에 따라 영상기기(100)의 전반적인 동작을 제어한다. 특히, 제어부(170)는 동영상 데이터에서 파노라마 영상을 생성할 수 있는 적어도 하나의 파노라마 구간을 추출한다. 그리고, 제어부(170)는 추출된 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이부에 디스플레이한다. 그리고, 사용자 입력부(160)를 통해 적어도 하나의 썸네일 이미지 중 하나가 선택되면, 제어부(170)는 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성한다.

구체적으로, 제어부(170)는 사용자 입력부(160)를 통해 입력된 사용자 명령에 따라 동영상 데이터를 재생한다.

그리고, 사용자 입력부(160)를 통해 파노라마 영상을 생성할 수 있는 영상 구간(이하 "파노라마 구간"라고 함)을 추출하기 위한 사용자 명령이 입력되면, 제어부(170)는 동영상 데이터에서 적어도 하나의 파노라마 구간을 추출한다. 여기서, 파노라마 구간은 촬영된 영상이 일정한 방향으로 이동되어 파노라마 영상을 생성할 수 있는 구간을 말한다.

이때, 제어부(170)는 동영상 데이터의 모션 벡터 정보를 이용하여 파노라마 구간을 추출할 수 있다. 예를 들어, 제어부(170)는 동영상 데이터에서 도 2에 도시된 바와 같은 모션 벡터 정보를 분석한다. 그리고, 제어부(170)는 모션 벡터 정보를 이용하여 영상의 움직임을 분석한다. 이때, 영상의 움직임은 도 3에 도시된 바와 같은 특정 방향의 영상의 이동, 영상의 줌인 및 영상의 줌아웃이 있을 수 있다. 그리고, 영상의 움직임에는 영상이 움직이지 않는 정지 영상이 포함될 수 있다.

모션 벡터 정보를 이용하여 영상 움직임을 분석한 결과, 동영상 중 일정 구간에서 영상의 움직임 일정한 방향(예를 들어, 좌우 이동, 상하 이동 등)으로 움직였을 때, 제어부(170)는 해당 구간을 파노라마 구간으로 추출한다.

한편, 상술한 바와 같이 동영상 데이터의 모션 벡터 정보를 이용하여 파노라마 구간을 추출할 수 있으나, 이는 일 실시예에 불과할 뿐, 제어부(170)가 특징점의 이동을 분석하여 파노라마 구간을 추출할 수 있다. 예를 들어, 제어부(170)는 동영상 데이터를 압축 해제하고, 각각의 영상에 대한 특징점을 추출하며, 해당 특징점의 이동 방향을 분석하여 파노라마 구간을 추출할 수 있다. 이 경우, 제어부(170)는 영상을 복수의 블럭으로 구분하고, 구분된 영역에 포함된 특징점을 추출할 수 있으며, 전체 영역에서도 특징점을 추출할 수 있다. 그리고, 제어부(170)는 추출된 특징점을 대상으로 주변 픽셀과의 차이값을 이용하여 영상 프레임의 움직임을 분석할 수 있다.

상술한 바와 같이, 파노라마 구간이 추출되면, 제어부(170)는 추출된 적어도 하나의 파노라마 구간 각각에 대응되는 적어도 하나의 썸네일 이미지를 디스플레이 부(130)에 디스플레이한다. 이때, 썸네일 이미지는 파노라마 구간의 첫 영상 프레임일 수 있다. 예를 들어, 제어부(170)는 추출된 파노라마 구간에 대응되는 썸네일 이미지를 도 4에 도시된 바와 같이, 동영상 화면의 하단에 썸네일 이미지 리스트(410)에 디스플레이한다. 이때, 썸네일 이미지 리스트(410)는 제1 파노라마 구간에 대응되는 제1 썸네일 이미지(411), 제2 파노라마 구간에 대응되는 제2 썸네일 이미지(412) 및 제3 파노라마 구간에 대응되는 제3 썸네일 이미지(413)를 포함한다.

그리고, 사용자 입력부(160)를 통해 썸네일 이미지 리스트 중에서 썸네일 이미지가 선택되면, 제어부(170)는 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상을 생성한다. 예를 들어, 사용자 입력부(160)를 통해 썸네일 이미지 리스트 중에서 제3 썸네일 이미지(413)가 선택되면, 제어부(170)는 도 5에 도시된 바와 같이, 파노라마 영상을 생성할지 여부를 문의하는 UI(510)를 디스플레이하고, 제3 썸네일 이미지(413)를 하이라이트하여 디스플레이한다. 그리고, UI(510)를 통헤 파노라마 영상을 생성하는 사용자 명령이 입력되면, 제어부(170)는 도 6에 도시된 바와 같이, 제3 썸네일 이미지(413)에 대응되는 파노라마 구간에서 파노라마 영상으로 생성한다.

구체적으로, 제어부(170)는 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 파노라마 영상을 생성할 수 있다. 특히, 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건(예를 들어, AF,AE 등)이 변경되면, 제어부(170)는 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 산출된 평균값을 가지는 픽셀을 이용하여 파노라마 영상을 생성할 수 있다.

그리고, 제어부(170)는 생성된 파노라마 영상을 저장부(150) 또는 외부의 데이터베이스에 저장할 수 있다. 예를 들어, 제어부(170)는 생성된 파노라마 영상 및 파노라마 영상에 대한 정보를 동영상 데이터의 메타 데이터를 저장하는 저장부(150)에 저장할 수 있다. 또한, 제어부(170)는 생성된 파노라마 영상 및 파노라마 영상에 대한 정보를 동영상 데이터 내부에 저장할 수 있다. 또한, 제어부(170)는 파노라마 영상 자체를 별도의 영상으로 저장할 수 있으며, 파노라마 영상의 정보는 동영상 데이터 내부 혹은 저장부(150)에 저장할 수 있다. 이때, 파노라마 영상 정보는 동영상 데이터 중에서 파노라마 구간이 시작되는 시간, 끝나는 시간, 파노라마 영상의 폭, 넓이, 데이터 크기 및 영상 데이터가 포함될 수 있다.

파노라마 영상이 생성된 후, 사용자 입력부(160)를 통해 파노라마 영상 리스트 생성 명령이 입력되면, 제어부(170)는 생성된 복수 개의 파노라마 영상이 포함된 파노라마 영상 리스트를 생성하여 디스플레이한다. 예를 들어, 사용자 입력부(160)를 통해 파노라마 영상 리스트 생성 명령이 입력되면, 제어부(170)는 도 7에 도시된 바와 같이, 제1 파노라마 영상 내지 제4 파노라마 영상(710 내지 740)이 포함된 파노라마 영상 리스트를 디스플레이할 수 있다.

그리고, 파노라마 영상 리스트에서 하나의 파노라마 영상이 선택되면, 제어부(170)는 선택된 파노라마 영상에 대응되는 파노라마 구간부터 동영상을 재생한다. 예를 들어, 도 7에 도시된 바와 같이, 사용자 입력부(160)를 통해 제3 파노라마 영상(730)이 선택되면, 제어부(170)는 제3 파노라마 영상(730)에 대응되는 제3 파노라마 구간부터 동영상을 재생한다.

상술한 바와 같이, 사용자가 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있다. 그리고, 사용자는 생성된 파노라마 영상을 이용하여 동영상 데이터를 재생할 수 있게 된다.

이하에서는 도 8을 참조하여, 동영상 데이터를 이용하여 파노라마 영상을 생성하는 방법에 대해 설명하도록 한다.

우선, 영상기기(100)는 동영상 데이터에서 파노라마 구간을 추출한다(S810). 여기서, 파노라마 구간은 촬영된 영상이 일정한 방향으로 이동되어 파노라마 영상을 생성할 수 있는 구간을 말한다. 이때, 영상기기(100)는 동영상 데이터의 모션 벡터 영상 또는 특징점의 이동 방향을 검출하여 파노라마 구간을 추출한다.

그리고, 영상기기(100)는 추출된 파노라마 구간에 대응되는 썸네일 이미지를 디스플레이한다(S820). 이때, 영상기기(100)는 도 4에 도시된 바와 같이, 추출된 파노라마 구간에 대응되는 썸네일 이미지를 디스플레이되고 있는 동영상 화면의 하단에 디스플레이할 수 있다.

그리고, 영상기기(100)는 썸네일 이미지가 선택되었는지 여부를 판단한단(S830).

썸네일 이미지가 선택되면(S830-Y), 영상기기(100)는 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성한다(S840). 구체적으로, 구체적으로, 영상기기(100)는 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 파노라마 영상을 생성할 수 있다. 특히, 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건(예를 들어, AF,AE 등)이 변경되면, 영상기기(100)는 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 산출된 평균값을 가지는 픽셀을 이용하여 파노라마 영상을 생성할 수 있다. 그리고, 영상기기(100)는 생성된 파노라마 영상을 저장부(150)에 저장한다.

그리고, 영상기기(100)는 파노라마 영상 리스트 생성 명령이 입력되었는지 여부를 판단한다(S850).

파노라마 영상 리스트 생성 명령이 입력되면(S850-Y), 영상기기(100)는 파노라마 영상 리스트를 디스플레이한다(S860). 이때, 파노라마 영상 리스트는 생성된 복수의 파노라마 영상이 포함된다.

그리고, 영상기기(100)는 파노라마 영상 리스트에서 파노라마 영상이 선택되었는지 여부를 판단한다(S870).

파노라마 영상이 선택되면, 영상기기(100)는 선택된 파노라마 영상에 대응되는 파노라마 구간부터 동영상 데이터를 재생한다(S880).

상술한 바와 같은 방법으로 사용자는 촬영 당시 파노라마 영상을 획득하기 위한 목적으로 촬영하지 않아도, 추후에 동영상 데이터를 이용하여 파노라마 영상을 획득할 수 있다. 그리고, 사용자는 생성된 파노라마 영상을 이용하여 동영상 데이터를 재생할 수 있다.

상술한 바와 같은 다양한 실시 예에 따른 파노라마 이미지 생성 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110: 촬영부 120: 영상 처리부
130: 디스플레이부 140: UI 생성부
150: 저장부 160: 사용자 입력부
170: 제어부

Claims

영상기기의 파노라마 영상 생성 방법에 있어서,
동영상 콘텐츠를 상기 영상기기의 디스플레이에 디스플레이하는 단계;
상기 동영상 콘텐츠에서 서로 다른 파노라마 영상을 각각 생성할 수 있는 복수의 파노라마 구간을 추출하는 단계;
상기 복수의 파노라마 구간 각각에 대응되는 복수의 썸네일 이미지를 상기 동영상 콘텐츠의 일 영역에 디스플레이하는 단계; 및
상기 복수의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 단계;를 포함하는 파노라마 영상 생성 방법.
제1항에 있어서,
상기 추출하는 단계는,
상기 동영상 콘텐츠를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
제2항에 있어서,
상기 추출하는 단계는,
상기 동영상 콘텐츠를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 파노라마 영상 생성 방법.
제1항에 있어서,
상기 썸네일 이미지는,
상기 파노라마 구간의 첫 영상 프레임인 것을 특징으로 하는 파노라마 영상 생성 방법.
제1항에 있어서,
상기 생성하는 단계는,
상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 파노라마 영상 생성 방법.
제5항에 있어서,
상기 생성하는 단계는,
상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 파노라마 영상 생성 방법.
제1항에 있어서,
상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터는 상기 동영상 콘텐츠에 함께 저장하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
제7항에 있어서,
상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터를 상기 동영상 콘텐츠와 별도로 저장하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
제1항에 있어서,
상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
제9항에 있어서,
상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 콘텐츠에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생하는 단계;를 더 포함하는 파노라마 영상 생성 방법.
영상기기에 있어서,
디스플레이부; 및
상기 디스플레이부에 디스플레이된 동영상 콘텐츠에서 서로 다른 파노라마 영상을 각각 생성할 수 있는 복수의 파노라마 구간을 추출하고, 상기 복수의 파노라마 구간 각각에 대응되는 복수의 썸네일 이미지를 상기 동영상 콘텐츠의 일 영역에 디스플레이하며, 상기 복수의 썸네일 이미지 중 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 파노라마 구간을 파노라마 영상으로 생성하는 제어부;를 포함하는 영상기기.
제11항에 있어서,
상기 제어부는,
상기 동영상 콘텐츠를 구성하는 영상 프레임의 모션 벡터 정보를 분석하고, 상기 분석된 모션 벡터 정보를 통해 영상의 움직임 방향을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 영상기기.
제12항에 있어서,
상기 제어부는,
상기 동영상 콘텐츠를 구성하는 영상 프레임에서 특징점을 추출하고, 상기 특징점의 이동 방향에 따라 영상의 움직임을 판단하여 상기 복수의 파노라마 구간을 추출하는 것을 특징으로 하는 영상기기.
제11항에 있어서,
상기 썸네일 이미지는,
상기 파노라마 구간의 첫 영상 프레임인 것을 특징으로 하는 영상기기.
제11항에 있어서,
상기 제어부는,
상기 파노라마 구간에 포함된 복수의 영상 프레임을 중첩하고, 중첩되는 경계면을 보간하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 영상기기.
제15항에 있어서,
상기 제어부는,
상기 파노라마 구간에 포함된 복수의 영상 프레임의 촬영 설정 조건이 변경되면, 상기 복수의 영상 프레임에서 중첩되는 영역에 포함된 픽셀의 평균값을 산출하고 상기 산출된 평균값을 가지는 픽셀을 이용하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 영상기기.
제11항에 있어서,
저장부;를 더 포함하며,
상기 제어부는,
상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터는 상기 동영상 콘텐츠에 함께 상기 저장부에 저장하도록 제어하는 것을 특징으로 하는 영상기기.
제17항에 있어서,
저장부;를 더 포함하며,
상기 제어부는,
상기 파노라마 영상이 생성되면, 상기 파노라마 영상 콘텐츠 및 상기 파노라마 영상 콘텐츠의 메타 데이터를 상기 동영상 콘텐츠와 별도로 상기 저장부에 저장하는 것을 특징으로 하는 영상기기.
제11항에 있어서,
상기 제어부는,
상기 생성된 파노라마 영상이 포함된 파노라마 영상 리스트를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상기기.
제19항에 있어서,
상기 제어부는,
상기 파노라마 영상 리스트에서 파노라마 영상이 선택되면, 상기 동영상 콘텐츠에서 상기 선택된 파노라마 영상에 대응되는 파노라마 구간부터 재생하는 것을 특징으로 하는 영상기기.