KR102209070B1 - 동영상의 썸네일 영상을 제공하는 장치 및 방법 - Google Patents
동영상의 썸네일 영상을 제공하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102209070B1 KR102209070B1 KR1020140069572A KR20140069572A KR102209070B1 KR 102209070 B1 KR102209070 B1 KR 102209070B1 KR 1020140069572 A KR1020140069572 A KR 1020140069572A KR 20140069572 A KR20140069572 A KR 20140069572A KR 102209070 B1 KR102209070 B1 KR 102209070B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- thumbnail
- thumbnail image
- final
- detected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 230000008859 change Effects 0.000 claims description 59
- 238000003672 processing method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 36
- 238000001514 detection method Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명의 일 실시예의 일 측면에 따르면, 동영상 데이터의 복수의 프레임들 중, 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는 적어도 하나의 프레임을 후보 썸네일 영상으로 추출하고, 상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정하는 처리부; 및 상기 적어도 하나의 최종 썸네일 영상을 표시하는 표시부를 포함하는 전자 장치가 제공된다.
Description
본 발명의 실시예들은 동영상의 썸네일 영상을 제공하는 전자 장치, 영상 처리 방법, 및 상기 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램 코드를 저장하는 컴퓨터 판독가능 기록매체에 관한 것이다.
촬영 기능의 성능이 향상되면서, 동영상을 촬영할 수 있는 다양한 전자 장치가 개발되고 있다. 동영상은 피사체의 움직임을 연속적으로 기록하기 때문에, 사용자는 동영상 촬영을 이용하여 촬영하고 싶은 장면을 보다 생생하게 촬영할 수 있다. 그런데 동영상은 정지 영상과 달리 데이터의 양이 많고, 소정의 시간 동안 재생되기 때문에, 사용자가 동영상 내에서 원하는 장면을 찾는데 어려움이 있다.
본 발명의 실시예들은, 동영상 데이터의 썸네일 영상을 제공하기 위한 것이다.
또한 본 발명의 실시예들은, 사용자가 동영상 데이터의 원하는 장면을 보다 편리하게 재생할 수 있도록 하기 위한 것이다.
본 발명의 일 실시예의 일 측면에 따르면,
동영상 데이터의 복수의 프레임들 중, 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는 적어도 하나의 프레임을 후보 썸네일 영상으로 추출하고,
상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정하는 처리부; 및
상기 적어도 하나의 최종 썸네일 영상을 표시하는 표시부를 포함하는 전자 장치가 제공된다.
상기 복수의 썸네일 추출 기준들은, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우, 얼굴이 검출된 경우, 및 등록된 얼굴이 인식된 경우 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
상기 처리부는, 상기 적어도 하나의 최종 썸네일 영상을 결정할 때, 상기 등록된 얼굴이 검출된 경우에 제1 우선 순위를 부여하고, 상기 얼굴이 검출된 경우에 제2 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정할 수 있다.
상기 처리부는, 상기 적어도 하나의 최종 썸네일 영상을 결정할 때, 상기 추출된 후보 썸네일 영상이 해당되는 개수가 가장 많은 썸네일 추출 기준에 제3 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정할 수 있다.
적어도 하나의 연락처, 및 상기 적어도 하나의 연락처에 관련된 얼굴 영상을 저장하는 저장부를 더 포함하고, 상기 등록된 얼굴은, 상기 적어도 하나의 연락처에 관련된 얼굴 영상을 포함할 수 있다.
상기 장면 전환이 검출된 경우는, 프레임 간의 변화가 기준 값 이상인 경우, 새로운 객체가 검출된 경우, 및 촬영 조건이 기준 값 이상 변화된 경우 중 적어도 하나 또는 이들의 조합일 수 있다.
상기 처리부는, 상기 동영상 데이터의 시간 길이 및 상기 추출된 후보 썸네일 영상의 개수에 기초하여, 상기 최종 썸네일 영상의 개수를 결정할 수 있다.
상기 처리부는, 상기 동영상 데이터의 첫 번째 프레임에 해당하는 영상을 포함하여 상기 적어도 하나의 최종 썸네일 영상을 결정할 수 있다.
상기 전자 장치는, 상기 표시된 적어도 하나의 최종 썸네일 영상 중 하나를 선택하는 사용자 선택을 수신하는 사용자 입력부를 더 포함하고, 상기 처리부는, 상기 적어도 하나의 최종 썸네일 영상 중 하나가 선택되면, 선택된 최종 썸네일 영상에 대응하는 프레임부터 상기 동영상 데이터를 재생할 수 있다.
상기 전자 장치는, 상기 동영상 데이터를 저장하는 저장부를 더 포함하고, 상기 처리부는, 상기 동영상 데이터 및 상기 적어도 하나의 최종 썸네일 영상을 포함하는 동영상 파일을 생성하여 상기 저장부에 저장할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면,
동영상 데이터의 복수의 프레임들 중, 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는 적어도 하나의 프레임을 후보 썸네일 영상으로 추출하는 단계;
상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정하는 단계; 및
상기 적어도 하나의 최종 썸네일 영상을 표시하는 단계를 포함하는 영상 처리 방법이 제공된다.
상기 복수의 썸네일 추출 기준은, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우, 얼굴이 검출된 경우, 및 등록된 얼굴이 인식된 경우 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계는, 상기 등록된 얼굴이 검출된 경우에 제1 우선 순위를 부여하고, 상기 얼굴이 검출된 경우에 제2 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정할 수 있다.
상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계는, 상기 추출된 후보 썸네일 영상이 해당되는 개수가 가장 많은 썸네일 추출 기준에 제3 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정할 수 있다.
상기 등록된 얼굴은, 상기 영상 처리 방법을 수행하는 전자 장치에 저장된 연락처에 관련되어 저장된 얼굴 영상을 포함할 수 있다.
상기 장면 전환이 검출된 경우는, 프레임 간의 변화가 기준 값 이상인 경우, 새로운 객체가 검출된 경우, 및 촬영 조건이 기준 값 이상 변화된 경우 중 적어도 하나 또는 이들의 조합일 수 있다.
상기 동영상 데이터의 시간 길이 및 상기 추출된 후보 썸네일 영상의 개수에 기초하여, 상기 최종 썸네일 영상의 개수를 결정하는 단계를 더 포함할 수 있다.
상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계는, 상기 동영상 데이터의 첫 번째 프레임에 해당하는 영상을 포함하여 상기 적어도 하나의 최종 썸네일 영상을 결정할 수 있다.
상기 영상 처리 방법은, 상기 적어도 하나의 최종 썸네일 영상 중 하나가 선택되면, 선택된 최종 썸네일 영상에 대응하는 프레임부터 상기 동영상 데이터를 재생하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 상기 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램 코드를 저장하는 컴퓨터 판독가능 기록매체가 제공된다.
본 발명의 실시예들에 따르면, 동영상 데이터의 썸네일 영상을 제공할 수 있는 효과가 있다.
또한 본 발명의 실시예들에 따르면, 사용자가 동영상 데이터의 원하는 장면을 보다 편리하게 재생할 수 있는 효과가 있다.
도 1은 일 실시예에 따른 전자 장치(100a)의 구조를 나타낸 도면이다.
도 2는 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 3은 일 실시예에 따라 장면 전환을 검출하는 방식을 설명하기 위한 도면이다.
도 4는 일 실시예에 따라 장면 전환을 검출하는 방식을 설명하기 위한 도면이다.
도 5는 일 실시예에 따라 얼굴을 검출하는 방식을 설명하기 위한 도면이다.
도 6은 일 실시예에 따라 동영상 데이터의 프레임이 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는지 여부를 판단하는 방법을 나타낸 도면이다.
도 7은 일 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 9는 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 10은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 11은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 12는 일 실시예에 따른 전자 장치(100b)의 구조를 나타낸 도면이다.
도 13은 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
도 14는 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
도 15는 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
도 16은 일 실시예에 따라 동영상 데이터를 재생하는 방법을 나타낸 흐름도이다.
도 17은 일 실시예에 따라 동영상 데이터를 재생하는 과정을 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 처리부(100a)의 구조를 나타낸 도면이다.
도 19는 일 실시예에 따른 등록된 얼굴을 나타낸 도면이다.
도 20은 일 실시예에 따른 전자 장치(100c)의 구조를 나타낸 도면이다.
도 2는 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 3은 일 실시예에 따라 장면 전환을 검출하는 방식을 설명하기 위한 도면이다.
도 4는 일 실시예에 따라 장면 전환을 검출하는 방식을 설명하기 위한 도면이다.
도 5는 일 실시예에 따라 얼굴을 검출하는 방식을 설명하기 위한 도면이다.
도 6은 일 실시예에 따라 동영상 데이터의 프레임이 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는지 여부를 판단하는 방법을 나타낸 도면이다.
도 7은 일 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 9는 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 10은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 11은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
도 12는 일 실시예에 따른 전자 장치(100b)의 구조를 나타낸 도면이다.
도 13은 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
도 14는 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
도 15는 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
도 16은 일 실시예에 따라 동영상 데이터를 재생하는 방법을 나타낸 흐름도이다.
도 17은 일 실시예에 따라 동영상 데이터를 재생하는 과정을 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 처리부(100a)의 구조를 나타낸 도면이다.
도 19는 일 실시예에 따른 등록된 얼굴을 나타낸 도면이다.
도 20은 일 실시예에 따른 전자 장치(100c)의 구조를 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예에 따른 전자 장치(100a)의 구조를 나타낸 도면이다.
본 실시예에 따른 전자 장치(110a)는 처리부(110) 및 표시부(120)를 포함한다.
처리부(110)는 동영상 데이터를 입력 받아, 상기 동영상 데이터로부터 적어도 하나의 최종 썸네일 영상을 결정한다.
상기 동영상 데이터는 복수의 프레임들을 포함한다. 상기 동영상 데이터는 예를 들면, 전자 장치(100a)에 의해 촬영된 동영상 데이터, 전자 장치(100a)에 저장된 동영상 데이터, 다른 전자 장치(100a) 또는 네트워크로부터 입력된 동영상 데이터 등일 수 있다. 상기 동영상 데이터는 예를 들면 AVI(Audio Visual Interleave), MPEG(Moving Picture Experts Group), HEVC(High Efficiency Video Coding), WMV(Windows Media Video), MOV(Quick Time Movie), ASF(Advanced Streaming Format) 등 포맷을 가질 수 있다.
처리부(110)는 복수의 썸네일 추출 기준을 이용하여, 동영상 데이터의 복수의 프레임들 중 적어도 하나의 후보 썸네일 영상을 추출한다. 처리부(110)는 동영상 데이터의 복수의 프레임들 중, 상기 복수의 썸네일 추출 기준 중 적어도 하나를 충족하는 프레임을 후보 썸네일 영상으로 추출할 수 있다.
상기 복수의 썸네일 추출 기준은 예를 들면, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우, 얼굴이 검출된 경우, 및 등록된 얼굴이 인식된 경우를 포함할 수 있다.
일 실시예에 따르면, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우는, 예를 들면 이전 프레임과 현재 프레임의 차영상을 이용하여 검출될 수 있다. 예를 들면, 상기 차영상의 화소 값의 합이 기준 값 이상인 경우, 장면 전환이 있다고 판단될 수 있다. 다른 예로서, 상기 차영상의 화소들 중, 기준 값 이상인 화소의 개수가 기준 개수 이상인 경우, 장면 전환이 있다고 판단될 수 있다. 다른 예로서, 자동 촬영 모드에서, 촬영 조건이 기준 값 이상 변화된 경우, 장면 전환이 있다고 판단될 수 있다.
상기 얼굴이 검출된 경우는, 다양한 얼굴 검출 알고리즘을 이용하여 판단될 수 있다. 상기 얼굴 검출 알고리즘은 예를 들면, 신경망(Neural Network) 알고리즘, 아다부스트(Adaboost) 알고리즘, 서포트 벡터 머신(Support Vector Machine) 등이 있다.
상기 등록된 얼굴이 인식된 경우는, 다양한 얼굴 인식 알고리즘을 이용하여 판단될 수 있다. 전자 장치(100a)는 얼굴 인식을 위해 적어도 하나의 얼굴에 대한 정보를 저장부(미도시) 등에 저장할 수 있다. 상기 얼굴에 대한 정보는 예를 들면 얼굴 특징점 정보이다.
처리부(110)는 해당 프레임이 상기 복수의 썸네일 추출 기준 중 하나만 만족해도, 해당 프레임을 후보 썸네일 영상으로 결정한다.
일 실시예에 따르면, 처리부(110)는 매 프레임마다 복수의 썸네일 추출 기준 중 적어도 하나를 만족하는지 여부를 판단한다.
다른 실시예에 따르면, 처리부(110)는 소정의 프레임 간격마다 해당 프레임이 복수의 썸네일 추출 기준 중 적어도 하나를 만족하는지 여부를 판단한다. 예를 들면, 10 프레임마다 해당 프레임이 복수의 썸네일 추출 기준 중 적어도 하나를 만족하는지 여부를 판단한다. 본 실시예에 따르면, 장면 전환을 검출할 때 기준이 되는 이전 프레임은, 상기 복수의 썸네일 추출 기준을 적용한 이전 프레임이다. 예를 들면, 10 프레임마다 해당 복수의 썸네일 추출 기준에 해당하는지 판단하는 경우, 상기 이전 프레임은 10 프레임 이전의 프레임이다.
처리부(110)는 후보 썸네일 영상이 결정되면, 상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정한다. 처리부(110)는 후보 썸네일 영상이 소정 개수 이상인 경우, 후보 썸네일 영상 각각이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 해당 후보 썸네일 영상을 최종 썸네일 영상으로 결정할지 여부를 판단한다. 예를 들면, 처리부(110)는 등록된 얼굴이 인식된 후보 썸네일 영상을 우선적으로 최종 썸네일 영상으로 선택하고, 얼굴이 검출된 후보 썸네일 영상은 다음 우선 순위로 최종 썸네일 영상으로 선택하고, 장면 전환이 검출된 후보 썸네일 영상은 그 다음 우선 순위로 최종 썸네일 영상으로 선택할 수 있다.
상기 후보 썸네일 영상은 실제로 표시되지는 않고, 최종 썸네일 영상이 표시된다. 사용자는 최종 썸네일 영상을 이용하여 동영상 데이터를 선택하거나, 동영상 데이터의 재생 시작 시점을 선택할 수 있다.
표시부(120)는 적어도 하나의 최종 썸네일 영상을 표시한다. 상기 적어도 하나의 최종 썸네일 영상은 사용자가 선택 가능한 형태로 표시부(120)에 표시될 수 있다. 예를 들면, 상기 적어도 하나의 최종 썸네일 영상은 동영상 재생을 위한 GUI(graphic user interface)의 형태로 표시될 수 있다.
전자 장치(100a)는 예를 들면, 카메라, 스마트 폰, 휴대폰, 태블릿 PC, 노트북, 웨어러블 장치, 텔레비전, PC(personal computer) 등의 형태로 구현될 수 있다.
도 2는 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
본 실시예에 따른 영상 처리 방법은 예를 들면, 도 1에 도시된 전자 장치(100a)에 의해 수행될 수 있다. 본 명세서에서는 도 1에 도시된 전자 장치(100a)에 의해 상기 영상 처리 방법이 수행되는 실시예를 중심으로 설명한다. 그러나 본 발명의 실시예는 도 1에 도시된 전자 장치(100a)에 의해 수행되는 것으로 한정되지 않으며, 상기 영상 처리 방법은 다양한 형태의 전자 장치에 의해 수행될 수 있다.
우선 처리부(110)는 동영상 데이터로부터 복수의 썸네일 추출 기준을 이용하여 후보 썸네일 영상을 추출한다(S202). 상기 복수의 썸네일 추출 기준은 예를 들면, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우, 얼굴이 검출된 경우, 및 등록된 얼굴이 인식된 경우를 포함할 수 있다.
처리부(110)는 후보 썸네일 영상이 추출되면(S202), 상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 최종 썸네일 영상을 결정한다(S204). 예를 들면, 처리부(110)는 등록된 얼굴이 인식된 후보 썸네일 영상을 우선적으로 최종 썸네일 영상으로 선택하고, 얼굴이 검출된 후보 썸네일 영상은 다음 우선 순위로 최종 썸네일 영상으로 선택하고, 장면 전환이 검출된 후보 썸네일 영상은 그 다음 우선 순위로 최종 썸네일 영상으로 선택할 수 있다.
다음으로 표시부(120)는 최종 썸네일 영상을 표시한다(S206).
도 3은 일 실시예에 따라 장면 전환을 검출하는 방식을 설명하기 위한 도면이다.
일 실시예에 따르면, 처리부(110)는 이전 프레임에서 검출되지 않은 새로운 객체가 검출된 경우, 장면 전환이 있다고 판단한다. 예를 들면, 도 3에 도시된 바와 같이, 동영상 데이터가 frame 1, frame 2, frame 3, frame 4, frame 5, 및 frame 6을 포함하고, frame 1 및 frame 2에서는 별이 없다가, frame 3에서 별이 검출된 경우, 처리부(110)는 새로운 객체가 검출된 frame 3에서 장면 전환이 있다고 판단하고, frame 3을 후보 썸네일 영상으로 결정한다. 또한 처리부(110)는 frame 3에서 별이 검출된 후, frame 4에서 별이 사라진 경우, 객체가 사라진 frame 4에서 장면 전환이 있다고 판단하고, frame 4를 후보 썸네일 영상으로 결정한다.
일 실시예에 따르면, 새로운 객체가 나타났는지, 또는 기존의 객체가 사라졌는지 여부는, 객체 인식 알고리즘을 이용하여 판단될 수 있다.
다른 실시예에 다르면, 새로운 객체가 나타났는지, 또는 기존의 객체가 사라졌는지 여부는, 차영상의 화소 값을 이용하여 알 수 있다. 예를 들면, 처리부(110)는 차영상에서 특정 영역의 화소 값이 기준 값 이상 변화된 경우, 객체가 나타나거나 사라졌다고 판단할 수 있다.
도 4는 일 실시예에 따라 장면 전환을 검출하는 방식을 설명하기 위한 도면이다.
본 실시예에 따르면, 처리부(110)는 특정 객체가 기준 거리 이상 이동된 경우, 장면 전환이 있다고 판단할 수 있다. 예를 들면, 도 4의 frame 2와 frame 3을 비교하면, 별이 기준 거리 이상 이동되었고, 이러한 경우 처리부(110)는 장면 전환이 있다고 판단할 수 있다. 객체의 이동은 예를 들면, 움직임 벡터, 차영상, 객체 인식, 객체 추적 등을 이용하여 검출될 수 있다. 움직임 벡터를 이용하는 경우, 움직임 벡터의 크기가 기준 값 이상인 경우, 장면 전환이 있다고 판단할 수 있다. 차영상을 이용하는 경우, 처리부(110)는 차영상에서 화소 값이 기준 값 이상인 화소 영역이, 유사한 모양으로 두 영역에서 나타나고, 두 영역의 거리가 기준 값 이상인 경우, 장면 전환이 있다고 판단할 수 있다. 또한 처리부(110)는 객체 인식, 객체 추적 등의 방식을 이용하여 객체의 이동 값이 기준 값 이상인 경우 장면 전환이 있다고 판단할 수 있다.
또한 본 실시예에 따르면, 어떤 프레임에서 다른 종류의 객체가 나타난 경우, 해당 프레임에서 장면 전환이 있다고 판단할 수 있다. 예를 들면, frame 3에서는 별이 나타났는데, frame 4에서는 달이 나타나면, 처리부(110)는 새로운 객체가 나타난 frame 4에서 장면 전환이 있다고 판단하고, frame 4를 후보 썸네일 영상으로 결정할 수 있다. 또한 frame 5와 frame 6에서도 이전 프레임과 다른 객체가 검출되었으므로, 처리부(110)는 frame 5와 frame 6에서 장면 전환이 있다고 판단하고, frame 5와 frame 6을 후보 썸네일 영상으로 결정할 수 있다. 다른 종류의 객체가 나타난 경우는, 객체 인식, 차영상 등의 방식을 이용하여 검출될 수 있다. 예를 들면 처리부(110)는 객체 인식 알고리즘을 이용하여 객체의 종류 또는 형태를 인식하고, 각 프레임에서 새로운 객체가 검출되었는지 여부를 판단할 수 있다. 다른 예로서 처리부(110)는 차영상에서 기준 값 이상의 화소 값을 갖는 영역이 새롭게 검출되는 경우, 차영상에서 이전 프레임과 다른 형태를 갖고 기준 값 이상의 화소 값을 갖는 영역이 새롭게 검출되는 경우 등에 새로운 객체가 검출되었다고 판단할 수 있다.
도 5는 일 실시예에 따라 얼굴을 검출하는 방식을 설명하기 위한 도면이다.
본 실시예에 따르면, 처리부(110)는 해당 프레임에서 얼굴이 검출된 경우, 해당 프레임을 후보 썸네일 영상으로 결정한다. 예를 들면, 처리부(110)는 도 5의 frame 2, frame 3 및 frame 5에서 얼굴이 검출되었으므로, frame 2 및 frame 5를 후보 썸네일 영상으로 결정한다.
일 실시예에 따르면, 처리부(110)는 새롭게 얼굴이 검출된 경우에 해당 프레임을 후보 썸네일 영상으로 결정한다. 예를 들면, frame 2와 frame 3에서는 연속해서 얼굴이 검출되었으므로, 처리부(110)는 이전 프레임에 연속하여 얼굴이 검출된 frame 3은 후보 썸네일 영상으로 선택하지 않을 수 있다. 다른 예로서, 처리부(110)는 얼굴 인식을 수행하여, frame 2와 frame 3에서 검출된 얼굴이 동일 인물의 얼굴인 경우는 frame 2는 후보 썸네일 영상으로 선택하고 frame 3은 후보 썸네일 영상으로 선택하지 않고, 다른 인물의 얼굴인 경우는 frame 2와 frame 3을 모두 후보 썸네일 영상으로 선택할 수 있다.
또한 처리부(110)는 얼굴이 검출된 프레임에서, 검출된 얼굴이 등록된 얼굴인지 여부를 판단한다. 상기 등록된 얼굴은 예를 들면, 사용자가 미리 등록한 얼굴, 연락처에 저장된 얼굴 등일 수 있다.
도 6은 일 실시예에 따라 동영상 데이터의 프레임이 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는지 여부를 판단하는 방법을 나타낸 도면이다.
본 실시예에 따르면, 첫 번째 프레임부터 시작하여(S602), 동영상 프레임이 복수의 썸네일 추출 기준을 판단하는 처리부(110)의 소정의 모듈로 입력된다(S604). 입력된 동영상 프레임에서 얼굴이 검출된 경우(S606), 처리부(110)는 검출된 얼굴이 등록된 얼굴인지 여부를 인식한다(S608).
검출된 얼굴이 등록된 얼굴인 경우(S608), 처리부(110)는 소정의 저장 공간에 해당 프레임에서 검출된 얼굴이 등록된 얼굴임을 기록하고(S610), 해당 프레임을 후보 썸네일 영상으로 결정한다(S612). 상기 소정의 저장 공간은 예를 들면, 등록된 얼굴이 검출된 프레임, 동영상 썸네일 영상 추출을 위한 관리 파일, 동영상 데이터를 관리하는 관리 파일, 또는 전자 장치(100a)의 임시 저장 공간 등일 수 있다.
검출된 얼굴이 등록된 얼굴이 아닌 경우(S608)에도, 해당 프레임을 후보 썸네일 영상으로 결정한다(S612).
동영상 프레임에서 얼굴이 검출되지 않은 경우(S606), 처리부(110)는 해당 프레임에서 장면 전환이 검출되었는지 여부를 판단한다(S614). 장면 전환이 검출된 경우는 앞서 설명한 바와 같이, 차영상, 객체 인식, 객체 추적 등을 이용하여 검출될 수 있다.
장면 전환이 검출된 경우(S614), 해당 프레임을 후보 썸네일 영상으로 결정한다(S612). 장면 전환이 검출되지 않은 경우(S614), 해당 프레임은 후보 썸네일 영상으로 선정되지 않는다. 해당 프레임이 마지막 프레임이 아니면(S616), 복수의 썸네일 추출 기준에 해당하는지 여부에 대한 판단 처리가 다음 프레임에 대해 수행된다(S618, S604). 일 실시예에 따르면, 다음 프레임은 바로 다음 프레임일 수 있으며, 이러한 경우, 도 6의 S618의 a는 1의 값을 갖는다. 다른 실시예에 따르면, 다음 프레임은 소정 개수의 프레임만큼 건너뛴 다음 프레임일 수 있으며, 이러한 경우, 도 6의 S618의 a는 2 이상의 자연수이다.
도 7은 일 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
일 실시예에 따르면, 프레임에서 등록된 얼굴이 검출된 경우, 처리부(110)는 등록된 얼굴이 중심에 위치하도록 해당 동영상 프레임을 잘라서, 상기 후보 썸네일 영상 또는 상기 최종 썸네일 영상을 생성할 수 있다. 예를 들면, 도 7에 도시된 바와 같이 frame 2에서 602 사람과 604 사람이 검출되고, 604 사람이 등록된 사람인 경우, 처리부(110)는 604 사람이 중심에 위치하도록 frame 2를 잘라서 후보 썸네일 영상 또는 최종 썸네일 영상(TH1)을 생성할 수 있다.
다른 실시예에 따르면, 프레임에서 얼굴이 검출된 경우, 처리부(110)는 검출된 얼굴이 중심에 위치하도록 해당 동영상 프레임을 잘라서, 상기 후보 썸네일 영상 또는 상기 최종 썸네일 영상을 생성할 수 있다. 이러한 경우, 도 7의 frame 2와 같이 한 프레임에서 복수의 얼굴이 검출되는 경우, 처리부(110)는 등록된 사람이 있으면 등록된 사람을 중심으로 해당 프레임을 잘라서 후보 썸네일 영상 또는 최종 썸네일 영상을 생성할 수 있다. 또한 복수의 얼굴이 검출되고 등록된 사람이 없는 경우, 처리부(110)는 얼굴의 위치, 얼굴의 크기 등을 고려하여 적어도 일부의 인물을 중심으로 후보 썸네일 영상 또는 최종 썸네일 영상을 생성할 수 있다. 다른 예로서 복수의 얼굴이 검출되고 등록된 사람이 없는 경우, 처리부(110)는 프레임의 전체 영역을 이용하여 후보 썸네일 영상 또는 최종 썸네일 영상을 생성할 수 있다.
도 8은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다.
일 실시예에 따르면, 처리부(110)는 후보 썸네일 영상을 저장할 때, 도 8에 도시된 바와 같이 각 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지에 대한 정보를 저장할 수 있다. 예를 들면, 각 후보 썸네일 영상에 해당하는 썸네일 추출 기준이, 장면 전환이 검출된 것인지, 얼굴이 검출된 것인지, 등록된 얼굴이 인식된 것인지가 저장될 수 있다. 상기 어느 썸네일 추출 기준에 해당하는지에 대한 정보는 예를 들면, 등록된 얼굴이 검출된 프레임, 동영상 썸네일 영상 추출을 위한 관리 파일, 동영상 데이터를 관리하는 관리 파일, 또는 전자 장치(100a)의 임시 저장 공간 등에 저장될 수 있다.
또한, 처리부(110)는 도 8에 도시된 바와 같이 각 썸네일 추출 기준 별로, 해당하는 후보 썸네일 영상의 생성 빈도(Hit Rate)를 산출하여 소정의 저장 공간에 저장한다. 예를 들면 처리부(110)는 새로운 썸네일 추출 기준에 해당하는 후보 썸네일 영상이 검출될 때마다, 생성 빈도 테이블에서 해당 썸네일 추출 기준에 대한 항목을 생성한다. 또한 처리부(110)는 후보 썸네일 영상이 검출될 때마다, 생성 빈도 테이블의 빈도 값을 갱신할 수 있다.
일 실시예에 따르면, 처리부(110)는 동영상 데이터의 시간 길이에 따라, 최종 썸네일 영상의 개수를 결정한다. 예를 들면, 처리부(110)는 30분 미만의 동영상 데이터에 대해서는 생성 빈도 테이블의 빈도 값의 총 합의 50%에 해당하는 개수를 최종 썸네일 영상의 개수로 결정하고, 30분 이상의 동영상 데이터에 대해서는 생성 빈도 테이블의 빈도 값의 총 합의 10%에 해당하는 개수를 최종 썸네일 영상의 개수로 결정한다.
다른 실시예에 따르면, 최종 썸네일 영상의 개수는 미리 설정되어 있을 수 있다. 예를 들면, 최종 썸네일 영상의 개수는 일정한 값으로 결정되어 설정되어 있거나, 동영상 데이터의 시간 길이에 따라 결정되어 설정되어 있을 수 있다.
또한 일 실시예에 따르면, 처리부(110)는 생성 빈도 테이블에 기초하여, 최종 썸네일 영상을 선정하기 위한 우선 순위를 결정할 수 있다. 예를 들면, 등록된 얼굴이 포함된 프레임은 제1 우선 순위, 얼굴이 검출된 프레임은 제2 우선 순위, 생성 빈도가 가장 높은 썸네일 추출 기준에 해당하는 후보 썸네일 영상은 제3 우선 순위로 설정될 수 있다.
또한 일 실시예에 따르면, 처리부(110)는 생성 빈도 테이블의 빈도 값에 따라 얼굴이 검출된 프레임의 우선 순위를 변경할 수 있다. 예를 들면, 처리부(110)는 생성 빈도 테이블의 빈도 값의 총 합에 대비하여 얼굴 검출의 빈도 값이 30% 이하인 경우, 얼굴 검출의 우선 순위를 제2 우선 순위로 하고, 얼굴 검출의 빈도 값이 30% 를 초과하는 경우, 얼굴 검출의 우선 순위를 생성 빈도가 가장 높은 썸네일 추출 기준과 동일한 우선 순위로 설정할 수 있다. 본 실시예에 따르면, 얼굴 검출의 빈도 값이 30%를 초과하는 경우, 등록된 얼굴이 포함된 프레임이 제1 우선 순위, 얼굴이 검출된 프레임과 생성 빈도가 가장 높은 썸네일 추출 기준에 해당하는 후보 썸네일 영상이 제2 우선 순위가 된다.
일 실시예에 따르면, 처리부(110)는 생성 빈도 테이블의 빈도 값의 총 합이 최소 썸네일 개수 이하인 경우, 후보 썸네일 영상을 모두 최종 썸네일 영상으로 결정할 수 있다. 예를 들면, 최소 썸네일 개수가 10개인 경우, 도 8의 예에서 생성 빈도 테이블의 빈도 값이 총 합이 5이기 때문에, 후보 썸네일 영상이 모두 최종 썸네일 영상으로 결정된다.
일 실시예에 따르면, 처리부(110)는 기준 시간 길이 이상의 동영상 데이터에서 추출된 후보 썸네일 영상의 개수가 최소 썸네일 개수 미만인 경우, 상기 후보 썸네일 영상이 상기 최소 썸네일 개수가 되도록, 상기 동영상 데이터로부터 추가적으로 후보 썸네일 영상을 추출한다. 일 실시예에 따르면, 처리부(110)는 후보 썸네일 영상들 사이의 시간 간격이 큰 구간에서 후보 썸네일 영상을 추가로 추출할 수 있다. 예를 들면, 3개의 후보 썸네일 영상을 추가적으로 추출해야 하는 경우, 처리부(110)는 시간 간격이 가장 큰 구간에 제1 후보 썸네일 영상을 추가로 추출하고, 제1 후보 썸네일 영상을 포함하여 시간 간격이 가장 큰 구간에서 제2 후보 썸네일 영상을 추가로 추출하고, 제1 후보 썸네일 영상 및 제2 후보 썸네일 영상을 포함하여 시간 간격이 가장 큰 구간에서 제3 후보 썸네일 영상을 추가로 추출할 수 있다.
일 실시예에 따르면, 처리부(110)는 생성 빈도 테이블의 빈도 값의 총 합에 일정 비율을 적용한 값이 최소 썸네일 개수 미만인 경우, 최종 썸네일 개수를 최소 썸네일 개수로 결정한다. 예를 들면 30분 이상의 동영상에서 생성 빈도 테이블의 빈도 값의 총 합이 10개이고, 최소 썸네일 개수가 7개인 경우, 빈도 값의 총 합에 10%를 적용하면 1개이다. 이러한 경우, 최종 썸네일 영상의 개수를 7개로 결정하고, 10개의 후보 썸네일 영상 중 7개를 최종 썸네일 영상으로 결정한다.
일 실시예에 따르면, 처리부(110)는 동영상 데이터의 첫 번째 프레임은 항상 최종 썸네일 영상에 포함될 수 있다.
도 9는 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다. 도 9에서는 30분 미만의 동영상 데이터에서 도 9와 같이 생성 빈도 테이블이 생성된 경우를 예로 들어 설명한다.
처리부(110)는 우선 첫 번째 프레임에 해당하는 초기 장면을 후보 썸네일 영상으로 결정하고, 장면 전환 검출, 얼굴 검출, 및 등록된 얼굴 인식의 기준을 동영상 데이터의 프레임들에 적용하여 후보 썸네일 영상을 추출하고, 생성 빈도 테이블을 생성한다.
다음으로 처리부(110)는 초기 장면을 최종 썸네일 영상으로 결정한다.
또한 처리부(110)는 장면 전환의 빈도 값이 가장 높으므로, 장면 전환을 제3 우선 순위로 설정한다. 얼굴 검출의 개수가 생성 빈도 테이블의 빈도 값의 총 합의 30%(3.6) 이하이기 때문에, 처리부(110)는 얼굴 검출을 제2 우선 순위로 설정한다. 동영상 데이터의 시간 길이가 30분 미만이기 때문에, 최종 썸네일 영상의 개수는 생성 빈도 테이블의 빈도 값의 총 합의 50%인 6개로 결정된다.
처리부(110)는 우선 초기 장면을 최종 썸네일 영상으로 결정한다. 등록된 얼굴이 인식된 프레임은 없으므로, 얼굴 인식된 프레임 1개가 최종 썸네일 영상으로 결정되고, 장면 전환이 검출된 프레임 4개가 최종 썸네일 영상으로 결정된다. 총 10개의 장면 전환이 검출된 프레임 중, 4개의 프레임을 선택하기 위해, 처리부(110)는 예를 들면 후보 썸네일 영상들 사이의 시간 간격, 장면 전환을 평가하는 평가 값 등을 고려할 수 있다. 예를 들면, 처리부(110)는 후보 썸네일 영상들 중, 이전 후보 썸네일 영상과의 간격 및 이후 후보 썸네일 영상과의 간격 중 적어도 하나가 가장 큰 후보 썸네일 영상을 우선적으로 최종 썸네일 영상으로 결정할 수 있다. 다른 예로서, 처리부(110)는 장면 전환을 평가하는 평가 값이 큰 순서로 최종 썸네일 영상을 결정할 수 있다. 상기 장면 전환을 평가하는 평가 값은 예를 들면, 차영상의 화소 값, 움직임 벡터의 크기 등일 수 있다.
도 10은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다. 도 10에서는 30분 미만의 동영상 데이터에서 도 10과 같이 생성 빈도 테이블이 생성된 경우를 예로 들어 설명한다.
처리부(110)는 최종 썸네일 영상의 개수를 생성 빈도 테이블의 빈도 값의 총 합인 23의 50%인 11.5개로 결정한다. 실시예들에 따라 빈도 값의 총 합의 50%에서 소수점 이하의 값이 발생한 경우, 처리부(110)는 반올림, 올림, 버림을 하여 최종 썸네일 영상의 개수를 결정할 수 있다. 본 실시예에서는 소수점 이하의 값을 버림하여 최종 썸네일 영상의 개수를 11개로 결정한 경우를 예로 들어 설명한다.
처리부(110)는 우선 초기 장면을 최종 썸네일 영상으로 결정한다.
또한 처리부(110)는 제1 우선 순위인 얼굴 인식된 후보 썸네일 영상 2개를 최종 썸네일 영상으로 결정한다.
얼굴 검출의 빈도 값은 생성 빈도 테이블의 빈도 값의 총 합인 23의 30%인 6.9개 이상이고, 빈도 값이 가장 높은 썸네일 추출 기준은 장면 전환 검출과 얼굴 검출이므로, 장면 전환 검출과 얼굴 검출은 같은 우선 순위로 설정된다. 따라서 장면 전환이 검출된 10개의 후보 썸네일 영상과 얼굴이 검출된 10개의 후보 썸네일 영상 중 8개의 후보 썸네일 영상이 최종 썸네일 영상으로 결정된다. 최종 썸네일 영상을 결정하기 위해, 처리부(110)는 얼굴의 개수, 얼굴의 크기, 후보 썸네일 영상들 사이의 시간 간격, 장면 전환을 평가하는 평가 값 등을 고려할 수 있다. 예를 들면, 처리부(110)는 얼굴의 크기가 소정 범위에 속하는 후보 썸네일 영상을 제1 우선 순위로 최종 썸네일 영상으로 결정하고, 장면 전환을 평가하는 평가 값이 기준 값 이상인 후보 썸네일 영상을 제2 우선 순위로 최종 썸네일 영상으로 결정하고, 이전 후보 썸네일 영상과의 간격 및 이후 후보 썸네일 영상과의 간격 중 적어도 하나가 큰 순서로 나머지 최종 썸네일 영상을 결정할 수 있다.
도 11은 일 실시예에 따른 생성 빈도 테이블을 나타낸 도면이다. 도 11에서는 30분 이상의 동영상 데이터에서 도 11과 같이 생성 빈도 테이블이 생성된 경우를 예로 들어 설명한다.
도 11은 생성 빈도 테이블의 빈도 값의 총 합이 50개이고, 30분 이상의 동영상 데이터이므로 50에 10%를 적용하면 최종 썸네일 영상의 개수가 5개로 결정된다. 만약 최소 썸네일 개수가 10개인 경우, 빈도 값의 총 합인 50의 10%로 결정된 값이 최소 썸네일 개수보다 작으므로, 처리부(110)는 최종 썸네일 영상의 개수를 10개로 결정한다.
얼굴 검출에 해당하는 빈도 값인 15는 생성 빈도 테이블의 빈도 값의 총 합인 50의 30% 이하이기 때문에, 처리부(110)는 얼굴 인식을 제1 우선 순위, 얼굴 검출을 제2 우선 순위로 설정한다. 또한 장면 전환 검출의 빈도 값이 가장 높으므로, 처리부(110)는 장면 전환 검출을 제3 우선 순위로 설정한다.
다음으로 처리부(110)는 초기 장면에 해당하는 후보 썸네일 영상과, 등록된 얼굴이 인식된 후보 썸네일 영상을 최종 썸네일 영상으로 결정한다. 또한 처리부(110)는 얼굴이 검출된 후보 썸네일 영상 중 5개를 최종 썸네일 영상으로 결정한다.
도 12는 일 실시예에 따른 전자 장치(100b)의 구조를 나타낸 도면이다.
본 실시예에 따른 전자 장치(100b)는 처리부(110), 표시부(120), 사용자 입력부(1210), 및 저장부(1220)를 포함한다.
처리부(110)는 동영상 데이터를 입력 받아, 상기 동영상 데이터로부터 적어도 하나의 최종 썸네일 영상을 결정한다. 처리부(110)는 복수의 썸네일 추출 기준을 이용하여, 동영상 데이터의 복수의 프레임들 중 적어도 하나의 후보 썸네일 영상을 추출한다. 또한, 처리부(110)는 후보 썸네일 영상이 결정되면, 상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정한다.
본 실시예에 따른 처리부(110)는 적어도 하나의 최종 썸네일 영상 중 하나를 선택하는 사용자 입력이 검출되면, 해당 동영상 데이터를 재생한다.
표시부(120)는 적어도 하나의 최종 썸네일 영상을 표시한다. 상기 적어도 하나의 최종 썸네일 영상은 사용자가 선택 가능한 형태로 표시부(120)에 표시될 수 있다. 예를 들면, 상기 적어도 하나의 최종 썸네일 영상은 동영상 재생을 위한 GUI(graphic user interface)의 형태로 표시될 수 있다.
사용자 입력부(1210)는 적어도 하나의 최종 썸네일 영상 중 하나를 선택하는 사용자 입력을 수신한다. 사용자 입력부(1210)는 예를 들면, 터치 스크린, 터치 패드, 터치 센서, 키 버튼 등을 포함할 수 있다.
저장부(1220)는 적어도 하나의 동영상 데이터를 저장한다. 또한 저장부(1220)는 적어도 하나의 등록된 얼굴을 저장한다. 저장부(1220)는 예를 들면, 비휘발성 메모리로서, 플래시 메모리 카드, SD(Secure Digital) 카드, 하드디스크 드라이브, SSD(solid state disk) 등을 포함할 수 있다.
도 13은 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
본 실시예에 따르면, 처리부(110)는 표시부(120)에 초기 장면에 해당하는 최종 썸네일 영상(TH1310)을 고정으로 표시하고, 나머지 최종 썸네일 영상(TH1320, TH1322, TH1324, TH1326, 및 TH1328)은 서로 겹쳐서 표시할 수 있다. 일 실시예에 따르면, 사용자는 나머지 최종 썸네일 영상들(TH1320, TH1322, TH1324, TH1326, 및 TH1328)을 선택하는 제스처 입력을 이용하여, 나머지 최종 썸네일 영상들(TH1320, TH1322, TH1324, TH1326, 및 TH1328)의 배치를 변경할 수 있다. 예를 들면, 나머지 최종 썸네일 영상들(TH1320, TH1322, TH1324, TH1326, 및 TH1328)을 터치한 후 넘기는 제스처 입력이 입력되면, 최종 썸네일 영상들(나머지 최종 썸네일 영상들(TH1320, TH1322, TH1324, TH1326, 및 TH1328)이 옆으로 이동하면서 그 배치가 변경되는 화면이 표시될 수 있다.
도 14는 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
본 실시예에 따르면, 처리부(110)는 표시부(120)에 각 동영상 데이터의 초기 장면에 해당하는 최종 썸네일 영상을 표시하고, 사용자가 특정 동영상 데이터(Video file 5)를 선택한 후 옆으로 드래그하는 제스처 입력을 검출하면, 선택된 동영상 데이터(Video file 5)에 대한 나머지 최종 썸네일 영상들이 표시할 수 있다.
도 15는 일 실시예에 따른 동영상 데이터의 재생을 위한 GUI 화면을 나타낸 도면이다.
본 실시예에 따르면, 처리부(110)는 표시부(120)에 각 동영상 데이터의 초기 장면에 해당하는 최종 썸네일 영상을 표시하고, 특정 동영상 데이터를 선택하는 사용자 입력을 검출하면, 선택된 동영상 데이터에 대한 최종 썸네일 영상들을 표시할 수 있다. 본 실시예에 따르면, 사용자는 선택된 동영상 데이터에 대한 최종 썸네일 영상들을 터치한 후 옆으로 드래그하는 제스처 입력을 이용하여, 최종 썸네일 영상들의 배치를 변경할 수 있다.
도 16은 일 실시예에 따라 동영상 데이터를 재생하는 방법을 나타낸 흐름도이다.
본 실시예에 따르면, 최종 썸네일 영상 중 하나를 선택하는 사용자 입력이 수신되면(S1602), 처리부(110)는 선택된 최종 썸네일 영상에 해당하는 프레임부터 동영상 데이터를 재생하여 표시부(120)에 표시한다(S1604).
도 17은 일 실시예에 따라 동영상 데이터를 재생하는 과정을 설명하기 위한 도면이다.
예를 들면, FRAME1, FRAME150, FRAME1000, FRAME3200, 및 FRAME7020이 최종 썸네일 영상으로 표시되고, 사용자가 FRAME 1000을 선택한 경우, 처리부(110)는 FRAME 1000부터 동영상 데이터의 재생을 시작한다. 본 실시예에 따르면, 전자 장치(100a, 100b)가 자동으로 적어도 하나의 최종 썸네일 영상을 제공하고, 사용자가 선택한 최종 썸네일 영상에 해당하는 프레임부터 동영상 데이터의 재생을 시작하여, 사용자가 편리하게 주요 장면부터 동영상 데이터를 재생할 수 있도록 하는 효과가 있다.
도 18은 일 실시예에 따른 처리부(100a)의 구조를 나타낸 도면이다.
본 실시예에 따른 처리부(100a)는 분석부(1810), 임시 저장부(1820), 및 생성부(1830)를 포함한다.
동영상 데이터가 분석부(1810)로 입력되면, 분석부(1810)는 동영상 데이터의 프레임이 복수의 썸네일 추출 기준에 해당하는지 여부를 판단한다. 일 실시예에 따르면, 분석부(1810)는 장면 검출 모듈(1812), 얼굴 검출 모듈(1814), 및 얼굴 인식 모듈(1816)을 포함할 수 있다. 장면 검출 모듈(1812)은 동영상 데이터의 프레임에서 장면 전환이 검출되었는지 여부를 판단한다. 얼굴 검출 모듈(1814)은 동영상 데이터의 프레임에서 얼굴이 검출되었는지 여부를 판단한다. 얼굴 인식 모듈(1816)은 동영상 데이터의 프레임에서 등록된 얼굴이 인식되었는지 여부를 판단한다. 분석부(1810)는 장면 검출 모듈(1812), 얼굴 검출 모듈(1814), 및 얼굴 인식 모듈(1816)에서 썸네일 추출 기준을 충족한다고 판단된 프레임을 후보 썸네일 영상으로 결정하고, 후보 썸네일 영상을 임시 저장부(1820)로 출력한다.
일 실시예에 따르면, 분석부(1810)는 각 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는 영상인지에 대한 정보를 함께 임시 저장부(1820)로 출력할 수 있다. 또한 분석부(1810)는 생성 빈도 테이블을 생성하여, 임시 저장부(1820)에 저장하고, 후보 썸네일 영상이 검출될 때마다, 생성 빈도 테이블을 갱신할 수 있다.
임시 저장부(1820)는 후보 썸네일 영상 및 생성 빈도 테이블을 저장한다. 임시 저장부(1820)는 전자 장치(100b)의 메인 메모리로서, 예를 들면, RAM, 플래시 메모리 등의 형태로 구현될 수 있다.
생성부(1830)는 후보 썸네일 영상 중 최종 썸네일 영상을 결정한다.
도 19는 일 실시예에 따른 등록된 얼굴을 나타낸 도면이다.
일 실시예에 따르면, 상기 등록된 얼굴은 전자 장치(100b)의 주소록에 저장된 얼굴 영상일 수 있다. 예를 들면, 도 19에 도시된 바와 같이 연락처에 얼굴 영상(1910)이 등록되어 있는 경우, 연락처의 얼굴 영상(1910)이 얼굴 인식을 위한 등록된 얼굴로 이용될 수 있다.
또한, 상기 등록된 얼굴은 예를 들면, 사용자가 미리 지정한 얼굴 영상, SNS(Social Network Service)의 친구의 프로필 영상, 메신저 어플리케이션의 친구의 프로필 영상 등을 포함할 수 있다.
도 20은 일 실시예에 따른 전자 장치(100c)의 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따른 전자 장치(100c)는 촬영부(2010), 아날로그 신호 처리부(2020), 메모리(2030), 저장/판독 제어부(2040), 데이터 저장부(2042), 프로그램 저장부(2050), 표시 구동부(2062), 표시부(2064), CPU/DSP(2070), 및 조작부(2080)를 포함할 수 있다.
전자 장치(100c)의 전체 동작은 CPU/DSP(2070)에 의해 통괄된다. CPU/DSP(2070)는 렌즈 구동부(2012), 조리개 구동부(2015), 촬상 소자 제어부(2019) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
촬영부(2010)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈(2011), 렌즈 구동부(2012), 조리개(2013), 조리개 구동부(2015), 촬상 소자(2018), 및 촬상 소자 제어부(2019)를 포함한다.
렌즈(2011)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(2011)는 렌즈 구동부(2012)에 의해 그 위치가 조절된다. 렌즈 구동부(2012)는 CPU/DSP(2070)에서 제공된 제어 신호에 따라 렌즈(2011)의 위치를 조절한다.
조리개(2013)는 조리개 구동부(2015)에 의해 그 개폐 정도가 조절되며, 촬상 소자(2018)로 입사되는 광량을 조절한다.
렌즈(2011) 및 조리개(2013)를 투과한 광학 신호는 촬상 소자(2018)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(2018)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자(2018)는 촬상 소자 제어부(2019)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(2019)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(2018)를 제어할 수 있다.
촬상 소자(2018)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(2018)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
아날로그 신호 처리부(2020)는 촬상 소자(2018)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
아날로그 신호 처리부(2020)에 의해 처리된 신호는 메모리(2030)를 거쳐 CPU/DSP(2070)에 입력될 수도 있고, 메모리(2030)를 거치지 않고 CPU/DSP(2070)에 입력될 수도 있다. 여기서 메모리(2030)는 전자 장치(100c)의 메인 메모리로서 동작하고, CPU/DSP(2070)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(2030)는 전자 장치(100c)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장한다.
아울러, 전자 장치(100c)는 이의 동작 상태 또는 전자 장치(100c)에서 촬영한 영상 정보를 표시하도록 표시부(2064)를 포함한다. 표시부(2064)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(2064)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 표시부(2064)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.
표시 구동부(2062)는 표시부(2064)에 구동 신호를 제공한다.
CPU/DSP(2070)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. CPU/DSP(2070)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, AVI(Audio Visual Interleave), MPEG(Moving Picture Experts Group), HEVC(High Efficiency Video Coding), WMV(Windows Media Video), MOV(Quick Time Movie), ASF(Advanced Streaming Format) 등 포맷에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
CPU/DSP(2070)로부터 출력된 이미지 데이터는 메모리(2030)를 통하여 또는 직접 저장/판독 제어부(2040)에 입력되는데, 저장/판독 제어부(2040)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 데이터 저장부(2042)에 저장한다. 또한 저장/판독 제어부(2040)는 데이터 저장부(2042)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(2030)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 표시부(2064)에 이미지가 표시되도록 할 수도 있다. 데이터 저장부(2042)는 탈착 가능한 것일 수도 있고 전자 장치(100c)에 영구 장착된 것일 수 있다.
또한, CPU/DSP(2070)에서는 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, CPU/DSP(2070)에서는 표시부(2064)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 CPU/DSP(2070)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
또한 CPU/DSP(2070)는 프로그램 저장부(2030)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(2015), 렌즈 구동부(2012), 및 촬상 소자 제어부(2019)에 제공하고, 셔터, 스트로보 등 전자 장치(100c)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
조작부(2080)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(2080)는 정해진 시간 동안 촬상 소자(2018)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(2080)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
도 1 및 도 12의 처리부(110)는 도 20의 CPU/SDP(2070)에 대응될 수 있다. 도 1 및 도 12의 표시부(120)는 도 20의 표시부(2064)에 대응될 수 있다. 도 12의 사용자 입력부(1210)는 도 20의 조작부(2080)에 대응될 수 있다. 도 12의 저장부(1220)는 도 20의 메모리(2030) 또는 데이터 저장부(2042)에 대응될 수 있다.
도 20에 도시된 전자 장치(100c)는 본 발명의 일 실시예이며, 본 발명의 실시예들에 따른 전자 장치(100c)는 도 20에 도시된 전자 장치(100c)에 한정되지 않음은 물론이다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100a, 100b, 100c: 전자 장치
110: 처리부
120: 표시부
1210: 사용자 입력부
1220: 저장부
110: 처리부
120: 표시부
1210: 사용자 입력부
1220: 저장부
Claims (20)
- 동영상 데이터의 복수의 프레임들 중, 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는 적어도 하나의 프레임을 후보 썸네일 영상으로 추출하고,
상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정하는 처리부; 및
상기 적어도 하나의 최종 썸네일 영상을 표시하는 표시부를 포함하고,
상기 처리부는, 상기 적어도 하나의 최종 썸네일 영상을 결정할 때, 사용자에 의해 등록된 얼굴이 검출된 경우에 제1 우선 순위를 부여하고, 얼굴이 검출된 경우에 제2 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정하고,
적어도 하나의 연락처, 및 상기 적어도 하나의 연락처에 관련된 얼굴 영상을 저장하는 저장부를 더 포함하고,
상기 사용자에 의해 등록된 얼굴은, 상기 적어도 하나의 연락처에 관련된 얼굴 영상을 포함하고,
상기 처리부는,
상기 후보 썸네일 영상을 추출할 때마다, 상기 복수의 썸네일 추출 기준들 각각에 대해 후보 썸네일 영상의 개수를 나타내는 값인 빈도 값을 산출하고,
상기 빈도 값에 기초하여, 상기 빈도 값이 가장 높은 썸네일 추출 기준에 제3 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정하고,
상기 동영상 데이터의 총 시간 길이와 상기 빈도 값의 총 합에 기초하여, 상기 최종 썸네일 영상의 개수를 결정하는, 전자 장치. - 제1항에 있어서,
상기 복수의 썸네일 추출 기준들은, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우, 상기 얼굴이 검출된 경우, 및 상기 등록된 얼굴이 인식된 경우 중 적어도 하나 또는 이들의 조합을 포함하는, 전자 장치. - 삭제
- 삭제
- 삭제
- 제2항에 있어서,
상기 장면 전환이 검출된 경우는, 프레임 간의 변화가 기준 값 이상인 경우, 새로운 객체가 검출된 경우, 및 촬영 조건이 기준 값 이상 변화된 경우 중 적어도 하나 또는 이들의 조합인, 전자 장치. - 제1항에 있어서,
상기 처리부는, 상기 동영상 데이터의 시간 길이 및 상기 추출된 후보 썸네일 영상의 개수에 기초하여, 상기 최종 썸네일 영상의 개수를 결정하는, 전자 장치. - 제1항에 있어서,
상기 처리부는, 상기 동영상 데이터의 첫 번째 프레임에 해당하는 영상을 포함하여 상기 적어도 하나의 최종 썸네일 영상을 결정하는, 전자 장치. - 제1항에 있어서,
상기 전자 장치는, 상기 표시된 적어도 하나의 최종 썸네일 영상 중 하나를 선택하는 사용자 선택을 수신하는 사용자 입력부를 더 포함하고,
상기 처리부는, 상기 적어도 하나의 최종 썸네일 영상 중 하나가 선택되면, 선택된 최종 썸네일 영상에 대응하는 프레임부터 상기 동영상 데이터를 재생하는, 전자 장치. - 제1항에 있어서,
상기 전자 장치는, 상기 동영상 데이터를 저장하는 저장부를 더 포함하고,
상기 처리부는, 상기 동영상 데이터 및 상기 적어도 하나의 최종 썸네일 영상을 포함하는 동영상 파일을 생성하여 상기 저장부에 저장하는, 전자 장치. - 동영상 데이터의 복수의 프레임들 중, 복수의 썸네일 추출 기준들 중 적어도 하나에 해당하는 적어도 하나의 프레임을 후보 썸네일 영상으로 추출하는 단계;
상기 추출된 후보 썸네일 영상이 어느 썸네일 추출 기준에 해당하는지를 고려하여, 상기 추출된 후보 썸네일 영상 중 적어도 하나의 최종 썸네일 영상을 결정하는 단계; 및
상기 적어도 하나의 최종 썸네일 영상을 표시하는 단계를 포함하고,
상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계는, 사용자에 의해 등록된 얼굴이 검출된 경우에 제1 우선 순위를 부여하고, 얼굴이 검출된 경우에 제2 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계를 포함하고,
상기 사용자에 의해 등록된 얼굴은, 상기 영상 처리 방법을 수행하는 전자 장치에 저장된 연락처에 관련되어 저장된 얼굴 영상을 포함하고,
상기 후보 썸네일 영상을 추출할 때마다, 상기 복수의 썸네일 추출 기준들 각각에 대해 후보 썸네일 영상의 개수를 나타내는 값인 빈도 값을 산출하는 단계;
상기 빈도 값에 기초하여, 상기 빈도 값이 가장 높은 썸네일 추출 기준에 제3 우선 순위를 부여하여 상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계; 및
상기 동영상 데이터의 총 시간 길이와 상기 빈도 값의 총 합에 기초하여, 상기 최종 썸네일 영상의 개수를 결정하는 단계를 더 포함하는, 영상 처리 방법. - 제11항에 있어서,
상기 복수의 썸네일 추출 기준은, 이전 프레임으로부터 기준 값 이상 변화된 장면 전환이 검출된 경우, 얼굴이 검출된 경우, 및 등록된 얼굴이 인식된 경우 중 적어도 하나 또는 이들의 조합을 포함하는, 영상 처리 방법. - 삭제
- 삭제
- 삭제
- 제12항에 있어서,
상기 장면 전환이 검출된 경우는, 프레임 간의 변화가 기준 값 이상인 경우, 새로운 객체가 검출된 경우, 및 촬영 조건이 기준 값 이상 변화된 경우 중 적어도 하나 또는 이들의 조합인, 영상 처리 방법. - 제11항에 있어서,
상기 동영상 데이터의 시간 길이 및 상기 추출된 후보 썸네일 영상의 개수에 기초하여, 상기 최종 썸네일 영상의 개수를 결정하는 단계를 더 포함하는 영상 처리 방법. - 제11항에 있어서,
상기 적어도 하나의 최종 썸네일 영상을 결정하는 단계는, 상기 동영상 데이터의 첫 번째 프레임에 해당하는 영상을 포함하여 상기 적어도 하나의 최종 썸네일 영상을 결정하는, 영상 처리 방법. - 제11항에 있어서,
상기 적어도 하나의 최종 썸네일 영상 중 하나가 선택되면, 선택된 최종 썸네일 영상에 대응하는 프레임부터 상기 동영상 데이터를 재생하는 단계를 더 포함하는 영상 처리 방법. - 제11항 내지 제12항 및 제16항 내지 제19항 중 어느 한 항에 의한 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램 코드를 저장하는 컴퓨터 판독가능 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140069572A KR102209070B1 (ko) | 2014-06-09 | 2014-06-09 | 동영상의 썸네일 영상을 제공하는 장치 및 방법 |
| US14/679,248 US10127455B2 (en) | 2014-06-09 | 2015-04-06 | Apparatus and method of providing thumbnail image of moving picture |
| EP15163628.9A EP2955641A1 (en) | 2014-06-09 | 2015-04-15 | Apparatus and method of providing thumbnail image of moving picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140069572A KR102209070B1 (ko) | 2014-06-09 | 2014-06-09 | 동영상의 썸네일 영상을 제공하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150141059A KR20150141059A (ko) | 2015-12-17 |
| KR102209070B1 true KR102209070B1 (ko) | 2021-01-28 |
Family
ID=53016469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140069572A KR102209070B1 (ko) | 2014-06-09 | 2014-06-09 | 동영상의 썸네일 영상을 제공하는 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10127455B2 (ko) |
| EP (1) | EP2955641A1 (ko) |
| KR (1) | KR102209070B1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8995715B2 (en) * | 2010-10-26 | 2015-03-31 | Fotonation Limited | Face or other object detection including template matching |
| JP2019105933A (ja) * | 2017-12-11 | 2019-06-27 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
| WO2019156543A2 (ko) * | 2019-04-30 | 2019-08-15 | 엘지전자 주식회사 | 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치 |
| WO2020235724A1 (ko) * | 2019-05-23 | 2020-11-26 | 엘지전자 주식회사 | 디스플레이 장치 |
| JP7497853B2 (ja) * | 2020-02-28 | 2024-06-11 | ｉ－ＰＲＯ株式会社 | 顔検知システム |
| WO2023182542A1 (ko) * | 2022-03-22 | 2023-09-28 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| US20240127855A1 (en) * | 2022-10-17 | 2024-04-18 | Adobe Inc. | Speaker thumbnail selection and speaker visualization in diarized transcripts for text-based video |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011203821A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3936666B2 (ja) | 2003-02-20 | 2007-06-27 | 日本電信電話株式会社 | 動画像中の代表画像抽出装置，動画像中の代表画像抽出方法，動画像中の代表画像抽出プログラムおよび動画像中の代表画像抽出プログラムの記録媒体 |
| KR100763189B1 (ko) | 2005-11-17 | 2007-10-04 | 삼성전자주식회사 | 영상 표시 장치 및 방법 |
| US8285006B2 (en) * | 2007-04-13 | 2012-10-09 | Mira Electronics Co., Ltd. | Human face recognition and user interface system for digital camera and video camera |
| JP4775306B2 (ja) * | 2007-04-23 | 2011-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム |
| KR101335518B1 (ko) | 2007-04-27 | 2013-12-03 | 삼성전자주식회사 | 동영상 디스플레이 방법 및 이를 적용한 영상재생장치 |
| US8289562B2 (en) * | 2007-09-21 | 2012-10-16 | Fujifilm Corporation | Image processing apparatus, method and recording medium |
| JP4834640B2 (ja) * | 2007-09-28 | 2011-12-14 | 株式会社東芝 | 電子機器および画像表示制御方法 |
| JP5057918B2 (ja) * | 2007-09-28 | 2012-10-24 | 株式会社東芝 | 電子機器およびシーン種類表示方法 |
| JP2009089065A (ja) * | 2007-09-28 | 2009-04-23 | Toshiba Corp | 電子機器および顔画像表示装置 |
| JP5087477B2 (ja) * | 2008-06-12 | 2012-12-05 | 株式会社日立製作所 | 情報記録再生装置および情報記録方法 |
| JP4636135B2 (ja) * | 2008-08-04 | 2011-02-23 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP4620150B2 (ja) * | 2008-10-23 | 2011-01-26 | 株式会社東芝 | 電子機器および映像処理方法 |
| JP4496263B2 (ja) * | 2008-10-23 | 2010-07-07 | 株式会社東芝 | 情報処理装置およびコンテンツ表示方法 |
| JP4496264B2 (ja) * | 2008-10-24 | 2010-07-07 | 株式会社東芝 | 電子機器及び映像表示方法 |
| KR20100055946A (ko) * | 2008-11-18 | 2010-05-27 | 삼성전자주식회사 | 동영상 썸네일 생성 방법 및 장치 |
| US9659313B2 (en) * | 2010-09-27 | 2017-05-23 | Unisys Corporation | Systems and methods for managing interactive features associated with multimedia content |
| JPWO2012114727A1 (ja) * | 2011-02-24 | 2014-07-07 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
| EP2527992A1 (en) | 2011-05-23 | 2012-11-28 | Sony Ericsson Mobile Communications AB | Generating content data for a video file |
| KR101313285B1 (ko) * | 2011-06-03 | 2013-09-30 | 주식회사 에이치비솔루션 | 하이퍼 비디오 정보 파일 제작장치 및 제작방법, 그 기록매체 |
| JP5983941B2 (ja) * | 2012-01-30 | 2016-09-06 | パナソニックＩｐマネジメント株式会社 | 画像編集装置およびサムネイル生成方法 |
-
2014
- 2014-06-09 KR KR1020140069572A patent/KR102209070B1/ko active IP Right Grant
-
2015
- 2015-04-06 US US14/679,248 patent/US10127455B2/en active Active
- 2015-04-15 EP EP15163628.9A patent/EP2955641A1/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011203821A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 情報処理装置、情報処理方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10127455B2 (en) | 2018-11-13 |
| US20150356356A1 (en) | 2015-12-10 |
| KR20150141059A (ko) | 2015-12-17 |
| EP2955641A1 (en) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102209070B1 (ko) | 동영상의 썸네일 영상을 제공하는 장치 및 방법 | |
| US8823864B2 (en) | Image capturing apparatus and associated methodology for auto-focus and facial detection | |
| JP5623915B2 (ja) | 撮像装置 | |
| CN101325658B (zh) | 成像设备和成像方法 | |
| US20120206619A1 (en) | Image processing apparatus, image capturing apparatus and recording medium | |
| US20140226858A1 (en) | Method of tracking object using camera and camera system for object tracking | |
| US8786749B2 (en) | Digital photographing apparatus for displaying an icon corresponding to a subject feature and method of controlling the same | |
| KR20110014451A (ko) | 장면에 따른 해상도 및 화질 변경 기능을 갖는 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체, 디지털 영상 처리 장치 | |
| US20100329552A1 (en) | Method and apparatus for guiding user with suitable composition, and digital photographing apparatus | |
| US20130070143A1 (en) | Display apparatus and method | |
| US8712207B2 (en) | Digital photographing apparatus, method of controlling the same, and recording medium for the method | |
| KR101605771B1 (ko) | 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 | |
| KR20100055946A (ko) | 동영상 썸네일 생성 방법 및 장치 | |
| WO2016008359A1 (zh) | 物体运动轨迹图像的合成方法、装置及计算机存储介质 | |
| WO2016004819A1 (zh) | 一种拍摄方法、拍摄装置和计算机存储介质 | |
| US20130235228A1 (en) | Image processing apparatus and method, and program | |
| KR20130031176A (ko) | 디스플레이 장치 및 방법 | |
| US20090190835A1 (en) | Method for capturing image to add enlarged image of specific area to captured image, and imaging apparatus applying the same | |
| KR20110061918A (ko) | 포커스 렌즈의 이동 방향을 결정하는 오토포커싱 방법, 상기 방법을 기록한 기록 매체, 오토포커싱 장치 | |
| US8537266B2 (en) | Apparatus for processing digital image and method of controlling the same | |
| KR101812585B1 (ko) | Ｕｉ 제공 방법 및 이를 적용한 영상 촬영 장치 | |
| US20150189122A1 (en) | Imaging apparatus, image processing apparatus, image processing method, and storage medium | |
| US20110050953A1 (en) | Method of setting image aspect ratio according to scene recognition and digital photographing apparatus for performing the method | |
| JP2010081100A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| KR20100101912A (ko) | 동영상 파일을 연속 재생하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |