KR101758869B1 - 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법 - Google Patents
멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법 Download PDFInfo
- Publication number
- KR101758869B1 KR101758869B1 KR1020140003289A KR20140003289A KR101758869B1 KR 101758869 B1 KR101758869 B1 KR 101758869B1 KR 1020140003289 A KR1020140003289 A KR 1020140003289A KR 20140003289 A KR20140003289 A KR 20140003289A KR 101758869 B1 KR101758869 B1 KR 101758869B1
- Authority
- KR
- South Korea
- Prior art keywords
- multimedia data
- multimedia
- classifying
- feature information
- feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/358—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Computing Systems (AREA)
- Crystallography & Structural Chemistry (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
복잡도 기반으로 분류된 특징정보에 기초하여 별개의 분류 프로세스로 멀티미디어 콘텐츠를 분류하는 장치가 개시된다. 본 발명의 일 면에 따른 멀티미디어 콘텐츠 분류장치는 멀티미디어 데이터에서 기 설정된 저 복잡도 기반의 제1 특징 정보를 추출하고, 상기 제1 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제1 결과 값의 신뢰도를 기반으로 기 설정된 고 복잡도 기반의 제2 특징 정보를 선택적으로 추출하는 로컬 멀티미디어 데이터 분석부; 선택적으로 추출된 상기 제2 특징 정보를 네트워크로 연결된 원격 장치에 송신하고, 상기 원격 장치가 상기 제2 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제2 결과 값을 수신하는 네트워크 인터페이스부; 및 상기 제1 결과 값과 상기 제2 결과 값을 이용하여 상기 멀티미디어 데이터를 분류한 최종 결과 값을 출력하는 데이터 분류부를 포함한다.
Description
본 발명은 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법에 관한 것으로서, 보다 상세하게는 복잡도 기반으로 분류된 특징정보에 기초하여 별개의 분류 프로세스로 멀티미디어 콘텐츠를 분류하는 기술에 관한 것이다.
대용량, 고속의 데이터 전송이 가능한 초고속 통신망 및 멀티미디어 관련 기술의 발달로 인하여 문서, 화상, 영상, 음성 데이터와 같은 멀티미디어 데이터를 효율적으로 전송, 저장 관리 및 검색하는 기술이 중요한 핵심 기술로 대두되고 있다. 특히, 멀티미디어 정보 검색의 경우 사용자가 원하는 정보를 표현할 수 있는 사용자 인터페이스 기술과 원하는 정보를 사용자에게 신속하고 정확하게 보여주는 검색 기술이 필요하다.
내용 기반 검색은 영상의 색상(color), 모양(shape), 질감(texture) 등의 내용적인 특징이나 속성을 이용하여 영상을 표현하고 이것을 기반으로 검색을 수행하는 방법이다. 영상의 시각적인 특성을 기반으로 하기 때문에 데이터베이스를 손쉽게 구축할 수 있고, 효율적인 관리 및 검색이 가능하다.
한편, 멀티미디어 콘텐츠에 대한 검색 편의성을 향상시키기 위해, 멀티미디어 콘텐츠를 분류하는 다수의 방법들이 제시되었다. 전술한 내용 기반 검색에 사용되는 영상 또는 픽처(picture)의 색상, 모양, 질감 등의 특징 정보를 활용하는 방법도 멀티미디어 콘텐츠를 분류하는데 사용될 수 있다. 멀티미디어 콘텐츠를 분류하기 위해서는 다양한 종류의 특징 정보들이 사용될 수 있다. 여기서, 특징 정보들은 낮은 연산 처리 능력을 요구하는 단차원의 정보뿐만 아니라, 높은 연산 처리 능력을 요구하는 다차원의 정보도 포함할 수 있다. 멀티미디어 콘텐츠 분류의 신뢰도 또는 성능은 다차원 속성을 가지는 특징 정보를 사용하는 경우에 보장될 가능성이 큰데, 스마트 단말, 지능형 CCTV 등과 같은 임베디드 시스템은 PC, 서버에 비해서 상대적으로 낮은 연산처리 성능을 가지므로, 이와 같은 장치들에서 높은 분류 성능을 기대하기는 어려운 실정이다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 복잡도 기반으로 분류된 특징정보에 기초하여 별개의 분류 프로세스로 멀티미디어 콘텐츠를 효과적으로 분류할 수 있는 장치 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 멀티미디어 콘텐츠 분류장치는 멀티미디어 데이터에서 기 설정된 저 복잡도 기반의 제1 특징 정보를 추출하고, 상기 제1 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제1 결과 값의 신뢰도를 기반으로 기 설정된 고 복잡도 기반의 제2 특징 정보를 선택적으로 추출하는 로컬 멀티미디어 데이터 분석부; 선택적으로 추출된 상기 제2 특징 정보를 네트워크로 연결된 원격 장치에 송신하고, 상기 원격 장치가 상기 제2 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제2 결과 값을 수신하는 네트워크 인터페이스부; 및 상기 제1 결과 값과 상기 제2 결과 값을 이용하여 상기 멀티미디어 데이터를 분류한 최종 결과 값을 출력하는 데이터 분류부를 포함한다.
이상 상술한 바와 같은 본 발명에 따르면, 연산처리 능력이 낮은 스마트 단말에서 멀티미디어 콘텐츠를 분류함에 있어 낮은 연산 처리 능력을 요구하는 특징정보를 사용하여 스마트 단말에서 멀티미디어 콘텐츠를 분류하고, 그 분류 결과를 신뢰 할 수 없는 경우에만 네트워크로 연결된 외부의 높은 연산처리 능력을 가지는 장치의 도움을 받아 멀티미디어 콘텐츠를 분류함으로써 멀티미디어 콘텐츠를 분류하는데 소요되는 시간을 줄이고 콘텐츠의 분류의 정확도를 높일 수 있는 효과가 있다.
또한, 스마트 단말 내에 저 복잡도 기반의 콘텐츠 분류 알고리즘을 탑재함으로써 외부 장치와 네트워크 연결되지 않는 상황에서도 멀티미디어 콘텐츠를 분류할 수 있는 장점이 있다.
도 1 본 발명의 실시예에 따른 멀티미디어 콘텐츠 분류장치를 도시한 도면.
도 2는 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 분류방법을 도시한 도면.
도 2는 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 분류방법을 도시한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서 후술할 스마트 장치는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말일 수 있으며, 높은 연산 처리 능력이 요구되지 않는 모든 형태의 사용자 단말을 의미한다.
한편, 후술할 원격 장치는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말일 수 있으며, 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 상기 스마트 장치와 네트워크로 원격에서 연결되어 상기 스마트 장치의 낮은 연산 처리 능력을 보조할 수 있는 높은 연산 처리 능력을 갖는 모든 형태의 단말을 의미할 수 있다.
도 1 본 발명의 실시예에 따른 멀티미디어 콘텐츠 분류장치를 도시한 도면이다.
일반적으로 스마트 장치를 구동하는 프로세서는 원격 장치의 프로세서에 비해서 연산 처리 성능이 낮기 때문에 멀티미디어 데이터 분류에 높은 성능을 기대하기 어렵다. 본 발명에 따른 멀티미디어 콘텐츠 분류장치(100)는 멀티미디어 데이터에서 복잡도에 기반하여 기 설정된 특징 정보를 구분하여 추출한다. 예컨대, 멀티미디어 콘텐츠 분류장치(100)는 저 복잡도 기반의 특징 정보들을 1차적으로 추출하여, 멀티미디어 콘텐츠를 분류하는데 사용하고, 1차적으로 멀티미디어 콘텐츠를 분류한 결과의 신뢰성이 낮은 경우에만 고 복잡도 기반의 특징 정보들을 추출하여 네트워크로 연결된 원격 장치(200)로 전송한다.
원격 장치(200)는 고 복잡도 기반의 특징 정보들을 이용하여 멀티미디어 데이터를 분류하여 그 결과 값만 네트워크를 통해 멀티미디어 콘텐츠 분류장치(100)로 전송한다.
멀티미디어 콘텐츠 분류장치(100)는 저 복잡도 기반의 특징 정보들을 이용하여 분류한 결과 값과 고 복잡도 기반의 특징 정보들을 이용하여 분류한 결과 값을 조합하여 최종적으로 멀티미디어 콘텐츠를 분류한다.
이하, 도 1을 참조하여 전술한 프로세스를 수행하는 각 장치들의 내부 구성을 구체적으로 살펴보도록 한다.
도 1을 참조하면, 본 발명에 따른 멀티미디어 콘텐츠 분류장치(100)는 멀티미디어 데이터 추출부(110), 로컬 멀티미디어 데이터 분석부(120), 멀티미디어 데이터 분류부(130), 네트워크 인터페이스부(140)를 포함한다.
멀티미디어 데이터 추출부(110)는 멀티미디어 콘텐츠에서 멀티미디어 데이터를 추출하여 로컬 멀티미디어 데이터 분석부로 전달한다. 여기서, 추출되는 멀티미디어 데이터는 색상(color), 모양(shape), 질감(texture) 등의 내용적인 특징이나 속성을 포함하는 영상 프레임 또는 픽처(picture)일 수 있다.
로컬 멀티미디어 데이터 분석부(120)는 전달된 멀티미디어 데이터에서 저 복잡도 기반의 제1 특징 정보를 추출한다. 여기서, 상기 제1 특징 정보는 전역 특징(Holistic feature) 속성을 가질 수 있다.
전역 특징은 MPEG-7 Visual Descriptors, LBP(Local Binary Patterns) 등과 같이 특징의 차원이 낮은 특징을 의미한다. 따라서, 연산 처리 성능이 낮은 멀티미디어 콘텐츠 분류장치(100)에서 특징을 추출하는 데 적합하며, 특징의 차원이 낮기 때문에 분류 모델의 크기도 상대적으로 작은 장점이 있다. 이하에서는, 전역 특징 중에서 MPEG-7 Visual Descriptors에 대한 개요 및 대표적인 기술자 중 하나인 EHD (Edge Histogram Descriptor)에 대해서 간단하게 살펴본다.
MPEG
-7 시각기술자(
HMMD
컬러 모델)
HMMD 컬러 모델은 영상 검색에 적합하고, 이것은 HSV 컬러 모델과 아주 유사한 특성을 가진다. HMMD 컬러 모델은 5개의 파라미터를 가지고 있다. Hue는 hue 범위 0°에서 360°에 의해 표현된다. 각이 증가하면, H는 빨간색(0°= 360°), 노란색(60°), 초록색(120°), 파란색(240°)으로 변화된다. Max는 검은색의 양을 말하며, 색조를 준다. Diff는 단일 색에 가깝고, 그레이의 양을 말하며, 명암을 준다. Sum은 색의 밝기를 계산한 것이다.
HMMD 컬러 모델은 RGB 컬러 모델을 통하여 얻을 수 있다. 여기서 Max와 Min 그리고 Diff, Sum은 0에서 1 사이의 값이고, H는 0°에서 360°사이에 존재한다.
에지 히스토그램 기술자(
EHD
)
에지 히스토그램 기술자(EHD)는 전체 영상 공간을 4X4의 16개 부분 영상(SUB-IMAGE)으로 분할한 후, 각 영역별 에지 히스토그램의 분포를 나타낸다. 분할된 각각의 부분 영상을 다시 임의의 개수로 나누어 이미지 블록(image-block)을 생성한다.
또한, 로컬 멀티미디어 데이터 분석부(120)는 추출된 제1 특징 정보를 이용하여 멀티미디어 콘텐츠를 분류한 제1 결과 값을 생성한다. 전역 특징 기반의 콘텐츠 분류는 SVM(Support Vector Machines), K-NN(Nearest Neighbors), 결정 트리 등의 다양한 패턴인식 분류 방법이 사용될 수 있으며, 필요에 따라서 사전에 학습된 분류 모델이 사용될 수 있다.
한편, 제1 결과 값은 그 신뢰도에 따라서 최종 결과 값이 될 수 있고, 혹은 최종 결과 값을 도출하기 위한 중간 생성 값이 될 수 있다.
구체적으로 설명하면, 로컬 멀티미디어 데이터 분석부(120)는 상기 제1 결과 값에 대한 신뢰도를 평가한다.
예를 들어, 콘텐츠 분류 신뢰도의 평가는 전역적 특징 기반 분류 결과로 생성되는 각 범주(Ci)에 대한 확률값(Pi)에 중 가장 높은 확률 값이 사전 정의된 임계값(T)보다 큰 경우 신뢰할 수 있다고 판단하는 방법이 사용될 수 있다.
또 다른 예로, 각 범주의 대표 값 또는 중심 값으로부터 입력 데이터까지의 거리(Li)가 계산되어 나오는 경우 가장 짧은 거리의 값이 사전 정의된 임계값(T)보다 작은 경우 신뢰할 수 있다고 판단하는 방법 등이 사용될 수 있다.
또 다른 예로, 각 범주의 대표 값 또는 중심 값으로부터 입력 데이터까지의 거리(Li)가 계산되어 나오는 경우 가장 짧은 거리의 값이 사전 정의된 임계값(T)보다 작은 경우 신뢰할 수 있다고 판단하는 방법 등이 사용될 수 있다.
또한, 로컬 멀티미디어 데이터 분석부(120)는 상기 제1 결과 값에 대한 신뢰도가 기 설정된 임계 값 이하인 경우로 판정된 경우에는, 멀티미디어 데이터에서 고 복잡도 기반의 제2 특징 정보들을 추출한다. 여기서, 제2 특징 정보는 지역 특징(Local feature) 속성을 가지는 고 차원의 속성 값일 수 있다.
지역 특징 추출은 SIFT(Scale Invariant Feature Transform), FAST(Features from Accelerated Segment Test), 해리스 코너 검출 등과 같은 다양한 특징 추출 알고리즘이 사용될 수 있으며, 각 특징마다 SIFT, SURF(Speeded Up Robust Features), BRIEF(Binary Robust Independent Elementary Features) 등의 다양한 특징 표현 방법을 사용하여 정보를 표현한다.
로컬 멀티미디어 데이터 분석부(120)는 추출된 제2 특징 정보들을 네트워크 인터페이스부(140)를 통해 원격 장치(200)로 전송한다.
한편, 원격 장치(200)는 네트워크 인터페이스부(140)를 통해 전송된 제2 특징 정보들을 이용하여 멀티미디어 콘텐츠를 분류한 제2 결과 값을 생성한다.
원격 장치(200)에서 수행되는, 지역 특징(제2 특징 정보)을 이용하는 분류 방법의 경우 특징의 차원이 높고, 영상에서 추출되는 모든 특징점에 대해서 주변 정보들을 기술한다. 이때, 각 특징점(영역) 별로 기술된 주변 정보를 사전에 생성된 사전과 비교하여 매핑하는 단계가 필요하기 때문에 높은 연산 처리 성능이 필요하고, 분류 모델의 크기도 전역 특징에 비하여 상대적으로 증가하게 된다. 따라서, 원격 장치(200)는 멀티미디어 콘텐츠 분류장치(100)에 비해 높은 연산 처리 능력을 갖는 프로세서를 구비할 필요가 있다.
원격 장치(200)는 지역 특징들로부터 콘텐츠를 분류하기 위한 특징 벡터를 구성한 후, 다양한 패턴인식 분류 방법을 사용하여 콘텐츠를 분류하게 된다. 지역 특징 기반 콘텐츠 분류는 SVM, K-NN, 결정 트리 등의 분류 방법이 사용될 수 있으며, 필요에 따라서 사전에 학습된 분류 모델이 사용될 수 있다.
한편, 지역 특징 기반의 분류 방법은 영상에서 지역 특징을 추출하는 단계, 추출된 지역 특징 정보를 사용하여 주변 영역의 정보를 표현하는 단계, 미리 정의된 사전과 매핑하여 특징 벡터를 생성 단계, 분류 알고리즘을 사용하여 콘텐츠를 구분하는 단계로 구성된다.
이중 특징 벡터를 생성하는 단계에서 시간이 많이 소요되기 때문에 본 발명에 따른 멀티미디어 콘텐츠 분류장치(100)에서는 특징 추출 및 표현 단계만을 수행하여 관련 정보(제2 특징 정보)를 원격 장치(200)로 전송한다. 이와 같은 방법을 사용하면 네트워크를 통하여 전송되는 데이터의 양을 영상의 전체 영역 또는 일부 영역을 전송하는 경우보다 줄 일 수 있으며, 연산량이 많은 단계를 원격에서 처리하기 때문에 전체적인 분류에 소요되는 시간을 줄일 수 있다.
원격 장치(200)에서 생성된 제2 결과 값은 네트워크 인터페이스부(140)를 통해 멀티미디어 데이터 분류부(130)로 전송된다.
멀티미디어 데이터 분류부(130)는 로컬 멀티미디어 데이터 분석부(120)에서 생성된 제1 결과 값과, 원격 장치(200)에서 전송된 제2 결과 값을 이용하여, 멀티미디어 콘텐츠에 대한 최종 분류 값을 생성한다.
이상에서는 본 발명에 따른 멀티미디어 콘텐츠 분류장치(100)의 구체적인 구성 및 각 구성의 기능, 동작에 대해서 살펴보았다. 이하, 도 1 및 2를 참조하여 본 발명에 따른 멀티미디어 콘텐츠 분류장치(100)가 수행하는 콘텐츠 분류방법에 대해서 살펴본다.
도 2는 본 발명의 다른 실시예에 따른 멀티미디어 콘텐츠 분류방법을 도시한 도면이다.
먼저, 멀티미디어 데이터 추출부(110)는 멀티미디어 콘텐츠에서 멀티미디어 데이터를 추출하여 로컬 멀티미디어 데이터 분석부로 전달한다(S10).
다음으로, 로컬 멀티미디어 데이터 분석부(120)는 상기 멀티미디어 데이터에서 전술한 저 복잡도 기반의 제1 특징 정보들을 추출한다(S20).
이후, 로컬 멀티미디어 데이터 분석부(120)는 상기 제1 특징 정보들에 기초하여 멀티미디어 콘텐츠를 분류한 제1 결과 값을 생성한다(S30).
그리고, 로컬 멀티미디어 데이터 분석부(120)는 상기 제1 결과 값에 대한 신뢰도를 평가한다(S40).
콘텐츠 분류 신뢰도의 평가는 전역적 특징 기반 분류 결과로 생성되는 각 범주(Ci)에 대한 확률값(Pi)에 중 가장 높은 확률 값이 사전 정의된 임계값(T)보다 큰 경우 신뢰할 수 있다고 판단하는 방법, 각 범주의 대표 값 또는 중심 값으로부터 입력 데이터까지의 거리(Li)가 계산되어 나오는 경우 가장 짧은 거리의 값이 사전 정의된 임계값(T)보다 작은 경우 신뢰할 수 있다고 판단하는 방법 등이 사용될 수 있다.
평가 결과, 상기 제1 결과 값에 대한 신뢰도가 기 설정된 임계 값을 상회하는 경우에는 상기 제1 결과 값이 멀티미디어 콘텐츠 분류의 최종 값으로 결정되고, 상기 제1 결과 값에 대한 신뢰도가 기 설정된 임계 값에 미치지 못하는 경우에는 로컬 멀티미디어 데이터 분석부(120)는 멀티미디어 데이터에서 고 복잡도 기반의 제2 특징 정보들을 추출한다(S50).
추출된 제2 특징 정보들은 네트워크로 연결된 원격 장치(200)로 전송되고, 원격 장치(200)는 상기 제2 특징 정보들에 기초하여 멀티미디어 콘텐츠를 분류한 제2 결과 값을 생성한다.
상기 제2 결과 값은 네트워크를 통해 멀티미디어 콘텐츠 분류장치(100)로 전송되고, 멀티미디어 데이터 분류부(130)는 상기 제1 결과 값과, 상기 제2 결과 값에 기초하여 최종적으로 멀티미디어 콘텐츠를 분류한다(S60).
한편, 상술한 본 발명에 따른 멀티미디어 콘텐츠 분류방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 멀티미디어 콘텐츠 분류장치 200: 원격 장치
110: 멀티미디어 데이터 추출부 120: 로컬 멀티미디어 데이터 분석부
130: 멀티미디어 데이터 분류부 140: 네트워크 인터페이스부
110: 멀티미디어 데이터 추출부 120: 로컬 멀티미디어 데이터 분석부
130: 멀티미디어 데이터 분류부 140: 네트워크 인터페이스부
Claims (5)
- 멀티미디어 데이터에서 기 설정된 저 복잡도 기반의 제1 특징 정보를 추출하고, 상기 제1 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제1 결과 값의 신뢰도를 기반으로 기 설정된 고 복잡도 기반의 제2 특징 정보를 선택적으로 추출하는 로컬 멀티미디어 데이터 분석부;
선택적으로 추출된 상기 제2 특징 정보를 네트워크로 연결된 원격 장치에 송신하고, 상기 원격 장치가 상기 제2 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제2 결과 값을 수신하는 네트워크 인터페이스부; 및
상기 제1 결과 값과 상기 제2 결과 값을 이용하여 상기 멀티미디어 데이터를 분류한 최종 결과 값을 출력하는 데이터 분류부;를 포함하는 멀티미디어 콘텐츠 분류장치. - 제 1 항에 있어서,
멀티미디어 콘텐츠로부터 상기 멀티미디어 데이터를 추출하여 상기 로컬 멀티미디어 데이터 분석부로 전달하는 멀티미디어 데이터 추출부를 더 포함하되,
상기 멀티미디어 데이터 추출부는 상기 멀티미디어 콘텐츠로부터 색상, 모양, 질감 중 하나 이상을 포함하는 영상 프레임 및 픽처 중 하나 이상을 포함하는 멀티미디어 데이터를 추출하는 것인 멀티미디어 콘텐츠 분류 장치. - 제 1 항에 있어서,
상기 제 1 특징 정보는 전역 특징 속성을 포함하되,
상기 로컬 멀티미디어 데이터 분석부는 상기 전역 특징 속성에 기초하여 분류된 제 1 결과값이 기 설정된 임계값 이하인 경우 상기 제 1 결과값의 신뢰도가 낮은 것으로 판단하고, 상기 제 2 특징 정보를 추출하는 것인 멀티미디어 콘텐츠 분류 장치. - 제 1 항에 있어서,
상기 제 2 특징 정보는 지역 특징 속성을 포함하되,
상기 제 2 결과값은 상기 제 2 특징 정보로부터 구성된 특징 벡터를 이용하여 패턴 인식 분류 방법에 따라 상기 멀티미디어 데이터를 분류하여 생성된 것인 멀티미디어 콘텐츠 분류 장치. - 멀티미디어 콘텐츠 분류 장치에서의 멀티미디어 콘텐츠 분류 방법은,
멀티미디어 콘텐츠로부터 멀티미디어 데이터를 추출하는 단계;
상기 멀티미디어 데이터에서 기 설정된 저 복잡도 기반의 제 1 특징 정보를 추출하는 단계;
상기 제 1 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제 1 결과값을 생성하는 단계;
상기 제 1 결과값의 신뢰도를 기반으로 기 설정된 고 복잡도 기반의 제 2 특징 정보를 선택적으로 추출하는 단계;
선택적으로 추출된 상기 제2 특징 정보를 네트워크로 연결된 원격 장치에 송신하는 단계;
상기 원격 장치가 상기 제2 특징 정보에 기초하여 상기 멀티미디어 데이터를 분류한 제2 결과 값을 수신하는 단계 및
상기 제1 결과 값과 상기 제2 결과 값을 이용하여 상기 멀티미디어 데이터를 분류한 최종 결과 값을 출력하는 단계를 포함하는 멀티미디어 콘텐츠 분류 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140003289A KR101758869B1 (ko) | 2014-01-10 | 2014-01-10 | 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140003289A KR101758869B1 (ko) | 2014-01-10 | 2014-01-10 | 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150083580A KR20150083580A (ko) | 2015-07-20 |
KR101758869B1 true KR101758869B1 (ko) | 2017-07-18 |
Family
ID=53873889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140003289A KR101758869B1 (ko) | 2014-01-10 | 2014-01-10 | 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101758869B1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105207813B (zh) * | 2015-08-28 | 2018-11-23 | 小米科技有限责任公司 | 智能设备排序方法和装置 |
US10902043B2 (en) * | 2016-01-03 | 2021-01-26 | Gracenote, Inc. | Responding to remote media classification queries using classifier models and context parameters |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001060071A2 (en) | 2000-02-14 | 2001-08-16 | The Kiss Principle Inc | Interactive multimedia user interface using affinity based categorization |
-
2014
- 2014-01-10 KR KR1020140003289A patent/KR101758869B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001060071A2 (en) | 2000-02-14 | 2001-08-16 | The Kiss Principle Inc | Interactive multimedia user interface using affinity based categorization |
Also Published As
Publication number | Publication date |
---|---|
KR20150083580A (ko) | 2015-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885100B2 (en) | Thumbnail-based image sharing method and terminal | |
CN108460389B (zh) | 一种识别图像中对象的类型预测方法、装置及电子设备 | |
JP6188954B2 (ja) | コンテンツベースの画像検索 | |
Girod et al. | Mobile visual search: Architectures, technologies, and the emerging MPEG standard | |
US10846571B2 (en) | System and method for recognizing logos | |
US9576221B2 (en) | Systems, methods, and devices for image matching and object recognition in images using template image classifiers | |
US9792895B2 (en) | System and method for using prior frame data for OCR processing of frames in video sources | |
WO2022111069A1 (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
US9483701B1 (en) | System and method for using segmentation to identify object location in images | |
US20150110387A1 (en) | Method for binary classification of a query image | |
Chu et al. | Image Retrieval Based on a Multi‐Integration Features Model | |
JP2007206920A (ja) | 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体 | |
CN117079355A (zh) | 一种对象图像鉴伪方法及装置、电子设备 | |
Singh et al. | Content-based image retrieval based on supervised learning and statistical-based moments | |
CN103995864B (zh) | 一种图像检索方法和装置 | |
CN112561976A (zh) | 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备 | |
CN109857897B (zh) | 一种商标图像检索方法、装置、计算机设备及存储介质 | |
Shah | Face detection from images using support vector machine | |
KR101758869B1 (ko) | 멀티미디어 콘텐츠 분류장치 및 이를 이용한 분류방법 | |
JP2017219984A (ja) | 画像検索システム、画像辞書生成システム、画像処理システム及びプログラム | |
JP5959446B2 (ja) | コンテンツをバイナリ特徴ベクトルの集合で表現することによって高速に検索する検索装置、プログラム及び方法 | |
CN111782874B (zh) | 视频检索方法、装置、电子设备和存储介质 | |
Du et al. | Image hashing for tamper detection with multiview embedding and perceptual saliency | |
JP2014211895A (ja) | 画像処理装置および方法、情報処理装置および方法、並びにプログラム | |
Zulkurnain et al. | Content-Based Image Retrieval System Using Fuzzy Colour and Local Binary Pattern with Apache Lucene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
GRNT | Written decision to grant |