[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100319150B1 - Method for image checking by weight automatic decision for each type and element feature element - Google Patents

Method for image checking by weight automatic decision for each type and element feature element Download PDF

Info

Publication number
KR100319150B1
KR100319150B1 KR1019990003183A KR19990003183A KR100319150B1 KR 100319150 B1 KR100319150 B1 KR 100319150B1 KR 1019990003183 A KR1019990003183 A KR 1019990003183A KR 19990003183 A KR19990003183 A KR 19990003183A KR 100319150 B1 KR100319150 B1 KR 100319150B1
Authority
KR
South Korea
Prior art keywords
feature
image
weight
similarity
type
Prior art date
Application number
KR1019990003183A
Other languages
Korean (ko)
Other versions
KR20000054861A (en
Inventor
이진수
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1019990003183A priority Critical patent/KR100319150B1/en
Priority to US09/495,250 priority patent/US7016916B1/en
Priority to JP2000596530A priority patent/JP3564068B2/en
Priority to AU24639/00A priority patent/AU2463900A/en
Priority to CNB00800126XA priority patent/CN1201267C/en
Priority to PCT/KR2000/000079 priority patent/WO2000045342A1/en
Priority to EP05077645A priority patent/EP1635270A3/en
Priority to CN2005100547495A priority patent/CN1661601B/en
Priority to EP00902998A priority patent/EP1066596A1/en
Publication of KR20000054861A publication Critical patent/KR20000054861A/en
Application granted granted Critical
Publication of KR100319150B1 publication Critical patent/KR100319150B1/en
Priority to US11/179,511 priority patent/US20050262067A1/en
Priority to US12/821,502 priority patent/US20100318522A1/en
Priority to US12/821,524 priority patent/US20100318523A1/en

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법에 관한 것으로, 특히 특징소 가중치를 특징소 타입별 가중치와 각 특징소를 이루는 요소별 가중치로 구성하며 이 특징소 타입별/요소별 가중치값을 검색 질의시 마다 자동으로 결정하여 그 검색 특성에 가장 적합한 특징소 가중치로 이미지 검색을 수행하기 위한 이미지 검색 방법에 관한 것으로, 종래의 이미지 검색 방법에서는 특징소 타입별 가중치만을 고려하거나 각 특징소 내의 요소별 평균적인 가중치를 미리 설정하여 이미지 검색을 수행하였는데, 이러한 특징소 및 특징소 내의 요소별 가중치는 참조하려는 이미지나 참조대상 이미지들의 특성에 따라 다양하게 나타나므로 가중치값을 미리 정의하기가 어려운 문제점이 있었다.The present invention relates to an image retrieval method by automatically determining the importance of each feature type and element, and in particular, the feature weight is composed of the weight of each feature type and the weight of each element constituting each feature. The present invention relates to an image retrieval method for automatically determining an element's weight value for each search query and performing an image search with the most appropriate feature weights for the search characteristics. Image search was performed by setting the average weight of each element in each feature in advance. Since the weight of each feature and the elements in the feature vary depending on the characteristics of the image to be referred or the image to be referred to, the weight value is predefined. There was a problem that was difficult to do.

본 발명에서는 특징소 가중치를 특징소 타입별 가중치와 각 특징소를 이루는 요소별 가중치로 구성하고 이 특징소 타입별/요소별 가중치값을 검색 질의시 마다 자동으로 조정하며 이때, 상기 특징소 타입별/요소별 가중치값은 참조대상 이미지를 복수개 선택하여 이 선택된 참조대상 이미지 리스트들의 특징소 타입별 유사성과 각 특징소를 이루는 요소별 유사성을 고려해 결정되고 이 결정된 특징소 가중치를 적용하여 이미지 검색을 수행함으로써 이미지 검색 기능을 강화하기 위한 이미지 검색 방법을 제공한다.In the present invention, the feature weight is composed of the weight of each feature type and the weight of each element constituting each feature, and the weight of each feature type / element is automatically adjusted for each search query. The weight value for each element is determined by selecting a plurality of reference images, taking into account the similarity between the feature types of the selected reference image lists and the similarity for each element constituting each feature, and performing the image search by applying the determined feature weights. This provides an image retrieval method for enhancing the image retrieval function.

Description

특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법{Method for image checking by weight automatic decision for each type and element feature element}Method for image checking by weight automatic decision for each type and element feature element}

본 발명은 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법에 관한 것으로, 특징소 가중치를 특징소 타입별 가중치와 각 특징소를 이루는 요소별 가중치로 구성하며 이 특징소 타입별/요소별 가중치값을 검색 질의시 마다 자동으로 결정하여 그 검색 특성에 가장 적합한 특징소 가중치로 이미지 검색을 수행하기 위한 이미지 검색 방법에 관한 것이다.The present invention relates to an image retrieval method by automatically determining the importance of each feature type and element. The feature weight is composed of the weight of each feature type and the weight of each element constituting each feature. The present invention relates to an image retrieval method for automatically determining an individual weight value for each search query and performing an image search with feature weights most suitable for the search characteristics.

이때, 특징소 타입별/요소별 가중치값은 참조대상 이미지를 복수개 선택하고 이 선택된 참조대상 이미지 리스트들의 특징소 타입별 유사성과 각 특징소를 이루는 요소별 유사성을 고려하여 결정하는 것을 특징으로 한다.In this case, the weight value for each feature type / element may be determined by selecting a plurality of reference images and considering the similarity for each feature type and similarity for each element constituting each feature.

또한, 본 발명은 상기 참조대상 이미지 리스트를 이용해 결정된 특징소 타입별/요소별 가중치값을 적용하여 이미지를 검색한 결과, 추출하고자 하는 이미지가 존재하지 않으면 추출을 원하는 이미지와 유사한 다른 참조대상 이미지를 선택해 이를 참조대상 이미지 리스트에 추가한후, 다시 참조대상 이미지 리스트들의 특징소 타입별 유사성과 각 특징소를 이루는 요소별 유사성을 고려하여 특징소 타입별/요소별 가중치값을 결정하는 것을 특징으로 한다.In addition, the present invention is a result of searching for an image by applying the weight value for each feature type / element determined using the reference image list, if there is no image to extract, other reference image similar to the image to be extracted After selecting and adding them to the reference image list, the weight value for each feature type / element is determined in consideration of the similarity of each feature type and the similarity of each element constituting each feature. .

또한, 본 발명은 참조대상 이미지 리스트를 이용해 결정된 특징소 타입별/요소별 가중치값을 적용하여 이미지를 검색한 결과, 추출하고자 하는 이미지가 존재하지 않으면 추출을 원하는 이미지와 유사한 다른 참조대상 이미지들을 참조대상 이미지 리스트에 추가하고 추출을 원하는 이미지와 유사하지 않는 다른 이미지들을 비유사 이미지 리스트에 추가한후, 다시 참조/비유사 이미지 리스트들의 특징소 타입별 유사성과 각 특징소를 이루는 요소별 유사성을 각각 고려하여 특징소 타입별/요소별 가중치값을 결정하는 것을 특징으로 한다.In addition, the present invention searches for an image by applying a weight value for each feature type / element determined using the reference image list, and if there is no image to be extracted, other reference images similar to the image to be extracted are referred to. After adding to the target image list and adding other images that are not similar to the image to be extracted to the similar image list, the similarity of each feature type and similarity of each constituent element of each reference feature In consideration of the above, the weight value for each feature type / element is determined.

종래의 이미지 검색 방법(Image quary system and method;No 5579471, Virage image search engine;www.virage.com, Relevance feedback techniques in interactive;Yong Rui, SPIE Vol.3312)에서는 데이타 베이스에 저장된 이미지들을 검색시 칼라(color), 질감(texture), 형태(shape) 등의 특징소들을 이용하여 유사도 검색을 수행하였다.In the conventional image quary system and method (No 5579471, Virage image search engine; www.virage.com, Relevance feedback techniques in interactive; Yong Rui, SPIE Vol. 3312), a color is displayed when searching images stored in a database. Similarity search was performed using features such as color, texture, and shape.

이때, 추출하고자 하는 이미지 특성에 따라 특징소들의 가중치가 다르며, 또 하나의 특징소라도 그 특징소 내에 존재하는 부분적인 요소들에 따라서 가중치가 다를 수 있다.At this time, the weights of the features are different according to the image characteristic to be extracted, and even one feature may have a different weight depending on the partial elements present in the features.

예를 들어, 칼라 히스토그램을 사용하는 이미지 검색에서 칼라 히스토그램이 n차원으로 이루어져 있다면 n차원을 이루는 각 요소마다 그 가중치가 다를 수 있다.For example, in an image search using a color histogram, if the color histogram is composed of n dimensions, the weights may be different for each element forming the n dimension.

그러나, 상기 종래의 이미지 검색 방법에서는 하나의 특징소 내 요소별 가중치는 고려하지 않고 특징소 타입별(칼라, 질감, 형태 등) 가중치만을 고려하여 이미지 검색을 수행하였으며, 또 특징소 내의 요소별 평균적인 가중치를 미리 설정하여 이미지를 검색하는 방법도 있었으나, 이러한 특징소 및 특징소 내의 요소별 가중치는 참조하려는 이미지나 참조대상 이미지들의 특성에 따라 다양하게 나타나므로 그 값을 미리 정의하기가 어렵고 일단 정의되어도 상황에 따라 많은 오류를 발생시킬 수 있는 문제점이 있었다.However, in the conventional image retrieval method, the image retrieval was performed by considering only the weight of each feature type (color, texture, shape, etc.) without considering the weight of each element in one feature. There was also a method of retrieving an image by setting a predetermined weight in advance, but since the weight for each feature and the elements within the feature vary depending on the characteristics of the image to be referred to or the image to be referred to, it is difficult to predefine the value. Even if there was a problem that can generate a lot of errors depending on the situation.

본 발명은 특징소 가중치를 적용하여 이미지를 검색함에 있어서, 특징소 가중치를 특징소 타입별 가중치와 각 특징소 내의 요소별 가중치로 구성하여 검색 질의시 마다 상기 특징소 타입별 가중치와 각 특징소 내의 요소별 가중치를 자동으로 결정하며 이 결정된 특징소 타입별 가중치와 각 특징소 내의 요소별 가중치를 적용하여 이미지 검색을 수행함으로써 이미지 검색 기능을 강화하기 위한 이미지 검색 방법을 제공하기 위한 것이다.According to the present invention, in retrieving an image by applying feature weights, the feature weights are composed of the weight of each feature type and the weight of each element in each feature, so that the weight of each feature type and each feature in each search query is performed. The present invention provides an image retrieval method for reinforcing an image retrieval function by automatically determining a weight for each element and performing an image search by applying the determined weight for each feature type and the weight for each element in each feature.

도 1은 특징소들을 히스토그램을 이용하여 표현한 도면1 is a representation of features using a histogram

도 2는 이미지를 로컬 그리드(Local grid) 정보로 표현한 도면2 is a view showing an image as local grid (Local grid) information

도 3은 본 발명에 적용되는 복수개의 참조대상 이미지를 이용하여 특징소 타입별/요소별 가중치를 결정해 이미지를 검색하는 과정을 나타낸 플로우챠트3 is a flowchart illustrating a process of retrieving an image by determining weights for each feature type / element by using a plurality of reference target images applied to the present invention.

도 4는 상기의 이미지 검색 결과, 원하는 이미지가 존재하지 않으면 다른 참조대상 이미지를 선택하여 특징소 타입별/요소별 가중치를 결정해 이미지를 검색하는 과정을 나타낸 플로우챠트FIG. 4 is a flowchart illustrating a process of searching for an image by determining a weight for each feature type / element by selecting another reference image if a desired image does not exist as a result of the above image search.

도 5는 상기의 이미지 검색결과, 원하는 이미지가 존재하지 않으면 추출을 원하는 이미지와 유사한 다른 참조대상 이미지들을 선택하여 참조대상 이미지 리스트에 추가하고, 추출을 원하는 이미지와 유사하지 않는 비유사 이미지들을 비유사 이미지 리스트에 추가하여 각각의 이미지 리스트로부터 특징소 타입별/요소별 가중치를 결정해 이미지를 검색하는 과정을 나타낸 플로추챠트FIG. 5 shows the above image search results, if the desired image does not exist, other reference images similar to the image to be extracted are selected and added to the reference image list, and similar images not similar to the image to be extracted are dissimilar. Flowchart showing the process of retrieving images by determining weights for each feature type / element from each image list in addition to the image list

본 발명에서는 특징소 가중치를 특징소 타입별 가중치와 각 특징소를 이루는 요소별 가중치로 구성하며 이 특징소 타입별/요소별 가중치값을 검색 질의시 마다 자동으로 결정하여 그 검색 특성에 가장 적합한 특징소 가중치로 이미지 검색을 수행함을 특징으로 한다.In the present invention, the feature weight is composed of the weight of each feature type and the weight of each element constituting each feature, and the weight value of each feature type / element is automatically determined for each search query and is most suitable for the search characteristic. The image search is performed with a small weight.

이미지 검색 시스템에서는 흔히 칼라(color), 질감(texture), 형태(shape) 등의 특징소들을 도 1에 도시된 바와같이, 히스토그램을 이용하여 표현하며 도 1에 표현된 히스토그램의 특징소 내의 요소들은 모두 24개로 이루어져 있다.In an image retrieval system, features such as color, texture, and shape are often represented using a histogram, as shown in FIG. 1, and elements in the features of the histogram represented in FIG. There are 24 in all.

이때, 24개의 요소중 어떤 요소는 더 중요하고 어떤 요소는 덜 중요하다는 정보를 각 요소에 대한 가중치로 표현할 수 있다.At this time, the information of which 24 elements are more important and which elements are less important may be expressed as a weight for each element.

도 2는 이미지에 로컬 그리드(Local grid) 정보를 나타낸 것으로, 하나의 이미지를 N×M차원으로 영역을 나누어 각 영역별로 이미지 정보를 표시한다.FIG. 2 illustrates local grid information on an image. The image is divided into regions of one image in N × M dimension to display image information for each region.

이때, 이미지 정보를 표시하는 방법으로는 그리드별로 칼라 히스토그램을 표시하거나 또는 하나의 대표칼라를 지정하는 방법 등 여러 방법으로 이미지 정보를 표시할 수 있다.In this case, the image information may be displayed by various methods such as displaying a color histogram for each grid or designating one representative color.

또한, N×M개의 그리드 영역중 사용자가 어떤 영역은 더 중요하고 어떤 영역은 덜 중요하다는 정보를 각 그리드에 대한 가중치로 표현할 수 있고, 또는 특정 임계치를 두어 가중치가 임계치를 넘는 그리드정보는 그대로 사용하고 임계치를 넘지 못하면 Don't care로 처리하여 이 그리드정보는 이미지 검색시 영향을 주지 않도록 할 수도 있다.In addition, among N × M grid areas, the user can express the information that some areas are more important and which areas are less important as the weight for each grid, or use a specific threshold to use the grid information over the threshold as it is. If the threshold is not exceeded, Don't Care can be used to prevent this grid information from being affected when searching for images.

한편, 본 발명은 특징소 가중치를 특징소 타입별 가중치와 각 특징소를 이루는 요소별 가중치로 구성하여 이 특징소 타입별/요소별 가중치값을 검색 질의시 마다 자동으로 결정하는데, 특징소 타입별/요소별 가중치값은 다음과 같은 방법으로 결정된다.Meanwhile, the present invention configures feature weights by weights by feature types and weights by elements constituting each feature to automatically determine the weight value by feature type / element for each search query. The weight value for each element is determined as follows.

먼저, 복수개의 참조대상 이미지를 선택하여 이 선택된 참조대상 이미지 리스트들의 특징소 타입별 유사성과 각 특징소 내의 요소별 유사성을 측정하여 특징소 타입별 및 요소별 가중치값을 결정할 수 있으며 이를 도 3을 참조하여 설명하면 다음과 같다.First, a plurality of reference images may be selected to determine similarity for each feature type and similarity for each element in each feature of the selected reference image lists to determine weight values for each feature type and element. If described with reference to:

참조대상 이미지들의 특징소 타입별 유사성을 측정하여 먼저 특징소 타입별 가중치값을 결정한다.The similarity of each feature type of reference images is measured to determine a weight value of each feature type.

이때, 특징소 타입별 유사성 측정에 의한 특징소 타입별 가중치값은 다음과 같이 계산한다.At this time, the weight value for each feature type by measuring similarity for each feature type is calculated as follows.

n;참조대상 수n; reference number

m;유사도 측정에 사용된 특징소 수m; number of features used to measure similarity

;k번째 특징소의 가중치 weight of the kth feature

;k번째 특징소를 사용했을 때 i번째 참조대상 이미지와 j번째 참조대상 이미지의 유사도 Similarity between the i th reference image and the j th reference image when using the k th feature

;k번째 특징소의 기여도로서 유사하다고 결정하는데 영향을 준 특징소의 급수(Degree)이다. Contribution of the kth feature, which is the series of features that influenced it to be determined similar.

즉, 특징소 타입별 가중치값()은 참조 대상 이미지들간의 유사도를 계산하여 유사도가 큰 요소가 가장 중요한 요소로 작용되므로 유사성이 높을 수록 특징소 타입별 가중치값도 높아진다.That is, the weight value for each feature type ( ) Calculates the similarity between the images to be referred to, so the factor with the highest similarity acts as the most important factor, so the higher the similarity, the higher the weighting value for each feature type.

그리고, 특징소 타입별 가중치값이 결정되면 참조대상 이미지들의 각 특징소 내의 요소별 유사도를 측정하여 요소별 가중치값을 결정한다.When the weight value for each feature type is determined, the similarity for each element in each feature of the reference images is measured to determine the weight value for each element.

이때, 특징소 내의 요소별 유사도 측정에 의한 요소별 가중치값은 다음과 같이 계산한다.At this time, the weight value for each element by measuring the similarity for each element in the feature is calculated as follows.

;요소 i의 가중치,는 상수 ; Weight of element i, Is a constant

;요소 i에 대한 참조대상 이미지들 내에서의 유사성 Similarity in reference images for element i

는 상수 Is a constant

;참조대상 이미지 리스트 내에서의 요소 i의 평균 ; Average of element i in the reference image list

;참조대상 이미지 리스트 내에서의 요소 i의 분산이다. ; Distribution of element i in the reference image list.

즉, 특징소 내의 각 요소별 가중치값()은 참조대상 이미지 리스트에서 유사성을 크게 갖는 요소일수록 중요하다고 판단되어 그 요소성분의 분산에 반비례하고, 요소의 평균값이 큰 값이라면 같은 분산이라도 중요한 요소로 작용되므로 요소성분의 평균값에 비례한다.That is, the weight value of each element in the feature ( ) Is considered to be more important in the reference image list, and is inversely proportional to the variance of the component. If the average value of the element is large, the same variance acts as an important factor and is proportional to the average value of the component.

이와같이, 결정된 특징소 타입별 가중치값과 요소별 가중치값을 적용하여 이미지 검색을 수행한다.As such, the image search is performed by applying the determined weight value for each feature type and the weight value for each element.

한편, 상기와 같이 참조대상 이미지를 선택하여 참조대상 이미지들간의 특징소 타입별/요소별 가중치값을 이용해 이미지를 검색한 결과, 검색된 이미지 리스트에서 추출하고자 하는 이미지가 존재하지 않을 경우 추출하고자 하는 대상과 유사한 다른 참조대상 이미지를 선택하여 이를 참조대상 이미지 리스트에 추가한후 다시 참조대상 이미지들간의 특징소 타입별/요소별 가중치값을 도 4에 도시된 바와같이 구한다.Meanwhile, as a result of searching for an image using a weight value for each feature type / element among the reference image by selecting the reference image as described above, if there is no image to be extracted from the searched image list, the target to be extracted After selecting another reference image similar to, and adding it to the reference image list, the weight value for each feature type / element between the reference images is obtained as shown in FIG. 4.

도 3의 과정에서 참조대상 이미지들간의 특징소 타입별/요소별 가중치값을 이용하여 이미지를 검색한 결과, 검색된 이미지 리스트에서 추출하고자 하는 이미지가 존재하면 동작을 완료하고, 그렇지 않으면 원하는 이미지와 유사한 다른 참조대상 이미지를 선택하여 이를 참조대상 이미지 리스트에 추가한다.In the process of FIG. 3, as a result of searching for an image using a weight value for each feature type / element among reference images, if an image to be extracted from the searched image list exists, the operation is completed. Select another reference image and add it to the reference image list.

그런다음, 다시 상기의 참조대상 이미지 리스트(추가 선택된 참조대상 이미지 포함)들의 특징소 타입별/요소별 유사성을 측정하여 도 3에 도시된 계산식으로 각각 특징소 타입별 가중치값과 요소별 가중치값을 결정하여 이미지 검색을 수행한다.Then, the similarity for each feature type / element of the reference object image list (including the additional selected reference object image) is again measured, and the weight value for each feature type and the weight value for each element are calculated using the equation shown in FIG. 3. Determine and perform an image search.

또 다른 방법으로, 도 3의 과정에서 참조대상 이미지를 선택하여 참조대상 이미지들간의 특징소 타입별/요소별 가중치값을 이용해 이미지를 검색한 결과, 추출하고자 하는 이미지가 존재하지 않으면 추출하고자 하는 이미지와 유사한 다른 참조대상 이미지들을 참조대상 이미지 리스트에 추가하고, 또 추출하고자 하는 이미지와 유사하지 않는 다른 이미지들을 비유사 이미지 리스트에 추가한다.Alternatively, as a result of searching for an image using a weight value for each feature type / element among the reference images by selecting the reference image in FIG. 3, if the image to be extracted does not exist, the image is to be extracted. Add other reference images similar to the to the reference image list, and add other images not similar to the image to be extracted to the dissimilar image list.

그런다음, 참조대상 이미지 리스트에서 특징소들의 타입별/요소별 유사성을 측정하고, 비유사 이미지 리스트에서도 특징소들의 타입별/요소별 비유사성을 측정하여 측정된 유사성과 비유사성에 의한 특징소들의 타입별 가중치값과 요소별 가중치값을 결정한다.Then, by measuring the similarity by type / element of the features in the reference image list and by measuring the similarity by type / element of the features in the similar image list, The weight value for each type and the weight value for each element are determined.

이때, 참조대상/ 비유사 이미지 리스트들의 특징소 타입별/요소별 유사성 측정에 의한 특징소들의 타입별 가중치값은 다음과 같이 계산한다.At this time, the weight value of each type of features by measuring similarity for each feature type / element of the reference object / unlike image lists is calculated as follows.

n;참조대상 이미지 리스트 또는 비유사 이미지 리스트에서의 참조대상 수n; the number of references in the reference image list or the dissimilar image list

m; 유사도 측정에 사용된 특징소 수m; Number of features used to measure similarity

;k번째 특징소의 최종 가중치 the final weight of the kth feature

;k번째 특징소를 사용했을 때 i번째 참조대상 이미지와 j번째 참조대상 이미지의 유사도 Similarity between the i th reference image and the j th reference image when using the k th feature

;k번째 특징소의 기여도이다. The contribution of the kth feature.

;참조대상 이미지 리스트에서 k번째 특징소의 가중치 ; Weight of k th feature in the reference image list

;비유사 이미지 리스트에서 k번째 특징소의 가중치이다. The weight of the k th feature in the dissimilar image list.

즉, 특징소 타입별 가중치값()은 참조대상 이미지 리스트의 유사성과 비유사 이미지 리스트의 유사성을 계산하여 참조대상 이미지 리스트일 경우 유사성이 높을 수록 비유사 이미지 리스트일 경우에는 유사성이 낮을 수록 특징소 타입별 가중치값이 높아진다.That is, the weight value for each feature type ( ) Calculates the similarity between the reference image list and the similarity image list, and the higher the similarity in the reference image list, the lower the similarity in the non-similar image list, and the higher the weight value for each feature type.

그리고, 특징소 타입별 가중치값이 결정되면 참조대상/ 비유사 이미지리스트들의 각 특징소 내의 요소별 유사도를 측정하여 요소별 가중치값을 결정한다.When the weight value of each feature type is determined, the similarity value of each element in each feature of the reference object / unlike image lists is measured to determine the weight value of each element.

이때, 특징소 내의 요소별 유사도 측정에 의한 요소별 가중치값은 다음과 같이 계산한다.At this time, the weight value for each element by measuring the similarity for each element in the feature is calculated as follows.

;요소 i의 가중치,는 상수 ; Weight of element i, Is a constant

;요소 i에 대한 참조대상 이미지 리스트 내에서의 유사성 The similarity in the reference image list for element i

;요소 i에 대한 비유사 이미지 리스트 내에서의 비유사성 Dissimilarity in the dissimilar image list for element i

는 상수 Is a constant

;해당 리스트(참조대상 및 비유사 이미지) 내에서의 요소 i의 평균 ; Average of factor i in that list (referenced and dissimilar images)

;해당 리스트(참조대상 및 비유사 이미지) 내에서의 요소 i의 분산 The variance of element i within that list (referenced and dissimilar images)

즉, 요소별 가중치값은 참조대상 이미지 리스트의 요소별 유사성과 비유사 이미지 리스트의 요소별 유사성을 계산하여 참조대상 이미지 리스트일 경우에는 유사성이 높을 수록 비유사 이미지 리스트일 경우 유사성이 낮을 수록 특징소 타입별 가중치값이 높아진다.That is, the weight value of each element calculates the similarity of each element of the reference image list and the similarity of each element of the dissimilar image list, and the higher the similarity in the case of the reference image list, the lower the similarity in the case of the dissimilar image list. The weight value for each type is increased.

이와같이, 특징소 타입별 가중치값과 요소별 가중치값이 모두 결정되면 이미지 검색시 유사도는 다음과 같이 계산된다.As such, when both the weight value for each feature type and the weight value for each element are determined, the similarity is calculated as follows.

;이미지와이미지의 k타입 특징소 i번째 요소의 차이 ; With images Difference of the i-th element of the k-type feature of the image

;k타입 특징소의 i번째 요소의 가중치 weight of the i th element of the k feature

;k타입 특징소의 가중치 weight of k-type feature

n;특징소 타입수n; number of feature types

km;k타입 특징소의 요소 수km; number of elements of type k feature

즉, 이미지들의 각 특징소 내의 요소 차이값과 각 특징소 내의 요소별 가중치값과 특징소 타입별 가중치값을 곱한 값이 된다.That is, the element difference value in each feature of the images is multiplied by the weight value for each element in each feature and the weight value for each feature type.

상기에서 설명한 바와같이, 본 발명은 특징소의 타입별 가중치와 각 특징소내의 요소별 가중치를 두고 이 타입별 가중치값과 요소별 가중치값을 이미지 검색시마다 자동으로 결정해 줌으로써 이미지 검색 기능을 향상시킬 수 있다.As described above, the present invention can improve the image retrieval function by automatically determining the weight value of each type and the weight value of each element for each image search by placing the weight of each feature and the weight of each element in each feature. have.

또한, 사용자의 검색 관점을 간접적으로 반영해 주므로 주관적인 검색에 효과적이며, 특징소내의 요소별 중요한 요소만을 위주로 검색하므로 잡음에 대한 오류가 적고 사용자가 질의한 검색 데이타를 이미지 검색 시스템이 간접적으로 파악할 수 있으므로 사용자가 원하는 이미지를 보다 효율적으로 추출할 수 있는 효과가 있다.In addition, it is effective for subjective search because it indirectly reflects the user's search point of view, and the image search system can identify the search data inquired by the user indirectly because it searches for only the important elements for each element in the feature. Therefore, the user can extract the desired image more efficiently.

Claims (9)

특징소 가중치를 특징소 타입별 가중치와 각 특징소를 이루는 요소별 가중치로 구성하여 이미지를 검색함에 있어서,In retrieving an image by configuring the feature weights by the weight of each feature type and the weight of each element constituting each feature, 상기 특징소 타입별/요소별 가중치값은, 참조대상 이미지를 복수개 선택하고,The weight value for each feature type / element may include selecting a plurality of reference target images. 상기 선택된 참조대상 이미지 리스트들의 특징소 타입별 유사성을 측정하고,Measuring similarity for each feature type of the selected reference image lists, 측정된 특징소 타입별 유사성에 의한 특징소 타입별 가중치를 자동으로 결정하고,Automatically determine the weight for each feature type based on the similarity for each feature type 참조대상 이미지들의 각 특징소 내의 요소별 유사성을 측정하고,Measuring similarity of each element in each feature of the reference images, 측정된 요소별 유사성에 의한 특징소 내의 각 요소별 가중치를 자동으로 결정하고,Automatically determine the weight of each element in the feature by the measured similarity of each element, 결정된 특징소 타입별 가중치와 각 특징소 내의 요소별 가중치를 적용하여 이미지 검색을 수행하는 것을 포함하는 것을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.And performing an image search by applying the determined weights for each feature type and the weights for each element in each feature. 제 1항에 있어서, 참조대상 이미지 리스트를 이용해 결정된 특징소 타입별/요소별 가중치값을 적용하여 이미지를 검색한 결과, 추출하고자 하는 이미지가 존재하지 않으면 추출을 원하는 이미지와 유사한 다른 참조대상 이미지를 선택해 이를 참조대상 이미지 리스트에 추가한후, 다시 참조 이미지 리스트들의 특징소 타입별 유사성과 각 특징소를 이루는 요소별 유사성을 고려하여 특징소 타입별/요소별 가중치값을 결정하는 것을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.The method of claim 1, wherein the image is searched by applying a weight value for each feature type / element determined using the reference image list. If the image to be extracted does not exist, another reference image similar to the image to be extracted is detected. After selecting and adding them to the reference image list, the weight value for each feature type / element is determined in consideration of the similarity of each feature type and the similarity of each element constituting each feature. Image retrieval method by automatic determination of importance by small type and element. 제 1항 또는 제 3항에 있어서, 특징소 타입별/요소별 가중치값은 참조대상 이미지 리스트에 존재하는 이미지들의 특징소 타입별 유사성을 비교하여 유사성이 높을 수록 특징소 타입별/요소별 가중치값이 높게 설정됨을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.The weight value of each feature type / element according to claim 1 or 3, wherein the weight value of each feature type / element is compared with similarity of feature types of images existing in the reference image list, and the higher the similarity is. The image retrieval method by the automatic determination of the importance of each feature type and element, characterized in that the high setting. 제 1항에 있어서, 참조대상 이미지 리스트를 이용해 결정된 특징소 타입별/요소별 가중치값을 적용하여 이미지를 검색한 결과, 추출하고자 하는 이미지가 존재하지 않으면 추출을 원하는 이미지와 유사한 다른 참조대상 이미지들을 참조대상 이미지 리스트에 추가하고 추출을 원하는 이미지와 유사하지 않는 다른 이미지들을 비유사 이미지 리스트에 추가한후, 다시 참조대상/비유사 이미지 리스트들의 특징소 타입별 유사성과 각 특징소를 이루는 요소별 유사성을 각각 고려하여 특징소 타입별/요소별 가중치값을 결정하는 것을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.The image search method according to claim 1, wherein the image is searched by applying the weight value for each feature type / element determined using the reference image list. If the image to be extracted does not exist, other reference images similar to the image to be extracted are extracted. After adding to the list of reference images and adding other images that are not similar to the image to be extracted to the list of similar images, the similarity between the feature types and the elements that make up each feature To determine the weight value for each feature type / element by considering each of the feature types. 제 5항에 있어서, 특징소 타입별/요소별 가중치값은 참조대상/비유사 이미지 리스트에 존재하는 이미지들의 특징소 타입별 및 각 특징소를 이루는 요소별 유사성을 각각 비교하여 참조 이미지 리스트에 해당하는 경우에는 유사성이 높을 수록, 비유사 이미지 리스트에 해당하는 경우에는 유사성이 낮을 수록 특징소 타입별 가중치값은 높게 설정됨을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.The weight value of each feature type and each element corresponds to the reference image list by comparing the similarity between each feature type and each element constituting each feature of the images present in the reference object / non-similar image list. In this case, the higher the similarity, the lower the similarity in the case of a non-similar image list, the higher the weight value for each feature type is set. 제 1항 내지 제 6항의 어느 한 항에 있어서, 각 요소별 가중치는 N차원의 칼라 히스토그램에서 각 요소별로 가중치를 두는 것을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.7. The image retrieval method according to any one of claims 1 to 6, wherein the weight of each element is weighted for each element in an N-dimensional color histogram. 제 1항 내지 제 6항의 어느 한 항에 있어서, 각 요소별 가중치는 로컬 그리드 정보에서 각 그리드별로 가중치를 두는 것을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.7. The image retrieval method according to any one of claims 1 to 6, wherein the weight for each element is weighted for each grid in the local grid information. 제 1항 내지 제 6항의 어느 한 항에 있어서, 각 요소별 가중치는 로컬 그리드 정보에서 특정 임계치를 기준으로 그 이상의 가중치값을 가지는 그리드만 가중치를 두는 것을 특징으로 하는 특징소 타입별 및 요소별 중요 자동 판단에 의한 이미지 검색 방법.The method of claim 1, wherein the weight for each element weights only grids having more weights based on a specific threshold value in the local grid information. Image retrieval method by automatic judgment. 제 1항에 있어서, 특징소 가중치를 특징소 타입의 수가 복수개일 때는 타입별/요소별 가중치로 구성하고, 특징소 타입의 수가 하나일 때는 각 특징소를 이루는 요소별 가중치로만 구성하며 이 요소별 가중치값을 자동으로 결정하여 그 검색 특성에 가장 적합한 요소별 가중치값으로 이미지 검색을 수행함을 특징으로 하는 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색 방법.The method of claim 1, wherein the feature weights are composed of weights for each type / element when the number of feature types is plural, and only for each element constituting each feature when the number of feature types is one. An image retrieval method by automatically determining the importance of each feature type and element, characterized in that the weight value is automatically determined and the image search is performed using the weight value for each element most suitable for the search characteristics.
KR1019990003183A 1999-02-01 1999-02-01 Method for image checking by weight automatic decision for each type and element feature element KR100319150B1 (en)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1019990003183A KR100319150B1 (en) 1999-02-01 1999-02-01 Method for image checking by weight automatic decision for each type and element feature element
US09/495,250 US7016916B1 (en) 1999-02-01 2000-01-31 Method of searching multimedia data
AU24639/00A AU2463900A (en) 1999-02-01 2000-02-01 Method of searching multimedia data
CNB00800126XA CN1201267C (en) 1999-02-01 2000-02-01 Method of searching multimedia data
PCT/KR2000/000079 WO2000045342A1 (en) 1999-02-01 2000-02-01 Method of searching multimedia data
EP05077645A EP1635270A3 (en) 1999-02-01 2000-02-01 Method of searching multimedia data
JP2000596530A JP3564068B2 (en) 1999-02-01 2000-02-01 Search method of multimedia data
CN2005100547495A CN1661601B (en) 1999-02-01 2000-02-01 Method of searching multimedia data
EP00902998A EP1066596A1 (en) 1999-02-01 2000-02-01 Method of searching multimedia data
US11/179,511 US20050262067A1 (en) 1999-02-01 2005-07-13 Method of searching multimedia data
US12/821,502 US20100318522A1 (en) 1999-02-01 2010-06-23 Method of searching multimedia data
US12/821,524 US20100318523A1 (en) 1999-02-01 2010-06-23 Method of searching multimedia data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990003183A KR100319150B1 (en) 1999-02-01 1999-02-01 Method for image checking by weight automatic decision for each type and element feature element

Publications (2)

Publication Number Publication Date
KR20000054861A KR20000054861A (en) 2000-09-05
KR100319150B1 true KR100319150B1 (en) 2002-01-04

Family

ID=19572924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990003183A KR100319150B1 (en) 1999-02-01 1999-02-01 Method for image checking by weight automatic decision for each type and element feature element

Country Status (1)

Country Link
KR (1) KR100319150B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427864B1 (en) * 2012-10-11 2014-09-19 한국과학기술원 Per-class key feature weighting method for image retrieval

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359918B1 (en) * 1999-11-29 2002-11-04 엘지전자 주식회사 Multimedia Searching System Using Color Histogram
KR100353798B1 (en) * 1999-12-01 2002-09-26 주식회사 코난테크놀로지 Method for extracting shape descriptor of image object and content-based image retrieval system and method using it

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239862A (en) * 1994-03-01 1995-09-12 Nippon Steel Corp Image data base retrieval system
JPH09101970A (en) * 1995-10-06 1997-04-15 Omron Corp Method and device for retrieving image
JPH1139332A (en) * 1997-07-22 1999-02-12 Hitachi Ltd Method and device for retrieving image and retrieval service utilizing it
KR19990069959A (en) * 1998-02-16 1999-09-06 전주범 Image data retrieval method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239862A (en) * 1994-03-01 1995-09-12 Nippon Steel Corp Image data base retrieval system
JPH09101970A (en) * 1995-10-06 1997-04-15 Omron Corp Method and device for retrieving image
JPH1139332A (en) * 1997-07-22 1999-02-12 Hitachi Ltd Method and device for retrieving image and retrieval service utilizing it
KR19990069959A (en) * 1998-02-16 1999-09-06 전주범 Image data retrieval method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101427864B1 (en) * 2012-10-11 2014-09-19 한국과학기술원 Per-class key feature weighting method for image retrieval

Also Published As

Publication number Publication date
KR20000054861A (en) 2000-09-05

Similar Documents

Publication Publication Date Title
KR100451649B1 (en) Image search system and method
US6704725B1 (en) Method of searching multimedia data
US7016916B1 (en) Method of searching multimedia data
US20020131641A1 (en) System and method for determining image similarity
US6574616B1 (en) Stochastic visually based image query and retrieval system
KR100860902B1 (en) Method and apparatus for representing and searching for colour images
US6347313B1 (en) Information embedding based on user relevance feedback for object retrieval
US6522782B2 (en) Image and text searching techniques
EP1128282A2 (en) Method and system for search and retrieval of similar patterns
JPH07160731A (en) Method and device for picture retrieval
JP2001202523A (en) Method and device for image processing
KR20050004044A (en) Method and device for measuring visual similarity
US6522780B1 (en) Indexing of images and/or text
US7373021B2 (en) Image search program, information storage medium, image search apparatus and image search method
KR100319151B1 (en) Data structure of multi-level image and method for image checking using this structure
KR100319150B1 (en) Method for image checking by weight automatic decision for each type and element feature element
US6522779B2 (en) Representing an image with a posterized joint histogram
JP3505393B2 (en) Similar object search method and apparatus, and recording medium storing similar object search program
JP2010122931A (en) Similar area retrieval method, similar area retrieval device, and similar area retrieval program
JP6778625B2 (en) Image search system, image search method and image search program
US20030109940A1 (en) Device, storage medium and a method for detecting objects strongly resembling a given object
JP2000048041A (en) Data retrieval system and device to be used for the system
JPH11219365A (en) Image retrieving device
US6735577B2 (en) Method and apparatus for automatic search for relevant picture data sets
JPH0573625A (en) Similar scale constitution processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee