KR20110044112A

KR20110044112A - Semi-automatic construction of pattern database for mining of review by product attributes

Info

Publication number: KR20110044112A
Application number: KR1020090100948A
Authority: KR
Inventors: 강한훈; 유성준
Original assignee: 건국대학교 산학협력단; 세종대학교산학협력단
Priority date: 2009-10-22
Filing date: 2009-10-22
Publication date: 2011-04-28

Abstract

본 발명은 상품평으로부터 상품의 속성별 긍정/부정 분류를 위해 상품평 패턴 사전을 이용하려고 했을 때, 상품평 패턴 사전을 반자동적으로 구축할 수 있는 방법에 관한 것이다.The present invention relates to a method for semi-automatically constructing a product review pattern dictionary when an attempt is made to use a product review pattern dictionary for positive / negative classification by product attributes from a product review.

상품평 패턴 사전은 상품의 속성별로 사용되는 어휘에 대한 긍정/부정 여부를 사전에 구축해 놓은 뒤에 이를 통해 새로운 문장에 대해서 긍정/부정으로 분류를 수행한다. 이러한 상품평 패턴 사전의 구축은 과거에 수작업으로 진행했지만 본 발명에서는 이를 반자동적인 방법으로 구축하는 방법에 관한 것으로 상품 평 문장에 대해서 품사 태깅을 수행한다. 이후에 태깅된 단어의 품사가 명사인 것 중에 상품의 속성 명으로 쓰이는 단어를 찾는다. 해당 단어를 기준으로 3어절의 문장을 추출한다. 추출된 문장이 8-구조 문장에 해당되는지 비교한 후에 8-구조 문장에 해당된다면 문장 내에 특정한 속성을 대상으로 평가가 이루어지고 있는지 찾는다. 만약 특정한 속성에 대해 평가가 이루어지고 있다면, 해당 문장을 리뷰 패턴 데이터베이스에 삽입하는 시스템이다. The commodity review pattern dictionary establishes the affirmation / negativeness of the vocabulary used for each attribute of the product in advance and classifies the new sentence as affirmation / negative. Although the construction of the product review pattern dictionary has been performed manually in the past, the present invention relates to a method of constructing it in a semi-automatic manner, and performs a part-of-speech tagging on the product review sentence. After that, the part of the tagged word that is part of the noun is used to find the word used as the attribute name of the product. Extract sentences of 3 words based on the word. After comparing the extracted sentence with an 8-structured sentence, if it is an 8-structured sentence, it is determined whether the evaluation is performed on a specific attribute in the sentence. If a particular attribute is being evaluated, it is a system that inserts the sentence into the review pattern database.

Description

Semi-automatic Building of Pattern Database for Mining Review of Product Attributes}

오피니언 마이닝Opinion Mining

본 발명은 오피니언 마이닝 연구에 해당한다. 기존에 이루어진 오피니언 마이닝 연구 중에는 첫째, 기계학습 기법을 적용한 전통적인 주제 기반 문서 분류 방법을 적용한 연구가 있다. 이 연구에서는 IMDb(Internet Movie Database)로부터 영화에 대한 700개의 positive review, 700개의 negative review 문서를 수집하여 Support Vector Machine, Naive Bayes의 분류 알고리즘을 사용하였다. 특징 단어는 unigrams, bigrams 등의 다양한 방법으로 선택했으며, 단어에 대한 가중치는 term frequency, presence 기법을 적용하였다. 실험 결과 특징 단어를 unigrams으로 추출하고, 단어 가중치는 presence 기법을 사용하였을 때, SVM 분류 알고리즘에서 82.9%로 가장 우수한 분류 성능을 보였다. 둘째, Score Function이라는 분류 알고리즘을 정의하고 이를 사용하였다. 실험에서는 7종류의 제품에 대한 리뷰 문서를 가지고 진행하였다. 리뷰 문서의 수는 대략 13000개 이상을 대상으로 하였다. 특징 단어에 대한 선택은 bigrams, trigrams 형태로 추출하여 실험한 결과 84.6%-88.3%의 성능 보였으며, naive Bayesian, SVM 그리고 다양한 종류의 분류 알고리즘을 통해서 실험한 결과를 보이고 있다. 셋째, 감정 단어 구(phrase)의 패턴을 기반으로 4종류의 서로 다른 주제에 대해서 분류를 수행한 연구도 있다. 이 연구에서는 170개의 positive review와 240개의 negative review를 Epinions[13]로부터 수집하였다. 수집한 문서로부터 특정 패턴에 맞는 품사를 추출하고 PMI(Pointwise Mutual Information)식을 변형하여 적용하였다. 변형된 PMI식에서는 altavista 검색엔진의 ‘near’ 연산자를 사용하여 한 문서에 포함된 특정 패턴에 맞는 여러 개의 구(phrase)의 semantic orientation(SO)을 결정하도록 한다. 여러 개의 구(phrase)에 대한 SO의 합이 하나의 문서에 대한 semantic orientation이 된다. 실험 결과 ‘Automobiles’주제와 ‘Banks’ 주제에서 80%이상의 분류 정확도를 보였다.넷째, supervised machine learning 기법으로 여행지에 대한 사용자의 리뷰의 긍정/부정 분류실험을 수행한 연구도 있다. 이 연구에서는 yahoo.com에서의 7개의 여행지에 대한 사용자의 리뷰를 수집했고, SVM, Naive Bayes, dynamic language model classifier의 분류 알고리즘을 사용하였다. SVM과 Naive Bayes에서 feature selection으로 사용한 가중치 알고리즘은 Information Gain을 사용하였다. 이 연구에서는 training data의 수에 따라 분류 결과를 보였고 긍정 데이터 셋과 부정 데이터 셋이 각각 300개 이상일 때 SVM에서 가장 높은 분류 성능을 보였다. 마지막으로 한국어 문서 중에서 상품리뷰, 영화리뷰, 신문기사를 데이터 셋으로 수집하여 이에 대해서 전통적인 문서 분류 기법으로 감정(긍정,부정) 분류 실험결과를 보여 준 연구도 있다. 감정 자질은 영어권의 워드넷을 확장하여 적용하였다. 분류 알고리즘으로는 SVM을 사용하였고, feature selection 방법은 TF-IDF, TF-ISF를 사용하였다.The present invention corresponds to opinion mining studies. Among the existing opinion mining researches, first, there is a study applying the traditional subject-based document classification method using the machine learning method. In this study, we collected 700 positive review and 700 negative review documents from IMDb (Internet Movie Database) and used the classification algorithm of Support Vector Machine and Naive Bayes. The feature words were selected by various methods such as unigrams and bigrams, and the weights of the words were applied to the term frequency and presence techniques. Experimental results show that the feature words are extracted as unigrams, and the word weight is the highest classification performance (82.9%) in the SVM classification algorithm when the presence method is used. Second, we defined a classification algorithm called Score Function and used it. The experiment was carried out with review documents for 7 types of products. The number of review documents covered approximately 13,000 or more. The selection of feature words is shown to be 84.6% -88.3% as a result of extracting bigrams and trigrams, and it is shown through naive Bayesian, SVM and various sorting algorithms. Third, there are studies that categorize four different topics based on patterns of emotional word phrases. In this study, 170 positive and 240 negative reviews were collected from Epinions [13]. Part-of-speech suited to a specific pattern was extracted from the collected documents and modified by applying PMI (Pointwise Mutual Information) equation. In the modified PMI expression, we use the "near" operator of the altavista search engine to determine the semantic orientation (SO) of several phrases for a particular pattern in a document. The sum of SOs for multiple phrases is the semantic orientation for a document. Experimental results showed classification accuracy of over 80% in the topics of 'Automobiles' and 'Banks'. Fourth, a study conducted affirmative / negative classification experiments on user reviews of travel destinations using supervised machine learning. In this study, we collected user reviews of seven destinations on yahoo.com and used classification algorithms of SVM, Naive Bayes, and dynamic language model classifier. The weighting algorithm used for feature selection in SVM and Naive Bayes uses Information Gain. In this study, we classified the results according to the number of training data and showed the highest classification performance in SVM when there were more than 300 positive and negative data sets. Lastly, there are studies that show product reviews, movie reviews, and newspaper articles among Korean documents as data sets and show the results of experiments on emotion classification (positive or negative). Emotional qualities were extended to WordNet in English. SVM is used as a classification algorithm and TF-IDF and TF-ISF are used for feature selection.

본 발명은 오피니언 마이닝 연구의 한 분야로써, 기존에 제안된 연구의 대부분은 문장 전체를 대상으로 긍정 또는 부정인지를 분류하였다. 실제로 쇼핑몰 등에 게재되는 상품평에서는 상품의 속성별로 사용자의 감정이 나타나는데, 기존에 제안된 연구로는 상품의 속성별로 긍정 또는 부정을 분류하기 어렵다. 따라서 상품의 속성별 사용되는 어휘의 긍정/부정 여부를 패턴 사전에 정의 해놓고, 상품의 속성별로 새로운 상품평 문장에 대해서 비교하여 그 결과를 이용하는 것이 분류 정확성을 높일 수 있다. 그러나 패턴 사전을 구축하기 위해서 수작업 분석을 해야 하며 많은 시간이 소비될 수 있다는 문제를 가지고 있다. 본 발명에서는 리뷰 패턴 사전을 구축함에 있어서 수작업 분석 시간을 줄여보고자, 상품평에서 가장 많이 쓰이는 패턴을 분석하였고, 이를 찾았다. 본 발명에서는 8-구조 문장이라는 상품평으로서 가장 많이 쓰이는 패턴을 정의하고 이를 활용하여 리뷰 패턴 데이터베이스를 구축하는 시스템에 대해서 소개하였다.The present invention is a field of opinion mining research, and most of the proposed studies classified positive or negative for the whole sentence. In fact, the user's feelings appear in the product reviews published in shopping malls, etc., but it is difficult to classify the positive or negative according to the attributes of the products in the existing research. Therefore, it is possible to improve the classification accuracy by defining in the pattern dictionary whether the vocabulary used for each attribute of the product is positive or negative, and comparing the new product review sentences for each attribute of the product. However, there is a problem that manual analysis is required to build a pattern dictionary and it can be time consuming. In the present invention, in order to reduce the manual analysis time in building a review pattern dictionary, the most frequently used patterns in the product review were analyzed and found. In the present invention, a system for defining a pattern that is used most often as a review of an 8-structure sentence and constructing a review pattern database using the same is introduced.

온라인 쇼핑몰에 게재된 실제 상품평으로 부터 그 내용을 분석하고 가장 많이 쓰이는 상품평의 활용 패턴을 분석하고 이를 구축한다. 본 발명에서는 이를 8-구조 문장이라고 정의하였고, 이러한 8-구조 문장을 활용하여 구축한 리뷰 패턴 데이터베이스를 활용하여 상품의 속성별 긍정/부정 분류 시스템을 소개한다.Analyzes the contents from actual reviews posted on the online shopping mall, and analyzes the usage patterns of the most popular reviews and builds them. In the present invention, this is defined as an 8-structured sentence, and a positive / negative classification system for each attribute of a product is introduced by using a review pattern database constructed by using the 8-structured sentence.

상품평에서 속성별로 긍정/부정을 분류하는 데 있어서 리뷰 패턴 데이터베이스를 이용한다고 했을 때, 기존에는 수작업을 통해서 분석하여 많은 시간을 요구로 했다. 그러나 본 발명에서는 분석 시간을 줄여보고자 상품평으로부터 가장 많이 활용되는 패턴을 분석하여 이를 찾아내었고, 이를 활용함으로써 리뷰 패턴 데이터 베이스의 구축 시간을 단축시킬 수 있다.When reviewing a database of review patterns in classifying positive / negative by attributes in the product reviews, it required a lot of time through manual analysis. However, in the present invention, to reduce the analysis time, the most frequently used pattern is analyzed and found from the product review, and by using the same, the construction time of the review pattern database can be shortened.

이하 첨부된 도면에 의해 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 주요 구성도로써 온라인 쇼핑몰에서 수집된 상품평으로부터 품사 태깅을 통해 품사를 추출하고, 추출된 문장에 대한 품사 패턴의 구조를 분석한다. 만약 추출된 문장이 8-구조 문장을 만족한다면, 해당 문장에서 평가문장이 있는를 판단한다. 해당 문장 내에 평가 문장이 포함되어 있다면 이를 리뷰 패턴 데이터베이스에 삽입한다. 1 is a main configuration diagram of the present invention extracts the parts of speech through parts of speech tagging from the product reviews collected in the online shopping mall, and analyzes the structure of the parts of speech pattern for the extracted sentence. If the extracted sentence satisfies the 8-structured sentence, it is determined whether there is an evaluation sentence in the sentence. If the sentence includes an evaluation sentence, it is inserted into the review pattern database.

도 2는 수작업을 통해 리뷰 패턴 데이터베이스를 구축하는 흐름도이며, 기존 방법에서‘제품 속성에 따른 문장 분석’과정은 단순히 수작업을 통해서 분석하는 과정이지만 본 발명에서의 ‘제품 속성에 따른 문장 분석’은 도1에 해당하는 과정이다. 이 과정 이후에 이루어지는 과정은 평가 문장에 사용된 어휘가 긍정의 의미를 갖는지 부정의 의미를 갖는지 분석하는 과정이다. 또한 이 과정에서는 강도 부사 등이 쓰였을 경우 강한 긍정 또는 강한 부정인지도 분석하여 이를 리뷰 패턴 데이터베이스에 삽입하는 과정이다.FIG. 2 is a flowchart of constructing a review pattern database by hand, and in the conventional method, a process of analyzing a sentence according to product attributes is a process of simply analyzing by hand, but the sentence analysis according to product attributes in the present invention is illustrated in FIG. 1 is the process. The process after this process is a process of analyzing whether the vocabulary used in the evaluation sentence has a meaning of positive or negative. Also, in this process, if a strong adverb is used, it analyzes whether it is strong positive or strong negative and inserts it into the review pattern database.

도 3은 실제로 구축된 리뷰 패턴 데이터베이스의 예를 보여준다. 리뷰 패턴 데이터베이스에 구성되는 항목으로는 속성명, 품사가 태깅된 상품평의 패턴, 그리고 해당 패턴의 등급화 정보이다. 이러한 패턴 사전을 통해 새로운 문장과 비교하여 그 결과를 긍정 또는 부정인지로 보여주게 된다.3 shows an example of a review pattern database actually constructed. The items included in the review pattern database include attribute names, parts of speech tagged product reviews, and grading information of the corresponding patterns. This pattern dictionary compares the new sentence and shows the result as positive or negative.

도 4는 8-구조 문장의 품사 패턴과 예문 그리고 품사과 태깅된 문장의 형태를 보여준다. 이러한 8-구조 문장의 정의는 가장 많이 활용되는 상품평의 패턴을 정의하는 것으로써 리뷰 패턴 데이터베이스를 구축함에 있어서 시간적으로 많이 단축시켜 줄 수 있음을 의미한다.4 shows a part-of-speech pattern and example sentences of an 8-structure sentence and the form of a part-of-speech and tagged sentences. The definition of the 8-structure sentence means that the pattern of the most widely used product review can be shortened in constructing a review pattern database in time.

도 1은 본 발명이 적용되는 리뷰 패턴을 반자동적으로 구축하는 시스템 구성도. 1 is a system configuration for semi-automatically building a review pattern to which the present invention is applied.

도 2는 일반적인 수작업 방법으로 리뷰 패턴을 구성하는 흐름도. 2 is a flowchart for constructing a review pattern in a general manual method.

도 3은 리뷰 패턴 데이터 베이스의 데이터 구조도. 3 is a data structure diagram of a review pattern database.

도 4는 8-구조 문장의 패턴 예시도. 4 illustrates a pattern of an 8-structure sentence.

<도면의 주요부분에 대한 부호의 설명> <Description of the symbols for the main parts of the drawings>

1: 상품의 속성별로 사용자의 선호도가 문장 형태로 이루어진 상품평 1: Review of the user's preferences in sentence form for each product attribute

2: 문장의 어절 또는 단어를 인식하여 해당 단어의 품사를 결정함 2: Recognize the word or word of a sentence to determine the part of speech of the word

3: 상품의 속성별로 상품평의 패턴 형태 분석 및 추출함. 3: Analyze and extract the pattern form of the product reviews by the attributes of the product.

4: 추출된 상품평 패턴이 8-구조 문장에 해당되는지 분석함. 4: Analyze whether the extracted review pattern corresponds to the 8-structure sentence.

5: 상품평 패턴 중에는 상품의 속성명과 긍정 또는 부정을 나타내는 술어 문장이 포함되어 있는데, 술어 문장이 평가문인지 비교함. 5: The review pattern includes predicate sentences that indicate the attribute name and positive or negative of the product, and compares whether the predicate statement is an evaluation statement.

6: 4와 5의 과정을 거친 후에 해당 문장을 리뷰 패턴으로 보고, 이를 패턴 사전에 삽입함. 6: After 4 and 5, the sentence is viewed as a review pattern and inserted into the pattern dictionary.

7: 6의 과정을 통해 생성된 리뷰 패턴이 저장되는 있는 데이터베이스 7: Database in which review patterns generated by the process of 6 are stored

Claims

Analysis and definition of the 8-structure sentence pattern most commonly used in product reviews to reduce the time to build a review pattern database, when using a review pattern database to classify positive or negative by product attributes.

Part-of-speech tagging (2) is performed from the product reviews published in the online shopping mall, and after extracting three words to the left and three words to the right based on the attribute name of the product (3), the extracted sentence is placed in the eight-structure sentence (4). A system for performing comparisons if applicable, analyzing if an evaluation statement is included within the sentence (5), and adding the corresponding pattern to the review pattern database (6) if the evaluation statement is included (6).