[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2014208213A1 - ノン・ファクトイド型質問応答システムおよび方法 - Google Patents

ノン・ファクトイド型質問応答システムおよび方法 Download PDF

Info

Publication number
WO2014208213A1
WO2014208213A1 PCT/JP2014/062913 JP2014062913W WO2014208213A1 WO 2014208213 A1 WO2014208213 A1 WO 2014208213A1 JP 2014062913 W JP2014062913 W JP 2014062913W WO 2014208213 A1 WO2014208213 A1 WO 2014208213A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
answer
feature
candidate
expression
Prior art date
Application number
PCT/JP2014/062913
Other languages
English (en)
French (fr)
Inventor
鍾勲 呉
健太郎 鳥澤
力 橋本
大樹 佐野
サーガ ステイン デ
清敬 大竹
Original Assignee
独立行政法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 独立行政法人情報通信研究機構 filed Critical 独立行政法人情報通信研究機構
Priority to KR1020157036359A priority Critical patent/KR102256240B1/ko
Priority to CN201480036652.9A priority patent/CN105393248B/zh
Priority to EP14817062.4A priority patent/EP3016002A4/en
Priority to US14/900,758 priority patent/US10496928B2/en
Publication of WO2014208213A1 publication Critical patent/WO2014208213A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Definitions

  • the present invention relates to a question answering system using a computer and a network, and more particularly, to a response system for a question called a non-factoid question such as a so-called why-type question for asking the reason for being.
  • a non-factoid question such as a so-called why-type question for asking the reason for being.
  • Non-Patent Document 1 described later uses a so-called information search technique, in particular, adds a word such as “reason” to an information search query, and adds a large number of passages including answers to a given why-type question.
  • the technique of searching from documents is disclosed.
  • Non-Patent Document 2 uses a word pair and pattern appearing in a database of word pairs representing causes and results, or a database of syntax patterns representing reasons as features, and specifying an answer by supervised learning The technology to do is disclosed.
  • causal relationship is not only between noun phrases.
  • Causal relationships may also exist between noun phrases and between noun phrases and verb phrases.
  • there are various forms of causal relationships appearing in the document data and the why-type question answering system needs to recognize such various types of causal relationships and use the information for answer extraction.
  • such diversity has been overlooked.
  • an object of the present invention is to provide a non-factoid question answering system capable of giving an appropriate answer to a non-factoid question by appropriately handling various expressions of causal relationships appearing in a document. It is.
  • a non-factoid type question answering system is a system that receives an input of a non-factoid type question and generates an answer to the question, and includes a plurality of computer-readable documents. Is used by being connected to a document storage means for storing. In response to receiving the input of the question, the system retrieves the answer candidate for the question from the document storage means, and responds to the search for the answer candidate by the candidate search means. For each combination of answer candidates searched by the candidate search means, a feature generation means for generating a set of predetermined features and a set of features generated by the feature generation means are given.
  • An answer selection means for calculating a score indicating a degree to which the answer candidate is a correct answer to the question, and outputting the answer candidate having the highest score as an answer to the question.
  • the feature generation means is a first feature calculation means for calculating a first feature set obtained from each morpheme information and syntactic information for each question and each answer candidate, and a causal relationship expression in each answer candidate.
  • a second feature calculating means for selecting a substantial one as giving an answer to the question and calculating a second feature set obtained from the causal relationship expression.
  • the feature set includes a first feature set and a second feature set.
  • the candidate search means is responsive to receiving the input of the question, in response to receiving the input of the question, the classification means for classifying the question into any of a plurality of predetermined types. Categorizing each document stored in the document storage means into a sentence dividing means for dividing and outputting each sentence set consisting of one or more consecutive sentences, and each sentence set outputted by the sentence dividing means Means for calculating a score according to a criterion determined according to the classification result by the means, and outputting a set of sentences having higher scores as answer candidates.
  • the second feature calculation means includes a clue expression specifying means for specifying an expression that is a clue for specifying a causal relation expression in each answer candidate, and a clue expression specifying in each answer candidate.
  • a causal relation expression specifying means for specifying a causal relation expression composed of a cause part and a result part of a causal relation and a noun included in the result part of the specified causal relation expression, which are linked by the clue expression specified by the means.
  • a match determination means for determining whether the combination of the noun included in the question and the meaning of the noun included in the question matches the polarity of the predicate related to the noun, and each answer candidate Whether the causal relation expression specified by the causal relation expression specifying means is equivalent as an answer to the question, whether or not the judgment result by the match judgment means and the word marker between each answer candidate and the question.
  • the second feature calculation means further includes an n-gram of a word of the causal relation expression specified by the causal relation expression specifying means, an n-gram of a subtree of the dependency tree in the causal relation expression, or the causal relation expression.
  • Means for outputting the polarities of the included predicates or any combination thereof as the features of the second feature set may be included.
  • the second feature calculation means further includes a word that the result part of the causal relation expression specified by the causal relation expression specification means shares with the question, a dependency tree subtree, the number of active predicates, or Means may be provided for outputting the number of inactive predicates, or any combination thereof as a feature of the second feature set.
  • the computer program according to the second aspect of the present invention causes a computer to function as all means of any of the non-factoid question answering systems described above.
  • the non-factoid type question answering method receives an input of a non-factoid type question and generates an answer to the question. This method is performed using a document storage means for storing a plurality of computer-readable documents.
  • a candidate search step for retrieving answer candidates for the question from the document storage means, and in response to a search for answer candidates in the candidate search step, And a feature generation step for generating a set of predetermined features for each combination of answer candidates searched in the candidate search step, and in response to being given a set of features generated in the feature generation step
  • a score indicating the degree to which the answer candidate is a correct answer to the question is calculated, and the answer candidate with the highest score is output as the answer to the question Answer selection step.
  • the feature generation step is a first feature calculation step for calculating a first feature set obtained from each morpheme information and syntactic information for each question and each answer candidate, and a causal relationship expression in each answer candidate. And a second feature calculation step of selecting a considerable one as an answer to the question and calculating a second feature set obtained from the causal relationship expression.
  • the feature set includes a first feature set and a second feature set.
  • FIG. 1 is a schematic block diagram of a non-factoid question answering system according to an embodiment of the present invention. It is a figure for demonstrating the n-gram obtained from the subtree in a dependency tree. It is a figure for demonstrating the format of a causal relationship. It is a figure for demonstrating the equivalence of the answer with respect to a question.
  • FIG. 2 is a schematic diagram for explaining a method of selecting answer candidates in the system shown in FIG. 1. It is a figure which shows the example of a list of answer candidates. It is a figure which shows the method of pinpointing the word which shows the clue of a causal relationship from answer candidates. It is a figure explaining active / inactive of a predicate.
  • FIG. 1 It is a block diagram which shows the structure of the causal relationship recognition part among the systems shown in FIG. It is a block diagram which shows the structure of the causal relationship equivalence determination part shown in FIG. It is a block diagram which shows the structure of the answer candidate ranking part shown in FIG. It is a figure which shows the same thing as what is used by prior art among the characteristics used by 1 embodiment of this invention. It is a graph for demonstrating the effect by embodiment of this invention. It is a schematic diagram which shows the external appearance of the computer for implement
  • a causal relationship that is, a semantic relationship representing the cause and result of an event, is effective in searching for answers to non-factoid questions from a large number of documents.
  • the expression of the causal relationship existing in the text prepared for searching for the answer is recognized, and the answer to the question is specified from the text by supervised learning using an appropriate feature.
  • the outline of the procedure for this is summarized as follows.
  • causal relationships in various forms such as causal relationships expressed by noun phrases, verb phrases and clauses in one sentence in each text, and causal relationships expressed across two or more consecutive sentences. Is recognized in an integrated manner. Details of the adopted method will be described later.
  • the result part is often the answer to the question. Further, in the result portion, what is suitable as an answer to a question is often semantically similar to the question. In the present embodiment, paying attention to such characteristics, only the causal relationship obtained in the above (1) that is appropriate as an answer is taken out. This method will also be described later. In particular, the feature of this method is that the implication relation is recognized by the semantic polarity of “active / inactive” in the predicate of the result part, and the implication relation is used.
  • answer candidates are collected from a large number of documents using existing information retrieval technology. Recognize causal relationships of various types that appear in the collected answer candidates in an integrated manner, and further recognize causal information that is appropriate as an answer to a question by recognizing implications based on the semantic polarity of “active / inactive”. Identify. As a result, it is possible to effectively utilize a sentence that exists in the document and that is an appropriate answer to the why-type question. Specifically, the following procedure is used.
  • (B1) Find clue expressions (words) of causal relations such as “ ⁇ for”, “ ⁇ no”, “ ⁇ body”, “ ⁇ cause is” from the answer candidate text. These expressions are expressions that connect the cause part and the result part of the causal relationship. Therefore, the cause part and the result part of the causal relationship can be specified by extracting these expressions. By devising clue expressions, it is possible to identify not only the causal relationship in which the cause part and the result part appear in one sentence, but also the cause part and the result part in another sentence.
  • typical forms of causality are as follows: 1) a causal relationship between noun phrases in a sentence, 2) a causal relation between noun phrases and verb phrases in a sentence, 3) There are causal relationships between clauses and verb phrases and 4) causal relationships that appear across two sentences.
  • the noun phrase 80 that is the cause and the noun phrase 82 that is the result are connected by the expression 84 “causes”.
  • the causal noun phrase 86 and the resulting verb phrase 88 are connected by the expression 90 “because of”.
  • a cause portion 92 composed of clauses and a result portion 94 composed of resulting verb phrases are connected by the expression 96 “for”.
  • the first sentence 102 that is the cause and the verb phrase 100 in the second sentence that is the result are connected by the expression 98 “because of”.
  • (B3) Create a feature for supervised learning to specify an answer from the causal relationship obtained by (B1) and (B2) above.
  • an answer is specified by a supervised learner that has learned using these features.
  • causal relationships having various forms and utilizing causal relationship information that is considered appropriate as an answer to a question, it becomes possible to more accurately identify the answers to why-type questions.
  • a question answering system 30 receives a non-factoid type question 34 such as a why-type question and stores a large number of documents to be searched for answers.
  • a causal relation expression having a result part suitable as an answer to the question 34 is extracted from 32 and output as an answer 36.
  • the target document storage unit 32 stores a document in which each sentence is previously decomposed into a morpheme sequence and subjected to dependency analysis and attached with a dependency analysis result. Assume that it is stored.
  • the question answering system 30 receives the question 34 and performs morpheme analysis processing unit 50 that performs morpheme analysis processing, and performs dependency analysis on the morpheme sequence output by the morpheme analysis processing unit 50 and outputs a dependency tree 201. And a dependency analysis processing unit 52.
  • the dependency tree 201 output by the dependency analysis processing unit 52 is used as a feature in machine learning for specifying an answer.
  • the dependency tree 201 includes the partial tree 70.
  • the subtree 70 has four nodes A, B, C, and D.
  • D is an important word for the causal relationship.
  • a trigram 72 composed of the subtree in FIG. 2 (B1) and a bigram 74 composed of the subtree in FIG. 2 (B2) can be considered.
  • trigrams BDDE and CDE can also be adopted as features.
  • n-grams are not limited to trigrams or bigrams.
  • the question answering system 30 further uses the dependency tree output from the dependency analysis processing unit 52 and the information obtained from the question 34 to store the target document using the existing information retrieval method.
  • a related document search unit 54 for searching and extracting a document that is considered to be related to the question 34 from the unit 32, and a plurality of answer candidates using the existing method from among the documents extracted by the related document search unit 54 Answer candidate extraction unit 56 for extracting 202.
  • Non-Patent Document 1 a technique for extracting a document related to a question described in Section 3.2 of Non-Patent Document 1 may be used.
  • open source software called Solr (http://lucene.apache.org/solr/) is used.
  • the answer candidate extracting unit 56 extracts answer candidates that make a set of five consecutive sentences from the sentences included in the document searched by the related document searching unit 54. As shown in FIG. 5, the answer candidate extraction unit 56, from one document, sets the first five sentences 120, the second five sentences 122,..., The second five sentences 130 from the last, and the last. A plurality of 5-sentence sets are extracted as shown in 5-sentence set 132. In these five sentence groups, two adjacent groups share four sentences. For example, the first five sentence group 120 and the second five sentence group 122 share the second sentence-fifth sentence. The reason why the five sentences are set as one set is that the cause part and the result part of the causal relationship may exist in different sentences.
  • the answer candidate extraction unit 56 further evaluates a set of five sentences obtained from each document in this way by comparison with the question 34, and selects a powerful five sentence set as an answer candidate. To do.
  • the number of selected groups is 20.
  • Various methods can be used to extract answer candidates. In the present embodiment, the technique described in Non-Patent Document 1 is used.
  • Non-Patent Document 1 The method described in Non-Patent Document 1 is briefly described as follows. First, classify non-factoid questions into one of six categories. These types are as follows.
  • ⁇ Classification is performed depending on whether the question sentence contains a question word or a specific adjective or adverb. For example, if the question sentence includes “why”, it can be determined that the question relates to the reason.
  • answer candidates including a specific wording corresponding to the type of question and a word included in the question are extracted from the answer candidates.
  • the score of each answer candidate is calculated, and a higher-ranked answer candidate is selected based on the score. Details of the score calculation method are described in Non-Patent Document 1. In short, it is only necessary to use a score calculation method in which, among the words included in the question, the answer candidate having more words that appear less frequently in all target documents has a higher score.
  • An example of answer candidates extracted by the answer candidate extraction unit 56 is shown in FIG.
  • the question answering system 30 further specifies the expression of the causal relationship included in each of the high-order answer candidates 202 extracted by the answer candidate extracting unit 56, and causes of the causal relationship
  • the causal relationship recognition unit 60 that outputs the answer candidate 204 with the tag attached to the part and the result part, and a word that is a clue to the causal relationship that the causal relationship recognition unit 60 refers to when specifying the causal relationship in the answer candidate
  • the causal relationship clue word storage unit 58 and the causal relationship recognizing unit 60 find out whether each causal relationship (if any) found in each answer candidate is appropriate as an answer to the question 34. (Causal relationship equivalence) is determined, and a causal relationship equivalence determination unit 64 that outputs an answer candidate 260 with an equivalence flag indicating the causal relationship equivalence is included.
  • the question answering system 30 further includes a polarity dictionary storage unit 62 that stores the polarities of predicates and a causal relationship equivalence determining unit 64 that are used when the causal relationship equivalence determining unit 64 determines the causality of the causal relationship.
  • an answer candidate ranking unit 68 is provided to generate a score.
  • the causal relation clue words stored in the causal relation clue word storage unit 58 shown in FIG. 1 are, for example, “ ⁇ for”, “ ⁇ so”, “ ⁇ reason”, “ ⁇ cause”, “ “From things”, “From things”, “From body”, etc.
  • 251 words (phrases) are manually collected as clue words and stored in the causal clue word storage unit 58.
  • the word 160 “for” in the answer candidate 1 and the word 162 “for” in the answer candidate 2 shown in FIG. 7 each correspond to a clue word.
  • the causal relationship recognition unit 60 searches the answer candidates for a causal relationship clue word, and if there is a clue word, identifies the cause portion and the result portion of the causal relationship expression linked by the word.
  • a CRF Conditional Random Fields
  • the causal relationship recognition unit 60 includes a clue word specifying unit 220 that specifies the words stored in the causal relationship clue word storage unit 58 among the input answer candidates,
  • the clue word is specified, the CRF model 222 that has been learned in advance to specify the cause part and the result part of the causal relationship expression linked by the word, and the clue word specified by the clue word specifying unit 220
  • the tag indicating the start position and end position of the cause part of the causal relationship expression linked by the clue word, and the start position and end position of the result part are indicated.
  • a causal relationship expression specifying unit 224 that adds a tag to the answer candidate and outputs it as the answer candidate 204.
  • the learning processing unit 200 of the CRF model 222 is a device independent of the question answering system 30, and includes a learning text storage unit 230 that stores learning text, and a causal clue word storage.
  • a labeling processing unit that generates learning data by performing a labeling process for manually labeling the cause part and the result part of each clue word found in the learning text based on the clue word stored in the part 58 232, a learning data storage unit 234 for storing learning data output from the labeling processing unit 232, and a machine learning process for learning the CRF model 222 using the learning data stored in the learning data storage unit 234 Part 236.
  • the causal relationship equivalence determining unit 64 collates the description of the result part extracted from the answer candidate with the question sentence, and the result part of the answer candidate (hereinafter simply referred to as “result part”). Determines whether or not is appropriate as an answer to the question text.
  • the causal relation expressions recognized in the answer candidates are not all appropriate as answers to the question.
  • the causal relation expression suitable as an answer to a question is similar to the question. Therefore, in the present embodiment, (1) word matching and (2) subtree matching between the question and the result part are used to determine whether or not the causal relationship expression is suitable as an answer to the question. .
  • Word matching Word matching relates to how many content words (including nouns and verbs) are shared between a question and a result part. The more content words that are shared, the more similar the question and the result part.
  • Subtree matching is a subtree matching in a syntactic structure. Specifically, for a subtree as shown in FIG. 2 (B1) and FIG. You can see how many things are in common between the tree and the resulting subtree. More specifically, it can be measured by how common word n-grams obtained from both subtrees are.
  • the implication relationship is determined using the concept of “polarity” in the predicate.
  • the predicate polarities are considered as “active” and “inactive”.
  • the polarity of the predicate is active when the thing represented by the variable X in the expression pattern including the variable X, such as “cause X”, “X occurs”, “X occurs”, etc. This means that the function or the like is “ON” (the function or the like is activated).
  • Predicate activity is an expression pattern that includes a variable X and indicates that the function or the like of the object represented by the variable X is “off” (the function or the like is deactivated). Say. For example, “Prevent X”, “Discard X”, “X decreases”, “Destroy X”, “X becomes impossible”, and the like.
  • tsunami occurs (noun + occurs +) and “tsunami occurs” (noun + occurs +) are nouns.
  • the “tsunami” and “tsunami” are common in that the polarity of the predicate (occurs and occurs) is active.
  • “tsunami occurs (noun + occurs +)” and “weaken tsunami” (noun + weakens +) are common in the noun “tsunami”, but the former “actual” is active, The latter is different in that the “weakening” is inactive.
  • the predicate activity is classified into active / inactive based on its meaning, and the noun of the question sentence and the combination of the polarities of the predicate related to the noun and the noun of the result part and the description related to the noun Only those that match the polarity combinations of the parts can be recognized as representing an implication relationship. Using this property, it can be determined whether the causal relationship is appropriate as an answer to the question.
  • the causal relationship equivalence determining unit 64 shown in FIG. 1 determines whether or not each answer candidate is substantial as a causal relationship that gives an answer to a question using such a method.
  • causal relationship equivalence determination unit 64 uses the polarity dictionary stored in polarity dictionary storage unit 62 for each of answer candidates 204 output from causal relationship recognition unit 60 to detect the causal relationship detected.
  • the predicate polarity determination unit 270 for determining the polarity of the predicate included in the result part of the expression, and the polarity determined by the predicate polarity determination unit 270, and the noun included in the result part and the predicate related to the noun Word matching between a match determination unit 272 that determines whether or not a combination of polarity matches a noun included in the question and a combination of polarities of the predicate related to the noun, and the result part of the question and the answer candidate
  • an equivalence flag indicating whether or not the answer candidate is suitable as an answer to the question is set or reset and attached to the answer candidate.
  • a corresponding flag setting section 274 to output
  • the answer candidate ranking unit 68 evaluates the feature vector 300 generated by the feature vector generating unit 66 using a previously learned SVM (Support Vector Machine), and indicates the suitability as an answer to the question.
  • SVM scoring unit 302 that outputs a score
  • score storage unit 304 that stores the score output for each candidate by scoring unit 302 together with each candidate, and all answer candidates stored in score storage unit 304 Are arranged in descending order of the scores
  • the highest candidate output unit 306 outputs the result part of the causal relation expression of the answer candidate having the highest score as the answer 36 to the question.
  • Non-Patent Document 3 a set of features calculated from the results of the morphological analysis and the dependency analysis processing in the prior art. And a set of features calculated in relation to the causal relationship described below.
  • Presence or absence of causal relationship A binary characteristic indicating whether the answer candidate includes a causal relationship determined to be appropriate for the answer. This value is obtained from the output of the causal relationship equivalence determining unit 64.
  • the result part of the causal relationship expression determined to be appropriate for the answer is a word, subtree, or the number of active / inactive polarities, or any combination thereof, shared with the question. These can be generated from the outputs of the morphological analysis processing unit 50 and the dependency analysis processing unit 52, the output of the causal relationship recognition unit 60, the morpheme sequence of each answer candidate, the subtree, and the like.
  • the learning of the scoring unit 302 is performed as follows.
  • the learning processing unit 290 of the scoring unit 302 is prepared separately from the learning processing unit 200 of the question answering system 30.
  • the learning processing unit 290 includes a learning document storage unit 310 that stores a learning document.
  • the learning document includes a plurality of learning data sets. Each learning data set stores a question and a plurality of sentences representing causal relationships that are candidates for answers to the question. Each sentence is attached with teacher data indicating whether or not the result part of the causal relationship expression included in the sentence should be an answer to a question in the same learning data set.
  • the learning processing unit 290 performs the same feature as the feature vector generation unit 66 by performing the same processing as the question answering system 30 on each causal relationship of each learning data set stored in the learning document storage unit 310.
  • a feature vector generation unit 312 that generates and outputs a learning feature vector that is calculated and attached with teacher data, and learning data that stores learning data composed of the learning feature vector output by the feature vector generation unit 312
  • a storage unit 314 and an SVM learning unit 316 that performs SVM learning processing of the scoring unit 302 using the learning data stored in the learning data storage unit 314 are included.
  • the scoring unit 302 By performing the learning of the scoring unit 302 shown in FIG. 11 using the same feature as the actual question answering system, the scoring unit 302 is given a feature vector obtained from each answer candidate. Can be output as a score.
  • the question answering system 30 whose configuration has been described above operates as follows. First, the operation of the question answering system 30 in the preparation stage for the question answering system 30 to operate will be described. Referring to FIG. 1, the target document storage unit 32 stores in advance a large number of documents to be searched for answers. Each sentence included in each document is subjected to morphological analysis and dependency analysis, and information on dependency trees is attached.
  • the causal relation clue word storage unit 58 clue words (or phrases), which are expressions used for specifying the cause part and the result part of the causal relation expression, are stored in advance.
  • the polarity dictionary storage unit 62 stores a polarity dictionary describing the polarities (active / inactive) of the predicates for many predicates.
  • learning text storage unit 230 of learning processing unit 200 stores a learning text in advance.
  • the labeling processing unit 232 indicates the position of the clue word stored in the causal relation clue word storage unit 58 and the range of the cause part and the result part of the causal relation expression linked by the clue word.
  • a label is manually attached.
  • the sentence with the label is stored in the learning data storage unit 234 as learning data.
  • the machine learning processing unit 236 learns the CRF model 222 using this learning data.
  • each learning data set includes a question and a plurality of sentences representing causal relationships that are answer candidates for the question.
  • Each sentence is attached with teacher data indicating whether or not the result part of the causal relationship expression included in the sentence should be an answer to a question in the same learning data set.
  • the feature vector generation unit 312 of the learning processing unit 290 performs the same processing as the question answering system 30 on each causal relationship of each learning data set stored in the learning document storage unit 310, thereby performing a feature vector generation unit.
  • the same feature as 66 is calculated, and a feature vector for learning is generated by attaching teacher data, and is output to the learning data storage unit 314.
  • the learning data storage unit 314 stores learning data composed of learning feature vectors output from the feature vector generation unit 312.
  • the SVM learning unit 316 performs the SVM learning process of the scoring unit 302 using the learning data stored in the learning data storage unit 314.
  • the scoring unit 302 can output as a score how appropriate the answer candidate is as an answer.
  • the question answering system 30 can output an appropriate answer 36 to the question 34.
  • morphological analysis processing unit 50 performs morphological analysis on question 34
  • dependency analysis processing unit 52 further performs dependency analysis of the question to determine the dependency.
  • the tree 201 is attached to the question 34 and output to the related document search unit 54.
  • the related document search unit 54 uses the information given from the dependency analysis processing unit 52 to search and extract the target document storage unit 32 for a document that seems to be related to the question 34.
  • the answer candidate extraction unit 56 generates a large number of answer candidates 202 from each document extracted by the related document search unit 54 as a set of five sentences as described with reference to FIG.
  • the answer candidate extraction unit 56 further selects an answer candidate 202 that is considered to be related to the question 34 from the extracted answer candidates 202.
  • the causal relationship recognition unit 60 operates as follows. Referring to FIG. 9, clue word specifying unit 220 determines whether or not there is a clue word stored in causal clue word storage unit 58 for each answer candidate 202. If there is no clue word, the candidate is discarded and only the answer candidate with the clue word is given to the causal relation expression specifying unit 224.
  • the causal relationship expression specifying unit 224 estimates, for each of the answer candidates given from the clue word specifying unit 220, the cause part and the result part of the causal relationship expression linked by the clue word therein using the CRF model 222, A tag indicating the start position and the end position of each is attached and output as the answer candidate 204.
  • the predicate polarity determination unit 270 of the causal relationship equivalence determination unit 64 that has received the answer candidate 204 refers to the polarity dictionary storage unit 62 and results of the causal relationship expression included in the answer candidate 204.
  • the polarity of the predicate part is determined, attached to the answer candidate 204, and output to the match determination unit 272.
  • the match determination unit 272 determines whether the combination of the noun of the result portion of the answer candidate and the predicate polarity associated with the noun matches the noun included in the question and the combination of the polarity of the predicate associated with the noun. Judge and output the result.
  • the equivalence flag setting unit 274 sets or resets the equivalence flag according to the result of the word matching and the subtree matching between the output of the coincidence determination unit 272 and the result part of the question and the answer candidate, and the flag is answered It is attached to the candidate and output as an answer candidate 260.
  • the feature vector generation unit 66 shown in FIG. 1 generates a feature vector used by the scoring unit 302 of the answer candidate ranking unit 68 shown in FIG. 11 based on various information attached to the answer candidate 260, and scores it. To part 302.
  • the 11 uses the SVM learned by the learning processing unit 290 to calculate a score for a given feature vector.
  • the score storage unit 304 stores the score calculated for each answer candidate together with the answer candidate.
  • the highest candidate output unit 306 selects the answer candidate with the highest score and outputs it as the answer 36.
  • Non-Patent Document 1 corresponds to the method in the answer candidate extraction unit 56 in the above embodiment.
  • Non-Patent Document 3 has obtained the highest accuracy among the prior art methods, and is listed here for comparison with the above-described embodiment.
  • FIG. 13 shows a graph 324 when only causal relationships are used for ranking.
  • the answer to the non-factoid type question can be obtained.
  • the accuracy can be greatly increased. Therefore, a question answering system that gives an appropriate answer to a non-factoid type question can be obtained by using the above causal relation features.
  • the question answering system 30 can be realized by computer hardware and a computer program executed on the computer hardware.
  • FIG. 14 shows the external appearance of the computer system 330
  • FIG. 15 shows the internal configuration of the computer system 330.
  • the computer system 330 includes a computer 340 having a memory port 352 and a DVD (Digital Versatile Disc) drive 350, a keyboard 346, a mouse 348, and a monitor 342.
  • DVD Digital Versatile Disc
  • the computer 340 includes a CPU (Central Processing Unit) 356, a bus 366 connected to the CPU 356, the memory port 352, and the DVD drive 350, and a boot program.
  • a read-only memory (ROM) 358 for storing etc., a random access memory (RAM) 360 connected to the bus 366 for storing program instructions, system programs, work data, etc., and a hard disk 354 are included.
  • the computer system 330 further includes a network interface (I / F) 344 that provides a connection to a network 368 that allows communication with other terminals.
  • I / F network interface
  • a computer program for causing the computer system 330 to function as each functional unit of the question answering system 30 according to the above-described embodiment is stored in the DVD drive 350 or the DVD 362 or the removable memory 364 attached to the memory port 352, and further, the hard disk. 354.
  • the program may be transmitted to the computer 340 through the network 368 and stored in the hard disk 354.
  • the program is loaded into the RAM 360 when executed.
  • the program may be loaded directly from the DVD 362 to the RAM 360 from the removable memory 364 or via the network 368.
  • This program includes an instruction sequence including a plurality of instructions for causing the computer 340 to function as each functional unit of the question answering system 30 according to the above embodiment.
  • Some of the basic functions necessary to cause computer 340 to perform this operation are provided by operating systems or third party programs running on computer 340 or various programming toolkits or program libraries installed on computer 340. . Therefore, this program itself does not necessarily include all functions necessary for realizing the system and method of this embodiment.
  • This program includes only instructions that realize the functions of the system described above by calling appropriate functions or appropriate program tools in a programming tool kit in a controlled manner so as to obtain a desired result. Should be included. Of course, all necessary functions may be provided only by the program.
  • the storage unit 310, the score storage unit 304, and the like are realized by the RAM 360 or the hard disk 354. These values may be further stored in a removable memory 364 such as a USB memory, or may be transmitted to another computer via a communication medium such as a network 368.
  • the system according to the above embodiment can be used as one module incorporated in an existing voice question answering system.
  • the system of the above embodiment can be used to specify an answer with high accuracy from text such as the Web.
  • the system is not limited to the question answering system, but can be used to provide useful information to the user as a module of a search engine and an information analysis system.
  • the related document search unit 54 in FIG. 1 uses the open source software Solr.
  • the present invention is not limited to such an embodiment.
  • questions and documents are expressed in the form of multidimensional vectors using the words they contain, and by searching for similarities between vectors, search for documents that contain content similar to questions.
  • a method may be used in which answer candidates are narrowed down based on the causal relationship described above.
  • a why-type question is assumed as a non-factoid question, and the causal relationship that appears in the document is obtained as a clue to obtain an answer candidate.
  • the present invention is not limited to such an embodiment.
  • a How-type question such as “How do you make Goya Champloo?” That belongs to the same non-factoid type question
  • in order to get a candidate answer please put “Goya Champloo with pork, spam, or eggs. It may be a clue to a material relationship such as "The gore is divided into two parts and the cotton inside is removed and sliced.”
  • the present invention is not limited to such an embodiment.
  • Other polarities can also be used. For example, “good / bad” may be used as the polarity.
  • the expression “severe” in the expression “severe disease” is “active” in the polarity of activity / inactivity, but “bad” in the polarity of “good / bad”.
  • the polarity of the predicate can be not only active / inactive but also other properties.
  • a combination of a plurality of types of polarities such as “active” and “bad” can be used as a feature when selecting an answer, such as “active” and “bad”.
  • the present invention can be applied to a question answering service that gives an answer to a non-factoid type question such as a so-called why type question using a computer and a network, and an apparatus used in the service.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

【課題】ノン・ファクトイド型質問に適切に回答できる質問応答システムを提供する。 【解決手段】質問応答システム３０は、質問を受けたことに応答して、対象文書記憶部３２から回答候補を取出す関連文書検索部５４と、回答候補から有力なものを抽出する回答候補抽出部５６と、抽出された回答候補に含まれる因果関係表現を認識する因果関係認識部６０と、認識された因果関係が回答としてふさわしいか判定する因果関係相当性判定部６４と、因果関係相当性判定部６４までの処理結果を用い、質問と、検索された回答候補との組合せに関する素性ベクトルを生成する素性ベクトル生成部６６と、素性ベクトルが与えられると、当該素性ベクトルを生成する元となった質問と回答候補とについて、当該回答候補が当該質問に対する正しい回答である度合いを示すスコアを算出し、最もスコアの高い回答候補を質問に対する回答として出力する素性ベクトル生成部６６とを含む。

Description

ノン・ファクトイド型質問応答システムおよび方法
　この発明は、コンピュータ及びネットワークを利用した質問応答システムに関し、特に、あることの理由等を聞くいわゆるホワイ型質問等の、ノン・ファクトイド型質問と呼ばれる質問に対する応答システムに関する。
　何らかの事実についての質問応答（ＱＡ）に関する研究は、最近になって大きな進歩を遂げている。現在、ＩＢＭ社のＷａｔｓｏｎ、Ａｐｐｌｅ社のＳｉｒｉ等質問応答システムの改善は目覚ましいものがあり、一部既に商用利用が開始されている。また、これら以外の企業でも同様の開発が進んでいる。その精度は、事実に関する質問については８５％程度であると言われている。
　一方、事実に関する質問でなく、「なぜガンになるのか？」のように何らかの事象が発生した理由を尋ねる質問に対する回答を大量の文書から抽出するホワイ型質問応答は、非常に困難なタスクであると認識されてきた。上述したＩＢＭ社及びＡｐｐｌｅ社の製品でも、ホワイ型質問には対応していない。
　この問題に関し、例えば後掲の非特許文献１は、いわゆる情報検索の技法において、特に「理由」のような単語を情報検索のクエリに加え、与えられたホワイ型質問に対する回答を含むパッセージを大量の文書から検索する技法を開示している。非特許文献２は、人手で作られた、原因と結果とを表す単語ペアのデータベース、又は、理由を表す構文パターンのデータベースに現れる単語ペア及びパターンを素性として用い、教師あり学習によって回答を特定する技術を開示している。
　一方、それらとは別に、テキストの構造的特徴、すなわち部分的な構文木、単語の意味的クラス、評価表現等の意味的な特徴を素性として用い、教師あり学習によって回答を特定する技術が非特許文献３に開示されている。
Masaki Murata, Sachiyo Tsukawaki, Toshiyuki Kanamaru,　QingMa, and Hitoshi Isahara. A system for answeringnon-factoid Japanese questions by using passage retrieval weighted based ontype of answer. In Proceedings of NTCIR-6, 2007. Ryuichiro Higashinaka and Hideki Isozaki. Corpus-based questionanswering for why-questions. In Proceedings of IJCNLP, pages 418-425., 2008. Jong-Hoon Oh, Kentaro Torisawa, Chikara Hashimoto, Takuya Kawada,Stijn De Saeger, Jun’ichi Kazama and Yiou Wang. WhyQuestion Answering using Sentiment Analysis and Word Classes, In Proceedings ofEMNLP-CoNLL 2012, pp.368-378.
　上記したいずれの従来技術も有用ではあるが、利用している素性及びその他の情報にタスクの性質を十分に反映させるという意味では、依然として改善の余地があるように思われる。特に、このタスクの性質を反映させる手法においては因果関係をより効率的に利用することが重要である。因果関係が重要であるという問題はこの技術分野では広く認識されているが、従来技術では因果関係としては名詞句間のもののみが注目されてきたという問題がある。しかも名詞句間の因果関係は１文中にあらわれるのが原則と考えられるため、同じ文内の名詞句間での因果関係しか利用されていない。
　ところが、実は、因果関係は名詞句間のものだけではない。名詞句間及び名詞句と動詞句間にも因果関係が存在することがある。さらに、２文に渡って因果関係が現れる場合があることも、従来は見過ごされてきた。要するに、文書データ内に現れる因果関係の形式が多様であり、ホワイ型質問応答システムでは、そのような多様な形式の因果関係を認識した上でその情報を回答抽出に用いることが必要である。ところが、従来はそのような多様さが見過ごされてきた。
　さらに、このような多様な形式の因果関係に基づいて質問の回答を得ようとする場合、そうした因果関係に関する情報をどのように取扱えばよいかが直ちには明らかでないという問題がある。
　それゆえに本発明の目的は、文書内に現れる因果関係の多様な表現を適切に取扱うことによって、ノン・ファクトイド型質問に適切な回答を与えることができるノン・ファクトイド型質問応答システムを提供することである。
　本発明の第１の局面に係るノン・ファクトイド型の質問応答システムは、ノン・ファクトイド型の質問の入力を受け、当該質問に対する回答を生成するシステムであって、コンピュータ読取可能な複数個の文書を記憶する文書記憶手段に接続されて用いられる。このシステムは、質問の入力を受けたことに応答して、文書記憶手段から、当該質問に対する回答候補を取出す候補検索手段と、候補検索手段により回答候補が検索されたことに応答して、質問と、候補検索手段により検索された回答候補の各々との組合せについて、所定の素性の集合を生成する素性生成手段と、素性生成手段により生成される素性の集合が与えられると、当該素性の集合を生成する元となった質問と回答候補とについて、当該回答候補が当該質問に対する正しい回答である度合いを示すスコアを算出し、最もスコアの高い回答候補を質問に対する回答として出力する回答選択手段とを含む。素性生成手段は、質問及び各回答候補について、それぞれの形態素情報及び統語情報から求められる第１の素性の組を算出する第１の素性算出手段と、各回答候補中の因果関係表現であって、質問に対する回答を与えるものとして相当なものを選択し、当該因果関係表現から得られる第２の素性の組を算出する第２の素性算出手段とを含む。素性の集合は第１の素性の組と第２の素性の組とを含む。
　このノン・ファクトイド型の質問応答システムによれば、回答候補中の因果関係表現が、質問に対する回答を与えるものとして相当なものか否かが第２の組の素性として用いられる。この因果関係表現について回答候補を選択する上で考慮することにより、質問の表現と因果関係の表現との含意関係を回答の選択に反映させることができる。その結果、文書内に現れる因果関係の多様な表現を適切に取扱うことによって、ノン・ファクトイド型質問に適切な回答を与えることができるノン・ファクトイド型質問応答システムを提供できる。
　好ましくは、候補検索手段は、質問の入力を受けたことに応答して、当該質問を所定の複数個の類型のいずれかに分類する分類手段と、質問の入力を受けたことに応答して、文書記憶手段に記憶された各文書を、連続する１個又は複数個の文からなる文の組に分割し出力する文分割手段と、文分割手段により出力された各文の組について、分類手段による分類結果にしたがって定まる基準によりスコアを算出し、当該スコア上位の文の組を回答候補として出力する手段とを含む。
　より好ましくは、第２の素性算出手段は、各回答候補の中で、因果関係表現の特定のための手掛かりとなる表現を特定する手がかり表現特定手段と、各回答候補の中で、手掛かり表現特定手段により特定された手掛かり表現により結びつけられている、因果関係の原因部分と結果部分とからなる因果関係表現を特定する因果関係表現特定手段と、特定された因果関係表現の結果部分に含まれる名詞と当該名詞が係る述部の極性との組合せ、及び質問に含まれる名詞の意味と当該名詞が係る述部の極性との組合せが一致するか否かを判定する一致判定手段と、各回答候補の中で因果関係表現特定手段により特定された因果関係表現が、質問に対する回答として相当か否かを、一致判定手段による判定結果と、各回答候補と質問との間の単語マッチング及び係り受け木の部分木マッチングとを用いて判定する相当性判定手段と、相当性判定手段による判定結果を示す情報を第２の素性の組の素性として出力する手段とを含む。
　第２の素性算出手段はさらに、因果関係表現特定手段により特定された因果関係表現の単語のｎ－グラム、当該因果関係表現における係り受け木の部分木のｎ－グラム、若しくは当該因果関係表現に含まれる述部の極性、又はこれらの任意の組合せを第２の素性の組の素性として出力する手段を含んでもよい。
　第２の素性算出手段はさらに、因果関係表現特定手段により特定された因果関係表現のうちの結果部分が質問と共有している単語、係り受け木の部分木、活性の述部の数、若しくは不活性の述部の数、又はこれらの任意の組合せを第２の素性の組の素性として出力する手段を含んでもよい。
　本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、上記したいずれかのノン・ファクトイド型の質問応答システムの全ての手段として機能させる。
　本発明の他の局面に係るノン・ファクトイド型の質問応答方法は、ノン・ファクトイド型の質問の入力を受け、当該質問に対する回答を生成する。この方法は、コンピュータ読取可能な複数個の文書を記憶する文書記憶手段を用いて実行される。この方法は、質問の入力を受けたことに応答して、文書記憶手段から、当該質問に対する回答候補を取出す候補検索ステップと、候補検索ステップにおいて回答候補が検索されたことに応答して、質問と、候補検索ステップにおいて検索された回答候補の各々との組合せについて、所定の素性の集合を生成する素性生成ステップと、素性生成ステップにおいて生成される素性の集合が与えられたことに応答して、当該素性の集合を生成する元となった質問と回答候補とについて、当該回答候補が当該質問に対する正しい回答である度合いを示すスコアを算出し、最もスコアの高い回答候補を質問に対する回答として出力する回答選択ステップとを含む。素性生成ステップは、質問及び各回答候補について、それぞれの形態素情報及び統語情報から求められる第１の素性の組を算出する第１の素性算出ステップと、各回答候補中の因果関係表現であって、質問に対する回答を与えるものとして相当なものを選択し、当該因果関係表現から得られる第２の素性の組を算出する第２の素性算出ステップとを含む。素性の集合は第１の素性の組と第２の素性の組とを含む
本発明の１実施の形態に係るノン・ファクトイド型質問応答システムの概略ブロック図である。 係り受け木中の部分木から得られるｎ－グラムを説明するための図である。 因果関係の形式を説明するための図である。 質問に対する回答の相当性を説明するための図である。 図１に示すシステムにおいて、回答候補を選ぶ方法について説明するための模式図である。 回答候補のリスト例を示す図である。 回答候補の中から因果関係の手掛かりを示す単語を特定する方法を示す図である。 述部の活性・不活性を説明する図である。 図１に示すシステムのうち、因果関係認識部の構成を示すブロック図である。 図１に示す因果関係相当性判定部の構成を示すブロック図である。 図１に示す回答候補ランキング部の構成を示すブロック図である。 本発明の１実施の形態で使用される素性のうち、先行技術で使用されているものと同じものを示す図である。 本発明の実施の形態による効果を説明するためのグラフである。 本発明の１実施の形態に係る質問応答システムを実現するためのコンピュータの外観を示す模式図である。 図１４に示すコンピュータのハードウェア構成を説明するブロック図である。
　以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
　［基本的考え方］
　本願発明の発明者は、ノン・ファクトイド型質問に対しての回答を大量の文書から検索するにあたり、因果関係、すなわちある事象の原因と結果を表す意味的関係、が有効であることに注目した。この観点から、回答を検索するために準備されたテキスト中に存在する因果関係の表現を認識し、適切な素性を使用した教師あり学習によって、それらテキスト中から質問に対する回答を特定する。そのための手順の概略は以下のようにまとめられる。
　（１）各テキスト中の１文内の名詞句、動詞句及び節等で表現される因果関係、及び、連続した２つ以上の文に渡って表現される因果関係等多様な形式の因果関係を統合的に認識する。採用した手法の詳細は後述する。
　（２）因果関係のうち、結果部分が質問の回答になることが多い。さらに、結果部分のうち、質問の回答として相応しいものは質問と意味的に類似する場合が多い。本実施の形態では、こうした特性に注目し、上記（１）で得られた因果関係のうち、回答として相応しいもののみを取出す。その手法についても後述する。特にこの手法の特徴は、結果部分の述部の「活性・不活性」という意味的極性により含意関係を認識し、その含意関係を利用する点にある。
　（３）上記（１）及び（２）の手法によって得られた因果関係を適切に表す素性を採用し、機械学習手法により回答を特定する。
　上に記載した（１）及び（２）は、いずれもホワイ型質問応答の性能向上において重要である。これは、多様な形式で表現される因果関係の中から、質問の回答として相応しい因果関係を認識することが回答抽出の精度向上に直接つながるからである。先行技術では、多様な形式の因果関係を利用することも、述部の意味的極性により得られた含意関係を利用することも検討されたことがない。
　本実施の形態においては、既存の情報検索技術を用いて大量の文書の中から回答候補を収集する。収集された回答候補中に現れる多様な形式の因果関係を統合的に認識し、さらに、「活性・不活性」という意味的極性に基づいた含意関係認識により質問の回答として相応しい因果関係の情報を特定する。この結果、文書中に存在している、ホワイ型質問に対する適切な回答となる文を有効に活用できる。具体的には以下の手順を用いる。
　（Ａ）既存の情報検索技術により、大量のテキストから、回答の候補になる少数の文を特定する。質問に関連あると考えられる文書を収集できる手法であればどのようなものを用いてもよい。
　（Ｂ）次いで、以下のようにこれらの回答候補のテキストから、質問に対する回答を生成する上で有効な因果関係を認識する。その因果関係の結果部分を適切な素性で表現し、教師あり学習に用いることにより、回答候補としての結果部分を評価する。この評価の高いものを回答として採用する。具体的手順は以下の通りである。
　（Ｂ１）回答候補のテキストから「～ため」、「～ので」、「～からだ」、「～の原因は」等の因果関係の手がかり表現（単語）を見つける。これら表現は、因果関係の原因部分と結果部分とを結びつける表現である。したがってこれら表現を抽出することによって因果関係の原因部分と結果部分とを特定できる。手掛かり表現を工夫することにより、原因部分と結果部分が１文内に現れる因果関係だけではなく、原因部分と結果部分とが別の文内にあるものも特定できる。
　図３を参照して、因果関係の形式として典型的なものに、１）文内の名詞句間の因果関係、２）文内の名詞句と動詞句間の因果関係、３）文内の節と動詞句間の因果関係及び４）２文に渡って現れる因果関係、がある。
　これらのうち、１番目の因果関係について、図３に示した例文では、原因となる名詞句８０と、結果となる名詞句８２とが「が原因となる」という表現８４により結ばれている。２番目の因果関係では、原因となる名詞句８６と結果となる動詞句８８とが「が原因で」という表現９０により結ばれている。３番目の因果関係では、節からなる原因部分９２と結果となる動詞句からなる結果部分９４とが「ため」という表現９６により結ばれている。４番目の例では、原因となる１番目の文１０２と結果となる２番目の文内の動詞句１００とが「が原因で」という表現９８により結ばれている。
　すなわち、因果関係の原因となる部分と結果となる部分とが、いずれも特定の表現で結ばれていることが分かる。
　（Ｂ２）上記（Ｂ１）で得られた因果関係のうち、ホワイ型質問の回答として相応しいもの以外を捨てる。ここでは、因果関係の結果部分とホワイ型質問とが意味的に類似することに注目し、１）単語マッチング、２）係り受け解析結果（係り受け木）における部分木マッチング、そして、３）述部の活性・不活性という意味的極性により認識された含意関係のマッチングによって、因果関係の結果部分がホワイ型質問の回答として相応しいか否かの判定を行なう。
　図４を参照して、質問が「なぜ津波が起こるのですか？」である場合を想定する。図４の２つの回答候補は、いずれも因果関係を表し、原因部分９２及び１１０が、結果部分９４及び１１２とそれぞれ因果関係の手掛かり表現である「ため」という表現９６及び１１４により結びつけられている。それにも関わらず、１番目の候補は回答としてふさわしいが、２番目の候補はふさわしくないと考えられる。これは、１番目の結果部分９４の表現「津波が発生します。」と質問文の表現「津波が起こる」とが類似した意味を表しているのに対し、２番目の結果部分１１２の表現「津波を弱める効果がある」が、質問文の表現とは逆の意味を表していることによる。実施の形態では、こうした相違を適切に素性として表現する必要がある。
　（Ｂ３）上記（Ｂ１）と（Ｂ２）とによって得られた因果関係から回答を特定するための教師あり学習用の素性を作成する。ここでは１）回答候補における因果関係の存在の有無、２）ｎ－グラム等で表現される因果関係の内容、そして３）質問と因果関係の結果部分とが共有する単語、部分木及び含意関係の数等を素性として用いる。最後にこれらの素性を用いて学習した教師あり学習器によって回答を特定する。
　多様な形式を持つ因果関係を認識しつつ、質問の回答として相応しいとされる因果関係の情報を活用することによって、より精度よくホワイ型質問の回答を特定することが可能になる。
　［構成］
　図１を参照して、この実施の形態に係る質問応答システム３０は、ホワイ型質問等のノン・ファクトイド型の質問３４を受け、回答探索の対象となる大量の文書を記憶した対象文書記憶部３２から質問３４に対する回答としてふさわしい結果部分を持つ因果関係表現を抽出し、回答３６として出力するためのものである。この実施の形態では、以下の説明を分かり易くするために、対象文書記憶部３２には、各文について予め形態素列に分解され、かつ係り受け解析されて係り受け解析結果が付された文書が格納されているものとする。
　質問応答システム３０は、質問３４を受けて形態素解析処理を行なう形態素解析処理部５０と、形態素解析処理部５０により出力される形態素列に対して係り受け解析を行ない、係り受け木２０１を出力する係り受け解析処理部５２とを含む。係り受け解析処理部５２が出力する係り受け木２０１は、回答特定のための機械学習において素性として用いられる。
　係り受け木２０１による素性の１つとして、部分木のｎ－グラムがある。図２を参照してこれを説明する。今、係り受け木２０１が部分木７０を含むものとする。部分木７０は４つのノードＡ，Ｂ，Ｃ及びＤを持つ。これらの単語のうち、仮にＤが因果関係にとって重要な単語であるものとする。この場合、部分木７０から生成されるｎ－グラムとしては、図２（Ｂ１）の部分木からなるトライグラム７２と、図２（Ｂ２）の部分木からなるバイグラム７４とが考えられる。もちろん、ノードＤに続くノードＥ（図示せず）があるとすれば、Ｂ－Ｄ－Ｅ及びＣ－Ｄ－Ｅというトライグラムも素性として採用できる。以上が部分木から得たｎ－グラムに関する簡単な説明である。なお、ｎ－グラムがトライグラム又はバイグラムに限定されるわけではない。
　再び図１を参照して、質問応答システム３０はさらに、係り受け解析処理部５２の出力する係り受け木と、質問３４から得られる情報とを用い、既存の情報検索手法を用いて対象文書記憶部３２中から質問３４と関連すると思われる文書を検索し抽出する関連文書検索部５４と、関連文書検索部５４が抽出した文書の中から、これも既存の手法を用いて複数個の回答候補２０２を抽出するための回答候補抽出部５６とを含む。
　関連文書検索部５４での文書の検索には、既存の様々な手法が利用可能である。例えば、質問から抽出した内容語をキーワードとする文書検索の手法を適用できる。又は、非特許文献１の第３．２節に記載された、質問に関連する文書を抽出する技術を使用してもよい。本実施の形態では、Ｓｏｌｒ（http://lucene.apache.org/solr/）と呼ばれるオープンソースソフトウェアを用いた。
　回答候補抽出部５６は、関連文書検索部５４により検索された文書に含まれる文の中から、連続する５つの文を１組とする回答候補を抽出する。図５に示すように、回答候補抽出部５６は、１つの文書から、最初の５文の組１２０、２番目の５文の組１２２、…、最後から２番目の５文の組１３０及び最後の５文の組１３２のように複数の５文の組を抽出する。これら５文の組において、隣接する２つの組は４つの文を共有している。例えば最初の５文の組１２０と２番目の５文の組１２２とは第２の文－第５の文を共有している。このように５つの文を１組とするのは、因果関係の原因部分と結果部分とが別の文に存在している可能性があるためである。本実施の形態では、回答候補抽出部５６はさらに、このようにして各文書から得た多数の５文の組を質問３４との比較で評価し、回答候補として有力な５文の組を選択する。本実施の形態では、選択される組の数は２０個とした。回答候補の抽出にも様々な手法が利用できる。本実施の形態では、非特許文献１に記載された手法を用いる。
　非特許文献１に記載された方法は、簡単に説明すると以下のとおりである。まず、ノン・ファクトイド型質問を６つの類型のいずれかに分類する。これらの類型は以下の通りである。
　（１）定義に関する質問：事項に対する定義を求める。
　（２）理由に関する質問：事実に対する理由を求める。
　（３）方法に関する質問：方法に関する説明を求める。
　（４）程度に関する質問：何らかの事項の程度に関する説明を求める。
　（５）変化に関する質問：変化した事物に関する説明を求める。
　（６）詳細に関する質問：一連の事象に関連する詳細についての説明を求める。
　分類は、質問文が疑問詞を含むか、特定の形容詞又は副詞を含むかにより行なわれる。例えば質問文が「なぜ」を含めば、その質問は理由に関すると判定できる。
　次に、回答候補の中で質問の類型に対応して定められる特定の文言と、質問に含まれる単語とを含む回答候補を抽出する。この際、本実施の形態では、各回答候補のスコアを算出し、スコアに基づいて上位の回答候補を選ぶ。スコアの算出方法の詳細は非特許文献１に記載されている。要するに、質問に含まれる単語のうち、全対象文書中に現れる頻度が少ない単語が多い回答候補ほど、スコアが高くなるようなスコア算出方法を用いればよい。回答候補抽出部５６により抽出された回答候補の例を図６に示す。
　再び図１を参照して、質問応答システム３０はさらに、回答候補抽出部５６により抽出された上位の回答候補２０２の各々について、その中に含まれる因果関係の表現を特定し、因果関係の原因部分と結果部分とにタグを付した回答候補２０４を出力する因果関係認識部６０と、因果関係認識部６０が回答候補中の因果関係を特定する際に参照する、因果関係の手掛かりとなる単語を記憶する因果関係の手掛かり単語記憶部５８と、因果関係認識部６０により各回答候補中に見いだされた因果関係（もしあれば）の各々について、その因果関係が質問３４に対する回答としてふさわしいか否か（因果関係相当性）を判定し、因果関係の相当性を示す相当性フラグを付した回答候補２６０を出力する因果関係相当性判定部６４とを含む。
　質問応答システム３０はさらに、因果関係相当性判定部６４が因果関係の相当性を判定する際に使用する、述部の極性を記憶した極性辞書記憶部６２と、因果関係相当性判定部６４までの各処理部により各回答候補と質問とに対して得られた情報を用いて、各回答候補に対して所定の素性ベクトル３００を生成するための素性ベクトル生成部６６と、素性ベクトル生成部６６により各回答候補について生成された素性ベクトル３００と、予め機械学習により学習済のモデルとを用いて各回答候補にスコアを割当ててランキングし、最上位の回答候補を質問３４に対する回答３６として出力するための回答候補ランキング部６８とを含む。
　図１に示す因果関係の手掛かり単語記憶部５８に格納されている、因果関係の手掛かり単語は、例えば「～ため」、「～ので」、「～理由は」、「～原因となる」、「～ことから」、「～ことで」、「～からだ」等である。本実施の形態では、この手掛かり単語として人手で２５１個の単語（句）からなる表現を収集し、因果関係の手掛かり単語記憶部５８に記憶させた。例えば図７に示す回答候補１の中の「ため」という単語１６０、回答候補２の中の「ため」という単語１６２は、いずれも手掛かり単語に相当する。
　因果関係認識部６０は、因果関係の手掛かり単語を回答候補中で探し、手掛かり単語があればその単語に基づいて、その単語により結びつけられている因果関係表現の原因部分と結果部分とを特定する。この特定には、機械学習により予め学習済のＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ　Ｒａｎｄｏｍ　Ｆｉｅｌｄｓ：条件付き確率場）モデルを使用する。
　図９を参照して、因果関係認識部６０は、因果関係の手掛かり単語記憶部５８に記憶された単語を、入力される各回答候補の中で特定する手掛かり単語特定部２２０と、回答候補中の手掛かり単語が特定されると、その単語により結びつけられている因果関係表現の原因部分と結果部分とを特定するよう予め学習済のＣＲＦモデル２２２と、手掛かり単語特定部２２０により特定された手掛かり単語と回答候補とを用いてＣＲＦモデル２２２を参照することにより、手掛かり単語により結びつけられている因果関係表現の原因部分の開始位置及び終了位置を示すタグと、結果部分の開始位置及び終了位置を示すタグとを回答候補に付与し、回答候補２０４として出力する因果関係表現特定部２２４とを含む。
　ＣＲＦモデル２２２は前述したとおり、手掛かり単語と回答候補とが与えられるとその手掛かり単語により表される因果関係表現の原因部分と結果部分とを特定するように、予め学習済である。図９を参照して、ＣＲＦモデル２２２の学習処理部２００は、質問応答システム３０とは独立した装置であって、学習用テキストを記憶する学習用テキスト記憶部２３０と、因果関係の手掛かり単語記憶部５８に記憶された手掛かり単語に基づき、学習用テキスト中に見いだされる各手掛かり単語について、その原因部分と結果部分とに人手でラベルを付すラベリング処理を行なって学習用データを生成するラベリング処理部２３２と、ラベリング処理部２３２の出力する学習用データを記憶する学習用データ記憶部２３４と、学習用データ記憶部２３４に記憶された学習用データを用い、ＣＲＦモデル２２２の学習を行なう機械学習処理部２３６とを含む。
　因果関係相当性判定部６４は、以下に述べるように、回答候補から抽出された結果部分の記載と、質問文とを照合し、回答候補の結果部分（以下単に「結果部分」と呼ぶ。）が質問文の回答としてふさわしいものか否かを判定する。
　図４を参照して既に説明したように、回答候補において認識された因果関係表現が、質問に対する回答として全てふさわしい訳ではない。質問に対する回答としてふさわしい因果関係表現は、その結果部分が質問と似ていることが多い。そこで、本実施の形態では、質問と、結果部分との間での（１）単語マッチング及び（２）部分木マッチングを使用して、因果関係表現が質問に対する回答としてふさわしいか否かを判定する。
　（１）単語マッチング
　単語マッチングは、質問と結果部分とが、どの程度の数の内容語（名詞及び動詞を含む。）を共有しているか否かに関する。共有される内容語の数が多ければ多いほど、質問と結果部分とが似ているということができる。
　（２）部分木マッチング
　部分木マッチングは、構文構造上の部分木のマッチングであり、具体的には、図２（Ｂ１）及び図２（Ｂ２）に示したような部分木について、質問の部分木と結果部分の部分木との間で共通するものがいくつあるかで見ることができる。より具体的には、両者の部分木から得られる単語ｎ－グラムがどの程度共通しているかで測ることができる。
　しかし、単語マッチング及び部分木マッチングのみでは、因果関係が質問に対する回答を与えるものとしてふさわしいか否かの判定が難しい場合がある。例えば、図４に示した例のように、因果関係の手掛かり単語が共通する因果関係であって、両者に含まれる単語が共通するものであっても、質問に対する回答を与えるものとしてふさわしいものとそうでないものとがある。すなわち、図４に示す例で、質問の「津波が起こる」と「回答」として示した文の「津波が発生する」とは、「津波が発生するとき」は必ず「津波が起こる」といえるという意味から、含意関係にあるということができる。それに対し、質問の「津波が起こる」と「回答でない」として示した文の「津波を弱める」とは、含意関係にない。前者は回答としてふさわしいが、後者はふさわしくない。
　このように回答候補が質問に対する回答としてふさわしいか否かを判定するためには、質問中の表現と回答候補中の表現との含意関係の有無に関する認識が必要だが、これは難しいタスクである。そこで、本実施の形態では、述部の「極性」という概念を用いてこの含意関係を判定することにした。前述のとおり、述部の極性として「活性」及び「不活性」の２つを考える。述部の極性が活性であるとは、「Ｘを引き起こす」、「Ｘが発生する」、及び「Ｘが起こる」等のように、変数Ｘを含む表現パターンで変数Ｘにより表される事物の機能等が「オン」になること（機能等が活性化すること）を示すものであることをいう。例えば「Ｘを引き起こす」、「Ｘを使う」、「Ｘを買う」、「Ｘを進行させる」、「Ｘを輸入する」、「Ｘが増える」等が該当する。これらはいずれもＸにより表されるものの機能が発揮されるような表現である。述部の活性が不活性とは、変数Ｘを含む表現パターンで、変数Ｘにより表される事物の機能等が「オフ」になること（機能等が不活性化すること）を示すもののことをいう。例えば「Ｘを防ぐ」、「Ｘを捨てる」、「Ｘが減る」、「Ｘを破壊する」、「Ｘが不可能になる」等が該当する。
　図８を参照して、前述した図４の例でいうと、「津波が起こる」（名詞＋が＋起こる）と「津波が発生する」（名詞＋が＋発生する）とは、いずれも名詞「津波」と、「津波」が係る述部（起こる、発生する）の極性が活性である点で共通している。一方、「津波が起こる（名詞＋が＋起こる）」と「津波を弱める」（名詞＋を＋弱める）とは、名詞「津波」が共通してはいるが、前者の「起こる」が活性、後者の「弱める」が不活性である点で異なっている。このように、述部の活性を、その意味に基づいて活性・不活性に分類し、質問文の名詞及び当該名詞が係る述部の極性の組合せと、結果部分の名詞及び当該名詞が係る述部の極性の組合せとが一致するもののみを、含意関係を表すものとして認識できる。この性質を利用して、因果関係が質問に対する回答としてふさわしいか否かを判定できる。
　図１に示す因果関係相当性判定部６４は、こうした手法を用いて各回答候補が質問に対する回答を与える因果関係として相当なものか否かを判定する。
　図１０を参照して、因果関係相当性判定部６４は、因果関係認識部６０の出力する回答候補２０４の各々について、極性辞書記憶部６２に記憶された極性辞書を用い、検出された因果関係表現の結果部に含まれる述部の極性を判定する述部極性判定部２７０と、述部極性判定部２７０により判定された極性を用い、結果部に含まれる名詞及び当該名詞が係る述部の極性の組合せと、質問に含まれる名詞及び当該名詞が係る述部の極性の組合せとが一致するか否かを判定する一致判定部２７２と、質問と回答候補の結果部との間の単語マッチング及び部分木マッチングの結果と、一致判定部２７２による判定結果とに従い、回答候補が質問に対する回答としてふさわしいか否かを示す相当性フラグをセット又はリセットして回答候補に付して回答候補２６０として出力する相当性フラグ設定部２７４とを含む。
　図１１を参照して、回答候補ランキング部６８は、素性ベクトル生成部６６により生成された素性ベクトル３００を予め学習済のＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）により評価し、質問に対する回答としての適格性を示すスコアを出力するＳＶＭによるスコアリング部３０２と、スコアリング部３０２により各候補に対して出力されたスコアを各候補とともに記憶するスコア記憶部３０４と、スコア記憶部３０４に記憶された全ての回答候補をスコアの降順に並べ替え、最高スコアを持つ回答候補の因果関係表現の結果部分を質問に対する回答３６として出力する最上位候補出力部３０６とを含む。
　素性ベクトル生成部６６により生成される素性の一覧のうち、本願発明と直接は関係しないものを図１２に一覧表として示す。これらの素性は、非特許文献３に記載されたシステムにおいて使用されているものである。すなわち、素性ベクトル生成部６６が生成する素性ベクトルの要素である素性は、非特許文献３に記載されたように、先行技術で形態素解析と係り受け解析処理との結果から算出される素性の組と、以下に述べる因果関係に関連して算出される素性の組との２組に分かれる。
　本実施の形態では、図１２に示すものとは別の組の素性として、以下を用いる。
　（１）因果関係の有無
　回答候補が回答にふさわしいと判定された因果関係を含んでいるかの二値特性。この値は、因果関係相当性判定部６４の出力により得られる。
　（２）因果関係の内容
　回答候補内の因果関係の単語及び部分木のｎ－グラムと、述部の活性・不活性の意味極性。これらは、回答候補の形態素列、係り受け木、及び因果関係相当性判定部６４の出力内の述部極性判定部２７０（図１０）により得られる。
　（３）因果関係の確信度
　回答にふさわしいと判定された因果関係表現の結果部分が質問と共有する単語、部分木、若しくは活性・不活性極性の数又はこれらの任意の組合せ。これらは形態素解析処理部５０及び係り受け解析処理部５２の出力、因果関係認識部６０の出力、各回答候補の形態素列及び部分木等から生成できる。
　スコアリング部３０２の学習は以下のようにして行なわれる。
　図１１の右側を参照して、スコアリング部３０２の学習処理部２９０は、質問応答システム３０の学習処理部２００とは別に準備される。この学習処理部２９０は、学習用の文書を記憶した学習用文書記憶部３１０を含む。学習用文書は、複数の学習用データセットを含む。各学習用データセットは、質問と、その質問に対する回答候補となる、因果関係を表す複数個の文とを格納している。各文には、その文に含まれる因果関係表現の結果部を、同じ学習用データセットの質問の回答とすべきか否かを示す教師データが付されている。
　学習処理部２９０はさらに、学習用文書記憶部３１０に記憶された各学習用データセットの各々の因果関係について、質問応答システム３０と同様の処理をすることにより素性ベクトル生成部６６と同じ素性を算出し、教師データを付した学習用の素性ベクトルを生成し出力する素性ベクトル生成部３１２と、素性ベクトル生成部３１２により出力された学習用の素性ベクトルからなる学習用データを記憶する学習用データ記憶部３１４と、学習用データ記憶部３１４に格納された学習用データを用い、スコアリング部３０２のＳＶＭの学習処理を行なうＳＶＭ学習部３１６とを含む。
　実際の質問応答システムと同じ素性を用いて図１１に示すスコアリング部３０２の学習を行なっておくことにより、スコアリング部３０２は、各回答候補から得られる素性ベクトルが与えられると、その回答候補が回答としてどの程度適切かをスコアとして出力できるようになる。
　［動作］
　以上に構成を説明した質問応答システム３０は以下のように動作する。まず、質問応答システム３０が動作するための準備段階における質問応答システム３０の動作を説明する。図１を参照して、対象文書記憶部３２には回答を検索する対象となる文書を予め多数記憶しておく。各文書に含まれる文の各々は、形態素解析と係り受け解析され、係り受け木の情報が付される。
　因果関係の手掛かり単語記憶部５８には、予め因果関係表現の原因部分と結果部分とを特定するために使用される表現である手掛かり単語（又は句）が記憶されている。また、極性辞書記憶部６２には、多数の述部について、その述部の極性（活性・不活性）を記述した極性辞書が格納されている。
　図９を参照して、学習処理部２００の学習用テキスト記憶部２３０には、予め、学習用のテキストが記憶されている。ラベリング処理部２３２により、このテキストの各々について、因果関係の手掛かり単語記憶部５８に記憶された手掛かり単語の位置と、その手掛かり単語により結びつけられる因果関係表現の原因部分と結果部分との範囲を示すラベルが人手により付与される。ラベルが付与された文は学習用データとして学習用データ記憶部２３４に記憶される。機械学習処理部２３６は、この学習データを用いてＣＲＦモデル２２２の学習を行なう。
　図１１を参照して、スコアリング部３０２の学習処理部２９０においては、学習用文書記憶部３１０に複数の学習用データセットが記憶される。各学習用データセットは、質問と、その質問に対する回答候補となる、因果関係を表す複数個の文とを含む。各文には、その文に含まれる因果関係表現の結果部を、同じ学習用データセットの質問の回答とすべきか否かを示す教師データが付されている。学習処理部２９０の素性ベクトル生成部３１２は、学習用文書記憶部３１０に記憶された各学習用データセットの各々の因果関係について、質問応答システム３０と同様の処理をすることにより素性ベクトル生成部６６と同じ素性を算出し、教師データを付すことにより学習用の素性ベクトルを生成して学習用データ記憶部３１４に出力する。学習用データ記憶部３１４は、素性ベクトル生成部３１２により出力された学習用の素性ベクトルからなる学習用データを記憶する。ＳＶＭ学習部３１６は、学習用データ記憶部３１４に格納された学習用データを用い、スコアリング部３０２のＳＶＭの学習処理を行なう。この結果、スコアリング部３０２は、各回答候補から得られる素性ベクトルが与えられると、その回答候補が回答としてどの程度適切かをスコアとして出力できるようになる。以上で質問応答システム３０は質問３４に対して適切な回答３６を出力可能になる。
　図１を参照して、質問３４が質問応答システム３０に与えられると、形態素解析処理部５０が質問３４を形態素解析し、係り受け解析処理部５２がさらに質問の係り受け解析を行なって係り受け木２０１を質問３４に付し関連文書検索部５４に出力する。
　関連文書検索部５４は、係り受け解析処理部５２から与えられた情報を用い、質問３４と関連あると思われる文書を求めて対象文書記憶部３２を検索し抽出する。
　回答候補抽出部５６は、関連文書検索部５４により抽出された各文書から、図５を参照して説明したように５文ずつを１組として多数の回答候補２０２を生成する。回答候補抽出部５６はさらに、抽出した回答候補２０２の中から、質問３４と関連あると考えられる回答候補２０２を選択する。
　続いて、因果関係認識部６０は以下のように動作する。図９を参照して、手掛かり単語特定部２２０は、各回答候補２０２について、因果関係の手掛かり単語記憶部５８に記憶されている手掛かり単語があるか否かを判定する。手掛かり単語がない場合にはその候補は捨て、手掛かり単語がある回答候補のみを因果関係表現特定部２２４に与える。
　因果関係表現特定部２２４は、手掛かり単語特定部２２０から与えられる回答候補のお各々について、その中の手掛かり単語により結びつけられる因果関係表現の原因部分と結果部分とを、ＣＲＦモデル２２２により推定し、それぞれその開始位置及び終了位置を示すタグを付して回答候補２０４として出力する。
　図１０を参照して、回答候補２０４を受けた因果関係相当性判定部６４の述部極性判定部２７０は、極性辞書記憶部６２を参照して、回答候補２０４に含まれる因果関係表現の結果部分の述部の極性を判定し、回答候補２０４に付して一致判定部２７２に出力する。一致判定部２７２は、回答候補の結果部分の名詞及びその名詞が係る述部の極性の組合せと、質問に含まれる名詞及びその名詞が係る述部の極性の組合せとが一致するか否かを判定し、その結果を出力する。相当性フラグ設定部２７４は、一致判定部２７２の出力と、質問及び回答候補の結果部との単語マッチング及び部分木マッチングとの結果にしたがい、相当性フラグをセット又はリセットし、そのフラグを回答候補に付して回答候補２６０として出力する。
　図１に示す素性ベクトル生成部６６は、回答候補２６０に付されている様々な情報に基づいて、図１１に示す回答候補ランキング部６８のスコアリング部３０２で用いる素性ベクトルを生成し、スコアリング部３０２に与える。
　図１１に示すスコアリング部３０２は、学習処理部２９０により学習済のＳＶＭを用い、与えられた素性ベクトルに対するスコアを算出する。スコア記憶部３０４は、各回答候補について算出されたスコアを回答候補とともに記憶する。最上位候補出力部３０６は、全ての回答候補に対するスコアの算出が終わると、最もスコアの高い回答候補を選択し、回答３６として出力する。
　［実験］
　ホワイ型質問応答システムにおける因果関係素性の影響を調べるために、質問に対して各手法を用いて得られた最上位回答の精度を調べた。その結果を次のテーブル１に示す。
Figure JPOXMLDOC01-appb-T000001
　非特許文献１の手法は、上記実施の形態における回答候補抽出部５６での手法に相当する。非特許文献３は、先行技術の手法のうちでもっとも高い精度が得られたものであり、上記実施の形態との比較のためにここに挙げたものである。
　この結果から、上記実施の形態に係る手法（非特許文献３の素性に因果関係素性を加えたものを用いて回答候補をランキング）によれば、最上位回答の精度が、先行技術で最も精度の高い非特許文献３によるものをかなり上回った。
　さらに、上記実施の形態に係る手法と、非特許文献３に係る手法とによる回答の信頼性を調べるために、各々の手法について、質問を、その回答の精度が高かったものの順番に並べ、上位２５％の点での回答の精度を調べた。図１３にその結果を示す。
　図１３を参照して、非特許文献３の手法の場合に得られた回答の精度の、順位ごとの値（グラフ３２２）によれば、上位２５％の点（図１３において一点鎖線３２６により示す。）での回答の精度は６２％であった。これに対して上記実施の形態に係る手法（グラフ３２０）では、その値は８３％であった。参考のため、図１３には、因果関係のみをランキングに用いた場合のグラフ３２４も示してある。
　以上のように、上記実施の形態によれば、先行技術で使用されていた回答候補のランキングのための素性に加えて、因果関係素性を使用することで、ノン・ファクトイド型の質問に対する回答の精度を大幅に高めることができる。したがって、上記したような因果関係素性を用いることにより、ノン・ファクトイド型の質問に対して適切な回答を与える質問応答システムを得ることができる。
　［コンピュータによる実現］
　上記実施の形態に係る質問応答システム３０は、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１４はこのコンピュータシステム３３０の外観を示し、図１５はコンピュータシステム３３０の内部構成を示す。
　図１４を参照して、このコンピュータシステム３３０は、メモリポート３５２及びＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
　図１５を参照して、コンピュータ３４０は、メモリポート３５２及びＤＶＤドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、メモリポート３５２及びＤＶＤドライブ３５０に接続されたバス３６６と、ブートプログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、ハードディスク３５４を含む。コンピュータシステム３３０はさらに、他端末との通信を可能とするネットワーク３６８への接続を提供するネットワークインターフェイス（Ｉ／Ｆ）３４４を含む。
　コンピュータシステム３３０を上記した実施の形態に係る質問応答システム３０の各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ３５０又はメモリポート３５２に装着されるＤＶＤ３６２又はリムーバブルメモリ３６４に記憶され、さらにハードディスク３５４に転送される。又は、プログラムはネットワーク３６８を通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＤＶＤ３６２から、リムーバブルメモリ３６４から又はネットワーク３６８を介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
　このプログラムは、コンピュータ３４０を、上記実施の形態に係る質問応答システム３０の各機能部として機能させるための複数の命令からなる命令列を含む。コンピュータ３４０にこの動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム又はコンピュータ３４０にインストールされる各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット内の適切なプログラムツールを呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供するようにしてもよい。
　上記実施の形態では、対象文書記憶部３２、因果関係の手掛かり単語記憶部５８、極性辞書記憶部６２、学習用テキスト記憶部２３０、学習用データ記憶部２３４及び３１４、ＣＲＦモデル２２２、学習用文書記憶部３１０、スコア記憶部３０４等はＲＡＭ３６０又はハードディスク３５４により実現される。これらの値はさらに、ＵＳＢメモリ等のリムーバブルメモリ３６４に記憶されてもよいし、ネットワーク３６８等の通信媒体を介して他のコンピュータに送信されてもよい。
　上記実施の形態に係るシステムは、既存の音声質問応答システムに組込む１モジュールとして使用できる。ノン・ファクトイド型質問が入力として与えられた際に、Ｗｅｂ等のテキストから高精度で回答を特定するために上記実施の形態のシステムを利用できる。上記システムはまた、質問応答システムに限らず、検索エンジン及び情報分析システムのモジュールとしてユーザに有用な情報を提供することにも利用できる。
　上記実施の形態では、図１の関連文書検索部５４ではオープンソースソフトウェアのＳｏｌｒを用いた。しかし、本発明はそのような実施の形態には限定されない。例えば、文書中に現れる因果関係を手がかりにする手法を用いてもよいし、文書中に現れる因果関係と、因果関係中に現れる述部の活性・不活性との組合せを手がかりにする手法を用いてもよい。一般的に、質問と文書とを、それらが含む単語を用いて多次元のベクトルの形で表現し、ベクトル間の類似度を計算することにより質問と類似した内容を含む文書を検索し、さらにその中から上記した因果関係を手がかりに回答候補を絞るような手法を用いてもよい。質問と関連した文書を検索するためのソフトウェアツールは有償・無償を問わず多数存在している。ここでは、質問に対して高速に回答を出す必要があることから、質問を受けてから各文書の先頭から末尾までを走査するいわゆる全文検索型ではなく、予め収集しておいた大量の文書にインデックスを付しておくインデクシング型のものを用いることが望ましい。
　また、上記実施の形態では、ノン・ファクトイド型質問としてホワイ型質問を想定し、回答候補を得るために文書中に現れる因果関係を手がかりにした。しかし本発明はそのような実施の形態には限定されない。例えば同じノン・ファクトイド型質問に属する「ゴーヤーチャンプルーはどうやって作りますか？」のようなハウ型質問の場合には、回答候補を得るために、「ゴーヤーチャンプルーには、豚肉かスパム、卵を入れます。」のような材料関係、「ゴーヤーは二つ割りにして中のワタを取り除き、薄切りにする。」のような手順関係などの意味的関係を手がかりにしてもよい。
　また、上記実施の形態では、質問に現れる名詞と述部の極性との組合せと、回答候補に現れる名詞と述部の極性との組合せとが一致するか否かを回答の選択に用いており、極性としては述部が活性か否か（変数Ｘを含む表現パターンで変数Ｘにより表される事物の機能等が「オン」になること（機能等が活性化すること）を示すものか否か）を用いていた。しかし本発明はそのような実施の形態には限定されない。他の極性を用いることもできる。例えば極性として「ｇｏｏｄ／ｂａｄ」を用いることもできる。病気の場合、「病気がひどくなる」という表現の「ひどくなる」は、活性・不活性という極性では「活性」であるが、「ｇｏｏｄ／ｂａｄ」という極性では「ｂａｄ」である。このように、述部の極性としては活性・不活性だけではなく、他の性質を用いることもできる。また、上の例でいえば、「ひどくなる」は「活性」かつ「ｂａｄ」というように、複数種類の極性の組合せを回答選択の際に素性として用いることもできる。
　さらに、上記実施の形態では、理解を容易にするために、「名詞＋述部」の組合せが質問及び結果部内に１つだけ存在する場合を例にしている。しかし本発明はそのような実施の形態には限定されない。例えば「タバコがガンを引き起こす」のような場合、「名詞＋述部」の組合せとして、「タバコが引き起こす」と「ガンを引き起こす」との２つの表現が得られる。これらのうち、特定のもののみを素性生成の際に使用してもよいし（例えば名詞が述部の主部に相当するもののみを採用したり、目的語に相当するもののみを採用したり、質問に含まれる名詞と述部との関係と一致するもののみを採用したりする。）、全てを素性生成の際に使用してもよい。
　今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
産業上の利用の可能性
　本発明は、コンピュータ及びネットワークを利用して、いわゆるホワイ型質問等のノン・ファクトイド型質問に対して回答を与える質問応答サービス、及びそれらサービスで利用される装置に適用できる。
３０　質問応答システム
３２　対象文書記憶部
３４　質問
３６　回答
５０　形態素解析処理部
５２　係り受け解析処理部
５４　関連文書検索部
５６　回答候補抽出部
５８　因果関係の手掛かり単語記憶部
６０　因果関係認識部
６２　極性辞書記憶部
６４　因果関係相当性判定部
６６　素性ベクトル生成部
６８　回答候補ランキング部
２００　学習処理部
２０１　係り受け木
２０２，２０４，２６０　回答候補
２２０　手掛かり単語特定部
２２２　ＣＲＦモデル
２２４　因果関係表現特定部
２７０　述部極性判定部
２７２　一致判定部
２７４　相当性フラグ設定部
３００　素性ベクトル
３０２　スコアリング部
３０６　最上位候補出力部

Claims (6)

  1. 　ノン・ファクトイド型の質問の入力を受け、当該質問に対する回答を生成するノン・ファクトイド型の質問応答システムであって、コンピュータ読取可能な複数個の文書を記憶する文書記憶手段に接続されて用いられ、
    　質問の入力を受けたことに応答して、前記文書記憶手段から、当該質問に対する回答候補を取出すための候補検索手段と、
    　前記候補検索手段により回答候補が検索されたことに応答して、前記質問と、前記候補検索手段により検索された回答候補の各々との組合せについて、所定の素性の集合を生成するための素性生成手段と、
    　前記素性生成手段により生成される前記素性の集合が与えられると、当該素性の集合を生成する元となった質問と回答候補とについて、当該回答候補が当該質問に対する正しい回答である度合いを示すスコアを算出し、最もスコアの高い回答候補を前記質問に対する回答として出力する回答選択手段とを含み、
    　前記素性生成手段は、
    　前記質問及び各回答候補について、それぞれの形態素情報及び統語情報から求められる第１の素性の組を算出する第１の素性算出手段と、
    　各前記回答候補中の因果関係表現であって、前記質問に対する回答を与えるものとして相当なものを選択し、当該因果関係表現から得られる第２の素性の組を算出する第２の素性算出手段とを含み、
    　前記素性の集合は前記第１の素性の組と前記第２の素性の組とを含む、ノン・ファクトイド型の質問応答システム。
  2. 前記候補検索手段は、
    　前記質問の入力を受けたことに応答して、当該質問を所定の複数個の類型のいずれかに分類する分類手段と、
    　前記質問の入力を受けたことに応答して、前記文書記憶手段に記憶された各文書を、連続する１個又は複数個の文からなる文の組に分割し出力する文分割手段と、
    　前記文分割手段により出力された各文の組について、前記分類手段による分類結果にしたがって定まる基準によりスコアを算出し、当該スコア上位の文の組を前記回答候補として出力する手段とを含む、請求項１に記載のノン・ファクトイド型の質問応答システム。
  3. 前記第２の素性算出手段は、
    　各前記回答候補の中で、因果関係表現の特定のための手掛かりとなる表現を特定する手がかり表現特定手段と、
    　各前記回答候補の中で、前記手掛かり表現特定手段により特定された手掛かり表現により結びつけられている、因果関係の原因部分と結果部分とからなる因果関係表現を特定する因果関係表現特定手段と、
    　前記特定された因果関係表現の結果部分に含まれる名詞と当該名詞が係る述部の極性との組合せ、及び前記質問に含まれる名詞と当該名詞が係る述部の極性との組合せが一致するか否かを判定する一致判定手段と、
    　各前記回答候補の中で前記因果関係表現特定手段により特定された因果関係表現が、前記質問に対する回答として相当か否かを、前記一致判定手段による判定結果と、各前記回答候補と前記質問との間の単語マッチング及び係り受け木の部分木マッチングとを用いて判定する相当性判定手段と、
    　前記相当性判定手段による判定結果を示す情報を前記第２の素性の組の素性として出力する手段とを含む、請求項１又は請求項２に記載のノン・ファクトイド型の質問応答システム。
  4. 前記第２の素性算出手段はさらに、前記因果関係表現特定手段により特定された因果関係表現の単語のｎ－グラム、当該因果関係表現における係り受け木の部分木のｎ－グラム、若しくは当該因果関係表現に含まれる述部の極性と当該述部に係る名詞の意味との組合せ、又はこれらの任意の組合せを前記第２の素性の組の素性として出力する手段を含む、請求項３に記載のノン・ファクトイド型の質問応答システム。
  5. 前記第２の素性算出手段はさらに、前記因果関係表現特定手段により特定された因果関係表現のうちの結果部分が前記質問と共有している単語、係り受け木の部分木、活性の述部の数、若しくは不活性の述部の数、又はこれらの任意の組合せを前記第２の素性の組の素性として出力する手段を含む、請求項３又は請求項４に記載のノン・ファクトイド型の質問応答システム。
  6. ノン・ファクトイド型の質問の入力を受け、当該質問に対する回答を生成するノン・ファクトイド型の質問応答方法であって、コンピュータ読取可能な複数個の文書を記憶する文書記憶手段を用いて実行され、
    　質問の入力を受けたことに応答して、前記文書記憶手段から、当該質問に対する回答候補を取出す候補検索ステップと、
    　前記候補検索ステップにおいて回答候補が検索されたことに応答して、前記質問と、前記候補検索ステップにおいて検索された回答候補の各々との組合せについて、所定の素性の集合を生成する素性生成ステップと、
    　前記素性生成ステップにおいて生成される前記素性の集合が与えられたことに応答して、当該素性の集合を生成する元となった質問と回答候補とについて、当該回答候補が当該質問に対する正しい回答である度合いを示すスコアを算出し、最もスコアの高い回答候補を前記質問に対する回答として出力する回答選択ステップとを含み、
    　前記素性生成ステップは、
    　前記質問及び各回答候補について、それぞれの形態素情報及び統語情報から求められる第１の素性の組を算出する第１の素性算出ステップと、
    　各前記回答候補中の因果関係表現であって、前記質問に対する回答を与えるものとして相当なものを選択し、当該因果関係表現から得られる第２の素性の組を算出する第２の素性算出ステップとを含み、
    　前記素性の集合は前記第１の素性の組と前記第２の素性の組とを含む、ノン・ファクトイド型の質問応答方法。
PCT/JP2014/062913 2013-06-27 2014-05-15 ノン・ファクトイド型質問応答システムおよび方法 WO2014208213A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020157036359A KR102256240B1 (ko) 2013-06-27 2014-05-15 논팩토이드형 질의 응답 시스템 및 방법
CN201480036652.9A CN105393248B (zh) 2013-06-27 2014-05-15 非事实类提问应答系统以及方法
EP14817062.4A EP3016002A4 (en) 2013-06-27 2014-05-15 Non-factoid question-and-answer system and method
US14/900,758 US10496928B2 (en) 2013-06-27 2014-05-15 Non-factoid question-answering system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013134649A JP6150282B2 (ja) 2013-06-27 2013-06-27 ノン・ファクトイド型質問応答システム及びコンピュータプログラム
JP2013-134649 2013-06-27

Publications (1)

Publication Number Publication Date
WO2014208213A1 true WO2014208213A1 (ja) 2014-12-31

Family

ID=52141565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/062913 WO2014208213A1 (ja) 2013-06-27 2014-05-15 ノン・ファクトイド型質問応答システムおよび方法

Country Status (6)

Country Link
US (1) US10496928B2 (ja)
EP (1) EP3016002A4 (ja)
JP (1) JP6150282B2 (ja)
KR (1) KR102256240B1 (ja)
CN (1) CN105393248B (ja)
WO (1) WO2014208213A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019741A (zh) * 2018-06-01 2019-07-16 中国平安人寿保险股份有限公司 问答系统答案匹配方法、装置、设备及可读存储介质
CN111930908A (zh) * 2020-08-10 2020-11-13 腾讯科技（深圳）有限公司 基于人工智能的答案识别方法及装置、介质、电子设备
CN112632250A (zh) * 2020-12-23 2021-04-09 南京航空航天大学 一种多文档场景下问答方法及系统

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5825676B2 (ja) * 2012-02-23 2015-12-02 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム
US20190018893A1 (en) * 2014-05-12 2019-01-17 Google Inc. Determining tone differential of a segment
US9607035B2 (en) * 2014-05-21 2017-03-28 International Business Machines Corporation Extensible validation framework for question and answer systems
US11010768B2 (en) * 2015-04-30 2021-05-18 Oracle International Corporation Character-based attribute value extraction system
US10169326B2 (en) 2015-05-22 2019-01-01 International Business Machines Corporation Cognitive reminder notification mechanisms for answers to questions
US10152534B2 (en) 2015-07-02 2018-12-11 International Business Machines Corporation Monitoring a corpus for changes to previously provided answers to questions
JP6618735B2 (ja) 2015-08-31 2019-12-11 国立研究開発法人情報通信研究機構 質問応答システムの訓練装置及びそのためのコンピュータプログラム
US10769185B2 (en) * 2015-10-16 2020-09-08 International Business Machines Corporation Answer change notifications based on changes to user profile information
WO2017212689A1 (ja) * 2016-06-08 2017-12-14 シャープ株式会社 応答装置および応答装置の制御方法、制御プログラム
US10984318B2 (en) * 2016-06-15 2021-04-20 University Of Ulsan Foundation For Industry Cooperation Word semantic embedding apparatus and method using lexical semantic network and homograph disambiguating apparatus and method using lexical semantic network and word embedding
JP6727610B2 (ja) * 2016-09-05 2020-07-22 国立研究開発法人情報通信研究機構 文脈解析装置及びそのためのコンピュータプログラム
JP6767042B2 (ja) * 2016-09-26 2020-10-14 国立研究開発法人情報通信研究機構 シナリオパッセージ分類器、シナリオ分類器、及びそのためのコンピュータプログラム
JP6721179B2 (ja) * 2016-10-05 2020-07-08 国立研究開発法人情報通信研究機構 因果関係認識装置及びそのためのコンピュータプログラム
JP6929539B2 (ja) * 2016-10-07 2021-09-01 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム
WO2018066489A1 (ja) * 2016-10-07 2018-04-12 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム
JP6622172B2 (ja) * 2016-11-17 2019-12-18 株式会社東芝 情報抽出支援装置、情報抽出支援方法およびプログラム
US20180203856A1 (en) * 2017-01-17 2018-07-19 International Business Machines Corporation Enhancing performance of structured lookups using set operations
JP2019020893A (ja) 2017-07-13 2019-02-07 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答装置
US11321364B2 (en) * 2017-10-13 2022-05-03 Kpmg Llp System and method for analysis and determination of relationships from a variety of data sources
CN116910183A (zh) * 2017-11-06 2023-10-20 株式会社力森诺科 因果句解析装置、系统和方法以及记录介质
US11481560B2 (en) 2017-12-01 2022-10-25 Nippon Telegraph And Telephone Corporation Information processing device, information processing method, and program
JP6979909B2 (ja) * 2018-03-20 2021-12-15 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019220142A (ja) * 2018-06-18 2019-12-26 日本電信電話株式会社 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
JP7084617B2 (ja) * 2018-06-27 2022-06-15 国立研究開発法人情報通信研究機構 質問応答装置及びコンピュータプログラム
KR102137809B1 (ko) * 2018-09-19 2020-07-24 네이버 주식회사 자동 답변 제공 방법
CN110941706A (zh) * 2018-09-21 2020-03-31 华为技术有限公司 答案确定方法及系统
JP7132090B2 (ja) * 2018-11-07 2022-09-06 株式会社東芝 対話システム、対話装置、対話方法、及びプログラム
US10831989B2 (en) 2018-12-04 2020-11-10 International Business Machines Corporation Distributing updated communications to viewers of prior versions of the communications
US20220043972A1 (en) * 2019-02-25 2022-02-10 Nippon Telegraph And Telephone Corporation Answer generating device, answer learning device, answer generating method, and answer generating program
CN110175585B (zh) * 2019-05-30 2024-01-23 北京林业大学 一种简答题自动批改系统及方法
JP6875457B2 (ja) * 2019-06-18 2021-05-26 ヤフー株式会社 取得装置、取得方法、および取得プログラム
US11262978B1 (en) * 2019-06-19 2022-03-01 Amazon Technologies, Inc. Voice-adapted reformulation of web-based answers
CN112347297A (zh) * 2019-07-22 2021-02-09 中兴通讯股份有限公司 语音信息的处理方法及装置、存储介质和电子装置
CN110717019A (zh) * 2019-08-28 2020-01-21 厦门快商通科技股份有限公司 问答处理方法、问答系统、电子设备及介质
CN110929006B (zh) * 2019-10-29 2023-07-11 中科能效（北京）科技有限公司 一种数据型问答系统
WO2021152715A1 (ja) * 2020-01-29 2021-08-05 日本電信電話株式会社 学習装置、検索装置、学習方法、検索方法及びプログラム
CN111401033B (zh) * 2020-03-19 2023-07-25 北京百度网讯科技有限公司 事件抽取方法、事件抽取装置和电子设备
CN113806468B (zh) * 2020-06-11 2024-01-09 中移(苏州)软件技术有限公司 一种文本对话引导方法及装置、设备、存储介质
CN113742445B (zh) * 2021-07-16 2022-09-27 中国科学院自动化研究所 文本识别样本获取、文本识别方法及装置
JP7520783B2 (ja) * 2021-08-18 2024-07-23 株式会社東芝 識別装置、方法、プログラムおよび学習装置
CN113836283B (zh) * 2021-09-24 2024-04-12 上海金仕达软件科技股份有限公司 答案的生成方法、装置、电子设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925452B1 (en) * 2000-05-22 2005-08-02 International Business Machines Corporation Method and system for recognizing end-user transactions
JP4654745B2 (ja) * 2005-04-13 2011-03-23 富士ゼロックス株式会社 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和系统
JP5229782B2 (ja) * 2007-11-07 2013-07-03 独立行政法人情報通信研究機構 質問応答装置、質問応答方法、及びプログラム
US10002189B2 (en) * 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
JP5086799B2 (ja) * 2007-12-27 2012-11-28 日本電信電話株式会社 質問応答方法、装置、プログラム並びにそのプログラムを記録した記録媒体
AU2010239214A1 (en) * 2009-04-22 2011-12-15 Lead Horse Technologies, Inc. Artificial intelligence-assisted medical reference system and method
CN101872349B (zh) * 2009-04-23 2013-06-19 国际商业机器公司 处理自然语言问题的方法和装置
US10108604B2 (en) * 2010-11-19 2018-10-23 Andrew McGregor Olney System and method for automatic extraction of conceptual graphs
US20130073480A1 (en) * 2011-03-22 2013-03-21 Lionel Alberti Real time cross correlation of intensity and sentiment from social media messages
KR20130021944A (ko) * 2011-08-24 2013-03-06 한국전자통신연구원 서술형 질의 응답 방법 및 장치
CN103874994B (zh) * 2011-10-14 2017-09-08 雅虎控股公司 用于自动概括电子文档的内容的方法和装置
JP5825676B2 (ja) * 2012-02-23 2015-12-02 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
CHIKARA HASHIMOTO: "Mohitotsu no Imiteki Kyokusei 'Kassei/Fukassei' to Chishiki Kakutoku eno Oyo", PROCEEDINGS OF THE 18TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING TUTORIAL HONKAIGI, 31 March 2012 (2012-03-31), pages 93 - 96, XP008182327 *
JONG-HOON OH ET AL.: "Why Question Answering using Sentiment Analysis and Word Classes", CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, July 2012 (2012-07-01), pages 368 - 378, XP055309047, Retrieved from the Internet <URL:http://aclweb.org/ anthology//D/D12/D12-1034.pdf> [retrieved on 20140529] *
JONG-HOON OH ET AL.: "Why-Question Answering using Intra- and Inter-Sentential Causal Relations", THE 51ST ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2013, August 2013 (2013-08-01), pages 1733 - 1743, XP055309080, Retrieved from the Internet <URL:http://aclweb.org/anthology/P/P13/P13-1170.pdf> [retrieved on 20140529] *
JONG-HOON OH: "Imiteki Chishiki o Mochiita Why- gata Shitsumon Oto no Kaizen", PROCEEDINGS OF THE 18TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING TUTORIAL HONKAIGI, 31 March 2012 (2012-03-31), pages 859 - 862, XP008182326 *
JONG-HOON OH: "Improving Why Question Answering Using Semantic Orientation and Semantic Word Classes", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN (JOURNAL, vol. 54, no. 7, 15 July 2013 (2013-07-15), pages 1951 - 1966, XP055309385 *
JONG-HOON OH; KENTARO TORISAWA; CHIKARA HASHIMOTO; TAKUYA KAWADA; STIJN DE SAEGER; JUN'ICHI KAZAMA; YIOU WANG.: "Why Question Answering using Sentiment Analysis and Word Classes", PROCEEDINGS OFEMNLP-CONLL, 2012, pages 368 - 378
MASAKI MURATA; SACHIYO TSUKAWAKI; TOSHIYUKI KANAMARU; QING MA; HITOSHI ISAHARA.: "A system for answering non-factoid Japanese questions by using passage retrieval weighted based on type of answer", PROCEEDINGS OF NTCIR, vol. 6, 2007
RYUICHIRO HIGASHINAKA ET AL.: "Corpus-based Question Answering for why-Questions", INTERNATIONAL JOINT CONFERENCE ON NATURAL LANGUAGE PROCESSING, pages 418 - 425, XP055309069, Retrieved from the Internet <URL:http://www.newdesign. aclweb.org/anthology/I/I08/I08-1055.pdf> [retrieved on 20140529] *
RYUICHIRO HIGASHINAKA; HIDEKI ISOZAKI: "Corpus-based question answering for why-questions.", PROCEEDINGS OF IJCNLP, 2008, pages 418 - 425
See also references of EP3016002A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019741A (zh) * 2018-06-01 2019-07-16 中国平安人寿保险股份有限公司 问答系统答案匹配方法、装置、设备及可读存储介质
CN110019741B (zh) * 2018-06-01 2023-11-14 中国平安人寿保险股份有限公司 问答系统答案匹配方法、装置、设备及可读存储介质
CN111930908A (zh) * 2020-08-10 2020-11-13 腾讯科技（深圳）有限公司 基于人工智能的答案识别方法及装置、介质、电子设备
CN112632250A (zh) * 2020-12-23 2021-04-09 南京航空航天大学 一种多文档场景下问答方法及系统

Also Published As

Publication number Publication date
EP3016002A1 (en) 2016-05-04
US10496928B2 (en) 2019-12-03
KR20160026892A (ko) 2016-03-09
KR102256240B1 (ko) 2021-05-26
US20160155058A1 (en) 2016-06-02
JP2015011426A (ja) 2015-01-19
CN105393248A (zh) 2016-03-09
JP6150282B2 (ja) 2017-06-21
EP3016002A4 (en) 2017-03-08
CN105393248B (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
JP6150282B2 (ja) ノン・ファクトイド型質問応答システム及びコンピュータプログラム
US9519634B2 (en) Systems and methods for determining lexical associations among words in a corpus
JP5825676B2 (ja) ノン・ファクトイド型質問応答システム及びコンピュータプログラム
CN101334768B (zh) 一种利用计算机对词义进行排歧的方法、系统及检索方法
Rani et al. Comparative assessment of extractive summarization: textrank tf-idf and lda
US20100205198A1 (en) Search query disambiguation
US11893537B2 (en) Linguistic analysis of seed documents and peer groups
JP2021136027A (ja) 文書のテーマ・カバレッジの分析
JP2011118689A (ja) 検索方法及びシステム
JP5718405B2 (ja) 発話選択装置、方法、及びプログラム、対話装置及び方法
Widyantoro et al. Citation sentence identification and classification for related work summarization
JP2006244262A (ja) 質問回答検索システム、方法およびプログラム
CN110705285B (zh) 一种政务文本主题词库构建方法、装置、服务器及可读存储介质
Malandrakis et al. Sail: Sentiment analysis using semantic similarity and contrast features
US20240281606A1 (en) Linguistic analysis of seed documents and peer groups
Pettersson et al. HistSearch-Implementation and Evaluation of a Web-based Tool for Automatic Information Extraction from Historical Text.
Ullah et al. Pattern and semantic analysis to improve unsupervised techniques for opinion target identification
Rodrigues et al. Rapport—a portuguese question-answering system
Gunawan et al. Review of the recent research on automatic text summarization in bahasa indonesia
Raj et al. A trigraph based centrality approach towards text summarization
Abulaish et al. A web content mining approach for tag cloud generation
Testas Natural Language Processing with Pandas, Scikit-Learn, and PySpark
Hay et al. Filtering a Reference Corpus to Generalize Stylometric Representations.
Anand et al. A Framework for Fine Grained Sentiment Analysis on Code-Mixed Language for Social Media User Behaviours
EP4260203A1 (en) Linguistic analysis of seed documents and peer groups

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480036652.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14817062

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014817062

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14900758

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20157036359

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE