JP2010282403A - 文書検索方法 - Google Patents

Abstract

【課題】ユーザが望む重要文書を的確に抽出することができる文書検索方法を提供する。
【解決手段】Ｑ＆Ａシステム２で生じた質問文書Ｑｎとこれに応答する回答文書Ａｎとを対象として文書解析を行い、検索インデックスＳＩを作成する。この検索インデックスＳＩの重み付けは、単語出現頻度だけでなく、疑問又は質問を示す終助詞を備える文に含まれる名詞単語について重み付けを上げる等の工夫をする。また、データベース３中の文書ファイルを対象として文書インデックスＤＩが作成される。文書インデックスも、単に単語出現頻度のみに依存した重み付けではなく、同一人物の作成に係る文書群において、複数の文書において使用されている単語について重み付けを上げる等の工夫をする。この検索インデックスＳＩと文書インデックスＤＩとを、検索アルゴリズムＭに当て嵌めて合致度が算出され、データベース３中から質問文書に対するＢＥＳＴ文書が抽出される。
【選択図】図５

Description

本発明は、検索元の検索インデックスと検索先の文書インデックスとを適正に設定することで、ユーザが望む文書ファイルを的確に抽出することができるようにする文書検索方法に関する。

インターネット上や社内ネットワークのようなローカルネット上において、Ｑ＆Ａシステムと呼ばれる通信ネットワークシステムが普及している。一般にＱ＆Ａシステムは、あるユーザが質問文書を当該システム上に入力すると、前記質問をシステム上で閲覧した他のユーザが、自身の知識に基づき自発的に、前記質問に対する回答文書を当該システム上に入力するという運用がなされる。システムのユーザは、解決したい問題や知見したい情報についての質問を投稿すれば、それらに対する何らかのソリューションを当該システムから得ることができるという利点がある。

しかし、上記のＱ＆Ａシステムでは、特定の質問文書に対するレスポンスという形で投稿される特定の回答文書という、非常に限られた範囲からしか回答を得ることができない。すなわち、求める問いに対するベストの回答文書が投稿されるとは限らず、さらには質問文書に対してレスポンスが付かない場合すらあり、ユーザは所望の情報を得ることができないことが多々ある。

ユーザが所望の情報を得る他の手法として、質問事象に関し自身が想起できるキーワードを設定して、所定のデータベースに検索をかける方法も存在する。この方法は、キーワードの入力という簡易な操作で情報を取得可能ではあるが、質問者の主観に依存して検索キーワードが設定されることから、ベストの回答を取得するための適切なキーワードが設定されないことが多く、なかなか所望の情報が得られないという不具合がある。そもそも質問者は、何が問題解決のキーワードであるかを認識していない場合が多く、適切なキーワード設定はもともと期待できない。

特許文献１には、新規の質問が発生したときに、当該質問文書に用いられているキーワードを用いてデータベースを検索し、過去の同様な質問及び回答のペアを抽出する検索方法が開示されている。この検索方法によれば、同種の質問に対する過去のＱ＆Ａ事例が提示されることから、ベストの回答が得られやすくなることは確かである。

このような検索方法においては、検索元の質問文書に基づき作成される検索インデックス（キーワード）と、検索先のデータベースに蓄積されている多数の文書ファイルに基づき予め作成されている文書インデックスとを、所定の検索アルゴリズムを用いて照合させ、類似度の高い文書ファイルをヒット文書として抽出する手法が取られている。

特開２００６−９２４７３号公報

上記の検索方法によれば、ある程度の精度で質問文書に類似した文書を抽出することは可能である。しかし、ユーザが真に欲する回答文書を抽出することができる確率は、それほど高いものではなかった。すなわち、ユーザが抱える問題の解決に繋がる重要文書の抽出が、従来の検索方法では充分に行えないという問題があった。

本発明の目的は、上記の問題に鑑み、ユーザが望む重要文書を的確に抽出することができる文書検索方法を提供することにある。

上記目的を達成する本発明の一の局面に係る文書検索方法は、検索先の第１データベースに蓄積されている多数の文書ファイルに基づき、文書インデックスを作成するステップと、検索元のクエリに基づき検索インデックスを設定するステップと、前記検索インデックスと前記文書インデックスとを照合させて、前記クエリに応じた文書ファイルを抽出するステップとを含み、前記文書インデックスを作成するステップは、前記第１データベースの中から、同一人が作成した文書群を抽出するステップと、前記文書群の各文書を文書解析し、これら文書中で使用されている単語を特定するステップと、前記文書群のうちの一の文書において特定された単語が、他の文書において出現している出現度合いを求めるステップと、前記出現度合いが所定値よりも高い単語について重み付けを上げて、前記文書インデックスの重み付けを設定するステップと、を含むことを特徴とする（請求項１）。

この方法によれば、第１データベースの中から、同一人が作成した文書群が抽出され、前記文書群のうちの一の文書において特定された単語が、他の文書において出現している出現度合いが求められる。一般に、ある事柄（単語）に関連する文書を多数記述している人物は、その事柄についての専門家であると推定することができる。そのような文書は、信憑性が高く、充実した文書であると期待できる。従って、同一人の作成に係る文書において出現の頻度が高い単語について重み付けを上げて文書インデックスを作成することで、その単語を含むクエリが与えられたときに、その者の作成に係る文書ファイル、つまり専門家の作成に係る文書ファイルの類似度を高くし、抽出され易くすることができる。これにより、ユーザが望む重要文書の抽出確率を向上させることができる。

上記方法において、前記単語を特定するステップにおいて、特定される単語が、名詞単語であることが望ましい（請求項２）。名詞単語は、他の品詞の単語に比較して、その事柄に端的に繋がることを表現している場合が多い。従って、この方法によれば、的確な文書インデックスの作成に寄与する。

この場合、前記重み付けを設定するステップにおいて、さらに、原因乃至は理由を示す接続助詞を備える文に含まれる前記名詞単語について重み付けを上げることが望ましい（請求項３）。例えば、「・・・ので、」、「・・・ため、」といった原因乃至は理由を示す接続助詞を含む文には、ある事柄についての主要な記述が含まれている可能性が高い。従って、このような文に含まれる名詞単語について重み付けを上げることで、かかる文を含む文書ファイルが抽出され易いようにすることができる。

或いは、前記重み付けを設定するステップにおいて、さらに、原因乃至は理由を示す接続助詞の直前に存在する前記名詞単語について重み付けを上げることが望ましい（請求項４）。一般に、原因乃至は理由を示す接続助詞の直前に、事柄のキーとなる名詞単語が配置されるケースが多い。従って、このような名詞単語について重み付けを上げることで、かかる名詞単語を含む文書ファイルが抽出され易いようにすることができる。

上記いずれかの方法において、前記検索元のクエリが、前記第１データベースとは異なる第２データベースに投稿された１の質問文書であって、前記検索インデックスを設定するステップにおいて、前記検索インデックスが、該質問文書を文書解析して特定された単語に基づき作成されるようにすることができる（請求項５）。この方法によれば、ユーザが第２データベースに質問文書を投稿したことを端緒として、第１データベース中に潜在している有益な回答文書を抽出することが可能となる。

或いは、前記検索元のクエリが、さらに、前記質問文書に対して前記第２データベースに投稿された１又は複数の回答文書を含み、前記検索インデックスを設定するステップにおいて、前記検索インデックスが、該質問文書及び回答文書を文書解析して特定された単語に基づき作成されるようにすることができる（請求項６）。

一般に質問者は、質問事象に関しあまり知識を持たず適切なキーワードを想起することが困難で、自ずと質問文書に用いられる単語も適切でない場合が往々として生じる。これに対し、回答者は、質問事象に関して比較的詳しい知識を有し（それゆえ回答文書を自発的に投稿する）、回答文書において質問事象に対する適切なキーワードが使用される可能性が高い。従って、回答文書に基づき検索インデックスを作成することで、質問事象に対して的確性を高めることができる。

この場合、前記質問文書において、疑問乃至は質問を示す終助詞を備える文に含まれる名詞単語について重み付けを上げて、前記検索インデックスが作成されることが望ましい（請求項７）。例えば、「・・・でしょうか」というような疑問乃至は質問を示す終助詞を備える文には、ユーザが知見したい質問の本質的な記述が含まれている可能性が高い。従って、このような文に含まれる名詞単語について重み付けを上げ検索インデックスを作成することで、質問の本旨に沿った内容を含む文書ファイルが抽出され易いようにすることができる。

或いは、前記質問文書において、疑問乃至は質問を示す終助詞の直前に存在する名詞単語について重み付けを上げて、前記検索インデックスが作成されることが望ましい（請求項８）。一般に、疑問乃至は質問を示す終助詞の直前に、質問事象のキーとなる名詞単語が配置されるケースが多い。従って、このような名詞単語について重み付けを上げることで、かかる名詞単語を含む文書ファイルが抽出され易いようにすることができる。

上記方法において、前記質問文書及び回答文書の全てにおいて前記単語の出現度合いを求め、前記出現度合いに応じて当該単語の重み付けを設定し、前記検索インデックスが作成されることが望ましい（請求項９）。この方法によれば、質問文書及び回答文書の全てを通して単語の出現頻度が評価されるので、客観性に優れた検索インデックスを作成することができる。

又は、前記回答文書が複数存在する場合において全ての回答文書に前記単語の出現度合いを求め、複数の前記回答文書に出現する単語について重み付けを上げて、前記検索インデックスの重み付けが設定されることが望ましい（請求項１０）。複数の回答文書に同様に出現する単語は、その事柄において要点を為すと推定される。従って、そのような単語の重み付けを上げることで、的確な検索インデックスを作成することができる。

さらに、前記質問文書がタイトルを含む場合において、該タイトルに含まれる名詞単語について重み付けを上げて、前記検索インデックスが作成されることが望ましい（請求項１１）。多くの場合、タイトルには質問の要点となる名詞単語が含まれるので、かかる名詞単語について重み付けを上げることは、検索の的確性向上に寄与する。

本発明によれば、ユーザが望む重要文書を的確に抽出することができる文書検索方法を提供することができる。従って、インターネット上に存在するＱ＆Ａサイトの利用価値を高め、該サイトを活性化させることが可能となる。

図１は、本発明の文書検索方法が適用されるネットワークシステムのハードウェア構成を概略的に示す構成図である。 本発明の文書検索方法の概要を示す模式的なフローチャートである。 従来の検索インデックスの作成手法を説明するための模式図である。 従来の文書インデックスの作成手法を説明するための模式図である。 本発明の文書検索方法を概略的に示す模式図である。 検索インデックスの作成手法の実施形態を説明するための模式図である。 文書インデックスの作成手法の実施形態を説明するための模式図である。 検索モデルの例を示す表形式の図である。 ネットワークシステムの機能構成を示す機能ブロック図である。 ネットワークシステムの動作を示すフローチャートである。 検索インデックス作成動作の詳細を示すフローチャートである。 文書インデックス作成動作の詳細を示すフローチャートである。 文書検索の具体例を示す模式図である。

以下、図面に基づいて本発明の実施形態につき詳細に説明する。

図１は、本発明の文書検索方法が適用されるネットワークシステムＳのハードウェア構成を概略的に示す構成図である。このネットワークシステムＳは、検索エンジン１と、インターネット（又はローカルな通信ネットワーク）上においてユーザ同士の質問文書及び回答文書の投稿を受け付けるＱ＆Ａシステム２と、インターネット上において利用可能なデータベース３と、ユーザが利用する端末装置４とが、インターネットＩＮを介してデータ通信可能に接続されてなる。

Ｑ＆Ａシステム２は、インターネット上に展開された特定のウエブサイトであって、１人のユーザの質問文書の投稿（文書データ等の入力）を受け付けてこれを掲載すると共に、当該質問文書に対する他のユーザの回答文書、前記１人のユーザの再質問文書やお礼文書等も掲載するコミュニティサイトである。現行で運用されている同種のシステムとしては、例えば「Ｙａｈｏｏ！知恵袋（登録商標）」、「教えて！Ｇｏｏ」、「ＯＫｗａｖｅ」などを例示することができる。

データベース３は、インターネットに接続され、各種のＨＴＭＬファイルや画像ファイルなどが大量に記憶されているデータベースである。ここでは簡略的に図示しているが、データベース３は各々ドメイン名を持つ多数のウエブサイトの集合を示している。このようなデータベース３としては、例えばＹａｈｏｏ（登録商標）やＧｏｏｇｌｅ（登録商標）などのポータルサイトを通してアクセス可能なデータベースを例示することができる。

端末装置４は、Ｑ＆Ａシステム２に会員登録されている多数のユーザに保有されるパーソナルコンピュータや携帯電話機、携帯情報端末機等の通信端末機４１、４２、４３、４４、４５、・・・４ｎである。端末装置４は、インターネットＩＮを介してデータベース３の各種ウエブサイトにもアクセス可能とされている。Ｑ＆Ａシステム２のユーザは、各自の通信端末機４１〜４ｎを介して、Ｑ＆Ａシステム２に質問文書を投稿したり、その質問文書に対して回答文書を投稿したり、この回答文書に対して適宜なコメント文書を投稿したり、或いはこれら文書を単に閲覧したりすることが可能とされている。

検索エンジン１は、Ｑ＆Ａシステム２及びデータベース３の双方にデータ通信可能に接続され、文書検索処理、インデックス作成処理及び文書解析処理等が実行可能なサーバ装置である。検索エンジン１は、あるユーザがＱ＆Ａシステム２に投稿した１の質問文書に対する最適な回答内容を含む文書等（以下「ＢＥＳＴ文書」と言うことがある）を、データベース３の中から、或いはＱ＆Ａシステム２及びデータベース３の双方から検索する処理を行う。

図２は、検索エンジン１が実行する文書検索方法の概要を示す模式的なフローチャートである。検索エンジン１は、Ｑ＆Ａシステム２に備えられているデータベースから、１の質問文書と、これに応答して投稿された１又は複数の回答文書とを抽出し、これら文書に対して先ず形態素解析等を含む文書解析処理を行う（ステップＳ１）。文書解析の対象とする文書は、回答文書のみでも良いが、検索に有益な単語を広くピックアップするという観点からは、質問文書及び回答文書の双方を対象とすることがより望ましい。

次いで検索エンジン１は、上記の文書解析処理で得られた単語をベースにして検索インデックスを作成する（ステップＳ２）。この検索インデックスは、主に質問事象に関連深い単語群からなり、各単語に所定の重み付けが付与されたものである。そして、当該検索インデックスを用いて、大量のデータを含むデータベース３に対して文書の検索処理を行う（ステップＳ３）。この検索処理の対象に、Ｑ＆Ａシステム２に備えられているデータベースを含めるようにしても良い。

なお、データベース３の側においても、検索エンジン１による定期的な処理で、メタデータの抽出のための文書解析（ステップＳ０１）、及び文書インデックスの作成（ステップＳ０２）が行われている。この文書インデックスは、文書ファイルから抽出された単語群からなり、各単語に所定の重み付けが付与されたものである。検索元のステップＳ３における検索処理では、前記検索インデックスと検索先の文書インデックスとを使用し、所定の検索アルゴリズムを適用してクエリに対して類似度が高い文書ファイルをデータベース３から抽出する。ステップＳ３の検索処理で得られた結果は、前記１の質問文書を投稿したユーザの端末装置４に出力される（ステップＳ４）。

以上が、本実施形態に係る文書検索方法の概要であるが、ここで本実施形態との比較のために、検索インデックス及び文書インデックスの作成の従来手法について説明する。図３は、従来の検索インデックスの作成手法を、図４は、従来の文書インデックスの作成手法を説明するための模式図である。

図３には、Ｑ＆Ａシステム２に投稿される質問文書及び回答文書の具体例を示している。ここでは、質問タイトルが「パソコンにモデムを接続するとモデムのランプが消える」という質問事象についての一つの質問文書と、これに対する３つの回答文書を例示している。ここでは、質問文書に対する回答を、Ｑ＆Ａシステム２に投稿される本来の回答文書からだけではなく、汎用のデータベース３内の文書ファイル群（回答文書候補）からも抽出する例を示している。

検索インデックス作成の従来手法は、質問文書から例えば名詞単語を抽出し、その単語の質問文書中における出現頻度を重みとして作成する方法である。例えば、質問文書中の「モデム」という単語に着目すると、この単語は質問文書中に４回登場するので、その頻度（重み）＝４として検索インデックスが作成される。例えば「ＵＳＢ」という単語ならば、質問文書中に１回しか登場しないので、重み＝１となる。

図４に示すように、文書インデックスも同様にして作成される。すなわち、データベース３に含まれる回答文書候補の各文書ファイルから、例えば名詞単語を抽出し、その単語の当該文書ファイル中における出現頻度を重みとして文書インデックスが作成される。図４では、回答文書候補である「Ａさんの文書」に、例えば「モデム」という単語が３回登場し、「ドライバ」という単語が１回登場している。従って、「モデム」の頻度（重み）＝３、「ドライバ」の重み＝１として文書インデックスが作成される。

このようにして作成された検索インデックスと文書インデックスとを、検索モデルと呼ばれる文書合致度算出式（検索アルゴリズム）に当て嵌めて、質問文書と回答文書候補との合致度が算出される。そして、この合致度が高い順に、ヒット文書のリストが作成されるものである。

このような単語出現頻度のみに依存した重み付けを採用した文書検索方法でも、ある程度の文書抽出精度は担保することはできる。しかし、質問者が真に望む、問題解決に繋がるＢＥＳＴ文書の抽出精度を高くするには限界がある。要因の一つは、質問に関わる事象に関して、その事象についての専門家が作成した文書も、素人が作成した文書も、単語の出現頻度が同じであれば同列に扱われてしまう点にある。当然、専門家の作成に係る文書の方が、質問者にとってのＢＥＳＴ文書である確率がはるかに高いのであるが、従来の検索方法では両者を実質的に区別することはできない。

本発明の実施形態に係る検索インデックス及び文書インデックスの作成方法は、このような問題を解消し、ユーザが真に欲する回答文書を抽出できる確率を向上させる重み付けを行う点に特徴を有する。図５は、本発明の実施形態に係る文書検索方法を概略的に示す図である。

本実施形態の文書検索方法では、Ｑ＆Ａシステム２で生じた質問文書Ｑｎとこれに応答する回答文書Ａｎとを対象として文書解析を行い、検索インデックスＳＩを作成する。この検索インデックスＳＩは、従来方法のように単語出現頻度のみに依存した重み付けではなく、それ以外の要素を考慮して作成される特殊重み付けが付加された検索インデックスである。また、データベース３中の文書ファイルを対象として文書インデックスＤＩが作成される。この文書インデックスもまた、単に単語出現頻度のみに依存した重み付けではなく、それ以外の要素を考慮して作成される特殊重み付けが付加された文書インデックスである。このような検索インデックスＳＩと文書インデックスＤＩとを、検索アルゴリズムＭに当て嵌めて合致度が算出され、データベース３中から質問文書に対するＢＥＳＴ文書が抽出される。

本実施形態では、上記インデックスの特殊重み付けの要素として次の（１）〜（８）の項目が考慮される。
［検索インデックスＳＩについて］
（１）質問文書のタイトルに含まれる名詞単語につき、重み付けを上げる。
（２）質問文書だけではなく回答文書も全て含めて、単語の出現頻度を算出する。
（３）質問文書において、疑問又は質問を示す終助詞を備える文に含まれる名詞単語について重み付けを上げる。
（４）質問文書において、疑問又は質問を示す終助詞の直前に存在する名詞単語について重み付けを上げる。
（５）複数の回答文書に出現する単語について、重み付けを上げる。
［文書インデックスＤＩについて］
（６）原因乃至は理由を示す接続助詞を備える文に含まれる名詞単語について重み付けを上げる。
（７）原因乃至は理由を示す接続助詞の直前に存在する名詞単語について重み付けを上げる。
（８）同一人物の作成に係る文書群において、複数の文書において使用されている単語について重み付けを上げる。
（９）文書のタイトルに含まれる名詞単語につき、重み付けを上げる。

図６は、検索インデックスＳＩの作成手法の実施形態を説明するための模式図である。ここで例示している質問タイトル、質問文書及び回答文書は、図３のものと同じである。上記の項目（１）の設定理由は、一般に質問タイトルには質問の要点となる名詞単語が含まれるので、かかる名詞単語について重み付けを上げることは、検索の的確性向上に寄与すると考えられるからである。図６の例では、質問タイトルには、例えば符号５１で示す「モデム」という名詞単語が出現する。この「モデム」について、１回出現すると単に頻度＝１とカウントするのではなく、重みを少し上げてカウントすることで、当該名詞単語の重要性を検索インデックスＳＩに反映させるようにする。

上記の項目（２）は、質問文書及び回答文書の全てを通して単語の出現頻度を評価することで、客観性に優れた検索インデックスを作成することを企図した項目である。一般に、Ｑ＆Ａシステム２において、質問事象について詳しい知識を持たない質問者は、適切なキーワードを設定できないことが多い。一方、回答者は、相応の知識を有することが想定されるので、その事象について適切なキーワードを用いて回答文書を作成している可能性が高い。一方、質問文書及び回答文書の双方において頻出している如き単語は、その事象において重要性が極めて高いと評価できる。図６の例では、例えば「モデム」という単語は、質問タイトル及び質問文書に出現しているだけでなく、回答文書１〜３の全てに登場している。従って、この「モデム」には、高い重み付けが与えられる。

上記の項目（３）は、例えば、「・・・でしょうか」、「・・・ですか」、「・・・ますか」というような疑問乃至は質問を示す終助詞を備える文には、ユーザが知見したい質問の本質的な記述が含まれている可能性が高いという推定に基づく項目である。図６の例では、符号５４で示す「でしょうか」という語を含む文５５は、「Ｂ社製モデムはサポートしていないのでしょうか」というものであるが、この文５５に含まれる符号５１、５２、５３でそれぞれ示す「モデム」、「Ｂ社」、「サポート」という名詞単語の重み付けが上げられる。これにより、質問の本旨に沿った内容を含む文書ファイルが抽出され易いようにすることができる。なお、この例では名詞単語「モデム」の重み付けが、上記項目（１）、（２）による上昇に加えて重畳的に上昇されることになる。

上記の項目（４）は、疑問乃至は質問を示す終助詞の直前に、質問事象のキーとなる名詞単語が配置されるケースが多く、このような名詞単語について重み付けを上げることで、かかる名詞単語を含む文書ファイルが抽出され易いようにすることを企図した項目である。図６の例では、文５５において、符号５４で示す「でしょうか」という語の直前に位置する符号５３の名詞単語「サポート」が該当する。従って「サポート」については、項目（３）による重み付けに加えて、より高い重み付けが付与される。

上記の項目（５）は、複数の回答文書に同様に出現する単語は、その事柄において要点を為すとの推定に基づいた項目である。上述の通り、回答文書は、質問事象について相応の知識を有する者が作成することが想定されるので、このような回答文書に頻出する単語は、質問事象の要点を表現している可能性が高いと言える。図６で示す例では、符号５６で示す名詞単語「ドライバ」が、回答文書１及び回答文書２で出現しており、この「ドライバ」については重み付けが上げられる。

図７は、文書インデックスＤＩの作成手法の実施形態を説明するための模式図である。上記の項目（６）は、例えば、「・・・ので、」、「・・・ため、」といった原因乃至は理由を示す接続助詞を含む文には、ある事柄についての主要な記述が含まれている可能性が高いとの推定に基づく項目である。図７では、一人のユーザである「Ａさん」の作成に係る１つの文書６０と、同じ「Ａさん」の作成に係るその他の文書群６０Ａとを例示している。これら文書の文書ファイルは、データベース３に蓄積されている。ここで文書６０に着目すると、符号６１で示す「ため」という接続助詞を含む文６２は、「Ａ社製パソコンはＢ社製モデムを標準サポートしていないため、」というものであるが、この文６２に含まれる符号６３、６４でそれぞれ示す「モデム」、「サポート」という名詞単語、さらには「Ａ社」、「Ｂ社」、「パソコン」といった名詞単語の重み付けを上げて文書インデックスＤＩが作成される。これにより、検索インデックスＳＩが、例えば高い重みで「モデム」という単語を含むとき、文書６０が抽出され易いようにすることができる。

上記の項目（７）は、上掲の「・・・ため」のような、原因乃至は理由を示す接続助詞の直前に、事柄のキーとなる名詞単語が配置されるケースが多いことに着目した項目である。図７の文書６０では、文６２において、符号６１で示す「ため」という接続助詞の直前に位置する符号６４の名詞単語「サポート」が該当する。従って「サポート」については、項目（６）による重み付けに加えて、より高い重み付けが付与される。このようにして文書インデックスＤＩを作成しておけば、上記の項目（４）のルールに従って作成された検索インデックスＳＩとの合致率が高くなる。

上記の項目（８）は、ある事柄（単語）に関連する文書を多数記述している人物は、その事柄についての専門家であるとの推定に基づく項目である。図７に示すように、「Ａさん」は、データベース３に蓄積された一つの文書６０において、符号６３、６５でそれぞれ示すように「モデム」、「ドライバ」という名詞単語を使用している。また、データベース３に蓄積された「Ａさん」の作成に係るその他の文書群６０Ａにおいても、符号６３で示す名詞単語「モデム」は文書６０１〜６０３の全てで、符号６５で示す名詞単語「ドライバ」は文書６０２、６０３でも使用されている。

これらの文書群から、「Ａさん」という人物は、「モデム」、「ドライバ」という用語が汎用される事柄についての専門家と推定することができ、「Ａさん」の作成に係る文書は、信憑性が高く、充実した文書であると期待できる。かかる文書は、質問事象の解決に繋がる重要文書である可能性が高い。そこで、ここでは「モデム」、「ドライバ」という名詞単語の重み付けを上げて文書インデックスを作成する。これにより、名詞単語「モデム」、「ドライバ」を含むクエリ（検索インデックスＳＩ）が与えられたときに、その者の作成に係る文書ファイル、つまり専門家であると推定される「Ａさん」の作成に係る文書ファイルの類似度を高くし、抽出され易くすることができる。

上記の項目（９）は、項目（１）と実質的に同じ観点に立脚したもので、一般に文書タイトルにはその文書の内容の要点となる名詞単語が含まれ、かかる名詞単語について重み付けを上げることは、検索の的確性向上に寄与する可能性が高いからである。

次に、図８は、検索モデルの例を示す表形式の図である。ここでは、図７に示す検索アルゴリズムＭとして適用可能な検索モデルを例示している。この種の検索モデルとして最も普及しているベクトル空間モデルは、コサイン尺度である。本発明者の研究によれば、コサイン尺度は、複数の単語を含むクエリを与えたときに、より多くの種類の単語が合致する文書である程、合致度合いが高くなる傾向がある。すなわち、まんべんなく単語が合致している文書が、クエリを満たす度合いが高いと評価する傾向がある。

しかし、ある種の問題に対する回答文書を得ようとするＱ＆Ａシステム等においては、まんべんなく単語が合致している文書よりも、キーとなる特定の単語について合致している文書の方が、有益な場合が多い。この点に鑑み、既存の検索モデルを試行したところ、Ｄｉｃｅ係数は、ある文書に対して、合致する単語の種類は少なくても、特定の単語の合致度が高ければ、クエリを満たす度合いが高いと評価する傾向があること、つまり、まんべんなく単語が合致しているというよりも、重みの高い単語同士の合致率が高い程、順位の高い文書と扱うことができる検索モデルであることを本発明者は見出した。従って、本実施形態では、Ｄｉｃｅ係数モデルを、検索アルゴリズムとして用いることが検索精度を上げる点で好ましい。勿論、重みの高い単語同士の合致率が高い文書を順位の高い文書と評価できる限りにおいて、他の検索アルゴリズムも好ましく用いることができる。

続いて、本実施形態に係るネットワークシステムＳの詳細構成を説明する。図９は、ネットワークシステムＳの機能構成を示す機能ブロック図である。検索エンジン１は、例えば上記の文書解析処理及び検索処理等を行うＣＰＵ（中央演算処理装置）を備えた大型のコンピュータ装置である。前記ＣＰＵは、上記の処理を行うべくプログラミングされたソフトウェアが実行されることで、図９に示す機能部を具備するように動作する。検索エンジン１は、機能的に第１処理部１１、第２処理部１２、検索処理部１３及び出力処理部１５を備えている。

先に図１に基づき説明した通り、ネットワークシステムＳには、上記の検索エンジン１以外に、Ｑ＆Ａシステム２、データベース３（第１データベース）及び端末装置４が含まれている。Ｑ＆Ａシステム２は、ユーザが質問文書や回答文書等を入力するＱ＆Ａサイト２１と、これら質問文書及び回答文書等を記憶するＱ＆Ａ文書データベース２２（第２データベース）とを備える。データベース３は、各種の文書データが記憶された複数のウエブサイト（ウエブサーバ）３１、３２、・・・３ｎを含む。また、端末装置４は、キーボードやマウス等からなる操作部４１と、液晶ディスプレイパネル等からなる表示部４２と、プリンタ等からなる出力部４３とを備えている。

検索エンジン１の第１処理部１１は、検索元となる質問文書（クエリ）や回答文書等に基づいて、検索インデックスを作成する処理を行う。第１処理部１１は、文書抽出部１１１、文書解析部１１２及び検索インデックス作成部１１３を備えている。

文書抽出部１１１は、Ｑ＆Ａシステム２のＱ＆Ａ文書データベース２２に記憶されている１の質問文書と、この質問文書に対応付けてＱ＆Ａサイト２１に投稿された１又は複数の回答文書とのペアを抽出する。文書抽出部１１１は、質問文書を起点としてＱ＆Ａサイト２１上に形成されたスレッド全体の文書を取り込むようにしても良いし、質問文書に対して直接回答している文書を取り込むようにしても良い。

文書解析部１１２は、文書抽出部１１１が抽出した質問文書及び回答文書に対して少なくとも形態素解析を含む文書解析して、自立する単語を抽出する処理を行う。具体的には文書解析部１１２は、各解析対象文書の正規化処理、文書構造解析処理などを行う。正規化処理は、文書構造解析を正常に行い得るようにするために、解析対象文書から解析に不要な文字、記号等を削除すると共に、全角・半角文字の統一等を行う処理である。文書構造解析処理は、正規化処理後の分類対象文書に対しそれぞれ、形態素解析を実施して文書を単語単位に分割する処理、構文解析処理を実施して単語間の係り受け（名詞と動詞との関係付け等）を特定する処理などである。このような文書構造解析処理のため、文書解析部１２は、同義語及び表記の揺れを吸収するシソーラス（同義語辞書）を活用する。

検索インデックス作成部１１３は、文書解析部１１２により抽出された単語から検索インデックスを作成する処理を行う。例えば、文書解析部１１２が「モデム」、「ドライバ」、「サポート」などを自立する単語として抽出した場合、検索インデックス作成部１１３は、これら単語の出現頻度に基づく重み付けと、上記で説明した項目（１）〜（５）に従って付加される重み付けとを加算して、検索インデックスを作成する。この検索インデックスは、図略のメモリ部で保管される。

第２処理部１２は、検索先となる文書ファイル、つまりデータベース３に蓄積されている文書ファイルを文書解析して、文書インデックスを作成する処理を行う。第２処理部１２は、ＤＢ文書抽出部１２１、ＤＢ文書解析部１２２及び文書インデックス作成部１２３を備えている。

ＤＢ文書抽出部１２１は、データベース３（ウエブサイト３１、３２、・・・３ｎ）に格納されている文書ファイルを、ユーザＩＤ等に関連付けて、同一人の作成に係る文書群の単位で抽出する。この抽出は、所定の周期で定期的に実行される。

ＤＢ文書解析部１２２は、複数のウエブサイト３１、３２、・・・３ｎに各々存在する文書を統合・編集してデータを共通化し、これらの文書に対して、正規化処理、形態素解析及び同義語処理などの文書解析処理を行う。この処理は、上述の文書解析部１１２のものと同様である。かかる文書解析処理により、文書タイトルや著者、自立する単語（キーワード）が導出される。

文書インデックス作成部１２３は、ＤＢ文書解析部１２２により抽出された単語から、文書インデックスを作成する処理を行う。例えばＤＢ文書解析部１２２が、「モデム」、「ドライバ」、「サポート」などを自立する単語として抽出した場合、文書インデックス作成部１２３は、これら単語の出現頻度に基づく重み付けと、上記で説明した項目（６）〜（９）に従って付加される重み付けとを加算して、文書インデックスを作成する。この文書インデックスは、図略のメモリ部で保管される。

上記の項目（８）の重み付けを設定する場合、文書インデックス作成部１２３は、同一人の作成に係る文書群の各文書で使用されている単語を特定し、一の文書で特定された単語が他の文書において出現している出現度合いを求める。図７の例では、文書６０において出現する「モデム」という単語が、他の文書６０１〜６０３においても出現しているか否かを判定し、その出現度合いを求める。そして、前記出現度合いが所定値よりも高い単語について重み付けを上げて、文書インデックスの重み付けを設定する。図７では、「モデム」という単語は、他の文書６０１〜６０３の全てに登場するので、「モデム」の重み付けは相応の高い値に設定される。

検索処理部１３は、データベース３を検索対象として、検索インデックス作成部１１３が作成した検索インデックスと、文書インデックス作成部１２３が作成した文書インデックスとを、検索アルゴリズムに当て嵌めて合致度を算出する検索処理を行う。検索アルゴリズムとしては、コサイン尺度、Ｄｉｃｅ係数、Ｊａｃｃａｒｄ係数、Ｔスコア、相互情報量、Ｓｉｍｐｓｏｎ係数などを例示できるが、上述の通り好ましい検索アルゴリズムはＤｉｃｅ係数である。検索処理部１３は、前記検索処理によって合致度が所定値よりも高いと判定された文書ファイルのタイトル等を抽出する。

出力処理部１４は、検索処理部１３によるデータベース３の検索によりヒットした文書（推奨文書）のリストを作成する。このリストは、クエリに対する合致が高い順に並べられたリストであって、当該質問文書を投稿したユーザの端末装置４へ送信される。

端末装置４の表示部４２には、出力処理部１４から送信される検索ヒット文書（推奨文書）のリストが表示される。ユーザは、操作部４１により、前記リスト中から所望の文書に選択指示を与える操作を行うことができる。選択指示が与えられると、端末装置４はデータベース３に直接アクセスし、選択に係る文書に対してブラウジング（出力要求）し、その内容を表示部４２に表示させる。さらに、操作部４１からプリント要求が与えられた場合は、出力部４３から当該文書のプリント処理を行う。

上記で説明した検索エンジン１の処理動作を、図１０に示すフローチャートに基づいて説明する。第１処理部１１の文書抽出部１１１により、Ｑ＆Ａ文書データベース２２から質問文書が抽出され、該質問文書に対して文書解析部１１２により文書解析処理として順次、正規化処理（ステップＳ１１）、形態素解析処理（ステップＳ１２）、及び同義語処理（ステップＳ１３）が実行される。

また、前記質問文書に関連付けられて、Ｑ＆Ａ文書データベース２２に回答文書が記録されていれば、この回答文書に対しても、正規化処理（ステップＳ１４）、形態素解析処理（ステップＳ１５）、及び同義語処理（ステップＳ１６）が実行される。これにより、質問文書及び回答文書について検索キーワードとなり得る単語が抽出される。なお、文書抽出部１１による質問文書及び回答文書の抽出は、Ｑ＆Ａサイト２１へ入力される毎でも良いし、定時的（例えば毎日２４：００時など）であっても良い。

次いで、検索インデックス作成部１１３により、先の文書解析処理により抽出された単語をベースとして、該単語の出現頻度、及び上記の項目（１）〜（５）に基づいた重み付けを付加して、検索インデックスが作成される（ステップＳ１８）。この検索インデックスは、図略のメモリ部で一時的に保管される。

一方、第２処理部１２の側では、定時的な処理により、データベース３に含まれる文書のインデックスが並行して作成される。すなわちＤＢ文書抽出部１２１がデータベース３から文書ファイルをユーザＩＤ毎に文書群を抽出し、ＤＢ文書解析部１２２がデータベース３内の文書データを共通化するため、統合・編集処理を行う（ステップＳ２１）。そして、これらの文書に対して、ＤＢ文書解析部１２２が、正規化処理（ステップＳ２２）、形態素解析処理（ステップＳ２３）、及び同義語処理（ステップＳ２４）を含む文書解析処理を行う。

そして、文書インデックス作成部１２３により、文書解析処理により抽出された単語等に基づいて、文書インデックスが作成される（ステップＳ２５）。この文書インデックスは、先の文書解析処理により抽出された単語をベースとして、該単語の出現頻度、及び上記の項目（６）〜（９）に基づいた重み付けを付加して作成される。作成された文書インデックスは、図略のメモリ部に記憶される（ステップＳ２６）。

続いて、検索処理部１３が、ステップＳ１８で作成された検索インデックスを用いて、ステップＳ２５で作成された文書インデックスに対する文書検索を行う（ステップＳ３１）。この文書検索によりヒットした文書（推奨文書）のリストが、出力処理部１４により作成される（ステップＳ３２）。そして、該リストは、質問文書を投稿したユーザの端末装置４へ送信される（ステップＳ３３）。

端末装置４の操作部４１により、前記リスト中から所望の文書に選択指示を与えられた場合（ステップＳ３４）、端末装置４はデータベース３に当該選択文書の出力要求を行う。この出力要求に呼応して、選択文書の内容が表示部４２に表示されたり、或いは出力部４３により当該文書のプリント処理が行われたりする（ステップＳ３５）。

図１１は、図１０のステップＳ１７の検索インデックス作成処理（検索インデックス作成部１１３の動作）の一例を示すフローチャートである。先ず、各質問文書の投稿毎に与えられる質問要求番号に対応したカウンタｑが、ｑ＝０と設定される（ステップＳ４１）。その後、カウンタｑ＝ｑ＋１とインクリメントされ（ステップＳ４２）、ｑ番目の質問文書及び回答文書の文書解析データが取得される（ステップＳ４３）。

続いて、質問文書及び回答文書毎に名詞単語、終助詞が特定され（ステップＳ４４）、名詞単語の出現度合いが導出される（ステップＳ４５）。この処理で得られる出現度合いの値は、上記の項目（２）に基づく重み付けに使用される。さらに、「・・・でしょうか」というような終助詞を含む文の特定、及び終助詞と名詞単語との位置関係が特定される（ステップＳ４６）。この処理で得られるデータは、上記の項目（３）、（４）に基づく重み付けに使用される。

次に、回答文書の数が１を超過しているか否かが判定される（ステップＳ４７）。２以上存在する場合（ステップＳ４７でＹＥＳ）、複数の回答文書間における名詞単語の出現度合いが導出される（ステップＳ４８）。この処理で得られる出現度合いの値は、上記の項目（５）に基づく重み付けに使用される。なお、回答文書の数が１以下である場合は（ステップＳ４７でＮＯ）、ステップＳ４８はスキップされる。

その後、質問文書にタイトルが存在するか否かが確認される（ステップＳ４９）。図６に例示するような「質問タイトル」が存在する場合は、そのタイトルに使用されている名詞単語が特定される（ステップＳ５０）。この処理で得られるデータは、上記の項目（１）に基づく重み付けに使用される。タイトルが存在しない場合は（ステップＳ４９でＮＯ）、ステップＳ５０はスキップされる。

しかる後、各々の名詞単語に重み付けが設定される（ステップＳ５１）。勿論、名詞単語以外の単語も検索インデックスに加えると共に、これらにも重み付けを付与するようにしても良い。この重み付けの詳細は、上記の項目（１）〜（５）でそれぞれ説明した通りである。そして、この重み付けを含む検索インデックスの関連データがメモリに記録される（ステップＳ５２）。以下、カウンタｑが最終であるか否かが判定され（ステップＳ５３）、最終である場合は（ステップＳ５３でＹＥＳ）、処理を終了する。一方、最終でない場合は（ステップＳ５３でＮＯ）、ステップＳ４２に戻って、ｑ＋１番目の質問要求に対して同様の処理が繰り返される。

図１２は、図１０のステップＳ２５の文書インデックス作成処理（文書インデックス作成部１２３の動作）の一例を示すフローチャートである。先ず、データベース３への文書の投稿者毎に付与される作成者ＩＤに対応したカウンタｐが、ｐ＝０と設定される（ステップＳ６１）。その後、カウンタｐ＝ｐ＋１とインクリメントされ（ステップＳ６２）、ｐ番目の作成者を対象とした処理が以下で実施される。

当該作成者がデータベース３へ投稿した文書毎に付与される文書ＩＤに対応したカウンタｄが、ｄ＝０と設定される（ステップＳ６４）。その後、カウンタｄ＝ｄ＋１とインクリメントされ（ステップＳ６４）、当該作成者についてのｄ番目の文書ファイルデータが取得される（ステップＳ６５）。

続いて、ｄ番目の文書ファイルについて名詞単語、接続助詞が特定され（ステップＳ６６）、名詞単語の出現度合いが導出される（ステップＳ６７）。この処理で得られる出現度合いの値は、上記の項目（８）に基づく重み付けに使用される。さらに、「・・・ため」というような接続助詞を含む文の特定、及び接続助詞と名詞単語との位置関係が特定される（ステップＳ６８）。この処理で得られるデータは、上記の項目（６）、（７）に基づく重み付けに使用される。

その後、ｄ番目の文書ファイルにタイトルが存在するか否かが確認される（ステップＳ６９）。当該文書ファイルにタイトルが存在する場合（ステップＳ６９でＹＥＳ）は、そのタイトルに使用されている名詞単語が特定される（ステップＳ７０）。この処理で得られるデータは、上記の項目（９）に基づく重み付けに使用される。タイトルが存在しない場合は（ステップＳ６９でＮＯ）、ステップＳ７０はスキップされる。

その後、各々の名詞単語に一次的な重み付けが設定される（ステップＳ７１）。この重み付けの詳細は、上記の項目（６）、（７）、（９）でそれぞれ説明した通りである。そして、この重み付けを含む文書インデックスの関連データがメモリに記録される（ステップＳ７２）。続いて、カウンタｄが最終であるか否かが判定され（ステップＳ７３）、最終でない場合は（ステップＳ７３でＮＯ）、ステップＳ６４に戻って、ｄ＋１番目の文書ファイルに対して同様の処理が繰り返される。

一方、カウンタｄが最終である場合は（ステップＳ７３でＹＥＳ）、続いてｐ番目の作成者が投稿した全ての文書ファイル間において共通して使用されている単語が存在するか否かが確認される（ステップＳ７４）。これは、上記の項目（８）に対応した処理である。共通単語が存在する場合（ステップＳ７４でＹＥＳ）、その単語に二次的な重み付けが設定される（ステップＳ７５）。この重み付けの詳細は、上記の項目（８）及び図７で説明した通りである。そして、この重み付けを含む文書インデックスの関連データがメモリに記録される（ステップＳ７６）。

以下、カウンタｐが最終であるか否かが判定され（ステップＳ７７）、最終である場合は（ステップＳ７７でＹＥＳ）、処理を終了する。一方、最終でない場合は（ステップＳ７７でＮＯ）、ステップＳ６２に戻って、ｐ＋１番目の作成者の作成に係る文書ファイルに対して同様の処理が繰り返される。

図１３は、本実施形態に基づく文書検索の具体例を示す模式的に示す図である。Ｑ＆Ａシステム２に存在する検索元文書（質問文書及び回答文書）に基づいて作成される検索インデックスＳＩは、単語ａ、単語ｂ、単語ｃについて、各々１．０２３、０．２２１、６．８０９という重み付けが付与されている。また、データベース３に存在する検索先文書（文書ファイル）に基づいて作成される文書インデックスＤＩも、文書１、文書２、文書３・・・について、図表に示すように単語ａ、単語ｂ、単語ｃについて重み付けが付与されている。

このような検索インデックスＳＩと、各文書の文書インデックスＤＩとが、Ｄｉｃｅ係数の検索モデルに従った文書合致度算出式に入力される。そして、文書１、文書２、文書３・・・毎に、合致度が算出される。そして、合致度が高い順にソートされ、ヒット文書のランキング表示データが作成される。図１３の例では、重みの高い単語の合致率が高い場合に高合致度となるＤｉｃｅ係数が採用されていることもあり、単語ｃの重みが高い検索インデックスＳＩであることから、同じく単語ｃの重みが突出している文書２について合致度が最も高い結果となっている。

以上説明した本実施形態に係るネットワークシステムＳによれば、ユーザが望む重要文書を、Ｑ＆Ａシステム２からだけではなく、大規模なデータベース３から的確に抽出することができる文書検索方法を提供することができる。従って、インターネット上に存在するＱ＆Ａサイト２１の利用価値を高め、該サイトを活性化させることが可能となる。

Ｓ ネットワークシステム
１ 検索エンジン
１１ 第１処理部
１１１ 文書抽出部
１１２ 文書解析部
１１３ 検索インデックス作成部
１２ 第２処理部
１２１ ＤＢ文書抽出部
１２２ ＤＢ文書解析部
１２３ 文書インデックス作成部
１３ 検索処理部
１４ 出力処理部
２ Ｑ＆Ａシステム
２１ Ｑ＆Ａサイト
２２ Ｑ＆Ａ文書データベース２２（第２データベース）
３ データベース（第１データベース）
４ 端末装置
４１ 操作部
４２ 表示部
４３ 出力部

Claims (11)

1. 検索先の第１データベースに蓄積されている多数の文書ファイルに基づき、文書インデックスを作成するステップと、
   検索元のクエリに基づき検索インデックスを設定するステップと、
   前記検索インデックスと前記文書インデックスとを照合させて、前記クエリに応じた文書ファイルを抽出するステップとを含み、
   前記文書インデックスを作成するステップは、
   前記第１データベースの中から、同一人が作成した文書群を抽出するステップと、
   前記文書群の各文書を文書解析し、これら文書中で使用されている単語を特定するステップと、
   前記文書群のうちの一の文書において特定された単語が、他の文書において出現している出現度合いを求めるステップと、
   前記出現度合いが所定値よりも高い単語について重み付けを上げて、前記文書インデックスの重み付けを設定するステップと、
   を含むことを特徴とする文書検索方法。
2. 前記単語を特定するステップにおいて、特定される単語が、名詞単語であることを特徴とする請求項１に記載の文書検索方法。
3. 前記重み付けを設定するステップにおいて、さらに、原因乃至は理由を示す接続助詞を備える文に含まれる前記名詞単語について重み付けを上げることを特徴とする請求項２に記載の文書検索方法。
4. 前記重み付けを設定するステップにおいて、さらに、原因乃至は理由を示す接続助詞の直前に存在する前記名詞単語について重み付けを上げることを特徴とする請求項２に記載の文書検索方法。
5. 前記検索元のクエリが、前記第１データベースとは異なる第２データベースに投稿された１の質問文書であって、
   前記検索インデックスを設定するステップにおいて、前記検索インデックスが、該質問文書を文書解析して特定された単語に基づき作成されることを特徴とする請求項１〜４のいずれかに記載の文書検索方法。
6. 前記検索元のクエリが、さらに、前記質問文書に対して前記第２データベースに投稿された１又は複数の回答文書を含み、
   前記検索インデックスを設定するステップにおいて、前記検索インデックスが、該質問文書及び回答文書を文書解析して特定された単語に基づき作成されることを特徴とする請求項１〜４のいずれかに記載の文書検索方法。
7. 前記質問文書において、疑問乃至は質問を示す終助詞を備える文に含まれる名詞単語について重み付けを上げて、前記検索インデックスが作成されることを特徴とする請求項５又は６に記載の文書検索方法。
8. 前記質問文書において、疑問乃至は質問を示す終助詞の直前に存在する名詞単語について重み付けを上げて、前記検索インデックスが作成されることを特徴とする請求項５又は６に記載の文書検索方法。
9. 前記質問文書及び回答文書の全てにおいて前記単語の出現度合いを求め、
   前記出現度合いに応じて当該単語の重み付けを設定し、前記検索インデックスが作成されることを特徴とする請求項６に記載の文書検索方法。
10. 前記回答文書が複数存在する場合において全ての回答文書に前記単語の出現度合いを求め、
    複数の前記回答文書に出現する単語について重み付けを上げて、前記検索インデックスの重み付けが設定されることを特徴とする請求項６に記載の文書検索方法。
11. 前記質問文書がタイトルを含む場合において、該タイトルに含まれる名詞単語について重み付けを上げて、前記検索インデックスが作成されることを特徴とする請求項５又は６に記載の文書検索方法。

Images