JP2007264992A - 文書検索装置、文書検索方法、および文書検索プログラム - Google Patents

Abstract

【課題】簡単な操作により対象文書に類似する文書の検索を行なうことができる文書検索装置を提供する。
【解決手段】ユーザは、携帯電話のカメラで紙文書の全体を撮影する（Ａ）。また、テキストの存在する部分を拡大して撮影する（Ｂ）。これらの情報に基づいてデータベースの検索が行なわれ、全体のレイアウトとテキストの内容が類似する文書データが検索結果として携帯電話の画面に表示される（Ｃ）。
【選択図】図１３

Description

この発明は文書検索装置、文書検索方法、および文書検索プログラムに関し、特に複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置、文書検索方法、および文書検索プログラムに関する。

従来より、入力された文書画像をもとに、大量の文書データから類似していると判断される文書を検索するための文書検索システムが提案されている。このようなシステムは、紙に出力された文書が汚れたり劣化してしまうことによって、元の綺麗な文書を出力し直したいというニーズや、紙の文書から文書データを取得したいというニーズに対応するためのものである。

また、元々カラーで存在する電子文書が、モノクロプリンタやモノクロ複写機によってモノクロ化されてしまう場合がある。このモノクロ紙文書のみを所有している場合において、文書の内容がグラフなどを含むときには、色が重要な意味をもつことが多いため、カラー出力のニーズがある。さらに、元の文書の一部の紙出力のみを所有しているが、所有箇所の前後の内容を知るために全文を出力し直したいというニーズがある。また、自身の所有している紙出力文書を他人のために出力する場合がある。自身の所有している紙文書の複写物では画質の劣化が発生するため、元の電子文書から出力し直すことが好ましい。上記文書検索システムはこのようなニーズに対応することができる。

文書検索システムにおいては、紙文書を入力として、元の電子文書を探し出すことが必要となる。一般的に蓄積されている電子データは膨大な数存在することが多いため、効率のよい検索ができるシステムの構築が必要となる。

このような技術に関連して、下記特許文献１には、テキスト認識用に適した解像度で入力された画像を元にテキスト認識すると共に、この画像を元に視認用の低解像度の画像を作成し、認識されたテキストと対応付けて記録し、テキスト検索によって低解像度画像を検索させるシステムが開示されている。

また下記特許文献２は、入力文書画像をもとに文字認識を行なった後に、言語解析を行なってキーワード設定を行なうと共に、レイアウト情報を抽出してレイアウト情報に応じてキーワードの重み付けを行ない、このキーワードによって文書検索を行なう方法を開示している。
特開平８−６３５８３号公報 特開２０００−６７０８０号公報

従来の文書検索システムにおいて文書画像を入力するデバイスは、スキャナやＭＦＰ（Multi Function Peripheral）などの大型の装置であることが一般的であった。

従って、システムを使用するためには、ユーザは、大型のスキャナを手元に揃えたり、ＭＦＰのところまでわざわざスキャンしに行ったりしなければならないという問題があった。従って、会議室内での会議中に、配布用に手元の紙文書の元データを即時に検索したい場合や、出張先で同様に検索したい場合などに対応することができなかった。

このような問題を解決する手法として、携帯電話に搭載されているカメラのような携帯端末タイプのスキャナを入力デバイスとして用いることが考えられる。

文書検索システムでは、レイアウトや色味といった画像情報やテキスト情報をもとに検索がなされている。大型のスキャナからの入力画像を用いる文書検索システムでは、紙文書を文字認識が十分可能な解像度で入力した後に、文字認識によってテキスト情報を抽出したり、必要に応じて画像を縮小した後に画像特徴量を算出することで検索に必要な情報を得ていた。従って、文字が多い文書では文字認識にかなりの処理時間を費やしてしまったり、画像特徴算出用の画像を作成するための処理時間が発生してしまうという検索速度の問題があった。

検索速度の高速化のためには、文字認識を行なわずにキーワードを直接入力するという方法もあるが、たとえば携帯電話を用いる場合は、文字の入力インタフェースがＰＣほど簡易ではないため、操作が煩わしいという問題がある。

また、たとえば論文なのか報告書なのかといった文書種類ごと、文書作成者ごとに文書レイアウトが違っていることが多い。このため、たとえば「『監視』や『セキュリティ』に関する論文誌」をいくつか検索したいというニーズを満たすために、文書レイアウトを用いて「論文誌」にジャンルを絞り、キーワードによって関連文書を絞り込むといった使い方も文書検索システムでは可能となる。

この場合、たとえば携帯電話のカメラを使用する場合においては、前述の文書検索と同様の問題の解決に加え、検索結果提示用の表示画面が十分でないために、レイアウト情報やテキスト情報を十分に用いたりキーワードを適切に設定することで検索結果候補を十分に絞りこむ必要がある。しかし、携帯電話のカメラは画素数が十分でないため、テキスト情報を抽出可能なレベルの解像度で文書を撮影すると、文書全体のレイアウト情報が得らない。一方、文書全体を撮影すると文字認識ができなくなってしまうため、両者を両立できないという問題がある。

仮に両者を両立でき、文書全体に対するテキスト情報抽出と画像情報抽出ができたとしても、これらの全情報の中から自動的にキーワードやキー画像を設定したのでは、類似文書検索において「類似性」の定義自体がユーザごとに異なるため、検索者の意図に即した検索結果が得られないという問題がある。これを解決すべく、テキスト情報の抽出をキーワード入力で代用しようとすると、前述の入力インタフェースの点で煩わしさの問題が生じる。

なお、上記特許文献１の手法を採用すると、テキスト中からユーザの意図する検索キーワードを設定するためのキーボードなどが必要となり、装置が大型化するという問題がある。更に、高解像度画像はテキスト検索にしか用いられないが、局所的なテキスト検索しか行なわないのであれば、無駄に大容量の画像を入力していることになり処理速度や必要記憶容量の面で問題がある。逆に、検索時に文書全体のテキスト情報を用いて検索を行なうのであれば、処理時間が長くなり、また、特定のキーワードを重視した検索にならないためユーザの意図に即した検索結果が得られないという問題がある。

また、特許文献２には、文書画像からキーワードを適応的に設定することが開示されているが、ユーザの意図は反映されておらず、また、処理時間も長くかかるという問題がある。さらに、特許文献２では、画像特徴を検索に有効利用していないという問題がある。

本発明は、上述の問題点を解決するためになされたものであり、簡単な操作により対象文書に類似する文書の検索を行なうことができる文書検索装置、文書検索方法、および文書検索プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置は、対象文書の第１の解像度の画像を入力する第１の入力手段と、対象文書の、第１の解像度より細かい第２の解像度の画像であって、第１の入力手段により入力された画像の一部に対応する画像を入力する第２の入力手段と、第１の入力手段により入力された画像を基に画像情報を抽出する、画像情報抽出手段と、第２の入力手段により入力された画像を基にテキスト情報を抽出する、テキスト情報抽出手段と、抽出された画像情報とテキスト情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索手段とを備える。

好ましくは文書データベースにおいては、複数の文書データのそれぞれに対応付けて、文書画像の特徴と、文書のテキストデータとを記録し、検索手段は、記録された文書画像の特徴および文書のテキストデータ、ならびに抽出された画像情報およびテキスト情報に基づいて検索を行なう。

好ましくは検索手段は、テキスト情報抽出手段で抽出されたテキスト情報のうち、ユーザから選択されたテキスト情報を用いて検索を行なう。

この発明の他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置は、対象文書の第１の解像度の画像を入力する第１の入力手段と、対象文書の、第１の解像度より細かい第２の解像度の画像であって、第１の入力手段により入力された画像の一部に対応する画像を入力する第２の入力手段と、第１の入力手段により入力された画像を基に第１の画像情報を抽出する、第１の画像情報抽出手段と、第２の入力手段により入力された画像を基に第２の画像情報を抽出する、第２の画像情報抽出手段と、抽出された第１および第２の画像情報を用いて、文書データベースから対象文書に類似する文書のデータを検索する検索手段とを備える。

好ましくは文書検索装置は、第２の解像度の画像の第１の解像度の画像に対する位置を入力する位置入力手段をさらに備え、検索手段は、位置を用いて検索を行なう。

好ましくは文書検索装置は、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力手段により入力された画像の一部に対応する画像を入力する第３の入力手段と、第３の入力手段により入力された画像を基に画像情報またはテキスト情報を抽出する抽出手段とをさらに備え、検索手段は、抽出手段の抽出結果を用いて検索を行なう。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置は、対象文書の第１の解像度の画像を入力する第１の入力手段と、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力手段により入力された画像の一部に対応する画像を入力する第２の入力手段と、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力手段により入力された画像の一部に対応する画像を入力する第３の入力手段と、第１の解像度の画像を表示して、第２および第３の入力手段で入力された画像の位置を入力する位置入力手段と、第２および第３の入力手段により入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出手段と、第２および第３の入力手段により入力された画像の位置と、抽出された情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索手段とを備える。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法は、対象文書の第１の解像度の画像を入力する第１の入力ステップと、対象文書の、第１の解像度より細かい第２の解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、第１の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、第２の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、抽出された画像情報とテキスト情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとを備える。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法は、対象文書の第１の解像度の画像を入力する第１の入力ステップと、対象文書の、第１の解像度より細かい第２の解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、第１の入力ステップにより入力された画像を基に第１の画像情報を抽出する、第１の画像情報抽出ステップと、第２の入力ステップにより入力された画像を基に第２の画像情報を抽出する、第２の画像情報抽出ステップと、抽出された第１および第２の画像情報を用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとを備える。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法は、対象文書の第１の解像度の画像を入力する第１の入力ステップと、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第３の入力ステップと、第１の解像度の画像を表示して、第２および第３の入力手段で入力された画像の位置を入力する位置入力ステップと、第２および第３の入力ステップにより入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、第２および第３の入力ステップにより入力された画像の位置と、抽出された情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとを備える。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムは、対象文書の第１の解像度の画像を入力する第１の入力ステップと、対象文書の、第１の解像度より細かい第２の解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、第１の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、第２の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、抽出された画像情報とテキスト情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムは、対象文書の第１の解像度の画像を入力する第１の入力ステップと、対象文書の、第１の解像度より細かい第２の解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、第１の入力ステップにより入力された画像を基に第１の画像情報を抽出する、第１の画像情報抽出ステップと、第２の入力ステップにより入力された画像を基に第２の画像情報を抽出する、第２の画像情報抽出ステップと、抽出された第１および第２の画像情報を用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる。

この発明のさらに他の局面に従うと、複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムは、対象文書の第１の解像度の画像を入力する第１の入力ステップと、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、対象文書の、第１の解像度より細かい解像度の画像であって、第１の入力ステップにより入力された画像の一部に対応する画像を入力する第３の入力ステップと、第１の解像度の画像を表示して、第２および第３の入力手段で入力された画像の位置を入力する位置入力ステップと、第２および第３の入力ステップにより入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、第２および第３の入力ステップにより入力された画像の位置と、抽出された情報とを用いて、文書データベースから対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる。

上記発明に従うと、簡単な操作により対象文書に類似する文書の検索を行なうことができる文書検索装置、文書検索方法、および文書検索プログラムを提供することが可能となる。

検索のキーとなる画像の入力を行なうとき、必ずしも高解像度での入力が可能なスキャナやＭＦＰが身近にあるとは限らない（たとえば、会議室にいる場合や、各自のＰＣを使う場合や、出先にいる場合など）。従って、携帯電話のカメラなどを用いて画像の入力ができればユーザのメリットは大きい。しかし、十分な数の検索キーワードを入力するには、携帯電話ではインタフェースが乏しく、そのカメラの画素数も不足している。さらに、文字メインの文書は画像検索では特定精度が不十分である。

そこで、本実施の形態では、文書全体を撮影することにより低解像度の画像を取得し、それからレイアウト情報を抽出する。また、文書を局所的に撮影することにより、細かい解像度の画像を取得し、それからテキスト情報を抽出する。レイアウト情報とテキスト情報をもとに文書検索が行なわれる。また、必要であれば全体撮影と局所撮影の両者の位置関係を考慮して検索を行なう。

このように本実施の形態においては、２回の文書の撮影を行ない、うち１回は文書全体を撮影して撮影画像から画像情報を抽出し、もう１回は局所撮影による撮影画像からテキスト情報を抽出し、これらをもとに検索を行なう。

このような処理により、限られた画素数のカメラでも、全体画像が必要なレイアウト特徴と、解像度が要求されるテキスト特徴の両者の情報をもとに検索が可能となる。これにより、画像入力装置を安価、小型、汎用的なものとすることができる。また、画素数が少ないため、全体撮影においては処理速度を高速化することができ、かつ印刷ムラや網点の影響を受けにくい。局所撮影では、ユーザの意図するキーワード抽出が容易になり、処理速度と精度に優れるという効果がある。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における文書検索システムの構成を示す図である。

図を参照して、文書検索システムは、カメラ付き携帯電話１００と、検索サーバ２００と、文書データベース３００と、登録用文書データ入力機器４００とから構成される。それぞれの機器は、インターネット、ＬＡＮ、専用回線などの通信方法により接続される。

図中（１）で示されるように、ＭＦＰなどの登録用文書データ入力機器４００のスキャン機能やプリント機能において得られる文書データが文書データベース３００に保存される。

（２）に示されるように、検索サーバ２００は、保存された文書データをもとに画像特徴やテキスト情報を抽出し、抽出情報と文書ＩＤと文書データとを対応付ける。画像特徴やテキスト情報も文書データベース３００に保存される。

（３）に示されるように、ユーザは手元の紙文書を携帯電話１００で撮影する。携帯電話は、撮影により得られたデータから画像特徴やテキスト情報を抽出する。抽出されたデータは、検索サーバ２００に送信される。

（４）に示されるように、検索サーバ２００は、携帯電話１００から受け取った画像特徴やテキスト情報をもとに、データベース内を検索する。

（５）に示されるように、検索結果は携帯電話１００に通知される。更に携帯電話１００から文書データの送信指示があれば、文書データが携帯電話１００に送信される。

図２は、図１のカメラ付き携帯電話１００、検索サーバ２００、および文書データベース３００の構成を示すブロック図である。

図を参照して、携帯電話１００は、ＣＣＤカメラなどから構成される画像入力部１０１と、入力された画像から画像情報（特徴）を抽出する画像情報抽出部１０３と、画像情報を保存する画像情報ストア部１０５と、入力された画像からテキスト情報を抽出するテキスト情報抽出部１０７と、テキスト情報を保存するテキスト情報ストア部１０９と、携帯電話のアプリケーションソフトウェアを管理するアプリ管理部１１１と、テンキーや機能キーなどから構成されるユーザ操作入力部１１３と、カラー液晶ディスプレイから構成される表示部１１５とを備えている。

文書データベース３００は、登録文書の文書ＩＤおよびユーザが使用する情報（文書本体、関連情報、付帯情報、リンク情報など）を記録する文書データ記録部３０１と、登録文書の画像情報を抽出する画像情報抽出部３０３と、抽出された画像情報を記録する画像情報記録部３０５と、登録文書のテキスト情報を抽出するテキスト情報抽出部３０７と、抽出されたテキスト情報を記録するテキスト情報記録部３０９とを備えている。

検索サーバ２００は、文書検索の管理を行なう検索管理部２１３と、登録文書を入力する登録文書入力部２１５と、携帯電話１００から送信された画像情報および文書データベース３００から取得した画像情報を基に、画像の類似度の算出を行なう画像類似度算出部２０１と、画像類似度を記録する画像類似度ストア部２０３と、携帯電話１００から送信されたテキスト情報および文書データベース３００から取得したテキスト情報を基に、テキストの類似度の算出を行なうテキスト類似度算出部２０５と、テキスト類似度を記録するテキスト類似度ストア部２０７と、画像類似度およびテキスト類似度を基に文書の類似度を算出する文書類似度算出部２０９と、類似度に基づいて文書のソートを行なうソート処理部２１１とを備えている。

なお、図１に示されるように、文書データベース３００は、登録用文書データ入力機器４００から登録文書の入力を受付ける。登録用文書データ入力機器４００は、文書データを入力するためのスキャナ、インタフェースなどを備えている。

また、画像情報抽出部１０３、画像情報ストア部１０５、テキスト情報抽出部１０７、およびテキスト情報ストア部１０９は、携帯電話１００ではなく検索サーバ２００に備えさせてもよい。この場合、携帯電話１００は撮影された画像をデータとして検索サーバ２００に送り、検索サーバ２００が画像情報およびテキスト情報の抽出を行なう。すなわち、携帯電話内に検索用の情報抽出機能を搭載させてもよいし、させなくてもよい。また、携帯電話１００内に、情報の検索機能（検索サーバ２００の機能）を持たせてもよい。

画像入力部１０１は、携帯電話１００のカメラ部の動作および文書検索用の画像取込み処理を司る処理部である。画像情報抽出部１０３、およびテキスト情報抽出部１０７は、入力画像から各々の情報を抽出演算する処理部である。処理中の画像が、画像情報算出用の画像なのか、テキスト情報算出用の画像なのかはアプリ管理部１１１が管理しているため、これに応じて入力画像に対して画像情報抽出処理を行なうかテキスト情報抽出処理を行なうかが切り替わる。

アプリ管理部１１１は、文書検索モード自体を携帯電話（クライアント）内で管理するための処理部であり、モード管理や表示・データ通信などの管理も含めて全般を管理する。

ユーザ操作入力部１１３は、携帯電話１００のキーなどから入力される情報を管理する処理部であり、キーワード入力などもここで管理される。画像情報ストア部１０５、テキスト情報ストア部１０９は、抽出された情報を格納する。再検索モードで前回検索時の情報を利用する場合には、ここに格納されたデータが用いられる。

検索サーバ２００内では、検索管理部２１３がアプリ管理部１１１から受取った検索指示に応じて検索サーバ２００内の処理を管理する。

文書データベース３００内の登録文書に対して、各々の文書に対する画像情報とテキスト情報を読出した後に、入力文書に対する画像情報とテキスト情報とを用いて、画像類似度算出部２０１およびテキスト類似度算出部２０５で各類似度を算出する。ここで算出された類似度は、画像類似度ストア部２０３やテキスト類似度ストア部２０７に格納され、再検索時に利用される。

画像類似度算出部２０１とテキスト類似度算出部２０５の出力をもとに、文書類似度算出部２０９で各文書ごとに文書類似度が算出され、ソート処理部２１１で類似度の高い方から予め決められた数だけ文書を抽出（選択）する。

検索結果として、選択された文書に対して文書データベース３００内に記録された情報が携帯電話１００に転送され表示される。転送される情報は、ユーザが文書を選択する前は文書ＩＤの他、サムネイル、文書名、日付などのデータサイズが小さい情報のみとする。ユーザ操作入力部１１３で文書選択がなされた場合に、選択された文書ＩＤの文書データの送信を検索管理部２１３に指示する。検索管理部２１３は、該当する文書を文書データベース３００内から取出して携帯電話１００に送信する。

ユーザの検索操作に先立って、文書データベース３００に対しては随時文書の登録作業を行なうことができ、画像情報抽出部３０３やテキスト情報抽出部３０７で情報を抽出した後に、これらを文書データに対応付けて登録する。各抽出情報は画像情報記録部３０５やテキスト情報記録部３０９に記録される。

図３は、図１の文書検索システムの変形例を示す図である。
ここでは、検索サーバ２００が文書データベース３００の機能を兼ね備えることとしている。このような構成でもシステムを構成することが可能である。さらに、検索サーバ２００が登録用文書データ入力機器４００の機能を兼ね備えることとしてもよい。

また、携帯電話１００に代えて、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）、小型スキャナなどを用いてもよい。また、携帯電話１００と検索サーバ２００との間の通信は、無線、有線などその方法を問わない。

これらの構成の他にも、検索用情報の抽出機能のみが単独のサーバで提供されたり、文書データベースがＭＦＰ（登録用文書データ入力機器）内に内蔵されたり、文書データベースとは別に文書に関連付けが可能なアプリケーション用データを格納するデータベースが検索サーバ２００に接続されたりといった変形が可能であり、図１および３ではあくまでも典型的な例を示しているに過ぎない。

図４は、文書データベース３００に記録される情報の内容を示す図である。
あらかじめ文書データベース３００には、登録文書のページごとの全体特徴を表した画像特徴データと、ページ中から局所的に抽出したテキストデータが、図のようにページごとに文書データ本体や文書ＩＤと対応付けて登録されている。

図４の情報を用いることにより、画像特徴とテキストに基づいて文書の検索を行なうことができる。図４では、検索の結果としてユーザは文書データそのものを取得することができる。

図５は、文書データベース３００に記録される情報の他の構成例を示す図である。
この例では、図４の内容に加えて、文書の登録日時、作成者、文書分類（属性）のデータを記録することとしている。このように、文書に対応付けられた別の情報（文書から自動抽出されたデータや、日付などの別途得られる情報）をデータベースに記録することも可能である。また、情報へのリンク先なども合わせてデータベースに記録してもよい。

文書データベース３００への登録作業は、元の電子文書を処理することで行なったり、スキャナ、ファックス、ＭＦＰなどを用いて紙文書を電子化したデータを処理することで行なうことができる。また登録作業は、システム管理者が行なってもよいし、スキャナ、ファックス、ＭＦＰなどを日常的に使用する際に、画像情報抽出やテキスト情報抽出を行なうことで自動的に行なってもよい。

また、登録においては、文書データ、文書ＩＤ、画像情報、テキスト情報が互いに対応付けられていればよい。

なお、図４および５においては、ページごとに登録を行なっているが、１つの文書を構成するページをまとめて登録するようにしてもよい。また、登録するテキストデータは、ページ全てのテキストデータでもよいし、一部の代表的なテキストデータでもよい。

以下、文書の登録後に文書の検索を行なう処理をステップに分けて説明する。
（ステップＡ）
図６は、携帯電話１００の外観を示す図である。

図に示されるように、携帯電話１００の表示部には、「カメラ」、「インターネット」などのメニューが表示されており、ユーザは入力部の操作により所望のものを選択する。「文書検索」が選択されると、携帯電話１００は文書検索アプリを起動し、撮影モードに移行する。撮影モードにおいてカメラが起動し、図７に示されるように表示部にカメラの映像が表示される。

（ステップＢ）
撮影モードに移行後、図８に示されるように、ユーザは撮影ボタンを押すことでカメラにより検索対象となる文書の全体を撮影する。これにより画像の入力が行なわれる。このとき、現在の状態（ステップ）をユーザに判りやすく伝えるために、図９に示されるように、「文書全体を撮影してください」など何らかのナビゲーションまたはアラートを提示してもよい。

（ステップＣ）
次に、図１０に示されるように文書全体の撮影終了後、再び撮影ボタンを押すことで文書の一部分の画像の入力（局所撮影、拡大撮影）が行なわれる。ステップＢと同様に 「カメラを原稿に近付け、検索したい単語を撮影してください」などとナビゲーションやアラートを提示してもよい（図１１）。また、推奨撮影文字サイズがわかるように、アシスト用の表示を行なってもよい（図１２）。

また、文書全体の撮影が行なわれた後に、自動的にレンズをズームさせ、拡大画像が撮影されるようにしてもよい。

（ステップＤ）
全体撮影と局所撮影を行なった後に、図１３に示されるように、携帯電話１００は全体撮影により得られた画像（Ａ）から画像情報を、拡大撮影により得られた画像（Ｂ）からテキスト情報を抽出し、検索サーバ２００に送る。検索管理部２１３では、抽出された情報をもとに文書データベース３００から検索結果を得て、それを携帯電話に転送する。

検索結果は、文書ＩＤにより示してもよいし、文書データのサムネイル画像で示してもよい。サムネイル画像は、登録データをもとに検索サーバ２００で検索後に随時作成してもよいし、文書データ登録時に作成して文書データベースに予め登録しておいてもよい。

図１４は、文書データベース３００に、予め文書に対応付けてサムネイル画像を登録している状態を示す図である。

図１４のように予めサムネイル画像を用意しておくことで、検索結果の表示処理を迅速に行なうことが可能となる。

検索結果としては、最も適した（類似する）文書のみを提示してもよいし、候補を複数提示してもよい。図１３の（Ｃ）においては、１２ページに渡り、複数の候補を表示している。なお、このように複数の候補を提示する際には、検索結果の確からしさを表す情報（入力データとの類似度）の大きいものから順に提示することが好ましい。更に、入力データとの類似度を併せて画面に表示してもよい。

（ステップＥ）
ユーザは検索結果の表示をもとに、選択処理や再検索処理を行なう。

図１５は、選択処理の具体例を示す図である。
図（Ａ）を参照して、ユーザが検索結果の中で処理の対象とする文書を選択すると、（Ｂ）に示されるように、その文書に対するアクション選択の画面が携帯電話１００の画面に表示される。

ここでは、（１）拡大（文書を読む）、（２）テキスト表示、（３）印刷、（４）メール添付、（５）プロパティ表示の中からユーザは所望のアクションを選択することができる。

図１６は、「拡大」が選択された状態を示す図である。
この状態においては、図１５（Ａ）で選択された文書が拡大されている。これによってユーザは、文書を閲覧することができる。このような処理を行なうためには、選択された文書のデータを画像データとして検索サーバ２００から携帯電話１００に送信すればよい。

図１７は、「テキスト表示」が選択された状態を示す図である。
この状態においては、図１５（Ａ）で選択された文書の中のテキストデータのみが表示される。これによってユーザは、文書を読むことができる。このような処理を行なうためには、選択された文書の画像データを転送して、携帯電話１００内でそれをテキストデータに変換してもよいし、検索管理部２１３などでテキストに変換したデータを携帯電話１００に送ってもよいし、予め文書データベース３００に記録された登録テキスト情報を携帯電話１００に送ってもよい。

図１８は、「印刷」が選択された状態を示す図である。
この状態においては、図１５（Ａ）で選択された文書をプリントするために、予め設定されたプリンタまたは動的に指定するプリンタにデータ出力が行なわれる。図１８においては動的に携帯電話１００の近くにあるプリンタを検索し、検索されたプリンタの内、データの出力を行なうプリンタをユーザに選択させることとしている。プリントを行なうためには、文書データベース３００から携帯電話１００を経由して、あるいは直接プリント装置に印刷用の文書データを送信すればよい。

図１９は、「メール添付」が選択された状態を示す図である。
この状態においては、ユーザにメールの宛先アドレスを入力させることで、図１５（Ａ）で選択された文書をメールに添付して送信することができる。このような処理を行なうためには、文書データベース３００から携帯電話１００に文書データを送信して、携帯電話１００でデータ添付を行なってメールを送信してもよいし、携帯電話１００からは、メール内容（宛先やコメント本文など）を外部サーバに送信すると共に、検索結果に対応した文書データを文書データベース３００からその外部サーバに送り、この外部サーバにおいて添付作業を行なってメールを送信してもよい。

図２０は、「プロパティ表示」が選択された状態を示す図である。
この状態においては、図１５（Ａ）で選択された文書のプロパティである、文書名、登録日時、作成者、文書の分類を表示することができる。これによって、ユーザは文書に別途対応付けられた情報を確認することができる。このような処理を行なうためには、文書データベース３００に予め、付帯情報・関連情報を登録しておき（図５参照）、検索結果をもとにこの登録された情報を提示すればよい。

なお、図１５のようにアクション選択画面を表示することなく、文書が選択されたら、その文書に関連するリンク先に自動的にアクセスするようにしてもよい。この場合、関連リンクを予め文書データベースに登録しておく必要がある。

図２１は、文書データベース３００に文書データに対応付けて関連リンクを登録した状態を示す図である。

図２１のように関連リンクを登録しておくことで、文書が選択されたときは、リンクされた内容を表示することができる。

なお、ここではアクションの選択、リンク先へのアクセスを例示したが、検索結果から決定できる処理であれば、ここに挙げた例に限定されるものではない。

なお、検索結果を提示した後などに、再検索ボタンなどで再検索が指示された場合には再検索処理に移行することもできる。この場合、最初から検索をやり直してもよい（たとえば、図８の状態に戻ってもよい）し、追加で全体画像や局所画像を撮影して検索用の情報を抽出し、最初の検索結果を更に絞り込んだり、検索用の情報を修正してもよい。

図２２は、再度の撮影を行なう場合の携帯電話１００の表示例を示す図である。
たとえば図１５（Ａ）の検索結果が表示されている状態において、「再検索」が選択されると、図２２（Ａ）の表示に移行し、ユーザは「新規検索」、「再検索」、「キーワード追加」の中から所望のものを選ぶことができる。

「新規検索」が選ばれると、図８の状態に戻り、「キーワード追加」が選ばれると、ユーザからキーワードの追加入力を受付ける。

テキスト情報抽出時の文字認識性能やキーワード抽出性能が不十分であったり、ユーザによるテキストの撮影場所が好ましくなかった場合には、検索結果が好ましくなくなる可能性もある。「キーワード追加」は、このような場合にユーザからキーワードを入力する機能である。検索作業の簡易性よりも検索精度を優先させたいユーザは、キーワードを追加することで詳細な検索を行なうことができる。追加されたキーワードは、テキスト情報抽出結果のキーワードの代わりとして、またはテキスト情報抽出結果のキーワードに追加して処理することができる。また、キーワード追加としてテキスト入力されたキーワードを、より重視するように重みを付けて処理してもよい。

図２２（Ａ）において、「再撮影」が選択されると、図２２（Ｂ）に示されるように、全体撮影を行なうか、テキスト撮影（局所撮影）を行なうかの選択をユーザに促し、選択に従った処理を行なう。

次に、文書検索システムの内部的な処理について説明する。
画像情報とテキスト情報のそれぞれにおいて、文書データベース３００内の各文書と入力文書との間の類似度の計算が行なわれる。

図２３は、文書ごとの画像類似度（全体のレイアウトの類似度）の算出結果の例を示す図であり、図２４は、文書ごとのテキスト類似度の算出結果の例を示す図である。

これらの算出された類似度を用いて、画像とテキストの両方を考慮した統合的な類似度（文書類似度）が各登録文書ごとに算出される。

図２５は、文書類似度の算出結果の具体例を示す図である。
図２５では、文書類似度を画像類似度とテキスト類似度の単純平均として求める場合の例を示しているが、少なくとも画像類似度とテキスト類似度を統合的に用いて文書類似度を算出するのであれば、手法は単純平均による方法に限定されない。複数の類似度を統合して単一の類似度に変換する方法は、様々な分野において数多く提案されている。また、画像を重視するかテキストを重視するかといったユーザの要望によって重み付けを変化させてもよい。

各登録文書ごとに文書類似度を求めた後に、類似度の高い順に登録文書をソートし、類似度の高い方から決められた数だけ検索結果として文書をユーザに提示することになる。

次に、画像情報およびテキスト情報の各々に対する類似度の算出方法について説明する。

画像情報による類似度は、画像を画像特徴データに変換し、キー画像と各登録画像との画像特徴データを比較することで算出される。テキスト情報による類似度は、画像を文字認識した後に、形態素解析やＮグラム（Ｎ−ｇｒａｍ）によって抽出したキーワードの一致度合いに基づいて算出される。テキスト情報による類似度算出に関しては、インターネット上で行なわれている情報検索（機械型検索など）の技術を用いることもできる。

類似度の算出方法としては、従来から提案されているものを用いることができ、特定の方法に依存するものではないが、例として以下の文献に記載された技術を用いることができる。

・特開平６−１６８２７７号公報（画像情報による画像類似度算出方法の例）
・特開平８−２７２８１３号公報（テキスト情報による類似度算出方法の例）
また、上記実施の形態においては、テキスト情報抽出によるキーワード設定は、完全自動化された場合を想定していたが、計算機が行なうテキスト情報の抽出結果をキーワード候補としてユーザに提示し、ユーザがキーワードを最終決定するようにしてもよい。

図２６は、キーワード候補をユーザに提示する例を示す図である。
たとえば、テキスト情報抽出用の撮影画像をもとに文字認識を行ない、形態素解析を行なうことでキーワードを抽出した後に、このキーワードを図２６のように撮影画像上でユーザに提示する。ユーザは、カーソルや番号入力により、検索のキーとしたいキーワードを選択する。

図２７は、第１の実施の形態における文書検索システムの動作を示すフローチャートである。

図を参照して、ステップＳ１０１において携帯電話１００を用いて、検索の対象とする文書の第１回目の撮影が行なわれる（図８参照）。ここでの撮影は、文書全体の撮影である。

ステップＳ１０３において、携帯電話１００を用いて、検索の対象とする文書の第２回目の撮影が行なわれる（図１０参照）。ここでの撮影は、文書の一部分を詳細に撮影することで文字を入力するための撮影である。

ステップＳ１０５において、第１回目の撮影画像を基に画像情報を抽出し、ステップＳ１０７において、第２回目の撮影画像を基にテキスト情報を抽出する。

ステップＳ１０９において、抽出された画像情報を基に、文書データベース３００に登録された文書ごとに画像類似度を算出する（図２３参照）。ステップＳ１１１において、抽出されたテキスト情報を基に、文書データベース３００に登録された文書ごとにテキスト類似度を算出する（図２４参照）。

ステップＳ１１３において、画像類似度とテキスト類似度とに基づいて、文書類似度を算出する（図２５参照）。

ステップＳ１１５において、文書類似度を用いて登録文書をソーティングし、ステップＳ１１７において文書類似度が上位のＫ個の文書をユーザに提示する。

［第２の実施の形態］
上記第１の実施の形態では、撮影回数が２回で、画像情報用の全体撮影とテキスト情報用の局所撮影とを行なう場合について説明したが、第２の実施の形態では、文書全体の画像情報用の全体撮影と、文書の局所的な画像情報用の局所撮影との２回の撮影を行なうようにしている。これにより、最低限の操作で文書全体の粗い情報と、ユーザが意図する場所に特定された高解像度の局所画像の情報を得ることができ、それら両方の情報で検索を行なうことができる。

本実施の形態においては、文書データベース３００に登録された各文書ごとに、局所的な画像の特徴データを記録する。

図２８は、第２の実施の形態における文書検索システムの動作を示すフローチャートである。

図を参照して、ステップＳ２０１において携帯電話１００を用いて、検索の対象とする文書の第１回目の撮影が行なわれる。ここでの撮影は、文書全体の撮影である。

ステップＳ２０３において、携帯電話１００を用いて、検索の対象とする文書の第２回目の撮影が行なわれる。ここでの撮影は、文書の一部分を詳細に撮影することで文書の一部分の画像を入力するための撮影である。

ステップＳ２０５において、第１回目の撮影画像を基に画像情報を抽出し、ステップＳ２０７において、第２回目の撮影画像を基に画像情報を抽出する。

ステップＳ２０９において、抽出された第１回目の撮影画像の画像情報を基に、文書データベース３００に登録された文書ごとに第１の画像類似度を算出する。ステップＳ２１１において、抽出された第２回目の撮影画像の画像情報を基に、文書データベース３００に登録された文書ごとに第２の画像類似度を算出する。

ステップＳ２１３において、第１の画像類似度と第２の画像類似度とに基づいて、文書類似度を算出する。

ステップＳ２１５において、文書類似度を用いて登録文書をソーティングし、ステップＳ２１７において文書類似度が上位のＫ個の文書をユーザに提示する。

このような処理により、文書の局所的な情報である印鑑、社章、マーク、写真などの情報を用いた検索が可能となる。

［第３の実施の形態］
第３の実施の形態においては、全体画像情報用の全体撮影１回と、局所画像情報用の撮影１回と、テキスト情報用の撮影１回とで計３回の撮影を行ない、それら撮影結果に基づいて文書の検索を行なう。

図２９は、第３の実施の形態における文書検索システムの動作を示すフローチャートである。

図を参照して、ステップＳ３０１において携帯電話１００を用いて、検索の対象とする文書の第１回目の撮影が行なわれる。ここでの撮影は、文書全体の撮影である。

ステップＳ３０３において、携帯電話１００を用いて、検索の対象とする文書の第２回目の撮影が行なわれる。ここでの撮影は、文書の一部分を詳細に撮影することで文書の一部分の画像を入力するための撮影である。

ステップＳ３０５において、携帯電話１００を用いて、検索の対象とする文書の第３回目の撮影が行なわれる。ここでの撮影は、文書の一部分を詳細に撮影することで文字を入力するための撮影である。

ステップＳ３０７において、第１回目の撮影画像を基に第１の画像情報（文書全体としての画像情報）を抽出し、ステップＳ３０９において、第２回目の撮影画像を基に第２の画像情報（文書の一部の画像情報）を抽出し、ステップＳ３１１において、第３回目の撮影画像を基にテキスト情報を抽出する。

ステップＳ３１３において、抽出された第１の画像情報を基に、文書データベース３００に登録された文書ごとに第１の画像類似度を算出する。ステップＳ３１５において、抽出された第２回目の撮影画像の画像情報を基に、文書データベース３００に登録された文書ごとに第２の画像類似度を算出する。ステップＳ３１７において、抽出されたテキスト情報を基に、文書データベース３００に登録された文書ごとにテキスト類似度を算出する。

ステップＳ３１９において、第１の画像類似度、第２の画像類似度、およびテキスト類似度に基づいて、文書類似度を算出する。

ステップＳ３２１において、文書類似度を用いて登録文書をソーティングし、ステップＳ３２３において文書類似度が上位のＫ個の文書をユーザに提示する。

なお、ここでは全体画像情報用の全体撮影１回と、局所画像情報用の撮影１回と、テキスト情報用の撮影１回とで計３回の撮影を行なうこととしたが、さらなる撮影を行なうこととしてもよいし、たとえば全体撮影１回と局所画像情報用の撮影２回、または全体撮影１回とテキスト情報用の撮影２回、などの組合せで撮影を行なうようにしてもよい。また、全体撮影を局所撮影の後で行なうようにしてもよい。すなわち、撮影回数や（全体と局所などの）撮影順序に制限を加えるものではない。

［再検索の処理について］
図３０は、図１５（Ａ）で「再検索」が選択され、図２２に示される再検索処理が実行される処理を示すフローチャートである。

図を参照して、ステップＳ４０１で図２２（Ａ）の画面を表示し、ユーザに再検索方法を選択させる。ステップＳ４０３で選択された方法が、「新規検索」であればステップＳ４０５で、文書検索モードに移行した直後の状態（図７）に移行する。

「再撮影」が選択されたのであれば、ステップＳ４０７において図２２（Ｂ）に示される画面を表示し、ユーザに再撮影の方法を選択させる。ステップＳ４０９で選択された方法が「全体画像」であれば、ステップＳ４１１で文書全体の画像の撮影を行ない、ステップＳ４１３で画像情報を抽出する。ステップＳ４１５で、前回使用した画像情報を今回抽出した画像情報で置換する。

その後、ステップＳ４１７で文書データベースの文書それぞれに対して画像類似度を算出する。ステップＳ４１９において、テキスト類似度は前回算出したものを設定する。ステップＳ４２１において、文書データベースの文書それぞれに対して文書類似度を算出する。ステップＳ４２３において、文書類似度が上位のＫ個の文書を選択し、ユーザに検索結果として提示する。

また、ステップＳ４０９で選択された方法が「局所画像」であれば、ステップＳ４２５で局所画像の撮影を行ない、ステップＳ４２７でテキスト情報を抽出する。ステップＳ４２９で、前回使用したテキスト情報を今回抽出したテキスト情報で置換する。

その後、ステップＳ４３１で文書データベースの文書それぞれに対してテキスト類似度を算出する。ステップＳ４３３において、画像類似度は前回算出したものを設定する。その後、ステップＳ４２１からの処理を行なう。

ステップＳ４０３で選択された方法が、「キーワード追加」であればステップＳ４３５でユーザからのキーワードの入力を受付け、入力されたキーワードをテキスト情報に設定する。その後、ステップＳ４２９に移行する。

［第４の実施の形態］
第４の実施の形態においては、全体画像と局所画像の対応付けデータを入力し、それを検索に利用することとしている。すなわち、局所的な情報が文書全体に対してどの位置にあるのかといった位置情報を利用して、元文書検索や定型書式検索などを行なうものである。

図３１は、位置情報の指定方法を示す図である。
ここでは、第１の実施の形態における第２回目の（テキスト情報算出用）撮影の前に、次にどこを撮影するのかを点線の枠で指定することとしている。図２６に示されるように、指定された場所には、「夜間走行時」、「安全性」などのキーワードが含まれているので、文書の検索においては、これらのキーワードが文書の右下（指定された場所）にある登録文書のみを検索すればよいことになる。このような処理によって、検索速度や検索精度の向上を見込むことができる。

文字認識、文書ファイリング、文書認識、文書編集などの処理では、文字領域を矩形塊ごとに切り出したり、文章単位でテキストを抽出することが一般的に行なわれている。たとえば、ＰＤＦ（portable document format）やＨＴＭＬ（hypertext markup language）などでも、どの場所にどのデータを貼り付けるかといった情報を内部に所有しているため、データと位置の対応付けというこれらの情報を用いることで検索対象を限定することができる。

たとえば、図３１のようにして指定された位置付近以外の文字は、キーワード検索の対象にしなかったり、指定された位置付近に文字がない登録文書は、検索対象外にすることができる。

撮影位置指定の方法としては、図３１のように「次に撮影する場所を決定して下さい」などの提示を行なった上で、表示される矩形枠の中に撮影範囲が入るように促したり、図３２のように、十字カーソルの中心位置で位置を指定するなどの方法を用いることができる。すなわち携帯電話１００の画面に、既に撮影した第１回目の撮影画像を表示し、携帯電話１００のユーザ操作入力部１１３に含まれる十字キーなどで、矩形や十字カーソルを移動させ、決定ボタンの押下により位置情報を確定させるとよい。

図３３は、第４の実施の形態における文書検索システムの動作を示すフローチャートである。

図を参照して、ステップＳ５０１において携帯電話１００を用いて、検索の対象とする文書の第１回目の撮影が行なわれる。ここでの撮影は、文書全体の撮影である。

ステップＳ５０３において、第１回目の撮影により得られた画像を携帯電話１００の表示部１１５に表示し、第２回目の撮影位置の指定を受付ける。

ステップＳ５０５において、携帯電話１００を用いて、検索の対象とする文書の第２回目の撮影が行なわれる。ここでの撮影は、文書の一部分を詳細に撮影することで文字を入力するための撮影である。

ステップＳ５０７において、第１回目の撮影画像を基に画像情報（文書全体としての画像情報）を抽出し、ステップＳ５０９において、第２回目の撮影画像を基にテキスト情報を抽出する。

ステップＳ５１１において、抽出された画像情報を基に、文書データベース３００に登録された文書ごとに画像類似度を算出する。ステップＳ５１３において、抽出されたテキスト情報およびその位置情報を基に、文書データベース３００に登録された文書ごとにテキスト類似度を算出する。

ステップＳ５１５において、画像類似度およびテキスト類似度に基づいて、文書類似度を算出する。

ステップＳ５１７において、文書類似度を用いて登録文書をソーティングし、ステップＳ５１９において文書類似度が上位のＫ個の文書をユーザに提示する。

なお、上記実施の形態では、第２回目の撮影前に位置を指定する場合を示したが、第２回目の撮影の後に第１回目の撮影との対応を図３１のように指定してもよい。

本実施の形態においては、文書データベース３００内の画像情報やテキスト情報内にその位置情報を埋め込み、類似度算出処理部２０１，２０５で位置に応じた類似度を算出することで検索が行なわれる。

［第５の実施の形態］
第４の実施の形態においては、文書の全体画像とそれに含まれる局所部分との位置関係に基づいて検索を行なうこととしたが、第５の実施の形態においては、２つの局所画像を撮影し、それらの位置関係に基づいて検索を行なうこととしている。

図３４は、第５の実施の形態における文書検索システムの動作を示すフローチャートである。

図を参照して、ステップＳ６０１において携帯電話１００を用いて、検索の対象とする文書の第１回目の撮影が行なわれる。ここでの撮影は、文書全体の撮影である。

ステップＳ６０３において、第１回目の撮影により得られた画像を携帯電話１００の表示部１１５に表示し、第２回目の撮影位置の指定を受付ける。

ステップＳ６０５において、携帯電話１００を用いて、検索の対象とする文書の第２回目の撮影が行なわれる。ここでの撮影は、文書の一部分を詳細に撮影するための撮影である。

ステップＳ６０７において、第１回目の撮影により得られた画像を携帯電話１００の表示部１１５に表示し、第３回目の撮影位置の指定を受付ける。

ステップＳ６０９において、携帯電話１００を用いて、検索の対象とする文書の第３回目の撮影が行なわれる。ここでの撮影は、文書の一部分を詳細に撮影するための撮影である。

ステップＳ６１１において、第２回目、第３回目の撮影画像を基に画像情報やテキスト情報を抽出し、ステップＳ６１３において、第２回目、第３回目の撮影画像の相対的な位置関係、および抽出された画像情報やテキスト情報を基に、文書データベース３００に登録された文書ごとに類似度を算出する。

ステップＳ６１５において、類似度を用いて登録文書をソーティングし、ステップＳ６１７において類似度が上位のＫ個の文書をユーザに提示する。

［実施の形態における効果］
以上のように、本発明の実施の形態によると、紙文書を元に、場所を選ばず、簡易に、高精度で、所望の電子文書を検索するシステムを提供することが可能となる。

［その他］
なお、上述の実施の形態における処理は、ソフトウエアにより行なってもよいし、ハードウエア回路を用いて行なってもよい。

また、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態における文書検索システムの構成を示す図である。 図１のカメラ付き携帯電話１００、検索サーバ２００、および文書データベース３００の構成を示すブロック図である。 図１の文書検索システムの変形例を示す図である。 文書データベース３００に記録される情報の内容を示す図である。 文書データベース３００に記録される情報の他の構成例を示す図である。 携帯電話１００の外観を示す図である。 携帯電話１００の表示部にカメラの映像が表示された状態を示す図である。 ユーザが撮影ボタンを押すことで検索対象となる文書の全体を撮影する状態を示す図である。 図８の画面にナビゲーションを表示した状態を示す図である。 文書全体の撮影終了後、再びユーザが撮影ボタンを押すことで文書の一部分の画像を撮影する状態を示す図である。 図１０の画面にナビゲーションを表示した状態を示す図である。 図１０の画面にナビゲーションを表示した状態を示す図である。 画像情報とテキスト情報とから検索結果を表示する処理を示す図である。 文書データベース３００に、予め文書に対応付けてサムネイル画像を登録している状態を示す図である。 選択処理の具体例を示す図である。 「拡大」が選択された状態を示す図である。 「テキスト表示」が選択された状態を示す図である。 「印刷」が選択された状態を示す図である。 「メール添付」が選択された状態を示す図である。 「プロパティ表示」が選択された状態を示す図である。 文書データベース３００に文書データに対応付けて関連リンクを登録した状態を示す図である。 再度の撮影を行なう場合の携帯電話１００の表示例を示す図である。 文書ごとの画像類似度（全体のレイアウトの類似度）の算出結果の例を示す図である。 文書ごとのテキスト類似度の算出結果の例を示す図である。 文書類似度の算出結果の具体例を示す図である。 キーワード候補をユーザに提示する例を示す図である。 第１の実施の形態における文書検索システムの動作を示すフローチャートである。 第２の実施の形態における文書検索システムの動作を示すフローチャートである。 第３の実施の形態における文書検索システムの動作を示すフローチャートである。 図１５（Ａ）で「再検索」が選択され、図２２に示される再検索処理が実行される処理を示すフローチャートである。 位置情報の指定方法を示す図である。 位置情報の指定方法の他の例を示す図である。 第４の実施の形態における文書検索システムの動作を示すフローチャートである。 第５の実施の形態における文書検索システムの動作を示すフローチャートである。

符号の説明

１００ 携帯電話、１０１ 画像入力部、１０３ 画像情報抽出部、１０５ 画像情報ストア部、１０７ テキスト情報抽出部、１０９ テキスト情報ストア部、１１１ アプリ管理部、１１３ ユーザ操作入力部、１１５ 表示部、２００ 検索サーバ、２０１ 画像類似度算出部、２０３ 画像類似度ストア部、２０５ テキスト類似度算出部、２０７ テキスト類似度ストア部、２０９ 文書類似度算出部、２１１ ソート処理部、２１３ 検索管理部、２１５ 登録文書入力部、３００ 文書データベース、３０１ 文書データ記録部、３０３ 画像情報抽出部、３０５ 画像情報記録部、３０７ テキスト情報抽出部、３０９ テキスト情報記録部、４００ 登録用文書データ入力機器。

Claims (13)

1. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置であって、
   前記対象文書の第１の解像度の画像を入力する第１の入力手段と、
   前記対象文書の、前記第１の解像度より細かい第２の解像度の画像であって、前記第１の入力手段により入力された画像の一部に対応する画像を入力する第２の入力手段と、
   前記第１の入力手段により入力された画像を基に画像情報を抽出する、画像情報抽出手段と、
   前記第２の入力手段により入力された画像を基にテキスト情報を抽出する、テキスト情報抽出手段と、
   前記抽出された画像情報とテキスト情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索手段とを備えた、文書検索装置。
2. 前記文書データベースにおいては、複数の文書データのそれぞれに対応付けて、文書画像の特徴と、文書のテキストデータとを記録し、
   前記検索手段は、前記記録された文書画像の特徴および文書のテキストデータ、ならびに前記抽出された画像情報およびテキスト情報に基づいて検索を行なう、請求項１に記載の文書検索装置。
3. 前記検索手段は、前記テキスト情報抽出手段で抽出されたテキスト情報のうち、ユーザから選択されたテキスト情報を用いて検索を行なう、請求項１または２に記載の文書検索装置。
4. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置であって、
   前記対象文書の第１の解像度の画像を入力する第１の入力手段と、
   前記対象文書の、前記第１の解像度より細かい第２の解像度の画像であって、前記第１の入力手段により入力された画像の一部に対応する画像を入力する第２の入力手段と、
   前記第１の入力手段により入力された画像を基に第１の画像情報を抽出する、第１の画像情報抽出手段と、
   前記第２の入力手段により入力された画像を基に第２の画像情報を抽出する、第２の画像情報抽出手段と、
   前記抽出された第１および第２の画像情報を用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索手段とを備えた、文書検索装置。
5. 前記第２の解像度の画像の前記第１の解像度の画像に対する位置を入力する位置入力手段をさらに備え、
   前記検索手段は、前記位置を用いて検索を行なう、請求項１〜４のいずれかに記載の文書検索装置。
6. 前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力手段により入力された画像の一部に対応する画像を入力する第３の入力手段と、
   前記第３の入力手段により入力された画像を基に画像情報またはテキスト情報を抽出する抽出手段とをさらに備え、
   前記検索手段は、前記抽出手段の抽出結果を用いて検索を行なう、請求項１〜５のいずれかに記載の文書検索装置。
7. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索装置であって、
   前記対象文書の第１の解像度の画像を入力する第１の入力手段と、
   前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力手段により入力された画像の一部に対応する画像を入力する第２の入力手段と、
   前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力手段により入力された画像の一部に対応する画像を入力する第３の入力手段と、
   前記第１の解像度の画像を表示して、前記第２および第３の入力手段で入力された画像の位置を入力する位置入力手段と、
   前記第２および第３の入力手段により入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出手段と、
   前記第２および第３の入力手段により入力された画像の位置と、前記抽出された情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索手段とを備えた、文書検索装置。
8. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法であって、
   前記対象文書の第１の解像度の画像を入力する第１の入力ステップと、
   前記対象文書の、前記第１の解像度より細かい第２の解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、
   前記第１の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、
   前記第２の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、
   前記抽出された画像情報とテキスト情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとを備えた、文書検索方法。
9. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法であって、
   前記対象文書の第１の解像度の画像を入力する第１の入力ステップと、
   前記対象文書の、前記第１の解像度より細かい第２の解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、
   前記第１の入力ステップにより入力された画像を基に第１の画像情報を抽出する、第１の画像情報抽出ステップと、
   前記第２の入力ステップにより入力された画像を基に第２の画像情報を抽出する、第２の画像情報抽出ステップと、
   前記抽出された第１および第２の画像情報を用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとを備えた、文書検索方法。
10. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索方法であって、
    前記対象文書の第１の解像度の画像を入力する第１の入力ステップと、
    前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、
    前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第３の入力ステップと、
    前記第１の解像度の画像を表示して、前記第２および第３の入力手段で入力された画像の位置を入力する位置入力ステップと、
    前記第２および第３の入力ステップにより入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、
    前記第２および第３の入力ステップにより入力された画像の位置と、前記抽出された情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとを備えた、文書検索方法。
11. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムであって、
    前記対象文書の第１の解像度の画像を入力する第１の入力ステップと、
    前記対象文書の、前記第１の解像度より細かい第２の解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、
    前記第１の入力ステップにより入力された画像を基に画像情報を抽出する、画像情報抽出ステップと、
    前記第２の入力ステップにより入力された画像を基にテキスト情報を抽出する、テキスト情報抽出ステップと、
    前記抽出された画像情報とテキスト情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる、文書検索プログラム。
12. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムであって、
    前記対象文書の第１の解像度の画像を入力する第１の入力ステップと、
    前記対象文書の、前記第１の解像度より細かい第２の解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、
    前記第１の入力ステップにより入力された画像を基に第１の画像情報を抽出する、第１の画像情報抽出ステップと、
    前記第２の入力ステップにより入力された画像を基に第２の画像情報を抽出する、第２の画像情報抽出ステップと、
    前記抽出された第１および第２の画像情報を用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる、文書検索プログラム。
13. 複数の文書データが登録された文書データベースから、対象文書と類似度の高い文書を検索する文書検索プログラムであって、
    前記対象文書の第１の解像度の画像を入力する第１の入力ステップと、
    前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第２の入力ステップと、
    前記対象文書の、前記第１の解像度より細かい解像度の画像であって、前記第１の入力ステップにより入力された画像の一部に対応する画像を入力する第３の入力ステップと、
    前記第１の解像度の画像を表示して、前記第２および第３の入力手段で入力された画像の位置を入力する位置入力ステップと、
    前記第２および第３の入力ステップにより入力された画像を基に、画像情報およびテキスト情報の少なくとも一方を抽出する、情報抽出ステップと、
    前記第２および第３の入力ステップにより入力された画像の位置と、前記抽出された情報とを用いて、前記文書データベースから前記対象文書に類似する文書のデータを検索する検索ステップとをコンピュータに実行させる、文書検索プログラム。

Images