JP2008146602A - 文書検索装置、文書検索方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 画像検索を用いた文書検索において、検索結果リスト中に文書の概要と画像検索によってヒットした画像が置かれている文書中の文脈とを効率よく表示すること。
【解決手段】 文書検索装置は、入力された検索条件に合致する画像を含む文書データを検索する文書検索部と、文書検索部の検索結果に基づいて、検索条件と合致する文書データの一覧表示を表示部に表示する検索結果リスト表示部と、検索結果リスト表示部による一覧表示中に、検索条件に合致したページまたは画像要素に関する第１サムネール画像と、検索条件に合致したページまたは画像要素を含む文書データを構成する別のページまたは別の画像要素に関する第２サムネール画像と、を表示するサムネール表示部とを備える。
【選択図】 図９

Description

本発明は、文書検索技術に関する。

ストレージ技術の進化および低コスト化が進み、大量の文書データを蓄積管理することが可能となっている。ファイルサーバ、文書管理システム、およびグループウェアなどが普及し、また、高機能化および高性能化が進んでいる。また情報処理装置が進化する一方で、コピー機、プリンタ、イメージスキャナ、ファクス、デジタルカメラ、文書ストレージや画像の送受信機能を備えた複合機（ＭＦＰ）などの各種の映像事務機器がネットワーク対応している。ネットワーク環境においては、情報処理装置や各種映像事務機器群の間で大量の文書データの交換が常時行われているが、オフィスのネットワークを流通する文書トラフィックを積極的にストアするストレージインフラストラクチャが実用化されつつある。

特許文献１では、操作者の手を煩わすことなく確実に、必要な画像の控えを残す複合画像処理装置を提供するために、少なくとも２つの画像データ出力装置が接続できる複合画像処理装置を開示している。

ストアされた膨大な文書の中から所望の文書を効率的に検索するためには、テキストだけでなく画像主体の文書の検索にも配慮することが重要である。プレゼンテーション資料やグラフィクス、ビジュアルを多用した文書など、テキストでない画像主体の文書ではフルテキストサーチだけでは不十分である。また、手元にある画像を検索キーにしてその画像を含む文書を検索したい場合、フルテキストサーチだけではうまく機能しない。

画像を検索キーとして類似画像を検索する類似画像検索の手法が多く知られている。画像中のエッジなどからオブジェクトを抽出し形状を判定し形状やその配置や配色や複数のオブジェクト間の位置関係などを用いるものや、画像全体を構成する支配的な色の組み合わせや配色パターンをヒストグラムなどで抽出して用いるものなどがある。

例えば、特許文献２では、認知的な類似性判定に近い特性を持つ特徴量を導き出す数学処理を用いる類似画像検索の手法を開示している。

特許文献３は複数ページからなる文書をテキスト検索し、ヒットしたテキストに対応するテキストイメージを含むページまたは複数ページ（テキストが２ページにまたがっていた場合は両方のページ）を表示する構成を開示する。
特許３４８６４５２号公報 特開２００６‐６５８６６号公報 特許３６９１９６２号公報

画像検索技術を用いた文書検索において、検索結果としてただ１つの文書が得られるケースはむしろまれであり、多くの場合、検索後に検索にヒットした相当数の文書の中から所望の文書をユーザの判断により見出す工程を要する。その理由は、大規模なストレージインフラストラクチャにおいては実際に同一の画像を再利用したり改良したりして含む複数の文書が存在する場合が多いからである。また、画像の類似度はアナログな連続量であり、異なる画像の組であってもある程度の類似度を持つからである。また、「似ている」という判断の基準は、検索の目的に応じたユーザの主観に基づくため恣意的である。ユーザの主観に常に完全に合致した類似度評価を自動的に行うことは不可能である以上、類似画像検索は相当数の候補まで絞り込むために用いるだけで、所望の文書を見出す作業はユーザの主観に委ねるべきだからである。さらに、ある程度の幅を持って相当数の検索結果文書をユーザに提示することにより、ユーザの発想を刺激し創造的な作業を支援することが期待できる場合もある。

特許文献２等に開示されている画像検索技術を用いた文書検索では、検索結果リストは相当数の文書を含みかつノイズ（所望以外の文書）も多く含むものになる。そのため、ユーザがリストを一覧してその中から所望の文書を見つけ出す効率が重要となる。

例えば、検索にヒットした画像が複数の文書に含まれている場合、複数の文書が文書検索結果リストにあげられることになるが、その画像がおかれている文脈に依存して所望の文書であったりなかったりする場合もある。テキスト主体の文書であれば、文章の要約技術を用いて自動的に概要を生成し、検索結果リストの中に文書の概要を表示することによって、ユーザが所望の文書を選択しやすくする検索システムは構成できる。しかしながら、テキストに基づく要約では画像の情報を表現できない。

特許文献３はテキストベースの検索結果が文書内の複数のページにまたがる場合の表示を示しているが、類似画像検索による文書検索の結果一覧からユーザの目によって所望の文書を選び出す効率の向上にはつながらない。

本発明は、画像検索を用いた文書検索において、検索結果リスト中に文書の概要と画像検索によってヒットした画像が置かれている文書中の文脈とを効率よく表示することを可能にする文書検索技術の提供を目的とする。

あるいは、本発明は、ユーザが大量でノイズの多い検索結果リストの中からすばやく所望の文書を見つけ出すことを可能にする文書検索技術の提供を目的とする。

上記の少なくともいずれかの目的を達成する本発明に係る文書検索装置は、
入力された検索条件に合致する画像を含む文書データを検索する文書検索手段と、
前記文書検索手段の検索結果に基づいて、前記検索条件と合致する文書データの一覧表示を表示手段に表示する検索結果リスト表示手段と、
前記検索結果リスト表示手段による前記一覧表示中に、前記検索条件に合致したページまたは画像要素に関する第１サムネール画像と、前記検索条件に合致したページまたは画像要素を含む文書データを構成する別のページまたは別の画像要素に関する第２サムネール画像と、を表示するサムネール表示手段と
を備えることを特徴とする。

あるいは、上記の少なくともいずれかの目的を達成する本発明に係る文書検索方法は、表示手段を備える文書検索装置の文書検索方法であって、
入力された検索条件に合致する画像を含む文書データを検索する文書検索工程と、
前記文書検索工程の検索結果に基づいて、前記検索条件と合致する文書データの一覧表示を前記表示手段に表示する検索結果リスト表示工程と、
前記検索結果リスト表示工程による前記一覧表示中に、前記検索条件に合致したページまたは画像要素に関する第１サムネール画像と、前記検索条件に合致したページまたは画像要素を含む文書データを構成する別のページまたは別の画像要素に関する第２サムネール画像と、を表示するサムネール表示工程と
を備えることを特徴とする。

本発明に拠れば、画像検索を用いた文書検索において、検索結果リスト中に文書の概要と画像検索によってヒットした画像が置かれている文書中の文脈とを効率よく表示することが可能になる。

あるいは、本発明に拠れば、ユーザが大量でノイズの多い検索結果リストの中からすばやく所望の文書を見つけ出すことが可能になる。

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

（画像処理システムの構成）
図１は、実施形態に係る画像処理システムの全体構成を示すブロック図である。図１において、画像処理システムは、互いにネットワークを介して接続された画像処理装置１１０，１２０，１３０とパーソナルコンピュータ（情報処理装置）１０１、１０２とサーバシステム１４０とから構成される。ネットワークは、例えばＬＡＮ（Local Area Network）１００で構成される。

画像処理装置１１０は、画像入力デバイスであるスキャナ１１３、画像出力デバイスであるプリンタ１１４、制御ユニット１１１、ユーザインタフェースである操作部１１２から構成される。スキャナ１１３、プリンタ１１４、操作部１１２はそれぞれ、制御ユニット１１１に接続されて、制御ユニット１１１からの命令によって制御される。制御ユニット１１１は、ＬＡＮ１００に接続されている。

また、画像処理装置１２０、１３０は、画像処理装置１１０と同様の構成となっている。

パーソナルコンピュータ１０１は、複数のユーザのそれぞれが主に個人的に使用する情報処理装置であり、ユーザが利用するアプリケーションプログラムやユーザのデータ等を格納している。

サーバシステム１４０は、サーバコンピュータ１４１と大規模ストレージ装置１４２から構成される。

サーバコンピュータ１４１は、複数のユーザやクライアントシステムに対してサービスを提供するサーバアプリケーションや共有データ等を格納している。大規模ストレージ装置１４２は、高性能で信頼性が高い大規模な二次記憶装置であり、主にサーバコンピュータ１４１上で稼動するデータベース管理システム（ＤＢＭＳ）のデータ等を格納している。

サーバシステム１４０によってサービスされるサーバアプリケーションのひとつは、ネットワーク全域に渡り流通するジョブデータ（例えば、印刷データやスキャンデータ）をアーカイブ（即ち蓄積管理）するデータベース（ＤＢ）アプリケーションである。このサーバアプリケーションを以下ジョブアーカイブアプリケーションと呼ぶ。ジョブアーカイブアプリケーションは、ネットワークに接続された他の装置群にそれぞれ組み込まれたソフトウェアと連携して、ジョブアーカイブシステムと呼ばれる分散アプリケーションを構成する。

図１のシステムにおいて、パーソナルコンピュータ１０１は、画像処理装置１１０、１２０、１３０や、サーバシステム１４０などとＬＡＮ１００を介して連携する。例えば、パーソナルコンピュータ１０１は、画像処理装置１１０との間で文書データ（以下、単に「文書」ともいう）を送受信する。そして、プリント、スキャン、ファクス送信と受信、ボックス（画像処理装置１１０に組み込みの文書管理システム）への蓄積とリトリーブ、などのジョブを実行する。文書を処理するジョブを実行するとき、サーバシステム１４０上で稼動するジョブアーカイブアプリケーションが、ジョブ情報とジョブの処理対象文書データの控えをアーカイブする。例えば、プリントジョブの場合、パーソナルコンピュータ１０１のプリンタドライバが画像処理装置１１０へジョブを投入するとともに、サーバシステム１４０へもそのジョブに関連する情報と処理対象文書のデータを送信することで、アーカイブが達成される。

図１のシステムにおいて、画像処理装置１１０は、他の画像処理装置１２０、１３０や、パーソナルコンピュータ１０１、１０２や、サーバシステム１４０などとＬＡＮ１００を介して連携する。例えば、画像処理装置１１０は、原稿の画像をスキャンしてデジタルデータ化して他の装置へ送信することが可能である。あるいは、画像処理装置１１０は、他の装置が保有しているデータをリトリーブしてプリントしたりローカルのボックスへ蓄積したり更に他の装置へ転送したりするジョブを実行することも可能である。

これらの文書を処理するジョブを実行するときにも、サーバシステム１４０上で稼動するジョブアーカイブアプリケーションが、ジョブ情報とジョブの処理対象文書データの控えをアーカイブする。例えば、プッシュスキャンジョブの場合、画像処理装置１１０の「送信」アプリケーションが、原稿文書をスキャナで読み取ったデジタル文書データを本来の送信宛先に送信する。そして、送信とともに、サーバシステム１４０へもそのジョブに関連する情報（ジョブ情報）と処理対象文書のデータを送信することで、アーカイブが達成される。

このようにして、ネットワーク全域に渡り流通するジョブ文書はジョブアーカイブアプリケーションによりアーカイブされている。

（ジョブアーカイブアプリケーションのソフトウェア構成）
図２は、サーバシステム１４０において稼動するジョブアーカイブアプリケーションのソフトウェア構成を示すブロック図である。

データベース管理システム（ＤＢ管理システム）２０１は、大量のレコードを含む大容量のデータを、レコード間の関連とともに構造化したデータベースとして格納する。また、ＳＱＬ(Structured Query Language)などの問い合わせ言語による問い合わせに応じて、条件に合致するレコードをデータベースから高速にリトリーブする。ＤＢ管理システム２０１は、文書ＤＢ２０２、ジョブＤＢ２０３、インデクスＤＢ２０４を含む。ＤＢ管理システム２０１はよく知られたリレーショナルデータベースやオブジェクト指向データベースなどの実装によって実現できる。

文書ＤＢ２０２は、ジョブアーカイブシステムが蓄積管理する文書データを格納するデータベースである。文書の内容データと文書に関連するメタデータとを文書レコードとして格納している。文書ＤＢ２０２とジョブＤＢ２０３とは、格納されるレコード間で相互に関連している。

ジョブＤＢ２０３は、ジョブアーカイブシステムが蓄積管理するジョブデータをジョブレコードとして格納するデータベースである。ジョブＤＢ２０３と文書ＤＢ２０２とは、格納されるレコード間で相互に関連している。

インデクスＤＢ２０４は、ジョブアーカイブシステムが蓄積管理する文書データやジョブデータから、所望のデータを高速に検索するためのインデクスレコードを格納するデータベースである。インデクスＤＢ２０４に格納されるインデクスレコードは、文書ＤＢ２０２およびジョブＤＢ２０３内のレコードを参照している。

ストア部２０５は、画像処理装置１１０やパーソナルコンピュータ１０１などのクライアント装置から文書データおよびジョブデータを受信して、ＤＢ管理システム２０１に格納する格納要求受け付けモジュールである。ストア部２０５は、受信した文書データとジョブデータをＤＢ管理システム２０１に格納する。また、ストア部２０５は、受信した文書データのデータ形式に応じてメタデータを生成するための処理を切り替える。受信した文書データが、画像スキャナで読み取ったり、デジタルカメラで撮影したり、ファクスで受信したりして生成されるラスタ画像文書データである場合、ストア部２０５は、文書データをラスタ画像ページ処理部２０６に送る。

受信した文書データがコード化された文書データであった場合、ストア部２０５は、展開部２１０にデータを送る。例えば、ストア部２０５は、ページ記述言語やベクタ表現された各種文書フォーマットを展開部２１０に送る。また、ストア部２０５は、デスクトップパブリッシングやワードプロセッサや表計算やプレゼンテーションやドローイングやペインティング等各種アプリケーションの文書フォーマットのデータを展開部２１０に送る。

ラスタ画像ページ処理部２０６は、ラスタ画像文書から文書を構成するページ（画像ページ）を切り分けて画像ページごとに処理するモジュールである。ラスタ画像ページ処理部２０６は、切り分けた画像ページを画像特徴抽出部２０７および画像構造解析部２０８に送る。

画像特徴抽出部２０７は、ラスタ画像データを解析して画像間の類似性判定の基準として用いる特徴データ（以下、単に「特徴」ともいう）を抽出するモジュールである。抽出された特徴データはＤＢ管理システム２０１に送られ、ＤＢ管理システム２０１は受信した特徴データを格納する。類似画像検索に有効な特徴抽出の手法は種々のものが適用可能である。本実施形態では、特定のアルゴリズムには依存せず有効な手法を複数併用する。採用可能な手法には、たとえば以下のものを含む。

例えば、画像中のエッジなどからオブジェクトを抽出し、オブジェクトの形状を判定し形状やその配置や配色や複数のオブジェクト間の位置関係などを用いる手法がある。画像全体を構成する支配的な色の組み合わせや配色パターンをヒストグラムなどで抽出する手法もある。また、認知的な類似性判定に近い特性を持つ特徴量を導き出す各種の数学処理（たとえばフーリエ・メリン変換 Fourier Mellin Transforms）を用いる手法もある。特開２００６−６５８６６号公報（特願２００５‐２４４６８４）により開示されるアプローチも好適な手法である。

画像構造解析部２０８は、ラスタ画像データからその構造を解析するモジュールである。画像構造解析部２０８は、領域分割（ブロックセレクション）或は像域分離などの手法を用いて、ひとかたまりの画像領域（画像ページ）から、それを構成する特性の異なる複数の領域に分解する。例えば、画像構造解析部２０８は、複数の領域（文字領域、画像領域、写真領域、グラフィクス領域、白黒領域、カラー領域等）に分解し、領域構造に関する解析と分類を行う。

また、背景などの下地バターンとその上に配置された文字や形状などのオブジェクトとの、レイヤ構造に関する解析と分類も行う。解析の結果得られた画像領域（あるいは画像レイヤ）のラスタ画像データを画像特徴抽出部２０７に送る。また、解析の結果得られたテキスト領域（またはテキストレイヤ）のラスタ画像データをＯＣＲ２０９に送る。また、解析の結果得られた構造情報はＤＢ管理システム２０１に送り格納する。

ＯＣＲ２０９は、文字が描画されたラスタ画像データを解析して文字認識するモジュールである。ＯＣＲ２０９は、文字認識したテキストデータ（すなわち、Ｕｎｉｃｏｄｅなどによってコード化されたデータ）をＤＢ管理システム２０１に送り格納する。

インデクス生成部２１１は、文書ＤＢ２０２やジョブＤＢ２０３から高速にデータを検索するためのインデクス情報を生成するモジュールである。インデクスは、検索キーとして与えられる画像に類似した画像を含む文書レコードを高速に検索したり、検索キーとして与えられるテキストを文書内容データやページ内容データの中に含む文書レコードを高速に全文検索したりするために予め生成される。また、インデクスは、検索キーとして与えられる条件に合致するメタデータを持つ文書レコードやジョブレコードを高速に検索したりするために予め生成される。インデクスの生成も、知られている複数の手法を併用できる。

全文検索のためのインデクスの生成には、例えば、Ｎ−グラム（N-gram）の手法を用いる。類似画像検索のためのインデクスの生成のためには、画像の特徴を表現する特徴ベクトルを予め分類（クラスタリング）したりハッシュ関数などによって順序づけたりしておく。インデクス生成部２１１によるインデクス生成は、文書データやジョブデータの追加登録や編集などによって文書ＤＢ２０２やジョブＤＢ２０３が更新されたときに行われる。また、各ＤＢの更新とは非同期に、バッチ処理としてインデクス生成することもできる。生成したインデクスはＤＢ管理システム２０１のインデクスＤＢ２０４に格納する。

リトリーブ部２１２は、画像処理装置１１０やパーソナルコンピュータ１０１などのクライアント装置から検索キー（検索キー画像または検索キーテキスト）とその検索条件を受け付けるモジュールである。また、リトリーブ部２１２は、受け付けた検索条件に応じてＤＢ管理システム２０１から文書データを検索する。そして、ヒットした文書データや文書に関連するサムネール画像（以下、単に「サムネール」ともいう）やジョブデータ等のメタデータをクライアント装置に返信する。

文書検索部２１３は、文書検索要求に合致する文書を検索するモジュールである。文書検索部２１３は、検索要求と与えられた検索キーの型に応じて、文書の内容データに基づく検索や文書に含まれるページデータに基づく検索や文書のメタデータに基づく検索が可能である。また、文書検索部２１３は、文書に関連するジョブに基づく検索を組み合わせて、検索要求に合致する文書レコードの候補を複数探し出すことも可能である。

ページ検索部２１４は、文書に含まれるページデータに基づく検索の要求に応じて、文書ＤＢ２０２から、検索要求の条件に合致するページレコードの候補（およびそのページを含む文書）を複数探し出す。

類似画像検索部２１５は、検索キーとして与えられた画像に基づく類似画像検索の要求に応じて、検索キー画像に類似する画像を含むページ内容データを持つページレコード（およびそのページを含む文書）を複数探し出す。類似画像検索部２１５は、画像特徴抽出部２０７と同様の画像特徴抽出を検索キー画像に対して行い、特徴間の類似性をもとに類似画像を検索する。

ＤＢ操作部２１６は、クライアント装置からデータベースに対する操作や各データベース内のレコードに対する操作要求を受け付けて処理し結果を返送するデータベース操作モジュールである。クライアント装置には、サーバコンピュータ１４１の管理コンソールまたは画像処理装置１１０やパーソナルコンピュータ１０１などが含まれる。レコードに対する操作は、たとえば、メタデータ（タグなど）の追加や編集といった操作を含む。

（画像処理装置のハードウェア構成）
図３は、画像処理装置１１０のハードウェア構成を示すブロック図である。画像処理装置１２０、１３０も同じ構成を備えるものとする。

制御ユニット１１１は、スキャナ１１３やプリンタ１１４と接続する一方でＬＡＮ１００や公衆回線（ＷＡＮ）と接続することで、画像情報やデバイス情報の入出力を制御する。

ＣＰＵ３０１は、制御ユニット１１１全体を制御するコントローラである。ＲＡＭ３０２は、ＣＰＵ３０１が動作するために使用するシステムワークメモリである。また、ＲＡＭ３０２は、画像データを一時記憶するための画像メモリでもある。ＲＯＭ３０３は、ブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ３０４は、ハードディスクドライブであり、システムソフトウェア、画像データを格納する。

操作部Ｉ／Ｆ３０６は、操作部（ＵＩ）１１２との間のインタフェースを司り、操作部１１２に表示すべき画像データを操作部１１２に対して出力する。また、使用者が操作部１１２を介して入力した情報を、ＣＰＵ３０１に伝える役割を果たす。

ネットワークインタフェース（Network）３０８は、ＬＡＮ１００との接続を司り、ＬＡＮ１００に対して情報の入出力を行う通信手段として機能する。モデム（ＭＯＤＥＭ）３０９は、公衆回線との接続を司り、公衆回線に対して情報の入出力を行う通信手段として機能する。以上のデバイスがシステムバス３０７上に配置される。

イメージバスインターフェース（Image Bus I/F）３０５は、システムバス３０７と画像データを高速で転送する画像バス３１０とを接続し、データ構造を変換するバスブリッジである。画像バス３１０は、ＰＣＩバスまたはＩＥＥＥ１３９４で構成される。

画像バス３１０には以下のデバイスが配置される。ラスタイメージプロセッサ（ＲＩＰ）３１１は、ネットワークから送信されたＰＤＬコードをビットマップイメージに展開する。デバイスＩ／Ｆ３１２は、画像入出力デバイスであるスキャナ１１３やプリンタ１１４と制御ユニット１１１とを接続し、画像データの同期系／非同期系の変換を行う。

スキャナ画像処理部３１３は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部３１４は、プリント出力画像データに対して、プリンタ１１４の性能に応じた補正、解像度変換等を行う。画像回転部３１５は画像データの回転を行う。画像圧縮部３１６は、多値画像データに対してはＪＰＥＧ圧縮伸長処理を行い、２値画像データに対してはＪＢＩＧ、ＭＭＲ、ＭＨの圧縮伸長処理を行う。

（画像処理装置の外観）
図４は、画像処理装置１１０の外観を示す斜視図である。画像処理装置１２０、１３０も同等の外観を備える。尚、これ以降では、画像処理装置１１０について説明するが、画像処理装置１２０、１３０でも全く同じ構成が備えられ、全く同じ動作を行うことが可能である。

画像入力デバイスであるスキャナ１１３は、原稿となる記録媒体（紙上）の画像を照明し、ＣＣＤラインセンサ（図示せず）を走査することによって、ラスターイメージデータを生成する。

使用者が原稿用紙を原稿フィーダ４０５のトレイ４０６にセットして、操作部１１２において読み取りの起動を指示すると、制御ユニット１１１のＣＰＵ３０１がスキャナ１１３に指示を与える。与えられた指示に基づき、トレイ４０６にセットされた原稿用紙は１枚ずつフィードされ、スキャナ１１３が原稿画像の読み取り動作を行う。

画像出力デバイスであるプリンタ１１４は、ラスターイメージデータを記録媒体（用紙）に印刷し、出力する。印刷方式は、感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して記録媒体（用紙）上に直接画像を形成するインクジェット方式等があるが、どの方式であってもよい。なお、印刷動作は、ＣＰＵ３０１からの指示によって起動される。

プリンタ１１４は、異なる用紙サイズまたは異なる用紙向きを選択できるように複数の給紙段を持ち、それに対応した用紙カセット４０１、４０２、４０３を備える。また、排紙トレイ４０４は、印刷し終わった用紙を受ける。

（画像処理装置の操作部）
図５は、画像処理装置１１０の操作部１１２の構成を示す平面図である。尚、画像処理装置１２０、１３０の操作部も同等の構成を備える。

ＬＣＤ表示部５０１は、ＬＣＤ（液晶表示装置）上にディスプレイ５０２にタッチパネルシートが貼られた構成になっている。ＬＣＤ表示部５０１は、画像処理装置１１０の操作画面およびソフトキーを表示するとともに、表示してあるキーが押された場合には、押された位置を示す位置情報が制御ユニット１１１のＣＰＵ３０１に伝える。

スタートキー５０５は、原稿画像の読み取り動作を開始する場合等に操作されるキーである。スタートキー５０５の中央部には、緑と赤の２色ＬＥＤ表示部５０６があり、その色によってスタートキー５０５を操作できる状態であるか否かを示す。ストップキー５０３は、稼働中の画像処理装置１１０の動作を止めたい場合に操作されるキーである。ＩＤキー５０７は、使用者のユーザＩＤを入力するときに操作されるキーである。また、リセットキー５０４は、操作部１１２からの設定を初期化するときに操作されるキーである。

（操作部及び操作部Ｉ／Ｆの内部構成）
図６は、画像処理装置１１０の操作部１１２及び操作部Ｉ／Ｆ３０６の内部構成を制御ユニット１１１の内部構成と対応させて示すブロック図である。尚、これ以降では、画像処理装置１１０について説明するが、画像処理装置１１０を画像処理装置１２０または画像処理装置１３０と読み替えても全く何ら支障は無い。

上述したように、操作部１１２は、操作部Ｉ／Ｆ３０６を介してシステムバス３０７に接続される。システムバス３０７には、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ハードディスクドライブ（ＨＤＤ）３０４が接続されている。ＣＰＵ３０１は、ＲＯＭ３０３とＨＤＤ３０４に記憶された制御プログラム等に基づいて、システムバス３０７に接続される各種デバイスとのアクセスを総括的に制御する。また、ＣＰＵ３０１は、デバイスＩ／Ｆ３１２を介して接続されるスキャナ１１３から入力情報を読み込み、またデバイスＩ／Ｆ３１２を介して接続されるプリンタ１１４に出力情報としての画像信号を出力する。ＲＡＭ３０２はＣＰＵ３０１の主メモリ、ワークエリア等として機能する。

ディスプレイ５０２のタッチパネルや各種ハードキー５０３、５０４、５０５、５０７からのユーザ入力情報は、入力ポート６０１を介してＣＰＵ３０１に渡される。ＣＰＵ３０１は、ユーザ入力情報の内容と制御プログラムとに基づいて表示画面データを生成し、画面出力デバイスを制御する出力ポート６０２を介して、ＬＣＤ表示部５０１に表示画面データを出力する。また、必要に応じて２色ＬＥＤ表示部５０６を制御する。

図７は、画像処理装置１１０の操作部１１２に表示される標準的な操作画面の一例を示す図である。

図７の最上部の表示領域７０１に並んでいるボタン群は、画像処理装置１１０が提供する各種機能から１つを選択するためのボタン群である。コピー機能７０４は、スキャナ１１３でスキャンし読み取った原稿画像データをプリンタ１１４でプリントして原稿の複写物を得るための機能である。

送信機能７０５は、スキャナ１１３で読み取った原稿画像データやＨＤＤ３０４に蓄積されている画像データを各種出力先に送信するための機能である。出力先としては、ネットワークインタフェース３０８経由で各種のプロトコルによって送信可能な各種の出力先、および、モデム３０９経由でファクシミリなどのプロトコルによって送信可能な各種の出力先がある。送信機能７０５により複数の出力先を選択して送信することができる。

ボックス機能７０６は、ＨＤＤ３０４に蓄積されている画像データやコードデータなどの文書ファイルを閲覧、編集、プリント、および送信するための機能である。ＨＤＤ３０４に蓄積される文書ファイルには、スキャナ１１３によって読み取った原稿画像データ、ネットワークインタフェース３０８経由でダウンロードしたデータが含まれる。また、ＨＤＤ３０４に蓄積される文書ファイルにはネットワークインタフェース３０８経由で他の装置から受信したプリントデータを蓄積したデータ、モデム３０９経由で他の装置から受信したファクシミリデータなどが含まれる。

ボックス機能７０６は、ユーザのオフィス環境において電子的なメールボックスとして利用できる。また、パスワードを入力するまで用紙へのプリント出力を遅延することによって、ＰＤＬプリントジョブの守秘性を高めるセキュアドプリントとして利用することもできる。

ボックス機能７０６の利用により、他の画像処理装置１２０、１３０のＨＤＤや情報処理装置１０１、１０２が公開する共有ファイルシステムにアクセスし、データの閲覧、編集、プリント、および送信が可能になる。ボックス機能７０６によりサーバシステム１４０の共有ファイルシステムやデータベースシステム等に蓄積されている画像データやコードデータ等の文書ファイルにアクセスし、データの閲覧、編集、プリント、送信が可能になる。

拡張機能７０７は、スキャナ１１３を外部装置から利用するために、各種の拡張機能を呼び出すための機能である。

検索機能７０８は、画像処理装置１１０のボックスや、他の画像処理装置のボックス等から所望の文書を検索するための機能である。検索機能７０８により、情報処理装置が公開する共有ファイルシステムや、サーバシステム１４０がサービスする共有ファイルシステムやデータベースシステムから、所望の文書を検索することが可能である。

図７の中間部分の表示領域７０２は、コピー機能７０４が選択された場合の操作画面を表示している。図７の最下部の表示領域７０３はステータス表示領域であり、最上部の表示領域７０１で選択された機能の如何に関わらず、画像処理装置１１０の各機能や装置自体の情報などの各種のメッセージをユーザに対して表示する。

図８は、ＤＢ管理システム２０１に格納される各データベースの概略的な構成を示す図である。

文書ＤＢ２０２は、複数の文書レコード８０１を含む。文書レコード８０１は、ユーザが取り扱う紙文書や電子的な文書ファイルに対応するレコードである。文書レコード８０１は、文書メタデータ８０２、文書内容データ８０３、および複数のページレコード８０４を含む。

文書メタデータ８０２は、文書レコードに対応する文書に関連する各種のメタデータを格納するレコードである。文書メタデータ８０２は、対応する文書に関して、文書名、作者、作成日付、データ形式、データサイズ、ページ数、タグ、および、ジョブ履歴などを含む。

「タグ」とは、文書にユーザがつけた任意の文字列からなるキーワードのような情報である。タグに基づいて文書の検索が可能である。ユーザはひとつの文書に対して複数のタグを自由につけることができるので、タグを文書に付加することにより文書をさまざまな基準で分類したり検索しやすくしたりすることが可能である。共有の文書に対して、その文書を後で参照したり利用したりするために、複数のユーザが後からタグを追加していくこともできる。これによって文書を分類や検索するためのメタデータを飛躍的に充実させることが期待できる。

このアプローチをフォークソノミー （folksonomy） と呼ぶ場合がある。「Folksonomy 」とは 「folks」（言葉づかい） と 「taxonomy」（分類法） を組み合わせた用語である。

ジョブ履歴は、文書を処理対象として実行された一連のジョブを特定する参照情報のリストである。１つの文書レコードは複数のジョブレコードへの参照を保持する場合がある。たとえば、明らかに同一と特定できる文書を複数のジョブが処理対象とした場合である。

文書内容データ８０３は、文書そのものの内容に対応するデータである。コード化された文書データが格納された場合における、テキストやアプリケーションプログラムのデータなどが相当する。紙の原稿に対応しスキャナ１１３で読み取られたラスタ画像データのように、文書を構成するページが明確に分離している場合は、ページレコード８０４に内容データを含める。

ページレコード８０４は、文書を構成するページのそれぞれに対応するレコードである。スキャナ１１３で読み取ったラスタ画像データ群や、アプリケーションプログラムのデータを展開部２１０で展開してページ単位に分割した画像データや構造情報やテキストやメタデータ群等が、夫々のページレコードに対応する。

ページレコードは、ページメタデータ８０５とページ内容データ８０６などを含む。ページメタデータ８０５は、ページレコードに対応するページに関連する各種のメタデータを格納するレコードである。ページメタデータ８０５は、構造情報、特徴、サムネールなどを含む。構造情報は、画像構造解析部２０８や展開部２１０が解析して格納したページの構造に関する情報である。

特徴は、画像特徴抽出部２０７が抽出して格納したページを構成する画像の特徴を表現する情報である。

サムネールは、ページ全体の画像やページに含まれる画像要素を、解像度変換（または縮小変倍）して、比較的小さくて扱いやすいいくつかのサイズにした画像である。サムネール画像はページメタデータ８０５の生成時に生成してもよいし、外部からのリトリーブに応えるために必要となったときオンデマンドに生成してもよい。また、スケジューリングされたバッチ処理によって、まだ生成されていないサムネール画像群をまとめて生成するタスクを非同期に実行してもよい。

ページ内容データ８０６は、ページそのものの内容に対応するデータである。紙原稿のページを画像スキャナで読み取ったラスタ画像データや、コード文書を展開部２１０でページにレンダリングした画像データなどページ単位の画像データが、ページ内容データ８０６に格納される。また、ページ画像をＯＣＲ２０９で文字認識して得たテキストデータや、コード文書を展開部２１０が展開して得たページ単位のテキスト情報なども、ページ内容データ８０６に格納される。

ジョブＤＢ２０３は、複数のジョブレコード８０８を含む。ジョブレコード８０８は、ユーザが実行した文書処理ジョブの各々に対応するレコードである。ジョブレコード８０８は、日時、操作者、要求した装置、処理した装置、処理内容、および、処理文書などを含む。日時は、ジョブを実行した日時を表現するデータである。操作者は、ジョブを実行したユーザを特定するデータである。

処理を要求した装置は、ジョブ実行の要求元になった装置である例えば、パーソナルコンピュータ１０１から画像処理装置１１０にプリントした場合、要求元となる装置はパーソナルコンピュータ１０１である。

処理した装置は、ジョブを実質的に処理した装置である。例えば、パーソナルコンピュータ１０１から画像処理装置１１０にプリントした場合、処理した装置は画像処理装置１１０である。

処理内容は、ジョブの処理内容を特定する情報である。ジョブの種別、およびそれぞれのジョブ種別において選択可能な各種オプションと設定可能な各種パラメータをどのように選択・設定して処理したか特定する情報を含む。

処理文書は、このジョブが処理対象とした文書を特定する参照情報のリストである。１つのジョブレコードが複数の文書レコードを参照する場合がある。たとえば、１つのジョブが複数の文書を処理対象として実行された場合である。

インデクスＤＢ２０４は、複数のインデクスレコード８０９を含む。インデクスレコード８０９は、文書ＤＢ２０２やジョブＤＢ２０３から高速にデータを検索するためのインデクス情報であり複数の文書レコード８０１および複数のジョブレコード８０８を参照している。

インデクスレコードはインデクス生成部２１１によって生成される。インデクスレコードは、検索キーとして与えられる画像に類似した画像を含む文書レコードを高速に検索するために使用することが可能である。また、インデックスレコードは、検索キーとして与えられるテキストを文書内容データやページ内容データの中に含む文書レコードを高速に全文検索するために使用することが可能のである。更に、インデックスレコードは、検索キーとして与えられる条件に合致するメタデータを持つ文書レコードやジョブレコードを高速に検索したりするために使用することが可能である。

（検索処理の手順）
図９は、検索処理の手順を説明するフローチャートである。本検索処理は画像処理装置１１０のＣＰＵ３０１において実行される組み込みアプリケーションプログラムによって達成される。この組み込みアプリケーションを文書検索アプリケーションと呼ぶ。

本フローチャートの一連の手順は、ユーザが操作部１１２の表示領域７０１中の「検索」ボタンを選択したときなどに開始する。

ステップＳ９０１で、文書検索機能の基本画面（検索画面）を操作部１１２の表示領域７０２に表示する。検索画面では、検索条件の設定、検索キーの入力、検索スタートなどができる。検索画面の構成は、図１０によって説明する。

ステップＳ９０２で、ユーザの指示に応じて、検索キー画像を入力する。

ステップＳ９０３で、ユーザの指示に応じて、他の検索条件設定を入力する。

ステップＳ９０４で、ユーザからの検索開始指示が入力されるのを待機する。ユーザから検索開始が指示されるまでの間（Ｓ９０４−Ｎｏ）、ステップＳ９０２に戻り検索キー画像や他の検索条件設定の入力を繰り返す。ユーザから検索開始指示が入力されると（Ｓ９０４−Ｙｅｓ）、ステップＳ９０５に進む。

ステップＳ９０５で、検索処理を行う。文書検索アプリケーションは、サーバシステム１４０上で稼動するジョブアーカイブアプリケーションに接続し、リトリーブ部２１２に対して検索キーと検索条件を送信する。そして、リトリーブ部２１２による検索の結果、検索条件に合致（ヒット）した１つ以上の文書に関して、検索結果リストの表示に必要なデータを受信する。類似画像検索や全文検索の特徴上、相当数の文書が検索にヒットする場合が多い。検索結果リストを表示するために必要なデータは、ヒットした文書に対応する文書レコードに含まれるメタデータおよび文書レコードに関連付けられたジョブレコードに含まれるデータの一部である。

ステップＳ９０６で、ジョブアーカイブアプリケーションから受信した情報に基づいて検索結果リストを表示する。検索結果リスト表示の構成は、図１１によって説明する。

ステップＳ９０７で、ユーザがサムネール表示設定変更を指示したか判定する。指示を受けた場合は（Ｓ９０７−Ｙｅｓ）、ステップＳ９０８に進み、サムネール表示設定を変更する。そして、ステップＳ９０６に処理が戻され、ステップＳ９０６で、変更されたサムネール表示設定に基づいて検索結果リストを再表示する。

ステップＳ９０７の判定で、サムネール表示設定変更指示が入力されない場合（Ｓ９０７−Ｎｏ）、処理はステップＳ９０９に進められる。

ステップＳ９０９で、ユーザが文書レコードフィルタ変更を指示したか判定する。指示を受けた場合は（Ｓ９０９−Ｙｅｓ）、ステップＳ９１０に進み、文書レコードフィルタを変更する。そして、ステップＳ９０６に処理が戻され、ステップＳ９０６で、変更された文書レコードフィルタに基づいて検索結果リストを再表示する。

ステップＳ９０９の判定で、文書レコードフィルタ変更指示が入力されない場合（Ｓ９０９−Ｎｏ）、処理はステップＳ９１１に進められる。

ステップＳ９１１で、ユーザが文書やページの詳細項目表示を指示したか判定する。指示を受けた場合は（Ｓ９１１−Ｙｅｓ）、ステップＳ９１２に進み、選択された文書やページやジョブに関する詳細情報を示すウィンドウを表示する。ユーザが詳細項目表示ウィンドウを閉じるとステップＳ９０６に戻り検索結果リストを再表示する。

ステップＳ９１１の判定で、詳細項目表示が入力されない場合（Ｓ９１１−Ｎｏ）、処理はステップＳ９１３に進められる。

ステップＳ９１３で、ユーザが文書レコードに対する操作を指示したか判定する。リスト中に示された文書レコードに対して可能な操作は、印刷、保存、送信、タグ付け、関連文書の検索表示、マーク付け、などがある。指示を受けた場合は（Ｓ９１３−Ｙｅｓ）、ステップＳ９１４に進み選択された指示に対応する文書レコード操作を実行する。次いで、ステップＳ９０６に戻り検索結果リストを再表示する。

ステップＳ９１５の判定で、文書レコード操作が入力されない場合（Ｓ９１３−Ｎｏ）、処理はステップＳ９１５に進められる。

ステップＳ９１５で、ユーザが再検索を指示したか判定する。指示を受けていない場合（Ｓ９１５−Ｎｏ）、ステップＳ９０６に戻り検索結果リストを再表示する。ステップＳ９１５の判定で再検索の指示を受けた場合は（Ｓ９１５−Ｙｅｓ）、ステップＳ９０１に戻り、再度一連の検索処理を実行する。

尚、この手順の一連の処理は情報処理装置１０１で実行してもよい。あるいは、一連の処理を部分に分割してそれぞれの処理を担当するソフトウェアを複数の装置上に配備して実行する分散アプリケーションとして構成することもできる。例えば、検索画面や検索結果リストの表示とユーザからの指示入力を画像処理装置１１０上で実行する。そして、それ以外の処理を情報処理装置１０１やサーバシステム１４０や他の画像処理装置１２０、１３０などの上で実行するように構成してもよい。

逆に、検索画面や検索結果リストの表示とユーザからの指示入力を情報処理装置１０１上で実行し、それ以外の処理を画像処理装置１１０やサーバシステム１４０の上で実行するように構成してもよい。情報処理装置１０１において文書検索アプリケーションを操作する場合、手元にスキャナ１１３を備える画像処理装置１１０において操作する場合よりも紙原稿の画像を検索キー画像として入力する操作は不便になることもある。この場合、予め画像処理装置１１０のボックス機能により蓄えた画像を、情報処理装置１０１や他の画像処理装置１２０などからも操作できるので、ボックスから選択した画像を検索キー画像として用いることは容易である。

尚、分散アプリケーションを構成する方法の１つとして、ＷｅｂブラウザとＷｅｂサーバの組み合わせによって実現するＷｅｂアプリケーションの形態もある。

（文書検索画面の構成例）
図１０は、文書検索アプリケーションの基本画面である文書検索画面の構成例を表す図である。文書検索画面１０００は、文書検索アプリケーションの基本画面である。本実施形態における文書検索アプリケーションは文書検索画面を操作部１１２の表示領域７０２に表示する。文書検索画面１０００は、検索条件設定領域１００１、検索キー画像入力領域１００２、および、検索スタート指示領域１００３から構成される。

検索条件設定領域１００１は、検索条件を設定したり確認したりするための領域である。

検索条件ラジオボタン１００４は、基本的な検索条件を選択し選択されている設定を確認するためのラジオボタンである。選択肢の「すべてのキーを含む」は、セットしたすべての検索キーにヒットする文書を検索することを示す。「いくつかのキーを含む」は、セットした検索キーのうちのいずれかにヒットする文書を検索することを示す。「高度な検索」は、検索オプションボタン１００５によって設定したより詳細な検索条件の設定に基づいて、ヒットする文書を検索することを示す。

検索オプションボタン１００５は、詳細な検索条件を設定するウィンドウを開くためのボタンである。詳細な検索条件の設定は、高度な検索モードで検索が実行されたときヒットする文書を判定する基準として用いる高度な検索条件の設定を含む。詳細な検索のオプションとして、メタデータ検索や全文検索を併用する条件を、類似画像検索と併用して設定できる。

メタデータ検索は、文書に対応する文書レコード８０１に関して、その文書メタデータやページメタデータ８０５群や対応するジョブレコード８０８にそれぞれ格納されているデータ項目ごとに検索条件を指定する検索方法である。メタデータ検索によって、タグ、文書名、所有者、作成日付、データ形式、ページ数、タグ、関連文書、などに基づく検索条件を指定できる。また、メタデータ検索によって、ジョブ履歴（日時、操作者、要求した装置、処理した装置、処理内容、このジョブにおいて処理した他の処理対象文書）、ページの構造情報、などに基づく検索条件を指定できる。

したがって、文書名や所有者や作成日時やタグなどに基づく一般的な検索に加えて、関連文書や過去にその文書が検索された履歴に基づいて検索することもできる。

メタデータ検索によれば、文書を構成するページに関して、方向がポートレート（縦長）か、ランドスケープ（横長）か、などの基準に基づいて検索することもできる。また、メタデータ検索によれば、用紙のサイズ、ページ数がｎページ以上ｍページ未満、カラーかモノクロか、画像とテキストの割合はどの程度かなどの基準に基づいて検索することもできる。

また、メタデータ検索によれば、いつ、どこで、誰が、どのように処理した文書であるかという、ジョブに関連する基準に基づいて検索することもできる。

全文検索は、検索キーとしてテキスト（文字列）を設定し、文書の全テキスト中に設定された文字列を含む文書を検索する。文書のテキストは、文書レコード８０１に含まれる文書内容データ８０３、ページレコード８０４のいずれかに含まれるページ内容データに含まれているテキストである。

文書メタデータ８０２やページメタデータ８０５に含まれているテキスト形式のデータを全文検索の対象に加えることもできる。文書と関連するジョブレコード８０８に含まれているテキスト形式のデータを全文検索の対象に加え、ジョブレコード８０８がヒットした場合は対応する文書レコード８０１がヒットするように設定することもできる。

検索キー画像入力領域１００２は、類似画像検索の検索キーとする画像を設定したり確認したりするための領域である。

原稿画像スキャンボタン１００６は、画像処理装置のスキャナ１１３を用いて紙原稿を読み取り、類似画像検索の検索キーとして画像を入力するためのボタンである。原稿画像スキャンボタン１００６が押されると、画像スキャンウィンドウを開く。画像スキャンウィンドウでは画像処理装置１１０のコピー機能や送信機能における原稿読み取り設定やＴＷＡＩＮ等に基づく一般的なスキャナデバイスドライバの原稿読み取り設定等と同様に原稿読み取りパラメータを設定できる。

スタートキー５０５が押されると、設定されている原稿読み取りパラメータに従って原稿画像をスキャンし、読み取った画像データを検索キー画像として入力する。原稿画像のスキャンが完了したとき画像スキャンウィンドウが開かれていれば閉じる。原稿画像スキャンボタン１００６を押さず、スタートキー５０５が押された場合、デフォルトの原稿読み取りパラメータ、または、その時点までに設定されている原稿読み取りパラメータにしたがって原稿画像をスキャンする。

ボックス画像選択ボタン１００７は、画像処理装置１１０のボックス機能を利用して、予め格納されている文書群の中から検索キー画像を選択するためのボタンである。ボックス機能によって、画像処理装置１１０のＨＤＤ３０４を閲覧して、検索キー画像として利用したい画像を含む文書を選択できる。

また、他の画像処理装置１２０、１３０のＨＤＤや情報処理装置１０１、１０２が公開する共有ファイルシステムに、ＬＡＮ１００を介してアクセスし、閲覧し、検索キー画像として利用したい画像を含む文書を選択できる。あるいは、サーバシステム１４０がサービスする共有ファイルシステムやデータベースシステムなどの文書ファイルにＬＡＮ１００を介してアクセスし、閲覧して、検索キー画像として利用したい画像を含む文書を選択できる。

検索キー画像設定領域１００８は、セットされている検索キー画像の組を確認し操作するための領域である。

検索キー画像設定状況メッセージ１００９は、検索キー画像のセット状況を示すメッセージであり、セットされている検索キー画像の個数などを表示する。

検索キー画像表示領域１０１０は、セットされている検索キー画像群を表示する領域である。この領域に、検索キーとしてセットされた画像に対応する検索キーアイコンの組が並べて表示される。原稿画像スキャンボタン１００６やボックス画像選択ボタン１００７を用いて検索キー画像を入力すると、対応する検索キーアイコンがこの領域に追加される。

検索キーアイコン１０１１は、１つの検索キー画像に対応するアイコンである。このアイコンを介して、検索キー画像に対する各種の操作を指示できる。

検索キーＩＤ１０１２は、検索キー画像を特定するための識別情報（識別子）である。

検索キーサムネール１０１３は、検索キー画像のサムネール画像である。検索キーサムネール１０１３が押されると、画像ビューアウィンドウを開きサムネールよりも大きなサイズで検索キー画像が表示される。画像ビューアウィンドウによって、ユーザは検索キー画像の詳細を確認できる。

検索キー概要１０１４は、検索キー画像に関する簡単な説明である。

検索キー詳細ボタン１０１５は、検索キー画像に関する詳細情報を確認するためのボタンである。検索キー詳細ボタン１０１５の操作により検索キー概要１０１４よりも詳細に検索キーに関する情報を表示する検索キー詳細ウィンドウを開くことができる。検索キー詳細ウィンドウでは、検索キー画像に固有の検索条件を設定することもできる。今後の検索するときこの検索キーを再利用するために、検索キー画像をボックスに保存することもできる。

検索キー編集ボタン１０１６は、検索キー画像を編集するためのボタンである。検索キー編集ボタン１０１６の操作により検索キー画像を編集するための検索キー編集ウィンドウを開くことができる。検索キー編集ウィンドウでは、検索キー画像に対してトリミング、マスキング、ノイズ除去などの各種画像処理を施して、所望の検索キー画像へと編集できる。また、検索キー画像を切り分けて、複数の検索キー画像に分割できる。また、複数ページ画像を含む文書に対応する１つの検索キーをページ画像単位に切り分けて、それぞれのページ画像に対応する検索キー画像に分割できる。

検索キー削除ボタン１０１７は、検索キー画像を検索キーの組から取り除くためのボタンである。検索スタート指示領域１００３は、検索処理を起動するための領域である。

検索開始ボタン１０１８は、検索処理を開始するためのボタンである。検索開始ボタン１０１８が押されると検索条件設定領域１００１の検索条件と検索キー画像入力領域１００２の検索キー画像とを用いて、サーバシステム１４０のジョブアーカイブアプリケーションに対し検索処理要求を発行する。

（文書検索結果リスト画面の構成例）
図１１は、文書検索アプリケーションの文書検索結果リスト画面の構成例を表す図である。文書検索結果リスト画面１１００は、文書検索アプリケーションがジョブアーカイブアプリケーションから検索処理要求の応答を受信したときその検索結果を表示する画面の一例である。本実施形態における文書検索アプリケーションは文書検索結果リスト画面を操作部１１２の表示領域７０２に表示する。文書検索結果リスト画面１１００は、検索リスト操作領域１１０１、検索リスト表示領域１１０２、スクロールバー１１０３から構成される。

検索リスト操作領域１１０１は、検索結果リストの表示を制御するための操作設定領域である。表示フィルタリング表示１１０４は、検索リスト表示領域１１０２に表示されている文書群が、検索の結果ヒットした複数の文書群に対してどのような表示フィルタを施した結果残った文書群であるかを示す表示である。図１１の場合、検索の結果ヒットした「全文書」を表示している状態を示す。

サーバシステム１４０のリトリーブ部２１２から受信したヒット文書の組を全て表示することもできるし（すなわちフィルタなし）、またヒットした文書の中から表示を絞り込むための表示フィルタ設定した条件に従い選別して表示することもできる。

表示フィルタ設定ボタン（フィルタ）１１０５は、表示フィルタ条件を設定するためのボタンである。表示フィルタ設定ボタン１１０５が押されると、表示フィルタ設定ウィンドウを開き、ユーザに所望のフィルタ条件を設定させる。ヒットした文書群の文書レコード８０１に含まれる各種の情報に基づく条件をフィルタ条件に設定できる。文書メタデータ８０２、ヒットしたページのページレコード８０４のページメタデータ８０５、文書に関連付けられたジョブレコード８０８等に格納された各情報に対するパターンマッチングとして条件を設定できる。言い換えると、検索オプションボタン１００５で設定できる詳細な検索のオプションと同様のフィルタ条件を設定できる。

例えば、文書名や作成日時やタグなどに基づく一般的なフィルタリングに加えて、関連文書や過去にその文書が検索された履歴に基づいてフィルタリングすることもできる。検索キーとなる検索条件と文書データとの類似度を絞込み込みを行うための表示フィルタ設定条件とすることも可能である。また、文書を構成するページに関して、方向がポートレート（縦長）か、ランドスケープ（横長）かなどの基準に基づいてフィルタリングすることもできる。また、用紙のサイズ、ページ数がｎページ以上ｍページ未満、カラーかグレースケール（連続階調画像）か、白黒二値画像か、画像とテキストの割合はどの程度かなどの基準に基づいてフィルタリングすることもできる。また、いつ、どこで、誰が、どのように処理した文書であるかという、ジョブに関連する基準に基づいてフィルタリングすることもできる。

本実施形態によれば、検索でヒットした文書の組をすべて検索リスト表示領域１１０２に表示するだけでなく、特定の条件を満足する文書を抽出して一覧表示するフィルタを設定できる。さらに、設定を変更すると即時に検索結果リストが更新されるので、大量の候補文書の中から所望の文書を容易に見つけ出せる。

表示項目設定領域１１０６は、検索でヒットした文書の組を検索リスト表示領域１１０２に表示する際に、文書ごとに表示する項目を制御する領域である。チェックボックスの矩形またはチェックボックスにつけられたラベル文字列を押すたびに、チェックボックスの選択状態と非選択状態とが交互に切り替わる。「属性情報を表示」チェックボックスが選択されている場合、文書名、データ形式、ページ数、文書の所在情報、などの文書に関するメタデータ群を検索リスト表示領域１１０２に表示する。「サムネールを表示」チェックボックスが選択されている場合、検索条件にヒットしたページのサムネール画像を検索リスト表示領域１１０２に表示する。

文書サマリーサムネール設定領域１１０７は、検索でヒットした文書の組を検索リスト表示領域１１０２に表示する際に、文書ごとに表示する文書サマリーサムネールの表示形式を制御する領域である。表示項目設定領域１１０６の「サムネールを表示」チェックボックスが選択されており、かつ、「文書サマリーサムネールを表示」するチェックボックスが選択されている場合、文書サマリーサムネールを表示する。文書サマリーサムネールとは、その文書の概要を視覚的に把握しやすくするために、文書を構成するページに対応する一組のサムネールを並べたものである。

文書サマリーサムネール構成設定領域１１０８は、文書サマリーサムネールを構成するサムネール群の構成を設定する慮域である。文書サマリーサムネール構成設定領域１１０８には４つの数値入力用のテキスト入力フィールドが並べてあり、それぞれに「先頭」、「前」、「後」、「末尾」のラベル文字列をつけてある。「先頭」の数値によって、文書の先頭ページから何ページ分のサムネールを表示するか設定する。「前」の数値によって、検索でヒットしたページに先行するページのサムネールを何ページ分表示するか設定する。「後」の数値によって、検索でヒットしたページに後続するページのサムネールを何ページ分表示するか設定する。「末尾」の数値によって、文書の末尾ページから何ページ分のサムネールを表示するか設定する。

アニメーション表示チェックボックス１１０９は、文書サマリーサムネールをアニメーション表示設定するためのチェックボックスである。

再検索ボタン１１１０は、文書検索画面１０００に戻るためのボタンである。

絞り込み検索ボタン１１１１は、文書検索画面１０００に戻って絞り込み再検索を行うためのボタンである。検索リスト表示領域１１０２に表示された文書の中から検索キーとして追加したい文書（検索キーとして追加したい画像を含む文書）をマークしてから、絞り込み検索ボタン１１１１を押す。絞り込み検索ボタン１１１１が押下されると、マークをつけられた文書が検索キーとして検索キー画像表示領域１０１０に追加された状態で文書検索画面１０００に戻り、絞り込み再検索を続行することが可能になる。

的確な検索キー画像をできるだけ多く簡便に追加することによって、所望の文書の検索ヒット率（設定された条件に合致する割合）が向上し、所望の文書を見つけ出しやすくできる。また、追加された検索キー画像の特徴量を分析し、類似度の判定における各種特徴量の配点を調整することによって、よりユーザの意図に即した類似画像検索を行うことが可能となる。

すなわち、ユーザが絞り込み検索によってあえて追加した検索キー画像は、検索を行うユーザの観点からみても主観的に類似度が高いサンプル画像であると判断できる。したがって、この検索キー画像の類似度がより高く評価されるように、複数の特徴量と類似度判定アルゴリズムを組み合わせる配点を調整することができる。例えば、元の検索キー画像と追加された検索キー画像の間で、形状に基づく類似度が高く色合いに基づく類似度が低かった場合は、絞り込み再検索では形状ベースの類似度を色合いよりも優先するように検索することができる。同様にして、色合い優先、配色パターン優先、オブジェクト構造木の類似度優先など、適切な調整を行うことができる。

検索リスト表示領域１１０２は、検索した結果、検索条件に合致した文書の一覧を表示する領域である。検索ヒット文書表示１１１２、１１１３、１１１４、１１１５は、それぞれ検索条件、絞り込みがかけられた条件に合致した文書に対応する情報を表示している。デフォルトの設定では、ヒット率（設定された条件に合致する割合）が高い文書ほどリストの上位に表示する。同等のヒット率（設定された条件に合致する割合）の場合、文書の価値を数値化した文書ランクが高い文書ほど上位に表示する。表示フィルタ設定ボタン１１０５を押して、デフォルト以外の順序で並べ替えて文書リストを表示し直すこともできる。例えば、文書の作成日、最終参照日、文書名、データ形式、ページ数、文書の所在情報、その文書を対象としたジョブの日時や装置や処理内容等、文書に関連づけられた各種のメタデータに基づいて、昇順または降順に表示できる。文書リストの表示順序を設定しなおすと、即時にリスト表示が更新される。

デフォルトの表示順序のよりどころとなる文書のヒット率（設定された条件に合致する割合）について簡単に説明する。類似画像検索は、アルゴリズムごとに固有の類似度に基づく。一般に類似度は「似ている程度」を表現する連続量であり、「似ているか、または、似ていない」の二値ではない。但し、本実施形態の実装上は、類似度が所定の閾値よりも低い画像は似ていないものとして処理する。類似度が所定の閾値よりも高い画像に関して、相対的に類似度の高い画像と低い画像とを区別することができる。与えられた検索条件に含まれる検索キー画像と、検索される文書データに含まれる画像との類似度の判定結果に基づいて、ヒット率（設定された条件に合致する割合）が算出される。すなわち、類似度が高い画像を含む文書の方が、比較的低い画像を含む文書よりも、ヒット率は高く算出される。

また、検索キーは複数指定できるので、より多くの検索条件に合致する文書の方がより少ない検索条件だけに合致する文書よりもヒット率を高く算出する。類似画像検索の検索キー画像が複数指定される場合、類似度の高い画像を多く含めばヒット率を高くする。尚、「すべてのキーを含む」ラジオボタンが選択されて検索された場合、与えられた検索キーのすべてに合致しなければヒットしないものとする。

次に、デフォルトの表示順序のよりどころとなる文書ランクについて説明する。文書ランクは文書の意味的な重要度を表す指標として算出される。文書ランクは、文書のメタデータとして明示的に割り付けられた重要度に基づく。また、機密度、所有者、作者、保管場所、ページ数、などの文書の属性に基づいて文書ランクを算出する。更に、その文書に後からつけられたタグの数や種類、参照された回数、関連文書の参照関係のネットワークなどに基づいて文書ランクを算出することもできる。

関連文書の相互参照関係のネットワークに基づく文書ランクとは、文書ランクの高い文書から多く参照されている文書は比較的ランクが高いものとして算出される。また、文書ランクの高い文書と同時に処理（すなわち、同時にプリント、送信、保存、リトリーブ、ジョブ結合など）された履歴を持つ文書は比較的文書ランクが高いものとして文書ランクが算出される。

検索リスト表示領域１１０２に表示される文書群のうち、リストの下位に配置される文書は上位に配置される文書よりも、検索ヒット文書表示をより簡略化したり縮小したりすることによって、一画面の中に表示可能な文書の総件数を増やすことも可能である。

本実施形態によれば、デフォルトの設定では、ヒット率順、文書ランク順、文書に付随するメタデータ順、その文書を対象として行われたジョブのメタデータ順、などに基づいて、文書リストを並べて表示できる。更に、文書リストの表示順序を設定し直すと即時にリスト表示が更新されるので、多数の候補文書の中から所望の文書を容易に検索することができる。

スクロールバー１１０３は、文書検索結果リスト画面１１００をスクロールするためのスクロールバーである。多くの場合、検索リスト表示領域１１０２には大量の文書が表示されるので、操作部１１２のＬＣＤ表示部５０１の表示領域に納まらない場合が普通である。ユーザは画面をスクロールしながら文書を一覧してその中から所望の文書を見つけ出すことができる。尚、検索リスト表示領域１１０２の最下部などにページ送りのためのボタンなど（不図示）を配置して、検索結果文書のリストを複数のページに分割して表示してもよい。

尚、検索リスト表示領域１１０２の最下部などに配置したリストプリントボタン（不図示）を押すと、文書検索結果リストをプリント出力するように構成してもよい。限られた表示領域の中で、できるだけ多数の文書を一覧したいという要件と、できるだけ詳細な文書サマリーサムネールを見くらべて所望の文書を選び出したいという要件とは、同時に満たすことの難しい競合要件である。しかしながら、本実施形態に拠れば、文書検索結果リストを即時にプリント出力できるので、ディスプレイ５０２よりも高解像度で一覧性も高い出力紙を用いて、容易に所望の文書を見つけ出すことができる。

（検索ヒット文書表示の一例）
図１１に示す検索ヒット文書表示１１１２、１１１３、１１１４、１１１５は、全て同様に構成されている。斜体の文字列は、実際の画面表示においては文書が持つ対応するメタデータの実際の値が表示されることを示している。下線が付してある文字列は、その表示領域を押すと対応する詳細情報表示ウィンドウが開き、それぞれの情報のより詳細な情報を確認できる。

図１２は、検索ヒット文書表示例として、検索ヒット文書表示１１１２を示す図である。データ形式アイコン１２０１は対応する文書のデータ形式を表示するためのアイコンである。文書名１２０２は対応する文書の文書名を表示するための文字列である。データ形式１２０３は対応する文書のデータ形式を表示するための文字列である。ページ数１２０４は対応する文書のページ数を表示するための文字列である。文書の所在情報１２０５は、対応する文書が保存されているファイルサーバなどの格納位置（場所）を特定するための文字列である。文書の所在情報は、ＵＲＩやファイルサーバとそのファイルシステム中のファイルパス文字列などによって識別される。ジョブアーカイブシステムが蓄積した文書の場合、ジョブアーカイブシステムのジョブにおいて収集された処理対象文書の控えデータが保存されている位置を表示してもよい。あるいは、処理対象文書のオリジナルデータが保存されている位置が特定できる場合はその位置を表示してもよい。

履歴情報１２０６は、対応する文書を処理対象として過去に施されたジョブ処理や検索などの履歴を表現するための文字列である。いつ、誰が、どんな処理を、どの装置において、この文書に対して施したかといった履歴情報を確認できる。

ページ１２０７は、対応する文書を構成するページのうち、検索キーの条件にヒットしたページのページ番号を表現するための文字列である。

ヒットページサムネール１２０８は、対応する文書を構成するページのうち、検索キーの条件にヒットしたページまたは画像要素の概観を表示するためのサムネール画像である。

先頭ページサムネール１２０９は、対応する文書の先頭のページの概観を表示するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

前ページサムネール１２１０は、検索キーにヒットしたページに先行するページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。後ページサムネール１２１１は、検索キーにヒットしたページに後続するページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。末尾ページサムネール１２１２は、対応する文書の末尾ページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。本実施例では、ヒットページのサムネール（ヒットページサムネール）１２０８を大きいサイズで表示し、それ以外のページのサムネールをそれより小さいサイズで表示している。このように構成することにより、ユーザはヒットしたページをより明確に認識することができる。

限られた表示領域の中で、できるだけ多数の文書を一覧して所望の文書を選び出したいという要件と、できるだけ詳細な文書サマリーサムネールを見くらべて所望の文書を選び出したいという要件とは、同時に満たすことが難しい。しかしながら、本実施形態によれば、文書サマリーサムネール中に表示するページ構成とそのページ数を簡単に変更可能であるため、容易に所望の文書を検索することができる。

非常に多くのページを文書サマリーサムネールに表示しようとした場合、より縮小率の高い小さなサムネールを表示して、限られた表示領域の中に収まるように検索結果の表示を調整することができる。あるいは、比較的優先度の低いページのサムネールをより小さく縮小して表示したり、先行するページの裏側に重ね合わせページの一部が隠れるように配置して表示を制御することも可能である。あるいは、検索結果の表示を省略することによって、限られた表示領域の中に収まるように検索結果の表示を調整することも可能である。

表示領域が不十分なとき、文書サマリーサムネール中に優先的に表示する優先度の高いページは、次のようなアルゴリズムに従って選択することが可能である。例えば、文書の前方のページをより優先する、先に指定された検索キーに対応してヒットしたページをより優先する、類似画像検索の条件にヒットした場合は類似度の高いページを優先するアルゴリズムを利用することができる。

印刷ボタン１２１３は、対応する文書をプリント機能によってプリント出力するためのボタンである。保存ボタン１２１４は、対応する文書をボックス機能に保存するためのボタンである。送信ボタン１２１５は、対応する文書を送信機能によって送信するためのボタンである。

タグ付けボタン１２１６は、対応する文書のタグを操作するためのボタンである。タグ付けボタン１２１６を押すと、文書タグウィンドウが開き、既に当該する文書に設定されているタグを閲覧および編集するとともに、任意のタグを新たに追加登録できる。

関連文書ボタン１２１７は、対応する文書に関連付けられている文書（関連文書）に対する操作設定を行うためのボタンである。関連文書ボタン１２１７を押すと、関連文書ウィンドウが開き、該当する文書に関連付けられている関連文書を閲覧し、編集することが可能である。また、該当する文書に対して、他の文書を関連付け、関連文書として追加登録することができる。

マーク付けチェックボックス（マーク）１２１８は、対応する文書をマークするためのチェックボックスである。リストに表示された文書群のうちいくつかの文書に対する選択的な操作を行う場合、このチェックボックスが選択状態にある文書が対象となる。例えば、マーク付けチェックボックス１２１８を選択状態にしてから、絞り込み検索ボタン１１１１を押すと、マークされた（選択状態にされた）文書群が検索キーに追加された状態で再検索が実行される。

本実施形態に拠れば、文書サマリーサムネールによって検索にヒットしたページだけでなく、そのページの前後関係と、文書の全体像とを一目で把握できるので、リスト中から所望の文書を容易に検索することが可能になる。
（複数ページがヒットした文書の表示）
図１３は、複数ページがヒットした文書の検索ヒット文書表示の一例を示す図である。前述の表示項目に関しては同一の符号をつけて説明を省略する。類似画像検索は連続的な類似度に基づく検索であるため、ひとつの文書に含まれる複数の類似画像が検索にヒットする可能性がある。また、検索キーと条件を複数設定して検索できるため、ひとつの文書内の複数のページが検索にヒットする可能性もある。図１３は、文書中の２つのヒットページサムネール１２０８、１３０２が検索にヒットした文書に関する表示例を示している。

ページ１３０１は、対応する文書を構成するページのうち、検索キーの条件にヒットした２番目のページのページ番号を表示するための文字列である。ヒットページサムネール１３０２は、対応する文書を構成するページのうち、検索キーの条件にヒットした２番目のページの概観を表示するためのサムネール画像である。

前ページサムネール１３０３は、検索キーにヒットした２番目のページに先行するページの概観を表示するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

後ページサムネール１３０４は、検索キーにヒットした２番目のページに後続するページの概観を表示するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。

限られた表示領域の中で、できるだけ多数の文書を一覧して所望の文書を選び出したいという要件と、できるだけ詳細な文書サマリーサムネールを見くらべて所望の文書を選び出したいという要件とは、同時に満たすことが難しい。しかしながら、本実施形態によれば、文書サマリーサムネール中に表示するページ構成とそのページ数を簡単に変更可能であるため、容易に所望の文書を検索することが可能になる。

尚、図１３の表示例の場合でも図１２と同様に、より縮小率の高い小さなサムネールを表示して、限られた表示領域の中に収まるように検索結果の表示を調整することができる。あるいは、比較的優先度の低いページのサムネールをより小さく縮小して表示したり、先行するページの裏側に重ね合わせページの一部が隠れるように配置して表示を制御することも可能である。あるいは、検索結果の表示を省略することによって、限られた表示領域の中に収まるように検索結果の表示を調整することも可能である。

尚、表示領域が不十分なとき、文書サマリーサムネール画像に優先度が設定される。優先度の高いページは、次のようなアルゴリズムに従って選択することが可能である。例えば、文書の前方のページをより優先する、先に指定された検索キーに対応してヒットしたページをより優先する、類似画像検索の条件にヒットした場合は類似度の高いページを優先するアルゴリズムを利用することができる。

（文書サマリーサムネールをアニメーション表示する例）
図１４は、文書サマリーサムネールのアニメーション表示例を示す図である。アニメーション表示チェックボックス１１０９が選択状態にあるとき、検索ヒット文書表示１１１２、１１１３、１１１４、１１１５内の各文書サマリーサムネールがそれぞれ自動的にアニメーション表示される。

先頭ページサムネール１２０９は、対応する文書の先頭のページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。ここで、４ページが設定された場合、文書の最初の先頭ページサムネール１２０９とともに、文書の２ページ目から４ページ目までの後続ページのサムネール１４０１ａ、１４０１ｂ、１４０１ｃが並べて表示される。検索された文書データの内容を示すサムネール画像において、１２０９および１４０１ａ〜ｃの各ページのサムネール画像は、順次、自動的に、他のサムネール画像に対して前面に、または拡大された状態に切り替え表示（アニメーション表示）される。こうしてページめくりの要領で、アニメーション表示することによって、多数のページが文書の中で並んでいる文脈や概要を少ない表示面積を活用して表現することが可能となる。

前ページサムネール１２１０ａ、１２１０ｂ、１２１０ｃは、検索キーにヒットしたページに先行するページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。ここでは、３ページが設定された状態を示している。

ヒットページサムネール１２０８は、対応する文書を構成するページのうち、検索キーの条件にヒットしたページの概観を表現するためのサムネール画像である。

後ページサムネール１２１１ａ、１２１１ｂ、１２１１ｃは、検索キーにヒットしたページに後続するページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。ここでは、３ページが設定された状態を示している。

１２１０ａ〜１２１０ｃ、１２０８、および１２１１ａ〜１２１１ｃの各ページのサムネール画像は、順次、自動的に前面にまた拡大されて表示される。こうしてページめくりの要領でアニメーション表示することによって、多数のページが文書の中で並んでいる文脈を少ない表示面積を活用して表現することが可能となる。

末尾ページサムネール１２１２は、対応する文書の末尾のページの概観を表現するためのサムネール画像である。文書サマリーサムネール構成設定領域１１０８において設定されたページ数分のサムネール画像を並べて表示する。ここで、４ページが設定された場合、文書の最終ページの末尾ページサムネール１２１２とともに、文書の末尾から数えて２ページ目から４ページ目までの先行ページのサムネール１４０２ａ、１４０２ｂ、１４０２ｃが並べて表示される。１４０２ａ〜１４０２ｃおよび１２１２の各ページのサムネール画像は、順次、自動的に前面にまた拡大されて表示される。こうしてページめくりの要領でアニメーション表示することによって、多数のページが文書の中で並んでいる文脈を少ない表示面積を活用して表現することが可能となる。

限られた表示領域の中で、できるだけ多数の文書を一覧して所望の文書を選び出すという要件と、夫々の文書に関して文書サマリーサムネールを見比べて所望の文書を選び出す要件とは同時に満たすことの難しい競合要件である。

本実施形態によれば、文書サマリーサムネールを自動的にアニメーション表示するように構成したため、競合要件を同時に解決することが可能となる。

（文書検索結果リスト画面を細密表示する例）
図１５は、文書検索アプリケーションの文書検索結果リスト画面の細密表示モードにおける表示構成例を表す図である。

文書検索結果リスト画面１５００は、図１１に示した文書検索結果リスト表示例の別のモードである。表示項目設定領域１１０６の「属性情報を表示」チェックボックスが選択されていない場合、文書に関するメタデータ群の検索リスト表示領域１１０２への表示をできるだけ省き、そのかわりできるだけ大量のヒット文書のリストを画面に表示する。図１１の文書検索結果リスト画面１１００と同一の要素は同じ符号をつけて説明を省略する。

詳細ボタン１５０１は、表示を省略した文書に関する詳細情報を確認するためのウィンドウを開くボタンである。このボタンを押すと、図１３と同様の詳細情報を表示するウィンドウが開く。

文書サマリーサムネールアニメーション表示領域１５０２ａ〜１５０２ｉ（以下、単に「表示領域１５０２」とも表記する）は、文書サマリーサムネールをアニメーション表示するための表示領域である。

細密表示モードでは、大量の検索結果文書群の中から所望の文書を見出すために、できるだけ多くの検索結果文書を同時に一画面の中に表示する。文書サマリーサムネールを表示するための表示領域１５０２は、１ページ分の表示サイズだけしか確保できない。そこで、アニメーション表示チェックボックス１１０９が選択されている場合、表示領域１５０２の表示を時分割して用いる。表示領域１５０２の表示を時分割して、ページめくりの要領で表示するページ（または画像要素）を順次自動的に切り替えるアニメーション表示を行う。アニメーション表示により、文書を構成するページ群の概要と検索ヒットしたページが置かれている文脈とを把握するために役立つ特徴的なページ群の把握は可能になる。

（文書サマリーサムネールアニメーション表示処理の手順）
図１６は、文書サマリーサムネールアニメーション表示処理の手順を示すフローチャートである。本表示処理は画像処理装置１１０のＣＰＵ３０１において実行される文書検索アプリケーションによって達成される。

本フローチャートの一連の手順は、図１５の文書検索結果リスト画面の細密表示モードが表示されているとき、表示されている全文書の文書サマリーサムネールアニメーション表示領域１５０２ａ〜１５０２ｉのそれぞれに関して並行して実行される。以下の説明では、文書サマリーサムネールアニメーション表示領域１５０２として表記する。

ステップＳ１６０１で、アニメーション表示が設定されているか判定する。アニメーション表示チェックボックス１１０９が選択状態にあれば（Ｓ１６０１−Ｙｅｓ）、ステップＳ１６０２に進み、非選択ならば（Ｓ１６０１−Ｎｏ）、本処理は終了する。

ステップＳ１６０２で、文書サマリーサムネール構成設定領域１１０８において設定されたページ数分の先頭のサムネール画像の表示を終えたかどうか判定する。表示済みであれば（Ｓ１６０２−Ｙｅｓ）、ステップＳ１６０４に進み、表示済みでなければ（Ｓ１６０２−Ｎｏ）、処理をステップＳ１６０３に戻す。

ステップＳ１６０３で、先頭のサムネール画像を文書サマリーサムネールアニメーション表示領域１５０２に表示し、ステップＳ１６０２に処理を戻す。このループによって、設定されたページ数分の先頭のサムネール画像が順次アニメーション表示される。

ステップＳ１６０４で、検索にヒットしたページの先頭のサムネール画像の表示を終えたかどうか判定する。表示済みであれば（Ｓ１６０４−Ｙｅｓ）、ステップＳ１６１０に進み、表示済みでなければ（Ｓ１６０４−Ｎｏ）、ステップＳ１６０５に処理を進める。

ステップＳ１６０５で、文書サマリーサムネール構成設定領域１１０８において設定されたページ数分の先頭のサムネール画像の表示を終えたかどうか判定する。表示済みであれば（Ｓ１６０５−Ｙｅｓ）、ステップＳ１６０７に進み、表示済みでなければ（Ｓ１６０５−Ｎｏ）、ステップＳ１６０６に処理を進める。

ステップＳ１６０６で、設定されたページ数分の先頭のサムネール画像を文書サマリーサムネールアニメーション表示領域１５０２に表示し、処理をステップＳ１６０５に戻す。このループによって、その検索ヒットページに関して設定されたページ数分の先頭のページサムネール画像が順次アニメーション表示される。

ステップＳ１６０７で、その検索ヒットページのサムネール画像を文書サマリーサムネールアニメーション表示領域１５０２に表示する。

ステップＳ１６０８で、検索にヒットしたページの１つについて、文書サマリーサムネール構成設定領域１１０８において設定されたページ数分の後続のサムネール画像の表示を終えたか判定する。表示済みであれば（Ｓ１６０８−Ｙｅｓ）、ステップＳ１６０４に進み、表示済みでなければ（Ｓ１６０８−Ｎｏ）、ステップＳ１６０９に処理を進める。

ステップＳ１６０９で、設定されたページ数分の後続のサムネール画像を文書サマリーサムネールアニメーション表示領域１５０２に表示し、ステップＳ１６０８に処理を戻す。このループによって、その検索ヒットページに関して設定されたページ数分の後続のサムネール画像が順次アニメーション表示される。

一方、ステップＳ１６０８の条件が真でステップＳ１６０４に戻る場合、このループによって、文書中のすべての検索ヒットページに関してそのページおよびその先行と後続のページサムネールが順次アニメーション表示される。

ステップＳ１６１０で、文書サマリーサムネール構成設定領域１１０８において設定されたページ数分の末尾のサムネール画像の表示を終えたかどうか判定する。表示済みであれば（Ｓ１６１０−Ｙｅｓ）、ステップＳ１６０１に処理を戻し、表示済みでなければ（Ｓ１６１０−Ｎｏ）、ステップＳ１６１１に処理を進める。

ステップＳ１６１１で、末尾サムネール画像を文書サマリーサムネールアニメーション表示領域１５０２に表示し、ステップＳ１６１０に処理を戻す。このループによって、設定されたページ数分の末尾ページのサムネールが順次アニメーション表示される。

なお、各サムネール画像をアニメーション表示するために、表示はタイマーの設定に基づき、タイムフレームごとに切り替えることができる。尚、文書サマリーサムネール中のページごとの優先度に応じて、優先度の高いページは長い時間表示し、優先度の低いページはより短い時間だけ表示するように構成することも可能である。

優先的に表示する優先度の高いページは、次のようなアルゴリズムを選択することが可能である。例えば、文書の前方のページをより優先する、先に指定された検索キーに対応してヒットしたページをより優先する、類似画像検索の条件にヒットした場合は類似度の高いページを優先する等のアルゴリズムの選択が可能である。

尚、文書サマリーサムネール構成設定領域１１０８において設定されていないページのサムネールも、ごく短い時間だけ表示するように構成してもよい。このように構成した場合、文書の概要や文書中のヒットページが置かれている文脈に関わる重要なページがその重要度に応じて比較的長く表示されるため、文書の概要やヒットページの文脈の印象を強調することが可能になる。

限られた表示領域の中で、できるだけ多数の文書を一覧して所望の文書を選び出すという要件と、夫々の文書に関して文書サマリーサムネールを見比べて所望の文書を選び出す要件とは、同時に満たすことの難しい競合要件である。

本実施形態によれば、文書サマリーサムネールを自動的にアニメーション表示するように構成したため、上述の競合要件を同時に解決することが可能となる。

（第２実施形態）
上記の実施形態では文書を構成するページを単位として文書サマリーサムネールを表示したが、本実施形態では文書を構成する個々の画像領域要素を単位として文書サマリーサムネールを表示する構成を説明する。

図１７は、複数の画像領域要素から構成される文書の一例を示す図である。

文書１７００は、複数の画像領域およびテキスト領域から構成される文書の一例である。文書１７００を画像構造解析部２０８や展開部２１０が解析した結果としてページの構造に関する構造情報が得られ、文書を構成する複数の画像や複数テキストといった要素を分解できる。また、各要素の間の配置上の距離や、文化によってきまる配置と前後関係の慣習などに基づく解析によって、要素間の相互関係も構造情報として得られる。尚、文書がＨＴＭＬなどのコードデータによって記述されている場合は、データそのものが要素間の関係を自己記述している場合もある。

文書１７００は、画像要素１７０１乃至１７１２を含む。これらの画像要素群は、まず左から右の順に配置され、さらに上から下の順に配置されるという文化的慣習に基づき符号の番号の順に前後関係を持つものと解析できる。

図１８は、第２実施形態における検索ヒット文書表示の一例を示す図である。図１８の検索ヒット文書表示例は、画像要素１７０４に類似した画像をキーにして検索を行い、図１７の文書１７００がヒットした状態を想定している。図１８の検索ヒット文書表示は第１実施形態の図１２に示した検索ヒット文書表示の一例と同様に構成され、共通の要素には同一の符号をつけて説明を書略する。

ヒット画像サムネール１８０４は、対応する文書を構成する画像要素のうち、検索キーの条件にヒットした画像要素の概観を表示するためのサムネール画像である。図１７の文書１７００を構成する画像要素１７０４に対応している。

先頭の画像サムネール１８０１は、対応する文書の先頭の画像要素の概観を表現するためのサムネール画像である。図１７の文書１７００を構成する画像要素１７０１に対応している。文書サマリーサムネール構成設定領域１１０８と同様の設定領域（不図示）において設定された画像要素数分のサムネール画像を並べて表示することができる。

前画像サムネール１８０３は、検索キーにヒットした画像要素に先行する画像要素の概観を表示するためのサムネール画像である。図１７の文書１７００を構成する画像要素１７０３に対応している。文書サマリーサムネール構成設定領域１１０８と同様の設定領域（不図示）において設定された画像要素数分のサムネール画像を並べて表示することができる。

後画像サムネール１８０５は、検索キーにヒットした画像要素に後続する画像要素の概観を表現するためのサムネール画像である。図１７の文書１７００を構成する画像要素１７０５に対応している。文書サマリーサムネール構成設定領域１１０８と同様の設定領域（不図示）において設定された画像要素数分のサムネール画像を並べて表示することができる。

末尾の画像サムネール（末尾ページサムネール）１２１２は、対応する文書の末尾の画像要素の概観を表示するためのサムネール画像である。図１７の文書１７００を構成する画像要素１７１２に対応している。文書サマリーサムネール構成設定領域１１０８と同様の設定領域（不図示）において設定された画像要素数分のサムネール画像を並べて表示することができる。

限られた表示領域で、できるだけ多数の文書を一覧して所望の文書を選び出すという要件と、できるだけ詳細な文書サマリーサムネールを見比べて所望の文書を選び出すという要件とは、同時に満たすことの難しい競合要件である。

本実施形態によれば、文書サマリーサムネール中に表示する画像要素構成とその画像要素数を簡単に変更可能であるため、容易に所望の文書を見つけ出すことができる。

尚、非常に多くの画像要素を文書サマリーサムネールに表示しようとした場合、より縮小率の高い小さなサムネールを表示して、限られた表示領域の中に収まるように検索表示を制御することも可能である。あるいは、比較的優先度の低い画像要素のサムネールをより小さく縮小して表示したり、先行する画像要素の裏側に重ね合わせ画像要素の一部が隠れるように配置して、検索表示を制御することも可能である。あるいは、表示を省略したりすることによって、限られた表示領域の中に収まるように調整する検索表示を制御することも可能である。

尚、表示領域が不十分なとき、文書サマリーサムネール中に優先的に表示する優先度の高い画像要素は、次のようなアルゴリズムに従って選択することが可能である。例えば、文書の前方の画像要素をより優先する、先に指定された検索キーに対応してヒットした画像要素をより優先する、類似画像検索の条件にヒットした場合は類似度の高い画像要素を優先する等のアルゴリズムの選択が可能である。

画像要素を単位とする文書サマリーサムネールも、図１４の表示例や図１６の手順と同様の要領でアニメーション表示し、多数の画像要素が文書の中で並んでいる文脈や概要を少ない表示面積を活用して表示することが可能である。

（他の実施形態）
尚、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

本発明の実施形態に係る画像処理システムの全体構成を示すブロック図である。 サーバシステムにおいて稼動するジョブアーカイブアプリケーションのソフトウェア構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置の外観を示す図である。 画像処理装置の操作部の構成を示す図である。 画像処理装置の操作部及び操作部Ｉ／Ｆの内部構成を制御ユニットの内部構成と対応させて示すブロック図である。 画像処理装置の操作部に表示される操作画面の一例を示す図である。 ＤＢ管理システムに格納される各データベースのデータ構造を示す図である。 検索処理の手順を説明する図である。 文書検索アプリケーションの基本画面である文書検索画面の構成例を示す図である。 文書検索アプリケーションの文書検索結果リスト画面の構成例を示す図である。 検索ヒット文書表示の一例を示す図である。 複数ページがヒットした文書の検索ヒット文書表示の一例を示す図である。 文書サマリーサムネールのアニメーション表示例を示す図である。 文書検索アプリケーションの文書検索結果リスト画面の細密表示モードにおける表示例を示す図である。 文書サマリーサムネールアニメーション表示処理の手順を示す図である。 複数の画像領域要素から構成される文書の一例を示す図である。 第２実施形態における検索ヒット文書表示の一例を示す図である。

符号の説明

１００ ＬＡＮ（ネットワーク）
１０１ パーソナルコンピュータ（情報処理装置）
１１０，１２０，１３０ 画像処理装置
１１１，１２１，１３１ 制御ユニット
１１２ 操作部
１１３ スキャナ
１１４ プリンタ
３０１ ＣＰＵ
３０２ ＲＡＭ
３０３ ＲＯＭ
３０４ ＨＤＤ
３０５ イメージバスインターフェース（Image Bus I/F）
３０６ 操作部Ｉ／Ｆ
３０７ システムバス
３０８ ネットワークインタフェース（Network）
３０９ モデム（ＭＯＤＥＭ）
３１０ 画像バス
３１１ ラスタイメージプロセッサ（ＲＩＰ）
３１２ デバイスＩ／Ｆ
３１３ スキャナ画像処理部
３１４ プリンタ画像処理部
３１５ 画像回転部
３１６ 画像圧縮部

Claims (19)

1. 入力された検索条件に合致する画像を含む文書データを検索する文書検索手段と、
   前記文書検索手段の検索結果に基づいて、前記検索条件と合致する文書データの一覧表示を表示手段に表示する検索結果リスト表示手段と、
   前記検索結果リスト表示手段による前記一覧表示中に、前記検索条件に合致したページまたは画像要素に関する第１サムネール画像と、前記検索条件に合致したページまたは画像要素を含む文書データを構成する別のページまたは別の画像要素に関する第２サムネール画像と、を表示するサムネール表示手段と
   を備えることを特徴とする文書検索装置。
2. 前記サムネール表示手段は、前記ページまたは画像要素の並び順に基づき、前記第２サムネール画像を、前記第１サムネール画像の前または後に配置して前記一覧表示中に表示することを特徴とする請求項１に記載の文書検索装置。
3. 前記表示される第２サムネール画像は、前記検索条件に合致したページまたは画像要素に隣接するページまたは画像要素に関するサムネール画像を含むことを特徴とする請求項１に記載の文書検索装置。
4. 前記表示される第２サムネール画像は、前記検索条件に合致したページまたは画像要素を含む文書データを構成する先頭若しくは末尾のページまたは先頭若しくは末尾の画像要素に関するサムネール画像を含むことを特徴とする請求項１または３に記載の文書検索装置。
5. 前記表示される第２サムネール画像は、前記検索条件に合致したページまたは画像要素に隣接するページまたは画像要素から順に、並び順に基づき選択された複数のページまたは複数の画像要素それぞれに関する複数のサムネール画像を含むことを特徴とする請求項１に記載の文書検索装置。
6. 前記表示される第２サムネール画像は、前記検索条件に合致したページまたは画像要素を含む文書データを構成する先頭若しくは末尾のページまたは先頭若しくは末尾の画像要素から順に、並び順に基づき選択された複数のページまたは複数の画像要素それぞれに関する複数のサムネール画像を含むことを特徴とする請求項１または５に記載の文書検索装置。
7. 前記表示される第２サムネール画像の表示数を設定する表示数設定手段を更に備え、
   前記サムネール表示手段は、前記表示数設定手段で設定された表示数に従い、前記第２サムネール画像として表示するページまたは画像要素を選択し、当該選択したページまたは画像要素に関する複数のサムネール画像を表示することを特徴とする請求項５または６に記載の文書検索装置。
8. 前記サムネール表示手段は、前記第１サムネール画像を前記第２サムネール画像より大きいサイズで表示することを特徴とする請求項１に記載の文書検索装置。
9. 前記文書検索手段により検索された前記文書データの内容を示すサムネール画像をアニメーション表示するための設定を行うアニメーション表示設定手段を更に備え、
   前記サムネール表示手段は前記アニメーション表示設定手段の設定に従い前記第１サムネール画像と第２サムネール画像とをアニメーション表示することを特徴とする請求項１に記載の文書検索装置。
10. 前記文書検索手段の検索結果を絞り込むための条件を設定する表示フィルタ設定手段を更に備え、
    前記検索結果リスト表示手段は、前記表示フィルタ設定手段により設定された条件により絞り込まれた検索結果を前記表示手段に表示することを特徴とする請求項１に記載の文書検索装置。
11. 前記検索条件には検索キー画像が含まれ、当該検索キー画像は、スキャンによって得た画像もしくは記憶装置に保存されている画像の少なくともいずれかを用いることを特徴とする請求項１に記載の文書検索装置。
12. 前記検索条件に合致したページまたは画像要素が、１つの文書データ内に複数存在した場合、前記サムネール表示手段は、前記検索条件に合致したページまたは画像要素それぞれに関する複数の第１サムネールと、前記検索条件に合致したページまたは画像要素を含む文書データを構成する別のページまたは別の画像要素に関する第２サムネール画像と、を表示することを特徴とする請求項１に記載の文書検索装置。
13. 前記検索条件に合致したページまたは画像要素が、１つの文書データ内に複数存在した場合、前記サムネール表示手段で表示する前記第１サムネール画像は、優先条件にしたがって選択したページまたは画像要素に関するサムネール画像であることを特徴とする請求項１２に記載の文書検索装置。
14. 表示手段を備える文書検索装置の文書検索方法であって、
    入力された検索条件に合致する画像を含む文書データを検索する文書検索工程と、
    前記文書検索工程の検索結果に基づいて、前記検索条件と合致する文書データの一覧表示を前記表示手段に表示する検索結果リスト表示工程と、
    前記検索結果リスト表示工程による前記一覧表示中に、前記検索条件に合致したページまたは画像要素に関する第１サムネール画像と、前記検索条件に合致したページまたは画像要素を含む文書データを構成する別のページまたは別の画像要素に関する第２サムネール画像と、を表示するサムネール表示工程と
    を備えることを特徴とする、文書検索装置の文書検索方法。
15. 前記サムネール表示工程は、前記ページまたは画像要素の並び順に基づき、前記第２サムネール画像を、前記第１サムネール画像の前または後に配置して前記一覧表示中に表示することを特徴とする請求項１４に記載の文書検索方法。
16. 前記表示される第２サムネール画像は、前記検索条件に合致したページまたは画像要素に隣接するページまたは画像要素に関するサムネール画像を含むことを特徴とする請求項１４に記載の文書検索方法。
17. 前記表示される第２サムネール画像は、前記検索条件に合致したページまたは画像要素を含む文書データを構成する先頭若しくは末尾のページまたは先頭若しくは末尾の画像要素に関するサムネール画像を含むことを特徴とする請求項１４または１６に記載の文書検索方法。
18. コンピュータを、請求項１乃至１３のいずれか１項に記載の手段として機能させることを特徴とするコンピュータプログラム。
19. コンピュータを、請求項１乃至１３のいずれか１項に記載の手段として機能させるためのコンピュータプログラムを記憶したことを特徴とするコンピュータ可読の記憶媒体。

Images