JP6363682B2 - 画像とコンテンツのメタデータに基づいてコンテンツとマッチングする画像を選択する方法 - Google Patents

Description

本発明の実施形態は大体コンテンツ検索に関する。より具体的に、本発明の実施形態はメタデータに基づいてマッチング画像を有するコンテンツをリアルタイムに捜索することに関する。

ほとんどの検索エンジンはその操作期間に一般的にクライアント装置で実行されるブラウザによってウェブ（Ｗｅｂ）検索を実行する。検索エンジンはユーザにより入力された検索ワードを受信して、且つ検索ワードに関連するウェブページ検索結果リストを検索する。検索エンジンはある標準に基づいて検索結果を検索リストの一連のサブセットとして表示する。検索操作中に使用される一般的な標準は、検索ワードは完全に又は一部に所定のウェブページに出現するか、検索文字列が検索結果に現した回数、アルファベット順などである。なお、ユーザはマウスボタンをクリックすることでリンクの開きを決めて、これによりウェブページを開いてブラウズする。検索エンジンはユーザと検索結果のあるインタラクティブ及び／又はユーザ情報を監視及び収集することによって、それからより良い検索を提供する。

通常、コンテンツアイテムリストを認識及び検索するように、検索クエリに応答して検索を実行する。続いて、コンテンツアイテムを検索リクエスタに返送する。通常の検索エンジンはほとんどのコンテンツアイテムをそのまま返送して修正しない。検索結果におけるいくつかのコンテンツアイテムは単にプレーンテキスト又は記述であり、つまらないもの又は退屈なものであると考えられる。時々、コンテンツアイテムに当該コンテンツアイテムに関連するある画像が用意される場合に、検索結果におけるコンテンツはより表現力があるか又はより吸引力がある。ところが、適切な画像とコンテンツアイテムをマッチングするのは非常に挑戦となるものである。

一つの様態において、検索クエリに応答してコンテンツアイテムのために画像を選択するコンピュータ実施方法を提供し、この方法は、サーバにおいてクライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、前記サーバによってホストされた検索エンジンにより、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、前記サーバによってホストされた画像選択モジュールにより、画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有する。

他の一つの様態において、指令が記憶された非一時的な機械可読媒体を提供し、前記指令はプロセッサにより実行される際に、前記プロセッサに画像とコンテンツアイテムをマッチングする操作を実行させ、前記操作は、クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、検索エンジンによりコンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、画像選択モジュールにより画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有する。

さらに、他の一つの様態において、データ処理システムを提供し、このシステムは、プロセッサと、クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別する検索エンジンと、画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して１つまたは複数の画像のリストを識別する画像選択モジュールと、を備え、前記検索エンジンは、前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成し、コンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させて、ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有する。
本発明の実施形態は、図面の各図に例として非限定的に示され、図面における類似の符号は、類似の構成要素を示す。

本発明のいくつかの実施形態に係る画像とコンテンツアイテムをマッチングするためのシステム構成の例を示すブロック図である。 本発明のいくつかの実施形態に係る画像とコンテンツアイテムをマッチングするためのシステム構成の例を示すブロック図である。 本発明の一実施形態に係る画像とコンテンツアイテムとをマッチングするためのシステムを示すブロック図である。 本発明のある実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本発明のある実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本発明の一実施形態に係る画像とコンテンツアイテムとをマッチングするための過程を示すフローチャートである。 本発明の一実施形態に係る画像とコンテンツアイテムとをマッチングするためのシステムの例を示すブロック図である。 本発明の一実施形態に係るクエリ−画像マッピングルールを生成するための処理フローである。 本発明のある実施形態に係るマッピングデータ構造の例を示す図である。 本発明のある実施形態に係るマッピングデータ構造の例を示す図である。 本発明の一実施形態に係るクエリ−画像マッピングルールを生成するための過程を示すフローチャートである。 本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。 本発明の一実施形態に係る検索クエリに応答して画像とコンテンツアイテムとをマッチングする過程を示す処理フローチャートである。 本発明の一実施形態に係る検索クエリに応答して画像をランキングする過程の例を示す図である。 本発明の一実施形態に係るキーワードに基づいて画像とコンテンツアイテムとをマッチングする過程を示すフローチャートである。 本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。 本発明の一実施形態に係るマッチングスコアを確定するためのスコアリング行列の例を示すブロック図である。 本発明の別の実施形態に係る画像とコンテンツアイテムとをマッチングするための過程を示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。

以下、説明の詳細を参照しながら、本発明の様々な実施形態および態様を説明し、図面は、様々な実施形態を示す。以下の説明および図面は、本発明を説明するためのものであり、本発明を限定するものではない。本発明の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本発明の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。

本明細書では「１つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明した特定特徴、構造または特性が、本発明の少なくとも１つの実施形態に含まれる。語句「１つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。

ある実施形態によれば、効果的なメカニズムを提供してコンテンツアイテムと画像とをマッチングするように、１組のクエリ−画像（クエリ／画像）マッチングルール（キーワード／画像ルールとも呼ばれる）は、１組の所定のキーワードにおける各キーワードを１つまたは複数の画像を識別するための１つまたは複数の画像識別子（ＩＤ）にマッピングするように構成される。この組の所定のキーワードは、検索クエリにおいて使用される可能性がより高いキーワードに識別されてもよい。ユーザの検索活動または検索歴史への解析または追跡に基づいてこのようなキーワードを識別することができ、一定の時間においてこのようなキーワードをコンパイルすることができる。

次に、クライアント装置からコンテンツを検索するための検索クエリを受信した場合、コンテンツデータベースにおいてまたはコンテンツサーバを経由して検索を実行してコンテンツアイテムリストを検索する。また、クエリを解析して、前記クエリに関連付けられた１つまたは複数のキーワードを確定する。確定されたキーワードは検索クエリに含まれるキーワードであってもよい。確定されたキーワードは意味的に類似するまたは検索クエリにおける最初のキーワードの意味と同じ意味を有するあるキーワード（例えば、同義語または同義語句）をさらに含んでもよい。キーワードに基づき、１組のクエリ／画像マッチングルールで１つまたは複数の画像のリストを識別する。次に、識別された画像と前記コンテンツアイテムの少なくとも一部を合併する。例えば、画像をコンテンツアイテムの背景画像または補足画像として使用することができる。次に、画像と集積するコンテンツアイテムを検索結果の一部としてクライアント装置に返送する。従って、検索結果はより魅力的になるまたは退屈でない。

本発明の一態様によれば、この組のクエリ／画像マッチングルールをコンパイルするために、最初、初期クエリ／画像マッチングルールを示す第１のクエリ／画像マッチングテーブル（一次クエリ／画像マッチングテーブルとも呼ばれる）を構成する。前記第１のクエリ／画像マッチングテーブルは複数のマッチングエントリーを含む。各マッチングエントリーはキーワードを１つまたは複数の画像を識別するための１つまたは複数の画像ＩＤにマッピングし、ここで、画像は事前に収集され、例えば事前に画像収集システム（例えば、画像ウェブクローラ）を用いて前記画像を収集する。次に、第１のクエリ／画像テーブルにおける各マッチングエントリーのキーワードに対して第１の解析を実行して、前記マッチングエントリーの前記キーワードに関連するまたは意味的に類似した１つまたは複数の追加キーワード（拡張キーワードとも呼ばれる）を識別する。

各追加キーワードに対して、追加のマッチングエントリー（拡張マッチングエントリーとも呼ばれる）を作成して前記追加キーワードを対応する元のキーワードの同じ組の１つまたは複数の画像にマッピングし、それにより第２のクエリ／画像マッチングテーブル（拡張クエリ／画像マッチングテーブルとも呼ばれる）を生成する。第２のクエリ／画像テーブルに追加される各追加または拡張マッチングエントリーに対して、第２の解析を実行して、画像および/またはキーワードに関連付けられたメタデータに基づいて対応するキーワードにより十分に説明された画像ではない任意の画像、または対応するキーワードが画像に関連しない任意の画像をフィルタリングしたり識別したりする。次に、追加のマッチングエントリーから識別された１つまたは複数の画像を取り除いて第３のクエリ／画像マッチングテーブル（最終のクエリマッチングテーブルとも呼ばれる）を生成する。フィルタリング過程の後にキーワードに関連付けられた画像がない場合、前記特定の追加または拡張エントリーを取り除くことができる。次に、実行時間に第３のクエリ／画像マッチングテーブルを用いて、検索クエリに関連付けられた１つまたは複数のキーワードに基づいて画像および検索クエリに応答して発見されたコンテンツアイテムをマッチングし、合併する。

本発明の別の態様によれば、クライアント装置から受信した、コンテンツを検索するための検索クエリに応答して、前記検索クエリを解析して１つまたは複数の第１のキーワードを確定する。画像−キーワード（画像／キーワード）マッピングテーブルまたはデータ構造において第１のキーワードに基づいて検索またはサーチ操作を実行する。クエリ／画像マッチングテーブルは複数のエントリーを含み、且つ各エントリーは画像を識別するための画像ＩＤを１つまたは複数の第２のキーワードにマッピングする。画像／キーワードマッピングテーブルにおいて識別されたそれぞれの画像に対して、ランキング過程を実行して第１のキーワードと第２のキーワードとの間のマッチング度を確定する。次に、マッチング度に基づいて画像／キーワードマッピングテーブルにおいて識別された画像をランキングしたり分類したりする。各マッチング度に事前に重み付け係数を割り当てることができる。従って、第１のキーワードと第２のキーワードとのマッチング度は所定のカテゴリー内にあり、対応する１つの重み付け係数を割り当てる。分類またはランキングの目的のため、最後にマッチング度を示すマッチングスコアを計算することができる。所定の閾値よりも高いマッチング度を有する、分類またはランキングされた画像を候補画像として使用することができ、これによりコンテンツデータベースまたはコンテンツサーバから検索されたコンテンツアイテムを割り当てるおよび/または当該コンテンツアイテムと集積する。

本発明の別の態様によれば、１つまたは複数の検索語を有する検索クエリに応答し、コンテンツデータベースまたはコンテンツサーバにおいて第１の検索を実施して、前記１つまたは複数の検索語に関連する第１のコンテンツアイテムのリストを識別し、検索する。画像メモリまたは画像サーバにおいて第２の検索を実行して、前記検索語に関連する１つまたは複数の画像のリストを識別し、検索する。第２の検索によって識別された各画像に対して、コンテンツアイテムのコンテキストおよび画像に関連付けられたメタデータに基づいて、画像と各第１のコンテンツアイテムとの間のマッチングスコアを計算する。各第１のコンテンツアイテムに対して、画像と対応するコンテンツアイテムとの間のマッチングスコアに基づいて画像をランキングする。次に、ランキングされる画像のリストから画像のいずれかを選択して前記コンテンツアイテムに関連付ける。選択された画像および関連付けられたコンテンツアイテムを合併する（例えば、背景画像とする）。従って、第１のコンテンツアイテムの少なくとも一部と合併する画像の少なくとも一部を有する第２のコンテンツアイテムのリストを生成し、且つ前記第２のコンテンツアイテムのリストはクライアント装置に返送される。

図１Ａおよび図１Ｂは、本発明のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするためのシステム構成の例を示すブロック図である。図１Ａを参照し、システム１００は、ネットワーク１０３を介してサーバ１０４に通信可能に接続される１つまたは複数のクライアント装置１０１〜１０２を含むが、それらに限定されない。クライアント装置１０１〜１０２は、任意のタイプのクライアント装置、例えば、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ）、「薄型」クライアント、パーソナルデジタルアシスタント（ＰＤＡ）、インターネット対応機器、スマート腕時計や携帯電話（例えば、スマートフォン）等であってもよい。あるいは、バックエンドサーバまたはアプリケーションサーバとしてのサーバ１０４に対して、クライアント装置１０１−１０２は、フォアグラウンドシステムまたはフォアグラウンドサーバであってもよい。ネットワーク１０３は、任意のタイプの有線や無線ネットワーク、例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）またはそれらの組合せであってもよい。

サーバ１０４は、任意のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはそれらの組合せであってもよい。一実施形態では、サーバ１０４は、検索エンジン１２０、画像選択モジュール１１０、およびクエリ／画像マッチングルール１１５を含むが、それらに限定されない。サーバ１０４はクライアント（例えば、クライアント装置１０１〜１０２）がサーバ１０４で提供されたリソースまたはサービスにアクセスすることを可能にするインターフェース（図示せず）をさらに含む。インターフェースは、ネットワークインターフェース、アプリケーション・プログラミング・インターフェース（ＡＰＩ）および/またはコマンドラインインターフェース（ＣＬＩ）を含んでもよい。

例えば、クライアント（当該例ではクライアント装置１０１のユーザアプリケーション（例えば、ネットワークブラウザ、モバイルアプリケーション、またはフォアグラウンドサーバ／フォアグラウンドシステムの検索機能ソフトウェア））はサーバ１０４に検索クエリを送信し、検索エンジン１２０はネットワーク１０３により、インターフェースを経由して検索クエリを受信する。検索クエリに応答して、検索エンジン１２０は、検索クエリから１つまたは複数のキーワード（検索語とも呼ばれる）を抽出する。検索エンジン１２０は、主要コンテンツデータベース１３０および/または補助コンテンツデータベース１３１を含んでもよいコンテンツデータベース１３３において検索を実行してキーワードに関連するコンテンツアイテムリストを識別する。主要コンテンツデータベース１３０（マスターコンテンツデータベースとも呼ばれる）は、一般的なコンテンツデータベースであってもよく、補助コンテンツデータベース１３１（二次または付属コンテンツデータベースとも呼ばれる）は、特殊のコンテンツデータベースであってもよい。検索エンジン１２０は、リストの少なくとも一部のコンテンツアイテムを有する検索結果ページをクライアント装置１０１に返送して表示する。検索エンジン１２０は、百度会社（Ｂａｉｄｕ Ｉｎｃ）から取得されるＢａｉｄｕ（登録商標）検索エンジンであってもよく、Ｇｏｏｇｌｅ（登録商標）検索エンジン、Ｍｉｃｒｏｓｏｆｔ Ｂｉｎｇ^TM検索エンジン、Ｙａｈｏｏ（登録商標）検索エンジン、またはほかの検索エンジンであってもよい。

検索エンジン、例えばウェブページ検索エンジンは、ワールドワイドウェブ上で情報を検索するソフトウェアシステムとして設計される。検索結果は、通常、一連の結果に表示され、この一連の結果は、通常、検索エンジン結果ページと呼ばれる。情報は、ウェブページ、画像、およびほかのタイプのファイルの組合せであってもよい。いくつかの検索エンジンは、さらにデータベースまたはオープンディレクトリ中の利用可能なデータをマイニングする。ヒューマンエディタのみにより維持されるウェブディレクトリと異なり、検索エンジンは、さらにウェブクローラ（ｗｅｂ ｃｒａｗｌｅｒ）においてアルゴリズムを実行することにより、リアルタイム情報を維持する。

ウェブページ検索エンジンは、ページのハイパーテキストマークアップ言語（ＨＴＭＬ）マークアップから検索される多数のウェブページに関連する情報を記憶することにより動作される。これらのページは、ウェブサイト上の各リンクに従う自動ウェブクローラであるウェブクローラにより検索される。次に、検索エンジンは、各ページのコンテンツを解析して如何にインデックスされるかを決定する（例えば、タイトル、ページコンテンツ、ヘッダーまたはメタタグと呼ばれる特殊フィールドによりワードを抽出する）。ウェブページに関連するデータをインデックスデータベースに記憶し、後続のクエリに使用する。インデックスは、クエリに関連する情報をできるだけ速めに見つけることに役立つ。

ユーザが検索エンジンに（一般的に、キーワードを使用することにより）クエリを入力する場合、前記エンジンは、クエリのインデックスを検査し、通常ドキュメントタイトルを含み且つ必要に応じて一部のテキストを含む短い概要を有する基準にしたがってベストマッチングのウェブページのリストを提供する。インデックスは、データとともに記憶された情報、および情報のインデックス方法からなる。検索エンジンは、入力時に完全に一致する語（ワード）または語句（フレーズ）をサーチする。いくつかの検索エンジンは、近接検索と呼ばれる高度な特徴を提供し、ユーザがキーワード間の距離を定義することを可能にする。概念に基づく検索もあり、その中でも前記検索は検索された語または語句を含むページ上で統計解析を使用する。また、自然言語クエリは、ユーザが人間に質問するような形と同様に問題を入力することを可能にする。

検索エンジンの有用性は、返送された結果セットの関連性により決められる。特定の語または語句を含むウェブページが数百万も存在する可能性があるが、その一部のページは、他のページに比べるとさらに関連性が高く、人気があり、または信頼性が高い可能性がある。ほとんどの検索エンジンは、複数種の方法を用いて結果をランキングすることにより、「ベスト」結果を優先的に提供する。検索エンジンが如何にどのページをベストマッチングのページに決定するか、およびどんな順序で結果を表示するかについて、エンジンにより大きく異なている。

図１Ａに戻って参照して、一実施形態によれば、サーバ１０４でクライアント装置（当該例では、クライアント装置１０１）から受信された検索クエリに応答して、検索エンジン１２０は、コンテンツデータベース１３３（例えば、主要コンテンツデータベース１３０、および/または補助コンテンツデータベース１３１）において検索を実行し、コンテンツアイテムリスト（第１のコンテンツアイテムと呼ばれる）を生成する。ユニフォームリソースリンク（ＵＲＬ）および/またはユニフォームリソースアイデンティファイア（ＵＲＩ）を経由してコンテンツアイテムのそれぞれと特定のコンテンツプロバイダの特定ウェブサイトの特定ウェブページを関連付ける。一実施形態では、主要コンテンツデータベース１３０はウェブクローラにより収集された一般的なコンテンツアイテム（例えば、非スポンサー付きコンテンツ）を記憶する。補助コンテンツデータベース１３１は、特定、既知または所定のコンテンツプロバイダに関連付けられた特定、または特殊のコンテンツアイテム（例えば、スポンサー付きコンテンツ）を記憶する。あるいは、主要コンテンツデータベース１３１と補助コンテンツデータベース１３２を区別せずに、コンテンツデータベース１３３を単一データベースとしてもよい。

ウェブクローラ（Ｎｅｔｗｏｒｋ ｃｒａｗｌｅｒまたはＷｅｂ Ｃｒａｗｌｅｒ）は、ネットワークのハイパーテキスト構造を自動的にトラバースするプログラムである。実際に、ネットワーククローラは、ＵＲＬからドキュメントをダウンロードする１つもしくは複数の過程またはスレッドを実行するようにそれぞれ構成された個別のコンピュータあるいはサーバで実行できる。ネットワーククローラは、割り当てられたＵＲＬを受信し、それらのＵＲＬでドキュメントをダウンロードする。ネットワーククローラは、さらに検索されたドキュメントに引用されるドキュメントを検索して、コンテンツ処理システム（図示せず）および/または検索エンジン１２０に処理させるようにしてもよい。ネットワーククローラは、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）やファイル転送プロトコル（ＦＴＰ）のような様々なプロトコルを使用して、ＵＲＬに関連付けられたページをダウンロードすることができる。

また、一実施形態によれば、画像選択モジュール１１０は、クエリ／画像マッチングルール１１５において検索クエリに関連付けられたキーワードに基づいて検索して、画像または前記キーワードに関連する画像を識別するための画像ＩＤのリストを識別する。クエリ／画像マッチングルール１１５は、様々なデータ構造（例えば、テーブルまたはデータベース）で実施されることができる。画像ＩＤに基づき、画像メモリ１２５に記憶された画像１２２から候補画像のリストを識別し、検索することができ、その中で、画像メモリ１２５は、画像１２２を記述する画像のメタデータ１２４を記憶してもよい。上記したように、ネットワークをクロールして画像およびその周辺のメタデータを収集するように設計される１つまたは複数の画像クローラにより、画像１２２およびその対応するメタデータ１２４を取得することができる。画像１２２は、保護されていない、版権がない、適切に許可されている画像であってもよく、または任意のそのほかの授権されている画像であってもよい。キーワードと候補画像との間の関連性スコアまたはマッチング度に基づいて候補画像をランキングすることができ、前記関連性スコアまたはマッチング度は、画像のメタデータ１２４に基づいて確定されてもよい。コンテンツデータベース１３３において発見された各コンテンツアイテムに対して、候補画像のリストから１つの画像を選択して前記コンテンツアイテムに関連付ける。選択された画像は、合併済みのコンテンツアイテムを生成するように、前記コンテンツアイテムと合併してもよい。例えば、選択された画像は、前記コンテンツアイテムの背景画像または補足画像として機能することができる。合併済みのコンテンツアイテムおよび画像のリストは、検索結果の一部としてクライアント装置１０１に返送される。

一実施形態によれば、検索クエリを受信する前にクエリ／画像マッチングルール１１５（例えば、オフライン）を事前にコンパイルおよび生成することができる。１組のクエリ／画像マッチングルール１１５は、１組の所定のキーワードのそれぞれを１つまたは複数の画像を識別するための１つまたは複数の画像ＩＤにマッピングするように構成される。この組の所定のキーワードは、検索クエリにおいて使用される可能性がより高いキーワードとして識別されてもよい。ユーザの検索活動または検索歴史への解析または追跡に基づいてこのようなキーワードを識別することができ、一定の時間でこのようなキーワードをコンパイルすることができる。

次に、コンテンツを検索するために検索クエリがクライアント装置から検索エンジン１２０により受信された場合、コンテンツデータベース１３３において検索を実行してコンテンツアイテムリストを検索する。また、例えば画像選択モジュール１１０によりクエリを解析して、前記クエリに関連付けられた１つまたは複数のキーワードを確定する。確定されたキーワードは、検索クエリに含まれるキーワードであってもよい。確定されたキーワードは、意味的に類似するまたは検索クエリにおける最初のキーワードの意味と同じ意味を有するあるキーワード（例えば、同義語または同義語句）をさらに含んでもよい。キーワードに基づいて、１組のクエリ／画像マッチングルール１１５で画像メモリ１２５からの１つまたは複数の画像のリストを識別する。次に、識別された画像と前記コンテンツアイテムの少なくとも一部を合併する。例えば、画像をコンテンツアイテムの背景画像として使用することができる。次に、画像と集積するコンテンツアイテムを検索結果の一部としてクライアント装置に返送する。従って、検索結果はより魅力的になるまたは退屈でない。

なお、例示の目的のために、サーバ１０４の構成のみを説明する。そのほかのアーキテクチャまたは構成も適用可能である。例えば、図１Ｂに示されるように、コンテンツデータベース１３３は、ネットワークを介してコンテンツサーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。同様に、画像メモリ１２５は、画像サーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。サーバ１３３および１２５は、ネットワークサーバ、アプリケーションサーバまたはバックエンドサーバであってもよい。サーバ１０４と同様なエンティティまたは組織により、コンテンツサーバ１３３および/または画像サーバ１２５を組織して提供するようにしてもよい。あるいは、コンテンツデータベース１３０〜１３１におけるコンテンツと画像１２２、およびその両者のメタデータ１２４を収集するための個別のエンティティまたは組織（例えば、第三者のプロバイダ）により、コンテンツサーバ１３３および/または画像サーバ１２５を維持したり、ホストしたりするようにしてもよい。また、画像選択モジュール１１０を個別のシステムとして実施してもよく、例えばＡＰＩまたはネットワークを経由してサーバ１０４に通信可能に接続される画像選択システムまたはサーバとして実施される。

図２は、本発明の一実施形態に係る画像とコンテンツアイテムとをマッチングするためのシステムを示すブロック図である。システム２００は、図１Ａ〜図１Ｂのシステム１００の一部として実施されてもよい。図２を参照し、クライアント装置（例えば、図１のクライアント装置１０１）から検索クエリ２０１を受信した場合、検索エンジン１２０はコンテンツデータベースまたはコンテンツサーバ１３３において第１の検索を実行して、検索クエリ２０１に関連付けられた１つまたは複数のキーワードまたは検索語に基づいてコンテンツアイテムの第１のリスト（例えば、第１のコンテンツアイテム）を識別し、検索する。また、１組のクエリ／画像マッチングルール１１５で検索クエリ２０１に関連付けられたキーワードに基づいて画像メモリまたは画像サーバ１２５から画像のリストを識別するように、検索エンジン１２０は画像選択モジュール１１０と通信する。検索エンジン１２０および/または画像選択モジュール１１０は、クエリを解析して、検索クエリ２０１に含まれるキーワードおよび/または検索クエリ２０１のキーワードと類似するキーワード（例えば、意味的に類似した語、同義語）のリストを導出する。拡張キーワードのリストに対して、コンテンツデータベース／サーバ１３３および/または画像メモリ／サーバ１２５において実行された検索を実行することができる。

一実施形態では、画像選択モジュール１１０および/またはクエリ／画像マッチングルール１１５が検索エンジン１２０と集積してもよい。例えば、クエリ／画像マッピングシステム２２０によってクエリ／画像マッチングルール１１５を予め構成したりコンパイルしたりしてもよい。クエリ／画像マッピングシステム２２０はＡＰＩまたはネットワークを経由してシステム２００に通信可能に接続される個別のサーバにホストされてもよい。クエリ／画像マッピングシステム２２０は、ユーザまたは管理者が、処理ロジックにより所定のアルゴリズムを使用して拡張され、ランキングされる１組のクエリ／画像マッチングルールを構成することを可能にするユーザインターフェースを含んでもよい。以下、クエリ／画像マッピングシステム２２０のさらなる詳細を、さらに説明する。

同様に、画像収集システム２３０は、画像メモリ／サーバ１２５に記憶された画像を収集してもよく、前記画像収集システム２３０は、ネットワークを介してシステム２００に通信可能に接続される個別のサーバであってもよい。システム２００と同様なまたは異なるエンティティまたは組織によりクエリ／画像マッピングシステム２２０および/または画像収集システム２３０を実行することができる。当該例では、画像をシステム２００に対してローカル（例えば、サーバ１０４に対してローカルである）である画像メモリにキャッシュして記憶することができる。あるいは、画像収集システム２３０に関連付けられた所定のサーバにより画像を保存し、画像選択モジュール１１０は、アプリケーション・プログラミング・インターフェース（ＡＰＩ）を経由して前記指定されたサーバと通信して画像のリストを識別して検索する。

画像メモリ／サーバ１２５から検索された画像のリストに基づき、画像選択モジュール１１０は、ランキングアルゴリズムに従って画像をランキングする。次に、いくつかの画像とコンテンツデータベース／サーバ１３３から識別して検索したいくつかのコンテンツアイテムとをマッチングする。続いて、マッチングしたコンテンツアイテムと画像を集積済みのコンテンツアイテムに集積する。一実施形態では、画像をコンテンツアイテムの背景画像または補足画像として選択することができる。例えば、コンテンツアイテム２１１は記述またはテキストであってもよく、画像２１２はコンテンツアイテム２１１の背景画像として選択される。適切な方式を用いて、本明細書全体に説明されるマッチング技術に基づき、画像２１２を選択してコンテンツアイテム２１１を補足または記述し、またはコンテンツアイテム２１１を用いて画像２１２を補足または記述する。例えば、コンテンツアイテム２１１のコンテンツが画像２１２に示されるコンテンツに関連付けられ、逆も同様である。集積済みの画像２１２とコンテンツアイテム２１１を検索結果２１５の一部としてクライアント装置に返送することができる。

なお、コンテンツデータベース／サーバ１３３は、主要コンテンツデータベース１３０と補助コンテンツデータベース１３１を含んでもよい。主要コンテンツデータベース１３０は個別のコンテンツサーバ（主要コンテンツサーバと呼ばれる）に実施または維持されてもよい。同様に、補助コンテンツデータベース１３１は個別のコンテンツサーバ（補助コンテンツサーバと呼ばれる）に実施または維持されてもよい。以下にさらに詳細に説明される様々なマッチング式を使用して２つのコンテンツデータベース１３０〜１３１から取得したコンテンツアイテムと画像メモリ／サーバ１２５から取得した画像とをマッチングすることができる。あるいは、主要コンテンツデータベース１３０および補助コンテンツデータベース１３１の一方のみから取得したコンテンツアイテムと、画像メモリ／サーバ１２５から取得した画像とをマッチングしてもよい。例えば、補助コンテンツデータベース１３１から取得したコンテンツアイテム（例えば、スポンサー付きコンテンツ）と画像メモリ／サーバ１２５から取得した画像とをマッチングしてもよく、主要コンテンツデータベース１３０から取得したコンテンツアイテム（例えば、一般的なコンテンツ）は、変更せずに検索結果２１５の一部としてクライアント装置に返送される。

一実施形態によれば、クライアント装置から受信した検索クエリ２０１に応答し、検索クエリ２０１に基づいて１つまたは複数のキーワードを確定し、前記キーワードは、検索クエリ２０１におけるキーワードまたは検索クエリ２０１への解析に基づいて拡張したキーワードを含んでもよい。前記キーワードに基づいて、クエリ／画像マッチングルール１１５においてサーチ操作または検索を実行し、前記クエリ／画像マッチングルール１１５は、様々なデータ構造（例えば、データベースまたはテーブル）で実施されてもよい。例示の目的のため、クエリ／画像マッチングルール１１５をクエリ／画像マッチングテーブルと呼ばれる。

クエリ／画像マッチングテーブル１１５は、多数のマッチングエントリーを含む。各マッチングエントリーは、１つまたは複数のキーワードを、画像メモリ／サーバ１２５に記憶された１つまたは複数の画像を識別するための１つまたは複数の画像ＩＤにマッピングする。検索クエリ２０１に基づいて取得したキーワードに基づき、クエリ／画像マッチングテーブル１１５から１つまたは複数の画像ＩＤのリストを取得することができる。前記画像ＩＤに基づいて、対応する画像が画像メモリ／サーバ１２５から候補画像として取得される。次に、以下にさらに詳細に説明される１つまたは複数の所定のランキングおよび/またはマッチングアルゴリズムを使用し、候補画像をランキングし、マッチングする。続いて、最上位にランキングされる画像を選択してコンテンツアイテムに関連付けて検索結果２１５の一部として集積する。なお、図２に示されるコンポーネントまたはモジュールの一部または全部はソフトウェア、ハードウェアまたはそれらの組合せにより実施されてもよい。

図３Ａ〜図３Ｂは、本発明の特定の実施形態に係るクエリ−画像マッチングテーブルの例である。図３Ａを参照し、クエリ／画像マッチングテーブル３００は上記した図１Ａ〜図１Ｂおよび図２のクエリ／画像マッチングルール１１５を表してもよい。一実施形態では、クエリ／画像マッチングテーブル３００は、多数のマッチングエントリーを含む。各マッチングエントリーは、１つまたは複数のキーワード３０１を、画像メモリまたは画像サーバ（例えば、画像メモリ／サーバ１２５）における対応する画像を識別するための１つまたは複数の画像ＩＤ３０２にマッピングする。キーワードに基づき、マッチングテーブル３００をインデキシングする。当該例では、第１のエントリーは、語「花」を画像１〜５にマッピングする。第２のエントリーは、語「北京の花」を画像１のみにマッピングする。第３のエントリーは、語「上海の花」を画像２にマッピングする。第４のエントリーは、語「花の配達」を画像１〜２および４にマッピングする。従って、検索クエリが「北京の花」を含む場合に、画像１〜５を識別する。そのうち、画像１のランキング順位がより高くなってもよい。

図３Ｂを参照し、マッチングテーブルの代替実施形態の例を示し、このマッチングテーブルは、クエリ／画像マッチングルール１１５の一部として機能する画像−キーワード（画像／キーワード）マッチングテーブルであってもよい。当該例では、画像／キーワードマッチングテーブル３５０は、多数のマッチングエントリーを含む。各マッチングエントリーは、画像ＩＤ３５１を１つまたは複数のキーワード３５２にマッピングする。画像ＩＤに基づきマッチングテーブル３５０をインデキシングする。２つのテーブル３００および３５０を交換可能に使用してもよい。例えば、テーブル３００が１つまたは複数のキーワードに関連するすべての画像を識別することに用いられてもよい。テーブル３００を経由して識別された各画像に対して、キーワード３５２と検索クエリにおけるキーワードとの間のマッチング度を確定して、画像ＩＤ３５１により識別された画像をランキングする。例えば、検索クエリマッチングキーワード３５２におけるキーワードの数に基づいてランキングスコアを計算する。検索クエリにおけるキーワードがフィールド３５２におけるキーワードに正確にマッチングした場合、フィールド３５１において識別された対応する画像は最も高いマッチング度またはマッチングスコアを有する。検索クエリとフィールド３５２との間のマッチングキーワードが少ないほど、その結果、マッチング度またはマッチングスコアが低くなる。意味的にマッチングするキーワード（例えば、実際にマッチングしないが、同義語または同じまたは類似の意味を有する語）は、最も低いマッチング度またはマッチングスコアを有する。

図４は、本発明の一実施形態に係る画像とコンテンツアイテムとをマッチングするための過程を示すフローチャートである。処理ロジックにより過程４００を実行することができ、前記処理ロジックは、ソフトウェア、ハードウェアまたはそれらの組合せを含んでもよい。例えば、図１Ａ〜図１Ｂのサーバ１０４または図２のシステム２００により過程４００を実行することができる。図４を参照し、ブロック４０１において、処理ロジックはクライアント装置からコンテンツを検索するための検索クエリを受信する。検索クエリは、１つまたは複数のキーワードまたは検索語を含む。検索クエリに応答し、ブロック４０２において、処理ロジックはコンテンツデータベースにおいてまたはコンテンツサーバを経由して検索して、キーワードに基づいて１つまたは複数のコンテンツアイテムのリストを識別する。ブロック４０３において、処理ロジックは画像メモリにおいてまたは画像サーバを経由して検索して、キーワードに基づいて１つまたは複数の画像のリストを識別する。ブロック４０４において、処理ロジックは、選択的にランキング式に基づいて前記コンテンツアイテムの少なくとも一部と前記画像の少なくとも一部とをマッチングする。ブロック４０５において、処理ロジックは、検索結果を生成するように、前記コンテンツアイテムの少なくとも一部とマッチング画像を集積する（例えば、背景画像とする）。ブロック４０６において、検索結果をクライアント装置に送信する。

図５は、本発明の一実施形態に係る画像とコンテンツアイテムとをマッチングするためのシステムを示す例のブロック図である。システム５００は図２のシステム２００の一部として実施されてもよい。図５を参照し、システム５００は、クエリ／画像マッピングシステム２２０、画像メモリ５０１、およびクエリ／画像マッチングルール５０２（キーワード／画像マッチングルールとも呼ばれる）を含むが、それらに限定されない。一実施形態では、クエリ／画像マッピングシステム２００を用いて１組のクエリ／画像マッチングルール５０２を構成および生成して特定のキーワードを画像メモリ５０１に記憶された画像にマッピングする。

画像メモリ５０１は、ネットワークを介してローカルまたは遠隔の方式で指定されたサーバに維持されてもよい。画像メモリ５０１は、図１Ａ〜図１Ｂの画像メモリ／サーバ１２５を示すことができる。クエリ／画像マッチングルールにおいてマッピングするためのキーワードは、検索クエリにおいて使用される可能性がより高いキーワードであってもよい。画像メモリ５０１は、画像５１１およびその対応するメタデータ５１２を記憶する。クエリ／画像マッチングルール５０２は、一次マッピングルール５２１、選択可能な拡張マッピングルール５２２、および最終のマッピングルール５２３を含む。上記したようなマッピングまたはマッチングテーブルの形でこれらのルール５２１〜５２３を実施することができる。最終のマッピングルール５２３は、図１Ａ〜図１Ｂのクエリ／画像マッチングルール１１５の一部として使用されてもよい。

一実施形態では、クエリ／画像マッピングシステム２２０は、マッチングルール構成モジュール５３１、データ収集モジュール５３２、解析モジュール５３３、フィルタリングとマッチングモジュール５３４、および１組のフィルタリング／ランキングルール５３５を含む。モジュール５３１〜５３４は、ソフトウェア、ハードウェアまたはそれらの組合せで実施されてもよい。一実施形態では、構成モジュール５３１を用いて例えばユーザインターフェースを経由するユーザの要求に応答して一次マッピングルール５２１を構成することができる。一次マッピングルール５２１（当該例では一次マッピングテーブル５２１である）は、多数のマッピングエントリーを含む。各マッピングエントリーは、キーワードを、画像メモリ５０１に記憶された画像５１１の１つまたは複数を識別するための１つまたは複数の画像ＩＤにマッピングする。データ収集モジュール５３２は、画像５１１とメタデータ５１２を周期的に収集して更新することができる。データ収集モジュール５３２は、いくつかのウェブクローラを用いて画像およびその周辺の情報またはメタデータ５１２をクローリングし、収集することができる。

一実施形態では、ユーザまたは管理者は、構成インターフェース（例えば、ネットワークインターフェース）を経由して一次マッピングテーブル５２１を構成することができる。一次マッピングテーブル５２１に基づいて、解析モジュール５３３はキーワードと画像との間の一次マッピングを解析して、１つまたは複数の追加または拡張マッピングエントリーを作成する。拡張マッピングルールまたは拡張マッピングテーブル５２２を生成して拡張マッピングエントリーを含ませる。拡張マッチングテーブル５２２に基づき、フィルタリング／マッチングモジュール５３４は、１組のフィルタリングおよびランキングルール５３５に基づいて追加または拡張エントリーに対してフィルタリング操作を実行して、マッピングを検証して対応するキーワードに関連しないいかなる画像を取り除く。次に、図１Ａ〜図１Ｂのクエリ／画像マッチングルール１１５の一部として使用することが可能な最終のマッピングルールまたは最終のマッピングテーブル５２３を生成する。

図６は、本発明の一実施形態に係るクエリ−画像マッピングルールを生成するための処理フローである。図６を参照し、マッチングルール構成モジュール５３１を経由して一次マッピングルール５２１を生成する。例えば、ユーザまたは管理者は、システム６００にログオンしてマッチングルール構成モジュール５３１に関連付けられたグラフィカルユーザインターフェース（ＧＵＩ）を経由して構成することができる。ユーザは、対応する画像ＩＤを使用する１つまたは複数の画像にマッピングされる特定のキーワードを指定することができる。例えば、図７Ａにおいて、マッピングテーブル７００の形式で一次マッピングルール５２１の例を示す。

図７Ａを参照し、マッピングテーブル７００は、多数のマッピングエントリー（マッチングエントリーとも呼ばれる）を含む。各エントリーは、キーワード（例えば、単一キーワード）７０１を、画像メモリ（例えば図５の画像メモリ５０１）に記憶された１つまたは複数の画像を識別するための１つまたは複数の画像ＩＤ７０２にマッピングする。当該例では、エントリーは語「花」を画像１−５にマッピングする。従って、検索クエリが語「花」を含む場合、画像１−５を単語「花」に関連すると思われる候補画像として識別することができる。

図６を戻って参照し、一次マッピングルール５２１、解析モジュール５３３に基づき、１組の解析ルール６０１（例えば意味類似性ルール６０１）を用いて一次マッピングルール５２１のエントリーに含まれるキーワードを解析する。このような解析は潜在的意味解析を含んでもよい。一次マッピングルール５２１のキーワードの少なくとも一部に対して、前記解析に基づいて前記キーワードに関連する１つまたは複数の追加キーワード（本明細書において拡張キーワード６０２と呼ばれる）を識別する。拡張キーワード６０２は、一次マッピングルール５２１における元のキーワードと同じまたは類似の意味を有するキーワード（例えば、意味的に類似する語または同義語）であってもよい。

自然言語処理、特に分布意味論において、潜在的意味解析（ｌａｔｅｎｔ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ、ＬＳＡ）は、１組のドキュメントおよびそれに含まれる語に関連する１組の概念を生成することにより、当該ドキュメントと当該単語との間の関係を解析する技術である。ＬＳＡは、意味の近い語が類似するテキスト断片に出現すると仮定する。各段落の文字数を含む行列（行はユニークワード、列は各段落を表す）は、長いテキストから構成され、且つ特異値分解（ＳＶＤ）と呼ばれる数学的手法により列間の類似性構造を維持しながら行数を減少させる。続いて、任意の２行により形成された２つのベクトル間の角度の余弦関数（または２つの正規化ベクトル間のドット積）を使用して単語を比較する。１に近い値は、類似度が非常に高い単語を表し、０に近い値は、類似度が非常に低い単語を表す。

各拡張キーワード６０２に対して、追加エントリーを作成して前記拡張キーワードを対応する元のキーワードの同じ画像ＩＤにマッピングする。従って、一次マッピングルール５２１から拡張マッピングルール５２２を作成することができる。図７Ｂは、図７Ａの一次マッピングテーブル７００により拡張された拡張マッピングテーブル７５０の例を示す。図７Ａ〜図７Ｂを参照し、エントリー７２１は、一次マッピングテーブル７００の元のエントリーを表す。エントリー７２１のキーワード「花」を解析した後に、追加キーワード「北京の花」、「上海の花」、および「花の配達」を元の語「花」に意味的に関連するように識別する。従って、一次マッピングテーブル７００から追加または拡張エントリー７２２〜７２４を作成して拡張マッピングテーブル７５０を形成することができる。拡張エントリー７２２〜７２４のそれぞれは、元のエントリー７２１と同じ画像ＩＤにマッピングされる。当該例では、すべてのエントリー７２１〜７２４は画像１〜５にマッピングされる。拡張マッピングテーブル７５０は図６の拡張マッピングルール５２２を表す。

図６を戻って参照し、拡張マッピングルール５２２に基づき、フィルタリング／マッチングモジュール５３４は、１組のフィルタリングルールまたは式５３５を使用してマッチング画像に関連付けられたメタデータ５１２（例えば、画像１〜５のメタデータ）に従って拡張エントリー（例えば、図７Ｂのエントリー７２２〜７２４）に対してフィルタリング操作を実行する。フィルタリング操作は、拡張エントリーを検証して拡張エントリーのマッチング品質を確保することを目的とする。一実施形態では、フィルタリング操作は、元のキーワードにマッピングされるけれど実はまたは実際に拡張キーワードに関連しない任意の画像を取り除く。従って、最終のマッピングルール５２３、例えば、図３Ａに示されるテーブル３００を作成することができる。図３Ａを参照し、フィルタリング操作のため、エントリー「北京の花」、「上海の花」、および「花の配達」に関連付けられた画像の一部を取り除く。フィルタリング操作の後に特定のエントリーに関連付けられた画像がなくなる場合、当該エントリーを最終のマッピングテーブルから取り除くことができる。

一実施形態では、メタデータ５１２は、画像を記述する様々な情報またはデータを含み、指定されたデータ収集モジュールまたはシステム（例えば、図５のデータ収集モジュール５３２）でメタデータを取得または収集することができる。例えば、対応する画像を取得する際に画像のメタデータを収集する。画像のメタデータは、画像の収集ソースと収集時間を含んでもよい。画像の収集ソースは、画像が添付されたウェブページまたはドキュメントであってもよい。例えばソースページのようなユニバーサルリソースロケータ（ＵＲＬ）のアドレスを収集することができる。また、画像が表示する可能性のあるコンテンツを確定するように、ソースページのコンテンツを解析することができる。画像のコンテンツ（例えば、画像は人物、オブジェクト、風景、テキストまたはそれらの組合せに関するかどうか）を確定するように、画像に対して画像認識を実行してもよい。また、画像の属性、例えば縦横比、画素数、明るさ、コントラスト、画像の撮影時間およびスタイル（例えば、風景または肖像）を収集してもよい。また、画像に関連付けられた歴史インタラクティブに基づいて過去のユーザと画像および/またはキーワードとの以前のインタラクティブ（例えば、クリック率）を確定してもよい。これらの情報は、画像のメタデータの一部としてコンパイルされてもよい。

メタデータに基づき、フィルタリング操作は、キーワードと特定の画像のメタデータとの間の意味論的意味をマッチングすることによって特定のキーワードが画像を十分に記述しているかどうかを確定する。例えば、キーワードは画像が収集されたソースページに表示された場合、前記キーワードは前記画像に関連する。同様に、キーワードは画像認識に応答して画像の少なくとも一部のコンテンツを記述した場合、前記キーワードは関連するものであってもよい。メタデータへの解析に基づいてキーワードが特定の画像を十分に記述していないまたは画像が特定のキーワードを十分に記述していないことを確定した場合、前記特定の画像を取り除くことができる。ユーザと特定の画像との以前のインタラクティブが所定の閾値（例えば、少ないユーザインタラクティブ、少ないユーザ関心または人気のない）よりも低いと確定された場合、前記特定の画像を取り除くことができる。なお、本出願の全体にわたり、例示の目的のため、用語「マッチングルール」、「マッピングルール」、「マッチングテーブル」、および「マッピングテーブル」は交換可能な用語である。しかしながら、様々なデータ構造またはデータフォーマットで実施することができる。

図８は、本発明の一実施形態に係るクエリ−画像マッピングルールを生成するための過程を示すフローチャートである。処理ロジックにより過程８００を実行することができ、前記処理ロジックは、ソフトウェア、ハードウェアまたはそれらの組合せを含んでもよい。例えば、図５のシステム５００により過程８００を実行することができる。図８を参照し、ブロック８０１において、処理ロジックは、各キーワードを１つまたは複数の画像にマッピングする第１のクエリ／画像マッピングテーブル（例えば、一次マッピングテーブル）を作成する。ブロック８０２において、１組のルールに基づいて第１のクエリ画像マッピングテーブルの各キーワードに対して第１の解析を実行して、元のキーワードに関連するまたは類似する１つまたは複数の追加キーワードを識別する。ブロック８０３において、第２のクエリ／画像マッピングテーブル（例えば、拡張マッピングテーブル）を作成して前記追加キーワードの追加エントリーを含ませる。前記追加エントリーは、追加キーワードを対応する元のキーワードと同じ画像にマッピングする。ブロック８０４において、関連付けられた画像のメタデータに従って第２のクエリ／画像マッピングテーブルに対して第２の解析（例えば、フィルタリング／マッチング操作）を実行する。ブロック８０５において、第２の解析に基づいて、エントリーから少なくとも１つの画像を取り除いたり、第２のマッピングテーブルから関連しないと確定された少なくとも１つのエントリーを取り除いたりする。ブロック８０６において、第３のクエリ／画像マッピングテーブルを生成して最終のクエリ／画像マッピングテーブルとする。

図９は、本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。システム９００を図２のシステム２００の一部として実施することができる。図９を参照し、システム９００は図２のシステム２００と合併してもよい。あるいは、例えば、システム９００を、ネットワークまたはコネクタを介してＡＰＩまたは通信プロトコルを経由して図２のシステム２００に通信可能に接続される個別のシステムまたは個別のサーバとして実施することができる。一実施形態では、システム９００は、検索コンテンツの検索クエリに応答し、実行時間において、検索クエリに応答して発見されたコンテンツアイテムとマッチングしようとする画像を識別し、ランキングし、選択する。

一実施形態では、画像選択モジュール１１０は、クエリ解析モジュール９０１、画像マッチングモジュール９０２、画像ランキングモジュール９０３、および画像ランキングルールまたは式９０４を含み、これらのモジュールの一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せとして実施されてもよい。一実施形態では、クライアント装置から受信した検索コンテンツの検索クエリに応答し、クエリ解析モジュール９０１は、検索クエリを解析して１つまたは複数の第１のキーワードを確定する。画像マッチングモジュール９０２は、画像−キーワード（画像／キーワード）マッチングテーブルまたはデータ構造１１５において第１のキーワードに基づいて検索操作またはサーチ操作を実行する。クエリ／画像マッピングテーブル１１５は複数のエントリーを含み、各エントリーは、画像を識別するための画像ＩＤを１つまたは複数の第２のキーワードにマッピングするまたは１つまたは複数の第２のキーワードを画像を識別するための画像ＩＤにマッピングする（例えば、図３Ａ〜図３Ｂに示されるマッチングテーブル）。

画像／キーワードマッピングテーブル１１５において識別された各画像に対して、画像ランキングモジュール９０３はランキング過程を実行して、第１のキーワードと第２のキーワードとの間のマッチング度を確定する。次に、画像メモリ／サーバ１２５から画像／キーワードマッピングテーブル１１５において識別された画像を検索する。例えば画像ランキングルールまたは式９０４を用いてマッチング度に基づいて画像をランキングしたり分類したりすることができる。画像ランキングルールまたは式９０４は、事前に構成されてもよく（例えば、ユーザにより構成インターフェースを経由して構成され、またはルールエンジン（図示せず）により自動的に構成される）且つ不揮発性記憶装置（例えば、ハードディスク）に保存されてもよい。一実施形態では、各マッチング度に事前に重み付け係数を割り当てることができる。従って、第１のキーワードと第２のキーワードとのマッチング度は所定のカテゴリー内にあり、対応する１つの重み付け係数を適用する。分類またはランキングの目的のため、最後に、例えば画像ランキングモジュール９０３またはマッチングスコア計算機（図示せず）によりマッチング度を示すマッチングスコアを計算することができる。分類またはランキングされた、所定の閾値よりも高いマッチング度を有する画像を候補画像として使用することができる。前記候補画像の少なくとも一部を選択してコンテンツデータベースまたはコンテンツサーバから検索されたコンテンツアイテムを割り当てるおよび/または当該コンテンツアイテムと集積してもよい。

図１０は、本発明の一実施形態に係る検索クエリに応答して画像とコンテンツアイテムとをマッチングする過程を示す処理フローチャートである。図９のシステム９００により過程フロー１０００を実行することができる。図１０を参照し、検索クエリ１００１に応答し、クエリ解析モジュール９０１は、検索クエリ１００１に含まれるキーワードを解析して、１つまたは複数のキーワード１００２のセットを生成する。キーワード１００２は、検索クエリ１００１に含まれる正確なキーワード、および拡張キーワード（例えば、意味的に関連するまたは類似する語、同義語）を含んでもよい。クエリ解析モジュール９０１は、１つまたは複数の拡張キーワードのセットを導出するように、検索クエリ１００１に含まれるキーワードに対して潜在的意味解析を実行することができる。前記拡張キーワードは、一定量のユーザが特定の意味を有するコンテンツを説明したり検索したりするために用いられる可能性が高い単語、例えば一定期間に基づく以前のユーザインタラクティブ（例えば、ネットワークを介してコンパイルされたユーザインタラクティブ履歴ログ）を含んでもよい。

キーワード１００２に基づいて、画像マッチングモジュール９０２は、クエリ／画像マッピングテーブル１１５（例えば、図３Ａ〜図３Ｂに示されるマッピングテーブル）において検索操作またはサーチ操作を実行して、キーワード１００２に関連すると思われる候補画像１００３を識別する。画像マッチングモジュール９０２は、クエリ／画像マッピングテーブル１１５においてキーワード１００２に基づいてサーチ操作を実行して、マッチングキーワード１００２における少なくとも１つのエントリーから画像ＩＤを検索する。候補画像１００３に基づいて、画像ランキングモジュール９０３は、検索クエリ１００１の１つまたは複数のキーワードとクエリ／画像マッピングテーブル１１５のマッチングエントリーにおけるキーワードとの間のマッチング度を確定する。一実施形態では、ランキングモジュール９０３は、どれくらいの検索クエリ１００１に関連付けられたキーワード１００２が、クエリ／画像マッピングテーブル１１５のマッチングエントリーに含まれるかを確定する。

検索クエリのすべてのキーワードを有するエントリーは最も高いマッチング度を表示する。検索クエリのキーワードとマッチングするキーワードが多いエントリー（例えば、一部だけのキーワードを含むエントリー）は高いマッチング度を有する。一方、マッチングエントリーは検索クエリのいずれかのキーワードを含まないけれど関連するまたは類似する語を含んだ場合、その対応するマッチング度が低くなる。また、キーワードと画像との間の各対のマッチングに対して、ランキングルールまたは式９０４に基づいてマッチング度を示すマッチングスコアを計算することができる。高いマッチング度に高いマッチングスコアを割り当てることができる。異なるマッチング度は、ランキング式９０４において対応するマッチングスコアを計算するための異なる重み付け係数に関連付けられることができる。

図１１は、本発明の一実施形態に係る検索クエリに応答して画像をランキングする過程の例を示す図である。図９および図１１を参照し、検索クエリ１１０１を受信した場合、クエリ解析モジュール９０１は解析を実行する。当該例では、検索クエリ１１０１は、「一日」、「花」、および「配達」という３つの語を含む。これらのキーワードに基づいて、画像マッチングモジュール９０２は、クエリ／画像マッピングテーブル１１０２においてサーチ操作を実行し、クエリ／画像マッピングテーブル１１０２は、クエリ／画像マッピングテーブル１１５において識別された候補画像を表してもよい。

当該例では、マッピングテーブル１１０２は、画像１〜４を様々な語またはキーワードにマッピングするマッチングエントリー１１１１〜１１１４を含む。キーワード「一日」、「花」、および「配達」に基づき、スコアリング式１１０３を用いてクエリ／画像マッピングテーブル１１０２におけるマッチング検索クエリ１１０１のキーワードの数に基づいて画像１１１１〜１１１４をランキングする。上記したように、検索クエリ１１０１とマッピングテーブル１１０２のエントリー１１１１〜１１１４との間のマッチングされたキーワードが多いほど、マッチングスコアが高くなる。当該例では、エントリー１１１２と検索クエリ１１０１がキーワードの正確なマッチングを有するため、スコアリング式１１０３に基づいて画像２に最も高いスコアを割り当て、これにより画像２は、選択されてコンテンツアイテムに関連付けられて集積される画像１１０４とする。

一実施形態によれば、検索クエリと画像に対応する特定のエントリーのキーワードとの間のマッチングされるキーワードの数、検索クエリに含まれるキーワードの数、および/または前記特定のエントリーに含まれるキーワードの数に基づき、マッチングスコア計算機またはランキングモジュールによりスコアリング式１１０３に基づいて計算されたマッチングスコアを確定する。特定の一実施形態では、特定の画像のマッチングスコア＝（マッチングキーワードの数／検索クエリにおけるキーワードの数）*（マッチングキーワードの数／画像に対応するマッチングエントリーのキーワードの数）。

図１２は、本発明の一実施形態に係るキーワードに基づいて画像とコンテンツアイテムとをマッチングする過程を示すフローチャートである。処理ロジックにより過程１２００を実行することができ、前記処理ロジックは、ソフトウェア、ハードウェアまたはそれらの組合せを含んでもよい。例えば、図９のシステム９００により過程１２００を実行することができる。図１２を参照し、ブロック１２０１において、処理ロジックは、画像／キーワードマッピングテーブルを維持して画像を１つまたは複数のキーワードにマッピングする。画像／キーワードマッピングテーブルは、多数のマッピングエントリーを含み、各エントリーは、画像または画像を識別するための画像ＩＤを１つまたは複数のキーワードにマッピングする。ブロック１２０２において、検索クエリに応答し、処理ロジックは、検索クエリを解析して１つまたは複数の検索語またはキーワードを確定する。ブロック１２０３において、処理ロジックは、画像／キーワードマッピングテーブルにおいて検索語に基づいてサーチ操作を実行して、１つまたは複数の画像を識別する。ブロック１２０４において、少なくとも１つの検索語を含む各エントリーに対して、処理ロジックは前記エントリーに対応する画像のマッチング度を確定する。ブロック１２０５において、識別された各画像に対して、処理ロジックは所定のスコアリング式を用いて対応するマッチング度に基づいてマッチングスコアを計算する。ブロック１２０６において、関連付けられたマッチングスコアに基づいて画像をランキングして候補画像のリストを導出する。

画像とキーワードをマッチングするためのマッチング技術は、検索クエリのキーワードおよび/または画像のメタデータへの解析に基づくものである。いくつかの実施形態によれば、画像をランキングする場合、クエリのキーワードおよび画像のメタデータに基づいてマッチングする以外、前記ランキングは、検索クエリに応答して発見されたコンテンツアイテムの周辺の情報および/またはメタデータもしくはコンテンツアイテム自身に基づいて確定されてもよい。この方法の基本原理をは、画像とコンテンツアイテムが類似するソースに由来するまたは類似する歴史背景を有する場合、これらの画像とコンテンツアイテムは関連するまたは正確にマッチングする可能性が高い。

本発明の別の態様によれば、１つまたは複数の検索語を有する検索クエリに応答し、コンテンツデータベースにおいてまたはコンテンツサーバを経由して第１の検索を実施して、前記１つまたは複数の検索語に関連する第１のコンテンツアイテムのリストを識別して検索する。画像メモリまたは画像サーバにおいて第２の検索を実行して、前記検索語に関連する１つまたは複数の画像のリストを識別し、検索する。第２の検索によって識別された各画像に対して、コンテンツアイテムのコンテキストおよび画像に関連付けられたメタデータに基づいて、画像と各第１のコンテンツアイテムとの間のマッチングスコアを計算する。各第１のコンテンツアイテムに対して、画像と対応するコンテンツアイテムとの間のマッチングスコアに基づいて画像をランキングする。次に、ランキングされた画像のリストから画像のいずれかを選択して前記コンテンツアイテムに関連付ける。選択された画像および関連付けられたコンテンツアイテムを合併する（例えば、背景画像とする）。従って、合併された、第１のコンテンツアイテムの少なくとも一部および画像の少なくとも一部を有する第２のコンテンツアイテムのリストを生成し、且つ前記第２のコンテンツアイテムのリストはクライアント装置に返送される。

図１３は、本発明の別の実施形態に係るクエリ−画像マッチングシステムの例を示すブロック図である。システム１３００は、上記マッチングシステムの一部として実施されてもよい。同じ参照符号を用いて上記コンポーネントの機能と同じまたは類似の機能を有するあるコンポーネントを引用する。同じ参照符号を有するコンポーネントに対する上記説明はここで同様に適用される。

図１３を参照し、一実施形態によれば、検索クエリ１３０１を受信した場合、検索エンジン１２０は、コンテンツデータベースにおいてまたはコンテンツサーバを経由して検索を実行してコンテンツアイテム１３０３のリストを識別し、検索し、前記コンテンツアイテム１３０３は検索結果に合併されてもよい。一般的なコンテンツデータベース／サーバ、補助コンテンツデータベース／サーバ（例えば、スポンサー付きコンテンツ、特殊のコンテンツ）またはこの両者からコンテンツアイテム１３０３を検索することができる。また、クエリ解析モジュール９０１は、キーワード１３０２のリストを導出するように、検索クエリ１３０１のキーワードまたは検索語を解析する。上記したように、キーワード１３０２に基づいて、画像マッチングモジュール９０２は、クエリ／画像マッピングテーブルまたはルール１１５において検索したりサーチしたりして候補画像１３０４のリストを識別する。

候補画像１３０４およびコンテンツアイテム１３０３に基づき、ランキングモジュール９０３は、コンテンツアイテム１３０３、コンテンツアイテム１３０３に関連付けられたメタデータ１３１１、候補画像１３０４、および候補画像１３０４に関連付けられたメタデータ１３１２に基づいて、ランキング過程を実行する。所定のランキング式１３１０を用いて、コンテンツアイテム１３０３、コンテンツアイテム１３０３に関連付けられたメタデータ１３１１、候補画像１３０４、および候補画像１３０４に関連付けられたメタデータ１３１２の間の関係に基づいて、ランキング過程を実行してもよい。前記ランキング過程のため、コンテンツアイテムと画像とのマッチング対１３０５を生成する。マッチングされたコンテンツアイテムおよび画像を集積済みのコンテンツアイテムに集積してもよい。例えば、コンテンツアイテム（例えば、テキスト）を、背景画像として機能するマッチングされた画像に重ね合わせてもよい。あるいは、マッチングされた画像をコンテンツアイテムの隣に置いてコンテンツアイテムを補足する。集積済みのコンテンツアイテムを有する検索結果を、検索クエリ１３０１を開始するクライアント装置に送信する。

一実施形態では、コンテンツアイテム１３０３に従って候補画像１３０４をランキングする際に、ランキングモジュール９０３は、候補画像１３０４およびコンテンツアイテム１３０３をめぐってすべての情報またはデータ（コンテンツアイテムのメタデータ１３１１および画像のメタデータ１３１２と総称される）を考慮する。コンテンツアイテム１３０３のそれぞれと候補画像１３０４のそれぞれとの間のマッチングスコアに基づいてスコア行列を計算する。コンテンツアイテムにおける１つおよび候補画像における１つからなる各対のマッチングスコア（ランキングスコアとも呼ばれる）を計算する際に、前記対のコンテンツアイテムおよび候補画像に関連付けられた各所定の属性またはパラメータの個別のマッチングスコアを計算する。対応する属性またはパラメータに関連付けられた個別のスコアリング式を用いて、コンテンツアイテムのメタデータ１３１１および/または画像のメタデータ１３１２から取得した対応するデータに基づいて、前記個別のマッチングスコアを確定することができる。次に、総合的なスコアリング式を用いて、個別のマッチングスコアに基づいて総合的なマッチングスコアを確定する。同じマッチングスコアを有するマッチングが１つを超えた場合、異なる画像を異なるコンテンツアイテムに割り当てるように、タイブレーク式を用いることができる。あるいは、特定の必要に応じて、１つの画像を複数のコンテンツアイテムに割り当てもよい。

メタデータ１３１１〜１３１２から取得した、コンテンツアイテムと候補画像をスコアリングするための属性またはパラメータは様々なデータであってもよく、データ収集モジュール（図示せず）を用いて一定の時間において収集することができる。一実施形態では、部分的にコンテンツアイテムと候補画像との間のマッチング品質に基づいて前記コンテンツアイテムと前記候補画像との間のマッチングスコアを確定してもよい。用語「マッチング品質」はコンテンツアイテムがマッチングされた画像から認識されたコンテンツを記述するかどうかを意味してもよい。例えば、タイトルおよび/または記述が画像により表示されたコンテンツとマッチングするかどうかに基づいてマッチング品質を確定してもよい。画像認識モジュールまたはシステム（図示せず）によって実行された画像認識過程によって画像により示されたコンテンツを確定してもよい。コンテンツアイテムと画像が同じソースまたは類似のソース（例えば、同じアドレス（例えばＵＲＬ）、同じドメイン、または同じまたは類似のプロバイダにより提供される）から取得されるかどうかに基づいてマッチング品質を確定してもよい。

一実施形態では、部分的にコンテンツアイテムと画像との間の、ユーザの以前のクリック率と呼ばれるインタラクティブ（例えば、以前のユーザアクセスモードまたは行動）に基づいてコンテンツアイテムと候補画像との間のマッチングスコアを確定してもよい。データ収集モジュールまたはデータ収集システム（図示せず）により一定の時間において収集されたユーザインタラクティブの履歴ログから以前のユーザインタラクティブを取得することができる。履歴ログは、ユーザと、ユーザがアクセスまたはブラウズするコンテンツおよび/または画像とのインタラクティブを記録し、ユーザ情報（例えば、ＩＰアドレス、ドメイン、ユーザ名）、コンテンツアイテムおよび/または画像にアクセスしたユーザの数、アクセス時間、ユーザがコンテンツアイテムおよび/または画像を表示するコンテンツページに滞留する時間、ユーザがコンテンツページにアクセスする頻度を識別することを含む。クリック率は、コンテンツアイテム、画像または共同で表示するコンテンツアイテム及び画像の両方に対するユーザのクリックを記録してもよい。

一実施形態では、部分的に画像の画質に基づいてコンテンツアイテムと候補画像との間のマッチングスコアを確定してもよい。画質は、画像の大きさ（例えば、高さと幅）、解像度（例えば、画素数）、縦横比、レイアウト（例えば、風景、肖像）、画像の撮影時間（例えば、画像が最新であるかどうか）を含むが、それらに限定されない。マッチングスコアは、画像の革新またはスタイル、例えば明るさ、コントラスト、カメラ設定または画像に関連付けられた任意のそのほかのメタデータに基づいて確定されてもよい。

図１４は、本発明の一実施形態に係るマッチングスコアを確定するためのスコアリング行列の例を示すブロック図である。図１４を参照し、ランキングモジュール（例えば図１３のランキングモジュール９０３）によってスコアリング行列１４００をコンパイルし、生成することができる。図１４を参照し、検索エンジンが検索クエリに関連付けられた１つまたは複数のキーワードに基づいてコンテンツデータベースまたはコンテンツサーバからコンテンツアイテム１４０１（例えば、スポンサー付きコンテンツ）を識別し、検索すると仮定する。また、上記したように、検索クエリに関連付けられた特定のキーワードに関連する候補画像１４２１〜１４２３のリストが識別された。

一実施形態では、コンテンツアイテム１４０１のそれぞれに対して、１組の所定の属性またはパラメータ１４０２〜１４０６の個別のマッチングスコアを計算する。個別のマッチングスコア計算機により特定または対応する個別のマッチングスコア式を用いて個別のマッチングスコア１４０２〜１４０６を計算することができる。上記したように、属性またはパラメータ１４０２〜１４０６のそれぞれは、個別のマッチングスコアの計算中の特定の重み付け係数または係数に関連付けてもよい。図示しないが、画像１４２２〜１４２３のそれぞれの個別のマッチングスコアを計算することができる。コンテンツアイテム１４０１のそれぞれに対して、画像１４２１〜１４２３のそれぞれの総合的なスコア１４１０を計算する。次に、特定のコンテンツアイテムに対して計算された画像１４２１〜１４２３の総合的なスコアを用いて画像１４２１〜１４２３における１つを選択して前記特定のコンテンツアイテムに関連付ける。

一実施形態では、特定のコンテンツアイテムに対して最も高い総合的なマッチングスコアを有する画像を選択して前記コンテンツアイテムに関連付ける。例えば、画像１４２１が画像１４２１〜１４２３において最も高い総合的なマッチングスコアを有すると仮定する。画像１４２１を選択してコンテンツアイテム１に関連付けてもよい。同じ画像が複数のコンテンツアイテム（当該例ではコンテンツアイテム１および２である）に対して同じ最も高いマッチングスコアを有する場合、タイブレーク式で競争を解決することができる。一実施形態では、コンテンツアイテム１４０１のそれぞれに対してすべての画像１４２１〜１４２３のすべての総合的なマッチングスコアの和を計算する。最も高い和を有するコンテンツアイテムは、画像を選択するより高い優先権を有する。そのほかの構成が存在してもよい。

図１５は、本発明の別の実施形態に係る画像とコンテンツアイテムとをマッチングするための過程を示すフローチャートである。処理ロジックにより過程１４５０を実行することができ、前記処理ロジックは、ソフトウェア、ハードウェアまたはそれらの組合せを含んでもよい。例えば、図１３のシステム１３００により過程１４５０を実行することができる。図１５を参照し、ブロック１４５１において、検索クエリに応答し、処理ロジックは、コンテンツデータベースまたはサーバにおいて検索して、コンテンツアイテムのリストを識別し、検索する。ブロック１４５２において、処理ロジックは検索クエリを解析して、検索クエリに関連付けられた１つまたは複数のキーワードを確定する。これらのキーワードは、検索クエリに含まれるキーワードおよび/またはそれらのキーワードに関連する拡張キーワードを含んでもよい。ブロック１４５３において、処理ロジックは、キーワード／画像マッピングテーブルにおいてキーワードに基づいて検索して、候補画像のリストを識別する。

ブロック１４５４において、各候補画像に対して、処理ロジックは、コンテンツアイテムと各候補画像に関連付けられた各所定の属性またはパラメータ（例えば、マッチング品質、画質、クリック率、画像の革新またはスタイル、ユーザインタラクティブの歴史）の個別のマッチングスコアを計算する。ブロック１４５５において、処理ロジックは、所定のランキング式を用いて個別のマッチングスコアに基づいて総合的なマッチングスコアを計算する。ブロック１４５６において、コンテンツアイテムと割り当てられた候補画像との間の総合的なスコアに基づいて、候補画像の少なくとも一部をコンテンツアイテムに割り当てる。

上記技術を使用して画像とスポンサー付きコンテンツとをマッチングすることができる。スポンサー付きコンテンツの一種は広告（Ａｄ）である。例えば、図１Ａ〜図１Ｂに戻って参照し、コンテンツデータベース（ＤＢ）またはサーバ１３３は、ＡｄデータベースまたはＡｄサーバであってもよい。別の実施形態では、主要コンテンツＤＢ１３０は、公共ネットワークで一般的に利用可能な一般的なコンテンツを記憶してもよい。補助コンテンツＤＢ１３１は広告ＤＢであってもよい。特定の広告は、プレインテキストのみであってもよい。画像と広告とをマッチングして集積する（例えば、背景画像とする）ことによって、広告はヒトまたはユーザにとってさらに魅力的になる。サーバ１０４は、コンテンツを検索するネットワークサーバであってもよく、広告サーバであってもよい。

図１６は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば上記クライアント装置またはサーバを示してもよい。

システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。

さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。

一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。

プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。

プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）会社からのＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、アップル会社からのＭａｃ ＯＳ（登録商標）/ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）会社からのＡｎｄｒｏｉｄ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ（登録商標）または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。

システム１５００は、Ｉ/Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩ/Ｏ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。

入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。

Ｉ/Ｏ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。

データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。

記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、画像選択モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。

コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。

なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。

上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。

ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本明細書の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量として示されるデータを取り扱い、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送装置または表示装置内において類似に物理量として示される他のデータに変換する。

各図に示される技術は、１つまたは複数の電子装置に記憶され前記電子装置上で実行されるコードおよびデータにより実施されてもよい。このような電子装置は、コンピュータ可読媒体を使用してコードおよびデータを記憶し、（内部で、および/またはネットワークを介してほかの電子装置を利用して）伝送し、前記コンピュータ可読媒体として、非一時的コンピュータ可読記憶媒体（例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ装置、相変化メモリ）および一時的コンピュータ可読伝送媒体（例えば、電子、光学、音響学、またはほかの形式の信号伝播、例えば搬送波、赤外信号、デジタル信号）が挙げられる。

上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ファームウェア、ソフトウェア（例えば、非一時的コンピュータ可読媒体に示される）、またはそれらの組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。

以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (21)

1. サーバにおいてクライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、前記サーバによってホストされた検索エンジンにより、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、
   前記サーバによってホストされた画像選択モジュールにより、画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、
   前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、
   前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、
   ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
   前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算するステップと、
   前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングするステップと、
   前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択するステップと、をさらに含み、
   ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
   各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記画像の画質またはスタイルに基づいて計算される
   ことを特徴とする検索クエリに応答してコンテンツアイテムのために画像を選択するコンピュータ実施方法。
2. 前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積するステップにおいては、
   各コンテンツアイテムを前記画像における選択された１つの画像に重ね合わせて、前記コンテンツアイテムを前景に位置させて選択された画像を背景画像とするステップを含む
   ことを特徴とする請求項１に記載の方法。
3. 前記第１のリストにおける前記コンテンツアイテムのそれぞれに対して、
   マッチングスコアを反復的に計算し、
   前記マッチングスコアに基づいて前記画像のそれぞれをランキングし、
   前記マッチングスコアに基づいて前記画像の中の１つを選択するステップをさらに含む
   ことを特徴とする請求項１に記載の方法。
4. 前記第１のリストの複数のコンテンツアイテムに対して同じ画像を選択したかどうかを確定するステップと、
   所定のタイブレーク式を前記複数のコンテンツアイテムに関連付けられた画像のマッチングスコアに適用して、前記第１のリストの異なるコンテンツアイテムに対して異なる画像を選択するステップと、をさらに含む
   ことを特徴とする請求項３に記載の方法。
5. 各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記第１のコンテンツアイテムと各画像との間の類似性に基づいて計算され、前記第１のコンテンツアイテムが前記画像により示された画像コンテンツを記述しているかどうかを確定するステップを含む
   ことを特徴とする請求項１に記載の方法。
6. サーバにおいてクライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、前記サーバによってホストされた検索エンジンにより、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、
   前記サーバによってホストされた画像選択モジュールにより、画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、
   前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、
   前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、
   ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
   前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算するステップと、
   前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングするステップと、
   前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択するステップと、をさらに含み、
   ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
   各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記画像の以前のユーザアクセスモードに基づいて計算される
   ことを特徴とする検索クエリに応答してコンテンツアイテムのために画像を選択するコンピュータ実施方法。
7. サーバにおいてクライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、前記サーバによってホストされた検索エンジンにより、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、
   前記サーバによってホストされた画像選択モジュールにより、画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、
   前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、
   前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、
   ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
   前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算するステップと、
   前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングするステップと、
   前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択するステップと、をさらに含み、
   ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
   各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、一緒に表示された、前記画像と前記第１のコンテンツアイテムとの組合せの以前のユーザアクセスモードに基づいて計算される
   ことを特徴とする検索クエリに応答してコンテンツアイテムのために画像を選択するコンピュータ実施方法。
8. 指令が記憶された非一時的な機械可読媒体であって、前記指令はプロセッサにより実行される際に、前記プロセッサに画像とコンテンツアイテムをマッチングする操作を実行させ、
   前記操作は、
   クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、検索エンジンによりコンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、
   画像選択モジュールにより画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、
   前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、
   前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、
   ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
   前記操作は、
   前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算するステップと、
   前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングするステップと、
   前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択するステップと、をさらに含み、
   ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
   各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記画像の画質またはスタイルに基づいて計算される
   ことを特徴とする非一時的な機械可読媒体。
9. 前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積するステップにおいては、
   各コンテンツアイテムを前記画像における選択された１つの画像に重ね合わせて、前記コンテンツアイテムを前景に位置させて選択された画像を背景画像とするステップを含む
   ことを特徴とする請求項８に記載の非一時的な機械可読媒体。
10. 前記操作は、
    前記第１のリストにおける前記コンテンツアイテムのそれぞれに対して、
    マッチングスコアを反復的に計算し、
    前記マッチングスコアに基づいて前記画像のそれぞれをランキングし、
    前記マッチングスコアに基づいて前記画像の中の１つを選択するステップをさらに含む
    ことを特徴とする請求項８に記載の非一時的な機械可読媒体。
11. 前記操作は、
    前記第１のリストの複数のコンテンツアイテムに対して同じ画像を選択したかどうかを確定するステップと、
    所定のタイブレーク式を前記複数のコンテンツアイテムに関連付けられた画像のマッチングスコアに適用して、前記第１のリストの異なるコンテンツアイテムに対して異なる画像を選択するステップと、をさらに含む
    ことを特徴とする請求項１０に記載の非一時的な機械可読媒体。
12. 各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記第１のコンテンツアイテムと各画像との間の類似性に基づいて計算され、前記第１のコンテンツアイテムが前記画像により示された画像コンテンツを記述するかどうかを確定するステップを含む
    ことを特徴とする請求項８に記載の非一時的な機械可読媒体。
13. 指令が記憶された非一時的な機械可読媒体であって、前記指令はプロセッサにより実行される際に、前記プロセッサに画像とコンテンツアイテムをマッチングする操作を実行させ、
    前記操作は、
    クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、検索エンジンによりコンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、
    画像選択モジュールにより画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、
    前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、
    前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、
    ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
    前記操作は、
    前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算するステップと、
    前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングするステップと、
    前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択するステップと、をさらに含み、
    ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
    各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記画像の以前のユーザアクセスモードに基づいて計算される
    ことを特徴とする非一時的な機械可読媒体。
14. 指令が記憶された非一時的な機械可読媒体であって、前記指令はプロセッサにより実行される際に、前記プロセッサに画像とコンテンツアイテムをマッチングする操作を実行させ、
    前記操作は、
    クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、検索エンジンによりコンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別するステップと、
    画像選択モジュールにより画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して、１つまたは複数の画像のリストを識別するステップと、
    前記検索エンジンにより前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成するステップと、
    前記検索エンジンによりコンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させるステップと、を含み、
    ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
    前記操作は、
    前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算するステップと、
    前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングするステップと、
    前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択するステップと、をさらに含み、
    ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
    各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、一緒に表示された、前記画像と前記第１のコンテンツアイテムとの組合せの以前のユーザアクセスモードに基づいて計算される
    ことを特徴とする非一時的な機械可読媒体。
15. プロセッサと、
    クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別する検索エンジンと、
    画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して１つまたは複数の画像のリストを識別する画像選択モジュールと、を備え、
    前記検索エンジンは、
    前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成し、
    コンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させて、
    ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
    前記画像選択モジュールは、
    前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算し、
    前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングし、
    前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択することに用いられるランキングモジュールを備え、
    ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
    各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記画像の画質またはスタイルに基づいて計算される
    ことを特徴とするデータ処理システム。
16. 前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積することは、
    各コンテンツアイテムを前記画像における選択された１つの画像に重ね合わせて、前記コンテンツアイテムを前景に位置させて選択された画像を背景画像とすることを含む
    ことを特徴とする請求項１５に記載のシステム。
17. 前記ランキングモジュールはさらに、
    前記第１のリストにおける前記コンテンツアイテムのそれぞれに対して、
    マッチングスコアを反復的に計算し、
    前記マッチングスコアに基づいて前記画像のそれぞれをランキングし、
    前記マッチングスコアに基づいて前記画像の中の１つを選択する
    ことを特徴とする請求項１５に記載のシステム。
18. 前記ランキングモジュールはさらに、
    前記第１のリストの複数のコンテンツアイテムに対して同じ画像を選択するかどうかを確定し、
    所定のタイブレーク式を前記複数のコンテンツアイテムに関連付けられた画像のマッチングスコアに適用して、前記第１のリストの異なるコンテンツアイテムに対して異なる画像を選択する
    ことを特徴とする請求項１７に記載のシステム。
19. 各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記第１のコンテンツアイテムと各画像との間の類似性に基づいて計算され、前記第１のコンテンツアイテムが前記画像により示された画像コンテンツを記述するかどうかを確定することを含む
    ことを特徴とする請求項１５に記載のシステム。
20. プロセッサと、
    クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別する検索エンジンと、
    画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して１つまたは複数の画像のリストを識別する画像選択モジュールと、を備え、
    前記検索エンジンは、
    前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成し、
    コンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させて、
    ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
    前記画像選択モジュールは、
    前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算し、
    前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングし、
    前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択することに用いられるランキングモジュールを備え、
    ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
    各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、前記画像の以前のユーザアクセスモードに基づいて計算される
    ことを特徴とするデータ処理システム。
21. プロセッサと、
    クライアント装置から受信した、コンテンツを検索するための検索クエリに応答し、コンテンツデータベースにおいてまたはコンテンツサーバを経由して前記検索クエリの１つまたは複数の検索語に基づいて検索して、１つまたは複数のコンテンツアイテムの第１のリストを識別する検索エンジンと、
    画像メモリにおいて前記１つまたは複数の検索語に基づいて検索して１つまたは複数の画像のリストを識別する画像選択モジュールと、を備え、
    前記検索エンジンは、
    前記第１のリストの各コンテンツアイテムを前記画像の中の１つと集積し、これにより１つまたは複数のコンテンツアイテムの第２のリストを生成し、
    コンテンツアイテムの前記第２のリストを前記クライアント装置に送信し、前記第１のリストの各コンテンツアイテムと前記画像の中の１つとともに表示させて、
    ここで、前記１つまたは複数のコンテンツアイテムの第２のリストは、前記１つまたは複数のコンテンツアイテムの第２のリストに集積される前記画像の少なくとも一部を有しており、
    前記画像選択モジュールは、
    前記画像のそれぞれに対して、前記第１のリストの第１のコンテンツアイテムに関連付けられたメタデータと前記画像に関連付けられたメタデータとに基づいて、前記画像と前記第１のコンテンツアイテムとの間のマッチングスコアを計算し、
    前記画像と前記第１のコンテンツアイテムとの間の対応するマッチングスコアに基づいて前記画像のそれぞれをランキングし、
    前記画像における、所定の閾値よりも大きいマッチングスコアを有する１つの画像を選択することに用いられるランキングモジュールを備え、
    ここで、選択された画像は前記第１のコンテンツアイテムと集積し、
    各画像と前記第１のコンテンツアイテムとの間のマッチングスコアは、一緒に表示された、前記画像と前記第１のコンテンツアイテムとの組合せの以前のユーザアクセスモードに基づいて計算される
    ことを特徴とするデータ処理システム。

Images