JP6759844B2 - 画像を施設に対して関連付けるシステム、方法、プログラム及び装置 - Google Patents

Description

本発明は、一般に画像での施設（ビジネスベニュー；Ｂｕｓｉｎｅｓｓ Ｖｅｎｕｅ）の認識に関し、より具体的には、視覚的関連性及びビジネス関連性を考慮した意味論を用いて、画像をその画像が撮影された施設に関連付けるシステム、方法、プログラム及び装置に関する。

ソーシャルプラットフォーム（例えばツイッター（登録商標））及び他のメディア共有アプリケーション（例えばインスタグラム（登録商標））は行動、思想、意見、及び画像を共有する目的で普及している。ソーシャルメディアメッセージ及び画像のジオタギング（例えば、ツイートや特定の画像に物理的位置又は施設名を関連付けること）は、アプリケーションが位置情報に基づいてユーザの経験を個人向けにカスタマイズすることを可能とする。しかしながらプライバシの心配のために、ソーシャルメディアメッセージを投稿するとき、または特定の施設で写真を撮るときにその位置を公表することを選ぶユーザはごく少数の割合であり、また別の人はそのメッセージ／写真を時々オープンにするだけである。ごく一部の画像しか位置へのジオタグ付けが明示的になされていないために、画像が撮影された施設を（例えば画像内の概念を識別することによって）判定することが有用である。

画像に対応する地理的位置を特定するための従来の方法は、地理的位置決めに用いる手法によって、（１）粗区画位置の利用と（２）画像のデータベース画像との比較、の２つのグループに大別される。いくつかのアプリケーションでは、粗区画位置の推定を計るが、画像が撮影された特定の施設を示す情報を提供しない。別のアプリケーションでは、データベース画像だけを頼りとして画像を特定の位置に合致させる。これらの別のアプリケーションは、画像を撮影された位置に対応するデータベース画像が得られない場合には機能しない。また、さらに別のアプリケーションでは低レベルの視覚パターンに頼っていて、画像内の視覚的に顕著な概念を認識しようとはしない。したがってこれらのさらに別のアプリケーションでは、明確な低レベルの視覚パターンを有さない通常の消費者画像を区別できないことが多い。

Ｔｏｍａｓ Ｍｉｋｏｌｏｖ， Ｋａｉ Ｃｈｅｎ， Ｇｒｅｇ Ｃｏｒｒａｄｏ，及びＪｅｆｆｒｅｙ Ｄｅａｎによる"Ｅｆｆｉｃｉｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｗｏｒｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｎ Ｖｅｃｔｏｒ Ｓｐａｃｅ（ベクトル空間における単語表現の効果的評価）"，（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｗｏｒｋｓｈｏｐ ａｔ ＩＣＬＲ，２０１３） Ｂｉｒｄ， Ｋｌｅｉｎ，及びＬｏｐｅｒによる"Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ Ｐｙｔｈｏｎ"（Ｐｙｔｈｏｎを用いた自然言語処理），２００９ Ｋｒｉｚｈｅｖｓｋｙ，Ｓｕｔｓｋｅｖｅｒ，及びＨｉｎｔｏｎによる"Ｉｍａｇｅｎｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ"（深い畳み込みニューラルネットワークを用いるイメージネット分類），２０１２

本発明は、画像に位置情報が対応付けられていなかったとしても、画像をその画像が撮影された施設に関連付けることができるシステム、方法、プログラム及び装置を得ることを目的とする。

本発明の第１の態様は、画像を施設に関連付ける方法であって、ディスプレイと、１つ以上の入力装置と、１つ以上のプロセッサと、メモリを有するコンピュータが、特定の地理領域に関連する第１の画像を、前記１つ以上の入力装置を介して受信し、複数の施設に関するテキスト形式のレビューと保存画像とを含むリポジトリから、前記複数の施設の内の１つ以上の候補施設に関連するテキストレビューの第１の集合と保存画像の第２の集合とを引き出し、前記１つ以上の候補施設の各施設は、前記特定の地理領域の予め定められた距離内にあり、訓練された視覚検出器を用いた前記第１の画像の解析に基づいて、前記第１の画像内に複数のビジネス関連概念を検出し、検出された各ビジネス関連概念は、前記検出されたビジネス関連概念が前記第１の画像内に存在する尤度を反映するスコアに関連付けられ、前記スコアに基づき、また前記複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、前記第１の画像に対応する第１の表現を生成し、前記１つ以上の候補施設のそれぞれに対応する第２の表現を受信し、前記第２の表現はテキストレビューの前記第１の集合と保存画像の前記第２の集合とに基づいており、前記第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従って、（ｉ）前記第１の画像を前記第１の候補施設に関連付け、（ｉｉ）前記第１の画像が前記第１の候補施設に関連付けられていることの指示を与える、方法である。

第２の態様は、第１の態様において、前記コンピュータが、前記第２の表現を受信する場合に、前記訓練された視覚検出器を用いて保存画像の第２の集合の各保存画像の解析に基づいて、各保存画像内に前記複数のビジネス関連概念を検出し、検出された各ビジネス関連概念は、前記検出されたビジネス関連概念が前記各保存画像内に存在する尤度を反映するスコアに関連付けられ、さらに、第１の候補施設の第２の表現のそれぞれが、（ｉ）０以上の関連スコアと、（ｉｉ）前記第１の候補施設に関連する各テキストレビューに対する１つ以上の単語表現とに基づいている。

第３の態様は、第１または第２の態様において、前記複数のビジネス関連概念の各概念は、（ｉ）各概念はビジネス関連であり、（ｉｉ）各概念は視覚的に一貫しており、（ｉｉｉ）各概念は施設認識に関して弁別可能である、という条件を満たしている。

第４の態様は、第１〜第３のいずれかの態様において、前記複数のビジネス関連概念は、前記ビジネス関連概念を識別するために施設に関連するテキストと画像を探索することによって識別される。

第５の態様は、第１〜第４のいずれかの態様において、前記訓練された視覚検出器は前記複数のビジネス関連概念に関連する画像を利用し、かつクエリ画像の視覚概念を１つ以上の前記ビジネス関連概念に合致させるように構成された視覚概念検出器を構築することによって訓練される。

第６の態様は、第５の態様において、前記訓練された視覚検出器は、前記第１の画像を受信する前に訓練される。

第７の態様は、第１〜第６のいずれかの態様において、前記第１の画像を前記第１の候補施設に関連付ける前には、前記リポジトリには前記第１の候補施設に関連する画像が含まれていない。

第８の態様は、第１〜第７のいずれかの態様において、与えられる指示には、前記第１の画像が前記第１の候補において撮影されたことを示すテキスト記述のついた視覚指示が含まれる。

第９の態様は、第１〜第８のいずれかの態様において、前記第１の表現が第１の候補施設のそれぞれの第２の表現に最も類似していることを判定するステップは、前記第２の表現のそれぞれが前記複数のビジネス関連概念の多次元空間における前記第１の表現に最も近いことを判定すること含む。

第１０の態様は、第１〜第９のいずれかの態様において、前記第１の画像を受信する前に、前記複数のビジネス関連概念が前記施設に関連する画像とテキストレビューを解析することにより識別されて、以下の条件、（ｉ）各概念はビジネス関連性がある、（ｉｉ）各概念は視覚的に一貫している、（ｉｉｉ）各概念は施設の認識に関して弁別可能である、を満たす概念が配置される。

第１１の態様は、第１〜第１０のいずれかの態様において、前記第１の画像を前記第１の候補施設に関連付けるステップが、前記第１の画像を前記リポジトリ内に保存するために送信することを含む。

第１２の態様は、第１〜第１１のいずれかの態様において、前記受信した第１の画像は室内環境で撮影された画像に対応する。

第１３の態様は、第１〜第１２のいずれかの態様において、前記受信した第１の画像は室外環境で撮影された画像に対応する。

第１４の態様は、第１〜第１３のいずれかの態様において、前記特定の地理領域は、前記第１の画像が撮影された地点の近似座標に関連づけられる。

第１５の態様は、第１〜第１４のいずれかの態様において、前記特定の地理領域は、前記第１の画像が撮影されたときに前記コンピュータによって検出されたＷｉ−Ｆｉ信号に基づいて判定される。

第１６の態様は、第１〜第１５のいずれかの態様において、前記第１の表現は、前記第１の画像の多モード表現である。

第１７の態様は、第１〜第１６のいずれかの態様において、前記高スコアのビジネス関連概念は、スコア閾値を超える指定スコアに関連付けされる。

第１８の態様は、第１〜第１７のいずれかの態様において、前記複数の施設に関連するテキストレビュー及び保存画像の前記リポジトリは、前記コンピュータから遠隔地にあるサーバシステムに保持される。

第１９の態様は、ディスプレイと１つ以上の入力装置と１つ以上のプロセッサとメモリとを有するコンピュータによって実行されるプログラムであって、前記コンピュータに、特定の地理領域に関連する第１の画像を、前記１つ以上の入力装置を介して受信し、複数の施設に関連するテキスト形式のレビューと保存画像のリポジトリから、前記複数の施設の内の１つ以上の候補施設に関連するテキストレビューの第１の集合と保存画像の第２の集合とを引き出し、前記１つ以上の候補施設の各施設は、前記特定の地理領域の予め定められた距離内にあり、訓練された視覚検出器を用いた前記第１の画像の解析に基づいて、前記第１の画像内に複数のビジネス関連概念を検出し、検出された各ビジネス関連概念は、前記検出されたビジネス関連概念が前記第１の画像内に存在する尤度を反映するスコアに関連付けられ、前記関連スコアに基づき、また前記複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、前記第１の画像に対応する第１の表現を生成し、前記１つ以上の候補施設のそれぞれに対応する第２の表現を受信し、前記第２の表現はテキストレビューの前記第１の集合と保存画像の前記第２の集合とに基づいており、前記第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従って、（ｉ）前記第１の画像を前記第１の候補施設に関連付け、（ｉｉ）前記第１の画像が前記第１の候補施設に関連付けられていることの指示を与える、処理を実行させる命令を含んでいる。

第２０の態様は、ディスプレイと、１つ以上の入力装置と、１つ以上のプロセッサと、メモリと、１つ以上のプログラムと、を備える装置であって、前記１つ以上のプログラムは前記メモリ内に格納されて前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムには、特定の地理領域に関連する第１の画像を、前記１つ以上の入力装置を介して受信し、複数の施設に関連するテキストレビューと保存画像のリポジトリから、前記複数の施設の１つ以上の候補施設に関連するテキストレビューの第１の集合と保存画像の第２の集合とを引き出し、前記１つ以上の候補施設の各施設は、前記特定の地理領域の予め定められた距離内に位置し、訓練された視覚検出器を用いた前記第１の画像の解析に基づいて、前記第１の画像内に複数のビジネス関連概念を検出し、検出された各ビジネス関連概念のそれぞれは、前記検出されたビジネス関連概念が前記第１の画像内に存在する尤度を反映するスコアに関連付けられ、前記関連スコアに基づき、また前記複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、前記第１の画像に対応する第１の表現を生成し、前記１つ以上の候補施設のそれぞれに対応する第２の表現を受信し、前記第２の表現はテキストレビューの前記第１の集合と保存画像の前記第２の集合とに基づいており、前記第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従って、（ｉ）前記第１の画像を前記第１の候補施設に関連付け、（ｉｉ）前記第１の画像が前記第１の候補施設に関連付けられていることの指示を与える、ための命令が含まれている。

本発明によれば、視覚的関連性及びビジネス関連性を考慮した意味論を用いて、画像をその画像が撮影された施設により正確に関連付けることができる。

一態様による、クエリ画像（例えば撮影場所の施設にまだ関連付けされていない画像）に対する施設関連付けシステムを示すブロック図である。 一態様によるサーバを示すブロック図である。 一態様によるクライアント装置を示すブロック図である。 一態様による、ビジネス関連概念を発見し、視覚検出器を訓練し、訓練された視覚検出器と単語表現モデルを利用してクエリ画像を施設に関連付ける方法を示すフローチャートである。 一態様による、ビジネス関連概念を発見し、視覚検出器を訓練し、訓練された視覚検出器と単語表現モデルを利用してクエリ画像を施設に関連付ける方法を示すフローチャートである。 一態様による、ビジネス関連概念を発見し、視覚検出器を訓練し、訓練された視覚検出器と単語表現モデルを利用してクエリ画像を施設に関連付ける方法を示すフローチャートである。 一態様による、画像を施設に関連づけるプロセスに使用される画像の例である。 一態様による、画像を施設に関連づけるプロセスに使用される画像の例である。 一態様による、画像を施設に関連づけるプロセスに使用される画像の例である。 一態様による、訓練された視覚検出器と単語表現モデルを利用してクエリ画像を施設に関連付ける方法を示すフローチャートである。 一態様による、画像を施設に関連付けるプロセスのフローチャートである。 一態様による、本明細書に開示した画像を施設に関連づけるシステムと方法の性能を示す、解析表及びグラフである。 一態様による、本明細書に開示した画像を施設に関連づけるシステムと方法の性能を示す、解析表及びグラフである。 一態様による、本明細書に開示した画像を施設に関連づけるシステムと方法の性能を示す、解析表及びグラフである。 一態様による、本明細書に開示した画像を施設に関連づけるシステムと方法の性能を示す、解析表及びグラフである。

次に様々な態様を参照し、その実施例を添付の図面に示す。以下の詳細な説明において、本発明及びその説明された態様の完全な理解を与えるために多数の具体的詳細を記述する。ただし本発明はこれらの特定の詳細なしでも実行し得る。他の例においては、態様を不必要に曖昧にしないために周知の方法、手順、コンポーネント、及び回路は説明しない。

図１は、ある態様による、サーバシステム１０４の一部である視覚検出器訓練モジュール１１４を含む分散システム１００のブロック図である。分散環境１００には、１つ以上のクライアント装置１０２（例えば、クライアント１０２−１、．．．、１０２−ｓ）が含まれ、それぞれが個別のユーザ１０６（例えば、ユーザ１０６−１、．．．、１０６−ｓ）で操作される。クライアント装置１０２とユーザ１０６との間には必ずしも１対１の対応はない。サーバシステム１０４は、インターネットなどの１つ以上の通信ネットワーク１０８によってクライアント１０２と相互接続されている。

クライアント１０２（“クライアント装置”、“クライアントコンピュータ”、又は“コンピュータ装置”とも呼ばれる）は、クライアント１０２のユーザ１０６がそこを経由してサーバシステム１０４にリクエストを送り、そこから結果又はサービスを受け取る任意のコンピュータ又は類似のデバイスであってよい。クライアント装置の例としては、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、携帯電話、携帯情報端末、セットトップボックス、又はこれらの任意の組合せがある。クライアント１０２は典型的にはクライアントアプリケーション３２６を実行し、これはサーバシステム１０４にリクエストを送ることができる。例えば、クライアントにはウェブブラウザ３２４又は他のタイプのアプリケーションを含むものがあって、通信ネットワーク１０８を介してサーバシステム１０４からアクセスされるリソース（例えばウェブページ及びウェブサービス）をユーザ１０６が検索、ブラウズ、及び／又は利用することができる。

いくつかの例では、クライアント装置１０２は、ラップトップコンピュータ又はスマートフォンなどの携帯機器である。ユーザ１０６は普通携帯機器１０２を使って、メッセージ交換や、ツイッター（登録商標）、フォースクエア（登録商標）、Ｙｅｌｐ（登録商標）、インスタグラム（登録商標）、フェースブック（登録商標）などの外部サービス１２２と対話するソーシャルメディアアプリケーションを実行する。サーバシステム１０４を外部サービス１２２に接続してテキストによるレビュー及び保存画像を取得し、画像内のビジネス関連概念を識別するためのビジネス関連概念の発見及び視覚検出器の訓練に利用する。

ある態様においては、クライアント装置１０２にローカルな分類コンポーネント（例えばアプリケーション３２６）が含まれ、これがサーバシステム１０４の視覚検出器訓練モジュール１１４と連携して、分類システムのコンポーネントとして作用する。ある態様においては、分類コンポーネントは外部サービス１２２又はサーバシステム１０４に格納された大規模なソーシャルメディア画像データベースからのデータを構成し、取り出すためのソフトウェアアプリケーションである。ある態様ではローカル分類コンポーネントはクライアント１０２で実行され、別の態様ではローカル分類コンポーネントは、サーバシステム１０４の分類モジュール１１４のコンポーネントである。ある態様では、ローカル分類コンポーネントと分類モジュール１１４はサーバシステム１０４内の別々のサーバに実装される。

通信ネットワーク１０８は、イントラネット、インターネット、またはそれらのネットワークの組合せなどの、任意の有線又は無線のローカルエリアネットワーク（ＬＡＮ）、及び／又はワイドエリアネットワーク（ＷＡＮ）であってよい。ある態様では通信ネットワーク１０８は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を利用する情報の伝送にハイパーテキスト転送プロトコル（ＨＴＴＰ）を利用する。ＨＴＴＰは、クライアントコンピュータが通信ネットワーク１０８を介して接続可能な様々なリソースへのアクセスを可能とする。本明細書において使用される“リソース”という用語は、コンテンツ位置識別子（例えばＵＲＬ）を介してアクセス可能な任意の情報及び／又はサービスを指し、例えば、ウェブページ、ドキュメント、データベース、画像、計算オブジェクト、サーチエンジン、又はその他のオンライン情報サービスであってよい。

ある態様において、サーバシステム１０４はコンテンツ（例えば、施設（テキストレビューと保存画像）、ソーシャルメディアメッセージ、ウェブページ、画像、デジタル写真、ドキュメント、ファイル、及び広告）を配信する。ある態様では、サーバシステム１０４は多くのファイルまたは様々なタイプの他のデータ構造を含み、これらのファイルやデータ構造には、テキスト、グラフィックス、ビデオ、オーディオ、デジタル写真、及びその他のデジタルメディアファイルが含まれる。

ある態様では、サーバシステム１０４は視覚検出器訓練モジュール１１４を含んでいる。視覚検出器訓練モジュール１１４は、施設に関する既存のデータの大規模なコレクションを利用する、機械学習アプリケーションである。ある態様では、既存データの大規模なコレクションには、視覚検出器の訓練プロセスを自動化するための、視覚画像、Ｙｅｌｐ（登録商標）等のサービスにより保存されたテキストレビュー、フォースクエア（登録商標）等のサービスによって保存された施設が含まれている。そうして視覚検出器が画像内のビジネス関連概念の識別に使用される。

ある態様では、サーバシステム１０４が外部サービス１２２に接続され、テキストレビューと外部サービス１２２が収集した保存画像などの情報を取得する。取得された情報は次にサーバ１０４上のデータベース１１２に格納される。ある態様では、データベース１１２にはテキストレビュー２２８と保存画像２３０が格納されている。このデータを利用して、ビジネス関連概念を見つけ出し、見つけ出されたビジネス関連概念を画像内に検出するように視覚検出形を訓練し、既存の施設とまだ関連付けされていない画像の表現（例えばベクトルに基づく表現）が行われる。ある態様では、ビジネス関連概念を見つけ出すときに、ビジネス関連概念２３２がデータベースに格納される。ある態様では、データベース１１２はほかのデータもまた格納している（例えば、視覚検出器２２４、及びクエリ画像と施設２３８の生成された表現など）。

図２は、サーバシステム１０４で使用され得る、サーバ２００を示すブロック図である。典型的なサーバシステムには、多くの個別のサーバ２００が含まれ、これらは一緒に配置されていてもよいし、複数の別々の物理位置に配置されていてもよい。サーバ２００は典型的には１つ以上のプロセッサユニット（ＣＰＵ）２０２を含んで、モジュール、プログラム又はメモリ２１４に格納された命令を実行する。それによってプロセス操作、１つ以上のネットワークまたはそれ以外の通信インタフェース２０４、メモリ２１４、及びこれらのコンポーネントを相互接続するための１つ以上の通信バス２１２を遂行する。通信バス２１２には、システムコンポーネント間の通信を相互接続して制御する回路（チップセットと称されることもある）が含まれていてもよい。ある態様では、サーバ２００にはユーザインタフェース２０６が含まれ、これがディスプレイ装置２０８と、キーボードとマウス等の１つ以上の入力装置２１０を含んでいてもよい。

ある態様では、メモリ２１４には、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭやその他のランダムアクセス固体素子メモリ装置、などの高速ランダムアクセスメモリが含まれている。ある態様では、メモリ２１４には、１つ以上の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、又はその他の不揮発性固体記憶装置などの、不揮発性メモリが含まれている。ある態様では、メモリ２１４には、ＣＰＵ２０２から遠隔位置にある、１つ以上の記憶装置が含まれている。メモリ２１４、又はそれに代わってメモリ２１４内部の不揮発性メモリ装置は、非一時的コンピュータ可読記憶媒体を備えている。ある態様では、メモリ２１４又はメモリ２１４のコンピュータ可読記憶媒体は、以下に述べるプログラム、モジュール、及びデータ構造あるいはその部分集合を格納する。
オペレーティングシステム２１６。これは様々な基本システムのサービスを取り扱い、またハードウェアに依存するタスクの遂行のための手順を含んでいる。
通信モジュール２１８。これは１つ以上の通信ネットワークインタフェース２０４（有線又は無線）及び、インターネット、その他の広域ネットワーク、ローカルエリアネットワーク、大都市圏ネットワークなどの通信ネットワーク１０８を介して、サーバ２００を他のコンピュータに接続するために利用される。
ユーザインタフェースモジュール２２０。これは１つ以上の入力装置２１０から入力を受信し、ディスプレイ装置２０８上にディスプレイするためのユーザインタフェース要素を生成する。
１つ以上のウェブサーバ１１０。これはクライアント装置１０２からリクエストを受信し、それぞれのウェブページ、リソース、又はリンクを返す。ある態様では、各リクエストはデータベース１１２に記録される。
データベースアクセスモジュール２２２。これはデータベース１１２に格納されているデータの読み出し、書き込み、及びクエリのための手順を含んでいる。
視覚検出器訓練モジュール１１４。これは、図４Ａ〜図４Ｃ、図５、図６に関して後で述べるように、画像内のビジネス関連概念を検出するように１つ以上の視覚検出器２２４を訓練するために使用される。
１つ以上のデータベース１１２。これは視覚検出器訓練モジュール１１４及び／又は視覚検出器２２４によって使用されるデータを格納する。ある態様では、データベース１１２は、ＳＱＬデータベース等のリレーショナルデータベースである。一方、他の態様ではデータベース１１２は、ＪＳＯＮオブジェクト等のデータ構造のコレクション、又はリレーショナルデータベースと非リレーショナル形式で格納されたデータ構造との組合せを含む。ある態様では、データベースには次のものが格納される。
（ａ）多様な外部サービス（例えばＹｅｌｐ（登録商標）、フォースクエア（登録商標）等の、図１の外部サービス１２２）から収集される多様な施設に関するテキストレビュー２２８、及びビジネス関連概念を見つけ出し、視覚検出器を訓練するのに利用される他の情報。
（ｂ）多様な外部サービス（例えばインスタグラム（登録商標）、フェースブック（登録商標）等の、図１の外部サービス１２２−１）から収集される多様な施設に関連する保存画像２３０、及びビジネス関連概念を見つけ出し、視覚検出器を訓練するのに利用される他の情報。
（ｃ）テキストレビュー２２８及び／又は保存画像２３０の解析に基づいて見つけ出されるビジネス関連概念２３２（ある態様では、ビジネス関連概念２３２が、施設の認識の目的で使用可能なビジネス関連性があり、視覚的に検出可能であり、弁別可能な用語である（すなわち、個々のビジネス関連概念２３２のそれぞれが、少なくとも画像内に個々のビジネス関連概念を信頼性良く検出できる等、視覚検出器を訓練可能である）ことを確実とするために、見つけ出された各ビジネス関連概念２３２がビジネス関連概念に対する予め定められた仕様に合致していることの検証に保存画像２３０が利用される。）
（ｄ）生成されたクエリ画像と施設２３８の表現。これは図４Ａ〜図４Ｃ、図５、図６を参照して後で詳細を説明するように、個々のクエリ画像に対して最も類似した施設を配置するために利用される。
視覚検出器２２４を利用して画像内に（例えば、まだ施設に関連付けられていないクエリ画像内、及び／又は既に施設に関連付けられている保存画像２３０内に）ビジネス関連概念を識別するための、概念検出モジュール２３４：ある態様では、概念検出モジュール２３４は画像を受信した後、各ビジネス関連概念が画像内に存在する尤度を特定する、各ビジネス関連概念に対する（例えばビジネス関連概念２３２の）スコアのベクトルを生成する。
クエリ画像と施設２３８の形成された表現を作成／生成／形成するための表現形成モジュール２３６（例えば、ビジネス関連概念のスコアのベクトルと単語表現を含む）。

図２における上記で明らかにされた各要素は、既述の１つ以上のメモリ装置に格納され得る。実行可能なプログラム、モジュール、又は手順のそれぞれが、上記の機能を遂行するための命令セットに対応する。上記で明らかにさされたモジュール又はプログラム（すなわち、命令セット）は個別のソフトウェアプログラム、手順、又はモジュールとして実装される必要はない。そしてこれらのモジュールの様々な組み合わせが様々な態様において結合あるいは再構成され得る。ある態様では、メモリ２１４が上記のモジュールの組み合わせとデータ構造を格納する。さらに、メモリ２１４は上記以外のモジュールやデータ構造も格納し得る。

図２はサーバ２００を示しているが、図２は、本明細書に記載の態様の構造形式というよりもむしろ、サーバシステム１０４で使用されるサーバに存在することができる様々な特徴の機能的表示としてより多くの意図を持っている。実際に、また当業者に理解されているように、個別に示されている項目は組合せ可能であり、またある項目は分離することもできる。サーバシステム１０４の機能を実装のために使用されるサーバ２００の実際の数とそれらへの機能の割当て方法は、態様ごとに異なり、使用量がピークの期間及び使用量が平均的な期間でシステムが処理しなければならないデータ量に部分的に依存し得る。

図３はある態様によるクライアント装置１０２のブロック図である。クライアント装置１０２には、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、スマートフォン、ＰＤＡ、民生用カメラ、ファーストパーソンカメラ、スマートウォッチが含まれる。ある態様では、ソーシャルメディアインタラクションを改良するために（例えば、特定のユーザが以前に訪問した施設を基にして標的となった施設をよりよく推薦するために）、クライアント装置１０２には画像を処理してそれを施設に関連付ける少なくとも１つのサーバ（例えばソーシャルメディアサービスに接続された）が含まれている。クライアント装置１０２は典型的には、１つ以上の処理ユニット（ＣＰＵ）３０２と、１つ以上のネットワークインタフェース３０４と、メモリ３１４と、ユーザインタフェース３０６と、これらのコンポーネントを相互接続する１つ以上の通信バス３１２（チップセットと呼ばれることもある）とを含んでいる。ユーザインタフェース３０６には、メディアコンテンツを提示可能であって１つ以上のスピーカ又は１つ以上の視覚ディスプレイを含む１つ以上の出力装置３０８が含まれている。ユーザインタフェース３０６にはまた１つ以上の入力装置３１０が含まれ、これは、キーボード、マウス、音声命令入力ユニットまたはマイクロフォン、タッチスクリーンディスプレイ、タッチスクリーン、タッチ式入力パッド、カメラ（例えば様々な施設の写真撮影のためのカメラ、ただしその写真には位置情報が保存されないこともある）、ジェスチャキャプチャカメラ、又はその他の入力ボタンや制御器などのユーザ入力を支援するユーザインタフェースコンポーネントが含まれる。さらに、クライアント装置１０２のあるものは、マイクロフォンと音声認識、又はカメラとジェスチャ認識をキーボードに補足して又は置き換えて利用する。

メモリ３１４には、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭやその他のランダムアクセス固体素子メモリ装置、などの固体ランダムアクセスメモリが含まれている。ある態様では、メモリには、１つ以上の磁気ディスク記憶装置、１つ以上の光ディスク記憶装置、１つ以上のフラッシュメモリ装置、又は１つ以上のその他の不揮発性固体記憶装置などの、不揮発性メモリが含まれている。ある態様では、メモリ３１４には、処理ユニット３０２から遠隔位置にある、１つ以上の記憶装置が含まれている。メモリ３１４、又はそれに代わるメモリ３１４内部の不揮発性メモリは、非一時的コンピュータ可読記憶媒体を備えている。ある態様では、メモリ３１４又はメモリ３１４の非一時的コンピュータ可読記憶媒体は、以下に述べるプログラム、モジュール、及びデータ構造あるいはその部分集合を格納する。
オペレーティングシステム３１６。これは様々な基本システムのサービスを取り扱い、またハードウェアに依存するタスクの遂行のための手順を含んでいる。
通信モジュール３１８。これは１つ以上の通信ネットワークインタフェース３０４（有線又は無線）及び、インターネット、その他の広域ネットワーク、ローカルエリアネットワーク、大都市圏ネットワークなどの通信ネットワーク１０８を介して、クライアント装置１０２を他のコンピュータと装置に接続するために利用される。
ディスプレイモジュール３２０。これは１つ以上の入力装置３１０から入力を受信し、ディスプレイ装置３０８上にディスプレイするためのユーザインタフェース要素を生成する。
１つ以上のユーザ入力または１つ以上の入力装置３１０からのインタラクションを検出し、検出された入力またはインタラクションを解釈するための、入力処理モジュール３２２。
ユーザがネットワーク１０８（インターネットなど）を介してリモートコンピュータ又は装置と通信可能となるウェブブラウザ３２４。
クライアント装置１０２で実行するように構成された、１つ以上のアプリケーション３２６−１〜３２６−ｕ。様々な態様において、アプリケーション３２６には、カメラモジュール、センサモジュール、１つ以上のゲーム、アプリケーション市場、支払いプラットフォーム、及び／又はソーシャルネットワークプラットフォームが含まれる。ある態様では、１つ以上のアプリケーション３２６がウェブブラウザ３２４内で動作する。ある態様では１つ以上のアプリケーションに、装置１０２のユーザが（例えば、図４Ａ〜図４Ｃ、図５、及び図６を参照して後で説明する等、任意の方法を利用して）関連する施設の処理と識別のために画像の投入を可能とするアプリケーションが含まれている。
装置１０２又は装置１０２のユーザ１０６に関する情報を含む、クライアントデータ３２８。ある態様では、クライアントデータ３２８には１つ以上のユーザプロファイル３３０が含まれ、これには装置１０２のユーザが訪問したことのある施設に関するユーザ固有の情報が含まれ得る。これを利用してクエリ画像に関連する施設の識別に対する支援（例えば候補施設のリストの精選／選択支援）が可能となる。ある態様では、クライアントデータ３２８には、クライアント装置でのユーザアクティビティを記録するユーザデータが含まれる。
任意選択で概念検出モジュール２３４が含まれる。これは視覚検出器２２４を利用して（例えば、サーバ２００や１つ以上の視覚検出器２２４から受信した後、クライアント装置は検出プロセスをローカルに実行可能である）、画像（例えばまだ施設に関連付けられていないクエリ画像、及び／又は既に施設に関連付けられている保存画像２３０）の中にビジネス関連概念を識別するためのものである。ある態様では、概念検出モジュール２３４が（例えば装置のユーザから）画像を受信した後、個々のビジネス関連概念が画像内に存在する尤度を特定する、（例えば、複数のビジネス関連概念２３２の内の）各ビジネス関連概念に対するスコアのベクトルを作成する。
任意選択により、クエリ画像と施設２３８の形成された表現（例えば、ビジネス関連概念のスコアのベクトルと単語表現を含む）を作成／生成／形成するための表現形成モジュール２３６を含む。
任意選択により、データベース１１２（図２）に保存されたデータのすべて又は一部を保存するための１つ以上のデータベース３３８を含む。例えばネットワークのトラフィック状態が遅いとき、ネットワークを介して１つ以上のサーバ２００と情報を交換する場合よりもより効率的にデータをローカルに保存及びアクセスすることができる。

上で述べた実行可能なモジュール、アプリケーション、又は手順の組のそれぞれは、既述の１つ以上のメモリ装置に格納することができ、前述した機能を遂行するための命令の組に対応する。上記の識別されたモジュール又はプログラム（すなわち、命令セット）は個別のソフトウェアプログラム、手順、又はモジュールとして実装される必要はない。そしてこれらのモジュールの様々なサブセットが様々な態様において結合あるいは再構成され得る。ある態様では、メモリ３１４が上記のモジュールサブセットとデータ構造を格納する。さらに、メモリ３１４は上記以外のモジュールやデータ構造も格納し得る。

図３はクライアント装置１０２を示しているが、図３は本明細書に記載の態様の構造形式よりもむしろ、様々な特徴の機能を記述することをより大きな意図としている。実際に、また当業者に理解されるように、個別に示されている項目は組合せ可能であり、またある項目は分離することができる。

ある態様では、サーバシステム１０４の機能のあるものはクライアント装置１０２で遂行され、これらの機能に対応するサブモジュールは、サーバシステム１０４よりもむしろクライアント装置１０２にあってもよい。その逆にある態様では、クライアント装置１０２の機能のあるものはサーバシステム１０４で遂行され、これらの機能に対応するサブモジュールは、クライアント装置１０２よりもむしろサーバシステム１０４にあってもよい（例えば、ビジネス関連概念発見操作のあるもの、及び視覚概念検出と訓練操作のあるものはクライアント装置とサーバ装置で共有されてもよい）。図２と図３に示すサーバ２００とクライアント装置１０２はある態様を示している。他の構成を利用して本明細書に記載の機能を実装してもよい。

図４Ａ〜図４Ｃはある態様による、ビジネス関連概念を発見し、視覚検出器を訓練し、訓練された視覚検出器を利用して施設に関連するクエリ画像を発見する方法を示すフローチャートである。ある態様では、方法４００（および関連する方法４０４と４１０）がコンピュータ装置（例えば、図１のコンピュータ装置１０２）、及び／又はコンピュータ装置の１つ以上のコンポーネント（例えば、オペレーティングシステム１２６など）によって遂行される。ある態様では、方法４００が１つ以上のサーバ２００（図２）との組み合わせで、コンピュータ装置によって遂行される。例えば、１つ以上のサーバ２００がコンピュータ装置１０２にデータを送信し、コンピュータ装置はそれを利用して方法４００の操作を実行する（例えば、方法４００のある操作が１つ以上のサーバ２００によって遂行される）。ある態様では、方法４００は非一時的コンピュータ可読記憶媒体に格納された命令によって管理され、装置１０２の１つ以上のプロセッサ３０２等、装置の１つ以上のプロセッサによって実行される。説明を簡単にするために、装置１０２により遂行される方法４００を以下に述べる。ある態様では、図３を参照して、方法４００の操作がデータベース３３８と概念検出モジュール３３４と表現形成モジュール３３６の少なくとも一部によって遂行されるか、又はそれを利用する。装置１０２はまた、方法４００、入力装置３１０、及び／又はディスプレイ３０８（例えば、タッチセンサディスプレイ）の１つ以上の操作の遂行に利用される１つ以上のサーバ２００からのデータ（例えば、テキストレビュー２２８、保存画像２３０、ビジネス関連概念２３８、及びクエリ画像と施設２３８の生成された表現、図２）を受信する。方法４００の操作のあるものは任意選択により結合され、及び／又はある操作の順番が任意選択により変更される。

図４Ａに示すように、例示の施設認識方法４００は、施設に関する画像とテキストデータ（例えば、レビュー、会社プロフィールなど）の取得（４０２）から始まる。ある態様では、取得されたテキストデータは、ユーザが施設に関するレビューを投稿できる、Ｙｅｌｐ（登録商標）やその他のオンラインサービス等のデータソースから収集される。ある態様では、画像は、インスタグラム（登録商標）、Ｙｅｌｐ（登録商標）、又はユーザが特定の施設に関連して画像を投稿できる類似のサービスなどのオンラインサービスから取得される。次にこの方法が、取得されたテキストデータと画像データを利用して、視覚検出器に画像内のビジネス関連概念の検出を訓練させる（４０６）ことのできるビジネス関連概念の発見を行う（４０４）。ビジネス関連概念の発見に関する追加の詳細は、図４Ｂと図５を参照して後で述べる。

この方法には、クエリ画像を受信し（４０８）、そのクエリ画像を（操作４１０と、操作４０６で訓練された視覚検出器を利用して）解析して、クエリ画像内に発見されたビジネス関連概念を検出する。操作４０８に示すクエリ画像例から検出され得るビジネス関連概念の例として、“エスプレッソ”、“コーヒー”及び“テーブル”がある。ある態様では、ビジネス関連性畳み込みニューラルネットワーク（“ＢＡ−ＣＮＮ”）を利用して、クエリ画像コンテンツ内のビジネス関連概念検出のための視覚検出器の訓練を行う。そして検出されたビジネス関連概念にはそれぞれスコアを割り当てて、検出されたビジネス関連概念がその画像コンテンツ内に存在する尤度を反映させる（すなわち、検出操作がスコアの第１のベクトルとビジネス関連概念を出力する）。別の表現をすれば、ＢＡ−ＣＮＮが視覚検出器の訓練のためにビジネスレビューから探索された意味のある信号を組み込み、ビジネス関連特徴を抽出する。次に１つ以上の検出された概念が、さらに用語ベクトル（例えば、クエリ画像に関連する第２のベクトル）によって表現される。ある態様では、用語ベクトルは既知の単語表現モデル（例えば、非特許文献１（これは参照によりその全体を本明細書に援用する）に記載のＷｏｒｄ２Ｖｅｃなど）を利用して構築される。第１のベクトルと第２のベクトルは次に、データベース内の施設の表現に対してクエリ画像が一致するように表現する（４１０）（例えば、クエリ画像表現に最も近い施設の表現を見つける）。ある態様では、第１と第２のベクトルは、第１の画像の多モード表現を形成する。

これに加えて、そして図４Ｃと図５を参照して後で説明するように、施設に関する保存画像とテキストデータはまた、施設（例えば、図４Ｃと図５を参照して後で説明する選択された候補施設）に関する表現（例えば用語ベクトルとテキストデータと画像に対する視覚概念スコア）を生成するために、操作４０６と４１０を用いて解析される。例えば、各画像に関する視覚概念と１つ以上の単語表現（すなわち用語ベクトル）が上記のように（操作４１０において）事前計算される。テキストデータもまた用語ベクトルで表される。クエリ画像の視覚概念と単語表現は次に、テキストデータと保存画像から抽出されたものと一致させられる。最もよい一致をする画像とテキストレビューに関連する施設が、最も可能性の高い施設として返される（４１２）。

ある態様では、表現の２つのモダリティ（例えば、画像とテキスト）にわたって最もよく一致する画像とテキストレビューを配置するプロセスは、（１）モダリティ全体に亘る連結表現（“早期融合”とも呼ばれる）と、（２）各単一表現を同一モダリティの他のものと比較して、一致スコアを平均化する（“後期融合”とも呼ばれる）、の１つを利用して実行される。

（１）ある態様では、早期融合による一致には、第１のベクトル（すなわちクエリ画像に対するスコアと関連するビジネス関連概念）と、第２のベクトル（すなわちクエリ画像に対する用語ベクトル）をクエリ画像に対する単一ベクトル表現として連結し、それを次にデータベース内の保存画像と施設のテキストレビューと一致させるために利用することが含まれる。施設に関連している（すなわち、所属している）クエリ画像の尤度は、各施設に対する各連結ベクトル表現と比較した場合の、クエリ画像に対する単一ベクトル表現の類似性に基づいている。

（２）ある態様では、後期融合による一致には、単一モダリティに亘り、連結を用いない一致が含まれる。例えば、第１のベクトルはデータベース内の各保存画像と比較され（あるいはそれと一致させられ）、第２のベクトルはデータベース内の各テキストレビューと比較される（あるいはそれと一致させられる）。各単一モダリティに亘る類似性スコアは次に融合されて（例えば平均化されて）、クエリ画像が施設に属する（または関連する）全体としての尤度が取得される。ある態様では、上記の（１）と（２）のいずれか又は両方に対する類似性尺度の計算は、例えばユークリッド距離、距離メトリック学習、ランク付け学習、などの様々な方法論を通して行われ得る。

次に図４Ｂを参照すると、ビジネス関連概念４０４の発見方法の例が（図４Ａで示したものに加えて）示されている。前で説明したように、方法４００の操作４０２は、施設に関するテキストデータと画像データを取得することが含まれ、ビジネス関連概念を発見するためにそのテキストデータが４０２−Ａで識別される。具体的にはビジネス関連概念が（自動的かつ人手の介入なしで）テキストデータから探索される。上記のようにビジネス関連概念は意味概念であり、一連の既定条件（ビジネス関連性、視覚検出性、及び弁別性）を満足する。ある態様においては、既定の条件として以下のものがある。（１）ビジネス関連性：施設への関連性（例えば、“地球”は良好なビジネス関連概念ではない、それは施設には通常使用されない可能性があるからである。他方で、“猫”は良好なビジネス関連概念であり得る。それは近くのペットショップによく見かけ得るからである。）（２）視覚検出性：画像内の視覚コンテンツにおける検出可能性（例えば、“病気”は病院でよく見かけられるが画像コンテンツで検出することは困難であり、したがって良好な検出可能概念ではない。他方で、“薬”は検出するのにより一貫した視覚パターンを有しており、良好な視覚概念である。）（３）弁別性：異なる施設を区別する弁別力（例えば、“人”は一般的な施設に現れるので十分な弁別性がない。その一方で“バーガー”はアメリカンレストランでよく見かけられるので良好な概念であり得る。）

予め定められた条件を満足する概念を識別するために、４０４−Ａにおいて頻出名詞が抽出される（例えば、レストラン特有の名詞、買い物に特有の名詞、ナイトライフ関係の名詞、など）。そして、不快用語／一般的な用語が除外される（４０４−Ｂ）。そうして残った候補の集合が作成される（４０４−Ｃ）。ある態様では、ビジネス関連性に関する既定条件を確実に満足させるために、ソーシャルメディアウェブサイト（例えば、Ｙｅｌｐ（登録商標））上のローカルビジネスのレビューから候補概念が探索される。ある態様では、施設はＹｅｌｐ（登録商標）のビジネス区分形態（例えば、レストラン、アクティブライフ、自動車、など）における最上位区分によって分類される。次に一定数（例えば、３，０００）のテキストレビューが各ビジネス区分からそれぞれ収集される。各区分から予め定められた数（例えば、５００）の頻出名詞が、そのドキュメントの頻度に基づいて候補概念として選択される。ある態様では、非特許文献２（参照によりその全体を本明細書に援用する）に記載のＮＬＴＫツールキットを用いてレビュー内の単語をトークン化して品詞タグを見つける。ある態様では、視覚検出性を高めるために、名詞のみが候補概念の初期集合に含まれるように選択される（図４Ｂの４０４−Ａに示すもの）。候補概念の初期集合内にある各候補概念の弁別性の既定条件を確実に満足するために、１０を超える異なる区分に現れる概念、及び不快用語（例えば、図４Ｂの４０４−Ｂに示されるものなどの、インスタグラム（登録商標）のＡＰＩでブロックされる用語）を含むものとして識別される概念もまた除外される。一例として、表１（下記）に本明細書に開示の態様に従って発見された候補概念の例を示す。

４０４−Ｄにおいて概念選択が進められて既定条件の組を満足しない候補概念がさらに除外される。例えば、４０４−Ｅにおいて、精度の低い概念（例えば視覚的に検出できないもの）、及び高エントロピ概念（例えば弁別性のないもの）が除外される。除外プロセスの４０４−Ｄと４０４−Ｅの後に、１つのビジネス関連視覚概念の集合が残る（４０４−Ｆ）。そして残ったビジネス関連視覚概念は、既定条件の組を満足する意味概念である。ある態様では、ビジネス関連概念を発見するステップには、１つ以上の残ったビジネス関連概念に関連する画像を取得することと、各残存ビジネス関連概念が視覚的に検出可能であることを検証することが含まれる。各残存ビジネス関連概念が視覚的に検出可能であることの判定に従って、各残存ビジネス関連概念が後での使用に備えて（例えば、図２のデータベース１１２のビジネス関連概念２３２と共に）保存される。それぞれの残存ビジネス関連概念が視覚的に検出不可能であると判定されると、それぞれの残存ビジネス関連概念は後での利用のために保存されることはなく、廃棄される。

より具体的には、候補概念の初期集合を識別した後に、候補概念の初期集合の各概念を利用して予め定められた数（例えば、１，０００）の画像をソーシャルメディアサービス（例えばインスタグラム（登録商標））から引き出す。ソーシャルメディアサービスからダウンロードされた画像はノイズが多いために、２重の交差検証を（たとえば、非特許文献３（この全体を参照により本明細書に援用する）に記載の畳み込みニューラルネットワーク（ＣＮＮ）を用いて）行って、視覚概念の正確な検出学習のための適正画像を選択する。２重の交差検証を利用してその画像を２つの集合に分割し、各集合で別々の概念分類器を訓練して最終的にそのそれぞれを利用して他の集合の画像を検証する。

ある態様では、概念検出器の訓練に関する分類スコアに基づいて各集合から画像のある上位数（たとえば２５０）が決定される。図４Ｄは、“ピザ”という概念に関する交差検証選択をする前の例示的な訓練データを示す。図４Ｅは、交差検証選択の後の訓練データを示す。図に示すように、選択後の訓練データには視覚的一貫性が向上した画像が含まれ、それ故に選択後の画像は概念分類により優れた精度を発揮できる。１つの実験（下の表２に示す）では、単純にすべての画像を訓練データとして利用した場合の３６．５％に比べて、交差検証選択では最大４８．５％の分類精度が得られた。ある態様では、交差検証選択で８５％の精度を達成できる。

交差検証選択の後、検証精度が５０％未満の概念は（グランドトゥルースとしてハッシュタグを使って）候補概念の初期集合から排除し、概念の視覚検出性を高める。候補概念の初期集合内に残存する概念のうち、より弁別力の高いものが、以下の式を使った交差位置の正規化エントロピ計算によって判定される。

ここで、Ｘは概念ｃの施設の分布を表すランダム変数である。η（Ｘ^（ｃ））はその概念に対する正規化エントロピである。ｎ（ｃ）は概念ｃを有する施設の全数であり、ｐ（ｘ_ｉ ^（ｃ））はその概念が施設ｉに現れる確率である。ある態様では、インスタグラム（登録商標）（例えば、異なる１，０００の施設に関連する２５０，０００の画像を含む）からの画像のデータセットが利用され、正規化エントロピが施設への分散の観点から各概念に対して計算される。ある態様では、エントロピ値が最も低い一定数（例えば４９０）の概念が施設認識のためのビジネス関連視覚概念として選択される。図４Ｆは、概念と対応する画像のいくつかの例を示す。

図４Ｃは、クエリ画像と候補施設４１０の表現を生成する方法を示す（図４Ｃｈａ，図４Ａに示す操作４１０についてのさらなる情報を提供する）。クエリ画像を受信（４０８）した後、方法は、クエリ画像に関連付けられた近似位置情報の抽出／取得（４０８−Ａ）に移行する。例えば、近似位置情報は、基地局の位置、ＷｉＦｉ送信機、画像データに関連付けられたＧＰＳデータ、画像に関連付けられたポスティングデータ、知られたユーザの習性に基づく位置、等に基づき特定することができる。方法は、近似位置情報を用いて候補施設（すなわち、近似位置情報から予め定められた距離内に位置する施設）を識別し（４１４）、テキストレビュー（及び、会社プロフィール等の他の関連するテキストデータ）及び候補施設に関連付けられた保存された画像を取得する。

ある態様において、受信したクエリ画像に関連する候補施設を見つけるために、方法４１０は操作４１０−Ａと４１０−Ｂと４１０−Ａを適用して受信したクエリ画像（プロセスフロー４１６−Ａ〜４１６−Ｄ）と、取得されたテキストレビュー（プロセスフロー４２０−Ａ〜４２０−Ｂ）と、保存された画像（プロセスフロー４１８−Ａ〜４１８−Ｂ）を解析する。

受信したクエリ画像の解析に関してある態様では、方法４１０が受信したクエリ画像を訓練された視覚検出器４１０−Ａを利用して（フロー４１６−Ａを介して）解析し、（例えば１つ以上の訓練された視覚検出器に関連する）各ビジネス関連概念が受信したクエリ画像内に存在する尤度を反映するビジネス関連概念のスコアを（フロー４１６−Ｂを介して）出力する。操作４１０−Ａはまた、高スコア（すなわち各ビジネス関連概念が受信したクエリ画像内に存在する高い尤度）のビジネス関連概念を（フロー４１６−Ｃを介して）出力する。操作４１０−Ｂは単語表現モデルを利用して（フロー４１６−Ｄを介して）高スコアビジネス関連概念に対する単語表現を出力する。ある態様では、ビジネス関連概念のスコアと単語表現のベクトルに基づく表現が受信したクエリ画像の表現に使用される。

取得されたテキストレビューの解析に関しては、ある態様では方法４１０が単語表現モデルを利用して取得されたテキストレビューのそれぞれに対して１つ以上の単語表現を生成する（４２０−Ａ及び４２０−Ｂ）。保存画像の解析に関しては、ある態様では方法４１０が訓練された視覚検出器を利用して各保存画像を（フロー４１８−Ａを介して操作４１０―Ａにおいて）解析し、各ビジネス関連概念が各保存画像内に存在する尤度を反映するビジネス関連概念のスコアを（フロー４１８−Ｂを介して）出力する。ある態様では、各候補施設に関する単語表現とビジネス関連概念スコアが各候補施設の候補に特有な表現を作成する。

ある態様では方法４１０が次に、受信したクエリ画像に最も類似する候補施設を見つけるために、受信クエリ画像の多モード表現を候補に特有な表現のそれぞれと比較する。別の表現をすれば、受信クエリ画像が検出されたビジネス関連概念の多次元空間内に第１のベクトルとして表現される。そして受信クエリ画像の表現と各施設に関連する他のオブジェクト（テキストレビューと保存画像）との間の距離が計算されて、受信クエリ画像に最もよく一致する候補施設が見つけ出される。（例えば候補施設は、多次元空間において、受信クエリ画像の表現に最も近いテキストレビュー／保存画像に関連している。）クエリ画像の表現を候補に特有な表現と比較して一致させることに関するさらなる詳細は、以前に図４Ａを参照して提供されている。

次に図４Ｇでは、多モード施設認識のシステムフレームワークを示す追加のフローチャートが、ある態様に従って示されている。図４Ｇに示すように、クエリ画像が受信され、候補施設のリストがＧＰＳ（または、携帯電話アンテナによる三角測量やＷｉＦｉ信号などの近似位置情報を決定する別の技術）を利用してソーシャルメディアから識別され、ビジネス関連概念がＢＡ−ＣＮＮを利用して画像コンテンツから検出される。ある態様では、単語表現モデルもまた利用されて、単語表現を生成する。クエリ画像の視覚概念と単語表現は次に、データベース（例えば図２のデータベース１１２）に保存されたレビューと画像から抽出されたものに照合される。最も高い一致性を有する画像とレビューに関連する施設が最も可能性の高い施設として返される。

ある態様では、ＣＮＮの出力層で異なる種類のラベルで監視された特徴が利用されて、出力層の前の最後の完全接続層（ＦＣ７）からの活性化が画像を表現するための特徴として利用される。ラベルの種類は、ＩｍａｇｅＮｅｔ（ＩｍａｇｅＮｅｔ−ＣＮＮ）で使用される汎用概念、ビジネス関連概念（ＢＡ−ＣＮＮ（Ｃ））、及び／又は施設（ＢＡ−ＣＮＮ（Ｃ））の部分集合であってよい。異なる種類のラベルの比較は、図６Ａ〜図６Ｃを参照して以下で述べる。最終的には最近接分類器がクエリ画像とデータベース画像のＣＮＮ特徴に基づいて適用される。最も類似したデータベース画像に関連する施設が予想施設として出力される。ただしこれらの態様では、単純にＣＮＮ特徴を利用するといくつかの問題が生じ得る。ＩｍａｇｅＮｅｔ−ＣＮＮ（すなわち、ＩｍａｇｅＮｅｔラベルで訓練されたネットワーク）に関しては、概念は前以って規定され、ローカルビジネスに関連しない。ＢＡ−ＣＮＮ（Ｃ）に関しては、弁別性は施設よりも異なるビジネス関連概念を分離することにのみある。ＢＡ−ＣＮＮ（Ｖ）では、施設はより多くの訓練画像を有する施設に限定され、したがって一般的な施設を網羅することができない。さらには、ＣＮＮ特徴は通常は、他のデータドメインに関連付ける（例えば、画像をテキストに関連付ける）ことを支援するキー特性である、意味論的な意味を持たない。

これらの問題点に対処するために、ある態様ではＢＡ−ＣＮＮ（Ｃ＋Ｖ）を利用して、施設認識のためにビジネス関連概念を検出する。図４Ｇに示すように、認識にＦＣ７を使う代わりに、層（ＦＣ８）がビジネス関連概念ラベルによって代わりに監視され、別の層（ＦＣ９）が施設ラベルの部分集合によって監視される概念層の上に加えられる。このように、特徴がＦＣ８から抽出され、そこでは、各寸法がビジネス関連概念に対応しており、また異なる施設を分離する弁別力が入手可能である。ＢＡ−ＣＮＮ（Ｃ＋Ｖ）は、画像から抽出される他のＣＮＮ特徴に比べてより高い認識精度を持っている。さらに、ＢＡ−ＣＮＮ（Ｃ＋Ｖ）により抽出された特徴は意味論的に記述可能な概念の応答であるので、認識のための多モードデータ（例えば、テキストと画像）に関連付けることが可能である。

ある態様では、ＢＡ−ＣＮＮで検出された概念表現を取得した後、施設の認識精度は、画像コンテンツを多モード表現（例えば、視覚概念とテキスト表現）に展開することによってさらに改良することが可能である。例えば、ローカルビジネスのレビュー（例えばＹｅｌｐ（登録商標）レビュー）は、各単語を（例えば５００次元の）ベクトルに変換することができる単語ベクトルモデルを訓練するために使用される。概念単語と既定数の視覚概念の単語表現とが画像の別のモダリティの表現に使用されるので、各クエリ画像に対して、既定数の視覚概念（例えば５つの上位スコア概念）がクエリ画像から検出される。図４Ｇ（の多モード認識（ｂ））に示すように、視覚概念表現及び単語表現は、次に相互に融合されてクエリ画像の最終表現を形成する。ある態様では、早期融合が活用されて（すなわち４９０次元の概念表現と５００次元の単語ベクトル表現が一緒に連結されて９９０次元のベクトルを形成して）２つのモダリティを結合する。同じようにデータベースにある施設に関連する画像とレビューもまたそれぞれ視覚概念と単語表現で表される。最後に、多モード表現によるＬ２の距離を有する最近接法分類器を使用して、クエリ画像と関連している最も可能性の高い施設を判定する。

図５はある態様による、画像を施設に関連付けるプロセスのフローチャートである。ある態様では、方法５００がコンピュータ装置（例えば、図１のコンピュータ装置１０２）、及び／又はコンピュータ装置の１つ以上のコンポーネント（例えば、オペレーティングシステム１２６など）によって遂行される。ある態様では、方法５００が１つ以上のサーバ２００（図２）との組み合わせで、コンピュータ装置によって遂行される。例えば、１つ以上のサーバ２００がコンピュータ装置１０２にデータを送信し、コンピュータ装置はそれを利用して方法５００の操作を実行する（例えば、方法５００のある操作が１つ以上のサーバ２００によって遂行される）。ある態様では、方法５００は非一時的コンピュータ可読記憶媒体に格納された命令によって管理され、装置１０２の１つ以上のプロセッサ３０２等の、装置の１つ以上のプロセッサによって実行される。説明を簡単にするために、装置１０２により遂行される方法５００を以下に述べる。ある態様では、図３を参照して、方法５００の操作がデータベース３３８と概念検出モジュール３３４と表現形成モジュール３３６の少なくとも一部によって、又はそれを利用して遂行される。装置１０２はまた、方法５００、入力装置３１０、及び／又はディスプレイ３０８（例えば、タッチセンサディスプレイ）の１つ以上の操作の遂行に利用される１つ以上のサーバ２００からのデータ（例えば、テキストレビュー２２８、保存画像２３０、ビジネス関連概念２３８、及びクエリ画像と施設２３８の生成された表現、図２）を受信する。方法５００における操作のあるものは任意選択で結合され、及び／又は操作のあるものの順番は任意選択で変更される（例えば、方法５００の操作のあるものは、図４Ａ〜図４Ｇを参照して既に提示された細部で補足される）。

ある態様では、装置が複数のビジネス関連概念を発見するときに（５０２）、任意選択で方法５００が開始される。ある態様では、発見された複数のビジネス関連概念の各概念は以下の既定条件を満足する。（ｉ）各概念はビジネス関連性がある。（ｉｉ）各概念は視覚的に一貫している。（ｉｉｉ）各概念は施設認識に関して弁別性がある。このように、画像で認識され、様々な施設間で識別可能である概念のみが選択されてリポジトリに含まれる（態様のあるものでは、その他のすべての潜在的な概念はふるい落とされる）。ある態様では、各ビジネス関連概念は交差検証されて確実に条件を満たすようにされる。例えば画像の訓練セットを利用して（選択された訓練画像の関連する集合と比較されたときに各ビジネス関連概念が確実に視覚的に一貫であるように）条件を満たすことが確証される。ある態様において、その施設に関連するテキスト（例えば、レビュー）内に頻出する名詞が識別され、不快用語は排除されて、次にそれらの概念がすべての条件を満足するかどうかが確認される（例えば、視覚的に検出できない精度の低い概念が排除され、区別不能なエントロピの高い概念が排除される）。ビジネス関連概念発見のさらなる詳細は、図４Ａ〜図４Ｃを参照して前に述べた。ある態様では、装置が任意選択で視覚検出器を訓練し、（図４Ａ〜図４Ｃを参照して前に述べたようにして）画像内に複数のビジネス関連概念を検出する（５０４）。ある態様では、訓練された視覚検出器（例えば視覚概念検出器）は、複数のビジネス関連概念に関連する画像を配置し、クエリ画像内の視覚概念を１つ以上のビジネス関連概念に一致させるように構成された視覚概念検出器を構築することによって、訓練される。ある態様では、ビジネス関連概念が畳み込みニューラルネットワーク（“ＣＮＮ”）を利用して画像コンテンツから検出される。ある態様では、画像の多モード特徴表現が構築され、そこには視覚概念検出器が含まれ、予測される視覚概念の各単語が用語ベクトルとして表現される。ある態様では、施設に関連する各テキスト項目（例えばレビュー）もまた、用語ベクトルとして表現される。ある態様では、既に図４Ｃで議論したように、第１の画像を第１の施設に合致させるために、次に視覚概念と入力画像の単語表現がリポジトリ内のレビューと画像から抽出されたものと引き合わせられる。

ある態様では、コンピュータ装置の１つ以上の入力装置（例えば、カメラ、又は写真アプリケーション内でユーザが選択する画像、又はその時点で施設がわかっていない画像の大きな集合を解析するためのバッチプロセス）を介して、装置が特定の地理領域に関連する第１の画像を受信する（５０６）。例えば、第１の画像は、ＧＰＳ座標等の近似位置情報に関連する。そこには、第１の画像に潜在的に関連し得る複数の施設が含まれる。ある態様では、特定の地理領域は検出されるＷｉＦｉ信号又はソーシャルネットワークデータに基づいて決定される。ある態様では、第１の画像はその特定の地理領域内のある位置で撮影されており、その特定の地理領域が複数の施設を含んでいるので、その画像が撮影された正確な施設はまだわからない。

コンピュータ装置は複数の施設に関連するテキストレビューと保存画像を含むリポジトリから、テキストレビューの第１の集合と保存画像の第２の集合を取得する（５０８）。これらは複数の施設の中の１つ以上の候補施設に関連している。ある態様では、１つ以上の候補施設の各施設は特定の地理領域の予め定められた距離（例えば１００フィート、２００フィート、３００フィート、など）の中に位置している（５１０）。ある態様において、ステップ５０６の第１の画像の受信に応答して検索ステップ（５０８）が遂行される。

コンピュータ装置は次に、訓練された視覚検出器を用いた第１の画像の解析に基づいて、第１の画像内に複数のビジネス関連概念を検出する（５１２）。ある態様では、検出された各ビジネス関連概念には、その検出された各ビジネス関連概念が第１の画像内に存在する尤度を反映するスコアが付けられる（５１４）。ある態様では、検出操作５１２／５１４の結果は、それぞれがビジネス関連概念に対応するスコアのベクトルである。ここでこのスコアは対応するビジネス関連概念がその画像コンテンツ内に出現する尤度（例えば、確率）を反映している。

次にコンピュータ装置は、関連スコアに基づき、また複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、第１の画像に対応する第１の表現を生成する（５１６）。ある態様では、高スコアビジネス関連概念には、スコアの閾値（例えば、０．６５、０．７、０．７５、あるいはそのビジネス関連概念が第１の画像内に存在する尤度が高いことを反映する確率）を超えるスコアが指定される。

コンピュータ装置はまた、１つ以上の候補施設のそれぞれに対応する第２の表現を受信する（５１８）。ここで第２の表現はテキストレビューの第１の集合と保存画像の第２の集合とに基づいている。第２の表現は、候補施設がデータベース内に関連画像があるかどうかに依存して、多モードであっても、そうでなくてもよい。ある態様では、第２の表現を受信することは、訓練された視覚検出器を用いた保存画像の第２の集合の各保存画像の解析に基づいて、各保存画像内に複数のビジネス関連概念を検出するステップを含む。ここで検出された各ビジネス関連概念には、検出されたビジネス関連概念が各画像内に存在する尤度を反映するスコアが付けられている。ある態様では、第１の候補施設の第２の表現のそれぞれが、（ｉ）０以上の関連スコア（すなわち、第１の候補施設がどの保存画像にも関連しない場合にはスコア０）と、（ｉｉ）第１の候補施設に関連する各テキストレビューに対する１つ以上の単語表現ベクトル、とに基づいている。

ある態様では、１つ以上の第２の表現は事前生成（又は事前計算）される。したがって、受信操作５１８に伴って生成又は再生成される必要はない。例えば、各施設に関連する保存画像を新たに受信すると、コンピュータ装置（または図２のサーバ２００等のサーバ）が各施設に対する第２の表現を生成し、後で使用するために第２の表現を保存する（こうして操作５１８での処理時間を節約する）。ある態様では、施設に対する第２の表現は予め定められた間隔（例えば、１日に１回、１時間に１回、又はサーバシステムやコンピュータ装置に計算リソースを保存するように設計された別の間隔）で生成される。ある態様では、施設に対する第２の表現はまず予め定められた間隔（例えば、１日に１回、１時間に１回、又はサーバシステムやコンピュータ装置に計算リソースを保存するように設計された別の間隔）で生成され、次に各施設に関する新しい画像やレビューが受信されると後から更新される。ある態様では、操作５０８（図５）の間、テキストレビューと保存画像を取り出す代わりに、コンピュータ装置は１つ以上の施設に対する事前生成（又は事前計算）された第２の表現を取得する。

第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していると判定する（５２０）ことにより、コンピュータ装置は，（ｉ）第１の画像を第１の候補施設に関連付け、（ｉｉ）第１の画像が第１の候補施設に関連していることの指示を与える（例えば、第１の画像は第１の候補施設で撮影されたことを示すテキストの記述による視覚的指示、又は関連を反映する別の何らかのデータベースの更新）。こうして方法５００は、第１の画像を他の画像と比較することにのみに集中しないで、第１の画像を第１の施設に関連付けることが可能である（すなわち、消費者の写真はノイズが多く、人間空間の一般的な物体の室内画像を多数含んでいるので、施設で撮影された画像コンテンツは、第１の画像を他の画像と区別する固有の低レベル視覚パターンを持っていない可能性がある。）したがって本方法では、クエリ画像内の低レベル視覚特徴を既存の（例えばリポジトリ内に保存された）データベース画像と比較するというよりむしろ、クエリ画像及び同一の施設に関係するほかのドメインのデータにある画像コンテンツを意味概念付きで表現する（例えば、第１の／クエリ画像内にビジネス関連視覚概念があることを検出することによって）。こうして意味概念は視覚コンテンツを単語表現に展開して、データベースにある保存テキストデータ（例えば、図２のデータベース１１２に保存されたテキストレビュー）と照合することができる。

ある態様では、第１の表現が第１の候補施設のそれぞれの第２の表現に最も類似していることを判定するステップが、第２の表現のそれぞれが複数のビジネス関連概念の多次元空間における第１の表現に最も近いと判定することを含む。ある態様ではスコアは、その概念が画像内のあるコンテンツをどれだけ十分に記述するかを示している（例えば、画像の前景で焦点が合っているコーヒーは、その画像にはない他の概念よりも高いスコアを得る）。ある態様では、第１の画像が検出されたビジネス関連概念の多次元空間内にベクトルとして表現される。そして第１の画像の表現とリポジトリ内の各施設に関連する他のオブジェクト（レビューと画像）との間の距離が計算されて、第１の画像に最もよく一致する施設（例えば、多次元空間において第１の画像の表現に最も近いレビュー／画像を持つ施設）が見つけ出される。

ある態様では、第１の画像を第１の候補施設に関連付ける前には、リポジトリには第１の候補施設に関連する画像が含まれていない。つまり、方法５００は単語表現のみに基づいて画像を施設に一致させることができる（例えば、第１の画像内に視覚概念を識別してそれらの視覚概念に基づいて単語表現を生成し、その時点で第１の施設に関する画像が手に入らないとしても、第１の施設に関連付けられたテキストレビューのみに基づいて単語表現を第１の施設に合わせる。）

ある態様では、第１の画像を前記第１の施設に関連付けるステップが、第１の画像をリポジトリ内に保存するために送信することを含む。

ある態様または状況においては、受信した第１の画像が室内環境で撮影された画像に対応する（本開示の態様は室内画像に対して特に有利である）。別の態様または状況においては、受信した第１の画像は室外環境で撮影された画像に対応する。

ある態様では、複数の施設に関連するテキストレビュー及び保存画像のリポジトリは、コンピュータ装置から遠隔地にあるサーバシステムに保持される。

図６Ａ〜図６Ｃは、ある態様による、画像を施設に関連づける本明細書に開示したシステムと方法の性能と利点を示す解析表及びグラフである。

具体的には、図６Ａは、レビュー（特徴として単語表現ＷｏｒｄＶｅｃを利用）と画像（特徴としてＣＮＮで学習した画像表現を利用）の２つのデータドメインを有する施設データベースでの施設認識精度を示している。列６０２（“Ａｃｃ．＠２“と表現）は、候補施設のリストに２つの施設が含まれている場合の精度を示す。列６０４（“Ａｃｃ．＠５“と表現）は、候補施設のリストに５つの施設が含まれている場合の精度を示す。単純にテキスト表現を使用する場合（“ＷｏｒｄＶｅｃ（Ｇｏｏｇｌｅ Ｎｅｗｓ）“）が、ランダム推定よりも性能がよい。これはＢＡ−ＣＮＮ（Ｃ十Ｖ）からの概念抽出が実際に意味論的な意味を有していることを示している。Ｗｏｒｄ−Ｖｅｃ（Ｂｕｓｉｎｅｓｓ−ａｗａｒｅ）がＷｏｒｄＶｅｃ（Ｇｏｏｇｌｅ Ｎｅｗｓ）を凌駕しており、ビジネス関連性の重要さを示している。そしてＢＡ−ＣＮＮ（Ｃ＋Ｖ）＋ＷｏｒｄＶｅｃが全体での最高の精度となっている（２つと５つの候補施設に対してそれぞれ７８．５％と５６．１％）。

データ稀薄性の問題のために、データベース（例えば図２のデータベース１１２）の施設は、堅牢な画像ベース施設認識のための十分な数の画像を関連付けられないことがある。図６Ｂに示すように、約１２，０００の施設（施設全体の５０％超）が５個未満の関連画像しか持っていない。

図６Ｃは、異なる数の近接施設を候補施設として考慮した場合の認識精度を示す。図６Ｃに示すように、付近の施設が多いほど、施設の識別がより困難となるので、実行精度は落ちる。これも図６Ｃに示されているように、すべての数の近接施設にわたり、ＢＡ−ＣＮＮ（Ｃ＋Ｖ）が他のモデルよりも常に性能が優れている。

図６Ｄは、データ稀薄性の問題に対する多モード施設認識の有用性を示している。データベース内の施設画像が不十分（例えば、施設当たり５未満）である場合、多モード認識（ＢＡ−ＣＮＮ（Ｃ十Ｖ）＋ＷｏｒｄＶｅｃ）が画像だけに頼る（ＢＡ−ＣＮＮ）場合よりも大きく改善されている。データベース内の各施設に１つしか画像がない場合、レビューテキストのみの照合（ＷｏｒｄＶｅｃ）が、データベース画像照合（ＢＡ−ＣＮＮ（Ｃ＋Ｖ））よりもより精度が高いが、それでも多モード施設認識（ＢＡ−ＣＮＮ（Ｃ十Ｖ）＋ＷｏｒｄＶｅｃ）の性能が最高である。

上記のように、高水準の意味概念（例えば、ビジネス関連概念）は、単なる画像だけよりもより多くのデータのあるドメイン、例えばレビューの単語において一般的である。この関連付けは純粋な視覚コンテンツを多モード特徴表現−視覚概念表現と単語表現−へ展開し、テスト画像（テキストなし）を、施設認識のためのウェブ上の多モード情報源（例えば、画像とレビュー）への関連付けを可能とする。本願ではこれは多モード施設認識と定義する。多モード施設認識は、単一モード認識よりも精度が高い。さらに、単一モード認識よりもデータ稀薄性の問題に対してより堅牢である。例えば、施設の画像が非常に少なくて、データベース中にない場合に、画像ベースの認識は適用不能であるが、ここで開示する多モード認識は、別に入手できるデータ（レビューなど）を活用して、標的の施設と関連付けることが可能であるために、それでも機能する。

本明細書において“第１”、“第２”などの用語が様々な要素の記述に使用されるが、これらの要素はこの用語で限定されるものではない。これらの用語は、単に、１つの要素を別の要素と区別するために使用される。例えば発生するすべての“第１の接触”を一貫して名称変更し、かつ発生するすべての第２の接触を一貫して名称変更する限りは、記述の意味は変わるが、第１の接触を第２の接触と呼び、第２の接触を第１の接触と呼ぶこともできる。第１の接触と第２の接触はいずれも接触であるが、同一の接触ではない。

本明細書で使用の用語は、特定の態様を説明するためだけのものであり、請求の範囲を限定することを意図するものではない。本明細書に使用の“及び／又は”という用語は、関連して列挙される１つ以上の項目のあらゆる可能な組合せを指し、またそれを包含する。

上記の記述は説明の目的で特定の態様を参照して記述した。ただし、上記の説明的な議論は網羅的であることも、本発明を開示した形態そのものに限定することも意図していない。上記の教えの見地から、多くの変更及び変形が可能である。態様例は、本発明の原理とその実際的な適用を最もよく説明し、それによって他の当業者が本発明と様々な態様を、考え得る具体的な使用に好適なさまざまな変更をして最もよく活用できるように選択され、記述された。

添付の請求項の範囲内のシステム、方法、及び装置の様々な態様は、それぞれが複数の態様を有し、そのいずれの１つもそれだけで本明細書に記載の属性に対応するものではない。添付の請求項の範囲を制限することなく、本開示を考察し、及び特に“態様の説明”のセクションを考察した後に、視覚的に関連がありかつビジネス関連性を考慮した意味論を利用することでコンピュータ装置が画像を施設（例えばその画像が撮影された施設）へ関連付けできるようにするための、様々な態様の使われ方が理解されるであろう。

開示された態様は、（その施設に関連する画像が入手できないなど、施設に関するデータが僅かにしか得られない等の場合においても）画像を施設に正確に関連付けるための方法を提供する。一般的に開示された態様は、テキストベースのレビュー（例えばＹｅｌｐ（登録商標）レビュー）と保存画像（例えば、インスタグラム（登録商標）、Ｙｅｌｐ（登録商標）、及びその他の類似のソーシャルメディアサービスからの画像であって、既に施設に関連付けられているもの）との両方を効果的に活用して、画像をその画像が撮影された施設に正確に関連付けるフレームワークを形成する。例えば、このフレームワークには施設のテキストレビューからの探索意味概念（これは本明細書ではビジネス関連概念とも呼ぶ）が含まれる。意味概念は、施設認識の目的で利用可能な、ビジネス関連性があり、視覚的に検出可能であり、かつ弁別可能な用語を含むように入念に選択される。フレームワークにはまた、（ｉ）クエリ画像（例えば、まだ施設に関連付けられていない画像）にある意味概念を識別するために視覚検出器を訓練することと、（ｉｉ）それぞれの意味概念を単語表現（本明細書では“単語ベクトル”あるいは“用語ベクトル”とも称する）に変換するために単語表現モデル（単語表現モデルの例は図４Ａを参照して後で議論する）を利用することとが含まれる。意味概念を識別した後、各クエリ画像に対して最も類似の施設を識別するために、個々のクエリ画像の表現（例えばこの表現には、意味概念が個々のクエリ画像内に存在する尤度を反映するスコアのベクトルと、高スコアの意味概念に対する単語表現とが含まれる）を候補施設の表現と比較することができる。１つの実験においては、本明細書に記載の態様に従って（例えば、ここでは“ＢＡ−ＣＮＮ“と呼ぶ本開示のビジネス関連・畳み込みニューラルネットワークを利用して）検出された視覚概念は、従来の方法（例えば最新の畳み込みニューラルネットワーク機能）に比べて、施設認識に関して最大で２２．５％の改善が達成された。

より具体的には一態様において、コンピュータ装置（例えば、ユーザのラップトップ、携帯電話などのローカルコンピュータ装置、又はサーバなどのリモートコンピュータ装置）が、特定の地理領域に関連する第１の画像を受信する（例えば、その画像に付属するメタデータから概略のＧＰＳ座標を抽出することができる）。コンピュータ装置はまた、テキストレビュー（例えば、Ｙｅｌｐ（登録商標）の等のサービスを通じて入手可能なものなどのオンラインレビュー）の第１の集合と、１つ以上の候補施設（例えば、各候補は特定の地理領域の予め定められた距離内に位置している）に関連する保存画像（例えば、インスタグラム（登録商標）などのサービスを通じて入手可能なものの施設に関するユーザ投稿画像）の第２の集合とを引き出す。コンピュータ装置はまた、トレーニングされた視覚検出器を用いて、第１の画像内に複数のビジネス関連概念を検出し、その検出されたビジネス関連概念が第１の画像内に存在する尤度を反映するスコアを指定する。コンピュータ装置はさらに、（ｉ）スコアと、高スコアビジネス関連概念に関する１つ以上の単語ベクトルとに基づく第１の画像の第１の表現を生成し、（ｉｉ）第１と第２の集合に基づいて各候補施設の第２の表現を生成する。第１の表現が、第１の候補施設の各第２の表現に最も類似していると判定することにより、この方法が、（ｉ）第１の画像を第１の候補に関連付け、また（ｉｉ）関連していることの指示を与える。

開示した態様は、様々なソーシャルネットワークで入手可能なもの、ユーザのローカルデバイスに保存されているもの、などを含む、特定の施設にまだ関連付けられていない任意の画像に適用可能である。

ある態様において、特定の施設とジオタグの付いていないソーシャルメッセージの位置を識別する方法が開示されている。これは、微細な区画での地理的位置と、そのソーシャルメッセージに関連する施設名とを同時に示す。ある態様において、ソーシャルネットワーク情報は、ソーシャルネットワークのメタ経路を利用して符号化されている。ソーシャルネットワークに埋め込まれた地理情報もまた利用される。分類器が訓練されて、ソーシャルメディアメッセージと施設（実際の施設、又は施設のないノード）がリンクされているかどうかの確率を計算する。

ある態様によれば、プロセスが画像をそれが撮影された施設に関連付ける。このプロセスは、ディスプレイと１つ以上の入力装置と１つ以上のプロセッサとメモリとを有するコンピュータ装置（例えば、図１と図３のコンピュータ装置１０２、又は図１と図２のサーバ２００）で遂行される。このプロセスには、特定の地理領域に関連する第１の画像を、１つ以上の入力装置を介して受信することが含まれる。このプロセスにはまた、複数の施設に関するテキスト形式のレビューと保存画像とを含むリポジトリから、複数の施設の内の１つ以上の候補施設に関係するテキストレビューの第１の集合と保存画像の第２の集合とを引き出すことが含まれる。（例えば、１つ以上の候補施設の各施設は、特定の地理領域の予め定められた距離内にある。）ある態様において、第１の画像の受信に応答して引き出しが遂行される。このプロセスにはさらに、訓練された視覚検出器を用いた第１の画像の解析に基づいて、第１の画像内に複数のビジネス関連概念を検出することが含まれる。（例えば、検出されたビジネス関連概念のそれぞれは、その検出されたビジネス関連概念が第１の画像内に存在する尤度を反映するスコアに関連づけられる。）さらにこのプロセスには、関連スコアに基づいて、また複数のビジネス関連概念の中から高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、第１の画像に対応する第１の表現を生成することと、１つ以上の候補施設のそれぞれに対応する第２の表現を受信することが含まれる。（例えば、第２の表現はテキストレビューの第１の集合と保存画像の第２の集合とに基づいている。）第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従ってこのプロセスには、（ｉ）第１の画像を第１の候補施設に関連付けること、（ｉｉ）第１の画像が第１の候補施設に関連付けられていることの指示を与えること、が含まれる。

こうして本明細書に開示のプロセスは、第１の画像を他の画像と比較することにのみに集中することなしに、第１の画像を第１の施設に関連付けることが可能である（すなわち、消費者の写真はノイズが多く、多くの室内画像や人間空間の一般的な物体を含んでいるので、施設で撮影された画像コンテンツは、第１の画像を他の画像と区別する固有の低レベル視覚パターンを持っていない可能性がある。）したがって本方法では、クエリ画像内の低レベル視覚特徴を既存の（例えばリポジトリ内に保存された）データベース画像と比較するというよりむしろ、クエリ画像及び同一の施設に関連するほかのドメインのデータにある画像コンテンツを意味概念付きで表現する（例えば、第１の／クエリ画像内にビジネス関連視覚概念があることを検出することによって）。こうして意味概念は視覚コンテンツを１つ以上の単語表現に展開可能である。

上記のプロセスのある態様によれば、第２の表現を受信することが、訓練された視覚検出器を用いて保存された画像の第２の集合の各保存画像の解析に基づいて、各保存画像内に複数のビジネス関連概念を検出することを含む。ある態様において、検出された各ビジネス関連概念は、検出されたビジネス関連概念が各画像内に存在する尤度を反映するスコアに関連付けられ、第１の候補施設の第２の表現のそれぞれが、（ｉ）０以上の関連スコア（例えば０以上の関連スコアは、それぞれのビジネス関連概念が第１の候補施設に関連付けられた画像内に存在する尤度を反映する）と、（ｉｉ）第１の候補施設に関連する各テキストレビューに対する１つ以上の単語表現とに基づいている。ある態様において、それぞれのビジネス関連概念が存在する尤度とは、それぞれのビジネス関連概念の存在を計算した確率を表している。別の態様では、尤度とは、明確な確率を計算するのではなく、その個々のビジネス関連概念が存在する相応な可能性（例えば５０％を超える可能性）を表している。

上記のプロセスのある態様によれば、複数のビジネス関連概念の各概念は、（ｉ）各概念はビジネス関連性があり、（ｉｉ）各概念は視覚的に一貫しており、（ｉｉｉ）各概念は施設の認識に関して弁別性がある、という条件を満たしている。このように、画像内で認識可能であり、様々な施設間で弁別可能である概念のみが選択されてリポジトリに含まれる（例えば、その他のすべての概念はふるい落とされる）。ある態様において、各ビジネス関連概念は複数の検証により条件を満たすことが確認される。例えば画像の訓練セットを利用して条件が満たされていることを確認する。ある態様において、その施設に関連するテキスト（例えば、レビュー）内に頻出する名詞が識別され、次にそれらの概念がすべての条件を満足するかどうかが確認される（例えば、視覚的に検出できない精度の低い概念が除外され、弁別不能なエントロピの高い概念が除外される）。

上記のプロセスのある態様において、複数のビジネス関連概念が、ビジネス関連概念を識別するための施設に関連するテキスト（例えば、施設、会社の概要、購入記録などに関するレビューを含むテキスト）の探索によって識別される。

上記のプロセスのある態様によれば、訓練された視覚検出器は、複数のビジネス関連概念に関連する画像を利用し、クエリ画像の視覚概念を１つ以上のビジネス関連概念に一致させるように構成された視覚概念検出器で構築することにより訓練される。

上記のプロセスのある態様によれば、訓練された視覚検出器は第１の画像を受信する前に訓練される。

上記のプロセスのある態様によれば、第１の画像を第１の候補施設に関連付ける前には、リポジトリには第１の施設に関連する画像が含まれていない。ある態様において、第１の画像を第１の候補施設に関連付ける前には、１つ以上の候補施設のいくつか（例えば、２つ以上）には、リポジトリ内に関連する画像がない場合がある。つまり、プロセスは単語表現のみに基づいて画像を施設に一致させることができる（例えば、第１の画像内に視覚概念を識別して、その時点で第１の施設に関する画像が手に入らないとしても、第１の施設に関連付けられたテキストレビューのみに基づいてそれらの視覚概念を第１の施設に関する単語表現に一致させる。）

上記のプロセスのある態様によれば、与えられる指示には、第１の画像が第１の施設において撮影されたことを示すテキスト記述のついた視覚指示が含まれる。

上記のプロセスのある態様によれば、第１の表現が第１の候補施設のそれぞれの第２の表現に最も類似していることを判定することが、それぞれの第２の表現が複数のビジネス関連概念の多次元空間における第１の表現に最も近いと判定することを含む。

上記のプロセスのある態様によれば、第１の画像を受信する前に、複数のビジネス関連概念が施設に関連する画像とテキストレビューを解析することにより識別されて、以下の条件、つまり（ｉ）各概念はビジネス関連性がある、（ｉｉ）各概念は視覚的に一貫している、（ｉｉｉ）各概念は施設の認識に関して弁別可能である、を満たす概念が配置される。

上記のプロセスのある態様によれば、第１の画像を第１の施設に関連付けることが、第１の画像をリポジトリに送信して保存させることを含む。

上記のプロセスのある態様によれば、受信した第１の画像が室内環境で撮影された画像に対応する。

上記のプロセスのある態様によれば、受信した第１の画像が室外環境で撮影された画像に対応する。

上記のプロセスのある態様によれば、特定の地理領域が、第１の画像が撮影された地点の近似座標（例えば、第１の画像に関連するＧＰＳ座標、又は第１の画像が撮影された時点におけるコンピュータ装置に関連するＧＰＳ座標）に関連付けられる。

上記のプロセスのある態様によれば、特定の地理領域は、第１の画像が撮影されたときにコンピュータ装置によって検出されたＷｉ−Ｆｉ信号に基づいて決定される。ある態様において、特定のソーシャルネットワーク内でのユーザの活動の履歴ログを利用して特定の地理領域（例えば、以前のチェックイン位置、またはユーザからの以前の投稿に関する位置データに基づいて）が判定される。あるいは１つ以上の候補施設に含まれる施設がさらに絞り込まれる（例えば、上記の関連アプリケーションに関する説明中に記述されている手法を参照）。

上記のプロセスのある態様によれば、第１の表現は第１の画像の多モード表現である。多モード表現とは、複数のモダリティ（例えば、画像とテキスト）の表現を結合させた表現である。ある態様において、多モード表現は、（ｉ）それぞれの検出されたビジネス関連概念と、その検出されたビジネス関連概念が第１の画像中に存在する尤度を反映する関連スコア（例えば、検出されたビジネス関連概念と関連スコアを表す第１のベクトル）と、（ｉｉ）高スコアビジネス関連概念に対する１つ以上の単語表現（例えば、１つ以上の単語表現を表す第２のベクトル）との組合せである。

上記のプロセスのある態様によれば、高スコアのビジネス関連概念は、スコア閾値を超える指定スコアに関連付けされる。

上記のプロセスのある態様によれば、複数の施設に関連するテキストレビュー及び保存画像のリポジトリは、コンピュータ装置から遠隔地にあるサーバシステムに保持される。

ある態様は、本明細書に記載したものと同じ手法を数多くの多様なコンテキストに適用する。より一般的には、開示した手法は、画像が特定の注目点（ＰＯＩ）で撮影されたかどうかを評価するために適用することができる。例えば、写真とユーザと注目点のソーシャルネットワークグラフを作成する場合、与えられた写真（これにはジオタグがついていない）が注目点で生成されたかどうかをこの手法で評価することができる。追加的な例としては、本明細書で開示した態様を、（ｉ）チェックイン場所の推薦（例えば、ユーザがソーシャルメディアサービスに投稿するとき、本明細書に開示の態様によりその画像に関連する施設の推薦に利用可能である）、（ｉｉ）位置プロファイリング（例えば、画像と特定の施設との間の予め定められた関連に基づく特定の施設におけるユーザの活動とエクスペリエンスの理解）、及び（ｉｉｉ）位置ベースのサービス（例えば、施設と画像との間の予め定められた関連に基づくユーザへのプロモーション情報や広告の標的化）のために利用可能である。

１０２−１ クライアント
１０２−ｒ クライアント
１０４ サーバシステム
１０８ 通信ネットワーク
１１０ ウェブサーバ
１１２ データベース
１１４ 視覚検出器訓練モジュール
１２２−１ 外部サービス
１２２−ｎ 外部サービス

Claims (20)

1. 画像を施設に関連付ける方法であって、ディスプレイと、１つ以上の入力装置と、１つ以上のプロセッサと、メモリを有するコンピュータが、
   特定の地理領域に関連する第１の画像を、前記１つ以上の入力装置を介して受信し、
   複数の施設に関するテキスト形式のレビューと保存画像とを含むリポジトリから、前記複数の施設の内の１つ以上の候補施設に関連するテキストレビューの第１の集合と保存画像の第２の集合とを引き出し、前記１つ以上の候補施設の各施設は、前記特定の地理領域の予め定められた距離内にあり、
   訓練された視覚検出器を用いた前記第１の画像の解析に基づいて、前記第１の画像内に複数のビジネス関連概念を検出し、検出された各ビジネス関連概念は、前記検出されたビジネス関連概念が前記第１の画像内に存在する尤度を反映するスコアに関連付けられ、
   前記スコアに基づき、また前記複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、前記第１の画像に対応する第１の表現を生成し、
   前記１つ以上の候補施設のそれぞれに対応する第２の表現を受信し、前記第２の表現はテキストレビューの前記第１の集合と保存画像の前記第２の集合とに基づいており、
   前記第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従って、（ｉ）前記第１の画像を前記第１の候補施設に関連付け、（ｉｉ）前記第１の画像が前記第１の候補施設に関連付けられていることの指示を与える、
   方法。
2. 前記コンピュータが、前記第２の表現を受信する場合に、前記訓練された視覚検出器を用いて保存画像の第２の集合の各保存画像の解析に基づいて、各保存画像内に前記複数のビジネス関連概念を検出し、
   検出された各ビジネス関連概念は、前記検出されたビジネス関連概念が前記各保存画像内に存在する尤度を反映するスコアに関連付けられ、
   さらに、第１の候補施設の第２の表現のそれぞれが、（ｉ）０以上の関連スコアと、（ｉｉ）前記第１の候補施設に関連する各テキストレビューに対する１つ以上の単語表現とに基づいている、請求項１に記載の方法。
3. 前記複数のビジネス関連概念の各概念は、（ｉ）各概念はビジネス関連であり、（ｉｉ）各概念は視覚的に一貫しており、（ｉｉｉ）各概念は施設の認識に関して弁別可能である、という条件を満たしている、請求項１または請求項２に記載の方法。
4. 前記複数のビジネス関連概念は、前記ビジネス関連概念を識別するために施設に関連するテキストと画像を探索することによって識別される、請求項１〜請求項３の何れか１項に記載の方法。
5. 前記訓練された視覚検出器は前記複数のビジネス関連概念に関連する画像を利用し、かつクエリ画像の視覚概念を１つ以上の前記ビジネス関連概念に合致させるように構成された視覚概念検出器を構築することによって訓練される、請求項１〜請求項４の何れか１項に記載の方法。
6. 前記訓練された視覚検出器は、前記第１の画像を受信する前に訓練される、請求項５に記載の方法。
7. 前記第１の画像を前記第１の候補施設に関連付ける前には、前記リポジトリには前記第１の候補施設に関連する画像が含まれていない、請求項１〜請求項６の何れか１項に記載の方法。
8. 与えられる指示には、前記第１の画像が前記第１の候補施設において撮影されたことを示すテキスト記述のついた視覚指示が含まれる、請求項１〜請求項７の何れか１項に記載の方法。
9. 前記第１の表現が第１の候補施設のそれぞれの第２の表現に最も類似していることを判定するステップは、前記第２の表現のそれぞれが前記複数のビジネス関連概念の多次元空間における前記第１の表現に最も近いことを判定すること含む、請求項１〜請求項８の何れか１項に記載の方法。
10. 前記第１の画像を受信する前に、前記複数のビジネス関連概念が前記施設に関連する画像とテキストレビューを解析することにより識別されて、以下の条件、（ｉ）各概念はビジネス関連性がある、（ｉｉ）各概念は視覚的に一貫している、（ｉｉｉ）各概念は施設の認識に関して弁別可能である、を満たす概念が配置される、請求項１〜請求項９の何れか１項に記載の方法。
11. 前記第１の画像を前記第１の候補施設に関連付けるステップが、前記第１の画像を前記リポジトリ内に保存するために送信することを含む、請求項１〜請求項１０の何れか１項に記載の方法。
12. 前記受信した第１の画像は室内環境で撮影された画像に対応する、請求項１〜請求項１１の何れか１項に記載の方法。
13. 前記受信した第１の画像は室外環境で撮影された画像に対応する、請求項１〜請求項１２の何れか１項に記載の方法。
14. 前記特定の地理領域は、前記第１の画像が撮影された地点の近似座標に関連づけられる、請求項１〜請求項１３の何れか１項に記載の方法。
15. 前記特定の地理領域は、前記第１の画像が撮影されたときに前記コンピュータによって検出されたＷｉ−Ｆｉ信号に基づいて判定される、請求項１〜請求項１４の何れか１項に記載の方法。
16. 前記第１の表現は、前記第１の画像の多モード表現である、請求項１〜請求項１５の何れか１項に記載の方法。
17. 前記高スコアのビジネス関連概念は、スコア閾値を超える指定スコアに関連付けされる、請求項１〜請求項１６の何れか１項に記載の方法。
18. 前記複数の施設に関連するテキストレビュー及び保存画像の前記リポジトリは、前記コンピュータから遠隔地にあるサーバシステムに保持される、請求項１〜請求項１７の何れか１項に記載の方法。
19. ディスプレイと１つ以上の入力装置と１つ以上のプロセッサとメモリとを有するコンピュータによって実行されるプログラムであって、前記コンピュータに、
    特定の地理領域に関連する第１の画像を、前記１つ以上の入力装置を介して受信し、
    複数の施設に関連するテキスト形式のレビューと保存画像のリポジトリから、前記複数の施設の内の１つ以上の候補施設に関連するテキストレビューの第１の集合と保存画像の第２の集合とを引き出し、前記１つ以上の候補施設の各施設は、前記特定の地理領域の予め定められた距離内にあり、
    訓練された視覚検出器を用いた前記第１の画像の解析に基づいて、前記第１の画像内に複数のビジネス関連概念を検出し、検出された各ビジネス関連概念は、前記検出されたビジネス関連概念が前記第１の画像内に存在する尤度を反映するスコアに関連付けられ、
    前記スコアに基づき、また前記複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、前記第１の画像に対応する第１の表現を生成し、
    前記１つ以上の候補施設のそれぞれに対応する第２の表現を受信し、前記第２の表現はテキストレビューの前記第１の集合と保存画像の前記第２の集合とに基づいており、
    前記第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従って、（ｉ）前記第１の画像を前記第１の候補施設に関連付け、（ｉｉ）前記第１の画像が前記第１の候補施設に関連付けられていることの指示を与える、処理を実行させる命令を含んでいる、
    プログラム。
20. ディスプレイと、
    １つ以上の入力装置と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムと、
    を備える装置であって、
    前記１つ以上のプログラムは前記メモリ内に格納されて前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムには、
    特定の地理領域に関連する第１の画像を、前記１つ以上の入力装置を介して受信し、
    複数の施設に関連するテキストレビューと保存画像のリポジトリから、前記複数の施設の１つ以上の候補施設に関連するテキストレビューの第１の集合と保存画像の第２の集合とを引き出し、前記１つ以上の候補施設の各施設は、前記特定の地理領域の予め定められた距離内に位置し、
    訓練された視覚検出器を用いた前記第１の画像の解析に基づいて、前記第１の画像内に複数のビジネス関連概念を検出し、検出された各ビジネス関連概念のそれぞれは、前記検出されたビジネス関連概念が前記第１の画像内に存在する尤度を反映するスコアに関連付けられ、
    前記スコアに基づき、また前記複数のビジネス関連概念の中の高スコアのビジネス関連概念に対する１つ以上の単語表現に基づいて、前記第１の画像に対応する第１の表現を生成し、
    前記１つ以上の候補施設のそれぞれに対応する第２の表現を受信し、前記第２の表現はテキストレビューの前記第１の集合と保存画像の前記第２の集合とに基づいており、
    前記第１の表現が第１の候補施設の第２の表現のそれぞれに最も類似していることを判定することに従って、（ｉ）前記第１の画像を前記第１の候補施設に関連付け、（ｉｉ）前記第１の画像が前記第１の候補施設に関連付けられていることの指示を与える、ための命令が含まれている
    装置。