WO2005073879A1 - 情報検索システム、情報検索方法、情報検索装置,情報検索プログラム､画像認識装置、画像認識方法および画像認識プログラム､ならびに､販売システム - Google Patents

Abstract

ユーザがある商品を気になってからその商品を購入するまでの手順を連続化し、商品購入の際のストレスを無くす。ユーザは、カメラ機能付き携帯電話端末１で気になる商品を撮影し、画像データ７をインターネット２を介してサーバ３に送信する。サーバ３は、様々な商品や人物、ロゴマークなどの画像を登録したＤＢ４と、ＤＢ４内の画像データの関連情報を登録したＤＢ５を有する。サーバ３は、画像データ７に対して画像認識処理を行い、ＤＢ４内の画像データから、画像データ７と一致度の高いデータを検索し、ＤＢ５から対応する関連情報を抽出する。関連情報は、インターネット２を介してユーザに提示される。ユーザは、画像データ７を送信するだけで気になる商品の関連情報を得ることができ、関連情報に基づき当該商品に関連するサイト６にアクセスしてより詳細な情報を得たり、商品を購入することができる。

Description

明 細 書

情報検索システム、 情報検索方法、 情報検索装置、 情報検索プログ ラム、 画像認識装置、 画像認識方法および画像認識プログラム、 なら びに、 販売システム 技術分野

この発明は、 ユーザが気になった情報を検索し、 検索した情報に基 づく商品の購入などを容易に行えるようにする情報検索システム、 情 報検索方法、 情報検索装置、 情報検索プログラム、 画像認識装置、 画 像認識方法および画像認識プログラム、 ならびに、 販売システムに関 する。 背景技術

例えばポスタ一や雑誌掲載などの紙媒体としての広告や、 テレビジ ョン放送やラジオ放送のコマーシャルといった電波を媒体とする広告 により、 ユーザが気になる商品を発見した場合を考える。 このとき、 その広告に当該商品を購入可能な店舗情報が示されていれば、 ユーザ は、 店舗情報に基づき直接的に当該店舗に赴き当該商品を購入するこ とができる。 広告に当該商品を購入可能な店舗情報が掲載されていな い場合には、 ユーザは、 当該商品から推測して店舗を探す必要がある また、 近年では、 インターネッ トなどのネッ トワーク環境が発達し 、 所望の物品の詳細な情報や当該物品を購入可能な店舗情報を、 ネッ トワーク上で検索することが容易となっている。 ユーザは、 例えばパ —ソナルコンピュータなどを用いてィンターネッ ト上の検索サイ トに アクセスし、 所望の商品を示すと思われるキーワードにより目的の情 報を検索する。 検索された情報に、 当該商品を購入可能な店舗情報が 含まれている場合は、 ユーザは、 その店舗に赴き当該商品を購入する ことができる。

さらに、 このようなインターネッ卜の発達に伴う E C (E l ec t ron i c Comme rc e)の出現により、 イン夕一ネット上の情報検索サイ トの検索 結果に基づき、 ユーザが実際にその店舗に赴かなくても、 インターネ ットを介して当該商品を注文し、 決済することが可能になった。 ユー ザは、 自宅にいながらにして、 所望の商品を入手することができる。 さらにまた、 近年では、 インターネット接続機能が付加された携帯 電話端末が広く普及してきていると共に、 携帯電話端末にカメラ機能 が付加されたカメラ機能付き携帯電話端末が急速に普及し、 手軽に撮 影を行い、 撮影された画像デ一夕をィンタ一ネッ卜に対して送信する ことが可能となった。 これを背景として、 カメラで撮影した画像デ一 夕に基づき所望の商品を購入可能な店舗情報を入手できるようにする 方法が特開 2 0 0 3— 1 2 2 7 5 7号公報に提案されている。

この方法では、 ユーザは、 カメラ機能付きの携帯電話端末を用いて 所望の商品を撮影し、 撮影された撮像画像をィン夕ーネットを介して サーバに送信する。 サーバでは、 受信した撮像画像を解析して特徴量 情報を得て、 得られた特徴量情報に基づきデ一夕ベースを検索して当 該商品の詳細情報や当該製品の取り扱い店舗の所在地情報などを出力 し、 ユーザのカメラ機能付き携帯電話端末装置に返す。 ユーザは、 当 該商品の名称などを知らなくても、 当該商品を購入するために必要な 情報を得ることができる。

また、 テレビジョン放送やラジオ放送などで放送中のコンテンツに 対する情報検索については、 例えばディジタル B S放送や地上波ディ ジタルテレビジョン放送の場合、 インターネット接続型テレビジョン 受信機を用いてテレビジョン放送を受信し、 受信されたテレビジョン 放送と対応してィン夕一ネットを介して送信されたデータを検索する 方法が既に実用化されている。

一般のテレビジョン受像機の場合には、 パーソナルコンピュータや 、 インターネット通信機能付きの携帯電話端末を用い、 ユーザは、 気 になった番組やコマーシャルが放送された時刻を示す時刻情報を、 ィ ン夕一ネットなどのネットワークを介してサーバに送信し、 サーバ側 では、 予め用意されている、 放送局別の各時刻における放送内容関連 情報 （番組名、 コマーシャル情報、 出演者、 楽曲名、 アーティスト名 など） を格納したデータベースを受信した時刻情報に基づき検索し、 検索結果をユーザに返すシステムが既に実用化されている。

上述した、 広告に基づき実際に店舗に赴いたり、 イン夕一ネット上 の検索サイトなどから所望の商品の検索を行う方法 （第 1の方法） で は、 多くの場合、 ユーザは、 物品の情報を当該商品の名称などの文字 情報として記憶しておく必要があり、 その文字情報が分からない場合 、 目的の商品を購入可能な情報を入手することは、 非常に困難である という問題点があった。

例えば、 ユーザが、 新しく封切りされる映画のポスタ一を見て上映 する映画館と上映時間を知りたいと思ったとする。 従来では、 ポスタ 一に書かれている映画のタイ トルなどの文字情報を記憶若しくはメモ し、 この文字情報に基づき情報検索サイ 卜で必要な情報を検索する必 要があった。 この場合、 記憶した情報に基づく場合には、 記憶違いや 忘却などにより検索できなかったり、 不適当な検索結果しか得られな かったりするという問題点があった。 また、 メモを取る場合は、 筆記 用具やメモ用紙を用意するなど、 メモを取ること自体に手間がかかる という問題点があった。 また例えば、 ユーザが、 気に入った靴を履いている人物の写真を雑 誌の広告から発見したとする。 ユーザは、 その靴が何処のメーカのど の型名かも分からない場合は、 上述の情報検索サイ 卜で検索を行うた めのキーワードとして用いるべき文字情報すら得られないという問題 点があった。

さらに例えば、 ワインを購入する際、 そのワインが果たしてどんな 味なのか、 どのワイナリーで作られどの葡萄が用いられているかなど 、 必要な情報が揃わず買うべきか否かの決断ができない場合がある。 情報を知りたいワインボトルのラベルにある文字情報がフランス語の 場合など、 上述した従来方法による検索方法では入力欄にキーワード を入力することすら難しいという問題点があった。 また、 その場で直 ぐに情報を得たいという要求に対応することも、 従来方法では困難で あった。

第 1図 Aおよび第 1図 Bは、 この第 1の方法により情報を検索して 商品を購入する場合の一例の手順を示す。 先ず、 ユーザは、 紙媒体や テレビジョン放送、 ラジオ放送など、 所謂プッシュメディアと称され る媒体から、 商品の情報を入手する （ステップ S 1 0 0 ) 。 この段階 では、 ユーザは、 当該商品に対して 「気になる」 程度の関心しか持つ ていないことが考えられる。 次に、 ユーザは、 価格や仕様などの当該 商品の詳細な情報を、 情報誌などの紙媒体や、 インタ一ネット上の情 報検索サイ卜といった所謂プルメディアと称される媒体を利用して調 ベる （ステップ S 1 0 1 ) 。

ユーザは、 商品に関する詳細な情報を入手すると、 情報を確認し、 複数の購入可能情報が入手された場合は、 それらの価格を比較し （ス テツプ S 1 0 2 ) 、 購入可能な店舗の場所を調べる （ステップ S 1 0 3 ) 。 当該店舗が実体の店舗として存在する場合には、 地図を用いて 店舗の場所を確認する。 また、 その店舗が E Cに対応しており、 イン ターネッ ト上の W e bサイトとして店舗が存在する場合には、 当該店 舗の U R L (Un i f o rm Res ourc e Loc a t o r)が確認される。 さらに、 ユー ザは、 自身の予算と、 自身が購入したいと思っている商品のリスト （ ウィッシュリスト） における当該商品の優先順位とから、 当該商品を 実際に購入するか否かを決定し （ステップ S 1 0 4 ) 、 購入するとし た場合、 実際の購入に移る （ステップ S 1 0 5 ) 。

第 1の方法に基づく商品購入においては、 このステツプ S 1 0 0〜 ステップ S 1 0 5の各手順毎に検索や判断を要し、 ユーザの負担が大 きいと共に、 これらの手順が非連続的なそれぞれ個別のプロセスとな つており、 ユーザがある商品を 「気になる」' 状態となつてから購入す るまでに、 多大な手間がかかるという問題点があった。 またそのため 、 気になった商品を購入するまでにユーザが疲弊してしまい、 購入す る意欲を失ってしまうおそれもあった。 これは、 商品を販売する側か らみれば、 ビジネスチャンスを失うことを意味する。

また、 カメラ機能付き携帯電話端末を用いて所望の商品を撮影して 撮像画像をサーバに送信して商品情報を得る、 特開 2 0 0 3 _ 1 2 2 7 5 7号公報に記載の方法 （第 2の方法） では、 例えば、 所望の商品 をユーザの知人が所有していて写真を撮影させてもらえる、 ショーゥ インドウに所望の商品が撮影可能な状態に陳列してある、 などのよう に、 所望の商品が実際に撮影可能な状態になければいけないという問 題点があった。 紙媒体による広告やテレビジョン放送のコマーシャル などの画像を用いることも当然、 考えられるが、 この場合でも、 当該 商品が単独またはそれに近い状態で表示されている必要があり、 制限 が多いという問題点があった。

さらに、 ネットワーク接続型のテレビジョン受像機を用いて情報を 得る方法 （第 3の方法) では、 専用のテレビジョン受像機が必要とな るという問題点があった。 また、 関連情報は、 データチャンネルを用 いて放送されるため、 録画されたテレビジョン放送を再生する際には 、 録画および再生を行う機器がデータチャンネルの記録に対応してい る必要があるという問題点があった。 さらに、 放送局側で予め用意し た情報しか検索できないことや、 関連情報が放送時にデータチャンネ ルで送信されるために、 放送を録画後は、 記録された関連情報が更新 されないため、 録画された内容を再生するときには、 記録された関連 情報が古くなつていて有益ではない場合があるといった問題点があつ た。

さらにまた、 一般のテレビジョン受像機で受信された放送を視聴中 に、 パーソナルコンピュータや携帯電話端末を用いて時刻情報を送信 して情報を得る方法 （第 4の方法） では、 パーソナルコンピュータや 携帯電話端末でサーバにアクセスしている間に、 目的の映像が終了し てしまう場合があるという問題点があった。 また、 ユーザが自分の視 聴する放送局の情報を、 別途、 予めサーバに登録しておく必要があり 、 手間がかかるという問題点があった。 さらに、 録画された放送を再 生した映像から関連情報を得ようとする場合には、 当該映像の放送局 および放送時刻情報を予め当該映像と共に記録しておく必要があり、 そのための特殊な録画機器が必要とするという問題点があった。 一方、 ィン夕ーネットを介しての商品関連情報の検索および購入の システムを利用することで、 例えば以下のようなサービスが実施され ている。

( 1 ) 関連情報提供者が有料検索者に対して情報を提供するサービス 。

( 2 ) 検索者 （ユーザ） が要求する関連情報に対する関係の有無にか かわらず、 特定の企業の要請に基づき当該企業が指定して情報を露出 してその広告効果の対価を得るビジネス。

( 3 ) 検索に必要なシステムや関連データベースを、 これらを必要と する企業に対して利用許諾し、 その対価を得るビジネス。

( 4 ) 検索者が検索結果を得た後に、 その検索結果に基づき購買を希 望する場合、 通信販売業者に対してその検索者を紹介し、 紹介手数料 を得るビジネス。

( 5 ) 検索者自身が売り主となって、 他の検索者に物品を販売するビ ジネス。

しかしながら、 従来では、 既に述べたような様々な問題点が存在す るため、 これらのサービスやビジネスが円滑に実行できず、 その結果 、 多数の企業やユーザがビジネスチャンスを逃すことになつていたと いう問題点があった。 発明の開示

したがって、 この発明の目的は、 ユーザがある商品を気になってか らその商品を購入するまでの手順を連続化し、 ユーザがストレス無く 商品購入を行えるようにする情報検索システム、 情報検索方法、 情報 検索装置、 情報検索プログラム、 画像認識装置、 画像認識方法および 画像認識プログラム、 ならびに、 販売システムを提供することにある 上述した課題を解決するために、 請求の範囲 1に記載の発明は、 画 像データに基づき情報検索を行う情報検索システムにおいて、 画像デ —夕を取得する画像データ取得手段と、 画像データ取得手段で取得さ れた画像データを通信ネットワークに向けて送信する送信手段とを備 える端末装置と、 検索される可能性がある認識用画像データが登録さ れる第 1のデ一夕ベースと、 第 1のデータベースに登録された認識用 画像デ一夕に対応するメタデータが登録される第 2のデータベースと 、 端末装置から送信された画像データをネッ トワークを介して受信す る受信手段と、 受信手段で受信された画像データに基づき、 画像デー 夕が含む画像要素と一致度が高い認識用画像データを第 1のデータべ ースから検索する検索手段と、 検索手段による検索結果に基づき第 2 のデータベースからメタデータを抽出するメタデータ抽出手段とを備 えるサーバ装置とを有し、 サーバ装置は、 メタデータ抽出手段で抽出 されたメ夕デ一夕を通信ネットワークを介して端末装置で閲覧可能な ようにしたことを特徴とする情報検索システムである。

また、 請求の範囲 1 6に記載の発明は、 画像デ一夕に基づき情報検 索を行う情報検索方法において、 端末装置で画像データを取得する画 像デー夕取得のステップと、 画像データ取得のステップにより取得さ れた画像データを端末装置から通信ネッ トワークに向けて送信する送 信のステップと、 送信のステップにより送信された画像デ一夕をネッ トワークを介して受信する受信のステップと、 受信のステップにより 受信された画像デ一夕に基づき、 検索される可能性がある認識用画像 データが登録される第 1のデータベースから、 画像データが含む画像 要素と一致度が高い認識用画像データを検索する検索のステップと、 検索のステップによる検索結果に基づき、 第 1のデータベースに登録 された認識用画像データに対応するメ夕デ一夕が登録される第 2のデ 一夕ベースからメ夕デ一夕を抽出するメタデータ抽出のステップとを 有し、 メ夕デ一夕抽出のステップで抽出されたメ夕デ一夕を通信ネッ トワークを介して端末装置で閲覧可能なようにしたことを特徴とする 情報検索方法である。

また、 請求の範囲 1 7に記載の発明は、 画像デ一夕に基づき情報検 索を行う情報検索装置において、 検索される可能性がある認識用画像 データが登録される第 1のデータベースと、 第 1のデ一夕ベースに登 録された認識用画像データに対応するメタデータが登録される第 2の データベースと、 端末装置から送信された画像データを通信ネッ トヮ ークを介して受信する受信手段と、 受信手段で受信された画像データ に基づき、 画像データが含む画像要素と一致度が高い認識用画像デー 夕を第 1のデータベースから検索する検索手段と、 検索手段による検 索結果に基づき第 2のデ一夕ベースからメタデータを抽出するメタデ 一夕抽出手段とを有し、 メタデータ抽出手段で抽出されたメ夕デ一夕 を通信ネッ トワークを介して端末装置で閲覧可能なようにしたことを 特徴とする情報検索装置である。

また、 請求の範囲 1 8に記載の発明は、 画像データに基づき情報検 索を行う情報検索方法において、 端末装置から送信された画像データ を通信ネッ トワークを介して受信する受信のステツプと、 受信のステ ップにより受信された画像データに基づき、 検索される可能性がある 認識用画像データが登録される第 1のデータベースから、 画像データ が含む画像要素と一致度が高い認識用画像データを検索する検索のス テツプと、 検索のステップによる検索結果に基づき、 第 1のデータべ ースに登録された認識用画像データのメタデータが登録される第 2の データベースからメタデータを抽出するメタデータ抽出のステツプと を有し、 メタデータ抽出のステツプにより抽出されたメタデータを通 信ネッ トワークを介して端末装置で閲覧可能なようにしたことを特徴 とする情報検索方法である。

また、 請求の範囲 1 9に記載の発明は、 画像データに基づき情報検 索を行う情報検索方法をコンピュータ装置に実行させる情報検索プロ グラムにおいて、 情報検索方法は、 端末装置から送信された画像デ一 夕を通信ネッ トワークを介して受信する受信のステップと、 受信のス テツプにより受信された画像デ一夕に基づき、 検索される可能性があ る認識用画像データが登録される第 1のデータベースから、 画像デ一 夕が含む画像要素と一致度が高い認識用画像デ一夕を検索する検索の ステップと、 検索のステップによる検索結果に基づき、 第 1のデータ ベースに登録された認識用画像デ一夕のメタデ一夕が登録される第 2 のデータベースからメタデータを抽出するメ夕デ一夕抽出のステツプ とを有し、 メタデータ抽出のステップにより抽出されたメタデータを 通信ネッ トワークを介して端末装置で閲覧可能なようにしたことを特 徵とする情報検索プログラムである。

また、 請求の範囲 2 0に記載の発明は、 画像デ一夕から特定の形状 を認識する画像認識装置において、 検索される可能性がある認識用画 像データが登録される第 1のデータベースと、 第 1のデータベースに 登録された認識用画像データのメタデータが登録される第 2のデ一夕 ベースと、 入力された画像データに基づき、 画像データが含む画像要 素と一致度が高い認識用画像データを第 1のデータベースから検索す る検索手段と、 検索手段による検索結果に基づき第 2のデータベース からメタデータを抽出するメ夕デ一夕抽出手段とを有することを特徴 とする画像認識装置である。

また、 請求の範囲 2 9に記載の発明は、 画像データから特定の形状 を認識する画像認識方法において、 入力された画像データに基づき、 検索される可能性がある認識用画像データが登録される第 1のデータ ベースから、 画像データが含む画像要素と一致度が高い認識用画像デ 一夕を検索する検索のステップと、 検索のステツプによる検索結果に 基づき、 第 1のデ一夕ベースに登録された認識用画像データのメタデ 一夕が登録される第 2のデータベースからメタデータを抽出するメタ データ抽出のステップとを有することを特徴とする画像認識方法であ る。

また、 請求の範囲 3 0に記載の発明は、 画像データから特定の形状 を認識する画像認識方法をコンピュータ装置に実行させる画像認識プ ログラムにおいて、 画像認識方法は、 入力された画像データに基づき 、 検索される可能性がある認識用画像デ一夕が登録される第 1のデー 夕ベースから、 画像データが含む画像要素と一致度が高い認識用画像 データを検索する検索のステップと、 検索のステップによる検索結果 に基づき、 第 1のデータベースに登録された認識用画像データのメタ デ一夕が登録される第 2のデータベースからメタデータを抽出するメ タデ一夕抽出のステップとを有することを特徴とする画像認識プログ ラムである。

また、 請求の範囲 3 1に記載の発明は、 画像データを取得して通信 ネッ トワークに向けて送信する端末装置と、 通信ネットワークに対し て通信可能で、 画像データに基づき画像データのメタデータを出力す るサーバ装置と、 メタデータに関連する情報および Zまたは商品の提 供が可能な商品販売部とを有し、 サーバ装置は、 端末装置に対して課 金し、 課金された端末装置から送信された画像デ一夕に基づきメ夕デ 一夕を出力して端末装置で閲覧可能なようにすると共に、 端末装置を 商品販売部に顧客として紹介し、 商品販売部は、 顧客として紹介され た端末装置に対して閲覧可能とされたメタデータに関連する情報およ び/または商品の提供を行い、 端末装置から商品販売部に対して提供 された情報およびノまたは商品の代金が支払われるようにしたことを 特徴とする販売システムである。

また、 請求の範囲 3 2に記載の発明は、 画像データを取得して通信 ネットワークに向けて送信する端末装置と、 通信ネットワークに対し て通信可能で、 画像データに基づき画像データのメタデータを出力す るサーバ装置と、 メタデータに関連する情報および または商品の提 供が可能な商品販売部とを有し、 サーバ装置は、 端末装置から送信さ れた画像データに基づきメタデ一夕を出力して端末装置で閲覧可能な ようにし、 端末装置からサーバ装置に対して閲覧可能とされたメ夕デ —夕に関連する情報および または商品の代金が支払われ、 サーバ装 置から商品販売部に対して代金の一部が支払われ、 商品販売部から端 末装置に対して情報および または商品が提供されるようにしたこと を特徴とする販売システムである。

また、 請求の範囲 3 3に記載の発明は、 画像データを取得して通信 ネットワークに向けて送信する端末装置と、 通信ネットワークに対し て通信可能で、 画像データに基づき画像データのメタデータを出力す るサーバ装置と、 メタデータに関連する情報および Zまたは商品の提 供が可能な商品販売部とを有し、 端末装置から商品販売部に対して画. 像データが送信され、 商品販売部は、 端末装置から送信された画像デ 一夕に対応するメタデータをサーバ装置を用いて得ると共に、 サーバ 装置に対してサーバ装置の使用料金を支払い、 商品販売部は、 サーバ 装置を用いて得られた端末装置から送信された画像データに対応する メタデータを端末装置で閲覧可能なようにし、 端末装置は、 閲覧可能 とされたメ夕デ一夕に関連する情報および または商品の代金を商品 販売部に対して支払うようにしたことを特徴とする販売システムであ る。

上述したように、 請求の範囲 1 、 1 6 、 1 7 、 1 8および 1 9に記 載の発明は、 端末装置で取得され通信ネットワークを介して送信され た画像データに対し、 画像データに基づき、 検索される可能性がある 認識用画像データが登録される第 1のデータベースから、 画像データ が含む画像要素と一致度が高い認識用画像データを検索し、 検索結果 に基づき、 第 1のデータベースに登録された認識用画像データに対応 するメ夕デ一夕が登録される第 2のデータベースからメタデータを抽 出し、 抽出されたメタデータを通信ネットワークを介して端末装置で 閲覧可能なようにしているため、 端末装置から画像データを送信する だけで、 送信された画像データに対応するメタデータを端末装置上で 閲覧することができ、 ユーザは、 対象物に対する知識が無くても、 必 要な情報をその場で迅速に得ることができる。

また、 請求の範囲 2 0、 2 9および 3 0に記載の発明は、 入力され た画像デ一夕に基づき、 検索される可能性がある認識用画像データが 登録される第 1のデータベースから、 画像データが含む画像要素と一 致度が高い認識用画像デ一夕を検索し、 検索結果に基づき、 第 1のデ —夕ベースに登録された認識用画像データのメ夕デ一夕が登録される 第 2のデータベースからメタデータを抽出するようにしているため、 画像データを入力すると、 入力された画像デ一夕に対応するメタデー 夕を得ることができ、 画像データの対象に対する知識が無くてもその 画像データに関連する情報を得ることができる。

また、 請求の範囲 3 1に記載の発明は、 画像データを取得して通信 ネットワークに向けて送信する端末装置と、 通信ネットワークに対し て通信可能で、 画像データに基づき画像データのメタデータを出力す るサーバ装置と、 メ夕デ一夕に関連する情報および/または商品の提 供が可能な商品販売部とを有し、 サーバ装置は、 端末装置に対して課 金し、 課金された端末装置から送信された画像データに基づきメ夕デ 一夕を出力して端末装置で閲覽可能なようにすると共に、 端末装置を 商品販売部に顧客として紹介し、 商品販売部は、 顧客として紹介され た端末装置に対して閲覧可能とされたメタデータに関連する情報およ び または商品の提供を行い、 端末装置から商品販売部に対して提供 された情報および Zまたは商品の代金が支払われるようにしているた め、 端末装置のユーザは、 サーバ装置に対して料金を支払うことで、 端末装置で撮影した画像データをサーバ装置に送信することにより画 像データに関連する商品や情報を入手することができ、 サーバ装置は ユーザからの料金を得ることができ、 商品販売部は、 サーバ装置から 紹介された顧客に対して商品や情報を販売した代金を得ることができ る。 また、 ユーザは、 撮影対象の商品や情報についての知識が無くて も当該商品や情報を得ることができ、 商品販売部は、 販売している商 品や情報についての知識の無い新たな顧客を獲得することができる。 また、 請求の範囲 3 2に記載の発明は、 画像データを取得して通信 ネットワークに向けて送信する端末装置と、 通信ネットワークに対し て通信可能で、 画像データに基づき画像データのメ夕デ一夕を出力す るサーバ装置と、 メタデータに関連する情報および または商品の提 供が可能な商品販売部とを有し、 サーバ装置は、 端末装置から送信さ れた画像データに基づきメ夕デ一夕を出力して端末装置で閲覧可能な ようにし、 端末装置からサーバ装置に対して閲覧可能とされたメ夕デ 一夕に関連する情報および または商品の代金が支払われ、 サーバ装 置から商品販売部に対して代金の一部が支払われ、 商品販売部から端 末装置に対して情報および または商品が提供されるようにしている ため、 端末装置のユーザは、 サーバ装置に対して料金を支払うことで 、 端末装置で撮影した画像データをサーバ装置に送信することにより 画像データに関連する商品や情報を入手することができ、 サーバ装置 は情報提供した商品や情報の代金の一部を得ることができ、 商品販売 部は、 情報提供した商品や情報の残りの一部の代金を得ることができ る。 また、 ユーザは、 撮影対象の商品や情報についての知識が無くて も当該商品や情報を得ることができ、 商品販売部は、 販売している商 品や情報についての知識の無い新たな顧客を獲得することができる。 また、 請求の範囲 3 3に記載の発明は、 画像データを取得して通信 ネッ トワークに向けて送信する端末装置と、 通信ネットワークに対し て通信可能で、 画像データに基づき画像データのメタデータを出力す るサーバ装置と、 メタデ一夕に関連する情報および/または商品の提 供が可能な商品販売部とを有し、 端末装置から商品販売部に対して画 像データが送信され、 商品販売部は、 端末装置から送信された画像デ —夕に対応するメ夕デ一夕をサーバ装置を用いて得ると共に、 サーバ 装置に対してサーバ装置の使用料金を支払い、 商品販売部は、 サーバ 装置を用いて得られた端末装置から送信された画像デ一夕に対応する メタデータを端末装置で閲覧可能なようにし、 端末装置は、 閲覧可能 とされたメタデ一夕に関連する情報および/または商品の代金を商品 販売部に対して支払うようにしているため、 端末装置のユーザは、 サ ーバ装置に対して料金を支払うことで、 端末装置で撮影した画像デ一 夕を商品販売部に送信することにより画像デ一夕に関連する商品や情 報を入手することができ、 商品販売部は、 情報提供した商品や情報の 代金を得ることができ、 サーバ装置は、 機能の使用料を商品販売部か ら得ることができる。 また、 ユーザは、 撮影対象の商品や情報につい ての知識が無くても当該商品や情報を得ることができ、 商品販売部は 、 販売している商品や情報についての知識の無い新たな顧客を獲得す ることができる。 図面の簡単な説明

第 1図 Aおよび第 1図 Bは、 従来の第 1の方法により情報を検索し て商品を購入する場合の一例の手順を示す略線図、 第 2図 Aおよび第 2図 Bは、 この発明による購入プロセスを模式的に示す略線図、 第 3 図は、 この発明の実施の一形態によるシステムの一例の構成を示す略 線図、 第 4図 Aおよび第 4図 Bは、 ユーザ側およびサーバ側システム の構成の例を示すブロック図、 第 5図 Aおよび第 5図 Bは、 テレビジ ョン放送のコマーシャルに基づき画像データおよび関連情報を収集す る方法を説明するための図、 第 6図 Aおよび第 6図 Bは、 テレビジョ ン放送以外のメディァから画像データおよび関連情報を収集する方法 を説明するための図、 第 7図は、 ユーザから送られた画像データを認 識し、 メタデータを抽出する処理を説明するための略線図、 第 8図 A および第 8図 Bは、 画像認識処理およびメタデータ抽出処理について より詳細に説明するための略線図、 第 9図 A、 第 9図 B、 第 9図 C、 第 9図 Dおよび第 9図 Eは、 画像デ一夕から得られる情報の例を概略 的に示す略線図、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cは、 画像 認識処理およびメ夕デ一夕抽出処理をより具体的な例を用いて示す略 線図、 第 1 1図 Aおよび第 1 1図 Bは、 この発明の実施の一形態によ る、 メタデ一夕を用いて提供される様々なサービスの例を説明するた めの図、 第 1 2図 Aおよび第 1 2図 Bは、 雑誌や新聞に掲載の気にな る写真や記事の画像デ一夕に基づきサービスを受ける例を説明するた めの略線図、 第 1 3図 Aおよび第 1 3図 Bは、 雑誌や新聞に掲載の気 になる写真や記事の画像データに基づきサービスを受ける例を説明す るための略線図、 第 1 4図は、 雑誌や新聞に掲載の気になる写真や記 事の画像データに基づきサービスを受ける例を説明するための略線図 、 第 1 5図 Aおよび第 1 5図 Bは、 建造物の全体または一部の画像デ 一夕に基づきサービスを受ける例を説明するための略線図、 第 1 6図 Aおよび第 1 6図 Bは、 建造物の全体または一部の画像データに基づ きサービスを受ける例を説明するための略線図、 第 1 7図 Aおよび第 1 7図 Bは、 ワインボトルなどのラベルの画像データに基づきサービ スを受ける例を説明するための略線図、 第 1 8図 Aおよび第 1 8図 B は、 ワインボトルなどのラベルの画像データに基づきサービスを受け る例を説明するための略線図、 第 1 9囟 Aおよび第 1 9図 Bは、 人物 の画像データに基づきサービスを受ける例を説明するための略線図、 第 2 0図 Aおよび第 2 0図 Bは、 人物の画像データに基づきサービス を受ける例を説明するための略線図、 第 2 1図 Aおよび第 2 1図 Bは 、 広告画像の画像データに基づきサービスを受ける例を説明するため の略線図、 第 2 2図 Aおよび第 2 2図 Bは、 広告画像の画像デ一夕に 基づきサービスを受ける例を説明するための略線図、 第 2 3図 Aおよ び第 2 3図 Bは、 広告画像の画像データに基づきサービスを受ける例 を説明するための略線図、 第 2 4図 Aおよび第 2 4図 Bは、 広告画像 の画像データに基づきサービスを受ける例を説明するための略線図、 第 2 5図は、 広告画像の画像データに基づきサービスを受ける例を説 明するための略線図、 第 2 6図 A、 第 2 6図 Bおよび第 2 6図 Cは、 この発明の実施の一形態によるサービスと、 ユーザおよび各企業との 関係を概念的に示す略線図、 第 2 7図は、 ユーザに対して課金を行う 会員制の有料サービスの例を示す略線図、 第 2 8図は、 画像マ一カザ 一ビスが販売業者等による商品の販売や課金の代行を行う例を示す略 線図、 第 2 9図は、 画像マーカサ一ビが画像マーカサービスエンジン の機能を販売業者等に提供する機能 A S Pとなる例を示す略線図、 第 3 0図は、 画像マーカサービスが販売業者等に対して、 画像マーカサ 一ビスエンジンのライセンスを供与する例を示す略線図である。 発明を実施するための最良の形態

以下、 この発明の実施の一形態について説明する。 先ず、 この発明 の説明に先んじて、 この発明の出願人により既に実施されているサ一 ビスについて、 概略的に説明する。

このサービスでは、 テレビジョン放送やラジオ放送などで放送され る楽曲やコマーシャルの関連情報を、 放送される時刻情報と対応付け てサーバ側で予め登録しておく。 ユーザが街角や自宅などで視聴中の テレビジョン放送ゃラジォ放送で気になる楽曲やコマーシャルなどが 放送されたら、 例えばィン夕ーネット通信機能付きの携帯電話端末を 用いてサーバに対して時刻情報を送信する。 サーバでは、 受信した時 刻情報に基づき当該時刻に放送されていた楽曲やコマーシャルの関連 情報を検索し、 検索結果をユーザに返す。 これにより、 ユーザは、 気 になった楽曲やコマーシャルなどの関連情報を容易に入手することが できる。 それと共に、 サーバ側では、 ユーザに提供した楽曲やコマ一 シャル情報に関連するビジネスを展開することができる。

この発明では、 既に実施されている上述のサービスを画像データに 対して発展的に適応し、 ユーザに対して連続的な購入プロセスを提供 することを目的とする。 すなわち、 背景技術で述べた第 1の方法では 、 ユーザが情報を入手してから購入までのステップ S 1 0 0〜ステツ プ S 1 0 5までの各手順が第 1図 Aおよび第 1図 Bの如く非連続的で あった。 この発明では、 第 2図 Aおよび第 2図 Bに模式的に示される ように、 情報入手 （ステップ S 1 ) 、 情報検索 （ステップ S 2 ) 、 情 報確認および価格比較 （ステップ S 3 ) 、 購入可能店舗またはサイ ト 検索 （ステップ S 4 ) 、 予算確認 （ステップ S 5 ) 、 購入またはダウ ンロード （ステップ S 6 ) までの各手順を、 連続的なプロセスとする ことを目的とする。

第 3図は、 この発明の実施の一形態によるシステムの一例の構成を 示す。 ユーザは、 気になった情報を発見すると、 例えばカメラ機能付 き携帯電話端末 1を用いてその情報を撮影する。 一例として、 ユーザ の気になる商品の写真がある雑誌 「A B C D誌」 の表紙に掲載されて いるのをユーザが発見したものとする。 ユーザは、 カメラ機能付き携 帯電話端末 1を用いてこの雑誌 A B C D誌の表紙を撮影し、 得られた 画像データ 7をイン夕一ネット 2を介してサーバ 3に送信する。

サーバ 3は、 例えば一般的なコンピュータ装置と同様の構成により 実現可能な装置であり、 画像データの解析機能を有する。 サーバ 3は 、 画像デ一夕ベース 4および関連情報データベース 5を有する。 画像 データベース 4は、 各種商品の画像、 人物の画像、 ロゴマーク画像、 文字情報を示す画像など、 様々な画像データが登録される。 以下、 画 像データベース 4に既に登録されている画像を、 登録済み画像と呼ぶ 。 関連情報データベース 5は、 画像データベース 4に登録される画像 に関連する情報が当該画像のメタデータとして登録される。

なお、 サーバ 3は、 単独のコンピュータ装置で構成されるのに限ら ず、 ネットワークで接続された複数のコンピュータで構成することも できる。 また、 サーバ 3の機能は、 サーバ 3に搭載されるプログラム により実行される。 プログラムは、 C D— R〇M (Compac t D i s c-Re ad On l y Memo ry)などの記録媒体や、 ネットワークを介して供給される サーバ 3は、 画像データ 7を受信すると、 受信された画像データ 7 に対して画像認識処理を行う。 この画像認識処理において、 画像デー 夕 7に含まれている画像要素と一致または極めて類似する画像が画像 データベース ₄に登録されているか否かを調べる。 登録されていれば

、 サーバ 3は、 画像データベース 4の当該登録済み画像に対応する関 連情報を、 関連情報デ一夕ベース 5から検索する。 サーバ 3は、 検索 の結果得られた関連情報に基づく情報を、 ィンタ一ネット 2を介して カメラ機能付き携帯電話端末 1に対して送信する。

なお、 画像要素は、 一つの画像を構成する意味のある画像のそれぞ れをいう。 例えば、 画像が帽子を被った人物と、 ロゴマーク画像とか ら成り立っていれば、 帽子の画像、 人物の画像およびロゴマーク画像 のそれぞれが当該画像の画像要素である。

関連情報データベース 5に登録される関連情報には、 ィン夕ーネッ ト 2上に存在する関連サイ ト 6の UR L (Uni form Resource Locator) を含ませることができる。 ユーザは、 サーバ 3から送信された関連情 報に含まれる UR Lを用いて、 関連サイ ト 6にアクセスすることがで きる。 関連サイ ト 6が E Cに対応し、 インターネット 2を介しての商 品の購入が可能にされていれば、 ユーザは、 サーバ 3から送信された 関連情報に含まれる URLに基づき関連サイ ト 6にアクセスし、 関連 サイ ト 6上で商品の購入を行うことが可能となる。

次に、 この発明の実施の一形態によるシステム構成をより詳細に説 明する。 第 4図 Aおよび第 4図 Bは、 ユーザ側およびサーバ側システ ムの構成の例を示す。 ユーザ側において、 カメラ機能付き携帯電話端 末 1は、 カメ.ラ部 1 0、 表示部 1 1およびインターフェイス （ I ZF ) 部 1 2を有する。 カメラ部 1 0は、 例えば C C D (Charge Coupled Device)を撮像素子として用い、 撮像素子で撮像された撮像信号を所 定に画像データに変換して出力する。 画像データは、 例えば L CD (L iquid Crystal Display)を表示素子として用いた表示部 1 1に供給さ れ表示される。

それと共に、 カメラ部 1 0から出力された画像デ一夕をグレイスケ —ル化した画像デ一夕がィン夕ーフェイス部 1 2に供給される。 画像 デ一夕のグレイスケール化は、 例えば画像データの輝度成分だけを取 り出すことで可能である。 インターフェイス部 1 2は、 カメラ機能付き携帯電話端末 1とイン 夕ーネッ ト 2との間の通信を、 所定のプロトコルを用いて制御する。 ィンターフェイス部 1 2に供給された画像データは、 画像データ 7と して、 インタ一ネッ ト 2を介してサーバ 3に対して送信される。 この とき、 ユーザを特定するための I D情報などを画像データと共に送信 するとよい。

なお、 図中に点線のブロックで示されるように、 特徴抽出処理部 1 3を設け、 カメラ部 1 0から出力された画像データから所定に特徴抽 出を行い、 抽出された特徴データのみをィンタ一フェイス部 1 2に供 給するようにしてもよい。 この場合には、 特徴データのみがインタ一 ネッ ト 2に対して送信されることになる。

ユーザ側の画像データ取得および送信手段は、 カメラ機能付き携帯 電話端末 1に限られず、 情報提供側から提供される画像を取得可能な 手段であれば、 他の手段を用いることができる。

例えば、 ディジタルカメラ 1 Bで撮影された画像デ一夕をパ一ソナ ルコンピュータ （P C ) 1 5に転送し、 パーソナルコンピュータ 1 5 でィン夕ーネッ ト 2と通信を行うことにより、 画像データ 7としてサ ーバ 3に送信することが考えられる。 この場合でも、 ディジタルカメ ラ 1 Bで撮影された画像データに対して、 特徴抽出部 1 6で予め特徴 抽出を行い、 抽出された特徴データのみを画像デ一夕 7として送信す ることができる。 特徴抽出部 1 6は、 パーソナルコンピュータ 1 5上 のソフトウエアで構成するとよい。

また例えば、 ディジ夕ルテレビジョン受像機 1 Cで受信されたディ ジ夕ルテレビジョン放送による画像データを、 画像デ一夕 7としてサ —バ 3に送信するようにできる。 アンテナ 2 0で受信されたデイジ夕 ルテレビジョン放送信号は、 受信部 2 1で所定の信号処理をされてデ イジタルビデオ信号とされ、 表示部 2 2で表示される。 それと共に、 ディジ夕ルビデオ信号は、 例えば図示されない操作部に対するユーザ の操作に応じてある期間のフレームあるいはある 1フレームが抽出さ れる。 抽出されたフレームは、 画像デ一夕 7として、 インターフェイ ス部 2 3によりインターネット 2を介してサーバ 3に送信される。 なお、 このディジタルテレビジョン受像機 1 Cにおいても、 上述の カメラ機能付き携帯電話端末 1と同様に、 図中に点線のブロックで示 されるように、 特徴抽出処理部 2 4を設け、 受信部 2 1から出力され た画像デ一夕の特徴を予め抽出して、 特徴データのみを画像データ 7 として送信するようにしてもよい。

さらに例えば、 ディジ夕ルテレビジョン受像機 2 5で受信されビデ ォレコーダ 2 6で録画されたディジ夕ルビデオ信号も、 同様にして、 画像データ 7としてサーバ 3に送信することができる。 ビデオレコー ダ 2 6により、 ディジタルビデオ信号のある期間のフレームあるいは ある 1フレームが再生される。 ビデオレコーダ 2 6から再生されたフ レームを、 例えばパーソナルコンピュータ 2 7に転送し、 パーソナル コンピュータ 2 7でインターネット 2と通信を行うことにより、 当該 フレームを画像データ 7としてサーバ 3に送信することが考えられる この場合でも、 ビデオレコーダ 2 6から出力されたフレームに対し て特徴抽出部 2 8で予め特徴抽出を行い、 抽出された特徴データのみ を、 画像データ 7として送信することができる。 特徴抽出部 2 8は、 パーソナルコンピュータ 2 7上のソフトウエアで構成するとよい。 ユーザ側の画像データ取得および送信手段は、 上述の例以外にも、 例えば画像認識機能付きの家庭用ロポットを用いることもできる。 なお、 上述した何れの例においても、 サーバ 3には、 グレイスケー ル化された画像データが画像データ 7として送信される。 ユーザ側で 特徴抽出がなされる場合には、 グレイスケール化された画像データに 対して特徴抽出を行う。

また、 上述では、 テレビジョン放送をディジタルテレビジョン放送 としてディジタルテレビジョン受像機 1 Cで受信するように説明した が、 勿論、 テレビジョン放送をアナログテレビジョン放送とし、 アナ ログテレビジョン受像機で受信されたアナログテレビジョン放送信号 をディジ夕ル変換して用いてもよい。

サーバ側システムについて説明する。 サーバ側システムは、 サーバ 3、 画像データベース 4、 関連情報データベース 5およびデータ登録 部を有する。 サーバ 3とインターネッ ト 2との間の通信は、 インター フェイス部 4 0および 4 1により所定のプロトコルを用いて所定に制 御される。 ユーザ側からインタ一ネッ ト 2を介して送信された画像デ —夕がインターフェイス部 4 0により受信され、 サーバ 3に供給され る。

デ一夕登録部では、 C M (コマーシャル） 自動抽出システム 5 1が 各チャンネルのテレビジョン放送から抽出したコマーシャルや、 ィン ターネッ ト 2上に公開されている一般の W e bサイ ト 5 2に掲載され ている情報などを収集し、 データ登録ツール 5 0を用いて、 画像デー 夕ベース 4に画像を登録する。 登録の際に、 画像に対してユニークな 画像 I Dが付与される。 データ登録ツール 5 0は、 画像データベース 4や関連情報データベース 5に対して効率的にデータ登録を行うよう に構成されたソフトウエアである。

画像データベース 4は、 ユーザに検索される可能性がある画像が予 め登録される。 画像デ一夕べ一ス 4には、 例えばロゴマーク画像、 物 品や建造物の一部または全体の画像、 人物の画像などが登録される。 文字情報も画像データベース 4に登録され、 文字列の解析も可能なよ うにされる。

また、 データ登録部では、 画像データベース 4に登録された登録済 み画像に関連する関連情報を C M自動抽出システム 5 1や一般 W e b サイ ト 5 2から収集する。 収集された関連情報は、 デ一夕登録ツール 5 0を用いて、 当該画像と画像 I Dにより対応付けられて関連情報デ 一夕ベース 5に登録される。

サーバ 3は、 画像特徴抽出部 3 0、 画像特徴比較部 3 1、 関連情報 検索部 3 2および関連情報出力部 3 3を有する。 ユーザ側で特徴抽出 されていない画像データ 7は、 インターフェイス部 4 0で受信される と、 画像特徴抽出部 3 0に供給される。 なお、 ユーザ側で予め特徴抽 出された画像データ 7は、 イン夕一フェイス部 4 0で受信されると、 後述する画像特徴比較部 3 1に供給される。 また、 上述した、 ユーザ 側の特徴抽出部 1 3 、 1 6 、 2 4および 2 8は、 このサーバ側の画像 特徴抽出部 3 0で行われるのと同様の特徴抽出処理を行うものとする 画像特徴抽出部 3 0は、 供給された画像デ一夕 7に対して特徴抽出 を行い、 その結果得られた特徴データを出力する。 画像特徴抽出部 3 0で行われる特徴抽出処理としては、 様々な方法が考えられる。 一例 として、 画像デ一夕に対してエッジ検出処理を施し、 エッジがより顕 著な部分を特徴点として抽出し、 抽出された特徴点の位置関係を特徴 データとして用いることが考えられる。

特徴データは、 画像特徴比較部 3 1に供給される。 画像特徴比較部 3 1は、 画像デ一夕ベース 4の登録済み画像に対して特徴抽出を行い 、 抽出の結果得られた特徴データと、 画像特徴抽出部 3 0から供給さ れた特徴データとを比較する。 比較結果に基づき、 画像データベース 4の登録済み画像から、 画像特徴抽出部 3 0から供給された特徴デ一 夕の全体または一部と一致度の高い画像を検索する。 このとき、 一致 度の高い登録済み画像が複数、 検索された場合は、 これら複数の登録 済み画像の画像 I Dを出力する。

画像特徴比較部 3 1から出力された画像 I Dは、 関連情報検索部 3 2に供給される。 関連情報検索部 3 2では、 供給された画像 I Dに基 づき関連情報データベース 5を検索する。 検索結果の、 当該画像 I D が示す画像に対応する関連情報は、 関連情報出力部 3 3に供給される 関連情報出力部 3 3では、 関連情報検索部 3 2から供給された関連 情報を、 ユーザが閲覧可能なデータに変換する。 変換されたメタデ一 夕は、 インタ一フェイス部 4 1に供給され、 インターネット 2を介し てユーザに対して返される。 例えば、 カメラ機能付き携帯電話端末 1 から発せられた画像データ 7に対する関連情報であれば、 当該関連情 報は、 インターネット 2を介してカメラ機能付き携帯電話端末 1に送 信される。

なお、 上述では、 関連情報出力部 3 3が関連情報をユーザに対して 送信するように説明したが、 これはこの例に限定されない。 一例とし て、 関連情報出力部 3 3は、 関連情報検索部 3 2から供給された関連 情報を表示するような W e bサイ トを作成し、 イン夕一ネット 2上で ユーザに対して提示するようにできる。 サーバ 3は、 作成された当該 W e bサイトの U R Lをユーザ （カメラ機能付き携帯電話端末 1 ) に 対して通知し、 当該 W e bサイ トをユーザに対して提示する。 この通 知を受けたユーザは、 通知内に記述される U R Lにアクセスすること で、 最初に送信した画像データ 7に対応する関連情報を閲覧すること ができる。 また、 上述では、 画像 徴抽出部 3 0は、 グレイスケール化された 画像デ一夕に対して特徴抽出処理を行うように説明しているが、 これ はこの例に限られない。 例えば、 画像特徴抽出部 3 0は、 色情報を含 む画像データに対して特徴抽出処理を行うようにできる。 この場合、 ユーザ側から、 グレイスケール化を行わない画像データをサーバ 3に 対して送信する。 さらに、 特徴抽出部 1 3 、 1 6 、 2 4 、 2 8などに よりユーザ側で予め特徴抽出処理を行う場合にも、 色情報を含む画像 データに対して特徴抽出処理を行うようにできる。 これに限らず、 ュ —ザ側では予め特徴抽出処理を行う場合には、 グレイスケール化した データに対して特徴抽出処理を行い、 サーバ 3側で特徴抽出処理を行 う場合には、 色情報を含む画像データに対して特徴抽出処理を行うよ うにもできる。

次に、 画像データベース 4および関連情報デ一夕ベース 5に対する データ登録について説明する。 先ず、 テレビジョン放送のコマーシャ ルに基づき画像データおよび関連情報を収集する方法を、 第 5図 Aお よび第 5図 Bを用いて説明する。 C M自動抽出システム 5 1は、 テレ ビジョン放送の各チャンネルにそれぞれ対応した複数のチューナ 5 1 1 、 5 1 1、 · · · と、 C M検出器 5 1 2とを有する。 チューナ 5 1 1 、 5 1 1、 · · ·で受信されたテレビジョン放送は、 C M検出器 5 1 2に供給される。 C M検出器 5 1 2は、 供給されたテレビジョン放 送から自動的にコマーシャルを検出して抽出する。 テレビジョン放送 中のコマーシャルは、 例えばコマーシャル以外の放送番組とコマーシ ャルとの音声データの差異やシーンチェンジ、 番組表などから検出す ることができる。

C M自動検出システム 5 1では、 検出されたコマーシャルに基づき 、 その日に放送された新規コマーシャルのリストを作成する。 新規コ マーシャルのリストは、 C M自動検出システム 5 1でその日に検出さ れた新規コマーシャルの画像データ （ビデオデータ） と共に、 データ セン夕 6 0に供給される。 なお、 C M自動検出システム 5 1は、 コマ 一シャルの他にも、 放送局の番組宣伝番組やイベント告知番組なども 抽出し、 データセン夕 6 0に供給する。

デ一夕セン夕 6 0では、 C M自動検出システム 5 1から供給された 新規コマーシャルリストおよび新規コマーシャルのビデオデータに基 づき、 それぞれのコマーシャルについて、 関連情報を調査する。 例え ば、 コマーシャルのそれぞれについて、 広告主、 代理店、 制作会社、 コマーシャル中に用いられた楽曲の版権を持つ音楽プロダクション、 関連する W e bサイトゃ関連情報が掲載された一般の W e bサイ トな どを調査する。 調査結果は、 コマーシャルの関連情報として、 コマ一 シャルのビデオデータと共に、 コマーシャル （C M ) 情報データべ一 ス 6 1に登録される。

第 5図 Aおよび第 5図 Bの例では、 C M情報データベース 6 1は、 放送に関連する情報 （メタデータ） として、 初回放送時刻、 放送局、 コマーシャル長およびバ ジョン情報が登録される。 広告主に関する 情報として、 企業名、 企業カテゴリ、 企業の W e bサイ トの U R Lが 登録される。 商品に関する情報として、 商品名、 商品カテゴリおよび 商品情報 （または、 商品情報が掲載される関連 W e bサイ トの U R L ) が登録される。 出演者に関する情報として、 出演者名およびその出 演者によるセリフが登録される。 映像等演出に関する情報として、 キ ャッチコピー、 場面、 映像の特徴などが登録される。 また、 楽曲に関 する情報として、 楽曲名、 演奏者や作詞者、 作曲者、 当該楽曲が C D に収録されて発売されている場合には、 その C Dの C D番号が登録さ れる。 C M情報データべ一ス 6 1には、 さらに、 一致検索用ファイルが登 録される。 データセンタ 6 0から供給されたビデオデ一夕について、 映像 （画像） および音声のそれぞれに対して特徴抽出が行われ、 特徴 データファイルが得られる。 これら映像 （画像） や音声の特徴データ ファイルが、 コマーシャルに関連付けられて、 一致検索用ファイルと して登録される。

この C M情報データベース 6 1に登録された各情報が関連情報デー 夕ベース 5に登録される。 また、 コマーシャルを収録したビデオデー 夕が画像データベース 4に登録される。 上述した画像データに関する 特徴データファイルを、 画像データベース 4に登録すると、 画像デ一 夕の検索が容易になり好ましい。

テレビジョン放送以外のメディァから画像データおよび関連情報を 収集する方法を、 第 6図 Aおよび第 6図 Bを用いて説明する。 ここで は、 情報源としてインターネット上の W e bサイ トを想定する。 例え ば、 各種広報文が掲載された W e bサイ ト、 各種ニュースサイ ト、 各 種情報サイト、 新聞社による W e bサイト、 出版社による W e bサイ 卜 （特に、 その出版社で出版している雑誌に関連する W e bサイ ト） 、 関連 W e bサイ ト、 一般 W e bサイ トなどが情報源として考えられ る。 これに限らず、 各種雑誌や新聞といった、 紙メディアを情報源と してもよい。

データセン夕 6 0では、 これらの W e bサイ トを例えば毎日監視し 、 その日に新規に発表された新商品や話題商品、 イベントなどを発見 したら、 発見された情報のリストを作成する。 このリストに基づき、 情報の発表主、 商品の販売店などに詳細情報を問い合わせたり、 さら に関連 W e bサイ トゃ関連する情報が掲載される一般 W e bサイ トを 調査する。 問い合わせ結果や調査結果に基づき、 商品 （コンテンツ） 情報データベース 6 2に情報が登録される。

第 6図 Aおよび第 6図 Bの例では、 商品 （コンテンツ） 情報データ ベース 6 2は、 販売元に関連する情報 （メタデータ） として、 販売元 企業、 当該企業のカテゴリ、 当該企業のロゴマーク画像が登録される 。 販売期間や地区に関する情報として、 販売開始日、 販売地域が登録 される。 販売店に関する情報として、 販売店名、 当該販売店のカテゴ リ、 当該販売店の W e bサイ トの U R Lが登録される。 商品 （コンテ ンッ） に関する情報として、 商品名、 当該商品のカテゴリ、 商品番号 、 J A Nコード、 当該商品に関連する商品の情報、 当該商品に関連す る W e bサイ トの U R Lが登録される。 価格に関する情報として、 販 売価格が登録される。

また、 商品 （コンテンツ） 情報デ一夕ベース 6 2は、 企業のロゴマ ーク画像や商品が表示される画像データ、 商品に関連する画像データ が登録される。

この商品 （コンテンツ） 情報データベース 6 2に登録された各情報 が関連情報データベース 5に登録される。 また、 この商品 （コンテン ッ） 情報データベース 6 2に登録された各画像データは、 画像データ ベース 4に登録される。 各画像の特'徵抽出を行った結果得られた特徴 データファイルを画像データベース 4に登録すると、 画像デ一夕の検 索が容易になり好ましい。

なお、 上述した C M情報データベース 6 1および商品 （コンテンツ ) 情報デ一夕ベース 6 2の構成は、 一例であって、 登録される項目は 上述の例に限られない。 さらに、 上述では、 C M情報データベース 6 1、 商品 （コンテンツ） 情報デ一夕ベース 6 2、 画像デ一夕ベース 4 および関連情報データベース 5をそれぞれ独立したデータベースのよ うに説明したが、 デ一夕ベースの構成はこの例に限定されるものでは ない。 例えば、 これら 4つのデータベースを 1つのデータベースに統 合させて構成することも可能である。

次に、 ユーザから送られた画像データを認識し、 メタデータを抽出 する処理について、 第 7図を用いて概略的に説明する。 第 7図におい て、 画像認識アプリケーション 7 1およびメタデータ抽出アプリケー シヨン 7 3は、 サーバ 3上で実行可能なアプリケーシヨンプログラム である。

サーバ 3に対して、 ユーザから画像デ一夕 7 0、 7 0、 · · ·が送 られる。 サーバ 3では、 画像認識アプリケーション 7 1により、 ユー ザから送られてきた画像デ一夕 7 0、 7 0、 · · · に対して特徴抽出 処理を施し、 特徴データを抽出する。 画像認識アプリケーション 7 1 は、 画像データマス夕 7 2 (画像デ一夕ベース 4に対応する） に対し 、 特徴データが画像データ 7 0から抽出された特徴データと一致また は極めて類似した登録済み画像を検索し、 検索結果として画像 I Dを 出力する。 文字情報は、 テキストデ一夕として出力してもよい。 1つ の画像データ 7 0に、 例えば人物と商品というように、 複数の画像要 素が含まれている場合、 それら複数の画像要素のそれぞれに対して一 致または極めて類似する画像の画像 I Dが出力される。 画像 I Dは、 画像認識アプリケーション 7 1からメタデータ抽出アプリケ一ション 7 3に渡される。

メタデ一夕抽出アプリケーション 7 3は、 受け取った画像 I Dに対 応するメタデータをメタデ一夕マス夕 7 4から検索し、 一致画像のメ 夕データ 7 5を出力する。 複数の画像 I Dを受け取った場合には、 そ れら複数の画像 I Dのそれぞれに対応するメタデータを検索し、 各一 致画像のメタデータ 7 5、 7 5、 · · · を出力する。 なお、 メタデー 夕マスタ 7 4は、 関連情報データベース 5に対応し、 メタデータは、 関連情報に対応する。

第 8図 Aおよび第 8図 Bを用いて、 画像認識処理およびメタデータ 抽出処理について、 より詳細に説明する。 なお、 ユーザから複数フレ ームからなる動画像データ 7 0 ' が送られてきた場合には、 フレーム 毎の画像デ一夕 7 0 、 7 0、 · · · として処理される。 このとき、 必 要であれば、 動画像データ 7 0 ' から所定にフレームを間引いてフレ ーム毎の画像データ 7 0 、 7 0、 · · ' を得るようにしてもよい。

ここで、 画像データ 7 0に含まれる画像要素は、 一般的な物体の形 状、 人物 （人相） および文字の、 それぞれ性質の異なる 3種類に分類 することができる。 画像認識アプリケーション 7 1は、 これら性質の 異なる 3種類の画像要素に対する認識処理をそれぞれ行うために、 パ 夕一ン認識エンジン 7 1 A、 人物認識エンジン 7 1 Bおよび文字認識 エンジン 7 1 Cを有する。 また、 画像データマスタ 7 2も、 3種類の データにそれぞれ対応し、 一般画像マスタ 7 2 A、 人物画像マスタ 7 2 Bおよび文字列マス夕 7 2 Cを有する。 画像データ 7 0 、 7 0 、 · • ' は、 パターン認識エンジン 7 1 A、 人物認識エンジン 7 1 Bおよ び文字認識エンジン 7 1 Cにそれぞれ入力される。

パターン認識エンジン 7 1 Aは、 一般的な物体の形状に対する画像 認識処理を行う。 パターン認識エンジン 7 1 Aは、 一般画像マス夕 7 2 Aに登録済みの画像の特徴点のパターンと、 ユーザから送られてき た画像データ 7 0の特徴点のパターンとを比較し、 一致あるいは類似 度が高い、 すなわち一致度が所定以上高い登録済み画像を抽出する。 例えば、 登録済み画像とユーザからの画像データ 7 0の特徴点同士な どで比較して、 一致度のスコアを算出し、 スコアが所定値以上の登録 済み画像を一致度の高い登録済み画像として抽出する。 1つの画像デ 一夕 7 0から一致度が所定値以上の登録済み画像が複数、 得られた場 合には、 得られた複数の登録済み画像をそれぞれ抽出する。

このようにして抽出された登録済み画像の画像 I D 7 6、 7 6、 · • ·がパターン認識エンジン 7 1 Aから出力される。 これら画像 I D 7 6、 7 6、 · · · に基づき、 画像デ一夕 7 0に含まれる一般的な物 体の候補の名称を得ることができる。

また、 ユーザから送られてきた画像データ 7 0は、 被写体が常に適 正な角度で撮影されているとは限らない。 そのため、 パターン認識ェ ンジン 7 1 Aによるパターン比較の際に、 複数の特徴点について位置 関係の演算を行うことにより、 ユーザの撮影時の角度が登録済み画像 の角度からある程度、 例えば 4 5 ° 程度までの差があっても、 一致検 索することが可能となっている。

さらに、 上述したように、 ユーザから送られてきた画像データ 7は 、 ユーザ側においてグレイスケール化されているため、 撮影時のカメ ラ装置による色の違いや、 照明光の色の影響を受けず、 より正確に認 識を行うことができる。

さらにまた、 ユーザから送られてきた画像データ 7 0と登録済み画 像とを比較して一致度のスコアを算出し、 スコアに基づき特徴点の一 致度を判断しているため、 画像データ 7の一部が登録済み画像と異な つていたり、 異なっていても、 一致度が高い画像として抽出すること ができる。 例えば、 ユーザが建造物の一部を撮影した際に画像データ 7 0に、 対応する登録済み画像には無かった看板などが写っていても 、 一致度が高い画像として抽出可能である。 また、 ユーザから送られ てきた画像データ 7 0と、 登録済み画像とで、 実物に対する撮像画像 の範囲が異なっていても、 一致度が高い画像として抽出できる。

人物認識エンジン 7 1 Bは、 画像データ 7 0に対して人物認識処理 を行い、 顔らしきイメージが認識されたら、 人相の認識を行う。 この 、 画像デ一夕 7 0から顔らしきイメージを認識する技術は、 既に幾つ かが実用化されている。 人相の認識では、 顔として認識された部分に 複数の特徴点を設け、 これら複数の特徴点の位置関係に基づき、 人物 画像マス夕 7 2 Bに登録済みの人相画像に対するスコアを算出し、 ス コアが所定値以上の登録済み画像を一致度が高い人相画像として抽出 する。 1つの画像データ 7 0から一致度が所定値以上の人相画像が複 数、 得られた場合は、 得られた複数の登録済み画像をそれぞれ抽出す る。

このようにして抽出された登録済み画像の画像 I D 7 7 、 7 7 、 · · ·が人物認識エンジン 7 1 Bから出力される。 これら画像 I D 7 7 、 7 7、 · · · に基づき、 画像データ 7 0にに含まれる人物の候補の 名前を得ることができる。

このような人相画像の抽出技術としては、 例えば、 既に実用化され ている、 ガボールウエーブレツト変換およびグラフマッチングを併用 した顔認証技術や、 摂動空間法および適用的領域混合マッチング法を 併用した顔認証技術などを用いることができる。

上述と同様に、 ユーザから送られてきた画像データ 7 0は、 ユーザ 側においてグレイスケール化されているため、 撮影時のカメラ装置に よる色の違いや、 照明光の色の影響を受けず、 より正確に認識を行う ことができる。

また、 ユーザから送られてきた画像データ 7 0と登録済み画像とを 比較して一致度のスコアを算出し、 スコアに基づき一致度を判断して いるため、 画像データ 7 0の一部が登録済み画像と異なっていたり、 異なっていても、 一致度が高い画像として抽出することができる。 例 えば、 画像データ 7 0に写っている人物が帽子やメガネなどを装着し ており、 同一人物についての登録済み画像と異なっていても、 一致度 が高いとして抽出することが可能である。

文字認識エンジン 7 1 Cは、 画像データ 7 0に対して文字認識処理 を行い、 文字情報を抽出する。 文字情報の抽出は、 一般的に行われて いる O C R (Op t i ca l Charac t er Reader)の技術を用いることができる 。 文字列マス夕 7 2 Cは、 例えば単語辞書を構成し、 検出された文字 に基づき単語を検出することができる。 認識結果に基づき文字列マス 夕 7 2 Cが参照され、 所定値以上の一致度の文字列があるか否かが検 索される。 一致する文字列があれば、 その文字列データ 7 8が出力さ れる。 1つの画像データ 7 0から一致度が所定値以上の文字列が複数 、 得られた場合には、 得られた複数の文字列データ 7 8 、 7 8 , · · •が候補としてそれぞれ出力される。

パターン認識エンジン 7 1 Aから出力された画像 I D 7 6 、 7 6 、 • · · 、 人物認識エンジン 7 1 Bから出力された画像 I D 7 7 、 7 7 、 · · ·および文字認識エンジン 7 1 Cから出力された候補の文字列 7 8 、 7 8、 · · · は、 それぞれ 1つの画像に対して複数の候補が得 られている可能性があり、 曖昧な結果であるといえる。 メタデータ抽 出エンジン 7 3 Aは、 これらエンジン 7 1 A、 7 I Bおよび 7 1 Cに より認識された複数の曖昧な結果に基づきメタデータマス夕 7 4を検 索し、 対応するメタデ一夕 7 5 、 7 5、 · · · を抽出する。 そして、 それらメ夕デ一夕 7 5 、 7 5、 · · · 同士で共通部分があるものを、 実際に画像データ 7 0に含まれている画像に対応していると判断する なお、 ユーザから動画像データ 7 0 ' が送られ、 それをフレーム毎 の画像デ一夕 7 0 、 7 0、 · · ' に分解したときは、 フレーム毎の画 像データ 7 0 、 7 0、 · · ' に共通して多く含まれる認識結果を実際 に動画像デ一夕 7 0 ' に含まれている画像に対応していると判断する ことができる。 例えば、 フレーム毎の画像データ 7 0 、 7 0 、 · · · の所定値以上の割合に対して共通して含まれる認識結果を、 実際に動 画像デ一夕 7 0 ' に含まれている画像に対応していると判断する。 第 9図 A、 第 9図 B、 第 9図（：、 第 9図 Dおよび第 9図 Eは、 各ェ ンジン 7 1 A、 7 1 Bおよび 7 1 Cにより、 画像データ 7 0から得ら れる情報の例を概略的に示す。 第 9図 Aは、 画像データ 7 0が画像要 素としてロゴマーク画像とテキスト画像とを含む例である。 パターン 認識エンジン 7 1 Aによりロゴマーク画像が認識される。 物としての 形状は、 不明とされる。 画像データ 7 0は、 顔らしき画像を含まない ので、 人物認識エンジン 7 1 Bは、 認識結果を出力しない。 文字認識 エンジン 7 1 Cにより、 ロゴマーク画像の下部に配置された文字列が

»d哉 れる。

第 9図 Βは、 画像データ 7 0が画像要素として物 （靴） の画像を含 み、 物に対してロゴマーク画像が付随している例である。 パターン認 識エンジン 7 1 Αにより、 物の形状が靴であることが認識され、 さら に、 靴であると認識された物の表面に付随するロゴマーク画像が認識 される。 画像デ一夕 7 0は、 文字を含まないので、 文字認識エンジン 7 1 Cにより認識結果として 「無し」 が得られる。 第 9図 Cは、 画像 データ 7 0が画像要素として建造物の一部を含み、 建造物の付属物に ロゴマーク画像が記されている例である。 パターン認識エンジン 7 1 Aにより、 画像データ 7 0の画像要素が建造物であることが認識され 、 さらに、 建造物に対してロゴマーク画像が記されていることが認識 される。 認識された建造物の画像要素から建造物自体を特定すること も可能である。 第 9図 Bおよび第 9図 Cの何れにおいても、 画像デ一 夕 7 0は、 顔らしき画像を含まないので、 人物認識エンジン 7 1 Bに よる認識はなされない。 なお、 第 9図 Bおよび第 9図 Cの例において 、 パターン認識エンジン 7 1 Aによる認識の順序は逆でもよい。

第 9図 Dは、 画像データ 7 0が画像要素として人物の画像を含む例 である。 人物認識エンジン 7 1 Bは、 画像データ 7 0に含まれる顔ら しき画像を認識し、 さらに、 人相を認識する。 画像デ一夕 7 0は、 文 字を含まないので、 文字認識エンジン 7 1 Cによる意味のある認識結 果は出力されない。 画像データ 7 0は、 人物および人物の装着物以外 の画像要素を含まないので、 パターン認識エンジン 7 1 Aによる意味 のある認識結果は出力されない。 なお、 この第 9図 Dの例において、 人物の装着物に対してパターン認識エンジン 7 1 Aによる認識結果を 出力することも可能である。

第 9図 Eは、 画像データ 7 0が画像要素として物の画像と文字列と を含む例である。 物の表面には、 ロゴマーク画像が記されている。 文 字列は、 手書きまたは手書き風の書体が用いられている。 パターン認 識エンジン 7 1 Aにより、 画像データ 7 0の画像要素に含まれている 物が〇〇社製ゲーム機器であることが認識されると共に、 認識された 物の表面に記されるロゴマーク画像が認識される。 文字認識エンジン 7 1 Cにより、 画像データ 7 0に含まれる文字列が認識される。 この ように、 文字列が手.書きまたは手書き風の不均一な表示で、 文字列中 の文字認識に欠損が生じても、 文字列マスタ 7 2 Cが有する単語辞書 により、 正しい文字列を推測することが可能である。 画像デ一夕 7 0 は、 顔らしき画像を含まないので、 人物認識エンジン 7 1 Bによる認 識はなされない。

第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cは、 上述した第 8図 Aお よび第 8図 Bの画像認識処理およびメタデ 夕抽出処理を、 より具体 的な例を用いて示す。 ユーザから送られてきた画像データ 7 0は、 1 つの画像デ一夕 7 0に対して、 複数の人物画像、 ロゴマーク画像およ び製品そのものの画像が画像要素として含むものとする。 この画像デ

—夕 7 0を、 パターン認識エンジン 7 1 A、 人物認識エンジン 7 I B および文字認識エンジン 7 1 Cにそれぞれ供給する。

パターン認識エンジン 7 1 Aは、 画像データ 7 0の特徴デ一夕に基 づき一般画像マス夕 7 2 Aを検索する。 一般画像マスタ 7 2 Aには、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cに模式的に示されるように 、 様々な製品の画像や、 各種のロゴマーク画像、 建造物の一部または 全体の画像 （図示しない） などが登録済み画像として登録されている 。 パターン認識エンジン 7 1 Aは、 画像データ 7 0の特徴データと一 般画像マス夕 7 2 Aの登録済み画像の特徵デ一夕とを比較し、 画像デ —夕 7 0の一部または全体に一致または極めて類似する登録済み画像 を検索する。 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cの例では、 口 ゴマーク画像 「A B C」 および Z Z Z社製 D V Dレコーダの画像が、 画像データ 7 0中に含まれるとして、 一般画像マスタ 7 2 Aから検索 されている。 検索された画像の画像 I D 7 6、 7 6、 · · ·がメ夕デ 一夕抽出エンジン 7 3に供給される。

なお、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cでは、 便宜上、 画 像データ I D 7 6、 7 6、 · · ' として、 対応する物 （ Z Z Z社製 D V Dレコーダ） やロゴマーク （ 「A B C」 ） の名称が記されている。 人物認識エンジン 7 1 Bは、 画像データ 7 0の特徴デ一夕に基づき 人物認識を行い、 顔らしき画像について人物マスタ 7 2 Bを検索して 人相認識を行う。 人物マスタ 7 2 Bには、 第 1 0図 A、 第 1 0図 Bお よび第 1 0図 Cに模式的に示されるように、 様々な人物の人相画像が 登録されている。 人物認識エンジン 7 1 Bは、 人物認識により顔らし いとされた画像と人物マス夕 7 2 Bの登録済みの人相画像とを比較し 、 顔らしいとされた画像に対して一致または極めて類似する登録済み 人相画像を検索する。 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cの例 では、 画像データ 7 0に 2人の人物画像が含まれるとして、 人物マス 夕 7 2 Bから検索されている。 検索された画像の画像 I D 7 7 、 7 7 、 · · ·がメタデータ抽出エンジン 7 3に供給される。

なお、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cでは、 便宜上、 画 像データ I D 7 7 、 7 7、 · · · として、 対応する人物の名前 （ 「X X正和」 、 「Y Y美紀」 ） として記されている。

文字認識エンジン 7 1 Cは、 画像データ 7 0に対して文字認識処理 を施し、 画像データ 7 0に含まれる文字を検出する。 第 1 0図 Α、 第 1 0図 Βおよび第 1 0図 Cの例では、 画像データ 7 0に含まれる文字 列として 「D V D」 および 「レコーダ」 がそれぞれ検索されている。 検索されたこれらの文字列 7 8 、 7 8、 · · ·がメタデータ抽出ェン ジン 7 3に供給される。

メタデータ抽出エンジン 7 3は、 パターン認識エンジン 7 1 Aおよ び人物認識エンジン 7 1 Bからそれぞれ供給された画像 I D 7 6 、 7 6、 · · ·および画像 I D 7 7 、 7 7、 · · ·、 ならびに、 文字認識 エンジン 7 1 Cから供給された文字列に基づき、 画像デ一夕 7 0の内 容を特定する。

第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cの例では、 メ夕デ一夕抽 出エンジン 7 3は、 パターン認識エンジン 7 1 Aの認識結果に基づく 2個の画像 I D 7 6 、 7 6、 人物認識エンジン 7 1 Bの認識結果に基 づく 2個の画像 I D 7 7 、 7 7および文字認識エンジン 7 1 Cの認識 結果に基づく 2個の文字列 7 8 、 7 8の 6個のデータをキーヮードと して、 メタデータマス夕 7 4を検索する。

メタデータ抽出エンジン 7 3は、 これら 6個のキーワード全てに共 通する （または全てを含む） メタデータがメタデータマスタ 7 4に登 録されていたら、 当該メタデータをユーザから送られてきた画像デー 夕 7 0に対応するメ夕デ一夕として出力する。 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cの例では、 ロゴマーク画像 「AB C」 、 Z Z Z社 製 DVDレコーダの画像、 人物 「XX正和」 および 「YY美紀」 、 な らびに、 文字列 「DVD」 および 「レコーダ」 を全て含んだメタデー 夕が画像データ 7 0に対応するメタデ一夕とされる。

また、 ロゴマーク画像 「AB C」 、 Z Z Z社製 DVDレコーダの画 像、 人物 「XX正和」 および 「YY美紀」 、 ならびに、 文字列 「DV D」 および 「レコーダ」 それぞれのメタデータ 7 5、 7 5、 · · · を 、 個別に出力することもできる。

第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cの例では、 画像データ 7 0に対応するメタデータは、 当該画像データ 7 0に画像要素として含 まれる Z Z Z社製 D VDレコーダについては、 型番、 価格、 紹介文、 情報が公開される We bサイ 卜の UR Lおよびこの製品が販売される We bサイトの UR Lが含まれる。 この画像データ 7 0がテレビジョ ン放送のコマーシャルに基づく画像の場合、 出演者名や用いられた楽 曲名、 その楽曲の演奏者情報などがさらに含まれる。 画像要素それぞ れのメ夕データ 7 5、 7 5、 · · · は、 例えば商品画像に対応するメ タデ一夕に対して、 商品の型番、 価格、 紹介文、 情報が公開される W e bサイ トや商品が販売される We bサイトの URLが含まれる。 ま た、 人物に対応するメ夕デ一夕に対して、 その人物の名前やプロフィ ールが含まれる。

この発明の実施の一形態では、 さらに、 メタデータ抽出エンジン 7 3は、 入力される 6個のキーワードのうち数個、 例えば 1個あるいは 2乃至 3個が認識できなくても、 画像データ 7 0に含まれる、 各ェン ジン 7 1 A、 7 I Bおよび 7 1 Cでは認識できなかった画像要素を推 定して出力することができる。

例えば、 画像データ 7 0において、 各エンジン 7 1 A、 7 I Bおよ び 7 1 Cにより検索した結果得られた上述の 6個のキーワードのうち 、 ロゴマーク画像 「A B C」 、 人物 「X X正和」 および人物 「Y Y美 紀」 が高い一致度で認識され、 他の 3個は、 一致度が低く、 認識でき なかったものとする。 この場合、 メタデータ抽出エンジン 7 3は、 認 識できた 3個のキーヮ一ドを用いてメ夕デ一夕マス夕 7 4を A N D検 索する。 この検索により、 当該画像デ一夕 7 0に対応するメタデータ として、 Z Z Z社製 D V Dレコーダの宣伝のための画像に対応するメ 夕データが、 高い確率で得られることが期待される。 メ夕デ一夕抽出 エンジン 7 3は、 こうして得られた画像デ一夕 7 0全体のメタデータ の、 認識できた画像要素に対応する情報以外の部分を参照することで 、 各エンジン 7 1 A、 7 1 Bおよび 7 1 Cで認識できなかった画像要 素のメ夕デ一夕を得ることができる。

次に、 上述したこの発明の実施の一形態により提供可能なサービス について説明する。 この発明では、 上述したように、 サーバ 3は、 予 め画像データおよび当該画像データのメタデ一夕をデータベースに登 録し、 ユーザから送信された画像データに対して画像認識処理を行い データベースを参照してメタデータを抽出する。 この発明では、 この メ夕デ一夕を用いて、 ユーザに対して様々なサービスを提供すること ができる。

第 1 1図 Aおよび第 1 1図 Bを参照しながら、 より具体的な例を用 いて説明する。 ユーザは、 例えば雑誌や新聞に掲載されている、 気に なる写真や記事をカメラ機能付き携帯電話端末 1やディジタルカメラ 装置 2などで撮影して画像データ 7 Aとしてサーバ 3に送信する。 サ ーバ 3は、 受信した画像データ 7 Aに対して画像認識処理を行い画像 データ 7 Aに画像要素として含まれる文字情報、 ロゴマーク画像、 物 品の画像などをそれぞれ認識し、 それぞれの画像要素に対応するメタ データを抽出する。 これにより、 サーバ 3は、 撮影された記事に対す る速報の入手、 撮影された雑誌などに掲載された商品情報の入手や当 該商品の購入のサービスを、 ユーザに対して提供することが可能であ る。 撮影された雑誌や新聞に他の情報、 例えば観光地情報やチケット 販売に関する情報が掲載されていれば、 それらの情報を提供すること も可能である。

同様にして、 ユーザにより撮影されサーバに送信された画像デ一夕 7 Bがレストランなどの建造物の一部であれば、 サーバ 3は、 画像デ 一夕 7 Bに画像要素として含まれる建造物の形状やロゴマーク画像な どを認識して例えばレストラン名を特定し、 レストラン名と共にその レストランに関する他の情報、 例えばメニュー情報、 営業時間、 店内 映像、 予約情報 （電話番号） などを提供する。

また、 ユーザにより撮影されサーバ 3に送信された画像データ 7 C が画像要素としてワインなど飲料物や食料品などのラベルを含む場合 は、 サーバ 3は、 画像データ 7 Cのラベル画像上のロゴマーク画像や 文字情報などを認識して例えばワイン名を特定し、 そのワインの味に 関する情報、 販売店や価格情報などを提供する。 当該ワインの購入サ 一ビスをユーザに提供することも可能である。

さらに、 ユーザにより撮影されサーバ 3に送信された画像データ 7 Dが画像要素として人物を含む場合は、 サーバ 3は、 画像デ一夕 7 D に含まれる人相を認識して当該人物の名前を特定する。 当該人物が例 えばスポーツ選手である場合には、 サーバ 3は、 当該選手自身の情報 の他に、 所属するチーム情報、 当該チームによるゲームの速報などを ユーザに提供することができる。 当該選手や当該選手の所属チームな どの関連商品がある場合には、 関連商品の購入サービスをユーザに提 供することも可能である。

さらにまた、 ユーザにより撮影されサーバ 3に送信された画像デー 夕 7 Eが画像要素として C D (Compact Di sc)の発売や上映映画の広告 画像を含んでいる場合には、 サーバ 3は、 画像データ 7 Eに含まれる 広告画像に基づき、 発売される C Dのタイ トル、 アーチスト名や、 映 画のタイ トルを特定する。 例えば画像データ 7 Eが上映映画の広告画 像であれば、 サーバは、 タイトル名と共に、 その映画のストーリ一、 出演者情報、 監督情報、 上映情報などをユーザに提供することができ る。 当該映画のチケット購入サービスや、 当該映画が DVD (Digital Versatile Disc)などに収録され発売された際の購入サービスをユー ザに提供することも可能である。

さらに、 ユーザにより撮影されサーバ 3に送信された画像デ一夕 7 Fが画像要素としてポスタ一やテレビジョン放送のコマーシャルなど による商品広告の画像を含んでいる場合には、 サーバ 3は、 画像デー 夕 7 Fに含まれる商品画像を認識して商品名を特定し、 商品情報や商 品の購入サービスをユーザに提供する。 当該広告画像が広告対象の商 品の他に、 例えば人物画像を画像要素として含んでいる場合には、 サ ーバは、 当該人物を認識して当該人物に関する情報をユーザに提供す ることができる。 また、 当該広告画像がテレビジョン放送のコマ一シ ャルによるものである場合には、 当該コマーシャルで用いられている 楽曲情報をユーザに提供することもできる。

第 1 2図 Aおよび第 1 2図 B、 第 1 3図 Aおよび第 1 3図 B、 第 1 4図、 第 1 5図 Aおよび第 1 5図 B、 第 1 6図 Aおよび第 1 6図 B、 第 1 7図 Aおよび第 1 7図 B、 第 1 8図 Aおよび第 1 8図 B、 第 1 9 図 Aおよび第 1 9図8、 第 20図 Aおよび第 20図 B、 第 2 1図 Aお よび第 2 1図 B、 第 2 2図 Aおよび第 2 2図 B、 第 2 3図 Aおよび第 2 3図 B、 第 2 4図 Aおよび第 2 4図 B、 並びに、 第 2 5図を用いて 、 第 1 1図 Aおよび第 1 1図 Bで示したそれぞれの例におけるユーザ 側のイン夕一フェイスの例について、 説明する。 なお、 以下では、 ュ —ザは、 カメラ機能付き携帯電話端末 1で撮影した画像データ 1 0を インタ一ネット 2を介してサーバ 3に送り、 サーバ 3は、 送られた画 像データ 1 0に応じたサービスを、 画像データ 1 0を送信したカメラ 機能付き携帯電話端末 1に対して提供するものとする。 また、 第 1 2 図 Aおよび第 1 2図 B、 第 1 3図 Aおよび第 1 3図8、 第 1 4図、 第 1 5図 Aおよび第 1 5図 B、 第 1 6図 Aおよび第 1 6図 B、 第 1 7図 Aおよび第 1 7図 B、 第 1 8図 Aおよび第 1 8図 B、 第 1 9図 Aおよ び第 1 9図 B、 第 2 0図 Aおよび第 2 0図8、 第 2 1図 Aおよび第 2 1図 B、 第 2 2図 Aおよび第 2 2図 B、 第 2 3図 Aおよび第 2 3図 B 、 第 2 4図 Aおよび第 2 4図 B、 並びに、 第 2 5図において、 符号 A 〜 1は、 それぞれ対応する符号に移行することを示す。

例えば、 既に述べたように、 サーバ 3は、 ユーザから送信された画 像データ 7に応じたサービスを提供するような W e bサイ トを作成し 、 当該 W e bサイ トに対してインターネット 2を介してアクセス可能 な状態とする。 サーバ 3は、 当該 W e bサイ トの U R Lを、 画像デー 夕 7を送信したカメラ機能付き携帯電話端末 1に対して例えば電子メ ール機能などを利用して送信する。

一方、 カメラ機能付き携帯電話端末 1は、 インターネット 2を介し ての電子メール送受信機能と、 インターネット 2上の W e bサイ トへ のアクセス機能を有する。 カメラ機能付き携帯電話端末 1は、 W e b サイ トを閲覧するためのブラウザソフトウェアを有し、 W e bサイ ト の U R Lを指定することで、 当該 W e bサイ トにアクセスすることが できる。 その際、 カメラ機能付き携帯電話端末 1に所定に配置された キーを用いて項目の選択やデータの入力、 データの送信などを行うこ とができるようにされている。 ユーザは、 カメラ機能付き携帯電話端 末 1により受信された U R Lに対してアクセスすることで、 サーバ 3 によるサービスを受けることができる。 なお、 ュ一ザ側のインターフ ェイスとしては、 カメラ機能付き携帯電話端末 1に限らず、 インター ネッ ト 2に通信可能なパーソナルコンピュータを用いることも可能で ある。 この場合、 画像デ一夕 7をパーソナルコンピュータからサーバ 3に送信してもよいし、 画像データ 7をカメラ機能付き携帯電話端末 1で送信し、 サービスをパーソナルコンピュータで受けるようにもで さる。

第 1 2図 Aおよび第 1 2図 B、 第 1 3図 Aおよび第 1 3図 B、 並び に、 第 1 4図は、 上述した画像データ 7 Aの例に対応し、 雑誌や新聞 に掲載の気になる写真や記事を撮影してサーバ 3に送信し、 サービス を受ける例である。 第 1 2図 Aおよび第 1 2図 Bにおいて、 ユーザは 、 気になった写真や記事が掲載された雑誌の表紙をカメラ機能付き携 帯電話端末 1で撮影し、 撮影された画像デ一タ 7 Aを電子メールに添 付してサーバ 3に送信する。 なお、 画像データ 7 Aは、 その雑誌を実 際に撮影したものでなくてもよく、 例えばその雑誌が写っている写真 を撮影したものや、 テレビジョン放送の映像による画像データなどで もよい。 画面 1 0 1は、 このときのカメラ機能付き携帯電話端末 1の 表示部の表示例である。 以下、 画面表示例は、 カメラ機能付き携帯電 話端末 1の表示部に対する表示例である。 画像データ 7 Aの送信の際 には、 サブジェク トには何も記述する必要はない。 送信ポタンを押す 操作を行うことで、 画像デ一夕 7 Aがサーバ 3に送信される。

サーバ 3は、 画像データ 7 Aを受信し、 画像データ 7 Aに対して画 像認識処理を行って画像データ 7 Aに含まれる画像要素を特定し、 特 定された画像要素に対応するメタデータの抽出を行う。 そして、 抽出 されたメ夕デ一夕に基づくサービスを提供する We bサイ トを作成し 、 当該 We bサイ トの URLが記述された電子メールを、 カメラ機能 付き携帯電話端末 1に対して返信する。 この返信の電子メールは、 画 面 1 0 2のように、 サービス提供のための We bサイ トの UR L 1 0 2Aが記述されている。 この UR L 1 0 2 Aを所定に指定すると、 当 該 We bサイ トにアクセスされ、 画面 1 0 3の表示となる。

画面 1 0 3は、 画像データ 7 Aによる雑誌の画像 7 A' と、 ポタン 1 0 3 Aおよび 1 0 3 Bが表示される。 この雑誌 1 0 0を撮影した例 では、 サーバ 3により、 雑誌名 「AB CD」 を示すロゴマーク画像と 、 雑誌 1 00の表紙に写真が掲載される携帯電話端末とが認識され、 雑誌 「AB CD」 に関するサービスと、 携帯電話端末に関するサービ スとが提供される。

なお、 画面に表示されたボタンは、 カメラ機能付き携帯電話端末 1 に対する所定の操作により選択することができ、 さらに所定の操作で 選択を決定することで、 選択したポタンに応じた選択情報がサーバ 3 に送信されるようになっている。 以下では、 所定の操作により画面に 表示されたポタンを選択して決定する操作を、 適宜、 「ポタンを押す 」 などと表現する。 サーバ 3は、 受信された選択情報に応じたデータ をカメラ機能付き携帯電話端末 1に送信する。 カメラ機能付き携帯電 話端末 1では、 受信されたデータに基づく画面の表示がなされる。 ユーザが雑誌 「AB CD」 に関するサービスを受けたいとしてポ夕 ン 1 0 3 Aを選択すると、 その旨がサーバ 3に送信され、 表示が第 1 3図 Aおよび第 1 3図 Bに示す画面 1 04に切り替わる。 画面 1 04 は、 雑誌 「AB CD」 のメ夕デ一夕に基づき、 雑誌 「AB CD」 に関 して概略的に説明が表示されると共に、 ボタン 1 04A、 1 04 B、 1 04 Cおよび 1 04 Dが表示される。 ポタン 1 04 Aを選択すると 、 画面 1 0 5が表示され、 雑誌 「AB CD」 に関してより詳細な情報 を知ることができる。

画面 1 04において、 ボタン 1 04 Bを押すと、 表示が画面 1 0 6 に切り替わり、 雑誌 「AB CD」 の通信販売での購入申し込みを設定 することができる。 画面 1 0 6において必要な情報を入力してボタン 1 0 6 Aを押すと、 表示が入力した情報を確認するための画面 1 0 7 に切り替わり、 さらにポタン 1 0 7 Aを押すことで、 通信販売の決済 が実行される。 なお、 画面 1 04において、 ボタン 1 04 Cを押すと 、 表示が類似情報を探す画面に切り替わる。

一方、 第 1 2図 Aおよび第 1 2図 Bの画面 1 0 3において、 ポタン 1 0 3 Bを押すと、 雑誌 1 0 0を撮影した画像データ 7 Aから認識さ れた携帯電話端末に関するサービスを提供する画面 1 0 8 (第 1 4図 参照） に表示が切り替わる。 画面 1 0 8は、 メタデータに基づき雑誌 に掲載されていた携帯電話端末の情報が概略的に表示されると共に、 ポタン 1 08 A、 1 08 Bおよび 1 08 Cが表示される。 ボタン 1 0 8 Aを押すと、 この携帯電話端末に関するより詳細な情報を閲覧でき る画面 （図示しない） が表示される。

ポタン 1 08 Bを押すと、 表示が類似情報を探す画面 1 0 9に切り 替わる。 例えば、 サーバ 3において 「携帯電話端末」 をキーワードと してメ夕デ一夕が検索され、 類似情報の候補が抽出される。 この類似 情報の候補が画面 1 0 9に表示される。 表示された候補を選択してボ タン 1 0 9 Aを押すことで、 選択された候補に関する画面 （図示しな い） に表示が切り替わる。 この候補に関する画面は、 例えば、 画面 1 0 8と同一の構成で異なる機種の携帯電話端末が表示され、 所定のボ タンを押すことで、 詳細情報を見る画面や類似情報を探す画面に切り 替わる。

上述において、 例えば画面 1 04以降で表示される情報や通信販売 画面などは、 サーバ 3が用意してもよいし、 当該商品の発売元などで 、 イン夕一ネット 2上の We bサイ トとして用意してもよい。 一例と して、 画面 1 0 3のボタン 1 03 Aを雑誌 「AB CD」 の出版社が用 意する雑誌 「AB C D」 に関する We bサイ トにリンクさせておき、 ボタン 1 0 3 Aが押されたら、 その雑誌 「AB CD」 に関する We b サイ 卜がアクセスされるようにする。

なお、 画面 1 04のボダン 1 04 D、 画面 1 0 6のボタン 1 0 6 B 、 画面 1 0 7のポタン 1 0 7 B、 画面 1 08のボタン 1 0 8 Cおよび 画面 1 0 9のポタン 1 0 9 Bは、 それぞれ一つ前の画面に戻るための ポタンである。

第 1 5図 Aおよび第 1 5図 B、 並びに、 第 1 6図 Aおよび第 1 6図. Bは、 上述した画像データ 7 Bの例に対応し、 建造物の全体または一 部を撮影してサーバ 3に送信し、 サービスを受ける例である。 第 1 5 図 Aおよび第 1 5図 Bにおいて、 ュ一ザは、 気になったレストラン 「 X X X」 の入り口付近をカメラ機能付き携帯電話端末 1で撮影し、 撮 影された画像デ一夕 7 Bを画面 1 0 1により電子メールに添付してサ ーバ 3に送信する。 なお、 画像データ 7 Bは、 レストラン 「X X X」 を実際に撮影したものでなくてもよく、 例えば雑誌の写真を撮影した ものや、 テレビジョン放送の映像による画像データなどでもよい。 サーバ 3では、 受信された画像データ 7 Bに対して画像認識処理お よびメタデ一夕抽出処理を行い、 画像データ 7 Bに含まれる画像要素 を特定し、 画像要素に対応するメタデータを検索する。 そして、 抽出 されたメタデータに基づくサービスを提供する We bサイ トを作成し 、 当該 We bサイ トの UR Lが記述された電子メールを、 カメラ機能 付き携帯電話端末 1に対して返信する。 返信の電子メールの画面 1 0 2に表示された UR L 1 0 2 Aを所定に指定すると、 当該 We bサイ 卜にアクセスされ、 画面 1 1 1の表示となる。

画面 1 1 1は、 画像データ 7 Bに基づくレストラン 「X X X」 の画 像 7 B ' と、 ポタン 1 1 1 Aとが表示される。 ボタン 1 1 1 Aを押す と、 表示が第 1 6図 Aおよび第 1 6図 Bの画面 1 1 2に切り替わり、 レストラン 「XXX」 の概略的な説明と、 ポタン 1 1 2 A、 1 1 2 B 、 1 1 2 Cおよび 1 1 2 Dとが表示される。 ポタン 1 1 2 Aを押すと 、 表示が画面 1 1 3に切り替わり、 レストラン 「X X X」 の詳細情報 が表示される。

また、 ポタン 1 1 2 Bを押すと、 表示が画面 1 1 4に切り替わり、 レストラン 「X X X」 の場所を示す地図が表示される。 画面 1 1 4に おいてボタン 1 1 4 Aを押すと、 このカメラ機能付き携帯電話端末 1 の電話機能を用いてレストラン 「X X X」 が呼び出され、 ユーザとレ ストラン 「X X X」 との間で、 例えば予約などの相談を行うことがで きる。 なお、 上述の画面 1 1 2において電話番号部分を所定に指定す ることでも、 カメラ機能付き携帯電話端末 1の電話機能を用いてレス 卜ラン 「X X X」 を呼び出すことができる。

画面 1 1 2においてボタン 1 1 2 Cを押すと、 表示が類似情報を探 す画面に切り替わる。 例えば、 サーバ 3においてレストラン 「X X X 」 のメ夕デ一夕に基づき抽出される、 このレストラン 「X X X」 が属 するカテゴリ （例えば 「日本料理店」 ） に基づきメタデ一夕を検索し 、 類似のカテゴリに属する他のレス卜ランの一覧を画面に表示させる 。

上述において、 例えば画面 1 1 2以降で表示される情報は、 サーバ 3が用意してもよいし、 レストラン 「X X X」 側がインターネット 2 上の We bサイ トとして用意し、 画面 1 1 1のポタン 1 1 1 Aにより リンクするようにしてもよい。

なお、 画面 1 1 2のポタン 1 1 2 Dおよび画面 1 1 4のポタン 1 1 4 Bは、 それぞれ一つ前の画面に戻るためのポタンである。

第 1 7図 Aおよび第 1 7図 B、 並びに、 第 1 8図 Aおよび第 1 8図 Bは、 上述した画像データ 7 Cの例に対応し、 ワインボトルなどに貼 付されているラベルを撮影してサーバ 3に送信し、 サービスを受ける 例である。 第 1 7図 Aおよび第 1 7図 Bにおいて、 ユーザは、 気にな つたワインのボトルに貼付されたラベルをカメラ機能付き携帯電話端 末 1で撮影し、 撮影された画像デ一夕 7 Cを画面 1 0 1により電子メ —ルに添付してサーバ 3に送信する。 なお、 画像データ 7 Cは、 ラベ ルを実際に撮影したものでなくてもよく、 例えば雑誌の写真を撮影し たものや、 テレビジョン放送の映像による画像デ一夕などでもよい。 サーバ 3では、 受信された画像データ 7 Cに対して画像認識処理お よびメタデータ抽出処理を行い、 画像データ 7 Cに含まれる画像要素 を特定し、 画像要素に対応するメ夕デ一夕を検索する。 そして、 検索 されたメ夕デ一夕に基づくサービスを提供する We bサイ トを作成し 、 当該 We bサイ トの UR Lが記述された電子メールを、 カメラ機能 付き携帯電話端末 1に対して返信する。 返信の電子メールの画面 1 0 2に表示された UR L 1 0 2 Aを所定に指定すると、 当該 We bサイ トにアクセスされ、 画面 1 20の表示となる。

画面 1 2 0は、 画像データ 7 Cによるラベルの画像 7 C ' と、 ボタ ン 1 2 0 Aが表示される。 ボタン 1 2 0 Aを押すと、 表示が第 1 8図 Aおよび第 1 8図 Bの画面 1 2 1に切り替わり、 当該ワインの概略的 な説明と、 ボタン 1 2 1 A、 1 2 1 B、 1 2 1 Cおよび 1 2 1 Dとが 表示される。 ポタン 1 2 1 Aを押すと、 表示が画面 1 2 2に切り替わ り、 当該ワインの詳細情報が表示される。

画面 1 2 1において、 ポタン 1 2 1 Bを押すと、 表示が画面 1 2 3 に切り替わり、 当該ワインの通信販売での購入申し込みを設定するこ とができる。 画面 1 2 3において必要な情報を入力してポタン 1 2 3 Aを押すと、 表示が入力した情報を確認するための画面 1 2 4に切り 替わり、 さらにポタン 1 2 4 Aを押すことで、 通信販売の決済が実行 される。

画面 1 2 1においてボタン 1 2 1 Cを押すと、 表示が類似情報を示 す画面に切り替わる。 例えば、 サーバ 3において当該ワインのメ夕デ —夕に基づき、 所定の項目で他のワインのメタデータを検索し、 当該 ワインと類似するワインの一覧を画面に表示させる。

上述において、 例えば画面 1 2 1以降で表示される情報は、 サーバ 3が用意してもよいし、 このワインの販売元、 輸入元などがイン夕一 ネット 2上の W e bサイ トとして用意し、 画面 1 2 0のポタン 1 2 0 Aによりリンクするようにしてもよい。

なお、 画面 1 2 1のポタン 1 2 1 D、 画面 1 2 3のポタン 1 2 3 B および画面 1 2 4のポタン 1 2 4 Bは、 それぞれ一つ前の画面に戻る ためのポタンである。

第 1 9図 Aおよび第 1 9図 B、 並びに、 第 2 0図 Aおよび第 2 0図 Bは、 上述した画像デ一夕 7 Dの例に対応し、 人物 （プロスポーツ選 手とする） を撮影してサーバ 3に送信し、 サービスを受ける例である 。 第 1 9図 Aおよび第 1 9図 Bにおいて、 ユーザは、 気になったスポ ーッ選手をカメラ機能付き携帯電話端末 1で撮影し、 撮影された画像 データ 7 Dを画面 1 0 1により電子メールに添付してサーバ 3に送信 する。 なお、 画像データ 7 Dは、 人物を実際に撮影したものでなくて もよく、 例えば、 テレビジョン放送の映像による画像データや、 雑誌 の写真を撮影したものなどでもよい。

サーバ 3では、 受信された画像データ 7 Dに対して画像認識処理、 人相認識およびメタデータ抽出処理を行い、 画像デ一夕 7 Dに含まれ る画像要素が示す人物を特定し、 当該人物に対応するメタデータを検 索する。 そして、 検索されたメタデータに基づくサービスを提供する W e bサイ トを作成し、 当該 W e bサイ 卜の U R Lが記述された電子 メールを、 カメラ機能付き携帯電話端末 1に対して返信する。 返信の 電子メールの画面 1 0 2に表示された U R L 1 0 2 Aを所定に指定す ると、 当該 W e bサイトにアクセスされ、 画面 1 3 0の表示となる。 画面 1 3 0は、 画像デ一夕 7 Dによる画像 7 D ' と、 ボタン 1 3 0 Aおよび 1 3 0 Bとが表示される。 このスポーツ選手を撮影した例で は、 サーバ 3により、 スポーツ選手の画像と、 スポーツ選手が着てい るユニフォームのロゴマーク画像とが認識され、 当該スポーツ選手に 関するサービスと、 当該スポーツ選手が着ているユニフォームに関す るサービスとが提供される。

ユーザがスポーツ選手に関するサービスを受けたいとしてボタン 1 3 O Aを押すと、 表示が画面 1 3 1 (第 2 0図 A ) に切り替わり、 当 該スポーツ選手に関して概略的に説明が表示されると共に、 ポタン 1 3 1 A、 1 3 1 B、 1 3 1 Cおよび 1 3 1 Dが表示される。 ボタン 1 3 1 Aを押すと、 表示が画面 1 3 2に切り替わり、 当該スポーツ選手 に関してより詳細な情報が表示される。

ポタン 1 3 1 Cを押すと、 表示が類似情報を探す画面 1 3 3に切り 替わる。 例えば、 サーバ 3において、 当該スポーツ選手の名前をキー ワードとしてメタデータが検索され、 類似情報の候補が画面 1 3 3に 表示される。 対象がスポーツ選手のこの例では、 当該スポーツ選手が 所属するチームの試合に関する情報や、 チームの他の選手に関する情 報が類似情報として表示される。 所望の類似情報を選択してポタン 1 3 3 Aを押すと、 選択した情報が表示される画面に切り替わる。

また、 当該スポーツ選手を撮影した画像データを用いた壁紙画像デ 一夕 （表示部の背景として用いるための画像データ） や、 当該スポー ッ選手の音声による着信音声データを類似情報としてもよい。 この場 合には、 ボタン 1 3 3 Aを押すと、 表示が、 壁紙画像データや着信音 声データをィンターネット 2を介してダウン口一ドするような画面 （ 図示しない） に切り替わる。

画面 1 3 1において、 ボタン 1 3 1 Bを押すと、 通信販売での購入 申し込みを設定するための画面 1 3 4に表示が切り替わる。 これに限 らず、 上述の画面 1 3 0において、 ユニフォームに関するサービスを 受けたいとしてポタン 1 3 0 Bを押しても、 表示がこの画面 1 3 4に 切り替わる。

上述したように、 この第 1 9図 Aおよび第 1 9図 B、 並びに、 第 2 0図 Aおよび第 2 0図 Bの例では、 画像データ 7 Dからスポーツ選手 の人物の画像と共に、 スポーツ選手が着ているユニフォームのロゴマ —ク画像が認識されている。 そこで、 この画面 1 3 4では、 認識され たロゴマーク画像に関連するスポーツウエアの通信販売による購入申 し込みが可能となっている。 この例では、 注文可能なユニフォームを 示す画像 1 3 4 Aおよび 1 3 Bがそれぞれボタンを兼ねており、 所 望のスポーツウエアが表示される画像をボタン表示の如く押すことで 、 選択されたスポーツウエアの購入申し込み画面 1 3 5に表示が切り 替わる。

画面 1 3 5において必要な情報を入力してポタン 1 3 5 Aを押すと 、 入力した情報を確認するための画面 （図示しない） に表示が切り替 わり、 その画面において例えば決済ポタンを押すことで、 通信販売の 決済が実行される。

上述において、 例えば画面 1 3 1以降で表示される情報は、 サーバ 3が用意してもよいし、 当該スポーツ選手の契約元やロゴマーク画像 で認識されるスポーツウエアの販売元などがィン夕一ネット 2上の W e bサイ トとして用意し、 画面 1 3 0のポタン 1 3 0 Aやボタン 1 3 0 Bによりリンクするようにしてもよい。

なお、 画面 1 3 1のボタン 1 3 1 D、 画面 1 3 3のボタン 1 3 3 B および画面 1 3 5のポタン 1 3 5 Bは、 それぞれ一つ前の画面に戻る ためのボタンである。

第 2 1図 Aおよび第 2 1図 B、 並びに、 第 2 2図 Aおよび第 2 2図 Bは、 上述した画像デ一夕 7 Eの例に対応し、 C Dの発売や上映映画 の広告画像を撮影してサーバ 3に送信し、 サービスを受ける例である 。 ここでは、 画像データ 7 Eは、 上映映画の広告ポスタ一を撮影した データであるとする。 第 2 1図 Aおよび第 2 1図 Bにおいて、 ユーザ は、 気になった上映映画を広告しているポスターをカメラ機能付き携 帯電話端末 1で撮影し、 撮影された画像データ 7 Eを画面 1 0 1によ り電子メールに添付してサーバ 3に送信する。 なお、 画像データ 7 E は、 テレビジョン放送のコマーシャルなどによる画像データでもよい 。

サーバ 3では、 受信された画像データ 7 Eに対して画像認識処理お よびメタデータ抽出処理を行い、 画像データ 7 Eに含まれる画像要素 を特定し、 画像要素に対応するメタデータを検索する。 そして、 検索 されたメ夕デ一夕に基づくサービスを提供する W e bサイ トを作成し 、 当該 W e bサイ トの U R Lが記述された電子メールを、 カメラ機能 付き携帯電話端末 1に対して返信する。 返信の電子メールの画面 1 0 2に表示された UR L 1 0 2 Aを所定に指定すると、 当該 We bサイ トにアクセスされ、 画面 1 40の表示となる。

画面 1 40は、 画像デ一夕 7 Eによるポスター画像 7 E ' と、 ボタ ン 1 40 Aとが表示される。 ポタン 1 4 OAを押すと、 表示が画面 1 4 1 (第 2 2図 A) に切り替わり、 ポスターにより広告される上映映 画の概略的な説明と、 ボタン 14 1 A、 14 1 B、 1 4 1 Cおよび 1 4 1 Dとが表示される。 ボタン 1 4 1 Aを押すと、 表示が 1 42に切 り替わり、 当該映画の詳細情報が表示される。 ここでは、 当該映画の 上映館や上映時間など、 上映に関する情報が詳細情報として表示され ている。

ポタン 1 42 Aを押すことで、 表示が画面 144に切り替わり、 当 該映画のチケットの通信販売での購入申し込みを設定することができ る。 なお、 画面 1 4 1においてボタン 1 4 1 Bを押すことでも、 表示 が画面 1 44に切り替わり通信販売によるチケッ ト購入申し込みの設 定ができるようになる。 画面 144において必要な情報を入力してポ タン 1 44 Aを押すと、 入力した情報を確認するための画面 145に 表示が切り替わり、 さらにポタン 145 Aを押すことで、 通信販売の 決済が実行される。

画面 14 1において、 ポタン 1 4 1 Cを押すと、 表示が類似情報を 示す画面 1 43に切り替わる。 当該映画のメタデータに基づき、 当該 映画が収録された DVDの購入情報や、 ストーリー、 キャストなど当 該映画の関連情報、 映画の映像を利用した壁紙データのダウンロード 、 当該映画に関するニュースなどが類似情報として表示される。 所望 の類似情報を選択してポタン 1 43 Aを押すと、 選択した情報が表示 される画面に切り替わる。 例えば、 DVDの購入情報を選択した場合 は、 ポタン 143 Aを押すと、 DVDの通信販売による購入申し込み を設定する画面 （図示しない） に表示が切り替わる。 また、 壁紙デー 夕を選択した場合は、 ポタン 1 43 Aを押すと、 壁紙画像データをィ ンターネット 2を介してダウンロードするような画面 （図示しない） に切り替わる。

上述において、 例えば画面 14 1以降で表示される情報は、 サーバ 3が用意してもよいし、 この映画の配給元などがィン夕ーネッ ト 2上 の We bサイ トとして用意し、 画面 140のボタン 1 4 O Aによりリ ンクするようにしてもよい。

なお、 画面 14 1のポタン 14 1 D、 画面 142のボタン 1 42 B 、 画面 1 43のポタン 1 43 B、 画面 144のポタン 1 44 Bおよび 画面 145のポタン 1 45 Bは、 それぞれ一つ前の画面に戻るための ポタンである。

第 2 3図 Aおよび第 2 3図 B、 第 24図 Aおよび第 24図 B、 並び に、 第 2 5図は、 上述した画像デ一夕 7 Fの例に対応し、 ポスタ一な ど商品広告の画像を撮影してサーバ 3に送信し、 サービスを受ける例 である。 第 2 3図 Aおよび第 23図 Bにおいて、 ユーザは、 気になつ た商品を宣伝しているポスタ一をカメラ機能付き携帯電話端末 1で撮 影し、 撮影された画像デ一夕 7 Fを画面 1 0 1により電子メールに添 付してサーバ 3に送信する。 なお、 画像データ 7 Fは、 テレビジョン 放送のコマ一シャル映像による画像デ一夕などでもよい。

サーバ 3では、 受信された画像データ 7 Fに対して画像認識処理お よびメタデータ抽出処理を行い、 画像データ 7 Fに含まれる画像要素 を特定し、 画像要素に対応するメタデータを検索する。 そして、 検索 されたメタデ一夕に基づくサービスを提供する We bサイ トを作成し 、 当該 We bサイ トの UR Lが記述された電子メールを、 カメラ機能 付き携帯電話端末 1に対して返信する。 返信の電子メールの画面 1 0 2に表示された UR L 1 02 Aを所定に指定すると、 当該 We bサイ 卜にアクセスされ、 画面 1 50の表示となる。

画面 1 50は、 画像データ 7 Fによる画像 7 F ' と、 ポタン 1 5 0 Aおよびボタン 1 5 0 Bとが表示される。 商品広告のポスターを撮影 したこの例では、 サーバ 3により、 広告されている商品の画像および 当該商品のロゴマーク画像と、 広告に起用されているモデルの画像と が認識され、 当該商品に関するサービスと、 当該モデルに関するサー ビスとが提供される。

画面 1 5 0において、 ポタン 1 50 Aを押すと、 表示が画面 1 5 1 (第 24図 A) に切り替わり、 ポスターにより広告される商品の概略 的な説明と、 ボタン 1 5 1 A、 1 5 1 B、 1 5 1 Cおよび 1 5 I Dと が表示される。 ボタン 1 5 1 Aを押すと、 表示が画面 1 5 2に切り替 わり、 当該商品の詳細情報が表示される。

画面 1 52において、 ポタン 1 52 Aを押すことで、 表示が画面 1 54に切り替わり、 当該商品の通信販売での購入申し込みを設定する ことができる。 なお、 画面 1 5 1においてボタン 1 5 1 Bを押すこと でも、 表示が画面 1 54に切り替わり、 通信販売による商品購入申し 込みの設定ができるようになる。 画面 1 54において必要な情報を入 力してポタン 1 54 Aを押すと、 入力した情報を確認する確認画面 （ 図示しない） に表示が切り替わり、 入力情報の確認および設定された 購入申し込みに対する決済の実行を行うことができる。

画面 1 5 1においてポタン 1 5 1 Cを押すと、 表示が類似情報を示 す画面 1 5 3に切り替わる。 当該商品のメタデータに基づき、 当該商 品のシリーズの他の商品や、 当該商品を宣伝するコマーシャルに関す る情報、 当該商品に関連するニュースなどが類似情報として表示され る。 所望の類似情報を選択してポタン 1 5 3 Aを押すと、 選択した情 報が表示される画面に切り替わる。

画面 1 50において、 ボタン 1 5 0 Bを押すと、 表示が画面 1 5 5 (第 2 5図） に切り替わり、 当該ポスターに起用されているモデルに 関する情報が概略的に表示される。 ボタン 1 5 5 Aを押すことで、 当 該モデルに関する詳細情報を表示する画面 （図示しない） に切り替わ る。 ポタン 1 5 5 Bを押すことで、 当該モデルに関する商品の通信販 売による購入を申し込む画面 （図示しない） に表示が切り替わる。 ポ タン 1 5 5 Cを押すことで、 当該モデルに対する類似情報を表示する 画面 （図示しない） に切り替わる。 すなわち、 このモデルの詳細情報 の表示画面 1 5 5以降は、 上述したスポーツ選手の詳細情報の表示画 面 1 3 1以降と、 同様の構成を持つことができる。

上述において、 例えば画面 1 5 1以降で表示される情報は、 サーバ 3が用意してもよいし、 商品の宣伝元やモデルの所属プロダクシヨン などがィンタ一ネット 2上の We bサイ トとして用意し、 画面 1 5 0 のボタン 1 5 O Aおよび 1 5 0 Bによりリンクするようにしてもよい なお、 画面 1 5 1のポタン 1 5 1 D、 画面 1 5 2のボタン 1 5 2 B 、 画面 1 5 3のポタン 1 5 3 B、 画面 1 54のボタン 1 54 Bおよび 画面 1 5 5のポタン 1 45 Dは、 それぞれ一つ前の画面に戻るための ボタンである。

このように、 この発明の実施の一形態によるシステムによれば、 ュ 一ザは、 撮影した画像データ 7をサーバ 3に送信するだけで、 撮影し た内容に応じた様々なサービスを受けることができる。 サーバ 3は、 画像認識処理結果に基づきメ夕デ一夕を抽出してサービスの内容を判 断する。 そのため、 ユーザは、 撮影の対象に関する知識を持っていな くても適切なサービスを受けることができる。 また、 サーバ 3は、 ユーザから送信された画像デ一夕 7に対する画 像認識処理において、 画像デ一夕 7に含まれる複数の画像要素につい て認識し、 それぞれメタデータを抽出するようにしている。 そのため 、 ユーザは、 撮影した画像中の自分が狙った以外の部分についても、 サービスを受けることができる。 また、 撮影の対象となる画像 （ボス 夕一やテレビジョン放送のコマーシャル映像、 雑誌の表示など） の本 来の目的以外の画像要素に対しても、 サービスを受けることができる 以上のことから、 この発明の実施の一形態によるシステムを用いる ことで、 次のようなことが実現可能である。

( 1 ) 例えば、 ユーザが、 新しく封切りされる映画のポスタ一を見て 、 その映画の上映館と上映時間とを知りたいと思ったとする。 ユーザ は、 手元のカメラ機能付き携帯電話端末 1を用いて当該ポスターを撮 影し、 撮影された画像データ 7をサーバ 3に送信するだけで、 欲しい 情報がその場で入手可能となる。 ユーザは、 欲しい情報を入手する際 に、 文字入力の手間が省けるだけでなく、 記憶違いや忘却などにより 検索不能となることも、 防がれる。

( 2 ) 例えば、 雑誌の広告に掲載されている写真の人物が履いている 靴を、 ユーザが気に入ったとする。 ユーザは、 その靴の製造メーカや 型名が分からなくても、 その写真をカメラ機能付き携帯電話端末 1で 撮影してサーバ 3に送信するだけで、 欲しい情報を入手できる。

( 3 ) 例えば、 ユーザが店舗でワインを購入する際に、 購入しようと するワインが果たしてどんな味なのか、 どのワイナリーで作られ、 ど の葡萄が原料として使われているかなど、 必要な情報が分からず買う べきか否かの決断ができない場合がある。 このような場合でも、 ユー ザは、 手元のカメラ機能付き携帯電話端末 1を用いてそのワインのラ ベル部分を撮影してサーバ 3に送信するだけで、 必要な情報を入手す ることができる。 また、 撮影された画像を送信するだけなので、 ラベ ルの文字が例えばフランス語ゃィ夕リァ語で記述されておりユーザが 読めない場合でも、 問題なく情報の検索を行うことができると共に、 その場ですぐに情報を入手することができる。

テレビジョン放送の内容に対してこの発明の実施の一形態を適用し た場合について考える。 既に実用化されているネッ トワーク接続型の テレビジョン受像機では、 テレビジョン放送に応じた情報をネッ トヮ ークを介して入手することができる。 この発明の実施の一形態は、 こ のようなネッ トワーク接続型のテレビジョン受像機に対して、 次のよ うな優位性がある。

( 1 ) ネッ トワーク接続型のテレビジョン受像機を利用したサービス では、 専用のテレビジョン受像機が必要となる。 一方、 この発明の実 施の一形態によるサービスでは、 テレビジョン受像機に映出された映 像をカメラ機能付き携帯電話端末 1で撮影しサーバ 3に送信するだけ でよいので、 サービスを受けるに当たって、 専用のテレビジョン受像 機を用意する必要が無い。

( 2 ) ネッ トワーク接続型のテレビジョン受像機を利用したサービス では、 ユーザは、 テレビジョン放送局が予め用意したサービスしか受 けることができない。 一方、 この発明の実施の一形態によるサービス では、 映像から抽出されたメタデータに基づき情報が提供されるため 、 様々な情報検索が可能である。

( 3 ) ネッ トワーク接続型のテレビジョン受像機を利用したサービス では、 データは、 放送時にデータチャンネルによって送信されるため 、 放送時から時間が経過しても関連情報の更新が行われない。 そのた め、 例えば放送を録画して後に録画した放送を再生したときなど、 そ の放送に関連して放送時に送信された情報が既に古くなつて有益では なくなつている場合がある。 一方、 この発明の実施の一形態によるサ —ビスでは、 関連情報が常に更新されるため、 過去の映像からでも、 最新情報の検索が可能である。

( 4 ) ネッ トワーク接続型のテレビジョン受像機を利用したサービス では、 録画された放送を再生中に、 その放送に関するサービスを受け ようとする場合、 その放送に対応するデ一夕チャンネルも記録可能な 、 特殊な録画機器を必要とする。 一方、 この発明の実施の一形態によ るサービスでは、 映像に基づき情報が検索されるため、 録画装置は通 常のものでよい。

テレビジョン放送局の多くは、 インタ一ネッ ト 2上に W e bサイ ト を持っている。 また、 インターネッ ト 2上には、 テレビジョン放送に よる番組やコマーシャルに関する W e bサイ トが多数、 存在する。 ュ 一ザは、 ネッ トワーク接続機能の無い一般のテレビジョン受像機でテ レビジョン放送を視聴中に、 気になる情報を発見したら、 パーソナル コンピュータやインターネッ ト接続機能を有する携帯電話端末などを 用いてインターネッ ト 2に接続し、 その情報を検索することができる 。 この発明の実施の一形態は、 このようなテレビジョン放送に基づく 情報検索に対して、 次のような優位性がある。

( 1 ) ユーザがテレビジョン放送を視聴中に気になる情報を発見し、 パーソナルコンピュータなどで特定のシステム （ィンターネッ ト上の 情報検索サイ トなど） にアクセスしている間に、 目的の映像が終わつ てしまう場合がある。 一方、 この発明の実施の一形態によるサービス では、 気になる映像が映出されたら、 その場でカメラ機能付き携帯電 話端末 1などでその画面を撮影してサーバ 3に送信するだけで、 情報 が得られる。 画面を撮影してからパーソナルコンピュータなどで特定 のシステムにアクセスしてもよく、 アクセス中に目的の映像が終了し てしまっても、 後から、 撮影された画像データ 7をサーバ 3に送信す ることで、 その特定のシステムにアクセスすることが可能である。 ( 2 ) パーソナルコンピュータなどで特定のシステムにアクセスして 情報を検索する場合、 ユーザは、 テレビジョン放送に基づく情報を検 索する際に、 別途、 放送局情報を入力する必要がある。 一方、 この発 明の実施の一形態によるサービスでは、 テレビジョン放送の映像を撮 影してサーバ 3に送信するだけで情報が得られるため、 放送局を意識 する必要が無い。

( 3 ) パーソナルコンピュータなどで特定のシステムにアクセスして 情報を検索する場合、 録画されたテレビジョン放送により情報を検索 しょうとした場合、 そのテレビジョン放送の放送局情報や放送された 時刻情報をテレビジョン放送の映像と共に録画しなければならず、 特 殊な録画装置が必要でとされる。 一方、 この発明の実施の一形態によ るサービスでは、 録画装置から再生されたテレビジョン放送の映像を 撮影してサーバ 3に送信するだけで情報が得られるため、 通常の録画 装置を用いることができる。

このように、 この発明の実施の一形態によるサービスでは、 既存の 情報検索方法に対して優位性が高いため、 様々なビジネスを展開する ことができる。 次に、 この発明の実施の一形態によるサービスを利用 したビジネスモデルについて説明する。

第 2 6図 A、 第 2 6図 Bおよび第 2 6図 Cは、 この発明の実施の一 形態によるサービス （以下、 画像マーカサービスと呼ぶ） と、 ユーザ および各企業との関係を概念的に示す。 画像マーカサービス 2 0 0は 、 例えば第 4図 Aおよび第 4図 Bを用いて説明したサーバ側システム に対応し、 口ゴマーク画像マスタ 2 1 4、 一般画像マスタ 2 1 5およ び人物画像マスタなどの各画像マスタ （例えば第 4図 Aおよび第 4図 Bの画像データベース 4に対応） と、 コンテンツメタデータ 2 1 1、 商品メタデータ 2 1 2およびその他のメタデ一夕 2 1 3などの、 画像 マス夕に登録された各画像と対応付けられた各メ夕デ一夕 （例えば第 4図 Aおよび第 4図 Bの関連情報データペース 5に対応） と、 画像認 識エンジン 2 1 0とからなる画像マーカサービスエンジンを有する。 画像認識エンジン 2 1 0は、 例えば第 4図 Aおよび第 4図 Bを用い て説明した画像特徴抽出部 3 0、 画像特徴比較部 3 1および関連情報 検索部 3 2に対応し、 入力された画像データに対して画像認識処理を 行い、 各画像マス夕に登録されている画像のうち、 一致度の高い画像 を検索する。 そして、 一致度が高いとされた画像に対応するメタデー 夕を入力された画像データの関連情報として抽出する。

各画像マスタおよび各メタデータは、 上述した C M自動抽出システ ム 5 1によるテレビジョン放送からのコマーシャルの自動抽出や、 一 般 W e bサイ ト 5 2を検索することで集められ、 登録ツールを用いて データ登録セン夕 5 0により登録される。

ユーザ 2 0 1は、 気になる商品や広告などを撮影し、 インターネッ トを介して画像マーカサービス 2 0 0に送信する。 画像マーカサービ ス 2 0 0は、 画像マーカサービスエンジンを用いて、 ユーザ 2 0 1か ら送信された画像データの関連情報を検索する。 検索された関連情報 は、 ユーザ 2 0 1に送信される。

ユーザ 2 0 1は、 画像マーカサービス 2 0 0から送信された関連情 報により基づき、 撮影した商品などをインターネットを介して購入す ることができる。 このとき、 購入の手続などは、 他の企業 2 0 2が行 うことが可能である。

企業 2 0 2は、 例えば、 商品の閲覧および購入が可能な W e bサイ トを用いてィンターネッ ト上で電子商取引を行う、 E C企業である。 以下、 企業 2 0 2を E C企業 2 0 2と呼ぶ。 一例として、 画像マーカ サ一ビス 2 0 0は、 画像マーカサービスエンジンを E C企業 2 0 2に 貸し出す。 換言すれば、 画像マーカサービス 2 0 0は、 この画像マ一 力サービスエンジンの部分を E C企業 2 0 2に貸し出す A S P (Appli cat ion Service Provider)となる。

従来、 ユーザ 2 0 1は、 E C企業 2 0 2の We bサイ トにアクセス して多数の商品の中から購入したい商品を検索および選択し、 その後 、 購入していた。 E C企業 2 0 2が画像マーカサービスエンジンを用 いることで、 ユーザ 2 0 1は、 E C企業 2 0 2の We bサイ トにァク セスして商品を選択するという行為無しに、 直接的に商品を指定して 、 E C企業 2 0 2からその商品を購入することになる。 画像マーカサ —ビスエンジンを介して E C企業 2 0 2から商品を購入するユーザ 2 0 1は、 E C企業 2 0 2の潜在的な顧客であって、 将来的に E C企業 2 0 2の We bサイ トなどに誘導できる期待がある。

一方、 画像マーカサービスエンジンを介して購入可能な商品の製造 メーカなどの一般企業 2 0 3は、 積極的に画像マーカサービスェンジ ンに対して商品情報や UR Lなどの情報を登録することで、 結果的に 売り上げを伸ばすことが可能となる。 画像マーカサービス 2 0 0は、 一般企業 2 0 3が画像マーカサービスエンジンに対して情報の登録を 行うことが可能なように、 データセンタ 5 0で用いられる登録ツール を一般企業 2 0 3に対して貸し出しまたは販売する。

第 2 7図〜第 3 0図を用いて、 画像マーカサービス 2 0 0によるビ ジネスモデルについて説明する。 以下において、 ユーザ 2 0 1は例え ばカメラ機能付き携帯電話端末 1であると共にカメラ機能付き携帯電 話端末 1を使用するユーザであり、 画像マーカサービス 2 0 0は例え ばサーバ 3であり、 販売業者等 2 0 4は、 第 2 6図 Cの E C企業 2 0 2や一般企業 2 0 3に相当する。 ユーザ 2 0 1および画像マーカサー ビス 2 0 0は、 互いにインターネッ ト 2を介して通信可能とされる。 例えばィンタ一ネッ ト 2に接続されるサーバ装置とし、 販売業者等 2 0 4と、 ユーザ 2 0 1および画像マ一力サービス 2 0 0とをィンター ネッ ト 2を介して互いに通信可能としてもよい。

第 2 7図は、 ユーザに対して課金を行う会員制の有料サ一ビスの例 である。 この第 2 7図の例を、 画像マーカサービス 2 0 0によるビジ ネスモデルの第 1段階とする。 画像マーカサービス 2 0 0は、 ユーザ 2 0 1に対して課金することで、 情報提供サービスをユーザ 2 0 1に 対して提供する。 すなわち、 ユーザ 2 0 1は、 画像マーカサービス 2 0 0と会員契約し、 画像マーカサービス 2 0 0に対してサービス利用 料金を支払い、 有料で情報提供サービスを受ける。 この情報提供サー ビスにより提供された情報に基づきユーザ 2 0 1が購入したい商品が あった場合、 画像マーカサービス 2 0 0から販売業者等 2 0 4に対し て、 商品購入を希望した顧客 （ユーザ 2 0 1 ) を紹介する。 販売業者 等 2 0 4は、 紹介されたユーザ 2 0 1に対して商品情報を提供し、 ュ 一ザが購入のために代金を支払うと、 商品や情報をユーザに対して配 送する。

第 2 8図は、 画像マーカサービス 2 0 0が販売業者等 2 0 4による 商品の販売や課金の代行を行う例である。 この第 2 8図の例を、 画像 マーカサービス 2 0 0によるビジネスモデルの第 2段階とする。 画像 マーカサービス 2 0 0は、 ユーザ 2 0 1に対して商品情報などを提供 する情報提供サービスを行う。 ユーザは、 提供された情報に基づき商 品を購入する。 このとき、 ユーザ 2 0 1は、 商品代金を画像マーカサ —ビス 2 0 0に対して支払う。 画像マーカサービス 2 0 0は、 商品代 金から手数料を差し引いた金額を販売業者等 2 0 4に渡す。 この手数 料が画像マ一力サービス 2 0 0の収益となる。 販売業者等 2 0 4は、 手数料を差し引かれた商品代金を受け取ると、 ユーザ 2 0 1に対して 商品を発送する。

第 2 9図は、 画像マーカサービス 2 0 0が画像マーカサービスェン ジンの機能を販売業者等 2 0 4に提供する機能 A S Pとなる例である 。 この第 2 9図の例を、 画像マーカサービス 2 0 0によるビジネスモ デルの第 3段階とする。 画像マーカサービス 2 0 0は、 画像マーカサ 一ビスエンジンの機能を販売業者等 2 0 4に提供する。 販売業者等 2 0 4は、 画像マーカサービス 2 0 0に対して、 画像マーカサービスェ ンジンの機能利用料を支払う。 これで、 販売業者等 2 0 4は、 ユーザ から送信された画像データに対する画像認識機能や、 メタデ一夕抽出 機能を利用することができる。 メタデータそのものは、 販売業者等 2 0 4側で収集する必要がある。

ユーザ 2 0 1は、 気に入った商品などを撮影した画像データを販売 業者等 2 0 4に対して送信する。 販売業者等 2 0 4は、 画像マ一カザ 一ビスエンジンの機能を用いて、 送信された画像データの関連情報を ユーザ 2 0 1に対し送信する。 この関連情報に基づき、 ユーザ 2 0 1 が商品の購入のために販売業者等 2 0 4に代金を支払うと、 販売業者 等 2 0 4からユーザ 2 0 1に対して商品が発送される。

第 3 0図は、 画像マーカサービス 2 0 0が販売業者等 2 0 4に対し て、 画像マーカサービスエンジンのライセンスを供与する例である。 この第 3 0図の例を、 画像マーカサービス 2 0 0によるビジネスモデ ルの第 4段階とする。 画像マーカサービス 2 0 0は、 販売業者等 2 0 4に対して画像マーカサービスエンジンの技術に対する使用許諾を行 うと共に、 メタデータを提供する。 販売業者等 2 0 4は、 画像マーカ サービス 2 0 0に対して、 技術利用とメタデータの利用に対する利用 料金を支払う。 これで、 販売業者等 2 0 4は、 ユーザから送信された 画像データに対する画像認識機能やメタデ一夕抽出機能を、 使用許諾 の範囲内で自由に利用することができる。 また、 メ夕デ一夕そのもの も、 使用許諾の範囲内で自由に利用することができ、 販売業者等 2 0 4側でメタデータを収集する必要が無い。

ユーザ 2 0 1は、 気に入った商品などを撮影した画像データを販売 業者等 2 0 4に対して送信する。 販売業者等 2 0 4は、 画像マーカサ 一ビスエンジンの機能を用いて、 送信された画像データの関連情報を ユーザ 2 0 1に対し送信する。 この関連情報に基づき、 ユーザ 2 0 1 が商品の購入のために販売業者等 2 0 4に代金を支払うと、 販売業者 等 2 0 4からユーザ 2 0 1に対して商品が発送される。

上述の 4つのビジネスモデルにおいて、 第 1段階、 第 2段階と段階 が進むにつれ、 画像マーカサービス' 2 0 0の収益が大きくなることが 期待されると共に、 販売業者等 2 0 4側でも、 画像マーカサービスェ ンジン機能をより自由に利用できるようになる。 また、 段階が進むに つれ、 情報や金銭の流れが単純化され、 画像マーカサービス 2 0 0、 ユーザ 2 0 1および販売業者等 2 0 4の関係がより整理されたものに なる。 このことは、 画像マーカサービス 2 0 0、 ユーザ 2 0 1および 販売業者等 2 0 4の間でのビジネスがより効率的に行われることを意 味する。

この発明では、 サーバは、 画像認識機能を有すると共に、 予め画像 データおよび画像デ一夕に対応する関連情報をデータベースに登録し ている。 そして、 ュ一ザから送られてきた画像データに対して画像認 識処理を行ってデータベースに登録された画像データと比較し、 一致 度が高いとされた画像データに対応する関連情報をユーザに送信する ようにしている。

そのため、 ユーザは、 撮影した画像データをサーバに送信するだけ で、 撮影した内容に応じた様々なサービスを受けることができる効果 がある。 また、 サーバは、 画像認識処理結果に基づき関連情報を抽出 してサービスの内容を判断するので、 ユーザは、 撮影の対象に関する 知識を持っていなくても適切なサービスを受けることができる効果が ある。 それにより、 サ一ビスの提供側においても、 サービスに関する 知識を持たないユーザを新たな顧客として得ることができる効果があ る。

また、 サーバは、 ユーザから送信された画像データに対する画像認 識処理において、 画像デ一夕に含まれる複数の画像要素について認識 し、 それぞれ関連情報を抽出するようにしている。 そのため、 ユーザ は、 撮影した画像中の自分が狙った以外の部分についても、 サービス を受けることができる効果がある。 また、 ユーザは、 撮影の対象とな る画像 （ポスターやテレビジョン放送のコマーシャル映像、 雑誌の表 示など） の本来の目的以外の画像要素に対しても、 サービスを受ける ことができる効果がある。

さらに、 この発明の実施の一形態によれば、 画像デ一夕を撮影して サーバに送信するだけで、 撮影対象に関する関連情報を得ることがで きるので、 ユーザは、 欲しい情報を入手する際に文字入力の手間が省 けるだけでなく、 記憶違いや忘却などにより検索不能となることも、 防がれる効果がある。

さらにまた、 画像データに対する画像認識処理結果に基づき関連情 報が得られるため、 ユーザは、 対象物の製造メーカや型名が分からな くても、 対象物を撮影して画像データをサーバに送信するだけで、 欲 しい情報を入手できる効果がある。 対象物がラベルなどの場合に、 そ のラベルに記載されている文字がユーザの読めない外国語などであつ ても、 問題なく情報の検索を行うことができるという効果がある。 また、 テレビジョン放送による画像データにこの発明を適用した場 合、 テレビジョン受像機に映出された映像を撮影しサーバに送信する だけで必要な情報が得られるため、 サービスを受けるに当たって、 ネ ットワーク接続型のテレビジョン受像機のような専用のテレビジョン 受像機を用意する必要が無い効果がある。 画像そのものから関連情報 が得られるため、 録画された画像に対してサービスを受けようとする 場合でも、 通常の録画装置を用いることでき、 例えばテレビジョン放 送と共にデータチヤンネルを録画するような特殊な録画装置が必要な いという効果がある。

さらに、 ネットワーク接続型のテレビジョン受像機を利用したサー ビスでは、 ユーザは、 テレビジョン放送局が予め用意したサービスし か受けることができない。 一方、 この発明が適用されたサービスでは 、 映像から抽出された関連情報に基づき情報が提供されるため、 様々 な情報検索が可能であるという効果がある。

さらにまた、 ネットワーク接続型のテレビジョン受像機を利用した サービスでは、 データは、 放送時にデータチャンネルによって送信さ れるため、 放送時から時間が経過しても関連情報の更新が行われず、 例えば放送を録画して後に録画した放送を再生したときなど、 その放 送に関連して放送時に送信された情報が既に古くなつて有益ではなく なっている場合がある。 一方、 この発明が適用されたサ一ビスでは、 関連情報が常に更新されるため、 過去の映像からでも、 最新情報の検 索が可能であるという効果がある。

また、 この発明が適用されたサービスでは、 テレビジョン放送を視 聴中に気になる情報を発見した場合でも、 その画面を撮影してサーバ に送信するだけで必要な情報が得られるので、 例えばパーソナルコン ピュー夕を用いてィンターネッ トの情報検索サイ トなどで情報を検索 する場合のように、 放送局情報を一々入力する必要が無いと共に、 ァ クセス中にその放送が終了してしまい情報を逃してしまうことが無い という効果がある。 さらに、 録画されたテレビジョン放送からも、 同 様にして再生画面を撮影してサーバに送信するだけで必要な情報が得 られるので、 放送時刻や放送局情報をテレビジョン放送と共に記録す るような特殊な録画装置を用いる必要が無いという効果がある。 また、 以上のような効果により、 ユーザは、 欲しい情報を高い確率 で入することができるようになると共に、 情報の入手から商品の購入 までをストレス無く誘導され、 それに伴い、 情報提供側も、 ビジネス チャンスを逃すことがなくなるという効果がある。

Claims

請 求 の 範 囲

1 . 画像データに基づき情報検索を行う情報検索システムにおいて、 画像データを取得する画像データ取得手段と、

上記画像データ取得手段で取得された上記画像データを通信ネッ ト ワークに向けて送信する送信手段と

を備える端末装置と、

検索される可能性がある認識用画像デ一夕が登録される第 1のデー タベースと、

上記第 1のデータベースに登録された上記認識用画像データに対応 するメタデータが登録される第 2のデータベースと、

上記端末装置から送信された上記画像データを上記ネッ トワークを 介して受信する受信手段と、

上記受信手段で受信された上記画像データに基づき、 該画像データ が含む画像要素と一致度が高い上記認識用画像データを上記第 1のデ 一夕ベースから検索する検索手段と、

上記検索手段による検索結果に基づき上記第 2のデータベースから 上記メタデータを抽出するメタデ一夕抽出手段と

を備えるサーバ装置と

を有し、

上記サーバ装置は、 上記メタデータ抽出手段で抽出された上記メタ データを上記通信ネッ トワークを介して上記端末装置で閲覧可能なよ うにしたことを特徴とする情報検索システム。

2 . 請求の範囲 1に記載の情報検索システムにおいて、

上記検索手段は、 上記端末装置から送信された上記画像データの特 徵デ一夕に基づき上記認識用画像デ一夕との一致度のスコアを算出し 、 該スコアが所定値以上の上記認識用画像データを上記一致度の高い 画像データとして検索することを特徴とする情報検索システム。

3 . 請求の範囲 2に記載の情報検索システムにおいて、

上記特徴データは、 上記サーバ装置側で求めることを特徴とする情 報検索システム。

4 . 請求の範囲 2に記載の情報検索システムにおいて、

上記端末装置は、 上記画像データ取得手段で取得した画像データの 上記特徴データを予め求めて上記画像データとして上記送信手段で送 信するようにしたことを特徴とする情報検索システム。

5 . 請求の範囲 1に記載の情報検索システムにおいて、

上記検索手段は、 上記画像デ一夕取得手段で取得された上記画像デ 一夕をグレイスケール化したデータに基づき上記検索を行うことを特 徴とする情報検索システム。

6 . 請求の範囲 1に記載の情報検索システムにおいて、

上記検索手段は、 上記画像データ取得手段で取得された上記画像デ 一夕の色情報を含むデータに基づき上記検索を行うことを特徴とする 情報検索システム。

7 . 請求の範囲 1に記載の情報検索システムにおいて、

上記検索手段は、 上記受信手段で受信された上記画像データが動画 像デ一夕であれば、 該動画像データをフレーム毎に分解した画像デー 夕毎に上記検索を行うようにしたことを特徴とする情報検索システム

8 . 請求の範囲 7に記載の情報検索システムにおいて、

上記検索手段は、 上記フレーム毎に分解した上記画像データの所定 以上の割合に対して共通に含まれる上記認識用画像データを上記動画 像データに対する検索結果とすることを特徴とする情報検索システム

9 . 請求の範囲 1に記載の情報検索システムにおいて、

上記検索手段は、 上記受信手段で受信された上記画像データに含ま れる複数の画像要素に対する検索結果をそれぞれ出力することを特徴 とする情報検索システム。

1 0 . 請求の範囲 9に記載の情報検索システムにおいて、

上記検索手段は、 人物を認識する第 1の認識手段と、 文字を認識す る第 2の認識手段と、 上記人物および上記文字以外の形状を認識する 第 3の認識手段とを有し、

上記画像データに対して上記第 1、 第 2および第 3の認識手段でそ れぞれ認識処理を行い、 該画像データに画像要素として含まれる上記 人物、 上記文字、 ならびに、 上記人物および文字以外の形状を上記認 識用画像データからそれぞれ検索することを特徴とする情報検索シス テム。

1 1 . 請求の範囲 9に記載の情報検索システムにおいて、

上記画像データに含まれる上記複数の画像要素のうち一部の画像要 素に対する検索結果に基づき上記第 2のデータベースから上記メタデ 一夕を抽出し、 抽出された該メタデータに基づき上記複数の画像要素 のうち他の画像要素を上記第 1のデータベースから検索するようにし たことを特徴とする情報検索システム。

1 2 . 請求の範囲 1に記載の情報検索システムにおいて、

上記サーバ装置は、 上記メ夕デ一夕抽出手段で抽出された上記メタ データの上記通信ネットワーク上のァドレスを上記端末装置に送信し 、 該メ夕データを上記通信ネットワーク上で上記端末装置に向けて提 示するようにしたことを特徴とする情報検索システム。

1 3 . 請求の範囲 1に記載の情報検索システムにおいて、

上記サーバ装置は、 上記メタデータ抽出手段で抽出された上記メタ データを上記通信ネッ トワークを介して上記端末装置に送信するよう にしたことを特徴とする情報検索システム。

1 4 . 請求の範囲 1に記載の情報検索システムにおいて、

上記メタデータを上記端末装置で上記閲覧する際に、 該メ夕データ に基づき該メタデータに関連する上記通信ネッ トワーク上のァド.レス に、 上記端末装置からアクセス可能としたことを特徴とする情報検索 システム。

1 5 . 請求の範囲 1に記載の情報検索システムにおいて、

上記端末装置は、 カメラ機能付き携帯電話端末であることを特徴と する情報検索システム。

1 6 . 画像データに基づき情報検索を行う情報検索方法において、 端末装置で画像データを取得する画像データ取得のステップと、 上記画像データ取得のステップにより取得された上記画像データを 上記端末装置から通信ネッ トワークに向けて送信する送信のステップ と、

上記送信のステツプにより送信された上記画像データを上記ネッ ト ワークを介して受信する受信のステツプと、

上記受信のステップにより受信された上記画像デ一夕に基づき、 検 索される可能性がある認識用画像デ一夕が登録される第 1のデータべ —スから、 該画像データが含む画像要素と一致度が高い上記認識用画 像データを検索する検索のステツプと、

上記検索のステップによる検索結果に基づき、 上記第 1のデ一夕べ ースに登録された上記認識用画像データに対応するメタデータが登録 される第 2のデータベースから上記メ夕デ一夕を抽出するメタデータ 抽出のステップと

を有し、 上記メタデータ抽出のステップで抽出された上記メタデータを上記 通信ネッ トワークを介して上記端末装置で閲覧可能なようにしたこと を特徴とする情報検索方法。

1 7 . 画像データに基づき情報検索を行う情報検索装置において、 検索される可能性がある認識用画像データが登録される第 1のデー 夕ベースと、

上記第 1のデータベースに登録された上記認識用画像データに対応 するメタデータが登録される第 2のデータベースと、

端末装置から送信された画像データを通信ネッ トワークを介して受 信する受信手段と、

上記受信手段で受信された上記画像データに基づき、 該画像データ が含む画像要素と一致度が高い上記認識用画像データを上記第 1のデ —夕ベースから検索する検索手段と、

上記検索手段による検索結果に基づき上記第 2のデータベースから 上記メタデータを抽出するメタデータ抽出手段と

を有し、

上記メタデータ抽出手段で抽出された上記メタデータを上記通信ネ ッ トワークを介して上記端末装置で閲覧可能なようにしたことを特徴 とする情報検索装置。

1 8 . 画像データに基づき情報検索を行う情報検索方法において、 端末装置から送信された画像データを通信ネッ トワークを介して受 信する受信のステップと、

上記受信のステップにより受信された上記画像デ一夕に基づき、 検 索される可能性がある認識用画像データが登録される第 1のデータべ ースから、 該画像データが含む画像要素と一致度が高い上記認識用画 像データを検索する検索のステツプと、 上記検索のステップによる検索結果に基づき、 上記第 1のデータべ ースに登録された上記認識用画像データのメタデータが登録される第 2のデータベースから上記メタデータを抽出するメ夕デ一夕抽出のス テツプと

を有し、

上記メタデータ抽出のステップにより抽出された上記メタデータを 上記通信ネッ トワークを介して上記端末装置で閲覧可能なようにした ことを特徴とする情報検索方法。

1 9 . 画像データに基づき情報検索を行う情報検索方法をコンビユー 夕装置に実行させる情報検索プログラムにおいて、

上記情報検索方法は、

端末装置から送信された画像データを通信ネッ トワークを介して受 信する受信のステップと、

上記受信のステップにより受信された上記画像データに基づき、 検 索される可能性がある認識用画像デ一夕が登録される第 1のデ一夕べ ースから、 該画像データが含む画像要素と一致度が高い上記認識用画 像デ一夕を検索する検索のステツプと、

上記検索のステップによる検索結果に基づき、 上記第 1のデータべ —スに登録された上記認識用画像データのメタデ一夕が登録される第 2のデータベースから上記メタデータを抽出するメ夕デ一夕抽出のス テツフと

を有し、

上記メ夕デ一夕抽出のステップにより抽出された上記メ夕デ一夕を 上記通信ネッ 卜ワークを介して上記端末装置で閲覧可能なようにした ことを特徴とする情報検索プログラム。

2 0 . 画像データから特定の形状を認識する画像認識装置において、 検索される可能性がある認識用画像データが登録される第 1のデー 夕ベースと、

上記第 1のデ一夕ベースに登録された上記認識用画像データのメタ データが登録される第 2のデータベースと、

入力された画像データに基づき、 該画像データが含む画像要素と一 致度が高い上記認識用画像データを上記第 1のデータベースから検索 する検索手段と、

上記検索手段による検索結果に基づき上記第 2のデータベースから 上記メタデータを抽出するメタデータ抽出手段と

を有することを特徴とする画像認識装置。

2 1 . 請求の範囲 2 0に記載の画像認識装置において、

上記検索手段は、 上記入力された画像データの特徴デ一夕に基づき 上記認識用画像データとの一致度のスコアを算出し、 該スコアが所定 値以上の上記認識用画像データを上記一致度の高い画像データとして 検索することを特徴とする画像認識装置。

2 2 . 請求の範囲 2 0に記載の画像認識装置において、

上記検索手段は、 上記入力された画像データをグレイスケール化し たデータに基づき上記検索を行うことを特徴とする画像認識装置。

2 3 . 請求の範囲 2 0に記載の画像認識装置において、

上記検索手段は、 上記入力された画像データの色情報を含むデ一夕 に基づき上記検索を行うことを特徴とする画像認識装置。

2 4 . 請求の範囲 2 0に記載の画像認識装置において、

上記検索手段は、 上記入力された画像データが動画像データであれ ば、 該動画像データをフレーム毎に分解した画像データ毎に上記検索 を行うようにしたことを特徴とする画像認識装置。

2 5 . 請求の範囲 2 4に記載の画像認識装置において、 上記検索手段は、 上記フレーム毎に分解した上記画像データの所定 以上の割合に対して共通に含まれる上記認識用画像データを上記動画 像データに対する検索結果とすることを特徴とする画像認識装置。

2 6 . 請求の範囲 2 0に記載の画像認識装置において、

上記検索手段は、 上記画像データに含まれる複数の画像要素に対す る検索結果をそれぞれ出力することを特徴とする画像認識装置。

2 7 . 請求の範囲 2 6に記載の画像認識装置において、

上記検索手段は、 人物を認識する第 1の認識手段と、 文字を認識す る第 2の認識手段と、 上記人物および上記文字以外の形状を認識する 第 3の認識手段とを有し、

上記画像デ一夕に対して上記第 1、 第 2および第 3の認識手段でそ れぞれ認識処理を行い、 該画像データに画像要素として含まれる上記 人物、 上記文字、 ならびに、 上記人物および文字以外の形状を上記認 識用画像デ一夕からそれぞれ検索することを特徴とする画像認識装置 。

2 8 . 請求の範囲 2 6に記載の画像認識装置において、

上記画像データに含まれる上記複数の画像要素のうち一部の画像要 素に対する検索結果に基づき上記第 2のデ一夕べ一スから上記メタデ 一夕を抽出し、 抽出された該メ夕データに基づき上記複数の画像要素 のうち他の画像要素を上記第 1のデータベースから検索するようにし たことを特徴とする画像認識装置。

2 9 . 画像データから特定の形状を認識する画像認識方法において、 入力された画像データに基づき、 検索される可能性がある認識用画 像データが登録される第 1のデ一夕ベースから、 上記画像デ一夕が含 む画像要素と一致度が高い上記認識用画像データを検索する検索のス テツプと、 上記検索のステップによる検索結果に基づき、 上記第 1のデータべ ースに登録された上記認識用画像データのメタデータが登録される第 2のデータベースから上記メタデータを抽出するメタデータ抽出のス テツフと

を有することを特徴とする画像認識方法。

3 0 . 画像データから特定の形状を認識する画像認識方法をコンビュ 一夕装置に実行させる画像認識プログラムにおいて、

上記画像認識方法は、

入力された画像データに基づき、 検索される可能性がある認識用画 像データが登録される第 1のデータベースから、 上記画像デ '一夕が含 む画像要素と一致度が高い上記認識用画像データを検索する検索のス テツフと、

上記検索のステツプによる検索結果に基づき、 上記第 1のデータべ ースに登録された上記認識用画像デ一夕のメタデータが登録される第 2のデータベースから上記メタデータを抽出するメタデータ抽出のス テツプと

を有することを特徴とする画像認識プログラム。

3 1 . 画像データを取得して通信ネッ トワークに向けて送信する端末 装置と、

上記通信ネッ トワークに対して通信可能で、 画像データに基づき該 画像データのメタデータを出力するサーバ装置と、

上記メ夕デ一夕に関連する情報および/または商品の提供が可能な 商品販売部と

を有し、

上記サーバ装置は、 上記端末装置に対して課金し、 課金された該端 末装置から送信された上記画像データに基づき上記メタデータを出力 して上記端末装置で閲覧可能なようにすると共に、 上記端末装置を上 記商品販売部に顧客として紹介し、

上記商品販売部は、 上記顧客として紹介された上記端末装置に対し て閲覧可能とされた上記メタデータに関連する情報および Zまたは商 品の提供を行い、

上記端末装置から上記商品販売部に対して上記提供された上記情報 および Zまたは商品の代金が支払われるようにしたことを特徴とする 販売システム。

3 2 . 画像データを取得して通信ネットワークに向けて送信する端末 装置と、

上記通信ネットワークに対して通信可能で、 画像データに基づき該 画像デ一夕のメタデータを出力するサーバ装置と、

上記メタデータに関連する情報および または商品の提供が可能な 商品販売部と

を有し、

上記サーバ装置は、 上記端末装置から送信された上記画像デ一夕に 基づき上記メタデータを出力して上記端末装置で閲覧可能なようにし 上記端末装置から上記サーバ装置に対して閲覧可能とされた上記メ 夕データに関連する情報および/または商品の代金が支払われ、 上記サーバ装置から上記商品販売部に対して上記代金の一部が支払 われ、

上記商品販売部から上記端末装置に対して上記情報および/または 商品が提供されるようにしたことを特徴とする販売システム。

3 3 . 画像データを取得して通信ネットワークに向けて送信する端末 装置と、 上記通信ネットワークに対して通信可能で、 画像デ一夕に基づき該 画像データのメタデータを出力するサーバ装置と、

上記メタデータに関連する情報およびノまたは商品の提供が可能な 商品販売部と

を有し、

上記端末装置から上記商品販売部に対して上記画像データが送信さ れ、

上記商品販売部は、 上記端末装置から送信された上記画像データに 対応する上記メタデータを上記サーバ装置を用いて得ると共に、 上記 サーバ装置に対して該サーバ装置の使用料金を支払い、

上記商品販売部は、 上記サーバ装置を用いて得られた上記端末装置 から送信された上記画像データに対応する上記メタデータを上記端末 装置で閲覧可能なようにし、

上記端末装置は、 閲覧可能とされた上記メタデータに関連する情報 および または商品の代金を上記商品販売部に対して支払うようにし たことを特徴とする販売システム。