JP6056219B2 - 検索装置および検索方法、ならびに、プログラム - Google Patents

Description

本発明は、画像を用いて情報を検索する検索装置および検索方法、ならびに、プログラムに関する。

オブジェクトと、当該オブジェクトに連携する連携情報とを関連付けてサーバなどに格納し、ユーザが雑誌や資料等の紙媒体を撮像した画像に含まれるオブジェクトと対応するオブジェクトをサーバから検索する技術がすでに知られている（特許文献１参照）。また、検索されたオブジェクトに関連付けられた連携情報をユーザに提示するようにした技術も、既に知られている。

一方。近年、デジタルサイネージやデジタルテレビジョン放送など、デジタルデータを用いて情報を配信するデジタル情報配信システムが普及している。このようなデジタル情報配信システムでは、情報提供が情報配信元からユーザに対して一方通行であるのに限らず、情報配信元からの情報提供に対してユーザがアクションを返すことが可能な仕組みが用意されている。特許文献２には、デジタル放送において、放送局側と放送受信端末側とで双方向の情報のやり取りを可能とした技術が開示されている。

また、表示画面に対して、表示情報に関連する情報の所在などを示す情報を、当該表示情報に重畳させて表示させることが行われている。関連情報の所在を示す情報は、例えば、ＵＲＬ(Uniform Resource Locator)や電話番号といったメッセージとして表示画面に表示させることが行われている。

ところが、例えば従来のデジタル放送では、ユーザが放送受信端末から放送局に対してアクションを返せる場合であっても、情報の経路が放送局と放送受信端末との間で閉じており、表示情報に関連する情報に直接的にユーザを誘導する手段としては不十分なものである。また、メッセージを用いた方法では、ユーザは、表示されたメッセージを一々メモするなどして記憶してコンピュータなどに入力する必要があり、入力ミスが発生する可能性もある。

さらに、撮像画像に基づく連携情報の提供を、紙媒体等の静止画媒体に限らず、デジタル情報配信システムによって配信されて表示された放送媒体（表示画面）、あるいは他の動画媒体等、撮像対象を種々の媒体に拡張することが求められている。

本発明は、上記に鑑みてなされたものであって、撮像画像に基づく連携情報の提供を柔軟に行うことを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像に含まれるオブジェクトを検索するための索引と、オブジェクトに連携する機能を示す連携情報と、第１の付帯情報とを関連付けて格納する格納手段と、ネットワークを介して撮像画像を受信する受信手段と、受信手段により受信した撮像画像に含まれるオブジェクトに基づいて、格納手段に格納された索引から、受信した撮像画像に含まれるオブジェクトに対応するオブジェクトを検索する検索手段と、検索手段で検索されたオブジェクトに連携する連携情報を撮像画像の送信元に提示する提示手段とを有し、検索手段は、１のオブジェクトが検索された場合は、１のオブジェクトを検索結果として提示手段に出力し、複数のオブジェクトが検索された場合には、複数のオブジェクトの中から、撮像画像に対する第２の付帯情報に基づき、所定の条件を満たす第１の付帯情報と関連付けられたオブジェクトを選択し、選択されたオブジェクトを検索結果として提示手段に出力することを特徴とする。

本発明によれば、デジタル情報配信システムによって配信されて表示された表示画面に示される情報に容易にアクセス可能とすることができるという効果を奏する。

図１は、実施形態に係る検索システムの一例の構成を示す図である。 図２は、放送画面と、ＤＢに格納される索引データの元となる画像データの例を示す図である。 図３は、実施形態に係るサーバの機能を示す一例の機能ブロック図である。 図４は、実施形態に係るＤＢの一例の構成を示す図である。 図５は、実施形態に係るＸＭＬコードの一例を示す図である。 図６は、実施形態に係るサーバの動作の例を示すフローチャートである。 図７は、実施形態に係る索引の連携情報の提示処理の例を示すフローチャートである。 図８は、実施形態に係る、複数の画像から１の画像を選択する処理を、ユーザが行うように促す場合の一例の処理を示すフローチャートである。 図９は、実施形態に係る端末装置の一例の構成を示すブロック図である。 図１０は、実施形態に係る端末装置の一例の機能を示す機能ブロック図である。

以下に添付図面を参照して、検索装置および検索方法、ならびに、プログラムの実施形態を詳細に説明する。図１は、実施形態に係る検索システムの一例の構成を示す図である。

ネットワーク１０に対して、サーバ１１および端末装置２０が接続される。ネットワーク１０は、例えばインターネットであって、通信プロトコルとしてＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)が適用される。ネットワーク１０は、互いにネットワークで接続される複数のコンピュータを含み、外部からは、その内部が隠蔽されたブラックボックスとして入出力のみが示されるネットワーク・グループであるネットワーククラウドであってもよい。

また、ネットワーク１０に対して放送局４０が接続される。放送局４０は、例えば地上デジタル放送によるテレビジョン放送を行う。例えば、放送局４０から送信された放送電波は、各家庭などにおいて図示されないアンテナに受信されてテレビジョン受像機２１に入力され、テレビジョン受像機２１において、放送された番組の画面が表示される。放送局４０は、放送する番組のスケジュールを、例えばＥＰＧ(Electronic Program Guide)を用いて、放送電波やネットワーク１０などを介して外部に提供することができる。

放送局４０は、地上デジタル放送の放送局に限られない。放送局４０は、ＢＳ(Broadcasting Satellite)デジタルテレビ放送やＣＳ(Communications Satellite)デジタルテレビ放送などの、テレビジョン放送と共にデータ放送を行う放送局であればよい。

さらに、ネットワーク１０に対して、複数の商用サイト３０Ａおよび３０Ｂが接続される。これら商用サイト３０Ａおよび３０Ｂは、ネットワーク１０を介してなされた注文に応じて商品の発送などを行うことができる。

端末装置２０は、無線または有線によってネットワーク１０との間で通信を行うことができる。端末装置２０は、ネットワーク１０を介して受信した命令に従った動作を行うことができると共に、表示装置と入力装置とを含むＵＩ（ユーザインタフェース）に対してネットワーク１０を介して受信した画像などの表示や、ＵＩに対してなされたユーザ操作に従いネットワーク１０に向けてデータを送信することができる。

また、端末装置２０は、撮像機能を有し、ＵＩに対する撮像指示操作に応じて被写体の撮像を行うことができるようにされている。端末装置２０は、撮像により得られた撮像画像をネットワーク１０に向けて送信することができる。例えば、端末装置２０は、テレビジョン受像機２１の表示画面を撮像し、その撮像画像をネットワーク１０を介してサーバ１１に送信することができる。

サーバ１１は、データベース（ＤＢ）１２が接続され、ネットワーク１０を介して受信した要求に従い、ＤＢ１２に対して、実施形態に係る検索処理を行うことができる。実施形態においては、ＤＢ１２には複数の画像データ５０Ａおよび５０Ｂを検索するための索引データが、それぞれ連携情報と関連付けられて格納される。索引データは、画像データのバイナリを解析して得られたデータであって、画像データを、検索のための構造に変換したデータである。

なお、ＤＢ１２に対して、画像データを直接的に格納することも可能である。画像データのファイル名およびパスをＤＢ１２に格納してもよい。

ここで、ＤＢ１２に格納される索引データの元になる画像データは、放送局４０から提供される、または、放送局４０に提供する画像データであって、例えば放送局４０によるデータ放送において用いられる画像データである。

サーバ１１は、ネットワーク１０を介して画像データを受信し、受信した当該画像データに基づきＤＢ１２を検索して、当該画像データに対応する連携情報を検索結果として取得する。サーバは、この検索結果として取得された連携情報を、画像データの送信元に返す。

図２は、放送局４０により放送されるテレビジョン放送による放送画面と、ＤＢ１２に格納される索引データの元となる画像データの例を示す。図２（ａ）は、テレビジョン受像機２１の表示画面２００の例を示す。この図２（ａ）の例は、テレビジョン放送によるテレビジョン放送画面２０１と、データ放送によるデータ放送画面２０２および２０３とが、表示画面２００に対して同時に表示されている例である。また、図２（ａ）において、テレビジョン放送では、料理番組が放送されていることを想定している。

例えば、テレビジョン受像機２１の表示画面２００にテレビジョン放送画面２０１が全面表示されている状態で、テレビジョン受像機２１に対して所定の操作を行うことで、データ放送画面２０２および２０３を表示させることができる。このとき、データ放送画面２０２および２０３は、このデータ放送画面２０２および２０３に係るデータ放送により指定されるサイズおよび位置で、表示画面２００に表示される。テレビジョン放送画面２０１は、データ放送画面２０２および２０３のサイズおよび位置に応じて、サイズの縮小と表示位置の移動がなされる。

なお、データ放送画面２０２および２０３を表示させるための表示制御情報は、例えば、マークアップ言語の一種であるＢＭＬ(Broadcast Markup Language)を用いて記述することができる。ＢＭＬは、ＡＲＩＢ(Association of Radio Industries and Businesses)を中心に、マークアップ言語の一種であるＸＭＬ(Extensible Markup Language)を日本のデータ放送用に特化させてまとめられたものである。

ＢＭＬでは、Ｗｅｂページに多く用いられるマークアップ言語の一種であるＨＴＭＬ(HyperText Markup Language)と同様に、フレームを定義することが可能である。フレームは、１画面を分割し、分割されたそれぞれの領域に対して、一般的には、異なるＢＭＬファイルによる表示を行うものである。図２（ａ）の例では、データ放送画面２０２および２０３、ならびに、テレビジョン放送画面２０１をそれぞれ表示するための３のフレームが定義されている。

図２（ａ）の例において、データ放送画面２０２および２０３は、テレビジョン放送画面２０１に表示されている放送に関連する情報が表示されている。一例として、データ放送画面２０２に対して、テレビジョン放送画面２０１の放送において実演中の料理名およびレシピ情報がテキスト情報として表示されると共に、当該料理の材料のオブジェクト２０５が含まれる画像２０４が表示されている。また、データ放送画面２０３には、例えば、画像２０４にオブジェクト２０５として表示される材料の購入先の情報（電話番号、ＵＲＬ(Uniform Resource Locator)など）が表示される。

なお、オブジェクトは、画像データによる画像内において主となる対象物の画像を指し、当該主となる対象物の背景画像や、画像内における当該主となる対象物の付随情報などとは区別される画像である。

実施形態においては、ＤＢ１２に、データ放送画面２０２および２０３に対する表示に用いられる画像データに基づく索引データを格納する。例えば、図２（ｂ）に例示される、データ放送画面２０２に表示される材料の画像２０４を表示するための画像データに基づく索引データがＤＢ１２に格納される。また、データ放送画面２０３に表示される情報が、当該画像２０４の連携情報として、当該画像２０４に関連付けて格納される。

これら画像２０４やその連携情報は、例えば、サーバ１１が放送局４０からネットワーク１０を介して取得するようにできる。これに限らず、これら画像２０４や連携情報を、サーバ１１から放送局４０に対して提供することもできる。また、サーバ１１は、画像２０４やその連携情報を取得する際に、放送局４０から、当該画像２０４を用いたデータ放送の放映時刻の情報をさらに取得する。放映時刻の情報は、実際の時刻情報として取得してもよいし、当該データ放送と共に放送されるテレビジョン放送の番組の識別情報として取得してもよい。番組の識別情報として放映時刻を取得した場合、サーバ１１は、例えばＥＰＧを参照して実際の時刻情報を取得することができる。サーバ１１は、取得した放映時刻の情報を、対応する画像２０４の索引データと関連付けてＤＢ１２に格納する。

連携情報について説明する。連携情報は、例えば、画像に含まれるオブジェクトに連携する機能を示す情報である。連携情報の一例として、当該オブジェクトの属性情報にアクセスするアクセス方法を含む情報が挙げられる。したがって、連携情報は、実際には、画像に含まれるオブジェクトに対して関連付けられてＤＢ１２に格納される。

これに限らず、連携情報として、ネットワーク１０上のコミュニケーションサイトなどに対して当該オブジェクトの情報を通知する機能を含めてもよい。さらに、連携情報として、当該オブジェクトに対する意見などを送信する機能を含めることもできる。これらの場合、連携情報として、例えばこれらの機能を実行するネットワーク１０上のサイトのＵＲＬなどを用いることができる。

一例として、図２（ｂ）の画像２０４に含まれるオブジェクト２０５において、連携情報は、オブジェクト２０５が示す商品を取り扱う例えば商用サイト３０ＡのＵＲＬ(Uniform Resource Locator)や、当該商品の購入設定を行う購入ページのＵＲＬである。これらに限らず、連携情報として、当該商品を取り扱う店舗の電話番号やメールアドレスを用いてもよい。さらに、当該商品の情報などを含むデータファイルをダウンロードするための情報を、連携情報として用いてもよい。なお、ＤＢ１２において、１のオブジェクトに対して複数の連携情報を関連付けることができる。

図３は、サーバ１１の機能を示す一例の機能ブロック図である。サーバ１１は、受信部１００と、抽出部１０１と、算出部１０２と、検索部１０３と、提示部１０４と、制御部１１０とを有する。また、図３では、ＤＢ１２がサーバ１１に含まれるように示している。制御部１１０は、このサーバ１１の全体的な動作を制御する。

受信部１００は、ネットワーク１０を介して送信されたデータを受信する。例えば、端末装置２０から送信された撮像画像が受信部１００に受信される。また、受信部１００は、放送局４０から送信された画像データと、当該画像データの連携情報と、当該画像データを用いたデータ放送の放映時刻とを受信する。

抽出部１０１は、受信部１００に受信された撮像画像に対して画像解析を行い、撮像画像から特徴点を検出して、当該撮像画像に含まれるオブジェクトを抽出する。例えば、抽出部１０１は、撮像画像に対して２値化処理を施して、２値化された撮像画像に対してエッジ検出や正規化処理を行い、撮像画像の特徴点を検出する。オブジェクトは、この検出された特徴点により表される。

算出部１０２は、抽出部１０１に抽出された撮像画像４０Ａの特徴点と、ＤＢ１２に格納される各索引によって検索される各オブジェクトを表す特徴点とを比較する。そして、比較結果に基づき、撮像画像４０Ａに含まれるオブジェクトと、ＤＢ１２に格納される各索引によって検索される各オブジェクトとの類似度を算出する。類似度は、例えば、画像から抽出した各特徴点間の関係を、画像毎に比較することで求めることができる。一例として、特徴点間の関係を数値化して特徴量を算出し、画像間で特徴量の差分の絶対値を求め、求めた差分の絶対値がより小さい場合に、当該画像間の類似度が高いとする。

検索部１０３は、算出部１０２で算出された類似度に基づき、ＤＢ１２に格納される各索引によって検索される各オブジェクトのうち、撮像画像４０Ａに含まれるオブジェクトとの類似度が高い画像を検索する。このとき、検索部１０３は、ＤＢ１２に格納される各索引によって検索される各オブジェクトから、撮像画像４０Ａに含まれる各オブジェクトとの類似度が最も高いオブジェクトを含む１の索引を検索結果として出力する。

これに限らず、検索部１０３は、ＤＢ１２に格納される各索引によって検索される各オブジェクトから、撮像画像４０Ａに含まれるオブジェクトとの類似度が高いオブジェクトを含む順に従い、所定数の索引を検索結果として出力してもよいし、類似度が閾値以上のオブジェクトを検索するための１または複数の索引を検索結果として出力することもできる。さらに、類似度が、撮像画像４０Ａについて算出された類似度の最大値から予め決められた範囲内（５％など）にある索引を、検索結果として出力することも考えられる。

提示部１０４は、検索部１０３による検索出力の索引に関連付けられた連携情報をＤＢ１２から取り出し、端末装置２０に提示する。この連携情報の提示は、当該連携情報を端末装置２０に直接的に送信してもよいし、当該連携情報を含むＷｅｂページを生成し、端末装置２０に向けて当該Ｗｅｂページヘのアクセス方法（ＵＲＬなど）を提示する方法でもよい。端末装置２０からこのＷｅｂページにアクセスすることで、連携情報を取得することができる。

これに限らず、端末装置２０に、撮像画像４０Ａの撮像から、提示された連携情報の表示までの一連の動作を行うアプリケーションソフトウェア（以下、アプリケーションと略称する）を予めインストールしておき、提示された連携情報を、このアプリケーションを用いて取得することも可能である。

なお、サーバ１１は、ＣＰＵ(Central Processing Unit)と、ＲＡＭ(Random Access Memory)と、ＲＯＭ(Read Only Memory)と、ハードディスクドライブなどのストレージ装置とを含む、一般的なコンピュータ装置により構成することができる。また、サーバ１１は、１台のコンピュータ装置で構成されるのに限らず、例えば複数のコンピュータ装置上で分散的に動作する構成としてもよい。

上述した受信部１００、抽出部１０１、算出部１０２、検索部１０３、提示部１０４および制御部１１０は、ＣＰＵ上で動作する検索プログラムによって実現される。これに限らず、受信部１００、抽出部１０１、算出部１０２、検索部１０３、提示部１０４および制御部１１０の一部または全部を、互いに協働する個別のハードウェアを用いて実現してもよい。実施形態に係る検索処理を実行するための検索プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供される。

さらに、実施形態に係る検索処理を実行するための検索プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態に係る検索処理を実行するための検索プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

実施形態に係る検索処理を実行するための検索プログラムは、例えば、上述した各部（受信部１００、抽出部１０１、算出部１０２、検索部１０３、提示部１０４および制御部１１０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが例えばストレージ装置から当該検索プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ）上にロードされ、各部が主記憶装置上に生成されるようになっている。

このような構成において、ユーザは、端末装置２０を用いて、テレビジョン受像機２１の表示画面２００を撮像して撮像画像を得る。この例では、撮像画像は、テレビジョン受像機２１の表示画面２００の全面を撮像した画像である。これに限らず、撮像画像は、表示画面２００の一部、例えば画像２０４に対してズームを行って撮像した画像であってもよい。ユーザは、撮像画像をネットワーク１０を介してサーバ１１に送信する。

撮像画像は、サーバ１１の受信部１００に受信され、受信された撮像画像の特徴点が抽出部１０１で検出され、オブジェクトが抽出される。さらに、算出部１０２で、抽出部１０１で検出された特徴点に基づき、撮像画像に含まれるオブジェクトと、ＤＢ１２に格納される各索引によって検索される各オブジェクトとの類似度が算出される。この算出結果に基づき検索部１０３で索引が検索される。そして、提示部１０４は、検索部の検索出力に基づきＤＢ１２から連携情報を取り出し、撮像画像の送信元である端末装置２０に提示する。

ユーザは、サーバ１１から端末装置２０に対して提示された連携情報に基づき、例えば商用サイト３０Ａにアクセスして、撮像画像に含まれるオブジェクトが示す商品を購入などすることができる。またこのとき、ユーザは、商用サイト３０ＡのＵＲＬなどを一々メモする必要もない。

ここで、例えば図２（ｂ）に画像２０４に含まれるオブジェクト２０５に酷似したオブジェクトを含む画像が、端末装置２０で撮像画像として撮像されたものとする。また、ＤＢ１２には、オブジェクト２０５（第１のオブジェクトとする）を含む画像２０４（第１の画像とする）と、オブジェクト２０５を縮小したオブジェクト（第２のオブジェクトとする）を含む他の画像（第２の画像とする）とが格納されているものとする。

この場合、撮像画像の特徴点の検出結果から算出した類似度に基づく検索の結果、第１の画像ではなく、第２の画像が検索されてしまう可能性がある。この場合、ユーザは、所望の連携情報を得ることができなくなってしまう。このような事態を防ぐために、実施形態では、検索部１０３において、時刻情報に基づき、ＤＢ１２に格納される画像の検索を行う。

図４は、実施形態に係るＤＢ１２の一例の構成を示す。図４（ａ）は、ＤＢ１２に格納される各索引データを識別するための索引ーブル１２０の例を示す。各索引データは、図４（ａ）に例示されるように、ＩＤと、索引データのバイナリデータとが関連付けられてＤＢ１２に格納される。なお、ＩＤは、ＤＢ１２に格納される各索引データを識別可能であれば、形式は特に限定されない。

図４（ｂ）は、画像のＩＤと放送時刻とを関連付ける放送時刻テーブル１２１の一例を示す。この例では、放送時刻は、タグを用いてデータの意味や構造を定義して記述するマークアップ言語の一種であるＸＭＬ(Extensible Markup Language)を用いて記述される。後述するが、この放送時刻の記述に対して、連携情報の記述も埋め込まれる。放送時刻が記述されるＸＭＬコードは、この放送時刻テーブル１２１のフィールドに直接的に格納してもよいし、当該ＸＭＬコードを別途ファイルに記述し、当該フィールドにはこのファイル名とパスを記述してもよい。

図５は、図４（ｂ）に示されるＸＭＬコード１４０の一例を示す。この図５に示されるＸＭＬコード１４０は、ある時間帯に放送されるデータ放送に関する記述の例である。最も外側のタグ「<page>」および「</page>」に挟まれた部分により、データ放送による１のデータ放送画面が定義される。各部分１４１₁、１４１₂において、タグ「<timeline>」および「</timeline>」に挟まれた部分により、それぞれ１のデータ放送画面内に表示される画像が定義される。このように、１のページに対して複数の画像を定義することができる。

部分１４１₁において、最初の行１４２は、タグ「<area>」および「</area>」に挟まれた部分により、画像の範囲が例えば左上隅の座標（ｘ１，ｙ１）および右下隅の座標（ｘ２，ｙ２）で定義される。画像の範囲は、放送フォーマットにおける有効表示領域内での絶対座標で表してもよいし、データ放送画面における相対座標で表してもよい。

各部分１４３₁、１４３₂において、タグ「<link>」および「</link>」に挟まれた部分により、それぞれ１の連携情報が定義される。このように、１の画像に対して複数の連携情報を定義することができる。各部分１４３₁において、タグ「<title>」および「</title>」に挟まれた部分により連携情報のタイトルが定義される。タグ「<type>」および「</type>」に挟まれた部分によりこの連携情報のタイプが定義される。また、この例では、連携情報として、タグ「<URI>」および「</URI>」に挟まれた部分により、ネットワーク１０上でのアドレス情報が定義されている。

さらに、部分１４４において、画像がデータ放送により放送される放送時刻が定義される。例えば、タグ「<start>」および「</start>」に挟まれた部分により放送開始時刻が定義され、タグ「<end>」および「</end>」に挟まれた部分により放送終了時刻が定義される。

これら放送開始時刻および放送終了時刻は、実際の放送開始および終了時刻に対してマージンを持たせてもよい。例えば、放送終了時刻は、撮像画像の送信などのタイムラグを考慮して実際の放送終了時刻に対して遅めの時刻としてもよい。また、放送終了時刻は、録画などに対応して、さらに遅い時刻、例えば数時間や数日、実際の放送終了時刻に対して遅く設定してもよい。

このように、ＸＭＬコード１４０により、データ放送画面内の画像および当該画像における連携情報を定義しているため、データ放送画面内の当該画像に含まれるオブジェクトに関連付けられる連携情報による機能を実行することができる。

図６は、実施形態に係るサーバ１１の動作の例を示すフローチャートである。先ず、端末装置２０で撮像されて得られた撮像画像が、ネットワーク１０を介してサーバ１１に対して送信される。サーバ１１において、受信部１００は、この撮像画像を受信する。次のステップＳ１０１で、抽出部１０１は、受信された撮像画像に対して画像解析を行い特徴点を検出してオブジェクトの抽出を行う。

次のステップＳ１０２で、算出部１０２は、撮像画像に含まれるオブジェクトと、ＤＢ１２に格納される各索引により検索されるオブジェクトとを比較する。より具体的には、算出部１０２は、撮像画像に含まれるオブジェクトと、ＤＢ１２に格納される各索引により検索されるオブジェクトとの各類似度を算出する。

次のステップＳ１０３で、検索部１０３は、ステップＳ１０２で算出した類似度に基づき、ＤＢ１２に格納された索引のうち、撮像画像に含まれるオブジェクトと合致するオブジェクトが検索される索引が有るか否かを判定する。この例では、ＤＢ１２に含まれる索引のうち、類似度が閾値以上であるオブジェクトを、撮像画像に含まれるオブジェクトと合致するオブジェクトが検索される索引であると判定するものとする。

若し、ステップＳ１０３でオブジェクトが合致する索引が有ると判定した場合、検索部１０３は、処理をステップＳ１０５に移行させる。ステップＳ１０５で、検索部１０３は、ＤＢ１２に格納される索引のうち、オブジェクトが複数の索引で合致しているか否かを判定する。若し、１の索引のみでオブジェクトが合致していると判定した場合、検索部１０３は、当該１の索引を検索出力として、処理を後述するステップＳ１０７に移行させる。一方、複数の索引でオブジェクトが合致していると判定した場合、検索部１０３は、処理をステップＳ１０６に移行させる。

ステップＳ１０６で、検索部１０３は、ＤＢ１２を参照して、当該複数の索引それぞれについて、放送時刻を取得する。そして、撮像画像が撮像された時刻と、ＤＢ１２内の各索引に関連付けられた放送時刻とを比較して、ＤＢ１２内の各索引から索引を選択する。なお、撮像画像が撮像された時刻は、例えば、ステップＳ１００で撮像画像が受信部１００に受信された時刻を用いることができる。これに限らず、撮像画像がファイルとして送信される場合、当該ファイルのタイムスタンプが示す時刻を、撮像画像が撮像された時刻として用いてもよい。したがって、受信した撮像画像に対する時刻情報は、自身またはネットワークを介して通信可能に接続する外部機器のいずれからも取得することが可能である。

検索部１０３は、ＤＢ１２内の各索引のうち、撮像画像が撮像された時刻を、放送開始時刻および放送終了時刻の間に含む索引を選択し、検索出力とする。ここで複数の索引が選択された場合には、例えば、さらに類似度に基づく判定を行ない、選択された複数の索引のうち検索されるオブジェクトの類似度が最も高い索引を検索出力として選択することが考えられる。ステップＳ１０６で検索出力を得ると、処理がステップＳ１０７に移行される。

ステップＳ１０７で、提示部１０４は、検索部１０３による検索出力の索引に対応付けられた連携情報をＤＢ１２から取り出す。そして、提示部１０４は、取り出した連携情報の、撮像画像の送信元の端末装置２０に対する提示を行う。そして、図６のフローチャートによる一連の処理が終了される。

なお、上述したステップＳ１０３で合致する索引が無いと判定した場合、処理がステップＳ１０４に移行され、提示部１０４により、合致する索引がＤＢ１２に格納されていない旨を示すメッセージが、端末装置２０に対して提示される。そして、図６のフローチャートによる一連の処理が終了される。

図７は、図６におけるステップＳ１０７の、索引の連携情報の提示処理の例を示すフローチャートである。提示部１０４は、先ずステップＳ２００で、検索部１０３の検索出力の索引を特定する。次のステップＳ２０１で、提示部１０４は、ＤＢ１２を参照し、特定した索引に関連付けられた連携情報が有るか否かを判定する。若し、有ると判定した場合、提示部１０４は、処理をステップＳ２０２に移行させ、当該索引に複数の連携情報が関連付けられているか否かを判定する。

提示部１０４は、ステップＳ２０２で、当該索引に対して複数の連携情報が関連付けられていると判定した場合、処理をステップＳ２０３に移行させる。ステップＳ２０３で、提示部１０４は、この複数の連携情報による各機能を示す機能リストを作成し、機能リストから１の機能を選択するための選択画面を端末装置２０に対して提示する。例えば、特定された対象領域に対して、連携情報としてＵＲＬおよび電話番号が関連付けられている場合、ＵＲＬに示されるアドレスにアクセスする機能と、電話番号への電話機能とを選択するための選択画面を生成し、端末装置２０に対して提示する。そして、図７のフローチャートによる一連の処理が終了される。

一方、ステップＳ２０２で、提示部１０４は、当該索引に対して１の連携情報のみが関連付けられていると判定した場合は、処理をステップＳ２０４に移行させる。ステップＳ２０４では、この１の連携情報による機能を実行させるような画面を生成し、端末装置２０に対して提示する。そして、図７のフローチャートによる一連の処理が終了される。

なお、上述のステップＳ２０１において、ステップＳ２００で特定された画像に対して連携情報が関連付けられていないと判定した場合、処理をステップＳ２０５に移行させる。ステップＳ２０５で、提示部１０４は、予め定められた特定の画像を、端末装置２０に対して提示する。そして、図７のフローチャートによる一連の処理が終了される。

上述では、ステップＳ１０６において、サーバ１１側で、複数の索引から１を選択しているが、これはこの例に限定されない。すなわち、複数の索引から１を選択する処理を、ユーザが行うように促すことができる。

図８は、検索部１０３の検索出力による複数の索引から１索引を選択する処理を、ユーザが行うように促す場合の一例の処理を示すフローチャートである。上述した図６のステップＳ１０５で、撮像画像に含まれるオブジェクトに対して複数の索引で合致していると判定した場合、検索部１０３は、処理を図８に示すステップＳ１０６’に移行させる。

処理がステップＳ１０６’に移行されると、提示部１０４は、ステップＳ３００で、合致している判定された複数の索引を示す情報をユーザに提示するための画面を生成し、端末装置２０に対して提示する。提示部１０４は、端末装置２０からの、複数の索引から１が選択された選択結果が受信されるのを待機する（ステップＳ３０１）。端末装置２０から、ステップＳ３００で提示した複数の索引から１を選択した旨を受信すると、提示部１０４は、ステップＳ３０２で、合致していると判定された複数の索引から、受信結果に応じて１の索引を選択する。そして、選択された索引に関連付けられた連携情報をＤＢ１２から取り出して、端末装置２０に対して提示する。

このように、複数の索引をユーザに提示することによっても、ユーザは、より的確に所望の画像を選択することができる。

実施形態によれば、撮像画像と時刻情報とに基づき、データ放送画面に連携する連係情報を適切に取得し、ユーザが利用する端末装置に提供することができる。

なお、従来から、連携情報をＱＲコード（登録商標）などの二次元コードに埋め込んでデータ放送画面などに埋め込んで表示させることが行われている。ユーザは、この二次元コードを端末装置２０により撮影し、撮影画像に対して所定の処理を施して二次元コードを解読することで、データ放送画面に連携する連携情報を得ることができる。

ところが、この二次元コードを用いる方法は、人にとって直接的な意味を持たない二次元コードによる画像が表示画面の一定のスペースを占めてしまうことになり、画面の使い勝手が悪い。また、ユーザによっては、二次元コードが表示画面に表示されることに、不快感を示す場合もある。

実施形態によれば、画面に特別なコードを埋め込む必要がないため、二次元コードを用いる場合に比べて画面の利用効率を向上できると共に、ユーザに不快感を与えることが防がれる。

なお、端末装置２０が撮像時の端末装置２０の姿勢を示す情報、例えば光軸に垂直な面の鉛直方向に対する傾き角を出力することが可能な場合、サーバ１１は、撮像画像と共に送信された姿勢を示す情報に基づき、当該姿勢が鉛直方向と見做される角度を示すか否かを判定する。そして、姿勢が鉛直方向と見做される角度ではないと判定した場合、撮像画像がテレビジョン受像機２１の表示画面２００を撮像したものではないとして、ＤＢ１２からの画像の検索を、放送時刻を用いずに、類似度のみを用いて検索するようにできる。

図９は、端末装置２０の一例の構成を示す。図９に例示される端末装置２０において、バス４０１に対してＣＰＵ４０２、ＲＯＭ４０３、ＲＡＭ４０４および表示制御部４０５が接続される。また、バス４０１に対して、ストレージ４０７、データＩ／Ｆ４０８、入力部４０９、通信部４１０および撮像部４１１が接続される。ストレージ４０７は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ４０７としてハードディスクドライブを用いてもよい。

ＣＰＵ４０２は、ＲＯＭ４０３およびストレージ４０７に記憶されるプログラムに従い、ＲＡＭ４０４をワークメモリとして用いて、このコンピュータ４００の全体を制御する。表示制御部４０５は、ＣＰＵ４０２により生成された表示制御信号を、表示部４０６が表示可能な信号に変換して出力する。

ストレージ４０７は、上述のＣＰＵ４０２が実行するためのプログラムや各種データが格納される。データＩ／Ｆ４０８は、外部からのデータの入力を行う。データＩ／Ｆ４０８としては、例えば、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)などによるインタフェースを適用することができる。

入力部４０９は、ユーザ入力を受け付ける入力デバイスを含む。ユーザは、例えば表示部４０６に対する表示に応じて入力デバイスを操作することで、端末装置２０に対して指示を出すことができる。なお、ユーザ入力を受け付ける入力デバイスを、表示部４０６と一体的に構成し、押圧した位置に応じた制御信号を出力すると共に、表示部４０６の画像を透過するタッチパネルとして構成すると、好ましい。

通信部４１０は、所定のプロトコルを用いてネットワーク１０と通信を行う。撮像部４１１は、光学系と、撮像素子と、光学系および撮像素子の制御駆動回路と、撮像素子から出力される信号に所定の処理を施して画像データとして出力する。撮像部４１１は、入力部４０９に対するユーザ操作による指示に従い、撮像やズームなどの機能を実行する。撮像部４１１で撮像され得られた撮像画像は、例えばバス４０１を介して通信部４１０に送られ、ＣＰＵ４０２の命令に従いネットワーク１０を介してサーバ１１に送信される。

なお、端末装置２０にｘｙｚの３軸で角度を検出する角度センサをさらに設けることができる。角度センサの出力は、例えば、撮像画像に付加してサーバ１１に送信することができる。

このような構成において、端末装置２０は、上述したサーバ１１の提示部１０４により提示された各情報を、ネットワーク１０上のＷｅｂサイトを閲覧するためのブラウザアプリケーションを用いて表示することができる。また、端末装置２０は、このブラウザアプリケーションを用いて、サーバ１１に対して要求やデータを送信することができる。

この場合、サーバ１１において、提示部１０４は、端末装置２０に対して各情報を提示するための表示制御情報を、例えばＨＴＭＬ(HyperText Markup Language)や各種スクリプト言語を用いて生成し、生成したファイルをネットワーク１０上の所定のアドレスに置く。提示部１０４から端末装置２０に対してこのアドレスを通知することで、端末装置２０から当該表示制御情報にアクセスし、提示部１０４による各情報の提示を端末装置２０に表示させることができる。

これに限らず、端末装置２０に対して、撮像画像の送信から提示情報の表示までの一連の処理を行うアプリケーションをインストールすることも考えられる。図１０は、この場合の端末装置２０の一例の機能を示す機能ブロック図である。端末装置２０は、受信部４２０と、送信部４２１と、撮像処理部４２２と、入力処理部４２３と、提示部４２４と、制御部４３０とを有する。

撮像処理部４２２は、撮像部４１１による撮像動作を制御し、撮像画像を取得する。送信部４２１は、例えばサーバ１１のネットワーク１０上のアドレス情報を予め有し、ネットワーク１０を介したサーバ１１に対する送信処理を行う。撮像処理部４２２が取得した撮像画像は、送信部４２１によりサーバ１１に送信される。受信部４２０は、サーバから送信された情報を受信する。例えば、サーバ１１の提示部１０４から提示される情報が受信部４２０に受信される。

入力制御部４２３は、ハードウェアとしての入力部４０９に対するユーザ入力を処理する。提示部４２４は、予め用意されたＵＩ画像を表示制御部４０５に渡し、表示部４０６にこのＵＩ画像による画面を表示させる。また、提示部４２４は、受信部４２０に受信された、例えばサーバ１１の提示部１０４から提示される情報に基づく表示画面を生成し、表示制御部４０５を介して表示部４０６に表示させる。なお、提示部４２４による情報提示は、表示のみならず、音声によって行うことも可能である。

制御部４３０は、この端末装置２０の全体の動作を制御する。また、制御部４３０は、サーバ１１の提示部１０４から提示された、撮像画像に対応する連携情報に基づく連携機能を実行することができる。例えば、連携情報にＵＲＬが指定されている場合、制御部４３０は、端末装置２０にインストールされているブラウザアプリケーションを呼び出し、このＵＲＬに示されるアドレスにアクセスさせることも可能である。

上述した受信部４２０と、送信部４２１と、撮像処理部４２２と、入力処理部４２３と、提示部４２４と、制御部４３０は、ＣＰＵ４０２上で動作する端末用プログラムによって実現される。この端末用プログラムは、ネットワーク１０に接続されたコンピュータ上に格納し、ネットワーク１０経由でダウンロードさせることにより提供するように構成される。また、この端末用プログラムを、ネットワーク１０経由で提供または配布するように構成してもよい。この端末用プログラムを、ＲＯＭ４０３に予め記憶させて提供することも考えられる。

これに限らず、この端末用プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。この場合、例えばデータＩ／Ｆ４０８に接続された外部のドライブ装置を介して、端末用プログラムが端末装置２０に供給される。

端末用プログラムは、例えば、上述した各部（受信部４２０、送信部４２１、撮像処理部４２２、入力処理部４２３、提示部４２４および制御部４３０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ４０２が例えばストレージ４０７から当該端末用プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ４０４）上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、上述した実施形態において、時刻情報は連係情報を特定するのに用いるのみでなく、受信した撮像画像が放送媒体を撮像したものであるかを特定するのに用いる特定情報として用いることができるが、特定情報はこれに限らない。例えば、上述した傾き角を利用することもできる。この場合、サーバ１１が所定の傾き角を閾値として保持し、端末装置２０から撮像画像と共に送信された傾き角が閾値以上か未満かに基づいて、撮像画像が放送媒体を撮像したものか否かを決定すればよい。

撮像対象を雑誌媒体等の静止画媒体だけでなく放送媒体に拡張した場合に、どちらの媒体を撮像対象としたかを特定すると、より好ましい。例えば、雑誌に商品Ａ（オブジェクト）が掲載され、一方で、通販番組で商品Ａ（オブジェクト）が紹介されていたとする。そして雑誌の商品Ａの連係情報としてインターネット上の購入サイトが、通販番組の商品Ａの連係情報として商品Ａを購入するための電話番号が登録されていたとする。この場合、どちらの媒体を撮像対象としたかを特定しなければ、ユーザに適切な連係情報が提示されない可能性が生じる。撮像対象の特定を行うことで、ユーザは、適切な連携情報の提示を受けることが可能となる。

例えば、ＤＢ１２には、雑誌会社から登録された雑誌媒体を対象とした画像データを検索するための索引と、放送局から登録された放送媒体を対象とした画像データを検索するための索引とが、媒体を識別する媒体識別情報により媒体毎に格納され、それぞれに連係情報が関連付いているとする。なお、媒体毎に別々のＤＢで管理されていてもよく、索引を媒体に応じて識別管理する方法はこれに限らない。

その上で、サーバ１１は撮像画像を受信すると、当該撮像画像がどちらの媒体を撮像対象としたものかを特定し、その上で撮像画像に基づいて格納した索引を検索し、連係情報を提示する。撮像対象の媒体を特定する特定情報は、携帯端末２０から送信されたものを受信するか、あるいはサーバ１１自身が取得するかのいずれでもよい。

また特定情報として、放送データについては放送時刻があり、雑誌や資料等については放送時刻が無いことから時刻情報を一例として説明したが、この他にも傾き角の他、ＧＰＳやＲＦＩＤ等による位置情報、アクセス履歴情報、携帯端末２０が保持する登録情報（住所、チャンネル登録等）、あるいは携帯端末側でそれぞれの媒体に応じたアプリケーションプログラムを搭載すればアプリケーションＩＤ等を利用することも可能であり、また１つのアプリケーションプログラムであっても、どちらの媒体を撮像したものかを識別する識別情報を撮像画像と共に付与してサーバ１１に送信すればよく、さらにこれらに限らない。

また、連係情報を特定するのに用いる付帯情報としても、時刻情報に限らず、番組識別情報やチャンネル情報等を利用することが可能であり、またこれに限らない。つまり、同じオブジェクトを検索するための複数の索引のうち、特定の索引が検索されるための条件や識別情報であればよい。

したがって、オブジェクトを検索するための索引と、第１の付帯情報（当該画像の放送時刻等、当該索引を当該オブジェクトを検索するための他の索引と識別する付帯情報）と、該オブジェクトに連携する機能を示す連携情報とを関連付けてＤＢ１２に格納する。そして、ネットワークを介して受信した撮像画像に含まれるオブジェクトおよび該撮像画像に対する第２の付帯情報（撮像時刻等）に基づいて、ＤＢ１２に格納された索引によって、受信した撮像画像に含まれるオブジェクトを検索するための索引を選択する実施形態の機能によって、同一オブジェクトを検索するための複数の索引から適切な索引を検索し連係情報の特定ができる。

また、第１の媒体（雑誌、資料といった紙媒体等）を撮像対象として、オブジェクトを検索するための索引と、当該オブジェクトに連携する機能を示す連携情報とを関連付けてＤＢ１２に格納する。さらに、第２の媒体（放送データといった動画媒体等）を撮像対象として、オブジェクトを検索するための索引と、当該オブジェクトに連携する機能を示す連携情報とを関連付けてＤＢ１２に格納する。そして、ネットワークを介して撮影画像を受信し、受信した撮像画像の撮像対象となった媒体を特定する特定情報に基づき、ＤＢ１２に格納された索引によって、受信した撮像画像に含まれるオブジェクトを検索するための索引を選択する実施形態の機能によって、種々の媒体が撮像対象であっても媒体に応じた索引を検索し、適切に連係情報を提供することができる。

なお、上述では、実施形態がデジタルテレビジョン放送に適用されるように説明したが、これはこの例に限定されない。実施形態は、例えば、デジタル情報により広告を表示するデジタルサイネージシステムに対しても、適用可能なものである。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ ネットワーク
１１ サーバ
１２ データベース
２０ 端末装置
２１ テレビジョン受像機
３０Ａ，３０Ｂ 商用サイト
４０ 放送局
１００ 受信部
１０１ 抽出部
１０２ 算出部
１０３ 検索部
１０４ 提示部
１３１，１３２，１３３ オブジェクト
１３４，１３５ 対象領域
１４０ ＸＭＬコード
２００ 表示画面
２０１ テレビジョン放送画面
２０２，２０３ データ放送画面
２０４ 画像
２０５ オブジェクト
２１０ 画像データ

特表２００９−５０６３９３号公報 特開２０１１−２３９３１５号公報

Claims (10)

1. 画像に含まれるオブジェクトを検索するための索引と、該オブジェクトに連携する機能を示す連携情報と、第１の付帯情報とを関連付けて格納する格納手段と、
   ネットワークを介して撮像画像を受信する受信手段と、
   前記受信手段により受信した前記撮像画像に含まれるオブジェクトに基づいて、前記格納手段に格納された索引から、受信した前記撮像画像に含まれるオブジェクトに対応するオブジェクトを検索する検索手段と、
   前記検索手段で検索されたオブジェクトに連携する前記連携情報を前記撮像画像の送信元に提示する提示手段と
   を有し、
   前記検索手段は、
   １のオブジェクトが検索された場合は、該１のオブジェクトを検索結果として前記提示手段に出力し、
   複数のオブジェクトが検索された場合には、該複数のオブジェクトの中から、前記撮像画像に対する第２の付帯情報に基づき、所定の条件を満たす前記第１の付帯情報と関連付けられたオブジェクトを選択し、選択されたオブジェクトを検索結果として前記提示手段に出力する
   ことを特徴とする検索装置。
2. 前記受信手段により受信した前記撮像画像に対する前記第２の付帯情報を取得する取得手段をさらに有する
   ことを特徴とする請求項１に記載の検索装置。
3. 前記撮像画像に含まれるオブジェクトを抽出する抽出手段と、
   前記格納手段に格納される索引によって検索されるオブジェクトと、前記抽出手段で前記撮像画像から抽出されたオブジェクトとの類似度を算出する算出手段と
   をさらに有し、
   前記検索手段は、
   前記格納手段から、前記類似度と、前記第２の付帯情報と、前記第１の付帯情報とに基づき索引を検索する
   ことを特徴とする請求項１または請求項２に記載の検索装置。
4. 前記検索手段は、
   前記格納手段に格納される索引から、前記類似度が閾値以上のオブジェクトを検索するための索引を検索し、
   複数の索引が検索された場合に、
   該複数の索引から、前記第１の付帯情報が前記第２の付帯情報に対応する索引を検索結果として選択する
   ことを特徴とする請求項３に記載の検索装置。
5. 前記検索手段は、
   検索の結果得られた１のオブジェクトが示される索引に対して１の連携情報が関連付けられている場合は、該１の連携情報が示す機能を実行し、
   検索の結果得られた１のオブジェクトが示される索引に対して複数の連携情報が関連付けられている場合は、該複数の連携情報から１の連携情報を選択する旨を促すメッセージを前記撮像画像の送信元に対して提示する
   ことを特徴とする請求項４に記載の検索装置。
6. 前記連携情報は、
   該連携情報に対して関連付けられた索引が示すオブジェクトの属性情報にアクセスするアクセス方法を含む
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の検索装置。
7. 前記属性情報は、オブジェクトの取得方法を示す情報を含む
   ことを特徴とする請求項４に記載の検索装置。
8. 前記第１の付帯情報は、前記オブジェクトがユーザに配信される時刻に関する第１の時刻情報であり、
   前記第２の付帯情報は、前記撮像画像が撮像された時刻に関する第２の時刻情報である
   ことを特徴とする請求項１乃至請求項７の何れか１項に記載の検索装置。
9. ネットワークを介して撮像画像を受信する受信ステップと、
   前記受信ステップにより受信した前記撮像画像に含まれるオブジェクトに基づいて、画像に含まれるオブジェクトを検索するための索引と、該オブジェクトに連携する機能を示す連携情報と、第１の付帯情報とを関連付けて格納する格納手段に格納された索引から、受信した前記撮像画像に含まれるオブジェクトに対応するオブジェクトを検索する検索ステップと、
   前記検索ステップで検索されたオブジェクトに連携する前記連携情報を前記撮像画像の送信元に提示する提示ステップと
   を有し、
   前記検索ステップは、
   １のオブジェクトが検索された場合は、該１のオブジェクトを検索結果として前記提示ステップに出力し、
   複数のオブジェクトが検索された場合には、該複数のオブジェクトの中から、前記撮像画像に対する第２の付帯情報に基づき、所定の条件を満たす前記第１の付帯情報と関連付けられたオブジェクトを選択し、選択されたオブジェクトを検索結果として前記提示ステップに出力する
   ことを特徴とする検索方法。
10. 検索方法をコンピュータに実行させるためのプログラムであって、
    前記検索方法は、
    ネットワークを介して撮像画像を受信する受信ステップと、
    前記受信ステップにより受信した前記撮像画像に含まれるオブジェクトに基づいて、画像に含まれるオブジェクトを検索するための索引と、該オブジェクトに連携する機能を示す連携情報と、第１の付帯情報とを関連付けて格納する格納手段に格納された索引から、受信した前記撮像画像に含まれるオブジェクトに対応するオブジェクトを検索する検索ステップと、
    前記検索ステップで検索されたオブジェクトに連携する前記連携情報を前記撮像画像の送信元に提示する提示ステップと
    を有し、
    前記検索ステップは、
    １のオブジェクトが検索された場合は、該１のオブジェクトを検索結果として前記提示ステップに出力し、
    複数のオブジェクトが検索された場合には、該複数のオブジェクトの中から、前記撮像画像に対する第２の付帯情報に基づき、所定の条件を満たす前記第１の付帯情報と関連付けられたオブジェクトを選択し、選択されたオブジェクトを検索結果として前記提示ステップに出力する
    プログラム。

Images