JP2009159437A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】映像信号に新たな情報を付加せず、別途のサーバ等を新たに設けずに、ネットワーク上のコンテンツを容易に取得できる情報処理装置、情報処理方法及びプログラムを提供すること。
【解決手段】この情報処理装置は、映像データの映像を表示画面に表示する表示手段１１５，１１７と、映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得するフレーム取得部１２１と、フレーム取得部１２１が取得した各フレーム画像内で所定数前のフレーム画像との差分がない画像領域を抽出する画像領域抽出部１２３と、画像領域抽出部１２３が抽出した画像領域に含まれる文字情報を抽出する文字情報抽出部１２４と、文字情報抽出部１２４が抽出した文字情報を検索キーワードとしてネットワーク上のコンテンツを検索する検索部１３１と、を備え、表示手段１１５，１１７は、検索部１３１が検索したコンテンツを表示画面に表示する。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年のインターネットの普及に伴い、例えばテレビ（以下「ＴＶ」ともいう。）で放映されるＴＶ番組やコマーシャル（以下「ＣＭ」ともいう。）などの映像データ中に、インターネットに公開されているホームページ（以下「ＨＰ」ともいう。）などのコンテンツを参照するための情報が表示されることが多くなっている。このネットワーク上のコンテンツを参照するための情報としては、例えばＵＲＩ（Uniform Resource Identifier）や検索キーワードなどが挙げられる。そして、映像データには、例えば『続きはインターネットで。「○○ＣＭ」検索。』などの文字情報が画像として表示される。

この放映される映像データを視聴したユーザは、コンテンツをネットワーク上から取得するために、そのコンテンツを参照するための情報を書き留めたり記憶しておき、インターネットに接続可能な機器（例えばコンピュータなど）を使用してＨＴＭＬ Ｂｒｏｗｓｅｒ等を起動して、書き留めたり記憶していた情報を入力して、ＨＰを取得したりインターネット検索を行うなどといった作業が必要である。

一方、デジタル放送の開発及び普及に伴い、デジタルテレビなどインターネットに接続可能なＴＶ受信機も開発されている。

このＴＶ受信機によれば、ネットワーク上のコンテンツを取得するために、例えば、デジタル放送におけるデータ放送部分に付加情報を添付して、その付加情報を元にコンテンツをインターネットから取得してユーザに提供したり、ユーザにコンテンツの取得方法を提供する方法が提案されている。この方法の一例としては、特許文献１，２が挙げられる。この特許文献１，２では、ネットワーク上のコンテンツのＵＲＩを特定するタグ情報や文字情報を、映像データを含む放送波に埋め込んだり多重化して放送し、ＴＶ受信機が、そのタグ情報を元にネットワーク上のコンテンツを取得する。

また、例えば、別途のＣＭコンテンツ管理サーバを使用する方法も提案されている。この方法の一例としては、特許文献３，４が挙げられる。この特許文献３，４では、新たにＣＭコンテンツ管理サーバが設けられる。そして、ＣＭコンテンツ管理サーバは、ＴＶ放送内のＣＭコンテンツの映像データを蓄積し、このサーバの管理者が、新規のＣＭコンテンツに対して、その映像データに含まれるメッセージとＣＭの企業名・商品名・楽曲・出演俳優などの付加情報とを関連付けてＣＭコンテンツ管理サーバに記録させる。そして、ユーザは、新規のＣＭコンテンツを視聴した場合、クライアント（ＴＶ受信機）を使用してＣＭコンテンツ管理サーバにアクセスし、ＣＭに含まれるメッセージを検索キーワードとして入力して検索させることにより付加情報を取得する。

特開２００１−２０４００５号公報 特開２００３−２１９３７４号公報 特開２００６−２３７８７８号公報 特開２００６−２３７８７９号公報

しかしながら、上記特許文献１，２に記載の方法では、データ放送部に付加情報を新たに付加する際に、ＴＶ受信機の提供者、放送事業者及びコンテンツ製作者が協力して新たなＴＶ放送サービスを開始しなければならない。つまり、ＴＶ放送で送信される情報自体を大きく変更する必要がある。また、上記特許文献３，４に記載の方法では、ＣＭコンテンツ管理サーバに蓄積されるデータベースは管理者によって作成される。そのため、ＣＭコンテンツ管理サーバの管理を行う必要がある。更に、ユーザはＴＶ受信機を使用して映像データに含まれるメッセージを取得するものの、そのメッセージを検索キーワードとして別途ＴＶ受信機に入力する必要がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像データに新たな情報を付加することなく、かつ、別途のサーバ等を新たに設けることなく、ネットワーク上のコンテンツを容易に取得することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、入力される映像データに基づく映像を表示画面に表示する表示手段と、映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得するフレーム取得部と、フレーム取得部により取得された各フレーム画像内で、所定数前のフレーム画像との差分がない画像領域を抽出する画像領域抽出部と、画像領域抽出部により抽出された画像領域に含まれる文字情報を抽出する文字情報抽出部と、文字情報抽出部により抽出された文字情報を検索キーワードとしてネットワーク上のコンテンツを検索する検索部と、を備え、表示手段は、検索部により検索されたコンテンツを表示画面に表示することを特徴とする、情報処理装置が提供される。

この構成によれば、フレーム取得部により、映像データのフレーム画像を取得し、画像領域抽出部により、所定数前のフレーム画像との差分がない画像領域を抽出することができる。そして、文字情報抽出部により、その画像領域に含まれる文字情報を抽出することができ、検索部により、この文字情報を検索キーワードとしてネットワーク上のコンテンツを検索することができる。更に、表示手段により、検索したコンテンツを表示画面に表示させることができる。

また、画像領域抽出部は、抽出した画像領域が所定のパターン形状を含むか否かを判定し、文字情報抽出部は、画像領域抽出部で所定のパターン形状を含むと判定された画像領域に含まれる文字情報を抽出してもよい。
この構成によれば、画像領域抽出部により、所定のパターン形状を含むか否かを判定することができる。そして、文字情報抽出部により、所定のパターン形状を含むと判定された画像領域に含まれる文字情報を抽出することができる。

また、文字情報抽出部は、画像領域から抽出した文字情報が複数存在する場合、各文字情報に対して所定規則に従った優先順位を付加し、検索部は、優先順位の高い文字情報に対応するコンテンツを最初に検索してもよい。
この構成によれば、文字情報抽出部により、複数の文字情報に優先順位を付加することができる。そして、検索部により、その優先順位の高い文字情報に対応するコンテンツを最初に検索することができる。

また、文字情報抽出部は、画像領域から抽出した文字情報が複数存在する場合、当該各文字情報を表示画面にリスト表示させ、検索部は、ユーザの操作に応じて指定された文字情報に対応するコンテンツを検索してもよい。
この構成によれば、文字情報抽出部により、複数の文字情報を表示画面にリスト表示させることができる。そして、検索部は、ユーザの操作に応じて指定された文字情報に対応するコンテンツを検索することができる。

また、表示手段は、映像データと関連して受信した情報データに基づく各文字情報を表示画面に表示するととともに、当該表示画面にリスト表示されている文字情報抽出部により抽出された複数の文字情報の中から、情報データに基づく各文字情報と同一の文字情報を全て表示対象から取り除いてもよい。
この構成によれば、同一の文字情報を表示画面にリスト表示せずに済む。

また、フレーム取得部により取得された各フレーム画像を順次記憶するメモリ部と、メモリ部に記憶された各フレーム画像のうち、ユーザの操作タイミングに最も近いフレーム画像と、当該フレーム画像を基準として所定の遡及時間内に記憶された各フレーム画像を読み出すメモリ制御部と、を備え、表示手段は、メモリ制御部により読み出された各フレーム画像を縮小画像として所定の配置パターンで表示画面に表示してもよい。

また、メモリ制御部は、メモリ部に記憶された各フレーム画像を、ユーザの操作タイミング時点からの遡及時間が長いものから順次消去してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、入力される映像データに基づく映像を表示画像に表示し、映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得し、取得した各フレーム画像内で、所定数前のフレーム画像との差分がない画像領域を抽出し、抽出した画像領域に含まれる文字情報を抽出し、抽出した文字情報を検索キーワードとしてネットワーク上のコンテンツを検索し、検索したコンテンツを表示画面に表示することを特徴とする、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、入力される映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得するフレーム取得手段と、フレーム取得手段により取得された各フレーム画像内で、所定数前のフレーム画像との差分がない画像領域を抽出する画像領域抽出手段と、画像領域抽出手段により抽出された画像領域に含まれる文字情報を抽出する文字情報抽出手段と、文字情報抽出手段により抽出された文字情報を検索キーワードとしてネットワーク上のコンテンツを検索する検索手段と、検索手段により検索されたコンテンツを表示画面に表示する表示手段と、として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、映像データに新たな情報を付加することなく、かつ、別途のサーバ等を新たに設けることなく、ネットワーク上のコンテンツを容易に取得することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本発明の各実施形態に係る情報処理装置は、一のコンテンツの映像データを再生することが可能で、かつ、ネットワークに接続可能な様々な機器、例えば、デジタルテレビなどの表示装置、ビデオプレーヤ・ビデオデッキ・ＨＤＤレコーダ・ＤＶＤプレーヤ・ＤＶＤレコーダなどの再生装置、テレビ放送を受信したり記録された映像コンテンツを再生できる携帯電話・コンピュータ・ＰＤＡ（Personal Digital Assistant）・音楽再生装置などの機器に適用することができる。そして、この情報処理装置は、その映像データを表示した際にその表示映像に含まれる文字情報を抽出し、その文字情報を検索キーワードとしてインターネットなどのネットワーク上に蓄積された他のコンテンツを検索することができる。

以下では、この情報処理装置がデジタルテレビなどの表示装置に適用された場合を例に説明する。そして、表示装置は、ＴＶ放送などを受信して、受信したコンテンツの映像データを表示する場合を例に説明する。しかしながら、本発明の各実施形態に係る情報処理装置は、この表示装置に限定されるものではなく、かつ、映像データも、ＴＶ放送された映像データに限定されるものではない。

＜第１実施形態＞
まず、図１及び図２を参照して、本発明の第１実施形態に係る表示装置の構成について説明する。図１及び図２は、本実施形態に係る表示装置の構成を説明するための説明図である。

図１に示すように、本実施形態に係る情報処理装置が適応される機器の一例である表示装置１００は、放送局２００から送信されるＴＶ放送などの映像データを、アンテナ３１０又はケーブル３２０を介して受信する。また、表示装置１００は、例えばビデオプレーヤ・ビデオデッキ・ＨＤＤレコーダ・ＤＶＤプレーヤ・ＤＶＤレコーダなどの外部機器３３０から、その外部機器３３０（その外部機器３３０が読み取る記録媒体も含む）に記録された映像データを取得する。

更に、表示装置１００は、例えばインターネットなどのようなネットワーク４００に接続可能である。そして、表示装置１００は、ネットワーク４００を介して検索サーバ５００及び情報提供サーバ６００と接続可能である。

検索サーバ５００は、ネットワーク４００上をキーワード検索するサーバの一例である。より具体的に検索サーバ５００は、ネットワーク４００を介して接続された他の機器から入力される検索要求に応じて、その機器から入力された検索キーワード（文字情報の一例）を含むＨＰ（ネットワーク上のコンテンツの一例）がネットワーク上のどこに蓄積されているかを表した情報をネットワーク検索し、検索結果をその機器に出力する。ここでは、ネットワーク上のどこに蓄積されているかを表した情報の一例として、ＵＲＩ（Uniform Resource Identifier）を出力するとして説明する。
つまり、表示装置１００は、この検索サーバを利用して検索キーワードを含むＨＰのＵＲＩ等を検索することができる。

なお、この検索サーバ５００は、ＵＲＩと共に検索したＨＰに関する情報、例えば検索キーワードの前後の文章や画像などを他の機器に出力してもよい。また、この検索サーバ５００としては、特定のサーバを新たに設置する必要はなく、ネットワーク４００に接続された既存の如何なる検索サーバであってもよい。更に、表示装置１００は、特定の検索サーバ５００にアクセスする必要はなく、ネットワーク４００に接続された複数の検索サーバの中から、検索に使用する検索サーバを選択することも可能である。

なお、検索サーバ５００が検索する対象（ネットワーク上のコンテンツ）について、ここではＨＰを例示して説明してるが、このネットワーク上のコンテンツには、ＨＰだけでなく、例えば音楽データ・文章データ・画像データなど、ネットワーク上に公開され、かつ、検索キーワードによって検索可能なあらゆるコンテンツが含まれる。

情報提供サーバ６００は、様々な情報を蓄積してネットワーク上に公開しているサーバである。ここでは、この公開している情報は、例えば、ＨＰであるとして説明する。また、各ＨＰは、ＵＲＩにより特定される。よって、上記検索サーバ５００は、ネットワーク上に公開されたＨＰ中に、検索キーワードが含まれるか否かを検索して、ＵＲＩを特定する。

一方、表示装置１００は、その表示装置１００を操作するための操作信号をリモートコントローラ（以下「リモコン」ともいう。）７００から取得する。つまり、ユーザは、リモコン７００を操作することにより表示装置１００を操作することが可能である。なお、表示装置１００は、操作信号を、リモコン７００だけでなく、例えば表示装置１００に配置された操作盤や操作ボタン、マウスポインタのようなポインタ、タッチスクリーンなどから取得してもよいが、以下では説明の便宜上、表示装置１００は、操作信号をリモコン７００から取得するとして説明する。また、以下では、このリモコン７００は、「検索ボタン」と、「選択ボタン」と、「詳細ボタン」と、上下左右方向それぞれへの「移動ボタン」を有し、各ボタンが選択されるとリモコン７００は、押下されたボタンに応じた操作信号を出力するとして説明するが、リモコン７００が有するボタンもかかる例に限定されるものではない。

（表示装置１００の構成）
次に、図２を参照して、表示装置１００の構成について説明する。
図２に示すように、表示装置１００は、放送データ取得部１１１Ａと、外部データ取得部１１１Ｂと、デマルチプレクサ１１２と、オーディオデコーダ１１３Ａと、データデコーダ１１３Ｂと、ビデオデコーダ１１３Ｃと、フレーム制御部１１４Ａと、表示制御部１１５と、音声出力部１１６と、表示部１１７と、操作信号受信部１１８と、検索部１２０と、ネットワーク通信部１３３とを有する。

放送データ取得部１１１Ａは、例えば放送局２００が放送してアンテナ３１０又はケーブル３２０を介して入力する放送データを取得する。そして、デマルチプレクサ（demultiplexer）１１２は、映像データ・音声データ・ＥＰＣ（電子番組ガイド）等の情報データがまとめられて送信された放送データを、映像データ・音声データ・情報データそれぞれのストリームに分離する。

外部データ取得部１１１Ｂは、外部機器３３０に記録された外部データを取得する。この外部データには、少なくとも映像データが含まれ、他にも音声データ・情報データなどが含まれてもよい。

なお、映像データは、デジタル放送の場合、例えばＭＰＥＧ１・ＭＰＥＧ２・Ｈ．２６４などの規格で符合化されて送信又は記録される。また、映像データは、複数のフレーム画像（以下では単に「フレーム」ともいう。）に時間分割されている。例えばＭＰＥＧ１・ＭＰＥＧ２・Ｈ．２６４などの規格では、データ量を少なくするために、映像データには、そのフレーム単体で１つの画像を表示可能なフレーム（例えばＩピクチャ、Ｉフレーム）と、前後のフレームを参照することにより１つの画像を表示可能なフレーム（例えばＢピクチャ、Ｐピクチャ）とが含まれる。なお、これらの圧縮形式の映像データでは、例えば、フレーム間予想や動き補償技術が使用される。そして、ＢピクチャやＰピクチャには、フレーム間の差分を表した信号（差分情報）や動き補償（フレーム間予想）技術で使用される情報（動きベクトルなど）が含まれる。Ｂピクチャは、直前のＩピクチャで表示された画像と、最も近い将来のＰピクチャに含まれる情報とにより、１のフレームを表示させる。以下、フレーム単体で１つの画像を表示可能なフレームとして、Ｉピクチャを例に挙げ、前後のフレームを参照することにより１つの画像を表示可能なフレームとして、Ｂピクチャを例に挙げて説明するが、これらのフレームの名称は、圧縮形式によって異なってもよいことは言うまでもない。

オーディオデコーダ１１３Ａは、デマルチプレクサ１１２又は外部データ取得部１１１Ｂから入力する音声データをデコード（復号、decode）する。このデコードされた音声データは、例えばスピーカなどのような音声出力部１１６から出力される。なお、この音声出力部１１６には、例えばアンプなども含まれる。

データデコーダ１１３Ｂは、デマルチプレクサ１１２又は外部データ取得部１１１Ｂから入力する情報データをデコードする。そして、このデコードされた情報データは、表示制御部１１５に送られ、表示制御部１１５が必要に応じて表示部１１７に表示させる。

ビデオデコーダ１１３Ｃは、例えばＭＰＥＧ１・ＭＰＥＧ２・Ｈ．２６４などの形式で圧縮された映像データをデコードする。

フレーム制御部１１４Ａは、メモリ制御部の一例であって、ビデオデコーダ１１３Ｃがデコードした映像データのフレームを制御する。より具体的には、フレーム制御部１１４Ａは、フレームのバッファとして動作する第１フレーム記憶部１１４Ｂ及び第２フレーム記憶部１１４Ｃ（メモリ部の一例）に接続される。そして、フレーム制御部１１４Ａは、ビデオデコーダ１１３Ｃがデコードした映像データのフレームを、表示制御部１１５に出力する一方、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに順次記録させる。この際、フレーム制御部１１４Ａは、図３に示すように、現在の時刻（カレント時刻）ＴからＮ秒（図３では、１０秒）前までのフレームを記録させる。よって、この記録されたフレームは、ユーザが表示装置１００に映像を表示させている間、更新される。このフレーム制御部１１４Ａが記録させる映像データの長さ（Ｎ秒）は、適宜変更可能である。

なお、フレーム制御部１１４Ａが記録させるフレームは、Ｉピクチャのフレームである。また、フレーム制御部１１４Ａは、時間が経過するに従い、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記憶されているフレーム中で遡及時間が長いものから順次消去する。換言すれば、フレーム制御部１１４Ａは、記録させている過去の代表的なフレームの時間間隔が広くなるように、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録されたフレームを消去して、新たなフレームの記憶容量として使用する。

つまり、ある時刻Ｔにおいて、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃには、代表的なフレームとして、図３に示すように、例えば、時刻ＴのＩピクチャ、時刻Ｔ−１（１秒前）のＩピクチャ、時刻Ｔ−２（２秒前）のＩピクチャ、時刻Ｔ−５（５秒前）のＩピクチャ、及び時刻Ｔ−１０（１０秒前）のＩピクチャが記録される。さらに、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃには、これらに付随するフレームとして、上記のＩピクチャに時間的に近い過去（未来であってもよい。）の１又は２以上のＩピクチャがそれぞれ記録される。そして、時間が経過するに従い代表的なフレーム間の時間間隔が広くなるように、過去の代表的なフレームとそれに付随するフレームとが消去される。

このように第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録されるフレームを、現在時刻Ｔに近いほど細かく、この時刻Ｔから過去に離れるほど荒くすることにより、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録するデータ量を削減することができる。なお、代表的なフレームを、例えば、時刻ＴのＩピクチャと、時刻Ｔから所定時間（例えば１秒、２秒、５秒、１０秒など）遡ったＩピクチャとに設定することができる。また、これら代表的なフレームに付随するフレームを、代表的なフレームに時間的に近い過去（又は未来）の所定枚数又は所定時間中のＩピクチャに設定することができる。換言すれば、付随するフレームが、代表的なフレームと同一のシーンを表示した他のＩピクチャになるように設定されることが好ましい。なお、ここで言うシーン（場面）とは、例えば同一の撮影場所で同一のカメラにて撮影された映像データなどのように、フレーム中に表された画像データが大きく変化しない複数のフレームの集まりを言う。

第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録されたフレームは、下記の検索部１２０が検索動作中に使用する。よって、フレーム制御部１１４Ａは、検索部１２０の検索動作が開始されると、フレームを記録させる記憶部を第１フレーム記憶部１１４Ｂと第２フレーム記憶部１１４Ｃとの間で切替える。つまり、第１フレーム記憶部１１４Ｂにフレームを記録している最中に、検索部１２０の検索動作が開始されると、第１フレーム記憶部１１４Ｂに記録されたフレームは、検索部１２０における検索動作に使用される。一方、フレーム制御部１１４Ａは、再生されているフレームを引き続き第２フレーム記憶部１１４Ｂに記録させる。よって、検索部１２０は、再度検索動作を開始した場合、今度は第２フレーム記憶部１１４Ｂに記録されたフレームを使用することができる。このように２つのバッファを備えることにより、フレーム制御部１１４Ａは、流れ続けるフレームを絶え間なく記録させることができ、検索部１２０は、検索対象となるフレームを漏れなく取得することができる。

表示制御部１１５は、ビデオデコーダ１１３Ｃがデコードした映像データを受信して、表示部１１７にその映像を表示させる。なお、この表示制御部１１５は、更に映像データのフレーム以外に、データデコーダ１１３Ｂがデコードした情報データや、以下で説明する動作及び表示装置１００の動作に関する所定の情報を表示させることもできる。また、表示制御部１１５は、表示部１１７に２画面表示などの複数画面表示を行わせることもできる。なお、この表示制御部１１５も、操作信号受信部１１８が取得した操作信号に応じて動作してもよい。

表示部１１７は、表示画面を有し、表示制御部１１５により制御され、表示制御部１１５から出力される映像を表示する。この表示部１１７は、例えば、ブラウン管（ＣＲＴ：Cathode Ray Tube）・液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）・プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）・電界放出ディスプレイ（ＦＥＤ：Field Emission Display）・有機エレクトロルミネッセンスディスプレイ（有機ＥＬ、ＯＥＬＤ：Organic Electroluminescence Display）・ビデオプロジェクタなどであってもよい。なお、表示制御部１１５及び表示部１１７は、表示手段の一例である。

操作信号受信部１１８は、例えばリモコン７００が出力する様々な操作信号を受信する。この操作信号は、通常の動作（例えば表示装置１００の映像データの表示など）や、後述する検索動作などに使用される。

つまり、この放送データ取得部１１１Ａ又は外部データ取得部１１１Ｂ，ビデオデコーダ１１３Ｃ，フレーム制御部１１４Ａ，表示制御部１１５，表示部１１７及び操作信号受信部１１８により映像データの表示が行われる。より具体的には、例えば操作信号受信部１１８から入力する所定の操作信号により、表示される入力ラインや放送チャンネルが決定されて、当該決定に基づいて放送データ取得部１１１Ａ又は外部データ取得部１１１Ｂが映像データを取得する。そして、ビデオデコーダ１１３Ｃが、その映像データをデコードし、デコードされた映像データを、フレーム制御部１１４Ａを介して表示制御部１１５に出力する。そして、表示制御部１１５は、この映像データを表示部１１７に表示させる。

検索部１２０は、フレーム取得部１２１と、フレーム解析部１２３と、文字認識部１２４と、キーワード記憶部１２５と、検索制御部１３１と、検索サーバ情報記憶部１３２と、嗜好データ記憶部１３４とを有する。

フレーム取得部１２１は、ユーザの操作に応じてか、又は、自動的に検索キーワードを含む複数のフレームを順次取得する。
より具体的には、フレーム取得部１２１は、ユーザの操作に応じてか、又は、自動的にフレーム制御部１１４Ａにフレーム取得要求を出力し、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記憶された複数の代表的なフレーム（例えば、図３に示したＩピクチャ）を、フレーム制御部１１４Ａに取得させる。つまり、フレーム制御部１１４Ａは、フレーム取得部１２１からのフレーム取得要求を取得すると、この要求を取得したタイミングに最も近いフレームと、このフレームを基準として所定の遡及時間内に記憶されたフレームとを、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃから読み出す。この際、フレーム制御部１１４Ａは、記録するフレームを第１フレーム記憶部１１４Ｂと第２フレーム記憶部１１４Ｃとの間で切替る。そして、フレーム制御部１１４Ａは、取得した複数の代表的なフレームを表示制御部１１５に出力する。表示制御部１１５は、この取得した複数の代表的なフレームを表示部１１７に表示する。

そして、フレーム取得部１２１は、どのフレームを検索対象とするのかを表した操作信号を操作信号受信部１１８が受信した場合、この操作信号に表された代表的なフレームと、その代表的なフレームに付随したフレームとを含む複数のフレームを、フレーム取得部１２１から取得する。一方、上記操作信号を操作信号受信部１１８が受信しない場合、フレーム取得部１２１は、フレーム取得要求を出力した時点Ｔにおける代表的なフレームと、その代表的なフレームに付随したフレームとを含む複数のフレームを、フレーム取得部１２１から取得する。そして、フレーム取得部１２１は、取得した複数のフレームをフレーム解析部１２３に出力する。このフレーム取得部１２１が取得するフレームの一例を、図４（Ａ）〜（Ｃ）に示す。また、フレーム取得部１２１が取得する複数のフレームは、同一シーンを表したフレームであることが望ましい。

なお、フレーム取得部１２１は、操作信号受信部１１８が受信した所定の操作信号（例えば検索ボタンの押下に対応）をトリガーとして、上記フレーム取得要求を出力する。換言すれば、フレーム取得部１２１は、フレーム制御部１１４Ａに、操作信号受信部１１８が所定の操作信号を受信した時点Ｔのフレームと、それよりもＮ秒前までのフレームを取得させる（図３参照。）。

また、上述のように、フレーム制御部１１４Ａが取得するフレーム、つまり、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録されていたフレームは、操作信号受信部１１８が所定の操作信号を受信した時点Ｔに近いほど細かく、この時点Ｔから過去に離れるほど荒くなる。

フレーム解析部１２３は、画像領域抽出部の一例であって、フレーム取得部１２１が取得した複数のフレーム（１の代表的なフレームとそれに付随したフレームとを含む複数のフレーム）を解析して、ネットワーク４００上の映像データに関連したコンテンツを検索するための検索キーワードとなり得る文字情報が含まれる領域（文字情報領域ともいう。）を抽出する。そのためにフレーム解析部１２３は、例えば以下のような２段階の抽出を行う。

（第１の抽出）
まず、第１段階の抽出として、フレーム解析部１２３は、複数のフレーム間の差分が少ない領域、つまり、複数のフレーム間で画像データが変化しない領域を抽出する。つまり、映像データに含まれる検索キーワードとなりうる文字情報は、例えば図４（Ａ）〜（Ｃ）に示す文字情報Ｗのように、変形や移動せずに、変化しないことが多い。一方、検索キーワードを含まない領域に表示される映像は、図４（Ａ）〜（Ｃ）に示す移動物体Ｍのように複数のフレームが経過するに従い、変形や移動して、変化することが多い。従って、フレーム解析部１２３は、図５に示すように、フレーム間の差分が他の領域（移動物体Ｍを含む領域）に比べて少ない領域Ａ（文字情報Ｗを含む領域）を抽出する。

このように映像が動かない、つまり画像データが変化しない領域（静止領域ともいう。）を抽出することにより、後述する文字認識部１２４における処理が行われるデータ量を削減し、処理に要する時間を短縮し、装置の処理性能を向上させることができる。

なお、第１段階の抽出において、画像データが変化する領域（変化領域ともいう。）がない場合、フレーム解析部１２３は、例えば、そのフレームに含まれる全ての領域を抽出してもよい。逆に、第１段階の抽出において、静止領域（例えば領域Ａ）がない場合、フレーム解析部１２３は、例えば、フレーム取得部１２１がフレーム制御部１１４Ａから取得したフレーム、つまり、時刻Ｔにおけるフレーム又は操作信号に表されたフレームに含まれる全ての領域を抽出してもよい。

（第２の抽出）
次に、第２段階の抽出として、フレーム解析部１２３は、フレームに含まれる画像データ（画像領域）が所定のパターン形状（以下単に「パターン」ともいう。）を含むか否かを判定する。より具体的には、フレーム解析部１２３は、フレームに含まれる画像データの所定のパターンを検出し、そのパターンを含む領域を抽出する。つまり、フレーム解析部１２３は、第１の抽出を行った場合には抽出された領域に対して、第１の抽出を行わない場合にはフレーム全体に対して、所定のパターンが含まれるか否かを検出する。そして、フレーム解析部１２３は、所定のパターンが含まれる場合には、そのパターンを含む領域を、検索キーワードとなりうる文字情報を含みうる領域として抽出する（抜き出す）。そして、フレーム解析部１２３は、その領域に含まれる画像の情報を、文字認識部１２４に出力する。

なお、このパターンを含む領域は、パターンの内部と、パターンから所定の距離離隔した領域を含むことが好ましい。また、このパターンからの離隔距離は、文字情報を含みうる距離を統計的に導くことにより設定されてもよい。

より具体的にこの第２の抽出について説明する。一般的に、ＣＭなどに含まれる検索キーワードとなりうる文字情報は、図４（Ａ）〜（Ｃ）に示すように、インターネットの検索サイトにおける検索キーワード入力欄を模した形状のボックスＢ中に含まれる場合が多い。そこで、フレーム解析部１２３は、例えば、所定のパターンとして、このボックスＢを特定し、このボックスＢの近傍（ボックスＢの内部も含む）の領域を抽出する。つまり、所定のパターン（所定の形状）とは、検索サイトにおける検索キーワード入力欄をユーザに連想させうる形状のことをいう。なお、所定のパターンはこのボックスＢに限定されず、通常使用されている検索キーワード入力欄が多種多様である場合や、新たな検索キーワード記入欄が使用されるようになった場合には、それらを全て含むように所定のパターンを決定することも可能である。

更に具体的に説明すると、所定のパターンがボックスＢである場合、フレーム解析部１２３は、例えば、画像データがボックスＢであるか否かを特定するために、以下の条件を順次判定する。

（条件１）長方形又は角が丸い長方形（以下長方形Ｂともいう）があり、その長方形Ｂに近接する長方形又は角が丸い長方形（長方形Ｃ）があること（長方形Ｃは、例えば、長方形Ｂの右方向又は下方向にあることが好ましい。）。
（条件２）長方形Ｃの左右方向の幅は、長方形Ｂの左右方向の幅よりも短いこと。
（条件３）長方形Ｃの上下方向の高さは、長方形Ｂの上下方向の高さとほぼ等しいこと。

そして、フレーム解析部１２３は、上記の条件を多く満たすパターンが、ボックスＢである可能性が高いとして、当該パターンの近傍の領域を抽出する。なお、例えば、条件を満たすパターンが複数ある場合には、フレーム解析部１２３は、複数のパターンを含む領域を抽出してもよく、条件を満たすパターンがない場合には、第２の抽出の対象となった領域の全てを抽出してもよい。

このように検索キーワードとなりうる文字情報を含みうる領域（文字情報領域）を特定することにより、後述する文字認識部１２４における処理が行われるデータ量を削減し、処理に要する時間を短縮し、装置の処理性能を向上させることができ、かつ、検索キーワードとなりうる情報の量を削減することができる。

文字認識部１２４は、文字情報抽出部の一例であって、フレーム解析部１２３が抽出した領域（文字情報領域）に対して文字認識を行い、その領域に含まれる文字情報を抽出する。そして、文字認識部１２４は、抽出した文字情報を表示制御部１１５及び検索制御部１３１に出力する。この際、文字認識部１２４は、抽出した文字情報をキーワード記憶部１２５に記録させてもよい。また、文字認識部１２４は、データデコーダ１１３Ｂに含まれる情報データを取得して、情報データから検索キーワードとなりうる文字情報を抽出して、キーワード記憶部１２５に記録させてもよい。なお、キーワード記憶部１２５は、文字情報認識処理におけるバッファとしても機能することができる。

なお、文字認識部１２４は、文字情報を複数抽出してもよく、複数の文字情報を抽出した場合には、各文字情報に優先順位を付加する。この優先順位としては、例えば、ボックスＢ中に含まれていた文字情報に対しては高い優先順位が付加され、ボックスＢから離れるほど低くなる優先順位が付加されてもよい。また、優先順位として、英数字とピリオド（．）だけで構成された文字情報がある場合、その文字情報に高い優先順位を付加してもよい。更に優先順位として、文字の大きさに応じて優先順位を付加してもよい。また、抽出した順番に応じた優先順位を付加することも可能である。

この文字認識部１２４が行う文字認識は、例えば、ＯＣＲ（Optical Character Recognition）・ＢＣＲ（Bar Code Reader）・ＣＲＵなどで行われるパターンマッチングと同様の処理により行われてもよい。

検索制御部１３１は、検索部の一例であって、ネットワーク４００に接続可能なネットワーク通信部１３３を介して、ネットワーク上のＨＰ（ネットワーク上のコンテンツの一例）を検索する。この際、検索制御部１３１は、文字認識部１２４が抽出した文字情報を検索キーワードとして使用して、ネットワーク検索を行う。なお、文字認識部１２４が複数の文字情報を抽出した場合、まず、優先順位の高い文字情報を使用して検索を行い、操作信号受信部１１８から他の文字情報を表した操作信号を取得した場合、その文字情報を使用して検索を行う。

より具体的には、検索制御部１３１は、文字情報を検索キーワードとして、ネットワーク通信部１３３とネットワーク４００を介して検索サーバ５００に検索させ、検索サーバ５００の検索結果をネットワーク通信部１３３に取得させる。一方、ネットワーク通信部１３３は、その検索結果を表示制御部１１５に出力する。なお、このネットワーク通信部１３３は、操作信号受信部１１８からネットワーク上のＨＰを指定する操作信号を取得した場合、そのＨＰで公開されている情報をネットワーク４００を介して情報提供サーバ６００から取得して、検索制御部１３１に出力する。そして、検索制御部１３１は、受取ったＨＰに公開されている情報を、表示制御部１１５に出力する。なお、上記ネットワーク通信部１３３は、例えばＨＴＭＬ Ｂｒｏｗｓｅｒなどにより構成されてもよい。

また、検索制御部１３１は、上記のネットワーク検索に使用する検索サーバ５００を変更することもできる。より具体的には、検索制御部１３１は、検索サーバ情報記憶部１３２に接続され、検索サーバ情報記憶部１３２には、図６に示すような選択可能な検索サーバ５００の情報（検索サーバ５００のリスト）が記録されている。この検索サーバ５００の情報としては、例えば検索サーバのＵＲＩなどが挙げられる。そして、検索制御部１３１は、この検索サーバ情報記憶部１３２から検索サーバ５００の情報を取得して、現在設定されている検索サーバ５００とは異なる検索サーバ５００を新たに設定してもよい。

更に、検索制御部１３１は、検索キーワードとして使用した文字列や、ネットワーク通信部１３３が取得したＨＰを特定するための情報（例えばＵＲＩやそのコンテンツ自身など）を、ユーザの嗜好データとして嗜好データ記憶部１３４に記録させてもよい。この嗜好データ記憶部１３４に記録された嗜好データは、例えば、ユーザの嗜好を解析したり、文字認識部１２４における文字認識処理や、その文字情報に優先順位を付加する処理を行う際に使用されてもよい。

以上、本実施形態に係る情報処理装置が適用された機器の一例である表示装置１００の構成について説明した。次に、本実施形態に係る表示装置１００の動作について説明する。

（表示装置１００の通常の動作）
まず、図７を参照しつつ、本実施形態に係る表示装置１００の通常の動作、つまり、ユーザが放送データ又は外部データを視聴している際の表示装置１００の動作について説明する。図７は、本実施形態に係る表示装置の通常の動作を説明するための説明図である。

表示装置１００の電源がＯＮされると、まず、放送データ取得部１１１Ａが放送データを取得し、かつ、操作信号受信部１１８が受信した操作信号が放送データの視聴を表している場合、デマルチプレクサ１１２が、放送データを映像データ・音声データ・情報データそれぞれのストリームに分離する。そして、各データは、それぞれ対応したデコーダに送られる。一方、外部データ取得部１１１Ｂが外部データを取得し、かつ、操作信号受信部１１８が受信した操作信号が外部データの視聴を表してる場合、外部データに含まれる映像データ・音声データ・情報データも、それぞれ対応したデコーダに送られる。そして、ステップＳ０１の処理が行われる。なお、以下では、放送データを放送データ取得部１１１Ａが取得した場合を例に挙げて説明する。

このステップＳ０１では、オーディオデコーダ１１３Ａが、音声データをデコードし、音声出力部１１６に出力させる。そして、データデコーダ１１３Ｂが、情報データをデコードし、表示制御部１１５に出力する。更に、ビデオデコーダ１１３Ｃが、映像データをデコードし、フレーム制御部１１４Ａに出力する。

次に、ステップＳ０３の処理が行われ、フレーム制御部１１４Ａが、デコードされた映像データに含まれるフレームを、第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録させる。また、フレーム制御部１１４Ａは、デコードされた映像データを表示制御部１１５に出力する。そして、ステップＳ０５に進む。

ステップＳ０５では、表示制御部１１５が、映像データに含まれるフレームを、そのフレームを表示させるタイミングで表示部１１７に表示させる。同時に、音声出力部１１６が、オーディオデコーダ１１３Ａでデコードされた音声データを、その音声データを出力すべきタイミングで出力する。また、表示制御部１１５は、データデコーダ１１３Ｂがデコードした情報データを、操作信号受信部１１８により受信された操作信号が情報データの表示を表している場合に、表示部１１７に表示させる。

そして、ステップＳ０７に進み、表示制御部１１５又は上位の制御装置が、電源がＯＦＦされたか否かを確認する。電源がＯＦＦされた場合、表示装置１００は動作を終了し、電源がＯＦＦされていない場合、ステップＳ０１以降を繰り返し処理する。

（表示装置１００の検索動作の一例）
次に、図８及び図９Ａ〜図９Ｄを参照しつつ、本実施形態に係る表示装置１００の検索動作について説明する。図８は、本実施形態に係る表示装置の検索動作の一例について説明するための説明図である。図９Ａ〜図９Ｄは、本実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。

表示装置１００の検索動作の一例では、表示装置１００の検索動作は、操作信号受信部１１８が受信した所定の操作信号（例えば検索ボタンの押下に対応）をトリガーとして開始される。つまり、操作信号受信部１１８が「検索」を表した所定の操作信号を受信すると、フレーム取得部１２１は、フレーム取得要求をフレーム制御部１１４Ａに出力し、ステップＳ１０１以降の処理が行われる。

ステップＳ１０１では、フレーム制御部１１４Ａが、フレームの記録に使用する記憶部を、第１フレーム記憶部１１４Ｂと第２フレーム記憶部１１４Ｃとの間で切替える。そして、ステップＳ１０３に進み、フレーム制御部１１４Ａが、それまで記録に使用されていた第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃから、記録された複数のフレームを取得し、この複数のフレームを表示制御部１１５が表示部１１７に表示させる。この際、表示制御部１１５は、例えば図９Ａに示すように、複数のフレームを縮小画像として所定の配置パターンで表示部１１７に表示させる。このステップＳ１０１及びステップＳ１０３の処理中に表示部１１７に表示される表示画面の一例を、図９Ａ及び図９Ｂに示す。

まず、表示部１１７が、図９Ａに示す放送データのフレームＦ１を表示している状態で、ユーザが、例えばフレームＦ１中にインターネット検索を行いたい検索キーワードなどが表示されているなどと判断して、リモコン７００の「検索ボタン」を押下した場合、操作信号受信部１１８は、リモコン７００から出力された所定の操作信号を受信する。すると、上記ステップＳ１０１及びステップＳ１０３の処理が行われ、表示部１１７には、図９Ｂに示す表示画像が表示される。つまり、表示制御部１１５は、表示部１１７のモードを２画面モード（２以上の画面のモードでもよい。）に切替え、例えば、表示部１１７の左方画面Ｌには、視聴中の放送データのフレームを表示させ、表示部１１７の右方画面Ｒには、フレーム制御部１１４Ａが取得した第１フレーム記憶部１１４Ｂ又は第２フレーム記憶部１１４Ｃに記録された複数のフレームＦ１〜Ｆ５を表示させる。

そして、次のステップＳ１０５が処理される。
つまり、このステップＳ１０５では、フレーム取得部１２１が、操作信号受信部１１８が１のフレームの選択を表した操作信号を受信したか否かを確認する。より具体的には、ユーザは、図９Ｂに示す画像を参照して、リモコン７００の上下左右の「移動ボタン」や「選択ボタン」などを押下することにより、検索キーワードとしたい文字情報が表示されている１のフレームを選択する。この選択操作に応じてリモコン７００は、所定の操作信号を出力し、操作信号受信部１１８が、この操作信号を受信する。よって、フレーム取得部１２１は、１のフレームが選択されたか否かを、この操作信号を受信したか否かで判断する。１のフレームが選択された場合には、ステップＳ１０９に進み、所定の時間間隔が経過しても１のフレームが選択されていない場合には、ステップＳ１０９の前にステップＳ１０７に進む。

ステップＳ１０７では、フレーム取得部１２１は、検索動作を開始した時点におけるフレーム、つまりユーザがリモコン７００の「検索ボタン」を押下した時点において表示されていたフレーム（例えば、図９Ａのフレーム）を、ユーザが選択する１のフレームの変わりに選択する。そして、ステップＳ１０９に進む。

ステップＳ１０９では、フレーム取得部１２１が、選択された１のフレームと、その前のフレーム（その後のフレームを含んでもよい。）を含む複数のフレームを、フレーム解析部１２３に出力する。そして、次のステップＳ１１１が処理され、このステップＳ１１１では、フレーム解析部１２３が、上記第１の抽出及び第２の抽出を行い文字情報領域を抽出する。更に、フレーム解析部１２３は、抽出した文字情報領域の画像データを、文字認識部１２４に出力し、次のステップＳ１１３に進む。

ステップＳ１１３では、文字認識部１２４が、文字情報領域に対して文字認識を行い、その領域に含まれる文字情報を抽出する。そして、ステップＳ１１５に進み、文字認識部１２４は、抽出した文字情報を、キーワード記憶部１２５に検索キーワードの候補として記録させると共に、検索制御部１３１に出力する。なお、上述のように、文字認識部１２４は、複数の文字情報を抽出した場合、各文字情報に優先順位を付加して記録させ、かつ、出力する。そして、ステップＳ１１７に進む。

ステップＳ１１７では、検索制御部１３１が、抽出された複数の文字情報から、検索キーワードを１つ選択する。この際、検索制御部１３１は、優先順位の高い文字情報を検索キーワードとして選択する。そして、ステップＳ１１９に進む。

なお、このステップＳ１１７では、検索制御部１３１は、例えば、操作信号受信部１１８が受信する操作信号が表す文字情報を選択してもよい。この場合、検索制御部１３１は、キーワード記憶部１２５に記録された複数の文字情報を表示制御部１１５に出力し、表示制御部１１５は、この複数の文字情報を表示部１１７に表示させる。そして、ユーザは、表示部１１７に表示された文字情報を選択し、リモコン７００は、かかる選択に応じた操作信号を出力する。

ステップＳ１１９では、検索制御部１３１が、ステップＳ１１７で選択した検索キーワードに基づいてネットワーク検索する。より具体的には、検索制御部１３１は、既に設定されている検索サーバ５００の情報を用いて、ネットワーク通信部１３３を介して検索サーバ５００に接続する。そして、検索制御部１３１は、検索キーワードを検索サーバ５００に出力して、検索キーワードに基づいてネットワーク上のＨＰを検索させる。ステップＳ１１９の処理後は、ステップＳ１２１に進む。

ステップＳ１２１では、検索制御部１３１が、ネットワーク通信部１３３を介して検索サーバ５００から検索結果を表したデータ（検索結果データとも言う。）を取得して、表示制御部１１５に出力する。そして、ステップＳ１２３に進み、表示制御部１１５は、検索結果データを表示部１１７に表示させる。検索結果を表示した表示部１１７の表示画面の一例を、図９Ｃに示す。図９Ｃに示すように、表示制御部１１５は、表示部１１７の表示画面を２画面表示モードに設定した状態で、表示部１１７の左方画面Ｌには視聴中の放送データのフレームを表示させる一方、表示部１１７の右方画面Ｒには検索結果データが表示される。検索結果データには、例えば、ネットワーク上のＨＰを特定するための情報（例えばＵＲＩなど）やＨＰで公開されている情報の一部又は全部が含まれてもよい。そして、これらの情報の一部には、そのＨＰへのリンクが貼られている。このステップＳ１２３の処理後は、ステップＳ１２５に進む。

ステップＳ１２５では、検索制御部１３１が、他の文字情報が新たな検索キーワードとして選択されたか否かを確認する。より具体的には、図９Ｃに示す表示画面が表示部１１７に表示されている状態で、ユーザがリモコン７００の「詳細ボタン」を押下すると、リモコン７００は、「詳細ボタン」の押下に応じた操作信号を出力して、操作信号受信部１１８が、この操作信号を受信する。すると、検索制御部１３１は、キーワード記憶部１２５に記録された複数の検索キーワード候補の文字情報を取得して、表示制御部１１５に出力する。そして、表示制御部１１５は、例えば、図９Ｄに示すように、表示部１１７の右方画面Ｒ上に複数の文字情報を表示させる。ユーザは、この表示された複数の文字情報を参照して、例えばリモコン７００の「移動ボタン」及び「選択ボタン」などを押下することにより、検索キーワードとしたい所望の文字情報を選択する。リモコン７００は、この選択された文字情報を表す操作信号を出力し、操作信号受信部１１８は、この操作信号を受信する。すると、検索制御部１３１は、操作信号が表した文字情報を、新たな検索キーワードとして選択して、再度ステップＳ１１９，ステップＳ１２１及びステップＳ１２３を順次処理する。一方、上記のように新たな検索キーワードが選択されない場合には、ステップＳ１２９に進む。

ステップＳ１２９では、検索制御部１３１が、ＨＰ選択情報を取得する。このＨＰ選択情報は、例えばユーザが図９Ｃに示した表示画面を参照しつつ、所望のＨＰを選択するように操作されたリモコン７００から出力される。そして、検索制御部１３１は、操作信号受信部１１８を介して、このＨＰ選択情報を取得する。そして、ステップＳ１３１に進む。

ステップＳ１３１では、検索制御部１３１は、ＨＰ選択情報に表されたＨＰのＵＲＩを使用して、そのＨＰに公開されている情報を取得して、表示制御部１１５に出力する。そして、ステップＳ１３３に進み、表示制御部１１５は、このＨＰに公開されている情報を、例えば図９Ｃに示す表示部１１７の右方画面Ｒに表示させる。そして、表示装置１００は、検索動作を終了する。

（検索サーバ５００の切替え動作）
以上説明した検索動作では、検索動作に使用する検索サーバ５００は予め設定されているとして説明した。しかし、本実施形態に係る表示装置１００は、検索動作に使用する検索サーバ５００を切替えることができる。そこで、以下では、この検索サーバ５００の切替え動作について、図１０を参照して説明する。図１０は、本実施形態に係る表示装置の検索サーバ切替え動作の一例について説明するための説明図である。

まず、ステップＳ２０１が処理され、検索制御部１３１が、検索サーバ変更要求を表した操作信号を取得する。つまり、検索サーバ５００を変更する場合、ユーザは、リモコン７００を操作して、検索サーバ変更要求を表した操作信号を出力させる。操作信号受信部１１８は、この操作信号を受信して検索制御部１３１に出力し、検索制御部１３１は、この操作信号を取得する。そして、次のステップＳ２０３に進む。

ステップＳ２０３では、検索制御部１３１は、検索サーバ情報記憶部１３２に記録された検索サーバ５００のリスト（図６に示すような選択可能な検索サーバ５００の情報）を取得して、表示制御部１１５に出力する。そして、表示制御部１１５は、この検索サーバ５００のリストを表示部１１７に表示させる。

そして、この表示された検索サーバ５００のリストを参照したユーザは、リモコン７００を操作して、リスト中の１の検索サーバ５００を選択する。すると、リモコン７００は、この選択された検索サーバ５００を表した操作信号（検索サーバ選択情報）を出力する。

そして、ステップＳ２０５において、検索制御部１３１は、検索サーバ選択情報を操作信号受信部１１８を介して取得する。そして、ステップＳ２０７の処理が行われ、検索制御部１３１は、検索動作に使用する検索サーバ５００の情報を更新する。従って、ユーザは、検索に使用する検索サーバ５００を所望の検索サーバに変更することができる。

（本実施形態に係る表示装置による効果の例）
以上、本実施形態に係る情報処理装置が適用された装置の一例である表示装置１００について説明した。このような表示装置１００によれば、放送データや外部データなどに含まれる映像データから、検索キーワードを抽出してネットワーク検索を行うことができる。従って、放送データや外部データを変更したり、新たに別途のデータベースなどを配置することなく、ネットワーク上のＨＰを検索して取得することができる。

この際、表示装置１００は、フレーム解析を行うことにより、文字情報の認識処理にかかる計算量を削減することができる。よって、上記検索動作に要する時間を短縮することができる。更に、装非常に高い処理速度を要求することなく装置を構成することができるので、製造コストの増加を削減できる。

以上、本発明の第１実施形態に係る情報処理装置について説明した。
この第１実施形態に係る情報処理装置（表示装置１００）では、ユーザの操作に応じてリモコン７００が出力する操作信号をトリガーとして、上記検索動作を行う場合について説明した。よって、操作信号を受信した後に、フレーム解析処理（ステップＳ１１１の文字情報領域抽出処理）及び文字情報認識処理（ステップＳ１１３の文字情報抽出処理）が行われた。しかしながら、本発明はこの例に限定されるものではない。例えば、操作信号とは関係なく、表示部１１７に映像データを表示している最中に検索キーワードを検出し続けてもよい。従って、このような動作を行う本発明の第２実施形態に係る情報処理装置について、以下では説明する。ただし、この第２実施形態でも、情報処理装置が適用される機器として、表示装置を例に説明する。また、この第２実施形態に係る表示装置も、上記第１実施形態に係る表示装置１００が有する構成と同様に構成することができる。従って、以下では、第１実施形態との相違点を中心に説明する。

＜第２実施形態＞
図１１は、本発明の第２実施形態に係る表示装置の通常動作及び検索動作の一例について説明するための説明図である。

本実施形態に係る表示装置は、電源がＯＮされると、まず、上記第１実施形態に係る表示装置１００と同様に動作して、ステップＳ０１，ステップＳ０３及びステップＳ０５を処理する（図７参照。）。その後、ステップＳ３０１が処理される。

このステップＳ３０１では、フレーム取得部１２１が、フレーム制御部１１４Ａから現在のフレーム（カレントフレーム）を取得する。この際、フレーム取得部１２１は、Ｉフレームを取得する。なお、本実施形態では、フレーム制御部１１４Ａ，第１フレーム記憶部１１４Ｂ及び第２フレーム記憶部１１４Ｃは必ずしも必要ではなく、フレーム取得部１２１は、例えば、ビデオデコーダ１１３Ｃから現在のフレームを受取ってもよい。そして、ステップＳ１１１に進む。

このステップＳ１１１と、これに後続するステップＳ１１３及びステップＳ１１５は、第１実施形態に係る表示装置１００では操作信号を受信した後に処理されたが、本実施形態に係る表示装置は、ステップＳ１１１〜ステップＳ１１５を常時処理する。つまり、ユーザが放送データなどを視聴している最中には、ステップＳ１１１〜ステップＳ１１５の処理が行われ、映像データの各フレームで表示される文字情報が、常時抽出されてキーワード記憶部１２５に記録される。よって、キーワード記憶部１２５には、視聴中の放送データなどに含まれる文字情報が蓄積される。

ネットワーク検索を行いたいユーザは、例えばリモコン７００の「検索ボタン」を押下する。すると、リモコン７００からは、検索要求を表した操作信号が出力される。一方、ステップＳ１１５の処理後には、ステップＳ３０３に進み、検索制御部１３１は、リモコン７００が出力した検索要求を表した操作信号を操作信号受信部１１８を介して取得したか否かを確認する。検索要求を表した操作信号を取得した場合には、ステップＳ３０５に進む。一方、検索要求を表した操作信号を取得していない場合には、再度ステップＳ０１以降の処理が行われる。ただし、ステップＳ３０５に進んだ場合でも、ステップＳ３０５以降の処理と並行してステップＳ０１〜ステップＳ１１５が処理されてもよい。

ステップＳ３０５では、検索制御部１３１が、キーワード記憶部１２５に記録された文字情報を取得して表示制御部１１５に出力する。そして、表示制御部１１５は、この文字情報を、表示部１１７に表示させる。このステップＳ３０３及びステップＳ３０５の処理中に表示部１１７に表示される表示画面の一例を、図９Ａ，図１２Ａ及び図１２Ｂに示す。

まず、表示部１１７が、図９Ａに示す放送データのフレームＦ１を表示している状態で、ユーザが、例えばインターネット検索を行うためにリモコン７００の「検索ボタン」を押下した場合、操作信号受信部１１８は、リモコン７００から出力された所定の操作信号を受信する。すると、上記ステップＳ３０３及びステップＳ３０５の処理が行われ、表示部１１７には、図１２Ａに示す表示画像が表示される。つまり、表示制御部１１５は、表示部１１７のモードを２画面モード（２以上の画面のモードでもよい。）に切替え、例えば、表示部１１７の左方画面Ｌには、視聴中の放送データのフレームを表示させ、表示部１１７の右方画面Ｒには、フレームから抽出されキーワード記憶部１２５に蓄積された文字情報ＷＬ１をリスト表示させる。更に、文字認識部１２４が情報データから文字情報を抽出している場合、表示制御部１１５は、表示部１１７の右方画面Ｒには、情報データから抽出されてキーワード記憶部１２５に蓄積された文字情報ＷＬ２をも表示させる（図１２Ａ参照。）。この際、情報データから抽出された文字情報ＷＬ２に含まれた検索キーワードが、フレームから抽出された文字情報ＷＬ１中に含まれる場合、表示制御部１１５は、文字情報Ｗ１中から、その重複した検索キーワードの全てを取り除き、重複した検索キーワードを表示部１１７への表示対象から取り除く。このように文字情報ＷＬ１と文字情報ＷＬ２とで重複している検索キーワードを表示しないことにより、ユーザが検索キーワードを選択する際に余分な情報を表示させずに済み、操作性が向上する。また、一画面に表示させることができる情報の数を増やすこともできる。

そして、次のステップＳ３０７が処理され、検索制御部１３１がキーワード記憶部１２５に記録された文字情報から、検索キーワードを選択する。より具体的には、ユーザは、表示部１１７に表示された文字情報を参照して、リモコン７００を操作することにより、検索キーワードとして使用したい文字情報を選択する（図１２Ｂ参照。）。すると、リモコン７００は、選択された文字情報を表した操作信号を出力する。そして、検索制御部１３１は、操作信号を操作信号受信部１１８を介して取得し、この操作信号に表された文字情報を検索キーワードとして選択する。そして、ステップＳ１１９に進む。ステップＳ１１９以降の処理は、ステップＳ１２７（新たなフレームが選択されか否かの確認処理）が行われない以外、上記第１実施形態に係る表示装置１００が行う検索動作における処理と同様である（図８参照）。

以上、本実施形態に係る情報処理装置が適用された装置の一例である表示装置について説明した。このような表示装置によれば、上記第１実施形態に係る表示装置が奏することができる効果に加えて、更に、例えばユーザの手元にリモコン７００がない場合など、検索を行いたい文字情報が表示された時点からしばらくの間（第１フレーム記憶部１１４Ｂ及び第２フレーム記憶部１１４Ｃから当該文字情報が含まれるフレームが消去されるまでの間）リモコン７００を操作することができない場合にも、適切な検索キーワードを使用してネットワーク検索を行うことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、フレーム解析部１２３が第１の抽出と第２の抽出の両方を行う場合について説明した。しかし、本発明はかかる例に限定されない。例えば、フレーム解析部１２３は、第１の抽出及び第２の抽出のどちらか一方を行ってもよい。また、例えば、これらの抽出を行わない場合、検索部１２０は、フレーム解析部１２３を備えなくてもよい。

また、上記実施形態では、フレーム取得部１２１は、Ｉピクチャを取得して、フレーム解析部１２３は、このＩピクチャを使用して、文字情報領域（静止領域）の抽出を行う場合について説明した。しかし、本発明はかかる例に限定されない。フレーム取得部１２１は、例えば、Ｉピクチャと共に、ＢピクチャやＰピクチャなどの前後のフレームを参照することにより静止領域を抽出してもよい。この場合、フレーム解析部１２３は、ＢピクチャやＰピクチャなどに含まれる、フレーム間の差分を表した信号（差分情報）や動き補償（フレーム間予想）技術で使用される情報（動きベクトルなど）に基づいて、Ｉピクチャ中の静止領域を抽出してもよい。

また、上記各実施形態で説明した一連の処理は、専用のハードウエアにより実行させてもよいが、ソフトウエアにより実行させてもよい。一連の処理をソフトウエアにより行う場合、図１３に示すような汎用又は専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。

図１３は、プログラムを実行することにより一連の処理を実現するコンピュータの構成例を説明するための説明図である。一連の処理を行うプログラムのコンピュータによる実行について説明すれば、以下のようになる。

図１３に示すように、コンピュータは、例えば、バス９０１及び入出力インターフェイス９０６等を介して接続された、ＣＰＵ（Central Processing Unit）９０２と、ＨＤＤ（Hard Disk Drive）９０３・ＲＯＭ（Read Only Memory）９０４・ＲＡＭ（Random Access Memory）９０５等の記録装置と、ＬＡＮ（Local Area Network）・インターネット等のネットワーク４００に接続されたネットワーク通信部１３３と、リモコン７００・マウス・キーボード（図示せず）等の入力装置９０７と、フレキシブルディスク、各種のＣＤ（Compact Disc）・ＭＯ（Magneto Optical）ディスク・ＤＶＤ（Digital Versatile Disc）等の光ディスク、磁気ディスク、半導体メモリ等のリムーバブル記録媒体９０９等を読み書きするドライブ９０８と、表示部１１７・音声出力部１１６などの出力装置等を有する。

そして、ＣＰＵ９０２が、記録装置に記録されたプログラム、ネットワーク４００を介して受信したプログラム、またはリムーバブル記録媒体９０９から読み出したプログラム等に従って、各種の処理を実行することにより、上記の一連の処理が、実現される。この際、ＣＰＵ９０２は、必要に応じて入力装置９０７から入力する情報や信号に基づいて各種の処理を行ってもよい。そして、この処理結果は、必要に応じて上記の記録装置やリムーバブル記録媒体９０９等に記録されてもよく、出力装置に出力されてもよく、ネットワーク４００に送信されてもよい。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含むものである。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

本発明の第１実施形態に係る表示装置の構成を説明するための説明図である。 同実施形態に係る表示装置の構成を説明するための説明図である。 同実施形態に係る表示装置に記録されるフレームの一例を説明するための説明図である。 検索キーワードとなりうる文字情報を含む表示画面の一例の時間変化を説明するための説明図である。 検索キーワードとなりうる文字情報を含む表示画面の一例の時間変化を説明するための説明図である。 同実施形態に係る表示装置に記録される検索サーバの情報について説明するための説明図である。 同実施形態に係る情報処理装置の動作を説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例について説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。 同実施形態に係る表示装置の検索サーバ切替え動作の一例について説明するための説明図である。 本発明の第２実施形態に係る表示装置の検索動作の一例について説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。 同実施形態に係る表示装置の検索動作の一例において、表示部に表示される表示画面の例について説明するための説明図である。 プログラムを実行することにより一連の処理を実現するコンピュータの構成例を説明するための説明図である。

符号の説明

１００ 表示装置
１１１Ａ 放送データ取得部
１１１Ｂ 外部データ取得部
１１２ デマルチプレクサ
１１３Ａ オーディオデコーダ
１１３Ｂ データデコーダ
１１３Ｃ ビデオデコーダ
１１４Ａ フレーム制御部
１１５ 表示制御部
１１６ 音声出力部
１１７ 表示部
１１８ 操作信号受信部
１２０ 検索部
１２１ フレーム取得部
１２３ フレーム解析部
１２４ 文字認識部
１２５ キーワード記憶部
１３１ 検索制御部
１３２ 検索サーバ情報記憶部
１３３ ネットワーク通信部
１３４ 嗜好データ記憶部
２００ 放送局
３１０ アンテナ
３２０ ケーブル
３３０ 外部機器
４００ ネットワーク
５００ 検索サーバ
６００ 情報提供サーバ
７００ リモコン
９０１ バス
９０２ ＣＰＵ
９０３ ＨＤＤ
９０４ ＲＯＭ
９０５ ＲＡＭ
９０６ 入出力インターフェイス
９０７ 入力装置
９０８ ドライブ
９０９ リムーバブル記録媒体

Claims (9)

1. 入力される映像データに基づく映像を表示画面に表示する表示手段と、
   前記映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得するフレーム取得部と、
   前記フレーム取得部により取得された各前記フレーム画像内で、所定数前の前記フレーム画像との差分がない画像領域を抽出する画像領域抽出部と、
   前記画像領域抽出部により抽出された前記画像領域に含まれる文字情報を抽出する文字情報抽出部と、
   前記文字情報抽出部により抽出された前記文字情報を検索キーワードとしてネットワーク上のコンテンツを検索する検索部と、
   を備え、
   前記表示手段は、前記検索部により検索された前記コンテンツを前記表示画面に表示することを特徴とする、情報処理装置。
2. 前記画像領域抽出部は、抽出した前記画像領域が所定のパターン形状を含むか否かを判定し、
   前記文字情報抽出部は、前記画像領域抽出部で前記所定のパターン形状を含むと判定された前記画像領域に含まれる文字情報を抽出することを特徴とする、請求項１に記載の情報処理装置。
3. 前記文字情報抽出部は、前記画像領域から抽出した文字情報が複数存在する場合、各前記文字情報に対して所定規則に従った優先順位を付加し、
   前記検索部は、前記優先順位の高い前記文字情報に対応するコンテンツを最初に検索することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記文字情報抽出部は、前記画像領域から抽出した文字情報が複数存在する場合、当該各文字情報を前記表示画面にリスト表示させ、
   前記検索部は、ユーザの操作に応じて指定された前記文字情報に対応するコンテンツを検索することを特徴とする、請求項１〜３のいずれかに記載の情報処理装置。
5. 前記表示手段は、前記映像データと関連して受信した情報データに基づく各文字情報を前記表示画面に表示するととともに、当該表示画面にリスト表示されている前記文字情報抽出部により抽出された前記複数の文字情報の中から、前記情報データに基づく各前記文字情報と同一の文字情報を全て表示対象から取り除くことを特徴とする、請求項４に記載の情報処理装置。
6. 前記フレーム取得部により取得された各前記フレーム画像を順次記憶するメモリ部と、
   前記メモリ部に記憶された各前記フレーム画像のうち、ユーザの操作タイミングに最も近い前記フレーム画像と、当該フレーム画像を基準として所定の遡及時間内に記憶された各前記フレーム画像を読み出すメモリ制御部と、
   を備え、
   前記表示手段は、前記メモリ制御部により読み出された各前記フレーム画像を縮小画像として所定の配置パターンで前記表示画面に表示することを特徴とする、請求項１〜５に記載の情報処理装置。
7. 前記メモリ制御部は、前記メモリ部に記憶された各前記フレーム画像を、ユーザの前記操作タイミング時点からの遡及時間が長いものから順次消去することを特徴とする、請求項１〜６のいずれかに記載の情報処理装置。
8. 入力される映像データに基づく映像を表示画像に表示し、
   前記映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得し、
   取得した各前記フレーム画像内で、所定数前の前記フレーム画像との差分がない画像領域を抽出し、
   抽出した前記画像領域に含まれる文字情報を抽出し、
   抽出した前記文字情報を検索キーワードとしてネットワーク上のコンテンツを検索し、
   検索した前記コンテンツを表示画面に表示することを特徴とする、情報処理方法。
9. コンピュータを、
   入力される映像データからユーザの操作に応じて又は自動的にフレーム画像を順次取得するフレーム取得手段と、
   前記フレーム取得手段により取得された各前記フレーム画像内で、所定数前の前記フレーム画像との差分がない画像領域を抽出する画像領域抽出手段と、
   前記画像領域抽出手段により抽出された前記画像領域に含まれる文字情報を抽出する文字情報抽出手段と、
   前記文字情報抽出手段により抽出された前記文字情報を検索キーワードとしてネットワーク上のコンテンツを検索する検索手段と、
   前記検索手段により検索された前記コンテンツを表示画面に表示する表示手段と、
   として機能させるためのプログラム。

Images