JP2012089931A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザの好みに応じた立体視画像を表示するためのパラメータを適切に生成する。
【解決手段】放送受信部１１０は、放送波を受信して映像信号を復調し、映像復号部１２０は、その映像信号を復号処理して映像データ（立体視画像を表示させるための映像データ）を復元する。相関値算出部１４０は、左眼視用画像および右眼視用画像における２つの比較対象ブロックを比較して相関値を算出する。立体視画像パラメータ生成部１５０は、探索範囲内の各比較対象ブロックの比較により算出された相関値のうち、最も大きい相関値を抽出し、この抽出された相関値に対応する比較対象ブロックのズラシ量を決定する。そして、立体視画像パラメータ生成部１５０は、その決定されたズラシ量を、算出対象となった比較対象ブロックに関連付けてズラシ量保持テーブルに保持して立体視画像パラメータを生成する。
【選択図】図１

Description

本発明は、情報処理装置に関し、特に、立体視画像を表示するための情報を扱う情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像（３Ｄ映像（例えば、左眼視用画像および右眼視用画像からなる２視点画像））を表示するための立体視画像表示方法が多数提案されている。また、近年では、コンピュータを利用した立体視画像コンテンツ（３Ｄコンテンツ）の質の向上により、劇場等において立体視画像が表示されることが多くなり、視聴者の関心が高まりつつある。

また、テレビ放送のデジタル化に伴い、従来のアナログ放送では伝送できなかった容量のデジタルデータを伝送することができるようになる。このため、今後は、デジタル放送により、立体視画像を表示するためのデジタルデータを家庭用テレビに伝送し、家庭用テレビにおいて立体視画像が表示されることが多くなると想定される。このため、立体視画像に対する関心はさらに高まるものと考えられる。

例えば、立体視画像を表示するものとして、ユーザがシャッター眼鏡をかけて見ると、立体効果のある映像を見ることができる立体映像表示用テレビ装置が提案されている（例えば、特許文献１（図２）参照。）。

特開平０９−３２２１９８号公報

上述の従来技術によれば、立体視画像を適切に表示することができる。

しかしながら、立体視画像を見る場合において、予め設定されている物体の奥行量とは無関係に、ユーザの好みに応じて立体視画像を表示させたい場合がある。例えば、比較的高齢のユーザにとっては、物体の飛出具合が激しくないほうが好ましいと考えることが想定される。一方、比較的若いユーザは、比較的激しい動きを楽しみたいと考えることも想定される。

このように、同一の立体視画像を見る場合でも、その立体視画像を見るユーザの好みが多種多様であるため、各ユーザの好みに応じた立体視画像を表示することが重要である。このため、ユーザの好みに応じた立体視画像を表示する際に用いられるパラメータを、その立体視画像の表示前に生成しておき、この生成されたパラメータをユーザの好みに応じて適切に用いることができるようにしておくことが重要である。

本発明はこのような状況に鑑みてなされたものであり、ユーザの好みに応じた立体視画像を表示するためのパラメータを適切に生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、立体視画像を表示させるための立体視画像情報を取得する取得部と、上記取得された立体視画像情報を構成する第１画像および第２画像を比較することにより上記立体視画像を表示する際における上記立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成する生成部とを具備する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、立体視画像情報を構成する第１画像および第２画像を比較することにより、立体視画像を表示する際におけるその立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成するという作用をもたらす。

また、この第１の側面において、上記生成部は、上記第１画像および上記第２画像を比較することにより上記第１画像および上記第２画像に含まれる物体のズラシ量を算出して当該ズラシ量に基づいて当該物体の領域と当該物体の奥行量とを関連付けた上記パラメータを生成するようにしてもよい。これにより、第１画像および第２画像に含まれる物体のズラシ量を算出し、このズラシ量に基づいてその物体の領域とその物体の奥行量とを関連付けたパラメータを生成するという作用をもたらす。

また、この第１の側面において、上記生成部は、上記物体の奥行量として、上記立体視画像を表示する表示部における表示面を基準とする場合における当該物体の飛出量または引込量を算出するようにしてもよい。これにより、立体視画像を表示する表示部における表示面を基準とする場合における物体の飛出量または引込量を算出するという作用をもたらす。

また、この第１の側面において、上記生成部は、上記第１画像および上記第２画像に含まれる１または複数の物体を物体毎に検出し、上記検出された物体の領域と当該物体の奥行量とを関連付けた上記パラメータを記録媒体に記録させる記録制御部をさらに具備するようにしてもよい。これにより、第１画像および第２画像に含まれる１または複数の物体を物体毎に検出し、この検出された物体の領域とその物体の奥行量とを関連付けて記録媒体に記録させるという作用をもたらす。

また、この第１の側面において、上記生成部は、上記第１画像を構成するブロックと上記第２画像を構成するブロックとを比較して上記第１画像および上記第２画像に含まれる物体のズラシ量をブロック単位で算出して上記算出されたズラシ量をブロック単位で保持するテーブル情報を生成するようにしてもよい。これにより、第１画像および第２画像に含まれる物体のズラシ量をブロック単位で算出し、この算出されたズラシ量をブロック単位で保持するテーブル情報を生成するという作用をもたらす。

また、この第１の側面において、上記取得部は、放送波を受信して当該放送波に対応する映像データであって上記立体視画像を表示させるための映像データを上記立体視画像情報として取得するようにしてもよい。これにより、放送波を受信してその放送波に対応する映像データ（立体視画像を表示させるための映像データ）を取得するという作用をもたらす。

また、この第１の側面において、上記取得部は、縮符号化されている上記第１画像および上記第２画像が時間軸において連続してペア単位で伝送されて上記第１画像および上記第２画像間における動きベクトルが当該画像に関連付けられている伝送方式であるフレームパッキング方式に係る映像データを上記立体視画像情報として取得し、上記生成部は、上記動きベクトルにおける水平成分を用いて上記パラメータを生成するようにしてもよい。これにより、フレームパッキング方式に係る映像データを取得し、第１画像および第２画像間における動きベクトルにおける水平成分を用いてパラメータを生成するという作用をもたらす。

また、この第１の側面において、上記生成部は、上記パラメータとして上記物体の奥行方向における位置を調整する際に用いられるパラメータを生成するようにしてもよい。これにより、物体の奥行方向における位置を調整する際に用いられるパラメータを生成するという作用をもたらす。

また、この第１の側面において、上記生成部は、上記パラメータとして上記物体から生じる音声を調整する際に用いられるパラメータを生成するようにしてもよい。これにより、物体から生じる音声を調整する際に用いられるパラメータを生成するという作用をもたらす。

また、この第１の側面において、上記生成されたパラメータと上記取得された立体視画像情報とを関連付けて記録媒体に記録させる記録制御部をさらに具備するようにしてもよい。これにより、生成されたパラメータと、取得された立体視画像情報とを関連付けて記録媒体に記録させるという作用をもたらす。

また、本発明の第２の側面は、立体視画像を表示するための第１画像および第２画像を含む映像データであって、符号化されている上記第１画像および上記第２画像が時間軸において連続してペア単位で伝送されて上記第１画像および上記第２画像間における動きベクトルが当該画像に関連付けられている伝送方式であるフレームパッキング方式に係る映像データを取得する取得部と、上記取得された映像データに含まれる上記第１画像および上記第２画像間における動きベクトルを用いて上記立体視画像を表示する際に上記立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成する生成部とを具備する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、フレームパッキング方式に係る映像データを取得し、この映像データに含まれる第１画像および第２画像間における動きベクトルを用いて、立体視画像を表示する際にその立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成するという作用をもたらす。

本発明によれば、ユーザの好みに応じた立体視画像を表示するためのパラメータを適切に生成することができるという優れた効果を奏し得る。

本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における表示部１７０に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。 本発明の第１の実施の形態における表示部１７０に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。 本発明の第１の実施の形態における相関値算出部１４０による相関値算出処理の対象となるブロックの選択方法とこれらの比較処理とを模式的に示す図である。 本発明の第１の実施の形態における相関値算出部１４０による相関値算出処理の対象となるブロックの選択方法とこれらの比較処理とを模式的に示す図である。 本発明の第１の実施の形態における相関値算出部１４０による相関値算出処理の対象となる立体視画像を構成する２つの画像の一部を拡大して示す図である。 本発明の第１の実施の形態における立体視画像パラメータ生成部１５０により生成されるズラシ量保持テーブルの一例を模式的に示す。 本発明の第１の実施の形態における立体視画像パラメータ生成部１５０による二値化処理に用いられる微分フィルタの一例を示す図である。 本発明の第１の実施の形態における立体視画像パラメータ生成部１５０による二値化処理の流れを模式的に示す図である。 本発明の第１の実施の形態における映像復号部１２０により復号された映像データに対応する立体視画像におけるズレ量と、表示部１７０の表示面におけるズレ量との関係を示す図である。 本発明の第１の実施の形態における表示部１７０に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す図である。 本発明の第１の実施の形態における情報処理装置１００による立体視画像パラメータ生成制御処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における情報処理装置７００の機能構成例を示すブロック図である。 本発明の第３の実施の形態における情報処理装置８００の機能構成例を示すブロック図である。 本発明の第３の実施の形態における動きベクトル検出部８１０による動きベクトル検出の対象となる映像データの一例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（立体視画像パラメータ生成制御：放送局からの受信した放送波に含まれる立体視画像について立体視画像パラメータを生成する例）
２．第２の実施の形態（立体視画像パラメータ記録制御：放送局からの受信した放送波に含まれる立体視画像について立体視画像パラメータを生成して記録する例）
３．第３の実施の形態（立体視画像パラメータ生成制御：フレームパッキング方式により圧縮符号化されている立体視画像について立体視画像パラメータを生成する例）

＜１．第１の実施の形態＞
［情報処理装置の構成例］
図１は、本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、放送受信部１１０と、映像復号部１２０と、音声復号部１３０と、相関値算出部１４０と、立体視画像パラメータ生成部１５０と、映像音声出力制御部１６０と、表示部１７０と、音声出力部１８０と、操作受付部１９０とを備える。情報処理装置１００は、例えば、各放送局からの放送波を受信して画像（立体視画像または平面画像）を表示するテレビジョン受像機により実現される。

放送受信部１１０は、アンテナ（図示せず）を介して、各放送局からの放送波を受信し、映像信号（ビデオ信号）および音声信号（オーディオ信号）を復調するものである。放送受信部１１０は、例えば、地上デジタルテレビジョン放送、ＣＳ（Communications Satellite）デジタル放送、ＢＳ（Broadcasting Satellite）デジタル放送等の放送波を受信する。そして、放送受信部１１０は、復調された映像信号を映像復号部１２０に出力し、復調された音声信号を音声復号部１３０に出力する。

映像復号部１２０は、放送受信部１１０から出力された映像信号（伝送のために圧縮符号化された映像信号）を復号処理して映像データを復元するものであり、復元された映像データを相関値算出部１４０および映像音声出力制御部１６０に出力する。また、映像復号部１２０は、放送受信部１１０からの映像信号が立体視画像を表示するための映像信号である場合には、復元された映像データとして、左眼視用画像データ（Ｌｃｈ画像データ）および右眼視用画像データ（Ｒｃｈ画像データ）を順次出力する。すなわち、放送受信部１１０および映像復号部１２０は、放送波を受信してその放送波に対応する映像データ（立体視画像を表示させるための映像データ）を立体視画像情報として取得する。また、放送受信部１１０および映像復号部１２０は、特許請求の範囲に記載の取得部の一例である。

音声復号部１３０は、放送受信部１１０から出力された音声信号（伝送のために圧縮符号化された音声信号）を復号処理して音声データを復元するものであり、復元された音声データを映像音声出力制御部１６０に出力する。

相関値算出部１４０は、映像復号部１２０から出力された映像データ（左眼視用画像および右眼視用画像）について相関値算出処理を行うものであり、その算出結果（相関値）を立体視画像パラメータ生成部１５０に出力する。例えば、相関値算出部１４０は、左眼視用画像を構成するブロックと、右眼視用画像を構成するブロックとを比較することによりブロック間における相関値をブロック単位で算出する。なお、相関値算出処理については、図４乃至図６等を参照して詳細に説明する。

立体視画像パラメータ生成部１５０は、相関値算出部１４０から出力された相関値算出結果に基づいて、算出対象となった立体視画像に関する各種パラメータ（立体視画像パラメータ）を生成するものである。例えば、立体視画像パラメータ生成部１５０は、左眼視用画像および右眼視用画像に含まれる物体のズラシ量を算出し、このズラシ量に基づいてその物体の領域とその物体の奥行量とを関連付けた立体視画像パラメータを算出する。この場合に、立体視画像パラメータ生成部１５０は、相関値算出部１４０によりブロック単位で算出された相関値に基づいて、左眼視用画像および右眼視用画像に含まれる物体のズラシ量をブロック単位で算出する。そして、立体視画像パラメータ生成部１５０は、その算出されたズラシ量をブロック単位で保持するズラシ量保持テーブル（テーブル情報）を生成する。ここで、物体の奥行量は、例えば、表示部１７０に立体視画像が表示される場合において、表示部１７０の表示面を基準とする場合における物体の飛出量または引込量とすることができる。このように、立体視画像パラメータ生成部１５０は、立体視画像を表示する際におけるその立体視画像に含まれる物体の奥行方向における位置を示す立体視画像パラメータ（例えば、ズラシ量保持テーブル）を生成する。この立体視画像パラメータは、立体視画像を表示する際におけるその立体視画像に含まれる物体の奥行方向における位置を調整する際に用いられる。また、この立体視画像パラメータは、立体視画像を表示する際におけるその立体視画像に含まれる物体から生じる音声を調整する際に用いられる。そして、立体視画像パラメータ生成部１５０は、生成された立体視画像パラメータを映像音声出力制御部１６０に出力する。なお、立体視画像パラメータ生成処理については、図７乃至図９等を参照して詳細に説明する。また、相関値算出部１４０および立体視画像パラメータ生成部１５０は、特許請求の範囲に記載の生成部の一例である。

映像音声出力制御部１６０は、操作受付部１９０により受け付けられた操作入力に応じて、放送受信部１１０により受信された放送波に対応する映像および音声を出力するための出力処理を行うものである。例えば、放送受信部１１０により受信された放送波に対応する立体視画像を表示部１７０に表示させ、その放送波に対応する音声を音声出力部１８０から出力させるための操作入力が操作受付部１９０により受け付けられた場合を想定する。この場合には、映像音声出力制御部１６０は、映像復号部１２０から出力された映像データに基づいて、表示部１７０に立体視画像を表示させる制御を行う。また、映像音声出力制御部１６０は、映像復号部１２０から出力された音声データに基づいて、音声出力部１８０に音声を出力させる制御を行う。また、表示部１７０に表示される立体視画像について編集や加工等を施す指示操作が操作受付部１９０により受け付けられた場合を想定する。この場合には、映像音声出力制御部１６０は、立体視画像パラメータ生成部１５０により生成された立体視画像パラメータを用いて、その指示操作に応じた編集や加工等を行う。また、音声出力部１８０から出力される音声を調整する指示操作が操作受付部１９０により受け付けられた場合を想定する。この場合には、映像音声出力制御部１６０は、立体視画像パラメータ生成部１５０により生成された立体視画像パラメータを用いて、その立体視画像に係る音声を調整する。

表示部１７０は、映像音声出力制御部１６０の制御に基づいて、各種画像を表示する表示部である。表示部１７０は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により実現することができる。

音声出力部１８０は、映像音声出力制御部１６０の制御に基づいて、各種の音声情報を出力するものである。音声出力部１８０は、例えば、スピーカにより実現することができる。

操作受付部１９０は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容に応じた操作信号を映像音声出力制御部１６０に供給する。例えば、放送受信部１１０により受信された放送波に対応する立体視画像を表示部１７０に表示させ、それに対応する音声を音声出力部１８０から出力させるための操作入力が受け付けられた場合には、その旨の操作信号を映像音声出力制御部１６０に供給する。また、表示部１７０に表示される立体視画像について編集や加工等を施す指示操作が行われた場合には、その旨の操作信号を映像音声出力制御部１６０に供給する。

［立体視画像とこれに含まれる物体の奥行方向における位置との関係例］
図２は、本発明の第１の実施の形態における表示部１７０に表示される立体視画像を構成する各画像と、これらの各画像に含まれる物体の奥行方向における位置との関係を示す図である。図２（ａ）には、立体視画像が表示部１７０に表示された際に、ユーザ２１０が立体的に見ることができる物体２０３乃至２０５の位置を奥行方向に仮想的に配置した場合における上面図を模式的に示す。図２（ｂ）には、図２（ａ）に示す物体２０３乃至２０５を立体的に表示させるための立体視画像（左眼視用画像２０１および右眼視用画像２０２）を示す。すなわち、左眼視用画像２０１および右眼視用画像２０２には、物体２０３乃至２０５が含まれている。また、奥行方向は、例えば、ユーザ２１０と表示部１７０の表示面とを結ぶ線に平行な方向であり、表示部１７０の表示面に直行する方向である。

なお、図２では、同一の物体については、左眼視用画像２０１および右眼視用画像２０２において同一の符号を付して説明する。また、図２では、説明の容易のため、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３乃至２０５のズラシ量を比較的大きくして示す。

また、本発明の第１の実施の形態では、表示部１７０に立体視画像を表示するための表示方式の一例として、視差バリア方式や専用メガネ方式を用いることができる。専用メガネ方式は、立体視画像を見るための専用メガネ（例えば、アクティブシャッター方式メガネ、偏光板タイプメガネ）をユーザがかけることにより、そのユーザに立体視画像を提供する方式である。なお、視差バリア方式や専用メガネ方式以外の他の方式についても本発明の実施の形態を適用することができる。

ここで、左眼視用画像２０１および右眼視用画像２０２が表示部１７０に表示された際に、ユーザ２１０の左眼２１１が左眼視用画像２０１を見て、ユーザ２１０の右眼２１２が右眼視用画像２０２を見た場合を想定する。この場合には、図２（ａ）に示すように、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０４が表示面の位置２２０（表示部１７０の表示面の位置）に見えるものとする。また、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３が表示面の位置２２０の奥側（表示面の奥側２２１）に見え、物体２０５が表示面の位置２２０の手前側（表示面の手前側２２２）に見えるものとする。

このように、表示面の位置２２０の物体２０４を基準とする場合において、立体感を構成する物体２０３および２０５は、立体視画像（左眼視用画像２０１および右眼視用画像２０２）内において水平方向にズレている。また、表示面の位置２２０を基準とする場合において、飛び出している物体２０５と、引っ込んでいる物体２０３とは、ズレの位置が反転している。

［左眼視用画像および右眼視用画像に含まれる物体のズラシ量の関係例］
図３は、本発明の第１の実施の形態における表示部１７０に表示される立体視画像を構成する各画像に含まれる物体のズラシ量の関係を示す図である。矩形２３０は、図２（ｂ）に示す左眼視用画像２０１および右眼視用画像２０２に対応する矩形であり、矩形２３０内には、図２（ｂ）に示す左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３乃至２０５を示す。なお、矩形２３０内において、物体２０３乃至２０５のうち、図２（ｂ）に示す左眼視用画像２０１に含まれる物体２０３乃至２０５の輪郭を太線で示す。なお、物体２０４については、図２（ａ）に示すように、表示面の位置２２０に相当するため、ズレが発生しない。このため、矩形２３０内において、左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０４が重複する。

また、矩形２３０内において、左眼視用画像２０１を基準とする場合における左眼視用画像２０１および右眼視用画像２０２間における物体２０３のズラシ量を矢印２３１で示す。同様に、左眼視用画像２０１を基準とする場合における左眼視用画像２０１および右眼視用画像２０２間における物体２０５のズラシ量を矢印２３２で示す。なお、物体２０４については、上述したようにズレが発生しない。

このように、左右眼の視差を利用して立体的な視覚を得るため、左眼視用画像２０１および右眼視用画像２０２に含まれる物体は、その物体の表示位置（奥行方向における位置）に応じてズレている。すなわち、物体のズラシ量は、立体視物体（３Ｄオブジェクト）の飛出量または引込量に対応するものである。そこで、本発明の第１の実施の形態では、立体視画像を構成する左眼視用画像および右眼視用画像を比較して物体のズラシ量を算出し、立体視物体（３Ｄオブジェクト）の飛出量または引込量を立体視画像パラメータとして求める例を示す。また、本発明の第１の実施の形態では、左眼視用画像を基準とし、左眼視用画像に含まれる物体と、右眼視用画像に含まれるその物体との差分に基づいて、その物体の飛出量または引込量を求める例を示す。

例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において左側（図３における左側）にズレている場合には、その物体は飛出物体であり、その物体のズラシ量は０よりも大きいものとする（すなわち、ズラシ量＞０）。

また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像において右側（図３における右側）にズレている場合には、その物体は引込物体であり、その物体のズラシ量は０未満であるものとする（すなわち、ズラシ量＜０）。

また、例えば、基準となる左眼視用画像に含まれる物体が右眼視用画像においてズレていない場合には、その物体は表示面の位置（スクリーン面）に相当する物体であり、その物体のズラシ量は０であるものとする（すなわち、ズラシ量＝０）。

具体的には、基準となる左眼視用画像２０１に含まれる物体２０３は、右眼視用画像２０２において右側（矢印２３１で示す）にズレているため、物体２０３は引込物体であり、物体２０３のズラシ量は０未満である（すなわち、物体２０３のズラシ量＜０）。

また、基準となる左眼視用画像２０１に含まれる物体２０５は、右眼視用画像２０２において左側（矢印２３２で示す）にズレているため、物体２０５は飛出物体であり、物体２０５のズラシ量は０よりも大きい（すなわち、物体２０５のズラシ量＞０）。

また、基準となる左眼視用画像２０１に含まれる物体２０４は、右眼視用画像２０２においてズレていないため、物体２０４は表示面の位置（スクリーン面）に相当する物体であり、物体２０４のズラシ量は０である（すなわち、物体２０４のズラシ量＝０）。

［ズラシ量の算出例］
次に、立体視画像に含まれる物体のズラシ量を算出する算出方法について図面を参照して詳細に説明する。

図４および図５は、本発明の第１の実施の形態における相関値算出部１４０による相関値算出処理の対象となるブロック（比較対象ブロック）の選択方法とこれらの比較処理とを模式的に示す図である。なお、図４に示す左眼視用画像２０１および右眼視用画像２０２は、図２（ｂ）と同様である。

相関値算出部１４０が相関値算出処理を行う場合には、基準となる左眼視用画像２０１における特定サイズの領域に含まれる画像（左比較対象ブロック）を取り出す。この比較対象ブロックは、例えば、４画素×４画素のサイズとすることができる。

また、相関値算出部１４０が相関値算出処理を行う場合には、最初に、左眼視用画像２０１の左上隅の位置が左比較対象ブロックの位置として選択される。また、選択された左比較対象ブロックの位置（左眼視用画像２０１における位置）に対応する右眼視用画像２０２の位置が、右比較対象ブロック（第一右比較対象ブロック）の位置として選択される。このように、左眼視用画像２０１および右眼視用画像２０２における２つのブロック（左比較対象ブロックおよび第一右比較対象ブロック）を比較することにより、相関値算出部１４０が相関値を算出する。

続いて、水平方向において、右眼視用画像２０２における第一右比較対象ブロックを１画素だけズラした位置が、新たな右比較対象ブロック（第二右比較対象ブロック）の位置として選択される。続いて、左眼視用画像２０１および右眼視用画像２０２における２つのブロック（左比較対象ブロックおよび第二右比較対象ブロック）を比較することにより、相関値算出部１４０が相関値を算出する。

以降も同様に、右眼視用画像２０２の水平方向における探索範囲（第一右比較対象ブロックを基準とする一定範囲）内において、右比較対象ブロックを１画素だけズラシながら、新たな右比較対象ブロック（第Ｍ右比較対象ブロック）が順次選択される。そして、左比較対象ブロックおよび第Ｍ右比較対象ブロックが比較され、相関値が算出される。なお、相関値の算出方法については、図５を参照して詳細に説明する。

続いて、立体視画像パラメータ生成部１５０が、右眼視用画像２０２の水平方向における探索範囲内の各右比較対象ブロックの比較により算出された相関値のうち、最も大きい相関値を抽出する。そして、立体視画像パラメータ生成部１５０が、その抽出された相関値に対応する右比較対象ブロックのズラシ量を、左眼視用画像２０１における左比較対象ブロックに関するズラシ量として決定する。

ここで、右眼視用画像２０２の水平方向における探索範囲（右比較対象ブロックをズラす範囲）について説明する。例えば、表示部１７０に表示される左眼視用画像および右眼視用画像のズレ量（ｍｍ）の最大値は、人間の両眼の間隔（例えば、６５ｍｍ）に対応する。このため、ズラシ量を算出する際における探索範囲として、表示部１７０の表示面における水平方向のサイズと、人間の両眼の間隔の最大値（例えば、６５ｍｍ）とに応じたピクセル数の範囲を設定することができる。

また、違和感のない立体視画像（３Ｄ映像）を構成する左眼視用画像および右眼視用画像の画像間の視差量を５％とする。この場合において、６５インチ（≒１４２ｃｍ）のディスプレイにより試聴するためには、表示部１７０の表示面での視差量は、≒７１ｍｍに相当する。また、１９２０画素×１０８０画素の解像度のディスプレイパネルとして、ピクセル数に換算すると、Ｎ＝１９２０×７１／１４２０＝９６ピクセルとなる。したがって、探索範囲として、「−９６＜ｍ＜９６」の範囲を設定することができる。

続いて、左比較対象ブロックの移動について説明する。最初のズラシ量が決定された後に、左眼視用画像２０１における左比較対象ブロックが右側方向（矢印２４１乃至２４４に示す方向）に４画素シフトされる。この左比較対象ブロックのシフトに応じて、右眼視用画像２０２における右比較対象ブロックが右側方向（矢印２５１乃至２５４に示す方向）に４画素シフトされて、第一右比較対象ブロックとして選択される。以降は、上述したように、右眼視用画像２０２の水平方向における探索範囲内において、新たな右比較対象ブロック（第Ｍ右比較対象ブロック）が順次選択され、左比較対象ブロックおよび第Ｍ右比較対象ブロックの比較により相関値が算出される。そして、左眼視用画像２０１における左比較対象ブロックに関するズラシ量が決定される。

以降も同様にして、左眼視用画像２０１における左比較対象ブロックが４画素ずつ右側方向に順次シフトされる。そして、左眼視用画像２０１の右端に左比較対象ブロックがシフトされ、この左比較対象ブロックについて相関値算出処理およびズラシ量決定処理が終了すると、左比較対象ブロックが４画素下側にシフトされるとともに左眼視用画像２０１の左端に移動される。そして、左眼視用画像２０１の右端および下端に左比較対象ブロックがシフトされ、この左比較対象ブロックについて相関値算出処理およびズラシ量決定処理が終了した場合には、一の立体視画像についての相関値算出処理およびズラシ量決定処理を終了する。また、以降も同様に、次の立体視画像について相関値算出処理およびズラシ量決定処理を順次行う。

ここで、左眼視用画像２０１において左比較対象ブロック２４０が配置され、左比較対象ブロック２４０の位置に対応する右眼視用画像２０２における右比較対象ブロック（第一右比較対象ブロック２５０）が選択された場合を想定する。すなわち、左眼視用画像２０１に含まれる物体２０５の位置に左比較対象ブロック２４０が配置された場合における相関値算出処理およびズラシ量決定処理を示す。

最初に、左比較対象ブロック２４０および第一右比較対象ブロック２５０が比較され、相関値が算出される。続いて、右眼視用画像２０２の水平方向における探索範囲Ｒ１内において、右比較対象ブロックを１画素だけズラしながら、新たな右比較対象ブロック（第Ｍ右比較対象ブロック）が順次選択される。そして、左比較対象ブロック２４０および第Ｍ右比較対象ブロック（図４では、点線で示す各矩形）が比較され、相関値が算出される。

続いて、立体視画像パラメータ生成部１５０が、右眼視用画像２０２の水平方向における探索範囲Ｒ１内の各右比較対象ブロックの比較により算出された相関値のうち、最も大きい相関値を抽出する。この例では、探索範囲Ｒ１内の右比較対象ブロック２５５について算出された相関値が最も大きい相関値として抽出される（２５６）。この場合には、立体視画像パラメータ生成部１５０が、その抽出された相関値に対応する右比較対象ブロック２５５のズラシ量を、左眼視用画像２０１における左比較対象ブロック２４０に関するズラシ量として決定する。

図５には、相関値算出部１４０による相関値算出処理の対象となる立体視画像を構成する２つの画像（左眼視用画像および右眼視用画像）の一部（それぞれ対応する領域）を拡大して示す。具体的には、図５（ａ）には、左眼視用画像の一部に対応する画像（４画素×８画素）２６０と、右眼視用画像の一部に対応する画像（４画素×８画素）２７０とを並べて示す。なお、画像２６０および２７０を構成する各矩形は画素を示し、画像２６０および２７０に含まれる半円形２６１および２７１は、左眼視用画像および右眼視用画像に含まれる物体の一部を模式的に示すものとする。

最初に、相関値の算出方法について説明する。相関値Ｃ（ｍ）は、次の式１を用いて算出される。ここで、ｍは、ズラシ量であり、探索範囲内の値となる。例えば、探索範囲を２Ｒ（２×Ｒ（Ｒは正の整数））とし、基準位置を０とし、左右方向における左側を負の値とし、左右方向における右側を正の値とする場合には、−Ｒ≦ｍ≦Ｒとなる。
ここで、Ｎは、相関値算出の対象となる画像のピクセル数（すなわち、比較対象ブロックの画素数）を示す。本発明の第１の実施の形態では、Ｎ＝１６の場合を示す。また、ｎは、比較対象ブロック内の画素を識別する識別番号であり、比較対象ブロック内の各画素には、その配置位置に応じて識別番号０乃至１５が付される。また、Ｘ_Ｌは、左眼視用画像における比較対象ブロック内の画素値を示し、Ｘ_Ｒは、右眼視用画像における比較対象ブロック内の画素値を示す。

ここで、Ｃ（ｍ）は、その最大値が１になるよう正規化されている（すなわち、Ｃ（ｍ）≦１）。このため、各比較対象ブロックについて算出された相関値の最大値は１以下となる。

具体的には、相関値算出部１４０が相関値算出処理を行う場合には、図５（ａ）に示す左比較対象ブロック（点線の矩形）２６２内の各画素と、第一右比較対象ブロック（点線の矩形）２７２内の各画素とについて、式１を用いて相関値Ｃ（ｍ）を算出する。

続いて、図５（ｂ）に示すように、水平方向において、画像２６０における右比較対象ブロックを１画素だけズラした位置が、新たな右比較対象ブロック（第二右比較対象ブロック）２７２の位置として選択される。続いて、相関値算出部１４０が、図５（ｂ）に示す左比較対象ブロック（点線の矩形）２６２内の各画素と、第二右比較対象ブロック（点線の矩形）２７２内の各画素とについて、式１を用いて相関値Ｃ（ｍ）を算出する。

続いて、図５（ｃ）に示すように、以降も同様に、探索範囲内において、左比較対象ブロック（点線の矩形）２６２内の各画素と、第Ｍ右比較対象ブロック（点線の矩形）２７２内の各画素とについて、式１を用いて相関値Ｃ（ｍ）が算出される。続いて、探索範囲内における相関値Ｃ（ｍ）の算出処理が終了した場合には、立体視画像パラメータ生成部１５０が、各比較対象ブロックについて算出された相関値Ｃ（ｍ）のうち、１に最も近い相関値Ｃ（ｍ）を抽出する。この例では、図５（ｂ）に示す第二右比較対象ブロック２７２について算出された相関値Ｃ（ｍ）が最も大きい相関値として抽出される。この場合には、立体視画像パラメータ生成部１５０が、その抽出された相関値Ｃ（ｍ）に対応する第二右比較対象ブロック２７２のズラシ量１（ｍ＝１）を、左眼視用画像における左比較対象ブロック２６２に関するズラシ量として決定する。

図６は、本発明の第１の実施の形態における相関値算出部１４０による相関値算出処理の対象となる立体視画像を構成する２つの画像（左眼視用画像および右眼視用画像）の一部（それぞれ対応する領域）を拡大して示す図である。なお、図６は、画像（４画素×８画素）２７５に含まれる半円形（物体）２７６の位置が異なる点以外は、図５と同様である。このため、図５と共通する部分については、同一の符号を付して、これらの説明を省略する。

具体的には、図６では、画像２７５に含まれる半円形（物体）２７６の位置が、図５に示す画像２７０に含まれる半円形（物体）２７１の位置よりも、右側に０．５画素だけズレている場合を模式的に示す。

ここで、図５では、左眼視用画像に含まれる半円形（物体）２６１および右眼視用画像に含まれる半円形（物体）２７１が１画素だけズレている例（物体が画素単位（整数単位）でズレている例）を示した。ただし、左眼視用画像および右眼視用画像に含まれる物体が画素単位（整数単位）でズレていない場合も想定される。例えば、図６に示すように、左眼視用画像および右眼視用画像に含まれる物体が小数単位（例えば、０．５画素単位）でズレている場合が想定される。このような場合でも、上述した式１を用いる相関値の計算は、一定の探索範囲において相関値が最大となるズラシ量を求めればよいため、左眼視用画像および右眼視用画像に含まれる物体が小数単位でズレている場合についても適用することができる。

なお、精度の高いズラシ量を求めるため、周辺ピクセルとのフィルタ処理（例えば、移動平均を行う補間フィルタによるフィルタ処理）により、小数精度でズラシ量を求めるようにしてもよい。

［ズラシ量保持テーブル例］
図７は、本発明の第１の実施の形態における立体視画像パラメータ生成部１５０により生成されるズラシ量保持テーブルの一例（ズラシ量保持テーブル３００）を模式的に示す図である。図７（ａ）には、ズラシ量保持テーブル３００を生成する際に用いられる立体視画像（左眼視用画像３０１および右眼視用画像３０２）を示す。左眼視用画像３０１および右眼視用画像３０２は、１９２０画素×１０８０画素からなる画像である。なお、図７（ａ）では、左眼視用画像３０１および右眼視用画像３０２に対応する矩形のみを示し、各画像に含まれる物体等の図示を省略する。

図７（ｂ）には、左眼視用画像３０１および右眼視用画像３０２について算出されたズラシ量を、ブロック単位で保持するズラシ量保持テーブル３００を示す。１９２０画素×１０８０画素からなる左眼視用画像３０１および右眼視用画像３０２について、４画素×４画素のブロック単位で相関値処理を行った場合には、１２９，６００（４８０×２７０）個のズラシ量がブロック毎に算出される。このようにブロック毎に算出されたズラシ量を、立体視画像パラメータ生成部１５０は、算出対象となったブロック（左比較対象ブロック）に関連付けてズラシ量保持テーブル３００に保持させる。

また、図７（ｂ）には、左眼視用画像３０１におけるブロック（左比較対象ブロック）の位置に対応するズラシ量保持テーブル３００の位置に、立体視画像パラメータ生成部１５０により生成されたズラシ量を格納して示す。また、上述したように、ズラシ量については、画素単位で算出するようにしてもよく、小数単位で算出するようにしてもよいが、図７（ｂ）では、説明の容易のため、画素単位で算出されたズラシ量を保持する例を示す。また、ズラシ量については、０以外に、正の値（いわゆる、飛出方向の値（飛出量））および負の値（いわゆる、引込方向の値（引込量））の何れも算出されるが、図７（ｂ）では、説明の容易のため、正の値のみを例示する。

このように生成されるズラシ量保持テーブル３００については、立体視画像パラメータ生成部１５０が映像音声出力制御部１６０に出力する。そして、映像音声出力制御部１６０は、映像復号部１２０から出力された映像データと、音声復号部１３０から出力された音声データとを出力させる場合に、ズラシ量保持テーブル３００の保持内容を用いて各出力制御を行うことができる。例えば、映像復号部１２０から出力された映像データに基づいて立体視画像を表示部１７０に表示させる場合には、ズラシ量保持テーブル３００の保持内容を用いて、立体視画像に含まれる各物体の飛出量または引込量を調整することができる。また、例えば、音声復号部１３０から出力された音声データに基づいて立体視画像に係る音声を音声出力部１８０から出力させる場合を想定する。この場合には、ズラシ量保持テーブル３００の保持内容を用いて、立体視画像に含まれる各物体の飛出量または引込量に応じて、その立体視画像に係る音声を調整することができる。

このように、映像データおよび音声データを出力させる場合に、ズラシ量保持テーブル３００の保持内容を用いてブロック単位で各出力制御を行うことができる。ここで、立体視画像において、立体的に見ることができる物体（立体視物体）を検出しておき、この立体視物体に対応する領域を保持しておくことにより、物体単位で各種出力制御を行うことができると考えられる。そこで、以下では、立体視物体を検出して、立体視物体に対応する領域を保持する例を示す。

［立体視物体の検出例］
図８は、本発明の第１の実施の形態における立体視画像パラメータ生成部１５０による二値化処理に用いられる微分フィルタの一例（微分フィルタ（Ｘ方向）３２１および微分フィルタ（Ｙ方向）３２２）を示す図である。また、図８には、立体視物体の検出処理（３Ｄオブジェクト領域の検出処理）の対象となるズラシ量保持テーブル３１０を示す。なお、図８では、説明の容易のため、ズラシ量保持テーブル３１０を簡略化して示す。

微分フィルタ（Ｘ方向）３２１は、Ｘ方向（画像における水平方向）の差分を求めるための微分フィルタであり、微分フィルタ（Ｙ方向）３２２は、Ｙ方向（画像における垂直方向）の差分を求めるための微分フィルタである。

この例では、立体視物体の検出方法として、ズラシ量保持テーブル３１０におけるズラシ量が「０」の領域（ズラシ量０領域）に接する、ズラシ量が「非０」の領域（ズラシ量非０領域）についてエッジ検出処理を行うことにより立体視物体を検出する例を示す。

図８では、ズラシ量保持テーブル３１０におけるズラシ量０領域に接するズラシ量非０領域に対応する矩形群３１１にグレーを付して示す。すなわち、矩形群３１１を構成するブロックに対応する画素について、エッジ検出処理を行う。

例えば、矩形群３１１を構成するブロック３１２に対応する画素群（４画素×４画素）について、矢印３１３および３１４に示すように、微分フィルタ（Ｘ方向）３２１および微分フィルタ（Ｙ方向）３２２を用いて、エッジ検出処理を行う。なお、矩形群３１１を構成するブロック３１２に対応する画素群については、ズラシ量非０の画像ブロック３３０として図９（ａ）に示す。

図９は、本発明の第１の実施の形態における立体視画像パラメータ生成部１５０による二値化処理の流れを模式的に示す図である。図９（ａ）には、図８に示す矩形群３１１を構成するブロック３１２に対応する画素群を、ズラシ量非０の画像ブロック３３０として示す。

図９（ｂ）には、二値化処理の流れを模式的に示す。最初に、上述したように、ズラシ量非０の画像ブロック３３０を構成する画素について、微分フィルタ（Ｘ方向）３２１を用いてフィルタ処理（Ｘ方向）３３１が行われる。また、ズラシ量非０の画像ブロック３３０について、微分フィルタ（Ｙ方向）３２２を用いてフィルタ処理（Ｙ方向）３３３が行われる。

続いて、フィルタ処理（Ｘ方向）３３１により算出された値の絶対値が算出される（絶対値算出処理３３２）。また、フィルタ処理（Ｙ方向）３３３により算出された値の絶対値が算出される（絶対値算出処理３３４）。

続いて、絶対値算出処理３３２により算出された絶対値と、絶対値算出処理３３４により算出された絶対値とが加算されて加算値（絶対値和）が算出される（加算処理３３５）。

続いて、加算処理３３５により算出された加算値に基づいて、二値化処理３３６が行われる。具体的には、加算処理３３５により算出された加算値が閾値以上である場合には「１」とし、加算処理３３５により算出された加算値が閾値未満である場合には「０」とする。続いて、二値化処理３３６の結果（二値化データ（０または１））が画像ブロックの二値化データ３３７として画素毎に保持される。また、このように算出された二値化データ（０または１）については、ズラシ量保持テーブル３１０に関連付けて保持される。

例えば、算出された二値化データ（０または１）により、立体視画像における閉じた領域が特定される場合には、立体視画像パラメータ生成部１５０が、その閉じた領域を立体視物体として検出する。このように、立体視物体が検出された場合には、立体視画像パラメータ生成部１５０が、その検出された物体に対応する領域と、その検出された物体のズラシ量とを関連付けて立体視画像パラメータを生成する。また、立体視画像に複数の物体が含まれる場合には、その複数の物体を物体毎に検出し、その検出された物体に対応する領域と、その検出された物体のズラシ量とを関連付けて立体視画像パラメータを生成する。このように複数の物体を検出する場合には、各物体に対応する領域が閉じた領域であることが必要となる。なお、立体視画像パラメータ生成部１５０が、その検出された物体のズラシ量を奥行量（飛出量または引込量）に変換し、その検出された物体に対応する領域と、その検出された物体の奥行量とを関連付けて立体視画像パラメータを生成するようにしてもよい。

［画像におけるズレ量と表示面におけるズレ量との関係例］
図１０は、本発明の第１の実施の形態における映像復号部１２０により復号された映像データに対応する立体視画像におけるズレ量と、表示部１７０の表示面におけるズレ量との関係を示す図である。図１０（ａ）には、立体視画像を構成する左眼視用画像２０１および右眼視用画像２０２を示す。図１０（ａ）に示す左眼視用画像２０１および右眼視用画像２０２は、図２（ｂ）と同様である。図１０（ａ）では、左眼視用画像２０１における物体２０３のズレ量（右眼視用画像２０２に含まれる物体２０３とのズレ量）をズレ量Ｇ１として示す。

図１０（ｂ）には、表示部１７０に表示される立体視画像を示す。なお、図１０（ｂ）では、図１０（ａ）に示す左眼視用画像２０１および右眼視用画像２０２を合成して示す。また、図１０（ｂ）では、表示部１７０の表示面におけるズレ量（左眼視用画像２０１および右眼視用画像２０２に含まれる物体２０３のズレ量）をズレ量Ｇ２として示す。

このように、立体視画像におけるズレ量と、表示部１７０の表示面におけるズレ量との関係に基づいて、映像音声出力制御部１６０は、生成された立体視画像パラメータを用いて、立体視画像を表示部１７０に表示させる。このため、映像音声出力制御部１６０は、立体視画像におけるズレ量と、表示部１７０の表示面におけるズレ量との変換テーブルを保持しておき、この変換テーブルに基づいて、生成された立体視画像パラメータを用いた立体視画像の表示制御を行う。

［試聴位置と飛出位置との関係例］
図１１は、本発明の第１の実施の形態における表示部１７０に表示される立体視画像を視聴する場合における視聴位置と、その立体視画像に含まれる物体（立体視物体）の飛出位置との関係を模式的に示す図である。

図１１において、立体視画像が表示される位置（表示部１７０の表示面）を表示面の位置３５０とし、表示部１７０に表示される立体視画像を視聴する場合におけるユーザの視聴位置を視聴位置３５１とする。また、この状態で立体視画像を視聴しているユーザが見ることができる物体（立体視物体３５２）の飛出位置を飛出位置３５３とする。

ここで、立体視画像に含まれる立体視物体３５２のズレ量（表示面上のズレ量）をｐとし、表示面の位置３５０および視聴位置３５１間の距離をｌとし、立体視画像を視聴しているユーザの両眼間隔をｅとする。また、表示面の位置３５０および飛出位置３５３間の距離（飛出量）をｄとする。

この場合に、表示面の位置３５０と、視聴位置３５１と、飛出位置３５３との関係については、相似関係から、以下の式２が成立する。
ｄ：ｐ＝（ｌ−ｄ）：ｅ …式２

また、式２を変形すると、ｄ＝ｐｌ／（ｅ＋ｐ）が求められる。

具体的には、ｐ＝７１ｍｍ、ｌ＝２０００ｍｍ、ｅ＝６５ｍｍを代入すると、飛出量ｄとして、１０４４ｍｍ（ｄ＝７１×２０００／（６５＋７１））を求めることができる。

このように、立体視画像における物体のズレ量を用いて、その物体の飛出量を求めることができる。このため、映像音声出力制御部１６０は、立体視画像における物体のズレ量を用いて、その物体の奥行量（飛出量または引込量）の調整を行うことができる。

［情報処理装置の動作例］
次に、本発明の第１の実施の形態における情報処理装置１００の動作について図面を参照して説明する。

図１２は、本発明の第１の実施の形態における情報処理装置１００による立体視画像パラメータ生成制御処理の処理手順の一例を示すフローチャートである。

最初に、放送受信部１１０が放送波を受信して映像信号を復調し、映像復号部１２０がその映像信号を復号処理して映像データ（立体視画像を表示させるための映像データ）を復元する（ステップＳ９０１）。すなわち、立体視画像情報が取得される（ステップＳ９０１）。なお、ステップＳ９０１は、特許請求の範囲に記載の取得手順の一例である。

続いて、相関値算出部１４０が、左眼視用画像および右眼視用画像における最初の比較対象ブロックを選択する（ステップＳ９０２）。続いて、相関値算出部１４０が、選択された左眼視用画像および右眼視用画像における２つの比較対象ブロックを比較することにより相関値を算出する（ステップＳ９０３）。続いて、右眼視用画像の水平方向における探索範囲内の相関値算出処理が終了したか否かが判断される（ステップＳ９０４）。探索範囲内の相関値算出処理が終了していない場合には（ステップＳ９０４）、相関値算出部１４０が、右眼視用画像における比較対象ブロックを水平方向に移動させて新たな比較対象ブロックを選択し（ステップＳ９０５）、ステップＳ９０３に戻る。

一方、探索範囲内の相関値算出処理が終了した場合には（ステップＳ９０４）、立体視画像パラメータ生成部１５０が、探索範囲内の各比較対象ブロックの比較により算出された相関値のうち、最も大きい相関値を抽出する。そして、立体視画像パラメータ生成部１５０が、その抽出された相関値に対応する比較対象ブロックのズラシ量を、左眼視用画像における左比較対象ブロックに関するズラシ量として決定する（ステップＳ９０６）。

続いて、立体視画像パラメータ生成部１５０が、決定されたズラシ量を、算出対象となった比較対象ブロックに関連付けてズラシ量保持テーブルに保持する（ステップＳ９０７）。

続いて、左眼視用画像における全ての比較対象ブロックについてズラシ量決定処理が終了したか否かが判断される（ステップＳ９０８）。全ての比較対象ブロックについてズラシ量決定処理が終了していない場合には（ステップＳ９０８）、ズラシ量決定処理が終了していない比較対象ブロックが新たな比較対象ブロックとして選択され（ステップＳ９０９）、ステップＳ９０３に戻る。すなわち、相関値算出部１４０が、左眼視用画像における比較対象ブロックのうち、ズラシ量決定処理が終了していない比較対象ブロックを新たな比較対象ブロックとして選択し（ステップＳ９０９）、ステップＳ９０３に戻る。

一方、左眼視用画像における全ての比較対象ブロックについてズラシ量決定処理が終了した場合には（ステップＳ９０８）、立体視画像に含まれる物体の領域が検出される（ステップＳ９１０）。すなわち、立体視画像パラメータ生成部１５０が、生成されたズラシ量保持テーブルに基づいて、立体視画像に含まれる物体（立体的に見ることができる物体（立体視物体））の領域を検出する（ステップＳ９１０）。続いて、立体視画像パラメータ生成部１５０が、その検出された物体に対応する領域と、その検出された物体の奥行量とを関連付けて立体視画像パラメータを生成し（ステップＳ９１１）、立体視画像パラメータ生成制御処理の動作を終了する。なお、ステップＳ９０２乃至Ｓ９１１は、特許請求の範囲に記載の生成手順の一例である。

このように、本発明の第１の実施の形態によれば、立体視画像（３Ｄ映像）に含まれる立体視物体（３Ｄオブジェクト）の領域と、この領域に係る立体視画像パラメータ（例えば、飛出量または引込量）とを求めることができる。すなわち、快適かつ臨場感を与える３Ｄ放送アプリケージョンを実現するために必要な各種情報を求めることができる。また、この各種情報をユーザに提供することができるため、ユーザが好みに応じて立体視画像を編集や加工等を容易に行うことができる。例えば、立体視物体の領域と、この領域に係る奥行量（飛出量または引込量）とを用いて、立体視画像を調整して表示させることができる。これにより、ユーザが立体視画像を見る場合に、その立体視画像の表示をさらに快適なものとし、臨場感を与えることができる。また、例えば、平面画像（２Ｄ映像）、立体視画像（３Ｄ映像）が混在している放送波に対応する画像を家庭用テレビに表示する場合には、チャネル切り替えやＣＭにより、平面画像および立体視画像が頻繁に切り替わることも想定される。この場合でも、ユーザが好みに応じて立体視画像を編集や加工等を容易に行うことができるため、ユーザに生じる不快感を低減させることができる。このように、本発明の第１の実施の形態によれば、ユーザの好みに応じた立体視画像を表示するためのパラメータを適切に生成することができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、受信した放送波に対応する映像データを表示する前に立体視画像パラメータを生成し、この立体視画像パラメータを用いてその映像データの表示制御を行う例を示した。しかしながら、受信した放送波に対応する映像データを記録（録画）しておき、ユーザ好みの時間にその映像データを見ることも想定される。そこで、本発明の第２の実施の形態では、受信した放送波に対応する映像データの立体視画像パラメータを生成し、この立体視画像パラメータとその映像データとを関連付けて記録する例を示す。なお、本発明の第２の実施の形態における情報処理装置の構成については、図１に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

［情報処理装置の構成例］
図１３は、本発明の第２の実施の形態における情報処理装置７００の機能構成例を示すブロック図である。情報処理装置７００は、記録制御部７１０と、コンテンツ記憶部７２０と、操作受付部７３０と、映像音声出力制御部７４０とを備える。情報処理装置７００は、例えば、各放送局からの放送波を受信して映像データおよび音声データを記録するデジタルビデオレコーダやＨＤＤ（Hard Disk Drive）レコーダにより実現される。

記録制御部７１０は、放送受信部１１０により受信された放送波に対応する映像および音声をコンテンツとしてコンテンツ記憶部７２０に記録させるものである。具体的には、記録制御部７１０は、映像復号部１２０から出力された映像データと、映像復号部１２０から出力された音声データとを関連付けたコンテンツをコンテンツ記憶部７２０に記録させる。また、映像復号部１２０から出力された映像データが立体視画像に係る映像データである場合には、そのコンテンツと、立体視画像パラメータ生成部１５０により生成された立体視画像パラメータとが関連付けて記録される。すなわち、記録制御部７１０は、映像データおよび音声データを関連付けたコンテンツ（立体視画像情報を含む）と、その立体視画像パラメータとを関連付けてコンテンツ記憶部７２０に記録させる。また、立体視画像パラメータ生成部１５０により立体視画像に含まれる１または複数の物体が検出された場合には、その検出された物体の領域と、その物体の奥行量とを関連付けてコンテンツ記憶部７２０に記録させるようにしてもよい。

操作受付部７３０は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容に応じた操作信号を映像音声出力制御部７４０に供給する。例えば、コンテンツ記憶部７２０に記憶されているコンテンツを再生する再生指示操作が行われた場合には、その旨の操作信号を映像音声出力制御部７４０に供給する。また、コンテンツ記憶部７２０に記憶されているコンテンツ（立体視画像コンテンツ）について編集や加工等を施す指示操作が行われた場合には、その旨の操作信号を映像音声出力制御部７４０に供給する。

コンテンツ記憶部７２０は、記録制御部７１０の制御に基づいて、各種のコンテンツを記憶するものである。例えば、コンテンツ記憶部７２０は、記録制御部７１０の制御に基づいて、映像復号部１２０から出力された映像データと、映像復号部１２０から出力された音声データとを関連付けたコンテンツを記憶する。また、コンテンツ記憶部７２０は、立体視画像に係る映像データおよび音声データのコンテンツと、立体視画像パラメータ生成部１５０により生成された立体視画像パラメータとを関連付けて記憶する。そして、コンテンツ記憶部７２０は、記憶されているコンテンツを映像音声出力制御部７４０に供給する。

映像音声出力制御部７４０は、操作受付部７３０により受け付けられた操作入力に応じて、コンテンツ記憶部７２０に記憶されているコンテンツに対応する映像および音声を出力するための出力処理を行うものである。

このように、本発明の第２の実施の形態によれば、受信した放送波に対応する映像データ（立体視画像の映像データ）と、この映像データの立体視画像パラメータを関連付けて記録することができる。これにより、ユーザ好みの時間に、その映像データを見ることができるとともに、その映像データの立体視画像パラメータを用いて、ユーザ好みの編集や加工等を容易に行うことができる。また、その映像データの立体視画像パラメータを用いて、ユーザ好みの音声制御を容易に行うことができる。

＜３．第３の実施の形態＞
本発明の第１の実施の形態では、受信した放送波に対応する映像データについて、立体視画像に含まれる物体のズラシ量を算出して、このズラシ量に基づいて立体視画像パラメータを生成する例を示した。ここで、３Ｄ映像信号入力方式として、フレームパッキング方式を用いる場合には、ペアとなっている左眼視用画像および右眼視用画像間の動きベクトルを用いることができる。そこで、本発明の第３の実施の形態では、３Ｄ映像信号入力方式としてフレームパッキング方式を用いる場合において、ペアとなっている左眼視用画像および右眼視用画像間の動きベクトルを用いて、立体視画像パラメータを生成する例を示す。なお、本発明の第３の実施の形態における情報処理装置の構成については、図１に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。

ここで、フレームパッキング方式について簡単に説明する。フレームパッキング方式は、３Ｄ映像信号入力方式の１つである。また、フレームパッキング方式では、ペアとなっている左眼視用画像および右眼視用画像の映像データが連続して符号化されている。また、フレームパッキング方式では、ペアとなっている左眼視用画像および右眼視用画像間の動きベクトルが保持されているため、この動きベクトルを用いることができる。すなわち、フレームパッキング方式は、圧縮符号化されている左眼視用画像および右眼視用画像が時間軸において連続してペア単位で伝送される伝送方式であり、左眼視用画像および右眼視用画像間における動きベクトルがその画像に関連付けられている。

ここで、左眼視用画像および右眼視用画像間の動きベクトルは、垂直成分は０であるが、水平成分は０以外の値（非０の値）となることが想定される。このため、ペアとなっている左眼視用画像および右眼視用画像の動きベクトルのうち、その水平成分を用いて、そのペアのズラシ量保持テーブルを生成することができる。

［情報処理装置の構成例］
図１４は、本発明の第３の実施の形態における情報処理装置８００の機能構成例を示すブロック図である。情報処理装置８００は、動きベクトル検出部８１０と、立体視画像パラメータ生成部８２０とを備える。情報処理装置８００は、例えば、フレームパッキング方式に対応するテレビジョン受像機により実現される。

放送受信部１１０は、各放送局からの放送波（フレームパッキング方式に係る放送波）を受信する。また、映像復号部１２０は、放送受信部１１０から出力された映像信号を復号処理して映像データを復元し、復元された映像データを動きベクトル検出部８１０および映像音声出力制御部１６０に出力する。

動きベクトル検出部８１０は、映像復号部１２０から出力された映像データ（左眼視用画像および右眼視用画像）について動きベクトル検出処理を行うものであり、その検出結果を立体視画像パラメータ生成部８２０に出力する。

立体視画像パラメータ生成部８２０は、動きベクトル検出部８１０から出力された動きベクトルの検出結果に基づいて、検出対象となった立体視画像に関する各種パラメータ（立体視画像パラメータ）を生成するものである。立体視画像パラメータ生成部８２０は、動きベクトル検出部８１０から出力された検出結果（動きベクトル）を用いて、その動きベクトルが検出された物体の領域とその物体の奥行量とを関連付けた立体視画像パラメータを算出する。そして、立体視画像パラメータ生成部８２０は、生成された立体視画像パラメータを映像音声出力制御部１６０に出力する。なお、動きベクトル検出部８１０および立体視画像パラメータ生成部８２０は、特許請求の範囲に記載の生成部の一例である。

［フレームパッキング方式に対応する映像データ例］
図１５は、本発明の第３の実施の形態における動きベクトル検出部８１０による動きベクトル検出の対象となる映像データの一例を示す図である。

図１５には、時系列で連続する各画像（左眼視用画像８３１、右眼視用画像８３２、左眼視用画像８３３、右眼視用画像８３４）をフレーム毎に示す。なお、左眼視用画像８３１および右眼視用画像８３２は、立体視画像を表示するためのペア８６１であり、左眼視用画像８３３および右眼視用画像８３４は、立体視画像を表示するためのペア８６２である。

また、左眼視用画像８３１、右眼視用画像８３２、左眼視用画像８３３、右眼視用画像８３４には、静止状態である立体視物体（点線の矩形８４１乃至８４４内に示す）と、移動状態である立体視物体（点線の矩形８５１乃至８５４内に示す）とが含まれている。なお、静止状態である立体視物体（点線の矩形８４１乃至８４４内に示す）は、表示面の奥側に位置し、移動状態である立体視物体（点線の矩形８５１乃至８５４内に示す）は、表示面の手前側に位置するように表示されるものとする。

最初に、動きベクトル検出部８１０が、ペアとなっている左眼視用画像および右眼視用画像間の動きベクトルを検出する。具体的には、動きベクトル検出部８１０が、ペア８６１を構成する左眼視用画像８３１および右眼視用画像８３２間の動きベクトルを検出し、検出された動きベクトルを立体視画像パラメータ生成部８２０に出力する。立体視画像パラメータ生成部８２０は、動きベクトル検出部８１０により検出された動きベクトル（左眼視用画像８３１および右眼視用画像８３２間の動きベクトル）の水平成分を算出して、その算出された水平成分をズラシ量とする。そして、立体視画像パラメータ生成部８２０は、算出されたズラシ量と、このズラシ量が算出されたブロックとを関連付けて、ペア８６１のズラシ量保持テーブルを生成する。また、ペア８６２以降についても同様に、ペア毎にズラシ量保持テーブルを生成することができる。

また、立体視画像パラメータ生成部８２０は、本発明の第１の実施の形態と同様に、ズラシ量保持テーブルを用いて、エッジ検出処理、二値化処理、立体視物体検出処理等を行うことができる。また、立体視画像パラメータ生成部８２０は、動きベクトルの大きさの分布に基づいて、立体視物体（３Ｄオブジェクト）の領域を検出するようにしてもよい。

このように、本発明の第３の実施の形態によれば、受信した放送波に対応する映像データ（立体視画像の映像データ）に関連付けられている動きベクトルを用いて、立体視画像パラメータを生成することができる。このように、動きベクトルを用いることにより、フレームパッキング方式で圧縮符号化されている立体視画像（３Ｄ映像）については、立体視画像パラメータ生成に必要な演算量を削減することができる。

なお、本発明の実施の形態では、放送波に対応する立体視画像情報（立体視画像を表示するための立体視画像情報）を取得して立体視画像を表示させる情報処理装置を例にして説明した。ただし、記録媒体に記憶されている立体視画像情報を取得して立体視画像を表示させる情報処理装置やネットワーク（有線回線や無線回線）を介して立体視画像情報を取得して立体視画像を表示させる情報処理装置に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００、７００、８００ 情報処理装置
１１０ 放送受信部
１２０ 映像復号部
１３０ 音声復号部
１４０ 相関値算出部
１５０、８２０ 立体視画像パラメータ生成部
１６０、７４０ 映像音声出力制御部
１７０ 表示部
１８０ 音声出力部
１９０、７３０、 操作受付部
７１０ 記録制御部
７２０ コンテンツ記憶部
８１０ 動きベクトル検出部

Claims (13)

1. 立体視画像を表示させるための立体視画像情報を取得する取得部と、
   前記取得された立体視画像情報を構成する第１画像および第２画像を比較することにより前記立体視画像を表示する際における前記立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成する生成部と
   を具備する情報処理装置。
2. 前記生成部は、前記第１画像および前記第２画像を比較することにより前記第１画像および前記第２画像に含まれる物体のズラシ量を算出して当該ズラシ量に基づいて当該物体の領域と当該物体の奥行量とを関連付けた前記パラメータを生成する請求項１記載の情報処理装置。
3. 前記生成部は、前記物体の奥行量として、前記立体視画像を表示する表示部における表示面を基準とする場合における当該物体の飛出量または引込量を算出する請求項２記載の情報処理装置。
4. 前記生成部は、前記第１画像および前記第２画像に含まれる１または複数の物体を物体毎に検出し、
   前記検出された物体の領域と当該物体の奥行量とを関連付けた前記パラメータを記録媒体に記録させる記録制御部をさらに具備する
   請求項２記載の情報処理装置。
5. 前記生成部は、前記第１画像を構成するブロックと前記第２画像を構成するブロックとを比較して前記第１画像および前記第２画像に含まれる物体のズラシ量をブロック単位で算出して前記算出されたズラシ量をブロック単位で保持するテーブル情報を生成する請求項１記載の情報処理装置。
6. 前記取得部は、放送波を受信して当該放送波に対応する映像データであって前記立体視画像を表示させるための映像データを前記立体視画像情報として取得する請求項１記載の情報処理装置。
7. 前記取得部は、圧縮符号化されている前記第１画像および前記第２画像が時間軸において連続してペア単位で伝送されて前記第１画像および前記第２画像間における動きベクトルが当該画像に関連付けられている伝送方式であるフレームパッキング方式に係る映像データを前記立体視画像情報として取得し、
   前記生成部は、前記動きベクトルにおける水平成分を用いて前記パラメータを生成する
   請求項６記載の情報処理装置。
8. 前記生成部は、前記パラメータとして前記物体の奥行方向における位置を調整する際に用いられるパラメータを生成する請求項１記載の情報処理装置。
9. 前記生成部は、前記パラメータとして前記物体から生じる音声を調整する際に用いられるパラメータを生成する請求項１記載の情報処理装置。
10. 前記生成されたパラメータと前記取得された立体視画像情報とを関連付けて記録媒体に記録させる記録制御部をさらに具備する請求項１記載の情報処理装置。
11. 立体視画像を表示するための第１画像および第２画像を含む映像データであって、符号化されている前記第１画像および前記第２画像が時間軸において連続してペア単位で伝送されて前記第１画像および前記第２画像間における動きベクトルが当該画像に関連付けられている伝送方式であるフレームパッキング方式に係る映像データを取得する取得部と、
    前記取得された映像データに含まれる前記第１画像および前記第２画像間における動きベクトルを用いて前記立体視画像を表示する際に前記立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成する生成部と
    を具備する情報処理装置。
12. 立体視画像を表示させるための立体視画像情報を取得する取得手順と、
    前記取得された立体視画像情報を構成する第１画像および第２画像を比較することにより前記立体視画像を表示する際における前記立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成する生成手順と
    を具備する情報処理方法。
13. 立体視画像を表示させるための立体視画像情報を取得する取得手順と、
    前記取得された立体視画像情報を構成する第１画像および第２画像を比較することにより前記立体視画像を表示する際における前記立体視画像に含まれる物体の奥行方向における位置を示すパラメータを生成する生成手順と
    をコンピュータに実行させるプログラム。