JP4996720B2 - 画像処理装置、画像処理プログラム、及び画像処理方法 - Google Patents

Description

本発明の実施形態は、立体映像を処理する画像処理装置、画像処理プログラム、及び画像処理方法に関する。

近年、２次元画像を立体感のある画像としてユーザに知覚させることができる立体映像表示装置が実用化されている。立体映像表示装置は、ユーザに左目のみ知覚させる左目用の二次元画像と、右目のみで知覚させる右目用の二次元画像とを表示部に表示する。ユーザは、右目で右目用画像を知覚し、左目で左目用画像を知覚することにより、立体画像を知覚することが出来る。

特開平９−１７２６５４号公報

近年、立体映像表示装置により立体映像を表示する為のコンテンツが増加しつつある。また、立体映像を表示する為のコンテンツであって、映像中に埋め込まれた字幕を有するコンテンツがある。またさらに、例えばＯｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ（ＯＳＤ）処理により画面中に字幕を表示する為の字幕データを有するコンテンツがある。

立体映像表示装置により字幕を含む映像の表示を行う場合、ユーザが知覚する映像中のオブジェクト（例えば、人物、構造物、または他の物体など）の奥行き（奥行き距離）と、字幕の奥行き距離とに差が生じる場合がある。この為、ユーザがコンテンツの視聴において違和感を覚える可能性があるという問題がある。

そこで、よりユーザの利便性を向上させることが出来る画像処理装置、画像処理プログラム、及び画像処理方法を提供することを目的とする。

一実施形態に係る画像処理装置は、第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツが入力される入力手段と、前記入力手段により入力されるコンテンツに含まれる字幕を検出する字幕検出手段と、前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出する算出手段と、前記算出手段により算出した前記視差を、前記字幕検出手段により検出した字幕の表示位置を特定する為の基準視差として出力する字幕情報出力手段と、字幕情報出力手段により出力される前記基準視差と、前記字幕検出手段により検出した字幕とに基づいて、前記コンテンツの前記第１の画像及び前記第２の画像における字幕の表示位置をそれぞれ特定し、前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示することにより、前記基準視差に応じた奥行きで字幕が表示されるように、字幕の奥行きを制御する字幕制御手段と、前記字幕制御手段により字幕の奥行きを制御した前記コンテンツを出力する映像出力手段と、前記コンテンツのシーンを検出するシーン検出手段と、を具備し、前記字幕制御手段は、前記シーン検出手段がシーン検出を行うと、字幕の奥行きを制御する。

図１は、一実施形態に係る画像処理装置の構成例について説明する為の説明図である。 図２は、図１に示す制御部の構成例について説明するための説明図である。 図３は、図１に示す画像処理装置の処理について説明する為の説明図である。 図４は、図１に示す画像処理装置の処理について概略的に説明する為の説明図である。 図５は、図１に示す画像処理装置の処理について概略的に説明する為の説明図である。 図６は、図１に示す画像処理装置の処理について説明する為の説明図である。 図７は、図１に示す画像処理装置の処理について概略的に説明する為の説明図である。 図８は、図１に示す画像処理装置の処理について概略的に説明する為の説明図である。

以下、図を参照しながら、一実施形態に係る画像処理装置、画像処理プログラム、及び画像処理方法ついて詳細に説明する。

図１は、一実施形態に係る画像処理装置１００の構成例について説明するための説明図である。
なお、本実施形態では、画像処理装置１００は、立体映像を表示する為のコンテンツに関する処理を行うものと仮定して説明する。

立体映像を表示する為のコンテンツは、少なくともユーザの左目に知覚させる左目用画像と、ユーザの右目に知覚させる右目用画像とを有する。立体映像を表示する為のコンテンツは、例えば、ｓｉｄｅ−ｂｙ−ｓｉｄｅ方式、ｌｉｎｅ−ｂｙ−ｌｉｎｅ方式、Ｆｒａｍｅ−Ｓｅｑｕｅｎｔｉａｌ方式、Ａｂｏｖｅ−Ｂｅｌｏｗ方式、Ｃｈｅｃｋｅｒｂｏａｒｄ方式、ＬＲ独立方式、及び円偏光方式などの種類が存在する。しかし、本実施形態で処理するコンテンツは、少なくとも左目用の二次元画像（左目用画像）と右目用の二次元画像（右目用画像）とを個別に有するものであれば、如何なるものに対しても適用可能である。

画像処理装置１００は、放送入力端子１０１、チューナ１１１、復調部１１２、信号処理部１１３、通信インターフェース１１４、音声処理部１２１、音声出力端子１２２、映像処理部１３１、ＯＳＤ処理部１３３、表示処理部１３４、映像出力端子１３５、制御部１５０、操作入力部１６１、受光部１６２、カードコネクタ１６４、ＵＳＢコネクタ１６６、及びディスクドライブ１７０を備える。

放送入力端子１０１は、例えばアンテナ１１０により受信されるディジタル放送信号が入力される入力端子である。アンテナ１１０は、例えば、地上ディジタル放送信号、ＢＳ（ｂｒｏａｄｃａｓｔｉｎｇ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号、及び／または、１１０度ＣＳ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓａｔｅｌｌｉｔｅ）ディジタル放送信号を受信する。即ち、放送入力端子１０１には、放送信号により供給される番組などのコンテンツが入力される。

放送入力端子１０１は、受信したディジタル放送信号をチューナ１１１に供給する。チューナ１１１は、ディジタル放送信号用のチューナである。チューナ１１１は、アンテナ１１０から供給されるディジタル放送信号のチューニング（選局）を行う。チューナ１１１は、チューニングしたディジタル放送信号を復調部１１２に送信する。

復調部１１２は、受信するディジタル放送信号の復調を行う。復調部１１２は、復調したディジタル放送信号（コンテンツ）を信号処理部１１３に入力する。即ち、アンテナ１１０、チューナ１１１、及び復調部１１２は、コンテンツを受信する受信手段として機能する。

信号処理部１１３は、ディジタル放送信号（動画のコンテンツデータ）に対して信号処理を施す信号処理手段として機能する。信号処理部１１３は、復調部１１２から供給されるディジタル放送信号に、信号処理を施す。即ち、信号処理部１１３は、ディジタル放送信号を映像信号、音声信号、及びその他のデータ信号に分離する。信号処理部１１３は、音声処理部１２１に音声信号を供給する。また、信号処理部１１３は、映像処理部１３１に映像信号を供給する。さらに、信号処理部１１３は、制御部１５０、及び／またはＯＳＤ処理部１３３にデータ信号を供給する。

通信インターフェース１１４は、例えばＨＤＭＩ（High Definition Multimedia Interface）（登録商標）端子などの、コンテンツを受信可能なインターフェースを備える。通信インターフェース１１４は、ディジタル映像信号、及びディジタル音声信号などが多重化されたコンテンツを他の機器から受信する。通信インターフェース１１４は、他の機器から受信したディジタル信号（コンテンツ）を信号処理部１１３に供給する。即ち、通信インターフェース１１４は、コンテンツを受信する受信手段として機能する。

信号処理部１１３は、通信インターフェース１１４から受信するディジタル信号に信号処理を施す。例えば、信号処理部１１３は、ディジタル信号をディジタル映像信号とディジタル音声信号とデータ信号とに分離する。信号処理部１１３は、音声処理部１２１にディジタル音声信号を供給する。また、信号処理部１１３は、映像処理部１３１にディジタル映像信号を供給する。さらに、信号処理部１１３は、制御部１５０、及び／またはＯＳＤ処理部１３３にデータ信号を供給する。

即ち、信号処理部１１３には、少なくとも右目用画像と左目用画像とを有するコンテンツが入力される。なお、信号処理部１１３は、通信インターフェース１１４に入力されるコンテンツと、放送入力端子１０１に入力されるコンテンツとのいずれかを選択し、処理を行う。即ち、信号処理部１１３は、ディジタル放送信号とディジタル信号のいずれかに対して信号の分離処理を行う。

音声処理部１２１は、信号処理部１１３から受信した音声信号を、スピーカ２００により再生可能なフォーマットの音声信号に変換する。音声処理部１２１は、音声信号を音声出力端子１２２に出力する。音声出力端子１２２は、供給される音声信号を装置外部に出力する。これにより、音声出力端子１２２に接続されるスピーカ２００は、供給される音声信号に基づいて音を再生する。

映像処理部１３１は、信号処理部１１３から受信した映像信号を、ディスプレイ３００で再生可能なフォーマットの映像信号に変換する。即ち、映像処理部１３１は、信号処理部１１３から受信した映像信号を、ディスプレイ３００で再生可能なフォーマットの映像信号にデコード（再生）する。また、映像処理部１３１は、ＯＳＤ処理部１３３から供給されるＯＳＤ信号を映像信号に重畳する。映像処理部１３１は、映像信号を表示処理部１３４に出力する。

ＯＳＤ処理部１３３は、信号処理部１１３から強雨されるデータ信号、及び／または制御部１５０から供給される制御信号に基づいて、ＧＵＩ（グラフィック ユーザ インタフェース）画面、字幕、時刻、または他の情報などを画面に重畳して表示する為のＯＳＤ信号を生成する。

また、映像処理部１３１は、伸長処理部１３２を備える。伸長処理部１３２は、映像信号の画像の引き伸ばしを行う。例えば、伸長処理部１３２は、制御部１５０からの制御に基づいて伸長処理を行う範囲を特定し、特定した範囲の画像を制御部１５０からの制御に基づいて引き伸ばす。

表示処理部１３４は、例えば、制御部１５０からの制御に基づいて、受信した映像信号に対して色味、明るさ、シャープ、コントラスト、またはその他の画質調整処理を行う。表示処理部１３４は、画質調整を施した映像信号を映像出力端子１３５に出力する。これにより、映像出力端子１３５に接続されるディスプレイ３００は、供給される映像信号に基づいて映像を表示する。

ディスプレイ３００は、例えば、液晶表示装置、有機ＥＬディスプレイ、または映像信号に応じて映像を表示することができる他の表示装置などを備える表示手段である。ディスプレイ３００は、供給される映像信号に基づいて映像を表示する。

なお、画像処理装置１００は、映像出力端子１３５の代わりに、ディスプレイ３００を装置内部に備える構成であってもよい。また、画像処理装置１００は、音声出力端子１２２の代わりに、スピーカ２００を装置内部に備える構成であってもよい。

制御部１５０は、画像処理装置１００の各部の動作を制御する制御手段として機能する。制御部１５０は、ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、及びＥＥＰＲＯＭ１５４などを備えている。制御部１５０は、操作入力部１６１から供給される操作信号に基づいて、種々の処理を行う。

ＣＰＵ１５１は、種々の演算処理を実行する演算素子などを備える。ＣＰＵ１５１は、ＲＯＭ１５２、またはＥＥＰＲＯＭ１５４などに記憶されているプログラムを実行することにより種々の機能を実現する。

ＲＯＭ１５２は、画像処理装置１００を制御する為のプログラム、及び各種の機能を実現する為のプログラムなどを記憶する。ＣＰＵ１５１は、操作入力部１６１から供給される操作信号に基づいて、ＲＯＭ１５２に記憶されているプログラムを起動する。これにより、制御部１５０は、各部の動作を制御する。

ＲＡＭ１５３は、ＣＰＵ１５１のワークメモリとして機能する。即ち、ＲＡＭ１５３は、ＣＰＵ１５１の演算結果、ＣＰＵ１５１により読み込まれたデータなどを記憶する。

ＥＥＰＲＯＭ１５４は、各種の設定情報、及びプログラムなどを記憶する不揮発性メモリである。

操作入力部１６１は、例えば、操作キー、キーボード、マウス、タッチパッドまたは操作入力に応じて操作信号を生成する事ができる他の入力装置などを備える入力手段である。例えば、操作入力部１６１は、操作入力に応じて操作信号を生成する。操作入力部１６１は、生成した操作信号を制御部１５０に供給する。

なお、タッチパッドは、静電センサ、サーモセンサ、または他の方式に基づいて位置情報を生成するデバイスを含む。また、画像処理装置１００がディスプレイ３００を備える場合、操作入力部１６１は、ディスプレイ３００と一体に形成されるタッチパネルなどを備える構成であってもよい。

受光部１６２は、例えば、リモートコントローラ１６３からの操作信号を受信するセンサなどを備える。受光部１６２は、受信した操作信号を制御部１５０に供給する。リモートコントローラ１６３は、ユーザの操作入力に基づいて操作信号を生成する。リモートコントローラ１６３は、生成した操作信号を赤外線通信により受光部１６２に送信する。なお、受光部１６２及びリモートコントローラ１６３は、電波などの他の無線通信により操作信号の送受信を行う構成であってもよい。

カードコネクタ１６４は、例えば、動画コンテンツを記憶するメモリカード１６５と通信を行う為のインターフェースである。カードコネクタ１６４は、接続されるメモリカード１６５から動画のコンテンツデータを読み出し、制御部１５０に供給する。

ＵＳＢコネクタ１６６は、ＵＳＢ機器１６７と通信を行う為のインターフェースである。ＵＳＢコネクタ１６６は、接続されるＵＳＢ機器１６７から供給される信号を制御部１５０に供給する。

例えば、ＵＳＢ機器１６７がキーボードなどの操作入力機器である場合、ＵＳＢコネクタ１６６は、操作信号をＵＳＢ機器１６７から受け取る。ＵＳＢコネクタ１６６は、受け取った操作信号を制御部１５０に供給する。この場合、制御部１５０は、ＵＳＢコネクタ１６６から供給される操作信号に基づいて種々の処理を実行する。

また、例えば、ＵＳＢ機器１６７が動画のコンテンツデータを記憶する記憶装置である場合、ＵＳＢコネクタ１６６は、コンテンツをＵＳＢ機器１６７から取得することができる。ＵＳＢコネクタ１６６は、取得したコンテンツを制御部１５０に供給する。

ディスクドライブ１７０は、例えば、コンパクトディスク（ＣＤ）、ディジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）、または動画のコンテンツデータを記録可能な他の光ディスクＭを装着可能なドライブを有する。ディスクドライブ１７０は、装着される光ディスクＭからコンテンツを読み出し、読み出したコンテンツを制御部１５０に供給する。

また、画像処理装置１００は、図示しない電源部を備える。電源部は、画像処理装置１００の各部に電力を供給する。電源部は、例えば、ＡＣアダプタなどを介して供給される電力を変換し各部へ供給する。また、電源部は、バッテリーを備えていても良い。この場合、電源部は、ＡＣアダプタなどを介して供給される電力をバッテリーに充電する。電源部は、バッテリーに充電されている電力を画像処理装置１００の各部に供給する。

また、画像処理装置１００は、さらに他のインターフェースを備えていても良い。インターフェースは、例えば、Ｓｅｒｉａｌ−ＡＴＡ、ＬＡＮポートなどである。画像処理装置１００は、インターフェースにより接続される機器に記録されているコンテンツを取得し、再生することができる。また、画像処理装置１００は、再生した音声信号及び映像信号を、インターフェースにより接続される機器に出力することが出来る。

また、画像処理装置１００がインターフェースを介してネットワークに接続される場合、画像処理装置１００は、ネットワーク上の動画のコンテンツデータを取得し、再生することができる。

またさらに、画像処理装置１００は、ハードディスク（ＨＤＤ）、ソリッドステイトディスク（ＳＳＤ）、または半導体メモリなどの記憶装置を備えていても良い。この記憶装置が動画のコンテンツデータを記憶する場合、画像処理装置１００は、この記憶装置に記憶されているコンテンツを読み出し、再生することが出来る。また、画像処理装置１００は、この記憶装置に例えば放送信号、またはネットワークなどにより供給されるコンテンツを記憶することができる。

図２は、図１に示す制御部１５０の構成例について説明するための説明図である。

図２に示すように、制御部１５０は、字幕データ検出部１５５、映像奥行算出部１５６、字幕制御部１５７、左右画面生成部１５８、及び字幕奥行算出部１５９を備える。

字幕データ検出部１５５は、信号処理部１１３に供給されるコンテンツに含まれる字幕を検出する。即ち、例えば、字幕データ検出部１５５は、字幕をデータとして保持する字幕データパケットをコンテンツから検出する。字幕データパケットがコンテンツに含まれる場合、画像処理装置１００は、ＯＳＤ処理部１３３により字幕を映像に重畳する為のＯＳＤ信号を生成する。

映像奥行算出部１５６は、コンテンツの映像信号の中に存在するオブジェクト（対象物）を検出し、各オブジェクトの奥行き距離を算出する。映像奥行算出部１５６は、映像処理部１３１によりデコードした映像信号において、人物、構造物、または他の物体などのオブジェクトを検出する。

映像奥行算出部１５６は、各オブジェクトの奥行きを検出する。即ち、映像奥行算出部１５６は、左目用画像と右目用画像との間に存在する視差に基づいて、ユーザが奥行きとして認識する距離（奥行き距離）を各オブジェクト毎に算出する。具体的には、映像奥行算出部１５６は、左目用画像と、右目用画像と、において同一のオブジェクトの視差をそれぞれ算出する。なお、視差とは、あるオブジェクトの左目用画像における表示位置と右目用画像における表示位置との、画像の水平ライン方向における距離である。

字幕制御部１５７は、最終的な字幕の奥行き方向における表示位置を決定する。字幕制御部１５７は、映像処理部１３１によりデコードした映像信号の右目用画像と左目用画像とに基づいて、字幕データ検出部１５５により検出した字幕の表示位置を特定する為の基準視差を算出する。

即ち、字幕制御部１５７は、コンテンツに字幕データパケットが含まれる場合、映像奥行算出部１５６により算出したオブジェクトの奥行き距離に基づいて、最終的な字幕の奥行き方向における表示位置を決定する。具体的には、字幕制御部１５７は、左目用画像と右目用画像とにおける同一のオブジェクトの視差に基づいて、左目用画像における字幕の表示位置と、右目用画像における字幕の表示位置とを決定する。

左右画面生成部１５８は、決定した左目用画像及び右目用画像における字幕の表示位置をＯＳＤ処理部１３３に出力する。ＯＳＤ処理部１３３は、字幕データパケットと、予め記憶されている文字データと、決定した右目用画像における字幕の表示位置とに基づいて、右目用画像に重畳する右目用ＯＳＤ信号を生成する。また、ＯＳＤ処理部１３３は、字幕データパケットと、予め記憶されている文字データと、決定した左目用画像における字幕の表示位置とに基づいて、左目用画像に重畳する左目用ＯＳＤ信号を生成する。

ＯＳＤ処理部１３３は、生成した右目用ＯＳＤ信号及び左目用ＯＳＤ信号を映像処理部１３１に供給する。映像処理部１３１は、ＯＳＤ処理部１３３から供給される右目用ＯＳＤ信号を右目用画像に重畳する。また、映像処理部１３１は、ＯＳＤ処理部１３３から供給される左目用ＯＳＤ信号を左目用画像に重畳する。

上記した処理により、ユーザが立体として知覚することができる字幕を表示する為の映像信号を生成することが出来る。

また、字幕データ検出部１５５は、コンテンツの映像信号に埋め込まれる字幕を検出する。即ち、字幕データ検出部１５５は、例えばパターンマッチングなどの文字認識処理を行うことにより、映像信号に含まれる文字を検出する。字幕データ検出部１５５は、検出した隣り合う文字の位置に基づいて、文字列を検出する構成であってもよい。

さらに、字幕データ検出部１５５は、映像中において文字を含む範囲を特定する。なお、字幕データ検出部１５５は、画像中から文字を検出することができる方法であれば、如何なる方法により文字を検出する構成であってもよい。

字幕奥行算出部１５９は、コンテンツの映像信号に字幕が埋め込まれている場合において、字幕の奥行き距離を算出する。即ち、字幕奥行算出部１５９は、字幕データ検出部１５５により検出した字幕の奥行き距離を、左目用画像と右目用画像との視差に基づいて算出する。具体的には、字幕奥行算出部１５９は、左目用画像と、右目用画像と、において同一の字幕の視差を算出する。

また、字幕制御部１５７は、映像信号に字幕が含まれる場合、映像奥行算出部１５６により算出したオブジェクトの奥行き距離と、字幕奥行算出部１５９により算出した字幕の奥行き距離とに基づいて、最終的な字幕の奥行き方向における表示位置を決定する。具体的には、字幕制御部１５７は、左目用画像と右目用画像とにおける同一のオブジェクトの視差と、左目用画像と右目用画像とにおける同一の字幕の視差と、に基づいて、左目用画像における字幕の表示位置及び形状と、右目用画像における字幕の表示位置及び形状とを決定する。

左右画面生成部１５８は、決定した左目用画像及び右目用画像における字幕の表示位置及び形状を映像処理部１３１に出力する。映像処理部１３１の伸長処理部１３２は、左右画面生成部１５８から供給される左目用画像及び右目用画像における字幕の表示位置及び形状に基づいて、左目用画像及び右目用画像の伸長処理を行う。

即ち、伸長処理部１３２は、左右画面生成部１５８から供給される左目用画像における字幕の表示位置に基づいて、伸長処理を行う範囲を特定する。伸長処理部１３２は、特定した範囲の画像を左右画面生成部１５８から供給される左目用画像における字幕の形状に基づいて、引き伸ばす。

また、伸長処理部１３２は、左右画面生成部１５８から供給される右目用画像における字幕の表示位置に基づいて、伸長処理を行う範囲を特定する。伸長処理部１３２は、特定した範囲の画像を左右画面生成部１５８から供給される右目用画像における字幕の形状に基づいて、引き伸ばす。

上記した処理により、ユーザが立体として知覚することができる字幕を表示する為の映像信号を生成することが出来る。

図３は、図１に示す制御部１５０の処理について説明するための説明図である。

信号処理部１１３にコンテンツが供給される場合、制御部１５０は、ステップＳ１１で字幕データの検出を行う。即ち、制御部１５０は、映像信号が含まれている字幕、またはコンテンツに付加される字幕データパケットを検出する。なお、ここでは、制御部１５０は、コンテンツに付加される字幕データパケットを検出したと仮定して説明する。

制御部１５０は、予め記憶される設定に基づいて、ステップＳ１２で、字幕の奥行きの基準を判断する。

制御部１５０は、ＯＳＤ処理により生成する字幕の奥行き合わせる対象が人物のオブジェクトであるか、画面全体のオブジェクトであるかを示す設定情報を操作信号に基づいて予め作成する。制御部１５０は、作成した設定情報を例えばＥＥＰＲＯＭ１５４などに記憶する。

なお、制御部１５０は、例えば、コンテンツの種別、またはジャンル毎に設定情報を作成する構成であってもよい。この場合、制御部１５０は、信号処理部１１３に供給されるコンテンツのジャンルを属性情報などに基づいて特定する。制御部１５０は、ＥＥＰＲＯＭ１５４から特定したジャンルに対応する設定情報を読み出し、読み出した設定情報に基づいて、字幕の奥行き合わせる対象を判断する。

字幕の奥行き合わせる対象が画面全体のオブジェクトである場合、制御部１５０は、映像処理部１３１によりデコードされた映像信号に基づいて、少なくとも１つ以上のオブジェクトを検出する。制御部１５０は、ステップＳ１３で、検出したオブジェクト毎に視差を算出する。

制御部１５０は、算出した視差に基づいて、ステップＳ１４で、ＯＳＤ処理により生成する右目用画像（第１の画像）に重畳する字幕と、左目用画像（第２の画像）に重畳する字幕との視差（基準視差）を特定する。

この場合、制御部１５０は、例えば、算出した各オブジェクトの視差の平均値を字幕の基準視差として適用する。しかし、制御部１５０は、字幕の基準視差を各オブジェクトの視差の範囲内で自由に設定することが出来る。例えば、制御部１５０は、各オブジェクトの視差の最大値を字幕の基準視差として用いる構成であってもよい。また、制御部１５０は、各オブジェクトの視差の最小値を字幕の基準視差として用いる構成であってもよい。

制御部１５０は、特定した字幕の基準視差に基づいて、ステップＳ１５で、最終的な字幕の表示位置を決定する。即ち、制御部１５０は、特定した字幕の基準視差に基づいて、左目用画像における字幕の表示位置と、右目用画像における字幕の表示位置とを決定する。

制御部１５０は、ステップＳ１６において、ＯＳＤ処理部１３３を制御することにより、字幕を右目用画像と左目用画像とにそれぞれ重畳する。即ち、制御部１５０は、右目用画像における字幕と、左目用画像における字幕との視差が、ステップＳ１４において決定した基準視差等しくなるようにＯＳＤ処理部１３３及び映像処理部１３１を制御する。

また、ステップＳ１２において、字幕の奥行き合わせる対象が人物のオブジェクトであると判断する場合、制御部１５０は、映像処理部１３１によりデコードされた映像信号に基づいて、１つの人物のオブジェクトを検出する。制御部１５０は、ステップＳ１７で、検出したオブジェクト毎に視差を算出する。

制御部１５０は、例えば、複数の人物のオブジェクトが映像信号中に存在する場合、喋っている人物のオブジェクトの視差を算出する。また、例えば、制御部１５０は、複数の人物のオブジェクトが映像信号中に存在する場合、画像の中央に最も近い人物のオブジェクトの視差を算出する。

制御部１５０は、ステップＳ１７において算出した視差に基づいて、ステップＳ１４で、ＯＳＤ処理により生成する右目用画像に重畳する字幕と、左目用画像に重畳する字幕との基準視差を特定する。

例えば、図４に示す右目用画像４１０と左目用画像４２０に対して字幕を重畳する場合、制御部１５０は、映像中に含まれる人物のオブジェクト４１１及び４２１を検出する。制御部１５０は、検出した人物のオブジェクト４１１及び４２１に基づいて、視差Δｈを算出する。

ここで、字幕の奥行きを人物に合わせるように設定されている場合、制御部１５０は、視差Δｈを基準視差として特定する。この場合、制御部１５０は、図４に示す右目用画像４３０及び左目用画像４４０を作成するように映像処理部１３１及びＯＳＤ処理部１３３を制御する。

即ち、制御部１５０は、右目用画像４３０における字幕４３２と、左目用画像４４０における字幕４４２との視差Δｊと、右目用画像４３０におけるオブジェクト４３１と、左目用画像４４０におけるオブジェクト４４１との視差Δｈと、が等しくなるように字幕４３２及び字幕４４２を生成する。

上記した処理により、図５にしめすように、画像処理装置１００は、ユーザの右目Ｅｒと右目用画像におけるオブジェクト４１１とを結ぶ直線と、ユーザの左目Ｅｌと左目用画像におけるオブジェクト４２１とを結ぶ直線と、が交差する点に、立体のオブジェクト４０１を表示させることができる。また、画像処理装置１００は、ユーザの右目Ｅｒと右目用画像における字幕４３２とを結ぶ直線と、ユーザの左目Ｅｌと左目用画像における字幕４４２とを結ぶ直線と、が交差する点に、立体の字幕４０２を表示させることができる。

上記したように、画像処理装置１００は、基準となるオブジェクトの視差Δｈ（基準視差）に字幕の視差Δｊをあわせることにより、基準のオブジェクト４０１と、字幕４０２とを同じ奥行き距離で表示する事ができる。また、映像中に複数のオブジェクトが存在する場合、他のオブジェクトの奥行き距離に応じて字幕の奥行き距離を決定することができる。

これにより、画像処理装置１００は、字幕を他のオブジェクトに対して極端に異なる奥行き距離で表示することによりユーザが違和感を覚えることを防ぐことができる。この結果、よりユーザの利便性を向上させることが出来る画像処理装置、画像処理プログラム、及び画像処理方法を提供することができる。

次に、映像中に字幕が画像として埋め込まれている場合について説明する。

図６は、図１に示す制御部１５０の処理について説明するための説明図である。

信号処理部１１３にコンテンツが供給される場合、制御部１５０は、ステップＳ２１で字幕データの検出を行う。即ち、制御部１５０は、映像信号が含まれている字幕、またはコンテンツに付加される字幕データパケットを検出する。なお、ここでは、制御部１５０は、映像信号に埋め込まれている字幕データを検出したと仮定して説明する。

制御部１５０は、ステップＳ２２で、コンテンツの映像信号に埋め込まれている字幕の奥行き距離を算出する。即ち、制御部１５０は、左目用画像と、右目用画像と、において同一の字幕の視差を算出する。

制御部１５０は、予め記憶される設定に基づいて、ステップＳ２３で、字幕の奥行きの基準を判断する。

字幕の奥行き合わせる対象が画面全体のオブジェクトである場合、制御部１５０は、映像処理部１３１によりデコードされた映像信号に基づいて、少なくとも１つ以上のオブジェクトを検出する。制御部１５０は、ステップＳ２４で、検出したオブジェクト毎に視差を算出する。

制御部１５０は、算出した視差に基づいて、ステップＳ２５で、字幕の視差として用いる為の基準視差を特定する。

制御部１５０は、特定した基準視差に基づいて、ステップＳ２６で、最終的な字幕の表示位置及び形状を決定する。即ち、制御部１５０は、特定した字幕の基準視差に基づいて、左目用画像における字幕の表示位置及び形状と、右目用画像における字幕の表示位置及び形状とを決定する。

制御部１５０は、ステップＳ２６により決定した字幕の表示位置及び形状に基づいて、ステップＳ２７で、映像処理部１３１及び伸長処理部１３２を制御することにより、右目用画像及び左目用画像における字幕を含む所定領域の画像を引き伸ばす。即ち、制御部１５０は、右目用画像における字幕と、左目用画像における字幕との視差が、ステップＳ２５において決定した基準視差と等しく伸長処理部１３２により字幕を含む所定領域の画像を引き伸ばす。

また、ステップＳ２３において、字幕の奥行き合わせる対象が人物のオブジェクトであると判断する場合、制御部１５０は、映像処理部１３１によりデコードされた映像信号に基づいて、１つの人物のオブジェクトを検出する。制御部１５０は、ステップＳ２８で、検出したオブジェクト毎に視差を算出する。

制御部１５０は、例えば、複数の人物のオブジェクトが映像信号中に存在する場合、喋っている人物のオブジェクトの視差を算出する。また、例えば、制御部１５０は、複数の人物のオブジェクトが映像信号中に存在する場合、画像の中央に最も近い人物のオブジェクトの視差を算出する。

制御部１５０は、ステップＳ２８において算出した視差に基づいて、ステップＳ２５で、字幕の視差として用いる為の基準視差を特定する。

例えば、図７に示す右目用画像４１０及び左目用画像４２０に含まれている字幕の奥行きを調整する場合、制御部１５０は、映像中に含まれる人物のオブジェクト４１１及び４２１を検出する。制御部１５０は、検出した人物のオブジェクト４１１及び４２１に基づいて、視差Δｈを算出する。また、制御部１５０は、映像中に含まれる字幕４１２との視差Δｊを算出する。

ここで、字幕の奥行きを人物に合わせるように設定されている場合、制御部１５０は、図７に示す右目用画像４３０及び左目用画像４４０を作成するように映像処理部１３１及び伸長処理部１３２を制御する。

即ち、制御部１５０は、右目用画像４３０における字幕４３２と、左目用画像４４０における字幕４４２との視差Δｊと、右目用画像４３０におけるオブジェクト４３１と、左目用画像４４０におけるオブジェクト４４１との視差Δｈと、が等しくなるように字幕４１２及び字幕４２２を含む所定領域の画像を引き伸ばす。

ΔｈよりΔｊが大きい場合、制御部１５０は、右目用画像４１０の字幕４１２を含む所定領域の画像の右端を右に引き伸ばすように伸長処理部１３２を制御する。また、ΔｈよりΔｊが大きい場合、制御部１５０は、左目用画像４２０の字幕４２２を含む所定領域の画像の左端を左に引き伸ばすように伸長処理部１３２を制御する。

ΔｈよりΔｊが小さい場合、制御部１５０は、右目用画像４１０の字幕４１２を含む所定領域の画像の左端を左に引き伸ばすように伸長処理部１３２を制御する。また、ΔｈよりΔｊが小さい場合、制御部１５０は、左目用画像４２０の字幕４２２を含む所定領域の画像の右端を右に引き伸ばすように伸長処理部１３２を制御する。

上記した処理により、制御部１５０は、右目用画像４３０における字幕４３２と、左目用画像４４０における字幕４４２との視差がΔｊ＝Δｈとなるように伸長処理部１３２を制御することができる。本実施形態では、上述のように右目用画像４１０に含まれる字幕４１２周囲の所定領域と、左目用画像４４０に含まれる字幕４４２周囲の所定領域とを共に引き伸ばすため、ユーザに提供される立体映像上での字幕の位置を、入力された立体映像からあまり変更させずに字幕の奥行きを制御することができる。

図８に示すように、画像処理装置１００は、ユーザの右目Ｅｒと右目用画像におけるオブジェクト４１１とを結ぶ直線と、ユーザの左目Ｅｌと左目用画像におけるオブジェクト４２１とを結ぶ直線と、が交差する点に、立体のオブジェクト４０１を表示させることができる。

また、画像処理装置１００は、ユーザの右目Ｅｒと右目用画像における字幕４１２とを結ぶ直線と、ユーザの左目Ｅｌと左目用画像における字幕４２２とを結ぶ直線と、が交差する点に、立体の字幕４０２を表示させることができる。

この場合、オブジェクト４０１の奥行き距離と字幕４０２の奥行き距離とが一致しない。ユーザは、オブジェクト４０１の奥行き距離と字幕４０２の奥行き距離との差が極端である場合、ディスプレイ３００に表示される映像に違和感を覚える。

しかし、上記したように、制御部１５０は、右目用画像の字幕４１２を含む所定領域の画像と、左目用画像の字幕４２２を含む所定領域の画像とを基準視差に基づいて引き伸ばし、右目用画像の字幕４３２及び左目用画像の字幕４４２をディスプレイ３００に表示するように制御する。右目用画像の字幕４３２と左目用画像の字幕４４２とは、基準視差Δｈと等しい視差Δｊを有するため、画像処理装置１００は、立体のオブジェクト４０１と同じ奥行き距離を持つ字幕４０２をユーザに認識させることができる。

上記したように、画像処理装置１００は、ΔｈとΔｊとが同じ長さになるように左目用画像及び右目用画像における字幕の周辺の所定領域の画像を引き伸ばす。これにより、画像処理装置１００は、立体のオブジェクト４０１と、立体の字幕４０２とを同じ奥行き距離で表示する事ができる。また、映像中に複数のオブジェクトが存在する場合、他のオブジェクトの奥行き距離に応じて字幕の奥行き距離を決定することができる。

これにより、画像処理装置１００は、字幕を他のオブジェクトに対して極端に異なる奥行き距離で表示することによりユーザが違和感を覚えることを防ぐことができる。この結果、よりユーザの利便性を向上させることが出来る画像処理装置、画像処理プログラム、及び画像処理方法を提供することができる。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

例えば、制御部１５０の機能として説明した字幕データ検出部１５５、映像奥行算出部１５６、字幕制御部１５７、左右画面生成部１５８、及び字幕奥行算出部１５９は、それぞれ同等の機能を有するハードウエアとして信号処理部１１３、映像処理部１３１、及び／またはＯＳＤ処理部１３３に組み込まれるものであってもよい。

また、上記の実施形態では、画像処理装置１００は、映像処理部１３１によりデコードした映像信号からオブジェクトを検出し、検出したオブジェクトの奥行き距離（視差）に基づいて基準視差を決定する構成として説明したが、この構成に限定されない。映像信号中から基準視差を検出する処理は如何なるものであってもよい。

例えば、画像処理装置１００は、映像信号においてエッジ検出処理を行い、検出したエッジの視差に基づいて基準視差を決定する構成であってもよい。この場合、画像処理装置１００は、左目用画像及び右目用画像において対応する各エッジ毎に視差を算出し、算出した視差に基づいて基準視差を決定する。画像処理装置１００は、検出したエッジの右目用画像と左目用画像とにおける視差の最小値から最大値の範囲内で基準視差を算出する。例えば、画像処理装置１００は、エッジに基づいて算出した視差の平均に基づいて基準視差を決定する。

さらに、画像処理装置１００は、１シーンの間に字幕の奥行き距離（視差）が変化することを制限する構成であってもよい。１シーン中に字幕の奥行き距離が変化する場合、変化の頻度によっては奥行き距離の変化がユーザの負担となる可能性がある。そこで、画像処理装置１００は、シーン検出を行い、シーン検出毎に上記の処理を行い、字幕の奥行き距離（視差）を決定する。このような構成によると、よりユーザの負担を軽減させることができる画像処理装置、画像処理プログラム、及び画像処理方法を提供することができる。

さらに、画像処理装置１００は、シーン間に変化する字幕の奥行き距離を制限する構成であってもよい。字幕の奥行き距離が急激に変化する場合、奥行き距離の変化がユーザの負担となる可能性がある。そこで、画像処理装置１００は、シーンを検出する場合、前のシーンにおいて表示していた字幕の奥行き距離と、次に表示する字幕の奥行き距離と、を比較することにより、滑らかに字幕の奥行きが変化するように制御を行う。例えば、画像処理装置１００は、予め設定される閾値を上限として字幕の奥行き距離を変化させる。このような構成によると、よりユーザの負担を軽減させることができる画像処理装置、画像処理プログラム、及び画像処理方法を提供することができる。

また、上記した実施形態では、画像処理装置１００は、映像信号中に字幕が含まれている場合、逐次字幕の奥行き距離の調整を行う構成として説明したが、この構成に限定されない。例えば、予め上限値及び下限値を設定し、映像信号中に含まれている字幕の奥行き距離が設定されている上限値及び下限値内でない場合に奥行き距離の調整を行う構成であってもよい。このような構成によると、より簡易な処理でユーザの利便性を向上させることが出来る画像処理装置、画像処理プログラム、及び画像処理方法を提供することができる。

また、上記した実施形態では、画像処理装置１００は、映像信号中に含まれている字幕を含む所定領域の画像を引き伸ばすことにより視差を基準視差に合わせる構成として説明したがこの構成に限定されない。画像処理装置１００は、映像信号中に含まれている字幕を含む所定領域の画像を縮めることにより視差を基準視差に合わせる構成であってもよい。この場合、画像処理装置１００は、字幕を含む所定領域の画像を縮めることにより生じる映像信号の存在しない領域を、近傍の画像から類推することにより埋める。

また、上記した実施形態では、決定した基準視差に基づいて字幕の表示位置を調整するとして説明したが、この構成に限定されない。例えば、制御部１５０は、決定した基準視差をコンテンツの元のデータに付加して記憶する構成であってもよい。この構成によると、字幕の奥行き距離が調整された映像信号を他の機器で再生する事ができる。このような構成によると、よりユーザの利便性を向上させることが出来る画像処理装置、画像処理プログラム、及び画像処理方法を提供することができる。

なお、制御部１５０は、基準視差を示す情報を付加したコンテンツを記憶媒体に記憶する。制御部１５０は、例えば、カードコネクタ１６４に接続されるメモリカード１６５、ＵＳＢコネクタ１６６に接続されるＵＳＢ機器１６７、ディスクドライブ１７０に装着される光ディスクＭなどにコンテンツを書き込む。また、制御部１５０は、インターフェースを介して接続されるＨＤＤ、ＳＳＤ、または半導体メモリなどの記憶装置などにコンテンツを書き込む。またさらに、制御部１５０は、ネットワークを介して接続される記憶装置にコンテンツを書き込む。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツが入力される入力手段と、
前記入力手段により入力されるコンテンツに含まれる字幕を検出する字幕検出手段と、
前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出する算出手段と、
前記算出手段により算出した前記視差を、前記字幕検出手段により検出した字幕の表示位置を特定する為の基準視差として出力する字幕情報出力手段と、
を具備する画像処理装置。
［Ｃ２］
字幕情報出力手段により出力される前記基準視差と、前記字幕検出手段により検出した字幕とに基づいて、前記コンテンツの前記第１の画像及び前記第２の画像における字幕の表示位置をそれぞれ特定し、前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示するように制御する字幕制御手段と、
前記字幕制御手段により字幕の表示位置を制御した前記コンテンツを出力する映像出力手段と、
をさらに具備するＣ１に記載の画像処理装置。
［Ｃ３］
前記字幕制御手段は、前記コンテンツの前記第１の画像及び前記第２の画像における字幕の視差と、前記基準視差とが等しくなるように字幕の表示位置を制御するＣ２に記載の画像処理装置。
［Ｃ４］
前記字幕制御手段は、前記字幕検出手段により前記コンテンツに付加される字幕のデータを検出する場合、前記検出した字幕のデータに基づいて字幕の画像を生成し、生成した字幕画像を前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示するように制御するＣ２に記載の画像処理装置。
［Ｃ５］
前記字幕制御手段は、前記字幕検出手段により前記コンテンツの前記第１の画像及び前記第２の画像の中に埋め込まれている字幕を検出する場合、前記検出した前記第１の画像及び前記第２の画像における字幕の視差と、前記基準視差と、に基づいて、前記検出した前記第１の画像及び前記第２の画像における字幕を含む所定領域の画像を引き伸ばすＣ２に記載の画像処理装置。
［Ｃ６］
前記算出手段は、前記コンテンツの前記第１の画像及び前記第２の画像の中から少なくとも１つ以上のオブジェクトを検出し、検出した人物オブジェクトの前記第１の画像と前記第２の画像とにおける視差の最小値から最大値の範囲内で基準視差を算出するＣ１に記載の画像処理装置。
［Ｃ７］
前記算出手段は、前記コンテンツの前記第１の画像及び前記第２の画像の中から１つの人物オブジェクトを検出し、検出した人物オブジェクトの前記第１の画像と前記第２の画像とにおける視差に基づいて、前記字幕検出手段により検出した字幕の表示位置を特定する為の基準視差を算出するＣ６に記載の画像処理装置。
［Ｃ８］
前記算出手段は、前記コンテンツの前記第１の画像及び前記第２の画像に対してそれぞれエッジ検出を行い、検出したエッジの前記第１の画像と前記第２の画像とにおける視差の最小値から最大値の範囲内で基準視差を算出するＣ１に記載の画像処理装置。
［Ｃ９］
前記映像出力手段が出力した前記コンテンツを表示する表示手段を、
さらに具備するＣ２に記載の画像処理装置。
［Ｃ１０］
画像処理装置において実行される画像処理プログラムであって、
入力される第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツに含まれる字幕を検出し、
前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出し、
前記算出した前記視差を、前記検出した字幕の表示位置を特定する為の基準視差として出力する、
画像処理プログラム。
［Ｃ１１］
画像処理装置において実行される画像処理方法であって、
入力される第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツに含まれる字幕を検出し、
前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出し、
前記算出した前記視差を、前記検出した字幕の表示位置を特定する為の基準視差として出力する、
画像処理方法。

１００…画像処理装置、１０１…放送入力端子、１１０…アンテナ、１１１…チューナ、１１２…復調部、１１３…信号処理部、１１４…通信インターフェース、１２１…音声処理部、１２２…音声出力端子、１３１…映像処理部、１３２…伸長処理部、１３３…ＯＳＤ処理部、１３４…表示処理部、１３５…映像出力端子、１５０…制御部、１５１…ＣＰＵ、１５２…ＲＯＭ、１５３…ＲＡＭ、１５４…ＥＥＰＲＯＭ、１５５…字幕データ検出部、１５６…映像奥行算出部、１５７…字幕制御部、１５８…左右画面生成部、１５９…字幕奥行算出部、１６１…操作入力部、１６２…受光部、１６３…リモートコントローラ、１６４…カードコネクタ、１６５…メモリカード、１６６…ＵＳＢコネクタ、１６７…ＵＳＢ機器、１７０…ディスクドライブ、２００…スピーカ、３００…ディスプレイ。

Claims (12)

1. 第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツが入力される入力手段と、
   前記入力手段により入力されるコンテンツに含まれる字幕を検出する字幕検出手段と、
   前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出する算出手段と、
   前記算出手段により算出した前記視差を、前記字幕検出手段により検出した字幕の表示位置を特定する為の基準視差として出力する字幕情報出力手段と、
   字幕情報出力手段により出力される前記基準視差と、前記字幕検出手段により検出した字幕とに基づいて、前記コンテンツの前記第１の画像及び前記第２の画像における字幕の表示位置をそれぞれ特定し、前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示することにより、前記基準視差に応じた奥行きで字幕が表示されるように、字幕の奥行きを制御する字幕制御手段と、
   前記字幕制御手段により字幕の奥行きを制御した前記コンテンツを出力する映像出力手段と、
   前記コンテンツのシーンを検出するシーン検出手段と、
   を具備し、
   前記字幕制御手段は、前記シーン検出手段がシーン検出を行うと、字幕の奥行きを制御する、
   画像処理装置。
2. 前記字幕制御手段は、前記シーン検出手段がシーン検出を行う毎に字幕の奥行きを制御する、請求項１に記載の画像処理装置。
3. 前記字幕制御手段は、前のシーンで用いられた前記基準視差に対して予め設定された範囲内で次のシーンの前記基準視差を決定する、請求項２に記載の画像処理装置。
4. 前記字幕制御手段は、前記コンテンツの前記第１の画像の字幕と前記第２の画像の字幕との視差と、前記基準視差とが等しくなるように字幕の奥行きを制御する請求項１に記載の画像処理装置。
5. 前記字幕制御手段は、前記字幕検出手段により前記コンテンツに付加される字幕のデータを検出する場合、前記検出した字幕のデータに基づいて字幕の画像を生成し、生成した字幕画像を前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示するように制御する請求項１に記載の画像処理装置。
6. 前記字幕制御手段は、前記字幕検出手段により前記コンテンツの前記第１の画像及び前記第２の画像の中に埋め込まれている字幕を検出する場合、前記検出した前記第１の画像及び前記第２の画像における字幕の視差と、前記基準視差と、に基づいて、前記検出した前記第１の画像及び前記第２の画像における字幕を含む所定領域の画像を引き伸ばす請求項１に記載の画像処理装置。
7. 前記算出手段は、前記コンテンツの前記第１の画像及び前記第２の画像の中から少なくとも１つ以上のオブジェクトを検出し、検出した人物オブジェクトの前記第１の画像と前記第２の画像とにおける視差の最小値から最大値の範囲内で基準視差を算出する請求項１に記載の画像処理装置。
8. 前記算出手段は、前記コンテンツの前記第１の画像及び前記第２の画像の中から１つの人物オブジェクトを検出し、検出した人物オブジェクトの前記第１の画像と前記第２の画像とにおける視差に基づいて、前記字幕検出手段により検出した字幕の奥行きを特定する為の基準視差を算出する請求項７に記載の画像処理装置。
9. 前記算出手段は、前記コンテンツの前記第１の画像及び前記第２の画像に対してそれぞれエッジ検出を行い、検出したエッジの前記第１の画像と前記第２の画像とにおける視差の最小値から最大値の範囲内で基準視差を算出する請求項１に記載の画像処理装置。
10. 前記映像出力手段が出力した前記コンテンツを表示する表示手段を、
    さらに具備する請求項１に記載の画像処理装置。
11. 画像処理装置において実行される画像処理プログラムであって、
    入力される第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツに含まれる字幕を検出し、
    前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出し、
    前記算出した前記視差を、前記検出した字幕の表示位置を特定する為の基準視差として出力し、
    前記基準視差と、前記字幕とに基づいて、前記コンテンツの前記第１の画像及び前記第２の画像における字幕の表示位置をそれぞれ特定し、前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示することにより、前記基準視差に応じた奥行きで字幕が表示されるように、字幕の奥行きを制御し、
    前記字幕の奥行きを制御した前記コンテンツを出力し、
    前記コンテンツのシーンを検出し、
    前記シーン検出を行った場合、字幕の奥行きの制御を行う、
    画像処理プログラム。
12. 画像処理装置において実行される画像処理方法であって、
    入力される第１の画像と前記第１の画像との間に視差が存在する第２の画像とを有するコンテンツに含まれる字幕を検出し、
    前記コンテンツの前記第１の画像と前記第２画像の所定オブジェクト間の視差を算出し、
    前記算出した前記視差を、前記検出した字幕の表示位置を特定する為の基準視差として出力し、
    前記基準視差と、前記字幕とに基づいて、前記コンテンツの前記第１の画像及び前記第２の画像における字幕の表示位置をそれぞれ特定し、前記第１の画像及び前記第２の画像の前記特定した位置に字幕を表示することにより、前記基準視差に応じた奥行きで字幕が表示されるように、字幕の奥行きを制御し、
    前記字幕の奥行きを制御した前記コンテンツを出力し、
    前記コンテンツのシーンを検出し、
    前記シーン検出を行った場合、字幕の奥行きの制御を行う、
    画像処理方法。

Images