JP4955718B2 - 立体表示制御装置、立体表示システムおよび立体表示制御方法 - Google Patents

Description

本発明は、立体画像のうち飛び出て見える箇所がどこであるのかを観察者に明確に把握させることができる立体表示制御装置、立体表示システムおよび立体表示制御方法に関する。

特許文献１には、平面表示から立体表示に切り替える際、立体表示から平面表示に切り替える際などに、平面画像から作成した立体表示モード画像、又は立体画像から作成した平面表示モード画像を介して、トランジション処理を行う構成が記載されている。

特許文献２には、平面映像から立体映像に表示を切り替える際、立体映像から平面映像に表示を切り替える際などに、現在表示の映像データの画素値割合を所定時間かけて徐々に減少させて最終的に０％にする構成が開示されている。

特許文献３には、原音場の音源位置情報を有する動画を対象とし、平面ディスプレイと、その前面に配置された透明平面スピーカ群により構成され、原音場の音源位置情報に基づきスピーカを指定して音響再生を行う構成が開示されている。

特許文献４には、双方向通信システムにおいて、ディスプレイ、カメラ、スピーカ、マイク等を制御して、画面に表示される人物の大きさ・位置、室内の照度、音声が出力される位置を元の場所と再生場所とで一致させて再生する構成が開示されている。

特開２００５−１３６５４１号公報 特開２００５−１０９５６８号公報 特開２００７−２７８４６号公報 特開２００８−５１２２号公報

特許文献１、２の構成は、トランジション処理により時間をかけて平面表示から立体表示に徐々に切り替えることにより、いきなり立体表示された場合に感じる観察者の違和感を抑制することはできるけれども、このようなトランジション処理の結果、立体画像のうちどこが飛び出て見える箇所であるのかを観察者が把握できなくなる問題がある。つまり、立体表示の際に、観察者が立体画像のうち手前側の箇所を明確に把握することができず、立体感が欠如するという問題が生じてしまう場合がある。最悪の場合には、立体画像が立体画像として認識されなくなる。

また、特許文献１の構成では、立体表示モード画像または平面表示モード画像の作成が必要である。

また、特許文献３、４の構成は、原音場の音源位置情報を伴った動画が対象であって、原音場の音源位置情報をそのまま用いて再生することで原音場への臨場感を演出することを主眼としており、平面表示から立体表示に切り替える際などに、立体画像のうちどこが飛び出て見える箇所であるのかを観察者に明確に把握させる効果は、期待できない。

本発明はこのような事情に鑑みてなされたもので、立体画像のうち飛び出て見える箇所がどこであるのかを観察者に明確に把握させることができる立体表示制御装置、立体表示システムおよび立体表示制御方法を提供することを目的とする。

前記目的を達成するために、本発明は、表示装置および複数の音再生装置を用いて音再生を伴う立体表示を行う立体表示制御装置であって、立体画像および音データを取得するデータ取得手段と、前記立体画像の各領域の視差量を検出する視差量検出手段と、前記立体画像の各領域の前記視差量に基づいて、前記表示装置上に再生音場の音源位置を決定する音源位置決定手段と、前記表示装置により前記立体画像を立体表示するとともに、前記音源位置決定手段にて決定した前記表示装置上の前記音源位置に再生音場の現実または仮想の音源位置を設定して、前記音再生装置により前記音データを音として再生する再生制御手段と、を備えたことを特徴とする立体表示制御装置を提供する。

この発明によれば、立体画像の各領域の視差量に基づいて表示装置上に再生音場の音源位置を設定するので、立体画像のうち飛び出て見える箇所がどこであるのかを観察者に明確に把握させることが可能になる。

また、本発明の一態様では、前記音源位置決定手段は、前記立体画像を前記視差量が大きい領域と前記視差量が小さい領域とに区分けし、前記立体画像の前記視差量が大きい領域に対応する前記表示装置上の位置を前記音源位置と決定する。

この構成によれば、観察者は立体画像の飛び出て見える領域を認識できる。

また、本発明の一態様では、前記再生制御手段は、前記立体画像に前記視差量が大きい領域が複数ある場合、前記表示装置上で前記音源位置を移動させる。

この構成によれば、音源位置の移動により視差量が大きい領域を認識しやすくなる。

また、本発明の一態様では、前記音源位置決定手段は、前記立体画像を複数に分割した領域のうち前記視差量が最も大きい領域を判別し、前記立体画像の前記視差量が最も大きい領域に対応する前記表示装置上の位置を前記音源位置と決定する。

この発明によれば、観察者は立体画像の最も飛び出て見える領域を認識できる。

また、本発明の一態様では、前記再生制御手段は、平面表示から立体表示に切り替える場合および立体表示する立体画像を切り替える場合、切り替えの前後にて音を連続的に再生するとともに、一定時間、前記立体画像の各領域の前記視差量に基づいて決定された前記音源位置により音再生を行う。

この構成によれば、音出力を停止せずに、観察者に立体画像のうち飛び出て見える箇所を認識させることができる。

また、本発明の一態様では、前記再生制御手段は、前記複数の音再生装置のうち、前記表示装置上の前記音源位置に対応する音再生装置の音量を他の音再生装置の音量よりも大きくする。

また、本発明の一態様では、複数の前記音再生装置は、前記表示装置の前面または背面に二次元状に配列された音再生装置群によって構成されている。

また、本発明の一態様では、前記音再生装置は、透明の平面状音再生装置であり、前記表示装置の前面に配置されている。

この構成によれば、表示装置の背面に音再生装置を配置する場合と比べ、観察者による再生音場の音源位置の特定が容易になる。また、平面状なので、表示装置および音再生装置を一体化して薄く製造することができる。

また、本発明の一態様では、複数の前記音再生装置は、前記表示装置の周囲に配列されている。

また、本発明の一態様では、複数の前記音再生装置は、前記表示装置から離隔して配置され、前記再生制御手段は、前記音源位置を再生音場の仮想の音源位置として音像定位を行う。

また、本発明の一態様では、複数の前記音再生装置は、人の頭に装着されるヘッドホンまたはイヤホンで構成され、前記再生制御手段は、前記音源位置を再生音場の仮想の音源位置として音像定位を行う。

また、本発明は、前記立体表示制御装置、前記表示装置および前記音再生装置を備えたことを特徴とする立体表示システムを提供する。

また、本発明は、表示装置および複数の音再生装置を用いて音再生を伴う立体表示を行う立体表示制御方法であって、立体画像および音データを取得するデータ取得ステップと、前記立体画像の各領域の視差量を検出する視差量検出ステップと、前記立体画像の各領域の前記視差量に基づいて、前記表示装置上に再生音場の音源位置を決定する音源位置決定ステップと、前記表示装置により前記立体画像を立体表示するとともに、前記音源位置決定手段にて決定した前記表示装置上の前記音源位置に再生音場の現実または仮想の音源位置を設定して、前記音再生装置により前記音データを音として再生する再生ステップと、を含むことを特徴とする立体表示制御方法を提供する。

本発明によれば、立体画像のうち飛び出て見える箇所がどこであるのかを観察者に明確に把握させることができる。

本発明を適用した立体表示システムの一例を示すブロック図 立体表示が可能となる表示装置の構造例を示す説明図 被写体距離と視差量との関係の説明に用いる説明図 （Ａ）は右眼画像と左眼画像とで対応点の位置の差が無い場合の説明図、（Ｂ）は右眼画像と左眼画像とで対応点の位置の差が大きい場合の説明図、（Ｃ）は視差量を示す説明図 コップを撮像して得た右眼画像および左眼画像を示す説明図 コップの撮像画像と距離画像を示す説明図 （Ａ）と（Ｂ）は表示装置の背面に二次元配列の音再生装置群を配置して視差量が大きい領域を音源位置とした場合の表示装置および音再生装置の正面図と側面図 （Ａ）と（Ｂ）は表示装置の背面に二次元配列の音再生装置群を配置して視差量が最も大きい領域を音源位置とした場合の表示装置および音再生装置の正面図と側面図 （Ａ）と（Ｂ）は表示装置の前面に二次元配列の音再生装置群を配置して視差量が大きい領域を音源位置とした場合の表示装置および音再生装置の正面図と側面図 本発明を適用した立体表示制御処理の流れを示すフローチャート （Ａ）と（Ｂ）は平面表示した場合の表示装置および音再生装置の正面図と側面図 （Ａ）〜（Ｃ）は表示装置の周囲に音再生装置を配置した場合を示す説明図 （Ａ）はシングルディスプレイの例を示す正面図、（Ｂ）はマルチディスプレイの例を示す正面図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明を適用した立体表示システムの一例を示すブロック図である。

図１において、立体表示システム１００は、データ保存部２２、表示装置２４、音再生部２５（スピーカ群）、および、立体表示制御装置３０を含んで構成されている。

データ保存部２２は、画像（画像データ）、音データなどのデータを保存する記憶手段である。例えば、メモリカード、ハードディスク、光ディスク等の不揮発性の記憶デバイスを用いる。

表示装置２４は、複数視点で撮像して得られた立体画像を立体表示可能な表示デバイスによって構成される。例えば、ＬＣＤ（液晶表示デバイス）、プラズマ表示デバイス、有機ＥＬ表示デバイス等の表示デバイスを用いる。立体表示のしくみについては、後述する。

音再生装置２５は、複数の音再生デバイスからなる。音再生装置２５の具体例および配置については、後述する。

本実施形態の立体表示制御装置３０は、操作部３１、データ取得部３２、表示画像メモリ３３、表示ドライバ３４、音再生ドライバ３５、および、ＣＰＵ４０を含んで構成される。

操作部３１は、キーボード、マウス等の周知の入力デバイスによって構成されている。

データ取得部３２は、本例にて、データ保存部２２から画像および音データを取得する。なお、本例では、データ保存部２２から取得を行うが、インターネット等の通信ネットワークを介して画像および音データを取得してもよい。また、周知のカメラおよびマイクにより、直接的に、画像および音データ付を取得してもよい。

表示画像メモリ３３は、表示装置２４で表示する画像データを一時的に記憶する表示画像専用の記憶手段である。例えば、ＲＡＭ等の高速アクセス可能な記憶デバイスを用いる。

表示ドライバ３４は、表示装置２４を駆動する回路によって構成されている。

音再生ドライバ３５は、音再生装置２５を駆動する回路によって構成される。

ＣＰＵ（Central Processing Unit）４０は、立体表示制御装置３０の各部を制御し、表示装置２４と音再生装置２５とを用いて、音再生を伴う立体表示を行う。ＣＰＵ４０の機能の詳細については、後述する。 図２は、表示装置２４で立体表示が可能となる構造例を示す説明図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズ２４ａを用いる。レンチキュラレンズ２４ａは、表示装置２４の前面（観察者の視点すなわち左眼ＥLおよび右眼ＥRが存在するｚ軸方向）に、配置され、複数の円筒状凸レンズを図２中ｘ軸方向に連ねることで構成されている。表示装置２４に表示される立体画像の表示領域は、右眼用短冊画像表示領域２４Ｒと左眼用短冊画像表示領域２４Ｌとから構成されている。右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌは、それぞれ画面の図２中ｙ軸方向に細長い短冊形状をしており、図２中ｘ軸方向に交互に配置される。レンチキュラレンズ２４ａを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌを含む各短冊集合画像表示領域２４ｃに対応した位置に形成される。図２では、観察者の右眼ＥRには、レンチキュラレンズ２４ａの光屈折作用により、表示装置２４の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。また、観察者の左眼ＥLには、レンチキュラレンズ２４ａの光屈折作用により、表示装置２４の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。したがって、観察者の右眼は右眼用短冊画像のみを、観察者の左眼は左眼用短冊画像のみを見ることになり、これら右眼用短冊画像の集合である右眼用画像及び左眼用短冊画像の集合である左眼用画像による左右視差により立体視が可能となる。

なお、立体表示のための表示装置２４の構造として、図２を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。

例えば、表示装置２４を構成するＬＣＤ（液晶表示デバイス）の背面を照らすバックライトの方向を時分割で観察者の右眼方向および左眼方向に制御する光方向制御方式（時分割光方向制御バックライト方式ともいう）を用いて、立体表示を行ってもよい。光方向制御方式については、豊岡健太郎，宮下哲哉，内田龍男，“時分割光方向制御バックライトを用いた三次元ディスプレイ”、２０００年日本液晶学会討論会講演予稿集、pp.137-138(2000)や、特開２００４−２０６８４号公報などに記載されている。

自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ＥＬを多層に重ねた方式でもよい。

表示装置２４は、本実施形態にて、平面表示および立体表示の両表示が可能な表示デバイスであればよい。

次に、ＣＰＵ４０の機能の詳細について、説明する。

図１において、ＣＰＵ４０は、主制御部４１、視差量検出部４２、音源位置決定部４３、画像再生制御部４４、および、音再生制御部４５を有する。

主制御部４１は、ＣＰＵ４０内外の各部を統括して制御する。

視差量検出部４２は、立体画像を分割した各分割領域ごとに視差量を検出する。本例では、右眼画像および左眼画像の重ね合わせ画像を立体画像として、その立体画像を分割した分割領域（例えば７×７個の分割領域）のそれぞれにて、代表する視差量を算出する。

まず、視差量について、図３および図４を用いて説明する。

図３にて、図１では図示を省略したカメラ１０（撮像装置）における右眼用の撮影光学系１４Ｒと左眼用の撮影光学系１４Ｌとで、光軸間の距離（基線長）および光軸同士の成す角度（輻輳角）は、固定であるものとする。右眼用の撮影光学系１４Ｒにより右眼用の撮像素子１３４Ｒに被写体像を結像し、その撮像素子１３４Ｒにより右眼画像を生成する。また、左眼用の撮影光学系１４Ｌにより左眼用の撮像素子１３４Ｌに被写体像を結像し、その撮像素子１３４Ｌにより左眼画像を生成する。また、図４（Ａ）〜（Ｃ）にて、右眼画像と左眼画像とで、倍率が等しいものとする。

図３にて複数の撮影光学系１４Ｒ、１４Ｌに対して被写体が遠距離になるほど（実際には被写体が両撮影光学系１４Ｒ、１４Ｌの光軸の交点に近いほど）、図４（Ａ）に示すように、右眼画像中の被写体の対応点２００Ｒの位置と、左眼画像中の被写体の対応点２００Ｌ（右眼画像の対応点２００Ｒに対応する点である）の位置とが、一致してくる。実際には、被写体が複数の撮影光学系１４Ｒおよび１４Ｌの光軸の交点に位置するとき、右眼画像と左眼画像とで対応点２００Ｒ、２００Ｌの位置が一致する。その一方で、図３にて複数の撮影光学系１４Ｒ、１４Ｌに対して被写体が近距離になるほど、図４（Ｂ）に示すように、右眼画像中の被写体の対応点２００Ｒの位置と、左眼画像中の被写体の対応点２００Ｌの位置とが、離れてくる。

図４（Ｃ）に示すように、右眼画像および左眼画像間における対応点２００Ｒ、２００Ｌの位置の差ｄが、立体画像における両眼の視差の大きさを示す「視差量」に相当する。つまり、前述のように基線長および輻輳角が固定であり且つ画像の倍率が等しい場合、「視差量」は被写体距離によって決まる。この「視差量」は、立体表示した際に観察者にて飛び出して見える量（飛び出し量）に対応する。

本例の視差量検出部４２は、まず、各視点の撮像画像（右眼画像および左眼画像）における対応点２００Ｒ、２００Ｌの位置（座標）と、両眼の視差量ｄとの対応関係を求める。次に、対応点２００Ｒ、２００Ｌ間の中間位置の座標（中間座標）を求め、視差量ｄと関連付ける。

例えば、図５に示すようにコップ２１０を撮像した場合、少なくとも主要被写体であるコップ２１０の全体について右眼画像２２０Ｒ上の各対応点（２２１Ｒ、２２２Ｒなど）の座標と左眼画像２２０Ｌ上の各対応点（２２１Ｌ、２２２Ｌなど）の座標との差分ｄ１、ｄ２を算出する。次に、各対応点の組み合わせ（２２１Ｒと２２１Ｌ、２２２Ｒと２２２Ｌ）にて中間位置（２２１Ｒと２２１Ｌの中間位置、２２２Ｒと２２２Ｌの中間位置）の座標を求めて、これら各中間位置の座標と視差量ｄ１、ｄ２とを対応付ける。そして、中間位置の座標に基づいて、右眼画像と左眼画像とを重ね合わせた重ね合わせ画像（立体画像）上での分割領域（例えば７×７の分割領域）ごとに、視差量の代表値（例えば最大値）を求める。

なお、図５では、図示の便宜上、二組の対応点２２１Ｒ、２２２Ｒおよび対応点２２１Ｌ、２２２Ｌのみを示したが、実際には、少なくとも主要被写体であるコップ２１０の全体にわたって視差量を求める。

視差量検出の第１の態様として、立体画像から視差量を算出する態様がある。例えば、立体画像を構成する右眼画像および左眼画像にて、それぞれ、色および／または輝度が変化するエッジを検出し、右眼画像で検出したエッジと左眼画像で検出したエッジとに基づいて、右眼画像上の画素と左眼画像上の画素との対応付けを行い、対応付けた画素間の位置の差ｄを算出する。 また、視差量検出の第２の態様として、距離画像を取得する態様がある。具体的には、撮像時に周知の距離画像センサを用いて距離画像を取得し、立体画像および距離画像を互いに関連付けて、データ保存部２２に保存しておく。そして、立体画像の再生時にはデータ保存部２２から距離画像を取得し、その距離画像を視差量情報として用いる。例えば、赤外光パルスを撮影対象範囲に照射し、その撮影対象範囲で反射される赤外光パルス（赤外線エコー）の照射時からの遅延時間を右眼画像および左眼画像の各画素に対応付けて測定し、測定された遅延時間を被写体距離に対応付けることで、立体画像の各画素に対応する被写体距離が算出される。すなわち、距離画像センサにより、いわゆる距離画像を生成する。図６は花柄入りコップの撮像画像２２０（右眼画像または左眼画像）とその撮像画像２２０に対応する距離画像２３０の一例を示す。撮像素子１３４Ｒ、１３４Ｌにより得られる撮像画像２２０は、被写体上の各点の色および輝度を示す画素値（画素情報）を有する画素によって構成される画像であり、人が視認する画像に相当する。その一方で、距離画像２３０は、被写体上の各点までの距離を示す画素値（距離情報）を有する画素によって構成される画像である。ここで、距離画像の画素値（距離情報）を視差量として扱う。言い換えると、距離画像を、視差量を示す画素値を有する画素によって構成される画像（視差量画像）として用いる。なお、図６の距離画像では、便宜上、被写体距離（視差量）を３段階に区分して表したが、もっと細かく区分してよいことは言うまでもない。また、右眼画像と左眼画像とでは、視点が異なることに因り被写体像が異なってくるので、右眼用の撮影光学系１４Ｒに対応する距離画像センサと左眼用の撮影光学系１４Ｌに対応する距離画像センサとを、カメラ１０に設けることにより、各撮像画像（右眼画像、左眼画像）にそれぞれ対応する距離画像を的確に得る。なお、距離画像の画素と立体画像の画素とを一画素対一画素で対応付ける必要はない。立体画像の複数画素（例えば３画素×３画素）からなる二次元ブロックごとに被写体距離を視差量として求めればよい。また、赤外線の代りに、他の波長の電磁波（例えば超音波）を用いて、距離画像を取得してもよい。立体表示を行う際、視差量検出部４２は、データ保存部２２から立体画像（右眼画像および左眼画像）に関連付けられた距離画像を取得し、距離画像の画素値を参照することにより、立体画像の各画素ごとの視差量を検出する。

前述の第１の態様では、立体画像自体に基づいて視差量を取得することでカメラのハードウェアの低コスト化を図ることができる利点があり、第２の態様では、距離画像センサを用いて距離画像を作成することで、容易に視差量を取得できる利点がある。 音源位置決定部４３は、立体画像の各分割領域ごとの視差量に基づいて、表示装置２４上に再生音場の音源位置を決定する。音源位置の決定態様については各種あり、後述する。

画像再生制御部４４は、表示ドライバ３４を介して、表示装置２４に画像を表示させる。本例の画像再生制御部４４は、平面画像の平面表示と、立体画像の立体表示が可能である。立体画像の立体表示と平面表示（単一視点の画像のみ表示）とを切り替え可能に構成してもよい。

音再生制御部４５は、音再生ドライバ３５を介して、音再生装置２５により音を再生させる。音再生装置２５がアナログ信号入力の場合には、音データをデジタル信号から音再生装置２５の入力形式のアナログ信号に変換して、音再生装置２５に出力する。音再生装置２５がデジタル信号入力の場合には、音データを音再生装置２５の入力形式のデジタル信号に変換する。

本実施形態の音再生制御部４５は、音源位置決定部４３にて決定した表示装置２４上の音源位置に、再生音場の現実または仮想の音源位置を設定して、音再生装置２５により音データを音として再生する。以下では、再生音場における現実または仮想の音源位置の設定を「音像定位」ということもある。音再生装置２５の配置およびその配置に適した音像定位の態様には各種あり、後に詳説する。

また、本実施形態の音再生制御部４５は、平面表示から立体表示に切り替える場合、または、立体表示する立体画像を切り替える場合、切り替えの前後にて音を連続的に再生するとともに、一定時間（例えば３秒間）、音源位置決定部４３にて立体画像の各分割領域の視差量に基づいて決定された表示装置２４上の音源位置を再生音場の現実または仮想の音源位置として設定し、音再生を行う。

現実の音源位置設定では、表示装置２４の前面または背面または周囲に音再生装置２５が配置されている場合、音源位置決定部４３にて決定された表示装置２４上の音源位置またはその近傍に位置する音再生装置２５から、実際に音を再生する。仮想の音源位置設定では、例えば表示装置２４から音再生装置２５が離隔して配置されている場合、音源位置決定部４３にて決定された表示装置２４上の音源位置に音源が存在すると立体画像の観察者（音の受聴者である）が感じるように、音再生を行う。本明細書では、再生音場における現実の音源位置設定および仮想の音源位置設定の両方を、「音像定位」という。

音再生装置２５の配置には各種ある。第１に、表示装置２４の前面または背面に、二次元状に音再生装置群を配列し、音像定位を行う態様がある。第２に、表示装置２４の周囲に、一次元状または二次元状に複数の音再生装置を配列し、音像定位を行う態様がある。第３に、表示装置２４から離隔して、複数の音再生装置を配置し、音像定位を行う態様がある。第４に、ヘッドホンまたはイヤホンを人の頭に装着させて、音像定位を行う態様がある。

図７（Ａ）の正面図および図７（Ｂ）の側面図は、表示装置２４の背面側に二次元配列の複数の音再生装置２５を配置した場合の表示装置２４および音再生装置２５群を示す。音源位置決定部４３は、立体画像（右眼画像および左眼画像）を視差量が閾値よりも大きい分割領域と視差量が閾値以下の分割領域とに区分けし、視差量が大きい分割領域（図７（Ａ）にて斜線を引いた分割領域）に対応する表示装置２４上の位置を、再生音場の音源位置と決定する。音再生制御部４５は、表示装置２４の背面に２次元配列された音再生装置２５のうち、音源位置またはその近傍に位置する音再生装置２５（図７（Ｂ）にて斜線を引いた音再生装置）から音を出力する。

なお、本例にて、立体画像を７×７に分割した場合を例に示したが、分割領域の数は任意である。例えば、分割領域内の視差量の最大値を閾値と比較する。

本例にて、表示装置２４には多数の孔が配設されている。例えば、図２に示した表示装置２４にて、短冊画像領域２４Ｒ、２４Ｌの間に孔が配設されている。これらの孔を介して、表示装置２４の背面に配置された音再生装置２５の発生音が、表示装置２４の前面側に伝搬される。

図８（Ａ）の正面図および図８の側面図（Ｂ）にて、立体画像の分割領域のうち視差量がもっとも大きい分割領域を判別する。本例は、蟹の立体画像を７×７に分割し、その蟹のハサミが在る分割領域（図８（Ａ）にて斜線を引いた分割領域）が視差量最大であると判別して、その分割領域に対応する表示装置２４上の位置を音源位置に決定し、表示装置２４の背面に２次元配列された音再生装置２５のうち、音源位置またはその近傍に位置する音再生装置２５（図８（Ｂ）にて斜線を引いた音再生装置）から音を出力する。

図９（Ａ）の正面図および図９（Ｂ）の側面図は、表示装置の前面側に二次元配列の音再生装置群を配置した場合の表示装置および音再生装置群を示す。

本例にて、音再生装置２５群は、透明且つ平面状の音再生装置２５であり、表示装置２４上の画像が透けて見えるようになっている。例えば、表示装置２４の前面側に透明の振動板を設け、電気信号により振動板を振動させることで、音を出力する。ここで、音再生装置２５の全てが透明でなくても、少なくとも部分（例えば半分以上）が透明であってもよい。このような音再生装置として公知の透明スピーカを用いることができる。

図１０は、本発明を適用した立体表示制御処理の一例の流れを示すフローチャートである。本処理は、図１のＣＰＵ４０によってプログラムに従い実行される。

ステップＳ１にて、主制御部４１は、操作部３１での操作を検出する。

ステップＳ２にて、主制御部４１は、操作内容に基づいて再生を行うか否かを判定する。再生を行わない場合には、ステップＳ１に戻り、再生を行う場合には、ステップＳ３に進む。

ステップＳ３にて、データ取得部３２により、画像および音データを取得する。

ステップＳ４にて、主制御部４１は、取得した画像が立体画像であるか平面画像であるかを判定する。立体画像である場合には、ステップＳ６に進み、平面画像である場合（立体画像でない場合）には、ステップＳ５に進む。

平面画像である場合には、ステップＳ９にて、画像再生制御部４４による画像再生と音再生制御部４５による音再生を行う。本例では、全ての音再生装置を選択する。つまり、図１１（Ａ）の平面図および（Ｂ）の側面図に示すように、表示装置２４に平面画像を平面表示するとともに、全ての音再生装置２５から音（例えば背景音）を再生する。本例では、表示装置２４の背面に音再生装置２５が二次元配列されており、図１１（Ａ）にて表示装置２４上の斜線を引いた領域（全領域）の背面の音再生装置２５から、音が出力される。

立体画像である場合には、ステップＳ６にて、視差量検出部４２により、立体画像の各分割領域の視差量を検出する。例えば、距離画像をデータ保存部２２から取得して視差量を検出する。あるいは、立体画像を構成する各視点の撮像画像（右眼画像および左眼画像）にて互いに対応する対応点を検出し、検出した対応点同士の立体画像上の位置の差を視差量として算出する。そして、各分割領域ごとに、視差量の代表値を決定する。

ステップＳ７にて、音源位置決定部４３により、立体画像の飛び出し部分を判定する。例えば、視差量の代表値が最大である分割領域を判別し、その分割領域に対応する表示装置２４上の位置を音源位置と決定する。視差量の代表値が閾値よりも大きい分割領域を判別し、その分割領域に対応する表示装置２４上の位置を音源位置と決定してもよい。

ステップＳ８にて、音再生制御部４５により、再生音場における現実または仮想の音源位置を設定する。本例では、音源位置に位置する音再生装置２５（または音源位置の近傍に位置する音再生装置２５）を選択する。

そして、ステップＳ９にて、画像再生制御部４４により表示装置２４に立体画像を立体表示するとともに、音再生制御部４５により音再生装置２５から音を再生する。ここで、立体画像を表示してから一定時間、ステップＳ８にて選択された音再生装置２５からのみ音出力を行う。

画像の切り替え直前には、図１１（Ａ）および（Ｂ）に示したように、二次元状に配置された音再生装置群の全音再生装置２５から音を出力するが、画像の切り替え直後には、図８（Ａ）および（Ｂ）に示したように、視差量の大きい箇所に配置された音再生装置２５のみから音を出力する。なお、図８（Ａ）および（Ｂ）は視差量が最も大きい箇所に配置された音再生装置２５のみから音を出力する場合を示しているが、図７（Ａ）および（Ｂ）に示したように、視差量が閾値よりも大きい箇所に配置された複数の音再生装置２５から音を出力するようにしてもよい。

これにより、背景音（いわゆるＢＧＭ）を流したまま、切り替えた立体画像の立体感を観察者に認識させることができる。

なお、図８および図１１を用いて表示装置２４の背面に音再生装置２５を配置した場合を例に再生制御処理の流れを説明したが、図９（Ａ）および（Ｂ）に示したように、表示装置２４の前面に透明平面状の音再生装置２５を配置した場合でも、同様に再生制御処理を行えばよい。

以上のように表示装置２４の背面または前面に音再生装置群を配置した場合、音再生制御部４５は、音源位置決定部４３によって決定された表示装置２４の音源位置（またはその近傍の位置）に配置された音再生装置２５から音再生を行う。このように表示装置２４上の現実の音源位置を制御する場合、立体画像の観察者に、立体画像の視差量が大きい領域を直接的に示すことができ、好ましい。音源位置に対応する音再生装置２５の音出力レベル（音量）を、他の音再生装置よりも大きくしてもよい。

また、表示装置２４と音再生装置２５とを一体化することにより、室内スペースの有効活用が可能になる。

図１２（Ａ）〜（Ｃ）に示すように、表示装置２４の周囲に、複数の音再生装置２５を配列してもよい。配列は、一次元状または二次元状のいずれでもよい。この場合、音再生制御部４５は、音源位置決定部４３によって決定された表示装置２４の音源位置に最も近い音再生装置から音再生を行う。

なお、音像定位の態様には各種あり、複数の音再生装置２５を表示装置２４の前面または背面または周囲に配列しなくても、表示装置２４から離隔した位置に配置する態様も可能である。音再生制御部４５は、音源位置決定部４３によって決定された表示装置２４上の音源位置を、仮想の音源位置として、音像定位を行う。このような音像定位には、公知の音場再生システムにて用いられている周知の音像定位技術を用いることができる。

例えば、人は左右の両耳により２チャンネルの音を聴いており、これに対応した２チャンネル（ステレオ）の再生音場では、二つの音再生装置を用いて音像定位を行うことができる。再生音場を受聴者の耳付近と限定し、人の頭に装着されるヘッドホンまたはイヤホンを用い、音像定位を行ってもよい。スピーカを用いてもよいことは勿論である。

多チャンネルの再生音場では、受聴者の側方や後方に、容易に音像定位することができる。例えば、５．１チャンネル・サラウンドシステムでは、受聴者を取り囲むように前方右、前方中央、前方左、後方右および後方左に配置した五つの音再生装置と低音専用の一つの音再生装置により、受聴者の側方から後方に至るまで、良好に音像を定位させることができる。室内の伝達経路（例えば反響）を用いることで、音再生装置を受聴者の後方に配置することなく、受聴者の後方に音像定位することも可能である。

具体的には、音のレベル差、時間差、位相差などを制御することで、音像定位を行う。

以上説明したように、本発明によれば、平面表示から立体表示に切り替える際、および、立体表示する立体画像を切り替える際に、音像定位を用いることで、立体画像のうちどこが飛び出して見える箇所であるのかを観察者に把握させることができる。

もっとも、音像定位とともに、表示装置２４に表示される立体画像を徐々に完成させていくようにしてもよい。具体的には、平面表示から立体表示に切り替える際、および、立体表示する立体画像を切り替える際に、立体画像のうち視差量が大きい領域から視差量が小さい領域に向って順に、または、立体画像のうち視差量が小さい領域から視差量が大きい領域に向って順に、表示装置２４に与える立体画像の情報を追加していく。

例えば、音再生制御部４５は、表示装置２４に立体画像の全部が未表示の状態または立体画像を部分的に表示させた状態から、表示装置２４に立体画像の欠落した部分を順に表示させていく。

また、例えば、音再生制御部４５は、表示装置２４に立体画像を単一色にて立体表示させた後、表示装置２４に与える立体画像の色情報を順に追加していくことで、立体画像を単一色（例えばモノクロ）の立体表示からカラーの立体表示に徐々に変化させる。

また、例えば、音再生制御部４５は、表示装置２４に立体画像を単一輝度にて立体表示させた後、表示装置２４に与える立体画像の輝度情報を順に追加していくことで、立体画像を単一輝度の立体表示から多階調の輝度の立体表示に徐々に変化させる。

また、例えば、音再生制御部４５は、表示装置２４に立体画像を構成する単一の視点画像のみを表示させた後、表示装置２４に与える立体画像の他の視点画像を順に追加していくことで、立体画像を平面表示から立体表示に徐々に変化させる。

また、例えば、音再生制御部４５は、表示装置２４に立体画像を粗表示させた後、立体画像の各領域を粗表示から精密表示に変えていく。

なお、音再生装置は、前述した例に特に限定されない。例えば、表示装置２４の前面または背面に配置する場合、音再生装置２５の形状は平面状に特に限定されない。また、表示装置２４の周囲に配置する場合、および、表示装置２４から離隔して配置する場合、音再生装置の形状や配列形状は特に限定されない。また、例えば、ヘッドホンは耳に装着するものに特に限定されず、例えば骨伝導のヘッドホンを用いてもよい。

また、音源位置を移動させてもよい。例えば、立体画像に視差量が閾値よりも大きな分割領域が複数ある場合に、視差量が小さい順または視差量が大きい順に、音源位置を移動させる。つまり、音源位置の移動により音源位置を認識しやすい人の聴覚特性を利用して、音源位置決定部４３は、視差量が小さい分割領域から視差量が大きい分割領域に向けて音源位置を移動させてもよいし、視差量が大きい分割領域から視差量が小さい分割領域に向けて音源位置を移動させてもよい。

この場合、最も飛び出て見える箇所（視差量が最大である分割領域）をユーザに認識させなくても、飛び出て見える複数の箇所（視差量が閾値以上である複数の分割領域）をユーザに認識させることができればよい。

再生音場における音源位置の移動は、音再生する音再生装置２５を切り替えて現実の音源位置を移動させてもよいし、仮想の音源位置を移動させてもよい。

また、本発明は、原音場の音源位置に基づく再生音場の音像定位を排除するものではなく、原音場の音源位置情報をデータ保存部２２から取得し、立体表示する際に一定時間（数秒間）だけ視差量に基づく音像定位を行った後、原音場の音源位置情報に基づく音像定位に切り替えて音再生を行ってもよい。

また、本発明は、図１３（Ａ）に示すように１台の表示装置２４により立体表示する場合に特に限定されない。図１３（Ｂ）に示すように複数の表示装置２４ａ〜２４ｄを用いて、図１３（Ａ）に示すシングルディスプレイと等価なマルチディスプレイにより立体表示を行ってもよい。例えば展示場等で大きな画像を表示したい場合にマルチディスプレイを用いる。

また、表示制御装置は、画像および音の再生を制御する場合に特に限定されない。本発明は、デジタルカメラ、携帯電話など各種の携帯端末をはじめとして、テレビジョン、パーソナルコンピュータなど、各種の電子機器に適用することができる。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

２２…データ保存部、２４…表示装置、２５…音再生装置、３０…立体表示制御装置、３２…データ取得部、４０…ＣＰＵ、４２…視差量検出部、４３…音源位置決定部、４４…画像再生制御部、４５…音再生制御部、１００…立体表示システム

Claims (13)

1. 表示装置および複数の音再生装置を用いて音再生を伴う立体表示を行う立体表示制御装置であって、
   立体画像および音データを取得するデータ取得手段と、
   前記立体画像の各領域の視差量を検出する視差量検出手段と、
   前記立体画像の各領域の前記視差量に基づいて、前記表示装置上に再生音場の音源位置を決定する音源位置決定手段と、
   前記表示装置により前記立体画像を立体表示するとともに、前記音源位置決定手段にて決定した前記表示装置上の前記音源位置に再生音場の現実または仮想の音源位置を設定して、前記音再生装置により前記音データを音として再生する再生制御手段と、
   を備えたことを特徴とする立体表示制御装置。
2. 前記音源位置決定手段は、前記立体画像を前記視差量が大きい領域と前記視差量が小さい領域とに区分けし、前記立体画像の前記視差量が大きい領域に対応する前記表示装置上の位置を前記音源位置と決定することを特徴とする請求項１に記載の立体表示制御装置。
3. 前記再生制御手段は、前記立体画像に前記視差量が大きい領域が複数ある場合、前記表示装置上で前記音源位置を移動させることを特徴とする請求項２に記載の立体表示制御装置。
4. 前記音源位置決定手段は、前記立体画像を複数に分割した領域のうち前記視差量が最も大きい領域を判別し、前記立体画像の前記視差量が最も大きい領域に対応する前記表示装置上の位置を前記音源位置と決定することを特徴とする請求項１に記載の立体表示制御装置。
5. 前記再生制御手段は、平面表示から立体表示に切り替える場合または立体表示する立体画像を切り替える場合、切り替えの前後にて音を連続的に再生するとともに、一定時間、前記立体画像の各領域の前記視差量に基づいて決定された前記音源位置により音再生を行うことを特徴とする請求項１ないし４のうちいずれか１項に記載の立体表示制御装置。
6. 前記再生制御手段は、前記複数の音再生装置のうち、前記表示装置上の前記音源位置に対応する音再生装置の音量を他の音再生装置の音量よりも大きくすることを特徴とする請求項１ないし４のうちいずれか１項に記載の立体表示制御装置。
7. 複数の前記音再生装置は、前記表示装置の前面または背面に二次元状に配列された音再生装置群によって構成されていることを特徴とする請求項１ないし６のうちいずれか１項に記載の立体表示制御装置。
8. 前記音再生装置は、透明の平面状音再生装置であり、前記表示装置の前面に配置されていることを特徴とする請求項７に記載の立体表示制御装置。
9. 複数の前記音再生装置は、前記表示装置の周囲に配列されていることを特徴とする請求項１ないし６のうちいずれか１項に記載の立体表示制御装置。
10. 複数の前記音再生装置は、前記表示装置から離隔して配置され、
    前記再生制御手段は、前記音源位置を再生音場の仮想の音源位置として音像定位を行うことを特徴とする請求項１ないし５のうちいずれか１項に記載の立体表示制御装置。
11. 複数の前記音再生装置は、人の頭に装着されるヘッドホンまたはイヤホンで構成され、
    前記再生制御手段は、前記音源位置を再生音場の仮想の音源位置として音像定位を行うことを特徴とする請求項１ないし５のうちいずれか１項に記載の立体表示制御装置。
12. 請求項１ないし１１のうちいずれか１項に記載の立体表示制御装置、前記表示装置および前記音再生装置を備えたことを特徴とする立体表示システム。
13. 表示装置および複数の音再生装置を用いて音再生を伴う立体表示を行う立体表示制御方法であって、
    立体画像および音データを取得するデータ取得ステップと、
    前記立体画像の各領域の視差量を検出する視差量検出ステップと、
    前記立体画像の各領域の前記視差量に基づいて、前記表示装置上に再生音場の音源位置を決定する音源位置決定ステップと、
    前記表示装置により前記立体画像を立体表示するとともに、前記音源位置決定手段にて決定した前記表示装置上の前記音源位置に再生音場の現実または仮想の音源位置を設定して、前記音再生装置により前記音データを音として再生する再生ステップと、
    を含むことを特徴とする立体表示制御方法。