JP4636149B2 - 画像データ解析装置、および画像データ解析方法、並びにプログラム - Google Patents

Description

本発明は、画像データ解析装置、および画像データ解析方法、並びにプログラムに関する。特に時分割方式による立体表示画像を正しく観察可能とするための画像解析を行う画像データ解析装置、および画像データ解析方法、並びにプログラムに関する。

特に時分割立体映像データ中の各フレームが左画像であるか右画像であるかを示す情報が映像データ中に付加されていないような時分割立体映像データの各フレームが左画像であるか右画像であるかを識別して、適切な立体視を実現するための画像表示制御や、表示画像の観察用メガネや偏光器の制御を行う制御信号を生成する装置、および方法、並びにプログラムに関する。

一般に、テレビ・映画等の映像メディアでは映像データは平面上に表示される。そのため、表示されている映像を人が観察しても、その映像に関する奥行き情報を知覚することはできない。ステレオ視の原理を用いることで、平面上に映像データを表示していても観察者に奥行きを知覚させることが可能であることは古くから知られており、実用化もなされていたが、一般に広く普及している状況ではなかった。

ところが、近年、ステレオ視が可能な仕組みを搭載した３Ｄテレビが実際に商品として販売され始め、さらに一般の放送網を利用した立体映像放送のテスト運用なども始まっている。また、３Ｄ映画の上映に対応した映画館が顕著に増えつつあるなど、３Ｄの映像を視聴するための環境が急速に普及しつつある。

ステレオ視では人間の左右の目それぞれに異なる視点から撮影した映像を呈示することで、左右の映像の視差による奥行き知覚、または輻輳による奥行き知覚を発生させる。その結果、平面上に表示された映像データであっても人間は奥行きを知覚することができる。なお、立体映像表示処理に関する従来技術を開示した文献としては、例えば特許文献１〜６がある。

ステレオ視において、左右の目それぞれに異なる映像を呈示する方法は数多く提案されているが、その一つが時分割方式である。時分割方式では左右の目それぞれに呈示されるべき異なる映像（＊以後、左目のみに呈示されるべき映像を左画像、右目のみに呈示されるべき映像を右画像と呼ぶことがある）を交互に呈示する。例えば左画像を偶数番目のフレームとして、右画像を奇数番目のフレームとして交互に表示する。

観察者は、左右の眼交互に開閉を繰り返す例えば液晶シャッターメガネを装着して画像を観察する。左画像が提示されているタイミングで液晶シャッターメガネの左目側を開状態にして右目側を閉状態にする。この制御により、観察者の右目への入射光を遮断して左目のみで画像を観察させる。右画像が提示されているタイミングでは、観察者の左目への映像の入射を遮断して、右目のみで画像を観察させる。これにより、観察者は左目では左画像のみを、右目では右画像のみを知覚するので立体視が実現される。

あるいは、右画像と左画像をそれぞれ右円偏光または左円偏光へと偏光された右円偏光または左円偏光画像として表示して、偏光メガネを利用して右画像と左画像をそれぞれ右目と左目交互に観察する構成もある。

上述のように、時分割方式の立体映像表示構成について、液晶シャッターメガネや偏光メガネを利用した方式が知られており実用化されている。しかしながら、時分割方式の立体映像表示システムにおいては、例えば液晶シャッターメガネを用いる場合、左右画像の表示タイミングと液晶シャッターメガネの左右の開閉とが同期していないと適切な立体視は実現されない。すなわち、左画像が提示されているときに液晶シャッターメガネの右が開き、右画像が提示されているときにメガネの左が開くような、左右の映像が逆転した事態に陥ると、観察者はすべての奥行きが逆転した映像を観察することになり、本来手前に存在するべきものを奥に、奥に存在するべきものを手前に認識し、強い違和感・不快感・疲労感などを感じることになる。

上述のような左右の映像の逆転現象が発生することを防ぐために、特許文献７（特開平０５−１４９３２号公報）では、左右の識別信号を映像信号に重畳し、この識別信号に基づいてシャッターメガネを駆動する立体テレビジョン信号処理方式が開示されている。しかしながら、この方式では予め映像信号に左右の識別信号を重畳するという作業が必要となる。また、識別信号が重畳されていない時分割立体表示方式の映像データに対応することはできない。

上記の他にも、観察者が左右の映像が逆転して表示されていると感じた場合に、左右の表示タイミングを反転させることが可能なスイッチを設けているシャッターメガネの駆動装置も存在する。しかしながら、必ずしもすべての観察者が左右映像の逆転現象の発生を的確に認識できるとは限らない。さらには、映像データ中の左右画像のフレームが常に確実に交互に配置されているかどうかは定かではない。また、複数の異なる映像データを連続して再生する場合にも、左右画像の表示タイミングが一定であるとは限らない。よって、左右映像の逆転現象が発生する度にスイッチの操作をおこなわなければならない。
特開平９−１０７５６２号公報 特開平８−３０８０６号公報 特開平１０−５１８１２号公報 特開２０００−２０９６１４号公報 特開２００５−１５１５３４号公報 特開平６−１９４６０２号公報 特開平０５−１４９３２号公報

本発明は、例えば上述の問題点に鑑みてなされたものであり、時分割方式の立体画像表示、すなわち左目用の左画像と右目用の右画像とを交互に表示する立体画像表示処理を行う構成において、観察者が左画像は左目で観察し、右画像は右目で観察し、逆の眼で観察してしまうといった誤った処理を防ぐための制御を可能とした画像データ解析装置、および画像データ解析方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別部と、
前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別部と、
前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別部と、
を有する画像データ解析装置にある。

さらに、本発明の画像データ解析装置の一実施態様において、前記左右画像識別部は、前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果の一致度が低い場合は、前記両眼奥行き情報判別部の設定した仮定が誤りであると判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と逆の設定とした識別情報として出力する構成である。

さらに、本発明の画像データ解析装置の一実施態様において、前記単眼奥行き情報判別部、および、前記両眼奥行き情報判別部は、それぞれ複数の領域についての複数の判別結果を生成する構成であり、前記左右画像識別部は、前記単眼奥行き情報判別部の複数の第１判別結果と、前記両眼奥行き情報判別部の複数の第２判別結果を入力して比較を行い、一致度が予め設定した閾値以上である場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力し、一致度が予め設定した閾値未満である場合は、前記両眼奥行き情報判別部の設定した仮定が誤りであると判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と逆の設定とした識別情報として出力する構成である。

さらに、本発明の画像データ解析装置の一実施態様において、前記両眼奥行き情報判別部は、前記時分割表示型の立体映像データを構成する画像フレームを偶数フレームと奇数フレームに分割し、偶数フレームを左画像、奇数フレームを右画像とする仮定、あるいはその逆の仮定を設定して、該仮定の下で左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する処理を行う構成である。

さらに、本発明の画像データ解析装置の一実施態様において、前記両眼奥行き情報判別部は、選択した左画像および右画像を含む複数画像を適用したステレオマッチング処理を実行して、画像フレームに含まれる領域の前後関係を判別する処理を行う構成である。

さらに、本発明の画像データ解析装置の一実施態様において、前記単眼奥行き情報判別部は、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の撮像ボケ、または領域の垂直方向の位置関係から、画像フレームに含まれる領域の前後関係を判別する処理を行う構成である。

さらに、本発明の画像データ解析装置の一実施態様において、前記単眼奥行き情報判別部は、左画像または右画像のいずれか一方の複数画像を適用して移動する２つの領域をトラッキングし、重なりを検知することで２つの領域の前後関係を判別する処理を行う構成である。

さらに、本発明の第２の側面は、
左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別部と、
前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別部と、
前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別部と、
前記立体映像データを構成する画像フレーム単位で切り替わる液晶シャッターメガネ対応のシャッター駆動信号を出力するシャッター駆動信号出力部と、
前記左右画像識別部から出力される識別信号と、前記シャッター駆動信号出力部から出力されるシャッター駆動信号を入力し、前記識別信号に応じて前記シャッター駆動信号を変更して液晶シャッターメガネに対する制御信号として出力する信号反転部を有する液晶シャッター制御装置にある。

さらに、本発明の液晶シャッター制御装置の一実施態様において、前記信号反転部は、前記左右画像識別部から出力される識別信号と、前記シャッター駆動信号出力部から出力されるシャッター駆動信号との排他的論理和演算を実行して、排他的論理和演算結果を液晶シャッターメガネに対する制御信号として出力する構成である。

さらに、本発明の第３の側面は、
左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別部と、
前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別部と、
前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別部と、
前記立体映像データを構成する画像フレーム単位で切り替わる偏光器対応の偏光器駆動信号を出力する偏光器駆動信号出力部と、
前記左右画像識別部から出力される識別信号と、前記偏光器駆動信号出力部から出力される偏光器駆動信号を入力し、前記識別信号に応じて前記偏光器駆動信号を変更して偏光器に対する制御信号として出力する信号反転部を有する偏光制御装置にある。

さらに、本発明の偏光制御装置の一実施態様において、前記信号反転部は、前記左右画像識別部から出力される識別信号と、前記偏光器駆動信号出力部から出力される偏光器駆動信号との排他的論理和演算を実行して、排他的論理和演算結果を偏光器に対する制御信号として出力する構成である。

さらに、本発明の第４の側面は、
画像データ解析装置において実行する画像データ解析方法であり、
単眼奥行き情報判別部が、左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別ステップと、
両眼奥行き情報判別部が、前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別ステップと、
左右画像識別部が、前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別ステップと、
を有する画像データ解析方法にある。

さらに、本発明の第５の側面は、
画像データ解析装置において画像データ解析処理を実行させるプログラムであり、
単眼奥行き情報判別部に、左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別させる単眼奥行き情報判別ステップと、
両眼奥行き情報判別部に、前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別させる両眼奥行き情報判別ステップと、
左右画像識別部に、前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行わせ、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力させる左右画像識別ステップと、
を有するプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、時分割表示型の立体表示映像データを入力し、入力データを構成する画像フレームが右目用の右画像であるか左目用の左画像であるかを正確に識別する。左画像または右画像のいずれか一方の画像を適用して画像に含まれる領域の前後関係を判別する単眼奥行き情報判別部と、左画像と仮定する画像と、右画像と仮定する画像を含む複数画像を適用して領域の前後関係を判別する両眼奥行き情報判別部と、これら２つの奥行き情報判別部の２つの判別結果を比較して一致度が高い場合は、両眼奥行き情報判別部の設定した仮定が正しいと判断して、その仮定と一致する左右画像識別情報を出力し、一致度が低い場合は仮定が正しくないと判断して、仮定と逆の左右画像識別情報を出力する。この処理によって、時分割表示型の立体表示映像データを構成する各画像の正しい左右画像識別が可能となり、この識別情報を利用した制御によって正しい奥行き感の得られる立体画像表示および観察が可能となる。

以下、図面を参照しながら本発明の画像データ解析装置、および画像データ解析方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
（１）画像データ解析装置の構成および原理説明
（２）液晶シャッター制御装置としての利用例
（３）偏光制御装置としての利用例

（１）画像データ解析装置の構成および原理説明
図１に本発明の一実施例に係る画像データ解析装置の基本構成を示す。図１に示すように、本発明の一実施例に係る画像データ解析装置１００は、単眼奥行き情報判別部１０１、両眼奥行き情報判別部１０２、左右画像識別部１０３を有する。

画像データ解析装置１００には、時分割方式の立体映像データ１０が入力される。時分割方式の立体映像データ１０は、左目のみに呈示されるべき画像フレームである左画像、右目のみに呈示されるべき画像フレームである右画像が交互に並べられた映像データである。例えば偶数フレームが左目のみに呈示されるべき左画像、奇数フレームが右目のみに呈示される右画像、あるいはその逆の組み合わせとなる。

単眼奥行き情報判別部１０１には立体映像データ１０を構成するフレームの内、一方の目用の画像のみが入力される。本実施例では、偶数フレームのみが入力されるものとして説明する。単眼奥行き情報判別部１０１は、入力された偶数フレームを参照し、フレーム中の複数の領域に関して、その奥行きを判別し、結果を左右画像識別部１０３に出力する。

一方、両眼奥行き情報判別部１０２には立体映像データ１０を構成する全てのフレームが入力される。すなわち、左目のみに呈示されるべき画像フレームである左画像、右目のみに呈示されるべき画像フレームである右画像が交互に並べられた映像データの構成フレームの全てが入力される。

両眼奥行き情報判別部１０２は、入力された立体映像データの偶数フレームと奇数フレームを参照し、例えば偶数フレームを左画像と仮定した上でフレーム中の複数の領域に関して、ステレオマッチングによりその奥行きを判別し、結果を左右画像識別部１０３に出力する。

左右画像識別部１０３は、単眼奥行き情報判別部１０１により入力された複数の領域の奥行きと、両眼奥行き情報判別部１０２により入力された複数の領域の奥行きとが矛盾しているかどうかを調べることによって、立体映像データ１０の偶数フレームと奇数フレームのいずれが左画像でいずれが右画像であるのかを識別し、その結果を出力する。各部の詳細を以下に説明する。

まず、単眼奥行き情報判別部１０１について説明する。
単眼奥行き情報判別部１０１には立体映像データ１０を構成するフレームの内、右目用の画像である右画像、または左目用の画像である左画像の一方の画像のみが入力されるすなわち、偶数フレームまたは奇数フレームのいずれか一方のみが入力される。

以後、単眼奥行き情報判別部１０１には、偶数フレームのみが入力されるとして説明をおこなう。単眼奥行き情報判別部１０１は入力された偶数フレームの１つの画像フレームに含まれる２つ以上の領域を選択し、それらの領域の奥行き方向の前後関係を偶数フレームのみを用いて検出する。

この左目用の左画像、あるいは右目用の右画像のいずれか一方の目用の画像フレームから奥行き方向の前後関係を検出する方法には様々な手法が適用可能である。例えば、１枚のフレームから領域の前後関係を推測する既存技術としては、領域の撮像ボケから推測する方法や、領域の垂直方向の位置関係などから、下にあるものほど手前にあると推測する方法などがある。

また、複数のフレーム（但し、偶数フレームのみ）を利用して領域の前後関係を推測する方法としては、移動する２つの領域をトラッキングし、重なりを検知することで２つの領域の奥行き方向の前後関係を検出する方法などがある。

単眼奥行き情報判別部１０１は、例えばこれらの方法を適用して画像フレームを構成する複数の領域や、画像フレームに存在するオブジェクトの前後関係を検出する。なお、この際、奥行き方向の前後関係のみが検出されれば良く、各領域の具体的な奥行きを検出する必要はない。

単眼奥行き情報判別部１０１の実行する単眼奥行き情報判別処理の具体例について説明する。

単眼奥行き情報判別部１０１は、例えば画像フレームを構成する複数の領域の前後関係、すなわち各領域が、画像フレームを撮影したカメラに近い位置にあるか遠い位置にあるかの検出を行う。例えば、６つの領域Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｆを奥行き検出の対象として設定した場合、６つの領域Ａ〜Ｆの前後関係を全て明らかにする。つまり、６つの領域Ａ〜Ｆが手前から奥に向って、どのような順で並んでいるかを検出する。

あるいは、例えばＡとＢ、ＣとＤ、ＥとＦという領域の組に関して、それぞれの組の領域の前後関係を明らかにする。すなわち、例えばＡはＢよりも手前にあり、ＤはＣよりも手前にあり、ＥはＦよりも手前にあるといった情報を検出する。

いずれの場合でも、単眼奥行き情報判別部１０１は、フレーム中の複数の領域に関して、相対的な前後関係を検出し、その結果を左右画像識別部１０３に出力する。

続いて、両眼奥行き情報判別部１０２の処理について説明する。両眼奥行き情報判別部１０２には、立体映像データ１０を構成する偶数フレームおよび奇数フレームが共に入力される。

両眼奥行き情報判別部１０２は、例えば偶数フレームを左画像と仮定し、奇数フレームを右画像と仮定した上で、ステレオマッチングにより、単眼奥行き情報判別部１０１が用いたと同じ複数の領域、あるいはオブジェクトの奥行きを検出する。

両眼奥行き情報判別部１０２は、左画像と右画像の双方の画像を用いてステレオマッチングを行って単眼奥行き情報判別部１０１が用いたと同じ複数の領域、あるいはオブジェクトの奥行きを検出する。ステレオマッチングの手法としては、様々な手法が適用可能である。例えばブロックマッチングに基づく方法や、動的計画法に基づく方法が利用可能である。

例えば、上述したように単眼奥行き情報判別部１０１が、偶数フレーム（例えば左画像）のみから６つの領域Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｆについての前後関係を判別する場合、両眼奥行き情報判別部１０２も、６つの領域Ａ・Ｂ・Ｃ・Ｄ・Ｅ・Ｆについての前後関係を偶数および奇数フレーム、すなわち左画像と右画像を用いて判別する。

左画像と仮定されるフレームと右画像と仮定されるフレームを用いることによって、これら６つの領域のディスパリティを検出することができ、６つの領域Ａ〜Ｆの奥行き方向の前後関係が明らかになる。または、両眼奥行き情報判別部１０２は、例えばＡとＢ、ＣとＤ、ＥとＦという領域の組に関して、それぞれの組の領域の前後関係を明らかにする設定としてもよい。すなわち、例えばＡはＢよりも手前にあり、ＤはＣよりも手前にあり、ＥはＦよりも手前にあるといった情報を検出する設定としてもよい。

以上のいずれの場合でも、両眼奥行き情報判別部１０２は、領域間の奥行き方向の前後関係を検出すれば十分であり、具体的な奥行き量を検出する必要はない。両眼奥行き情報判別部１０２は検出した複数の領域に関する前後関係の結果を左右画像識別部１０３に出力する。

単眼奥行き情報判別部１０１と、両眼奥行き情報判別部１０２の処理態様、例えば、
（１）Ａ〜Ｆのすべての前後関係を明らかにする
（２）Ａ〜Ｆの２つの組、ＡとＢ、ＣとＤ、ＥとＦという領域の組に関して、それぞれの組の領域の前後関係を明らかにする
これら（１），（２）の処理のいずれかを行うかは、どちらでもよいが、２つの判別部とも同様の処理を行うことが好ましい。

最後に左右画像識別部１０３の処理について説明する。左右画像識別部１０３は、上述の単眼奥行き情報判別部１０１および両眼奥行き情報判別部１０２により得られた、複数の領域、あるいはオブジェクトの前後関係が一致するか否かを検証する。

さらに単眼奥行き情報判別部１０１および両眼奥行き情報判別部１０２の判定結果の一致、または不一致情報に基づいて、入力された立体映像データの偶数フレームが左画像であるのか右画像であるのか、奇数フレームが右画像であるのか左画像であるのかを識別する。

具体的には、単眼奥行き情報判別部１０１から得られた複数の領域の前後関係と、両眼奥行き情報判別部１０２から得られた複数の領域の前後関係が一致している場合、左右画像識別部１０３は、偶数フレームまたは奇数フレームの内、両眼奥行き情報判別部１０２がステレオマッチングの際に左画像であると仮定したフレームを左画像と識別し、残りのフレームを右画像であると識別する。

一方、単眼奥行き情報判別部１０１から得られた複数の領域の前後関係と、両眼奥行き情報判別部１０２から得られた複数の領域の前後関係が一致しない場合、左右画像識別部１０３は、偶数フレームまたは奇数フレームの内、両眼奥行き情報判別部１０２がステレオマッチングの際に左画像であると仮定したフレームを右画像と識別し、残りのフレームを左画像であると識別する。

以下、単眼奥行き情報判別部１０１および両眼奥行き情報判別部１０２が、ＡとＢ、ＣとＤ、ＥとＦという領域の組に関する奥行きの前後関係を解析し、その結果を入力した場合の左右画像識別部１０３の処理例について説明する。

両眼奥行き情報判別部１０２は、
偶数フレームを左目用の左画像、
奇数フレームを右目用の右画像、
この仮定の下にステレオマッチングをおこなうものとする。

なお、領域Ａが領域Ｂより奥に存在する（画像を撮影したカメラから遠い）との判定を、
Ａ＞Ｂ
と表現する。
例えば、単眼奥行き情報判別部１０１や両眼奥行き情報判別部１０２の各々は、
［Ａ＞Ｂ、Ｃ＞Ｄ、Ｅ＞Ｆ］といった情報を、左右画像識別部１０３に出力する。
［Ａ＞Ｂ、Ｃ＞Ｄ、Ｅ＞Ｆ］は、
ＡはＢよりも奥（カメラから遠い）にあり、ＣはＤよりも奥にあり、ＥはＦよりも奥にあるということを意味する。

以下、
（ａ）単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が完全に一致する場合
（ｂ）単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が全て不一致である場合
（ｃ）単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が一部一致し、一部不一致の場合
（ｃ１）一致する割合が大きい場合
（ｃ２）不一致の割合が大きい場合
これらの（ａ）〜（ｃ）の各ケースについて説明する。

（ａ）単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が完全に一致する場合
単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が完全に一致する場合は、例えば以下の例である。
単眼奥行き情報判別部１０１の出力→［Ａ＞Ｂ、Ｃ＜Ｄ、Ｅ＞Ｆ］、
両眼奥行き情報判別部１０２の出力→［Ａ＞Ｂ、Ｃ＜Ｄ、Ｅ＞Ｆ］、
このような判別結果が、左右画像識別部１０３に入力された場合の処理は以下の通りである。

単眼奥行き情報判別部１０１の判別結果と両眼奥行き情報判別部１０２の判別結果とが一致している。この場合、左右画像識別部１０３は、両眼奥行き情報判別部１０２の奥行き判別処理において設定した仮定、すなわち、
「偶数フレームが左画像であり奇数フレームが右画像」
この仮定は正しいと判断する。結果として、左右画像識別部１０３は、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定、すなわち、
「偶数フレームが左画像であり奇数フレームが右画像」
この情報を左右画像識別結果として出力する。

（ｂ）単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が全て、不一致である場合
単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が完全に不一致である場合は、例えば以下の例である。
単眼奥行き情報判別部１０１の出力→［Ａ＞Ｂ、Ｃ＜Ｄ、Ｅ＞Ｆ］、
両眼奥行き情報判別部１０２の出力→［Ａ＜Ｂ、Ｃ＞Ｄ、Ｅ＜Ｆ］、
このような判別結果が、左右画像識別部１０３に入力された場合の処理は以下の通りである。

この場合、単眼奥行き情報判別部１０１の判別結果と両眼奥行き情報判別部１０２の判別結果とが全て一致していない。この場合、左右画像識別部１０３は、両眼奥行き情報判別部１０２の奥行き判別処理において設定した仮定、すなわち、
「偶数フレームが左画像であり奇数フレームが右画像」
この仮定は誤りであると判断する。結果として、左右画像識別部１０３は、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定と逆の設定、すなわち、
「偶数フレームが右画像であり奇数フレームが左画像」
この情報を左右画像識別結果として出力する。

（ｃ）単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が一部一致し、一部不一致の場合
単眼奥行き情報判別部１０１と両眼奥行き情報判別部１０２の判別結果が一部一致し、一部不一致の場合は、
（ｃ１）一致する割合が大きい
（ｃ２）不一致の割合が大きい
上記（ｃ１），（ｃ２）のケースによって異なる処理となる。

（ｃ１）一致する割合が大きい場合は、例えば以下の例である。
単眼奥行き情報判別部１０１の出力→［Ａ＞Ｂ、Ｃ＜Ｄ、Ｅ＞Ｆ］、
両眼奥行き情報判別部１０２の出力→［Ａ＞Ｂ、Ｃ＜Ｄ、Ｅ＜Ｆ］、
このような場合である。

上記例では、単眼奥行き情報判別部１０１の判別結果と両眼奥行き情報判別部１０２の判別結果とが概ね一致している。この場合、左右画像識別部１０３は、両眼奥行き情報判別部１０２の奥行き判別処理において設定した仮定、すなわち、
「偶数フレームが左画像であり奇数フレームが右画像」
この仮定は正しいと判断する。結果として、左右画像識別部１０３は、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定、すなわち、
「偶数フレームが左画像であり奇数フレームが右画像」
この情報を左右画像識別結果として出力する。

（ｃ１）不一致の割合が大きい場合は、例えば以下の例である。
単眼奥行き情報判別部１０１の出力→［Ａ＞Ｂ、Ｃ＜Ｄ、Ｅ＞Ｆ］、
両眼奥行き情報判別部１０２の出力→［Ａ＞Ｂ、Ｃ＞Ｄ、Ｅ＜Ｆ］、
このような場合である。

上記例では、単眼奥行き情報判別部１０１の判別結果と両眼奥行き情報判別部１０２の判別結果とが概ね不一致である。この場合、左右画像識別部１０３は、両眼奥行き情報判別部１０２の奥行き判別処理において設定した仮定、すなわち、
「偶数フレームが左画像であり奇数フレームが右画像」
この仮定は誤りであると判断する。結果として、左右画像識別部１０３は、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定と逆の設定、すなわち、
「偶数フレームが右画像であり奇数フレームが左画像」
この情報を左右画像識別結果として出力する。

このように左右画像識別部１０３は、単眼奥行き情報判別部１０１および両眼奥行き情報判別部１０２から得られる複数の領域に関する前後関係が矛盾しない場合には両眼奥行き情報判別部１０２が行ったステレオマッチングの際の仮定を正しいと判断する。左右画像識別部１０３は、両眼奥行き情報判別部１０２が行ったステレオマッチングの際の仮定と同じ結論を左右画像識別結果として出力する。すなわち、偶数フレームが左画像であるか右画像であるか、奇数フレームが右画像であるか左画像であるかを両眼奥行き情報判別部１０２の仮定と同じ結果として出力する。

また、複数の領域に関する前後関係が矛盾する場合には両眼奥行き情報判別部１０２がおこなったステレオマッチングの際の仮定を誤りであると判断する。左右画像識別部１０３は、両眼奥行き情報判別部１０２が行ったステレオマッチングの際の仮定と逆の結論を左右画像識別結果として出力する。すなわち、偶数フレームが左画像であるか右画像であるか、奇数フレームが右画像であるか左画像であるかを両眼奥行き情報判別部１０２の仮定と逆の設定とした結果を出力する。

以上説明したように、左右画像識別部１０３は、単眼奥行き情報判別部１０１の複数の第１判別結果と、両眼奥行き情報判別部１０２の複数の第２判別結果を入力して比較を行い、一致度が予め設定した閾値（たとえば１／２）以上である場合は、両眼奥行き情報判別部１０２の設定した仮定が正しいと判断して、立体映像データ１０を構成する各画像フレームが左画像であるか右画像であるかの識別情報を、両眼奥行き情報判別部１０２の設定した仮定と一致させた情報として出力する。

また、一致度が予め設定した閾値未満である場合は、両眼奥行き情報判別部１０２の設定した仮定が誤りであると判断し、立体映像データ１０を構成する各画像フレームが左画像であるか右画像であるかの識別情報を、両眼奥行き情報判別部１０２の設定した仮定と逆の設定とした識別情報として出力する。

左右画像識別部１０３は、以上のような処理を行うことで、左画像と右画像の正しい識別結果を生成して出力する。

次に、左右画像識別部１０３が上述した処理を行うことで左画像と右画像の識別が可能となる原理的な理由について、図２から図６を参照して説明する。

図２は、立体映像データの左画像と右画像の撮影時の状況を上から見た図を示している。図２（ａ）のように、２つのカメラ２２０，２３０で立体映像データの左画像と右画像を撮影する状況において、撮影対象に含まれるオブジェクト２１１，２１２と、各カメラ２２０，２３０の撮像面２４０に写るオブジェクト画像の位置等の関係を説明する図である。被写体となるオブジェクト２１１，２１２を異なる位置にある左右のカメラ２２０，２３０で撮影する。オブジェクト２１１は、オブジェクト２１２よりも奥の位置（カメラから遠い位置）にある。

図２（ｂ）は、図２（ａ）の拡大図である。図２（ｂ）には、カメラ２２０のカメラ中心２２１、カメラ２３０のカメラ中心２３１を示している。左右の各カメラで撮影されるオブジェクトの像は、図２（ｂ）に示す撮像面２４０の撮像オブジェクト２２５，２２６，２３５，２３６のようになる。

左側の左目用の左画像を撮影するカメラ２２０は、オブジェクト２１１，２１２について白色で示す撮像オブジェクト２２５と、撮像オブジェクト２２６を持つ画像を撮影する。
右側の右目用の右画像を撮影するカメラ２３０は、オブジェクト２１１，２１２について黒色で示す撮像オブジェクト２３５と、撮像オブジェクト２３６を持つ画像を撮影する。

この撮影結果として得られる画像フレームは、図３に示す（ａ）左画像、（ｂ）右画像となる。
（ａ）左画像に示す画像フレーム３２０には、撮像オブジェクト２２５，２２６が撮影されている。
（ｂ）右画像に示す画像フレーム３３０には、撮像オブジェクト２３５，２３６が撮影されている。

時分割方式の立体画像表示処理に際しては、（ａ），（ｂ）の左画像フレーム３２０と右画像フレーム３３０を連続的に表示する。すなわち例えば左画像からなる偶数フレームと右画像からなる奇数フレームを交互に表示する、表示が十分に高速であれば、左画像と右画像は重なって見える。図３に示す（ｃ）表示画像３５０である。シャッターメガネを用いることで、左画像は左目のみに、右画像は右目のみに、知覚されることとなり立体映像として認識される。

図３に示す（ａ）左画像フレーム３２０と、（ｂ）右画像フレーム３３０を持つ映像フレームを、本発明の画像データ解析装置１００に入力して処理を行った場合の処理例について説明する。

まず、単眼奥行き情報判別部１０１は、例えば図３（ａ）の左画像フレーム３２０を用いて２つ以上の領域の奥行きの前後関係を判別する。簡単のため、撮像オブジェクト２２５，２２６が２つの奥行き判別領域であるとする。以下、撮像オブジェクト２２５を領域２２５、撮像オブジェクト２２６を領域２２６と表現する。

単眼奥行き情報判別部１０１は領域２２５および領域２２６の奥行きの前後関係を判定する。ここでは、領域２２６は領域２２５よりも手前にあると判別し、この結果を左右画像識別部１０３に出力したものとする。

一方、両眼奥行き情報判別部１０２は、図３（ａ）の左画像フレーム３２０と図３（ｂ）の右画像フレーム３３０を用いて、ステレオマッチングにより領域２２５および領域２２６の前後関係を判別する。
この処理を行う場合、両眼奥行き情報判別部１０２は、入力する立体映像データを構成する連続フレーム、例えば偶数フレームと、奇数フレームのそれぞれについて、一方を左画像、他方を右画像と仮定して、その仮定の下にステレオマッチング処理を実行して、各領域またはオブジェクトの前後関係の判定を行う。

しかし、両眼奥行き情報判別部１０２の設定する仮定は正しい場合もあるが、誤った仮定を行う場合もある。以下、
（Ａ）両眼奥行き情報判別部１０２の設定する仮定が正しい場合の処理例
（Ｂ）両眼奥行き情報判別部１０２の設定する仮定が正しくない場合の処理例
これらの処理例について説明する。

（Ａ）両眼奥行き情報判別部１０２の設定する仮定が正しい場合の処理例
まず、正しい仮定が両眼奥行き情報判別部１０２により行われた場合の処理について説明する。正しい仮定とは、この例の場合、
図３（ａ）の画像フレーム３２０が、左目用の左画像フレームであり、
図３（ｂ）の画像フレーム３３０が、右目用の右画像フレームである、
とする仮定である。

上記の仮定に基づいて、画像フレーム３２０と画像フレーム３３０から距離推定を行う処理について図４を参照して説明する。図４は、画像フレーム３２０と画像フレーム３３０に撮影された各撮像オブジェクトに対応する領域２２５，２２６，２３５，２３６の画像フレーム中の位置情報と、予め取得済みのカメラ２２０，２３０のカメラ位置情報とを用いて、オブジェクト４１１，４１２の推定位置を求める処理を説明する図である。

図４は、図２と同様のカメラ配置において撮影された２つの画像から、オブジェクト４１１，４１２の実際の位置を推定する処理を説明する図である。図に示す点線で示すオブジェクト４１１，４１２は、以下に説明する処理によって推定されるオブジェクト位置を示している。

図４（ｂ）は、図４（ａ）の拡大図である。図４（ｂ）に示す撮像面４４０は、図３に示す画像フレーム３２０と画像フレーム３３０を撮影したカメラ内の位置に対応する。画像フレーム３２０と画像フレーム３３０を用いたステレオマッチングにより、画像フレーム３２０の領域２２６と画像フレーム３３０の領域２３６とが同一のオブジェクトを撮影した結果得られた像であることが分かる。撮像面４４０上のこれらの領域２２６，２３６と撮影したカメラのカメラ中心２２１，２３１とを結んで得られる交点の位置がオブジェクト４１２の実際の位置であると推定される。

オブジェクト４１２の位置推定は以下のようにして行われる。
左画像であると仮定した図３に示す画像フレーム３２０に含まれる領域２２６、すなわち図４に示す領域２２６を、左画像を撮影した左カメラ２２０のカメラ中心２２１と結ぶ。
同様に、右画像であると仮定した図３に示す画像フレーム３３０に含まれる領域２３６、すなわち図４に示す領域２３６を、右画像を撮影した右カメラ２３０のカメラ中心２３１と結ぶ。
この２つの線の交点の位置が領域２２６，２３６に対応するオブジェクト４１２の推定位置として求められる。

オブジェクト４１１の位置推定は以下のようにして行われる。
左画像であると仮定した図３に示す画像フレーム３２０に含まれる領域２２５、すなわち図４に示す領域２２５を、左画像を撮影した左カメラ２２０のカメラ中心２２１と結ぶ。
また、右画像であると仮定した図３に示す画像フレーム３３０に含まれる領域２３５、すなわち図４に示す領域２３５を、右画像を撮影した右カメラ２３０のカメラ中心２３１と結ぶ。
この２つの線の交点の位置が領域２２５，２３５に対応するオブジェクト４１１の推定位置として求められる。

結果として、両眼奥行き情報判別部１０２は、
領域２２５，２３５に対応するオブジェクト４１１は、領域２２６，２３６に対応するオブジェクト４１２よりも奥に位置する（カメラから離れた位置にある）と判定する。
この結果は、両眼奥行き情報判別部１０２から左右画像識別部１０３に出力される。
すなわち、
図３に示す左画像として仮定した画像フレーム３２０の領域２２６は領域２２５よりも手前にあるとの判断結果、
［領域２２５＞領域２２６］
この結果を両眼奥行き情報判別部１０２は、左右画像識別部１０３に出力する。

単眼奥行き情報判別部１０１が、上記判断結果と同じ判断結果、すなわち領域２２６は領域２２５よりも手前にあると判別し、
［領域２２５＞領域２２６］
この結果を左右画像識別部１０３に出力しているとする。

この場合、左右画像識別部１０３は、単眼奥行き情報判別部１０１の判別結果と、両眼奥行き情報判別部１０２の判別結果が一致することを確認する。この結果、左右画像識別部１０３は、両眼奥行き情報判別部１０２の判別処理において適用した仮定、すなわち、
「図３に示す画像フレーム３２０が左画像であり画像フレーム３３０が右画像」
この仮定は正しいと判断する。結果として、左右画像識別部１０３は、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定と同じ設定とした情報、例えば、「偶数フレームが左画像であり奇数フレームが右画像」
このような情報を左右画像識別結果として出力する。

（Ｂ）両眼奥行き情報判別部１０２の設定する仮定が正しくない場合の処理例
続いて、両眼奥行き情報判別部１０２の設定する仮定が正しくない場合の処理例について図５、図６を参照して説明する。

正しい仮定は、先に図３を参照して説明したように、
図３（ａ）の画像フレーム３２０が、左目用の左画像フレームであり、
図３（ｂ）の画像フレーム３３０が、右目用の右画像フレームである、
とする仮定である。
一方、正しくない仮定は、その逆の仮定である。この正しくない仮定は、図５に示すように、
図５（ａ）の画像フレーム５２０（図３（ａ）に相当）を、右目用の右画像フレームし、
図５（ｂ）の画像フレーム５３０（図３（ｂ）に相当）を、左目用の左画像フレーム、
とする仮定である。

この場合、この誤った判断に基づく時分割方式の立体画像表示処理を行うと、図５に示す（ｃ）表示画像５５０となる。シャッターメガネを用いてこの表示画像を観察すると、本来の左画像が右目で観察され、本来の右画像が左目で観察されてしまい、奥行感が実際のものと異なって知覚されることとなる。

図５に示す誤った仮定に基づいて、両眼奥行き情報判別部１０２が、画像フレーム５２０と画像フレーム５３０から距離推定を行う処理について図６を参照して説明する。図６は、画像フレーム５２０と画像フレーム５３０に撮影された各撮像オブジェクトに対応する領域５２５，５２６，５３５，５３６の画像フレーム中の位置情報と、予め取得済みのカメラ５２０，５３０のカメラ位置情報とを用いて、オブジェクト５８１，５８２の推定位置を求める処理を説明する図である。

図６は、図２、図４に示したと同様のカメラ配置において撮影された２つの画像から、オブジェクト５８１，５８２の実際の位置を推定する処理を説明する図である。図に示す点線で示すオブジェクト５８１，５８２は、以下に説明する処理によって推定されるオブジェクト位置を示している。

図６（ｂ）は、図６（ａ）の拡大図である。図６（ｂ）に示す撮像面５４０は、図５に示す画像フレーム５２０と画像フレーム５３０を撮影したカメラ内の位置に対応する。画像フレーム５２０と画像フレーム５３０を用いたステレオマッチングにより、画像フレーム５２０の領域５２６と画像フレーム５３０の領域５３６とが同一のオブジェクトを撮影した結果得られた像であることが分かる。撮像面５４０上のこれらの領域５２６，５３６と撮影したカメラのカメラ中心２２１，２３１とを結んで得られる交点の位置がオブジェクト５８２の位置であると推定される。

オブジェクト５８２の位置推定は以下のようにして行われる。
右画像であると誤った仮定をした図５に示す画像フレーム５２０に含まれる領域５２６、すなわち図６に示す領域５２６は、右画像を撮影した右カメラ２３０のカメラ中心２３１と結ぶ。
同様に、左画像であると誤った仮定をした図５に示す画像フレーム５３０に含まれる領域５３６、すなわち図６に示す領域５３６を、左画像を撮影した左カメラ２２０のカメラ中心２２１と結ぶ。
この２つの線の交点の位置が領域５２６，５３６に対応するオブジェクト５８２の実際の位置として推定される。

オブジェクト５８１の位置推定は以下のようにして行われる。
右画像であると誤って仮定した図５に示す画像フレーム５２０に含まれる領域５２５、すなわち図６に示す領域５２５を、右画像を撮影した右カメラ２３０のカメラ中心２３１と結ぶ。
また、左画像であると誤って仮定した図５に示す画像フレーム５３０に含まれる領域５３５、すなわち図６に示す領域５３５を、左画像を撮影した左カメラ２２０のカメラ中心２２１と結ぶ。
この２つの線の交点の位置が領域２２５，２３５に対応するオブジェクト５８１の実際の位置として推定される。

結果として、両眼奥行き情報判別部１０２は、
領域５２５，５３５に対応するオブジェクト５８１は、領域５２６，５３６に対応するオブジェクト５８２よりも手前に位置する（カメラに近い位置にある）と判定する。
この結果は、両眼奥行き情報判別部１０２から左右画像識別部１０３に出力される。
すなわち、
図５に示す右画像として仮定した画像フレーム５２０の領域５２６は領域５２５よりも奥にあるとの判断結果、
［領域５２６＞領域５２５］
この結果を両眼奥行き情報判別部１０２は、左右画像識別部１０３に出力する。

単眼奥行き情報判別部１０１が、上記判断結果と異なる判断結果、すなわち領域５２６は領域５２５よりも手前にあると判別し、
［領域５２５＞領域５２６］
この結果を左右画像識別部１０３に出力しているとする。

この場合、左右画像識別部１０３は、単眼奥行き情報判別部１０１の判別結果と、両眼奥行き情報判別部１０２の判別結果が一致しないことを確認する。この結果、左右画像識別部１０３は、両眼奥行き情報判別部１０２の判別処理において適用した仮定、すなわち、
「図５に示す画像フレーム５２０が右画像であり画像フレーム５３０が左画像」
この仮定は誤りであると判断する。結果として、左右画像識別部１０３は、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定と逆の設定とした情報、例えば、「偶数フレームが左画像であり奇数フレームが右画像」
このような情報を左右画像識別結果として出力する。

上述したように、単眼奥行き情報判別部１０１が、左目または右目に用の画像のみに基づいて判断した領域またはオブジェクトの前後関係情報と、両眼奥行き情報判別部１０２が設定した左画像と右画像の仮定の下でステレオマッチングによって判断した領域またはオブジェクトの前後関係情報が一致する場合と、不一致となる場合が発生する。

一致する場合は、両眼奥行き情報判別部１０２が設定した左画像と右画像の仮定が正しい場合である。不一致となる場合は、両眼奥行き情報判別部１０２が設定した左画像と右画像の仮定が正しくない場合である。左右画像識別部１０３は、この分析を行って左右画像識別結果を出力する。

すなわち、単眼奥行き情報判別部１０１から入力する領域またはオブジェクトの前後関係情報と、両眼奥行き情報判別部１０２から入力する領域またはオブジェクトの前後関係情報が一致する場合には、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定を正しいと判断してその仮定に一致する情報を左右画像識別結果として出力する。

一方、単眼奥行き情報判別部１０１から入力する領域またはオブジェクトの前後関係情報と、両眼奥行き情報判別部１０２から入力する領域またはオブジェクトの前後関係情報が一致しない場合には、両眼奥行き情報判別部１０２の実行した判別処理において設定した仮定が正しくないと判断してその仮定と逆の情報を左右画像識別結果として出力する。

以上のような処理によって、本発明のデータ解析装置１００は入力された時分割の立体映像データを構成する偶数フレームおよび奇数フレームのいずれが左画像であり、いずれが右画像であるかを正しく識別し、識別結果を出力する。

次に、本発明のデータ解析装置１００の解析結果を利用した装置構成例として、立体映像観察用の液晶シャッターメガネの駆動制御を行う装置と、立体映像表示処理に適用する偏光器の制御装置の構成例について説明する。

（２）液晶シャッター制御装置としての利用例
図７に、図１〜図６を参照して説明した画像データ解析装置１００による左画像と右画像の判別結果を、立体映像観察用の液晶シャッターメガネの駆動制御を行う液晶シャッター制御装置として利用した構成例を示す。

図７に示す液晶シャッター制御装置６００は、図１〜図６を参照して説明した画像データ解析装置１００を有し、さらに、シャッター駆動信号出力部６０１、信号反転部６０２を有する。

立体映像データ１０は、時分割方式の立体映像データであり、左目用の左画像と、右目用の右画像が異なるフレームとして交互に現れるデータである。図１の画像データ解析装置１００に対する入力データと同様のデータである。立体映像データ１０は、液晶シャッター制御装置６００に入力されるとともに、表示装置６２０に入力されて表示される。

表示装置６２０は、時分割方式の立体映像データを左画像と右画像を交互に表示する。この画像は、液晶シャッターメガネ６３０を装着したユーザ（図示せず）によって観察される。液晶シャッター制御装置６００は、液晶シャッターメガネ６３０の液晶シャッターの駆動信号を出力する。

すなわち、液晶シャッター制御装置６００は、表示装置６２０において左目用の左画像が出力されるタイミングで、液晶シャッターメガネ６３０の右目の液晶シャッターを閉じ、左目の液晶シャッターを開けるように制御する制御信号を出力する。また、表示装置６２０において右目用の右画像が出力されるタイミングで、液晶シャッターメガネ６３０の左目の液晶シャッターを閉じ、右目の液晶シャッターを開けるように制御する制御信号を出力する。

シャッター駆動信号出力部６０１は、例えば立体映像データ１０の垂直同期信号に基づき、液晶シャッターメガネ６３０を駆動するための信号を生成して出力する。これは、例えば図８（ｂ）に示すような矩形波である。信号が［ＨＩＧＨ］の場合には液晶シャッターメガネ６３０の左が開口し、信号が［ＬＯＷ］の場合には液晶シャッターメガネ６３０の右が開口するものとする。図８（ａ）は、表示装置６２０に表示される画像の切り替えシーケンスを示している。［ＬＥＦＴ］は左画像、［ＲＩＧＨＴ］は右画像である。

表示装置６２０に左目用の左画像が表示されているときに信号が［ＨＩＧＨ］となり、右画像が表示されているときに信号が［ＬＯＷ］となれば、液晶シャッターメガネ６３０を装着したユーザは、左画像を左目で観察し、右画像を右目で観察することができ、適切な立体視が実現される。

しかし、シャッター駆動信号出力部６０１は映像信号と同期した信号を発生することは可能であるが、表示されているフレームの左右の別を判別することはできないので、右画像が表示されているときに信号が［ＨＩＧＨ］となり、左画像が表示されているときに信号が［ＬＯＷ］となる可能性がある。なお、シャッター駆動信号出力部６０１が出力する信号は、偶数フレームが表示されるタイミングで［ＨＩＧＨ］となり奇数フレームが表示されるタイミングで［ＬＯＷ］となるものとする。但し、これは逆であっても構わない。逆の場合は、以下に説明する画像データ解析装置１００内の両眼奥行き情報判別部が、偶数フレームと奇数フレームのいずれを左画像と仮定するかも同様に逆になる。

図７に示す液晶シャッター制御装置６００内の画像データ解析装置１００の処理について説明する。画像データ解析装置１００は、図１〜図６を参照して説明したように、立体映像データ１０を入力して、立体映像データ１０を構成する偶数フレームおよび奇数フレームのいずれが左画像であるか右画像であるかを識別し、その結果を出力する。具体的には、偶数フレームが左画像で奇数フレームが右画像の場合には［ＬＯＷ］信号、奇数フレームが左画像で偶数フレームが右画像の場合には［ＨＩＧＨ］信号を出力する。

次に、信号反転部６０２の処理について説明する。信号反転部６０２は、既に説明した画像データ解析装置１００の出力及び、シャッター駆動信号出力部６０１の出力の排他的論理和（ＸＯＲ）を出力する。信号反転部６０２の出力は、通信ケーブルあるいは無線通信、赤外線などにより液晶シャッターメガネ６３０に供給され、液晶シャッターメガネ６３０の左右の目に対応するシャッターを交互に駆動する。

以上の構成により液晶シャッターメガネ６３０が、表示装置６２０に表示される左画像と右画像に同期して制御される。表示装置６２０において左目用の左画像が出力されるタイミングで、液晶シャッターメガネ６３０の右目の液晶シャッターを閉じ、左目の液晶シャッターを開口する。また、表示装置６２０において右目用の右画像が出力されるタイミングで、液晶シャッターメガネ６３０の左目の液晶シャッターを閉じ、右目の液晶シャッターを開口する。このような制御を行う制御信号が液晶シャッター制御装置６００から液晶シャッターメガネ６３０に出力される。

図８は、図７の各部で得られる信号を示している。
図８（ａ）は、表示装置６２０に表示される画像の切り替えシーケンスを示している。［ＬＥＦＴ］は左画像、［ＲＩＧＨＴ］は右画像である。時間ｔ１において、左画像が連続している。
従って、時間ｔ１以前は、偶数フレームが左画像、奇数フレームが右画像であった場合、時間ｔ１以降は、偶数フレームが右画像、奇数フレームが左画像に入れ替わってしまっている。

図８（ｂ）は、シャッター駆動信号出力部６０１の出力であり、既に述べたように偶数フレームが表示されているタイミングで［ＨＩＧＨ］となり、奇数フレームが表示されているタイミングで［ＬＯＷ］となる矩形波である。
図８（ｃ）は、画像データ解析装置１００の出力であり、偶数フレームが左画像である間は［ＬＯＷ］の信号を出力しており、偶数フレームが［右画像］になったと同時に［ＨＩＧＨ］の信号を出力する。

図８（ｂ）に示すシャッター駆動信号出力部６０１の出力と、図８（ｃ）に示す画像データ解析装置１００の出力が、信号反転部６０２に入力され、これらの２つの信号の排他的論理和（ＸＯＲ）信号を生成して液晶シャッターメガネ６３０に供給される。

図８（ｄ）に示す信号が信号反転部６０２が生成して出力する信号となる。図８（ｄ）に示す信号は、（ｂ），（ｃ）の信号の排他的論理和（ＸＯＲ）結果である。この図８（ｄ）に示す信号は、図８（ａ）に示す表示装置の画像表示タイミングと併せて観察すると理解されるように、左画像［ＬＥＦＴ］が表示されるタイミングにおいては常に［ＨＩＧＨ］となっており、右画像［ＲＩＧＨＴ］が表示されるタイミングにおいては常に［ＬＯＷ］となっている。よって、液晶シャッターメガネ６３０が、この図８（ｄ）に示す信号、すなわち、液晶シャッター制御装置６００の出力に基づいて動作することにより、表示装置６２０に表示される左画像は観察者の左目のみに入射し、右画像は右目のみに入射する。この制御によって、観察者は正しい立体画像の観察が可能となる。

表示装置６２０において、左画像と右画像とが確実に交互に表示されるとは限らない。例えば、図８（ａ）に示すように時間ｔ１の前後において、左画像［ＬＥＦＴ］が続けて表示されてしまうことがある。このような場合、シャッター駆動信号出力部６０１の出力（図８（ｂ））のみでシャッターメガネ６３０の制御を行うと、時間ｔ１以降において、シャッターメガネ６３０を装着した観察者は、表示装置６２０に表示される左画像を右目で観察し、右画像を左目で観察することになり、正しい奥行き感が得られなくなってしまう。

しかし、本発明の構成では、画像データ解析装置１００において、左画像と右画像の判別を正しく行っており、この結果に基づいて、シャッター駆動信号出力部６０１の出力を変更する制御を行っている。この結果、時間ｔ１以前においても、時間ｔ１以降においても、表示装置６２０に左画像［ＬＥＦＴ］が表示されるタイミングにおいては常に［ＨＩＧＨ］、右画像［ＲＩＧＨＴ］が表示されるタイミングにおいては常に［ＬＯＷ］となる信号（図８（ｄ））による制御が可能となる。

この結果、表示装置６２０に表示される左画像は観察者の左目のみに入射し、右画像は右目のみに入射するような正確なシャッターメガネ６３０の制御が可能となり、この制御によって、観察者は正しい立体画像を観察することができる。

（３）偏光制御装置としての利用例
次に、図１〜図６を参照して説明した画像データ解析装置１００による左画像と右画像の判別結果を、立体映像表示に適用する偏光器の制御装置として利用した構成例について説明する。

図９に本発明の偏光制御装置７００の構成例を示す。図９に示す偏光制御装置７００は、図１〜図６を参照して説明した画像データ解析装置１００を有し、さらに、偏光器駆動信号出力部７０１、信号反転部７０２を有する。

立体映像データ１０は、時分割方式の立体映像データであり、左目用の左画像と、右目用の右画像が異なるフレームとして交互に現れるデータである。図１の画像データ解析装置１００に対する入力データと同様のデータである。立体映像データ１０は、偏光制御装置７００に入力されるとともに、投影装置７１１に入力され、偏光器７１２を介してスクリーン７１３に表示される。

投影装置７１１は例えばプロジェクタや映写機などであり、投影装置７１１からの投影光は偏光器７１２を通過し、右円偏光または左円偏光へと偏光される。観察者は、偏光メガネを着用してスクリーン７１３に投影されている映像を観察する。偏光メガネには、例えば左目側は左円偏光の光線のみを透過し、右目側は右円偏光の光線のみを透過するような偏光フィルタによって構成される。

偏光制御装置７００は、立体映像データ１０を解析し、投影装置７１１が現在投影している映像が左画像か右画像かを判別し、偏光器７１２を、左画像が投影されているときには左円偏光に偏光し、右画像が投影されているときには右円偏光に偏光するように駆動させる制御信号を生成して偏光器７１２に出力する。

各信号のシーケンスは、先に図８を参照して説明した液晶シャッター制御装置の場合と同様である。図９に示す偏光制御装置７００の各構成部の信号パターンを図８を参照して説明する。

図８（ａ）は、投影装置７１１に提供される画像の切り替えシーケンスを示している。［ＬＥＦＴ］は左画像、［ＲＩＧＨＴ］は右画像である。時間ｔ１において、左画像が連続している。
従って、時間ｔ１以前は、偶数フレームが左画像、奇数フレームが右画像であった場合、時間ｔ１以降は、偶数フレームが右画像、奇数フレームが左画像に入れ替わってしまっている。

図８（ｂ）は、偏光器駆動信号出力部７０１の出力に対応する。偶数フレームの表示るタイミングで［ＨＩＧＨ］となり、奇数フレームが表示されているタイミングで［ＬＯＷ］となる矩形波である。
図８（ｃ）は、画像データ解析装置１００の出力であり、偶数フレームが左画像である間は［ＬＯＷ］の信号を出力しており、偶数フレームが［右画像］になったと同時に［ＨＩＧＨ］の信号を出力する。

図８（ｂ）に示す偏光器駆動信号出力部７０１の出力と、図８（ｃ）に示す画像データ解析装置１００の出力が、信号反転部７０２に入力され、これらの２つの信号の排他的論理和（ＸＯＲ）信号を生成して偏光器７１２に供給される。

図８（ｄ）に示す信号が信号反転部７０２が生成して偏光器７１２に出力する信号となる。図８（ｄ）に示す信号は、（ｂ），（ｃ）の信号の排他的論理和（ＸＯＲ）結果である。この図８（ｄ）に示す信号は、図８（ａ）に示す投影装置７１１に提供される画像の切り替えタイミングと併せて観察すると理解されるように、左画像［ＬＥＦＴ］が提供され、表示されるタイミングにおいては常に［ＨＩＧＨ］となっており、右画像［ＲＩＧＨＴ］が提供され表示されるタイミングにおいては常に［ＬＯＷ］となっている。よって、偏光器７１２が、この図８（ｄ）に示す信号、すなわち、偏光制御装置７００の出力に基づいて動作することにより、左画像が投影されるときには左円偏光に偏光し、右画像が投影されるときには右円偏光に偏光するように駆動させることが可能となる。

結果として、スクリーン７１３に投影される左画像は、正しく左円偏光がなされた画像となり、観察者の装着した偏光メガネによって、左円偏光の光線のみを透過する左目側でのみ観察される。また、スクリーン７１３に投影される右画像は、正しく右円偏光がなされた画像となり、観察者の装着した偏光メガネによって、右円偏光の光線のみを透過する右目側でのみ観察される。この制御によって、観察者は正しい立体画像の観察が可能となる。

投影装置７１１に提供される立体映像データ１０が左画像と右画像とが確実に交互に表示されるとは限らない。例えば、図８（ａ）に示すように時間ｔ１の前後において、左画像［ＬＥＦＴ］が続けて提供されてしまうことがある。このような場合、偏光器駆動信号出力部７０１の出力（図８（ｂ））のみで偏光器７１２の制御を行うと、時間ｔ１以降において、観察者は、スクリーン７１３に表示される左画像を右目で観察し、右画像を左目で観察することになり、正しい奥行き感が得られなくなってしまう。

しかし、本発明の構成では、画像データ解析装置１００において、左画像と右画像の判別を正しく行っており、この結果に基づいて、偏光器駆動信号出力部７０１の出力を変更する制御を行っている。この結果、時間ｔ１以前においても、時間ｔ１以降においても、スクリーン７１３に左画像［ＬＥＦＴ］が表示されるタイミングにおいては常に［ＨＩＧＨ］、右画像［ＲＩＧＨＴ］が表示されるタイミングにおいては常に［ＬＯＷ］となる信号（図８（ｄ））による偏光器７１２の制御が可能となる。

この結果、スクリーン７１３に表示される左画像は観察者の左目のみに入射し、右画像は右目のみに入射するような正確な偏光制御が可能となり、この制御によって、観察者は正しい立体画像を観察することができる。

図９は、投影装置７１１から投影された光を、偏光器７１２を介してスクリーン７１３に投影して、スクリーン７１３に投影された画像を偏光メガネを装着した観察者が観察する構成例であった。

図１０に、スクリーン投影型とは異なる構成を持つ偏光制御型のシステム例を示す。図１０に示す構成では、表示装置７１１を用いている。表示装置７２１は、例えばテレビやＰＣモニタ等によって構成される。表示装置７２１は、立体映像データ１０を表示する。すなわち、左画像と右画像を交互に表示する。

表示装置７２１に表示された光は偏光器７２２を通過し、右円偏光または左円偏光へと偏光される。観察者は、偏光メガネを着用して表示装置７２１から偏光器７２２を通過した画像を観察する。偏光メガネには、例えば左目側は左円偏光の光線のみを透過し、右目側は右円偏光の光線のみを透過するような偏光フィルタによって構成される。

この構成において、偏光器７２２の偏光制御信号を偏光制御装置７００から提供する。図１０に示す偏光制御装置７００は図９を参照して説明したと同様の構成を有する。すなわち、図１〜図６を参照して説明した画像データ解析装置１００を有し、さらに、偏光器駆動信号出力部７０１、信号反転部７０２を有する。

各構成部の信号は、図８を参照して説明した信号となる。すなわち、
図８（ａ）は、表示装置７２１に提供される画像の切り替えシーケンス、
図８（ｂ）は、偏光器駆動信号出力部７０１の出力に対応する。
図８（ｃ）は、画像データ解析装置１００の出力に対応する。
図８（ｄ）は、信号反転部７０２が生成して偏光器７２２に出力する信号となる。

図８（ｄ）に示す信号反転部７０２が生成して偏光器７２２に出力する信号は、図８（ｂ）に示す偏光器駆動信号出力部７０１の出力と、図８（ｃ）に示す画像データ解析装置１００の出力との排他的論理和（ＸＯＲ）信号である。

この図８（ｄ）に示す信号は、図８（ａ）に示す表示装置７２１に提供される画像の切り替えタイミングと併せて観察すると理解されるように、左画像［ＬＥＦＴ］が提供され、表示されるタイミングにおいては常に［ＨＩＧＨ］となっており、右画像［ＲＩＧＨＴ］が提供され表示されるタイミングにおいては常に［ＬＯＷ］となっている。よって、偏光器７２２が、この図８（ｄ）に示す信号、すなわち、偏光制御装置７００の出力に基づいて動作することにより、左画像が表示されるときには左円偏光に偏光し、右画像が表示されるときには右円偏光に偏光するように駆動させることが可能となる。

結果として、偏光器７２２を介して偏光メガネを装着した観察者が観察する左画像は、正しく左円偏光がなされた画像となり、観察者の装着した偏光メガネによって、左円偏光の光線のみを透過する左目側でのみ観察される。また、観察者が観察する右画像は、正しく右円偏光がなされた画像となり、右円偏光の光線のみを透過する右目側でのみ観察される。この制御によって、観察者は正しい立体画像の観察が可能となる。

本発明の構成では、画像データ解析装置１００において、左画像と右画像の判別を正しく行っており、この結果に基づいて、偏光器駆動信号出力部７０１の出力を変更する制御を行っている。この結果、時間ｔ１前後、いずれのタイミングにおいても、左画像［ＬＥＦＴ］の表示タイミングにおいては常に［ＨＩＧＨ］、右画像［ＲＩＧＨＴ］の表示タイミングにおいては常に［ＬＯＷ］となる信号（図８（ｄ））による偏光器７２２の制御が行われる。この結果、表示装置７２１に表示される左画像は観察者の左目のみに入射し、右画像は右目のみに入射するような正確な偏光制御が可能となり、この制御によって、観察者は正しい立体画像を観察することができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、時分割表示型の立体表示映像データを入力し、入力データを構成する画像フレームが右目用の右画像であるか左目用の左画像であるかを正確に識別する。左画像または右画像のいずれか一方の画像を適用して画像に含まれる領域の前後関係を判別する単眼奥行き情報判別部と、左画像と仮定する画像と、右画像と仮定する画像を含む複数画像を適用して領域の前後関係を判別する両眼奥行き情報判別部と、これら２つの奥行き情報判別部の２つの判別結果を比較して一致度が高い場合は、両眼奥行き情報判別部の設定した仮定が正しいと判断して、その仮定と一致する左右画像識別情報を出力し、一致度が低い場合は仮定が正しくないと判断して、仮定と逆の左右画像識別情報を出力する。この処理によって、時分割表示型の立体表示映像データを構成する各画像の正しい左右画像識別が可能となり、この識別情報を利用した制御によって正しい奥行き感の得られる立体画像表示および観察が可能となる。

本発明の一実施例に係る画像データ解析装置の構成例について説明する図である。 立体映像データの左画像と右画像の撮影時の状況と、カメラ、オブジェクト、および撮影画像に含まれるオブジェクトの位置関係について説明する図である。 立体映像データを構成する左画像と右画像、各画像に含まれるオブジェクトまたは領域の位置関係について説明する図である。 立体映像データを構成する左画像と右画像、各画像に含まれるオブジェクトまたは領域の位置から、オブジェクトの実際の位置を推定する処理について説明する図である。 立体映像データを構成する左画像と右画像を逆に設定した場合の画像に含まれるオブジェクトまたは領域の位置関係について説明する図である。 立体映像データを構成する左画像と右画像を逆に設定した場合におけるオブジェクト位置を推定処理について説明する図である。 画像データ解析装置による左画像と右画像の判別結果を、立体映像観察用の液晶シャッターメガネの駆動制御を行う液晶シャッター制御装置として利用した構成例を示す図である。 液晶シャッター制御装置における各構成部の信号シーケンスおよび信号パターンについて説明する図である。 画像データ解析装置による左画像と右画像の判別結果を、偏光器の制御を行う偏光制御装置として利用した構成例を示す図である。 画像データ解析装置による左画像と右画像の判別結果を、偏光器の制御を行う偏光制御装置として利用した構成例を示す図である。

符号の説明

１０ 入力映像データ
１００ 画像データ解析装置
１０１ 単眼奥行き情報判別部
１０２ 両眼奥行き情報判別部
１０３ 左右画像識別部
２１１，２１２ オブジェクト（領域）
２２０，２３０ カメラ
２２１，２３１ カメラ中心
２２５，２２６，２３５，２３６ 撮像オブジェクト
２４０ 撮像面
３２０，３３０ 画像フレーム
３５０ 表示画像
４１１，４１２ オブジェクト
４４０ 撮像面
５２０，５３０ 画像フレーム
５２５，５２６，５３５，５３６ 撮像オブジェクト
５４０ 撮像面
５５０ 表示画像
６００ 液晶シャッター制御装置
６０１ シャッター駆動制御信号出力部
６０２ 信号反転部
６２０ 表示装置
６３０ 液晶シャッターメガネ
７００ 偏光制御装置
７０１ 偏光器駆動信号出力部
７０２ 信号反転部
７１１ 投影装置
７１２ 偏光器
７１３ スクリーン
７２１ 表示装置
７２２ 偏光器

Claims (13)

1. 左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別部と、
   前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別部と、
   前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別部と、
   を有する画像データ解析装置。
2. 前記左右画像識別部は、
   前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果の一致度が低い場合は、前記両眼奥行き情報判別部の設定した仮定が誤りであると判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と逆の設定とした識別情報として出力する構成である請求項１に記載の画像データ解析装置。
3. 前記単眼奥行き情報判別部、および、前記両眼奥行き情報判別部は、それぞれ複数の領域についての複数の判別結果を生成する構成であり、
   前記左右画像識別部は、
   前記単眼奥行き情報判別部の複数の第１判別結果と、前記両眼奥行き情報判別部の複数の第２判別結果を入力して比較を行い、
   一致度が予め設定した閾値以上である場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力し、
   一致度が予め設定した閾値未満である場合は、前記両眼奥行き情報判別部の設定した仮定が誤りであると判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と逆の設定とした識別情報として出力する構成である請求項１に記載の画像データ解析装置。
4. 前記両眼奥行き情報判別部は、
   前記時分割表示型の立体映像データを構成する画像フレームを偶数フレームと奇数フレームに分割し、
   偶数フレームを左画像、奇数フレームを右画像とする仮定、あるいはその逆の仮定を設定して、該仮定の下で左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する処理を行う構成である請求項１に記載の画像データ解析装置。
5. 前記両眼奥行き情報判別部は、
   選択した左画像および右画像を含む複数画像を適用したステレオマッチング処理を実行して、画像フレームに含まれる領域の前後関係を判別する処理を行う構成である請求項１に記載の画像データ解析装置。
6. 前記単眼奥行き情報判別部は、
   左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の撮像ボケ、または領域の垂直方向の位置関係から、画像フレームに含まれる領域の前後関係を判別する処理を行う構成である請求項１に記載の画像データ解析装置。
7. 前記単眼奥行き情報判別部は、
   左画像または右画像のいずれか一方の複数画像を適用して移動する２つの領域をトラッキングし、重なりを検知することで２つの領域の前後関係を判別する処理を行う構成である請求項１に記載の画像データ解析装置。
8. 左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別部と、
   前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別部と、
   前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別部と、
   前記立体映像データを構成する画像フレーム単位で切り替わる液晶シャッターメガネ対応のシャッター駆動信号を出力するシャッター駆動信号出力部と、
   前記左右画像識別部から出力される識別信号と、前記シャッター駆動信号出力部から出力されるシャッター駆動信号を入力し、前記識別信号に応じて前記シャッター駆動信号を変更して液晶シャッターメガネに対する制御信号として出力する信号反転部を有する液晶シャッター制御装置。
9. 前記信号反転部は、
   前記左右画像識別部から出力される識別信号と、前記シャッター駆動信号出力部から出力されるシャッター駆動信号との排他的論理和演算を実行して、排他的論理和演算結果を液晶シャッターメガネに対する制御信号として出力する構成である請求項８に記載の液晶シャッター制御装置。
10. 左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別部と、
    前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別部と、
    前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別部と、
    前記立体映像データを構成する画像フレーム単位で切り替わる偏光器対応の偏光器駆動信号を出力する偏光器駆動信号出力部と、
    前記左右画像識別部から出力される識別信号と、前記偏光器駆動信号出力部から出力される偏光器駆動信号を入力し、前記識別信号に応じて前記偏光器駆動信号を変更して偏光器に対する制御信号として出力する信号反転部を有する偏光制御装置。
11. 前記信号反転部は、
    前記左右画像識別部から出力される識別信号と、前記偏光器駆動信号出力部から出力される偏光器駆動信号との排他的論理和演算を実行して、排他的論理和演算結果を偏光器に対する制御信号として出力する構成である請求項１０に記載の偏光制御装置。
12. 画像データ解析装置において実行する画像データ解析方法であり、
    単眼奥行き情報判別部が、左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別する単眼奥行き情報判別ステップと、
    両眼奥行き情報判別部が、前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別する両眼奥行き情報判別ステップと、
    左右画像識別部が、前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行い、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力する左右画像識別ステップと、
    を有する画像データ解析方法。
13. 画像データ解析装置において画像データ解析処理を実行させるプログラムであり、
    単眼奥行き情報判別部に、左目用の左画像と右目用の右画像から構成される時分割表示型の立体映像データを入力し、左画像または右画像のいずれか一方の画像を適用して画像フレームに含まれる領域の前後関係を判別させる単眼奥行き情報判別ステップと、
    両眼奥行き情報判別部に、前記時分割表示型の立体映像データを入力し、左画像と仮定する画像と、右画像と仮定する画像を選択し、選択した左画像および右画像を含む複数画像を適用して画像フレームに含まれる領域の前後関係を判別させる両眼奥行き情報判別ステップと、
    左右画像識別部に、前記単眼奥行き情報判別部の第１判別結果と、前記両眼奥行き情報判別部の第２判別結果を入力して２つの判別結果の比較を行わせ、両判別結果の一致度が高い場合は、前記両眼奥行き情報判別部の設定した仮定が正しいと判断し、前記立体映像データを構成する各画像フレームが左画像であるか右画像であるかの識別情報を、前記仮定と一致させた識別情報として出力させる左右画像識別ステップと、
    を画像データ解析装置に実行させるプログラム。