JP5387377B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行してステレオ視（立体視）に対応した両眼視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する装置および方法について従来から様々な提案がなされている。２次元画像に基づいて生成された両眼視差画像は、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される。これらの左眼用画像と右眼用画像のペアによって構成される両眼視差画像を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

このような画像の生成や表示処理に関して開示した従来技術には以下のようなものがある。
例えば、特許文献１は、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
また、特許文献２は、画像を複数の視差算出領域に分割し、各領域において画像の特徴量から擬似的な奥行きを算出し、奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトする方法を提案している。
さらに、特許文献３は、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法を提案している。
ところで、上記の従来技術には以下に示すような問題がある。

特許文献１に記載の画像変換装置では、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。
特許文献２に記載の画像変換装置では、画像の特徴量から擬似的な奥行きを推定するが、推定は画面前方にある物体の先鋭度が高い、輝度が高い、彩度が高いなどの仮定に基づいており、必ずしも正しい推定が行われるとは限らない。このため、奥行き推定を誤った物体に対しては誤った網膜像差が与えられるため、誤った位置に配置されてしまう。

特許文献３に記載の画像変換装置は、画像の構造を比較的単純な有限の構造に当てはめる構成であり、不自然な奥行きが発生することは抑制される。しかしながら、上記の全ての従来手法に共通する問題であるが、生成された両眼視差画像には、比較的大きな網膜像差が発生する。この両眼視差画像は、立体表示装置を利用して立体表示されるが、一般的には偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、または液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式など、立体視用の特殊な眼鏡を装着して画像を観察する立体表示装置が利用される。

大きな網膜像差を与えられた両眼視差画像を見る場合、このような立体視用の眼鏡をかけた状態では網膜像差に従った立体感を知覚することが出来る。しかし、眼鏡をはずした状態で、画面をみると左右の画像が大きく重なった２重の画像が見えてしまい、通常の２次元画像として観察することはできない。つまり、これら従来の画像変換装置により変換された画像は、眼鏡をかけた状態でしか鑑賞することができなかった。

また、大きな網膜像差は、観察者の疲れにも影響すると考えられる。例えば特許文献４には、左眼と右眼の画像が大きくずれている場合には、現実世界での見え方に対して、輻輳角の制御と水晶体の調整に矛盾が生じ、この矛盾が両眼視差を用いた立体視における疲労に繋がっているとの記述がある。

また、上記の全ての従来手法に共通する要素として、ステレオ視に対応した両眼視差画像の生成方法に、最も広く使用されている画素ずらし（シフト）手段を用いている点が挙げられる。しかしながら、画素ずらしによる両眼視差画像の生成は、画素情報の存在しない領域、いわゆるオクルージョン領域が発生する場合がある。

図１を参照して画素ずらし（シフト）手段を用いて左眼用画像と、右眼用画像を生成した場合に発生するオクルージョン領域の発生について説明する。図１には、
（ａ）入力画像
（ｂ）奥行き情報（距離画像）
（ｃ）右眼用画像
（ｄ）左眼用画像
これらの各画像を示している。

（ｂ）奥行き情報（距離画像）は、（ａ）入力画像の距離情報を輝度で示した画像であり、高輝度領域がカメラに近い被写体、低輝度領域がカメラから遠い被写体に対応する画素部分となる。
（ｃ）右眼用画像は、（ｂ）奥行き情報（距離画像）に基づいて、（ａ）入力画像中の近い距離の画素部分（人物領域）を左にずらすシフト処理を実行して生成されている。
（ｄ）左眼用画像は、（ｂ）奥行き情報（距離画像）に基づいて、（ａ）入力画像中の近い距離の画素部分（人物領域）を右にずらすシフト処理を実行して生成されている。

図１に示すように、この画素ずらし（シフト）処理によって生成される（ｃ）右眼用画像、（ｄ）左眼用画像には、画素情報の存在しない領域、いわゆるオクルージョン領域が発生する。

両眼視差画像の両方またはいずれかに発生するオクルージョン領域には、入力画像にその画素情報が存在しないため、（空間的に）周辺の領域に存在する画素を用いた充填処理が必要となる。特許文献３は入力画像の対応部分の画素情報を利用した補間処理例を示している。また、非特許文献１にも補間処理例について記載している。しかし、これらの補間処理を用いても、少なくとも両眼いずれかの画像において画像を引き伸ばしたような不自然さなどが発生するという問題がある。

また、特許文献２および特許文献３に記載の画像変換装置では、画像から擬似的な奥行きを推定しているが、１枚の画像から詳細な奥行きを検出することは難しく、たとえば、樹木の枝や電線、髪の毛のような微細な構造に対する奥行きの推定を行うことは容易ではない。

このような奥行き情報を用いて画素ずらしによる両眼視差画像の生成した場合、これらの微細な被写体は（空間的に）周辺の領域と同等の視差が生成される。従ってこれらの微細な被写体と背景の間を異なる奥行き感に設定することができず、実際の被写体距離に応じた立体感を持たせることはできなかった。

特開平８−３０８０６号公報 特開平１０−５１８１２号公報 特開２００５−１５１５３４号公報 特開平６−１９４６０２号公報

山田邦男、望月研二、相澤清晴、齋藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償"、映像情報学会誌、Ｖｏｌ．５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５））

本発明は、例えば上記の問題を解決し、奥行き推定の誤りにより誤った立体感の発生を抑制した視差画像を生成可能とする。また、左眼用画像と右眼用画像を合成して表示する場合、３次元画像としても２次元画像としても鑑賞できる画像を提供する。すなわち、立体視対応の眼鏡をはずした状態では通常の２次元画像として鑑賞することが可能であり、かつ観察者の疲労の少ない両眼視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、画素ずらしによる両眼視差画像の生成において、回避が困難であったオクルージョン領域を発生させず画素値の充填処理を必要としない両眼視差画像の生成を実現する。画素ずらしによる両眼視差画像は奥行き情報の解像度不足により不自然な立体感が知覚されやすいという傾向があるが、このような欠点を解消し不自然な立体感の知覚されにくい画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記２次元画像信号を構成する画像領域の奥行き情報を入力または生成する奥行き情報出力部と、
前記画像入力部から出力される画像信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量と前記奥行き情報を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成である画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、前記微分信号に対して、画像領域単位の奥行き情報に応じたゲイン制御を行った補正微分信号を生成して、入力画像信号に対して前記補正微分信号を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、記微分信号に対して、画像領域単位の奥行き情報に応じたゲイン制御を行った補正微分信号を生成して、入力画像信号に対して前記補正微分信号を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記奥行き情報出力部の出力する奥行き情報が大きい画像領域に対しては大きいゲインによる前記輝度微分信号の補正処理を行い、奥行き情報が小さい画像領域に対しては小さいゲインによる前記輝度微分信号の補正処理を行い、前記補正微分信号を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記補正微分信号を非線形変換して生成した信号を、入力画像信号に対して加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、
（ａ）入力信号に対する微分信号を生成する位相制御信号生成部、
（ｂ）前記位相制御信号生成部の生成する微分信号に対する非線形変換処理を実行する非線形変換部、
（ｃ）前記非線形変換部の出力と、入力信号との加算または減算を実行する画像合成部、
上記（ａ）〜（ｃ）の構成要素によって構成される画像変換単位による画像変換処理を繰り返し実行する処理パスを有し、前記奥行き情報出力部の出力する奥行き情報に応じて、前記処理パスを構成する各画像変換単位の出力を選択し合成して左眼用画像または右眼用画像を生成する処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、
（ａ）入力信号に対する微分信号を生成する位相制御信号生成部、
（ｂ）前記位相制御信号生成部の生成する微分信号に対して、前記奥行き情報出力部の出力する奥行き情報に応じて設定されたゲイン係数によるゲイン制御を実行して補正微分信号を生成するゲイン制御部、
（ｃ）前記ゲイン制御部の出力に対して非線形変換処理を実行する非線形変換部、
（ｄ）前記非線形変換部の出力と、入力信号との加算または減算を実行する画像合成部、
上記（ａ）〜（ｄ）の構成要素によって構成される画像変換単位による画像変換処理を繰り返し実行する処理パスと、前記奥行き情報出力部の出力する奥行き情報に応じて前記処理パスを構成する各画像変換単位の重み値を設定する重み値算出部と、前記重み値算出部の算出する重み値に応じて、前記処理パスを構成する各画像変換単位の出力を合成して左眼用画像または右眼用画像を生成する画像合成部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、
（ａ）入力信号に対する微分信号を生成する位相制御信号生成部、
（ｂ）前記位相制御信号生成部の生成する微分信号に対して、前記奥行き情報出力部の出力する奥行き情報に応じて設定されたゲイン係数を乗算して補正微分信号を生成する乗算処理部、
（ｃ）前記乗算処理部の出力に対して非線形変換処理を実行する非線形変換部、
（ｄ）前記非線形変換部の出力と、入力信号との加算または減算を実行する画像合成部、
上記（ａ）〜（ｄ）の構成要素によって構成される画像変換単位による画像変換処理を繰り返し実行する処理パスと、前記奥行き情報出力部の出力する奥行き情報に応じて前記処理パスを構成する各画像変換単位の重み値を設定する重み値算出部と、前記重み値算出部の算出する重み値に応じて、前記処理パスを構成する各画像変換単位の出力を合成して左眼用画像または右眼用画像を生成する画像合成部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、生成する左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成した画像を表示する画像表示部を有する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である。

さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
奥行き情報出力部が、前記２次元画像信号を構成する画像領域の奥行き情報を入力または生成する奥行き情報出力ステップと、
画像変換部が、前記画像入力部から出力される画像信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを有し、
前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量と前記奥行き情報を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行うステップである画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
奥行き情報出力部に、前記２次元画像信号を構成する画像領域の奥行き情報を入力または生成させる奥行き情報出力ステップと、
画像変換部に、前記画像入力部から出力される画像信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを有し、
前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量と前記奥行き情報を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、簡易な信号処理により被写体距離を反映した立体視可能な画像信号を生成することが可能となる。本発明の一実施例の画像処理装置は、入力画像信号の空間的な特徴量に対して被写体距離情報としての奥行き情報を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には入力信号の微分信号に、奥行き情報に応じたゲイン制御により補正微分信号を生成する。この補正微分信号またはその非線形変換信号を入力画像信号に加算および減算し、これらの信号の組を左眼用画像と右眼用画像とする。本構成により、被写体距離に応じた視差の設定された視差画像生成が可能となる。また、左／右眼用画像の加算信号は入力信号に等しくなり立体視メガネなしで画像を観察した場合には通常の２次元画像として観察可能となる。

オクルージョンについて説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置のゲイン制御部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置のゲイン制御部のゲイン制御処理について説明する図である。 本発明の一実施例に係る画像処理装置の処理に適用する信号について説明する図である。 本発明の一実施例に係る画像処理装置の非線形変換部の非線形変換処理について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 右眼および左眼用の信号と入力信号と微分信号の対応関係と網膜像差について説明する図である。 右眼および左眼用の信号と入力信号と微分信号の対応関係と網膜像差について説明する図である。 右眼および左眼用の信号と入力信号と微分信号の対応関係と網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の生成する右眼および左眼用の信号と入力信号と微分信号の対応関係と網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下の呼応目に従って順次説明する。
１．画像処理装置の構成例について
２．奥行き情報出力部の処理について
３．画像変換部の処理について
４．ゲイン制御部の処理について
５．非線形変換部の処理について
６．画像合成部の処理について
７．網膜像差（視差）による立体感について
８．被写体距離に応じたゲインを設定した補正微分信号および画像生成構成例について
９．画像変換部の処理シーケンスについて
１０．２次元（２Ｄ）表示処理時の効果について
１１．画像表示部を持つ実施例について

［１．画像処理装置の構成例について］
図２は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部１２０が対応していればどのような色空間でも構わない。

奥行き情報出力部１１５は、画像入力部１１０の入力画像信号に対応した奥行き情報を外部から入力、または内部で生成して画像変換部１３０に出力する。奥行き情報は、例えば図１（ｂ）に示すような被写体距離に応じた輝度分布データ等からなる距離画像などである。ただしデータ形式は特定するものでない。

奥行き情報出力部１１５が入力あるいは生成する奥行き情報は、入力画像信号と相対的な位置関係が対応し、各画素がどの程度の奥行きを有しているかを決めることが可能な情報であればよい。入力画像信号と画素数において１対１の関係になくても構わず、また、動画像の場合は入力画像信号とフレーム数において１対１の関係になくてもよい。すなわち複数フレーム、例えば２フレームや４フレーム単位で１つの共通の奥行き情報を利用する構成としてもよい。

画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０は、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

ここで、色空間変換部１２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。

色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。
一方、奥行き情報出力部１１５からは、奥行き情報が画像変換部１３０に入力される。
画像変換部１３０は、後述する処理によって例えば左眼用画像（Ｌ：Ｌｅｆｔ）と右眼用画像（Ｒ：Ｒｉｇｈｔ）からなる両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

画像変換部１３０から出力されたビデオデータは、色空間逆変換部１４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間から出力画像フォーマットに従った色空間へ変換される。このとき、出力画像フォーマットがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間逆変換部１４０は、色空間の変換を行わずに出力する。このように図２には、色空間変換部１２０、色空間逆変換部１４０を有する構成を示しているが、これらの構成は、必須構成ではなく、省略した構成も可能である。

色空間逆変換部１４０から出力されたビデオデータは、画像出力部１５０に入力される。画像出力部１５０は、画像変換部１３０で変換された両眼視差画像を表示して立体視を実現することが可能な外部接続した立体表示装置において受信可能なビデオデータに変換して出力する。

なお、本実施例においては、静止画像を入力した場合、画像入力部１１０においてビデオデータに変換する方法を記載しているが、この方法に限らず、１枚の静止画像から２枚の左眼用画像と右眼用画像に変換し、２枚の静止画像として例えばメモリカードなどにファイル出力する構成にしても構わない。

［２．奥行き情報出力部の処理について］
次に、奥行き情報出力部１１５の処理例について説明する。奥行き情報出力部１１５は、外部から奥行き情報を入力して出力するか、あるいは内部で生成して出力する処理を行う。

外部から奥行き情報を入力する場合の奥行き情報の取得方法は特定するものではない。例えば、市販のレンジスキャナを用いて奥行き情報を取得する方法や、画像取得時に画像信号を撮像するカメラをもう１台（計２台）を用いて撮像し、ステレオ法を用いて奥行き情報を取得する方法などが利用できる。

また、奥行き情報出力部１１５は、奥行き情報を画像処理装置１００の外部から入力するのではなく２次元画像としての入力画像信号を用いて内部で生成してもよい。
２次元画像から距離情報を得る方法としては、Ａ．Ｓａｘｅｎａらが"Ｍａｋｅ３Ｄ：Ｌｅａｒｎｉｎｇ ３−Ｄ Ｓｃｅｎｅ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｓｔｉｌｌ Ｉｍａｇｅ"（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ （ＰＡＭＩ）， ２００８．）で発表した方法や、特開２００５−１５１５３４号公報で公知されている方法などがある。

これらの文献に記載した方法を用いることで、奥行き情報出力部１１５は、２次元画像としての入力画像信号を用いて奥行き情報を生成して画像変換部１３０に出力することができる。このような構成とする場合、画像処理装置１００は図３に示すように、奥行き情報出力部１１５は、画像入力部１１０を介して画像を入力し、入力画像に基づいて奥行き情報を生成し、生成した奥行き情報を画像変換部１３０に出力する構成となる。

［３．画像変換部の処理について］
次に、画像変換部１３０の処理例について説明する。図４は、画像変換部１３０の一実施例の構成を示すブロック図である。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。画像変換部１３０は、微分器１３１、ゲイン制御部１３２、非線形変換部１３３、および画像合成部１３４から構成される。

微分器１３１は、画像変換部１３０に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号（Ｈ）を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。

ゲイン制御部１３２は、微分器１３１から出力される微分信号（Ｈ）に、予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号（Ｈ'）を生成する。

非線形変換部１３３は、ゲイン制御部１３２から出力される補正微分信号（Ｈ'）を非線形的に変換し、視差強調信号（Ｅ'）として画像合成部１３４に出力する。

画像合成部１３４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号（Ｈ'）、または、この補正微分信号を非線形変換して生成した視差強調信号（Ｅ'）を適用して左眼用画像と、右眼用画像を生成する処理を行う。

なお、図４に点線で示すように、非線形変換部１３３の変換処理を省略し、ゲイン制御部１３２で補正処理した補正微分信号（Ｈ'）を画像合成部１３４に直接入力して、画像合成部１３４が、補正微分信号を適用して左眼用画像（Ｌ）と、右眼用画像（Ｒ）を生成する構成としてもよい。

［４．ゲイン制御部の処理について］
次に、ゲイン制御部１３２の実行する処理について説明する。
図５は、ゲイン制御部１３２の一実施例の構成を示すブロック図である。ゲイン制御部１３２では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の１画素ごとに、１つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。

ゲイン係数算出部２０１は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。
乗算処理部２０２は、入力された微分信号の各画素について、ゲイン係数算出部２０１から出力された各画素に対するゲイン係数を、微分信号（Ｈ）の振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号（Ｈ'）を出力する。

図６は、ゲイン係数算出部２０１において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部２０１におけるゲイン係数の出力を示している。
ゲイン係数算出部２０１は、入力された奥行き情報（Ｉｎ）を、予め設定した関数ｆ（ｘ）により変換して、ゲイン係数（Ｏｕｔ）を出力する。
このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ
（ただしＡは定数）
上記式に示されるような線形一次関数を用いる。Ａは予め設定した定数であり、様々な値に設定可能である。

また、ゲイン係数算出部２０１における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。
奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。

図６は、ゲイン係数算出部の入力値（奥行き情報）と、出力値（ゲイン係数）の対応例を示す図である。図６には３つの入力値（奥行き情報）とそれに対応する３つの出力値（ゲイン係数）の例を示している。
入力値（奥行き情報）の例は、Ｄ１、Ｄ２、Ｄ３であり、ある３つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者（ユーザ）あるいはカメラから被写体までの距離に対応する値である。
奥行き（＝被写体距離）はＤ１＜Ｄ２＜Ｄ３の順に、手前から奥へと深く（ユーザまたはカメラから遠く）なっていくものとする。
このとき出力値（ゲイン係数）の例は、Ｇ１、Ｇ２、Ｇ３であり、各々は図６中の関数ｆ（ｘ）に、Ｄ１、Ｄ２、Ｄ３の値を入力することで得られる値である。
この例のように、ゲイン係数算出部２０１は、微分信号の各画素に応じたゲイン係数を出力する。

図７は、ゲイン制御部１３２における微分信号の振幅値を制御する処理の一例を示している。
図７には、
（ａ）入力信号
（ｂ）微分信号
（ｃ）奥行き情報
（ｄ）補正後の微分信号
これらの例を示している。

図７（ａ）は、入力画像信号の一例である。
図７（ｂ）は、図７（ａ）の入力画像信号を微分処理した画像である。
図７（ｃ）は、図７（ａ）の入力画像信号に対応した奥行き情報であり、画像を３分割した各領域に奥行きの値を与えた簡易なものである。

ここで、図７（ｃ）の奥行き情報を示す画像信号には、上部から順に図６において定義した奥行き情報：Ｄ３、Ｄ２、Ｄ１（Ｄ１＜Ｄ２＜Ｄ３）の値が与えられているものとしている。

このとき、図６において説明した奥行きとゲイン値の関係の通り、図７（ｂ）の微分信号の各画素に乗じるゲイン値は、画像の上部から順に、
Ｇ３、Ｇ２、Ｇ１（Ｇ１＜Ｇ２＜Ｇ３）
となる。

図７（ｄ）補正後の微分信号は、図７（ｃ）の奥行き情報に基づいたゲイン値を、図７（ｂ）の微分信号の各画素に乗じた処理結果の一例である。
図７（ｄ）補正後の微分信号においては、画面上部ほど（遠い領域ほど）、大きなゲイン値が乗じられ、画面下部ほど（近い領域ほど）小さなゲイン値が乗じられる。
この結果、画面上部ほど（遠い領域ほど）微分信号の振幅値が大きくなり、画面下部ほど（近い領域ほど）微分信号の振幅は小さくなる。

本発明の画像処理装置は、このように距離に応じた振幅の異なる微分信号を用いて左眼用画像と右眼用画像を生成して出力する。この結果、距離に応じた異なる視差を持つ画像を生成して出力する。具体的な処理例については後段で詳細に説明する。

［５．非線形変換部の処理について］
次に、非線形変換部１３３の実行する処理について説明する。非線形変換部１３３は、ゲイン制御部１３２から出力される距離に応じてゲイン制御のなされた補正微分信号（Ｈ'）を非線形的に変換した視差強調信号（Ｅ'）を生成して画像合成部１３４に出力する。

図８は、非線形変換部１３３において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部１３２から出力される距離に応じてゲイン制御（補正）のなされた微分信号であり（輝度）補正微分信号である。縦軸が、非線形変換部１３３における非線形変換処理後の出力を示している。非線形変換部１３３は、入力された補正微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^γ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部１３３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

画像合成部１３４は、非線形変換部１３３から出力される視差強調信号と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。

なお、図４に点線で示すように、非線形変換部１３３の変換処理を省略し、微分器１３１の生成した微分信号に対してゲイン制御部１３２が距離に応じたゲイン制御を行った補正微分信号（Ｈ'）を画像合成部１３４に直接入力する構成としてもよい。この場合は、画像合成部１３４は、奥行き（被写体距離）に応じてゲイン制御の施された補正微分信号（Ｈ'）を適用して左眼用画像と、右眼用画像を生成する処理を行う。

［６．画像合成部の処理について］
次に画像合成部１３４の処理について説明する。
画像合成部１３４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して左眼用画像と、右眼用画像を生成する処理を行う。

図９と図１０は、画像合成部１３４において実行する画像合成処理の概念を示している。
図９は、距離が大の画像領域（奥行きが大きい画像領域）
図１０は、距離が小の画像領域（奥行きが小さい画像領域）
これらの各画像領域について、上から順に、
（ａ）入力信号（Ｓ）
（ｂ）微分信号（Ｈ）
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）
（ｄ）右眼用画像信号（Ｒ）
（ｅ）左眼用画像信号（Ｌ）
これらの各信号を示している。

図７の（ｃ）奥行き情報に対応付けて説明すると、例えば、図９は図７（ｃ）の画像上部の距離が大（＝Ｄ３）の画像領域（奥行きが大きい画像領域）に対応する処理例である。一方、図１０は図７（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

まず、図９に示す距離が大の画像領域（奥行きが大きい画像領域）における処理例について説明する。
（ａ）入力信号（Ｓ）は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号（Ｈ）は、（ａ）入力信号の微分結果である。この微分信号は、図４に示す画像変換部１３０の微分器１３１において生成される信号である。
微分器１３１の生成する微分信号（Ｈ）は、図９に示すとおり、（ａ）入力信号（Ｓ）の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の微分信号（Ｈ'）は、図４に示す画像変換部１３０のゲイン制御部１３２において生成する信号であり、図９（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。なお、図９に示す例は、距離が大（例えば図６、図７（ｃ）のＤ３）の画像領域（奥行きが大きい画像領域）における処理例であり、図６、図７を参照して説明したようにより大きなゲイン（Ｇ３）による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。

図９（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号（Ｈ））であり、図９（ｃ）に示す実線が距離に応じた補正後の補正微分信号（Ｈ'）である。このように、補正微分信号（Ｈ'）は距離に応じたゲイン制御により、振幅がより大きく補正される。

（ｄ）右眼用画像信号、（ｅ）左眼用画像信号は、図４に示す画像変換部１３０の画像合成部１３４において生成する信号である。画像合成部１３４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部１３３において非線形変換した結果（非線形変換部１３３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右眼用画像信号と、（ｅ）左眼用画像信号を生成する。

次に、図１０に示す距離が小の画像領域（奥行きが小さい画像領域）における処理例について説明する。図１０は図７（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。

（ａ）入力信号と、（ｂ）微分信号は、図９に示す（ａ）入力信号と、（ｂ）微分信号と同様の信号である。（ｂ）微分信号（Ｈ）は、（ａ）入力信号（Ｓ）の微分結果である。この微分信号は、図４に示す画像変換部１３０の微分器１３１において生成される信号である。微分器１３１の生成する微分信号は、図１０に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）は、図４に示す画像変換部１３０のゲイン制御部１３２において生成する信号であり、図１０（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。

図１０に示す例は、距離が小（例えば図６、図７（ｃ）のＤ１）の画像領域（奥行きが大きい画像領域）における処理例であり、図６、図７を参照して説明したように小さなゲイン（Ｇ１）により微分信号の振幅は小さな振幅に補正される。

図１０（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号）であり、図１０（ｃ）に示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。

（ｄ）右眼用画像信号、（ｅ）左眼用画像信号は、図４に示す画像変換部１３０の画像合成部１３４において生成する信号である。画像合成部１３４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部１３３において非線形変換した結果（非線形変換部１３３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右眼用画像信号と、（ｅ）左眼用画像信号を生成する。

このように、本発明の画像処理装置では、
距離＝大の場合は、振幅の大きい補正微分信号
距離＝小の場合は、振幅の小さい補正微分信号、
これらの補正微分信号（図９、図１０の（ｃ））を生成し、これらの補正微分信号（またはその非線形変換結果である視差強調信号）と（ａ）入力信号との合成処理により、（ｄ）右眼用画像信号と、（ｅ）左眼用画像信号を生成する。

このような（ｄ）右眼用画像信号と、（ｅ）左眼用画像信号の生成処理の生成処理について、数式を用いて説明する。
図９、図１０の（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図９、図１０の（ｂ）に示す微分信号の信号レベルを（Ｈ）とする。
また、ゲイン制御部１３２において行われる微分信号の補正結果としての補正微分信号の信号レベルを（Ｈ'）てとする。
なお、補正微分信号（Ｈ'）の生成の際、（ｂ）微分信号（Ｈ）に乗じるゲイン値（Ｇ）は、奥行き情報（Ｄ）をもとに予め設定された関数などから決定される。

図９に示す距離が大の場合のゲイン値をＧ３、
図１０に示す距離が小の場合のゲイン値をＧ１、
とする。
図９、図１０に示す例は、Ｇ３＞１＞Ｇ１の関係を想定している。

図９、図１０の（ｃ）補正後の微分信号の信号レベルを（Ｈ'）で表現すると、（Ｈ'）は上記ゲイン値Ｇ３、Ｇ１を用いて補正された信号として、以下の式によって示すことができる。
図９に示す距離が大の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ３×Ｈ
図１０に示す距離が小の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ１×Ｈ
これらの式によって算出された信号が、図９、図１０の（ｃ）補正後の微分信号の信号レベル（Ｈ'）となる。

図９（ｃ）に示す距離が大の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が大きくなっている。
一方、図１０（ｃ）に示す距離が小の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が小さくなっている。

これは、図９（ｃ）、図１０（ｃ）に示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。
すなわち、奥行き情報出力部１１５の出力する奥行き情報が大（カメラからの距離が遠い）画素については、（ｂ）微分信号に対して大きなゲイン値を乗じて補正されて図９（ｃ）に示す補正後微分信号が生成される。
一方、奥行き情報出力部１１５の出力する奥行き情報が小（カメラからの距離が近い）画素については、（ｂ）微分信号に対して小さなゲイン値を乗じて補正されて図１０（ｃ）に示す補正後微分信号が生成される。

図９（ｃ）、図１０（ｃ）に示す補正後の微分信号は、非線形変換部１３３において、例えば先に図８を参照して説明した設定で非線形変換処理が施され、視差強調信号（Ｅ'）が生成される。

画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｃ）補正後の微分信号（Ｈ'）を非線形変換した視差強調信号（Ｅ'）を入力して、例えば以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
これにより得られる信号が、図９（ｄ）、図１０（ｄ）に実線で示す右眼用画像信号、および、図９（ｅ）、図１０（ｅ）に示す左眼用画像信号である。

一方、図９（ｄ），（ｅ）と図１０（ｄ），（ｅ）に点線で示す信号は、（ｃ）補正後の微分信号ではなく、補正前の微分信号、すなわち（ｂ）微分信号（Ｈ）を適用して非線形変換した視差強調信号（Ｅ）を利用して生成した右眼用画像信号、および左眼用画像信号に相当する。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
である。

図９、図１０の（ｄ）右眼用画像信号、および、（ｅ）左眼用画像信号に示す実線と点線を比較すると、
図９に示す距離が大の場合は、（ｄ）右眼用画像信号、（ｅ）左眼用画像信号の両者とも、実線（補正後微分信号）の振幅が、点線（補正前微分信号）の振幅より大きくなっている。
一方、図１０に示す距離が小の場合は、（ｄ）右眼用画像信号、（ｅ）左眼用画像信号の両者とも、実線（補正後微分信号）の振幅が、点線（補正前微分信号）の振幅より小さくなっている。

つまり、距離が大の場合は、（ｄ）右眼用画像信号、（ｅ）左眼用画像信号の差分が拡大され、距離が小の場合は、（ｄ）右眼用画像信号、（ｅ）左眼用画像信号の差分が縮小される。

このような（ｄ）右眼用画像信号、（ｅ）左眼用画像信号を表示することで、距離が大の場合は、（ｄ）右眼用画像信号と（ｅ）左眼用画像信号の網膜視差が大きくなり、より遠くに感じられ、距離が小の場合は、（ｄ）右眼用画像信号と（ｅ）左眼用画像信号の網膜視差が小さくなり近くに感じられることになる。

なお、上述した説明では、画像合成部１３４は、非線形変換部１３３における視差強調処理としての非線形変換処理（図８参照）を（ｃ）補正後の微分信号（Ｈ’）に対して実行した結果として得られる視差強調信号（Ｅ’）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を下式に従って生成する例を説明した。
Ｒｉｇｈｔ＝Ｓ−Ｅ’
Ｌｅｆｔ＝Ｓ＋Ｅ’

しかし、前述したように、非線形変換部１３３における視差強調処理は必須ではない。すなわち、画像合成部１３４は、図４に示す点線のラインの入力を用いて（ｃ）補正後の微分信号（Ｈ’）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する構成としてもよい。この場合、画像合成部１３４は、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を下式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ’
Ｌｅｆｔ＝Ｓ＋Ｈ’

［７．網膜像差（視差）による立体感について］
図９、図１０を参照して説明した右眼用画像信号と、左眼用画像信号を生成して、これらの画像を観察者の右眼と左眼で観察することにより視差が発生し、奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。以下、本発明の画像処理装置１００において生成する右眼用画像（Ｒ：Ｒｉｇｈｔ）と左眼用画像（Ｌ：Ｌｅｆｔ）の網膜像差について説明する。

上述したように、本願発明の画像処理装置では、図９、図１０の（ｂ）に示す微分信号（Ｈ）に対して、距離に応じたゲイン値を乗じて（ｃ）補正微分信号（Ｈ'）を生成し、この（ｃ）補正微分信号（Ｈ'）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ'
Ｌｅｆｔ＝Ｓ＋Ｈ'
あるいは、（ｃ）補正後の微分信号（Ｈ'）に対する非線形変換により得られる視差強調信号（Ｅ'）と、入力信号（Ｓ）を利用して、
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
上記処理により、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する。

距離に応じたゲイン値を利用して（ｃ）補正微分信号（Ｈ'）を生成する理由は、距離が大きい被写体に対しては視差をより大きくするための処理である。

本出願人は、本出願の前の先行出願として特願２００８−２０３６１４を出願している。この先行出願では、被写体距離に依存することのない処理により右眼用画像と左眼用画像の視差を設定する構成を開示している。まず、この先行出願の処理について説明する。

先行出願（特願２００８−２０３６１４）の処理は、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を入力信号（Ｓ）と、入力信号の微分信号（Ｈ）を適用して生成する構成である。すなわち被写体距離情報は利用していない。
なお、以下の説明では、非線形変換処理を省略し、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を入力信号（Ｓ）と、微分信号（Ｈ）の加減算により生成する例として説明する。

先行出願（特願２００８−２０３６１４）において、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、入力信号（Ｓ）と、入力信号の微分信号（Ｈ）を適用して以下の式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ
Ｌｅｆｔ＝Ｓ＋Ｈ
この右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、図９、図１０の（ｄ），（ｅ）に示す点線の信号に相当する。図９、図１０とも点線の信号レベルは同じである。すなわち被写体距離に応じた補正がなされていない信号である。

図１１は、被写体距離に応じた補正がなされていない微分信号（図９（ｂ）＝図１０（ｂ））を入力信号に対して加減算することで生成した図９、図１０の（ｄ），（ｅ）に示す点線の右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）に発生する網膜像差を説明する図である。ここでは、説明を簡単にするために、入力信号（Ｓ）として、１次元の正弦波信号が入力された場合を示している。

右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、入力信号（Ｓ）と、入力信号の微分信号（Ｈ）を適用して以下の式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ
Ｌｅｆｔ＝Ｓ＋Ｈ
図１１の水平軸は、画像の水平方向の画素位置を表しており、垂直軸は、画素の輝度レベルを表している。

入力信号Ｓを正弦波信号、すなわち以下の式で表す。
Ｓ＝ｓｉｎωｘ
このとき、微分信号Ｈは、余弦波信号、すなわち、以下の式で表される。
Ｈ＝ｃｏｓωｘ

このとき、左眼用画像信号Ｌと、右眼用画像信号Ｒは、以下のように表される。

上記式から、左眼用画像信号Ｌは、入力信号Ｓに対してπ／４だけ位相が進み、右眼用画像信号Ｒは、入力信号Ｓに対してπ／４だけ位相が遅れている。つまり、左眼用画像信号Ｌは、入力信号よりも振幅が√２倍で、角周波数ωで決まる周期の１／８だけ水平左方向にずれた信号であり、右眼用画像信号Ｒは、同様に、振幅が√２倍で、周期の１／８だけ水平右方向にずれた信号となっている。このように、左眼用画像信号Ｌと右眼用画像信号Ｒの間ではπ／２だけの位相差が発生し、この位相差が網膜像差として知覚され、奥行きを感じることが出来る。

なお、網膜像差は、角周波数ωに依存して変化する。図１２は、図１１と比較して、入力信号の角周波数が１／２になった場合の波形を示している。図からわかる通り、網膜像差は図１１の場合の２倍になっており、両眼立体視した場合には、図１１の入力信号に比較して奥に知覚される。

また、図１３は、図１１と比較して、入力信号の角周波数が２倍になった場合の波形を示している。図からわかる通り、網膜像差は図１１の場合の１／２になっており、両眼立体視した場合には、図１１の入力信号に比較して手前に知覚される。

このように網膜像差は、角周波数ωに依存して変化する。しかし、この手法では、左眼用画像信号（Ｌ）と右眼用画像信号（Ｒ）との位相差は、被写体の距離には依存しないものとなってしまう。左眼用画像信号Ｌと右眼用画像信号Ｒの間の位相差（網膜像差に相当）は最大でも入力信号の空間周波数の１／２波長の幅に限定される。これは、被写体の距離には依存しない。このように、本手法では、被写体の距離に関係なく同じ視差のみが設定されるという問題がある。

本発明はこの問題を解決するものである。すなわち、本発明の画像処理装置は、図９、図１０の（ｂ）に示す微分信号（Ｈ）に対して、距離に応じたゲイン値を乗じて補正微分信号（Ｈ'）（図９、図１０の（ｃ）の実線データ）を生成する。

この距離に応じた補正微分信号（Ｈ’）（図９、図１０の（ｃ）の実線データ）を利用して、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する。すなわち、画像合成部１３４は、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を、入力信号と、距離に応じたゲイン値を乗じた補正微分信号（Ｈ’）との加減算処理を行う下式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ’
Ｌｅｆｔ＝Ｓ＋Ｈ’

なお、上記式は、非線形変換処理（図８参照）を省略した処理例である。非線形変換処理を実行する場合は、以下の処理を実行する。
画像合成部１３４は、非線形変換部１３３における視差強調処理としての非線形変換処理（図８参照）を（ｃ）補正後の微分信号（Ｈ'）に対して実行した結果として得られる視差強調信号（Ｅ'）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を下式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'

本発明の構成では、距離に応じたゲイン値を乗じた補正微分信号（Ｈ'）、あるいはその非線形変換によって生成した視差強調信号（Ｅ'）を入力信号（Ｓ）に対して加減算して右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。この処理により、距離が大きい被写体に対する視差を、距離が小さい被写体より大きくすることを可能としている。

図１４を参照して本発明の処理、すなわち被写体距離に応じた視差調整の原理について説明する。説明を単純化するために図１と同様、入力信号（Ｓ）として１次元の正弦波信号が入力された場合を示している。

図１４には、
入力信号（Ｓ）
第１左眼用信号（Ｌ１）（＝被写体距離（奥行き）が小さい場合）
第２左眼用信号（Ｌ２）（＝被写体距離（奥行き）が大きい場合）
第１右眼用信号（Ｒ１）（＝被写体距離（奥行き）が小さい場合）
第２右眼用信号（Ｒ２）（＝被写体距離（奥行き）が大きい場合）
これらの５つの信号を示している。

第１左眼用信号（Ｌ１）（＝被写体距離（奥行き）が小さい場合）、
第１右眼用信号（Ｒ１）（＝被写体距離（奥行き）が小さい場合）、
これらは例えば図１０に示す設定に対応し、
第２左眼用信号（Ｌ２）（＝被写体距離（奥行き）が大きい場合）、
第２右眼用信号（Ｒ２）（＝被写体距離（奥行き）が大きい場合）、
これらは図９に示す設定で生成した左右の眼用の信号に対応する。

具体的には、距離に応じたゲイン（Ｇ１＜Ｇ３）とした場合、
第１右眼用信号（Ｒ１）＝Ｓ−Ｈ'＝Ｓ−（Ｇ１×Ｈ）
第１左眼用信号（Ｌ１）＝Ｓ＋Ｈ'＝Ｓ＋（Ｇ１×Ｈ）
第２右眼用信号（Ｒ２）＝Ｓ−Ｈ'＝Ｓ−（Ｇ３×Ｈ）
第２左眼用信号（Ｌ２）＝Ｓ＋Ｈ'＝Ｓ＋（Ｇ３×Ｈ）
このように、微分信号（Ｈ）に対被写体距離に応じたゲインを乗じて生成した補正微分信号（Ｈ'）を入力信号（Ｓ）に加減算して各眼用の信号を生成している。

この結果、
第１右眼用信号（Ｒ１）＝Ｓ−Ｈ'＝Ｓ−（Ｇ１×Ｈ）は、入力信号に対して一定量αだけ位相が進む。
第１左眼用信号（Ｌ１）＝Ｓ＋Ｈ'＝Ｓ＋（Ｇ１×Ｈ）は、入力信号に対して一定量αだけ位相が遅れる。
また、
第２右眼用信号（Ｒ２）＝Ｓ−Ｈ'＝Ｓ−（Ｇ３×Ｈ）は、入力信号に対してさらにβを追加した（α＋β）の位相が進んだ信号となる。
第２左眼用信号（Ｌ２）＝Ｓ＋Ｈ'＝Ｓ＋（Ｇ３×Ｈ）は、入力信号に対してさらにβを追加した（α＋β）の位相が遅れた信号となる。

この結果、
被写体距離が小さい場合に左右の眼で観察される画像は、
第１右眼用信号（Ｒ１）＝Ｓ−Ｈ'＝Ｓ−（Ｇ１×Ｈ）
第１左眼用信号（Ｌ１）＝Ｓ＋Ｈ'＝Ｓ＋（Ｇ１×Ｈ）
これらの信号の組み合わせとなり、この時の網膜像差は２αとなる。

一方、被写体距離が大きい場合に左右の眼で観察される画像は、
第２右眼用信号（Ｒ２）＝Ｓ−Ｈ'＝Ｓ−（Ｇ３×Ｈ）
第２左眼用信号（Ｌ２）＝Ｓ＋Ｈ'＝Ｓ＋（Ｇ３×Ｈ）
これらの信号の組み合わせとなり、この時の網膜像差は２（α＋β）となる。

すなわち、
被写体距離が小さい場合に左右の眼で観察される画像の視差＝２α、
被写体距離が大きい場合に左右の眼で観察される画像の視差＝２（α＋β）、
このように、左右の眼で観察される画像の視差は被写体距離が小さい場合は小さく設定され、被写体距離が大きい場合は大きく設定される。すなわち被写体距離に応じた視差が設定される。
結果として、画像の観察者（ユーザ）に、被写体距離が小さいオブジェクトは手前に、被写体距離が大きいオブジェクトはより遠くに見える感覚を与えることが可能となる。

このように、本発明の画像処理装置１００は、入力画像信号（Ｓ）の空間的な特徴量としての輝度微分信号（Ｈ）に対して奥行き、すなわち被写体距離（Ｄ）に応じたゲイン（Ｇ）を乗じて生成した補正微分信号（Ｈ'）、あるいはその非線形変換処理によって生成する視差強調信号（Ｅ'）を抽出して入力画像信号に対してこれらの特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

なお、図９、図１０（ｄ）に示す右眼用画像信号（Ｒｉｇｈｔ）は、以下のような信号特性（ｄ１）〜（ｄ３）を持つ信号として生成される。
（信号特性）
（ｄ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号（または（ｃ）補正微分信号）が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｄ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号（または（ｃ）補正微分信号）が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｄ３）（ｂ）微分信号（または（ｃ）補正微分信号）が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

また、図９、図１０（ｅ）に示す左眼用画像信号（Ｌｅｆｔ）は、以下のような信号特性（ｅ１）〜（ｅ３）を持つ信号として生成される。
（信号特性）
（ｅ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号（または（ｃ）補正微分信号）が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｅ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号（または（ｃ）補正微分信号）が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｅ３）（ｂ）微分信号（または（ｃ）補正微分信号）が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

図４に示す画像合成部１３４は、上述したように、（ａ）入力信号（Ｓ）と、距離に応じて補正された（ｃ）補正微分信号（Ｈ'）、あるいはさらに非線形変換部１３３において非線形変換した結果（非線形変換部１３３の出力）である視差強調信号（Ｅ'）とを合成（加減算）して（ｄ）右眼用画像信号（Ｒ）と、（ｅ）左眼用画像信号（Ｌ）を生成する。

なお、画像合成部１３４は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する１フレーム画像について、上記式、すなわち、
右眼用画像信号Ｒ＝Ｓ−Ｈ’
左眼用画像信号Ｌ＝Ｓ＋Ｈ’
または、
右眼用画像信号Ｒ＝Ｓ−Ｅ’
左眼用画像信号Ｌ＝Ｓ＋Ｅ’
上記式に従った信号合成処理によって、（ｄ）右眼用画像信号（Ｒ）と、（ｅ）左眼用画像信号（Ｌ）を生成する。

また、変換対象となる入力信号が動画であれば、動画を構成する各フレーム画像について、
Ｒ＝Ｓ−Ｈ'
Ｌ＝Ｓ＋Ｈ'
または、
Ｒ＝Ｓ−Ｅ'
Ｌ＝Ｓ＋Ｅ'
上記式に従った信号合成処理によって、（ｄ）右眼用画像信号（Ｒ）と、（ｅ）左眼用画像信号（Ｌ）を生成する。

ただし、動画像の場合は、最終的に画像表示を実行する画像出力部１５０（図２参照）や表示装置の制御方式に従って、右眼用画像信号と左眼用画像信号の生成態様を変更する設定としてもよい。以下、図１５以下を参照して変換対象となる入力信号が動画像（ビデオデータ）である場合の画像合成部１３４の実行する複数の処理例について説明する。

まず、変換対象となる入力信号が動画像（ビデオデータ）の場合の画像合成部１３４の実行する基本的な処理例について図１５を参照して説明する。図１５に示す処理例は、画像合成部１３４（図４参照）が、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）のすべてについて、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を生成して出力する処理例である。

図１５には、
（ａ）入力画像フレーム（Ｓ）
（ｐ）奥行き情報（Ｄ）
（ｃ）補正微分信号（Ｈ'）
（ｄ）右眼用信号（Ｒ）
（ｅ）左眼用信号（Ｌ）
これらの具体的な画像例を示している。なお、（ｐ）奥行き情報（Ｄ）は、明るい部分が被写体距離が小さく（近い）、暗い部分が被写体距離が大きい（遠い）ことを示す輝度による奥行き情報データである。

画像合成部１３４は、図１５に示す（ａ）入力画像フレームのすべてのフレームについて、
（ａ）入力画像フレームの輝度信号（Ｓ）と、
（ｃ）補正微分信号（Ｈ'）［＝（ｐ）奥行き情報に基づいて微分画像信号のゲインを制御した補正微分信号（Ｈ'）］
これらの信号を入力し、
右眼用画像信号Ｒ＝Ｓ−Ｈ'
左眼用画像信号Ｌ＝Ｓ＋Ｈ'
上記算出処理に従って図１５に示す（ｄ）右眼用画像信号と、（ｅ）左眼用画像信号を生成して出力する。この場合、画像合成部１３４は、２系統のビデオ信号を出力する。

なお、補正微分信号（Ｈ'）に対する非線形変換（図８参照）結果を用いて、
右眼用画像信号Ｒ＝Ｓ−Ｅ'
左眼用画像信号Ｌ＝Ｓ＋Ｅ'
上記算出処理に従って図１５に示す（ｄ）右眼用画像信号と、（ｅ）左眼用画像信号を生成して出力する構成としてもよい。

図１５に示す基本処理例では、画像合成部１３４は、全てのフレームに対応する右眼用画像と、左眼用画像の２系統のビデオ信号を出力する。これらの２系統の信号を受領した画像出力部１５０（図１参照）は、立体視を実現する表示装置にこれらのデータを出力する。表示装置は、立体視を実現する各種の表示方式に従って出力制御を行う。表示装置の表示方式とは、例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式、あるいは、液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式などである。表示装置は、画像合成部１３４の生成した２系統のビデオ信号を利用して上記いずれかの表示方式に従った画像を表示する。

図１５に示す基本処理例は、各フレーム毎に奥行き情報を個別に生成または入力して処理を実行する例であるが、複数フレーム単位で１つのフレームから作成した奥行き情報、または代表１フレームに対応する入力された奥行き情報を利用する構成も可能である。

図１６は、２つのフレーム単位で１つのフレームから生成した奥行き情報を利用する例、図１７は、４つのフレーム単位で１つのフレームから生成した奥行き情報を利用する例である。
このような処理構成とすることで、奥行き情報の精製負荷が軽減され、装置の処理能力が低い場合でも処理の遅れなどを発生させることのないデータ処理が可能となる。

なお、画像表示方式が予め決定されている場合は、画像合成部１３４が、各画像出力方式に応じた出力画像信号を生成して出力する設定とすることができる。以下、図１８〜図２０を参照して、３つの異なる表示方式に応じた画像合成部１３４の処理例について説明する。

最終的に画像表示を実行する表示装置の表示方式としては、例えば以下の種類がある。
（１）左眼用画像と右眼用画像を時間分割で交互に出力する方式（図１８）
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。
（２）左眼用画像と右眼用画像を時間分割で交互に出力する方式において出力フレームレートを高速としたアクティブ眼鏡方式に対応する方式（図１９）
これは、図１８と同様の時間分割方式であるが、出力フレームレートを高速化した方式である。
（３）左眼用画像と右眼用画像を空間的に分離して同時出力する方式（図２０）
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。

まず、図１８を参照して、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３４の処理例について説明する。

この画像表示方式の場合、画像合成部１３４は、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）を各フレーム毎に切り替えて生成して出力する。

入力するビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）として設定して出力する。出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

画像合成部１３４は、このような時間分割方式の立体表示装置に出力するため、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）に対する画像合成処理をフレーム単位で左眼用画像と右眼用画像を切り替えて実行する。すなわち、図１８（ｄ），（ｅ）に示すように、左眼用画像（Ｌｅｆｔ）の合成と、右眼用画像（Ｒｉｇｈｔ）の合成をフレーム単位で交互に実施して出力する。

図１８に示す例では、フレームｎでは、右眼用画像を先に説明した式（式１）に従って生成する。すなわち、図１８（ａ）入力信号のフレームｎのビデオデータの輝度レベルを（Ｓ）とし、図１８（ｃ）に示すフレームｎの補正微分信号の信号レベルを（Ｈ'）としたとき、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｈ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｈ'
これらの加減算処理により、図１８（ｄ），（ｅ）に示す右眼用画像信号と左眼用画像信号を生成する。
なお、補正微分信号（Ｈ'）を非線形変換した視差強調信号の信号レベルを（Ｅ'）とし、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ'
これらの加減算処理により、図１８（ｄ），（ｅ）に示す右眼用画像信号と左眼用画像信号を生成する構成としてもよい。

この方式では、画像合成部１３４は、各フレームに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。すなわち１系統のビデオデータを出力する。

出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

図１９は、図１８と同様、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３４の処理例である。ただし、この処理例は、図１８に示す処理と異なり、入力ビデオデータの各フレームに対して、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を前述の式、すなわち、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｈ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｈ'
または、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ'
上記式に従った合成処理により合成して出力する。

画像出力を行う表示装置においては、入力ビデオデータの２倍のフレームレートで、左眼用画像と右眼用画像を時間分割に交互出力する。

この処理では、画像合成部１３４は、図１９に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｃ）補正微分信号画像（または視差強調信号）から、前述の式、すなわち、
Ｒ＝Ｓ−Ｈ'，Ｌ＝Ｓ＋Ｈ'、または、
Ｒ＝Ｓ−Ｅ'，Ｌ＝Ｓ＋Ｅ'、
上記式を適用して、（ｄ）右眼用画像（Ｒ）と、（ｅ）左眼用画像（Ｌ）を生成する。さらに、次のフレーム、すなわち、（ａ）入力画像のフレームｎ＋１とその（ｃ）補正微分信号画像（または視差強調信号）から、前述の式を適用して、（ｄ）右眼用画像と、（ｅ）左眼用画像を生成する。

このようにして１つのフレームから左眼用画像と右眼用画像を生成する。１フレームから生成した２枚の画像、すなわち、右眼用画像と左眼用画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。

画像出力部１５０は、表示装置において、図１９（ａ）に示す入力画像のフレームレートの２倍のフレームレートで表示されるように出力する。なお、この表示タイミングに併せて画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉も同期して制御する。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるようにする。この方式では、画像合成部１３４は、１系統の入力ビデオデータの２倍のフレームレートのビデオデータを出力する。

図２０は、空間分割方式の立体表示装置に対して出力する場合の画像合成部１３４の処理例を示している。空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示される方式である。すなわち、メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図２０（ｄ）に示す右眼用画像のみが観察され、左眼には図２０（ｅ）に示す左眼用画像のみが観察される。

この処理では、画像合成部１３４は、図２０に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｃ）補正微分信号画像（または視差強調信号）から、前述の式、すなわち、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｈ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｈ'
または、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ'
上記式に従った合成処理により合成して（ｄ）右眼用画像と、（ｅ）左眼用画像を生成する。

さらに、画像合成部１３４は、図２０に示す（ｆ）両眼視差画像を（ｄ）右眼用画像と（ｅ）左眼用画像から生成する。すなわち、（ｄ）右眼用画像と（ｅ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する。画像合成部１３４は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｆ）両眼視差画像を生成して出力する。

図２０に示す（ｆ）両眼視差画像は、（ｄ）右眼用画像と（ｅ）左眼用画像の有効領域（黒ライン以外の画像表示部）を連結して生成した画像である。すなわち、（ｆ）両眼視差画像は、（ｄ）右眼用画像と（ｅ）左眼用画像の各ラインデータを交互に含む画像である。画像合成部１３４は、このようにして（ｆ）両眼視差画像を生成して出力する。この方式では、画像合成部１３４は、入力画像と同一フレームレートの１系統のビデオデータを出力する。

画像出力部１５０は、空間分割方式の立体表示装置に対して、図２０に示す（ｆ）両眼視差画像を出力表示する。空間分割方式の立体表示装置は前述したように、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタが設定されている。ユーザは偏光フィルタ方式によるメガネで観察する。メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図２０（ｄ）に示す右眼用画像のみが観察され、左眼には図２０（ｅ）に示す左眼用画像のみが観察される。

図１８〜図２０を参照して説明した右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、先に説明した式、すなわち、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｈ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｈ'
または、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ'
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ'
上記式に従って生成される画像である。
ただし、
Ｓは入力信号、
Ｈ'は、入力信号Ｓの微分信号Ｈを距離に応じたゲインＧを乗じて生成した補正微分信号、
Ｅ'は、補正微分信号Ｈ'を非線形変換した視差強調信号である。
なお、視差強調信号Ｅ'は、入力信号Ｓの補正微分信号Ｈ'の非線形変換のみならず、線形変換信号を施して得られる信号でもよい。

このような右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成して、これらの画像を観察者の右眼と左眼で観察することにより奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。

［８．被写体距離に応じたゲインを設定した補正微分信号および画像生成構成例について］
次に、被写体距離に応じたゲインを設定した補正微分信号および画像生成を行う画像変換部の具体的構成例について説明する。
画像変換部１３０の構成例については、先に図４を参照して説明した。図４に示す画像変換部１３０の構成は画像変換部の一つの構成例である。図４と異なる画像変換部１３０の構成例を図２１に示す、

図２１に示す画像変換部１３０は、
第１パス画像変換部３００−１、
第２〜第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎ、
第２〜第ｎパス画像変換部Ｒ，３００−Ｒ２〜Ｒｎ、
出力選択部Ｌ，３０１Ｌ、
出力選択部Ｒ，３０１Ｒ、
これらを有する。

第１パス画像変換部３００−１と、第２〜第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎと、第２〜第ｎパス画像変換部Ｒ３００−Ｒ２〜Ｒｎは、図２２を参照して説明するように同じ構成を有する。従って、例えば各画像変換部３００は１つのハードウェアを繰り返し利用する構成とすることが可能である。

出力選択部Ｌ，３０１Ｌは、第１パス画像変換部３００−１と、第２〜第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎの各出力を入力し、画素または画素ブロック単位の距離情報に応じて第１パス画像変換部３００−１、および第２〜第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎのいずれかの出力を、画素または画素ブロック単位で選択出力する。出力画像は左眼用画像（Ｌ）である。

出力選択部Ｒ，３０１Ｒは、第１パス画像変換部３００−１と、第２〜第ｎパス画像変換部Ｒ，３００−Ｒ２〜Ｒｎの各出力を入力し、画素または画素ブロック単位の距離情報に応じて第１パス画像変換部３００−１、および第２〜第ｎパス画像変換部Ｒ，３００−Ｒ２〜Ｒｎのいずれかの出力を、画素または画素ブロック単位で選択出力する。出力画像は右眼用画像（Ｒ）である。

なお、図２１に示す画像変換部１３０の処理データは入力信号を輝度信号（Ｙ）とし、輝度信号に基づく輝度画像を生成しているが、これらの輝度を色信号（ＲＧＢ等）に画素値として反映させて出力することでＬ画像信号、Ｒ画像信号を生成して出力することができる。

第１パス画像変換部３００−１と、第２パス画像変換部Ｌ，３００−Ｌ２と、第２パス画像変換部Ｒ，３００−Ｒ２の詳細構成例と処理について図２２を参照して説明する。

第１パス画像変換部３００−１は、第１パス位相制御信号生成部３１１と、第１パス非線形変換部３１２と、第１パス画像合成部３１３から構成される。

第１パス位相制御信号生成部３１１は、入力信号（Ｓ）に対する処理を行う。なお、以下では入力信号の輝度（Ｙ）に対する処理であることを明示するため入力信号（Ｙ）として示す。第１パス位相制御信号生成部３１１は、入力信号（Ｙ）に対して微分処理を行い、微分信号（ｈ（Ｙ））を生成する。
第１パス非線形変換部３１２は、微分信号（ｈ（Ｙ））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ（Ｙ））を生成する。
第１パス画像合成部３１３は、入力輝度信号（Ｙ）に非線形変換された微分信号である視差強調信号（ｅ（Ｙ））を加減算することにより、以下の各信号を生成する。
左眼用信号Ｌ１＝Ｙ＋ｅ（Ｙ）
右眼用信号Ｒ１＝Ｙ−ｅ（Ｙ）

第２パス画像変換部Ｌ，３００−Ｌ２は、第１パス画像変換部３００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼信号Ｌ２を生成する。
第２パス画像変換部Ｒ，３００−Ｒ２は、第１パス画像変換部３００−１により生成された右眼用信号Ｒ１を入力として、さらに大きな視差を発生させる右眼信号Ｒ２を生成する。

第２パス画像変換部Ｌ，３００−Ｌ２も、第２パス画像変換部Ｒ，３００−Ｒ２も、第１パス画像変換部３００−１と同様の構成を有する。
すなわち、第２パス画像変換部Ｌ，３００−Ｌ２は、第２パス位相制御信号生成部３２１と、第２パス非線形変換部３２２と、第２パス画像合成部３２３から構成される。
第２パス画像変換部Ｒ，３００−Ｒ２は、第２パス位相制御信号生成部３３１と、第２パス非線形変換部３３２と、第２パス画像合成部３３３から構成される。

第２パス画像変換部Ｌ，３００−Ｌ２は、第１パス画像変換部３００−１により生成された左眼用信号Ｌ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる左眼用信号Ｌ２を生成する。
第２パス位相制御信号生成部３２１は、入力信号（左眼用信号Ｌ１）に対して微分処理を行い、微分信号（ｈ（Ｌ１））を生成する。
第２パス非線形変換部３２２は、微分信号（ｈ（Ｌ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ（Ｌ１））を生成する。
第２パス画像合成部３２３は、入力信号（左眼用信号Ｌ１）に非線形変換された微分信号である視差強調信号（ｅ（Ｌ１））を加算することにより、以下の信号を生成する。
左眼用信号Ｌ２＝Ｌ１＋ｅ（Ｌ１）
このように、第２パス画像変換部Ｌ，３００−Ｌ２は、第１パス画像変換部３００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼用信号Ｌ２を生成する。

また、第２パス画像変換部Ｒ，３００−Ｒ２は、第１パス画像変換部３００−１により生成された右眼用信号Ｒ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。
第２パス位相制御信号生成部３３１は、入力信号（右眼用信号Ｒ１）に対して微分処理を行い、微分信号（ｈ（Ｒ１））を生成する。
第２パス非線形変換部３３２は、微分信号（ｈ（Ｒ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ（Ｒ１））を生成する。
第２パス画像合成部３３３は、入力信号（Ｒ１）に非線形変換された微分信号である視差強調信号（ｅ（Ｒ１））を減算することにより、以下の信号を生成する。
右眼用信号Ｒ２＝Ｒ１−ｅ（Ｒ１）
このように、第２パス画像変換部Ｒ，３００−Ｒ２は、第１パス画像変換部３００−１により生成された右眼用信号Ｒを入力として、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。

図２２には、第１パス画像変換部３００−１と、第２パス画像変換部Ｌ，３００−Ｌ２と、第２パス画像変換部Ｒ，３００−Ｒ２の構成を示しているが、第３〜第ｎパス画像変換部Ｌ／Ｒはすべて同様の構成を有し、第ｋパス画像変換部Ｌ／Ｒは、それぞれ前段の第ｋ−１パス画像変換部Ｌ／Ｒの出力（Ｌ（ｋ−１）／Ｒ（ｋ−１））を入力して、さらに視差を発生させた左眼用信号Ｌｋと、右眼用信号Ｒｋを生成する。

出力選択部Ｌ，３０１Ｌは、第１パス画像変換部３００−１と、第２〜第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎの各出力を入力し、画素または画素ブロック単位の距離情報に応じて第１パス画像変換部３００−１、および第２〜第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎのいずれかの出力を、画素または画素ブロック単位で選択出力する。出力画像は左眼用画像（Ｌ）である。

被写体距離が小さい画素領域については、第１パス画像変換部３００−１の出力（Ｌ１）をその画素領域の出力として選択し、被写体距離が大きい画素領域については、第ｎパス画像変換部Ｌ３００−Ｌｎの出力（Ｌｎ）をその画素領域の出力として選択する。すなわち、距離情報が小〜大に応じて、第１パス画像変換部３００−１から第ｎパス画像変換部Ｌ，３００−Ｌ２〜Ｌｎの各出力を選択して各画素領域の左眼用画像（Ｌ）を生成して出力する。

一方、出力選択部Ｒ，３０１Ｒは、第１パス画像変換部３００−１と、第２〜第ｎパス画像変換部Ｒ，３００−Ｒ２〜Ｒｎの各出力を入力し、画素または画素ブロック単位の距離情報に応じて第１パス画像変換部３００−１、および第２〜第ｎパス画像変換部Ｒ，３００−Ｒ２〜Ｒｎのいずれかの出力を、画素または画素ブロック単位で選択出力する。出力画像は右眼用画像（Ｒ）である。

被写体距離が小さい画素領域については、第１パス画像変換部３００−１の出力（Ｒ１）をその画素領域の出力として選択し、被写体距離が大きい画素領域については、第ｎパス画像変換部Ｒ３００−Ｒｎの出力（Ｒｎ）をその画素領域の出力として選択する。すなわち、距離情報が小〜大に応じて、第１パス画像変換部３００−１から第ｎパス画像変換部Ｒ，３００−Ｒ２〜Ｒｎの各出力を選択して各画素領域の右眼用画像（Ｒ）を生成して出力する。

これらの処理により、被写体距離が小さい画素領域は左眼用画像と右眼用画像の視差が小さく設定され、被写体距離が大きい画素領域は左眼用画像と右眼用画像の視差が大きく設定された各眼用の画像が生成されて出力されることになる。

例えば、第１パス画像変換部３００−１の出力として得られる画像信号が、図１４に示す第１左眼用信号Ｌ１と、第１右眼用信号Ｒ１であり、
第２パス画像変換部Ｌ３００−Ｌ２の出力が図１４に示す第２左眼用信号Ｌ２、第２パス画像変換部Ｒ３００−Ｒ２の出力が図１４に示す第２右眼用信号Ｒ２に対応する。

被写体距離の小さい画素領域では、第１パス画像変換部３００−１の出力として得られる図１４に示す第１左眼用信号Ｌ１と、第１右眼用信号Ｒ１が利用され、その視差は２αとなる。
また、被写体距離の大きい画素領域では、第２パス画像変換部Ｌ３００−Ｌ２の出力と、第２パス画像変換部Ｒ３００−Ｒ２の出力が利用され、その視差は、２（α＋β）となる。
このように、本発明による画像処理装置では、被写体距離に応じた視差を生成することが可能となる。

次に、画像変換部１３０の別の構成例について図２３を参照して説明する。
図２３に示す画像変換部１３０は、
第１パス画像変換部４００−１、
第２〜第ｎパス画像変換部Ｌ，４００−Ｌ２〜Ｌｎ、
第２〜第ｎパス画像変換部Ｒ，４００−Ｒ２〜Ｒｎ、
画像合成重み値算出部４０５、
画像合成処理部Ｌ，４１０Ｌ、
画像合成処理部Ｒ，４１０Ｒ、
これらを有する。

第１パス画像変換部４００−１と、第２〜第ｎパス画像変換部Ｌ，４００−Ｌ２〜Ｌｎと、第２〜第ｎパス画像変換部Ｒ４００−Ｒ２〜Ｒｎは、図２４、図２５を参照して説明するように同じ構成を有する。従って、例えば各画像変換部４００は１つのハードウェアを繰り返し利用する構成とすることが可能である。

画像合成重み値算出部４０５は、奥行き情報出力部１１５（図２、図３参照）から奥行き情報を入力し、予め設定した情報に応じて、各画素の奥行きに応じた重み（Ｗ）情報を、画像合成処理部Ｌ，４１０Ｌと画像合成処理部Ｒ，４１０Ｒに出力する。重みは、第１〜第ｎパス画像変換部の各々の出力値に対する重み情報である。

画像合成処理部Ｌ，４１０Ｌは、第１パス画像変換部と、第２〜第ｎパス画像変換部Ｌの各々の出力値を画像合成重み値算出部４０５から入力する重み情報に応じて加算して左眼用画像（Ｌ）を生成する。
画像合成処理部Ｒ，４１０Ｒは、第１パス画像変換部と、第２〜第ｎパス画像変換部Ｒの各々の出力値を画像合成重み値算出部４０５から入力する重み情報に応じて加算して右眼用画像（Ｒ）を生成する。

第１パス画像変換部４００−１と、第２パス画像変換部Ｌ，４００−Ｌ２と、第２パス画像変換部Ｒ，４００−Ｒ２の詳細構成例と処理について図２４を参照して説明する。

第１パス画像変換部４００−１は、第１パス位相制御信号生成部４１１と、第１パスゲイン制御部４１２と、第１パス非線形変換部４１３と、第１パス画像合成部４１４から構成される。

第１パス位相制御信号生成部４１１は、入力輝度信号（Ｙ）に対して微分処理を行い、微分信号（ｈ（Ｙ））を生成する。
第１パスゲイン制御部４１２は、微分信号（ｈ（Ｙ））に対して各画素の距離情報に応じたゲインを乗算して補正微分信号（ｈ'（Ｙ））を生成する。
第１パス非線形変換部４１３は、補正微分信号（ｈ'（Ｙ））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ'（Ｙ））を生成する。
第１パス画像合成部４１４は、入力輝度信号（Ｙ）に非線形変換された補正微分信号である視差強調信号（ｅ'（Ｙ））を加減算することにより、以下の各信号を生成する。
左眼用信号Ｌ１＝Ｙ＋ｅ'（Ｙ）
右眼用信号Ｒ１＝Ｙ−ｅ'（Ｙ）

第２パス画像変換部Ｌ，４００−Ｌ２は、第１パス画像変換部４００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼信号Ｌ２を生成する。
第２パス画像変換部Ｒ，４００−Ｒ２は、第１パス画像変換部４００−１により生成された右眼用信号Ｒ１を入力として、さらに大きな視差を発生させる右眼信号Ｒ２を生成する。

第２パス画像変換部Ｌ，４００−Ｌ２も、第２パス画像変換部Ｒ，４００−Ｒ２も、第１パス画像変換部４００−１と同様の構成を有する。
すなわち、第２パス画像変換部Ｌ，４００−Ｌ２は、第２パス位相制御信号生成部４２１と、第２パスゲイン制御部４２２と、第２パス非線形変換部４２３と、第２パス画像合成部４２４から構成される。
第２パス画像変換部Ｒ，４００−Ｒ２は、第２パス位相制御信号生成部４３１と、第２パスゲイン制御部４３２と、第２パス非線形変換部４３３と、第２パス画像合成部４３４から構成される。

第２パス画像変換部Ｌ，４００−Ｌ２は、第１パス画像変換部４００−１により生成された左眼用信号Ｌ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる左眼用信号Ｌ２を生成する。
第２パス位相制御信号生成部４２１は、入力信号（左眼用信号Ｌ１）に対して微分処理を行い、微分信号（ｈ（Ｌ１））を生成する。
第２パスゲイン制御部４２２は、微分信号（ｈ（Ｌ１））に対して各画素の距離情報に応じたゲインを乗算して補正微分信号（ｈ'（Ｌ１））を生成する。
第２パス非線形変換部４２３は、補正微分信号（ｈ'（Ｌ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ'（Ｌ１））を生成する。
第２パス画像合成部４２４は、入力信号（左眼用信号Ｌ１）に非線形変換された補正微分信号である視差強調信号（ｅ'（Ｌ１））を加算することにより、以下の信号を生成する。
左眼用信号Ｌ２＝Ｌ１＋ｅ'（Ｌ１）
このように、第２パス画像変換部Ｌ，４００−Ｌ２は、第１パス画像変換部４００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼用信号Ｌ２を生成する。

また、第２パス画像変換部Ｒ，４００−Ｒ２は、第１パス画像変換部４００−１により生成された右眼用信号Ｒ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。
第２パス位相制御信号生成部４３１は、入力信号（右眼用信号Ｒ１）に対して微分処理を行い、微分信号（ｈ（Ｒ１））を生成する。
第２パスゲイン制御部４３２は、微分信号（ｈ（Ｒ１））に対して各画素の距離情報に応じたゲインを乗算して補正微分信号（ｈ’（Ｒ１））を生成する。
第２パス非線形変換部４３３は、補正微分信号（ｈ’（Ｒ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ’（Ｒ１））を生成する。
第２パス画像合成部４３４は、入力信号（Ｒ１）に非線形変換された補正微分信号である視差強調信号（ｅ’（Ｒ１））を減算することにより、以下の信号を生成する。
右眼用信号Ｒ２＝Ｒ１−ｅ’（Ｒ１）
このように、第２パス画像変換部Ｒ，４００−Ｒ２は、第１パス画像変換部４００−１により生成された右眼用信号Ｒ１を入力として、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。

図２４には、第１パス画像変換部４００−１と、第２パス画像変換部Ｌ，４００−Ｌ２と、第２パス画像変換部Ｒ，４００−Ｒ２の構成を示しているが、第３〜第ｎパス画像変換部Ｌ／Ｒはすべて同様の構成を有し、第ｋパス画像変換部Ｌ／Ｒは、それぞれ前段の第ｋ−１パス画像変換部Ｌ／Ｒの出力（Ｌ（ｋ−１）／Ｒ（ｋ−１））を入力して、さらに視差を発生させた左眼用信号Ｌｋと、右眼用信号Ｒｋを生成する。

第１パス画像変換部４００−１と第２〜第ｎパス画像変換部Ｌ，４００−Ｌ２〜Ｌｎの生成した複数の左眼用信号（Ｌ１〜Ｌｎ）は、画像合成処理部Ｌ，４１０Ｌに入力される。
また、第１パス画像変換部４００−１と第２〜第ｎパス画像変換部Ｒ，４００−Ｒ２〜Ｒｎの生成した複数の右眼用信号（Ｒ１〜Ｒｎ）は、画像合成処理部Ｒ，４１０Ｒに入力される。

画像合成処理部Ｌ，４１０Ｌと、画像合成処理部Ｒ，４１０Ｒの各々には、前述したように、さらに、画像合成重み値算出部４０５から奥行きに応じて各パス画像変換部の加算重みを設定した重み情報を入力する。

画像合成処理部Ｌ，４１０Ｌは、第１パス画像変換部と、第２〜第ｎパス画像変換部Ｌの各々の出力値を画像合成重み値算出部４０５から入力する重み情報に応じて加算して左眼用画像（Ｌ）を生成する。
画像合成処理部Ｒ，４１０Ｒは、第１パス画像変換部と、第２〜第ｎパス画像変換部Ｒの各々の出力値を画像合成重み値算出部４０５から入力する重み情報に応じて加算して右眼用画像（Ｒ）を生成する。

画像合成重み値算出部４０５には、入力画像に対応する奥行き情報が入力される。画像中のある領域（もしくは画素）についての奥行き情報が入力したとき、予めの設定に基づいて、当該領域に対応するｎ個の重み値Ｗ１〜Ｗｎが決定される（ｎは画像変換のパス数に対応）。これは、各パスの出力結果に乗じる重み値である。

画像合成処理部Ｌ，４１０Ｌ、および画像合成処理部Ｒ，４１０Ｒでは、重み値に基づいた、画像の領域適応的な重み付け加算が行われる。
ここで、ある画素［座標は（ｘ，ｙ）］について、第ｋパス出力画像における画素値をＰｋ（ｘ，ｙ）とし、重みがＷｋ（ｘ，ｙ）に設定されたとすると、出力画像内の当該画素値Ｐｏｕｔ（ｘ，ｙ）は、下記の式で算出される。

上記算出式は、左眼用画像（Ｌ）、右眼用画像（Ｒ）とも同じ処理である。

重みＷ１〜Ｗｎの設定については、合計が１となるような実数を割り当てればよく、特に方法を限定しないが、パス数が多い画像ほど視差が大きく、すなわち、奥に知覚されるような画像が生成されていることを鑑みると、奥行き情報により、当該領域が"手前"と示されている場合には、パス数が少ない出力画像への重みを大きく（ｗｋのｋが小さい方の値を大きく）、当該領域が"奥"と示されている場合には、パス数が多い出力画像への重みを大きく（ｗｋのｋが大きい方の値を大きく）、設定すべきである。

なお、各パス画像変換部に構成されるゲイン制御部では、予め設定済みの奥行き情報に応じたゲイン係数が算出される。奥行き情報に応じたゲイン係数の設定方法としては様々な手法が適用可能である。例えば被写体の距離が小さい、すなわち奥行きが"手前"である程、パス数が少ない段階で乗じるゲイン係数を大きく、パス数が多い段階で乗じるゲイン係数を小さくする。また被写体距離が大きく、奥行きが"奥"である程、パス数が少ない段階で乗じるゲイン係数を小さく、パス数が多い段階で乗じるゲイン係数を大きくする。

図２３に示す画像変換部１３０を構成する第１パス画像変換部４００−１と、第２パス画像変換部Ｌ，４００−Ｌ２と、第２パス画像変換部Ｒ，４００−Ｒ２の別の構成例について図２５を参照して説明する。

図２５に示す構成は、図２４を参照して説明した構成と異なり、奥行き情報がゲイン係数算出部４８０に入力される。ゲイン係数算出部４８０は、入力した画素領域単位の奥行き情報に対応するゲイン係数を予め設定されたアルゴリズム（奥行きとゲイン係数との対応データ）に基づいて算出し、算出結果としてのゲイン係数を各パス画像変換部へと出力する。

第１パス画像変換部４００−１は、第１パス位相制御信号生成部４５１と、第１パス乗算処理部４５２と、第１パス非線形変換部４５３と、第１パス画像合成部４５４から構成される。

第１パス位相制御信号生成部４５１は、入力輝度信号（Ｙ）に対して微分処理を行い、微分信号（ｈ（Ｙ））を生成する。
第１パス乗算処理部４５２は、微分信号（ｈ（Ｙ））に対して、ゲイン係数算出部４８０から入力するゲイン係数を乗算して補正微分信号（ｈ'（Ｙ））を生成する。ゲイン係数算出部４８０から入力するゲイン係数は、各画素の距離情報に応じたゲイン係数である。
第１パス非線形変換部４５３は、補正微分信号（ｈ'（Ｙ））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ'（Ｙ））を生成する。
第１パス画像合成部４５４は、入力輝度信号（Ｙ）に非線形変換された補正微分信号である視差強調信号（ｅ'（Ｙ））を加減算することにより、以下の各信号を生成する。
左眼用信号Ｌ１＝Ｙ＋ｅ'（Ｙ）
右眼用信号Ｒ１＝Ｙ−ｅ'（Ｙ）

第２パス画像変換部Ｌ，４００−Ｌ２は、第２パス位相制御信号生成部４６１と、第２パス乗算処理部４６２と、第２パス非線形変換部４６３と、第２パス画像合成部４６４から構成される。
第２パス画像変換部Ｌ，４００−Ｌ２は、第１パス画像変換部４００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼信号Ｌ２を生成する。

第２パス画像変換部Ｒ，４００−Ｒ２は、第２パス位相制御信号生成部４７１と、第２パス乗算処理部４７２と、第２パス非線形変換部４７３と、第２パス画像合成部４７４から構成される。
第２パス画像変換部Ｒ，４００−Ｒ２は、第１パス画像変換部４００−１により生成された右眼用信号Ｒ１を入力として、さらに大きな視差を発生させる右眼信号Ｒ２を生成する。

図２４を参照して説明した構成との差異は、各パス画像変換部ないでゲイン係数を算出するのではなく、ゲイン係数算出部４８０の生成したゲイン係数を入力して、各パス位相制御信号生成部の生成した微分信号（ｈ）に対する乗算を実行して補正微分信号（ｈ'）を生成する点である。

なお、ゲイン係数算出部４８０は、予め設定済みの奥行き情報に応じたゲイン係数を算出して、各パス画像変換部に出力する。奥行き情報に応じたゲイン係数の設定方法としては様々な手法が適用可能である。例えば被写体の距離が小さい、すなわち奥行きが"手前"である程、パス数が少ない段階で乗じるゲイン係数を大きく、パス数が多い段階で乗じるゲイン係数を小さくする。また被写体距離が大きく、奥行きが"奥"である程、パス数が少ない段階で乗じるゲイン係数を小さく、パス数が多い段階で乗じるゲイン係数を大きくする。

なお、上述した説明では、図２１に示す画像変換部を構成するパス画像変換部の構成例として図２２に示す構成を説明し、図２３に示す画像変換部を構成するパス画像変換部の構成例として図２４、図２５示す構成を説明した。
しかし、図２２、図２４、図２５に示すパス画像変換部の構成は、いずれも図２１に示す画像変換部、または図２３に示す画像変換部を構成するパス画像変換部の構成として利用可能である。

［９．画像変換部の処理シーケンスについて］

次に、図２６に示すフローチャートを参照して、本発明の一実施例に係る画像処理装置１００の画像変換部１３０の実行する処理のシーケンスについて説明する。なお、図２６に示すフローチャートは入力画像が動画像（ビデオデータ）である場合の処理である。

ステップＳ１０１において、微分器１３１（図４参照）は、画像変換部１３０に入力されるビデオデータのうち輝度信号に対して微分処理を行う。すなわち、例えば図９および図１０に示す（ａ）入力信号の微分処理により図９、図１０に示す（ｂ）微分信号（Ｈ）を生成する。

ステップＳ１０２では、奥行き情報の更新の要否を判定する。奥行き情報の更新は、例えば１フレーム単位、あるいは２フレーム単位、４フレーム単位等、予め設定した情報に従って行なう。１フレーム単位の奥行き情報の更新は、例えば先に図１５を参照して説明した処理に対応し、２フレーム単位の更新は図１６、４フレーム単位の更新は図１７に示す処理に対応する。これらの設定に従って更新タイミングであるか否かを判定する。

更新タイミングである場合は、ステップＳ１０２の判定はＹｅｓとなり、ステップＳ１０３に進み、奥行き情報を更新する。すなわち最新の入力フレームに対応する奥行き情報を取得する。

次に、ステップＳ１０４において、ゲイン係数の算出処理を行う。このゲイン係数は、奥行き情報に対応して算出されるゲイン係数である。ただし、ゲイン係数の内容は、画像変換部の構成によって異なるものとなる。ここでは、図４に示す画像変換部１３０の構成を利用した場合について説明する。この場合、図４に示すゲイン制御部１３２においてゲイン係数が算出される。ここで算出されるゲイン係数は、被写体距離が大きい場合は大きいゲイン係数、被写体距離が小さい場合は小さいゲイン係数の設定となる。

次に、ステップＳ１０５において、微分信号補正処理を実行する。図４に示すゲイン制御部１３２において算出されたゲイン係数を適用して微分信号の補正が実行される。具体的には、図５を参照して説明したように、ゲイン制御部１３２内の乗算処理部２０２において、微分信号と、奥行き情報に基づいて算出されたゲイン（Ｇ）との乗算処理が行われる。この補正処理により、例えば図９、図１０に示す（ｃ）補正微分信号（Ｈ'）が生成される。

次に、ステップＳ１０６において、補正微分信号（Ｈ'）に対する非線形変換処理を実行する。非線形変換部１３３（図４参照）が、ゲイン制御部１３２から出力される補正微分信号（Ｈ'）に対して非線形変換処理を行う。この非線形変換処理は、例えば図８に示すようなグラフに対応した非線形変換処理である。

ステップＳ１０７以下の処理は画像合成部１３４の処理である。画像合成部１３４内の制御部は、ステップＳ１０７において、現在の入力フレームに対する左眼用画像の合成を行うかどうかを判断する。この判断処理は、画像処理装置１００の出力する画像表示装置の表示方式と、画像合成部１３４内に設けられたフレームカウンタの値に従って判断する。フレームカウンタは、入力画像フレームのフレーム番号に対応する値を保持するカウンタである。

画像表示装置の出力方式が例えば、図１８に示す時間分割出力方式の場合には、画像合成部１３４はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち図１８に示す時間分割出力方式の場合には、偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、ステップＳ１０８に進む。一方、フレームカウンタの値により右眼用画像出力のフレームであると判断した場合にはステップＳ１１０に進む。

また、画像表示装置の出力方式が図１８に示すような時間分割出力方式以外の場合、すなわち、図１９に示す２倍のフレームレートによる時間分割出力方式、または、図２０に示す空間分割出力方式、あるいは、画像表示装置側で左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３４は、全ての入力フレームに対して左眼用画像を合成すると判断してステップＳ１０８に進む。

ステップＳ１０８では、画像合成部１３４は、先に説明した式、すなわち、
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ'
上記式に従って左眼用画像（Ｌｅｆｔ）を生成する。
なお、（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）、
微分信号（Ｈ）を被写体距離（奥行き情報）に応じたゲインＧを適用して補正した補正微分信号（Ｈ'）の非線形変換した信号である視差強調信号の信号レベルを（Ｅ'）としている。

一方、ステップＳ１０７において、現在の入力フレームに対する左眼用画像の合成を行わないと判定した場合は、ステップＳ１１０に進み、現在の入力フレームに対する右眼用画像を生成する。画像合成部１３４は、先に説明した式、すなわち、
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ'
上記式に従って右眼用画像（Ｒｉｇｈｔ）を生成する。
なお、（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）、
微分信号（Ｈ）を被写体距離（奥行き情報）に応じたゲインＧを適用して補正した補正微分信号（Ｈ'）の非線形変換した信号である視差強調信号の信号レベルを（Ｅ'）としている。

ステップＳ１０８において左眼用画像の生成を終了すると、ステップＳ１０９において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像表示装置の出力方式が例えば図１８に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップＳ１１１に進む。

また、画像表示装置の出力方式が時間分割出力方式以外の場合、すなわち、図１９に示す２倍のフレームレートによる時間分割出力方式、または、図２０に示す空間分割出力方式、あるいは、画像表示装置側で、左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３４は、全ての入力フレームに対して右眼用画像を合成すると判断してステップＳ１１０に進む。ステップＳ１１０の処理はすでに説明した通り、前述した式に従った右眼用画像の生成処理である。

ステップＳ１１１では、画像合成部１３４の制御部は、画像の縮小処理を行うかどうかを判断する。画像表示装置の出力形式が図２０に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップＳ１１２に進む。画像表示装置の出力形式が図２０に示す空間分割出力方式以外の場合、すなわち、図１５〜図１７に示す左眼用画像、右眼用画像の同時出力方式、図１８に示す時間分割出力方式、または、図１９に示す２倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップＳ１１４に進む。

ステップＳ１１２〜Ｓ１１３において、画像合成部１３４は、先に図２０を参照して説明したように図２０に示す（ｆ）両眼視差画像を（ｄ）右眼用画像と（ｅ）左眼用画像から生成する。すなわち、（ｄ）右眼用画像と（ｅ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する（Ｓ１１２）。さらに、画像合成部１３４は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｆ）両眼視差画像を生成する（Ｓ１１３）。

ステップＳ１１４では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像変換処理を終了する。画像出力処理が終了していない場合には、ステップＳ１１５に進む。

ステップＳ１１５では、フレームカウントをインクリメントし、ステップＳ１０１に進み、以降、ステップＳ１０１〜ステップＳ１１４の処理を繰り返す。

なお、図２６に示すフローは、図４に示す構成を持つ画像変換部の処理に対応するフローである。
図２１〜図２５を参照して説明した複数のパス画像変換部を連結して、次第に大きな視差を発生させる画像を生成する構成を持つ画像変換部を利用する場合、例えば図２６に示すフローのステップＳ１０４〜Ｓ１０６の処理が異なる設定となる。

図２１を参照して説明した画像変換部の構成では、図２１に示す出力選択部３０１において、各画素に対応する出力をどのパス画像変換部の出力とするかを選択する処理を実行する。この選択情報を奥行き情報に基づいて決定する処理が行われることになる。従って、この図２１の構成では図２６に示すフローのステップＳ１０４〜Ｓ１０６の処理が奥行き情報に基づくパス選択処理に置き換えられることになる。

また、図２３を参照して説明した構成を持つ画像変換部の構成においては、ステップＳ１０４のゲイン係数算出処理の内容が異なる。図２３を参照して説明した画像変換部の構成では、各パス画像変換部４００において利用するゲイン係数を算出する。このゲイン係数算出処理は、前述したように、例えば被写体の距離が小さい、すなわち奥行きが"手前"である程、パス数が少ない段階で乗じるゲイン係数を大きく、パス数が多い段階で乗じるゲイン係数を小さくする。また被写体距離が大きく、奥行きが"奥"である程、パス数が少ない段階で乗じるゲイン係数を小さく、パス数が多い段階で乗じるゲイン係数を大きくするという設定でゲイン係数を算出する。
また、図２３を参照して説明した構成を持つ画像変換部の構成においては、第１〜第ｎパス画像変換部の各々の出力値に対する重み情報の算出も行う必要がある。

なお、画像変換部の構成は、例えば図２７に示すような構成としてもよい。図２７に示す画像変換部１３０の構成は、図４に示す画像変換部内のゲイン制御部１３２と非線形変換部１３３の位置を入れ替えた構成を持つ。

図２７に示す構成では、微分器１３１の生成した微分信号に対して、まず非線形変換部１３３において非線形変換（図８参照）を実行し、その非線形変換結果をゲイン制御部１３２に入力して被写体距離（奥行き情報）に基づくゲイン係数を乗算して補正微分＆非線形処理信号（Ｅ'）を生成するものである。この場合、図４に示す構成と処理手順が異なるが結果としてはほぼ同様の結果が得られる。

以上、説明の通り、本発明の一実施例の画像処理装置によれば、２次元画像データを入力とし、画像の特徴量、すなわち輝度変化部分であるエッジ部を抽出して、エッジ部の画像態様を変更することで右眼用画像と左眼用画像を生成する。この構成より、立体表示装置において好適な両眼視差画像を生成することが可能となる。

また、被写体のカメラからの距離に相当する奥行き情報を取得して奥行き情報に応じて入力信号（Ｓ）に対する微分信号（Ｈ）のゲイン制御を実行して補正微分信号（Ｈ'）を生成して、補正微分信号（Ｈ'）または補正微分信号を非線形変換した視差強調信号（Ｅ'）を入力信号から加減算して左眼用信号（Ｌ）と右眼用信号（Ｒ）を生成する構成としたので、被写体距離（奥行き）に応じた視差が設定された両眼視差画像を生成することが可能となる。

また、従来型の画素シフトによる視差画像の生成に伴うオクルージョンの問題（図１参照）が発生せず、すべて有効画素値によって埋められた視差画像を生成することができる。

［１０．２次元（２Ｄ）表示処理時の効果について］
さらに、本発明の画像処理装置は、右眼用画像（Ｒｉｇｈｔ）と左眼用画像（Ｌｅｆｔ）を以下のように生成している。
すなわち、例えば図９、図１０の（ａ）入力信号（Ｓ）に対する（ｂ）微分信号（Ｈ）に対して、距離に応じたゲイン値を乗じて（ｃ）補正微分信号（Ｈ'）を生成し、この（ｃ）補正微分信号（Ｈ'）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ'
Ｌｅｆｔ＝Ｓ＋Ｈ'
あるいは、（ｃ）補正後の微分信号（Ｈ'）に対する非線形変換により得られる視差強調信号（Ｅ'）と、入力信号（Ｓ）を利用して、
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
上記処理により、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する。

これらの式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｈ’）＋（Ｓ−Ｈ’）＝Ｓ
または、
加算信号＝（Ｓ＋Ｅ’）＋（Ｓ−Ｅ’）＝Ｓ
結果として加算信号は、入力画像と等価になる。

従って、例えば、図１８、または図１９を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｈ’）＋（Ｓ−Ｈ’）＝Ｓ
または、
加算信号＝（Ｓ＋Ｅ’）＋（Ｓ−Ｅ’）＝Ｓ
上記信号［Ｓ］となる。すなわち、入力の２次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。

また、図２０に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の１画素を知覚できなくなる程度の距離から観察する場合には垂直方向の２画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｈ’）＋（Ｓ−Ｈ’）＝Ｓ
または、
加算信号＝（Ｓ＋Ｅ’）＋（Ｓ−Ｅ’）＝Ｓ
上記信号［Ｓ］となる。一方、人間の網膜像差に対する視力は、通常視力の１０倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。

このように、本発明の画像処理装置によって生成される画像は、立体表示装置を用いて表示を行うことにより、立体視用のメガネを装着した場合には立体知覚が可能であり、立体視用のメガネを非装着の場合には、変換を施していない元の２次元画像として知覚することが可能となる。

このように、加算信号は、入力信号に等しくなる、またはほぼ等しくなる設定である。従って、立体表示装置に表示した画像をユーザが見る場合に、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となる。すなわち、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像変換装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

［１１．画像表示部を持つ実施例について］
図２、図３を参照して説明した画像処理装置は、画像表示部を持たない画像処理装置として説明した。しかし、画像表示部を持つ画像処理装置として構成してもよい。図２８は、画像表示部を持つ画像処理装置の一実施例を示す図である。

画像表示装置５００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部１２０が対応していればどのような色空間でも構わない。

奥行き情報出力部１１５は、画像入力部１１０の入力画像信号に対応した奥行き情報を外部から入力、または内部で生成して画像変換部１３０に出力する。奥行き情報は、例えば図１（ｂ）に示すような距離画像などであり、データ形式は特定するものでない。

画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

ここで、色空間変換部１２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。

色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。画像変換部１３０は、先に説明した処理によって左眼用と右眼用の両眼視差画像を生成し、画像表示部５５０の形式に従ってこれらの画像を合成して出力する。

画像変換部１３０から出力されたビデオデータは、色空間逆変換部１４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間からＲ，Ｇ，Ｂ色空間へ変換される。

色空間逆変換部１４０から出力されたビデオデータは、画像表示部５５０に入力される。画像表示部５５０は、画像出力部と表示部とを兼ね備えた構成であり、以下に示す立体表示方式（時間分割方式または空間分割方式）のいずれかの方式よって画像表示を行う。

（時間分割方式）
時間分割方式の立体表示方法においては、入力されるビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像、および右眼用画像（または、右眼用画像、および左眼用画像）と認識し、ユーザが装着する液晶シャッタ方式によるメガネを制御して、左眼と右眼に映像が時間的に交互に提示されるようにする。この表示方式では、画像表示部５５０は、左眼用画像、および右眼用画像の出力切り替えタイミングを、鑑賞者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させる設定として制御する。

（空間分割方式）
空間分割方式の立体表示方法においては、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示されるようにする。

以上、説明の通り、本発明による画像処理装置によれば、２次元画像データを入力とし、画像の特徴量から擬似的に右眼用画像と左眼用画像を生成することにより、両眼視差を利用した立体表示を行うことが可能である。さらに、本発明による画像処理装置によれば、左眼用画像と右眼用画像を加算したときに入力画像と等価となるように画像変換を行うことにより、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となり、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像表示装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、簡易な信号処理により被写体距離を反映した立体視可能な画像信号を生成することが可能となる。本発明の一実施例の画像処理装置は、入力画像信号の空間的な特徴量に対して被写体距離情報としての奥行き情報を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には入力信号の微分信号に、奥行き情報に応じたゲイン制御により補正微分信号を生成する。この補正微分信号またはその非線形変換信号を入力画像信号に加算および減算し、これらの信号の組を左眼用画像と右眼用画像とする。本構成により、被写体距離に応じた視差の設定された視差画像生成が可能となる。また、左／右眼用画像の加算信号は入力信号に等しくなり立体視メガネなしで画像を観察した場合には通常の２次元画像として観察可能となる。

１００ 画像処理装置
１１０ 画像入力部
１１５ 奥行き情報出力部
１２０ 色空間変換部
１３０ 画像変換部
１３１ 微分器
１３２ ゲイン制御部
１３３ 非線形変換部
１３４ 画像合成部
１４０ 色空間逆変換部
１５０ 画像出力部
２０１ ゲイン係数算出部
２０２ 乗算処理部
３００ 画像変換部
３０１ 出力選択部
３１１ 第１パス位相制御信号生成部
３１２ 第１パス非線形変換部
３１３ 第１パス画像合成部
３２１ 第２パス位相制御信号生成部
３２２ 第２パス非線形変換部
３２３ 第２パス画像合成部
３３１ 第２パス位相制御信号生成部
３３２ 第２パス非線形変換部
３３３ 第２パス画像合成部
４００ 画像変換部
４０５ 画像合成重み値算出部
４１０ 画像合成処理部
４１１ 第１パス位相制御信号生成部
４１２ 第１パスゲイン制御部
４１３ 第１パス非線形変換部
４１４ 第１パス画像合成部
４２１ 第２パス位相制御信号生成部
４２２ 第２パスゲイン制御部
４２３ 第２パス非線形変換部
４２４ 第２パス画像合成部
４３１ 第２パス位相制御信号生成部
４３２ 第２パスゲイン制御部
４３３ 第２パス非線形変換部
４３４ 第２パス画像合成部
４５１ 第１パス位相制御信号生成部
４５２ 第１パス乗算処理部
４５３ 第１パス非線形変換部
４５４ 第１パス画像合成部
４６１ 第２パス位相制御信号生成部
４６２ 第２パス乗算処理部
４６３ 第２パス非線形変換部
４６４ 第２パス画像合成部
４７１ 第２パス位相制御信号生成部
４７２ 第２パス乗算処理部
４７３ 第２パス非線形変換部
４７４ 第２パス画像合成部
５５０ 画像表示部

Claims (18)

1. ２次元画像を構成する画像領域の奥行き情報を入力または生成する奥行き情報出力部と、
   前記２次元画像の輝度信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、前記輝度信号の輝度微分信号に対して画像領域単位の奥行き情報に応じたゲイン制御を行った補正微分信号を加算した信号と減算した信号の組を、左眼用画像と右眼用画像の輝度信号の組として、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
   を具備する画像処理装置。
2. 前記画像変換部は、
   前記奥行き情報出力部の出力する奥行き情報が大きい画像領域に対しては大きいゲインによる前記輝度微分信号の補正処理を行い、
   奥行き情報が小さい画像領域に対しては小さいゲインによる前記輝度微分信号の補正処理を行い、前記補正微分信号を生成する請求項１に記載の画像処理装置。
3. 前記画像変換部は、
   前記補正微分信号を非線形変換して生成した信号を、前記輝度信号に対して加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像の輝度信号として生成する処理を行う構成である請求項１に記載の画像処理装置。
4. 前記画像変換部は、
   （ａ）前記輝度信号から輝度微分信号を生成する位相制御信号生成部、
   （ｂ）前記位相制御信号生成部の生成する輝度微分信号に対する非線形変換処理を実行する非線形変換部、
   （ｃ）前記非線形変換部の出力と、前記輝度信号との加算または減算を実行する画像合成部、
   上記（ａ）〜（ｃ）の構成要素によって構成される画像変換単位による画像変換処理を繰り返し実行する処理パスを有し、
   前記奥行き情報出力部の出力する奥行き情報に応じて、前記処理パスを構成する各画像変換単位の出力を選択し合成して左眼用画像または右眼用画像を生成する処理を行う請求項１に記載の画像処理装置。
5. 前記画像変換部は、
   （ａ）前記輝度信号から輝度微分信号を生成する位相制御信号生成部、
   （ｂ）前記位相制御信号生成部の生成する輝度微分信号に対して、前記奥行き情報出力部の出力する奥行き情報に応じて設定されたゲイン係数によるゲイン制御を実行して補正微分信号を生成するゲイン制御部、
   （ｃ）前記ゲイン制御部の出力に対して非線形変換処理を実行する非線形変換部、
   （ｄ）前記非線形変換部の出力と、前記輝度信号との加算または減算を実行する画像合成部、
   上記（ａ）〜（ｄ）の構成要素によって構成される画像変換単位による画像変換処理を繰り返し実行する処理パスと、
   前記奥行き情報出力部の出力する奥行き情報に応じて前記処理パスを構成する各画像変換単位の重み値を設定する重み値算出部と、
   前記重み値算出部の算出する重み値に応じて、前記処理パスを構成する各画像変換単位の出力を合成して左眼用画像または右眼用画像を生成する画像合成部を有する請求項１に記載の画像処理装置。
6. 前記画像変換部は、
   （ａ）前記輝度信号から輝度微分信号を生成する位相制御信号生成部、
   （ｂ）前記位相制御信号生成部の生成する輝度微分信号に対して、前記奥行き情報出力部の出力する奥行き情報に応じて設定されたゲイン係数を乗算して補正微分信号を生成する乗算処理部、
   （ｃ）前記乗算処理部の出力に対して非線形変換処理を実行する非線形変換部、
   （ｄ）前記非線形変換部の出力と、前記輝度信号との加算または減算を実行する画像合成部、
   上記（ａ）〜（ｄ）の構成要素によって構成される画像変換単位による画像変換処理を繰り返し実行する処理パスと、
   前記奥行き情報出力部の出力する奥行き情報に応じて前記処理パスを構成する各画像変換単位の重み値を設定する重み値算出部と、
   前記重み値算出部の算出する重み値に応じて、前記処理パスを構成する各画像変換単位の出力を合成して左眼用画像または右眼用画像を生成する画像合成部を有する請求項１に記載の画像処理装置。
7. 前記画像変換部は、
   動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である請求項１〜６いずれかに記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、
   前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を前記２次元画像のフレームレートの２倍速で交互に出力する処理を行う構成である請求項７に記載の画像処理装置。
9. 前記画像変換部は、
   動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である請求項１〜６いずれかに記載の画像処理装置。
10. 前記画像変換部は、
    動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、
    生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である請求項１〜６いずれかに記載の画像処理装置。
11. 前記画像変換部は、
    生成する左眼用画像と右眼用画像の輝度信号の加算信号が前記２次元画像の輝度信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である請求項１〜１０いずれかに記載の画像処理装置。
12. 前記画像処理装置は、さらに、
    前記画像変換部の生成した画像を表示する画像表示部を有する構成である請求項１〜１１いずれかに記載の画像処理装置。
13. 前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である請求項１２に記載の画像処理装置。
14. 前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である請求項１３に記載の画像処理装置。
15. 前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である請求項１２に記載の画像処理装置。
16. 画像処理装置において実行する画像処理方法であり、
    奥行き情報出力部が、２次元画像を構成する画像領域の奥行き情報を入力または生成する奥行き情報出力ステップと、
    画像変換部が、前記２次元画像の輝度信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、前記輝度信号の輝度微分信号に対して画像領域単位の奥行き情報に応じたゲイン制御を行った補正微分信号を加算した信号と減算した信号の組を、左眼用画像と右眼用画像の輝度信号の組として、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップを有する画像処理方法。
17. 画像処理装置において画像処理を実行させるプログラムであり、
    奥行き情報出力部に、２次元画像を構成する画像領域の奥行き情報を入力または生成させる奥行き情報出力ステップと、
    画像変換部に、前記２次元画像の輝度信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、前記輝度信号の輝度微分信号に対して画像領域単位の奥行き情報に応じたゲイン制御を行った補正微分信号を加算した信号と減算した信号の組を、左眼用画像と右眼用画像の輝度信号の組として、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップを実行させるプログラム。
18. 画像処理装置において画像処理を実行させるプログラムを記録した記録媒体であり、
    前記プログラムは、
    奥行き情報出力部に、２次元画像を構成する画像領域の奥行き情報を入力または生成させる奥行き情報出力ステップと、
    画像変換部に、前記２次元画像の輝度信号と、前記奥行き情報出力部の出力する奥行き情報を入力して、前記輝度信号の輝度微分信号に対して画像領域単位の奥行き情報に応じたゲイン制御を行った補正微分信号を加算した信号と減算した信号の組を、左眼用画像と右眼用画像の輝度信号の組として、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップを実行させるプログラムである記録媒体。