JP5337218B2 - 立体画像変換装置、立体画像出力装置および立体画像変換方法 - Google Patents

Description

本発明の実施形態は、立体画像変換装置、立体画像出力装置および立体画像変換方法に関する。

従来より、平面的な映像表示画面を用いて視聴者に立体感のある映像を認識させる技術の開発が進められている。この技術は、相互に人間の両目の間隔に対応した視差を有する２種類の映像を用意し、右目用映像を視聴者の右目に視認させ、左目用映像を視聴者の左目に視認させることにより立体視を行なうものである。

具体的には、右目用映像と左目用映像とを時分割で出力して同一の映像表示画面に交互に表示させ、視聴者の装着した立体視用眼鏡に対して、右目用映像が表示されているとき左目のシャッタを閉じ、左目用映像が表示されているとき右目のシャッタを閉じるように制御することにより、視聴者に立体視映像を認識させる技術が存在している。

このような複数視点の多視差画像（右目用映像および左目用映像）は、１枚以上の入力画像から推定される奥行きに基づいて生成する等、種々の方法によって作成される。入力画像を立体視映像用の多視差画像に変換する処理は、一般に、入力画像の特徴量（動きや色等）から画面内の奥行き（デプス）を推定し、デプスに応じて入力画像に視差をつけた視差画像を生成することでこれを実現する。

特開２００４−７３９６号公報

ところで、入力画像から推定される奥行きに基づいて視差画像を生成する場合、入力画像の左右端の奥行き情報であるデプス値がスクリーン面から離れてしまった場合は、入力画像の画面外を参照することになる。

しかしながら、参照対象となる入力画像の画面外には基準となる画素が存在しないため、視差画像を正しく生成することは困難である。このような視差画像に基づく立体視映像を視聴者が視聴した場合には、他の視差画像との整合性がとれなくなり画面端が破綻してみえるという問題点がある。

本発明は、上記に鑑みてなされたものであって、視差量に応じて原画像の画素をずらして生成される立体視映像の左右端の破綻を防止することができる立体画像変換装置、立体画像出力装置および立体画像変換方法を提供することを目的とする。

実施形態の立体画像変換装置は、入力映像の特徴量に基づいて推定した当該入力映像の各画素の奥行き値を画素の濃淡で表現したデプスマップを生成するデプス推定部と、前記デプス推定部で生成された前記デプスマップの左右端から一定の距離までの奥行き値を、前記デプスマップの画面端に近い程、立体視において手前側に飛び出さず、かつ、奥側にも位置しない面である表示部のスクリーン面に相当する奥行き値に近づくよう補正した補正デプスマップを生成する左右端デプス補正部と、前記補正デプスマップの奥行き値に従って前記入力映像の画素を水平方向に所定量ずらすことで、多視差画像を生成する視差画像生成部と、を備え、前記左右端デプス補正部は、前記デプスマップの画面端から補正対象となる前記一定の距離を、前記視差画像生成部における多視差画像生成時の最大ずらし量以上に設定する。

実施形態の立体画像出力装置は、映像信号を復号化する復号部と、前記復号部で復号化された入力映像信号を立体視表示用の映像信号に変換する請求項１ないし３のいずれか一記載の立体画像変換装置と、前記立体画像変換装置によって変換された前記立体視表示用の映像信号を、表示部で表示可能なフォーマットの映像信号に変換して出力する映像処理部と、を備える。

実施形態の立体画像変換方法は、入力映像を立体視表示用の映像に変換する立体画像変換装置で実行される立体画像変換方法であって、前記入力映像の特徴量に基づいて推定した当該入力映像の各画素の奥行き値を画素の濃淡で表現したデプスマップの左右端から一定の距離までの奥行き値を、前記デプスマップの画面端に近い程、立体視において手前側に飛び出さず、かつ、奥側にも位置しない面である表示部のスクリーン面に相当する奥行き値に近づくよう補正した補正デプスマップを生成する左右端デプス補正工程と、前記補正デプスマップの奥行き値に従って前記入力映像の画素を水平方向に所定量ずらすことで、多視差画像を生成する視差画像生成工程と、を含み、前記左右端デプス補正工程は、前記デプスマップの画面端から補正対象となる前記一定の距離を、前記視差画像生成工程における多視差画像生成時の最大ずらし量以上に設定する。

図１は、実施形態にかかるデジタルテレビジョンの一例を示す外観斜視図である。 図２は、デジタルテレビジョンの信号処理系を示すブロック図である。 図３は、合成処理部の構成を示すブロック図である。 図４は、立体視用眼鏡の構成を示すブロック図である。 図５は、立体画像変換部の構成を示すブロック図である。 図６は、デプス推定部の構成を示すブロック図である。 図７は、コントラスト算出部の動作の概念を示す説明図である。 図８は、動きベクトル検出部の動作の概念を示す説明図である。 図９は、背景領域抽出部および背景ベクトル算出部の動作の概念を示す説明図である。 図１０は、相対動きベクトル算出部の動作の概念を示す説明図である。 図１１は、奥行き設定部の動作の概念を示す説明図である。 図１２は、奥行き補間部の動作の概念を示す説明図である。 図１３は、デプスマップの一例を示す模式図である。 図１４は、スクリーン面に対する飛び出し量および奥行き量の概念を示す説明図である。 図１５は、従来の視差画像生成の問題点を概念的に示す説明図である。 図１６は、デプスマップの左端側のデプス補正処理の流れを示すフローチャートである。 図１７は、スクリーン面に相当する奥行き（デプス）値の算出を概念的に示す説明図である。 図１８は、デプスマップの左端側の重みと補正対象距離との関係を示す説明図である。 図１９は、立体視映像用の多視差画像の生成例を模式的に示す説明図である。 図２０は、立体視表示用の映像信号からの視差の探索手法を示す説明図である。 図２１は、視差ベクトルからデプスへの変換手法を示す説明図である。

図１は、本実施形態にかかる立体画像出力装置であるデジタルテレビジョン１の一例を示す外観斜視図である。図１に示すように、デジタルテレビジョン１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。デジタルテレビジョン１は、筐体２と、ＬＣＤ（Liquid Crystal Display）パネル３を備えている。ＬＣＤパネル３は、映像処理部２０（図２参照）から映像信号を受け取り、静止画や動画等の映像を表示する表示部である。また、筐体２は、支持部４に支持されている。

図２は、デジタルテレビジョン１の信号処理系を示すブロック図である。なお、このデジタルテレビジョン１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。

図２に示すように、デジタルテレビジョン１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。

デジタルテレビジョン１は、チューナ部１４で選局された放送信号を、復号部である復調復号部１５に供給してデジタルの映像信号及び音声信号等に復号した後、信号処理部１６に出力する。

信号処理部１６は、復調復号部１５から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。なお、信号処理部１６が行なう所定のデジタル信号処理には、後述する通常の平面視（２次元）表示用の映像信号を立体視（３次元）表示用の映像信号に変換する処理や、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。

また、信号処理部１６は、デジタルの映像信号を合成処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力している。このうち、合成処理部１７は、信号処理部１６から供給されるデジタルの映像信号に、ＯＳＤ（On Screen Display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、信号処理部１６から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。また、合成処理部１７は、信号処理部１６から供給される映像信号が立体視表示用の映像信号である場合、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのＯＳＤ信号を入力映像信号に重畳して出力している。

デジタルテレビジョン１は、合成処理部１７から出力したデジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたデジタルの映像信号を、ＬＣＤパネル３で表示可能なフォーマットのアナログ映像信号に変換している。デジタルテレビジョン１は、映像処理部２０から出力されたアナログ映像信号を、ＬＣＤパネル３に供給して映像表示に供する。

音声処理部１８は、入力されたデジタルの音声信号を、スピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。

ここで、デジタルテレビジョン１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（Central Processing Unit）２３ａを内蔵しており、デジタルテレビジョン１の本体に設置された操作部２４からの操作情報を受けて、または、リモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。

制御部２３は、メモリ部２３ｂを利用している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、該ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してデジタルデータの記録再生を行なう機能を有している。

制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からデジタルの映像信号及び音声信号を読み出させ、復号部である記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。

制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。

さらに、デジタルテレビジョン１には、入力端子３１が接続されている。入力端子３１は、デジタルテレビジョン１の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子３１を介して入力されたデジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。

また、入力端子３１を介して入力されたデジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。

なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているデジタルの映像信号及び音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているデジタルの映像信号及び音声信号を光ディスク２８に記録したりすることも制御している。

また、制御部２３には、ネットワークインターフェース３２が接続されている。このネットワークインターフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するための複数（図示の場合は２つ）のネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインターフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。

デジタルテレビジョン１は、ディスクドライブ部２７やＨＤＤ３０から取得した映像や音声等の情報に対しては、リモートコントローラ２５の再生停止キーや再生／一時停止キーを操作することにより、再生、停止、一時停止を行なうことが可能となる。また、デジタルテレビジョン１は、リモートコントローラ２５の逆方向スキップキーや順方向スキップキーを操作することにより、ディスクドライブ部２７やＨＤＤ３０で再生している映像や音声等の情報を、その再生方向に対して逆方向や順方向に一定量ずつスキップさせる、いわゆる、逆方向スキップや順方向スキップを行なうことができる。さらに、デジタルテレビジョン１は、リモートコントローラ２５の早戻しキーや早送りキー等を操作することにより、ディスクドライブ部２７やＨＤＤ３０で再生している映像や音声等の情報を、その再生方向に対して逆方向や順方向に連続的に高速で再生させる、いわゆる、早戻し再生や早送り再生を行なうことができる。

図３は、合成処理部１７の構成を示すブロック図である。図３に示すように、合成処理部１７は、信号処理部１６から出力されるデジタルの映像信号を、入力端子３７を介して映像生成部として機能する映像変換部３８に供給する。

映像変換部３８は、入力された映像信号が立体視（３次元）表示用の映像信号である場合、その映像信号を特定の映像フォーマットに変換して、画質制御部３９及び視差量抽出部４０に出力している。すなわち、立体視表示用の映像信号には、１フレーム同期期間内で左目用映像フレーム後に右目用映像フレームを送出するフレームパッキング（トップアンドボトム）方式や、１水平期間内で左目用映像ライン後に右目用映像ラインを送出するサイドバイサイド方式、インターリーブ方式等、様々な映像フォーマットが存在する。さらに、各映像フォーマットの中でも、映像のサイズや走査方式（インターレース／プログレッシブ）等が種々存在する。このため、本実施形態にかかるデジタルテレビジョン１においては、映像変換部３８が、入力された立体視表示用の映像信号に対して、スケーリング処理やＩＰ（Interlace／Progressive）変換処理等の適切な処理を施すことにより、水平方向１９２０画素×垂直方向１０８０ラインの映像サイズのフレームシーケンシャル方式の映像フォーマットに変換し、画質制御部３９及び視差量抽出部４０に出力するものとする。フレームシーケンシャル方式は、フレーム毎にＬ（左目用映像）とＲ（右目用映像）とを時分割で出力してＬＣＤパネル３上において交互に表示させるものである。

すなわち、本実施形態にかかるデジタルテレビジョン１においては、フレームシーケンシャル方式の映像フォーマット以外の立体視表示用の様々な映像フォーマットにも対応可能である。

また、映像変換部３８は、超解像処理を実行する。超解像処理とは、アップコンバートした仮の高解像度画像をダウンコンバートした仮の低解像度画像とオリジナルの入力画像にアンシャープマスクをかけて強調化した画像とを比較し、オリジナルの入力画像が本来持っているはずの画像信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を１回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した画像を後で視聴する場合や、超解像処理に生じるタイムラグが許容され得る場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。

ただし、映像変換部３８における超解像処理の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、ＨＤ解像度（１９２０×１０８０）で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度（例えば、１９２０×１０８０の解像度）に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。

このように映像変換部３８において、超解像処理を実行することにより、より解像度の高い立体画像を実現することができる。特に、フレームパッキング方式、サイドバイサイド方式、インターリーブ方式は、元映像の１／２の解像度で入力されるため、超解像により元映像の解像度に近い立体画像が得られる。

さらに、映像変換部３８は、フレームを内挿又は外挿することによるフレームレートのアップコンバータ機能を有している。これにより、低フレームレートの映像をアップコンバートすることができる。特に、フレームシーケンシャル方式の映像データは、低フレームレートであることが多いので、アップコンバートでより高いフレームレートの立体画像を実現することができる。

画質制御部３９は、入力された映像信号に対して、制御部２３の制御に基づいた明るさ調整、コントラスト調整及び色相調整等の画質調整処理を施し、垂直同期信号に同期させて合成部４１に出力する。

視差量抽出部４０は、映像変換部３８により、フレームシーケンシャル方式の映像フォーマットに変換された立体視表示用の映像信号に対して、その左目用映像フレームと右目用映像フレームとの間の映像の比較を行ない、視差量を抽出する。視差量抽出部４０による視差量の抽出処理は、左目用映像フレームに表示されている物体の位置を基準として、右目用映像フレームに表示されている同じ物体の左右方向の位置ずれを、画素数で示すことによって行なわれる。この視差量抽出処理は、連続するフレームで表示される同じ物体の動き位置を検出するための動きベクトルの技術を利用することで容易に実現することができる。

具体的には、画面上で水平方向に１９２０個配列された画素に１〜１９２０の番号を振り、左目用映像フレームに表示されている物体の所定位置の画素の番号から、右目用映像フレームに表示されている物体の同じ所定位置の画素の番号を減算することにより、視差量を画素数で示すことができる。

この場合、視差量が負値のときは、左目用映像より右目用映像が右側に存在することになり、物体は画面よりも奥側で結像される映像となる。また、視差量が正値のときは、左目用映像より右目用映像が左側に存在することになり、物体は画面よりも手前で結像される映像となる。

そして、視差量抽出部４０によって抽出された視差量は、映像生成部として機能するＯＳＤ位置算出部４２に供給される。ＯＳＤ位置算出部４２は、入力された視差量に基づいて、ＯＳＤを立体視表示させる際の表示位置を補正する計算を行ない、その計算結果を示す視差制御信号を出力する。

なお、ＯＳＤ位置算出部４２は、視差量抽出部４０で抽出した視差量が時間軸方向の変動がない状態、または、視差量が時間軸方向に緩やかに変動している映像表示状態のときに、ＯＳＤを立体視表示させる際の表示位置を補正する計算を実行する。すなわち、視差量が時間軸方向に激しく変動している場合は、映像が奥行き方向に激しく動いている状態であり、この状態では視聴者は映像に意識が向いているため、重畳するＯＳＤも奥行き方向に激しく動くと見苦しくなるからである。このため、ＯＳＤ位置算出部４２は、視差量が激しく変動している状態では、視差量の変動がすくないときに算出した結果を示す視差制御信号を出力している。

ＯＳＤ位置算出部４２から出力される視差制御信号は、ＯＳＤ立体変換部４３に供給される。このＯＳＤ立体変換部４３には、ＯＳＤ信号生成部１９から出力されるＯＳＤ信号が、入力端子４４を介して供給されている。ＯＳＤ立体変換部４３は、視差制御信号に基づいて、入力されたＯＳＤ信号から、左目用映像フレームに重畳する左目用ＯＳＤ信号と、右目用映像フレームに重畳する右目用ＯＳＤ信号とを生成し、ＯＳＤバッファ４５に出力し記憶させている。

具体的に言えば、ＯＳＤ立体変換部４３は、ＯＳＤ信号生成部１９から明るさ調整用のＯＳＤ信号が供給された場合、映像変換部３８によって形成される水平方向１９２０画素×垂直方向１０８０ラインの映像サイズのフレームシーケンシャル方式の映像フォーマット上において、その左目用映像フレームと右目用映像フレームとに、視差制御信号に基づいた画素数分の水平方向の視差量（位置ずれ）を有する、左目用の明るさ調整用ＯＳＤと右目用の明るさ調整用ＯＳＤとをそれぞれ表示させるように、ＯＳＤバッファ４５上に左目用ＯＳＤ信号と右目用ＯＳＤ信号とを記憶させている。そして、このＯＳＤバッファ４５に記憶された左目用ＯＳＤ信号と右目用ＯＳＤ信号とは、垂直同期信号に同期して合成部４１に出力される。

このため、合成部４１は、画質制御部３９から出力される映像信号と、ＯＳＤバッファ４５から出力される映像信号とを合成する。この場合、画質制御部３９から出力される左目用映像フレームの映像信号にＯＳＤバッファ４５から出力される左目用ＯＳＤ信号が重畳され、画質制御部３９から出力される右目用映像フレームの映像信号にＯＳＤバッファ４５から出力される右目用ＯＳＤ信号が重畳される。

そして、合成部４１で合成された映像信号は、フレーム変換部４６に供給されて、垂直同期周波数を２倍に変換されて、つまり、フレーム周波数を倍速化された後、出力端子４７から上記映像処理部２０を介してＬＣＤパネル３のＬＣＤ３ａに出力される。これにより、ＬＣＤパネル３のＬＣＤ３ａでは、左目用ＯＳＤ信号が重畳された左目用映像フレームと、右目用ＯＳＤ信号が重畳された右目用映像フレームとが交互に表示される。すなわち、映像表示部として機能するＬＣＤ３ａは、左目用映像フレームと右目用映像フレームとを時分割で出力する機能を有している。

また、フレーム変換部４６で生成されるフレーム同期信号は、眼鏡制御部４８に供給される。眼鏡制御部４８は、フレーム変換部４６から供給されたフレーム同期信号に基づいて左目用及び右目用のシャッタ制御信号を生成し、出力端子４９を介して視聴者の掛けている立体視用眼鏡５０に出力している。

図４は、立体視用眼鏡５０の構成を示すブロック図である。図４に示すように、立体視用眼鏡５０は、液晶シャッタ眼鏡５１と、液晶シャッタ眼鏡制御装置５２と、を備えている。

液晶シャッタ眼鏡５１は、左眼の視界を開放または遮蔽するための左眼液晶シャッタ（Ｌシャッタ）５１１と、右眼の視界を開放または遮蔽するための右眼液晶シャッタ（Ｒシャッタ）５１２とを有しており、視聴者は、この液晶シャッタ眼鏡５１を装着して、交互に表示される左眼用の画像と右眼用の画像とを左眼と右眼とで交互に鑑賞することにより、立体視を体感する。

図４に示すように、液晶シャッタ眼鏡制御装置５２は、デジタルテレビジョン１に対して左眼用の画像と右眼用の画像とを交互に表示させるためのフレームデータを出力する合成処理部１７が、当該フレームデータと共に出力するフレーム同期信号を入力し、このフレーム同期信号に基づき、Ｌシャッタ５１１およびＲシャッタ５１２を開閉させるためのシャッタ制御信号Ｌおよびシャッタ制御信号Ｒを生成して液晶シャッタ眼鏡５１に供給する。そして、液晶シャッタ眼鏡制御装置５２は、このシャッタ制御信号Ｌおよびシャッタ制御信号Ｒを自動調整するための自動調整部５２１を備えている。

合成処理部１７の眼鏡制御部４８は、左目用映像が表示されているとき立体視用眼鏡５０の右目のＲシャッタ５１２を閉じ、右目用映像が表示されているとき立体視用眼鏡５０の左目のＬシャッタ５１１を閉じるように制御しており、これにより、視聴者に立体視映像を認識させるようにしている。

なお、信号処理部１６から出力されるデジタルの映像信号が、通常の平面視（２次元）表示用の映像信号である場合、映像変換部３８からフレームパッキング方式の映像フォーマットで出力される左目用映像フレームと右目用映像フレームとは、全く同じ映像となる。このため、視差量抽出部４０で抽出される視差量は０となり、ＯＳＤ立体変換部４３は、ＯＳＤ信号生成部１９から供給されたＯＳＤ信号を、フレームシーケンシャル方式の映像フォーマットの左目用映像フレームと右目用映像フレームとで同じ位置に表示させるように、ＯＳＤバッファ４５に記憶させる。これにより、合成部４１からは、ＯＳＤ信号の重畳された平面視（２次元）表示用の映像信号が出力されることとなり、その映像信号がフレーム変換部４６でフレーム周波数を倍速変換された後、出力端子４７から映像処理部２０を介してＬＣＤパネル３のＬＣＤ３ａに出力され、通常の２次元表示用の映像として表示されることになる。

デジタルテレビジョン１によれば、ＯＳＤを表示する際、立体視表示する左目用映像フレームと右目用映像フレームとの視差量に基づいて、左目用ＯＳＤ信号と右目用ＯＳＤ信号との視差量を決定し、左目用及び右目用映像フレームの映像信号と左目用及び右目用ＯＳＤ信号とを合成するようにしている。このため、ＯＳＤを立体視映像上に違和感なく表示させることが可能となり、視聴者が立体視映像の視聴中に表示されたＯＳＤの判読や、立体視映像の視聴中にＯＳＤを表示させて各種の調整及び設定等の操作を行なうことが容易にできるようになり、視聴者にとっての取り扱いを便利にすることができるようになる。

なお、本実施形態にかかるデジタルテレビジョン１では、立体視映像の表示中にＯＳＤを表示させることについて説明したが、表示させる情報としてはＯＳＤに限るものではなく、例えば、放送や、光ディスク２８、ハードディスク３０ａまたはネットワークサーバ３５，３６等から取得した映像信号に基づく表示映像とは別個に、デジタルテレビジョン１が独自に発生して表示可能な画面表示信号に広く適用可能である。

次に、本実施形態にかかるデジタルテレビジョン１の信号処理部１６における立体画像変換処理について詳述する。立体画像変換処理は、通常の平面視（２次元）表示用の映像信号（入力映像）を立体視（３次元）表示用の映像信号に変換する処理である。図５は、信号処理部１６における立体画像変換部１６０の構成を示すブロック図である。図５に示すように、立体画像変換部１６０は、立体画像変換装置として機能するものであって、デプス推定部１６１と、飛び出し量／奥行き量設定部１６２と、左右端デプス補正部１６３と、視差画像生成部１６４とを備えている。

デプス推定部１６１は、復調復号部１５から供給されたデジタルの映像信号である入力画像の特徴量（動きや色等）に基づいて画面内の奥行き（デプス）値を推定し、デプスマップを生成する。

ここで、デプス推定部１６１における奥行き（デプス）値の推定方法の一例について詳述する。図６は、デプス推定部１６１の構成を示すブロック図である。図６に示すように、デプス推定部１６１は、コントラスト算出部１７１と、動きベクトル検出部１７２と、背景領域抽出部１７３と、背景ベクトル算出部１７４と、相対動きベクトル算出部１７５と、奥行き設定部１７６と、奥行き補間部１７７と、を備えている。

復調復号部１５から供給された２次元のデジタルの映像信号は、コントラスト算出部１７１に入力される。コントラスト算出部１７１では２次元映像の各領域でのコントラストを算出して、動きベクトル検出部１７２に出力する。図７は、コントラスト算出部１７１の動作の概念を示す説明図である。図７（ａ）に示すように、コントラスト算出部１７１は、２次元映像を一定の大きさの矩形領域に分割し、各領域内で隣接画素間との画素値の差分を求めることで各領域のコントラストを算出する。さらに、図７（ｂ）に示すように、コントラスト算出部１７１は、コントラストの算出結果に従って、コントラスト値がＡ＞Ｂ＞Ｃとなるように各領域をラベル付けする。

動きベクトル検出部１７２は、ＡとＢにラベル付けされた領域に対してのみ動きベクトル（特徴量）を算出して、背景領域抽出部１７３に出力する。動きベクトル（特徴量）が算出された様子を図８に示す。

背景領域抽出部１７３は、コントラスト算出部１７１においてＢとラベル付けされた領域を背景領域と判断し、背景ベクトル算出部１７４に対して背景領域を出力する。

背景ベクトル算出部１７４は、背景領域での動きベクトルの平均を算出して背景ベクトルとし、相対動きベクトル算出部１７５に対して背景ベクトルを出力する。背景ベクトルが算出された様子を図９に示す。

相対動きベクトル算出部１７５は、ＡとＢにラベル付けされた領域に対し、動きベクトルから背景ベクトルを減算することで相対動きベクトルを算出して、奥行き設定部１７６に出力する。相対動きベクトルが算出された様子を図１０に示す。

奥行き設定部１７６は、ＡとＢにラベル付けされた領域に対して相対動きベクトルの値を参照して奥行き（デプス）値を推定して、奥行き補間部１７７に出力する。奥行き設定部１７６は、例えば、相対動きベクトルが大きい領域では手前、相対動きベクトルが小さい領域では奥と判断する。この様子を図１１に示す。

奥行き補間部１７７は、Ｃにラベル付けされた領域に対して、隣接領域の奥行き（デプス）値で補間する。奥行き補間部１７７は、例えば、隣接領域の奥行き（デプス）値のうち多数を占める奥行き（デプス）値で補間する。この様子を図１２に示す。

また、奥行き補間部１７７は、補間終了後、各画素の奥行き（デプス）値を画素の濃淡（グレーの階調）で表現したデプスマップＭを左右端デプス補正部１６３に出力する。図１３は、デプスマップＭの一例を示す模式図である。図１３に示すように、デプスマップＭは、奥行きをグレーの階調で表現した画像データであり、画素が黒いほど手前に存在することになる。

図５に戻り、飛び出し量／奥行き量設定部１６２は、外部から入力されたＬＣＤパネル３のスクリーン面に対する飛び出し量および奥行き量を設定する。図１４に、スクリーン面に対する飛び出し量および奥行き量の概念を示す。図１４に示すＬＣＤパネル３のスクリーン面は、立体視において手前側に飛び出さず、かつ、奥側にも位置しない面である。なお、ＬＣＤパネル３のスクリーン面に対する飛び出し量および奥行き量は、外部から入力されるものに限るものではなく、予め飛び出し量／奥行き量設定部１６２に設定されているものでも良い。

左右端デプス補正部１６３は、デプス推定部１６１で生成されたデプスマップＭの左右端から一定の距離までの奥行き（デプス）値を、端に近い程、ＬＣＤパネル３のスクリーン面に相当する奥行き（デプス）値に近づくよう補正する。

このようにデプスマップＭの左右端の奥行き（デプス）値を補正するのは次のような理由による。図１５に示す従来の視差画像生成では、奥行き（デプス）値に従って２次元映像の画素を水平方向にずらすことで多視差画像（右目用映像および左目用映像）を生成していた。ところが、図１５に示すように、デプスマップＭの左右端の奥行き（デプス）値がスクリーン面から離れてしまった場合は、入力画像の画面外を参照することになってしまう。しかしながら、参照対象となる入力画像の画面外には基準となる画素が存在しないため、視差画像を正しく生成することは困難である。このような視差画像に基づく立体視映像を視聴者が視聴した場合には、他の視差画像との整合性がとれなくなり画面端が破綻してみえるという問題点があった。

上述のような問題を解決すべく、左右端デプス補正部１６３が実行する左右端デプス補正処理について図１６のフローチャートを参照しつつ説明する。図１６のフローチャートは、デプス推定部１６１から出力されたデプスマップＭの左端側のデプス補正処理の流れを示すものである。

図１６に示すように、左右端デプス補正部１６３は、まず、飛び出し量／奥行き量設定部１６２における飛び出し量および奥行き量の設定からＬＣＤパネル３のスクリーン面に相当する奥行き（デプス）値Ｄ_{ｓｃｒｅｅｎ}を算出する（ステップＳ１）。図１７に示すように、ＬＣＤパネル３のスクリーン面に相当する奥行き（デプス）値Ｄ_{ｓｃｒｅｅｎ}は、最大デプス値ＤＭＡＸ、最大飛び出し量Ｚ⁺、奥行き範囲Ｚ^-＋Ｚ⁺とすると、下記式（１）により算出される。
Ｄ_{ｓｃｒｅｅｎ}＝ＤＭＡＸ＊Ｚ⁺／（Ｚ^-＋Ｚ⁺） ・・・式（１）

次いで、左右端デプス補正部１６３は、画面端から補正対象となる任意のピクセルの距離ｄを決める（ステップＳ２）。左右端デプス補正部１６３による補正の対象はデプス推定部１６１から出力されたデプスマップＭの左右端であり、補正対象であるデプスマップＭの画面端からの距離ｄは、後段の視差画像生成部１６４における視差画像生成時の最大ずらし量以上に設定する必要がある。

次いで、左右端デプス補正部１６３は、ピクセルの数ｘを初期化（ｘ＝０）し（ステップＳ３）、ピクセルの数ｘが補正対象となるピクセルの距離ｄになるまで（ステップＳ４のＹｅｓ）、下記に示すステップＳ５〜Ｓ８の処理を繰り返す。

次いで、左右端デプス補正部１６３は、ピクセルの数ｘが補正対象となるピクセルの距離ｄに満たないと判断すると（ステップＳ４のＮｏ）、ステップＳ５に進み、重み係数Ｗを算出する。本実施形態においては、図１８に示すように、デプスマップＭの画面左端から補正対象距離ｄまで線形に重み係数Ｗを減少させている。なお、本実施形態では、奥行き（デプス）値を補正する際の重み係数Ｗは線形重みを使うようにしたが、これに限るものではなく、画面外を参照しないことを条件として、別の重み曲線を使うようにしても良い。

続いて、左右端デプス補正部１６３は、現在（補正前）の奥行き（デプス）値Ｄ（ｘ）を取得し（ステップＳ６）、下記式（２）により補正奥行き（デプス）値Ｄ´（ｘ）を算出して奥行き（デプス）値を置き換える（ステップＳ７）。
Ｄ´（ｘ）＝Ｗ＊Ｄ_{ｓｃｒｅｅｎ}＋（１．０−Ｗ）＊Ｄ（ｘ） ・・・式（２）

その後、左右端デプス補正部１６３は、ピクセルの数ｘを１インクリメントして（ステップＳ８）、ステップＳ４に進む。

左右端デプス補正部１６３は、処理したピクセルの数ｘが補正対象となるピクセルの距離ｄになったと判断すると（ステップＳ４のＹｅｓ）、処理を終了する。

以上のデプス補正処理は、デプスマップＭの右端側の補正対象となるピクセルに対しても実行する。

以上の処理により左右端デプス補正部１６３は、デプス推定部１６１が生成したデプスマップＭの左右端から一定の距離までを、端に近い程、ＬＣＤパネル３のスクリーン面に相当する奥行き（デプス）値に近づくよう補正した補正デプスマップＭ´を生成する。

最後に、図５に戻り、視差画像生成部１６４は、入力画像と補正デプスマップＭ´から立体視映像用の多視差画像を生成する。より詳細には、視差画像生成部１６４は、補正デプスマップＭ´の奥行き（デプス）値に従って２次元映像の入力画像の画素を水平方向に所定量ずらすことで、立体視映像用の多視差画像（右目用映像および左目用映像）を生成する。

ここで、図１９は立体視映像用の多視差画像の生成例を模式的に示す説明図である。図１９に示すように、入力画像と補正デプスマップＭ´から生成される立体視映像用の多視差画像は、左右端の画像が手前の場合には、手前側からＬＣＤパネル３のスクリーン面に向けて徐々に奥行きが付き、左右端の画像が奥の場合には、ＬＣＤパネル３のスクリーン面から奥側に向けて徐々に奥行きが付くことになり、疑似的な額縁があるような視え方になる。

このように本実施形態の立体画像出力装置であるデジタルテレビジョン１によれば、左右端から一定の距離までのデプスを、立体視において手前側に飛び出さず、かつ、奥側にも位置しない面であるスクリーン面に相当する奥行き（デプス）値に近づくよう補正した補正デプスマップＭ´を用いることで、入力画像の左右端の奥行き（デプス）値がスクリーン面から離れてしまうことがなくなり、入力画像の左右端において画面外を参照せずに立体視映像用の多視差画像を生成することができるので、視差量に応じて原画像の画素をずらして生成される立体視映像用の多視差画像の左右端の破綻を防止することができる。

なお、本実施の形態においては、デジタルテレビジョン１の信号処理部１６における立体画像変換処理について、通常の平面視（２次元）表示用の映像信号（入力映像）を立体視（３次元）表示用の映像信号に変換する処理として説明したが、これに限るものではない。信号処理部１６のデプス推定部１６１は、立体視（３次元）表示用の映像信号（すなわち、２視差画像（ステレオ画像））を入力映像とし、当該立体視表示用の映像信号（２視差画像）の特徴量（動きや色等）に基づいて画面内の奥行き（デプス）値を推定し、デプスマップを生成することも可能である。このような立体視表示用の映像信号（２視差画像）としては、時分割で右目用映像と左目用映像を交互に表示するフレームシーケンシャル方式、画面を左右半分に分けて右半分を右目用の映像、左半分を左目用の映像を映すサイドバイサイド方式、画面を上下半分に分けて下半分を右目用の映像、上半分を左目用の映像を映すトップアンドボトム方式等、様々な映像フォーマットを適用可能である。

より詳細には、デプス推定部１６１は、図２０に示すように、立体視表示用の映像信号（２視差画像）における左目用画像から右目用画像への対応点を画素ブロック毎に探索して視差ベクトルを求める（ステレオマッチング）。そして、デプス推定部１６１は、図２１に示すように、視差ベクトルが左向きであれば手前、視差ベクトルが右向きであれば奥と判断し、各画素の奥行き（デプス）値を画素の濃淡（グレーの階調）で表現したデプスマップＭを生成し、デプスマップＭを左右端デプス補正部１６３に出力する。

なお、本実施形態にかかるデジタルテレビジョン１および立体視用眼鏡５０においては、左右映像を交互に表示するとともに、同期して液晶シャッタを制御する時分割表示方式を適用したが、これに限るものではない。例えば、映像表示部の前面に走査線毎に異なる向きの偏光レンズを取り付け、偏光メガネで見るＸＰＯＬ方式などの直視表示方式や、投射表示方式などに適用することも可能である。

また、本実施形態にかかる立体画像出力装置として、立体視用眼鏡５０や偏光メガネの代わりにＬＣＤパネル３のスクリーン面上にレンチキュラーシートを配設したグラスレス方式のデジタルテレビジョンを適用することもできる。

また、本実施形態では、立体画像出力装置としてデジタルテレビジョン１に適用した例をあげて説明したが、例えば、ＨＤＤレコーダ、チューナ、セットトップボックス等を立体画像出力装置として適用することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 立体画像出力装置
３ 表示部
１５，２９ 復号部
２０ 映像処理部
１６０ 立体画像変換装置
１６１ デプス推定部
１６２ 飛び出し量／奥行き量設定部
１６３ 左右端デプス補正部
１６４ 視差画像生成部
Ｍ デプスマップ
Ｍ´ 補正デプスマップ

Claims (7)

1. 入力映像の特徴量に基づいて推定した当該入力映像の各画素の奥行き値を画素の濃淡で表現したデプスマップを生成するデプス推定部と、
   前記デプス推定部で生成された前記デプスマップの左右端から一定の距離までの奥行き値を、前記デプスマップの画面端に近い程、立体視において手前側に飛び出さず、かつ、奥側にも位置しない面である表示部のスクリーン面に相当する奥行き値に近づくよう補正した補正デプスマップを生成する左右端デプス補正部と、
   前記補正デプスマップの奥行き値に従って前記入力映像の画素を水平方向に所定量ずらすことで、多視差画像を生成する視差画像生成部と、
   を備え、
   前記左右端デプス補正部は、前記デプスマップの画面端から補正対象となる前記一定の距離を、前記視差画像生成部における多視差画像生成時の最大ずらし量以上に設定する、
   立体画像変換装置。
2. 前記表示部のスクリーン面に対する飛び出し量および奥行き量を設定する飛び出し量／奥行き量設定部を更に備え、
   前記左右端デプス補正部は、前記飛び出し量および前記奥行き量の設定に基づき、下記式（１）に従って前記表示部のスクリーン面に相当する奥行き値を算出する、
   
   Ｄ_{ｓｃｒｅｅｎ}＝ＤＭＡＸ＊Ｚ⁺／（Ｚ^-＋Ｚ⁺） ・・・式（１）
   Ｄ_{ｓｃｒｅｅｎ}：表示部のスクリーン面に相当する奥行き値
   ＤＭＡＸ：最大奥行き値
   Ｚ⁺：最大飛び出し量
   Ｚ^-＋Ｚ⁺：奥行き範囲Ｚ^-＋Ｚ⁺
   
   請求項１記載の立体画像変換装置。
3. 前記左右端デプス補正部は、前記デプスマップの画面端から補正対象となる前記一定の距離まで重み係数を減少させ、下記式（２）に従って前記デプス推定部で生成された前記デプスマップの左右端の奥行き値を補正する、
   
   Ｄ´（ｘ）＝Ｗ＊Ｄ _{ｓｃｒｅｅｎ} ＋（１．０−Ｗ）＊Ｄ（ｘ） ・・・式（２）
   Ｄ´（ｘ）：補正奥行き値
   Ｗ：重み係数
   Ｄ（ｘ）：補正前の奥行き値
   
   請求項１または２記載の立体画像変換装置。
4. 映像信号を復号化する復号部と、
   前記復号部で復号化された入力映像信号を立体視表示用の映像信号に変換する請求項１ないし３のいずれか一記載の立体画像変換装置と、
   前記立体画像変換装置によって変換された前記立体視表示用の映像信号を、表示部で表示可能なフォーマットの映像信号に変換して出力する映像処理部と、
   を備える立体画像出力装置。
5. 入力映像を立体視表示用の映像に変換する立体画像変換装置で実行される立体画像変換方法であって、
   前記入力映像の特徴量に基づいて推定した当該入力映像の各画素の奥行き値を画素の濃淡で表現したデプスマップの左右端から一定の距離までの奥行き値を、前記デプスマップの画面端に近い程、立体視において手前側に飛び出さず、かつ、奥側にも位置しない面である表示部のスクリーン面に相当する奥行き値に近づくよう補正した補正デプスマップを生成する左右端デプス補正工程と、
   前記補正デプスマップの奥行き値に従って前記入力映像の画素を水平方向に所定量ずらすことで、多視差画像を生成する視差画像生成工程と、
   を含み、
   前記左右端デプス補正工程は、前記デプスマップの画面端から補正対象となる前記一定の距離を、前記視差画像生成工程における多視差画像生成時の最大ずらし量以上に設定する、
   立体画像変換方法。
6. 前記左右端デプス補正工程は、前記表示部のスクリーン面に対する飛び出し量および奥行き量に基づき、下記式（１）に従って前記表示部のスクリーン面に相当する奥行き値を算出する、
   
   Ｄ _{ｓｃｒｅｅｎ} ＝ＤＭＡＸ＊Ｚ ⁺ ／（Ｚ ^- ＋Ｚ ⁺ ） ・・・式（１）
   Ｄ _{ｓｃｒｅｅｎ} ：表示部のスクリーン面に相当する奥行き値
   ＤＭＡＸ：最大奥行き値
   Ｚ ⁺ ：最大飛び出し量
   Ｚ ^- ＋Ｚ ⁺ ：奥行き範囲Ｚ ^- ＋Ｚ ⁺
   
   請求項５記載の立体画像変換方法。
7. 前記左右端デプス補正工程は、前記デプスマップの画面端から補正対象となる前記一定の距離まで重み係数を減少させ、下記式（２）に従って前記デプスマップの左右端の奥行き値を補正する、
   
   Ｄ´（ｘ）＝Ｗ＊Ｄ _{ｓｃｒｅｅｎ} ＋（１．０−Ｗ）＊Ｄ（ｘ） ・・・式（２）
   Ｄ´（ｘ）：補正奥行き値
   Ｗ：重み係数
   Ｄ（ｘ）：補正前の奥行き値
   
   請求項５または６記載の立体画像変換方法。

Images