JP5490252B2 - 立体画像処理装置、立体画像表示装置及び立体画像処理方法 - Google Patents

Description

本発明は、立体画像処理技術に関し、特に立体画像信号の左右画像を交互に表示するフレームシーケンシャル表示向けに画像処理を行う技術に関するものである。

近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。

家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左眼用画像と右眼用画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左眼用画像のみが、右目には右眼用画像のみが認識されるので、左右画像の視差により視聴者は立体感を知覚できる。

図９に示すような画面上をボールが横切るシーンを、左右それぞれ６０Ｈｚで立体撮影し、左右交互に１２０Ｈｚでフレームシーケンシャル表示する場合の表示画像におけるボールの表示位置と時間との関係を図１０に示す。

左右画像を同時に撮影した立体画像をフレームシーケンシャル方式で表示した場合、左右画像は１／１２０秒ずれて表示される。人はほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図１０の場合、視線は表示されているボールを追いかけ、矢印で示す移動軌跡のように移動する。

このため、図１１に示すとおり、片側の眼用画像を表示したとき、他方の眼の視線位置はボールの移動に応じてずれが生じる。例えば、右眼画像を表示した時点では、左眼の視線位置は、直前の左眼画像におけるボールの位置から０．５フレーム分ずれることになる。すなわち、横方向に動くボールを立体撮影したシーンをフレームシーケンシャル表示すると、ボールの０．５フレーム分の動きに応じた量だけ左右の視線の位置が水平方向にずれる。左右の視線の水平方向のずれは、立体画像の立体感に影響を与え、実際よりも飛び出して、あるいは引っ込んで画像が認識される。

以上のようなフレームシーケンシャル表示に起因する問題を抑制するために、画像信号から動きベクトルを検出し、この検出した動きベクトルを用いて一方の眼用画像の位相を０．５フレームずらした補間フレームを生成し、立体表示を行うことが知られている（例えば、特許文献１参照）。

特開２０１０−６２６９５号公報

補間フレームの生成で使用する動きベクトルは、連続するフレームを比較することによって検出するため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。

このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する画像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生する。

また、特許文献１のように、一方の眼用画像の位相を常に０．５フレーム分ずらすものとすると、左右画像のうちの一方については変換をかけない原画像が、他方については補間フレームが常に表示されることになる。この場合、正しい動きベクトルを検出できず補間の誤りが生じるとき、左右画像間で対応がとれず立体視できない画像となる可能性があり、立体感を得られない、あるいは品質の低い立体感しか得られないといった影響を及ぼす。

上述したような問題を鑑みると、補間フレームの生成は、フレームシーケンシャル表示される立体画像の立体感に影響を与えるような動きが画像中に含まれている場合にのみ行うものとし、立体感に特に影響を与えるような動きがない場合には、補間フレームを生成しないで原画像を用いる、という制御が好ましいと考えられる。このような制御によって、立体画像の表示品質がさらに向上するものと予想される。

本発明は、フレームシーケンシャル表示される立体画像の表示品質をより向上させる立体画像処理技術を提供することを目的とする。

本発明の一態様では、入力された立体画像信号からフレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理装置は、前記立体画像信号について左眼用画像と右眼用画像との視差を検出する視差検出部と、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出部と、前記視差検出部によって検出された視差、および前記ベクトル検出部によって検出された動きベクトルを基にして、補間フレームを生成するか否かを判断し、この判断結果を示す制御信号を出力する出力制御部と、前記制御信号を受け、前記制御信号が補間フレームを生成することを示すとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成部と、前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成部によって生成された補間フレームを、当該補間位相に対応するフレームに置き換える出力部とを備えている。

本発明の他の態様では、立体画像表示装置は、上の態様に係る立体画像処理装置と、前記立体画像処理装置から出力された出力画像信号を受けて、フレームシーケンシャル表示を行う表示部とを備えている。

本発明の他の態様では、入力された立体画像信号からフレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理方法は、前記立体画像信号について左眼用画像と右眼用画像との視差を検出する視差検出ステップと、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出ステップと、前記視差検出ステップにおいて検出された視差、および前記ベクトル検出ステップにおいて検出された動きベクトルを基にして、補間フレームを生成するか否かを判断する出力制御ステップと、前記出力制御ステップにおいて補間フレームを生成すると判断したとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成ステップと、前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成ステップにおいて生成された補間フレームを、当該補間位相に該当するフレームに置き換える出力ステップとを備えている。

上の各態様では、入力された立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、動きベクトルを用いて補間位相における補間フレームが生成される。ただし、補間フレームを生成するか否かが、左眼用画像と右眼用画像との視差と、動きベクトルとを用いて判断される。これにより、フレームシーケンシャル表示される立体画像の立体感に影響を与えるような動きが画像中に含まれているときに、補間フレームを生成し、それ以外のときは原画像を用いる、という制御が可能になる。したがって、正しい動きベクトルを検出できないため適切な補間フレームが生成されず、立体画像の表示品質を低下させてしまう可能性を抑制できるので、立体画像の表示品質をより向上させることが可能となる。

本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制することができる。

実施形態に係る立体画像表示装置の機能構成を示す図 動きベクトル検出を説明する図 視差の情報を用いない場合における補間フレーム生成のタイミングを示す図 補間フレームの生成を説明する図 視差検出を説明する図 画像が有する視差と見かけの視差との関係の一例を示す図 実施形態における、視差の情報を用いた場合における補間フレーム生成のタイミングを示す図 視差と動きベクトルを階級にし、ブロック数を度数とするヒストグラム 撮像画像内の物体の動きを示す図 フレームシーケンシャル表示される立体画像の見え方を示す図 横方向に動きがあるシーンをフレームシーケンシャル表示した場合の立体画像の見え方を示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は実施形態に係る立体画像表示装置１００の主要な構成を示すブロック図である。立体画像表示装置１００は、表示部１と、入力された立体画像信号から、フレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理装置２とを備えている。

立体画像処理装置２に入力される立体画像信号は、ここでは、フレーム周波数がそれぞれ６０Ｈｚの左右画像が時間軸上で交互に配置された、１２０Ｈｚの立体画像信号とする。立体画像処理装置２は、入力された立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成する。そして、生成した補間フレームを原フレームに置き換えて、左眼用画像と右眼用画像を時間軸上で交互に配列することによって、表示部１に出力する出力画像信号を生成する。

表示部１は、立体画像処理装置２から出力された出力画像信号を例えば１２０Ｈｚでフレームシーケンシャル表示する。表示部１は液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やプラズマディスプレイ（ＰＤＰ：Plasma Display Panel）など立体画像信号の表示が可能なものであればよく、特に制限はない。

立体画像処理装置２は、画像メモリ２０２、動きベクトルを検出するベクトル検出部２０３、補間フレームの生成を制御する出力制御部２０４、ベクトルメモリ２０５、補間フレームを作成する出力画像生成部２０６、出力部２０７、および、左右画像の視差を検出する視差検出部２１０を有する。

ここでは、立体画像処理装置２が、入力される立体画像信号の右眼用画像の位相を０．５フレーム分ずらして補間フレームを生成し、出力画像信号を生成する場合を例にとって、その構成および動作について説明する。すなわち、本実施形態では、左眼用画像に原画像を用い、右眼用画像に動きベクトルを用いた補間画像を用いるものとする。ただし、本発明はこれに限定されるものではなく、例えば、右眼用画像に原画像を用い、左眼用画像に補間画像を用いてもよい。

立体画像処理装置２に入力された入力画像信号は、画像メモリ２０２と、ベクトル検出部２０３と、視差検出部２１０とに入力される。ここではまず、視差の情報を用いない場合の補間フレーム生成について説明を行い、視差検出部２１０の動作と視差の情報を用いた補間フレーム生成については、後述する。

画像メモリ２０２は、入力された画像信号を少なくとも３フレーム分記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。ここでは画像メモリ２０２は、現在の左右画像と１フレーム前の右眼用画像とを記憶し、１フレーム前の右眼用画像をベクトル検出部２０３に出力する。

ベクトル検出部２０３は、入力画像信号が左眼用画像である場合は動作しない。一方、入力画像信号が右眼用画像である場合は、当該右眼用画像を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、画像メモリ２０２から入力される１フレーム前の右眼用画像を同様に分割したブロックの中から、相関が最も高いブロック位置を探索することによって、動きベクトルを検出する。

例えば、図２に示すように、右眼用画像第１フレームであるフレーム１（Ｒ）内の対象ブロックの動きベクトルを検出する場合、１つ前の右眼用画像第０フレームであるフレーム０（Ｒ）内で対象ブロックと相関が最も大きくなる位置を探索し、この位置の差を動きベクトルとして検出する。このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の指標としては例えば、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。

なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の指標としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。

図１に戻り、ベクトル検出部２０３は、入力画像信号と当該入力画像信号より前に入力された入力画像信号とから検出した検出動きベクトルを、ベクトルメモリ２０５に出力する。

ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しとの時間差を吸収する。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力画像の２フレーム分に対応するベクトルを記憶できるものとする。

出力制御部２０４は補間フレームの生成の制御を行う。具体的には、
（１）ベクトルメモリ２０５に記憶されたどの動きベクトルを読み出すか、
（２）画像メモリ２０２に記憶されたどの２つのフレームを読み出すか、
（３）２つのフレームの間のどの補間位相に補間フレームを生成するか
を決定し、それぞれの決定に従った制御信号を出力する。すなわち、（１）の決定に従ってベクトルメモリ２０５にベクトル選択信号を出力し、（２）の決定に従って画像メモリ２０２にフレーム選択信号を出力し、（３）の決定に従って出力画像生成部２０６に補間位相制御信号を出力する。出力制御部２０４の動作の詳細については後述する。

画像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを選択するフレーム選択信号を受け、フレーム選択信号で指定された２つのフレームを前後フレーム画像信号として出力画像生成部２０６に出力する。

ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号を受け、ベクトル選択信号で指定された動きベクトルを補間用動きベクトルとして出力画像生成部２０６に出力する。

図３は視差の情報を用いない場合における補間フレーム生成のタイミングを示す図である。左画像については、補間は行われずに入力フレームがそのまま出力される。一方、右画像については、補間により生成した補間画像が出力される。

動きベクトルの検出は、入力画像信号の周波数６０Ｈｚで行われる。入力画像信号が左眼用画像であるときはベクトル検出処理を行わず、一方、入力画像信号が右眼用画像であるときはベクトル検出処理を行う。入力画像信号としてフレーム１（Ｒ）が入力されている間、前フレーム画像信号として入力されるフレーム０（Ｒ）との間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。以降同様に、右眼用画像フレームと一つ前の右眼用画像フレームとの間で検出した動きベクトルがベクトルメモリ２０５に書き込まれる。

補間フレームの生成も、出力画像信号のフレーム周波数である６０Ｈｚで行われる。このため、出力制御部２０４からの各制御信号は６０Ｈｚの周期で出力される。出力制御部２０４は、生成する補間フレームに必要となる入力フレームと補間用動きベクトルとを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号、すなわちフレーム選択信号およびベクトル選択信号をそれぞれ画像メモリ２０２およびベクトルメモリ２０５に出力する。またこれに併せて出力制御部２０４は、補間位相制御信号を出力画像生成部２０６に出力する。

図３を例に説明すると、まず左眼用画像第０フレームであるフレーム０（Ｌ）については、補間を行わずにそのまま出力する。このため、出力制御部２０４は、ベクトル選択信号は出力せず、前フレームとしてフレーム０（Ｌ）を選択するためのフレーム選択信号を出力し、補間位相制御信号として「０」を出力する。

一方、フレーム０（Ｒ）、フレーム１（Ｒ）に対して、生成する補間フレームの補間位相は０．５となる。このため出力制御部２０４は、
（１）補間用動きベクトルとしてフレーム１（Ｒ）とフレーム０（Ｒ）の間で検出した動きベクトルを選択するベクトル選択信号を、ベクトルメモリ２０５に出力し、
（２）前後フレーム画像信号としてフレーム０（Ｒ）とフレーム１（Ｒ）を選択するためのフレーム選択信号を、画像メモリ２０２に出力し、
（３）補間位相制御信号として「０．５」を出力画像生成部２０６へ出力する。

出力画像生成部２０６は、画像メモリ２０２から前後フレーム画像信号として入力される２つのフレームと、ベクトルメモリ２０５から入力される、この２フレームの間の動きに対応する補間用動きベクトルとを用い、補間位相制御信号で指定される補間位相の補間フレームを生成する。

補間フレームの生成は、図４で示すように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトルに沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。具体的には、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から１／３の補間位相に補間フレームを生成する例を示している。なお、本実施の形態では、補間位相を０以上１以下の値として表し、補間位相が０の場合は、フレーム（Ｆ−１）の時間軸上の位置を示し、補間位相が１の場合はフレーム（Ｆ）の時間軸上の位置を示す。補間位相が０．５の場合は、フレーム（Ｆ−１）とフレーム（Ｆ）の中間点の時間軸上の位置を意味する。

出力部２０７は、立体画像信号の左眼用画像および右眼用画像のフレームをフレームシーケンシャル方式で表示するために時間的に交互に配列する制御を行う。さらに出力部２０７は、出力画像生成部２０６が補間フレームを生成した場合は、配列制御した立体画像信号の一部を当該補間フレームで置き換える（代替）する制御を行う。この際の、置き換えの対象となる画像は、出力画像生成部２０６が生成した補間フレームの補間位相に該当する画像である。なお、補間フレームが生成されなかった場合は出力部２０７はフレームの代替処理を行わない。出力部２０７は、生成したフレーム配列をその順序に応じて表示部１に出力する。

以降、このような処理を繰り返し実行することによって、出力画像信号が生成される。

上述したような方法によると、フレームシーケンシャル表示向けの出力画像信号において、右眼用画像は常に、入力画像信号における右眼用画像から０．５フレーム分位相をずらした画像となる。この場合、フレームシーケンシャル表示において時間軸上の位置に応じた位相を持つ画像がそれぞれ表示されるため、画像中に動きがある場合でも、立体画像に違和感が生じない。しかしながら、例えば正しい動きベクトルが検出されていない場合には、補間に誤りが生じ、正しい補間フレームが生成できないため、大きな画質劣化を招く可能性がある。

そこで、本実施形態では、立体画像処理装置２に視差検出部２１０を設けて、入力された立体画像信号について左右画像の視差を検出する。そして出力制御部２０４が、視差検出部２１０によって検出された視差とベクトル検出部２０３によって検出された動きベクトルとを基にして、補間フレームを生成するか否かを判断する。補間フレームを生成しないと判断したとき、出力制御部２０４は補間位相制御信号として「０」を出力する。

視差検出部２１０は、右眼用画像を上記の動きベクトル算出の際と同様に例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、左眼用画像から相関が最も高い位置を探索することによって視差を検出する。例えば図５において、フレーム１（Ｒ）内の対象ブロックに対して相関が最も高い位置を左眼用画像第１フレームであるフレーム１（Ｌ）内で探索し、この位置の差を視差として検出する。なお、視差は通常、水平方向（横方向）に発生するため、当該対象ブロックの位置を基準にして水平方向に探索すれば、該当するブロックを見つけることができる。

出力制御部２０４は、ベクトル検出部２０３によってブロック単位で検出された動きベクトルと、視差検出部２１０によってブロック単位で検出された視差とを基にして、「見かけの視差」の値を算出する。「見かけの視差」は、例えば下式により算出される。

（見かけの視差）＝（視差）−（動きベクトルの水平成分）／２

つまり「見かけの視差」とは、対象物が画面上を動くことによって生じた動きベクトル（特に、動きベクトルの水平成分）による影響を受けた後の視差のことを意味する。言いかえると、被写体の動きの影響を受けて、画像を視る人が実際に知覚する視差のことである。左右画像の実際の視差と見かけの視差に差が生じるのは、同時に撮影した立体画像の左右画像を時間的に交互に表示するという、撮影時と表示時の画像の取り扱い方式が異なるためである。

なお、本実施形態では、説明を簡単にするために、「見かけの視差」を上式で算出するものとしたが、これに限定されるものではなく、上式以外で算出してもよい。すなわち、左右画像が本来持つ視差が、画像に含まれる被写体の動きにより影響を受けて、視聴者に実際に見える「見かけの視差」を測るものであれば、どのようなものであってもよい。

出力制御部２０４はフレーム画像を領域分割し、各領域について視差および動きベクトルを算出する。各領域の視差および動きベクトルは、領域内のブロックの視差および動きベクトルの平均値や中央値などを用いて計算できる。また、フレーム画像の領域分割は、縦横所定の大きさの領域に分割してもよいし、グラフカット等の方式によりオブジェクト単位で分割してもよい。

そして各領域について、視差と動きベクトルから「見かけの視差」を求める。そして、領域間における「見かけの視差」の比較に基づいて、補間フレームを生成するか否かを判断する。ここでは、視差と「見かけの視差」とについて、領域間の大小関係が逆転しているか否かを判定するものとする。この判定は例えば、ある領域とこれに隣接する領域とで行ってもよいし、ある領域とフレーム内の全ての領域とで行ってもよい。視差と「見かけの視差」とで領域間の大小関係が逆転している場合、立体画像を視たとき、対象物の前後関係が実際とは逆転して知覚される。このため、このような画像は、視聴者の眼には違和感のある画像として認識される。つまり、このような画像は立体画像として品質の低い画像となる。

図６は画像が有する視差と「見かけの視差」との関係の一例を示す図であり、（ａ）は画像が有する視差、（ｂ）は「見かけの視差」である。図６では、各領域が持つ視差を数字で表しており、数字の値が小さいほど、前面（視聴者の方）に被写体が飛び出して見え、数字の値が大きいほど奥方向（視聴者から遠ざかる方向）に被写体が見えるものとする。

図６（ａ）では中心のＢ２領域のみが正の値「２５」を有し、他の領域は負の値を有する。一方、「見かけの視差」を表す図６（ｂ）ではＢ２領域のみが図６（ａ）と異なる値「−１２」を有し、他の領域は図６（ａ）と同じ値を有する。この場合、Ｂ２領域と周辺領域との値の大小関係が図６（ａ）と図６（ｂ）とで異なっている。すなわち、図６（ａ）では、Ｂ２領域の値「２５」はＡ１領域の「−５」やＢ１領域の「−１０」よりも大きい。しかし、図６（ｂ）では、Ｂ２領域の値「―１２」はＡ１領域の「−５」やＢ１領域の「−１０」よりも小さい。すなわち、図６は視差と「見かけの視差」とで領域間の大小関係が逆転している例である。

図６は、Ｂ２領域について、実際の視差は値「２５」であるため画面の奥手方向に見える対象物が、「見かけの視差」は値「−１２」であるので、前面方向に飛び出して見えてしまうことを意味する。この際、本来はＡ１領域やＢ１領域よりも奥手方向に見えるべきＢ２領域の対象物が、手前に見えることになり、被写体の前後関係が狂ってしまうため、立体画像としては不自然な画像となる。つまり、視差と「見かけの視差」との大小関係が逆転するということは、入力された立体画像信号の左右画像が持つ視差により表される被写体の奥行き感が、実際に表示される際には、元の立体画像信号とは異なってしまうことを意味する。

そこで、出力制御部２０４は、視差と「見かけの視差」とについて、領域間における大小関係が逆転していると判定した場合、補間位相制御信号として「０．５」を出力する。例えば図６の場合、第１領域としてのＢ２領域と、第２領域としてのＡ１領域およびＢ１領域との間で、視差の大小関係と「見かけの視差」の大小関係が異なっているため、補間フレームを生成すると判断する。一方、視差と「見かけの視差」の大小関係が逆転しないと判定した場合、補間位相制御信号として「０」を出力する。このとき、補間フレームの生成は必要でないため、ベクトルメモリ２０５に補間用動きベクトルを出力させない。なお、補間位相が「０．５」とは、時間的に前の画像の位相を０、時間的に後の画像の位相を１とした場合における略中間位置を意味する位相である。つまり、この場合には補間位相は時間的に前後する画像の略中間位置となる。

なお、本実施形態では説明を簡単にするために、補間フレームを生成するか否かの判断基準として、領域間における視差と「見かけの視差」の大小関係を用いたが、これに限定されるものではない。ここで領域間における大小関係を用いているのは、これが画像内の対象物の相対的な奥行き感が異なって見えることを表す一つの判断基準となるからである。これ以外の、奥行き情報の変化を図る指標を用いて、補間フレームを生成するか否かを判断するようにしてもよい。

また、たとえ画像が本来有する視差と「見かけの視差」とに関して領域間の大小関係が逆転している場合であっても、その領域（以下、不自然領域と称する）の大きさが画像全体に対してごく小さい場合には、視聴者にさほど不自然さを感じさせないと考えられるため、必ずしも補間フレームを生成する必要はない。つまり、補間フレームの生成の要否について、不自然領域の大きさを判断基準にしてもよい。この場合は例えば、視差と「見かけの視差」の大小関係は逆転していないものの、「見かけの視差」の領域間の差分が小さい（０に近い）領域についても、不自然領域に含めるようにしてもかまわない。

また、同様に、画像内における不自然領域の位置（例えば、中央付近、端部付近）等を判断要素に加えてもよい。例えば、画像の中央付近のように影響が比較的大きい部分に不自然領域があるときは、積極的に補間フレームを生成するようにすればよい。

つまり、補間フレーム生成の要否については、入力される立体画像が有する視差と、表示される立体画像が有する「見かけの視差」とに基づいて、様々な方法によって決定することができる。

図７は本実施形態における視差の情報を用いた場合の補間フレーム生成のタイミングを示す図である。図７の例では、フレーム０（Ｒ）からフレーム１（Ｒ）への間に画像の動きによって視差と「見かけの視差」とにずれが生じ、不自然領域が検出されたので、補間フレーム０．５（Ｒ）が生成されている。一方、フレーム１（Ｒ）からフレーム２（Ｒ）の間では、不自然領域は検出されなかったため、補間フレームは生成されず、元のフレーム１（Ｒ）が出力されている。その他の動作は図３と同様である。

このように、視差と「見かけの視差」とに関して領域間の大小関係が逆転している場合等において補間フレームを生成することによって、左右画像を同時に撮影した立体画像をフレームシーケンシャル方式で表示する場合に、フレームシーケンシャル表示の時間軸により適合した画像を表示することが可能となる。これにより、従来と比較してより自然な立体画像を表示することが可能となる。

なお、入力される立体画像は、左右画像が同時に撮影された画像である必要はなく、左右画像の撮影タイミングが時間差を有する立体画像であっても良い。また、画像は撮影画像に限らず、アニメーションやＣＧ等のように人工的に作成された画像であってもよい。

本実施形態で説明した立体画像処理技術では、立体画像中の物体に動きがあり、表示の際に物体の前後関係が原画像から逆転してしまうおそれがある場合（例えば、視差と「見かけの視差」とに関して領域間の大小関係が逆転する場合）には、表示タイミングのずれに合わせた補間位相を有する補間フレームを生成する。これにより、正しい立体感を知覚できる立体画像の表示が可能となる。

また、画像中の物体の前後関係が正しく保たれる場合には補間フレームを生成しないため、補間の誤りによる画質劣化を抑制できる。以上のように、本明細書に開示した立体画像処理装置および立体画像処理方法によると、従来と比較して高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

なお、本実施形態では、視差と「見かけの視差」に関してフレーム内の領域間における大小関係が逆転しているか否かによって、補間フレームの生成要否を判断するものとしたが、これに限定されるものではない。例えば図８に示すように、視差と動きベクトルの水平成分を階級に分けて、各階級に属するフレーム内のブロック数を度数とするヒストグラムを作成し、このヒストグラムを基にして補間フレームの生成要否を判断しても良い。例えば、所定値以上の大きな度数を有する階級について、当該階級を代表する視差と動きベクトルの値から「見かけの視差」を算出する。そして、大きな度数を持つ階級間で視差と「見かけの視差」の大小関係が逆転しているか否かを判定し、逆転しているときに補間フレームの生成を行うものと判断する。

また、本実施形態では、フレーム単位で補間の要否を判断するものとしたが、補間フレーム内の画像領域ごとに、補間画像の生成の要否を判断するようにしてもよい。この場合の画像領域の大きさは、動きベクトル検出におけるブロックと同一であってもよいし、それとは異なる大きさであってもよい。例えば、視差と「見かけの視差」との大小関係が一部の画像領域においてのみ逆転する場合には、この画像領域、あるいはこの画像領域を含む領域について、補間画像を生成する。これにより、不自然に見えるおそれのある領域については補間画像を生成することによって高品位な立体表示が可能となる一方、画像全体に占める補間画像の割合は低く抑えることができるので、補間の誤りによる画質劣化を抑制できる。

また、信頼性の低い動きベクトルや、信頼性の低い視差について、補間フレーム生成の要否の判断から外してもよい。例えば、動きベクトルや視差の信頼度が低いブロックについて、視差と「見かけの視差」の大小関係を判定する領域から除外してもよい。この場合には例えば、ベクトル検出部２０３は検出した動きベクトルとともにその信頼度を示す情報を出力し、視差検出部２１０は検出した視差とともにその信頼度を示す情報を出力する。そして、出力制御部２０４は、信頼度が所定の閾値より低い動きベクトルを、補間フレームを生成するか否かの判断から外し、また、信頼度が所定の閾値より低い視差を、補間フレームを生成するか否かの判断から外す。

動きベクトルや視差の信頼度は、例えば、検出結果のＳＡＤ値を基にして得ることができる。検出結果のＳＡＤ値が所定の基準値より大きい場合（信頼度が所定の閾値よりも低い場合）は、動き検出および視差検出の際のフレーム間の相関が低いため、検出結果の信頼度は低いものと推測できる。なお、信頼度の算出方法はこれ以外の方法であってもよい。例えば、入力される立体画像の特徴により判定してもよい。例えば、絵柄が平坦な画像、同じ模様（パターン）が繰り返し表現される画像等についても、動き検出や視差検出が困難であり、検出結果の信頼度が低いものと推測できる。

また、上記の実施形態では、右眼用画像の入力画像信号のみを０．５フレーム分位相をずらして補間フレームを生成するものとしたが、左右両方の入力画像信号について補間フレームを生成してもよい。例えば、左右画像のいずれか一方について位相を０．２５フレーム分進めて、他方について位相を０．２５フレーム分遅らせて補間フレームを生成してもよい。つまり、出力される立体画像の左右画像間で、補間位相が立体画像信号の半周期分異なっていればよい。なお、左右画像の両方を例えば±０．２５フレーム分位相をずらす場合は、左右画像の対称性をより好適に保つことができるため、左右バランスのとれた立体画像を表示することができる。ただし、左右画像の一方のみの位相をずらす場合に比べて、制御が複雑になる。

この場合、画像メモリ２０２は、現在の左右画像および直前の左右画像の少なくとも４フレーム分を記憶できることが必要である。ベクトル検出部２０３は、動きベクトルの検出を左右画像の両方に対して１２０Ｈｚで行う。また、左右画像の両方について補間フレームが生成されるため、出力制御部２０４は各制御信号を１２０Ｈｚで出力する。

これにより、正しい立体感を知覚できる立体画像の表示が可能となるとともに、入力画像信号の原フレームに比較的近い位相に補間フレームが生成されるため、間違った動きベクトルの影響が小さくなり、補間の誤りによる画質劣化を抑制できる。

また、上記の実施形態では、左右画像それぞれ６０Ｈｚの立体画像信号が入力される場合を前提とした説明を行っているが、入力される立体画像信号がその他のフレーム周波数の信号であってもかまわない。また、図３および図７に示す各信号のタイミング関係は一例であり、画像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。

また、画像メモリ２０２およびベクトルメモリ２０５は、立体画像処理装置２の内部メモリではなく、外部のメモリを用いてもよい。また、本実施形態では、立体画像処理装置２は左右画像を時分割処理するものとしたが、左右画像の信号系統に対してそれぞれの別個の立体画像処理装置を備え、分割処理するようにしてもよい。

なお、上記の実施形態の説明では、立体画像処理装置を中心に説明したが、本実施形態の説明はこれに限定されるものではない。他の実施態様として、図１に示す立体画像表示装置１００として実現することも可能である。立体画像表示装置１００には、立体画像処理装置２から出力された出力画像信号を受けて、フレームシーケンシャル表示を行う表示部１が設けられている。

また、別の実施態様として、上記で説明した立体画像信号処理装置の処理内容を、ＣＰＵやＤＳＰ等の演算処理装置上で動作するソフトウェアとして実現することも可能である。この場合には、図１で示した機能構成図における各構成要素が、処理アルゴリズムにおける各ステップとして実現される。

本発明では、画像中に動きがあってもより品質の高い立体画像を表示することができるため、例えば、立体動画を表示するテレビ等に有用である。

１ 表示部
２ 立体画像処理装置
１００ 立体画像表示装置
２０３ ベクトル検出部
２０４ 出力制御部
２０６ 出力画像生成部
２０７ 出力部
２１０ 視差検出部

Claims (8)

1. 入力された立体画像信号から、フレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理装置であって、
   前記立体画像信号について、左眼用画像と右眼用画像との視差を検出する視差検出部と、
   前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出部と、
   前記視差検出部によって検出された視差、および前記ベクトル検出部によって検出された動きベクトルを基にして、被写体の動きの影響を受けて人が実際に知覚する視差である見かけの視差を算出し、複数の領域間において視差の大小関係と見かけの視差の大小関係とが異なっているとき、補間フレームを生成すると判断し、この判断結果を示す制御信号を出力する出力制御部と、
   前記制御信号を受け、前記制御信号が補間フレームを生成することを示すとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成部と、
   前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成部によって生成された補間フレームを、当該補間位相に対応するフレームに置き換える出力部とを備えている
   ことを特徴とする立体画像処理装置。
2. 請求項１記載の立体画像処理装置において、
   前記出力制御部は、補間フレームの画像領域毎に、補間画像を生成するか否かを判断するものであり、
   前記出力画像生成部は、補間フレームにおいて、補間画像を生成するよう判断された画像領域に補間画像を生成し、補間画像を生成しないよう判断された画像領域に原画像を用いる
   ことを特徴とする立体画像処理装置。
3. 請求項１記載の立体画像処理装置において、
   前記ベクトル検出部は、検出した動きベクトルとともに、当該動きベクトルの信頼度を示す情報を出力するものであり、
   前記出力制御部は、信頼度が所定の閾値より低い動きベクトルを、補間フレームを生成するか否かの判断から外す
   ことを特徴とする立体画像処理装置。
4. 請求項１記載の立体画像処理装置において、
   前記視差検出部は、検出した視差とともに、当該視差の信頼度を示す情報を出力するものであり、
   前記出力制御部は、信頼度が所定の閾値より低い視差を、補間フレームを生成するか否かの判断から外す
   ことを特徴とする立体画像処理装置。
5. 請求項１記載の立体画像処理装置において、
   前記出力画像生成部は、前記立体画像信号の左眼用画像および右眼用画像のいずれか一方について補間フレームを生成するものであり、かつ、連続する２個のフレームの中間位置を補間位相とする
   ことを特徴とする立体画像処理装置。
6. 請求項１記載の立体画像処理装置において、
   前記出力画像生成部は、前記立体画像信号の左眼用画像および右眼用画像の両方について補間フレームを生成するものであり、かつ、左眼用画像の補間位相と右眼用画像の補間位相とが前記立体画像信号の半周期分異なるように、補間フレームを生成する
   ことを特徴とする立体画像処理装置。
7. 請求項１〜６のうちいずれか１項記載の立体画像処理装置と、
   前記立体画像処理装置から出力された出力画像信号を受けて、フレームシーケンシャル表示を行う表示部とを備えている
   ことを特徴とする立体画像表示装置。
8. 入力された立体画像信号から、フレームシーケンシャル表示向けの出力画像信号を生成する立体画像処理方法であって、
   前記立体画像信号について、左眼用画像と右眼用画像との視差を検出する視差検出ステップと、
   前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、フレーム間の動きベクトルを検出するベクトル検出ステップと、
   前記視差検出ステップにおいて検出された視差、および前記ベクトル検出ステップにおいて検出された動きベクトルを基にして、被写体の動きの影響を受けて人が実際に知覚する視差である見かけの視差を算出し、複数の領域間において視差の大小関係と見かけの視差の大小関係とが異なっているとき、補間フレームを生成すると判断する出力制御ステップと、
   前記出力制御ステップにおいて補間フレームを生成すると判断したとき、前記立体画像信号の左眼用画像および右眼用画像の少なくともいずれか一方について、前記動きベクトルを用いて、補間位相における補間フレームを生成する出力画像生成ステップと、
   前記立体画像信号の左眼用画像および右眼用画像のフレームを時間的に交互に配列するものであり、かつ、前記出力画像生成ステップにおいて生成された補間フレームを、当該補間位相に該当するフレームに置き換える出力ステップとを備えている
   ことを特徴とする立体画像処理方法。