JP4693900B2 - 画像処理装置 - Google Patents

Description

本発明は、３次元表示する為の画像データを作成する際に、画像データに視認可能な属性情報を付加する画像処理装置に関する。

従来、立体画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ「左眼用画像」、「右眼用画像」という）を用意し、観察者が左眼用画像を左眼で、右眼用画像を右眼で見ることにより、被写体を直接見ているかのような立体感を得ることが出来る。

このような立体視における立体画像の作成方法として、平行法、交差法という２つの方式が知られている。立体画像を作成するための左・右眼用画像は、左右の視点に対応する位置にカメラを置いて撮影する。あるいはソフトウェア上での擬似的なカメラを視点位置におき、画像を作成する。この時、撮影した該左・右眼用画像を用い、平行法においては左眼用画像を向かって左に、右眼用画像を向かって右に配置し、交差法では左眼用画像を向かって右に、右眼用画像を向かって左に配置して作成する。

近年では、左眼用画像、右眼用画像からなる立体視用の電子画像を裸眼、あるいは特殊な眼鏡などを使用して立体視することが可能な表示装置も提案されており、２眼式の代表的な方式として、例えば、時分割方式、パララクスバリア方式又は偏光フィルタ方式などがある。このうち、例としてパララクスバリア方式に関して説明する。

図１４は、パララクスバリア方式を説明するための概念図である。図１４（ａ）は、視差が生じる原理を示す図である。一方、図１４（ｂ）は、パララクスバリア方式で表示される画面を示す図である。

図１４（ａ）では、図１４（ｂ）に示すような左眼用画像と右眼用画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル５０に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア５１を画像表示パネル５０の前面に配置することにより、観察者は左眼用画像は左眼５２だけで、右眼用画像は右眼５３だけで観察することになり、立体視を行うことができる。

ここでパララクスバリア方式に対応した記録データ形式の一例を図１５に示す。図１５（ａ）に示す左眼用画像と図１５（ｂ）に示す右眼用画像から、それぞれを水平方向に１画素列おきに間引きして図１５（ｃ）に示す１枚の立体画像を作って記録する。表示する際にはこの立体画像を画素毎に並べ替え、パララクスバリア方式、あるいはレンティキュラ方式に対応した表示装置により観察者は裸眼で立体的に観察することが可能となる。

各立体視の方式に従い、左・右眼用画像の画素配置などの構成は変わることがあるものの、２眼式の立体視用の画像を図１５（ｃ）に示すような左眼用画像と右眼用画像が左右に並んだフォーマットとすることが多い。

このような立体画像において、画像や文字などを合成したいという要望がある。例えば、立体画像を立体視に対応しない通常の表示装置で表示した場合、左眼用画像、右眼用画像が左右に並んだ画像が表示されるだけとなってしまう。この場合、通常の表示装置しか所有していない人にとっては、それが立体視向けに撮影された画像であることを明確に識別することが出来ず、混乱を引き起こす可能性がある。このため、立体写真の場合には、撮影した画像のどちらが左眼用、右眼用かを示す識別情報をあらわすパターンと、撮影方法に応じた立体視を補助する為に左眼用、右眼用画像に共通のパターンをフィルム上に写しこむ方法が提案されている。（特許文献１参照）
同様に、表示装置で表示する為の立体画像データでもこのようなマークを合成する事で、立体画像であることを明確にすることができる。

また、立体画像に任意の文字等を書き込む方法が開示されている。入力された任意の文字等の遠近の調整には、これら文字等の遠近感を近づけたり、遠ざけたりするためのボタンがあり、該ボタンによりユーザーが任意に遠近を調整する。（特許文献２参照）

また、このような画像合成を行う際、単純に画像合成を行った場合、圧縮符号化処理をする際に画質の劣化を引き起こすという問題があるが、これを回避する方法として、圧縮符号化を行う際のブロックサイズに応じて合成画像の配置する位置を限定する方法が開示されている。（特許文献３参照）

また、文字画像データを合成する際に、前記データを構成する単位画素のサイズを、ブロック符号化するブロックサイズの偶数分の１もしくは整数倍にするような方法が開示されている。（特許文献４参照）
特開平６−３２４４１３号公報 特開２００４−１０４３３１号公報 特開平７−３８９１８号公報 特開平８−２５１４１９号公報

しかし、このような合成を行う際に立体画像の視差を考慮せずに合成すると、見づらく観察者に疲労を与えることがある。例えば、立体視した際に飛び出して見える画像に、視差をつけず、表示画面上の位置に見える画像を合成すると、合成した画像領域だけが周囲に対して奥の方向に見えることとなり、違和感が強く、また疲労を招く可能性もある。

本発明は、以上のような問題点を解決するためになされたものであって、立体画像データ内に画像などのオブジェクトを合成する際に、視差を考慮しつつ画質への影響を抑えて合成する画像処理装置を提供することを目的とする。

本発明は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、前記複数視点に対応した複数の画像間の視差に関する視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクトの透明度を決定する透明度決定手段と、前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、を備え、前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像の方が手前に見える前記オブジェクトの領域及び奥に見える前記オブジェクトの領域の少なくとも一方に対して、他のオブジェクトの領域よりも透明度を上げるように決定することを特徴とする。

また、本発明は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、前記複数視点に対応した複数の画像間の視差に関する視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクトの透明度を決定する透明度決定手段と、前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、を備え、前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像の方が前記オブジェクトの領域よりも手前あるいは奥に見える場合、前記オブジェクト全体の透明度上げるように決定することを特徴とする。

また、本発明は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、前記複数視点に対応した複数の画像間の視差に関する視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、を備え、前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像におけるオブジェクトを合成する領域の視差と前記オブジェクトの視差との差分値を取り、該差分値が大きいほど透明度を上げるように決定することを特徴とする。

また、前記位置決定手段は、前記視差情報より対応点のないオクルージョン領域を検出し、前記オクルージョン領域と重なる領域ができるように前記オブジェクトの位置を決定することを特徴とする。
また、前記透明度決定手段は、前記立体画像と前記オクルージョン領域と重なる領域では、他の領域より透明度を下げるように決定することを特徴とする。

また、前記画像合成手段は、前記立体画像における前記オブジェクトを合成する領域の視差に基づき、前記オブジェクトの視差が、前記立体画像における前記オブジェクトを合成する領域の視差に最も近くなるよう、前記オブジェクトを合成することを特徴とする。

また、前記視差情報と前記オブジェクト位置情報に基づいて前記オブジェクトの合成位置を調整する調整手段と、符号化ブロック毎に前記オブジェクトを合成した画像を符号化する符号化手段と、をさらに備え、前記調整手段は、前記立体画像における前記オブジェクトを合成する領域の視差に基づき、前記オブジェクトの視差が該視差情報の視差よりも大きく、かつ前記オブジェクトの左端あるいは右端が符号化ブロックの境界と一致するように前記オブジェクトの水平方向位置を決めることを特徴とする。

また、前記視差情報と前記オブジェクト位置情報に基づいて前記オブジェクトの合成位置を調整する調整手段と、符号化ブロック毎に前記オブジェクトを合成した画像を符号化する符号化手段と、をさらに備え、前記調整手段は、前記オブジェクトを前記立体画像に合成する際、前記オブジェクトの垂直方向の下端あるいは上端の境界、かつ水平方向の左端あるいは右端の境界を符号化ブロックの境界に一致するように位置を決めることを特徴とする。

また、前記オブジェクトの大きさは、垂直方向と水平方向共に、前記符号化ブロックの整数倍の大きさとなることを特徴とする。

また、前記オブジェクトは、立体画像であることを示す情報を含む視認可能な立体画像識別情報であることを特徴とする。

本発明の画像処理装置によれば、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、前記複数の画像を比較して視差を算出し、該視差に関する視差情報を作成する視差検出手段と、立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、前記複数視点に対応した複数の画像間の視差に関する前記視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクトの透明度を決定する透明度決定手段と、前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、を備え、
前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像の方が手前に見える前記オブジェクトの領域及び奥に見える前記オブジェクトの領域の少なくとも一方に対して、他のオブジェクトの領域よりも透明度を上げるように決定したり、
あるいは前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像の方が前記オブジェクトの領域よりも手前あるいは奥に見える場合、前記オブジェクト全体の透明度上げるように決定することを特徴とすることにより、立体画像にオブジェクトを合成する際に、該オブジェクトが立体視の妨げになったり、違和感を生じさせてしまうのを防ぐことが可能となる。

また、立体画像にオブジェクトを合成する際に、オブジェクトの配置位置が、元の立体画像の方がオブジェクトよりも手前に見えるような領域であっても、前記立体画像における視差のある領域に透明度を設定する事で元の立体画像はオブジェクトを通して透けて見えることとなり、違和感を防止して合成することが可能となる。

また、前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像におけるオブジェクトを合成する領域の視差と前記オブジェクトの視差との差分値を取り、該差分値が大きいほど透明度を上げるように決定することにより、視差が大きく違和感の大きい場所ほど透明度を上げると言ったように、より違和感を防止する合成が可能となる。

また、前記位置決定手段は、前記視差情報より対応点のないオクルージョン領域を検出し、前記オクルージョン領域と重なる領域ができるように前記オブジェクトの位置を決定することにより、立体視の妨げとなるオクルージョン領域がオブジェクトにより目立たなくなり、違和感を減ずることが可能となる。

また、前記画像合成手段を用いて、前記立体画像における前記オブジェクトを合成する領域の視差に基づき、前記オブジェクトの視差が、前記立体画像における前記オブジェクトを合成する領域の視差に最も近くなるよう、前記オブジェクトを合成することにより、合成後の画像であっても合成前と同じような視差を保つことが可能となる。

また、前記調整手段を用いて、前記立体画像における前記オブジェクトを合成する領域の視差に基づき、前記オブジェクトの視差が、前記立体画像における前記オブジェクトを合成する領域の視差よりも大きく、かつ前記オブジェクトの左端あるいは右端が符号化ブロックの境界と一致するように前記オブジェクトの水平方向位置を決めることにより、表示画面より前方に見えるように合成する際、最も手前に見えるように前記オブジェクトを合成することでオブジェクトが立体画像よりも奥の方向に見えるのを防ぎ、違和感、又は観察者の疲労を少なくすることが可能となる。

また、前記調整手段を用いて、前記オブジェクトを前記立体画像に合成する場合、前記オブジェクトの垂直方向の下端あるいは上端の境界、かつ水平方向の左端あるいは右端の境界を符号化ブロックの境界に一致するように合成することにより、符号化の際、前記オブジェクトが符号化ブロックの境界をまたぐ領域を最小限に抑えることができるため、符号量を少なくすることが可能となる。

また、前記オブジェクトの大きさを、垂直方向と水平方向共に、前記符号化ブロックの整数倍とすることにより、符号化ブロックの境界をオブジェクトがまたぐことがなくなるため、効率よく符号化することが可能となる。

また、前記オブジェクトを、立体画像であることを示す情報を含む視認可能な立体画像識別情報とすることにより、観察者は、２Ｄの表示装置でこの立体画像を表示しても、それが立体向けの画像であることを一目で判別することが可能となる。

本発明の実施形態１の画像処理装置の構成を示すブロック図である。 立体画像データの視差について説明するための図である。 視差検出方法の説明に関する図である。 視差検出方法の説明に関する図である。 立体画像データへのオブジェクト合成に関する図である。 オブジェクト合成後の立体画像データの一例を示す図である。 ブロック符号化時のブロックに関する説明のための図である。 ブロック符号化の手順を示すブロック図である。 本発明の実施形態２の画像処理装置の構成を示すブロック図である。 立体画像データにおける３Ｄマークの一例を示す図である。 立体画像データへのオブジェクトの合成方法に関する説明の図である。 立体画像データへのオブジェクトの合成方法に関する説明の図である。 時分割方式を説明するための概念図である。 パララクスバリア方式を説明するための概念図である。 パララクスバリア方式の記録データ形式を説明する図である。

符号の説明

１、３０ 画像処理装置
２ 視差検出手段
３ 透明度決定手段
４ 画像合成手段
５ 位置決定手段
６ 符号化手段
７Ｌ、８Ｌ 左眼用画像の点
７Ｒ、８Ｒ 右眼用画像の点
９ 特徴点
１０、１１ カメラ
１２ エピポーラ平面
１３、１４ 画像平面
１５、１６ エピポーラ線
１７、１８ ブロック
１９、３５、４０、４１、４２、４３、４４、４５ オブジェクト
２０、２１、３６、３７ 画像領域
２２ ブロック画像
２３ ＤＣＴ器
２４ 量子化器
２５ 量子化テーブル
２６ エントロピー符号化器
２７ 符号テーブル
３１ ３Ｄ情報作成手段
３２ 調整手段
３３ 画像合成手段
３４ 多重化手段
３８、３９、４６ 左右境界線
５０ 画像表示パネル
５１ パララクスバリア
５２ 右眼
５３ 左眼

（実施形態１）
本発明の実施形態について、図面を参照しながら説明する。以下では、３次元または立体を意味する語として「３Ｄ」を、２次元を意味する語として「２Ｄ」をそれぞれ用い、３次元または立体画像を「３Ｄ画像」、通常の２次元画像を「２Ｄ画像」として説明を行なう。

図１は、本発明の実施形態１の画像処理装置の構成を示すブロック図である。
画像処理装置１は、左眼に対応する視点から得られた左眼用画像、および右眼からの右眼用画像を入力とし、視差情報を検出する視差検出手段２と、前記視差情報を元に、前記左眼用画像と前記右眼用画像からなる画像に合成するオブジェクトの透明度を決定する透明度決定手段３と、左眼用画像および右眼用画像と、オブジェクトの合成を行う画像合成手段４と、オブジェクトの合成位置を決定する位置決定手段５と、合成した画像を符号化する符号化手段６と、図示しない記録媒体や通信回線にアクセスする手段とを備えて構成される。
本実施形態では、例えば、本画像処理装置によって作成された画像は、パララクスバリア方式での３Ｄ表示装置で表示するものとして説明する。

まず、左眼用画像と右眼用画像からなる画像信号が、画像処理装置１に入力されると、視差検出手段２は、該左眼用および該右眼用画像から、視差情報を検出する。
視差は、例えば、ステレオマッチングにより検出する。ステレオマッチングとは、左眼用画像が右眼用画像のどの部分に対応するかを面積相関の計算により算出し、対応する点のずれを視差とするものである。

３Ｄ画像を、３Ｄ表示に対応した３Ｄ表示装置によって表示する場合、視差が大きいほど表示画面より飛び出して、あるいは表示画面よりも奥に見える。
図２は視差について示す図である。図２は家を撮影した画像を示しており、それぞれ図２（ａ）の画像は交差法により撮影された左眼用画像、図２（ｂ）の画像は右眼用画像を示している。背景は視差がないものとする。
ここで、左眼用画像からみた右眼用画像の対応点は、左眼用画像のものより左側にある場合は飛び出して見え、右側にある場合には表示画面よりも奥の方向に見える。また、視差が無い場合、つまり、左眼用画像の点と右眼用画像の点の位置が同じ位置であれば、それらの点は、表示画面の位置にあるように見える。

例えば、画像図２（ａ）と図２（ｂ）を比較すると、左眼用画像の点７Ｌ、８Ｌに対応する右眼用画像の点をそれぞれ７Ｒ、８Ｒとすると、それぞれの画像を撮影したカメラの位置に近い７Ｌと７Ｒの視差は大きくなり、また、前記カメラの位置から遠い８Ｌと８Ｒの視差は小さくなる。またこのとき、左眼用画像からみた右眼用画像の対応点は左側にある。よって、７Ｌと７Ｒ、８Ｌと８Ｒともに表示画面に対して飛び出して見えるが、視差が大きい７Ｌと７Ｒの点の方が、８Ｌと８Ｒの点より観察者には手前に飛び出して見える。

前記視差検出手段２において、ステレオマッチングにより視差情報を検出する方法について、以下、詳細に説明する。
視差は、左眼用画像と右眼用画像を比較し、被写体の対応点を求める事で算出する。しかし、入力画像をそれぞれの画素値を値にもつ２次元の配列と見て、同じ行における点の対応関係を求めるときに、その点の画素の比較だけでは結果が非常に不安定になってしまう。そこで、面積相関法を使用し、注目している画素の周りの面で比較し、その面中の点それぞれについて左右の画像中で差をとり、その合計がもっとも小さいものを対応点とする。

図２においてその例を示す。ここで、エピポーラ線は一致しているので、対応点を探すときは、縦方向は同じ高さに固定し、横方向のみをずらしながら探索すればよい。エピポーラ線とは、図３に示すように空間中の特徴点９と２つのカメラ１０、１１のレンズ中心によってできる平面（エピポーラ平面）１２と、それぞれのカメラの画像平面１３、１４との交線が対応する線であり、図では１５、１６の点線となる。図３では一致していないが、本実施形態の図２の画像ではカメラを同じ高さにして、水平面に対して平行に設置している為一致している。

図４に示すように、ある一定のサイズのブロック単位で対応点を探す。それぞれの画素のＲＧＢ（赤、緑、青）成分の差を元に比較を行う。
図４（ａ）は左眼用画像、図４（ｂ）は右眼用画像であり、それぞれの画像において左上から横方向にｘ番目、縦方向にｙ番目の画素を、Ｌ（ｘ、ｙ）、Ｒ（ｘ、ｙ）と表すものとする。上述のように、縦方向には一致しているので、横方向のみで比較し視差を算出する。視差をｄで表し、Ｌ（ｘ、ｙ）とＲ（ｘ−ｄ、ｙ）の画素値についてＲＧＢ成分の差を比較することになる。これをブロック毎に行い、例えばブロックを４×４の画素構成とすると、左右それぞれ１６個の画素値を比較し、それらの差分およびその総和を求め、この差分の総和によって各ブロックの類似度を見る。この差分の総和が最も小さくなる時それぞれのブロックは対応していることとなり、そのときのｄが視差となる。

図４において、図４（ａ）の１７と図４（ｂ）の１８ｌ、１８ｍ、１８ｎのブロックをそれぞれ上記のようにＲＧＢ成分の差で算出すると、１８ｍで最も差が小さくなり、このブロックが対応するブロックであることが分かり、視差ｄが算出される。画像全体をブロックに分け、それぞれ対応点を見つけ出す事で、画像全体の視差をブロック単位で算出することが出来る。

また、上記では、ＲＧＢ成分の差を比較したが、Ｒ、Ｇ、Ｂそれぞれの差分に対して異なる重み付けをしてもかまわない。
さらにまた、ＲＧＢ成分を、輝度と色差により表現するＹＵＶ成分などに変換し、Ｙ、Ｕ、Ｖそれぞれの差分に対して異なる重み付けをしてもかまわない。例えば、輝度成分だけを用いて差分の総和を求めてもよい。
上記では、ブロックを４×４の画素構成としたが、水平・垂直とも少なくとも一つ以上の画素から構成されていれば、ブロックの画素構成がいくつであってもかまわない。

視差検出手段２は、左眼用画像、右眼用画像をそれぞれ画像合成手段４へと送り、視差情報は透明度決定手段３へと送る。透明度決定手段３は、３Ｄ画像に合成するオブジェクトを入力として受けとり、位置決定手段５からの位置情報に従って、該オブジェクトの合成位置を決定する。

ここでは、例えばオブジェクトを無地で白色、矩形の画像とする。
位置決定手段５は、例えば、ユーザーからの指示に従い、３Ｄ画像中の配置位置に関する位置情報を得る。例えば、本画像処理装置がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）といった端末機器であったとすると、ユーザーがキーボードやマウスといった入力装置により画像中の配置位置を指定することとなる。

また、視差検出手段２から位置決定手段５に視差情報が入力され、位置決定手段５は、該視差情報から元の３Ｄ画像の対応点の無い領域を求め、その領域の割合をもっとも多く含む位置になるようオブジェクトを配置するようにしてもよい。
視点が異なることから隠蔽され、画像内に対応点が無い領域は、オクルージョン領域と一般的に呼ばれ、立体視の妨げとなる可能性があるが、オブジェクトをオクルージョン領域に重なるように配置することにより、このオクルージョン領域が観察者に見えにくくなり、より立体視しやすい画像にすることができる。

透明度決定手段３は、位置情報より決定した該３Ｄ画像へのオブジェクトの合成位置を元に、視差検出手段２からオブジェクトの合成位置における視差情報を得て、該視差情報を元にオブジェクトのどの領域をどのくらいの透明度にするかを示す透明度情報を作成する。

例えば、３Ｄ画像においてオブジェクトの配置位置及びその周囲の視差が表示画面より手前に見える方向であった場合、オブジェクトを視差０となるように左眼用及び右眼用画像にそれぞれ合成し、該画像を立体視したときに、オブジェクトは表示画面位置に、オブジェクトの周囲は手前に飛び出して見えることとなり、不自然で見づらくなってしまう。

この問題を解決するために、まず元の３Ｄ画像内のオブジェクトを配置する領域の視差情報を参照して、その領域を元の３Ｄ画像の方がオブジェクトよりも前面に表示される領域Ｐ１と、そうでない領域Ｐ２とに分ける。つまり、対象とする領域において、前記視差情報から求めた元の立体画像の視差から前記オブジェクトの視差を引いた値が０より大きくなる領域をＰ１、０以下の値となる領域をＰ２とする。

次に、透明度決定手段３は、オブジェクトの透明度を上記のように分けた領域別に決定する。例えば、領域Ｐ１におけるオブジェクトの透明度を５０パーセント、領域Ｐ２におけるオブジェクトの透明度を０パーセントとして、透明度情報を作成する。これにより、領域Ｐ１ではオブジェクトが透けて見え、領域Ｐ２ではオブジェクトのみが観察されることとなる。

このとき、左眼用画像と右眼用画像に対応点がない場合があり、該領域に関しては、オブジェクトの透明度を下げるようにしてもよいし、不透明としてもよい。本実施形態では、そのような領域の透明度を例えば２０パーセントとして透明度情報を作成する。

透明度決定手段３は、上述した透明度情報、オブジェクト及びその配置位置の情報（以下、「オブジェクト位置情報」という）を含んだ情報をオブジェクト情報として作成し、画像合成手段４へと送る。

画像合成手段４は、視差検出手段２から得た左眼用画像、右眼用画像と、透明度決定手段３から得たオブジェクト情報に含まれる透明度情報とオブジェクト及びオブジェクト位置情報を元に、画像の合成を行う。

まず、左眼用画像と右眼用画像のそれぞれに対してオブジェクトを合成する方法を図面を用いて説明する。
図５は、オブジェクトをそれぞれ左・右眼用画像に合成したときの図を示している。１９Ｌは左眼用画像に合成したオブジェクト、１９Ｒは右眼用画像に合成したオブジェクトを示しており、各画像における左上からのオブジェクトの位置は同じであり、オブジェクトに視差はないものとする。左眼用画像、右眼用画像からなる３Ｄ画像は、背景は視差０で家の領域には視差があるものとする。斜線で表したオブジェクト１９Ｌ、１９Ｒが重なる家の端の領域２０Ｌ、２０ＲはＣで示すように２０Ｒの左側の境界が２０Ｌより左に存在することから、オブジェクトが合成される元の画像には観察者から見て手前の方向に見えるように視差が存在し、オブジェクト１９Ｌと１９Ｒの斜線でない部分２１Ｌ、２１Ｒは背景であることから視差が０であることを示している。

画像合成手段４は、オブジェクト情報に含まれる透明度情報によりオブジェクトの透明度を設定する。
例えば、立体視の際に元の３Ｄ画像がオブジェクトよりも前面に表示される領域２０Ｌ、２０Ｒは、オブジェクトの透明度を５０％とすることが透明度情報に指定されているとすると、この情報に従いオブジェクトが元の３Ｄ画像に合成され、オブジェクトより前に元の３Ｄ画像が透けて見えることとなる。

ここで、オブジェクトの透明度がｎ％（０≦ｎ≦１００）で設定されていた場合、オブジェクトが（１００−ｎ）％、元の画像がｎ％の割合で画像が合成される。すなわち、オブジェクトの透明度が０％であった場合、オブジェクトだけが見えることとなる。合成の割合の設定方法としては、単純に同位置の画素を前記のような割合で重み付けをして作成してもよいし、他の公知の方法を用いてもよく、本発明とは関係が無いため詳細な説明は省略する。

また、他に対応点が無い領域（オクルージョン領域）に関する情報を位置決定手段５から取得し、透明度決定手段が透明度情報として、例えば、オクルージョン領域は透明度を２０パーセント、それ以外の領域は透明度を０パーセントとすることを指定すれば、この情報に従って、オブジェクトが重なる領域のうち、元の３Ｄ画像が立体視の際にオブジェクトよりも背面に表示される領域ではオブジェクトを不透明に、オクルージョン領域は視差が存在せず、本来その部分がオブジェクトよりも背面になるか前面になるか判断できないため、前記設定により透明度を２０パーセントにして、元の３Ｄ画像にオブジェクトを合成することとなる。

このように、オクルージョン領域に対して、オブジェクトの透明度を低くして合成することにより、オクルージョンを観察者に見えにくくすることになり、より立体視しやすい画像にすることができる。

このようにして合成することにより、再生手段を通してこの合成画像を３Ｄ表示装置で表示すると、元の３Ｄ画像とオブジェクトが重なっている領域であっても、自然に立体視ができ、また、オブジェクト自体も観察することができる。
これにより、オブジェクトの位置を視差０で立体画像に合成した際でも、周囲に対してオブジェクトが不自然に見えることがなくなり、違和感を与えることがない。

例えば、表示装置がパララクスバリア方式の３Ｄ表示装置である場合、画像合成手段４が出力する合成画像は、図１５（ｃ）で示したように左右の各視点画像を水平方向に１画素列おきに間引きして左右に合成した画像となる。合成した時の画像の例を図６に示す。

画像合成手段４によって作成された画像データは、符号化手段６へと送られる。符号化手段６は符号化を行い、画像データを圧縮する。ここでは、画像の符号化方式をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）とする。ＪＰＥＧでは、画像を小さな正方形のブロックに分割して直行変換を施し、互いに直行する複数の規定画像の和に展開し、それぞれの規定画像に対する係数を符号化する。直行変換としてはＤＣＴ（離散フーリエ変換）が使用される。

符号化手段６では、入力画像は、図７に示すように複数のブロックに分割され、円で囲まれた拡大図のブロック２２に示すように各ブロックは８×８画素で構成される。
符号化手段６がこの各ブロックに対して図８に示す流れで画像の符号化を行う。
まず、ブロック２２に対してＤＣＴ器２３により２次元ＤＣＴ変換を行う。これにより周波数分解され、量子化器２４は量子化テーブル２５を参照して、ＤＣＴ変換後の各係数を量子化テーブル２５による除数で割り算を行い、余りを丸めて高周波項を落とす。これをエントロピー符号化器２６は、例えばハフマン符号を用い、符号テーブル２７を参照して、符号化し、符号化データとして３Ｄ画像が出力される。

符号化データはこの逆の処理を再生手段が行う事で復号され、表示装置に送られて表示される。ここでは３Ｄ表示装置に送られ、表示される３Ｄ画像は画像合成する際に透明度が設定されて合成される為、画像合成後の画像も違和感や疲労感を増大させることなく立体視することが可能となる。

なお、本実施形態では左右眼の画像を交差法で撮影したものとしたが、平行法であっても良い。また、ここでは画像をＪＰＥＧとしたが、ＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、又はＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）といった他の画像形式でもよく、各形式に応じて図１における符号化手段６の構成は変わる。Ｍｏｔｉｏｎ−ＪＰＥＧといった動画であってもよい。

また、視差検出手段２は、ここで説明した以外にもこれを改良した方式や複雑系を利用した方式など様々な方式があり、どのような方式であっても構わない。画像から視差を検出しなくてもあらかじめ視差マップ等視差の情報が分かっているときには、単にそれを利用する形であっても良い。

また、ここではオブジェクトの透明度を５０パーセントや２０パーセントとして説明したが、これに限定するわけではなく８０パーセントなどこれより高くても、低くてもよい。

また、上記の例では、オブジェクトの視差を０として合成を行ったが、オブジェクトに視差をつけてもよい。視差をつけた場合であっても同様にして合成を行うことができる。

また、位置決定手段５からあらかじめ位置情報を視差検出手段２に入力させておき、オブジェクトが重なる位置に対してのみ視差検出を行うようにしても構わない。

本実施形態では視差のある領域と重なる領域だけに透明度を設定するとしたが、オブジェクト全体を透明にしても良く、透明度の設定は表示画面に対して前面になる画像だけでなく、奥側になる画像に適用しても構わない。また、オブジェクトはここでは矩形の画像としたが、例えばマウスカーソルといったポインタなどであっても良い。

また、ここでは元の３Ｄ画像のオブジェクトを合成する領域に視差がある場合、あるいは対応点のないオクルージョン領域である場合の合成方法を示したが、位置決定手段５が、元の３Ｄ画像の視差情報から視差のない領域、あるいは視差のない領域の占める割合の多い場所を求め、該領域の中からオブジェクトの位置を決定し、透明度決定手段３にて任意の透明度で透明度情報を付加し、オブジェクトを合成する方法もある。

（実施形態２）
図９は、本発明の実施形態２の画像処理装置の構成を示すブロック図である。なお、上述の実施形態と同様の機能を示すものについては、同一の参照番号を付与している。

画像処理装置３０は、立体画像であることを示す識別情報、立体画像の作成方法に関する情報及び視差情報等の３Ｄ情報を入力として、立体画像であることが視覚的に認知可能な３Ｄマークをオブジェクトとして作成する３Ｄ情報作成手段３１と、前記３Ｄマークを合成する際の位置情報を出力する位置決定手段５と、前記３Ｄ情報作成手段３１から３Ｄマークと視差情報を、位置決定手段５から位置情報を受け取り、これらを元に３Ｄマークの合成位置等を調整する調整手段３２と、調整手段３２から入力される３Ｄマーク及び位置情報、図示しない入力手段から入力される左眼の視点に対応する左眼用画像及び右眼の視点に対応する右眼用画像からなる３Ｄ画像より画像の合成を行う画像合成手段３３と、合成した画像を符号化する符号化手段６と、画像データと３Ｄ情報を多重化して出力する多重化手段３４と、図示しない記録媒体や通信回線にアクセスする手段とを備えて構成される。
本実施形態では、一例として、本画像処理装置３０によって作成された画像は、パララクスバリア方式での３Ｄ表示装置で表示するものとして説明する。

左右に合成された左眼用画像と右眼用画像及び３Ｄ情報が多重化された状態の画像を不図示の逆多重化装置で逆多重化し、画像データと３Ｄ情報に分離され、画像処理装置３０に入力される。逆多重化する機能は、本画像処理装置に備えていてもよい。このうち、３Ｄ情報は３Ｄ情報作成手段３１に入力される。３Ｄ情報は、ここでは立体画像であることを示す識別情報、撮影方法を示す種別情報、並びに視差情報をあらわす視差マップからなるものとする。３Ｄ情報作成手段３１は、ユーザーが立体画像であること、どのような撮影法かといった３Ｄに関する情報を見て確認することが出来る画像を作成する。これを３Ｄマークと呼び、本実施形態で画像合成をするオブジェクトとなる。３Ｄマークを合成した際の合成画像例を図１０に示す。

図１０に示す画像内の「３Ｄ Ｐａｒａｌｌｅｌ」と表示されている領域３５が３Ｄマークを示す。「３Ｄ」により、立体画像であることを、「Ｐａｒａｌｌｅｌ」によりこの画像が平行法によって作成されたことを示している。立体画像であることを示す文字列としては、「３Ｄ」の他、例えば「Ｓｔｅｒｅｏ」、「Ｓｔｅｒｅｏ Ｐｈｏｔｏｇｒａｐｈ」といったものや、「Ｓｔｅｒｅｏ Ｉｍａｇｅ」などでもよい。また作成方法の種別を示す文字列としては、交差法であれば、例えば「Ｃｒｏｓｓｉｎｇ」などと表示すればよく、より簡単に平行法を「Ｐ」、交差法を「Ｃ」と表してもよい。また、文字以外にも平行法を「｜｜」、交差法を「×」といった記号で表してもよい。立体画像であることを示す文字列または作成方法の種別を表す文字列は、任意に定めることができる。

このようにユーザーが識別できるようにマークを統合することにより、２Ｄディスプレイで表示した際に、ユーザーがすぐに３Ｄ用の画像であることが判断可能となる。また作成方式が明確になる事で、２Ｄのディスプレイで表示した上記３Ｄ画像を裸眼によって立体視する際に、立体視しやすいという利点がある。立体視する場合、平行法であれば左眼で左側に配置された画像を、右眼で右側に配置された画像を見る必要があり、交差法であれば左眼で右側に配置された画像を、右眼で左側に配置された画像を見る必要があるが、画像の作成方法が明確になる事で、どちらの見方をすればよいかすぐに判別することが可能となる。

３Ｄ情報作成手段３１は、３Ｄマークと視差情報を調整手段３２へと送る。位置決定手段５は、３Ｄマークの合成位置に関する情報を位置情報として調整手段３２へ送る。調整手段３２は、位置情報と視差情報を元に、合成位置を決定する。

ここで合成位置の決定方法について説明する。ここでは、画像は上述の実施形態同様ＪＰＥＧ方式で圧縮されるものとして説明する。図７、図８に示したように、画像は符号化の際８×８画素のブロック毎に符号化される。これを符号化ブロックと呼ぶ。画像を合成する際、この符号化ブロックにまたがるように３Ｄマークが合成されると、画像の高周波成分が増大するため符号量が増加することとなり、同じ符号量を保とうとすると画質が劣化するという問題がある。そのため少しでも画質の劣化を防ぐ為に、調整手段３２はブロックと３Ｄマークの境界が一致するように位置の調整を行う。

図１１は、位置決定手段５により決定された位置から調整手段３２による３Ｄマークの位置決めの調整を表した図を示している。図１１（ａ）が調整手段３２によって調整を行う前、図１１（ｂ）に示す図が調整を行った後である。また左側の円状に囲まれた部分３６、３７は、３Ｄマークとブロックの位置関係を示す画像の領域拡大図である。中央の黒い太線３８、３９の左側が左眼用画像、右側が右眼用画像に対応しており、升目状に描かれた四角は符号化ブロックを示している。

図１１（ａ）の画像を見ると、３Ｄマークは視差をつけて配置するように位置決定手段５により決められており、左眼用画像の３Ｄマーク４０は左眼用画像の左端から２ブロック以上右側にあるのに対し、右眼用画像の３Ｄマーク４１は右眼用画像の左端である中央の太線３８から見て２ブロックに満たない距離しか離れていない。図１１（ａ）の画像に示す位置に配置した場合、左右どちらの３Ｄマーク４０、４１も符号化ブロックをまたぐように配置されているため、画質の劣化が大きくなる。そのため、調整手段３２は３Ｄマーク４０、４１の上側、あるいは下側のブロックの境界のどちらか一方のうち、元画像のブロック境界と近い方のブロック境界と一致するように移動する。左右方向についても同様に、一番移動距離が短くなるようなブロック境界にマークの境界が一致するように３Ｄマークを移動する。これにより、図１１（ｂ）の図に示す４２、４３のように配置される。図１１中の点線および矢印はその方向に３Ｄマークが移動したことを示す為に記載している。これにより、画像合成時の画質劣化を抑えることが可能となる。

上記の例では、３Ｄマークの移動距離が位置決定手段５により決められた位置から最も少なくなるように移動したが、位置決定手段５の位置情報が３Ｄマークを元画像の重畳領域の視差に合わせて配置するようにしていた場合で、かつ元画像が表示画面に対して手前に見える画像であるときに最短で移動すると、３Ｄマークの視差が重畳領域の元画像の視差よりも少なくなり、やや沈んで見えてしまうことがある。前述のように周囲に対して奥側に沈んで見えると違和感があるため、このような場合には、３Ｄマークを視差が大きくなるような方向に移動する。

また、３Ｄマークの上下方向、あるいは左右方向のそれぞれ一方ずつをブロック境界に合わせるだけでは、図１１からも明らかなように、あわせた場所以外のマーク境界はブロックの境界とは一致しない可能性が高い。そこで、図１２に示すように、調整手段３２は、まず、３Ｄマークの位置調整を行う際、視差が大きくなる方向で最も近いブロック境界に合わせるように移動する事で、立体視した際の違和感を解消する。次に、３Ｄマーク自体の大きさをブロックの整数倍になるように自動で拡大縮小処理をする事で、全ての境界がブロック境界に一致するようにする。
図１２（ａ）は、３Ｄマーク移動前、図１２（ｂ）が移動及び拡大・縮小後を示しており、左眼用画像では３Ｄマーク４４は右側に、右眼用画像側では３Ｄマーク４５が左側に移動されており、視差が大きくなっている。また、水平方向に縮小、垂直方向に拡大処理が施され、ブロックサイズの整数倍の大きさになっている。

このようにして合成された画像データは、画像合成手段３３から符号化手段６へと送られる。前述のように、本実施形態の画像はＪＰＥＧとして説明しているので実施形態１と同様、図８に示した流れで符号化が行われる。合成された３Ｄマークは調整手段３２で符号化ブロックの境界に合わせているため、符号化の際の画質の劣化は抑制されている。

符号化データは、符号化手段６から多重化手段３４へと送られ、３Ｄ情報とともに多重化され、多重化データとして出力される。

なお、本実施形態において画像のサイズやブロック等は、理解を容易にするために実際の大きさとは異なる数値により説明した。画像のサイズは６４０×４８０、１６００×１２００などこれ以外にも任意のサイズを取りうる。またここでは静止画としているが、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１やＭＰＥＧ２といった符号化による圧縮を行う動画像でもよい。

また、符号化ブロックの単位はここではＪＰＥＧのため８×８画素としたが、この画素サイズに限定されるものではなくＭＰＥＧ２であれば１６×１６等、様々な大きさを取り得る。

また、ここでは位置決定手段５によって３Ｄマークの合成位置が左右とも決められていたが、位置決定手段では大まかな位置だけを設定し、調整手段３２で視差情報である視差マップに基づいて、背景に応じた視差を自動で設定するようにしても良い。

また、ここでは符号化ブロックの境界にオブジェクトをあわせる際、表示画面より前方に見える画像に重畳する際は視差を大きくするようにしたが、視差が小さくなる方向のブロックの境界に合わせて、実施形態１のように透明度を設定しても画質の劣化を抑えられ、違和感の低減も可能となる。オブジェクトの移動、拡大縮小処理はここでは移動した後拡大縮小するようにしたが、順序は逆であっても良い。

また、本発明の説明では、立体表示の方式として、２眼式であるパララクスバリア方式の例を用いて説明を行ったが、それ以外の表示方式であっても良い。
例えば、同じく２眼式の方式である時分割表示方式を用いてもよい。この方式を用いた場合、図１５（ａ）、図１５（ｂ）に示す左眼用画像、右眼用画像を、図１３に示すような１画素ずつ水平方向に並べた画像をフォーマットとして使用し、これを時分割表示方式に対応した３Ｄ表示装置、例えばプロジェクターなどにより立体表示を行う。この３Ｄ表示装置の再生タイミングに同期して開閉するシャッターを備えた液晶シャッター眼鏡などを通して該画像を観察することにより、ある時間では左眼用画像だけが、次のある時間では右眼用画像だけが見えるようなり、観察者は立体画像として観察することができる。

またさらに、ここで上げた２眼式だけでなく、より多くの視点に対応した画像を用意して立体視を行う多眼式やインテグラルフォトグラフィー方式といった方式であっても良い。各方式に従い、３Ｄ画像のフォーマットはここで示した２種類以外にも様々な方式がある。

また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

以上のように、本発明における画像処理装置によれば、３Ｄ画像にオブジェクトを合成する際、３Ｄ画像の視差を考慮してオブジェクトの透明度等を決定し、合成する事で違和感のない合成画像を実現すると共に、ブロック符号化時の画質の劣化を抑えるためにオブジェクトの合成位置を調整することを可能とする。

Claims (10)

1. 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
   立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、
   前記複数視点に対応した複数の画像間の視差に関する視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクトの透明度を決定する透明度決定手段と、
   前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、
   を備え、
   前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像の方が手前に見える前記オブジェクトの領域及び奥に見える前記オブジェクトの領域の少なくとも一方に対して、他のオブジェクトの領域よりも透明度を上げるように決定することを特徴とする画像処理装置。
2. 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
   立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、
   前記複数視点に対応した複数の画像間の視差に関する視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクトの透明度を決定する透明度決定手段と、
   前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、
   を備え、
   前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像の方が前記オブジェクトの領域よりも手前あるいは奥に見える場合、前記オブジェクト全体の透明度上げるように決定することを特徴とする画像処理装置。
3. 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
   立体画像中のオブジェクトの配置位置を決定し、該オブジェクトの配置位置に関するオブジェクト位置情報を作成する位置決定手段と、
   前記複数視点に対応した複数の画像間の視差に関する視差情報と前記オブジェクト位置情報に基づいて、前記オブジェクトの透明度を決定する透明度決定手段と、
   前記オブジェクト位置情報と前記透明度に基づいて、前記立体画像データに前記オブジェクトを合成する画像合成手段と、
   を備え、
   前記透明度決定手段は、前記視差情報から前記立体画像における前記オブジェクトを合成する領域の視差を取得し、設定されたオブジェクトの視差と比較して、前記立体画像におけるオブジェクトを合成する領域の視差と前記オブジェクトの視差との差分値を取り、該差分値が大きいほど透明度を上げるように決定することを特徴とする画像処理装置。
4. 前記位置決定手段は、前記視差情報より対応点のないオクルージョン領域を検出し、前記オクルージョン領域と重なる領域ができるように前記オブジェクトの位置を決定することを特徴とする請求項１、２又は３に記載の画像処理装置。
5. 前記透明度決定手段は、前記立体画像と前記オクルージョン領域と重なる領域では、他の領域より透明度を下げるように決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像合成手段は、前記立体画像における前記オブジェクトを合成する領域の視差に基づき、前記オブジェクトの視差が、前記立体画像における前記オブジェクトを合成する領域の視差に最も近くなるよう、前記オブジェクトを合成することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 前記視差情報と前記オブジェクト位置情報に基づいて前記オブジェクトの合成位置を調整する調整手段と、
   符号化ブロック毎に前記オブジェクトを合成した画像を符号化する符号化手段と、
   をさらに備え、
   前記調整手段は、前記立体画像における前記オブジェクトを合成する領域の視差に基づき、前記オブジェクトの視差が、前記立体画像における前記オブジェクトを合成する領域の視差よりも大きく、かつ前記オブジェクトの左端あるいは右端が符号化ブロックの境界と一致するように前記オブジェクトの水平方向位置を決めることを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
8. 前記視差情報と前記オブジェクト位置情報に基づいて前記オブジェクトの合成位置を調整する調整手段と、
   符号化ブロック毎に前記オブジェクトを合成した画像を符号化する符号化手段と、
   をさらに備え、
   前記調整手段は、前記オブジェクトを前記立体画像に合成する際、前記オブジェクトの垂直方向の下端あるいは上端の境界、かつ水平方向の左端あるいは右端の境界を符号化ブロックの境界に一致するように位置を決めることを特徴とする請求項１から６のいずれか１つに記載の画像処理装置。
9. 前記オブジェクトの大きさは、垂直方向と水平方向共に、前記符号化ブロックの整数倍の大きさとなることを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記オブジェクトは、立体画像であることを示す情報を含む視認可能な立体画像識別情報であることを特徴とする請求項１から９のいずれか１つに記載の画像処理装置。

Images