JP4630149B2 - 画像処理装置 - Google Patents

Description

本発明は、３次元表示する為の画像データを作成する際に、画像データに属性情報を付加する画像処理装置に関する。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。両眼視差を持った左眼用画像と右眼用画像を用意し、左眼用画像を左眼で、右眼用画像を右眼で見ることにより、被写体を直接見ているかのような立体感を得ることが出来る。

このような立体視における立体画像の作成方法として、平行法、交差法という２つの方式が知られている。立体画像を作成するための左右眼の画像は、左右の視点に対応する位置にカメラを置いて撮影する、あるいはソフトウェア上での擬似的なカメラを視点位置におき画像を作成する。この時、撮影もしくは撮影された左右眼の画像を用いて、平行法においては左眼用画像を向かって左に、右眼用画像を向かって右に配置し、交差法では左眼用を向かって右に、右眼用を向かって左に配置して作成する。

このような方式で作成された裸眼立体視用の写真では、作成方法により左右の画像の配置が異なる為、適切に立体視できるように左眼用画像と右眼用画像を区別することを可能としたステレオカメラが提案されている。例えば、特許文献１（特開平６−３２４４１３号公報）記載の「立体カメラ」では、左眼用画像と右眼用画像を記録する際、１つのレンズと２つのミラーを使用して撮影する方法と、左右２つのレンズのみを使用して撮影する方法がある。２つのレンズで撮影する場合、左半分に写し込まれた映像を印画紙に焼き付けると、印画紙の左半分に右側からみた画像が形成され、逆に右半分に写し込まれた映像を印画紙に焼き付けると、印画紙の右半分に左側からみた画像が形成されることになる。従って、印画紙を半分に切断し左画像と右画像を逆転させる必要があるが、左画像と右画像はほとんど同じで相違点を見つけることは困難であるため、区別の付くよう写真に目印を写しこむものである。同様に、特許文献２（特開平９−１６０１４３号公報）記載の「ステレオカメラ」においても左右の区別の付く印を写しこむと同時に、写しこんだ印を使用して裸眼立体視がしやすいようにしている。

また、近年では立体視可能な表示装置も提案されており、２眼式の代表的な方式として時分割方式やパララクスバリア方式、偏光フィルタ方式などいくつかの方式がある。このうち、例として時分割方式とパララクスバリア方式に関して説明する。

図１７は、時分割方式を説明するための概念図である。この時分割方式は、図１７のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切り替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。

図１８は、パララクスバリア方式を説明するための概念図である。図１８（ａ）は、視差が生じる原理を示す図である。一方、図１８（ｂ）は、パララクスバリア方式で表示される画面を示す図である。図１８（ａ）では、図１８（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル６００に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア６０１を画像表示パネル６００の前面に置くことにより、左眼画像は左眼６０２だけで、右眼画像は右眼６０３だけで観察することになり、立体視を行うことができる。

上記以外にも、パララクスバリア方式と同様に図１８（ｂ）に示す形式の画像を、前面に配置されたレンティキュラレンズを使用して立体表示する、レンティキュラ方式などもある。

ここでパララクスバリア方式、あるいはレンティキュラ方式に対応した記録データ形式の一例を図１９に示す。図１９（ａ）に示す左眼画像と図１９（ｂ）に示す右眼画像から、それぞれを水平方向に１画素列おきに間引きして図１９（ｃ）に示す１枚の立体画像を作って記録する。表示する際にはこの立体画像を画素毎に並べ替えることにより、パララクスバリア方式、あるいはレンティキュラ方式に対応した表示装置で見ると、裸眼で立体的に観察することが可能となる。
特開平６−３２４４１３号公報 特開平９−１６０１４３号公報

しかし、図１９（ｃ）に示すような立体画像を立体視に対応しない通常の表示装置で表示した場合、左眼用画像、右眼用画像が左右に並んだ画像が表示されるだけとなってしまう。この場合、通常の表示装置しか所有していない人にとっては、それが立体視向けに撮影された画像であることを明確に識別することが出来ず、混乱を引き起こす可能性がある。このため、通常の表示装置で立体画像を表示した際に、立体視向けであることを示す視認可能な手段が用意されていることが望ましい。一方で、この立体視向けであることを示す視認可能な手段、即ち何らかの目印は、立体視可能な表示装置で観察した場合に立体視の妨げとなってはならず、また画像の加工を行う場合や画像サイズと異なる印画紙に印刷する場合などに削除されてしまってはならない。前記特許文献１、２においてはどちらが左眼用、右眼用かを区別することは可能であるが、写真による裸眼立体視の場合のものであり、表示装置上での見易さに関しては考慮されていない。また、目印が加工、印刷時に削除されてしまう可能性があることも考慮されていない。

本発明は、以上のような問題点を解決するためになされたものであって、立体画像データ内に立体画像であることを示す識別情報を持つと共に、立体表示した場合にも観察の妨げにならないようにする画像処理装置を提供することを目的とする。

本発明の画像処理装置は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、
前記立体画像データは前記立体画像識別情報を含み、
前記立体画像識別情報は、前記立体画像データを立体視可能な表示装置で表示する際に、互いに融像するように配置されることを特徴とする。

また、前記立体画像情報は、前記立体画像データ内の２ヶ所以上に配置されることを特徴とする。

また、前記立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段を更に備えることを特徴とする。

また、前記立体画像データ内に注目画像領域を設定する注目画像領域設定手段を更に備え、前記配置位置決定手段は、前記立体画像識別情報を前記立体画像データ内における前記注目画像領域よりも外側に配置することを特徴とする。

また、画像を表示する画像表示手段を更に備え、前記配置位置決定手段によって配置される予定の位置に前記立体画像識別情報を配置した状態の画像を前記画像表示手段に表示しつつ、前記配置位置決定手段は前記立体画像識別情報の配置位置を指示する配置位置確定情報に従って立体画像識別情報の配置位置を決定することを特徴とする。
また、前記配置位置決定手段は、前記配置位置確定情報に従って配置位置を確定する際、前記立体画像識別情報が配置される予定位置を可変し得るように構成されることを特徴とする。

また、前記立体画像データの任意の領域の奥行き再生位置を推定する再生位置推定手段をさらに備え、
前記配置位置決定手段は、再生位置推定手段の推定結果に基づいて領域を選択し、前記立体画像識別情報の配置位置を決定することを特徴とする。
また、前記配置位置決定手段は、前記再生位置推定手段によって画面より奥に立体画像が再生されると推定された領域に前記立体画像識別情報の配置位置を決定することを特徴とする。

本発明の画像処理装置は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、
前記立体画像データは前記立体画像識別情報を含み、
前記立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段と、
前記立体画像データ内に注目画像領域を設定する注目画像領域設定手段と、
を更に備え、
前記配置位置決定手段は、前記立体画像識別情報を前記立体画像データ内における前記注目画像領域よりも外側に配置することを特徴とする。
また、前記立体画像識別情報は、前記立体画像データの水平方向の大きさＨ、垂直方向の大きさＶに対して、立体画像データの中心から水平方向に対して（４／３）×Ｖ／２以下、垂直方向に対して（２／３）×Ｈ／２以下の範囲内に配置されることを特徴とする。
本発明の画像処理装置は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、
前記立体画像データは前記立体画像識別情報を含み、
前記立体画像識別情報は、前記立体画像データの水平方向の大きさＨ、垂直方向の大きさＶに対して、立体画像データの中心から水平方向に対して（４／３）×Ｖ／２以下、垂直方向に対して（２／３）×Ｈ／２以下の範囲内に配置されることを特徴とする。

本発明の画像処理装置によれば、複数視点の各々に対応した複数の画像から構成される立体画像データは、立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、立体画像の表示時に画像として視認可能である立体画像識別情報を含むことにより、立体視に対応しない２次元表示の表示装置で観察しても、立体視向けの画像であることを識別することが可能となる。

また、立体画像識別情報を立体画像データの２ヶ所以上に配置することにより、画像をトリミングした場合に識別情報が切り取られてしまう可能性を低減することが出来る。

また、立体画像データを立体視可能な表示装置で表示する際に、立体画像識別情報が互いに融像するように配置することで、立体視した場合に立体画像識別情報が立体的に見える為、識別情報が立体視の妨げとなるのを防ぐことが可能となる。

また、立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段を更に備えることにより、画像の撮影者や作成者が画像に応じて識別情報の配置を選択することが可能となり、立体視させたい被写体の妨げにならない位置を自由に選択できる。

また、立体画像データ内に注目画像領域を設定する注目画像領域設定手段を更に備え、立体画像識別情報を立体画像データ内における注目画像領域よりも外側に配置することにより、製作者が立体視させたい部分として設定した注目画像領域に識別情報が表示されるのを防ぐことができる。

また、画像を表示する画像表示手段を更に備え、前記配置位置決定手段によって配置される予定の位置に前記立体画像識別情報を配置した状態の画像を画像表示手段に表示し、前記配置位置決定手段は、前記立体画像識別情報の配置位置を指示する配置位置確定情報に従って立体画像識別情報の配置位置を決定することにより、識別情報配置後の画像の様子を表示手段により確認しながら配置位置を決定することが出来る。

また、前記配置位置決定手段は、前記配置位置確定情報に従って配置位置を確定する際、前記立体画像識別情報が配置される予定位置を可変し得るように構成されることにより、作成者が識別マークを任意の位置に配置することを可能にすると共に、注目画像領域内や画像の外側等の不適切な位置に配置しようとした際、適切な位置に配置位置を変えることができる。

また、前記立体画像データの任意の領域の奥行き再生位置を推定する再生位置推定手段をさらに備え、前記配置位置決定手段は、再生位置推定手段の推定結果に基づいて領域を選択し、前記立体画像識別情報の配置位置を決定することにより、前記立体画像識別情報とその配置位置周囲の画像の奥行き再生位置が互いに大きく異なることに起因する観察時の違和感を軽減することが出来る。

また、前記配置位置決定手段は、前記再生位置推定手段によって画面より奥に立体画像が再生されると推定された領域に前記立体画像識別情報の配置位置を決定することにより、特に違和感の大きい、立体画像が表示装置の画面上よりも手前側に再生される領域に識別情報が配置されることによって識別情報だけが沈んで見えるような立体画像データが生成されることを防ぐことが出来る。

また、立体画像識別情報を、立体画像データの水平方向の大きさＨ、垂直方向の大きさＶに対して、立体画像データの中心から水平方向に対して（４／３）×Ｖ／２以下、垂直方向に対して（２／３）×Ｈ／２以下の範囲内に配置することにより、印刷時に立体画像識別情報が切り取られてしまう可能性を低減することが可能となる。

（実施形態１）
本発明の実施形態について、図面を参照しながら説明する。以下では、「３Ｄ」を３次元または立体、「２Ｄ」を２次元を意味する語として用い、立体画像を「３Ｄ画像」、通常の２次元画像を「２Ｄ画像」として説明を行なう。

図１は、本発明の実施形態１の画像処理装置の構成を示すブロック図である。
画像処理装置１００は、立体画像であること、及び立体画像の作成方法を示す画像識別情報と、画像識別情報を視覚的に表す識別マークの配置位置に関する情報などの３Ｄ情報を出力する制御手段１０１と、識別マークを作成する３Ｄ情報作成手段１０２と、左眼画像と右眼画像、及び３Ｄ情報作成手段１０２によって作成された識別マークを統合する画像統合手段１０３と、統合した画像を符号化する符号化手段１０４と、画像データと３Ｄ情報を多重化して出力する多重化手段１０５と、記録媒体や通信回線にアクセスする手段とを備えて構成される。

左眼画像と右眼画像からなる画像信号が、画像処理装置１００に入力される。制御手段１０１は、立体画像であること、及びどのような作成方法であるかを指定すると共に、後に作成される識別マークを配置する位置を指定する。制御手段１０１は、立体画像であることを示す情報と立体画像の作成方法を示す情報とを含む画像識別情報と、さらに画像識別情報の配置位置に関する情報などを含む３Ｄ情報を、３Ｄ情報作成手段１０２と多重化手段１０５へ送る。

３Ｄ情報作成手段１０２は、画像識別情報を基に、立体画像であることと作成方法を視覚的に表す識別マークを作成し、識別マークの配置位置情報とともに画像統合手段１０３へと送る。画像統合手段１０３は、左眼の視点位置から見た画像である左眼画像と、右眼からの画像である右眼画像、及び配置位置情報に基づいて識別マークを統合し、指定された形式の画像データを作成する。ここで、画像統合手段により作成された画像データの具体例を図２に示す。図２において、向かって左側に配置された画像Ｌが左眼画像であり、右の画像Ｒが右眼画像である。

立体画像内の「３Ｄ Ｐａｒａｌｌｅｌ」と表示されている部分が識別マークを示す。「３Ｄ」により、立体画像であることを、「Ｐａｒａｌｌｅｌ」によりこの画像が平行法によって作成されたことを示している。立体画像であることを示す文字列としては、「３Ｄ」の他、「Ｓｔｅｒｅｏ」、「Ｓｔｅｒｅｏ Ｐｈｏｔｏｇｒａｐｈ」といった物や、「Ｓｔｅｒｅｏ Ｉｍａｇｅ」などでもよい。また作成方法の区別を示す文字列としては、交差法であれば「Ｃｒｏｓｓｉｎｇ」などと表示すればよく、より簡単に平行法を「Ｐ」、交差法を「Ｃ」と表してもよい。また、文字以外にも平行法を「｜｜」、交差法を「×」といった記号で表してもよい。

このような識別マークを統合することにより、２Ｄディスプレイで表示した際に、すぐに３Ｄ用の画像であることが判断可能となる。また作成方式が明確になる事で、２Ｄのディスプレイで表示した上記立体画像を裸眼によって立体視する際に、立体視しやすいという利点がある。立体視する場合、平行法であれば左眼で左側に配置された画像を、右眼で右側に配置された画像を見る必要があり、交差法であれば左眼で右側に配置された画像を、右眼で左側に配置された画像を見る必要があるが、画像の作成方法が明確になる事で、どちらの見方をすればよいかすぐに判別することが可能となる。

立体画像における識別マークの配置方法としては、様々なパターンがある。制御手段１０１はあらかじめ決められた方法に従って識別マークを配置する位置を決定する。図３、図４にその例を示す。図３の（ａ）は、画像の中央付近に識別マークを配置した例であり、図３（ｂ）は立体画像上の上下端いずれかの辺近傍の中央付近に位置する場合の例として、画像中央上部に配置した例である。図示していないが、画像中央下部に配置してもよい。また、図３（ｃ）は立体画像上の何れかの角に位置する場合の例として画像左上部に、図３（ｄ）は左右端いずれかの辺近傍の中央付近に位置する場合の例として、画像右端部に配置した図である。図示していないが、画像左下、右上、右下でもよく、画像左端部に配置してもよい。

また、図３（ｅ）は立体画像上の上端と右端の各中央付近に配置した例であり、図３（ｆ）は下端と左端の各中央付近に配置した例である。図示していないが、上端と左端、下端と右端でもよい。ここでは２ヶ所にマークを配置した例を挙げたが、このように、立体画像上の２ヶ所以上にマークを配置することにより、画像編集等でトリミングが施され、上下端、あるいは左右端が切り取られた場合であっても、どちらかのマークが残ることになり、３Ｄ画像であることが判別可能となる。

図４は左右それぞれに識別マークを配置した例である。図３の配置では、３Ｄ対応ディスプレイで表示した際に、識別マークは立体画像としての再現条件を満たしていないため正常な画像として観察できず違和感が生じる。そのため、図４に示すように左右画像のほぼ同じ位置に作成条件に従ってそれぞれ視差を持たせた位置に識別マークを配置することにより、立体視した際にマークを互いに融像させ、正しく立体視できるようにする。図４（ａ）は、立体画像上の上下端いずれかの辺近傍にあって左右融像するように識別マークを配置した例として、左右画像の下端に配置した図である。図示していないが上端でもよい。

また、図４（ｂ）は立体画像上の各視点画像左端同士、もしくは右端同士にあって左右融像するように配置した場合の例であり、各視点画像の左端に配置した例である。図示していないが、各視点画像の右端であってもよい。図４（ｃ）は、立体画像上に左右融像するように各視点画像に２ヶ所ずつ配置した場合の例であり、左端と下端に配置している。図示していないが、左端と上端、右端と下端、右端と上端に配置してもよい。

以上のように、いくつかの配置方法があるが、これらの画像を３Ｄ非対応機器でプリントアウトした場合、用紙サイズによってはトリミングされマークが消えてしまうことがある。そのため、マークが切り取られるのを防ぐためにマークを下記の範囲内に配置する。

画像および印画紙のアスペクト比はおよそ４：３、あるいは３：２が一般的なサイズである。そのため、３：２の画像を４：３の印画紙に出力して左右端が切り取られる、あるいは４：３の画像を３：２の印画紙に出力して上下端が切り取られるケースがあり得る。この時にマークが切り取られない為の条件を、図５を基に示す。図５において、実線で描かれた外側の部分が立体画像の範囲を表し、点線で囲まれた部分は出力される印画紙のサイズとする。図５（ａ）は、３：２の画像を４：３の印画紙に出力する場合であり、立体画像における縦の長さをＶ、横の長さをＨ、印画紙の横の長さをＨ’とする。印画紙のサイズよりＨ’：Ｖ＝４：３であることから、Ｈ’＝（４／３）×Ｖとなる。そのため、識別マークを配置する範囲をＨ_MARKとすると、画像の中心より
Ｈ_MARK≦（４／３）×Ｖ／２
の範囲内に配置することにより、印刷時にトリミングされ切り取られるのを防ぐことができる。

また、図５（ｂ）は、４：３の画像を３：２の印画紙に出力する場合であり、先ほど同様、立体画像の縦の長さをＶ、横の長さをＨ、印画紙の縦の長さをＶ’とすると、Ｈ：Ｖ’＝３：２であることから、Ｖ’＝（２／３）×Ｈとなる。そのため、識別マークを配置する垂直方向の範囲をＶ_MARKとすると、画像の中心より
Ｖ_MARK≦（２／３）×Ｈ／２
の範囲内に配置することにより、印刷時にトリミングされ切り取られるのを防ぐことができる。以上の範囲内で、図３，４に示すような位置にマークを配置することとなる。

このような制限に従って識別マークを配置した立体画像の例を図６に示す。画像サイズが４：３の場合である。図３（ｅ）で示したように、上端と右端に識別マークを配置する場合、上端に配置するマークは、３：２の印画紙に印刷する場合にもトリミングされて切り取られるのを防ぐために、図６に示すように画像の中心からＶ_MARKよりも短い範囲を示すグレーで表された範囲に配置する。

符号化手段１０４は、画像統合手段１０３で作成された画像データを符号化し、符号化データを作成する。符号化方法としては、静止画に対してはＪＰＥＧ，ＪＰＥＧ２０００などの国際標準方式があげられる。ここでは静止画を例にとっているが、動画像であってもよく、動画像の場合画像信号は連続したフレームから構成され、1フレームごとに画像処理装置に入力される。動画像に対してはＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などの国際標準方式があげられる。動画像の符号化としてフレーム内符号化のみを用いる場合は、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Experts Group）などの方式を用いてもよい。画像符号化方式としては、上記に限らず非標準の方式を用いてもよいし、圧縮を行わなくてもよい。

多重化手段１０５は、制御手段１０１からの３Ｄ情報と符号化手段１０４からの符号化データを所定のフォーマットに変換して外部に出力する。図１には図示されていないが、音声やテキストを多重化する場合は、それらのデータも多重化手段１０５にて多重化される。

多重化手段１０５の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮモデムなどの通信デバイスが接続される。ここで、多重化手段１０５にＩＣメモリが接続されていた場合の記録フォーマットについて説明を行う。一般にＩＣメモリを記録媒体に使用する場合には、ＩＣメモリ上にＦＡＴ（File Allocation Table）などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は既存の形式を使用してもよいし、独自形式であってもよい。既存の形式を使用する場合、３Ｄ情報は一般に既存の形式に用意されているヘッダを拡張する仕組みを用いて、既存ファイルヘッダの一部として記録されるものとする。この時の例を図７に示す。図７の（ａ）に示すように、ヘッダ部分に３Ｄ情報が記録される。図７の（ｂ）に示すように、３Ｄ情報は識別情報、配置方法の他、視点数などの情報を含む。

既存の形式を使用する場合には、その形式に応じた拡張子を使用する。ＪＰＥＧファイルであれば「．ｊｐｇ」という拡張子を用いる。これにより、３Ｄ画像の表示機能を持たない従来の再生装置でも既存の形式のファイルとして認識し、２次元画像として表示可能となり、この時識別マークが表示されることにより、立体画像であることが判別可能となる。

（実施形態２）
本発明の実施形態について、図面を参照しながら説明する。図８は、本発明の実施形態２の画像処理装置の構成を示すブロック図である。

画像処理装置２００は、立体画像であること、及び立体画像の作成方法を示す画像識別情報と、画像識別情報を視覚的に表す識別マークの配置位置に関する情報とを含む３Ｄ情報を出力する制御手段１０１と、識別マークの配置位置を決定する位置決定手段２０１と、立体視させたい領域を決定する注目画像領域決定手段２０２と、識別マークを作成する３Ｄ情報作成手段１０２と、左眼画像と右眼画像、及び３Ｄ情報作成手段１０２によって作成された識別マークを統合する画像統合手段１０３と、統合した画像を符号化する符号化手段１０４と、画像データと３Ｄ情報を多重化して出力する多重化手段１０５と、記録媒体や通信回線にアクセスする手段とを備えて構成される。

左眼画像と右眼画像からなる画像信号が、画像処理装置に入力される。立体画像の撮影者、あるいは画像の作成者は、あらかじめ位置決定手段２０１により、立体画像であること、及びどのような作成方法であるかを示す識別マークを表示する位置を決定し、制御手段１０１へと送る。また、３Ｄ注目画像領域を設定する場合には、注目画像領域決定手段２０２により領域を指定し、制御手段１０１へと送る。識別マークの詳細、配置位置及び３Ｄ注目画像領域については後述する。制御手段１０１は、立体画像である情報と作成方法に関する情報を含む画像識別情報と配置位置に関する情報を含む３Ｄ情報を、３Ｄ情報作成手段１０２と多重化手段１０５へ送る。

３Ｄ情報作成手段１０２は、画像識別情報を基に、立体画像であることと作成方法とを視覚的に表す識別マークを作成し、識別マークの配置位置に関する情報とともに画像統合手段１０３へと送る。画像統合手段１０３は、左眼の視点位置から見た画像である左眼画像と、右眼からの画像である右眼画像と共に、識別マークを配置位置情報に基づいて統合し、指定された形式の画像データを作成する。

ここで、画像統合手段１０３により作成された立体画像の具体例を図９に示す。図９において、向かって左側に配置された画像Ｌが左眼画像であり、画像Ｒが右眼画像である。立体画像下部に、グレーで描かれた帯状の部分が識別マークである。識別マークで表示される情報は、図２の場合と同様、３Ｄ画像であることと作成方法に関する情報である。ここでの識別マークは色記号によって表されており、帯状の部分の色により立体画像であることを、上向き三角の印の色によって作成方法を規定する。例として、帯状部分の色を１８％グレーに、作成方法を示す三角の色は青で平行法、黄色で交差法を表すとすることで判別が可能となる。マークを色記号で表現すると、あらかじめ色の意味を知っていないと判別できず、文字列で表現したほうが明確で判別しやすいという利点があるが、一方色記号マークには色さえ判断できれば良い為、マークの専有面積を少なくすることが出来るという利点がある。

立体画像における識別マークの配置位置は、位置決定手段２０１を通して撮影者や作成者が任意の位置に設定することが可能である。その例を示したものが図１０である。図１０（ａ）は、立体画像の中央部分に配置した例である。また、図１０（ｂ）は、立体画像上の各視点画像の左端同士、もしくは右端同士にあって、左右融像する位置に配置した場合の例であり、左端に配置した場合を示している。図示していないが、右端同士でもよい。図１０（ｃ）は、立体画像上の左右視点画像それぞれの外周部分を囲み、左右融像可能なように位置した場合の図である。これらの中から、画像の構図に合わせて自由に選択することとなる。

また、図１０に示した例以外に、識別マークを３Ｄ注目画像領域外におく方法がある。図１１、１２にこの例を示す。３Ｄ注目画像領域とは、作成者が立体視させたい画像領域である。画像の作成者は、注目画像領域決定手段２０２により、３Ｄ注目画像領域を設定する。画像編集ソフトウェア等により左右視点の画像を作成したとすると、それを元にあらかじめ３Ｄ注目画像領域を決め、注目画像領域決定手段２０２によって設定する。例えば図１１（ａ）において、左右の画像を統合した画像上で、作成者が点線で囲まれた部分を立体視させたいとすると、この点線部分を３Ｄ注目画像領域として設定し、図１１（ｂ）に示すように、この外側に識別マークを配置することとなる。また、図１１では３Ｄ注目画像領域を左右の立体画像内に設定しており、識別マーク配置後の画像サイズは変化しない。例えば、立体画像を構成する左右画像がそれぞれ５１２×７６８であり、統合後のサイズが１０２４×７６８のいわゆるＸＧＡのサイズであったとすると、識別マークはこの画像サイズ内に配置され、最終的な立体画像のサイズも１０２４×７６８となる。

一方、左右画像を統合して出来る画像全てを表示したい場合には、３Ｄ注目画像領域を左右画像を統合した領域全体とし、その外側に画像サイズを大きくして識別マークを配置する。例えば、左右画像がそれぞれ３２０×４８０のサイズであり、この全てを立体視させたいとした場合、左右画像を統合した６４０×４８０の領域が３Ｄ注目画像領域となる。この場合、識別マークはその外側に配置されることになる。図１２（ａ）に示すように、上端に横長の帯状マークを配置する場合、帯状マークのサイズが６４０×６０であったとすると、左右画像を統合した３Ｄ注目画像領域の上側に帯状マークを配置することで、立体画像は最終的に６４０×５４０というサイズとなる。

このように、３Ｄ注目画像領域外に識別マークを配置することにより、通常の２Ｄディスプレイでこの画像を表示した際には、識別マークにより立体画像であることを示すことで混乱を防ぐことが可能となり、３Ｄディスプレイで表示した際には、識別マークは３Ｄ注目領域外にあることから、この部分を表示しないことにより、識別マークを表示する事無く、立体視させたい部分だけを表示することが可能となる。図１２（ａ）以外にも、図１２（ｂ）に示すように、立体画像上の上下端に横長の帯状マークを３Ｄ注目画像領域外においてもよい。また、図１２（ｃ）は立体画像上の左右端に縦長の帯状マークを３Ｄ注目画像領域外においた図であり、図１２（ｄ）は立体画像上の外周部分を囲む帯状マークを３Ｄ注目画像領域外においた図である。

符号化手段１０４は、画像統合手段１０３で作成された画像データを符号化し、符号化データを作成する。符号化方法は、実施形態１と同様ＪＰＥＧなどの国際標準方式があげられる。上記に限らず非標準の方式を用いてもよいし、圧縮を行わなくてもよい。

多重化手段１０５は、制御手段１０１からの３Ｄ情報と符号化手段１０４からの符号化データを所定のフォーマットに変換して外部に出力する。

多重化手段１０５の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮモデムなどの通信デバイスが接続される。例えば、ハードディスクが接続されていたとすると、ＪＰＥＧ形式であればデータは「．ｊｐｇ」という拡張子で記録される。３Ｄ情報は一般に既存の形式に用意されているヘッダを拡張する仕組みを用いて、既存ファイルヘッダの一部として記録され、３Ｄ情報は識別情報、配置方法の他、視点数、３Ｄ注目画像領域の範囲などの情報を含む。

このようにして記録された多重化データを再生する画像再生装置について図１３を用いて説明する。画像再生装置５００で再生する場合、多重化データは逆多重化手段５０１によって３Ｄ情報と符号化データとに分けられ、３Ｄ情報は３Ｄ情報解析手段５０２によって解析され、識別マークの配置位置や３Ｄ注目画像領域に関する情報が画像変換手段５０４へ送られる。符号化データは復号手段５０３によって復号され、画像データが画像変換手段５０４に送られる。そして、再生装置が３Ｄディスプレイであれば、３Ｄ注目画像領域だけを立体的に表示してもよい。図１４は３次元映像を２Ｄディスプレイと３Ｄディスプレイで表示した場合の例を示しており、図１４（ａ）は２Ｄディスプレイで表示した場合を、図１４（ｂ）は３Ｄディスプレイで表示した場合に表示される立体画像のイメージを示している。この図１４（ｂ）で示すように、再生装置側で前記３Ｄ注目画像領域を検出し注目画像領域外を非表示とすることで、立体視する際に識別情報が表示されることがなくなり、立体視したい部分だけを観察することが可能となる。

なお図９において、識別マークの色や形についてはここに挙げたものだけでなく、例えば立体画像であることを帯状でなくとも図２に示したようなマークであってもよく、色もグレー以外に青などで規定してもよい。また、帯状部分や色記号に関して、色を塗りつぶして表す例を挙げているが、背後の画像を透過するようにしてもよい。作成方法を示す図形についても三角に限らず円や四角でもよく、平行法を赤、交差法を緑といったように別の色で規定してもよい。立体画像であることを示す色と作成方法を示す色が互いに判別しやすい組み合わせであればよい。また、図１２の例は左右画像を統合して出来る画像をすべて表示するために、左右画像全体が３Ｄ注目画像領域となるように３Ｄ注目画像領域を設定すると共にその外側に識別マークを配置しているが、一方、生成される画像データのサイズが大きくならないようにするために、注目画像領域を左右画像全体に設定しつつその内側に識別マークを配置するようにしても良い。

また、識別マークの配置に関しては、図１０、あるいは実施形態１に示した例からあらかじめ位置を選択しておく方法の他に、位置決定手段２０１によって自動で配置位置を決定する方法もある。図１５はそのような構成の画像処理装置のブロック図を示している。位置決定手段２０１は、識別マークの配置位置の候補として図１０や実施形態１で示した配置例の中から優先順位をつけて保持しておき、立体画像の内容に応じて最適な配置位置を選択する。

その際、立体視する際に識別マーク自体も正しく立体視できるようにするために、図４や図１０（ｂ）および（ｃ）に示すような、識別マークが左右互いに融像する配置を選択する。この時、識別マークは左右の画像の画面の枠に対して相対的に同じ位置に配置することとすれば、立体視した場合、識別マークは視差を持たない為に、再生（表示）される奥行き方向の位置が表示画面上と同じ位置に来ることとなる。

この時、もし識別マークの周囲の画像に視差が存在し、立体画像が表示画面上の位置よりも手前に浮き出て見える場合、識別マークだけが表示画面上の位置に来る為、周囲の画像にめり込んだように見えて不自然になる。そのため、図１５に示す再生位置推定手段２０３により、左右の画像に関して画素ごとの値の比較を行い、左右画像の対応点を検出し、立体視した場合に画像が再生される位置である奥行き再生位置を推定する。

この推定により、あらかじめ保持する優先順位に従い、識別マークを配置する候補位置における立体画像の奥行き再生位置を取得し、立体画像の再生位置が表示画面上より手前に来なければ、そこを識別マークの配置位置とする。優先順位を保持しなくても、各配置位置の候補における奥行き再生位置を取得し、その中で立体画像の奥行き再生位置が最も画面上に近い位置になる領域に識別マークを配置しても良い。

（実施形態３）
本発明の実施形態について、図面を参照しながら説明する。図１６は、本発明の実施形態３の画像処理装置の構成を示すブロック図である。

画像処理装置３００は、立体画像であること、及び立体画像の作成方法を示す画像識別情報と、画像識別情報を視覚的に表す識別マークの配置位置に関する情報などの３Ｄ情報を出力する制御手段１０１と、識別マークの配置位置を決定する位置決定手段２０１と、立体視させたい画像領域を決定する注目画像領域決定手段２０２と、識別マークを作成する３Ｄ情報作成手段１０２と、複数視点の画像、及び３Ｄ情報作成手段１０２によって作成された識別マークを統合する画像統合手段１０３と、統合した画像をプレビューし、画像の作成者が立体画像を確認する為の画像表示手段３０１と、統合した画像を符号化する符号化手段１０４と、記録媒体や通信回線にアクセスする手段を備え画像データと画像識別情報を多重化して出力する多重化手段１０５とから構成される。

左眼画像と右眼画像からなる画像信号が、画像処理装置に入力される。立体画像の撮影者あるいは作成者は、あらかじめ位置決定手段２０１により、立体画像であること、及びどのような作成方法であるかを示す識別マークを表示する位置候補を、位置入力手段を用いて情報を入力することにより決定し、制御手段１０１へと送る。位置入力手段は図示されていないが、画像処理装置３００に接続され、マウスやキーボード等といった公知の入力手段で構成され、その入力情報は位置決定手段２０１へ送られる。注目画像領域決定手段２０２は注目画像領域を指定し、制御手段１０１へ送る。制御手段１０１は、立体画像である情報と立体画像の作成方法に関する情報を含む画像識別情報と配置位置に関する情報を含む３Ｄ情報を、３Ｄ情報作成手段１０２と多重化手段１０５へ送る。

３Ｄ情報作成手段１０２は、画像識別情報を基に、立体画像であることと立体画像の作成方法を視覚的に表す識別マークを作成し、識別マークの配置位置情報とともに画像統合手段１０３へと送る。画像統合手段１０３は、複数の視点位置から見た画像と共に、識別マークを配置位置情報に基づいて統合した画像データを作成する。この時、画像統合手段１０３は立体画像を画像表示手段３０１へと送る。画像表示手段３０１は、送られてきた立体画像を表示し、画像の作成者は立体画像を確認しながら、マウス等の位置入力手段を使用して、位置決定手段２０１を通して識別マークの配置位置候補を修正する。修正があった場合、３Ｄ情報作成手段１０２、画像統合手段１０３を通して、再度画像表示手段３０１により確認する。配置位置が決定したら、位置入力手段により配置位置確定情報を位置決定手段２０１へと送ると、前記配置位置確定情報に従って識別マークの配置位置が確定され、統合された画像データが符号化手段１０４へ送られることとなる。

これにより、立体画像上で識別マークがどのように配置されるかを確認しながら、画像に合わせて適切な位置を設定することが可能となる。また、画像表示手段３０１が、２Ｄ表示と３Ｄ表示の両方に対応したディスプレイであれば、３Ｄ表示に切り替えることにより、立体視した場合にどのような画像となるかも確認することが可能である。２Ｄと３Ｄの表示に対応した表示装置としては、パララクスバリア方式で、バリアを液晶により実現し、３Ｄ表示の際にはバリアにより左右眼にそれぞれ左眼画像、右眼画像に対応した光だけが届くよう制御し、２Ｄ表示では全ての光を透過する方式などがある。

また、この時立体画像を確認しながら３Ｄ注目画像領域の設定も行うことが出来る。画像表示手段３０１を見ながら、３Ｄ注目画像領域の設定を行う事で、カメラなどによって立体画像を作成する場合にも３Ｄ注目画像領域を設定することが出来、この領域の外側に識別マークを配置する事で、３Ｄディスプレイで表示する際に、識別マークを表示しないようにすることが出来る。この時の識別マークの配置手順は、本画像処理装置３００に接続される図示しないマウスなどの公知の位置入力手段を用いて作成者が識別マークの配置される予定位置を指定すると、その情報が位置決定手段２０１へと入力され、位置決定手段２０１からその情報を受け取った制御手段１０１は、３Ｄ情報作成手段１０２へと位置情報を送り、画像統合手段１０３を通し、作成者の指定した位置に識別マークが配置された状態の画像を表示手段３０１に表示する。

この時当然ながら、使用者による予定位置の指定は前述の３Ｄ注目画像領域外にのみ制限されており、注目画像領域内に指定がなされた時は、配置可能範囲内の最近傍位置が代替的に選ばれたり、配置不能の警告が行われたり、適当な処置がとられる。そして、使用者が予定位置を可変選択しつつ、妥当と判断した時点で前述のマウスなど適当な入力手段を用いて決定の入力操作を行うことで、配置位置確定情報が位置決定手段２０１に送られ、位置決定手段２０１は配置を確定させる。

立体画像における識別マークの種類や配置位置は、実施形態１、２で説明したようなさまざまな方法があり、画像の撮影者、作成者が立体画像を確認しながら、任意に決めることが出来る。

符号化手段１０４は、画像統合手段１０３で作成された画像データを符号化し、符号化データを作成する。符号化方法は、実施形態１と同様ＪＰＥＧなどの国際標準方式があげられる。上記に限らず非標準の方式を用いてもよいし、圧縮を行わなくてもよい。

多重化手段１０５は、制御手段１０１からの３Ｄ情報と符号化手段１０４からの符号化データを所定のフォーマットに変換して外部に出力する。

多重化手段１０５の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮモデムなどの通信デバイスが接続される。例えば、ＪＰＥＧ形式であればデータはハードディスクに「．ｊｐｇ」という拡張子で記録される。３Ｄ情報は一般に既存の形式に用意されているヘッダを拡張する仕組みを用いて、既存ファイルヘッダの一部として記録され、３Ｄ情報は識別情報、配置方法の他、視点数、３Ｄ注目画像領域の範囲などの情報を含む。

なお、図１６において画像表示手段３０１は画像処理装置３００に含まれるものとして説明したが、画像処理装置３００に含まれず外部に接続されることとしてもよいことは勿論である。

また、ここでは画像表示手段３０１で画像を確認する際、都度３Ｄ情報作成手段１０２、画像統合手段１０３を経由することとして説明したが、配置位置確定情報により配置位置が確定するまでは、画像統合手段１０３を経由させず、３Ｄ情報作成手段１０２からの情報を画像表示手段３０１に送り、画像表示手段３０１で単に識別マークを重ねて表示するだけでも良い。また、３Ｄ情報作成手段１０２は最初の配置時のみ経由し、それ以降配置位置確定情報により配置位置が確定するまでは制御手段１０１より識別マークの位置情報のみが送られ、識別マークの位置だけを画像表示手段３０１で変更するようにしても良い。その後、配置位置確定情報に従って位置決定手段２０１が配置位置を決定すると、制御手段１０１、３Ｄ情報作成手段１０２、画像統合手段１０３により統合画像を作成する。

また、ここでは識別マークの配置の際、配置する位置は前述の３Ｄ注目画像領域外にのみ制限し、３Ｄ注目画像領域内に配置しようとした場合に警告や自動での位置変更を行うとしたが、３Ｄ注目画像領域を設定していない場合で、立体画像から識別マークがはみ出る位置に配置しようとした場合や、実施形態１で示した識別マーク配置範囲の条件であるＨ_MARKおよびＶ_MARKを満たさないような配置をしようとした場合に、同様の警告や位置変更を行っても良い。

また、本実施形態で示した画像表示手段３０１は、実施形態２の図１５で示した構成の画像処理装置にも適用可能であり、再生位置推定手段を用いて自動で識別マーク配置位置を決定する構成の場合に、画像表示手段３０１を備え、識別マークの位置を画像表示手段を用いて確認してから決定できるようにしても良い。

また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の実施形態１の画像処理装置の構成を示すブロック図である。 立体画像データの一例を示す図である。 立体画像データにおける識別マークの配置に関する一例を示す図である。 立体画像データにおける識別マークの配置に関する一例を示す図である。 立体画像データにおける識別マークの配置制限を示す図である。 立体画像データにおける、識別マークを配置制限範囲に配置した時の一例を示す図である。 ファイル形式と３Ｄ情報について説明するための図である。 本発明の実施形態２の画像処理装置を示すブロック図である。 立体画像データにおける識別マークの表現に関する一例を示す図である。 立体画像データにおける識別マークの配置に関する一例を示す図である。 ３Ｄ注目画像領域を設定した場合の識別マークの配置に関する説明の図である。 立体画像データにおける識別マークの配置に関する一例を示す図である。 画像再生装置を示すブロック図である。 ２Ｄディスプレイと３Ｄディスプレイでの表示画像を示す図である。 本発明の実施形態２における画像処理装置の変形例を示すブロック図である。 本発明の実施形態３の画像処理装置を示すブロック図である。 時分割方式を説明するための概念図である。 パララクスバリア方式を説明するための概念図である。 パララクスバリア方式の記録データ形式を説明する図である。

符号の説明

１００、２００、３００ 画像処理装置
１０１ 制御手段
１０２ ３Ｄ情報作成手段
１０３ 画像統合手段
１０４ 符号化手段
１０５ 多重化手段
２０１ 位置決定手段
２０２ 注目画像領域決定手段
２０３ 再生位置推定手段
３０１ 画像表示手段
５００ 画像再生装置
５０１ 逆多重化手段
５０２ ３Ｄ情報解析手段
５０３ 復号手段
５０４ 画像変換手段
６００ 画像表示パネル
６０１ パララクスバリア
６０２ 右眼
６０３ 左眼

Claims (11)

1. 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
   立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、
   前記立体画像データは前記立体画像識別情報を含み、
   前記立体画像識別情報は、前記立体画像データを立体視可能な表示装置で表示する際に、互いに融像するように配置されることを特徴とする画像処理装置。
2. 前記立体画像識別情報は、前記立体画像データ内の２ヶ所以上に配置されることを特徴とする請求項１に記載の画像処理装置。
3. 前記立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記立体画像データ内に注目画像領域を設定する注目画像領域設定手段を更に備え、前記配置位置決定手段は、前記立体画像識別情報を前記立体画像データ内における前記注目画像領域よりも外側に配置することを特徴とする請求項３に記載の画像処理装置。
5. 画像を表示する画像表示手段を更に備え、前記配置位置決定手段によって配置される予定の位置に前記立体画像識別情報を配置した状態の画像を前記画像表示手段に表示しつつ、前記配置位置決定手段は前記立体画像識別情報の配置位置を指示する配置位置確定情報に従って前記立体画像識別情報の配置位置を決定することを特徴とする請求項３に記載の画像処理装置。
6. 前記配置位置決定手段は、前記配置位置確定情報に従って配置位置を確定する際、前記立体画像識別情報が配置される予定位置を可変し得るように構成されることを特徴とする請求項５に記載の画像処理装置。
7. 前記立体画像データの任意の領域の奥行き再生位置を推定する再生位置推定手段をさらに備え、
   前記配置位置決定手段は、再生位置推定手段の推定結果に基づいて領域を選択し、前記立体画像識別情報の配置位置を決定することを特徴とする、請求項３に記載の画像処理装置。
8. 前記配置位置決定手段は、前記再生位置推定手段によって画面より奥に立体画像が再生されると推定された領域に前記立体画像識別情報の配置位置を決定することを特徴とする、請求項７に記載の画像処理装置。
9. 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
   立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、
   前記立体画像データは前記立体画像識別情報を含み、
   前記立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段と、
   前記立体画像データ内に注目画像領域を設定する注目画像領域設定手段と、
   を更に備え、
   前記配置位置決定手段は、前記立体画像識別情報を前記立体画像データ内における前記注目画像領域よりも外側に配置することを特徴とする画像処理装置。
10. 前記立体画像識別情報は、前記立体画像データの水平方向の大きさＨ、垂直方向の大きさＶに対して、立体画像データの中心から水平方向に対して（４／３）×Ｖ／２以下、垂直方向に対して（２／３）×Ｈ／２以下の範囲内に配置されることを特徴とする請求項１から９の何れか一項に記載の画像処理装置。
11. 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、
    立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、
    前記立体画像データは前記立体画像識別情報を含み、
    前記立体画像識別情報は、前記立体画像データの水平方向の大きさＨ、垂直方向の大きさＶに対して、立体画像データの中心から水平方向に対して（４／３）×Ｖ／２以下、垂直方向に対して（２／３）×Ｈ／２以下の範囲内に配置されることを特徴とする画像処理装置。

Images