JP2012023589A - 立体画像処理装置、立体画像撮影装置、立体画像表示装置、及び立体画像処理方法 - Google Patents

Abstract

【課題】立体画像を用いて立体視を行う際に、平面状の被写体に歪みが生じることを防ぎ、かつ人物などの衣服の部分は適切に立体的に見えるようにする。
【解決手段】立体画像処理装置１０は、人物情報検出部１２と、矩形化処理部１３とを備えている。人物情報検出部１２には、立体画像１５ａから人物の衣服に対応する部分を衣服領域として検出する衣服領域検出部２３が設けられている。矩形化処理部１３は、平面状の被写体である可能性が高い矩形状の被写体を矩形領域として立体画像１５ａから検出し、その矩形領域が衣服領域内にあるか否かを判定し、衣服領域内にない場合には、矩形領域の歪みを補正する処理を実行し、衣服領域内にある場合には、歪みを補正する処理を実行しないようにする。
【選択図】図１

Description

本発明は、両眼視差の生じる画像である立体画像に対して所定の処理を実行する立体画像処理装置、立体画像撮影装置、立体画像表示装置、及びこれらに用いられた立体画像処理方法に関する。

両眼視差の生じる画像（以下、立体画像と称す）を用いて被写体を立体的に観察する、いわゆる立体視が知られている。立体視は、視差のない通常の画像を観察する場合に比べて、観察者の眼に与える疲労感が強い。このため、観察者の眼に与える疲労感の少ない見易い立体視の方法が、従来より検討されている。

例えば、特許文献１には、立体画像の視差量を検出し、視差が過大である場合に、視差が小さくなるように立体画像を変換することが記載されている。立体視では、視差が大きくなればなるほど観察者の眼に与える疲労の影響が強くなる。従って、特許文献１のように、過大な視差が検出された場合に立体画像に対して画像処理を行い、視差を抑えるようにすれば、観察者の眼に与える疲労の影響を少なくすることができる。

また、立体視には、平面状の被写体が立体画像の一部に映っている場合に、その被写体が正常に平面に見えず、波打つように歪んで見えてしまうことがある。このように平面状の被写体が歪んで見えると、観察者の眼に疲労感を与えてしまうとともに、観察者に違和感を与えて立体視をし難くさせてしまう要因にもなってしまう。

平面状の被写体の歪みは、レンズの歪みや収差など撮影時の光学系の特性に起因して発生する。例えば、平面状の被写体が存在する撮影シーンをステレオカメラで撮影し、右眼用の画像と左眼用の画像とをそれぞれ立体画像として取得したとする。この際、光学系の特性の影響により、撮影した平面状の被写体が、視差とは関係なく樽型あるいは糸巻き型に湾曲してしまうことがある。そして、こうした光学系の特性に起因した被写体の湾曲度合いは、左右の各光学系の特性の違いや左右の各光学系に対する平面状の被写体の位置に応じて、左右の各画像に違いが生じることが多い。このように、視差と関係のない湾曲によって左右の各画像に写った平面状の被写体に左右差が生じてしまうと、立体視を行った際に平面状の被写体にあたかも立体感があるように錯覚させてしまい、波打つように歪んで見えてしまう。

上記のような平面状の被写体の歪みの解決策として、立体画像から平面であると想定される部分を検出し、その部分の歪みを補正する画像処理を行うことが考えられる。例えば、矩形状の外形を持つ被写体は、ホワイトボードや壁に貼られたポスターなど、平面の被写体である可能性が高い。そこで、立体画像から矩形と見なされる部分（例えば、矩形が僅かに樽型あるいは糸巻き型などに湾曲したものなど）を検出し、これを歪みのない矩形に補正する画像処理を行う。こうすれば、平面状の被写体が波打つように見えてしまうことを防ぐことができる。なお、平面であると想定される部分の検出、及び歪みの補正には、特許文献２〜４などに記載されている技術を利用すればよい。

特開平１１−３５５８０８号公報 特開２００３−３０３３４１号公報 特開２００６−５９７１号公報 特開２００７−４３５４５号公報

しかしながら、立体画像の全体から平面であると想定される部分を無条件に検出し、これに対して歪みを補正する処理を行うと、立体画像に写った人物の衣服に矩形状のプリント（模様）やポケットなどが設けられている場合に、立体の被写体であるこれらに対しても歪みの補正が行われてしまう。そして、このように衣服の部分に歪みの補正が行われると、立体視を行った際に、本来立体的に見えるはずの衣服の部分が平面的に見えてしまい、反対に観察者に違和感を与えてしまうことが懸念される。

本発明は、上記課題を鑑みてなされたものであり、立体画像を用いて立体視を行う際に、平面状の被写体に歪みが生じることを防ぎ、かつ人物などの衣服の部分は適切に立体的に見えるようにすることを目的とする。

上記目的を達成するため、本発明の立体画像処理装置は、両眼視差の生じる画像である立体画像を取り込むための画像入力部と、人物を含む領域に対応する部分を前記立体画像から特定領域として検出する特定領域検出部と、前記立体画像から所定の図形であると想定される被写体を抽出し、その被写体に対応する部分を図形領域として検出する図形領域検出部と、前記特定領域検出部の検出結果と前記図形領域検出部の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定する位置判定部と、前記図形領域に対して歪みを補正する歪み補正処理を行うことにより、前記図形領域を歪みのない図形に変換する歪み補正部と、前記位置判定部の判定結果を基に、前記特定領域内にないと判定された前記図形領域に対して前記歪み補正処理を実行させ、前記特定領域内にあると判定された前記図形領域に対して前記歪み補正処理を実行させないように前記歪み補正部の動作を制御する補正制御部とを備えたことを特徴とする。

前記立体画像から人物の顔の検出を行う顔検出部と、前記顔検出部が検出した顔の部分から顔の各パーツの検出を行う顔パーツ検出部とを有し、前記特定領域検出部は、前記顔検出部の検出結果と前記顔パーツ検出部の検出結果とを基に、顔が検出された人物の体の方向を推定することによって前記特定領域の検出を行うことが好ましい。

前記特定領域検出部は、検出された顔が正面向きである場合、前記顔パーツ検出部の検出結果を基に両眼の中心位置を求め、それらの各中心位置を結ぶ第１の線分から両眼の間隔を算出するとともに、口の中心位置を求め、この口の中心位置と前記第１の線分の中点とを結ぶ第２の線分から眼と口の間隔を算出し、前記両眼の間隔の所定の倍率の長さを有し、前記第１の線分と平行且つその中点が口の中心位置に配置された第３の線分と、前記眼と口の間隔の所定の倍率の長さを有し、前記第２の線分と平行且つ前記第２の線分と反対方向に延びるように一端が前記第３の線分の一端に接して配置された第４の線分とを求め、前記第３の線分と前記第４の線分とで構成される平行四辺形の領域を前記特定領域として検出することが好ましい。

前記第３の線分は、前記両眼の間隔の略８倍の長さを有し、前記第４の線分は、前記眼と口の間隔の略１０倍の長さを有することが好ましい。

前記特定領域検出部は、検出された顔が横向きである場合、前記顔パーツ検出部の検出結果を基に、片眼の中心位置と片耳の中心位置とを求め、これらの各中心位置を結ぶ第５の線分から眼と耳の間隔を算出するとともに、口の中心位置を求め、この口の中心位置から前記第５の線分への垂線である第６の線分によって、目と口の間隔を算出し、前記眼と耳の間隔の所定の倍率の長さを有し、前記第５の線分と平行且つその中点が口の中心位置に配置された第７の線分と、前記目と口の間隔の所定の倍率の長さを有し、前記第６の線分と平行且つ前記第６の線分と反対方向に延びるように一端が前記第７の線分の一端に接して配置された第８の線分とを求め、前記第７の線分と前記第８の線分とで構成される平行四辺形の領域を前記特定領域として検出することが好ましい。

前記第７の線分は、前記眼と耳の間隔の略８倍の長さを有し、前記第８の線分は、前記眼と口の間隔の略１０倍の長さを有することが好ましい。

前記図形領域検出部は、前記所定の図形として矩形を検出することが好ましい。

また、本発明の立体画像撮影装置は、所定の間隔で並べて配置された複数の撮像部を有し、前記各撮像部で被写体光の撮像を行うことにより、両眼視差の生じる画像である立体画像を取得する画像取得部と、人物を含む領域に対応する部分を前記立体画像から特定領域として検出する特定領域検出部と、前記立体画像から所定の図形であると想定される被写体を抽出し、その被写体に対応する部分を図形領域として検出する図形領域検出部と、前記特定領域検出部の検出結果と前記図形領域検出部の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定する位置判定部と、前記図形領域に対して歪みを補正する歪み補正処理を行うことにより、前記図形領域を歪みのない図形に変換する歪み補正部と、前記位置判定部の判定結果を基に、前記特定領域内にないと判定された前記図形領域に対して前記歪み補正処理を実行させ、前記特定領域内にあると判定された前記図形領域に対して前記歪み補正処理を実行させないように前記歪み補正部の動作を制御する補正制御部とを備えたことを特徴とする。

また、本発明の立体画像表示装置は、両眼視差の生じる画像である立体画像を取り込むための画像入力部と、人物を含む領域に対応する部分を前記立体画像から特定領域として検出する特定領域検出部と、前記立体画像から所定の図形であると想定される被写体を抽出し、その被写体に対応する部分を図形領域として検出する図形領域検出部と、前記特定領域検出部の検出結果と前記図形領域検出部の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定する位置判定部と、前記図形領域に対して歪みを補正する歪み補正処理を行うことにより、前記図形領域を歪みのない図形に変換する歪み補正部と、前記位置判定部の判定結果を基に、前記特定領域内にないと判定された前記図形領域に対して前記歪み補正処理を実行させ、前記特定領域内にあると判定された前記図形領域に対して前記歪み補正処理を実行させないように前記歪み補正部の動作を制御する補正制御部と、前記補正制御部の制御に基づいて前記歪み補正部で前記図形領域の補正が行われた補正済みの前記立体画像を表示するための画像表示部とを備えたことを特徴とする。

さらに、本発明の立体画像処理方法は、両眼視差の生じる画像である立体画像から人物を含む領域に対応する部分を特定領域として検出し、前記立体画像から所定の図形であると想定される被写体を抽出して、その被写体に対応する部分を図形領域として検出し、前記特定領域の検出結果と前記図形領域の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定し、前記特定領域内にないと判定された前記図形領域に対しては、前記図形領域を歪みのない図形に変換する歪み補正処理を実行し、前記特定領域内にあると判定された前記図形領域に対しては、前記歪み補正処理を実行しないようにすることを特徴とする。

本発明では、特定領域内にないと判定された図形領域に対してのみ歪み補正処理を実行し、特定領域内にあると判定された図形領域に対しては、歪み補正処理を実行しないようにした。特定領域内にない図形領域の被写体は、平面状の被写体である可能性が高い。一方、特定領域内にある図形領域の被写体は、衣服に設けられた所定の図形のプリント（模様）やポケットなど、立体的な被写体である可能性が高い。従って、上記のように、歪み補正処理の実行を制御し、これによって生成された補正済みの立体画像を用いて立体視を行うようにすれば、平面状の被写体に歪みが生じることを防ぎ、かつ人物などの衣服の部分は適切に立体的に見えるようにすることができる。

立体画像処理装置の構成を概略的に示すブロック図である。 正面方向を向いた顔からの衣服領域の検出方法を説明するための説明図である。 衣服領域の検出例の他のバリエーションを示す説明図である。 横方向を向いた顔からの衣服領域の検出方法を説明するための説明図である。 矩形領域が衣服領域内にない場合の検出例を示す説明図である。 矩形領域が衣服領域内にある場合の検出例を示す説明図である。 立体画像処理装置の処理手順の概略を示すフローチャートである。 立体画像撮影装置の構成を概略的に示すブロック図である。 立体画像表示装置の構成を概略的に示すブロック図である。

［第１実施形態］
図１に示すように、立体画像処理装置１０には、画像入力部１１と、人物情報検出部１２と、矩形化処理部１３と、画像出力部１４とが設けられている。画像入力部１１は、両眼視差の生じる画像である立体画像１５ａを外部から立体画像処理装置１０に取り込むための入力インタフェースである。画像入力部１１は、外部から立体画像１５ａが入力されると、その立体画像１５ａを人物情報検出部１２と矩形化処理部１３とに入力する。

この画像入力部１１には、例えば、記録メディアから立体画像１５ａを取り込むためのメディアスロット、インターネットなどのネットワークを介してサーバなどから立体画像１５ａを取り込むためのモデムやルータ、あるいはパーソナルコンピュータやデジタルメディアプレイヤーなどの外部装置から有線で立体画像１５ａを取り込むための入力ポートなど、立体画像１５ａの取り込み先の装置構成に応じたものを適宜採用すればよい。また、種類の異なる複数のインタフェースを画像入力部１１に設け、複数種類の外部装置から立体画像１５ａを取り込めるようにしてもよい。

なお、立体画像１５ａは、静止画像でもよいし、動画像でもよい。また、静止画像である場合には、いわゆる右眼画像と左眼画像とをそれぞれ個別の静止画像ファイルとして入力してもよいし、これらを１つにまとめて記録したマルチピクチャーフォーマットの静止画像ファイルとして入力してもよい。さらに、動画像である場合には、右眼用の動画像と左眼用の動画像とをそれぞれ個別の動画像ファイルとして入力してもよいし、例えば、右眼のコマと左眼のコマとを交互に並べるなど、再生表示の形式に応じて左右の各動画像を１つにまとめた動画像ファイルとして入力してもよい。

人物情報検出部１２には、顔検出部２０と、顔パーツ検出部２１と、顔方向検出部２２と、衣服領域検出部（特定領域検出部）２３と、検出結果出力部２４とが設けられている。人物情報検出部１２は、画像入力部１１から立体画像１５ａが入力されると、その立体画像１５ａを顔検出部２０に入力する。顔検出部２０は、周知のパターンマッチング技術を用いることによって、入力された立体画像１５ａから人物の顔の検出を行う。

顔検出部２０は、顔を検出すると、検出した顔の立体画像１５ａ上での位置（座標）や大きさを示す情報を検出結果とし、その検出結果及び検出を行った立体画像１５ａを顔パーツ検出部２１に入力する。また、顔検出部２０は、立体画像１５ａから複数の顔を検出した場合、各顔の情報を検出結果として顔パーツ検出部２１に入力する。さらに、顔検出部２０は、立体画像１５ａから人物の顔が検出されなかった場合、その旨を示す情報を検出結果出力部２４に入力する。

顔パーツ検出部２１は、顔検出部２０が立体画像１５ａから顔を検出した際に、その立体画像１５ａの検出された顔の部分を周知のテンプレートマッチングなどの手法を用いて、より詳細に解析することにより、その顔の部分から目、耳、鼻、口などのパーツの検出を行う。また、顔パーツ検出部２１は、顔検出部２０が立体画像１５ａから複数の顔を検出した場合、それぞれの顔からパーツの検出を行う。顔パーツ検出部２１は、各パーツを検出したら、それらの各パーツの立体画像１５ａ上での位置（座標）や大きさ、及びパーツの種類を示す情報を検出結果とし、各パーツの検出結果及び検出を行った立体画像１５ａを顔方向検出部２２と衣服領域検出部２３とに入力する。

顔方向検出部２２は、顔検出部２０と顔パーツ検出部２１との各検出結果を基に、検出された顔の肌色領域と髪色領域との比率や、検出された各パーツの配置を求め、これらの結果を基に、顔検出部２０が立体画像１５ａから検出した顔の向きを検出する。顔方向検出部２２は、検出された顔が複数ある場合、各顔の向きをそれぞれ検出する。そして、顔方向検出部２２は、顔の向きを検出したら、その向きを示す情報を検出結果とし、検出結果を衣服領域検出部２３に入力する。

衣服領域検出部２３は、顔パーツ検出部２１の検出結果と顔方向検出部２２の検出結果とを基に、顔が検出された人物の衣服に対応する領域を立体画像１５ａから検出する処理を行う。衣服領域検出部２３は、図２に示す立体画像１５ａのように、正面方向を向いた顔であると顔方向検出部２２が検出した場合、まず顔パーツ検出部２１の検出結果を基に、右眼及び左眼のそれぞれの中心（重心）の位置を求める。そして、両眼の各中心位置を結ぶ線分Ｌ１から両眼の間隔ｄ１を算出する。

衣服領域検出部２３は、両眼の間隔ｄ１を算出したら、続いて顔パーツ検出部２１の検出結果を基に、口の中心（重心）の位置を求め、この口の中心位置と線分Ｌ１の中点とを結ぶ線分Ｌ２から眼と口の間隔ｄ２を算出する。

衣服領域検出部２３は、間隔ｄ１及びｄ２を算出したら、間隔ｄ１の８倍の長さを有し、線分Ｌ１と平行且つその中点が口の中心位置に配置された線分Ｌ３と、間隔ｄ２の１０倍の長さを有し、線分Ｌ２と平行且つ線分Ｌ２と反対方向に延びるように一端が線分Ｌ３の一端に接して配置された線分Ｌ４とを求め、これらの各線分Ｌ３、Ｌ４で構成される平行四辺形の領域を衣服領域２６として検出する。このように、衣服領域検出部２３は、人物を含む領域に対応する部分である特定領域として、人物の衣服に対応する部分である衣服領域２６を検出する。

そして、上記のように衣服領域２６の検出を行えば、図３（ａ）に示すように、上半身が傾いた人物が写った立体画像１５ａ、図３（ｂ）に示すように、体が横方向を向いた細身の人物が写った立体画像１５ａ、図３（ｃ）に示すように、太目の体の人物が写った立体画像１５ａなどであっても、顔が検出された人物の衣服領域２６を適切に検出することができる。

また、衣服領域検出部２３は、図４に示す立体画像１５ａのように、横方向を向いた顔であると顔方向検出部２２が検出した場合、顔パーツ検出部２１の検出結果を基に、片眼の中心（重心）の位置と、片耳の中心（重心）の位置とを求める。衣服領域検出部２３は、各中心位置を求めたら、片眼の中心位置と片耳の中心位置とを結ぶ線分Ｌ５から眼と耳の間隔ｄ３を算出する。

衣服領域検出部２３は、眼と耳の間隔ｄ３を算出したら、続いて顔パーツ検出部２１の検出結果を基に、口の中心（重心）の位置を求め、この口の中心位置から線分Ｌ５への垂線Ｌ６によって、目と口の間隔ｄ４を算出する。

衣服領域検出部２３は、間隔ｄ３及びｄ４を算出したら、間隔ｄ３の８倍の長さを有し、線分Ｌ５と平行且つその中点が口の中心位置に配置された線分Ｌ７と、間隔ｄ４の１０倍の長さを有し、垂線Ｌ６と平行且つ垂線Ｌ６と反対方向に延びるように一端が線分Ｌ７の一端に接して配置された線分Ｌ８とを求め、これらの各線分Ｌ７、Ｌ８で構成される平行四辺形の領域を衣服領域２６として検出する。このように、衣服領域検出部２３では、検出された人物の顔が正面向きでも横向きでも適切に衣服領域２６を検出することができる。

衣服領域検出部２３は、衣服領域２６を検出したら、その衣服領域２６を示す情報（例えば、四隅の座標情報）を検出結果として検出結果出力部２４に入力する。また、衣服領域検出部２３は、検出された顔が複数ある場合、各顔のそれぞれに対応する衣服領域２６を検出し、それらの各情報を検出結果として検出結果出力部２４に入力する。

検出結果出力部２４は、衣服領域検出部２３から衣服領域２６の検出結果が入力された場合、その検出結果を矩形化処理部１３に送信する。また、検出結果出力部２４は、顔が検出されなかったことを示す情報が顔検出部２０から入力された場合、その情報を検出結果として矩形化処理部１３に送信する。なお、人物情報検出部１２の各部は、入力された立体画像１５ａが動画像である場合、その動画像の各コマ画像のそれぞれに対して顔や衣服を検出する処理を行い、各コマ画像の検出結果を順次矩形化処理部１３に送信する。

矩形化処理部１３には、矩形検出部（図形領域検出部）３０と、位置判定部３１と、歪み補正部３２と、補正制御部３３とが設けられている。矩形検出部３０は、画像入力部１１から立体画像１５ａが矩形化処理部１３に入力されたことに応答して起動し、図５に示すように、入力された立体画像１５ａから矩形であると想定される被写体を抽出し、その被写体に対応する部分を矩形領域（図形領域）３４として検出する処理を行う。

矩形検出部３０は、例えば、周知の形状認識技術や輪郭抽出技術を用いることによって、立体画像１５ａから矩形領域３４を検出する。また、矩形検出部３０は、矩形であると想定される被写体が立体画像１５ａに複数含まれている場合、各被写体のそれぞれを矩形領域３４として検出する。

ここで、「矩形であると想定される被写体」とは、正方形や長方形の正確な矩形の他、これらが樽型、糸巻き型、あるいは台形型などに僅かに歪んだ輪郭（外形線）を有する被写体、さらには、図５に示すように、こうした輪郭の一部が他の被写体によって隠された被写体である。また、図５では、被写体の輪郭よりも僅かに外側の部分を便宜的に矩形領域３４として示しているが、実際には、被写体の輪郭そのものである。

位置判定部３１は、衣服領域検出部２３の検出結果と矩形検出部３０の検出結果とを基に、立体画像１５ａに対する衣服領域２６の位置と矩形領域３４の位置とを判断することにより、矩形検出部３０が検出した矩形領域３４が、衣服領域検出部２３が検出した衣服領域２６内にあるか否かの判定を行う。

また、位置判定部３１は、矩形検出部３０が立体画像１５ａから複数の矩形領域３４を検出した場合、それらの各矩形領域３４のそれぞれについて衣服領域２６内にあるか否かを判定する。さらに、位置判定部３１は、衣服領域検出部２３が立体画像１５ａから複数の衣服領域２６を検出した場合、各衣服領域２６のそれぞれに対して矩形領域３４が領域内であるか否かを判定する。

位置判定部３１は、衣服領域２６に対して矩形領域３４が全く重なっていない場合、及び図５に示すように、衣服領域２６に対して矩形領域３４の一部しか重なっていない場合（衣服領域２６からはみ出している部分が矩形領域３４にある場合）に、その矩形領域３４を衣服領域２６内にないと判定する。そして、位置判定部３１は、図６に示すように、衣服領域２６に対して矩形領域３４が完全に重なっている場合（衣服領域２６の内側に矩形領域３４が完全に納まっている場合）に、その矩形領域３４を衣服領域２６内にあると判定する。また、位置判定部３１は、衣服領域検出部２３によって衣服領域２６が検出されなかった場合（顔が検出されなかったことを示す情報が検出結果出力部２４から入力された場合）、その立体画像１５ａから検出された全ての矩形領域３４を衣服領域２６内にないと判定する。

歪み補正部３２は、矩形検出部３０が検出した矩形領域３４に対して歪みを補正する歪み補正処理を行うことにより、矩形領域３４を歪みのない矩形に変換する。なお、立体画像１５ａから矩形領域３４を検出する方法や矩形領域３４の歪みを補正する方法は、特許文献２〜４に詳細に記載されている。

補正制御部３３は、位置判定部３１の判定結果を基に、歪み補正部３２の動作を制御する。補正制御部３３は、位置判定部３１の判定結果を基に、衣服領域２６内にないと判定された矩形領域３４に対して歪み補正処理を実行させ、衣服領域２６内にあると判定された矩形領域３４に対して歪み補正処理を実行させないように歪み補正部３２の動作を制御する。

これにより、例えば、１つの立体画像１５ａから衣服領域２６内にない矩形領域３４と衣服領域２６内にある矩形領域３４とが検出された場合には、衣服領域２６内にない矩形領域３４に対してのみ歪み補正処理が実行され、衣服領域２６内にある矩形領域３４に対しては歪み補正処理が実行されず、矩形領域３４の外形形状がそのまま保持されるようになる。

このように、矩形化処理部１３は、画像入力部１１から入力された立体画像１５ａに対して矩形領域３４の歪みを補正する処理を行い、その補正済みの立体画像１５ｂを画像出力部１４に入力する。

画像出力部１４は、矩形化処理部１３から入力された補正済みの立体画像１５ｂを外部に出力するための出力インタフェースである。画像出力部１４は、補正済みの立体画像１５ｂが入力されたら、その立体画像１５ｂを出力先の装置構成に応じたデータ形式に適宜変換して出力する。この画像出力部１４には、例えば、記録メディアに立体画像１５ｂを書き込むためのメディアスロット、インターネットなどのネットワークを介してサーバなどに立体画像１５ｂを出力するためのモデムやルータ、あるいはモニタやプロジェクタなどの表示装置に有線で立体画像１５ｂを出力し、表示装置に立体画像１５ｂを表示させるための出力ポートなど、立体画像１５ｂの出力先の装置構成に応じたものを適宜採用すればよい。

また、種類の異なる複数のインタフェースを画像出力部１４に設け、複数種類の外部装置に立体画像１５ｂを出力できるようにしてもよい。さらに、本例では、画像入力部１１と画像出力部１４とを個別に設けているが、例えば、記録メディアから立体画像１５ａを取り込んだ後、補正済みの立体画像１５ｂを同じ記録メディアに書き込む場合などには、画像入力部１１と画像出力部１４とを共通の部材としてもよい。

次に、図７に示すフローチャートを参照しながら、上記構成による立体画像処理装置１０の作用について説明する。ユーザは、立体画像処理装置１０を用いて立体画像１５ａに矩形領域３４の歪みを補正する処理を行う場合、所定の記録メディアや外部装置などを介して画像入力部１１に対象となる立体画像１５ａを入力し、立体画像処理装置１０に処理の開始を指示する。なお、立体画像処理装置１０に対する処理の開始の指示は、立体画像処理装置１０に設けられた操作部（図示は省略）から入力してもよいし、立体画像処理装置１０に接続された外部装置から入力してもよい。

立体画像１５ａを入力して処理の開始を指示すると、その立体画像１５ａが画像入力部１１から人物情報検出部１２及び矩形化処理部１３に入力される。人物情報検出部１２は、立体画像１５ａが入力されると、顔検出部２０を起動させ、その立体画像１５ａから人物の顔を検出する処理を顔検出部２０に実行させる。顔検出の結果、立体画像１５ａから人物の顔が検出されなかった場合には、顔が検出されなかったことを示す情報が顔検出部２０から検出結果出力部２４に入力され、その情報が検出結果出力部２４を介して矩形化処理部１３に送信される。

一方、顔検出の結果、立体画像１５ａから人物の顔が検出された場合、人物情報検出部１２は、その顔の部分から目、耳、鼻、口などのパーツを検出する処理を顔パーツ検出部２１に実行させるとともに、その顔の向きを検出する処理を顔方向検出部２２に実行させる。この後、人物情報検出部１２は、顔パーツ検出部２１の検出結果と顔方向検出部２２の検出結果とを衣服領域検出部２３に入力し、顔が検出された人物の衣服領域２６を検出する処理を衣服領域検出部２３に実行させる。

衣服領域検出部２３は、衣服領域２６を検出する処理を開始すると、まず顔方向検出部２２の検出結果を基に、検出された顔が横向きであるか正面向きであるかを判断する。正面向きの顔である場合、衣服領域検出部２３は、顔パーツ検出部２１の検出結果を基に両眼の中心位置を求め、それらの各中心位置を結ぶ線分Ｌ１（第１の線分）から両眼の間隔ｄ１を算出するとともに、口の中心位置を求め、この口の中心位置と線分Ｌ１の中点とを結ぶ線分Ｌ２（第２の線分）から眼と口の間隔ｄ２を算出する。そして、間隔ｄ１の８倍の長さを有し、線分Ｌ１と平行且つその中点が口の中心位置に配置された線分Ｌ３（第３の線分）と、間隔ｄ２の１０倍の長さを有し、線分Ｌ２と平行且つ線分Ｌ２と反対方向に延びるように一端が線分Ｌ３の一端に接して配置された線分Ｌ４（第４の線分）とを求め、これらの各線分Ｌ３、Ｌ４で構成される平行四辺形の領域を衣服領域２６として検出する。

一方、横向きの顔である場合、衣服領域検出部２３は、顔パーツ検出部２１の検出結果を基に、片眼の中心位置と片耳の中心位置とを求め、これらの各中心位置を結ぶ線分Ｌ５（第５の線分）から眼と耳の間隔ｄ３を算出するとともに、口の中心位置を求め、この口の中心位置から線分Ｌ５への垂線Ｌ６（第６の線分）によって、目と口の間隔ｄ４を算出する。そして、間隔ｄ３の８倍の長さを有し、線分Ｌ５と平行且つその中点が口の中心位置に配置された線分Ｌ７（第７の線分）と、間隔ｄ４の１０倍の長さを有し、垂線Ｌ６と平行且つ垂線Ｌ６と反対方向に延びるように一端が線分Ｌ７の一端に接して配置された線分Ｌ８（第８の線分）とを求め、これらの各線分Ｌ７、Ｌ８で構成される平行四辺形の領域を衣服領域２６として検出する。

衣服領域検出部２３は、衣服領域２６を検出したら、その衣服領域２６を示す情報を検出結果として検出結果出力部２４に入力する。検出結果出力部２４は、衣服領域検出部２３から衣服領域２６の検出結果が入力されると、その検出結果を矩形化処理部１３に送信する。

矩形化処理部１３は、画像入力部１１から立体画像１５ａが入力されたことに応答して矩形検出部３０を起動させ、その立体画像１５ａから矩形領域３４を検出する処理を矩形検出部３０に実行させる。そして、矩形化処理部１３は、検出結果出力部２４から衣服領域検出部２３の検出結果を受信した後、矩形領域３４が衣服領域２６内にあるか否かの判定を位置判定部３１に実行させる。

矩形化処理部１３は、上記の判定を位置判定部３１に実行させたら、歪み補正部３２の動作の制御を補正制御部３３に開始させる。補正制御部３３は、衣服領域２６内にないと位置判定部３１が判定した場合、その矩形領域３４に対する歪み補正処理を歪み補正部３２に実行させ、衣服領域２６内にあると位置判定部３１が判定した場合、その矩形領域３４に対する歪み補正処理を歪み補正部３２に実行させないようにすることにより、衣服領域２６内にない矩形領域３４に対してのみ歪み補正処理が実行されるように歪み補正部３２の動作を制御する。

矩形化処理部１３は、このように画像入力部１１から入力された立体画像１５ａに対して矩形領域３４の歪みを補正する処理を行うことにより、立体画像１５ａから補正済みの立体画像１５ｂを生成する。また、矩形化処理部１３は、顔が検出されなかったことを示す情報を検出結果出力部２４から受信した場合、立体画像１５ａから矩形領域３４を矩形検出部３０に検出させた後、検出された全ての矩形領域３４を衣服領域２６内にないと判定し、それらの各矩形領域３４に対して歪み補正処理を実行させることにより、補正済みの立体画像１５ｂを生成する。そして、矩形化処理部１３は、補正済みの立体画像１５ｂを生成した後、その立体画像１５ｂを画像出力部１４に入力する。画像出力部１４は、補正済みの立体画像１５ｂが入力されると、その立体画像１５ｂを出力先の装置構成に応じたデータ形式に変換して出力する。

衣服領域２６内にない矩形領域３４の被写体は、図５に示すように、ホワイトボードや壁に貼られたポスターなど平面状の被写体である可能性が高い。一方、衣服領域２６内にある矩形領域３４の被写体は、図６に示すように、衣服に設けられた矩形状のプリント（模様）やポケットなど、立体的な被写体である可能性が高い。従って、上記のように、衣服領域２６内にない矩形領域３４に対してのみ歪み補正処理を実行し、これによって生成された補正済みの立体画像１５ｂを用いて立体視を行うようにすれば、平面状の被写体に歪みが生じることを防ぎ、かつ人物などの衣服の部分は適切に立体的に見えるようにすることができる。

上記実施形態では、横向きの顔が検出された場合に、片眼の中心位置と片耳の中心位置とを求め、これらの各中心位置を結ぶ線分Ｌ５から眼と耳の間隔ｄ３を算出し、この間隔ｄ３に基づいて衣服領域２６の検出を行うようにしたが、人物が横を向いている場合、頭髪などによって耳が隠れてしまい、耳をパーツとして検出できないことがある。このような場合には、眼と耳の間隔ｄ３を算出する代わりに、人物の横顔の幅を算出し、その横顔の幅を間隔ｄ３に置き換えるようにすれば、上記実施形態とほぼ同様の衣服領域２６の検出結果を得ることができる。

上記実施形態では、両眼の間隔と眼と口の間隔、及び眼と耳の間隔と眼と口の間隔といったように、顔の各パーツの間隔を基に衣服領域２６を検出するようにしたが、衣服領域２６の検出方法は、これに限ることなく、例えば、検出された顔の眼と口の配置から人物の体の方向（顔の下方向）を推定し、その方向にある所定の大きさの領域を衣服領域２６として検出してもよい。さらには、周知の形状認識技術などを用いることによって衣服領域２６を検出してもよい。

上記実施形態では、顔検出部２０で顔の検出を行い、顔が検出されたと判断された後に顔パーツ検出部２１での顔パーツの検出を行うようにしたが、これに限ることなく、顔検出時に顔パーツの検出を同時に行ってもよい。

上記実施形態では、位置判定部３１において、衣服領域２６に対して矩形領域３４が全く重なっていない場合、及び衣服領域２６に対して矩形領域３４の一部しか重なっていない場合に、その矩形領域３４を衣服領域２６内にないと判定し、衣服領域２６に対して矩形領域３４が完全に重なっている場合に、その矩形領域３４を衣服領域２６内にあると判定したが、これに限ることなく、例えば、衣服領域２６に対して矩形領域３４が全く重なっていない場合にのみ、その矩形領域３４を衣服領域２６内にないと判定し、衣服領域２６に対して矩形領域３４が一部でも重なっている場合に、その矩形領域３４を衣服領域２６内にあると判定してもよい。さらには、衣服領域２６に対して矩形領域３４の一部しか重なっていない場合に、矩形領域３４の衣服領域２６に重なっている部分と、重なっていない部分との割合を求め、８割以上重なっている場合に衣服領域２６内にあると判定するといったように、その割合に応じて衣服領域２６内にあるか否かを判定してもよい。

［第２実施形態］
次に、本発明の第２の実施形態について説明する。なお、上記第１の実施形態と機能・構成上同一のものについては、同符号を付し、詳細な説明を省略する。図８に示すように、立体画像撮影装置５０には、上記第１の実施形態の画像入力部１１に代えて、両眼視差の生じる画像である立体画像１５ａを取得する画像取得部としてのステレオカメラ５２が設けられている。

ステレオカメラ５２には、第１及び第２の２つの撮像部５３、５４が設けられている。各撮像部５３、５４は、周知のようにレンズ光学系やＣＣＤイメージセンサなどによって構成され、被写体光を撮像することにより、被写体光に応じた二次元の画像データを取得する。また、各撮像部５３、５４は、カメラ本体の前面からその一部を露呈させ、それぞれの光軸が略平行になるように所定の間隔で並べて配置されている。

ステレオカメラ５２は、これらの各撮像部５３、５４のそれぞれで撮影を行うことにより、両眼視差の生じる一対の画像データを立体画像１５ａとして取得する。そして、ステレオカメラ５２は、取得した立体画像１５ａを人物情報検出部１２と矩形化処理部１３とに入力する。

この立体画像撮影装置５０では、ステレオカメラ５２で取得した立体画像１５ａを人物情報検出部１２と矩形化処理部１３とに入力し、以下、上記第１の実施形態と同様の手順で立体画像１５ａから補正済みの立体画像１５ｂを生成し、その立体画像１５ｂを外部装置に出力したり、記録メディアに書き込んだりする。

上記第１の実施形態では、外部から立体画像１５ａを取り込む立体画像処理装置１０に本発明を適用した例を示したが、本実施形態で示すように、自身で立体画像１５ａを取得する立体画像撮影装置５０に本発明を適用しても、上記第１の実施形態と同様の効果を得ることができる。なお、本実施形態では、第１及び第２の２つの撮像部５３、５４を備えたステレオカメラ５２を画像取得部として示したが、画像取得部は、これに限ることなく、３つ以上の撮像部を有するカメラでもよい。

［第３実施形態］
次に、本発明の第３の実施形態について説明する。なお、上記第１の実施形態と機能・構成上同一のものについては、同符号を付し、詳細な説明を省略する。図９に示すように、立体画像表示装置７０には、上記第１の実施形態の画像出力部１４に代えて、矩形化処理部１３が生成した補正済みの立体画像１５ｂを表示するための画像表示部７２が設けられている。また、画像表示部７２は、補正制御部３３の制御に基づいて歪み補正部３２で補正の処理が行われた結果、いずれの矩形領域３４に対しても歪み補正処理が実行されなかった場合には、当然ながら基となった立体画像１５ａそのものを補正済みの立体画像１５ｂとして表示する。

画像表示部７２には、三次元液晶ディスプレイ７３と、液晶ドライバ７４とが設けられている。三次元液晶ディスプレイ７３は、表面にレンチキュラレンズを有し、立体画像１５ｂを裸眼で立体視できるように構成されている。

液晶ドライバ７４は、矩形化処理部１３から立体画像１５ｂが入力されたことに応答して、その立体画像１５ｂを右眼用の画像と左眼用の画像とに分ける。この後、液晶ドライバ７４は、対応する各左右の画像をそれぞれ上下方向に長い短冊状の画像になるように分割し、それらを交互に並べて合成することにより、三次元液晶ディスプレイ７３に対応したレンチキュラレンズ方式の表示用の画像データを生成する。そして、その表示用の画像データをアナログのコンポジット信号に変換して三次元液晶ディスプレイ７３に出力する。これにより、立体画像１５ｂが裸眼で立体視可能な画像として三次元液晶ディスプレイ７３に表示される。

この立体画像表示装置７０では、画像入力部１１に入力された立体画像１５ａから上記第１の実施形態と同様の手順で補正済みの立体画像１５ｂを生成した後、その立体画像１５ｂを画像表示部７２に表示することにより、立体画像１５ｂを裸眼で立体視できるようにする。このように、生成した立体画像１５ｂを自身で立体視可能に表示する立体画像表示装置７０に本発明を適用しても、上記第１の実施形態と同様の効果を得ることができる。

本実施形態では、三次元液晶ディスプレイ７３と液晶ドライバ７４とからなる画像表示部７２を示したが、画像表示部は、これに限ることなく、例えば、他の方式のディスプレイやプロジェクタなど立体画像１５ｂを立体視可能に表示できるものであればよい。また、本実施形態では、立体画像１５ｂを裸眼で立体視できるようにする表示形式を示したが、これに限ることなく、例えば、液晶シャッタメガネや偏光フィルタメガネなどを用いる表示形式としてもよい。

本実施形態では、上記第１の実施形態と同様に、画像入力部１１に入力された立体画像１５ａから補正済みの立体画像１５ｂを生成し、その立体画像１５ｂを画像表示部７２に表示させるようにしたが、これに限ることなく、例えば、本実施形態と上記第２の実施形態とを組み合わせ、画像取得部で取得した立体画像１５ａから補正済みの立体画像１５ｂを生成し、その立体画像１５ｂを画像表示部７２に表示させるようにしてもよい。

上記各実施形態では、平面状の被写体である可能性が高い所定の図形として矩形を検出するようにしたが、検出する図形は、これに限ることなく、三角形や円形など平面状の被写体である可能性が高い任意の図形でよい。また、検出したい図形をユーザが適宜設定できるようにしてもよい。

なお、正面向きの顔画像から両眼の間隔ｄ１と、眼と口の間隔ｄ２とを算出し、間隔ｄ１の８倍の長さを有し、線分Ｌ１と平行且つその中点が口の中心位置に配置された線分Ｌ３と、間隔ｄ２の１０倍の長さを有し、線分Ｌ２と平行且つ線分Ｌ２と反対方向に延びるように一端が線分Ｌ３の一端に接して配置された線分Ｌ４とを求め、これらの各線分Ｌ３、Ｌ４で構成される平行四辺形の領域を衣服領域２６として検出する衣服領域２６の検出方法、及び横向きの顔画像から眼と耳の間隔ｄ３と、目と口の間隔ｄ４を算出し、間隔ｄ３の８倍の長さを有し、線分Ｌ５と平行且つその中点が口の中心位置に配置された線分Ｌ７と、間隔ｄ４の１０倍の長さを有し、垂線Ｌ６と平行且つ垂線Ｌ６と反対方向に延びるように一端が線分Ｌ７の一端に接して配置された線分Ｌ８とを求め、これらの各線分Ｌ７、Ｌ８で構成される平行四辺形の領域を衣服領域２６として検出する衣服領域２６の検出方法は、立体画像１５ａに対してだけに限らず、例えば、通常の二次元の画像から人物の衣服の領域を検出したい場合などに用いてもよい。また、各間隔ｄ１〜ｄ４の倍率は、それぞれ８倍又は１０倍に限ることなく、衣服領域２６を適切に検出することができる任意の倍率でよい。さらには、これらの倍率をユーザが適宜設定できるようにしてもよい。

１０ 立体画像処理装置
１１ 画像入力部
１２ 人物情報検出部
１３ 矩形化処理部
１４ 画像出力部
１５ａ、１５ｂ 立体画像
２０ 顔検出部
２１ 顔パーツ検出部
２３ 衣服領域検出部（特定領域検出部）
２６ 衣服領域
３０ 矩形検出部（図形領域検出部）
３１ 位置判定部
３２ 歪み補正部
３３ 補正制御部
３４ 矩形領域（図形領域）
５０ 立体画像撮影装置
５２ ステレオカメラ（画像取得部）
７０ 立体画像表示装置
７２ 画像表示部

Claims (10)

1. 両眼視差の生じる画像である立体画像を取り込むための画像入力部と、
   人物を含む領域に対応する部分を前記立体画像から特定領域として検出する特定領域検出部と、
   前記立体画像から所定の図形であると想定される被写体を抽出し、その被写体に対応する部分を図形領域として検出する図形領域検出部と、
   前記特定領域検出部の検出結果と前記図形領域検出部の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定する位置判定部と、
   前記図形領域に対して歪みを補正する歪み補正処理を行うことにより、前記図形領域を歪みのない図形に変換する歪み補正部と、
   前記位置判定部の判定結果を基に、前記特定領域内にないと判定された前記図形領域に対して前記歪み補正処理を実行させ、前記特定領域内にあると判定された前記図形領域に対して前記歪み補正処理を実行させないように前記歪み補正部の動作を制御する補正制御部とを備えたことを特徴とする立体画像処理装置。
2. 前記立体画像から人物の顔の検出を行う顔検出部と、
   前記顔検出部が検出した顔の部分から顔の各パーツの検出を行う顔パーツ検出部とを有し、
   前記特定領域検出部は、前記顔検出部の検出結果と前記顔パーツ検出部の検出結果とを基に、顔が検出された人物の体の方向を推定することによって前記特定領域の検出を行うことを特徴とする請求項１記載の立体画像処理装置。
3. 前記特定領域検出部は、検出された顔が正面向きである場合、前記顔パーツ検出部の検出結果を基に両眼の中心位置を求め、それらの各中心位置を結ぶ第１の線分から両眼の間隔を算出するとともに、口の中心位置を求め、この口の中心位置と前記第１の線分の中点とを結ぶ第２の線分から眼と口の間隔を算出し、前記両眼の間隔の所定の倍率の長さを有し、前記第１の線分と平行且つその中点が口の中心位置に配置された第３の線分と、前記眼と口の間隔の所定の倍率の長さを有し、前記第２の線分と平行且つ前記第２の線分と反対方向に延びるように一端が前記第３の線分の一端に接して配置された第４の線分とを求め、前記第３の線分と前記第４の線分とで構成される平行四辺形の領域を前記特定領域として検出することを特徴とする請求項２記載の立体画像処理装置。
4. 前記第３の線分は、前記両眼の間隔の略８倍の長さを有し、前記第４の線分は、前記眼と口の間隔の略１０倍の長さを有することを特徴とする請求項３記載の立体画像処理装置。
5. 前記特定領域検出部は、検出された顔が横向きである場合、前記顔パーツ検出部の検出結果を基に、片眼の中心位置と片耳の中心位置とを求め、これらの各中心位置を結ぶ第５の線分から眼と耳の間隔を算出するとともに、口の中心位置を求め、この口の中心位置から前記第５の線分への垂線である第６の線分によって、目と口の間隔を算出し、前記眼と耳の間隔の所定の倍率の長さを有し、前記第５の線分と平行且つその中点が口の中心位置に配置された第７の線分と、前記目と口の間隔の所定の倍率の長さを有し、前記第６の線分と平行且つ前記第６の線分と反対方向に延びるように一端が前記第７の線分の一端に接して配置された第８の線分とを求め、前記第７の線分と前記第８の線分とで構成される平行四辺形の領域を前記特定領域として検出することを特徴とする請求項２から４のいずれか１項に記載の立体画像処理装置。
6. 前記第７の線分は、前記眼と耳の間隔の略８倍の長さを有し、前記第８の線分は、前記眼と口の間隔の略１０倍の長さを有することを特徴とする請求項５記載の立体画像処理装置。
7. 前記図形領域検出部は、前記所定の図形として矩形を検出することを特徴とする請求項１から６のいずれか１項に記載の立体画像処理装置。
8. 所定の間隔で並べて配置された複数の撮像部を有し、前記各撮像部で被写体光の撮像を行うことにより、両眼視差の生じる画像である立体画像を取得する画像取得部と、
   人物を含む領域に対応する部分を前記立体画像から特定領域として検出する特定領域検出部と、
   前記立体画像から所定の図形であると想定される被写体を抽出し、その被写体に対応する部分を図形領域として検出する図形領域検出部と、
   前記特定領域検出部の検出結果と前記図形領域検出部の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定する位置判定部と、
   前記図形領域に対して歪みを補正する歪み補正処理を行うことにより、前記図形領域を歪みのない図形に変換する歪み補正部と、
   前記位置判定部の判定結果を基に、前記特定領域内にないと判定された前記図形領域に対して前記歪み補正処理を実行させ、前記特定領域内にあると判定された前記図形領域に対して前記歪み補正処理を実行させないように前記歪み補正部の動作を制御する補正制御部とを備えたことを特徴とする立体画像撮影装置。
9. 両眼視差の生じる画像である立体画像を取り込むための画像入力部と、
   人物を含む領域に対応する部分を前記立体画像から特定領域として検出する特定領域検出部と、
   前記立体画像から所定の図形であると想定される被写体を抽出し、その被写体に対応する部分を図形領域として検出する図形領域検出部と、
   前記特定領域検出部の検出結果と前記図形領域検出部の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定する位置判定部と、
   前記図形領域に対して歪みを補正する歪み補正処理を行うことにより、前記図形領域を歪みのない図形に変換する歪み補正部と、
   前記位置判定部の判定結果を基に、前記特定領域内にないと判定された前記図形領域に対して前記歪み補正処理を実行させ、前記特定領域内にあると判定された前記図形領域に対して前記歪み補正処理を実行させないように前記歪み補正部の動作を制御する補正制御部と、
   前記補正制御部の制御に基づいて前記歪み補正部で前記図形領域の補正が行われた補正済みの前記立体画像を表示するための画像表示部とを備えたことを特徴とする立体画像表示装置。
10. 両眼視差の生じる画像である立体画像から人物を含む領域に対応する部分を特定領域として検出し、
    前記立体画像から所定の図形であると想定される被写体を抽出して、その被写体に対応する部分を図形領域として検出し、
    前記特定領域の検出結果と前記図形領域の検出結果とを基に、前記図形領域が前記特定領域内にあるか否かを判定し、
    前記特定領域内にないと判定された前記図形領域に対しては、前記図形領域を歪みのない図形に変換する歪み補正処理を実行し、
    前記特定領域内にあると判定された前記図形領域に対しては、前記歪み補正処理を実行しないようにすることを特徴とする立体画像処理方法。

Images