JP2014003486A - 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】違和感のない自然な画像を生成することが可能な画像処理装置、画像撮像装置および画像表示装置を提供する。
【解決手段】画像処理装置は、画像情報と、画像情報に対応した奥行き情報が入力され、画像処理を行う。補正係数算出部は、奥行き情報に対応した画像情報の各色の比率を補正する補正係数を算出し、画像補正部は画像情報における注目画素の各色の画素値を、注目画素の奥行き情報に対応した補正係数を使用して補正する。
【選択図】図１

Description

本発明は画像処理装置、画像撮像装置および画像表示装置に関する技術であり、特に、画像を違和感なく自然に表示する画像処理技術に関する。

近年、静止画や動画を撮影する画像撮像装置として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ ）といった固体撮像素子を備えたデジタルカメラやデジタルビデオカメラが広く普及している。

これらの画像撮像装置で撮影された画像の画像処理としてホワイトバランス処理がある。撮影される被写体は、晴天下、曇天下、蛍光灯下、白熱電球下など様々な照明環境で撮影される。しかし、人間の眼は異なる色であっても白色は白色に感じるように、照明光による色の違いを補正して色を知覚する。これらを撮影画像に適用したものがホワイトバランス処理であり、照明環境の影響を考慮した画像を生成する。

ホワイトバランス処理の方法としては、照明環境ごとに補正係数を事前に設定しておきユーザーが選択する方法や、撮影した画像情報から補正係数を算出するオートホワイトバランスを使用する方法などがある。

画像解析によるオートホワイトバランスでは、画像中から白色と推定される（黒体放射軌跡に近い）領域を抽出し、赤、緑、青の各色で画素値の平均を算出し、算出した値の比率が設定された比率と同様になるような補正係数を算出する。

例えば、下記特許文献１に記載のホワイトバランス制御装置では、画面を複数の領域に分割して、デジタル画像データから個々の領域の色成分を演算して出力する評価値演算回路と、前記色成分の評価値からホワイトバランス制御量と輝度とに変換し、輝度が高い領域ほど重みが強く作用する加重処理をかけたホワイトバランス制御量を演算し、これら双方のホワイトバランス制御量の値を用いて、画像記録時に適用されるホワイトバランス制御量を演算する高輝度加重手段を有している。これにより、白の被写体と黒体輻射の特性に近い色の有彩色被写体が混在した場合に、ホワイトバランスが誤動作する頻度を軽減する。

また、撮影した画像の奥行き感を調整する画像処理技術も開発されており、例えば、下記特許文献２がある。特許文献２に記載の画像処理装置では、画像データ入力部と、奥行きデータ入力部と、奥行き程度入力部と、奥行き感補正部と、画像データ出力部とを備え、奥行きデータと奥行き程度により、奥行き感補正のゲイン制御することで、ユーザーが自由に奥行き感程度を調整する。

特開２００２−２３２９０６号公報 特開２００８−３３８９７号公報

しかしながら、上記方法は以下のような課題を有する。

撮影した画像情報を解析してホワイトバランス処理をするときに、撮影環境に２つ以上の異なる照明環境がある場合には、補正係数が適切に算出されないため違和感のある映像となってしまう。例えば、近景が蛍光灯下で、遠景が晴天下で合った場合、近景の補正係数を使用すると遠景のホワイトバランスが合わず、遠景の補正係数を使用すると近景のホワイトバランスが合わない。また、近景および遠景の補正係数を平均化した値を使用した場合には、中間のホワイトバランスとなるが近景および遠景の両方が合わなくなってしまう。さらに、特許文献１に記載のホワイトバランス装置のように、画像領域を複数に分割して画像解析を行い、それぞれの領域で算出された補正係数を適用する場合でも、分割された画像領域内に近景と遠景が混在したときは適切な補正係数が得られず、各領域でのホワイトバランスの連続性が保たれなくなる。

また、特許文献２に記載の画像処理装置では、奥行きデータを使用して奥行き感を調整することが記載されているが、ホワイトバランス処理に関する開示がなされていない。

そこで、本発明は、上記課題に鑑みてなされたものであり、違和感のない自然な画像を生成することが可能な画像処理装置、画像撮像装置および画像表示装置を提供することを目的とする。

本発明の画像処理装置は、画像情報と、該画像情報に対応した奥行き情報が入力され、前記画像情報に画像処理を行う画像処理装置であって、前記奥行き情報に対応した前記画像情報の各色の比率を補正する補正係数を算出し、前記画像情報における注目画素の各色の画素値を、前記注目画素の前記奥行き情報に対応した前記補正係数を使用して補正する画像補正部と、を有することを特徴とする。

さらに、本発明の画像処理装置は、前記補正係数が前記奥行き情報の値に対して１対１に対応するように補正係数を補間する補正係数補間部を備え、前記補正係数補間部は、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にあるときには、前記２つの前記奥行き情報の値に対応した補正係数により補間すると好適である。

さらに、本発明の画像処理装置は、前記補正係数が前記奥行き情報の値に対して１対１で対応せず、かつ、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にないときには、前記補正係数が対応していない前記奥行き情報の値に最も近い、前記補正係数が算出された奥行き情報の値の前記補正係数により補間すると好適である。

さらに、本発明の画像処理装置は、前記画像情報の各色の比率が調整された画像情報を、近景ほど色温度が低く、遠景ほど色温度が高くなるように、前記奥行き情報にしたがって色温度を変化させると好適である。

さらに、本発明の画像処理装置は、近景ほど明るさが高く、遠景ほど明るさが低くなるように、前記奥行き情報にしたがって明るさを変化させると好適である。
さらに、本発明の画像処理装置は、前記奥行き情報の値に対応した前記補正係数を算出するときに、算出する前記奥行き情報の値の前後の奥行き情報の値も含めて前記補正係数を算出すると好適である。

さらに、本発明の画像処理装置は、前記画像情報の各色の比率を補正するときに、補正する注目画素の補正係数と、周辺の画素の補正係数との平均値を新たな補正係数として、前記画像情報の各色の比率を補正すると好適である。
さらに、本発明の画像表示装置は、奥行き情報にしたがって画像情報の各色の比率を補正する画像処理装置を備えることを特徴とする。

さらに、本発明の画像撮像装置は、奥行き情報にしたがって画像情報の各色の比率を補正する画像処理装置を備えることを特徴とする。

本発明の画像処理装置によれば、画像全体で適切にホワイトバランスを施した自然な画像を生成できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を生成することが可能となる。

また、本発明の画像表示装置では、画像全体で適切にホワイトバランスを施した自然な画像を表示できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を表示することが可能となる。

また、本発明の画像撮像装置では、画像全体で適切にホワイトバランスを施した自然な画像を撮像できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を撮影することが可能となる。

本発明の実施の形態による画像処理装置の一構成例を示す機能ブロック図である。 入力画像情報の例を示す図である。 奥行き情報の例を示す図である。 補正係数の算出結果例を示す図である。 補正係数補間部の一構成例を示す機能ブロック図である。 補間処理の流れを示すフローチャート図である。 入力画像情報の例を示す図である。 補正係数の算出結果例を示す図である。 奥行き情報に応じた色温度変化例を示す図である。 奥行き情報に応じた補正係数を示す図である。 奥行き情報に応じた明度を示す図である。 本発明の画像表示装置の構成例を示す図である。 視差と距離の関係を示す図である。 本発明の実施の形態による画像撮像装置の構成例を示す図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際の装置等とは異なる場合がある。

図１は、本実施の形態による画像処理装置の一構成例を示す機能ブロック図である。本実施の形態による画像処理装置１００は、補正係数算出部１０１、補正係数補間部１０２、画像補正部１０３を備え、画像情報と、画像情報に対応した奥行き情報が入力され、入力された画像情報に画像処理が行われた出力画像情報を出力する。本実施の形態における奥行き情報は、入力画像情報の各画素の被写体までの距離を示す情報である。画像内の被写体までの距離が遠い場合には、奥行き情報の値が大きくなり、画像内の被写体までの距離が近い場合には、奥行き情報の値が小さくなる。画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウエア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって画像処理を行う。

補正係数算出部１０１では、奥行き情報と入力画像情報から奥行きごとの補正係数を算出する。具体的には、同一または近隣の奥行き情報値ごとにホワイトバランス処理を行う補正係数を算出する。

補正係数の算出は、ホワイトバランス処理で用いられる算出方法を適宜使用することが可能で、例えば、同一または近隣の奥行き情報値ごとに赤、緑、青の画素をそれぞれ平均化し、その平均値が目標とする比となるような補正値を補正係数とする。赤の平均値が６４、緑の平均値が１２８、青の平均値が３２であり、目標の比が赤：緑：青が１：１：１である場合、赤の補正値が２、緑の補正値が１、青の補正値が４となる。このとき、高彩度の画素、高明度の画素、低明度の画素などは除外すると、無彩色に近い画素値で補正係数が算出でき精度が向上するため好ましい。

また、任意の奥行き情報値において、その奥行き情報値を持つ画素の数が予め設定された閾値よりも少ない場合には、算出された補正係数を使用しないと好適である。少ない画素の値に依存した補正係数の算出は、算出精度を低下させる可能性があり、画素数により除外することで算出精度の低下を防ぐことができる。補正係数が算出されなかった奥行き値の補正係数の算出方法は後述する。

さらに、任意の奥行き情報値の前後の奥行き情報値の画素も考慮して、補正係数を算出すると好適である。これは、任意の奥行き情報値における算出対象画素の数を増加させて算出精度を向上させるとともに、奥行き方向への補正係数の連続性を保持することができ、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。

また、画像を複数の領域、例えば、縦が８、横が８の６４の領域に分割して各々の領域で、奥行き情報値ごとの仮の補正係数を算出し、算出された複数の仮の補正係数を平均化して補正係数としても良い。これにより、画像内の偏りを考慮した奥行き情報値ごとの補正係数の算出が高精度に行えるため好適である。奥行き情報に混在するノイズなどを、各領域で除外したり、画像内で広い範囲を占める主要な被写体に重点を置いた補正係数を算出したりでき、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。例えば、各領域における任意の奥行き情報値の画素数が予め設定された閾値に満たない場合には、補正係数の算出結果を除外する。すなわち、同一の奥行き情報値を持つ画像内で広い範囲を占める被写体アと、画像内で狭い範囲を占める被写体イが、それぞれ領域アと領域イに存在した場合、被写体が存在する奥行き情報値が領域アでは算出され、領域イでは算出されない。これにより、画像内で広い範囲を占める主要な被写体に重点を置いた補正係数の算出が可能となる。

補正係数算出部１０１で算出された補正係数は、補正係数補間部１０２に伝達される。補正係数補間部１０２では、奥行き情報値に対して離散的に算出された補正係数に対して補間処理を行い、入力される奥行き情報値に対して補正係数を割り当てる。

図２は入力画像情報の例であり、例えば、被写体ＡおよびＢは室内で温白色蛍光灯下、被写体Ｃは晴天日陰下、被写体Ｄは晴天日向下である。このように、同一画像内の被写体ごとに照明環境が異なるシーンが存在する。図３が図２に対応した奥行き情報の例である。奥行き情報は近いほど明るく、遠いほど暗くなるように示している。画像情報には、近い方から順に被写体Ａ、被写体Ｂ、被写体Ｃ、被写体Ｄが存在する。補正係数算出部１０１で、被写体Ａ、被写体Ｂ、被写体Ｃ、被写体Ｄが存在する奥行き情報値で、それぞれ補正係数が算出され補正係数補間部１０２に伝達される。

図４に、奥行き情報値に対応した赤色の補正係数の例を示す。丸で示す点が算出された補正係数であり、奥行き情報の階調に対して少ない点となっている。被写体ＡおよびＢは同一照明環境下にあるので近い補正係数が算出され、被写体Ｃと被写体Ｄは異なる照明環境下にあるので、それぞれ異なる補正係数が算出されている。

図５は、補正係数補間部１０２の一構成例を示す機能ブロック図であり、図６は、補正係数補間処理の流れを示すフローチャート図である。図５に示すように、補正係数補間部１０２は、対応判定部１０２−１と、奥行き情報値比較部１０２−２と、係数補間部１０２−３とを有している。対応判定部１０２−１は、奥行き情報と補正係数とが１対１で対応しているかを判定する。奥行き情報値比較部１０２−２は、奥行き情報と補正係数が１対１対応していない奥行き情報値と、奥行き情報と補正係数が１対１対応している奥行き情報値とを比較する。係数補間部１０２−３は、奥行き情報と補正係数が１対１対応していない奥行き情報値に補正係数を補間する。

図６に示すように、処理が開始されると（Ｓｔａｒｔ）、ステップＳ１において、対応判定部１０２−１が、各色の補正係数を補正係数算出部１０１から対応する奥行き情報値とともに取得する（ステップＳ１）。 対応判定部１０２−１は、補正係数と奥行き情報とが１対１対応するかどうかを判定する（ステップＳ２）。補正係数と奥行き情報値が１対１対応していない場合、補正係数と奥行き情報が１対１対応していない奥行き情報値と、補正係数と奥行き情報値が１対１対応している奥行き情報値と比較する（ステップＳ３）。係数補間部１０２−３は、奥行き情報値比較部１０２−２における比較結果に基づいて、補正係数の補間処理を行う。奥行き情報値比較部１０２で、１対１に対応していない奥行き情報値が、１対１に対応している奥行き情報値の間にある場合には、１対１に対応している２つの最近傍の奥行き情報値に対応した補正係数により補間する（ステップＳ４）。また、奥行き情報値比較部１０２で、１対１に対応していない奥行き情報値が、１対１に対応している奥行き情報値の間にない場合には、１対１に対応している最近傍の奥行き情報値に対応した補正係数により補間する（ステップＳ５）。対応判定部１０２−１において、全ての奥行き情報値に補正係数が対応していると判定された場合には、補正係数補間部１０２での処理を終了する。
以上のフローにより補正係数補間部に１０２において、奥行き情報と補正係数を対応させることができ、例えば、被写体Ｂが存在する奥行き情報値と、被写体Ｃが存在する奥行き情報値の間は、被写体Ｂが存在する奥行き情報値で算出された補正係数と、被写体Ｃが存在する奥行き情報値で算出された補正係数とで、線形的に補間することで実現できる。これにより、奥行き情報に対して連続的な補正係数を設定できるため、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。

また、近景および遠景においては、奥行き情報値の最小および最大の補正係数を適用する。すなわち、被写体Ａが存在する奥行き情報値よりも大きな値の奥行き情報値には、被写体Ａが存在する奥行き情報値の補正係数を適用し、被写体Ｄが存在する奥行き情報値よりも大きな値の奥行き情報値には、被写体Ｄが存在する奥行き情報値の補正係数を適用する。これは、不適切な補正係数が設定されることを防ぐためである。例えば、近隣の２つの補正係数から線形関数を算出して外挿する方法があるが、算出した線形関数の傾きが大きい場合などでは、極端な補正係数が算出されてしまう。したがって、奥行き情報値の最小および最大の補正係数を適用することで、過渡の補正係数を設定する可能性が無く、補正係数を使用したホワイトバランス処理を行ったときに自然な画像を生成することができる。

ここで、補正係数が１つも算出されなかった場合には、画像全体から算出した補正係数を全ての奥行き情報値に適用して、補正係数が定まらないことを回避することができる。また、ホワイトバランス処理が行われた入力画像、例えば、デジタルカメラの撮影画像やテレビ放送などのときは、全ての補正係数を１として変化させないようにすることで、補正係数が定まらないことを回避することができる。

図２の画像情報の例では、被写体の位置が離れて存在していたが、被写体が連続的に変化する場合にも本実施形態を適用することができ、例えば、図７に示すようなシーンにも適用可能である。図７では、奥行き情報値に幅のある被写体Ｃ’が存在する。被写体Ｃ’の奥行き情報値に幅があるため、補正係数を算出するときに、任意の奥行き情報値における画素数が予め設定された閾値以下で合った場合、被写体Ｃ’に関する補正係数が算出されない。その結果の例が図８である。上述した方法により、被写体Ｃ’における奥行き情報値に対しても、被写体ＢおよびＤが存在する奥行き情報値の補正係数により補間されるため、本実施形態を適用することができる。

補正係数補間部１０２で算出された奥行き情報値に応じた補正係数は、画像補正部１０３により参照されホワイトバランス処理が入力画像情報に対して行われる。入力画像情報の各画素に対して、対応する奥行き情報値の補正係数を参照し、各画素にホワイトバランス処理をする。奥行き情報値に対応する補正係数は、赤、緑、青ごとの奥行き情報値と補正係数のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）としておき、算出するたびに補正係数を更新することで実現できる。

ここで、時間軸方向での変動を小さくするため、過去の数フレーム間の結果を適切な重み付けで平均化すると良い。また、奥行き情報値や入力画像情報の明るさの平均値が大きく変化するなど、シーンが大きく変化したと判断できる場合には、過去の数フレームの平均化を解除すると補正係数が素早く適切に設定できるため好適である。さらに、シーンが変化したと判断したときは、全ての奥行き情報値に対して一律の補正係数としておき、徐々に奥行き情報値に対応した本実施形態の補正係数としていくことで、入力画像情報のシーンが変化した場合でも自然な画像を生成することができる。

また、ホワイトバランス処理を行うときに、画像処理を行う注目画素の周辺の補正係数を考慮して画像処理を行っても良い。例えば、注目画素の補正係数と周辺の画素の補正係数の平均を、注目画素の新たな補正係数としてホワイトバランス処理を行う。これにより、画像面内で連続的な補正係数とすることができ、被写体の輪郭周辺で自然なホワイトバランス処理を実現することが可能である。

ホワイトバランス処理が行われた画像情報は、出力画像情報として出力される。ここで、本実施形態ではホワイトバランス処理を画像処理装置で行っているが、従来の輪郭強調処理、ノイズ低減処理、コントラスト強調処理、などを行って出力画像情報としても良い。

以上で説明した方法により、奥行き情報値に応じた適切な補正係数でホワイトバランス処理をすることで、画像全体でホワイトバランスが適切に設定された画像を生成することができ、ユーザーが実際のシーンを観察したときと同様な自然な画像を生成することができる。

さらに、より自然に奥行き感を感じることができるように補正係数を変更することも可能である。一般に暖色系の色は進出色、寒色系の色は後退色と言われている。したがって、近景の被写体の色を暖色方向にシフトし、遠景の被写体の色を寒色方向にシフトし、近景の被写体を進出させて遠景の被写体を後退させることで、奥行き感を表現することができる。すなわち、近景の白色の色温度を低く、遠景の白色の色温度を高くすることで立体感のある自然な画像を生成することができる。

例えば、図９に示すような奥行き情報値と色温度の関係にすることで実現できる。図９の（ａ）は近景を基準に遠景になるほど色温度が高くなる。図９（ｂ）は遠景を基準に近景になるほど色温度が低くなる。図９（ｃ）は中景を基準に近景になるほど色温度が低くなり、遠景になるほど色温度が高くなる。また、図９（ｄ）に示すように、一定の奥行き情報値以上および一定の奥行き情報値以下で色温度の変化がなくなるようにしても良い。

図９（ｃ）の関係を実現する方法として、例えば、図１０のような色温度補正係数を使用することで実現できる。近景になるほど色温度を低くするために、赤色（Ｒ）の画素値が増加するように赤色の色温度補正が近景になるほど大きくする。遠景になるほど色温度を高くするために、青色（Ｂ）の画素値が増加するように青色の色温度補正が遠景になるほど大きくする。これにより図９（ｃ）のような関係を実現することができる。また、赤色や青色といった１色を主として色温度補正係数を変化させ、赤色の色温度係数が近景になるほど大きく、遠景になるほど小さくなるようにしても良い。

ここで、図１０では、説明を簡単にするために簡易的な図としたが、各色の色温度補正係数は黒体放射軌跡に沿うように、赤色、緑色、青色を調整することが、自然な画像を生成できるため好ましい。

さらに、明るさを奥行き情報に応じて変化することも可能である。進出色である暖色系の色は明るさが大きいとより進出して感じ、後退色である寒色系の色は明るさが小さいとより後退して感じる。図１１に示すように、奥行き情報値に応じて明るさを変化させることで実現することができる。図１１（ａ）では遠景を基準に近景になるほど明るさが大きくなる。図１１（ｂ）では近景を基準に遠景になるほど明るさが小さくなる。図１１（ｃ）では中景を基準に近景になるほど明るさが大きくなり、遠景になるほど明るさが小さくなる。また、図１１（ｄ）に示すように、一定の奥行き情報値以上および一定の奥行き情報値以下で明るさの変化がなくなるようにしても良い。実現方法としては、赤色、緑色、青色の比率が変化しないように所定値を乗算する方法がある。

上記方法では、色温度の変化および明るさの変化を、ホワイトバランス処理と別で説明したが、算出された補正係数にホワイトバランス処理を行う前に、奥行き値ごとに乗算してＬＵＴを作成しておき、同時に画像処理を行うようにしても同様の効果が得られる。

また、入力画像情報の照明環境が同一である場合には、奥行き情報の値によらず補正係数が略一定の値になるが、このときにも本実施形態が適用できる。一定の補正係数で画像全体のホワイトバランスを合わせることができ、そこから色温度の変化や明るさの変化を付けることも可能である。

以上で説明した画像処理装置により、画像全体で適切にホワイトバランスを施した自然な画像を生成できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を生成することが可能となる。

図１２は、本実施形態で説明した画像処理装置１００を備えた画像表示装置２００の一構成例を示す機能ブロック図である。図１２に示すように、画像表示装置２００は、画像処理装置１００と、入力画像情報が入力され入力画像情報に対応した奥行き情報を算出する奥行き情報算出部２０１と、画像処理装置１００が生成した出力画像情報を表示する画像表示部２０２と、を備える。奥行き情報算出部２０１は、画像処理装置１００と同様にソフトウエアやハードウェアにより構成される。また、画像表示部２０２は、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスなどにより構成することができる。

奥行き情報算出部２０１で奥行き情報を算出するが、入力画像情報から奥行き情報を算出する方法は幾つかある。例えば、入力画像情報が１つ分の画像情報である場合には、２次元画像から３次元画像を生成するときの奥行き推定方法を適用することができる。これは、色情報、消失点解析、オブジェクト抽出などにより推定する方法である。また、入力画像情報が２つ分の画像情報である場合、つまり、左右の２つの異なる視点からの画像情報である３次元画像情報である場合などは、基準となる画像情報に対応した視差情報を算出することで奥行き情報を算出することができる。２つの画像情報は、独立した２系統の画像情報でも、フレームパッキング、サイドバイサイド、トップアンドボトムなど様々なフォーマットでも適用することができる。

視差は２つの画像情報間の被写体のずれ量であり、ブロックマッチングなどにより算出することができる。ブロックマッチングは、基準となる画像情報の注目画素に基準窓を設定し、参照する画像情報に参照窓をエピポーラ線上に順次設定し、基準窓と参照窓の画素の類似度または相違度を評価する。評価にはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などが使用される。撮影された被写体までの距離Ｚと視差Ｄの関係はＤ＝ｆ×Ｂ／Ｚである。ここで、ｆは撮像素子の焦点距離であり、Ｂは２つの撮像素子間の距離である基線長である。距離Ｚと視差Ｄとは相関があり、本実施形態での奥行き情報として利用することができる。また、距離Ｚと視差Ｄとは、互いに単調に減少する図１３のような関係であり、これらの関係から視差情報を奥行き情報として利用することができる。

奥行き情報算出部２０１で算出された奥行き情報（視差情報）は画像処理装置１００に伝達され、奥行き情報に応じて入力画像情報のホワイトバランス処理を行う。画像処理装置１００で生成された画像情報は画像表示部２０２にて表示される。以上の方法により、画像全体で適切にホワイトバランスを施した自然な画像を表示できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を表示することが可能となる。

ここで、画像表示装置に入力される入力画像情報は、ホワイトバランス処理が行われた後の画像情報であることが多いが、そのような入力画像情報に対しても本実施形態を適用することが可能である。ホワイトバランス処理が行われた後の画像情報に対して、奥行き情報に応じた補正係数を算出することで同様の効果を得ることが可能である。

さらに、２つの画像情報を有する３次元画像情報が入力された場合には、左右それぞれを基準画像情報とした視差情報を算出し、それぞれホワイトバランス処理を行うことで、本実施形態で立体画像に対応した処理を実現することができる。

また、２つの画像情報を有する３次元画像情報が入力されず、画像情報と奥行き情報とが入力されるのみを想定する場合には、奥行き情報算出部２０１を備える必要はなく、画像処理装置１００に画像情報と奥行き情報とを直接入力すれば良い。当然、奥行き情報算出部２０１を備えている場合でも、画像情報と奥行き情報とが入力されたときに、画像処理装置１００に画像情報と奥行き情報とを直接入力しても良い。

図１４は、本実施形態で説明した画像処理装置１００を備えた画像撮像装置３００の一構成例を示す機能ブロック図である。画像撮像装置３００は、画像処理装置１００と、奥行き情報算出部２０１と、画像表示部２０２と、画像を撮影する２つの撮像素子３０１および３０２と、画像処理装置１００が生成した出力画像情報を記憶する画像記憶部３０３と、を備える。撮像素子３０１および３０２は、レンズなどの光学部品と、光電変換により画像データを取得するセンサなどで構成され、センサには、ＣＭＯＳやＣＣＤといった固体撮像素子を利用することができる。画像記憶部３０３は、フラッシュメモリやハードディスクといった記憶デバイスなどにより構成される。

撮像素子３０１および３０２は、少なくとも一部の撮影範囲が重複するように配置され、重複した撮影範囲で同一の被写体が撮影できるようにする。奥行き情報算出部２０１で視差情報を算出するときには、撮像素子３０１および３０２を光軸が平行になるように配置すると、視差を算出するときのブロックマッチングが行い易くなり、視差算出精度が向上するため好適である。

撮像素子３０１および３０２で撮影された撮影画像情報は、奥行き情報算出部２０１に伝達され奥行き情報が算出される。伝達される撮影画像情報は、ＲＡＷデータ、デモザイク処理後の画像情報、ノイズ低減処理や輪郭強調処理など画像処理が行われた画像情報でも良い。

撮像素子３０１で撮影された撮影画像情報と、奥行き情報算出部２０１で算出された奥行き情報とから、画像処理装置１００でホワイトバランス処理が行われる。画像処理装置１００で生成された画像情報は、画像表示部２０２に表示されたり、画像記憶部３０３に記憶されたりする。

以上の方法により、画像全体で適切にホワイトバランスを施した自然な画像を撮影できる。さらに、白色の色温度および明るさを奥行き情報にしたがって変化させることで、立体感の感じられる自然な画像を撮影することが可能となる。

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

本発明は、画像処理装置に利用可能である。

１００ 画像処理装置
１０１ 補正係数算出部
１０２ 補正係数補間部
１０２−１ 対応判定部
１０２−２ 奥行き情報値比較部
１０２−３ 係数補間部
１０３ 画像補正部
２００ 画像表示装置
２０１ 奥行き情報算出部
２０２ 画像表示部
３００ 画像撮像装置
３０１ 撮像素子
３０２ 撮像素子
３０３ 画像記憶部

Claims (11)

1. 画像情報と、該画像情報に対応した奥行き情報と、が入力され、前記画像情報に画像処理を行う画像処理装置であって、
   前記奥行き情報に対応した前記画像情報の各色の比率を補正する補正係数を算出する補正係数算出部と、
   前記画像情報における注目画素の各色の画素値を、前記注目画素の前記奥行き情報に対応した前記補正係数を使用して補正する画像補正部と、を有することを特徴とする画像処理装置。
2. 前記補正係数が前記奥行き情報の値に対して１対１に対応するように補正係数を補間する補正係数補間部を備え、
   前記補正係数補間部は、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にあるときには、前記２つの前記奥行き情報の値に対応した補正係数により補間することを特徴とする、請求項１に記載の画像処理装置。
3. 前記補正係数補間部は、
   前記補正係数が前記奥行き情報の値に対して１対１で対応せず、かつ、前記補正係数が対応していない前記奥行き情報が、前記補正係数が算出された２つの前記奥行き情報の値の間にないときには、前記補正係数が対応していない前記奥行き情報の値に最も近い、前記補正係数が算出された奥行き情報の値の前記補正係数により補間することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記画像補正部は、
   前記画像情報の各色の比率が調整された画像情報を、近景ほど色温度が低く、遠景ほど色温度が高くなるように、前記奥行き情報にしたがって色温度を変化させることを特徴とする、請求項１から３のいずれかに記載の画像処理装置。
5. 前記画像補正部は、
   近景ほど明るさが高く、遠景ほど明るさが低くなるように、前記奥行き情報にしたがって明るさを変化させることを特徴とする、請求項５に記載の画像処理装置。
6. 前記画像補正部は、
   前記奥行き情報の値に対応した前記補正係数を算出するときに、算出する前記奥行き情報の値の前後の奥行き情報の値も含めて前記補正係数を算出することを特徴とする、請求項１から５までのいずれか１項に記載の画像処理装置。
7. 前記画像補正部は、
   前記画像情報の各色の比率を補正するときに、補正する注目画素の補正係数と、周辺の画素の補正係数との平均値を新たな補正係数として、前記画像情報の各色の比率を補正することを特徴とする、請求項１から６までのいずれか１項に記載の画像処理装置。
8. 請求項１から７のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
9. 請求項１から７のいずれかに記載の画像処理装置を備えたことを特徴とする画像撮像装置。
10. 画像情報と、該画像情報に対応した奥行き情報と、が入力され、前記画像情報に画像処理を行う画像処理方法であって、
    前記奥行き情報に対応した前記画像情報の各色の比率を補正する補正係数を算出する補正係数算出ステップと、
    前記画像情報における注目画素の各色の画素値を、前記注目画素の前記奥行き情報に対応した前記補正係数を使用して補間する補正係数補間ステップと、を有することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images