JP6544978B2 - 画像出力装置およびその制御方法、撮像装置、プログラム - Google Patents

Description

本発明は、画像データと奥行き情報に基づいて立体画像データを出力する技術に関する。

近年普及し始めている３Ｄ（３次元）プリンタは、樹脂や石膏粉末等の記録材を積層することで立体を造形する装置である。この装置を用いて、撮影画像と、その奥行き情報に基づき、撮影画像を立体的なレリーフ、即ち立体画像を出力する装置やシステムが提供されるようになった。特許文献１では、３Ｄ加工を施すための情報を使用して立体画像データを生成する技術が開示されている。当該情報は、画像の色差情報、濃度差情報、被写体までの距離情報、顔認識情報、焦点調整の情報、稼動した領域情報等であり、いずれかの情報または複数の情報が使用される。また、特許文献２ではエンボス印刷、３Ｄレリーフ印刷等を行う際、領域の設定や浮き上がりや深さの程度を、ユーザの所望の仕様にして印刷処理を行う技術が開示されている。

一方、デジタルカメラ等の撮像装置には、ユーザが撮影時に特殊効果を設定する機能を備える装置がある。例えば、画像の一部領域に対してぼかし処理を施すことにより、背景像のぼかしやジオラマ（ミニチュア模型）風の効果を施す処理がある。また、画像に歪み処理を行うことにより、魚眼レンズで撮影したかのような特殊効果を施す処理がある。

特開２０１３−１２６７６３号公報 特開２０１０−１９１９２５号公報

ところで、特殊効果処理を施した画像から立体画像を出力する場合には、特殊効果を反映させて立体画像を出力することが求められる。特許文献１に開示された立体画像データ生成処理では、撮影時点での撮影条件や画像解析結果を使った凹凸を生成できる。しかし、これはあくまで撮影時点での画像に応じた凹凸が生成されるということであり、特殊効果をより強調したレリーフを出力することはできない。また、特許文献２に開示された立体画像データ生成では、ユーザにより領域が設定されることを前提にしているので、特殊効果を施した画像について強調したい領域を自動的に設定できない。
本発明は、画像処理が施された画像に基づき、画像処理効果を反映させて立体画像あるいは立体画像生成のための情報を出力することを目的とする。

本発明に係る装置は、２次元の画像データおよび該画像データに関する奥行き情報を取得して立体画像データを生成して出力する画像出力装置であって、前記画像データに対して画像処理を施す画像処理手段と、前記画像処理手段により画像処理を施された前記画像データおよび奥行き情報から前記立体画像データを生成する生成手段と、前記画像処理手段による画像処理に応じて奥行き情報を変更し、当該変更された奥行き情報を用いて前記生成手段に前記立体画像データを生成させる制御を行う制御手段と、を備える。前記画像処理手段は、画像のコントラスト強調処理を行い、前記制御手段は、前記コントラスト強調処理による輝度値の相対的な変化にしたがって前記奥行き情報を変更する。

本発明によれば、画像処理が施された画像に基づき、画像処理効果を反映させて立体画像あるいは立体画像生成のための情報を出力することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態に係る撮像装置の動作を説明するフローチャートである。 第１実施形態におけるコントラスト強調の入出力輝度値特性を説明する図である。 第１実施形態における立体画像データ生成処理を説明するフローチャートである。 第２実施形態における立体画像データ生成処理を説明するフローチャートである。 第２実施形態におけるジオラマ風の特殊効果処理を施した画像の一例を示す図である。 第２実施形態における奥行き情報と画像の座標との関係を例示した図である。 第３実施形態における立体画像データ生成処理を説明するフローチャートである。 第３実施形態における歪み量特性として歪み処理曲線の一例を示す図である。 第３実施形態における魚眼レンズ風の特殊効果処理を施した画像の一例を示す図である。 第３実施形態における歪み処理による座標変換時の線形補間について説明する図である。

以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。各実施形態では、立体画像データを処理する画像出力装置を撮像装置に適用した例について説明する。

［第１実施形態］
本発明の第１実施形態を、実施例１としてのデジタルカメラに適用した構成例について説明する。それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。なお、本発明の実施形態に対応する立体画像生成処理は、撮影画像と、該画像に含まれる被写体の距離情報が用意できればよいので、係る情報が得られるのであれば立体画像生成装置は必ずしも撮影機能及び測距機能を有していなくてもよい。その場合、外部で撮影された画像と、その距離情報の入力に基づき立体画像を出力する３Ｄプリンタなどの出力装置やコンピュータ上のプログラムとして構成されてもよい。

図１（Ａ）は、立体画像データ出力機能付きデジタルカメラの構成例を示すブロック図である。各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ（中央演算処理装置）等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。以下では、被写体側を前側とし、カメラに近づく側を手前側とし、カメラから離れる側を奥側と定義して位置関係を説明する。
デジタルカメラのカメラ本体部１００は、立体画像データの出力機能を有しており、撮像部１０８と、内部バス１０２に接続された各処理部を備える。内部バス１０２は各処理部を接続する。システム制御部１０１はＣＰＵ等の演算部を備え、内部バス１０２で接続された各処理部を制御する。

ＦＬＡＳＨメモリコントローラ１０３は、システム制御部１０１からの制御指令に基づき、ＦＬＡＳＨメモリ１０４に対する不揮発性データの読み出しおよび書き込みを制御する。本実施形態では、記録媒体の一例としてＦＬＡＳＨメモリ１０４を示す。システム制御部１０１はＦＬＡＳＨメモリ１０４に記憶されたプログラムに基づいて動作し、撮影された画像データ等の不揮発性データをＦＬＡＳＨメモリ１０４に記憶させる制御をＦＬＡＳＨメモリコントローラ１０３に指示する。ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）コントローラ１０５は、各処理部からの要求に基づいてＤＲＡＭ１０６に対するデータの読み出しおよび書き込みを制御する。システム制御部１０１と各処理部は、動作中の一時データ等をＤＲＡＭ１０６に記憶して使用する。

操作部１０７は、デジタルカメラのカメラ本体部１００の外装部に設けられたボタンや該ボタンの操作を検出するスイッチ等を備える。ユーザがボタン等を操作すると、操作部１０７はシステム制御部１０１へ操作に応じた指示信号を出力する。

被写体を撮像する撮像部１０８は撮像素子を備える。撮像部１０８は被写体の光学像を取り込むレンズを含む撮像光学系、及び、光学像を電気信号に光電変換するＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等によるイメージセンサで構成される。本実施形態の撮像部１０８は、複数の視差画像を一度の撮影（露光）で取得することができる。このようなカメラとしてはステレオカメラの様な多眼カメラを代表としてさまざまな装置が知られているが、本実施形態では、撮像素子が受光面上に撮像レンズの射出瞳を分割するマイクロレンズアレイ（以下、ＭＬＡという）を備えている。図１（Ｂ）は撮像素子４をカメラ本体部１００の正面および側方から見た状態を模式的に示している。撮像素子４が有する画素群１４３の受光面上にはＭＬＡ１４１が形成されている。画素群１４３を構成する各画素は、図１（Ｃ）に示すように、１つのマイクロレンズ１４２と２つのフォトダイオード（光電変換領域）１４３ａ，１４３ｂで構成される。また図１（Ｃ）は撮像レンズ２の射出瞳１４４を概念的に示している。第１の瞳領域であるＡ像瞳１４５ａとＡピクセル１４３ａ、第２の瞳領域であるＢ像瞳１４５ｂとＢピクセル１４３ｂは、それぞれマイクロレンズ１４２により共役の関係を有する。従って、撮像素子４の各画素は瞳分割機能を有し、Ａピクセル１４３ａには射出瞳１４４の右半分のＡ像瞳１４５ａを通過した光束が入射し、Ｂピクセル１４３ｂには射出瞳１４４の左半分のＢ像瞳１４５ｂを通過した光束が入射する。Ａピクセル群の出力からなる画像と、Ｂピクセル群の出力からなる画像は視差画像である。そして、撮像素子４で得られる複数の視差画像の位相差を検出することで、複数の画素から出力される画素データ間のデフォーカス量に基づいて、被写体の距離情報（奥行き情報）の分布（距離マップ、デフォーカスマップ）を得ることができる。また、各視差画像や視差画像を加算した加算画像は、被写体の２次元の情報（画像データ）として用いることができる。また本実施形態では、このような構成のため、焦点検出は撮像部１０８および画像信号処理部１０９を用いて行われる。

画像信号処理部１０９は撮像部１０８から画像信号を取得して信号処理を行う。画像信号処理部１０９はシステム制御部１０１の指示に基づいて撮像部１０８を制御し、被写体の撮影動作後に得られた画像データをＤＲＡＭ１０６に記憶させる処理を行う。また画像信号処理部１０９は、撮影時に撮像部１０８で測定されたデフォーカス量を、画像データとともにＤＲＡＭ１０６に記憶させる処理を行う。また画像信号処理部１０９は、画像データに対して特殊効果処理を施し、処理済みデータをＤＲＡＭ１０６に記憶させる処理を行う。特殊効果処理とは、例えば、コントラスト強調処理や暈かし処理、画像を変形させる歪み処理、座標変換処理等である。この他、画像信号処理部１０９は画像データを表示用に縮小して、ＤＲＡＭ１０６に設けられた表示用フレームメモリに記憶させる処理を行う。

奥行き情報生成部１１１は、ＤＲＡＭ１０６に記憶された画像データおよびデフォーカス量に基づき、既知の方法で画像の領域ごとの距離マップデータを生成して、ＤＲＡＭ１０６に記憶させる処理を行う。立体画像データ生成部１１２は、ＤＲＡＭ１０６に記憶された画像データと、奥行き情報生成部１１１が生成した距離マップデータと、画像信号処理部１０９が特殊効果処理を施した画像データに基づいて、立体画像データを生成する。その際、立体画像データ生成部１１２は、システム制御部１０１の制御指示にしたがって立体画像データを生成し、生成した立体画像データをＤＲＡＭ１０６に記憶させる処理を行う。立体画像のデータ形式としては、例えば、ＳＴＬ（Ｓｔａｎｄａｒｄ Ｔｒｉａｎｇｌｅ Ｌａｎｇｕａｇｅ）やＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）といった形式である。なお、各々の形式は公知であるため、それらの詳細な説明を省略する。

立体画像出力部１１３は、ＤＲＡＭ１０６に記憶された立体画像データ、例えば、前述したＳＴＬやＶＲＭＬといった形式の立体画像データを外部に出力する。ユーザは、出力先装置として３Ｄプリンタ等の外部装置をカメラ本体部１００に接続することで、出力した立体画像データの実体化が可能である。ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）コントローラ１１５は、ＤＲＡＭ１０６に記憶された表示用フレームメモリのデータを読み出し、該データの表示内容に従ってＬＣＤ１１６に画像を表示させる制御を行う。ＬＣＤ１１６を用いた表示部は一例であり、表示デバイスの如何は問わない。

次に、図２を参照して、本実施形態における処理を説明する。図２は、図１に示したデジタルカメラで静止画撮影を行い、立体画像を出力する場合の処理例を説明するフローチャートである。以下の処理は図１のシステム制御部１０１がプログラムをメモリから読み出して実行することで実現される。

Ｓ２０１にてシステム制御部１０１の制御下で、撮像部１０８が被写体の撮影を行い、撮影画像およびデフォーカス量の各データがＤＲＡＭ１０６に記憶される。Ｓ２０２で奥行き情報生成部１１１は、ＤＲＡＭ１０６に記憶された画像およびデフォーカス量の各データに基づいて、画像の領域ごとの距離マップデータを生成する。距離マップデータは、奥行き情報としてＤＲＡＭ１０６に記憶される。

Ｓ２０３にて画像信号処理部１０９は、システム制御部１０１の指示にしたがい、Ｓ２０１で取得した撮影画像データに特殊効果処理を施す。特殊効果処理後の画像データはＤＲＡＭ１０６に記憶される。一例として、画像にメリハリ（コントラスト感）をつける効果を得るコントラスト強調処理について、図３を参照して説明する。

図３は、コントラスト強調処理の前後における入出力輝度値特性に関して、変換の一例を示す。横軸は入力画素の輝度値を表し、輝度値ＹＩ３０６，ＹＩ３０３，ＹＩ３０４は「ＹＩ３０６＜ＹＩ３０３＜ＹＩ３０４」の関係とする。縦軸は出力画素の輝度値を表し、輝度値ＹＯ３０５からＹＯ３０８は「ＹＯ３０８＜ＹＯ３０７＜ＹＯ３０５＜ＹＯ３０６」の関係とする。点線のグラフ線Ｃ３０１は撮影画像の入出力輝度値特性を示し、実線のグラフ線Ｃ３０２はコントラスト強調処理後の入出力輝度値特性を示す。図３に例示する処理では、入力画素輝度値に対する出力画素輝度値を、グラフ線Ｃ３０１からグラフ線Ｃ３０２に変化させることで、画像のコントラストを強調する処理が行われる。

Ｓ２０４において、立体画像データ生成部１１２またはシステム制御部１０１は、Ｓ２０３での特殊効果処理の処理内容に基づき、システム制御部１０１の制御下でＤＲＡＭ１０６に記憶された奥行き情報を変更する。この奥行き情報に基づいて立体画像データ生成部１１２は、撮影画像について立体画像データを生成する。処理対象となる撮影画像（以下、対象画像という）のデータは、ＤＲＡＭ１０６に記憶されている、特殊効果処理が施された撮影画像である。立体画像データの生成処理の詳細については、図４を参照して後述する。

Ｓ２０４の処理後にＳ２０５へ進み、立体画像出力部１１３は、特殊効果処理が施された撮影画像を立体化する処理を行い、生成した立体画像のデータを前述したようにＳＴＬなどの所定の形式で出力する。記録された立体画像データを外部の３Ｄプリンタなどで出力することで、立体画像データを実体化することができる。また、立体画像データの出力とは別に、変更された距離情報（奥行き情報）と画像処理がなされた画像データとが関連付けられた状態で出力され、記録されてもよい。

次に、図４のフローチャートを参照して、図２のＳ２０４に示す立体画像データ生成処理について詳細に説明する。以下の処理はシステム制御部１０１の制御下で立体画像データ生成部１１２が実行する。
Ｓ４０１において、立体画像データ生成部１１２はシステム制御部１０１の指示にしたがい、対象画像について、順次に選択された各画素の画像処理の内容に応じた画素データを取得する。さらに立体画像データ生成部１１２は、ＤＲＡＭ１０６に記憶された奥行き情報から、対象画像の画素位置に対応する距離値を取得する。ここで、距離値とは、対象画像に係る距離マップのデータのうち、奥行き方向において最も奥側である距離を基準として、手前に向かって正数となる値とする。なお、本例とは逆に対象画像にて最も手前側となる距離を基準として、奥側に向かって正数となる距離値を使用してもよい。

Ｓ４０２は、Ｓ４０１で取得された画素の輝度値について、コントラスト強調処理により、相対的に高くなったか、または相対的に低くなったかについての判定処理である。図３の変換例を参照して具体的に説明する。図３にて、グラフ線Ｃ３０１とグラフ線Ｃ３０２との交点における、入力画素輝度値をＹＩ３０３とする。ＹＩ３０３を基準として、出力画素輝度値がグラフ線Ｃ３０１に示す輝度値に比べて相対的に高い画素は、コントラスト強調処理によって撮影時の輝度値より高くなる画素である。例えば、入力画素輝度値ＹＩ３０４に対して、ＹＯ３０５よりも大きい出力画素輝度値ＹＯ３０６の画素は、コントラスト強調処理によって撮影時の輝度値より高くなる画素である。他方、ＹＩ３０３を基準として、出力画素輝度値がグラフ線Ｃ３０１に示す輝度値に比べて相対的に低い画素は、コントラスト強調処理によって撮影時の輝度値より低くなる画素である。例えば、入力画素輝度値ＹＩ３０６に対して、ＹＯ３０７よりも小さい出力画素輝度値ＹＯ３０８の画素は、コントラスト強調処理によって撮影時の輝度値より低くなる画素である。

Ｓ４０２において、コントラスト強調処理により画素の輝度値が相対的に高くなったことが判定された場合、Ｓ４０３に進み、画素の輝度値が相対的に低くなったことが判定された場合にはＳ４０４に進む。Ｓ４０３では、Ｓ４０１で取得された画素の距離値について、奥行き方向の割り当てが多くなるように奥行き情報の変更処理が行われる。図３の変換例の場合、入力画素輝度値ＹＩ３０４に対し、グラフ線Ｃ３０１上での出力画素輝度値はＹＯ３０５であり、グラフ線Ｃ３０２上での出力画素輝度値はＹＯ３０６である。この場合、
距離値 ×（ＹＯ３０６／ＹＯ３０５）
という計算式から新たな距離値が算出される。算出された距離値は、ＤＲＡＭ１０６に奥行き情報として記憶される。ここで、距離値に乗算される値（ＹＯ３０６／ＹＯ３０５）を、奥行き情報生成係数（以下、単に生成係数という）としてαと定義する。つまり、本例ではα＞１である。

Ｓ４０４では、Ｓ４０１で取得された画素の距離値について、奥行き方向の割り当てが少なくなるように奥行き情報の変更処理が行われる。図３の変換例の場合、入力画素輝度値ＹＩ３０６に対し、グラフ線Ｃ３０１上での出力画素輝度値はＹＯ３０７であり、グラフ線Ｃ３０２上での出力画素輝度値はＹＯ３０８である。この場合、
距離値 ×（ＹＯ３０８／ＹＯ３０７）
という計算式から新たな距離値が算出される。算出された距離値は、ＤＲＡＭ１０６に奥行き情報として記憶される。ここで、距離値に乗算される値（ＹＯ３０８／ＹＯ３０７）を、生成係数としてβと定義する。つまり、本例ではβ＜１である。Ｓ４０３またはＳ４０４の後、Ｓ４０５に進む。

Ｓ４０５において、立体画像データ生成部１１２は、対象画像に係る全ての画素について処理を行ったか否かを判断する。全ての画素の処理が完了していない場合、Ｓ４０１に戻り、処理を繰り返す。全ての画素の処理が完了すると、立体画像データの生成処理が終了する。

本実施形態では、画像の奥行き情報と、画像処理が施された画像データとを関連付けるとともに、画像処理前および画像処理後の各画像データに応じて変更された奥行き情報を用いて立体画像データを生成して出力する処理が行われる。本実施形態によれば、撮影画像に特殊効果処理としてコントラスト強調処理を施して立体表現を行う際に、平面表現での処理の場合と同様に特殊効果を反映させて立体画像を出力することができる。また、立体画像を出力する装置において、奥行き方向の制約がある場合でも、強調したい領域の奥行き方向の割り当て量を多くする処理が行われる。これにより、制約の範囲内において特殊効果処理による画像効果に関し、効率よく立体表現を行える。

本実施形態では、入力画素輝度値に対する、コントラスト強調処理前後での輝度値の比を生成係数αおよびβとして元の距離値に乗算する例を説明した。この場合、コントラスト強調効果が奥行き方向において反映されるように、「α＞β」の関係を満たしていればよい。例えば、生成係数の値を固定値として設定する他の方法を用いて、奥行き情報の変更を行ってもよい。また、コントラスト強調処理情報に基づき、奥行き情報を変更する場合、距離値の最大値と最小値との差分が、変更前の両者の差分から変化してしまうこともあり得る。この場合には、正規化処理により、変更前後で差分が合うように一致させる処理が行われる。また、本実施形態では、カメラから得られる領域ごとのデフォーカス量に基づいて距離マップを生成する処理を説明した。これに限らず、２眼構成の撮像系により得た視差画像を用いる方法、あるいは、異なる焦点距離で撮影した複数枚の画像のデータから焦点距離ごとの領域を検出する方法で距離マップを生成してもよい。このような処理の変更や追加等については、以下の実施形態でも同様である。
また、本実施形態では、画像処理前後の画像データを解析し、解析結果に基づいて各画素への奥行き情報の変更を行っているが、これに限らない。すなわち、画像データに掛ける画像処理（特殊効果）の処理内容が予めわかっていれば、それらの画像処理に起因して奥行き情報の変更の程度を規定してもよい。より具体的には、図４のＳ４０２に示すステップにおいて、画像データに掛かる画像処理の情報を取得し、取得した画像処理の情報に基づいて分岐し、奥行き情報を変更すればよい。このような処理の変更や追加等については、以下の実施形態でも同様である。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、特殊効果処理として、いわゆるジオラマ（ミニチュア模型）風効果の例を説明する。この特殊効果処理は、撮影画像に対して、ぼかし処理を施す領域と、ぼかし処理を施さない解像領域を設定する画像処理である。本実施形態において、実施例としてのデジタルカメラの構成は図１に示した構成と同じである。よって、以下では、第１実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略の仕方は後述の実施形態でも同じである。

図２を参照して、本実施形態において、図１に示したデジタルカメラで静止画撮影を行い、立体画像を出力する場合の処理について説明する。本実施形態では、Ｓ２０３にて画像信号処理部１０９はシステム制御部１０１の指示に基づき、Ｓ２０１で取得した撮影画像に対し、ジオラマ風の特殊効果処理を施す。つまり、撮影画像に対して、ぼかし処理を施す領域とぼかし処理を施さない領域が設定される。図６は、ジオラマ風の特殊効果処理を施した画像の一例を示す。図６の画像例では３つの領域６０１、６０２、６０３から画像が構成される。領域６０１、６０３は、領域６０２に対してそれぞれ上下に位置しており、ぼかし処理を施した領域である。ぼかし処理については、ローパスフィルタ処理や、画像を一度縮小してから再拡大する処理等の公知の方法によって行われる。これに対して領域６０２は、解像領域、つまりオリジナルの撮影画像のままの領域である。このように、画像の上下がぼけた状態で、中心部に解像感が残った画像を生成する処理により、ジオラマ風の効果が得られる。
図２のＳ２０４において、立体画像データ生成部１１２は立体画像データの生成を行う。Ｓ２０５において立体画像の出力処理が行われる。

次に図５を参照して、Ｓ２０４の立体画像データ生成の処理について詳細に説明する。
Ｓ５０１において、立体画像データ生成部１１２はシステム制御部１０１の指示に基づき、対象画像について、順次に選択された各画素の画素データを取得する。この場合の対象画像は、ＤＲＡＭ１０６に記憶された撮影画像に対し、ジオラマ風の特殊効果処理を施した画像である。立体画像データ生成部１１２はさらに、ＤＲＡＭ１０６に記憶された奥行き情報から画素位置に対応する距離値を取得する。

Ｓ５０２では、Ｓ５０１で取得された画素について、ぼかし処理を施さない画素であるか、またはぼかし処理を施した画素であるかが判定される。ぼかし処理を施さない画素である場合、Ｓ５０３に進み、ぼかし処理を施した画素である場合にはＳ５０４に進む。
Ｓ５０３において、立体画像データ生成部１１２またはシステム制御部１０１はＳ５０１で取得した画素の距離値について、奥行き方向の割り当てが多くなるように奥行き情報の変更を行う。例えば、立体画像データ生成部１１２は生成係数αの値を１．２として、
距離値×α
を新たな距離値と設定する。この距離値はＤＲＡＭ１０６に奥行き情報として記憶される。

Ｓ５０４において、立体画像データ生成部１１２またはシステム制御部１０１はＳ５０１で取得した画素の距離値について、奥行き方向の割り当てが少なくなるように奥行き情報の変更を行う。例えば、立体画像データ生成部１１２は生成係数βの値を０．８として、
距離値×β
を新たな距離値と設定する。この距離値はＤＲＡＭ１０６に奥行き情報として記憶される。

図７は、図５のＳ５０２およびＳ５０３で奥行き情報を変更した際の一例を示す。図７の横軸は奥行き情報の示す値を表す。縦軸は、図６に例示した画像において、縦線Ｌ６０４で示した、あるＸ座標値におけるＹ座標値を表す。図７（Ａ）は、Ｓ５０３およびＳ５０４で奥行き情報を変更する前の状態における、奥行き情報とＹ座標との関係を示し、図７（Ｂ）は、変更後の奥行き情報とＹ座標との関係を示す。図７（Ｂ）では、図７（Ａ）と比較して、ぼかし処理を施さない解像領域６０２について、奥行き方向の割り当てが多くなっていることが分かる。

図５のＳ５０５において、対象画像の全ての画素について処理が行われたか否かが判断される。全画素の処理が完了していない場合には、Ｓ５０１に戻り、処理を繰り返す。全画素の処理が完了した場合、立体画像データ生成を終了する。

本実施形態によれば、対象画像にぼかし処理を施す領域と、ぼかし処理を施さない解像領域を設定する画像処理（ジオラマ風の特殊効果処理）による立体表現の場合に、平面表現のときと同様にその効果を反映させて立体画像を出力できる。また、立体画像を出力する装置において奥行き方向の制約がある場合でも、ぼかし処理を施さない解像領域に係る奥行き方向の割り当て量を多くすることにより、制約の範囲内で特殊効果を効率よく立体表現できる。

本実施形態では、生成係数α，βの各値を固定値として定義した。これに限らず、ぼかし処理を施さない解像領域に係る奥行き方向の割り当てが多く反映されるように、「α＞β」の関係を満たしていれば、他の方法で変更してもよい。また、ジオラマ風の効果をより高めるために、ぼかし処理の度合い（ぼかし量）を画像領域ごとに複数の段階で変化させてもよい。この場合、画像領域ごとに生成係数を切り替え、ぼかし処理の度合が強い画像領域ほど、生成係数値を小さく設定して奥行き情報の変更が行われる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。本実施形態では、魚眼レンズ風の効果の例を説明する。この特殊効果処理は、対象画像に対して画像を変形させて歪ませることで、魚眼レンズで撮影したような効果をつける処理である。

図２を参照して、本実施形態における立体画像の出力処理について説明する。
Ｓ２０３において、画像信号処理部１０９はシステム制御部１０１の指示に基づき、Ｓ２０１で取得した撮影画像の画像全体について像高方向に歪み処理を行い、魚眼レンズ風の特殊効果処理を施す。図９を参照して歪み処理を説明する。図９は、像高方向に歪み処理を行い、魚眼レンズ風の効果をつける歪み量特性に関して、歪み処理に係る曲線の一例を示す。水平方向の軸は像高値を表し、垂直方向の軸は、入出力の像高方向の画素移動量の変化を示す歪み量を表す。画像の中心から、同心円状に外側へ向かって像高方向に歪み量を変化させながら、画素の位置を移動させる座標変換処理が行われる。

図１０は魚眼レンズ風の特殊効果処理を施した画像例を示す。撮影画像に対し、図９で説明した歪み量特性の歪み処理を施すことで、点線枠Ｌ１００１内の画像部分に示すように、魚眼レンズで撮影したような効果が得られる。

次に、撮像画像の歪み処理において、画素の位置を移動させる座標変換処理について説明する。歪み処理による座標変換後の画像内のある座標を（ｘ_ａ，ｙ_ａ）と記し、歪み処理前、つまり座標変換前の座標を（ｘ_ｂ、ｙ_ｂ）と記す。座標変換後の新しい画素座標（ｘ_ａ，ｙ_ａ）に対する撮影画像の画素座標（ｘ_ｂ，ｙ_ｂ）を計算した結果、この座標が図１１に示すように、４点の画素座標の画素間の位置に該当するものとする。撮像画像における４点の画素座標をそれぞれ、（ｕ，ｖ）、（ｕ＋１，ｖ）、（ｕ，ｖ＋１）、（ｕ＋１，ｖ＋１）と表記する。撮影画像上では画素座標（ｘ_ｂ，ｙ_ｂ）の位置での画素値が存在しないため、線形補間法により、周囲の４画素の座標（ｕ，ｖ）、（ｕ＋１，ｖ）、（ｕ，ｖ＋１）、（ｕ＋１，ｖ＋１）からの距離による加重平均処理を行うことで画素値が算出される。その結果、以下のように画素座標（ｘ_ｂ，ｙ_ｂ）での画素値が求まる。座標変換前の座標（ｘ，ｙ）の画素値を“Ｆ_ｂ（ｘ，ｙ）”と表記し 、座標変換後の座標（ｘ，ｙ）の画素値を“Ｆ_ａ（ｘ，ｙ）”と表記すると、次式のようになる。
Ｆ_ａ（ｘ_ｂ，ｙ_ｂ）＝ Ｆ_ｂ（ｕ，ｖ）・（１−ｍ）・（１−ｎ）
＋Ｆ_ｂ（ｕ＋１，ｖ）・ｍ・（１−ｎ）
＋Ｆ_ｂ（ｕ，ｖ＋１）・（１−ｍ）・ｎ
＋Ｆ_ｂ（ｕ＋１，ｖ＋１）・ｍ・ｎ
上式中の変数ｍは、画素座標（ｕ，ｖ）と（ｕ＋１，ｖ）でそれぞれ示す２点を結ぶ線分について、画素座標（ｕ，ｖ）を基準として、「ｍ：１−ｍ」に内分する場合の比率を表す（０≦ｍ≦１）。また変数ｎは、画素座標（ｕ，ｖ）と（ｕ，ｖ＋１）でそれぞれ示す２点を結ぶ線分について、画素座標（ｕ，ｖ）を基準として、「ｎ：１−ｎ」に内分する場合の比率を表す（０≦ｎ≦１）。

このように線形補間法により、座標変換後の画素値Ｆ_ａ（ｘ_ｂ，ｙ_ｂ）が算出される。本実施形態では、ある画素の周囲にある４画素についての線形補間法による画素値の算出例を示した。これに限らず、補間したい点に最も近い格子点の画素値をそのまま使う方法、または、その他の補間方法を用いて座標変換を行ってもよい。

図２のＳ２０４において、立体画像データ生成部１１２は立体画像データの生成を行う。図８を参照して、立体画像データの生成処理を詳細に説明する。
Ｓ８０１において立体画像データ生成部１１２は、システム制御部１０１の指示にしたがい、ＤＲＡＭ１０６に記憶された奥行き情報についても、撮影画像の場合と同様に座標変換を行う。距離値についても、Ｓ２０３で説明した線形補間法と同様に、距離値による線形補間処理が行われ、歪み処理後の撮影画像の各画素と１対１に対応するように関連付けられて、奥行き情報の変更が行われる。変換後の奥行き情報を用いて、ＤＲＡＭ１０６に記憶された奥行き情報が更新される。

Ｓ８０２において、立体画像データ生成部１１２はシステム制御部１０１の指示にしたがい、対象画像に歪み処理を施した撮影画像について、順次に選択される各画素の画素データを取得する。さらに立体画像データ生成部１１２は、ＤＲＡＭ１０６に記憶された奥行き情報から、画素の画素位置に対応する距離値を取得する。

Ｓ８０３は、Ｓ８０２で取得した画素データに関し、歪み処理による歪み量が閾値を超えているか否かについての判定処理である。本実施形態では、歪み量の入出力の像高方向における画素移動量の変化の傾きで生成係数を切り替えるものとし、傾きが増加している場合に閾値を超えていると判断される。具体的には、図９の歪み処理の曲線の場合、像高Ｈ９０１を基準として、像高が低い側（左側）は歪み量の傾きが増加している。また、像高Ｈ９０１よりも像高が高い側（右側）は、歪み量の傾きが減少している。また、図１０を例にすると、点線枠Ｌ１００１で囲まれた内側の画像部分は、歪み量の傾きが増加している領域であり、点線枠Ｌ１００１の外側の画像部分は、歪み量の傾きが減少している領域である。Ｓ８０３にて歪み量の傾きが増加している画素であることが判定された場合、Ｓ８０４に進み、歪み量の傾きが減少している画素であることが判定された場合にはＳ８０５に進む。

Ｓ８０４において立体画像データ生成部１１２またはシステム制御部１０１は、Ｓ８０１で取得した画素の距離値について、奥行き方向の割り当てが多くなるように奥行き情報の変更を行う。これは第１及び第２実施形態の場合と同様に、距離値に生成係数αを乗算することにより行われる。またＳ８０５において立体画像データ生成部１１２またはシステム制御部１０１は、Ｓ８０１で取得した画素の距離値について、奥行き方向の割り当てが少なくなるように奥行き情報の変更を行う。これは第１及び第２実施形態の場合と同様に、距離値に生成係数βを乗算することにより行われる。Ｓ８０４またはＳ８０５の処理後、Ｓ８０６にて立体画像データ生成部１１２は、対象画像の全ての画素について処理を行ったかどうかを判断する。全ての画素の処理が完了していない場合には、Ｓ８０２に戻り、処理を繰り返す。全ての画素の処理が完了した場合、立体画像データの生成処理を終了する。その後、図２のＳ２０５において立体画像データの出力処理が実行される。

本実施形態によれば、画像を歪ませて魚眼レンズで撮影したかのような効果をつける魚眼レンズ風の特殊効果処理を施して立体表現を行う場合、平面表現のときと同様に当該効果を反映させて立体画像を出力することができる。また、立体画像を出力する装置に奥行き方向の制約がある場合でも、魚眼レンズ風の特殊効果処理により歪み量が閾値を超える画像領域の奥行き方向の割り当て量を多くすることにより、制約の範囲内で特殊効果を効率よく立体表現できる。

本実施形態では、生成係数について像高方向の画素移動量の変化の傾きに応じて切り替える例を示した。これに限らず、歪み処理による歪み量の大きさに応じて、奥行き方向の割り当て比率を変更する等、歪み処理の効果をつけたい画像部分に奥行き方向の割り当てが多く反映される方法で変更してもよい。また、像高方向に歪み処理を行う魚眼レンズ風の特殊効果を例示したが、その他の座標変換処理を伴う各種の画像処理に適用可能である。例えば、座標変換処理による画素の位置の移動量に応じて、画像の奥行き情報（距離値）を変更する処理が行われ、移動量が大きいほど奥行き方向の割り当て量が多くなる。
実施形態によれば、奥行き方向の限られたサイズの中で、画像処理の種類（特殊効果処理や座標変換処理等）に応じて画像効果を反映させた立体画像あるいは立体画像生成のための情報を出力することが可能な画像出力装置を提供できる。

［その他の実施形態］
上記実施形態ではデジタルカメラを例示して説明したが、各種の装置に適用可能である。例えば、画像データおよびその奥行き情報を入力情報として、立体画像データを出力する３Ｄプリンタ等の出力装置や、コンピュータ等の情報処理装置にてプログラムの形態で実施可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：カメラ本体部
１０１：システム制御部
１０８：撮像部
１０９：画像信号処理部
１１１：奥行き情報生成部
１１２：立体画像データ生成部
１１３：立体画像出力部

Claims (16)

1. ２次元の画像データおよび該画像データに関する奥行き情報を取得して立体画像データを生成して出力する画像出力装置であって、
   前記画像データに対して画像処理を施す画像処理手段と、
   前記画像処理手段により画像処理を施された前記画像データおよび奥行き情報から前記立体画像データを生成する生成手段と、
   前記画像処理手段による画像処理に応じて奥行き情報を変更し、当該変更された奥行き情報を用いて前記生成手段に前記立体画像データを生成させる制御を行う制御手段と、を備え、
   前記画像処理手段は、画像のコントラスト強調処理を行い、
   前記制御手段は、前記コントラスト強調処理による輝度値の相対的な変化にしたがって前記奥行き情報を変更することを特徴とする画像出力装置。
2. ２次元の画像データおよび該画像データに関する奥行き情報を取得して立体画像データを生成して出力する画像出力装置であって、
   前記画像データに対して画像処理を施す画像処理手段と、
   前記画像処理手段により画像処理を施された前記画像データおよび奥行き情報から前記立体画像データを生成する生成手段と、
   前記画像処理手段による画像処理に応じて奥行き情報を変更し、当該変更された奥行き情報を用いて前記生成手段に前記立体画像データを生成させる制御を行う制御手段と、を備え、
   前記画像処理手段は、画像を変形させる歪み処理を行い、
   前記制御手段は、前記歪み処理の歪み量の大きさまたは前記歪み量の変化の度合いにより前記奥行き情報を変更することを特徴とする画像出力装置。
3. 前記制御手段は、前記画像処理手段が前記画像データに施す画像処理の種類に基づいて、前記奥行き情報を変更することを特徴とする請求項１または２に記載の画像出力装置。
4. 前記制御手段は、前記画像処理が施された前後の画像データを解析した結果に基づいて前記奥行き情報を変更することを特徴とする請求項１または２に記載の画像出力装置。
5. 前記奥行き情報として前記画像データから距離マップを生成する奥行き情報生成手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像出力装置。
6. 前記制御手段は、前記コントラスト強調処理を施す前の輝度値と、前記コントラスト強調処理を施した後の輝度値から算出される係数を距離値に乗算することにより前記奥行き情報を変更することを特徴とする請求項１に記載の画像出力装置。
7. 前記画像処理手段は、画像のぼかし処理を行い、
   前記制御手段は、前記奥行き情報について、前記ぼかし処理を施さない領域と前記ぼかし処理を施す領域とで異なる設定を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像出力装置。
8. 前記制御手段は、前記画像の奥行き方向にて奥側を基準とする距離値について、前記ぼかし処理によるぼかし量が大きい領域ほど距離値を小さく設定することを特徴とする請求項７に記載の画像出力装置。
9. 前記画像処理手段は、画像に対して画素の位置を移動させる座標変換処理を行い、
   前記制御手段は、前記座標変換処理による前記画素の位置の移動量を取得して前記奥行き情報を変更することを特徴とする請求項１乃至８のいずれか１項に記載の画像出力装置。
10. 前記画像データは、撮像光学系の異なる瞳領域を通過する光束をそれぞれ受光する複数の画素を有する撮像素子からの出力に基づいて得られ、
    前記奥行き情報は、前記複数の画素から出力される画素データ間のデフォーカス量に基づいて取得されることを特徴とする請求項１乃至９のいずれか１項に記載の画像出力装置。
11. ２次元の画像データおよび該画像データに関する奥行き情報を取得する取得手段と、
    前記画像処理手段により画像処理が施された画像データと、前記制御手段により変更された奥行き情報とを関連付けて出力する出力手段と、を備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像出力装置。
12. 請求項１乃至１１のいずれか１項に記載の画像出力装置と、
    被写体を撮像する撮像手段を備えることを特徴とする撮像装置。
13. 前記撮像手段は、撮像光学系の異なる瞳領域を通過する光束をそれぞれ受光する複数の画素を有し、
    前記奥行き情報は、前記複数の画素から出力される画素データ間のデフォーカス量に基づいて取得されることを特徴とする請求項１２に記載の撮像装置。
14. ２次元の画像データおよび該画像データに関する奥行き情報を取得して立体画像データを生成して出力する画像出力装置にて実行される制御方法であって、
    前記画像データに対して画像処理を施す画像処理ステップと、
    前記画像処理ステップによる画像処理に応じて前記奥行き情報を変更する変更ステップと、
    前記画像処理ステップにて画像処理を施された前記画像データおよび前記変更ステップにて変更された前記奥行き情報を用いて立体画像データを生成する生成ステップと、を有し、
    前記画像処理ステップでは、画像のコントラスト強調処理が行われ、
    前記変更ステップでは、前記コントラスト強調処理による輝度値の相対的な変化にしたがって前記奥行き情報を変更する処理が行われることを特徴とする制御方法。
15. ２次元の画像データおよび該画像データに関する奥行き情報を取得して立体画像データを生成して出力する画像出力装置にて実行される制御方法であって、
    前記画像データに対して画像処理を施す画像処理ステップと、
    前記画像処理ステップによる画像処理に応じて前記奥行き情報を変更する変更ステップと、
    前記画像処理ステップにて画像処理を施された前記画像データおよび前記変更ステップにて変更された前記奥行き情報を用いて立体画像データを生成する生成ステップと、を有し、
    前記画像処理ステップでは、画像を変形させる歪み処理が行われ、
    前記変更ステップでは、前記歪み処理の歪み量の大きさまたは前記歪み量の変化の度合いにより前記奥行き情報を変更する処理が行われることを特徴とする制御方法。
16. 請求項１４または１５に記載の各ステップをコンピュータに実行させることを特徴とするプログラム。
    

Images