JP2017102637A - 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】通常撮影画像と面法線情報の取得を連続して行う場合において、面法線の算出精度の低下を抑制可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供すること。【解決手段】第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で撮像部に第２の画像を撮像させる撮像制御部と、第１の画像と、３つ以上の第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成する画像生成部と、を有する。【選択図】図１

Description

本発明は、処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体に関する。

被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から出た光が被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。

従来、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する照度差ステレオ法が知られている（例えば、非特許文献１参照）。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。

一般的に、物体の反射光は、鏡面反射光と拡散反射光の各成分を有する。鏡面反射光とは、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射を指す。拡散反射光とは、被写体の表面を透過した後に物体内部で散乱されて返ってくる光を指す。鏡面反射成分はランバートの余弦則では表せないため、撮像装置で観測される被写体からの反射光に鏡面反射成分が含まれていると、照度差ステレオ法を用いて面法線を正確に算出することができない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献１には、４つ以上の光源を使用して得られた複数の面法線候補から、真の面法線を求める方法が開示されている。

また、被写体の見えを変更した画像を生成する別の技術として、特許文献２で開示されているテクスチャマッピング手法などが知られている。テクスチャマッピング手法では、視点方向を変更した被写体の３次元形状に応じて、実際の撮影によって得られた被写体の表面テクスチャ画像を貼り付けることでレンダリング画像を生成する。

特開２０１０−１２２１５８号公報 特開２０１０−２４４４２０号公報

松下康之、"照度差ステレオ"、情報処理学会研究報告、２０１１、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２

照度差ステレオ法を用いて被写体の面法線を取得する場合、鏡面反射成分や陰影部以外にも鏡面被写体や透明被写体への対応が困難である。面法線が正確に求まっていない被写体について、その面法線情報を用いてレンダリング画像を生成した場合、画像としての見えに違和感が生じ画質という点で劣化が生じてしまう。ここで、面法線情報とは、面法線の1自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報、および求めた面法線の妥当性に関する情報の少なくともいずれか１つの情報である。テクスチャマッピング手法では、実際の撮影によって得られた被写体の通常撮影画像をベース画像として使用することでレンダリング画像の画質劣化を低減する。デジタルカメラなどの撮像装置において面法線情報とベース画像を取得する際、レンダリング画像作成時に必要な幾何変形などの処理負荷を低減するため、同一の視点および同一の撮影条件で撮影することが好ましい。しかしながら、照度差ステレオ法による面法線情報を算出するための画像は、光源から光を照射して撮影されるため、ベース画像撮影時の適正露出と同一の露出条件では白とびなどの課題が生じる。特許文献１や特許文献２には、ベース画像取得時と面法線取得時の撮影条件についての記述がなく、上記課題に対する認識も見られない。そのため、面法線情報を算出するための画像取得時に白とびなどが発生し、面法線の算出精度を低下させてしまう。

このような課題に鑑みて、本発明は、通常撮影画像と面法線情報の取得を連続して行う場合において、面法線の算出精度の低下を抑制可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての処理装置は、第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成する画像生成部と、を有することを特徴とする。

また、本発明の他の側面としての処理システムは、第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、画像を撮像する撮像部と、第１撮像条件で前記撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする。

また、本発明の他の側面としての処理方法は、第１撮像条件で撮像部に第１の画像を撮像させるステップと、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させるステップと、前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成するステップと、を有することを特徴とする。

本発明によれば、通常撮影画像と面法線の取得を連続して行う場合において、面法線の算出精度の低下を抑制可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。

実施例１の撮像装置の外観図である。 実施例１の撮像装置のブロック図である。 実施例１の処理システムを示す図である。 実施例１の画像処理を示すフローチャートである。 撮影画像の説明図である。 撮像条件補正データを示す図である。 撮像素子の受光部と撮像光学系の射出瞳との関係図である。 瞳分割を行う撮像系の模式図である。 実施例２の画像処理を示すフローチャートである。 実施例３の撮像装置の外観図である。 実施例３の撮像装置のブロック図である。 Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向（光源方向）に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。鏡面反射成分は、図１１に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度ｉはランバートの余弦則から以下の式（１）で示される。

異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、・・・、ｓ_Ｍ、光源ベクトルの成分ごとの輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（１）は以下の式（２）で示される。

式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、・・・ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いて、Ｅρ_ｄｎは以下の式（３）で示される。

式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるので、Ｅρ_ｄを１つの変数とみなすと、式（１０）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１，ｓ２に対して線形独立に選択することが望ましい。

また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

また、Ｍ＞３の場合には３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば以下の式（４）で示される評価関数が最小となる解を選択すればよい。

また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。

既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示される式（５）の全画素での総和が最小となるように解を選択してもよい。

なお、最近傍以外の画素での面法線を用いてもよいし、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。

また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。

また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとすると、以下の式（７）が成り立つ。

式（７）に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。

図１は本実施例の撮像装置１の外観図であり、図２Ａは撮像装置１のブロック図である。撮像装置１は、被写体を撮像する撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１を備える。光源部２００は、撮像光学系１０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００は、撮像装置１に内蔵されているが、着脱可能に取り付けられる構成としてもよい。レリーズボタン３００は、撮影やオートフォーカスを作動させるためのボタンである。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。本実施例では、撮像光学系１０１は、撮像装置１に内蔵されているが、一眼レフカメラのように撮像装置１に着脱可能に取り付けられる構成であってもよい。撮像素子１０２はＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の面法線情報を取得する。画像処理部１０４は、面法線情報を取得する法線取得部１０４ａ、通常撮影画像と面法線情報に基づいて画像を生成する画像生成部１０４ｂ、および被写体距離を算出する被写体距離算出部１０４ｃを備える。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を、表示部１０５に表示してもよい。本実施例では、法線取得部１０４ａ、画像生成部１０４ｂ、および被写体距離算出部１０４ｃは、撮像装置１に内蔵されているが、後述するように撮像装置１とは別に構成されてもよい。

情報入力部１０８は、ユーザーによって選択された撮像条件（絞り値、露出時間、および焦点距離など）をシステムコントローラ１１０に供給する。照射光源制御部１０６は、システムコントローラ１１０からの指示に応じて光源部２００の発光状態を制御する。画像取得部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。ＲＯＭ１１１は、システムコントローラ１１０によって実行される各種のプログラムやそれに必要となるデータを格納している。さらに、光源情報や被写体距離に基づく撮影条件の補正値が記録されたテーブルを格納している。測光部１１２は、結像した光学像の露出状態を測定することで、ＡＥ（自動露出）処理を行うための被写体光量（明るさ）を検出する。すなわち、測光部１１２は、撮像装置１で撮影される被写界を測光する。なお、本実施例では、測光部１１２は、撮像装置１に内蔵されているが、撮像装置１とは別に設けられてもよい。

本実施例の画像処理について、図３のフローチャートを参照して説明する。図３は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１００１では、システムコントローラ１１０は、情報入力部１０８からユーザーによって設定される撮像条件（絞り値や焦点距離など）を設定する。また、システムコントローラ１１０は、レリーズボタン３００の半押し動作に連動し、測光部１１２を制御して測光を行うことで測光値を取得する。さらに、システムコントローラ１１０は、画像取得部１０７を制御し、フォーカス制御および取得した測光値に基づく露出制御（露出時間設定やＩＳＯ感度設定）を行う。そして、上述した以外の撮影に必要な諸条件を設定し、全ての条件を第１撮像条件として設定を完了する。

ステップＳ１００２では、システムコントローラ１１０は、レリーズボタン３００の全押し動作に連動し、第１撮像条件にて通常撮影画像（第１の画像）を撮影する。通常撮影画像は、従来のカメラで設定されるように、所望の測光領域内が適正露出となるように露出制御された画像である。図４（ａ）は、第１撮像条件で撮影された第１の画像の一例である。図４（ａ）では、主要被写体として画像の中心の人物が設定され、人物の顔領域が適正露出となるように制御されている。また、図４（ｂ）は、第１撮像条件で撮影された面法線情報の算出に用いる画像の一例である。照度差ステレオ方式では、面法線情報を取得する主要被写体に対して光源を照射する必要があるため、光源を照射しない状態での適正露出条件で撮影すると図４（ｂ）に示されるように、人物の顔領域で白とびが発生してしまう。白とびが発生した領域については、真の輝度値が得られないため、照度差ステレオ法の原理により算出される面法線情報は、真の面法線情報からずれた値となる。

ステップＳ１００３では、システムコントローラ１１０は、面法線情報の算出に用いる複数の画像（第２の画像）を取得する際の第２撮像条件を設定する。第２撮像条件のうち露出条件（露出時間設定、ＩＳＯ感度設定、絞り値）以外の撮像条件は、第１の撮像条件と同一である。このように設定することで、第１の画像と第２の画像間で画角やピント面が同じとなり、後述するレンダリング画像生成時の幾何変形などの処理負荷を低減できる。

ここで、露出条件を設定する方法について、図５を参照して説明する。図５は、撮像条件補正データを示す図である。露出条件は、図５（ａ）に示されるテーブル１を使用し、ＲＯＭ１１１が記録する光源情報に基づいて設定される。光源部２００は、発光強度を３段階で設定され、１段階上がるごとに発光量を２倍ずつ増加させる。テーブル１には、任意の標準距離と標準被写体で、各発光強度において白とび現象の回避に必要な露出条件の下げ幅があらかじめ反映されている。テーブル１では、白とびを回避するために、光源部２００の発光強度が１の場合に露出条件を１段下げ、発光強度が３の場合に露出条件を３段下げる。このようＲＯＭ１１がテーブル１を保持することで、光源部２００の発光強度に基づいて自動的に第２撮像条件を設定することができる。照度差ステレオ方式では、面法線を取得する主要被写体に対して光源を照射する必要があるため、基本的には第２撮像条件は第１撮像条件に対して露出を下げる設定となる。

また、露出条件は、図５（ｂ）に示されるテーブル２を使用し、ＲＯＭ１１１が記録する光源情報と被写体距離に基づいて設定されてもよい。被写体距離は、ステップＳ１００１で第１撮像条件を設定する際にオートフォーカスまたはユーザーが手動でフォーカスを行った際のフォーカスレンズの位置に基づいて、被写体距離算出部１０４ｃにより推定される。また、異なる視点から撮影された複数の視差画像を取得し、ステレオ法によって被写体距離を推定してもよい。ステレオ法では、撮影された複数の視差画像中の被写体の対応点の視差量、撮影した各視点の位置情報および光学系の焦点距離から、三角測量によって奥行きを推定する。なお、ステレオ法で推定される被写体距離は、被写体中の対応点で算出された奥行きの平均値としてもよいし、被写体中の特定の点における奥行きとしてもよい。

視差画像から被写体距離を推定する場合、撮像部（撮像系）は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる。図６は、撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素を備える画素群が複数配列されている。カラーフィルタＣＦは、撮像素子の前方に配置されている。Ｇ１画素とＧ２画素は、共通の（すなわち、画素群ごとに１つずつ設けられた）マイクロレンズ（光学素子）ＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。具体的には、Ｇ１画素は射出瞳ＥＸＰ上のＰ１領域と共役な関係を有し、Ｇ２画素はＰ２領域と共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という。

図７は、図６のマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に厚さが無い仮想的な薄肉レンズが配置されていると仮定した場合の撮像系の模式図である。撮像している物点ＯＳＰからの光束は、透過する射出瞳ＥＸＰ内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。物点ＯＳＰには必ずしも物体が存在している必要はなく、この点を通った光束はそれが通過する射出瞳ＥＸＰ内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。Ｇ１画素は、射出瞳ＥＸＰのうちＰ１領域を透過した光束を受光し、受光した光束を光電変換する。Ｇ２画素は、射出瞳ＥＸＰのうちＰ２領域を透過した光束を受光し、受光した光束を光電変換する。射出瞳ＥＸＰ上の互いに異なる領域を光束が透過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素群からの出力信号を用いて生成される画像とＧ２画素群からの出力信号を用いて生成される画像とが、互いに視差を有する複数（図７では１対）の視差画像となる。以下の説明において、射出瞳ＥＸＰ内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。なお、図６および図７において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではない場合やＰ１領域とＰ２領域とが部分的にオーバーラップする場合でも得られた複数の画像を視差画像として扱うことができる。なお、撮像系は、１つの撮像装置に複数の撮像光学系を設けることで視差画像を取得してもよいし、複数のカメラを用いて同一被写体を撮像して視差画像を取得してもよい。

テーブル２において、被写体への照射光量は、光源の発光量と被写体距離に依存し、特に被写体距離の２乗で減衰する。そのため、被写体距離を用いることで、より精度よく白とびを回避するための露出条件を設定することが可能となる。テーブル２では、白とびを回避するために、光源部２００の発光強度が１で被写体距離が５００ｍｍの場合に露出条件を５段下げ、発光強度が３で被写体距離が２０００ｍｍの場合にでは露出条件を３段下げる。このようにテーブル２を保持することで、光源部２００の発光強度と被写体距離に基づいて自動的に第２撮像条件を設定することができる。

面法線情報の算出に用いる複数の画像には、白とびの回避とともに、面法線の算出精度を向上させるために輝度の諧調も重要となる。そのため、単純に露出条件を落とすだけではなく、光源情報や被写体距離に基づいた露出条件の補正が重要となる。なお、ステップＳ１００３の処理は、ステップＳ１００２の処理の前に実行してもよい。

ステップＳ１００４では、システムコントローラ１１０は、第２の撮像条件にて面法線情報の算出に用いる複数の画像（第２の画像）を取得する。具体的には、システムコントローラ１１０は、照射光源制御部１０６を介して光源部２００の互いに位置の異なる少なくとも３つ以上の光源からの光を被写体に順次照射させ、画像取得部１０７を介して撮像部１００に被写体を撮像させる。そして、撮像素子１０２から出力されるアナログ信号は、Ａ／Ｄコンバータ１０３によりＡ／Ｄ変換され、デジタル信号として撮影画像（輝度情報）を形成する。画像処理部１０４は、通常の現像処理や各種の画像補正処理を実行してもよい。

ステップＳ１００５では、システムコントローラ１１０は、法線取得部１０４ａに、ステップＳ１００４で取得される輝度情報の変化に基づいて、面法線情報を取得させる。法線取得部１０４ａは、照度差ステレオ法を用いて複数の画像間の輝度情報の変化に基づいて面法線情報を取得する。

ステップＳ１００６では、システムコントローラ１１０は、画像生成部１０４ｂに、通常撮影画像と算出された面法線情報に基づいてレンダリング画像（第３の画像）を生成させる。画像生成部１０４ｂにより生成される画像やステップＳ１００５で算出される面法線情報は、画像記録部１０９に保存される。ここで、レンダリング画像とは、被写体の見えを変更した画像の一例であり、光源の位置や強度、角度特性、波長、個数など各種光源条件を変更した際の被写体の見えを画像処理によって再現した画像等を含む。具体的には、画像生成部１０４ｂは、対象被写体に対して算出した面法線情報、仮想的または別途測定した反射特性、およびユーザーが所望する光源条件を用いることで、物理モデルに基づく画像生成を行う。所望の測光領域内が適正露出である通常撮影画像をベース画像として用いることにより、鏡面被写体や透明被写体といった照度差ステレオ法が対応困難な領域の画質劣化を低減することができる。また、ステップＳ１００３で実行される露出制御により、面法線情報の算出に用いる複数の画像の白とびの発生を防ぐことができ、その他の領域については精度よく面法線を算出することができる。

なお、本実施例では撮像装置１内でレンダリング画像を生成しているが、図２Ｂに示されるように、撮像装置１とは異なる処理システム２を用いてレンダリング画像を生成してもよい。図２Ｂに示される処理システム２は、処理装置６００、被写体距離算出部６０１、光源部６０２、撮像部６０３、および法線取得部６０４を備える。処理装置６００は、撮像条件を設定する撮像制御部６００ａおよびレンダリング画像を生成する画像生成部６００ｂを備える。処理システム２を用いてレンダリング画像を生成する場合、まず、撮像制御部６００ａは、第１撮像条件で撮像部６０３に第１撮像条件で第１の画像を撮像させる。次に、撮像制御部６００ａは、被写体を照明する光源部６０２の配置を互いに異ならせて第２撮像条件で撮像部６０３に複数の第２の画像を撮像させる。次に、画像生成部６００ｂは、第１の画像と複数の第２の画像から取得される輝度情報の変化を用いて法線取得部６０４により取得される面法線情報に基づいてレンダリング画像を生成する。なお、処理システム２は少なくとも処理装置６００と法線取得部６０４を備えていればよく、処理装置６００が法線取得部６０４を備えていてもよい。また、被写体距離算出部６０１および光源部６０２はそれぞれ、個別の装置であってもよいし、撮像部６０３に搭載されていてもよい。

以上説明したように、ベース画像となる通常撮影画像と面法線情報の算出に用いる複数の画像を撮影する際の撮影条件を適切に制御することで、面法線の算出精度の低下を抑制することができ、レンダリング画像の画質をより向上させることが可能となる。

本実施例の撮像装置は実施例１の撮像装置と同様の構成であるため、詳細な説明は省略する。本実施例の画像処理について、図８のフローチャートを参照して説明する。図８は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ２００１およびステップＳ２００２は実施例１の図３のステップＳ１００１およびステップＳ１００２と同様の処理であるため、詳細な説明は省略する。

ステップＳ２００３では、面法線情報の算出に用いる複数の画像（第２の画像）を取得する際の光源を用いて予備発光制御（プリ発光制御）を行う。さらに、予備発光時に測光部１１２が測光を行うことで第２測光値が取得される。なお、ステップＳ２００３は、ステップＳ２００２の処理の前に実行されてもよい。

ステップＳ２００４では、システムコントローラ１１０は、ステップＳ２００３で取得される第２測光値に基づいて面法線情報の算出に用いる複数の画像を取得する際の第２撮像条件を設定する。第２撮像条件のうち露出条件（露出時間設定やＩＳＯ感度設定）以外の撮像条件は、第１撮像条件と同一である。予備発光時の測光による第２測光値を用いることで、光源情報、被写体距離、および被写体の反射率に基づく露出条件を設定することが可能となる。被写体の反射率まで加味することで、さらに精度よく第２撮像条件を設定することが可能となる。

ステップＳ２００５〜ステップＳ２００７は実施例１の図３のステップＳ１００４〜ステップＳ１００６と同様の処理であるため、詳細な説明は省略する。

以上説明したように、ベース画像となる通常撮影画像と面法線情報の算出に用いる複数の画像を撮影する際の撮影条件を適切に制御することで、面法線の算出精度の低下を抑制することができ、レンダリング画像の画質をより向上させることが可能となる。

図１０は本実施例の撮像装置３の外観図であり、図１１は撮像装置３のブロック図である。撮像装置３の撮像部４００および光源部５００以外の構成は実施例１の撮像装置１と同様であるため、詳細な説明は省略する。

撮像装置３は、被写体を撮像する撮像部４００および不可視光（可視光とは異なる波長領域の光）である近赤外光を照射可能な光源部５００を備える。本実施例では、波長４００ｎｍ以上７００ｎｍ以下の波長領域の光を可視光としている。また、本実施例では不可視光として近赤外光を用いているが、可視光とは異なる波長領域の光であれば、赤外光であってもよいし、紫外光であってもよい。撮像部４００は、撮像光学系４０１を備える。光源部５００は、撮像光学系４０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部５００は３個以上の光源を備えていればよい。また、本実施例では光源部５００は複数の光源を撮像光学系４０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部５００は、撮像装置３に内蔵されているが、着脱可能に取り付けられる構成としてもよい。

撮像光学系４０１は、絞り４０１ａおよび近赤外光の透過または反射を制御する波長選択性撮像フィルタ（以下、ＦＬという）４０１ｂを備え、被写体からの光を撮像素子１０２上に結像させる。不可視光を発光する光源部５００が点灯される場合、画像取得部１０７はＦＬ４０１ｂを退避させることで撮像素子１０２に不可視光を透過させる。本実施例ではＦＬ４０１ｂを退避させて撮像素子１０２に不可視光を透過させているが、電気的な制御によってＦＬ４０１ｂの組成を変化させることで、透過率や反射率を低下させ撮像素子１０２へ不可視光を透過させてもよい。また、撮像素子１０２がＲ，Ｇ，Ｂ光に対応する画素と近赤外光に対応する画素を備えることで、解像度は低下するがＦＬ４０１ｂを用いずに波長分離して撮像可能となる。

本実施例の構成を用いて面法線を算出する場合、実施例１の図３で示されるフローおよび実施例２の図８で示されるフローを援用することができる。実施例１のフローを援用した場合は、図３のステップＳ１００３において、ＲＯＭ１１１が記録する露出条件の補正値にＦＬ４０１ｂの特性を反映させておく必要がある。また、ステップＳ１００４を実行する際にＦＬ４０１ｂを退避させる、または電気的な制御によってＦＬ４０１ｂの組成を変化させることで、透過率や反射率を低下させて撮像素子１０２へ不可視光を透過させる制御を加える必要がある。実施例２のフローを援用する場合は、図８のステップＳ２００３〜ステップＳ２００５を実行する際に、ＦＬ４０１ｂを退避または電気的な制御によってＦＬ４０１ｂの組成を変化させる制御を加える必要がある。

本実施例では、不可視光光源のみを用いて面法線情報の算出に用いる複数の画像を取得することで、人物の法線情報を推定する際にも眩しさによる不快感を低減させることができる。さらに、実施例１，２と同様に、ベース画像となる通常撮影画像と面法線情報の算出に用いる複数の画像を撮影する際の撮影条件を適切に制御することで、面法線の算出精度の低下を抑制することができ、レンダリング画像の画質をより向上させることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

６００ 処理装置
６００ａ 撮像制御部
６００ｂ 画像生成部

Claims (21)

1. 第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、
   前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成する画像生成部と、を有することを特徴とする処理装置。
2. ３つ以上の前記第２の画像を用いて前記面法線情報を取得する法線取得部を更に有することを特徴とする請求項１に記載の処理装置。
3. 前記第１撮像条件と前記第２撮像条件では、露出条件が異なることを特徴とする請求項１または２に記載の処理装置。
4. 前記露出条件とは、前記撮像部の露出時間、ＩＳＯ感度、および絞り値の少なくともいずれか１つであることを特徴とする請求項３に記載の処理装置。
5. 前記第２撮像条件は、前記光源の発光強度および前記第１撮像条件に基づいて設定されることを特徴とする請求項１から４のいずれか１項に記載の処理装置。
6. 前記第２撮像条件は、前記光源の発光強度、前記第１撮像条件、および被写体距離に基づいて設定されることを特徴とする請求項１から４のいずれか１項に記載の処理装置。
7. 第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、
   ３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、
   前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする処理システム。
8. ３つ以上の互いに異なる複数の位置から光を被写体に照射する光源を更に有することを特徴とする請求項７に記載の処理システム。
9. 画像を撮像する撮像部と、
   第１撮像条件で前記撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、
   ３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、
   前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする撮像装置。
10. ３つ以上の互いに異なる複数の位置から光を被写体に照射する光源を更に有することを特徴とする請求項９に記載の撮像装置。
11. 前記第２撮像条件は、前記光源の発光強度および前記第１撮像条件に基づいて設定されることを特徴とする請求項９または１０に記載の撮像装置。
12. 被写体距離を算出する被写体距離算出部を更に有し、
    前記第２撮像条件は、前記光源の発光強度、前記第１撮像条件、および前記被写体距離に基づいて設定されることを特徴とする請求項９または１０に記載の撮像装置。
13. 前記撮像部は、撮像光学系を備え、
    前記被写体距離算出部は、前記撮像光学系のフォーカスレンズの位置に基づいて前記被写体距離を算出することを特徴とする請求項１２に記載の撮像装置。
14. 前記光源の予備発光時の被写体の測光値を検出する測光部を更に有し、
    前記第２撮像条件は、前記測光値および前記第１撮像条件に基づいて設定されることを特徴とする請求項９または１０に記載の撮像装置。
15. 前記撮像部は、撮像光学系と撮像素子を備え、前記撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を前記撮像素子における互いに異なる画素に導いて光電変換を行わせることを特徴とする請求項９から１４のいずれか１項に記載の撮像装置。
16. 前記撮像部は、撮像光学系と、前記撮像光学系の瞳のうちそれぞれ異なる領域からの光束を光電変換する複数の画素群と前記画素群ごとに１つずつ設けられたマイクロレンズとを有する撮像素子と、を備えることを特徴とする請求項９から１４のいずれか１項に記載の撮像装置。
17. 前記光源は、可視光とは異なる波長領域の不可視光を照射し、
    前記撮像部は、前記不可視光の透過を低下させるフィルタを備え、
    前記第１撮像条件と前記第２撮像条件では、前記フィルタの位置または組成が異なることを特徴とする請求項９から１６のいずれか１項に記載の撮像装置。
18. 前記可視光は、波長４００ｎｍ以上７００ｎｍ以下の光であり、
    前記不可視光は、紫外光、近赤外光、および赤外光のうち少なくともいずれか１つであることを特徴とする請求項１７に記載の撮像装置。
19. 第１撮像条件で撮像部に第１の画像を撮像させるステップと、
    ３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させるステップと、
    前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成するステップと、を有することを特徴とする処理方法。
20. コンピュータを請求項１から６のいずれか１項に記載の処理装置として機能させるためのプログラム。
21. 請求項２０に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。