JP6025470B2 - 撮像装置、制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像合成に用いる複数の画像データを取得するために複数回の撮影を行う撮像装置及びその制御方法に関する。

従来、ディジタルカメラ等の撮像装置では、夜景を手持ち撮影する場合に手ブレを抑制するために高感度で撮影を行うと、ノイズが多くなるという問題があった。そこで、特許文献１では、低感度でフラッシュを発光させて撮影して取得した画像データと高感度でフラッシュを発光させずに撮影して取得した画像データとを合成する技術を開示している。この技術では、画素毎に合成比率を決定し、フラッシュを発光させて撮影して取得した画像データの輝度値が大きい画素ほどフラッシュを発光させて撮影して取得した画像データの比率を高くしている。

特開２００７−１２４２９２号公報

しかしながら、特許文献１に記載された技術では、フラッシュを発光させて撮影を行う際の露出条件とフラッシュを発光させずに撮影を行う際の露出条件とが、良好な合成画像を取得できるように適切に設定されていない。

例えば、フラッシュを発光させず撮影を行う際のＩＳＯ感度は最小で、フラッシュを発光させて撮影を行う際のＩＳＯ感度は最大であり、２つの撮影の感度差が大きい。そのため、フラッシュ光が届いた領域とフラッシュ光が届いていない領域とでノイズの度合いに差が発生し、合成画像に違和感が生じてしまう。また、フラッシュを発光させず撮影を行う際の絞り、ＩＳＯ感度、シャッタスピードなどの露出条件は固定であり、撮影環境に応じて設定されていないため、合成画像におけるフラッシュ光が届いていない領域の明るさが所望の明るさとならない可能性も高い。

そこで、本発明は、発光装置を発光させて撮影して取得した画像データと発光装置を発光させずに撮影して取得した画像データとを合成して、良好な合成画像を取得することができるようにすることを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、被写体を撮像して画像データを出力する撮像手段と、前記被写体の輝度に関する情報を取得する取得手段と、前記取得手段により取得された発光装置を予備発光させたときの前記被写体の輝度に関する情報に基づいて、前記発光装置の本発光量を算出する算出手段と、前記取得手段により取得された前記輝度に関する情報に基づいて撮影時に用いる露出制御値を決定する決定手段と、を有し、前記撮像手段は、前記発光装置を発光させて行う発光撮影と前記発光装置を発光させずに行う非発光撮影とを含む複数回の撮影により画像合成処理の対象となる複数の画像データを出力し、前記決定手段は、前記算出手段により算出された本発光量に応じて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする。

本発明によれば、発光装置を発光させて撮影して取得した画像データと発光装置を発光させずに撮影して取得した画像データとを合成して、良好な合成画像を取得することができる。

本発明の実施形態に係る撮像装置の構成を示したブロック図である。 合成画像を取得するための各種処理を示したフローチャートである。 合成画像を取得するための各種処理を示したフローチャートである。 夜景を背景とした人物撮影シーンで得られる画像を示した図であり、図４（ａ）は発光装置を発光させて撮影して得られる画像、図４（ｂ）は発光装置を発光させずに撮影して得られる画像、図４（ｃ）は図４（ａ）に示した画像と図４（ｂ）に示した画像との合成画像を示した図である。 発光装置の予備発光に対する反射光量が少ない場合の本発光量を説明する図である。 発光装置の予備発光に対する反射光量が多い場合の本発光量を説明する図である。 画像合成処理における各画像データと各種処理との関係を示した図である。 画像合成処理に関する処理を示したフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に係る撮像装置であるカメラ１００の構成を示したブロック図である。

操作部１０１は、ユーザがカメラ１００に対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１には、撮影準備動作の開始指示や撮影動作の開始指示を入力するためのシャッタースイッチ、複数の撮影モードの中から所望の撮影モードを選択するためのモードダイヤル、後述する表示部１１５の前面に設けられたタッチセンサなどが含まれる。

制御部１０２は、カメラ１００の全体動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。

撮像素子１０３は、ＣＣＤやＣＭＯＳなどのセンサであり、レンズ１０７、光量調節部材１０８を介して入射される光を受け、受けた光量に応じた画像データを出力するものである。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像データに対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像データとして出力する。なお、Ａ／Ｄ変換部１０４でゲイン調整することが撮影感度を変更することに相当する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像データに対して各種の画像処理を行い、処理済みの画像データを出力する。

輝度算出部１０６は、画像処理部１０５から出力される画像データに基づいて、輝度値（Ｂｖ値）を算出して被写体の輝度に関する情報を取得する。

レンズ１０７は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群である。

光量調節部材１０８は、レンズ１０７を通過して撮像素子１０３に入射される光の光量を調節する部材である。例えば、開口径を変更させて開口を通過する光の光量を調節する絞り、通過した光の光量を減少させる減光フィルタ、撮像素子１０３の状態を露光状態と遮光状態とに切替えるシャッタなどを含む。

メモリ部１０９は、画像処理部１０５から出力される画像データを一時的に記憶する。後述するように、メモリ部１０９には、画像合成処理に用いる複数の画像データが一時的に記憶される。

発光部１１０は、キセノン管やＬＥＤなどを光源とし、被写体に補助光を照射する。発光制御部１１１は、ユーザの指示や輝度算出部１０６により算出された輝度値などに基づいて発光部１１０の発光制御を行う。

エンコーダー部１１２は、画像処理部１０５や画像合成部１１６から出力された画像データのフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力するものである。画像記録部１１３は、エンコーダー部１１２から出力されたフォーマット変換済みの画像データを、カメラ１００内の不図示の記録媒体や、カメラ１００に挿入されている外部記録媒体などに記録する処理を行う。外部接続部１１４は、有線や無線でカメラ１００を外部機器と接続するためのものであって、外部接続部１１４を介して、エンコーダー部１１２から出力されたフォーマット変換済みの画像データなどを外部機器に送信可能である。

表示部１１５は、液晶や有機ＥＬなどにより構成されていて、画像処理部１０５から出力される画像データに基づく画像などを表示する。

画像合成部１１６は、画像処理部１０５から出力された複数の画像データを用いて画像合成処理を行い合成画像データを生成する。

ここで、夜景を背景とした人物撮影シーンにおける画像合成処理について述べる。

図４は、夜景を背景とした人物撮影シーンで得られる画像を示した図である。図４（ａ）は、後述するように撮影感度を相対的に低くするとともに、人物が適正な明るさになるように発光部１１０を発光させて撮影して取得した画像データ（以下、発光画像データとする）に基づく画像（以下、発光画像とする）の例である。図４（ｂ）は、発光部１１０を発光させて撮影するときよりも撮影感度を相対的に高くして、発光部１１０を発光させずに撮影して取得した画像データ（以下、非発光画像データとする）に基づく画像（以下、非発光画像とする）の例である。図４（ｃ）は、発光画像データと、非発光画像データとを合成して生成した合成画像データに基づく合成画像の例である。

図４（ｂ）に示したような背景の明るい非発光画像を得るために、発光部１１０を発光させて撮影するときよりも撮影感度を相対的に高くすると、非発光画像データに対するノイズの影響が発光画像データに比べて大きくなってしまう。そこで、画像合成部１１６は、発光部１１０を発光させずに複数回撮影して取得した複数の非発光画像データを平均加算して合成することで非発光合成画像データを生成する。このように複数の非発光画像データを平均加算して合成することで、非発光合成画像データにおけるノイズの影響を低減することができる。したがって、図４（ｃ）に示したような合成画像を得る際には、非発光画像データのノイズの影響を低減するために、１つの非発光画像データをそのまま用いるのではなく、前述した非発光合成画像データを用いることが好ましい。なお、撮影感度を相対的に高くしてもノイズの影響が許容できるレベルであれば、発光部１１０を発光させずに複数回撮影して複数の非発光画像データを取得する必要はなく、非発光合成画像データを生成しなくてもよい。すなわち、画像合成処理に用いる非発光画像データは１つであっても構わない。

そして、生成された非発光合成画像データと発光画像データとに基づいて、人物領域は発光画像データを優先的に用い、背景領域は非発光合成画像データを優先的に用いて合成画像データを生成する。なお、発光画像データを優先的に用いるというのは、発光画像データの比率を非発光合成画像データの比率よりも大きくして合成するということであって、発光画像データのみを用いて非発光合成画像データを用いない場合も含む。

以上のようにして合成画像データを生成することで、図４（ｃ）に示したような、背景や人物が明るく、しかも、ノイズの影響や手ブレの少ない画像を得ることができる。

レンズ制御部１１７は、ユーザの指示や画像処理部１０５から出力される画像データに基づいて、レンズ１０７を駆動させて焦点調節を行う。

光量調節部材制御部１１８は、ユーザの指示や輝度算出部１０６により算出された輝度値に基づいて、光量調節部材１０８の制御を行う。

次に、撮影に関する各動作について説明する。ユーザにより操作部１０１に含まれる電源スイッチがオンされると、制御部１０２はこれを検知し、カメラ１００を構成する各部に電源を供給させる。カメラ１００を構成する各部に電源が供給されるとシャッタが開き、撮像素子１０３には、レンズ１０７、光量調節部材１０８を介して光が入射することになる。その後、制御部１０２は、所定の周期で撮像素子１０３からアナログ画像データを出力させる。

ユーザによりシャッタースイッチが操作されて撮影準備動作の開始指示が入力される（ＳＷ１がオンになる）と、制御部１０２は、画像処理部１０５から出力される画像データを用いて撮影準備動作を開始させる。撮影準備動作では、例えば、焦点調節処理、露出条件決定処理、発光部１１０の発光判定処理などを行う。

発光判定処理により発光不要（発光させない）と判定された場合、ユーザによりシャッタースイッチが操作されて撮影動作の開始指示が入力される（ＳＷ２がオンになる）と本撮影に移行する。本撮影では、撮影準備動作で行った露出条件決定処理の結果に基づいて露出制御を行う。

また、発光判定処理により発光要（発光させる）と判定された場合、ＳＷ２がオンになると、制御部１０２は、発光部１１０の発光量を決定するために用いる非発光画像データ（調光用非発光画像データ）を取得する。次に、制御部１０２は、発光部１１０を予備発光させて予備発光画像データを取得し、調光用非発光画像データと予備発光画像データとを比較して、本撮影時に必要な本発光量を決定する。そして、本撮影では、撮影準備動作で行った露出条件決定処理の結果に基づいて露出制御を行うとともに、前述のようにして決定された本発光量で発光部１１０を発光させる。

次に、合成画像を取得するための上記の処理について図２、図３を用いて詳細に説明する。図２、図３は、合成画像を取得するための各種処理を示したフローチャートである。なお、図２では、予めユーザによりモードダイヤルが操作され、複数回の撮影を行い取得した画像データを用いて画像合成処理を行う画像合成撮影モードが選択されている例で説明する。

ユーザにより操作部１０１に含まれる電源スイッチがオンされると、制御部１０２は、シャッタを開いて撮像素子１０３を露光させる（ステップＳ２０１）。なお、このステップＳ２０１を電源スイッチがオンされた直後に行うときは、予め決められた初期値を露出条件に設定して行うものとし、２回目以降は、後述するステップＳ２０３で算出された輝度値に基づいて露出条件を設定して行うものとする。

そして、制御部１０２は、設定された露出条件に基づいて撮像素子１０３の電荷蓄積を行った後、撮像素子１０３にアナログ画像データを出力させ、画像データを取得する（ステップＳ２０２）。

次に、輝度算出部１０６は、ステップＳ２０２で取得された画像データに基づいて、輝度値（Ｂｖ値）を算出する（ステップＳ２０３）。輝度値の算出方法については公知の方法を用いればよく、詳細な説明は省略する。本実施形態では、画像データを複数のブロックに分けてブロック毎に輝度値を算出し、算出したブロック毎の輝度値を平均した平均輝度値をステップＳ２０３における輝度値とした例で説明する。

その後、制御部１０２は、ＳＷ１がオンされたか否かを判断し（ステップＳ２０４）、ＳＷ１がオンされるまでステップＳ２０２〜Ｓ２０４の処理を繰り返し行う。

ステップＳ２０４にてＳＷ１がオンされたと判断すると、制御部１０２は、ステップＳ２０３にて算出された輝度値に基づいて、発光部１１０の発光判定処理を行う（ステップＳ２０５）。

ステップＳ２０５の発光判定処理にて発光不要と判定された場合、ステップＳ２０３にて算出された輝度値に基づいて、非発光撮影（発光部１１０を発光させない撮影）時の露出条件を決定する（ステップＳ２０６）。具体的には、非発光撮影時に用いる絞りの絞り値（Ａｖ）、撮像素子１０３の電荷蓄積時間に相当するシャッタスピード（Ｔｖ）、撮影感度（Ｓｖ）などの露出制御値を決定する。なお、露出制御値の決定方法については公知の方法を用いればよく、例えば、輝度値と露出制御値とを対応付けたプログラム線図を予め記憶しておき、記憶されたプログラム線図に従ってステップＳ２０３にて算出された輝度値に基づいて露出制御値を決定すればよい。

その後、制御部１０２は、ＳＷ２がオンされたか否かを判断し（ステップＳ２０７）、ＳＷ２がオンされたと判断するとステップＳ２０９へ移行する。ＳＷ２がオンされていないと判断すると、制御部１０２はＳＷ１がオンされているか否かを判断し（ステップＳ２０８）、ＳＷ１がオンされていないと判断するとステップＳ２０２へ移行し、ＳＷ１がオンされていると判断するとステップＳ２０７へ移行する。

ステップＳ２０９にて、制御部１０２は、ステップＳ２０６で決定した露出条件で連続して複数回（例えば３回）の非発光撮影を行う。

その後、画像合成部１１６は、複数回の非発光撮影を行い取得した複数の非発光画像データを用いて画像合成処理を行い合成画像データを生成する（ステップＳ２１０）。

ステップＳ２０５の発光判定処理にて発光要と判定された場合、ステップＳ２０３にて算出された輝度値に基づいて、発光撮影（発光部１１０を発光させる撮影）時の露出条件を決定する（図３のステップＳ２１１）。具体的には、発光撮影時に用いる絞りの絞り値（Ａｖｆ）、撮像素子１０３の電荷蓄積時間に相当するシャッタスピード（Ｔｖｆ）、撮影感度（Ｓｖｆ）などの露出制御値を決定する。

その後、制御部１０２は、ＳＷ２がオンされたか否かを判断し（ステップＳ２１２）、ＳＷ２がオンされたと判断するとステップＳ２１４へ移行する。ＳＷ２がオンされていないと判断すると、制御部１０２はＳＷ１がオンされているか否かを判断し（ステップＳ２１３）、ＳＷ１がオンされていないと判断するとステップＳ２０２へ移行し、ＳＷ１がオンされていると判断するとステップＳ２１２へ移行する。

ステップＳ２１４にて、制御部１０２は、発光部１１０の発光量を決定するために、非発光撮影と発光撮影とを順に行い、調光用非発光画像データと予備発光画像データとを取得する。本実施形態では、予め決められた露出条件や予備発光量を用いて非発光撮影と発光撮影とを行い、非発光撮影時の露出条件と発光撮影時の露出条件とが等しく、予備発光量が発光部１１０の制御可能な最大発光量に比べて十分小さい発光量である例で説明する。なお、ステップＳ２１４にて行う非発光撮影と発光撮影において、ステップＳ２０３にて算出された輝度値に基づいて決定された露出条件や予備発光量を設定しても構わない。

次に、制御部１０２は、取得した調光用非発光画像データと予備発光画像データとの比較結果から、予備発光に対する反射光量を算出する（ステップＳ２１５）。具体的には、輝度算出部１０６により算出された予備発光画像データの輝度値と調光用非発光画像データの輝度値との差分を算出する。この輝度値の差分は予備発光による輝度値の増加分、すなわち、予備発光に対する反射光量に相当する。なお、予備発光に対する反射光量を算出する際には、画像データを複数のブロックに分けて算出したブロック毎の輝度値のうち、予備発光画像データと調光用非発光画像データとで輝度値の変化量が所定値よりも大きいブロックの輝度値を用いることが好ましい。例えば、予備発光画像データと調光用非発光画像データとで輝度値の変化量が所定値よりも大きいブロックの平均輝度値を、予備発光画像データと調光用非発光画像データとのそれぞれで算出し、算出した平均輝度値の差分を算出すればよい。予備発光を行っても輝度値が大きく変化しないブロックの輝度値も含めて平均輝度値を算出すると、予備発光を行うことで輝度値が大きく変化したブロックの輝度値だけで平均輝度値を算出する場合に比べて、予備発光画像データの平均輝度値が小さくなる。そのため、予備発光を行うことで輝度値が大きく変化したブロックの輝度値だけで算出した平均輝度値を用いる場合よりも、予備発光画像データと調光用非発光画像データとの平均輝度値の差分は小さくなる。すなわち、予備発光に対する反射光量は実際よりも小さく算出される。

以上のように、予備発光を行うことで輝度値が大きく変化したブロックの輝度値に基づいて予備発光に対する反射光量を算出することで、予備発光に対する反射光量を精度よく算出することができる。

また、ステップＳ２１５にて、制御部１０２は、算出した予備発光に対する反射光量に基づいて、ステップＳ２１１で決定した露出条件における本発光量の決定も行う。予備発光量に対する反射光量と本発光量との関係について図５、図６を用いて説明する。図５は、予備発光に対する反射光量が少ない場合の本発光量を説明する図であり、図６は、予備発光に対する反射光量が多い場合の本発光量を説明する図である。なお、以下では、予備発光に対する反射光量を算出するために行った撮影時の露出条件と、ステップＳ２１１で決定した発光撮影時の露出条件との違いを加味して本発光量を算出しているものとする。また、図５、図６における輝度値は、予備発光画像データと調光用非発光画像データとで輝度値の変化量が所定値よりも大きいブロックの平均輝度値とする。

図５に示したように、予備発光画像データから算出した輝度値が小さい（予備発光に対する反射光量が小さい）場合、本発光画像データの輝度値を適正輝度値とするために必要となる本発光量による輝度増加分は大きい。前述したように、予備発光量は発光部１１０の最大発光量に比べて十分小さい発光量であるため、本発光量を予備発光量よりも大きくすることで対応できる可能性が高い。

一方、図６に示したように、予備発光画像データから算出した輝度値が大きい（予備発光に対する反射光量が大きい）場合、本発光画像データの輝度値を適正輝度値とするために必要となる本発光量による輝度増加分は小さい。本発光画像データの輝度値を適正輝度値とするための発光量で発光部１１０を発光可能であれば問題ないが、本発光画像データの輝度値を適正輝度値とするための発光量が発光部１１０の制御可能な最小発光量を下回る場合もある。その場合、本発光画像データの輝度値は発光量のオーバー分だけ適正輝度値よりも大きくなり、例えば、図４に示した夜景を背景とした人物撮影シーンにおいて人物が露出オーバーになってしまうことが考えられる。

そこで、被写体が露出オーバーになることを抑制しつつ違和感のない良好な合成画像を取得できるように、ステップＳ２１６以降の処理を行う。

ステップＳ２１６では、制御部１０２は、ステップＳ２１５で算出した本発光量が発光部１１０の最小発光量よりも小さいか否かを判断する。

ステップＳ２１５で算出した本発光量が最小発光量よりも小さい場合、発光撮影時の露出条件を新たに決定する（ステップＳ２１７）。ステップＳ２１７では、ステップＳ２１１で決定した露出条件よりも露出アンダーの露出条件となるように、新たな露出制御値である、絞り値（Ａｖｆ２）、シャッタスピード（Ｔｖｆ２）、撮影感度（Ｓｖｆ２）を決定する。なお、絞り値（Ａｖｆ２）、シャッタスピード（Ｔｖｆ２）、撮影感度（Ｓｖｆ２）のすべてがステップＳ２１１で決定した露出制御値と異なっている必要はなく、少なくとも１つが異なっていればよい。また、ステップＳ２１７では、ステップＳ２１１で決定した露出制御値と、ステップＳ２１５で算出した本発光量と発光部１１０の最小発光量との差分と、に基づいて新たな露出制御値を決定する。例えば、予備発光画像データと調光用非発光画像データとで輝度値の変化量が所定値よりも大きいブロックの平均輝度値が、発光部１１０を最小発光量以上の発光量で発光させたときに適正輝度値となるように露出制御値を決定する。さらに、露出制御値を新たに決定するとともに発光部１１０の本発光量も新たに決定する。本実施形態では、本発光量を最小発光量にし、輝度値の変化量が所定値よりも大きいブロックの平均輝度値が、発光部１１０を最小発光量で発光させたときに適正輝度値となるように、撮影感度（Ｓｖｆ２）を撮影感度（Ｓｖｆ１）よりも低くする例で説明する。

続いて、制御部１０２は、ステップＳ２１７で決定した露出条件及び本発光量で発光撮影を行う（ステップＳ２１８）。このように、予備発光画像データと調光用非発光画像データとに基づいて発光撮影時の露出条件を新たに決定することで、被写体が露出オーバーになることを抑制することができる。

次に、制御部１０２は、ステップＳ２１７で決定した露出条件に基づいて、非発光撮影時の露出条件を決定する（ステップＳ２１９）。前述したように、背景の明るい非発光画像を得るために、非発光撮影時の撮影感度は発光撮影時の撮影感度よりも相対的に高くする。すなわち、非発光撮影時の撮影感度（Ｓｖ２）を発光撮影時の撮影感度（Ｓｖｆ２）よりも相対的に高くする。その他の非発光撮影時の露出制御値である、絞り値（Ａｖ２）、シャッタスピード（Ｔｖ２）は、違和感のない良好な合成画像を得るためには、発光撮影時と等しくすることが好ましい。しかしながら、撮影感度も含め、非発光撮影時の露出が発光撮影時の露出よりも明るくなるように予め記憶されたプログラム線図に従って各露出制御値を決定しても構わない。本実施形態では、絞り値（Ａｖ２）は絞り値（Ａｖｆ２）と、シャッタスピード（Ｔｖ２）はシャッタスピード（Ｔｖｆ２）と等しくし、撮影感度（Ｓｖ２）を撮影感度（Ｓｖｆ２）よりも１段高くする例で説明する。

なお、非発光撮影時の撮影感度（Ｓｖ２）と発光撮影時の撮影感度（Ｓｖｆ２）との差は、発光画像データと非発光画像データとのノイズの差に基づいて決定すればよく、発光画像データと非発光画像データとのノイズの差が小さければ１段より大きくても構わない。

また、前述したように、非発光画像データを合成させて非発光合成画像データを生成することで、撮影感度を高くして非発光撮影を行ってもノイズの影響を低減させることができる。すなわち、非発光画像データの数が多いほどノイズの影響を低減することができるので、非発光撮影の回数に応じて非発光撮影時と発光撮影時との露出差を設定しても構わない。例えば、非発光撮影の回数が第１の回数のときよりも、非発光撮影の回数が第１の回数より多い第２の回数のときのほうが、露出差を大きくしてもよい。

続いて、制御部１０２は、ステップＳ２１９で決定した露出条件で非発光撮影を行う。（ステップＳ２２０）。前述したように非発光撮影は１回行っても２回以上行ってもよいが、本実施形態では、連続して３回の非発光撮影を行う例で説明する。

こうして１回の発光撮影と３回の非発光撮影とを連続して行い得られた１つの発光画像データと３つの非発光画像データは、メモリ部１０９に一時的に記憶される。

その後、メモリ部１０９に一時的に記憶された１つの発光画像データと３つの非発光画像データを用いて画像合成処理を行い合成画像データを生成する（ステップＳ２２１）。この発光画像データと非発光画像データを用いた画像合成処理については後述する。

ステップＳ２１５で算出した本発光量が最小発光量よりも小さくない場合、ステップＳ２１１で決定した露出条件及びステップＳ２１５で算出した本発光量で発光撮影を行う（ステップＳ２２２）。

次に、制御部１０２は、ステップＳ２１１で決定した露出条件に基づいて、非発光撮影時の露出条件を決定する（ステップＳ２２３）。ステップＳ２２３でも、ステップＳ２１９と同様に、背景の明るい非発光画像を得るために、非発光撮影時の撮影感度は発光撮影時の撮影感度よりも相対的に高くする。すなわち、非発光撮影時の撮影感度（Ｓｖ３）を発光撮影時の撮影感度（Ｓｖｆ）よりも相対的に高くする。その他の非発光撮影時の露出制御値である、絞り値（Ａｖ３）、シャッタスピード（Ｔｖ３）は、違和感のない良好な合成画像を得るためには、発光撮影時と等しくすることが好ましいが、予め記憶されたプログラム線図に従って決定しても構わない。本実施形態では、絞り値（Ａｖ３）は絞り値（Ａｖｆ）と、シャッタスピード（Ｔｖ３）はシャッタスピード（Ｔｖｆ）と等しくし、撮影感度（Ｓｖ３）を撮影感度（Ｓｖｆ）よりも１段高くする例で説明する。

なお、非発光撮影時の撮影感度（Ｓｖ２）と発光撮影時の撮影感度（Ｓｖｆ２）との差は、発光画像データと非発光画像データとのノイズの差に基づいて決定すればよく、発光画像データと非発光画像データとのノイズの差が小さければ１段より大きくても構わない。

続いて、制御部１０２は、ステップＳ２２３で決定した露出条件で非発光撮影を行う。（ステップＳ２２４）。前述したように非発光撮影は１回行っても２回以上行ってもよいが、本実施形態では、連続して３回の非発光撮影を行う例で説明する。

こうして１回の発光撮影と３回の非発光撮影とを連続して行い得られた１つの発光画像データと３つの非発光画像データは、メモリ部１０９に一時的に記憶される。

その後、メモリ部１０９に一時的に記憶された１つの発光画像データと３つの非発光画像データを用いて画像合成処理を行い合成画像データを生成する（ステップＳ２２５）。

以上のようにして、予備発光させたときの被写体の輝度に関する情報に基づいて発光撮影時の露出条件と非発光撮影時の露出条件を決定することで、発光撮影時に露出オーバーや露出アンダーになることを抑制することができる。また、発光撮影時と非発光撮影時との露出条件の差を適切に設定することができ、良好な合成画像を取得することができる。

なお、ステップＳ２０５、Ｓ２０６などでは、ステップＳ２０３にて算出された輝度値に基づいて各処理を行っているが、ＳＷ１がオンされた後に画像データを取得し、取得された画像データに基づいて輝度値を算出して各処理に用いても構わない。

また、ステップＳ２１５では、調光用非発光画像データと予備発光画像データとの比較結果から予備発光に対する反射光量を算出しているが、外光の影響が小さければ予備発光画像データのみから予備発光に対する反射光量を算出しても構わない。

また、ステップＳ２１５では、予備発光画像データと調光用非発光画像データとで輝度値の変化量が所定値よりも大きいブロックの平均輝度値を用いているが、ブロック毎に重み付けを変えた加重平均輝度値を用いてもよい。

また、ステップＳ２１６で算出した発光量と最小発光量との比較を行っているが、算出した発光量と最大発光量との比較を行っても構わない。算出した発光量が最大発光量よりも大きい場合には、算出した発光量が最小発光量よりも小さい場合とは逆に本発光画像データの輝度値は発光量のアンダー分だけ適正輝度値よりも小さくなる。そこで、算出した発光量が最大発光量よりも大きい場合に、ステップＳ２１１で決定した露出制御値と、ステップＳ２１５で算出した本発光量と発光部１１０の最大発光量との差分と、に基づいて新たな露出制御値を決定してもよい。例えば、予備発光画像データと調光用非発光画像データとで輝度値の変化量が所定値よりも大きいブロックの平均輝度値が、発光部１１０を最大発光量未満の発光量で発光させたときに適正輝度値となるように露出制御値を決定すればよい。

また、ステップＳ２１９では、非発光撮影時の露出条件を、ステップＳ２１７で決定された発光撮影時の露出条件に基づいて決定しているが、ステップＳ２１１で決定された露出条件と予備発光画像データと調光用非発光画像データとに基づいて決定しても構わない。あるいは、上述したように外光の影響が小さければ、ステップＳ２１１で決定された露出条件と予備発光画像データとに基づいて非発光撮影時の露出条件を決定しても構わない。

次に、ステップＳ２２１、２２５で実行される画像合成処理の一例について、図７、図８を用いて説明する。図７は、画像合成処理における各画像データと実行する処理の関係を示した図であり、各画像データの違いを明確にするために、各画像データに対応する画像を示している。図８は、画像合成処理に関する処理を示したフローチャートである。なお、ステップＳ２２１、２２５で実行される画像合成処理は、図７、図８を用いて説明する方法以外でもよく、発光画像データと非発光画像データとに基づいて合成画像を取得する他の公知の方法も適用可能である。

画像合成処理では、先ず、画像処理部１０５が、発光画像データ（図７の７０１）に対して一律のゲイン量（デジタルゲイン量）を掛ける処理（以下「デジタルゲイン処理」という）を行う。そして、処理された発光画像データ（図７の７０５）をメモリ部１０９に一時的に記憶させる（ステップＳ８０１）。

ステップＳ８０１で用いるゲイン量Ｇは、発光撮影時の撮影感度と非発光撮影時の撮影感度との差を補償するように、制御部１０２によって下記の［式１］により決定される。
Ｇ＝２＾（発光撮影時の撮影感度と非発光撮影時の撮影感度との差）・・・［式１］
本実施形態では、発光撮影時の撮影感度を非発光時の撮影感度よりも１段低くしているため、［式１］によれば、ゲイン量Ｇは２倍となる。発光画像データにおける人物領域は、発光部１１０を発光させることにより適正輝度値となっているため、デジタルゲイン処理後では、人物領域の輝度値は適正輝度値よりも大きくなる。一方、背景領域は、デジタルゲイン処理後は撮影感度の差が補償されるため、非発光画像データと略等しい輝度値となる。

ステップＳ８０１の後、画像処理部１０５が、メモリ部１０９に一時記憶された５つの画像データ（図７の７０１〜７０５）のそれぞれに対して現像処理を行う（ステップＳ８０２）。現像処理では、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などが行われる。こうして、画像処理部１０５はＹＵＶ（Ｙ：輝度信号、Ｕ：輝度信号と青色成分の差、Ｖ：輝度信号と赤色成分の差）画像データを生成し、メモリ部１０９に一時的に記憶させる。このように全ての画像データに対して同じ条件で現像処理を施すことにより、画像データ間の差分が判定し易くなるため、後に行う発光画像データと非発光画像データとの合成処理が行い易くなる。なお、メモリ部１０９に一時記憶された４つの画像データ（図７の７０１〜７０４）については、ステップＳ８０２で現像処理を行う必要はなく、各画像データが得られたタイミングでそれぞれ現像処理を行って構わない。すでに現像処理されている画像データについては、ステップＳ８０２で現像処理を省略してもよい。

なお、ステップＳ８０２の現像処理は、発光画像データであるか非発光画像データであるかを問わず、同一条件で行われる。例えば、ホワイトバランス処理に使用されるホワイトバランス補正係数は、発光画像データと非発光画像データの双方について、発光画像データにおける補助光が無彩色になるようなホワイトバランス係数を用いる。これにより、主被写体である人物の色合いが適切になる。ただしホワイトバランス係数についてはこれに限定されるものではなく、どのような係数を用いてもよい。

ステップＳ８０２の終了後、画像処理部１０５は、４つの画像データ（図７の７０２〜７０５）の間に発生した位置ずれの補正（以下「ブレ補正」という）処理を行う（ステップＳ８０３）。ブレ補正処理は、位置合わせ基準画像データに対して、位置合わせ対象画像データの位置ずれ量を検出し、検出された位置ずれ量に応じて位置合わせ対象画像データを補正することにより行われる。

本実施形態では、デジタルゲイン処理後の発光画像データを位置合わせ基準画像データとし、以降の撮影で取得された複数の非発光画像データを位置合わせ対象画像データとする例で説明する。

なお、複数の非発光画像データのうちの１つを位置合わせ基準画像データとし、残りの非発光画像データと発光画像データを位置合わせ対象画像データとしてもよい。また、撮影順も始めに発光撮影を行わなくてもよいが、始めに発光撮影を行うことで、主被写体である人物のシャッタチャンスを捉え易くなる。

ここで、デジタルゲイン処理前の発光画像データではなくデジタルゲイン処理後の発光画像データを用いるのは、位置合わせ基準画像データと位置合わせ対象画像データとの輝度値の差が小さいほうが、位置合わせ精度が向上するためである。なお、発光画像データにおいて発光部１１０に照らされた領域は、非発光画像データの同領域と輝度値の差が大きく異なるため、位置ずれ量の検出対象から除外することが好ましい。

ステップＳ８０３の終了後、画像処理部１０５は、ステップＳ８０１のデジタルゲイン処理後の発光画像データとステップＳ８０３のブレ補正処理後の非発光画像データとを用いて画素毎に平均値を算出し、平均画像データを生成する（ステップＳ８０４）。

このように複数の画像データを平均化することで、背景の明るさを変えずにノイズの少ない画像データを得ることができる。本実施形態では、複数の非発光画像データだけではなくデジタルゲイン処理後の発光画像データも含めて平均化する例を説明する。複数の非発光画像データだけではなくデジタルゲイン処理後の発光画像データも含めて平均化することで、複数の非発光画像データだけを平均化するよりもノイズ低減効果を更に高めることができる。

ステップＳ８０４で生成した平均画像データ（図７の７０６）は、背景領域は適正な明るさとなっているが、人物領域は適切な明るさになっていない。

そこで、画像処理部１０５は、発光画像データにおいて画素毎に発光部１１０に照らされている量（以下「照明量」という）を算出する（ステップＳ８０５）。

ステップＳ８０５の照明量算出処理では、先ず、デジタルゲイン処理後の発光画像データとブレ補正処理後の非発光画像データのそれぞれにローパスフィルタを掛け、低周波画像データを得る。こうしてローパスフィルタを掛けることで、ノイズの影響を小さくして照明量の算出精度を向上させることができる。また、用いる非発光画像データを発光撮影に最も近い非発光撮影で得られた非発光画像データとすることで、主被写体である人物のブレ等の影響を最小限に抑えることができる。

そして、この２つの画像データの輝度信号Ｙの差分（輝度差）を画素毎に算出する。この発光画像データと非発光画像データとの輝度差の大小が照明量の大小に相当する。ゲイン処理後の発光画像データを用いることで、発光部１１０に照らされていない画素の輝度信号Ｙは発光画像データと非発光画像データとで略一致するので、輝度差が大きい画素であるほど、照明量が多いことになる。

なお、本実施形態では、２つの画像データの輝度差から照明量を算出しているが、更に色差Ｕ，Ｖの差分に基づいて算出する構成としてもよい。

こうして算出された画素毎の照明量は、メモリ部１０９に記憶される。

次に、画像処理部１０５は、デジタルゲイン処理前の発光画像データ（図７の７０１）とステップＳ８０４で生成した平均画像データ（図７の７０６）とを、ステップＳ８０５で算出した画素毎の照明量に基づいた合成比率で画素毎に合成する（ステップＳ８０６）。画像データの合成は以下の［式２］に基づいて行われ、合成比率における発光画像データの比率ｋ（０≦ｋ≦１）は、照明量が大きいほど大きい値とする。なお、比率ｋは、照明量に応じて連続的ではなく段階的に変化させてもよいし、照明量が所定値未満であれば照明量に応じて変化させ所定値以上であればｋ＝１としてもよい。
合成後信号＝発光画像データ×ｋ＋平均画像データ×（１−ｋ）・・・［式２］
これにより、ステップＳ２２５の画像合成処理が終了する。

以上のように画像合成処理を行うことで、発光装置を発光させて撮影して取得した画像データと発光装置を発光させずに撮影して取得した画像データとを合成して、良好な合成画像を取得することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、上記の実施形態では、カメラに内蔵された発光部を用いて発光撮影を行う例を説明したが、カメラに着脱可能な発光装置を用いて発光撮影を行う構成でも構わない。

また、上記の実施形態では、予めユーザにより画像合成撮影モードが選択されている例を説明したが、被写体の動き量や明るさなどに基づいて撮影シーンを判別する機能を有し、シーン判別の結果に基づいて自動的に画像合成撮影モードが選択されても構わない。

また、上記の実施形態では、電源スイッチがオンされると撮像素子１０３の露光を開始させる例を説明したが、撮影動作の開始指示が入力されると撮像素子１０３の露光を開始させる構成でも構わない。その場合、画像処理部１０５から出力される画像データに基づいて露出条件を決定するのではなく、撮像素子１０３とは異なる測光センサを有し、被写体の輝度に関する情報である測光センサの測光結果に基づいて露出条件を決定するようにすればよい。

また、上記の実施形態では、カメラ１００の画像合成部１１６で画像合成を行う例を説明したが、カメラ１００で複数回の撮影を行い、取得した複数の画像データを外部機器に送信して外部機器で画像合成を行う構成であってもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ カメラ
１０２ 制御部
１０３ 撮像素子
１０５ 画像処理部
１０６ 輝度算出部
１１０ 発光部
１１１ 発光制御部
１１６ 画像合成部

Claims (15)

1. 被写体を撮像して画像データを出力する撮像手段と、
   前記被写体の輝度に関する情報を取得する取得手段と、
   前記取得手段により取得された発光装置を予備発光させたときの前記被写体の輝度に関する情報に基づいて、前記発光装置の本発光量を算出する算出手段と、
   前記取得手段により取得された前記輝度に関する情報に基づいて撮影時に用いる露出制御値を決定する決定手段と、を有し、
   前記撮像手段は、前記発光装置を発光させて行う発光撮影と前記発光装置を発光させずに行う非発光撮影とを含む複数回の撮影により画像合成処理の対象となる複数の画像データを出力し、
   前記決定手段は、前記算出手段により算出された本発光量に応じて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする撮像装置。
2. 前記決定手段は、前記算出手段により算出された本発光量が前記発光装置の制御可能な最小発光量よりも小さい場合に、前記算出手段により算出された本発光量に基づいて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記算出手段により算出された本発光量が前記最小発光量よりも小さい場合に、前記算出手段により算出された本発光量と前記最小発光量との差分に基づいて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記決定手段は、前記最小発光量よりも小さい場合に、前記算出手段により算出された本発光量と前記最小発光量との差分に基づいて、前記取得手段により取得された前記発光装置を発光させていないときの前記被写体の輝度に関する情報に基づいて決定された前記発光撮影時及び前記非発光撮影時の露出制御値を変更することを特徴とする請求項３に記載の撮像装置。
5. 前記決定手段は、前記算出手段により算出された本発光量が前記発光装置の制御可能な最大発光量よりも大きい場合に、前記算出手段により算出された本発光量に基づいて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項１に記載の撮像装置。
6. 前記決定手段は、前記算出手段により算出された本発光量が前記最大発光量よりも大きい場合に、前記算出手段により算出された本発光量と前記最大発光量との差分に基づいて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項５に記載の撮像装置。
7. 前記決定手段は、前記算出手段により算出された本発光量が前記最大発光量よりも大きい場合に、前記算出手段により算出された本発光量と前記最大発光量との差分に基づいて、前記取得手段により取得された前記発光装置を発光させていないときの前記被写体の輝度に関する情報に基づいて決定された前記発光撮影時及び前記非発光撮影時の露出制御値を変更することを特徴とする請求項６に記載の撮像装置。
8. 前記決定手段は、前記非発光撮影時の露出が前記発光撮影時の露出よりも明るくなるように前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 前記複数回の撮影では前記非発光撮影が２回以上行われ、
   前記決定手段は、前記複数回の撮影における前記非発光撮影の回数に応じた露出差となるように前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項８に記載の撮像装置。
10. 前記決定手段は、前記複数回の撮影における前記非発光撮影の回数が第１の回数のときよりも、前記非発光撮影の回数が前記第１の回数より多い第２の回数のときのほうが、前記露出差が大きくなるように前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする請求項９に記載の撮像装置。
11. 前記決定手段は、前記非発光撮影時の撮影感度を前記発光撮影時の撮影感度よりも高くすることを特徴とする請求項８ないし１０のいずれか１項に記載の撮像装置。
12. 前記複数回の撮影が行われて前記撮像手段から出力された複数の画像データに基づいて画像合成処理を行う画像合成手段を有することを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
13. 被写体を撮像して画像データを出力する撮像手段を有する撮像装置の制御方法であって、
    前記被写体の輝度に関する情報を取得する取得ステップと、
    前記取得ステップで取得された発光装置を予備発光させたときの前記被写体の輝度に関する情報に基づいて、前記発光装置の本発光量を算出する算出ステップと、
    前記取得ステップにより取得された前記輝度に関する情報に基づいて撮影時に用いる露出制御値を決定する決定ステップと、
    前記撮像手段が、前記発光装置を発光させて行う発光撮影と前記発光装置を発光させずに行う非発光撮影とを含む複数回の撮影により画像合成処理の対象となる複数の画像データを出力するステップと、を有し、
    前記決定ステップは、前記算出ステップで算出された本発光量に応じて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする撮像装置の制御方法。
14. 被写体を撮像して画像データを出力する撮像手段を有する撮像装置で用いられるプログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記被写体の輝度に関する情報を取得する取得ステップと、
    前記取得ステップで取得された発光装置を予備発光させたときの前記被写体の輝度に関する情報に基づいて、前記発光装置の本発光量を算出する算出ステップと、
    前記取得ステップにより取得された前記輝度に関する情報に基づいて撮影時に用いる露出制御値を決定する決定ステップと、
    前記撮像手段が、前記発光装置を発光させて行う発光撮影と前記発光装置を発光させずに行う非発光撮影とを含む複数回の撮影により画像合成処理の対象となる複数の画像データを出力するステップと、を実行させ、
    前記決定ステップは、前記算出ステップで算出された本発光量に応じて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とするプログラム。
15. 被写体を撮像して画像データを出力する撮像手段を有する撮像装置で用いられるプログラムが記憶された、コンピュータで読み取り可能な記憶媒体であって、
    前記プログラムは前記撮像装置が備えるコンピュータに、
    前記被写体の輝度に関する情報を取得する取得ステップと、
    前記取得ステップで取得された発光装置を予備発光させたときの前記被写体の輝度に関する情報に基づいて、前記発光装置の本発光量を算出する算出ステップと、
    前記取得ステップにより取得された前記輝度に関する情報に基づいて撮影時に用いる露出制御値を決定する決定ステップと、
    前記撮像手段が、前記発光装置を発光させて行う発光撮影と前記発光装置を発光させずに行う非発光撮影とを含む複数回の撮影により画像合成処理の対象となる複数の画像データを出力するステップと、を実行させ、
    前記決定ステップは、前記算出ステップで算出された本発光量に応じて、前記発光撮影時及び前記非発光撮影時の露出制御値を決定することを特徴とする記憶媒体。