JP5123828B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に動体を撮影する場合のストロボ発光量を正確に算出する撮像装置に関する。

特許文献１のように、ストロボ発光を伴う本撮影を行う前に、プリ発光を行い、プリ発光により得られた画像に基づいて本撮影におけるストロボの発光量を決定する撮像装置が提案されている。具体的に本撮影におけるストロボの発光量は、プリ発光を行ったフレームで得られた画像の輝度値と、プリ発光を行わないフレームで得られた画像の輝度値との差異に基づいて、決定される。
特開２００２−３５９７７４号公報

しかし、動体（撮像装置に対して相対的に動きがある対象物）を撮影する場合、プリ発光時のフレーム画像とプリ発光を行わないフレーム画像とで動体の位置が変動しているため、フレーム画像全体の輝度値の差異だけでは、正確な発光量を算出することができない。

したがって本発明の目的は、動体を撮影する際のストロボ発光量を正確に算出する撮像装置を提供することである。

本発明に係る撮像装置は、レリーズボタンの操作に対応してプリ発光と、プリ発光後に行われる本撮影の時の発光を行うストロボと、プリ発光の前に行われる撮像で得られる複数のフレーム画像に基づいて、複数のフレーム画像に動体が含まれるか否かの判別、及び動体の動きベクトルの特定を行う演算部とを備え、演算部は、複数のフレーム画像に動体が含まれると判断した場合に、動きベクトルに基づいて、ストロボの発光を伴わない第１撮像で得られる第１フレーム画像において推定される動体の領域、及びストロボのプリ発光を伴う第２撮像で得られる第２フレーム画像において推定される動体の領域を算出し、第１フレーム画像における動体の領域の輝度値と、第２フレーム画像における動体の領域の輝度値とに基づいて、本撮影におけるストロボの発光量を算出する。

被写体に動体が含まれている場合、プリ発光を行わない時に行われる第１撮像で得られる第１フレーム画像と、プリ発光を行う時に行われる第２撮像で得られる第２フレーム画像とでは、時間差があるため動体の位置が異なる。このため、第１、第２フレーム画像における動体の位置や大きさを、レリーズボタンの全押し前などプリ発光前に求められた動体の動きベクトルなどから算出し、第２フレーム画像における動体の領域の輝度値と、第１フレーム画像における動体の領域の輝度値とに基づいて、本撮影時のストロボの発光量を算出する。これにより、かかる動体の動きを予測せず、第１、第２フレーム画像の全体の輝度値に基づいて本撮影時の発光量を算出する形態に比べて、正確にストロボの発光量を算出することが可能になる。

好ましくは、演算部は、動きベクトルに基づいて、本撮影で得られる第３フレーム画像において推定される動体の大きさを算出し、第３フレーム画像における動体の大きさを考慮して発光量を算出する。

また、撮像装置１と動体の距離が変化するなど、フレーム画像上の動体の大きさが変化する場合には、動体の動きベクトルなどから、本撮影で得られる第３フレーム画像において推定される動体の領域（大きさ）をも考慮して、ストロボの発光量を算出する。これにより、さらに正確にストロボの発光量を算出することが可能になる。

また、好ましくは、演算部は、レリーズボタンの全押しが行われる前の撮像で得られる複数のフレーム画像に基づいて、複数のフレーム画像に動体が含まれるか否かの判別、及び動体の動きベクトルの特定を行う。

レリーズボタンの全押し前の撮像で得られるフレーム画像に基づいて、動体が含まれるか否かの判別などが行われるため、レリーズボタンの全押し後の撮像で得られるフレーム画像に基づく場合に比べて、レリーズボタンの全押し後の演算処理が大きく増加せず、レリーズタイムラグの発生を抑えることが可能になる。

以上のように本発明によれば、動体を撮影する際のストロボ発光量を正確に算出する撮像装置を提供することができる。

以下、本実施形態について、図を用いて説明する。撮像装置１は、デジタルカメラである。撮像装置１の撮像に関する部分は、撮像装置１の電源のオンオフ状態の切り替えのために使用される電源ボタン９、レリーズボタン１３、各部の制御を行う制御部３０、レンズ駆動部４５、露出制御部４７、レンズ５１、ＣＣＤなどの撮像素子５３、ＡＦＥ（アナログフロントエンド）５５、ＤＳＰ（映像信号処理回路）６０、ストロボ６５、記録部７０、及び表示部９０を備える（図１参照）。

被写体像は、レンズ５１を介した光学像として、撮像素子５３で撮像される。撮像により得られた画像データは、ＡＦＥ５５でアナログ信号からデジタル信号に変換され、ＤＳＰ６０で画像処理が施される。かかる動作が一定時間（１／３０秒）ごとに行われ、表示部９０に、画像データに基づいてスルー画像が表示される（ライブビュー表示）。

ＤＳＰ６０は、一定時間ごとの撮像で得られる複数のフレーム間で、フレーム画像を比較し、変化がある部分を検出して、フレーム画像に動体（撮像装置１に対して相対的に動きがある対象物）が含まれているか否かを判断する。含まれている場合には、ＤＳＰ６０は、かかる動体の動きベクトル（位置、大きさ、移動方向、及び移動速度）を特定する。フレーム画像に動体が含まれているか否かの判断、及び動体の動きベクトルの特定は、一定時間ごとで且つレリーズボタン１３が全押しされるまで行われ、最新の情報がＤＳＰ６０または制御部３０などに一時記録される。これらの情報であってレリーズボタン１３が全押しされる直前のものは、本撮影時のストロボ６５の発光量の算出に使用される。また、本撮影の終了後は、再び、フレーム画像に動体が含まれているか否かの判断、及び動体の動きベクトルの特定が行われる。

レリーズボタン１３は、半押しすることにより測光スイッチ（不図示）がオン状態にされ測光やレンズ駆動部４５による測距及び合焦動作が行われる。測光は、撮像素子５３における撮像で得られた画像データに基づいて行われる。具体的には、ＤＳＰ６０は、画像処理において生成される輝度信号から測光領域における輝度値（被写体の明るさに関する情報）を求め、これを測光結果として、制御部３０に出力する。制御部３０は、輝度値に基づいて適正な露出（絞りや露光時間）を算出する（露出演算）。測距は、撮像で得られた画像データから、ＡＦ領域に対応する部分の画像のコントラストに基づいて行われる。

本実施形態では、レリーズボタン１３の半押し後に、測光や測距を開始する形態で説明したが、電源ボタン９を使って撮像装置１の電源がオン状態にされた後、常時測光や測距を行う形態であってもよい。この場合は、レリーズボタン１３の半押しされると、測光や測距動作が停止され、半押しされる直前の測光や測距結果が、本撮影に使用される。

レリーズボタン１３は、全押しすることによりレリーズスイッチ（不図示）がオン状態にされ、制御部３０で算出された露出で撮像が行われるように、露出制御部４７により絞りや露光時間が制御された状態で、本撮像が行われる。撮像により得られた画像データに対応する画像は、ＤＳＰ６０における画像処理後に、表示部９０に表示され、画像データは記録部７０に記録される。

撮像装置がストロボ６５の発光モードに設定されている場合には、レリーズボタン１３の全押し後に、制御部３０の制御に基づいて、ストロボ６５の発光をしない状態での第１撮像と、ストロボ６５によるプリ発光を行った状態での第２撮像とを行い、制御部３０は、第１、第２撮像で得られた画像データに基づいて本撮影におけるストロボ６５の発光量を算出する（調光）。その後行われる本撮影では、ストロボ６５は、調光で算出された発光量で発光する。なお、ストロボ６５は、撮像装置１と一体で構成される形態であってもよいし、別体で構成される形態であってもよい。

本撮影におけるストロボ６５の発光量の算出について具体的に説明する。制御部３０は、レリーズボタン１３が全押しされる直前に一時記録されたフレーム画像に動体が含まれているか否かの判断結果を読み出しし、フレーム画像に動体が含まれている場合には、第１発光量演算を行い、フレーム画像に動体が含まれていない場合には、第２発光量演算を行う。

第１発光量演算を行う場合には、制御部３０は、レリーズボタン１３が全押しされる直前に一時記録された動体の動きベクトルの情報に基づいて、第１撮像時において推定される動体の第１フレーム画像上の位置や大きさ（図２参照）、及び第２撮像時において推定される動体の第２フレーム画像上の位置や大きさ（図３参照）を算出する。

図２の左上は、第１撮像により得られる第１フレーム画像であり、右下は第１フレーム画像における動体領域とその周辺の輝度値分布を示す。図３の左上は、第２撮像により得られる第２フレーム画像であり、右下は第２フレーム画像における動体領域とその周辺の輝度値分布を示す。

なお、第２フレーム画像における動体の位置や大きさを、レリーズボタン１３の全押し前に求められる動きベクトルの情報から推定するのは、プリ発光時の撮像で得られる第２フレーム画像は、ストロボ６５のプリ発光により、プリ発光前の撮像で得られる第１フレーム画像に比べて、被写体の輝度が大きく変化しており、第１、第２フレーム画像の比較だけでは、第２フレーム画像における動体を特定することが困難であると考えられるからである。

第１、第２撮像の後、制御部３０は、第２フレーム画像における動体の領域の輝度値の代表値（または平均値）と、第１フレーム画像における動体であると判断された領域の輝度値の代表値（または平均値）との差異に基づいて、本撮影におけるストロボ６５の発光量を算出する。

更に、動体と撮像装置１との距離が変化している場合など、レリーズボタン１３の全押し前に求められる動きベクトルの情報から動体の大きさが変動していると判断した場合には、制御部３０は、本撮影時に得られる第３フレーム画像において推定される動体の領域の大きさを算出し、かかる領域の大きさをも、本撮影におけるストロボ６５の発光量計算に反映させる。たとえば、第３フレーム画像における動体の領域が小さくなる場合には、発光量を多くするように制御し、動体の領域が大きくなる場合には、発光量を少なくするように制御する。

第２発光量演算を行う場合には、制御部３０は、レリーズボタン１３の全押し前に求められる動きベクトルの情報を用いず、第２フレーム画像の輝度値の代表値（または平均値）と、第１フレーム画像の輝度値の代表値（または平均値）との差異に基づいて、本撮影におけるストロボ６５の発光量を算出する（通常の発光量演算）。

次に、レリーズボタン１３を全押ししてから本撮影が行われるまでの手順を図３のフローチャートを用いて説明する。レリーズボタン１３が全押しされると、ステップＳ１１で、制御部３０は、撮像装置１がストロボ発光モードにされているか否かを判断する。ストロボ発光モードにされている場合には、ステップＳ１２に進められ、されていない場合には、ステップＳ１５に進められる。ステップＳ１２で、制御部３０は、レリーズボタン１３が全押しされる直前に一時記録されたフレーム画像に動体が含まれているか否かの判断結果を読み出しし、被写体（フレーム画像）に動体が含まれているか否かを判断する。含まれている場合には、ステップＳ１３に進められ、含まれていない場合には、ステップＳ１４に進められる。

ステップＳ１３で、被写体に動体が含まれている場合に対応したストロボ６５の第１発光量演算が行われる。かかる演算の詳細は、図５のフローチャートを使って後述する。ステップＳ１４で、被写体に動体が含まれていない場合に対応したストロボ６５の第２発光量演算、すなわち通常の発光量演算が行われる。ステップＳ１５で、本撮影が行われ、ストロボ６５は、本撮影において、ステップＳ１３またはステップＳ１４で算出された発光量で発光する。

次に、被写体に動体が含まれている場合に対応したストロボ６５の発光量演算の詳細について、図５のフローチャートを用いて説明する。ステップＳ３１で、レリーズボタン１３が全押しされる直前に一時記録された動きベクトルの情報に基づいて、第１撮像時において推定される動体の第１フレーム画像上の位置や大きさ、及び第２撮像時において推定される動体の第２フレーム画像上の位置や大きさを算出する。ステップＳ３２で、ストロボ６５の発光を伴わない第１撮像、及びストロボ６５によるプリ発光を伴う第２撮像が行われ、ＤＳＰ６０は、ステップＳ３１で算出された第１、第２フレーム画像における動体の領域の輝度値を算出し、制御部３０は、第２フレーム画像における動体の領域の輝度値と、第１フレーム画像における動体の領域の輝度値との差異を算出する。また、レリーズボタン１３が全押しされる直前に一時記録された動きベクトルの情報に基づいて、動体の大きさが変化している場合には、制御部３０は、かかる動きベクトルの情報に基づいて、本撮影時に得られる第３フレーム画像において推定される動体の領域の大きさを算出する。ステップＳ３３で、制御部３０は、かかる輝度値の差異、及び第３フレーム画像における動体の大きさに基づいて、本撮影時のストロボ６５の発光量を算出する。動体の大きさが変化していない場合には、本撮影時のストロボ６５の発光量の算出に、動体の大きさは考慮されない。

被写体に動体が含まれている場合、プリ発光を行わない時に行われる第１撮像で得られる第１フレーム画像と、プリ発光を行う時に行われる第２撮像で得られる第２フレーム画像とでは、時間差があるため動体の位置が異なる。このため、第１、第２フレーム画像における動体の位置や大きさを、レリーズボタン１３の全押し前に求められた動体の動きベクトルなどから算出し、第２フレーム画像における動体の領域の輝度値と、第１フレーム画像における動体の領域の輝度値とに基づいて、本撮影時のストロボ６５の発光量を算出する。これにより、かかる動体の動きを予測せず、第１、第２フレーム画像の全体の輝度値に基づいて本撮影時の発光量を算出する形態に比べて、正確にストロボ６５の発光量を算出することが可能になる。また、レリーズボタン１３の全押し前の撮像で得られるフレーム画像に基づいて、動体が含まれるか否かの判別などが行われるため、レリーズボタン１３の全押し後の撮像で得られるフレーム画像に基づく場合に比べて、レリーズボタン１３の全押し後の演算処理が大きく増加せず、レリーズタイムラグの発生を抑えることが可能になる。

また、撮像装置１と動体の距離が変化するなど、フレーム画像上の動体の大きさが変化する場合には、レリーズボタン１３の全押し前に求められた動体の動きベクトルなどから、本撮影で得られる第３フレーム画像において推定される動体の領域（大きさ）をも考慮して、ストロボ６５の発光量を算出する。これにより、さらに正確にストロボ６５の発光量を算出することが可能になる。

なお、本実施形態では、動体があるか否かの判断、プリ発光時の撮影で得られる第３フレーム画像における動体の位置や大きさの算出を、レリーズボタン１３の全押し前の撮像で得られるフレーム画像に基づいて行う形態で説明したが、レリーズボタン１３の全押し後の撮像で得たフレーム画像に基づいて行う形態であってもよい。

また、フレーム画像における動体の有無の判断や、動きベクトルの特定をＤＳＰ６０が行い、これらに基づいてストロボ６５の発光量の算出を制御部３０で行う形態を説明したが、これらの演算は他の部位で行う形態でも良いし、１つの演算回路（演算部）で行う形態であってもよい。

本実施形態における撮像装置の構成図である。 第１フレーム画像と、第１フレーム画像の輝度値分布を示す図である。 第２フレーム画像と、第２フレーム画像の輝度値分布を示す図である。 本撮影が行われるまでの動作手順を示すフローチャートである。 被写体に動体が含まれている場合に対応したストロボの発光量演算の手順を示すフローチャートである。

符号の説明

１ 撮像装置
９ 電源ボタン
１３ レリーズボタン
３０ 制御部
４５ レンズ駆動部
４７ 露出制御部
５１ レンズ
５３ 撮像素子
５５ ＡＦＥ
６０ ＤＳＰ
６５ ストロボ
７０ 記録部
９０ 表示部

Claims (3)

1. レリーズボタンの操作に対応してプリ発光と、前記プリ発光後に行われる本撮影の時の発光を行うストロボと、
   前記プリ発光の前に行われる撮像で得られる複数のフレーム画像に基づいて、前記複数のフレーム画像に動体が含まれるか否かの判別、及び前記動体の動きベクトルの特定を行う演算部とを備え、
   前記演算部は、前記複数のフレーム画像に動体が含まれると判断した場合に、前記動きベクトルに基づいて、前記ストロボの発光を伴わない第１撮像で得られる第１フレーム画像において推定される前記動体の領域、及び前記ストロボの前記プリ発光を伴う第２撮像で得られる第２フレーム画像において推定される前記動体の領域を算出し、前記第１フレーム画像における前記動体の領域の輝度値と、前記第２フレーム画像における前記動体の領域の輝度値とに基づいて、前記本撮影における前記ストロボの発光量を算出することを特徴とする撮像装置。
2. 前記演算部は、前記動きベクトルに基づいて、前記本撮影で得られる第３フレーム画像において推定される前記動体の大きさを算出し、前記第３フレーム画像における前記動体の大きさを考慮して前記発光量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記演算部は、前記レリーズボタンの全押しが行われる前の撮像で得られる複数のフレーム画像に基づいて、前記判別、及び前記特定を行うことを特徴とする請求項１に記載の撮像装置。

Images