JP2019184899A - 撮像装置 - Google Patents

Abstract

【課題】ストロボのプリ発光時の被写体撮像画像において顔検出精度を向上させることで、レリーズタイムラグを大きくさせることなく顔の輝度が良好な撮像画像を得られるストロボ発光撮像装置を提供すること。【解決手段】撮影時におけるメイン発光前にプリ発光を行う撮像装置であって、被写体との距離を測定する測距手段と、プリ発光量を取得する手段と、レンズの開放絞り値を取得する手段と、プリ発光による被写体撮像画像を取得する手段と、プリ発光による被写体輝度の変化を取得する測距手段と、プリ発光量とレンズ開放絞り値と人物顔領域の反射率に基づき被写体撮像画像に掛けるゲインを算出し、プリ発光画像にゲインを適用した顔検出画像を生成し顔検出を実施して、検出された顔領域に対してプリ発光による測光値に応じてメイン発光量を演算する手段を有することを特徴とする撮像装置。【選択図】図３

Description

本発明は、ストロボのプリ発光と測光を行い、この測光値を用いてメイン発光を制御する撮像装置において、特に画像から顔を検知する方法を持ちプリ発光において被写体の顔を精度よく検知するための撮像装置に関する。

従来、撮影の前に測光センサーで画像信号を取得し、その画像信号を処理することにより測光や顔検出を行う撮像装置が知られている。ストロボのプリ発光と測光を行い、この測光値を用いてメイン発光を制御する撮像装置において、ストロボのプリ発光時に撮像した画像において被写体の顔を検出し測光精度を向上させる撮像装置が知られている。

特開２００５−１８４５０８号公報 特開２０１６−５８８８５号公報

例えば、特許文献１では、ストロボのプリ発光時の画像から顔検出を行い、ストロボ本発光時の精度を向上させる方法が示されている。この中では、あらかじめ被写体に対して行った測距情報とレンズ絞り値と撮像素子の感度とに基づいてプリ発光光量の決定を行うことが示されている。しかし具体的な算出式は示されておらず、またプリ発光による測光画像において顔領域の輝度を適露出にする方法は明示されていない。よってプリ発光による測光画像において顔領域の輝度が適露出でなければ顔検出の精度が低下する問題がある。

例えば、特許文献２では、ストロボを用いない撮影において、撮影前に測光センサーで画像信号を取得し、合焦領域の輝度が適露出になるようにゲインをその画像信号に掛け、通常測光(ストロボを用いない撮影の測光)はカメラ起動時から撮像(シャッターレリーズ)まで繰り返し測光動作を行う間に最適な適露出に到達して顔検出の精度を向上させる方法が開示されている。しかしながら合焦領域の中に顔領域の輝度と異なる輝度を持つ被写体が含まれると顔領域が適露出にならず、顔検出精度が向上しない問題がある。またゲインの決定に繰り返し測光動作を行うが、ストロボ撮影においてプリ発光時の測光を複数回行うには問題がある。

それは、キセノン管によるストロボ閃光発光時間は例えば５０マイクロ秒であるので、１回のプリ発光中に行う測光動作の回数は１回である。よって測光動作を繰り返し行うには複数回プリ発光を行わなくてはならず、発光のためにコンデンサーに蓄えられた電力を消費するので好ましくない点である。

そこで、本発明の目的は、ストロボのプリ発光時の被写体撮像画像において顔検出精度を向上させることで、レリーズタイムラグを増やすことなく顔の輝度が良好な撮像画像を得られるストロボ発光撮像装置を提供することである。

上記目的を達成するために、本発明は、
被写体との距離を測定する測距手段と、
プリ発光量を取得する手段と、
レンズの開放絞り値を取得する手段と、
プリ発光による被写体撮像画像を取得する手段と、
プリ発光による被写体輝度の変化を取得する測距手段と、
前記プリ発光量と前記レンズ開放絞り値と人物顔領域の反射率に基づき被写体撮像画像に掛けるゲインを算出するゲイン算出手段と、
プリ発光による被写体撮像画像にゲインを適用し顔検出画像を生成する被写体撮像画像ゲイン適用手段と
前記ゲインが適用され生成された顔検出画像を基に、前記被写体撮像画像内における顔領域を検出する顔領域検出手段と、
前記顔領域検出手段により検出された顔領域を前記プリ発光による測光値に応じてメイン発光量を演算する演算手段と、
前記演算手段により演算された前記メイン発光量に基づいてストロボを制御して撮影を
行うように制御する制御手段と
を有することを特徴とする。

本発明によれば、ストロボのプリ発光時の被写体撮像画像において顔検出精度を向上させることで、レリーズタイムラグを大きくさせることなく顔の輝度が良好な撮像画像を得られるストロボ発光撮像装置を提供することである。

装置構成 撮影フロー 撮影フロー 顔画像

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
以下、図１は本実施形態にかかる撮像装置の構成図である。本実施形態にかかる撮像装置は、カメラ装置１０、レンズ装置１１、ストロボ装置１２を含む。カメラ装置１０とレンズ装置１１は、レンズ装置がマウント部を介して着脱可能に構成されている。なおカメラ装置１０とレンズ装置１１が一体の装置であっても良い。カメラ装置１０とストロボ装置１２は、ストロボ装置がアクセサリーシュー部を介して着脱可能に構成されている。なおカメラ装置１０とストロボ装置１２が一体の装置であっても良い。

１０１はカメラ制御部、１０２は不揮発メモリ、１０３は一時記憶メモリ、１０４はメインミラー、１０５はピント板、１０６はペンタプリズム、１０７はファインダー、１０８は測光センサー、１０９はサブミラー、１１０は焦点検出センサー、１１１はシャッター、１１２は撮像素子、１１３は画像処理部、１１４は記録媒体、１１５はシャッター釦、１１６は設定釦、１５１はストロボ制御部、１５２はキセノン管、１５３は充電回路、１５４はストロボ発光用コンデンサー、１５５は発光回路、１５６は外部調光センサー、１５７反射板、１５８は接点である。

カメラ制御部１０１はカメラ全体の動作を制御する。カメラ制御部１０１はマイクロコンピュータで構成され、不揮発メモリ１０２や一時記憶メモリ１０３が接続されている。不揮発メモリ１０２はプログラムや設定値が格納され、一時記憶メモリ１０３は演算中の画像や各演算結果や制御値が格納される。カメラ制御部１０１は接点２０３や接点１５８を通してレンズ制御部２０２やストロボ制御部１５１と通信し、指示の送信と情報の受信を行う。

メインミラー１０４が図１に示すファインダー観察状態にある場合、撮影レンズ２０１を通過した被写体光の一部の光束を反射する。メインミラー１０４で反射された光束は、ピント板１０５で結像しペンタプリズム１０６で像の向きを変えてファインダー１０７に導かれ、撮影者の眼に至る。これにより撮影者は被写体像を確認することが出来る。ピント板１０５で結像した被写体像はファインダー１０７近傍にある測光センサー１０８に導かれる。測光センサー１０８に結像した被写体像は、電気的なイメージ信号に光電変換されて、輝度情報としてカメラ制御部１０１へ出力する。

測光センサー１０８は数万以上の画素をもつエリア型センサーで画面領域を分割して測光が可能である。なお測光センサー１０８は輝度情報を画像処理部１１３に出力し、画像処理部１１３にて各種演算を実施し結果をカメラ制御部１０１へ出力してもよい。カメラ制御部１０１または画像処理部１１３は被写体輝度を算出しシーンを分析するため、画面領域を例えば９×７個のブロックに分割し各ブロックに含まれる画素の信号に基づき、ブロック毎の輝度情報を算出する。ブロックの輝度情報は、例えばブロック内の全画素の輝度を平均することにより求められる。

また測光センサー１０８はＲ画素、Ｇ画素、Ｂ画素を持ち、色を認識することが出来てもよい。画像処理部１１３は撮像画像において、顔の目や鼻、口など形状の特徴点を判断することで、主な被写体である人物の顔を主被写体として検出する機能を持ち、検出した顔の数・領域位置・大きさなどをカメラ制御部１０１へ出力する。

メインミラー１０４はハーフミラーで構成されており、反射されずにメインミラー１０４を通過した光束は、サブミラー１０９で反射され焦点検出センサー１１０に導かれる。焦点検出センサー１１０に結像した被写体像は、電気的なイメージ信号に光電変換されて、カメラ制御部１０１に伝達される。カメラ制御部１０１は焦点検出センサー１１０からの被写体像のイメージ信号に基づいて、位相差検出方式による焦点検出演算を行い、算出したデフォーカス量およびデフォーカス方向などの合焦距離情報に基づいて、レンズ制御部２０２を介して撮像レンズ２０１内のフォーカスレンズの位置を変化させ、合焦位置まで駆動する。またカメラ制御部１０１はレンズ制御部２０２を介して絞り（不図示）を駆動する。

撮像時にはカメラ制御部１０１は、メインミラー１０４とサブミラー１０９を退避して、被写体像が撮像素子１１２上に結像する光路に変更する。撮像素子１１２の前面には、シャッター１１１が配置されている。シャッター１１１はフォーカルプレンシャッターである。

撮像素子１１２は、数百万以上の撮像用画素を有するＣＭＯＳイメージセンサ等が使用される。撮像レンズ２０１を通過した被写体の光は撮像素子１１２上に被写体像が結像する。撮像素子１１２はこの光を受光して光電変換する。光から変換された電荷は輝度を示し、画素毎に蓄えられたのちに、画素内のトランジスタによって電圧として読み出される。読みだされた電圧は、デジタル信号に変換され、画像処理部１１３に転送される。

画像処理部１１３は、画像処理に特化したプロセッサである。撮像素子１１２から転送された撮像画像を現像・各種画像処理・符号化されたのちに記録媒体１１４に出力する。また画像の演算結果をカメラ制御部１０１へ出力する。

１１５はシャッター釦であり、ＳＷ１とＳＷ２は２段スイッチで形成されている。ＳＷ１オンで撮影準備開始、ＳＷ２オンで撮影開始を指示する。１１６は設定釦であり、撮影者がカメラの動作を選択する為の設定を入力する手段である。メカニカルなボタンあるいはタッチセンサーなどから成る。

１５１はストロボ制御部で、ストロボ各部を制御し、またカメラ制御部１０１と接点１５８を介して通信を行い、動作指示の受信あるいは各種情報の送信を行う。充電回路１５３でストロボ発光用コンデンサー１５４に充電された電荷を発光回路１５５で制御しキセノン管１５２を発光させる。発光は反射板１５７で集光され、被写体を照射する。１５６は外部調光センサーでレンズ２０１を透過した光を使用せずに、被写体の輝度を測光するセンサーである。被写体輝度を測定する方法は、外部調光センサー１５６と前述の測光センサー１０８を用いる方法以外に撮像素子１１２を用いてもよい。

ここで顔を検出するための最適なゲイン算出についてについて説明する。撮像画像において露出を決定するとは、顔領域を利用して主被写体領域を決定するとき、顔領域を検出する前では主被写体領域を決定できず、たとえば画面全体を対象とする。撮像の画像の露出は、たとえば画面全体の輝度の平均値によって合わせる方法があるが、被写体像の中に顔の反射率と大きく異なる領域が大きく存在しているとき、顔領域の露出が大きくずれてしまう。

顔の領域の面積:S_face
他の領域の面積:S_other
顔の領域の輝度:E_face
他の領域の輝度:E_other
とするとき、画面全体の平均輝度: E_avr は

となる。

たとえば一般的な胸像(バストアップ)人物画像において顔の大きさは10%程度であるので、服を着た胸部と背景が面積のほとんどの割合を占める。また例えば演台に立ちライトアップされた人物と暗いカーテンなどの背景の輝度の差はたとえばEV7以上ある。
たとえばE_face=9(EV) 、E_other=1(EV) としてこれを式に適用すると
画面全体の平均輝度E_avr= 0.1 * 9 + 0.9 * 1 =1.8(EV)
となる。よってE_avrに合わせてゲインを決定し適露出にすると、Efaceは適露出から7.2(EV)オーバーとなる。

また別のシーンにおいて、例えば日中の逆光において影となった人物は背景の輝度の差はたとえばEV7以上ある。E_face=3(EV) 、E_other=10(EV) として
画面全体の平均輝度E_avr= 0.1 * 3 + 0.9 * 10 =9.3(EV)

よってE_avrに合わせてゲインを決定し適露出にすると、E_faceは適露出から6.3(EV)アンダーとなる。このようにゲインを算出するとき顔領域以外の輝度を用いると顔領域の輝度と大きく異なってしまい、顔のコントラストは低下し顔検出の精度が低下する。
いっぽうストロボ撮影の時、ストロボ発光による被写体の輝度は、発光量、反射率、被写体との距離で与えられる。被写体との距離は、直前の定常光時に合焦距離情報から得られる測距情報を用いる。また被写体の顔である領域の反射率はあらかじめ分かっている。これらからストロボ発光による被写体の輝度が求めることができる。

カメラのストロボ光量を示すガイドナンバーは標準反射率(18%)の被写体を適露出にするために、被写体との距離(m)と絞り値(F値)と撮像ISO感度で定義されている。被写体との距離は、直前の定常光時に合焦距離情報から得られる測距情報を用いる。被写体を適露出するガイドナンバー(GN)適とすると

プリ発光量が固定の時には、プリ発光量をガイドナンバー(GN)固定とする。プリ発光画像から顔検出画像を生成するため距離によるゲインをゲインG固定とする。顔反射率24〜30%程度であるので、標準反射率との差を考慮すると

と表され、ゲインG固定は以下となる

顔検出に用いられる画像はストロボ発光による輝度を抽出するため、プリ発光測光画像と定常光測光画像の差分を取る。顔検出の際には、顔の反射率は前記の様に事前に判明しており、顔検出を行う画像では顔以外の被写体は適露出にする必要がないのでプリ測光画像にゲインＧを掛け、顔領域の検出を実行する。

顔検出画像 = (プリ発光測光画像 - 定常光測光画像 ) × ゲインＧ固定 (5)
この式で得られる顔検出画像は、顔領域が適露出となっており、顔検出の実行を1度実行すれば精度よく顔検出が出来る。

またストロボの発光量は特許文献１にあるように測距情報からプリ発光の発光量を変化させてもよい。また被写体との距離は、レンズの合焦距離情報ではなく別の測距手段によって得てもよい。

次に、図２aのフロー図を参照して本実施の形態におけるストロボを用いた撮影について説明する。

図２aの各ステップに応じて撮影動作を行う。ステップＳ２０１では、シャッター釦１１５のＳＷ１の状態を監視する。シャッター釦１１５のＳＷ１がオンされたら、ステップＳ２０２へ、オフであれば、ステップＳ２０１で戻る。

ステップＳ２０２では、焦点検出センサー１１０を使って、焦点状態を検出し、デフォーカス情報を検出し、ステップＳ２０３へ進む。ステップＳ２０３では、ステップＳ２０３で得られたデフォーカス情報をもとに、合焦位置にレンズ２０３を駆動し、ステップＳ２０４へ進む。

ステップＳ２０４では、ストロボを発光するか否か撮影者が入力した設定に従う。発光する場合のみ、ステップＳ２０５へ進む。発光しない場合、ステップＳ２２４へ進む。ステップＳ２０５では、外光を測光する。測光画像ＡＥ(1)を取得する。ステップＳ２０６では、プリ発光を行う。ステップＳ２０７では、プリ発光測光する。測光画像ＡＥ(2)を取得する。ステップＳ２０９では、ゲインＧを算出する。

ステップＳ２１０では、プリ発光による被写体輝度を算出するために外光を引く。測光画像ＡＥ(2)-ＡＥ(1)演算を行い、さらにゲインＧを適用し、顔検出画像を生成する。ステップＳ２１１では、顔検出画像に対して顔検出をおこなう。ステップＳ２１２では、顔を検出したか判定する。顔を検出した場合はステップＳ２１３に、顔を検出しない場合はステップＳ２１５に進む。

ステップＳ２１３では、検出した顔の領域位置を決定する。ステップＳ２１４では、検出した顔領域の輝度を決定する。ステップＳ２１５では、ストロボの調光領域を決定する。ステップＳ２１７では、ストロボの発光量を決定する。ステップＳ２１８で本撮影・本発光する。

ステップＳ２１９において撮像素子１１２を用いて撮影されたデータを、画像処理部１１３で現像処理や画像処理を行い、圧縮と符号化を行う。ステップＳ２２０で、画像データを記録媒体１１４に記録する。ステップＳ２２１で、撮影終了する。

(ステップＳ２０４で、ストロボ撮影しない場合)
ステップＳ２２２では、外光を測光する。ステップＳ２２３で本撮影する。ステップＳ２１９へ進む。

以上説明したように、ストロボのプリ発光時の被写体撮像画像において顔検出精度を向上させることで、レリーズタイムラグを増やすことなく顔の輝度が良好な撮像画像を提供することができる。

［実施例２］
実施例１において、顔検出の演算はたとえば６０ミリ秒程度を要する。撮像センサーの画素数の制約と光学的な分解能の制約により、顔が検出可能な最少サイズが存在する。被写体との距離によって、顔検知が困難であると判定できる場合、顔検出の演算をスキップする。顔の目・鼻・口などの各構成要素が３〜４画素であるとき顔サイズは２０画素程度となる。

図３に顔サイズが２０画素程度の図を示す。顔の目３０１、顔の鼻３０２、顔の口３０３の顔の各構成要素が各々３〜４画素である。

たとえば撮像サイズが３６ミリメートル×２４ミリメートルのとき、測光センサーが測光を行う範囲がたとえば３０ミリメートル×２０ミリメートルであり、また画素数はたとえば３００×１８０画素である。このとき測光センサーの２０画素はピント板上２ミリメートルに相当する。成人の顔の大きさを１２センチメートルとすると、ピント板上２ミリメートルに結像する距離は６０ｆである。(レンズ焦点距離の６０倍)。撮像画像上の顔の大きさが２０画素以下になると顔の目・鼻・口などの各構成要素が検出できなくなり、検出精度が格段に低下する。

さらにピント板は光を拡散させ解像度を低下させるので顔が検出可能な最少サイズは２０画素よりも大きくなる。被写体との距離は、直前の定常光時に合焦距離情報から得られる測距情報を用いる。このとき被写体との距離がレンズ焦点距離の６０倍以上であるとき、測光センサー上の被写体の顔の大きさは上記の顔が検出可能な最少サイズ以下となり、顔検出が困難となる。

次に、図２bのフロー図を参照して本実施の形態におけるストロボを用いた撮影について説明する。

ステップＳ２０１では、シャッター釦１１５のＳＷ１の状態を監視する。シャッター釦１１５のＳＷ１がオンされたら、ステップＳ２０２へ、オフであれば、ステップＳ２０１で戻る。ステップＳ２０２では、焦点検出センサー１１０を使って、焦点状態を検出し、デフォーカス情報を検出し、ステップＳ２０３へ進む。ステップＳ２０３では、ステップＳ２０３で得られたデフォーカス情報をもとに、合焦位置にレンズ２０３を駆動し、ステップＳ２０４へ進む。

ステップＳ２０４では、ストロボを発光するか否か撮影者が入力した設定に従う。発光する場合のみ、ステップＳ２０５へ進む。発光しない場合、ステップＳ２２２へ進む。ステップＳ２０５では、外光を測光する。測光画像ＡＥ(1)を取得する。ステップＳ２０６では、プリ発光を行う。ステップＳ２０７では、プリ発光測光する。測光画像ＡＥ(2)を取得する。ステップＳ２０８では、ステップＳ２０３で得られた合焦位置が６０fを超えるか判定する。超える場合はステップＳ２１６に、超えない場合はステップＳ２０９に進む。ステップＳ２０９では、ゲインＧを算出する。

ステップＳ２１０では、プリ発光による被写体輝度を算出するために外光を引く。測光画像ＡＥ(2)-ＡＥ(1)演算を行い、さらにゲインＧを適用し、顔検出画像を生成する。ステップＳ２１１では、顔検出画像に対して顔検出をおこなう。ステップＳ２１２では、顔を検出したか判定する。顔を検出した場合はステップＳ２１３に、顔を検出しない場合はステップＳ２１５に進む。

ステップＳ２１３では、検出した顔の領域位置を決定する。ステップＳ２１４では、検出した顔領域の輝度を決定する。ステップＳ２１５では、ストロボの調光領域を決定する。

(ステップＳ２０８で、合焦位置が６０fを超える場合)
ステップＳ２１６では、測光画像ＡＥ(2)-ＡＥ(1)演算を行い。ステップＳ２１５へ進む。

(ステップＳ２１５から)
ステップＳ２１７では、ストロボの発光量を決定する。ステップＳ２１８で本撮影・本発光する。ステップＳ２１９において撮像素子１１２を用いて撮影されたデータを、画像処理部１１３で現像処理や画像処理を行い、圧縮と符号化を行う。ステップＳ２２０で、画像データを記録媒体１１４に記録する。ステップＳ２２１で、撮影終了する。

(ステップＳ２０４で、ストロボ撮影しない場合)
ステップＳ２２２では、外光を測光する。ステップＳ２２３で本撮影する。ステップＳ２１９へ進む。

以上説明したように、被写体との距離情報から顔を検出困難と判定できるときには顔検出ステップをスキップしてレリーズタイムラグを大きくなることを抑制する撮像画像を提供することができる。

［実施例３］
実施例１において、被写体との距離情報を、合焦位置情報から求めるときに、レンズによっては被写体との距離は範囲を示すことがある。すなわち
遠い被写体距離:dLfar
近い被写体距離:dLnear
と表され、被写体との距離は、dLnearからdLfarの範囲にあると示される。このとき前記(4)式を2通り適用して２つのゲインを得る。

遠い被写体のゲインＧfar

近い被写体のゲインＧnear

２つのゲインＧに応じて顔検出画像も２つ算出する
顔検出画像far=プリ測光画像×ゲインＧfar
顔検出画像near=プリ測光画像×ゲインＧnear
この２つの画像に対して顔検出を実施する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１はカメラ制御部
１０８は測光センサー
１１３は画像処理部

Claims (3)

1. 撮影時におけるメイン発光前にプリ発光を行う撮像装置であって、
   被写体との距離を測定する測距手段と、
   プリ発光量を取得する手段と、
   レンズの開放絞り値を取得する手段と、
   プリ発光による被写体撮像画像を取得する手段と、
   プリ発光による被写体輝度の変化を取得する輝度変化取得手段と、
   前記プリ発光量と前記レンズ開放絞り値と人物顔領域の反射率に基づき被写体撮像画像に掛けるゲインを算出するゲイン算出手段と、
   プリ発光による被写体撮像画像にゲインを適用し顔検出画像を生成する被写体撮像画像ゲイン適用手段と
   前記ゲインが適用され生成された顔検出画像を基に、前記被写体撮像画像内における顔領域を検出する顔領域検出手段と、
   前記顔領域検出手段により検出された顔領域を前記プリ発光による測光値に応じてメイン発光量を演算する演算手段と、
   前記演算手段により演算された前記メイン発光量に基づいてストロボを制御して撮影を
   行うように制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 上記被写体との距離がある閾値以上の時、上記顔領域検出手段をスキップする請求項１に記載の撮像装置。
3. 上記被写体との距離を測定する測距手段から得られる被写体との距離情報が範囲を示すとき、距離情報が示す2つの距離を用いて上記ゲインを2つ算出する請求項１に記載の撮像装置。