JP6840247B2 - 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム - Google Patents

Description

本開示の技術は、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに関する。

撮像素子により撮像光学系を通して被写体を撮像する撮像装置において、撮像素子の露光量を制御する技術として、例えば、特許文献１〜特許文献３には、いわゆる、デジタルＮＤ（Neutral Density）フィルタを用いた技術が開示されている。デジタルＮＤフィルタによれば、撮像光学系に対して物理的なＮＤフィルタを設けたことと同等の効果を得ることができる。

ところで、被写体を撮像装置により撮像する手法として、通常よりも露光時間を長くする制御を行うことにより、例えば、川や滝等の動きを有する被写体における動きの軌跡を撮影する長時間露光とよばれる手法がある。なお、上記特許文献１〜特許文献３には、露光時間を制御する技術が開示されている。

特開２０１５−１３６０８７号公報 特開２００４−５６３３１号公報 特開２００３−３２２８７８号公報

しかしながら、一枚の撮像画像の中に動きの軌跡等を撮影したい被写体と、動きの軌跡を撮影したくない、いわばぶれを生じさせたくない被写体とが混在している場合、長時間露光を行ってしまうと、ぶれたくない被写体がぶれてしまい、ユーザが所望する表現を実現できない場合があった。

本開示は、上記事情を考慮して成されたものであり、ユーザが所望する表現を実現することができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することを目的とする。

上記目的を達成するために、本開示の第１の態様の撮像装置は、複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像生成部と、撮像素子に入射する単位時間あたりの光量を制御する光量制御部と、撮像画像を分割した複数の分割領域毎に、画素の露光時間を制御して画素の露光量を制御する第１制御部と、光量制御部を制御して、第１制御部により露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御部と、第２制御部により制御された露光量により得られた撮像画像を表示する表示部と、を備える。

第２の態様の撮像装置は、第１の態様の撮像装置において、第２制御部は、複数の分割領域毎の露光量の差を予め定められた範囲内とする制御を行ってもよい。

第３の態様の撮像装置は、第２の態様の撮像装置において撮像素子全体の露光量を決定する決定部と、第２制御部により露光量が制御された複数の分割領域各々の露光量を、決定部により決定された露光量に調整する制御を行う第３制御部と、をさらに備え、表示部は、第３制御部により制御された露光量により得られた撮像画像を表示してもよい。

第４の態様の撮像装置は、第１の態様の撮像装置において、撮像素子全体の露光量を決定する決定部をさらに備え、第２制御部は、複数の分割領域各々の露光量を決定部が決定した露光量とすることで、複数の分割領域毎の露光量の差を調整してもよい。

第５の態様の撮像装置は、第１の態様から第４の態様のいずれか１態様の撮像装置において、第２制御部は、複数の分割領域における予め定められた条件を満たす分割領域に対する第１制御部の露光量を基準として、複数の分割領域毎の露光量の差を調整する制御を行ってもよい。

第６の態様の撮像装置は、第５の態様の撮像装置において、第２制御部は、露光時間が最も短いことを予め定められた条件としてもよい。

第７の態様の撮像装置は、第１の態様から第６の態様のいずれか１態様の撮像装置において、第１制御部は、撮像画像の解析結果に基づいて撮像画像から導出した境界線に基づいて、撮像画像を複数の分割領域に分割してもよい。

第８の態様の撮像装置は、第７の態様の撮像装置において、第１制御部は、撮像画像が変化した場合、境界線の位置を撮像画像の変化に基づいて調整してもよい。

第９の態様の撮像装置は、第１の態様から第８の態様のいずれか１態様の撮像装置において、複数の分割領域毎の露光時間を受け付ける受付部をさらに備え、第１制御部は、受付部が受け付けた露光時間により制御を行ってもよい。

第１０の態様の撮像装置は、第１の態様から第６の態様のいずれか１態様の撮像装置において、撮像画像の領域、撮像画像に含まれる被写体、及び撮像画像に対応する画素のいずれか毎に、対応するオブジェクトの種類を撮像画像を認識した認識結果に基づいて特定し、特定結果に基づいて撮像画像を複数の分割領域に分割する分割部と、オブジェクトの種類と露光時間との予め定められた対応関係に基づき、複数の分割領域各々の露光時間を決定する露光時間決定部と、をさらに備え、第１制御部は、露光時間決定部が決定した露光時間により制御を行ってもよい。

第１１の態様の撮像装置は、第１の態様から第１０の態様のいずれか１態様の撮像装置において、第１制御部は、複数の画素の配列の行毎に、画素の露光時間を制御してもよい。

第１２の態様の撮像装置の制御方法は、複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、撮像画像を分割した複数の分割領域毎に、画素の露光時間を制御して画素の露光量を制御する第１制御を行い、撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、第１制御により露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御を行い、第２制御により制御された露光量により得られた撮像画像を表示させる、処理を含む。

第１３の態様の撮像装置の制御プログラムは、コンピュータに、複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、撮像画像を分割した複数の分割領域毎に、画素の露光時間を制御して画素の露光量を制御する第１制御を行い、撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、第１制御により露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御を行い、第２制御により制御された露光量により得られた撮像画像を表示させる、処理を実行させるための撮像装置のものである。

本開示によれば、ユーザが所望する表現を実現することができる。

第１〜第５実施形態の撮像装置の外観の一例を示す斜視図である。 第１〜第５実施形態の撮像装置の背面側の外観の一例を示す背面図である。 第１〜第５実施形態の撮像装置のハードウェア構成の一例を示すブロック図である。 第１〜第５実施形態の撮像素子の一例を説明する構成図である。 第１〜第５実施形態の撮像装置における露光時間の制御について説明するための図である。 第１実施形態の露光量制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 図７に示したライブビュー画像から導出された境界線及び分割領域の一例を説明するための図である。 ライブビュー画像のヒストグラムの一例を示す図である。 露光時間、ＮＤフィルタによる減光効果、及び露光量について説明するための図である。 第１実施形態の撮像装置により撮像される撮像画像の一例を示す図である。 比較例である、画像の全体に対して長時間露光を適用した場合の撮像画像の一例を示す図である。 比較例である、画像の全体に対して短時間露光を適用した場合の撮像画像の一例を示す図である。 第２実施形態の露光量制御処理の流れの一例を示すフローチャートである。 第３実施形態の露光量制御処理の流れの一例を示すフローチャートである。 第４実施形態の露光量制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 図１７に示したライブビュー画像に含まれるオブジェクトの種類を特定した特定結果の一例を示す図である。 オブジェクトの種類と露光時間との対応関係を表す情報の一例を示す図である。 第５実施形態の露光量制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 図２１のライブビュー画像に対する露光時間を説明するための図である。 実施形態の露光量制御処理プログラムが記憶された記憶媒体から露光量制御処理プログラムが撮像装置本体にインストールされる態様の一例を示す概念図である。

以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。

［第１実施形態］
まず、図１〜図３を参照して、本実施形態の撮像装置１０の構成の一例について説明する。一例として図１に示すように、本実施形態の撮像装置１０は、レンズ交換式のデジタルカメラであり、撮像装置本体１２及び撮像レンズ１４を含む。

撮像レンズ１４は、撮像装置本体１２に対して交換可能に装着される。撮像レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング１６が設けられている。撮像レンズ１４は、レンズユニット１８を含む。本実施形態のレンズユニット１８が、本開示の撮像光学系の一例である。

レンズユニット１８は、フォーカスレンズ２０を含む複数のレンズが組み合わされた組み合わせレンズである。フォーカスレンズ２０は、フォーカスリング１６の手動による回転操作に伴って光軸Ｌ１方向に移動し、被写体距離に応じた合焦位置において後述の撮像素子２２の受光面２２Ａ（図３参照）に、被写体を示す反射光である被写体光が結像される。

撮像装置本体１２の上面には、ダイヤル２４及びレリーズボタン２６が設けられている。ダイヤル２４は、撮像モードと再生モードとの切り替え等の各種設定の際に操作される。従って、撮像装置１０では、ダイヤル２４がユーザによって操作されることにより、動作モードとして撮像モードと再生モードとが選択的に設定される。

撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。なお、本実施形態では、静止画像及び動画像を区別せず総称する場合は、単に「撮像画像」という。

レリーズボタン２６は、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能に構成されている。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」及び「半押し位置から全押し位置まで押下される状態」を「全押し状態」という。

オートフォーカスモードでは、レリーズボタン２６を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると本露光が行われる。つまり、レリーズボタン２６を半押し状態にすることによりＡＥ（Auto Exposure）機能が働いて露光量状態が設定された後、ＡＦ（Auto Focus）機能が働いて合焦制御され、レリーズボタン２６を全押し状態にすると撮像が行われる。

一例として図２に示すように、撮像装置本体１２の背面には、ディスプレイ２８、十字キー３０、ＭＥＮＵ／ＯＫキー３２、ＢＡＣＫ／ＤＩＳＰボタン３４、ファインダ３６、及びタッチパネル３８が設けられている。

ディスプレイ２８は、例えば、ＬＣＤ（Liquid Crystal Display）であり、撮像装置１０により被写体が撮像されることで得られた画像及び文字等を表示する。本実施形態のディスプレイ２８が、本開示の表示部の一例である。なお、本実施形態のディスプレイ２８は、タッチパネル３８と共に、タッチパネルディスプレイ２９として構成されている。ディスプレイ２８は、撮像モードにおけるライブビュー画像の表示に用いられる。ライブビュー画像は、スルー画像とも称され、撮像装置１０の撮像素子２２により被写体が連続フレームで撮像されて得られた連続フレーム画像である。なお、「撮像画像」という場合は、ライブビュー画像も含む。

ディスプレイ２８は、静止画撮像の指示が与えられた場合に単一フレームにより撮像されて得られた静止画像の表示にも用いられる。更に、ディスプレイ２８は、再生モードにおける再生画像の表示及びメニュー画面等の表示にも用いられる。

ディスプレイ２８の表示領域の表面には、透過型のタッチパネル３８が重ねられている。タッチパネル３８は、例えば、指またはスタイラスペン等の指示体による接触を検知する。タッチパネル３８は、タッチパネル３８に対する指示体による接触の有無等の検知結果を示す検知結果情報を予め定められた周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ（Central Processing Unit）７４、図３参照）に出力する。検知結果情報は、タッチパネル３８が指示体による接触を検知した場合、タッチパネル３８上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル３８が指示体による接触を検知していない場合、座標を含まない。

十字キー３０は、１つまたは複数のメニューの選択、及びズーム又はコマ送り等の各種の指示に応じた指示内容信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー３２は、ディスプレイ２８の画面上に１つまたは複数のメニューを表示させる指示を行うためのメニュー（ＭＥＮＵ）ボタンとしての機能と、選択内容の確定及び実行等を指示する許可（ＯＫ）ボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン３４は、選択項目等、所望の対象の消去又は指定内容の取消し、あるいは１つ前の操作状態に戻す場合等に使用される。

図３は、第１実施形態の撮像装置１０のハードウェア構成の一例を示すブロック図である。

図３に示すように本実施形態の撮像装置本体１２はマウント１３を備えており（図１も参照）、撮像レンズ１４は、マウント１５を備えている。撮像レンズ１４は、マウント１３にマウント１５が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１４は、上述したレンズユニット１８、絞り１９、及び制御装置４０を含む。制御装置４０は、マウント１３にマウント１５が接続されることで、撮像装置本体１２の外部Ｉ／Ｆ（Interface）７２を介してＣＰＵ７４と電気的に接続され、ＣＰＵ７４の指示に従って、撮像レンズ１４の全体を制御する。

絞り１９は、レンズユニット１８よりも撮像装置本体１２側に設けられている。絞り１９には、図示を省略した絞り駆動部及び絞り駆動用モータが接続されている。絞り駆動部が、後述する受付デバイス６２によって受け付けられた指示に応じて、制御装置４０の制御下で、絞り駆動用モータを作動させることで、絞り１９の開口の大きさを調節することにより、レンズユニット１８を透過した被写体光の光量を調節し、被写体光を撮像装置本体１２内に導く。

図３に示すように本実施形態の撮像装置本体１２は、撮像素子２２、第１ミラー４２、第２ミラー４４、制御部４６、ミラー駆動部４８、撮像素子ドライバ５０、画像信号処理回路５２、画像メモリ５４、画像処理部５６、表示制御部５８、ＮＤ（Neutral Density）フィルタ８０、及びＮＤフィルタ駆動部８２を含む。また、撮像装置本体１２は、受付Ｉ／Ｆ６０、受付デバイス６２、メディアＩ／Ｆ６４、及び外部Ｉ／Ｆ７２を含む。

制御部４６は、本開示の技術のコンピュータの一例であり、ＣＰＵ７４、一次記憶部７６、及び二次記憶部７８を備えている。ＣＰＵ７４は、撮像装置１０の全体を制御する。一次記憶部７６は、各種プログラムの実行におけるワークエリア等として用いられる揮発性のメモリである。一次記憶部７６の一例としては、ＲＡＭ（Random Access Memory）等が挙げられる。本実施形態の二次記憶部７８は、詳細を後述する露光量制御処理プログラム７９を含む各種プログラム、及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部７８の一例としては、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）またはフラッシュメモリ等が挙げられる。本実施形態の露光量制御処理プログラム７９が、本開示の制御プログラムの一例である。

ＣＰＵ７４、一次記憶部７６、及び二次記憶部７８は、バスライン８１に接続されている。また、ミラー駆動部４８、撮像素子ドライバ５０、画像信号処理回路５２、及びＮＤフィルタ駆動部８２も、バスライン８１に接続されている。また、画像メモリ５４、画像処理部５６、表示制御部５８、受付Ｉ／Ｆ６０、メディアＩ／Ｆ６４、及び外部Ｉ／Ｆ７２も、バスライン８１に接続されている。

第１ミラー４２は、撮像素子２２の受光面２２Ａとレンズユニット１８との間に介在しており、受光面被覆位置αと受光面開放位置βとに移動可能な可動ミラーである。

第１ミラー４２は、ミラー駆動部４８に接続されており、ミラー駆動部４８は、ＣＰＵ７４の制御下で、第１ミラー４２を駆動させ、第１ミラー４２を受光面被覆位置αと受光面開放位置βとに選択的に配置する。すなわち、第１ミラー４２は、受光面２２Ａに対して被写体光を受光させない場合にミラー駆動部４８によって受光面被覆位置αに配置され、受光面２２Ａに対して被写体光を受光させる場合にミラー駆動部４８によって受光面開放位置βに配置される。

受光面被覆位置αでは、第１ミラー４２が受光面２２Ａを覆い、かつ、レンズユニット１８から送り込まれた被写体光を反射して第２ミラー４４に導く。第２ミラー４４は、第１ミラー４２から導かれた被写体光を反射することで光学系（図示省略）を介して、ファインダ３６に導く。ファインダ３６は、第２ミラー４４によって導かれた被写体光を透過させる。

一方、受光面開放位置βでは、第１ミラー４２によって受光面２２Ａが覆われた状態が解除され、被写体光が第１ミラー４２により反射されることなく、受光面２２Ａによって受光される。

本実施形態のＮＤフィルタ８０は、段階的な透過率を複数有するＮＤフィルタである。なお、例えば、ＮＤフィルタ８０は、連続的な透過率を複数有していてもよい。本実施形態のＮＤフィルタ８０は、受光面被覆位置αにおける第１ミラー４２と撮像素子２２との間の、光軸Ｌ１上に配置されている。ＮＤフィルタ８０は、ＮＤフィルタ駆動部８２に接続されている。ＣＰＵ７４は、ＮＤフィルタ駆動部８２によりＮＤフィルタ８０に印加する電圧を変化させることにより、予め定められた分解能に応じて、ＮＤフィルタ８０の透過率を制御する。ＣＰＵ７４は、このようにＮＤフィルタ８０の透過率を制御することで、撮像素子２２の露光量、より具体的には撮像素子２２に入射する単位時間あたりの光量を制御する。なお、以下では、ＣＰＵ７４がＮＤフィルタ８０の透過率を制御することにより、撮像素子２２の露光量を制御する処理を、「ＮＤフィルタ処理」という。本実施形態のＮＤフィルタ８０およびＮＤフィルタ駆動部８２が、本開示の光量制御部の一例である。

本実施形態のＮＤフィルタ８０の具体例としては、電圧を印加すると分子が酸化還元反応を起こしたりラジカル状態になったりすることにより透過率が可逆的に変化するエレクトロクロミック素子、又は電圧を印加すると分子の向きが変わることにより透過率が可逆的に変化する液晶シャッター等が挙げられるが、これらに限定されない。また、液晶シャッターの具体例としては、ねじれネマティック（ＴＮ）型又はゲストホスト（ＧＨ）型の液晶シャッターが挙げられる。

撮像素子ドライバ５０は、撮像素子２２に接続されている。本実施形態では、撮像素子２２として、ＣＣＤ（Charge Coupled Device）イメージセンサを用いているが、本開示の技術はこれに限定されず、例えば、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等の他のイメージセンサを用いてもよい。

本実施形態の撮像素子２２は、一例として図４に示すように、複数の画素９０が二次元状に配列されている。なお、画素９０の数、配列における行の数、及び列の数は特に限定されない。ＣＰＵ７４から撮像素子ドライバ５０に出力される垂直同期信号、及び画像信号処理回路５２に出力される水平同期信号に基づいて各画素９０が駆動し、撮像素子２２の露光が制御される。

一般に、撮像素子２２の露光時間は、水平同期信号の走査期間の間隔（以下「ＨＤ長」という）により制御される。そのため、図５に示すように、水平同期信号がＨＤ長Ｘを含む場合、ＨＤ長Ｘの前後のパルスに応じた画素９０の行、図５に示した場合では、第ｎ行と第ｎ＋１行とで画素９０における電荷の蓄積時間が変化することにより露光時間が変化し、第ｎ＋１行以降の行では、第ｎ行までの行に比べて、露光時間が短くなる。

本実施形態のＣＰＵ７４は、画像信号処理回路５２に出力する水平同期信号のＨＤ長を変化させることにより、詳細を後述する分割領域毎に画素９０の露光時間を制御して、画素９０の露光量を制御する。なお、ＣＰＵ７４は、複数の画素の配列の行毎に、画素の露光時間を制御してもよい。

画像信号処理回路５２は、上記水平同期信号に応じて撮像素子２２から１フレーム分の画像信号を画素毎に読み出す。画像信号処理回路５２は、読み出した画像信号に対して、相関二重サンプリング処理、自動利得調整、及びＡ／Ｄ（Analog／Digital）変換等の各種処理を行う。画像信号処理回路５２は、画像信号に対して各種処理を行うことでデジタル化した画像信号を、ＣＰＵ７４から供給されるクロック信号により規定される特定のフレームレート（例えば、数十フレーム／秒）で１フレーム毎に画像メモリ５４に出力する。

本実施形態の撮像素子２２及び撮像素子ドライバ５０が本開示の撮像部の一例である。

画像メモリ５４は、画像信号処理回路５２から入力された画像信号を一時的に保持する。

画像処理部５６は、画像メモリ５４から特定のフレームレートで１フレーム毎に画像信号を取得し、取得した画像信号に対して、ガンマ補正、輝度変換、色差変換、及び圧縮処理等の各種処理を行う。また、画像処理部５６は、各種処理を行って得た画像信号を特定のフレームレートで１フレーム毎に表示制御部５８に出力する。更に、画像処理部５６は、各種処理を行って得た画像信号を、ＣＰＵ７４の要求に応じて、ＣＰＵ７４に出力する。本実施形態の画像処理部５６が、本開示の画像生成部の一例である。

表示制御部５８は、タッチパネルディスプレイ２９のディスプレイ２８に接続されており、ＣＰＵ７４の制御下で、ディスプレイ２８を制御する。また、表示制御部５８は、画像処理部５６から入力された画像信号を１フレーム毎に特定のフレームレートでディスプレイ２８に出力する。

ディスプレイ２８は、表示制御部５８から特定のフレームレートで入力された画像信号により示される画像をライブビュー画像として表示する。また、ディスプレイ２８は、単一フレームで撮像されて得られた単一フレーム画像である静止画像も表示する。なお、ディスプレイ２８には、ライブビュー画像の他に、再生画像及びメニュー画面等が表示される。

受付デバイス６２は、ダイヤル２４、レリーズボタン２６、十字キー３０、ＭＥＮＵ／ＯＫキー３２、及びＢＡＣＫ／ＤＩＳＰボタン３４等を有しており、ユーザによる各種指示を受け付ける。本実施形態の受付デバイス６２が、本開示の受付部の一例である。

タッチパネルディスプレイ２９のタッチパネル３８及び受付デバイス６２は、受付Ｉ／Ｆ６０に接続されており、受け付けた指示の内容を示す指示内容信号を受付Ｉ／Ｆ６０に出力する。受付Ｉ／Ｆ６０は、入力された指示内容信号をＣＰＵ７４に出力する。ＣＰＵ７４は、受付Ｉ／Ｆ６０から入力された指示内容信号に応じた処理を実行する。

メディアＩ／Ｆ６４には、メモリカード６６が着脱可能に接続されている。メディアＩ／Ｆ６４は、ＣＰＵ７４の制御下で、メモリカード６６に対する画像ファイルの記録及び読み出しを行う。

メディアＩ／Ｆ６４によってメモリカード６６から読み出された画像ファイルは、ＣＰＵ７４の制御下で、画像処理部５６によって伸長処理が施されてディスプレイ２８に再生画像として表示される。

撮像装置１０では、受付デバイス６２により受け付けられた指示に応じて、動作モードが切り替えられる。例えば、撮像装置１０では、撮像モード下において、受付デバイス６２で受け付けられた指示に応じて、静止画撮像モードと動画撮像モードとが選択的に設定される。静止画撮像モード下では、静止画像ファイルがメモリカード６６に記録可能になり、動画撮像モード下では、動画像ファイルがメモリカード６６に記録可能になる。

ＣＰＵ７４は、静止画撮像モード下でレリーズボタン２６によって静止画像の撮像の指示が受け付けられた場合、撮像素子ドライバ５０を制御することで、撮像素子２２に１フレーム分の本露光を行わせる。画像処理部５６は、ＣＰＵ７４の制御下で、１フレーム分の露光が行われることによって得られた画像信号を取得し、取得した画像信号に対して圧縮処理を施して特定の静止画像用フォーマットの静止画像ファイルを生成する。なお、特定の静止画像用フォーマットは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式のフォーマットであってもよい。静止画像ファイルは、ＣＰＵ７４の制御下で、画像処理部５６によって、メディアＩ／Ｆ６４を介してメモリカード６６に記録される。

画像処理部５６は、動画撮像モード下でレリーズボタン２６によって動画像の撮像の指示が受け付けられた場合、ライブビュー画像用の画像信号に対して圧縮処理を施して特定の動画像用フォーマットの動画像ファイルを生成する。なお、特定の動画像用フォーマットとは、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のフォーマットであってもよい。動画像ファイルは、ＣＰＵ７４の制御下で、画像処理部５６によって、メディアＩ／Ｆ６４を介してメモリカード６６に記録される。

次に、本実施形態の撮像装置１０の作用として、本実施形態の露光量制御処理を実行する場合の撮像装置１０の作用について説明する。

本実施形態の撮像装置１０では、撮像モードにおいて、上述したように、タッチパネルディスプレイ２９にライブビュー画像が表示される。そして、本実施形態の撮像装置１０では、タッチパネルディスプレイ２９に表示されたライブビュー画像の露光量を制御する露光量制御処理が実行される。

具体的には、撮影モードに移行した後、受付デバイス６２により、長時間露光を行う旨の指示または短時間露光を行う旨の指示を受け付けると、本実施形態の撮像装置１０のＣＰＵ７４は、二次記憶部７８から露光量制御処理プログラム７９を読み出して一次記憶部７６に展開して実行することにより、図６に一例を示した、露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９を実行することにより、本開示の第１制御部及び第２制御部の一例として機能する。

なお、以下では、説明の便宜上、タッチパネルディスプレイ２９に表示された、図７に一例として示したライブビュー画像１００に対して露光量制御処理を実行する場合について説明する。

本実施形態の撮像装置１０では、ライブビュー画像１００を境界線により分割することにより設定された複数の分割領域毎に露光量の制御を行う。換言すると、本実施形態のＣＰＵ７４は、ライブビュー画像１００を境界線により分割して得られた分割領域毎に、露光量を制御する。

そのため、まず、図６のステップＳ１００において、ＣＰＵ７４は、ライブビュー画像１００を画像解析し、露光量を制御する領域を設定するための境界線の位置を決定する。図８には、ライブビュー画像１００について決定された境界線１２０の一例を示す。

なお、ＣＰＵ７４が、境界線１２０の位置を決定する方法は特に限定されない。例えば、タッチパネルディスプレイ２９に表示されたライブビュー画像１００を指先等でなぞること等によりユーザが指定した境界線１２０の位置の座標を取得し、取得した座標に基づいて、境界線１２０を決定してもよい。

また、境界線の決定方法として、ＣＰＵ７４がライブビュー画像１００に基づいて自動的に境界線を決定する形態としてもよい。例えば、ＣＰＵ７４は、ライブビュー画像１００を画像解析することにより得られたヒストグラム（輝度分布）に基づいて、境界線の位置を決定してもよい。一例として、図９に、ライブビュー画像１００のヒストグラム２００を示す。図９に示したヒストグラム２００は、横軸を輝度値（明るさ）とし、縦軸を画素数（頻度）としたライブビュー画像１００の輝度分布を示している。なお、以下では、「輝度値」を単に「輝度」という場合がある。

ＣＰＵ７４は、ヒストグラム２００から、輝度値の山２０２と山２０４との間の谷となる範囲２０６を検出し、検出した範囲２０６の中から予め定められた基準に基づいて特定の１つの輝度値２０８を決定する。この場合の予め定められた基準としては、例えば、範囲２０６の中間値であること、又は最低画素数となる輝度値であること等が挙げられる。そして、ＣＰＵ７４は、決定した輝度値２０８に対応する画素の位置に基づいて、例えば、ライブビュー画像１００において、輝度値が輝度値２０８である、画素を最も多く含む直線を境界線１２０とすることにより、ライブビュー画像１００における境界線１２０の位置を決定すればよい。

なお、図９に示したヒストグラム２００が、輝度値の山となる部分が２つ（山２０２及び山２０４）である場合を示したが、輝度値の山となる部分が３つ以上、すなわち、谷となる範囲２０６が２つ以上である場合であっても、ヒストグラムから境界線１２０の位置を決定することができる。この場合、例えば、複数の谷となる範囲２０６の各々から決定された輝度値のうちから、最小値等、予め定められた基準を満たす輝度値を決定し、決定した輝度値に基づいて境界線１２０の位置を決定すればよい。

また、境界線１２０の位置のその他の決定方法としては、ライブビュー画像１００の端部から順に輝度または濃度に基づいてコントラストを抽出し、コントラストが急に変化する位置を、境界線１２０の位置として決定してもよい。

次のステップＳ１０２において、ＣＰＵ７４は、決定した境界線１２０に基づいて、ライブビュー画像１００を、複数の分割領域に分割する。図８では、ライブビュー画像１００が、境界線１２０により、分割領域１２２及び分割領域１２４に分割された状態の一例を示している。分割領域１２２は、画素９０の０行目からｍ行目までの領域に対応し、分割領域１２４は、画素９０のｍ＋１行目からｎ行目までの領域に対応している。

次のステップＳ１０４において、ＣＰＵ７４は、分割領域毎に露光時間を決定する。具体的には、ＣＰＵ７４は、ユーザの所望の露光時間とするため、ユーザが分割領域毎に指示した露光時間を受付デバイス６２により受け付け、受け付けた露光時間を各分割領域の露光時間として決定する。例えば、図８に示したライブビュー画像１００では、分割領域１２２は、水（川）の流れの軌跡を残した画像とするため、ユーザは、軌跡を残すのに十分な比較的長い露光時間を指示する。一方、分割領域１２４は、風で揺れる木や葉等の軌跡がぶれとして表れるのを避けるため、ユーザは分割領域１２２よりも短い露光時間を指示する。図１０には、「露光時間の制御」として、分割領域１２２及び分割領域１２４における露光時間の一例を示す。

次のステップＳ１０６において、ＣＰＵ７４は、決定した露光時間に応じた水平同期信号を出力する。本実施形態では、上記ＨＤ長Ｘを長くするほど露光時間が短くなり、ＨＤ長Ｘを短くするほど露光時間が長くなる。本実施形態においてＣＰＵ７４は、ＨＤ長Ｘと露光時間との対応関係を二次記憶部７８に予め記憶しておき、二次記憶部７８に記憶されている対応関係に基づいて、露光時間に応じたＨＤ長Ｘを導出する。そしてＣＰＵ７４は、導出したＨＤ長Ｘを含む水平同期信号を画像信号処理回路５２に出力する。

なお、画素９０において短時間露光を行う画素９０における露光期間は、長時間露光を行う画素９０における露光期間内に含まれるものとする制御を行うことが好ましい。例えば、ＣＰＵ７４は、露光を開始するタイミングを同一とする制御を行ってもよいし、露光を終了するタイミングを同一とする制御を行ってもよいし、また、露光期間の中心となるタイミングを同一とする制御を行ってもよい。

次のステップＳ１０８において、ＣＰＵ７４は、最も露光時間が短い分割領域を基準として、他の分割領域との露光時間の差を導出する。図８に示したライブビュー画像１００の例では、分割領域が分割領域１２２及び分割領域１２４の２つであり、分割領域１２４の方が露光時間が短い。そのため、分割領域１２４の露光時間を基準として、分割領域１２２の露光時間との差を導出する。ライブビュー画像１００の場合では、分割領域１２２は分割領域１２４に比べて露光時間が長いため、分割領域１２４よりも露光量が多い。

次のステップＳ１１０において、ＣＰＵ７４は、ステップＳ１０８において導出した露光時間の差に基づき、分割領域毎にＮＤフィルタ８０のＮＤフィルタ処理を行うためのフィルタ係数（減光効果を表す段数）を導出する。

上述したように、分割領域１２２の露光量と分割領域１２４の露光量とが異なるため、ライブビュー画像１００全体の露光量を均一とすべく、ＮＤフィルタ処理を行う。なお、ここでいう露光量の「均一」とは、完全に露光量が一致していることの他、露光量の差が、誤差、ＮＤフィルタ８０の透過率の分解能（段数）、及び露光時間の分解能等に応じて予め定められた範囲内であることも含むものとする。

具体的には、露光時間が長く、露光量が多い分割領域１２２に対してＮＤフィルタ８０の減光効果を高くするために透過率を低くすることにより、分割領域１２４の露光量と同様の露光量とすることにより、ライブビュー画像１００全体の露光量を均一とする。図１０に「ＮＤフィルタによる制御」として示した一例では、分割領域１２４に対してはＮＤフィルタ８０による減光を行わない、すなわち透過率１００％としている。そのため、露光時間の制御と、ＮＤフィルタ８０による制御とを組み合わせた結果である分割領域１２２の実際の露光量は、ＮＤフィルタ８０による影響を受けず、露光時間に応じた露光量と同様となる。

一方、分割領域１２２に対してはＮＤフィルタ８０による減光を行って透過率を低くする。これにより、図１０に「実際の露光量」として示すように、露光時間の制御とＮＤフィルタ８０による制御とを組み合わせた結果である分割領域１２２の実際の露光量は、ＮＤフィルタ８０の影響を受けて、分割領域１２４の実際の露光量と同様となる。

そのため、ＣＰＵ７４は、露光時間の差に基づき、分割領域毎にＮＤフィルタ８０のＮＤフィルタ処理を行うためのフィルタ係数を導出するが、具体的な導出方法は特に限定されない。例えば、露光時間の差とフィルタ係数との対応関係を表す情報を二次記憶部７８に予め記憶させておき、二次記憶部７８に記憶されている対応関係を表す情報から導出した露光時間に対応するフィルタ係数を、分割領域１２２に対応するフィルタ係数として導出してもよい。

次のステップＳ１１２において、ＣＰＵ７４は、上記ステップＳ１１０において導出したＮＤフィルタ８０のフィルタ係数に応じてＮＤフィルタ８０を駆動させる指示をＮＤフィルタ駆動部８２に出力した後、本露光量制御処理を終了する。

これにより、タッチパネルディスプレイ２９に表示されるライブビュー画像１００が、ＣＰＵ７４により露光量が制御された画像となる。ユーザによりレリーズボタン２６を用いた撮像の指示が行われると、ＣＰＵ７４によって露光量が制御された状態において撮像素子２２により撮像されて得られた撮像画像がメモリカード６６に記録される。

このように本実施形態の撮像装置１０では、ＣＰＵ７４が分割領域（分割領域１２２及び分割領域１２４）毎に、露光時間を制御し、また、ＮＤフィルタ８０により露光時間が長い分割領域（分割領域１２２）の透過率を、露光時間が最も短い分割領域（分割領域１２４）の透過率に比べて低くすることで、露光時間の差により生じた分割領域毎の露光量の差を均一にする。

従って、本実施形態の撮像装置１０によれば、長時間露光の効果と、短時間露光の効果とを両立させた撮像画像を得ることができる。

本実施形態の撮像装置１０における上記露光量制御処理を実行した結果、タッチパネルディスプレイ２９に表示されるライブビュー画像１５０を図１１に示す。図１１に示したように、分割領域１２２に対応するライブビュー画像１５０の部分画像１５２では、長時間露光の効果により水の流れの軌跡が映った画像となる。また、分割領域１２４の部分に対応するライブビュー画像１５０の部分画像１５４では、短時間露光の効果により葉の揺れ等の映したくない軌跡が映っておらず、被写体（葉等）の画像はぶれていない。すなわち、図１１に示したライブビュー画像１５０は、長時間露光の効果と、短時間露光の効果とを両立させた撮像画像となっており、ユーザが所望とする表現を実現した画像が得られる。

一方、本実施形態の撮像装置１０との比較のため、本実施形態の撮像装置１０と異なり、撮像画像全体の露光時間を同一とした場合、ユーザが所望とする表現を実現した画像が得られない。

例えば、図１２には、上述した分割領域１２２の露光時間に分割領域１２４の露光時間を合わせた場合のライブビュー画像５００の一例を示す。すなわち、ライブビュー画像５００は、画像の全体に対して長時間露光を適用した場合となる。図１２に示したように、分割領域１２２に対応するライブビュー画像５００の部分画像５０２では、長時間露光の効果により水の流れの軌跡が映った画像となる。一方、分割領域１２４に対応するライブビュー画像５００の部分画像５０４では、葉のゆれ等、映したくない軌跡が映ってしまうことにより、被写体（葉や木）がぶれた画像となっており、ユーザが所望とする表現を実現した画像が得られていない。

また例えば、図１３には、上述した分割領域１２４の露光時間に分割領域１２２の露光時間を合わせた場合のライブビュー画像６００の一例を示す。すなわち、ライブビュー画像６００は、画像の全体に対して短時間露光を適用した場合となる。図１３に示したように、分割領域１２４の部分に対応するライブビュー画像６００の部分画像６０４では、短時間露光の効果により葉の揺れ等の映したくない軌跡が映っておらず、被写体（葉等）の画像はぶれていない。一方、分割領域１２２の部分に対応するライブビュー画像６００の部分画像６０２では、映したい水の流れの軌跡が映っていない画像となっており、ユーザが所望とする表現を実現した画像が得られていない。

［第２実施形態］
以下、第２実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

一例として図１〜図３に示すように、本実施形態の撮像装置１０Ａは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ａを有する点が異なる。

一例として図３に示すように、撮像装置本体１２Ａは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ａを有する点が異なる。制御部４６Ａは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ａを有する点が異なる。

一例として図３に示すように、二次記憶部７８Ａは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ａを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ａから露光量制御処理プログラム７９Ａを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ａに従って図１４に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ａを実行することにより本開示の第１制御部、第２制御部、及び決定部の一例として動作する。

次に、本実施形態の撮像装置１０Ａの作用として、図１４に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。

図１４に示すように、本実施形態では、第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１００の前にステップＳ９８の処理を実行する点、及びステップＳ１１０に代わりステップＳ１１１の処理を実行する点が異なっている。

図１４に示すように、本実施形態では、露光量制御処理の実行を開始するとまず、ステップＳ９８において、ＣＰＵ７４は、ライブビュー画像１００（撮像画像）全体の露光量を決定する。ここで決定するライブビュー画像１００全体の露光量は、最終的な撮像画像の露光量（以下では「適正露光量」という）となる。本実施形態では、ユーザが指示した所望の露光量を受付デバイス６２により受け付け、受け付けた露光量を適正露光量として決定する。なお、適正露光量の決定方法は特に限定されず、例えば、ＣＰＵ７４は、ライブビュー画像１００に対して画像解析を行った結果に基づいて、適正露光量を決定してもよい。

また、ステップＳ１１１において、ＣＰＵ７４は、上記ステップＳ１０８において導出した露光時間の差、及び上記ステップＳ９８で決定した適正露光量に基づき、分割領域毎にＮＤフィルタ８０のＮＤフィルタ処理を行うためのフィルタ係数（減光効果を表す段数）を導出する。

このように本実施形態の撮像装置１０Ａによれば、ＣＰＵ７４がＮＤフィルタ処理により撮像画像全体の露光量を適正露光量とする制御を行うため、より、ユーザが所望とする表現を実現した画像が得られる。

［第３実施形態］
以下、第３実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

一例として図１〜図３に示すように、本実施形態の撮像装置１０Ｂは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ｂを有する点が異なる。

一例として図３に示すように、撮像装置本体１２Ｂは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ｂを有する点が異なる。制御部４６Ｂは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ｂを有する点が異なる。

一例として図３に示すように、二次記憶部７８Ｂは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ｂを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ｂから露光量制御処理プログラム７９Ｂを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ｂに従って図１５に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ｂを実行することで本開示の第１制御部、第２制御部、第３制御部、及び決定部の一例として動作する。

次に、本実施形態の撮像装置１０Ｂの作用として、図１５に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。

図１５に示すように、本実施形態では、第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１００の前にステップＳ９８の処理を実行する点、及びステップＳ１１２の後にステップＳ１１３の処理を実行する点が異なっている。

ステップＳ９８の処理は、第２実施形態の露光量制御処理（図１４参照）と同様であるため説明を省略する。

図１５に示すようにステップＳ１１３において、ＣＰＵ７４は、上記ステップＳ１０６の処理による露光時間の制御、及び上記ステップＳ１１２におけるＮＤフィルタ８０の制御により分割領域１２２と分割領域１２４との露光量の差が調整された後の露光量と、適正露光量とに基づき、絞り１９の開口の大きさを図示を省略した絞り駆動部により制御する。

このように本実施形態の撮像装置１０Ｂによれば、ＣＰＵ７４が絞り１９の開口の大きさを制御することにより撮像画像全体の露光量を適正露光量とする制御を行うため、より、ユーザが所望とする表現を実現した画像が得られる。

［第４実施形態］
以下、第４実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

一例として図１〜図３に示すように、本実施形態の撮像装置１０Ｃは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ｃを有する点が異なる。

一例として図３に示すように、撮像装置本体１２Ｃは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ｃを有する点が異なる。制御部４６Ｃは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ｃを有する点が異なる。

一例として図３に示すように、二次記憶部７８Ｃは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ｃを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ｃから露光量制御処理プログラム７９Ｃを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ｃに従って図１６に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ｃを実行することで本開示の第１制御部、第２制御部、分割部、及び露光時間決定部として動作する。

次に、本実施形態の撮像装置１０Ｃの作用として、図１６に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。

本実施形態の撮像装置１０Ｃで行われる露光量制御処理では、分割領域１２２及び分割領域１２４の決定方法（境界線１２０の決定方法）、及び分割領域１２２及び分割領域１２４の露光時間の決定方法が上記各実施形態と異なる。

そのため本実施形態の露光量制御処理は、図１６に示すように上記第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１００及びステップＳ１０２に代わりステップＳ９０及びステップＳ９２の各処理を実行する点、及びステップＳ１０４に代わりステップＳ１０４Ａの処理を実行する点が異なる。なお、本実施形態では、説明の便宜上、タッチパネルディスプレイ２９に表示された、図１７に一例として示したライブビュー画像１３０に対して露光量制御処理を実行する場合について説明する。

図１６に示すように、本実施形態では、露光量制御処理の実行を開始するとまず、ステップＳ９０において、ＣＰＵ７４は、ライブビュー画像１３０に対して、画像認識処理を行い、ライブビュー画像１３０に含まれる被写体等のオブジェクトの種類を特定する。なお、オブジェクトの種類は、そのオブジェクトの画像をユーザの所望の画像とするために露光時間を制御する対象を表し、特に限定されず任意とすることができるが、例えば「水」、「岩」、「木」、及び「空」等が挙げられる。

ＣＰＵ７４が画像認識処理によりライブビュー画像１３０に含まれる被写体等のオブジェクトの種類を特定する方法は特に限定されない。例えば、複数の画像データにより学習されたニューラルネットワークを用いて、ライブビュー画像１３０の各画素のオブジェクトを特定してもよい。なお、本実施形態では、ライブビュー画像１３０の画素毎に対応するオブジェクトの種類を特定したが、画素に代わり、ライブビュー画像１３０を予め定められた大きさに分割した領域毎に対応するオブジェクトの種類を特定してもよい。また、画像解析処理を行いライブビュー画像１３０に含まれる被写体を抽出し、抽出した被写体毎に画像認識処理によりオブジェクトの種類を特定してもよい。

図１８には、ライブビュー画像１３０に含まれる被写体等のオブジェクトの種類を特定した特定結果の一例を示す。図１８に示した一例では、ライブビュー画像１３０から「水（water）」、「岩（rock）」、「木（tree）」、及び「空（sky）」の四種類のオブジェクトを特定した特定結果を示している。

次のステップＳ９２において、ＣＰＵ７４は、特定したオブジェクトの種類に応じて、ライブビュー画像１３０を複数の分割領域に分割する。ＣＰＵ７４がライブビュー画像１３０を分割する分割方法は特に限定されず、例えば、特定したオブジェクト毎の種類、大きさ、及び位置等に基づいて分割してもよい。図１８に示した一例では、ライブビュー画像１３０の下側（図１８における下側）に「水」であるオブジェクトが多く存在し、上側（図１８における上側）に「木」であるオブジェクトが多く存在する。上記各実施形態で上述したように「水」の軌跡を残した画像がユーザに好まれる傾向があり、一方、「木」の軌跡が残らない画像がユーザに好まれる傾向がある。そこで、本実施形態のＣＰＵ７４は、「水」のオブジェクトと「木」のオブジェクトの境界を、境界線１４０として用いてライブビュー画像１３０を分割領域１４２及び分割領域１４４に分割する。

次のステップＳ１０４Ａにおいて、ＣＰＵ７４は、分割領域１４２及び分割領域１４４各々の露光時間を決定する。分割領域１４２及び分割領域１４４各々の露光時間を決定する方法は特に限定されないが、本実施形態では、一例としてＣＰＵ７４はまず、図１９に一例を示したオブジェクトの種類と露光時間との対応関係を表す情報２５０を取得する。なお、対応関係を表す情報２５０は、予め二次記憶７８Ｃに記憶させておいてもよいし、メモリカード６６に記憶させておいてもよい。また、外部装置から対応関係を表す情報２５０をダウンロードする形態であってもよい。

そしてＣＰＵ７４は、露光時間を対応関係を表す情報２５０を参照して、分割領域１４２及び分割領域１４４各々を代表するオブジェクトの種類に応じた露光時間を分割領域１４２及び分割領域１４４各々の露光時間として決定する。具体的には、分割領域１４２を代表するオブジェクトの種類は「水」であるため、対応関係を表す情報２５０を参照して「水」に対応する露光時間を分割領域１４２の露光時間として決定する。また、分割領域１４４を代表するオブジェクトの種類は「木」であるため、対応関係を表す情報２５０を参照して「木」に対応する露光時間を分割領域１４４の露光時間として決定する。一例として、分割領域１４２を代表するオブジェクトの種類である「水」に対応する露光時間は、分割領域１４４を代表するオブジェクトの種類である「木」に対応する露光時間よりも長い。

このように本実施形態の撮像装置１０Ｃによれば、ＣＰＵ７４が画像認識処理によりライブビュー画像１３０に含まれるオブジェクトの種類を特定し、特定結果に基づいてライブビュー画像１３０を分割領域１４２及び分割領域１４４に分割する。そしてＣＰＵ７４は、分割領域１４２及び分割領域１４４各々を代表するオブジェクトの種類に基づいて、対応関係を表す情報２５０を参照して分割領域１４２及び分割領域１４４各々の露光時間を決定する。

これにより、本実施形態の撮像装置１０Ｃによれば、ユーザが撮像装置１０Ｃの操作に不慣れな場合であっても、ライブビュー画像１３０の分割領域への分割を適切に行うことができ、適切な露光時間を決定することができる。

［第５実施形態］
以下、第５実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

一例として図１〜図３に示すように、本実施形態の撮像装置１０Ｄは、上記第１実施形態の撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体１２Ｄを有する点が異なる。

一例として図３に示すように、撮像装置本体１２Ｄは、撮像装置本体１２に比べ、制御部４６に代えて制御部４６Ｄを有する点が異なる。制御部４６Ｄは、制御部４６に比べ、二次記憶部７８に代えて二次記憶部７８Ｄを有する点が異なる。

一例として図３に示すように、二次記憶部７８Ｄは、二次記憶部７８に比べ、露光量制御処理プログラム７９に代えて露光量制御処理プログラム７９Ｄを記憶している点が異なる。ＣＰＵ７４は、二次記憶部７８Ｄから露光量制御処理プログラム７９Ｄを読み出して一次記憶部７６に展開し、展開した露光量制御処理プログラム７９Ｄに従って図２０に示す露光量制御処理を実行する。ＣＰＵ７４は、露光量制御処理プログラム７９Ｄを実行することで本開示の第１制御部及び第２制御部の一例として動作する。

次に、本実施形態の撮像装置１０Ｄの作用として、図２０に示す露光量制御処理について説明する。なお、上記第１実施形態と同一の作用については説明を省略する。

本実施形態の露光量制御処理は、図２０に示すように上記第１実施形態の露光量制御処理（図６参照）に比べ、ステップＳ１１２の後に、ステップＳ１１４〜Ｓ１１８の各処理を実行する点が異なる。

上述したように露光量制御処理のステップＳ１１２まで実行することにより、タッチパネルディスプレイ２９に表示されている画像は、ＣＰＵ７４により露光量が制御された画像となる。以下では、説明の便宜上、タッチパネルディスプレイ２９にライブビュー画像１００が表示されているものとする。

この後、タッチパネルディスプレイ２９に表示されているライブビュー画像１００が変化する場合がある。なお、ライブビュー画像１００の変化とは、いわゆる撮影シーンの変化や、撮像画像に含まれる被写体（撮像対象）の画像の変化、フレーミング（画角）の変化、拡大又は縮小等による変化、及び撮影範囲の変化を含む。また、被写体の変化としては、太陽の昇りや沈み、光の反射の仕方等、被写体となる自然現象の変化も含む。そのため、撮像装置１０Ｄ自身が動く場合に限らず、撮像装置１０Ｄ自身が動かない場合でも、撮像画像の変化は生じる。

ステップＳ１１４において、ＣＰＵ７４は、ライブビュー画像１００が変化したか否かを判定する。ＣＰＵ７４がライブビュー画像１００が変化したか否かを判定する方法は特に限定されない。例えば、撮像装置１０Ｄがヨー方向、ロー方向、及びピッチ方向の各角速度情報を検出するジャイロセンサを備えている場合、ＣＰＵ７４は、ジャイロセンサにより検出された角速度情報に応じた角速度が予め定められた閾値を超えた場合に、ライブビュー画像１００が変化したと判定してもよい。

ライブビュー画像１００が変化した場合、ステップＳ１１４の判定が肯定判定となり、ステップＳ１１６へ移行する。ステップＳ１１６において、ＣＰＵ７４は、ライブビュー画像の変化に応じて境界線１２０の位置を移動させた後、ステップＳ１０６に戻る。

ライブビュー画像１００の変化に応じて境界線１２０を移動させる方法は特に限定されないが、上述の例のようにジャイロセンサにより角速度情報を検出した場合、ライブビュー画像１００の変化の速度または加速度に応じた速度で境界線を移動させる。このような方法として、例えば、ＣＰＵ７４は、移動前のライブビュー画像１００における境界線１２０の一部を含む領域の画像をテンプレート画像として用いて、移動後のライブビュー画像１００に対してテンプレートマッチングを行うことにより、境界線１２０の位置を決定し、決定した位置に境界線１２０を表示させることにより、境界線１２０を移動させてもよい。また例えば、ＣＰＵ７４は、移動前後のライブビュー画像１００における境界線１２０のオプティカルフローを導出することにより、境界線１２０の位置を決定し、決定した位置に境界線１２０を表示させることにより、境界線１２０を移動させてもよい。さらに例えば、ＣＰＵ７４は、ジャイロセンサが検出した各方向における角速度（センサＩ／Ｆ６８から入力された角速度情報）に基づいて検出した撮像装置１０の動きに応じて、境界線１２０の位置を決定し、決定した位置に境界線１２０を表示させることにより、境界線１２０を移動させてもよい。また、ＣＰＵ７４は、ＫＬＴ（Kanade-Lucas-Tomasi Feature Tracker）等の画像解析アルゴリズムを用いて境界線１２０を移動させてもよい。

一方、ライブビュー画像１００に変化がない場合、ステップＳ１１４の判定が否定判定となり、ステップＳ１１８へ移行する。

ステップＳ１１８において、ＣＰＵ７４は、本露光量制御処理を終了するか否かを判定する。露光量制御処理を終了しない場合、ステップＳ１１８の判定が否定判定となり、ステップＳ１１４に戻る。一方、終了する場合、ステップＳ１１８の判定が肯定判定となり、本露光量制御処理を終了する。

このように本実施形態の撮像装置１０Ｄによれば、ＣＰＵ７４がライブビュー画像１００の変化に応じて境界線１２０を自動的に移動させ、移動後の境界線１２０に応じて分割された分割領域１２２及び分割領域１２４各々に対して露光時間による露光量の制御とＮＤフィルタ８０による露光量の制御とを組み合わせて行う。

従って、ライブビュー画像１００が変化した場合でもユーザが境界線１２０の指示を再び行うこと等がなくなるため、撮像画像の画質を低下させることなく、ユーザの利便性を向上させることができる。

以上説明したように、上記各実施形態の撮像装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）は、複数の画素９０が２次元状に配列された撮像素子２２を含み、撮像光学系を通して被写体を撮像素子２２により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を生成する画像処理部５６と、撮像素子２２に入射する単位時間あたりの光量を制御するＮＤフィルタ８０と、を備える。

ＣＰＵ７４は、露光量制御処理を実行することにより、撮像画像を分割した複数の分割領域毎に、画素９０の露光時間を制御して画素９０の露光量を制御する第１制御部と、ＮＤフィルタ８０の透過率を制御して露光時間を制御することにより露光量が制御された複数の分割領域毎の露光量の差を調整する制御を行う第２制御部として機能する。タッチパネルディスプレイ２９には、ＣＰＵ７４により露光時間とＮＤフィルタ８０の透過率との組み合わせにより制御された露光量により得られた撮像画像が表示される。

このように本実施形態のＣＰＵ７４は、分割領域（分割領域１２２及び分割領域１２４または分割領域１４２及び分割領域１４４）毎に、露光時間を制御し、また、ＮＤフィルタ８０により露光時間が長い分割領域（分割領域１２２または分割領域１４２）の透過率を制御することにより、露光時間を制御することによって生じた露光量の差を調整する。そのため、上記各実施形態の撮像装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）によれば、長時間露光の効果と、短時間露光の効果とを両立させた撮像画像を得ることができる。

従って、上記各実施形態の撮像装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）によれば、ユーザが所望する表現を実現することができる。

以下では、説明の便宜上、撮像装置１０、１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄを区別して説明する必要がない場合、符号を付さずに「撮像装置」と称する。また、以下では、説明の便宜上、撮像装置本体１２、１２Ａ、１２Ｂ、１２Ｃ、及び１２Ｄを区別して説明する必要がない場合、符号を付さずに「撮像装置本体」と称する。また、以下では、説明の便宜上、二次記憶部７８、７８Ａ、７８Ｂ、７８Ｃ、及び７８Ｄを区別して説明する必要がない場合は、符号を付さずに「二次記憶部」と称する。また、以下では、説明の便宜上、露光量制御処理プログラム７９、７９Ａ、７９Ｂ、７９Ｃ、及び７９Ｄを総称する場合、符号を付さずに「露光量制御処理プログラム」と称する。

なお、上記各実施形態では、ライブビュー画像を２つの分割領域に分割する形態について説明したが、３つ以上の分割領域に分割してもよい。例えば、図２１に示した一例のライブビュー画像１７０においてライブビュー画像１７０の画素行の中央部に映る車両の画像を、いわゆる流し撮りしたい場合、図２２に示した一例のように、境界線１７２及び境界線１７４により、ライブビュー画像１７０を分割領域１７６、分割領域１７８、及び分割領域１８０に分割する。この場合のシャッタースピードに対応する露光時間は、車両の画像が含まれる分割領域１７８が最も短くなる。この場合、ＣＰＵ７４は、ＮＤフィルタ８０の透過率を制御することにより、分割領域１７８の露光時間に応じた露光量を基準とし、分割領域１７８と分割領域１８０との露光量の差、及び分割領域１７８と分割領域１７６との露光量の差の各々を均一とする制御を行う。

また、上記各実施形態では、露光量制御処理プログラムを二次記憶部７８から読み出す場合を例示したが、必ずしも最初から二次記憶部７８に記憶させておく必要はない。例えば、図２３に示すように、ＳＳＤ（Solid State Drave）、ＵＳＢ（Universal Serial Bus）メモリ、またはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の任意の可搬型の記憶媒体３００に先ずは露光量制御処理プログラムを記憶させておいてもよい。この場合、記憶媒体３００の露光量制御処理プログラムが撮像装置本体にインストールされ、インストールされた露光量制御処理プログラムがＣＰＵ７４によって実行される。

また、通信網（図示省略）を介して撮像装置本体に接続される他のコンピュータまたはサーバ装置等の記憶部に露光量制御処理プログラムを記憶させておき、露光量制御処理プログラムが撮像装置本体の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた露光量制御処理プログラムはＣＰＵ７４によって実行される。

また、上記各実施形態で説明した露光量制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

また、上記各実施形態では、コンピュータを利用したソフトウェア構成により露光量制御処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア構成のみによって、露光量制御処理が実行されるようにしてもよい。また、露光量制御処理がソフトウェア構成とハードウェア構成とを組み合わせた構成によって実行されるようにしてもよい。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ 撮像装置
１２、１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ 撮像装置本体
１３、１５ マウント
１４ 撮像レンズ
１６ フォーカスリング
１８ レンズユニット
１９ 絞り
２０ フォーカスレンズ
２２ 撮像素子
２２Ａ 受光面
２４ ダイヤル
２６ レリーズボタン
２８ ディスプレイ
２９ タッチパネルディスプレイ
３０ 十字キー
３２ ＭＥＮＵ／ＯＫキー
３４ ＢＡＣＫ／ＤＩＳＰボタン
３６ ファインダ
３８ タッチパネル
４０ 制御装置
４２ 第１ミラー
４４ 第２ミラー
４６、４６Ａ、４６Ｂ、４６Ｃ、４６Ｄ 制御部
４８ ミラー駆動部
５０ 撮像素子ドライバ
５２ 画像信号処理回路
５４ 画像メモリ
５６ 画像処理部
５８ 表示制御部
６０ 受付Ｉ／Ｆ
６２ 受付デバイス
６４ メディアＩ／Ｆ
６６ メモリカード
７２ 外部Ｉ／Ｆ
７４ ＣＰＵ
７６ 一次記憶部
７８、７８Ａ、７８Ｂ、７８Ｃ、７８Ｄ 二次記憶部
７９、７９Ａ、７９Ｂ、７９Ｃ、７９Ｄ 露光量制御処理プログラム
８０ ＮＤフィルタ
８１ バスライン
８２ ＮＤフィルタ駆動部
９０ 画素
１００、１３０、１５０、１７０、５００、６００ ライブビュー画像
１２０、１４０、１７２、１７４ 境界線
１２２、１２４、１４２、１４４、１７６、１７８、１８０ 分割領域
１５２、１５４、５０２、５０４、６０２、６０４ 部分画像
２００ ヒストグラム
２０２、２０４ 山
２０６ 範囲
２０８ 輝度値
２５０ 情報
３００ 記憶媒体
α 受光面被覆位置
β 受光面開放位置
Ｌ１ 光軸

Claims (16)

1. 複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号を出力する撮像部と、
   前記画像信号に応じた撮像画像を生成する画像生成部と、
   前記撮像素子に入射する単位時間あたりの光量を制御する光量制御部と、
   前記撮像画像を分割した複数の分割領域毎に、前記画素の露光時間を制御して前記画素の露光量を制御する第１制御部と、
   前記複数の分割領域の中で最も露光時間が短い分割領域の露光量を基準の露光量とした場合の、前記複数の分割領域の露光量と前記基準の露光量との差を前記複数の分割領域毎に取得し、前記複数の分割領域毎に前記露光量の差に応じて前記複数の分割領域の露光量を下げる制御を行う第２制御部と、
   を備えた撮像装置。
2. 前記第２制御部は、前記複数の分割領域毎の露光量の差を予め定められた範囲内とする制御を行う、
   請求項１に記載の撮像装置。
3. 前記撮像素子全体の露光量を決定する決定部と、
   前記第２制御部により露光量が制御された前記複数の分割領域の露光量を、前記決定部により決定された露光量に調整する制御を行う第３制御部と、
   をさらに備えた、
   請求項２に記載の撮像装置。
4. 前記撮像素子全体の露光量を決定する決定部をさらに備え、
   前記第２制御部は、前記複数の分割領域各々の露光量を前記決定部が決定した露光量とすることで、前記複数の分割領域毎の露光量の差を
   調整する、
   請求項１に記載の撮像装置。
5. 前記第２制御部は、前記複数の分割領域における予め定められた条件を満たす分割領域に対する前記第１制御部の露光量を基準として、前記複数の分割領域毎の露光量の差を調整する制御を行う、
   請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記第２制御部は、露光時間が最も短いことを前記予め定められた条件とする、
   請求項５に記載の撮像装置。
7. 前記第１制御部は、前記撮像画像の解析結果から導出した境界に基づいて、前記撮像画像を前記複数の分割領域に分割する、
   請求項１から請求項６のいずれか１項に記載の撮像装置。
8. 前記第１制御部は、前記撮像画像が変化した場合、前記境界の位置を前記撮像画像の変化に基づいて調整する、
   請求項７に記載の撮像装置。
9. 前記複数の分割領域毎の露光時間を受け付ける受付部をさらに備え、
   前記第１制御部は、前記受付部が受け付けた露光時間により制御を行う、
   請求項１から請求項８のいずれか１項に記載の撮像装置。
10. 前記撮像画像の領域、前記撮像画像に含まれる被写体、及び前記撮像画像に対応する画素のいずれか毎に、対応するオブジェクトの種類を前記撮像画像を認識した認識結果に基づいて特定し、特定結果に基づいて前記撮像画像を前記複数の分割領域に分割する分割部と、
    前記オブジェクトの種類と露光時間との予め定められた対応関係に基づき、前記複数の分割領域各々の露光時間を決定する露光時間決定部と、
    をさらに備え、
    前記第１制御部は、前記露光時間決定部が決定した露光時間により制御を行う
    請求項１から請求項６のいずれか１項に記載の撮像装置。
11. 前記第１制御部は、前記複数の画素の配列の行毎に、前記画素の露光時間を制御する、
    請求項１から請求項１０のいずれか１項に記載の撮像装置。
12. 前記光量制御部は、エレクトロクロミック素子または液晶素子を含むＮＤフィルタである、
    請求項１から請求項１１のいずれか１項に記載の撮像装置。
13. 前記複数の分割領域は第１分割領域と第２分割領域を含み、
    前記第１制御部は、前記第１分割領域に対応する画素の露光時間を、前記第２分割領域に対応する画素の露光時間よりも長くし、
    前記第２制御部は、前記第１分割領域に対応する前記画素の前記露光量を、前記第２分割領域に対応する前記画素の前記露光量と同様にする、
    請求項１から請求項１２のいずれか１項に記載の撮像装置。
14. 前記撮像画像を表示する表示部と、
    前記表示部と共にタッチパネルディスプレイを構成するタッチパネルと、を備える、
    請求項１から請求項１３のいずれか１項に記載の撮像装置。
15. 複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、
    前記撮像画像を分割した複数の分割領域毎に、前記画素の露光時間を制御して前記画素の露光量を制御する第１制御を行い、
    前記撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、前記複数の分割領域の中で最も露光時間が短い分割領域の露光量を基準の露光量とした場合の、前記複数の分割領域の露光量と前記基準の露光量との差を前記複数の分割領域毎に取得し、前記複数の分割領域毎に前記露光量の差に応じて前記複数の分割領域の露光量を下げる制御を行う第２制御を行う、
    処理を含む撮像装置の制御方法。
16. コンピュータに、
    複数の画素が２次元状に配列された撮像素子を含み、撮像光学系を通して被写体を前記撮像素子により撮像して得られた画像信号に応じた撮像画像を生成し、
    前記撮像画像を分割した複数の分割領域毎に、前記画素の露光時間を制御して前記画素の露光量を制御する第１制御を行い、
    前記撮像素子に入射する単位時間あたりの光量を制御する光量制御部を制御して、前記複数の分割領域の中で最も露光時間が短い分割領域の露光量を基準の露光量とした場合の、前記複数の分割領域の露光量と前記基準の露光量との差を前記複数の分割領域毎に取得し、前記複数の分割領域毎に前記露光量の差に応じて前記複数の分割領域の露光量を下げる制御を行う第２制御を行う、
    処理を実行させるための撮像装置の制御プログラム。