JPWO2015146471A1 - 撮影装置 - Google Patents

Abstract

ダイナミックレンジを拡大するとともに、透過率の異なるセグメント間の低輝度領域に生じる段差をなくすことを可能とする撮影装置を提供する。高輝度画素数算出部（４３）は、調光素子の全セグメントを高透過率としたプリ撮影で得られたプリ画像データに基づいて、セグメント毎に第１輝度値以上の輝度値を有する高輝度画素数を算出する。主制御部（３０）は、高輝度画素数が第１画素数以上のセグメントを減光対象セグメントとして決定する。低輝度画素特定部（４４）は、減光対象セグメントに対応した画素のうち、第２輝度値以下の輝度値を有する低輝度画素を特定する。主制御部（３０）は、特定された低輝度画素をゲイン補正対象として決定する。ゲイン補正部（４１）は、減光対象セグメントを低透過率とした状態で行われる本撮影で得られた画像データに基づいて、低輝度画素の画素信号値を、高透過率と低透過率との比に応じたゲイン値でゲイン補正を行う。

Description

本発明は、撮像素子のダイナミックレンジを拡大するための調光素子を有する撮影装置に関する。

デジタルカメラ等の撮影装置では、撮像素子（ＣＣＤセンサやＣＭＯＳセンサ等）を用いて、被写体像を光電変換により撮像して画像データを生成している。しかし、撮像素子は、従来の銀塩フィルムと比べてダイナミックレンジ（階調再現性）が低く、被写体の階調を十分に再現することができない。例えば、被写体の暗い部分に露出を合わせると、被写体の明るい部分の撮像信号の輝度値が飽和し、いわゆる白とびが生じる。

このため、複数のセグメントを有し、セグメント毎に光の透過率が可変である調光素子を撮像素子の前面に配置し、被写体の明るい部分に対応するセグメントの透過率を下げて減光したうえで撮像を行うことにより、白とびを防止することが提案されている（特許文献１、２参照）。これにより、撮像素子のダイナミックレンジが擬似的に拡大する。特許文献１では、調光素子としてエレクトロ・クロミック（ＥＣ）フィルタが用いられている。特許文献２では、調光素子として液晶フィルタが用いられている。

調光素子のセグメントを撮像素子の１画素毎に設けると、精度よく調光制御を行うことが可能であるが、撮像素子の画素数が多く、その数に匹敵するセグメントを制御するためのメモリやコントローラ等の部品が必要になる。このため、特許文献１、２では、セグメント数を減らすように、複数の画素に対して１つのセグメントが割り当てられている。

しかし、複数の画素に対して１つのセグメントを割り当てた場合には、セグメント毎に透過率を制御すると、１セグメントに対応する複数の画素の輝度値がまとめて増減されるので、透過率の異なるセグメント間で、画像の輝度に段差が生じる。

そこで、特許文献１では、透過率の異なるセグメントの境界付近の画素信号値をゲイン調整することにより段差を目立たなくすることが記載されている。特許文献２では、より具体的に、デジタルフィルタ処理の一種であるローパスフィルタ処理を行うことにより段差を目立たなくすることが記載されている。

特開２００３−３４８４３９号公報 特開２００１−３３３３２９号公報

しかしながら、１つのセグメント内には、白とび領域（高輝度領域）だけでなく、白とびしていない領域（低輝度領域）が含まれていることがあり、この低輝度領域も白とび領域とともに減光されて、輝度が低下してしまう。この低輝度領域が透過率の異なるセグメント間に跨っていると輝度の段差が生じる。特許文献１、２に記載の段差補正処理は、セグメント間の境界部分のみを目立たなくする処理であるので、セグメント間の低輝度領域の段差自体をなくすことはできない。

本発明は、透過率の異なるセグメント間の低輝度領域に生じる段差をなくすことを可能とする撮影装置を提供することを目的とする。

上記目的を達成するため、本発明の撮影装置は、複数のセグメントを有し、調光素子と、撮像素子と、高輝度画素数算出部と、制御部と、低輝度画素特定部と、ゲイン補正部とを備える。調光素子は、セグメント毎に光透過率が高透過率と低透過率との間で可変である。撮像素子は、調光素子を介して光が入射し、各セグメントに対して複数の画素が配置される。高輝度画素数算出部は、セグメントを全て同一の透過率として撮像素子により得られる撮像信号に基づいて、セグメント毎に第１輝度値以上の輝度値を有する高輝度画素の数を算出する。制御部は、調光素子を制御し、高輝度画素の数が第１画素数以上のセグメントを低透過率に設定し、その他のセグメントを高透過率に設定する。低輝度画素特定部は、低透過率に設定されたセグメントについて、第２輝度値以下の輝度値を有する低輝度画素を特定する。ゲイン補正部は、低輝度画素の画素信号値を、高透過率と低透過率との比に応じたゲイン値でゲイン補正を行う。

低輝度画素特定部は、低透過率に設定されたセグメントに隣接する複数のセグメントのそれぞれについて、対応する画素の輝度分布の最大輝度値を求め、最大輝度値のうち最小のものを第２輝度値とすることが好ましい。この場合、低輝度画素特定部は、輝度分布の累積度数が特定の値となる輝度値を、最大輝度値とすることが好ましい。

ゲイン補正部は、第２輝度値をゲイン値で割った値を閾値とした場合に、閾値以下の範囲でゲイン値を取り、閾値より大きい範囲で第２輝度値に反比例して減少するゲイン関数を用いてゲイン補正を行うことが好ましい。

低透過率に設定するセグメントについて、ゲイン補正を行う場合に、画素信号値が取り得る階調の上限値に達する低輝度画素の数であるエラー画素数を算出するエラー画素数算出部を備えている。制御部は、高輝度画素の数が第１画素数以上で、かつエラー画素数が第２画素数以下のセグメントを低透過率に設定することが好ましい。

調光素子は、ポリマーネットワーク型液晶装置であることが好ましい。

ＩＳＯ感度を設定するＩＳＯ感度設定部を備えている。制御部は、ＩＳＯ感度の設定値が一定値以下の場合にのみ調光素子を制御することが好ましい。

動画撮影及びライブビュー表示が可能である。制御部は、動画撮影及びライブビュー表示の実行状態にて調光素子を制御することが好ましい。

撮像素子は、複数種の色信号のうちから画素毎に１種の色信号を出力する単板カラー方式である。画素毎に複数種の色信号を輝度値及び色差値に変換する輝度色差変換部を備えている。高輝度画素数算出部は、輝度値に基づいて高輝度画素の数を算出することが好ましい。

ゲイン補正部は、低輝度画素の複数種の色信号に対してそれぞれゲイン補正を行うことが好ましい。

ゲイン補正部は、低透過率に設定するセグメントについて、ゲイン補正を行う際に、低輝度画素の複数種の色信号値のうちの最小ゲインマージンがゲイン値より小さい場合には、ゲイン値を最小ゲインマージンとしてゲイン補正を行うことが好ましい。

複数の色信号は、赤色画素信号、緑色画素信号、青色画素信号であることが好ましい。

本発明によれば、低透過率に設定されたセグメントに対応する低輝度画素の画素信号値を、高透過率と低透過率との比に応じたゲイン値でゲイン補正を行うので、透過率の異なるセグメント間の低輝度領域に生じる段差をなくすことができる。

デジタルカメラの前面側斜視図である。 デジタルカメラの背面図である。 デジタルカメラの電気的構成を示すブロック図である。 固体撮像素子及び調光素子のセグメントを示す図である。 ＤＲ拡大モード時の撮影動作を説明するフローチャートである。 プリ画像データを示す図である。 減光対象セグメントの輝度分布を示す図である。 非減光対象セグメントの輝度分布を示す図である。 非減光対象セグメントに隣接する減光対象セグメントの輝度分布を示す図である。 ゲイン補正対象とする低輝度画素の決定手順を示すフローチャートである。 非減光対象セグメントと減光対象セグメントとの間に生じる段差の補正について説明する模式図である。 減光対象セグメントと隣接セグメントとの関係を示す図である。 隣接セグメントに減光対象セグメントと非減光対象セグメントとが含まれる例を示す図である。 隣接セグメントの輝度分布に基づいて第２輝度値を決定する方法を説明する図である。 ゲイン関数を用いたゲイン補正を説明する図である。 ゲイン補正によりエラー画素が生じる例を示す図である。 高輝度画素数及びエラー画素数に基づいて減光対象セグメントを決定する手順を示すフローチャートである。 最小ゲインマージンを用いたゲイン補正を説明する図である。 動画撮影モードにおける撮像動作及び表示動作を説明する図である。

［第１実施形態］
図１及び図２において、撮影装置としてのデジタルカメラ１１は、カメラ本体１２、レンズ鏡筒１３、フラッシュ発光部１４、操作部１５、表示部１６を備える。レンズ鏡筒１３は、カメラ本体１２の前面に設けられ、撮影レンズ２１を保持している。フラッシュ発光部１４は、カメラ本体１２の前面に設けられており、撮影の際に被写体に向けてフラッシュ発光を行う。

操作部１５は、電源ボタン１７、レリーズボタン１８、モード選択ボタン１９等を有しており、カメラ本体１２の上部に設けられている。電源ボタン１７は、デジタルカメラ１１の電源（図示せず）をオン／オフする際に操作される。レリーズボタン１８は、撮影を実行する際に操作される。モード選択ボタン１９は、デジタルカメラ１１の動作モードを切り替える際に操作される。

レリーズボタン１８は、Ｓ１スイッチとＳ２スイッチとで構成された２段ストローク式のスイッチ（図示せず）を有する。デジタルカメラ１１は、レリーズボタン１８が押下（半押し）され、Ｓ１スイッチがオン状態となると、オートフォーカス（ＡＦ；Auto Focus）動作や自動露出（ＡＥ；Auto Exposure）制御等の撮影準備動作を行う。この状態からさらにレリーズボタン１８が押下（全押し）され、Ｓ２スイッチがオン状態となると、デジタルカメラ１１は撮影動作を行う。

デジタルカメラ１１の動作モードには、静止画撮影モード、動画撮影モード、再生モード等がある。静止画撮影モードでは、静止画像が取得される。動画撮影モードでは、動画像が取得される。再生モードでは、取得した各画像が表示部１６に再生表示される。また、静止画撮影モードでは、通常モードと、ダイナミックレンジ（ＤＲ）拡大モードが選択可能となっている。

表示部１６は、液晶ディスプレイ等で構成されており、各種撮影モードで取得された画像や、各種設定を行うためのメニュー画面を表示する。モード選択ボタン１９等により、ＩＳＯ感度等の撮影条件の設定が可能となっている。モード選択ボタン１９等が、ＩＳＯ感度設定部に対応する。

また、表示部１６は、動作モードが静止画撮影モードまたは動画撮影モードに設定された際に、撮影が実行されるまでの間、ライブビュー画像を表示する。ユーザは、表示部１６に表示されるライブビュー画像を観察しながら構図を決定することができる。

また、デジタルカメラ１１には、後述する記録メディア４０（図３参照）を装着するためのスロット（図示せず）が設けられている。

フラッシュ発光部１４は、主制御部３０（図３参照）からの制御に基づいてフラッシュ発光動作を行う。主制御部３０は、前述の操作部１５から入力される操作信号に基づいてデジタルカメラ１１の全体を統括的に制御する。

図３において、デジタルカメラ１１内には、撮影レンズ２１の光軸ＬＡに沿って、絞り２２、調光素子２３、固体撮像素子２４が順に設けられている。絞り２２は、開口部を形成する可動式の複数の羽根により構成されており、開口部の大きさを変更させることにより、調光素子２３に入射する光量を調整する。

調光素子２３は、複数のセグメントＳ（図４参照）を有するポリマーネットワーク型液晶（ＰＮＬＣ：polymer network liquid crystal）フィルタにより構成されている。この調光素子２３は、固体撮像素子２４の光入射側に配置されており、固体撮像素子２４に入射する光量をセグメントＳ毎に調整（調光）する。すなわち、固体撮像素子２４には、調光素子２３により被写体像が部分的に減光されて入射する。

調光制御部２５は、主制御部３０からの制御に基づいて、調光素子２３の各セグメントＳを駆動して光透過率をセグメントＳ毎に個別に制御する。各セグメントＳは、非駆動時（以下、オフという）に高透過率Ｔ１、駆動時（以下、オンという）に低透過率Ｔ２となる。本実施形態では、Ｔ１＝１００％、Ｔ２＝５０％とする。

固体撮像素子２４は、単板カラー方式のＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型イメージセンサである。固体撮像素子２４は、図４に示すように、２次元マトリクス状に配列された複数の画素２６により構成された受光面を有している。各画素２６は、光電変換素子を含んでおり、受光面に結像された被写体像を光電変換して画素信号を出力する。以下、１フレーム分の画素信号を撮像信号という。

各画素２６の光入射側には、１つの画素２６に対して、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色のうちいずれか１つの色のカラーフィルタ（図示せず）が設けられており、それぞれ１つの色信号を出力する。赤色カラーフィルタが設けられた画素２６は、色信号として赤色画素信号Ｒｓを出力する。緑色カラーフィルタが設けられた画素２６は、色信号として緑色画素信号Ｇｓを出力する。青色カラーフィルタが設けられた画素２６は、色信号として青色画素信号Ｂｓを出力する。

調光素子２３のセグメントＳは、２次元マトリクス状に配列されており、１つのセグメントＳに対して複数の画素２６が配置されている。各セグメントＳには、それぞれ同数の画素２６が対応している。主制御部３０は、画素２６とセグメントＳとの対応関係を把握している。

また、固体撮像素子２４は、ノイズ除去回路、オートゲインコントローラ、Ａ／Ｄ（Analog-to-Digital）変換回路等の信号処理回路（いずれも図示せず）を備える。ノイズ除去回路は、撮像信号にノイズ除去処理を施す。オートゲインコントローラは、撮像信号のレベルを最適な値に増幅する。Ａ／Ｄ変換回路は、撮像信号をデジタル信号に変換して固体撮像素子２４から出力する。固体撮像素子２４は、画素２６毎に画素信号Ｒｓ、Ｇｓ、Ｂｓのいずれか１つを出力する。以下、固体撮像素子２４から出力される１フレーム分の画素信号Ｒｓ、Ｇｓ、Ｂｓを、ＲＧＢ画像データという。画素信号Ｒｓ、Ｇｓ、Ｂｓは、それぞれ０〜２５５の階調幅を有する。

固体撮像素子２４は、モード選択ボタン１９により選択された撮影モードに応じて、主制御部３０により駆動制御される。主制御部３０は、モード選択ボタン１９により選択された撮影モードに応じた所定の撮影条件に基づいて、各部を制御する。

主制御部３０は、制御バス３１及びデータバス３２に接続されている。固体撮像素子２４は、データバス３２に接続されている。制御バス３１及びデータバス３２には、メモリ制御部３３、デジタル信号処理部３４、メディア制御部３５、表示制御部３６が接続されている。

メモリ制御部３３には、ＳＤＲＡＭ等の一時記憶用のメモリ３９が接続されている。メモリ制御部３３は、固体撮像素子２４から出力されたＲＧＢ画像データをメモリ３９に入力して記憶させる。また、メモリ制御部３３は、メモリ３９に記憶されたＲＧＢ画像データを、デジタル信号処理部３４に出力する。

デジタル信号処理部３４は、メモリ３９から入力されたＲＧＢ画像データに対して、欠陥補正処理、デモザイク処理、ガンマ補正処理、ホワイトバランス補正処理等を行う。デモザイク処理とは、補間処理により、１画素につき１組の画素信号Ｒｓ、Ｇｓ、Ｂｓを生成する処理である。

また、デジタル信号処理部３４には、ゲイン補正部４１と、ＹＣ変換部（輝度色差変換部）４２とが設けられている。ゲイン補正部４１は、主制御部３０からの制御に基づいて駆動され、メモリ３９に記憶されたデモザイク処理後のＲＧＢ画像データを取得し、画素毎に画素信号Ｒｓ、Ｇｓ、Ｂｓに対してゲイン補正を行う。デジタル信号処理部３４は、ゲイン補正部４１によりゲイン補正が行われたＲＧＢ画像データを、メモリ３９に入力して記憶させる。

ＹＣ変換部４２は、主制御部３０からの制御に基づいて駆動され、メモリ３９に記憶されたゲイン補正後のＲＧＢ画像データを取得し、画素毎に画素信号Ｒｓ、Ｇｓ、ＢｓをＹＣ変換するＹＣ変換処理を行う。このＹＣ変換処理では、画素毎に輝度値Ｙと色差値Ｃｒ，Ｃｂとを有するＹＣ画像データが生成される。デジタル信号処理部３４は、ＹＣ変換部４２により生成されたＹＣ画像データを、メモリ３９に入力して記憶させる。輝度値Ｙと色差値Ｃｒ，Ｃｂとは、それぞれ０〜２５５の階調幅を有する。

メディア制御部３５は、記録メディア４０への画像ファイルの記録及び読み出しを制御する。記録メディア４０は、例えば、フラッシュメモリ等を内蔵したメモリカードである。記録メディア４０に記録する画像ファイルのフォーマットは、操作部１５により設定される。

静止画撮影モードの場合には、画像ファイルとして、例えば、ＹＣ画像データをＪＰＥＧ規格等で圧縮した圧縮画像データが記録メディア４０に記録される。また、動画撮影モードの場合には、動画撮影により得られる複数フレームのＹＣ画像データをＭＰＥＧ−４規格等で圧縮した動画データが記録メディア４０に記録される。これらの圧縮処理は、デジタル信号処理部３４で行われる。なお、動画撮影モードの場合には、画像に加えて音声も取得して記録されるが、本実施形態では、音声の取得及び記録に関する構成については、説明を省略する。

表示制御部３６は、前述の表示部１６への画像表示を制御する。表示制御部３６は、デジタル信号処理部３４により生成されたＹＣ画像データを、ＮＴＳＣ規格等に準拠した映像信号に変換し、表示部１６に画像を出力させる。

主制御部３０は、ＣＰＵと、処理プログラムを格納した内部メモリとを有している（いずれも図示せず）。主制御部３０は、処理プログラムで規定された撮影フローに従って各部を制御することにより撮影動作を行う。

ＤＲ拡大モード時には、撮影動作は、図５に示すように、プリ撮影と本撮影とが１セットとして行われる。具体的には、プリ撮影では、調光素子２３の全てのセグメントＳがオフ（高透過率Ｔ１）とされて（Ｓ１０）、被写体像が撮像され、ＲＧＢ画像データが取得される（Ｓ１１）。このＲＧＢ画像データがＹＣ画像データ（以下、プリ画像データＰＤという）に変換され、プリ画像データＰＤの輝度値Ｙに基づいて、被写体像中の高輝度部分に対応するセグメントＳ（以下、減光対象セグメントＳ１という）が決定される（Ｓ１２）。そして、減光対象セグメントＳ１に対応する画素からゲイン補正対象とする低輝度画素が特定される（Ｓ１３）。

本撮影では、減光対象セグメントＳ１がオンとされて（Ｓ１４）、被写体像の撮像が行われ、ＲＧＢ画像データが取得される（Ｓ１５）。このＲＧＢ画像データは、ゲイン補正対象の低輝度画素がゲイン補正されたうえで、ＹＣ画像データに変換される（Ｓ１６）。

以下、減光対象セグメントＳ１として決定されないその他のセグメントＳを、非減光対象セグメントＳ２という。

通常モード時には、調光素子２３の全てのセグメントＳがオフとされて、本撮影のみが行われる。

主制御部３０には、高輝度画素数算出部４３と、低輝度画素特定部４４とが処理プログラムによって構成されている。高輝度画素数算出部４３は、ＤＲ拡大モード時に減光対象セグメントＳ１を決定する。低輝度画素特定部４４は、ゲイン補正対象とする低輝度画素を特定する。

高輝度画素数算出部４３は、セグメントＳ毎にプリ画像データＰＤの各輝度値Ｙを一定の閾値（第１輝度値）ＴＨ１と比較し、第１輝度値ＴＨ１以上の輝度値Ｙを有する高輝度画素の数（高輝度画素数）ＰＨを算出する。主制御部３０は、各セグメントＳの高輝度画素数ＰＨを一定数（第１画素数）ＰＮと比較し、第１画素数ＰＮ以上の高輝度画素数ＰＨを有するセグメントＳを、減光対象セグメントＳ１として決定する。第１輝度値ＴＨ１は、例えば、階調の中央値（１２８）とする。第１画素数ＰＮは、例えば、セグメントＳ内の総画素数の半分とする。

例えば、図６に示すように、太陽と山を含む風景を撮影する場合、プリ撮影で得られるプリ画像データＰＤには、太陽やその周辺の明るい領域（高輝度領域）ＹＨと、山等の暗い領域（低輝度領域）ＹＬとが含まれる。

図７は、輝度値Ｙが飽和値（Ｙ＝２５５）に達した「白とび領域」を含む減光対象セグメントＳ１の輝度分布を示している。輝度分布Ｄｏｆｆは、プリ撮影時の輝度分布である。輝度分布Ｄｏｎは、減光対象セグメントＳ１をオンとして本撮影を行うことにより得られる輝度分布である。輝度分布Ｄｏｎは、減光対象セグメントＳ１による減光作用によって、輝度分布Ｄｏｆｆに比べて、全体的に低輝度側にシフトする。

図８は、非減光対象セグメントＳ２のプリ撮影時の輝度分布Ｄｏｆｆを示している。この輝度分布Ｄｏｆｆは、高輝度画素数ＰＨが少なく、ＰＮ≦ＰＨの関係を満たさないので、減光対象とはされず、本撮影時にはオフのままとされる。

減光対象セグメントＳ１をオン、非減光対象セグメントＳ２をオフとして本撮影を行うことにより、白とび領域がなくなるので、固体撮像素子２４のダイナミックレンジが疑似的に拡大される。

減光対象セグメントＳ１の中には、非減光対象セグメントＳ２に隣接するもの（例えば、図６中の減光対象セグメントＳ１’）がある。このような減光対象セグメントＳ１’には、高輝度領域ＹＨだけでなく、低輝度領域ＹＬが多く含まれている。このため、図９に示すように、減光対象セグメントＳ１’のプリ撮影時の輝度分布Ｄｏｆｆには、高輝度領域ＹＨに対応する分布と、低輝度領域ＹＬに対応する分布とが含まれる。この低輝度領域ＹＬは、隣接する非減光対象セグメントＳ２に跨っている。

この減光対象セグメントＳ１’をオンとして本撮影を行うことにより得られる輝度分布Ｄｏｎは、図９に示すように、高輝度領域ＹＨに対応する分布が低輝度側にシフトするだけでなく、低輝度領域ＹＬに対応する分布がより低輝度側にシフトする。これにより、本撮影で得られる画像データには、減光対象セグメントＳ１’と非減光対象セグメントＳ２との間で、低輝度領域ＹＬの輝度値に段差が生じる。

図１０は、ゲイン補正対象とする低輝度画素の決定フローを示す。低輝度画素特定部４４は、プリ画像データＰＤから、減光対象セグメントＳ１に対応した各画素の輝度値Ｙを取得し（Ｓ２０）、各輝度値Ｙを一定の閾値（第２輝度値）ＴＨ２と比較する。そして、低輝度画素特定部４４は、輝度値Ｙが第２輝度値ＴＨ２以下の低輝度画素を特定する（Ｓ２１）。主制御部３０は、特定された低輝度画素をゲイン補正の対象として決定する（Ｓ２２）。ここで、第２輝度値ＴＨ２は、例えば、図９に示すように、ＴＨ２≦ＴＨ１の関係を満たすものとするが、ＴＨ２＞ＴＨ１の関係を満たすものであっても良い。

ゲイン補正対象として決定された低輝度画素のゲイン補正は、ゲイン補正部４１により行われる。ゲイン補正部４１は、式（１）〜（３）に基づいて、低輝度画素の画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれにゲイン値Ｇを乗じて、画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’を生成する。このゲイン値Ｇは、高透過率Ｔ１と低透過率Ｔ２との比である（すなわち、Ｇ＝Ｔ１／Ｔ２）。本実施形態では、Ｔ１＝１００％、Ｔ２＝５０％であるので、ゲイン値Ｇは「２」である。

Ｒｓ’＝Ｒｓ×Ｇ ・・・（１）
Ｇｓ’＝Ｇｓ×Ｇ ・・・（２）
Ｂｓ’＝Ｂｓ×Ｇ ・・・（３）

ゲイン補正後の画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’は、ＹＣ変換部４２によりＹＣ変換される。このゲイン補正により、前述の段差が解消される。

これを、図１１を用いて模式的に説明する。減光対象セグメントＳ１は、プリ撮影時にはオフであり、本撮影時にオンとされるので、図１１（Ａ）に示すように、減光対象セグメントＳ１の高輝度領域ＹＨの輝度値は、輝度値ＹＨ０から輝度値ＹＨ１に、減光作用に応じた量ΔＹＨだけ低下する。また、減光対象セグメントＳ１の低輝度領域ＹＬの輝度値は、輝度値ＹＬ０から輝度値ＹＬ１に、減光作用に応じた量ΔＹＬだけ低下する。

一方、非減光対象セグメントＳ２は、プリ撮影時も本撮影時もオフであるので、輝度値に変化はない。このため、減光対象セグメントＳ１の低輝度領域ＹＬと、非減光対象セグメントＳ２の低輝度領域ＹＬとの間に、減光作用に応じた量ΔＹＬの段差が生じる。この段差は、減光対象セグメントＳ１と非減光対象セグメントＳ２との光透過率比Ｔ１／Ｔ２に応じた値である。ゲイン補正部４１によるゲイン補正は、光透過率比Ｔ１／Ｔ２をゲイン値Ｇとして、輝度値ＹＬ１に対して行われるので、図１１（Ｂ）に示すように、前述した段差がなくなる。

次に、デジタルカメラ１１の作用を説明する。ユーザによりモード選択ボタン１９が操作され、動作モードが、静止画撮影モードまたは動画撮影モードに設定されると、表示部１６にライブビュー画像の表示（以下、ライブビュー表示という）が行われる。ユーザは、このライブビュー表示を見ながら構図を決定して撮影を行うことができる。

例えば、静止画撮影モードでかつＤＲ拡大モードが選択された場合には、レリーズボタン１８が半押しされ全押しされると、まずプリ撮影が行われる。このプリ撮影では、全てのセグメントＳをオフ（光透過率が高透過率Ｔ１）として撮像が行われ、プリ画像データＰＤが生成される。

高輝度画素数算出部４３によって、プリ画像データＰＤの輝度値Ｙに基づいて、セグメントＳ毎に高輝度画素数ＰＨが算出される。主制御部３０により、ＰＨ≧ＰＮの関係を満たすセグメントＳが特定され、減光対象セグメントＳ１として決定される。そして、低輝度画素特定部４４によって、減光対象セグメントＳ１に対応した画素の中から、Ｙ≦ＴＨ２を満たす画素が低輝度画素として特定され、ゲイン補正対象とされる。

次に、本撮影が行われる。本撮影では、減光対象セグメントＳ１がオンとされて、撮像が行われる。撮像で得られたＲＧＢ画像データから、ゲイン補正対象として決定された低輝度画素の画素信号Ｒｓ、Ｇｓ、Ｂｓに対して、ゲイン補正部４１によりゲイン補正が行われる。そして、ゲイン補正後の画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’がＹＣ変換部４２によりＹＣ変換され、ＹＣ画像データが生成される。このＹＣ画像データは、メディア制御部３５を介して記録メディア４０に記録されるとともに、表示制御部３６を介して表示部１６に画像表示される。

以上の構成により、固体撮像素子２４のダイナミックレンジが疑似的に拡大されるとともに、減光対象セグメントＳ１と非減光対象セグメントＳ２との間で生じる低輝度領域ＹＬの段差は、ゲイン補正により低減される。

［第２実施形態］
第１実施形態では、低輝度画素特定部４４は、減光対象セグメントＳ１の低輝度画素を特定するための第２輝度値ＴＨ２を固定値としているが、低輝度画素の輝度分布は、低輝度領域ＹＬに対応する被写体（山等）の明るさによって変動し、低輝度画素が精度よく特定されないことがある。

第２実施形態では、低輝度画素特定部４４は、各減光対象セグメントＳ１について、隣接するセグメントＳ（以下、隣接セグメントＳＮという）の輝度分布に基づいて第２輝度値ＴＨ２を決定する。この隣接セグメントＳＮには、減光対象セグメントＳ１と非減光対象セグメントＳ２との両方が含まれる場合や、減光対象セグメントＳ１のみが含まれる場合がある。

低輝度画素特定部４４は、図１２に示すように、各減光対象セグメントＳ１の周囲の８個の隣接セグメントＳＮのそれぞれについて、プリ画像データＰＤから輝度値Ｙを取得する。低輝度画素特定部４４は、各隣接セグメントＳＮについて輝度値Ｙの輝度分布を取得し、各輝度分布の最大輝度値Ｙ_Dを求める。そして、低輝度画素特定部４４は、求めた最大輝度値Ｙ_Dのうちから、最小の最大輝度値Ｙ_Dminを第２輝度値ＴＨ２として決定する。なお、輝度分布の最大輝度値Ｙ_Dは、輝度分布の最大の輝度値Ｙでなくて良く、輝度分布の累積度数が特定の値（例えば、９９％）となる輝度値Ｙとしても良い。こうすることで、画素欠陥等により分布中心から大きく偏差した輝度値Ｙに影響されずに精度よく最大輝度値Ｙ_Dを決定することができる。

例えば、図１３に示すように、隣接セグメントＳＮに減光対象セグメントＳ１と非減光対象セグメントＳ２との両方が含まれる場合には、非減光対象セグメントＳ２が低輝度領域ＹＬを多く含むので、図１４（Ａ）に示すように、非減光対象セグメントＳ２中で最も低い輝度分布を有するもの（非減光対象セグメントＳ２’）から第２輝度値ＴＨ２が決定される。

この非減光対象セグメントＳ２’の低輝度領域ＹＬは、減光対象セグメントＳ１に跨り、減光対象セグメントＳ１の低輝度領域ＹＬと明るさが連動するので、図１４（Ｂ）に示すように、減光対象セグメントＳ１の輝度分布から、ゲイン補正対象とする低輝度画素を精度よく特定することができる。

また、上記第１及び第２実施形態では、低輝度画素特定部４４は、減光対象セグメントＳ１に対する各画素の輝度値Ｙを個別に第２輝度値ＴＨ２と比較することにより、ゲイン補正対象とする低輝度画素を特定しているが、減光対象セグメントＳ１に対する各画素の輝度値Ｙをローパスフィルタ処理した後、各画素の輝度値Ｙを個別に第２輝度値ＴＨ２と比較することにより、ゲイン補正対象とする低輝度画素を特定しても良い。このローパスフィルタ処理は、例えば、注目画素の輝度値Ｙを、注目画素を含む５×５画素の平均輝度値に置き換えることにより行われる。

各画素の輝度値Ｙを個別に判定すると、図１１に示すような連続した低輝度領域ＹＬに含まれず、散逸的に存在する低輝度画素もゲイン補正対象となり、ゲイン補正によりコントラスト及びＳ／Ｎを低下させる恐れがある。ローパスフィルタ処理を行うことで、散逸的に存在する低輝度画素はゲイン補正対象から外れるため、コントラスト及びＳ／Ｎの低下が防止される。第２実施形態のその他の構成は、第１実施形態と同一である。

また、上記第１及び第２実施形態では、低輝度画素特定部４４は、全ての減光対象セグメントＳ１についてゲイン補正対象とする低輝度画素を特定しているが、減光対象セグメントＳ１のうち、非減光対象セグメントＳ２に隣接するものについてのみゲイン補正対象とする低輝度画素を特定しても良い。

［第３実施形態］
第３実施形態では、高輝度画素数ＰＨに基づいて、ゲイン補正対象とする低輝度画素を特定する減光対象セグメントＳ１を限定する。具体的には、第３実施形態では、低輝度画素特定部４４は、高輝度画素数ＰＨが、第２画素数ＰＮ２（ただし、ＰＮ２＞ＰＮ）以下である減光対象セグメントＳ１のみから低輝度画素を特定する。これは、高輝度画素数ＰＨが第２画素数ＰＮ２より多い減光対象セグメントＳ１は、図７に示す輝度分布Ｄｏｆｆのように、低輝度画素が殆ど存在せず、前述の段差を生じさせるものではないためである。

本実施形態では、このようにゲイン補正対象とする低輝度画素を特定する減光対象セグメントＳ１を限定することにより、低輝度画素特定部４４の処理が簡略化され、またゲイン補正部４１の処理時間が短縮される。第３実施形態のその他の構成は、第１実施形態または第２実施形態と同一である。

［第４実施形態］
上記実施形態では、ゲイン補正部４１は、高透過率Ｔ１と低透過率Ｔ２との比のみで決定される一定のゲイン値Ｇ（＝Ｔ１／Ｔ２）を用いてゲイン補正を行っている。この場合、第２輝度値ＴＨ２より小さい低輝度画素が一律にゲイン補正されるので、ゲイン補正後の輝度値の一部は、第２輝度値ＴＨ２を超えて、ゲイン補正対象でない一部の画素の輝度値を上回ってしまう。減光対象セグメントＳ１の輝度分布の中には、図１５（Ａ）に示すように、第２輝度値ＴＨ２付近の輝度値を有する画素を多く含むものがあり、ゲイン補正により画像が劣化する恐れがある。

第４実施形態では、ゲイン補正部４１は、図１５（Ｂ）に示すゲイン関数Ｇ（Ｙ）を用いてゲイン補正を行う。ゲイン関数Ｇ（Ｙ）は、Ｙ≦Ｙａの範囲では、Ｇ（Ｙ）＝Ｇであり、Ｙａ＜Ｙ≦ＴＨ２の範囲では、Ｇ（Ｙ）＝ＴＨ２／Ｙである。ここで、閾値Ｙａは、Ｙａ＝ＴＨ２／Ｇを満たす。すなわち、ゲイン関数Ｇ（Ｙ）は、Ｙａ＜Ｙ≦ＴＨ２の範囲では、輝度値Ｙに反比例して減少している。

このゲイン関数Ｇ（Ｙ）を用いることにより、ゲイン補正後の輝度値が第２輝度値ＴＨ２を超えることが防止される。なお、ゲイン補正部４１は、画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれに対して、ゲイン関数Ｇ（Ｙ）を適用してゲイン補正を行う。第４実施形態のその他の構成は、第１〜第３実施形態のいずれかと同一である。

［第５実施形態］
上記実施形態では、主制御部３０は、セグメントＳ毎に算出した高輝度画素数ＰＨに基づいて、減光対象セグメントＳ１を決定している。しかし、ゲイン補正対象の低輝度画素の中には、ゲイン補正を行うために式（１）〜（３）に基づく演算を行った場合に、演算結果が、図１６に示すように、階調の上限値（２５５）を上回り、ゲイン補正後の画素信号Ｒｓ’、Ｇｓ’、Ｂｓ’が階調の上限値に制限（キャッピング）されてしまうものがある。このような低輝度画素は、ゲイン補正後に色情報が失われてしまう。

第５実施形態では、主制御部３０は、高輝度画素数ＰＨに加えて、ゲイン補正により画素信号値が取り得る上限値に達する低輝度画素（以下、エラー画素という）の数に基づいて減光対象セグメントＳ１を決定する。

具体的には、図１７に示すように、第５実施形態では、主制御部３０は、前述のように各セグメントＳの高輝度画素数ＰＨを第１画素数ＰＮと比較する（Ｓ３０）。この比較結果に基づき、主制御部３０は、ＰＮ≦ＰＨを満たすセグメントＳにおいて、エラー画素毎に最小ゲインマージンＧｍｉｎを算出する（Ｓ３１）。最小ゲインマージンＧｍｉｎとは、ゲイン補正によりエラー画素の画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれに対してゲイン補正が可能なゲインマージンの最小値であり、階調の上限値を、エラー画素の画素信号Ｒｓ、Ｇｓ、Ｂｓのうちの最も大きい画素信号値で除算した値である。

そして、主制御部３０は、最小ゲインマージンＧｍｉｎがゲイン値Ｇ（＝Ｔ１／Ｔ２）以下となるエラー画素の数Ｐｅを算出する（Ｓ３２）。このエラー画素数Ｐｅを一定値（第３画素数）ＴＨ３と比較し（Ｓ３３）、Ｐｅ≦ＴＨ３を満たすセグメントＳを減光対象セグメントＳ１として決定する（Ｓ３４）。このように、主制御部３０は、エラー画素数算出部として機能する。

本実施形態では、ＰＮ≦ＰＨ、かつＰｅ≦ＴＨ３を満たすセグメントＳが減光対象セグメントＳ１として決定される。第５実施形態のその他の構成は、第１〜第４実施形態のいずれかと同一である。

［第６実施形態］
第６実施形態では、減光対象セグメントＳ１をオンとして本撮影を行い、ゲイン補正を行う際に、画素信号値が取り得る上限値に達する場合に、ゲイン補正後の画素信号値を、各画素信号のゲインマージンに基づいて制限（キャッピング）する。

具体的には、ゲイン補正部４１は、本撮影により画素毎の画素信号Ｒｓ、Ｇｓ、Ｂｓを取得した後、前述の最小ゲインマージンＧｍｉｎを求める。そして、ゲイン補正部４１は、式（４）〜（６）に基づいて、エラー画素の各画素信号Ｒｓ、Ｇｓ、Ｂｓのそれぞれに対し最小ゲインマージンＧｍｉｎを乗じて、ゲイン補正後の画素信号Ｒｓ^*、Ｇｓ^*、Ｂｓ^*を生成する。

Ｒｓ^*＝Ｒｓ×Ｇｍｉｎ ・・・（４）
Ｇｓ^*＝Ｇｓ×Ｇｍｉｎ ・・・（５）
Ｂｓ^*＝Ｂｓ×Ｇｍｉｎ ・・・（６）

本実施形態では、エラー画素に対するゲイン値を最小ゲインマージンＧｍｉｎに制限するので、図１８に示すように、ゲイン補正後の画素信号Ｒｓ^*、Ｇｓ^*、Ｂｓ^*は色情報が失われない。第６実施形態のその他の構成は、第１〜第４実施形態のいずれかと同一である。

［第７実施形態］
上記実施形態では、静止画撮影モードでＤＲ拡大モードを実行可能としているが、第７実施形態では、動画撮影モードでＤＲ拡大モードを実行可能とする。

図１９に示すように、動画撮影モードが選択された場合では、固体撮像素子２４が周期的に撮影動作を行う。そして、固体撮像素子２４により得られた複数撮像フレームの画像データは、デジタル信号処理部３４で動画データに変換され、メディア制御部３５を介して記録メディア４０に記録される。そして、この動画データに基づく動画を、表示制御部３６を介して表示部１６に表示させることにより行われる。

ＤＲ拡大モードでは、奇数撮像フレームの画像データに基づいて、偶数撮像フレームに調光素子２３の制御（セグメントＳのオンオフの切り替え）を行う。偶数撮像フレームの画像データは、調光素子２３の制御用データ及び画像表示用データとしては用いない。これは、固体撮像素子２４は、ＣＭＯＳ型でありローリングシャッタ方式で撮像を行うので、撮像フレーム内でセグメントＳのオンオフが切り替えられると、少なくとも１つの画素行の露光期間がセグメントＳの切り替えタイミングを跨いでしまい、時間的に一部が減光されてしまうためである。

具体的には、第１撮像フレームでは、調光素子２３の全てのセグメントＳがオフとされた状態でプリ撮影が行われる。第２撮像フレームでは、第１撮像フレームで得られた画像データに基づいて、減光対象セグメントＳ１が決定されてオンとされる。第３撮像フレームでは本撮影が行われる。

第４撮像フレームでは、第３撮像フレームで得られた画像データをプリ画像データＰＤとみなして、減光対象セグメントＳ１が再決定され、オンとされる。第５撮像フレームでは本撮影が行われる。第３撮像フレームにおいて既に減光対象セグメントＳ１がオンとされているため、既にオンとされている減光対象セグメントＳ１については、高輝度画素数ＰＨを算出する際と低輝度画素を特定する際に、第１輝度値ＴＨ１及び第２輝度値ＴＨ２として、減光作用に応じた分だけ補正した値を用いる。具体的には、Ｔ１＝１００％、Ｔ２＝５０％であり、減光作用により輝度分布がシフトするので、第１輝度値をＴＨ１’（＝ＴＨ１／２）、第２輝度値をＴＨ２’（＝ＴＨ２／２）とする。第６撮像フレーム以降も同様である。

奇数撮像フレームの画像データは、奇数表示フレーム及び偶数表示フレームに表示される。具体的には、図１９に示すように、第１撮像フレームの画像データは、第１表示フレーム及び第２表示フレームに表示され、第３撮像フレームの画像データは、第３表示フレーム及び第４表示フレームに表示される。第５撮像フレーム以降の画像データも同様である。

なお、ライブビュー表示時にＤＲ拡大モードを実行可能としても良い。この場合には、動画撮影モードと同様の制御を行えば良い。また、ＤＲ拡大モードを、動画撮影モードと、ライブビュー表示の実行時のみに行うように構成しても良い。

また、ＩＳＯ感度の設定値が一定値より小さい場合にＤＲ拡大モードを自動的に選択し、ＩＳＯ感度の設定値が一定値以上の場合に通常モードを自動的に選択するように構成しても良い。これは、ＩＳＯ感度は、被写体が暗く光量が少ない場合に高く設定されるので、設定値が高い場合には、調光素子２３による減光が不要であるためである。なお、このＩＳＯ感度の設定は、操作部１５等を用いてユーザにより設定される値の他に、画像データに基づいてデジタルカメラ１１内で自動設定される値を用いることも可能である。

なお、上記各実施形態では、プリ撮影時に全てのセグメントＳをオフとしてプリ画像データＰＤを取得しているが、プリ撮影時に全てのセグメントＳをオンとしてプリ画像データＰＤを取得しても良い。

また、上記各実施形態では、非駆動時（オフ）に高透過率、駆動時（オン）に低透過率となる調光素子２３を用いているが、これとは逆に、非駆動時（オフ）に低透過率、駆動時（オン）に高透過率となる調光素子を用いても良い。

また、上記各実施形態では、調光素子２３としてＰＮＬＣフィルタを用いているが、その他の液晶フィルタや、ＥＣフィルタを用いることも可能である。

また、上記各実施形態では、プリ画像データＰＤに基づいてゲイン補正対象とする低輝度画素を特定しているが、減光対象セグメントＳ１として本撮影により得られた画像データに基づいてゲイン補正対象とする低輝度画素を特定しても良い。

また、上記各実施形態では、画素信号Ｒｓ、Ｇｓ、Ｂｓに対してゲイン補正を行っているが、ＹＣ変換後の輝度信号Ｙに対してゲイン補正を行っても良い。

また、上記各実施形態では、原色型のカラーフィルタを用いているが、補色型のカラーフィルタを用いても良い。また、固体撮像素子２４は、ＣＭＯＳ型イメージセンサに限られず、ＣＣＤ（Charge Coupled Device）型イメージセンサを用いても良い。

上記各実施形態では、撮影装置としてデジタルカメラを例示しているが、本発明は、ビデオカメラ、カメラ付き携帯電話機、スマートフォン等の種々の電子機器にも適用可能である。また、上記各実施形態は、矛盾しない範囲で相互に組み合わせ可能である。

１１ デジタルカメラ
２３ 調光素子
２４ 固体撮像素子
２５ 調光制御部
２６ 画素
３０ 主制御部
４１ ゲイン補正部
４２ ＹＣ変換部
４３ 高輝度画素数算出部
４４ 低輝度画素特定部
Ｓ セグメント
Ｓ１ 減光対象セグメント
Ｓ２ 非減光対象セグメント
ＳＮ 隣接セグメント
ＹＨ 高輝度領域
ＹＬ 低輝度領域
ＹＤ 最大輝度値

Claims (12)

1. 複数のセグメントを有し、前記セグメント毎に光透過率が高透過率と低透過率との間で可変である調光素子と、
   前記調光素子を介して光が入射し、前記各セグメントに対して複数の画素が配置された撮像素子と、
   前記セグメントを全て同一の透過率として前記撮像素子により得られる撮像信号に基づいて、前記セグメント毎に第１輝度値以上の輝度値を有する高輝度画素の数を算出する高輝度画素数算出部と、
   前記調光素子を制御し、前記高輝度画素の数が第１画素数以上の前記セグメントを前記低透過率に設定し、その他の前記セグメントを前記高透過率に設定する制御部と、
   前記低透過率に設定された前記セグメントについて、第２輝度値以下の輝度値を有する低輝度画素を特定する低輝度画素特定部と、
   前記低輝度画素の画素信号値を、前記高透過率と前記低透過率との比に応じたゲイン値でゲイン補正を行うゲイン補正部と、
   を備える撮影装置。
2. 前記低輝度画素特定部は、前記低透過率に設定された前記セグメントに隣接する複数の前記セグメントのそれぞれについて、対応する前記画素の輝度分布の最大輝度値を求め、前記最大輝度値のうち最小のものを前記第２輝度値とする請求項１に記載の撮影装置。
3. 前記低輝度画素特定部は、前記輝度分布の累積度数が特定の値となる輝度値を、前記最大輝度値とする請求項２に記載の撮影装置。
4. 前記ゲイン補正部は、前記第２輝度値を前記ゲイン値で割った値を閾値とした場合に、前記閾値以下の範囲で前記ゲイン値を取り、前記閾値より大きい範囲で前記第２輝度値に反比例して減少するゲイン関数を用いて前記ゲイン補正を行う請求項３に記載の撮影装置。
5. 前記低透過率に設定する前記セグメントについて、前記ゲイン補正を行う場合に、前記画素信号値が取り得る階調の上限値に達する前記低輝度画素の数であるエラー画素数を算出するエラー画素数算出部を備え、
   前記制御部は、前記高輝度画素の数が前記第１画素数以上で、かつ前記エラー画素数が第２画素数以下の前記セグメントを前記低透過率に設定する請求項１から４のうちいずれか１項に記載の撮影装置。
6. 前記調光素子は、ポリマーネットワーク型液晶装置である請求項１から５のうちいずれか１項に記載の撮影装置。
7. ＩＳＯ感度を設定するＩＳＯ感度設定部を備えており、
   前記制御部は、前記ＩＳＯ感度の設定値が一定値以下の場合にのみ前記調光素子を制御する請求項１から６のうちいずれか１項に記載の撮影装置。
8. 動画撮影及びライブビュー表示が可能であり、
   前記制御部は、前記動画撮影及び前記ライブビュー表示の実行状態にて前記調光素子を制御する請求項１から６のうちいずれか１項に記載の撮影装置。
9. 前記撮像素子は、複数種の色信号のうちから前記画素毎に１種の色信号を出力する単板カラー方式であり、
   前記画素毎に前記複数種の色信号を輝度値及び色差値に変換する輝度色差変換部と、を備え、
   前記高輝度画素数算出部は、前記輝度値に基づいて前記高輝度画素の数を算出する請求項１から８のうちいずれか１項に記載の撮影装置。
10. 前記ゲイン補正部は、前記低輝度画素の前記複数種の色信号に対してそれぞれ前記ゲイン補正を行う請求項９に記載の撮影装置。
11. 前記ゲイン補正部は、前記低透過率に設定する前記セグメントについて、前記ゲイン補正を行う際に、前記低輝度画素の前記複数種の色信号値のうちの最小ゲインマージンが前記ゲイン値より小さい場合には、前記ゲイン値を前記最小ゲインマージンとして前記ゲイン補正を行う請求項１０に記載の撮影装置。
12. 前記複数の色信号は、赤色画素信号、緑色画素信号、青色画素信号である請求項１１に記載の撮影装置。

Images