JP6558362B2 - 制御装置、制御方法及び撮像装置 - Google Patents

Description

本開示は、制御装置、制御方法及び撮像装置に関する。

従来、下記の特許文献１には、高輝度レベルを予測し、その時間変化を基に高輝度レベル範囲を予測し、その高輝度範囲を減光するマスクパターンを発生させる技術が記載されている。

特開２００２−２０４３９１号公報

近時では、動画撮影中にフレームレートを変更可能な撮像装置が出現している。動画撮影中にフレームレートを変更すると明るさが変化する。しかしながら、フレームレートの変更に伴ってシャッタ速度を変更して明るさを維持しようとすると、途切れ途切れのいわゆるパラパラとした感じの動画となってしまう。また、フレームレートの変更に伴って絞りを調整して明るさを維持しようとした場合、被写界深度の変化による画質の変化が生じてしまう。更に、フレームレートの変化に応じて画素値にゲインを乗算する方法も考えられるが、信号のダイナミックレンジの減少による画質劣化を招来する。

そこで、画質に変化を生じさせることなく、フレームレートの変化に応じて明るさを違和感なく調整することが求められていた。

本開示によれば、撮像のフレームレートを制御するフレームレート制御部と、前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、を備える、制御装置が提供される。

また、本開示によれば、撮像のフレームレートを制御することと、前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御することと、を備える、制御方法が提供される。

また、本開示によれば、被写体像をフレーム毎に撮像する撮像素子と、前記撮像素子よりも被写体側に配置され、前記撮像素子へ入射する光が透過するフィルタと、撮像のフレームレートを制御するフレームレート制御部と、前記フレームレートの変化に応じて、前記撮像素子が撮像した被写体像の明るさが維持されるように前記フィルタの透過率を制御する透過率制御部と、を備える、撮像装置が提供される。

以上説明したように本開示によれば、画質に変化を生じさせることなく、フレームレートの変化に応じて明るさを違和感なく調整することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る撮像装置の構成例を示す模式図である。 Ｓ＆Ｑモードで明るさを維持するために、シャッタスピードを固定して撮像フレームレートを連続的に変更させた時の露光状態を示す模式図である。 図２に対して、動画として理想的なシャッタオフの状態で撮像フレームレートを連続的に変化させた時の露光状態を示す模式図である。 図３と同様に、フレームレートの変化に応じてシャッタオフの状態とし、フレームレートの変化に連動させながら液晶ＮＤフィルタ１０３の濃度を変化させる制御を模式的に示す図である。 本実施形態の撮像装置１００における処理を示すフローチャートである。 ＡＥの遷移スピード、フレームレートの遷移量にスムージングを掛ける処理を示すフローチャートである。 ＡＥの遷移に応じた透過率の制御と、フレームレートの変化に応じて明るさを一定に維持する制御を同時に行った場合を示す模式図である。 液晶ＮＤフィルタ１０３による透過率の遷移に加えて、低ゲイン領域でゲインを制御する例を示す模式図である。 フレームレートが低くなるとメモリ加算数を増加させる例を示す模式図である。 図９のメモリ加算数に応じて画像を割り戻すことで明るさ変化を抑えようとしたときの明るさ変化を表す特性図である。 メモリ加算による割り戻しと、液晶ＮＤフィルタ１０３の濃度変化を連動させて制御する例を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の前提
２．本実施形態に係る撮像装置の構成例
３．ＡＥ（自動露出）による露光量調整との併用
４．ゲイン制御との併用
５．メモリでの画像加算との併用

１．本開示の前提
例えば、上位機種のカムコーダーでは、Ｓ＆Ｑモードで撮影が可能なものがある。Ｓ＆Ｑモードでは、撮影時のフレームレートを変更して再生が行われる。一例として、フレームレートが１ｆｐｓ〜２４０ｆｐｓ程度の範囲で撮影が可能な場合に、再生を６０ｆｐｓのフレームレートで行うことで、６０倍〜１／４倍のクイックモーション撮影、またはスローモーション撮影が可能になる。

フレームレートを変化させて撮影を行った場合、画像の明るさが変化する。例えばフレームレート６０ｆｐｓで最適な露光条件で撮影した場合に、フレームレートが１ｆｐに変化すると、明るさが６０倍に明るくなる。このため、明るさが一定となるように露光量を調整する必要が生じる。

また、特に上位機種のカムコーダーを使用して撮影するユーザーは、画像の連続性が無くなることを嫌がり、シャッタをオフの状態として撮影を行うことが一般的となっている。ここで、シャッタのオフの状態とは、撮影フレームレートが６０ｆｐｓの時は１／６０ｓｅｃのシャッタスピード、１ｆｐｓの時は１ｓｅｃのシャッタスピードで撮影すること意味する。この場合、フレームレートが６０ｆｐｓから１ｆｐｓへ変化すると明るさが６０倍に明るくなるため、上記のように露光量を調整する必要がある。

Ｓ＆Ｑモードにおいて、フレームレート変化に対して明るさを一定に維持する方法としては、例えば６０ｆｐｓを基準にして考えると、６０ｆｐｓから１ｆｐｓに向けてのフレームレートの変化では、後述する図２に示すように、シャッタスピードを常に１／６０ｓｅｃ（あるいはそれより高速）にするか、フレームレートに合わせて絞りを閉じて行くといった方法が考えられる。

しかしながら、シャッタスピードを１／６０ｓｅｃにした場合、１ｆｐｓであれば１／６０ｓｅｃ分が画像に反映され、残りの５９／６０ｓｅｃ分は画像に反映されなくなり、途切れ途切れのいわゆるパラパラとした感じの動画となってしまう。

また、絞りを閉じてフレームレートの変化に追従させる場合、被写界深度も変化し、また絞りすぎによる小絞りボケも発生するなど画像の質に与える影響が大きくなる。また、フレームレートの変化に応じて画素値にマイナスゲインを乗算する方法も考えられるが、信号のダイナミックレンジの減少による画質劣化を招くため、基本的には使用できない。

また、撮像光学系にＮＤフィルタを挿入し、複数のＮＤフィルタを切り替えることによってフレームレートに応じて明るさを変化させることも考えられる。しかし、ＮＤフィルタを機械的に撮像光学系に挿入させると、ＮＤフィルタの切り替わりが画像に映ってしまう。また、フレームレートの変更と連動してＮＤフィルタを機械的に切り換えることは困難が伴う。

以上のように、シャッタオフの状態でフレームレートを変化させたいときに、フレームレートの変化と連動して明るさを保持する有効な手法が求められていた。

２．本実施形態に係る撮像装置の構成例
図１は、本開示の一実施形態に係る撮像装置１００の構成例を示す模式図である。図１に示すように、撮像装置１００は、レンズ（撮像光学系）１０１、絞り１０２、液晶ＮＤフィルタ１０３、撮像素子１０４、アナログ信号処理部１０５、Ａ／Ｄ変換部１０６、ディジタル信号処理部１０７、画像表示部１０８、画像保存部１０９、レンズドライバ１１０、タイミングジェネレータ（ＴＧ）１１１、システムコントローラ（マイクロコンピュータ）１２０、操作部１１３、を有して構成されている。

図１に示す撮像装置１００は、レンズ１０１、絞り１０２、液晶ＮＤフィルタ１０３を通過した光を撮像素子１０４で受光し、アナログ信号処理部１０５で画像値にアナログゲインなどを付加（乗算）し、Ａ／Ｄ変換部１０６でＡ／Ｄ変換を行った後、デジタル信号処理部１０７でデジタル信号処理を行う。デジタル信号処理された信号は画像表示部１０８及び画像保存部１０９へ送られ、画像表示部１０８からは画像が出力され、画像保存部１０９では記録が行われる。また、デジタル信号処理部１０７では、画像データから自動露出（ＡＥ）の補正用などの検波値を作成する。

また、操作部１１３はユーザの操作を受け付け、ユーザの操作による操作入力をシステムコントローラ１２０へ送る。システムコントローラ１２０は、ユーザ操作に従った制御量の指示を各デバイスに出力する。ユーザの操作による操作入力には、フレームレートを変更する操作、後述する高透過率の領域でゲインを変更するための操作が含まれる。システムコントローラ１２０は、フォーカス位置やズーム位置、絞り値、液晶ＮＤフィルタ１０３の透過率を変更したい場合は、レンズドライバ１１０へ指示を出す。また、システムコントローラ１２０は、電子シャッタの値を変更する場合はタイミングジェネレータ１１１へ指示を出し、アナログゲインを変更する場合はアナログ信号処理部１０５へ指示を出し、デジタル信号処理を変更したい場合はデジタル信号処理部１０７へ指示を出す。

図２は、Ｓ＆Ｑモードで明るさを維持するために、シャッタスピードを固定して撮像フレームレートを連続的に変更させた時の露光状態を示す模式図である。フレームレートを６０ｆｐｓから１５ｆｐｓへ小さくしていくと、撮像周期の幅が広くなっていく。この時、フレームレートが変化しても明るさを一定にするために、シャッタスピードが固定された露光時間（１／６０ｓｅｃ）以外に、低フレームレートの時に露光されない時間が発生してしまう。具体的には、フレームレートが１５ｆｐｓになると、露光時間（１／６０ｓｅｃ）２００の間は露光が行われるが、１５ｆｐｓの中の残りの３／６０ｓｅｃの間は露光がされないこととなる。従って、３／６０ｓｅｃの間は撮影されないために、途切れ途切れのパラパラとした離散的な動画となってしまう。

図３は、図２に対して、動画として理想的なシャッタオフの状態で撮像フレームレートを連続的に変化させた時の露光状態を示す模式図である。上述したように、理想的なシャッタのオフの状態とは、撮影フレームレートが６０ｆｐｓの時は１／６０ｓｅｃのシャッタスピード、１ｆｐｓの時は１ｓｅｃのシャッタスピードで撮影することを意味する。図３では、撮影フレームレートが６０ｆｐｓの時は１／６０ｓｅｃのシャッタスピード、１５ｆｐｓの時は１／１５ｓｅｃのシャッタスピードで撮影している。

図２とは異なり、露光されない時間に相当するものが発生しない代わりに、露光時間２００がフレームレートに同調して長くなる。このため、フレームレートが６０ｆｐｓの場合に対して、フレームレートが１５ｆｐｓの場合では明るさが４倍となってしまう。

そこで、本実施形態では、フレームレートが変化した場合に、フレームレートの変化に応じて明るさを一定に保つように液晶ＮＤフィルタ１０３を制御する。図４は、図３と同様に、フレームレートの変化に応じてシャッタオフの状態とし、フレームレートの変化に連動させながら液晶ＮＤフィルタ１０３の濃度を変化させる制御を模式的に示す図である。図３と比較すると、フレームレートが６０ｆｐｓの場合に対して、フレームレートが１５ｆｐｓの場合ではＮＤフィルタ１０３の透過率を低下させている。具体的には、フレームレートが６０ｆｐｓの場合はＮＤフィルタ１０３の透過率を１００％とし、フレームレートが１５ｆｐｓの場合はＮＤフィルタ１０３の透過率を２５％としている。これにより、フレームレートが変化した場合であっても、明るさを一定に維持しつつ、図２のようなパラパラ感の発生しない動画が撮影可能となる。

図５は、本実施形態の撮像装置１００における処理を示すフローチャートである。ユーザからのフレームレート切り替え指示が発生した場合、先ず、ステップＳ１０では、予め保持している液晶ＮＤフィルタ１０３の動作スピード情報に基づいて、液晶ＮＤフィルタ１０３の透過率（濃度）を連動させることで、明るさを一定に維持可能なフレームレートの範囲を算出する。明るさを一定に維持可能なフレームレートの範囲は、システムコントローラ１２０のフレームレート範囲算出部１２１が行う。次のステップＳ１２では、ステップＳ１０で算出したフレームレートの範囲内でフレームレートを変化させるため、フレームレートの遷移指示をフレームレート変換処理部１２２へ出力する。フレームレート変換処理部１２２は、撮像のフレームレートを変換する処理を行う。また、透過率算出部１２３は、ステップＳ１０で算出したフレームレートの範囲内でフレームレートが変化した際に、フレームレートの変化に対応する透過率を算出し、透過率の遷移の指示をレンズドライバ１１０へ出力する。レンズドライバ１１０は、受け取った透過率の遷移の指示に基づいて液晶ＮＤフィルタ１０３の透過率を制御する。

次のステップＳ１４では、現在のフレームレートと現在の液晶ＮＤフィルタ１０３の透過率を更新する。次のステップＳ１６では、現在のフレームレートが目標フレームレートに一致していれば処理を終了する。一方、現在のフレームレートが目標に未達の場合は、ステップＳ１０へ戻り、再び明るさを一定に維持可能な範囲内の遷移を行うように処理を繰り返す。

目標フレームレートは、ユーザが指示したフレームレートに相当する。例えば、図
４において、フレームレートを現状の６０ｆｐｓから１５ｆｐｓへ変化させるようにユーザが指示した場合、目標フレームレートが１５ｆｐｓである。

このような場合に、液晶ＮＤフィルタ１０３は、その動作スピード（応答性）に応じて、目標フレームレートに対応する透過率（図４の場合２５％）へ瞬時に遷移できないことも考えられる。このような場合、図５のステップＳ１０では、液晶ＮＤフィルタ１０３を制御して明るさを一定に維持可能なフレームレートの範囲を算出する。そして、一度に目標フレームレートに遷移できない場合は、ステップＳ１０〜Ｓ１６の処理を繰り返すことで、液晶ＮＤフィルタ１０３の動作スピードに応じて明るさを一定に維持可能なフレームレートの範囲で小刻みにフレームレートを変化させる。

３．ＡＥ（自動露出）による露光量調整との併用
次に、液晶ＮＤフィルタ１０３の透過率を制御してＡＥ（自動露出）をする場合に、フレームレートの変更による明るさ変化を補完する透過率の遷移量と、ＡＥで目標とする明るさへ遷移するために必要な透過率の遷移量の両方に鑑みて、ＡＥの遷移スピード、フレームレートの遷移量にスムージングを掛ける手法について説明する。図６は、この場合の処理を示すフローチャートである。

ユーザからのフレームレート切り替え指示が発生した場合、先ずステップＳ２０では、システムコントローラの輝度算出部１２４は、取得した検波値とＡＥ関連の素子の出力値（シャッタスピード、ゲイン、絞り値、液晶ＮＤフィルタ１０３の透過率）から被写体の明るさを算出する。上述したように、デジタル信号処理部１０７では、画像データから自動露出（ＡＥ）などの検波値を生成することができ、これに基づいて被写体の明るさを算出することができる。

次のステップＳ２２では、予め保持している液晶ＮＤフィルタ１０３の動作スピード情報と、ステップＳ２０で算出した被写体の明るさから算出される液晶ＮＤフィルタ１０３の目標の透過率とから、液晶ＮＤフィルタ１０３の透過率を連動させることで明るさを維持できるフレームレートの範囲を算出する。被写体の明るさから算出される液晶ＮＤフィルタ１０３の目標の透過率は、輝度算出部１２４が算出した被写体の明るさに基づいて、透過率算出部１２３が算出する。また、明るさを維持できるフレームレートの範囲は、フレームレート範囲算出部１２１が算出する。

次のステップＳ２４では、ステップＳ２２で算出したフレームレートの範囲内でフレームレートを変化させるため、フレームレートの遷移指示をフレームレート変換処理部１２２へ出力する。また、透過率算出部１２３は、ステップＳ２２で算出したフレームレートの範囲内でフレームレートが変化した際に、フレームレートの変化に対応する透過率を算出し、透過率の遷移の指示をレンズドライバ１１０へ出力する。レンズドライバ１１０は、受け取った透過率の遷移の指示に基づいて液晶ＮＤフィルタ１０３の透過率を制御する。

次のステップＳ２６では、現在のフレームレートと現在の液晶ＮＤフィルタ１０３の透過率を更新する。次のステップＳ２８では、現在のフレームレートが目標フレームレートに一致していれば処理を終了する。一方、現在のフレームレートが目標に未達の場合は、ステップＳ２０へ戻り、再び明るさを一定に維持可能な範囲内の遷移を行うように処理を繰り返す。なお、ステップＳ２４〜Ｓ２８は、図５のステップＳ１２〜Ｓ１６と同様である。

以上のように、図６の処理によれば、フレームレートの変更による明るさ変化を補完する液晶ＮＤフィルタ１０３の透過率の遷移量と、ＡＥで目標とする明るさへ遷移するために必要な透過率の遷移量の双方を考慮して、ＡＥの遷移と、フレームレートの遷移に応じて液晶ＮＤフィルタ１０３の透過率を最適に制御することが可能となる。

図７は、図６の処理を詳細に説明するため、液晶ＮＤフィルタ１０３のみでＡＥを行う場合に、ＡＥの遷移に応じた透過率の制御と、フレームレートの変化に応じて明るさを一定に維持する制御を同時に行った場合を模式的に表している。一例として、１フレーム内での液晶ＮＤフィルタ１０３の透過率の最大変化率（液晶ＮＤフィルタ１０３の最大の動作スピード）が１／８であるものとする。

図７において、画像９０１〜９０４は、フレームレート変化を伴わない通常のＡＥでの遷移を示している。図７に示すように、フレームレートが６０ｆｐｓで一定の場合に、ＡＥにより透過率が１００％から２０％まで変化するものとする。ここでは、画像９０２で画角が変化したためＡＥ露光量の遷移が開始され、遷移が滑らかに見えるように画像９０３の状態（透過率８０％）を挟んでＡＥ露光量が遷移し、画像９０４で最適な値（透過率２０％）に遷移が完了した状態を表している。

画像９１１〜９１５は、画像９０１〜９０４と同様のＡＥ露光量の遷移と、明るさを維持したフレームレート変化（遷移）が同時に発生したときに、ＡＥ露光量の遷移と明るさを維持したフレームレート遷移を独立して制御した場合を表している。画像９１４でフレームレートの変化（６０ｆｐｓ→１５ｆｐｓ）が指示されると、ＡＥとして遷移したい透過率８０％から透過率２０％への遷移に加えて、フレームレートの変化に対する明るさ維持分の遷移量（透過率を１／４に減らす）を加えた透過率の遷移が発生する。つまり、ＡＥによる遷移とフレームレートによる遷移を合わせて、透過率を５％まで遷移させることになる。この場合、液晶ＮＤフィルタ１０３の１フレームでの透過率の最大遷移量（＝１／８）を超える透過率の遷移量（＝１／１６）の変化が生じるため、画像９１４では透過率を１０％まで下げ、次のフレームの画像９１５で透過率を５％に下げる制御を行う。この場合、画像９１４では一時的に目標とする明るさよりも明るくなってしまい、画像の見栄えが低下する。

このため、本実施形態では、画像９２１〜９２５のように制御を行う。画像９２１〜９２５の遷移は図６の処理に対応しており、ＡＥによる遷移と、明るさを維持したフレームレート遷移が同時に発生したときに、ＡＥ遷移と明るさを維持したフレームレート遷移を連動して制御した場合を示している。

画像９２１〜９２５の条件は画像９１１〜９１５と共通であるが、ＡＥによる液晶ＮＤフィルタ１０３の透過率変化の要求と、フレームレート変化による透過率変化の要求の合算が液晶ＮＤフィルタ１０３のスペック（動作スピード）を超えてしまうため、画像９２４でフレームレート変化に一旦制限を掛け、明るさが行き過ぎないようにする。この処理は、図６のステップＳ２２，Ｓ２４の処理に対応する。上述したように画像９２４でフレームレートを１５ｆｐｓとすると、画像が明るくなり明るさを一定に維持することができないため、この例では、図６のステップＳ２２において、明るさを維持できるフレームレートとして３０ｆｐｓが算出される。これにより、画像９２４のフレームレートが３０ｆｐｓとされる。

その後、目標に対して残りのフレームレート変化と透過率の変化を行うことで、画像９２４から画像９２５の遷移で明るさを維持しながらフレームレートを目標の１５ｆｐｓに変化させる。これにより、フレームレートを切り換えた際に明るさが高輝度側に行き過ぎてしまうことがなく、自然な遷移を実現することが可能となる。

次に、液晶ＮＤフィルタ１０３による透過率の遷移に加えて、比較的画像に影響を与えにくく画質が許容できる低ゲイン領域でのゲイン制御を合わせて使用し、明るさを維持したままフレームレート変化が可能な領域を拡大する手法について説明する。画素値にゲインを乗算することで明るさを制御することができる。ここで、低ゲイン領域では、画質に対する影響が比較的少なく、ゲインを乗算しても画質を維持できる。このため、低ゲイン領域では、透過率の遷移に加えてゲインを変化させることで、フレームレートに連動した制御の範囲を拡大することができる。具体的には、液晶ＮＤフィルタ１０３による透過率の遷移とゲイン変化を併用することで、より速いフレームレートの変化に対応することが可能となる。但し、マイナス側へのゲインの変化は画質の劣化が比較的大きいため、プラス側でゲインを制御し、且つ低ゲイン領域で制御することが望ましい。

４．ゲイン制御との併用
図８は、液晶ＮＤフィルタ１０３による透過率の遷移に加えて、低ゲイン領域でゲインを制御する例を示す模式図である。フレームレート１５ｆｐｓ〜６０ｆｐｓまでの透過率の制御は、図４と同様である。図４と比較すると、基準としていたフレームレート６０ｆｐｓよりも高速側へのフレームレートの遷移に対して、画像に影響が出にくい低ゲイン領域でゲインを０ｄＢから６ｄＢまで変化させている。具体的には、フレームレートが６０ｆｐｓから１２０ｆｐｓまで遷移すると、システムコントローラ１２０のゲイン制御部１２５がゲインを０ｄＢから６ｄＢへ制御する。これにより、フレームレートを１２０ｆｐｓまで変化させても明るさを一定に維持することができ、明るさを維持できるフレームレートの領域を拡大することができる。

５．メモリでの画像加算との併用
次に、メモリでの画像加算と併用した例について説明する。メモリでの画像加算と併用してＳ＆Ｑモードの撮影を実現している場合、加算枚数を割り戻すことで画質の劣化なく画像を暗くすることが可能である。しかしながら、加算枚数の割り戻しでは、分解能が粗くなる欠点がある。

ここでは、その分解能の粗さを補間するように液晶ＮＤフィルタ１０３を制御することで、液晶ＮＤフィルタ１０３のみでは困難な広範囲で、高速追従での明るさを維持したフレームレート変化を可能とする。

以下、具体的に説明する。図９に示すように、メモリでの画像加算を用いる場合は、Ｓ＆Ｑモードの低フレームレート側では、画像のメモリ加算を併用してフレームレートを実現する方法がとられる場合がある。図９では、１ｆｐｓ〜８ｆｐｓの低フレームレート側において、フレームレートが低くなるとメモリ加算数を増加させる例を示している。この場合、メモリ加算されている枚数分だけ画像信号を除算する（割り戻す）と、画質を劣化させることなく明るさだけを減少させることができる。

また、図１０は、図９のメモリ加算数に応じて画像を割り戻すことで明るさ変化を抑えようとしたときの明るさ変化を表している。図１０において、横軸は設定されたフレームレート［ｆｐｓ］を、縦軸は６０ｆｐｓの明るさを１とした場合の明るさを示している。グラフ１に示すように、低フレームレート側では明るさの変化量が大きくなる傾向にあるが、割り戻しを行うことで明るさの変化を所定の範囲に収めることが可能となる。従って、フレームレートの変化に応じて割り戻しを行うことで、フレームレートが変化した際に明るさを一定に保つことが基本的には可能である。

ここでは、メモリ加算による割り戻しと、液晶ＮＤフィルタ１０３の濃度変化を連動させて制御を行う。図１１は、メモリ加算による割り戻しと、液晶ＮＤフィルタ１０３の濃度変化を連動させて制御する例を示す模式図である。図８においても、理想的なシャッタオフの状態で撮像フレームレートを連続的に変化させた時の露光状態を示している。

また、図８に示す例では、図９と同様に、１ｆｐｓでは８枚のメモリ加算を、２ｆｐｓでは４枚のメモリ加算を、３ｆｐｓ，４ｆｐｓでは２枚のメモリ加算を、５〜８ｆｐｓでは１枚のメモリ加算を行っている。従って、メモリ加算枚数を割り戻すことで、低フレームレートでの明るさを減少させることができる。

一方、図９に示すように、フレームレートが３ｆｐｓ、４ｆｐｓの場合は、いずれもメモリ加算枚数が２枚であるため、フレームレートが３ｆｐｓと４ｆｐｓで同様に割り戻しを行うと、明るさを厳密に一定に維持することはできない。同様に、フレームレートが５ｆｐｓ〜８ｆｐｓの場合は、いずれもメモリ加算枚数が１枚であるため、フレームレートが５ｆｐｓ〜８ｆｐｓのそれぞれで同様に割り戻しを行うと、明るさを厳密に一定に維持することはできない。

このため、図１１に示すように、フレームレートが増加した際に、加算枚数が切り替わるタイミングまでは液晶ＮＤフィルタ１０３で明るさの維持を行う。そして、加算枚数が切り換わるタイミングで液晶ＮＤフィルタ１０３の透過率を切り換えて加算を行うことで、全ての範囲で明るさの維持が可能となる。例えば、図９の例では、３ｆｐｓと４ｆｐｓではいずれも２枚のメモリ加算を行うため、割り戻した際にフレームレートの変化に応じて明るさを一定に保つことができないが、図１１では，３ｆｐｓの時に液晶ＮＤフィルタ１０３の透過率を５０％に上げているため、３ｆｐｓの時により明るくすることができる。従って、同じ２枚のメモリ加算をした場合に、液晶ＮＤフィルタ１０３の透過率が５０％の場合のフレームレート３ｆｐｓと液晶ＮＤフィルタ１０３の透過率が２５％の場合のフレームレート４ｆｐｓとで明るさを一定に保つことが可能となる。

同様に、フレームレート５ｆｐｓ，６ｆｐｓ，７ｆｐｓ，８ｆｐｓで１枚のメモリ加算を行った場合に、液晶ＮＤフィルタ１０３の透過率をフレームレートの増加に応じて１６％，１９％，２２％，２５％と段階的に変化させることで、フレームレートの変化に応じて明るさを一定に保つことが可能となる。

メモリ加算による割り戻しは、システムコントローラ１２０のメモリ加算制御部１２６によって行われる。メモリ加算制御部１２６は、フレームレートに応じてメモリ加算枚数を図９のように変化させ、割り戻しを行う。透過率算出部１２３は、メモリ加算枚数とフレームレートに応じて、図１１に示したように液晶ＮＤフィルタ１０３の透過率を算出する。

以上説明したように本実施形態によれば、フレームレートの変化に応じて液晶ＮＤフィルタ１０３の透過率を制御するようにしたため、フレームレートが変化した場合であっても明るさを一定に保つことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 撮像のフレームレートを制御するフレームレート制御部と、
前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、
を備える、制御装置。
（２） 前記フィルタの動作速度に応じて、前記被写体像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部を備え、
前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、前記（１）に記載の制御装置。
（３） 前記透過率制御部は、前記フレームレートを遷移可能な範囲と目標のフレームレートとに応じて、前記透過率を段階的に制御する、前記（２）に記載の制御装置。
（４） 被写体の輝度を取得する被写体輝度取得部を備え、
前記透過率制御部は、前記被写体の輝度と前記フレームレートの変化とに応じて、前記フィルタの透過率を制御する、前記（１）〜（３）のいずれかに記載の制御装置。
（５） 前記フィルタの動作速度に応じて、前記被写体像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部を備え、
前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、前記（４）に記載の制御装置。
（６） 前記撮像素子が撮像した被写体の画素値に乗算するゲインを制御するゲイン制御部を備え、
前記ゲイン制御部は、前記透過率が高い領域では、前記フレームレートの変化に応じて前記ゲインを制御する、前記（１）〜（５）のいずれかに記載の制御装置。
（７） 前記撮像素子が撮像した被写体の画素値のメモリ加算を制御するメモリ加算制御部を備え、
前記透過率制御部は、前記フレームレートの変化と前記メモリ加算の枚数とに応じて前記透過率を制御する、請求項１に記載の制御装置。
（８） ユーザの操作が入力される操作入力部を備え、
前記フレームレート制御部は、ユーザの操作入力に応じて前記フレームレートを制御する、前記（１）〜（７）のいずれかに記載の制御装置。
（９） ユーザの操作が入力される操作入力部を備え、
前記ゲイン制御部は、ユーザの操作入力に応じて前記ゲインを制御する、前記（１）に記載の制御装置。
（１０） 撮像のフレームレートを制御することと、
前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御することと、
を備える、制御方法。
（１１） 被写体像をフレーム毎に撮像する撮像素子と、
前記撮像素子よりも被写体側に配置され、前記撮像素子へ入射する光が透過するフィルタと、
撮像のフレームレートを制御するフレームレート制御部と、
前記フレームレートの変化に応じて、前記撮像素子が撮像した被写体像の明るさが維持されるように前記フィルタの透過率を制御する透過率制御部と、
を備える、撮像装置。

１００ 撮像装置
１０３ 液晶ＮＤフィルタ
１０４ 撮像素子
１２２ フレームレート変換処理部
１２３ 透過率算出部

Claims (9)

1. 撮像のフレームレートを制御するフレームレート制御部と、
   前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、
   前記フィルタの動作速度に応じて、前記被写体の像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部と、
   を備え、
   前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、
   制御装置。
2. 前記透過率制御部は、前記フレームレートを遷移可能な範囲と目標のフレームレートとに応じて、前記透過率を段階的に制御する、請求項１に記載の制御装置。
3. 被写体の輝度を取得する被写体輝度取得部を備え、
   前記透過率制御部は、前記被写体の輝度と前記フレームレートの変化とに応じて、前記フィルタの透過率を制御する、請求項１又は２に記載の制御装置。
4. 前記撮像素子が撮像した被写体の画素値に乗算するゲインを制御するゲイン制御部を備え、
   前記ゲイン制御部は、前記透過率が高い領域では、前記フレームレートの変化に応じて前記ゲインを制御する、請求項１〜３のいずれか１つに記載の制御装置。
5. 撮像のフレームレートを制御するフレームレート制御部と、
   前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御する透過率制御部と、
   前記撮像素子が撮像した被写体の画素値のメモリ加算を制御するメモリ加算制御部と、
   を備え、
   前記透過率制御部は、前記フレームレートの変化と前記メモリ加算の枚数とに応じて前記透過率を制御する、制御装置。
6. ユーザの操作が入力される操作入力部を備え、
   前記フレームレート制御部は、ユーザの操作入力に応じて前記フレームレートを制御する、請求項１〜５のいずれか１つに記載の制御装置。
7. ユーザの操作が入力される操作入力部を備え、
   前記ゲイン制御部は、ユーザの操作入力に応じて前記ゲインを制御する、請求項４に記載の制御装置。
8. 撮像のフレームレートを制御することと、
   前記フレームレートの変化に応じて、撮像した被写体の明るさが維持されるように撮像素子へ入射する光が透過するフィルタの透過率を制御することと、
   前記フィルタの動作速度に応じて、前記被写体の像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出することと、
   を備え、
   前記フィルタの透過率の制御は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御することを含む、
   制御方法。
9. 被写体像をフレーム毎に撮像する撮像素子と、
   前記撮像素子よりも被写体側に配置され、前記撮像素子へ入射する光が透過するフィルタと、
   撮像のフレームレートを制御するフレームレート制御部と、
   前記フレームレートの変化に応じて、前記撮像素子が撮像した被写体像の明るさが維持されるように前記フィルタの透過率を制御する透過率制御部と、
   前記フィルタの動作速度に応じて、前記被写体の像の明るさが維持される条件下で前記フレームレートを遷移可能な範囲を算出するフレームレート範囲算出部と、
   を備え、
   前記透過率制御部は、前記フレームレートを遷移可能な範囲に応じて前記透過率を制御する、
   撮像装置。

Images