JP6478703B2 - 撮像装置及び撮像システム - Google Patents

Description

本発明は、撮像装置に関するものであり、特に高輝度被写体撮影時の黒沈み現象を低減させる機能を有する撮像装置及び該撮像装置とレンズ装置を備える撮像システムに関するものである。

従来から撮像装置には固体撮像素子が用いられている。固体撮像素子としてはＣＭＯＳイメージセンサが広く用いられている。このＣＭＯＳイメージセンサの一例として、相関二重サンプリング（以下、ＣＤＳ）回路を備えたものがある。ＣＤＳ回路により、リセットレベルの信号（以下、Ｎ信号）とイメージセンサに入光した状態で撮像した信号（以下、Ｓ信号）との差分が取られ、撮像信号として出力される。これにより、固体撮像素子では各画素や各列アンプによる特性バラツキにより固定パターンノイズが発生するという従来の課題に対し、改善がなされてきた。

しかしながら、信号飽和レベルを大幅に超える高輝度光が入射した場合、イメージセンサのフォトダイオード（以下、ＰＤ）からフローティングディフュージョン（以下、ＦＤ）へ光が漏れだし、Ｎ信号レベルが上昇してしまう課題があった。その結果、ＣＤＳ回路によってＳ信号とＮ信号との差が小さくなり、出力される撮像信号のレベルとしては下がることとなる。この現象を「黒沈み現象」と呼ぶ。

そこで、特許文献１では、高輝度光入射時に、前述のＮ信号レベルが所定の電圧値を超えることのないように、クリップ回路を設けた。特許文献１によれば、高輝度光の入射によってＦＤに光が漏れ出したとしても、Ｎ信号の電圧レベルはクリップ回路へ与えるクリップ電圧値でリミットされることになるとしている。結果として、ＣＤＳからＳ信号とＮ信号の差動信号として取り出される撮像信号の黒沈み現象が改善されている。

また、特許文献２では、高輝度被写体撮影時に黒沈み現象が発生した場合には、ＣＤＳ回路からの出力を飽和出力に置き換える改善がなされている。特許文献２によれば、第１の画素群と第２の画素群とで異なる蓄積時間を適用することによって、黒沈みが発生しうる画素領域を予測して検出している。

特開２００９−２００６６０号公報 特開２０１０−２６８１６２号公報

しかしながら、上述の従来技術では、昼間から夜間までの様々な撮影シーンに対応することが困難となる。例えば、特許文献１では、過度なクリップ電圧設定を行った場合、高輝度光による黒沈み現象を強く抑制する効果が得られる一方で固定パターンノイズが発生しやすく、画質が低下してしまう課題がある。特に、夜間の撮影では感度を上げるためにゲインを適用した場合、更なる画質の低下を招く恐れがあり見にくい撮影映像となってしまう。特許文献２では、黒沈み現象を改善できるが、黒沈み現象を検知するために、異なる画素領域に異なる蓄積時間を適用できる構造のイメージセンサとするためコストがかかってしまう問題がある。また、特許文献２では、黒沈み検出のために参照用として用いる画素群は周囲の画素から補完されて出力され、本来の撮像信号として使用されない。そのため、低解像度の撮影画像となってしまう問題もある。放送や高級監視などの分野では、昼間から夜間まで様々な撮影条件が設定され、かつ高画質な撮影映像が求められるため、上記の対策を行ったとしても画質を維持することが必要である。

そこで、本発明の目的は、ＣＤＳ回路を持ったＣＭＯＳイメージセンサを備える撮像装置において、様々な撮影条件において、上述の黒沈み現象を低減しつつ、かつ画質の低下を防ぐことができる撮像装置及び該撮像装置とレンズ装置を備える撮像システムを提供することを目的とする。

本発明の撮像装置は、光電変換部により生成された電荷信号とノイズ信号との差分に基づいて撮像画像信号を出力する撮像装置であって、第１の画像と、前記第１の画像が撮像された第１の撮像条件より前記光電変換部の露光量が少ない第２の撮像条件で撮像された第２の画像と、の差分に基づく差分画像を生成する生成手段と、前記生成手段により生成された前記差分画像に基づいて、黒沈み領域を検出する検出手段と、検出された前記黒沈み領域に基づいて、前記ノイズ信号の電圧に制限を設けるためのクリップ電圧を制御する電圧制御手段と、を備えたことを特徴とする。

本発明によれば、関心領域の設定変更があっても露出が維持され、かつ関心領域の設定変更に伴う画質の低下を防ぐことができる撮像装置及び該撮像装置とレンズ装置を備える撮像システムを提供することができる。

実施例１における構成図 実施例１におけるイメージセンサの構造図１ 実施例１におけるイメージセンサの構造図２ 実施例１におけるイメージセンサの読み出しタイミング 実施例１における撮影イメージ 実施例１におけるフローチャート 実施例１におけるＶｃｌｉｐＨ初期値 実施例１におけるステップＳ１２０のサブルーチン 実施例１におけるステップＳ１３０のサブルーチン 実施例１における画像Ｂイメージ 実施例１におけるステップＳ１４０のサブルーチン 実施例１におけるステップＳ１４１の画像イメージ 実施例１におけるステップＳ１５０のサブルーチン 実施例１における処理タイミング 実施例２における構成図 実施例２におけるフローチャート 実施例２におけるステップＳ２３０のサブルーチン

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる構成図である。

図１に本発明の第１の実施例の撮像装置の構成図を示す。撮像装置１００は、イメージセンサ１０１を含む撮像系を有し、撮像制御部１０２およびＡＤＣ１０３によって撮像処理を行う。

レンズ（レンズ装置）１１０は、撮像装置１００の外部に構成され、レンズ１１０と撮像装置１００で撮像システムを構成する。レンズ１１０を通った光束は、撮像装置１００のイメージセンサ１０１に結像する。レンズ１１０は、不図示の絞り群、変倍群、フォーカスレンズ群などの要素から構成される。また、レンズ１１０に構成される変倍群は、焦点距離が可変でも固定でも良い。

撮像制御部１０２は、イメージセンサ１０１の蓄積動作や読出動作の制御を行う。撮像制御部１０２は、イメージセンサ１０１およびＡＤＣ１０３を駆動するためのタイミングジェネレータを含む。イメージセンサ１０１を撮像制御すると、イメージセンサ１０１からは撮像信号が出力される。ＡＤＣ１０３は、イメージセンサ１０１の読み出し動作に同期して撮像信号をＡＤ変換する。また、撮像制御部（クリップ電圧制御手段）１０２はフレーム同期信号や垂直同期信号、水平同期信号などの同期信号を生成して出力することに加え、後述のクリップ電圧をイメージセンサ１０１に入力する。

撮像制御部１０２およびＡＤＣ１０３の後段には画像処理部１０４が構成されている。画像処理部１０４には、撮像制御部１０２で生成された前述の同期信号とともにＡＤＣ１０３でＡＤ変換された撮像信号が入力される。画像処理部１０４では、入力された撮像信号の公知の補正処理に加え、現像処理や本発明における黒沈み領域の検出処理などを行う。黒沈み領域の検出処理の詳細については後述するが、黒沈み領域の検出により、撮像制御部１０２を通じてイメージセンサ１０１へ与える前述のクリップ電圧を制御する。
画像処理部１０４からの出力信号（撮像画像信号）は出力部１０６を通じて撮像装置１００の外部へと出力される。出力部１０６では、例えばＨＤＭＩ（登録商標）信号やＨＤ−ＳＤＩ信号などの映像信号に変換される。

モード設定手段３００は、撮像装置１００の外部から撮像装置の動作モードを選択するための信号を入力する。例えば、モード設定手段３００の例としてボタンやスイッチなどを使用する。また、ＰＣを用いてモードを設定しても良いし、外付けモニタ上にＧＵＩを構成するなどしてモードを設定しても良い。

モード設定手段３００からの入力信号はモード制御部１０５へと入力される。モード制御部１０５は、モード設定手段３００で選択されたモードに応じて、撮像制御部１０２、画像処理部１０４、レンズ制御部１０７などの動作を制御する。詳細は後述するが、本発明における黒沈みを検出する動作を行う処理も含まれる。

レンズ制御部１０７は、モード制御部１０５からの指令を受けてレンズ１１０の制御を行う。レンズ１１０に構成される絞り群、変倍群、フォーカスレンズ群などそれぞれの駆動制御を行う。

図２にイメージセンサ１０１の構造図を示す。図２のＩｍｇは、撮像素子群を示している。図２中の１１から３３までは、Ｉｍｇに構成される画素配列の一部を示している。Ｉｍｇ中の各画素は、Ｖ１、Ｖ２、Ｖ３…およびＨ１、Ｈ２、Ｈ３…を通じて、垂直回路１０１１および水平回路１０１２に接続されている。

図２の垂直回路１０１１へは不図示のリセットパルスや選択行シフトなどの制御線が接続されている。これらの制御線は、図１の撮像制御部１０２と接続されており、イメージセンサ１０１を駆動制御するための前述のタイミング信号が伝搬される。また、図２の水平回路１０１２へは、後述の転送パルスおよび読み出しパルスの２つの制御線が接続されている。これらの制御線は、上述の垂直回路１０１１で説明した制御線と同様に、図１の撮像制御部１０２に接続されている。

イメージセンサ（光電変換素子）１０１に構成される撮像素子をより詳細に表した図を図３に示す。ここでは、図４に示すタイミングチャートとともに、イメージセンサ１０１の動作について説明する。イメージセンサ１０１の１つの画素であるＰＤは、光を電荷信号に変換して蓄積する光電変換部である。リセットスイッチ（以下、ＲＥＳ）にはリセット電圧（以下、Ｖｒｅｓ）が接続されている。図４に示すように、ＲＥＳを時刻Ｔ０においてＯＮとすると、ＦＤの電位ＶｆｄはＶｒｅｓにリセットされる。なお、ＦＤは所定の容量を持ち、電荷信号を蓄積することができる。

図４において、時刻Ｔ１にてリセットスイッチＲＥＳがＯＮからＯＦＦに切り替わると、ＦＤにはＮ信号としての電荷が保持されることとなる。このとき、ＦＤの電圧レベル（以下、Ｖｆｄ）はＮＬｅｖｅｌとなる。

図３に示す垂直信号線（以下、ＳＬ）は図２で説明したＨ１、Ｈ２、Ｈ３に該当する。本発明におけるイメージセンサ１０１は、相関二重サンプリング処理（以下、ＣＤＳ処理）のために、ＲＥＳによるリセット後、すなわち図４の時刻Ｔ１からＴ２において、ＦＤのＮ信号としての電荷がＳＬに出力され、図２のＣＤＳ回路へと入力される。このとき、通常の被写体光がイメージセンサ１０１に入射している場合、前述のＮＬｅｖｅｌはノイズレベルとして得られることとなる。一方、高輝度光がイメージセンサ１０１に入射する場合は、前述の通りＰＤから電荷がＦＤに漏れ出ることによって、図４に示すようにＮＬｅｖｅｌは下がることとなる。

図３の転送スイッチＰＴに前述の転送パルスが入力されるとＯＮとなり、ＰＤに蓄積された電荷信号がＦＤに転送される。図４では、時刻Ｔ１から所定の時間すなわち蓄積時間（第１の撮像条件）が経過した後に、時刻Ｔ２においてＰＴをＯＮとすることにより、ＰＤに蓄積されたＳ信号（第１の画像）としての電荷信号がＦＤに転送している。このとき、ＦＤの電位Ｖｆｄとして、ＰＤに蓄積された電荷に応じたＳ信号の電圧レベル（以下、ＳＬｅｖｅｌ）が得られる。その後、ＳＬに出力され、同様にＣＤＳ回路へと入力される。ＣＤＳ回路では、前述の通りＮ信号（第２の画像）とＳ信号（第１の画像）との差動信号、すなわちＮＬｅｖｅｌとＳＬｅｖｅｌとの差分の電圧値がＶｏｕｔから出力されることとなる。ＳＬｅｖｅｌがＣＤＳに入力された後、図４の時刻Ｔ３にて再びＲＥＳをＯＮとし、次回の読み出しまで保持する。以降は前述のＴ０からの処理を繰り返して実行することにより連続的に撮影動作を行うことができる。

通常の撮影すなわちイメージセンサ１０１に入光する光量が所定の範囲内である撮影では、図４の時刻Ｔ１からＴ２において、イメージセンサ１０１の回路起因によるノイズレベルがＦＤに表れることとなる。一方、ＰＤに非常に高輝度の光が入射した場合、ＰＤからＦＤへ電荷信号が漏れ出てしまうため、本発明で扱う黒沈み現象が発生することとなる。

そこで、図３のＣｌｉｐＣｉｒｃｕｉｔで示した点線領域にて、クリップ回路Ｈおよびクリップ回路Ｌが構成されている。図４の時刻Ｔ１からＴ２にかけて、図３のスイッチＣＬＩＰＨをＯＮとすると、ＳＬすなわちＮＬｅｖｅｌはＶｃｌｉｐＨでリミットされる。すなわち、ＮＬｅｖｅｌはＶｃｌｉｐＨより低い値を持つことがないように下限値が制限される。

また、ＰＤに蓄積されたＳ信号がＳＬに転送されるとき、すなわち時刻Ｔ２以降でスイッチＣＬＩＰＬをＯＮとすると、垂直信号線はＶｃｌｉｐＬでリミットされる。すなわち、ＮＬｅｖｅｌはＶｃｌｉｐＬより低い値を持つことがないように下限値が制限される。

ＶｃｌｉｐＨを高電位に設定することにより、黒沈みを低減させることができる。しかし、通常撮影時におけるＮＬｅｖｅｌよりも高い電位をＶｃｌｉｐＨとして設定すると、黒沈み現象を低減できる一方で、ＣＤＳ回路による差動出力でノイズ成分（ノイズ信号）を十分に相殺することができずに固定パターンノイズが発生し、画質が低下してしまう。

そこで、本実施例では黒沈み現象を低減させつつ、画質低下も同時に防ぐために、撮影モードに応じたクリップ電圧を設定する例について示す。ただし、撮影シーンに応じた最適なクリップ電圧とするために、クリップ電圧を動的に制御する。

図５に示す撮影シーンを例に、高輝度光の被写体がある条件において、黒沈み現象を低減させる方法について説明する。図５（ａ）では、撮影対象の主被写体に加え、主被写体の背景に太陽が撮影されている撮影シーンを示している。ただし、実際の撮影画像としては図５（ｂ）および（ｃ）が得られているものとする。図５（ｂ）および（ｃ）は、それぞれ図５（ｄ）および（ａ）で示した太陽の部分が黒く沈んでいる（黒沈み現象が発生している）様子を示している。黒沈み現象が発生していなければ、図５（ｃ）ではなく（ａ）、（ｂ）ではなく（ｄ）となるように高輝度領域が黒沈みせず飽和している撮影画像が得られる。

本実施例における撮像装置１００が実行する処理のフローチャートを図６に示す。撮像装置１００に電源が投入されると、図６のステップＳ１１０から順番に処理が実行される。

図６のステップＳ１１０では、図１のモード設定手段１２０からの設定により撮影モードが設定される。設定された撮影モードはモード制御部１０５にて保持される。図７に示すように、昼間モードおよび夜間モードのいずれかが設定されるものとする。
次に図６のステップＳ１２０へと進むと、通常撮影が行われる。ステップＳ１２０のサブルーチンを図８に示す。

図８のステップＳ１２１では蓄積前設定Ａが行われる。ここでは、通常撮影における撮像処理の前処理として、図６のステップＳ１１０で設定されたモードに応じたシャッター時間が設定される。ステップＳ１２１で設定されるシャッター速度については、出力部１０６により出力される映像フォーマットに応じて設定しても良いし、不図示のシャッター速度設定手段によって外部から設定するとしても良い。

図８のステップＳ１２１が実行されるとステップＳ１２２へと進み、蓄積処理が行われる。ここでは通常撮影としての蓄積が行われる。ステップＳ１２１によって設定されたシャッター速度に従い、撮像制御部１０２によってイメージセンサ１０１の蓄積処理が行われる。シャッター速度に従った蓄積時間分、イメージセンサ１０１が露光されると、ステップＳ１２３へと進む。

図８ステップＳ１２３では、読み出し前設定Ａが行われる。ここでは、通常撮影における読み出し処理の前処理として、図６のステップＳ１１０で設定されたモードに応じたＶｃｌｉｐＨ（ＶｃｌｉｐＨ１又はＶｃｌｉｐＨ２）がイメージセンサ１０１に対して更新・反映される。例えば、図６のステップＳ１１０では昼間モードが設定された場合は、ＶｃｌｉｐＨの初期値としてＶｃｌｉｐＨ１が設定される。なお、図６ではステップＳ１６０が実行された後は再びステップＳ１１０から再び実行されることになるが、ステップＳ１２３では後述するステップＳ１５０で設定されたＶｃｌｉｐＨによって更新されるものとする。

図８のステップＳ１２４では、撮像制御部１０２によって、イメージセンサ１０１から撮像信号の読み出しが行われる。そして、ＡＤＣ１０３によってＡＤ変換された撮像信号が画像処理部１０４に入力される。このとき、イメージセンサ１０１のＮ信号および露光後におけるＳ信号は図３および図４で説明したように各画素ＣＤＳ回路に入力され、イメージセンサ１０１の外部に出力される。

次に、図８のステップＳ１２５では、図１の画像処理部１０４によって画像処理が行われる。例えば、公知のオプティカルブラックによる補正処理や傷補正処理などが行われる。

次に、図８のステップＳ１２６では、ステップＳ１２５で処理された画像が画像Ａとして不図示のメモリに記憶される。なお、記憶される画像Ａのイメージ図としては、前述の図５の（ｂ）や（ｃ）が該当する。

図８のステップＳ１２６が実行されると、図８に示したサブルーチンを終了し、図６のステップＳ１３０へと進む。ステップＳ１３０では、黒沈み検出用の撮影が行われる。ステップＳ１３０のサブルーチンを図９に示す。

図９のＳ１３１では黒沈み領域を検出するための蓄積前設定が行われる。図８のステップＳ１２１と類似しているが、ここでは、ステップＳ１２１で設定されたシャッター速度よりも大幅に短い時間のシャッター速度が設定される。設定するべきシャッター速度は任意の値で良いが、図９に示すステップＳ１３０の一連のサブルーチン処理では、露光量の少ない画像を撮像することによって、黒沈み現象の発生しない撮像処理を行う。ステップＳ１３１で設定されるシャッター速度については、不図示のシャッター速度設定手段によって外部からステップＳ１３１用の設定をするように構成しても良い。

図９のステップＳ１３２では、ステップＳ１３１で設定された短いシャッター速度により蓄積処理が行われる。ステップＳ１３１で設定された蓄積時間分、イメージセンサ１０１が露光されると、ステップＳ１３３へと進む。

図９のステップＳ１３３では、読み出し前設定Ｂが行われる。ここでは、黒沈み検出用撮影における読み出し処理の前処理として、図６のステップＳ１１０で設定されたモードに応じたＶｃｌｉｐＨがイメージセンサ１０１に対して更新・反映される。前述の通り、図９の黒沈み検出処理では黒沈み現象を発生させない条件としての撮像処理を行っているので、ここではＶｃｌｉｐＨを一時的に高い電圧に設定することが望ましい。すなわち、通常のノイズ成分を除去するために使用するベースデータを取得する。また、ここで設定されるＶｃｌｉｐＨは前述のように外部から設定できるように構成しても良い。

図９のステップＳ１３４およびステップＳ１３５では、図８のステップＳ１２４およびステップＳ１２５と同様にして撮像信号の読み出しおよび画像処理が行われる。

図９のステップＳ１３６では、ステップＳ１３３で処理された画像が画像Ｂとして不図示のメモリに記憶される。なお、記憶される画像Ｂのイメージ図としては、図１０に示すような画像となる。ここでは、太陽の部分が白く撮像され、そのほかの領域については黒く沈んだ画像が得られている。

図９のステップＳ１３６が実行されると、図９に示したサブルーチンを終了し、図６のステップＳ１４０へと進む。ステップＳ１４０では、黒沈み検出手段である画像処理部１０４において、黒沈み検出処理が行われる。ステップＳ１４０のサブルーチンを図１１に示す。

図１１のステップＳ１４１では、画像生成手段である画像処理部１０４において、図８のステップＳ１２６および図９のステップＳ１３６で記憶した画像Ａおよび画像Ｂを用いて、各画素における値の差を演算する。ここでは、画像Ｂから画像Ａを減算する。なお、減算の結果、負の値となる場合は０で下限リミットするなどしておく。ステップＳ１４１の結果から得られる画像（差分画像）のイメージ図を図１２に示す。黒沈みが発生した領域のみが白い領域（正の値を示す画素）として出力され、そのほかの領域については黒い領域（値が「０」である画素）として出力される。ここでは、画像Ｂから画像Ａを減算する場合を例示したが、これに限定されることはなく、一方から他方の画素値を減算すると、黒沈み領域と黒沈みしていない領域とでは、値の符号が反転する関係となるので、これを利用することにより、黒沈み領域を特定することができる。

図１１のステップＳ１４１が実行されるとステップＳ１４２へと進む。ここでは、ステップＳ１４１で得られた画像に基づいて黒沈み量を設定する。ここでは、図１２で得られた画像の輝度値を加算した値などを保持しておいてもよいし、黒沈み領域の面積や、輝度値の最大値や平均値などを黒沈み量として保持しておいても良い。

図１１のステップＳ１４２が実行されると、図１１に示したサブルーチンを終了し、図６のステップＳ１５０へと進む。ステップＳ１５０では、ステップＳ１４０で検出された黒沈み量にもとづいて、次回の撮影から適用するべきＶｃｌｉｐＨを算出し更新する。ステップＳ１５０のサブルーチンを図１３に示す。

図１３のステップＳ１５１では、前述のステップＳ１４２で算出された黒沈み量と閾値αを比較する。ここで閾値αとは、黒沈み現象が発生しているか否かを判定するための値である。αは０以上の任意の値で良い。ステップＳ１５１で黒沈み量がαよりも大きい場合、真すなわち黒沈み現象が発生していると判定してステップＳ１５２へと進む。ステップＳ１５１が偽である場合、黒沈み現象は発生していないと判定して、図１３のサブルーチンを終了する。

図１３のステップＳ１５２では、ＶｃｌｉｐＨの制御量βを演算する。β算出のための演算式を式（１）に示す。
β＝（黒沈み量−α）×γ ・・・（１）
ここで式（１）のγとは、黒沈み量からＶｃｌｉｐＨの電圧制御量βに変換するための任意の変換係数である。本発明では、図６に示すフローチャートを実行する過程で、ステップＳ１５１で示した黒沈み量がα以下に収まるようにＶｃｌｉｐＨを制御することとなる。γの値は実験によって求められた固定値をプログラムに埋め込んでも良いし、製造工程などで個別に最適値を求め、不図示のメモリなどに保持しても良い。

図１３のステップＳ１５３では、ステップＳ１５２にて算出されたβを現在設定されているＶｃｌｉｐＨから減算し、ＶｃｌｉｐＨ目標値を更新する。なお、ステップＳ１５３で更新されたＶｃｌｉｐＨ目標値は、図８のステップＳ１２１および図９のステップＳ１３１で実行される撮像設定において、イメージセンサ１０１に与える実際のＶｃｌｉｐＨ電圧値が更新されることとなる。

図１３のステップＳ１５３が実行されると、図１３に示したサブルーチンを終了し、図６のステップＳ１６０へと進む。

図６のステップＳ１６０では、通常撮影画像が出力される。ここでは、図８のステップＳ１２４でメモリに記憶された画像Ａが、出力部１０６を通じて撮像装置１００の外部へと出力される。図６のステップＳ１６０が実行されると、再びステップＳ１１０から順番に処理を実行し、ステップＳ１１０からステップＳ１６０までが繰り返して実行される。すなわち、撮影としては、通常撮影と黒沈み検出用撮影が交互に実施され、通常撮影された画像が１フレームの画像として外部に出力される。

なお、ステップＳ１１０からステップＳ１６０までの処理は、１フレーム期間の間に処理される。すなわち、図６のステップＳ１３０で示した黒沈み検出用撮影における処理で得られた画像は図９のステップＳ１３４で画像Ｂとしてメモリに保持されるが、撮像装置１００の外部に出力しない。この処理タイミングについて図１４に示す。

図１４では、撮像制御部１０２から発行される垂直同期信号（以下、ＶＤ）がフレームごとに発行されていることを示している。時刻Ｔ１０１およびＴ１０３にてＶＤがＯＮとなっている。また、図６では各処理が順番に実行されていく説明をしたが、実際には図１４に示すように、撮像処理の一連の処理がパイプライン的に行われていく。以下、詳細について説明する。

図１４では、先頭行の処理に着目して説明する。図１４で時刻Ｔ１０１にてＶＤがＯＮとなると、通常撮影用の読み出し処理が先頭行から開始される。時刻Ｔ１０１のＶＤタイミングに同期して、図８のステップＳ１２３で説明した読み出し前設定が行われる。図１４ではローリングシャッター方式の撮像処理について示しており、先頭行の読み出しが完了すると、以降の読み出しが行われる。

図１４において先頭行の読み出しが完了すると、時刻Ｔ１０２のタイミングにおいて図８のステップＳ１２５の画像処理が開始され、図９のステップＳ１３２の蓄積処理が行われる。このとき、図９のステップＳ１３２の蓄積処理は先頭行から行われる。以降、時刻Ｔ１０３にかけて順次読み出しと蓄積開始が行われていく。

次に時刻Ｔ１０３では、先頭行において図９のステップＳ１３４で説明した読み出し処理が開始される。続いて、時刻Ｔ１０４で先頭行の読み出しが完了し、図９のステップＳ１３５の画像処理およびステップＳ１３６の画像Ｂとしての記憶処理が実行される。

図１４の時刻Ｔ１０４から時刻Ｔ１０５までにかけては、先頭行以降の行において図９のステップＳ１３４の読み出し処理からステップＳ１３６までが実行される。時刻Ｔ１０５のタイミングにおいて、イメージセンサ１０１のすべての行の読み出しが完了しているため、図６のステップＳ１４０からステップＳ１６０までを実行することができる。

図１４の時刻Ｔ１０５から時刻Ｔ２０１にかけては、次回フレームの読み出しに備えた通常撮影としての蓄積処理を行い、図６のステップＳ１６０で示した映像出力が行われる。そして、時刻Ｔ２０１において、時刻Ｔ１０１と同様に、図８ステップＳ１２３で説明した読み出し前設定が行われるが、更新されたＶｃｌｉｐＨがイメージセンサに反映されることとなる。

このように、本実施例では、１フレームの中で通常撮影と黒沈み検出用撮影を行い、適切なＶｃｌｉｐＨ電圧を制御することによって、撮影シーンに応じた適切なＶｃｌｉｐＨを制御することができ、黒沈み現象を低減させることが可能となる。また、前述のように黒沈み検出用撮影によって得られた画像は外部に出力せず、通常撮影用として撮影した画像を画像Ａにメモリする。このようにすることにより、図６のステップＳ１６０にて出力させることで、出力画像の明暗が切り替わり撮影者にとって不快な映像になりにくくすることができる。

本実施例のモード設定例として、昼間の撮影例について示したが、夜間における撮影モードとしても良い。この場合、夜間撮影においては図５（ａ）に示す太陽は、自動車などのヘッドライトなどを撮影している状況でもよい。なお、夜間撮影モードの場合は、本実施例において図７および図８のステップＳ１２３で設定したＶｃｌｉｐＨの初期値ＶｃｌｉｐＨ１よりも低い電圧値ＶｃｌｉｐＨ２を初期設定すると良い。通常昼間の撮影と比較し、夜間は被写体の輝度が低いため、ＶｃｌｉｐＨ電圧値を高く設定してしまうと、固定パターンノイズが目立ってくるためである。特に夜間では感度を上げるためゲインを上げて撮影することが多いと考えられるため、画質に影響を与えないようにＶｃｌｉｐＨを極力低く設定することが望ましい。その上で、本実施例で述べたような適切なＶｃｌｉｐＨ電圧を制御することで、夜間撮影においても画質の劣化と黒沈み現象の発生を極力抑えることが可能となる。なお、ＶｃｌｉｐＨの設定値が上昇してくると、前述のように固定パターンノイズが増加してくるため、図６のステップＳ１４０で評価している黒沈み量と固定パターンノイズ発生量とのバランスを取ってＶｃｌｉｐＨを設定させても良い。そのためには、ステップＳ１５０にて、更新されたＶｃｌｉｐＨによる撮像処理が行われた後、固定パターンノイズ評価値算出を行うと良い。

なお、本発明では図３において、ＣＬＩＰＬとＣＬＩＰＨを別々に構成したが、ＣＬＩＰＬをＣＬＩＰＨと排他論理として制御しても良い。もしくはＶｃｌｉｐＨとＶｃｌｉｐＬの回路を別々に構成したが１つのクリップ回路で構成しても良く、その場合は図４で示したタイミングにおいて、ＶｃｌｉｐＨとＶｃｌｉｐＬを相互に切り替えて読み出しするように構成しても良い。

なお、出力部１０６の出力フォーマットはＨＤ−ＳＤＩやＨＤＭＩ（登録商標）に限定せず、様々な出力フォーマットを用いても本発明を適用させることができる。また、ＡＤＣ１０３の内部にタイミングジェネレータを構成したＡＦＥと呼ばれるものがあるが、ＡＤＣ１０３の変わりにＡＦＥで構成しても良い。また、このことは以降の実施例でも同様に適用することができる。

実施例１では、１フレームの中で通常撮影と黒沈み検出用撮影を行い、黒沈み検出用撮影によって得られた画像は外部に出力せず、通常撮影用として撮影した画像を出力させることで、ＶｃｌｉｐＨを制御する例について述べた。本実施例では、実施例１よりも長いシャッター速度が設定された場合における画像出力例について述べる。シャッター速度が長い場合、実施例１とは異なり１フレーム期間に通常撮影と黒沈み検出用撮影を収めることが困難となる。そこで、通常撮影を行うフレームと黒沈み検出用撮影を行うフレームとを混在させることによって、長いシャッター速度にも対応できることを本実施例で説明する。

本実施例における撮像装置の構成を図１５に示す。図１５では実施例１で示した図１に加え、スイッチ２００が構成されている。本実施例において、スイッチ２００は、黒沈み検出処理のトリガ信号の入力手段として使用する。

また、本実施例において撮像装置１００が実行する処理のフローチャートを図１６に示す。撮像装置１００に電源が投入されると、図１６のステップＳ１１０から順番に処理が実行される。

図１６のステップＳ１１０では、実施例１と同様に図１のモード設定手段１２０からの設定により撮影モードが設定される。ステップＳ１１０が実行された後、ステップＳ２１０へと進む。

図１６のステップＳ２１０では、黒沈み検出入力が行われる。図１５に示すスイッチ２００による入力が行われたかどうかを判定し、黒沈み検出処理実行フラグを設定する。ステップＳ２１０が実行されると、ステップＳ２２０へと進む。

図１６のステップＳ２２０では、通常撮影か否かが判定される。本実施例では冒頭に述べた通り、通常撮影を行うフレームと黒沈み検出用撮影を行うフレームとを混在させる例について示す。ステップＳ２１０にて設定された黒沈み検出処理実行フラグに基づいて判定を行う。黒沈み検出処理実行フラグが設定されていない場合は、常に真と判定する。一方、黒沈み検出処理実行フラグが設定されている場合は、数フレームに１回偽と判定し、残りのフレームを真と判定することとする。例えば、５フレームのサイクルを１周期とし、４フレーム分を真と判定し、１フレームを偽と判定する。この１周期あたりのフレーム数は任意であり、不図示の設定手段によって撮像装置１００の外部から設定しても良い。

図１６のステップＳ２２０が真である場合は、ステップＳ１２０へと進む。ステップＳ１２０では、図６のステップＳ１２０で説明した通常撮影処理と同様の処理が行われる。ステップＳ１２０が実行されると、ステップＳ１４０へと進む。ステップＳ２２０が偽である場合は、ステップＳ１３０へと進む。ステップＳ１３０では、図６のステップＳ１３０で説明した黒沈み検出用撮影処理と同様の処理が行われる。ステップＳ１３０が実行されると、ステップＳ１４０へと進む。

実施例１では図１４において、ステップＳ１２０とステップＳ１３０がパイプライン的に並行して行われる処理の例について説明した。本実施例では、図１６におけるステップＳ１２０とステップＳ１３０は、１フレームにおいて排他的に実行される。すなわち、垂直同期信号ＶＤに同期して黒沈み検出用の撮像処理もしくは通常撮影用の撮像処理のどちらか一方を行う。

図１６のフローチャートの説明に戻る。ステップＳ１４０では、図６のステップＳ１４０と同様に黒沈み検出処理が行われる。前述の通り、ステップＳ１３０はステップＳ２２０の判定処理により、数フレームに一度実行されることとなるため、画像Ｂとしてメモリに記憶される画像は数フレームわたって保持されることとなる。一方で、ステップＳ１２０で実行される通常撮影処理において、ステップＳ１３０の黒沈み検出用撮影が実行されるフレームを除き、ほぼ毎フレームで画像Ａとしてメモリに記憶される画像は更新されていく。ステップＳ１４０では、このようにして得られた画像Ａおよび画像Ｂを用いて、実施例１と同様の黒沈み検出を行う。ステップＳ１４０が実行されると、次にステップＳ２３０へと進む。

図１６のステップＳ２３０では、ＶＣＬＩＰ設定値算出・更新処理が行われる。ステップＳ２３０のサブルーチンを図１７に示す。

図１７のステップＳ１５１では、図１３と同様にステップＳ１４０で算出された黒沈み量の判定処理が行われる。ステップＳ１５１が真である場合はステップＳ１５２へと進み、偽である場合はステップＳ２３１へと進む。図１７のステップＳ１５２およびステップＳ１５３は、図１３と同様の処理が行われる。

図１７のステップＳ２３１では、図１６のステップＳ２１０で設定された黒沈み検出処理実行フラグがクリアされる。図１７のステップＳ１５１にて黒沈み量が閾値αよりも大きい間は繰り返しＶｃｌｉｐＨが制御され、適切なＶｃｌｉｐＨが設定されたところで、黒沈み量が閾値α以下となったところで上記フラグがクリアされることとなる。

図１７のステップＳ２３１あるいはステップＳ１５３が実行されると、図１７のサブルーチンを終了し、図１６のステップＳ１６０へと進む。ステップＳ１６０では、図６のステップ１６０と同様に通常撮影によって得られた画像が撮像装置１００の外部へと出力される。

このように、本実施例では通常撮影を行うフレームと黒沈み検出用撮影を行うフレームとを混在させることによって、長いシャッター速度にも対応させる例について説明した。さらには、スイッチ２００を構成することによって、必要最小限の黒沈み検出用撮影を行い、黒沈みを抑えるようなＶｃｌｉｐＨを制御する例について説明した。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。また、本稿で述べた実施例を組み合わせて実施しても良い。

なお、本実施例１および実施例２では、通常撮影のために設定したシャッター速度に対し、黒沈み検出用撮影では短いシャッター速度を設定する例について示した。黒沈み検出用の画像としては黒沈みしない条件として撮影できれば良い。すなわち、フォトダイオードＰＤに蓄積される電荷量が所定量よりも多くならないような露光量の条件を黒沈み検出用撮影のための撮像条件（第２の撮像条件）として設定すればよい。そのため、例えば、通常撮影時に設定されているレンズ１１０の絞りの開口率に対し、開口率を下げた（絞った、開口径を小さくした）状態で撮影された画像を黒沈み検出用の画像としても良い。また、これらの撮影条件と本実施例１および実施例２で述べたシャッター速度による撮影条件とを組み合わせても本発明を実施することができる。

１１，・・・，３３ 画素（光電変換部）
１００ 撮像装置
１０１ イメージセンサ（光電変換素子）
１０２ 撮像制御部（クリップ電圧制御手段）
１０４ 画像処理部（黒沈み検出手段、画像生成手段）

Claims (6)

1. 光電変換部により生成された電荷信号とノイズ信号との差分に基づいて撮像画像信号を出力する撮像装置であって、
   第１の画像と、前記第１の画像が撮像された第１の撮像条件より前記光電変換部の露光量が少ない第２の撮像条件で撮像された第２の画像と、の差分に基づく差分画像を生成する生成手段と、
   前記生成手段により生成された前記差分画像に基づいて、黒沈み領域を検出する検出手段と、
   検出された前記黒沈み領域に基づいて、前記ノイズ信号の電圧に制限を設けるためのクリップ電圧を制御する電圧制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記第２の画像は、前記第１の画像が撮像された第１の蓄積時間よりも短い第２の蓄積時間で撮像された画像である、ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像を前記撮像装置の外部に出力し、前記第２の画像を前記撮像装置の外部に出力しないことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の画像と前記第２の画像を交互に撮像することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 外部から信号を入力するための入力手段を備え、
   前記入力手段から入力された入力信号に基づいて、前記第２の画像を撮像する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 請求項１に記載の撮像装置と、絞りと該絞りを制御する絞り制御手段とを備えるレンズ装置と、を備える撮像システムであって、
   前記第２の画像は、前記第１の画像が撮像された第１の絞り値よりも絞った第２の絞り値で撮像された画像である、
   ことを特徴とする撮像システム。

Images