JP2009284424A - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP2009284424A JP2009284424A JP2008136915A JP2008136915A JP2009284424A JP 2009284424 A JP2009284424 A JP 2009284424A JP 2008136915 A JP2008136915 A JP 2008136915A JP 2008136915 A JP2008136915 A JP 2008136915A JP 2009284424 A JP2009284424 A JP 2009284424A
- Authority
- JP
- Japan
- Prior art keywords
- dark current
- pixel region
- light
- regions
- effective pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 abstract description 16
- 238000000034 method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
【課題】撮像素子が分割露光によって製造された場合に、分割領域毎の画質の相違を確実に抑えること。
【解決手段】異なる暗電流特性を有する複数の領域から構成された有効画素部42,44と有効画素部42,44の周囲に配置されたVOB部43,45とを有する撮像素子40と、複数の領域の暗電流差とVOB部43,45の暗電流との相関関係を予め記憶する記憶部26と、撮影時にVOB部43,45の暗電流を検出する検波部14と、記憶部26に記憶された相関関係に基づいて、撮影時に検出されたVOB部43,45の暗電流から撮影時における複数の領域の暗電流差を求める制御部22と、求めた暗電流差に基づいて、有効画素領域42,44から得られる映像信号を補正する補正処理部14と、を備える。
【選択図】図1
【解決手段】異なる暗電流特性を有する複数の領域から構成された有効画素部42,44と有効画素部42,44の周囲に配置されたVOB部43,45とを有する撮像素子40と、複数の領域の暗電流差とVOB部43,45の暗電流との相関関係を予め記憶する記憶部26と、撮影時にVOB部43,45の暗電流を検出する検波部14と、記憶部26に記憶された相関関係に基づいて、撮影時に検出されたVOB部43,45の暗電流から撮影時における複数の領域の暗電流差を求める制御部22と、求めた暗電流差に基づいて、有効画素領域42,44から得られる映像信号を補正する補正処理部14と、を備える。
【選択図】図1
Description
本発明は、撮像装置、撮像方法及びプログラムに関する。
近時において広く用いられているデジタルカメラなどの撮像装置は、CMOSやCCDなどの撮像素子を備え、撮像素子により光信号を電気信号に変換し、撮影画像を生成している。このような撮像素子は、画像データを取得するための有効画素領域と、その有効画素領域の周囲に配置され遮光構造をとることにより光を受光しないOB(Optical Black)領域を有する構成となっている。そして、暗電流の除去処理の一例として、OB領域の暗電流を計測して有効画像領域の暗電流を推定し、計測値に基づく暗電流除去を行っているものがある。
例えば、下記の特許文献1には、予め所定の露光時間におけるOB領域の暗電流と、有効画素部の特定部分の暗電流との比率を記憶しておき、撮影時にOB領域で計測された暗電流と、記憶した比率とに基づいて、有効画素部の暗電流を計算し、計算した有効画素部の暗電流を出力信号から除去することが記載されている。
近年、更なる撮影画像の画質の向上を図るため、有効画素数を増加させた大型の撮像素子を備え、高画質の画像を撮影可能とした撮像装置が開発されている。例えば35mmフィルム(36mm×24mm)と同じサイズの大型のCMOS撮像素子を備えた撮像装置が出現している。
CMOS,CCDなどの撮像素子は半導体によって構成されており、露光処理を含む半導体製造プロセスによって集積回路をシリコン基板上に形成することによって製造される。具体的には、ステッパーを利用して半導体集積回路のマスクパターンを縮小してシリコン基板に焼き付ける処理が行われる。しかし、ステッパーが露光可能な範囲には限界があり、上述したような35mmフィルム(36mm×24mm)と同じサイズを有するような大型の撮像素子を製造する場合は、撮像素子を複数の領域に分割して、各分割領域単位で露光処理を行い、複数回の露光処理により撮像素子全体の集積回路を完成させるという処理が行われる。
しかしながら、このような複数回の露光処理で製造された撮像素子では、分割して露光された領域に境界が生じ、分割領域毎に異なるタイミングで露光が行われるため、領域毎に特性が相違してしまう問題がある。このため、半導体製造装置による分割露光単位となる分割領域毎に感度差や暗電流の差が発生し、撮影画像の1画面上で異なる画質の領域が発生してしまう。特に暗電流については、繋ぎ目の両側で発生する僅かな段差(暗電流段差)が、露光時間、温度、ゲインという撮影条件によって増大してしまう。
上記公報に記載された手法は、分割露光によって発生する映像信号の差、暗電流段差を想定したものではない。このため、分割領域毎に得られる映像信号が相違してしまい、この結果、画質の低下が発生してしまう問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像素子が分割露光によって製造された場合に、分割領域毎の画質の相違を確実に抑えることが可能な、新規かつ改良された撮像装置、撮像方法及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、異なる暗電流特性を有する複数の領域から構成された有効画素領域と前記有効画素領域の周囲に配置された遮光画素領域とを有する撮像素子と、前記複数の領域の暗電流差と前記遮光画素領域の暗電流との相関関係を予め記憶する記憶部と、撮影時に前記遮光画素領域の暗電流を検出する検波部と、前記記憶部に記憶された前記相関関係に基づいて、前記撮影時に検出された前記遮光画素領域の暗電流から撮影時における前記複数の領域の暗電流差を求める暗電流差取得部と、前記撮影時における前記複数の領域の暗電流差に基づいて、前記有効画素領域から得られる映像信号を補正する補正処理部と、を備える、撮像装置が提供される。かかる構成によれば、記憶部には、複数の領域の暗電流差と遮光画素領域の暗電流との相関関係が予め記憶されており、この相関関係に基づいて、撮影時に検出された遮光画素領域の暗電流から撮影時における複数の領域の暗電流差が算出される。そして、暗電流差に基づいて有効画素領域から得られた映像信号が補正されるため、有効画素領域が異なる暗電流特性を有する複数の領域から構成される場合においても、暗電流特性の相違に起因する画質の低下を抑止できる。
また、前記記憶部は、前記相関関係として、前記複数の領域の暗電流差と前記遮光画素領域の暗電流とを複数の異なる条件下で取得対応付けたテーブルを記憶するものであってもよい。
また、前記記憶部は、前記相関関係として、前記複数の領域の暗電流差と前記遮光画素領域の暗電流との比率を記憶するものであってもよい。
また、前記異なる暗電流特性を有する複数の領域は、境界線によって分離され、前記記憶部が記憶する前記遮光画素領域の暗電流は、前記遮光画素領域内で取得されたものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、異なる暗電流特性を有する複数の領域から構成された有効画素領域と前記有効画素領域の周囲に配置された遮光画素領域とを有する撮像素子において、前記複数の領域の暗電流差と前記遮光画素領域の暗電流との相関関係を予め記憶するステップと、撮影時に前記遮光画素領域の暗電流を検出するステップと、前記相関関係に基づいて、前記撮影時に検出された前記遮光画素領域の暗電流から撮影時における前記複数の領域の暗電流差を求めるステップと、前記撮影時における前記複数の領域の暗電流差に基づいて、前記有効画素領域から得られる映像信号を補正するステップと、を備える撮像方法が提供される。かかる構成によれば、複数の領域の暗電流差と遮光画素領域の暗電流との相関関係が予め記憶され、この相関関係に基づいて、撮影時に検出された遮光画素領域の暗電流から撮影時における複数の領域の暗電流差が算出される。そして、暗電流差に基づいて有効画素領域から得られた映像信号が補正されるため、有効画素領域が異なる暗電流特性を有する複数の領域から構成される場合においても、暗電流特性の相違に起因する画質の低下を抑止できる。
また、上記課題を解決するために、本発明の別の観点によれば、撮影時に撮像素子の遮光画素領域の暗電流を検出する手段、予め取得された、撮像素子の有効画素領域内で異なる暗電流特性を有する複数の領域の暗電流差と前記遮光画素領域の暗電流との相関関係に基づいて、前記撮影時に検出された前記遮光画素領域の暗電流から撮影時における前記複数の領域の暗電流差を求める手段、前記撮影時における前記複数の領域の暗電流差に基づいて、前記有効画素領域から得られる映像信号を補正する手段、としてコンピュータを機能させるためのプログラムが提供される。かかる構成によれば、複数の領域の暗電流差と遮光画素領域の暗電流との相関関係が予め取得され、この相関関係に基づいて、撮影時に検出された遮光画素領域の暗電流から撮影時における複数の領域の暗電流差が算出される。そして、暗電流差に基づいて有効画素領域から得られた映像信号が補正されるため、有効画素領域が異なる暗電流特性を有する複数の領域から構成される場合においても、暗電流特性の相違に起因する画質の低下を抑止できる。
本発明によれば、撮像素子が分割露光によって製造された場合に、分割領域毎の画質の相違を確実に抑えることが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本発明の一実施形態にかかる撮像装置(デジタルスチルカメラ;DSC)100の構成を示す模式図である。図1に示すように、撮像装置100は、撮像部10、補正処理部12、検波部(検波回路)14、信号処理部16、表示部18、バッファメモリ20、制御部22、操作部24、記憶部26、メモリ制御部28、リムーバブルメモリ30、を備える。
撮像部10は、CCD(Charge Coupled Device),CMOS(Complementary Metal Oxide semiconductor)などの撮像素子、物体像を撮像素子の撮像面に結像させるレンズ光学系、シャッター、撮像素子を駆動するためのTG(Timing Generator)、撮像素子の出力信号をCDS処理し、AD変換を行うAFE(Analog Front End)、レンズ光学系を駆動するためのレンズ駆動回路、などを有して構成される。
撮像部10の撮像素子から光電変換により得られた映像信号は、補正処理部12に送られ、後で詳細に説明するように、撮像素子の分割露光に起因する段差が補正される。また、検波部14は、補正処理部12による補正処理のため、撮像素子の複数のエリアで暗電流を検出する。補正処理部12で補正された映像信号は、信号処理部16に送られ、同時化、ガンマ補正、マトリクス、ホワイトバランスなどの信号処理、JPEG圧縮などの処理が行われる。表示部18は、LCD(Liquid Crystal Display)、EVF(Electronic View Finder)などから構成され、信号処理部16で処理された映像信号により撮像画像を表示する。
また、信号処理部16で処理が行われた映像信号は、制御部22の制御により、リムーバブルメモリ30に画像ファイルとして記録される。メモリ制御部28は、ファイルシステムに基づいて映像信号をリムーバブルメモリ30に記録する。
操作部24は、シャッターボタン、ズームボタンなどの操作ボタンを含み、これらのボタンから入力された操作情報が制御部22へ送られる。
また、補正処理部12、信号処理部16、メモリ制御部28での信号処理に必要なプログラム、パラメータ、テーブル等は、フラッシュメモリ等から構成される記憶部26に保持されている。バッファメモリ28は、データバッファとして利用されるSDRAM等のメモリであり、映像データなどを一時的に保持する。
撮影時には、操作部24に含まれるシャッターボタンの操作により、操作情報が制御部22に入力され、制御部22が、予め記憶部26に格納されたプログラムに従った制御を行う。これにより、補正処理部12において、分割露光に起因する段差を補正する処理が行われる。なお、補正処理部12による処理については後述する。また、補正された映像信号は信号処理部16において処理され、メモリ制御部28の制御の下、予め定められたファイルシステムに従ったフォーマットで、撮像画像のデータがリムーバブルメモリ30に記録される。具体的には、撮像部10から得られた映像信号は、信号処理部16において補間処理や画素混合などの信号処理が実行され、例えばYCbCrなどの画像信号に変換されて記録ファイル用の画像が作成される。なお、信号処理部16における画像処理に際しては、必要に応じてバッファメモリ20がバッファとして用いられる。
撮像部10が備える撮像素子については、画質と描写力を重視するデジタル一眼レフカメラやDSC等では、より大型の撮像面を有する素子が使用される。本実施形態にかかる撮像素子は、例えば1000万画素以上の画素数を持つ大型の撮像素子であり、例えば35mmフィルム(36×24mm)と同じサイズを有するCMOS、CCDなどの撮像素子である。
大型の撮像素子を製造する場合、半導体製造装置(ステッパー)のスペックの関係から、一度の露光処理では撮像素子全体の集積回路の形成ができないため、前述したように、撮像素子の領域を分割して製造処理がなされる。この際、半導体層、オンチップカラーフィルタ層、オンチップマイクロレンズ層などを、撮像素子全体で一括して形成することができず、2分割、または複数に分割した分割領域単位で露光処理を行って集積回路を形成し、これらを接続して1つの撮像素子としている。
分割露光によって製造された撮像素子は、半導体製造装置による分割露光単位となる分割領域毎に感度差や暗電流の差が発生し、撮影画像の1画面上で異なる画質の領域が発生してしまう。特に暗電流については、分割露光の境界の両側で発生する僅かな段差(暗電流段差)が、露光時間、温度、ゲインという撮影条件によって増大し、画質に影響を与えることが知られている。
このため、本実施形態の撮像装置100は、撮像素子で発生する分割露光領域ごとの暗電流段差(暗電流差)を、処理時間、回路規模、メモリ容量等に影響を与えることなく、簡素な構成で高精度に補正するものである。
図2は、撮像素子40の構成を示す模式図であって、撮像面を示す平面図である。撮像面は、有効画素部(A)42、有効画素部(B)44、垂直OB部(A)43、垂直OB部(B)45、垂直OB部(A)43と垂直OB部(B)45を合わせた垂直OB部46(図示なし)、水平OB部(A)48,水平OB部(B)50、ダミー画素部52、から構成される。垂直、水平の各OB部は有効画素部42,44の周辺に配置されており、図2において、垂直OB部(A)43、垂直OB部(B)45は有効画素部42,44の上部に、水平OB部48,50は有効画素部42,44の左右に配置されている。
有効画素部42,44は、撮影処理において入力される光を受光し、画像形成用の信号を蓄積する領域である。垂直OB部(A)43、垂直OB部(B)45、水平OB部(A)48、水平OB部(B)50は、入力される光に対して遮光されており、撮影処理に際して光が入力されないOB領域である。有効画素部42,44、垂直OB部46、水平OB部48,50のいずれにも同一サイズの画素がアレイ状に配列されている。有効画素部42,44に含まれる画素対応の映像信号に基づいて撮影画像が生成される。
暗電流除去処理は、有効画素部42,44で検出された画像信号から垂直OB部46で検出された暗電流を除去することによって行われる。ここで、撮影時に有効画素部42,44のそれぞれから出力される信号は、分割露光に起因する有効画素部42,44の特性の相違から、その値に段差が生じている。本実施形態では、撮像装置の製造時に予め取得した垂直OB部46の暗電流Dと、有効画素部42,44の暗電流段差dとの関係に基づいて、有効画素部42,44から得られる映像信号を補正する。
図2に示すように、撮像素子40の撮像面の中央には、分割露光による境界60が形成されている。図2は、2回の分割露光により撮像素子を製造した場合を示しており(分割数N=2)、境界60は撮像面に1つだけ形成されている。そして、撮像面は、分割露光された左右の2つの領域(撮像面(A)62、撮像面(B)64)をつないだ構造とされている。このため、境界60を境として、左右の撮像面(A)62と撮像面(B)64とでは暗電流特性が異なり、撮像面(A)62と撮像面(B)64との間では暗電流段差dが発生する。
撮像素子の暗電流のレベルは、露光時間とゲインに比例し、温度変化に対しては指数的に増加(10℃上昇により2倍程度まで上昇)する性質がある。暗電流のレベルは、以下の式(1)で表される。
Dark=A・G・t・EXP{-E・q/(k・T)}・・・(1)
Dark=A・G・t・EXP{-E・q/(k・T)}・・・(1)
式(1)において、
Dark;暗電流
A;定数
G;ゲイン
t;露光時間
E;活性化エネルギー
q;電荷素量
k;ボルツマン定数
T;絶対温度
である。
Dark;暗電流
A;定数
G;ゲイン
t;露光時間
E;活性化エネルギー
q;電荷素量
k;ボルツマン定数
T;絶対温度
である。
また、以下において、
A2,A3,A4,A5;有効画素部(A)42、垂直OB部(A)43、有効画素部(B)44、垂直OB部(B)45のそれぞれにおける定数
E2,E3,E4,E5;有効画素部(A)42、垂直OB部(A)43、有効画素部(B)44、垂直OB部(B)45のそれぞれにおける活性化エネルギー
T2,T3,T4,T5;有効画素部(A)42、垂直OB部(A)43、有効画素部(B)44、垂直OB部(B)45のそれぞれの絶対温度
とする。
A2,A3,A4,A5;有効画素部(A)42、垂直OB部(A)43、有効画素部(B)44、垂直OB部(B)45のそれぞれにおける定数
E2,E3,E4,E5;有効画素部(A)42、垂直OB部(A)43、有効画素部(B)44、垂直OB部(B)45のそれぞれにおける活性化エネルギー
T2,T3,T4,T5;有効画素部(A)42、垂直OB部(A)43、有効画素部(B)44、垂直OB部(B)45のそれぞれの絶対温度
とする。
G、t、q、kの各値は、垂直OB部(A)43、垂直OB部(B)45、有効画素部(A)42、有効画素部(B)44の間で同一と考えられるので、暗電流段差dを、(有効画素部(A)42の暗電流)−(有効画素部(B)44の暗電流)と定義すると、dは、式(1)より以下の式(2)で表すことができる。
d=G・t・[A2・EXP{-E2・q/(k・T2)}-A4・EXP{-E4・q/(k・T4)}]・・・(2)
d=G・t・[A2・EXP{-E2・q/(k・T2)}-A4・EXP{-E4・q/(k・T4)}]・・・(2)
式(2)から、暗電流段差dは、露光時間tとゲインGに比例するが、温度変化に対しては指数的な要素と線形的な要素がある。
一方、垂直OB部(A)43の暗電流D3、垂直OB部(B)45の暗電流D5は、式(1)より以下の式(41)、式(42)で表される。
D3=A3・G・t・EXP{-E3・q/(k・T3)}・・・(41)
D5=A5・G・t・EXP{-E5・q/(k・T5)}・・・(42)
D3=A3・G・t・EXP{-E3・q/(k・T3)}・・・(41)
D5=A5・G・t・EXP{-E5・q/(k・T5)}・・・(42)
ここで、T2,T3,T4,T5は1つの撮像素子40の絶対温度であることから差は僅かであるので、T2=T3=T4=T5(=T0)とする。これにより、式(2)、式(41)、式(42)から、以下の式(45)、式(46)、式(47)が得られる。
d=G・t・[ A2・EXP{-E2・q/(k・T0)}-A4・EXP{-E4・q/(k・T0)}]
・・・(45)
D3=A3・G・t・EXP{-E3・q/(k・T0)}・・・(46)
D5=A5・G・t・EXP{-E5・q/(k・T0)}・・・(47)
また、 垂直OB部(A)43と垂直OB部(B)45の暗電流の平均値をDvobとすると、
Dvob=(D3+D5)/2
Dvob=G・t・[ A3・EXP{-E3・q/(k・T0)}+ A5・EXP{-E5・q/(k・T0)}]/2
・・・(48)
となる。
d=G・t・[ A2・EXP{-E2・q/(k・T0)}-A4・EXP{-E4・q/(k・T0)}]
・・・(45)
D3=A3・G・t・EXP{-E3・q/(k・T0)}・・・(46)
D5=A5・G・t・EXP{-E5・q/(k・T0)}・・・(47)
また、 垂直OB部(A)43と垂直OB部(B)45の暗電流の平均値をDvobとすると、
Dvob=(D3+D5)/2
Dvob=G・t・[ A3・EXP{-E3・q/(k・T0)}+ A5・EXP{-E5・q/(k・T0)}]/2
・・・(48)
となる。
式(45)、(46)、(47)、(48)から明らかなように、有効画素部(A)42と有効画素部(B)44との間の暗電流段差d、垂直OB部(A)43の暗電流D3、垂直OB部(B)45の暗電流D5、垂直OB部全体の暗電流平均値Dvobは、温度T0の関数である。従って、暗電流段差dは、垂直OB部における暗電流D3、またはD5、またはそれらの平均値Dvobの関数として表すことができる。よって、垂直OB部(A)43の暗電流D3、または垂直OB部(B)45の暗電流D5、またはそれらの平均値Dvobに基づいて、有効画素部(A)42と有効画素部(B)44との間の暗電流段差dを求めることができる。
より詳細には、暗電流Dx(x=3, 5, vob)が温度T0の関数であることから、Dxを計測することによって温度T0が求まる。一方で、暗電流段差dも温度T0の関数なので、求めた温度に対してdが一義的に定まる。すなわち、式(46)(または式(47))と式(45)から温度TOを消去することで、以下の(49)式が得られる。
d=G・t・[ A2・{Dx /(Ax・G・t)}(E2/Ex)−A4・{Dx /(Ax・G・t)}(E4/Ex)]
・・・(49)
このように、暗電流段差dを求める式(45)から温度T0を消去でき、Dx(x=3, 5)の関数として表すことができる。従って、Dxを計測した結果からdを決定することができる。G、t、A2、A4,E2/Ex,E4/Exは、温度T0に関わらない定数であるので、温度を測定しなくても暗電流Dxを計測すれば暗電流段差dを求めることができる。
d=G・t・[ A2・{Dx /(Ax・G・t)}(E2/Ex)−A4・{Dx /(Ax・G・t)}(E4/Ex)]
・・・(49)
このように、暗電流段差dを求める式(45)から温度T0を消去でき、Dx(x=3, 5)の関数として表すことができる。従って、Dxを計測した結果からdを決定することができる。G、t、A2、A4,E2/Ex,E4/Exは、温度T0に関わらない定数であるので、温度を測定しなくても暗電流Dxを計測すれば暗電流段差dを求めることができる。
図4は、垂直OB部(A)43の暗電流D3に対する暗電流段差dの関係を示す特性図である。横軸としてD3の代わりに、D5またはDvobを用いても構わない。本実施形態では、撮像装置100の製造時などに予め図4の特性を取得し、記憶部26に記憶させている。
図3は、暗電流を検出する測定領域(検波枠)を示す模式図である。図4の特性は、図3の測定領域から取得される。本実施形態では、一例として図3に示すエリア2、エリア3、エリア4、エリア5、エリア6の5箇所を測定領域としている。図4では、エリア3を用いて暗電流を検出しているが、エリア3の代わりにエリア5または6を用いても構わない。ここで、エリア6は、エリア3とエリア5を合わせた垂直OB部46の左右方向の中央近傍の領域であり、境界60を跨ぐ領域である。また、エリア2は、有効画素部(A)42内の領域であり、エリア4は、有効画素部(B)44内の領域である。エリア2と4、エリア3と5は、それぞれ境界60を介して隣接している。
撮像装置の製造時には、以上のように設定されたエリア2,3,4,5,6において、撮像面を遮光した状態で各エリア2,3,4,5,6内の画素に対して例えば平均値検波を行い、露光時間、温度が異なる複数の条件下で暗電流を測定する。そして、エリア3の検波結果である暗電流値D3と、エリア2の検波結果からエリア4の検波結果を減算して得られる暗電流段差dとを複数の条件毎に求め、求めた複数点で構成される折れ線の特性として図4の特性を取得し、記憶部26に記憶しておく。上述のように、図4の横軸としてD3の代わりに、D5またはDvobを用いても構わない。
画像撮影時は、垂直OB部(A)43の暗電流D3を撮影毎に測定し、図4の特性から暗電流段差dを求める。この際、垂直OB部(A)43の暗電流D3は、検波部12により検出され、制御部22に送られる。制御部22は、記憶部26に記憶された図4の特性を用いて、暗電流D3から段差dを算出する。補正処理部12は、制御部22で算出された段差dに基づいて、有効画素部(B)44で取得された映像信号に対して、段差dの分だけオフセット(加算)する。
上述したように、図4の特性において、縦軸は、エリア2の検波結果からエリア4の検波結果を減算して得られる暗電流段差dである。従って、撮影時に図4の特性から取得した段差dを有効画素部(B)44の映像信号に加算することで、有効画素部(A)42と有効素部(B)44の間の暗電流段差が0となり、映像信号を補正することができる。これにより、分割露光に起因する、有効画素部(A)42と有効素部(B)44の特性の相違を精度良く補正することができる。
また、図4の特性は、露光時間、温度が異なる複数条件下で予め取得されているため、補正の際には、露光時間、温度を考慮することなく、エリア3で検出した暗電流D3のみに基づいて補正することができる。従って、補正のために露光時間、温度を検出する必要がなく、撮像素子の出力のみを使用して、補正をリアルタイムにかつ精度良く行うことができる。これにより、補正のために回路規模、メモリ容量、処理時間等を増加させる必要がなく、また、補正のために温度センサ等を設ける必要がなく、構成を簡素することが可能である。
図4に示すように、暗電流D3と暗電流段差dの関係を複数点で取得した場合、撮影時に求める段差dnは、補間によって算出することができ、補間計算は、たとえば線形補間、最小二乗法などによって実現できる。例えば、製造時の検波により予め取得された2点(Dl,dl),(Dh,dh)から線形補間する場合は、エリア3で検出した暗電流Dnから、以下の式(5)により段差dnを求めることができる。
dn=dl+(Dn−Dl)・(dh-dl)/(Dh-Dl) ・・・(5)
dn=dl+(Dn−Dl)・(dh-dl)/(Dh-Dl) ・・・(5)
なお、式(45)において、境界60付近での活性化エネルギーの差が小さく、E2=E4(=E0とする)が成立する場合は、以下の式(6)が成り立つ。
d=G・t・(A2-A4)・EXP{-E0・q/(k・T0)} ・・・(6)
d=G・t・(A2-A4)・EXP{-E0・q/(k・T0)} ・・・(6)
そして、エリア3が設けられた垂直OB部43と、エリア2,4が設けられた有効画素部42,44との間で温度と活性化エネルギーがそれぞれ等しいと仮定すれば、式(45)、式(46)より以下の式(7)が得られる。
d/D3=(A2-A4)/A3・・・(7)
d/D3=(A2-A4)/A3・・・(7)
このように、暗電流段差dと垂直OB部(A)43から出力される暗電流D3とは比例関係であると考えることができる。この場合には、図4の特性は直線となり、撮像装置の製造時に暗電流値D、暗電流段差dを1点のみ測定することで、暗電流段差dと暗電流Dの比率を求めることができる。例えば、温度40℃で60秒程度の露光を行うことで、十分に大きな暗電流を発生させることができ、この1条件から暗電流段差dと暗電流D3の比率を求めることができる。従って、暗電流段差dと暗電流D3の比例係数のみを記憶部26に記憶させれば良く、図4の特性を記憶させる必要がないため、記憶部26の容量を縮小することができる。また、式(5)のような補間処理も不要であるため、補間計算の時間短縮を行うことができ、処理負荷を軽減できる。
図3に示すように、エリア6は、垂直OB部46の領域において、境界60を跨ぐように配置されている。このようにエリア6を配置することで、境界60を境とする垂直OB部46の暗電流の段差を平均化することが可能となり、有効画素部(A)42と有効素部(B)44の間の暗電流段差dを精度良く求めることが可能となる。
また、図3に示すように、エリア2、エリア4は、有効画素部42,44の中央に配置され、エリア2とエリア4を合わせた領域の横方向(左右方向)の長さaは、有効画素部42,44の横方向の長辺Aの1/2程度とされている。また、エリア2とエリア4の縦方向(上下方向)の長さbも有効画素部42,44の縦方向の長さBの1/2程度とされている。
有効画素部42,44の周辺には、カウンタ、ADコンバータ等の周辺回路が配置されるため、有効画素部42,44の外縁では、周辺回路によって温度が上昇する。このため、エリア2、エリア4を有効画素部42,44の周縁まで広げると、周辺回路による温度上昇が誤差要因となって、図4の特性を正確に求めることができない。周辺回路の温度上昇による暗電流増加は、有効画素部42,44の周縁において、長辺A、短辺Bの10%程度に相当する領域(図3において、一点鎖線で示す枠Eの外側の領域)で急激に発生する。このため、エリア2とエリア4を合わせた領域の横方向の長さaを有効画素部42,44の横方向の長さAの1/2以下とし、縦方向の長さbを有効画素部42,44の縦方向の長さBの1/2以下とすることで、周辺回路による温度上昇の影響を確実に回避できる。
なお、上述した構成では、垂直OB部(B)43のエリア3で検出した暗電流D3から段差dを求めているが、同様の手法により、垂直OB部(B)45のエリア5で検出した暗電流D5、または、エリア3と5を合わせて作成し境界60を跨ぐエリア6で検出した暗電流Dvob(D3とD5の平均値)に基づいて段差dを求めても構わない。また、水平OB部48,50の一方または双方から検出した暗電流に基づいて段差dを求めることも可能である。この場合、撮像装置100の製造時に、水平OB部48,50の暗電流と段差dとの関係を予め取得しておくことで、同様の手法で補正が可能である。
次に、本実施形態の撮像装置100で行われる処理について説明する。撮影時には、撮像装置100の検波部14により、エリア3の暗電流が検出される。エリア3の暗電流は制御部22に送られ、制御部22では、記憶部26に記憶された図4の特性を参照して、暗電流段差dを求める。制御部22は、暗電流段差dを補正処理部12へ送る。図5は、補正処理部12における処理を示すフローチャートである。補正処理部12は、有効画素部(B)のみに対して、映像信号全体に暗電流段差(オフセット)dを加算するものである。先ず、ステップS1では、映像信号が有効画素部(A)42の信号であるか否かを判定し、有効画素部(A)42の信号である場合は、ステップS2へ進む。ステップS2では、映像信号にオフセットdを加算することなく、後段の信号処理回路16へ送る。
一方、ステップS1で映像信号が有効画素部(A)42の信号でない場合は、映像信号が有効画素部(B)44の信号であるため、ステップS3で映像信号に対してオフセットdを加算する。そして、ステップS2では、オフセットdを加算した信号を後段の信号処理部16へ送る。ステップS2の後は処理を終了する(RETURN)。
図5の処理によれば、補正前に段差dがある有効画素部(A)42と有効画素部(B)44の映像信号に対して、片方の有効画素部(B)44にのみ段差dが加算されるので、段差を除去することができる。
なお、上述した処理は、図1の各ブロックを構成する回路(ハードウェア)、又は演算処理部(CPU)とこれを機能させるためのソフトウェア(プログラム)によって実現することができる。演算処理部とソフトウェアによって実現する場合、制御部22を演算処理部として機能させることができ、ソフトウェアは記憶部26に格納されることができる。
なお、上述した説明では、撮像素子40の撮像面を左右に2分割して分割露光が行われた場合を例に挙げて説明したが、全画素をN分割して分割露光した場合は、境界がN−1だけ存在するため、図4のような補正テーブルをN−1個記憶させることで、N=1の場合と同様の効果が得られる。従って、本実施形態によれば、分割数に関わらず、分割露光により撮像素子40が形成された場合に、境界60の繋ぎ目の両側で発生する僅かな暗電流段差dを精度良く補正することが可能となる。
以上説明したように本実施形態によれば、分割露光によって製造した大型の撮像素子において、分割露光の境界60で発生する暗電流の段差dを、回路規模、メモリ容量、処理時間等を増加させることなく、正確に補正して除去することができる。これにより、境界60を境として発生する画質の低下、画質の相違を確実に抑えることが可能となる。また、分割露光の分割数Nが多い場合であっても補正が可能であるため、例えば撮像面のサイズが35mmフルサイズのデジタル一眼レフよりも更に大きい光学系においても、分割露光に起因する画像の低下を抑止できる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
100 撮像装置
40 撮像素子
12 補正処理部
14 検波部
22 制御部
26 記憶部
40 撮像素子
12 補正処理部
14 検波部
22 制御部
26 記憶部
Claims (6)
- 異なる暗電流特性を有する複数の領域から構成された有効画素領域と前記有効画素領域の周囲に配置された遮光画素領域とを有する撮像素子と、
前記複数の領域の暗電流差と前記遮光画素領域の暗電流との相関関係を予め記憶する記憶部と、
撮影時に前記遮光画素領域の暗電流を検出する検波部と、
前記記憶部に記憶された前記相関関係に基づいて、前記撮影時に検出された前記遮光画素領域の暗電流から撮影時における前記複数の領域の暗電流差を求める暗電流差取得部と、
前記撮影時における前記複数の領域の暗電流差に基づいて、前記有効画素領域から得られる映像信号を補正する補正処理部と、
を備える、撮像装置。 - 前記記憶部は、前記相関関係として、前記複数の領域の暗電流差と前記遮光画素領域の暗電流とを複数の異なる条件下で取得対応付けたテーブルを記憶する、請求項1に記載の撮像装置。
- 前記記憶部は、前記相関関係として、前記複数の領域の暗電流差と前記遮光画素領域の暗電流との比率を記憶する、請求項1に記載の撮像装置。
- 前記異なる暗電流特性を有する複数の領域は、境界線によって分離され、
前記遮光画素領域の暗電流は、前記遮光画素領域内で取得される、請求項1に記載の撮像装置。 - 異なる暗電流特性を有する複数の領域から構成された有効画素領域と前記有効画素領域の周囲に配置された遮光画素領域とを有する撮像素子において、前記複数の領域の暗電流差と前記遮光画素領域の暗電流との相関関係を予め記憶するステップと、
撮影時に前記遮光画素領域の暗電流を検出するステップと、
前記相関関係に基づいて、前記撮影時に検出された前記遮光画素領域の暗電流から撮影時における前記複数の領域の暗電流差を求めるステップと、
前記撮影時における前記複数の領域の暗電流差に基づいて、前記有効画素領域から得られる映像信号を補正するステップと、
を備える撮像方法。 - 撮影時に撮像素子の遮光画素領域の暗電流を検出する手段、
予め取得された、撮像素子の有効画素領域内で異なる暗電流特性を有する複数の領域の暗電流差と前記遮光画素領域の暗電流との相関関係に基づいて、前記撮影時に検出された前記遮光画素領域の暗電流から撮影時における前記複数の領域の暗電流差を求める手段、
前記撮影時における前記複数の領域の暗電流差に基づいて、前記有効画素領域から得られる映像信号を補正する手段、
としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008136915A JP2009284424A (ja) | 2008-05-26 | 2008-05-26 | 撮像装置、撮像方法及びプログラム |
US12/432,900 US8405744B2 (en) | 2008-05-26 | 2009-04-30 | Image-capturing apparatus, image-capturing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008136915A JP2009284424A (ja) | 2008-05-26 | 2008-05-26 | 撮像装置、撮像方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009284424A true JP2009284424A (ja) | 2009-12-03 |
Family
ID=41341815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008136915A Pending JP2009284424A (ja) | 2008-05-26 | 2008-05-26 | 撮像装置、撮像方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8405744B2 (ja) |
JP (1) | JP2009284424A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010124362A (ja) * | 2008-11-21 | 2010-06-03 | Nikon Corp | 撮像装置及び画像補正プログラム |
WO2013118501A1 (ja) * | 2012-02-07 | 2013-08-15 | 株式会社ニコン | 撮像ユニットおよび撮像装置 |
JP2015198290A (ja) * | 2014-03-31 | 2015-11-09 | 日本放送協会 | スティッチング露光処理補正方法および撮像装置 |
JP2016058771A (ja) * | 2014-09-05 | 2016-04-21 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
JPWO2014109044A1 (ja) * | 2013-01-11 | 2017-01-19 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010268269A (ja) * | 2009-05-15 | 2010-11-25 | Sanyo Electric Co Ltd | 撮像装置 |
JP5312246B2 (ja) * | 2009-07-24 | 2013-10-09 | キヤノン株式会社 | 撮像装置及び制御方法 |
CN102985808B (zh) * | 2010-05-12 | 2016-08-24 | 利-考股份有限公司 | 宽动态范围成像 |
JP2013077945A (ja) * | 2011-09-30 | 2013-04-25 | Sony Corp | 画像処理装置、補正方法、並びに、撮像装置 |
KR20140010553A (ko) | 2012-07-13 | 2014-01-27 | 삼성전자주식회사 | 픽셀 어레이, 이를 포함하는 이미지 센서, 및 상기 이미지 센서의 로컬 다크 전류 보상 방법 |
JP6110689B2 (ja) * | 2013-02-28 | 2017-04-05 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
JP5896947B2 (ja) * | 2013-03-26 | 2016-03-30 | キヤノン株式会社 | 撮像装置およびその制御方法、撮像システム、プログラム、記憶媒体 |
JP2015115922A (ja) * | 2013-12-16 | 2015-06-22 | オリンパス株式会社 | 撮像装置および撮像方法 |
JP6924755B2 (ja) | 2015-11-26 | 2021-08-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 光子計数放射線検出器、撮像システム、およびスペクトル放射線検出方法 |
US10339410B1 (en) * | 2016-01-13 | 2019-07-02 | Snap Inc. | Color extraction of a video stream |
JP7368948B2 (ja) * | 2019-03-12 | 2023-10-25 | キヤノン株式会社 | 画像処理装置、放射線撮影装置および画像処理方法 |
JP2022191061A (ja) * | 2021-06-15 | 2022-12-27 | キヤノン株式会社 | 画像処理装置、情報処理方法、イメージセンサおよびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11136580A (ja) * | 1997-10-30 | 1999-05-21 | Kyocera Corp | 測光システム |
JP2004088306A (ja) * | 2002-08-26 | 2004-03-18 | Victor Co Of Japan Ltd | 固体撮像装置 |
JP2004336244A (ja) * | 2003-05-02 | 2004-11-25 | Canon Inc | 補正装置 |
JP2005130331A (ja) * | 2003-10-27 | 2005-05-19 | Victor Co Of Japan Ltd | 撮像信号補正回路 |
JP2006033036A (ja) * | 2004-07-12 | 2006-02-02 | Canon Inc | 撮像装置 |
JP2007006538A (ja) * | 2006-09-29 | 2007-01-11 | Victor Co Of Japan Ltd | 撮像装置 |
JP2009171493A (ja) * | 2008-01-21 | 2009-07-30 | Nikon Corp | つなぎ段差補正方法、つなぎ段差補正装置およびデジタルカメラ |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3937870B2 (ja) * | 2002-02-27 | 2007-06-27 | 日本ビクター株式会社 | 撮像装置 |
JP4264381B2 (ja) | 2004-04-30 | 2009-05-13 | 株式会社モリタ製作所 | 固体撮像素子の2次元画像処理方法及び医療用デジタルx線撮影装置 |
US20080218609A1 (en) * | 2007-03-07 | 2008-09-11 | Altasens, Inc. | Cross-coupled differential Dac-based black clamp circuit |
-
2008
- 2008-05-26 JP JP2008136915A patent/JP2009284424A/ja active Pending
-
2009
- 2009-04-30 US US12/432,900 patent/US8405744B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11136580A (ja) * | 1997-10-30 | 1999-05-21 | Kyocera Corp | 測光システム |
JP2004088306A (ja) * | 2002-08-26 | 2004-03-18 | Victor Co Of Japan Ltd | 固体撮像装置 |
JP2004336244A (ja) * | 2003-05-02 | 2004-11-25 | Canon Inc | 補正装置 |
JP2005130331A (ja) * | 2003-10-27 | 2005-05-19 | Victor Co Of Japan Ltd | 撮像信号補正回路 |
JP2006033036A (ja) * | 2004-07-12 | 2006-02-02 | Canon Inc | 撮像装置 |
JP2007006538A (ja) * | 2006-09-29 | 2007-01-11 | Victor Co Of Japan Ltd | 撮像装置 |
JP2009171493A (ja) * | 2008-01-21 | 2009-07-30 | Nikon Corp | つなぎ段差補正方法、つなぎ段差補正装置およびデジタルカメラ |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010124362A (ja) * | 2008-11-21 | 2010-06-03 | Nikon Corp | 撮像装置及び画像補正プログラム |
WO2013118501A1 (ja) * | 2012-02-07 | 2013-08-15 | 株式会社ニコン | 撮像ユニットおよび撮像装置 |
JPWO2013118501A1 (ja) * | 2012-02-07 | 2015-05-11 | 株式会社ニコン | 撮像ユニットおよび撮像装置 |
US10304752B2 (en) | 2012-02-07 | 2019-05-28 | Nikon Corporation | Imaging unit and imaging apparatus |
US11887839B2 (en) | 2012-02-07 | 2024-01-30 | Nikon Corporation | Imaging unit and imaging apparatus |
JPWO2014109044A1 (ja) * | 2013-01-11 | 2017-01-19 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
JP2015198290A (ja) * | 2014-03-31 | 2015-11-09 | 日本放送協会 | スティッチング露光処理補正方法および撮像装置 |
JP2016058771A (ja) * | 2014-09-05 | 2016-04-21 | リコーイメージング株式会社 | 撮像装置および撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
US8405744B2 (en) | 2013-03-26 |
US20090290049A1 (en) | 2009-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009284424A (ja) | 撮像装置、撮像方法及びプログラム | |
US8111306B2 (en) | Apparatus, method and computer-readable medium for eliminating dark current components of an image pickup device | |
JP2013515442A (ja) | 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成 | |
JP2009033321A (ja) | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP6572524B2 (ja) | 撮像装置および撮像方法 | |
JP2008109501A (ja) | 撮像装置及び補正方法 | |
JP2015070433A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2011071709A (ja) | 電子カメラ | |
JP5094252B2 (ja) | 撮像装置及びその制御方法 | |
JP5775918B2 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP5332540B2 (ja) | 撮像装置及び画像補正プログラム | |
JP6270400B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2009027289A (ja) | ディジタル・カメラおよびその動作制御方法 | |
JP2008113132A (ja) | 電子カメラおよび画像処理プログラム | |
JP5720213B2 (ja) | 撮像装置 | |
JP2007019577A (ja) | 固体撮像装置 | |
JP2012029194A (ja) | 電子カメラおよび露出制御プログラム | |
JP2010268271A (ja) | 撮像装置 | |
JP2007281759A (ja) | 撮像素子および撮像装置 | |
JP7490939B2 (ja) | 撮像装置 | |
JP2010166479A (ja) | 撮像装置及び撮像画像の補正方法 | |
JP6149615B2 (ja) | 撮像装置 | |
JP5404217B2 (ja) | 撮像装置及びその制御方法 | |
JP2006121478A (ja) | 撮像装置 | |
JP2017143585A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100527 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100622 |