JP2013074368A - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP2013074368A JP2013074368A JP2011210313A JP2011210313A JP2013074368A JP 2013074368 A JP2013074368 A JP 2013074368A JP 2011210313 A JP2011210313 A JP 2011210313A JP 2011210313 A JP2011210313 A JP 2011210313A JP 2013074368 A JP2013074368 A JP 2013074368A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- defective pixel
- temperature
- defective
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】固体撮像素子(イメージセンサー)の温度を固体撮像素子のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いることで、固体撮像素子の温度推定の精度を向上させることができる撮像装置及び撮像方法を提供すること。
【解決手段】撮像領域内に遮光領域(OB領域)を含む固体撮像素子(イメージセンサーであるCCD101)の温度による欠陥画素の位置情報を予め求めておいて、撮影時に欠陥画素の位置情報を元に固体撮像素子(イメージセンサーであるCCD101)の温度を求て、この求めた温度に基づき補正条件を変更して欠陥画素を補正する。しかも、遮光領域の画素のうちの欠陥画素を除外して固体撮像素子(イメージセンサーであるCCD101)の温度を算出する。
【選択図】 図2
【解決手段】撮像領域内に遮光領域(OB領域)を含む固体撮像素子(イメージセンサーであるCCD101)の温度による欠陥画素の位置情報を予め求めておいて、撮影時に欠陥画素の位置情報を元に固体撮像素子(イメージセンサーであるCCD101)の温度を求て、この求めた温度に基づき補正条件を変更して欠陥画素を補正する。しかも、遮光領域の画素のうちの欠陥画素を除外して固体撮像素子(イメージセンサーであるCCD101)の温度を算出する。
【選択図】 図2
Description
この発明は、固体撮像素子(イメージセンサー)の温度を推定して、固体撮像素子の欠陥画素を補正させるようにした撮像装置及び撮像方法に関するものである。
CCDやCMOS等の半導体にて形成した固体撮像素子等のイメージセンサーでは、半導体により構成される多数の画素により、多数の画素からなる撮像面(結像面)を形成している。このようなイメージセンサーでは、製造に際して或いは経年変化等により、撮像面を構成する半導体に局部的な結晶欠陥が生じる。
また、このようなイメージセンサーでは、上述した半導体の局部的な結晶欠陥等により入射光量に応じた撮像出力に常に一定のバイアス電圧が加算されてしまう欠陥画素を生じ、上記欠陥画素からの撮像出力に起因する画質劣化を生じることが知られている。この画像欠陥は、この画像欠陥信号がそのまま処理されると、モニタ画面上に高輝度のスポットとして現れるので白傷欠陥と呼ばれている。
ところで、近年、このようなイメージセンサー(CCDやCMOS等)を用いたディジタルスチルカメラ(以下、ディジタルカメラという)等の撮像装置が主流になっている。このようなイメージセンサーは、総画素領域のうち撮影に利用される有効画素領域と撮影に利用されないOB領域(オプティカルブラック領域)を有している。
このようなイメージセンサーを用いた撮像装置においては、生産・検査工程であらかじめイメージセンサーの欠陥画素位置情報をメモリに記憶させ、メモリに記憶させた欠陥画素位置情報を欠陥画素の補正に用いることが知られている。例えば、イメージセンサーのOB領域(オプティカルブラック領域)の出力値からイメージセンサーの温度を推定し、その結果に応じた補正条件を欠陥画素補正に適用する技術が既に知られている(例えば、特許文献1参照)。
しかし、近年のディジタルカメラのイメージセンサーでは、高画素数化に伴うセルサイズの小型化により、OB領域での欠陥画素発生率が上がること、また推定に用いるOB領域の画素数が少ない事から、OB領域中の欠陥画素が画素出力値へ与える割合が大きく、イメージセンサーの温度の推定精度が落ちるという問題があった。
そこで、本発明は、固体撮像素子(イメージセンサー)の温度を固体撮像素子のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いることで、固体撮像素子の温度推定の精度を向上させることができる撮像装置及び撮像方法を提供することを目的とする。
この目的を達成するため、この発明の撮像装置は、撮像領域内に遮光領域を含む固体撮像素子と、前記固体撮像素子の温度による欠陥画素の位置情報を予め求めて記憶させた欠陥画素位置記憶手段と、撮影時に、前記欠陥画素記憶手段に記憶されている前記欠陥画素の位置情報を元に前記固体撮像素子の温度を算出すると共に、この算出した温度に基づいて補正条件を変更する温度算出手段と、前記補正条件に基づいて前記欠陥画素を補正する欠陥画素補正手段と、を備えている。しかも、前記温度算出手段は、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする。
また、上述した目的を達成するため、この発明の撮像方法は、撮像領域内に遮光領域を含む固体撮像素子の温度による欠陥画素の位置情報を予め求めておいて、撮影時に前記欠陥画素の位置情報を元に前記固体撮像素子の温度を求て、この求めた温度に基づき補正条件を変更して前記欠陥画素を補正する撮像方法であって、
前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする。
前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする。
この発明にかかる撮像装置及び撮像方法によれば、固体撮像素子(イメージセンサー)の温度を固体撮像素子のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いているので、固体撮像素子の温度推定の精度を向上させることができる。
以下、この発明に係る撮像装置としてのディジタルカメラを図面に基づいて説明する。
[構成]
<ディジタルカメラ本体の外観構成>
図1(a)〜図1(c)は、本発明の実施形態におけるディジタルカメラの外観を示したものである。この図1(a)はディジタルカメラの正面図、図1(b)はディジタルカメラの背面図、図1(c)はディジタルカメラの平面図である。
<ディジタルカメラ本体の外観構成>
図1(a)〜図1(c)は、本発明の実施形態におけるディジタルカメラの外観を示したものである。この図1(a)はディジタルカメラの正面図、図1(b)はディジタルカメラの背面図、図1(c)はディジタルカメラの平面図である。
ディジタルカメラ本体2の上面には、図1(a)〜図1(c)に示すように、レリーズスイッチ(レリーズ操作キー)SW1、モードダイヤルスイッチ(モード操作キー)SW2、およびジョグダイヤル1スイッチ(操作キー)SW3が配設されている。
また、ディジタルカメラ本体2の正面には、図1(a)に示すように、ストロボ発光部3、測距ユニット5、光学ファインダF、撮影レンズである鏡胴ユニット7が設けられている。
ディジタルカメラ本体2の背面には、図1(b)に示すように、LCDモニタ(表示装置、表示部)10、ジョグダイヤル2スイッチ(操作キー)SW4、ズームスイッチSW5[TELE操作キー]、ズームスイッチSW6[WIDE操作キー]、上スイッチ(上操作キー)SW7、右スイッチ(右操作キー)SW8、OKスイッチ(OK操作キー)SW9、左スイッチ(左操作キー)SW10、下スイッチ/マクロスイッチ(下/マクロ操作キー)SW11、ディスプレイスイッチ(ディスプレイ操作キー)SW12、削除スイッチ(削除操作キー)SW13、メニュースイッチ(メニュー操作キー)SW14、電源スイッチ(電源操作キー)SW15が設けられている。また、ディジタルカメラ本体2の側面には、図1(b)に示すように電池蓋4が設けられている。
<ディジタルカメラ本体2内のシステムの概略構成>
図2は、図1に示した鏡胴ユニット7の具体的な構成を示すと共に、この鏡胴ユニット7を介して被写体像が結像されるCCD101(固体撮像素子であるイメージセンサー)と、CCD101からの映像信号(画像信号)を処理する制御回路等のシステム構成を示したものである。このCCD101や制御回路等は図1のディジタルカメラ本体2内に設けられている。
<ディジタルカメラ本体2内のシステムの概略構成>
図2は、図1に示した鏡胴ユニット7の具体的な構成を示すと共に、この鏡胴ユニット7を介して被写体像が結像されるCCD101(固体撮像素子であるイメージセンサー)と、CCD101からの映像信号(画像信号)を処理する制御回路等のシステム構成を示したものである。このCCD101や制御回路等は図1のディジタルカメラ本体2内に設けられている。
この制御回路は、図2に示したフロントエンドIC回路(画像信号制御回路)であるF/E−IC102、メモリ(記憶装置)であるSDRAM103、装置制御手段(装置制御回路)であるプロセッサ(ディジタルスチルカメラプロセッサ)104を有する。
・鏡胴ユニット7
鏡胴ユニット7は、ズーム光学系すなわちZOOM光学(ZOOM光学ユニット)7−1、フォーカス光学系すなわちFOCAS光学系(FOCAS光学ユニット)7−2、絞りユニット7−3、メカシャッタユニット7−4、モータドライバ7−5を備えている。
・鏡胴ユニット7
鏡胴ユニット7は、ズーム光学系すなわちZOOM光学(ZOOM光学ユニット)7−1、フォーカス光学系すなわちFOCAS光学系(FOCAS光学ユニット)7−2、絞りユニット7−3、メカシャッタユニット7−4、モータドライバ7−5を備えている。
図2では、ZOOM光学系7−1は、ZOOMレンズ7−1aと、ZOOMレンズ7−1aを光軸方向に駆動するZOOMモータ7−1bを有する。また、FOCAS光学系7−2は、FOCASレンズ7−2aと、FOCASレンズ7−2aを光軸方向に駆動するFOCASモータ7−2bを有する。絞りユニット7−3は、絞り7−3aと、絞り7−3aを駆動する絞りモータ7−3bを有する。メカシャッタユニット7−4は、メカシャッタ7−4aと、メカシャッタ7−4aを駆動するメカシャッタモータ7−4bを有する。各モータ7−1b〜7−4bは、モータードライバ7−5によって駆動される。モータードライバ7−5は、プロセッサ104からの駆動信号により駆動制御される。
・CCD101
このCCD101は、鏡胴ユニット7の各撮影レンズ系を通して入射される被写体画像を受光面上に結像して、被写体画像信号をF/E−IC102に出力する。
・F/E−IC102
F/E−IC102は、CCD101から入射される被写体画像信号に基づいて、CCD101への入射光に応じた信号レベルの差分をとるCDS相関二重サンプリング102−1と、入力信号の強弱を補正するAGC102−2、アナログ信号をディジタル信号に変換するA/D変換部102−3を備えている。そして、F/E−IC102は、A/D変換部102−3により変換されるディジタル信号をCCD1信号処理ブロック104−1に出力する。
・SDRAM103
このSDRAM103は、プロセッサ104を介して得られるRAW−RGB画像データ(RAW−RGBデータ)、YUV画像データ、JPEG画像データを記憶する。
・プロセッサ104
プロセッサ104は、CCD1信号処理ブロック104−1、CCD2信号処理ブロック104−2、欠陥画素補正手段である欠陥画素補正ブロック104−3A、各部の制御を実質的に行う制御手段(制御装置)であるCPUブロック104−3を有する。また、プロセッサ104は、LOCAL SRAM104−4、USBブロック104−5、シリアルブロック104−11、JPEG・CODECブロックJPEG圧縮・伸長を行うブロック104−7、RESIZEブロック104−8を有する。更に、プロセッサ104は、TV信号表示ブロック画像データを液晶モニタ・TV等の表示機器に表示させるためのビデオ信号に変換するTV信号表示ブロック104−9、メモリカードコントローラブロック撮影画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック104−10を有している。これらの各ブロックは相互にバスライン符号省略で接続されている。
(プロセッサ104の各部の機能および制御回路のその他の構成)
F/E−IC102は、CCD101を駆動するTG(タイミング信号発生部)102−4、CCD101から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)102−1、CDS102−1にてサンプリングされた信号のゲインを調整するAGC(アナログ利得制御部)102−2、AGC102−2でゲイン調整された信号をディジタル信号(以下、「RAW−RGBデータ」という)に変換するA/D変換部102−3を有する。
・CCD101
このCCD101は、鏡胴ユニット7の各撮影レンズ系を通して入射される被写体画像を受光面上に結像して、被写体画像信号をF/E−IC102に出力する。
・F/E−IC102
F/E−IC102は、CCD101から入射される被写体画像信号に基づいて、CCD101への入射光に応じた信号レベルの差分をとるCDS相関二重サンプリング102−1と、入力信号の強弱を補正するAGC102−2、アナログ信号をディジタル信号に変換するA/D変換部102−3を備えている。そして、F/E−IC102は、A/D変換部102−3により変換されるディジタル信号をCCD1信号処理ブロック104−1に出力する。
・SDRAM103
このSDRAM103は、プロセッサ104を介して得られるRAW−RGB画像データ(RAW−RGBデータ)、YUV画像データ、JPEG画像データを記憶する。
・プロセッサ104
プロセッサ104は、CCD1信号処理ブロック104−1、CCD2信号処理ブロック104−2、欠陥画素補正手段である欠陥画素補正ブロック104−3A、各部の制御を実質的に行う制御手段(制御装置)であるCPUブロック104−3を有する。また、プロセッサ104は、LOCAL SRAM104−4、USBブロック104−5、シリアルブロック104−11、JPEG・CODECブロックJPEG圧縮・伸長を行うブロック104−7、RESIZEブロック104−8を有する。更に、プロセッサ104は、TV信号表示ブロック画像データを液晶モニタ・TV等の表示機器に表示させるためのビデオ信号に変換するTV信号表示ブロック104−9、メモリカードコントローラブロック撮影画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック104−10を有している。これらの各ブロックは相互にバスライン符号省略で接続されている。
(プロセッサ104の各部の機能および制御回路のその他の構成)
F/E−IC102は、CCD101を駆動するTG(タイミング信号発生部)102−4、CCD101から出力される電気信号(アナログRGB画像信号)をサンプリングするCDS(相関2重サンプリング部)102−1、CDS102−1にてサンプリングされた信号のゲインを調整するAGC(アナログ利得制御部)102−2、AGC102−2でゲイン調整された信号をディジタル信号(以下、「RAW−RGBデータ」という)に変換するA/D変換部102−3を有する。
そして、プロセッサ104における信号制御処理は、CCD1信号処理ブロック104−1から出力される垂直同期信号VD・水平同期信号HDによりTG102−4を介して行われる。即ち、プロセッサ104のCCD1信号処理ブロック104−1は、F/E−IC102のTG102−4へ画面水平同期信号HDと画面垂直同期信号VDの出力を行うと共に、これらの同期信号に合わせてF/E−IC102のA/D変換部102−3から出力されるディジタル信号であるRAW−RGBデータを取り込む。そして、このCCD1信号処理ブロック104−1に取り込まれたRAW−RGBデータはSDRAM103に保存される。
・CCD2信号処理ブロック104−2
また、SDRAM103には、CCD2信号処理ブロック104−2で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、さらにJPEGCODECブロック104−7で圧縮処理されたJPEG形式等の画像データが保存される。
・CCD2信号処理ブロック104−2
また、SDRAM103には、CCD2信号処理ブロック104−2で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、さらにJPEGCODECブロック104−7で圧縮処理されたJPEG形式等の画像データが保存される。
尚、前記YUVデータのYUVは輝度データYと、色差輝度データと青色B成分データの差分と、輝度データと赤色R成分データの差分Vの情報で色を表現するものである。
・操作キー(操作Key)ユニットK_U(SW1−SW15)
この操作キーユニットK_U(SW1−SW15)は、図1(a)〜図1(c)のディジタルカメラ本体2の外観表面に設けられているレリーズスイッチSW1、モードダイヤルスイッチSW2、望遠側ズームスイッチ[TELE]SW5、広角側ズームスイッチ[WIDE]SW6、上スイッチSW7、右スイッチSW8、OKスイッチSW9、左スイッチSW10、下スイッチ/マクロスイッチSW11、ディスプレイスイッチSW12、削除スイッチSW13、メニュースイッチSW14、電源スイッチSW15等である。この操作キーユニットK_U(SW1−SW15)は、撮影者の操作に応じた動作指示信号をSUB−CPU109を介してプロセッサ104に入力する。
・CPUブロック104−3
このCPUブロック104−3は、F/E−IC102を制御すると共に、鏡胴ユニット7のモータドライバ7−5を制御する。また、CPUブロック104−3は、ストロボ回路114を制御することによってストロボ発光部3から照明光を発光させる。これに加えて、CPUブロック104−3は、測距ユニット5も制御する。更に、CPUブロック104−3は、プロセッサ104のSUB−CPU109に接続され、SUB−CPU109はLCDドライバ111を介して図2のサブLCD1(図1には図示しない)の表示制御を行う。しかも、CPUブロック104−3は、音声記録回路115−1や音声再生回路116−1を作動制御する。
・操作キー(操作Key)ユニットK_U(SW1−SW15)
この操作キーユニットK_U(SW1−SW15)は、図1(a)〜図1(c)のディジタルカメラ本体2の外観表面に設けられているレリーズスイッチSW1、モードダイヤルスイッチSW2、望遠側ズームスイッチ[TELE]SW5、広角側ズームスイッチ[WIDE]SW6、上スイッチSW7、右スイッチSW8、OKスイッチSW9、左スイッチSW10、下スイッチ/マクロスイッチSW11、ディスプレイスイッチSW12、削除スイッチSW13、メニュースイッチSW14、電源スイッチSW15等である。この操作キーユニットK_U(SW1−SW15)は、撮影者の操作に応じた動作指示信号をSUB−CPU109を介してプロセッサ104に入力する。
・CPUブロック104−3
このCPUブロック104−3は、F/E−IC102を制御すると共に、鏡胴ユニット7のモータドライバ7−5を制御する。また、CPUブロック104−3は、ストロボ回路114を制御することによってストロボ発光部3から照明光を発光させる。これに加えて、CPUブロック104−3は、測距ユニット5も制御する。更に、CPUブロック104−3は、プロセッサ104のSUB−CPU109に接続され、SUB−CPU109はLCDドライバ111を介して図2のサブLCD1(図1には図示しない)の表示制御を行う。しかも、CPUブロック104−3は、音声記録回路115−1や音声再生回路116−1を作動制御する。
尚、サブCPU109は、更に、AFLED8、ストロボLED9、リモコン受光部6、スイッチSW1〜SW15からなる操作キーユニットK_U(SW1−SW15)、ブザー113に接続されている。
・欠陥画素補正ブロック(欠陥画素補正手段)104−3A
この欠陥画素補正ブロック104−3Aは、CCD101のOB領域出力平均値とCCD101の温度の相関テーブル、即ち図5に示したようなCCD101のOB領域出力平均値とCCD101の温度の相関を示す特性線F1,F2を得るためのテーブルを用いて、CCD101の欠陥画素補正処理を行う。
・欠陥画素補正ブロック(欠陥画素補正手段)104−3A
この欠陥画素補正ブロック104−3Aは、CCD101のOB領域出力平均値とCCD101の温度の相関テーブル、即ち図5に示したようなCCD101のOB領域出力平均値とCCD101の温度の相関を示す特性線F1,F2を得るためのテーブルを用いて、CCD101の欠陥画素補正処理を行う。
また、このCCD101のOB領域出力平均値とCCD101の温度の相関テーブル、即ち図5に示したようなCCD101のOB領域出力平均値とCCD101の温度の相関を示す特性線F1を得るためのテーブルは、内蔵メモリ120又はROM108若しくはLOCAL SRAM104−4等の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求めて記憶されている。尚、図5の特性線F2は、特性線F1との比較のためのものである。
しかも、ディジタルカメラの生産・検査工程で、CCD101(イメージセンサー)の温度に対応する欠陥画素位置情報は上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に記憶させて、このテーブルメモリに記憶させた欠陥画素位置情報を欠陥画素の補正に用いるようになっている。
即ち、CPUブロック104−3は、ディジタルカメラの電源スイッチSW15がオンされたときに、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されている特性線F1のテーブルを読み込んでRAM107に記憶させると共に、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されているCCD101(イメージセンサー)の温度に対応する欠陥画素位置情報(欠陥画素のアドレス)を読み込んで欠陥画素記憶手段としてのRAM107に記憶させ、CCD101による撮影時にCCD101の温度に対応する欠陥画素位置情報を欠陥画素の補正に用いるようになっている。尚、以下の説明では、便宜上、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)として内蔵メモリ120を用いた場合について説明する。
このRAM107には、欠陥画素補正座標登録領域A,B,Cが設けられている。この欠陥画素補正座標登録領域Aには温度TEMPが閾値TH2より小さい場合の欠陥画素が登録(記憶)され、欠陥画素補正座標登録領域Bには温度TEMPが閾値TH2より大きく且つ閾値TH2より小さい場合の欠陥画素が登録(記憶)され、欠陥画素補正座標登録領域Cには温度TEMPが閾値TH3より大きい場合の欠陥画素が登録(記憶)されている。尚、RAM107とは別に欠陥画素メモリに設けておいて、この欠陥画素メモリに欠陥画素補正座標登録領域A,B,Cを記憶させることもできる。尚、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)にも、RAM107に設けた欠陥画素補正座標登録領域A,B,Cと同様な欠陥画素補正座標登録領域が設けられている。
・USBブロック104−5
このUSBブロック104−5はUSBコネクタ122に接続され、シリアルブロック104−11はシリアルドライバ回路123−1を介してRS‐232Cコネクタ123−2に接続されている。
・TV信号表示ブロック104−9
このTV信号表示ブロック104−9は、LCDドライバ117を介してLCDモニタ10に接続されると共に、TV信号表示ブロック104−9から出力されたビデオ信号を75Ωインピーダンスに変換するためのビデオAMP(アンプリファイア)118を介してビデオジャックカメラをTV等の外部表示機器に接続するためのビデオジャック119に接続されている。
・メモリカードコントローラブロック104−10
このメモリカードコントローラブロック104−10はメモリカードスロット121のカード接点との接点に接続されている。
・LCDドライバ117
このLCDドライバ117はLCDモニタ10を駆動すると共に、TV信号表示ブロック104−9から出力されたビデオ信号をLCDモニタ10に表示させる信号に変換する役割を果たす。
・USBブロック104−5
このUSBブロック104−5はUSBコネクタ122に接続され、シリアルブロック104−11はシリアルドライバ回路123−1を介してRS‐232Cコネクタ123−2に接続されている。
・TV信号表示ブロック104−9
このTV信号表示ブロック104−9は、LCDドライバ117を介してLCDモニタ10に接続されると共に、TV信号表示ブロック104−9から出力されたビデオ信号を75Ωインピーダンスに変換するためのビデオAMP(アンプリファイア)118を介してビデオジャックカメラをTV等の外部表示機器に接続するためのビデオジャック119に接続されている。
・メモリカードコントローラブロック104−10
このメモリカードコントローラブロック104−10はメモリカードスロット121のカード接点との接点に接続されている。
・LCDドライバ117
このLCDドライバ117はLCDモニタ10を駆動すると共に、TV信号表示ブロック104−9から出力されたビデオ信号をLCDモニタ10に表示させる信号に変換する役割を果たす。
LCDモニタ10は撮影前の被写体の状態監視、撮影画像確認及びメモリカード又は内蔵メモリ120に記録された画像データ表示のために用いられる。
撮影者がモードダイアルSW2を撮影モードに設定して電源SW15をONすることで、カメラが撮影モードで起動する。この動作をROM108の制御プログラムが検知することにより、モータードライバ7−5に制御信号を出力し、鏡胴ユニット7を撮影可能位置にディジタルカメラ本体2の正面から進出移動させ、CCD101、F/E−IC102、プロセッサ104等を起動させる。
この状態で鏡胴ユニット7を被写体に向けることにより、被写体画像がCCD101の各画素の受光面上に結像されCCD101より出力された電気信号アナログRGB画像信号は、F/E−IC102を介し12ビットbitのRAW−RGBデータに変換される。
このRAW−RGBデータは、プロセッサ104のCCD1信号処理ブロック104−1に取り込まれ、SDRAM103に保存される。そしてSDRAM103から読み出されたRAW−RGB画像データは、CCD2信号処理ブロック104−2にて表示可能な形式であるYUVデータに変換された後に、SDRAM103にYUVデータが保存される。
その後SDRAM103から読み出されたYUVデータは、TV信号表示ブロック104−9を介して、LCDモニタに送られ、撮影画像が表示される。前記したLCDモニタ10に画像を表示しているモニタリング時においては、CCD1信号処理ブロック104−1による画素数の間引き処理により、1/30秒の時間で1フレームを読み出している。ここでいうモニタリングとは、電子ファインダとして機能する、LCDモニタ10に撮影画像がリアルタイムで表示されているだけで、撮影者のレリーズスイッチSW1操作が行われていない状態である。
この撮影画像のLCDモニタ10への表示により、撮影画像を撮影者が確認することが出来る。なおTV信号表示ブロック104−9からビデオAMP118を、ビデオジャック119からケーブルを介し外部TVテレビに、撮影画像を表示させることもできる。
CCD1信号処理ブロック104−1は、取り込まれたRAW−RGBデータにより、AF自動合焦評価値、AE自動露出評価値、AWBオートホワイトバランス評価値を算出する。
(AF処理)
CCD1信号処理ブロック104−1によるAF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時合焦検出動作時には、FOCAS光学系7−2のFOCASレンズ7−2a位置におけるAF評価値を取得して、高周波成分が一番高くなる点を合焦検出位置として、AF動作(AF処理)が実行される。
(AF処理)
CCD1信号処理ブロック104−1によるAF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時合焦検出動作時には、FOCAS光学系7−2のFOCASレンズ7−2a位置におけるAF評価値を取得して、高周波成分が一番高くなる点を合焦検出位置として、AF動作(AF処理)が実行される。
即ち、このAF動作(AF処理)では、CCD1信号処理ブロック104−1がFOCASレンズ7−2aの位置におけるAF評価値を取得すると共にこのAF評価値の高周波成分が一番高くなる点を合焦検出位置となるように、プロセッサ104のCPUブロック104−3がモータドライバ7−5を介してFOCASモータ7−2bを動作制御して、このモータドライバ7−5によりFOCASレンズ7−2aが光軸方向に駆動させる。
(AE評価値、AWB評価値)
CCD1信号処理ブロック104−1によるAE評価値とAWD評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD1信号処理ブロック104−1は、CCD101の全画素の撮像面(受光面)に対応した画面を複数の256エリアに等分割する。即ち、CCD101の全画素の撮像面(受光面)を水平方向に16分割し且つ垂直方向に16分割することにより、CCD101の全画素の撮像面(受光面)に対応した画面を256エリアに分割する。また、CCD1信号処理ブロック104−1は、分割した複数の256エリアのそれぞれのRGB積算を算出する。
(AE処理)
そして、ROM108に存在する制御プログラムは、プロセッサ104により読み出されてRAM107に常駐し、算出されたRGB積算値を読み出す。そして、この制御プログラムは、AE処理においてCCD101の撮像面(結像面)の複数のエリアの輝度をそれぞれ算出して、この算出した輝度分布から適正なCCD101の複数のエリアの露光量をそれぞれ決定する。このAE処理には、周知の技術を採用できるのでその詳細な説明は省略する。
(AWB処理)
決定した露光量に基づいて、露光条件CCD101の電子シャッタ回数、絞りユニット7−3の絞り値等を設定する。またAWB処理では、RGBの分布から被写体の光源の色に合わせた制御値を決定する。このAWB処理により、CCD2信号処理ブロック104−2でYUVデータに変換するときのホワイトバランスをあわせている。尚、前記した、AE処理とAWB処理は、前記モニタリング時には、連続的に実行されている。
<レリーズスイッチSW1の操作による撮影処理>
そして、前記したモニタリング動作時に、レリーズスイッチSW1が押圧半押しから全押し操作され、静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
(撮影動作)
即ち、プロセッサ104のCPUブロック104−3は、レリーズスイッチSW1が押圧半押しから全押しされると、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bを駆動させることにより、FOCASレンズ7−2aを光軸方向に移動させて合焦させる。この合焦後、AE処理が行われ、CCD101の露光が開始される。
(AE評価値、AWB評価値)
CCD1信号処理ブロック104−1によるAE評価値とAWD評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CCD1信号処理ブロック104−1は、CCD101の全画素の撮像面(受光面)に対応した画面を複数の256エリアに等分割する。即ち、CCD101の全画素の撮像面(受光面)を水平方向に16分割し且つ垂直方向に16分割することにより、CCD101の全画素の撮像面(受光面)に対応した画面を256エリアに分割する。また、CCD1信号処理ブロック104−1は、分割した複数の256エリアのそれぞれのRGB積算を算出する。
(AE処理)
そして、ROM108に存在する制御プログラムは、プロセッサ104により読み出されてRAM107に常駐し、算出されたRGB積算値を読み出す。そして、この制御プログラムは、AE処理においてCCD101の撮像面(結像面)の複数のエリアの輝度をそれぞれ算出して、この算出した輝度分布から適正なCCD101の複数のエリアの露光量をそれぞれ決定する。このAE処理には、周知の技術を採用できるのでその詳細な説明は省略する。
(AWB処理)
決定した露光量に基づいて、露光条件CCD101の電子シャッタ回数、絞りユニット7−3の絞り値等を設定する。またAWB処理では、RGBの分布から被写体の光源の色に合わせた制御値を決定する。このAWB処理により、CCD2信号処理ブロック104−2でYUVデータに変換するときのホワイトバランスをあわせている。尚、前記した、AE処理とAWB処理は、前記モニタリング時には、連続的に実行されている。
<レリーズスイッチSW1の操作による撮影処理>
そして、前記したモニタリング動作時に、レリーズスイッチSW1が押圧半押しから全押し操作され、静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
(撮影動作)
即ち、プロセッサ104のCPUブロック104−3は、レリーズスイッチSW1が押圧半押しから全押しされると、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bを駆動させることにより、FOCASレンズ7−2aを光軸方向に移動させて合焦させる。この合焦後、AE処理が行われ、CCD101の露光が開始される。
そして、プロセッサ104のCPUブロック104−3は、前記したAE処理が行われ、CCD101の露光開始時点で、ROM108制御プログラムからモータードライバ7−5への駆動指令により、メカシャッタ7−4aが閉じさせる。これに伴い、CCD101から静止画用のアナログRGB画像信号が出力され、アナログRGB画像信号がF/E−IC102のA/D変換部102−3でRAW−RGBデータに変換される。
このRAW−RGBデータは、プロセッサ104のCCD1信号処理ブロック104−1に取り込まれ、CCD2信号処理ブロック104−2でYUV変換されてSDRAM103に保存される。しかも、このYUVデータはSDRAM103から読み出されてRESIZEブロック104−8で記録画素数に対応するサイズに変換され、JPEGCODECブロック104−7でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、SDRAM103に書き戻された後、メモリカードコントローラブロック104−10を介して、メモリカード121−1等のメディアに保存される。
[作用]
このような構成のディジタルカメラにおけるOB領域のOB画素値から欠陥画素補正条件を変更する方法を図3に示したフローチャート基づいて説明する。
[作用]
このような構成のディジタルカメラにおけるOB領域のOB画素値から欠陥画素補正条件を変更する方法を図3に示したフローチャート基づいて説明する。
ここで、OB領域とは、CCD(イメージセンサー)101の撮像面の総画素領域(撮像領域)のうち遮光膜により遮光されて撮影に利用されない領域で、オプティカルブラック領域と呼ばれている。尚、この撮像領域は、遮光膜により遮光されて撮影に利用されないOB領域と、撮影に利用される有効画素領域(有効撮像領域)を有する。
電源スイッチSW15の操作により、カメラ電源(図示せず)がONされると、図2のプロセッサ(制御装置)104による制御動作が開始される。この際、プロセッサ(制御装置)104のCPUブロック104−3は、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されている特性線F1のテーブルを読み込んでRAM107に記憶させる。また、これに伴いCPUブロック104−3は、上述の温度相関テーブル記憶用のテーブルメモリ(テーブル記憶装置)に予め求め記憶されているCCD101(イメージセンサー)の温度に対応する欠陥画素位置情報(欠陥画素のアドレス)を読み込んで欠陥画素記憶手段としてのRAM107に記憶させる。
また、このような電源スイッチSW15の操作により、カメラ電源(図示せず)がONされると、図3のステップS10において図2のプロセッサ(制御装置)104のCPUのブロック104−3による撮影動作の制御が開始される。即ち、CPUのブロック104−3は、カメラ電源(図示せず)がONされると、上述した撮影動作すなわちAF処理およびAE処理,AWB処理を開始させて、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bを駆動させると共に、FOCASレンズ7−2aを光軸方向に移動させて合焦動作をさせる。
これに伴い、CPUのブロック104−3は、CCD1−信号処理ブロック104−1を動作制御し、CCD101からの画像信号をF/E−IC102を介してCCD1−信号処理ブロック104−1に取り込ませる。このCPUのブロック104−3は、取り込まれた画像信号に基づいて、TV信号表示ブロック104−9およびLCDドライバ117を介してLCDモニタ10に被写体像を表示させる。
この状態から、CPUのブロック104−3は、レリーズスイッチSW1が押されて半押しから全押しされると、ステップS11で撮影要求と判断し、ステップS12に移行する。このステップS12においてCPUのブロック104−3は、CCD1−信号処理ブロック104−1を動作制御し、CCD101からの画像信号をF/E−IC102を介してCCD1−信号処理ブロック104−1に取り込ませ、ステップS13に移行する。この際、CPUのブロック104−3は、CCD1−信号処理ブロック104−1に取り込まれた画像信号から水平・垂直OB画素のうち欠陥画素を除いた画素のみをCCD2−信号処理ブロック104−2に積算させてステップS14に移行する。ここで、水平・垂直OB画素とは、OB領域の画素を言う。
そして、ステップS14においてCPUのブロック104−3は、水平・垂直OB画素値がある値(閾値)TH以上であるか否かを判断する。この判断において、水平・垂直OB画素値がある値THより小さい場合には、ステップS15に移行する。また、この判断において、水平・垂直OB画素値がある値TH以上の場合には、欠陥画素温度キズと判断され積算対象とならないので、ステップS16に移行する。
ここで、水平・垂直OBは、CCD101の全画面(撮像面)のうちの水平OB領域及び垂直OB領域である。ここでCCD101の全画面(撮像面)のうち撮像の際に露光に用いられる撮像エリアを有効撮像面(有効画素領域)とすると、水平OB領域はCCD101の全画面(撮像面)の水平方向において有効撮像面(有効画素領域)の左右の部分に存在し、垂直OB領域はCCD101の全画面(撮像面)の垂直方向において有効撮像面(有効画素領域)の上下の部分に存在する。
また、水平・垂直OB画素値は水平OB画素値および垂直OB画素値を意味し、水平OB画素値は水平OB領域の画素値であり、垂直OB画素値は垂直OB領域の画素値である。また、欠陥画素温度キズとは、温度依存性の高い欠陥画素を意味し、即ちイメージセンサーの温度により出力値が変化する欠陥画素(後述する)を言う。
そして、CPUのブロック104−3は、ステップS14において積算対象とならなかった画素数をステップS16でカウントしてRAM107に記憶させ、それ以外の画素の画素値をステップS15で積算(演算)してRAM107に記憶させて、ステップS17に移行する。
このステップS17においてCPUのブロック104−3は、水平・垂直OBの画素が全て積算されたか否か、即ちOB領域に演算対象画素があるか否かを判断する。この判断において、積算対象の水平・垂直OBの画素が全て積算されていないと判断された場合にはステップS17−1に移行し、積算対象の水平・垂直OBの画素が全て積算されたと判断された場合にはステップS18に移行する。
このステップS17−1においてCPUのブロック104−3は、欠陥画素温度キズと判断され積算対象とならない画素を除いて(除外して)、水平・垂直OB領域の画素値を積算してRAM107に記憶させ、ステップS18に移行する。
ステップS18においてCPUのブロック104−3は、水平・垂直OB領域の出力画素値の平均値を算出して、この算出した水平・垂直OB領域の出力画素値の平均値をRAM107に記憶させ、ステップS19に移行する。この水平・垂直OB領域の出力画素値の平均値を算出する式は、「積算値/積算対象OB総画素数−D欠陥画素数」となる。
ステップS19においてCPUのブロック104−3は、ステップS18で算出された予め記憶されているCCD101のOB領域出力平均値と固体撮像素子であるCCD101の温度の相関テーブルから、固体撮像素子であるCCD101(イメージセンサー)の温度TEMPを算出してRAM107に記憶させ、ステップS20に移行する。
ステップS20においてCPUのブロック104−3は、固体撮像素子であるCCD101(イメージセンサー)の温度TEMPとあらかじめ決められたスレッシュTH2、TH3とを比較し、この比較によりステップS21〜S23の分岐処理を行う。即ち、ステップS20において固体撮像素子であるCCD101(イメージセンサー)の温度TEMPがTH2より小さい時はステップS21に移行し、ステップS20において固体撮像素子であるCCD101(イメージセンサー)の温度TEMPがTH2とTH3の中間の時はステップS22に移行し、ステップS20において固体撮像素子であるCCD101(イメージセンサー)の温度TEMPがTH3より大きい時はステップS23に移行する。
ステップS21においてCPUのブロック104−3は、欠陥画素補正ブロック104−3Aを動作制御して、条件1の欠陥画素補正すなわちRAM107の欠陥画素補正座標登録領域Aに登録されている欠陥画素の補正を欠陥画素補正ブロック104−3Aに実行させ、ステップS22では条件2の欠陥画素補正すなわちRAM107の欠陥画素補正座標登録領域Bに登録されている欠陥画素の補正を欠陥画素補正ブロック104−3Aに実行させ、ステップS23では条件3の欠陥画素補正すなわちRAM107の欠陥画素補正座標登録領域Cに登録されている欠陥画素の補正を欠陥画素補正ブロック104−3Aに実行させて、終了する。尚、この欠陥画素の補正は、欠陥画素補正ブロック104−3Aを設けずに、CCD1信号処理ブロック104−1により行わせることもできる。また、欠陥画素補正の具体的な方法は公知技術と同様であるため説明を省略する。
このようにして、CCD1信号処理ブロック104−1に取り込まれた画像信号から欠陥画素の補正処理が行われたRAW−RGB画像データがSDRAMに記録される。
(補足説明)
図4は、図3記載のステップS13の演算対象(積算対象)について説明する図である。
(補足説明)
図4は、図3記載のステップS13の演算対象(積算対象)について説明する図である。
この図4は、図3に記載のステップS14で演算処理(積算処理)がされる時の画素イメージを表している。そして、白抜きの四角形は固体撮像素子であるCCD101(イメージセンサー)の欠陥画素を示している。近年の固体撮像素子であるCCD(イメージセンサー)では、高画素数化に伴うセルサイズの小型化により、OB領域での欠陥画素発生率が上がっている。図4に示す通り、水平・垂直OB領域(水平OB領域および垂直OB領域)の画素数は、有効画素領域に比べ格段に小さいため、画素値の積算等を行う際に、欠陥画素が含まれている場合、結果に与える影響が大きくなる。
図5は、OB領域の出力平均値を求める時に、欠陥画素を含めた場合と含めない(除外した)場合について説明する図である。即ち、図5は、OB領域の画素出力平均値を求める際に、図4で示した水平・垂直OB領域の欠陥画素を含めて計算した場合を(a)の特性線F2で示し、含めないで(除外して)計算した場合を(b)の特性線F1で示しで表している。
一般的に温度キズの様な、温度依存性の高い欠陥画素では、固体撮像素子であるCCD(イメージセンサー)の温度が10℃上がると2倍になるといわれている。
このため、図5の(a)の特性線F2で示した通り、OB領域の画素出力平均値を計算する時に、欠陥画素を含めると、温度が高くなるほど平均値が非線形に上がってしまい、正確に温度との相関がとれなくなる。逆に、図5の(b)の特性線F1で示した通り、OB領域出力平均値を求める際に、OB領域の欠陥画素を含めないで計算する事により、欠陥画素の値の影響が無くなり、線形に温度との相関がとれる。
図5では、OB領域に欠陥画素がある場合のOB出力平均値をOBAVE−Aとして、OB領域に欠陥画素が無い場合または欠陥画素を含めない場合のOB出力平均値をOBAVE−Aと比較したものである。この図5に示すように、OB領域に欠陥画素がない場合にOB出力平均値は出力特性線F1で示したように一定の傾斜で直線的に変化し、OB領域に欠陥画素がある場合にOB出力平均値は出力特性線F2で示したように温度が上昇すると変化が大きくなる。
この出力特性線F1から分かるように、OB領域に欠陥画素が無い場合、または欠陥画素を含めない場合の平均値OBAVE−Aから算出される温度は40℃となる。
また、出力特性線F2から分かるように、OB領域に欠陥画素がある場合には平均値OBAVE−Aから算出される温度は30℃となる。
この温度を比較すると、OB領域に欠陥画素がある場合に平均値OBAVE−Aなる温度はOB領域に欠陥画素がない場合(含めない婆アイ)の平均値OBAVE−Aなる温度と10℃の推定誤差があることがわかる。この推定誤差は、図5から固体撮像素子であるCCD(イメージセンサー)の温度が高くなる程大きくなる。
図6は、図3のステップS21,S22,S23における欠陥画素補正条件について説明する図である。
この図6に記載の、閾値TH2〜TH3の大小関係は、TH2<TH3となる。図6に示す通り、算出された温度TEMPが閾値TH2より小さい場合には、欠陥画素補正座標登録領域Aに登録されている欠陥画素が補正される。算出された温度TEMPが閾値TH2と閾値TH3の間の時は、欠陥画素補正座標登録領域AとBに登録されている欠陥画素が補正される。また、算出された温度TEMPが閾値TH3より大きい時は、欠陥画素補正座標登録領域A、B、C全てに登録されている欠陥画素が補正される。このように、算出された温度に従って、欠陥画素の補正条件を変更する。
図7〜図9は、この発明に係る撮像装置の他の実施例を示すものである。そして、図7は、ディジタルカメラに用いられるRGBフィルタを模式的に示す説明図である。図8は、各優先補正画素群PNにおけるRAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す説明図である。図9は、この実施例の欠陥画素補正処理内容を示すフローチャートである。
図7において、CCD101は、結像された被写体像を電気信号(画像データ)に変換して出力する固体撮像素子である。このCCD101は、受光面全体が画素(ピクセル)と呼ばれる格子状の領域(以下、画素101a(図7参照)ともいう)に分割されており、ディジタルデータである画素データの集合で構成される画像データを、電気信号として出力する。
CCD101では、分割された各領域(画素)にベイヤー配列を構成するように色フィルタ(RGB、CYM等)が設けられており、実施例では、図7に示すように、ベイヤー配列のRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されている。このため、CCD101は、各画素101aからRGB3原色に対応した電気信号(アナログRGB画像信号)を出力する。なお、CCD101は、固体撮像素子としてのCMOS型イメージセンサ等で構成することもできる。
そして、図1,図2の鏡胴ユニット7が被写体に向けられることにより、図2の鏡胴ユニット7のZOOMレンズ7−1aに入射される被写体画像がCCD101の各画素の受光面上に結像する。そして、CCD101から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS102−1、AGC102−2を介してA/D変換部102−3に入力され、A/D変換部102−3により12ビット(bit)のRAW−RGBデータに変換される。
このRAW−RGBデータは、CCD1信号処理ブロック104−1に取り込まれてSDRAM103に保存される。そして、SDRAM103から読み出されたRAW−RGBデータは、CCD2信号処理ブロック104−2でYUVデータ(YUV信号)に変換された後に、SDRAM103にYUVデータとして保存される。
そして、SDRAM103から読み出されるYUVデータは、TV信号表示ブロック104−9を介して液晶モニタ(LCD)10へ送られ、液晶モニタ(LCD)10において撮影画像が表示される。その液晶モニタ(LCD)10に撮影画像を表示しているモニタリング時においては、画素数の間引き処理により1/30秒の時間で1フレームが読み出されている。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)10に撮影画像が表示されているだけで、まだレリーズスイッチSW1が押圧(半押も含む)操作されていない状態である。
この撮影画像の液晶モニタ(LCD)10への表示によって、撮影者は、静止画を撮影するための構図の確認等を行うことができる。
(欠陥画素とその検出方法)
ディジタルスチルカメラに使用される撮像素子(上記したCCD101等)では、半導体の製造工程において、全ての受光素子が完全に同一性能で形成されるわけではなく、一部の受光素子に欠陥が生じてしまうことがある。この欠陥が生じてしまった受光素子に相当する画素を、以下では欠陥画素という。
(欠陥画素とその検出方法)
ディジタルスチルカメラに使用される撮像素子(上記したCCD101等)では、半導体の製造工程において、全ての受光素子が完全に同一性能で形成されるわけではなく、一部の受光素子に欠陥が生じてしまうことがある。この欠陥が生じてしまった受光素子に相当する画素を、以下では欠陥画素という。
よって、撮像素子を備えたディジタルスチルカメラ等の機器は、所定の数以下の個数の欠陥画素をその撮像素子に有する場合がある。このため、ディジタルカメラでは、その欠陥画素のCCD101上における縦横座標(アドレス)等(以下、欠陥画素データ)を予めRAM107等に格納しておき、撮影時に、撮像データにおけるRAM107等に格納された欠陥画素のアドレスに相当する画素データに対して欠陥画素補正処理を実施する。
この欠陥画素は、例えば、画像全体の輝度値の平均値であるAE評価値が128程度の真白な画像を取得させ、当該画像データの各画素データにおいて、輝度値の128からの差異が所定の値よりも大きいか否かを判断することにより、検出することができる。ここで、輝度値が128よりも低いものを黒キズといい、輝度値が128よりも高いものを白キズという。
また、上述の欠陥画素とは別に、暗電流特性の悪い画素(温度キズ)である欠陥画素も存在する。この温度キズは、暗電流が増えたり蓄積されたりする条件、すなわち撮像素子の温度が上昇したり露光時間が長くなったりするほど影響が大きくなるという動的な欠陥要因である。
このため、この温度キズの欠陥画素では、通常1秒程度の露光では問題とならないが、露光時間が長くなるに従って暗電流の増加が大きくなり、それが画像データに重畳され、画像上において輝点となって見える。夜景撮影等の長時間露光撮影による画像において、点々の星状のノイズとして現れるものがこれである。この温度キズの欠陥画素は、300万画素の撮像素子に対して60個程度であり、個々の欠陥画素のアドレスをRAM107等に格納しておくことができる。しかし、温度キズの欠陥画素は、上述したように動的な欠陥要因であることから、露光秒時などの撮影パラメータによって補正しなければならない。
この温度キズの欠陥画素は、例えば、遮光して真暗な画像を取得させ、当該画像データの各画素データにおいて、輝度値が所定の値よりも大きいか否かを判断することにより、検出することができる。この温度キズの欠陥画素は、第1実施例と同様にして温度を推定することにより、補正することができる。
(欠陥画素の補正方法の一例)
欠陥画素の補正は基本的に以下の方法で行われる。先ず、ディジタルカメラでは、上記したように検出してRAM107等に格納した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、RAM(記憶部)107に登録(記憶若しくは記録等の格納)する。
(欠陥画素の補正方法の一例)
欠陥画素の補正は基本的に以下の方法で行われる。先ず、ディジタルカメラでは、上記したように検出してRAM107等に格納した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、RAM(記憶部)107に登録(記憶若しくは記録等の格納)する。
その後、レリーズスイッチSW1(図1参照)が押し下げられて、上述したようにCCD101により取得された画像データがプロセッサ104内を伝播される過程において、当該画像データ(生成過程の画像データである画像生成データ)が欠陥画素補正部として用いられるCCD2信号処理ブロック104−2へと送られる。CCD2信号処理ブロック104−2では、当該画像データ(その各画素データ)において、RAM(記憶部)107に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間する。
基本的には、注目した欠陥画素(補正対象としての欠陥画素)の水平方向に隣接する両隣の画素データの平均値を、当該注目した欠陥画素の画素データとすることにより補間する。ここで、注目した欠陥画素が、画像データにおける左端または右端に位置していた場合は、水平方向に隣接する画素データを、当該注目した欠陥画素の画素データとすることにより補正する。
また、RGBフィルタで見て同色の欠陥画素が、水平方向に2つ並んでいる場合(以下では、連続2画素の欠陥画素ともいう)であっても、補正することができる。この注目した連続2画素の欠陥画素を補正する場合、一方の欠陥画素が他方の欠陥画素とは逆側で隣接する画素データを、当該一方の欠陥画素の画素データとし、他方の欠陥画素が一方の欠陥画素とは逆側で隣接する画素データを、当該他方の欠陥画素の画素データとすることにより、補間する。ここで、注目した連続2画素の欠陥画素が、画像データにおける左端または右端に位置していた場合は、水平方向に隣接する画素データとそれに隣接する画素データとの2画素分の画素データを、当該注目した連続2画素の欠陥画素の画素データとすることにより補正する。
(欠陥画素補正処理)
この欠陥画素補正処理について、以下の説明では理解容易のために、RAM(記憶部)107に登録(格納)可能な欠陥画素数(登録限度数)を500としている。
(欠陥画素補正処理)
この欠陥画素補正処理について、以下の説明では理解容易のために、RAM(記憶部)107に登録(格納)可能な欠陥画素数(登録限度数)を500としている。
また、欠陥画素の影響の変化の判断基準を露光時間としている。この判断基準となる露光時間は、CCD101の遮光領域の真暗な画像(ダーク画像)の輝度値(欠陥画素レベル)を補正判断値としたとき、この補正判断値を用いて決定される。
即ち、CCD101における欠陥画素の検出の際、遮光して真暗な画像(ダーク画像の画像データ)を取得(撮影)させて、この取得した当該画像(ダーク画像の画像データ)における画素(画素データ)の輝度値(欠陥画素レベル)とすると共に、この取得した当該画像(画像データ)において輝点として現れる輝度値(欠陥画素レベル)を補正判断値としたとき、この補正判断値を用いて露光時間の設定条件が決定される。
例えば、実施例では、欠陥画素レベル(輝度値)が240以上であると、露光時間が2秒の場合に画像(画像データ)において輝点として現れる。このことから、欠陥画素レベル(輝度値)が240以上のときは、その補正判断値を240〜255としている。
また、欠陥画素レベル(輝度値)が220以上であると、露光時間が4秒の場合に画像(画像データ)において輝点として現れる。このことから、欠陥画素レベル(輝度値)が220以上のときは、補正判断値を240〜250としている。
更に、欠陥画素レベル(輝度値)が200以上であると、露光時間が8秒の場合に画像(画像データ)において輝点として現れる。このことから、欠陥画素レベル(輝度値)が200以上のときは、補正判断値を200〜239とし、
また、欠陥画素レベル(輝度値)が180以上であると、露光時間が16秒の場合に画像(画像データ)において輝点として現れることから、欠陥画素レベル(輝度値)が180以上のときは、その補正判断値を180〜199としている。
また、欠陥画素レベル(輝度値)が180以上であると、露光時間が16秒の場合に画像(画像データ)において輝点として現れることから、欠陥画素レベル(輝度値)が180以上のときは、その補正判断値を180〜199としている。
また、実施例では、当該欠陥画素レベル(輝度値)が高いものほど、補正優先度の高い欠陥画素(温度キズ)であるものとしている。なお、欠陥画素レベルとしての輝度値は、出力のフルスケールを255とした出力値を示しており、数値が大きくなるほど大きな(高い)出力であることを示している。
欠陥画素の数は撮像素子(センサ)の特性に依存する。例えば、CMOSでは、同条件下であってもCCDより10倍も多い欠陥画素が出現すると言われている。このため、実際にディジタルスチルカメラ(実施例ではディジタルカメラ)にセンサ(実施例ではCCD101)を搭載した状態において、露光2秒で出現する欠陥画素の数、露光4秒で出現する欠陥画素の数、・・・・というように、設定された各露光時間で出現する欠陥画素の数を統計的に把握し、露光時間に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、露光時間に応じた補正画素数として設定する。このため、上記した露光時間に対する補正判断値すなわち欠陥画素レベル(輝度値)の各数値は、露光時間に応じた補正画素数の設定のための目安であるということができる。この欠陥画素補正処理においては、欠陥画素レベルが高い画素から順に、露光時間に応じた補正画素数だけ、欠陥画素補正を行う。
この実施例では、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図8参照)。
すなわち、統計的に、欠陥画素レベル(輝度値)が240〜255となる画素数が200以下であり、欠陥画素レベル(輝度値)が220〜255となる画素数が500以下であり、欠陥画素レベル(輝度値)が200〜255となる画素数が700以下であり、欠陥画素レベル(輝度値)が180〜255となる画素数が1000以下であることを意味している。
プロセッサ104は、設定された露光時間に応じた補正画素数での欠陥画素補正処理のために、欠陥画素データとして、検出した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、それぞれの欠陥画素レベルおよび設定された露光時間に関連付けて、以下のようにRAM107に格納する。なお、実施例では、後述するようにRAM107に適宜登録するための欠陥画素データをRAM107に格納しているが、プロセッサ104が適宜データを格納および読み出すことが可能とされたメモリであればよい。
先ず、図8に示すように、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に200個の画素を欠陥画素として検出し、第1優先補正画素群P1の欠陥画素のアドレスデータとして、RAM107に格納する。この第1優先補正画素群P1として検出された200個の欠陥画素は、そのまま露光時間が2秒の場合に補正する200個の欠陥画素となる。
次に、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に500個の画素を欠陥画素として検出し、その検出した500個の画素から、第1優先補正画素群P1の200個の欠陥画素を除いたものを欠陥画素として選出し、第2優先補正画素群P2の欠陥画素のアドレスデータとして、RAM107に格納する。これは、例えば、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に500個の画素を検出する過程において、それらのうち第1優先補正画素群P1の200個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第2優先補正画素群P2の欠陥画素として、CCD101の全ての画素の中における欠陥画素レベルが高い500個の画素から、第1優先補正画素群P1の200個の欠陥画素を減算した、残りの300個の画素を検出することとなる。この第2優先補正画素群P2として検出された300個の欠陥画素は、第1優先補正画素群P1の200個の欠陥画素を加算することにより、露光時間が4秒の場合に補正する500個の欠陥画素となる。また、このような欠陥画素補正処理では、RAM107に登録(格納)可能な欠陥画素数を、後述するように、欠陥画素レベルが高い方から順に補正優先度の高い欠陥画素として設定することから、実施例では、RAM107に登録(格納)可能な欠陥画素数が500であるので、露光時間が4秒の場合に補正する500個の欠陥画素が、そのまま補正優先度の高い欠陥画素となる。
次に、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に700個の画素を欠陥画素として検出し、その検出した700個の画素から、第1優先補正画素群P1の200個の欠陥画素および第2優先補正画素群P2の300個の欠陥画素を除いたものを欠陥画素として選出し、第3優先補正画素群P3の欠陥画素のアドレスデータとして、RAM107に格納する。これは、例えば、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に700個の画素を検出する過程において、それらのうち第2優先補正画素群P2の300個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第3優先補正画素群P3の欠陥画素として、CCD101の全ての画素の中における欠陥画素レベルが高い700個の画素から、第1優先補正画素群P1の200個の欠陥画素および第2優先補正画素群P2の300個の欠陥画素を減算した、残りの200個の画素を検出することとなる。この第3優先補正画素群P3として検出された200個の欠陥画素は、第1優先補正画素群P1の200個の欠陥画素および第2優先補正画素群P2の300個の欠陥画素を加算することにより、露光時間が8秒の場合に補正する700個の欠陥画素となる。
次に、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に1000個の画素を欠陥画素として検出し、その検出した1000個の画素から、第1優先補正画素群P1の200個の欠陥画素、第2優先補正画素群P2の300個の欠陥画素および第3優先補正画素群P3の200個の欠陥画素を除いたものを欠陥画素として選出し、第4優先補正画素群P4の欠陥画素のアドレスデータとして、RAM107に格納する。これは、例えば、CCD101の全ての画素の中から、欠陥画素レベルが高い画素から順に1000個の画素を検出する過程において、それらのうち第3優先補正画素群P3の200個の欠陥画素において最も低い欠陥画素レベルよりも低い欠陥画素レベルのものを選出することにより行う。このため、第4優先補正画素群P4の欠陥画素として、CCD101の全ての画素の中における欠陥画素レベルが高い1000個の画素から、第1優先補正画素群P1の200個の欠陥画素、第2優先補正画素群P2の300個の欠陥画素および第3優先補正画素群P3の200個の欠陥画素を減算した、残りの300個の画素を検出することとなる。この第4優先補正画素群P4として検出された300個の欠陥画素は、第1優先補正画素群P1の200個の欠陥画素、第2優先補正画素群P2の300個の欠陥画素および第3優先補正画素群P3の200個の欠陥画素を加算することにより、露光時間が16秒の場合に補正する1000個の欠陥画素となる。
なお、上記したように補正画素数を設定していることから、各優先補正画素群PN(N=1〜4)の各欠陥画素では、CCD101の全ての画素の中において、補正判断値すなわち設定の目安としての欠陥画素レベル(輝度値)の範囲にある欠陥画素レベルの画素の全てを漏らすことなく含むものではあるが、設定の目安としての欠陥画素レベル(輝度値)よりも小さな欠陥画素レベルの画素が含まれている場合はあり得る。
実施例のプロセッサ104では、上述したようにRAM107に格納した各優先補正画素群PN(N=1〜4)のアドレスデータ(図8参照)すなわち各欠陥画素データを利用して、欠陥画素補正処理を行う。図9は、このプロセッサ104にて実行される実施例の欠陥画素補正処理内容を示すフローチャートである。
ステップS1では、設定された露光時間を取得して、ステップS2へ進む。このステップS1では、レリーズスイッチSW1が押し下げられて撮影動作が開始されると、それにより得ることが可能となる当該撮影時の露光時間の情報を取得する。この露光時間は、撮影モードや撮影現場の雰囲気等に応じてプロセッサ104が設定する場合もあれば、操作キーユニットK_U(SW1−SW15)への操作により設定される場合もあるが、撮影動作が開始されると当該撮影時の露光時間が決まることから、撮影動作の開始に伴って露光時間の情報を取得する。
ステップS2では、ステップS1での設定された露光時間の取得に続き、取得した露光時間が8秒以上であるか否かを判定し、Yesの場合はステップS3へ進み、Noの場合はステップS4へ進む。このステップS2では、欠陥画素補正処理の内容の切り換え、すなわちCCD2信号処理ブロック104−2による欠陥画素補正動作の回数の切り換えのために、ステップS1で取得した露光時間の長さ(数値)を判断している。これは、上述したように、露光時間に応じた補正画素数が予め設定されていることと、CCD2信号処理ブロック104−2のRAM107に登録(格納)可能な欠陥画素数(登録限度数)には限度があることと、による。実施例では、RAM107に登録可能な欠陥画素数(登録限度数)が500であるのに対し、露光時間が4秒の場合の補正画素数が500に設定されかつ露光時間が8秒の場合の補正画素数が700に設定されていることから、露光時間が8秒以上であると設定された補正画素数が登録限度数を越えるので、欠陥画素補正動作を2回とすべくステップS3へ進み、露光時間が4秒以下であると設定された補正画素数が登録限度数以下であるので、欠陥画素補正動作を1回とすべくステップS4へ進む。
ステップS3では、ステップS2での露光時間が8秒以上であるとの判断に続き、補正優先度の高い欠陥画素の補正を実行して、ステップS4へ進む。このステップS3では、ステップS2にて露光時間が8秒以上であると判断したことから、CCD2信号処理ブロック104−2のRAM107に登録可能な欠陥画素数(登録限度数)よりも多くの欠陥画素を補正する必要があるので、CCD2信号処理ブロック104−2は補正優先度の高い順すなわち欠陥画素レベル(輝度値)の大きい順からRAM107の登録限度数の欠陥画素を補正する。実施例においてCCD2信号処理ブロック104−2は、RAM107の登録限度数が500であることから、第1優先補正画素群P1の200個の欠陥画素のアドレスデータと、第2優先補正画素群P2の300個の欠陥画素のアドレスデータと、をRAM107から読み出して、CCD2信号処理ブロック104−2のRAM107に登録(格納)する。
その後、CCD2信号処理ブロック104−2は、送られてきた画像データ(その各画素データ)において、RAM107に登録された欠陥画素のアドレスに相当する画素データを読み出し、その周辺のRGBフィルタで見て同じ色に対応した画素データで補間することにより、第1優先補正画素群P1の200個の欠陥画素と、第2優先補正画素群P2の300個の欠陥画素と、の合計500個の欠陥画素の補正を行う。ここで、当該500個の欠陥画素のアドレスデータは、その全てがRAM107に登録可能であることから、CCD2信号処理ブロック104−2では一度の欠陥画素補正動作で、補正優先度の高い500個の欠陥画素の全てを補正することができる。なお、各優先補正画素群PN(N=1〜4)の欠陥画素の個数の区切りが、RAM107の登録限度数に対応していない場合、補正優先度の高い方から順に登録可能な登録限度数の欠陥画素のアドレスデータを、RAM107への登録を可能とする状態で予めRAM107に格納しておくことが望ましい。
ステップS4では、ステップS2での露光時間が8秒以上ではないとの判断、あるいは、ステップS3での補正優先度の高い欠陥画素の補正の実行に続き、露光時間に応じた欠陥画素補正の準備を行って、ステップS5へ進む。このステップS4では、ステップS1で取得した露光時間に応じた補正画素数の欠陥画素を補正するために、各優先補正画素群PN(N=1〜4)のアドレスデータをRAM107から適宜読み出して、RAM107に登録(格納)することにより、露光時間に応じた欠陥画素補正の準備を行う(これを処理Aとする)。すなわち、実質的な補正画素数の設定を行う。
(高速な撮影処理での欠陥画素補正処理)
ここで、撮影モードや撮影現場の雰囲気等により、高速な撮影処理が必要な場合(例えば、連写等)、上記した欠陥画素補正処理の実行によりCCD2信号処理ブロック104−2で繰り返し(上記した実施例では2回)欠陥画素補正動作を行うと、その欠陥画素補正の処理時間が問題となる。このため、欠陥画素補正処理では、連写等の高速な撮影処理が必要な場合、欠陥画素レベルが高い画素(補正優先度の高い欠陥画素)を優先的に補正することを前提として、CCD2信号処理ブロック104−2での欠陥画素補正動作を1回だけ行う。これは、欠陥画素レベルが高い画素は、欠陥画素として画像(画像データ)に表れやすい画素であることによる。この場合、例えば、図9のフローチャートにおいてステップS3で欠陥画素補正動作を実行した場合はステップS4へと進むことなく、欠陥画素補正処理を終了するようにすることができる。これにより、連写等の高速な撮影処理が必要な場合、欠陥画素補正に要する処理時間を短縮しつつ画像(画像データ)に出現し易い欠陥画素を補正することができる。
(欠陥画素補正処理の作用)
この欠陥画素補正処理では、上述したように、撮像素子(CCD101)において補正対象とすべき欠陥画素の数が、RAM107に登録可能な欠陥画素数を超える場合、当該RAM107への登録内容を書き換えつつ、すなわちRAM107における欠陥画素データの登録内容を変更しつつ、CCD2信号処理ブロック104−2での欠陥画素補正の動作を繰り返すことから、撮像素子(CCD101)の全ての欠陥画素を補正することができる。詳細には、実施例では、RAM107に登録(格納)可能な登録限度数が500であるのに対し、露光時間に応じて必要な補正画素数を、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図8参照)ことから、露光時間が2秒もしくは4秒の場合、CCD2信号処理ブロック104−2での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数の補正を実行し、露光時間が8秒もしくは16秒の場合、1回目のCCD2信号処理ブロック104−2での欠陥画素補正動作としてステップS3にて500個の補正優先度の高い欠陥画素の補正を実行し、ステップS3に続く2回目のCCD2信号処理ブロック104−2での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数から、ステップS3で実行した欠陥画素補正の補正画素数500を減算した残りの補正画素数の補正をステップS5にて実行する。このように、CCD2信号処理ブロック104−2のRAM107に登録可能な欠陥画素数を超える場合(実施例では露光時間が8秒もしくは16秒の場合)であっても、その超えた画素数を2回目(設定条件によっては複数回)のCCD2信号処理ブロック104−2での欠陥画素補正動作により補正するので、補正が必要とされる欠陥画素数とRAM107の登録限度数との関係に拘らず、撮像素子(CCD101)の全ての欠陥画素を補正することができる。
(高速な撮影処理での欠陥画素補正処理)
ここで、撮影モードや撮影現場の雰囲気等により、高速な撮影処理が必要な場合(例えば、連写等)、上記した欠陥画素補正処理の実行によりCCD2信号処理ブロック104−2で繰り返し(上記した実施例では2回)欠陥画素補正動作を行うと、その欠陥画素補正の処理時間が問題となる。このため、欠陥画素補正処理では、連写等の高速な撮影処理が必要な場合、欠陥画素レベルが高い画素(補正優先度の高い欠陥画素)を優先的に補正することを前提として、CCD2信号処理ブロック104−2での欠陥画素補正動作を1回だけ行う。これは、欠陥画素レベルが高い画素は、欠陥画素として画像(画像データ)に表れやすい画素であることによる。この場合、例えば、図9のフローチャートにおいてステップS3で欠陥画素補正動作を実行した場合はステップS4へと進むことなく、欠陥画素補正処理を終了するようにすることができる。これにより、連写等の高速な撮影処理が必要な場合、欠陥画素補正に要する処理時間を短縮しつつ画像(画像データ)に出現し易い欠陥画素を補正することができる。
(欠陥画素補正処理の作用)
この欠陥画素補正処理では、上述したように、撮像素子(CCD101)において補正対象とすべき欠陥画素の数が、RAM107に登録可能な欠陥画素数を超える場合、当該RAM107への登録内容を書き換えつつ、すなわちRAM107における欠陥画素データの登録内容を変更しつつ、CCD2信号処理ブロック104−2での欠陥画素補正の動作を繰り返すことから、撮像素子(CCD101)の全ての欠陥画素を補正することができる。詳細には、実施例では、RAM107に登録(格納)可能な登録限度数が500であるのに対し、露光時間に応じて必要な補正画素数を、露光時間が2秒の場合の補正画素数を200とし、露光時間が4秒の場合の補正画素数を500とし、露光時間が8秒の場合の補正画素数を700とし、露光時間が16秒の場合の補正画素数を1000としている(図8参照)ことから、露光時間が2秒もしくは4秒の場合、CCD2信号処理ブロック104−2での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数の補正を実行し、露光時間が8秒もしくは16秒の場合、1回目のCCD2信号処理ブロック104−2での欠陥画素補正動作としてステップS3にて500個の補正優先度の高い欠陥画素の補正を実行し、ステップS3に続く2回目のCCD2信号処理ブロック104−2での欠陥画素補正動作として、ステップS1で取得した露光時間に応じた補正画素数から、ステップS3で実行した欠陥画素補正の補正画素数500を減算した残りの補正画素数の補正をステップS5にて実行する。このように、CCD2信号処理ブロック104−2のRAM107に登録可能な欠陥画素数を超える場合(実施例では露光時間が8秒もしくは16秒の場合)であっても、その超えた画素数を2回目(設定条件によっては複数回)のCCD2信号処理ブロック104−2での欠陥画素補正動作により補正するので、補正が必要とされる欠陥画素数とRAM107の登録限度数との関係に拘らず、撮像素子(CCD101)の全ての欠陥画素を補正することができる。
また、露光時間に応じて補正対象とする画素数を変更していることから、露光時間に応じた必要な補正画素数だけ補正すること、換言すると過不足のなく適切に補正することができ、欠陥画素の補正不足や過補正に基因する画質の低下を防止することができる。これは、補正不足により、画像(画像データ)において出現する欠陥画素が補正されていないと、画像上にて当該欠陥画素が認識されてしまう虞があり、過補正により、画像(画像データ)において出現しない画素を欠陥画素として補正してしまうと、補正前の画像において問題とはならない画素(およびその周辺)であったにも拘らず当該画素の周辺を実質的に平滑化することによる空間解像度の劣化等を招いてしまう虞があることによる。
さらに、欠陥画素レベルが高い画素を優先的に補正することから、画像(画像データ)上において欠陥画素と認識され易い画素を優先的に補正することができるので、より効率的に画質を向上させることができる。
このため、上述したディジタルカメラでは、RAM107での登録限度数に拘らず、補正対象とするすべての欠陥画素を適切に補正することができる。これにより、暗電流が増えたり蓄積されたりする条件、例えば、撮像素子(CCD101)の温度が上昇したり露光時間が長い状況で撮影された画像(画像データ)であっても、その品質を向上させることができる。
また、上記した実施例では、欠陥画素の影響の変化の判断基準を露光時間とし、露光時間に応じた補正画素数が設定されている例を示したが、動的な欠陥要因である温度キズの影響が変化する要因を判断基準として補正画素数を設定するものであればよく、実施例に限定されるものではない。例えば、ISO感度に応じた補正画素数の設定に基づいて欠陥画素補正処理を行うものとすることができる。この場合、露光時間と同様に、実際にディジタルスチルカメラ(実施例ではディジタルカメラ)にセンサ(実施例ではCCD101)を搭載した状態において、ISO感度100で出現する欠陥画素の数、ISO感度200で出現する欠陥画素の数、・・・・というように、設定された各ISO感度で出現する欠陥画素の数を統計的に把握し、ISO感度に応じて出現する欠陥画素の全てを補正するために充分だと判断できる数を、ISO感度に応じた補正画素数として設定すればよい。この一例として、露光時間がISO100の補正画素数を200とし、ISO200の場合の補正画素数を500とし、ISO400の場合の補正画素数を700とし、ISO800の場合の補正画素数を1000とすることにより、上記した露光時間に対応して補正画素数が設定されている場合と同様に欠陥画素補正処理を行うことができる。この場合であっても、制御部28は、設定されたISO感度に応じた補正画素数での欠陥画素補正処理のために、検出した欠陥画素のアドレス(CCD101上の縦横座標)のデータを、RAM107に格納する。
このような点から露光時間とISO感度の組み合わせから欠陥画素補正処理を行うようにすることにより、よりきめ細かな欠陥画素補正処理を行うことができる。この場合、RAM107に格納する欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を少なくするのが望ましい。図10〜図13は、露光時間とISO感度の組み合わせから欠陥画素補正処理を行うようにする際に、RAM107に格納する欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を少なくするための説明図である。
ここで、図10〜図13は、CCD101の温度がそれぞれ10°C,20°C,30°C,40°Cのとき、RAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)をそれぞれ示したものである。しかも、この図10〜図13において、縦軸は露光時間に応じた補正画素数のための組み合わせの説明のための露光時間(2s,4s,8s,16s)を示し、横軸はISO感度設定に応じた補正画素数のための組み合わせの説明のためのISO感度(100,200,400,800)を示している。
このような露光時間に応じた変数をxとし、ISO感度設定に応じた変数をyとすると共に、CCD101の温度に応じた変数をzとしたとき、RAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)は図10〜図13に示したような補正画素群Pxyzで示すアドレスで表すことができる。
この図10〜図13において、補正画素群Pxyzと変数x,y,zとの関係を説明する。
図10〜図13において、露光時間2sのとき「x=1」とし、露光時間4sのとき「x=2」とし、露光時間8sのとき「x=3」とし、露光時間16sのとき「x=4」とする。また、図10〜図13において、ISO感度が100のとき「y=1」とし、ISO感度が200のとき「y=2」とし、ISO感度が300のとき「y=3」とし、ISO感度が400のとき「y=4」とする。
また、CCD101の温度が10°Cのとき「z=1」とし、CCD101の温度が20°Cのとき「z=2」とし、CCD101の温度が30°Cのとき「z=3」とし、CCD101の温度が40°Cのとき「z=4」とする。
従って、例えば、図10においてP111は、補正画素群Pxyzのx,y,zをx=1(露光時間2s)、y=1(ISO100)、z=1(CCD101の温度10°C)としたときのアドレスを示している。また、例えば、図11においてP342は、補正画素群Pxyzのx,y,zをx=3(露光時間8s)、y=4(ISO800)、z=2(CCD101の温度20°C)としたときのアドレスを示している。このような補正画素群Pxyzで示すアドレスに、欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)が格納される。
このように図10〜図13は、各補正画素群PxyzにおけるRAM107に格納された欠陥画素のアドレス(CCD101上の縦横座標)のデータの個数(欠陥画素のデータ数)等を表で示す説明図である。この図10〜図13は変数が1≦x≦4、1≦y≦4、1≦z≦4の範囲をもっている場合のすべての組み合わせを表で示す説明図である。
ところで、このように変数x,y,zが4つある場合、各補正画素群Pxyzは4x4x4=64通りにもなってしまう。(実際のディジタルスチルカメラでは1≦x≦9、1≦y≦7、1≦z≦5の範囲をもっている場合もあるため、さらに多くの補正画素群Pxyzを必要としてしまう。)
このような補正画素群Pxyzの数を少なくするため、「露光時間1(2,3,4,・・・)段分の補正画素群Pxyz=撮像素子の温度では、t(t+k,t+2k,t+3k,・・・)℃分の補正画素群Pxyz=撮像素子のアナログゲイン1(2,3,4,・・・)段分の補正画素群Pxyz」とする。
このような補正画素群Pxyzの数を少なくするため、「露光時間1(2,3,4,・・・)段分の補正画素群Pxyz=撮像素子の温度では、t(t+k,t+2k,t+3k,・・・)℃分の補正画素群Pxyz=撮像素子のアナログゲイン1(2,3,4,・・・)段分の補正画素群Pxyz」とする。
図10〜図13に示したようにA〜Jで示す組み合わせ線を考えたとき、各組み合わせ線A〜Jが係る補正画素群Pxyzの部分は、同一の補正画素群と成すことができる。例えば組み合わせ線Fの係る網掛けをしたセル(P431,P341,P422,P332,P242,P413,P323,P233,P143,P314,P224,P134)を同一の補正画素群と成すことができる。
図10〜図13は、同一の補正画素群と成した考え方をその他の補正画素群にも適応させる場合の考え方を示した図である。このようにすることで、64通りもあった補正画素群PxyzはA〜Jまでの10通りに圧縮することができる。
上述した実施例1では欠陥画素補正処理についてのみ説明したが、欠陥画素補正処理のみに限定されるものではない。図14,図15は、欠陥画素補正処理に際して算出されるCCD(イメージセンサー)101の温度情報をLCDモニタ10に表示させるようにした例を示したものである。
図14のステップS10においてCPUのブロック104−3は、電源スイッチSW15の操作により、カメラ電源(図示せず)がONされると、図2のプロセッサ(制御装置)104のCPUのブロック104−3による撮影制御が開始される。このCPUのブロック104−3は、カメラ電源(図示せず)がONされると、図14のステップS10−1におけるようにモニタリング動作を開始して、ステップS10−2に移行する。このモニタリング動作においてCPUのブロック104−3は、上述した撮影動作すなわちAF処理およびAE処理,AWB処理を開始させて、ROM108の制御プログラムに基づいてモータードライバ7−5を動作制御してモータードライバ7−5によりFOCASモータ7−2bの駆動させると共に、FOCASレンズ7−2aを光軸方向に移動させて合焦動作をさせる。これに伴い、CPUのブロック104−3は、CCD1信号処理ブロック104−1を動作制御し、CCD101からの画像信号をF/E−IC102を介してCCD1信号処理ブロック104−1に取り込ませる。このCPUのブロック104−3は、取り込まれた画像信号に基づいて、TV信号表示ブロック104−9およびLCDドライバ117を介してLCDモニタ10に被写体像を表示させる。
そして、ステップS10−2においてCPUのブロック104−3は、LCDモニタ10に固体撮像素子であるCCD(イメージセンサー)101の温度情報を表示するか否かの判断をする。この判断は、ステップS10で電源スイッチSW15の操作により、カメラ電源がONされたとき、カメラの設定が「センサーの温度表示をする」になっていたるか否かで行われる。この設定は、メニュースイッチ(メニュー操作キー)SW14を操作して、LCDモニタ10にカメラ設定の多数の項目を表示させ、この項目のなかの「センサーの温度表示をする」をスイッチSW7〜SW10等により選択することで、行われる。
そして、ステップS10−2においてCPUのブロック104−3は、温度情報を表示しない場合にステップS10−1に戻ってループし、温度情報を表示する場合に実施例1のステップS13〜S19を実行する。このステップS19では、図3に記載したフロー同様に、イメージセンサーの温度(TEMP)が算出され、ステップS19−1に移行する。
このステップS19においてCPUのブロック104−3は、ステップ19(S19)で算出された温度情報を図15に示したようにLCDモニタ10に表示させる。この図15では、温度情報を表示させるマークMtをLCDモニタ10に表示させると共に、LCDモニタ10に温度表示バーBtを表示させている。そして、ステップS19で算出された温度が低い場合は、図15(a)のように温度表示バーBtの黒で示した部分が短く、温度が高い場合には図15(b)のように温度表示バーBtの黒で示した部分が長く表示される。これにより撮影者は、CCD(イメージセンサー)101の温度を把握することが出来、温度が高い場合は、ノイズや欠陥画素が発生し、画質劣化が発生することを認識できる。
以上説明したように、この発明の実施の形態の撮像装置は、撮像領域内に遮光領域(OB領域)を含む固体撮像素子(CCD101)と、前記固体撮像素子(CCD101)の温度による欠陥画素の位置情報を予め求めて記憶させた欠陥画素位置記憶手段(RAM107)と、撮影時に、前記欠陥画素記憶手段(RAM107)に記憶されている前記欠陥画素の位置情報を元に前記固体撮像素子(CCD101)の温度を算出すると共に、この算出した温度に基づいて補正条件を変更する温度算出手段(CPUブロック104−3)と、前記補正条件に基づいて前記欠陥画素を補正する欠陥画素補正手段(欠陥画素補正ブロック104−3A)と、を備えている。しかも、前記温度算出手段(CPUブロック104−3)は、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子(CCD101)の温度を算出するようになっている。
この構成によれば、固体撮像素子(イメージセンサーであるCCD101)の温度を固体撮像素子(CCD101)のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いているので、固体撮像素子(CCD101)の温度推定の精度を向上させることができる。
また、この発明の実施の形態の撮像装置において、前記温度算出手段(CPUブロック104−3)は、複数の補正条件を予め記憶し、温度算出の結果により補正条件を切り替えるようになっている。
この構成によれば、メモリ等に予め記憶された複数の補正条件と温度算出の結果により補正条件を切り替えるので、補正条件を簡易且つ迅速に変更できる。
更に、この発明の実施の形態の撮像装置において、前記遮光領域の画素のうちの欠陥画素を除外した前記遮光領域の画素の平均値と前記固体撮像素子(CCD101)の温度との相関テーブルが前記欠陥画素位置記憶手段(RAM107)に予め記憶されている。しかも、前記温度算出手段(CPUブロック104−3)は、撮影時に前記遮光領域の画素のうち所定の閾値以上の画素値のものを除外して前記遮光領域の出力の平均値を求めて、この求めた出力の平均値と前記欠陥画素位置記憶手段(RAM107)に予め記憶されている遮光領域の画素の平均値と固体撮像素子(CCD101)の温度との相関テーブルにより前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子(CCD101)の温度を算出するようになっている。
この構成によれば、固体撮像素子(イメージセンサーであるCCD101)の温度を固体撮像素子(CCD101)のOB領域画素の出力値から推定する際、前記遮光領域の画素のうちの欠陥画素を除外した遮光領域の画素の平均値と固体撮像素子(CCD101)の温度との相関テーブルを用いて、前記固体撮像素子(CCD101)の温度を算出するので、固体撮像素子(CCD101)の温度推定の精度を向上させることができる。即ち、図5の(a)の特性線F2で示した通り、OB領域の画素出力平均値を計算する時に、欠陥画素を含めると、温度が高くなるほど平均値が非線形に上がってしまい、正確に温度との相関がとれなくなる。しかし、この実施の形態におけるように、図5の(b)の特性線F1で示した通り、OB領域出力平均値を求める際に、OB領域の欠陥画素を含めないで計算する事により、欠陥画素の値の影響が無くなり、線形に温度との相関がとれる。
また、ディジタルスチルカメラなどの撮像装置において、生産・検査工程であらかじめ、撮像素子の欠陥画素位置情報をメモリに記憶し、撮影時に記録してある欠陥画素位置情報を元に欠陥画素を補正する技術があり、それを応用したものとして、長秒時露光の露光時間毎に発生する画素欠陥位置情報をグループ化して登録することで使用するメモリ容量を節約つつ適切な画素欠陥補正をする技術が考えられている。しかし、長秒時露光の露光時間毎に発生する画素欠陥位置情報をグループ化して登録することで使用するメモリ容量を節約しつつ適切な画素欠陥補正をする技術では、撮像素子の温度やアナログゲインの変化を考慮していない。撮像素子の画素欠陥の発生は露光時間にも大きく影響するが、撮像素子の温度やアナログゲインにも大きく影響をするため、その影響も考慮しなければならない。
このような点を考慮して、この発明の実施の形態の撮像装置において、前記欠陥画素位置記憶手段(RAM107)は前記固体撮像素子(CCD101)の温度、露光時間、及びISO感度の組み合わせに応じた前記欠陥画素の位置が重複させることなく記憶している。また、前記欠陥画素補正手段(欠陥画素補正ブロック104−3A)は前記欠陥画素位置記憶手段(RAM107)に記憶されている前記欠陥画素の位置情報をもとに前記固体撮像素子(CCD101)の温度、露光時間、及びISO感度に応じて欠陥画素補正を行うようになっている。
この構成によれば、生産・検査工程であらかじめ撮像素子の欠陥画素位置情報をメモリに記憶する際に、撮像素子の画素欠陥の発生を露光時間の影響だけでなく、温度やアナログゲインの影響も考慮して、グループ化することで撮像素子の温度やISO感度設定に変化が生じた場合でも、使用するメモリ容量を節約しつつ適切な画素欠陥補正をすることができる。
更に、この発明の実施の形態の撮像装置は、前記表示装置(LCDモニター10)は前記算出された前記固体撮像素子(CCD101)の温度情報を表示するようになっている。
この構成によれば、推定した固体撮像素子(イメージセンサーであるCCD101)の温度をLCDモニター10に表示して撮影者に知らせることで、撮影者はいつでもイメージセンサーの温度状態を把握することが出来る。そして、高温時には、撮影者がカメラの電源を切る等の対策をし固体撮像素子(イメージセンサーであるCCD101)の温度を下げることで、ノイズや欠陥画素の少ない状態で撮影できる効果がある。
また、この発明の実施の形態の撮像方法は、撮像領域内に遮光領域(OB領域)を含む固体撮像素子(イメージセンサーであるCCD101)の温度による欠陥画素の位置情報を予め求めておいて、撮影時に前記欠陥画素の位置情報を元に前記固体撮像素子(イメージセンサーであるCCD101)の温度を求て、この求めた温度に基づき補正条件を変更して前記欠陥画素を補正する。しかも、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子(イメージセンサーであるCCD101)の温度を算出するようにしている。
この撮像方法によれば、固体撮像素子(イメージセンサーであるCCD101)の温度を固体撮像素子(CCD101)のOB領域画素の出力値から推定する際、OB領域の画素出力値からOB領域の欠陥画素の出力値を除外した値を用いているので、固体撮像素子(CCD101)の温度推定の精度を向上させることができる。
10・・・LCDモニター(表示装置)
101・・・CCD(固体撮像素子)
107・・・RAM(欠陥画素位置記憶手段)
104・・・ディジタルスチルカメラプロセッサ(プロセッサ)
104−3・・・CPUブロック(温度算出手段)
104−3A・・・欠陥画素補正ブロック(欠陥画素補正手段)
101・・・CCD(固体撮像素子)
107・・・RAM(欠陥画素位置記憶手段)
104・・・ディジタルスチルカメラプロセッサ(プロセッサ)
104−3・・・CPUブロック(温度算出手段)
104−3A・・・欠陥画素補正ブロック(欠陥画素補正手段)
Claims (6)
- 撮像領域内に遮光領域を含む固体撮像素子と、
前記固体撮像素子の温度による欠陥画素の位置情報を予め求めて記憶させた欠陥画素位置記憶手段と、
撮影時に、前記欠陥画素記憶手段に記憶されている前記欠陥画素の位置情報を元に前記固体撮像素子の温度を算出すると共に、この算出した温度に基づいて補正条件を変更する温度算出手段と、
前記補正条件に基づいて前記欠陥画素を補正する欠陥画素補正手段と、を備える撮像装置であって、
前記温度算出手段は、前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする撮像装置。 - 請求項1の撮像装置において、前記温度算出手段は、複数の補正条件を予め記憶し、温度算出の結果により補正条件を切り替えることを特徴とする撮像装置。
- 請求項1の撮像装置において、前記遮光領域の画素のうちの欠陥画素を除外した前記遮光領域の画素の平均値と前記固体撮像素子の温度との相関テーブルが前記欠陥画素位置記憶手段に予め記憶されていると共に、前記温度算出手段は、撮影時に前記遮光領域の画素のうち所定の閾値以上の画素値のものを除外して前記遮光領域の出力の平均値を求めて、この求めた出力の平均値と前記欠陥画素位置記憶手段に予め記憶されている遮光領域の画素の平均値と固体撮像素子の温度との相関テーブルにより前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする撮像装置。
- 前記欠陥画素位置記憶手段は前記固体撮像素子の温度、露光時間、及びISO感度の組み合わせに応じた前記欠陥画素の位置が重複させることなく記憶していると共に、前記欠陥画素補正手段は前記欠陥画素位置記憶手段に記憶されている前記欠陥画素の位置情報をもとに前記固体撮像素子の温度、露光時間、及びISO感度に応じて欠陥画素補正を行うことを特徴とする請求項1記載の撮像装置。
- 請求項1に記載の撮像装置は、算出した前記固体撮像素子の温度情報を表示装置に表示することを特徴とする撮像装置。
- 撮像領域内に遮光領域を含む固体撮像素子の温度による欠陥画素の位置情報を予め求めておいて、撮影時に前記欠陥画素の位置情報を元に前記固体撮像素子の温度を求て、この求めた温度に基づき補正条件を変更して前記欠陥画素を補正する撮像方法であって、
前記遮光領域の画素のうちの欠陥画素を除外して前記固体撮像素子の温度を算出することを特徴とする撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011210313A JP2013074368A (ja) | 2011-09-27 | 2011-09-27 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011210313A JP2013074368A (ja) | 2011-09-27 | 2011-09-27 | 撮像装置及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013074368A true JP2013074368A (ja) | 2013-04-22 |
Family
ID=48478537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011210313A Withdrawn JP2013074368A (ja) | 2011-09-27 | 2011-09-27 | 撮像装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013074368A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130630A (ja) * | 2014-01-08 | 2015-07-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR102039715B1 (ko) * | 2018-11-26 | 2019-11-01 | 엔텍월드(주) | 통로형 우산 건조기 |
-
2011
- 2011-09-27 JP JP2011210313A patent/JP2013074368A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130630A (ja) * | 2014-01-08 | 2015-07-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR102039715B1 (ko) * | 2018-11-26 | 2019-11-01 | 엔텍월드(주) | 통로형 우산 건조기 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8823857B2 (en) | Image apparatus | |
US9270875B2 (en) | Dual image capture processing | |
JP6019964B2 (ja) | 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法 | |
JP5123137B2 (ja) | 撮像装置および撮像方法 | |
JP5169318B2 (ja) | 撮像装置、撮像方法 | |
JP5780764B2 (ja) | 撮像装置 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP5387341B2 (ja) | 撮像装置 | |
JP2014216775A (ja) | 撮像装置、検出方法およびプログラム | |
JP5948997B2 (ja) | 撮像装置及び撮像方法 | |
JP5095434B2 (ja) | 撮像装置および画像処理装置 | |
JP2005176115A (ja) | 撮像装置 | |
JP2013074368A (ja) | 撮像装置及び撮像方法 | |
JP5299159B2 (ja) | 撮像装置およびプログラム | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
JP2009055415A (ja) | カメラ | |
JP2010068331A (ja) | 撮像装置および撮像方法 | |
JP2008072501A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2006121165A (ja) | 撮像装置、画像形成方法 | |
JP2014230121A (ja) | 撮像装置および画素欠陥検出方法 | |
JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
JP2015041823A (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JP4514138B2 (ja) | 固体撮像素子の駆動方法およびデジタルカメラ | |
JP4824467B2 (ja) | 固体撮像装置 | |
JP4326997B2 (ja) | 撮像装置および合焦方法、制御プログラム、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |