JP2013168793A - 画像処理装置 - Google Patents

Abstract

【課題】回路規模を軽減させ、かつ正確なキズ補正を可能とする画像処理装置を提供すること。
【解決手段】実施形態によれば、画像処理装置は、キズ補正回路１２を有する。キズ補正回路１２は、条件判定部２１、信号置換部２２及びフラグ保持部であるフラグ用ラインメモリ２３及び２４を有する。条件判定部２１は、画像信号のうち、対象画素の信号と、水平周辺画素の信号と、を基に、キズ条件に該当するか否かを判定する。フラグ保持部は、条件判定部２１による判定結果をフラグとして保持する。信号置換部２２は、垂直周辺画素及び斜め周辺画素の少なくともいずれかがキズ条件に該当する旨のフラグがフラグ保持部から読み出された場合に、対象画素に対する信号の置換を中止する。垂直周辺画素は、対象画素と垂直方向に並列する画素である。斜め周辺画素は、対象画素と斜め方向に並列する画素である。
【選択図】図３

Description

本発明の実施形態は、画像処理装置に関する。

近年、固体撮像装置は、高画素化による画素の微細化が進行している。このような状況下において、固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）の発生が問題視されるようになっている。固体撮像装置の製造時の欠陥検査において規定より多くの画素欠陥が認められた製品は不良品として扱われることになるが、規定が厳格であるほど、固体撮像装置の歩留まりを低下させ製造コストを増加させることとなる。そこで、従来、固体撮像装置は、キズ補正回路における信号処理によってキズを目立たなくする手法が積極的に採用されている。

キズ補正回路は、キズ補正の対象とする対象画素の信号と、対象画素の周辺に位置する周辺画素の信号とを比較することで、対象画素がキズであるか否かを判定する。対象画素がキズであるか否かの判定において、例えば、対象画素を含むラインに位置する周辺画素の信号と、そのラインの前後のラインに位置する周辺画素の信号とを使用するキズ補正回路が知られている。周辺画素としては、例えば、対象画素と同色用の画素を採用する。

キズ補正回路によるこのような処理のために、固体撮像装置は、複数のラインを格納するラインメモリが必要となる。固体撮像装置は、ラインメモリを適用することで、対象画素を含むラインの前後のラインに位置する周辺画素の信号を使用するキズ補正が可能となる一方、回路規模が増大することが問題となる。対象画素と、対象画素を含むラインに位置する周辺画素のみを使用して、対象画素がキズであるか否かを判定することとした場合、固体撮像装置は、回路規模を軽減できる一方、誤補正が生じ易くなることが問題となる。

特開２０１０−６８３２９号公報

本発明の一つの実施形態は、回路規模を軽減させ、かつ正確なキズ補正を可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、キズ補正回路を有する。キズ補正回路は、画素アレイからの画像信号についてキズ補正を実施する。キズ補正回路は、条件判定部、信号置換部及びフラグ保持部を有する。条件判定部は、画像信号のうち、対象画素の信号と、水平周辺画素の信号と、を基に、キズ条件に該当するか否かを判定する。水平周辺画素は、画素アレイにて対象画素と水平方向に並列する画素である。水平周辺画素は、対象画素と同色用の画素である。信号置換部は、キズ条件に該当した対象画素に対し、信号の置換を実施する。フラグ保持部は、条件判定部による判定結果をフラグとして保持する。信号置換部は、垂直周辺画素及び斜め周辺画素の少なくともいずれかがキズ条件に該当する旨のフラグがフラグ保持部から読み出された場合に、対象画素に対する信号の置換を中止する。垂直周辺画素は、画素アレイにて対象画素と垂直方向に並列する画素である。斜め周辺画素は、画素アレイにて対象画素と斜め方向に並列する画素である。垂直周辺画素及び斜め周辺画素は、いずれも対象画素と同色用の画素である。

実施形態にかかる固体撮像装置であるイメージセンサの概略構成を示すブロック図。 図１に示すイメージセンサを備えるカメラの概略構成を示すブロック図。 キズ補正回路の構成を示すブロック図。 ベイヤー配列を説明する図。 条件判定部における判定について説明する図。 信号置換部がフラグを参照する画素について説明する図。 実施形態の比較例によるキズ補正の手法について説明する図。 実施形態のキズ補正回路によるキズ補正の手順を説明するフローチャート。 信号置換部における動作の変形例について説明する図。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態にかかる固体撮像装置であるイメージセンサの概略構成を示すブロック図である。図２は、図１に示すイメージセンサを備えるカメラの概略構成を示すブロック図である。

カメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及びイメージセンサ５を有する。後段処理部３は、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラ１は、例えば、デジタルカメラである。カメラモジュール２は、デジタルカメラ以外に、例えばカメラ付き携帯端末等の電子機器で使用される。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。イメージセンサ５は、被写体像を撮像する。ＩＳＰ６は、イメージセンサ５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。

イメージセンサ５は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサである。イメージセンサ５は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge coupled device）であっても良い。イメージセンサ５は、画素アレイ１０、アナログデジタル変換器（ＡＤＣ）１１、キズ補正回路１２、信号処理回路１３及びインタフェース（Ｉ／Ｆ）１４を有する。

画素アレイ１０は、撮像光学系４により取り込まれた光を信号電荷に変換し、被写体像を撮像する。画素アレイ１０は、例えば、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ１１は、画素アレイ１０からの画像信号をアナログ方式からデジタル方式へ変換する。

キズ補正回路１２は、ＡＤＣ１１からの画像信号についてキズ補正を実施する。本実施形態において、キズ補正回路１２は、白キズ及び黒キズの双方を、キズ補正の対象とする。白キズは、画素の機能が正常である場合に比べて高い信号レベルを示すキズとする。黒キズは、画素の機能が正常である場合に比べて低い信号レベルを示すキズとする。

信号処理回路１３は、キズ補正回路１２からの画像信号に対し、ノイズキャンセル、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。キズ補正回路１２及び信号処理回路１３は、ＡＤＣ１１からのデジタル画像信号に対して種々の画像処理を施す画像処理装置として機能する。

Ｉ／Ｆ１４は、信号処理回路１３での信号処理を経た画像信号を出力する。Ｉ／Ｆ１４は、シリアル入力からパラレル出力への変換や、パラレル入力からシリアル出力への変換を行うこととしても良い。

図３は、キズ補正回路の構成を示すブロック図である。キズ補正回路１２は、条件判定部２１、信号置換部２２、フラグ用ラインメモリ２３及び２４を有する。

条件判定部２１は、画像信号から画素ごとの信号を参照し、キズ条件に該当するか否かを判定する。信号置換部２２は、キズ条件に該当した対象画素を対象として、キズ補正として、信号の置換を実施する。対象画素は、キズ補正回路１２においてキズ補正の要否を判定し、キズ補正を実施する対象とする画素とする。

フラグ用ラインメモリ２３は、条件判定部２１による白キズについての判定結果を保持するフラグ保持部である。フラグ用ラインメモリ２４は、条件判定部２１による黒キズについての判定結果を保持するフラグ判定部である。フラグ用ラインメモリ２３及び２４は、いずれも、キズ条件に該当するか否かを表す１ビットの情報を、２ラインについて保持する。

図４は、ベイヤー配列を説明する図である。図５は、条件判定部における判定について説明する図である。ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素からなる２行２列の画素ブロックを単位として構成されている。Ｒ画素は、赤色成分を検出する。Ｂ画素は、青色成分を検出する。Ｇｒ画素は、緑色成分を検出する画素であって、水平方向においてＲ画素に隣接する。Ｇｂ画素は、緑色成分を検出する画素であって、水平方向においてＢ画素に隣接する。

条件判定部２１は、ラインごと（Ｇｒ／Ｒライン、Ｇｂ／Ｂライン）の信号として入力された画像信号のうち、対象画素３０の信号と、水平周辺画素３１の信号とを抽出する。水平周辺画素３１は、対象画素３０と同色用の画素であって、画素アレイ１０にて対象画素３０と水平方向に並列する画素とする。

水平周辺画素３１は、例えば、一つの対象画素３０を中心として、水平方向へそれぞれ一画素おきに並列する四つの同色用画素とする。図５に示す例では、対象画素３０及び水平周辺画素３１はＧｒ画素とする。本実施形態では、Ｇｒ画素とＧｂ画素とは、互いに、同色用画素に該当しないものとする。なお、一つの対象画素３０に対する水平周辺画素３１の数及び位置は、適宜変更しても良い。

条件判定部２１は、対象画素３０の信号と、四つの水平周辺画素３１の信号とを、信号レベルに応じて並べ替える。例えば、信号レベルが高いものから順に並べ替えられた五つの信号を、Ｄ１〜Ｄ５とする。条件判定部２１は、Ｄ１〜Ｄ５を基に、キズ条件に該当するか否かを判定する。

条件判定部２１は、信号レベルが最大であるＤ１と、Ｄ１に次いで高い信号レベルのＤ２との差分（Ｄ１−Ｄ２）を求め、Ｄ１−Ｄ２と所定の白キズ判定用閾値（Ｔｈ＿Ｗ）とを比較する。Ｔｈ＿Ｗは、例えば、予め設定され、条件判定部２１が保持しているものとする。

（Ｄ１−Ｄ２）＞Ｔｈ＿Ｗが成立する場合、条件判定部２１は、Ｄ１が白キズ条件を満足する信号であって、白キズ条件に該当するものと判定する。（Ｄ１−Ｄ２）＞Ｔｈ＿Ｗが成立しない場合、条件判定部２１は、Ｄ１は白キズ条件を満足する信号ではなく、白キズ条件に該当しないものと判定する。

条件判定部２１は、信号レベルが最小であるＤ５と、Ｄ５に次いで低い信号レベルのＤ４との差分（Ｄ４−Ｄ５）を求め、Ｄ４−Ｄ５と所定の黒キズ判定用閾値（Ｔｈ＿Ｂ）とを比較する。Ｔｈ＿Ｂは、例えば、予め設定され、条件判定部２１が保持しているものとする。

（Ｄ４−Ｄ５）＞Ｔｈ＿Ｂが成立する場合、条件判定部２１は、Ｄ５が黒キズ条件を満足する信号であって、黒キズ条件に該当するものと判定する。（Ｄ４−Ｄ５）＞Ｔｈ＿Ｂが成立しない場合、条件判定部２１は、Ｄ５は黒キズ条件を満足する信号ではなく、黒キズ条件に該当しないものと判定する。

図６は、信号置換部がフラグを参照する画素について説明する図である。例えば、対象画素３０である画素Ｐ０、水平周辺画素３１である画素Ｐ１、Ｐ２、Ｐ３及びＰ４が、ラインＬ３に位置している。フラグ用ラインメモリ２３及び２４は、ラインＬ３に先行してキズ補正回路１２へ入力された二つのラインＬ１及びＬ２の各画素について、キズ条件に該当するか否かを表すフラグを保持している。

ラインＬ１に位置する画素Ｐ５は、一つの画素を介して、画素Ｐ０と垂直方向に並列している。画素Ｐ５は、対象画素３０である画素Ｐ０と同色用の画素である。画素Ｐ５は、画素アレイ１０にて画素Ｐ０と垂直方向に並列する垂直周辺画素３２である。信号置換部２２は、画素Ｐ０についてキズ補正を実施するか否かの判定に際し、画素Ｐ５についてのフラグをフラグ用ラインメモリ２３及び２４から読み出す。

ラインＬ１は、ラインＬ３に対し一本のラインＬ２を介して先行するラインであって、ラインＬ３の対象画素３０と同色用の画素を含む。キズ補正回路１２は、２ラインについてフラグを保持するフラグ用ラインメモリ２３及び２４を適用することで、ラインＬ３の画素のキズ補正において、ラインＬ１の画素についてのフラグの参照を可能としている。

条件判定部２１においてキズ条件に該当しない旨の判定があった場合、信号置換部２２は、対象画素３０に対する信号の置換を実施せず、対象画素３０についての信号をそのまま通過させる。条件判定部２１においてキズ条件に該当する旨の判定があった場合、信号置換部２２は、キズ条件を満足したＤ１或いはＤ５が対象画素３０の信号であるか否かを判別する。

キズ条件を満足したＤ１或いはＤ５が対象画素３０の信号でない場合、信号置換部２２は、対象画素３０に対する信号の置換を実施せず、対象画素３０についての信号をそのまま通過させる。キズ条件を満足したＤ１或いはＤ５が対象画素３０の信号である場合、信号置換部２２は、フラグ用ラインメモリ２３及び２４から読み出したフラグに応じて、対象画素３０に対する信号の置換を実施する。

対象画素３０がキズ条件に該当し、かつ垂直周辺画素３２がキズ条件に該当しない旨のフラグがフラグ用ラインメモリ２３及び２４のいずれからも読み出された場合、信号置換部２２は、対象画素３０に対する信号の置換を実行する。

対象画素３０がキズ条件に該当し、かつ垂直周辺画素３２がキズ条件に該当する旨のフラグがフラグ用ラインメモリ２３及び２４のいずれかから読み出された場合、信号置換部２２は、対象画素３０に対する信号の置換を中止する。この場合、信号置換部２２は、対象画素３０について入力された信号をそのまま通過させる。

図７は、本実施形態の比較例によるキズ補正の手法について説明する図である。比較例にかかるキズ補正回路は、５×５画素のマトリクスをなす２５画素のうち中心の画素を対象画素とする。周辺画素は、マトリクスのうち、対象画素と同色用の画素であって、対象画素の周辺に位置する画素とする。マトリクスには、１個の対象画素と８個の周辺画素とが含まれる。図示する例では、対象画素及び周辺画素は、Ｇｒ用画素とする。

比較例にかかるキズ補正回路は、対象画素の信号と周辺画素の信号とを、例えば信号レベルが高いものから順にＤ１〜Ｄ９と並べ替え、キズ判定を実施する。キズ補正回路は、Ｄ１及びＤ２の差分Ｄ１−Ｄ２と所定の白キズ判定用閾値との比較結果に応じて、Ｄ１が白キズによるものか否かを判定する。Ｄ１が白キズによるものであり、対象画素の信号である場合、キズ補正回路は、対象画素が白キズであるものと判定する。

キズ補正回路は、Ｄ８及びＤ９の差分Ｄ８−Ｄ９と所定の黒キズ判定用閾値との比較結果に応じて、Ｄ９が黒キズによるものか否かを判定する。Ｄ９が黒キズによるものであり、対象画素の信号である場合、キズ補正回路は、対象画素が黒キズであるものと判定する。

キズ補正回路によるこのような処理のために、固体撮像装置は、少なくとも４本のラインを格納するラインメモリが必要となる。固体撮像装置は、ラインメモリを適用することで、対象画素を含むラインの前後のラインに位置する周辺画素の信号を使用するキズ補正が可能となる一方、回路規模が増大することとなる。

固体撮像装置は、キズ補正回路において、対象画素を含むラインに位置する周辺画素のみにより、対象画素がキズであるか否かを判別する場合、ラインメモリが不要となる分、回路規模の増大を抑止し得る。但し、同じラインに位置する画素の信号のみからキズ判定を実施した場合、本来被写体に存在する要素の誤補正が生じ易くなる。例えば、縦方向に伸びる線状の要素が、キズ補正回路においてキズであるものと判定され、信号の無用な置換がなされた場合、かかる要素の一部或いは全体が変化してしまうことになる。

本実施形態にかかるイメージセンサ５は、フラグとして画素当たり１ビットの情報を格納するフラグ用ラインメモリ２３及び２４を使用することで、例えば画素当たり１０ビットの画像信号を複数ラインについて格納するラインメモリを搭載する場合に比べて、回路規模を軽減させることができる。また、キズ補正回路１２は、垂直周辺画素３２についての条件判定部２１の判定結果を参照することで、被写体に存在する要素の誤補正を抑制可能とする。

図８は、本実施形態のキズ補正回路によるキズ補正の手順を説明するフローチャートである。ここでは、図６に示す画素Ｐ０を対象画素３０とする場合を例とする。条件判定部２１は、画素Ｐ０の信号と、水平周辺画素３１である画素Ｐ１〜Ｐ４の信号とを、例えば信号レベルが高いものからＤ１〜Ｄ５（図５参照）と並べ替える。

条件判定部２１は、信号レベルが最大であるＤ１と、Ｄ１に次いで高い信号レベルのＤ２との差分（Ｄ１−Ｄ２）を求め、白キズ条件である（Ｄ１−Ｄ２）＞Ｔｈ＿Ｗを満足するか否かを判定する（ステップＳ１）。（Ｄ１−Ｄ２）＞Ｔｈ＿Ｗを満足する場合（ステップＳ１、Ｙｅｓ）、信号置換部２２は、Ｄ１が画素Ｐ０の信号であるか否かを判別する（ステップＳ２）。

Ｄ１が画素Ｐ０の信号でない場合（ステップＳ２、Ｎｏ）、信号置換部２２は、画素Ｐ０について、信号の置換を実施せず、入力された信号をそのまま出力する（ステップＳ６）。さらに、信号置換部２２は、フラグ用ラインメモリ２３へ、画素Ｐ０について、白キズ条件に該当しない旨の白キズフラグ、例えば「０」を書き込む（白キズフラグ＝０）。信号置換部２２は、フラグ用ラインメモリ２４へ、画素Ｐ０について、黒キズに該当しない旨の黒キズフラグ、例えば「０」を書き込む（黒キズフラグ＝０）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

Ｄ１が画素Ｐ０の信号である場合（ステップＳ２、Ｙｅｓ）、信号置換部２２は、フラグ用ラインメモリ２３へ、画素Ｐ０について、白キズ条件に該当する旨の白キズフラグ、例えば「１」を書き込む（白キズフラグ＝１）。信号置換部２２は、フラグ用ラインメモリ２４へ、画素Ｐ０について、黒キズフラグ「０」を書き込む（黒キズフラグ＝０）（ステップＳ３）。信号置換部２２は、後述する信号の置換の実行及び中止に関わらず、画素Ｐ０が白キズ条件に該当する場合は、白キズフラグを「１」とする。

ステップＳ３に続いて、信号置換部２２は、垂直周辺画素３２である画素Ｐ５について、フラグ用ラインメモリ２３に格納されている白キズフラグを読み出す。画素Ｐ５について読み出された白キズフラグが「１」である場合（ステップＳ４、Ｙｅｓ）、信号置換部２２は、画素Ｐ０について、信号の置換を中止し、入力された信号をそのまま出力する（ステップＳ５）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

このように、キズ補正回路１２は、垂直方向に並列する対象画素３０及び垂直周辺画素３２がいずれも白キズ条件に該当することが認められた場合、白キズ条件に該当したこれらの画素からの信号は白キズによるものではなく被写体に存在する要素によるものとみなし、キズ補正を行わないものとする。この場合、キズ補正回路１２は、被写体のうち、高いレベルの信号が縦方向へ続くような要素について、誤補正を効果的に抑制させることができる。

画素Ｐ５について読み出された白キズフラグが「０」である場合（ステップＳ４、Ｎｏ）、信号置換部２２は、画素Ｐ０について、信号の置換を実行する。信号置換部２２は、画素Ｐ０の信号を、例えば、Ｄ１〜Ｄ５のうちの中央値であるＤ３に置き換えて、出力する（ステップＳ７）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

キズ補正回路１２は、対象画素３０が白キズ条件に該当し、かつ垂直周辺画素３２が白キズ条件に該当しない場合に、対象画素３０のキズ補正を実施する。なお、キズ補正回路１２は、画素Ｐ０の信号をＤ３以外の信号に置き換えることとしても良い。キズ補正回路１２は、画素Ｐ０の信号を、Ｄ２及びＤ３の平均、Ｄ３及びＤ４の平均等と置き換えることとしても良い。

（Ｄ１−Ｄ２）＞Ｔｈ＿Ｗを満足しない場合（ステップＳ１、Ｎｏ）、条件判定部２１は、信号レベルが最小であるＤ５と、Ｄ５に次いで低い信号レベルのＤ４との差分（Ｄ４−Ｄ５）を求め、黒キズ条件である（Ｄ４−Ｄ５）＞Ｔｈ＿Ｂを満足するか否かを判定する（ステップＳ８）。

（Ｄ４−Ｄ５）＞Ｔｈ＿Ｂを満足する場合（ステップＳ８、Ｙｅｓ）、信号置換部２２は、Ｄ５が画素Ｐ０の信号であるか否かを判別する（ステップＳ９）。Ｄ５が画素Ｐ０の信号でない場合（ステップＳ９、Ｎｏ）、信号置換部２２は、画素Ｐ０について、信号の置換を実施せず、入力された信号をそのまま出力する（ステップＳ１３）。

さらに、信号置換部２２は、フラグ用ラインメモリ２３へ、画素Ｐ０について、白キズフラグ「０」を書き込む（白キズフラグ＝０）。信号置換部２２は、フラグ用ラインメモリ２４へ、画素Ｐ０について、黒キズフラグ「０」を書き込む（黒キズフラグ＝０）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

Ｄ５が画素Ｐ０の信号である場合（ステップＳ９、Ｙｅｓ）、信号置換部２２は、フラグ用ラインメモリ２４へ、画素Ｐ０について、黒キズフラグ「１」を書き込む（黒キズフラグ＝１）。信号置換部２２は、フラグ用ラインメモリ２３へ、画素Ｐ０について、白キズフラグ「０」を書き込む（白キズフラグ＝０）（ステップＳ１０）。信号置換部２２は、後述する信号の置換の実行及び中止に関わらず、画素Ｐ０が黒キズ条件に該当する場合は、黒キズフラグを「１」とする。

ステップＳ１０に続いて、信号置換部２２は、垂直周辺画素３２である画素Ｐ５について、フラグ用ラインメモリ２４に格納されている黒キズフラグを読み出す。画素Ｐ５について読み出された黒キズフラグが「１」である場合（ステップＳ１１、Ｙｅｓ）、信号置換部２２は、画素Ｐ０について、信号の置換を中止し、入力された信号をそのまま出力する（ステップＳ１２）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

このように、キズ補正回路１２は、垂直方向に並列する対象画素３０及び垂直周辺画素３２がいずれも黒キズ条件に該当することが認められた場合、キズ条件に該当したこれらの画素からの信号は黒キズによるものではなく被写体に存在する要素によるものとみなし、キズ補正を行わないものとする。この場合、キズ補正回路１２は、被写体のうち、低いレベルの信号が縦方向へ続くような要素について、誤補正を効果的に抑制させることができる。

画素Ｐ５について読み出された黒キズフラグが「０」である場合（ステップＳ１１、Ｎｏ）、信号置換部２２は、画素Ｐ０について、信号の置換を実行する。信号置換部２２は、画素Ｐ０の信号を、例えば、Ｄ１〜Ｄ５のうちの中央値であるＤ３に置き換えて、出力する（ステップＳ１４）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

キズ補正回路１２は、対象画素３０が黒キズ条件に該当し、かつ垂直周辺画素３２が黒キズ条件に該当しない場合に、対象画素３０のキズ補正を実施する。なお、キズ補正回路１２は、画素Ｐ０の信号をＤ３以外の信号に置き換えることとしても良い。キズ補正回路１２は、画素Ｐ０の信号を、Ｄ２及びＤ３の平均、Ｄ３及びＤ４の平均等と置き換えることとしても良い。

（Ｄ４−Ｄ５）＞Ｔｈ＿Ｂを満足しない場合（ステップＳ８、Ｎｏ）、信号置換部２２は、画素Ｐ０について、信号の置換を実施せず、入力された信号をそのまま出力する（ステップＳ１５）。信号置換部２２は、フラグ用ラインメモリ２３へ、画素Ｐ０について、白キズフラグ「０」を書き込む（白キズフラグ＝０）。信号置換部２２は、フラグ用ラインメモリ２４へ、画素Ｐ０について、黒キズフラグ「０」を書き込む（黒キズフラグ＝０）。これにより、キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了する。

キズ補正回路１２は、画素Ｐ０を対象画素３０としての処理を終了とすると、画素Ｐ０に続く次の画素を対象画素３０としての処理を開始する。なお、条件判定部２１における、ステップＳ１における白キズについての判定と、ステップＳ８における黒キズについての判定との順序は任意であって、適宜変更しても良い。

このように、本実施形態にかかるイメージセンサ５は、キズ補正回路１２を適用することで、回路規模を軽減させ、正確なキズ補正により高品質な画像を得ることができるという効果を奏する。

図９は、信号置換部における動作の変形例について説明する図である。本変形例において、信号置換部２２は、画素Ｐ０についてキズ補正を実施するか否かの判定に際し、垂直周辺画素３２である画素Ｐ５の他、斜め周辺画素３３である画素Ｐ６及びＰ７についても、キズ条件に該当するか否かのフラグを参照する。

斜め周辺画素３３は、対象画素３０と同色用の画素であって、水平方向及び垂直方向に対し斜め方向において、対象画素３０と並列する画素とする。斜め周辺画素３３である画素Ｐ６及びＰ７は、垂直周辺画素３２である画素Ｐ５と同じラインＬ１に位置している。画素Ｐ５〜Ｐ７は、画素Ｐ５を中心として、水平方向へそれぞれ一画素おきに並列している。ラインＬ１に位置する画素Ｐ６及びＰ７は、いずれも、一つの画素を介して、画素Ｐ０と斜め方向に並列している。

図８に示すステップＳ４において、信号置換部２２は、垂直周辺画素３２である画素Ｐ５、及び斜め周辺画素３３である画素Ｐ６及びＰ７について、フラグ用ラインメモリ２３に格納されている白キズフラグを読み出す。画素Ｐ５〜Ｐ７について読み出された白キズフラグのうち少なくとも一つが「１」である場合、信号置換部２２は、画素Ｐ０について、信号の置換を中止し、入力された信号をそのまま出力する（ステップＳ５）。

キズ補正回路１２は、垂直方向に並列する画素同士と、斜め方向に並列する画素同士との少なくともいずれかが、連続して白キズ条件に該当すると認められた場合、キズ補正を行わないものとする。この場合、キズ補正回路１２は、被写体のうち、高いレベルの信号が縦方向へ続くような要素と、斜め方向へ続くような要素とについて、誤補正を効果的に抑制させることができる。

画素Ｐ５〜Ｐ７について読み出された白キズフラグがいずれも「０」である場合、信号置換部２２は、画素Ｐ０について、信号の置換を実行する（ステップＳ７）。キズ補正回路１２は、対象画素３０が白キズ条件に該当し、かつ垂直周辺画素３２及び斜め周辺画素３３のいずれもが白キズ条件に該当しない場合に、対象画素３０のキズ補正を実施する。

また、ステップＳ１１において、信号置換部２２は、画素Ｐ５〜Ｐ７について、フラグ用ラインメモリ２４に格納されている黒キズフラグを読み出す。画素Ｐ５〜Ｐ７について読み出された黒キズフラグのうち少なくとも一つが「１」である場合、信号置換部２２は、画素Ｐ０について、信号の置換を中止し、入力された信号をそのまま出力する（ステップＳ１２）。

キズ補正回路１２は、垂直方向に並列する画素同士と、斜め方向に並列する画素同士との少なくともいずれかが、連続して黒キズ条件に該当すると認められた場合、キズ補正を行わないものとする。この場合、キズ補正回路１２は、被写体のうち、低いレベルの信号が縦方向へ続くような要素と、斜め方向へ続くような要素とについて、誤補正を効果的に抑制させることができる。

画素Ｐ５〜Ｐ７について読み出された黒キズフラグがいずれも「０」である場合、信号置換部２２は、画素Ｐ０について、信号の置換を実行する（ステップＳ１４）。キズ補正回路１２は、対象画素３０が黒キズ条件に該当し、かつ垂直周辺画素３２及び斜め周辺画素３３のいずれもが黒キズ条件に該当しない場合に、対象画素３０のキズ補正を実施する。

本変形例によると、キズ補正回路１２は、被写体のうち縦方向に伸びる線状の要素、斜め方向に伸びる線状の要素について、誤補正を効果的に抑制可能とする。イメージセンサ５は、正確なキズ補正により高品質な画像を得ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 画素アレイ、１２ キズ補正回路、２１ 条件判定部、２２ 信号置換部、２３、２４ フラグ用ラインメモリ、３０ 対象画素、３１ 水平周辺画素、３２ 垂直周辺画素、３３ 斜め周辺画素。

Claims (5)

1. 画素アレイからの画像信号についてキズ補正を実施するキズ補正回路を有し、
   前記キズ補正回路は、
   前記画像信号のうち、対象画素の信号と、前記対象画素と同色用の画素であって、前記画素アレイにて前記対象画素と水平方向に並列する水平周辺画素の信号と、を基に、キズ条件に該当するか否かを判定する条件判定部と、
   前記キズ条件に該当した前記対象画素に対し、信号の置換を実施する信号置換部と、
   前記条件判定部による判定結果をフラグとして保持するフラグ保持部と、を有し、
   前記対象画素と同色用の画素であって、前記画素アレイにて前記対象画素と垂直方向に並列する垂直周辺画素と、前記対象画素と斜め方向に並列する斜め周辺画素と、の少なくともいずれかが前記キズ条件に該当する旨の前記フラグが前記フラグ保持部から読み出された場合に、前記信号置換部は、前記対象画素に対する信号の置換を中止することを特徴とする画像処理装置。
2. 画素アレイからの画像信号についてキズ補正を実施するキズ補正回路を有し、
   前記キズ補正回路は、
   前記画像信号のうち、対象画素の信号と、前記対象画素と同色用の画素であって、前記画素アレイにて前記対象画素と水平方向に並列する水平周辺画素の信号と、を基に、キズ条件に該当するか否かを判定する条件判定部と、
   前記キズ条件に該当した前記対象画素に対し、信号の置換を実施する信号置換部と、
   前記条件判定部による判定結果をフラグとして保持するフラグ保持部と、を有し、
   前記フラグ保持部は、前記対象画素を含むラインに対し先行して前記キズ補正回路へ入力されたラインについての前記フラグを保持し、
   前記信号置換部は、前記条件判定部による判定結果と、前記フラグ保持部から読み出した前記フラグと、に応じて、前記対象画素に対する信号の置換を実施することを特徴とする画像処理装置。
3. 前記信号置換部は、前記対象画素と同色用の画素であって、前記画素アレイにて前記対象画素と垂直方向に並列する垂直周辺画素について、前記キズ条件に該当する旨の前記フラグが前記フラグ保持部から読み出された場合に、前記対象画素に対する信号の置換を中止することを特徴とする請求項２に記載の画像処理装置。
4. 前記信号置換部は、さらに、前記対象画素と同色用の画素であって、前記画素アレイにて前記対象画素と斜め方向に並列する斜め周辺画素について前記キズ条件に該当する旨の前記フラグが前記フラグ保持部から読み出された場合に、前記対象画素に対する信号の置換を中止することを特徴とする請求項３に記載の画像処理装置。
5. 前記信号置換部は、前記条件判定部において前記対象画素が前記キズ条件に該当すると判定され、かつ、前記対象画素と同色用の画素であって、前記画素アレイにて前記対象画素と垂直方向に並列する垂直周辺画素、及び前記対象画素と斜め方向に並列する斜め周辺画素のいずれも前記キズ条件に該当しない旨の前記フラグが前記フラグ保持部から読み出された場合に、前記対象画素に対する信号の置換を実行することを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。

Images