JP6525727B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、画像信号のノイズ補正を行う画像処理装置及び方法、及び撮像装置に関する。

従来より、位相差方式の焦点検出では、撮像光学系の射出瞳の互いに異なる領域を通過した光束により形成される一対の視差を有する像から、その位相差を検出することで撮像光学系の焦点状態を検出する。また、近年では、記録画像の取得用の撮像素子の少なくとも一部の画素を、互いに異なる射出瞳領域を通過した光束をそれぞれ受光して、視差を有する複数の像を出力することが可能な画素により構成した撮像素子を有する撮像装置が提案されている。そして、このような撮像装置では、得られた複数の像の位相差に基づいて、合焦処理を施す（以下、「像面位相差ＡＦ」と呼ぶ。）ことが行われている。

像面位相差ＡＦが可能な撮像装置として、特許文献１には、全面で視差像を取得可能な撮像素子を有する撮像装置が提案されている。また、特許文献２には、１つのマイクロレンズに対して２つの光電変換部を有する画素を全面に配置した撮像素子が提案されている。位相差を検出するには、複数の光電変換部を有する画素から、少なくとも視差を有する２つの信号を得られるように読み出し動作を行わなければならない。しかし、２つの信号を得るための読み出し動作は、複数の光電変換部の信号を画素毎に加算して読み出す加算読み出し動作の約２倍の時間を要するため、位相差検出に時間がかかってしまう。そこで、特許文献２では、所定周期で画素の２つの光電変換部それぞれから独立に信号を読み出す動作と、画素毎に加算して信号を読み出す動作とを、フレーム単位で切り替えて信号を読み出すことが開示されている。そして、独立に読み出された信号を用いて合焦処理を施すことで、像面位相差ＡＦを行うことができる。これにより、像面位相差ＡＦにおける信号読み出し時間の増加を抑圧しつつ、合焦処理が実現可能となっている。

一方、従来より、撮像素子から得られる撮影記録画像には光電変換で得られた情報以外の画質低下要因が重畳される。その中の一つに、画素から信号を読み出す際に垂直出力線にノイズが乗ることで起こる横方向の縞ノイズ（以下、横縞）の影響が知られている。この横縞ノイズを低減させるための補正処理としては、補正対象行の遮光部の代表値（平均値等）と、その直前の複数行の遮光部の代表値の平均値（V方向平均値）との乖離を検出し、検出した乖離分を補正値としてクランプ処理を施す方法がある。

特開２００１−０８３４０７号公報 特開２０１３−０６８７５９号公報

しかしながら、特許文献２に記載された撮像素子を用いて、１フレーム分の信号を読み出す際に、独立読み出しと加算読み出しとを行単位で選択的に行った場合、横縞ノイズ補正が適切に行われないことがあった。

本発明は上記問題点を鑑みてなされたものであり、行単位で選択的に分割読み出し方法、または、加算読み出し方法により撮像素子を駆動して得られた１フレーム分の信号に対する補正処理における、読み出し方法に起因する影響を低減することを目的とする。

上記目的を達成するために、２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、行毎に、前記複数の光電変換部から信号を加算して読み出す第１の読み出し方法と、前記複数の光電変換部から位相差を有する一対の信号を取得するように読み出す第２の読み出し方法と、のいずれかにより選択的に読み出し可能な撮像素子から読み出した信号を処理する本発明の画像処理装置は、前記第１の読み出し方法により読み出した第１の行の信号を、当該第１の行より先に前記第１の読み出し方法により読み出した予め決められた数の複数行の信号を用いてオフセット補正を行う第１の処理手段と、前記第２の読み出し方法により読み出した第２の行の信号を、当該第２の行の信号と、予め決められた値とを用いてオフセット補正を行う第２の処理手段とを有する。

本発明によれば、行単位で選択的に分割読み出し方法、または、加算読み出し方法により撮像素子を駆動して得られた１フレーム分の信号に対する補正処理における、読み出し方法に起因する影響を低減することができる。

本発明の実施形態における撮像素子の概略構成を示す図。 実施形態における撮像素子の構成例を示す図。 実施形態における撮像素子の加算読み出し動作のタイミング図。 実施形態における撮像素子の分割読み出し動作のタイミング図。 実施形態における１フレーム読み出し時の選択的駆動制御の一例を示す図。 実施形態における画像処理装置の概略構成を示すブロック図。 実施形態におけるセンサ補正部の構成を示すブロック図。 実施形態における横縞補正部の構成を示すブロック図。 実施形態における選択的駆動制御を行って得られた信号の概念図。 選択的駆動制御を行った場合の課題を説明するための図。 クロック同期転送時のクロック（ＣＬＫ）と転送データ有効ステータス信号（valid）と転送される画像データ（data）との関係を示すタイミングチャート。 実施形態における横縞補正処理のフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

●撮像素子の構成
図１は、本実施形態における撮像素子１００の概略構成を示す図である。図１に示すように、撮像素子１００は、複数の画素が二次元に配列された画素部１０１と、垂直走査回路１０２と、読み出し回路１０３と、水平走査回路１０４と、出力回路１０５とを有する。画素部１０１は、入射した光を受光して光電変換を行う有効領域１０１ａと、光学的に遮光された垂直オプティカルブラック（ＯＢ）領域１０１ｂと、光学的に遮光された水平オプティカルブラック（ＯＢ）領域１０１ｃとを含む（遮光領域）。

垂直走査回路１０２は、画素部１０１中の任意の画素行を選択して制御する。読み出し回路１０３は、垂直走査回路１０２により選択された行の画素から出力された信号を読み出し、読み出した信号を、水平走査回路１０４の制御に応じて出力回路１０５に転送し、出力回路１０５により撮像素子１００の外部へと送出される。

図２（ａ）は、画素部１０１を構成する各画素１２０の平面図である。図２（ａ）に示すように、画素１２０は、１つのマイクロレンズ１５０と、例えば、フォトダイオード等により構成される２つの光電変換部（ＰＤ）１２１ａ、１２１ｂとを有する。なお、図２（ａ）では、２つの光電変換部により構成される例を示しているが、これに限るものではなく、視差を有する信号を出力可能な複数の光電変換部で構成すれば良く、３つ以上の光電変換部であっても良い。

図２（ｂ）は、画素部１０１を構成する２次元に配置された複数の画素のうち、２行（ｊ行と（ｊ＋１）行）、２列（ｉ列と（ｉ＋１）列）分の画素と、２列（ｉ列と（ｉ＋１）列）分の読み出し回路１０３の構成を示す等価回路図である。画素１２０には、ＰＤ１２１ａ、１２１ｂと、転送スイッチ１２２ａ、１２２ｂと、フローティングディフュージョン（ＦＤ）領域１２３と、リセットスイッチ１２４と、ソースフォロアアンプ１２５と、行選択スイッチ１２６が設けられている。

ｊ行目の画素１２０の転送スイッチ１２２ａのゲートには制御信号ΦTXA(j)が入力し、転送スイッチ１２２ｂのゲートには、制御信号ΦTXB(j)が入力する。リセットスイッチ１２４は、リセット信号ΦR(j)により制御される。また、行選択スイッチ１２６のゲートには、行選択信号ΦS(j)が入力する。なお、制御信号ΦTXA(j)及びΦTXB(j)、リセット信号ΦR(j)、行選択信号ΦS(j)は、垂直走査回路１０２により制御される。同様に、（ｊ＋１）行目の画素１２０は、制御信号ΦTXA(j+1)及びΦTXB(j+1)，リセット信号ΦR(j+1)、及び行選択信号ΦS(j+1)により制御される。

また、画素列毎に垂直信号線１２８を設けており、各垂直信号線１２８は、各列に設けられた読み出し回路１０３の電流源１２９及び転送スイッチ１３０ａ、１３０ｂに接続される。

転送スイッチ１３０ａのゲートには制御信号ΦTNが入力し、転送スイッチ１３０ｂのゲートには制御信号ΦTSが入力する。また、転送スイッチ１３２ａ及び転送スイッチ１３２ｂのゲートには、水平走査回路１０４から出力される制御信号ΦPHが入力される。蓄積容量部１３１ａは、転送スイッチ１３０ａがオン状態で転送スイッチ１３２ａがオフ状態にあるときに、垂直信号線１２８の出力を蓄積する。同様に、蓄積容量部１３１ｂは、転送スイッチ１３０ｂがオン状態で転送スイッチ１３２ｂがオフ状態にあるときに、垂直信号線１２８の出力を蓄積する。

水平走査回路１０４の列選択信号ΦPH(i)によりｉ列目の転送スイッチ１３２ａ及び転送スイッチ１３２ｂをオン状態にすることで、蓄積容量部１３１ａ及び蓄積容量部１３１ｂの出力がそれぞれ別の水平出力線を介して出力回路１０５に転送される。

●読み出し動作
上記構成を有する撮像素子１００から信号を読み出す読み出し動作として、加算読み出し動作（第１の読み出し方法）と、分割読み出し動作（第２の読み出し方法）とを選択的に行うことが可能である。以下、図３及び図４を参照して、加算読み出し動作と分割読み出し動作について説明する。

＜加算読み出し動作＞（第１の読み出し方法）
図３は撮像素子１００の加算読み出し動作のタイミング図である。なお、本実施形態では、各制御信号がＨ（high）の状態の時に各スイッチがオンし、Ｌ（low）の時にオフとなるものとして説明する。

図３は、加算読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１において、リセット信号ΦR(j)がＨになる。次に、時刻Ｔ２において、制御信号ΦTXA(j)とΦTXB(j)がＨになると、ｊ行目の画素１２０のＰＤ１２１ａ、１２１ｂがリセットされる。

次に、時刻Ｔ３で制御信号ΦTXA(j)とΦTXB(j)がＬになると、ＰＤ１２１ａ、１２１ｂは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦS(j)がＨになると、行選択スイッチ１２６がオン状態となって垂直信号線１２８に接続され、ソースフォロアアンプ１２５が動作状態となる。

次に、時刻Ｔ５でリセット信号ΦR(j)がＬにされた後、時刻Ｔ６で制御信号ΦTNがＨになると、転送スイッチ１３０ａがオン状態となり、垂直信号線１２８上のリセット解除後の信号（ノイズ信号）が蓄積容量部１３１ａに転送される。

次に、時刻Ｔ７で制御信号ΦTNがＬにされ、蓄積容量部１３１ａにノイズ信号が保持された後、時刻Ｔ８で制御信号ΦTXA(j)とΦTXB(j)がＨになると、ＰＤ１２１ａ、１２１ｂの電荷がＦＤ領域１２３に転送される。このとき、２つのＰＤ１２１ａ、１２１ｂの電荷が同じＦＤ領域１２３に転送されるので、２つのＰＤ１２１ａ、１２１ｂの電荷が加算された信号（１画素分の光信号＋ノイズ信号）が垂直信号線１２８に出力される。

続いて時刻Ｔ９で制御信号ΦTXA(j)とΦTXB(j)がＬにされた後、時刻Ｔ１０で制御信号ΦTSがＨになると、転送スイッチ１３０ｂがオン状態になり、垂直信号線１２８上の信号（１画素分の光信号＋ノイズ信号）が蓄積容量部１３１ｂに転送される。

次に時刻Ｔ１１で制御信号ΦTSがＬにされ、蓄積容量部１３１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１２で行選択信号ΦS(j)がＬにされる。

この後、水平走査回路１０４の列選択信号ΦPHによって、第１画素列から最終画素列まで転送スイッチ１３２ａ、１３２ｂが順にＨにされる。これにより、蓄積容量部１３１ａ、１３１ｂのノイズ信号と、１画素分の光信号＋ノイズ信号がそれぞれ異なる水平出力線を介して出力回路１０５に転送される。出力回路１０５では、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した加算読み出しにより得られた信号を、「第１の加算信号」と呼ぶ。

＜分割読み出し動作＞（第２の読み出し方法）
次に、分割読み出し動作について図４を用いて説明する。図４は、分割読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１においてリセット信号ΦR(j)がＨにされる。続いて、時刻Ｔ２においてΦTXA(j)とΦTXB(j)がＨになると、ｊ行目の画素１２０のＰＤ１２１ａ、１２１ｂがリセットされる。

次に、時刻Ｔ３で制御信号ΦTXA(j)とΦTXB(j)がＬになると、ＰＤ１２１ａ、１２１ｂは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦS(j)がＨとなると、行選択スイッチ１２６がオン状態となって垂直信号線１２８に接続され、ソースフォロアアンプ１２５が動作状態となる。

時刻Ｔ５でリセット信号ΦR(j)がＬにされた後、時刻Ｔ６で制御信号ΦTNがＨになると、転送スイッチ１３０ａがオン状態となり、垂直信号線１２８上のリセット解除後の信号（ノイズ信号）が蓄積容量部１３１ａに転送される。

次に、時刻Ｔ７で制御信号ΦTNがＬにされ、蓄積容量部１３１ａにノイズ信号が保持されたた後、時刻Ｔ８でΦTXA(j)がＨになると、ＰＤ１２１ａの電荷がＦＤ領域１２３に転送される。このとき、２つのＰＤ１２１ａ、１２１ｂのうち一方（ここではＰＤ１２１ａ）の電荷をＦＤ領域１２３に転送するので、ＰＤ１２１ａの電荷に応じた信号だけが垂直信号線１２８に出力される。

次に、時刻Ｔ９で制御信号ΦTXA(j)がＬにされた後、時刻Ｔ１０で制御信号ΦTSがＨになると、転送スイッチ１３０ｂがオン状態になり、垂直信号線１２８上の信号（１ＰＤ分の光信号＋ノイズ信号）が蓄積容量部１３１ｂに転送される。次に時刻Ｔ１１で制御信号ΦTSがＬにされる。

この後、水平走査回路１０４の列選択信号ΦPHによって、第１画素列から最終画素列まで転送スイッチ１３２ａ、１３２ｂが順にＨにされる。これにより、蓄積容量部１３１ａ、１３１ｂのノイズ信号と、１ＰＤ分の光信号＋ノイズ信号がそれぞれ別の水平出力線で出力回路１０５に転送される。出力回路１０５では、この２つの水平出力線の差分（１ＰＤ分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した読み出しにより得られた信号を、「分割信号」と呼ぶ。

その後、時刻Ｔ１２で制御信号ΦTXB(j)がＨとなり、ＰＤ１２１ａの電荷に加えて、更にＰＤ１２１ｂの電荷がＦＤ領域１２３に転送される。このとき、２つのＰＤ１２１ａ、１２１ｂの電荷が同じＦＤ領域１２３に転送されるので、２つのＰＤ１２１ａ、１２１ｂの電荷が加算された信号（１画素分の光信号＋ノイズ信号）が垂直信号線１２８に出力される。

続いて時刻Ｔ１３で制御信号ΦTXB(j)がＬにされた後、時刻Ｔ１４で制御信号ΦTSがＨになると、転送スイッチ１３０ｂがオン状態になり、垂直信号線１２８上の信号（１画素分の光信号＋ノイズ信号）蓄積容量部１３１ｂに転送される。

次に時刻Ｔ１５で制御信号ΦTSがＬにされ、蓄積容量部１３１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１６で行選択信号ΦS(j)がＬにされる。

この後、水平走査回路１０４の列選択信号ΦPHによって、第１画素列から最終画素列まで転送スイッチ１３２ａ、１３２ｂが順にＨにされる。これにより、蓄積容量部１３１ａ、１３１ｂのノイズ信号と、１画素分の光信号＋ノイズ信号がそれぞれ異なる水平出力線で出力回路１０５に転送される。出力回路１０５では、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上記読み出しにより得られた信号を、第１の加算信号と区別するために、「第２の加算信号」と呼ぶ。

このようにして読み出した第２の加算信号から、分割信号を差し引くことで、ＰＤ１２１ｂの分割信号を得ることができる。このようにして得られた一対の分割信号を「焦点検出用信号」と呼ぶ。そして、得られた焦点検出用信号に対して公知の相関演算を行うことにより、信号間の位相差を算出することができる。

なお、選択された画素行のＰＤ１２１ａの信号を読み出した後、ＰＤ１２１ｂの信号を読み出すようにすることで、１回の電荷蓄積動作に対して２つのＰＤ１２１ａ、１２１ｂの信号を独立に読み出すようにしてもよい。このようにして２回に分けて読み出したＰＤ１２１ａ、１２１ｂの信号は、加算することで第２の加算信号を得ることができる。

＜フレーム読み出し時の制御＞
本実施形態では、撮像素子１００から１フレーム分の信号を読み出す際の読み出し制御の１つとして、選択的駆動制御を行う。選択的駆動制御では、１フレームの読み出し時に、予め決められた行で分割読み出しを行って焦点検出用信号及び第２の加算信号を取得し、それ以外の行においては加算読み出しを行って第１の加算信号を取得する。図５はその概念を示す図であり、一例として、予め決められた行おきに分割読み出しを行う場合を示している。このように、フレーム内で、分割読み出しと加算読み出しとを行単位で選択的に行うことで、フレーム内の任意の位置において位相差方式による焦点検出を行うことが可能になる（選択的位相差ＡＦ）。また、全画面に亘って分割読み出しを行う場合に比べて、信号の読み出しにかかる時間を短縮することができると共に、電力消費を抑えることができる。更に、第１の加算信号及び第２の加算信号から、１フレーム分の画像を得ることができる。

●画像処理装置の構成
図６は、上記構成を有する撮像素子１００から出力される信号を処理する、本実施形態における画像処理装置２０の概略構成を示すブロック図である。

図６に示す構成おいて、レンズユニット１０を介して入射した光束が撮像素子１００の受光面上に結像し、形成された被写体像が撮像素子１００の各画素１２０の２つのＰＤ１２１ａ、１２１ｂにおいて入射光量に応じた電荷に光電変換され、蓄積される。ＰＤ１２１ａ、１２１ｂにおいてそれぞれ蓄積された電荷は、制御部２０７の指令に従ってタイミングジェネレータ２０９から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子１００から順次読み出される。制御部２０７は、例えば、図５に示すように、行毎に、加算読み出しを行うか、分割読み出しを行うかをタイミングジェネレータ２０９に指示する。

撮像素子１００から読み出された信号は、ＣＤＳ／ＡＧＣ回路２０２に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ回路２０２は、制御部２０７の指令に従ってタイミングジェネレータ２０９から与えられる駆動パルスに基づいて、処理済みの第１及び第２の加算信号を信号処理部２０３に出力する。また、分割信号及び第２の加算信号をフォーカス信号処理部２０４に出力する。なお、ＣＤＳ／ＡＧＣ回路２０２内で、分割信号及び第２の加算信号から焦点検出用信号を算出し、算出した焦点検出用信号をフォーカス信号処理部２０４に出力するようにしてもよい。

信号処理部２０３は、ＣＤＳ／ＡＧＣ回路２０２から出力された第１及び第２の加算信号に対して、ホワイトバランス補正、色レベル調整、偽色の抑圧、高周波成分の処理、ガンマ補正、シェーディング補正等の各種の画像処理を施して、映像信号を生成する。また、信号処理部２０３は、センサ補正部２１３を有し、画像処理の１つとして撮像素子１００の構成に関わる画質低下の影響を除去するための補正を実施する。補正の対象としては、例えば、ＰＤ１２１ａ、１２１ｂの感度不良（画素欠陥）や、ＰＤ１２１ａ、１２１ｂやＦＤ領域１２３に乗るショットノイズや暗電流、読み出し回路１０３中の列アンプの特性バラつきがある。なお、センサ補正部２１３の構成及び処理については、詳細に後述する。

表示部２０５は、ＬＣＤや有機ＥＬ等の表示デバイスであり、信号処理部２０３から出力された映像信号に基づく画像を表示する。また、撮像信号の記録を行う記録モードの時には、信号処理部２０３から処理済みの映像信号が記録部２０６に送られ、光ディスク、半導体メモリ、磁気テープ等の記録媒体に記録される。

フォーカス信号処理部２０４は、ＣＤＳ／ＡＧＣ回路２０２から出力された一対の焦点検出用信号を用いて公知の相関演算を行い、デフォーカス量を算出し、算出したデフォーカス量を制御部２０７へ出力する。制御部２０７は、得られたデフォーカス量に基づいて、レンズユニット１０に含まれるフォーカスレンズを合焦位置に駆動する合焦制御を行う。

制御部２０７は、上述したように、行毎に、加算読み出しを行うか、分割読み出しを行うかの制御を行うと共に、画像処理装置２０内の各構成と情報をやり取りして、各構成の制御を行う。更に、ユーザにより操作された操作部２０８からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録、オートフォーカス（ＡＦ）／マニュアルフォーカス（ＭＦ）制御の切り替えを行う。また、記録画像の確認、焦点検出領域の選択等、ユーザ操作に応じた様々な機能を実行する。

●横縞補正
図７は、信号処理部２０３に含まれるセンサ補正部２１３の構成を示すブロック図である。デジタルクランプ部２１３１は、画素部１０１の一部に構成された垂直ＯＢ領域１０１ｂの画素１２０から得られる第１の加算信号の平均値を、有効領域１０１ａの画素の第１及び第２の加算信号から得られる値から引くことで、クランプを実現する。

横縞補正部２１３２は、行単位で任意の位置に発生する横縞を補正する。この横縞の原因となる行単位で乗るノイズは、図６に示す垂直信号線１２８に信号を読み出し中に乗る電源ノイズ等の影響により、水平方向全体のオフセットレベルが変動することで発生するノイズを含む。横縞補正部２１３２は、後述するオフセット補正を行うことにより、横縞のノイズを抑圧する。

次に、本実施形態における横縞補正部２１３２で行われる横縞補正処理、及び、横縞補正部２１３２の詳細構成について、図８乃至図１２を参照して説明する。まず、図９及び図１０を参照して、本実施形態における横縞補正の概要について説明する。

図９は、撮像素子１００から読み出された１フレーム分の信号を表す概念図であり、処理フレーム４００は、検出領域４０１、補正領域４０２、分割読み出しライン４０３（第２の行）を含む。検出領域４０１は、図１に示す画素部１０１の水平ＯＢ領域１０１ｃ内の画素１２０の領域であり、検出領域４０１の画素１２０から得られる信号を用いて、横縞補正の有無の判定、及び補正値の生成を行う。補正領域４０２は、オフセット補正を実施する領域であり、図１の有効領域１０１ａの画素１２０から読み出された信号である。

分割読み出しライン４０３は、図５に示すような選択的駆動制御において、分割読み出しにより読み出されたラインである。なお、以下の説明において、分割読み出しライン４０３のうち、水平ＯＢ領域１０１ｃ内の部分を、分割読み出しＯＢライン４０６と呼ぶ。分割読み出しライン４０３以外のラインでは、加算読み出しが実施される。

注目ライン４０４は、横縞補正部２１３２で現在の処理対象となっているラインを示し、補正領域４０２において、図９の上部から下部に向かって、行単位で順次移動する。従って、注目ライン４０４と分割読み出しライン４０３が一致する場合がある。なお、以下の説明において、注目ライン４０４のうち、水平ＯＢ領域１０１ｃ内の部分を、注目ＯＢライン４０７と呼ぶ。

平滑化領域４０５は、検出領域４０１における注目ＯＢライン４０７の直前の複数行により構成される領域を示す。

分割読み出しを行ったラインが無い場合には、横縞補正部２１３２は次のようにして横縞補正を行うことができる。まず、撮像素子１００から得られた第１の加算信号を処理して得た画像データにおける注目ライン４０４のオフセット性のノイズを、注目ＯＢライン４０７の信号レベルと平滑化領域４０５の信号レベルとを比較することで検出する。そして、オフセット性のノイズが検出された場合に補正値を生成して、補正領域４０２の注目ライン４０４の信号に対して補正を実施する。

より詳細に説明すると、まず、注目ＯＢライン４０７の信号レベルの積算値を正規化して、代表値（Have値）を得る。更に、平滑化領域４０５における他の各ラインについても同様にして代表値を求め、求めた代表値の平均値（Vave値）を求め、注目ＯＢライン４０７の代表値（Have値）と、平滑化領域４０５の代表値の平均値（Vave値）を大小比較する。その結果、｜Vave−Have｜が予め設定されている閾値（REF_ER）よりも大きい場合に、注目ライン４０４にノイズが重畳していると判定して、補正領域４０２における注目ライン４０４の信号レベルから補正値を差し引く。補正値としては、例えば、Vave−Haveにより得られる差分値を用いることができる。なお、補正値はこれに限られるものではなく、過補正・誤補正を防ぐために入力値を鑑みてゲイン調整やオフセット調整をしても良い。

しかしながら、注目ライン４０４が分割読み出しライン４０３と一致していたり、平滑化領域４０５に分割読み出しＯＢライン４０６が含まれている場合、上述した横縞補正を行うことで、却って画質が劣化してしまう。この理由について、図１０を参照して説明する。

図１０は、ローリングシャッタ走査を行う場合の、分割読み出しを行う行におけるＰＤ１２１ａ及び１２１ｂの電荷蓄積時間を示す概念図である。図１０の上部に、撮像素子１００を駆動するための垂直同期信号（ＶＤ）と水平同期信号（ＨＤ）を示し、下部に、リセット及び読み出しタイミングと、１行分の電荷蓄積時間を示している。なお、横軸は時間、下部に示す図の縦軸は行を表している。垂直同期信号（ＶＤ）のパルスによりフレームデータの読み出しを開始し、水平同期信号（ＨＤ）の各パルスで、各水平（ライン）データの読み出しを開始する（５１２）。また、５１３は、撮像素子１００中の各画素の電荷のリセットタイミングを示している。

期間ｔ５００は、分割読み出しを行う行におけるＰＤ１２１ａの蓄積時間、期間ｔ５０１はＰＤ１２１ｂの蓄積時間を示す。期間ｔ５０２はＰＤ１２１ａの読み出し時間と転送時間の総和を示し、期間ｔ５０３はＰＤ１２１ｂの読み出し時間と転送時間の総和を示す。

加算読み出しを行う行では、ＰＤ１２１ａ及び１２１ｂの電荷を同時にＦＤ領域１２３に転送して読み出すため、電荷蓄積時間は一致する（ｔ５００またはｔ５０１）。一方、分割読み出しを行う行においては、ＰＤ１２１ａの電荷蓄積時間はｔ５００、ＰＤ１２１ｂの電荷蓄積時間は、ＰＤ１２１ａの読み出しが終わるまでの時間ｔ５０１となる。

即ち、ＰＤ１２１ａから電荷をフロティングディフュージョン（ＦＤ）領域に転送してから、ＰＤ１２１ｂから電荷をＦＤ領域に転送するまで、ＰＤ１２１ａの電荷がＦＤ領域１２３に留まっている時間ｔ５０２の期間分長くなる。これにより、ＦＤリークによる、オフセット系の変動要因を受けることになる。また、ＰＤ１２１ｂから電荷をＦＤ領域１２３に転送する際には、リセットしてから読み出すまでの間隔が広がり、垂直出力線における定電流源のノイズのＣＤＳ効果も薄まる。そのため、オフセット性の悪影響が生じ、記録画像上に横縞が現れるといった画質低下の影響を受ける。

従って、本実施形態の横縞補正部２１３２は、平滑化領域４０５に分割読み出しＯＢライン４０６が含まれている場合には、分割読み出しＯＢライン４０６からの信号レベルを処理に用いないようにする。また、注目ライン４０４が分割読み出しライン４０３と一致する場合には、注目ＯＢライン４０７（即ち、分割読み出しＯＢライン４０６）の代表値（Have値）を取得し、事前に設定した黒基準値（REF_BK）と比較する。代表値（Have値）と黒基準値（REF_BK）との差が閾値（REF_ER_BK）よりも大きい場合に差分値のオフセット補正を実施する措置を施す。

図８は、上記処理を実現するための本実施形態における横縞補正部２１３２の詳細構成を示すブロック図、図１２は横縞補正処理のフローチャートである。

横縞補正部２１３２は、デジタルクランプ部２１３１によりクランプ処理された画像データ（data_in）と、転送データ有効ステータス信号（valid_in）とを受信する。そして、処理後、横縞補正を経た画像データ（data_out）と転送データ有効ステータス信号（valid_out）を送信する。転送データ有効ステータス信号（valid_out）は、クロック同期したデータ転送に対して画像データのバースト転送が保証されない場合でも、信号レベルを上げ下げすることで適宜有効データを選択することができるようにする役割を持つ。

ここで、図１１を参照して、クロック同期転送時のクロック（ＣＬＫ）と転送データ有効ステータス信号（valid）と転送される画像データ（data）との関係について説明する。ステータス信号(valid_in)と画像データ(data_in)との関係、およびステータス信号(valid_out)と画像データ(data_out)との関係は、ＣＬＫ含め、図１１中のステータス(valid)および画像データ(data)との関係と等価である。転送データ有効ステータス信号がＨの時に転送される画像データ（data）を処理の対象とする。図１１では、データ{ d０, d１, d２, d３, d４, d５ } それぞれの有効状態を示している。図７中の各処理回路は、クロック毎の転送データ有効ステータス信号のＨ状態を計数することで、フレーム処理中の座標位置を知ることができる。転送データ有効ステータス信号は、図６中のＣＤＳ／ＡＧＣ回路２０２以降で各モジュール間のデータ転送のために付加される。

図８に戻り、レジスタ部３００は、制御部２０７からフレーム処理前に設定されるパラメータを保持する。レジスタ部３００は黒基準値（REF_BK）を記憶するレジスタ３００１と、閾値（REF_ER）を記憶するレジスタ３００２と、閾値（REF_ER_BK）を記憶するレジスタ３００３とを具備する。また、レジスタ部３００のレジスタ３００４〜３００７は、分割読み出しライン４０３を判定するためのデータを記憶するためのレジスタである。レジスタ３００４は、図９に示す処理フレーム４００における最初の分割読み出しライン４０３の位置（LINE_START）を記憶し、レジスタ３００５は、分割読み出しライン４０３が連続するライン数（LINE_WIDTH）を記憶する。また、レジスタ３００６は、分割読み出しライン４０３の間隔（LINE_PERIOD）を記憶し、レジスタ３００７は、１フレーム内に設定された分割読み出しライン４０３の数（TOTAL_COUNT）を記憶する。

同期信号発生器３０１は、フレーム処理の処理位置を把握するためのカウンタ回路を具備し、データ有効ステータス信号（valid_in）を受信して、処理タイミング信号を生成する。また、処理フレーム４００中のライン抽出と、処理フレーム４００中の検出領域４０１、補正領域４０２の把握と、平滑化領域４０５の垂直方向移動の管理と、回路内部でのデータ遅延調整とを行う。なお、レジスタ部３００は、同期信号発生器３０１のフレーム定義（水平サイズ、垂直サイズ、検出領域位置、補正領域位置、等）を設定するレジスタ３００８を備える。

ライン特定部３０２は、分割読み出しライン４０３の垂直方向の位置を特定すると共に、同期信号発生器３０１から、領域フラグ（AREA_FLG）と、ライン切替タイミング（SW_TMG）とを受信する。そして、受信したライン切替タイミング（SW_TMG）を計数してレジスタ値それぞれと照合して、分割読み出しライン４０３の処理か、それ以外のライン、即ち、加算読み出しにより読み出した行（第１の行）の処理かを判断する。領域フラグ（AREA_FLG）を参照して検出領域と判断したならば、分割読出しとしての判断結果を示す切替ステータス信号（SW_STATUS）を生成する。そして、切替ステータス信号（SW_STATUS）をVave値更新部３０５に転送して、分割読み出しライン４０３の場合、後述する信号（CAP_TMG）によるVave値の更新をキャンセルすると共に、セレクタ３１４におけるオフセット補正値出力の切り替えに使用する。また、後述する当該ラインにおける検出終了タイミング（LINE_END）とのAND結果で、フリップフロップ回路により構成されたレジスタ３１６の補正値出力を更新する。

Hob部積分部３０３は、同期信号発生器３０１により指示されるタイミング（TMG1）で注目ＯＢライン４０７の画像データを積算する。正規化部３０４は、同期信号発生器３０１により指示されるタイミング（TMG2）毎に、積算した画像データを積算回数で除する。除算器を用いない場合には、近傍の２のべき乗数で除するようにbit shift処理で実現する。また、乗算器とbit shift回路を併用して疑似除算器としても良い。このようにして得られた正規化部３０４の出力を代表値Have値として扱う（Ｓ１１）。

Vave値更新部３０５は、垂直方向に複数ライン分のHave値の平均値（Vave値）を求める。入力する画像データが分割読み出しＯＢライン４０６のもので無い場合（Ｓ１２でＮＯ）、同期信号発生器３０１により指示されるタイミング（CAP_TMG）で正規化部３０４の値を取り込む。そして、それまでに記憶されている複数ライン分のHave値との加算平均値（Vave値）を取得する（Ｓ１３）。なお、複数ライン分のHave値がライン処理毎に入れ替わるように、シフトレジスタ構成にしておくと良い。また、入力する画像データが分割読み出しＯＢライン４０６のものである場合（Ｓ１２でＹＥＳ）、ライン特定部３０２の指示（SW_STATUS）によって、正規化部３０４からHave値を取り込まれないようにする。なお、Vave値更新部３０５では、平滑化領域４０５に含まれる行数分のHave値を記憶して、Vave値を取得する。

セレクタ３０９は、比較器３０８から選択信号（SEL1）を受信し、選択信号（SEL1）が１の場合には加算器３０６の出力値をオフセット補正値として出力し、０の場合には固定値０をオフセット補正値として出力する。なお、オフセット補正値に対して、上述したようにゲイン調整やオフセット調整を行っても良い。また、黒レベルの補償値として、固定値０の代わりに、任意の固定値としても良い。

レジスタ３１７は、フリップフロップ回路により構成され、セレクタ３０９の出力を保持する。レジスタ３１７の値の更新は、同期信号発生器３０１から送信されるライン毎の検出領域終了タイミング（LINE_END）により行う。

一方、加算器３１０は、（REF_BK-Have）の演算を行い、絶対値取得部３１１は、加算器３１０出力の絶対値を出力する。比較器３１２は、絶対値とレジスタ３００３に記憶された閾値（REF_ER_BK）とを比較する（Ｓ１６）。比較器３１２は、注目ＯＢライン４０７における黒基準値（REF_BK）とHave値との乖離が閾値（REF_ER_BK）より大きい場合に１を、閾値以下の場合には０を、選択信号（SEL2）として出力する。

セレクタ３１３は分割読み出しライン４０３のオフセット補正値を選択すると共に、比較器３１２から選択信号（SEL2）を受信する。そして、選択信号（SEL2）の状態が１値の場合には加算器３１０の出力値をオフセット補正として選択して出力し、０値の場合には固定値０をオフセット補正値として出力する。なお、オフセット補正値に対して、上述したように、ゲイン調整やオフセット調整を行っても良い。また、黒レベルの補償値として、固定値０の代わりに、任意の固定値としても良い。

レジスタ３１６は、フリップフロップ回路により構成され、セレクタ３１３の出力を保持する。レジスタ３１６の値の更新は、ＡＮＤ回路３２１による、ライン特定部３０２から送信される特定ライン（分割読み出しライン４０３）のステータス信号（SW_STATUS）と同期信号発生器３０１からのライン毎の検出領域終了タイミング（LINE_END）とのAND結果に基づいて行う。

セレクタ３１４は、分割読み出しライン４０３とそれ以外のラインとでオフセット補正値を切り替える。セレクタ３１４には、ライン特定部３０２から切替ステータス信号（SW_STATUS）が送信される。ライン特定部３０２は、分割読み出しライン４０３の場合、切替ステータス信号（SW_STATUS）として１を出力し、それ以外のラインの場合、０を出力する。セレクタ３１４は切替ステータス信号（SW_STATUS）が１の場合にはレジスタ３１６に保持しているオフセット補正値を、０の場合にはレジスタ３１７に保持しているオフセット補正値を、注目ライン４０４のオフセット補正値として出力する。セレクタ３２０は、同期信号発生器３０１からの補正領域ステータス信号（CORR_STATUS）を受けて、補正領域の入力データ（data_in）に対して補正値を送出するセレクタである。ステータス信号（CORR_STATUS）が１値のときにはセレクタ３１４の出力値を、０値のときには補正値＝０（Zero）を出力する。出力０では、入力データ(data_in)は、そのまま出力データ(data_out)となる。

加算器３１５は、入力データ（data_in）に対してオフセット補正を実施する（Ｓ１５、Ｓ１７）。オフセット値は正負の値を持ち、加算器３１５にて加減算のオフセット調整を行う。レジスタ３１８はフリップフロップにより構成され、図１１に示すクロック同期による同相転送を実現する。レジスタ３１９は、転送データ有効ステータスに対する位相調整用に設けている。該レジスタ３１９も同様にフリップフロップにより構成され、データパスへのレジスタ３１８挿入に対応してvalid_out出力の位相を調整する（遅延量を合わせる）。レジスタ３１８、３１９は、クロック（不図示）毎に更新される。

上記の通り本実施形態によれば、選択的駆動制御により読み出しを行う場合に、分割読み出しにより得られた加算信号による横縞補正への影響を抑制することができると共に、分割読み出しにより得られた加算信号の信号レベル差を抑制することができる。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、１０１：画素部、１０２：垂直走査回路１０２、１０３：読み出し回路、１０４：水平走査回路、１０５：出力回路、１０１ａ：有効領域、１０１ｂ：垂直オプティカルブラック（ＯＢ）領域、１０１ｃ：水平オプティカルブラック（ＯＢ）領域、１２０：画素、１２１ａ，１２１ｂ：光電変換部（ＰＤ）、１５０：マイクロレンズ、２０２：ＣＤＳ／ＡＧＣ回路、２０３：信号処理部、２０７：制御部、２１３２：横縞補正部、３００：レジスタ部、３０１：同期信号発生器、３０２：ライン特定部、３０３：Hob部積分部、３０４：正規化部、３０５：Vave値更新部、３０６，３１０，３１５：加算器、３０７，３１１：絶対値取得部、３０８，３１２：比較器、３０９，３１３，３１４：セレクタ、３１６，３１７，３１８，３１９：レジスタ、４００：処理フレーム、４０１：検出領域、４０２：補正領域、４０３：分割読み出しライン、４０５：平滑化領域、４０６：分割読み出しＯＢライン、４０７：注目ＯＢライン

Claims (12)

1. ２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、行毎に、前記複数の光電変換部から信号を加算して読み出す第１の読み出し方法と、前記複数の光電変換部から位相差を有する一対の信号を取得するように読み出す第２の読み出し方法と、のいずれかにより選択的に読み出し可能な撮像素子から読み出した信号を処理する画像処理装置であって、
   前記第１の読み出し方法により読み出した第１の行の信号を、当該第１の行より先に前記第１の読み出し方法により読み出した予め決められた数の複数行の信号を用いてオフセット補正を行う第１の処理手段と、
   前記第２の読み出し方法により読み出した第２の行の信号を、当該第２の行の信号と、予め決められた値とを用いてオフセット補正を行う第２の処理手段と
   を有することを特徴とする画像処理装置。
2. 前記第１の処理手段は、前記第１の行の信号より先に読み出した行に前記第２の行が含まれている場合に、当該第２の行を含まない前記複数行の信号を用いて前記オフセット補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像素子から読み出された信号が、前記第１の読み出し方法により読み出された行の信号か、前記第２の読み出し方法により読み出された行の信号かを判断する判断手段を更に有し、
   前記第１の処理手段及び前記第２の処理手段は、前記判断手段の判断結果に基づいて処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像素子は、前記光電変換部が入射光を受光する領域と、前記入射光から遮光された遮光領域とを有し、
   前記第１の処理手段は、前記遮光領域の光電変換部から読み出された前記複数行及び前記第１の行の信号を用いて、前記オフセット補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の処理手段は、前記複数行及び前記第１の行における前記遮光領域の光電変換部から読み出された信号の代表値を行毎に取得し、取得した前記複数行の代表値の平均値と、前記第１の行の代表値との差が、予め決められた閾値よりも大きい場合に、前記オフセット補正を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の処理手段は、前記遮光領域の光電変換部から読み出された前記第２の行の信号を用いて、前記オフセット補正を行うことを特徴とする請求項４に記載の画像処理装置。
7. 前記第２の処理手段は、前記第２の行における前記遮光領域の光電変換部から読み出された信号の代表値を取得し、該取得した代表値と、予め決められた基準値との差が、予め決められた閾値よりも大きい場合に、前記オフセット補正を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記撮像素子と、
   請求項１乃至７のいずれか１項に記載の画像処理装置と
   を有することを特徴とする撮像装置。
9. ２次元に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、行毎に、前記複数の光電変換部から信号を加算して読み出す第１の読み出し方法と、前記複数の光電変換部から位相差を有する一対の信号を取得するように読み出す第２の読み出し方法と、のいずれかにより選択的に読み出し可能な撮像素子から読み出した信号を処理する画像処理方法であって、
   第１の処理手段が、前記第１の読み出し方法により読み出した第１の行の信号を、当該第１の行より先に前記第１の読み出し方法により読み出した予め決められた数の複数行の信号を用いてオフセット補正を行う第１の処理工程と、
   第２の処理手段が、前記第２の読み出し方法により読み出した第２の行の信号を、当該第２の行の信号と、予め決められた値とを用いてオフセット補正を行う第２の処理工程と
   を有することを特徴とする画像処理方法。
10. 判断手段が、前記撮像素子から読み出した信号が、前記第１の行の信号か、前記第２の行の信号か、を判断する判断工程を更に有し、
    前記第１の処理工程では、前記判断工程で前記第２の行の信号と判断された信号を用いずに、前記オフセット補正を行うことを特徴とする請求項９に記載の画像処理方法。
11. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images