JP2012044519A - デジタルカメラ - Google Patents

Abstract

【課題】カメラのコスト上昇や電池寿命の低下を招くことなくライブビュー画像や動画像のフレームレートの低下を抑制可能とし、なおかつ色再現性に優れた画像を記録可能とする。
【解決手段】マルチスペクトル撮像素子は互いに異なる分光感度特性を有する４以上の色のカラーセンサを構成する画素Ｒ、Ｇ、Ｂ、λ１、λ２、…、λ１２を備える。第１の信号読み出しモード時には４以上の色のカラーセンサを構成する画素から読み出される４以上の種類全部の信号を含む画像信号がマルチスペクトル撮像素子から読み出される。第２の信号読み出しモード時には、第１の信号読み出しモード時よりも少ない色数で、第１の信号読み出しモードで読み出される画像信号によって再現可能な色域よりも狭められた色域を形成する画像信号が読み出される。
【選択図】図４

Description

本発明は、４色以上のカラーセンサを持った撮像素子（マルチスペクトルセンサ）を備えるデジタルカメラに関する。

デジタルカメラは撮像素子の高画素化が進んでおり、一眼レフカメラのみならず、いわゆるコンパクトデジタルカメラや携帯電話に内蔵されるカメラでも１，０００万を越す画素数のものがある。この撮像素子の高画素化により、近年は解像度（画像のピクセルサイズ）を増加させること以外に、撮像時の色数を増やして色再現性能を向上させるという利用方法も提案されている。これは、従来のデジタルカメラがＲ、Ｇ、Ｂ３色のカラーセンサが用いられているのに対し、４色以上のカラーセンサを用いて撮影する際の色数を増やすことにより、被写体の色成分をより正確に検出することを可能にするとともに再現可能な色域を拡大し、色再現性能を向上させようというものである。

このようなマルチスペクトルセンサを利用したものとして、特許文献１、特許文献２、および特許文献３に開示されるものがある。特許文献１には、狭帯域特性を有する１６色のカラーフィルタを用いる例が開示される。特許文献２には、ＲＧＢのフィルタの他に、Ｇ色よりも短波長寄りまたは長波長寄りの中心波長を有する分光透過特性のフィルタを用いる例が開示される。特許文献３には、ＲＧＢの他にグレー色のフィルタを用いる例が開示される。

特開２００３−８７８０６号公報 特開２００５−１５１５４９号公報 特開２００２−１３５７９２号公報

デジタルカメラの多くは、ライブビュー表示の機能を有している。ライブビュー表示は、例えば３０ｆｐｓといったフレームレートで撮像素子から読み出した画像信号を処理し、カメラの背面等に設けられるモニタ表示装置や、内蔵あるいは外付け式の電子ビューファインダ（ＥＶＦ）に画像を表示するものである。

ライブビュー表示では、比較的高いフレームレートで表示が更新されるので、カメラの撮影範囲をほぼリアルタイムで表示することができる。したがって、ユーザはライブビュー画像を観てカメラの向きや撮影レンズの焦点距離を調節して構図を決定したり、露出確認や焦点調節（あるいは焦点調節状態の確認）等をしたりすることができる。このように、比較的高いフレームレートでの表示更新を可能とする一方、表示画素数（表示解像度）は記録画素数に比して減じられており、その表示解像度はＱＶＧＡからＳＶＧＡ程度となっている。

撮像素子自体は上述したようにＳＶＧＡを遙かに越すような有効画素数、例えば１，０００万画素を越すような画素数を有していて、いわゆる全画素読み出しを行うと、撮像素子から読み出される画像信号の情報量は飛躍的に増すので、高いフレームレートでの画像信号の読み出しは難しくなる。あるいは、高画素、高フレームレートでの画像信号の読み出し、処理、そして表示を可能とするためには、より複雑な回路構成、より高度な処理能力が求められるので、電池寿命の低下やカメラの製造コスト上昇を招く。

そのような理由により、画像表示をする際には全画素読み出しは行わず、代わりに間引き読み出し、画素加算読み出し、切り出し読み出し等の技術を用いて撮像素子から画像信号を読み出す際の読み出し情報量を減じている。

ところで、上述したマルチスペクトルセンサを備えるカメラでライブビュー表示を行うことについて、上述した特許文献１から３のいずれにも開示は無いが、もし、特許文献１から３に開示される技術を用いたカメラでライブビュー表示を行おうとすると、以下のような問題を生じ得る。

すなわち、撮像素子から読み出す画像信号の色数が多いことにより、単板式の撮像素子から読み出された画像信号にデモザイキングや他の画像処理をする際の処理負荷が増してライブビュー表示時のフレームレートを高めることが困難となる。また、撮像素子によって取得した画像信号から導出されるコントラストに基づいて被写体像の合焦状態を検出し、撮影光学系の焦点位置を検出するようにした、いわゆるコントラスト検出方式の自動焦点調節（以下、イメージャＡＦという）を行うカメラでは焦点調節動作が緩慢となる。何故ならば、フレームレートが低いと、そのフレームレートに対応した低い頻度でしか焦点調節状態の検出を行うことができないからである。

上述した問題を改善するために、撮像素子からの画像信号読み出し速度を高め、さらに読み出した画像信号を処理する際の処理速度を増そうとすると、先にも説明したように、より複雑な回路構成、より高度な処理能力が求められるので、カメラの製造コスト上昇や消費電力上昇による電池寿命の低下を招くことになる。

本発明は上記の問題に鑑みてなされたもので、カメラのコスト上昇や電池寿命の低下を招くことなくライブビュー画像や動画像のフレームレートの低下を抑制可能とし、なおかつ色再現性に優れた画像を記録可能とすることを目的とする。

本発明のある態様によれば、互いに異なる分光感度特性を有する４以上の色のカラーセンサを構成する画素を備え、第１の信号読み出し時間で第１の情報量の画像信号を読み出す第１の信号読み出しモードと、前記第１の読み出し時間よりも短い第２の読み出し時間で前記第１の情報量よりも少ない第２の情報量の画像信号を読み出す第２の信号読み出しモードとのいずれかで動作可能なマルチスペクトル撮像素子を備えるデジタルカメラにおいて、
前記マルチスペクトル撮像素子が、前記第１の信号読み出しモード時には前記４以上の色のカラーセンサを構成する画素から読み出される前記４以上の色全部に対応する色数の画像信号を出力する一方、前記第２の信号読み出しモード時には、前記第１の信号読み出しモード時よりも少ない色数の画像信号であって、前記第１の信号読み出しモードで読み出される画像信号によって再現可能な色域よりも狭められた色域を形成する画像信号を出力することが可能に構成されることにより、上述した課題を解決する。

本発明によれば、第２の信号読み出しモード時に読み出す画像信号の情報量を効果的に減じることが可能となる。

本発明が適用されるデジタルカメラの内部構成を概略的に説明するブロック図である。 画像信号処理部の内部構成を概略的に説明するブロック図である。 本発明の第１の実施の形態に係るデジタルカメラに備えられる単板式撮像素子上に配置されるカラーフィルタの配列を説明する図であり、（ａ）は全ての色のカラーフィルタが配列される様子を示し、（ｂ）はＲ色のカラーフィルタが配列される様子を示し、（ｃ）、（ｄ）、（ｅ）、（ｆ）、（ｇ）はそれぞれＲ色、Ｇ色、Ｂ色、Ｃ色、Ｏ色のフィルタの単位配列を示す。 本発明の第２の実施の形態に係るデジタルカメラに備えられる単板式撮像素子上に配置されるカラーフィルタの配列を説明する図であり、（ａ）は全ての色のカラーフィルタが配列される様子を示し、（ｂ）は間引き読み出しモードで画像信号が読み出される対象の画素上に配置されるＲ色、Ｇ色、Ｂ色のカラーフィルタの配列を示す。 本発明の第３の実施の形態に係るデジタルカメラに備えられる単板式撮像素子上に配列されるカラーフィルタの配列を説明する図であり、（ａ）はすべての色のカラーフィルタが配列される様子を示し、（ｂ）は画素加算読み出しモードで画像信号が読み出された結果、等価的にＲ、Ｇ、Ｂ各色の画像信号が得られる様子を概念的に説明する図である。 図５に示されるカラーフィルタそれぞれの分光透過特性と、撮像素子の分光感度特性とで決まる各色の分光感度特性および画素加算読み出しによって得られる信号の分光特性の例を概念的に示す図である。 本発明の第３の実施の形態に係るデジタルカメラに備えられる単板式撮像素子上に配置されるカラーフィルタの配列の図５とは異なる例を示す図であり、（ａ）はすべての色のカラーフィルタが配列される様子を示し、（ｂ）は画素加算読み出しモードで画像信号が読み出された結果、等価的にＲ、Ｇ、Ｂ各色のベイヤ配列の画像信号が得られる様子を概念的に説明する図である。 図７に示されるカラーフィルタそれぞれの分光透過特性と、撮像素子の分光感度特性とで決まる各色の分光感度特性および画素加算読み出しによって得られる信号の分光特性の例を概念的に示す図である。 本発明第４の実施の形態に係るデジタルカメラに備えられる単板式撮像素子上に配置されるカラーフィルタの配列を説明する図であり、間引き読み出しと画素加算とを併用することによって等価的にＲ、Ｇ、Ｂ各色のベイヤ配列の画像信号が得られる様子を概念的に示す図である。 図９に示されるカラーフィルタそれぞれの分光透過特性を設定する際の様子を説明する図である。 本発明の第５の実施の形態に係るデジタルカメラに備えられる単板式撮像素子の内部構成を概略的に説明するブロック図である。 図１１に示される撮像素子の１画素分の内部構成を概略的に説明する回路図である。 図１１に示される撮像素子で、グローバルシャッタモードでの露光動作および画像信号読み出し動作が行われる際のシーケンスを説明するタイミングチャートである。 図１１に示される撮像素子上に配置されるカラーフィルタの配列例を示す図であり、グローバルシャッタモードでの露光動作後、優先読み出しの対象となっている行の画素からの画像信号読み出しに続いて優先読み出しの対象となっていない残りの行からの画像信号の読み出しとローリングシャッタモードでの露光とが行われる様子を概念的に説明する図である。

− 第１の実施の形態 −
図１は、本発明が適用されるデジタルカメラの概略的構成を説明するブロック図である。本発明の実施の形態において、デジタルカメラ１００は、デジタルスチルカメラであるものとして説明する。無論、静止画も撮影可能なデジタルムービーカメラに本発明を適用することも可能である。

デジタルカメラ１００は、撮影レンズ１０２と、撮像素子１１０と、センサ制御部１２０と、画像信号処理部２００と、システムコントローラ１４０と、バッファメモリ１４２と、画像表示部１４４と、画像記録部１４６と、操作部１４８と、システムバス１５０とを備える。

撮像素子１１０、センサ制御部１２０、画像信号処理部２００、システムコントローラ１４０、バッファメモリ１４２、画像表示部１４４、画像記録部１４６、操作部１４８は、システムバス１５０を介して電気的に接続される。

システムコントローラ１４０はＣＰＵ等で構成され、デジタルカメラ１００の動作を統括的に制御する。バッファメモリ１４２は、ＳＤＲＡＭ等で構成されていて、比較的高速のアクセス速度を有するものである。このバッファメモリ１４２は、システムコントローラ１４０からも画像信号処理部２００からもアクセス可能に構成されている。バッファメモリ１４２は、撮像素子１１０から出力されたデジタル画像信号を画像信号処理部２００が処理して画像データを生成する際のワークエリアとして用いられる。バッファメモリ１４２はまた、システムコントローラ１４０がデジタルカメラ１００を制御するためのプログラムを実行する際のワークエリアとしても用いられる。

画像表示部１４４は、カラー液晶表示素子やバックライト装置等を備え、デジタルカメラ１００で撮像して得られた画像やライブビュー画像、そしてデジタルカメラ１００の動作状態等を表示可能に構成される。画像表示部１４４は、デジタルカメラ１００の背面や側面に備えられる形態を有していても、比較的小型の表示素子と拡大光学系とで構成されるＥＶＦ（電子ビューファインダ）の形態を有していても、両方の形態を有していて、使用状況に応じていずれかをユーザが使用可能に構成されていてもよい。画像表示部１４４は、カラー液晶表示素子とバックライトとの組み合わせに代えて有機ＥＬ表示素子等を備えて構成されていてもよい。

画像記録部１４６は、内蔵式、あるいは外付け式のフラッシュメモリ等で構成され、デジタルカメラ１００で撮像をして生成された画像データファイル等を記憶可能に構成される。

操作部１４８は、各種のスイッチやダイヤル等を備え、デジタルカメラ１００のユーザによる動作モードの設定操作や撮像に際してのレリーズ操作等を受付可能に構成される。

撮影レンズ１０２は、被写体像を撮像素子１１０の受光面上に形成する。この撮影レンズ１０２はデジタルカメラ１００に固定されているものであっても、デジタルカメラ１００に対して着脱可能な交換式のものであってもよい。

撮像素子１１０は、ＣＣＤであってもＣＭＯＳイメージセンサであってもよい。本明細書において撮像素子１１０は単板式のＣＭＯＳイメージセンサであるものとして説明する。撮像素子１１０は、受光部１１１と、垂直走査回路１１２と、水平読み出し回路１１３と、Ａ／Ｄコンバータ（図１中ではＡ／Ｄと表記される）１１４とを備える。

受光部１１１は、横方向（水平方向）および縦方向（垂直方向）に二次元配列された多数の画素を備え、撮影レンズ１０２によって形成された被写体像に対応するカラーの画像信号を出力可能に構成される。各画素上には、４以上の色数のオンチップカラーフィルタのうち、いずれかの色のものが配置されている。撮像素子１１０は、上記の構成を備えていて、互いに異なる分光感度特性を有する４以上の色のカラーセンサを構成する画素を備えたマルチスペクトル撮像素子である。そして、撮像素子１１０から読み出された画像信号に後述するデモザイク処理等をすることにより、４以上の色数のマルチスペクトル画像データを生成可能に構成される。

垂直走査回路１１２は、受光部１１１内で上述のように二次元配列された画素中、行単位（水平ライン単位）で画像信号を読み出す対象の画素を指定可能に構成される。水平読み出し回路１１３は、垂直走査回路１１２で指定された行（水平ライン上）の画素中、画像信号を読み出す対象の画素を順次指定して、指定された画素から出力される画像信号を読み出して増幅し、Ａ／Ｄコンバータ１１４に出力可能に構成される。Ａ／Ｄコンバータ１１４は、水平読み出し回路１１３から出力されたアナログ画像信号をデジタル画像信号に変換する。このデジタル画像信号は、バッファメモリ１４２に一時的に記憶される。

センサ制御部１２０は、システムコントローラ１４０から出力される指令信号に基づき、垂直走査回路１１２および水平読み出し回路１１３に制御信号を発し、任意の画素からのデジタル画像信号が出力されるように撮像素子１１０を制御することができる。

ここでセンサ制御部１２０の動作を説明する前に、撮像素子１１０が備える二つの画像信号読み出しモードについて説明する。撮像素子１１０は、第１の信号読み出しモードおよび第２の信号読み出しモードによる画像信号の読み出しが可能に構成される。

第１の信号読み出しモード時、撮像素子１１０からは、上述した４以上の色のカラーセンサを構成する画素から出力される４以上の色全部の画像信号が出力される。このとき、出力される画像信号は第１の情報量を有していて、画像信号の読み出しには第１の読み出し時間を要するものとする。この第１の信号読み出しモードとしては全画素読み出しモードとすることが可能である。

第２の信号読み出しモード時、撮像素子１１０からは、第１の信号読み出しモード時に出力される画像信号の色数よりも少なく、且つ、三原色を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）に相当する色を少なくとも含む画像信号が出力される。このとき、出力される画像信号は、第１の信号読み出しモード時における第１の情報量よりも少ない第２の情報量を有している。また、第２の信号読み出しモードで読み出された画像信号で再現可能な色域は、第１の信号読み出しモードで読み出された画像信号で再現可能な色域よりも狭い。

また、第２の信号読み出しモード時の画像信号の読み出しは、第１の信号読み出しモード時に要する第１の読み出し時間よりも短い第２の読み出し時間で完了する。第２の信号読み出しモードでは、使用される撮像素子１１０の仕様に応じて間引き読み出し、画素加算読み出し、または両方を組み合わせた読み出しが行われる。これら第１の信号読み出しモード、第２の信号読み出しモードで出力される画像信号の詳細については後で説明する。

ユーザがデジタルカメラ１００を被写体に向けて構図決定や焦点調節状態の確認をするときに、デジタルカメラ１００はライブビュー画像を画像表示部１４４に表示可能に構成される。このとき、画像表示部１４４には、１５ｆｐｓ、３０ｆｐｓ、あるいはそれより高速のフレームレートで画像が表示されることが望ましい。この場合、撮像素子１１０からは第２の信号読み出しモードで画像信号が読み出される。

システムコントローラ１４０は、デジタルカメラ１００の動作状況に応じて第１の信号読み出しモードおよび第２の信号読み出しモードのうち、どちらの信号読み出しモードで撮像素子１１０から画像信号を読み出すかを決定し、決定された信号読み出しモードに対応して制御信号をセンサ制御部１２０および画像信号処理部２００に出力する。

センサ制御部１２０は、システムコントローラ１４０から出力された制御信号に基づき、第１の信号読み出しモードおよび第２の信号読み出しモードのうち、いずれかの信号読み出しモードで撮像素子１１０から画像信号が読み出されるように垂直走査回路１１２および水平読み出し回路１１３に制御信号を出力する。

画像信号処理部２００は、第１信号処理部２５０と第２信号処理部２１０とを備える。第１信号処理部２５０は、撮像素子１１０から第１の信号読み出しモードで読み出され、バッファメモリ１４２に一時的に記憶されたデジタル画像信号を処理してマルチスペクトル画像データまたはＲＧＢ画像データを生成する。

第２信号処理部２１０は、撮像素子１１０から第２の信号読み出しモードで読み出され、バッファメモリ１４２に一時的に記憶されたデジタル画像信号を処理して、画像表示部１４４にライブビュー画像を表示するための画像データまたは画像記録部１４６に動画像データとして記録するための画像データを生成する。以下では、第２信号処理部２１０は、ＲＧＢ３色デジタル画像信号を処理してライブビュー表示用の画像データを生成するものとして説明をする。

図２は、画像信号処理部２００の構成をより詳細に示すブロック図である。画像信号処理部２００は、先に説明した第１信号処理部２５０、第２信号処理部２１０に加えて、ＯＢ減算処理部２３２と、処理切替部２３０と、ライブビュー表示処理部２３４とをさらに備える。

ＯＢ減算処理部２３２は、バッファメモリ１４２に一時的に記憶されているデジタル画像信号に対してＯＢ減算処理（撮像素子１１０から読み出される画像信号中の暗電流成分をキャンセルする処理）を行う。処理切替部２３０は、上記ＯＢ減算処理部２３２でＯＢ減算処理されてバッファメモリ１４２に一時的に記憶されているデジタル画像信号に対して行う処理として、第１信号処理部２５０で行われる処理および第２信号処理部２１０で行われる処理のうち、システムコントローラ１４０から出力された制御信号に基づいていずれかに切り替える。

第１信号処理部２５０は、ＭＳデモザイク処理部２５２と、ＮＲ処理部２５４と、ＭＳ−ＲＧＢ変換処理部２５６と、色変換処理部２５８と、色・ガンマ補正処理部２６０とを備える。

ＭＳデモザイク処理部２５２は、バッファメモリ１４２に一時的に記憶されるマルチスペクトルのデジタル画像信号に対してデモザイキングの処理を行う。そして第１の信号読み出しモードで撮像素子１１０から読み出された、上記４以上の色全部の画像信号に基づき、各画素に対応して上記４以上の色数の画素値を含む画像データが生成される。つまり、４以上のカラープレンからなるマルチスペクトルの画像データが生成される。

ＮＲ処理部２５４は、ＭＳデモザイク処理部２５２により生成されたマルチスペクトルの画像データに対してコアリング処理、メディアンフィルタ処理等によるノイズ低減処理を行う。

デジタルカメラ１００がマルチスペクトルの画像データを記録するモードに設定されている場合、ＮＲ処理部２５４で処理されてバッファメモリ１４２に一時的に記憶されているマルチスペクトルの画像データ（図２中ではＭＳ画像データと表記される）に対し、必要に応じて圧縮の処理が行われ、所定のフォーマットに従って生成されたマルチスペクトル画像データファイルとして画像記録部１４６に記録される。このとき、マルチスペクトル画像データファイル中には、後で画像を再生する処理が行われる際に参照される色再現情報がタグ情報として付加される。色再現情報としては、撮影レンズ１０２の分光透過率、撮像素子１１０の分光感度、撮影時に被写体を照明していた光（撮影照明光）の分光放射輝度、被写体の分光反射率を推定する処理に際して参照される、被写体固有の統計情報などを含むことが可能である。

また、デジタルカメラ１００に多原色モニタＭＰＭが接続されていて、デジタルカメラ１００の動作モードが画像再生モードに設定されている場合、ＮＲ処理部２５４で処理されたマルチスペクトルの画像データに対して色変換処理部２５８で色変換処理が行われる。色変換処理部２５８は、多原色モニタＭＰＭのモニタプロファイル等に関する情報（モニタプロファイル情報）を予め取得する。色変換処理部２５８はまた、多原色モニタＭＰＭの設置される環境を照明している照明光の分光放射輝度に関する情報（観察照明分光分布情報）を多原色モニタＭＰＭの近傍に設置されたセンサから取得する。色変換処理部２５８は、これらのモニタプロファイル情報や観察照明分光分布情報をもとに色変換処理を行い、多原色モニタＭＰＭに出力する。

色変換処理部２５８において上述した色変換処理が行われることにより、被写体があたかも多原色モニタＭＰＭの設置されている環境を照明している照明光で照明されているかのような色合いで再生され、多原色モニタＭＰＭを観視している観察者は、リアリティのより高められた再生画像を観視することが可能となる。

ＭＳ−ＲＧＢ変換処理部２５６は、ＮＲ処理部２５４で処理されたマルチスペクトルの画像データをＲＧＢの画像データに変換する処理を行う。デジタルカメラ１００がＲＧＢの画像データを記録するモードに設定されている場合、ＭＳ−ＲＧＢ変換処理部で変換処理されて生成されたＲＧＢの画像データは、必要に応じて圧縮処理され、所定のフォーマットに従って生成されたＲＧＢ画像データファイルとして画像記録部１４６に記録される。

また、デジタルカメラ１００にＲＧＢモニタＲＧＢＭが接続されていて、デジタルカメラ１００の動作モードが画像再生モードに設定されている場合、ＭＳ−ＲＧＢ変換処理部２５６で処理されて生成されたＲＧＢの画像データに対して色・ガンマ補正処理部２６０で色・ガンマ補正処理が行われる。色・ガンマ補正処理部２６０は、ＲＧＢモニタＲＧＢＭのモニタプロファイル情報を予め取得する。色・ガンマ補正処理部２６０は、このモニタプロファイル情報をもとに色変換処理とガンマ補正処理を行い、ＲＧＢモニタＲＧＢＭに出力する。

ところで、デジタルカメラ１００の画像表示部１４４にいわゆるポストビュー表示（撮影して得られた画像を撮影直後の一定時間にわたり表示）する場合には、色・ガンマ補正処理部２６０で処理されて生成されたＲＧＢの画像データに基づく画像が画像表示部１４４に表示される。

第２信号処理部２１０は、ホワイトバランス補正部（図２中ではＷＢ補正部と表記される）２１２と、ＲＧＢデモザイク処理部２１４と、色補正処理部２１６と、ガンマ補正処理部２１８と、ＮＲ処理部２２０とを備える。

ホワイトバランス補正部２１２は、デジタルカメラ１００で予め設定されているホワイトバランスモードに応じて、デジタル画像信号にホワイトバランス補正処理を行う。例えば、デジタルカメラ１００のホワイトバランスモードがタングステン灯、昼白色蛍光灯、昼光色蛍光灯、太陽光、曇天、フラッシュ光等のプリセットホワイトバランスモードのうち、いずれかに設定されている場合、設定されているプリセットホワイトバランスモードに対応したホワイトバランス補正処理をデジタル画像信号に対して行う。また、デジタルカメラ１００が自動ホワイトバランスモードに設定されている場合、デジタル画像信号を解析して光源の種類を推定する処理がホワイトバランス補正部２１２で行われる。そして、推定された光源の種類に対応したホワイトバランス補正処理が行われる。

ＲＧＢデモザイク処理部２１４は、デジタル画像信号に対してデモザイキングの処理を行い、１画素あたりＲＧＢ３色の画素値を有する画像データを生成してバッファメモリ１４２へ一時的に記憶する。なお、本明細書中において、デモザイキングの処理が行われる前のものをデジタル画像信号と称し、デモザイキングの処理が行われた後のものを画像データと称する。

色補正処理部２１６は、画像表示部１４４の色再現特性、デジタルカメラ１００で予め設定されている色調再現モード等に応じ、バッファメモリ１４２に一時的に記憶されている画像データに対して色補正処理を行う。

ガンマ補正処理部２１８は、画像データに対して階調補正処理を行う。例えば、撮像素子１１０から出力されるデジタル画像信号が１２ビットのビット深度を有する一方、画像表示部１４４で表示される際の表示階調がＲＧＢ各色８ビットである場合、ハイライト部およびシャドウ部における階調を圧縮して中間部の階調情報ができるだけ保存されるような特性のガンマ補正特性がデジタル画像信号に適用される。このとき、画像表示部１４４の階調再現特性も加味してガンマ補正処理が行われる。なお、第２信号処理部２１０で生成される画像データが動画記録用の画像データである場合、上述したのとは異なるガンマ補正特性を適用することも可能である。

ＮＲ処理部２２０は、画像データに対してコアリング処理、メディアンフィルタ処理等によるノイズ低減処理を行う。

ライブビュー表示処理部２３４は、上記ノイズ低減処理の行われた画像データをもとにライブビュー画像データ、すなわち画像表示部１４４にライブビュー画像を表示するための画像データを生成し、画像表示部１４４に出力する。

以上に説明したように、デジタルカメラ１００の動作状況に応じてシステムコントローラ１４０がセンサ制御部１２０および画像信号処理部２００に制御信号を発する。そして、ライブビュー表示を行う際には第２の信号読み出しモードで撮像素子１１０から読み出された画像信号を第２信号処理部２１０で処理し、画像表示部１４４にライブビュー表示を行う。また、マルチスペクトルの静止画撮影が行われたときには第１の信号読み出しモードで撮像素子１１０から読み出された画像信号を第１信号処理部２５０で処理し、マルチスペクトル画像データファイルを生成して画像記録部１４６に記録する。このとき、必要に応じて、マルチスペクトル画像データからＲＧＢ画像データが生成され、ＲＧＢモニタへ表示する処理やＲＧＢ画像データファイルを生成する処理が行われる。

図３は、撮像素子１１０の受光部１１１に二次元配列されたフォトダイオード（光電変換部）の上に設けられるカラーフィルタの配列例を概念的に示す図である。図３において、撮像素子１１０はＲ、Ｇ、Ｂの各色に加え、Ｃ（シアン）、Ｏ（橙）の計５色のカラーフィルタを備える。

以下では、Ｒ、Ｇ、Ｂ、Ｃ、Ｏ各色のカラーフィルタそれぞれが有する分光透過特性と、撮像素子１１０中に配列される光電変換部（フォトダイオード）の分光感度特性との組み合わせで決まる分光感度特性を、Ｒ画素の分光感度特性、Ｂ画素の分光感度特性、Ｇ画素の分光感度特性、Ｃ画素の分光感度特性、Ｏ画素の分光感度特性と称して説明をする。また、カラーフィルタの配列について説明する際に、図３の左右方向を行方向と称し、上下方向を列方向と称する。

上記５色の画素のうち、Ｒ画素、Ｇ画素、Ｂ画素それぞれの分光感度特性の組み合わせによって波長３８０ｎｍから７８０ｎｍまでの可視光波長帯域をカバーすることが可能に構成される。すなわち、これらＲ画素、Ｇ画素、Ｂ画素から出力される画像信号は、三原色を構成するＲ、Ｇ、Ｂに相当する色を含んだものとなっている。これらＲ画素、Ｇ画素、Ｂ画素から得られる画像信号に加え、Ｃ画素、Ｏ画素から得られる画像信号を組み合わせることにより、色域のより拡大された画像、観察者メタメリズムの影響がより減じられた画像を生成することが可能となる。

図３（ａ）は、Ｒ、Ｇ、Ｂ、Ｃ、Ｏ各色のカラーフィルタが行方向、列方向に規則的に二次元配列される様子を示している。図３（ｂ）は、Ｒ色のカラーフィルタのみの配列を抜き出して示す図である。図３（ｃ）から図３（ｇ）は、Ｒ、Ｇ、Ｂ、Ｃ、Ｏそれぞれの色のカラーフィルタの単位配列を説明する図である。

先ず、図３（ｂ）を参照して説明すると、一つの色のカラーフィルタの配列は、任意の位置にあるカラーフィルタ、例えば図３（ｂ）において符号Ｉの付されたカラーフィルタ（これをカラーフィルタＩと称する）を基準として、そのカラーフィルタＩに最近接するように配置され、かつ、カラーフィルタＩの周囲を取り巻くように配置される四つのカラーフィルタ（カラーフィルタＩＩ、ＩＩＩ、ＩＶ、Ｖ）は、いずれもカラーフィルタＩから等距離の位置に配列される。その配列の規則性は、他のカラーフィルタ、例えばカラーフィルタＶを基準としたときにも維持されている。結果として、カラーフィルタは等距離配置されたものとなっている。

図３（ｃ）は、撮像素子１１０の受光部１１１に二次元配列されたフォトダイオードの上に設けられるＲ色のカラーフィルタのうち、互いに最も近接して配置される四つのカラーフィルタを抜き出して描いたものである。これら四つのカラーフィルタは、点Ｐを中心とする一つの円上に等間隔配置されている。この配列の規則性は、図３（ｄ）から図３（ｇ）に示されるように、他の色のカラーフィルタでも同じである。

図３（ｃ）から図３（ｇ）のそれぞれに示される配列のカラーフィルタを単位配列として組み合わせることにより、図３（ａ）に示されるカラーフィルタの配列が形成される。すなわち、図３（ｃ）から図３（ｇ）に示される単位配列の図中、ｕ、ｖ、ｗ、ｘの符号が付された辺について、同じ符号が付された辺同士を接触させるようにしてこれらのカラーフィルタを組み合わせて配列することにより、図３（ａ）に示されるカラーフィルタの配列が完成する。

図３に例示されるカラーフィルタの配置によれば、サンプリング空間周波数が、カラーフィルタの色によらず全て同じであるという特徴を有する。

図１、図２を参照して説明したデジタルカメラ１００が、図３を参照して以上に説明したようにオンチップカラーフィルタが形成された撮像素子１１０を備えるものである場合に、第１、第２の信号読み出しモードでどのように画像信号が読み出されるかについて説明する。

第１の信号読み出しモードでは、全画素読み出しモードによる画像信号の読み出しが行われる。センサ制御部１２０は、垂直走査回路１１２、水平読み出し回路１１３に制御信号を出力し、以下で図３（ａ）を参照して説明するように撮像素子１１０から画像信号が読み出される。

露光動作完了後、垂直走査回路１１２は図３（ａ）で符号ａの付された水平ラインを指定（以下、ａ、ｂ、ｃ、…の符号が付された各水平ラインを水平ラインａ、水平ラインｂ、…と称する）する。その後、水平読み出し回路１１３は、符号１の付された列の画素、符号２の付された列の画素（以下、１、２、３、…の符号の付された列の各画素を列１の画素、列２の画素、…と称する）、…から画像信号が点順次で出力されるように受光部１１１にタイミング信号を出力する。そして水平ラインａからの画像信号の読み出しが完了すると水平ラインｂ、水平ラインｃと、同様の画像信号読み出し動作を繰り返す。その結果、Ｒ画素、Ｇ画素、Ｂ画素、Ｃ画素、Ｏ画素の、全部の色の画素から出力される５色の画像信号が撮像素子１１０から読み出される。

第２の信号読み出しモードでは、間引き読み出しモードによる画像信号の読み出しが行われる。露光動作完了後、垂直走査回路１１２は水平ラインａを指定する。その後、水平読み出し回路１１３は、列１の画素、列２の画素、列３の画素（Ｒ画素、Ｇ画素、Ｂ画素）から画像信号が点順次で出力されるよう受光部１１１にタイミング信号を出力する。そして列４、列５（Ｃ画素、Ｏ画素の列）はスキップして、列６の画素、列７の画素、列８の画素（Ｒ画素、Ｇ画素、Ｂ画素）から画像信号が点順次で出力されるように受光部１１１にタイミング信号を出力する。以下、同様にして二つの連続する列（Ｃ画素、Ｏ画素の列）をスキップし、三つの連続する列（Ｒ画素、Ｇ画素、Ｂ画素の列）の画素から点順次に画像信号を読み出す動作を、水平ラインａの末尾の列に達するまで繰り返し行う。

以上のようにして水平ラインａからの画像信号の読み出しが完了すると、垂直走査回路１１２は水平ラインｂを指定する。水平ラインｂに対応して、水平読み出し回路１１３は先ず列１の画素から画像信号が出力されるように受光部１１１にタイミング信号を出力する。その後、二つの連続する列をスキップし、三つの連続する列の画素から画像信号を点順次に読み出す動作を、水平ラインｂの末尾の列に達するまで繰り返し行う。

同様に、水平ラインｃで、列１はスキップして列２の画素、列３の画素、列４の画素から画像信号が点順次で出力されるように水平読み出し回路１１３は受光部１１１にタイミング信号を出力する。その後、二つの連続する列をスキップし、三つの連続する列の画素から点順次に画像信号を読み出す動作を、水平ラインｃの末尾の列に達するまで繰り返し行う。

以下、同様にして、最後の水平ラインに達するまで第２の信号読み出しモードでの画像信号読み出し動作が繰り返し行われる。

以上では、第２の信号読み出しモードでの画像信号読み出し動作に際して、全水平ラインから画像信号読み出し、そのときにＲ画素、Ｇ画素、Ｂ画素以外の色に対応する画像信号は間引いて読み出さないようにして、Ｒ画素、Ｇ画素、Ｂ画素のみから画像信号を読み出す例について説明した。つまり、色間引きによってＣ画素、Ｏ画素からの画像信号読み出しをスキップして、撮像素子１１０からの画像信号の読み出しに要する時間の短縮を可能としている。

上記の例に対して、第２の信号読み出しモードでの画像信号読み出し動作に際して、ある本数の水平ラインごとに一本または複数本の水平ラインから画像信号を読み出すようにする間引き読み出しをしてもよい。このときに、上述した色間引きによる画像信号読み出しを行って、Ｃ画素、Ｏ画素からの画像信号読み出しをスキップすることにより、撮像素子１１０からの画像信号の読み出しに要する時間のさらなる短縮が可能となる。

また、以上では色間引きの結果として、Ｃ画素およびＯ画素からの画像信号読み出しをスキップする例について説明したが、画像信号読み出しをスキップする対象をＣ画素のみ、あるいはＯ画素のみとしてもよい。大事なことは、第２の信号読み出しモードで読み出された画像信号の情報量が、第１の信号読み出しモードで読み出される画像信号の情報量よりも減じられている点である。

− 第２の実施の形態 −
図４は、本発明の第２の実施の形態に係るデジタルカメラ１００に備えられる撮像素子１１０の受光部１１１に二次元配列されたフォトダイオード（光電変換部）の上に設けられるカラーフィルタの配列例を概念的に示す図である。図４（ａ）にはすべての色のカラーフィルタの配置を示し、図４（ｂ）にはＲ、Ｇ、Ｂの３色のカラーフィルタのみの配置を抜き出して示す。

図４（ａ）に示されるように、撮像素子１１０はＲ、Ｇ、Ｂの各色に加え、λ１、λ２、…、λ１２の合計１５色のカラーフィルタを備える。また、図４（ｂ）に示されるように、Ｇ色のフィルタの配置数が他の色の２倍となっていて、Ｒ、Ｇ、Ｂの色のフィルタのみの配置に着目するとベイヤ配列となっている。本実施の形態の説明においても、Ｒ、Ｇ、Ｂ、λ１、λ２、…、λ１２各色のカラーフィルタそれぞれが有する分光透過特性と、撮像素子１１０中に配列される光電変換部（フォトダイオード）の分光感度特性との組み合わせで決まる分光感度特性を、Ｒ画素の分光感度特性、Ｇ画素の分光感度特性、Ｂ画素の分光感度特性、λ１画素の分光感度特性、λ２画素の分光感度特性、…、λ１２画素の分光感度特性と称する。

図４に示される例においても、上記１５色の画素のうち、Ｒ画素、Ｇ画素、Ｂ画素それぞれの分光感度特性の組み合わせによって、波長３８０ｎｍから７８０ｎｍまでの可視光波長帯域をカバーすることが可能に構成される。これらＲ画素、Ｇ画素、Ｂ画素から得られる画像信号に加えてλ１からλ１２の１２色の画素から得られる画像信号を組み合わせることで、より正確で色域の拡大された色再現をすることが可能となる。

λ１画素からλ１２画素までの画素それぞれが備える分光感度特性は、Ｒ画素、Ｇ画素、Ｂ画素それぞれの画素が備える分光感度特性よりも狭帯域のもの、広帯域のもの、あるいは赤外域や紫外域等に感度を有するもの等、様々な分光透過特性のものを設定可能である。

図１、図２を参照して説明したデジタルカメラ１００が、図４を参照して以上に説明したようにオンチップカラーフィルタが形成された撮像素子１１０を備えるものである場合に、第１、第２の信号読み出しモードでどのように画像信号が読み出されるかについて説明する。

第１の信号読み出しモードでは、全画素読み出しモードによる画像信号の読み出しが行われる。センサ制御部１２０は、垂直走査回路１１２、水平読み出し回路１１３に制御信号を出力し、以下で図４（ａ）を参照して説明するように撮像素子１１０から画像信号が読み出される。

露光動作完了後、垂直走査回路１１２は図４（ａ）中の水平ラインａを指定する。その後、水平読み出し回路１１３は、列１の画素、列２の画素、…から画像信号が点順次で出力されるように受光部１１１にタイミング信号を出力する。そして水平ラインａからの画像信号の読み出しが完了すると水平ラインｂ、水平ラインｃと、同様の画像信号読み出し動作を繰り返す。その結果、λ１画素、λ２画素、…、λ１２画素、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれから出力される１５色の画像信号が撮像素子１１０から読み出される。

第２の信号読み出しモードでは、間引き読み出しモードによる画像信号の読み出しが行われる。露光動作完了後、垂直走査回路１１２は水平ラインａを指定する。その後、水平読み出し回路１１３は、水平ラインａ中の列１、列３、列５、列７、…と、奇数列の画素（Ｒ画素、Ｇ画素）から画像信号が点順次で出力されるよう受光部１１１にタイミング信号を出力する。

以上のようにして水平ラインａからの画像信号の読み出しが完了すると、垂直走査回路１１２は水平ラインｃを指定する。水平ラインｃに対応して、水平読み出し回路１１３は、同じく奇数列の画素（Ｇ画素、Ｂ画素）から画像信号が点順次で出力されるよう、受光部１１１にタイミング信号を出力する。

以下、同様にして、最後の水平ラインに達するまで一つ飛ばしで水平ラインを指定し、指定した水平ライン中、奇数列の画素から画像信号が点順次で出力されるよう、受光部１１１にタイミング信号を出力して第２の信号読み出しモードでの画像信号読み出し動作が繰り返し行われる。第２の信号読み出しモードで読み出された画像信号で再現可能な色域は、第１の信号読み出しモードで読み出された画像信号で再現可能な色域よりも狭くなる。

以上では、Ｒ画素、Ｇ画素、Ｂ画素が図４に例示されるように配列されていることを前提として説明をしたが、本発明は図４の例に限られるものではなく、他の様々な配列とすることが可能である。すなわち、図４では水平方向、垂直方向のそれぞれに４画素ずつの１６画素が一つの配列ユニットを構成していて、その配列ユニット中の奇数行、奇数列の位置にＲ画素、Ｇ画素、Ｂ画素が割り当てられている。このような配列に代えて、一つの配列ユニット中の偶数行、偶数列の位置にある画素にＲ画素、Ｇ画素、Ｂ画素を割り当ててもよい。また、一つの配列ユニットを構成する行方向、列方向の画素数を４よりも大きな数として、その配列ユニット中におけるＲ画素、Ｇ画素、Ｂ画素の配置も様々に変更可能である。その場合、これらＲ画素、Ｇ画素、Ｂ画素の配列に応じて、間引き読み出しをする際に指定するラインおよび読み出す対象の列を変えればよい。また、以上では第２の信号読み出しモードでの画像信号読み出し動作に際して、すべてのＲ画素、Ｇ画素、Ｂ画素から画像信号を読み出す例について説明したが、必ずしも全部のＲ画素、Ｇ画素、Ｂ画素から画像信号を読み出す必要はない。

上述のようにして第２の信号読み出しモードで読み出された画像信号は、図４（ｂ）に示されるようにベイヤ配列の撮像素子から読み出された画像信号と同様の色の配置となる。したがって、デモザイキングの処理に際して、従来からあるベイヤ補間のアルゴリズムを利用できるので処理を効率化することが可能となる。

また、第２の信号読み出しモードでの画像信号読み出し動作に際して、間引き読み出しに代えて、あるいは間引き読み出しと併用して、画素加算読み出しをすることも可能である。画素加算読み出しをする場合の一例について図４（ｂ）を参照して説明すると、水平ラインａおよび水平ラインｅを同時に指定した上で奇数列の画素を指定して点順次に画像信号を読み出すことにより画素加算読み出しをすることができる。続いて、水平ラインｃおよび水平ラインｇを同時に指定した上で奇数列の画素を指定して点順次に画像信号を読み出すことにより画素加算読み出しをすることができる。

無論、画素加算する際の加算ライン数等は、撮像素子１１０の仕様や読み出して得られる画像データのピクセル数に応じて変えることができる。

第１および第２の実施の形態では、第２の信号読み出しモードで読み出された画像信号が三原色を構成するＲ、Ｇ、Ｂ色に相当する色を含んだものとなっている例について説明したが、本発明はこれに限られるものではない。例えば、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）に相当する色等、所定の色域を形成可能な色の画像信号が読み出されればよい。また、デジタルカメラ１００の用途に応じて、第２の信号読み出しモード時には二色または一色の画像信号が読み出されるものであってもよい。一色の画像信号としては、例えばＲ、Ｇ、Ｂ、Ｙ、Ｃ、Ｍ等の色のうち、いずれかの色の画像信号が読み出されるものとすることが可能である。二色の画像信号としては、例えばＧ色およびＢ色、Ｂ色およびＲ色、Ｒ色およびＧ色、Ｙ色およびＣ色、Ｃ色およびＭ色、Ｍ色およびＹ色などの組み合わせのうち、いずれかの組み合わせの画像信号が読み出されるものとすることが可能である。

− 第３の実施の形態 −
図５は、本発明の第３の実施の形態に係るデジタルカメラ１００に備えられる撮像素子１１０の受光部１１１に二次元配列されたフォトダイオード（光電変換部）の上に設けられるカラーフィルタの配列例を概念的に示す図である。図５（ａ）は、λ１からλ９の、９色のカラーフィルタが規則的に配列される様子を示す。本実施の形態の説明においても、λ１、λ２、…、λ９各色のカラーフィルタそれぞれが有する分光透過特性と、撮像素子１１０中に配列される光電変換部（フォトダイオード）の分光感度特性との組み合わせで決まる分光感度特性を、λ１画素の分光感度特性、λ２画素の分光感度特性、…、λ９画素の分光感度特性と称する。

図５（ｂ）は、λ１画素、λ２画素、およびλ３画素、λ４画素、λ５画素、およびλ６画素、そしてλ７画素、λ８画素、およびλ９画素で、それぞれ画素加算読み出しが行われた結果、これらの画素の画素位置から等価的にＲ色、Ｇ色、Ｂ色に対応する画像信号が得られる様子を示す図である。ここで、Ｒ色、Ｇ色、Ｂ色に対応する画像信号とは、これらの画像信号の組み合わせによって波長３８０ｎｍから７８０ｎｍまでの可視光波長帯域をカバーすることが可能な、三原色を構成する色の画像信号であることを意味する。

図５（ａ）において、行方向に三つ、列方向に三つのタイル状に正方配列されたλ１からλ９のカラーフィルタを一組の単位配列として、その単位配列をさらに行方向、列方向に並べるようにして各色のカラーフィルタが配列されている。図５（ａ）中、太線で描かれた正方形の枠で囲われたものが一つの単位配列である。図５（ａ）に示される配列の例では、ある単位配列と、その単位配列に対して列方向に隣接して配置される単位配列とは、行方向に１画素分ずらされている。つまり、複数の単位配列が行方向（水平方向）に配列されて形成された一つの行に隣接して次の行を配列する際、行方向に１画素分ずらしてある。このとき、一の行から次の行、次の行からさらに次の行へと進むにつれて同じ方向に１画素ずつずらした雁行配置となっている。

図６は、λ１画素からλ９画素まで、それぞれの分光感度特性を概念的に示すグラフである。図６において、各色の画素の分光感度特性にλ１からλ９の符号を付してある。また、太線の破線で示される三つの曲線にはＲ、Ｇ、Ｂの符号を付してある。図６において、λ９が３８０ｎｍの波長の光に対して感度を有し、λ１が７８０ｎｍの波長の光に対して感度を有するように特性が定められている。

λ１画素、λ２画素、λ３画素から画素加算して画像信号を読み出すことにより、これらλ１画素、λ２画素、λ３画素から読み出される画像信号が、等価的にＲ色の分光感度特性を有する画素から読み出されたのと略同一となるようにλ１、λ２、λ３のフィルタの分光透過特性は定められている。また、λ４画素、λ５画素、λ６画素から画素加算して読み出される画像信号が、等価的にＧ色の分光感度特性を有する画素から読み出されたのと略同一となるようにλ４、λ５、λ６のフィルタの分光透過特性は定められている。さらに、λ７画素、λ８画素、λ９画素から画素加算して読み出される画像信号が、等価的にＢ色の分光感度特性を有する画素から読み出されたのと略同一となるようにλ７、λ８、λ９のフィルタの分光透過特性は定められている。

以上について、λ１画素、λ２画素、…、λ９画素それぞれの分光感度特性をλ１、λ２、…、λ９とし、Ｒ色、Ｇ色、Ｂ色の分光感度特性をＲ、Ｇ、Ｂとすると、

Ｒ ≒ λ１＋λ２＋λ３ … 式（１）
Ｇ ≒ λ４＋λ５＋λ６ … 式（２）
Ｂ ≒ λ７＋λ８＋λ９ … 式（３）

で表すことができる。λ１画素からλ９画素それぞれの分光感度特性を上述のように定めて画素加算読み出しをした結果がＲ色、Ｇ色、Ｂ色の分光感度特性に極力近くなるように設定することにより、良好な色分離性を得ることが可能となる。このとき、上記加算読み出しに対応して用意された色補正マトリクスを適用することにより、良好な色再現性を得ることが可能となる。

なお、図６に示されるグラフは、各色の画素の分光感度特性を、概念的に示すものであり、各色の分光感度特性の最大値で正規化したかたちでグラフが示されている。無論、各色の分光感度プロファイル（感度の中心波長や帯域幅等）は目的に応じて様々に変更することが可能である。

上述したＲ色、Ｇ色、Ｂ色の分光感度特性は、これらＲ色、Ｇ色、Ｂ色の分光感度特性の組み合わせによって可視光波長帯域をカバーすることが可能に構成される。すなわち、これらλ１画素からλ３画素、λ４画素からλ６画素、λ７画素からλ９画素それぞれで画素加算読み出しをして得られた画像信号は、三原色を構成するＲ、Ｇ、Ｂに相当する色を含んだものとなっている。

図１、図２を参照して説明したデジタルカメラ１００が、図５を参照して以上に説明したようにオンチップカラーフィルタが形成された撮像素子１１０を備えるものである場合に、第１、第２の信号読み出しモードでどのように画像信号が読み出されるかについて説明する。

第１の信号読み出しモードでは、全画素読み出しモードによる画像信号の読み出しが行われる。センサ制御部１２０は、垂直走査回路１１２、水平読み出し回路１１３に制御信号を出力し、以下で図５（ａ）を参照して説明するように撮像素子１１０から画像信号が読み出される。

露光動作完了後、垂直走査回路１１２は図５（ａ）中の水平ラインａを指定する。その後、水平読み出し回路１１３は、列１の画素、列２の画素、…から画像信号が点順次で出力されるように受光部１１１にタイミング信号を出力する。そして水平ラインａからの画像信号の読み出しが完了すると、水平ラインｂ、水平ラインｃ、…と、同様の画像信号読み出し動作を繰り返す。その結果、λ１画素、λ２画素、…、λ９画素から出力される全９色の画像信号が撮像素子１１０から読み出される。

第２の信号読み出しモードでは、画素加算読み出しモードによる画像信号の読み出しが行われる。露光動作完了後、垂直走査回路１１２は水平ラインａ、ｂ、およびｃの３ラインを同時に指定する。その後、水平読み出し回路１１３は、水平ラインａ、ｂ、およびｃ中の列１の画素から最後の列の画素まで、画像信号が点順次で出力されるよう受光部１１１にタイミング信号を出力する。

以上のようにして水平ラインａ、ｂ、およびｃからの画像信号の読み出し（画素加算読み出し）が完了すると、垂直走査回路１１２は水平ラインｄ、ｅ、およびｆを指定する。水平ラインｄ、ｅ、およびｆに対しても、水平読み出し回路１１３は列１の画素から最後の列の画素まで、画像信号が点順次で出力されるよう受光部１１１にタイミング信号を出力する。

以下、同様にして、最後の水平ラインに達するまで三本ずつ水平ラインを指定し、指定した水平ライン中の全ての列の画素から画像信号が点順次で出力されるよう、受光部１１１にタイミング信号を出力して第２の信号読み出しモードでの画像信号読み出し動作が繰り返し行われる。第２の信号読み出しモードで読み出された画像信号で再現可能な色域は、第１の信号読み出しモードで読み出された画像信号で再現可能な色域よりも狭くなる。

以上では第２の信号読み出しモードでの画像信号読み出し動作に際して、すべての水平ラインのすべての列の画素から画素加算読み出しにより画像信号を読み出す例について説明したが、必要とされる解像度（ピクセルサイズ）に応じて間引き読み出しも併用することが可能である。

以上では、二次元配列される画素の列方向に加算読み出しして上述したＲ色、Ｇ色、Ｂ色の画像信号が得られる例について説明したが、行方向に加算読み出しして上記Ｒ色、Ｇ色、Ｂ色の画像信号が得られるようにしてもよい。その場合に適用される３×３の単位配列について説明すると、第１行目の行方向（水平方向）に沿ってλ１画素、λ２画素、λ３画素を配置し、第２行目の行方向にλ４画素、λ５画素、λ６画素を配置する。そして、第３行目の行方向にλ７画素、λ８画素、λ９画素を配置する。

上記のように単位配列を形成し、その単位配列を行方向（水平方向）に並べてゆく際に、１画素ずつ列方向にずらしてゆくことが望ましい。つまり、図５においては雁行配置を得るために行方向に１画素ずつずれるように単位配列を配置しているのと異なり、列方向に１画素ずつずれるように単位配列を配置することが望ましい。

以上では図５を参照し、正方配列された９個の画素から一つの単位配列が形成されていて、列方向に並ぶ３画素ずつ画素加算読み出しをして上述したＲ色、Ｇ色、Ｂ色の画像信号が得られる例について説明した。本発明はこの例に限られるものではなく、以下にも例示するように様々なカラーフィルタの配置をすることが可能である。

図７は、単位配列が４×４の１６画素からなるものとし、画素加算読み出しに際して、行方向および列方向の２画素、つまり４画素の画素加算読み出しをする例について説明する図である。

図７（ａ）には、一組の単位配列が示されており、行方向に四つ、列方向に四つのタイル状に正方配列されたλ１からλ１２のカラーフィルタが示されている。図７（ａ）においてはλ５からλ８の分光透過特性を有するカラーフィルタの配列数が他の分光透過特性を有するカラーフィルタ（λ１からλ４、λ９からλ１２）の配列数の２倍となっている。また、λ５からλ８の分光透過特性を有する四つのカラーフィルタは行方向に２つ、列方向に２つの正方配列によってサブユニットが形成され、そのサブユニットが、１組の単位配列内において対角配列されている。図７（ａ）内では右上および左下の位置に上記サブユニットが配置されている。図７（ａ）に示される単位配列が、さらに行方向、列方向に沿って配列されてカラーフィルタの配列が形成される。

本例の説明においても、λ１、λ２、…、λ１２各色のカラーフィルタそれぞれが有する分光透過特性と、撮像素子１１０中に配列される光電変換部（フォトダイオード）の分光感度特性との組み合わせで決まる分光感度特性を、λ１画素の分光感度特性、λ２画素の分光感度特性、…、λ１２画素の分光感度特性と称する。

図８は、図７（ａ）に示すλ１画素からλ１２画素まで、それぞれの分光感度特性を概念的に示すグラフである。図８において、各色の画素の分光感度特性にλ１からλ１２の符号を付してある。また、太線の破線で示される三つの曲線にはＲ、Ｇ、Ｂの符号を付してある。図８において、λ１２が３８０ｎｍの波長の光に対して感度を有し、λ１が７８０ｎｍの波長の光に対して感度を有するように特性が定められている。

λ１画素、λ２画素、λ３画素、λ４画素から画素加算して画像信号を読み出すことにより、これらλ１画素、λ２画素、λ３画素、λ４画素から読み出される画像信号が、等価的にＲ色の分光感度特性を有する画素から読み出されたものとなるようにλ１、λ２、λ３、λ４のフィルタの分光透過特性は定められている。また、λ５画素、λ６画素、λ７画素、λ８画素から画素加算して読み出される画像信号が、等価的にＧ色の分光感度特性を有する画素から読み出されたものとなるようにλ５、λ６、λ７、λ８のフィルタの分光透過特性は定められている。さらに、λ９画素、λ１０画素、λ１１画素、λ１２画素から画素加算して読み出される画像信号が、等価的にＢ色の分光感度特性を有する画素から読み出されたものとなるようにλ９、λ１０、λ１１、λ１２のフィルタの分光透過特性は定められている。これらＲ色、Ｇ色、Ｂ色の分光感度特性の組み合わせによって波長３８０ｎｍから７８０ｎｍまでの可視光波長帯域をカバーすることが可能に構成されている。

以上について、λ１画素、λ２画素、…、λ１２画素それぞれの分光感度特性をλ１、λ２、…、λ１２とし、Ｒ色、Ｇ色、Ｂ色の分光感度特性をＲ、Ｇ、Ｂとすると、

Ｒ ≒ λ１＋λ２＋λ３＋λ４ … 式（４）
Ｇ ≒ λ５＋λ６＋λ７＋λ８ … 式（５）
Ｂ ≒ λ９＋λ１０＋λ１１＋λ１２ … 式（６）

で表すことができる。λ１画素からλ１２画素それぞれの分光感度特性を上述のように定めて画素加算読み出しをした結果がＲ色、Ｇ色、Ｂ色の分光感度特性に極力近くなるように設定することにより、良好な色分離性を得ることが可能となる。

また、λ１画素、λ２画素、…、λ１２画素が図７（ａ）を参照して以上に説明したように配列されていることにより、第２の信号読み出しモードで読み出された画像信号は、図７（ｂ）に示されるようにベイヤ配列の撮像素子から読み出された画像信号と同様の色の配置となる。したがって、デモザイキングの処理に際して、従来からあるベイヤ補間のアルゴリズムを利用できるので処理を効率化することが可能となる。

以上では、上記Ｒ色、Ｇ色、Ｂ色それぞれの分光感度特性が、複数の互いに異なる分光感度特性を有する画素を組み合わせることによって得られる例について説明したが、本発明はこれに限られるものではない。例えば、撮像素子１１０がλ１画素、λ２画素、Ｇ画素、Ｂ画素を有するものとしてもよい。そして、λ１画素およびλ２画素からの画像信号を加算することにより、Ｒ色の分光感度特性が得られるようにしてもよい。

この場合、λ１画素、λ２画素の分光感度特性をλ１、λ２とし、Ｒ色の分光感度特性をＲとすると、

Ｒ ≒ λ１＋λ２ … 式（７）

で表すことができる。

− 第４の実施の形態 −
図９は、本発明の第４の実施の形態に係るデジタルカメラ１００に備えられる撮像素子１１０の受光部１１１に二次元配列されたフォトダイオード（光電変換部）の上に設けられるカラーフィルタの配列例を概念的に示す図である。図９に示される例では、配置されるカラーフィルタの分光感度特性は、λ１、λ２、…、λ９の９種類である。図９においては、撮像素子１１０の左上隅の部分を示しており、一番上の行（水平ライン）を第１行とし、以下、第２行、第３行とする。図９に示されるカラーフィルタの配列は、奇数行とそれに続く偶数行とで一組の配列パターンが形成されている。

奇数行においては、図９の左から順にλ１、λ５、λ３、λ６、λ２、λ４と六つのカラーフィルタが配列され、それを奇数行における単位配列として末尾の列に至るまで規則的に配列される。偶数行においては、図９の左から順にλ６、λ９、λ４、λ７、λ５、λ８と六つのカラーフィルタが配列され、それを偶数行における単位配列として末尾の列に至るまで規則的に配列される。すなわち、奇数行および偶数行それぞれにおける単位配列を組み合わせて形成される単位配列は、２行６列からなる１２のカラーフィルタで構成され、λ４、λ５、λ６のカラーフィルタの配置数がそれぞれ二つ、他の色のカラーフィルタの配置数がそれぞれ一つとなっている。

本実施の形態の説明においても、λ１、λ２、…、λ９各色のカラーフィルタそれぞれが有する分光透過特性と、撮像素子１１０中に配列される光電変換部（フォトダイオード）の分光感度特性との組み合わせで決まる分光感度特性を、λ１画素の分光感度特性、λ２画素の分光感度特性、…、λ９画素の分光感度特性と称する。

図１０はｘｙ色度図上にλ１画素、λ２画素、…、λ９画素の分光感度帯域をプロットした様子を示す図である。この図１０にはまた、波長３８０ｎｍから７８０ｎｍに至るまでの可視光のスペクトル軌跡とその軌跡の両端を線分で結んで形成された釣り鐘形状の図形が示されている。

図１０に示されるように、λ１からλ９それぞれの分光感度特性は、ｘｙ色度図上のスペクトル軌跡に略沿うように定められる。また、λ１からλ９それぞれの分光感度帯域の中心波長に対応するｘ、ｙ座標値を求めて色度図上に点をプロット（図１０において符号Ｐ１からＰ９を付した点がその例）し、それらの点をつなぐ曲線（同じく、図１０において符号Ｌを付した太い破線の曲線がその例）を描いたとき、その線は上記点によって略等しい長さに分割されるように各分光感度特性が定められている。

図９、図１０に示される例では、λ１、λ２、λ３が可視光波長帯域中における長波長寄り（赤系統）の分光感度特性を備えている。同様に、λ４、λ５、λ６は可視光波長帯域中における中波長部分（緑系統）の分光感度特性を備えている。そしてλ７、λ８、λ９は、短波長寄り（青系統）の分光感度特性を備えている。

図１、図２を参照して説明したデジタルカメラ１００が、図９、図１０を参照して以上に説明したようにオンチップカラーフィルタが形成された撮像素子１１０を備えるものである場合に、第１、第２の信号読み出しモードでどのように画像信号が読み出されるかについて説明する。

第１の信号読み出しモードでは、全画素読み出しモードによる画像信号の読み出しが行われる。すなわち、露光動作完了後、垂直走査回路１１２は、図９において左右方向に延在する複数の行中、例えば一番上の行（以下では一番上の行から下に向かって順に第１行、第２行、…と称する）から順に線順次で行を指定する。その後、指定された行において、例えば一番左の列から順に、λ１画素、λ５画素、λ３画素、λ６画素、λ２画素、λ４画素、…から画像信号が点順次で出力されるように水平読み出し回路１１３は受光部１１１にタイミング信号を発する。そして第１行から最終行まで上記読み出しを繰り返し行った結果、λ１画素、λ２画素、…、λ９画素から出力される９色の画像信号が撮像素子１１０から読み出される。

第２の信号読み出しモードでは、画素加算読み出しモードおよび画素間引き読み出しを組み合わせた画像信号の読み出しが行われる。露光動作完了後、垂直走査回路１１２は第１行、第３行および第５行を同時に指定する。その後、水平読み出し回路１１３は、垂直走査回路１１２で指定された複数行中、図９の左側の列（以下では左側の列から右に向かって順に第１列、第２列、…と称する）から順に各列の画像信号を点順次で加算読み出しする。

その結果、第１列からは第１行、第３行、第５行のλ１画素、つまり三つのλ１画素からの画像信号が読み出される。同様に、第２列からは三つのλ５画素からの、第３列からは三つのλ３画素からの、第４列からは三つのλ６からの画像信号が順次読み出される。

第２信号処理部２１０は、上述のように加算読み出しされた画像信号をさらに行方向（水平方向）に加算する処理を行う。すなわち、第１列、第３列、第５列から読み出されたλ１、λ３、λ２の色の画像信号を加算する一方、第４列、第６列、第８列から読み出されたλ６、λ４、λ５の色の画像信号を加算する。以下同様にして、三つの連続する奇数列の画像信号を加算し、三つの連続する偶数列の画像信号を加算することを最後の列まで繰り返し行う。

続いて、垂直走査回路１１２は第４行、第６行、第８行を同時に指定する。その後、水平読み出し回路１１３は、垂直走査回路１１２で指定された複数行中、第１列から順に最後の列まで点順次で全部の列の画像信号を加算読み出しする。

第２信号処理部２１０は、上述のように加算読み出しされた画像信号をさらに行方向に加算する処理を行う。そして、第１列、第３列、第５列から読み出されたλ６、λ４、λ５の色の画像信号を加算し、第４列、第６列、第８列から読み出されたλ７、λ８、λ９の色の画像信号を加算する。以下同様にして三つの連続する奇数列の画像信号を加算し、三つの連続する偶数列の画像信号を加算することを最後の列まで繰り返し行う。

以下、連続する三つの奇数行からの画素加算読み出し、連続する三つの偶数行からの画素加算読み出しが繰り返し行われ、第２信号処理部２１０では上述したように画像信号を加算する処理が行われる。

以上のようにして画像信号の加算読み出しおよび読み出された画像信号の加算処理が行われる結果、九つの画素からの画像信号が加算される。例えば、図９の第１行、第３行、第５行中の第１列、第３列、第５列からはλ１画素、λ３画素、λ２画素から加算読み出しされた画像信号がさらに加算されて第１行から第５行、第１列から第５列の矩形領域を代表するＲ色の画像信号を得ることができる。また、第１行、第３行、第５行中の第４列、第６列、第８列からはλ６画素、λ４画素、λ５画素から加算読み出しされた画像信号がさらに加算されて第１行から第５行、第４列から第８列の矩形領域を代表するＧ色の画像信号を得ることができる。

同様に、第４行、第６行、第８行中の第１列、第３列、第５列からはλ６画素、λ４画素、λ５画素から加算読み出しされた画像信号がさらに加算されて第４行から第８行、第１列から第５列の矩形領域を代表するＧ色の画像信号を得ることができる。そして、第４行、第６行、第８行中の第４列、第６列、第８列からはλ７画素、λ８画素、λ９画素から加算読み出しされた画像信号がさらに加算されて第４行から第８行、第４列から第８列の矩形領域を代表するＢ色の画像信号を得ることができる。

以上に説明したように、加算読み出しされた画像信号をさらに加算する処理をすることにより、加算読み出しされる対象の行と、第２信号処理部２１０で加算処理される対象の列とで画定される矩形の領域を代表するＲ色、Ｂ色、Ｇ色の画像信号を得ることができる。このとき、図９において黒塗りの矩形中に白抜きの文字で示したように、第２の信号読み出しモードで読み出された画像信号が第２信号処理部２１０で上記のように処理した結果、画像信号はベイヤ配列の撮像素子から読み出された画像信号と同様の色の配置となる。したがって、デモザイキングの処理に際して、従来からあるベイヤ補間のアルゴリズムを利用できるので処理を効率化することが可能となる。第２の信号読み出しモードで読み出された画像信号で再現可能な色域は、第１の信号読み出しモードで読み出された画像信号で再現可能な色域よりも狭くなる。

第３および第４の実施の形態では、第２の信号読み出しモードで読み出された画像信号が三原色を構成するＲ、Ｇ、Ｂ色に相当する色を含んだものとなっている例について説明したが、本発明はこれに限られるものではない。例えば、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）に相当する色等、所定の色域を形成可能な色の画像信号が読み出されればよい。また、デジタルカメラ１００の用途に応じて、第２の信号読み出しモード時には二色または一色の画像信号が読み出されるものであってもよい。一色の画像信号としては、例えばＲ、Ｇ、Ｂ、Ｙ、Ｃ、Ｍ等の色のうち、いずれかの色、もしくは彩度の情報が含まれずに明度の情報のみが含まれる、いわゆるモノクロの画像信号が読み出されるものとすることが可能である。二色の画像信号としては、例えばＧ色およびＢ色、Ｂ色およびＲ色、Ｒ色およびＧ色、Ｙ色およびＣ色、Ｃ色およびＭ色、Ｍ色およびＹ色などの組み合わせのうち、いずれかの組み合わせの画像信号が読み出されるものとすることが可能である。

− 第５の実施の形態 −
図１１から図１４を参照して本発明の第５の実施の形態について説明する。図１１は、本発明の第５の実施の形態に係るデジタルカメラ１００に備えられる撮像素子１１０Ａの概略的構成を説明するブロック図である。撮像素子１１０Ａは、ＣＭＯＳ撮像素子であり、電子シャッタによる露光制御が可能に構成される。撮像素子１１０Ａは、ｘ−ｙアドレス指定の方式で各画素から画像信号を読み出すことが可能に構成される。撮像素子１１０Ａはまた、電子シャッタの動作モードとして、グローバルシャッタモードおよびローリングシャッタモードのいずれの動作モードでも動作可能に構成される。

理解を容易にすることを目的として、図１１において撮像素子１１０Ａは４行５列（水平方向に５画素、垂直方向に４画素）からなる２０画素（Ｐ１１、Ｐ２１、…、Ｐ４４、Ｐ５４）を備えるものとして描かれている。以下では、撮像素子１１０Ａが２０画素を備えるものとして説明するが、当然、撮像素子１１０Ａは図１１に示されるものよりも多くの画素を備える。

撮像素子１１０Ａは、負荷電流源を構成するトランジスタＴｒ１１、Ｔｒ１２、…、Ｔｒ１５と、受光部１１１Ａと、垂直走査回路１１２Ａと、水平読み出し回路１１３Ａと、Ａ／Ｄコンバータ１１４Ａとを備える。

受光部１１１Ａは、Ｐ１１、Ｐ２１、…、Ｐ４４、Ｐ５４の、２０個の画素を備える。各画素上にはカラーフィルタが設けられており、各画素の受光部の分光感度特性とカラーフィルタの分光透過率特性との組み合わせによって各画素は複数の分光感度特性を有するカラーセンサを構成する。垂直走査回路１１２Ａから、これらの画素のそれぞれに制御信号が出力されて、グローバルシャッタによる露光動作とローリングシャッタによる露光動作による露光・信号読み出し動作が行われる。列方向（垂直方向）に配列される画素Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の出力は、共通信号線ＣＳＬ１に接続される。同様に、画素Ｐ２１から画素Ｐ２４の出力が共通信号線ＣＳＬ２に、画素Ｐ３１から画素Ｐ３４の出力が共通信号線ＣＳＬ３に、画素Ｐ４１から画素Ｐ４４の出力が共通信号線ＣＳＬ４に、画素Ｐ５１から画素Ｐ５４の出力が共通信号線ＣＳＬ５に、それぞれ接続される。

水平読み出し回路１１３Ａは、列選択トランジスタＴｒ２１、Ｔｒ２２、…、Ｔｒ２５と、シフトレジスタ１１０６と、ヘッドアンプ１１０８とを備える。

共通信号線ＣＳＬ１の一端は、列選択トランジスタＴｒ２１を介してヘッドアンプ１１０８の入力部に、他端はトランジスタＴｒ１１を介してＶｓｓに接続される。他の共通信号線ＣＳＬ２、…、ＣＳＬ５も同様に接続される。列選択トランジスタＴｒ２１、Ｔｒ２２、…、Ｔｒ２５のゲートはシフトレジスタ１１０６に接続されている。シフトレジスタ１１０６からは、列選択トランジスタＴｒ２１、Ｔｒ２２、…、Ｔｒ２５の各ゲートに対して選択信号が点順次に出力される。その結果、選択された列の画素からの出力が点順次でヘッドアンプ１１０８に入力され、このヘッドアンプ１１０８で増幅された信号がＡ／Ｄコンバータ１１４Ａに出力される。

なお、水平読み出し回路１１３Ａの入力部にはサンプルホールド回路が設けられていて、一つの行上に配列される各画素から出力される信号は、水平読み出し回路１１３Ａが１行分の信号の処理を完了するまで保持されるものとする。

図１２は、図１１に示される画素の配列中、第ｍ行第ｎ列の位置に配置される一つの画素（Ｐｍｎ）の内部構成を概略的に説明する回路図である。画素Ｐｍｎは、フォトダイオードＰＤと、５つのトランジスタＭ１、Ｍ２、…、Ｍ５とを備える。ＦＤは、画素Ｐｍｎ中に形成されるフローティングディフュージョンである。以下ではこのフローティングディフュージョンをＦＤと称する。

画素Ｐｍｎには、垂直走査回路１１２Ａから四つの信号、すなわちＲＭ、ＴＲ、ＲＰＤ、ＳＥＬの信号が入力される。これら四つの信号はパルス状の信号である。以下ではこれら四つの信号は正論理のパルス信号（ポジティブエッジに続いてネガティブエッジが発生するパルス信号）であるものとして説明をする。

フォトダイオードＰＤは、画素Ｐｍｎに入射した光量に応じた電荷を生成する。トランジスタＭ１の一端はフォトダイオードＰＤのカソードに、他端はＶｄｄに接続される。垂直走査回路１１２Ａからパルス状のＲＰＤ信号がトランジスタＭ１のゲートに入力されるとトランジスタＭ１はオンし、フォトダイオードＰＤ中に蓄積されていた電荷がクリア（排出）される。つまり、ＲＰＤ信号はフォトダイオードリセット信号である。ＲＰＤ信号がトランジスタＭ１のゲートに入力されると、フォトダイオードＰＤでは、ＲＰＤ信号のネガティブエッジ発生時点から新たな光電変換および電荷蓄積の動作が始まる。すなわち電子シャッタによる露光動作が始まる。

トランジスタＭ２の一端はフォトダイオードＰＤのカソードとトランジスタＭ１との接続部に、他端はＦＤに接続される。垂直走査回路１１２ＡからＴＲ信号がトランジスタＭ２のゲートに入力される間、トランジスタＭ２がオンして、フォトダイオードＰＤ中に蓄積された電荷がＦＤに導かれる。以上から理解できるように、ＲＰＤ信号のネガティブエッジ発生タイミングとＴＲ信号のネガティブエッジ発生タイミングとの時間差によって、電子シャッタによる露光時間が画定される。つまり、ＲＰＤ信号のネガティブエッジを契機として露光が始まり、ＴＲ信号のネガティブエッジ発生タイミングを契機として露光が完了する。

トランジスタＭ３の一端はＶｄｄに、他端はトランジスタＭ２とＦＤとの接続部に接続される。垂直走査回路１１２ＡからトランジスタＭ３のゲートにＲＭ信号が入力される間、トランジスタＭ３がオンして、ＦＤに蓄積されている電荷がクリアされる。このとき、後述するトランジスタＭ４のゲート部に存在する電荷もクリアされる。

トランジスタＭ４の一端はＶｄｄに、他端はトランジスタＭ５の一端に接続される。トランジスタＭ５の他端は共通信号線ＣＳＬｎに接続される。トランジスタＭ４は、共通信号線ＣＳＬｎに接続されたトランジスタＴｒ１ｎとでソースフォロワアンプを構成し、ＦＤ内に蓄積された電荷量に応じた電位の信号をトランジスタＭ５に出力する。この信号は、垂直走査回路１１２ＡからＳＥＬ信号がトランジスタＭ５のゲートに入力されたときに、共通信号線ＣＳＬｎに出力される。

図１３は、撮像素子１１０Ａでグローバルシャッタモードによる露光動作が行われ、第１の信号読み出しモードで画像信号読み出しが行われる際の動作を説明するタイミングチャートである。

先ず、第１行から第ｍ行まで、順次ＲＭ信号およびＳＥＬ信号が入力される。例えば、第１行の画素Ｐ１１、Ｐ２１、…、Ｐｎ１にＲＭ信号およびＳＥＬ信号が入力されると、第１行に配置されるすべての画素Ｐ１１、Ｐ２１、…、Ｐｎ１のＦＤおよびトランジスタＭ４のゲート部に存在する電荷がリセットされる。このとき、ＳＥＬ信号がトランジスタＭ５のゲートに入力されるのに伴い、トランジスタＭ４の出力信号（リセット電位）が各列の共通信号線ＣＳＬ１、ＣＳＬ２、…ＣＳＬｎに出力される。このリセット電位に対応する画像信号がバッファメモリ１４２に一時的に記憶される。

以上が図１３におけるタイミングｔ−２からタイミングｔ−１に至るまでの動作である。なお、図１３においては露光動作開始のタイミングをｔ０とし、それよりも前のタイミングを上記のようにｔ−２（ｔマイナス２）、ｔ−１（ｔマイナス１）と表している。

続いて、垂直走査回路１１２Ａは撮像素子１１０Ａ内のすべての行に対して同時にＲＰＤ信号を出力する。その結果、すべての画素中のフォトダイオードＰＤ内に蓄積されている電荷がクリアされる。

撮像素子１１０Ａ内のすべての行に出力されるＲＰＤ信号がタイミングｔ０において立ち下がり、露光動作が全画素で一斉に始まる。被写体輝度、デジタルカメラ１００の設定感度、撮影レンズ１０２の設定絞り値等に応じて予め定められた露光時間に近づくのに伴い、垂直走査回路１１２Ａは撮像素子１１０Ａ内のすべての行に対して同時にＴＲ信号を出力する。撮像素子１１０Ａ内のすべての行に出力されるＴＲ信号がタイミングｔ１において立ち下がるのに伴い、全画素のフォトダイオードで露光動作中に蓄積された電荷のＦＤへの転送が完了する。このようにしてグローバルシャッタモードでの露光動作を完了する。

その後、タイミングｔ１からタイミングｔ２までの間で、第１行中のすべての列の画素からの画像信号（トランジスタＭ４の信号電位）の点順次読み出しが行われ、バッファメモリ１４２に一時的に記憶される。画像信号処理部２００は、トランジスタＭ４の信号電位に対応する画像信号の信号値から、タイミングｔ−２からタイミングｔ−１までの動作で得られた上記リセット電位に対応する画像信号の信号値を画素ごとに減じる処理（リセットノイズ除去処理）を行う。

続くタイミングｔ２からタイミングｔ３までの間では、第２行中のすべての列の画素からの画像信号を読み出してリセットノイズ除去処理が行われる。以下、第ｍ行中のすべての列の画素からの画像信号読み出しおよびリセットノイズ処理除去処理が完了するまで上述した処理が繰り返し行われる。

撮像素子１１０Ａは、以上のようにしてグローバルシャッタモードでの露光および第１の信号読み出しモードでの画像信号読み出しが可能である。撮像素子１１０Ａはまた、以下に説明するように撮像素子１１０Ａ内の任意の行での露光、例えばローリングシャッタモードでの露光も可能である。

ローリングシャッタモードでの露光動作が行われる場合、撮像素子１１０Ａ中の任意の行で露光動作および画像信号読み出しを行うことが線順次に行われる。すなわち、図１３を参照して説明した、ＦＤ中の電荷のクリア、露光、画像信号の点順次読み出しの動作が第１行から第ｍ行中の任意の行に対して行われる。このとき、他の行において、当該のローリングシャッタモードでの露光動作を行う前に行われた露光で得られ、ＦＤに蓄積された電荷には影響を及ぼすことが無い。理由は、フォトダイオードの電荷クリア、ＦＤのリセット、あるいはフォトダイオードからＦＤへの電荷転送といった動作を行単位で制御することが可能であるからである。

本実施の形態においては、上述した特徴、すなわち特定の行の画素でローリングシャッタモードでの露光動作を行っても、それ以外の行の画素で当該のローリングシャッタモードでの露光動作が行われる以前の露光動作でＦＤ中に蓄積された電荷を保存可能である特性を利用して以下のように露光動作および画像信号読み出し動作が行われる。

すなわち、本実施の形態においては、静止画像の記録のために先ずグローバルシャッタモードでの露光動作が行われ、第１の画像信号読み出しモードでの画像信号読み出しが行われる。また、ライブビュー画像を画像表示部１４４に表示するために、ローリングシャッタモードでの露光動作が行われ、第２の信号読み出しモードでの画像信号読み出しが行われる。

ところで、グローバルシャッタモードでの露光動作後、第１の信号読み出しモードですべての画素から画像信号を読み出そうとすると、情報量が多いので画像信号の読み出し完了までに相応の時間を要する。その間、画像表示部１４４に表示されるライブビュー画像の表示更新をすることができない。例えば子どもやペット等の動き回る被写体を連続撮影モードで撮影し、複数の静止画像を得ようとした場合を想定すると、第１の信号読み出しモードでの画像信号読み出しが完了するまでの間はライブビュー画像の表示更新をすることができないためにフリーズしてしまう。従って、ライブビュー画像を観ながら被写体に追随するフレーミング操作をすることができない。

本実施の形態においては、上述した問題点を解消するために、以下に説明するシーケンスで露光動作および画像信号読み出し動作を行う。すなわち、
（１） グローバルシャッタモードでの露光動作を行い、
（２） 表示用画像データを生成するための露光を行う対象として予め決定されている行の画素からの画像信号を優先的に第１の信号読み出しモードで読み出す優先読み出しを行い、
（３） 上記（２）の優先読み出しの対象となっていない残りの行の画素からの第１の信号読み出しモードでの画像信号の読み出しと、上記（２）で優先読み出しを完了した行を用いてのローリングシャッタモードでの露光および第２の信号読み出しモードでの画像信号読み出しおよびライブビュー表示用画像データの生成を交互に（時分割方式で）行うことを繰り返す。以下では（３）の動作を「記録用画像／表示用画像交互読み出し」と称する。

図１４は、撮像素子１１０Ａの受光部１１１に二次元配列されたフォトダイオード（光電変換部）の上に設けられるカラーフィルタの配列例を概念的に示す図である。図１４には、λ１からλ１２の１２色のカラーフィルタに加えてＲ色、Ｇ色、Ｂ色のカラーフィルタが規則的に配列される様子を示す。Ｇ色のカラーフィルタの配列数は他の色のカラーフィルタの配列数の２倍となっている。λ１からλ１２、Ｒ色、Ｂ色、そして二つのＧ色の計１６のカラーフィルタが４行４列に正方配列されて一つの単位配列が形成されている。本実施の形態の説明においても、λ１、λ２、…、λ１２、Ｒ、Ｇ、Ｂ各色のカラーフィルタそれぞれが有する分光透過特性と、撮像素子１１０Ａ中に配列される光電変換部（フォトダイオード）の分光感度特性との組み合わせで決まる分光感度特性を、λ１画素の分光感度特性、Ｒ色画素の分光感度特性などと称する。撮像素子１１０Ａはｍ行ｎ列の画素の配列を有するものとする。

これらの画素の分光感度特性は、例えば図８に示されるものとすることが可能である。この場合、Ｒ画素、Ｇ画素、Ｂ画素の分光感度特性は、これらＲ色、Ｇ色、Ｂ色の分光感度特性の組み合わせによって波長３８０ｎｍから７８０ｎｍまでの可視光波長帯域をカバーすることが可能に構成される。また、λ１画素からλ１２画素それぞれの分光感度帯域は、Ｒ画素、Ｇ画素、Ｂ画素それぞれの分光感度帯域よりも狭い帯域の分光感度特性が付与されている。図８において、λ１２が３８０ｎｍの波長の光に対して感度を有し、λ１が７８０ｎｍの波長の光に対して感度を有するように特性が定められている。無論、図８に示されるのは一例であって、λ１からλ１２の各色の画素の分光感度特性は目的に応じて様々なものに変更可能である。

図１４では、撮像素子１１０Ａの左上隅の画素の配列が部分的に示されており、１、２、…、１４の符号は、画素の配列の行番号を示している。以下では、上述した（１）、（２）、（３）の動作に沿って説明をする。ここで、デジタルカメラ１００は静止画撮影モードに設定されていて、レリーズ動作の前および後には画像表示部１４４にライブビュー画像が表示されるものとする。

デジタルカメラ１００のレリーズスイッチが押下されてグローバルシャッタモードでの露光動作が始まるのにあたり、図１３中のタイミングｔ−２からタイミングｔ−１までの動作、つまりＦＤリセット動作とトランジスタＭ４からのリセット信号読み出し動作が行われる。その後、（１）のグローバルシャッタモードでの露光動作、つまり図１３中のタイミングｔ０からタイミングｔ１までの動作が全画素（すべての行）で行われる。

続いて、（２）の優先読み出しが行われる。すなわち、図１４において第１行、第３行、第９行、第１１行、…の画素からの画像信号読み出しが線順次で行われる。この優先読み出しの動作を、撮像素子１１０Ａの第１行から第ｍ行までの中の、優先読み出しの対象となっているすべての行について行う。

次に、（３）の記録用画像／表示用画像交互読み出しが行われる。この記録用画像／表示用画像交互読み出しにおいては、
（３−１） （２）の優先読み出しを終えた行を用いてのローリングシャッタモードでの露光、
（３−２） 上記ローリングシャッタモードでの露光で得られた表示用画像信号の第２の信号読み出しモードでの画像信号の読み出し、
（３−３） 上記（２）の優先読み出しの対象となっていない残りの行の画素からの第１の信号読み出しモードでの画像信号の読み出し
が行われる。

上記（３−２）の、第２の信号読み出しモードでの画像信号読み出しに際しては、列方向にも間引き読み出しをして、第１列から第ｎまでの画素中、奇数列のみから画像信号を読み出すようにすることにより、処理時間を短縮することが可能となる。なお、図１４中では奇数列にＲ色、Ｇ色、Ｂ色の画素が配列されているので上記のように奇数列から画像信号を間引き読み出す例について説明したが、これらＲ色、Ｇ色、Ｂ色の配列に応じて間引き読み出しする対象の列を決めればよい。

図１４中で、長めの実線の矢印を付した行が優先読み出しの対象となっている行を示しており、これらの行で上記（３−１）の動作が行われる。また、図１４中で短めの破線の矢印を付した行が上記（２）の優先読み出しの対象となっていない行を示しており、これらの短めの破線の矢印を付した行において上記（３−３）の動作が行われる。

このとき、上記（３−１）から（３−３）までの動作を行う際のシーケンスについてはデジタルカメラ１００や撮像素子１１０Ａの仕様等に応じて様々な形態とすることが可能である。

例えば、５行分、１０行分などといった複数行分について上記（３−３）の動作を連続して行うことと、（３−１）、（３−２）の動作を行うこととを交互に行うことができる。

以上のようにして、上記（３−１）、（３−２）の動作を繰り返し行うことによって第１行から第ｍ行中の第１、第３、第９、第１１、…、第（１６×ｐ＋１）、第（１６×ｐ＋３）、第（１６×ｐ＋９）、第（１６×ｐ＋１１） （ｐ：正の整数）の各行から第２の信号読み出しモードで読み出された画像信号からはベイヤ配列されたＲ画素、Ｇ画素、Ｂ画素からの画像信号を得ることが可能となる。なお、図１４を参照して説明した間引き読み出しは本発明の一例を示したに過ぎず、ライブビュー画像表示のために必要とされる情報量に応じて様々な形態での間引き読み出しをすることが可能である。

以上では表示用画像信号を撮像素子１１０Ａから読み出す際にローリングシャッタの方式で露光動作を行う例について説明したが、上記（２）の優先読み出しを終えた行で同時に露光動作を行われるように垂直走査回路１１２Ａから制御信号が発せられてもよい。

以上に説明した第５の実施の形態によれば、情報量の比較的多い記録用画像信号の読み出し中にライブビュー表示用画像データ生成のための露光と第２の信号読み出しモードでの画像信号読み出しとが行われることにより、ライブビュー画像の表示更新が滞るのを抑制してデジタルカメラの操作性を向上させることが可能となる。第２の信号読み出しモードで読み出された画像信号で再現可能な色域は、第１の信号読み出しモードで読み出された画像信号で再現可能な色域よりも狭くなるが、ライブビュー画像表示用として問題なく使用することができる。

以上では、第２の信号読み出しモードで撮像素子１１０、１１０Ａから読み出された画像信号は、ライブビュー表示用画像データを生成するために用いられる例について説明したが、動画像記録用として用いられるようにしてもよい。この場合、静止画像データの記録用には第１の信号読み出しモードで読み出されたマルチスペクトルの画像信号が処理され、動画像データの記録用には第２の信号読み出しモードで読み出されたＲＧＢの画像信号が処理されるものとすることが可能である。

第５の実施の形態では、第２の信号読み出しモードで読み出された画像信号が三原色を構成するＲ、Ｇ、Ｂ色に相当する色を含んだものとなっている例について説明したが、本発明はこれに限られるものではない。例えば、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）に相当する色等、所定の色域を形成可能な色の画像信号が読み出されればよい。また、デジタルカメラ１００の用途に応じて、第２の信号読み出しモード時には二色または一色の画像信号が読み出されるものであってもよい。一色の画像信号としては、例えばＲ、Ｇ、Ｂ、Ｙ、Ｃ、Ｍ等の色のうち、いずれかの色の画像信号が読み出されるものとすることが可能である。二色の画像信号としては、例えばＧ色およびＢ色、Ｂ色およびＲ色、Ｒ色およびＧ色、Ｙ色およびＣ色、Ｃ色およびＭ色、Ｍ色およびＹ色などの組み合わせのうち、いずれかの組み合わせの画像信号が読み出されるものとすることが可能である。

以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能である。

本発明は、デジタルスチルカメラ、デジタルムービーカメラなどに適用可能である。

１００ … デジタルカメラ
１０２ … 撮影レンズ
１１０、１１０Ａ … 撮像素子（マルチスペクトル撮像素子）
１１１、１１１Ａ … 受光部
１１２、１１２Ａ … 垂直走査回路
１１３、１１３Ａ … 水平読み出し回路
１２０ … センサ制御部
１４０ … システムコントローラ
１４２ … バッファメモリ
１４４ … 画像表示部
１４６ … 画像記録部
１５０ … システムバス
２００ … 画像信号処理部
２１０ … 第２信号処理部
２３０ … 処理切替部
２３４ … ライブビュー表示処理部
２５０ … 第１信号処理部
１１０６ … シフトレジスタ
ＣＳＬ１ 〜 ＣＳＬ５ … 共通信号線
ＦＤ … フローティングディフュージョン
Ｍ１〜Ｍ５ … トランジスタ（ＭＯＳＦＥＴ）ＰＤ … フォトダイオード
Ｐ１１〜Ｐ５４ … 画素
Ｔｒ２１〜Ｔｒ２５ … 列選択トランジスタ

Claims (13)

1. 互いに異なる分光感度特性を有する４以上の色のカラーセンサを構成する画素を備え、第１の信号読み出し時間で第１の情報量の画像信号を読み出す第１の信号読み出しモードと、前記第１の読み出し時間よりも短い第２の読み出し時間で前記第１の情報量よりも少ない第２の情報量の画像信号を読み出す第２の信号読み出しモードとのいずれかで動作可能なマルチスペクトル撮像素子を備えるデジタルカメラであって、
   前記マルチスペクトル撮像素子が、前記第１の信号読み出しモード時には前記４以上の色のカラーセンサを構成する画素から読み出される前記４以上の色全部に対応する色数の画像信号を出力する一方、前記第２の信号読み出しモード時には、前記第１の信号読み出しモード時よりも少ない色数の画像信号であって、前記第１の信号読み出しモードで読み出される画像信号によって再現可能な色域よりも狭められた色域を形成する画像信号を出力することが可能に構成されることを特徴とするデジタルカメラ。
2. 前記マルチスペクトル撮像素子が、前記第２の信号読み出しモード時に、三原色を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）に相当する色の信号を少なくとも含む画像信号を出力することが可能に構成されることを特徴とする請求項１に記載のデジタルカメラ。
3. 前記マルチスペクトル撮像素子が、
   前記４以上の色のカラーセンサを構成する画素中に、前記三原色を構成するＲ、Ｇ、Ｂに相当する分光感度特性を有するカラーセンサを構成する画素を含み、
   前記第２の信号読み出しモード時には間引き読み出しを行うことが可能に構成され、前記間引き読み出しで前記画像信号が読み出されるときに、前記Ｒ、Ｇ、Ｂに相当する色の分光感度特性を有するカラーセンサを構成する画素以外の画素からの信号が間引かれる
   ことを特徴とする請求項１に記載のデジタルカメラ。
4. 前記マルチスペクトル撮像素子が、
   前記間引き読み出しで前記画像信号が読み出されるときの読み出し対象となる画素の配列がＲＧＢベイヤ配列となるように前記カラーセンサを構成する画素の配列および前記間引き読み出しの対象となる画素が設定されていることを特徴とする請求項３に記載のデジタルカメラ。
5. 前記マルチスペクトル撮像素子が、
   前記間引き読み出しで前記画像信号が読み出されるときの読み出し対象となるそれぞれの画素に関して、同色の画素間の配設ピッチが色によらず略一定となるように前記Ｒ、Ｇ、Ｂに相当する色の分光感度特性を有するカラーセンサを構成する画素が配列されていることを特徴とする請求項３に記載のデジタルカメラ。
6. 前記マルチスペクトル撮像素子が、
   前記第２の信号読み出しモード時に画素加算読み出しを行うことが可能に構成され、
   前記画素加算読み出しで前記画像信号が読み出されるときに、前記４以上の色のカラーセンサを構成する画素のうち、少なくとも２色のカラーセンサを構成する画素については、互いに異なる分光感度特性を備えた複数の画素から出力される信号が足し合わせられるように画素加算されることを特徴とする請求項１に記載のデジタルカメラ。
7. 前記マルチスペクトル撮像素子が、
   前記第２の信号読み出しモード時に画素加算読み出しを行うことが可能に構成され、
   前記画素加算読み出しで前記画像信号が読み出されるときに、前記４以上の色のカラーセンサを構成する画素のうち、少なくとも２色のカラーセンサを構成する画素については、互いに異なる分光感度特性を備えた複数の画素から出力される信号が足し合わせられるように画素加算され、
   前記画素加算される対象の画素それぞれの分光感度特性を組み合わせた結果として得られる分光感度特性が、前記Ｒ、Ｇ、Ｂに相当する分光感度特性のうち、いずれかの分光感度特性を有するように前記複数の画素それぞれの分光感度特性と前記画素加算される画素の組み合わせが設定されている
   ことを特徴とする請求項２に記載のデジタルカメラ。
8. 前記マルチスペクトル撮像素子が、互いに異なる分光感度特性を有する６以上の色のカラーセンサを構成する画素を備え、
   前記第２の信号読み出しモードにおいて前記画素加算により読み出される前記Ｒ、Ｇ、Ｂに相当する色の信号のそれぞれは、互いに異なる分光感度特性を備えた複数のカラーセンサを構成する各画素から出力される信号が足し合わせられたものであることを特徴とする請求項７に記載のデジタルカメラ。
9. 前記６以上の色のカラーセンサを構成する画素中で、前記画素加算される複数の画素それぞれの組み合わせを一つのセンサブロックとして見て、各センサブロックの分光感度特性に着目したときに、
   前記Ｒ、Ｇ、Ｂに相当する色に対応するそれぞれのセンサブロックに関して、同色のセンサブロック間の配設ピッチが色によらず略一定となるように前記前記Ｒ、Ｇ、Ｂに相当する色に対応するセンサブロックが配列されていることを特徴とする請求項８に記載のデジタルカメラ。
10. 前記６以上の色のカラーセンサを構成する画素中で、前記画素加算される複数の画素それぞれの組み合わせを一つのセンサブロックとして見て、各センサブロックの分光感度特性に着目したときに、
    前記Ｒ、Ｇ、Ｂに相当する色に対応するそれぞれのセンサブロックの配列がＲＧＢベイヤ配列となるように前記画素の配列および前記画素加算読み出しの対象となる画素が設定されていることを特徴とする請求項８に記載のデジタルカメラ。
11. 前記マルチスペクトル撮像素子から読み出された画像信号を処理して生成される画像データに基づき、画像を表示可能な画像表示部と、
    前記第２の信号読み出しモードで前記マルチスペクトル撮像素子から読み出された画像信号をもとに、前記画像表示部にライブビュー表示をするためのライブビュー画像データを生成するライブビュー画像データ生成部と
    をさらに備えることを特徴とする請求項１から１０のいずれか一つに記載のデジタルカメラ。
12. 前記マルチスペクトル撮像素子から読み出された画像信号を処理して生成される画像データに基づき、画像を表示可能な画像表示部と、
    前記第２の信号読み出しモードで前記マルチスペクトル撮像素子から読み出された画像信号をもとにライブビュー画像データを生成して前記画像表示部にライブビュー表示をするライブビュー表示処理部とをさらに備え、
    前記マルチスペクトル撮像素子は、全画素の露光を同時に行い、得られた信号電荷を画素ごとに設けられた電荷蓄積部に蓄積する露光モードである一括露光モード、および前記マルチスペクトル撮像素子中における特定の水平ラインのみで露光動作を行う部分露光モードであって、前記特定の水平ラインで露光動作が行われる際に、他の水平ラインの画素それぞれにおいて以前の露光動作の結果として蓄積されている信号電荷に影響を及ぼすことなく露光が可能な露光モードである部分露光モードのいずれの露光モードでも動作可能に構成され、
    前記第１の信号読み出しモード用の露光は前記一括露光モードで行われる一方、前記第２の信号読み出しモード用の露光は前記部分露光モードで行われ、
    前記画像信号処理部は、前記一括露光モードで露光動作が行われた後の前記第１の信号読み出しモードでの画像信号読み出しに際し、前記特定の水平ラインの画素から優先的に画像信号を読み出し、その後前記特定の水平ラインを用いての前記部分露光モードでの露光、前記特定の水平ラインの画素からの画像信号読み出し、および前記ライブビュー表示処理部によるライブビュー表示を繰り返しつつ、前記他の水平ラインの画素それぞれから前記一括露光モードで得られた信号電荷に対応する画像信号を読み出す処理をすることを特徴とする請求項１から５のいずれか一つに記載のデジタルカメラ。
13. 前記撮像素子が、前記第１および第２の信号読み出しモードで各画素から画像信号を
    読み出すのに際して、ｘ−ｙアドレス指定の方式で読み出し可能に構成されることを特徴とする請求項１２に記載のデジタルカメラ。

Images