JP2005051393A - 撮像装置 - Google Patents

Abstract

【課題】ベイヤー配列の撮像素子を用いて、簡易な構成で高感度画像を取得することが可能な撮像装置を提供する。
【解決手段】撮像装置は、ベイヤー配列の撮像センサ１５と、複数の画素値を加算して新たな画素値を算出する画素加算部２０と、撮像センサ１５の各位置における画素の各成分チャンネル値を補間により求める画素補間部３１と、画素補間後の各成分チャンネル値に基づいて色変換を行うマトリクス演算部３５とを備える。高感度画像（高感度モノクロ画像等）生成時には、画素補間部３１は、カラー画像生成時と同一の所定の補間用フィルタを用いて、画素加算部２０による加算後の新たな画素値に基づいて補間後の各擬似色成分値を各成分チャンネル値として求め、マトリクス演算部３５は、カラー画像静止時とは異なる色変換マトリクスを用いて、補間後の各成分チャンネル値に基づいて輝度信号を生成する。
【選択図】 図６

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラなどの撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラなどの撮像装置においては、周囲の環境輝度が低下すると、取得画像を切り替えて、高感度画像を取得するものが存在する（例えば、特許文献１，２参照）。
【０００３】
特許文献１には、赤外線カットフィルタの装脱を伴う技術、具体的には、光路に対して装脱自在に配置された赤外線カットフィルタを、低輝度被写体の撮影時においてのみ、光路から脱出させて（抜き取って）撮像する技術が記載されている。
【０００４】
また、特許文献２には、図１９に示すように、いわゆるＲＢ市松Ｇ縦ストライプ配列のＣＣＤ撮像素子（奇数列においては赤色画素（Ｒ画素）と青色画素（Ｂ画素）とが垂直方向に交互に配置され、偶数列においては緑色画素（Ｇ画素）が垂直方向に連続的に配置され、さらに、奇数列の赤色画素と青色画素とは水平方向にも交互に配置されるタイプのもの）を用いて、暗い場所での撮影時にはカラー画像から白黒画像を生成する技術が記載されている。具体的には、水平方向の隣接４画素（Ｒ，Ｇ，Ｂ，Ｇ）を用いて輝度信号を生成する技術が記載されている。
【０００５】
【特許文献１】
特開２００２−１３５７８８号公報
【特許文献２】
特開２００１−３５９１０８号公報
【０００６】
【発明が解決しようとする課題】
ところで、撮像装置においては、いわゆるＲＢ市松Ｇ縦ストライプ配列の撮像素子だけでなく、いわゆるベイヤー配列の撮像素子が利用されることがある。
【０００７】
しかしながら、特許文献２に記載のカメラは、いわゆるＲＢ市松Ｇ縦ストライプ配列の撮像素子を用いたものであり、ベイヤー配列の撮像素子とその画素配列が異なる。そのため、ベイヤー配列の撮像素子を用いて白黒画像等を生成する場合には、特許文献２の技術をそのまま適用することができない。
【０００８】
また、特許文献１に記載のカメラは、画素配列による制限を受けることはないが、赤外線カットフィルタの装脱を伴うため、構成が複雑になるという問題がある。
【０００９】
そこで、本発明は前記問題点に鑑み、ベイヤー配列の撮像素子を用いて、簡易な構成で高感度画像を取得することが可能な撮像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、請求項１の発明は、所定感度のカラー画像と当該カラー画像よりも高感度の高感度画像との両方を撮像可能な撮像装置であって、３種類の色フィルタが市松状に配置されたベイヤー配列を有する単板式の撮像素子と、少なくとも前記高感度画像生成時には前記撮像素子の複数の画素値を加算して新たな画素値を算出する画素加算手段と、前記撮像素子の各位置における画素の各成分チャンネル値を周辺画素の画素値に基づいて補間により求める画素補間手段と、前記画素補間後の各成分チャンネル値に基づいて色変換を行う色変換手段と、を備え、前記画素補間手段は、前記カラー画像生成時には、所定の補間用フィルタを用いて、前記撮像素子における画素値に基づいて補間後の各色成分値を前記各成分チャンネル値として求め、前記高感度画像生成時には、前記カラー画像生成時と同一の前記所定の補間用フィルタを用いて、前記画素加算手段による加算後の前記新たな画素値に基づいて補間後の各擬似色成分値を前記各成分チャンネル値として求め、前記色変換手段は、前記カラー画像生成時には、前記補間後の各成分チャンネル値と第１の色変換マトリクスとに基づいて色信号を生成し、前記高感度画像生成時には、前記補間後の前記各成分チャンネル値と第２の色変換マトリクスとに基づいて輝度信号を生成する。
【００１１】
請求項２の発明は、請求項１の発明に係る撮像装置において、前記画素加算手段は、前記高感度画像生成時には、２つの色成分のみを加算して前記新たな画素値を算出することによって、互いに異なる組合せの２つの色成分のみを含む所定方向の第１の画素列と第２の画素列とを交互に生成する。
【００１２】
請求項３の発明は、請求項２の発明に係る撮像装置において、前記画素補間手段は、２次元フィルタリング処理を行うことによって、少なくとも２つの成分チャンネル値の和成分における３つの色成分の混合割合が、前記所定方向の第１の画素列の画素と前記所定方向の第２の画素列の対応画素との間で同一となるように、前記新たな画素に対する補間後の画素の各成分チャンネル値を求める。
【００１３】
請求項４の発明は、請求項３の発明に係る撮像装置において、前記色変換手段は、前記第２の色変換マトリクスで規定される所定の変換係数を用いて、前記輝度信号における３つの色成分の混合割合が前記所定方向の第１の画素列の画素と前記所定方向の第２の画素列の対応画素との間で同一となるように、前記画素補間手段から出力される各成分チャンネル値に基づいて前記輝度信号を生成する。
【００１４】
請求項５の発明は、請求項２の発明に係る撮像装置において、前記画素補間手段は、２次元フィルタリング処理を行うことによって、少なくとも２つの成分チャンネル値の和成分における３つの色成分の混合割合が、任意の２つの画素間で同一となるように、前記新たな画素に対する補間後の画素の各成分チャンネル値を求める。
【００１５】
請求項６の発明は、請求項５の発明に係る撮像装置において、前記色変換手段は、前記第２の色変換マトリクスで規定される所定の変換係数を用いて、前記輝度信号における３つの色成分の混合割合が各画素間で同一となるように、前記画素補間手段から出力される各成分チャンネル値に基づいて前記輝度信号を生成する。
【００１６】
請求項７の発明は、請求項１から請求項６のいずれかの発明に係る撮像装置において、前記輝度信号に基づく画像をライブビュー画像として表示する表示手段、をさらに備える。
【００１７】
請求項８の発明は、請求項１から請求項６のいずれかの発明に係る撮像装置において、前記輝度信号に基づく連続画像を動画像として記録する記録制御手段、をさらに備える。
【００１８】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００１９】
＜構成概要＞
図１〜図３は、本発明の実施形態に係る撮像装置１の要部構成を示す図である。図１〜図３は、それぞれ撮像装置１の正面図、背面図および上面図に相当している。
【００２０】
撮像装置１は、デジタルカメラとして構成されており、撮影レンズ１０ａを含む撮像部１０を備えている。この撮影レンズ１０ａは、フォーカスの調整が可能であり、且つ、焦点距離（ズーム倍率）の調整が可能なレンズである。撮影レンズ１０ａは、フォーカスレンズとズームレンズとを有しているとも表現できる。また、撮像装置１の前面には、被写体に対して発光を行う内蔵フラッシュ１１が設けられている。
【００２１】
撮像装置１の背面には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ４２と電子ビューファインダ４３とＥＶＦ切替スイッチ１９とが設けられている。ＬＣＤモニタ４２および電子ビューファインダ４３には、撮影された画像などが表示される。また、ＥＶＦ切替スイッチ１９は、スライド式の切替スイッチである。このＥＶＦ切替スイッチ１９によって、撮影画像等をＬＣＤモニタ４２および電子ビューファインダ４３のいずれに表示させるか、あるいは両者のいずれにも表示させないかなどを設定することができる。
【００２２】
撮像装置１の上面には、レリーズボタン１２とモニタ拡大スイッチ１３と高感度撮影スイッチ１４とモード切替スイッチ１６と電源ボタン１８とが設けられている。
【００２３】
電源ボタン１８は、撮像装置１における通電状態（オン状態）と非通電状態（オフ状態）とを切り替えるボタンである。
【００２４】
レリーズボタン１２は、半押し状態（以下、状態Ｓ１とも称する）と全押し状態（以下、状態Ｓ２とも称する）とを区別して検出することが可能な、２段階押し込みスイッチである。撮像装置１は、操作者（ユーザ）によってレリーズボタン１２が半押し状態Ｓ１にまで押下されると、「撮影準備開始」の指示入力が受け付けられたと判定する。また、撮像装置１は、操作者によってレリーズボタン１２が全押し状態Ｓ２にまで押下されると、「撮影開始」の指示入力が受け付けられたと判定する。
【００２５】
モニタ拡大スイッチ１３は、ＬＣＤモニタ４２および電子ビューファインダ４３における表示画像の拡大率を変更するためのスイッチである。このスイッチ１３の押下によって、撮影画像を拡大して表示することができる。
【００２６】
モード切替スイッチ１６は、再生モードと撮影モードとを切り替えるレバー式のスイッチである。モード切替スイッチ１６のレバーを「ＲＥＣ」の位置に合わせることによって撮像装置１は撮影モードに設定され、モード切替スイッチ１６のレバーを「ＰＬＡＹ」の位置に合わせることによって撮像装置１は再生モードに設定される。
【００２７】
高感度撮影スイッチ１４は、撮影モード（より詳細には撮影モードにおけるサブモード）を切り替えるためのスイッチである。具体的には、高感度撮影スイッチ１４が押下されるごとに、カメラの周囲の輝度によらず常に通常のカラー撮像を行うモード（通常モード）と、カメラの周囲の輝度（環境輝度）に応じた感度の切替を伴うモード（感度切替可能モード）とが交互に選択される。
【００２８】
「感度切替可能モード」は、高輝度環境下においては通常の感度でカラー撮像を行い、低輝度環境下（輝度が所定の閾値よりも小さくなる環境下）においては、画素加算によって感度を向上させた高感度のモノクロ画像（ここでは白黒画像）を撮像するモードである。この高感度のモノクロ画像によれば、非常に暗い環境下においても被写体像を得ることが可能になる。
【００２９】
感度切替可能モードで撮像された各画像（高感度のモノクロ画像を含む）は、通常モードで撮像された各画像と同様に、ライブビュー画像としてＬＣＤモニタ４２などに表示され、さらに、レリーズボタン１２の押下時には記録用画像（静止画像または動画像）としてメモリカード９内に記録される。
【００３０】
図４は、撮像装置１の機能ブロックを示す図である。なお、図４においては、図示の都合上、撮像装置１の外部に示されている各種の機能ブロックも存在するが、これらの機能ブロックは実際には撮像装置１の内部又は表面に設けられている。
【００３１】
撮像装置１は、撮像センサ１５と、撮像センサ１５にデータ伝送可能に接続する信号処理部２と、信号処理部２に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０とを備えている。また、カメラ制御部４０は、画素加算処理を行う画素加算部２０を有している。画素加算部２０は、タイミングジェネレータ４４などを介して又は直接に撮像センサ１５の読出動作を制御することにより、画素加算処理を行う。
【００３２】
撮像センサ１５は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の原色透過フィルター（色フィルタ）が市松状に配置されたベイヤー配列を有する単板のエリアセンサとして構成されている。撮像センサ１５は、いわゆるＣＣＤ撮像素子である。この撮像センサ１５では、電荷の蓄積が完了すると光電変換された信号が遮光された転送路にシフトされて読み出され、被写体に係る画像信号が出力される。
【００３３】
また、撮像センサ１５と撮影レンズ１０ａとの間の光路には、赤外線カットフィルタＦＴが設けられている。この赤外線カットフィルタＦＴによって、余分な赤外成分が入射光から除去されるため、カラー画像において正確な色再現を行うことができる。
【００３４】
信号処理部２は、ＣＤＳ２１とＡＧＣ２２とＡ／Ｄ変換部２３とを有している。
【００３５】
通常のカラー撮影モードにおいては、撮像センサ１５から出力された画像信号はＣＤＳ２１でサンプリングされノイズが除去された後、ＡＧＣ２２により感度補正が行われる。
【００３６】
Ａ／Ｄ変換部２３は、１４ビットＡＤ変換器で構成されており、ＡＧＣ２２で正規化されたアナログ信号をデジタル化する。デジタル変換された画像信号は、画像処理部３で所定の画像処理が施されて画像ファイルが生成される。
【００３７】
また、上記の「感度切替可能モード」において高感度モノクロ画像が生成されるときには、撮像センサ１５における画像信号に対して、後述するような画素値の加算動作が画素加算部２０の制御下において行われた後に、加算後の画素信号が信号処理部２による処理を経てデジタル化されて画像処理部３に出力される。
【００３８】
画像処理部３は、ＣＰＵおよびメモリを有しており、デジタル処理部３０と画像圧縮部３７とビデオエンコーダ３６とメモリカードドライバ３８とを備えている。
【００３９】
デジタル処理部３０は、画素補間部３１と解像度変換部３２とホワイトバランス制御部３３とガンマ補正部３４とマトリクス演算部３５とを有している。
【００４０】
画像処理部３に入力された画像データは、撮像センサ１５の読出しに同期し画像メモリ４１に書き込まれる。以後、この画像メモリ４１に格納される画像データにアクセスし、デジタル処理部３０で各種の処理が行われる。
【００４１】
画像メモリ４１内の画像データは、ホワイトバランス（ＷＢ）制御部３３によりＲ，Ｇ，Ｂの各画素が独立にゲイン補正される（ホワイトバランス補正）。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度、彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値と、Ｇ／Ｒ、Ｇ／Ｂ比とを求め、これらの情報に基づいてＲおよびＢの補正ゲインとして制御される。
【００４２】
画素補間部３１は、ホワイトバランス補正がなされた画像データに対して画素補間処理を行い、撮像センサ１５の各位置における画素の各成分チャンネル値を周辺画素の画素値に基づいて補間により求める。
【００４３】
画素補間部３１は、カラー画像生成時には、撮像センサ１５における画素値に基づいて補間後の各色成分値Ｒ，Ｇ，Ｂを各成分チャンネル値（具体的には、Ｒチャンネル値Ｒｃｈ、Ｇチャンネル値Ｇｃｈ、Ｂチャンネル値Ｂｃｈの３つの値）として求める。また、画素補間部３１は、後述するように、高感度のモノクロ画像生成時には、画素加算部２０による画素加算処理が施された後の新たな画素値に基づいて、補間後の各色成分値（厳密には、Ｒ，Ｇ，Ｂの各色成分を表す値ではないので、「擬似色成分値」とも称する）を各成分チャンネル値として求める。画素補間部３１は、前者のカラー画像生成時および後者のモノクロ画像生成時のいずれにおいても、画素位置に応じた同一の補間用フィルタを用いて補間処理を行う。
【００４４】
補間後の画像データは、ガンマ補正部３４で各出力機器に合った非線形変換が行われ、８ビットのデータへと変換される。
【００４５】
マトリクス演算部３５は、画素補間後の各成分チャンネル値に基づいて色変換を行う機能を有している。マトリクス演算部３５は、カラー画像生成時には、色変換マトリクスＭＸ１と画素補間後の各画素の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈとに基づいて、各画素についての色信号（色成分値）Ｙｃｈ，Ｃｒｃｈ，Ｃｂｃｈを生成する。カラー画像生成時においては、変換後の色信号Ｙｃｈは輝度信号に相当し、変換後の色信号Ｃｒｃｈ，Ｃｂｃｈは色差信号に相当する。また、マトリクス演算部３５は、高感度モノクロ画像生成時には、補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈと色変換マトリクスＭＸ２とに基づいて輝度信号Ｙｃｈを含む色信号（擬似色成分値）Ｙｃｈ，Ｃｒｃｈ，Ｃｂｃｈを生成する。ただし、高感度モノクロ画像生成時には、色信号Ｃｒｃｈ，Ｃｂｃｈは、いずれもゼロとなる。
【００４６】
なお、以下では、色信号Ｙｃｈ，Ｃｒｃｈ，Ｃｂｃｈを単に、Ｙ，Ｃｒ，Ｃｂとも表記する。
【００４７】
その後、記録用の画像については、マトリクス演算部３５から出力された色変換後の各画素値に対して、解像度変換部３２で設定された画素数に水平／垂直方向の縮小または間引きが行われ、画像圧縮部３７で圧縮処理が行われる。そして、得られた記録用画像は、メモリカードドライバ３８を介してメモリカード９に記録される。
【００４８】
また、解像度変換部３２では、プレビュー用（ライブビュー用）の画像についても画素間引きを行って、ＬＣＤモニタ４２または電子ビューファインダ４３に表示するための低解像度画像を作成する。プレビュー時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３６でＮＴＳＣ方式（あるいはＰＡＬ方式）の信号にエンコードされ、この低解像度画像がＬＣＤモニタ４２または電子ビューファインダ４３で表示される。
【００４９】
カメラ制御部４０は、ＣＰＵおよびメモリを備え、撮像装置１における統括的な制御部として機能する。
【００５０】
カメラ制御部４０は、具体的には、上記のレリーズボタン１２や高感度撮影スイッチ１４などを有するカメラ操作スイッチ４９に対して撮影者が行う操作入力を処理する。
【００５１】
また、カメラ制御部４０は、絞りドライバ４６を介してシャッター４５を開閉することなどによって、カメラの絞り値を制御する。
【００５２】
さらに、カメラ制御部４０は、フォーカスモータドライバ４７を介してフォーカス制御用モータＭＴ１を駆動して、撮影レンズ（より詳細には撮影レンズのうちのフォーカス制御用レンズ）の位置（以下、単に「撮影レンズの位置」とも称する）を制御する。これによって、撮影レンズ１０ａの合焦状態の制御（すなわちフォーカス制御）が行われる。
【００５３】
また、カメラ制御部４０は、ズームモータドライバ４８を介してズーム制御用モータＭＴ２を駆動し、撮影レンズ１０ａを構成する複数のレンズの配置を変更する。これにより、撮影レンズ１０ａの焦点距離ｆが変更されて、ズーム倍率が制御される。
【００５４】
撮影待機状態においては、カメラ制御部４０は、１／３０（秒）毎に撮像されたプレビュー用の画像（ライブビュー画像）を、ＬＣＤモニタ４２等に表示する。通常モードが選択されたときには、原則としてカラー画像がライブビュー画像として表示される。また、感度切替可能モードが選択されたときには、高輝度時においてはカラー画像が表示され低輝度時においては高感度モノクロ画像がライブビュー画像として表示される。
【００５５】
操作者は、このライブビュー画像を見ながら、フレーミング動作等を行うことができる。その後、レリーズボタン１２の押下操作に応答して本撮影画像（記録用の静止画像）が撮影され、本撮影直後には、本撮影による静止画像がＬＣＤモニタ４２に確認用の画像（アフタービュー画像）として一定期間表示される。その後、本撮影画像は、記録画像としてメモリカード９内に転送され記録される。
【００５６】
また、この撮像装置１は、動画像を撮影することも可能である。操作者は、ＬＣＤモニタ４２に表示される所定のメニュー画面を見ながら、カーソルボタン１７等を用いて選択操作等を行うことによって、動画像の撮影と静止画像の撮影とを切り替えることができる。
【００５７】
この撮像装置１においては、静止画像の撮影時においてだけでなく、動画像の撮影時においても、「感度切替可能モード」に関する設定内容が反映される。したがって、撮像装置１は、動画撮影時においても、輝度に応じた画像生成処理を行うことが可能である。その場合、複数の高感度モノクロ画像によって構成される連続画像が、メモリカードドライバ３８などによってメモリカード９に動画像として記録される。
【００５８】
＜画像処理の概要＞
つぎに、図５および図６を参照しながら、この撮像装置１において、「感度切替可能モード」が採用されるときの画像処理の概要について説明する。この「感度切替可能モード」では、比較的高輝度の環境下においては通常の感度でカラー画像を取得する動作が行われる。一方、比較的低輝度の環境下においては、近隣の画素を加算することによって感度を向上させて高感度のモノクロ（ここでは白黒）画像を取得する動作が行われる。
【００５９】
図５はカラー画像生成時の画像処理の概要を示す図であり、図６は高感度モノクロ画像生成時の画像処理の概要を示す図である。なお、図５および図６では、説明の簡略化のため、Ａ／Ｄ変換処理、ホワイトバランス制御、ガンマ補正処理などを省略して示している。
【００６０】
図５に示すように、カラー画像生成時においては、撮像センサ１５から出力される画像信号は、画素補間部３１およびマトリクス演算部３５を介して、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂとして出力される。
【００６１】
また、図６に示すように、高感度モノクロ画像生成時においては、撮像センサ１５の画像信号は、画素加算部２０によって水平方向に加算されて新たな画素の新たな画素値として合成されて撮像センサ１５から出力される。撮像センサ１５からの画像信号は、画素補間部３１およびマトリクス演算部３５を介して輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに変換される。なお、出力されるべき画像はモノクロ画像であるため、色差信号Ｃｒ，Ｃｂはともにゼロとなる。
【００６２】
以下では、カラー画像生成時の画像処理と高感度モノクロ画像生成時の画像処理とについて、それぞれ、説明する。
【００６３】
＜カラー画像生成時の画像処理＞
まず、カラー画像生成時の画像処理（カラー画像生成処理）について説明する。このカラー画像生成処理は、通常のカラー撮像のみを行うモード（「通常モード」）で行われるとともに、上記の「感度切替可能モード」における高輝度環境下においても行われる。
【００６４】
図７は、カラー画像生成時の補間処理に用いられる補間フィルタを示す図であり、各画素位置に応じた複数の補間フィルタを示している。また、図８は、図７の補間フィルタを用いた補間結果の一例を示す図である。
【００６５】
図８の左側には、撮像センサ１５におけるベイヤー配列の各画素が示されている。最上段の行には、グリーン（Ｇ）の色フィルタに覆われた画素とレッド（Ｒ）の色フィルタに覆われた画素とが水平方向において交互に配置されている。また、次の行には、ブルー（Ｂ）の色フィルタに覆われた画素とグリーン（Ｇ）の色フィルタに覆われた画素とが水平方向において交互に配置されている。撮像センサ１５における画素列は、上記のような１組（２行）の水平画素列が垂直方向に繰り返し配置されることによって、構成されている。
【００６６】
ただし、このままでは、各画素位置における特定成分以外の色成分を得ることができない。たとえば、グリーンの色フィルタの位置においては、グリーン成分以外の成分チャンネル値を得ることができない。そこで、近隣画素（周辺画素）の画素値（階調値）を用いた補間処理によって、そのグリーンの色フィルタの位置における画素のレッド成分とブルー成分とを求める。その他の成分チャンネル値についても同様である。なお、図８の右側においては、複数の画素のうち８つの画素Ｐ２２〜Ｐ２５，Ｐ３２〜Ｐ３５のそれぞれについて、画素補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが示されている。
【００６７】
たとえば、図８の左側の画素配列において、第２行目の左から第２番目の位置の画素Ｐ２２については、そのままではグリーン成分しか判らないため、レッド成分とブルー成分とを補間により求める。具体的には、図７（ａ）のレッドチャンネル用フィルタを用いて、画素Ｐ２２のレッド成分チャンネル値Ｒｃｈは、画素Ｐ１２の階調値と画素Ｐ３２の階調値との平均値（Ｒ／２＋Ｒ／２＝Ｒ）として求められる。同様に、図７（ａ）のブルーチャンネル用フィルタを用いて、画素Ｐ２２のブルー成分チャンネル値Ｂｃｈは、画素Ｐ２１の階調値と画素Ｐ２３の階調値との平均値（Ｂ／２＋Ｂ／２＝Ｂ）として求められる。また、画素Ｐ２２のグリーン成分チャンネル値Ｇｃｈは、画素Ｐ２２の階調値そのものとして求められる。
【００６８】
同様にして、図７（ｂ）の各成分チャンネル用フィルタを用いて、画素Ｐ２３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが求められる。また、画素Ｐ３２の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｃ）の各成分チャンネル用フィルタを用いて求められ、画素Ｐ３３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｄ）の各成分チャンネル用フィルタを用いて求められる。
【００６９】
撮像センサ１５においては、これらの画素配列（Ｐ２２，Ｐ２３，Ｐ３２，Ｐ３３）と同様の画素配列が水平方向および垂直方向に繰り返し配置されている。したがって、同様のフィルタを各画素の位置に応じて作用させることによって、各画素の補間処理を行うことができる。
【００７０】
また、図９は、画素補間後の画素に対する色変換処理を示す図である。ここでは、８つの画素Ｐ２２〜Ｐ２５，Ｐ３２〜Ｐ３５について例示している。図９の左側は、図８の右側の状態に相当し、画素補間後且つ色変換処理前の各画素の画素値を示している。図９の右側は、色変換処理後の各画素の画素値を示している。また、各画素の画素値は、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈごとに示されている。
【００７１】
マトリクス演算部３５は、色変換マトリクスＭＸ１を用いて、各画素Ｐ２２，Ｐ２３，Ｐ３２，Ｐ３３等に対して、それぞれ、所定の変換式による色変換処理を施す。これにより、各成分チャンネル値（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）は、別の色空間表現（Ｙ，Ｃｒ，Ｃｂ）へと変換される。
【００７２】
輝度信号Ｙは、Ｙ＝（Ｋｒｃ×Ｒｃｈ＋Ｋｇｃ×Ｇｃｈ＋Ｋｂｃ×Ｂｃｈ）の変換式によって算出される。ここで、変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃは、それぞれ、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈに対する係数（輝度信号生成用の係数）である。また、各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃは、後述する区間ＴＭ４以外の区間ＴＭ１〜ＴＭ３においては、輝度信号中のＲ，Ｇ，Ｂの各色成分の混合比率Ｋｒ，Ｋｇ，Ｋｂ（ただし、Ｋｒ＋Ｋｇ＋Ｋｂ＝１）とそれぞれ同一の値となる。ここでは、区間ＴＭ１，ＴＭ２においては、変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（Ｋｒ，Ｋｇ，Ｋｂ）として、（０．３０，０．５９，０．１１）の値を用いる。
【００７３】
また、色差信号Ｃｒは、変換式Ｃｒ＝α×（Ｒｃｈ−Ｙ）、に基づいて算出され、色差信号Ｃｂは、変換式Ｃｂ＝α×（Ｂｃｈ−Ｙ）、に基づいて算出される。ここで、係数αは、このカラー画像生成時においてはα＝１である。後述するように、この係数αをゼロにすれば、モノクロ画像を生成することができ、係数αを、０＜α＜１を満たす任意の値に設定することによれば、彩度を抑圧した画像を生成することができる。
【００７４】
以上のようにして、カラー画像が生成される。
【００７５】
なお、カラー画像生成時の補間処理は、上述の態様以外にも様々な態様のものを用いることが可能である。たとえば、グリーンの色フィルタの位置において、当該位置のグリーン成分値だけでなく、斜め方向の隣接４画素をも用いた平均値をグリーン成分チャンネル値として得るようにしてもよい。
【００７６】
＜高感度モノクロ画像生成時の画像処理＞
つぎに、高感度のモノクロ画像生成時の画像処理（高感度モノクロ画像生成処理）について説明する。この高感度ノクロ画像生成処理は、後述するように本実施形態では、上記の「感度切替可能モード」において、輝度（環境輝度）を表すＢＶ値が所定の閾値ＴＨ３よりも小さいときに実行される。この高感度モノクロ画像を得ることによれば、非常に暗い環境下でも被写体像を得ることが可能になる。
【００７７】
この高感度モノクロ画像生成処理においては、ベイヤー配列の画素に対する画素加算処理が行われる。これにより、上記の通常感度のカラー画像よりも高感度の画像を生成することができる。この画素加算処理は、上述の画素補間処理の前であって、且つ、Ａ／Ｄ変換前に行われる。すなわち、各画素信号がアナログ信号の状態で行われる。これによれば、Ａ／Ｄ変換時に量子化単位よりも小さな信号がデジタル化に伴って消失してしまうことを防止して、より高感度の画素値を得ることができる。
【００７８】
また、ここでは撮像センサ１５の全画素を用いるのではなく、間引き後の一部の画素を用いて、画素数を減じた画像を生成するものとする。
【００７９】
具体的には、画素加算部２０は、水平方向および垂直方向に所定間隔の画素位置における画素の画素値を、その各画素の周辺画素の画素値を加算することによって得る。これにより、低輝度下におけるＳ／Ｎ比を向上させて感度を向上させることが可能になる。また、水平方向および垂直方向における所定間隔の画素位置以外の画素の画素値は求めないことによって、画素数を減少させる間引き処理を同時に行うことができる。
【００８０】
図１０は、この画素加算処理を示す図である。図１０（ａ）は、撮像センサ１５におけるベイヤー配列の各画素を示しており、図１０（ｃ）は、画素加算処理後の状態を示している。また、図１０（ｂ）は、画素加算処理の中間段階の状態を示す図である。
【００８１】
ここでは、画素配列の垂直方向における加算処理と水平方向における加算処理との両方を行う場合について説明する。
【００８２】
まず、画素加算部２０は、撮像センサ１５における画素列に対して垂直加算処理（垂直方向の加算処理）を行う。これによって、図１０（ａ）の状態から図１０（ｂ）の状態へと移行する。この撮像センサ１５においては、第（ｉ×８＋１）行の水平画素列と第（ｉ×８＋３）行の水平画素列との加算、および第（ｉ×８＋６）行の水平画素列と第（ｉ×８＋８）行の水平画素列との加算がそれぞれ行われる（ただし、ｉはゼロ以上の整数）。
【００８３】
この垂直加算処理は、たとえば、垂直転送路内での加算処理によって実現される。
【００８４】
具体的には、図１１に示すように、まず、撮像センサ１５の第３行の水平画素列Ｌ３の各画素の画素信号（画素値）を示す各蓄積電荷（Ｇ，Ｒ，Ｇ，Ｒ，．．．）が、隣接する各垂直転送路ＶＬに送り出される。また、撮像センサ１５の第８行の水平画素列Ｌ８の各画素の画素信号を示す各蓄積電荷（Ｂ，Ｇ，Ｂ，Ｇ，．．．）が、隣接する各垂直転送路ＶＬに送り出される。つぎに、画素加算部２０は、各垂直転送路ＶＬ内の各蓄積電荷を図面の上方向に２画素分移動させる。このとき、図１２に示すように、各垂直転送路ＶＬ内の水平画素列Ｌ３の各蓄積電荷（Ｇ，Ｒ，Ｇ，Ｒ，．．．）は、第１行の水平画素列Ｌ１の各蓄積電荷の真横に位置している。この状態で、水平画素列Ｌ１の各蓄積電荷（Ｇ，Ｒ，Ｇ，Ｒ，．．．）が、さらに各垂直転送路ＶＬに送り出される。これによって、水平画素列Ｌ１の各蓄積電荷と水平画素列Ｌ３の各蓄積電荷とが各列ごとに加算される。
【００８５】
図１０（ｂ）は、垂直加算処理後の状態を示している。図１０（ｂ）の最上段（第１行）且つ最左列（第１列）の信号は、図１０（ａ）の第１行第１列の画素値（Ｇ）と第３行第１列の画素値（Ｇ）とを合計した値（２Ｇ）となる。また、図１０（ｂ）の第１行第２列の信号は、図１０（ａ）の第１行第２列の画素値（Ｒ）と第３行第２列の画素値（Ｒ）とを合計した値（２Ｒ）となる。第３列以降についても同様である。これによって、加算後の第１行の画素列ＬＬ１の各画素の画素値は、２Ｇ，２Ｒ，２Ｇ，２Ｒ，．．．というように、加算前の第１行の画素列Ｌ１の各画素の画素値と第３行の画素列Ｌ３の対応画素の画素値とが加算された状態となる。
【００８６】
また、図１２に示すように、上記の２画素分の移動によって、各垂直転送路ＶＬ内の水平画素列Ｌ８の各蓄積電荷（Ｂ，Ｇ，Ｂ，Ｇ，．．．）は、第６行の水平画素列Ｌ６の各蓄積電荷の真横に位置している。この状態で、水平画素列Ｌ６の各蓄積電荷（Ｂ，Ｇ，Ｂ，Ｇ，．．．）が、さらに各垂直転送路ＶＬに送り出される。これによって、水平画素列Ｌ６の各蓄積電荷と水平画素列Ｌ８の各蓄積電荷とが各列ごとに加算される。
【００８７】
この垂直加算処理によって、図１０（ｂ）における第２行目の水平画素列ＬＬ２の信号が得られる。この加算後の第２行目の水平画素列ＬＬ２の各画素は、２Ｂ，２Ｇ，２Ｂ，２Ｇ，．．．というように、第６行の水平画素列Ｌ６の各画素の画素値と第８行の水平画素列Ｌ８の対応画素の画素値とが加算された状態となる。
【００８８】
なお、ここでは詳述しないが、同様に、第９行目以後の水平画素列についても同様の処理によって垂直加算処理が施されている。
【００８９】
つぎに、画素加算部２０は、水平加算処理（水平方向の加算動作）を行う。これによって、図１０（ｂ）の状態から図１０（ｃ）の状態へと移行する。
【００９０】
画素加算部２０は、図１０（ｂ）の第１行目の水平画素列ＬＬ１において、隣接する信号を４画素ごとに合算し、図１０（ｃ）の第１行目の新たな画素列ＬＣ１を生成する。なお、図１０（ｃ）は、水平加算処理後の状態を示している。
【００９１】
具体的には、図１２において、画素加算部２０は、各垂直転送路ＶＬ内の各蓄積電荷を図面の上方向に１画素分移動させて、水平画素列ＬＬ１の各画素の画素値を水平転送路ＨＬへと送り出す。
【００９２】
そして、今度は図の左側へ向けて水平転送を行って水平方向の４画素ずつの画素値を合算する。具体的には、水平転送路ＨＬに接続されたフローティングディフュージョンアンプＡＰ内のコンデンサＣＮに、水平画素列ＬＬ１における画素値を４画素毎に蓄積する。詳細には、１画素の水平転送動作毎にコンデンサをリセットするのではなく、４画素の水平転送動作毎にコンデンサをリセットすることによって、４画素の合算値を求めることができる。
【００９３】
この結果、図１０（ｃ）の最上段（第１行）且つ最左列（第１列）の信号は、図１０（ｂ）の第１行第１列の画素値（２Ｇ）と第１行第２列の画素値（２Ｒ）と第１行第３列の画素値（２Ｇ）と第１行第４列の画素値（２Ｒ）とを合計した値（４Ｇ＋４Ｒ）となる。これによって、図１０（ｃ）における加算後の各画素の画素値は、図１０（ｂ）の画素に比べて約４倍の大きさ、図１０（ａ）の画素に比べて約８倍の大きさを有することになる。これにより、低輝度下においても、十分な感度を得ることが可能になる。
【００９４】
同様に、画素加算部２０は、図１０（ｂ）の第１行目の水平画素列ＬＬ１において、第５列から第８列までの画素の信号を合算し、図１０（ｃ）における第１行第２列の新たな画素の画素値とする。さらに、図１０（ｂ）の第１行目の水平画素列ＬＬ１において、第９列から第１２列までの画素の信号を合算し、図１０（ｃ）における第１行第３列の新たな画素の画素値とする。以降、同様の動作が繰り返される。
【００９５】
以上のようにして、図１０（ｃ）の第１行の画素列が生成される。
【００９６】
つぎに、画素加算部２０は、図１０（ｂ）の第２行目の水平画素列ＬＬ２において、隣接する信号を４画素ごとに合算し、図１０（ｃ）の第２行の新たな画素列ＬＣ２を生成する。
【００９７】
具体的には、画素加算部２０は、図１２において、各垂直転送路ＶＬ内の各蓄積電荷を、図面の上方向に１画素分移動させた上記の状態から図面の上方向にさらに５画素分移動させて、水平転送路ＨＬへと送り出す。その後、図の左側への水平転送を行って水平方向の４画素ずつの画素値を合算する。
【００９８】
この結果、図１０（ｃ）の第２行第１列の信号は、図１０（ｂ）の第２行第１列の画素値（２Ｂ）と第２行第２列の画素値（２Ｇ）と第２行第３列の画素値（２Ｂ）と第２行第４列の画素値（２Ｇ）とを合計した値（４Ｇ＋４Ｂ）となる。同様に、図１０（ｃ）の第２行第２列の信号は、図１０（ｂ）の第２行における第５列から第８列までの４つの画素の画素値を合計した値（４Ｇ＋４Ｂ）となる。第２行の残りの画素列についても同様である。
【００９９】
この水平加算処理によって、第２行の画素列も、図１０（ｂ）の状態から図１０（ｃ）の状態へと移行する。これによって、図１０（ｃ）における加算後の各画素の画素値は、図１０（ｂ）の画素に比べて約４倍の大きさ、図１０（ａ）の画素に比べて約８倍の大きさを有することになり、低輝度下においても十分な感度を得ることが可能になる。
【０１００】
さらに、画素加算部２０は、同様の読み出し動作および画素加算動作を繰り返し実行することによって、図１０（ｃ）における第３行目以降の水平画素列ＬＣ３，ＬＣ４，．．．を生成する。
【０１０１】
このように、画素加算部２０は、高感度モノクロ画像生成時には、２つの色成分のみを加算して新たな画素値を算出することによって、互いに異なる組合せの２つの色成分のみを含む所定方向の２種類の水平画素列を交互に生成する。具体的には、Ｇ成分（グリーン成分）およびＲ成分（レッド成分）のみを含む奇数行目の水平画素列と、Ｇ成分（グリーン成分）およびＢ成分（ブルー成分）のみを含む偶数行目の水平画素列とが生成される。
【０１０２】
また、画素加算部２０は、撮像センサ１５における水平方向の画素値をｎ画素（ただし、ｎは２以上の自然数、上記の例ではｎ＝４）ずつ加算するとともに、垂直方向に対しては画素数をｎ分の１に間引く間引き処理を行う。この結果、水平方向の画素数および垂直方向の画素数がいずれもｎ分の１となるように、加算後の新たな画素の画素値が得られる。この場合、加算後の新たな画素で構成される画像は、そのアスペクト比が加算前後で変更されないので、アスペクト比を加算前後で合致させるためのさらなる処理を行う必要がない。
【０１０３】
以上のようにして、画素加算処理が実行される。この後、Ａ／Ｄ変換が施されて、各画素の画素値がデジタル値に変換される。そして、デジタル化された画素値に対して、今度は画素補間処理が施される。
【０１０４】
つぎに、この画素補間処理について説明する。この実施形態においては、高感度モノクロ画像生成時においても、カラー画像生成時と同一の補間フィルタ（図７参照）を用いて、画素補間部３１による画素補間処理を行う。
【０１０５】
図１３は、図７の補間フィルタを用いた補間結果の一例を示す図である。図１３は、高感度モノクロ画像生成処理時の画素補間結果を示す図であり、カラー画像生成処理時の画素補間結果を示す図８に対応する図である。
【０１０６】
図１３の左側には、図１０の画素加算処理によって高感度化された後の各画素（すなわち、図１０（ｃ）の各画素）が示されている。ただし、図１３では、画素の画素値は、各色成分の混合割合（混合比率とも称する）を示すことを主目的として表現されており、図１０（ｃ）の「４Ｇ＋４Ｒ」などにおける各色成分の前の係数は省略して示されている。たとえば、「Ｇ＋Ｒ」は、グリーン成分（Ｇ）とレッド成分（Ｒ）とが１対１の比率（割合）で混合されていることを示している。なお、この「Ｇ＋Ｒ」と図８における記述とのレベルを合わせるためには、成分の和（Ｒ＋Ｇ）に対して係数４を乗じた（掛け合わせた）上で、正規化のため８で除した（割った）値で表現すればよい。
【０１０７】
この図１３の左側に示すような各画素に対して、図７と同一の補間フィルタを用いて上記と同様の画素補間処理が行われ、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが算出される。
【０１０８】
たとえば、図１３の左側の画素配列において第２列目の左から第２番目の位置の画素Ｑ２２について考察する。
【０１０９】
この画素Ｑ２２のレッド成分チャンネル値Ｒｃｈは、図７（ａ）のレッドチャンネル用フィルタを用いて求める。具体的には、画素Ｑ２２のレッド成分チャンネル値Ｒｃｈは、画素Ｑ１２の階調値と画素Ｑ３２の階調値との平均値（（Ｇ＋Ｒ）／２＋（Ｇ＋Ｒ）／２＝Ｇ＋Ｒ）として求められる。同様に、画素Ｑ２２のブルー成分チャンネル値Ｂｃｈは、図７（ａ）のブルーチャンネル用フィルタを用いて、画素Ｑ２１の階調値と画素Ｑ２３の階調値との平均値（（Ｇ＋Ｂ）／２＋（Ｇ＋Ｂ）／２＝Ｇ＋Ｂ）として求められる。また、画素Ｑ２２のグリーン成分チャンネル値Ｇｃｈは、図７（ａ）のグリーンチャンネル用フィルタを用いて、画素Ｑ２２の階調値（Ｇ＋Ｂ）そのものとして求められる。
【０１１０】
同様にして、図７（ｂ）の各成分チャンネル用フィルタを用いて、画素Ｑ２３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが求められる。また、画素Ｑ３２の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｃ）の各成分チャンネル用フィルタを用いて求められ、画素Ｑ３３の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは図７（ｄ）の各成分チャンネル用フィルタを用いて求められる。
【０１１１】
撮像センサ１５においては、図１３の左側に示すような画素配列（Ｑ２２，Ｑ２３，Ｑ３２，Ｑ３３）と同様の画素配列が水平方向および垂直方向に繰り返し配置されている。したがって、同様のフィルタを各画素の位置に応じて作用させることによって、各画素の補間処理後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈを得ることができる。
【０１１２】
この結果、図１３の右側に示されるように、各画素Ｑ２２，Ｑ２３，Ｑ２４，Ｑ２５，．．．，Ｑ３２，Ｑ３３，Ｑ３４，Ｑ３５．．．のいずれの画素においても、そのレッド成分チャンネル値Ｒｃｈは「Ｇ＋Ｒ」となり、そのブルー成分チャンネル値Ｂｃｈは「Ｇ＋Ｂ」となる。なお、各画素のグリーン成分チャンネル値Ｇｃｈとしては、「Ｇ＋Ｂ」と「Ｇ＋Ｒ／２＋Ｂ／２」とが水平方向および垂直方向のそれぞれにおいて交互に出現する。
【０１１３】
また、図１４は、補間処理後の画素に対する色変換処理を示す図であり、（カラー画像生成処理時についての）図９に対応する。
【０１１４】
マトリクス演算部３５は、色変換マトリクスＭＸ２を用いて、各画素Ｑ２２，Ｑ２３，Ｑ３２，Ｑ３３等に対して、それぞれ、所定の変換式による色変換処理を施す。これにより、各成分チャンネル値（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）は、別の色空間表現（Ｙ，Ｃｒ，Ｃｂ）へと変換される。色変換マトリクスＭＸ２は、上述の色変換マトリクスＭＸ１とは異なる変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを有している。すなわち、高感度モノクロ画像生成時において、各画像信号は、上記のカラー画像生成時の変換係数とは異なる変換係数で処理されて生成される。
【０１１５】
たとえば、輝度信号Ｙは、Ｙ＝（０．５×Ｒｃｈ＋０．５×Ｂｃｈ）の変換式によって算出される。すなわち、変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（０．５，０，０．５）であり、レッド成分チャンネル値Ｒｃｈとブルー成分チャンネル値Ｂｃｈとを同一比率で混合することによって、輝度信号Ｙが生成される。なお、この輝度信号Ｙは、カラー画像生成時とは異なる変換式によって算出されているため、高感度モノクロ画像における輝度信号Ｙは擬似輝度信号とも称される。
【０１１６】
この結果、図１４の右側に示すような輝度信号Ｙが生成される。この輝度信号Ｙは、いずれの画素においても、「Ｇ＋Ｒ／２＋Ｂ／２」として算出される。すなわち、いずれの画素においても、各成分値Ｒ，Ｇ，Ｂが１：（１／２）：（１／２）の同一の割合で混合された値がその画素値として生成される。
【０１１７】
この結果、次述するように、横縞模様が発生することもなく、綺麗な高感度モノクロ画像を生成することができる。
【０１１８】
なお、図９と比較するため正規化した状態で、変換後の輝度信号Ｙを各色成分値Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）の線形和で表現すると、Ｙ＝０．２５×Ｒ＋０．５×Ｇ＋０．２５×Ｂ、となる。この式は、上記の変換式において、Ｒｃｈに（（Ｇ＋Ｒ）／２）を代入し、Ｂｃｈに（（Ｇ＋Ｂ）／２）を代入することによって得ることができる。したがって、色変換マトリクスＭＸ２を用いて生成される輝度信号中での各色成分Ｒ，Ｇ，Ｂの混合比率を表す係数Ｋｒ，Ｋｇ，Ｋｂは（０．２５，０．５，０．２５）となる。
【０１１９】
また、モノクロ画像信号を生成するため、色差信号Ｃｒ，Ｃｂはいずれもゼロ（固定値）である。
【０１２０】
以上のようにして、高感度のモノクロ画像が生成される。
【０１２１】
上記のような撮像装置１によれば、画素加算によって高感度化を図ることができるので、高感度化を図るために赤外線カットフィルタＦＴを光路から外す必要がない。したがって、赤外線カットフィルタＦＴの装脱を行うための構成を設ける必要がないので、構成が簡易である。
【０１２２】
＜参考例との比較＞
ところで、画素加算によって高感度モノクロ画像を生成するにあたっては、画素加算処理によって得られた画素値を、別個に設けられたローパスフィルタを用いて垂直方向に平滑化する技術を想定することができる。以下、この技術を参考例と称するものとする。
【０１２３】
ここで、上記実施形態の技術的意義をより明確にするため、この参考例との比較を行う。
【０１２４】
図１５〜図１７は、参考例に関する処理動作等について説明する図である。図１５は、参考例における機能ブロックを示す図であり、上記の図６に対応する図である。また、図１６は図１３に対応する図であり、図１７は図１４に対応する図である。なお、上記実施形態の撮像装置１と同様の構成を有するブロックについては、同様の符号を付して説明する。
【０１２５】
この参考例に係る技術は、結果的に、図１５に示される機能ブロックと同等の処理を行うものに相当する。この技術においては、加算処理が施された画素値は、画素補間部３１による補間処理を経ることなく画素補間部３１（図１５）をスルーして、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈが同一の値となる。
【０１２６】
具体的には、図１６の左側に示すように、画素加算処理後の画素配列において、第２行目の水平画素列の各画素の画素値は「Ｇ＋Ｂ」となり、その後、画素補間部３１をスルーすることによって、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈはいずれも「Ｇ＋Ｂ」となる（図１６の右側参照）。同様に、画素加算処理後の画素配列において、第３行目の水平画素列の各画素の画素値は、「Ｇ＋Ｒ」となり、その後、画素補間部３１をスルーすることによって、各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈはいずれも「Ｇ＋Ｒ」となる。
【０１２７】
その後、図１７に示すように、マトリクス演算部３５により色変換処理が施される。
【０１２８】
図１６にも示されるように、画素補間部３１から出力される偶数行の水平画素列の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは、いずれも同一の値「Ｇ＋Ｂ」となる。ここでは、マトリクス演算部３５は、図１７の上側に示すように、そのうちのグリーン成分チャンネル値Ｇｃｈをそのまま用いて「Ｇ＋Ｂ」を擬似輝度信号Ｙとして出力する。また、色差信号Ｃｒ，Ｃｂは、いずれもゼロ（固定値）とされる。
【０１２９】
また、奇数行の水平画素列の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈは、いずれも同一の値「Ｇ＋Ｒ」となるので、マトリクス演算部３５は、図１７の下側に示すように、そのうちのグリーン成分チャンネル値Ｇｃｈをそのまま用いて「Ｇ＋Ｒ」を擬似輝度信号Ｙとして出力する。
【０１３０】
ここで、偶数行の水平画素列（図１７の上段参照）においては、「Ｒ」成分はいずれの成分チャンネル値にも含まれない。そのため、マトリクス演算部３５における色変換マトリクスの変換係数を変更して各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈの混合割合を変更しても、「Ｒ」成分を輝度信号Ｙに反映させることはできない。
【０１３１】
同様に、奇数行の水平画素列（図１７の下段参照）においては、「Ｂ」成分はいずれの成分チャンネル値にも含まれない。そのため、マトリクス演算部３５における色変換マトリクスの変換係数を変更して各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈの混合割合を変更しても、「Ｂ」成分を輝度信号Ｙに反映させることはできない。
【０１３２】
このように、参考例の技術においては、色変換マトリクスにおける変換係数をどのように設定したとしても、偶数行の水平画素列に対する擬似輝度信号と奇数行の水平画素列に対する擬似輝度信号とは、互いに異なる値となる。そのため、１ライン毎に異なる割合の混合色成分が擬似輝度信号として出力されることになる。ここでは、「Ｇ＋Ｂ」と「Ｇ＋Ｒ」とが交互に擬似輝度信号として出力される。
【０１３３】
したがって、被写体の色が特定の色成分に偏っている場合には、高感度モノクロ画像において縞模様が発生することになる。たとえば、赤一色の被写体を撮影する場合には、「Ｇ＋Ｒ」の奇数行には赤色成分が反映された値が出力される一方で、「Ｇ＋Ｂ」の偶数行の画素値はほぼゼロとなり、撮影されたモノクロ画像において縞模様が出現する。
【０１３４】
そして、このような縞模様の発生を防止するためには、図１５に示すように、垂直方向の平滑化を図るためのローパスフィルタ（ＬＰＦ）３９を設けることなどが求められる。
【０１３５】
なお、図１５に示す技術は、画素加算部２０による画素加算処理を受けた水平画素列ごとの画像信号を、画素補間部３１およびマトリクス演算部３５を経ることなく、そのままローパスフィルタ３９によって平滑化処理するものであるとも理解できる。
【０１３６】
これに対して、上記の実施形態に係る撮像装置１によれば、参考例のようなローパスフィルタ３９を設けることなく、簡易な構成で高感度の綺麗なモノクロ画像を得ることができる。
【０１３７】
具体的には、上記実施形態に係る撮像装置１の画素補間部３１は、カラー画像生成時には、図７の補間用フィルタを用いて、撮像センサ１５における画素値に基づいて補間後の各色成分値を各成分チャンネル値として求め、高感度モノクロ画像生成時には、カラー画像生成時と同一の補間用フィルタを用いて、加算後の新たな画素値に基づいて補間後の各擬似色成分値を各成分チャンネル値として求める。そして、マトリクス演算部３５は、カラー画像生成時には、補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈと色変換マトリクスＭＸ１とに基づいて色信号Ｙ，Ｃｒ，Ｃｂを生成し、高感度モノクロ画像生成時には、補間後の各成分チャンネル値Ｒｃｈ，Ｇｃｈ，Ｂｃｈと色変換マトリクスＭＸ２とに基づいて輝度信号Ｙ等を生成する。
【０１３８】
すなわち、高感度のモノクロ画像生成時において、カラー画像生成時と同一の補間用フィルタを用いて画素補間が行われ、且つ、カラー画像生成時とは異なる変換係数を有する色変換マトリクスを用いて色変換処理（輝度信号生成処理）が行われる。
【０１３９】
このように、画素加算によって感度が向上した新たな画素値に対して、カラー画像生成に用いられる画素補間部３１およびマトリクス演算部３５を用いて、高感度モノクロ画像への変換処理を行うことができるので、簡易な構成で高感度のモノクロ画像を得ることができる。言い換えれば、カラー画像生成用に既に存在している画素補間部３１およびマトリクス演算部３５を巧みに活用して、高感度のモノクロ画像を生成することが可能になる。
【０１４０】
特に、上記の画素補間部３１は、水平方向および垂直方向の両方向における２次元フィルタリング処理を伴う画像補間処理を行うことによって、画素加算部２０による加算処理後の新たな画素に対する各成分チャンネル値を求めている。そして、これにより、画素加算において加算されなかった成分をも含む３つの全ての色成分Ｒ，Ｇ，Ｂを、各画素における複数の成分チャンネル値のいずれかにおいて出力することができる。このように、高感度モノクロ画像生成時における画像補間処理は、上記のカラー画像生成時の画像補間処理とは異なる作用を有している。そして、このような各成分チャンネル値に対してマトリクス演算部３５による色変換処理を行うことによって、特定の色成分への偏りが無い又は偏りが少ない輝度信号を生成することが可能になる。
【０１４１】
具体的には、図１３の右側に示すように、画素補間部３１による画素補間後の偶数行の水平画素列において、レッド成分チャンネル値Ｒｃｈ（＝「Ｇ＋Ｒ」）には、「Ｒ」と「Ｇ」との両色成分が含まれており、ブルー成分チャンネル値Ｂｃｈ（＝「Ｇ＋Ｂ」）には、「Ｂ」と「Ｇ」との両色成分が含まれている。画素補間前の偶数行の水平画素列（「Ｇ＋Ｂ」）には「Ｒ」成分は含まれていなかったのに対して、画素補間後の偶数行の水平画素列においては、この「Ｒ」成分がレッド成分チャンネル値Ｒｃｈに含まれている。
【０１４２】
そして、マトリクス演算部３５において、２つ（２種類）の成分チャンネル値Ｒｃｈ，Ｂｃｈを加算して平均化することによって、輝度信号Ｙを求めている。したがって、マトリクス演算部３５の色変換処理によって、３つの全ての色成分「Ｒ」，「Ｇ」，「Ｂ」が混合された輝度信号Ｙを得ることが可能である。
【０１４３】
同様に、奇数行の水平画素列においても、同様である。すなわち、奇数行の水平画素列において、レッド成分チャンネル値Ｒｃｈには、「Ｒ」と「Ｇ」との両色成分が含まれており、ブルー成分チャンネル値Ｂｃｈには、「Ｂ」と「Ｇ」との両色成分が含まれている。画素補間前の奇数行の水平画素列には「Ｂ」成分は含まれていなかったのに対して、画素補間後の奇数行の水平画素列においては、この「Ｂ」成分がブルー成分チャンネル値Ｂｃｈに含まれている。
【０１４４】
そして、奇数行の水平画素列についても、マトリクス演算部３５の色変換処理によって、３つの全ての色成分「Ｒ」，「Ｇ」，「Ｂ」が混合された輝度信号Ｙを得ることが可能である。
【０１４５】
この結果、マトリクス演算部３５による色変換処理によって、偶数行および奇数行のいずれにおいても、３つの色成分「Ｒ」，「Ｇ」，「Ｂ」が混合された輝度信号Ｙを得ることが可能である。
【０１４６】
具体的には、この実施形態においては、図１４に示すように、マトリクス演算部３５による変換の結果、偶数行および奇数行のいずれにおいても、輝度信号Ｙは「Ｇ＋Ｒ／２＋Ｂ／２」として求められる。すなわち、輝度信号Ｙにおいては、偶数行と奇数行とで、色成分Ｒ，Ｇ，Ｂの混合比率（Ｋｒ：Ｋｇ：Ｋｂ）が同一（１：２：１）である。
【０１４７】
そのため、被写体の色が特定の色成分に偏っている場合であっても、縞模様の発生を回避して、綺麗な高感度モノクロ画像を得ることが可能である。すなわち、垂直方向の平滑化を図るためのローパスフィルタ（ＬＰＦ）３９を設けることなく、綺麗な高感度画像を得ることが可能である。
【０１４８】
特に、図１４に示すように、マトリクス演算部３５による変換の結果、輝度信号Ｙにおける各色成分の混合割合は、いずれの画素においても、「Ｇ＋Ｒ／２＋Ｂ／２」となる。すなわち、各色成分の混合割合が各画素間で同一となる。したがって、当該混合割合が異なる場合に起こり得る模様（あるいはざらつき感）等の発生を回避して、綺麗な高感度モノクロ画像を得ることが可能になる。
【０１４９】
また、この実施形態においては、図１３に示すように、高感度モノクロ画像生成時には、２つの成分チャンネル値Ｒｃｈ（＝Ｇ＋Ｒ），Ｂｃｈ（＝Ｇ＋Ｂ）の和成分（＝（Ｇ＋Ｒ）＋（Ｇ＋Ｂ））における３つの色成分「Ｒ」，「Ｇ」，「Ｂ」の混合割合が、偶数行の水平画素列の画素と奇数行の水平画素列の対応画素との間で同一の割合（１：２：１）となるように、画素補間部３１による画素補間が行われている。したがって、偶数行と奇数行とで色変換マトリクスの係数を変更することなく色変換処理を行うことによって、同一割合の混合比率を有する輝度信号を容易に生成することが可能である。
【０１５０】
特に、この実施形態においては、２つの成分チャンネル値Ｒｃｈ，Ｂｃｈの和成分における３つの色成分「Ｒ」，「Ｇ」，「Ｂ」の混合割合が、所定の画素と任意の画素との間でも同一の割合（１：２：１）となるように、画素補間部３１による画素補間が行われている。したがって、全ての画素について同一変換係数の色変換マトリクスを用いた色変換処理を行うことによって、同一割合の混合比率を有する輝度信号を容易に生成することが可能である。
【０１５１】
＜輝度に応じたモード変更＞
つぎに、「感度切替可能モード」において、環境輝度が変化したときの撮像装置１の動作について説明する。ここでは、撮像装置１の環境輝度を表す指標値として、露出制御に用いるＡＰＥＸ値のうちのＢＶ値を用いるものとする。このＢＶ値は、撮像センサ１５への入射光量を反映した値として算出される。また、この算出動作は、画像処理部３などによって行われる。
【０１５２】
撮像装置１は、この「感度切替可能モード」においては、まず、高輝度環境下では通常の感度でカラー撮像を行う「カラー画像生成処理」を実行する。そして、輝度の更なる減少に応じて、彩度を抑圧する「彩度抑圧画像生成処理」、「通常感度モノクロ画像生成処理」、および「高感度モノクロ画像生成処理」を順次に実行する。詳細には、輝度に応じて区分された４つの区間ＴＭ１〜ＴＭ４において、互いに異なるこれらの画像生成処理のそれぞれが行われる。なお、これらの区間は、ＢＶ値に関する３つの閾値ＴＨ１，ＴＨ２，ＴＨ３（ＴＨ１＞ＴＨ２＞ＴＨ３）によって区分される。
【０１５３】
図１８は、感度切替可能モードにおける動作を示す図である。図１８のグラフの横軸は、輝度を表すＢＶ値（ＡＰＥＸ値）を示しており、縦軸は、色変換に関する各種のパラメータ（係数）α，Ｋｒ，Ｋｇ，Ｋｂの値を示している。
【０１５４】
まず、輝度を表すＢＶ値が閾値ＴＨ１（ここでは、−０．２）よりも大きい場合（すなわち撮影環境が所定値よりも明るい場合）（区間ＴＭ１）には、通常感度のカラー画像が生成される。すなわち、区間ＴＭ１においては、通常感度の「カラー画像生成処理」が実行される。
【０１５５】
この区間ＴＭ１でのカラー画像生成処理は、図５，図８，図９などを用いて説明した通りである。区間ＴＭ１においては、マトリクス演算部３５における変換係数αは１であり、彩度は全く抑圧されない。
【０１５６】
つぎに、ＢＶ値が閾値ＴＨ１よりも小さく且つ閾値ＴＨ２（ここでは、−１．２）よりも大きい場合（区間ＴＭ２）には、彩度抑圧処理を行う。すなわち、区間ＴＭ２においては、「彩度抑圧画像生成処理」（後述）が実行される。詳細には、後述するように、マトリクス演算部３５における変換係数αが、輝度の減少に応じて、徐々に小さな値に設定される。
【０１５７】
そして、ＢＶ値が閾値ＴＨ２よりも小さくなると、変換係数αがゼロになり、モノクロ画像が生成される。すなわち、区間ＴＭ３および区間ＴＭ４においては、マトリクス演算部３５における変換係数αはゼロとなり、モノクロ画像が生成される。
【０１５８】
より具体的には、ＢＶ値が閾値ＴＨ２よりも小さく且つ閾値ＴＨ３（ここでは、−２．５）よりも大きい場合（区間ＴＭ３）においては、画素加算動作を伴わない通常感度によるモノクロ画像が生成される。すなわち、区間ＴＭ３においては、「通常感度モノクロ画像生成処理」（後述）が実行される。
【０１５９】
また、ＢＶ値が閾値ＴＨ３よりもさらに小さい場合（区間ＴＭ４）においては、画素加算動作を伴う高感度のモノクロ画像が生成される。すなわち、区間ＴＭ４においては、「高感度モノクロ画像生成処理」が実行される。この区間ＴＭ４での高感度モノクロ画像生成処理は、図６，図１３，図１４などを用いて説明した通りである。
【０１６０】
以上のように、区間ＴＭ１，ＴＭ２，ＴＭ３においては、図５に示すように、画素加算処理が施されることなく、マトリクス演算部３５の色変換マトリクスＭＸ１を用いた処理が行われる。これによって、各区間ＴＭ１，ＴＭ２，ＴＭ３において、それぞれ、通常感度の複数の画像（画像群）が連続的に取得される。
【０１６１】
ただし、このとき、マトリクス演算部３５における変換係数αは、区間に応じて変化する。具体的には、区間ＴＭ１では１であり、区間ＴＭ３ではゼロである。また、区間ＴＭ２では、変換係数αは、０≦α≦１を満たす値となり、具体的には、輝度の減少に応じて１からゼロへ向けて徐々に小さくなる。言い換えれば、区権ＴＭ２においては、輝度の減少に応じて彩度の抑圧程度が徐々に上昇する。そして、ＢＶ値が閾値ＴＨ２（区間ＴＭ３と区間ＴＭ２との境界値）となるときには、彩度が完全に抑制された状態（α＝０）となる。
【０１６２】
また、区間ＴＭ４においては、図６に示すように、画素加算処理が施された上で、マトリクス演算部３５の色変換マトリクスＭＸ２を用いた処理が行われる。これによって、複数の高感度モノクロ画像（高感度モノクロ画像群）が連続的に取得される。
【０１６３】
ここにおいて、図１８に示す処理において、輝度が経時的に変化（たとえば、低下（減少））していく場合を想定する。このとき、上記の４つの区間ＴＭ１，ＴＭ２，ＴＭ３，ＴＭ４にそれぞれ対応する４つの期間において、上述のような各時点の輝度に応じた画像処理が施される。
【０１６４】
そして、この経時的変化においては、次のような２つの状態遷移が存在する。
【０１６５】
１つは、区間ＴＭ１〜ＴＭ３にわたる状態遷移である。これによって、取得される画像は、カラー画像からモノクロ画像へと、その彩度の抑圧程度が徐々に上昇されつつ移行する。
【０１６６】
もう１つは、区間ＴＭ２〜ＴＭ４にわたる状態遷移である。これによって、取得される画像は、通常感度の画像から高感度の画像へと移行する。特に、ＢＶ値が閾値ＴＨ２以下の区間の状態遷移について考察すれば、取得される画像は、通常感度のモノクロ画像から高感度のモノクロ画像へと移行する。
【０１６７】
以下では、これら２つの状態遷移動作について詳述する。
【０１６８】
まず、区間ＴＭ１〜ＴＭ３にわたる状態遷移について説明する。図１８においては、カラー画像（彩度が抑圧されていない画像）が取得される区間ＴＭ１と、モノクロ画像が取得される区間ＴＭ３との間に、彩度抑圧処理を施した画像が取得される区間ＴＭ２が存在する。
【０１６９】
この区間ＴＭ２における彩度抑圧処理は、図５のマトリクス演算部３５における変換係数αの値を１よりも小さな値にすることによって行われる。
【０１７０】
具体的には、係数αはＢＶ値の減少に応じて徐々に小さくなる。ここでは、図１８に示すように、係数αはＢＶ値との間に線形関係を有するように変化する。そして、ＢＶ値が閾値ＴＨ１に等しいときに係数αが１となり且つＢＶ値が閾値ＴＨ２に等しいときに係数αが０となるように、閾値ＴＨ１，ＴＨ２の中間値ＢＶに対する係数αの値が定められる。区間ＴＭ２においては、このような係数αを有する色変換マトリクスＭＸ３（後述のマトリクスＭＸ３２と区別する場合にはＭＸ３１とも称する）を用いて色変換処理が行われる。なお、区間ＴＭ２における色変換マトリクスＭＸ３１の他の変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（Ｋｒ，Ｋｇ，Ｋｂ）は、色変換マトリクスＭＸ１と同じ値である。
【０１７１】
そして、ＢＶ値が閾値ＴＨ２よりも小さくなると、係数α＝０となりモノクロ画像生成処理に移行する。ただし、ＢＶ値が閾値ＴＨ３よりも大きい区間ＴＭ３においては、画素加算処理は未だ行われず通常感度のモノクロ画像が生成される。
【０１７２】
このように、カラー画像生成処理を行う区間ＴＭ１と、通常感度モノクロ画像生成処理を行う区間ＴＭ３との間の区間ＴＭ２において、環境輝度に応じて係数αを連続的に変更させて彩度の抑圧程度を徐々に変化させる彩度抑圧画像生成処理が行われる。したがって、カラー画像からモノクロ画像への移行がスムーズに行われ、画像が急激に変化することを回避できる。すなわち、移行時における違和感を減少させることができる。
【０１７３】
次に、区間ＴＭ２〜ＴＭ４にわたる状態遷移について説明する。図１８においては、通常感度の画像（彩度が抑圧されたカラー画像、およびモノクロ画像）が取得される区間ＴＭ２と、高感度のモノクロ画像が取得される区間ＴＭ４との間に、通常感度のモノクロ画像が取得される区間ＴＭ３が存在する。
【０１７４】
上述したように、マトリクス演算部３５における、輝度信号Ｙにおける各色成分の混合比率を表す係数Ｋｒ，Ｋｇ，Ｋｂは、区間ＴＭ１，ＴＭ２と、区間ＴＭ４との間で異なっている。すなわち、通常感度画像生成時（カラー画像生成時および彩度抑圧画像生成時等）と、高感度モノクロ画像生成時とでは、混合比率Ｋｒ，Ｋｇ，Ｋｂが異なっている。具体的には、区間ＴＭ１，ＴＭ２においては、混合比率Ｋｒ，Ｋｇ，Ｋｂは、それぞれ、０．３，０．５９，０．１１であるのに対して、区間ＴＭ３の終端（および区間ＴＭ４の開始点）においては、混合比率Ｋｒ，Ｋｇ，Ｋｂは、それぞれ、０．２５，０．５，０．２５である。
【０１７５】
仮に、区間ＴＭ３においても、区間ＴＭ１，ＴＭ２と同一の混合比率Ｋｒ，Ｋｇ，Ｋｂを実現するような変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを用いる場合を想定する。この場合、区間ＴＭ３での通常感度モノクロ画像生成処理から区間ＴＭ４での高感度モノクロ画像生成処理への切替時点において、切替前後に生成された両画像はともにモノクロ画像ではある。しかしながら、被写体の有彩色部分については、その有彩色部分における各色成分値の相違と混合比率Ｋｒ，Ｋｇ，Ｋｂの急激な変化とに伴って、これらの両モノクロ画像の切替時点において、急激な濃度変化が生じるために、不連続性が目立つことになる。たとえば、撮像装置１の操作者は、たとえば、動画像撮影時、あるいは、静止画撮影のためのプレビュー画像表示（ライブビュー表示）時において、モノクロ画像における不連続な濃度変化を感じることになる。
【０１７６】
これに対して、この実施形態においては、区間ＴＭ３でのモノクロ画像生成処理での変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃ（したがって混合比率Ｋｒ，Ｋｇ，Ｋｂ）を輝度に応じて変化させることによって、区間ＴＭ２から区間ＴＭ４への移行時における急激な変化を防止する。
【０１７７】
具体的には、この区間ＴＭ３においては、マトリクス演算部３５における輝度信号を求めるための変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを輝度の変化に応じて徐々に変化させる。
【０１７８】
より詳細には、図１８に示すように、ＢＶ値（環境輝度）の減少（変化）に応じて、各混合比率Ｋｒ，Ｋｇ，Ｋｂが、それぞれ、区間ＴＭ２の終点（閾値ＴＨ２）における値から区間ＴＭ４の始点（閾値ＴＨ３）における値へ向けて徐々に変化するように、色変換マトリクスＭＸ３２における各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃが徐々に変化する。ここで、区間ＴＭ２の終点における各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃの各値は、色変換マトリクスＭＸ１（あるいは色変換マトリクスＭＸ３１）を用いて生成される輝度信号Ｙでの色成分混合比率（Ｋｒ：Ｋｇ：Ｋｂ）＝（０．３：０．５９：０．１１）を実現する値であるとも表現できる。また、区間ＴＭ３の終点における各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃの各値は、色変換マトリクスＭＸ２を用いて生成される輝度信号Ｙでの色成分混合比率（Ｋｒ：Ｋｇ：Ｋｂ）＝（０．２５：０．５：０．２５）を実現する値であるとも表現できる。
【０１７９】
すなわち、区間ＴＭ３において、ＢＶ値（環境輝度）の減少に応じて、各変換係数（Ｋｒｃ，Ｋｇｃ，Ｋｂｃ）＝（Ｋｒ，Ｋｇ，Ｋｂ）が（０．３：０．５９：０．１１）から（０．２５：０．５：０．２５）へ向けて徐々に変化する。
【０１８０】
たとえば、変換係数Ｋｒｃ（＝Ｋｒ）は、閾値ＴＨ１，ＴＨ２の間ではＢＶ値の変化に応じて次のような値となる。すなわち、変換係数Ｋｒｃは、ＢＶ値が閾値ＴＨ２に等しいときに０．３であり、その後、ＢＶ値の減少に応じて、しばらくその値を維持した後に徐々に減少する。そして、変換係数Ｋｒｃは、ＢＶ値が閾値ＴＨ３よりも少し大きな値であるとき（ここでは−２．３）に０．２５となり、その値を維持して、ＢＶ値が閾値ＴＨ３にほぼ等しいときにも０．２５となる。
【０１８１】
同様に、係数Ｋｇｃ（＝Ｋｇ）は、閾値ＴＨ１，ＴＨ２の間ではＢＶ値の変化に応じて、ＢＶ値が閾値ＴＨ２に等しいときに０．５９であり、その後、ＢＶ値の減少に応じて、しばらくその値を維持した後に徐々に減少する。そして、係数Ｋｇｃは、ＢＶ値が閾値ＴＨ３よりも少し大きな値（ここでは−２．３）であるときに０．５となり、その値を維持して、ＢＶ値が閾値ＴＨ３にほぼ等しいときにも０．５となる。
【０１８２】
また同様に、係数Ｋｂｃ（＝Ｋｂ）は、ＢＶ値が閾値ＴＨ２に等しいときに０．１１であり、その後、ＢＶ値の減少に応じて、しばらくその値を維持した後に徐々に減少する。そして、係数Ｋｂｃは、ＢＶ値が閾値ＴＨ３よりも少し大きな値であるときに０．２５となり、その値を維持して、ＢＶ値が閾値ＴＨ３にほぼ等しいときにも０．２５となる。
【０１８３】
区間ＴＭ３においては、このような係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを有する色変換マトリクスＭＸ３（ＭＸ３１と区別する場合にはＭＸ３２とも称する）を用いて色変換処理が行われる。なお、区間ＴＭ３における色変換マトリクスＭＸ３２の他の変換係数αは、色変換マトリクスＭＸ２と同じくゼロである。
【０１８４】
この結果、図１８に示すように、上記のように区間ＴＭ３において、ＢＶ値（環境輝度）の変化に応じて、色変換マトリクスＭＸ３２で生成された輝度信号中の各色成分の混合比率Ｋｒ，Ｋｇ，Ｋｂが、色変換マトリクスＭＸ１によって実現される値から色変換マトリクスＭＸ２によって実現される値へ向けて徐々に変化する。すなわち、各混合比率Ｋｒ，Ｋｇ，Ｋｂの連続性を担保しつつ、各変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃの値が変更される。
【０１８５】
また、区間ＴＭ４においては、画素加算処理を開始するとともに、変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを（０．５，０，０．５）に切り替える。この切替後の区間ＴＭ４において色変換マトリクスＭＸ２を用いて生成される輝度信号Ｙでの色成分混合比率（Ｋｒ：Ｋｇ：Ｋｂ）は、図１８に示すように、（０．２５：０．５：０．２５）である。したがって、変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃは不連続的に変更されるが、輝度信号中の各色成分の混合比率（Ｋｒ：Ｋｇ：Ｋｂ）は図１８に示すように連続的に変更されることになる。
【０１８６】
したがって、通常感度画像から高感度画像へと徐々に移行させることができ、通常感度画像から高感度画像への移行時における不連続性を回避して、画像変化における違和感を緩和することができる。
【０１８７】
以上のように、撮像装置１は、カラー画像生成処理からモノクロ画像生成処理へと移行する場合には、区間ＴＭ２において係数αを連続的に変化させ、且つ、通常感度モノクロ画像生成処理から高感度モノクロ画像生成処理へと移行する場合には、区間ＴＭ３において変換係数Ｋｒｃ，Ｋｇｃ，Ｋｂｃを連続的に変化させる。
【０１８８】
このように、撮像装置１による上記の実施形態の撮像方法（撮像装置の制御方法）によれば、輝度の変化に応じて、区間ＴＭ１，ＴＭ２，ＴＭ３，ＴＭ４の各処理が順次に切り替えて行われるに際して、切替時の不連続変化の発生を回避することができる。
【０１８９】
また、ホワイトバランス制御における補正パラメータが複数の区間において異なる場合には、その補正パラメータを輝度に応じて変更することによって、切替時の補正パラメータを調整することが好ましい。たとえば、区間ＴＭ２から区間ＴＭ４への切替時には、両区間の中間の区間ＴＭ３において、区間ＴＭ２での値から区間ＴＭ４での値と徐々に変更されるように、ホワイトバランス制御用の補正パラメータを変更すればよい。これによれば、通常感度画像から高感度画像への切替時における不連続性をさらに高度に緩和することが可能である。
【０１９０】
＜その他＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１９１】
たとえば、上記実施形態においては、簡略化のため、カラー画像生成時には画素加算を行わないものとして説明したが、これに限定されず、カラー画像生成時にも画素加算を行うようにしてもよい。
【０１９２】
具体的には、画素加算部２０は、カラー画像生成時には、ベイヤー配列における垂直方向のみの加算を行うことによって、図１０（ｂ）のような画素列を生成し、このような画素列を図８の左側の画素列と置き換えて、図８の画素補間処理および図９の色変換処理を施すようにしてもよい。ただし、カラー画像生成時においては、水平画素加算は施さない。
【０１９３】
また、上記実施形態においては、画素加算部２０は、高感度画像生成時において、水平方向および垂直方向の両方向に画素値を加算する場合について説明したが、これに限定されない。たとえば、高感度画像生成時には、水平方向のみに画素値を加算するようにしてもよい。
【０１９４】
さらに、上記実施形態においては、撮像センサ１５としてＣＣＤ撮像センサを用いる場合を例示したが、これに限定されず、ＣＭＯＳ撮像センサを用いても良い。
【０１９５】
また、上記実施形態においては、生成画像が連続的に変更される場合について説明したが、これに限定されない。たとえば、連続的変化が要求されない場合には、不連続的に高感度モノクロ画像生成処理への切替を行うようにしてもよい。詳細には、カラー画像を生成する撮影モードと、高感度モノクロ画像を生成する撮影モードとを、操作者が高感度撮影スイッチ１４等を用いて選択的に切り替えるようにしてもよい。
【０１９６】
さらに、上記実施形態においては、図１１、図１２などを用いて垂直転送路ＨＬ中で垂直画素加算を行う場合を例示したが、これに限定されない。たとえば、加算対象となる画素列を垂直転送路ＶＬに送り出した後に水平転送路ＨＬで加算するようにしてもよい。より詳細には、まず、４つの水平画素列Ｌ１〜Ｌ４のうち、加算対象となる水平画素列Ｌ１，Ｌ３のみの蓄積電荷を同時に垂直転送路に送り出す。そして、４画素分の垂直転送を行って、水平転送路ＨＬで水平画素列Ｌ１，Ｌ３の２つの蓄積電荷を合計すればよい。
【０１９７】
【発明の効果】
以上のように、請求項１〜８に記載の発明によれば、画素加算によって感度が向上した新たな画素値に対して、カラー画像生成時にも用いられる画素補間手段および色変換手段を用いて、高感度画像への変換処理を行うことができるので、簡易な構成で高感度画像を得ることができる。
【０１９８】
特に、請求項２に記載の発明によれば、画素加算によって、互いに異なる組合せの２つの色成分のみを含む所定方向の第１の画素列と第２の画素列とが交互に生成される場合であっても、簡易な構成で高感度画像を得ることができる。
【０１９９】
また、請求項３に記載の発明によれば、色変換手段によって同一割合の混合割合を有する輝度信号を容易に生成することが可能になる。
【０２００】
さらに、請求項４に記載の発明によれば、輝度信号における各色成分の混合割合が各画素間で同一となるので、当該混合割合が異なる場合に起こり得る縞模様の発生を回避して、より綺麗な高感度画像を得ることができる。
【０２０１】
また、請求項５に記載の発明によれば、色変換手段によって同一割合の混合割合を有する輝度信号をさらに容易に生成することが可能になる。
【０２０２】
さらに、請求項６に記載の発明によれば、輝度信号における各色成分の混合割合が各画素間で同一となるので、当該混合割合が異なる場合に起こり得る縞模様の発生を回避して、より綺麗な高感度画像を得ることができる。
【０２０３】
また、請求項７に記載の発明によれば、低輝度環境においても、鮮明なライブビュー画像を得ることが可能になる。
【０２０４】
さらに、請求項８に記載の発明によれば、低輝度環境においても、鮮明な動画像を記録することが可能になる。
【図面の簡単な説明】
【図１】この発明の実施形態に係る撮像装置１の正面図である。
【図２】撮像装置１の背面図である。
【図３】撮像装置１の上面図である。
【図４】撮像装置１の機能ブロックを示す図である。
【図５】カラー画像生成時の画像処理の概要を示す図である。
【図６】高感度モノクロ画像生成時の画像処理の概要を示す図である。
【図７】補間処理に用いられる補間フィルタを示す図である。
【図８】カラー画像生成時における補間処理の一例を示す図である。
【図９】カラー画像生成時における色変換処理の一例を示す図である。
【図１０】高感度モノクロ画像生成時の画素加算処理を示す図である。
【図１１】画素加算処理を示す図である。
【図１２】画素加算処理を示す図である。
【図１３】高感度モノクロ画像生成時における補間処理の一例を示す図である。
【図１４】高感度モノクロ画像生成時における色変換処理の一例を示す図である。
【図１５】参考例における機能ブロックを示す図である。
【図１６】参考例での高感度モノクロ画像生成時における補間処理の一例を示す図である。
【図１７】参考例での高感度モノクロ画像生成時における色変換処理の一例を示す図である。
【図１８】感度切替可能モードにおけるパラメータ等の変化を示す図である。
【図１９】いわゆるＲＢ市松Ｇ縦ストライプ配列を示す図である（従来技術）。
【符号の説明】
１ 撮像装置
１０ 撮像部
１０ａ 撮影レンズ
１５ 撮像センサ
２０ 画素加算部
３１ 画素補間部
３５ マトリクス演算部
Ｋｒ，Ｋｇ，Ｋｂ （色成分の）混合比率
Ｋｒｃ，Ｋｇｃ，Ｋｂｃ （輝度信号生成用の）変換係数
Ｒｃｈ，Ｇｃｈ，Ｂｃｈ 各成分チャンネル値
Ｌ１〜Ｌ８，ＬＣ１，ＬＣ２，ＬＬ１，ＬＬ２ 水平画素列
Ｐｉｊ，Ｑｉｊ 画素
ＴＭ１〜ＴＭ４ 区間

Claims (8)

1. 所定感度のカラー画像と当該カラー画像よりも高感度の高感度画像との両方を撮像可能な撮像装置であって、
   ３種類の色フィルタが市松状に配置されたベイヤー配列を有する単板式の撮像素子と、
   少なくとも前記高感度画像生成時には前記撮像素子の複数の画素値を加算して新たな画素値を算出する画素加算手段と、
   前記撮像素子の各位置における画素の各成分チャンネル値を周辺画素の画素値に基づいて補間により求める画素補間手段と、
   前記画素補間後の各成分チャンネル値に基づいて色変換を行う色変換手段と、を備え、
   前記画素補間手段は、前記カラー画像生成時には、所定の補間用フィルタを用いて、前記撮像素子における画素値に基づいて補間後の各色成分値を前記各成分チャンネル値として求め、前記高感度画像生成時には、前記カラー画像生成時と同一の前記所定の補間用フィルタを用いて、前記画素加算手段による加算後の前記新たな画素値に基づいて補間後の各擬似色成分値を前記各成分チャンネル値として求め、
   前記色変換手段は、前記カラー画像生成時には、前記補間後の各成分チャンネル値と第１の色変換マトリクスとに基づいて色信号を生成し、前記高感度画像生成時には、前記補間後の前記各成分チャンネル値と第２の色変換マトリクスとに基づいて輝度信号を生成することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画素加算手段は、前記高感度画像生成時には、２つの色成分のみを加算して前記新たな画素値を算出することによって、互いに異なる組合せの２つの色成分のみを含む所定方向の第１の画素列と第２の画素列とを交互に生成することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記画素補間手段は、２次元フィルタリング処理を行うことによって、少なくとも２つの成分チャンネル値の和成分における３つの色成分の混合割合が、前記所定方向の第１の画素列の画素と前記所定方向の第２の画素列の対応画素との間で同一となるように、前記新たな画素に対する補間後の画素の各成分チャンネル値を求めることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記色変換手段は、前記第２の色変換マトリクスで規定される所定の変換係数を用いて、前記輝度信号における３つの色成分の混合割合が前記所定方向の第１の画素列の画素と前記所定方向の第２の画素列の対応画素との間で同一となるように、前記画素補間手段から出力される各成分チャンネル値に基づいて前記輝度信号を生成することを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   前記画素補間手段は、２次元フィルタリング処理を行うことによって、少なくとも２つの成分チャンネル値の和成分における３つの色成分の混合割合が、任意の２つの画素間で同一となるように、前記新たな画素に対する補間後の画素の各成分チャンネル値を求めることを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記色変換手段は、前記第２の色変換マトリクスで規定される所定の変換係数を用いて、前記輝度信号における３つの色成分の混合割合が各画素間で同一となるように、前記画素補間手段から出力される各成分チャンネル値に基づいて前記輝度信号を生成することを特徴とする撮像装置。
7. 請求項１から請求項６のいずれかに記載の撮像装置において、
   前記輝度信号に基づく画像をライブビュー画像として表示する表示手段、
   をさらに備えることを特徴とする撮像装置。
8. 請求項１から請求項６のいずれかに記載の撮像装置において、
   前記輝度信号に基づく連続画像を動画像として記録する記録制御手段、
   をさらに備えることを特徴とする撮像装置。

Images