JP3617887B2

JP3617887B2 - 撮像装置

Info

Publication number: JP3617887B2
Application number: JP27116996A
Authority: JP
Inventors: 栄二山田; 利明原田; 哲男岩木; 徹奥田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-10-14
Filing date: 1996-10-14
Publication date: 2005-02-09
Anticipated expiration: 2016-10-14
Also published as: JPH10126797A; EP0836330A3; EP0836330A2; US6577341B1

Description

【０００１】
【発明の属する技術分野】
本発明は、単一の撮像素子を用いて、カラー画像を得ることができる撮像装置に関する。
【０００２】
【従来の技術】
従来から、単一の撮像素子を用いてカラー画像を撮像する単板式の撮像装置が、動画像および静止画像の撮像に用いられる。この撮像装置では、撮像素子の受光領域の数と等しい画素数の画像を撮像することができるが、撮像素子の受光領域の数が少ないと、画像の解像度が低下する。画像の解像度を向上させるための撮像装置に関する第１および第２の従来技術を以下に示す。
【０００３】
第１の従来技術の撮像装置は、特開平７−９９６６４号公開公報に開示される。この撮像装置では、撮像素子の受光領域の光入射側に、予め定める３色の色彩光だけを通過させる色フィルタを設置する。この色フィルタでは、３色のうちのいずれか１つの色彩光を通過させる透光領域だけが市松状に配列される。
【０００４】
この撮像装置で出力画像を得るとき、撮像装置は、まず撮像素子の空間サンプリング位置を、４フィールドで元の位置に戻るように、画素のピッチの半分の長さだけ水平および垂直方向Ｈ，Ｖに順次的に変位させる。撮像素子は、空間サンプリング位置が移動される度に画像光を撮像する。次いでこれらの４回分の撮像で得られた画像を合成して、撮像素子の受光領域の数よりも多い画素から成る出力画像を生成する。
【０００５】
また、第２の従来技術の電子スチルカメラは、特開平６−２２５３１７号公開公報に開示される。図６８は、上述の電子スチルカメラ１の電気的構成を示すブロック図である。電子スチルカメラ１は高画質画像を撮像するための高精細モードを有する。高精細モードでは、４つの原画像信号から単一の出力画像信号を生成して、撮像素子４の受光領域の数よりも多い画素から成る出力画像を得る。
【０００６】
高精細モード切換え時には、被写体からの画像光は、光学系３で所望の状態に集光された後、後述する色フィルタを通過して、撮像素子４の結像面に結像される。結像面は二次元平面であり、複数の受光領域が行列状に配列される。色フィルタは、この結像面の光入射側に設置され、予め定める４色の色彩光だけを通過させる。結像面における画像光の結像位置は、いわゆるイメージシフト動作によって、異なる第１〜第４結像位置に順次的に移動される。
【０００７】
図６９は、撮像素子４の色フィルタ１６の透光領域１７の配列を示す図である。色フィルタは、撮像素子４の受光領域と同数の透光領域１７を有する。透光領域１７の配列は受光領域の配列と等価であり、水平および垂直方向Ｈ，Ｖに沿って、それぞれ周期ＰＨ，ＰＶで、行列状に配列される。
【０００８】
各透光領域１７は４種類に区分され、黄色、シアン、マゼンタ、緑の各色彩光のうちのいずれか１つだけを通過させる。図６９において、実線で囲まれた矩形領域が各透光領域１７を示す。また矩形領域内に描かれる記号「Ｙｅ」，「Ｃｙ」，「Ｍｇ」，「Ｇ」は、その透光領域１７を通過可能な色彩光の色が、黄、シアン、マゼンタ、および緑であることをそれぞれ示す。各色彩光の透光領域１７の色配列は、２点鎖線２１で囲む４行２列の８つの透光領域１７の配列を基本配列パターンとする周期的な配列である。
【０００９】
図７０は、上述の第１〜第４結像位置Ｑａ〜Ｑｄの位置関係を示す図である。第１位置Ｑａを基準とすると、第２位置Ｑｂは第１位置Ｑａから水平方向Ｈにシフト長さＰＨだけ移動した位置である。第３および第４位置Ｑｃ，Ｑｄは、第１位置Ｑａから垂直方向Ｖの同じ向きに、シフト長さＰＶ／２だけ、かつ水平方向Ｈで相反する向きにそれぞれシフト長さＰＨ／２だけ移動した位置である。
【００１０】
再び図６８を参照する。撮像素子４は、画像光の結像位置が上述した４つの移動位置にそれぞれ移動される度に、予め定める露光時間だけ、結像された画像光を各受光領域で受光して画像光を撮像し、４つの原画像信号を前処理回路５に出力する。この原画像信号は、各受光領域において受光された光の受光量に対応する受光データから成る。前処理回路５では、撮像素子４から与えられた原画像信号を増幅し、かつ所望の信号処理を施す。処理が施された信号は、アナログ／デジタル変換回路（図面では「Ａ／Ｄ変換回路」と略称する）６においてデジタル信号に変換された後、画像メモリ７にストアされる。
【００１１】
信号処理回路８は、まず得られた原画像信号が表す原画像を、図７０に示す各結像位置Ｑａ〜Ｑｄのシフト方向とは逆向きに、同じシフト長さだけずらして重ね合わせて、合成する。次いで、この合成画像の受光データに基づいて、単一の出力画像の輝度信号および色差信号を生成する。生成された輝度信号および色差信号は、記録媒体９に記録される。
【００１２】
図７１は、上述の合成画像のうち、各原画像の前述した基本配列パターンに対応する部分から成る部分の画素配列を示す図である。この図において、実線の矩形領域は、出力画像の輝度信号および色差信号の画素単位の成分が直接得られる実画素を示す。破線の矩形領域は、実画素の輝度信号および色差信号から輝度信号および色差信号を補間して得る仮想画素を示す。また、記号「Ｆａ」が記された実画素は、黄色およびシアンの透光領域１７を通過した光を受光する受光領域からの受光データだけが直接該当する。記号「Ｆｂ」が記された実画素は、緑およびマゼンタの透光領域を通過した光を受光する受光領域からの受光データだけが直接該当する。
【００１３】
この合成画像では、黄色およびシアンの受光データが該当する実画素と、緑およびマゼンタの受光データが該当する実画素とが、２行おきに交互に配列される。実画素と仮想画素とは水平および垂直方向Ｈ，Ｖに隣接し、各画素がそれぞれ市松状に配列される。出力画像の画素配列は、合成画像と等しく、水平および垂直方向Ｈ，Ｖの画素の配列数がそれぞれ２倍に増加し、かつ画素の配列周期が半分になる。
【００１４】
また、図７２は、高解像度モードにおける第１〜第４結像位置Ｑａ〜Ｑｄの位置関係の別の例を示す図である。図７０と図７２とを比較すると、第１位置Ｑａと第２位置Ｑｂとの位置関係は等しい。第３および第４位置Ｑｃ，Ｑｄは、第１位置Ｑａから垂直方向Ｖの同じ向きにシフト長さＰＶだけ、かつ水平方向Ｈの相反する向きにシフト長さＰＨ／２だけずれる。
【００１５】
図７３は、図７２の移動位置で撮像された４つの原画像信号から生成される高高解像度モードの合成画像の画素配列を示す図である。図面の各記号の意味は、図７１と等しい。この合成画像では、黄色およびシアンの受光データが該当する実画素と、緑およびマゼンタの受光データが該当する実画素とが、水平および垂直方向Ｈ，Ｖに沿って交互に配列される。また、実画素だけで構成される行と、仮想画素だけで構成される行とが、交互に配列される。この合成画像から得られる出力画像の画素の数は、水平方向Ｈに関して通常モードの出力画像の画素の数の２倍となり、画素１つ当たりの面積が半分となる。
【００１６】
【発明が解決しようとする課題】
上述した２種類の従来技術の撮像装置および電子スチルカメラでは、画素配列が２次元であって、色フィルタの透光領域を通過可能な色彩光が３種類以上であることから、結像位置の異なる４つの原画像信号に基づいて単一の出力画像信号を生成する。これは、上述したように原画像信号を合成すると、出力画像の各画素ごとに、４種類の透光領域を通過した色彩光を受光する受光領域からの出力が対応するので、各画素ごとに輝度信号および色差信号を個別に生成することができるようにするためである。
【００１７】
このような条件を満たす４種類の原画像信号を得るとき、イメージシフト動作は異なる２方向への移動を含むので、結像位置の移動機構が複雑になる。複雑な移動機構を有する装置は、部品点数が多いので製造コストが増大する。さらに、１枚の出力画像のために４枚分の原画像信号が必要なので、通常モードでの撮像だけを行う装置と比較すると、４倍の容量のメモリを必要とし、製造コストをさらに増大させる。
【００１８】
また、これらの装置の高解像度モードの画像光の撮像は、４枚の原画像信号を得る間に、被写体が静止し、かつ被写体と撮像装置との位置関係が移動しないことを前提条件としている。この前提条件が満たされるときは、原画像内の被写体の像に対して、４枚の原画像のイメージシフト動作に基づくずれを相殺することによって、各原画像の該像を一致させて重ね合わせて該被写体の像に対する画素数を増加させる。このとき、単一の出力画像を得るための等価撮像時間は、４回分の画像光の露光時間と、結像位置の移動のための３回分の遷移時間との和の時間である。この等価撮像時間は、銀塩フィルムのスチルカメラのいわゆるシャッタ速度と同じ意味を持つ。
【００１９】
この等価撮像時間内に被写体が動くまたは該位置関係がずれると、４枚の原画像間で、被写体の像がイメージシフト動作のシフトずれ量以上にずれる。このとき、上述した合成処理だけでは被写体の像のずれを相殺することができない。この結果、合成画像内の被写体の像にぶれが生じて、合成画像の画質が劣化する。特に、上述した２種類の撮像装置の高解像度モードでは、その等価撮像時間が露光時間の４倍以上の極めて長い時間となる。したがって手ぶれおよび被写体の動きの影響を受け易くなり、出力画像の画質が劣化しやすい。
【００２０】
上述した撮像装置でこの前提条件を満たす撮像状態は、たとえば被写体を静物とし、撮像装置を三脚に固定して使用する状態である。したがって、銀塩フィルムのスチルカメラと比較して、使用条件が極めて限定されてしまい、実際の撮像時に高解像度モードを使用することが困難となっていた。
【００２１】
本発明の目的は、単板式の撮像装置において、被写体の動きおよび手ぶれなどに影響されることなく、高解像度の出力画像を得ることができる撮像装置を提供することである。
【００２２】
【課題を解決するための手段】
本発明は、複数の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域を有し、該透光領域が２次元平面上に予め定める配列で配列される色分離フィルタと、
画像光を撮像して画像信号を出力する撮像素子であって、
色分離フィルタの透光領域に個別的に対応した受光領域が、透光領域の予め定める配列と同等の配列で２次元平面上に配列され、
各受光領域では対応した透光領域を通過した色彩光だけを受光し、
各受光領域の受光量を示す画素データから構成される画像信号を出力する撮像素子と、
撮像素子に入射される画像光の結像位置を、予め定める第１および第２移動位置に相対的に移動させる移動手段と、
移動手段における結像位置の移動が行われるたびに、予め定める露光時間だけ撮像素子における画像光の受光を許容する露光許容手段と、
撮像素子の出力に応答し、出力された２つの画像信号を撮像時の結像位置の離反量だけ位置の移動方向とは逆方向にずらして重ね合わせて、合成画像信号を生成する画像生成手段と、
画像光の撮像が開始されると、移動手段によって画像光の結像位置を第１および第２移動位置のいずれか一方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与え、次いで移動手段によって結像位置をいずれか他方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与える制御手段とを含む撮像装置を前提としている。
【００２３】
本発明の前提となる撮像装置は、単一の撮像素子でカラー画像を撮像する単板式の撮像装置である。
この撮像装置に入射された被写体からの画像光は、上述の色分離フィルタ手段を通過した後に、撮像手段に入射される。この色分離フィルタ手段を通過することによって、画像光は複数の色彩光に色分離される。
各色彩光のスペクトルは、予め定める周波数帯域内に存在し、予め定める１または複数の周波数を中心とした山形の波形を示す。色分離フィルタ手段が分離する複数の色彩光の組合わせは、たとえば、全ての色彩光を混合すると白色光となるように選ばれる。このような色彩光の組合わせは、たとえば原色系の赤、青および緑、または補色系の緑、黄、シアンおよびマゼンタである。
この色分離フィルタ手段を通過した画像光は、撮像素子の結像面に結像される。上述した画像光は、透光領域の配列方向である一方および他方方向に平行な空間軸上で連続的に輝度変化する。撮像素子は、空間軸に平行に配列される複数の受光領域でこの画像光の各色彩光成分を受光する。ゆえに、原画像は、連続的な画像光を受光領域単位で平滑化した画像となる。これは、輝度が連続して変化する画像光を受光領域単位でサンプリングしたことと等価である。前述の色分離フィルタ手段と撮像素子とは、一体的に形成されることが好ましい。
撮像素子に関連して、露光許容手段が備えられる。露光許容手段は、単一回の画像光の撮像動作中に、予め定める露光時間だけ、撮像素子の各受光領域に画像光を受光させる。上述の原画像信号の画素データは、露光時間に各受光素子が受光した色彩光の受光量を表す。撮像素子は、露光時間経過後に、各受光領域からこの画素データを或る手法で出力させる。これによって、画像光が撮像される。原画像は、原画像信号を仮想的に目視表示した画像である。
移動手段は、たとえば撮像素子の結像面の光入射側に設けられる。上述したように、入射された画像光の結像面での受光位置を予め定める２カ所の移動位置に移動させる動作を、２ポジションイメージシフト動作と称する。撮像素子は、移動手段によって結像位置が移動される度に、上述した手順で画像光を撮像して原画像信号を出力する。これによって、撮像素子は、結像位置の異なる２つの原画像信号を出力する。
画像生成手段は、これら２つの原画像信号から、上述の手法で合成画像を表す合成画像信号を生成する。さらに画像生成手段は、合成画像の各画素に対して、画素データから輝度信号および２種類の色差信号を生成して、これら信号から成る出力画像信号を生成する。さらにまた、この合成画像に基づいて、出力画像信号の補間処理を行うこともある。
【００２４】
上述したように、本発明の撮像装置は、２ポジションイメージシフト動作を行って得た２つの原画像信号から、単一の合成画像信号を生成する。このイメージシフト動作を行う撮像装置の撮像動作時において、手ぶれおよび被写体移動が合成画像の画質に与える影響の度合の目安として、等価撮像時間が考えられる。等価撮像時間は、単一の出力画像信号を得るための画像光の撮像動作の動作時間であり、銀塩フィルムのスチルカメラのいわゆるシャッタ速度と同じ意味を持つ。この等価撮像時間が大きくなるほど、合成画像およびそれに基づく出力画像は、撮像動作時の手ぶれおよび被写体移動の影響を受け易くなる。したがって、たとえば等価撮像時間の増加にほぼ比例して、手ぶれおよび被写体移動に起因する画像のぶれが大きくなる。
本発明の撮像装置の等価撮像時間は、２回分の露光時間と１回分の結像位置の遷移時間との和の時間である。前述したように、従来技術の撮像装置の等価撮像時間は、４回分の露光時間と３回分の遷移時間との和の時間である。露光時間および遷移時間が従来技術と本発明とで等しいとき、本発明の撮像装置の等価撮像時間は、従来技術の撮像装置の等価撮像時間と比較して、２回分の露光時間および遷移時間だけ短い。一般的に、遷移時間は露光時間より長いので、本発明の等価撮像時間は従来技術の等価撮像時間の半分以下になる。したがって、従来技術の撮像装置と比較して、本発明の撮像装置は、手ぶれおよび被写体移動の影響を受けにくく、合成画像の画質劣化が小さい。
また、従来技術の４ポジションイメージ動作では、基準の移動位置から各移動位置への移動方向が２方向以上あったので、結像位置の移動手段は、結像位置の変位軸を２本以上有する構造を有していた。一般的に、移動手段の構造は、変位軸が増加するほど複雑になる。本発明の撮像装置は２ポジションイメージシフト動作を行うので、結像位置は、第１移動位置から第２移動位置への１方向だけ、もしくはその逆の１方向へだけ移動する。これによって、移動手段は単一本の変位軸だけを備えれば良いので、移動手段の構造が簡略化される。これによって、移動手段の制御が簡略化され、また移動手段の製造コストが低減する。
さらに、イメージシフト手段を用いる撮像装置は、撮像素子を時分割で使用して、複数の原画像信号を得る。撮像素子自体は、複数の原画像信号をストアする構成を持たないことが多いので、画像合成手段は、初回の画像光撮像時から最終回の撮像時までの間、撮像素子がストアできない分の原画像信号をストアするためのメモリを有する。従来技術の４ポジションイメージシフト動作の撮像装置では、このメモリは、最低でも、最終回の撮像時にその前の３つ原画像信号をストアしなければならない。本件の撮像装置は２ポジションイメージシフト動作を行うので、最終回の撮像時には、単一の原画像信号だけをストアすればよい。したがって、備えるべきメモリの容量が減少される。これによって、メモリに関する製造コストが低減する。
【００３０】
また本発明は、前記色分離フィルタの透光領域は、第１〜第３色彩光をそれぞれ通過させる第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
相互に直交する予め定める一方方向および他方方向にそれぞれ平行に、一方方向に予め定める第１周期でかつ他方方向に予め定める第２周期で配列される行列状の配列であって、
第１透光領域には、一方方向に沿った第１の向き側に第２透光領域が隣接し、かつ一方方向に沿って第１の向きと反対側の第２の向き側に第３透光領域が隣接し、さらに他方方向に沿って両側に第１透光領域が隣接し、
第２透光領域には、一方方向に沿った第１の向き側に第３透光領域が隣接し、他方方向に沿って両側に第２透光領域が隣接し、
第３透光領域には、他方方向に沿って両側に第３透光領域が隣接しており、前記撮像素子は、前記各受光領域からの画素データを、他方方向に沿って隣接する２つの各受光領域毎に混合して、一括して出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期の長さの２分の３倍の長さだけ、かつ他方方向に第２の周期の長さの半分の長さだけ相互にずれた位置であることを特徴とする。
本発明に従えば、たとえば原色系の３種類の色彩光を通過させる上述の色分離フィルタ手段を有し、いわゆる２画素混合読出し型の撮像装置を用いる撮像装置では、上述した位置関係の第１および第２移動位置への斜め２ポジションイメージシフト動作を行って、合成画像信号を得ることが好ましい。
この合成画像信号は、原画像信号と比較して、一方および他方方向の空間周波数軸上の基底帯域の幅が２倍に拡大される。また、一方方向に関して色差信号対応の画素配列の配列周期が２倍となるので、原画像信号で一方方向の空間周波数軸上に表れるモアレの原点からの距離が２倍になる。これによって、光学的ローパスフィルタ挿入後の合成画像信号の基底帯域の実質の幅は、原画像信号の実質の幅と比較して、一方および他方方向の両方に関して２倍に拡大される。
この一方方向を上述した表示手段の主走査方向とすれば、モアレ除去後も解像度が２倍に向上して、合成画像の画質が向上する。これによって、２ポジションイメージシフト動作によって手ぶれおよび被写体移動に起因する画質劣化を防止するだけでなく、モアレに起因する解像度の低下を解消して、さらに画質を向上させることができる。
【００３１】
また本発明は、前記色分離フィルタの透光領域は、第１〜第３色彩光をそれぞれ通過させる第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
相互に直交する予め定める一方方向および他方方向にそれぞれ平行に、一方方向に予め定める第１周期でかつ他方方向に予め定める第２周期で配列される行列状の配列であって、
第１透光領域には、一方方向に沿った第１の向き側に第２透光領域が隣接し、かつ一方方向に沿って第１の向きと反対側の第２の向き側に第３透光領域が隣接し、さらに他方方向に沿って両側に第１透光領域が隣接し、
第２透光領域には、一方方向に沿った第１の向き側に第３透光領域が隣接し、他方方向に沿って両側に第２透光領域が隣接し、
第３透光領域には、他方方向に沿って両側に第３透光領域が隣接しており、前記画像信号は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期長さの２分の３倍の長さだけ、かつ他方方向に第２周期の長さの半分の長さだけ相互にずれた位置であることを特徴とする。
本発明に従えば、たとえば原色系の３種類の色彩光を通過させる上述の色分離フィルタ手段を有し、いわゆる全画素読出し型の撮像素子を用いる撮像装置では、上述した位置関係の第１および第２移動位置への斜め２ポジションイメージシフト動作を行って、合成画像信号を得ることが好ましい。
この合成画像信号は、原画像信号と比較して、一方および他方方向の空間周波数軸上の基底帯域の幅が２倍に拡大される。また、一方方向に関して色差信号対応の画素配列の配列周期が２倍となるので、原画像信号で一方方向の空間周波数軸上に表れるモアレの位置が原点から２倍に遠ざかる。これによって、光学的ローパスフィルタ挿入後の合成画像信号の実質的な基底帯域の幅は、原画像信号の実質的な幅と比較して、一方および他方方向の両方に関して２倍に拡大される。さらに、全画素読出し型の撮像素子を用いているので、２画素混合読出し型の撮像素子を用いたときに生じる第２周期の長さの半分の長さの逆数の空間周波数の空間周波数成分の減衰が生じない。
したがって、一方および他方方向のいずれか一方向を上述した表示手段の主走査方向とすれば、モアレ除去後も解像度が２倍に向上して、合成画像の画質が向上する。これによって、２ポジションイメージシフト動作によって手ぶれおよび被写体移動に起因する画質劣化を防止するだけでなく、モアレに起因する解像度の低下を解消して、さらに画質を向上させることができる。
【００３２】
また本発明は、前記色分離フィルタの複数の透光領域は、第１〜第３色彩光をそれぞれ通過させる第１〜第３透光領域に区分され、
該透光領域の前記予め定める配列は、
予め定める一方方向に平行に第１周期で直線状に配列された群が、一方方向と直交する他方方向に沿って第２周期で配列され、かつ他方方向に隣接する２つの群の各透光領域が一方方向に第１周期の半分の長さだけずれる配列であって、第１透光領域には、一方方向に沿った第１の向き側に第２透光領域が隣接し、かつ一方方向に沿って第１の向きと反対側の第２の向き側に第３透光領域が隣接し、
第２透光領域には、一方方向に沿った第１の向き側に第３透光領域が隣接し、さらに一方方向に第１周期の半分だけかつ他方方向に第２周期の長さだけずれた第３の向き側に、第１透光領域が隣接しており、
前記撮像素子は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から他方方向に第２の周期の長さだけ相互にずれた位置であることを特徴とする。
本発明に従えば、たとえば原色系の３種類の色彩光を通過させる上述の色分離フィルタ手段を有し、いわゆる全画素読出し型の撮像素子を用いる撮像装置では、一方方向に垂直な垂直２ポジションイメージシフト動作を行って、合成画像信号を得ることが好ましい。
この合成画像信号は、原画像信号と比較して、斜め方向の空間周波数軸上の基底帯域の幅が２倍に拡大される。この斜め方向は、空間周波数軸の原点から、一方方向に平行で第１周期の長さだけ、かつ他方方向に平行で第２周期の半分の長さだけずれた点に至るベクトルで定義される。これによって、光学的ローパスフィルタ挿入後の合成画像信号の基底帯域の実質の幅が斜め方向に関して拡大される。
したがって、一方および他方方向のいずれか一方向を上述した表示手段の主走査方向とすれば、モアレ除去後も解像度が向上して、合成画像の画質が向上する。これによって、２ポジションイメージシフト動作によって手ぶれおよび被写体移動に起因する画質劣化を防止するだけでなく、モアレに起因する解像度の低下を解消して、さらに画質を向上させることができる。
【００３３】
また本発明は、前記色分離フィルタの複数の透光領域は、第１〜第３色彩光にそれぞれ対応する第１〜第３透光領域に区分され、
該透光領域の予め定める配列は
相互に直交する予め定める一方方向および他方方向にそれぞれ平行に、一方方向に予め定める第１周期でかつ他方方向に予め定める第２周期で配列される行列状の配列であって、
第１および第２透光領域が一方方向に沿って交互に配列される直線状の第１群と、第１および第３透光領域が一方方向に沿って交互に配列される直線状の第２群とが、他方方向に沿って交互に隣接し、
かつ第１群の第１透光領域には、第３透光領域が他方方向の両側に隣接しており、
前記撮像素子は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期の長さだけ相互にずれた位置であることを特徴とする。
本発明に従えば、たとえば原色系の３種類の色彩光を通過させる上述の色分離フィルタ手段を有し、いわゆる全画素読出し型の撮像装置を用いる撮像装置では、一方方向に平行な２ポジションイメージシフト動作を行って、合成画像信号を得ることが好ましい。
この合成画像信号は、原画像信号と比較して、基底帯域の形状は変化しないが、上述した色彩光対応の画素配列の一方方向の配列周期が半分になる。これによって、原画像信号で一方方向に対応する空間周波数軸上に表れるモアレが、合成画像信号ではすべて消滅する。したがって、光学的ローパスフィルタで画像光の周波数成分を制限する必要がなく、基底帯域の実質の幅が拡大する。
さらに、この合成画像信号は、他方方向の空間周波数軸と基底帯域の境界との交点にだけ、モアレの原因となる色差信号の折返し成分の折返し周波数が残る。このモアレを除去するように基底帯域の幅を制限したとき、制限前の幅と制限後の幅とはほとんど変わらないので、他方方向に関するモアレの影響が小さいとみなせる。
この一方および他方方向のいずれか一方を上述した表示手段の主走査方向とすれば、表示手段に表示される合成画像のモアレが減少して、画質が向上する。これによって、２ポジションイメージシフト動作によって手ぶれおよび被写体移動に起因する画質劣化を防止するだけでなく、モアレに起因する解像度の低下を解消して、さらに画質を向上させることができる。
【００３４】
また本発明は、前記色分離フィルタの複数の透光領域は、第１〜第３色彩光にそれぞれ対応する第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
第１および第２透光領域が予め定める一方方向に沿って予め定める第１周期で直線状に配列された第１群と、第１および第３透光領域が一方方向に沿って第１周期で直線状に配列された第２群とが、一方方向と直交する他方方向に沿って予め定める第２周期で交互に配列され、
かつ第１群の第１透光領域には、一方方向に第１周期の長さの半分の長さだけかつ他方方向に第２周期の長さだけずれた向き側に、第３透光領域が隣接する配列であって、
前記撮像素子は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期の長さだけ相互にずれた位置であることを特徴とする。
本発明に従えば、たとえば原色系の３種類の色彩光を通過させる上述の色分離フィルタ手段を有し、いわゆる全画素読出し型の撮像装置を用いる撮像装置では、一方方向に平行な平行２ポジションイメージシフト動作を行って、合成画像信号を得ることが好ましい。
この合成画像信号は、原画像信号と比較して、基底帯域の形状は変化しないが、上述した色彩光対応の画素配列の一方方向の配列周期が半分になる。これによって、原画像信号で一方方向に対応する空間周波数軸上に表れるモアレの位置の原点からの距離が２倍に拡大され、モアレの位置が基底帯域の境界と該空間周波数軸との交点上に移動する。したがって、光学的ローパスフィルタ挿入後の基底帯域の実質の幅が拡大する。
さらに、この合成画像信号は、他方方向の空間周波数軸と基底帯域の境界との交点にだけ、モアレの原因となる色差信号の折返し成分の折返し周波数が残る。このモアレを除去するように基底帯域の幅を制限したとき、制限前の幅と制限後の幅とはほとんど変わらないので、他方方向に関するモアレの影響が小さいとみなせる。
この一方および他方方向のいずれか一方を上述した表示手段の主走査方向とすれば、表示手段に表示される合成画像のモアレが減少して、画質が向上する。これによって、２ポジションイメージシフト動作によって手ぶれおよび被写体移動に起因する画質劣化を防止するだけでなく、モアレに起因する解像度の低下を解消して、さらに画質を向上させることができる。
【００３５】
また本発明は、前記合成画像信号は、複数の画素データから構成され、
合成画像信号が表す合成画像を目視表示する目視表示領域を有する表示手段であって、
目視表示領域は、合成画像信号の各画素データを目視表示する複数の表示画素が、２次元平面上に、相互に直交する予め定める主走査方向および副走査方向にそれぞれ平行に、行列状に配列されて形成され、
主走査方向に沿う表示画素の配列数が、副走査方向に沿う表示画素の配列数よりも多くなる表示手段をさらに有し、
前記第１および第２移動位置は、合成画像の主走査方向の空間周波数のモアレを消すことができる方向に離反していることを特徴とする。
本発明に従えば、撮像装置は上述の表示手段を備える。この表示手段は、たとえば陰極線管で実現される。たとえばＮＴＳＣ方式のテレビジョンの映像信号を目視表示させる陰極線管は、蛍光面をアナログ信号の電子線で主走査および副走査方向に沿って点順次走査する。この陰極線管では、主走査方向の画素数はほぼ無限大である。また、副走査方向の画素数は、いわゆる走査線の本数と等価であるので有限であり、ＮＴＳＣ方式であれば５１２個である。
上述の撮像装置で合成画像の解像度を向上させたいとき、合成画像を構成する画素数を増加させる。このとき、合成画像信号を目視表示させる表示手段が、増加した画素を個別的に表示できる構造でなければ、信号段階で解像度を向上させてもそれを表示することができない。一般的な撮像素子は、主走査および副走査方向にそれぞれ平行に有限個の受光領域が配列されるが、副走査方向の画素数は、既に表示手段の該方向の走査線数と一致していることが多い。したがって、この撮像素子を用いた撮像装置で、２ポジションイメージシフト動作を行い画像の解像度を向上させるとき、少なくとも表示手段の目視表示領域において、表示画素が増加可能な主走査方向の解像度を向上させることが好ましい。
主走査方向の画像の解像度を向上させる手法としては、たとえば、画像信号の空間周波数平面上の信号の基底帯域内に現れるモアレのうち、主走査方向に平行な空間軸と対応した空間周波数軸上のモアレを消滅させる手法が上げられる。この手法で解像度が向上する理由を以下に示す。
ある空間軸に平行な方向の画像の解像度は、その空間軸と対応した空間周波数軸上の画像信号の基底帯域の幅と比例して向上する。この画像信号に色モアレが生じるとき、その色モアレを除去するために、たとえば撮像装置の光学系に光学的ローパスフィルタを挿入して、画像光から色モアレの原因となる空間周波数成分を減衰させる。この処理を行うと、画像から色モアレ縞は除去されるが、基底帯域の幅が色モアレが発生した空間周波数未満に制限される。この結果、画像信号の実質の基底帯域の幅が狭くなり、画像の解像度が減少する。
主走査方向の空間周波数軸上のモアレを消滅させると、そのモアレのために画像信号の基底帯域の幅を制限する必要がなくなるので、元々の基底帯域の幅を保つことができる。したがって、基底帯域の幅を広げたことと同様の効果を得ることができ、画像の解像度を向上させることができる。前述した第１および第２移動位置は、合成画像信号生成時に上述したようなモアレの消滅効果を得られるような位置関係を有するように選ばれる。
主走査方向の空間周波数軸上の色モアレは、画像上では副走査方向に平行な縞模様に対する色モアレ縞として現れる。この色モアレは、該空間周波数軸上で、その画像信号の輝度信号と色差信号とのサンプリング周波数に差異があるために、輝度信号の所望信号成分と色差信号の折返し成分とが干渉して生じる。輝度信号のサンプリング周波数は、その画像信号が表す画像を構成する全画素の配列周期に対応する。また色差信号のサンプリング周波数は、該画像の全画素のうち、或る単一の色彩光を受光する受光領域に対応する画素だけからなる配列の配列周期に対応する。これら２つのサンプリング周波数が一致するようにすると、色モアレは消滅する。
単板方式の撮像装置で得られる原画像信号において、色差信号対応の配列は、色分離フィルタ手段における或る色彩光対応の透光領域だけの配列と等価である。また、該装置の合成画像信号では、色差信号対応の配列は、仮想色分離フィルタ手段における或る色彩光対応の透光領域だけの配列と等価である。この仮想色分離フィルタは、第１および第２移動位置の離反方向および離反量だけずらして、撮像装置の色分離フィルタを２つ重ね合わせたフィルタとして仮想される。したがって、この仮想色分離フィルタ手段における該配列が、仮想色分離フィルタ手段の全透光領域の配列に近くなるほど、輝度信号と色差信号のサンプリング周波数が類似して、色モアレが生じにくくなる。したがって、第１および第２移動位置は、合成画像撮像時にこのような仮想色分離フィルタ手段を仮想することができるように設定されることが好ましい。
また本発明は、前記露光許容手段は、
前記撮像素子の受光領域における電荷の蓄積を許容または禁止する第１許容手段と、
撮像素子に入射する画像光を通過または遮断する第２許容手段とを含み、
前記制御手段は、
前記第１および第２移動位置の前記いずれか一方位置における画像光の撮像時には、第２許容手段によって画像光を通過させ、かつ前記露光時間の間だけ第１許容手段によって電荷の蓄積を許容させ、
前記いずれか他方位置における撮像時には、第１許容手段によって受光領域に電荷の蓄積を許容し、かつ露光時間の間だけ第２許容手段によって画像光を通過させることを特徴とする。
本発明に従えば、前述した撮像素子は、いわゆる２次元ＣＣＤイメージセンサで実現される。このセンサでは、予め素子に設定された光電変換時間内に色彩光が受光領域に入射すると、その色彩光を光電変換し、得られた電荷を蓄積する。光電変換時間内に蓄積された電荷は、該時間経過後に、画素データとして転送用電荷結合素子（ＣＣＤ）を介して素子外部に出力される。光電変換時間終了時から、全ての受光領域からの画素データが外部に出力されるまでの時間を転送時間と称する。この転送時間は、一般的に、前述した露光時間と遷移時間との和の時間よりも長い。
このような撮像素子には、露光制御手段の第１許容手段として、オーバフロードレインを利用した電子シャッタが含まれる。この電子シャッタは、オーバフロードレインを開放して受光素子の電荷保持を禁止させることによって成立する。このような第１許容手段を前記いずれか一方位置での１回目の画像光の撮像時に用いると、１回目の撮像時の露光時間を、撮像素子本来の光電変換時間よりも短縮させることができる。
この電子シャッタは、転送用電荷結合素子に他の画素データの電荷が含まれるときには使用できない。ゆえに、電子シャッタだけで露光時間を制御させるとき、１回目の露光終了時から２回目の露光開始までの時間は、転送時間に律速する。したがって、このとき、等価撮像時間は２回分の露光時間と転送時間の和となる。
撮像装置は、撮像素子の光入射側に、露光制御手段の第２許容手段として、たとえば機械的なシャッタ手段を有する。前記いずれか他方位置での２回目の画像光の撮像時には、電子シャッタの代わりにこの第２許容手段で撮像素子に入射する画像光自体を直接通過または遮断し、露光時間を制御する。このように露光時間を制御させると、転送用電荷結合素子が１回目の原画像信号を転送している間でも、並行して受光領域で２回目の露光を行わせることができる。このときの等価撮像時間は、２回分の露光時間と遷移時間の和の時間となるので、電子シャッタだけで露光時間を制御させるときよりも、等価撮像時間を短縮することができる。したがって、手ぶれおよび被写体移動に起因する合成画像の画質劣化をさらに防止することができる。
【００３６】
また本発明は、前記画像光を集光して、撮像素子の各受光領域上に結像させる光学系をさらに含み、
前記移動手段は、
透光性を有する平板状の屈折板と、
屈折板の両側方に、その表面が屈折板の表面にほぼ平行になるように配設される一対のバイモルフ型圧電素子であって、該素子の長手方向の一方の自由端が屈折板の一端に接合され、屈折板の他端が該素子の他方の固定端に向かって延びるように屈折板を支持し、屈折板内を通る仮想回転中心を中心として該屈折板を傾斜させる１対のバイモルフ型圧電素子と、
光学系の光軸線と屈折板の法線との成す傾斜角度を検出する検出手段と、
検出手段の出力と予め定める目標値とを比較し、その誤差量を出力する比較手段と、
比較手段の出力に応答し、屈折板の傾斜角度が予め定める目標値となるように、一対のバイモルフ型圧電素子を駆動する駆動手段とを備えることを特徴とする。
本発明に従えば、前記移動手段は、上述した構造を有する。この移動手段は、構成要素が少なく、さらに傾斜板を含む各構成部材の小型化が容易である。したがって、移動手段全体の構造を簡略化しかつ小型化することができる。また、この移動手段は、いわゆるフィードバック制御手法によって制御されるので、光軸を所望量だけ平行移動させて、確実に結像位置を変位させることができる。
【００３７】
また本発明は、前記画像光を集光して、撮像素子の各受光領域上に結像させる光学系をさらに含み、
前記移動手段は、
透光性を有し、相互に直交する仮想回転中心を有する平板状の１対の透明平板と、
各仮想回転中心を中心として、該透明平板を傾斜させる傾斜手段と、
透明平板間に介在され、変形可能であって空気の屈折率よりも大きい屈折率を有する屈折物質層と、
光学系の光軸線と各透明平板の法線との成す傾斜角度をそれぞれ検出する検出手段と、
検出手段の出力と予め定める目標角度とを比較し、その誤差量を出力する比較手段と、
比較手段の出力に応答し、傾斜角度が予め定める目標角度となるように、一傾斜手段を駆動する駆動手段とを備えることを特徴とする。
本発明に従えば、前記移動手段は、いわゆる可変頂角プリズムで実現される。この可変頂角度プリズムは、ビデオカメラの光学式手ぶれ補正装置に用いられるので、イメージシフトの移動手段と該装置のプリズムとを兼用させることができる。したがって、手ぶれ補正装置をこの撮像装置に組込むとき、装置の部品点数を減少させることができる。
【００３８】
また本発明は、移動手段における結像位置の移動を許容または禁止する移動判定手段と、
撮像素子に入射される画像光の空間周波数成分を減衰させる可変空間フィルタであって、結像位置の移動が禁止されるときには空間周波数成分を第１の減衰量だけ減衰させ、許容されるときには第２の減衰量だけ減衰させる可変空間フィルタとをさらに含むことを特徴とする。
本発明に従えば、撮像装置は、２つのモードを有し、２種類の解像度の画像信号を出力する。一方のモードでは原画像信号をそのまま出力し、他方のモードでは原画像信号から合成画像信号を生成して出力する。この２つの画像信号は、上述したように、モアレの数および位置が異なる。したがって、光学系に介在される光学的ローパスフィルタの減衰量を原画像信号に合わせると、解像度を向上させた筈の合成画像信号の基底帯域が過剰に制限されて、制限後の合成画像の解像度は制限前の合成画像の解像度よりも劣化する。逆に、減衰量を合成画像信号に合わせると、原画像信号の基底帯域の制限が不十分となって、原画像にモアレが表れる。
この撮像装置において、上述したように、結像位置の移動を許容または禁止して２つのモードを切換えると共に、光学的ローパスフィルタである空間フィルタの減衰量を変化させると、原画像および合成画像の両方の画質を充分に保つことができる。
【００３９】
【発明の実施の形態】
図１は、本発明の第１実施形態である撮像装置３１の構成を示すブロック図である。この撮像装置３１は、いわゆる単板式のカラー撮像装置である。
【００４０】
撮像装置３１は、通常モードと高解像度モードとの２つの撮像モードを有する。通常モードでは、後述する撮像素子３４の受光領域ＰＤの数と同数の画素Ｄから成る第１出力画像を得る。高解像度モードでは、いわゆるイメージシフト動作を行い、撮像素子３４の受光領域ＰＤの数以上の数の画素Ｄから成る第２出力画像を得る。第２出力画像を表す第２出力画像信号は、撮像素子３４で撮像される２つの原画像信号を合成して得られる。
【００４１】
被写体からの画像光は、光学系３３の集光レンズで集光された後、後述する色フィルタを通過して、撮像素子３４の結像面上に結像される。撮像素子３４の結像面には、複数の受光領域ＰＤが後述する予め定める配列で並べられる。
【００４２】
光学系３３には、画像光を集光する集光レンズの他に、イメージシフト機構、および可変空間フィルタが含まれる。イメージシフト機構は、高解像度モード選択時に、予め定める時間毎に、結像面上の画像光の結像位置を第１および第２結像位置にそれぞれシフト移動させる。この動作をイメージシフト動作と称する。可変空間フィルタはいわゆる光学的ローパスフィルタであり、各モードに応じた減衰量で、画像光の空間周波数成分を制限する。イメージシフト機構および可変空間フィルタの詳細な説明は後述する。
【００４３】
色フィルタは、各受光領域ＰＤに個別的に対応して予め定める色彩光だけを通過させる透光領域Ｌを、受光領域ＰＤと同数だけ有する。この透光領域Ｌは、受光領域ＰＤの配列と等しい配列で、２次元平面上に並べられる。色フィルタは、撮像素子３４の光入射側に設置され、各受光領域ＰＤに入射するべき画像光のうち、予め定める色彩光だけを通過させる。予め定める色彩光は単一の色フィルタで複数準備され、各透光領域Ｌはそれぞれ異なる色彩光に対応する。各透光領域Ｌは、個別的に画像光を色分解して、その透光領域Ｌに対応した色彩光だけを通過させる。各透光領域Ｌを通過した各色彩光は、各透光領域Ｌと対応する受光領域ＰＤにそれぞれ受光される。この色フィルタは、たとえば撮像素子３４と一体的に形成される。
【００４４】
撮像素子３４は、予め定める露光時間だけ、各受光領域ＰＤに画像光の色彩光を受光させることによって、画像光を撮像する。露光時間が経過すると、撮像素子３４は、予め定める時間毎に、各受光領域ＰＤからの受光データを第１または第２原画像信号として、前処理回路３５に導出する。第１および第２原画像信号は、それぞれ画像光が第１および第２結像位置に結像されたときに、画像光を撮像して得られる画像信号である。各原画像信号は、各受光領域ＰＤでの色彩光の受光量に対応する受光データからそれぞれ構成される。素子３４から出力された段階では、各受光データは受光量に対応するレベルのアナログ電気信号である。
【００４５】
前処理回路３５では、撮像素子３４から出力された各原画像信号を増幅した後、該信号に予め定める処理を施す。予め定める処理は、たとえばホワイトバランス補正およびγ補正である。陰極線管（ブラウン管）の電気−光変換特性は、非直線性を持っている。このため、撮像装置の受光量と陰極線管の発光強度とが比例するように、受光量に対応する受光データを補正する。この補正をγ補正と称する。前処理回路３５において処理された原画像信号は、アナログ／デジタル変換回路（以後、図面では「Ａ／Ｄ変換回路」と略称する）３６でデジタル信号に変換された後、画像メモリ３７にストアされる。
【００４６】
前述した通常モードおよび高解像度モードは、たとえば撮像装置３１に備えられる操作ボタンを撮像装置３１の使用者が操作することによって、選択される。モード切換え回路３９は、使用者の選択に応じて、選択されたモードに対応する出力を、同期信号発生回路４０に与える。
【００４７】
同期信号発生回路４０は、通常モードが選択されるとき、単一の原画像信号の撮像動作に対応する同期信号を発生させる。発生された同期信号は、駆動回路４１およびメモリ制御回路４２に与えられる。駆動回路４１は、まず、光学系３３のイメージシフト機構を予め定める第１状態に固定することによって、画像光の結像位置を予め定める第１結像位置に固定する。次いで、同期信号に応答し、予め定める時間毎に、撮像素子３４の各受光領域ＰＤから受光データを前処理回路３５に出力させる。同時に、メモリ制御回路４２は、同期信号に応答し、与えられる受光データを単一の原画像信号毎に関連させて、画像メモリ３７にストアさせる。
【００４８】
また、高解像度モードが選択されるとき、同期信号発生回路４０は、２つの原画像信号の撮像動作に対応する同期信号を発生させ、駆動回路４１およびメモリ制御回路４２に与える。駆動回路４１は、光学系３３内のイメージシフト機構を用いて、後述するイメージシフト動作を行う。これによって、素子３４では、各受光領域ＰＤが受光する色彩光が、被写体の像の中で移動前の色彩光とずれる。メモリ制御回路７２は、受光データを結像位置の異なる２つの原画像信号ごとに関連させて、画像メモリ３７にストアさせる。
【００４９】
画像メモリ３７にストアされた原画像信号は、該原画像信号の画像光の撮像時のモードに応じて、信号処理回路４４に与えられる。信号処理回路４４は、撮像時に選択されたモードに基づいて、単一または２つの原画像信号から出力画像信号の輝度信号および色差信号を演算し、さらに補間する。演算および補間された輝度信号および色差信号は、出力画像の出力画像信号として記録媒体４５にストアされる。
【００５０】
図２は、撮像素子３４の結像面の具体的な構成を示す平面図である。撮像素子３４は、いわゆる２画素混合読出し型の撮像素子である。撮像素子３４の結像面には、Ｎ×Ｍ個の受光領域ＰＤが、水平および垂直方向Ｈ，Ｖに沿って、配列周期ＰＨ，ＰＶで行列状に配列される。水平および垂直方向Ｈ，Ｖは、相互に直交する。
【００５１】
この撮像素子３４において、画像光に対する水平および垂直方向Ｈ，Ｖのサンプリング周波数ｆＨ，ｆＶは、水平および垂直方向Ｈ，Ｖの配列周期の逆数であり、以下の式で示される。
【００５２】
ｆＨ＝１／ＰＨ …（１）
ｆＶ＝１／ＰＶ …（２）
また、この結像面上に斜め方向Ｕｘ，Ｕｙを考える。斜め方向Ｕｘ，Ｕｙは、水平および垂直方向Ｈ，Ｖにそれぞれ平行で、大きさがそれぞれ配列周期ＰＨ，ＰＶである２つの基本ベクトルで規定される空間軸である。
【００５３】
斜め方向Ｕｘ，Ｕｙの配列周期ＰＵｘ，ＰＵｙは、以下の式で示される。
【００５４】
ＰＵｘ＝ＰＵｙ＝ √（ＰＨ^２＋ＰＶ^２）／２ …（３）
斜め方向Ｕｘ，Ｕｙの画像光のサンプリング周波数ｆｕｘ，ｆｕｙは、それぞれ上式の配列周期ＰＵｘ，ＰＵｙの逆数である。
【００５５】
ｆｕｘ＝ｆｕｙ＝２／｛√（ＰＨ^２＋ＰＶ^２）｝ …（４）
以後、斜め方向Ｕｘ，Ｕｙ、その配列周期ＰＵｘ，ＰＵｙおよびそのサンプリング周波数をｆｕｘ，ｆｕｙを、それぞれ「斜め方向Ｕ」、「配列周期ＰＵ」および「周波数ｆｕ」と総称する。
【００５６】
さらに、以後、水平方向Ｈに沿って直線状に並べられる１群の構成要素を「行」と称する。同様に垂直方向Ｖに沿って直線状に並べられた１群の構成要素を「列」と称する。行列状に配列された１群の構成要素において、紙面上側から下側に向かって、各行を第１行，第２行，…，第Ｎ行とする。また紙面左側から右側に向かって各列を第１列，第２列，…，第Ｍ列とする。これら構成要素のうち、第ｎ行第ｍ列に属する単一の構成要素を表すとき、その構成要素を総称して示す参照符号と共に、さらに符号（ｎ，ｍ）を付して示す。ｎ，ｍは１以上Ｎ，Ｍ以下の任意の整数である。
【００５７】
また、配列周期ＰＨ，ＰＶ，ＰＵの１周期分の長さを基準として、そのｎ倍およびｎ分の１の長さを単位とする要素には、各配列周期の符号の前後に、さらに符号「ｎ」，「／ｎ」を付して示す。また、後述するサンプリング周波数ｆＨ，ｆＶ、ｆＵを基準として、そのｎ倍およびｎ分の１の空間周波数にも、同様に、各空間周波数の符号の前後に、符号「ｎ」，「／ｎ」を付して示す。
【００５８】
図２では、受光領域ＰＤの配列パターンを８行４列の３２個の受光領域ＰＤ（１，１）〜ＰＤ（８，４）で代表させて表す。実際の撮像素子３４の結像面では、図２に示す構造が、水平および垂直方向Ｈ，Ｖに周期的に繰返される。
【００５９】
各受光領域ＰＤは、予め定める露光時間内に色彩光を受光すると、その色彩光を光電変換して電荷を得て、その電荷を蓄積する。露光時間経過後に、その蓄積された電荷を受光データとして、前処理回路３５に出力する。このとき撮像素子３４は２画素混合読出し型の撮像素子であるので、垂直方向Ｖに隣接する２つの受光領域ＰＤからの受光データを混合して混合データを作成し、その混合データを出力する。
【００６０】
受光領域ＰＤの各列の間に、垂直転送ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ；電荷結合素子）群５１ａ〜５１ｄが介在される。垂直転送ＣＣＤ群５１ａ〜５１ｄは、受光領域ＰＤの第１列〜第４列にそれぞれ隣接して配列され、隣接する列の受光領域ＰＤの数の半分の数の電荷結合素子Ｃａ〜Ｃｄを含む。たとえば垂直転送ＣＣＤ群５１ａには、電荷結像素子Ｃａ（１）〜Ｃａ（４）が含まれる。これら電荷結像素子Ｃａ〜Ｃｄは、垂直方向Ｖに直線状に配列され、各群５１ａ〜５１ｄ毎に、順次的に電気的に接続される。実際の撮像素子では、この垂直転送ＣＣＤ群５１は、受光領域ＰＤの列の数と等しい数だけ存在する。
【００６１】
受光領域ＰＤの各列の一方端部側には、水平転送ＣＣＤ群５２が設けられる。水平転送ＣＣＤ群５２は、受光領域ＰＤの列の数と等しい数の電荷結合素子Ｃｅ（１）〜Ｃｅ（４）と、出力部５３とを含んで構成される。これら電荷結像素子Ｃｅ（１）〜Ｃｅ（４）は、水平方向Ｈに直線状に配列され、かつ順次的に電気的に接続される。各電荷結像素子Ｃｅ（１）〜Ｃｅ（４）は、各垂直転送ＣＣＤ群５１ａ〜５１ｄの一方端部の電荷結合素子Ｃａ（１），Ｃｂ（１），Ｃｃ（１），Ｃｄ（１）とそれぞれ電気的に接続される。出力部５３は、水平方向Ｈに平行な他方向きＨｂ側の端部の素子Ｃｅ（１）と電気的に接続される。これら水平および垂直ＣＣＤ群５１ａ〜５１ｄ，５２は、各受光領域ＰＤからの受光データを撮像素子３４外部に転送するために用いられる。
【００６２】
撮像素子３４は２画素混合読出し型の素子であるので、単一回の画像光の撮像において、各受光領域ＰＤの画像光の露光動作を２回行い、各受光動作終了後に、各受光領域ＰＤから受光データを隣接する電荷結合素子Ｃａ〜Ｃｄに転送させるための走査動作をそれぞれ行う。この撮像時の原画像信号は、２回の走査結果を合わせて生成される。以後、単一回の画像光の撮像時の１回目ならびに２回目の撮像動作を、それぞれ奇数および偶数フィールドの撮像動作と称する。
【００６３】
各フィールドの撮像動作を以下に説明する。
【００６４】
各フィールドの撮像動作では、撮像素子３４は、まず予め定める露光時間だけ、各受光領域ＰＤに光電変換で得られる電荷の蓄積を許容する。この電荷蓄積の許容および禁止は、オーバフロードレインの閉鎖および開放によって切換えられる。撮像素子３４は、このオーバフロードレインを用いたいわゆる電子シャッタによって、露光時間だけ、各受光領域ＰＤに画像光の露光動作を行わせる。
【００６５】
前述した撮像素子３４の受光領域ＰＤは、たとえばシリコン基板上に形成されるフォトダイオードで実現される。オーバフロードレインは、この受光領域ＰＤとシリコン基板の間に設けられる。オーバフロードレインが開放されるとき、受光領域ＰＤの電荷は全てシリコン基板に掃捨てられる。これによって、受光領域ＰＤの電荷蓄積が禁止される。これは、受光領域ＰＤへの色彩光を遮断したことと等価であり、このとき電子シャッタは閉鎖されたと見なされる。オーバフロードレインが閉鎖されるとき、受光領域ＰＤの電荷がシリコン基板に掃き捨てられなくなるので、光電変換の電荷が受光領域ＰＤに蓄積される。これは、受光領域ＰＤへ色彩光が入射することと等価であり、このとき電子シャッタは開放されたとみなされる。
【００６６】
露光時間が経過すると、素子３４は電子シャッタを閉鎖して、光電変換を停止させる。各受光領域ＰＤは、次の露光動作が終了するまでに、この露光時間内に蓄積された電荷を、該露光時間内の受光量を表す受光データとして、電荷結合素子Ｃａ〜Ｃｅを介して撮像素子３４外部に転送する。受光データを各受光領域ＰＤから撮像素子３４外部に転送するための転送時間は、垂直帰線期間と水平帰線期間とに分けられる。
【００６７】
垂直帰線期間には、各受光領域ＰＤは、受光データを隣接する垂直転送ＣＣＤ群５１ａ〜５１ｄの各電荷結合素子Ｃａ〜Ｃｄのいずれか１つに転送する。撮像素子３４の受光領域ＰＤは、たとえばラスタ順で走査される。ラスタ順とは、たとえば垂直方向Ｖを主走査方向とし、水平方向Ｈを副走査方向として、受光領域ＰＤをひとつずつ順次的に点走査する順である。たとえば撮像素子３４で各受光領域ＰＤをラスタ順に走査するとき、まず第１行の受光領域ＰＤ（１，１）〜ＰＤ（１，４）が水平方向Ｈの一方向きＨａに沿って順次的に走査された後、第２行の各受光領域ＰＤが一方向きＨａに沿って走査される。このように、ラスタ順の走査では、まず行単位で各受光領域ＰＤを走査し、行単位の走査を垂直方向Ｖの一方向きＶａに沿って移動させる。
【００６８】
このとき、各ＣＣＤ群５１ａ〜５１ｄの電荷結合素子Ｃａ〜Ｃｄの数は、隣接する列の受光領域ＰＤの数の半分であるので、単一の各電荷結合素子Ｃａ〜Ｃｄには、隣接する２つの受光領域ＰＤからの受光データがそれぞれ与えられる。この受光データは、垂直帰線期間中に各電荷結合素子Ｃａ〜Ｃｄで混合されて、２つの受光データを表す電荷量の和である混合データとなる。２画素混合読出し型の撮像素子３４では、各受光データから混合データを生成し、この混合データを出力する。
【００６９】
水平帰線期間には、各電荷結合素子Ｃａ〜Ｃｄは、この混合データを、垂直方向Ｖに平行な他方向きＶｂに向かって、同一群で隣接する別の電荷結合素子Ｃａ〜Ｃｄに転送する。一方端部の電荷結合素子Ｃａ（１），Ｃｂ（１），Ｃｃ（１），Ｃｄ（１）は、該素子に転送された混合データを、さらに該素子と接続された水平転送ＣＣＤ群の各電荷結合素子Ｃｅに転送する。
【００７０】
水平帰線期間と垂直帰線期間とを除いた水平走査期間中には、水平転送ＣＣＤ群５２は、水平方向Ｈに平行な他方向きＨｂに向かって、各電荷結像素子Ｃｅ（４）〜Ｃｅ（１）に転送された混合データを順次的に転送する。素子Ｃｅ（１）に転送された混合データは、出力部５３から撮像素子３４の外部の前処理回路３５に出力される。他方向きＨｂ，Ｖｂは、水平および垂直方向Ｈ，Ｖにそれぞれ平行で、かつ一方向きＨａ，Ｖａと相反する向きである。
【００７１】
奇数および偶数フィールドでは、上述した各動作は等しいが、同一の電荷結合素子Ｃａ〜Ｃｄへ受光データを与える受光領域ＰＤの組合わせだけが異なる。或る受光領域ＰＤからの受光データは、奇数および偶数フィールドでは、垂直方向Ｖの一方および他方向きＶａ，Ｖｂに隣接する別の受光領域ＰＤからの受光データと混合される。
【００７２】
たとえば奇数フィールドでは、受光領域ＰＤ（８，１），ＰＤ（７，１）からの受光データが垂直転送ＣＣＤ群５１ａの電荷結像素子Ｃａ（４）に転送され、混合データが生成される。同様に各電荷結合素子Ｃａ（３）〜Ｃａ（１）において、受光領域ＰＤ（５，１），ＰＤ（６，１）；ＰＤ（３，１），ＰＤ（４，１）；ＰＤ（１，１），ＰＤ（２，１）からの各受光データが、それぞれ垂直転送ＣＣＤ群５１ａの電荷結合素子Ｃａ（３），Ｃａ（２），Ｃａ（１）に転送されて混合される。また、偶数フィールドでは、受光領域ＰＤ（６，１），ＰＤ（７，１）からの受光データが、電荷結合素子Ｃａ（４）に転送されて、混合データが生成される。同様に、受光領域ＰＤ（４，１），ＰＤ（５，１）；ＰＤ（２，１），ＰＤ（３，１）からの受光データがそれぞれ垂直転送ＣＣＤ群５１のＣａ（３），Ｃａ（２）に転送されて混合される。
【００７３】
このような撮像素子３４で単一回のフィールドの撮像に必要な等価撮像時間は、１回の露光時間に等しい。また単一回のフレームの撮像に必要な等価撮像時間は、奇数フィールドの露光時間、奇数フィールドの転送時間、偶数フィールドの露光時間の和、つまり２回の露光時間と１回の転送時間の和となる。
【００７４】
色フィルタについて、以下に説明する。
【００７５】
色フィルタを通過可能な複数の色彩光の組合せは、全色彩光を混合すると白色光となるように選ばれる。本実施形態の色フィルタでは、これら色彩光は、補色系の黄、マゼンタ、シアン、緑である。以後、黄、マゼンタ、シアンおよび緑の各色彩光に個別的に対応し、各色彩光だけを通過させる透光領域Ｌを、それぞれ黄、マゼンタ、シアン、緑の透光領域Ｌと称する。これら各色彩光の透光領域Ｌは、予め定める周期的な色彩光の色配列に沿うように配列され、かつ全ての透光領域Ｌの配列が撮像素子３４の受光領域ＰＤの配列と等価となるように配列される。
【００７６】
図３は、上述した各色彩光の色配列の基本配列パターン５６を示す図である。基本配列パターン５６は、透光領域Ｌを水平方向Ｈに２つ垂直方向Ｖに４つ並べた４行２列の配列であって、各色彩光の透光領域Ｌを２つずつ含む。色フィルタの各色彩光の色配列は、この基本配列パターン５６が垂直方向Ｖおよび水平方向Ｈに周期的に繰返されて形成される。
【００７７】
以後、透光領域Ｌの色配列の基本配列パターンを示す図では、実線の矩形領域で透光領域Ｌの配列位置を示し、その領域内に付す符号で該透光領域Ｌに対応して通過可能な色彩光を示す。黄、マゼンタ、緑、シアンの各色彩光は、それぞれ「Ｙｅ」，「Ｍｇ」，「Ｇ」，「Ｃｙ」で表される。
【００７８】
基本配列パターン５６では、透光領域Ｌ（１，１），Ｌ（３，１）は、黄の透光領域である。透光領域Ｌ（２，１），Ｌ（４，２）は、マゼンタの透光領域である。透光領域Ｌ（４，１），Ｌ（２，２）は、緑の透光領域である。透光領域Ｌ（１，２），Ｌ（３，２）は、シアンの透光領域である。
【００７９】
上述の色フィルタを有する撮像素子３４で得られる原画像信号について、以下に説明する。
【００８０】
撮像装置３１では、上述した色フィルタを撮像素子３４の結像面の光入射側に設置して、画像光を撮像する。撮像素子３４は、２画素混合読出し型の撮像素子であるので、原画像信号は、奇数および偶数フィールドの走査結果に基づき、以下に示す原画像が得られるように、２つの走査結果の各混合データを予め定める配列に沿って並換えて合成される。この原画像信号の混合データの並換えは、たとえば画像メモリ３７に各混合データをストアするときに、そのアドレスを以下の配列に合わせることで行われる。
【００８１】
上述した基本配列パターン５６からなる色フィルタでは、垂直方向Ｖに隣接する２つの透光領域Ｌには、異なる色彩光が対応する。各混合データは、これらの透光領域Ｌを通過した色彩光を受光する受光領域ＰＤからの受光データを混合して得られるので、２種類の色彩光の受光量の和となる。以後、或る色彩光αの透光領域Ｌを通過した色彩光を受光領域ＰＤで受光して得られる受光データを、「αの受光データ」と称する。また、２種類の色彩光α，βの受光データを混合した混合データを「αおよびβの混合データ」と称する。
【００８２】
図４は、原画像の等価的な画素Ｄの配列の基本配列パターン５７を示す図である。原画像は、原画像信号を仮想的に目視表示した画像である。原画像の画素Ｄの配列は、撮像素子３４の受光領域ＰＤの配列と相似であり、その配列周期は受光領域ＰＤの配列周期の予め定める定数倍である。以後、本明細書では、説明を簡便にするために、原画像の画素Ｄの配列周期と撮像素子３４の受光領域ＰＤの配列周期が一致していると仮定する。
【００８３】
本実施形態の撮像装置３１では、原画像の画素Ｄは、水平、垂直および斜め方向Ｈ，Ｖ，Ｕにそれぞれ配列周期ＰＨ，ＰＶ，ＰＵで周期的に配列される。原画像の画素Ｄの基本配列パターン５７は、透光領域Ｌの色配列の基本配列パターンと同様に、４行２列の８つの画素Ｄから構成される。またこの原画像の各画素Ｄに関して、受光領域ＰＤの配列および透光領域Ｌの色配列に応じて、１種類の混合データが得られる。
【００８４】
基本配列パターン５７では、画素Ｄ（１，１），Ｄ（２，１）には、黄およびマゼンタの混合データが対応する。画素Ｄ（３，１），Ｄ（４，１）には、黄および緑の混合データが対応する。画素Ｄ（１，２），Ｄ（２，２）には、シアンおよび緑の混合データが対応する。画素Ｄ（３，２），Ｄ（４，２）には、シアンおよびマゼンタの混合データが対応する。この４行２列の画素Ｄのうち、第１行および第３行の画素Ｄの混合データは、奇数フィールドでの撮像動作で得られる。第２行および第４行の画素Ｄの混合データは、偶数フィールドでの撮像動作で得られる。
【００８５】
以後、画素Ｄに関して、受光領域ＰＤからの混合データが直接得られる画素Ｄを、「対応画素」と称する。また、画素Ｄの基本配列パターンを示す図面では、実線の矩形領域で、対応画素の配列位置を表す。さらに、矩形領域内の符号で、その画素Ｄに対応する受光データまたは混合データを示す。「Ｙｅ」，「Ｍｇ」，「Ｇ」，「Ｃｙ」は、それぞれ黄、マゼンタ、緑、シアンの受光データを示す。「α＋β」はαおよびβの混合データを示し、α，βには「Ｙｅ」，「Ｍｇ」，「Ｇ」，「Ｃｙ」とのいずれかが対応する。
【００８６】
光学系３３について、以下に詳細に説明する。
【００８７】
図５は、集光レンズ６１、イメージシフト機構６２の屈折板７１、および撮像素子３４の結像面の位置関係を示す図である。
【００８８】
集光レンズ６１は、光学系３３を通過して撮像素子３４に入射される画像光が、その結像面において結像するように、画像光を集光する。イメージシフト機構６２は屈折板７１を有し、この屈折板７１は、集光レンズ６１と撮像素子３４との間に介在される。集光レンズ６１通過後の画像光の光軸６４は、屈折板７１を通り、色フィルタを通過して、撮像素子３４の結像面に至る。この画像光の光軸６４と平行な方向を、光軸方向Ｚと称する。可変空間フィルタ９０は、これらのの構成要素６１，６２の前後の任意の位置に設置される。
【００８９】
図６は、イメージシフト機構６２の具体的構成を示す斜視図である。
【００９０】
屈折板７１は、透光性を有する矩形の板状部材であり、たとえば透光性を有するガラス素材で形成される。屈折板７１は、イナーシャを小さくするために、できるだけ軽量とすることが望ましい。
【００９１】
屈折板７１の水平方向Ｈの両側方には、一対の圧電素子７３，７４が配設される。これら圧電素子７３，７４は、いわゆるバイモルフ型の圧電素子であり、短冊状の３枚の電極の間に圧電セラミックが介在される構造を有する。この圧電素子７３，７４の長手方向は、イメージシフト動作のシフト方向と平行な水平方向Ｈに平行である。各圧電素子７３，７４は片持梁構造であり、長手方向の両端部のうち、図面を記す紙面で手前側の一方端を固定端、奥側の他方端を自由端とする。圧電素子７３，７４の各電極からは、圧電素子７３，７４の固定端側から、導線８０，８１がそれぞれ引出される。この導線８０，８１は、駆動回路４１に接続される。
【００９２】
圧電素子７３，７４の自由端側の部分は、上保持板７６および下保持板７７に挟持される。上保持板７６および下保持板７７は、たとえば合成樹脂である軽量な材料によって形成される。上および下保持板７６，７７は、概略的に短冊状の部材であって、長手方向の両端に肉厚部分が形成され、水平方向Ｈから見て概略的に「コ」の字状の形状を有する。
【００９３】
上および下保持板７６，７７は、その長手方向が垂直方向Ｖと平行となるように設置され、かつその肉厚部同士を対向させて一対の圧電素子７３，７４を挟持し、同時にその中間部で屈折板７１を挟持して、サンドイッチ接合構造を形成する。各構成要素間の接合には、エポキシ系樹脂のフィルム状接着剤などが用いられる。これによって、屈折板７１は、圧電素子７３，７４の自由端側の部分に、上および下保持板７６，７７を介して固定される。屈折板７１、圧電素子７３，７４および上および下保持板７６，７７は、屈折板７１の中心を含む仮想的なＨＶ平面を対象面とする上下対称の構造を有する。圧電素子７３，７４が片持梁として動作するとき、その自由端側部分は、他の構成部材に動きを拘束されることなく自由に変位することができる。
【００９４】
また、各圧電素子７３，７４の固定端側の部分は、ステージ７８に接合されて固定される。ステージ７８は、図示しない撮像装置の筺体の所定位置に固定される。この筺体内部には、被写体からの画像光の全光束が屈折板７１を通過するように、前述の光学系３３が配設される。さらにこの筺体内部には、圧電素子７３，７４の光軸方向の位置を検出するための位置センサ８３，８４が配設される。この圧電素子７３，７４の固定手法は、これに限らず、たとえば固定端側の部分をステージ７８およびステージ７８とほぼ同形状の別部材によって挟持し、これら部材をビスで固定することで固定してもよい。
【００９５】
位置センサ８３，８４は、たとえば反射型のフォトインタラプタで実現される。位置センサ８３，８４は、鏡面加工が施された下保持板７７からの反射光を受光して下保持板の変位を検出し、その変位量から圧電素子７３，７４の変位を推測する。位置センサ８３，８４の検出結果は、駆動回路４１に与えられる。
【００９６】
このような構造を有するイメージシフト機構６２は、屈折板７１の中心を通り、垂直方向Ｖに平行に伸びる仮想基準軸線を備える構造の機構と同等に動く。このイメージシフト機構６２は、従来のイメージシフト機構と比較して、装置全体の大きさが小さい。
【００９７】
このイメージシフト機構６２でイメージシフト動作を行うとき、該機構６２は、画像光を結像させるべき結像位置に応じて仮想基準軸線を中心として屈折板７１を角変位させることによって、屈折板７１と光入射側の画像光の光軸６４ａとの成す角度を変化させる。第１および第２結像位置を画像光を結像させるときのイメージシフト機構６２が取るべき状態を、それぞれ第１および第２状態とする。第１および第２状態は、駆動回路４１からの信号の有無によって切換られる。
【００９８】
第１状態では、駆動回路４１は、圧電素子７３，７４に信号を与えない。このとき圧電素子７３，７４はＨＶ平面に対して水平な状態を保つので、屈折板７１の入射面と光入射側の光軸６４ａとが直交する。第１結像位置は、この状態の屈折板７１を通過した後の画像光の光軸６４ｂと、撮像素子３４の結像面との交点である。
【００９９】
第２状態では、駆動回路４１は、導線８０，８１を介して、圧電素子７３，７４の圧電セラミックを挟持する各電極に、予め定める信号を与える。これによって、２対の電極間に予め定める電圧が印加されるので、固定端の部分を支点として、支点から自由端までが連続的に歪み、自由端の端部を光軸方向Ｚに変位させる。屈折板７１は、この自由端の変位に応じて、仮想基準軸線を回転中心として角変位する。これによって、屈折板７１の入射面は、光入射側の光軸６４ａに対して予め定める傾斜角度だけ傾く。
【０１００】
このとき、位置センサ８３，８４は下保持板の変位から圧電素子７３，７４の変位を推測検出して、駆動回路４１に与える。駆動回路４１は、位置センサ８３，８４の検出結果と予め定める目標値とを比較して、その誤差量を検出する。駆動回路４１は、この誤差量が０となるように、圧電素子７３，７４の電極に与える信号の電圧を徴調整して、屈折板７１の傾斜角度を徴調整する。
【０１０１】
屈折板７１通過後の画像光の光軸は、光入射側の光軸６４ａの延長線から、屈折板７１の傾斜角度に対応したシフト長さだけ、仮想基準軸線にと直交する方向に平行移動する。これによって、イメージシフト機構６２が第２状態にあるとき、屈折板７１通過後の画像光の光軸は、水平方向Ｈに沿って予め定めるシフト長さだけ平行移動する。第２結像位置は、この平行移動後の光軸と撮像素子３４の結像面の交点である。したがって、第２結像位置は、第１結像位置からみて、光軸のシフト方向と同じ方向に同じシフト長さだけずれる。このような動作によって、画像光の結像位置がシフト移動する。
【０１０２】
可変空間フィルタについて、図７〜図１１を用いて、以下に説明する。該フィルタ９０は、撮像装置３１の通常および高解像度モードに応じて、第１および第２状態に切換えられ、各モードに応じた減衰量で、画像光の空間周波数成分の振幅を減衰させる。
【０１０３】
図７は、可変空間フィルタ９０の具体的構成を示す斜視図である。フィルタ９０は、３枚の複屈折板９１〜９３が、画像光の光軸６４上に、光入射側からこの順で配列されて形成される。複屈折板９１〜９３は、光入射側の画像光の光軸６４と直交する入射面および射出面をそれぞれ有する。また、屈折板９３は、光軸６４と一致した仮想回転中心軸線を中心として回転可能であり、第１および第２状態が切換えられると同時に９０度だけ角変位するように回転駆動される。
【０１０４】
以後、水平、垂直、および光軸方向Ｈ，Ｖ，Ｚの各単位ベクトルを、ベクトルｉ，ｊ，ｋと表す。また、ベクトルｉ，ｊに平行でかつベクトルｋと直交する仮想平面を、ＨＶ平面とする。このＨＶ平面は、各複屈折板９１〜９３の入射および射出面と平行である。
【０１０５】
複屈折板９１〜９３は、たとえば水晶板で実現される。図８（ａ）〜図８（ｃ）は、フィルタ９０が第１状態にあるときの各複屈折板９１〜９３の分離ベクトルＢ１〜Ｂ３をＨＶ平面に投影した状態を示す図である。この分離ベクトルＢ１〜Ｂ３の向きは、各複屈折板９１〜９３の射出面の外方で、複屈折板９１〜９３の光入射側の画像光の光軸の延長線から、各複屈折板９１〜９３から射出した画像光の光軸に向かう向きを表す。すなわち、複屈折板によって光軸が移動される向きを表す。また各複屈折板９１〜９３の分離ベクトルの大きさ、すなわち分離長さは、各複屈折板９１〜９３の光軸方向Ｚの厚さに比例して定められる。ゆえに、各複屈折板９１〜９２の厚さは、それぞれ後述する分離長さが生じるように設定される。この分離ベクトルは、前述した単位ベクトルｉ，ｊ，ｋによって、以下の式で規定される。
【０１０６】
【数１】

【０１０７】
上式から、複屈折板９１〜９３の分離ベクトルＢ１〜Ｂ３の向きは、それぞれ、反時計まわりに見て、水平方向Ｈと９０度，４５度，１３５度を成す向きであることが分かる。また、複屈折板９１〜９３の分離長さは以下のとおりである。
【０１０８】
【数２】

【０１０９】
このような複屈折板９１〜９３に対して、分離ベクトルＢ１〜Ｂ３と交差する方向に偏光する画像光が入射すると、画像光は常光と異常光とに分離される。常光は、複屈折板９１〜９３内を、入射側の光軸の延長線と平行に進行して、そのまま射出する。このとき、常光の射出側の光軸は、入射側の光軸の延長線と一致する。異常光は、複屈折板９１〜９３内で常光から分離された後に射出される。この異常光の射出側の光軸は、入射側の光軸の延長線から、ＨＶ平面上で予め定める分離ベクトルＢ１〜Ｂ３と同じ向きに同じ長さだけ平行移動される。
【０１１０】
上述した可変空間フィルタ９０が第１状態にあるとき、複屈折板９３は、分離ベクトルが図８（ｃ）に示す状態に保たれる。このとき、フィルタ９０を通過する画像光の挙動を、図９を用いて、以下に説明する。
【０１１１】
図９（ａ）〜図９（ｃ）は、第１状態の可変空間フィルタ９０において、画像光の常光および異常光が複屈折板９１〜９３を通過した位置をそれぞれ示す仮想結像面を示す図である。これら仮想結像面は、ＨＶ平面と平行であり、その各仮想結像面上に描かれる格子の空間位置は、全て一致する。この格子の軸線は、水平および垂直方向Ｈ，Ｖに、それぞれ間隔ＰＨ／２，ＰＶ／２で配列される。この格子の交点の座標を、欄外に振られた水平および垂直方向Ｈ，Ｖの各軸線の番号α、βを用いて、「座標（α，β）」と表す。以後、この座標は、常光および異常光の光軸と、その仮想結像面との交点を表すために用いる。
【０１１２】
第１状態の可変空間フィルタ９０において、フィルタ入射前の画像光の光軸と仮想結像面との交点を座標（４，３）とする。この画像光は、複屈折板９１に入射して、複屈折板９１に対する常光と異常光とに分離される。該常光の射出側の光軸と仮想結像面との交点は、座標（４，３）である。また、異常光の射出側の光軸は、入射側の光軸の延長線からみて、分離ベクトルＢ１と同じ向きに同じ長さだけ光軸が移動しており、その光軸の交点は座標（２，３）である。
【０１１３】
この１対の常光および異常光は、それぞれ座標（４，３），（２，３）から複屈折板９２に入射し、それぞれ該複屈折板９２に対する常光および異常光に分離される。複屈折板９１の常光のうちの複屈折板９２に対する常光は、そのまま複屈折板９１を通過するので、その光軸の交点は座標（４，３）である。同様に、複屈折板９１の異常光のうち、複屈折板９２に対する常光の光軸の交点は、座標（２，３）である。また、複屈折板９１の常光および異常光の複屈折板９２に対する異常光の光軸は、それぞれ座標（４，３），（２，３）の光軸の延長線からみて、分離ベクトルＢ２と同じ向きに同じ長さだけ移動される。このとき、座標（４，３）の光軸は、格子の軸線と４５度の角度を成す向きに移動されるので、射出側の光軸と仮想結像面との交点の位置は垂直方向Ｖについて格子の交点からずれる。このずれの大きさは、長さＰＨ／ＰＶであり、図９では長さＰＨ／２と等しい。またずれの向きは、座標（４，４）から座標（３，４）に向かう方向である。このような交点を（４−ＰＨ／ＰＶ，４）と表す。以後、格子の交点からずれた座標は、近接の格子の交点からのずれの大きさと、ずれの向きとを付加して表す。「−」は、光軸の交点が図９上で軸線の番号が若くなる方向に向かってずれていることを表す。座標（４，３）の射出側の光軸と同様に、座標（２，３）の射出側の光軸と仮想結像面との交点も格子の交点からずれる。その交点は、前述の手法で求められ、座標（２−ＰＨ／ＰＶ，２）と表す。
【０１１４】
この２対の常光および異常光は、同一の座標から複屈折板９３に入射する。複屈折板９２，９３の分離ベクトルＢ２，Ｂ３は相互に直交するので、複屈折板９２の常光および異常光は、それぞれ複屈折板９３に対する異常光および常光になる。したがって、座標（４，３），（２，３）の複屈折板９２の常光は、複屈折板９３の異常光となる。これによって、該複屈折板９３の異常光の光軸は、座標（４，３），（２，３）から、分離ベクトルＢ３と同じ向きに同じ長さだけ移動しており、その該交点はそれぞれ座標（４−ＰＨ／ＰＶ，２），（２−ＰＨ／ＰＶ，２）である。また同様に、座標（４−ＰＨ／ＰＶ，４），（２−ＰＨ／ＰＶ，４）の複屈折板９２の異常光は、複屈折板９３の常光となるので、そのまま複屈折板９３を通過する。ゆえに、これら複屈折板９３の常光の光軸はの交点はそれぞれ座標（４−ＰＨ／ＰＶ，４），（２−ＰＨ／ＰＶ，４）である。
【０１１５】
このように、複屈折板９１〜９３を順次的に通過した画像光は、２対の常光および異常光に分離される。これら常光および異常光の光軸と仮想結像面との交点は、水平および垂直方向Ｈ，Ｖにそれぞれ平行に、間隔ＰＨ，ＰＶずつ離れる。このように分離された画像光について、第１減衰量を表す伝達関数を求めると、画像光の空間周波数成分のうち、空間周波数±ｆＨ／２，±ｆＶ／２の成分のレスポンスがなくなるように、該空間周波数の成分の振幅が減衰されることがわかる。任意の空間周波数ｆにおけるレスポンスは、その空間周波数ｆでのコントラストと基準の空間周波数０でのコントラストとの比で定義される。
【０１１６】
また、上述した可変空間フィルタ９０が第２状態にあるとき、複屈折板９３は、第１状態から９０度角変位され、分離ベクトルＢａ３が図１０に示す状態に保たれる。この分離ベクトルＢ３ａは、前述した単位ベクトルｉ，ｊを用いて、以下のように表される。
【０１１７】
【数３】

【０１１８】
分離ベクトルＢ３ａの向きは、反時計まわりに水平方向Ｈと−１３５度を成す向きであり、第１状態での分離ベクトルＢ３と直交する。
【０１１９】
このとき、フィルタ９０を通過する画像光の挙動を、図９（ａ），（ｂ）および図１１の仮想結像面を用いて、以下に説明する。図１１の仮想結像面の各要素は、図９の仮想結像面と同様の趣旨である。
【０１２０】
第２状態の可変空間フィルタ９０において、フィルタ入射前の画像光の光軸と仮想結像面との交点を座標（４，３）とする。この画像光が、複屈折板９１，９２を通過するときの挙動は、第１状態のときと等しいので、説明は省略する。
【０１２１】
複屈折板９３には、複屈折板９２に対する座標（４，３），（２，３）の常光、および座標（４−ＰＨ／ＰＶ，４），（２−ＰＨ／ＰＶ，４）の異常光が、この同一の座標から入射する。複屈折板９２，９３の分離ベクトルＢ２，Ｂ３は相互に平行であり、分離ベクトルの向きだけが相反する。したがって、複屈折板９２の常光および異常光は、そのまま複屈折板９３に対する常光および異常光になる。したがって、座標（４，３），（２，３）の複屈折板９２の常光は、複屈折板９３の常光となるので、そのまま複屈折板９３を通過する。ゆえに、これら複屈折板の常光の光軸の交点は、座標（４，３），（２，３）である。また、座標（４−ＰＨ／ＰＶ，４），（２−ＰＨ／ＰＶ，４）の複屈折板９２の異常光は、複屈折板９３の異常光となる。これによって、該複屈折板９３の異常光の光軸は、座標（４−ＰＨ／ＰＶ，４），（２−ＰＨ／ＰＶ，４）の光軸の延長線からみて、光学ベクトルＢ３ａと同じ向きに同じ長さだけ移動しており、その交点はそれぞれ座標（４，３），（２，３）である。
【０１２２】
このように、複屈折板９２，９３の分離ベクトルＢ２，Ｂ３ａが平行で向きが相反するとき、複屈折板９２に対する常光および異常光の光軸の交点が、複屈折板９３通過後に一致する。これによって、複屈折板９２，９３での光の分離効果が打消される。したがって、複屈折板９３通過後の画像光の分離状態は、複屈折板９１通過直後の状態に戻る。
【０１２３】
このように複屈折板９１〜９３を順次的に通過した画像光は、１対の常光および異常光に分離される。この常光および異常光の光軸と仮想結像面との交点は、垂直方向Ｖに平行に、間隔ＰＶだけ離れる。このように分離された画像光に関して、第２減衰量を表す伝達関数を求めると、画像光の空間周波数成分のうち、空間周波数±ｆＶ／２の成分のレスポンスだけがなくなるように、該空間周波数成分の振幅が減衰されることが分かる。この第２減衰量と通常モードの第１減衰量とを比較すると、水平方向Ｈに関する空間周波数成分の減衰量が０になり、垂直方向Ｖに関する減衰量が変わらないことが分かる。
【０１２４】
上述の撮像装置３１の通常モードの画像光の撮像動作について、以下に詳細に説明する。
【０１２５】
通常モードでは、イメージシフト機構６２は第１状態に固定され、画像光は撮像素子３４の結像面の第１結像位置に結像する。また、可変空間フィルタ９０は第１状態に切換えられ、画像光の水平および垂直方向Ｈ，Ｖの空間周波数成分をそれぞれ空間周波数±ｆＨ／２，±ｆＶ／２未満に制限する。撮像素子３４は、この状態で入射される画像光を撮像して、第１原画像信号を出力する。このときの結像位置は、第２結像位置でもよい。
【０１２６】
信号処理回路４４は、上述の第１原画像信号だけに基づいて、単一の第１出力画像信号の輝度信号Ｙおよび２種類の色差信号（Ｂ−Ｙ），（Ｒ−Ｙ）を生成する。
【０１２７】
これら３種類の信号は、各画素Ｄ単位で求められる複数の要素からなるデジタル信号である。輝度信号および色差信号の各画素Ｄ単位の要素を輝度データおよび色差データと称する。各画素Ｄの輝度データは、該画素Ｄで受光されるべき全ての色彩光の受光データの和である。また２種類の色差データは、該全ての色彩光の受光データの差である。したがって、各画素Ｄの輝度データおよび色差データを得るには、各画素Ｄ毎に、全ての色彩光の受光データを必要とする。
【０１２８】
上述の原画像では、各画素Ｄには、２種類の受光データを混合した混合データが１種類だけ対応する。各画素Ｄの輝度データは、欠けている受光データを隣接する他の画素Ｄの混合データで補間して求められる。たとえば６行２列に属する画素Ｄ（６，２）の輝度データＹ（６，２）は、以下の式に基づいて求められる。
【０１２９】
Ｙ（６，２）＝（Ｃｙ＋Ｇ）（６，２）＋（Ｙｅ＋Ｍｇ）（６，３） …（９）
「（α＋β）（ｎ，ｍ）」，は、第ｎ行第ｍ列の画素Ｄに対応するαおよびβの混合データを示す。αおよびβは、緑、黄、シアン、マゼンタのいずれか１つであり、「Ｇ」，「Ｙｅ」，「Ｃｙ」，「Ｍｇ」と表される。
【０１３０】
色差データもまた、輝度データと同様に、欠けている受光データを隣接する他の画素Ｄの混合データで補間して求められる。このとき、原画像では、同一種類の混合データが対応する対応画素が垂直方向Ｖに２画素連続して配列されるので、各画素Ｄに対応する色差データは、画素Ｄの混合データに応じたいずれか一種類だけを直接求めることができる。たとえば画素Ｄ（６，２）の色差データ（Ｒ−Ｙ）（６，２）は、以下の式に基づいて求められる。
【０１３１】
【数４】

【０１３２】
また、画素Ｄの混合データから直接得られない他方の色差データ（Ｂ−Ｙ）（６，２）は、その画素Ｄ（６，２）の周囲の他の画素Ｄで直接求められる同種の色差データ（Ｂ−Ｙ）を用い、以下の式に基づいて補間する。
【０１３３】
【数５】

【０１３４】
以後、出力画像において、受光データから輝度データおよび色差データの少なくとも１つが直接求められる画素Ｄを、そのデータの「実画素」と称する。また、補間処理によって輝度データおよび色差データが求められる画素Ｄをそのデータの「仮想画素」と称する。
【０１３５】
この輝度信号および色差信号のサンプリング周波数は、第１出力画像信号の算出の基礎となる原画像信号の各色彩光の対応画素の配列周期から簡易的に求められる。或る空間軸方向の任意の色彩光の対応画素の配列周期の１周期分の長さは、原画像上に該空間軸に直交するように仮想され、相互に平行な２本の仮想直線であって、その色彩光の受光データまたは混合データの対応する２つ以上の対応画素の中心をそれぞれ通って隣接する仮想直線の間隔と等しい。
【０１３６】
輝度信号のサンプリング周波数は、全ての色彩光の混合データの対応画素の配列周期から求められる。この配列周期は、図４から、水平、垂直および斜め方向Ｈ，Ｖ，Ｕにそれぞれ配列周期ＰＨ，ＰＶ，ＰＵであると分かるので、サンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶ，ｆｕである。また、色差信号のサンプリング周波数は、同一種類の混合データの対応画素だけの配列周期から求められる。この配列周期は、図４から、少なくとも水平および垂直方向Ｈ，Ｖにそれぞれ配列周期２ＰＨ，４ＰＶであると分かるので、サンプリング周波数は、それぞれ空間周波数ｆＨ／２，ｆＶ／４である。
【０１３７】
出力画像信号が表す出力画像の解像度の評価手法として、空間周波数平面図を用いる。空間周波数平面図は、輝度の基底帯域および色差信号のモアレのキャリア周波数を示し、いわゆるＣＺＰ（ＣｉｒｃｕｌａｒＺｏｎｅＰｌａｔｅ）チャートに対応する。ＣＺＰチャート上に現れるモアレは、空間周波数平面に示すモアレのキャリア周波数を中心周波数とする折返し成分によって現れるモアレと同一位置に生じる。ＣＺＰチャートに関しては、「電子情報通信学会技術研究報告ＩＥ８０−９６「固体撮像装置の画像とモアレ」」に開示される。
【０１３８】
本明細書において、輝度の基底帯域の各空間周波数軸上の範囲は、簡略化手法で求めた。以下に、上述した第１出力画像信号の輝度の基底帯域を例として、簡略化手法を以下に説明する。
【０１３９】
図１２は、空間周波数平面図の第１象限に関し、水平方向Ｈの空間周波数軸に対する輝度信号および色差信号のスペクトルを示すグラフである。前述したように、輝度信号の水平方向のサンプリング周波数は空間周波数ｆＨである。
【０１４０】
第１出力画像信号を目視表示するとき必要な輝度信号の所望信号成分のスペクトルは、空間周波数０を中心とした山形の波形１０１を示す。また、輝度信号は、前述したようにデジタル信号であるので、折返し成分が存在する。この折返し成分のスペクトルは、サンプリング周波数ｆＨの０以外の整数倍の空間周波数を中心とした山形の波形１０２を示す。サンプリング周波数の０以外の整数倍の空間周波数を、キャリア周波数と称する。
【０１４１】
水平方向の空間周波数軸上における輝度の基底帯域の該空間周波数軸上の範囲は、空間周波数０を中心として、その幅が輝度信号のサンプリング周波数ｆＨの半分となる範囲Ｗ１であると規定される。輝度信号の所望信号成分のスペクトルは、この基底帯域内に含まれる。この輝度の基底帯域は、水平、垂直および斜め方向Ｈ，Ｖ，Ｕの空間周波数軸を含む空間周波数平面の第１〜第４象限内で、２次元的に求められる。この空間周波数平面は、図１２のグラフでは、横軸を含み紙面と直交する仮想平面である。
【０１４２】
色差信号の所望信号成分のスペクトルは、空間周波数０を中心として山形の波形を示す。また、色差信号もデジタルデータであるので、折返し成分が存在し、その折返し成分のスペクトルは、色差信号のサンプリング周波数ｆＨ／２の０以外の整数倍のキャリア周波数を中心とした山形の波形１０３を示す。
【０１４３】
この色差信号のサンプリング周波数は、出力画像の各色差データの実画素の配列によって定められるが、前述したように、色フィルタの色配列によっては、輝度データが全ての画素Ｄで求められても、色差データが全ての画素Ｄで求められないことがある。このとき、輝度信号と色差信号とのサンプリング周波数が異なる。この輝度信号のサンプリング周波数よりも色差信号のサンプリング周波数が小さいと、輝度の基底帯域内に色差信号のキャリア周波数が存在する。このキャリア周波数を中心とする折返し成分は、輝度信号の所望信号成分と重なり合い、干渉する。この干渉が生じると、輝度信号の所望信号成分の波形に歪みが生じ、色モアレが発生する。このように、輝度信号の所望信号成分の波形と重なり、色モアレの原因となる色差信号の折返し成分のキャリア周波数を、以後「モアレのキャリア周波数」と称する。
【０１４４】
色モアレの生じた画像は画質が劣化するので、撮像装置３１では、画質劣化を防止するために、光学系３３の可変空間フィルタ９０で、色モアレのキャリア周波数近傍の画像光の空間周波数成分を除去する。挿入される可変空間フィルタ９０の濾波帯域を、２点鎖線１０４で示す。このようなフィルタが挿入されると、色差信号の折返し成分１０３のスペクトルは破線１０５で示すレベルまで減衰される。このとき、同時に輝度信号の所望信号成分１０１のスペクトルも同じ減衰量だけ減衰されて、波形が歪む。
【０１４５】
これによって、輝度信号の所望信号成分は、色モアレのキャリア周波数未満の範囲に制限されるので、輝度の基底帯域が縮小される。或る方向の空間周波数軸上の輝度の基底帯域の幅は、その方向の空間軸上の画像の解像度に対応し、幅が広いほど解像度が大きい。したがって、出力画像の画質を向上させるには、輝度の基底帯域内に含まれるモアレの数を減少させる必要がある。
【０１４６】
また、これらキャリア周波数が輝度信号の所望信号成分の中心周波数から離れていれば、輝度信号の所望信号成分と色差信号の折返し成分との波形の重なりが小さく、さらに重なり合う位置での信号強度が小さくなる。これによって、フィルタを挿入したとき輝度信号の所望信号成分の波形の歪みが小さくなる。したがって、モアレのキャリア周波数が除去できずに残るとき、そのキャリア周波数は輝度の基底帯域の周辺部分にあることが好ましい。
【０１４７】
空間周波数平面図に現れる空間周波数成分のうち、任意の空間周波数（ｆｈ，ｆｖ）と空間周波数（−ｆｈ，−ｆｖ）との成分は、共役関係にある。
【０１４８】
Ｆ（ｆｈ，ｆｖ）＝Ｆ（−ｆｈ，−ｆｖ）＊ …（１２）
上式で、「Ｆ（ｆｈ，ｆｖ）」は、空間周波数（ｆｈ，ｆｖ）の空間周波数成分を表す。また、「Ｆ（）＊」は、該空間周波数成分の共役を示す。
【０１４９】
このことから、第３象限および第４象限に現れる輝度の基底帯域の図形およびモアレのキャリア周波数の位置は、該平面図の空間周波数軸の原点に対して、第１および第２象限の該図形および位置と点対称となる図形および位置であることがわかる。本明細書では、空間周波数平面図は、垂直方向Ｖの空間周波数ｆｖが０以上となる範囲を現す第１および第２象限だけを示す。
【０１５０】
図１３は、第１出力画像信号の輝度の基底帯域および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。上述したサンプリング周波数に基づいて決定される輝度の基底帯域１１１を、図１３では斜線を付して示す。水平、垂直および斜め方向Ｈ，Ｖ，Ｕの空間周波数軸における輝度の基底帯域１１１の範囲は、以下の式で表される。
【０１５１】
（−ｆＨ／２）≦ｆ≦（ｆＨ／２） …（１３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（１４）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域１１１は、以下の４点を頂点とする矩形領域である。
【０１５２】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
上述の基底帯域１１１内において、モアレのキャリア周波数の存在する位置は以下の８箇所である。図１３では、これら位置を白丸で表す。
【０１５３】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／４）
（ｆＨ／２，ｆＶ／４）
（−ｆＨ／２，ｆＶ／２）
（０，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
（０，ｆＶ／４）
上述した第１状態の可変空間フィルタ９０の第１減衰量は、基底帯域１１１の境界線近傍の空間周波数成分を減衰させるように定められる。上述の８箇所のモアレのキャリア周波数のうち、先の７箇所は基底帯域１１１の周辺部に位置するので、このフィルタ９０の空間周波数制限効果で除去される。これと同時に、基底帯域１１１の境界線近傍の輝度信号の所望信号成分もフィルタ９０によって減衰されるので、第１出力画像信号の基底帯域１１１の水平および垂直方向Ｈ，Ｖの空間周波数軸上の範囲は、空間周波数±ｆＨ／２，±ｆＶ／２未満の範囲と見なされる。これによって、基底帯域１１１の水平および垂直方向Ｈ，Ｖの空間周波数軸上の実質の幅が縮小されるので、第１出力画像の実質の解像度は、その分だけ基底帯域１１１から推測される理想の解像度よりも低下する。
【０１５４】
上述の撮像装置３１の高解像度モードの画像光の撮像動作について、以下に詳細に説明する。
【０１５５】
このとき、高解像度モードでは、可変空間フィルタ９０は第２状態に切換えられ、画像光の垂直方向Ｖの空間周波数成分だけを空間周波数±ｆＶ／２未満に制限する。イメージシフト機構６２は、同期信号発生回路４０からの同期信号に基づいて、予め定める撮像タイミング毎に第１および第２状態に順次的に切換えられる。
【０１５６】
図１４は、画像光の第１および第２結像位置の位置関係を示す図である。第１および第２結像位置Ｑａ１，Ｑｂ１は、前述したように、第１および第２状態のイメージシフト機構６２の屈折板７１通過後の画像光の光軸と、撮像素子３４の結像面との交点を示す。第１結像位置Ｑａ１を基準とすると、第２結像位置Ｑｂ１は、第１結像位置Ｑａ１から、受光領域ＰＤの水平方向Ｈの配列周期ＰＨの１周期分の長さＰＨだけ、水平方向Ｈに移動した位置である。前述のイメージシフト機構６２の屈折板７１の仮想基準軸線の設置状態、および第２状態の屈折板７１と光入射前の画像光の光軸６４ａとのなす傾斜角度は、第１および第２結像位置が上述の位置関係となるように、定められる。
【０１５７】
撮像素子３４は、この第１および第２結像位置Ｑａ１，Ｑｂ１に画像光が結像されたときに、該画像光を撮像して、第１および第２原画像信号を得る。信号処理回路４４は、第１および第２原画像信号から、第２出力画像信号を生成する。
【０１５８】
第２出力画像信号の生成手法を以下に説明する。回路４４は、まず第１および第２原画像信号を、空間的な撮像位置が一致するように重合わせて、合成画像信号を生成する。この合成画像信号を仮想的に目視表示した合成画像は、たとえば２枚の原画像を、その画像の基準の点を結像位置のシフト方向とは逆向きに同じシフト長さだけずらして重ね合わせた画像として仮想される。このとき、第１および第２原画像内で各結像位置Ｑａ１，Ｑｂ１に対応する点は、合成画像では一致する。
【０１５９】
本実施形態では、合成画像は、第１および第２原画像を水平方向Ｈに長さＰＨだけずらして重ね合わせた画像として仮想される。この合成画像全体の画素配列は原画像の画素配列と等しく、Ｎ×Ｍ個の画素が、水平および垂直方向Ｈ，Ｖにそれぞれ配列周期ＰＨ，ＰＶで行列状に配列される。
【０１６０】
図１５は、合成画像の等価的な画素Ｄの配列の基本配列パターン１１３を示す図である。合成画像では、水平および垂直方向Ｈ，Ｖにこの基本配列パターン１１３が周期的に繰返される。この合成画像の基本配列パターン１１３は、４行２列の８つの画素Ｄから構成され、各画素Ｄに２種類の混合データが対応する。
【０１６１】
この基本配列パターン１１３において、画素Ｄ（１，１），Ｄ（１，２），Ｄ（２，１），Ｄ（２，２）には、黄およびマゼンタの混合データ、ならびにシアンおよび緑の混合データが対応する。画素Ｄ（３，１），Ｄ（３，２），Ｄ（４，１），Ｄ（４，２）には、黄および緑の混合データ、ならびにシアンおよびマゼンタの混合データが対応する。この画素Ｄの基本配列パターン１１３の色配列は、この合成画像を直接１回の画像光の撮像で得るときに、撮像素子の結像面の光入射側に設置されるべき仮想的な色フィルタの色配列と等価である。
【０１６２】
次いで、回路４４は、この合成画像の各画素Ｄに対応する混合データから、第２出力画像信号の輝度信号および色差信号の各データを算出する。さらに、所望とする出力画像の画素配列と合成画像の画素配列とを比較し、輝度データおよび色差データが生成されない仮想画素に、実画素の輝度データおよび色差データに基づいて、各信号を補間する。
【０１６３】
合成画像では、各画素Ｄには２種類の受光データを混合した混合データが２種類ずつ対応する。このような各画素Ｄに関して、輝度データは、各画素毎に、これら混合データから直接得られる。たとえば、たとえば６行２列に属する画素Ｄ（６，２）の輝度データＹ（６，２）は、以下の式に基づいて求められる。
【０１６４】
Ｙ（６，２）＝（Ｃｙ＋Ｇ）（６，２）＋（Ｙｅ＋Ｍｇ）（６，２） …（１６）
また、合成画像では、同一種類の混合データが対応する対応画素だけから構成される行が、垂直方向Ｖに２行連続して配列される。この合成画像では、各画素Ｄに関して、画素Ｄの混合データの組合わせに応じて、２種類の色差データのうちの１種類だけが、画素Ｄの混合データから直接得られる。したがって、垂直方向Ｖに連続した２行の画素Ｄでは、同一種類の色差データだけが直接得られる。たとえば画素Ｄ（６，２）の色差データ（Ｒ−Ｙ）（６，２）は、以下の式に基づいて求められる。
【０１６５】

上述した画素Ｄ（６，２）に関して、２種類の色差データのうち、画素Ｄの混合データから直接得られない１種類の色差データ（Ｂ−Ｙ）（６，２）は、画素Ｄ（６，２）の周囲の他の画素Ｄで得られる同種の色差データ（Ｂ−Ｙ）を用い、以下の式に基づいて補間される。
【０１６６】
【数６】

【０１６７】
第２出力画像信号の輝度信号および色差信号のサンプリング周波数は、該信号の算出の基礎となる合成画像の各色彩光の対応画素の配列周期から簡易的に求められる。この配列周期の算出手法は、第１出力画像信号の該配列周期の算出手法と類似であり、該手法で原画像信号を合成画像信号に置換えた点だけが異なる。
【０１６８】
全ての色彩光の対応画素の配列について、原画像と合成画像とを比較すると、両者の該配列が等しいことがわかる。したがって、合成画像の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕの配列周期は、それぞれ原画像の配列周期と等しく、それぞれ周期ＰＨ，ＰＶ，ＰＵと見なされる。したがって、第２出力画像信号の輝度信号のサンプリング周波数は、水平、垂直および斜め方向Ｈ，Ｖ，Ｕにそれぞれ空間周波数ｆＨ，ｆＶ，ｆｕである。
【０１６９】
また、同一種類の混合データの対応画素だけの配列について、原画像と合成画像とを比較すると、水平方向Ｈに関し、原画像では１列おきに配列されていた該対応画素が合成画像では全列に配列されるので、水平方向Ｈの対応画素が増加していることがわかる。このことから、合成画像の水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，４ＰＶとみなされる。したがって、第２出力画像信号の色差信号のサンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶ／４である。
【０１７０】
図１６は、上述した第２出力画像信号の輝度の基底帯域１１５、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。第２出力画像信号の輝度の基底帯域１１５を、図１６では斜線を付して示す。
【０１７１】
水平、垂直および斜め方向Ｈ，Ｖ，Ｕの空間周波数軸における輝度の基底帯域１１５の範囲は第１出力画像信号の範囲と等しく、以下の式で表される。
【０１７２】
（−ｆＨ／２）≦ｆ≦（ｆＨ／２） …（１３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（１４）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域１１５は、以下の４点を頂点とする矩形領域である。
【０１７３】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
この輝度の基底帯域１１５内で、モアレの原因となる色差信号のキャリア周波数の存在する位置は以下の２箇所である。
【０１７４】
（０，ｆＶ／４）
（０，ｆＶ／２）
上述の光学系３３の可変空間フィルタ９０の第２減衰量は、これらキャリア周波数を中心とする色差信号の折返し成分を減衰させることができるように定められる。
【０１７５】
図１３および図１６の第１および第２出力画像信号の輝度の基底帯域１１１，１１５を比較すると、その大きさおよび形状は変化していないが、基底帯域１１１に現れる水平方向Ｈの空間周波数軸上のモアレのキャリア周波数が、基底帯域１１５では全て消滅している。したがって、可変空間フィルタ９０で、水平方向Ｈの空間周波数成分を制限する必要がなくなる。これによって、フィルタ制限後の基底帯域１１５の水平方向Ｈの空間周波数軸上の実質の幅は、周波数±ｆＨ／２以下の基底帯域１１１の範囲全域まで拡大される。
【０１７６】
したがって、第２出力画像信号の制限後の基底帯域は、第１出力画像信号の制限後の基底帯域と比較して、水平方向Ｈの空間周波数軸に沿って拡大する。これによって、第２出力画像の水平解像度は、第１出力画像の水平解像度よりも向上する。
【０１７７】
第１および第２出力画像信号は、たとえば陰極線管で実現される表示装置に目視表示される。このような表示装置では、偏平な蛍光面に、水平方向Ｈに伸びるいわゆる走査線が複数本垂直方向Ｖに並べられて、目視表示領域が形成される。表示装置は、この目視表示領域の該走査線上の蛍光塗料をアナログ信号で連続的に変化する電子線で発光させることによって、画像の各画素Ｄを表示する。このような構造の目視表示領域を有する表示装置では、画像の垂直方向Ｖの画素Ｄの数は、走査線の数で規定されるが、水平方向Ｈは連続輝度変化が可能なので、画素Ｄの数が無限大と見なされる。
【０１７８】
画像の解像度を向上させるとき、画像信号の段階で基底帯域の幅を拡大しても、その信号の空間周波数成分を表示することができる表示装置がないと、向上させた解像度の画像を表示することができない。或る空間周波数の信号成分を表示するには、その空間周波数の逆数の半分の配列周期で配列される画素Ｄが必要であるので、基底帯域の幅を拡大して解像度を向上させるほど、配列周期が小さい画素配列が必要になる。上述した表示装置では、垂直方向Ｖの画素Ｄの数は有限であるが水平方向Ｈは無限であるとみなされるので、水平方向Ｈには、画素Ｄの配列周期を短縮させやすいと考えらえる。したがって、この表示装置に表示する画像に関して解像度を向上させるとき、水平方向Ｈの解像度を向上させた方が好ましい。
【０１７９】
本発明の第２実施形態である撮像装置を以下に説明する。本実施形態の撮像装置の光学系、色フィルタ、および撮像素子以外の構成要素は第１実施形態の撮像装置３１の構成要素と等しく、同一の構成要素には同一の符号を付し、説明は省略する。本実施形態の撮像装置では、２画素混合読出し型の撮像素子３４の代わりに、撮像素子１３１が用いられる。この撮像装置は、通常モードと高解像度モードとを有し、解像度の異なる第１および第２出力画像信号を得る。
【０１８０】
図１７は、撮像素子１３１の結像面の具体的な構成を示す平面図である。この撮像素子１３１は、いわゆる全画素読出し型の撮像素子である。撮像素子１３１は撮像素子３４と類似の構造を有し、同一の構成要素には同一の符号を付し、詳細な説明は省略する。
【０１８１】
撮像素子１３１の結像面には、撮像素子３４と同様に、Ｎ×Ｍ個の受光領域ＰＤが水平および垂直方向Ｈ，Ｖにそれぞれ平行に行列状に配列される。図１７では、受光領域ＰＤの配列を８行４列の３２個の受光領域ＰＤ（１，１）〜ＰＤ（４，８）で代表させて表す。
【０１８２】
撮像素子１３１の結像面の光入射側には、後述する色フィルタが設置される。この色フィルタのＮ×Ｍ個の透光領域Ｌの配列は、受光領域ＰＤの配列と等しい。色フィルタの色配列は後述する。各受光領域ＰＤは、予め定める露光時間の間に、対応する透光領域Ｌを通過した色彩光を受光して、その受光量に対応する受光データを生成する。
【０１８３】
受光領域ＰＤの各列に隣接して、垂直転送ＣＣＤ群１３８ａ〜１３８ｄ（総称するときは「１３８」とする）が配列される。各垂直転送ＣＣＤ群１３８には、隣接する受光領域ＰＤの列の受光領域ＰＤの数と同数の電荷結像素子Ｃがそれぞれ含まれる。各群１３８の各電荷結像素子Ｃは、垂直方向Ｖに直線状に配列され、相互に電気的に接続される。この垂直転送ＣＣＤ群１３８は、受光領域ＰＤの列の数と同数だけ存在する。各列の受光領域ＰＤの数と各群１３８の電荷結合素子Ｃの数が等しいので、各受光領域ＰＤと垂直転送ＣＣＤ群１３８の電荷結像素子Ｃとは、１対１で対応する。
【０１８４】
結像面の受光領域ＰＤの列の一方端部側には、各垂直転送ＣＣＤ群１３８の一方端部の電荷結合素子Ｃａ（１），Ｃｂ（１），Ｃｃ（１），Ｃｄ（１）と電気的に接続された水平転送ＣＣＤ群５２が設けられる。水平転送ＣＣＤ群５２の一方端部には、出力部５３が取付けられる。
【０１８５】
各受光領域ＰＤの受光データは、垂直帰線期間中に、該受光領域ＰＤに隣接して個別的に対応する垂直転送ＣＣＤ群１３８の電荷結像素子Ｃに転送される。該電荷結合素子Ｃに転送された受光データは、他の受光データと混合されることなく、水平帰線期間内に、垂直転送ＣＣＤ群１３８の各電荷結像素子Ｃを、垂直方向Ｖの他方向きＶｂに向かって順次的に転送される。受光データが該群１３８ａ〜１３８ｄの一方端部の電荷結合素子Ｃａ（１）〜Ｃｄ（１）に転送されると、次いで、受光データはその電荷結合素子Ｃａ（１）〜Ｃｄ（１）に接続された水平転送ＣＣＤ群５２の電荷結合素子Ｃｅ（１）〜Ｃｅ（４）に転送される。水平転送ＣＣＤ群５２は、水平帰線期間と垂直帰線期間を除いた水平走査期間中に、受光データを水平方向Ｈの他方向きＨｂに向かって順次的に転送し、出力部５３から前処理回路３５に出力する。
【０１８６】
このような動作によって、撮像素子１３１からは、受光データが個別的に導出される。単一回の撮像において出力される原画像信号は、Ｎ×Ｍ個の受光データから構成される。
【０１８７】
撮像素子１３１の受光領域ＰＤおよび各ＣＣＤ群１３８，５２は、たとえばシリコン基板上に一体的に形成される。この受光領域ＰＤとシリコン基板との間には、オーバフロードレインが設けられる。撮像素子１３１は、オーバフロードレインを用いた電子シャッタによって露光時間の制御を行うことができる。
【０１８８】
本実施形態の撮像装置では、画像光の撮像時の露光時間を、撮像素子１３１の電子シャッタと、機械的なシャッタ機構１４１とを併用して制御する。
【０１８９】
撮像装置の光学系３３ａには、集光レンズ６１，イメージシフト機構６２、および可変空間フィルタ９０の他に、さらにシャッタ機構１４１が備えられる。シャッタ機構１４１は、上述の構成要素６１，６２，９０および撮像素子１３１のうちの、間隔をあけて隣接するいずれか２つの構成要素の間に介在される。シャッタ機構１４１は、いわゆるレンズシャッタであり、画像光の遮断および通過の切換えと、光学系３３ａの絞りとを単一の機構で兼用する。
【０１９０】
図１８（ａ）は、シャッタ機構１４１の機械的構成を示す斜視図である。図１８（ｂ）は、シャッタ機構１４１のシャッタ板１４３を光軸方向Ｚから見た図である。２つの図を併せて説明する。
【０１９１】
円板状のシャッタ板１４３は、画像光の光軸６４上に、その中心軸線が光軸６４と一致するように垂直に介在される。シャッタ板１４３の中央部には、画像光を通過させる円形の開口部１４５が設けられる。シャッタ板１４３は、複数のシャッタ羽根１４４、駆動ピン１４６、検出板１５４を含む。
【０１９２】
シャッタ羽根１４４は、シャッタ板１４３の開口部１４５の内径を変化させて、シャッタ機構１４１の開口量を調整するために設けられる。シャッタ機構１４１の開口量は、シャッタ板１４３のうちシャッタ羽根１４４で塞がれていない開口部１４５の面積に対応する。シャッタ羽根１４４は、駆動ピン１４６の変位に応じて、開口部１４５の内径を縮小する。
【０１９３】
シャッタ機構１４１では、このシャッタ羽根１４４を駆動して、開口部１４５を完全に塞ぐことによって、シャッタを閉塞し、画像光を遮断する。また、シャッタ羽根１４４を閉塞時とは逆向きに駆動し、開口部１４５の内径が予め定める長さとなったところで停止させることによって、予め定める絞り量でシャッタ機構１４１を開放する。また、この閉塞および開放動作を微少量ずつ行うことで、シャッタ機構１４１の開放時の絞り量を調整する。
【０１９４】
駆動ピン１４６には、シャッタ機構１４１の閉塞動作の動力源となるバネ１４９の一方端が接続される。このバネ１４６の他方端は、撮像装置のいずれかの固定部材に固定される。また、駆動ピン１４６には、光軸方向Ｚに貫通する溝１５０が設けられる。この溝１５０には、後述する駆動装置の動力源１５１によって駆動される駆動軸１５２が挿通される。動力源１４７は、たとえばモータで実現され、シャッタ羽根１４４の開閉動作の速度制御に用いられる。
【０１９５】
シャッタ羽根１４４は、駆動ピン１４６が矢符１４７が示すシャッタ板１４３の円周方向に沿って変位すると、開口部分１４５の面積を縮小または拡大するように変位する。バネ１４９は、駆動ピン１４６に対し、シャッタ羽根１４４が開口部１４５を塞ぎ、シャッタ機構１４１が閉塞される向きに、常にバネ力を及ぼす。シャッタ機構１４１の開放および閉塞は、動力源１５１の駆動軸１５２の変位によって行われる。開放動作時には、駆動軸１５２を駆動ピン１４６にバネ力が及ぼされる向きと逆向きに駆動させることによって、バネ力に逆らってシャッタ羽根１４４を開放する。閉塞動作時には、バネ力が及ぼされる向きと同じ向きに駆動軸１５２を駆動させることによって、動力源１５１からの力とバネ力との合力によってシャッタ羽根１４４を閉塞させる。この開放および閉塞動作は、後述する駆動装置によって制御される。
【０１９６】
検出板１５４は、シャッタ機構１４１の開口量を検出する為に用いられる。検出板１５４は、長手方向が円弧状に弯曲した細長い板状部材であり、その一方端部がシャッタ羽根１４４の駆動ピン１４６に連結され、シャッタ羽根１４４が変位駆動される時に連動して動く。検出板１５４には、その長手方向に沿って形成され、光軸方向Ｚに貫通し、かつ一方端部から反対側の他方端部に至るほど幅が狭くなる溝１５５が形成される。
【０１９７】
この検出板１５４の溝１５５を挟んで、光源１５７と受光センサ１５８とが、互いに対向して設置される。光源１５７は常に予め定める光量の光を出力する。受光センサ１５８は、光源１５７からの光を、検出板１５４の溝１５５を介して受光し、その受光量に応じてレベル変化する出力を導出する。受光センサ１５８が受光する光の光量は、光源１５７と受光センサ１５８とを結ぶ仮想線上の溝１５５の幅に比例して減少する。検出板１５４は、駆動ピン１４６に連動して変位するので、その変位量はシャッタ機構１４１の開口量の変化に対応する。シャッタ羽根１４４が絞られ開口量が減少するほど、仮想線上の溝１５５の幅が狭まり、光源１５７からの光が検出板１５４に遮られるので、受光センサ１５８に入射する光の光量が減少する。
【０１９８】
このシャッタ機構１４１は、通常モードでは常に開放状態を保つ。このとき画像光の露光時間は、電子シャッタの開放および閉塞動作だけで制御される。
【０１９９】
高解像度モードでは、１回目の画像光の撮像時の露光時間は電子シャッタによって規定される。２回目の画像光の撮像時の露光時間は、シャッタ機構１４１によって規定される。この高解像度モードでは、１回目の画像光の撮像時には、画像光は第１結像位置に結像され、２回目の画像光の撮像時には、画像光は第２結像位置に結像されるものとする。
【０２００】
図１９は、高解像度モードの撮像装置において、画像光の撮像時の撮像装置の各構成要素の動作タイミングを示すタイミングチャートである。図１９（ａ）は、シャッタ機構１４１の開口量を示し、開口量が最大レベルｍａｘであるときシャッタ機構１４１は開放され、最小レベルｍｉｎであるとき閉塞されることを表す。図１９（ｂ）は、オーバフロードレインの開放および閉塞状態の切換えタイミングを示し、ハイレベルであるとき該ドレインが閉塞され、ローレベルであるとき開放されることを表す。オーバフロードレインの開放および閉塞は、電子シャッタの閉塞および開放に対応する。図１９（ｃ）は、電荷読出しパルスの印加タイミングを示す。図１９（ｄ）は、撮像素子１３１の露光動作の動作タイミングを示し、ハイレベルである時だけ、画像光の露光が行われる。図１９（ｅ）は、イメージシフト機構６２の切換えタイミングを示し、ローレベルのとき該機構６２が第１状態を保ち、ハイレベルのとき第２状態を保つことを表す。図１９（ｆ）は、撮像素子１３１の各ＣＣＤ群の転送タイミングを示す。このタイミングチャートを用いて、本実施形態の高解像度モードの撮像装置における画像光の撮像動作を以下に説明する。
【０２０１】
画像光の撮像が行われていないとき、シャッタ機構１４１は開放され、画像光が撮像素子１３１に入射している。同時に、オーバフロードレインが開放されて、電子シャッタが閉塞される。これによって、撮像素子の受光領域ＰＤでの電荷の蓄積が禁止される。
【０２０２】
時刻ｔａから、１回目の画像光の撮像動作が開始される。まず、シャッタ機構１４１が開放されたまま、時刻ｔａからオーバフロードレインが閉塞される。これによって、各受光領域ＰＤで電荷の蓄積が許容され、１回目の露光動作が開始される。
【０２０３】
時刻ｔａから、１回目の露光動作の露光時間ＷＴ１が経過すると、時刻ｔｂで撮像素子の各受光領域ＰＤに対して、電荷読出しパルスが印加される。該パルスが印加されると、受光領域ＰＤに蓄積された電荷が、受光データとして、個別対応する垂直転送ＣＣＤ群１３８の電荷結合素子Ｃに転送される。この第１の転送動作に要する時間はナノ秒（ｎｓ）のオーダである。該パルス印加の直径に、オーバフロードレインが開放されて電子シャッタが閉塞される。これによって１回目の露光動作が終了する。以後、画像光は結像面に入射するが、受光領域ＰＤの電荷の蓄積が禁止される。
【０２０４】
また、時刻ｔｂから、イメージシフト機構６２のイメージシフト動作が開始される。時刻ｔｂから遷移時間ＷＴ２が経過すると、画像光の結像位置が第２結像位置に移動する。この遷移時間ＷＴ２はミリ秒のオーダであり、前述した第１の転送動作の時間と比較して、極めて長い。遷移時間ＷＴ２が経過すると、時刻ｔｃから２回目の画像光の撮像動作が開始される。
【０２０５】
さらに、時刻ｔｂでの受光データの転送が終了すると、各ＣＣＤ群１３８，５２は、受光データを外部の回路３５に出力するための第２の転送動作を開始する。この第２の転送動作のための転送時間ＷＴ３は遷移時間ＷＴ２よりも長いので、第２の転送動作は、２回目の画像光の撮像動作と並行して実施される。
【０２０６】
２回目の撮像動作が開始されると、まず時刻ｔｃでオーバフロードレインが閉塞される。これによって、各受光領域ＰＤで電荷の蓄積が許容され、２回目の露光動作が開始される。ドレイン閉塞の後に、シャッタ機構１４１の閉塞動作が開始される。２回目の撮像動作時の露光時間ＷＴ４は、第１および第２撮像動作時に同一光量の画像光が撮像装置に入射されると仮定したとき、露光時間ＷＴ４の全露光量が、１回目の撮像動作時の露光時間ＷＴ１の全露光量と同量になるように設定される。このシャッタ機構１４１の詳細な閉塞動作は後述する。
【０２０７】
シャッタ機構１４１は、時刻ｔｃから露光時間ＷＴ４が経過した時刻ｔｄで完全に閉塞され、結像面に入射すべき画像光を遮断する。これによって、２回目の露光動作が終了する。このときオーバフロードレインが閉塞されているので、露光時間内に蓄積した電荷は、そのまま受光領域ＰＤ内に保持される。この終了時刻ｔｄには、まだ１回目の画像光撮像時の第２の転送動作が終了していないので、各ＣＣＤ群１３８，５２は、そのまま１回目の第２の転送動作を続ける。
【０２０８】
１回目の第２の転送動作が終了すると、次いで、２回目の画像光の撮像動作での受光データを、外部の前処理回路３５に導出する。具体的には、時刻ｔｅで１回目の第２の転送動作が終了すると、まず各受光領域ＰＤに対して電荷読出しパルスが印加されて２回目の第１の転送動作が行われ、続いて２回目の第２の転送動作が行われる。第１の転送動作終了後であれば、任意の時点でシャッタ機構１４１を開放することができる。２回目の第２の転送動作でも、転送時間ＷＴ３内に全ての受光データが外部に出力されるので、時刻ｔｅから転送時間ＷＴ３経過後の時刻ｔｆで、画像光の撮像動作を終了する。
【０２０９】
上述したシャッタ機構１４１の閉塞動作を以下に詳細に説明する。
【０２１０】
図２０は、シャッタ機構１４１の駆動装置の電気的構成を示すブロック図である。シャッタ機構１４１の駆動装置は、前述した動力源１５１，受光センサ１５８の他に、目標値設定回路１７１、比較回路１７２、増幅回路１７３を含んで構成される。
【０２１１】
シャッタ機構１４１の閉塞動作での開口量の経時変化は、前述した１回目および２回目の撮像動作での露光時間内の露光量が等しくなるように予め設定される。目標値設定回路１７１は、この開口量の経時変化に対応してシャッタ羽根１４１を動作させるための基本駆動パターン信号を生成して、比較回路１７２に与える。比較回路１７２には、さらに前述した受光センサ１５８からの出力信号が与えられる。比較回路１７２は、基本駆動パターン信号と受光センサ１５８の出力信号との差分を演算して、増幅回路１７３に与える。増幅回路１７３は、該差分を表す比較回路１７２の出力信号を、予め定める増幅率で増幅して、動力源１５１の駆動信号を生成する。動力源１５１は、この駆動信号に応答して動作し、シャッタ機構１４１のシャッタ羽根１４４を駆動する。このような手法によって、シャッタ機構１４１は画像光を通過または遮断する。
【０２１２】
上述の撮像装置の高解像度モードの撮像動作の等価撮像時間について、以下に説明する。
【０２１３】
第１実施形態で説明したように、等価撮像時間は、単一の出力画像信号生成のための画像光の撮像動作のうち、最初の画像光の撮像動作の露光開始から、最後の画像光の撮像動作の露光終了までの時間である。この時間が長いほど、出力画像の画質が被写体の動きおよび装置の手ぶれの影響を受けやすくなり、画質が劣化する。
【０２１４】
図２１は、従来技術の４ポジションイメージシフトを行う画像撮像装置における高解像度モードの等価撮像時間を説明するためのタイミングチャートである。この撮像装置は、図１７に示す全画素読出し型の撮像素子１３１を有し、電子シャッタによって露光時間を制御するものとする。この撮像装置の高解像度モードでは、４つの原画像信号から、単一の出力画像信号を生成するので、４回露光動作を行う。各露光動作が終了すると、受光データの転送動作が行われる。２回目以後の露光動作は、その終了タイミングが前回の撮像動作の第２の転送動作の終了タイミング以後になるように行われる。これは、以下の理由からである。
【０２１５】
電子シャッタの閉塞動作は、具体的には受光素子ＰＤから電荷結合素子Ｃへの電荷を転送し、その直径にオーバフロードレインを閉塞する動作で実現される。ゆえに、２回目以後の撮像動作で電子シャッタを閉塞するとき、その前の撮像動作時の受光データと新たな受光データとが混合されないように、撮像素子１３１の各ＣＣＤ群１３８は、受光データの第２の転送動作を終了して各電荷結合素子Ｃが新たな受光データを受けることができる状態にしておく。したがって、露光動作の終了タイミングを、第２の転送動作の終了タイミング以後に設定する。
【０２１６】
このようなことから、従来技術の撮像装置の等価撮像時間Ｔｅｓ０は、１回目の露光時間Ｔｓと１〜３回目の転送時間Ｔｔとの和である。
【０２１７】
Ｔｅｓ０＝Ｔｓ＋３・Ｔｔ …（１９）
図２２は、本実施形態の撮像装置において、電子シャッタだけの露光制御を行うときの、高解像度モードの等価撮像時間を示すタイミングチャートである。１回目および２回目の露光動作の終了タイミングを、電子シャッタだけで制御するとき、上述の従来技術の撮像装置と同様の理由から、２回目の露光動作の終了タイミングを、１回目の第２の転送動作終了後に設定する。したがって、このときの等価撮像時間Ｔｅｓ１は、１回目の露光時間Ｔｓと１回目の転送時間Ｔｔとの和である。
【０２１８】
Ｔｅｓ１＝Ｔｓ＋Ｔｔ …（２０）
図２３は、本実施形態の撮像装置において、電子シャッタとシャッタ機構１４１とを併用して露光制御を行うときの、高解像度モードの等価撮像時間を示すタイミングチャートである。シャッタ機構１４１は撮像素子１３１の第２の転送動作とは無関係に画像光を遮断するので、このときには、上述の例と異なり、２回目の露光動作の動作タイミングと１回目の第２の転送動作の動作タイミングとが無関係になる。ゆえに、２回目の露光動作は、イメージシフト機構６２の遷移動作終了後であればいつでも実施できる。したがって、このときの等価撮像時間Ｔｅｓ２は、１回目および２回目の露光時間が等しいと仮定すると、１回目および２回目の露光時間Ｔｓと遷移時間Ｔｄとの和である。
【０２１９】
Ｔｅｓ２＝２・Ｔｓ＋Ｔｄ …（２１）
表１は、転送時間Ｔｔが（１／３０）秒、露光時間Ｔｓが（１／２４０）秒、および遷移時間Ｔｄが（１／２４０）秒または（１／４８０）秒であるときの、高解像度モードの等価露光時間Ｔｅｓ０，Ｔｅｓ１，Ｔｅｓ２を示す。
【０２２０】
【表１】

【０２２１】
上述の表から、遷移時間Ｔｄが（１／２４０）秒のとき、本実施形態の撮像装置の電子シャッタだけの等価撮像時間Ｔｅｓ１は、従来技術の等価撮像時間Ｔｅｓ０の約１／３に短縮される。またシャッタ併用の等価撮像時間Ｔｅｓ２は、等価撮像時間Ｔｅｓ０の約１／８に短縮される。さらに遷移時間Ｔｄが（１／４８０）秒に短縮されると、シャッタ併用の等価撮像時間Ｔｅｓ２はさらに短縮されて、等価撮像時間Ｔｅｓ０の約１／１２になる。これによって、本実施形態の撮像装置でシャッタを併用するとき、従来技術の撮像装置と比較して、高解像度モードの等価撮像時間が大きく短縮されることがわかる。したがって、本実施形態の撮像装置を用いると、被写体の移動および手ぶれの影響が少ない第２出力画像を得ることができる。
【０２２２】
また、上述の第１実施形態の撮像装置３１の高解像度モードの等価撮像時間Ｔｅｓ３は、図２４から、１回目の第１フィールドの露光時間Ｔｓと１回目の第２フィールドならびに２回目の第１および第２フィールドの転送時間Ｔｔ＊との和であることがわかる。
【０２２３】
Ｔｅｓ３＝Ｔｓ＋３・Ｔｔ＊ …（２２）
この撮像装置３１にシャッタ機構１４１をさらに備えさせ、電子シャッタと併用させたとき、その高解像度モードの等価撮像時間Ｔｅｓ４は、図２５から、１回目の第１フィールドおよび２回目の第２フィールドの露光時間Ｔｓと、１回目の第１フィールドおよび１回目の第２フィールドの転送時間Ｔｔ＊と、２回目の遷移時間Ｔｄとの和である。この等価撮像時間Ｔｅｓ４は、第１実施形態の等価撮像時間Ｔｅｓ３よりも短縮されていることがわかる。
【０２２４】
Ｔｅｓ４＝２・Ｔｓ＋２・Ｔｔ＊＋Ｔｄ …（２３）
なお、フィールドの転送時間Ｔｔ＊は、上述のフレームの転送時間Ｔｔの半分である。
【０２２５】
色フィルタは、前述の撮像素子１３１の光入射側に取付けられる。該色フィルタは、撮像素子１３１の受光領域ＰＤと同数の透光領域Ｌを有し、該透光領域Ｌを２次元平面上に受光領域ＰＤと等価な配列で並べて形成される。ゆえに、透光領域Ｌの数はＭ×Ｎ個であってＭ行Ｎ列の行列状に配列され、透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶである。各透光領域Ｌは、それぞれ画像光を色分解して、予め定める第１〜第４色彩光のいずれか１つだけを通過させる。第１〜第４色彩光は、補色系の黄、マゼンタ、緑、シアンの４色である。
【０２２６】
図２６は、上述の色フィルタの透光領域Ｌの色配列の基本配列パターン１８１を示す図である。この基本配列パターン１８１は、４行２列に配列される８つの透光領域Ｌからなり、同種の透光領域Ｌを２つずつ含む。この基本配列パターン１８１において、透光領域Ｌ（１，１），Ｌ（３，２）は、黄の色彩光を通過させる黄の透光領域Ｌである。透光領域Ｌ（２，１），Ｌ（４，２）は、マゼンタの透光領域Ｌである。透光領域Ｌ（３，１），Ｌ（１，２）は、シアンの透光領域Ｌである。透光領域Ｌ（４，１），Ｌ（２，２）は、緑の透光領域Ｌである。
【０２２７】
上述の撮像装置の通常モードの画像光の撮像動作を以下に説明する。このときの撮像装置の各構成要素の挙動は、第１実施形態の撮像装置３１の通常モードでの挙動と類似し、同一の動作に関する詳細な説明は省略する。
【０２２８】
通常モードで画像光を撮像するとき、光学系３３ａのイメージシフト機構６２および可変空間フィルタ９０は、予め定める第１状態に固定される。また、シャッタ機構１４１は開放される。画像光は、この光学系３３ａを介して入射され、第１結像位置に結像される。撮像素子１３１は、画像光を撮像して、原画像信号を出力する。原画像信号は、前処理回路３５で処理された後にデジタル信号に変換されて、画像メモリ３７に個別的にストアされる。
【０２２９】
この原画像信号の画素Ｄの配列および各画素Ｄと受光データとの対応関係は、色フィルタの透光領域Ｌの画素配列および色配列と等価である。すなわち、原画像の画素Ｄの基本配列パターンは、図２６の透光領域Ｌの色配列の基本配列パターン１８１と等しく、４行２列に配列された８個の画素Ｄから成り、各画素Ｄはパターン１８１内で対応する透光領域Ｌを通過する色彩光の受光データだけを有する。
【０２３０】
信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。たとえば第６行第２列の画素Ｄ（６，２）の輝度データＹ（６，２）、色差データ（Ｒ−Ｙ）（６，２），（Ｂ−Ｙ）（６，２）は、以下の式で示される。画素Ｄ（６，２）は、緑の受光データだけの対応画素である。
【０２３１】
【数７】

【０２３２】
これら各信号のデータＹ、（Ｒ−Ｙ），（Ｂ−Ｙ）は、各画素Ｄ毎に個別的に直接求めることができる。ゆえに、原画像の対応画素は、全て輝度データおよび２種類の色差データの実画素となるので、第１出力画像の実画素の数および配列は、原画像の対応画素の数および配列と等しい。
【０２３３】
原画像の全ての対応画素の配列は、透光領域Ｌの配列と等価であるので、該配列の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕの配列周期は、図２６からそれぞれ周期ＰＨ，ＰＶ，ＰＵとわかる。このことから、この第１出力画像信号の輝度信号の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕのサンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶ，ｆｕとみなされる。また、同一種類の対応画素だけの配列は、透光領域Ｌの色配列と等価であるので、該配列の水平および垂直方向Ｈ，Ｖの配列周期は、図２６から、それぞれ周期ＰＨ，２ＰＶとわかる。このことから、色差信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶ／２とみなされる。
【０２３４】
図２７は、上述した第１出力画像信号の輝度の基底帯域１８２、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域１８２の水平、垂直および斜め方向Ｈ，Ｖ，Ｕの空間周波数軸上の範囲は、第１実施形態の撮像装置３１の第１出力画像信号の輝度の基底帯域１１１の各範囲と等しい。
【０２３５】
（−ｆＨ／２）≦ｆ≦（ｆＨ／２） …（１３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（１４）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域１８２は、以下の４箇所を頂点とする矩形領域である。
【０２３６】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
この基底帯域１８２内に現れる色差信号のモアレのキャリア周波数は、以下の３箇所に存在する。
【０２３７】
（−ｆＨ／２，ｆＶ／４）
（０，ｆＶ／２）
（ｆＨ／２，ｆＶ／４）
この３箇所のキャリア周波数は、全て黄、シアン、マゼンタおよび緑の受光データの対応画素の配列周期から得られる。
【０２３８】
全画素読出し型の撮像素子１３１を用いる本実施形態の撮像装置の第１出力画像信号と、２画素混合読出し型の撮像素子３４を用いる第１実施形態の撮像装置３１の第１出力画像信号とを、この空間周波数平面図を用いて比較する。本実施形態の第１出力画像信号は、第１実施形態の該信号と比較して、基底帯域１８２の大きさおよび形状は等しいが、水平方向Ｈの空間周波数軸上にモアレのキャリア周波数が存在しない。したがって、水平方向Ｈの空間周波数成分を減衰させることなく、空間周波数±ｆＨ／２まで保つことができるので、第１実施形態の第１出力画像と比較して水平方向Ｈの解像度を向上させることができる。
【０２３９】
また、第１実施形態の第１出力画像信号に現れるモアレのキャリア周波数のうち、（０，ｆＶ／４），（ｆＨ／２，０），（−ｆＨ／２，０），（ｆＨ／２，ｆＶ／２），（−ｆＨ／２，ｆＶ／２）が消えているので、これらを中心周波数とする折返し成分に起因する色モアレが消滅する。したがって、色モアレが少なくなり、画像の画質が向上する。
【０２４０】
上述の撮像装置の高解像度モードの画像光の撮像動作を以下に説明する。このときの撮像装置の各構成要素の挙動は、第１実施形態の撮像装置６１の高解像度モードでの挙動と類似し、同一の動作に関する詳細な説明は省略する。
【０２４１】
画像光を撮像するとき、可変空間フィルタ９０は、予め定める第２状態に固定される。イメージシフト機構６２は、画像光の結像位置を、水平方向に長さＰＨだけ離れた前述の第１および第２結像位置Ｑａ１，Ｑｂ１に移動させる。撮像素子１３１は、この光学系３３ａを介して入射した画像光を、図１９に示す手順で撮像して、第１および第２原画像信号を出力する。各原画像信号は、前処理回路３５で処理された後にデジタル信号に変換されて、画像メモリ３７に関連してストアされる。
【０２４２】
信号処理回路４４は、まず第１および第２原画像信号を撮像時の結像位置の移動方向とは逆向きに同じシフト長さだけずらして重ね合わせて、合成画像信号を生成する。この合成手法は第１実施形態と等しい。この合成画像の各対応画素には、２種類の色彩光の受光データが対応する。合成画像の対応画素数および配列は、原画像の対応画素数および配列と等しく、その水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶである。
【０２４３】
図２８は、上述した合成画像の等価的な画素Ｄの配列基本配列パターン１８３を示す図である。この基本配列パターン１８３は、８行２列に配列される８個の画素Ｄからなる。画素Ｄ（１，１），Ｄ（１，２），Ｄ（３，１），Ｄ（３，２）には黄およびシアンの受光データがそれぞれ対応する。画素Ｄ（２，１），Ｄ（２，２），Ｄ（４，１），Ｄ（４，２）には、緑およびマゼンタの受光データがそれぞれ対応する。
【０２４４】
次いで、信号処理回路４４は、この基本配列パターン１８３の合成画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。たとえば第６行第２列の画素Ｄ（６，２）の輝度データＹ（６，２）、色差データ（Ｒ−Ｙ）（６，２），（Ｂ−Ｙ）（６，２）は、以下の式で示される。画素Ｄ（６，２）は、緑およびマゼンタの受光データの対応画素である。
【０２４５】
【数８】

【０２４６】
これら各信号のデータＹ、（Ｒ−Ｙ），（Ｂ−Ｙ）は、各画素Ｄ毎に個別的に直接求めることができる。ゆえに、原画像の対応画素は、全て輝度データの実画素となるので、第２出力画像の輝度データの実画素の数および配列は、原画像の対応画素の数および配列と等しい。
【０２４７】
図２９は、上述した第２出力画像信号の輝度の基底帯域１８４、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域１８４の水平、垂直および斜め方向Ｈ，Ｖ，Ｕの空間周波数軸上の範囲は、上述した第１出力画像信号の輝度の基底帯域１８２の各範囲と等しい。
【０２４８】
（−ｆＨ／２）≦ｆ≦（ｆＨ／２） …（１３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（１４）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域１８４は、以下の４箇所を頂点とする矩形領域である。
【０２４９】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
この基底帯域１８４内に現れる色差信号のモアレのキャリア周波数は、以下の１箇所だけに存在する。
【０２５０】
（０，ｆＶ／２）
図２７および図２９の第１および第２出力画像信号の輝度の基底帯域１８２，１８４を比較すると、その大きさおよび形状は変化していないが、基底帯域１８４では垂直方向Ｖの空間周波数軸上の（０，ｆＶ／２）以外のモアレのキャリア周波数が全て消滅している。これによって、フィルタ制限後の基底帯域１８４の水平方向Ｈの空間周波数軸上の実質の幅は、空間周波数±ｆＨ／２以下の基底帯域１８４の範囲全域まで拡大される。また、垂直方向Ｖの実質の幅が、空間周波数±ｆＶ／２近傍まで拡大される。これによって、第１出力画像と比較して、第２出力画像の水平および垂直解像度が向上する。
【０２５１】
本発明の第３実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の光学系および色フィルタ以外の構成要素は、第２実施形態の撮像装置と等しく、同一の構成要素には、同一の符号を付し、説明は省略する。本実施形態の撮像装置は、全画素読出し型の撮像素子１３１を用い、通常モードおよび高解像度モードで画像光を撮像し、異なる解像度の第１および第２出力画像信号を得る。
【０２５２】
撮像装置の光学系のうち、イメージシフト機構６２および可変空間フィルタ９０の内部構造は等しいが、その設置状態が異なる。機構６２については後述する。フィルタ９０は、複屈折板９１の分離ベクトルＢ１が、水平方向Ｈと平行になるように設置される。これによって、第２状態のフィルタ９０は、水平方向Ｈの空間周波数成分のうち、空間周波数±ｆＨ／２の成分の振幅を減衰させる。
【０２５３】
色フィルタは、その設置場所、通過可能な色彩光の組合せ、ならびに透光領域Ｌの数および配列が第２実施形態の色フィルタと等しく、色配列だけが異なる。ゆえに、第１〜第４色彩光は、補色系の黄、マゼンタ、緑、シアンの４色である。透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶである。
【０２５４】
図３０は、上述の色フィルタの透光領域Ｌの色配列の基本配列パターン１８６を示す図である。この基本配列パターン１８６は、２行４列に配列される８つの透光領域Ｌからなり、同種の透光領域Ｌを２つずつ含む。この基本配列パターン１８６において、透光領域Ｌ（１，１），Ｌ（２，３）は、黄の色彩光を通過させる黄の透光領域Ｌである。透光領域Ｌ（１，２），Ｌ（２，４）は、マゼンタの透光領域Ｌである。透光領域Ｌ（１，３），Ｌ（２，１）は、シアンの透光領域Ｌである。透光領域Ｌ（１，４），Ｌ（２，２）は、緑の透光領域Ｌである。この基本配列パターン１８６は、水平および垂直方向Ｈ，Ｖの配列周期を保ったまま、第２実施形態の撮像装置の色フィルタの基本配列パターン１８１の透光領域Ｌの色配列だけを水平および垂直方向Ｈ，Ｖに対して入換えた配列である。
【０２５５】
撮像素子１３１は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列および各画素と受光データとの対応関係は、この色フィルタの透光領域Ｌの配列および色配列と等価であり、各対応画素は単一の色彩光の受光データだけを有する。
【０２５６】
通常モードの画像光の撮像動作は、第２実施形態の通常モードの画像光の撮像動作と類似し、光学系、撮像素子３４、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（２４）〜式（２６）と類似であり、各受光データの属する画素の行列番号を行および列に関して入換えた点だけが異なる。
【０２５７】
このようにして得られた第１出力画像信号の輝度の基底帯域は、図２７の基底帯域１８２を第１斜め方向Ｕｘの空間周波数軸を基準軸とする線対称な図形である。この基底帯域内に現れる色差信号のモアレのキャリア周波数もまた、第１斜め方向Ｕｘの空間周波数軸を基準軸として、図２７のモアレのキャリア周波数の位置と線対称の位置に現れる。したがって、これら基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、図２７の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数だけを入換えた図と等しい。この理由を以下に説明する。
【０２５８】
前述したように、空間周波数平面図に現される空間周波数成分のうち、任意の空間周波数（ｆｈ，ｆｖ）と空間周波数（−ｆｈ，−ｆｖ）との成分は、共役関係にある。
【０２５９】
Ｆ（ｆｈ，ｆｖ）＝Ｆ（−ｆｈ，−ｆｖ）＊ …（１２）
上式に基づいて、空間周波数ｆｖの範囲が０以上である第１およ第２象限に関して、空間周波数ｆｈ，ｆｖを入換えた場合を考えると、入換え後の空間周波数成分Ｆａ（ｆｈ，ｆｖ）には、以下の関係がある。
【０２６０】

この関係から、該実施形態の空間周波数平面図は、図２７の空間周波数軸を入れ換えた図と等しくなる。
【０２６１】
この図から、水平方向Ｈの空間周波数軸上の基底帯域の境界線上に、モアレのキャリア周波数があることがわかる。したがって、第１出力画像信号の水平方向Ｈの空間周波数成分は、空間周波数±ｆＨ／２未満に制限される。また、垂直方向Ｖの空間周波数軸上の基底帯域の内部（±ｆＨ／４，ｆＶ／２）にモアレのキャリア周波数があり、これを中心周波数とする色モアレ縞が現れる。
【０２６２】
高解像度モードの画像光の撮像動作は、第２実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、撮像素子３４、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。このとき、第１および第２結像位置は、垂直方向Ｖに沿って、受光領域ＰＤの配列周期の長さＰＶだけ離れる位置関係を保つ。イメージシフト機構６２の屈折板７１の仮想基準軸線、および第２状態の屈折板７１の傾斜角度は、この位置関係に応じて画像光の光軸を平行移動させることができるように、第２実施形態の設置状態と比較して、各部材の水平および垂直方向Ｈ，Ｖを入換えて設置される。信号処理回路４４は、２つの原画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。このとき、合成画像の生成手法は第２実施形態の手法と等しい。また、算出式は、上述の式（２７）〜式（２９）と類似であり、各受光データの属する画素Ｄの行列番号を行および列に関して入換えた点だけが異なる。
【０２６３】
この第２出力画像信号の輝度の基底帯域は、第１斜め方向Ｕｘの空間周波数軸に対して、図２９の基底帯域１８４の線対称の図形である。この基底帯域内に現れる色差信号のモアレのキャリア周波数もまた、該空間周波数軸に対して、図２９のモアレのキャリア周波数の位置と線対称の位置に現れる。したがって、これら基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、図２９の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数軸だけを入換えた図と等しい。
【０２６４】
この図から、第１および第２出力画像信号の輝度の基底帯域は等しいことが分かる。また、垂直方向Ｖの空間周波数軸上の色差信号のモアレのキャリア周波数が消えるので、これを中心周波数とする色モアレが消滅する。これによって、第２出力画像信号は、第１出力画像信号よりも垂直方向Ｖの解像度が向上し、また画像の画質が向上する。
【０２６５】
本発明の第４実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の光学系および色フィルタ以外の構成要素は、第１実施形態の撮像装置と等しく、同一の構成要素には、同一の符号を付し、説明は省略する。本実施形態の撮像装置は、２画素混合読出し型の撮像素子３４を用い、通常モードおよび高解像度モードで画像光を撮像して、異なる解像度の第１および第２出力画像信号を得る。
【０２６６】
光学系は、第１実施形態の光学系３３と類似の構成を有し、以下の点だけが異なる。まず、イメージシフト機構６２の設置状態は、後述する第１および第２結像位置に合わせて変更される。また、可変空間フィルタ９０に代わって、後述する可変空間フィルタ２０１が設置される。該フィルタ２０１の詳細は後述する。
【０２６７】
色フィルタは、設置場所、透光領域Ｌの数および配列が、第１実施形態の色フィルタと等しく、色彩光の組合せおよび色配列が異なる。この色フィルタは、各透光領域Ｌ毎に、通過可能な第１〜第３色彩光のいずれか１つを通過させる。第１〜第３色彩光は、原色系の赤、青、および緑の３色である。透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶである。
【０２６８】
図３１は、上述した色フィルタの透光領域Ｌの色配列の基本配列パターン１９１を示す図である。この基本配列パターン１９１は、２行３列に配列される６つの透光領域Ｌからなり、同種の透光領域Ｌを２つずつ含む。この基本配列パターン１８６において、透光領域Ｌ（１，１），Ｌ（２，１）は、赤の色彩光を通過させる赤の透光領域Ｌである。透光領域Ｌ（１，２），Ｌ（２，２）は、緑の透光領域Ｌである。透光領域Ｌ（１，３），Ｌ（２，３）は、青の透光領域Ｌである。この色フィルタは、同種の色彩光の透光領域Ｌが垂直方向Ｖに沿って並ぶので、各列の透光領域Ｌは、同種の色彩光だけを通過させる。
【０２６９】
撮像素子３４は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列は、この色フィルタの透光領域Ｌの配列と等価である。また、前述した色フィルタの色配列から、各列を構成する受光領域ＰＤが同種類の色彩光を受光することが分かる。このことから、垂直転送ＣＣＤ群５１の各電荷結合素子Ｃでは、同種の色彩光の受光データが２つ混合されて、混合データが生成される。したがって、この混合データは単一の色彩光の受光量を表す。これらのことから、原画像信号の画素と混合データとの対応関係は、図３１の色フィルタの色配列と等価であることがわかる。
【０２７０】
可変空間フィルタ２００について、以下に説明する。可変空間フィルタ２００は、光学系内の任意の位置に設置される。該フィルタ２００は、本実施形態の撮像装置の通常および高解像度モードに応じて、第１および第２状態に切換えられ、各モードに応じた減衰量で、画像光の空間周波数成分の振幅を減衰させる。可変空間フィルタ２００は、第１実施形態の可変空間フィルタ９０と類似の構造を有する。
【０２７１】
図３２は、可変空間フィルタ２００の具体的な構成を示す斜視図である。該フィルタ２００は、３枚の複屈折板２０１〜２０３が、画像光の光軸６４上に、光入射側からこの順で配列されて形成される。複屈折板２０１〜２０３はたとえば水晶板で実現され、光入射側の画像光の光軸６４とそれぞれ直交する入射面および射出面を有する。また、屈折板２０３は、光軸６４と一致した仮想回転中心軸線を中心として回転可能であり、第１および第２状態が切換えられると同時に９０度だけ角変位するように回転駆動される。
【０２７２】
図３３は、フィルタ２００が第１状態にあるときの各複屈折板２０１〜２０３の分離ベクトルＢ４〜Ｂ６を示す図である。この分離ベクトルＢ４〜Ｂ６は、前述した単位ベクトルｉ，ｊ，ｋによって、以下の式で規定される。
【０２７３】
【数９】

【０２７４】
上式から、複屈折板２０１〜２０３の分離ベクトルＢ４〜Ｂ６の向きは、それぞれ、反時計まわりに水平方向Ｈと０度，−４５度，−１３５度を成す向きであることが分かる。また、これら複屈折板２０１〜２０３の異常光の分離長さは、それぞれ以下のとおりである。
【０２７５】
【数１０】

【０２７６】
この複屈折板２０１〜２０３内の常光および異常光の挙動は、分離ベクトルの向きおよび異常光の分離長さを除いて可変空間フィルタ９０の複屈折板９１〜９３での挙動と等しい。
【０２７７】
上述した可変空間フィルタ２００が第１状態にあるとき、複屈折板２０３は、分離ベクトルが図３３（ｃ）に示す状態に保たれる。このとき、フィルタ２００を通過する画像光の挙動を、図３４を用いて、以下に説明する。
【０２７８】
図３４（ａ）〜図３４（ｃ）は、第１状態の可変空間フィルタ２００において、画像光の常光および異常光が複屈折板２０１〜２０３を通過した位置をそれぞれ示す仮想結像面を示す図である。この仮想結像面の設定は格子の軸線の間隔を除いて図９の仮想結像面と等しく、これと同等に取扱う。また、各仮想結像面上に描かれる格子の軸線は、水平および垂直方向Ｈ，Ｖに、それぞれ間隔３ＰＨ／４、３ＰＨ／４で配列される。
【０２７９】
第１状態の可変空間フィルタ２００において、フィルタ入射前の画像光と仮想結像面との光軸の交点を座標（３，２）とする。この画像光は、複屈折板２０１に入射して、複屈折板２０１に対する常光と異常光とに分離される。該常光の射出側の光軸の交点は、座標（３，２）である。また、異常光の射出側の光軸は、入射側の光軸の延長線からみて、分離ベクトルＢ４と同じ向きに同じ長さだけ移動しており、その光軸の交点は座標（３，３）である。
【０２８０】
この１対の常光および異常光は、それぞれ同一の座標から複屈折板２０２に入射し、それぞれ該複屈折板２０２に対する常光および異常光に分離される。複屈折板２０１の常光および異常光のうち、複屈折板２０２に対する常光は、そのまま複屈折板２０１を通過するので、その光軸の交点は座標（３，２），（３，３）である。また、複屈折板２０１の常光および異常光の複屈折板２０２に対する異常光の光軸は、それぞれ座標（３，２），（３，３）の光軸の延長線からみて、分離ベクトルＢ５と同じ向きに同じ長さだけ移動しており、その光軸の交点は、それぞれ座標（４，３），（４，４）である。
【０２８１】
この２対の常光および異常光は、同一の座標から複屈折板２０３に入射する。複屈折板２０２，２０３の分離ベクトルＢ５，Ｂ６は相互に直交するので、複屈折板２０２の常光および異常光は、それぞれ複屈折板２０３に対する異常光および常光になる。したがって、座標（３，２），（３，３）の複屈折板２０２の常光は、複屈折板２０３の異常光となる。これによって、該複屈折板２０３の異常光の光軸は、座標（３，２），（３，３）の光軸の延長線からみて、分離ベクトルＢ６と同じ向きに同じ長さだけ移動しており、その交点はそれぞれ座標（４，１），（４，２）である。また同様に、座標（４，３），（４，４）の複屈折板２０２の異常光は、複屈折板２０３の常光となるので、そのまま複屈折板２０３を通過する。ゆえに、これら複屈折板２０３の常光の光軸の交点はそれぞれ座標（４，３），（４，４）である。
【０２８２】
このように、複屈折板２０１〜２０３を順次的に通過した画像光は２対の常光および異常光に分離される。これら常光および異常光の各対の光軸と仮想結像面との交点、すなわち、白丸と黒丸との記号で表される対、および白四角と黒四角との記号で表される対の交点は、水平方向Ｈに平行に、間隔３ＰＨ／２だけそれぞれ離れる。また、白丸と白四角との記号で表される常光の交点の対、および黒丸と黒四角との記号で表される異常光の交点の対は、水平方向Ｈに平行に、間隔３ＰＨ／４だけそれぞれ離れる。このように分離された画像光について、第１減衰量を表す伝達関数を求めると、画像光の空間周波数成分のうち、水平方向Ｈに関して、空間周波数±ｆＨ／３，±２ｆＨ／３の成分のレスポンスがなくなるように、該空間周波数の成分の振幅が減衰されることがわかる。
【０２８３】
また、上述した可変空間フィルタ２００が第２状態にあるとき、複屈折板２０３は、第１状態から９０度角変位され、分離ベクトルＢ６ａが図３５に示す状態に保たれる。この分離ベクトルＢ６ａは、前述した単位ベクトルｉ，ｊを用いて、以下のように表される。
【０２８４】
【数１１】

【０２８５】
分離ベクトルＢ６ａの向きは、水平方向Ｈと反時計まわりで１３５度を成す向きである。
【０２８６】
このとき、フィルタ２００を通過する画像光の挙動を、図３４（ａ），（ｂ）および図３６の仮想結像面を用いて、以下に説明する。図３６の仮想結像面は、画像光の光軸の交点の位置を除いて、図３４（ｃ）の仮想結像面と等しく、同様に取扱う。
【０２８７】
第２状態の可変空間フィルタ２００において、フィルタ入射前の画像光の光軸と仮想結像面との交点を座標（３，２）とする。この画像光が、複屈折板２０１，２０２を通過するときの挙動は、第１状態のときと等しいので、説明は省略する。
【０２８８】
複屈折板２０３には、複屈折板２０２に対する座標（３，２），（３，３）の常光、および座標（４，３），（４，４）の異常光が、この同一の座標から入射する。
【０２８９】
複屈折板２０２，２０３の分離ベクトルＢ５，Ｂ６ａは相互に平行であり、向きだけが相反する。したがって、複屈折板２０２の常光および異常光は、そのまま複屈折板２０３に対する常光および異常光になる。したがって、座標（３，２），（３，３）の複屈折板２０２の常光は、複屈折板２０３の常光となるので、そのまま複屈折板２０３を通過する。ゆえに、これら複屈折板の常光の光軸の交点は、座標（３，２），（３，３）である。また、座標（４，３），（４，４）の複屈折板２０２の異常光は、複屈折板２０３の異常光となる。これによって、該複屈折板２０３の異常光の光軸は、座標（４，３），（４，４）の光軸の延長線からみて、分離ベクトルＢ６ａと同じ向きに同じ長さだけ移動しており、その交点はそれぞれ座標（３，２），（３，３）である。
【０２９０】
このように、複屈折板２０２，２０３の分離ベクトルＢ５，Ｂ６ａが平行で向きが相反するとき、複屈折板２０２に対する常光および異常光の光軸の交点が、複屈折板２０３通過後に一致する。これによって、複屈折板２０２，２０３での光の分離効果が打消される。したがって、複屈折板２０３通過後の画像光の分離状態は、複屈折板２０１通過直後の状態に戻る。
【０２９１】
このように複屈折板２０１〜２０３を順次的に通過した画像光は、１対の常光および異常光に分離される。この常光および異常光の光軸と仮想結像面との交点は、水平方向Ｈに平行に、間隔３ＰＨ／４だけ離れる。このように分離された画像光に関して、第２減衰量を表す伝達関数を求めると、画像光の空間周波数成分のうち、空間周波数±２ｆＨ／３の成分のレスポンスだけがなくなるように、該空間周波数成分の振幅が減衰されることが分かる。この第２減衰量と通常モードの第１減衰量とを比較すると、水平方向Ｈに関する空間周波数成分のレスポンスがなくなる空間周波数軸上の位置と軸の原点との距離が２倍になることが分かる。
【０２９２】
このような構造の撮像装置の通常モードおよび高解像度モードの撮像動作を以下に説明する。
【０２９３】
通常モードの画像光の撮像動作は、第１実施形態の通常モードの画像光の撮像動作と類似し、光学系、撮像素子３４、回路３５，３６、および画像メモリ３７の挙動は、第１実施形態と等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。たとえば第１行第５列の画素Ｄ（１，５）の輝度データＹ（１，５）、色差データ（Ｒ−Ｙ）（１，５），（Ｂ−Ｙ）（１，５）は、以下の式で示される。画素Ｄ（１，５）は、緑の混合データだけの対応画素である。
【０２９４】
【数１２】

【０２９５】
これの輝度データＹは、各画素Ｄ毎に個別的に直接求めることができる。ゆえに、原画像の対応画素は、全て輝度データの実画素となるので、第１出力画像信号の輝度信号の実画素の数および配列は、原画像の対応画素の数および配列と等しい。
【０２９６】
原画像の全ての対応画素の配列の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕの配列周期は、図３１からそれぞれ周期ＰＨ，ＰＶ，ＰＵとわかる。このことから、この第１出力画像信号の輝度信号の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕのサンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶ，ｆｕとみなされる。また、同一種類の対応画素だけの配列の水平および垂直方向Ｈ，Ｖの配列周期は、図３１から、それぞれ周期３ＰＨ，ＰＶとわかる。このことから、色差信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数ｆＨ／３，ｆＶとみなされる。
【０２９７】
図３７は、上述した第１出力画像信号の輝度の基底帯域１９２、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域１９２の水平、垂直および斜め方向Ｈ，Ｖ，Ｕの空間周波数軸上の範囲は、第１実施形態の撮像装置３１の第１出力画像信号の輝度の基底帯域１１１の各範囲と等しい。
【０２９８】
（−ｆＨ／２）≦ｆ≦（ｆＨ／２） …（１３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（１４）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域１９２は、以下の４箇所を頂点とする矩形領域である。
【０２９９】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
この基底帯域１９２内に現れる色差信号のモアレのキャリア周波数は、以下の２箇所に存在する。
【０３００】
（−ｆＨ／３，０）
（ｆＨ／３，０）
上述した第１状態の可変空間フィルタ２００の第１減衰量は、基底帯域１９２のうち、空間周波数±ｆＨ／３近傍の空間周波数成分を減衰させるように定められる。これによって、基底帯域１９２の水平方向Ｈの所望信号成分の振幅が、水平方向Ｈの空間周波数±ｆＨ／３の部分で０になるように制限される。このため、基底帯域１９２の水平方向Ｈの空間周波数軸上の実質の幅が空間周波数±ｆＨ／３未満に縮小されるので、第１出力画像の水平方向Ｈの実質の解像度は、その分だけ基底帯域１９２から推測される理想の解像度よりも低下する。
【０３０１】
高解像度モードの画像光の撮像動作は、第１実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、撮像素子３４、回路３５，３６、および画像メモリ３７の挙動は、第１実施形態と等しい。このとき、イメージシフト機構６２は、画像光の結像位置を、以下の２箇所に移動させる。
【０３０２】
図３８は、上述した高解像度モードの画像光の撮像動作における第１および第２結像位置の位置関係を示す図である。第１結像位置Ｑａ４を基準とすると、第２結像位置Ｑｂ４は、水平方向Ｈに受光領域ＰＤの配列周期の長さ３ＰＨ／２だけ、かつ垂直方向Ｖに該配列周期の長さＰＶ／２だけ離れる。イメージシフト機構６２の仮想基準軸線の設置状態、および第２状態の屈折板７１の傾斜角度は、これら結像位置がこの位置関係をなすように定められる。
【０３０３】
信号合成回路４４は、まず、第１実施形態と同じ手法で第１および第２原画像信号から合成画像信号を生成する。この合成画像は、２Ｍ行２Ｎ列に配列される２Ｍ×２Ｎ個の画素Ｄからなり、これら画素Ｄのうち、半数の画素が対応画素であり、残余の画素が混合データが対応しない仮想画素である。合成画像の水平および垂直方向Ｈ，Ｖの画素の配列周期は、それぞれ周期ＰＨ／２，ＰＶ／２である。
【０３０４】
図３９は、上述の合成画像信号が表す合成画像の等価的な画素Ｄの配列の基本配列パターン１９３を示す図である。以後、画素の基本配列パターンを表す図では、仮想画素を破線の矩形領域で表す。この基本配列パターン１９３は、２行６列に配列される１２個の画素からなる。画素Ｄ（１，１），Ｄ（２，４）は、赤の混合データの対応画素である。画素Ｄ（１，３），Ｄ（２，６）は、緑の混合データの対応画素である。画素Ｄ（１，５），Ｄ（２，２）は、青の混合データの対応画素である。上述以外の残余の画素Ｄは、全て仮想画素である。このことから、合成画像では、実画素が市松状に配列されることがわかる。
【０３０５】
信号処理回路４４は、この合成画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。たとえば第２行第６列の画素Ｄ（２，６）の輝度データＹ（２，６）、色差データ（Ｒ−Ｙ）（２，６），（Ｂ−Ｙ）（２，６）は、以下の式で示される。画素Ｄ（２，６）は、緑の混合データだけの対応画素である。
【０３０６】
【数１３】

【０３０７】
これの輝度データＹは、合成画像の各対応画素だけ個別的に直接求めることができる。仮想画素の輝度データは、周囲の対応画素の算出結果から補間する。ゆえに、合成画像の対応画素は、全て輝度データの実画素となるので、第１出力画像の輝度信号の実画素の数および配列は、合成画像の対応画素の数および配列と等しく市松状に配列される。
【０３０８】
合成画像の全ての対応画素の配列の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕの配列周期は、図３９からそれぞれ周期ＰＨ／２，ＰＶ／２，ＰＵとわかる。このことから、この第２出力画像信号の輝度信号の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕのサンプリング周波数は、それぞれ空間周波数２ｆＨ，２ｆＶ，ｆｕとみなされる。また、同一種類の対応画素だけの配列の水平および垂直方向Ｈ，Ｖの配列周期は、図３９から、それぞれ周期３ＰＨ／２，ＰＶ／２とわかる。このことから、色差信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ／３，２ｆＶとみなされる。
【０３０９】
図４０は、上述の第２出力画像信号の輝度の基底帯域１９４、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域１９４の水平および垂直方向Ｈ，Ｖの空間周波数軸上の範囲は、第１出力画像信号の輝度の基底帯域１９２の各範囲の２倍に拡大される。また斜め方向Ｕの空間周波数軸上の範囲は、第１出力画像信号の範囲と等しい。これら基底帯域１９４の各範囲は、以下の式で表される。
【０３１０】
−ｆＨ≦ｆ≦ｆＨ …（４１）
−ｆＶ≦ｆ≦ｆＶ …（４２）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域１９４は、以下の３箇所を頂点とする三角形領域である。
【０３１１】
（−ｆＨ，０）
（ｆＨ，０）
（０，ｆＶ）
この基底帯域１９４内に現れる色差信号のモアレのキャリア周波数は、以下の２箇所に存在する。
【０３１２】
（−２ｆＨ／３，０）
（２ｆＨ／３，０）
さらに、基底帯域１９４近傍の以下の２箇所にも、色差信号のモアレのキャリア周波数がある。
【０３１３】
（−ｆＨ／３，ｆＶ）
（ｆＨ／３，ｆＶ）
前述の光学系は、上述の構造の撮像装置に併せて各構成要素を設計すると、空間周波数±ｆＨ、±ｆＶ付近では画像光の空間周波数成分が減衰しているような空間周波数特性（ＭＴＦ；ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を有する。したがって、基底帯域１９４近傍の上述のキャリア周波数を中心周波数とする色差信号の折返し成分は、光学系の空間周波数特性、および撮像素子３４のアパーチャ効果によって、充分に減衰されるので、第２出力画像信号の輝度信号の所望信号成分にはほとんど影響を与えない。
【０３１４】
上述した第１状態の可変空間フィルタ２００の第２減衰量は、基底帯域１９４のうち、空間周波数±２ｆＨ／３近傍の空間周波数成分を減衰させるように定められる。これによって、基底帯域１９４内の所望信号成分の振幅が、水平方向Ｈの空間周波数±２ｆＨ／３の部分で０になるように制限される。これによって、基底帯域１９４の水平方向Ｈの空間周波数軸上の実質の幅が空間周波数±２ｆＨ／３未満に縮小されるが、制限後の実質の幅は、第１出力画像信号の実質の幅の約２倍に拡大される。
【０３１５】
また、２画素混合読出し型の撮像素子３４では、出力される原画像信号のうち、垂直方向Ｖの空間周波数成分に関し、空間周波数±ｆＶ／２近傍の成分の振幅が減衰される。これによって、図４０の基底帯域１９４内の破線で表す空間周波数±ｆＶ／２近傍の部分では、輝度信号および色差信号の信号振幅が減衰されるフィルタ効果が生じる。このフィルタ効果は、２画素混合読出し型の撮像素子３４に特有の現象である。このフィルタ効果によって、基底帯域１９４の垂直方向Ｖの実質の幅が、空間周波数±ｆＶ／２未満に制限される。これによって、第２出力画像の制限後の垂直方向Ｖの実質の幅は、基底帯域１９４から推測される理想の幅の半分に縮小されるが、理想の幅が予め拡大されているので、第１出力画像と比較して、実質の幅が変化しない。
【０３１６】
これらのことから、第２出力画像の水平方向Ｈの解像度は、第１出力画像の２倍に向上する。また、斜め方向Ｕの解像度は変化しないが、視覚の空間周波数特性の空間異方特性から、該解像度の変化は視覚的に気にならない。
【０３１７】
空間異方性特性について、以下に説明する。人が画像を認識するときの視覚特性を表す指標として、前述の空間周波数特性（ＭＴＦ；ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒ
Ｆｕｎｃｔｉｏｎ）が挙げられる。この空間周波数特性は、二次元平面の画面上において一方方向にだけ濃淡が変化する正弦波パターンを表示した場合であって、視者に明暗の差が感じられなくなるとき、その画面に表示されるパターンの画像とその空間周波数との関係を示す。
【０３１８】
この正弦波パターンの一方方向を、たとえば水平方向Ｈを基準として、水平方向Ｈと予め定める角度を持つように傾けて表示する。この条件において、パターンの一方方向と水平方向Ｈとが±４５度をなすとき、空間周波数の高周波成分の人の目に対する感度は最も低下する。このように、視覚の空間周波数特性が画像変化の空間的な方向によって変わることを、視覚の空間異方特性と称する。このことから、斜め方向Ｕの空間周波数成分は、水平および垂直方向Ｈ，Ｖの周波数成分と比較して人の目に感じられにくいことが、一般に知られている。この空間異方性特性から、画像上の斜め方向Ｕの高周波成分を除去しても、画像の視覚的な劣化が少ないことが分かる。したがって、水平および垂直方向Ｈ，Ｖの解像度の変化があるときに斜め方向Ｕの解像度が変化していなくても、視覚的に気にならない。
【０３１９】
本発明の第５実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の撮像素子以外の構成要素の構造は第４実施形態の撮像装置と等しく、同一の構成要素には、同一の符号を付し、説明は省略する。また、該撮像装置は、２画素混合読出し型の撮像素子３４に代わって、全画素読出し型の撮像素子１３１を用いる。この撮像素子１３１の光入射側には、図３１の基本配列パターン１９１の色フィルタが設置される。可変空間フィルタ２００は、第４実施形態と同じ第１および第２減衰量で画像光の空間周波数成分を制限する。本実施形態の撮像装置は、全画素読出し型の撮像素子１３１を用い、通常モードおよび高解像度モードで画像光を撮像し、異なる解像度の第１および第２出力画像信号を得る。
【０３２０】
撮像素子１３１は、上述の色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。撮像素子１３１および画像メモリ３７の単一回の画像光の詳細な撮像動作は、第２実施形態の単一回の撮像動作と等しい。原画像信号の画素Ｄの配列および各画素と受光データとの対応関係は、この色フィルタの透光領域Ｌの配列および色配列と等価であり、各対応画素は単一の色彩光の受光データだけを有する。この原画像信号と第４実施形態の原画像信号とを比較すると、各色彩光の対応画素の配列は等しく、第４実施形態では混合データに対応していた各対応画素が、本実施例では同一種類の色彩光の受光データに対応していることがわかる。したがって、第４および第５実施形態の原画像信号の信号構成は、等価であると見なすことができる。
【０３２１】
上述の撮像装置の通常モードの画像光の撮像動作は、画像光の撮像動作を除いて、第４実施形態の通常モードの画像光の撮像動作と等しい。信号処理回路４４で原画像信号から輝度データおよび色差データを算出するときの算出式は、上述の式（３５）〜式（３７）と類似であり、各混合データに代わって、同一対応画素の受光データを代入する点だけが異なる。したがって、第１出力画像信号の輝度信号および色差信号のサンプリング周波数は、第４実施形態の該信号のサンプリング周波数と等しい。このようにして得られた第１出力画像信号の輝度の基底帯域および色差信号のモアレのキャリア周波数の位置を表す空間周波数平面図は、図３７と等しい。したがって、通常モードの第１出力画像信号の基底帯域の実質の幅、および第１出力画像の解像度もまた、第４実施形態と等しいことがわかる。
【０３２２】
上述の撮像装置の高解像度モードの画像光の撮像動作は、画像光の撮像動作を除いて、第４実施形態の高解像度モードの画像光の撮像動作と等しい。このときの第１および第２結像位置Ｑａ４，Ｑｂ４の位置関係は、図３８と等しい。信号処理回路４４で合成される合成画像信号の合成手法は第４実施形態と等しく、その等価的な画素配列の基本配列パターンは、図３９の基本配列パターン１９３と等しい。また、該回路４４で合成画像信号から輝度データおよび色差データを算出するときの算出式は、上述の式（３８）〜式（４０）と類似であり、各混合データに代わって、同一対応画素の受光データを代入する点だけが異なる。したがって、第２出力画像信号の輝度信号および色差信号のサンプリング周波数は、第４実施形態の該信号のサンプリング周波数と等しい。
【０３２３】
図４１は、上述の第２出力画像信号の輝度の基底帯域１９６、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域１９６は、図４０の輝度の基底帯域１９４と等しく、水平、垂直、および斜め方向Ｈ，Ｖ，Ｕの各範囲は、以下の式で表される。
【０３２４】
−ｆＨ≦ｆ≦ｆＨ …（４１）
−ｆＶ≦ｆ≦ｆＶ …（４２）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１４）
したがって、第１および第２象限の輝度の基底帯域１９６は、以下の３箇所を頂点とする三角形領域である。
【０３２５】
（−ｆＨ，０）
（ｆＨ，０）
（０，ｆＶ）
この基底帯域１９６内に現れる色差信号のモアレのキャリア周波数は、以下の２箇所に存在する。
【０３２６】
（−２ｆＨ／３，０）
（２ｆＨ／３，０）
さらに、基底帯域１９６近傍の以下の２箇所にも、色差信号のモアレのキャリア周波数がある。
【０３２７】
（−ｆＨ／３，ｆＶ）
（ｆＨ／３，ｆＶ）
これら基底帯域１９６近傍の上述のキャリア周波数を中心周波数とする色差信号の折返し成分は、光学系の空間周波数特性（ＭＴＦ）、および撮像素子１３１のアパーチャ効果によって、充分に減衰されるので、第２出力画像信号の輝度信号の所望信号成分にはほとんど影響を与えない。
【０３２８】
本実施形態の撮像装置では、第４実施形態の撮像装置と同様に、高解像度モードで撮像される画像光の空間周波数成分は、第２状態の可変空間フィルタ２００によって、所望信号成分の振幅が、水平方向Ｈの空間周波数±２ｆＨ／３の部分で０になるように制限される。これによって、基底帯域１９６の水平方向Ｈの空間周波数軸上の実質の幅が空間周波数±２ｆＨ／３未満に縮小されるが、制限後の実質の幅は、第１出力画像信号の実質の幅の約２倍に拡大される。
【０３２９】
また本実施形態の撮像装置では、第４実施形態の撮像装置と異なり、２画素混合読出し型の撮像素子特有のフィルタ効果が生じないので、基底帯域１９６の垂直方向Ｖの空間周波数軸上の実質の幅が、基底帯域１９６の垂直方向Ｖの範囲全域まで拡大される。したがって、垂直方向Ｖの空間周波数軸の制限後の実質の幅が、第１出力画像信号の実質の幅の２倍に拡大される。
【０３３０】
これらのことから、第２出力画像の水平および垂直方向Ｈ，Ｖの解像度は、第１出力画像の２倍にそれぞれ向上する。また、斜め方向Ｕの解像度は変化しないが、これは視覚の空間周波数特性の空間異方特性によって、視覚的に気にならない。したがって、本実施形態の撮像装置の第２出力画像の解像度は、第４実施形態の第２出力画像と比較して、垂直方向Ｖに関して２倍に向上される。
【０３３１】
本発明の第６実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の光学系および色フィルタ以外の構成要素の構造は、第５実施形態の撮像装置と等しく、同一の構成要素には、同一の符号を付し、説明は省略する。本実施形態の撮像装置は、全画素読出し型の撮像素子１３１を用い、通常モードおよび高解像度モードで画像光を撮像し、異なる解像度の第１および第２出力画像信号を得る。
【０３３２】
光学系のうち、イメージシフト機構６２および可変空間フィルタ２００の内部構造は等しいが、その設置状態が異なる。機構６２については後述する。フィルタ２００は、複屈折板２０１の分離ベクトルＢ４が、垂直方向Ｖと平行になるように設置される。これによって、第１および第２状態のフィルタ２００は、垂直方向Ｖの空間周波数成分のうち、空間周波数±ｆＶ／３、±２ｆＶ／３の成分の振幅をそれぞれ減衰させる。
【０３３３】
色フィルタは、その設置場所、通過可能な色彩光の組合せ、ならびに透光領域Ｌの数および配列が、第５実施形態の色フィルタと等しく、色配列だけが異なる。ゆえに、第１〜第３色彩光は、原色系の赤、青および緑の３色である。透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶである。
【０３３４】
図４２は、上述の色フィルタの透光領域Ｌの色配列の基本配列パターン１９８を示す図である。この基本配列パターン１８６は、３行２列に配列される６つの透光領域Ｌからなり、同種の透光領域を２つずつ含む。この基本配列パターン１９８において、透光領域Ｌ（１，１），Ｌ（１，２）は、赤の色彩光を通過させる赤の透光領域である。透光領域Ｌ（２，１），Ｌ（２，２）は、緑の透光領域である。透光領域Ｌ（３，１），Ｌ（３，２）は、青の透光領域である。この基本配列パターン１９８は、水平および垂直方向Ｈ，Ｖの配列周期を保ったまま、第４および第５実施形態の撮像装置の色フィルタの基本配列パターンの透光領域Ｌの色配列だけを水平および垂直方向Ｈ，Ｖに対して入換えた配列である。この色フィルタは、同種の色彩光の透光領域が水平方向Ｈに沿って並ぶので、各行の透光領域Ｌは、同種の色彩光だけを通過させる。
【０３３５】
撮像素子１３１は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列および各画素と受光データとの対応関係は、この色フィルタの画素配列および色配列と等価であり、各対応画素は単一の色彩光の受光データだけを有する。
【０３３６】
上述の撮像装置の通常モードの画像光の撮像動作は、第５実施形態の通常モードの画像光の撮像動作と類似し、光学系、撮像素子１３１、回路３５，３６、および画像メモリ３７の挙動は、第５実施形態と等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（３５）〜式（３７）と類似であり、各対応画素の行列番号を行および列に関して入換え、かつ各混合データに代わって、同一対応画素の受光データを代入する点が異なる。このようにして得られた第１出力画像信号の輝度の基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、第１斜め方向Ｕｘの空間周波数軸に対して、図３７と線対称な図面となる。すなわち、図３７の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数軸だけを入換えた図と等しい。
【０３３７】
この図から、水平方向Ｈの空間周波数軸上には、モアレのキャリア周波数が存在しないことがわかる。したがって、水平方向Ｈの基底帯域の実質の幅は、基底帯域の水平方向Ｈの範囲と等価な理想の幅と等しく、空間周波数±ｆＨ／２まで拡大される。また、垂直方向Ｖの空間周波数軸上の空間周波数±ｆＶ／３に、モアレのキャリア周波数があることがわかる。したがって、第１出力画像信号の垂直方向Ｖの基底帯域の実質の幅は、空間周波数±ｆＶ／３未満に制限される。したがって、本実施形態の通常モードの第１出力画像は、第５実施形態の第１出力画像と比較して、水平方向Ｈの解像度が向上する。
【０３３８】
上述の撮像装置の高解像度モードの画像光の撮像動作は、第５実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、撮像素子１３１、回路３５，３６、および画像メモリ３７の挙動は、第５実施形態と等しい。このとき、イメージシフト機構６２は、画像光の結像位置を以下の２箇所に移動する。
【０３３９】
図４３は、上述した第１および第２結像位置Ｑａ６，Ｑｂ６の相対的な位置関係を示す図である。第１結像位置Ｑａ６を基準とすると、第２結像位置Ｑｂ６は、第１結像位置Ｑａ６から水平方向Ｈに長さＰＨ／２だけ、かつ垂直方向Ｖに長さ３ＰＶ／２だけずれた位置である。これら第１および第２結像位置Ｑａ６、Ｑｂ６の位置関係は、図３８に表す第１および第２結像位置Ｑａ４，Ｑｂ４の位置関係と、第１斜め方向Ｕｘに対して線対称となる位置関係である。イメージシフト機構６２の屈折板７１の仮想基準軸線、および第２状態の屈折板７１の傾斜角度は、この位置関係に応じて画像光の光軸を平行移動させることができるように、第４、第５実施形態の設置状態と比較して、各部材の水平および垂直方向Ｈ，Ｖを入換えて設置される
信号処理回路４４で生成される合成画像信号の等価的な画素Ｄの配列の基本配列パターンは、図３９の基本配列パターン１９３と類似であり、対応画素および仮想画素の画素配列および全画素の配列周期が等しく、その対応画素の色配列の水平および垂直方向Ｈ，Ｖを入換えた点だけが異なる。該回路４４は、この合成画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（３８）〜式（４０）と類似であり、各対応画素の行列番号を行および列に関して入換え、かつ混合データに代わって該対応画素の受光データを代入する点が異なる。この第２出力画像信号の輝度の基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、第１斜め方向Ｕｘの空間周波数軸に対して、図４１と線対称な図面となる。すなわち、図４１の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数軸だけを入換えた図と等しい。
【０３４０】
この図から、第２出力画像信号の輝度の基底帯域は、第１出力画像信号の輝度の基底帯域と比較して、水平および垂直方向Ｈ，Ｖに２倍に拡大され、斜め方向Ｕに関して変化しないことがわかる。また、垂直方向Ｖの空間周波数軸上のモアレのキャリア周波数は、空間周波数±２ｆＶ／３に現れるので、画像光の空間周波数成分制限後の基底帯域の垂直方向Ｖの実質の幅が空間周波数±２ｆＶ／３未満に縮小されるが、制限後の実質の幅は第１出力画像信号の実質の幅の約２倍に拡大されている。
【０３４１】
これらのことから、第２出力画像の水平および垂直方向Ｈ，Ｖの解像度は、第１出力画像の２倍にそれぞれ向上する。また、斜め方向Ｕの解像度は変化しないが、これは視覚の空間周波数特性の空間異方特性によって、視覚的に気にならない。したがって、本実施形態の撮像装置の第２出力画像の解像度は、第５実施形態の第２出力画像と比較して、水平方向Ｈに関して向上される。
【０３４２】
本発明の第７実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の光学系、色フィルタ、および撮像素子以外の構成要素の構造は、第２実施形態の撮像装置と等しく、同一の構成要素には同一の符号を付して説明は省略する。本実施形態の撮像装置は、全画素読出し型の撮像素子を用い、通常モードおよび高解像度モードで画像光を撮像して、異なる解像度の第１および第２出力画像信号を得る。
【０３４３】
光学系のうち、イメージシフト機構６２は、その内部構造は等しいが、その設置状態が後述するように異なる。また、光学系内の任意の位置には、可変空間フィルタ９０に代わって、後述する可変空間フィルタ２２０が設置される。該フィルタ２２０は、本実施形態の撮像装置の通常および高解像度モードに応じて、第１および第２状態に切換えられ、各モードに応じた減衰量で、画像光の空間周波数の振幅を成分を減衰させる。
【０３４４】
撮像素子は、Ｍ×Ｎ個の受光領域ＰＤを有する全画素読出し型の撮像素子である。この受光領域ＰＤは、結像面上に、周期ＰＨで並べられるＭ個の受光領域からなる行が、垂直方向Ｖに沿って配列周期ＰＶでＮ本並べられるように配列される。かつ、隣接する２本の行は、その各受光領域ＰＤの中心が水平方向Ｈに長さＰＨ／２だけ相互にずれるように配列される。この受光領域ＰＤの配列は、Ｍ行２Ｎ列の仮想配列に対し、各受光領域ＰＤが、水平および垂直方向Ｈ，Ｖに対してそれぞれ仮想の受光領域を１つずつ介在して並べられた配列と等価であり、結像面全体としては、受光領域ＰＤが市松状に配列される。この受光領域ＰＤの配列周期は、水平および垂直方向Ｈ，Ｖにそれぞれ周期ＰＨ／２，ＰＶである。
【０３４５】
この撮像素子の垂直転送ＣＣＤ群は、たとえば２列の受光領域ＰＤに対して１つずつ準備され、２列分の実在の受光領域ＰＤの数と同数の電荷結像素子Ｃを有する。該ＣＣＤ群の電荷結像素子Ｃは、該２列分の実在の各受光領域ＰＤと隣接するように折線状に配列される。したがって、垂直転送ＣＣＤ群は、水平方向ＨにＭ列並べられており、各々の垂直転送ＣＣＤは、垂直方向Ｖに折線状に並んだＮ個の電荷結合素子Ｃから構成される。各受光領域ＰＤは、その隣接する電荷結像素子Ｃに受光データをそれぞれ転送する。データ転送後の垂直転送ＣＣＤ群の挙動は、図１７に示す撮像素子１３１の垂直転送ＣＣＤ群１３８の挙動と等しい。すなわち、本実施形態の撮像素子の垂直転送ＣＣＤ群は、２行分の実在の受光領域ＰＤを撮像素子１３１の１行分の受光領域ＰＤと等価に扱い、各受光領域ＰＤの受光データを個別的に転送する。
【０３４６】
この撮像素子の結像面の光入射側には、透光領域Ｌの数および配列が実在の受光領域ＰＤと等しく、以下に示す基本配列パターンの色配列をなす色フィルタが取付けられる。この色フィルタは、各透光領域Ｌ毎に、第１〜第３色彩光のいずれか１つを通過させる。第１〜第３色彩光は、原色系の赤、青、および緑の３色である。また、透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ／２，ＰＶである。
【０３４７】
図４４は、上述した色フィルタの透光領域Ｌの色配列の基本配列パターン２１１を示す図である。この基本配列パターン２１１は、６つの透光領域Ｌから成り、同種の透光領域を２つずつ含む。これら透光領域は、２行６列の仮想配列に市松状に並べられた配列と等しく、各行の透光領域Ｌの間には、図示しない仮想の透光領域があると見なすことができる。この基本配列パターン２１１において、透光領域Ｌ（１，１），Ｌ（２，４）は、赤の色彩光を通過させる赤の透光領域である。透光領域Ｌ（１，３），Ｌ（２，６）は、緑の透光領域である。透光領域Ｌ（１，５），Ｌ（２，２）は、青の透光領域である。この基本配列パターン２１１から成る色配列の色フィルタは、実在の透光領域Ｌが少なくとも１つの実在の受光領域ＰＤの光入射側に配列されるように設置される。
【０３４８】
上述の撮像素子は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素Ｄの配列、および該画素Ｄと受光データとの対応関係は、図４４の色フィルタの透光領域Ｌの配列および色配列と等価であり、各対応画素は、単一の色彩光の受光データを有する。
【０３４９】
可変空間フィルタ２２０を、図４５〜図５０を用いて以下に説明する。
【０３５０】
図４５は、可変空間フィルタ２２０の詳細な構造を示す斜視図である。可変空間フィルタ２２０は、５枚の複屈折板２２１〜２２５、および旋光板２２６を含んで構成される。複屈折板２２１〜２２５は、光入射側の画像光の光軸６４上に、光入射側からこの順で配列される。旋光板２２６は、複屈折板２２３，２２４の間に介在される。複屈折板２２１〜２２５は、たとえば水晶板で実現される。複屈折板２２１〜２２５および旋光板２２６の各入射面および射出面は、光入射側の画像光の光軸６４と直交する。また、屈折板２２３，２２５は、光軸６４と一致した仮想回転中心軸線を中心として回転可能であり、第１および第２状態が切換えられると同時に１８０度だけ角変位するように回転駆動される。
【０３５１】
図４６（ａ）〜（ｅ）は、フィルタ２２０が第１状態にあるときの各複屈折板２２１〜２２５の分離ベクトルＢ１１〜Ｂ１５を示す図である。このうち、分離ベクトルＢ１１〜Ｂ１３は、前述した単位ベクトルｉ，ｊ，ｋによって、以下の式で規定される。
【０３５２】
【数１４】

【０３５３】
上式から、複屈折板２２１の分離ベクトルＢ１１は水平方向Ｈと平行であり、複屈折板２２２，２２３の分離ベクトルＢ１２，Ｂ１３は、垂直方向Ｖと平行であることが分かる。
【０３５４】
また、複屈折板２２４，２２５の分離ベクトルＢ１４，Ｂ１５を図４７を用いて説明する。図４７は、図４６（ｄ），（ｅ）と同じＨＶ平面を表す。基準軸線Ｌ１は、複屈折板２１１の分離ベクトルＢ１１の延長線であり、水平方向Ｈと平行である。分離ベクトルＢ１４，Ｂ１５の延長線Ｌ２と基準軸線Ｌ１との成す角度θ１は、以下の式で表される。
【０３５５】
【数１５】

【０３５６】
角度θ１は、撮像素子が正方格子型であって、受光領域ＰＤの配列周期ＰＨ，ＰＶの値が等しいとき、３３．７度になる。このような配列周期の撮像素子は、たとえば６４０行４８０列の受光領域ＰＤの配列を有し、ＮＴＳＣ方式に対応した撮像素子である。
【０３５７】
さらに、これらの複屈折板２２１〜２２５の分離長さは、それぞれ３ＰＨ／４，ＰＶ／４，ＰＶ／４，√｛（３ＰＨ／８）^２＋（ＰＶ／４）^２｝，√｛（３ＰＨ／８）^２＋（ＰＶ／４）^２｝である。これら複屈折板２２１〜２２５内の常光および異常光の挙動は、分離ベクトルの向きおよび分離長さを除いて、可変空間フィルタ９０の複屈折板９１〜９３での挙動と等しい。
【０３５８】
また、旋光板２２６は、入射した光の偏光方向を表す偏波面を、図４７の矢符２２８で示す方向に、角度θ２だけ回転変位させる。角度θ２は、以下の式で表される。
【０３５９】
θ２＝４５度−θ１ …（４６）
この角度θ２は、基準軸線Ｌ１と４５度の角度を成して交わる基準軸線Ｌ３と、前述の分離ベクトルＢ１４，Ｂ１５の延長線Ｌ２との成す角度である。
【０３６０】
上述した可変空間フィルタ２２０が第１状態にあるとき、複屈折板２２３，２２５は、分離ベクトルが図４６（ｃ），（ｅ）に示す状態に保たれる。このとき、フィルタ２２０を通過する画像光の挙動を、図４８を用いて、以下に説明する。
【０３６１】
図４８（ａ）〜図４８（ｅ）は、第１状態の可変空間フィルタ２２０において、画像光の常光および異常光が複屈折板２２１〜２２５を通過した位置をそれぞれ示す仮想結像面を示す図である。この仮想結像面の設定は格子の軸線の間隔を除いて図９の仮想結像面と等しく、これと同等に取扱う。各仮想結像面上に描かれる格子の軸線は、水平および垂直方向Ｈ，Ｖに、それぞれ間隔３ＰＨ／８、ＰＶ／４で配列される。
【０３６２】
第１状態の可変空間フィルタ２２０において、フィルタ入射前の画像光の光軸と仮想結像面との交点を座標（３，３）とする。この画像光は、複屈折板２２１に入射して、複屈折板２２１に対する常光と異常光とに分離される。該常光の射出側の光軸の交点は、座標（３，３）である。また、異常光の射出側の光軸は、入射側の光軸の延長線からみて、水平方向Ｈの分離ベクトルＢ１１と同じ向きに同じ長さだけ移動しており、その光軸の交点は座標（３，５）である。
【０３６３】
この１対の常光および異常光は、それぞれ同一の座標から複屈折板２２２に入射する。複屈折板２２１，２２２の分離ベクトルＢ１１，Ｂ１２は相互に直交するので、複屈折板２２１の常光および異常光は、それぞれ複屈折板２２２に対する異常光および常光になる。したがって、座標（３，３）の複屈折板２２１の常光は、複屈折板２２２の異常光となり、その光軸は、座標（３，３）の光軸の延長線からみて、分離ベクトルＢ１２と同じ向きに同じ長さだけ移動される。ゆえに、複屈折板２２２の常光の光軸の交点は座標（４，３）である。また同様に、座標（３，５）の複屈折板２２１の異常光は、複屈折板２２２の常光となるので、そのまま複屈折板２２２を通過する。ゆえに、複屈折板２２２の常光の光軸の交点は座標（３，５）である。
【０３６４】
この１対の常光および異常光は、それぞれ同一の座標から複屈折板２２３に入射する。複屈折板２２２，２２３の分離ベクトルＢ１２，Ｂ１３は平行なので、複屈折板２２２の常光および異常光は、そのまま複屈折板２２３に対する常光および異常光になる。ゆえに、座標（３，５）の複屈折板２２２の常光は、複屈折板２２２の常光となるので、そのまま複屈折板２２３を通過する。ゆえに、複屈折板２２３の常光の光軸の交点は座標（３，５）である。また、座標（４，３）の複屈折板２２２の異常光は、複屈折板２２３の異常光となり、その光軸は、座標（４，３）の光軸の延長線からみて、分離ベクトルＢ１３と同じ向きに同じ長さだけ移動される。ゆえに、複屈折板２２３の異常光の光軸の交点は座標（５，３）である。
【０３６５】
この１対の常光および異常光は、それぞれ同一の座標から施光板２２６に入射する。施光板２２６は、上述の常光および異常光の偏波面を、それぞれ角度θ２だけ、元の偏波面から回転変位させて射出させる。このとき常光および異常光の光軸の平行移動はないので、それぞれの光軸の交点は施光板２２６への入射前の位置を保つ。
【０３６６】
この１対の常光および異常光は、それぞれ座標（３，５），（５，３）から複屈折板２２４に入射する。施光板２２６で偏波面が回転変位されたことによって、上述の常光および異常光の各偏波面と、複屈折板２２４の分離ベクトルＢ１４の延長線Ｌ３との成す角度は、それぞれ４５度となる。これによって、上述の常光および異常光は、それぞれ同じ強度で、該複屈折板２２４に対する常光および異常光に分離される。
【０３６７】
複屈折板２２３の常光および異常光のうち、複屈折板２２４に対する常光は、そのまま複屈折板２２４を通過するので、その光軸の交点は座標（３，５），（５，３）である。また、複屈折板２２３の常光および異常光の複屈折板２２４に対する異常光の光軸は、それぞれ座標（３，５），（５，３）の光軸の延長線からみて、水平方向Ｈに長さ３ＰＨ／８でかつ垂直方向Ｖに長さＰＶ／４の分離長さだけ、つまり分離ベクトルＢ１４と同じ向きに同じ長さだけ移動しており、その光軸の交点は、それぞれ座標（２，４），（４，２）である。
【０３６８】
この２対の常光および異常光は、上述の座標から複屈折板２２５に入射する。複屈折板２２４，２２５の分離ベクトルＢ１４，Ｂ１５は等しいので、複屈折板２２４の常光および異常光は、そのまま複屈折板２２５に対する常光および異常光になる。ゆえに、座標（３，５），（５，３）の複屈折板２２４の常光は、複屈折板２２５の常光となるので、そのまま複屈折板２２５を通過する。ゆえに、複屈折板２２５の常光の光軸の交点は座標（３，５），（５，３）である。また、座標（２，４），（４，２）の複屈折板２２４の異常光は、複屈折板２２５の異常光となり、その光軸は、入射前の光軸の延長線からみて、水平方向Ｈに長さ３ＰＨ／８でかつ垂直方向Ｖに長さＰＶ／４の分離長さだけ、つまり分離ベクトルＢ１５と同じ向きに同じ長さだけ移動される。ゆえに、複屈折板２２５の異常光の光軸の交点は座標（３，１），（１，３）である。
【０３６９】
このように、複屈折板２２１〜２２５を順次的に通過した画像光は、２対の常光および異常光に分離される。これら常光および異常光の光軸と仮想結像面との交点は、白丸と黒丸との記号で表される対、および白四角と黒四角との記号で表される対毎に水平方向Ｈに間隔３ＰＨ／４だけ、かつ垂直方向Ｖに間隔ＰＶ／２だけそれぞれ離れる。このように分離される画像光について、第１減衰量を表す空間周波数（ｆｈ，ｆｖ）の伝達関数Ｈ１（ｆｈ，ｆｖ）は、以下の式で表される。
【０３７０】
【数１６】

【０３７１】
上式で、「ｈ」は水平方向Ｈの空間座標、「ｖ」は、垂直方向の空間座標、「δ（ｈ，ｖ）」は、空間座標（ｈ，ｖ）の２次元のデルタ関数、「Ｆ」はフーリエ変換をそれぞれ表す。この式から、第１状態の可変空間フィルタ２２０は、画像光の空間周波数（ｆｈ，ｆｖ）の成分のうち、以下の式を満たす成分のレスポンスがなくなるように、該空間周波数成分の振幅を減衰することがわかる。
【０３７２】
【数１７】

【０３７３】
上式の第１項と第３項の符号は、記載順と関係なく組合わされ、組合わせ数は４通りである。
【０３７４】
特に、空間周波数軸上を考えれば、水平方向の空間周波数軸上の空間周波数±２ｆＨ／３の成分のレスポンスがなくなり、かつ垂直方向の空間周波数軸上の空間周波数±ｆＶの成分のレスポンスがなくなっている。また、空間周波数平面の第１および第２象限内で、（±２ｆＨ／３，０）と（０，±ｆＶ）とを結ぶ仮想線上に該当する成分のレスポンスがなくなる。
【０３７５】
また、上述した可変空間フィルタ２２０が第２状態にあるとき、複屈折板２２３，２２５は、第１状態から１８０度角変位され、分離ベクトルＢ１３ａ，Ｂ１５ａが図４９（ａ），（ｂ）に示す状態に保たれる。これら分離ベクトルＢ１３ａ，Ｂ１５ａは、ＨＶ平面上で、第１状態での分離ベクトルＢ１３，Ｂ１５と平行でかつ逆向きである。
【０３７６】
このとき、フィルタ２２０を通過する画像光の挙動を、図４８（ａ），（ｂ）および図５０（ａ），（ｂ），（ｃ）の仮想結像面を用いて、以下に説明する。図５０の仮想結像面は、画像光の光軸の交点の位置を除いて、図４８（ｃ）〜図４８（ｅ）の各仮想結像面と等しく、同様に取扱う。
【０３７７】
第２状態の可変空間フィルタ２２０において、フィルタ入射前の画像光の光軸と仮想結像面との交点を座標（３，３）とする。この画像光が、複屈折板２２１，２２２を通過するときの挙動は、第１状態のときと等しいので、説明は省略する。
【０３７８】
複屈折板２２３には、複屈折板２２２に対する座標（３，５）の常光、および座標（４，３）の異常光が、この同一の座標から入射する。複屈折板２２２，２２３の分離ベクトルＢ１２，Ｂ１３ａは相互に平行であり、向きだけが相反する。したがって、複屈折板２２２の常光および異常光は、そのまま複屈折板２２３に対する常光および異常光になる。
【０３７９】
したがって、座標（３，５）の複屈折板２２２の常光は、複屈折板２２３の常光となって射出し、その光軸の交点は、座標（３，５）である。また、座標（４，３）の複屈折板２２２の異常光は、複屈折板２２３の異常光となり、その光軸は、座標（４，３）の光軸の延長線からみて、分離長さＰＶ／４だけ、垂直方向Ｖに沿った分離ベクトルＢ１３ａの向きに移動される。この異常光の光軸の交点は座標（３，３）である。これら常光および異常光は、施光板２２６でその偏波面が角度θ２だけ回転変位された後、光軸の交点の位置を保ったまま、複屈折板２２４に入射する。
【０３８０】
この１対の常光および異常光は、第１状態と同様に、それぞれ同じ強度で、該複屈折板２２４に対する常光および異常光に分離されて射出する。複屈折板２２３の常光および異常光の、複屈折板２２４に対する常光の射出後の光軸の交点は座標（３，５），（３，３）である。また、複屈折板２２３の常光および異常光の複屈折板２２４に対する異常光の光軸は、それぞれ座標（３，５），（３，３）の光軸の延長線からみて、上述の分離長さだけ、分離ベクトルＢ１４の向きに移動しており、その光軸の交点は、それぞれ座標（２，４），（２，２）である。
【０３８１】
この２対の常光および異常光は、上述の座標から複屈折板２２５に入射する。複屈折板２２４，２２５の分離ベクトルＢ１４，Ｂ１５ａは相互に平行であって長さが等しく、向きだけが相反する。したがって、複屈折板２２４の常光および異常光は、そのまま複屈折板２２５に対する常光および異常光になる。
【０３８２】
したがって、座標（３，５），（３，３）の複屈折板２２４の常光は、複屈折板２２５の常光となって射出し、その光軸の交点は、座標（３，５），（３，３）である。また、座標（２，４），（２，２）の複屈折板２２４の異常光は、複屈折板２２５の異常光となり、その光軸は、入射前の光軸の延長線からみて、前述の分離長さだけ、分離ベクトルＢ１５ａの向きに移動される。この異常光の光軸の交点は座標（３，５），（３，３）である。
【０３８３】
このように、複屈折板２２２，２２３の分離ベクトルＢ１２，Ｂ１３ａ、および複屈折板２２４，２２５の分離ベクトルＢ１４，Ｂ１５ａが、それぞれ平行で大きさが等しく、かつ向きが相反するとき、複屈折板２２２，２２４に対する常光および異常光の光軸の交点が、複屈折板２２３，２２５通過後に一致する。これによって、複屈折板２２２，２２３；２２４，２２５での光の分離効果が打消される。したがって、複屈折板２２５通過後の画像光の分離状態は、複屈折板２２１通過直後の状態に戻る。
【０３８４】
このように複屈折板２２１〜２２５を順次的に通過した画像光は、１対の常光および異常光に分離される。この常光および異常光の光軸と仮想結像面との交点は、水平方向Ｈに平行に、間隔３ＰＨ／４だけ離れる。このように分離された画像光に関して、第２減衰量を表す空間周波数（ｆｈ，ｆｖ）の伝達関数Ｈ２（ｆｈ，ｆｖ）は、以下の式で表される。
【０３８５】
【数１８】

【０３８６】
この結果から、画像光の空間周波数成分のうち、空間周波数±２ｆＨ／３の成分のレスポンスだけがなくなるように、該空間周波数成分の振幅が減衰されることが分かる。
【０３８７】
このような構造の撮像装置の通常モードおよび高解像度モードの撮像動作を以下に説明する。
【０３８８】
通常モードの画像光の撮像動作は、第１実施形態の通常モードの画像光の撮像動作と類似し、光学系、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。上述の撮像素子の挙動は、図１７の撮像素子１３１とほぼ等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。たとえば、図４４中の透光領域Ｌ（２，４）に対応する第２行第４列の画素Ｄ（２，４）の輝度データＹ（２，４）、色差データ（Ｒ−Ｙ）（２，４），（Ｂ−Ｙ）（２，４）は、以下の式で示される。画素Ｄ（２，４）は、赤の受光データだけの対応画素である。
【０３８９】
【数１９】

【０３９０】
この輝度データＹは、各画素Ｄ毎に個別的に直接求めることができる。ゆえに、原画像の対応画素は、全て輝度データの実画素となるので、第１出力画像信号の輝度信号の実画素の数および配列は、原画像の対応画素の数および配列と等しい。
【０３９１】
原画像の全ての対応画素の配列の水平および垂直方向Ｈ，Ｖの配列周期は、図４４からそれぞれ周期ＰＨ／２，ＰＶとわかる。このことから、この第１出力画像信号の輝度信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ，ｆＶとみなされる。また、同一種類の対応画素だけの配列の水平および垂直方向Ｈ，Ｖの配列周期は、図４４から、それぞれ周期３ＰＨ／２，ＰＶとわかる。このことから、色差信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ／３，ｆＶとみなされる。さらに、各色彩光の対応画素は、水平方向Ｈに長さ３ＰＨ／２でかつ垂直方向Ｖに長さＰＶ／２だけ離れて、周期的に配列される。この配列による斜め方向のサンプリング周波数のうちで、最も低周波数のものは、空間周波数ｆＨ，ｆＶを用いて、（±ｆＨ／３，±ｆＶ／２）と表される。またこのサンプリング周波数に関する空間軸に平行な方向を第２斜め方向Ｕαとする。
【０３９２】
図５１は、上述した第１出力画像信号の輝度の基底帯域２１２、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域２１２の水平および垂直方向Ｈの空間周波数軸上の範囲は、以下の式で表される。
【０３９３】
−ｆＨ≦ｆ≦ｆＨ …（５３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（５４）
したがって、第１および第２象限の輝度の基底帯域２１２は、以下の３箇所を頂点とする三角形領域である。
【０３９４】
（−ｆＨ，０）
（ｆＨ，０）
（０，ｆＶ／２）
この基底帯域２１２内に現れる色差信号のモアレのキャリア周波数は、以下の２箇所に存在する。
【０３９５】
（−２ｆＨ／３，０）
（２ｆＨ／３，０）
さらに、基底帯域２１４近傍の以下の２箇所にも、上述の斜め方向Ｕαのサンプリング周波数（ｆＨ／３，ｆＶ／２）によって現れる色差信号のモアレのキャリア周波数がある。
【０３９６】
（−ｆＨ／３，ｆＶ／２）
（ｆＨ／３，ｆＶ／２）
上述した第１状態の可変空間フィルタ２２０の第１減衰量は、基底帯域２１２のうち、空間周波数（±２ｆＨ／３，０），（±ｆＨ／３，±ｆＶ／２），（０，±ｆＶ）近傍の空間周波数成分を減衰させるように定められる。これによって、基底帯域２１２の水平方向Ｈの所望信号成分の振幅が、水平方向Ｈの空間周波数±ｆＨ／３の部分で０になるように制限される。このため、基底帯域２１２の水平方向Ｈの空間周波数軸上の実質の幅が空間周波数±ｆＨ／３未満に縮小される。また、基底帯域２１２の垂直方向Ｖの実質の幅も、空間周波数±ｆＶ／２未満に縮小される。これによって、第１出力画像の水平および垂直方向Ｈ，Ｖの実質の解像度は、その分だけ基底帯域２１２から推測される理想の解像度よりも低下する。
【０３９７】
高解像度モードの画像光の撮像動作は、第１実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。上述の撮像素子の挙動は、撮像素子１３１とほぼ等しい。このとき、イメージシフト機構６２は、画像光の結像位置を、以下の２箇所に移動させる。
【０３９８】
図５２は、上述した高解像度モードの画像光の撮像動作における第１および第２結像位置の位置関係を示す図である。第１結像位置Ｑａ７を基準とすると、第２結像位置Ｑｂ７は、垂直方向Ｖに受光領域ＰＤの配列周期の長さＰＶだけ離れる。イメージシフト機構６２の仮想基準軸線の設置状態、および第２状態の屈折板７１の傾斜角度は、これら結像位置がこの位置関係をなすように定められる。
【０３９９】
信号合成回路４４は、まず、第２実施形態と同じ手法で第１および第２原画像信号から合成画像信号を生成する。この合成画像は、Ｍ行２Ｎ列に配列されるＭ×２Ｎ個の対応画素からなる。合成画像の水平および垂直方向Ｈ，Ｖの画素の配列周期は、それぞれ周期ＰＨ／２，ＰＶである。
【０４００】
図５３は、上述の合成画像信号が表す合成画像の等価的な画素Ｄの配列の基本配列パターン２１３を示す図である。この基本配列パターン２１３は、２行６列に配列される１２個の画素からなる。画素Ｄ（１，１），Ｄ（１，４），Ｄ（２，１），Ｄ（２，４）は、赤の受光データの対応画素である。画素Ｄ（１，３），Ｄ（１，６），Ｄ（２，３），Ｄ（２，６）は、緑の受光データの対応画素である。画素Ｄ（１，２），Ｄ（１，５），Ｄ（２，２），Ｄ（２，５）は、青の受光データの対応画素である。このことから、合成画像は、画素配列が原画像の基本の画素配列と等しく、原画像で仮想画素だった画素が全て対応画素になっていることがわかる。
【０４０１】
次いで、信号処理回路４４は、この合成画像信号から、第２出力画像の輝度信号および２種類の色差信号を求める。たとえば第２行第４列の画素Ｄ（２，４）の輝度データＹ（２，４）、色差データ（Ｒ−Ｙ）（２，４），（Ｂ−Ｙ）（２，４）は、以下の式で示される。画素Ｄ（２，４）は、赤の受光データだけの対応画素である。
【０４０２】
【数２０】

【０４０３】
これの輝度データＹは、合成画像の各画素Ｄごとに個別的に直接求めることができる。ゆえに、合成画像の画素Ｄは、全て輝度データの実画素となるので、第２出力画像信号の輝度信号の実画素の数および配列は、合成画像の画素Ｄの数および配列と等しい。
【０４０４】
合成画像の全ての対応画素の配列の水平および垂直方向Ｈ，Ｖの配列周期は、図５３からそれぞれ周期ＰＨ／２，ＰＶとわかる。このことから、この第２出力画像信号の輝度信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ，ｆＶとみなされる。また、同一種類の対応画素だけの配列の水平および垂直方向Ｈ，Ｖの配列周期は、図５３から、それぞれ周期３ＰＨ／２，ＰＶとわかる。このことから、色差信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ／３，ｆＶとみなされる。さらに、図５３から、前述の第２斜め方向Ｕαに関する配列周期が半分となったことがわかる。
【０４０５】
図５４は、上述の第２出力画像信号の輝度の基底帯域２１４、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域２１４の水平および垂直方向Ｈ，Ｖの空間周波数軸上の範囲は、第１出力画像信号の輝度の基底帯域２１１の各範囲と等しく、以下の式で表される。
【０４０６】
−ｆＨ≦ｆ≦ｆＨ …（５３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（５４）
また、第３の斜め方向Ｗｘ，Ｗｙを考える。斜め方向Ｗｘ，Ｗｙは、水平方向および垂直方向Ｈ，Ｖにそれぞれ平行で大きさがそれぞれ配列周期ＰＨ、配列周期ＰＶの半分である２つの基本ベクトルの合成で規定される方向である。斜め方向Ｗｘ，Ｗｙの配列周期ＰＷｘ，ＰＷｙは、以下の式で表される。
【０４０７】
【数２１】

【０４０８】
斜め方向Ｗｘ，Ｗｙの画像光のサンプリング周波数ｆｗｘ，ｆｗｙは、それぞれ上式の配列周期ＰＷｘ，ＰＷｙの逆数である。
【０４０９】
【数２２】

【０４１０】
高解像度モードでは、この第３斜め方向Ｗｘ，Ｗｙに関して、その方向の空間周波数軸上の範囲が２倍に拡大される。したがって、第１および第２象限の輝度の基底帯域２１４は、以下の４箇所を頂点とする矩形領域である。
【０４１１】
（−ｆＨ，０）
（ｆＨ，０）
（−ｆＨ，ｆＶ／２）
（ｆＨ，ｆＶ／２）
この基底帯域２１４内に現れる色差信号のモアレのキャリア周波数は、以下の２箇所に存在する。
【０４１２】
（−２ｆＨ／３，０）
（２ｆＨ／３，０）
上述した第１状態の可変空間フィルタ２２０の第２減衰量は、基底帯域２１４のうち、空間周波数±２ｆＨ／３近傍の空間周波数成分を減衰させるように定められる。これによって、基底帯域２１４の水平方向Ｈの所望信号成分の振幅が、水平方向Ｈの空間周波数±２ｆＨ／３の部分で０になるように制限される。これによって、基底帯域２１４の水平方向Ｈの空間周波数軸上の実質的な幅が±２ｆＨ／３未満に縮小される。
【０４１３】
この第２出力画像信号では、（±ｆＨ／３，ｆＶ／２）に現れるモアレのキャリア周波数が消えているので、このキャリア周波数を中心周波数とするモアレが消滅する。これによって、垂直方向Ｖの空間周波数成分を制限する必要がなくなるので、基底帯域２１４の実質の幅が基底帯域の範囲全域まで拡大される。このことから、第２出力画像の垂直方向Ｖの解像度は、第１出力画像よりも向上する。
【０４１４】
本発明の第８実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の光学系および色フィルタ以外の構成要素の構造は、第７実施形態の撮像装置と等しく、同一の構成要素には同一の符号を付して説明は省略する。本実施形態の撮像装置は、全画素読出し型の撮像素子を用い、通常モードおよび高解像度モードで画像光を撮像し、異なる解像度の第１および第２出力画像信号を得る。
【０４１５】
光学系のうち、イメージシフト機構６２および可変空間フィルタ２２０の内部構造は等しいが、その設置状態が異なる。機構６２については後述する。フィルタ２２０は、複屈折板２２１の分離ベクトルＢ１１が、垂直方向Ｖと平行になるように設置される。これによって、第１状態のフィルタ２２０は、画像光の空間周波数（ｆｈ，ｆｖ）の成分のうち、以下の式を満たす成分のレスポンスがなくなるように、該空間周波数成分の振幅を減衰することがわかる。
【０４１６】
【数２３】

【０４１７】
上式の第１項と第３項の符号は、記載順と関係なく組合わされ、組合わせ数は４通りである。
【０４１８】
特に、空間周波数軸上を考えれば、水平方向の空間周波数軸上の空間周波数±ｆＨの成分のレスポンスがなくなり、かつ垂直方向の空間周波数軸上の空間周波数±２ｆＶ／３の成分のレスポンスがなくなっている。また、第２状態のフィルタ２２０は、垂直方向Ｖの空間周波数成分のうち、空間周波数±２ｆＶ／３の成分のレスポンスをなくならせる。
【０４１９】
色フィルタは、その設置場所、通過可能な色彩光の組合せ、ならびに透光領域Ｌの数が、第７実施形態の色フィルタと等しく、透光領域Ｌの配列および色配列だけが異なる。ゆえに第１〜第３色彩光は、原色系の赤、青および緑の３色である。また、透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶ／２である。
【０４２０】
図５５は、上述の色フィルタの透光領域Ｌの色配列の基本配列パターン２１６を示す図である。この基本配列パターン２１６は、６つの透光領域Ｌからなり、同種の透光領域を２つずつ含む。これら透光領域Ｌは、隣接する２つの列の各透光領域Ｌが、長さＰＶ／２だけ相互にずれて配列され、６行２列の基本の配列に市松状に並べられた配列と等価である。
【０４２１】
この基本配列パターン２１６において、透光領域Ｌ（１，１），Ｌ（４，２）は、赤の色彩光を通過させる赤の透光領域である。透光領域Ｌ（３，１），Ｌ（６，２）は、緑の透光領域である。透光領域Ｌ（５，１），Ｌ（２，２）は、青の透光領域である。この基本配列パターン２１６は、水平および垂直方向Ｈ，Ｖの配列周期を保ったまま、第７実施形態の撮像装置の色フィルタの基本配列パターン２１１の透光領域Ｌの行と列の配列関係および色配列だけを水平および垂直方向Ｈ，Ｖに対して入換えた配列である。
【０４２２】
また、本実施形態の撮像素子の受光領域ＰＤは、この色フィルタの実在の透光領域Ｌの配列と等価な配列で、結像面上に配列される。これは、水平および垂直方向Ｈ，Ｖの配列周期を保ったまま、第７実施形態の撮像素子の受光領域ＰＤの配列の行と列の配列関係だけを、水平および垂直方向Ｈ，Ｖに対して入換えた配列である。
【０４２３】
上述の撮像素子は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列および各画素と受光データとの対応関係は、この色フィルタの透光領域Ｌの配列および色配列と等価であり、各対応画素は単一の色彩光の受光データだけを有する。
【０４２４】
上述の撮像装置の通常モードの画像光の撮像動作は、第７実施形態の通常モードの画像光の撮像動作と類似し、光学系、撮像素子、回路３５，３６、および画像メモリ３７の挙動は、第７実施形態と等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（５０）〜式（５２）と類似であり、各対応画素の行列番号を行および列に関して入換えた点だけが異なる。このようにして得られた第１出力画像信号の輝度の基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、第１斜め方向Ｕｘの空間周波数軸に対して図５１と線対称な図面である。すなわち、図５１の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数軸だけを入換えた図と等しい。
【０４２５】
この図から、水平方向Ｈの空間周波数軸上には、モアレのキャリア周波数が存在しないが、その近傍の空間周波数（±ｆＨ／２，ｆＶ／３）にモアレのキャリア周波数があることが分かる。したがって、水平方向Ｈの基底帯域の実質の幅は、基底帯域の水平方向Ｈの範囲の空間周波数±ｆＨ／２未満に縮小される。また、垂直方向Ｖの空間周波数軸上の空間周波数±２ｆＶ／３に、モアレのキャリア周波数があることがわかる。したがって、第１出力画像信号の垂直方向Ｖの基底帯域の実質の幅は、空間周波数±２ｆＶ／３未満に制限される。したがって、本実施形態の通常モードの第１出力画像は、第７実施形態の第１出力画像と比較して、垂直方向Ｖの解像度が向上する。
【０４２６】
上述の撮像装置の高解像度モードの画像光の撮像動作は、第７実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、撮像素子、回路３５，３６、および画像メモリ３７の挙動は、第７実施形態と等しい。このとき、画像光の第１および第２結像位置は、水平方向Ｈに長さＰＨだけ相互に離れる位置関係を保つ。イメージシフト機構６２の屈折板７１の仮想基準軸線、および第２状態の屈折板７１の傾斜角度は、この位置関係に応じて画像光の光軸を平行移動させることができるように、第７実施形態の設置状態と比較して、各部材の水平および垂直方向Ｈ，Ｖを入換えて設置される。
【０４２７】
信号処理回路４４で生成される合成画像信号の等価的な画素の基本配列パターンは、図５３の基本配列パターン２１３と類似であり、その対応画素の水平および垂直方向の配列周期を保ったまま、行と列の配列関係ならびに色配列の水平および垂直方向Ｈ，Ｖを入換えた点が異なる。該回路４４は、この合成画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（５５）〜式（５７）と類似であり、各対応画素の行列番号を行および列に関して入換えた点だけが異なる。この第２出力画像信号の輝度の基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、第１斜め方向Ｕｘの空間周波数軸に対して、図５４と線対称な図面である。すなわち、図５４の空間周波数平面図の水平および垂直方向の周波数だけを入換えた図と等しい。
【０４２８】
この図から、第２出力画像信号の輝度の基底帯域は、第１出力画像信号の輝度の基底帯域と比較して、水平および垂直方向Ｈ，Ｖが等しく、原点から空間周波数（ｆＨ／２，±ｆＶ）に向かう方向の範囲が２倍に拡大されることがわかる。また、第１出力画像信号で水平方向Ｈの空間周波数軸近傍に現れていたモアレのキャリア周波数が消えるので、空間周波数±ｆＨ／２近傍の空間周波数成分を制限する必要がなくなる。したがって、画像光の空間周波数成分制限後の基底帯域の水平方向Ｈの実質の幅が、基底帯域の範囲全域まで拡大される。これらのことから、第２出力画像の水平方向Ｈの解像度は、第１出力画像よりも向上する。
【０４２９】
以上の結果から、本実施形態の撮像装置の第１および第２出力画像は、第７実施形態の第１および第２出力画像と比較して、垂直方向Ｖの解像度が向上される。
【０４３０】
本発明の第９実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の色フィルタ以外の構成要素の構造は、第２実施形態の撮像装置と等しく、同一の構成要素には同一の符号を付して説明は省略する。本撮像装置は全画素読出し型の撮像素子１３１を用い、通常モードおよび高解像度モードで画像光を撮像して、異なる解像度の第１および第２出力画像信号を得る。
【０４３１】
色フィルタは、第２実施形態の色フィルタと、設置場所ならびに透光領域Ｌの数および配列が等しく、通過可能な色彩光の組合わせおよび色配列が異なる。ゆえに、透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶである。また、通過可能な第１〜第３色彩光は、原色系の赤、青および緑の３色である。
【０４３２】
さらに該色フィルタでは、緑の透光領域Ｌが、赤および青の透光領域Ｌの数の２倍の数だけ準備される。緑の色彩光は、人の視覚において感度が高く、輝度信号に対して赤および青の色彩光よりも寄与が大きいことが知られている。また、人の視覚に感じられる空間周波数帯域は、色度よりも輝度のほうが広い。したがって、緑の透光領域Ｌを増加させて緑の色彩光を受光する受光領域ＰＤの数を増やすことによって、輝度の空間周波数帯域を拡大させることができる。
【０４３３】
図５６は、上述した色フィルタの透光領域Ｌの色配列の基本配列パターン２３１を示す図である。この基本配列パターン２３１は、２行２列に配列される４つの透光領域Ｌから成る。このパターン２３１は、緑の透光領域Ｌだけを２つ含み、赤および青の透光領域を１つずつ含む。この基本配列パターン２３１において、透光領域Ｌ（１，１），Ｌ（２，２）は、緑の透光領域Ｌである。透光領域Ｌ（１，２）は、赤の透光領域Ｌである。透光領域Ｌ（２，１）は、青の透光領域Ｌである。
【０４３４】
撮像素子１３１は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素Ｄの配列、および該画素Ｄと受光データとの対応関係は、図５６の色フィルタの透光領域Ｌの配列および色配列と等価であり、各対応画素は、単一の色彩光の受光データを有する。
【０４３５】
上述の撮像装置の通常モードの画像光の撮像動作は、第２実施形態の通常モードの画像光の撮像動作と類似し、光学系、撮像素子１３１、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。たとえば図５６の透光領域Ｌ（２，２）に対応する第２行第２列の画素Ｄ（２，２）の輝度データＹ（２，２）、色差データ（Ｒ−Ｙ）（２，２），（Ｂ−Ｙ）（２，２）は、以下の式で示される。画素Ｄ（２，２）は、緑の受光データだけの対応画素である。
【０４３６】
【数２４】

【０４３７】
この輝度データＹは、各画素Ｄ毎に個別的に直接求めることができる。ゆえに、原画像の対応画素は、全て輝度データの実画素となるので、第１出力画像信号の輝度信号の実画素の数および配列は、原画像の対応画素の数および配列と等しい。
【０４３８】
原画像の全ての対応画素の配列の水平および垂直方向Ｈ，Ｖの配列周期は、図５６からそれぞれ周期ＰＨ，ＰＶとわかる。このことから、この第１出力画像信号の輝度信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶとみなされる。また、同一種類の対応画素だけの配列のうち、緑の色彩光の対応画素だけの配列の水平，垂直および斜め方向Ｈ，Ｖ，Ｕの配列周期は、図５６から、それぞれ周期ＰＨ，ＰＶ，２ＰＵとわかる。また、赤および青の色彩光の対応画素だけの各配列の水平、垂直および斜め方向Ｈ，Ｖ，Ｕの配列周期は、図５６から、それぞれ周期２ＰＨ，２ＰＶ，２ＰＵとわかる。このことから、色差信号の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕのサンプリング周波数は、緑に関して空間周波数ｆＨ，ｆＶ，ｆＵ／２、赤および青に関して空間周波数ｆＨ／２，ｆＶ／２，ｆＵ／２とみなされる。
【０４３９】
図５７は、上述した第１出力画像信号の輝度の基底帯域２３２、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域２３２の水平および垂直方向Ｈの空間周波数軸上の範囲は、第１実施形態の基底帯域１１１と等しく、以下の式で表される。
【０４４０】
（−ｆＨ／２）≦ｆ≦（ｆＨ／２） …（１３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（１４）
（−ｆｕ／２）≦ｆ≦（ｆｕ／２） …（１５）
したがって、第１および第２象限の輝度の基底帯域２３２は、以下の４箇所を頂点とする矩形領域である。
【０４４１】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
この基底帯域２３２内に現れる色差信号のモアレのキャリア周波数は、以下の５箇所に存在する。
【０４４２】
（−ｆＨ／２，０）
（ｆＨ／２，０）
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
（０，ｆＶ／２）
前述した第１状態の可変空間フィルタ９０の第１減衰量は、基底帯域２３２のうち、空間周波数±ｆＨ／２，±ｆＶ／２近傍の空間周波数成分を減衰させるように定められる。これによって、基底帯域２３２の水平および垂直方向Ｈ，Ｖの空間周波数軸上の実質の幅は、基底帯域２３２の各範囲全域よりも縮小される。これによって、第１出力画像の水平および垂直方向Ｈ，Ｖの実質の解像度は、その分だけ基底帯域２３２から推測される理想の解像度よりも低下する。
【０４４３】
上述の撮像装置の高解像度モードの画像光の撮像動作は、第２実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、撮像素子１３１、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。このとき、イメージシフト機構６２は、画像光の結像位置を、図１４に表すように、水平方向Ｈに間隔ＰＨだけ離れた第１および第２結像位置Ｑａ１，Ｑｂ１に移動させる。信号処理回路４４は、まず、第２実施形態と同じ手法で第１および第２原画像信号から合成画像信号を生成する。この合成画像は、Ｍ行Ｎ列に配列されるＭ×Ｎ個の対応画素からなる。合成画像の水平および垂直方向Ｈ，Ｖの画素の配列周期は、それぞれ周期ＰＨ，ＰＶである。各対応画素は、それぞれ異なる２種類の色彩光の受光データを有する。
【０４４４】
図５８は、上述の合成画像信号が表す合成画像の等価的な画素Ｄの配列の基本配列パターン２３３を示す図である。この基本配列パターン２３３は、２行２列に配列される４つの画素からなる。画素Ｄ（１，１），Ｄ（１，２）は、緑と赤との対応画素である。画素Ｄ（２，１），Ｄ（２，２）は、緑と青の対応画素である。図５８では、緑と赤との対応画素には符号「Ｆａ」を記し、緑と青との対応画素には、符号「Ｆｂ」を記す。このことから、合成画像では、画素配列が原画像の画素配列と等しく、また全画素が緑の対応画素であることが分かる。
【０４４５】
信号処理回路４４は、この合成画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。たとえば第２行第２列の画素Ｄ（２，２）の輝度データＹ（２，２）、色差データ（Ｒ−Ｙ）（２，２），（Ｂ−Ｙ）（２，２）は、以下の式で示される。画素Ｄ（２，２）は、緑と青との受光データだけの対応画素である。
【０４４６】
【数２５】

【０４４７】
この輝度データＹは、合成画像の各対応画素毎に個別的に直接求めることができる。ゆえに、合成画像の対応画素は、全て輝度データの実画素となるので、第２出力画像信号の輝度信号の実画素の数および配列は、合成画像の対応画素の数および配列と等しい。
【０４４８】
合成画像の全ての対応画素の水平、垂直斜め方向Ｈ，Ｖ，Ｕの配列周期、および緑の対応画素だけの該方向Ｈ，Ｖ，Ｕの配列周期は、図５８からそれぞれ周期ＰＨ，ＰＶ，ＰＵとわかる。このことから、この第２出力画像信号の輝度信号の水平、垂直斜め方向Ｈ，Ｖ，Ｕのサンプリング周波数は、それぞれ空間周波数ｆＨ，ｆＶ，ｆｕとみなされる。また、赤および青の色彩光の対応画素だけの各配列の水平および垂直方向Ｈ，Ｖの配列周期は、図５８から、それぞれ周期ＰＨ，２ＰＶとわかる。このことから、色差信号の水平、垂直、および斜め方向Ｈ，Ｖ，Ｕのサンプリング周波数は、緑に関して空間周波数ｆＨ，ｆＶ，ｆＵ、赤および青に関して空間周波数ｆＨ，ｆＶ／２，とみなされる。
【０４４９】
このような第２出力画像信号の輝度の基底帯域、および色差信号のモアレのキャリア周波数は、図２９に示す第２実施形態の撮像装置の第２出力画像信号の輝度の基底帯域１８４、およびモアレのキャリア周波数と等しい。すなわち、基底帯域が第１出力画像信号の基底帯域２３２と等しく、モアレのキャリア周波数が（０，ｆＶ／２）の位置だけに現れる。ゆえに、第２出力画像は、第１出力画像と比較して、水平方向Ｈの解像度を向上させることができる。
【０４５０】
本発明の第１０実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の色フィルタおよび撮像素子以外の構成要素の構造は、第２実施形態の撮像装置と等しく、同一の構成要素には同一の符号を付して説明は省略する。該撮像装置は、全画素読出し型の撮像素子１３１に代わって、第７実施形態の撮像装置の撮像素子を用い、通常モードおよび高解像度モードで画像光を撮像して、異なる解像度の第１および第２出力画像信号を得る。
【０４５１】
色フィルタは、第７実施形態の色フィルタと設置場所、通過可能な色彩光の組合わせ、ならびに透光領域Ｌの数および配列が等しく、色配列だけが異なる。ゆえに、第１〜第３色彩光は、原色系の赤、青、および緑の３色である。また、透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、受光領域ＰＤの配列と等しく、それぞれ周期ＰＨ／２，ＰＶである。さらに、この色フィルタは、第９実施形態の色フィルタと同じ理由から、緑の透光領域が赤および青の透光領域の数の２倍の数だけ準備される。
【０４５２】
図５９は、上述した色フィルタの透光領域Ｌの色配列の基本配列パターン２４１を示す図である。この基本配列パターン２４１は、４つの透光領域Ｌから成る。この透光領域Ｌのうち、緑の透光領域Ｌだけが２つあり、赤および青の透光領域Ｌは１つずつある。これら透光領域Ｌは、２行４列の仮想配列に市松状に並べられた配列と等しく、各行の透光領域Ｌの間には、図示しない仮想の透光領域Ｌがあると見なすことができる。
【０４５３】
この基本配列パターン２４１において、透光領域Ｌ（１，１），Ｌ（２，４）は、緑の透光領域である。透光領域Ｌ（１，３）は赤の透光領域である。透光領域Ｌ（２，２）は、青の透光領域である。この基本配列パターン２４１から成る色配列の色フィルタは、実在の透光領域Ｌが少なくとも１つの実在の受光領域ＰＤの光入射側に配列されるように設置される。
【０４５４】
上述の撮像素子は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列、および該画素と受光データとの対応関係は、図５９の色フィルタの配列および色配列と等価であり、各対応画素は、単一の色彩光の受光データを有する。
【０４５５】
上述の撮像装置の通常モードの画像光の撮像動作は、第７実施形態の通常モードの画像光の撮像動作と類似し、光学系、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。上述の撮像素子の挙動は、図１７の撮像素子１３１とほぼ等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像信号の輝度信号および２種類の色差信号を求める。たとえば第２行第４列の画素Ｄ（２，４）の輝度データＹ（２，４）、色差データ（Ｒ−Ｙ）（２，４），（Ｂ−Ｙ）（２，４）は、以下の式で示される。画素Ｄ（２，４）は、緑の受光データだけの対応画素である。
【０４５６】
【数２６】

【０４５７】
この輝度データＹは、各画素Ｄ毎に個別的に直接求めることができる。ゆえに、原画像の対応画素は、全て輝度データの実画素となるので、第１出力画像信号の輝度信号の実画素の数および配列は、原画像の対応画素の数および配列と等しい。
【０４５８】
原画像の全ての対応画素の配列の水平および垂直方向Ｈ，Ｖの配列周期は、図５９からそれぞれ周期ＰＨ／２，ＰＶとわかる。このことから、この第１出力画像信号の輝度信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ，ｆＶとみなされる。また、赤および青の色彩光の対応画素だけの各配列の水平および垂直方向Ｈ，Ｖの配列周期は、図５９から、周期２ＰＨ，２ＰＶとわかる。このことから、色差信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、空間周波数ｆＨ／２，ｆＶ／２とみなされる。
【０４５９】
図６０は、上述した第１出力画像信号の輝度の基底帯域２４２、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域２４２の水平および垂直方向Ｈの空間周波数軸上の範囲は、以下の式で表される。
【０４６０】
−ｆＨ≦ｆ≦ｆＨ …（５３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（５４）
さらに基底帯域２４２の第３斜め方向Ｗｘ，Ｗｙの空間周波数軸上の範囲は、上述のサンプリング周波数ｆｗｘ，ｆｗｙの半分となる。したがって、第１および第２象限の輝度の基底帯域２４２は、以下の３箇所を頂点とする三角形領域である。
【０４６１】
（−ｆＨ，０）
（ｆＨ，０）
（０，ｆＶ／２）
この基底帯域２４２内に現れる色差信号のモアレのキャリア周波数は、以下の５箇所に存在する。
【０４６２】
（−ｆＨ，０）
（ｆＨ，０）
（−ｆＨ／２，０）
（ｆＨ／２，０）
（０，ｆＶ／２）
さらに、基底帯域２４２近傍の以下の２箇所にも、色差信号のモアレのキャリア周波数がある。
【０４６３】
（−ｆＨ／２，ｆＶ／２）
（ｆＨ／２，ｆＶ／２）
前述した第１状態の可変空間フィルタ９０の第１減衰量は、基底帯域２４２のうち、空間周波数±ｆＨ／２上の成分および空間周波数±ｆＶ／２上の成分を減衰させるように定められる。これによって、基底帯域２４２の垂直方向Ｖの空間周波数軸上の実質の幅は、基底帯域２４２の各範囲全域よりも縮小される。また、水平方向Ｈの空間周波数軸上の実質の幅は、基底帯域２４２の範囲の半分に縮小される。これによって、第１出力画像の水平および垂直方向Ｈ，Ｖの実質の解像度は、その分だけ基底帯域２３２から推測される理想の解像度よりも低下する。
【０４６４】
上述の撮像装置の高解像度モードの画像光の撮像動作は、第７実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、回路３５，３６、および画像メモリ３７の挙動は、第２実施形態と等しい。撮像素子の挙動は、撮像素子１３１とほぼ等しい。このとき、イメージシフト機構６２は、画像光の結像位置を、図１４の第１および第２結像位置Ｑａ１，Ｑｂ１に移動させる。
【０４６５】
信号合成回路４４は、まず、第２実施形態と同じ手法で第１および第２原画像信号から合成画像信号を生成する。この合成画像は、Ｍ×Ｎ個の対応画素および同数の仮想画素がＭ行２Ｎ列に配列されてなる。各対応画素は、２種類の受光データを有する。合成画像の水平および垂直方向Ｈ，Ｖの画素の配列周期は、それぞれ周期ＰＨ／２，ＰＶである。
【０４６６】
図６１は、上述の合成画像信号が表す合成画像の等価的な画素Ｄの配列の基本配列パターン２４３を示す図である。この基本配列パターン２４３は、２行４列に配列される８個の画素からなる。画素Ｄ（１，１），Ｄ（１，３）は、緑と赤との対応画素である。Ｄ（２，２），Ｄ（２，４）は、緑と青との対応画素である。残余の画素は、全て仮想画素である。このことから、合成画像の対応画素の配列は原画像の対応画素の配列と等しく市松状であることがわかる。
【０４６７】
次いで信号処理回路４４は、この合成画像信号から、第２出力画像の輝度信号および２種類の色差信号を求める。たとえば第２行第２列の画素Ｄ（２，２）の輝度データＹ（２，２）、色差データ（Ｒ−Ｙ）（２，２），（Ｂ−Ｙ）（２，２）は、以下の式で示される。画素Ｄ（２，２）は、緑および青の受光データの対応画素である。
【０４６８】
【数２７】

【０４６９】
この輝度データＹは、合成画像の各対応画素だけ個別的に直接求めることができる。仮想画素の輝度データは、周囲の対応画素の算出結果から補間する。ゆえに、合成画像の対応画素は、全て輝度データの実画素となるので、第２出力画像信号の輝度信号の実画素の数および配列は、合成画像の対応画素の数および配列と等しく市松状である。
【０４７０】
合成画像の全ての対応画素の水平および垂直方向Ｈ，Ｖの配列周期、および緑の対応画素だけの該方向Ｈ，Ｖの配列周期は、図６１からそれぞれ周期ＰＨ／２，ＰＶとわかる。このことから、この第２出力画像信号の輝度信号の水平および垂直方向Ｈ，Ｖのサンプリング周波数は、それぞれ空間周波数２ｆＨ，ｆＶとみなされる。また、赤および青の色彩光の対応画素だけの各配列の水平および垂直方向Ｈ，Ｖの配列周期は、図６１から、それぞれ周期ＰＨ，２ＰＶとわかる。このことから、色差信号の水平、および垂直方向Ｈ，Ｖのサンプリング周波数は、緑に関して空間周波数２ｆＨ，ｆＶ、赤および青に関して空間周波数ｆＨ，ｆＶ／２，とみなされる。さらに、図６１から、前述の第２斜め方向Ｕαの配列周期が２倍となったことがわかる。
【０４７１】
図６２は、上述した第２出力画像信号の輝度の基底帯域２４４、および色差信号のモアレのキャリア周波数の位置を示す空間周波数平面図である。輝度の基底帯域２４４は、第１出力画像信号の基底帯域２４２と等しく、その水平および垂直方向Ｈの空間周波数軸上の範囲は、以下の式で表される。
【０４７２】
−ｆＨ≦ｆ≦ｆＨ …（５３）
（−ｆＶ／２）≦ｆ≦（ｆＶ／２） …（５４）
この第１および第２象限の輝度の基底帯域２４４は、以下の３箇所を頂点とする三角形領域である。
【０４７３】
（−ｆＨ，０）
（ｆＨ，０）
（０，ｆＶ／２）
この基底帯域２４４内に現れる色差信号のモアレのキャリア周波数は、以下の３箇所に存在する。
【０４７４】
（−ｆＨ，０）
（ｆＨ，０）
（０，ｆＶ／２）
前述した第２状態の可変空間フィルタ９０は画像光の空間周波数成分のうち、空間周波数±ｆＶ／２の空間周波数成分を減衰させる。これによって、基底帯域２４４の垂直方向Ｖの空間周波数軸上の実質の幅は、基底帯域２４４の垂直方向Ｖの範囲全域よりも縮小される。また、第２状態のフィルタ９０は、水平方向Ｈの空間周波数成分を減衰させないが、光学系のＭＴＦおよび撮像素子のアパーチャ効果によって、水平方向Ｈの空間周波数±ｆＨ近傍の成分が減衰される。これによって、基底帯域２４４の水平方向Ｈの空間周波数軸上の実質の幅は、基底帯域２４２の範囲未満に縮小されるが、第１出力画像信号の実質の幅よりも拡大する。これによって、第２出力画像の水平方向Ｈの実質の解像度が、第１出力画像の水平方向Ｈの実質の解像度よりも向上される。
【０４７５】
本発明の第１１実施形態の撮像装置を以下に説明する。本実施形態の撮像装置の光学系、色フィルタおよび撮像素子以外の構成要素の構造は、第１０実施形態の撮像装置と等しく、同一の構成要素には同一の符号を付して説明は省略する。本実施形態の撮像装置は、第８実施形態に示す全画素読出し型の撮像素子を用い、通常モードおよび高解像度モードで画像光を撮像し、異なる解像度の第１および第２出力画像信号を得る。
【０４７６】
光学系のうち、イメージシフト機構６２および可変空間フィルタ９０の内部構造は等しいが、その設置状態が異なる。機構６２については後述する。フィルタ９０は、複屈折板９１の分離ベクトルＢ１が、水平方向Ｈと平行になるように設置される。これによって、第１状態のフィルタ９０は、水平および垂直方向Ｈ，Ｖの空間周波数成分のうち、空間周波数±ｆＨ／２の成分を減衰させ、また空間周波数±ｆＶ／２の成分の振幅を減衰させる。また、第２状態のフィルタ９０は、水平方向Ｈの空間周波数成分のうち、空間周波数±ｆＨ／２の成分の振幅を減衰させる。
【０４７７】
色フィルタは、その設置場所、通過可能な色彩光の組合わせ、ならびに透光領域の数が第１０実施形態の色フィルタと等しく、色配列だけが異なる。ゆえに、第１〜第３色彩光は、原色系の赤、青および緑の３色である。透光領域Ｌの水平および垂直方向Ｈ，Ｖの配列周期は、それぞれ周期ＰＨ，ＰＶ／２であり、第８実施形態の色フィルタと等しい。また、該色フィルタは、第９実施形態の色フィルタと同じ理由で、緑の透光領域が赤および青の各透光領域の数の２倍の数だけ準備される。
【０４７８】
図６３は、上述の色フィルタの透光領域Ｌの色配列の基本配列パターン２４６を示す図である。この基本配列パターン２４６は、４つの透光領域Ｌからなり、第１〜第３色彩光を通過させる。これら透光領域Ｌは、隣接する２つの列の各透光領域Ｌが、長さＰＶ／２だけ相互にずれて配列され、４行２列の基本の配列に市松状に並べられた配列と等価である。
【０４７９】
この基本配列パターン２４６において、透光領域Ｌ（１，１），Ｌ（４，２）は、緑の透光領域である。透光領域Ｌ（３，１）は、赤の透光領域である。透光領域Ｌ（２，２）は、青の透光領域である。この基本配列パターン２４６は、第１０実施形態の撮像装置の色フィルタの基本配列パターンの透光領域Ｌの行と列との配列関係および色配列を水平および垂直方向Ｈ，Ｖに対して入換えた配列である。
【０４８０】
撮像素子は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列および各画素と受光データとの対応関係は、この色フィルタの画素配列および色配列と等価であり、各対応画素は単一の色彩光の受光データだけを有する。
【０４８１】
上述の撮像装置の通常モードの画像光の撮像動作は、第１０実施形態の通常モードの画像光の撮像動作と類似し、光学系、撮像素子、回路３５，３６、および画像メモリ３７の挙動は、第１０実施形態と等しい。信号処理回路４４は、単一の原画像信号から、第１出力画像の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（６７）〜式（６９）と類似であり、各基底帯域２４４の対応画素の行列番号を行および列に関して入換えた点だけが異なる。
【０４８２】
このようにして得られた第１出力画像信号の基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、第１斜め方向Ｕｘの空間周波数軸に対して、図６０と線対称な図形である。すなわち、図６０の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数軸だけを入換えた図と等しい。
【０４８３】
この図から、水平および垂直方向Ｈ，Ｖの空間周波数軸上の空間周波数±ｆＨ／２，±ｆＶ／２に、それぞれモアレのキャリア周波数があることがわかる。したがって、第１出力画像信号の輝度の基底帯域の水平および垂直方向Ｈ，Ｖの実質の幅は、空間周波数±ｆＨ／２，±ｆＶ／２未満にそれぞれ制限される。したがって、本実施形態の通常モードの第１出力画像の解像度は、第１０実施形態の第１出力画像信号とほぼ等しい。
【０４８４】
上述の撮像装置の高解像度モードの画像光の撮像動作は、第１０実施形態の高解像度モードの画像光の撮像動作と類似し、光学系、撮像素子、回路３５，３６、および画像メモリ３７の挙動は、第１０実施形態と等しい。このとき、画像光の第１および第２結像位置の位置関係は、垂直方向Ｖに長さＰＶだけ相互に離れるように定められる。イメージシフト機構６２の仮想基準軸線の設置状態および第２状態の屈折板７１の傾斜角度は、画像光の光軸を上述の第１および第２結像位置に平行移動させられるように、第１０実施形態と比較して、各部材の設置状態の水平および垂直方向Ｈ，Ｖを入換えるように定められる。
【０４８５】
信号処理回路４４で生成される合成画像信号の等価的な画素の基本配列パターンは、図６１の基本配列パターン２４３と類似であり、その配列周期が等しく、その対応画素の色配列の水平および垂直方向Ｈ，Ｖだけを入換えた配列である。該回路４４は、この合成画像信号から、第２出力画像信号の輝度信号および２種類の色差信号を求める。このときの算出式は、上述の式（７０）〜式（７２）と類似であり、各対応画素の行列番号を行および列に関して入換えた点だけが異なる。
【０４８６】
この第２出力画像信号の輝度の基底帯域およびモアレのキャリア周波数を表す空間周波数平面図は、第１斜め方向Ｕｘの空間周波数軸に対して、図６２と線対称の図形である。すなわち、図６２の空間周波数平面図の水平および垂直方向Ｈ，Ｖの空間周波数軸だけを入換えた図と等しい。
【０４８７】
この図から、第２出力画像信号の輝度の基底帯域は、第１出力画像信号の輝度の基底帯域と等しいことがわかる。また、第１出力画像信号で垂直方向Ｈの空間周波数±ｆＶ／２に現れるモアレのキャリア周波数が消える。これによって、該基底帯域の垂直方向Ｖの空間周波数軸上の実質の幅は、基底帯域の範囲未満に縮小されるが、第１出力画像信号の実質の幅よりも拡大する。これによって、第２出力画像信号の垂直方向Ｖの実質の解像度が、第１出力画像信号の実質の解像度よりも向上される。以上の結果から、本実施形態の撮像装置の第２出力画像の解像度は、第１０実施形態の第２出力画像と比較して、垂直方向Ｖに関して向上される。
【０４８８】
上述の第１〜第１１実施形態の撮像装置では、イメージシフト機構６２に代わって、以下に説明する可変頂角プリズム２５１を用いても良い。
【０４８９】
可変頂角プリズム２５１を、図６４〜図６７を用いて以下に詳細に説明する。この可変頂角プリズムは、たとえば「ＩＴＥＪＴｅｃｈｎｉｃａｌＲｅｐｏｒｔＶｏｌ．１７，Ｎｏ．５，ｐｐ．１５〜２０，ＣＥ’９３−３（Ｊａｎ，１９９３）」に開示されている。
【０４９０】
図６４は、可変頂角プリズム２５１の具体的な構成を説明するための斜視図である。図６５は、可変頂角プリズム２５１のＡ−Ａ断面図である。図６４と図６５とを併せて説明する。
【０４９１】
可変頂角プリズム２５１は、透明円板２５３，２５４、蛇腹部材２５５、および液体層２５６を含んで構成される。蛇腹部材２５５は略円筒状のフィルム部材によって形成され、その中心軸線に沿って中空部分が形成される。透明円板２５３，２５４はたとえばガラス板で実現され、蛇腹部材２５５の中空部分の開口部をふさぐように設置される。液体層２５６は、透明円板２５３，２５４で蛇腹部材２５５の内部の中空部分を密閉する前に、その中空部分に、屈折率が１以上の高屈折率の液体を充填して形成される。蛇腹部分２５５の中心軸線と画像光の光軸方向Ｚとは平行であり、画像光の光軸６４は、透明円板２５３、液体層２５６および透明円板２５４をこの順で通過する。
【０４９２】
また、透明円板２５３，２５４には、相互に直交する方向に回転軸２５８，２５９が設置される。これによって、たとえば各透明円板２５３，２５４は、矢符２６０，２６１に示す相互に直交する２方向に角変位する。この２本の回転軸の２５８，２５９のうち、一方の回転軸２５８は、前述したイメージシフト機構６２の仮想基準軸線と同じ方向に平行となるように設置される。また、他方の回転軸２５９が機構６２の仮想基準軸線と同じ方向に平行となるように設置されても良い。
【０４９３】
これら回転軸２５８，２５９には、駆動手段として、図示しない駆動用コイル、制動用コイルおよび回転角検出センサが取付けられる。駆動用コイルおよび制動用コイルが透明円板２５３を角変位させるとき、回転角検出センサは、その角変位量を常に検出する。該コイルは、この検出結果に基づいて、透明円板２５３の光軸６４に対する傾斜角度を徴調整する。たとえば、センサの検出結果と予め定める目標値とを比較してその誤差量を求め、該誤差量が０となるように、透明円板２５３の角変位量を決定して、各コイルを駆動する。この制御手法は、いわゆるフィードバック制御である。
【０４９４】
可変頂角プリズム２５１は、透明円板２５３，２５４のなす角度に応じて、第１および第２状態を取る。プリズム２５１が第１および第２状態を保持するとき、画像光の結像位置は、第１および第２結像位置にそれぞれ保持される。可変頂角プリズムの２５１の作動原理について、以下に説明する。
【０４９５】
図６６は、第１状態の可変頂角プリズム２５１を示す断面図である。第１状態では、透明円板２５３，２５４は相互に平行に設置され、かつ各透明円板２５３，２５４が、入射前の画像光の光軸６４ａと直交する。このとき、プリズム２５１に入射した光線は、液晶層２５６内を直進する。ゆえに、プリズム２５１射出後の画像光の光軸６４ｂは、入射前の光軸６４ａの延長線と一致する。
【０４９６】
図６７は、第２状態の可変頂角プリズム２５１を示す断面図である。第２状態では、透明円板２５３の入射面の法線と入射前の画像光の光軸６４ａとのなす角度が角度θ１１となるように、透明円板２５３が傾斜される。また、透明円板２５４は、光軸６４ａと直交する。
【０４９７】
このとき、透明円板２５３を通過して、液体層２５６に入射した画像光の光軸２６５は、透明平板２５３の法線２６４と、角度θ１２をなして交差する。この角度θ１２と角度θ１１との間には、以下の関係が成立つ。
【０４９８】
ｓｉｎ（θ１１）＝ｎ・ｓｉｎ（θ１２） …（７３）
上式で、「ｎ」は、液体層２５６の充填液体の屈折率を表す。
【０４９９】
この画像光は、液体層２５６内を直進し、透明円板２５４を通過して、プリズム２５１から射出する。このとき、この画像光の透明円板２５４への入射角は、角度θ１１と角度θ１２との差分である角度θ１１−θ１２である。また、プリズム２５１射出後の光軸６４ｂと、透明平板２５４の入射面の法線２６６とのなす角度は、角度θ１３である。これら角度θ１１−θ１２，θ１３の間には、以下の関係が成立つ。
【０５００】
ｎ・ｓｉｎ（θ１１−θ１２）＝ｓｉｎ（θ１３） …（７４）
ここで角度θ１１，θ１２，θ１３をそれぞれ微少角度δθ１１，δθ１２，δθ１３とすると、次の近似式が成立つ。
【０５０１】
δθ１１＝ｎ・δθ１２ …（７５）
ｎ・δ（θ１１−θ１２）＝δθ１３ …（７６）
上式から、微小角δθ１１，δθ１３の間に以下の関係が成立つ。
【０５０２】
δθ１３／δθ１１＝ｎ−１ …（７７）
上式から、たとえば屈折率ｎの値が１．５程度の液体で液体層２５６を形成すると、透明円板２５３の傾斜角度の約半分の角度で、射出後の画像光の光軸を傾斜させることができる。
【０５０３】
以上のような動作に基づいて、画像光の光軸を移動させることができる。この可変頂角プリズム２５１の状態を第１および第２結像位置のそれぞれ切換えることによって、上述のイメージシフト動作を行うことが可能になる。
【０５０４】
さらにまた、上述の第１〜第１１実施形態の撮像装置は、イメージシフト機構６２に代わって、光学系内のいずれか１つまたは複数のレンズを、移動量を検出しながら圧電素子などの構成部材を用いて変位させる構成を有し、レンズの移動によって、イメージシフト動作を行ってよい。また、イメージシフト機構６２に代わって、撮像素子または撮像素子と光学系とを含むブロックを、移動量を検出しながら圧電素子などの構成部材を用いて変位させる構成を有し、画像光の光軸を固定した状態での撮像素子の移動によって、イメージシフト動作を行ってよい。このようにイメージシフト動作のための機構は、上述の第１および第２結像位置に結像位置を移動できるものであれば、上述の機構に限らずどのような構造の機構を用いても良い。
【０５０５】
さらに、上述のイメージシフト機構６２の屈折板７１は、無色透明のガラス板に代わって、赤外線除去用に着色された有色透明平板で実現されてもよい。このとき、撮像装置の光学系には、必ず赤外線除外用の透明平板を挿入する必要があるので、屈折板７１とこの透明平板とを併用させることによって、撮像装置の部品点数を減少させることができる。
【０５０６】
また、可変空間フィルタは、上述の第１および第２減衰量で画像光の空間周波数成分を減衰させることができるものがあれば、上述の機構に限らずどのような構造の装置を用いても良い。
【０５０７】
【発明の効果】
以上のように本発明によれば、本発明の撮像装置は、２ポジションイメージシフト動作を行って得た２つの原画像信号から、単一の合成画像信号を生成する。これによって、本発明の撮像装置の等価撮像時間が、従来技術の撮像装置の等価撮像時間の半分以下になるので、手ぶれおよび被写体移動に起因する画質劣化が生じにくい。したがって、イメージシフトの画像合成処理によって解像度を向上させることができる撮像条件が緩和される。
【０５０８】
また、２ポジションイメージシフト動作は、結像位置の移動方向が１方向だけなので、結像位置の移動手段の構造が従来の装置よりも簡略化される。さらに、該シフト動作では、合成処理前に原画像信号をストアするためのメモリの容量がを従来の装置よりも減少する。これによって、移動手段およびメモリに関する製造コストを低減させることができる。
【０５０９】
また本発明によれば、撮像装置は、表示手段の主走査方向の空間周波数軸に関し、原画像信号に生じたモアレを合成処理で除去することができるように、イメージシフト動作を行う。さらにまた本発明によれば、イメージシフト動作の第１および第２結像位置は、上述したようにモアレの除去効果が生じ、同時に基底帯域が水平方向に拡大されるように、色分離フィルタ手段の各透光領域の色配列、撮像素子の種類を加味して決定される。これによって、少なくとも水平方向の空間周波数軸に関して、本来の合成画像信号の空間周波数平面上の基底帯域の幅を制限する必要がなくなる。したがって、基底帯域の幅を広げたことと同様の効果を得ることができ、画像の解像度を向上させることができる。
【０５１０】
また本発明によれば、撮像装置では、２次元ＣＣＤイメージセンサの電子シャッタと、機械的なシャッタ手段とを併用して、画像光撮像時の露光時間を制御する。これによって、イメージセンサの転送用電荷結像素子の動作状態に拘わらず、２回目の画像光の撮像を行うことができるので、等価撮像時間をさらに短縮することができる。したがって、合成画像に画質に対する手ぶれおよび被写体移動の影響をさらに軽減することができる。
【０５１１】
さらにまた本発明によれば、前記移動手段は、屈折板を圧電素子で駆動する構成を有する。この移動手段は、構成要素が少なく、さらに傾斜板を含む各構成部材の小型化が容易であるので、携帯用の撮像装置にも適用することができる。
【０５１２】
また本発明によれば、前記移動手段は、光学的手ぶれ補正装置にも用いられる可変頂角プリズムである。これによって、光学的手ぶれ補正装置をこの撮像装置に組み込むとき、装置の部品点数を減少させることができる。
【０５１３】
また本発明によれば、撮像装置は、原画像信号と合成画像信号とをそれぞれ出力する２つのモードを有し、各モードごとに可変空間フィルタにおける空間周波数成分の減衰量を変更する。これによって、原画像および合成画像の両方の画質を充分に保つことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である撮像装置３１の構成を示すブロック図である。
【図２】撮像素子３４の結像面の具体的な構成を示す平面図である。
【図３】色フィルタの透光領域Ｌの色配列の基本配列パターン５６を示す図である。
【図４】原画像の画素Ｄの等価的な配列の基本配列パターン５７を示す図である。
【図５】光学系３３の集光レンズ６１，およびイメージシフト機構６２の屈折板７１、ならびに撮像素子６４の位置関係を示す図である。
【図６】イメージシフト機構６２の具体的な構成を示す斜視図である。
【図７】可変空間フィルタ９０の具体的な構成を示す斜視図である。
【図８】第１状態の可変空間フィルタ９０の複屈折板９１〜９３の分離ベクトルＢ１〜Ｂ３を示す図である。
【図９】第１状態の可変空間フィルタ９０の複屈折板９１〜９３を通過した画像光の結像位置を表す仮想結像面を示す図である。
【図１０】第２状態の可変空間フィルタ９０の複屈折板９３の分離ベクトルＢ３ａを示す図である。
【図１１】第２状態の可変空間フィルタ９０の複屈折板９３を通過した画像光の結像位置を表す仮想結像面を示す図である。
【図１２】水平方向Ｈの空間周波数軸に対する輝度信号および色差信号のスペクトルを示すグラフである。
【図１３】第１出力画像信号の輝度の基底帯域１１１および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図１４】高解像度モードでの撮像素子３４の結像面における画像光の第１および第２結像位置Ｑａ１，Ｑｂ１の位置関係を示す図である。
【図１５】合成画像の画素Ｄの等価的な配列の基本配列パターン１１３を示す図である。
【図１６】第２出力画像信号の輝度の基底帯域１１５および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図１７】本発明の第２実施形態である撮像装置の撮像素子１３１の結像面の具体的な構成を示す平面図である。
【図１８】第２実施形態の撮像装置に備えられるシャッタ機構１４１の具体的な構成を示す斜視図、およびシャッタ板１４３の正面図である。
【図１９】第２実施形態の撮像装置の高解像度モードにおいて、シャッタの開閉動作、オーバフロードレインの開閉動作、電荷読出し動作、露光動作、光軸の変位動作、およびデータ転送動作の動作タイミングを示すタイミングチャートである。
【図２０】第２実施形態のシャッタ機構１４１の電気的構成を示すブロック図である。
【図２１】従来技術の撮像装置における高解像度モードの等価撮像時間Ｔｅｓ０を説明するためのタイミングチャートである。
【図２２】電子シャッタだけを用いた２ポジションイメージシフトの全画素読出し型撮像装置における等価撮像時間Ｔｅｓ１を説明するためのタイミングチャートである。
【図２３】第２実施形態の撮像装置の高解像度モードにおける等価撮像時間Ｔｅｓ２を説明するためのタイミングチャートである。
【図２４】第１実施形態の撮像装置３１の高解像度モードにおける等価撮像時間Ｔｅｓ３を説明するためのタイミングチャートである。
【図２５】電子シャッタおよびシャッタ機構を併用した２ポジションイメージシフトの２画素混合読出し型撮像装置における等価撮像時間Ｔｅｓ４を説明するためのタイミングチャートである。
【図２６】第２実施形態の撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン１８１を示す図である。
【図２７】第２実施形態の撮像装置の第１出力画像信号の輝度の基底帯域１８２、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図２８】第２実施形態の撮像装置の高解像度モードの合成画像の画素Ｄの等価的な配列の基本配列パターン１８３を示す図である。
【図２９】第２実施形態の撮像装置の第２出力画像信号の輝度の基底帯域１８４、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図３０】本発明の第３実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン１８６を示す図である。
【図３１】本発明の第４実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン１９１を示す図である。
【図３２】第４実施形態の撮像装置に備えられる可変空間フィルタ２００の具体的な構成を示す斜視図である。
【図３３】第１状態の可変空間フィルタ２００の複屈折板２０１〜２０３の分離ベクトルＢ４〜Ｂ６を示す図である。
【図３４】第１状態の可変空間フィルタ２００の複屈折板２０１〜２０３を通過した画像光の結像位置を表す仮想結像面を示す図である。
【図３５】第２状態の可変空間フィルタ２００の複屈折板２０３の分離ベクトルＢ６ａを示す図である。
【図３６】第２状態の可変空間フィルタ２００の複屈折板２０３を通過した画像光の結像位置を表す仮想結像面を示す図である。
【図３７】第４実施形態の撮像装置の第１出力画像信号の輝度の基底帯域１９２、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図３８】第４実施形態の撮像装置の高解像度モードでの撮像素子の結像面における画像光の第１および第２結像位置Ｑａ４，Ｑｂ４の位置関係を示す図である。
【図３９】第４実施形態の撮像装置の高解像度モードの合成画像の画素Ｄの等価的な配列の基本配列パターン１９３を示す図である。
【図４０】第４実施形態の撮像装置の第２出力画像信号の輝度の基底帯域１９４、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図４１】本発明の第５実施形態である撮像装置の第２出力画像信号の輝度の基底帯域１９６、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図４２】本発明の第６実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン１９８を示す図である。
【図４３】第６実施形態の撮像装置の高解像度モードでの固体撮像素子の結像面における画像光の第１および第２結像位置Ｑａ６，Ｑｂ６の位置関係を示す図である。
【図４４】本発明の第７実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン２１１を示す図である。
【図４５】第７実施形態の撮像装置に備えられる可変空間フィルタ２２０の具体的構造を示す斜視図である。
【図４６】第１状態の可変空間フィルタ２２０の複屈折板２２１〜２２５の分離ベクトルＢ１１〜Ｂ１５を示す図である。
【図４７】複屈折板２２１，２２４，２２５の分離ベクトルＢ１１，Ｂ１４，Ｂ１５の関係を示す図である。
【図４８】第１状態の可変空間フィルタ２００の複屈折板２２１〜２２５を通過した画像光の結像位置を表す仮想結像面を示す図である。
【図４９】第２状態の可変空間フィルタ２００の複屈折板２２３，２２５の分離ベクトルＢ１３ａ，Ｂ１５ａを示す図である。
【図５０】第２状態の可変空間フィルタ２００の複屈折板２２３〜２２５を通過した画像光の結像位置を表す仮想結像面を示す図である。
【図５１】第７実施形態の撮像装置の第１出力画像信号の輝度の基底帯域２１２、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図５２】第７実施形態の撮像装置の高解像度モードでの撮像素子の結像面における画像光の第１および第２結像位置Ｑａ７，Ｑｂ７の位置関係を示す図である。
【図５３】第７実施形態の撮像装置の高解像度モードの合成画像の画素Ｄの等価的な配列の基本配列パターン２１３を示す図である。
【図５４】第７実施形態の撮像装置の第２出力画像信号の輝度の基底帯域２１４、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図５５】本発明の第８実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン２１６を示す図である。
【図５６】本発明の第９実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン２３１を示す図である。
【図５７】第９実施形態の撮像装置の第１出力画像信号の輝度の基底帯域２３２、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図５８】第９実施形態の撮像装置の高解像度モードの合成画像の画素Ｄの等価的な配列の基本配列パターン２３３を示す図である。
【図５９】本発明の第１０実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン２４１を示す図である。
【図６０】第１０実施形態の撮像装置の第１出力画像信号の輝度の基底帯域２４２、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図６１】第１０実施形態の撮像装置の高解像度モードの合成画像の画素の等価的な配列の基本配列パターン２４３を示す図である。
【図６２】第１０実施形態の撮像装置の第２出力画像信号の輝度の基底帯域２４４、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図６３】本発明の第１１実施形態である撮像装置の色フィルタの透光領域Ｌの色配列の基本配列パターン２４６を示す図である。
【図６４】本発明の第１〜第１１実施形態の撮像装置のイメージシフト機構の別の例である可変頂角プリズム２５１を示す斜視図である。
【図６５】図６３の可変頂角プリズム２５１のＡ−Ａ断面図である。
【図６６】第１状態の図６３の可変頂角プリズム２５１のＡ−Ａ断面図である。
【図６７】第２状態の図６３の可変頂角プリズム２５１のＡ−Ａ断面図である。
【図６８】第２の従来技術である電子スチルカメラ１の構成を示すブロック図である。
【図６９】電子スチルカメラ１の撮像素子４の光入射側に備えられる色フィルタ１６の透光領域１７の配列状態を示す図である。
【図７０】電子スチルカメラ１の高解像度モードの第１の例において、撮像素子の結像面における画像光の結像位置の移動位置の位置関係を示す図である。
【図７１】電子スチルカメラ１の高解像度モードの第１の例において生成される出力画像のうち、基本配列パターン２１に対応する部分の出力画像の画素配列を示す図である。
【図７２】電子スチルカメラ１の高解像度モードの第２の例において、固体撮像素子の結像面における画像光の結像位置の移動位置の位置関係を示す図である。
【図７３】電子スチルカメラ１の高解像度モードの第２の例において生成される出力画像のうち、基本配列パターン２１に対応する部分の出力画像の画素配列を示す図である。
【符号の説明】
３１撮像装置
３３光学系
３４，１３１撮像素子
３７画像メモリ
４４信号処理回路
４５記録媒体
６２イメージシフト機構
７１屈折板
２５１可変頂角プリズム

Claims

複数の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域を有し、該透光領域が２次元平面上に予め定める配列で配列される色分離フィルタと、
画像光を撮像して画像信号を出力する撮像素子であって、
色分離フィルタの透光領域に個別的に対応した受光領域が、透光領域の予め定める配列と同等の配列で２次元平面上に配列され、
各受光領域では対応した透光領域を通過した色彩光だけを受光し、
各受光領域の受光量を示す画素データから構成される画像信号を出力する撮像素子と、
撮像素子に入射される画像光の結像位置を、予め定める第１および第２移動位置に相対的に移動させる移動手段と、
移動手段における結像位置の移動が行われるたびに、予め定める露光時間だけ撮像素子における画像光の受光を許容する露光許容手段と、
撮像素子の出力に応答し、出力された２つの画像信号を撮像時の結像位置の離反量だけ位置の移動方向とは逆方向にずらして重ね合わせて、合成画像信号を生成する画像生成手段と、
画像光の撮像が開始されると、移動手段によって画像光の結像位置を第１および第２移動位置のいずれか一方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与え、次いで移動手段によって結像位置をいずれか他方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与える制御手段とを含み、
前記色分離フィルタの透光領域は、第１〜第３色彩光をそれぞれ通過させる第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
相互に直交する予め定める一方方向および他方方向にそれぞれ平行に、一方方向に予め定める第１周期でかつ他方方向に予め定める第２周期で配列される行列状の配列であって、
第１透光領域には、一方方向に沿った第１の向き側に第２透光領域が隣接し、かつ一方方向に沿って第１の向きと反対側の第２の向き側に第３透光領域が隣接し、さらに他方方向に沿って両側に第１透光領域が隣接し、
第２透光領域には、一方方向に沿った第１の向き側に第３透光領域が隣接し、他方方向に沿って両側に第２透光領域が隣接し、
第３透光領域には、他方方向に沿って両側に第３透光領域が隣接しており、
前記撮像素子は、前記各受光領域からの画素データを、他方方向に沿って隣接する２つの各受光領域毎に混合して、一括して出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期の長さの２分の３倍の長さだけ、かつ他方方向に第２の周期の長さの半分の長さだけ相互にずれた位置であることを特徴とする撮像装置。
複数の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域を有し、該透光領域が２次元平面上に予め定める配列で配列される色分離フィルタと、
画像光を撮像して画像信号を出力する撮像素子であって、
色分離フィルタの透光領域に個別的に対応した受光領域が、透光領域の予め定める配列と同等の配列で２次元平面上に配列され、
各受光領域では対応した透光領域を通過した色彩光だけを受光し、
各受光領域の受光量を示す画素データから構成される画像信号を出力する撮像素子と、
撮像素子に入射される画像光の結像位置を、予め定める第１および第２移動位置に相対的に移動させる移動手段と、
移動手段における結像位置の移動が行われるたびに、予め定める露光時間だけ撮像素子における画像光の受光を許容する露光許容手段と、
撮像素子の出力に応答し、出力された２つの画像信号を撮像時の結像位置の離反量だけ位置の移動方向とは逆方向にずらして重ね合わせて、合成画像信号を生成する画像生成手段と、
画像光の撮像が開始されると、移動手段によって画像光の結像位置を第１および第２移動位置のいずれか一方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与え、次いで移動手段によって結像位置をいずれか他方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与える制御手段とを含み、
前記色分離フィルタの透光領域は、第１〜第３色彩光をそれぞれ通過させる第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
相互に直交する予め定める一方方向および他方方向にそれぞれ平行に、一方方向に予め定める第１周期でかつ他方方向に予め定める第２周期で配列される行列状の配列であって、
第１透光領域には、一方方向に沿った第１の向き側に第２透光領域が隣接し、かつ一方方向に沿って第１の向きと反対側の第２の向き側に第３透光領域が隣接し、さらに他方方向に沿って両側に第１透光領域が隣接し、
第２透光領域には、一方方向に沿った第１の向き側に第３透光領域が隣接し、他方方向に沿って両側に第２透光領域が隣接し、
第３透光領域には、他方方向に沿って両側に第３透光領域が隣接しており、
前記画像信号は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期長さの２分の３倍の長さだけ、かつ他方方向に第２周期の長さの半分の長さだけ相互にずれた位置であることを特徴とする撮像装置。
複数の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域を有し、該透光領域が２次元平面上に予め定める配列で配列される色分離フィルタと、
画像光を撮像して画像信号を出力する撮像素子であって、
色分離フィルタの透光領域に個別的に対応した受光領域が、透光領域の予め定める配列と同等の配列で２次元平面上に配列され、
各受光領域では対応した透光領域を通過した色彩光だけを受光し、
各受光領域の受光量を示す画素データから構成される画像信号を出力する撮像素子と、
撮像素子に入射される画像光の結像位置を、予め定める第１および第２移動位置に相対的に移動させる移動手段と、
移動手段における結像位置の移動が行われるたびに、予め定める露光時間だけ撮像素子における画像光の受光を許容する露光許容手段と、
撮像素子の出力に応答し、出力された２つの画像信号を撮像時の結像位置の離反量だけ位置の移動方向とは逆方向にずらして重ね合わせて、合成画像信号を生成する画像生成手段と、
画像光の撮像が開始されると、移動手段によって画像光の結像位置を第１および第２移動位置のいずれか一方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与え、次いで移動手段によって結像位置をいずれか他方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与える制御手段とを含み、
前記色分離フィルタの複数の透光領域は、第１〜第３色彩光をそれぞれ通過させる第１〜第３透光領域に区分され、
該透光領域の前記予め定める配列は、
予め定める一方方向に平行に第１周期で直線状に配列された群が、一方方向と直交する他方方向に沿って第２周期で配列され、かつ他方方向に隣接する２つの群の各透光領域が一方方向に第１周期の半分の長さだけずれる配列であって、
第１透光領域には、一方方向に沿った第１の向き側に第２透光領域が隣接し、かつ一方方向に沿って第１の向きと反対側の第２の向き側に第３透光領域が隣接し、
第２透光領域には、一方方向に沿った第１の向き側に第３透光領域が隣接し、さらに一方方向に第１周期の半分だけかつ他方方向に第２周期の長さだけずれた第３の向き側に、第１透光領域が隣接しており、
前記撮像素子は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から他方方向に第２の周期の長さだけ相互にずれた位置であることを特徴とする撮像装置。
複数の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域を有し、該透光領域が２次元平面上に予め定める配列で配列される色分離フィルタと、
画像光を撮像して画像信号を出力する撮像素子であって、
色分離フィルタの透光領域に個別的に対応した受光領域が、透光領域の予め定める配列と同等の配列で２次元平面上に配列され、
各受光領域では対応した透光領域を通過した色彩光だけを受光し、
各受光領域の受光量を示す画素データから構成される画像信号を出力する撮像素子と、
撮像素子に入射される画像光の結像位置を、予め定める第１および第２移動位置に相対的に移動させる移動手段と、
移動手段における結像位置の移動が行われるたびに、予め定める露光時間だけ撮像素子における画像光の受光を許容する露光許容手段と、
撮像素子の出力に応答し、出力された２つの画像信号を撮像時の結像位置の離反量だけ位置の移動方向とは逆方向にずらして重ね合わせて、合成画像信号を生成する画像生成手段と、
画像光の撮像が開始されると、移動手段によって画像光の結像位置を第１および第２移動位置のいずれか一方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与え、次いで移動手段によって結像位置をいずれか他方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与える制御手段とを含み、
前記色分離フィルタの複数の透光領域は、第１〜第３色彩光にそれぞれ対応する第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
相互に直交する予め定める一方方向および他方方向にそれぞれ平行に、一方方向に予め定める第１周期でかつ他方方向に予め定める第２周期で配列される行列状の配列であって、
第１および第２透光領域が一方方向に沿って交互に配列される直線状の第１群と、第１および第３透光領域が一方方向に沿って交互に配列される直線状の第２群とが、他方方向に沿って交互に隣接し、
かつ第１群の第１透光領域には、第３透光領域が他方方向の両側に隣接しており、
前記撮像素子は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期の長さだけ相互にずれた位置であることを特徴とする撮像装置。
複数の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域を有し、該透光領域が２次元平面上に予め定める配列で配列される色分離フィルタと、
画像光を撮像して画像信号を出力する撮像素子であって、
色分離フィルタの透光領域に個別的に対応した受光領域が、透光領域の予め定める配列と同等の配列で２次元平面上に配列され、
各受光領域では対応した透光領域を通過した色彩光だけを受光し、
各受光領域の受光量を示す画素データから構成される画像信号を出力する撮像素子と、
撮像素子に入射される画像光の結像位置を、予め定める第１および第２移動位置に相対的に移動させる移動手段と、
移動手段における結像位置の移動が行われるたびに、予め定める露光時間だけ撮像素子における画像光の受光を許容する露光許容手段と、
撮像素子の出力に応答し、出力された２つの画像信号を撮像時の結像位置の離反量だけ位置の移動方向とは逆方向にずらして重ね合わせて、合成画像信号を生成する画像生成手段と、
画像光の撮像が開始されると、移動手段によって画像光の結像位置を第１および第２移動位置のいずれか一方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与え、次いで移動手段によって結像位置をいずれか他方位置に移動させ、該移動位置において露光許容手段に許容される間だけ撮像素子に画像光を撮像させて画像信号を画像生成手段に与える制御手段とを含み、
前記色分離フィルタの複数の透光領域は、第１〜第３色彩光にそれぞれ対応する第１〜第３透光領域に区分され、
該透光領域の予め定める配列は、
第１および第２透光領域が予め定める一方方向に沿って予め定める第１周期で直線状に配列された第１群と、第１および第３透光領域が一方方向に沿って第１周期で直線状に配列された第２群とが、一方方向と直交する他方方向に沿って予め定める第２周期で交互に配列され、
かつ第１群の第１透光領域には、一方方向に第１周期の長さの半分の長さだけかつ他方方向に第２周期の長さだけずれた向き側に、第３透光領域が隣接する配列であって、
前記撮像素子は、前記各受光領域からの画素データを個別的に出力し、
前記第１移動位置は予め定める基準位置であり、
前記第２移動位置は第１移動位置から一方方向に第１の周期の長さだけ相互にずれた位置であることを特徴とする撮像装置。
前記合成画像信号は、複数の画素データから構成され、
合成画像信号が表す合成画像を目視表示する目視表示領域を有する表示手段であって、
目視表示領域は、合成画像信号の各画素データを目視表示する複数の表示画素が、２次元平面上に、相互に直交する予め定める主走査方向および副走査方向にそれぞれ平行に、行列状に配列されて形成され、
主走査方向に沿う表示画素の配列数が、副走査方向に沿う表示画素の配列数よりも多くなる表示手段をさらに有し、
前記第１および第２移動位置は、合成画像の主走査方向の空間周波数のモアレを消すことができる方向に離反していることを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。
前記露光許容手段は、
前記撮像素子の受光領域における電荷の蓄積を許容または禁止する第１許容手段と、
撮像素子に入射する画像光を通過または遮断する第２許容手段とを含み、
前記制御手段は、
前記第１および第２移動位置の前記いずれか一方位置における画像光の撮像時には、第２許容手段によって画像光を通過させ、かつ前記露光時間の間だけ第１許容手段によって電荷の蓄積を許容させ、
前記いずれか他方位置における撮像時には、第１許容手段によって受光領域に電荷の蓄積を許容し、かつ露光時間の間だけ第２許容手段によって画像光を通過させることを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。
前記画像光を集光して、撮像素子の各受光領域上に結像させる光学系をさらに含み、
前記移動手段は、
透光性を有する平板状の屈折板と、
屈折板の両側方に、その表面が屈折板の表面にほぼ平行になるように配設される一対のバイモルフ型圧電素子であって、該素子の長手方向の一方の自由端が屈折板の一端に接合され、屈折板の他端が該素子の他方の固定端に向かって延びるように屈折板を支持し、屈折板内を通る仮想回転中心を中心として該屈折板を傾斜させる１対のバイモルフ型圧電素子と、
光学系の光軸線と屈折板の法線との成す傾斜角度を検出する検出手段と、
検出手段の出力と予め定める目標値とを比較し、その誤差量を出力する比較手段と、
比較手段の出力に応答し、屈折板の傾斜角度が予め定める目標値となるように、一対のバイモルフ型圧電素子を駆動する駆動手段とを備えることを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。
前記画像光を集光して、撮像素子の各受光領域上に結像させる光学系をさらに含み、
前記移動手段は、
透光性を有し、相互に直交する仮想回転中心を有する平板状の１対の透明平板と、
各仮想回転中心を中心として、該透明平板を傾斜させる傾斜手段と、
透明平板間に介在され、変形可能であって空気の屈折率よりも大きい屈折率を有する屈折物質層と、
光学系の光軸線と各透明平板の法線との成す傾斜角度をそれぞれ検出する検出手段と、
検出手段の出力と予め定める目標角度とを比較し、その誤差量を出力する比較手段と、
比較手段の出力に応答し、傾斜角度が予め定める目標角度となるように、一傾斜手段を駆動する駆動手段とを備えることを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。
移動手段における結像位置の移動を許容または禁止する移動判定手段と、
撮像素子に入射される画像光の空間周波数成分を減衰させる可変空間フィルタであって、結像位置の移動が禁止されるときには空間周波数成分を第１の減衰量だけ減衰させ、許容されるときには第２の減衰量だけ減衰させる可変空間フィルタとをさらに含むことを特徴とする請求項１〜５のいずれか１つに記載の撮像装置。