JP4531231B2

JP4531231B2 - 撮像装置

Info

Publication number: JP4531231B2
Application number: JP2000282434A
Authority: JP
Inventors: 正司田村; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-09-18
Filing date: 2000-09-18
Publication date: 2010-08-25
Anticipated expiration: 2020-09-18
Also published as: JP2002094999A

Description

【０００１】
【発明の属する技術分野】
この発明は、解像度の高い画像を実現することができる撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤ等の二次元撮像素子を用いた撮像装置においては、画像と撮像素子との相対位置を微小に変化させ、変化前後の画像を入力して各画像を合成し、見かけ上の画素数を増加させて解像度を上昇させるものが知られている。このような方法による解像度の向上に当たっては、特開平７−２３６０８６号公報に記載されているように、撮影光学系と二次元撮像素子との間に透明平板部材を平行に配置し、その透明平板部材上に配置される直線上にない３点の傾斜手段の１点を支持部とし、他の２点を透明平板部材を作動させる作動部として用い、撮影光学系からの入射光を変位させることで撮像素子上の画像を微小変位させるものである。
【０００３】
図４４は例えば特開平７−２３６０８６号公報に示された従来の撮像装置を示すブロック図であり、図４５は撮像装置の機構を示す斜視図である。図４４及び図４５において、１は画像を結像させる撮像レンズ、２は画像を光電変換するため二次元に配列されたＣＣＤ等の撮像素子、１０３は撮像レンズ１と撮像素子２の間にほぼ平行に配置され、撮像レンズ１から撮像素子２への入射光の入射角度に微小変位をもたらす透明平板部材、１０４は撮像レンズ１及び透明平板部材１０３を支持するベースユニットである。
【０００４】
１０５ａ，１０５ｂ，１０５ｃは透明平板部材１０３をベースユニット１０４に固定すると共に、２点を選択的に作動させて透明平板部材１０３を傾斜させる圧縮ばね、１０６ａ，１０６ｂ，１０６ｃは対応する圧縮ばね１０５ａ，１０５ｂ，１０５ｃを各々押さえるばね押さえ板、１０７ａは透明平板部材１０３と圧縮ばね１０５ａを貫通するねじと共に設けられ、駆動により透明平板部材１０３の近傍部位を光軸方向に変位させて透明平板部材１０３に傾斜をもたらすモータである。なお、図４５には明示されていないが、モータ１０７ａと同様のモータが透明平板部材１０３と圧縮ばね１０５ｂを貫通するねじと共に設けられている。
【０００５】
１０８は変位装置、１０８ａは透明平板部材１０３、圧縮ばね１０５ａ及びばね押さえ板１０６ａを含む作動部、１０８ｂは透明平板部材１０３、圧縮ばね１０５ｂ及びばね押さえ板１０６ｂを含む作動部、１０９は透明平板部材１０３、圧縮ばね１０５ｃ及びばね押さえ板１０６ｃを含む支持部であり、支持部１０９は作動部１０８ａ，１０８ｂの作動時に透明平板部材１０３を支持する。これらは図示しない匡体に一体的に固定されると共に、図４４に示すように後段には光電変換された画像信号を処理するための所定の画像処理回路，画像合成メモリ１１０及び画像メモリ７等が接続されている。
【０００６】
次に動作について説明する。
まず、２つの作動部１０８ａ，１０８ｂのいずれも作動させない状態で撮像を行い、後段の画像メモリ７に画像を記憶する。
次に、２つの作動部１０８ａ，１０８ｂのうち、ひとつの作動部１０８ａを作動させることにより、他の作動部１０８ｂと支持部１０９を結ぶ線を回転軸として透明平板部材１０３を回転させる。
これにより、透明平板部材１０３を透過した画像は、透明平板部材１０３の傾斜によって移動されて撮像素子２上に結像され、画像メモリ７にわずかにずれた画像を記憶する。
【０００７】
更に、ひとつの作動部１０８ａを作動させれば同一方向に順次画像が移動し、順次画像が撮像素子２に結像され記憶される。また、作動部１０８ｂを駆動させると、作動部１０８ａと支持部１０９を結ぶ線を回転軸として透明平板部材１０３が傾斜し、前述とは異なる方向に画像の移動が行われる。
これら２方向の移動を適宜組み合わせることにより、任意の位置への２次元の画素ずらしを実施する。その後、画像メモリ7に蓄積された複数の撮影画像を画素ずらしの実施方向を考慮して各対応画素毎に内挿することで、光学的に画素数を増加させた画像が画像合成メモリ１１０に得られる。
【０００８】
次に、従来の画素ずらしによって得られた画像から高精細画像を生成するための信号処理方式について説明する。
図２に示す信号配列は単板撮像装置において最もよく使われているＢａｙｅｒ型配列をした撮像素子であり、図中のＲ信号，Ｇ信号またはＢ信号は撮像素子の配置上その画素位置にてサンプリングされる色信号である。
図１２は図２に示す撮像素子を斜め１／２画素右下にずらして撮像した画像の色信号と先の色信号とを重ねて表示した説明図である。図において、Ｒ１，Ｇ１，Ｂ１が１枚目の撮影画像の色信号であり、Ｒ２，Ｇ２，Ｂ３は画素ずらしを行なわれた２枚目の撮影画像から得られた色信号である。
【０００９】
図１２に示した画像を高解像度画像として生成する場合、図２と比較して水平垂直とも２倍になっているため４倍の画素数のフルカラー信号を生成する必要があり、図中撮像画素における非撮影色信号を周辺画素信号から生成するとともに、空白画素の全色信号を同様に内挿する必要がある。
【００１０】
例えば、Ｇ信号だけ着目すると、図４６に示す位置にだけ撮像によって得られたＧ信号（Ｇ１，Ｇ２）が存在する。従来の技術では、前後左右の信号の平均値からＧ１’，Ｇ２’を補間し、次に図４７に示すように補間して得られたＧ信号から更に内挿することにより、全画素分のＧ信号を得ることができる。
【００１１】
また、Ｂ信号に着目すると、図４８に示すように左右のＢ１信号からＢ１’信号を内挿し、さらに補間したＢ１’信号からＢ１”信号を内挿する。Ｂ２信号についても同様である。次に図４９に示すように補間したＢ１’，Ｂ１”，Ｂ２’，Ｂ２”から残りの画素の内挿を行う。Ｒ信号においてもＢ信号と同様の方法にて全画素分の信号を補間することができる。上記の方法によって全画素における画素分だけのＲ，Ｇ，Ｂ信号を得ることができる。
【００１２】
【発明が解決しようとする課題】
従来の撮像装置は以上のように構成されているので、光路を二次元的に変更するために透明平板部材１０３を２つのモータにより機械的に駆動制御する必要がある。そのため精度の高い画素ずらし量を実現することが困難である課題があった。特に、近年の固体撮像素子の画素ピッチは、数ミクロンものが主流となっており、機械的にその数分の一の精度を得る為には、複雑な制御系が必要となる。また、機械的な振動を用いて制御するため、振動や繰り返し寿命などを十分に考慮した設計を必要とした。
【００１３】
さらに、上記方法により撮像した画像から高解像度画像を生成する従来の信号処理では、単なる線形補間であるため、画素ずらしを行うことによって得られる画素数分だけの解像度を得ることができない。これはまず、単板撮像素子における図２における画像が各画素上に１色の色フィルタを配置しているため画素数分だけのＲ，Ｇ，Ｂ信号が得られず、画素数分だけの解像度が得られていないことが第１の原因であり、次に２枚の画像から高解像度画像を得る際に線形補間法では解像度の向上が見込めないという点に問題があった。
【００１４】
この発明は上記のような課題を解決するためになされたもので、撮像光学系を機械的に振動させることなく微小画素ずらしを実施して、解像度の高い画像を実現することができる撮像装置を得ることを目的とする。
【００１６】
【課題を解決するための手段】
この発明に係る撮像装置は、画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号のうち、参照色である撮像色信号が形成する三角形として、注目する撮像色信号の画素座標と、上記撮像色信号に対して画素ずらし方向と垂直方向に存在する２つの撮像色信号の画素座標とを横軸に配置するとともに、上記３つの撮像色信号の信号レベルを縦軸に配置して、これらの配置位置を頂点とする第１の三角形を形成し、また、補間色である非撮像色信号が形成する三角形として、参照色である撮像色信号と同一方向に存在する３つの非撮像色信号の画素座標を横軸に配置するとともに、上記３つの非撮像色信号の信号レベルを縦軸に配置して、これらの配置位置を頂点とする第２の三角形を形成し、上記第１の三角形と上記第２の三角形の相似比を考慮して色補間を実施し、変位前後の撮像素子の撮像画像を合成する補間・合成手段とを備え、その補間・合成手段が、撮像画素が存在しない位置の空白画素を色補間する場合、画像中のエッジにあたる部分が空白画素を通過するか否かを判定し、その空白画素を通過するときはエッジ線分の稜線方向に当該空白画素を色補間するようにしたものである。
【００１７】
この発明に係る撮像装置は、撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画像メモリに格納し、その圧縮画像を伸長して画像記憶手段に出力する圧縮・伸長手段を設けたものである。
【００１８】
この発明に係る撮像装置は、画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号の信号レベルを補正する信号レベル補正手段を設けたものである。
【００１９】
この発明に係る撮像装置は、変位前後の撮像素子の撮像画像における所定領域の撮像色信号の平均信号レベルを計算し、双方の平均信号レベルが一致するように撮像色信号の信号レベルを補正するようにしたものである。
【００２０】
この発明に係る撮像装置は、入射光を撮像素子に導く光路に配置された磁気光学素子に与える磁界の強度を制御して、その撮像素子に対する入射光の位置を変位させるようにしたものである。
【００２１】
この発明に係る撮像装置は、撮像光学系と撮像素子の間に画素ずらし手段を配置するようにしたものである。
【００２２】
この発明に係る撮像装置は、撮像光学系の前段に画素ずらし手段を配置するようにしたものである。
【００２３】
この発明に係る撮像装置は、入射光を撮像素子に導く光路に配置された電気光学素子に与える電界の強度を制御して、その撮像素子に対する入射光の位置を変位させるようにしたものである。
【００２４】
この発明に係る撮像装置は、入射光を撮像素子に導く光路に配置された液晶板に与える電圧の強度を制御して、その撮像素子に対する入射光の位置を変位させるようにしたものである。
【００２５】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す構成図であり、図において、６１は撮像レンズ１（図３を参照）に入射する被写体像の光路を変調する画素ずらし光学系（画素ずらし手段）、２はＲＧＢの原色フィルタがＢａｙｅｒ型配列（図２を参照）を為して表面上に配置された正方形の電荷結合素子（以下、ＣＣＤと称す）を面状に備え光学像を光電変換する撮像素子、３は撮像素子２から出力されるアナログ信号をデジタル変換するＡ／Ｄ変換回路、４は画素ずらし光学系６１及び撮像素子２を制御する撮像部制御回路、５は画素ずらし光学系６１、撮像素子２、Ａ／Ｄ変換回路３及び撮像部制御回路４から構成された撮像部である。
【００２６】
６は撮像部制御回路４と通信しながら撮像装置全体の制御を行うＣＰＵなどのカメラ制御部、７はデジタル画像信号を受信して一時記憶する画像メモリ（画像記憶手段）、８はＡ／Ｄ変換回路３からのデジタル画像信号を画像メモリ７に書き込むダイレクトメモリアクセスコントローラ（以下、ＤＭＡコントローラと称す）等のメモリ制御手段、９は画像メモリ７に蓄積された撮像データに対してデジタル画像処理を施すソフトウェアあるいは電子回路により構成される画像処理部である。
【００２７】
１０は画像信号に対して白バランス補正や黒レベル補正あるいはガンマ補正等を施す信号レベル補正処理部（信号レベル補正手段）、１１は撮影画像をデジタル画像処理で高解像度に補間・合成する画素補間・合成処理部（補間・合成手段）、１２は画素補間・合成処理部１１で得られる１枚の高解像度化された画像に対して、光学系あるいは回路系で発生するノイズ除去を行うノイズ除去フィルタ等を含む画像補正処理部、１３は最終的に得られるフルカラー画像を国際標準化方式であるＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）方式等の画像圧縮方式で符号化する画像圧縮処理部、１４は撮像部５及び画像処理部９を経て最終的に得られる画像を液晶画面表示あるいはフラッシュメモリ等の２次記憶手段に蓄積あるいはシリアルインタフェースや赤外線通信等の伝送路とのデータインタフェースあるいはシャッタスイッチ等のマンマシンインタフェースを行うインタフェース部である。
【００２８】
図３は画素ずらし光学系６１の内部構成を示す構成図であり、図において、１は撮像レンズ（撮像光学系）、１５は磁界発生回路、１６は磁界発生回路１５により印加される電圧に応じて内部に磁界を発生させるコイル、１７はコイル１６内に発生した磁場により磁気光学効果を生じるファラデー素子、１８は偏光板、１９は複屈折板である。
なお、図３の例では撮像レンズ１を偏向板１８の前段に配置しているが、これに限るものではなく、例えば、複屈折板１９と撮像素子２の間に撮像レンズ１を配置してもよい。
【００２９】
次に動作について説明する。
ここでは、静止画像を撮影可能なディジタルスチルカメラとして実現した場合について説明する。
始めに撮像装置全体の概略動作を説明し、各部の詳細な動作を後述する。ここでは、画素ずらし光学系６１を用いて４５度方向に半画素ずらした画像を２枚撮影し、ＣＣＤの実際の画素数に対して２×２倍の画素密度を有する高精細画像を得る手順について説明する。
【００３０】
高精細モードでの撮影がインタフェース部１４より撮影者によって設定され、図示しないレリーズスイッチの押し下げがインタフェース部１４からカメラ制御部６に伝達されると、撮像部５では磁界発生回路１５における第一の磁界印加条件（例えば、印加磁界なし）での撮像動作を行う。これにより撮影された画像はデジタル化され、撮像部５からメモリ制御手段８へ伝送される。
【００３１】
メモリ制御手段８では、入力画像信号を画像メモリ７に後述する規則に従って記憶させる。
次に、撮像部制御回路４における第二の印加磁界条件により、１枚目の撮影画像に比べて−４５度方向に１／２画素ずらして撮影された画像は、伝送路を経て撮像部５から画像処理部９へ伝送され、同様に画像メモリ７に記憶される。
次に、画像処理部９では、第二の撮影画像の入力終了に伴い、画像メモリ７上に記憶されている第一及び第二の撮影画像の読出しを行い、信号レベル補正処理部１０にて両画像のＲＧＢ各色の信号レベル値に強度補正係数を乗じて、白バランス補正処理を実施する。
【００３２】
次に、画素補間・合成処理部１１では、第一及び第二の撮影画像に対して、後述する高解像度化処理を施し、２枚の撮影画像を１枚の高解像度画像に合成する。
さらに、後段の画像補正処理部１２及び画像圧縮処理部１３を経て図示しない液晶ディスプレイへの表示、あるいは、コンパクトフラッシュメモリカード等の二次記憶媒体への記憶を行うためにインタフェース部１４へ転送される。
【００３３】
以下に、撮像部５における画素ずらし光学系６１、メモリ制御手段８による画像メモリ７への画像記憶方法、及び画素補間・合成処理部１１の詳細な説明を行う。
まず、図３及び図４を参照して、画素ずらし光学系６１の動作を説明する。なお、図４は図３の動作原理図であり、図５は図４のＡ−Ａ線から見た説明図、図６は図４のＢ−Ｂ線から見た説明図、図７は図４のＣ−Ｃ線から見た説明図である。
【００３４】
画像を結像させるための撮像レンズ１からの光が偏光板１８に入射すると、図５に示す振幅方向Ｗａの直線偏光が得られる。図４に示すＨａはファラデー素子１７に印加されている磁界の方向である。図５に示されている振動方向Ｗａの直線偏光が、例えば鉛ガラスのようなファラデー素子１７に入射すると、上記磁界の方向Ｈａの印加磁界により、上記直線偏光の偏光面が回転する。なお、磁界の方向Ｈａに進む直線偏光をファラデー素子１７に入射させると、その透過光の偏光面が回転するが、その回転角θは次式により得られる。
θ＝Ｒ×ｌ×Ｈ（１）
ここで、lはファラデー素子１７の厚さ、Ｈは磁界の強さ、Ｒはベルデ（Ｖｅｒｄｅｔ）定数である。なお、上記の式（１）に関しては、例えば、株式会社朝倉書店発行の「光学的測定ハンドブック」等に記載されている。
【００３５】
図４において、回転角θが０度となる磁界の強さをＨθ_０とすると、Ｈ＝Ｈθのときには振動方向Ｗａの直線偏光が得られ、Ｈ＝Ｈθ_０のときには、図６に示す振動方向Ｗθ_０の直線偏光が得られる。
図７に示すＱは複屈折板１９の光学軸である。振動方向Ｗａの直線偏光が複屈折板１９に入射すると、図７に示す常光線Ｌ_ｏが得られる。また、振動方向Ｗθ_０の直線偏光が複屈折板１９に入射すると、図７に示す異常光線Ｌ_Ｅが得られる。常光線Ｌ_ｏと異常光線Ｌ_Ｅの距離をＰとし、図４に示す複屈折板１９における上記Ｐを、Ｐ＝ＰＨ／２（ＰＨは撮像素子２の水平画素ピッチ）に選ぶ。
【００３６】
ファラデー素子１７に印加される磁界の強さＨの変化の位相は、図８（１）に示すフィールドシフトパルスに一致させる。上述した動作により、この発明による撮像装置では、Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子２の画素との相対的な位置に関して、ＰＨ／２だけ離れた位置で行うことができる。即ち、ファラデー素子１７に印加される磁界の強さＨを時間的に変化させ、入射光学像と撮像素子２との相対的な位置関係を時間的に変化させることにより、空間サンプリング領域を増加できる。
これに対応して図８（３）に示す信号読み出しパルスのタイミングも、上記ＰＨ／２に相当する時間Ｔだけずらしてある。その結果、図８（５）に示すように、この発明による撮像装置は、Ａ、Ｂフィールドを１フレームとした１周期で高画素密度化画像を得ることが可能になる。
【００３７】
この実施の形態１では、説明の簡易化のため画素ずらし方向として水平方向、即ち、一次元空間に対する座標について説明したが、同様な原理で画素ずらし位置を二次元的に行える。その際には、偏光板１８、磁気光学効果を有する第一の光学素子、複屈折板１９からなるｎ組の光学素子群を撮像系に配置し、それぞれの光学素子群の間に、例えば、直線偏光を円偏光に変換する１／４波長板をｎ−１個挿入すればよい。上記ｎ組の光学素子群におけるｎ個の磁気光学効果を有する光学素子に印加する２値的な電圧をそれぞれ設定することにより、２のｎ乗枚の画素ずらし画像を得ることができる。
【００３８】
上記撮像原理により図２のＢａｙｅｒ型単板カラー撮像素子を用いて図９に示す●印で表される第一の印加磁界条件による重心を持つ画素位置に対し、−４５度方向に１／２画素ずらした○印で表される第二の印加磁界条件による画素ずらし画像を撮影することができる。この場合の画像メモリ７への記憶方法及び画素補間・合成処理部１１における高解像度化処理について、図を用いて詳細に説明する。
【００３９】
図１０は図９の２枚の撮像画素に対して網掛けした点（以下、空白画素と称す）を補間することで、撮像素子２に対して主走査方向及び副走査方向に各々２倍の都合４倍の画素数を持つ画像を生成することを示す模式図である。各撮影画像はメモリ制御手段８により、画像メモリ７において２×２画素からなるマトリクスの対応する位置、例えば１枚目の撮影画像の各画素は各マトリクスの左上の画素位置に、２枚目の撮影画像の各画素は各マトリクスの右下の画素位置（１枚目の対応する画素に比べて−４５度方向にずらした位置）に一時記憶される。
【００４０】
実際には、メモリ制御手段８として構成されるＤＭＡコントローラは、メモリの連続領域に対して高速にデータ転送を行うことが可能であるため、実際のメモリの物理アドレスとして図１０のように配列することが必ずしも得策ではない。この場合、各撮影画像を画像メモリ７の連続する領域に各々格納しておき、以下の画素補間・合成処理部１１において図９の相対位置関係を保持するようにアドレッシングすることで同等の意味を持たせて処理を行うことができる。
【００４１】
画像メモリ７に記憶された各画像は、信号レベル補正処理部１０によって補正処理が施される。補正処理は、例えば、撮像素子２におけるＲＧＢ各色に対応した色フィルタの感度特性を補正し、白色を正しい信号レベルに補正する白バランス補正処理や、低感度域あるいは高感度域の信号のダイナミックレンジを補正するガンマ補正処理等が必要に応じて選択される。
【００４２】
図１１は画素補間・合成処理部１１の処理手順を示すフローチャートである。画素補間・合成処理部１１では、撮影画素における非撮像色の生成と空白画素における全色成分の生成を行うことで色補間と高解像度化を実現する。
始めに撮影画素が図２におけるＲ色フィルタあるいはＢ色フィルタを透過したＲ成分またはＢ成分である画素（以下、Ｒ／Ｂ画素位置と称す）におけるＧ成分生成処理を行い（ステップＳＴ１０１）、次に図１０における空白画素位置におけるＧ成分生成処理を行うことにより（ステップＳＴ１０２）、図１０の全画素におけるＧ成分を生成する。
【００４３】
次に、Ｒ／Ｂ画素位置におけるＢ成分またはＲ成分の生成処理を行い（ステップＳＴ１０３）、Ｇ画素位置におけるＲ色成分及びＢ色成分の生成処理を行い（ステップＳＴ１０４）、次に図１０における空白画素位置におけるＲ色成分及びＢ色成分の生成処理を行うことにより（ステップＳＴ１０５）、図１０の全画素におけるＲ成分及びＢ成分を生成する。
各処理は、色成分生成を行う対象画素（以下、注目画素と称す）を画像メモリ７に蓄積される画素位置に対して順次ｘ方向（主走査）にラスタスキャンを行い、１ラインの処理が終了した場合、ｙ方向に１画素進んだラスタスキャンを繰り返し行う。
【００４４】
次に、各ステップにおける具体的な動作について説明する。
図１２には、図１０で重心の位置関係を示した、画素補間・合成処理部１１の実行前の既存画像信号成分とその位置関係について示している。図中、１の添え字がついた色信号は１枚目の撮影画像から得られ、２の添え字がついた色信号は２枚目の撮影画像から得られる。画素補間・合成処理部１１では１枚目及び２枚目の撮影色信号を用いて他の色信号を生成する。
【００４５】
始めに、Ｒ／Ｂ画素位置におけるＧ成分生成処理（ステップＳＴ１０１）では、画素ずらし光学系６１における画素ずらし方向と垂直方向に存在するＧ成分及びＲ成分（またはＢ成分）を用いることで、相似的に注目画素におけるＧ成分を算出する。例えば、撮像色信号がＲ色である画素の位置（以下、Ｒ画素位置と称す）の非撮像色信号のうちＧ色信号を補間生成する場合、図１３に示すＲ画素位置を中心とした画素ウィンドウに存在する画素のうち、注目するＲ色信号の他に画素ずらし方向と垂直方向に存在する２つのＲ色信号（Ｒ１、Ｒ２）及び２つのＧ色信号（Ｇ２、Ｇ３）の座標に位置する４つの撮像色信号レベル値を用いる。図１６には各色信号毎の参照方向及び信号レベル値の軸を加えた２次元空間上で、これらの点が形成する三角形の形状を破線で示している。
【００４６】
この実施の形態１では、参照色である撮像色信号Ｒが形成する三角形と補間色である非撮像色信号Ｇが形成する三角形を、相似図形にした場合の相似比からＧ色信号の補間信号ｇＲを算出する。
【００４７】
ここで、三角形（Ｒ・Ｒ１・Ｒ２）と、Ｒ１、Ｒ２を平均値Ｒ_ＡＶＥで置き換えた点Ｒ１Ｈ、Ｒ２Ｈ及びＲで形成される三角形（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）は、幾何学的に同一の面積を持つことが明らかである。画像信号では、信号分布から求まる積分値（幾何学図形の面積）が画像エネルギーに相当し、同一面積の積分値が同じであれば、その領域における平均輝度が保存され視覚的に問題がないため、図１６の破線による三角形は実線による二等辺三角形（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）で置き換えることが可能である。
【００４８】
同様にして補間色であるＧ色信号が形成する三角形（ｇＲ・Ｇ２・Ｇ３）を二等辺三角形（ｇＲ・Ｇ２Ｈ・Ｇ３Ｈ）で置き換え、二等辺三角形（Ｒ・Ｒ１Ｈ・Ｒ２Ｈ）と二等辺三角形（ｇＲ・Ｇ２Ｈ・Ｇ３Ｈ）が相似図形になるように補間信号値ｇＲを決定することにより、微小領域における画像エネルギーの比に応じた色補間が可能である。
【００４９】
従来の線形補間法による色補間を行った場合、再現されるｇＲは（Ｇ２＋Ｇ３）／２の点となり、Ｒ色成分が凸形状であるにも拘わらず、Ｇ色成分は平坦な推移を示すため、Ｇ色成分の解像度が十分でなくＲ色信号の突出による偽色が発生する。これに対して、本手法を用いた場合、Ｇ色信号の推移が良好に再現されるため、高解像度かつ偽色の少ない色補間が実現できる。また、この場合の演算は式（２）を用いることで行う。
ｇＲ（ｍ，ｎ）＝Ｇ_ＡＶＥ（ｍ，ｎ）
＋（Ｒ（ｍ，ｎ）−Ｒ_ＡＶＥ（ｍ，ｎ））／４（２）
ただし、式（２）において、補間しようとするＲ画素位置の（ｘ、ｙ）座標を（ｍ、ｎ）とし、Ｇ_ＡＶＥ（ｍ、ｎ）はＧ２とＧ３の平均値を、Ｒ_ＡＶＥ（ｍ、ｎ）はＲ１とＲ２の平均値を示し、２つの二等辺三角形の線分相似比として１／４を乗じている。
【００５０】
上記例では、Ｒ画素位置においてＧ色信号成分を補間する例を示したが、ＲをＢに置き換えることで、Ｂ画素位置におけるＧ色信号成分の補間を行うことが同様に可能である。
【００５１】
また、上記例は、Ｒ画素位置のＧ成分を色補間する場合を示したが、任意のＪ画素位置におけるＫ色の色補間に同様の考え方を当てはめることが可能である。図１４及び図１５は、他の画素位置における他の色成分補間を行う際の参照色の参照画素位置と補間色の参照画素位置の関係を示したものである。図１４は、Ｒ画素位置におけるＢ成分補間の場合であり、各色成分について、図１７に示す三角形について上記モデルを適用する。即ち、これらの３点は三角形を形成するため注目画素以外の２点を、それらの平均値で置きかえることにより二等辺三角形を作成し、これと補間色が相似二等辺三角形を構成するように線分相似比である１／２を乗ずる。さらに、ＲとＢの関係を入れ換えることによって、Ｂ画素位置におけるＲ成分補間を行うことが同様に可能である。
【００５２】
また、Ｇ画素位置におけるＲ成分補間時の参照画素位置の様子を図１５に示している。この場合は、注目画素となるＧ画素位置から見た参照方向のＲ画素位置までの距離がＧ画素位置を中心とした対象を為していないが、図１８に示すこれまでのステップで生成済みのＢ画素位置におけるＲ成分を補間色用三角形を形成する点として用い、Ｒ及びＢ画素位置におけるＧ成分を参照色用三角形を形成する点として用い、各二等辺三角形の線分相似比を１／１とすることで、これまでの例と同様の扱いをすることができる。
【００５３】
以上の説明を元に、式（２）を一般化すると式（３）のように記述することができる。
Ｋ（ｍ，ｎ）＝Ｋ_ＡＶＥ（ｍ，ｎ）
＋（Ｊ（ｍ，ｎ）−Ｊ_ＡＶＥ（ｍ，ｎ））×Ｃｄ（３）
ただし、式（３）におけるＫ（ｍ，ｎ）は座標（ｍ，ｎ）における補間すべき非撮像色信号、Ｊは座標（ｍ，ｎ）における参照色としての撮像色信号を示し、ＣｄはＪ色がなす二等辺三角形に対するＫ色がなす二等辺三角形の線分相似比を示している。
【００５４】
このようにして、色補間対象の画素位置を水平及び垂直方向に順次走査しながら各画素における全色成分補間を繰返し行うことにより、１画面分の撮影画素における色補間処理を実行することができる。
【００５５】
次に、空白画素位置におけるＧ成分生成（ステップＳＴ１０２）について詳細に説明する。図１９の網掛け部分は、この段階で画像中に存在するＧ成分の位置関係を示したものである。空白画素位置のＧ成分を補間する場合、周辺画素を参照して画像中のエッジにあたる部分が注目画素を通過するか否かを判定し、その場合はエッジ線分の稜線方向に画素補間を実行することでシャープなエッジ再現が可能である。図１９における矢印の示す方向は注目画素を中心とする７×７画素からなる参照画素ウィンドウを元に検出可能な線分方向を示している。
【００５６】
線分角度検出は以下の手順に従って実行する。
注目画素及び８近傍画素に存在するＧ成分に対して信号レベル平均値Ｄａｖを算出する。
次に、算出した信号レベル平均値Ｄａｖをしきい値として７×７画素ウィンドウ内の各Ｇ画素の信号値を１または０に２値化する。２値化されたウィンドウ内のＧ画素は予め定められている複数のパターンと比較され、パターンの一致により中心画素を通る線分角度及び線分のどちら側に明あるいは暗があるかという線分角度情報が認識される。これらの線分角度情報に基づいて、線分の稜線方向に存在する複数の画素値を線形補間して注目画素のＧ成分が算出される。
【００５７】
例えば、７×７画素ウィンドウ内の画素が図２０の斜線部（０）及びたす部（１）に２値化された場合、パターンマッチングにより図の矢印方向に画像のエッジが通っていることが検出され、図の太枠で示される４つの画素値を単純平均あるいは、注目画素からの距離に対する重み付け平均等により注目画素のＧ成分を補間する。
【００５８】
線分の角度を検出し稜線方向に補間することで、一般的な８近傍画素の単純平均値により成分補間する場合と比べ、エッジをシャープかつ線分を滑らかに補間することが可能となる。これにより、画像の観察者に対して高い解像感を与えることが可能となる。
以上の方法で、全画素のＧ成分が高い解像度で生成され、この結果を参照することでＲ／Ｂ成分に関しても高解像度に補間生成することができる。
【００５９】
空白画素位置におけるＲ／Ｂ成分補間（ステップＳＴ１０５）に関しては、前記空白画素位置におけるＧ成分補間と同様のパターンマッチングを用いた線分に対する稜線ベクトル検出により補間を行う。この時、Ｒ／Ｇ／Ｂ成分のパターンマッチング結果の相違から生じる誤補間を防止するために、Ｇ成分補間時に検出した線分角度結果に基づきＲ／Ｂ成分補間を行うように構成してもよい。
【００６０】
以上のように、撮像素子２の２×２倍の画素数を持つ４画素分の高解像度画像が画素補間・合成処理部１１により生成され、生成されたフルカラー画像は画像補正処理部１２において、光学系及び撮像系の画像歪を補正するノイズ除去フィルタ等の処理が施され、画像圧縮処理部１３によりＪＰＥＧ方式の画像符号化の後、インタフェース部１４に送られる。このようにして、２枚の画素ずらし画像から撮像素子２のナイキスト周波数を超える高解像度の画像が形成される。
【００６１】
この実施の形態１では、画素ずらし光学系６１を用いて−４５度方向に１／２画素ずらして撮影した２枚の画像を用いて高解像度化処理する例を示したが、この限りではない。即ち、撮像素子２の各受光素子は有限数が面状に配置されており、受光素子面における入射光を積分値として信号出力するため、これにより撮影画像の空間周波数は制約（ナイキスト周波数）を受けていることが標本化定理より説明できる。これに対し、「２台のカメラを用いる超高精細画像取得法」（小松、相澤、斎藤：テレビジョン学会誌Ｖｏｌ．４５，Ｎｏ１０，ｐｐ．１２５６〜１２６２）によると、開口率１００％の撮像素子を用いて画素ずらし画像を統合した場合、２倍以内の解像度まで改善可能であることが明示されている。本方式を用いて実際の撮像素子の開口率や受光素子の形状等を考慮してずらし方向、ずらし量及び撮影枚数を最適化することで合成画像における解像度を最適化することができる。
【００６２】
また、この実施の形態１では、パターンマッチングの際、７×７画素からなるウィンドウを用いて８方向の線分検出を行っているが、この限りではなく、実行するソフトウェアの高速化あるいは回路規模の低減を図る場合は、ウィンドウサイズを小型化し、４５度刻みの４方向あるいは水平及び垂直のみの２方向の画素間のエッジ線分の相関を用いるように構成してもよい。
【００６３】
また、この実施の形態１では、画素ずらし光学系６１の撮像条件を変化させた２枚の画像を撮影し、画像メモリ７に記憶し終えた後に、後段の画像処理部９における処理を開始する構成としたがこの限りではない。即ち、画像処理部９における信号レベル補正処理部１０は２枚の撮影画像に対して同じ白補正係数あるいはガンマ補正テーブルを用いて一括して実施することも可能であるが、各画像に対して個別に実行してもよく、この場合、２枚目の撮影動作を行っている間に１枚目の信号レベル補正処理を行うように構成することで全工程の高速化に繋がる。
【００６４】
また、この実施の形態１では、１枚目の撮影画像に対して２枚目の撮影画像を−４５度方向に画素ずらしする例を示したが、この限りではなく、４５度方向、１３５度方向あるいは−１３５度方向にずらしても同一の処理が適用可能であることは言うまでもない。
【００６５】
実施の形態２．
図２１はこの発明の実施の形態２による撮像装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
２０は撮影した各画像データを固定長圧縮方式にて符号化する固定長圧縮回路、２１は撮像部５から出力される撮像デジタル信号のうち、固定長圧縮回路２０での圧縮時に使用するライン数分を遅延蓄積するラインバッファ、２２は固定長圧縮回路２０で圧縮された画像データを蓄積する圧縮画像メモリ、２３は圧縮画像メモリ２２に蓄積された画像データを伸長する固定長伸長処理部である。なお、固定長圧縮回路２０，ラインバッファ２１，圧縮画像メモリ２２及び固定長伸長処理部２３から圧縮・伸長手段が構成されている。
【００６６】
次に動作について説明する。
画素ずらし機構を含む撮像部５の動作については上記実施の形態１と同様である。画素ずらし光学系６１を用いて撮像部５から入力された撮影画像は固定長圧縮回路２０で画像圧縮するためにラインバッファ２１に一時記憶される。以下に、固定長圧縮回路２０における圧縮動作について詳細に説明する。
【００６７】
固定長圧縮回路２０における固定長符号化アルゴリズムとしては例えば４×４画素を１単位とするブロック毎に隣接画素情報の冗長性を排除する符号化法を行うものを用いる。この場合、図２の画素配列では、隣接する画素位置には同じ色の画素が存在しないため、固定長圧縮回路２０内において同色画素をブロック化する。
【００６８】
図２２は固定長圧縮回路２０により、図２の画素配列が並べ換えられる様子を示した説明図である。撮影画像データは撮像部５から順次ラインバッファ２１に蓄積され、未処理のデータが８ライン分揃った段階で画素配列の並べ換えを始めて、固定長圧縮回路２０における符号化が実施される。画素並べ換えは８×８画素単位に行い、各色４×４画素を単位ブロックとしてブロック化する。並べ換え後の画像信号は、ブロックの左上方向のアドレスと右下方向のアドレスにＧ成分が集められて配列され、左下方向のアドレスにＢ成分、右上方向のアドレスにＲ成分が集められて配列される。
【００６９】
固定長圧縮回路２０における画像符号化方法について説明する。
図２３は前記並べ換えられた単位ブロック内のカラー画像信号を固定長圧縮回路２０で符号化する場合のアドレスを示す説明図である。即ち、図２３は縦横４画素分ずつの同一カラーの画像信号の塊である単位ブロックのうち、縦方向ｍ行横方向ｎ列（ｍ、ｎは０＜ｍ、ｎ≦４の自然数）のアドレスの画像信号に後述する量子化レベルを付すことを表している。
【００７０】
図２４は各画素の画像信号の強度を階層化（量子化）する量子化レベルを表している。図において、Ｌｍｉｎは図２３に示した１６画素の画像信号強度中の最小値、Ｌｍａｘは同じ１６画素の画像信号強度中の最大値、Ｐ１は最大値Ｌｍａｘと最小値Ｌｍｉｎとの間を８等分した下から８分の１の値、Ｐ２は上から８分の１の値、Ｑ１はＬｍｉｎ以上Ｐ１以下の信号強度を有する画素の平均値、Ｑ８はＬｍａｘ以下Ｐ２より大きい信号強度の画素の平均値である。
【００７１】
また、ＬＤは単位ブロック内の階調幅指標で、Ｑ８−Ｑ１に等しい。Ｌ１〜Ｌ７は階調幅指標ＬＤを８等分した値を小さい方から並べたものである。ＬＡは単位ブロック内の画像データ平均値レベルで（Ｑ１＋Ｑ８）／２に等しい。φｉｊｋは画素毎の量子化レベルを表している。
【００７２】
図２５及び図２６はこの実施の形態２による符号化手順を示すフローチャートである。以下、このフローチャートを参照しながら符号化手順を説明する。
まず、固定長圧縮回路２０は図２２（２）のように並べ換えられた単位ブロック内の画像データを読み込む（ステップＳＴ１）。
次に、読み込んだ４×４画素分の画像データの信号強度を演算し、以下の各式に従って順次Ｐ１、Ｐ２、Ｑ１、Ｑ２、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求める（ステップＳＴ２〜ステップＳＴ１３）。
【００７３】
Ｐ１＝（Ｌｍａｘ＋７Ｌｍｉｎ）／８
Ｐ２＝（７Ｌｍａｘ＋Ｌｍｉｎ）／８
Ｑ１＝Ａｖｅ（Ｘｍｎ≦Ｐ１）
Ｑ２＝Ａｖｅ（Ｘｍｎ＞Ｐ２）
ＬＡ＝（Ｑ１＋Ｑ８）／２
ＬＤ＝Ｑ８−Ｑ１
Ｌ１＝ＬＡ−３ＬＤ／８
Ｌ２＝ＬＡ−ＬＤ／４
Ｌ３＝ＬＡ−ＬＤ／８
Ｌ５＝ＬＡ＋ＬＤ／８
Ｌ６＝ＬＡ＋ＬＤ／４
Ｌ７＝ＬＡ＋３ＬＤ／８
【００７４】
なお、Ｑ１の式はＬｍｉｎ以上Ｐ１以下の信号強度を持つ画素の平均値を求めることを意味し、Ｑ２の式はＬｍａｘ以下Ｐ２より大きい信号強度を持つ画素の平均値を求めることを意味する。
【００７５】
このようにして、順次Ｐ１、Ｐ２、Ｑ１、Ｑ２、ＬＡ、ＬＤ、Ｌ１〜Ｌ７の値を求めた後、固定長圧縮回路２０はｎ＝１、ｍ＝１とおいて（ステップＳＴ１４、ＳＴ１５）、この時のアドレス（ｍ，ｎ）の画素の信号強度Ｘｍｎである画素値（すなわち画素値Ｘ１１）がＬ１以下であるか否かを判断する（ステップＳＴ１６）。
【００７６】
画素値Ｘ１１がＬ１以下である場合には、この画素値の量子化レベルφｉｊｋを２進数の０００と設定する（ステップＳＴ１７）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００７７】
ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００７８】
画素値ＸｍｎがＬ１より大きい場合には、Ｌ２以下であるか否かを判別し（ステップＳＴ１８）、ＸｍｎがＬ２以下である場合は、この画素の量子化レベルφｉｊｋを２進数の００１と設定する（ステップＳＴ１９）。次に、ｍを１だけインクリメントし（ステップＳＴ３１）、ｍが４以下であるか否かを判別する（ステップＳＴ３２）。ｍが４以下である場合は、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。ｍが４より大きい場合には、ｎを１だけインクリメントし（ステップＳＴ３３）、インクリメントしたｎが４以下であるか否かを判別する（ステップＳＴ３４）。ｎが４以下である場合には、その画素の画素値を再びＬ１と比較する（ステップＳＴ１６）。
【００７９】
以下、同様に、画素値がＬ１〜Ｌ２間、Ｌ２〜Ｌ３間、Ｌ３〜ＬＡ間、ＬＡ〜Ｌ５間、Ｌ５〜Ｌ６間、Ｌ６〜Ｌ７間のいずれの値を有するかを判別し（ステップＳＴ１６、ＳＴ１８、ＳＴ２０、ＳＴ２２、ＳＴ２４、ＳＴ２６、ＳＴ２８）、その値に応じてそれぞれ量子化レベルφｉｊｋ＝０００、００１、０１０、０１１、１００、１０１、１１０、１１１を当該画素に割り振る（ステップＳＴ１７、ＳＴ１９、ＳＴ２１、ＳＴ２３、ＳＴ２５、ＳＴ２７、ＳＴ２９、ＳＴ３０）。
【００８０】
このようにして、同一単位ブロック内の全画素に量子化レベルを割り振って符号化を終了する。単位ブロックの符号化データはＬＡ、ＬＤ、各画素毎のφｉｊｋである。
【００８１】
これらの処理は、画面全体に対して単位ブロック数分繰り返す。Ａ／Ｄ変換回路３からのデジタル信号が１画素あたり１０ビットである場合（ビット詰めしない場合、２バイト相当）、固定長符号化による画像圧縮率は１０／３２である。
このように各撮影画像データは、逐次同色画素の画素のみで構成されたブロック毎に固定長圧縮回路２０において固定長符号化が行われ、画像データ量の低減が施された上でメモリ制御手段８を介して圧縮画像メモリ２２に蓄積される。
【００８２】
こうして２枚の撮影画像データが圧縮画像メモリ２２に蓄積された後に、画像処理部９における画像処理が施される。始めに、固定長圧縮回路２０において符号化されている画像データの復号化処理を行う。固定長伸長処理部２３における画像復号化方法について図について説明する。図２７は固定長伸長処理部２３の動作を示すフローチャートである。以下、このフローチャートを参照しながら固定長伸長処理部２３の固定長復号化動作を説明する。
【００８３】
固定長復号化動作が開始されると、まず、縦方向座標値ｎを１に設定し（ステップＳＴ４０）、横方向座標値ｍを１に設定する（ステップＳＴ４１）。即ち、ステップＳＴ４０及びステップＳＴ４１の動作によって、ある単位ブロック中の座標値（１，１）のアドレスが指定される。
【００８４】
次に、指定したアドレスの量子化レベルΦｉｊｋがいくつであるか判定し（ステップＳＴ４２、ＳＴ４４、ＳＴ４６、ＳＴ４８、ＳＴ５０、ＳＴ５２、ＳＴ５４）、判定した各量子化レベルΦｉｊｋに応じて平均値レベルＬＡと階調幅指標ＬＤとに基づいて、その画素の信号強度Ｙｍｎ（座標値（１，１）の画素であるならばＹ１１）を求める（ステップＳＴ４３、ＳＴ４５、ＳＴ４７、ＳＴ４９、ＳＴ５１、ＳＴ５３、ＳＴ５５、ＳＴ５６）。
【００８５】
各ステップにおいて、平均値レベルＬＡと階調幅指標値ＬＤとから信号強度Ｙｍｎを求めるには、それぞれ次の演算式に従う。
Ｙｍｎ＝ＬＡ−ＬＤ／２（ステップＳＴ４３）
Ｙｍｎ＝ＬＡ−５ＬＤ／１４（ステップＳＴ４５）
Ｙｍｎ＝ＬＡ−３ＬＤ／１４（ステップＳＴ４７）
Ｙｍｎ＝ＬＡ−ＬＤ／１４（ステップＳＴ４９）
Ｙｍｎ＝ＬＡ＋ＬＤ／１４（ステップＳＴ５１）
Ｙｍｎ＝ＬＡ＋３ＬＤ／１４（ステップＳＴ５３）
Ｙｍｎ＝ＬＡ＋５ＬＤ／１４（ステップＳＴ５５）
Ｙｍｎ＝ＬＡ＋ＬＤ／２（ステップＳＴ５６）
画素（１，１）の信号強度を求めたら、次に横方向に画素を1つ移動し（ステップＳＴ５７、ＳＴ５８）、同一の手順で画素（２，１）の信号強度を復号化する（ステップＳＴ４２〜ＳＴ５６）。
【００８６】
このようにして単位ブロック内の最上段の画素について信号強度を復号化した後（ステップＳＴ５８）、縦方向の座標値を1だけインクリメントし（ステップＳＴ５９）、次の段の画素について同様にして信号強度を復号化する（ステップＳＴ４２〜ＳＴ５８）。
このようにして単位ブロック内の全画素について信号強度を復号化して（ステップＳＴ４１〜ＳＴ６０）、復号化動作を終了する。
【００８７】
次に、復号化されたデータに、図２８に示すように固定長圧縮回路２０で並べ換えたデータの逆の並べ換え処理を施して、画素信号を走査線方向に読み出したときと同一の順序で並べ換え、画像メモリ７に記憶される。
【００８８】
以上のように画像メモリ７上には固定長圧縮前の画像データと等価な画像データが蓄積されていることになり、上記実施の形態１と同様の画像処理が画像処理部９の他のブロックにおいて施され、インタフェース部１４に出力される。
【００８９】
以上のように、複数枚の画像を撮影する際に、各々の画像データを固定長圧縮回路２０を用いてデータ圧縮することにより、撮像部５のＡ／Ｄ変換回路３から出力される画像信号を画像メモリ７に蓄積する際、より少ないデータ量をデータバスに供給して記憶手段に蓄積することが可能となり、連写間隔を短縮するための高速なメモリ制御回路あるいは最低２フレーム分の高速書込みが可能な半導体メモリを使用する必要がなくなり、装置を低価格に構成することが可能となる。
【００９０】
これは言い換えれば、少量の高速な圧縮画像メモリ２２を使用することで記憶手段への撮影したデータ蓄積速度を見かけ上高速化することが可能であり、１枚目の撮影シーケンスが短時間に終了することで２枚目の撮影動作を短時間の間合いで開始することができることになる。そのために、２枚の撮影画像間に生じる被写体の時間的な変化あるいは撮影者の手ぶれ等を最小限に抑えることが可能となり、同一被写体を高精度に１／２画素ずらした撮影が実現できるという効果がある。
【００９１】
この実施の形態２では、画像メモリ７と圧縮画像メモリ２２は別個に設ける構成としたが、この限りではなく、同一の記憶領域を有する半導体メモリ上に併設する構成としてもよい。
また、この実施の形態２では固定長圧縮回路２０とラインバッファ２１と圧縮画像メモリ２２を別個に設ける構成としたが、この限りではなく、これらの構成要素の２つ以上をＬＳＩ等の集積回路１石に包含する構成としてもよい。
【００９２】
実施の形態３．
以下、実施の形態３を図について説明する。画素ずらし光学系６１を含む撮像部５の構成や動作に関しては上記実施の形態１，２と同様である。この実施の形態３で特徴的である画像処理部９の信号レベル補正処理部１０の動作について詳細な説明を行う。
【００９３】
撮像部５で撮影された２枚の画像信号は、Ａ／Ｄ変換回路３を経て画像処理部９の画像メモリ７に蓄積される。蓄積された画像データは、各々信号レベル補正処理部１０で白バランス補正処理やガンマ補正処理等の個別に適用可能な信号補正処理を施される。この時、１枚目の画像と２枚目の画像は時系列的に撮影されているため、例えば５０〜６０ＭＨｚの比較的低周波で発光を繰り返す蛍光灯を光源として撮影した場合、光源の発光タイミングとシャッタ時間の関係で２枚の画像の入射光量に差異が生じる場合がある。即ち、撮影した２枚の画像の平均明度に差が生じ、後段の画素補間・合成処理部１１で画像合成を行う際に画質劣化の原因と為り得る。
【００９４】
図２９（ａ）は１枚目の撮像条件に比して２枚目の撮像条件における照明光量が３０％程度低下した場合の同一被写体を撮影した際の明度特性を示している。定照明下で撮影した際の各信号レベルは、照明条件が変化した場合に平均明度の低下とダイナミックレンジの縮小が発生する。図中、Ｍａｘ及びＭｉｎ値は各画像における最大信号レベル及び最小信号レベルである。この実施の形態３における信号レベル補正処理部１０では、各画像内の信号レベル補正処理の他、２枚の画像の信号レベル補正処理を行う。
【００９５】
即ち、各画像における最大信号レベル値及び最小信号レベル値を検出し、いずれか一方の信号レベル特性に他方を合せ込む処理を行う。通常は、１枚目の画像撮影時に自動露出補正あるいはシャッタ速度補正を行い最適条件下で撮影を行うため、２枚目の画像を１枚目の明度分布特性に合わせるようにする。補正前後の２枚目の画像における各信号レベルをそれぞれＤ（ｊ）（ｊは定照明下での各明度レベル値）及びＤ’（ｊ）とすると、始めに式（４）に従って補正を行う（図２９（ｂ）を参照）。
Ｄ’（ｊ）＝Ｄ（ｊ）＋（Ｍｉｎ１−Ｍｉｎ２）（４）
【００９６】
続いて、式（５）に従って１枚目の画像及び式（４）にて補正した２枚目の画像のダイナミックレンジを補正し、最終的な２枚目の補正信号レベルＤ”（ｊ）を算出する（図２９（ｃ）を参照）。
Ｄ”（ｊ）＝Ｄ’（ｊ）（Ｍａｘ１−Ｍｉｎ１）
／（Ｍａｘ２’−Ｍｉｎ２’）（５）
【００９７】
以上の手順で信号レベル補正処理部１０を構成することにより、撮影した２枚の画像の照明条件が異なる場合においても明度特性を良好に一致させることが可能であり、高精度の画素補間・合成処理が実現可能である。
また、撮像装置を図２１（実施の形態２）に示す構成にし、撮影画像を固定長圧縮回路２０を用いて符号化する場合、各符号におけるＬＡは１６画素からなるブロック内の平均信号レベルを代表する値であることから、上記手順を全てＬＡを対象に実施しても等価的に同等の効果を実現可能であることは容易に説明できる。このように構成した場合、上記全画素を対象に行っていた最大・最小信号レベル検出及び信号レベル補正に関する演算規模を１／１６に抑制することが可能であり、処理の高速化を実現できるという格別の効果がある。
【００９８】
この実施の形態３では、２枚目の撮影画像に対して式（４）及び式（５）を順次適用するように構成したが、この限りではなく、これらを１回の画像データ走査で行えることは言うまでもない。
【００９９】
実施の形態４．
以下、実施の形態４を図について説明する。実施の形態４における全体構成は実施の形態１における図１あるいは実施の形態２における図２１と同様である。この実施の形態４では、画素ずらし光学系６１として電界の強さに応じて透過光の屈折現象が変化する電気光学素子を用いる点が上記実施の形態１，２と異なる。図３０はこの実施の形態４における画素ずらし光学系６１を示す構成図である。図において、３０は電圧印加により電界を発生する電界発生回路、３１は電気光学素子である。
【０１００】
次に動作について説明する。
図３０の動作原理図である図３１中の電気光学素子３１及び偏光板１８をＡ−Ａ、Ｂ−Ｂ、Ｃ−Ｃの方向から見たものをそれぞれ図３２、図３３、図３４に示す。図３１において、画像を結像するための撮像レンズ１から電気光学素子３１に入射する自然光は図３２に示すように互いに直交する２つの偏光成分Ｌ_Ｘ，Ｌ_Ｙで表すことができる。
【０１０１】
電気光学素子３１に電界が印加されていない場合は、図３３のＬ_Ｘ０，Ｌ_Ｙ０に示す偏光成分がＬ_Ｘ，Ｌ_Ｙが直進した位置に観測される。電気光学素子３１に所定の電界Ｅ１が印加されると電気光学素子３１は複屈折現象を呈し、図３３のＬ_Ｘ１，Ｌ_Ｙ１に示す偏光成分が観測される。ここで、Ｌ_Ｘ１は複屈折現象における常光線としてＬ_Ｘが直進した位置に観測され、Ｌ_Ｙ１は複屈折現象の異常光線としてＬ_Ｙが距離Ｐだけずれた位置に観測される。ただし、この場合、図３４に示すようなＰ＝ＰＨ／２（ＰＨは撮像素子２の水平画素ピッチ）となるような電界Ｅ１を電界発生回路３０が電気光学素子３１に印加する。
【０１０２】
図８は上記撮像装置における動作タイミング図である。図８（１）はフィールドシフトパルス、図８（２）は電気光学素子３１に印加される電界Ｅの強さ、図８（３）は信号読み出しパルス、図８（４）は撮像素子２の出力信号、図８（５）はＡ、Ｂフィールドを１フレームとして見た場合の図である。電界Ｅの強さの変化の位相を図８（１）のフィールドシフトパルスに一致させる。
【０１０３】
上述の動作により、この実施の形態４の撮像装置は、Ａ、Ｂフィールドでの信号電荷蓄積を入射画像と撮像素子２の画素との相対的な位置に関してＰＨ／２だけ離れた位置で行うことができる。これに対応して図８（３）に示す信号読み出しパルスのタイミングもＰＨ／２に相当する時間Ｔだけずらしてある。その結果、図８（５）に示すように、この撮像装置はＡ、Ｂフィールドを１フレームとした１周期で高画素密度化した画像を得ることができる。
【０１０４】
この実施の形態４における画像処理部９の構成及び動作は、これまでの実施の形態で説明したいずれを用いても構成できる。
【０１０５】
実施の形態５．
以下、実施の形態５を図について説明する。実施の形態５における全体構成は実施の形態１における図１あるいは実施の形態２における図２１と同様である。この実施の形態５では、画素ずらし光学系６１として直線偏光を作る偏光板及び入射光の方位角を変更する液晶板を用いた場合を例にとって説明する。
図３５はこの実施の形態５における画素ずらし光学系６１を示す構成図であり、図において、９１は液晶板９２への印加電圧を制御する駆動電圧発生回路、９２は偏光板１８で生成された直線偏光を電圧の印加条件で方位角を変更可能な液晶板である。
【０１０６】
次に動作について説明する。
図３６は図３５の動作原理図である。図３６において、Ａ−Ａは偏光板１８の入射側、Ｂ−Ｂは偏光板１８の出射側、Ｃ−Ｃは液晶板９２の出射側、Ｄ−Ｄは複屈折板１９の出射側の垂直方向の位置を示している。図３７〜図４０には図３６に示したＡ−ＡからＤ−Ｄまでの各位置における光の偏光方向を示す。
【０１０７】
被写体を撮像する場合、光学系に入射される光は無偏光であるため、図３７のように垂直方向の偏光成分と水平方向の偏光成分とで示すことができる。偏光板１８は入射された光から直線偏光した光を出射する。また、その方位角は図３８に示すように、撮像素子２の水平方向の画素配列を基準角とすると、基準角に対して４５°の角度となるように、偏光板１８の偏光方向の偏光軸を傾けて配置する。
【０１０８】
液晶板９２は内部に液晶層を有し、２枚の電極基板で液晶を挟んだ板であり、外部から電圧（電界）が加わることにより、内部の液晶の分子配列変化に伴う電気光学効果を引き起こす。この実施の形態５にて用いる液晶板９２は入射される直線偏光の光の偏光方向を、液晶板９２に電圧を加える、または加えている電圧を切ることにより、その偏光方向を変化させるものである。液晶板９２を実現させるための一例として電気光学効果の内、代表的な電界効果型である、ねじれネマチック（ＴＮ）型液晶による旋光効果などが挙げられる。その動作を図４１および図４２に示す。
【０１０９】
ＴＮモードを示すネマチック液晶は正の誘電異方性をもち、素子の分子配列を図４１，図４２に示す。図４１，図４２中、９３は液晶分子である。基板に電圧が印加されたときは図４１に示すように分子長軸方向が両基板面で直行しているように配列するため、偏光板１８を介して入射された直線偏光はそのまま出射される。電圧が無印加の時は素子内の液晶分子の配列は連続的に９０°ねじれており、光学的には９０°旋光効果を起こすため、偏光板１８から入射された直線偏光は９０°ねじれて、出射光は入射光に対して９０°偏光方向が異なるようになる。
【０１１０】
液晶板９２から出射された光の偏光を図３９に示す。図３９において、ｃ１は液晶板９２において電圧が印加された状態であり、電圧無印加時にはｃ２のように基準角度に対して１３５°の方位角を有した直線偏光となる。今、ｃ１の直線偏光を第１の偏位方向、ｃ２の直線偏光を第２の偏位方向とする。液晶板９２から出射された光は次に複屈折板１９に入射される。
【０１１１】
複屈折板１９は屈折率が偏光方向によって均一でない、いわゆる複屈折を有する材質であり、撮像装置では被写体の空間周波数が撮像素子２の画素ピッチから求められるサンプリング周波数を超えている場合、追い返しノイズ（エイリアジングノイズ）として画像に現れるため、光学的ローパスフィルタとして水晶板などが良く用いられている。水晶板すなわち複屈折板１９は入射する光を常光線と異常光線とに分離し、その分離の距離間は複屈折板１９の厚みによって調整することが可能である。
【０１１２】
第１の偏位方向の入射光を常光線、第２の偏位方向の入射光を異常光線とするように複屈折板を設けると、異常光線は点線で示されるように（図４０を参照）、その光軸は常光線と異とし、それぞれの偏位方向を有する入射光は、図４０においてｄ１，ｄ２に示すように撮像素子２上の異なった位置に結像する。また、複屈折板１９の厚みを図４０に示すように水平方向の撮像素子の画素ピッチｗｘの半分であるｗｘ／２、垂直方向の撮像素子の画素ピッチｗｙの半分であるｗｙ／２だけ異常光線が常光線に対して異なるように設ける。
【０１１３】
よって、前記第１の偏位方向の時に撮像素子２上に結像した像を撮像した第１の画像と、第２の偏位方向の時に撮像した第２の画像の２枚の画像は互いに水平垂直とも１／２画素分、相対的にずれている。
【０１１４】
以上のことから、撮像装置は撮像部制御回路４からの制御により撮像素子２を駆動させる際に駆動電圧発生回路９１から液晶板９２へ駆動電圧を出力する。液晶板９２は電圧が加わることにより、図４３に示す液晶分子配列となり、第１の偏位方向の入射光は撮像素子２上に結像される。撮像素子２は撮像部制御回路４の制御により駆動電圧発生回路９１からの駆動信号により撮像を行い第１の画像を得る。
【０１１５】
次に、第１の画像を撮像した後、駆動電圧発生回路９１は液晶板９２への印加電圧を０とする。液晶板９２の液晶分子配列は図４２に示したようになり、第２の偏位方向の入射光は撮像素子２上に結像される。撮像素子２は駆動電圧発生回路９１からの駆動信号により撮像を行い第２の画像を得る。
【０１１６】
液晶板９２への印加電圧パルスを図４３に示す。撮像部制御回路４は図４３における状態１の間に第１の画像の撮像を終了させ、同図状態２の間に第２の画像の撮像を終了させる。
上記のように動作させることにより、水平垂直とも１／２画素ずれた第１の画像および第２の画像を得ることができる。
【０１１７】
以上のように得られた１枚目の撮影画像と１／２画素ずらして撮影された２枚目の画像は逐次Ａ／Ｄ変換回路３においてデジタル信号に変換された後、画像処理部９に送信される。
【０１１８】
この実施の形態５では、１枚目の画像に対して２枚目の撮影画像を１／２画素ずらす方向として４５度方向にずらすものを例に説明したが、この限りではなく、液晶板９２及び複屈折板１８の配置あるいは液晶板９２への印加電圧を適宜組み合わせることにより、１３５度方向、−４５度方向、−１３５度方向など実現可能である。
【０１１９】
また、この実施の形態５では、入射する直線偏光の偏光方向を変化させる液晶板９２として、ＴＮ型液晶を一例として挙げたが、光電効果により旋光効果を有する液晶板９２であれば、同様の効果を有することができる。
また、この実施の形態５では、図３５に示した画素ずらし光学系６１では撮像レンズ１を液晶板９２と複屈折板１８との間に配置しているが、撮像レンズ１は画素ずらし光学系６１内のいずれの位置に配置してもよい。
【０１２０】
また、以上の全ての実施の形態においては、静止画像を連続的に取り込み可能なディジタルスチルカメラでの構成例を示したが、動画像を取り込み可能なディジタルカムコーダにおける高精細静止画撮影モードとして構成可能であることは言うまでもない。
【０１２１】
また、以上の全ての実施の形態においては、撮像装置の内部で画素補間・合成処理を実行可能な構成例を示したが、この限りではなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能な機器上で構成してもよい。
【０１２２】
【発明の効果】
以上のように、この発明によれば、画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号のうち、参照色である撮像色信号が形成する三角形として、注目する撮像色信号の画素座標と、上記撮像色信号に対して画素ずらし方向と垂直方向に存在する２つの撮像色信号の画素座標とを横軸に配置するとともに、上記３つの撮像色信号の信号レベルを縦軸に配置して、これらの配置位置を頂点とする第１の三角形を形成し、また、補間色である非撮像色信号が形成する三角形として、参照色である撮像色信号と同一方向に存在する３つの非撮像色信号の画素座標を横軸に配置するとともに、上記３つの非撮像色信号の信号レベルを縦軸に配置して、これらの配置位置を頂点とする第２の三角形を形成し、上記第１の三角形と上記第２の三角形の相似比を考慮して色補間を実施し、変位前後の撮像素子の撮像画像を合成するように構成したので、解像度の高い画像を実現することができる効果がある。
また、撮像画素が存在しない位置の空白画素を色補間する場合、画像中のエッジにあたる部分が空白画素を通過するか否かを判定し、その空白画素を通過するときはエッジ線分の稜線方向に当該空白画素を色補間するように構成したので、画像の解像度を高めることができる効果がある。
【０１２４】
この発明によれば、撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画像メモリに格納し、その圧縮画像を伸長して画像記憶手段に出力する圧縮・伸長手段を設けるように構成したので、連写間隔を短縮することができる効果がある。
【０１２５】
この発明によれば、画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号の信号レベルを補正する信号レベル補正手段を設けるように構成したので、画像の解像度を高めることができる効果がある。
【０１２６】
この発明によれば、変位前後の撮像素子の撮像画像における所定領域の撮像色信号の平均信号レベルを計算し、双方の平均信号レベルが一致するように撮像色信号の信号レベルを補正するように構成したので、精度よく信号レベルを補正することができる効果がある。
【０１２７】
この発明によれば、入射光を撮像素子に導く光路に配置された磁気光学素子に与える磁界の強度を制御して、その撮像素子に対する入射光の位置を変位させるように構成したので、撮像光学系を機械的に振動させることなく微小画素ずらしを実施することができる効果がある。
【０１２８】
この発明によれば、撮像光学系と撮像素子の間に画素ずらし手段を配置するように構成したので、撮像素子に対する入射光の位置を変位させることができる効果がある。
【０１２９】
この発明によれば、撮像光学系の前段に画素ずらし手段を配置するように構成したので、画素ずらし手段を外付けにすることができる効果がある。
【０１３０】
この発明によれば、入射光を撮像素子に導く光路に配置された電気光学素子に与える電界の強度を制御して、その撮像素子に対する入射光の位置を変位させるように構成したので、撮像光学系を機械的に振動させることなく微小画素ずらしを実施することができる効果がある。
【０１３１】
この発明によれば、入射光を撮像素子に導く光路に配置された液晶板に与える電圧の強度を制御して、その撮像素子に対する入射光の位置を変位させるように構成したので、撮像光学系を機械的に振動させることなく微小画素ずらしを実施することができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による撮像装置を示す構成図である。
【図２】Ｂａｙｅｒ型配列をした撮像素子を示す説明図である。
【図３】画素ずらし光学系６１の内部構成を示す構成図である。
【図４】図３の動作原理図である。
【図５】図４のＡ−Ａ線から見た説明図である。
【図６】図４のＢ−Ｂ線から見た説明図である。
【図７】図４のＣ−Ｃ線から見た説明図である。
【図８】各種信号のタイミングを示す説明図である。
【図９】撮像画素の画素位置を示す説明図である。
【図１０】画像の生成を説明する模式図である。
【図１１】画素補間・合成処理部１１の処理手順を示すフローチャートである。
【図１２】図２に示す撮像素子を斜め１／２画素右下にずらして撮像した画像の色信号と先の色信号とを重ねて表示した説明図である。
【図１３】色信号の補間生成を示す説明図である。
【図１４】色信号の補間生成を示す説明図である。
【図１５】参照色の参照画素位置と補間色の参照画素位置の関係を示す説明図である。
【図１６】参照方向と信号レベルの関係を示す説明図である。
【図１７】参照方向と信号レベルの関係を示す説明図である。
【図１８】参照方向と信号レベルの関係を示す説明図である。
【図１９】画像中に存在するＧ成分の位置関係を示す説明図である。
【図２０】稜線ベクトル検出による補間を示す説明図である。
【図２１】この発明の実施の形態２による撮像装置を示す構成図である。
【図２２】画素配列が並べ換えられる様子を示した説明図である。
【図２３】単位ブロック内のカラー画像信号を固定長圧縮回路２０で符号化する場合のアドレスを示す説明図である。
【図２４】各画素の画像信号の強度を階層化（量子化）する量子化レベルを表す説明図である。
【図２５】この実施の形態２による符号化手順を示すフローチャートである。
【図２６】この実施の形態２による符号化手順を示すフローチャートである。
【図２７】固定長伸長処理部２３の動作を示すフローチャートである。
【図２８】固定長圧縮回路２０で並べ換えたデータの逆の並べ換え処理を示す説明図である。
【図２９】被写体を撮影した際の明度特性を示す説明図である。
【図３０】この実施の形態４における画素ずらし光学系６１を示す構成図である。
【図３１】図３０の動作原理図である。
【図３２】図３１のＡ−Ａ線から見た説明図である。
【図３３】図３１のＢ−Ｂ線から見た説明図である。
【図３４】図３１のＣ−Ｃ線から見た説明図である。
【図３５】この実施の形態５における画素ずらし光学系６１を示す構成図である。
【図３６】図３５の動作原理図である。
【図３７】図３６のＡ−Ａの位置における光の偏光方向を示す説明図である。
【図３８】図３６のＢ−Ｂの位置における光の偏光方向を示す説明図である。
【図３９】図３６のＣ−Ｃの位置における光の偏光方向を示す説明図である。
【図４０】図３６のＤ−Ｄの位置における光の偏光方向を示す説明図である。
【図４１】素子の分子配列を示す斜視図である。
【図４２】素子の分子配列を示す斜視図である。
【図４３】液晶分子配列を示す説明図である。
【図４４】従来の撮像装置を示すブロック図である。
【図４５】撮像装置の機構を示す斜視図である。
【図４６】撮像によって得られたＧ信号（Ｇ１，Ｇ２）を示す説明図である。
【図４７】Ｇ信号の補間を示す説明図である。
【図４８】左右のＢ１信号からＢ１’信号の内挿を示す説明図である。
【図４９】Ｂ１’，Ｂ１”，Ｂ２’，Ｂ２”から残りの画素の内挿を示す説明図である。
【符号の説明】
１撮像レンズ（撮像光学系）、２撮像素子、３Ａ／Ｄ変換回路、４撮像部制御回路、５撮像部、６カメラ制御部、７画像メモリ（画像記憶手段）、８メモリ制御手段、９画像処理部、１０信号レベル補正処理部（信号レベル補正手段）、１１画素補間・合成処理部（補間・合成手段）、１２画像補正処理部、１３画像圧縮処理部、１４インタフェース部、１５磁界発生回路、１６コイル、１７ファラデー素子、１８偏光板、１９複屈折板、２０固定長圧縮回路（圧縮・伸長手段）、２１ラインバッファ（圧縮・伸長手段）、２２圧縮画像メモリ（圧縮・伸長手段）、２３固定長伸長処理部（圧縮・伸長手段）、３０電界発生回路、３１電気光学素子、６１画素ずらし光学系（画素ずらし手段）、９１駆動電圧発生回路、９２液晶板、９３液晶分子。

Claims

撮像素子に対する入射光の位置を半画素分だけ光学的に変位させる画素ずらし手段と、上記画素ずらし手段による変位前後の撮像素子の撮像画像を記憶する画像記憶手段と、上記画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号のうち、参照色である撮像色信号が形成する三角形として、注目する撮像色信号の画素座標と、上記撮像色信号に対して画素ずらし方向と垂直方向に存在する２つの撮像色信号の画素座標とを横軸に配置するとともに、上記３つの撮像色信号の信号レベルを縦軸に配置して、これらの配置位置を頂点とする第１の三角形を形成し、また、補間色である非撮像色信号が形成する三角形として、参照色である撮像色信号と同一方向に存在する３つの非撮像色信号の画素座標を横軸に配置するとともに、上記３つの非撮像色信号の信号レベルを縦軸に配置して、これらの配置位置を頂点とする第２の三角形を形成し、上記第１の三角形と上記第２の三角形の相似比を考慮して色補間を実施し、変位前後の撮像素子の撮像画像を合成する補間・合成手段とを備え、上記補間・合成手段は、撮像画素が存在しない位置の空白画素を色補間する場合、画像中のエッジにあたる部分が空白画素を通過するか否かを判定し、その空白画素を通過するときはエッジ線分の稜線方向に当該空白画素を色補間することを特徴とする撮像装置。
撮像素子の撮像画像を圧縮して、その圧縮画像を圧縮画像メモリに格納し、その圧縮画像を伸長して画像記憶手段に出力する圧縮・伸長手段を設けたことを特徴とする請求項１記載の撮像装置。
画像記憶手段に記憶されている変位前後の撮像素子の撮像画像を構成する撮像色信号の信号レベルを補正する信号レベル補正手段を設けたことを特徴とする請求項１または請求項２記載の撮像装置。
信号レベル補正手段は、変位前後の撮像素子の撮像画像における所定領域の撮像色信号の平均信号レベルを計算し、双方の平均信号レベルが一致するように撮像色信号の信号レベルを補正することを特徴とする請求項３記載の撮像装置。
画素ずらし手段は、入射光を撮像素子に導く光路に配置された磁気光学素子に与える磁界の強度を制御して、その撮像素子に対する入射光の位置を変位させることを特徴とする請求項１から請求項４のうちのいずれか１項記載の撮像装置。
撮像光学系と撮像素子の間に画素ずらし手段を配置することを特徴とする請求項５記載の撮像装置。
撮像光学系の前段に画素ずらし手段を配置することを特徴とする請求項５記載の撮像装置。
画素ずらし手段は、入射光を撮像素子に導く光路に配置された電気光学素子に与える電界の強度を制御して、その撮像素子に対する入射光の位置を変位させることを特徴とする請求項１から請求項４のうちのいずれか１項記載の撮像装置。
画素ずらし手段は、入射光を撮像素子に導く光路に配置された液晶板に与える電圧の強度を制御して、その撮像素子に対する入射光の位置を変位させることを特徴とする請求項１から請求項４のうちのいずれか１項記載の撮像装置。