JP5055643B2 - 撮像素子および画像撮像装置 - Google Patents

Description

本発明は、撮像した画像を電気信号に変換する撮像素子と、その撮像素子を用いた画像撮像装置に関する。

従来広く用いられている通常の撮像素子は、Ｒ，Ｇ，Ｂの３種類のカラーフィルタを搭載している。通常、Ｒ，Ｇ，Ｂのカラーフィルタは、ＩＲ波長領域の光も透過してしまうため、Ｒ，Ｇ，Ｂのカラーフィルタを透過した光を光電変換素子で検出してＲ，Ｇ，Ｂカラー画像データを生成すると、その色再現性が良くない。
そこで、Ｒ，Ｇ，Ｂのカラーフィルタを用いた撮像素子ではその撮像素子の前面にＩＲカットフィルタを設けて、Ｒ，Ｇ，Ｂのカラーフィルタを透過した光にＩＲ波長領域の光が含まれないようにすることで、色再現性を向上させている。しかし、このＩＲカットフィルタは、ＩＲ波長領域の光をカットすると同時に、可視光も１０〜２０％程度減衰させるため、受光画素に入射する可視波長領域の光の強度が減少し、感度が低下するという問題があった。

これらの問題の対処法として、ベイヤー配列のＧフィルタの半数をＩＲフィルタに置き換えた撮像素子で、ＩＲ受光画素が出力する信号を各受光画素にてＩＲ波長領域の光に起因して生じる信号量として補正する方法がある。これは、色再現性を維持しつつ、感度の低下を軽減している。しかし、Ｇ画素が減少する分、解像度が低下するという問題もあった。また、前記補正時に各受光画素にてＩＲ波長領域の光に起因して生じる信号量としてオフセットするため、Ｓ／Ｎ比の低下を招く。

前記撮像素子の応用として、図２８のような撮像素子が提案されている。これはベイヤー配列のＲフィルタの一部を選択的にＩＲフィルタに置き換えた撮像素子であり、前記補正を実施する（特許文献１参照）。この場合、Ｒ画素は減少するが、Ｒ画素数を多くしても解像度の向上を図りにくいという原理上、解像度の低下は比較的軽度である。しかしながら、前記補正時に同様の理由で、Ｓ／Ｎ比の低下は避けられない。

その他の対処法として、光学系から導かれる光路順にＲ，Ｇ，Ｂカラーフィルタ、光電変換層、光電変換素子の構成の撮像素子と、それを利用した画像処理装置が考案されている。これは、少なくとも前記ＲフィルタはＩＲ波長領域の光も透過し、前記光電変換層はＩＲ波長領域の光を吸収して、これに応じた電荷を発生し、且つ、それ以外の光を透過し、前記多数の光電変換素子の一部とは、前記Ｒフィルタに対応する光電変換素子である画像処理装置であり、撮像素子から出力されたＲ，Ｇ，Ｂカラー画像信号とＩＲ波長領域の光の信号を用いて、画像処理を実施することで前記カラー画像信号の色再現性を向上させる方法である(特許文献２参照)。

この方法においては、色再現性を維持しつつ、感度および解像度の低下を防いでいる。しかしながら、画像処理によって、Ｒ，Ｇ，Ｂカラー画像信号とＩＲ波長領域の光の信号の演算（減算）処理が行われるため、Ｓ／Ｎ比の低下を招く。また、前記光電変換層は、その特性を備えた組成を満足する必要があり、さらに、前記光電変換層を有する撮像素子は複雑な構造となるため、最良とは言い難い。

また、上述したいずれの方法でもＲ，Ｇ，Ｂカラーフィルタによって、吸収される光量がある。例えば、Ｒフィルタでは、青波長領域および緑波長領域の光が吸収される。そのための感度低下は避けられないのが現状である。
以上のように、色再現性、感度および解像度の全てを満足する撮像素子は存在していない。

ところで、近年、車のバックモニタなどの用途に向け、広角の小型撮像装置の需要が増大している。しかしながら、小型で収差や歪みが小さい光学系を設計するのは困難であり、画像処理と組み合わせて性能を向上させる必要がある。例えば特許文献３には歪みのある光学系を用いた撮像装置において、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号それぞれで座標変換することにより、異なる歪ませ方を行い光学系で発生する倍率色収差も補正を行う手法が記載されている。

一般に撮像素子にはベイヤー配列などのカラーフィルタが設けられている。従来技術においては、撮像素子により得られた信号について、ベイヤー配列など、カラーフィルタの配列による画素欠陥を補完した後に倍率色収差の補正を行っていた。

しかしながら、倍率色収差が大きい光学系に対応するためには、倍率色収差用（座標変換用）のメモリの容量が極めて多く必要であり、装置が非常に高価になっていた。さらに、倍率色収差は色成分毎に異なるため、倍率色収差補正用には各色成分独立にアドレス指定できるメモリが必要で、高価な３チップ構成の３ポートのＲＡＭ（ＳＲＡＭなど）を使用するか、時分割でＲＡＭを駆動する必要があり、この点からも装置が非常に高価となっていた。

特開２００６−２３７７３７号公報 特開２００８−０８５８０７号公報 特開２００６−３４５０５４号公報

本発明は上記事情に鑑みてなされたものであり、色再現性、感度、解像度の全てを満足する撮像素子と、その撮像素子を用い、色再現性、感度、解像度の良好な画像撮像装置を提供することを目的とする。さらに本発明は、広画角で倍率色収差が大きい光学系を用いた場合にも、小容量のメモリで倍率色収差補正を行うことができる画像処理系を備えた画像撮像装置を提供することを目的とする。

上記の目的を達成するため、本発明では以下のような解決手段を採っている。
本発明の第１の手段は、複数の受光部を有する光電変換素子と、前記光電変換素子の受光面上に設けられ複数の受光部に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長領域のフィルタが配置されたカラーフィルタを有し、前記受光部と前記フィルタからなるＲ，Ｇ，Ｂの画素が二次元配列された撮像素子であって、Ｇ画素に入射する緑波長領域の光および青波長領域の光以外の波長領域の光と、Ｂ画素に入射する青波長領域の光および緑波長領域の光以外の波長領域の光を、近傍のＲ画素に転送する手段を有することを特徴とする。
本発明の第２の手段は、第１の手段に記載の撮像素子において、前記Ｒ画素は赤外（ＩＲ）波長領域の光まで透過するフィルタを有し、前記Ｇ画素または前記Ｂ画素に入射するＩＲ波長領域の光を、前記Ｇ画素または前記Ｂ画素に隣接する、または接するＲ画素に転送する手段を有することを特徴とする。
本発明の第３の手段は、第１または第２の手段に記載の撮像素子において、前記Ｒ画素に転送する手段は、赤波長領域の光と赤外波長領域の光を転送する構造を有することを特徴とする。

本発明の第４の手段は、第１乃至第３の手段のいずれか一つに記載の撮像素子において、前記Ｒ画素に転送する手段として、特定の波長の光を透過または反射または回折させる素子を用いることを特徴とする。
本発明の第５の手段は、第４の手段に記載の撮像素子において、前記転送する手段として、サブ波長構造の素子（ＳＷＳ（subwavelength structur）素子）を用いることを特徴とする。
本発明の第６の手段は、第４の手段に記載の撮像素子において、前記転送する手段として、ダイクロイック膜またはダイクロイックプリズムからなるダイクロイック素子を用いることを特徴とする。
本発明の第７の手段は、第６の手段に記載の撮像素子において、前記Ｒ画素は、前記Ｇ画素および前記Ｂ画素よりも前記受光面に像を結ぶ光学系に対して凸であることを特徴とする。

本発明の第８の手段は、第１乃至第７の手段のいずれか一つに記載の撮像素子において、前記画素の配列がベイヤー配列のとき、前記転送する手段は、前記Ｇ画素に入射する光のうち、少なくともＩＲ波長領域の光を隣接する前記Ｒ画素に転送することを特徴とする。
本発明の第９の手段は、第１乃至第８の手段のいずれか一つに記載の撮像素子において、前記画素の配列がベイヤー配列のとき、前記転送する手段は、前記Ｂ画素に入射する光のうち、少なくともＩＲ波長領域の光を隣接する前記Ｒ画素に転送することを特徴とする。

本発明の第１０の手段は、画像撮像装置であり、第１乃至第９の手段のいずれか一つに記載の撮像素子と、前記撮像素子に像を結ぶ撮像光学系と、前記撮像素子から出力される画像データを処理する画像処理系と、を有することを特徴とする。
本発明の第１１の手段は、第１０の手段に記載の画像撮像装置において、前記撮像光学系が、広画角で倍率色収差が大きい光学系の場合は、前記画像処理系は、前記Ｇ画素、前記Ｂ画素、および前記ＩＲ波長領域の光を含む前記Ｒ画素の輝度に対して倍率色収差補正を実施することを特徴とする。

本発明の第１２の手段は、第１１の手段に記載の画像撮像装置において、前記画像処理系は、前記撮像素子で読み取られた少なくとも倍率色収差を含むカラーフィルタ配列の画像データを処理する画像処理装置を有し、該画像処理装置により、前記倍率色収差を含むカラーフィルタ配列の画像データの各画素を座標変換して倍率色収差補正処理を行い、倍率色収差補正されたカラーフィルタ配列の画像データについて、カラーフィルタ配列による画素欠陥を補完処理することを特徴する。
本発明の第１３の手段は、第１２の手段の画像撮像装置において、前記倍率色収差補正処理は、座標変換元のカラーフィルタ配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値とし、座標変換元のカラーフィルタ配列の色が座標変換先と異なる色の場合には、座標変換元に最も近い距離の座標変換先と同色の座標の画素の画素値を座標変換先の画素の画素値とすることを特徴する。

本発明の第１４の手段は、第１２の手段に記載の画像撮像装置において、前記倍率色収差補正処理は、座標変換元のカラーフィルタ配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値とし、座標変換元のカラーフィルタ配列の色が座標変換先と異なる色の場合には、座標変換元近傍の座標変換先と同色の複数の座標の画素の画素値から、座標変換先に相当する画素の画素値を補間処理し、得られた画素値を座標変換先の画素の画素値とすることを特徴する。
本発明の第１５の手段は、第１４の手段に記載の画像撮像装置において、前記座標変換元近傍の座標変換先と同色の複数の座標は二つとすることを特徴する。
本発明の第１６の手段は、第１５の手段に記載の画像撮像装置において、前記座標変換元近傍の座標変換先と同色の二つの座標は、前記撮像素子の読み出し方向と同方向の座標とすることを特徴する。

本発明の第１７の手段は、第１２乃至第１６の手段のいずれか一つに記載の画像撮像装置において、前記倍率色収差補正処理では、歪曲収差補正を一緒に行うことを特徴とする
本発明の第１８の手段は、第１２乃至第１６の手段のいずれか一つに記載の画像撮像装置において、前記倍率色収差補正された画像データのカラーフィルタ配列による画素欠陥を補完処理した画像データについて歪曲収差補正処理することを特徴とする。

本発明の第１の手段では、複数の受光部を有する光電変換素子と、前記光電変換素子の受光面上に設けられ複数の受光部に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長領域のフィルタが配置されたカラーフィルタを有し、前記受光部と前記フィルタからなるＲ，Ｇ，Ｂの画素が二次元配列された撮像素子であって、Ｇ画素に入射する緑波長領域の光および青波長領域の光以外の波長領域の光と、Ｂ画素に入射する青波長領域の光および緑波長領域の光以外の波長領域の光を、近傍のＲ画素に転送する手段を有することにより、Ｒ画素に多くの光を取り込めるため、感度を向上することができる。また、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ（point spread function））が小さくなり、解像度を向上させることができる。

本発明の第２の手段では、第１の手段に記載の撮像素子において、前記Ｒ画素は赤外（ＩＲ）波長領域の光まで透過するフィルタを有し、前記Ｇ画素または前記Ｂ画素に入射するＩＲ波長領域の光を、前記Ｇ画素または前記Ｂ画素に隣接する、または接するＲ画素に転送する手段を有することにより、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ）が小さくなり、解像度を向上させることができる。
また、本発明の第３の手段では、第１または第２の手段に記載の撮像素子において、前記Ｒ画素に転送する手段は、赤波長領域の光と赤外波長領域の光を転送する構造を有することにより、ＧフィルタまたはＢフィルタで吸収されていた赤波長領域の光を赤色信号として取得し、感度を向上することができる。

本発明の第４の手段では、第１乃至第３の手段のいずれか一つに記載の撮像素子において、前記Ｒ画素に転送する手段として、特定の波長の光を透過または反射または回折させる素子を用いることにより、Ｇ画素またはＢ画素に入射する赤波長領域の光とＩＲ波長領域の光をＧ画素またはＢ画素に隣接するまたは接するＲ画素に転送する構造を実現することができる。
より具体的には、本発明の第５の手段のように、前記転送する手段として、サブ波長構造の素子（ＳＷＳ素子）を用いることにより、ＳＷＳ素子の特定の波長の光を回折させる作用を利用して、Ｇ画素またはＢ画素に入射する赤波長領域の光とＩＲ波長領域の光をＧ画素またはＢ画素に隣接するまたは接するＲ画素に転送する構造を実現することができる。
また、本発明の第６の手段のように、前記転送する手段として、ダイクロイック膜またはダイクロイックプリズムからなるダイクロイック素子を用いることにより、ダイクロイック素子の特定の波長の光を透過または反射させる作用を利用して、Ｇ画素またはＢ画素に入射する赤波長領域の光とＩＲ波長領域の光をＧ画素またはＢ画素に隣接するまたは接するＲ画素に転送する構造を実現することができる。
さらに本発明の第７の手段では、第６の手段に記載の撮像素子において、前記Ｒ画素は、前記Ｇ画素および前記Ｂ画素よりも前記受光面に像を結ぶ光学系に対して凸であることにより、垂直上方から入射する光の他に、水平方向からの光も取得し、感度を向上することができる。

本発明の第８の手段では、第１乃至第７の手段のいずれか一つに記載の撮像素子において、前記画素の配列がベイヤー配列のとき、前記転送する手段は、前記Ｇ画素に入射する光のうち、少なくともＩＲ波長領域の光を隣接する前記Ｒ画素に転送することにより、Ｒ画素に多くの光を取り込めるため、感度を向上することができる。また、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ）が小さくなり、解像度を向上させることができる。

本発明の第９の手段では、第１乃至第８の手段のいずれか一つに記載の撮像素子において、前記画素の配列がベイヤー配列のとき、前記転送する手段は、前記Ｂ画素に入射する光のうち、少なくともＩＲ波長領域の光を隣接する前記Ｒ画素に転送することにより、Ｒ画素に多くの光を取り込めるため、感度を向上することができる。また、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ）が小さくなり、解像度を向上させることができる。

本発明の第１０の手段の画像撮像装置では、第１乃至第９の手段のいずれか一つに記載の撮像素子と、前記撮像素子に像を結ぶ撮像光学系と、前記撮像素子から出力される画像データを処理する画像処理系と、を有することにより、色再現性、感度、解像度の良好な画像撮像装置を実現することができる。
また、本発明の第１１の手段では、第１０の手段に記載の画像撮像装置において、前記撮像光学系が、広画角で倍率色収差が大きい光学系の場合は、前記画像処理系は、前記Ｇ画素、前記Ｂ画素、および前記ＩＲ波長領域の光を含む前記Ｒ画素の輝度に対して倍率色収差補正を実施することにより、倍率色収差を抑え、感度および解像度の高い画像を小型・安価な光学系で実現することができる。

本発明の第１２〜１８の手段では、第１１の手段に記載の画像撮像装置において、前記画像処理系は、前記撮像素子で読み取られた少なくとも倍率色収差を含むカラーフィルタ配列の画像データを処理する画像処理装置を有し、該画像処理装置により、前記倍率色収差を含むカラーフィルタ配列の画像データの各画素を座標変換して倍率色収差補正処理を行い、倍率色収差補正されたカラーフィルタ配列の画像データについて、カラーフィルタ配列による画素欠陥を補完処理することにより、カラーフィルタ配列の画像データのまま倍率色収差補正処理を行うことで、該倍率色収差補正処理に用いられる座標変換メモリの容量を減らすことができる。
倍率色収差補正処理は、座標変換元のカラーフィルタ配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値とし、座標変換元のカラーフィルタ配列の色が座標変換先と異なる色の場合には、座標変換元に最も近い距離の座標変換先と同色の座標の画素の画素値を座標変換先の画素の画素値とすることで、座標変換前と後でカラーフィルタ配列を維持できる。
また、座標変換元のカラーフィルタ配列の色が座標変換先と異なる色の場合に、座標変換元近傍の座標変換先と同色の複数の座標（例えば、二つの座標）の画素の画素値から、座標変換先に相当する画素の画素値を補間処理し、得られた画素値を座標変換先の画素の画素値とすることで、画質を向上できる。
また、座標変換元近傍の二つの座標を用いる場合は、座標変換メモリに２ポートのＲＡＭ等を用いることができる。さらに、この二つの座標を撮像素子の読み出し方向と同方向の座標とすることで、メモリにおいてバーストリードを使うことができるため、低コストの低速なＲＡＭ等が使用可能となり、低コストの画像撮像装置を実現することができる。

以下、本発明の撮像素子および画像撮像装置の構成、動作および作用効果を、図示の実施例に基づいて詳細に説明する。

図１に本発明の撮像素子の第一の構成例を示す。
この撮像素子は、複数の受光部（光電変換層部）を有する光電変換素子２０１と、光電変換素子２０１の受光面上に設けられ複数の受光部に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長領域のフィルタが配置されたカラーフィルタ２０２を有し、受光部とフィルタからなるＲ，Ｇ，Ｂの画素が二次元配列された撮像素子である。そして、撮像素子の画素上方にはサブ波長構造のＳＷＳ素子２０３を有し、Ｇ画素またはＢ画素に入射する赤波長領域およびＩＲ波長領域の光を近傍のＲ画素に転送するように構成されている。また、カラーフィルタ２０２のＲフィルタは、赤波長領域およびＩＲ波長領域の光（Ｒ＋ＩＲ）を透過するようになっている。

ここでＳＷＳ素子とは、使用波長よりも細かいピッチを有する周期構造を透明基板等の素子の表面に形成して、波長板としての機能を持たせものであり、特定の波長の光（ここでは、赤波長領域と赤外（ＩＲ）波長領域の光）を回折する作用を有している。

図２に図１に示すような構成でベイヤー配列の撮像素子を用いた場合の画素の２次元配列図を示す。また、図３（ａ）および図３（ｂ）に図２に示すａ，ｂ線における断面図をそれぞれ示す。
図３の実線、一点鎖線、二点鎖線、破線の矢印は、各波長領域の光の転送経路を表している。Ｂ画素から転送される赤波長領域の光とＩＲ波長領域の光は、転送先のＲ画素の対角線上に集光するようにする。これは、色再現性を向上させるために、Ｂ画素から転送されるＩＲ波長領域の光がＧ画素に混入することを防ぐ目的である。
以上のような構成を取ることで、撮像素子面上に入射する赤波長領域の光全てとＩＲ波長領域の光全てを赤色信号として取得できるので、感度を向上することができる。
また、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ）が小さくなり、解像度を向上させることができる。

図４に本発明の撮像素子の第二の構成例を示す。
この撮像素子は、複数の受光部（光電変換層部）を有する光電変換素子３０１と、光電変換素子３０１の受光面上に設けられ複数の受光部に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長領域のフィルタが配置されたカラーフィルタ３０２を有し、受光部とフィルタからなるＲ，Ｇ，Ｂの画素が二次元配列された撮像素子である。そして、撮像素子の画素上方にはダイクロイック素子（ダイクロイックプリズムまたはダイクロイック膜を設けた平板等）３０３を有し、Ｇ画素またはＢ画素に入射する赤波長領域およびＩＲ波長領域の光を近傍のＲ画素に転送するように構成されている。また、カラーフィルタ３０２のＲフィルタは、赤波長領域およびＩＲ波長領域の光（Ｒ＋ＩＲ）を透過するようになっている。

ここでダイクロイック素子（ダイクロイックプリズムまたはダイクロイック膜を設けた平板等）３０３とは、ある波長領域の光を透過させて、残りの波長領域の光を反射させる素子であり、特定の波長の光を透過または反射させるため、薄膜を利用する。
図５はダイクロイック素子３０３の一例であるダイクロイックプリズムを上方から見た平面図であり、図５のように、２つの反射面がクロスする構造のものが、液晶プロジェクタなどに利用されている。このダイクロイックプリズムは２つの面に異なる透過波長領域を設定することで、白色光を赤波長領域の光、緑波長領域の光、青波長領域の光の３つに分解するフィルタとしても機能する。

なお、図４の撮像素子の例では、Ｒ（＋ＩＲ）画素は、Ｇ画素およびＢ画素よりも上方に凸であり、ダイクロイック素子（例えばダイクロイックプリズム）１０１で反射されて転送されてきた赤波長領域およびＩＲ波長領域の光（Ｒ＋ＩＲ）を受光できるようになっている。
また、このような撮像素子の製造方法としては、光電変換素子を構成する半導体基板のＢ画素部およびＧ画素部をエッチングして凹部を形成し、その凹部にＢフィルタやＧフィルタを形成し、凸部にＲフィルタ（Ｒ＋ＩＲフィルタ）を形成することにより、製造できる。以下、具体的に説明する。

図２７は撮像素子の製造方法の一例を示す工程説明図である。
まず半導体基板２１０に不純物拡散等により二次元配列された受光部を形成する。そして、図２７（１）に示すように、フォトリソグラフィ技術を用いて、Ｒ＋ＩＲの波長領域の光の受光部２１０Ｒ＋ＩＲとなる部分を覆うようにエッチング用マスク２１１を形成し、エッチングを行う。このエッチングにより、図２７（２）に示すように、青波長領域（および緑波長領域）の光の受光部２１０Ｂ（２１０Ｇ）となる部分に凹部が形成される。
次に図２７（３）に示すように、フォトリソグラフィ技術を用いて、Ｒ＋ＩＲの波長領域の光の受光部２１０Ｒ＋ＩＲの周囲を除いてエッチング用マスク２１１を形成し、エッチングを行う。このエッチングにより、図２７（４）に示すように、受光部２１０Ｒ＋ＩＲの周囲に段部が形成される。
次に図２７（５）に示すように、青色（または緑色）に着色された感光性樹脂２１２を、半導体基板面にスピンコート等の方法で塗布した後、青波長領域（または緑波長領域）の光の受光部２１０Ｂ（２１０Ｇ）の凹部以外の部分を覆うようにパターニングされたフォトマスク２１３を用いて露光し、現像する。この露光・現像工程により、感光性樹脂は、凹部の部分だけに残るようにパターニングされ、図２７（６）に示すように、Ｂフィルタ（またはＧフィルタ）２１４Ｂ（２１４Ｇ）が形成される。このＢフィルタ（またはＧフィルタ）２１４Ｂ（２１４Ｇ）は、凹部に埋め込まれ、例えば、その上面が受光部２１０Ｒ＋ＩＲの周囲の段部と同程度の高さとなるようにＢフィルタ（またはＧフィルタ）２１４Ｂ（２１４Ｇ）の膜厚が定められている。
次に上記と同様に、赤色に着色された感光性樹脂を、半導体基板面にスピンコート等の方法で塗布した後、Ｒ＋ＩＲの波長領域の光の受光部２１０Ｒ＋ＩＲとその周囲の段部を除いた部分を覆うようにパターニングされたフォトマスクを用いて露光し、現像する。この露光・現像工程により、感光性樹脂は、Ｒ＋ＩＲの波長領域の光の受光部２１０Ｒ＋ＩＲとその周囲の段部だけに残るようにパターニングされ、図２７（７）に示すように、Ｒ＋ＩＲフィルタ２１４Ｒ＋ＩＲが形成される。

このようにして形成されたＲ＋ＩＲ受光部２１０Ｒ＋ＩＲとＲ＋ＩＲフィルタ２１４Ｒ＋ＩＲからなるＲ＋ＩＲ画素は、Ｇ画素およびＢ画素よりも上方に凸であるので、前述のダイクロイック素子（例えばダイクロイックプリズム）で反射されて転送されてきた赤波長領域およびＩＲ波長領域の光（Ｒ＋ＩＲ）はＲ＋ＩＲフィルタ２１４Ｒ＋ＩＲを透過してＲ＋ＩＲ受光部２１０Ｒ＋ＩＲで受光することができる。

次に図６に図４に示すような構成でベイヤー配列の撮像素子を用いた場合の画素の２次元配列図を示す。また、図７（ａ）および図７（ｂ）に図６に示すｃ，ｄ線における断面図をそれぞれ示す。
図７の実線、一点鎖線、二点鎖線、破線の矢印は、各波長領域の光の経路（転送経路）を表している。また、赤波長領域およびＩＲ波長領域の光（Ｒ＋ＩＲ）の転送手段としてはダイクロイックプリズム３１０，３１１を用いている。
図６のＢ画素から転送される赤波長領域の光とＩＲ波長領域の光は、転送先のＲ画素の対角線上に集光するようにする。これは、色再現性を向上させるために、Ｂ画素から転送されるＩＲ波長領域の光がＧ画素に混入することを防ぐ目的である。
以上のような構成を取ることで、撮像素子面上に入射する赤波長領域の光全てとＩＲ波長領域の光全てを赤色信号として取得できるので、感度を向上することができる。
また、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ）が小さくなり、解像度を向上させることができる。

次に本発明の画像撮像装置について説明する。
本発明の画像撮像装置は、実施例１または実施例２で説明した撮像素子と、撮像素子に像を結ぶ撮像光学系と、撮像素子から出力される画像データを処理する画像処理系とを有している。
ここで、図８に示す画像撮像装置のシステム構成例のように、撮像光学系として、広画角で倍率色収差が大きい光学系４０１を用いた場合は、画像処理系４０３は、撮像素子４０２のＧ画素、Ｂ画素、およびＩＲ波長領域の光を含むＲ画素の輝度に対して倍率色収差補正処理を実施するようになっている。
広画角で倍率色収差の小さい光学系は、大型で高価になってしまうという欠点があるが、上記のシステム構成を用いることで、倍率色収差を抑え、感度および解像度の高い画像を小型・安価な光学系で実現することが可能となる。

より詳しく述べると、広画角で倍率色収差が大きい光学系４０１を通った光は、屈折率の波長依存性により、波長ごとに異なる光路を辿り、撮像素子４０２上でそれぞれの位置に結像する。これによって、ＰＳＦが大きくなり、解像度が低下する。このため、画像処理系４０３は倍率色収差補正処理を実施し、解像度を向上させる必要がある。

ここで、まず、Ｒ，Ｇ，Ｂカラーフィルタを有する通常の撮像素子を使用した場合を考える。Ｒ，Ｇ，Ｂ波長領域の光は、各結像点において、Ｒフィルタ、ＧフィルタまたはＢフィルタを透過し、光電変換素子にて電荷に変換され、赤信号、緑信号または青信号となる。ＩＲ波長領域の光は、その結像点において、Ｒフィルタ、ＧフィルタおよびＢフィルタを透過してしまうため、光電変換素子にて電荷に変換され、赤信号、緑信号および青信号となってしまう。一般的なＲ，Ｇ，Ｂカラーフィルタの分光特性を図９に示す。
Ｒ，Ｇ，Ｂ波長領域の光の倍率色収差は倍率色収差補正処理（具体的な処理方法は後述する）で抑えることができるが、ＩＲ波長領域の光は赤信号、緑信号および青信号に混入して、切り分けができない状況であるため、ＩＲ波長領域の光に倍率色収差補正処理することは不可能である。
このように、ＩＲ波長領域の光の影響を考慮した倍率色収差補正処理には、ＩＲ波長領域の光をあらかじめ切り分けておくことが必要となる。

次に、前述の特許文献１および特許文献２にあるようなＩＲ波長領域の光を検知して補正する撮像素子を使用した場合を考える。
このような撮像素子では、検知したＩＲ波長領域の光の信号を参照信号とし、カラーフィルタを有する画素から出力される各色信号に含まれるＩＲ波長領域の光の影響を除去するため減算処理を行う。ＩＲ波長領域の光を含んでいない赤信号、緑信号および青信号が得られるので、これらの信号に対して倍率色収差補正処理を施し、解像度を向上させることは可能である。しかし、一般的に減算処理は、ノイズが２の平方根倍に増加するため、Ｓ／Ｎ比を低下させるという問題がある。

ここで、赤波長領域とＩＲ波長領域の波長が類似しているため、赤波長領域の光とＩＲ波長領域の光の結像点の相違が、他と比較して小さいことに注目し、倍率色収差の程度において赤波長領域の光とＩＲ波長領域の光を等価と考えるとする。そして、本発明の撮像素子（実施例１または２の撮像素子）を使用した場合を考える。

実施例１または２の撮像素子を使用した場合、撮像素子に入射するＩＲ波長領域の光の全てがＲ画素（Ｒ＋ＩＲ画素）に取り込まれ、光電変換素子にて電荷に変換され、ＩＲ波長領域の光の信号と赤波長領域の光の合成信号が出力される。一方、緑波長領域の光の信号および青波長領域の光の信号にはＩＲ波長領域の光が含まれていない。つまり、Ｒ，Ｇ，Ｂ画素それぞれから出力される信号を赤波長領域の光の信号、緑波長領域の光の信号および青波長領域の光の信号と考えることができるので、この３つの倍率色収差は倍率色収差補正処理で抑えることができる。また、Ｇ画素またはＢ画素に入射する赤波長領域の光とＩＲ波長領域の光をＲ画素に取り込んでいる分、感度が高い。さらに、各色信号に含まれるＩＲ波長領域の光の影響を除去する減算処理を行っていないので、Ｓ／Ｎ比が低下しない。
また、Ｇ画素またはＢ画素に混入するＩＲ波長領域の光を除くことができるため色再現性を向上することができる。さらに、倍率色収差によって大きく屈折して撮像素子に結像し、その結像点のＧ画素またはＢ画素において、緑信号または青信号に変換されてしまうＩＲ波長領域の光の影響を抑えることができるので、点像強度分布関数（ＰＳＦ）が小さくなり、解像度を向上させることができる。
以上より、広画角で倍率色収差が大きい光学系であっても、倍率色収差を抑え、感度および解像度の高い画像を小型・安価なシステムで実現することができる。

［倍率色収差補正処理の原理の説明］
ここで、倍率色収差補正処理の原理について説明する。
図１０に倍率色収差のある光学系を用いて撮影を行った時の取得画像の模式図を示す。画面右上の４つの正方形状の点は、本来の位置に対して倍率色収差によって赤波長領域の光、緑波長領域の光、青波長領域の光、ＩＲ波長領域の光に分離している状態を示している。
光学系の設計データより、倍率色収差の大きさが分かるため、本来の位置に対して、それぞれ、赤波長領域の光、緑波長領域の光、青波長領域の光がどの位置にずれているかを計算することができる。そこで、赤波長領域の光、緑波長領域の光、青波長領域の光が撮像素子上で結像している位置のそれぞれの輝度を本来の位置にコピーする、つまり座標変換を行うことで、倍率色収差を補正することが可能である。

以下に、倍率色収差補正処理機能を有する画像撮像装置の画像処理系の具体的な構成例を説明する。
図１１は、画像処理系の具体的な構成例を示す図である。図１１において光学系９０は例えば広角レンズであり、一例としては本出願人らが先に創案した特願２００８−３５２６３に記載の広角レンズが用いられる。符号９１は実施例１または実施例２の撮像素子、符号９３は前処理部を示す。
広角レンズにより像面上に結像した像は、撮像素子９１により撮像されて画像データ化される。広角レンズにより像面上に結像した像は、広角レンズの歪曲収差や倍率色収差のある像である。

撮像素子９１から出力される画像データは前処理部９３のオートゲインコントローラ（ＡＧＣ）９３１で自動利得制御され、Ａ／Ｄ変換器９３２でデジタル信号に変換されデジタル画像データとなる。なお、オートゲインコントローラ（ＡＧＣ）９３１は操作部９９の操作により制御回路９４で制御される。撮像素子９１の光電変換素子としては、具体的にはＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal-oxide semiconductor）センサなどが用いられる。

デジタル画像データは信号処理部９５で画像処理を受ける。この画像処理は、撮像素子９１に起因する問題の処理と、広角レンズ９０に起因する問題の処理とを含む。
撮像素子９１の画素配列には、例えば、緑（Ｇ）の画素数が赤（Ｒ）や青（Ｂ）の画素数より多いベイヤー配列などがある。Ｒ，Ｇ，Ｂの各画像を作る場合、単にＲ，Ｇ，Ｂの画像データを取り出して合成するだけでは、各色画素配列のズレにより各色画像のズレが生じてしまう。信号処理部９５では、まず、これらの画素の再配列や、Ｒ，Ｇ，Ｂ間のホワイトバランスの補正などを行う。この画像処理で撮像素子関連の補正を行った後、光学系に起因する像の劣化要因である倍率色収差と歪曲収差、ＭＴＦ劣化の補正処理を行う。

なお、これらの処理が行われる際、Ｒ，Ｇ，Ｂの画像データは画像記憶部としてのフレームメモリ９６に記憶され、必要に応じて、画角に応じた画像データがメモリ出力制御手段（図において、制御回路９４が兼ねている）により読み出されて信号処理部９５で処理される。

上記処理を施された画像は、光学系の広角レンズの倍率色収差、歪曲収差の影響が補正され、また画像の周辺部などで低下したＭＴＦも補正された画像となって出力される。
静止画を出力する場合は、補正されたＲ，Ｇ，Ｂの各画像からビットマップデータ、あるいはＪＰＥＧ画像などを作り出力する。また、動画を出力する場合は、上記Ｒ，Ｇ，Ｂの各画像から、図１１に示すようにビデオエンコーダ９７を通しＨ．２６４やＭＰＥＧ２，４などの動画フォーマットの画像を生成し、デジタル出力の場合はＨＤＭＩやＤＶＩ、アナログ出力の場合はＤ／Ａ変換回路を通してＮＴＳＣ、Ｄ２，Ｄ４、コンポーネント信号などに変換して画像表示部であるディスプレイ９８に出力する。

次に上記の画像撮像装置における画像処理系の信号処理部に用いられる画像処理装置の具体的な構成例と処理方法について詳しく説明する。
図１２は本発明の画像撮像装置における画像処理系の一実施例の機能ブロック図を示しており、主として信号処理部（画像処理装置）の構成例を示している。画像撮像装置は、図１１に示したように操作部、画像記憶部（フレームメモリ）、画像表示部などを備えているが、図１２では省略してある。

図１２において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。
撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図示の広角レンズ）を用いて撮像された光学像を電気信号（画像信号）に変換するための光電変換素子（例えばＣＣＤやＣＭＯＳセンサ等）とカラーフィルタを備え、さらには、Ｇ画素に入射する緑波長領域の光および青波長領域の光以外の波長領域の光と、Ｂ画素に入射する青波長領域の光および緑波長領域の光以外の波長領域の光を、近傍のＲ画素に転送する手段を有している。すなわち、具体的には実施例１または実施例２で説明した撮像素子で構成される。また、この撮像素子１１０のＲ，Ｇ，Ｂの画素配列は、図２や図６に示したようなベイヤー配列となっている。そしてベイヤー配列のＲ，Ｇ，Ｂ画像信号が、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。さらに、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号に基づき撮像素子１１０の内部で生成し、順次、後段に与えることでもよい。

Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲ，Ｇ，Ｂ画像信号をデジタル信号（画像データ）に変換して倍率色収差補正部１３０に送出する。例えば、画像データは、Ｒ，Ｇ，Ｂそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段には図１１に示したようにＡＧＣ回路が設けられるが、ここでは図示を省略する。

倍率色収差補正部１３０は、ベイヤー配列のＲ，Ｇ，Ｂ画像データを入力して、所定の式により該ベイヤー配列のまま座標変換を行って倍率色収差補正を施し、倍率色収差補正されたベイヤー配列のＲ，Ｇ，Ｂ画像データをベイヤー補完部１４０に送出する。このように、ベイヤー配列のＲ，Ｇ，Ｂ画像データのまま倍率色収差補正を施すことで、従来のベイヤー補完後に倍率色収差補正を行う場合に比べて、メモリ容量は３分の１で済む。ただし、単純な座標変換では、座標変換前と後でベイヤー配列が変化して、後段のベイヤー補完部１４０で正しくベイヤー補完を行えなくなる。すなわち、座標変換前と後でベイヤー配列を維持する必要がある。そこで、倍率色収差補正部１３０では、座標変換元のベイヤー配列の色が座標変換先と同じ色の場合は座標変換元の座標はそのままとするが、違う色の場合には、例えば、座標変換元の座標を、これにもっとも近い距離の座標変換先と同色の座標に変更する。これにより、ベイヤー配列のＲ，Ｇ，Ｂ画像のまま倍率色収差補正を施しても、ベイヤー配列を維持することができる。この倍率色収差補正部１３０については後で詳述する。

ベイヤー補完部１４０は、倍率色収差補正されたベイヤー配列のＲ，Ｇ，Ｂ画像データを入力して、Ｒ，Ｇ，Ｂ各色ごとに、全座標位置の画像データ（画素データ）を線形補完によって生成し、ＭＴＦ補正部１５０に送出する。
図１３にベイヤー配列のカラーフィルタの一例を示す。説明の便宜上、図１３ではＲ，Ｇ，Ｂごとに分解して示したが、もちろん、実際にはＲ，Ｇ，Ｂ一体に配列（ベイヤー配列）される。ここで、Ｇ₀は次式により求める。
Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （１）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。
Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （２）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （３）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （４）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （５）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （６）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

ＭＴＦ補正部１５０は、倍率色収差補正済みのベイヤー補完された各Ｒ，Ｇ，Ｂ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正された各Ｒ，Ｇ，Ｂ画像データを出力する。

図１４にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲ，Ｇ，Ｂ画像データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （９）

ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図１５にＦＩＲフィルタの係数の一例を示す。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲ，Ｇ，Ｂ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （１０）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （１１）
Ｂ＝Ｙ＋１.７７２Ｃｂ （１２）

歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲ，Ｇ，Ｂ画像データを入力して、所定の式によりＲ，Ｇ，Ｂ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲ，Ｇ，Ｂ画像データを出力する。歪曲収差は大きいが、Ｒ，Ｇ，Ｂ各色成分で一様である。このため、歪曲収差補正部１６０での座標変換には、メモリ容量が大ではあるが、１ポートで良いため、高レイテンシのメモリ（ＤＲＡＭ）を使用することが可能である。

ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲ，Ｇ，Ｂ画像データを入力して、Ｒ，Ｇ，Ｂそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲ，Ｇ，Ｂ画像データを出力する。

以上が図１２に示した一実施例である画像撮像装置の全体的動作であるが、以下では本実施例の主要構成である倍率色収差補正部１３０について詳述する。

はじめに、図１６により本発明の倍率色収差補正の原理を説明する。図１６（ａ）は座標変換前のベイヤー配列、図１６（ｂ）は座標変換後のベイヤー配列を示す。図１６では簡単にベイヤー配列を６×６ピクセルとするが、例えば解像度ＶＧＡでは６４０×４８０ピクセルで、ベイヤー配列は図１６の繰り返しとなる。

倍率色収差はＲ，Ｇ，Ｂ各色成分でそれぞれ異なるずれをするが、光学系の設計データにより、倍率色収差の大きさが分かるため、本来の位置に対して、Ｒ，Ｇ，Ｂ各色成分がどの位置にずれるかを計算することができる。いま、図１６（ａ）において、座標（０，０）の位置（ピクセル）の画素（Ｇ）は、倍率色収差によって座標（１，１）の位置にずれ、同様に座標（１，０）の画素（Ｂ）は座標（３，１）の位置にずれているとする。倍率色収差補正は、基本的には座標（１，０）、（３，１）の画素の画素値を、本来の位置である座標（０，０）、（１，０）の位置にコピーする、すなわち、座標変換することで可能である。ここで、座標（１，０）、（３，１）などを座標変換元の座標（Ｘ，Ｙ）、本来の位置である座標（０，０）、（１，０）などを座標変換先の座標（ｘ，ｙ）と称す。また、座標の値を意味する場合は（ｘ，ｙ）や（Ｘ，Ｙ）を座標値と称して、必要に応じて座標と座標値を使い分ける。

上述のように、ベイヤー配列のＲ，Ｇ，Ｂ画像データについて単純に座標変換を行った場合、座標変換前と後でベイヤー配列が変化し、後段で正しくベイヤー補完を行えなくなる。そこで、座標変換元の色が座標変換先と同色の場合は、そのまま座標変換元の画素の画素値を座標変換先にコピーするが、違う色の場合には、座標変換元の座標を、座標変換先と同色で、該座標変換元の座標に最も近い距離の座標に修正し、この修正後の座標の画素の画素値を座標変換先にコピーする。

図１６（ａ）において、座標（０，０）の座標変換先と座標（１，１）の座標変換元の色は、どちらも緑（Ｇ）である。この場合は、座標変換元の座標（１，１）の画素（Ｇ）の画素値を、そのまま座標変換先の座標（０，０）の画素の画素値とする。一方、座標（１，０）の座標変換先と座標（３，１）の座標変換元では、座標（１，０）が青（Ｂ）に対して座標（３，１）は緑（Ｇ）である。この場合には、座標変換元を座標変換先の座標（１，０）と同じ青（Ｂ）で、座標（３，１）に最も近い距離の座標（図１６（ａ）では座標（３，２）とする）に修正し、この修正後の座標（３，２）の画素（Ｂ）の画素値を、座標変換先の座標（１，０）の画素の画素値とする。これにより、図１６（ｂ）に示すように、座標変換後のベイヤー配列は、図１６（ａ）の座標変換前のベイヤー配列に維持される。以下に、倍率色収差補正部１３０の具体的構成として二、三の実施例を示す。

［実施例４−１］
図１７に倍率色収差補正部１３０の第１の実施例の全体構成図を示す。本実施例は、図１６で説明したように、座標変換元座標の色が座標変換先座標と同色の場合は、そのまま、座標変換元座標の画素の画素値を座標変換先座標の画素の画素値とするが、違う色の場合には、座標変換元座標に最も近い距離の座標変換先座標と同色の座標の画素の画素値を座標変換先座標の画素の画素値とするものである。図１７において、倍率色収差補正座標演算部１３０１、座標変換係数テーブル１３０２、色判断部１３０３、選択部１３０４、１３０５、四捨五入部１３０６、１３０７、配列判断部１３０８、座標修正部１３０９、配列選択部１３１０、選択部１３１１によって、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を生成する座標変換手段が構成される。ラインバッフア（座標変換メモリ）１３２０は１ポートのＲＡＭなどを用いて構成される。該ラインバッファ１３２０は、最小限、倍率色収差のｙ方向の最大ずれ量に対応するライン数があればよいが、もちろん、これ以上であってもよい。

倍率色収差と歪曲収差を受けたベイヤー配列のＲ，Ｇ，Ｂ画像データが、ラインバッファ１３２０に、座標値（ｘ，ｙ）に従って先頭ラインからＦＩＦＯ形式で順次書き込まれる。この書込み動作と平行して（実際には所定時間遅れて）、選択部１３１１から出力される座標値（Ｘ，Ｙ）に基づいて、ラインバッファ１３２０から倍率色収差補正されたベイヤー配列のベイヤー配列のＲ，Ｇ，Ｂ画像データが順次読み出される。すなわち、座標（Ｘ，Ｙ）の画素の画素値が、座標（ｘ，ｙ）の画素の画素値として読み出される。後述するように、座標（Ｘ，Ｙ）は、座標（ｘ，ｙ）とベイヤー配列色が違う場合、該座標（Ｘ，Ｙ）に最も近い距離の座標（ｘ，ｙ）と同色の座標に修正されるため、ラインバッファ１３２０から出力されるＲ，Ｇ，Ｂ画像データのベイヤー配列は維持される。以下、図１７の構成を詳述する。

倍率色収差補正座標変換演算部１３０１は、座標変換先の座標値（ｘ，ｙ）を入力して、多項式等の所定の座標変換式に従い、Ｒ，Ｇ，Ｂに対応する座標変換元の座標値Ｘ，Ｙを計算して選択部１３０４，１３０５に送出する。
ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（１３）
と表わすことができる。ａｂｓ(x)、ａｂｓ(y)は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル１３０２に保持される。

色判断部１３０３は、座標値（ｘ，ｙ）を入力して、ルックアップテーブル（ＬＵＴ）などにより、ベイヤー配列における着目する座標変換先の座標（ｘ，ｙ）の色に対応する色ＩＤを得る。例えば、ＬＵＴに座標値（ｘ，ｙ）をアドレスとして色ＩＤをあらかじめ記憶しておく。ここで、色ＩＤは、Ｒ＝０，Ｇ＝１，Ｂ＝２とする。

選択部１３０４，１３０５は、色判断部１３０３の色ＩＤに基づいて、倍率色収差補正座標変換演算部１３０１で計算されたＲ，Ｇ，Ｂに対応する座標変換元の座標値Ｘ，Ｙのうち、一つの色の座標値Ｘ，Ｙを選択する。式（１３）より、座標値Ｘ，Ｙは整数とは限らない。四捨五入部１３０６，１３０７は、選択部１３０４，１３０５で選択された座標値Ｘ，Ｙを四捨五入（整数化）して、画素（ピクセル）対応の整数値の座標変換元座標値ｒＸ，ｒＹを出力する。同時に、四捨五入部１３０６，１３０７は、ＸとｒＸ、ＹとｒＹの各誤差（差）ｄＸ，ｄＹを出力する。ｄＸ，ｄＹは−０.５〜０.５の値をとる。図１８に、計算で求められた座標変換元の座標値Ｘ，Ｙ、それを四捨五入した座標ｒＸ，ｒＹ、両者の誤差ｄＸ，ｄＹの関係を示す。図１８でマスに囲まれた一つの正方形は各画素１ピクセルを示している。

配列判断部１３０８は、ｒＸ，ｒＹを入力して、ルックアップなどにより、ベイヤー配列における着目する座標変換元座標（ｒＸ，ｒＹ）の配列値を得る。図１６のベイヤー配列における配列値の例を図１９に示す。図１９において、各ピクセル中にカッコで記載した数値が配列値を示す。ここでは、配列値は０〜３とするが、配列が識別できれば何でもよい。
一方、座標修正部１３０９は、ｒＸ，ｒＹ，ｄＸ，ｄＹを入力して、ｄＸとｄＹの値に応じてｒＸとｒＹを修正する。すなわち、修正後の座標変換元座標値を計算する。この座標修正部１３０９では、ベイヤー配列における同色の色の配列パターンの取り得る全ての種類について、それぞれ修正後の座標変換元座標値を計算する。

図２０に座標修正部１３０９における演算の内容を示す。図２０のマスに囲まれた１つの正方形は、図１８と同様に画素（ピクセル）を示している。ベイヤー配列においては、同色の色の配列パターンは図２０の１〜５の５つに分類される。ここで、３×３の正方形の中央の正方形が、着目する修正対象の座標変換元である。図１８に示したように、ｒＸとｒＹは、この中央の正方形の中心位置に対応する。座標修正部１３０９は、図２０のパターン１〜５のそれぞれについて、ｄＸとｄＹに応じてｒＸとｒＹを修正する。具体的には、座標修正部１３０９は、図２０のパターン１〜５について、その下に記載した（ａ）〜（ｅ）の内容の演算を行って、それぞれＸ１とＹ１，Ｘ２とＹ２，Ｘ３とＹ３，Ｘ４とＹ４，Ｘ５とＹ５を出力する。すなわち、修正後の座標は、図２０のパターンのそれぞれについて、網掛けの正方形のいずれかをとる。

図２０において、パターン１は座標変換先と座標変換元が同色の場合に適用される。一方、パターン２〜５は座標変換先と座標変換元が異なる色の場合に適用される。ここで、パターン１はＲ，Ｇ，Ｂいずれの場合も適用される。パターン２，３，５は座標変換元の色がＲあるいはＢの場合に適用され、パターン４は座標変換元の色がＧの場合に適用される。

配列選択部１３１０は、Ｘ１，Ｙ１，Ｘ２，Ｙ２，Ｘ３，Ｙ３，Ｘ４，Ｙ４，Ｘ５，Ｙ５を入力して、配列判断部１３０８で得られた配列値に基づいて、Ｒ，Ｇ，Ｂそれぞれの色の修正後の座標変換元座標値Ｘ，Ｙを選択する。図１０に配列値とＸ，Ｙの対応を示す。例えば、配列値が０の場合には、Ｒはパターン３のＸ３とＹ３の組をＸ，Ｙとし、Ｇはパターン１のＸ１とＹ１の組をＸ，Ｙとし、Ｂはパターン２のＸ２とＹ２の組をＸ，Ｙとする。配列値が１，２，３の場合も同様である。

選択部１３１１は、Ｒ，Ｇ，Ｂそれぞれの色のＸ，Ｙの組を入力して、色判定部１３０３で得られた色ＩＤに基づいて、座標変換先と同色のＸ，Ｙの組を選択してラインバッファ１３２０に送る。この結果、ラインバッファ１３２０からは、座標（Ｘ，Ｙ）の画素の画素値が座標（ｘ，ｙ）の画素の画素値として読み出される。座標（Ｘ，Ｙ）と座標（ｘ，ｙ）とは同色に維持されるため、座標変換前と後でベイヤー配列が変化することがない。

以下に、処理の具体例として図１６を例に説明する。はじめに、座標変換先の座標（ｘ，ｙ）が（０，０）、座標変換元の座標（Ｘ，Ｙ）が（１，１）の場合について説明する。この場合、色判断部１３０３は色ＩＤとしてＧ（１）を出力する。演算部１３０１は座標値（０，０）を入力として、Ｒ，Ｇ，Ｂそれぞれについて（Ｘ，Ｙ）を計算し、選択部１３０４，１３０５はそのＧの（Ｘ，Ｙ）を出力する。四捨五入部１３０６，１３０７は（Ｘ，Ｙ）を四捨五入し、（ｒＸ，ｒＹ）として（１，１）を出力する。配列判断部１３０８は、図１９より配列値として３を出力する。座標修正部１３０９の個々の演算は省略する。配列選択部１３１０は、図２１より、Ｒの（Ｘ，Ｙ）として（Ｘ２，Ｙ２）、Ｇの（Ｘ，Ｙ）として（Ｘ１，Ｙ１）、Ｂの（Ｘ，Ｙ）として（Ｘ３，Ｙ３）を選択する。選択部１３１１は、色ＩＤがＧ（１）ということで、Ｇの（Ｘ，Ｙ）の（Ｘ１，Ｙ１）を選択する。図２０より、（Ｘ１，Ｙ１）＝（ｒＸ，ｒＹ）であり、結局、座標変換元座標（１，１）がそのまま選択部１３１１の出力となる。ラインバッファ１３２０からは、座標（１，１）の画素の画素値が座標（０，０）の画素の画素値として読み出される。

次に、座標変換先の座標（ｘ，ｙ）が（１，０）、座標変換元の座標（Ｘ，Ｙ）が（３，１）の場合について説明する。この場合、色判断部１３０３は色ＩＤとしてＢ（２）を出力する。演算部１３０１は座標値（１，０）を入力として、Ｒ，Ｇ，Ｂそれぞれについて（Ｘ，Ｙ）を計算し、選択部１３０４，１３０５はそのＢの（Ｘ，Ｙ）を出力する。四捨五入部１３０６，１３０７は（Ｘ，Ｙ）を四捨五入し、（ｒＸ，ｒＹ）として（３，１）を出力する。また、四捨五入部１３０６，１３０７は誤差ｄＸ，ｄＹとして、ｄＸ＝０，ｄＹ＝＋０．２を出力するとする。配列判断部１３０８は、図１９より配列値として同じく３を出力する。座標修正部１３０９の個々の演算は省略する。配列選択部１３１０は、図２１より、Ｒの（Ｘ，Ｙ）として（Ｘ２，Ｙ２）、Ｇの（Ｘ，Ｙ）として（Ｘ１，Ｘ１）、Ｂの（Ｘ，Ｙ）として（Ｘ３，Ｙ３）を選択し、選択部１３１１は、色ＩＤがＢ（２）ということで、Ｂの（Ｘ，Ｙ）の（Ｘ３，Ｘ３）を選択する。図２０より、（Ｘ３，Ｙ３）は、Ｘ３＝ｒＸであるが、Ｙ３は、ｄＹ＞０の時はＹ３＝ｒＹ＋１、それ以外はＹ３＝ｒＹ−１となる。ここでは、ｄＹ＝＋０.２であるため、（Ｘ３，Ｙ３）＝（ｒＸ，ｒＹ＋１）で、結局、選択部１３１１の出力は（３，２）となる。ラインバッファ１３２０からは、座標（３，２）の画素の画素値が座標（１，０）の画素の画素値として読み出される。

図１６の構成によれば、座標変換元座標の色が座標変換先座標と同色の場合は、座標変換元座標はそのままとし、違う色の場合には、該座標変換元座標を、座標変換先座標と同色で該座標変換元座標に最も近い距離の座標に修正することが可能である。その結果、ベイヤー配列のＲ，Ｇ，Ｂ画像データのまま倍率色収差補正を実施しても、変換前と後でベイヤー配列を維持することが可能になる。また、座標変換メモリには、１ポートのＲＡＭを用いることができる。そのため、従来３ポートの大容量のメモリが必要であったのと比較して、本実施例ではメモリ量が１／３でかつ、安価な１ポートのＲＡＭを用いることが可能である。

［実施例４−２］
図２２に倍率色収差補正部１３０の第２の実施例の全体構成図を示す。本実施例は、座標変換元の色が座標変換先座標と同色の場合は先の第１の実施例と同じであるが、違う色の場合に、該座標変換元座標近傍の座標変換先座標と同色の二つの座標を選択して、各座標の画素値から座標変換先座標の相当する画素の画素値を補間演算し、その画素値を座標変換先座標の画素値とするものである。

図２２において、倍率色収差補正座標変換演算部１３０１、色判断部１３０３、選択部１３０４，１３０５、四捨五入部１３０６，１３０７、配列判断部１３０８での処理は図６の場合とまったく同じであるので省略する。

座標修正部（Ａ）１３１２、座標修正部（Ｂ）１３１５は、図１７の座標修正部１３０９と同様に、ｒＸ，ｒＹ，ｄｘ，ｄｙを入力して、ベイヤー配列における同色の配列パターンの取り得る全ての種類（パターン１〜５）について、それぞれ修正後の座標変換元座標値を計算するが、着目する修正対象の座標変換座標（ｄｘ，ｄｙ）の左右、上下、斜め等の異なる座標の座標値を計算する。同時に、座標修正部（Ｂ）１３１５では、新たにｄという値も計算する。後述するように、このｄは、２つの座標の画素の補間演算を行う際の重み付けの係数に用いられる。

図２３に座標修正部（Ａ）１３１２における演算の内容を示す。図２３のパターン１〜５の意味するところは、先の図２０と同じである。本実施例では、座標修正部（Ａ）１３１２は、ｒＸ，ｒＹ，ｄＸ，ｄＹを入力して、図２３のパターン１〜５について、その下に記載した（ａ）〜（ｅ）の内容の演算を行って、それぞれＸ１とＹ１、Ｘ２とＹ２、Ｘ３とＹ３、Ｘ４とＹ４、Ｘ５とＹ５を出力する。ここで、パターン１では、座標変換元座標（ｒＸ，ｒＹ）（中央の座標）をそのまま（Ｘ１，Ｙ１）とする。パターン２では、座標変換元座標（ｒＸ，ｒＹ）の左隣の座標を（Ｘ２，Ｙ２）とする。パターン３では、（ｒＸ，ｒＹ）の真上の座標を（Ｘ３，Ｙ３）とする。パターン４では、パターン２と同じく（ｒＸ，ｒＹ）の左隣りの座標を（Ｘ４，Ｙ４）とする（ここでは、縦方向は無視する）。パターン５では、ｄＹに応じて（ｒＸ，ｒＹ）の左下あるいは左上の座標を（Ｘ５，Ｙ５）とする。

図２４に座標修正部（Ｂ）１３１５における演算の内容を示す。座標修正部（Ｂ）１３１５は、ｒＸ，ｒＹ，ｄＸ，ｄＹを入力して、図２４のパターン１〜５について、その下に記載した（ａ）〜（ｅ）の内容の演算を行って、それぞれＸ１とＹ１、Ｘ２とＹ２、Ｘ３とＹ３、Ｘ４とＹ４、Ｘ５とＹ５を出力する。また、この座標修正部（Ｂ）１３１２では、同時に値ｄ１，ｄ２，ｄ３，ｄ４，ｄ５も出力する。図２４において、パターン１は図２３の（ａ）と同じである。パターン２〜５が図２３の（ｂ）〜（ｅ）と異なる。すなわち、パターン２では、座標変換元座標（ｒＸ，ｒＹ）（中央の正方形）の右隣りの座標を（Ｘ２，Ｙ２）とし、同時にｄ２＝ｄ×０.５を出力する。パターン３では、（ｒＸ，ｒＹ）のましたの座標を（Ｘ３，Ｙ３）とし、同時にｄ３＝ｄＹ＋０.５を出力する。パターン４では、パターン２と同じく（ｒＸ，ｒＹ）の右隣りの座標を（Ｘ４，Ｙ４）とし（縦方向は無視）、同時にｄ４＝ｄＸ＋０.５を出力する。パターン５では、ｄＹに応じて（ｒＸ，ｒＹ）の右下あるいは右上の座標を（Ｘ５，Ｙ５）とし、同時にｄ５＝ｄＸ＋０.５を出力する。後述するように、ｄ１〜ｄ５により、２つの座標の画素の補間演算を行う際、１ピクセル以下の距離に応じた重み付けが行われる。

先に述べたように、パターン１は座標変換先と座標変換元が同色の場合に適用され、パターン２〜５は座標変換先と座標変換元が異なる色の場合に適用される。パターン１はＲＧＢいずれの場合も適用される。これに対し、パターン２，３，５は座標変換元の色がＲあるいはＢの場合に適用され。パターン４に座標変換元の色がＧの場合に適用される。

配列選択部（Ａ）１３１３は、座標修正部（Ａ）１３１２から出力されるＸ１，Ｙ１，Ｘ２，Ｙ２，Ｘ３，Ｙ３，Ｘ４，Ｙ４，Ｘ５，Ｙ５を入力して、配列判断部１３０８で得られた配列値に基づいて、Ｒ，Ｇ，Ｂそれぞれの色の修正後の座標変換元座標値Ｘ，Ｙを選択する。選択部（Ａ）１３１４は、配列選択部（Ａ）１３１３から出力されるＲ，Ｇ，Ｂそれぞれの色のＸ、Ｙの組を入力して、色判断部１３０３で得られた色ＩＤに基づいて、座標変換先と同色のＸ，Ｙの組を選択してラインバッファ１３２０に送る。配列選択部（Ａ）１３１３、選択部（Ａ）１３１４の処理は図１７の配列選択部１３１０、選択部１３１１と同じである。

配列選択部（Ｂ）１３１６は、座標修正部（Ｂ）１３１５から出力されるＸ１，Ｙ１，ｄ１，Ｘ２，Ｙ２，ｄ２，Ｘ３，Ｙ３，ｄ３，Ｘ４，Ｙ４，ｄ４，Ｘ５，Ｙ５，ｄ５を入力して、配列判断部１３０８で得られた配列値に基づいて、Ｒ，Ｇ，Ｂそれぞれの色の修正後の座標変換元座標値Ｘ，Ｙ、及び重み付け係数ｄを選択する。選択部（Ｂ）１３１７は、配列選択部（Ｂ）１３１６から出力されるＲ，Ｇ，Ｂそれぞれの色のＸ，Ｙ，ｄの組を入力して、色判断部１３０３で得られた色ＩＤに基づいて、座標変換先と同色のＸ，Ｙ，ｄの組を選択し、Ｘ，Ｙの組はラインバッファ１３２０に送り、重み付け係数ｄは減算器１３２１及び乗算器１３２３に送る。配列選択部（Ｂ）１３１６、選択部（Ｂ）１３１７の処理は、図１７の配列選択部１３１０、選択部１３１１と同じであるが、新たに係数ｄを出力する点が異なる。

ラインバッファ１３２０は、先に述べたように、最小限、倍率色収差のｙ方向の最大ずれ量に対応するライン数があればよいが、もちろん、これ以上であってもよい。ただし、本実施形態では、ラインバッファ１３２０は２ポートのＲＡＭなどを用いて構成する。

倍率色収差と歪曲収差を受けたベイヤー配列のＲ，Ｇ，Ｂ画像データが、ラインバッファ１３２０に、座標（ｘ，ｙ）に従って、先頭ラインからＦＩＦＯ形式で順次書き込まれる。この書き込み動作と平行して（実際には所定時間内遅れて）、該ラインバッファ１３２０から、選択部（Ａ）１３１４及び選択部（Ｂ）１３１７から出力される座標値（Ｘ，Ｙ）に基づいて、二つの異なる座標（Ｘ，Ｙ）の画素の画素値が座標（ｘ，ｙ）に相当する画素の画素値として読み出される。図１９、図２３、図２４より、この二つの異なる座標（Ｘ，Ｙ）と座標（ｘ，ｙ）は同色である。なお、同色パターン１の場合は、二つの座標（Ｘ，Ｙ）は同じ座標（ｒＸ，ｒＹ）となる。

減算器１３２１は、選択部（Ｂ）１３１７から座標値（Ｘ，Ｙ）とともに出力される値ｄだけ１から減算する。乗算器１３２２は、選択部（Ａ）１３１４からの座標値（Ｘ，Ｙ）に基づいてラインバッファ１３２０から読み出される座標（Ｘ，Ｙ）の画素の画素値と減算器１３２１の出力値とを乗算する。一方、乗算器１３２３は、選択部（Ｂ）１３１７からの座標値（Ｘ，Ｙ）に基づいてラインバッファ１３２０から読み出される座標（Ｘ，Ｙ）の画素の画素値と選択部（Ｂ）１３１７から座標値（Ｘ，Ｙ）とともに出力される値ｄとを乗算する。加算器１３２４は、乗算器１３２２、１３２３の出力値を加算して、座標（ｘ，ｙ）の画素の画素値とする。すなわち、加算器１３２４からは、座標変換元座標（ｒＸ，ｒＹ）近傍の二つの座標（Ｘ，Ｙ）の画素の画素値を重みつけ係数ｄに応じて重みつけを行って加算した画素値が、座標変換先座標の画素値として出力される。座標（Ｘ，Ｙ）と座標（ｘ，ｙ）とは同色に維持されるため、座標変換前と後でベイヤー配列が変化することがない。

以下に、処理の具体例として図１６を例に説明する。はじめに、座標変換先の座標（ｘ，ｙ）が（０，０）座標変換元の座標（ｒＸ，ｒＹ）が（１，１）の場合について説明する。この場合、選択部（Ａ）１３１４からは（Ｘ，Ｙ）として（１，１）が出力される。また、選択部（Ｂ）１３１７からは（Ｘ，Ｙ）として同じく（１，１）が出力され、同時にｄ＝０が出力される（途中の処理は省略）。したがって、ラインバッファ１３２０からは、同じ座標（１，１）の画素の画素値が二つ読み出される。ｄ＝０ということで、減算器１３２１の出力は１で、乗算器１３２２は座標（１，１）の画素の画素値をそのまま出力する。乗算器１３２３の出力は０である。結局、加算器１３２４からは、座標（１，１）の画素の画素値が、座標（０，０）の画素の画素値として出力される。

次に、座標変換先の座標（ｘ，ｙ）が（１，０）、座標変換元の座標（ｒＸ，ｒＹ）が（３，１）の場合について説明する。この場合、選択部（Ａ）１３１４からは（Ｘ，Ｙ）として（３，０）が出力される（途中の処理は省略）。また、選択部（Ｂ）１３１７からは（Ｘ，Ｙ）として（３，２）が出力され、同時にｄ＝０.７（ｄ３＝ｄＹ＋０.５，ｄＹ＝０.２）が出力される（途中の処理は省略）。したがって、ラインバッファ１３２０からは、座標（３，０）の画素の画素値Ａと座標（３，２）の画素の画素値Ｂがそれぞれ読み出される。ｄ＝０.７ということで、減算器１３２１の出力は０.３である。乗算器１３２２の出力は０.３×Ａ、乗算器１３２３の出力は０.７×Ｂとなる。加算器１３２４は、この乗算器１３２２，１３２３の出力を加算した値を出力する。こうして、加算器１３２４からは、二つの座標の画素の画素値を重み付け係数ｄに応じて重み付けを行って加算した画素値が、座標（ｘ，ｙ）の画素の画素値として出力される。

図２２の構成によれば、ラインバッファには２ポートのＲＡＭ等が必要になるが、座標変換元の座標の色が座標変換先座標と違う色の場合に、該座標変換元座標近傍の座標変換先座標と同色の二つの座標の画素値から座標変換先座標に相当する画素の画素値を補間演算することで、座標変換先座標の画質を向上することが可能である。もちろん、変換前と後でベイヤー配列は維持される。

なお、図２２の構成を拡張して、座標変換元座標近傍の座標変換先座標と同色の３つ以上の座標の画素値から座標変換先座標に相当する画素の画素値を補間演算してもよく（例えば、４点の画素の画素値を補間演算する）、この場合、座標変換先の画素の画質がさらに向上する。ただし、ラインバッファのポート数は増加する。

［実施例４−３］
これは、先の第２の実施例（実施例４−２）と基本的に同じであるが、座標変換元座標の色が座標変換先座標と違う色の場合に、該座標変換元座標近傍の座標変換先座標と同色の二つの座標として、撮像素子１１０の読み出し方向と同方向（ｘ）の二つの座標に統一するものである。倍率色収差補正部１３０の全体構成は図２２と同じであるので省略する。先の第２の実施例（実施例４−２）とは、座標修正部（Ａ）１３１２と座標修正部（Ｂ）１３１５の演算の内容が一部相違するだけである。

図２５に座標修正部（Ａ）１３１２の演算の内容を示し、図２６に座標修正部１３１５の演算の内容を示す。先の図２２、図２３との相違はパターン３の場合だけである。すなわち、パターン１，２，４，５の場合は、図２２，図２３においても、撮像素子１１０の読み出し方向と同方向（ｘ）の二つの座標（パターン１では同じ座標）の組みが選択される。パターン３の場合、図２２，図２３では、ｙ方向の二つの座標の組を選択していた。これに対し、本実施例では、図２５、図２６に示すように、パターン３の場合、二つの座標の組として、座標変換元座標の上か下のいずれか一方の同じ座標を選択するようにする。また、重み付け係数ｄ３は０とする。したがって、補間演算はパターン１の場合と同じである。これにより、パターン１〜５のいずれの場合にも撮像素子１１０の読み出し方向と同方向（ｘ）の二つの座標の組を選択することができる。

なお、撮像素子１１０の読み出し方向がｙ方向の場合には、座標修正部（Ａ）１３１２、座標修正部１３１５の演算の内容を変更することで、ｙ方向の二つの座標の組を選択することができる。

本実施例によれば、ラインバッファにおけるバーストリードがやりやすくなり、ＲＡＭ等のランダムアクセスを減らすことが可能になる。したがって、低コストの低速なＲＡＭ等が使用できる。

以上、図１２の構成において、倍率色収差補正部１３０の二、三の実施例について説明したが、倍率色収差補正部１３０は、倍率色収差と歪曲収差を一緒に補正する構成とすることでもよい。これにより、歪曲収差補正部１６０が省略でき、歪曲収差補正用の座標変換メモリが必要なくなる。倍率色収差と歪曲収差を一緒に補正する構成は、図１７や図２２などと基本的に同じであり、倍率色収差補正座標変換演算部１３０１を倍率色収差及び歪曲収差補正座標変換演算部とすればよい。該演算部では、座標変換先の座標値（ｘ，ｙ）を入力して、所定の座標変換式により、Ｒ，Ｇ，Ｂ対応に、座標変換元の座標値Ｘ，Ｙとして、倍率色収差に歪曲収差を加えた座標値を計算して出力する。これ以降の処理は、これまで説明した実施例４−１，４−２，４−３と基本的に同じである。

本発明の撮像素子の第一の構成例を示す概略構成図である。 図１に示すような構成でベイヤー配列の撮像素子を用いた場合の画素の２次元配列図である。 図２に示すａ，ｂ線における断面図である。 本発明の撮像素子の第二の構成例を示す概略構成図である。 ダイクロイック素子の一例であるダイクロイックプリズムを上方から見た平面図である。 図４に示すような構成でベイヤー配列の撮像素子を用いた場合の画素の２次元配列図である。 図６に示すａ，ｂ線における断面図である。 本発明に係る画像撮像装置のシステム構成例を示す図である。 一般的なＲ，Ｇ，Ｂフィルタの分光特性を示す図である。 倍率色収差のある光学系を用いて撮影を行った時の取得画像の模式図である。 本発明の画像撮像装置における画像処理系一構成例を示すブロック図である。 本発明の画像撮像装置における画像処理系の主として信号処理部（画像処理装置）の構成例を示すブロック図である。 ベイヤー配列のカラーフィルタの一例を示す図である。 ＭＴＦ補正部の一実施例を示す構成図である。 ＦＩＲフィルタの一例を示す図である。 本発明の倍率色収差補正の原理を説明する図である。 図１２における倍率色収差補正部の第１の実施例の全体構成図である。 座標変換元の座標、四捨五入した座標、誤差量の関係を示す図である。 図１７の配列判断部での処理を説明する図である。 図１７の座標修正部の演算内容を示す図である。 図１７の配列選択部での処理を示す図である。 図１２における倍率色収差補正部の第２の実施例の全体構成図である。 図２２の座標修正部（Ａ）の演算内容を示す図である。 図２２の座標修正部（Ｂ）の演算内容を示す図である。 倍率色収差補正部の第３の実施例における座標修正部（Ａ）の演算内容を示す図である。 倍率色収差補正部の第３の実施例における座標修正部（Ｂ）の演算内容を示す図である。 撮像素子の製造方法の一例を示す工程説明図である。 従来技術の撮像素子の構成例を示す図である。

符号の説明

９０：光学系
９１：撮像素子
９３：前処理部
９４：制御回路
９５：信号処理部
９６：フレームメモリ
９７：ビデオエンコーダ
９８：ディスプレイ（画像表示部）
１００：制御部
１１０：撮像素子
１２０：Ａ／Ｄ変換器
１３０：倍率色収差補正部
１４０：ベイヤー補完部
１５０：ＭＴＦ補正部
１６０：歪曲収差補正部
１７０：ガンマ補正部
２０１：光電変換素子
２０２：カラーフィルタ
２０３：ＳＷＳ素子
３０１：光電変化素子
３０２：カラーフィルタ
３０３：ダイクロイック素子
３１０：ダイクロイックプリズム
３１１：ダイクロイックプリズム
４０１：広画角で倍率色収差の大きい光学系
４０２：撮像素子
４０３：画像処理系（倍率色収差補正処理）

Claims (18)

1. 複数の受光部を有する光電変換素子と、前記光電変換素子の受光面上に設けられ複数の受光部に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長領域のフィルタが配置されたカラーフィルタを有し、前記受光部と前記フィルタからなるＲ，Ｇ，Ｂの画素が二次元配列された撮像素子であって、
   Ｇ画素に入射する緑波長領域の光および青波長領域の光以外の波長領域の光と、Ｂ画素に入射する青波長領域の光および緑波長領域の光以外の波長領域の光を、近傍のＲ画素に転送する手段を有することを特徴とする撮像素子。
2. 請求項１記載の撮像素子において、
   前記Ｒ画素は赤外（ＩＲ）波長領域の光まで透過するフィルタを有し、前記Ｇ画素または前記Ｂ画素に入射するＩＲ波長領域の光を、前記Ｇ画素または前記Ｂ画素に隣接する、または接するＲ画素に転送する手段を有することを特徴とする撮像素子。
3. 請求項１または２記載の撮像素子において、
   前記Ｒ画素に転送する手段は、赤波長領域の光と赤外波長領域の光を転送する構造を有することを特徴とする撮像素子。
4. 請求項１乃至３のいずれか一つに記載の撮像素子において、
   前記Ｒ画素に転送する手段として、特定の波長の光を透過または反射または回折させる素子を用いることを特徴とする撮像素子。
5. 請求項４記載の撮像素子において、
   前記転送する手段として、サブ波長構造の素子（ＳＷＳ素子）を用いることを特徴とする撮像素子。
6. 請求項４記載の撮像素子において、
   前記転送する手段として、ダイクロイック膜またはダイクロイックプリズムからなるダイクロイック素子を用いることを特徴とする撮像素子。
7. 請求項６記載の撮像素子において、
   前記Ｒ画素は、前記Ｇ画素および前記Ｂ画素よりも前記受光面に像を結ぶ光学系に対して凸であることを特徴とする撮像素子。
8. 請求項１乃至７のいずれか一つに記載の撮像素子において、
   前記画素の配列がベイヤー配列のとき、前記転送する手段は、前記Ｇ画素に入射する光のうち、少なくともＩＲ波長領域の光を隣接する前記Ｒ画素に転送することを特徴とする撮像素子。
9. 請求項１乃至８のいずれか一つに記載の撮像素子において、
   前記画素の配列がベイヤー配列のとき、前記転送する手段は、前記Ｂ画素に入射する光のうち、少なくともＩＲ波長領域の光を隣接する前記Ｒ画素に転送することを特徴とする撮像素子。
10. 請求項１乃至９のいずれか一つに記載の撮像素子と、前記撮像素子に像を結ぶ撮像光学系と、前記撮像素子から出力される画像データを処理する画像処理系と、を有することを特徴とする画像撮像装置。
11. 請求項１０記載の画像撮像装置において、
    前記撮像光学系が、広画角で倍率色収差が大きい光学系の場合は、前記画像処理系は、前記Ｇ画素、前記Ｂ画素、および前記ＩＲ波長領域の光を含む前記Ｒ画素の輝度に対して倍率色収差補正を実施することを特徴とする画像撮像装置。
12. 請求項１１記載の画像撮像装置において、
    前記画像処理系は、前記撮像素子で読み取られた少なくとも倍率色収差を含むカラーフィルタ配列の画像データを処理する画像処理装置を有し、該画像処理装置により、前記倍率色収差を含むカラーフィルタ配列の画像データの各画素を座標変換して倍率色収差補正処理を行い、倍率色収差補正されたカラーフィルタ配列の画像データについて、カラーフィルタ配列による画素欠陥を補完処理することを特徴する画像撮像装置。
13. 請求項１２記載の画像撮像装置において、
    前記倍率色収差補正処理は、座標変換元のカラーフィルタ配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値とし、座標変換元のカラーフィルタ配列の色が座標変換先と異なる色の場合には、座標変換元に最も近い距離の座標変換先と同色の座標の画素の画素値を座標変換先の画素の画素値とすることを特徴する画像撮像装置。
14. 請求項１２記載の画像撮像装置において、
    前記倍率色収差補正処理は、座標変換元のカラーフィルタ配列の色が座標変換先と同じ色の場合は、座標変換元の画素の画素値を座標変換先の画素の画素値とし、座標変換元のカラーフィルタ配列の色が座標変換先と異なる色の場合には、座標変換元近傍の座標変換先と同色の複数の座標の画素の画素値から、座標変換先に相当する画素の画素値を補間処理し、得られた画素値を座標変換先の画素の画素値とすることを特徴する画像撮像装置。
15. 請求項１４記載の画像撮像装置において、
    前記座標変換元近傍の座標変換先と同色の複数の座標は二つとすることを特徴する画像撮像装置。
16. 請求項１５記載の画像撮像装置において、
    前記座標変換元近傍の座標変換先と同色の二つの座標は、前記撮像素子の読み出し方向と同方向の座標とすることを特徴する画像撮像装置。
17. 請求項１２乃至１６のいずれか一つに記載の画像撮像装置において、
    前記倍率色収差補正処理では、歪曲収差補正を一緒に行うことを特徴とする画像撮像装置。
18. 請求項１２乃至１６のいずれか一つに記載の画像撮像装置において、
    前記倍率色収差補正された画像データのカラーフィルタ配列による画素欠陥を補完処理した画像データについて歪曲収差補正処理することを特徴とする画像撮像装置。

Images