[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5621057B2 - カラー撮像素子 - Google Patents

カラー撮像素子 Download PDF

Info

Publication number
JP5621057B2
JP5621057B2 JP2013551783A JP2013551783A JP5621057B2 JP 5621057 B2 JP5621057 B2 JP 5621057B2 JP 2013551783 A JP2013551783 A JP 2013551783A JP 2013551783 A JP2013551783 A JP 2013551783A JP 5621057 B2 JP5621057 B2 JP 5621057B2
Authority
JP
Japan
Prior art keywords
array
color
filter
pixels
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013551783A
Other languages
English (en)
Other versions
JPWO2013100037A1 (ja
Inventor
田中 誠二
誠二 田中
智行 河合
智行 河合
林 健吉
健吉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013551783A priority Critical patent/JP5621057B2/ja
Application granted granted Critical
Publication of JP5621057B2 publication Critical patent/JP5621057B2/ja
Publication of JPWO2013100037A1 publication Critical patent/JPWO2013100037A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H01L27/14621
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明はカラー撮像素子に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子に関する。
単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はRAW画像(モザイク画像)となるので、欠落している色の画素を、周囲の画素から補間する処理(デモザイキング処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
単板カラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図27のA部分に示すような白黒の縦縞模様(高周波画像)が、図27のB部分に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図27のC部分からE部分に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となる。本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図28のA部分に示すような斜めの白黒の高周波画像が、図28のB部分に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図28のC部分からE部分に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となる。仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む3色と着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
更に、RGBの3原色のカラー固体撮像素子において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようした色配列が提案されている(特許文献3)。
更にまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000−308080号公報 特開2005−136766号公報 特開平11−285012号公報 特開平8−23543号公報
特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターンごとに最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
また、特許文献2に記載の画像センサは、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献3に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。尚、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bそれぞれの画素数の2倍になっている。
一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタがN×N(Nは偶数)画素に対応する配列パターンで配列されてなるサブ配列を含み、サブ配列を水平方向及び垂直方向のいずれか一方向に並べてなるサブ配列群が水平方向及び垂直方向の他方向に繰り返して配置されており、かつ他方向に互いに隣接するサブ配列群同士が一方向にM(MはN未満)画素間隔分ずらして配置され、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、さらに第1のフィルタに対応する第1の色の画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のフィルタは、サブ配列の少なくとも対角線上に沿って配置され、第2の色の各色に対応する第2のフィルタは、カラーフィルタの配列内で水平方向及び垂直方向に繰り返し配置されている基本配列パターン内であって、カラーフィルタの配列に含まれる任意の2N×2N画素に対応する基本配列パターン内に、カラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置され、Mは、第1のフィルタがカラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置される値に設定されている。
本発明の一の態様に係る発明によれば、サブ配列を水平方向及び垂直方向のいずれか一方向に並べてなるサブ配列群を水平方向及び垂直方向の他方向に繰り返して配置するとともに、各サブ配列の少なくとも対角線上に輝度信号を得るための寄与率の高い第1のフィルタを配置して、さらに、第1のフィルタがカラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置されるように、互いに隣接するサブ配列群同士をずらして配置したので、高周波領域でのデモザイキング処理の再現精度を向上させることができる。
また、カラーフィルタ配列は、特定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタについても、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
また、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する2色以上の第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
さらに、基本配列パターンが2N×2N画素に対応する配列パターンで構成されるため、例えばカラー撮像素子がCMOS(Complementary Metal Oxide Semiconductor)撮像素子である場合に、偶数個(例えば4個)の画素で1個のアンプ回路を共有させることもできる。
本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、互いに隣接するサブ配列群にそれぞれ含まれるサブ配列をそれぞれ1以上含むことが好ましい。後段でのデモザイキング処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明の他の態様に係るカラー撮像素子において、Nは4以上の偶数であり、第1のフィルタがサブ配列の少なくとも2つの対角線上に沿って配置されていることが好ましい。これにより、第1のフィルタが少なくともカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置される。
本発明のさらに他の態様に係るカラー撮像素子において、第2の色の各色の第2のフィルタは、サブ配列内でカラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置されていることが好ましい。これにより、基本配列パターン内においても2色以上の第2の色に対応する第2のフィルタがカラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置される。
本発明のさらに他の態様に係るカラー撮像素子において、カラーフィルタの配列は、第1のフィルタで構成される2×2画素に対応する正方配列を含むことが好ましい。これにより、2×2画素の画素値を使用して、水平、垂直、斜め右上及び斜め右下方向のうちの相関の高い方向を判別することができる。
本発明のさらに他の態様に係るカラー撮像素子において、Nが2である場合に、第1のフィルタがサブ配列の一方の対角線上に沿って配置されていることが好ましい。これにより、第1のフィルタがカラーフィルタの配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置される。
本発明のさらに他の態様に係るカラー撮像素子において、他方向に奇数番目に配置されたサブ配列群に対して、他方向に偶数番目に配置されたサブ配列群が同方向にM画素間隔分だけずれて配置されていることが好ましい。これにより、第1のフィルタがカラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置される。
本発明のさらに他の態様に係るカラー撮像素子において、Nが10以下であることが好ましい。Nが10を超える場合(N>10)には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
本発明のさらに他の態様に係るカラー撮像素子において、第1の色は緑色(G)であり、第2の色は赤色(R)及び青色(B)であることが好ましい。なお、上記のカラー撮像素子を備えた撮像装置も本発明に含まれる。
本発明によれば、輝度信号を得るために寄与率の高い第1の色に対応する第1のフィルタを、カラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置するとともに、第1のフィルタに対応する第1の色の画素数の比率を、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタの画素数の比率よりも大きくするようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させ、かつエリアシングを抑制することができる。
また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタを、基本配列パターン内においてカラーフィルタの配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
更に、本発明に係るカラーフィルタの配列は、特定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明に係る単板式のカラー撮像素子を備えるデジタルカメラを示す図である。 本発明に係る単板式のカラー撮像素子の画素を示す図である。 本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図である。 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図である。 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる2×2画素のG画素の画素値から相関方向を判別する方法を説明するために使用した図である。 カラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。 本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図である。 基本配列パターンを水平・垂直方向に繰り返して配置することにより、図8に示したカラーフィルタ配列が得られることを説明するための図である。 図9に示した基本配列パターンとは異なる基本配列パターンを水平・垂直方向に繰り返して配置した場合でも、図8に示したカラーフィルタ配列が得られることを説明するための図である。 互いに隣接するサブ配列群同士をずらして配置していない比較例のカラーフィルタ配列を示す図である。 第2の実施形態のカラー撮像素子のカラーフィルタ配列ではGフィルタが配置されていない斜め右上(NE)及び斜め右下(NW)方向のラインは生じないことを説明するために使用した図である。 本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図である。 第6の実施形態のカラー撮像素子を間引き読み出し駆動したときのカラーフィルタ配列を説明するための説明図である。 本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図である。 第7の実施形態のカラー撮像素子を間引き読み出し駆動したときのカラーフィルタ配列を説明するための説明図である。 本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第9の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第10の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第11の実施形態を示す図である。 Rフィルタ(赤フィルタ)、G1フィルタ(第1の緑フィルタ)、G2フィルタ(第2の緑フィルタ)及びBフィルタ(青フィルタ)が配置される受光素子の分光感度特性を示すグラフである。 Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタ(透明フィルタ)が配置される受光素子の分光感度特性を示すグラフである。 Rフィルタ、Gフィルタ、Bフィルタ及びエメラルドフィルタE(Eフィルタ)が配置される受光素子の分光感度特性を示すグラフである。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
[カラー撮像装置の全体構成]
図1は本発明に係るカラー撮像素子を備えるデジタルカメラ9のブロック図である。デジタルカメラ9は、大別して、撮影光学系10、カラー撮像素子12、撮影処理部14、画像処理部16、駆動部18、制御部20などを備えている。
撮影光学系10により被写体が撮像され、被写体像を示す光像がカラー撮像素子12(第1の実施形態のカラー撮像素子)の受光面上に結像される。
カラー撮像素子12は、その撮像面上に図2中水平方向及び垂直方向に配列(二次元配列)された光電変換素子で構成される複数の画素と、各画素の受光面の上方に配置された特定のカラーフィルタ配列のカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。ここで、「上方」とは、カラー撮像素子12の撮像面に対して被写体光が入射してくる側の方向を指す。
カラー撮像素子12に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応した赤(R)、緑(G)、青(B)のモザイク画像を示すR、G、B信号である。
カラー撮像素子12から読み出された画像信号は、撮影処理部14に入力する。撮影処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を有している。この撮影処理部14は、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、デモザイキング処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を有している。画像処理部16は、制御部20からの指令に従い、撮影処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、図示しない記録メディア(例えばメモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。
[カラー撮像素子の第1の実施形態]
図2及び図3は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、図2はカラー撮像素子12に設けられている画素の画素配列に関して示し、図3はカラーフィルタのカラーフィルタ配列に関して示している。
図2に示すように、カラー撮像素子12は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子22からなる複数の画素と、各画素の受光面上に配置された、図3に示すカラーフィルタ配列のカラーフィルタとから構成されている。各画素上には、RGBの3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)23R,23G,23Bのうちのいずれかが配置される。以下、Rフィルタ23Rが配置された画素を「R画素」、Gフィルタ23Gが配置された画素を「G画素」、Bフィルタ23Bが配置された画素を「B画素」という。
尚、カラー撮像素子12は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
<カラーフィルタ配列の特徴>
第1の実施形態のカラー撮像素子12のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)、及び(6)を有している。
〔特徴(1)〕
図3に示すカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(図中の太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列されている。
このようにRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列されているため、カラー撮像素子12から読み出されるR、G、B信号のデモザイキング処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
また、基本配列パターンPの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
図3に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に1つ以上配置されている。ここで、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
輝度系画素に対応するGフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に1つ以上配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
〔特徴(3)〕
図3に示すカラーフィルタ配列の基本配列パターンPは、その基本配列パターン内におけるRGBフィルタ23R,23G,23Bに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
〔特徴(4)〕
図3に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ23R、Bフィルタ23Bが、それぞれ基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置されている。
Rフィルタ23R及びBフィルタ23Bがそれぞれカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
図4は、図3に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
図4に示すように基本配列パターンPは、図中の実線の枠で囲んだ3×3画素のA配列24aと、図中の破線の枠で囲んだ3×3画素のB配列24bとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
A配列24a及びB配列24bは、それぞれ輝度系画素であるGフィルタ23Gが4隅と中央に配置され、両対角線上に配置されている。また、A配列24aは、中央のGフィルタ23Gを挟んでRフィルタ23Rが水平方向に配列され、Bフィルタ23Bが垂直方向に配列されている。一方、B配列24bは、中央のGフィルタ23Gを挟んでBフィルタ23Bが水平方向に配列され、Rフィルタ23Rが垂直方向に配列されている。即ち、A配列24aとB配列24bとは、Rフィルタ23RとBフィルタ23Bとの位置関係が逆転しているが、その他の配置は同様になっている。
また、A配列24aとB配列24bの4隅のGフィルタ23Gは、図5に示すようにA配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタ23Gとなる。
これは、輝度系画素であるGフィルタ23Gが、A配列24aまたはB配列24bにおける3×3画素において4隅と中央に配置され、この3×3画素が水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタ23Gが形成されるためである。尚、このような配列とすることで、前述の特徴(1)、(2)、(3)、及び後述の特徴(5)が満たされる。
〔特徴(5)〕
図3に示すカラーフィルタ配列は、Gフィルタ23Gが設けられた2×2画素に対応する正方配列25(以下、単にG正方配列25という、図6参照)を含んでいる。
図6に示すように、Gフィルタ23Gが設けられた2×2画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイキング処理)に使用することができる。これにより、画像処理部16によるデモザイキング処理が実行可能となる。
また、図5に示すように3×3画素のA配列24a又はB配列24bの画素をデモザイキング処理の対象画素とし、A配列24a又はB配列24bを中心に5×5画素(モザイク画像の局所領域)を抽出した場合、この5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値を使用することにより、4方向の相関方向の判別を最小画素間隔のG画素の情報を使用して精度よく行うことができる。
〔特徴(6)〕
図3に示すカラーフィルタ配列の基本配列パターンPは、その中心(4つのGフィルタ23Gの中心)に対して点対称になっている。また、図4に示したように、基本配列パターンP内のA配列24a及びB配列24bも、それぞれ中心のGフィルタ23Gに対して点対称になっている。
このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
図7に示すように太枠で示した基本配列パターンPにおいて、水平方向の第1から第6のラインのうちの第1及び第3のラインのカラーフィルタ配列は、GBGGRGであり、第2のラインのカラーフィルタ配列は、RGRBGBであり、第4及び第6のラインのカラーフィルタ配列は、GRGGBGであり、第5のラインのカラーフィルタ配列は、BGBRGRとなっている。
いま、図7において、基本配列パターンPを水平方向、及び垂直方向にそれぞれ1画素ずつシフトした基本配列パターンをPa、それぞれ2画素ずつシフトした基本配列パターンをPbとすると、これらの基本配列パターンPa、Pbを水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図7に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第1の実施形態では、基本配列パターンが点対称になっている基本配列パターンPを、便宜上、基本配列パターンという。
尚、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
[カラー撮像素子の第2の実施形態]
図8は本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。なお、第2の実施形態のカラー撮像素子は、カラーフィルタ配列が異なる点を除けば、上記第1の実施形態と基本的には同じ構成である。このため、上記第1の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
第2の実施形態のカラー撮像素子26のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが4×4画素に対応する配列パターンで配列されてなるサブ配列により構成されている。本実施形態のサブ配列には、A配列27a及びB配列27bの2種類がある。なお、図8はカラーフィルタ配列の一部を抽出した図面である(図9以降も同様)。
カラーフィルタ配列は、A配列27a及びB配列27bが水平方向に交互に配置されてなるサブ配列群28を複数含み、各サブ配列群28が垂直方向に繰り返し配置されてなる。さらに、このカラーフィルタ配列では、垂直方向に互いに隣接するサブ配列群28が水平方向に1画素間隔分ずれて配置されている。
また、本実施形態では、垂直方向に奇数番目に配置されたサブ配列群28に対して、偶数番目に配置されたサブ配列群28を同方向に1画素間隔分ずらして配置させている。これにより、各サブ配列群28のずれ方向がカラーフィルタ配列の垂直方向に沿って交互に互い違いとなる。具体的には、例えば垂直方向に1番目のサブ配列群28に対して2番目のサブ配列群28が図中右方向にずれ、この2番目のサブ配列群28に対して3番目のサブ配列群28が図中左方向にずれ、以下同様にして、ずれ方向が右、左、右・・・に切り替わる。
A配列27aには、その2つの対角線上に沿ってGフィルタ23Gが配置されている。また、A配列27aには、Rフィルタ23R及びBフィルタ23Bがカラーフィルタ配列の水平・垂直方向の各フィルタライン内に1つずつ配置されている。一方、B配列27bは、Rフィルタ23RとBフィルタ23Bとの位置関係が逆転している点を除けば、A配列27aと基本的には同じ配列パターンである。
このようなカラーフィルタ配列は、8×8画素に対応する正方配列パターンからなる基本配列パターンP1(図中の太枠で示したパターン)が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。この基本配列パターンP1は、互いに隣接するサブ配列群28にそれぞれ含まれるサブ配列(A配列27a及びB配列27bの少なくとも一方)をそれぞれ含んでいる。
図9に示すように、基本配列パターンP1を水平・垂直方向に繰り返し配置することにより、図8に示したカラーフィルタ配列が得られる。このため、カラーフィルタ配列は前述の特徴(1)を有する。
この際に、カラーフィルタ配列の基本配列パターンは、図9に示した基本配列パターンP1に限定されるものではなく、8×8画素に対応する正方配列パターンであれば特に限定はされない。例えば、図8に示した基本配列パターンP1を水平方向、垂直方向にそれぞれ2画素、1画素だけシフトさせた基本配列パターンP1a(図8中の点線枠で表示)を、図10に示すように水平・垂直方向に繰り返し配置した場合でも、図8に示したカラーフィルタ配列が得られる。このようにカラーフィルタ配列は、任意の8×8画素に対応する基本配列パターンを水平・垂直方向に繰り返し配置してなる。以下、第2の実施形態では基本配列パターンに符号「P1」を付す。
図8に戻って、A配列27a及びB配列27bがN×N(Nは4以上の偶数,なお、N=2の場合は後述する)画素に対応する配列パターンを有し(条件1)、両配列27a,27bの少なくとも2つの対角線上にGフィルタ23Gが配置され(条件2)、さらに互いに隣接するサブ配列群28が1画素間隔分ずらして配置されている場合(条件3)には、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。
一方、例えば図11に示す比較例のように、条件1及び条件2は満たされるが条件3を満たさない場合には、カラーフィルタ配列が基本配列パターンPNGを並べた配列とみなすことができるものの、各サブ配列(両配列27a,27b)のGフィルタ23Gの配置されていない画素(以下、G空白画素という)が、同一の斜め(NE,NW)方向のライン上に位置してしまう。その結果、カラーフィルタ配列に、Gフィルタ23Gが配置されていない斜めライン(以下、G空白ラインという)Lが生じる。
これに対して、図12に示すように本実施形態では、互いに隣接するサブ配列群28が水平方向に1画素間隔分ずれて配置されているので、1つのサブ配列群28のサブ配列のG空白ラインLの延長線上には、他のサブ配列群28のサブ配列のGフィルタ23Gが少なくとも1つは配置されている。その結果、図11に示した比較例のようなG空白ラインLは生じない。
また、Gフィルタ23Gは前述の条件2を満たすように配列されているので、カラーフィルタ配列の水平、垂直方向の各フィルタライン上にGフィルタ23Gは1以上配置される。このように、第2の実施形態では、前述の条件1〜3を満たすようにGフィルタ23Gを配列することで、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
さらに、前述の条件2を満たす場合には、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(5)を有する。
図8に戻って、Rフィルタ23R及びBフィルタ23Bは、各サブ配列(両配列27a,27b)内において、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されている。このため、Rフィルタ23R及びBフィルタ23Bは、任意の基本配列パターンP1内においても、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。このため、カラーフィルタ配列は前述の特徴(4)を有する。
さらに、第2の実施形態では、基本配列パターンP1内におけるRGBフィルタ23R,23,23に対応するR画素、G画素、B画素の画素数(以下、適宜RGB画素の各画素数と略す)が、16画素、32画素、16画素となる。このため、RGB画素の各画素数の比率は1:2:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
なお、基本配列パターンP1は、その中心に対して点対称とはなっていない。
上記のように第2の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
また、基本配列パターンP1が「偶数×偶数」画素に対応する配列パターンで構成されるため、カラー撮像素子26がCMOS撮像素子である場合に、例えば正方行列状に配置された4個の画素で1個のアンプ回路を共有させることもできる(他の実施形態も同様)。
[カラー撮像素子の第3の実施形態]
図13は本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態では、互いに隣接するサブ配列群28を水平方向に1画素間隔分ずらして配置している。これに対して、第3の実施形態のカラー撮像素子30では、互いに隣接するサブ配列群28を水平方向に2画素間隔分ずらして配置している。
なお、第3の実施形態は、互いに隣接するサブ配列群28のずれ量が異なる点を除けば、上記第1及び第2の実施形態と基本的には同じ構成であるので、これら各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する(第4の実施形態以降の各実施形態についても同様)。
カラー撮像素子30のカラーフィルタ配列(以下、単にカラーフィルタ配列という)についても、第2の実施形態と同様に、8×8画素に対応する正方配列パターンからなる基本配列パターンP2が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。なお、基本配列パターンP2は、図13に示した配列パターンに限定されるものではなく、8×8画素に対応する任意の正方配列パターンを基本配列パターンとすることができる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
互いに隣接するサブ配列群28を2画素間隔分ずらして配置した場合(条件3A)でも、カラーフィルタ配列ではGフィルタ23Gが配置されていない斜め(NE,NW)ラインは生じない。また、前述の条件2が満たされているので、カラーフィルタ配列にはGフィルタ23Gが配置されていない水平、垂直ラインも生じない。さらに、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(2)及び特徴(5)を有する。
Rフィルタ23R及びBフィルタ23Bは、第2の実施形態と同様に、各サブ配列内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されている。このため、Rフィルタ23R及びBフィルタ23Bは、任意の基本配列パターンP2においてもカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(4)を有する。さらに、RGB画素の各画素数の比率は第2の実施形態と同じであるので、カラーフィルタ配列は前述の特徴(3)を満たす。
なお、第2の実施形態と同様に、基本配列パターンP2は、その中心に対して点対称とはなっていない。
上記のように第3の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
[カラー撮像素子の第4の実施形態]
図14は本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2及び第3の実施形態では、垂直方向に互いに隣接するサブ配列群28を水平方向にずらして配置している。これに対して、第4の実施形態のカラー撮像素子32では、水平方向に互いに隣接するサブ配列群を垂直方向にずらして配置している。
カラー撮像素子32のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、A配列27a及びB配列27bが垂直方向に交互に配列されてなるサブ配列群33を複数含み、各サブ配列群33が水平方向に繰り返し配置されてなる。
また、カラーフィルタ配列では、水平方向に互いに隣接するサブ配列群33を垂直方向に1画素間隔分ずらして配置している。具体的には、水平方向に奇数番目に配置されたサブ配列群33に対して、偶数番目に配置されたサブ配列群33を同方向に1画素間隔分ずらしている。これにより、各サブ配列群33のずれ方向がカラーフィルタ配列の水平方向に沿って交互に互い違いとなる。
このようなカラーフィルタ配列についても、8×8画素に対応する正方配列パターンとなる基本配列パターンP3が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。なお、基本配列パターンP3は、図14に示した配列パターンに限定されるものではなく、8×8画素に対応する任意の正方配列パターンを基本配列パターンとすることができる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
また、カラーフィルタ配列は、互いに隣接するサブ配列群33のずらし方向が第2実施形態とは異なるものの、互いに隣接するサブ配列群を1画素間隔分ずらすという点では第2実施形態と同じである。このため、カラーフィルタ配列は、前述の条件1、条件2、及び条件3を満たすので、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。さらに、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(2)及び特徴(5)を有する。
Rフィルタ23R及びBフィルタ23Bは、第2の実施形態と同様に、各サブ配列(A配列27a及びB配列27b)内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されているので、任意の基本配列パターンP3内においてもカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(4)を有する。さらに、RGB画素の各画素数の比率は第2の実施形態と同じであるので、カラーフィルタ配列は前述の特徴(3)を満たす。
なお、基本配列パターンP3は、その中心に対して点対称とはなっていない。
上記のように第4の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
[カラー撮像素子の第5の実施形態]
図15は本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記の第4の実施形態では、水平方向に互いに隣接するサブ配列群33同士を垂直方向に1画素間隔分だけずらして配置している。これに対して、第5の実施形態のカラー撮像素子36では、互いに隣接するサブ配列群33同士を垂直方向に2画素間隔分だけずらして配置している。
カラー撮像素子36のカラーフィルタ配列(以下、単にカラーフィルタ配列という)についても、第4の実施形態と同様に、8×8画素に対応する任意の正方配列パターンからなる基本配列パターンP4が水平・垂直方向にそれぞれ並べられた配列となっていると捉えることもできる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
また、カラーフィルタ配列は、互いに隣接するサブ配列群33同士を水平方向に2画素間隔分だけずらしている点を除けば基本的には第4の実施形態のカラーフィルタ配列と同じである。このため、カラーフィルタ配列にはG正方配列25が含まれるとともに、任意の基本配列パターンP4内におけるカラーフィルタ配列の水平、垂直方向の各フィルタライン内にRフィルタ23R及びBフィルタ23Bがそれぞれ配置される。さらに、RGB画素の各画素数の比率は1:2:1となる。これにより、カラーフィルタ配列は、前述の特徴(5)、(4)、及び(3)を有する。
また、カラーフィルタ配列は、互いに隣接するサブ配列群33のずらし方向が第3実施形態とは異なるものの、互いに隣接するサブ配列群同士を2画素間隔分ずらすという点では第3実施形態と同じである。このため、カラーフィルタ配列は、前述の条件1、条件2、及び条件3Aを満たすので、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
なお、基本配列パターンP4は、その中心に対して点対称とはなっていない。
上記のように第5の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
[カラー撮像素子の第6の実施形態]
図16は本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態から第5の実施形態のカラーフィルタ配列は、4×4画素に対応する正方配列パターンを有するサブ配列(A配列27a及びB配列27b)により構成されている。これに対して、第6の実施形態のカラー撮像素子39のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、2×2画素に対応する正方配列パターンを有するサブ配列により構成されている。
カラーフィルタ配列は、A配列40a及びB配列40bが水平方向に交互に配列されてなるサブ配列群41aと、C配列40c及びD配列40dが水平方向に交互に配列されてなるサブ配列群41bとを含み、かつサブ配列群41aとサブ配列群41bとが垂直方向に交互に配置されてなる。さらに、このカラーフィルタ配列では、垂直方向に互いに隣接するサブ配列群41aとサブ配列群41bとが水平方向に1画素間隔分だけ互いにずれて配置されている。
A配列40aには、その2つの対角線のうちの左斜め(NW)方向の対角線に沿ってGフィルタ23Gが配置され、右斜め(NE)方向の対角線に沿ってBフィルタ23Bが配置されている。また、B配列40bは、A配列40aのBフィルタ23BをRフィルタ23Rに置き換えたものである。
C配列40cには、左斜め(NW)方向の対角線に沿ってGフィルタ23Gが配置され、右斜め(NE)方向の対角線に沿ってBフィルタ23B、Rフィルタ23Rがそれぞれ1つずつ配置されている。また、D配列40dは、C配列40cのRフィルタ23RとBフィルタ23Bとの位置関係を逆転させたものである。
上記構成のカラーフィルタ配列は、4×4画素に対応する正方配列パターンとなる基本配列パターンP5が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。なお、上記第2の実施形態などと同様に、基本配列パターンP5は、図16に示した配列パターンに限定されるものではなく、4×4画素に対応する任意の正方配列パターンを基本配列パターンとすることができる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
また、カラーフィルタ配列は、各配列40a〜40dが2×2画素に対応する配列パターンを有する条件1Aと、各配列40a〜40dの2つの対角線の一方上にGフィルタ23Gが配置される条件2Aと、互いに隣接するサブ配列群41aとサブ配列群41bとが1画素間隔分ずれて配置される前述の条件3とを満たしている。
条件1A及び条件2Aを満たすことにより、各配列40a〜40dの水平・垂直方向のラインにGフィルタ23Gがそれぞれ1つずつ配置されるので、Gフィルタ23Gがカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。この際に、単に条件1A及び条件2Aを満たすだけではGフィルタ23Gが市松模様状に配置されるため、カラーフィルタ配列にGフィルタ23Gが配置されていない斜め方向(NE,NW)のラインが生じるが、さらに条件3を満たすことにより、Gフィルタ23Gがカラーフィルタ配列の斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
さらに、上記構成のカラーフィルタ配列では、Rフィルタ23R及びBフィルタ23Bが任意の基本配列パターンP5内におけるカラーフィルタ配列の水平、垂直方向の各フィルタライン内にそれぞれ配置される。これにより、カラーフィルタ配列は前述の特徴(4)を有する。また、任意の基本配列パターンP5内のRGBフィルタ23R,23,23に対応するRGB画素の各画素数が4画素、8画素、4画素となる。このため、RGB画素の各画素数の比率は1:2:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
なお、基本配列パターンP5は、その中心に対して点対称とはなっておらず、また、カラーフィルタ配列にはG正方配列25が含まれてはいない。
上記のように第6の実施形態のカラーフィルタ配列は、第1の実施形態の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
また、第6の実施形態のカラーフィルタ配列は、図17のA部分、B部分に示すようにカラー撮像素子39の奇数(偶数でも可)ラインを間引き読み出し駆動したときに、図17のC部分に示すように、基本配列パターンP5aが水平・垂直方向に繰り返し配置された配列となる。このため、動画撮影時などにカラー撮像素子39を間引き読み出し駆動した場合でも、RGBフィルタ23R,23G,23Bの繰り返しパターンに従ってデモザイキング処理等を行うことができる。
[カラー撮像素子の第7の実施形態]
図18は本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第6の実施形態では、各配列40a〜40dの左斜め(NW)方向の対角線に沿ってGフィルタ23Gが配置されているが、第7の実施形態のカラー撮像素子45のように、A、B、C、D配列46a〜46dの右斜め(NE)方向の対角線に沿ってGフィルタ23Gが配置されていてもよい。
各配列46a〜46dは、それぞれ上記第6の実施形態の各配列40a〜40dを図16中で時計回り方向に90°回転させたときの配列と同じパターンを有している。このような各配列46a〜46dで構成されるカラーフィルタ配列は、Gフィルタ23Gの配置が逆転している点を除けば第6の実施形態のカラーフィルタ配列と基本的には同じ配列パターンである。
また、カラーフィルタ配列に含まれる基本配列パターンP6についても、Gフィルタ23Gの配置が逆転している点を除けば第6の実施形態の基本配列パターンP5と基本的には同じ配列パターンである。このため、第7の実施形態のカラーフィルタ配列も、第1の実施形態の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
さらに、図19のA部分〜C部分に示すように、カラー撮像素子45の奇数(偶数でも可)ラインを間引き読み出し駆動したときに、第6の実施形態と同様に、カラーフィルタ配列が基本配列パターンP6aを水平・垂直方向に繰り返し配置した配列となる。
[カラー撮像素子の第8の実施形態]
図20は本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態から第5の実施形態のカラーフィルタ配列は4×4画素に対応する正方配列パターンを有するサブ配列により構成されているが、第8の実施形態のカラー撮像素子48ではサブ配列のサイズをさらに拡大している。
カラー撮像素子48のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、6×6画素に対応する正方配列パターンを有するサブ配列、具体的にはA配列49aとB配列49bとにより構成されている。このカラーフィルタ配列は、第2の実施形態のカラーフィルタ配列のA配列28aとB配列28bをそれぞれA配列49aとB配列49bを置き換えたものである。このため、カラーフィルタ配列は、A配列49a及びB配列49bが水平方向に交互に配列されてなるサブ配列群50を垂直方向に繰り返し配置してなる。また、第2の実施形態と同様に、互いに隣接するサブ配列群50が水平方向に1画素間隔分ずらして配置されている。
A配列49a及びB配列49bには、2つの対角線上に沿ってGフィルタ23Gが配置されるとともに、Rフィルタ23R及びBフィルタ23Bがカラーフィルタ配列の水平・垂直方向の各フィルタライン内に1つずつ配置されている。この際に、A配列49a及びB配列49bは、Gフィルタ23Gの数がR、Bフィルタ23R,23Bのそれぞれの数よりも多くなるように、対角線上以外の箇所にもGフィルタ23Gが配置されている。
このようなカラーフィルタ配列についても、上記第2の実施形態などと同様に、12×12画素に対応する正方配列パターンからなる基本配列パターンP7が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。また、このカラーフィルタ配列は、サブ配列(A配列49a及びB配列49b)のサイズを拡大した点を除けば、基本的には第2の実施形態のカラーフィルタ配列と同じであるので、第2の実施形態のカラーフィルタ配列と同様に前述の特徴(1)、(2)、(4)、及び(5)を有する。
さらに、基本配列パターンP7内のRGBフィルタ23R,23,23に対応するRGB画素の各画素数が32画素、80画素、32画素となる。このため、RGB画素の各画素数の比率は2:5:2となるので、カラーフィルタ配列は前述の特徴(3)を有する。
なお、基本配列パターンP7は、その中心に対して点対称とはなっていない。
上記のように第8の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
なお、カラーフィルタ配列が、8×8画素以上のN×N(Nは偶数)画素に対応する配列パターン有するサブ配列により構成されている場合でも、垂直方向または水平方向に互いに隣接するサブ配列群同士が水平方向または垂直方向にM画素間隔分だけ互いにずれて配置されている場合には、上記第2の実施形態と同様の特徴を有する。この場合には、基本配列パターンは、任意の2N×2N画素に対応する正方配列パターンとなる。ここで、Mは、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置されるようにサブ配列のサイズに応じて適宜定められる。
また、サブ配列のサイズを拡大する際には、Nを10以下にすることが好ましい。これはNが10を超える場合(N>10)には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
[カラー撮像素子の第9の実施形態]
図21は本発明に係る単板式のカラー撮像素子の第9の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態から第8の実施形態では、垂直方向または水平方向に隣接するサブ配列群をM画素間隔分ずらして配置することで、カラーフィルタ配列が少なくとも第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、及び(4)を有するようにしている。これに対して、第9の実施形態のカラー撮像素子52では、互いに隣接するサブ配列内のGフィルタ23Gの位置をずらすことにより、上記第2の実施形態から第8の実施形態と同様の効果が得られるようにしている。
カラー撮像素子52のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが8×8画素に対応する配列パターンで配列されてなる基本配列パターンP8を含み、この基本配列パターンP8が水平方向及び垂直方向に繰り返し配置されている。このため、カラーフィルタ配列は前述の特徴(1)を有する。
基本配列パターンP8は、4×4画素に対応する配列パターンを有する4種類のサブ配列で構成されている。これら4種類のサブ配列は、A配列53a、B配列53b、C配列53c、D配列53dであり、各配列53a〜53dは互いに水平・垂直方向に隣接するように行列状に配置されている。具体的には、A配列53aとB配列53b、C配列53cとD配列53dがそれぞれ垂直方向に隣接している。また、A配列53aとC配列53c、B配列53bとD配列53dがそれぞれ水平方向に隣接している。
A配列53a及びD配列53dは、第2の実施形態のB配列27b(A配列27aでも可)と同じものである。B配列53b及びC配列53cには、2つの対角線上から垂直方向に1画素間隔分だけずれた位置にGフィルタ23Gが配置されている。また、B配列53b及びC配列53cには、Rフィルタ23R及びBフィルタ23Bがカラーフィルタ配列の水平・垂直方向の各フィルタライン内に1つ以上配置されている。
このように、各配列53a〜53dが上記条件1を満たし、さらにGフィルタ23Gが水平方向または垂直方向に互いに隣接している各配列53a〜53dの一方の少なくとも2つの対角線上に沿って配置される(条件4)とともに、この一方のGフィルタ23Gの配置に対して他方のGフィルタ23Gの配置がQ(Q<N)画素間隔分だけずれた位置に配置される場合(条件5)には、Gフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
また、前述の条件4を満たす場合には、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(5)を有する。
Rフィルタ23R及びBフィルタ23Bは、各サブ配列(各配列53a〜53d)内において、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されている。このため、Rフィルタ23R及びBフィルタ23Bは、基本配列パターンP8内においても、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。このため、カラーフィルタ配列は前述の特徴(4)を有する。
さらに、第9の実施形態では、基本配列パターンP8内のRGBフィルタ23R,23,23に対応するRGB画素の各画素数が、18画素、28画素、18画素となる。このため、RGB画素の各画素数の比率は1:1.6:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
なお、基本配列パターンP8は、その中心に対して点対称とはなっていない。
上記のように第9の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
なお、上記第9の実施形態のカラーフィルタ配列では、A配列53a及びD配列53dの内のGフィルタ23Gの配置に対して、B配列53b及びC配列53c内のGフィルタ23Gの配置が図中上方向に1画素間隔分だけずれているが、図中下方向または図中左右方向(水平方向)に1画素間隔分だけ配置をずらしてもよい。
[カラー撮像素子の第10の実施形態]
図22は本発明に係る単板式のカラー撮像素子の第10の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第9の実施形態では、A配列53a及びD配列53d内のGフィルタ23Gの配置に対して、B配列53b及びC配列53cのGフィルタ23Gの配置をそれぞれ同方向にずらしている。これに対して、第10の実施形態のカラー撮像素子55では、B配列及びC配列内のGフィルタ23Gの配置のずらし方向を異ならせている。
カラー撮像素子55のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが8×8画素に対応する配列パターンで配列されてなる基本配列パターンP9を含み、この基本配列パターンP9が水平方向及び垂直方向に繰り返し配置されている。このため、カラーフィルタ配列は前述の特徴(1)を有する。
基本配列パターンP9は、第9の実施形態の基本配列パターンP8と基本的には同じパターンである。ただし、基本配列パターンP9は、基本配列パターンP8のB配列53b及びC配列53cとはそれぞれ異なるB配列53b1及びC配列53c1を有している。
B配列53b1内のGフィルタ23Gの配置は、A配列53a及びD配列53dのGフィルタ23Gの配置に対して図中右方向(水平方向)に1画素間隔分ずれている。一方、C配列53c1内のGフィルタ23Gの配置は、A配列53a及びD配列53d内のGフィルタ23Gの配置に対して図中左方向(水平方向)に1画素間隔分ずれている。
このように、各配列53a,53b1,53c1,53dが上記条件1及び条件4を満たし、かつA配列53a及びD配列53d内のGフィルタ23Gの配置に対してB配列53b及びC配列53c内のGフィルタ23Gの配置がそれぞれ異なる方向にQ(Q<N)画素間隔分だけずれた位置に配置される場合(条件5A)にも、Gフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。また、カラーフィルタ配列は、G正方配列25を含むので前述の特徴(5)を有する。
Rフィルタ23R及びBフィルタ23Bは、第9の実施形態と同様に、基本配列パターンP9内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。このため、カラーフィルタ配列は前述の特徴(4)を有する。
また、RGB画素の各画素数の比率は、第9の実施形態と同じであるので、カラーフィルタ配列は前述の特徴(3)を有する。
なお、基本配列パターンP9は、その中心に対して点対称とはなっていない。
上記のように第10の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
なお、上記第10の実施形態のカラーフィルタ配列では、A配列53a及びD配列53d内のGフィルタ23Gの配置に対して、B配列53b1及びC配列53c1内のGフィルタ23Gの配置が図中右方向、図中左方向にそれぞれ1画素間隔分だけずれているが、各配置のずらし方向はカラーフィルタ配列が前述の特徴(2)を有する範囲で適宜変更してもよい。さらに、B配列53b1及びC配列53c1の一方のGフィルタ23Gの配置を水平方向にずらし、他方のGフィルタ23Gの配置を垂直方向にずらしてもよい。
[カラー撮像素子の第11の実施形態]
図23は本発明に係る単板式のカラー撮像素子の第11の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第9及び第10の実施形態の基本配列パターンP8,P9は、4×4画素に対応する正方配列パターンを有するサブ配列により構成されているが、第11の実施形態のカラー撮像素子57では、サブ配列のサイズをさらに拡大している。
カラー撮像素子57のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが12×12画素に対応する配列パターンで配列されてなる基本配列パターンP10を含み、この基本配列パターンP10が水平方向及び垂直方向に繰り返し配置されている。このため、カラーフィルタ配列は前述の特徴(1)を有する。
基本配列パターンP10は、上記第9及び第10の実施形態と同様に、互いに水平・垂直方向に隣接するように行列状に配置されたA配列58a、B配列58b、C配列58c、及びD配列58dにより構成されている。各配列58a〜58dは、RGBフィルタ23R,23G,23Bが6×6画素に対応する配列パターンで配列されてなる。
このような各配列58a〜58dは、個々のサイズを拡大し、かつA配列58a及びD配列58d内の対角線上以外の箇所にもGフィルタ23Gを配置し、さらに、B配列58bのずらし方向を図中上方向に変更した点を除けば、第10の実施形態の各配列53a,53b1,53c1,53dと基本的に同じである。このため、カラーフィルタ配列は、第10の実施形態と同様に、前述の特徴(2)、(4)、及び(5)を有する。
また、基本配列パターンP10内のRGBフィルタ23R,23,23に対応するRGB画素の各画素数は、36画素、72画素、36画素となる。このため、RGB画素の各画素数の比率は1:2:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
なお、基本配列パターンP10は、その中心に対して点対称とはなっていない。
上記のように第11の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
なお、図示は省略するが、基本配列パターンが8×8画素以上のN×N(Nは偶数)画素に対応する配列パターン有するサブ配列により構成されている場合でも、上記第9または第10の実施形態と同様の特徴を有する。ここで、上述したようにNが10を超えても、デモザイキング等の信号処理が複雑化し、さらに基本配列パターンのサイズを大きくすることによる格別な効果が得られないので、Nは10以下にすることが好ましい。
また、第9の実施形態から第11の実施形態では、A配列及びD配列内のGフィルタ23Gの配置に対して、B配列及びC配列内のGフィルタ23Gの配置をそれぞれ1画素間隔分ずらしているが、カラーフィルタ配列が前述の特徴(2)を有する範囲内において、Gフィルタ23Gの配置のずらし量を2〜Q画素間隔の範囲で変えてもよい。さらに、カラーフィルタ配列内における、A配列及びD配列の位置と、B配列及びC配列の位置とを逆転させてもよい。
[その他]
上記各実施形態のRフィルタ23R及びBフィルタ23Bの配置は、図3〜図23に示した配置に限定されず、少なくとも前述の特徴(4)を満たす範囲内で適宜変更してもよい。
上記第2の実施形態から第8の実施形態では、垂直方向または水平方向に奇数番目に配置されたサブ配列群に対して、偶数番目に配置されたサブ配列群を同方向にずらすことにより、各サブ配列群のずれ方向がカラーフィルタ配列の垂直方向または水平方向に沿って交互に互い違いとなるようにしているが、カラーフィルタ配列が前述の特徴(2)を有する範囲内において、各サブ配列群のずれ方向を適宜変更してもよい。
[変形例]
また、上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
<第1のフィルタ(第1の色)の条件>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
〔条件(2)〕
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
〔条件(3)〕
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
〔条件(4)〕
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
<複数種類の第1のフィルタ(Gフィルタ)>
したがって、第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタ(G1フィルタ、G2フィルタ)を第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタまたはG2フィルタに適宜置き換えられてもよい。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する(図24参照)。
G1フィルタとしては、現存のGフィルタ(例えば第1実施形態のGフィルタ)を用いることができる。また、G2フィルタとしては、G1フィルタと相関の高いフィルタを用いることができる。この場合に、G2フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003−284084号に記載されている方法が用いられる。
このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
なお、G1、G2フィルタの透過率は、第1実施形態のGフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、G1、G2フィルタは前述の条件(1)を満たす。
また、カラーフィルタ配列(受光素子)の分光感度特性を示す図24において、各G1、G2フィルタの透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各G1、G2フィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、各G1、G2フィルタは前述の条件(2)、(3)も満たしている。
なお、各G1、G2フィルタの配置や個数は適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
<透明フィルタ(Wフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
透明フィルタWは、透明色(第1の色)のフィルタである。透明フィルタWは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタWの透過率は、Gフィルタよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
カラーフィルタ配列(受光素子)の分光感度特性を示す図25において、透明フィルタWの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタWの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、透明フィルタWは前述の条件(2)、(3)も満たしている。なお、Gフィルタについても透明フィルタWと同様に前述の条件(1)〜(3)を満たしている。
このように透明フィルタWは、前述の条件(1)〜(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部を透明フィルタWに置き換えているので、前述の条件(4)も満たしている。
<エメラルドフィルタ(Eフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置しても良い。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
カラーフィルタ配列(受光素子)の分光感度特性を示す図26において、エメラルドフィルタEの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、エメラルドフィルタEの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、エメラルドフィルタEは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部をエメラルドフィルタEに置き換えているので、前述の条件(4)も満たしている。
なお、図26に示した分光特性では、エメラルドフィルタEがGフィルタよりも短波長側にピークを持つが、Gフィルタよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにエメラルドフィルタEとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
<他の色の種類>
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
<ハニカム配置>
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
例えば、上述の各実施形態の基本配列パターンを光軸回りに45°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向(NE、NW)に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。
更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
9…デジタルカメラ、12,26,30,32,36,39,45,48,52,55,57…カラー撮像素子、23R…Rフィルタ、23G…Gフィルタ、23B…Bフィルタ、24a,27a,40a,46a,49a,53a,58a…A配列、24b,27b,40b,46b,49b,53b,53b1,58b…B配列、40c,46c,53c,53c1,58c…C配列、40d,46d,53d,58d…D配列、28,33,41a,41b,50…サブ配列群、P,P1,P1a,P2,P3,P4,P5,P5a,P6,P6a,P7,P8,P9,P10…基本配列パターン

Claims (10)

  1. 水平方向及び垂直方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタがN×N(Nは偶数)画素に対応する配列パターンで配列されてなるサブ配列を含み、前記サブ配列を前記水平方向及び垂直方向のいずれか一方向に並べてなるサブ配列群が前記水平方向及び垂直方向の他方向に繰り返して配置されており、かつ前記他方向に互いに隣接する前記サブ配列群同士が前記一方向にM(MはN未満)画素間隔分ずらして配置され、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、さらに前記第1のフィルタに対応する第1の色の画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のフィルタは、前記サブ配列の少なくとも対角線上に沿って配置され、
    前記第2の色の各色に対応する前記第2のフィルタは、前記カラーフィルタの配列内で前記水平方向及び垂直方向に繰り返し配置されている基本配列パターン内であって、前記カラーフィルタの配列に含まれる任意の2N×2N画素に対応する基本配列パターン内に、前記カラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置され、
    前記Mは、前記第1のフィルタが前記カラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置される値に設定されているカラー撮像素子。
  2. 前記基本配列パターンは、互いに隣接する前記サブ配列群にそれぞれ含まれる前記サブ配列をそれぞれ1以上含む請求項1記載のカラー撮像素子。
  3. 前記Nは4以上の偶数であり、前記第1のフィルタが前記サブ配列の少なくとも2つの対角線上に沿って配置されている請求項1または2記載のカラー撮像素子。
  4. 前記第2の色の各色の前記第2のフィルタは、前記サブ配列内で前記カラーフィルタの配列の水平及び垂直方向の各フィルタライン内に1以上配置されている請求項3記載のカラー撮像素子。
  5. 前記カラーフィルタの配列は、前記第1のフィルタで構成される2×2画素に対応する正方配列を含む請求項3または4記載のカラー撮像素子。
  6. 前記Nが2である場合に、前記第1のフィルタが前記サブ配列の一方の対角線上に沿って配置されている請求項1記載のカラー撮像素子。
  7. 前記他方向に奇数番目に配置された前記サブ配列群に対して、前記他方向に偶数番目に配置された前記サブ配列群が同方向に前記M画素間隔分ずらして配置されている請求項1から6のいずれか1項に記載のカラー撮像素子。
  8. 前記Nが10以下である請求項1から7のいずれか1項に記載のカラー撮像素子。
  9. 前記第1の色は緑色(G)であり、前記第2の色は赤色(R)及び青色(B)である請求項1から8のいずれか1項に記載のカラー撮像素子。
  10. 請求項1〜9のいずれか1項に記載のカラー撮像素子を備えた撮像装置。
JP2013551783A 2011-12-27 2012-12-27 カラー撮像素子 Expired - Fee Related JP5621057B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013551783A JP5621057B2 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011286011 2011-12-27
JP2011286011 2011-12-27
JP2013551783A JP5621057B2 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Publications (2)

Publication Number Publication Date
JP5621057B2 true JP5621057B2 (ja) 2014-11-05
JPWO2013100037A1 JPWO2013100037A1 (ja) 2015-05-11

Family

ID=48697516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013551783A Expired - Fee Related JP5621057B2 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Country Status (5)

Country Link
US (1) US20140307135A1 (ja)
EP (1) EP2800383A4 (ja)
JP (1) JP5621057B2 (ja)
CN (1) CN104025578B (ja)
WO (1) WO2013100037A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201723A (ja) * 2012-03-26 2013-10-03 Hoya Corp 撮像素子用オンチップカラーフィルタ配列

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20220081532A (ko) * 2020-12-09 2022-06-16 에스케이하이닉스 주식회사 이미지 시그널 프로세서 및 이미지 처리 시스템
KR102722918B1 (ko) 2021-10-01 2024-10-28 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001085664A (ja) * 1999-07-15 2001-03-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001111024A (ja) * 1999-10-07 2001-04-20 Fuji Film Microdevices Co Ltd 固体撮像装置
JP2004221839A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2009268078A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像素子及び撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1194987A (en) * 1981-09-30 1985-10-08 Yasuo Takemura Solid-state color television camera
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
EP2768223B8 (en) * 2001-01-09 2016-11-09 Sony Semiconductor Solutions Corporation Image pick up device
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5075934B2 (ja) * 2010-03-25 2012-11-21 株式会社東芝 固体撮像装置および画像記録装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001085664A (ja) * 1999-07-15 2001-03-30 Sony Corp 固体撮像素子およびその駆動方法並びにカメラシステム
JP2001111024A (ja) * 1999-10-07 2001-04-20 Fuji Film Microdevices Co Ltd 固体撮像装置
JP2004221839A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2009268078A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像素子及び撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201723A (ja) * 2012-03-26 2013-10-03 Hoya Corp 撮像素子用オンチップカラーフィルタ配列

Also Published As

Publication number Publication date
EP2800383A4 (en) 2015-09-02
CN104025578B (zh) 2015-09-02
CN104025578A (zh) 2014-09-03
JPWO2013100037A1 (ja) 2015-05-11
WO2013100037A1 (ja) 2013-07-04
EP2800383A1 (en) 2014-11-05
US20140307135A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5927068B2 (ja) カラー撮像素子
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
JP5698873B2 (ja) カラー撮像素子および撮像装置
JP5621054B2 (ja) カラー撮像素子
JP5621057B2 (ja) カラー撮像素子
JP5702892B2 (ja) カラー撮像素子および撮像装置
JP5621055B2 (ja) カラー撮像素子
JP5621058B2 (ja) カラー撮像素子
JP5411390B2 (ja) カラー撮像素子

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140829

R150 Certificate of patent or registration of utility model

Ref document number: 5621057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees