[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5702893B2 - カラー撮像素子および撮像装置 - Google Patents

カラー撮像素子および撮像装置 Download PDF

Info

Publication number
JP5702893B2
JP5702893B2 JP2014523616A JP2014523616A JP5702893B2 JP 5702893 B2 JP5702893 B2 JP 5702893B2 JP 2014523616 A JP2014523616 A JP 2014523616A JP 2014523616 A JP2014523616 A JP 2014523616A JP 5702893 B2 JP5702893 B2 JP 5702893B2
Authority
JP
Japan
Prior art keywords
color
filter
array
pixels
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014523616A
Other languages
English (en)
Other versions
JPWO2014006930A1 (ja
Inventor
林 健吉
健吉 林
田中 誠二
誠二 田中
河村 典子
典子 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014523616A priority Critical patent/JP5702893B2/ja
Application granted granted Critical
Publication of JP5702893B2 publication Critical patent/JP5702893B2/ja
Publication of JPWO2014006930A1 publication Critical patent/JPWO2014006930A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H01L27/14621
    • H01L27/14605
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明はカラー撮像素子および撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子、およびそのようなカラー撮像素子を用いた撮像装置に関する。
単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はRAW画像(モザイク画像)となるので、欠落している色の画素を、周囲の画素から補間する処理(デモザイク処理)により多チャンネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
単板式のカラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
図25(A)に示すような白黒の縦縞模様(高周波画像)が、図25(B)に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図25(C)から(E)に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
同様に、図26(A)に示すような斜めの白黒の高周波画像が、図26(B)に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図26(C)から(E)に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む3色と着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサ(カラー撮像素子)が提案されている(特許文献2)。
更に、RGBの3原色のカラー固体撮像素子(カラー撮像素子)において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようにした色配列が提案されている(特許文献3)。
更にまた、RGBの3原色のうちのR、Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR、Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000−308080号公報 特開2005−136766号公報 特開平11−285012号公報 特開平8−23543号公報
特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイク処理を行う際に、ランダムパターンごとに最適化する必要があり、デモザイク処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理であって、デモザイキング処理、又は同時化処理とも言われる(本明細書内において同じ)。
また、特許文献2に記載のカラー撮像素子は、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
特許文献3に記載のカラー撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bのそれぞれの画素数の2倍になっている。
一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率が6倍とベイヤー配列と比較しても非常に高く、色再現性が低下してしまう。
本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。また本発明は、そのようなカラー撮像素子を用いた撮像装置を提供することを目的とする。
本発明の一態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、 基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、カラーフィルタは、3原色のうち最も輝度信号に寄与する色と3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の各色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
これらの態様によれば、第1のフィルタが、カラーフィルタ配列の第1の方向から第4の方向の各方向のライン内に1画素以上配置されるので、高周波領域でのデモザイク処理の再現精度を向上させることができる。
また、基本配列パターンの相互に隣接する2辺を構成する外周部以外において、第2の色の画素数の比率が第1の色の画素数の比率よりも大きいため、第2の色の色再現性の精度を向上させて、高解像度の画像データを補間等の処理により得ることが可能である。
また、カラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイク処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、第1のフィルタに対応する第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数のそれぞれの比率よりも大きくしているので、エリアシングを抑制することができ高周波再現性も良い。
望ましくは、基本配列パターンのうち2辺を構成する外周部以外に配置される第2のフィルタは、第2の色の各色が同比率存在する。
本態様によれば、第2のフィルタに対応する第2の色の各色が同比率配置されるため、第2の色間における色再現性を均質化することができる。
望ましくは、第2の色は、第1の構成色及び第2の構成色から成る2色によって構成され、第1の構成色に対応する第2のフィルタは、基本配列パターンのうち2辺を構成する外周部以外の箇所における一方の対角線方向に並置され、第2の構成色に対応する第2のフィルタは、基本配列パターンのうち2辺を構成する外周部以外の箇所における他方の対角線方向に並置される。
本態様によれば、第2の色を構成する第1の構成色及び第2の構成色の各々が第1の方向及び第2の方向に対して斜めを形成する方向に並置されるため、第1の構成色及び第2の構成色の各々が第1の方向及び第2の方向に関して散在するため、第1の方向及び第2の方向に関する色再現性を向上させることができる。
望ましくは、Mは3である。本態様によれば、基本配列パターンの対応画素数を小さくすることができ、カラー撮像素子によって得られる画像データの補間等の画像処理時の処理負荷を軽減することができる。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、カラーフィルタは、3原色のうち最も輝度信号に寄与する色と3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の各色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、カラーフィルタは、3原色のうち最も輝度信号に寄与する色と3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の各色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列及び第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
本発明の別の態様は、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタが第1の方向及び第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ基本配列パターンが第1の方向及び第2の方向に繰り返されて配置されてなり、基本配列パターンは、カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、カラーフィルタは、3原色のうち最も輝度信号に寄与する色と3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ第1のフィルタに対応する第1の色の各色の全画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、第1のフィルタが配置され、第2のフィルタは、第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列の各々において、2辺を構成する外周部以外において第2の色の画素数の比率が第1の色の画素数の比率よりも大きくなるように、2辺を構成する外周部以外に配置されるカラー撮像素子に関する。
望ましくは、サブ配列の各々のうち2辺を構成する外周部以外に配置される第2のフィルタは、第2の色の各色が同比率存在する。
望ましくは、サブ配列の各々の2辺を構成する外周部以外において、第2の色の各色に対応する第2のフィルタの配置が、基本配列パターンに含まれるサブ配列間で異なる。
本態様によれば、サブ配列間で第2のフィルタの配置が異なり、多様な形態で第2のフィルタを配置することが可能である。
望ましくは、第2の色は、第1の構成色及び第2の構成色から成る2色によって構成され、第1の構成色に対応する第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々のうち2辺を構成する外周部以外の箇所における一方の対角線方向に並置され、第2の構成色に対応する第2のフィルタは、第1のサブ配列及び第2のサブ配列の各々のうち2辺を構成する外周部以外の箇所における他方の対角線方向に並置される。
望ましくは、カラーフィルタにおける第1の方向及び第2の方向に対して傾いた第3の方向及び第4の方向に延在する斜めフィルタラインであって、6以上の画素に対応する斜めフィルタライン上には、第2の色を構成するすべての色に対応する第2のフィルタと第1のフィルタとが配置される。
本態様によれば、第3の方向及び第4の方向に関して、第1の色フィルタを含むフィルタラインだけではなく、第2の色フィルタの各色を含むフィルタラインも近接配置される。したがって、第3の方向及び第4の方向に関する画像データの高周波再現性を向上させることができ、第3及び第4の方向に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を抑制することができる。例えば、1画素(単位画素)に対応するフィルタが第1の方向に延びる辺と第2の方向に延びる辺とを有する場合に、この単位画素に対応するフィルタの両対角線方向が第3の方向及び第4の方向に対応しうる。
望ましくは、Mは6である。
望ましくは、Mは3であり、Nは6である。
望ましくは、輝度信号を得るための第1の色の寄与率は50%以上であり、輝度信号を得るための第2の色の寄与率は50%未満である。
本態様によれば、輝度信号を得るための寄与率が第2のフィルタよりも高い第1のフィルタを、カラーフィルタ配列の第1の方向から第4の方向の各方向のライン内に1画素以上配置するので、高周波領域でのデモザイク処理の再現精度を向上させることができる。
望ましくは、第1の色は、緑及び透明のうち少なくともいずれかを含む。
望ましくは、第2の色は、赤と青を含む。
本発明の目的を達成するための撮像装置は、撮影光学系と、撮影光学系を介して被写体像が結像するカラー撮像素子と、結像した被写体像を示す画像データを生成する画像データ生成部と、を備え、カラー撮像素子は上記態様のいずれかに係るカラー撮像素子である。
本発明のカラー撮像素子は、カラーフィルタ配列の第1の方向から第4の方向の各方向のライン内に第1のフィルタを配置するとともに、第1のフィルタに対応する第1の色の画素数の比率を、第1の色以外の2色以上の第2のフィルタに対応する第2の色の画素数の比率よりも大きくするようにしたため、高周波領域でのデモザイク処理の再現精度を向上させ、かつエリアシングを抑制することができる。
また、基本配列パターン又はサブ配列における相互に隣接する2辺を構成する外周部以外において、第2の色の画素数の比率が第1の色の画素数の比率よりも大きいため、第2の色の色再現性の精度を向上させて、高解像度の画像データを補間等の処理により得ることが可能である。
また、カラーフィルタ配列は、基本配列パターンが第1の方向及び第2の方向に繰り返し配置されているため、後段でのデモザイク処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
また、本発明の撮像装置は、上記本発明のカラー撮像素子を備えることにより、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。
図1は、デジタルカメラの電気的構成を示すブロック図である。 図2は、カラー撮像素子の撮像面の正面図である。 図3は、第1実施形態のカラーフィルタ配列の正面図であり、(a)はカラーフィルタ配列の配置特性を説明するための図であり、(b)は複数の基本配列パターンが存在することを説明するための図である。 図4は、図3中の基本配列パターンの一例の拡大図である。 図5は、図3中の基本配列パターンの他の例の拡大図である。 図6は、第2実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図7は、第2実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの他の例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図8は、第3実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図9は、第3実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの他の例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図10は、第4実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図11は、第4実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの他の例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図12は、第5実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図13は、第5実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの他の例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図14は、第6実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図15は、第6実施形態のカラーフィルタ配列を示す正面図であり、(a)は基本配列パターンの他の例を示す図であり、(b)は(a)の基本配列パターンを複数配置したカラーフィルタ配列を示す図である。 図16は、第7実施形態のカラーフィルタ配列の一例を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は基本配列パターンの他の例を示す図である。 図17は、第7実施形態のカラーフィルタ配列の他の例を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は基本配列パターンの他の例を示す図である。 図18は、第8実施形態のカラーフィルタ配列の他の例を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は基本配列パターンの他の例を示す図である。 図19は、第9実施形態のカラーフィルタ配列の他の例を示す正面図であり、(a)は基本配列パターンの一例を示す図であり、(b)は基本配列パターンの他の例を示す図である。 図20は、Rフィルタ(赤フィルタ)、G1フィルタ(第1の緑フィルタ)、G2フィルタ(第2の緑フィルタ)及びBフィルタ(青フィルタ)が配置される受光素子の分光感度特性を示すグラフである。 図21は、Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタ(透明フィルタ)が配置される受光素子の分光感度特性を示すグラフである。 図22は、Rフィルタ、Gフィルタ、Bフィルタ及びエメラルドフィルタE(Eフィルタ)が配置される受光素子の分光感度特性を示すグラフである。 図23は、ハニカム配置のカラーフィルタ配列の一例を示す正面図である。 図24は、基本配列パターンの他の例を示す正面図であり、(a)は4×4画素に対応する基本配列パターンの一例を示す図であり、(b)は4×8画素に対応する基本配列パターンの一例を示す図であり、(c)は8×8画素に対応する基本配列パターンの一例を示す図である。 図25は、従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 図26は、従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
[デジタルカメラの全体構成]
図1は本発明に係るカラー撮像素子を備えるデジタルカメラ9のブロック図である。デジタルカメラ9は、大別して、撮影光学系10、カラー撮像素子12、撮影処理部14、画像処理部16、駆動部18、制御部20などを備えている。
撮影光学系10は、被写体像をカラー撮像素子12の撮像面上に結像する。カラー撮像素子12は、その撮像面上に二次元配列された光電変換素子で構成される複数の画素と、各画素の受光面の上方に設けられたカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。ここで、「〜上」や「上方」とは、カラー撮像素子12の撮像面に対して被写体光が入射してくる側の方向を指す。
カラー撮像素子12に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応した色のモザイク画像を示す信号である。なお、カラー撮像素子12は、CCD(Charge Coupled Device)型撮像素子、CMOS(Complementary Metal Oxide Semiconductor)型撮像素子などの他の種類の撮像素子であってもよい。
カラー撮像素子12から読み出された画像信号は、撮影処理部14に入力される。撮影処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を有している。この撮影処理部14は、入力された画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。なお、カラー撮像素子12がMOS型撮像素子である場合は、A/D変換器は撮像素子内に内蔵されていることも多く、また上記相関二重サンプリングは必要としない場合もある。
画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、デモザイク処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を有している。画像処理部16は、制御部20からの指令に従い、撮影処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、画素毎にRGB全ての色情報を有するRGB画素信号を生成し、これに基づいて輝度データ(Yデータ)と色差データ(Cr、Cbデータ)とからなる画像データ(YUVデータ)を生成する。
画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、図示しない記録メディア(例えばメモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。なお本実施形態において、記録メディアはデジタルカメラ9に着脱可能なものに限られず内蔵式の光磁気記録メディアでもよく、表示手段もデジタルカメラ9に備えられたものに限られずデジタルカメラ9に接続された外部のディスプレイでもよい。
[カラー撮像素子]
図2に示すように、カラー撮像素子12の撮像面には、水平方向及び垂直方向に2次元配列された光電変換素子PDで構成される複数の画素21が設けられている。ここで、水平方向は本発明の第1の方向及び第2の方向のうちの一方向に相当し、垂直方向は本発明の第1の方向及び第2の方向のうちの他方向に相当する。
カラー撮像素子12の撮像面上には、各画素21上に配設されたカラーフィルタにより構成されるカラーフィルタ配列22が設けられる(図3(a)参照)。カラーフィルタ配列22は、赤(R)、緑(G)、青(B)の3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)23R、23G、23Bにより構成されている。そして、各画素21上には、RGBフィルタ23R、23G、23Bのいずれかが配置される。以下、Rフィルタ23Rが配置された画素を「R画素」、Gフィルタ23Gが配置された画素を「G画素」、Bフィルタ23Bが配置された画素を「B画素」という。
ここで、G色は本発明の第1の色に相当し、Gフィルタ23Gは本発明の第1のフィルタに相当する。また、R色及びB色は本発明の第2の色に相当し、RBフィルタ23R、23Bは本発明の第2のフィルタに相当する。
[第1実施形態]
本実施形態に係るカラーフィルタ配列22は、下記の特徴を有している。
〔特徴(1)〕
図3(a)及び図4に示すように、カラーフィルタ配列22は、水平方向及び垂直方向に関し3×3画素(M×M画素)に対応する正方配列パターンとなる基本配列パターンP1を含み、この基本配列パターンP1が水平方向及び垂直方向に繰り返し配置されている。したがって、カラーフィルタ配列22では、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列される。
このため、カラー撮像素子12から読み出されるR、G、B信号のデモザイク処理理等を行う際に、繰り返しパターンに従って処理を行うことができる。その結果、従来のランダム配列に比べて後段の処理を簡略化することができる。また、基本配列パターンP1の単位で間引き処理して画像を縮小する場合に、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
〔特徴(2)〕
基本配列パターンP1では、水平方向に平行に延在する3種類のフィルタ列(第1のフィルタ列25a、第2のフィルタ列25b、第3のフィルタ列25c)が、垂直方向に順次配列される(図4参照)。第1のフィルタ列25aは「水平方向にGフィルタ23G、Rフィルタ23R及びBフィルタ23Bが並置されるフィルタ列」であり、第2のフィルタ列25bは「水平方向にGフィルタ23G、Bフィルタ23B及びRフィルタ23Rが並置されるフィルタ列」であり、第3のフィルタ列25cは「水平方向にGフィルタ23G、Gフィルタ23G及びGフィルタ23Gが並置されるフィルタ列」である。
したがって、本例の基本配列パターンP1では、3×3画素に対応する配列パターンの4辺のうちの2辺であって、相互に隣接する2辺を構成する外周部Poには、(5画素の)Gフィルタ23Gが配置される。
また、外周部Po以外の2×2画素に対応する領域には、Rフィルタ23R及びBフィルタ23Bが2画素ずつ配置され、R色及びB色(第2の色)の各色が同比率存在する。本例では、R色に対応するRフィルタ23Rが、基本配列パターンP1のうち2辺を構成する外周部Po以外の箇所における一方の対角線方向に並置され、B色に対応するBフィルタ23Bが、外周部Po以外の箇所における他方の対角線方向に並置される。特に本例では、基本配列パターンP1の外周部Poによって構成される2辺に共通な画素に対応するGフィルタ23G(L字状に配置されるGフィルタ23Gのうち角部を形成するGフィルタ23G)を通る対角線上にBフィルタ23Bが配置される。したがって、この外周部Po以外において、R色及びB色(第2の色)の画素数の比率がG色(第1の色)の画素数の比率よりも大きくなるように、RBフィルタ23R、23Bが配置される。
この基本配列パターンP1が複数並置されて構成されるカラーフィルタ配列22(図3参照)では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン(フィルタライン)内にGフィルタ23Gが配置される。ここで、NEは斜め右上(左下)方向を意味し、本発明の第3の方向及び第4の方向のうちの一方向に相当する。また、NWは斜め右下(左上)方向を意味し、本発明の第3の方向及び第4の方向のうちの他方向に相当する。RGBフィルタ23R,23G,23Bは正方形状であるので、NE方向及びNW方向は水平方向、垂直方向に対してそれぞれ45°の方向となる。なお、この角度は、RGBフィルタ23R,23G,23Bの水平方向や垂直方向の各辺の長さの増減に応じて増減し得る。例えば、正方形状以外の矩形状のカラーフィルタを用いた場合には、その対角線方向が斜め(NE,NW方向)となる。なお、カラーフィルタが正方形状以外の矩形状であっても、このカラーフィルタあるいは画素を正方格子状に配置した場合には、NE方向及びNW方向は水平方向、垂直方向に対してそれぞれ45°の方向となる。
G色は、輝度(Y)信号(上述の輝度データ)を得るための寄与率がR色、B色よりも高い。すなわち、G色よりもR色及びB色の方の寄与率が低い。具体的に説明すると、上述の画像処理部16は、画素毎にRGB全ての色情報を有するRGB画素信号から、下記式(1)に従ってY信号を生成する。下記式(1)はカラー撮像素子12でのY信号の生成に一般的に用いられる式である。この式(1)ではG色の輝度信号への寄与率が60%になるため、G色は、R色(寄与率30%)やB色(寄与率10%)よりも寄与率が高くなる。したがって、G色が3原色のうち最も輝度信号に寄与する色となる。
Y=0.3R+0.6G+0.1B・・・式(1)
このようなGフィルタ23Gが、カラーフィルタ配列22の水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内に配置されるため、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。特にカラーフィルタ配列22は、基本配列パターンP1の外周部Poに配置されるGフィルタ23GによってRフィルタ23R及びBフィルタ23Bを水平方向及び垂直方向に囲む配列を有し、水平方向に延在するGフィルタ23Gの画素ラインと垂直方向に延在するGフィルタ23Gの画素ラインとの交差部分で方向を精度良く判別することができる。すなわち、十字配列を形成する交差部分のうち水平方向のG画素の画素値の差分絶対値および垂直方向のG画素の画素値の差分絶対値を求めることにより、水平方向および垂直方向のうちの差分絶対値の小さい方向に相関があると判断することができる。また、交差部分のうち斜め方向(NE,NW)のG画素の画素値の差分絶対値を求めることにより、各斜め方向のうち差分絶対値の小さい方向に相関があると判断することができる。その結果、カラーフィルタ配列22では、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向及び斜め方向のうちの相関の高い方向判別ができる(ここでいう画素間隔とは、基準画素の中心点から隣接画素の中心点まで画素間隔(ピッチ)をいう)。この方向判別結果は、周囲の画素から補間する処理(デモザイク処理)に使用することができる。なおこの場合、例えば前述のデモザイク処理回路内に方向判別処理部を設け、方向判別処理部で方向判別を行うようにするとよい。
なお、Rフィルタ23R及びBフィルタ23Bの各々は、色モワレ(偽色)の発生を低減するために、基本配列パターンP1内においてカラーフィルタ配列22の水平方向(H)、及び垂直方向(V)の各ライン内に配置することが好ましい。しかしながら、第3のフィルタ列25cにあるG画素におけるR,B画素値については、前述の隣接するG画素群からの出力信号値から方向判別した結果などを用いて隣接する第1のフィルタ列25a及び第2のフィルタ列25b内のRフィルタ23RまたはBフィルタ23Bに対応する画素から補間処理することにより求めることができる。
〔特徴(3)〕
基本配列パターンP1内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ2画素、5画素、2画素になる。したがって、RGB画素の各画素数の比率は2:5:2になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。
このようにG画素の画素数とR、B画素の各画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
本例におけるRフィルタ23Rには、その水平(H)及び垂直(V)方向の各方向に、Gフィルタ23GまたはBフィルタ23Bが隣接して配置される。また、本例におけるBフィルタ23Bには、その水平(H)及び垂直(V)の各方向にGフィルタ23GまたはRフィルタ23Rが隣接して配置される。したがって、RBフィルタ23R、23Bには、それぞれ異なる色のフィルタが水平(H)及び垂直(V)の各方向に隣接して配置されている。すなわち、同色のRフィルタ23R同士または同色のBフィルタ23B同士が、水平(H)及び垂直(V)の各方向に隣接して配置されることはない。
これにより、図3(a)に示すカラーフィルタ配列22には、NW方向に関して、Rフィルタ23R及びGフィルタ23Gが配列される画素ラインとBフィルタ23B及びGフィルタ23Gが配列される画素ラインとが1:2の割合で含まれる。また図3(a)に示すカラーフィルタ配列22には、NE方向に関して、Rフィルタ23R及びGフィルタ23Gが配列される画素ラインとBフィルタ23B及びGフィルタ23Gが配列される画素ラインとが2:1の割合で含まれる。
すなわち、NW方向に関して、Bフィルタ23Bを含む各画素ラインは隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置され、またRフィルタ23Rを含む各画素ラインは3画素分隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置される。一方、NE方向に関して、Rフィルタ23Rを含む各画素ラインは隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置され、またBフィルタ23Bを含む各画素ラインは3画素分隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置される。ここで、斜め方向において画素ラインが隣接するとは、1辺の長さが1の正方形であるフィルタを使用した場合、画素ラインと画素ラインの間が√2/2画素間隔であることを意味する。
このような配置特性を有するRBフィルタ23R、23Bをカラーフィルタ配列22内に配置した場合には、R画素及びB画素のデモザイク処理を精度良く行うことができる。
斜め方向(NE、NW)に延在する近接画素ラインにRBフィルタ23R、23Bはそれぞれ配置されるので、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができる。
すなわち、斜め方向の画素ライン間に関して、Rフィルタ23R間及びBフィルタ23B間の間隔が離れていると、補間処理が難しくなり、色モワレ(偽色)が発生しやすくなって光学ローパスフィルタを外すことが難しい。またRフィルタ23R及びBフィルタ23Bの画素数が少ないと、色の再現性が良くないため、Rフィルタ23R及びBフィルタ23Bを多く配置することが好ましい。
したがって、本実施形態に係るカラーフィルタを用いる場合には、斜め(NE、NW)方向の異方性を有する光学ローパスフィルタを撮影光学系10と撮像面との間に配置しなくても、斜め方向に高周波成分を有する入力像により発生しうる色モワレ(偽色)を抑えることができ、また光学ローパスフィルタを適用する場合でも、高周波数成分をカットする働きが弱い光学ローパスフィルタによって、特定の色モワレ(偽色)を抑えることができる。その結果、斜め方向の解像度を損なわないようにすることができる。
なお、斜め方向の画素ライン上においてRフィルタ23R間及びBフィルタ23B間の各々の間隔が多少離れていても、水平方向及び垂直方向に配置された(L字状の)Gフィルタ23Gに対応する画素の出力信号に基づいて補間の方向判別を適切に行うことができるため、斜め方向の画素ライン上においてRフィルタ23R同士の間隔及びBフィルタ23B同士の間隔が離れていることの補間精度に対する影響は比較的小さい。
図3(a)に示したカラーフィルタ配列22を構成することができる基本配列パターンは、図4に示す基本配列パターンP1以外にも複数存在する。すなわち、図4に示す基本配列パターンから水平方向及び/又は垂直方向にシフトした3×3画素に対応する配列パターンを基本配列パターンとしてもよく、例えば図3(b)及び図5に示す配列パターンP1’を基本配列パターンとしても、図3(a)に示したカラーフィルタ配列22と同等の配列を有するカラーフィルタを構成することができる。
上述のように本実施形態に係るカラーフィルタ配列22は、上記特徴を有するので、後段でのデモザイク処理の簡略化と、高周波領域でのデモザイク処理の再現精度の向上と、デモザイク処理時におけるエリアシングの抑制及び高周波再現性の向上と、R画素及びB画素のデモザイク処理の精度向上と、高解像度化とが可能となる。また、本実施形態に係るカラーフィルタ配列22は、G、R、Bの画素の比率はベイヤー配列での比率に近く、色再現性にも優れる。
[第2実施形態]
図6は、第2実施形態に係るカラーフィルタの基本配列パターンを示す図であり、(a)は1つの基本配列パターンP2を示し、(b)は基本配列パターンP2を水平方向及び垂直方向に2つずつ計4つ配置した状態を示す。
本実施形態において、上述の第1実施形態と同一又は類似の内容については、その説明を省略する。
〔特徴(1)〕
図6に示すように、本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し3×3画素に対応する正方配列パターンとなる基本配列パターンP2を含み、この基本配列パターンP2が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を行う際に繰り返しパターンに従って処理を行うことができ、また基本配列パターンP2の単位で間引き処理して画像を縮小する場合に、間引き処理前後において共通の処理回路を使用することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP2においても、水平方向に平行に延在する3種類のフィルタ列が垂直方向に順次配列され、「水平方向にGフィルタ23G、Bフィルタ23B及びRフィルタ23Rが並置されるフィルタ列(第1のフィルタ列)」と、「水平方向にGフィルタ23G、Rフィルタ23R及びBフィルタ23Bが並置されるフィルタ列(第2のフィルタ列)」と、「水平方向にGフィルタ23G、Gフィルタ23G及びGフィルタ23Gが並置されるフィルタ列(第3のフィルタ列)」とが垂直方向に順次配列される。
したがって、本例の基本配列パターンP2でも、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置され、基本配列パターンP2のうち2辺を構成する外周部Po以外の箇所における一方の対角線方向にRフィルタ23Rが並置され、他方の対角線方向にBフィルタ23Bが並置される。
ただし本例では、基本配列パターンP2の外周部Poによって構成される2辺に共通な画素に対応するGフィルタ23G(L字状に配置されるGフィルタ23Gのうち角部を形成するGフィルタ23G)を通る対角線上にRフィルタ23Rが配置される。したがって、第1実施形態に係るカラーフィルタ(基本配列パターンP1)と第2実施形態に係るカラーフィルタ(基本配列パターンP2)とは、Rフィルタ23RとBフィルタ23Bとが逆転した位置に配置される。
この基本配列パターンP2が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP2内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ2画素、5画素、2画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
本例においても、RBフィルタ23R、23Bには、それぞれ異なる色のフィルタが水平(H)及び垂直(V)の各方向に隣接して配置され、同色のRフィルタ23R同士または同色のBフィルタ23B同士が、水平(H)及び垂直(V)の各方向に隣接して配置されることはない。
これにより、NE方向に関して、Bフィルタ23Bを含む各画素ラインは(1画素分)隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置され、またRフィルタ23Rを含む各画素ラインは3画素分隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置される。一方、NW方向に関して、Rフィルタ23Rを含む各画素ラインは(1画素分)隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置され、またBフィルタ23Bを含む各画素ラインは3画素分隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接画素ラインにRBフィルタ23R、23Bはそれぞれ配置されるので、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
なお、図6(b)に示したカラーフィルタ配列22を構成することができる基本配列パターンは、図6(a)に示す基本配列パターン以外にも複数存在し、図4に示す基本配列パターンから水平方向及び/又は垂直方向にシフトした3×3画素に対応する配列パターンを基本配列パターンとしてもよい。例えば、図7(a)に示す配列パターンP2’を基本配列パターンとしても、図6(b)に示したカラーフィルタ配列22と同等のカラーフィルタ配列を構成することができる(図7(b)参照)。
上述のように、本実施形態に係るカラーフィルタは、上述の第1実施形態に係るカラーフィルタと同様の特徴及び効果を有する。
[第3実施形態]
図8は、第3実施形態に係るカラーフィルタの基本配列パターンを示す図であり、(a)は1つの基本配列パターンP3を示し、(b)は基本配列パターンP3を水平方向及び垂直方向に2つずつ計4つ配置した状態を示す。
本実施形態において、上述の第1実施形態と同一又は類似の内容については、その説明を省略する。
〔特徴(1)〕
図8に示すように、本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し3×3画素に対応する正方配列パターンとなる基本配列パターンP3を含み、この基本配列パターンP3が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を行う際に繰り返しパターンに従って処理を行うことができ、また基本配列パターンP3の単位で間引き処理して画像を縮小する場合に、間引き処理前後で共通の処理回路を使用することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP3においても、水平方向に平行に延在する3種類のフィルタ列が垂直方向に順次配列され、「水平方向にGフィルタ23G、Bフィルタ23B及びBフィルタ23Bが並置されるフィルタ列(第1のフィルタ列)」と、「水平方向にGフィルタ23G、Rフィルタ23R及びRフィルタ23Rが並置されるフィルタ列(第2のフィルタ列)」と、「水平方向にGフィルタ23G、Gフィルタ23G及びGフィルタ23Gが並置されるフィルタ列(第3のフィルタ列)」とが垂直方向に順次配列される。
したがって、本例の基本配列パターンP3でも、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2つずつ配置される。
ただし本実施形態では、外周部Po以外の2×2画素に対応する領域において、Rフィルタ23Rが水平方向に並置され、またBフィルタ23Bが水平方向に並置される。特に本例では、基本配列パターンP3の外周部Poにおいて水平方向に並置されるGフィルタ23Gと隣接する位置にRフィルタ23Rが並置され、基本配列パターンP3の外周部Poにおいて垂直方向に並置されるGフィルタ23Gと隣接する位置にRフィルタ23R及びBフィルタ23Bが配置される。
この基本配列パターンP3が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP3内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ2画素、5画素、2画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記のような基本配列パターンP3を複数含むカラーフィルタでは、NW方向及びNE方向に関して、「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」を挟んで「Bフィルタ23B及びGフィルタ23Gから成る画素ライン」及び「Rフィルタ23R及びGフィルタ23Gから成る画素ライン」が延在し、これらの画素ラインが1:1:1の割合で存在する。したがって、Bフィルタ23Bを含む各画素ラインは一方に(1画素分)隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置され、またRフィルタ23Rを含む各画素ラインは一方に(1画素分)隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接(隣接)画素ラインにRBフィルタ23R、23Bが存在するため、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
なお、図8(b)に示したカラーフィルタ配列22を構成することができる基本配列パターンは、図8(a)に示す基本配列パターンP3以外にも複数存在し、図8(a)に示す基本配列パターンP3から水平方向及び/又は垂直方向にシフトした3×3画素に対応する配列パターンを基本配列パターンとしてもよく、例えば図9(a)に示す配列パターンP3’を基本配列パターンとしても、図8(b)に示したカラーフィルタ配列22と同等の配列を有するカラーフィルタを構成することができる(図9(b)参照)。
上述のように、本実施形態に係るカラーフィルタは、上述の第1実施形態に係るカラーフィルタと同様の特徴及び効果を有する。とりわけ、斜め方向(NE、NW)に関する、Rフィルタ23R間の近接度及びBフィルタ23Bに関する近接度に優れているため、より一層、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[第4実施形態]
図10は、第4実施形態に係るカラーフィルタの基本配列パターンを示す図であり、(a)は1つの基本配列パターンP4を示し、(b)は基本配列パターンP4を水平方向及び垂直方向に2つずつ計4つ配置した状態を示す。
本実施形態において、上述の第3実施形態と同一又は類似の内容については、その説明を省略する。
〔特徴(1)〕
図10に示すように、本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し3×3画素に対応する正方配列パターンとなる基本配列パターンP4を含み、この基本配列パターンP4が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を繰り返しパターンに従って行うことができ、また基本配列パターンP4の単位で間引き処理して画像を縮小する場合に、間引き処理前後の処理回路を共通化することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP4においても、水平方向に平行に延在する3種類のフィルタ列が垂直方向に順次配列され、「水平方向にGフィルタ23G、Rフィルタ23R及びRフィルタ23Rが並置されるフィルタ列(第1のフィルタ列)」と、「水平方向にGフィルタ23G、Bフィルタ23B及びBフィルタ23Bが並置されるフィルタ列(第2のフィルタ列)」と、「水平方向にGフィルタ23G、Gフィルタ23G及びGフィルタ23Gが並置されるフィルタ列(第3のフィルタ列)」とが垂直方向に順次配列される。
したがって、本例の基本配列パターンP4でも、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置される。また、外周部Po以外の2×2画素に対応する領域において、Rフィルタ23Rが水平方向に並置され、またBフィルタ23Bが水平方向に並置され、基本配列パターンP4の外周部Poにおいて垂直方向に並置されるGフィルタ23Gと隣接する位置にRフィルタ23R及びBフィルタ23Bが配置される。
ただし本例では、基本配列パターンP4の外周部Poにおいて水平方向に並置されるGフィルタ23Gと隣接する位置にBフィルタ23Bが並置される。したがって、第3実施形態に係るカラーフィルタ(基本配列パターンP3)と第4実施形態に係るカラーフィルタ(基本配列パターンP4)とは、Rフィルタ23RとBフィルタ23Bとが逆転した位置に配置される。
この基本配列パターンP4が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP4内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ2画素、5画素、2画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記のような基本配列パターンP4を複数含むカラーフィルタも、NW方向及びNE方向に関して、「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」を挟んで「Bフィルタ23B及びGフィルタ23Gから成る画素ライン」及び「Rフィルタ23R及びGフィルタ23Gから成る画素ライン」が延在する。したがって、Bフィルタ23Bを含む各画素ラインは一方に(1画素分)隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置され、またRフィルタ23Rを含む各画素ラインは一方に(1画素分)隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接(隣接)画素ラインにRBフィルタ23R、23Bが存在するため、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
なお、図10(b)に示したカラーフィルタ配列22を構成することができる基本配列パターンは、図10(a)に示す基本配列パターンP4以外にも複数存在し、図10(a)に示す基本配列パターンP4から水平方向及び/又は垂直方向にシフトした3×3画素に対応する配列パターンを基本配列パターンとしてもよく、例えば図11(a)に示す配列パターンP4’を基本配列パターンとしても、図10(b)に示したカラーフィルタ配列22と同等の配列を有するカラーフィルタを構成することができる(図11(b)参照)。
上述のように、本実施形態に係るカラーフィルタは、上述の第3実施形態に係るカラーフィルタと同様の特徴及び効果を有する。特に第3実施形態に係るカラーフィルタと同様に、斜め方向(NE、NW)に関する、Rフィルタ23R間の近接度及びBフィルタ23Bに関する近接度に優れており、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[第5実施形態]
図12は、第5実施形態に係るカラーフィルタの基本配列パターンを示す図であり、(a)は1つの基本配列パターンP5を示し、(b)は基本配列パターンP5を水平方向及び垂直方向に2つずつ計4つ配置した状態を示す。
本実施形態において、上述の第3実施形態と同一又は類似の内容については、その説明を省略する。
〔特徴(1)〕
図12に示すように、本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し3×3画素に対応する正方配列パターンとなる基本配列パターンP5を含み、この基本配列パターンP5が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を繰り返しパターンに従って行うことができ、また基本配列パターンP5の単位で間引き処理して画像を縮小する場合に、間引き処理前後の処理回路を共通化することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP5においても、水平方向に平行に延在する3種類のフィルタ列が垂直方向に順次配列され、「水平方向にGフィルタ23G、Rフィルタ23R及びBフィルタ23Bが並置されるフィルタ列(第1のフィルタ列)」と、「水平方向にGフィルタ23G、Rフィルタ23R及びBフィルタ23Bが並置されるフィルタ列(第2のフィルタ列)」と、「水平方向にGフィルタ23G、Gフィルタ23G及びGフィルタ23Gが並置されるフィルタ列(第3のフィルタ列)」とが垂直方向に順次配列される。
したがって、本例の基本配列パターンP5でも、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置される。
ただし本例では、外周部Po以外の2×2画素に対応する領域において、Rフィルタ23Rが垂直方向に並置され、またBフィルタ23Bが垂直方向に並置される。また、基本配列パターンP5の外周部Poにおいて垂直方向に並置されるGフィルタ23Gと隣接する位置にRフィルタ23Rが並置され、基本配列パターンP5の外周部Poにおいて水平方向に並置されるGフィルタ23Gと隣接する位置にRフィルタ23R及びBフィルタ23Bが配置される。
この基本配列パターンP5が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP5内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ2画素、5画素、2画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記のような基本配列パターンP5を複数含むカラーフィルタも、NW方向及びNE方向に関して、「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」を挟んで「Bフィルタ23B及びGフィルタ23Gから成る画素ライン」及び「Rフィルタ23R及びGフィルタ23Gから成る画素ライン」が延在する。したがって、Bフィルタ23Bを含む各画素ラインは一方に(1画素分)隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置され、またRフィルタ23Rを含む各画素ラインは一方に(1画素分)隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接(隣接)画素ラインにRBフィルタ23R、23Bが存在するため、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
なお、図12(b)に示したカラーフィルタ配列22を構成することができる基本配列パターンは、図12(a)に示す基本配列パターンP5以外にも複数存在し、図12(a)に示す基本配列パターンから水平方向及び/又は垂直方向にシフトした3×3画素に対応する配列パターンを基本配列パターンとしてもよく、例えば図13(a)に示す配列パターンP5’を基本配列パターンとしても、図12(b)に示したカラーフィルタ配列22と同等の配列を有するカラーフィルタを構成することができる(図13(b)参照)。
上述のように、本実施形態に係るカラーフィルタは、上述の第3実施形態に係るカラーフィルタと同様の特徴及び効果を有する。特に第3実施形態に係るカラーフィルタと同様に、斜め方向(NE、NW)に関する、Rフィルタ23R間の近接度及びBフィルタ23Bに関する近接度に優れており、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[第6実施形態]
図14は、第6実施形態に係るカラーフィルタの基本配列パターンを示す図であり、(a)は1つの基本配列パターンP6を示し、(b)は基本配列パターンP6を水平方向及び垂直方向に2つずつ計4つ配置した状態を示す。
本実施形態において、上述の第5実施形態と同一又は類似の内容については、その説明を省略する。
〔特徴(1)〕
図14に示すように、本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し3×3画素に対応する正方配列パターンとなる基本配列パターンP6を含み、この基本配列パターンP6が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を繰り返しパターンに従って行うことができ、また基本配列パターンP6の単位で間引き処理して画像を縮小する場合に、間引き処理前後の処理回路を共通化することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP6においても、水平方向に平行に延在する3種類のフィルタ列が垂直方向に順次配列され、「水平方向にGフィルタ23G、Bフィルタ23B及びRフィルタ23Rが並置されるフィルタ列(第1のフィルタ列)」と、「水平方向にGフィルタ23G、Bフィルタ23B及びRフィルタ23Rが並置されるフィルタ列(第2のフィルタ列)」と、「水平方向にGフィルタ23G、Gフィルタ23G及びGフィルタ23Gが並置されるフィルタ列(第3のフィルタ列)」とが垂直方向に順次配列される。
したがって、本例の基本配列パターンP6でも、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置され、外周部Po以外の2×2画素に対応する領域において、Rフィルタ23Rが垂直方向に並置され、またBフィルタ23Bが垂直方向に並置される。また、基本配列パターンP6の外周部Poにおいて水平方向に並置されるGフィルタ23Gと隣接する位置にRフィルタ23R及びBフィルタ23Bが配置される。
ただし本例では、基本配列パターンP6の外周部Poにおいて垂直方向に並置されるGフィルタ23Gと隣接する位置にBフィルタ23Bが並置される。したがって、第5実施形態に係るカラーフィルタ(基本配列パターンP5)と第6実施形態に係るカラーフィルタ(基本配列パターンP6)とは、Rフィルタ23RとBフィルタ23Bとが逆転した位置に配置される。
この基本配列パターンP6が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP6内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ2画素、5画素、2画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記のような基本配列パターンP6を複数含むカラーフィルタも、NW方向及びNE方向に関して、「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」を挟んで「Bフィルタ23B及びGフィルタ23Gから成る画素ライン」及び「Rフィルタ23R及びGフィルタ23Gから成る画素ライン」が延在する。したがって、Bフィルタ23Bを含む各画素ラインは一方に(1画素分)隣接する位置に同色のBフィルタ23Bを含む他の画素ラインが配置され、またRフィルタ23Rを含む各画素ラインは一方に(1画素分)隣接する位置に同色のRフィルタ23Rを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接(隣接)画素ラインにRBフィルタ23R、23Bが存在するため、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
なお、図14(b)に示したカラーフィルタ配列22を構成することができる基本配列パターンは、図14(a)に示す基本配列パターンP6以外にも複数存在し、図14(a)に示す基本配列パターンP6から水平方向及び/又は垂直方向にシフトした3×3画素に対応する配列パターンを基本配列パターンとしてもよく、例えば図15(a)に示す配列パターンP6’を基本配列パターンとしても、図14(b)に示したカラーフィルタ配列22と同等の配列を有するカラーフィルタを構成することができる(図15(b)参照)。
上述のように、本実施形態に係るカラーフィルタは、上述の第5実施形態に係るカラーフィルタと同様の特徴及び効果を有する。特に第5実施形態に係るカラーフィルタと同様に、斜め方向(NE、NW)に関する、Rフィルタ23R間の近接度及びBフィルタ23Bに関する近接度に優れており、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[第7実施形態]
本実施形態において、上述の第1実施形態〜第6実施形態と同一又は類似の内容については、その説明を省略する。
本実施形態のカラーフィルタは、水平方向及び垂直方向に6×3画素又は3×6画素(M×N画素又はN×M画素)に対応する配列パターンで配列されてなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されてカラーフィルタが成る。また、この基本配列パターンは、3×3画素(M×N/2画素又はN/2×M画素)に対応するサブ配列を2種類含む。
具体的には、上述の第1実施形態〜第6実施形態に係る3×3画素に対応する基本配列パターン(図4〜図15参照)のうち、任意の2種類の基本配列パターン(第1のサブ配列及び第2のサブ配列)を水平方向又は垂直方向に並置した配列パターンを本実施形態に係る基本配列パターンとすることができる。
特に、Gフィルタ23G(第1の色)以外のRフィルタ23R(第1の構成色)及びBフィルタ23B(第2の構成色)の位置関係が逆転している2種類の配列パターンを第1のサブ配列及び第2のサブ配列として組み合わせることが好ましい。すなわち、第1のサブ配列及び第2のサブ配列の各々のうち2辺を構成する外周部Po以外において、第1のサブ配列におけるRフィルタ23Rの位置と第2のサブ配列におけるBフィルタ23Bの位置とが対応し、第1のサブ配列におけるBフィルタ23Bの位置と第2のサブ配列におけるRフィルタ23Rの位置とが対応することが好ましい。
そのような好ましい組み合わせとして、例えば、「第1実施形態に係る基本配列パターンP1(図4参照)と第2実施形態に係る基本配列パターンP2(図6参照)」の組み合わせ、「第3実施形態に係る基本配列パターンP3(図8参照)と第4実施形態に係る基本配列パターンP4(図10参照)」の組み合わせ、及び「第5実施形態に係る基本配列パターンP5(図12参照)と第6実施形態に係る基本配列パターンP6(図14参照)」の組み合わせが挙げられる。
図16は、第1実施形態に係る基本配列パターンP1を第1のサブ配列(A配列)とし、第2実施形態に係る基本配列パターンP2を第2のサブ配列(B配列)とし、両者を垂直方向に組み合わせた本実施形態の基本配列パターンP7(水平方向画素:垂直方向画素=3画素:6画素)を示す。図16(a)は図4及び図6に示す配列パターンの組み合わせを示し、図16(b)は図16(a)に示す基本配列パターンP7を水平方向にシフトした基本配列パターンP7’を示すが、両者は全体としては同一のカラーフィルタ配列を示す。
また図17は、第1実施形態に係る基本配列パターンP1を第1のサブ配列(A配列)とし、第2実施形態に係る基本配列パターンP2を第2のサブ配列(B配列)とし、両者を水平方向に組み合わせた本実施形態の基本配列パターン(水平方向画素:垂直方向画素=6画素:3画素)を示す。図17(a)は図4及び図6に示す配列パターンの組み合わせを示し、図17(b)は図17(a)に示す基本配列パターンP7を水平方向にシフトした基本配列パターンP7’を示すが、両者は全体としては同一のカラーフィルタ配列を示す。
図16及び図17に示す本実施形態に係るカラーフィルタは、以下の特徴を有する。
〔特徴(1)〕
本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し3×6画素又は6×3画素に対応する配列パターンとなる基本配列パターンP7を含み、この基本配列パターンP7が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を繰り返しパターンに従って行うことができ、また基本配列パターンP7の単位で間引き処理して画像を縮小する場合に、間引き処理前後の処理回路を共通化することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP7の各サブ配列では、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。
また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置され、外周部Po以外の2×2画素に対応する領域において、サブ配列の2辺を構成する外周部Po以外の箇所における一方の対角線方向にRフィルタ23Rが並置され、他方の対角線方向にBフィルタ23Bが並置される。これらのRフィルタ23R及びBフィルタ23Bの位置関係は、第1のサブ配列及び第2のサブ配列間で逆転している。
この基本配列パターンP7が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP7内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ4画素、10画素、4画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記のような基本配列パターンP7を複数含むカラーフィルタも、NW方向及びNE方向に延在する少なくとも6画素以上から成る画素ラインは、「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」となり、すべての色(第1の色及び第2の色)に対応するカラーフィルタが配置される。したがって、Gフィルタ23GだけではなくRフィルタ23R及びBフィルタ23Bも、NW方向及びNE方向に関して、(1画素分)隣接する位置に同色のRフィルタ23R及びBフィルタ23Bを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接(隣接)画素ラインにRBフィルタ23R、23Bが存在するため、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
上述のように、本実施形態に係るカラーフィルタは、上述の各実施形態に係るカラーフィルタと同様の特徴及び効果を有する。特に本実施形態に係るカラーフィルタは、斜め方向(NE、NW)に関して、Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bの各々が隣接配置されており、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[第8実施形態]
本実施形態において、上述の第1実施形態〜第7実施形態と同一又は類似の内容については、その説明を省略する。
本実施形態のカラーフィルタは、水平方向及び垂直方向に6×6画素(M×M画素)に対応する配列パターンで配列されてなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されてカラーフィルタが成る。また、この基本配列パターンは、3×3画素(M/2×M/2画素)に対応するサブ配列を2種類含む。
具体的には、上述の第1実施形態〜第6実施形態に係る3×3画素に対応する基本配列パターン(図4〜図15参照)のうち、任意の2種類の基本配列パターン(第1のサブ配列及び第2のサブ配列)をそれぞれ2つずつ含み、第1のサブ配列及び第2のサブ配列が相互に水平方向及び垂直方向に隣接並置した配列パターンを、本実施形態に係る基本配列パターンとすることができる。
特に、Gフィルタ23G(第1の色)以外のRフィルタ23R(第1の構成色)及びBフィルタ23B(第2の構成色)の位置関係が逆転している2種類の配列パターンを第1のサブ配列及び第2のサブ配列として組み合わせることが好ましい。そのような好ましい組み合わせとして、例えば、「第1実施形態に係る基本配列パターンP1(図4参照)と第2実施形態に係る基本配列パターンP2(図6参照)」の組み合わせ、「第3実施形態に係る基本配列パターンP3(図8参照)と第4実施形態に係る基本配列パターンP4(図10参照)」の組み合わせ、及び「第5実施形態に係る基本配列パターンP5(図12参照)と第6実施形態に係る基本配列パターンP6(図14参照)」の組み合わせが挙げられる。
図18は、第3実施形態に係る基本配列パターンP3を第1のサブ配列(A配列)とし、第4実施形態に係る基本配列パターンP4を第2のサブ配列(B配列)として組み合わせた本実施形態の基本配列パターンP8を示す。図18(a)は図6及び図8に示す配列パターンの組み合わせを示し、図18(b)は図18(a)に示す基本配列パターンP8を水平方向及び垂直方向にシフトした基本配列パターンP8’を示すが、両者は全体としては同一のカラーフィルタ配列を示す。図18に示す基本配列パターンP8(P8’)では、第1のサブ配列同士が対角線方向に並置され、第2のサブ配列同士が対角線方向に並置され、第1のサブ配列と第2のサブ配列とは水平方向及び垂直方向に隣接する。
図18に示す本実施形態に係るカラーフィルタは、以下の特徴を有する。
〔特徴(1)〕
本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し6×6画素に対応する配列パターンとなる基本配列パターンP8を含み、この基本配列パターンP8が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を繰り返しパターンに従って行うことができ、また基本配列パターンP8の単位で間引き処理して画像を縮小する場合に、間引き処理前後の処理回路を共通化することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP8の各サブ配列では、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。
また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置され、サブ配列の2辺を構成する外周部Po以外の2×2画素に対応する領域において、Rフィルタ23Rが水平方向に並置され、またBフィルタ23Bが水平方向に並置される。これらのRフィルタ23R及びBフィルタ23Bの位置関係は、第1のサブ配列及び第2のサブ配列間で逆転している。
この基本配列パターンP8が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP8内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ8画素、20画素、8画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記の基本配列パターンP8を複数含むカラーフィルタは、NW方向及びNE方向に関して、一つの「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」を挟んで2つの「Bフィルタ23B及びGフィルタ23Gから成る画素ライン」及び2つの「Rフィルタ23R及びGフィルタ23Gから成る画素ライン」が延在し、これらの画素ラインが1:2:2の割合で存在する。このように、斜め方向(NE、NW)に延在する近接画素ラインにRBフィルタ23R、23Bはそれぞれ配置されるので、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
上述のように、本実施形態に係るカラーフィルタは、上述の実施形態に係るカラーフィルタと同様の特徴及び効果を有する。特に本実施形態に係るカラーフィルタは、斜め方向(NE、NW)に関して、Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bの各々の近接度が高く、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[第9実施形態]
本実施形態において、上述の第1実施形態〜第8実施形態と同一又は類似の内容については、その説明を省略する。
本実施形態のカラーフィルタは、水平方向及び垂直方向に6×6画素(M×M画素)に対応する配列パターンで配列されてなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されてカラーフィルタが成る。また、この基本配列パターンは、3×3画素(M/2×M/2画素)に対応するサブ配列を4種類含む。
具体的には、上述の第1実施形態〜第6実施形態に係る3×3画素に対応する基本配列パターン(図4〜図15参照)のうち、任意の4種類の基本配列パターン(第1のサブ配列、第2のサブ配列、第3のサブ配列及び第4のサブ配列)を含む。
特に、Gフィルタ23G(第1の色)以外のRフィルタ23R(第1の構成色)及びBフィルタ23B(第2の構成色)の位置関係が逆転している配列パターンが対角線方向に並置されることが好ましい。そのような好ましい組み合わせとして、例えば、第3実施形態に係る基本配列パターンP3(図8参照)を第1のサブ配列(A配列)とし、第4実施形態に係る基本配列パターンP4(図10参照)を第2のサブ配列(B配列)とし、第5実施形態に係る基本配列パターンP5(図12参照)を第3のサブ配列(C配列)とし、第6実施形態に係る基本配列パターンP6(図14参照)を第4のサブ配列(D配列)として組み合わせ、第1のサブ配列と第2のサブ配列とを一方の対角線方向に並置し、第3のサブ配列と第4のサブ配列とを他方の対角線方向に並置する例が挙げられる。
図19は、第3実施形態〜第6実施形態に係る基本配列パターンを第1のサブ配列〜第4のサブ配列(A配列、B配列、C配列及びD配列)として組み合わせた本実施形態の基本配列パターンP9を示す。図19(a)は図8、図10、図12及び図14に示す配列パターンの組み合わせを示し、図19(b)は図19(a)に示す基本配列パターンP9を水平方向及び垂直方向にシフトした基本配列パターンP9’を示すが、両者は全体としては同一のカラーフィルタ配列を示す。
図19に示す本実施形態に係るカラーフィルタは、以下の特徴を有する。
〔特徴(1)〕
本実施形態に係るカラーフィルタ配列22も、水平方向及び垂直方向に関し6×6画素に対応する配列パターンとなる基本配列パターンP9(P9’)を含み、この基本配列パターンP9が水平方向及び垂直方向に繰り返し配置されている。したがって、各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列され、R、G、B信号のデモザイク処理等を繰り返しパターンに従って行うことができ、また基本配列パターンP9の単位で間引き処理して画像を縮小する場合に、間引き処理前後の処理回路を共通化することができる。
〔特徴(2)〕
本実施形態の基本配列パターンP9の各サブ配列では、3×3画素に対応する配列パターンの4辺のうちの相互に隣接する2辺を構成する外周部PoにはGフィルタ23Gが配置される。
また、外周部Po以外の2×2画素に対応する領域にはRフィルタ23R及びBフィルタ23Bが2画素ずつ配置され、サブ配列の2辺を構成する外周部Po以外の2×2画素に対応する領域において、Rフィルタ23Rが水平方向(第1のサブ配列及び第2のサブ配列)又は垂直方向(第3のサブ配列及び第4のサブ配列)に並置され、またBフィルタ23Bが水平方向(第1のサブ配列及び第2のサブ配列)又は垂直方向(第3のサブ配列及び第4のサブ配列)に並置される。特に本例では、一方の対角線上に配置される第1のサブ配列及び第2のサブ配列間のRフィルタ23R及びBフィルタ23Bの位置関係が逆転し、他方の対角線上に配置される第3のサブ配列及び第4のサブ配列間のRフィルタ23R及びBフィルタ23Bの位置関係が逆転している。
この基本配列パターンP9が複数並置されて構成されるカラーフィルタ配列22では、その水平方向(H)、垂直方向(V)、及び斜め方向(NE、NW)の各画素ライン内にGフィルタ23Gが配置され、入力像において高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。
〔特徴(3)〕
基本配列パターンP9内のRGBフィルタ23R、23G、23Bに対応するR画素、G画素、B画素の画素数は、それぞれ8画素、20画素、8画素(2:5:2)になるので、輝度信号を得るために最も寄与するG画素の画素数の比率は、R画素、B画素のそれぞれの画素数の比率よりも大きくなる。したがって、輝度信号を得るために最も寄与するG画素の画素数の比率を、R、B画素の各画素数の比率よりも大きくしているので、デモザイク処理時におけるエリアシングを抑制することができ、かつ高周波再現性も良好になる。
〔特徴(4)〕
上記のような基本配列パターンP9を複数含むカラーフィルタ配列も、NW方向及びNE方向に延在する少なくとも6画素以上から成る画素ラインは、「Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bから成る画素ライン」となる。したがって、Gフィルタ23GだけではなくRフィルタ23R及びBフィルタ23Bも、NW方向及びNE方向に関して、(1画素分)隣接する位置に同色のRフィルタ23R及びBフィルタ23Bを含む他の画素ラインが配置される。このように、斜め方向(NE、NW)に延在する近接(隣接)画素ラインにRBフィルタ23R、23Bが存在するため、斜め方向(NE、NW)に高周波成分を有する入力像によって発生しうる色モワレ(偽色)を効果的に抑制することができ、R画素及びB画素のデモザイク処理を精度良く行うことができる。
上述のように、本実施形態に係るカラーフィルタは、上述の実施形態に係るカラーフィルタと同様の特徴及び効果を有する。特に本実施形態に係るカラーフィルタは、斜め方向(NE、NW)に関して、Rフィルタ23R、Gフィルタ23G及びBフィルタ23Bの各々が隣接配置されており、色モワレ(偽色)等を防いで解像度の高い鮮明な画像のデータを得ることが可能である。
[変形例]
上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
<第1のフィルタ(第1の色)の条件>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタ23Gを例に挙げて説明を行ったが、Gフィルタ23Gの代わりに、あるいはGフィルタ23Gの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。G色の寄与率は上記式(1)に示したように60%となるので条件(1)を満たす。また、G色以外の色の寄与率についても実験やシミュレーションにより取得可能である。従って、G色以外で寄与率が50%以上となる色を有するフィルタについても、本発明の第1のフィルタとして用いることができる。なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
〔条件(2)〕
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ23R、Bフィルタ23B)となる。
〔条件(3)〕
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(Rフィルタ23RやBフィルタ23B)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタ23R、23Bなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
〔条件(4)〕
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
<複数種類の第1のフィルタ(Gフィルタ)>
したがって、第1のフィルタとしてのG色のGフィルタ23Gは一種類に限定されるものではなく、例えば複数種類のGフィルタ23Gを第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタ23Gが、第1Gフィルタ23G1または第2Gフィルタ23G2に適宜置き換えられてもよい。第1Gフィルタ23G1は第1の波長帯域のG光を透過し、第2Gフィルタ23G2は第1Gフィルタ23G1と相関の高い第2の波長帯域のG光を透過する(図20参照)。
第1Gフィルタ23G1としては、現存のGフィルタ(例えば第1実施形態のGフィルタ23G)を用いることができる。また、第2Gフィルタ23G2としては、第1Gフィルタ23G1と相関の高いフィルタを用いることができる。この場合に、第2Gフィルタ23G2が配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003−284084号に記載されている方法が用いられる。
このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
なお、第1及び第2Gフィルタ23G1、23G2の透過率は、第1実施形態のGフィルタ23Gの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、第1及び第2Gフィルタ23G1、23G2は前述の条件(1)を満たす。
また、カラーフィルタ配列(受光素子)の分光感度特性を示す図20において、各Gフィルタ23G1、23G2の透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各Gフィルタ23G1、23G2の透過率は波長500nm以上560nm以下の範囲内で、RBフィルタ23R、23Bの透過率よりも高くなる。このため、各Gフィルタ23G1、23G2は前述の条件(2)、(3)も満たしている。
なお、各Gフィルタ23G1、23G2の配置や個数は適宜変更してもよい。また、Gフィルタ23Gの種類を3種類以上に増加してもよい。
<透明フィルタ(Wフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ23G)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
透明フィルタWは、透明色(第1の色)のフィルタである。透明フィルタWは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタWの透過率は、Gフィルタ23Gよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
カラーフィルタ配列(受光素子)の分光感度特性を示す図21において、透明フィルタWの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタWの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタ23R、23Bの透過率よりも高くなる。このため、透明フィルタWは前述の条件(2)、(3)も満たしている。なお、Gフィルタ23Gについても透明フィルタWと同様に前述の条件(1)〜(3)を満たしている。
このように透明フィルタWは、前述の条件(1)〜(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタ23Gの一部を透明フィルタWに置き換えているので、前述の条件(4)も満たしている。
<エメラルドフィルタ(Eフィルタ)>
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ23G)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置することが好ましい。このようにGフィルタ23Gの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
カラーフィルタ配列(受光素子)の分光感度特性を示す図22において、エメラルドフィルタEの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、エメラルドフィルタEの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタ23R、23Bの透過率よりも高くなる。このため、エメラルドフィルタEは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタ23Gの一部をエメラルドフィルタEに置き換えているので、前述の条件(4)も満たしている。
なお、図22に示した分光特性では、エメラルドフィルタEがGフィルタ23Gよりも短波長側にピークを持つが、Gフィルタ23Gよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにエメラルドフィルタEとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
<他の色の種類>
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
<ハニカム配置>
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
例えば、上述の各実施形態の基本配列パターンを光軸回りに45°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向(NE、NW)に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。この場合には、斜め方向(NE、NW)が本発明の第1及び第2の方向になり、水平・垂直方向が本発明の第3及び第4の方向となる。
図23は、上述の第1実施形態に係る基本配列パターンP1をハニカム状に配列したものを基本配列パターンP10とするカラーフィルタ配列を示す。
<基本配列パターンを構成する画素数>
上述の実施形態では、3×3画素に対応する基本配列パターン、3×6画素(6×3画素)に対応する基本配列パターン、6×6画素に対応する基本配列パターンについて説明したが、基本配列パターンの対応画素数はこれらに限定されるものではない。
すなわち、第1のフィルタ(Gフィルタ等)に対応する第1の色(緑等)の全画素数の比率が、2のフィルタ(Rフィルタ、Bフィルタ等)に対応する第2の色(赤、青等)の各色の画素数の比率よりも大きくなり、基本配列パターン又は基本配列パターンを構成するサブ配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部に第1のフィルタ(Gフィルタ等)が配置され、2辺を構成する外周部以外において第2の色(赤、青等)の画素数の比率が第1の色(緑)の画素数の比率よりも大きくなるように、第2のフィルタ(赤フィルタ、青フィルタ)を外周部以外に配置することができる。なお、この場合、基本配列パターンをM×M(Mは3以上の整数)画素に対応する配列パターンとしてもよい。また、基本配列パターンをM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンとして、サブ配列パターンをM×(N/2)画素に対応する配列パターンとしてもよい。また、基本配列パターンをM×M(Mは6以上の偶数)画素に対応する配列パターンとして、サブ配列パターンを(M/2)×(M/2)画素に対応する配列パターンとしてもよい。
なお、基本配列パターン又はサブ配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部以外の箇所における中心画素(又は中央画素群)には、第1のフィルタ(Gフィルタ等)以外の第2のフィルタ(Rフィルタ、Bフィルタ等)が配置されることが好ましい。この場合、第2のフィルタ(Rフィルタ、Bフィルタ等)の配置割合を増やすことができ、第2のフィルタ同士(Rフィルタ同士、Bフィルタ同士等)の離間が大きくなり過ぎることを効果的に防いで、第2のフィルタに対応する色の再現性に優れたカラーフィルタを提供することが可能である。
例えば図24(a)に示すように垂直方向及び垂直方向に関して4×4画素に対応する基本配列パターンP11(第1のフィルタ列:Gフィルタ23G、Rフィルタ23R、Bフィルタ23B、Gフィルタ23G;第2のフィルタ列:Gフィルタ23G、Bフィルタ23B、Rフィルタ23R、Bフィルタ23B;第3のフィルタ列:Gフィルタ23G、Rフィルタ23R、Bフィルタ23B、Rフィルタ23R;第4のフィルタ列:Gフィルタ23G、Gフィルタ23G、Gフィルタ23G、Gフィルタ23G)によってカラーフィルタを構成してもよい。また、図24(a)に示す配列パターンを第1のサブ配列(A配列)とし、図24(a)に示す配列パターンのRフィルタ及びBフィルタの位置関係が逆転した配列を第2のサブ配列(B配列)として、これらの第1のサブ配列及び第2のサブ配列を並置した図24(b)に示す4×8画素に対応する配列パターンを基本配列パターンP11’としてもよい。また、そのような第1のサブ配列及び第2のサブ配列を各々2つ含み、第1のサブ配列同士が一方の対角線上に配置され、第2のサブ配列同士が他方の対角線上に配置される図24(c)に示す8×8画素に対応する配列パターンを基本配列パターンP11”としてもよい。
これらの基本配列パターンを有するカラーフィルタは、Gフィルタ23Gが設けられた2×2画素に対応する正方配列が含まれる。この正方配列に対応する2×2のG画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(NE、NW)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。その結果、カラーフィルタ配列では、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイク処理)に使用することができる。
なお、基本配列パターンは他の画素数に対応する配列パターンで配列させてもよいが、基本配列パターンの画素数が増加するとデモザイク処理等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られない。したがって、信号処理の複雑化を防止する観点からは、基本配列パターンのサイズは大きすぎない8×8画素以下が好ましく、3×3画素に対応する基本配列パターンが信号処理を単純化させる観点からより好ましい。
なお、本発明のカラー撮像素子のカラーフィルタ配列は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。例えば上記各実施形態及び各変形例のカラーフィルタ配列を適宜組み合わせてもよい。また、本発明の第1のフィルタとして、Gフィルタ23G、透明フィルタW、第1及び第2Gフィルタ23G1、23G2、エメラルドフィルタなどの少なくともいずれか2種類を組み合わせたものを用いてもよく、あるいは上記条件(1)〜(4)のいずれかを満たすような他の色のフィルタを用いてよい。さらに、本発明の第2のフィルタとして、RBフィルタ23R、23B以外の色のフィルタを用いてもよい。
また上記各実施形態では、デジタルカメラに搭載されるカラー撮像素子について説明したが、例えばスマートフォン、携帯電話機、PDAなどの撮影機能を有する各種の電子機器(撮像装置)に搭載されるカラー撮像素子についても本発明を適用することができる。
9…デジタルカメラ、10…撮影光学系、12…カラー撮像素子、14…撮影処理部、16…画像処理部、18…駆動部、20…制御部、21…画素、22…カラーフィルタ配列、23B…Bフィルタ、23G…Gフィルタ、23R…Rフィルタ、25a…第1のフィルタ列、25b…第2のフィルタ列、25c…第3のフィルタ列、P1〜P11…基本配列パターン

Claims (29)

  1. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  2. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  3. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  4. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記カラーフィルタは、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の各色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記基本配列パターンにおいて、M×M(Mは3以上の整数)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  5. 前記基本配列パターンのうち前記2辺を構成する前記外周部以外に配置される前記第2のフィルタは、前記第2の色の各色が同比率存在する請求項1から4のいずれか1項に記載のカラー撮像素子。
  6. 前記第2の色は、第1の構成色及び第2の構成色から成る2色によって構成され、
    前記第1の構成色に対応する前記第2のフィルタは、前記基本配列パターンのうち前記2辺を構成する前記外周部以外の箇所における一方の対角線方向に並置され、
    前記第2の構成色に対応する前記第2のフィルタは、前記基本配列パターンのうち前記2辺を構成する前記外周部以外の箇所における他方の対角線方向に並置される請求項1から5のいずれか1項に記載のカラー撮像素子。
  7. 前記Mは3である請求項1から6のいずれか1項に記載のカラー撮像素子。
  8. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  9. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、
    前記カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  10. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  11. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタがM×(N/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列を含み、
    前記カラーフィルタは、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の各色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、M×(N/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  12. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  13. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、
    前記カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  14. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  15. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、2種類の第1のサブ配列及び第2サブ配列をそれぞれ2つずつ含み、
    前記カラーフィルタは、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の各色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列及び前記第2のサブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  16. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  17. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、
    前記カラーフィルタは、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  18. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、
    前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する第1の色の全画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  19. 第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上にカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    前記カラーフィルタの配列は、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなる基本配列パターンを含み、かつ当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置されてなり、
    前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列されたサブ配列であって、4種類の第1のサブ配列、第2サブ配列、第3サブ配列及び第4サブ配列を含み、
    前記カラーフィルタは、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを含み、かつ前記第1のフィルタに対応する前記第1の色の各色の全画素数の比率が、前記第2のフィルタに対応する前記第2の色の各色の画素数の比率よりも大きくなり、
    前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、(M/2)×(M/2)画素に対応する配列パターンの4辺のうちの2辺であって相互に隣接する2辺を構成する外周部には、前記第1のフィルタが配置され、
    前記第2のフィルタは、前記第1のサブ配列、前記第2サブ配列、前記第3サブ配列及び前記第4サブ配列の各々において、前記2辺を構成する前記外周部以外において前記第2の色の画素数の比率が前記第1の色の画素数の比率よりも大きくなるように、前記2辺を構成する前記外周部以外に配置されるカラー撮像素子。
  20. 前記サブ配列の各々のうち前記2辺を構成する前記外周部以外に配置される前記第2のフィルタは、前記第2の色の各色が同比率存在する請求項8から19のいずれか1項に記載のカラー撮像素子。
  21. 前記サブ配列の各々の前記2辺を構成する前記外周部以外において、前記第2の色の各色に対応する前記第2のフィルタの配置が、前記基本配列パターンに含まれる前記サブ配列間で異なる請求項8から20のいずれか1項に記載のカラー撮像素子。
  22. 前記第2の色は、第1の構成色及び第2の構成色から成る2色によって構成され、
    前記第1の構成色に対応する前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々のうち前記2辺を構成する前記外周部以外の箇所における一方の対角線方向に並置され、
    前記第2の構成色に対応する前記第2のフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々のうち前記2辺を構成する前記外周部以外の箇所における他方の対角線方向に並置される請求項8から15のいずれか1項に記載のカラー撮像素子。
  23. 前記カラーフィルタにおける前記第1の方向及び前記第2の方向に対して傾いた第3の方向及び第4の方向に延在する斜めフィルタラインであって、6以上の画素に対応する斜めフィルタライン上には、前記第2の色を構成するすべての色に対応する前記第2のフィルタと前記第1のフィルタとが配置される請求項8から22のいずれか1項に記載のカラー撮像素子。
  24. 前記は6である請求項8から23のいずれか1項に記載のカラー撮像素子。
  25. 前記Mは3であり、前記Nは6である請求項8から11のいずれか1項に記載のカラー撮像素子。
  26. 輝度信号を得るための前記第1の色の寄与率は50%以上であり、輝度信号を得るための前記第2の色の寄与率は50%未満である請求項1、8、12又は16に記載のカラー撮像素子。
  27. 前記第1の色は、緑及び透明のうち少なくともいずれかを含む請求項1から26のいずれか1項に記載のカラー撮像素子。
  28. 前記第2の色は、赤と青を含む請求項1から27のいずれか1項に記載のカラー撮像素子。
  29. 撮影光学系と、
    前記撮影光学系を介して被写体像が結像するカラー撮像素子と、
    前記結像した被写体像を示す画像データを生成する画像データ生成部と、
    を備え、
    前記カラー撮像素子は請求項1から28のいずれか1項に記載のカラー撮像素子である、
    撮像装置。
JP2014523616A 2012-07-06 2013-02-27 カラー撮像素子および撮像装置 Active JP5702893B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014523616A JP5702893B2 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012152677 2012-07-06
JP2012152677 2012-07-06
JP2014523616A JP5702893B2 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置
PCT/JP2013/055193 WO2014006930A1 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
JP5702893B2 true JP5702893B2 (ja) 2015-04-15
JPWO2014006930A1 JPWO2014006930A1 (ja) 2016-06-02

Family

ID=49881697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014523616A Active JP5702893B2 (ja) 2012-07-06 2013-02-27 カラー撮像素子および撮像装置

Country Status (5)

Country Link
US (1) US9184195B2 (ja)
JP (1) JP5702893B2 (ja)
CN (1) CN104412583B (ja)
DE (1) DE112013003464B4 (ja)
WO (1) WO2014006930A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
TWI585726B (zh) * 2015-03-25 2017-06-01 鴻海精密工業股份有限公司 畫素結構
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP6591688B2 (ja) * 2016-08-31 2019-10-16 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
DE102016221336A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
TWI687899B (zh) * 2019-06-27 2020-03-11 鈺緯科技開發股份有限公司 應用於內視鏡的顯示校正系統及其校正方法
US11394935B2 (en) 2020-06-15 2022-07-19 Samsung Electronics Co., Ltd. Pixel array for reducing image information loss and image sensor including the same
US12050330B2 (en) * 2020-07-29 2024-07-30 E Ink Holdings Inc. Color filter array for reflective display device
KR102722918B1 (ko) 2021-10-01 2024-10-28 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308071A (ja) * 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP5054856B1 (ja) * 2011-02-21 2012-10-24 富士フイルム株式会社 カラー撮像素子

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
JPH0823543A (ja) * 1994-07-07 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
EP0930789B1 (en) * 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) * 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
US7123299B1 (en) 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
JP4385282B2 (ja) * 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101569205B (zh) * 2007-06-15 2012-05-23 松下电器产业株式会社 图像处理装置
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US20110013056A1 (en) * 2009-07-17 2011-01-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Color filters and demosaicing techniques for digital imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308071A (ja) * 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP5054856B1 (ja) * 2011-02-21 2012-10-24 富士フイルム株式会社 カラー撮像素子

Also Published As

Publication number Publication date
JPWO2014006930A1 (ja) 2016-06-02
DE112013003464B4 (de) 2016-05-19
US9184195B2 (en) 2015-11-10
DE112013003464T5 (de) 2015-04-02
CN104412583B (zh) 2016-03-30
US20150109492A1 (en) 2015-04-23
CN104412583A (zh) 2015-03-11
WO2014006930A1 (ja) 2014-01-09

Similar Documents

Publication Publication Date Title
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5927068B2 (ja) カラー撮像素子
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5698873B2 (ja) カラー撮像素子および撮像装置
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
JP5621054B2 (ja) カラー撮像素子
JP5345258B2 (ja) カラー撮像素子
US8982253B2 (en) Color imaging element
JP5702892B2 (ja) カラー撮像素子および撮像装置
JP5621057B2 (ja) カラー撮像素子
US8976275B2 (en) Color imaging element
WO2012114994A1 (ja) カラー撮像素子

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150105

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150105

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150220

R150 Certificate of patent or registration of utility model

Ref document number: 5702893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250