JP4098438B2 - カラー撮像素子及びカラー撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、色モアレの発生を防止できるようにしたカラー撮像素子及びそのカラー撮像素子を用いたカラー撮像装置に関する。
【０００２】
【従来の技術】
一般に、撮像管及び固体撮像素子に代表される撮像素子は、撮像装置に広く用いられている。特に、単管又は単板（Single Sensor)カラー撮像装置に使用されるカラー撮像素子は、１つの撮像素子でカラー撮像装置を構成できるため、色分離プリズムが不要でレンズの小型化が可能であり、またレジストレーションに代表される多板式の各種調整の必要がなく、更に消費電力が小さいなど多くの特徴を有し、カラー撮像装置の小型化・消電力化に多くの貢献を果しており、特に固体撮像素子であるカラーＣＣＤ撮像素子を用いた単板カラーカメラは、撮像装置の主流となっている。
【０００３】
上記カラー撮像素子は、いずれも一つの受光面で色情報を得るため、ストライプフィルタ又はモザイクフィルタなどと称される色フィルタを用いて、受光平面内で色変調（色コーディング）を行っている。すなわち、例えばＲＧＢ３色のフィルタを所定の規則的配列で各光電変換素子（画素）上に張り付けることで、各画素毎に異なる分光感度を持たせている。従って、被写体撮像によって得られた映像信号には、このフィルタ配列にしたがった点順次の色情報が含まれているから、上記所定の配列にしたがって各色フィルタに対応した信号毎に分離して、その分離した信号を取り出すことにより色情報が取り出せる。輝度信号（Ｙ信号）を得るためにはＲＧＢ情報が全て必要であるから、１画素の輝度情報を得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要とし、輝度解像度は犠牲になるものの一つの撮像素子でカラー撮像を行うことができるようになっている。
【０００４】
上記フィルタ配列には、ＲＧＢストライプ、ベイヤ型ＲＧＢモザイク（各種あり）などの３原色フィルタ、ＹｅＭｇＣｙストライプ、ＹｅＭｇＣｙＷ４色モザイク、ＹｅＭｇＣｙＧ４色モザイクなどの補色フィルタ等、多種多様の色コーディングパターンが提案されて実用化されている。
【０００５】
【発明が解決しようとする課題】
本発明は、上記カラー撮像素子の電気的構成（撮像管か固体撮像素子か、あるいはＣＣＤか他のタイプかなど）や色コーディングの種類（原色か補色か、あるいは３色か４色かなど）については、関わりなく有する本質的問題点を指摘し、その解決手段を示すものであるから、以下の説明においては特にことわらないない限り、その一例についてのみ取り上げ、説明を行うこととする。
【０００６】
上記従来の色コーディング配列の中、ＲＧＢベイヤ配列の一例を図３の（Ａ），（Ｂ）に基づいて説明する。ＲＧＢベイヤ配列は、図３の（Ａ）に示す２×２の４画素を基本配列とし、この基本配列を図３の（Ｂ）に示すように順次並べて平面を埋めつくすように配列するものであって、ＲＧＢの各色への画素数の配分比率を１：２：１として、輝度信号に対する寄与の大きいＧの密度を高めることで輝度解像度を高くした点に特徴があるものである。また、垂直及び水平の２方向に等方的に配置しているので、ストライプフィルタと異なり等方的な解像度が得られるようになっている。なお、図３の（Ｂ）は任意の８×８＝64画素に関して例示している。
【０００７】
しかしながら、ベイヤ配列においては上記のように規則的な配列を用いているため、その配列による空間サンプリングに基づいた偽解像、いわゆる色モアレの発生を伴うという大きな問題を有していた。すなわち、本来色のない白黒被写体において上記配列周期と同じ周期の輝度変化（白黒パターン）を有する周期的被写体が存在した場合、例えば１水平ラインとしてＲＧ行に着目しＲで白、Ｇで黒であったとすると、輝度変化のない赤い被写体から得られる信号と同等の信号が出力されるため、本来は存在しない色出力を生じてしまう。このような縞模様状の繰り返しパターンによって生じた偽色信号すなわち色モアレは、いわゆる周波数折り返し（エリアジング）によって低周波域に生ずるため、後段の色帯域抑圧を含めた電気的フィルタ処理等によっても取り除くことができない。
【０００８】
このため、従来の単板カラー撮像装置は、画質確保のためには光学系に水晶などの光学ローパスフィルタを必須としており、これが小型化や低コスト化の大きな制約となるばかりか、それでもなお残存する色モアレによる画質劣化は避けられなかった。
【０００９】
本発明は、従来のカラー撮像装置における上記周期的色コーディング配列に伴う問題を本質的に解決するためになされたもので、小型低コストで高画質なカラー撮像の可能な撮像装置を提供すること、及びそれを可能とするカラー撮像素子を提供することを目的とする。請求項毎の目的を述べると、請求項１に係る発明は、規則性を有しないランダムな色コーディング配列による被写体撮像を行うことを可能とし、且つ全撮像領域に亘って所定値以上の高解像度を確保することができると同時に、孤立的画素欠陥が存在しても解像度の劣化を実質的に生じさせないようにしたカラー撮像素子を提供することを目的とする。請求項２に係る発明は、請求項１に係るカラー撮像素子を用いて、該撮像素子のランダム色コーディング配列情報に基づく色分離を行えるようにしたカラー撮像装置を提供することを目的とする。請求項３に係る発明は、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができるカラー撮像装置を提供することを目的とする。請求項４に係る発明は、低コストで大量製造することができるランダム色コーディング配列データを記憶する手段を備えたカラー撮像装置を提供することを目的とする。請求項５に係る発明は、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能なカラー撮像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、光電変換素子からなる画素を複数個配列してなる画素群を有するカラー撮像素子であって、該カラー撮像素子の色コーディング配列は、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としてカラー撮像素子を構成するものである。このように構成したカラー撮像素子においては、周期性を有しないランダムな色コーディング配列で被写体を撮像することができ、したがって周期的な輝度変化をもつ被写体でも色モアレの発生を防止することができる。そして、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接するという配列制限条件を満たす色コーディング配列としているため、ランダムでありながらも全ての撮像領域に亘って所定値以上の高解像度を確保することができると同時に、孤立的画素欠陥が存在しても解像度の劣化を実質的に阻止することができる。
【００１１】
請求項２に係る発明は、前記請求項１に係るカラー撮像素子を備え、該カラー撮像素子の出力信号に対して該カラー撮像素子のランダム色コーディング配列に基づく色分離処理を行う色分離手段を設けてカラー撮像装置を構成するものである。このように構成することにより、色モアレを発生させず所定値以上の高解像度を備えたカラー撮像素子の色コーディング配列情報に基づく色分離を、確実に行うことができるカラー撮像装置を実現することができる。
【００１２】
請求項３に係る発明は、請求項２に係るカラー撮像装置において、前記色分離手段で色分離処理を行うための、前記カラー撮像素子のランダム色コーディング配列に関する配列データを記憶する記憶手段を備えていることを特徴とするものである。このようにカラー撮像素子の色コーディング配列データを記憶する記憶手段を備えることにより、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができる。
【００１３】
請求項４に係る発明は、請求項３に係るカラー撮像装置において、前記記憶手段をマスクＲＯＭで構成することを特徴とするものである。このように色コーディング配列データの記憶手段としてマスクＲＯＭを用いることにより、記憶手段をひいてはカラー撮像装置を低コストで大量製造することが可能となる。
【００１４】
請求項５に係る発明は、請求項３に係るカラー撮像装置において、前記記憶手段をＥＥＰＲＯＭで構成することを特徴とするものである。このように色コーディング配列データの記憶手段としてＥＥＰＲＯＭを用いることにより、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能となる。
【００１５】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係るカラー撮像素子を用いたカラー撮像装置（ディジタルカメラ）の実施の形態を示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はＣＣＤ撮像素子、５はＣＣＤドライバ、６はＡ／Ｄ変換器を含むプリプロセス回路、７はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。８はメモリカードインターフェース、９はメモリカード、10はＬＣＤ画像表示系、11は主たる構成としてマイコンを含むシステムコントローラ、12は操作スイッチ系、13は操作表示系、14はストロボ、15はレンズドライバ、16は露出制御ドライバ、17はＥＥＰＲＯＭである。
【００１６】
図１に示した実施の形態においてカラー撮像素子として用いているＣＣＤ撮像素子４のランダム配列の色フィルタ配列例を図２に示す。このＣＣＤ撮像素子の画素数は、任意ではあるが仮に 100万画素程度を想定しており、図２においては、中央部分の８×８＝64画素に対応するフィルタ配列だけを表示している。以下の説明では、このようなランダム配列を得るための手順を具体的に説明するものであり、図示はあくまでもこの理解を助けるためのものであり、この程度の領域の図示で充分理解されるであろう。（また、ランダム配列が本発明の本質であるから、全領域のパターンを例示することは無意味且つ不可能でもある。）本実施の形態におけるフィルタの種類は、いわゆるＲＧＢ３原色を使用したもので、そのコーディングはＲＧＢランダムフィルタコーディングとなっている。
【００１７】
次に、このようなコーディングを得るための手順例について説明する。このコーディングはランダムコーディングであるから、各画素の色フィルタを決定するためにＲＧＢにそれぞれ２面を割り当てたサイコロを使用してもよいのは勿論であるが、その煩雑さを減じるため表計算ソフトウェア等を用いて、全画素配列に相当する表配列を準備する。そして、配列の各セルに数式ＭＯＤ（ＲＮＤ／３）（但し、ＲＮＤは適当な桁数の乱数関数、ＭＯＤ（ｎ／ｄ）はｎをｄで除した剰余関数）を割り当てて得られた数値に対して、例えば０→Ｒ，１→Ｇ，２→Ｂを適用すればよい。
【００１８】
このようにして得られた配列は、統計学的には通常は特に大きな偏りは持たないが、ただ１回の試行によって得たものは確率的に低いとはいえ、極端に色による画素数の多寡があったり、大面積にわたる特定色の集中があったりする可能性を有している。あるいは、従来例のような周期性を有したパターンになる可能性も極めて低いが０ではない。従って、上記手法によって数回の試行を行い複数の配列サンプルを得た上で、実写による撮像試験（現実にはシミュレーションを用いるのが好適）を行って、評価結果のよいものを採用することが望ましい。
【００１９】
しかしながら、このような試行的なやり方は、最終的な配列選択に際しては避けられないものであるとしても、設計当初から全て試行のみによることは、一般的には設計効率を著しく低下させるものであって好ましくない。あるいは試行によって得られた配列を評価するに当たっても、良い撮像画質を得るためには、必須となるような配列自体に要求される客観的な要件といったものがあるはずで（極端な例として、全てが一つの色の画素のみになってはならないことは自明である）、このような条件を具体的に見出し、これを制限条件（判定基準）として採用することが極めて有効である。
【００２０】
具体的には、本実施の形態におけるＣＣＤ撮像素子のＲＧＢ３色ランダム配列は、任意の着目画素が該着目画素のフィルタの色（自己の色）を含む３色と該着目画素の４辺のいずれかにおいて隣接するということを制約条件として採用している。すなわち、着目画素のフィルタの色（自己の色）が何色であるかに関わらず、その上下左右の４画素のうちにＲＧＢが少なくともそれぞれ１画素ずつは含まれているという条件である。この条件は、後述の色分離処理における最近接画素情報による補完が、必ず上下左右いずれかの隣接画素によってなされることを保証するものであって、その結果として一定値以上の高解像度の確保を保証するものである。なお且つ、仮に画素欠陥（但し孤立的なものを想定している）が生じても着目画素のフィルタの色（自己の色）が上下左右の隣接画素のうちに必ず存在しているから、これによってその欠陥を補完すれば、解像度の劣化が事実上生じないものである。参考までに述べると、このとき各色は１画素だけ孤立して存在することはできず、最小単位は２画素になっていることは図２からも読み取れるであろう。図２において、周辺各１列の画素は見かけ上上記条件を満たしていないものもあるが、これは図示されてない更に外側の画素の存在によって条件を満たしているものである。このような事情から、撮像素子の光電変換面は、有効画像領域よりも４周それぞれにつき１〜数行（列）の余裕を見て、いわゆる捨て画素領域（画像信号生成に関与するが、有効画像領域ではない領域）を設けてある。
【００２１】
なお、このような制約条件を満たす配列は、上記完全にランダムな配列を試行により多数用意し、それを上記条件で検定することによっても、あるいは例えば表計算等のソフトウェア処理による配列生成に当たって、予め制約条件を課した上で生成することによっても、いずれでも得ることができる。
【００２２】
さて、このようなランダムカラーフィルタ配列を備えたＣＣＤ撮像素子４を用いたカラー撮像装置（ディジタルカメラ）においては、従来のカメラと同様に信号を読み出して処理し、撮像画像をメモリカード９に記録、あるいはＬＣＤ画像表示系10に表示する。従来と異なる動作は色分離処理であるが、その処理は、ディジタルプロセス回路７がシステムコントローラ11の制御下において行うようになっている。無論、色分離処理とは、基本的には対応色信号の存在しない画素（例えばＢ信号生成処理におけるＲフィルタ画素など）に対する近隣画素情報等を用いた信号補完処理であって、この点に関しては従来と何等変わるところはない。しかしながら従来の色分離が、ＣＣＤ撮像素子の規則的色コーディングに対応して、順列に基づいた規則的サンプリングを行いホールド回路等を用いた単純な補完や、更に必要に応じて画素間の加算減算等を行っていた（具体的な処理についてはアナグロ処理、ディジタル処理、混成処理等多種にわたる）のに対して、本発明において適用するランダムコーディングは規則性がないので、このような処理はできない。そこで、使用するＣＣＤ撮像素子の各画素に関してのフィルタコーディングデータ（上記図２に相当する全画素のフィルタテーブル）を参照して、色分離処理を行う。このコーディングデータはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ撮像素子の色コーディングが異なる場合にも対応できるようになっている。
【００２３】
具体的な本実施の形態の色分離（各色信号生成）処理は、次のようにして行われる。すなわち、「着目する処理対象画素に関して、まずコーディングデータを参照し、その画素自身のフィルタの色に関する色信号については、その画素の信号レベルをそのまま信号として出力し、他の色信号についてはコーディングデータに基づき近傍の画素の中で最近接の対応する色フィルタの画素を探して、該当する画素の信号レベルをその色信号として出力する。」という処理を行う。
【００２４】
着目する処理対象画素のフィルタがＲである場合に関して、その色分離処理を例示すると、次のとおりである。
Ｒ信号：コーディングデータの参照結果がＲであるので、その画素の信号レベルをそのままＲ信号として出力する。
Ｇ信号：参照結果がＧでないので、コーディングデータに基づき近傍の画素の中で最近接のＧ画素を探して、該当する画素の信号レベルをＧ信号として出力する。
Ｂ信号：参照結果がＢでないので、コーディングデータに基づき近傍の画素の中で最近接のＢ画素を探して、該当する画素の信号レベルをＢ信号として出力する。
【００２５】
上記色分離処理例において、例えば着目するＲフィルタ画素の（上、下、左、右）に（Ｒ、Ｇ、Ｂ、Ｂ）フィルタ画素が並んでいたとすると、「最近接のＢ」画素は左右に２つ存在することになるが、このような場合はどちらか一方のみを採用するようにしても、双方の平均値を採用するようにしてもよい。
【００２６】
上記のような色分離処理の結果得られた色信号は、全画素に関する同時化されたＲＧＢ３原色信号として、従来のＲＧＢ３原色信号と同様に後段の回路で処理され、最終的にメモリカード９に記録、あるいはＬＣＤ画像表示系10に表示される。なお、この後段の回路における処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００２７】
その際生じる偽色に関して考察すると、白黒のナイフエッジや孤立的な白点（線）等の被写体に関しては、当然ながら平面的なカラーコーディングの影響で従来のコーディングと同様に偽色を生じる。しかしながら、これらはいずれも孤立的に発生する（偽の）色点や色線であって、その主要エネルギーは高周波域に分布しているから、従来公知の電気的フィルタ処理等の手法で除去あるいは低減することが可能である。そして、従来最大の問題であった縞模様状の繰り返しパターンの撮像に関しては、コーディングがランダムであるため、少なくとも低周波に折返った低域の偽色（色モアレ）は発生せず、本実施の形態においては上記除去あるいは低減可能な孤立的な偽色の発生にとどまるものである。従って本実施の形態においては、従来この種のディジタルカメラにおいて必須であった光学ローパスフィルタを使用していないにも関わらず、視覚的に問題となる偽色がほとんど発生せず高画質が得られる。
【００２８】
しかも、色分離処理における最近接画素情報による補完が、必ず上下左右いずれかの隣接画素によってなされるから、画素のぼけの最大値すなわちＰＳＦ（点像分布関数）の幅の最大値は３画素にとどまり、「従来のベイヤ配列で色分離の際の補完に１画素でなく周辺画素の平均値を用いた場合」と比較して、Ｇで同程度、ＲＢに関しては２倍程度の色解像度を確保することができる。また、孤立画素欠陥が存在した場合の補完を考えると、ベイヤ配列の場合はＰＳＦの幅を最大５画素まで許容せざるを得ないのに対して、本実施の形態ではＰＳＦの最大幅は変化しない。しかも、これは純粋な画素サンプリングによる効果のみの比較であるが、更に光学ローパスフィルタを使用していないから、これによるレスポンスの低下がなく、従来解像不可能であった周波数領域にまで解像度を拡大することが可能になる。
【００２９】
以上本発明について上記実施の形態に基づいて説明を行ったが、上記実施の形態には様々な変形例が考えられる。まず、上記実施の形態では、コーディングデータはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ撮像素子のコーディングが異なる場合にも対応できるようになっていたものを示した。ＣＣＤ撮像素子は量産ばらつきに起因して１個毎に異なる画素欠陥データ等を必要とする場合も多いから、このためのメモリを兼用する上からも、ＥＥＰＲＯＭを用いることは利点となり得るが、一方通常一つの撮像装置本体に対して適用される撮像素子は一種（量産ばらつきを除けば同一）であり、特にカラーコーディングを変える必要もないから、コーディングデータ自身は全て同じデータを用いることができる。この点に着目すれば、上記ＥＥＰＲＯＭはマスクＲＯＭに置き換えることが可能である。マスクＲＯＭに置き換えた場合、より低コストに構成することができる。そしてまた、いずれの態様の場合も、システムコントローラ11の有するマイクロコンピュータのプログラム格納メモリと兼用することが可能であることは言うまでもない。
【００３０】
また冒頭でも述べたように、本発明は撮像素子の電気的構成（撮像管か固体撮像素子か、あるいはＣＣＤか他のタイプかなど）や、色コーディングの種類（原色か補色か、あるいは３色か４色かなど）については、関わりなく有する本質的な問題点を取り上げ解決しようとするものであるから、上記実施の形態に限られず、これらを含む全てのカラー撮像素子及びそれを用いたカラー撮像装置に応用できる。例えば、多板カメラに応用してもよい。例えばＧ，Ｒ／Ｂ式２板カラーカメラのＲ／Ｂセンサにはそのまま応用することができる。
【００３１】
更に、上記実施の形態において示した「ランダムコーディングを得るための手順」は、あくまでも一例に過ぎず、ランダムコーディング自体は任意の方法によって得ることができる。すなわち、当該カラーコーディング配列が、従来公知であった規則的配列とは異なり、光電変換素子配列の少なくとも数画素〜数十画素以上の所定の領域に着目したときに顕著な規則的（周期的）構造を有しておらず、その結果として従来の規則的配列によって生じる縞模様状の繰り返しパターン入力に対する低域偽色の発生が低減したならば、その配列は本発明におけるランダム色コーディング配列となる。
【００３２】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば周期的色コーディング配列に伴う問題を本質的に解決し、周期的な輝度変化をもった被写体でも色モアレを発生しない小型低コストで高画質なカラー撮像の可能なカラー撮像素子及びカラー撮像装置を得ることができ、特に請求項１に係る発明によれば、周期性を有しないランダムな色コーディング配列による被写体撮像を行うことを可能とし、しかも任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接するという配列制限条件を満たす３色ランダム配列としているので、色モアレを発生させず且つ所定値以上の高解像度を確保できると同時に、孤立的画素欠陥が存在しても解像度の劣化を実質的に生じさせないカラー撮像素子を実現することができる。また請求項２に係る発明によれば、色モアレを発生させず所定値以上の高解像度を備え、且つ孤立的画素欠陥が存在しても解像度の劣化を生じさせないカラー撮像素子の色コーディング配列情報に基づく色分離を確実に行うことができるカラー撮像装置を実現することができる。また請求項３に係る発明によれば、カラー撮像素子のランダム色コーディング配列データを記憶する記憶手段を備えているので、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができる。また請求項４に係る発明によれば、色コーディング配列データの記憶手段としてマスクＲＯＭを用いているので、記憶手段をひいてはカラー撮像装置を低コストで大量製造することが可能となる。また請求項５に係る発明によれば、色コーディング配列データの記憶手段としてＥＥＰＲＯＭを用いているので、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るカラー撮像素子及びカラー撮像装置の実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態におけるＣＣＤ撮像素子のランダム色フィルタ配列の一例を示す図である。
【図３】ＲＧＢベイヤ配列の基本配列と全体配列の一例を示す図である。
【符号の説明】
１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ ＣＣＤ撮像素子
５ ＣＣＤドライバ
６ プリプロセス回路
７ ディジタルプロセス回路
８ メモリカードインターフェース
９ メモリカード
10 ＬＣＤ画像表示系
11 システムコントローラ
12 操作スイッチ系
13 操作表示系
14 ストロボ
15 レンズドライバ
16 露出制御ドライバ
17 ＥＥＰＲＯＭ

Claims (5)

1. 光電変換素子からなる画素を複数個配列してなる画素群を有するカラー撮像素子であって、該カラー撮像素子の色コーディング配列は、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列であることを特徴とするカラー撮像素子。
2. 前記請求項１に係るカラー撮像素子を備え、該カラー撮像素子の出力信号に対して該カラー撮像素子のランダム色コーディング配列に基づく色分離処理を行う色分離手段を有していることを特徴とするカラー撮像装置。
3. 前記色分離手段で色分離処理を行うための、前記カラー撮像素子のランダム色コーディング配列に関する配列データを記憶する記憶手段を備えていることを特徴とする請求項２に係るカラー撮像装置。
4. 前記記憶手段は、マスクＲＯＭで構成されていることを特徴とする請求項３に係るカラー撮像装置。
5. 前記記憶手段は、ＥＥＰＲＯＭで構成されているこを特徴とする請求項３に係るカラー撮像装置。

Images