JP3018297B2

JP3018297B2 - カラー撮像装置

Info

Publication number: JP3018297B2
Application number: JP2208241A
Authority: JP
Inventors: 昭彦白石
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-08-08
Filing date: 1990-08-08
Publication date: 2000-03-13
Anticipated expiration: 2015-03-13
Also published as: JPH0492589A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、スチルビデオカメラ，ビデオカメラ等のカ
ラー撮像装置に関するものである。

〔従来の技術〕

従来、スチルビデオカメラ等で、静止画をフレーム撮
影する（odd,evenの２つのフィールド情報を得る）ため
には、第13図（ａ）または（ｂ）のような垂直走査方向
（以下垂直方向という）に２画素周期で繰り返される色
フィルタの撮像素子を用いる必要があった。これは、従
来の撮像素子が、第13図に示すように奇数（odd）フィ
ールドと偶数（even）フィールドで、奇数行と偶数行交
互に読み出すため、その両出力を同じものとしなくては
ならなかったためである。

〔発明が解決しようとする課題〕

しかしながら、第13図（ａ），（ｂ）のような色フィ
ルタの撮像素子を用いた場合、輝度信号や色信号を導出
するためには、１行分とばした２つの行データ、たとえ
ば奇数フィールドでは1,3行、偶数フィールドでは2,4行
の信号を用いなくてはならない。そのため、データの垂
直方向の距離が離れるため垂直方向の相関性は小さくな
り偽色の発生量が増加する。

また、信号処理において輝度信号及び色信号導出のた
めに1H（水平走査期間）遅延線を多数必要とするなどの
問題があった。

第14図に前述の色フィルタを設けた撮像素子のベース
バンド近傍でのキャリア成分の出る位置を示す。第13図
（ａ），（ｂ）いずれの場合も、撮像素子の色フィルタ
の水平走査方向（以下水平方向という）のピッチをP_Hと
すると、輝度信号のキャリアは（±1/P_H,0）の位置に発
生する。また、色差信号のキャリアは水平方向の同一色
のフィルタのピッチが2P_Hとなることから（±1/2P_H,0）
の位置となる。

この撮像素子より得られる輝度信号は、サンプリング
定理によれば、周波数1/2P_Hまで帯域をとることができ
る。したがって輝度信号の折り返り歪を発生させないた
めには、撮像素子の前に置く光学的ローパスフィルタ
が、1/2P_H以上の周波数成分をすべて零にするものであ
れば理想的である。ところが、第15図に示すように、水
平周波数f_H＝±1/2P_Hに色差信号のキャリアが発生す
る。このため、前記の周波数特性を持つ光学的ローパス
フィルタを用いると、色差信号の折り返りによる偽色が
発生する。このため光学的ローパスフィルタの周波数特
性は第15図に示すようにf_H＝1/2P_Hより色差信号の帯域
分だけ低い帯域としなければならない。したがって原理
的な解像度限界より低い解像度しか得られないという問
題があった。

第16図（ａ）に第13図の様な色フィルタ配列の固体撮
像素子に従来用いられていた光学的ローパスフィルタの
構成を示す。第16図において、光学的ローパスフィルタ
70は、水平方向に対し90゜の方向に距離P_Hだけ入射した
光線を２本に分割する複屈折板71と、直線偏光を円偏光
にする位相板72と、水平方向に対し90゜の方向に距離P_H
/2だけ入射した光線を２本に分割する複屈折板73とで構
成されている。この光学的ローパスフィルタの伝達特性
（MTF）H₁は次の式で表わされる。

これをグラフにしたのが第16図（ｂ）であり、周波数
空間上の特性を表わしたものが第16図（ｃ）である。第
16図（ｃ）に示した点線74a,74b,75a,75bは光学的ロー
パスフィルタ70がトラップする周波数であり、同図より
輝度信号のキャリア周波数f_H＝±1/P_H、色差信号のキャ
リア周波数f_H＝±1/2P_Hをトラップすることがわかる。
前述の特性の光学的ローパスフルタは式または第16図
（ｂ）からもわかるように、色差信号のキャリア周波数
f_H＝±1/2P_HでMTFが0,周波数の約85％で伝達特性が−15
dBとなる。このため解像度限界であるf_H＝1/2P_Hまでの
解像本数を得ることはできない。

本発明はこのような事情に鑑みてなされたもので、偽
色の発生が少なく、輝度信号の解像度が理論上の限界ま
で得られるカラー撮像装置を提供することを目的とする
ものである。

〔課題を解決するための手段〕

前記目的を達成するため、本発明では、カラー撮像装
置を次の（１），（２），（３）のとおりに構成する。

（１）つぎのａに示す色フィルタアレイを設けた撮像素
子を備え、かつこの撮像素子の前面につぎのｂに示す光
学的ローパスフィルタを設けたカラー撮像装置。

a.3種類以上の色フィルタからなり、色フィルタの水平
走査方向のピッチをP_Hとし垂直走査方向のピッチをP_Vと
して、同種類の色フィルタを、水平走査方向に2P_Hのピ
ッチで、垂直走査方向に2P_Vのピッチでかつ水平走査方
向にP_Hだけオフセットして配列してなる色フィルタアレ
イ。

b.水平走査方向に対し45゜の方向に距離P₁だけ入射した
光線を２本に分割する第１の光学部材と、水平走査方向
に対し90゜の方向に距離P₂だけ入射した光線を２本に分
割する第２の光学部材と、水平走査方向に対し135゜の
方向に距離P₁だけ入射した光線を２本に分割する第３の
光学部材とを積層してなり、つぎの条件を満たす光学的
ローパスフィルタ。

（２）つぎのａに示す色フィルタアレイを設けた撮像素
子を備え、かつこの撮像素子の前面につぎのｂに示す光
学ローパスフィルタを設けたカラー撮像装置。

b.前記色フィルタアレイの色フィルタ配列によって生じ
る水平・垂直２次元周波数空間における前記撮像素子の
輝度信号キャリア，色差信号キャリア位置近傍をトラッ
プする光学ローパスフィルタ。

（３）撮像素子の出力を一旦メモリに記録し、該メモリ
からの読み出し信号によりフレーム情報を形成する前記
（２）記載のカラー撮像装置。

〔作用〕

前記（１）〜（３）の構成によれば、偽色がほとんど
発生せず、輝度信号の高域は理論上の限界まで得られ、
（３）の構成では更に奇数フィールドと偶数フィールド
の出力タイミングを適宜に設定できる。

〔実施例〕

以下本発明を実施例により詳しく説明する。

第１図は、本発明の第１実施例である“カラー撮像装
置”で用いる撮像素子に設ける色フィルタの配列を示
す。なお色フィルタ全体は色フィルタアレイという。

同図に示すように、色フィルタアレイ1b（第４図参
照）にはRGB純色タイプのものを用いる。色フィルタの
水平方向のピッチをP_H、垂直方向のピッチをP_Vとして、
各色フィルタR,G₁,G₂,Bは、それぞれ水平方向に2P_Hのピ
ッチで、垂直方向に2P_Vのピッチでかつ水平方向のオフ
セット量P_Hのオフセットサンプリング構成になってい
る。

この構成の色フィルタアレイを用いた撮像素子のベー
スバンド近傍でのキャリア成分の出る位置を示したのが
第２図である。

図示のように、輝度信号のキャリアは（±1/P_H,0）の
位置に、色差信号のキャリアは（±1/2P_H,±1/4P_V）の
位置に発生する。第14図と比べて明らかなように、f_H軸
上に色差信号のキャリアはなく、±1/4P_Hだけ上下にシ
フトしているため、ベースバンドからの距離が離れてい
る。このため、色差信号の折り返りによる偽色が発生し
にくい。さらに、f_H軸上に色差信号のキャリアがないた
め、輝度信号を原理的な解像度限界周波数であるf_H＝1/
2P_Hまで得ることが可能となる。

第３図に本実施例における光学的ローパスフィルタの
構成を示す。

同図において、光学的ローパスフィルタ30は、水平方
向に対して45゜の方向に距離P₁だけ入射した光線を２本
に分割する複屈折板31より成る第１の光学部材と、水平
方向に対し90゜の方向にP₂だけ入射した光線を２本に分
割する複屈折板32より成る第２の光学部材と、水平方向
に対して135゜の方向に距離P₁だけ入射した光線を２本
に分割する複屈折板33より成る第３の光学部材とで構成
されていて、かつ以下の条件が満足されている。

P₂＜P_H …… P₁が不等式の下限を越えると、折り返り歪、特に偽
色の発生を抑制することができず、上限を越えると充分
な解像度を得ることができない。また、P₂が不等式の
上限を越えると充分な解像度を得ることができず不都合
である。光学的ローパスフィルタ30の伝達特性（MTF）
は次の式で表わされる。

ここで、例えばNTSC方式で、画面の縦横比が3:4の場
合、第１図に示すような有効画素数が水平640,垂直480
程度の固体撮像素子であればほぼ次の関係が成り立つ。

P_H＝P_V …… 本実施例ではとしている。このときの伝達特性をf_H軸上について表わ
したものが第３図（ｃ）であり、２次元周波数空間で表
わしたものが第３図（ｄ）である。第３図（ｄ）に示し
た点線34a,34b,35a,35b,36a,36bは光学的ローパスフィ
ルタ30がトラップする周波数であり、同図より輝度，色
差両信号のキャリア周波数をすべてトラップすることが
わかる。また、第３図（ｃ）より、解像度限界周波数f_H
＝1/2P_H以上の周波数成分を充分抑制しており、輝度の
折り返し歪は発生しない。さらに，，式から明ら
かなように、|f_H|≦1/2P_Hの周波数領域で、伝達特性が
−15dB以内の落ちとなるため、ほぼ限界解像周波数1/2P
_Hまで解像度を確保できる。

次に本実施例において、画像信号を得る手法について
述べる。

第４図は本実施例の全体構成を示すブロック図で、30
は光学的ローパスフィルタ、1aは固体撮像素子CCD、1b
は固体撮像素子1aに設けた色フィルタアレイ、２は相関
二重サンプリング回路CDS、３は色分離回路Ｃ−SEP回
路、４は色分離後の信号をホワイトバランス調整するWB
ブロック、5,7は２出力を択一選択するスイッチ、６は
ガンマ処理，ホワイトクリップ処理，ブランキング処
理，ペデスタルレベルセット処理を行う信号処理ブロッ
ク、８はアナログデジタル変換器A/D、９はシリアルメ
モリブロック、10,11はデジタル−アナログ変換器D/A、
12はアナログ−デジタル変換器A/D,シリアルメモリブロ
ック,D/Aをコントロールするメモリコントローラ、13は
各種パルスを発生するクロック発生回路、14は加算器、
15,16,17,18はサンプルホールド回路、19は14〜18の出
力から輝度信号（Ｙ），色差信号（Ｒ−Y,B−Ｙ）を生
成するマトリクス回路である。

また、第６図はシリアルメモリブロック９の構成模式
図、第７図はメモリのコントロールのタイミング図であ
る。

以下、第４図、第６図、及び第７図を用いて本実施例
の動作を説明する。

第４図の固体撮像素子から出力された映像信号は相関
２重サンプリング回路２にて低減ノイズを除去され、色
分離回路３に入力される。３にて固体撮像素子1aの映像
出力を三原色R,G,B信号に分離し、WBブロック４にてホ
ワイトバランス調整を行う。但し、固体撮像素子1aは第
１図に示す色フィルタ配列であるため、図示してあるよ
うに、奇数フィールドではＲとＧ、偶数フィールドでは
ＢとＧの信号しか得られない。したがって、奇数フィー
ルドにてWBブロック４より出力されるＢ信号、偶数フィ
ールドでWBブロック４より出力されるＲ信号は偽情報で
あり、使用することはできない。そこで、スイッチ５に
より奇数フィールドではＲ信号、偶数フィールドではＢ
信号を選択する。選択のための切替パルスFvはクロック
発生回路13より送られる。選択されたＲとＢの信号が1V
（垂直走査期間）毎に交互になった信号をR|B信号とす
る。以降「｜」は面順次を表わす記号とする。

そして、WBブロック４の他の出力Ｇとともに信号処理
ブロック６へ送られ、ガンマ処理，ホワイトクリップ処
理，ブランキング処理，ペデスタルレベルセットの処理
が行われる。

信号処理ブロック６の出力Ｇ及びR|Bはスイッチ７に
てSH1パルスにより、画素単位で切り替えられ、再び固
体撮像素子１の色フィルタ配列に対応する信号G1,R|G2,
B（以下略してG,R|Bとする）が得られる。ここで「，」
は点順次信号であることを示す。また、SH1パルスはク
ロック発生回路13より送られる。

スイッチ７にて点順次化された信号G,R|Bは、A/D変換
器８にてデジタル信号に変換され、シリアルメモリブロ
ック（S.MEM）９へ入力される。そしてシリアルメモリ
ブロック９の２系統の出力がD/A変換器10,11にてアナロ
グ信号に変換される。この際A/D,D/AのクロックPAD,PDA
及びメモリのコントロールパルスは、メモリコントロー
ラ12より送られる。

以下シリアルメモリ９の動作を第６図及び第７図を用
いて、さらに詳細に説明する。

第６図において20〜22はシリアルメモリ（本実施例で
は３チップにて固体撮像素子１であるCCDの全画素デー
タが記憶できるメモリ容量を有する）、23−１は各メモ
リ出力を切り替え、D/A変換器10,11へ出力するスイッチ
である。第７図（イ）２）の如く、t₀にてCCD出力がA/D
変換器８から入力され始めるので、その出力をシリアル
メモリ９の第１のチップのメモリ（1st Chip20）に記
憶するべく、ライトイネーブル信号WE1を、ハイレベル
としてメモリ20をイネーブル状態とし、ライトリセット
信号RSTW1によりメモリのライトアドレスをリセットし
て０番地（第６図20の１行左端）から書き込みを開始し
ていく。その結果第７図２）のCCD出力（奇数フィール
ド）の（G,R）信号は第６図のメモリ20上に、図示のご
とく記憶されていく。続いて、t₁にてメモリ20の記憶容
量が一杯になる時点で、ライトイネーブル信号WE1はロ
ーレベルとなり、メモリ20はディセーブル状態となる。
ここで第７図のライトイネーブル信号WE2によりシリア
ルメモリ９の第２のチップのメモリ（2nd Chip21）は
イネーブル状態となり、９）のRSTW2パルス出力により
アドレス０番地より、CCD奇数（odd）フィールドのt₁以
降の出力信号が第６図のように記憶される。続いて偶数
フィールドの映像期間が終わるt₂より、奇数フィールド
の始まるt₃までのブランキング期間K_HはWE2をローレベ
ルとしてアドレスをt₂時点の番地に保持して、メモリ21
への書き込みは行わないようにする。また、各メモリ2
0,21,22がシリアルダイナミックメモリで、ブランキン
グ期間K_Hが一定時間K₀より長いと、リセット動作が必要
となることがあるのでCCD映像出力のブランキング期間K
_Hを、アドレスを保持したままデータが保持できる時間
内に設定しておく（K_H＜K₀）。このようにK_Hを、テレビ
レートのＶブランキング期間と無関係に設定してメモリ
への書き込みを行っても、読み出し時に正規のＶブラン
キング期間にしてやれば全く影響無い。

次に、t₃で偶数フィールドの映像期間が始まったら第
７図８）のWE2を再度ハイレベルとし、メモリ21の容量
が一杯になるt₄まで、信号（G₂,B）のデータを書き込ん
でいき、t₄にて、WE2をローレベルとし、メモリ21をデ
ィセーブル状態とする。そして、12）のWE3をハイレベ
ル、13）のRSTW3のパルスを発生させて、第３のチップ
のメモリ（3rd Chip）22へt₄以降の偶数フィールド映像
信号を書き込んでいく。t₅にて偶数フィールド映像信号
が終わると同時にメモリ22をWE3によりディセーブル状
態として書き込み動作を終了する。

続いて、シリアルメモリ９からの読み出しについて説
明する。まず、スイッチ23−１はｂに接続して、オープ
ン状態としておく。t₆にて10）のリードイネーブル信号
RE2をハイレベルに、11）のリードリセットRSTR2パルス
を出力して、メモリ21の読み出しを開始する。この際、
スイッチ23−１はオープン、またRE1,RE3がローレベル
でメモリ20,22の出力がハイインピーダンス状態なので1
0,11へは信号が出力されない。次いでt₈にてRE1をハイ
レベル、RSTR1パルスを出力し、メモリ20のデータを読
み出し10へ出力する。と同時にスイッチ23−１をａ側に
接続し、メモリ21の出力を11へ読み出す。この際、メモ
リ21は、アドレスが1H分進んでいるので、８）WE2のt₁
〜t₂の間に記憶された分（１行からＸ行）はすでにアド
レスが進んでいる。従って、アドレスは第22図（ロ）の
21の（G₂,B）データ開始のポイント（Ｘ＋１）行を示し
ているので、11へは（G₂,B）信号が出力されていくこと
になる。次いでt₉にてスイッチ23−１をｂ接続しオープ
ン状態として、同時にRE3をハイレベルにし、RSTR3パル
スを出力して、メモリ22のデータ読み出しを開始する。
その結果11へはメモリ22の出力（G₂,B）データが出力さ
れていくことになる。t₁₀ではスイッチ23−１をＣに接
続し、同時にRSTR2パルスを再度出力することにより、1
0への０番地からの信号が出力される。t₁₁にて、第１フ
ィールドの映像期間を終えスイッチ23−１をｂに接続
し、RE2,RE3をローレベルとして、各メモリをすべてデ
ィセーブル状態にする。次に、第２フィールドの読み出
しを行う。まず、第１フィールドと同様にt₁₂にて、RE2
をハイレベル、RSTR2パルスを出力する。この際、スイ
ッチ23−１はｂのままである。従って、10,11へは何も
出力されない。次にt₁₄にてRE1をハイレベルとし、RSTR
1パルスを出力する。その1H後のt₁₅にてスイッチ23−１
をａに接続する。その結果t₁₄より、メモリ20の出力（G
₁,B）がD/A変換器11へアドレス０番地から出力され、D/
A変換器12へは21のデータ（G₂,B）がt₁₅より出力され
る。これは、第２フィールドを第１フィールドの信号に
対してインターレースがとれるように1H分ずらして読み
出しているわけである。すなわち、10への出力はメモリ
20の第２行から、11へはメモリ21の第（Ｘ＋１）行から
の信号が有効となる。そのため、第７図に示すようにt₇
〜t₈期間の長さをm_Hとするとt₁₃〜t₁₄期間の長さは、
（ｍ−１）_Ｈとなる。次にt₁₆にて、最終Ｚ行の読み出
しが完了したら、スイッチ23−１をｂに接続し、かつ、
RE3をハイレベルにし、RSTR3パルスを出力することによ
り11への出力はメモリ22の第１行に切り替わる。さら
に、t₁₇にてスイッチ23−１をＣに接続し10への出力を
メモリ21側に切り替え、同時にRSTR2パルスを出力する
ことによりメモリ21の第１行からデータを読み出してい
く。この際、RE1をイネーブルにしている期間はn_Hで第
１フィールドと同じであり、そのためメモリ20が全て読
み出されてからメモリ21へ出力が切り替わるので境界で
情報が失われることはない。一方、第７図１）のVP立ち
下がりからの期間t₁₃〜t₁₇は（ｍ＋ｎ−１）Ｈとなり、
第１フィールドのt₇〜t₁₀の長さと比べると1H分短くな
る。

その後t₁₈まで出力を続け、t₁₈ではスイッチ23−１を
ｂに接続、オープン状態にすると同時にRE2,RE3をロー
レベルとすることでメモリ21,メモリ22をハイインピー
ダンス状態として映像信号出力を終了する。

ところで、第２フィールドでは、（G₂,B）データはt
₁₅から読み出すのに対して（G₁,R）データはt₁₄からの
読み出しであるから読み出し時間が1H分ずれてしまい、
逆に読み出し終了時の（G₂,B）データの最終行の読み出
し時には（G₁,R）データはないので偽の信号を読み出し
てしまうことになる。したがって、第２フィールドでの
（G₁,R），（G₂,B）データの読み出しは有効画素の映像
期間より1H分少なくしている。同時に第１フィールドと
第２フィールドで映像期間が異なると、最終行（Ｚ行）
で部分的フリッカーとなるので第１フィールドについて
も（G₁,R），（G₂,B）ともに1H分出力信号期間を短くし
ている。つまり、t₁₇〜t₁₈期間の長さをo_Hとするとt₁₀
〜t₁₁期間は（ｏ−１）_Ｈとなり、VPの立ち下がりから
の時間t₇〜t₁₁,t₁₃〜t₁₈は第１フィールド第２フィール
ドともに（ｍ＋ｎ＋ｏ−１）_Ｈと等しくなる。さらに、
第１フィールドのメモリ20の読み出しも1H分早く、偽信
号となるので、第８図のスイッチ23−２によりt₁₀からt
₁₅までメモリ20の出力をオープン状態として除去しても
よい。

また、同じく偽情報除去・フリッカー防止のため18）
に示すようなブランキングパルスによりt₈〜t₁₁,t₁₅〜t
₁₈に期間（ｎ＋ｏ−１）_Ｈ以外の信号をミュートしても
よい。さらに、偽情報を除去するのではなく、メモリ22
のＺ行を続けて２度読み出すことにより、第１フィール
ドメモリ21,22及び第２フィールドメモリ21を最終行ま
で出力してもよい。

一方、書き込み終了と読み出し開始のタイミングの設
定や第１フィールド読み出し終了と第２フィールド読み
出し開始のタイミングの設定は使用するシリアルメモリ
のスペックや応用する映像機器のスペックに合せて任意
に設定すればよく、各タイミングを極力近づけること
で、撮影のスピードアップを可能とする。

さらに、スイッチ23−１及び23−２の切り替えは映像
信号のＨブランキング期間内に行うことで不要ノイズの
発生を押えることができる。第９図の16）,17）は本実
施例における出力（D/A10,11への出力）のタイミング図
である。

さて、以上のようにしてD/A変換器10,11へ送られたデ
ジタル信号はアナログ信号（G₁,R）及び（G₂,B）へ変換
され、以降のアナログ系の信号処理回路へ送られる。ま
ず、14では信号（G₁,R）と（G₂,B）を加算することで高
域成分を持つ輝度信号Y_Hを導出し、又、15,16では、そ
れぞれ（G₁,R）と（G₂,B）をSH1パルスにてサンプルホ
ールドすることでG₁及びG₂を導出、さらに17,18では（G
₁,R）と（G₂,B）をSH2パルスにてサンプルホールドする
ことでＲ及びＢ信号を導出し、マトリクス回路部19へ送
る。さらに19では、第５図に示すように、加算器24にて
G₁とG₂を平均化しＧを導出し減算器25,26にてG₁とR,G₂
とＢの差をとってＧ−R,G−Ｂを導出する。Ｇ−R,G,G−
ＢはY_L MATRIX27へ送られ低減輝度信号Y_Lを、また、Ｇ
−R,G−Ｂは、CMATRIX28へ送られ色差信号Ｒ−Y,B−Ｙ
を導出する。

一方、加算器29,30ではG₁とR,G₂とＢを加算、さらに
加算器31で加算器29,30の出力を加算して、加算器14の
出力Y_Hの低域成分Y_HLを導出し、減算器32にてY_HとY_HLの
差Y_H−Y_HLを導出する。また、加算器24の出力Ｇは1H遅
延線34にて1H遅れた信号とされ、減算器35にてＧとの差
つまり垂直高域成分を表わすVAPCを導出する。そして、
加算器33にてY_LとY_H−Y_HL、さらに加算器36にてVAPCを
加算し輝度信号Y:Y_HH＋Y_L＋VAPCを得る。

以上説明した実施例によると、シリアルメモリ９を用
いることでメモリの制御がより単純化され、メモリコン
トローラ12の設計が容易に行えることになる。

また、高速非同期リード／ライト動作可能高速FIFOシ
リアルメモリを用いることで、メモリ書き込み中（メモ
リ21ではt₁〜t₄期間）に読み出し（メモリ21ではt₆）を
開始することでシステムをより高速化することができ
る。

次に本実施例の変形を説明する。

この変形の全体構成は、第４図と同じである。但し、
メモリ以降の信号の流れとして（）内の信号が出力さ
れる。以下８図，第９図を用いて説明する。まず、第９
図２）のようにt₁よりCCD1の出力が、A/D変換器８から
入力し始めるので、その出力をメモリ21の（Ｘ＋１）行
から、記憶すべく、８）のライトオネーブル信号WE2を
その1_H前のt₀よりハイレベルにしてイネーブル状態と
し、ライトリセット信号RSTW2によりメモリのライトア
ドレスをリセット後０番地（第８図メモリ21の１行左
端）から、書き込みを開始していく。（但し、１＝Ｘ）
その結果２）のCCD出力（奇数フィールド）の（G₁,B）
信号は第８図のメモリ21上の（Ｘ＋１）行以降に、図示
のごとく記憶されていく。続いて、t₂にてメモリ21の記
憶容量が一杯になる時点でWE2はローレベルとなり、メ
モリ21はディセーブル状態となる。ここで12）のライト
イネーブル信号WE3によりメモリ22はイネーブル状態と
なり、13）RSTW3パルス出力によりアドレス０番地よりC
CD奇数フィールドのt₂以降の出力信号が第８図のように
メモリ22に記憶される。奇数フィールドの映像期間が終
わるt₃よりWE3をローレベルとしてメモリ22をディセー
ブル状態とする。次に、t₄で偶数フィールドの映像期間
が始まったら４）のWE1をハイレベルとし、メモリ20の
容量が一杯になるt₅まで、信号（G₂,B）のデータを書き
込んでいく。さらにt₅ではWE1をローレベルとし、メモ
リ21をディセーブル状態とする。そして８）のWE2を再
度ハイレベル、９）のRSTW2のパルスを発生させて、メ
モリ21の１行からＸ−１行にt₅以降の偶数フィールド映
像信号を書き込んでいく。t₆にて偶数フィールド映像信
号が終わると同時にメモリ21をWE2によりディセーブル
状態として書き込み動作を終了する。続いてシリアルメ
モリ９からの読み出しについて説明する。まず、スイッ
チ23−１はｂに接続して、オープン状態としておく。t₇
にて10）のリードイネーブル信号RE2をハイレベルとし1
1）のリードリセットRSTR2パルスを出力してメモリ21の
読み出しを開始する。この際、スィッチ23−１はオープ
ン、またRE1,RE2がローレベルでメモリ20,22の出力がハ
イピーダンス状態なので10,11へは信号が出力されな
い。次いでt₉にてRE1をハイレベル,RSTR1パルスを出力
しメモリ20のデータを読み出し10へ出力する。と同時に
スイッチ23−１をａ側に接続して出力を11へ読み出す。
この際、メモリ21は、アドレスが1_H分進んでいるので、
８）WE2のt₅〜t₆の間に記憶された分、すでにアドレス
が進んでいる。したがって、アドレスは第８図のメモリ
21の（G₁,R）データ開始のポイント（Ｘ＋１）行を示し
ているので、11へは（G₁,R）信号が出力されていくこと
になる。

次いでt₁₀にてスイッチ23−１をｂに接続しオープン
状態として、同時にRE3をハイレベルにし、RSTR3パルス
を出力して、メモリ22のデータ読み出しを開始する。そ
の結果11へはメモリ22の出力（G₁,R）データが出力され
ていくことになる。t₁₁ではスイッチ23−１をｃに接続
し、同時にRSTR2パルスを再度出力することにより、10
へメモリ21の０番地からの信号が出力される。t₁₂にて
第１フィールドの映像期間を終え、スイッチ23−１を、
ｂに接続し、RE2,RE3をローレベルとして、各メモリを
すべてディセーブル状態とする。

次に、第２フィールドの読み出しを行う。まず、第１
フィールドと同様にt₁₃にてRE2をハイレベル、RSTR2パ
ルスを出力する。この際、スイッチ23−１はｂのままで
ある。したがって、10,11へは何も出力されない。t₁₅に
てスイッチ23−１がａに接続され、RE1をハイレベルと
し、RSTR1パルスが出力される。その結果、10へはメモ
リ20の出力（G₂,B）がアドレス０番地から出力され11へ
はメモリ21のデータ（G₁,R）が出力される。ただし、第
２フィールドでは、第１フィールドの信号に対してイン
ターレースがとれるように1H分ずらして読み出す必要が
ある。すなわち11への出力を（G₁,R）データの２行目つ
まり（Ｘ＋２）行から読み出すようにしなくてはならな
い。そのため、t₇〜t₈期間の長さをm_Hとするとt₁₃〜t₁₄
期間の長さは、（ｍ＋１）_Ｈとする。そしてt₈〜t₉の期
間とt₁₄〜t₁₅の期間を同じ長さとすることにより、t₁₅
の時点では、メモリ21のアドレスは（G₁,R）データの２
行目（Ｘ＋２）行左端に設定されていることになる。次
にt₁₆にてスイッチ23−１をｂに接続しRE3をハイレベル
にし、RSTR3パルスを出力する。ここでt₁₆はt₁₄〜t₁₆期
間が（ｎ−１）_Ｈとなるように設定されており、第１フ
ィールドのt₈〜t₁₀の期間にたいして、1H短くなってい
る。したがって、t₇〜t₁₀期間とt₁₃〜t₁₆期間はともに
（ｎ＋ｍ）_Ｈと等しくなり、t₁₆ちょうど２の（G₁,R）
データの読み出しが終了した時点であることになる。つ
まり、t₁₆にて11へは（G₁,R）のデータが2nd Chip出力
から3rd Chip出力への境界で情報を失うことなく送ら
れることになる。続いてt₁₇でスイッチ23−１をｃに接
続しRE1をローレベルとし、RSTR2パルスを再度出力する
ことで10への出力をメモリ20から21へ切り替え、t₁₈ま
で出力を続ける。t₁₈ではスイッチ23−１をｂに接続オ
ープン状態にすると同時に、RE2,RE3をローレベルとす
ることでメモリ21,メモリ22をハイインピーダンス状態
として映像信号出力を終了する。ところで、第２フィー
ルドでは（G₂,B）データ１行目から読み出すのに対し
て、（G₁,R）データは２行目からの読み出しであるから
読み出し時間が1H分ずれてしまい、（G₂,B）データの最
終行の読み出し時には（G₁,R）データは無いので偽の信
号を読み出してしまうことになる。したがって、第２フ
ィールドでの（G₁,R），（G₂,B）データの読み出しは有
効画素の映像期間より1H分少なくしている。同時に第１
フィールドと映像期間が異なると、最終行（Ｚ行）で部
分的フリッカーとなるので第１フィールドについても
（G₁,R），（G₂,B）ともに1H分読み出しを少なくしてい
る。つまりt₁₆〜t₁₈期間の長さを0_Hとするとt₈〜t₁₂,t
₁₄〜t₁₈は第１フィールド，第２フィールドともに（ｎ
＋０−１）_Ｈと等しくなる。また、同じく偽情報除去，
フリッカー防止のため18）に示すようなブランキングパ
ルスによりt₉〜t₁₂,t₁₅〜t₁₈の期間以外に信号をミュー
トしてもよい。さらに、偽情報を除去するのではなくメ
モリ22のＺ行を続けて２度読み出すことにより近似処理
してもよい。一方、書き込み終了と読み出し開始のタイ
ミングの設定や第１フィールド読み出し終了と第２フィ
ールド読み出し開始のタイミングの設定は使用するシリ
アルメモリのスペックや応用する映像機器のスペックに
合せて任意に設定すれば良く各タイミングを極力近づけ
ることで、撮影のスピードアップを可能とする。さら
に、スイッチ23−１の切り替えは映像信号のＨブランキ
ング期間内に行うことで不要ノイズの発生を押さえるこ
とができる。第９図は16）,17）出力（D/A変換器10,11
への出力）のタイミング図である。さて、以上のように
してD/A変換器10,11へ送られたデジタル信号はアナログ
信号（G₂,B）及び（G₁,R）へ変換され、以降のアナログ
系の信号処理回路へ送られる。まず、加算器14では信号
（G₁,R）と（G₂,B）を加算することで高域成分をもつ輝
度信号Y_Hを導出し、また、S/H15,16ではそれぞれ（G₂,
B），（G₁,R）をSH1パルスにてサンプルホールドするこ
とでG₂及びG₁を導出、さらにS/H17,18では（G₂,B），
（G₁,R）をSH2パルスにてサンプルホールドすることで
Ｂ及びＲ信号を導出し、マトリクス回路部19へ送る。以
降マトリクス回路の動作は前述のとおりである。

本実施例ではメモリにシリアルメモリを用いたが、こ
れをランダムアクセスメモリにしてもよい。また信号
G₁,G₂,R,Bごとに別のメモリを用いてもよい。

第８図に本発明の第２実施例の“カラー撮像装置”に
おける固体撮像素子の色フィルタ配置を示す。同図に示
すように、色フィルタにはYe,Mg,Cy,Gr（イエロ，マゼ
ンタ，シアン，グリーン）補色タイプのものが用いら
れ、各フィルタMg,Cy,Ye,Grはそれぞれ水平方向のピッ
チ2P_H、垂直方向には2P_V,水平方向のオフセット量P_Hの
オフセットサンプリング構造になっている。前記構造の
色フィルタアレイを設けた撮像素子のキャリア成分の出
る位置は、第２図に示す第１実施例のものと同様とな
る。さらに本実施例による光学的ローパスフィルタは第
３図（ａ）と同様の構成となるが、第10図に示すような
有効画素数が水平760,垂直480程度の固体撮像素子で、
画面の縦横比が3:4であればほぼ次の関係が成り立つ。

1.2P_H＝P_V …… 本実施例ではとしている。ただしP₁は第３図（ａ）31に示す第１の光
学部材と33に示す第３の光学部材が入射光線を分離する
距離、P₂は32に示す第２の光学部材が入射光線を分離す
る距離である。この光学的ローパスフィルタの伝達特性
を２次元周波数空間で表わしたものが第11図である。第
11図に示した点線91a,91b,92a,92b,93a,93bは光学的ロ
ーパスフィルタがトラップする周波数である。

同図より輝度，色差両信号のキャリア周波数をすべて
トラップしており、これにより充分な折り返り歪の抑制
を行うことができる。さらに、，，式を用いて計
算すると、|f_H|≦1/2P_Hの周波数領域の約96％で−15dB
以内のMTF落ちとなる。このためほぼ限界解像周波数1/2
P_Hに近い解像度を確保できる。

なお、第１実施例，本実施例とも、輝度，色差両信号
ともキャリア周波数でトラップし、MTFを零にする光学
的ローパスフィルタを用いているが、これは必ずしもキ
ャリア周波数のところでなくてもよく、キャリア周波数
近傍のMTFが充分零に近いものであればよい。そのため
には，式で示した条件を満足すればよい。

次に本実施例により、画像信号を得る方法について述
べる。

第12図は本実施例の信号処理を示すブロック図であ
る。

CCDセンサ101aには、第10図の４種の色フィルタから
なる色フィルタアレイ101bが配置されている。センサ10
1aからインタレース走査で一画素ごとに読み出された画
像信号は、AGC（自動利得調整回路）102により利得調整
された後、A/D変換器103で読出しクロックに同期したタ
イミングでA/D変換される。後で行う色処理のために、
このA/D変換機103は、リニアな特性が良く、量子化誤差
の点から考えて、８ビット以上で行うのが望ましい。A/
D変換された信号は、後で行う２次元信号処理のため、
一度ランダムアクセスメモリ125に書き込まれ、そこか
ら読み出される。

輝度信号は、CCDの画素読出しに対応した順序で、ラ
ンダムアクセスメモリ125から読み出され、ハイバスフ
ィルタ116で高域成分が検出され、後述するような方法
で得られる輝度の低域成分Y_Lと加算器117で加算され、D
/A変換器118でD/A変換され、出力される。

一方、色フィルタMg,Cy,Ye,Grに対応する信号は、ラ
ンダムアクセスメモリ125から読み出され、４つの補間
フィルタ106,107,108,109に入力され、各々同時化され
た色信号Mg,Cy,Ye,Grとなる。

これらの色信号はRGB変換部110に入力し、R,G,B3信号
に変換される。これは次のようなマトリクス演算による
ものである。

ここでマトリクスＡはセンサ101aのMg,Gr,Cy,Yeの分
光特性Mg（λ）,Gr（λ）,Cy（λ）,Ye（λ）をNTSCで
定められたRGBの理想分光特性Ｒ（λ）,G（λ）,B
（λ）に近づけるように最適化された３行４列のマトリ
クスである。

次にホワイトバランス部111でRGB信号をホワイトバラ
ンスセンサ120より得られた色温度情報をもとにR,G,Bか
らαR,G,βＢという形に変換することでホワイトバラン
スがとられる。

次にγ変換部112ではテーブル変換によってRGB信号が
γ変換される。

色差マトリックス部113では、というNTSCの規格にあった変換を行い、前述した輝度の
低減成分Y_Lと色差信号Ｒ−Y,B−Ｙとが生成される。色
差信号Ｒ−Y,B−Ｙはひき続くD/A変換器114,115でD/A変
換され、出力される。輝度の低減成分Y_Lは前述したよう
にハイパスフィルタ116で検出された輝度の高域成分と
加算機117で加算され、D/A変換器118でD/A変換され、出
力される。

本実施例は、ブロック図にそってハードワイヤードに
構成してもよいが、DSP（digital signal processer）
等を用いて、ソフトウエアで構成してもよい。

なお、第１実施例，第２実施例とも、静止画記録が可
能であるが、これらをビデオカメラ等動画記録に用いる
こともできる。

〔発明の効果〕

以上説明したように、本発明によれば水平，垂直方向
とも偽色の発生を少なくし、しかも輝度信号の解像度が
理論上の限界近くまで得られるカラー撮像装置を提供す
ることができる。

また、輝度，色差両信号とも、トラップすべき周波数
が高いことから、光学的ローパスフィルタを薄くコンパ
クトにすることができるため、光学系全体をコンパクト
に構成することができる。

さらに、メモリを用いることで奇数フィールドと偶数
フィールドの出力タイミングを適宜に設定できるので、
例えばスチルビデオカメラに用いた場合、フィールドヘ
ッドのみでフレーム撮影が可能となるため、低コストで
しかも信頼性に優れたスチルビデオカメラを作成するこ
とができる。

【図面の簡単な説明】

第１図は本発明の第１実施例の色フィルタ配列を示す
図、第２図は同実施例の周波数空間特性図、第３図は同
実施例で用いる光学的ローパスフィルタの作用を説明す
る図、第４図は同実施例の全体構成を示すブロック図、
第５図は同実施例のマトリックス回路19のブロック図、
第６図は同実施例のシリアルメモリ９の第１の構成模式
図、第７図は第６図に示すメモリのタイミングチャー
ト、第８図は同実施例のシリアルメモリ９の第２の構成
模式図、第９図は第８図に示すメモリのタイミングチャ
ート、第10図は本発明の第２実施例の色フィルタ配列を
示す図、第11図は同実施例で用いる光学的ローパスフィ
ルタの作用を説明する図、第12図は同実施例の全体構成
を示す図、第13図は従来例の色フィルタの配列例を示す
図、第14図は同従来例の周波数空間特性図、第15図は同
従来例の光学的ローパスフィルタの特性を示す図、第16
図は同従来例の光学的ローパスフィルタの作用を説明す
る図である。 1a……撮像素子CCD 1b……色フィルタアレイ９……シリアルメモリ 30……光学的ローパスフィルタ

Claims

(57)【特許請求の範囲】

【請求項１】つぎのａに示す色フィルタアレイを設けた
撮像素子を備え、かつこの撮像素子の前面につぎのｂに
示す光学的ローパスフィルタを設けたことを特徴とする
カラー撮像装置。 a.3種類以上の色フィルタからなり、色フィルタの水平
走査方向のピッチをP_Hとし垂直走査方向のピッチをP_Vと
して、同種類の色フィルタを、水平走査方向に2P_Hのピ
ッチで、垂直走査方向に2P_Vのピッチでかつ水平走査方
向にP_Hだけオフセットして配列してなる色フィルタアレ
イ。 b.水平走査方向に対し45゜の方向に距離P₁だけ入射した
光線を２本に分割する第１の光学部材と、水平走査方向
に対し90゜の方向に距離P₂だけ入射した光線を２本に分
割する第２の光学部材と、水平走査方向に対し135゜の
方向に距離P₁だけ入射した光線を２本に分割する第３の
光学部材とを積層してなり、つぎの条件を満たす光学的
ローパスフィルタ。
【請求項２】つぎのａに示す色フィルタアレイを設けた
撮像素子を備え、かつこの撮像素子の前面につぎのｂに
示す光学ローパスフィルタを設けたことを特徴とするカ
ラー撮像装置。 a.3種類以上の色フィルタからなり、色フィルタの水平
走査方向のピッチをP_Hとし垂直走査方向のピッチをP_Vと
して、同種類の色フィルタを、水平走査方向に2P_Hのピ
ッチで、垂直走査方向に2P_Vのピッチでかつ水平走査方
向にP_Hだけオフセットして配列してなる色フィルタアレ
イ。 b.前記色フィルタアレイの色フィルタ配列によって生じ
る水平・垂直２次元周波数空間における前記撮像素子の
輝度信号キャリア，色差信号キャリア位置近傍のトラッ
プする光学ローパスフィルタ。
【請求項３】撮像素子の出力を一旦メモリに記録し、該
メモリからの読み出し信号によりフレーム情報を形成す
ることを特徴とする請求項２記載のカラー撮像装置。