JP3591256B2

JP3591256B2 - Luminance signal processing circuit for color video camera

Info

Publication number: JP3591256B2
Application number: JP33455897A
Authority: JP
Inventors: 弘之宮原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1997-12-04
Filing date: 1997-12-04
Publication date: 2004-11-17
Anticipated expiration: 2017-12-04
Also published as: JPH11168740A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラービデオカメラの信号処理回路、特に輝度の補正を含む輝度信号処理回路に関する。
【０００２】
【従来の技術】
カラービデオカメラは、固体撮像素子、特にＣＣＤ固体撮像素子を用いたものが主流となっている。その基本的な処理過程は、固体撮像素子で画像イメージを光電変換素子に蓄積された電荷として検出する処理と、電荷量を量子化したデジタル信号をローパスフィルタ等により、アナログの画像信号に変換するという処理が含まれている。
【０００３】
一方、ＣＣＤ固体撮像素子の持つ画素数によって実質的な解像度が決まるが、サンプリングと復元過程を経た後には、本質的に高い空間周波数成分に起因する偽信号の発生が避けられない。
【０００４】
【発明が解決しようとする課題】
図３に、従来のカラーフィルタアレイの１例を示す。ここでは、Ｗ（白）、Ｇｒ（緑），Ｃｙ（シアン），Ｙｅ（黄）からなる色配列のものが用いられ、この４画素を基本単位とする。図３において、Ｐｘは水平方向の画素ピッチを、Ｐｙは垂直方向の画素ピッチをそれぞれ表わす。
【０００５】
ここで、水平方向に関しては、１／Ｐｘの空間周波数に対応する輝度解像度が期待できる。しかし、例えば、Ｗ，Ｇｒからなる１対のカラーフィルタを介して入射した光が結像される１対の画素の出力信号の強度の違いにより、fsを搬送波周波数として、以下の様な偽信号が生じる。
【０００６】
（π／２）・（ＷーＧｒ）ｓｉｎ（２π・ｆｓ・ｔ）
本発明は、このような偽信号を低減することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成する為に、本発明（請求項１）は、互いに色が異なる１対のカラーフィルタを有する１対の画素の繰り返しからなるラインを複数備えた固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ／デジタル変換手段と、
前記デジタル映像信号から垂直方向の高周波数成分を抽出する垂直フィルタと、
前記垂直方向の高周波数成分に対してコアリング処理を施す第１のコアリング処理手段と、
前記デジタル映像信号から低周波数成分を抽出してメイン信号を生成するメイン信号生成手段と、
前記デジタル映像信号から前記１対の画素の一方の出力信号Ｔ１と他方の出力信号Ｔ２とを分離する画素分離手段と、
前記一方の出力信号Ｔ１と前記他方の出力信号Ｔ２とから低周波数成分Ｔ１Ｌと低周波数成分Ｔ２Ｌとをそれぞれ生成するローパスフィルタと、
前記一方の出力信号Ｔ１と前記他方の出力信号Ｔ２とが同じ出力値になるよう変換信号Ｔ１’と変換信号Ｔ２’とに変換してモアレを抑圧するモアレ処理手段と、
モアレ処理した信号から水平方向の高周波数成分を抽出する水平フィルタと、
前記水平方向の高周波数成分に対してコアリング処理を施す第２のコアリング処理手段と、
前記第１のコアリング処理手段からの前記垂直方向の高周波数成分と、前記メイン信号生成手段からの前記メイン信号と、前記第２のコアリング処理手段からの前記水平方向の高周波数成分とを加算して輝度信号を生成する輝度信号生成手段とを少なくとも備えたカラービデオカメラ用輝度信号処理回路であって、
前記モアレ処理回路内で各ラインの各画素毎に、
Ｔ１’＝Ｔ１・（Ｔ１Ｌ＋Ｔ２Ｌ）／（２・Ｔ１Ｌ）
Ｔ２’＝Ｔ２・（Ｔ１Ｌ＋Ｔ２Ｌ）／（２・Ｔ２Ｌ）
の変換を行うことで、前記１対の画素の出力信号の違いにより生じる偽信号を低減させることを特徴とするカラービデオカメラ用輝度信号処理回路を提供する。
【０００８】
又、本発明（請求項２）は、互いに色が異なる１対のカラーフィルタを有する１対の画素の繰り返しからなるラインを複数備えた固体撮像素子からのアナログ撮像信号をデジタル映像信号に変換するアナログ／デジタル変換手段と、
前記デジタル映像信号から垂直方向の高周波数成分を抽出する垂直フィルタと、
前記垂直方向の高周波数成分に対してコアリング処理を施す第１のコアリング処理手段と、
前記デジタル映像信号から低周波数成分を抽出してメイン信号を生成するメイン信号生成手段と、
前記デジタル映像信号から前記１対の画素の一方の出力信号Ｔ１と他方の出力信号Ｔ２とを分離する画素分離手段と、
前記一方の出力信号Ｔ１と前記他方の出力信号Ｔ２とから低周波数成分Ｔ１Ｌと低周波数成分Ｔ２Ｌとをそれぞれ生成するローパスフィルタと、
前記一方の出力信号Ｔ１と前記他方の出力信号Ｔ２とが同じ出力値になるよう変換信号Ｔ１’と変換信号Ｔ２’とに変換してモアレを抑圧するモアレ処理手段と、
モアレ処理した信号から水平方向の高周波数成分を抽出する水平フィルタと、
前記水平方向の高周波数成分に対してコアリング処理を施す第２のコアリング処理手段と、
前記第１のコアリング処理手段からの前記垂直方向の高周波数成分と、前記メイン信号生成手段からの前記メイン信号と、前記第２のコアリング処理手段からの前記水平方向の高周波数成分とを加算して輝度信号を生成する輝度信号生成手段とを少なくとも備えたカラービデオカメラ用輝度信号処理回路であって、
前記モアレ処理回路内で各ラインの各画素毎に、
Ｔ１’＝２・Ｔ１・Ｔ２Ｌ／（Ｔ１Ｌ＋Ｔ２Ｌ）
Ｔ２’＝２・Ｔ２・Ｔ１Ｌ／（Ｔ１Ｌ＋Ｔ２Ｌ）
の変換を行うことで、前記１対の画素の出力信号の違いにより生じる偽信号を低減させることを特徴とするカラービデオカメラ用輝度信号処理回路を提供する。
【０００９】
更に、本発明（請求項３）は、上記請求項１又は請求項２において、前記固体撮像素子は、ＣＣＤ固体撮像素子であることを特徴とするカラービデオカメラ用輝度信号処理回路を提供する。
【００１０】
更に、本発明（請求項４）は、上記請求項１又は請求項２において、前記１対のカラーフィルタの組み合わせは、透明又は透明に近い分光を持つフィルタと緑のフィルタの組み合わせであることを特徴とするカラービデオカメラ用輝度信号処理回路を提供する。
【００１１】
更に、本発明（請求項５）は、上記請求項１又は請求項２において、前記１対のカラーフィルタの組み合わせは、マゼンダのフィルタと緑のフィルタの組み合わせであることを特徴とする記載のカラービデオカメラ用輝度信号処理回路を提供する。
【００１２】
【発明の実施の形態】
以下，本発明の実施の形態につき好ましい実施例により図面を参照しながら説明する。
【００１３】
図１は本発明の回路をカラービデオカメラに採用した場合の実施例の概略構成図である。なお、この図１では、図示を簡略化するため、レンズ光学系や記録媒体への記録系、各種信号処理系、操作系など、カラービデオカメラに一般的に備えられているものについては省略している。
【００１４】
まず，全体の概略構成につき説明する。
【００１５】
この図１において、固体操像素子（以下ＣＣＤ１とする）上には、図示しないレンズ光学系を介し、さらに補色系の色フィルタを介した被写体等からの光が入射されて結像される。このＣＣＤ１では、入射光を光電変換し、得られた撮像信号を相関二重サンプリング回路（ｃｏｒｒｅｌａｔｅｄｄｏｕｂｌｅｓａｍｐｌｉｎｇ；ＣＤＳ）２に供給する。
【００１６】
この相関二重サンプリング回路２では、ＣＣＤのランダム雑音（信号と暗電流のショット雑音）を除く雑音低減手法の１つである、いわゆる相関二重サンプリング処理を行う回路であって、具体的には、信号期間レベルからフィールドスルー期間のレベルを差し引くことによってリセット雑音を抑圧するような処理が行われる。該相関二重サンプリング回路２の出力は、アナログ／デジタル（Ａ／Ｄ）変換器３に送られる。
【００１７】
このアナログ／デジタル変換器３は、入力側にサンプルホールド回路を含み、相関二重サンプリング回路２を介し、さらに該サンプルホールド回路にてサンプルホールドされたアナログ撮像信号を、所定のサンプル周波数にてサンプリングしてデジタル信号（以下、デジタル映像信号と呼ぶ）に変換する。該アナログ／デジタル変換器３から出力されたデジタル映像信号は、垂直フィルタ回路４及びメイン信号処理回路６、画素分離回路８に送られる。
【００１８】
垂直フィルタ回路４は、デジタル映像信号から垂直方向の所定周波数帯域成分を抽出する垂直バンドパスフィルタ（Ｖ−ＢＰＦ）と、デジタル映像信号から垂直方向の高周波数帯域成分を抽出する垂直ハイパスフィルタ（Ｖ―ＨＰＦ）とを少なくとも有してなり、デジタル映像信号から垂直方向の輪郭成分を抽出するものである。なお、垂直バンドパスフィルタと垂直ハイパスフィルタは、共に巡回型（ＩＩＲ）或いは非巡回型（ＦＩＲ）のデジタルフィルタであり、垂直ハイパスフィルタは例えば５タップのフィルタ係数が設定され、垂直バンドパスフィルタは例えば３タップのフィルタ係数が設定されている。該垂直フィルタ回路４からの出力信号、すなわちデジタル映像信号から抽出された垂直方向の輪郭成分は、コアリング処理回路５に送られる。
【００１９】
コアリング処理回路５は、映像の輪郭成分に含まれる雑音成分を抑圧し、信号対雑音比（Ｓ／Ｎ）を改善する、いわゆるコアリング処理を行うものである。このコアリング処理回路５によってコアリング処理がなされた後の信号は，後述するγ（ガンマ）前輪郭補償回路１２及び、γ後輪郭補償回路１４に送られる。
【００２０】
一方、メイン信号処理回路６から出力されたデジタル映像信号（以下、メイン信号と呼ぶ）は、垂直ローパスフィルタ（Ｖ−ＬＰＦ）７ａ及び水平ローパスフィルタ（Ｈ−ＬＰＦ）７ｂに順次供給される。
【００２１】
この垂直ローパスフイルタ７ａ及び水平ローパスフィルタ７ｂは、後段のγ前輪郭補償回路１２においてメイン信号に輪郭成分すなわち高周波数成分を加算することになるので、その前段の処理として該メイン信号から高周波数成分を除去する。当該垂直ローパスフイルタ７ａは巡回型若しくは非巡回型のデジタルフイルタであり、例えば５タップのフィルタ係数が設定されているものである。この垂直ローパスフイルタ７ａ及び水平ローパスフィルタ７ｂにて高周波数成分が除去されたメイン信号は、γ前輪郭補償回路１２に供給される。
【００２２】
次に、画素分離回路８は、アナログ／デジタル変換器３から供給されるデジタル映像信号が、Ｗ（白），Ｇｒ（緑），Ｃｙ（シアン），Ｙｅ（黄）の補色フィルタの配列に応じて順次供給される信号であるため、これら順次供給される信号からＷ，Ｇ，Ｃｙ，Ｙｅにそれぞれ対応する画素の信号を各々分離するものである。また、この画素分離回路８では、当該画素分離を行うことにより抜けた画素に対応する部分を補間するために（すなわち抜けた部分に補色信号が存在するように）に、例えば水平方向の画素補間を行うことも可能である。モアレ処理回路９には、この画素分離回路８から出力された信号と、水平ローパスフィルタ８ａを経てその高周波数成分が除去された信号がモアレ処理回路９に供給される。
【００２３】
このモアレ処理回路９は、後述するように、画素分離回路８から供給されたＷ，Ｇ，Ｃｙ，Ｙｅの補色信号の各レベルバランスをとるように変換する信号変換回路でもあり、Ｗ，Ｇ，Ｃｙ，Ｙｅの補色信号の各レベルバランスをとってモアレを抑圧するモアレ処理を行う。該モアレ処理回路９からの出力信号は、水平ハイパスフィルタ（Ｈ−ＨＰＦ）１０に供給される。また、該モアレ処理回路９からは、コアリング処理回路５にて使用する制御信号ｙｆ１も出力される。
【００２４】
水平ハイパスフィルタ１０では、供給された信号から高周波数帯域成分を抽出する。すなわち、この水平ハイパスフィルタ１０からはモアレ処理後の水平方向の高周波数成分が出力されることになる。該水平ハイパスフィルタ１０からの出力信号は、コアリング処理回路１１に供給される。
【００２５】
当該コアリング処理回路１１は、コアリング処理回路５と略々同様の構成を有してなるものであり、水平ハイパスフィルタ１０から供給された信号の高周波数成分に含まれる雑音成分を抑圧し、信号対雑音比（Ｓ／Ｎ）を改善するコアリング処理を行うものである。このコアリング処理回路１１にてコアリング処理が施されたモアレ処理後の水平方向高周波数成分は、γ前輪郭補償回路１２に送られる。
【００２６】
γ前輪郭補償回路１２は、垂直フィルタ回路４及びコアリング処理回路５にて得られた垂直方向の輪郭成分と、メイン信号処理回路６、垂直ローパスフイルタ７ａ及び水平ローパスフィルタ７ｂにて得られた高周波数成分が除去されたメイン信号と、画素分離回路８からコアリング処理回路１１までの構成により得られたモアレ処理及びコアリング処理後の水平方向高周波数成分とを混合し、輝度信号を構成すると共に、該輝度信号の輪郭補償を行う。該γ前輪郭補償回路１２にて輪郭補償が施された映像信号は、ガンマ処理回路１３に供給される。
【００２７】
該ガンマ処理回路１３は、表示デバイスとして使用されることになるＣＲＴ（陰極線管）のガンマ特性を補正するためのγ（ガンマ）補正処理を、γ前輪郭補償回路１２から供給されたデジタル映像信号に施す。このガンマ処理回路１３にてガンマ補正処理された映像信号は、γ後輪郭補償回路１４と水平アパコン回路１６とに送られる。
【００２８】
水平アパコン回路１６では、ガンマ処理回路１３にてガンマ補正処理された映像信号に対して、水平方向（及び垂直方向）のアパーチャ補正を行い、該アパーチャ補正後の映像信号をコアリング処理回路１５に供給する。
【００２９】
該コアリング処理回路１５も、コアリング処理回路１１やコアリング処理回路５と略々同様の構成を有するものであり、映像信号の高周波数帯域成分に含まれる雑音成分を抑圧し、信号対雑音比（Ｓ／Ｎ）を改善するコアリング処理を行うものである。このコアリング処理回路１５の出力信号は、γ後輪郭補償回路１４に送られる。
【００３０】
γ後輪郭補償回路１４は、垂直フィルタ回路４及びコアリング処理回路５にて得られた垂直方向の輪郭成分と、ガンマ処理回路１３からのガンマ補正処理後の映像信号と、水平アパコン回路１６及びコアリング処理回路１５にて得られた水平方向のアパ−チャ補正後の信号とを混合し、ガンマ補正処理後の輝度信号の輪郭補償を行う。
【００３１】
このγ後輪郭補償回路１４の出力信号が、本実施の形態のカラービデオカメラのデジタル映像信号として出力、若しくは記録媒体に記録される。本実施例のビデオカメラは，以上の様な構成となっている。
【００３２】
次に、画素分離回路８から順次供給されるデジタル映像信号の処理を説明する。ここに、本発明の要部となる特徴が含まれている。
【００３３】
このカメラに使用されているＣＣＤ１のカラーフィルタアレイは、図３に示すように、Ｗ，Ｇｒ，Ｃｙ，Ｙｅの４画素を１単位とした色配列のものが用いられている。図３において、Ｐｘは水平方向の画素ピッチを、Ｐｙは垂直方向の画素ピッチをそれぞれ表わす。
【００３４】
又、ＣＣＤ１では、図２に示したように、各画素に設けられた光電変換素子１８に蓄積されている電荷は、全画素分、垂直ＣＣＤ１９に転送され、ライン毎に水平ＣＣＤ２０によって読出される。又、１行おきに読出すインターリーブ方式や、水平ＣＣＤを２本用いる方式等もあるが、何れも全く同様の処理が可能である。
【００３５】
従って、Ｗ、Ｇｒ、Ｗ、Ｇｒ・・・という系列と、Ｃｙ、Ｙｅ、Ｃｙ、Ｙｅ・・・という系列の信号が得られる。
【００３６】
ここで、水平方向に関しては、一般に１／Ｐｘの空間周波数に対応する輝度解像度が期待できる。しかし、水平ローパスフィルタ８ａを経ることにより、ＷＧｒラインの信号Ｓは、Ｗ信号とＧｒ信号の強度の差分により偽信号を含み、ｆｓを搬送波周波数として、次の様なものとなる。
【００３７】
【数１】
Ｓ＝（Ｗ＋Ｇｒ）／２＋（π／２）・（ＷーＧｒ）ｓｉｎ（２π・ｆｓ・ｔ）
・・・・・・（１）
ここで、第１項は本来の輝度信号であり、第２項は折り返し成分による偽信号である。そして、各入力ラインの各画素毎に次の様な変換を行う。
【００３８】
Ｗ’＝２・Ｗ・ＧｒＬ／（ＷＬ＋ＧｒＬ）
Ｇｒ’＝２・Ｇｒ・ＷＬ／（ＷＬ＋ＧｒＬ）
Ｃｙ’＝２・Ｃｙ・ＹｅＬ／（ＣｙＬ＋ＹｅＬ）
Ｙｅ’＝２・Ｙｅ・ＣｙＬ／（ＣｙＬ＋ＹｅＬ）
ここで、ＷＬ、ＧｒＬ、ＣｙＬ、ＹｅＬは、夫々ＣＣＤからの出力信号Ｗ、Ｇｒ、Ｃｙ、Ｙｅの低周波数成分である。具体的には，対象となる画素前後の数画素，例えば５ー１５画素から水平ローパスフィルタ８ａを介して求める。そして、この変換は、モアレ処理回路９の内部で行われる。
【００３９】
このような変換を行うことにより、変換後のＷ’、Ｇｒ’、Ｃｙ’、Ｙｅ’から求めたＷＧｒラインの信号のＷの低周波数領域の成分ＳｗＬと高周波数領域の成分ＳｗＨは，以下の様になる。
【００４０】
ＳｗＬ＝２・Ｗ・ＧｒＬ／（ＷＬ＋ＧｒＬ）
ＳｗＨ＝２・Ｗ・ＧｒＬ／（ＷＬーＧｒＬ）
一方、ＷＧｒラインの信号のＧｒの低周波数領域の成分ＳｇｒＬと高周波数領域の成分ＳｇｒＨは，以下の様になる。
【００４１】
ＳｇｒＬ＝２・Ｇｒ・ＷＬ／（ＷＬ＋ＧｒＬ）
ＳｇｒＨ＝ー２・Ｇｒ・ＷＬ／（ＷＬーＧｒＬ）
同様に、ＣｙＹｅラインのＣｙの信号の低周波数領域の成分ＳｃｙＬと高周波数領域の成分ＳｃｙＨは，以下の様になる。
【００４２】
ＳｃｙＬ＝２・Ｃｙ・ＹｅＬ／（ＣｙＬ＋ＹｅＬ）
ＳｃｙＨ＝２・Ｃｙ・ＹｅＬ／（ＣｙＬーＹｅＬ）
又、ＣｙＹｅラインのＹｅの信号の低周波数領域の成分ＳｙｅＬと高周波数領域の成分ＳｙｅＨは，以下の様になる。
【００４３】
ＳｙｅＬ＝２・Ｙｅ・ＣｙＬ／（ＣｙＬ＋ＹｅＬ）
ＳｙｅＨ＝ー２・Ｙｅ・ＣｙＬ／（ＣｙＬーＹｅＬ）
従って、高周波数領域での折り返し成分は，各画素で同じレベルとなることが分かる。従来では、輝度成分は、ローパスフィルタで平均化していたが、本発明では水平方向には加算することなく上記演算を行うことになる。
【００４４】
上記演算による分光の効果は、各画素の共通分光成分、即ち、Ｇｒ分光と等価なものとなるので、上記演算結果は色再現に影響しない周波数帯（輝度帯域）での処理となる。
【００４５】
又、上記効果は、以下の様な変換を用いても同様である。
【００４６】
Ｗ’＝Ｗ・（ＷＬ＋ＧｒＬ）／（２・ＷＬ）
Ｇｒ’＝Ｇｒ・（ＷＬ＋ＧｒＬ）／（２・ＧｒＬ）
Ｃｙ’＝Ｃｙ・（ＣｙＬ＋ＹｅＬ）／（２・ＣｙＬ）
Ｙｅ’＝Ｙｅ・（ＣｙＬ＋ＹｅＬ）／（２・ＹｅＬ）
又、上記変換と同様の変換を、垂直方向に関して行ってもよい。即ち、垂直方向に差があるということと水平方向に差があるということとは等価であり、ＹｗをＷＧｒラインの輝度、ＹｃをＣｙＹｅラインの輝度として、以下の変換を行えばよい。
【００４７】
Ｙｗ’＝Ｙｗ／（ＹｗＬ＋ＹｃＬ）
Ｙｃ’＝Ｙｃ／（ＹｗＬ＋ＹｃＬ）
ここでも、低周波数領域の成分を示す為に文字Ｌを付けた。
【００４８】
以上、Ｗ，Ｇｒ，Ｃｙ，Ｙｅの４画素を１単位とした色配列のものについて説明したが、本発明はこれに限らず、別のタイプのフィルタでも、前記変換は有効である。例えば、図４に示した様なＭｇ（マゼンダ），Ｇｒ，Ｃｙ，Ｙｅの４画素を１単位とした色配列を持ったＣＣＤ固体撮像素子でも、同様の処理が効果的である。この場合、変換処理は、次の様なものとなる。
【００４９】
Ｍｇ’＝２・Ｍｇ・ＧｒＬ／（ＭｇＬ＋ＧｒＬ）
Ｇｒ’＝２・Ｇｒ・ＭｇＬ／（ＭｇＬ＋ＧｒＬ）
Ｃｙ’＝２・Ｃｙ・ＹｅＬ／（ＣｙＬ＋ＹｅＬ）
Ｙｅ’＝２・Ｙｅ・ＣｙＬ／（ＣｙＬ＋ＹｅＬ）
又は
Ｍｇ’＝Ｍｇ・（ＭｇＬ＋ＧｒＬ）／（２・ＭｇＬ）
Ｇｒ’＝Ｇｒ・（ＭｇＬ＋ＧｒＬ）／（２・ＧｒＬ）
Ｃｙ’＝Ｃｙ・（ＣｙＬ＋ＹｅＬ）／（２・ＣｙＬ）
Ｙｅ’＝Ｙｅ・（ＣｙＬ＋ＹｅＬ）／（２・ＹｅＬ）
【００５０】
【発明の効果】
以上説明したように、この発明によって、カラービデオカメラ用輝度信号処理において発生していた偽信号の大幅な抑制が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態によるカラービデオカメラ用輝度信号処理回路を用いたシステムのブロック図。
【図２】本発明の実施形態によるカラービデオカメラ用輝度信号処理回路を備えたカラービデオカメラのＣＣＤ固体撮像素子における電荷の転送を説明する図。
【図３】本発明の実施形態によるカラービデオカメラ用輝度信号処理回路を備えたカラービデオカメラのＣＣＤ固体撮像素子のカラーフィルタアレイを示す図。
【図４】本発明の実施形態によるカラービデオカメラのＣＣＤ固体撮像素子で用いられるカラーフィルタアレイの別の例を示す図。
【符号の説明】
１固体撮像素子
２相関二重サンプリング回路
３デジタル変換器
４垂直フィルタ回路
５コアリング処理回路
６メイン信号処理回路
７ａ垂直ローパスフイルタ
７ｂ水平ローパスフィルタ
８画素分離回路
８ａ水平ローパスフィルタ
９モアレ処理回路（信号変換回路）
１０水平ハイパスフィルタ
１１コアリング処理回路
１２前輪郭補償回路
１３ガンマ処理回路
１４後輪郭補償回路
１５コアリング処理回路
１６水平アパコン回路
１８光電変換素子
１９垂直ＣＣＤ
２０水平ＣＣＤ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a signal processing circuit of a color video camera, and more particularly to a luminance signal processing circuit including luminance correction.
[0002]
[Prior art]
A color video camera using a solid-state imaging device, particularly a CCD solid-state imaging device, is mainly used. The basic processing process is a process of detecting an image image as a charge stored in a photoelectric conversion element by a solid-state imaging device, and converting a digital signal obtained by quantizing a charge amount into an analog image signal by a low-pass filter or the like. Is included.
[0003]
On the other hand, the actual resolution is determined by the number of pixels of the CCD solid-state imaging device. However, after the sampling and restoration processes, generation of a false signal due to an essentially high spatial frequency component is inevitable.
[0004]
[Problems to be solved by the invention]
FIG. 3 shows an example of a conventional color filter array. Here, a color array composed of W (white), Gr (green), Cy (cyan), and Ye (yellow) is used, and these four pixels are used as a basic unit. In FIG. 3, Px represents the pixel pitch in the horizontal direction, and Py represents the pixel pitch in the vertical direction.
[0005]
Here, in the horizontal direction, a luminance resolution corresponding to a spatial frequency of 1 / Px can be expected. However, for example, due to the difference in the intensity of output signals of a pair of pixels on which light incident through a pair of color filters composed of W and Gr is formed , fs is set as a carrier frequency and the following false signal is generated. Occurs.
[0006]
(Π / 2) · (W-Gr) sin (2π · fs · t)
An object of the present invention is to reduce such a false signal.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention (claim 1) provides an analog imaging signal from a solid-state imaging device having a plurality of lines formed by repeating a pair of pixels having a pair of color filters having different colors from each other. Analog / digital conversion means for converting to a digital video signal;
A vertical filter for extracting a vertical high-frequency component from the digital video signal,
First coring processing means for performing coring processing on the high frequency component in the vertical direction;
Main signal generation means for generating a main signal by extracting a low frequency component from the digital video signal,
Pixel separating means that apart min the output signal T1 and the other output signal T2 of one of the pixels of said pair from said digital video signal,
A low-pass filter that forms each raw and low frequency components T1L and low frequency components T2L from the other output signal T2 Metropolitan and said one of the output signals T1,
Moiré processing means for converting the one output signal T1 and the other output signal T2 into a converted signal T1 ′ and a converted signal T2 ′ so as to have the same output value and suppressing moiré ;
A horizontal filter that extracts high-frequency components in the horizontal direction from the moiré-processed signal;
Second coring processing means for performing coring processing on the high-frequency component in the horizontal direction;
The vertical high-frequency component from the first coring processing unit, the main signal from the main signal generation unit, and the horizontal high-frequency component from the second coring processing unit adding to at least provided with a color video camera for luminance signal processing circuit and a luminance signal generation means for generating a luminance signal,
In the moiré processing circuit, for each pixel of each line,
T1 ′ = T1 · (T1L + T2L) / (2 · T1L)
T2 ′ = T2 · (T1L + T2L) / (2 · T2L)
By performing the above-mentioned conversion to reduce a false signal caused by a difference between the output signals of the pair of pixels, and to provide a luminance signal processing circuit for a color video camera.
[0008]
Further, according to the present invention (claim 2), an analog imaging signal from a solid-state imaging device having a plurality of lines formed by repeating a pair of pixels having a pair of color filters having different colors is converted into a digital video signal. Analog / digital conversion means;
A vertical filter for extracting a vertical high-frequency component from the digital video signal,
First coring processing means for performing coring processing on the high frequency component in the vertical direction;
Main signal generation means for generating a main signal by extracting a low frequency component from the digital video signal,
Pixel separating means that apart min the output signal T1 and the other output signal T2 of one of the pixels of said pair from said digital video signal,
A low-pass filter that forms each raw and low frequency components T1L and low frequency components T2L from the other output signal T2 Metropolitan and said one of the output signals T1,
Moiré processing means for converting the one output signal T1 and the other output signal T2 into a converted signal T1 ′ and a converted signal T2 ′ so as to have the same output value and suppressing moiré ;
A horizontal filter that extracts high-frequency components in the horizontal direction from the moiré-processed signal;
Second coring processing means for performing coring processing on the high-frequency component in the horizontal direction;
The vertical high-frequency component from the first coring processing unit, the main signal from the main signal generation unit, and the horizontal high-frequency component from the second coring processing unit adding to at least provided with a color video camera for luminance signal processing circuit and a luminance signal generation means for generating a luminance signal,
In the moiré processing circuit, for each pixel of each line,
T1 ′ = 2 · T1 · T2L / (T1L + T2L)
T2 ′ = 2 · T2 · T1L / (T1L + T2L)
By performing the above-mentioned conversion to reduce a false signal caused by a difference between the output signals of the pair of pixels, and to provide a luminance signal processing circuit for a color video camera.
[0009]
Further, the present invention (claim 3) provides a luminance signal processing circuit for a color video camera, wherein the solid-state image pickup device according to claim 1 or 2 is a CCD solid-state image pickup device.
[0010]
Further, according to the present invention (claim 4), in the above claim 1 or claim 2 , the combination of the pair of color filters is a combination of a filter having a transparent or nearly transparent spectrum and a green filter. A luminance signal processing circuit for a color video camera is provided.
[0011]
Further, according to the present invention (claim 5), the color filter according to claim 1 or 2 , wherein the combination of the pair of color filters is a combination of a magenta filter and a green filter. Provided is a luminance signal processing circuit for a video camera.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings by way of preferred examples.
[0013]
FIG. 1 is a schematic configuration diagram of an embodiment in which the circuit of the present invention is employed in a color video camera. In FIG. 1, for the sake of simplicity, components generally provided in a color video camera such as a lens optical system, a recording system on a recording medium, various signal processing systems, and an operation system are omitted. ing.
[0014]
First, the overall schematic configuration will be described.
[0015]
In FIG. 1, light from a subject or the like through a lens optical system (not shown) and a color filter of a complementary color system is incident on a solid-state image pickup device (hereinafter, referred to as a CCD 1) to form an image. In the CCD 1, incident light is photoelectrically converted, and the obtained image signal is supplied to a correlated double sampling circuit (CDS) 2.
[0016]
In the correlated double sampling circuit 2, which is one of the noise reduction method except the CCD random noise (shot noise of the signal and the dark current), I circuit der performing so-called correlated double sampling processing, specific Performs processing to suppress reset noise by subtracting the level of the field through period from the signal period level. The output of the correlated double sampling circuit 2 is sent to an analog / digital (A / D) converter 3.
[0017]
The analog / digital converter 3 includes a sample and hold circuit on the input side, and samples the analog image signal sampled and held by the sample and hold circuit via the correlated double sampling circuit 2 at a predetermined sample frequency. And converts it into a digital signal (hereinafter, referred to as a digital video signal). The digital video signal output from the analog / digital converter 3 is sent to a vertical filter circuit 4, a main signal processing circuit 6, and a pixel separation circuit 8.
[0018]
The vertical filter circuit 4 includes a vertical band-pass filter (V-BPF) for extracting a predetermined vertical frequency band component from the digital video signal, and a vertical high-pass filter (V) for extracting a vertical high-frequency band component from the digital video signal. -HPF) and extracts a vertical contour component from a digital video signal. Incidentally, the vertical band-pass filter and a vertical high-pass filter are both digital filter of the cyclic (IIR) or nonrecursive (FIR), the vertical high-pass filter is set the filter coefficients of the 5-tap Invite example embodiment, the vertical band-pass filter Is set, for example, with a 3-tap filter coefficient. The output signal from the vertical filter circuit 4, that is, the vertical contour component extracted from the digital video signal is sent to the coring processing circuit 5.
[0019]
The coring processing circuit 5 performs a so-called coring process for suppressing a noise component included in a contour component of a video and improving a signal-to-noise ratio (S / N). The signal subjected to the coring processing by the coring processing circuit 5 is sent to a γ (gamma) front contour compensation circuit 12 and a γ rear contour compensation circuit 14 described later.
[0020]
On the other hand, the digital video signal output from the main signal processing circuit 6 (hereinafter, referred to as main signal) is sequentially supplied to the vertical low-pass filter (V-LPF) 7a and a horizontal low-pass filter (H-LPF) 7b.
[0021]
The vertical low-pass filter 7a and the horizontal low-pass filter 7b add a contour component, that is, a high frequency component to the main signal in the γ front contour compensating circuit 12 in the subsequent stage. Is removed. The vertical low-pass filter 7a is a digital filter of the cyclic or non-cyclic, in which for example the filter coefficients of the 5 taps that have been set. The main signal from which high frequency components have been removed by the vertical low-pass filter 7a and the horizontal low-pass filter 7b is supplied to the γ front contour compensation circuit 12.
[0022]
Next, the pixel separation circuit 8 converts the digital video signal supplied from the analog / digital converter 3 into a W (white) , Gr (green), Cy (cyan), and Ye (yellow) complementary color filter array. Since these signals are sequentially supplied, the signals of the pixels respectively corresponding to W, G, Cy, and Ye are separated from these sequentially supplied signals. Further, in the pixel separation circuit 8, (as the complementary color signals in other words missing portion is present) in order to interpolate the portion corresponding to the pixel omission by performing the pixel separation, for example of pixels in the horizontal direction It is also possible to perform interpolation. The signal output from the pixel separating circuit 8 and the signal from which the high frequency component has been removed through the horizontal low-pass filter 8a are supplied to the moiré processing circuit 9 to the moiré processing circuit 9.
[0023]
The moire processing circuit 9, as will be described later, is also a signal conversion circuit for converting W supplied from the pixel separation circuit 8, G, Cy, and each level balance of the complementary color signals of Ye in so that, W, A moiré process is performed to suppress the moiré by balancing the levels of the G, Cy, and Ye complementary color signals . The output signal from the moiré processing circuit 9 is supplied to a horizontal high-pass filter (H-HPF) 10. Also, from the said moire processing circuit 9, to that control signal yf1 used in the coring processing circuit 5 is also output.
[0024]
The horizontal high-pass filter 10 extracts a high frequency band component from the supplied signal. That is, the horizontal high-pass filter 10 outputs a high frequency component in the horizontal direction after the moiré processing. An output signal from the horizontal high-pass filter 10 is supplied to a coring processing circuit 11.
[0025]
The coring processing circuit 11 has substantially the same configuration as the coring processing circuit 5, and suppresses a noise component included in a high-frequency component of a signal supplied from the horizontal high-pass filter 10, A coring process for improving a signal-to-noise ratio (S / N) is performed. The high frequency component in the horizontal direction after the moiré processing subjected to the coring processing by the coring processing circuit 11 is sent to the γ front contour compensation circuit 12.
[0026]
The γ front contour compensation circuit 12 is obtained by the vertical contour components obtained by the vertical filter circuit 4 and the coring processing circuit 5, and by the main signal processing circuit 6, the vertical low-pass filter 7a, and the horizontal low-pass filter 7b. A luminance signal is formed by mixing the main signal from which the high-frequency component has been removed and the horizontal high-frequency component after the moiré processing and the coring processing obtained by the configuration from the pixel separation circuit 8 to the coring processing circuit 11. At the same time, contour compensation of the luminance signal is performed. The video signal subjected to the contour compensation by the γ front contour compensation circuit 12 is supplied to a gamma processing circuit 13.
[0027]
The gamma processing circuit 13 performs a γ (gamma) correction process for correcting a gamma characteristic of a CRT (cathode ray tube) to be used as a display device, using a digital video signal supplied from the γ front contour compensation circuit 12. Apply to The video signal subjected to the gamma correction processing by the gamma processing circuit 13 is sent to the γ rear contour compensation circuit 14 and the horizontal aperture control circuit 16.
[0028]
The horizontal aperture control circuit 16 performs horizontal (and vertical) aperture correction on the video signal subjected to the gamma correction processing in the gamma processing circuit 13, and outputs the video signal after the aperture correction to the coring processing circuit 15. Supply.
[0029]
The coring processing circuit 15 also has substantially the same configuration as the coring processing circuit 11 and the coring processing circuit 5, and suppresses a noise component included in a high frequency band component of a video signal, and performs signal-to-noise processing. A coring process for improving the ratio (S / N) is performed. The output signal of the coring circuit 1 5 is sent to a contour compensating circuit 14 after gamma.
[0030]
The post-gamma contour compensating circuit 14 includes a vertical contour component obtained by the vertical filter circuit 4 and the coring processing circuit 5, a video signal after gamma correction processing from the gamma processing circuit 13, a horizontal aperture control circuit 16, The signal after the horizontal aperture correction obtained by the coring processing circuit 15 is mixed to perform contour compensation of the luminance signal after the gamma correction processing.
[0031]
The output signal of the post-γ contour compensating circuit 14 is output as a digital video signal of the color video camera of the present embodiment or is recorded on a recording medium. The video camera of the present embodiment has the above configuration.
[0032]
Next, processing of digital video signals sequentially supplied from the pixel separation circuit 8 will be described. Here, features that are essential parts of the present invention are included.
[0033]
As shown in FIG. 3, the color filter array of the CCD 1 used in this camera has a color arrangement in which four pixels of W , Gr, Cy, and Ye are defined as one unit. In FIG. 3 , Px represents the pixel pitch in the horizontal direction, and Py represents the pixel pitch in the vertical direction.
[0034]
In the CCD 1, as shown in FIG. 2, the electric charges stored in the photoelectric conversion elements 18 provided in each pixel are transferred to the vertical CCD 19 for all pixels, and are read out by the horizontal CCD 20 line by line. . In addition, there are an interleaving method for reading out every other row, a method using two horizontal CCDs, and the like, and all of them can perform exactly the same processing.
[0035]
Therefore, signals of a series of W, Gr, W, Gr... And a series of Cy, Ye, Cy, Ye.
[0036]
Here, in the horizontal direction, generally, a luminance resolution corresponding to a spatial frequency of 1 / Px can be expected. However, after passing through the horizontal low-pass filter 8a , the signal S on the WGr line contains a false signal due to the difference between the intensities of the W signal and the Gr signal, and the following is obtained using fs as the carrier frequency.
[0037]
(Equation 1)
S = (W + Gr) / 2 + (π / 2) · (W−Gr) sin (2π · fs · t)
... (1)
Here, the first term is an original luminance signal, and the second term is a false signal due to a folded component. Then, the following conversion is performed for each pixel of each input line.
[0038]
W ′ = 2 · W · GrL / (WL + GrL)
Gr ′ = 2 · Gr · WL / (WL + GrL)
Cy ′ = 2 · Cy · YeL / (CyL + YeL)
Ye '= 2 · Ye · CyL / (CyL + YeL)
Here, WL, GrL, CyL and YeL are low frequency components of the output signals W, Gr, Cy and Ye from the CCD, respectively. Specifically, it is obtained from several pixels before and after the target pixel, for example, 5-15 pixels, via the horizontal low-pass filter 8a. This conversion is performed inside the moiré processing circuit 9.
[0039]
By performing such conversion, a low-frequency component SwL and a high-frequency component SwH of W of the WGr line signal obtained from the converted W ′, Gr ′, Cy ′, and Ye ′ are as follows: Looks like.
[0040]
SwL = 2 · W · GrL / (WL + GrL)
SwH = 2 · W · GrL / (WL−GrL)
On the other hand, the component Sg r L in the low frequency region and the component Sg r H in the high frequency region of Gr of the signal on the WGr line are as follows.
[0041]
Sg r L = 2 · Gr · WL / (WL + GrL)
Sg r H = −2 · Gr · WL / (WL−GrL)
Similarly, the component ScyL in the low frequency region and the component ScyH in the high frequency region of the Cy signal on the CyYe line are as follows.
[0042]
Sc y L = 2 · Cy · YeL / (CyL + YeL)
Sc y H = 2 · Cy · YeL / (CyL−YeL)
Further, component S ye H component S ye L and the high frequency range of the low frequency range of the Ye signals CyYe line becomes as follows.
[0043]
Sy e L = 2 · Ye · CyL / (CyL + YeL)
Sy e H = -2 ・ Ye ・ CyL / (CyL-YeL)
Therefore, it is understood that the aliasing component in the high frequency region has the same level in each pixel. Conventionally, the luminance component has been averaged by a low-pass filter. However, in the present invention, the above calculation is performed without adding in the horizontal direction.
[0044]
Since the spectral effect obtained by the above calculation is equivalent to a common spectral component of each pixel, that is, Gr spectral, the calculation result is a process in a frequency band (luminance band) which does not affect color reproduction.
[0045]
Further, the above-described effect is the same even when the following conversion is used.
[0046]
W ′ = W · (WL + GrL) / (2 · WL)
Gr ′ = Gr · (WL + GrL) / (2 · GrL)
Cy ′ = Cy · (CyL + YeL) / (2 · CyL)
Ye ′ = Ye · (CyL + YeL) / (2 · YeL)
Further, the same conversion as the above conversion may be performed in the vertical direction. That is, the difference in the vertical direction is equivalent to the difference in the horizontal direction, and the following conversion may be performed using Yw as the luminance of the WGr line and Yc as the luminance of the CyYe line.
[0047]
Yw '= Yw / (YwL + YcL)
Yc '= Yc / (YwL + YcL)
Again, the letter L has been added to indicate components in the low frequency range.
[0048]
As described above, the color arrangement having four pixels of W , Gr , Cy , and Ye as one unit has been described. However, the present invention is not limited to this, and the conversion is effective even with another type of filter. For example, the same processing is effective for a CCD solid-state imaging device having a color array in which four pixels of Mg (magenta) , Gr, Cy, and Ye as one unit as shown in FIG. In this case, the conversion process is as follows.
[0049]
Mg ′ = 2 · Mg · GrL / (MgL + GrL)
Gr ′ = 2 · Gr · MgL / (MgL + GrL)
Cy ′ = 2 · Cy · YeL / (CyL + YeL)
Ye '= 2 · Ye · CyL / (CyL + YeL)
Or Mg ′ = Mg · (MgL + GrL) / (2 · MgL)
Gr ′ = Gr · (MgL + GrL) / (2 · GrL)
Cy ′ = Cy · (CyL + YeL) / (2 · CyL)
Ye ′ = Ye · (CyL + YeL) / (2 · YeL)
[0050]
【The invention's effect】
As described above, according to the present invention, it is possible to greatly suppress a false signal generated in the luminance signal processing for a color video camera.
[Brief description of the drawings]
FIG. 1 is a block diagram of a system using a luminance signal processing circuit for a color video camera according to an embodiment of the present invention.
FIG. 2 is a view for explaining charge transfer in a CCD solid-state imaging device of a color video camera including a color video camera luminance signal processing circuit according to an embodiment of the present invention.
FIG. 3 is a diagram showing a color filter array of a CCD solid-state imaging device of a color video camera provided with a luminance signal processing circuit for a color video camera according to an embodiment of the present invention.
FIG. 4 is a diagram showing another example of a color filter array used in the CCD solid-state imaging device of the color video camera according to the embodiment of the present invention.
[Explanation of symbols]
Reference Signs List 1 solid-state imaging device 2 correlated double sampling circuit 3 digital converter 4 vertical filter circuit 5 coring processing circuit 6 main signal processing circuit 7a vertical low-pass filter 7b horizontal low-pass filter 8 pixel separation circuit 8a horizontal low-pass filter 9 moire processing circuit (signal Conversion circuit)
Reference Signs List 10 horizontal high-pass filter 11 coring processing circuit 12 front contour compensation circuit 13 gamma processing circuit 14 rear contour compensation circuit 15 coring processing circuit 16 horizontal aperture control circuit 18 photoelectric conversion element 19 vertical CCD
20 horizontal CCD

Claims

Analog / digital conversion means for converting an analog imaging signal from a solid-state imaging device having a plurality of lines formed by repeating a pair of pixels having a pair of color filters having different colors from each other into a digital video signal;
A vertical filter for extracting a vertical high-frequency component from the digital video signal,
First coring processing means for performing coring processing on the high frequency component in the vertical direction;
Main signal generation means for generating a main signal by extracting a low frequency component from the digital video signal,
Pixel separating means that apart min the output signal T1 and the other output signal T2 of one of the pixels of said pair from said digital video signal,
A low-pass filter that forms each raw and low frequency components T1L and low frequency components T2L from the other output signal T2 Metropolitan and said one of the output signals T1,
Moiré processing means for converting the one output signal T1 and the other output signal T2 into a converted signal T1 ′ and a converted signal T2 ′ so as to have the same output value and suppressing moiré ;
A horizontal filter that extracts high-frequency components in the horizontal direction from the moiré-processed signal;
Second coring processing means for performing coring processing on the high-frequency component in the horizontal direction;
The vertical high-frequency component from the first coring processing unit, the main signal from the main signal generation unit, and the horizontal high-frequency component from the second coring processing unit adding to at least provided with a color video camera for luminance signal processing circuit and a luminance signal generation means for generating a luminance signal,
In the moiré processing circuit, for each pixel of each line,
T1 ′ = T1 · (T1L + T2L) / (2 · T1L)
T2 ′ = T2 · (T1L + T2L) / (2 · T2L)
A luminance signal processing circuit for a color video camera, characterized in that a false signal generated due to a difference between the output signals of the pair of pixels is reduced by performing the above conversion.

Analog / digital conversion means for converting an analog imaging signal from a solid-state imaging device having a plurality of lines formed by repeating a pair of pixels having a pair of color filters having different colors from each other into a digital video signal;
A vertical filter for extracting a vertical high-frequency component from the digital video signal,
First coring processing means for performing coring processing on the high frequency component in the vertical direction;
Main signal generation means for generating a main signal by extracting a low frequency component from the digital video signal,
Pixel separating means that apart min the output signal T1 and the other output signal T2 of one of the pixels of said pair from said digital video signal,
A low-pass filter that forms each raw and low frequency components T1L and low frequency components T2L from the other output signal T2 Metropolitan and said one of the output signals T1,
Moiré processing means for converting the one output signal T1 and the other output signal T2 into a converted signal T1 ′ and a converted signal T2 ′ so as to have the same output value and suppressing moiré ;
A horizontal filter that extracts high-frequency components in the horizontal direction from the moiré-processed signal;
Second coring processing means for performing coring processing on the high-frequency component in the horizontal direction;
The vertical high-frequency component from the first coring processing unit, the main signal from the main signal generation unit, and the horizontal high-frequency component from the second coring processing unit adding to at least provided with a color video camera for luminance signal processing circuit and a luminance signal generation means for generating a luminance signal,
In the moiré processing circuit, for each pixel of each line,
T1 ′ = 2 · T1 · T2L / (T1L + T2L)
T2 ′ = 2 · T2 · T1L / (T1L + T2L)
A luminance signal processing circuit for a color video camera, characterized in that a false signal generated due to a difference between the output signals of the pair of pixels is reduced by performing the above conversion.

3. The luminance signal processing circuit for a color video camera according to claim 1, wherein the solid-state imaging device is a CCD solid-state imaging device.

3. The luminance signal processing circuit for a color video camera according to claim 1, wherein the combination of the pair of color filters is a combination of a filter having a transparent or nearly transparent spectrum and a green filter. .

3. The luminance signal processing circuit for a color video camera according to claim 1, wherein the combination of the pair of color filters is a combination of a magenta filter and a green filter.