JP4320807B2

JP4320807B2 - Camera signal processing apparatus and camera signal processing method

Info

Publication number: JP4320807B2
Application number: JP31516698A
Authority: JP
Inventors: 敏久山本; 健中島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-11-28
Filing date: 1998-11-05
Publication date: 2009-08-26
Anticipated expiration: 2018-11-05
Also published as: JPH11220745A

Description

【０００１】
【発明の属する技術分野】
本発明は、単板式のカメラ装置で生成するカメラ信号の処理を行うカメラ信号処理装置及びカメラ信号処理方法に関し、詳しくは固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における補間値の相関を示す相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【０００２】
【従来の技術】
従来において、ＣＣＤ(Charge Coupled Device) 等の固体撮像素子を用いた単板式のカメラ装置においては、ＣＣＤの各画素に対応した位置にＲ，Ｇ，Ｂに対応した色フィルタが配設されている。そして、このカメラ装置においては、ＣＣＤに入力する光に基づいて輝度信号を作成するとともに、色フィルタを介してＣＣＤに入力する光に応じて色信号を作成している。このとき、カメラ装置においては、色フィルタが配されたＣＣＤの各画素毎に入力する光に応じてＲ，Ｇ，Ｂに対応した色信号を作成している。
【０００３】
このようなカメラ装置におけるＣＣＤは、１つの画素毎にＲ，Ｇ，Ｂを有する色フィルタが配されており、例えば水平方向にＲ，Ｇ，Ｒ，Ｇ，・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなＣＣＤにおいては、Ｒの色フィルタが配されている画素においてはＧに対応した色信号が生成されないこととなり、Ｇに対応した色信号を補間して生成する必要がある。
【０００４】
このようなカメラ装置において、各画素において水平方向から補間して補間画像を得るときには、水平方向において隣接する画素データを加算処理して平均を計算することで補間を行う。また、垂直方向から補間するときには、水平方向と同様に垂直方向において隣接する画素データを加算処理して、平均を計算することで補間を行う。
【０００５】
そして、このようなカメラ装置において、ＣＣＤの画素上に例えばＲを示す色フィルタが配されている場合、Ｇを示す色信号を上述した補間を行うことでＧを示す信号を生成する。
【０００６】
また、単板式のカメラ装置においては、補間を行って画素データを生成するときに、垂直方向及び水平方向における相関を示す相関値を検出する。この相関値を検出するときには、周囲に配された画素の信号をフィルタを用いて計算することで垂直方向における相関値及び水平方向における相関値を算出する。そして、このカメラ装置においては、相関値を用いて、補間して得た補間画素データに重み付けを行う。
【０００７】
【発明が解決しようとする課題】
しかし、上述したように、相関値を検出する場合においては、ＣＣＤで生成される画素データに対してバンドパスフィルタを用いて相関値を検出するので、ＣＣＤで生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値を算出することとなる。
【０００８】
このように、ＣＣＤからの画素データにノイズがある場合において相関値を検出すると、誤った相関値を算出することとなる。したがって、このように算出した相関値を用いて補間画素データに重み付けを行うと、偽色信号が発生してしまい、画像が劣化する恐れがある。
【０００９】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、補間画素データにＣＣＤ等から生ずるノイズがあっても、重み付けを行う相関値により偽色が発生させることがないカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成する補間画素データ生成手段と、上記補間画素データ生成手段で生成した補間画素データの上記２以上の方向における相関の程度を示す相関値をそれぞれ検出する相関検出手段と、上記相関検出手段で検出した各方向の相関値を絶対値化する絶対値化手段と、上記絶対値化手段で絶対値化された各方向の相関値から所定値だけ減算処理する減算手段と、上記減算手段で減算処理された各方向の相関値が正の値となるように制限する制限手段とを備えるノイズ除去手段と、上記補間画素データ生成手段で生成した各方向の補間画素データに上記ノイズ除去手段で制限された各方向の相関値で重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成する重み付け手段と、上記重み付け手段で重みづけられた補間画素データに基づいて画像を生成する画像生成手段とを備えることを特徴とする。
【００１１】
また、本発明にかかるカメラ信号処理方法は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、生成された補間画素データの上記２以上の方向における相関の程度を示す相関値をそれぞれ検出し、検出された各方向の相関値を絶対値化し、絶対値化された各方向の相関値から所定値だけ減算処理し、減算処理された各方向の相関値が正の値となるように制限し、制限された各方向の相関値で上記各方向の補間画素データに重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明に係るカメラ信号処理装置及びカメラ信号処理方法について図面を参照しながら説明する。
【００１３】
本発明に係るカメラ信号処理装置は、図１に示すように、入力された光に応じて例えば静止画像を生成するカメラ装置１に適用できる。
【００１４】
このカメラ装置１は、ＣＣＤ(Charge Coupled Device) イメージャ（以下ＣＣＤと称する。）に被写体を結像するする光学系２と、ＣＣＤ３と、このＣＣＤ３を駆動するタイミングジェネレータ４と、ＣＣＤ３から撮像信号が入力されるサンプル／ホールド回路５と、サンプル／ホールド回路５から撮像信号が入力されゲインを調整するＡＧＣ回路６と、入力された撮像信号をデジタル方式の画像データに変換するＡ／Ｄ変換回路７と、画像データにカメラ信号処理を行うカメラ処理部８と、ＣＣＤ３で生成する撮像信号を検波するＣＣＤ検波部９と、これら各部を制御する制御部１０とから構成されている。
【００１５】
ここで、ＣＣＤ３には、Ｒ（レッド）の光を透過する領域と、Ｇ（グリーン）の光を透過する領域と、Ｂ（ブルー）の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にＲ，Ｇ，Ｒ，Ｇ・・・又はＧ，Ｂ，Ｇ，Ｂ・・・と配設されている。すなわち、ＣＣＤ３は、各画素毎で各色Ｒ，Ｇ，Ｂに対応した光に基づいて画素データＲ，画素データＧ，画素データＢを生成する。
【００１６】
このＣＣＤ検波部９では、Ａ／Ｄ変換回路７でデジタル方式に変換された画像データが入力される。そして、このＣＣＤ検波部９で検波された画像データは、例えばＡＥ(auto exposure)回路、ＡＦ(auto focus)回路に入力される。そして、例えばＡＥ回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、ＣＣＤ３に入射する光の明るさを自動で切り換える。
【００１７】
カメラ処理部８は、Ａ／Ｄ変換回路７から画像データが入力される欠陥補正回路１１と、欠陥補正回路１１から画像データが入力されるＣＬＰ回路１２と、ＣＬＰ回路１２から画像データが入力されるホワイトバランス回路１３と、ホワイトバランス回路１３から画像データが入力されるγ補正回路１４を備える。
【００１８】
欠陥補正回路１１は、Ａ／Ｄ変換回路７からの画像データに欠陥補正を施す。この欠陥補正回路１１は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路１２に画像データを出力する。
【００１９】
ＣＬＰ回路１２には、欠陥補正回路１１からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路１２では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路１３に出力する。
【００２０】
ホワイトバランス回路１３には、ＣＬＰ回路１２からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路１３は、各色毎にレベルが調整された画像データをγ補正回路１４に出力する。
【００２１】
このγ補正回路１４には、ホワイトバランス回路１３からの画像データにγ補正を施す。そして、このγ補正回路１４は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００２２】
また、この信号処理部８は、図２に示すように、γ補正回路１４から画像データが入力される画像データ補間部１５と、各画素データ間の相関値を検出する相関値検出部１６と、相関値のノイズを除去するノイズ除去部１７と、相関値にオフセットをかけるオフセット回路１８と、相関値を正規化する正規化回路１９と、相関を検出する方向の偏りを補正する偏り補正回路２０と、相関の強調及び低減を行う強調・低減回路２１と、補間した画像データに相関値を用いて重み付けを行う加重加算回路２２と、画像データの輪郭を補正する輪郭補正回路２３と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部２４と、色差信号による偽色信号を抑制する色差信号抑制部２５と、出力部２６とを備える。
【００２３】
画像データ補間部１５には、γ補正回路１４から複数の画素データからなる画像データが入力される。この画像データ補間部１５は、各画素毎に各画素データＲ，Ｇ，Ｂの補間を行って、各補間画素データＲ’，Ｇ’，Ｂ’を生成するものである。この画像データ補間部１５は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路１５ａと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路１５ｂとからなる。
【００２４】
水平方向補間回路１５ａには、図３に示すようなマトリクス状に配列された各画素に対応する画素データＲ，Ｇ，Ｂが入力される。この水平方向補間回路１５ａは、下記の式１に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図３は、各画素毎に対応した画素データＲ，Ｇ，Ｂを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に０ｈ，１ｈ，２ｈ，３ｈ，４ｈと配されているとして以下の説明を行う。
【００２５】
［１，４，６，４，１］／８（式１）
すなわち、補間画素データＲ’，Ｇ’，Ｂ’の算出を行うときには、式１に示すフィルタを用いるために、水平方向補間回路１５ａを図４に示すように構成する。
【００２６】
水平方向補間回路１５ａは、水平方向における補間画素データＲ’，Ｇ’，Ｂ’を作成するとき、図４に示すように構成する。この水平方向補間回路１５ａは、γ補正回路１４から画素データが入力される入力部３０と、入力部３０から各画素データが入力される遅延回路３１と、遅延回路３１から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路３２と、フィルタ回路３２を介して補間画素データが入力されるセレクタ回路３３と、セレクタ回路３３からの補間画素データを出力する出力端子３４とからなる。
【００２７】
入力部３０には、γ補正回路１４から水平方向における各画素データが順次入力される。この入力部３０には、１画素データ毎にクロックで順次入力される。遅延回路３１は、入力部３０で入力した各画素データが入力される遅延回路３１ａ〜３１ｄからなる。この遅延回路３１は、入力された各画素データを上記のクロックと同期して各遅延回路３１ａ〜３１ｄに入力し、フィルタ回路３２に出力する。
【００２８】
フィルタ回路３２は、入力部３０及び遅延回路３１ｄを介して画素データが入力される加算器３２ａと、遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される加算器３２ｂと、遅延回路３１ｂを介して画素データが入力される加算器３２ｃと、加算器３２ａ及び加算器３２ｃからの出力が入力される加算器３２ｄとからなる。
【００２９】
加算器３２ａは入力部３０から直接入力される画素データ及び遅延回路３１ｄを介して画素データが入力され、加算器３２ｃは遅延回路３１ｂを介して画素データが入力され、加算器３２ｄは加算器３２ａ及び加算器３２ｃを介して画素データが入力される。また、加算器３２ｂは遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される。
【００３０】
すなわち、このフィルタ回路３２は、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器３２ｂで［１，０，１］／２のフィルタを構成している。
【００３１】
セレクタ回路３３は、加算器３２ｄからの出力及び遅延回路３１ｂを介して画素データが入力されるセレクタ３３ａ、３３ｂと、セレクタ３３ａからの出力及び加算器３２ｂからの出力が入力されるセレクタ３３ｃと、加算器３２ｂ及びセレクタ３３ｂからの出力が入力されるセレクタ３３ｄとを有する。
【００３２】
また、各セレクタ３３ａ〜３３ｄは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００３３】
出力部３４は、セレクタ３３ｃからの出力を出力する端子３４ａとセレクタ３３ｄからの出力を後述するエッジ処理回路に出力する端子３４ｂとを有する。
【００３４】
このように構成された水平方向補間回路１５ａは、例えば画素データＧ₂₂について、補間画素データＲ₂₂’，Ｂ₂₂’のみならず、補間画素データＧ₂₂’をも算出する。
【００３５】
水平方向補間回路１５ａで、例えば図３中の画素データＧ₂₂についての補間画素データＧ₂₂’を算出するときには、入力部３０で２ｈにおける画素データＧ₂₀，Ｒ₂₁，Ｇ₂₂，Ｒ₂₃，Ｇ₂₄を順次入力する。
【００３６】
次に、入力部３０で入力した画素データＧ₂₀，Ｒ₂₁，Ｇ₂₂，Ｒ₂₃，Ｇ₂₄を遅延回路３１によりフィルタ回路３２に入力する。すなわち、画素データＧ₂₀を加算器３２ａに入力し、画素データＲ₂₁を加算器３２ｂに入力し、画素データＧ₂₂を加算器３２ｃに入力し、画素データＲ₂₃を加算器３２ｂに入力し、画素データＧ₂₄を加算器３２ａに入力する。
【００３７】
次に、フィルタ回路３２で各画素データＧ₂₀，Ｇ₂₂，Ｇ₂₄から、画素データＧ₂₂についての補間画素データＧ₂₂’の演算を行う。すなわち、加算器３２ａでは画素データＧ₂₀と画素データＧ₂₄とを加算処理して加算器３２ｄに出力する。また、加算器３２ｃでは、画素データＧ₂₂を４倍とするとともに２倍としてこれらを加算処理して加算器３２ｄに出力する。そして、加算器３２ｄでは、加算器３２ａと加算器３２ｃとからの出力を入力して、これらを加算処理するとともに１／８の乗算処理を行ってセレクタ回路３３に出力する。また、加算器３２ｂでは、画素データＲ₂₁と画素データＲ₂₃を入力してこれらを加算処理するとともに１／２の乗算処理を行ってセレクタ回路３３に出力する。
【００３８】
このように加算器３２ａ，３２ｃ，３２ｄで加算処理を行うことにより、｛画素データＧ₂₀＋６×画素データＧ₂₂＋画素データＧ₂₄｝／８という演算を行う。一方、加算器３２ｂで加算処理を行うことにより、｛画素データＲ₂₁＋画素データＲ₂₃｝／２という演算を行う。すなわち、このフィルタ回路３２では、加算器３２ｂで［１，０，１］／２というフィルタを構成し、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８というフィルタを構成し、画素データＧ₂₀，Ｇ₂₂，Ｇ₂₄を上述した式１に示すフィルタを通過させる。したがって、このフィルタ回路３２によれば、画素データＲ₂₂，Ｇ₂₂についての補間画素データＲ₂₂’，Ｇ₂₂’を作成する。
【００３９】
次に、セレクタ３３ａ及びセレクタ３３ｂでは、補間画素データＧ₂₂’を入力するとともに、画素データＧ₂₂を入力する。また、セレクタ３３ａ及びセレクタ３３ｂでは、制御部１０から制御信号Ｈ又は制御信号Ｌを入力する。ここで、セレクタ３３ａ及びセレクタ３３ｂでは、制御信号Ｈが入力されたときには、フィルタ回路３２からの補間画素データＧ₂₂’をそのままセレクタ３３ｃ，３３ｄに出力し、制御信号Ｌが入力されたときには、画素データＧ₂₂をセレクタ３３ｃ，３３ｄに出力する。
【００４０】
次に、この制御部１０では、画素データＧ₂₂についての補間画素データＧ₂₂’がフィルタ回路３２で生成されていることから、制御信号Ｌをセレクタ３３ｃ及びセレクタ３３ｄに出力する。このように、セレクタ３３ｃ，３３ｄに制御信号Ｌが入力されると、セレクタ３３ｃでは補間画素データＲ₂₂’を出力し、セレクタ３３ｄでは画素データＧ₂₂又は補間画素データＧ₂₂’を出力する。
【００４１】
一方、制御部１０からセレクタ３３ｃ，セレクタ３３ｄに制御信号Ｈが入力された場合、セレクタ３３ｃはセレクタ３３ａから入力されたデータを出力し、セレクタ３３ｄは加算器３２ｂから入力されたデータを出力する。
【００４２】
すなわち、このセレクタ３３ｄは、例えば画素データＧ₂₂についての補間画素データＧ₂₂’を出力するときにはセレクタ３３ｂからの入力を出力し、図３中の画素データＧ₂₃についての補間画素データＧ₂₃’を出力するときには、加算器３２ｂからの入力を出力するように制御される。そして、セレクタ３３ｃは端子３４ａに画素データＲ又は画素データＢについての補間画素データＲ₂₂’を出力し、セレクタ３３ｄは端子３４ｂに画素データＧについての補間画素データＧ₂₂’を出力する。
【００４３】
このように画素データＧについての補間画素データＧ’を算出するときは、入力した画素データＲ，Ｇのうち、図５に示すような画素データＧのみからなるＣＣＤ３を想定して補間画素データＧ’を算出する。したがって、この水平方向補間回路１５ａでは、画素データＧが存在しない画素について補間画素データＧ’を算出するときには［１，０，１］／２というフィルタを使用して補間画素データＧ’を算出し、画素データＧが存在する画素について補間画素データＧ’を算出するときには［１，０，６，０，１］／８というフィルタを使用して補間画素データＧ’を算出することとなる。したがって、このようなフィルタを用いて補間画素データＧ’を算出する水平方向補間回路１５ａでは、これらのフィルタの周波数特性が図６及び図７に示すようになる。すなわち、この［１，０，６，０，１］／８というフィルタでは図６に示すような周波数特性を示し、［１，０，１］／２というフィルタでは図７に示すような周波数特性を示す。この図６及び図７に示したフィルタの周波数特性によれば、水平方向補間回路１５ａでは、これらのフィルタを用いることで画素データＧが存在する画素における補間画素データＧ’の周波数特性と画素データＧが存在しない補間画素データＧ’の周波数特性との差を小さくすることができる。
【００４４】
したがって、このように各画素データＧについての補間画素データＧ’を算出することにより、図８に示すような補間画像データＧ’を得ることができる。
【００４５】
また、上述した水平方向補間回路１５ａは、２ｈにおいて画素データＧ₂₂についての補間画素データＲ₂₂’を［１，０，１］／２のフィルタを用いて算出したが、上述と同様に１ｈにおいては、画素データＧ₁₁についての補間画素データＢ₁₁’を算出することもできる。
【００４６】
次に、２ｈにおける画素データＧ₂₂についての補間画素データＢ₂₂’を算出するときには、図９に示したフィルタを用いて行う。すなわち、以下の説明では、画素データＢが存在しないラインにおいて、補間画素データＢ’を算出する一例について説明する。
【００４７】
画素データＧ₂₂の補間画像データＢ₂₂’を算出するときには、図９に示すように構成した水平方向補間回路１５ａ’を用いて補間画素データＢ₂₂’を算出する。なお、以下の水平方向補間回路１５ａ’の説明においては、図４に示した水平方向補間回路１５ａと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図９に示した水平方向補間回路１５ａ’では、入力部３０を例えば１ｈにおける画素データがＢ₁₀，Ｇ₁₁，Ｂ₁₂，Ｇ₁₃，Ｂ₁₄の順に入力される端子３０ａと、３ｈにおける画素データがＢ₃₀，Ｇ₃₁，Ｂ₃₂，Ｇ₃₃，Ｂ₃₄の順に入力される端子３０ｂとからなるものとしている。そして、この図９に示した水平方向補間回路１５ａ’は、端子３０ａ，３０ｂから画素データが入力される加算器３５を備えている。この加算器３５では、端子３０ａ及び端子３０ｂからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器３５では、例えば｛画素データＢ₁₀＋画素データＢ₃₀｝／２という処理を行う。そして、この図９の水平方向補間回路１５ａ’では、図４に示した水平方向補間回路１５ａと同様に遅延回路３１ａ〜３１ｄ，加算器３２，セレクタ回路３３を介して補間画素データＧ’，Ｂ’を出力する。
【００４８】
すなわち、この水平方向補間回路１５ａ’では、先ず、垂直方向において隣接した１ｈ及び３ｈに配列した画素に対応した画素データＢの相加平均で垂直方向を補間することで、図１０に示すように配置された各画素の画素データＢを、図１１に示すように、垂直方向に補間して補間画素データＢ’を算出する。
【００４９】
次に、この垂直方向における画素データＢ及び補間して得た補間画素データＢ’を［１，０，６，０，１］／８のフィルタ、［１，０，１］／２のフィルタを介して画素データＢの水平方向における補間画素データＢ’を算出する。
【００５０】
すなわち、この水平方向補間回路１５ａ’では、水平方向に画素データＢが存在しないラインについての補間画素データＢ₂₂’を以下のように作成する。まず、フィルタ回路３２で１ｈ及び３ｈにおける画素データＢに［１，０，６，０，１］／８からなるフィルタを加算器３２ａ，３２ｃ，３２ｄを通過させることで適用し、１ｈ及び３ｈにおける画素データＧに［１，０，１］／２からなるフィルタを加算器３２ｂを通過させることで適用する。水平方向補間回路１５ａ’は、さらに［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算する減算処理回路と、この減算処理回路からの出力に図４に示した水平方向補間回路１５ａで得た補間画素データＧ₂₂’を加算処理する加算処理回路とを有している。
【００５１】
すなわち、この水平方向補間回路１５ａ’では、［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算処理して、さらに画素データＧ’を加算処理して補間画素データＢ’を加重加算回路２２に出力する。
【００５２】
このように、図９の水平方向補間回路１５ａ’は、２ｈのように、画素データＢが存在しない画素に対応した画素データＧ₂₂においても、図１２に示すように、補間画素データＢ₂₂’を算出することができる。すなわち、この図９の水平方向補間回路１５ａ’によれば、全（すべ）ての画素について補間画素データＢ’を算出することができる。
【００５３】
また、このような水平方向補間回路１５ａ’は、画素データＧ₂₂について補間画素データＢ₂₂’を算出するときには、下記式２及び上述の式１で算出した補間画素データを用いて算出してもよい。
【００５４】
Ｂ₂₂’＝｛（Ｂ₁₂’−Ｇ₁₂’）＋（Ｂ₃₂’−Ｇ₃₂’）｝／２＋Ｇ₂₂’（式２）
この式２によれば、補間画素データＢ₂₂’を算出するときには、図４の水平方向補間回路１５ａを用いて算出したＧ₁₂’，Ｇ₃₂’，Ｇ₂₂’と、上述の式１で算出したＢ₃₂’Ｂ₁₂’とを用いて補間画素データＢ₂₂’を算出することができる。一方、垂直方向補間回路１５ｂは、図１３に示すように構成している。なお、以下に述べる垂直方向補間回路１５ｂの説明においては、上述の水平方向補間回路１５ａと同一部分については同一符号を付することによりその詳細な説明を省略する。
【００５５】
この垂直方向補間回路１５ｂは、図１３に示すように、垂直方向における各画素データＲ，Ｇ，Ｂが順次入力される入力部３０を備えている。この入力部３０は、１ｈにおける画素データが入力される端子３０ａと、３ｈにおける画素データが入力される端子３０ｂと、０ｈにおける画素データが入力される端子３０ｃと、４ｈにおける画素データが入力される端子３０ｄと、２ｈにおける画素データが入力される端子３０ｅとを有する。
【００５６】
また、この垂直方向補間回路１５ｂは、上述した水平方向補間回路１５ａと同様に、フィルタ回路３２と、セレクタ回路３３と、出力部３４とを有している。この垂直方向補間回路１５ｂでは、各端子３０ａ〜３０ｅに画素データＢ₁₀，Ｂ₃₀，Ｇ₀₀，Ｇ₄₀，Ｇ₂₀が入力されると、端子３０ａ及び端子３０ｂに入力された画素データを加算器３２ｂに出力し、端子３０ｃ及び端子３０ｄに入力された画素データを加算器３２ａに出力し、端子３０ｅに入力された画素データを加算器３２ｃに出力する。そして、垂直方向補間回路１５ｂでは、水平方向補間回路１５ａと同様に、これらの入力された画素データをフィルタ回路３２により上述の式１及び式２に適用して、画素データＲ，Ｇ，Ｂについての補間画素データＲ’，Ｇ’，Ｂ’を得る。
【００５７】
また、この画像データ補間部１５を構成する水平方向補間回路１５ａと垂直方向補間回路１５ｂは、エッジ処理回路１５ｃに接続している。このエッジ処理回路１５ｃは、図１４に示すように、上述のγ補正回路１４からディレイ調整がなされた画素データＧが入力される端子４０ａ〜４０ｃからなる入力部４０と、各端子４０ａ〜４０ｃから画素データＧが入力される遅延回路４１ａ〜４１ｄと、入力された画素データＧを比較する比較部４２と、比較部４２での比較結果について演算処理を施す演算部４３と、演算部４３での演算結果に応じて出力を制御する出力部４４と、出力部４４から画素データを出力する出力端子４５とから構成されている。また、このエッジ処理回路１５ｃは、γ補正回路１４から各画素データＧが入力される。ここで、以下に説明するエッジ処理部１５ｃは、例えば図１５における補間画素データＧ’の値を制御するときの一例について説明する。
【００５８】
入力部４０は、上述した水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた図１５における補間画素データＧ’の周囲の画素データＧ₁〜Ｇ₄が入力される。この入力部４０は、例えば２ｈにおける補間画素データについてエッジ処理を行うときには、当該補間画素データＧ’の上方に隣接した１ｈの画素データＧ₁が入力される端子４０ａと、当該補間画素データＧ’の水平方向における両隣の画素データＧ₂，Ｇ₃が入力される端子４０ｂと、当該補間画素データＧ’の下方に隣接した３ｈの画素データＧ₄が入力される端子４０ｃとを備える。また、各端子４０ａ〜４０ｃは、遅延回路４１ａ〜４１ｄと接続している。なお、画素データＧ₁，Ｇ₂，Ｇ₃，Ｇ₄は、ディレイがかけられて各端子４０ａ〜４０ｃに入力される。
【００５９】
遅延回路４１ａ〜４１ｄは、比較部４２及び出力部４４と接続し、入力部４０から出力された画素データＧ₁〜Ｇ₄を入力する。この遅延回路４１ａ〜４１ｄは、画素データＧ₁〜Ｇ₄を入力するクロックと同期したクロックで比較部４２及び出力部４４に各画素データＧ₁〜Ｇ₄を出力する。
【００６０】
比較部４２は、入力部４０で入力された４つの画素データのうち、２つの画素データが入力されるコンパレータ４２ａ〜４２ｆからなる。すなわち、この比較部４２は、画素データＧ₁及び画素データＧ₂が入力されるコンパレータ４２ａと、画素データＧ₁及び画素データＧ₃が入力されるコンパレータ４２ｂと、画素データＧ₁及び画素データＧ₄が入力されるコンパレータ４２ｃと、画素データＧ₂及び画素データＧ₃が入力されるコンパレータ４２ｄと、画素データＧ₂及び画素データＧ₄が入力されるコンパレータ４２ｅと、画素データＧ₃及び画素データＧ₄が入力されるコンパレータ４２ｆとからなる。
【００６１】
また、コンパレータ４２ａは端子Ａで画素データＧ₁、端子Ｂで画素データＧ₂が入力され、コンパレータ４２ｂは端子Ａで画素データＧ₁、端子Ｂで画素データＧ₃が入力され、コンパレータ４２ｃは端子Ａで画素データＧ₁、端子Ｂで画素データＧ₄が入力され、コンパレータ４２ｄは端子Ａで画素データＧ₂、端子Ｂで画素データＧ₃が入力され、コンパレータ４２ｅは端子Ａで画素データＧ₂、端子Ｂで画素データＧ₄が入力され、コンパレータ４２ｆは端子Ａで画素データＧ₃、端子Ｂで画素データＧ₄が入力される。
【００６２】
演算部４３は、比較部４２から比較結果を入力し、この比較結果に基づいて入力部４０で入力された画素データＧ₁〜Ｇ₄のうち、２位と３位の画像データを選択する。ここで、演算部４３は、複数のセレクタから構成されている。この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｂ，コンパレータ４２ｃからの比較結果が（Ｌ，Ｈ，Ｈ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ₁を２位として、演算結果を出力部４４に出力する。また、この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｄ，コンパレータ４２ｅからの比較結果が（Ｈ，Ｌ，Ｌ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ₂を３位として、演算結果を出力部４４に出力する。
【００６３】
出力部４４は、入力部４０及び演算部４３と接続されている。この出力部４４は、入力部４０から各画素データＧ₁〜Ｇ₄が入力されるとともに、演算部４３から演算結果が入力される。この出力部４４は、２位を示す演算結果に応じて画素データを出力するセレクタ４４ａと、３位を示す演算結果に応じて画素データＧ₁〜Ｇ₄を出力するセレクタ４４ｂとを有する。また、この出力部４４は、端子４０ａで入力された画素データＧ₁が入力される００端子と、端子４０ｂで入力された画素データＧ₂が入力される１０端子と、端子４０ｂで入力された画素データＧ₃が入力される０１端子と、端子４０ｃで入力された画素データＧ₄が入力される１１端子とを備えている。
【００６４】
出力部４５は、出力部４４及び水平方向補間回路１５ａ，垂直方向補間回路１５ｂと接続されている。この出力部４５は、出力部４４で出力した２位及び３位を示す画素データＧ₁〜Ｇ₄を水平方向補間回路１５ａ，垂直方向補間回路１５ｂに出力する。
【００６５】
このように構成されたエッジ処理回路１５ｃでエッジ処理を行うときには、図１５に示すように、入力部４０で例えば水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた補間画素データＧ’の周囲の画素データＧ₁，Ｇ₂，Ｇ₃，Ｇ₄を入力部４０で入力する。ここで、図１５中の各画素データ内の数字は、各画素データＧ₁〜Ｇ₄の大きさを表している。ここで、入力部４０では、画素データＧ₁を端子４０ａで入力し、画素データＧ₂を端子４０ｂで入力し、画素データＧ₃を端子４０ｂで入力し、画素データＧ₄を端子４０ｃで入力する。そして、これら画素データＧ₁〜Ｇ₄を各遅延回路４１ａ〜４１ｄを介して各コンパレータ４２ａ〜４２ｆに出力する。
【００６６】
次に、これら各コンパレータ４２ａ〜４２ｆでは、入力された画素データＧ₁〜Ｇ₄の大きさを比較して比較結果を演算部４３に出力する。このとき、各コンパレータ４２ａ〜４２ｆは、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも大きいときは比較結果Ｈを演算部４３に出力し、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも小さいときは比較結果Ｌを演算部４３に出力する。
【００６７】
次に、演算部４３では、各コンパレータ４２ａ〜４２ｆからの比較結果に応じて入力部４０で入力した画素データＧ₁〜Ｇ₄のうち、２位と３位の画素データＧ₁〜Ｇ₄を決定して、演算結果を出力部４４に出力する。ここで、セレクタ４４ａで２位を示す演算結果が入力され、セレクタ４４ｂで３位を示す演算結果が入力される。そして、各セレクタ４４ａ，４４ｂは、演算結果に基づいて画素データＧ₁，Ｇ₂，Ｇ₃，Ｇ₄のうち、２位及び３位に該当する画素データＧ₁〜Ｇ₄を選択して出力部４５に出力する。
【００６８】
次に、出力部４５では、これら２位及び３位に該当する画素データＧ₁〜Ｇ₄を水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに出力する。
【００６９】
次に、水平方向補間回路１５ａ及び垂直方向補間回路１５ｂでは、この２位及び３位に該当する画素データＧ₁〜Ｇ₄から補間画素データＧ’の大きさが算出されることとなる。
【００７０】
したがって、このようなエッジ処理回路１５ｃによれば、例えば画素データＧ₁の大きさが１００，画素データＧ₂の大きさが１００，画素データＧ₃の大きさが１００，画素データＧ₄の大きさが０である場合には、２位及び３位の間を示す画素データは、共に１００となるので、補間画素データＧ’の大きさは１００に制限される。したがって、このエッジ処理回路１５ｃによれば、図１５に示した画素データについて垂直方向について補間したときの補間画素データＧ’は（１００＋０）＝５０として算出されるようなことがない。
【００７１】
相関値検出部１６は、上述のγ補正回路１４から画素データが入力される。この相関値検出部１６は、水平方向の相関値を検出する水平方向相関検出回路１６ａと、垂直方向の相関値を検出する垂直方向相関検出回路１６ｂとからなる。
【００７２】
水平方向相関検出回路１６ａは、画素データＧが存在する画素においては下記式３に示すフィルタを用い、画素データＧが存在しない画素においては下記式４に示すフィルタを用いて水平相関値Ｃ_hを算出する。
【００７３】
【数１】

【００７４】
すなわち、水平相関値Ｃ_hは、垂直方向において、画素データＧが存在する場合には式３を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式４を用いて［１，０，１］のＬＰＦをかけて算出される。また、水平相関値Ｃ_hは、水平方向において、［−１，０，２，０，−１］のＢＰＦをかけて算出される。
【００７５】
この水平方向相関検出回路１６ａは、図１６に示すように、γ補正回路１４から画素データが端子５０ａ〜５０ｅから入力される入力部５０と、各画素データが入力されて水平相関値Ｃ_hを生成するフィルタ回路５２と、水平相関値Ｃ_hが入力されるセレクタ回路５３と、セレクタ回路５３からの水平相関値Ｃ_hを出力する出力部５４とからなる。
【００７６】
入力部５０は、γ補正回路１４から図３に示した垂直方向に配された各画素データを順次入力する。この入力部５０は、１ｈにおける画素データが入力される端子５０ａと、３ｈにおける画素データが入力される端子５０ｂと、０ｈにおける画素データが入力される端子５０ｃと、４ｈにおける画素データが入力される端子５０ｄと、２ｈにおける画素データが入力される端子５０ｅとを有する。
【００７７】
フィルタ回路５２は、端子５０ａ及び端子５０ｂから画素データが入力される加算器５２ａと、端子５０ｃ及び端子５０ｄから画素データが入力される加算器５２ｂと、端子５０ｅから画素データが入力される加算器５２ｃと、加算器５２ｂ及び加算器５２ｃからの出力が入力される加算器５２ｄとからなる。このフィルタ回路５２は、上述した水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに示したフィルタ回路３３と同様に、加算器５２ｂ，加算器５２ｃ，加算器５２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５２ａで［１，０，１］／２のフィルタを構成している。
【００７８】
セレクタ回路５３は、加算器５２ｄからの出力及び端子５０ｅから画素データが入力されるセレクタ５３ａと、加算器５２ａからの出力及びセレクタ５３ａからの出力が入力されるセレクタ５３ｂとを有する。また、各セレクタ５３ａ，５３ｂは、制御部１０からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ５３ａは、制御部１０から制御信号Ｈを入力したとき、加算器５２ｂ，５２ｃ，５２ｄを介して入力された画素データを出力し、制御部１０から制御信号Ｌを入力したとき、端子５０ｅから入力された画素データを出力する。また、セレクタ５３ｂは、制御部１０からの制御信号に応じて加算器５２ａを通過した水平相関値Ｃ_hを出力するか、セレクタ５３ａを通過した画素データを出力するかが制御される。
【００７９】
なお、この水平方向相関検出回路１６ａでは、相関値を算出する対象となる画素データについてはフィルタ回路５２を通過させずにセレクタ回路５３に入力させても良い。このように、フィルタ回路５２ｂ，５２ｅ，５２ｄを通過させずに画素データＧをそのまま相関値として用いることで画素データＧの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【００８０】
このセレクタ５３ｂは、画素データＧが存在する画素では加算器５２ｂ，５２ｃ，５２ｄ或（ある）いは端子５０ｅからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５２ａからの出力を通過させるように制御される。
【００８１】
出力部５４は、セレクタ５３ｂから入力した水平相関値Ｃ_hを出力する。この出力部５４は、図示しない水平方向に［−１，０，２，０，−１］のＢＰＦを介してノイズ除去部１７と接続しており、水平相関値Ｃ_hを当該ノイズ除去部１７に出力する。
【００８２】
垂直方向相関検出回路１６ｂは、画素データＧが存在する画素においては下記式５に示すフィルタを用い、画素データＧが存在しない画素においては下記式６に示すフィルタを用いて垂直相関値Ｃ_vを算出する。
【００８３】
【数２】

【００８４】
すなわち、垂直相関値Ｃ_vは、式５及び式６を用いることにより、垂直方向において［−１，０，２，０，−１］のＢＰＦで算出される。また、垂直相関値Ｃ_vは、画素データＧが存在する場合、水平方向では式５を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式６を用いて［１，０，１］のＬＰＦで算出される。
【００８５】
この垂直方向相関検出回路１６ｂは、図１７に示すように、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して画素データが入力される入力部５５と、入力部５５から各画素データが入力される遅延回路５６ａ〜５６ｄと、遅延回路５６ａ〜５６ｄから各画素データが入力されて垂直相関値Ｃ_vを生成するフィルタ回路５７と、フィルタ回路５７を介して垂直相関値Ｃ_vが入力されるセレクタ回路５８と、セレクタ回路５８からの垂直相関値Ｃ_vを出力する出力部５９とからなる。
【００８６】
入力部５５は、γ補正回路１４から、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して順次入力する。入力部５５は、上述した水平方向補間回路１５ａに備えられる遅延回路３１と同様の構成を有する遅延回路５６ａ〜５６ｄに各画素データを出力する。
【００８７】
フィルタ回路５７は、上述の水平方向相関検出回路１６ａに備えられるフィルタ回路５２と同様の構成を有しており、加算器５７ａ，５７ｂ，５７ｃ，５７ｄからなる。このフィルタ回路５２は、上述した水平方向相関検出回路１６ａに示したフィルタ回路５３と同様に、加算器５７ｂ，加算器５７ｃ，加算器５７ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５７ａで［１，０，１］／２のフィルタを構成している。なお、この垂直方向相関検出回路１６ｂでは、上述の水平方向相関検出回路１６ａと同様に、相関値Ｃ_vを算出する対象となる画素データについてはフィルタ回路５７ｂ，５７ｃ，５７ｄを通過させずにセレクタ回路５８に入力させても良い。
【００８８】
セレクタ回路５８は、上述の水平方向相関検出回路１６ａに備えられるセレクタ回路５３と同様の構成を有しており、セレクタ５８ａ，５８ｂを有する。また、各セレクタ５８ａ，５８ｂは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００８９】
このセレクタ５８ｂは、画素データＧが存在する画素では加算器５７ｂ，５７ｃ，５７ｄ或（ある）いは遅延回路５６ｂからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５７ａからの出力を通過させるように制御される。
【００９０】
出力部５９は、セレクタ５８ｂから入力した垂直相関値Ｃ_vを出力する。この出力部５９は、ノイズ除去部１７と接続しており、垂直相関値Ｃ_vを当該ノイズ除去部１７に出力する。
【００９１】
このように構成された相関値検出部１６は、式３〜式６を用いた回路を構成することで、例えば画素データＧのみで相関値Ｃを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ｃ_h及び垂直相関値Ｃ_vを算出することができる。
【００９２】
ノイズ除去部１７は、図２に示すように、上述した水平方向相関検出回路１６ａと接続したノイズ除去回路１７ａと、垂直方向相関検出回路１６ｂと接続したノイズ除去回路１７ｂとからなる。これらノイズ除去回路１７ａとノイズ除去回路１７ｂとは、図１８に示すような同様の構成を有している。
【００９３】
ノイズ除去部１７ａ，１７ｂは、図１８に示すように、相関検出回路１６ａ，１６ｂから相関値Ｃが入力される絶対値化回路６０と、絶対値化された相関値Ｃが入力される減算回路６１と、減算された相関値Ｃが入力されるリミット回路６２とからなる。
【００９４】
絶対値化回路６０は、例えばＥｘ．ＯＲゲート６０ａと加算器６０ｂとからなる。この絶対値化回路６０は、入力した相関値Ｃに対して絶対値化を施し、正の値とする。そして、この絶対値化回路６０は、この絶対値化した相関値Ｃを減算回路６１に出力する。
【００９５】
減算回路６１は、例えば減算器６１ａからなる。この減算器６１ａは、絶対値化回路６０から相関値Ｃが入力される。また、この減算器６１ａは、制御部１０から入力した相関値Ｃから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器６１ａは、制御信号に応じて相関値Ｃから減算値を減算する。このように減算器６１ａは、減算処理を行うことで、図１９（ａ）中の点線で示すように、相関値Ｃの出力を図１９（ａ）中の実線で示すように減算する。そして、この減算回路６１は、減算した相関値Ｃをリミット回路６２に出力する。
【００９６】
リミット回路６２は、例えばインバータ６２ａとＡＮＤゲート６２ｂとからなる。このリミット回路６２は、減算回路６１で減算されて図１９（ｂ）に示すように出力が負の値となった相関値Ｃを０となるように処理を施す。そして、このリミット回路６２は、このような処理を施した相関値Ｃをオフセット回路１８に出力する。
【００９７】
このようなノイズ除去部１７は、入力した相関値Ｃから減算処理を行うことにより、微小な相関値Ｃを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部１７によれば、例えばＢＰＦを通過させて相関値Ｃを算出するために、ＣＣＤ３自体のノイズ等に対して算出された相関値Ｃを除去することができる。また、このノイズ除去部１７によれば、ＣＣＤ３で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Ｃを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部１７によれば、ノイズの少ない相関値Ｃを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【００９８】
オフセット回路１８は、図２に示すように、ノイズ除去回路１７ａから水平相関値Ｃ_hが入力されるオフセット回路１８ａと、ノイズ除去回路１７ｂから垂直相関値Ｃ_vが入力されるオフセット回路１８ｂとからなる。これらオフセット回路１８ａとオフセット回路１８ｂとは、図２０に示すような同様の構成を有している。
【００９９】
オフセット回路１８ａ，１８ｂは、図２０に示すように、例えば加算器６５からなる。この加算器６５は、上述のノイズ除去回路１７ａ，１７ｂから相関値Ｃが入力される。また、この加算器６５は、制御部１０から所定の値のオフセット値を示す制御信号が入力される。
【０１００】
そして、この加算器６５は、ノイズ除去部１７ａ，１７ｂから相関値Ｃが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器６５は、入力した相関値Ｃとオフセット値とを加算処理して正規化回路１９に出力する。すなわち、このオフセット回路１８ａ，１８ｂは、例えばノイズ除去部１７ａ，１７ｂから図２１中の点線で示すような相関値Ｃにオフセット値を加算することで図２１中の実線で示すような相関値Ｃとする。
【０１０１】
このようにオフセット回路１８ａ，１８ｂでは、オフセット値を相関値Ｃに加算処理することにより、入力した相関値Ｃの振幅が０程度であっても、値の大きな相関値Ｃを持たせることができる。このようなオフセット回路１８ａ，１８ｂは、例えば図２２に示すように、上述した相関値検出部１６では相関値Ｃが得られない、例えば１画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Ｃ_v及び水平相関値Ｃ_hの振幅が微小な場合も、水平相関値Ｃ_hと垂直相関値Ｃ_vとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路１８ａ，１８ｂによれば、オフセット値を相関値Ｃに加算処理することで、相関値Ｃで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路１８ａ，１８ｂによれば、入力された相関値Ｃの振幅が微小でである場合や隣接する画素で水平相関値Ｃ_hが１，垂直相関値Ｃ_vが０である場合でも、垂直相関値Ｃ_vが０，水平相関値Ｃ_hが１と切り替わるようなことがない。
【０１０２】
正規化回路１９は、図２に示すように、オフセット回路１８ａ及びオフセット回路１８ｂから水平相関値Ｃ_h及び垂直相関値Ｃ_vが入力される加算器１９ａと、垂直相関値Ｃ_v及び加算器１９ａからの出力が入力される除算器１９ｂとからなる。
【０１０３】
このような正規化回路１９は、加算器１９ａで垂直相関値Ｃ_vと水平相関値Ｃ_hとを加算処理して加算結果を除算器１９ｂに出力し、除算器１９ｂで垂直相関値Ｃ_vを加算結果で除算処理する。そして、この正規化回路１９は、下記式７に示す垂直相関値Ｃ_vを算出する。ここで、水平相関値Ｃ_hは、垂直相関値Ｃ_vの相対値として下記式８に示すように表せる。
【０１０４】
【数３】

【０１０５】
偏り補正回路２０は、図２３に示すように、加算器２０ａからなる。この偏り補正回路２０は、正規化回路１９から上記式７で示す垂直相関値Ｃ_Vが入力される。加算器２０ａは、制御部１０から補正値αが入力される。この補正値αは、制御部１０により生成され、例えばＣＣＤ３等の設定に応じて−１〜１までの範囲内で調整される。
【０１０６】
そして、この偏り補正回路２０は、垂直相関値Ｃ_Vが入力されるとともに、制御部１０から入力した補正値αを入力し、垂直相関値Ｃ_Vと補正値αとを加算処理する。このように偏り補正回路２０は、加算処理を行うことで垂直相関値Ｃ_Vを下記式９に示すような値とする。
【０１０７】
【数４】

【０１０８】
したがって、この偏り補正回路２０は、例えば図２４で示すように、図２４中の点線で示す垂直相関値Ｃ_vを入力したとき、補正値αを加算処理することで図２４中の実線で示すように変化させることができる。すなわち、この偏り補正回路２０によれば、垂直相関値Ｃ_vに補正値αを加算処理することで、垂直相関値Ｃ_vと水平相関値Ｃ_hとがＣＣＤ３からの信号の歪等によって同じレベルとはならない場合でも、制御部１０から入力する補正値αを制御することで垂直相関値Ｃ_vの値を制御して補正することができる。また、この偏り補正回路２０は、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部１０からの補正値αを制御することで水平相関値Ｃ_hと垂直相関値Ｃ_vとのバランスを制御することができる。
【０１０９】
強調・低減回路２１は、図２５に示すように、偏り補正回路２０から垂直相関値Ｃ_vが入力される減算器２１ａと、減算処理を施した垂直相関値Ｃ_vが入力される乗算器２１ｂと、乗算処理を施した垂直相関値Ｃ_vが入力される加算器２１ｃと、加算処理を施した垂直相関値Ｃ_vが入力される制限器２１ｄとからなる。
【０１１０】
減算器２１ａは、偏り補正回路２０から０〜１までの値を有する垂直相関値Ｃ_vを入力し、当該垂直相関値Ｃ_vに減算処理を行う。この減算器２１ａは、垂直相関値Ｃ_vから０．５だけ減算処理を行う。乗算器２１ｂは、制御部１０から入力する乗算値を示す制御信号に基づいて垂直相関値Ｃ_vに乗算処理する。加算器２１ｃは、垂直相関値Ｃ_vに０．５だけ加算処理を行う。制限器２１ｄは、入力した垂直相関値Ｃ_vを一定の範囲内で制限する。
【０１１１】
このような強調・低減回路２１は、偏り補正回路２０から垂直相関値Ｃ_vが入力されると、先ず、減算器２１ａで垂直相関値Ｃ_vから０．５だけ減算処理を行い、次に、減算処理を施した垂直相関値Ｃ_vに乗算処理を行う。このとき、制御部１０から入力する乗算値に応じて図２６中の実線で示すような特性の垂直相関値Ｃ_vの傾きを図２６中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Ｃ_vに、上述の減算器２１ａで減算した０．５を加算器２１ｃで加算する。次に、加算処理を施した垂直相関値Ｃ_vが０〜１までの範囲内の値を取るように、制限器２１ｄで規制する。
【０１１２】
このように強調・低減回路２１は、制御部１０からの乗算値を垂直相関値Ｃ_vに乗算処理を施すことにより、図２６に示すように垂直相関値Ｃ_vの入出力特性の傾きを変化させる。したがって、この強調・低減回路２１によれば、制御部１０からの乗算値を変化させることにより、垂直相関値Ｃ_vを変化させることができる。したがって、この強調・低減回路２１によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路２１によれば、例えばＣＣＤ３に入力される光量が小さいために、ＣＣＤ３からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【０１１３】
加重加算回路２２は、図２に示すように、垂直相関値Ｃ_vを入力して正規化した水平相関値Ｃ_hを生成する減算器２２ａと、正規化した水平相関値Ｃ_hが入力される乗算器２２ｂと、垂直相関値Ｃ_vが入力される乗算器２２ｃと、垂直方向及び水平方向の補間画素データが入力される加算器２２ｄとからなる。
【０１１４】
このような加重加算回路２２は、強調・低減回路２１から垂直相関値Ｃ_vを減算器２２ａ及び乗算器２２ｃに入力する。減算器２２ａでは、垂直相関値Ｃ_vを１から減算処理することで水平相関値Ｃ_hを生成する。そして、この減算器２２ａでは、水平相関値Ｃ_hを乗算器２２ｂに出力する。
【０１１５】
乗算器２２ｂは、垂直方向補間回路１５ｂから垂直方向における補間画素データと、減算器２２ａから水平相関値Ｃ_hとが入力される。乗算器２２ｂは、入力した垂直方向における補間画素データと水平相関値Ｃ_hとを乗算処理する。このように乗算器２２ｂは、垂直方向における補間画素データに水平相関値Ｃ_hを乗算することで重み付けを行う。
【０１１６】
乗算器２２ｃは、水平方向補間回路１５ａから水平方向における補間画素データが入力されるとともに垂直相関値Ｃ_vが入力される。乗算器２２ｃは、入力した水平方向における補間画素データと垂直相関値Ｃ_vとを乗算処理する。このように乗算器２２ｃは、水平方向における補間画素データに垂直相関値Ｃ_vを乗算することで重み付けを行う。
【０１１７】
加算器２２ｄでは、乗算器２２ｃで重み付けられた水平方向における補間画素データ及び乗算器２２ｂで重み付けられた垂直方向における補間画素データが入力される。加算器２２ｄは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器２２ｄは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器２２ｄは、当該補間画素データを輪郭補正回路２３に出力する。
【０１１８】
輪郭補正回路２３は、加重加算回路２２の加算器２２ｄと接続している。この輪郭補正回路２３は、加算器２２ｄから補間画素データが入力されるとともに制御部１０から輪郭強調信号が入力される。この輪郭強調信号は、ＣＣＤ３のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路２３では、入力した輪郭強調信号と補間画素データとを加算処理して、Ｙ／Ｃ変換部２４に出力する。
【０１１９】
Ｙ／Ｃ変換部２４は、輪郭補正回路２３と接続しており、当該輪郭補正回路２３から補間画素データが入力される。このＹ／Ｃ変換部２４は、入力したＲ，Ｇ，Ｂからなる補間画素データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換する。そして、このＹ／Ｃ変換部２４は、補間画素データを変換して得たＹ／Ｃ信号を色差信号抑制部２５に出力する。
【０１２０】
色差信号抑制部２５は、Ｙ／Ｃ変換部２４と接続しており、当該Ｙ／Ｃ変換部２４からＹ／Ｃ信号が入力される。この色差信号抑制部２５は、図２７に示すように、１ラインが画素データＧ，Ｂからなる画素データの色差Ｂ−Ｇが入力されるＢＧデータ抑制回路２５ａと、１ラインが画素データＧ，Ｒからなる画素データの色差Ｒ−Ｇが入力されるＲＧデータ抑制回路２５ｂとからなる。
【０１２１】
ＢＧデータ抑制回路２５ａは、補間画素データＧ’，Ｂ’の色差Ｂ’−Ｇ’が入力される入力部７０ａ〜７０ｃと、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される絶対値化器７１ａ〜７１ｃと、絶対値化器７１ａ〜７１ｃから絶対値化された色差Ｂ’−Ｇ’が入力されるコンパレータ７２ａ〜７２ｃと、コンパレータ７２ａ〜７２ｃからの比較結果が入力される演算器７３と、演算器７３からの演算結果が入力されるセレクタ７４と、セレクタ７４からの画素データが入力される出力部７５とからなる。
【０１２２】
入力部７０ａは垂直方向にける色差Ｂ’−Ｇ’を入力し、入力部７０ｂは水平方向における色差Ｂ’−Ｇ’を入力し、入力部７０ｃは相関値で重み付けがなされた色差Ｂ’−Ｇ’が入力される。入力部７０ａは入力した色差Ｂ’−Ｇ’を絶対値化器７１ａに出力し、入力部７０ｂは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｂに出力し、入力部７０ｃは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｃに出力する。
【０１２３】
絶対値化器７１ａ〜７１ｃは、例えばＥｘ．ＯＲゲート７６と加算器７７とからなる。この絶対値化器７１ａ〜７１ｃは、入力した色差Ｂ’−Ｇ’に対して絶対値化を施し、正の値とする。絶対値化器７１ａ〜７１ｃは、絶対値化を施した色差Ｂ’−Ｇ’をコンパレータ７２ａ〜７２ｃに出力する。
【０１２４】
コンパレータ７２ａは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ｂで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ａで入力する。コンパレータ７２ｂは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。コンパレータ７２ｃは、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。これらコンパレータ７２ａ〜７２ｃは、端子Ａ及び端子Ｂで入力した色差Ｂ’−Ｇ’の大きさを比較して端子Ａで入力した色差Ｂ’−Ｇ’が大きいと判断した場合には比較結果Ｈを演算器７３に出力し、端子Ａで入力した色差Ｂ’−Ｇ’が小さいと判断した場合には比較結果Ｌを演算器７３に出力する。
【０１２５】
演算器７３は、コンパレータ７２ａ〜７２ｃから比較結果が入力されるとともに、制御部１０から制御信号が入力される。この演算器７３は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ７４に出力する。
【０１２６】
この演算器７３は、制御信号Ｈを入力したときには演算結果１１を出力し、制御信号Ｌを入力したときには各コンパレータ７２ａ〜７２ｃからの比較結果に基づいて演算結果を生成する。この演算器７３は、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｈ，Ｌ，Ｘ）のときには演算結果００を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｘ，Ｈ，Ｌ）のときには演算結果０１を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｌ，Ｘ，Ｈ）のときには演算結果１０を生成してセレクタ７４に出力する。
【０１２７】
セレクタ７４は、演算器７３から演算結果が入力されるとともに、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される。このセレクタ７４は、１１端子及び１０端子で入力部７０ｃで入力した色差Ｂ’−Ｇ’を入力し、０１端子で入力部７０ｂで入力した色差Ｂ’−Ｇ’を入力し、００端子で入力部７０ａで入力した色差Ｂ’−Ｇ’が入力される。また、このセレクタ７４は、演算結果１１が入力されると１１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果１０が入力されると１０端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果０１が入力されると０１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果００が入力されると００端子で入力した色差Ｂ’−Ｇ’を出力する。
【０１２８】
ＲＧデータ抑制回路２５ｂは、入力部７０ａ〜７０ｃにおいて色差Ｒ’−Ｇ’を入力し、この色差Ｒ’−Ｇ’を絶対値化器７１、コンパレータ７２、演算器７３、セレクタ７４を経ることで最小の色差Ｒ’−Ｇ’を選択して出力部７５で出力する。
【０１２９】
したがって、このような色差信号抑制部２５によれば、図２８（ａ）に示すように、例えば、垂直方向に配置した画素データＲ，Ｇについての補間画素データＲ_v，Ｇ_v、水平方向に配置した画素データＲ，Ｇについての補間画素データＲ_h，Ｇ_h、重み付けされた補間画素データＲ_c，Ｇ_cの色差のうち最小の補間画素データＲ_h，Ｇ_hを選択する。また、この色差信号抑制部２５は、図２８（ｂ）に示すように、比較した補間画素データのうち、最も０に近い補間画素データＲ’−Ｇ’を選択する。
【０１３０】
このような色差信号抑制部２５は、入力部７０ａ〜７０ｃで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部２５は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部２５によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【０１３１】
出力部７５は、セレクタ７４で出力された補間画素データを出力部２６に出力する。出力部２６は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【０１３２】
なお、以上の説明においては、原色コーディングのＣＣＤ３を用いたカメラ装置１で生成するカメラ信号を処理する一例について説明したが、本発明は、図２９（ａ）又は図２９（ｂ）に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のＣＣＤにも適用することができる。
【０１３３】
【発明の効果】
以上詳細に説明したように、本発明に係るカメラ信号処理装置及びカメラ信号処理方法では、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、生成された補間画素データの上記２以上の方向における相関の程度を示す相関値をそれぞれ検出し、検出された各方向の相関値を絶対値化し、絶対値化された各方向の相関値から所定値だけ減算処理し、減算処理された各方向の相関値が正の値となるように制限し、制限された各方向の相関値で上記各方向の補間画素データに重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成するので、微小な相関値を除去することにより、微小な値におけるノイズを除去することができる。したがって、このカメラ信号処理装置及びカメラ信号処理方法によれば、例えばＢＰＦを通過させて相関値を算出するために、固体撮像素子自体のノイズ等に対して算出された相関値を除去することができる。また、ノイズの少ない相関値を用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【図面の簡単な説明】
【図１】カメラ装置の構成の一例を示すブロック図である。
【図２】信号処理回路の構成の一例を示すブロック図である。
【図３】各画素に対応した画素データＲ，Ｇ，Ｂの配置の一例を示す図である。
【図４】垂直方向補間回路の構成の一例を示す図である。
【図５】各画素に対応した画素データＧの配置の一例を示す図である。
【図６】［１，０，６，０，１］のＬＰＦの周波数特性を示す図である。
【図７】［１，０，１］のＬＰＦの周波数特性を示す図である。
【図８】補間処理を行った後に生成される補間画素データＧ’の一例を示す図である。
【図９】水平方向補間回路の構成の一例を示す図である。
【図１０】各画素に対応した画素データＢの配置の一例を示す図である。
【図１１】各画素に対応した画素データＢについて水力方向に相加平均を算出したときの補間画素データＢ’の配置の一例を示す図である。
【図１２】補間処理を行った後に生成される補間画素データＢ’の一例を示す図である。
【図１３】垂直方向補間回路の構成の一例を示す図である。
【図１４】エッジ処理回路の構成の一例を示す図である。
【図１５】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図１６】水平方向相関検出回路の構成の一例を示す図である。
【図１７】垂直方向相関検出回路の構成の一例を示す図である。
【図１８】ノイズ除去回路の構成の一例を示す図である。
【図１９】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、（ａ）が相関値に減算処理を施したときの一例を示し、（ｂ）が相関値を負の値でリミットしたときの一例を示す図である。
【図２０】オフセット回路の構成の一例を示す図である。
【図２１】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２２】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図２３】偏り補正回路の構成の一例を示す図である。
【図２４】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２５】強調・低減回路の構成の一例を示す図である。
【図２６】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図２７】色差信号抑制回路の構成の一例を示す図である。
【図２８】色差信号抑制部で垂直方向に配置した画素データＲ，Ｇについての補間画素データＲ_v，Ｇ_v、水平方向に配置した画素データＲ，Ｇについての補間画素データＲ_h，Ｇ_h、重み付けされた補間画素データＲ_c，Ｇ_cの色差のうち絶対値最小の補間画素データＲ_h，Ｇ_hを選択する一例を示す図である。
【図２９】画素データの配置の他の一例を示す図である。
【符号の説明】
１カメラ装置、１５画像データ補間部、１５ａ水平方向補間回路、１５ｂ垂直方向補間回路、１６相関値検出部、１６ａ水平方向相関検出回路、１６ｂ垂直方向相関検出回路、１７ノイズ除去部、１８オフセット回路、２２加重加算回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera signal processing device and a camera signal processing method for processing a camera signal generated by a single-plate camera device, and more specifically, when a luminance signal or a color difference signal is generated from an imaging signal generated by a solid-state imaging device. The present invention relates to a camera signal processing apparatus and a camera signal processing method for calculating a correlation value indicating a correlation between interpolation values in each pixel.
[0002]
[Prior art]
Conventionally, in a single-plate camera device using a solid-state imaging device such as a CCD (Charge Coupled Device), color filters corresponding to R, G, and B are disposed at positions corresponding to each pixel of the CCD. . In this camera device, a luminance signal is generated based on light input to the CCD, and a color signal is generated according to light input to the CCD via a color filter. At this time, in the camera device, color signals corresponding to R, G, and B are created according to the light input to each pixel of the CCD in which the color filter is arranged.
[0003]
A CCD in such a camera device is provided with a color filter having R, G, and B for each pixel, and has an array of R, G, R, G,... In the horizontal direction, for example. . In this camera device, a color signal is generated corresponding to the color filter arranged corresponding to each pixel. Therefore, in such a CCD, a color signal corresponding to G is not generated in a pixel provided with an R color filter, and it is necessary to generate a color signal corresponding to G by interpolation.
[0004]
In such a camera device, when an interpolated image is obtained by interpolating from each pixel in the horizontal direction, interpolation is performed by calculating the average by adding the pixel data adjacent in the horizontal direction. When interpolation is performed from the vertical direction, interpolation is performed by adding pixel data adjacent in the vertical direction as in the horizontal direction and calculating an average.
[0005]
In such a camera device, when a color filter indicating R, for example, is arranged on the CCD pixel, a signal indicating G is generated by performing the above-described interpolation on the color signal indicating G.
[0006]
In the single-plate camera device, when interpolation is performed to generate pixel data, a correlation value indicating a correlation in the vertical direction and the horizontal direction is detected. When this correlation value is detected, the correlation value in the vertical direction and the correlation value in the horizontal direction are calculated by calculating the signals of the pixels arranged in the vicinity using a filter. In this camera apparatus, the interpolated pixel data obtained by interpolation is weighted using the correlation value.
[0007]
[Problems to be solved by the invention]
However, as described above, when detecting the correlation value, the correlation value is detected using a band-pass filter for the pixel data generated by the CCD, so the pixel data generated by the CCD includes a noise component. If it is, the correlation value is calculated for the noise.
[0008]
As described above, if the correlation value is detected when there is noise in the pixel data from the CCD, an incorrect correlation value is calculated. Therefore, if interpolation pixel data is weighted using the correlation value calculated in this way, a false color signal is generated, and the image may be deteriorated.
[0009]
Therefore, the present invention has been proposed in view of the above-described circumstances, and a camera that does not generate a false color due to a correlation value that performs weighting even if there is noise generated from a CCD or the like in interpolation pixel data. An object of the present invention is to provide a signal processing device and a camera signal processing method.
[0010]
[Means for Solving the Problems]
A camera signal processing apparatus according to the present invention that solves the above-described problems is generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel. Interpolated pixel data generating means for generating interpolation pixel data in each direction by interpolating from at least two directions based on the pixel data at the position and / or surrounding pixel data, and generated by the interpolation pixel data generating means Correlation detecting means for detecting correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data; An absolute value converting means for converting the correlation value detected in each direction by the correlation detection means to an absolute value; Limiting means for limiting the correlation value in each direction subtracted by the subtracting means to be a positive value. Interpolated pixel data in each direction generated by the noise removing unit and the interpolated pixel data generating unit Limited by the above noise removal means A weighting unit that weights the correlation values in each direction, adds the weighted interpolation pixel data to generate interpolation pixel data, and an image based on the interpolation pixel data weighted by the weighting unit. And an image generation means for generating.
[0011]
In addition, the camera signal processing method according to the present invention includes pixel data generated based on an imaging signal from a solid-state imaging device on which imaging light is incident through a color filter having a different spectral sensitivity corresponding to each pixel. Interpolating from at least two directions based on the position and / or surrounding pixel data to generate interpolated pixel data in each direction, Generated Detecting correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data, The detected correlation value in each direction is converted to an absolute value and converted to an absolute value. Subtract a predetermined value from the correlation value in each direction, Limit the correlation value in each direction that has been subtracted to be a positive value, and use the limited correlation value in each direction. Interpolated pixel data in each direction above Weight To calculate each weighted interpolated pixel data Addition processing Interpolated pixel data is generated.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a camera signal processing apparatus and a camera signal processing method according to the present invention will be described with reference to the drawings.
[0013]
As shown in FIG. 1, the camera signal processing apparatus according to the present invention can be applied to a camera apparatus 1 that generates, for example, a still image according to input light.
[0014]
The camera apparatus 1 includes an optical system 2 that forms an object on a CCD (Charge Coupled Device) imager (hereinafter referred to as a CCD), a CCD 3, a timing generator 4 that drives the CCD 3, and an imaging signal from the CCD 3. An input sample / hold circuit 5, an AGC circuit 6 that adjusts gain when an imaging signal is input from the sample / hold circuit 5, and an A / D conversion circuit 7 that converts the input imaging signal into digital image data And a camera processing unit 8 that performs camera signal processing on image data, a CCD detection unit 9 that detects an imaging signal generated by the CCD 3, and a control unit 10 that controls these units.
[0015]
Here, the CCD 3 is a color in which a region that transmits R (red) light, a region that transmits G (green) light, and a region that transmits B (blue) light are formed in a matrix. A filter is provided, and light transmitted through the color filter is input for each pixel. In this color filter, for example, regions that transmit light of each color are arranged in the horizontal direction as R, G, R, G... Or G, B, G, B. That is, the CCD 3 generates pixel data R, pixel data G, and pixel data B based on light corresponding to each color R, G, and B for each pixel.
[0016]
In the CCD detection unit 9, image data converted into a digital format by the A / D conversion circuit 7 is input. The image data detected by the CCD detection unit 9 is input to, for example, an AE (auto exposure) circuit and an AF (auto focus) circuit. For example, the image data input to the AE circuit is used to adjust the shutter speed or aperture of the electronic shutter, and automatically switches the brightness of light incident on the CCD 3.
[0017]
The camera processing unit 8 has a defect correction circuit 11 to which image data is input from the A / D conversion circuit 7, a CLP circuit 12 to which image data is input from the defect correction circuit 11, and image data from the CLP circuit 12. A white balance circuit 13 and a γ correction circuit 14 to which image data is input from the white balance circuit 13.
[0018]
The defect correction circuit 11 performs defect correction on the image data from the A / D conversion circuit 7. The defect correction circuit 11 corrects a defect of a pixel for which pixel data is not generated due to a defect, and outputs image data to the CLP circuit 12.
[0019]
The CLP circuit 12 subtracts optical black from the image data from the defect correction circuit 11. As described above, the CLP circuit 12 corrects the black level of the input image data and outputs the image data to the white balance circuit 13.
[0020]
The white balance circuit 13 adjusts the level for each color corresponding to the image data R, G, B from the CLP circuit 12. In this way, the white balance circuit 13 outputs the image data whose level is adjusted for each color to the γ correction circuit 14.
[0021]
The γ correction circuit 14 performs γ correction on the image data from the white balance circuit 13. The γ correction circuit 14 outputs the image data subjected to γ correction to an image data interpolation unit and a correlation value detection unit described later.
[0022]
As shown in FIG. 2, the signal processing unit 8 includes an image data interpolation unit 15 to which image data is input from the γ correction circuit 14, and a correlation value detection unit 16 that detects a correlation value between the pixel data. A noise removing unit 17 for removing noise of the correlation value, an offset circuit 18 for offsetting the correlation value, a normalizing circuit 19 for normalizing the correlation value, and a bias correction circuit for correcting the bias in the direction of detecting the correlation. 20, an enhancement / reduction circuit 21 that enhances and reduces correlation, a weighted addition circuit 22 that weights interpolated image data using a correlation value, a contour correction circuit 23 that corrects the contour of image data, and an image A Y / C conversion unit 24 that converts data into a Y / C signal composed of a luminance signal (Y) and a color difference signal (C), a color difference signal suppression unit 25 that suppresses false color signals due to the color difference signal, and an output unit 26 And with .
[0023]
Image data composed of a plurality of pixel data is input from the γ correction circuit 14 to the image data interpolation unit 15. The image data interpolation unit 15 performs interpolation of the pixel data R, G, and B for each pixel to generate the interpolation pixel data R ′, G ′, and B ′. The image data interpolation unit 15 includes a horizontal direction interpolation circuit 15a that performs interpolation of pixel data corresponding to pixels arranged in the horizontal direction, and a vertical direction interpolation circuit 15b that performs interpolation of pixel data corresponding to pixels arranged in the vertical direction. It consists of.
[0024]
Pixel data R, G, B corresponding to each pixel arranged in a matrix as shown in FIG. 3 is input to the horizontal direction interpolation circuit 15a. The horizontal direction interpolation circuit 15a calculates interpolation pixel data in the horizontal direction by using a filter shown in the following Expression 1. FIG. 3 is a diagram showing pixel data R, G, and B corresponding to each pixel, and is a diagram showing coordinates as numbers as the arrangement of each pixel. In the following description, the following description will be given assuming that 0h, 1h, 2h, 3h, and 4h are arranged for each line in the horizontal direction.
[0025]
[1, 4, 6, 4, 1] / 8 (Formula 1)
That is, when calculating the interpolation pixel data R ′, G ′, B ′, the horizontal direction interpolation circuit 15 a is configured as shown in FIG. 4 in order to use the filter shown in Expression 1.
[0026]
The horizontal direction interpolation circuit 15a is configured as shown in FIG. 4 when creating the interpolated pixel data R ′, G ′, B ′ in the horizontal direction. The horizontal direction interpolation circuit 15a includes an input unit 30 to which pixel data is input from the γ correction circuit 14, a delay circuit 31 to which each pixel data is input from the input unit 30, and each pixel data in the horizontal direction from the delay circuit 31. Is input, and a selector circuit 33 to which interpolation pixel data is input via the filter circuit 32, and an output terminal 34 for outputting the interpolation pixel data from the selector circuit 33.
[0027]
Each pixel data in the horizontal direction is sequentially input from the γ correction circuit 14 to the input unit 30. The input unit 30 is sequentially input with a clock for each pixel data. The delay circuit 31 includes delay circuits 31a to 31d to which each pixel data input from the input unit 30 is input. The delay circuit 31 inputs the input pixel data to the delay circuits 31 a to 31 d in synchronization with the clock and outputs it to the filter circuit 32.
[0028]
The filter circuit 32 includes an adder 32a to which pixel data is input via the input unit 30 and the delay circuit 31d, an adder 32b to which pixel data is input via the delay circuit 31a and the delay circuit 31c, and a delay circuit 31b. And an adder 32c to which pixel data is input via the adder 32a and an adder 32d to which the output from the adder 32c is input.
[0029]
The adder 32a receives pixel data directly input from the input unit 30 and the pixel data via the delay circuit 31d, the adder 32c receives the pixel data via the delay circuit 31b, and the adder 32d receives the adder 32a. The pixel data is input via the adder 32c. The adder 32b receives pixel data via the delay circuit 31a and the delay circuit 31c.
[0030]
That is, in the filter circuit 32, the

adders

32a, 32c, and 32d constitute a filter of [1, 0, 6, 0, 1] / 8, and the adder 32b filters [1,0, 1] / 2. Is configured.
[0031]
The selector circuit 33 includes

selectors

33a and 33b to which pixel data is input via the output from the adder 32d and the delay circuit 31b, a selector 33c to which the output from the selector 33a and the output from the adder 32b are input, And an adder 32b and a selector 33d to which the output from the selector 33b is input.
[0032]
Each selector 33a to 33d receives a control signal from the control unit 10 and controls its operation.
[0033]
The output unit 34 includes a terminal 34a that outputs an output from the selector 33c and a terminal 34b that outputs an output from the selector 33d to an edge processing circuit described later.
[0034]
The horizontal direction interpolation circuit 15a configured as described above is, for example, the pixel data G _{twenty two} Interpolated pixel data R _{twenty two} ', B _{twenty two} 'Not only interpolation pixel data G _{twenty two} 'Is also calculated.
[0035]
For example, the pixel data G in FIG. _{twenty two} Interpolated pixel data G for _{twenty two} When calculating ', pixel data G in 2h at the input unit 30 ₂₀ , R _{twenty one} , G _{twenty two} , R _{twenty three} , G _{twenty four} Are entered sequentially.
[0036]
Next, the pixel data G input by the input unit 30 ₂₀ , R _{twenty one} , G _{twenty two} , R _{twenty three} , G _{twenty four} Is input to the filter circuit 32 by the delay circuit 31. That is, pixel data G ₂₀ Is input to the adder 32a and the pixel data R _{twenty one} Is input to the adder 32b and the pixel data G _{twenty two} Is input to the adder 32c and the pixel data R _{twenty three} Is input to the adder 32b and the pixel data G _{twenty four} Is input to the adder 32a.
[0037]
Next, each pixel data G is filtered by the filter circuit 32. ₂₀ , G _{twenty two} , G _{twenty four} To pixel data G _{twenty two} Interpolated pixel data G for _{twenty two} Perform 'operation. That is, in the adder 32a, the pixel data G ₂₀ And pixel data G _{twenty four} Are added and output to the adder 32d. In the adder 32c, the pixel data G _{twenty two} Is multiplied by 4 and doubled, and these are added and output to the adder 32d. The adder 32d receives the outputs from the adder 32a and the adder 32c, adds them, performs 1/8 multiplication, and outputs them to the selector circuit 33. In the adder 32b, the pixel data R _{twenty one} And pixel data R _{twenty three} Are input and added, and 1/2 multiplication is performed and output to the selector circuit 33.
[0038]
Thus, by performing addition processing in the

adders

32a, 32c, and 32d, {pixel data G ₂₀ + 6 × pixel data G _{twenty two} + Pixel data G _{twenty four} } / 8 is performed. On the other hand, by performing addition processing in the adder 32b, {pixel data R _{twenty one} + Pixel data R _{twenty three} } / 2 is performed. That is, in the filter circuit 32, the adder 32b constitutes a filter [1, 0, 1] / 2, and the

adders

32a, 32c, and 32d constitute a filter [1,0, 6, 0, 1] / 8. And pixel data G ₂₀ , G _{twenty two} , G _{twenty four} Is passed through the filter shown in Equation 1 above. Therefore, according to the filter circuit 32, the pixel data R _{twenty two} , G _{twenty two} Interpolated pixel data R for _{twenty two} ', G _{twenty two} 'Create.
[0039]
Next, in the selector 33a and the selector 33b, the interpolation pixel data G _{twenty two} 'And the pixel data G _{twenty two} Enter. Further, the selector 33 a and the selector 33 b receive the control signal H or the control signal L from the control unit 10. Here, in the selector 33a and the selector 33b, when the control signal H is input, the interpolation pixel data G from the filter circuit 32 is input. _{twenty two} 'Is output to the

selectors

33c and 33d as it is, and when the control signal L is input, the pixel data G _{twenty two} Is output to the

selectors

33c and 33d.
[0040]
Next, in the control unit 10, the pixel data G _{twenty two} Interpolated pixel data G for _{twenty two} Since 'is generated by the filter circuit 32, the control signal L is output to the selector 33c and the selector 33d. As described above, when the control signal L is input to the

selectors

33c and 33d, the selector 33c performs interpolation pixel data R. _{twenty two} 'And the selector 33d outputs the pixel data G _{twenty two} Or interpolation pixel data G _{twenty two} 'Is output.
[0041]
On the other hand, when the control signal H is input from the control unit 10 to the

selectors

33c and 33d, the selector 33c outputs the data input from the selector 33a, and the selector 33d outputs the data input from the adder 32b.
[0042]
That is, the selector 33d is connected to, for example, the pixel data G _{twenty two} Interpolated pixel data G for _{twenty two} 'Is output, the input from the selector 33b is output, and the pixel data G in FIG. _{twenty three} Interpolated pixel data G for _{twenty three} When 'is output, the input from the adder 32b is controlled to be output. Then, the selector 33c receives the interpolated pixel data R for the pixel data R or the pixel data B at the terminal 34a. _{twenty two} 'And the selector 33d outputs the interpolated pixel data G for the pixel data G to the terminal 34b. _{twenty two} 'Is output.
[0043]
Thus, when calculating the interpolated pixel data G ′ for the pixel data G, the interpolated pixel data G assuming the CCD 3 consisting only of the pixel data G as shown in FIG. 'Is calculated. Therefore, in the horizontal direction interpolation circuit 15a, when the interpolation pixel data G ′ is calculated for a pixel in which the pixel data G does not exist, the interpolation pixel data G ′ is calculated using a filter of [1, 0, 1] / 2. When calculating the interpolated pixel data G ′ for the pixel in which the pixel data G exists, the interpolated pixel data G ′ is calculated using a filter of [1, 0, 6, 0, 1] / 8. Therefore, in the horizontal direction interpolation circuit 15a that calculates the interpolation pixel data G ′ using such a filter, the frequency characteristics of these filters are as shown in FIGS. That is, the filter of [1, 0, 6, 0, 1] / 8 exhibits frequency characteristics as shown in FIG. 6, and the filter of [1, 0, 1] / 2 shows frequency characteristics as shown in FIG. Indicates. According to the frequency characteristics of the filters shown in FIGS. 6 and 7, in the horizontal direction interpolation circuit 15a, the frequency characteristics and the pixel data of the interpolated pixel data G ′ in the pixel where the pixel data G exists are obtained by using these filters. The difference from the frequency characteristic of the interpolated pixel data G ′ where G does not exist can be reduced.
[0044]
Therefore, by calculating the interpolated pixel data G ′ for each pixel data G in this way, interpolated image data G ′ as shown in FIG. 8 can be obtained.
[0045]
In addition, the horizontal direction interpolation circuit 15a described above performs pixel data G in 2h. _{twenty two} Interpolated pixel data R for _{twenty two} 'Was calculated using a filter of [1, 0, 1] / 2, but in the same manner as described above, in 1h, the pixel data G ₁₁ Interpolated pixel data B for ₁₁ 'Can also be calculated.
[0046]
Next, pixel data G in 2h _{twenty two} Interpolated pixel data B for _{twenty two} When 'is calculated, the filter shown in FIG. 9 is used. That is, in the following description, an example in which the interpolation pixel data B ′ is calculated in a line where the pixel data B does not exist will be described.
[0047]
Pixel data G _{twenty two} Interpolated image data B _{twenty two} When 'is calculated, the interpolated pixel data B is obtained using a horizontal direction interpolation circuit 15a' configured as shown in FIG. _{twenty two} 'Is calculated. In the following description of the horizontal direction interpolation circuit 15a ′, the same parts as those in the horizontal direction interpolation circuit 15a shown in FIG. That is, in the horizontal direction interpolation circuit 15a ′ shown in FIG. _Ten , G ₁₁ , B ₁₂ , G ₁₃ , B ₁₄ The pixel data at the terminal 30a and 3h input in the order of ₃₀ , G ₃₁ , B ₃₂ , G ₃₃ , B ₃₄ It is assumed that the terminal 30b is input in this order. The horizontal direction interpolation circuit 15a ′ shown in FIG. 9 includes an adder 35 to which pixel data is input from the

terminals

30a and 30b. In the adder 35, pixel data from the

terminals

30a and 30b are input, and addition processing and division processing are performed. That is, in the adder 35, for example, {pixel data B _Ten + Pixel data B ₃₀ } / 2 is performed. In the horizontal direction interpolation circuit 15a ′ in FIG. 9, similarly to the horizontal direction interpolation circuit 15a shown in FIG. 4, the interpolated pixel data G ′ and B are passed through the delay circuits 31a to 31d, the adder 32, and the selector circuit 33. 'Is output.
[0048]
That is, in the horizontal direction interpolation circuit 15a ′, first, the vertical direction is interpolated by the arithmetic mean of the pixel data B corresponding to the pixels arranged in the 1h and 3h adjacent in the vertical direction, as shown in FIG. As shown in FIG. 11, the interpolated pixel data B ′ is calculated by interpolating the pixel data B of each arranged pixel in the vertical direction.
[0049]
Next, the pixel data B in the vertical direction and the interpolated pixel data B ′ obtained by interpolation are converted into a filter of [1, 0, 6, 0, 1] / 8 and a filter of [1, 0, 1] / 2. Then, the interpolated pixel data B ′ in the horizontal direction of the pixel data B is calculated.
[0050]
That is, in the horizontal direction interpolation circuit 15a ′, the interpolation pixel data B for a line in which no pixel data B exists in the horizontal direction. _{twenty two} 'Is created as follows. First, a filter composed of [1, 0, 6, 0, 1] / 8 is applied to the pixel data B in 1h and 3h by the filter circuit 32 by passing it through the

adders

32a, 32c, and 32d, and in 1h and 3h. A filter composed of [1, 0, 1] / 2 is applied to the pixel data G by passing it through the adder 32b. The horizontal direction interpolation circuit 15a ′ further adds a filter composed of [1, 0, 1] / 2 from the value of the pixel data B obtained by passing through the filter composed of [1, 0, 6, 0, 1] / 8. A subtraction processing circuit that subtracts the value of the pixel data G obtained by passing through, and the interpolation pixel data G obtained by the horizontal direction interpolation circuit 15a shown in FIG. _{twenty two} And an addition processing circuit for adding '.
[0051]
That is, in the horizontal direction interpolation circuit 15a ′, the value of the pixel data B obtained by passing through the filter consisting of [1, 0, 6, 0, 1] / 8 is [1,0, 1] / 2. The value of the pixel data G obtained by passing through the filter is subtracted, the pixel data G ′ is added, and the interpolated pixel data B ′ is output to the weighted addition circuit 22.
[0052]
In this way, the horizontal direction interpolation circuit 15a ′ in FIG. 9 performs pixel data G corresponding to a pixel for which no pixel data B exists, such as 2h. _{twenty two} In FIG. 12, as shown in FIG. _{twenty two} 'Can be calculated. That is, according to the horizontal direction interpolation circuit 15a ′ of FIG. 9, the interpolation pixel data B ′ can be calculated for all (all) pixels.
[0053]
Further, such a horizontal direction interpolation circuit 15a ′ is provided with the pixel data G _{twenty two} Interpolated pixel data B _{twenty two} When 'is calculated, it may be calculated using the interpolation pixel data calculated by the following formula 2 and the above formula 1.
[0054]
B _{twenty two} '= {(B ₁₂ '-G ₁₂ ') + (B ₃₂ '-G ₃₂ ')} / 2 + G _{twenty two} '(Formula 2)
According to Equation 2, the interpolated pixel data B _{twenty two} When calculating ', G calculated using the horizontal direction interpolation circuit 15a of FIG. ₁₂ ', G ₃₂ ', G _{twenty two} 'And B calculated by Equation 1 above ₃₂ 'B ₁₂ 'And interpolated pixel data B _{twenty two} 'Can be calculated. On the other hand, the vertical direction interpolation circuit 15b is configured as shown in FIG. In the description of the vertical direction interpolation circuit 15b described below, the same parts as those of the above-described horizontal direction interpolation circuit 15a are denoted by the same reference numerals, and detailed description thereof is omitted.
[0055]
As shown in FIG. 13, the vertical direction interpolation circuit 15b includes an input unit 30 to which pixel data R, G, and B in the vertical direction are sequentially input. The input unit 30 receives a terminal 30a to which pixel data at 1h is input, a terminal 30b to which pixel data at 3h is input, a terminal 30c to which pixel data at 0h is input, and pixel data at 4h. It has a terminal 30d and a terminal 30e to which pixel data in 2h is input.
[0056]
The vertical direction interpolation circuit 15b includes a filter circuit 32, a selector circuit 33, and an output unit 34, similarly to the horizontal direction interpolation circuit 15a described above. In the vertical direction interpolation circuit 15b, the pixel data B is supplied to the terminals 30a to 30e. _Ten , B ₃₀ , G ₀₀ , G ₄₀ , G ₂₀ Is input, the pixel data input to the

terminals

30a and 30b is output to the adder 32b, the pixel data input to the terminals 30c and 30d is output to the adder 32a, and is input to the terminal 30e. Pixel data is output to the adder 32c. Then, in the vertical direction interpolation circuit 15b, as in the horizontal direction interpolation circuit 15a, these input pixel data are applied to the above-described

equations

1 and 2 by the filter circuit 32, and the pixel data R, G, B are applied. Interpolated pixel data R ′, G ′, and B ′ are obtained.
[0057]
Further, the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b constituting the image data interpolation unit 15 are connected to the edge processing circuit 15c. As shown in FIG. 14, the edge processing circuit 15 c includes an input unit 40 including terminals 40 a to 40 c to which pixel data G that has been subjected to delay adjustment from the γ correction circuit 14 described above, and terminals 40 a to 40 c. The delay circuits 41 a to 41 d to which the pixel data G is input, the comparison unit 42 that compares the input pixel data G, the calculation unit 43 that performs calculation processing on the comparison result of the comparison unit 42, and the calculation unit 43 The output unit 44 controls output according to the calculation result, and an output terminal 45 that outputs pixel data from the output unit 44. The edge processing circuit 15c receives each pixel data G from the γ correction circuit 14. Here, an example in which the edge processing unit 15c described below controls, for example, the value of the interpolated pixel data G ′ in FIG. 15 will be described.
[0058]
The input unit 40 includes pixel data G around the interpolated pixel data G ′ in FIG. 15 obtained by interpolation by the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b described above. ₁ ~ G _Four Is entered. For example, when the input unit 40 performs edge processing on the interpolation pixel data in 2h, the pixel data G of 1h adjacent above the interpolation pixel data G ′ is used. ₁ Is input to the terminal 40a and the pixel data G on both sides in the horizontal direction of the interpolated pixel data G ′. ₂ , G _Three Is input to the terminal 40b, and the pixel data G of 3h adjacent below the interpolation pixel data G ′. _Four Is input to the terminal 40c. The terminals 40a to 40c are connected to delay circuits 41a to 41d. Pixel data G ₁ , G ₂ , G _Three , G _Four Are input to the terminals 40a to 40c after being delayed.
[0059]
The delay circuits 41 a to 41 d are connected to the comparison unit 42 and the output unit 44, and the pixel data G output from the input unit 40. ₁ ~ G _Four Enter. The delay circuits 41a to 41d are connected to the pixel data G ₁ ~ G _Four Each pixel data G is input to the comparison unit 42 and the output unit 44 with a clock synchronized with a clock for inputting ₁ ~ G _Four Is output.
[0060]
The comparison unit 42 includes comparators 42a to 42f to which two pixel data among the four pixel data input from the input unit 40 are input. That is, the comparison unit 42 receives the pixel data G ₁ And pixel data G ₂ Is input to the comparator 42a and the pixel data G ₁ And pixel data G _Three Is input to the comparator 42b and the pixel data G ₁ And pixel data G _Four Is input to the comparator 42c and the pixel data G ₂ And pixel data G _Three 42d and the pixel data G ₂ And pixel data G _Four Is input to the comparator 42e and the pixel data G _Three And pixel data G _Four Is input to the comparator 42f.
[0061]
The comparator 42a is connected to the pixel data G at the terminal A. ₁ , Pixel data G at terminal B ₂ The comparator 42b receives the pixel data G at the terminal A. ₁ , Pixel data G at terminal B _Three The comparator 42c receives the pixel data G at the terminal A. ₁ , Pixel data G at terminal B _Four The comparator 42d receives the pixel data G at the terminal A. ₂ , Pixel data G at terminal B _Three The comparator 42e receives the pixel data G at the terminal A. ₂ , Pixel data G at terminal B _Four Is input, and the comparator 42f receives the pixel data G at the terminal A. _Three , Pixel data G at terminal B _Four Is entered.
[0062]
The calculation unit 43 receives the comparison result from the comparison unit 42, and the pixel data G input by the input unit 40 based on the comparison result. ₁ ~ G _Four Among them, the second and third image data are selected. Here, the calculation unit 43 is composed of a plurality of selectors. For example, when the comparison result from the comparator 42a, the comparator 42b, and the comparator 42c is any one of (L, H, H), (H, L, H), and (H, H, L), Pixel data G ₁ Is output to the output unit 44. In addition, in the calculation unit 43, for example, the comparison result from the comparator 42a, the comparator 42d, and the comparator 42e is any one of (H, L, L), (H, L, H), and (H, H, L). Pixel data G ₂ Is output to the output unit 44.
[0063]
The output unit 44 is connected to the input unit 40 and the calculation unit 43. The output unit 44 receives each pixel data G from the input unit 40. ₁ ~ G _Four And a calculation result is input from the calculation unit 43. The output unit 44 includes a selector 44a that outputs pixel data according to the calculation result indicating the second place, and pixel data G according to the calculation result indicating the third place. ₁ ~ G _Four And a selector 44b for outputting. Further, the output unit 44 receives the pixel data G input at the terminal 40a. ₁ Is input at 00 terminal and the pixel data G input at terminal 40b. ₂ Is input to the 10 terminals and the pixel data G input from the terminal 40b. _Three Is input at the 01 terminal and the pixel data G input at the terminal 40c. _Four 11 are input.
[0064]
The output unit 45 is connected to the output unit 44, the horizontal direction interpolation circuit 15a, and the vertical direction interpolation circuit 15b. The output unit 45 outputs pixel data G indicating the second and third positions output from the output unit 44. ₁ ~ G _Four Are output to the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b.
[0065]
When edge processing is performed by the edge processing circuit 15c configured as described above, as shown in FIG. 15, for example, interpolation pixel data obtained by interpolation by the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b by the input unit 40, for example. Pixel data G around G ′ ₁ , G ₂ , G _Three , G _Four Is input by the input unit 40. Here, the numbers in each pixel data in FIG. ₁ ~ G _Four Represents the size of Here, in the input unit 40, the pixel data G ₁ Is input at the terminal 40a, and the pixel data G ₂ At the terminal 40b and the pixel data G _Three At the terminal 40b and the pixel data G _Four Is input at the terminal 40c. These pixel data G ₁ ~ G _Four Are output to the comparators 42a to 42f via the delay circuits 41a to 41d.
[0066]
Next, in each of these comparators 42a to 42f, the input pixel data G ₁ ~ G _Four Are compared, and the comparison result is output to the calculation unit 43. At this time, each of the comparators 42a to 42f outputs the comparison result H to the arithmetic unit 43 when the pixel data input to the terminal A is larger than the pixel data input to the terminal B, and the pixel data input to the terminal A is the terminal. When the pixel data is smaller than the pixel data input to B, the comparison result L is output to the calculation unit 43.
[0067]
Next, in the calculation unit 43, the pixel data G input by the input unit 40 in accordance with the comparison results from the comparators 42a to 42f. ₁ ~ G _Four Among them, the 2nd and 3rd pixel data G ₁ ~ G _Four And the calculation result is output to the output unit 44. Here, the calculation result indicating the second place is inputted by the selector 44a, and the calculation result showing the third place is inputted by the selector 44b. Each of the selectors 44a and 44b receives the pixel data G based on the calculation result. ₁ , G ₂ , G _Three , G _Four Of these, pixel data G corresponding to the second and third positions ₁ ~ G _Four Is output to the output unit 45.
[0068]
Next, in the output unit 45, the pixel data G corresponding to the second and third positions. ₁ ~ G _Four Are output to the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b.
[0069]
Next, in the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b, the pixel data G corresponding to the second place and the third place are displayed. ₁ ~ G _Four Therefore, the size of the interpolated pixel data G ′ is calculated.
[0070]
Therefore, according to such an edge processing circuit 15c, for example, the pixel data G ₁ The size of the pixel data G ₂ The size of the pixel data G _Three The size of the pixel data G _Four When the magnitude of is 0, both the pixel data indicating the second and third places are 100, and therefore the magnitude of the interpolation pixel data G ′ is limited to 100. Therefore, according to the edge processing circuit 15c, the interpolation pixel data G ′ when the pixel data shown in FIG. 15 is interpolated in the vertical direction is not calculated as (100 + 0) = 50.
[0071]
The correlation value detection unit 16 receives pixel data from the γ correction circuit 14 described above. The correlation value detection unit 16 includes a horizontal direction correlation detection circuit 16a that detects a correlation value in the horizontal direction and a vertical direction correlation detection circuit 16b that detects a correlation value in the vertical direction.
[0072]
The horizontal direction correlation detection circuit 16a uses a filter expressed by the following equation 3 for pixels where the pixel data G exists, and uses a filter expressed by the following equation 4 for pixels where the pixel data G does not exist. _h Is calculated.
[0073]
[Expression 1]

[0074]
That is, the horizontal correlation value C _h In the vertical direction, when the pixel data G exists, the LPF of [1, 0, 6, 0, 1] is used by using the expression 3, and when the pixel data G does not exist, the expression [4] , 0, 1]. Also, the horizontal correlation value C _h Is calculated by multiplying the BPF of [-1, 0, 2, 0, -1] in the horizontal direction.
[0075]
As shown in FIG. 16, the horizontal direction correlation detection circuit 16 a includes an input unit 50 to which pixel data is input from the γ correction circuit 14 from terminals 50 a to 50 e, and a horizontal correlation value C to which each pixel data is input. _h And a horizontal correlation value C _h Is input to the selector circuit 53 and the horizontal correlation value C from the selector circuit 53. _h Is output.
[0076]
The input unit 50 sequentially inputs pixel data arranged in the vertical direction shown in FIG. 3 from the γ correction circuit 14. The input unit 50 receives a terminal 50a to which pixel data at 1h is input, a terminal 50b to which pixel data at 3h is input, a terminal 50c to which pixel data at 0h is input, and pixel data at 4h. A terminal 50d and a terminal 50e to which pixel data in 2h is input.
[0077]
The filter circuit 52 includes an adder 52a to which pixel data is input from the

terminals

50a and 50b, an adder 52b to which pixel data is input from the

terminals

50c and 50d, and an adder to which pixel data is input from the terminal 50e. 52c and an adder 52b and an adder 52d to which the output from the adder 52c is input. Similar to the filter circuit 33 shown in the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b described above, the filter circuit 52 uses the adder 52b, the adder 52c, and the adder 52d [1, 0, 6, 0, 1] / 8 filter, and the adder 52a forms a [1, 0, 1] / 2 filter.
[0078]
The selector circuit 53 includes a selector 53a to which pixel data is input from the adder 52d and the terminal 50e, and a selector 53b to which the output from the adder 52a and the output from the selector 53a are input. Each

selector

53a, 53b receives a control signal from the control unit 10 and its operation is controlled. That is, the selector 53a outputs the pixel data input via the

adders

52b, 52c, and 52d when the control signal H is input from the control unit 10, and the terminal when the control signal L is input from the control unit 10. The pixel data input from 50e is output. Further, the selector 53b receives the horizontal correlation value C that has passed through the adder 52a in accordance with the control signal from the control unit 10. _h Or pixel data that has passed through the selector 53a is controlled.
[0079]
In this horizontal direction correlation detection circuit 16a, pixel data for which a correlation value is to be calculated may be input to the selector circuit 53 without passing through the filter circuit 52. As described above, by using the pixel data G as it is as the correlation value without passing through the

filter circuits

52b, 52e, and 52d, it is possible to suppress a reduction in the band of the pixel data G and to simplify the circuit. .
[0080]
The selector 53b is controlled so that the output from the

adders

52b, 52c, 52d or (or) the terminal 50e is allowed to pass through in the pixel where the pixel data G exists, and the adder 52a in the pixel where the pixel data G does not exist. It is controlled to pass the output from.
[0081]
The output unit 54 receives the horizontal correlation value C input from the selector 53b. _h Is output. This output unit 54 is connected to the noise removing unit 17 via a BPF of [-1, 0, 2, 0, -1] in the horizontal direction (not shown), and the horizontal correlation value C _h Is output to the noise removing unit 17.
[0082]
The vertical direction correlation detection circuit 16b uses a filter expressed by the following equation 5 for pixels in which pixel data G exists, and uses a filter expressed by the following equation 6 for pixels in which pixel data G does not exist. _v Is calculated.
[0083]
[Expression 2]

[0084]
That is, the vertical correlation value C _v Is calculated with a BPF of [-1, 0, 2, 0, -1] in the vertical direction by using

Equations

5 and 6. The vertical correlation value C _v Is the LPF of [1, 0, 6, 0, 1] using the formula 5 in the horizontal direction when the pixel data G is present, and [1,0] using the formula 6 when the pixel data G is not present. , 1].
[0085]
As shown in FIG. 17, the vertical direction correlation detection circuit 16b has an input unit 55 to which pixel data is input via a BPF of [-1, 0, 2, 0, -1] in the vertical direction (not shown). And delay circuits 56a to 56d to which each pixel data is input from the input unit 55, and each pixel data is input from the delay circuits 56a to 56d and the vertical correlation value C _v And a vertical correlation value C via the filter circuit 57. _v Is input to the selector circuit 58 and the vertical correlation value C from the selector circuit 58. _v Is output.
[0086]
The input unit 55 sequentially inputs from the γ correction circuit 14 through a BPF of [−1, 0, 2, 0, −1] in the vertical direction (not shown). The input unit 55 outputs each pixel data to the delay circuits 56a to 56d having the same configuration as the delay circuit 31 provided in the above-described horizontal direction interpolation circuit 15a.
[0087]
The filter circuit 57 has the same configuration as the filter circuit 52 provided in the above-described horizontal direction correlation detection circuit 16a, and includes

adders

57a, 57b, 57c, and 57d. In the same way as the filter circuit 53 shown in the horizontal correlation detection circuit 16a described above, the filter circuit 52 is [1,0,6,0,1] / 8 by the adder 57b, the adder 57c, and the adder 57d. A filter is configured, and the adder 57a configures a [1, 0, 1] / 2 filter. In the vertical direction correlation detection circuit 16b, the correlation value C is similar to the horizontal direction correlation detection circuit 16a. _v The pixel data that is the target of the calculation may be input to the selector circuit 58 without passing through the

filter circuits

57b, 57c, and 57d.
[0088]
The selector circuit 58 has the same configuration as the selector circuit 53 provided in the horizontal direction correlation detection circuit 16a described above, and includes selectors 58a and 58b. Each selector 58a, 58b receives a control signal from the control unit 10 and controls its operation.
[0089]
The selector 58b is controlled to pass the output from the

adders

57b, 57c, 57d or the delay circuit 56b in the pixels where the pixel data G exists, and the adder in the pixels where the pixel data G does not exist. The output from 57a is controlled to pass.
[0090]
The output unit 59 receives the vertical correlation value C input from the selector 58b. _v Is output. The output unit 59 is connected to the noise removing unit 17 and has a vertical correlation value C _v Is output to the noise removing unit 17.
[0091]
Since the correlation value detection unit 16 configured in this way is configured with a circuit using Expressions 3 to 6, for example, the correlation value C is calculated using only the pixel data G, so that it is affected by the color of the subject. Horizontal correlation value C _h And the vertical correlation value C _v Can be calculated.
[0092]
As shown in FIG. 2, the noise removal unit 17 includes a noise removal circuit 17a connected to the above-described horizontal direction correlation detection circuit 16a and a noise removal circuit 17b connected to the vertical direction correlation detection circuit 16b. The noise removal circuit 17a and the noise removal circuit 17b have the same configuration as shown in FIG.
[0093]
As shown in FIG. 18, the

noise removing units

17a and 17b include an absolute value conversion circuit 60 to which the correlation value C is input from the

correlation detection circuits

16a and 16b, and a subtraction circuit to which the correlation value C converted to an absolute value is input. 61 and a limit circuit 62 to which the subtracted correlation value C is input.
[0094]
The absolute value circuit 60 is, for example, Ex. It consists of an OR gate 60a and an adder 60b. The absolute value converting circuit 60 converts the input correlation value C into an absolute value to obtain a positive value. Then, the absolute value converting circuit 60 outputs the absolute value of the correlation value C to the subtracting circuit 61.
[0095]
The subtraction circuit 61 includes, for example, a subtracter 61a. The subtractor 61 a receives the correlation value C from the absolute value conversion circuit 60. The subtractor 61 a receives a control signal indicating a subtraction value for subtracting a predetermined value from the correlation value C input from the control unit 10. The subtractor 61a subtracts the subtraction value from the correlation value C according to the control signal. As described above, the subtractor 61a performs the subtraction process to subtract the output of the correlation value C as indicated by the solid line in FIG. 19A, as indicated by the dotted line in FIG. Then, the subtraction circuit 61 outputs the subtracted correlation value C to the limit circuit 62.
[0096]
The limit circuit 62 includes, for example, an inverter 62a and an AND gate 62b. The limit circuit 62 performs processing so that the correlation value C, which is subtracted by the subtraction circuit 61 and has a negative output as shown in FIG. The limit circuit 62 outputs the correlation value C subjected to such processing to the offset circuit 18.
[0097]
Such a noise removing unit 17 removes a minute correlation value C by performing a subtraction process from the input correlation value C, so that noise in the minute value can be removed. Therefore, according to the noise removal unit 17, for example, in order to calculate the correlation value C by passing the BPF, the correlation value C calculated with respect to noise of the CCD 3 itself can be removed. Further, according to the noise removing unit 17, when the pixel data generated by the CCD 3 includes a noise component, even if the correlation value C is calculated for the noise, the minute correlation value is subtracted. . Therefore, according to the noise removing unit 17, the interpolation pixel data can be weighted using the correlation value C with less noise, and a false color signal is generated in the output image, resulting in deterioration of the image. There is no.
[0098]
As shown in FIG. 2, the offset circuit 18 receives the horizontal correlation value C from the noise removal circuit 17a. _h From the offset circuit 18a and the noise removal circuit 17b. _v Is input to the offset circuit 18b. These offset circuit 18a and offset circuit 18b have the same configuration as shown in FIG.
[0099]
As shown in FIG. 20, the offset circuits 18 a and 18 b include an adder 65, for example. The adder 65 receives the correlation value C from the

noise removal circuits

17a and 17b. The adder 65 receives a control signal indicating a predetermined offset value from the control unit 10.
[0100]
When the correlation value C is input from the

noise removing units

17a and 17b, the adder 65 adds the offset value indicated by the control signal. The adder 65 adds the input correlation value C and the offset value and outputs the result to the normalization circuit 19. That is, the offset circuits 18a and 18b add the offset value to the correlation value C as shown by the dotted line in FIG. 21, for example, from the

noise removing units

17a and 17b, thereby causing the correlation value C as shown by the solid line in FIG. And
[0101]
As described above, the offset circuits 18a and 18b add the offset value to the correlation value C, so that even if the amplitude of the input correlation value C is about 0, the correlation value C having a large value can be provided. . For example, as shown in FIG. 22, the offset circuits 18a and 18b cannot obtain the correlation value C in the above-described correlation value detection unit 16, for example, pixel data constituting image data whose color changes for each pixel. , The high-frequency signal and the vertical correlation value C _v And horizontal correlation value C _h The horizontal correlation value C even when the amplitude of _h And vertical correlation value C _v Can be prevented from switching suddenly. That is, according to such offset circuits 18a and 18b, by adding the offset value to the correlation value C, the interpolation pixel data weighted by the correlation value C can be brought closer to the direction of interpolation by arithmetic mean. Therefore, according to the offset circuits 18a and 18b, when the amplitude of the input correlation value C is very small, or in the adjacent pixels, the horizontal correlation value C _h Is 1, vertical correlation value C _v Even if is 0, the vertical correlation value C _v Is 0, horizontal correlation value C _h There is no such thing as switching to 1.
[0102]
As shown in FIG. 2, the normalization circuit 19 generates a horizontal correlation value C from the offset circuit 18a and the offset circuit 18b. _h And the vertical correlation value C _v Is input, and the vertical correlation value C _v And a divider 19b to which the output from the adder 19a is input.
[0103]
Such a normalization circuit 19 has an adder 19a which performs a vertical correlation value C _v And horizontal correlation value C _h And the addition result is output to the divider 19b, and the divider 19b outputs the vertical correlation value C. _v Is divided by the addition result. Then, the normalization circuit 19 generates a vertical correlation value C shown in the following equation (7). _v Is calculated. Here, the horizontal correlation value C _h Is the vertical correlation value C _v Can be expressed as shown in Equation 8 below.
[0104]
[Equation 3]

[0105]
As shown in FIG. 23, the bias correction circuit 20 includes an adder 20a. The bias correction circuit 20 receives the vertical correlation value C expressed by the above equation 7 from the normalization circuit 19. _V Is entered. The correction value α is input from the control unit 10 to the adder 20a. The correction value α is generated by the control unit 10 and is adjusted within a range of −1 to 1 according to the setting of the CCD 3 or the like, for example.
[0106]
Then, the bias correction circuit 20 generates a vertical correlation value C _V And the correction value α input from the control unit 10 are input, and the vertical correlation value C _V And the correction value α are added. In this manner, the bias correction circuit 20 performs the addition process to perform the vertical correlation value C _V Is a value as shown in Equation 9 below.
[0107]
[Expression 4]

[0108]
Therefore, the bias correction circuit 20 is configured so that, for example, as shown in FIG. 24, the vertical correlation value C indicated by the dotted line in FIG. _v Can be changed as indicated by the solid line in FIG. 24 by adding the correction value α. That is, according to this bias correction circuit 20, the vertical correlation value C _v By adding the correction value α to the vertical correlation value C _v And horizontal correlation value C _h And the vertical correlation value C by controlling the correction value α input from the control unit 10 even when the signal level is not the same due to the distortion of the signal from the CCD 3 or the like. _v Can be controlled and corrected. Further, the bias correction circuit 20 cannot calculate the relationship between the correlation in the vertical direction and the correlation in the horizontal direction equally due to, for example, the aspect ratio of the CCD or distortion generated when detecting the analog signal output from the CCD. However, the horizontal correlation value C is controlled by controlling the correction value α from the control unit 10. _h And vertical correlation value C _v And balance can be controlled.
[0109]
As shown in FIG. 25, the enhancement / reduction circuit 21 receives a vertical correlation value C from the bias correction circuit 20. _v And a vertical correlation value C subjected to the subtraction process. _v And a vertical correlation value C subjected to multiplication processing. _v Is input to the adder 21c and the added vertical correlation value C _v Is input to the limiter 21d.
[0110]
The subtractor 21a is a vertical correlation value C having values from 0 to 1 from the bias correction circuit 20. _v And the vertical correlation value C _v Subtract processing. The subtractor 21a is configured to generate a vertical correlation value C _v The subtraction process is performed by 0.5. The multiplier 21b generates a vertical correlation value C based on a control signal indicating a multiplication value input from the control unit 10. _v Multiply processing. The adder 21c generates a vertical correlation value C _v Is added by 0.5. The limiter 21d receives the input vertical correlation value C _v Is limited within a certain range.
[0111]
Such an emphasis / reduction circuit 21 receives the vertical correlation value C from the bias correction circuit 20. _v Is first input, the subtractor 21a first applies the vertical correlation value C. _v Is subtracted by 0.5, and then the subtracted vertical correlation value C _v The multiplication process is performed. At this time, the vertical correlation value C having characteristics as shown by the solid line in FIG. 26 according to the multiplication value input from the control unit 10. _v Is changed as indicated by the dotted line or the alternate long and short dash line in FIG. Next, the multiplied vertical correlation value C _v Then, 0.5 subtracted by the subtractor 21a is added by the adder 21c. Next, the added vertical correlation value C _v Is restricted by the limiter 21d so as to take a value in the range of 0 to 1.
[0112]
Thus, the enhancement / reduction circuit 21 converts the multiplication value from the control unit 10 into the vertical correlation value C _v Is multiplied by the vertical correlation value C as shown in FIG. _v Change the slope of the input / output characteristics. Therefore, according to the emphasis / reduction circuit 21, the vertical correlation value C is obtained by changing the multiplication value from the control unit 10. _v Can be changed. Therefore, according to the emphasis / reduction circuit 21, when the interpolation pixel data to be described later is weighted, whether the interpolation pixel data places importance on the correlation by changing the value of the correlation value that weights the interpolation pixel data, It is possible to control whether the interpolation pixel data is interpolated so as to approach the arithmetic mean. Further, according to the emphasis / reduction circuit 21, for example, since the amount of light input to the CCD 3 is small, the output from the CCD 3 increases in noise, and the multiplication value is changed even if the correlation value cannot be calculated accurately. Thus, the correlation value can be controlled.
[0113]
As shown in FIG. 2, the weighted addition circuit 22 generates a vertical correlation value C _v Normalized horizontal correlation value C _h And a normalized horizontal correlation value C _h And a vertical correlation value C _v Is input to the multiplier 22c, and the adder 22d is input to the interpolation pixel data in the vertical and horizontal directions.
[0114]
Such a weighted addition circuit 22 receives the vertical correlation value C from the enhancement / reduction circuit 21. _v Is input to the subtracter 22a and the multiplier 22c. In the subtractor 22a, the vertical correlation value C _v By subtracting 1 from 1, the horizontal correlation value C _h Is generated. In the subtractor 22a, the horizontal correlation value C _h Is output to the multiplier 22b.
[0115]
The multiplier 22b receives the interpolated pixel data in the vertical direction from the vertical direction interpolation circuit 15b and the horizontal correlation value C from the subtractor 22a. _h Are entered. The multiplier 22b inputs the interpolated pixel data in the vertical direction and the horizontal correlation value C. _h And multiply. Thus, the multiplier 22b adds the horizontal correlation value C to the interpolated pixel data in the vertical direction. _h Is multiplied by.
[0116]
The multiplier 22c receives the interpolated pixel data in the horizontal direction from the horizontal direction interpolation circuit 15a, and also has a vertical correlation value C. _v Is entered. The multiplier 22c inputs the interpolated pixel data in the horizontal direction and the vertical correlation value C. _v And multiply. Thus, the multiplier 22c adds the vertical correlation value C to the interpolated pixel data in the horizontal direction. _v Is multiplied by.
[0117]
The adder 22d receives the interpolation pixel data in the horizontal direction weighted by the multiplier 22c and the interpolation pixel data in the vertical direction weighted by the multiplier 22b. The adder 22d adds the interpolated pixel data in the horizontal direction and the interpolated pixel data in the vertical direction. In this way, the adder 22d performs the addition process to obtain interpolation pixel data weighted by the correlation values in the vertical direction and the horizontal direction. Then, the adder 22 d outputs the interpolated pixel data to the contour correction circuit 23.
[0118]
The contour correction circuit 23 is connected to the adder 22 d of the weighted addition circuit 22. The contour correction circuit 23 receives the interpolation pixel data from the adder 22 d and the contour enhancement signal from the control unit 10. This contour emphasis signal is a signal that compensates for response deterioration of the CCD 3 and emphasizes the sharpness. The contour correction circuit 23 adds the input contour emphasis signal and the interpolated pixel data and outputs the result to the Y / C converter 24.
[0119]
The Y / C converter 24 is connected to the contour correction circuit 23, and interpolation pixel data is input from the contour correction circuit 23. The Y / C converter 24 converts the input interpolation pixel data composed of R, G, and B into a Y / C signal composed of a luminance signal (Y) and a color difference signal (C). Then, the Y / C conversion unit 24 outputs the Y / C signal obtained by converting the interpolation pixel data to the color difference signal suppression unit 25.
[0120]
The color difference signal suppression unit 25 is connected to the Y / C conversion unit 24, and the Y / C signal is input from the Y / C conversion unit 24. As shown in FIG. 27, the color difference signal suppression unit 25 includes a BG data suppression circuit 25a to which the color difference BG of pixel data in which one line is composed of pixel data G and B, and one line is the pixel data G, An RG data suppression circuit 25b to which a color difference RG of pixel data composed of R is input.
[0121]
The BG data suppression circuit 25a has input units 70a to 70c to which the color difference B'-G 'between the interpolation pixel data G' and B 'is input, and an absolute value to which the color difference B'-G' is input from the input units 70a to 70c. Calculations in which the binarizers 71a to 71c, the comparators 72a to 72c to which the absolute color difference B′-G ′ is input from the absolute binarizers 71a to 71c, and the comparison results from the comparators 72a to 72c are input And a selector 74 to which the calculation result from the calculator 73 is input, and an output unit 75 to which the pixel data from the selector 74 is input.
[0122]
The input unit 70a inputs the color difference B'-G 'in the vertical direction, the input unit 70b inputs the color difference B'-G' in the horizontal direction, and the input unit 70c has the color difference B'- weighted with the correlation value. G ′ is input. The input unit 70a outputs the input color difference B'-G 'to the absolute value converter 71a, the input unit 70b outputs the input color difference B'-G' to the absolute value generator 71b, and the input unit 70c receives the input. The color difference B′−G ′ is output to the absolute value converter 71c.
[0123]
The absolute value converters 71a to 71c are, for example, Ex. It consists of an OR gate 76 and an adder 77. The absolute value converters 71a to 71c perform absolute value conversion on the input color difference B′−G ′ to obtain a positive value. The absolute value generators 71a to 71c output the color difference B′−G ′ subjected to absolute value conversion to the comparators 72a to 72c.
[0124]
The comparator 72a inputs the color difference B′−G ′ that has passed through the absolute value converter 71a at the terminal B and also inputs the color difference B′−G ′ that has passed through the absolute value converter 71c at the terminal A. The comparator 72b inputs the color difference B′−G ′ that has passed through the absolute value converter 71a at the terminal A, and also inputs the color difference B′−G ′ that has passed through the absolute value converter 71b at the terminal B. The comparator 72c inputs the color difference B′−G ′ that has passed through the absolute value converter 71b at the terminal A, and also inputs the color difference B′−G ′ that has passed through the absolute value converter 71c at the terminal B. The comparators 72a to 72c compare the magnitudes of the color differences B′−G ′ input at the terminals A and B and determine that the color difference B′−G ′ input at the terminal A is large. Is output to the calculator 73, and if the color difference B′−G ′ input at the terminal A is determined to be small, the comparison result L is output to the calculator 73.
[0125]
The arithmetic unit 73 receives the comparison result from the comparators 72 a to 72 c and also receives a control signal from the control unit 10. The calculator 73 generates a calculation result based on the comparison result and the control signal and outputs the calculation result to the selector 74.
[0126]
The calculator 73 outputs the calculation result 11 when the control signal H is input, and generates a calculation result based on the comparison results from the comparators 72a to 72c when the control signal L is input. When the comparison results of the

comparators

72a, 72b, 72c are (H, L, X), the calculator 73 outputs the calculation result 00, and the comparison results of the

comparators

72a, 72b, 72c are (X, H, L). ), The calculation result 01 is output. When the comparison results of the

comparators

72a, 72b, 72c are (L, X, H), the calculation result 10 is generated and output to the selector 74.
[0127]
The selector 74 receives the calculation result from the calculator 73 and the color difference B′−G ′ from the input units 70a to 70c. The selector 74 inputs the color difference B′−G ′ input from the input unit 70c at the 11th terminal and the 10th terminal, inputs the color difference B′−G ′ input from the input unit 70b at the 01 terminal, and inputs at the 00 terminal. The color difference B′−G ′ input by the unit 70a is input. The selector 74 outputs the color difference B′−G ′ input at the 11 terminal when the calculation result 11 is input, and outputs the color difference B′−G ′ input at the 10 terminal when the calculation result 10 is input. When the calculation result 01 is input, the color difference B′−G ′ input at the 01 terminal is output. When the calculation result 00 is input, the color difference B′−G ′ input at the 00 terminal is output.
[0128]
The RG data suppression circuit 25 b receives the color difference R′−G ′ in the input units 70 a to 70 c, and passes this color difference R′-G ′ through the absolute value calculator 71, the comparator 72, the calculator 73, and the selector 74. The minimum color difference R′−G ′ is selected and output by the output unit 75.
[0129]
Therefore, according to such a color difference signal suppressing unit 25, as shown in FIG. 28A, for example, interpolation pixel data R for pixel data R and G arranged in the vertical direction. _v , G _v Interpolated pixel data R for pixel data R and G arranged in the horizontal direction _h , G _h , Weighted interpolation pixel data R _c , G _c The smallest interpolated pixel data R of the color difference _h , G _h Select. Further, as shown in FIG. 28B, the color difference signal suppressing unit 25 selects interpolation pixel data R′-G ′ that is closest to 0 among the compared interpolation pixel data.
[0130]
Such a color difference signal suppressing unit 25 selects and outputs the interpolated pixel data input from the input units 70a to 70c with the smallest absolute value of the color difference signal. Therefore, such a color difference signal suppressing unit 25 prevents false colors from appearing on color edges or the like when image data is generated with interpolated pixel data weighted with a correlation value in a band where correlation cannot be obtained. Can do. Therefore, according to the color difference signal suppression unit 25, it is possible to prevent color aliasing distortion even in a frequency band where no correlation is observed.
[0131]
The output unit 75 outputs the interpolation pixel data output by the selector 74 to the output unit 26. The output unit 26 is, for example, a recording medium for recording pixel data, a display device, a terminal for outputting to the outside, or the like.
[0132]
In the above description, an example of processing a camera signal generated by the camera device 1 using the primary color coding CCD 3 has been described. However, the present invention is as shown in FIG. 29 (a) or FIG. 29 (b). In addition, if the solid-state imaging device of the coding in which the most colors among the colors indicated by the pixel data included in the image data are arranged in a checkered pattern is applicable to a complementary color CCD.
[0133]
【The invention's effect】
As described in detail above, the camera signal processing apparatus and camera signal processing method according to the present invention Then, based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device to which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. The Interpolate from at least two directions to generate interpolated pixel data in each direction, Generated Detecting correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data, The detected correlation value in each direction is converted to an absolute value and converted to an absolute value. Subtracts a predetermined value from the correlation value in each direction The subtracted correlation value in each direction is limited to a positive value, and the interpolated pixel data in each direction is weighted with the limited correlation value in each direction, and each weighted interpolation is performed. Since pixel data is added and interpolated pixel data is generated, Remove minute correlation values By Noise at minute values can be removed. Therefore, according to the camera signal processing apparatus and the camera signal processing method, for example, in order to calculate the correlation value through the BPF, the correlation value calculated with respect to noise of the solid-state imaging device itself can be removed. it can. Also, The interpolation pixel data can be weighted using a correlation value with less noise, and a false color signal is generated in the output image, so that the image is not deteriorated.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a camera device.
FIG. 2 is a block diagram illustrating an example of a configuration of a signal processing circuit.
FIG. 3 is a diagram illustrating an example of an arrangement of pixel data R, G, and B corresponding to each pixel.
FIG. 4 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 5 is a diagram illustrating an example of an arrangement of pixel data G corresponding to each pixel.
FIG. 6 is a diagram illustrating frequency characteristics of LPFs of [1, 0, 6, 0, 1].
FIG. 7 is a diagram showing frequency characteristics of LPFs of [1, 0, 1].
FIG. 8 is a diagram illustrating an example of interpolated pixel data G ′ generated after performing an interpolation process.
FIG. 9 is a diagram illustrating an example of a configuration of a horizontal direction interpolation circuit.
FIG. 10 is a diagram illustrating an example of an arrangement of pixel data B corresponding to each pixel.
FIG. 11 is a diagram illustrating an example of an arrangement of interpolation pixel data B ′ when an arithmetic mean is calculated in the hydraulic direction for pixel data B corresponding to each pixel.
FIG. 12 is a diagram illustrating an example of interpolated pixel data B ′ generated after performing an interpolation process.
FIG. 13 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 14 is a diagram illustrating an example of a configuration of an edge processing circuit.
FIG. 15 is a diagram for explaining an example when edge processing is performed by an edge processing circuit;
FIG. 16 is a diagram illustrating an example of a configuration of a horizontal direction correlation detection circuit.
FIG. 17 is a diagram illustrating an example of a configuration of a vertical direction correlation detection circuit.
FIG. 18 is a diagram illustrating an example of a configuration of a noise removal circuit.
FIGS. 19A and 19B are diagrams illustrating an example when processing is performed on a correlation value input by a noise removal circuit, where FIG. 19A illustrates an example when a subtraction process is performed on the correlation value, and FIG. It is a figure which shows an example when it limits with a negative value.
FIG. 20 is a diagram illustrating an example of a configuration of an offset circuit.
FIG. 21 is a diagram illustrating an example of changes in input / output characteristics when an offset value is added to a correlation value input by an offset circuit.
FIG. 22 is a diagram illustrating an example of image data whose color changes for each adjacent pixel data.
FIG. 23 is a diagram illustrating an example of a configuration of a bias correction circuit.
FIG. 24 is a diagram illustrating an example of a change in input / output characteristics when a correction value is added to a correlation value input by a bias correction circuit.
FIG. 25 is a diagram illustrating an example of a configuration of an enhancement / reduction circuit.
FIG. 26 is a diagram illustrating a change in input / output characteristics when a multiplication process is performed on a correlation value input by an enhancement / reduction circuit.
FIG. 27 is a diagram illustrating an example of a configuration of a color difference signal suppression circuit.
FIG. 28 shows interpolated pixel data R for pixel data R and G arranged in the vertical direction by the color difference signal suppression unit. _v , G _v Interpolated pixel data R for pixel data R and G arranged in the horizontal direction _h , G _h , Weighted interpolation pixel data R _c , G _c Interpolated pixel data R having the smallest absolute value among the color differences of _h , G _h It is a figure which shows an example which selects.
FIG. 29 is a diagram illustrating another example of the arrangement of pixel data.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Camera apparatus, 15 Image data interpolation part, 15a Horizontal direction interpolation circuit, 15b Vertical direction interpolation circuit, 16 Correlation value detection part, 16a Horizontal direction correlation detection circuit, 16b Vertical direction correlation detection circuit, 17 Noise removal part, 18 Offset circuit , 22 Weighted addition circuit

Claims

At least based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device on which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. Interpolation pixel data generating means for generating interpolation pixel data in each direction by interpolating from two or more directions;
Correlation detection means for detecting correlation values indicating the degree of correlation in the two or more directions of the interpolation pixel data generated by the interpolation pixel data generation means;
Absolute value converting means for converting the correlation values detected in the correlation detection means into absolute values; and subtracting means for subtracting a predetermined value from the correlation values in each direction converted into absolute values by the absolute value converting means; Noise removing means comprising limiting means for limiting the correlation value in each direction subjected to the subtraction processing by the subtracting means to be a positive value ;
The interpolated pixel data generated by the interpolated pixel data generating means is weighted with the correlation value of each direction limited by the noise removing means, and the weighted interpolated pixel data is added and interpolated. A weighting means for generating data;
A camera signal processing apparatus comprising: an image generator that generates an image based on the interpolation pixel data weighted by the weighting means.

The noise removing means includes control means for generating a subtraction value for performing subtraction processing by the subtraction means,
2. The camera signal processing apparatus according to claim 1, wherein the subtracting unit subtracts a subtraction value generated by the control unit from a correlation value in each direction absolute valued by the absolute value converting unit.

At least based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device on which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. Interpolate from two or more directions to generate interpolated pixel data in each direction,
Detecting correlation values indicating the degree of correlation in the two or more directions of the generated interpolation pixel data,
The detected correlation value in each direction is converted into an absolute value,
Subtract only a predetermined value from the correlation value in each direction converted to an absolute value,
Limit the correlation value in each direction that has been subtracted to be a positive value,
Weighting the interpolated pixel data in each direction with the limited correlation value in each direction,
A camera signal processing method comprising: adding weighted interpolation pixel data to generate interpolation pixel data.