JP5076186B2 - 画像拡大方法 - Google Patents

Description

本発明は、画像処理回路で実行される画像拡大技術に関する。

デジタルカメラ等で利用されるＣＣＤ，ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。補間処理には様々なアルゴリズムが用いられているが、その中に相関値を利用するものがある。水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行うのである。下記特許文献１においても、相関方向を考慮した画素補間処理が行われている。

特開２００６−１８６９６５号公報

デジタルカメラ等の画像処理回路は、画像の拡大処理も実行する。画像処理回路は、バイリニア補間などを利用して画像を拡大する。拡大処理にも様々なアルゴリズムがあるが、補間とは予測に基づく処理であることには変わりはない。したがって、拡大補間した画像に対しては、フィルタリング処理を施し、画像の品質を向上させる必要がある。

画像処理回路においては、上述したように画素補間処理など様々な処理が実行されているが、それら処理で取得された情報は、それらの処理の中での利用に限られている。画像拡大後のフィルタリング処理においても、それらの処理で取得された情報が利用できれば、画像の品質向上に役立てることができると考えられる。

そこで、本発明は画像拡大処理において、画像処理回路の他の処理で取得された情報を有効利用し、画像の品質を向上させるための技術を提供することを課題とする。

上記課題を解決するため、請求項１記載の発明は、画像拡大方法であって、ａ）１画素につき１色の成分を持つ所定の色空間の画素信号を入力する入力工程と、ｂ）各画素の相関方向を求める相関方向算出工程と、ｃ）各画素について、相関方向に関わる画素を用いて、前記所定の色空間の他の色成分の信号を補間する色成分補間工程と、ｄ）画素信号を拡大補間し拡大画像を生成する画像拡大工程と、ｅ）拡大補間により生成された各画素に対して、前記相関方向算出工程ｂ）で求められた相関方向を利用して相関方向を補間する相関方向補間工程と、ｆ）前記画像拡大工程ｄ）の前から存在する画素については前記相関方向算出工程ｂ）で求められた相関方向を考慮して、あるいは前記画像拡大工程ｄ）で生成された画素については前記相関方向補間工程ｅ）で補間された相関方向を考慮してフィルタリング処理を実行するフィルタリング工程と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の画像拡大方法において、前記相関方向補間工程ｅ）は、ｅ−１）前記画像拡大工程ｄ）により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が所定のルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第１工程と、ｅ−２）前記第１工程ｅ−１）により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第２工程と、を含み、前記第２工程ｅ−２）において、所定の基準を満たすと判定されるまで、前記第１工程ｅ−１）を繰り返し実行することを特徴とする。

請求項３記載の発明は、請求項１に記載の画像拡大方法において、前記相関方向補間工程ｅ）は、ｅ−１）前記画像拡大工程ｄ）により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が第１ルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第１工程と、ｅ−２）前記第１工程ｅ−１）において相関方向が対応付けられなかった画素の中から残存画素を特定し、前記第１工程ｅ−１）で相関方向が対応付けられた画像を含め同じ相関方向が対応付けられている画素の配置が第２ルールとマッチングする場合には、前記残存画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第２工程と、ｅ−３）前記第１工程ｅ−１）および前記第２工程ｅ−２）により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第３工程と、を含み、前記第３工程ｅ−３）において、所定の基準を満たすと判定されるまで、前記第１工程ｅ−１）および前記第２工程ｅ−２）を繰り返し実行することを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画像拡大方法において、前記フィルタリング工程ｆ）は、相関方向に沿う方向についてノイズ除去処理を実行する工程と、相関方向と直交する方向についてエッジ強調処理を実行する工程と、を含むことを特徴とする。

請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像拡大方法において、前記フィルタリング工程ｆ）は、拡大画像のうち輝度信号に対してのみフィルタリング処理を実行することを特徴とする。

請求項６記載の発明は、請求項１ないし請求項４のいずれかに記載の画像拡大方法において、前記フィルタリング工程ｆ）は、拡大画像のうち色差信号に対してはノイズ除去処理を実行することを特徴とする。

請求項７記載の発明は、請求項１ないし請求項６のいずれかに記載の画像拡大方法において、前記画像拡大工程ｄ）において、画像が水平方向、垂直方向にそれぞれ２倍に拡大され、前記相関方向補間工程ｅ）において、前記相関方向算出工程ｂ）において求められた相関方向が水平方向、垂直方向にそれぞれ２倍に拡大補間されることを特徴とする。

請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載の画像拡大方法において、さらに、ｇ）前記フィルタリング工程ｆ）においてフィルタリング処理された拡大画像を縮小する画像縮小工程、を備えることを特徴とする。

本発明によれば、画像の色補間処理のために利用した相関方向の情報を利用し、拡大された画像のフィルタイリング処理を実行する。これにより、拡大補間された画像の品質を向上させることができる。本発明の方法を利用することで、たとえばデジタルカメラであれば、撮影画像を高品質のまま拡大処理することができる。

｛第１の実施の形態｝
＜１．デジタルカメラの全体概略構成＞
図１は、本実施の形態に係るデジタルカメラ１０を示すブロック図である。デジタルカメラ１０は、撮像素子１、信号処理回路２、画像処理回路３、メモリ５を備えている。撮像素子１は、ＲＧＢベイヤ配列の色フィルタアレイを備えた単板式のＣＣＤであり、１画素からはＲＧＢいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがＧ→Ｒ→Ｇ→Ｒ→・・・とＧ信号とＲ信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、Ｂ→Ｇ→Ｂ→Ｇ→・・・とＢ信号とＧ信号とが交互に出力されるラインである。なお、撮像素子１として、ＣＭＯＳセンサを用いても良い。

撮像素子１から出力される画素信号は、信号処理回路２に入力される。信号処理回路２において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路２から出力された画素信号は、画像処理回路３に入力される。画像処理回路３は、彩度値算出回路３１、相関値算出回路３２、選択回路３３、第１・第２相関判定回路３４１，３４２、第１・第２補間回路３５１，３５２、第１・第２色空間変換回路３６１，３６２を備えている。さらに、画像処理回路３は、拡大回路３７、相関方向補間回路３８、フィルタ３９を備えている。

彩度値算出回路３１は、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。この彩度値は、当該領域がグレー画像であるかカラー画像であるかを判定するための指標となる。

相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて当該領域の相関値を算出する。

選択回路３３は、彩度値算出回路３１により算出された彩度値に基づき、相関判定処理および画素補間処理において、グレー画像用の処理を実行するのか、カラー画像用の処理を実行するのかを選択する。

第１相関判定回路３４１、第２相関判定回路３４２は、それぞれ、相関値算出回路３２で算出され、選択回路３３において選択された相関値を利用して、相関方向を判定する。

第１補間回路３５１は、第１相関判定回路３４１の判定結果に基づいて、注目画素の画素補間処理を実行し、第２補間回路３５２は、第２相関判定回路３４２の判定結果に基づいて、注目画素の画素補間処理を実行する。

第１色空間変換回路３６１は、第１補間回路３５１において補間されたＲＧＢの画素信号を、色空間変換し、Ｙ信号（輝度信号）を生成する。第２色空間変換回路３６２は、第２補間回路３５２において補間されたＲＧＢの画素信号を、色空間変換し、Ｃｂ，Ｃｒ信号（色差信号）を生成する。

なお、彩度値算出回路３１、相関値算出回路３２および第１・第２補間回路３５１，３５２、相関方向補間回路３８、フィルタ３９は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、Ｍ×Ｎのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路でレジスタを共用してもよい。

第１・第２補間回路３５１，３５２において画素補間処理が行われると、各画素はＲＧＢ全ての色成分を持つ信号となり、さらに、第１・第２色空間変換回路３６１，３６２により、ＹＣｂＣｒ信号に変換される。そして、この画素信号が拡大回路３７において拡大処理される。

拡大回路３７において、たとえば水平方向、垂直方向にそれぞれ２倍拡大された画像は、フィルタ３９においてフィルタ処理が施される。相関方向補間回路３８は、拡大補間された画素信号のそれぞれに対して相関方向を補間する。フィルタ３９は、相関方向補間回路３８において補間された相関方向を利用して、各画素信号に対してエッジ強調処理やノイズ除去処理を実行する。フィルタ処理後の画素信号は、メモリ５に格納される。

＜２．ベイヤ配列の画素の表記方法＞
次に、以下の説明および図面において使用するベイヤ配列の画素の表記方法について説明する。５×５のマトリクス領域の画素を図２（ａ）のように表す。図２（ａ）における記号Ｐは、画素がＲＧＢいずれの色成分であるかを考慮しない表記である。図２（ｂ）〜（ｅ）においては各画素の色成分を区別して表記している。記号Ｒは赤色画素、記号Ｇは緑色画素、記号Ｂは青色画素であることを示している。また、図２および図５〜図１２において、Ｇ画素は実線の円で描き、Ｒ画素およびＢ画素は破線の円で描いている。

また、記号Ｐ，Ｒ，Ｇ，Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。図２（ａ）〜（ｅ）は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号Ｐ，Ｒ，Ｇ，Ｂは、画素値を表す場合もある。たとえば記号Ｐ１１は、１行１列目の画素を示す符号であるとともに、特に数式においては１行１列目の画素の画素値をも表す。

図２（ｂ）および図２（ｅ）は、注目画素Ｐ２２がＧ画素である場合の画素配列である。図２（ｃ）は、注目画素Ｐ２２がＲ画素である場合の画素配列である。図２（ｄ）は、注目画素Ｐ２２がＢ画素である場合の画素配列である。上述したように、彩度値算出回路３１、相関値算出回路３２、第１・第２補間回路３５１，３５２においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。５×５のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図２（ｂ）〜図２（ｅ）の４つのパターンが存在することになる。また、３×３のマトリクス領域の画素を処理対象とする場合には、注目画素Ｐ２２を中心とした９個の画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ３１，Ｐ３２，Ｐ３３を利用することになり、画素信号のパターンは、同様に、図２（ｂ）〜図２（ｅ）の４パターンである。

＜３．彩度値算出処理＞
次に、彩度値算出回路３１により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路３１は、注目画素を含むマトリクス領域（これは注目画素及びその周辺画素で構成される）の色差成分を分析し、この領域の彩度評価値を算出する。この彩度評価値は、後工程である選択工程において、処理対象となる領域が彩度の高い画像（以下、カラー画像とする。）であるか、彩度の低い画像（以下、グレー画像とする。）であるかを判定するために利用される。

彩度評価値は、注目画素を含むマトリクス領域において、Ｇ画素のレベルとＲ画素のレベルとの色差成分およびＧ画素のレベルとＢ画素のレベルとの色差成分に基づいて算出される。本実施の形態においては、彩度評価値を決定するために、２つの色差成分評価値が算出される。彩度値算出回路３１は、「第１の色差成分評価値」および「第２の色差成分評価値」を算出する。「第１の色差成分評価値」とは、画素平均値に基づく色差成分値から求めた評価値である。画素平均値に基づく色差成分値とは、マトリクス領域内にある画素の位置は考慮することなく、領域内に存在する画素の色成分別の画素平均値から求めた色差成分値である。「第２の色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。

このように、２種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「第１の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像であると判定される可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、２種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。

(３−１)第１の色差成分評価値
まず、第１の色差成分評価値の算出方法について説明する。第１の色差成分評価値は、青空や模様のない壁等、平坦部分（低周波領域）の色差成分の評価に適している。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。第１の色差成分評価値を算出するために、まず、注目画素を中心とする３×３のマトリクス領域に含まれるＲＧＢ各色の画素値の平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを算出する。平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅは、一般的には、数（１）式のように表される。数（１）式中、Ｎ_Ｒ、Ｎ_Ｇ、Ｎ_Ｂは、それぞれマトリクス領域内に存在するＲ，Ｇ，Ｂ画素の数であり、Σの項は、各色成分の累積画素値を示している。

ただし、図２（ｂ）〜（ｅ）で示したように、画素配列には４つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がＧ画素であり、図２（ｂ）の画素配列に対応する場合、数（２）式により平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを算出する。

中心画素がＲ画素であり、図２（ｃ）の画素配列に対応する場合、数（３）式により平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを算出する。

中心画素がＢ画素であり、図２（ｄ）の画素配列に対応する場合、数（４）式により平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを算出する。

中心画素がＧ画素であり、図２（ｅ）の画素配列に対応する場合、数（５）式により平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを算出する。

彩度値算出回路３１は、マトリクス領域の画素配列が、図２（ｂ）〜（ｅ）のいずれのパターンであるかに応じて、数（２）式から数（５）式のいずれかの数式に従った演算処理を実行し、平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを算出する。さらに、彩度値算出回路３１は、算出した平均値Ｒ_ａｖｅ，Ｇ_ａｖｅ，Ｂ_ａｖｅを用いて、数（６）式で表した演算処理を実行することにより、第１の色差成分評価値Ｌ_{ｇｌｏｂａｌ}を算出する。つまり、色差成分評価値Ｌ_{ｇｌｏｂａｌ}は、マトリクス領域内に存在する色成分ごとの画素値平均値に基づく色差成分値を用いて算出された色差成分の評価値である。

（３−２）第２の色差成分評価値
次に、第２の色差成分評価値の算出処理について説明する。マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域の色差成分の評価に適している。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、（３−１）で求めた第１の色差成分評価値を彩度評価値として採用した場合、誤ってカラー画像であると判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を適切に求めるために、以下の処理を実行する。

彩度値算出回路３１は、３×３のマトリクス領域の画素信号を用いて、数（７）式および数（８）式で表された演算処理を実行する。すなわち、数（７）式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Ｌ_{ｖｅｒｔｉｃａｌ}を算出している。また、数（８）式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Ｌ_{ｈｏｒｉｚｏｎｔａｌ}を算出している。つまり、数（７）式、数（８）式で表される演算は、垂直方向あるいは水平方向について、それぞれＧ画素とＲ画素との色差成分値及びＧ画素とＢ画素との色差成分値を累積するものである。色差成分評価値Ｌ_{ｖｅｒｔｉｃａｌ}，Ｌ_{ｈｏｒｉｚｏｎｔａｌ}はいずれも上述の第２の色差成分評価値である。

数（７）式および数（８）式において、係数２が乗算されている項があるが、これは、Ｇ−Ｒ画素の色差成分累積数とＧ−Ｂ画素の色差成分累積数とを一致させるためである。この実施の形態では、異なる色差成分同士の累積数を一致させるための係数２を乗算するようにしているが、この値は適宜設定可能である。

この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。例えば注目画素Ｐ２２について水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向についての色差成分評価値Ｌｄ_Ａ，Ｌｄ_Ｂは数（９）式及び数（１０）式で求められる。ただし、数（９）式は注目画素Ｐ２２がＧ画素である場合に用いられる式であり、数（１０）式は注目画素Ｐ２２がＲ画素あるいはＢ画素である場合に用いられる式である。

（３−３）彩度係数の計算
彩度値算出回路３１は、以上、（３−１），（３−２）で示した演算方法により３つの色差成分評価値Ｌ_{ｇｌｏｂａｌ}，Ｌ_{ｖｅｒｔｉｃａｌ}，Ｌ_{ｈｏｒｉｚｏｎｔａｌ}を算出すると、さらに、数（１１）式で表される演算処理を実行することにより、色差成分評価値Ｌ_{ｇｌｏｂａｌ}，Ｌ_{ｖｅｒｔｉｃａｌ}，Ｌ_{ｈｏｒｉｚｏｎｔａｌ}の最小値（つまり、色差成分のレベルが最小のもの）を算出する。この最小値が、処理対象であるマトリクス領域の彩度評価値Ｌとして採用される。言い換えると、この彩度評価値Ｌは、各注目画素に対応して決定される彩度値である。なお、数（１１）式中、ｍｉｎ（ｘ，ｙ，ｚ）は、ｘ，ｙ，ｚの最小値を表している。上述したように、第２の色差成分評価値としてＬ_{ｖｅｒｔｉｃａｌ}，Ｌ_{ｈｏｒｉｚｏｎｔａｌ}に加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。

彩度値算出回路３１において以上の演算処理が実行されることにより、注目画素についての彩度評価値Ｌが求められると、次に、彩度値算出回路３１は、彩度評価値Ｌを正規化して彩度係数Ｋ_Ｌを算出する。具体的には、２つの閾値Ｔ_１、Ｔ_２を用いて、数（１２）式に示すような正規化処理を行う。図３は、彩度評価値Ｌと彩度係数Ｋ_Ｌの関係を示す図である。このように、グレー画像とカラー画像とを判定するための彩度係数Ｋ_Ｌが、グレー画像からカラー画像へと変化する領域の近傍に設けられた閾値Ｔ_１、Ｔ_２間で緩やかに変化するようにし、画像判定が急激に変化することを緩和している。

なお、２つの閾値Ｔ_１、Ｔ_２はグレー画像とカラー画像の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、ＣＣＤの特性やレンズの光学特性などを考慮するようにしてもよい。このようにして算出された彩度係数Ｋ_Ｌが、後工程である選択工程において利用される。

＜４．相関値算出処理＞
相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて、マトリクス領域内における４つの方向の相関値を算出する。ここでは、図４に示すように、水平方向、垂直方向、水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向について、相関値を算出する。具体的には、注目画素とこれら４つの方向に存在する画素との間での画素値の差分である画素差分値を算出し、各方向について画素差分値を累積することによって相関値を求める。

また、本実施の形態において、相関値算出回路３２は、各マトリクス領域について、彩度の高いカラー画像用の相関値と、彩度の低いグレー画像用の相関値との両方を算出する。そして、最終的には、後工程である選択工程において、カラー画像用あるいはグレー画像用のいずれかの相関値が選択された上で相関方向が決定される。あるいは、カラー画像用とグレー画像用の両方の相関値を総合判断することで選択された相関値を用いて相関方向が決定される。

（４−１）彩度の高いカラー画像用の相関値
（４−１−１）中心画素がＧの場合
まず、注目画素がＧ画素である場合のカラー画像用の相関値算出方法について説明する。つまり、マトリクス領域の画素配列が、図２（ｂ）あるいは図２（ｅ）である場合の相関値算出方法である。垂直方向の相関値は、数（１３）式により算出される。また、図５は、垂直方向の相関値の算出方法を図示したものであり、図５（ａ）は、Ｇ画素に関する相関算出方法、図５（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。このように、カラー画像用の相関値は、全ての色成分の画素差分値を考慮するようにしている。なお、図５〜図１６において、図中の矢印で結ばれた２つの画素は、画素差分値を算出する対象であることを示している。

水平方向の相関値は、数（１４）式により算出される。また、図６は、水平方向の相関値の算出方法を図示したものであり、図６（ａ）は、Ｇ画素に関する相関算出方法、図６（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。

斜めＡ方向の相関値は、数（１５）式により算出される。また、図７は、斜めＡ方向の相関値の算出方法を図示したものであり、図７（ａ）は、Ｇ画素に関する相関算出方法、図７（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

なお、図７で表したように、Ｇ画素に関する場合とＲ画素あるいはＢ画素に関する場合とでは、差分値を算出する際の画素間の距離が異なる。そこで、数（１５）式においては、画素間の距離の狭いＧ画素に関する差分値には２を乗算するようにしている。これは、Ｇ画素についてはＲ画素あるいはＢ画素に比べて演算対象となる画素間の距離が１／２となっているため、画素差分値については２倍の変化量に対応するためである。ただし、乗算値の２は一例であり、適宜選択可能である。

斜めＢ方向の相関値は、数（１６）式により算出される。また、図８は、斜めＢ方向の相関値の算出方法を図示したものであり、図８（ａ）は、Ｇ画素に関する相関算出方法、図８（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

数（１６）式においても、数（１５）式の場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図７（ｂ），（ｃ）および図８（ｂ），（ｃ）における場合の画素間距離と図５および図６における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。

（４−１−２）中心画素がＢあるいはＲの場合
次に、注目画素がＢまたはＲ画素である場合のカラー画像用相関値の算出方法について説明する。つまり、マトリクス領域の画素配列が図２（ｃ）あるいは図２（ｄ）である場合の相関値算出方法である。垂直方向の相関値は、数（１７）式により算出される。また、図９は、垂直方向の相関値の算出方法を図示したものであり、図９（ａ）は、Ｇ画素に関する相関算出方法、図９（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。

水平方向の相関値は、数（１８）式により算出される。また、図１０は、水平方向の相関値の算出方法を図示したものであり、図１０（ａ）は、Ｇ画素に関する相関算出方法、図１０（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。

斜めＡ方向の相関値は、数（１９）式により算出される。また、図１１は、斜めＡ方向の相関値の算出方法を図示したものであり、図１１（ａ）は、Ｇ画素に関する相関算出方法、図１１（ｂ）および図１１（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

斜めＢ方向の相関値は、数（２０）式により算出される。また、図１２は、斜めＢ方向の相関値の算出方法を図示したものであり、図１２（ａ）は、Ｇ画素に関する相関算出方法、図１２（ｂ）および図１２（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

なお、数（１９）式および数（２０）式においても、数（１３）式において説明した場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図１１（ｂ），（ｃ）および図１２（ｂ），（ｃ）における場合の画素間距離と図９および図１０における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。

（４−２）彩度の低いグレー画像用の相関値
彩度の低いグレー画像では注目画素がＲＧＢいずれの画素であるかを区別せずに相関値を算出する。つまり、マトリクス領域内の画素配列が図２（ｂ）〜図２（ｅ）のいずれであるかに関わらず、以下の共通の演算方法により相関値を算出する。垂直方向の相関値は、数（２１）式により算出される。また、図１３は、垂直方向の相関値の算出方法を図示したものである。

水平方向の相関値は、数（２２）式により算出される。また、図１４は、水平方向の相関値の算出方法を図示したものである。

斜めＡ方向の相関値は、数（２３）式により算出される。また、図１５は、斜めＡ方向の相関値の算出方法を図示したものである。

斜めＢ方向の相関値は、数（２４）式により算出される。また、図１６は、斜めＢ方向の相関値の算出方法を図示したものである。

なお、図１３および図１４における場合と図１５および図１６における場合とでは、差分値演算の対象となる画素間の距離が異なる。しかし、ここでは、数（１５）式で説明した場合のように、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、たとえば、数（２１）式および数（２２）式における画素差分値については、２の２乗根を乗算するようにしてもよい。

また、数（２１）式〜数（２４）式においては、前述したカラー画像用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１３〜図１６で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、数（２１）式〜数（２４）式においては、各画素差分値に２を乗算してスケールを合わせた結果、各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像における相関方向は、グレー画像用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。

＜５．相関判定方法と画素補間方法の選択＞
選択回路３３は、彩度値算出回路３１が算出した彩度係数Ｋ_Ｌと閾値ＴＨ１，ＴＨ２（ＴＨ１≧ＴＨ２）との関係に基づいて相関判定方法と画素補間方法とを選択する。具体的には、相関判定方法の選択とは、グレー画像用の相関値を採用して相関方向を判定するのか、カラー画像用の相関値を採用して相関方向を判定するのか、あるいは、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。また、画素補間方法の選択とは、グレー画像用とカラー画像用のうちいずれの画素補間方法を採用するかの選択である。

図１７は、彩度係数Ｋ_Ｌと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、以下の（ａ）〜（ｃ）の組み合わせに分類される。

（ａ）Ｋ_Ｌ＞ＴＨ１の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。

画素補間方法・・・カラー画像用の画素補間方法を用いる。

（ｂ）ＴＨ１≧Ｋ_Ｌ＞ＴＨ２の場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。

画素補間方法・・・カラー画像用の画素補間方法を用いる。

（ｃ）ＴＨ２≧Ｋ_Ｌの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。

画素補間方法・・・グレー画像用の画素補間方法を用いる。

数（１３）式から数（２０）式を用いてカラー画像用の４方向の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃ，Ｃｄ_Ａ＿ｃ，Ｃｄ_Ｂ＿ｃを算出した。また、数（２１）式から数（２４）式を用いてグレー画像用の４方向の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍ，Ｃｄ_Ａ＿ｍ，Ｃｄ_Ｂ＿ｍを算出した。選択回路３３は、このグレー画像用とカラー画像用の算出された相関値から、次のように、実際に相関方向の判定に用いる判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを選択する。

（５−１）（ａ）Ｋ_Ｌ＞ＴＨ１の場合の判定用相関値
数（２５）式に示すように、カラー画像用の相関値を判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂとして用いる。

（５−２）（ｃ）ＴＨ２≧Ｋ_Ｌの場合の判定用相関値
数（２６）式に示すように、グレー画像用の相関値を判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂとして用いる。

（５−３）（ｂ）ＴＨ１≧Ｋ_Ｌ＞ＴＨ２の場合の判定用相関値
グレー画像用の相関値とカラー画像用の相関値を総合判断して、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを決定する。この判断方法について、以下詳述する。

まず、数（２７）式に示すように、カラー画像用の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃの差分絶対値ｄ＿Ｃｖ＿ｃを求める。

また、数（２８）式に示すように、グレー画像用の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍの差分絶対値ｄ＿Ｃｖ＿ｍを求める。

さらに、数（２９）式に示すように、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍの差分絶対値ｄ＿Ｃｖと、閾値ＴＨｖとの大小を比較する。

差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数（２９）式の関係を満たすとき、さらに、数（３０）式の条件を満たすかどうかを判断する。

もし、数（３０）式の条件を満たすならば、判定用相関値Ｃｖとしてカラー画像用の相関値Ｃｖ＿ｃを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｃ
となる。

もし、数（３０）式の条件を満たさないならば、判定用相関値Ｃｖとしてグレー画像用の相関値Ｃｖ＿ｍを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｍ
となる。

差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数（２９）式の関係を満たすとき、さらに、数（３１）式の条件を満たすかどうかを判断する。

もし、数（３１）式の条件を満たすならば、判定用相関値Ｃｈとしてカラー画像用の相関値Ｃｈ＿ｃを採用する。つまり、
Ｃｈ＝Ｃｈ＿ｃ
となる。

もし、数（３１）式の条件を満たさないならば、判定用相関値Ｃｈとしてグレー画像用の相関値Ｃｈ＿ｍを採用する。つまり、
Ｃｈ＝Ｃｈ＿ｍ
となる。

このように、差分絶対値ｄ＿Ｃｖが閾値ＴＨｖより小さい場合とは、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍとの差が小さいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られない場合が想定される。このような場合には、垂直方向、水平方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。

差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数（２９）式の関係を満たさないとき、さらに、数（３２）式の条件を満たすかどうかを判断する。

数（３２）式の関係を満たすとき、相関判定用としてカラー画像用の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｃ
Ｃｈ＝Ｃｈ＿ｃ
となる。

数（３２）式の関係を満たさないとき、相関判定用としてグレー画像用の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｍ
Ｃｈ＝Ｃｈ＿ｍ
となる。

このように、差分絶対値ｄ＿Ｃｖが閾値ＴＨｖより大きい場合とは、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍとの差が大きいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。

続いて、数（３３）式に示すように、カラー画像用の相関値Ｃｄ_Ａ＿ｃ，Ｃｄ_Ｂ＿ｃの差分絶対値ｄ＿Ｃｄｇ＿ｃを求める。

また、数（３４）式に示すように、グレー画像用の相関値Ｃｄ_Ａ＿ｍ，Ｃｄ_Ｂ＿ｍの差分絶対値ｄ＿Ｃｄｇ＿ｍを求める。

さらに、数（３５）式に示すように、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍの差分絶対値ｄ＿Ｃｄｇと、閾値ＴＨｄｇとの大小を比較する。

差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数（３５）式の関係を満たすとき、さらに、数（３６）式の条件を満たすかどうかを判断する。

もし、数（３６）式の条件を満たすならば、判定用相関値Ｃｄ_Ａとしてカラー画像用の相関値Ｃｄ_Ａ＿ｃを採用する。つまり、
Ｃｄ_Ａ＝Ｃｄ_Ａ＿ｃ
となる。

もし、数（３６）式の条件を満たさないならば、判定用相関値Ｃｄ_Ａとしてグレー画像用の相関値Ｃｄ_Ａ＿ｍを採用する。つまり、
Ｃｄ_Ａ＝Ｃｄ_Ａ＿ｍ
となる。

差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数（３５）式の関係を満たすとき、さらに、数（３７）式の条件を満たすかどうかを判断する。

もし、数（３７）式の条件を満たすならば、判定用相関値Ｃｄ_Ｂとしてカラー画像用の相関値Ｃｄ_Ｂ＿ｃを採用する。つまり、
Ｃｄ_Ｂ＝Ｃｄ_Ｂ＿ｃ
となる。

もし、数（３７）式の条件を満たさないならば、判定用相関値Ｃｄ_Ｂとしてグレー画像用の相関値Ｃｄ_Ｂ＿ｍを採用する。つまり、
Ｃｄ_Ｂ＝Ｃｄ_Ｂ＿ｍ
となる。

このように、差分絶対値ｄ＿Ｃｄｇが閾値ＴＨｄｇより小さい場合とは、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍとの差が小さいときである。つまり、斜めＡ方向、斜めＢ方向のいずれかに強い相関が見られない場合が想定される。このような場合には、斜めＡ方向、斜めＢ方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。

差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数（３５）式の関係を満たさないとき、さらに、数（３８）式の条件を満たすかどうかを判断する。

数（３８）式の関係を満たすとき、相関判定用としてカラー画像用の相関値Ｃｄ_Ａ＿ｃ，Ｃｄ_Ｂ＿ｃを採用する。つまり、
Ｃｄ_Ａ＝Ｃｄ_Ａ＿ｃ
Ｃｄ_Ｂ＝Ｃｄ_Ｂ＿ｃ
となる。

数（３８）式の関係を満たさないとき、相関判定用としてグレー画像用の相関値Ｃｄ_Ａ＿ｍ，Ｃｄ_Ｂ＿ｍを採用する。つまり、
Ｃｄ_Ａ＝Ｃｄ_Ａ＿ｍ
Ｃｄ_Ｂ＝Ｃｄ_Ｂ＿ｍ
となる。

このように、差分絶対値ｄ＿Ｃｄｇが閾値ＴＨｄｇより大きい場合とは、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍとの差が大きいときである。つまり、斜めＡ方向、斜めＢ方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。

以上の処理を実行することで、上記（ｂ）ＴＨ１≧Ｋ_Ｌ＞ＴＨ２の場合には、グレー画像用の相関値とカラー画像用の相関値を総合判断して判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを選択する。

選択回路３３は以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）それぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを選択する。

このように、本実施の形態においては、相関判定方法と画素補間方法との組み合わせは、彩度係数Ｋ_Ｌと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像とカラー画像とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像とカラー画像の境界領域を緩和するようにしているのである。これにより、特に、グレー画像とカラー画像の境界付近に位置する画像については、補間処理後の視覚的違和感を軽減することが可能となっている。

つまり、グレー画像とカラー画像の境界付近に位置する画像は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、ＲＧＢ各成分が多少なりともばらついていることに注目して、ＲＧＢを区別して相関値を算出する。このような２つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させるのである。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、画素補間についてはカラー画像用の画素補間処理を行うこととしているのである。

この実施の形態においては、彩度評価値Ｌを正規化した彩度係数Ｋ_Ｌを用い、彩度係数Ｋ_Ｌと閾値ＴＨ１，ＴＨ２との比較によりグレー画像とカラー画像を判定するようにしたが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｌと２つの閾値との比較により、グレー画像とカラー画像を判定していることにほかならない。選択回路３３は、相関判定方法と画素補間方法とを選択すると、この選択情報を第１相関判定回路３４１および第２相関判定回路３４２に与える。選択情報には、相関判定方法および画素補間方法として、グレー画像用・カラー画像用いずれのタイプを用いるのかを示す情報と、選択された判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを示す情報が含まれる。

＜６．各画素における相関方向の判定＞
上述したように、選択回路３３において判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂが選択されると、画素信号と、判定用相関値に関する情報を含む選択情報とが、第１相関判定回路３４１および第２相関判定回路３４２に出力される。つまり、選択回路３３で算出された判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂの値が、第１・第２相関判定回路３４１，３４２の両方に出力され、信号処理回路２から入力した画素信号も、第１・第２相関判定回路３４１，３４２の両方に出力される。第１相関判定回路３４１および第２相関判定回路３４２は、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂに基づいて、注目画素における相関関係を判定する処理部である。第１相関判定回路３４１は、注目画素における相関関係を高く評価して相関方向を判定する。第２相関判定回路３４２は、第１相関判定回路３４１と比較すると、注目画素における相関関係を低く評価して相関方向を判定する。

図１８は、第１相関判定回路３４１が相関方向の判定に利用する相関値の対応関係図である。縦軸が判定用相関値Ｃｖであり、横軸が判定用相関値Ｃｈである。

判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ１の領域に存在するとき、第１相関判定回路３４１は、注目画素の相関方向は水平方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ２の領域に存在するとき、第１相関判定回路３４１は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ３の領域に存在するとき、第１相関判定回路３４１は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ４の領域に存在するとき、第１相関判定回路３４１は、注目画素は垂直、水平両方向について相関が高いと判定する。

第１相関判定回路３４１は、図１８で示した対応関係図とあわせて、図１９で示す対応関係図を利用する。図１９で示す対応関係図は、判定用相関値Ｃｄ_Ａ，Ｃｄ_Ｂと相関方向との対応関係を示す図である。図１９の縦軸は判定用相関値Ｃｄ_Ａであり、横軸は判定用相関値Ｃｄ_Ｂである。領域Ｂ１は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ２は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ３は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ４は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。

第１相関判定回路３４１は、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを比較する。そして、判定用相関値Ｃｖあるいは判定用相関値Ｃｈの値が最も小さい場合には、図１８の関係図を利用する。そして、判定用相関値の対応関係がＡ１〜Ａ４のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値Ｃｄ_Ａあるいは判定用相関値Ｃｄ_Ｂの値が最も小さい場合には、図１９の関係図を利用する。そして、相関値の対応関係がＢ１〜Ｂ４のいずれの領域に該当するかによって相関方向を決定する。

相関方向が決定すると、後述するように、第１補間回路３５１において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域Ａ１にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ａ２にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ１にあれば斜めＢ方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ２にあれば斜めＡ方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がＡ３またはＢ３の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ４またはＢ４の領域にあれば平均値補間を行う。

一方、図２０は、第２相関判定回路３４２が相関方向の判定に利用する判定用相関値の対応関係図である。縦軸が判定用相関値Ｃｖであり、横軸が判定用相関値Ｃｈである。

判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ５の領域に存在するとき、第２相関判定回路３４２は、注目画素の相関方向は水平方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ６の領域に存在するとき、第２相関判定回路３４２は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ７の領域に存在するとき、第２相関判定回路３４２は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ８の領域に存在するとき、第２相関判定回路３４２は、注目画素は垂直、水平両方向について相関が高いと判定する。

また、第２相関判定回路３４２は、図２０で示した対応関係図とあわせて、図２１で示す対応関係図を利用する。図２１で示す対応関係図は、判定用相関値Ｃｄ_Ａ，Ｃｄ_Ｂと相関方向との対応関係を示す図である。図２１の縦軸は判定用相関値Ｃｄ_Ａであり、横軸は判定用相関値Ｃｄ_Ｂである。領域Ｂ５は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ６は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ７は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ８は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。

第２相関判定回路３４２は、４つの判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを比較する。そして、判定用相関値Ｃｖあるいは判定用相関値Ｃｈの値が最も小さい場合には、図２０の関係図を利用する。そして、判定用相関値の対応関係がＡ５〜Ａ８のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値Ｃｄ_Ａあるいは判定用相関値Ｃｄ_Ｂの値が最も小さい場合には、図２１の関係図を利用する。そして、判定用相関値の対応関係がＢ５〜Ｂ８のいずれの領域に該当するかによって相関方向を決定する。

相関方向が決定すると、後述するように、第２補間回路３５２において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域Ａ５にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ａ６にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ５にあれば斜めＢ方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ６にあれば斜めＡ方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がＡ７またはＢ７の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ８またはＢ８の領域にあれば平均値補間を行う。

このように、第１相関判定回路３４１と第２相関判定回路３４２は、それぞれ図１８〜図２１で示す判定用相関値の対応関係を利用して相関方向を決定する。この結果、第１相関判定回路３４１は、注目画素における周辺画素との相関関係をより高く評価して相関方向を判定することになる。つまり、相関方向の画素を積極的に利用して補間を行う。一方、第２相関判定回路３４２は、第１相関判定回路３４１に比べると注目画素における周辺画素との相関関係を低く評価して相関方向を決定することになる。言い換えると、第２補間回路３５２は、積極的に、メディアン補間や平均値補間を採用する補間回路である。

たとえば、第１相関判定回路３４１は、判定用相関値Ｃｈが判定用相関値Ｃｖよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して水平方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値Ｃｈが、判定用相関値Ｃｖよりも十分小さい値をとる関係にある場合に、水平方向の相関が高いと判定する。

あるいは、第１相関判定回路３４１は、判定用相関値Ｃｄ_Ｂが判定用相関値Ｃｄ_Ａよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めＢ方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値Ｃｄ_Ｂが、判定用相関値Ｃｄ_Ａよりも十分小さい値をとる関係にある場合に、斜めＢ方向の相関が高いと判定する。

＜７．画素補間処理＞
第１補間回路３５１および第２補間回路３５２において実行される画素補間処理について説明する。第１補間回路３５１および第２補間回路３５２は、上述したように、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について画素補間処理を行う。そして、第１補間回路３５１および第２補間回路３５２は、選択回路３３から出力された選択情報に基づいてグレー画像用あるいはカラー画像用のいずれの画素補間処理を実行する。つまり、選択回路３３において、上記（ｃ）のパターンが選択されている場合には、グレー画像用の画素補間処理を実行し、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、カラー画像用の画素補間処理を実行する（＜５．相関判定方法と画素補間方法の選択＞の項を参照）。

（７−１）グレー画像用画素補間
選択回路３３において上記（ｃ）のパターンが選択されている場合には、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について、グレー画像用の画素補間処理が実行される。グレー画像用の画素補間は注目画素がＲＧＢいずれの色成分の画素であるかを区別せずに、決定された相関方向に存在する画素を用いて画素補間処理を行う。つまり、注目画素がＲＧＢいずれの画素であるか、注目画素の周辺の画素がＲＧＢいずれの画素であるかという点は考慮せず、注目画素をその周辺の画素を用いて補間するのである。

具体的には、垂直方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ａ２に属する判定された場合、第１補間回路３５１は、数（３９）式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ａ６に属すると判定された場合、第２補間回路３５２は、数（３９）式に示す演算式により画素補間処理を実行する。

また、水平方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ａ１に属する判定された場合、第１補間回路３５１は、数（４０）式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ａ５に属すると判定された場合、第２補間回路３５２は、数（４０）式に示す演算式により画素補間処理を実行する。

また、斜めＡ方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ｂ２に属する判定された場合、第１補間回路３５１は、数（４１）式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ｂ６に属すると判定された場合、第２補間回路３５２は、数（４１）式に示す演算式により画素補間処理を実行する。

また、斜めＢ方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ｂ１に属する判定された場合、第１補間回路３５１は、数（４２）式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ｂ５に属すると判定された場合、第２補間回路３５２は、数（４２）式に示す演算式により画素補間処理を実行する。

なお、数（３９）式から数（４２）式においては、Ｐ２２の項に係数２が乗算されているが、これは、注目画素からの距離に応じた重み付けを行うためである。また、いずれの方向にも相関が高いと判定されている場合（領域Ａ４，Ｂ４，Ａ８，Ｂ８と判定された場合）、たとえば、平均値補間値を行う。また、いずれの方向にも相関がないと判断された場合（領域Ａ３，Ｂ３，Ａ７，Ｂ７と判定された場合）には、たとえばメディアン補間を用いる。

（７−２）カラー画像用画素補間
選択回路３３において、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、第１補間回路３５１・第２補間回路３５２は、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について、カラー画像用の画素補間処理を実行する。カラー画像用の画素補間は、注目画素がＲＧＢいずれの色成分の画素であるかによって補間演算方法が異なる。つまり、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向に存在する補間対象となる画素と同色の画素を用いて画素補間処理を行う。

たとえば、注目画素がＧ画素である場合であって、垂直方向の相関が高いと判定されている場合（領域Ａ２，Ａ６と判定された場合）には、垂直方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、水平方向の相関が高いと判定されている場合（領域Ａ１，Ａ５と判定された場合）には、水平方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。

あるいは、注目画素がＧ画素である場合であって、斜めＡ方向の相関が高いと判定されている場合（領域Ｂ２，Ｂ６と判定された場合）には、斜めＡ方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、斜めＢ方向の相関が高いと判定されている場合（領域Ｂ１，Ｂ５と判定された場合）には、斜めＢ方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。

なお、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、当該ライン上に存在する同色画素の平均値を算出することやリニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率（ラプラシアン）から補間対象となる画素の画素値を推測するなどの方法をとればよい。

このように、カラー画像用の画素補間処理とは、相関方向に存在する補間対象となる画素と同色の画素を用いて注目画素の補間を行うものである。あるいは、相関方向に補間対象となる画素と同色の画素が存在しない場合には、当該方向における同色画素の画素値として推測された値を用いて注目画素の補間を行うものである。

＜８．色空間変換処理＞
第１補間回路３５１は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第１色空間変換回路３６１に出力する。つまり、第１色空間変換回路３６１が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。また、第２補間回路３５２は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第２色空間変換回路３６２に出力する。つまり、第２色空間変換回路３６２が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。

そして、第１色空間変換回路３６１は、各画素について、ＲＧＢの画素信号から輝度信号（Ｙ信号）を生成する。一方、第２色空間変換回路３６２は、各画素について、ＲＧＢの画素信号から色差信号（Ｃｂ、Ｃｒ信号）を生成する。このようにして、撮像素子１から出力されたベイヤ配列のＲＧＢ信号は、輝度信号（Ｙ信号）および色差信号（Ｃｂ、Ｃｒ信号）に変換されるのである。

第１色空間変換回路３６１から出力された輝度信号は、第１補間回路３５１において補間されたＲＧＢ信号から生成される信号である。第１補間回路３５１において補間されたＲＧＢ信号は、相関関係を高く評価することで画素補間された信号であり、解像度を高く保った信号である。これにより、生成されるＹＵＶ信号の解像感を高く維持することが可能である。

一方、第２色空間変換回路３６２から出力された色差信号は、第２補間回路３５２において補間されたＲＧＢ信号から生成される信号である。第２補間回路３５２において補間されたＲＧＢ信号は、相関関係を比較的低く評価することで画素補間された信号であり、ノイズが抑圧された信号である。言い換えると、ＬＰＦ（Ｌａｗ Ｐａｓｓ Ｆｉｌｔｅｒ）が適用された状態の信号である。これにより、撮像素子１からノイズの多いＲＡＷ画像が出力された場合であっても、生成されるＹＵＶ信号のノイズを抑圧することができる。

第１色空間変換回路３６１から出力された輝度信号（Ｙ信号）と、第２色空間変換回路３６２から出力された色差信号（Ｃｂ，Ｃｒ信号）は、拡大回路３７に入力される。

＜９．拡大処理＞
拡大回路３７は、撮像画像のサイズを拡大する処理を実行する。拡大率は適宜設定可能であるが、ここでは、拡大回路３７は、入力画像を水平方向に２倍、垂直方向に２倍、それぞれ拡大する場合を例に説明する。

図２２は、拡大後の画素配列を示す図である。図において、砂地の画素は、拡大処理前から存在した画素であり、白抜きの画素は、拡大処理によって生成された画素、つまり拡大補間された画素を示している。図２２の例であれば、Ｐ００，Ｐ０２，Ｐ０４・・・などが拡大処理前から存在した画素であり、Ｐ０１，Ｐ０３・・・などが拡大処理によって生成された画素である。

拡大回路３７は、数（４３）式に示す演算を行い、バイリニア補間により画素信号の拡大補間を行う。

この実施の形態においては、拡大回路３７は、相関方向を考慮することなく、バイリニア補間により画像拡大を行っているが、他にも、Ｂスプライン補間やバイキュービック補間などを利用してもよい。

＜１０．相関方向の補間処理＞
次に、相関方向補間回路３８において実行される相関方向の補間処理について説明する。相関方向補間回路３８は、第１相関判定回路３４１で決定された相関方向を入力する。第１相関判定回路３４１で決定された相関方向は、拡大回路３７において拡大処理される前から存在する画素について決定されたものである。つまり、図２２において砂地の画素については、相関方向が対応付けられているが、拡大処理で生成された画素（白抜きの画素）については、相関方向が対応付けられていない。そこで、相関方向補間回路３８は、以下に説明するアルゴリズムにより、拡大処理により生成された画素信号に対して相関方向を補間するのである。

図２３は、初期状態（つまり相関方向の補間を行う前の状態）において、５×５の画素配列パターンを示している。初期状態においては、注目画素周辺の画素配列パターンは、図２３におけるパターンＴ１〜Ｔ４のいずれかに該当することになる。図２３においても、砂地の画素は拡大処理前から存在する画素を示し、白抜きの画素は拡大処理により生成された画素を示している。

パターンＴ４では、注目画素（中心画素）の相関方向が決定済みである。したがって、以下、パターンＴ１〜Ｔ３において注目画素の相関方向を補間する。相関方向の補間処理は、ステップ１とステップ２から構成される。

以下の説明で参照する図２４〜図３３には、画素に網掛けがされている。この網掛けされた画素は、相関方向が対応付けられている画素を示す。相関値が対応付けられている画素とは、第１には、拡大処理前から存在する画素であり、第１相関判定回路３４１において相関方向が決定された画素である。第２には、拡大処理によって生成された画素であり、相関方向補間回路３８によって相関方向が補間された画素である。したがって、相関方向を補間する前の状態では、図２２、図２３で示した砂地の画素と一致することになる。

本実施の形態においては、相関方向補間回路３８は、第１相関判定回路３４１において決定された相関方向を補間用に利用している。つまり、相関関係を積極的に採用することで決定された相関方向を用いている。ただし、第２相関判定回路３４２で決定された相関方向を補間用に利用してもよい。

また、図２４〜図３３において、Ｖ，Ｈ，ＤＡ，ＤＢ，Ｍ，Ｓの記号は、第１相関判定回路３４１において決定された相関方向、あるいは補間により決定された相関方向を示している。Ｖは垂直方向、Ｈは水平方向、ＤＡは斜めＡ方向、ＤＢは斜めＢ方向を示している。Ｍは全ての方向にも相関がある画素を示す記号であり、Ｓは全ての方向に相関がない孤立点の画素を示す記号である。また、図面では一部を除いて図示省略しているが、相関方向が決定していない画素を適宜Ｎの記号を用いて示す。図２４〜図３３において、相関方向を補間する対象画像（注目画素）を太枠の円で描いている。

＜１０−１．ステップ１＞
図２４は、パターンＴ１において、注目画素の周辺の４画素が全て同じ相関方向を示している場合を示している。この場合、図２４（ａ）、図２４（ｂ）、図２４（ｃ）、図２４（ｄ）の注目画素には、相関方向としてそれぞれ垂直方向（Ｖ）、水平方向（Ｈ）、斜めＡ方向（ＤＡ）、斜めＢ方向（ＤＢ）が補間される。また、図２４（ｅ）、図２４（ｆ）の注目画素には、それぞれ全方向相関（Ｍ）と相関方向なし（Ｓ）が対応付けられる。

図２５は、パターンＴ１において、注目画素の周辺の２画素が同じ相関方向を示している場合を示している。この場合、図２５（ａ）、図２５（ｂ）の注目画素には、相関方向としてそれぞれ斜めＡ方向（ＤＡ）、斜めＢ方向（ＤＢ）が補間される。ただし、図２５（ｃ）のように、斜めＡ方向と斜めＢ方向の相関方向が交錯している場合には、注目画素の相関方向は決定せず、未決定（Ｎ）のままにしておく。

図２６は、パターンＴ１において、注目画素の周辺の３画素が同じ相関方向を示している場合を示している。この場合、図２６（ａ）、図２６（ｂ）の注目画素には、相関方向としてそれぞれ斜めＡ方向（ＤＡ）が補間される。図２６（ｃ）、図２６（ｄ）の注目画素には、相関方向としてそれぞれ斜めＢ方向（ＤＢ）が補間される。

図２７は、パターンＴ２，Ｔ３において、注目画素の周辺の複数の画素が同じ相関方向を示している場合を示している。具体的には、ある画素の相関方向が示す方向に同じ相関方向を持つ画素が存在するようなパターンである。

この場合、図２７（ａ）、図２７（ｃ）、図２７（ｄ）の注目画素には、相関方向としてそれぞれ垂直方向（Ｖ）が補間される。図２７（ｂ）、図２７（ｅ）、図２７（ｆ）の注目画素には、相関方向としてそれぞれ水平方向（Ｈ）が補間される。

相関方向補間回路３８は、図２４、図２５、図２６、図２７で示した相関方向の決定方法を利用してステップ１を実行する。ステップ１では、第１相関判定回路３４１において決定された相関方向のみを利用して相関方向の補間が行われる。

＜１０−２．ステップ２＞
続いて、ステップ２を説明する。ステップ２では、第１相関判定回路３４１において決定された相関方向に加えて、ステップ１で補間された相関方向も利用して相関方向の補間を行う。

図２８は、注目画素の上下、左右の周辺４画素が同じ相関方向を示している場合を示している。図２８においてＸは、Ｖ，Ｈ，ＤＡ，ＤＢ，Ｍ，Ｓのいずれかを示している。この場合、注目画素には、相関方向として周辺４画素と同じ相関方向が補間される。

図２９は、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図２９（ａ）、図２９（ｂ）、図２９（ｃ）、図２９（ｄ）、図２９（ｅ）、図２９（ｆ）、図２９（ｇ）、図２９（ｈ）、図２９（ｉ）、図２９（ｊ）の注目画素には、相関方向としてそれぞれ垂直方向（Ｖ）が補間される。

図３０についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図３０（ａ）、図３０（ｂ）、図３０（ｃ）、図３０（ｄ）、図３０（ｅ）、図３０（ｆ）、図３０（ｇ）、図３０（ｈ）、図３０（ｉ）、図３０（ｊ）の注目画素には、相関方向としてそれぞれ水平方向（Ｈ）が補間される。

図３１についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図３１（ａ）、図３１（ｂ）、図３１（ｃ）、図３１（ｄ）、図３１（ｅ）、図３１（ｆ）の注目画素には、相関方向としてそれぞれ斜めＡ方向（ＤＡ）が補間される。

図３２についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図３２（ａ）、図３２（ｂ）、図３２（ｃ）、図３２（ｄ）、図３２（ｅ）、図３２（ｆ）の注目画素には、相関方向としてそれぞれ斜めＢ方向（ＤＢ）が補間される。

図３３についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図３３（ａ）、図３３（ｂ）、図３３（ｃ）、図３３（ｄ）の注目画素には、相関方向としてそれぞれ全方向相関（Ｍ）が対応付けられる。

＜１０−３．最終決定ステップ＞
上述したステップ１、ステップ２を実行することにより、相関方向が補間される。ステップ２が終了した時点で、図３４に示すように、相関方向が決定されなかった未定画素（Ｎ）の個数を計算する。さらに、ステップ２を繰り返し実行する。そして、相関方向が決定されなかった未定画素（Ｎ）の個数が収束した時点で、相関方向の補間処理を終了するのである。最終的に、相関方向が決定されなかった未定画素（Ｎ）については、未定画素（Ｎ）であることを示す情報を保持しておく。

なお、この実施の形態においては、未定画素（Ｎ）の個数が収束することを、補間処理の終了条件としているが、未定画素（Ｎ）の個数が所定の閾値を下回った場合を終了条件としてもよい。あるいは、未定画像（Ｎ）の全画素に対する割合が所定の閾値を下回った場合を終了条件としてもよい。

＜１１．フィルタ処理＞
相関方向補間回路３８において拡大された画素における相関方向が決定すると、相関方向補間回路３８は、フィルタ３９に対して全画素の相関方向の情報を出力する。つまり、拡大画像の全画素には、Ｖ，Ｈ，ＤＡ，ＤＢ，Ｍ，Ｓ，Ｎのいずれかの情報が対応付けられている。

また、フィルタ３９は、選択回路３３から各画素について選択された判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂを入力する。ただし、拡大補間された画素については、判定用相関値Ｃｖ，Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂは、存在しないので、周辺の画素の判定用相関値をリニア補間することで取得する。あるいは、判定用相関値を別のアルゴリズムにより補間してもよい。

フィルタ３９は、処理対象となる注目画素の４方向の判定用相関値、および、相関方向補間回路３８から入力した相関方向に応じてフィルタ係数を決定し、フィルタ係数を各タップに設定する。フィルタ３９は、単一のフィルタ回路で構成されており、フィルタ係数をリアルタイムで書き換えることにより、異なる特性を有するフィルタとして、切り替えて動作する。

また、以下で説明するフィルタリング処理は、Ｙ，Ｃｂ，Ｃｒの各画素信号に対して共通に実行される処理である。

（垂直方向のエッジ上に注目画素があると判定される場合）
注目画素についての相関方向が垂直方向（Ｖ）であり、かつ、他の方向についての相関が小さい場合、注目画素は、垂直方向のエッジ上の画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、水平方向、斜めＡ方向、斜めＢ方向についての相関値（Ｃｈ，Ｃｄ_Ａ，Ｃｄ_Ｂ）が所定の閾値よりも大きい場合である。つまり、垂直方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、垂直方向のエッジ上に存在すると判定される。たとえば注目画素が、垂直方向のラインの境界上にある場合などが想定される。

この場合、注目画素については、図３５に示すように、垂直方向の３画素を用いてノイズ除去処理を行う。つまり、フィルタ３９は、数（４４）式で示されるフィルタリング処理を実行する。

さらに、フィルタ３９は、数（４５）式で示されるエッジ強調処理を実行する。数（４５）式中、（Ｐ２１＋Ｐ２３−２＊Ｐ２２）はラプラシアン成分であり、この成分を原信号から減算することによりエッジ成分が強調されるのである。また、数（４５）式中、ｋは０以上１以下の実数であり、エッジ強調の度合いを調整する係数である。係数ｋが大きい方が、よりエッジ成分が強調される。

フィルタ３９は、数（４４）式および数（４５）式で示される２種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数（４６）式で示されるパターンと、数（４７）式で示されるパターンが考えられる。

数（４６）式では、垂直方向の１ラインについて、ノイズ除去処理を行った後、水平方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「２＊Ｐ２２」の値を減算するようにしているが、「２＊Ｑ２２」を減算するようにしてもよい。

数（４７）式では、垂直方向の３ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、水平方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

このように注目画素が垂直方向のエッジ上の画素であると判定された場合には、垂直方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、エッジ強調処理を行うので、より鮮明な画像を得ることが可能である。

また、水平方向のエッジ上に注目画素があると判定される場合の処理も同様である。水平方向の１ラインあるいは３ラインについて、水平方向の画素を用いてノイズ除去処理を実行した後、垂直方向の画素を用いてエッジ強調処理を行うようにすればよい。

（斜めＡ方向のエッジ上に注目画素があると判定される場合）
注目画素についての相関方向が斜めＡ方向（ＤＡ）であり、かつ、他の方向について相関が小さい場合、注目画素は、斜めＡ方向のエッジ上に画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、垂直方向、水平方向、斜めＢ方向についての相関値（Ｃｖ，Ｃｈ，Ｃｄ_Ｂ）が所定の閾値よりも大きい場合である。つまり、斜めＡ方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、斜めＡ方向のエッジ上に存在すると判定される。たとえば、注目画素が斜めＡ方向のラインの境界上にある場合などが想定される。

この場合、注目画素については、図３６に示すように、斜めＡ方向の３画素を用いてノイズ除去処理を行う。つまり、フィルタ３９は、数（４８）式で示されるフィルタリング処理を実行する。

さらに、フィルタ３９は、数（４９）式で示されるエッジ強調処理を実行する。数（４９）式中、（Ｐ１３＋Ｐ３１−２＊Ｐ２２）はラプラシアン成分である。また、数（４９）式中、ｋは０以上１以下の実数であり、エッジ強調の度合いを調整する係数である。

フィルタ３９は、数（４８）式および数（４９）式で示される２種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数（５０）式で示されるパターンと、数（５１）式で示されるパターンと、数（５２）式で示されるパターンが考えられる。

数（５０）式では、斜めＡ方向の１ラインについて、ノイズ除去処理を行った後、斜めＢ方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「２＊Ｐ２２」の値を減算するようにしているが、「２＊Ｑ２２」を減算するようにしてもよい。

数（５１）式では、斜めＡ方向の３ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、斜めＢ方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

数（５２）式においても、斜めＡ方向の３ラインについて、ノイズ除去処理を行う。ただし、数（５２）式で示すフィルタは、数（５１）式で示すフィルタに比べて、注目画素から少し離れた画素を利用している。そして、斜めＢ方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「２＊Ｑ２２」の値を減算するようにしているが、「２＊Ｐ２２」を減算するようにしてもよい。

このように注目画素が斜めＡ方向のエッジ上の画素であると判定された場合には、斜めＡ方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、斜めＢ方向の画素を用いてエッジ強調処理を行うので、より鮮明な画像を得ることが可能である。

また、斜めＢ方向のエッジ上に注目画素があると判定される場合の処理も同様である。斜めＢ方向の１ラインあるいは３ラインについて、斜めＢ方向の画素を用いたノイズ除去処理を実行した後、斜めＡ方向の画素を用いてエッジ強調処理を行うようにすればよい。

（注目画素が相関方向が決定しない未定画素（Ｎ）である場合）
相関方向補間回路３８において相関方向が決定しなかった未定画素（Ｎ）については、数（５３）式に示すようなフィルタを実行する。つまり、８方向のラプラシアン成分Ｌａｐを算出し、元の画素値からラプラシアン成分を減算する。数（５３）式中、ｋは正の係数である。

あるいは、相関方向が決定しなかった未定画素（Ｎ）については、数（５４）式に示すようなフィルタを実行する。数（５４）式中のラプラシアン成分Ｌａｐは、より広い領域の画素を利用して算出されている。

以上、説明したように、本実施の形態の画像処理回路３は、画素補間処理のために決定した相関方向を、拡大した画素にまで補間するようにしている。したがって、拡大画像に対してフィルタ処理を行う場合に、拡大処理により生成された画素についても、適切なフィルタ処理を施すことが可能である。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について説明する。第２の実施の形態においては、第１の実施の形態と相関方向の補間処理方法が異なる。

図３７は、第２の実施の形態に係る相関方向の補間処理フローチャートである。ステップＡから順にステップＦまでの相関方向の決定ステップを実行した後、最後に、未定画素（Ｎ）の個数をチェックする。未定画素（Ｎ）の個数が収束していれば、処理を終了し、未定画素（Ｎ）の個数が収束していない場合は、さらに、ステップＡからステップＦまでのステップを繰り返す。

図３４で示した第１の実施の形態では、ステップ１が終了した後、ステップ１で補間された相関方向をも利用してステップ２を実行した。これに対して、第２の実施の形態においては、ステップＡからステップＦまでの１つの処理セットを実行する間は、上位のステップで補間された相関方向を下位のステップで利用することはない。ある処理セットで補間された相関方向は、次の処理セットで利用される。

＜ステップＡ＞
ステップＡは、第１の実施の形態における図２４で示した決定方法と同じである。周辺４画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺４画素の相関方向と同じ相関方向を補間する。

＜ステップＢ＞
ステップＢは、第１の実施の形態における図２８で示した決定方法と同じである。上下左右の周辺４画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺４画素の相関方向と同じ相関方向を補間する。

＜ステップＣ＞
ステップＣは、第１の実施の形態における図２５、図２６、図２７で示した決定方法と同じである。周辺の複数の画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺の画素の相関方向と同じ相関方向を補間する。

＜ステップＤ＞
ステップＤは、第１の実施の形態における図２９、図３０、図３１、図３２、図３３で示した決定方法と同じである。周辺の隣接する複数の画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺の画素の相関方向と同じ相関方向を補間する。

＜ステップＥ＞
ステップＥは、第１の実施の形態では用いられなかった決定方法である。ステップＥの決定方法を図３８に示す。図３８（ａ）、図３８（ｂ）に示すように上下の一方のみに連続して垂直方向の相関方向が対応付けられている画素が存在する場合、注目画素についても垂直方向（Ｖ）を補間する。図３８（ｃ）、図３８（ｄ）に示すように左右の一方のみに、連続して水平方向の相関方向が対応付けられている画素が存在する場合、注目画素についても水平方向（Ｈ）を補間する。図３８（ｅ）、図３８（ｆ）に示すように斜めＡ方向の一方のみに、連続して斜めＡ方向の相関方向が対応付けられている画素が存在する場合、注目画素についても斜めＡ方向（ＤＡ）を補間する。図３８（ｇ）、図３８（ｈ）に示すように斜めＢ方向の一方のみに、連続して斜めＢ方向の相関方向が対応付けられている画素が存在する場合、注目画素についても斜めＢ方向（ＤＢ）を補間する。

このように、ステップＥについては、上下の一方や左右の一方など、注目画素の周辺領域の一部の領域の状況に基づいて相関方向を補間する。したがって、ステップＥについては、第１の実施の形態に比べると、緩い評価方法で注目画素の相関方向を補間する。

＜ステップＦ＞
ステップＦは、第１の実施の形態では用いられなかった決定方法である。ステップＦの決定方法を図３９に示す。図３９（ａ）、図３９（ｂ）、図３９（ｃ）、図３９（ｄ）に示すように、左右方向、上下方向、斜めＡ方向、斜めＢ方向のいずれかについて注目画素を挟む２つの画素の相関方向が同じ場合には、注目画素についても両側と同じ相関方向を補間する。

図３９（ｅ）、図３９（ｆ）、図３９（ｇ）、図３９（ｈ）に示すように、注目画素を含む隣接する２×２の画素領域に注目した場合、残る３つの画素の相関方向が同じであれば、注目画素についても同じ相関方向を補間する。

図３９（ｉ）、図３９（ｊ）、図３９（ｋ）、図３９（ｌ）に示すように、上下方向あるいは左右方向に連続する３つの画素の相関方向が同じ場合、注目画素についても同じ相関方向を補間する。

図３９（ａ）〜図３９（ｌ）の１２のパターンについては、いずれも網掛けされた画素の相関方向が同じであればよく、相関方向の種別は問わない。このように、ステップＥについても、第１の実施の形態に比べると、緩い評価方法で注目画素の相関方向を補間する。

＜最終ステップ＞
ステップＡ〜ステップＦまでの１セットの相関方向の決定処理を終えると、未定画素（Ｎ）の個数をチェックする。そして、未定画素（Ｎ）の個数が収束していない場合には、ステップＡに戻り、次の１セットの相関方向の決定処理を行う。このときには、前回までに補間された相関方向も利用してステップＡ〜ステップＦを実行する。未定画素（Ｎ）の個数が収束した場合には処理を終了する。

なお、この実施の形態においても、未定画素（Ｎ）の個数が収束することを、補間処理の終了条件としているが、未定画素（Ｎ）の個数が所定の閾値を下回った場合を終了条件としてもよい。あるいは、未定画像（Ｎ）の全画素に対する割合が所定の閾値を下回った場合を終了条件としてもよい。

以上の処理により相関方向の補間処理が行われると、第１の実施の形態と同様、フィルタ３９において相関方向を考慮したフィルタ処理が実行される。第２の実施の形態の相関方向の補間処理は、比較的緩い評価で相関方向を補間する。したがって、未定画素（Ｎ）をなるべく発生させないようコントロールする方法であると言える。

また、第２の実施の形態においては、ステップＡからステップＦまでの１セットの処理を終えるまで上位のステップで補間された相関方向を利用せずに下位のステップを実行する。たとえば第１回目の処理セットであれば、第１相関判定回路３４１で決定された相関方向だけを用いて相関方向の補間を行うことになる。これにより、特に第１回目のセットでは、正確性の高い相関方向を用いて補間を行うことができる。ただし、未定画素（Ｎ）の減少速度を速めるためには、第２の実施の形態においても、上位のステップで補間された相関方向を利用して、下位のステップを実行するようにしてもよい。

｛第３の実施の形態｝
次に、本発明の第３の実施の形態について説明する。図４０は、第３の実施の形態に係る画像処理回路３の一部を示すブロック図である。図１で示した画像処理回路３とは、フィルタの構成が異なる。

図に示すように、フィルタ３９１には、拡大回路３７から出力された輝度信号（Ｙ信号）だけが入力される。フィルタ３９１は、相関方向補間回路３８から入力した相関方向と、選択回路３３から入力した４方向の相関値に基づき、輝度信号に対してフィルタ処理を実行する。フィルタ処理の内容は第１の実施の形態と同様であり、輝度信号はノイズ除去処理を施された上でエッジ強調される。

このように、第３の実施の形態においては、画像の鮮明度に影響力の強い輝度信号に対してのみ、相関方向を考慮したフィルタリングを実行する。第１の実施の形態と比べてフィルタの回路規模を小さくすることができる。

｛第４の実施の形態｝
次に、本発明の第４の実施の形態について説明する。図４１は、第４の実施の形態に係る画像処理回路３の一部を示すブロック図である。図１で示した画像処理回路３とは、フィルタの構成が異なる。

図に示すように、フィルタ３９１には、拡大回路３７から出力された輝度信号（Ｙ信号）だけが入力される。フィルタ３９１の処理内容は第３の実施の形態と同様である。

色ノイズ除去フィルタ３９２には、拡大回路３７から出力された色差信号（Ｃｒ信号、Ｃｂ信号）が入力される。色ノイズ除去フィルタ３９２は、相関方向補間回路３８が入力した相関方向を考慮して色差成分中のノイズ除去処理を実行する。

このように、第４の実施の形態においては、画像の鮮明度に影響力の強い輝度信号に対して、相関方向を考慮したエッジ強調処理を実行し、さらに、色差成分に対しては相関方向を考慮したノイズ除去フィルタを実行する。これにより、画像の鮮明度を向上させるとともに、色ノイズを抑圧することもできる。

｛第５の実施の形態｝
上記第１および第２の実施の形態においては、相関方向補間回路３８は、全方向相関（Ｍ）と相関方向なし（Ｓ）についても区別して処理した。第５の実施の形態においては、全方向相関（Ｍ）と相関方向なし（Ｓ）を区別せず、同一の相関種別として扱う。これにより、処理の簡略化を行うことができ、処理速度の向上と回路規模の縮小を図ることができる。

｛第６の実施の形態｝
次に、本発明の第６の実施の形態について説明する。図４２は、第６の実施の形態に係る画像処理回路３の一部を示すブロック図である。図１で示した画像処理回路３と異なる点は、フィルタ３９の後段に縮小回路３１０が設けられている点である。

縮小回路３９０は、フィルタ３９においてフィルタリング処理された後の拡大画像を縮小する。たとえば、拡大回路３７において２倍拡大されていた画像を１／２に縮小し、元の画像と同じサイズの画像を生成する。画像のサイズは拡大した後に縮小されることになるが、この間、拡大補間された相関方向を利用したフィルタリング処理が施されている。これにより、元のＲＧＢ画像に比べて、より良好な画質の画像を得ることができる。

本実施の形態にかかるデジタルカメラを示すブロック図である。 ＲＧＢベイヤ配列の画素の配列パターンを示す図である。 彩度値と彩度係数との関係を示す図である。 ４つの相関方向を示す図である。 注目画素がＧ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。 注目画素がＧ画素であるカラー領域における水平方向の相関値算出方法を示す図である。 注目画素がＧ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。 注目画素がＧ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における水平方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。 グレー領域における垂直方向の相関値算出方法を示す図である。 グレー領域における水平方向の相関値算出方法を示す図である。 グレー領域における斜めＡ方向の相関値算出方法を示す図である。 グレー領域における斜めＢ方向の相関値算出方法を示す図である。 相関判定方法および画素補間方法の判定基準を示す図である。 垂直方向・水平方向に関して相関関係を高く評価する対応関係を示す図である。 斜めＡ方向・斜めＢ方向に関して相関関係を高く評価する対応関係を示す図である。 垂直方向・水平方向に関して相関関係を低く評価する対応関係を示す図である。 斜めＡ方向・斜めＢ方向に関して相関関係を低く評価する対応関係を示す図である。 拡大された画素信号の配列を示す図である。 拡大された画素信号の４つの配列パターンを示す図である。 ステップ１における相関方向の補間方法を示す図である。 ステップ１における相関方向の補間方法を示す図である。 ステップ１における相関方向の補間方法を示す図である。 ステップ１における相関方向の補間方法を示す図である。 ステップ２における相関方向の補間方法を示す図である。 ステップ２における相関方向の補間方法を示す図である。 ステップ２における相関方向の補間方法を示す図である。 ステップ２における相関方向の補間方法を示す図である。 ステップ２における相関方向の補間方法を示す図である。 ステップ２における相関方向の補間方法を示す図である。 第１の実施の形態に係る相関方向の補間フローチャートを示す図である。 フィルタ処理の対象画素を示す図である。 フィルタ処理の対象画素を示す図である。 第２の実施の形態に係る相関方向の補間フローチャートを示す図である。 ステップＥにおける相関方向の補間方法を示す図である。 ステップＦにおける相関方向の補間方法を示す図である。 第３の実施の形態に係る画像処理回路のブロック図である。 第４の実施の形態に係る画像処理回路のブロック図である。 第６の実施の形態に係る画像処理回路のブロック図である。

符号の説明

３１ 彩度値算出回路
３２ 相関値算出回路
３３ 選択回路
３４１ 第１相関判定回路
３４２ 第２相関判定回路
３５１ 第１補間回路
３５２ 第２補間回路
３６１ 第１色空間回路
３６２ 第２色空間回路
３７ 拡大回路
３８ 相関方向補間回路
３９ フィルタ

Claims (8)

1. ａ）１画素につき１色の成分を持つ所定の色空間の画素信号を入力する入力工程と、
   ｂ）各画素の相関方向を求める相関方向算出工程と、
   ｃ）各画素について、相関方向に関わる画素を用いて、前記所定の色空間の他の色成分の信号を補間する色成分補間工程と、
   ｄ）画素信号を拡大補間し拡大画像を生成する画像拡大工程と、
   ｅ）拡大補間により生成された各画素に対して、前記相関方向算出工程ｂ）で求められた相関方向を利用して相関方向を補間する相関方向補間工程と、
   ｆ）前記画像拡大工程ｄ）の前から存在する画素については前記相関方向算出工程ｂ）で求められた相関方向を考慮して、あるいは前記画像拡大工程ｄ）で生成された画素については前記相関方向補間工程ｅ）で補間された相関方向を考慮してフィルタリング処理を実行するフィルタリング工程と、
   を備えることを特徴とする画像拡大方法。
2. 請求項１に記載の画像拡大方法において、
   前記相関方向補間工程ｅ）は、
   ｅ−１）前記画像拡大工程ｄ）により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が所定のルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第１工程と、
   ｅ−２）前記第１工程ｅ−１）により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第２工程と、
   を含み、
   前記第２工程ｅ−２）において、所定の基準を満たすと判定されるまで、前記第１工程ｅ−１）を繰り返し実行することを特徴とする画像拡大方法。
3. 請求項１に記載の画像拡大方法において、
   前記相関方向補間工程ｅ）は、
   ｅ−１）前記画像拡大工程ｄ）により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が第１ルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第１工程と、
   ｅ−２）前記第１工程ｅ−１）において相関方向が対応付けられなかった画素の中から残存画素を特定し、前記第１工程ｅ−１）で相関方向が対応付けられた画像を含め同じ相関方向が対応付けられている画素の配置が第２ルールとマッチングする場合には、前記残存画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第２工程と、
   ｅ−３）前記第１工程ｅ−１）および前記第２工程ｅ−２）により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第３工程と、
   を含み、
   前記第３工程ｅ−３）において、所定の基準を満たすと判定されるまで、前記第１工程ｅ−１）および前記第２工程ｅ−２）を繰り返し実行することを特徴とする画像拡大方法。
4. 請求項１ないし請求項３のいずれかに記載の画像拡大方法において、
   前記フィルタリング工程ｆ）は、
   相関方向に沿う方向についてノイズ除去処理を実行する工程と、
   相関方向と直交する方向についてエッジ強調処理を実行する工程と、
   を含むことを特徴とする画像拡大方法。
5. 請求項１ないし請求項４のいずれかに記載の画像拡大方法において、
   前記フィルタリング工程ｆ）は、拡大画像のうち輝度信号に対してのみフィルタリング処理を実行することを特徴とする画像拡大方法。
6. 請求項１ないし請求項４のいずれかに記載の画像拡大方法において、
   前記フィルタリング工程ｆ）は、拡大画像のうち色差信号に対してはノイズ除去処理を実行することを特徴とする画像拡大方法。
7. 請求項１ないし請求項６のいずれかに記載の画像拡大方法において、
   前記画像拡大工程ｄ）において、画像が水平方向、垂直方向にそれぞれ２倍に拡大され、前記相関方向補間工程ｅ）において、前記相関方向算出工程ｂ）において求められた相関方向が水平方向、垂直方向にそれぞれ２倍に拡大補間されることを特徴とする画像拡大方法。
8. 請求項１ないし請求項７のいずれかに記載の画像拡大方法において、さらに、
   ｇ）前記フィルタリング工程ｆ）においてフィルタリング処理された拡大画像を縮小する画像縮小工程、
   を備えることを特徴とする画像拡大方法。

Images