JP4998069B2

JP4998069B2 - 補間処理装置、撮像装置、及び、補間処理方法

Info

Publication number: JP4998069B2
Application number: JP2007116023A
Authority: JP
Inventors: 千丈岡田; 光昭喜多; 義章西出; 健二田中; 伸行佐藤; 真二浮田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-25
Filing date: 2007-04-25
Publication date: 2012-08-15
Anticipated expiration: 2027-04-25
Also published as: JP2008277911A

Description

本発明は、撮像素子によって撮像された撮像データに生じる欠陥画素の画素データを補間する補間処理装置、撮像装置、及び、補間処理方法に関するものである。

ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子は、受光した光を電気信号に変換する複数の受光素子から構成されている。このような撮像素子の中には、次のような原因により、欠陥画素を有するものが製造されてしまう。

例えば、ＣＭＯＳイメージセンサでは、画素単位に配列されたフォトダイオードによって光電変換した撮像信号をトランジスタによるスイッチング動作によって転送するとき、このスイッチングを行うトランジスタが正常に動作しないと、この異常動作を行うトランジスタを経由して読み出される全ての画素について異常な信号を出力してしまう場合がある。このようなトランジスタの異常動作による無効な画素データの発生のうち、特に同一直線上に画素データが欠落してしまうものは、一般的に線欠陥と呼ばれている。

従来、このような線欠陥が発生してしまった撮像素子は、撮像画像に線上の欠陥が生じてしまうので出荷前に欠陥品として選別されているため、生産効率が悪くなる要因の１つとなっている。

このような撮像素子で撮像された画像上に生じる欠陥画素の画素データを補間する従来の手法として、例えば、特許文献１、２には、欠陥画素に隣接する画素を用いて欠陥画素の画素データを補間する補間処理方法が記載されている。

特開２００６―１８００９９号公報特開２００５―３５４６７０号公報

しかしながら、上述した従来の欠陥画素の画素データを補間する補間処理方法では、例えば画像上に周期的な高周波成分を含む画像に対して、欠陥画素の画素データを視覚的に誤補正してしまう場合があった。

本発明は、このような実情に鑑みて提案されたものであり、撮像素子によって撮像された画像において欠陥が生じる欠陥画素のうち、直線上に連続して並んだ欠陥画素の画素データを精度良く補間する補間処理装置、撮像装置、及び、補間処理方法を提供することを目的とする。

上述した課題を解決するための手段として、本発明に係る補間処理装置は、撮像手段により撮像された撮像データが入力され、この入力された撮像データを構成する画素データを補間する補間処理装置であって、上記撮像手段により撮像される画像に欠陥が生じる欠陥画素のうち、直線上に連続して並んだ複数の欠陥画素の位置を示す線欠陥情報が記憶された線欠陥情報記憶手段と、上記線欠陥情報記憶手段に記憶された線欠陥情報に基づいて、上記直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する注目画素選択手段と、上記入力された撮像データから、上記注目画素選択手段で選択された注目画素の画素位置を中心とした複数の画素からなる画像領域を設定して、この設定した画像領域を少なくとも上記欠陥画素が並んだ直線上を境界として分割した画素ブロックを生成する画素ブロック生成手段と、上記入力された撮像データを構成する各画素データから、上記画素ブロック生成手段により生成された各画素ブロック内における画素間の相関を検出する相関検出手段と、上記相関検出手段で検出された各画素ブロック内における画素間の相関に応じて、上記注目画素の画素データを補間するための画素を選択して、この選択した画素の画素データから上記注目画素の画素データを補間する補間手段とを備え、３原色の色フィルタが画素単位でベイヤー配列されており、それぞれ赤色信号を出力する画素、緑色信号を出力する画素、及び青色信号を出力する画素がベイヤー配列された画像を撮像する単板式の撮像素子からなる上記撮像手段により撮像された撮像データが入力され、上記画素ブロック生成手段は、上記注目画素選択手段で選択された注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定し、上記補間手段は、上記線欠陥情報が示す欠陥画素のうち、緑色信号を出力する画素の画素データが当該補間手段により補間された撮像データを記憶する画像記憶手段と、上記注目画素選択手段が緑色信号を出力する画素以外の画素を上記注目画素として選択したとき、上記相関検出手段で検出された上記各画素ブロックの相関に応じて、上記注目画素と同じ色信号を出力する画素を選択して、この選択した画素の画素データと、この画素に隣接する緑色信号を出力する画素の画素データとから色相情報を生成する色相情報生成手段と、上記色相情報生成手段により生成された色相情報と、上記画像記憶手段に記憶され上記注目画素に隣接する緑色信号を出力する画素の画素データとから、上記注目画素の画素データを算出する算出手段とを有する。

また、本発明に係る撮像装置は、被写体を撮像した撮像データを生成する撮像手段と、上記撮像手段により撮像される画像に欠陥が生じる欠陥画素のうち、直線上に連続して並んだ複数の欠陥画素の位置を示す線欠陥情報が記憶された線欠陥情報記憶手段と、上記線欠陥情報記憶手段に記憶された線欠陥情報に基づいて、上記直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する注目画素選択手段と、上記撮像手段で撮像された撮像データから、上記注目画素選択手段で選択された注目画素の画素位置を中心とした複数の画素からなる画像領域を設定して、この設定した画像領域を、少なくとも上記欠陥画素が並んだ直線上を境界として分割した画素ブロックを生成する画素ブロック生成手段と、上記撮像手段により生成された撮像データを構成する各画素データから、上記画素ブロック生成手段により生成された各画素ブロック内における画素間の相関を検出する相関検出手段と、上記相関検出手段で検出された上記各画素ブロックにおける画素間の相関に応じて、上記注目画素を補間するための画素を選択して、この選択した画素の画素データから上記注目画素の画素データを補間する補間手段とを備え、上記撮像手段は、３原色の色フィルタが画素単位でベイヤー配列されており、それぞれ赤色信号を出力する画素、緑色信号を出力する画素、及び青色信号を出力する画素がベイヤー配列された画像を撮像する単板式の撮像素子からなり、上記画素ブロック生成手段は、上記注目画素選択手段で選択された注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定し、上記補間手段は、上記線欠陥情報が示す欠陥画素のうち、緑色信号を出力する画素の画素データが当該補間手段により補間された撮像データを記憶する画像記憶手段と、上記注目画素選択手段が緑色信号を出力する画素以外の画素を上記注目画素として選択したとき、上記相関検出手段で検出された上記各画素ブロックの相関に応じて、上記注目画素と同じ色信号を出力する画素を選択して、この選択した画素の画素データと、この画素に隣接する緑色信号を出力する画素の画素データとから色相情報を生成する色相情報生成手段と、上記色相情報生成手段により生成された色相情報と、上記画像記憶手段に記憶され上記注目画素に隣接する緑色信号を出力する画素の画素データとから、上記注目画素の画素データを算出する算出手段とを有する。

また、本発明に係る補間処理方法は、撮像素子により撮像された撮像データを構成する画素データを補間する補間処理方法であって、所定の記憶媒体に記憶された情報であり、上記撮像素子により撮像される画像に欠陥が生じる欠陥画素のうち、直線上に連続して並んだ複数の欠陥画素の位置を示す線欠陥情報に基づいて、この直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する注目画素選択工程と、上記撮像素子により撮像された撮像データから、上記注目画素選択工程で選択された注目画素の位置を中心とした複数の画素からなる画像領域を設定して、この設定した画像領域を、少なくとも上記欠陥画素が並んだ直線上を境界として分割した画素ブロックを生成する画素ブロック生成工程と、上記撮像素子で撮像された撮像データを構成する各画素データから、上記画素ブロック生成工程で生成された各画素ブロック内における画素間の相関を検出する相関検出工程と、上記相関検出工程で検出された上記各画素ブロック内における画素間の相関に応じて、上記注目画素の画素データを補間するための画素を選択して、この選択した画素の画素データから上記注目画素の画素データを補間する補間工程とを有し、上記撮像手段は、３原色の色フィルタが画素単位でベイヤー配列されており、それぞれ赤色信号を出力する画素、緑色信号を出力する画素、及び青色信号を出力する画素がベイヤー配列された画像を撮像する単板式の撮像素子からなり、上記画素ブロック生成工程は、上記注目画素選択手段で選択された注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定し、上記補間工程は、上記線欠陥情報が示す欠陥画素のうち、緑色信号を出力する画素の画素データが当該補間手段により補間された撮像データを画像記憶手段に記憶する画像記憶工程と、上記注目画素選択工程で緑色信号を出力する画素以外の画素を上記注目画素として選択したとき、上記相関検出工程で検出された上記各画素ブロックの相関に応じて、上記注目画素と同じ色信号を出力する画素を選択して、この選択した画素の画素データと、この画素に隣接する緑色信号を出力する画素の画素データとから色相情報を生成する色相情報生成工程と、上記色相情報生成工程により生成された色相情報と、上記画像記憶工程で記憶され上記注目画素に隣接する緑色信号を出力する画素の画素データとから、上記注目画素の画素データを算出する算出工程とを有する。

本発明は、注目画素の位置を中心として設定された画像領域を分割した各画素ブロック内における画素間の相関を検出し、検出した相関に応じて注目画素の画素データを補間するための画素を選択して、この選択した画素の画素データから注目画素の画素データを補間するので、画像領域全体の相関を画素ブロック毎に考慮することができ、欠陥画素の画素データを高精度に補正することができる。
また、本発明は、注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定することにより、画素間隔が離れている緑色信号を出力する画素以外の画素についても、相関検出の検出精度を劣化を防止することができる。さらに、本発明は、相関が強い方向に位置する緑色信号を出力する画素以外の画素を選択して、緑色信号を出力する画素のデータと色相情報を使って、緑色信号を出力する画素以外の画素データを算出するので、ベイヤー配列された画像を撮像する単板式の撮像素子からなる撮像手段により撮像された撮像データにおいて、画素間隔が離れている緑色信号を出力する画素以外の画素についても、偽色の発生を防止して精度良く欠陥画素を補間できる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

本発明が適用された補間処理装置は、撮像素子により撮像された画像に生じる欠陥画素の画素データを補間する処理を行うものである。以下では、この補間処理装置が組み込まれた撮像装置の一例として、図１に示すようなデジタルカメラ１００を用いて、本発明を実施するための最良の形態を詳細に説明する。

デジタルカメラ１００は、図１に示すように、被写体からの光を集光する光学レンズ系１と、光学レンズ系１により取り込まれた光を絞る絞り機構２と、光学レンズ系１で集光され絞り機構２を介して取り込まれた被写体光を受光して電気信号に変換する撮像素子３と、撮像素子３から出力される電気信号にアナログ信号処理を施した撮像信号に変換するアナログ信号処理部４と、アナログ信号処理部４により変換された撮像信号の画像に生じた欠陥画素の画素データを補正する欠陥補正部５と、欠陥補正部５により補正された撮像信号に画像処理を施した画像信号に変換する画像処理部６と、画像処理部６により変換された画像信号を記憶する画像記憶部７とを備える。

光学レンズ系１は、例えば、複数のレンズから構成され、被写体から取り込んだ光を撮像素子３に集光させる。

絞り機構２は、光学レンズ系１により取り込まれた光の光量を絞る。

撮像素子３は、光学レンズ系１により集光され絞り機構２により光量が絞られた被写体光を、例えば、図２に示す画素毎に配列された受光素子で受光して、画素毎に受光した光を電気信号に変換する。

具体的に、撮像素子３は、赤色、緑色、及び青色からなる３原色の色フィルタが受光素子上にベイヤー配列された単板式の撮像素子である。すなわち、撮像素子３は、赤色信号を出力する画素（以下、便宜上Ｒ画素という。）、緑色信号を出力する画素（以下、便宜上Ｇ画素という。）、及び、青色信号を出力する画素（以下、便宜上Ｂ画素という。）がベイヤー配列された各画素から電気信号を読み出す。

なお、撮像素子３は、図２に示すような単板式の撮像素子に限定されるものではなく、３板式の撮像素子を用いるようにしても良い。

アナログ信号処理部４は、撮像素子３の各画素から読み出される電気信号に、ゲイン調整などのアナログ信号処理を施し、その後Ａ／Ｄ変換した撮像データを生成する。

欠陥補正部５は、アナログ信号処理部４により生成された撮像データの画像に生じた欠陥画素の画素データを、具体的には後述する処理によって補正する。

画像処理部６は、欠陥補正部５により補正された撮像データに対して、画素毎に赤色信号、緑色信号、及び青色信号を含んで構成される画像データに変換する。

画像記憶部７は、例えば、フラッシュメモリなどの書換可能な記憶媒体であって、画像処理部６により変換された画像データを記憶する。

以上のような構成を備えるデジタルカメラ１００において、本実施の形態では、特に欠陥補正部５の構成と処理に注目して説明する。

欠陥補正部５は、図３に示すように、アナログ信号処理部４から供給される撮像データを記憶する撮像画像メモリ５１と、撮像素子３により撮像される画像に欠陥が生じる欠陥画素の位置を示す線欠陥情報が記憶された線欠陥情報メモリ５２と、線欠陥情報メモリ５２に記憶された線欠陥情報に基づいて、画素データを補間する注目画素を選択する注目画素選択部５３と、注目画素の位置に応じた画像領域を設定してこの画像領域から画素ブロックを生成する画素ブロック生成部５４と、画素ブロック生成部５４で生成された各画素ブロック内における画素間の相関を検出する相関検出部５５と、相関検出部５５で検出された相関に応じて画素を選択して、この選択された画素の画素データから注目画素の画素データを補間する補間処理部５６とを備える。

撮像画像メモリ５１は、アナログ信号処理部４から供給される撮像データを画像単位で記憶する。また、撮像画像メモリ５１は、後述するように、撮像データを構成する各画素の画素データが、相関検出部５５及び補間処理部５６により読み出される。また、撮像画像メモリ５１は、記憶している撮像データのうち、欠陥画素の画素データが具体的には後述するように補間処理部５６により書き込まれる。

線欠陥情報メモリ５２は、撮像素子３により撮像される画像において、水平又は垂直方向の直線上に連続して並んだ欠陥画素の位置を示す線欠陥情報が記憶されている。

ここで、線欠陥情報は、実際に製造された各撮像素子３毎に異なった位置に生じる欠陥画素の位置を示す情報であって、例えば、製造された撮像素子３の動作確認の際に得られる。また、線欠陥情報が示す欠陥画素は、同一線上にＲ画素、Ｇ画素、及びＢ画素がベイヤー配列に従って配列されたものとなっている。以下では、線欠陥情報が示す欠陥画素を構成するＲ画素、Ｇ画素、及びＢ画素のそれぞれを、便宜上、欠陥Ｒ画素、欠陥Ｇ画素、及び欠陥Ｂ画素と呼ぶ。

また、本実施の形態では、線欠陥情報メモリ５２に、撮像素子３の水平方向に線欠陥が生じていることを示す線欠陥情報が記憶されているものとして説明する。

注目画素選択部５３は、線欠陥情報メモリ５２に記憶された線欠陥情報に基づいて、直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する。

画素ブロック生成部５４は、注目画素選択部５３により選択された注目画素の座標位置を中心点とした複数の画素からなる画像領域を設定し、この画像領域から複数の画素ブロックを生成する。なお、具体的な、画像領域、及び、画素ブロックの画サイズについては、後述する。

相関検出部５５は、画素ブロック生成部５４で生成された各画素ブロックに対して、撮像画像メモリ５１に記憶されている撮像データを用いて、各画素ブロック内における画素間の相関の強さとして、後述するように例えば水平方向、垂直方向、斜め方向の相関の強さを示す相関値を算出する。

補間処理部５６は、相関検出部５５により算出された相関値に応じて、注目画素を補間するための画素を選択して、選択した画素の画素データを撮像画像メモリ５１から読み出して、読み出した画素データを用いて注目画素の画素データを補間する。

具体的に、補間処理部５６は、後述するように、注目画素がＧ画素であるか否かによって、異なる処理を行う。そこで、補間処理部５６は、図４に示すように、注目画素がＧ画素であるか否かを判断するＲＧＢ判断部５６１と、注目画素がＧ画素である判断したとき注目画素の画素データを補間する処理を行うＧ画素用補間算出部５６２と、注目画素がＲ画素又はＢ画素であると判断したとき後述する色相情報を生成する色相情報生成部５６３と、色相情報生成部５６３により生成された色相情報に応じてＲ画素又はＢ画素の画素データを補間するＲＢ画素用補間算出部５６４とからなる。

欠陥補正部５は、図５に示すフローチャートに従って、欠陥画素の画素データを補間する。

ステップＳ１において、欠陥補正部５は、撮像画像メモリ５１に記憶された撮像データを参照して、画素データが補間されていない欠陥Ｇ画素があるか否かを判断する。欠陥補正部５は、画素データが補間されていない欠陥Ｇ画素があると判断するとステップＳ２に進み、画素データが補間されていない欠陥Ｇ画素がないと判断するとステップＳ４に進む。

ステップＳ２において、欠陥補正部５では、注目画素選択部５３が、線欠陥情報が示す複数の欠陥画素の中から、画素データが補間されていない欠陥Ｇ画素を注目画素として選択する。

ステップＳ３において、欠陥補正部５では、後述する第１の欠陥補正処理に従って、注目画素の画素データを補間する。そして、欠陥補正部５は、補間した画素データを撮像画像メモリ５１に記憶されている撮像データに書き込んでステップＳ１に戻る。

欠陥補正部５では、ステップＳ１〜ステップＳ３の処理を繰り返すことにより、撮像画像メモリ５１に記憶されている撮像データに生じている直線上に連続して並んだ複数の欠陥画素のうち、まず欠陥Ｇ画素の画素データを全て補間する。

ステップＳ４において、欠陥補正部５は、撮像画像メモリ５１に記憶された撮像データを参照して、画素データが補間されていない欠陥画素があるかを判断する。欠陥補正部５では、画素データが補間されていない欠陥画素があると判断するとステップＳ５に進み、画素データが補間されていない欠陥画素がないと判断すると第１の欠陥補正処理を終了する。

ステップＳ５において、欠陥補正部５では、注目画素選択部５３が、線欠陥情報が示す複数の欠陥画素の中から、画素データが補間されていない欠陥画素、すなわち欠陥Ｒ画素又は欠陥Ｂ画素を、注目画素に選択する。

ステップＳ６において、欠陥補正部５では、後述する第２の欠陥補正処理に従って、注目画素の画素データを補間する。そして、欠陥補正部５は、補間した画素データを撮像画像メモリ５１に記憶されている撮像データに書き込んでステップＳ４に戻る。

欠陥補正部５では、ステップＳ４〜ステップＳ６の処理を繰り返すことにより、撮像画像メモリ５１に記憶されている画像データに生じている直線上に連続して並んだ複数の欠陥画素のうち、欠陥Ｒ画素の画素データ及び欠陥Ｂ画素の画素データを補間して、第２の欠陥補正処理を終了する。

以上のようにして、欠陥補正部５では、撮像画像メモリ５１に記憶されている撮像データに生じていた全ての欠陥画素の画素データを補間する。全画素に対して有効な画素データを有する撮像データは、撮像画像メモリ５１に記憶され、その後、画像処理部６により読み出される。

上述した第１の欠陥補正処理について詳細に説明する。

第１の欠陥補正処理において、画素ブロック生成部５４は、注目画素として選択された欠陥Ｇ画素の画素位置に応じて、例えば図６に示すような画像領域を設定する。すなわち、画素ブロック生成部５４は、注目画素Ｇ３３の画素位置を中心とした７×７画素の画サイズの画像領域を設定する。

そして、画素ブロック生成部５４は、この設定した画像領域を、例えば、３×３画素の画サイズの第１の画素ブロック〜第６の画素ブロックをそれぞれ生成する。ここで、第１の画素ブロックは、図７（Ａ）の斜線を付した領域に示すように、中心に位置する画素をＧ１１とした画素ブロックである。第２の画素ブロックは、図７（Ｂ）の斜線を付した領域に示すように、中心に位置する画素をＧ１３とした画素ブロックである。第３の画素ブロックは、図７（Ｃ）の斜線を付した領域に示すように、中心に位置する画素をＧ１５とした画素ブロックである。第４の画素ブロックは、図７（Ｄ）の斜線を付した領域に示すように、中心に位置する画素をＧ５１とした画素ブロックである。第５の画素ブロックは、図７（Ｅ）の斜線を付した領域に示すように、中心に位置する画素をＧ５３とした画素ブロックである。第６の画素ブロックは、図７（Ｆ）の斜線を付した領域に示すように、中心に位置する画素をＧ５５とした画素ブロックである。

なお、画素ブロック生成部５４では、上述したように画像領域から６つの画素ブロックを生成する場合に限定されるものではなく、少なくとも画像領域において欠陥画素が連続して並んだ線を境界として分割した画素ブロックを生成すればよい。

相関検出部５５は、画素ブロック生成部５４で分割された第１の画素ブロック〜第６の画素ブロックに対して、各画素ブロック内における画素間の相関の強さを次のようにして検出する。

すなわち、相関検出部５５は、各画素ブロックを構成する画素間の縦方向（以下、ｖｅｒｔｉｃａｌ方向という。）、横方向（以下、ｈｏｒｉｚｏｎｔａｌ方向という。）、及び、２つの斜め方向（以下、それぞれｓｌａｓｈ方向、ｂａｃｋｓｌａｓｈ方向という。）の相関の強さを示す相関値Ｇ（ｖｅｒｔｉｃａｌ）、Ｇ（ｈｏｒｉｚｏｎｔａｌ）、Ｇ（ｓｌａｓｈ）、Ｇ（ｂａｃｋｓｌａｓｈ）をそれぞれ検出する。

相関検出部５５は、第１の画素ブロック〜第６の画素ブロックのＧ（ｖｅｒｔｉｃａｌ：ｎ）の値を下記の式（１−１）〜（１−６）により算出する。ｎは画素ブロックの番号を示す。

なお、式中の関数ａｂｓは、入力値に対する絶対値を出力する関数である。

相関検出部５５は、第１の画素ブロック〜第６の画素ブロックのＧ（ｈｏｒｉｚｏｎｔａｌ：ｎ）の値を下記の式（２−１）〜（２−６）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第６の画素ブロックのＧ（ｓｌａｓｈ：ｎ）の値を下記の式（３−１）〜（３−６）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第６の画素ブロックのＧ（ｂａｃｋｓｌａｓｈ：ｎ）の値を下記の式（４−１）〜（４−６）により算出する。ｎは画素ブロックの番号を示す。

以上のようにして、相関検出部５５は、相関値を算出して、算出した相関値に関するデータを補間処理部５６に供給する。

補間処理部５６では、Ｇ画素用補間算出部５６２が、相関検出部５５により算出された相関値に応じて、注目画素Ｇ３３の画素データを補間するためのＧ画素を決定する。

Ｇ画素用補間算出部５６２は、相関検出部５５により算出された相関値から、画像領域全体での相関の強さを示す相関値を下記の式（５−１）〜（５−４）により算出する。

Ｇ画素用補間算出部５６２は、式（５−１）〜（５−４）で算出された各相関値のうち、最も相関が高い方向、すなわち、相関値が最小となる方向を選択する。例えば、ｓｌａｓｈ方向が、最も相関が高い方向として選択されたとき、Ｇ画素用補間算出部５６２は、注目画素Ｇ３３の画素データを、例えば下記の式（６）、又は、式（７）により算出する。
Ｇ３３＝（Ｇ２４＋Ｇ４２）／２・・・式（６）
Ｇ３３＝（Ｇ１５＋２×Ｇ２４＋２×Ｇ４２＋Ｇ５１）／６・・・式（７）

なお、Ｇ画素用補間算出部５６２は、例えば図８（Ａ）に示すように、第１の画素ブロックを構成するＧ画素に欠陥画素が存在するとき、図８（Ｂ）に示すように、第１の画素ブロックを除いた第２の画素ブロック〜第６の画素ブロックにおける各方向の相関値に応じて、式（５−１）〜（５−４）により画像領域全体の相関値を求めるようにしても良い。また、Ｇ画素用補間算出部５６２は、式（５）から得られる相関値が全て所定の閾値より高いとき、画像領域全体において相関が小さいと判断して、相関が強い方向を考慮せずに、注目画素を補間するための画素を決定するようにしても良い。

また、Ｇ画素用補間算出部５６２では、例えば、図７に示すような相関関係が各画素ブロックに成立している場合に、各画素ブロックにおける相関値から、画像領域内に存在するエッジを検出して、この検出したエッジの方向に応じて、注目画素Ｇ３３を補間する画素を決定しても良い。

すなわち、Ｇ画素用補間算出部５６２は、相関検出部５５で検出された相関値から、各画素ブロック毎に最も相関が強い方向を選択する。この選択処理によりＧ画素用補間算出部５６２では、図９に示すように第１の画素ブロック、第２の画素ブロック、第４の画素ブロック、及び第５の画素ブロックにおいてｂａｃｋｓｌａｓｈ方向に相関が最も強く、第３の画素ブロック、及び第６の画素ブロックにおいてｈｏｒｉｚｏｎｔａｌ方向に最も相関が強いので、第２の画素ブロックと第３の画素ブロックとの間、及び、第５の画素ブロックと第６の画素ブロックとの間にエッジが存在するものと判断する。

そして、Ｇ画素用補間算出部５６２は、この判断結果に応じて、例えば、第３の画像ブロックと第６の画像ブロックとを除いた他の画素ブロックにおける相関値を用いて式（５）により画像領域全体の相関値を求め、この求めた相関値に応じて注目画素の画素データを補間するための画素を決定するようにしても良い。

以上のように、欠陥補正部５では、画素ブロック生成部５４により生成された画素ブロック毎に、相関検出部５５が各画素ブロック内における画素間の相関を検出し、この検出した相関に応じて補間処理部５６が注目画素の画素データを補間するための画素を選択して、この選択した画素の画素データを用いて補間処理を行うので、例えば、画像上に周期的な高周波成分を含む画像に対して、欠陥画素の画素データを視覚的に誤補正とならないように、欠陥画素の画素データを高精度に補正することができる。

また、欠陥補正部５では、画素ブロック単位で相関が強い方向を検出するので、例えば、図９に示したように、第２の画素ブロック（第５の画素ブロック）と第３の画素ブロック（第６の画素ブロック）との間に存在するエッジを容易に検出することができ、この検出結果に基づいて、注目画素を適切な画素データとなるように補間することができる。すなわち、欠陥補正部５では、画像領域全体の相関を画素ブロック毎に考慮することができ、欠陥画素の画素データを高精度に補正することができる。

なお、上述した第１の欠陥補正処理では、図６に示すような７×７画素の画サイズの画像領域を設定したが、例えば、図１０に示すような１１×１１画素の画サイズの画像領域を設定することで、画サイズがより大きい画像領域内における相関の強い方向を考慮して選択された画素から、注目画素の画素データを精度良く補間することができる。

次に、上述した第２の欠陥補正処理について詳細に説明する。ここでは、欠陥Ｒ画素の画素データを補間する処理について説明する。なお、欠陥Ｂ画素に係る補間処理に関しては、欠陥Ｒ画素に係る補間処理と同様なのでその説明を省略する。

第２の欠陥補正処理において、画素ブロック生成部５４は、例えば、注目画素として選択された欠陥Ｒ画素の画素位置に応じて、図１１に示すような画像領域を設定する。すなわち、画素ブロック生成部５４は、注目画素Ｒ６６を中心とした１３×１３画素の画サイズの画像領域を設定する。この画像ブロック内に示す欠陥Ｇ画素の画素データ（例えば、Ｇ６５、Ｇ６７）は、上述した第１の欠陥補正処理によって補間され、撮像画像メモリ５１に記憶されている。

画素ブロック生成部５４は、設定した画像領域を、例えば図１２Ａ〜図１２Ｊに示すような、５×５画素の画サイズの画素ブロック（第１〜第１０の画素ブロック）をそれぞれ生成する。

すなわち、第１の画素ブロックは、図１２Ａの斜線を付した領域に示すように、中心に位置する画素をＲ２２とした画素ブロックである。第２の画素ブロックは、図１２Ｂの斜線を付した領域に示すように、中心に位置する画素をＲ２４とした画素ブロックである。第３の画素ブロックは、図１２Ｃの斜線を付した領域に示すように、中心に位置する画素をＲ２６とした画素ブロックである。第４の画素ブロックは、図１２Ｄの斜線を付した領域に示すように、中心に位置する画素をＲ２８とした画素ブロックである。第５の画素ブロックは、図１２Ｅの斜線を付した領域に示すように、中心に位置する画素をＲ２１０とした画素ブロックである。第６の画素ブロックは、図１２Ｆの斜線を付した領域に示すように、中心に位置する画素をＲ１０２とした画素ブロックである。第７の画素ブロックは、図１２Ｇの斜線を付した領域に示すように、中心に位置する画素をＲ０１４とした画素ブロックである。第８の画素ブロックは、図１２Ｈの斜線を付した領域に示すように、中心に位置する画素をＲ１０６とした画素ブロックである。第９の画素ブロックは、図１２Ｉの斜線を付した領域に示すように、中心に位置する画素をＲ１０８とした画素ブロックである。第１０の画素ブロックは、図１２Ｊの斜線を付した領域に示すように、中心に位置する画素をＲ１１０とした画素ブロックである。

ここで、第２の欠陥補正処理において設定される画素ブロックの画サイズは、第１の欠陥補正処理において設定される画素ブロックの画サイズよりも大きいことが次の理由から望ましい。すなわち、撮像画像を構成するＲ画素、Ｇ画素及びＢ画素がベイヤー配列されており、Ｒ画素間の間隔が、Ｇ画素間の間隔に比べて比較的大きいので、同一の画サイズの画素ブロックから相関検出をした場合、第２の欠陥補正処理の検出精度が相対的に悪くなる。したがって、第２の欠陥補正処理において、欠陥補正部５では、第１の欠陥補正処理に対して、１つの画素ブロックを構成する画素数を増やし、より多数の画素データから画素ブロックにおける画素間の相関値を算出することで、検出される相関方向の精度劣化の防止が図られる。

また、相関検出部５５は、上述したように画素ブロックの画サイズが比較的大きいので、各画素ブロックを構成する画素間において、ｖｅｒｔｉｃａｌ方向、ｈｏｒｉｚｏｎｔａｌ方向、ｓｌａｓｈ方向、及びｂａｃｋｓｌａｓｈ方向からなる４方向に加えて、次のような４方向について相関検出を行う。

すなわち、相関検出部５５は、ｓｌａｓｈ方向とｖｅｒｔｉｃａｌ方向との中間角度方向（以下、ｈｉｇｈ＿ｓｌａｓｈ方向という。）、ｓｌａｓｈ方向とｈｏｒｉｚｏｎｔａｌ方向との中間角度方向（以下、ｌｏｗ＿ｓｌａｓｈ方向という。）、ｂａｃｋｓｌａｓｈ方向とｖｅｒｔｉｃａｌ方向との中間角度方向（以下、ｈｉｇｈ＿ｂａｃｋｓｌａｓｈ方向という。）、及び、ｂａｃｋｓｌａｓｈ方向とｈｏｒｉｚｏｎｔａｌ方向との中間角度方向（以下、ｌｏｗ＿ｂａｃｋｓｌａｓｈ方向という。）の相関をそれぞれ検出する。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｖｅｒｔｉｃａｌ方向の相関の強さＲ（ｖｅｒｔｉｃａｌ：ｎ）の値を下記の式（８−１）〜（８−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｈｏｒｉｚｏｎｔａｌ方向の相関の強さを示す相関値Ｒ（ｈｏｒｉｚｏｎｔａｌ：ｎ）の値を下記の式（９−１）〜（９−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｓｌａｓｈ方向の相関の強さを示す相関値Ｒ（ｓｌａｓｈ：ｎ）の値を下記の式（１０−１）〜（１０−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｂａｃｋｓｌａｓｈ方向の相関の強さを示す相関値Ｒ（ｂａｃｋｓｌａｓｈ：ｎ）の値を下記の式（１１−１）〜（１１−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｈｉｇｈ＿ｓｌａｓｈ方向の相関の強さを示す相関値Ｒ（ｈｉｇｈ＿ｓｌａｓｈ：ｎ）の値を下記の式（１２−１）〜（１２−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｌｏｗ＿ｓｌａｓｈ方向の相関の強さを示す相関値Ｒ（ｌｏｗ＿ｓｌａｓｈ：ｎ）の値を下記の式（１３−１）〜（１３−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｈｉｇｈ＿ｂａｃｋｓｌａｓｈ方向の相関の強さを示す相関値Ｒ（ｈｉｇｈ＿ｂａｃｋｓｌａｓｈ：ｎ）の値を下記の式（１４−１）〜（１４−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、第１の画素ブロック〜第１０の画素ブロックのｌｏｗ＿ｂａｃｋｓｌａｓｈ方向の相関の強さを示す相関値Ｒ（ｌｏｗ＿ｂａｃｋｓｌａｓｈ：ｎ）の値を下記の式（１５−１）〜（１５−１０）により算出する。ｎは画素ブロックの番号を示す。

相関検出部５５は、以上のようにして算出した相関値に関するデータを補間処理部５６に供給する。

補間処理部５６では、まず、色相情報生成部５６３が、相関検出部５５により算出された相関値に応じて、例えば次のようにして注目画素Ｒ６６と同じ色信号を出力するＲ画素を選択する。

色相情報生成部５６３は、相関検出部５５により算出された相関値から、画像領域全体での相関の強さ、すなわち相関値を下記の式（１６−１）〜（１６−８）により算出する。

色相情報生成部５６３は、上述した式（１６−１）〜（１６−８）で算出された各相関値のうち、最も相関が強い方向、すなわち、相関値が最小となる方向を選択する。

例えば、ｖｅｒｔｉｃａｌ方向が最も相関が強い方向として選択された場合、色相情報生成部５６３は、図１３に示すように、まず、注目画素Ｒ６６に対してｖｅｒｔｉｃａｌ方向に位置する最近傍のＲ画素Ｒ４６、Ｒ８６を選択する（ステップＳ１０）。そして、色相情報生成部５６３は、ステップＳ１０で選択されたＲ画素Ｒ４６、Ｒ８６に応じて下記の式（１７）より色相情報Ｒ−Ｇを算出する（ステップＳ１１、Ｓ１２）。

ここで、Ｒｗｂとは、Ｇ画素に対するＲ画素のホワイトバランス値である。補間処理部５６は、図示しない内部メモリに、撮像画像メモリ５１を参照して求めたホワイトバランス値Ｒｗｂに関するデータが記憶されており、このＲｗｂを参照することにより色相情報Ｒ−Ｇが算出される。すなわち、色相情報Ｒ−Ｇは、Ｇ画素の緑色信号の出力値を基準として、Ｒ画素の出力値とＧ画素の出力値との差分を示す情報である。

補間処理部５６では、ＲＢ画素用補間算出部５６４が、注目画素Ｒ６６に隣接するＧ画素の画素データから、下記の式（１８）により、注目画素の画素位置における緑色信号の出力値を示す画素データＧ６６を算出する（ステップＳ１３）。

そして、ＲＢ画素用補間算出部５６４は、色相情報生成部５６３により生成された色相情報Ｒ−Ｇと、ステップＳ１３で算出された画素データＧ６６とから下記の式（１９）により注目画素の赤色信号の出力値を示す画素データＲ６６を算出する（ステップＳ１４）。

また、ｖｅｒｔｉｃａｌ方向以外の方向に相関が最も強いとき、補間処理部５６では、色相情報生成部５６３が、注目画素Ｒ６６に対して、その最も相関の強い方向に位置する最近傍のＲ画素を選択して、この選択したＲ画素に応じた色相情報を生成すればよい。

しかしながら、ｈｏｒｉｚｏｎｔａｌ方向に相関が最も強いとき、補間処理部５６では、その最も相関の強い方向に位置する最近傍のＲ画素が欠陥画素となっている。そこで、ｈｏｒｉｚｏｎｔａｌ方向に相関が最も強いとき、すなわち、相関が最も強い方向が線欠陥が生じている方向と同じとき、補間処理部５６では、図１４に示すような処理を行う。

すなわち、補間処理部５６では、色相情報生成部５６３が、まず、注目画素Ｒ６６に対してｖｅｒｔｉｃａｌ方向に位置する最近傍のＲ画素Ｒ４６、Ｒ８６を選択する（ステップＳ２０）。そして、色相情報生成部５６３は、ステップＳ２０で選択されたＲ画素Ｒ４６、Ｒ８６に応じて下記の式（２０）により色相情報Ｒ−Ｇを算出する（ステップＳ２１、Ｓ２２）。

そして、補間処理部５６では、ＲＢ画素用補間算出部５６４が、注目画素Ｒ６６に隣接するＧ画素の画素データから、下記の式（２１）により、注目画素の画素位置における緑レベルを示す画素データＧ６６を算出する（ステップＳ２３）。

そして、ＲＢ画素用補間算出部５６４は、色相情報生成部５６３により生成された色相情報Ｒ−Ｇと、ステップＳ２３で算出された画素データＧ６６とから下記の式（２２）により注目画素の赤色信号の出力値を示す画素データＲ６６を算出する（ステップＳ２４）。

以上のようにして、欠陥補正部５では、相関検出部５５が検出した相関値に応じて、色相情報生成部５６３が画像領域全体において相関が強い方向の色相を保持するための色相情報を生成し、ＲＢ画素用補間算出部５６４が色相情報と注目画素に隣接するＧ画素の画素データとから注目画素の画素データを補間するので、ベイヤー配列のＲ画素やＢ画素のように、同じ色信号を出力する画素の間隔が非常に離れていても、偽色の発生を防止して欠陥画素の画素データを精度良く補間することができる。

デジタルカメラ１００では、欠陥補正部５が、欠陥Ｇ画素の画素データを第１の欠陥補正処理に従って補間し、欠陥Ｒ画素の画素データ及び欠陥Ｂ画素の画素データを第２の欠陥補正処理に従って補間することにより、欠陥画素を含む撮像データを高精度に補正することができる。これによって、上述した本実施形態に係る欠陥補正処理によれば、従来欠陥品として扱われていた線欠陥が生じる撮像素子の商品化を図ることができ、撮像素子の生産効率を改善することができる。

なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。

本発明を適用したデジタルカメラの全体構成を示すブロック図である。撮像素子のベイヤー画素配列を示した図である。欠陥補正部の内部構成を示すブロック図である。補間処理部の内部構成を示すブロック図である。欠陥補正部が行う処理工程の説明に供するフローチャートである。第１の欠陥補正処理において設定される画像領域を示す図である。第１の欠陥補正処理において生成される画素ブロックを示す図である。第１の欠陥補正処理に係る補間処理部で行われる処理の説明に供する模式図である。第１の欠陥補正処理に係る補間処理部で行われるエッジ検出処理の説明に供する模式図である。第１の欠陥補正処理において設定される画像領域を示す図である。第２の欠陥補正処理において設定される画像領域を示す図である。第２の欠陥補正処理において生成される第１の画素ブロックを示す図である。第２の欠陥補正処理において生成される第２の画素ブロックを示す図である。第２の欠陥補正処理において生成される第３の画素ブロックを示す図である。第２の欠陥補正処理において生成される第４の画素ブロックを示す図である。第２の欠陥補正処理において生成される第５の画素ブロックを示す図である。第２の欠陥補正処理において生成される第６の画素ブロックを示す図である。第２の欠陥補正処理において生成される第７の画素ブロックを示す図である。第２の欠陥補正処理において生成される第８の画素ブロックを示す図である。第２の欠陥補正処理において生成される第９の画素ブロックを示す図である。第２の欠陥補正処理において生成される第１０の画素ブロックを示す図である。第２の欠陥補正処理に係る補間処理部で行われる処理の説明に供する模式図である。第２の欠陥補正処理に係る補間処理部で行われる処理の説明に供する模式図である。

符号の説明

１光学レンズ系、２絞り機構、３撮像素子、４アナログ信号処理部、５欠陥補正部、６画像処理部、７画像記憶部、５１撮像画像メモリ、５２線欠陥情報メモリ、５３注目画素選択部、５４画素ブロック生成部、５５相関検出部、５６補間処理部、１００デジタルカメラ、５６１ＲＧＢ判断部、５６２Ｇ画素用補間算出部、５６３色相情報生成部、５６４ＲＢ画素用補間算出部

Claims

撮像手段により撮像された撮像データが入力され、この入力された撮像データを構成する画素データを補間する補間処理装置において、
上記撮像手段により撮像される画像に欠陥が生じる欠陥画素のうち、直線上に連続して並んだ複数の欠陥画素の位置を示す線欠陥情報が記憶された線欠陥情報記憶手段と、
上記線欠陥情報記憶手段に記憶された線欠陥情報に基づいて、上記直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する注目画素選択手段と、
上記入力された撮像データから、上記注目画素選択手段で選択された注目画素の画素位置を中心とした複数の画素からなる画像領域を設定して、この設定した画像領域を少なくとも上記欠陥画素が並んだ直線上を境界として分割した画素ブロックを生成する画素ブロック生成手段と、
上記入力された撮像データを構成する各画素データから、上記画素ブロック生成手段により生成された各画素ブロック内における画素間の相関を検出する相関検出手段と、
上記相関検出手段で検出された各画素ブロック内における画素間の相関に応じて、上記注目画素の画素データを補間するための画素を選択して、この選択した画素の画素データから上記注目画素の画素データを補間する補間手段とを備え、
３原色の色フィルタが画素単位でベイヤー配列されており、それぞれ赤色信号を出力する画素、緑色信号を出力する画素、及び青色信号を出力する画素がベイヤー配列された画像を撮像する単板式の撮像素子からなる上記撮像手段により撮像された撮像データが入力され、
上記画素ブロック生成手段は、上記注目画素選択手段で選択された注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定し、
上記補間手段は、
上記線欠陥情報が示す欠陥画素のうち、緑色信号を出力する画素の画素データが当該補間手段により補間された撮像データを記憶する画像記憶手段と、
上記注目画素選択手段が緑色信号を出力する画素以外の画素を上記注目画素として選択したとき、上記相関検出手段で検出された上記各画素ブロックの相関に応じて、上記注目画素と同じ色信号を出力する画素を選択して、この選択した画素の画素データと、この画素に隣接する緑色信号を出力する画素の画素データとから色相情報を生成する色相情報生成手段と、
上記色相情報生成手段により生成された色相情報と、上記画像記憶手段に記憶され上記注目画素に隣接する緑色信号を出力する画素の画素データとから、上記注目画素の画素データを算出する算出手段とを有する補間処理装置。
被写体を撮像した撮像データを生成する撮像手段と、
上記撮像手段により撮像される画像に欠陥が生じる欠陥画素のうち、直線上に連続して並んだ複数の欠陥画素の位置を示す線欠陥情報が記憶された線欠陥情報記憶手段と、
上記線欠陥情報記憶手段に記憶された線欠陥情報に基づいて、上記直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する注目画素選択手段と、
上記撮像手段で撮像された撮像データから、上記注目画素選択手段で選択された注目画素の画素位置を中心とした複数の画素からなる画像領域を設定して、この設定した画像領域を、少なくとも上記欠陥画素が並んだ直線上を境界として分割した画素ブロックを生成する画素ブロック生成手段と、
上記撮像手段により生成された撮像データを構成する各画素データから、上記画素ブロック生成手段により生成された各画素ブロック内における画素間の相関を検出する相関検出手段と、
上記相関検出手段で検出された上記各画素ブロックにおける画素間の相関に応じて、上記注目画素を補間するための画素を選択して、この選択した画素の画素データから上記注目画素の画素データを補間する補間手段とを備え、
上記撮像手段は、３原色の色フィルタが画素単位でベイヤー配列されており、それぞれ赤色信号を出力する画素、緑色信号を出力する画素、及び青色信号を出力する画素がベイヤー配列された画像を撮像する単板式の撮像素子からなり、
上記画素ブロック生成手段は、上記注目画素選択手段で選択された注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定し、
上記補間手段は、
上記線欠陥情報が示す欠陥画素のうち、緑色信号を出力する画素の画素データが当該補間手段により補間された撮像データを記憶する画像記憶手段と、
上記注目画素選択手段が緑色信号を出力する画素以外の画素を上記注目画素として選択したとき、上記相関検出手段で検出された上記各画素ブロックの相関に応じて、上記注目画素と同じ色信号を出力する画素を選択して、この選択した画素の画素データと、この画素に隣接する緑色信号を出力する画素の画素データとから色相情報を生成する色相情報生成手段と、
上記色相情報生成手段により生成された色相情報と、上記画像記憶手段に記憶され上記注目画素に隣接する緑色信号を出力する画素の画素データとから、上記注目画素の画素データを算出する算出手段とを有する撮像装置。
撮像素子により撮像された撮像データを構成する画素データを補間する補間処理方法において、
所定の記憶媒体に記憶された情報であって、上記撮像素子により撮像される画像に欠陥が生じる欠陥画素のうち、直線上に連続して並んだ複数の欠陥画素の位置を示す線欠陥情報に基づいて、この直線上に連続して並んだ複数の欠陥画素のうち、画素データを補間する注目画素を選択する注目画素選択工程と、
上記撮像素子により撮像された撮像データから、上記注目画素選択工程で選択された注目画素の位置を中心とした複数の画素からなる画像領域を設定して、この設定した画像領域を、少なくとも上記欠陥画素が並んだ直線上を境界として分割した画素ブロックを生成する画素ブロック生成工程と、
上記撮像素子で撮像された撮像データを構成する各画素データから、上記画素ブロック生成工程で生成された各画素ブロック内における画素間の相関を検出する相関検出工程と、
上記相関検出工程で検出された上記各画素ブロック内における画素間の相関に応じて、上記注目画素の画素データを補間するための画素を選択して、この選択した画素の画素データから上記注目画素の画素データを補間する補間工程とを有し、
上記撮像手段は、３原色の色フィルタが画素単位でベイヤー配列されており、それぞれ赤色信号を出力する画素、緑色信号を出力する画素、及び青色信号を出力する画素がベイヤー配列された画像を撮像する単板式の撮像素子からなり、
上記画素ブロック生成工程は、上記注目画素選択手段で選択された注目画素が緑色信号を出力する画素以外の画素のとき、注目画素が緑色信号を出力する画素と比べて、より大きい画像領域を設定し、
上記補間工程は、
上記線欠陥情報が示す欠陥画素のうち、緑色信号を出力する画素の画素データが当該補間手段により補間された撮像データを画像記憶手段に記憶する画像記憶工程と、
上記注目画素選択工程で緑色信号を出力する画素以外の画素を上記注目画素として選択したとき、上記相関検出工程で検出された上記各画素ブロックの相関に応じて、上記注目画素と同じ色信号を出力する画素を選択して、この選択した画素の画素データと、この画素に隣接する緑色信号を出力する画素の画素データとから色相情報を生成する色相情報生成工程と、
上記色相情報生成工程により生成された色相情報と、上記画像記憶工程で記憶され上記注目画素に隣接する緑色信号を出力する画素の画素データとから、上記注目画素の画素データを算出する算出工程とを有する補間処理方法。