JP4334150B2 - 画像補間装置 - Google Patents
画像補間装置 Download PDFInfo
- Publication number
- JP4334150B2 JP4334150B2 JP2001006368A JP2001006368A JP4334150B2 JP 4334150 B2 JP4334150 B2 JP 4334150B2 JP 2001006368 A JP2001006368 A JP 2001006368A JP 2001006368 A JP2001006368 A JP 2001006368A JP 4334150 B2 JP4334150 B2 JP 4334150B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- interpolation
- image
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000284 extract Substances 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Facsimile Heads (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る第１の画像補間装置は、マトリクス状に配置された各画素において、受光面に結像された被写体像に対応した色信号が生成される撮像素子と、対象画素の近傍に位置する複数の隣接画素の色信号を用いて補間処理を施すことにより、対象画素の色信号を求める第１の補間処理手段と、第１の補間処理手段によって得られた対象画素の色信号を用いて補間処理を施すことにより、隣接画素の色信号を修正する第２の補間処理手段とを備えることを特徴としている。
【０００６】
本発明に係る第２の画像補間装置は、カラーフィルタと撮像素子とパターン設定手段とＧ補間処理手段とＲ／Ｂ補間処理手段と第１の補間／修正処理手段と第２の補間修正処理手段とを備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｂ、Ｃｒに基づいて、Ｂ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＲ信号とを修正する。第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｂ、Ｃｒに基づいて、Ｒ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＢ信号とを修正する。
【０００７】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。第１の補間／修正処理手段および第２の補間／修正処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００８】
第１の補間／修正処理手段および第２の補間／修正処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００９】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂ、Ｃｒが類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定して、Ｂ信号を求めるとともにＧ信号とＲ信号を修正してもよい。同様に第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｂ、Ｃｒが類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定して、Ｒ信号を求めるとともにＧ信号とＢ信号を修正してもよい。
【００１０】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｂ、Ｃｒを用いて、Ｂ信号を求めるとともにＧ信号とＲ信号を修正してもよい。これにより、さらに色にじみを減少させることが可能になる。この場合、第１の補間／修正処理手段は例えば下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ’＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められる第１パターンに属する画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１１】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、Ｒ信号を求めるとともにＧ信号とＢ信号を修正してもよい。この場合、第２の補間／修正処理手段は例えば下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ’＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは第２の補間／修正処理手段により求められる第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１２】
第１の補間／修正処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。また、第２の補間／修正処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。
【００１３】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号およびＲ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、Ｂ信号を補間により求めるとともにＧ信号とＲ信号を修正してもよい。この場合、第１の補間／修正処理手段は例えば下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))
ｒ’＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められる第１パターンに属する画像の画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１４】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号およびＢ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、Ｒ信号を求めるとともにＧ信号とＢ信号を修正してもよい。この場合、第２の補間／修正処理手段は例えば下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ’＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記第２の補間／修正処理手段により求められる第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１６】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１７】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１８】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１９】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００２０】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００２１】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２２】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、第１の補間／修正処理ルーチンと（図７、８）、第２の補間／修正処理ルーチン（図９）とが実行される。これらの処理ルーチンにおいて、補間等によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２３】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２４】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２５】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００２６】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００２７】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００２８】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００２９】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００３０】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３１】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３２】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３３】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるとともに、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＲ信号とを修正する第１の補間／修正処理ルーチンのフローチャートである。
【００３４】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３５】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００３６】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００３７】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００３８】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００３９】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００４０】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５）式、（６）式、（７）式および（８）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （５）
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （６）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （７）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （８）
【００４１】
（５）式、（６）式および（７）式は従来公知である。修正輝度値ＹＧは、（８）式から理解されるように対象画素のＧ信号と類似画素のＧ信号との比率を輝度値Ｙに乗じたものである。
【００４２】
ステップ３１２では、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（１１）式に従って演算され、補間されたＢ信号ｂが求められる。これにより、第１の補間／修正処理ルーチンは終了する。
ｒ’＝ＹＧ+1.402×Ｃｒ （９）
ｇ’＝ＹＧ-0.344×Ｃｂ−0.714×Ｃｒ （１０）
ｂ＝ＹＧ+1.772×Ｃｂ （１１）
【００４３】
なお（９）式と（１１）式は、色差信号Ｃｂ，ＣｒをそれぞれＣｒ＝（Ｒ−Ｙ）×0.5/(1-0.299)、 Ｃｂ＝（Ｂ−Ｙ）×0.5/(1-0.114)と定義し、これらの定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。（１０）式は、輝度値ＹをＹ＝0.299×R+0.587×G+0.114×Bと定義し、この定義式と色差信号Ｃｂ、Ｃｒの定義式とを変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００４４】
このように本実施形態では、対象画素の色差信号Ｃｂ、Ｃｒは類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＢ信号を補間により求め、またＲ信号とＧ信号を修正している。
【００４５】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００４６】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５ａ）式、（６ａ）式、（７ａ）式および（８ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （５ａ）
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （６ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （７ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （８ａ）
【００４７】
次いでステップ３１２が実行される。すなわち、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（１１）式に従って演算され、補間されたＢ信号ｂが求められる。これにより第１の補間／修正処理ルーチンは終了する。
【００４８】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００４９】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５ｂ）式、（６ｂ）式、（７ｂ）式および（８ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （５ｂ）
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （６ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （７ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y-1) （８ｂ）
【００５０】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って修正され、また対象画素のＢ信号が（１１）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５１】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００５２】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５ｃ）式、（６ｃ）式、（７ｃ）式および（８ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （５ｃ）
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （６ｃ）
Ｃｒ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （７ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （８ｃ）
【００５３】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って修正され、また対象画素のＢ信号が（１１）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５４】
第１の補間／修正処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）および第１の補間／修正処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５５】
第４パターンの画像のＲ信号は、第２の補間／修正処理ルーチンにより求められる。また第２の補間／修正処理ルーチンでは、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＢ信号とが修正される。図９は第２の補間／修正処理ルーチンのフローチャートの後半部分を示している。なお第２の補間／修正処理ルーチンの前半部分は図７に示す第１の補間／修正処理ルーチンと同じであるので、図示を省略する。
【００５６】
ステップ４１０、４１３、４１５の処理内容はステップ３１０、３１３、３１５（図８）と同じである。ステップ４１１、４１４、４１６、４１７の処理内容はステップ３１１、３１４、３１６、３１７と同じである。
【００５７】
ステップ４１２では、対象画素のＲ信号が（１２）式に従って演算され、補間されたＲ信号ｒが求められる。対象画素のＧ信号とＢ信号が（１３）式と（１４）式に従って演算され、修正されたＧ信号ｇ’と修正されたＢ信号ｂ’が求められる。
ｒ＝ＹＧ+1.402×Ｃｒ （１２）
ｇ’＝ＹＧ-0.344×Ｃｂ−0.714×Ｃｒ （１３）
ｂ’＝ＹＧ+1.772×Ｃｂ （１４）
【００５８】
第２の補間／修正処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００５９】
このように第２の補間／修正処理ルーチンでは、第１の補間／修正処理ルーチンと同様に、対象画素の色差信号Ｃｂ、Ｃｒは類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＲ信号を補間により求め、またＧ信号とＢ信号を修正している。
【００６０】
以上のように本実施形態では、特に第１の補間／修正処理ルーチン（図７および図８）と第２の補間／修正処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００６１】
さらに本実施形態では、Ｇ補間処理ルーチンにより求められたＧ信号と、ＣＣＤ１２により生成されたＲ信号とＢ信号が（９）、（１０）、（１３）、（１４）式に従って修正されるので、対象画素の色合いが周囲に位置する画素の色合いに近くなり、画像全体として色にじみがより減少する。
【００６２】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第１の補間／修正処理ルーチンの前半部分を示し、図１１は、第２の補間／修正処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００６３】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１５）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１５）
不等式（１５）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１５）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６４】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１６）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１６）
不等式（１６）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１６）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６５】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１７）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１７）
パラメータｐ，ｑがともに−１であり、かつ不等式（１７）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１７）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６６】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６７】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同様な処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められ、対象画素のＢ信号が補間により求められるとともに、Ｇ信号とＲ信号が修正される。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＲ信号を用いて、（１８）式に従って求められる。その他の式については、第１実施形態と同じである。
ただし、G(x',y')は類似画素のＧ信号、R(x',y')は類似画素のＲ信号を示す。
【００６８】
第２の補間／修正処理ルーチン（図１１）では、第４パターンの画像のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１９）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１９）
不等式（１９）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１９）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００６９】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（２０）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （２０）
不等式（２０）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（２０）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００７０】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（２１）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （２１）
パラメータｐ，ｑがともに−１であり、かつ不等式（２１）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（２１）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７１】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにして第２の補間／修正処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７２】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められ、対象画素のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＢ信号を用いて、（２２）式に従って求められる。
ただし、G(x',y')は類似画素のＧ信号、B(x',y')は類似画素のＢ信号を示す。
【００７３】
以上のように本実施形態では、第１の補間／修正処理ルーチン（図１０）と第２の補間／修正処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、輝度信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７４】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図８】第１の補間／修正処理ルーチンのフローチャートの後半部分である。
【図９】第２の補間／修正処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態における第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態における第２の補間／修正処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
【発明の属する技術分野】
本発明は、例えばデジタルカメラにおいて、カラー画像の画質を向上させるために設けられる画像補間装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、カラー画像を検出するために、ＣＣＤ等の撮像素子の前面にベイヤー配列のカラーフィルタを設けたものが知られている。このカラーフィルタは、レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の各カラーフィルタ要素を市松模様に配列して構成され、これらのカラーフィルタ要素は撮像素子のフォトダイオードにそれぞれ対応している。したがってフォトダイオードにより、各カラーフィルタ要素に対応した色の画素信号が生成され、例えばＲのカラーフィルタ要素に対応したフォトダイオードによりＲの画素信号が生成される。
【０００３】
撮像素子から出力された画素信号をそのまま用いるよりも高画質のカラー画像を表示するため、画素信号に対して補間処理を施すことがある。通常の補間処理では、フォトダイオードによってＲ信号が得られた画素に対しては、その周囲に位置する画素のＧ信号の相加平均をとることによってＧ信号が生成され、また、その周囲に位置する画素のＢ信号の相加平均をとることによってＢ信号が生成される。ところが、例えば空間周波数の高い画像において、補間処理によって求めようとしている画素の実際の色とその周囲の画素の実際の色とが大きく異なることがあり、このような場合、補間処理により得られた画素の色信号の値によって、再生画像に色にじみが生じる。
【０００４】
【発明が解決しようとする課題】
したがって本発明は、補間処理によって再生画像に色にじみが生じることを減少させることを目的としている。
【０００５】
【課題を解決するための手段】
本発明に係る第１の画像補間装置は、マトリクス状に配置された各画素において、受光面に結像された被写体像に対応した色信号が生成される撮像素子と、対象画素の近傍に位置する複数の隣接画素の色信号を用いて補間処理を施すことにより、対象画素の色信号を求める第１の補間処理手段と、第１の補間処理手段によって得られた対象画素の色信号を用いて補間処理を施すことにより、隣接画素の色信号を修正する第２の補間処理手段とを備えることを特徴としている。
【０００６】
本発明に係る第２の画像補間装置は、カラーフィルタと撮像素子とパターン設定手段とＧ補間処理手段とＲ／Ｂ補間処理手段と第１の補間／修正処理手段と第２の補間修正処理手段とを備えている。
カラーフィルタは、水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成される。撮像素子は、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する。パターン設定手段は、撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出する。Ｇ補間処理手段は、第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求める。Ｒ／Ｂ補間処理手段は、第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求める。第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｂ、Ｃｒに基づいて、Ｂ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＲ信号とを修正する。第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、類似画素の輝度値と色差信号Ｃｂ、Ｃｒに基づいて、Ｒ信号を補間により求めるとともに、Ｇ補間処理手段により求められたＧ信号と撮像素子により生成されたＢ信号とを修正する。
【０００７】
Ｇ補間処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。Ｒ／Ｂ補間処理手段において、隣接する画素は第１および第４パターンに属する画像に含まれる。第１の補間／修正処理手段および第２の補間／修正処理手段において、隣接する画素は第２および第３パターンに属する画像に含まれる。
【０００８】
第１の補間／修正処理手段および第２の補間／修正処理手段は、好ましくは、隣接する画素におけるＧ信号の値を用いて、輝度値が最も近い類似画素を抽出する。類似画素の色合いが補間処理によって求めようとしている画素の色合いに近いと推定することにより、色にじみが減少する。
【０００９】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、色差信号Ｃｂ、Ｃｒが類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定して、Ｂ信号を求めるとともにＧ信号とＲ信号を修正してもよい。同様に第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、色差信号Ｃｂ、Ｃｒが類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定して、Ｒ信号を求めるとともにＧ信号とＢ信号を修正してもよい。
【００１０】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｂ、Ｃｒを用いて、Ｂ信号を求めるとともにＧ信号とＲ信号を修正してもよい。これにより、さらに色にじみを減少させることが可能になる。この場合、第１の補間／修正処理手段は例えば下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ’＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められる第１パターンに属する画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１１】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号と類似画素のＧ信号との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、Ｒ信号を求めるとともにＧ信号とＢ信号を修正してもよい。この場合、第２の補間／修正処理手段は例えば下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ’＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは第２の補間／修正処理手段により求められる第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１２】
第１の補間／修正処理手段は、隣接する画素におけるＧ信号およびＲ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。また、第２の補間／修正処理手段は、隣接する画素におけるＧ信号およびＢ信号の値を用いて、輝度値が最も近い類似画素を抽出してもよい。
【００１３】
第１の補間／修正処理手段は、第１パターンに属する画像の各画素に関し、その画素のＧ信号およびＲ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、Ｂ信号を補間により求めるとともにＧ信号とＲ信号を修正してもよい。この場合、第１の補間／修正処理手段は例えば下記式に従ってＢ信号を求めるとともにＧ信号とＲ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))
ｒ’＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは第１の補間／修正処理手段により求められる第１パターンに属する画像の画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。
【００１４】
第２の補間／修正処理手段は、第４パターンに属する画像の各画素に関し、その画素のＧ信号およびＢ信号に基づいて得られる第１の参照値と類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、Ｒ信号を求めるとともにＧ信号とＢ信号を修正してもよい。この場合、第２の補間／修正処理手段は例えば下記式に従ってＲ信号を求めるとともにＧ信号とＢ信号を修正する。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×
(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ’＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは類似画素の輝度値、R(x',y')， G(x',y')，B(x',y')は類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記第２の補間／修正処理手段により求められる第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１実施形態である画像補間装置を備えたデジタルカメラ１０の概略的な構成を示している。
【００１６】
撮影レンズ１１の後方には撮像素子であるＣＣＤ１２が配設され、ＣＣＤ１２の受光面にはカラーフィルタ１３が設けられている。すなわち撮影レンズ１１によって得られた被写体Ｓの光学像がＣＣＤ１２の受光面に結像され、ＣＣＤ１２のフォトダイオードには、被写体像を構成するカラーの画素信号が発生する。画素信号はＣＣＤ１２から読み出され、Ａ／Ｄ変換器１４においてデジタル信号に変換される。そして画素信号はホワイトバランス調整回路１５においてホワイトバランス調整を施され、画像メモリ１６に格納される。
【００１７】
画素信号は画像メモリ１６から読み出され、パターン設定部１７に入力される。パターン設定部１７では、後述するように、所定の配列パターンを構成する画素信号が全画素信号の中から抽出され、第１、第２、第３および第４パターンに分類される。補間処理部１８では、パターン設定部１７において抽出された画素信号がそのパターンに応じた補間処理を施される。補間処理部１８から出力された、補間後の画素信号はメモリカード等の記録媒体Ｄに記録される。なおホワイトバランス調整回路１５は、Ａ／Ｄ変換器１４の後段ではなく、補間処理部１８の後段に設けられてもよい。
【００１８】
図２はカラーフィルタ１３におけるカラーフィルタ要素の配列と、パターン設定部１７において抽出される、各パターンに属する画像の画素信号とを示している。カラーフィルタ１３は、ベイヤー配列に従って配置されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタ要素から構成される。すなわちカラーフィルタ１３は、水平方向にＲとＧのカラーフィルタ要素が交互に並ぶ第１の列１３ａと、この第１の列１３ａの上下側に隣接し、水平方向にＧとＢのカラーフィルタ要素が交互に並ぶ第２の列１３ｂとから構成され、ＣＣＤ１２では、各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号が生成される。
【００１９】
カラーフィルタ１３は、左上にＲ、右上と左下にＧ、右下にＢのカラーフィルタ要素が配置された２×２の画素マトリクスＭ１に区画される。パターン設定部１７では、ＣＣＤ１２によって生成されるＲ，Ｇ，Ｂ信号から、画素マトリクスＭ１において左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像が抽出される。
【００２０】
パターン設定部１７において、第１パターンは、Ｃ言語で表わされた論理式（１）に従って、１つの画像を構成する全ての画素信号から抽出される。
！（ｘ％２） ＆＆ ！（ｙ％２） （１）
なお論理式（１）において、「ｘ」と「ｙ」は画像の左隅を原点とする横座標と縦座標をそれぞれ示す。すなわち、左隅のＲ信号の座標は(0,0)その右隣のＧ信号の座標は(1,0)である。また論理式（１）において、「！」は論理否定、「％」は剰余、「＆＆」は論理積を示す。したがって論理式（１）によれば、ｘ座標とｙ座標がともに偶数である画素信号（すなわちＲ信号）から成る画像が抽出される。
【００２１】
同様に、第２パターン、第３パターンおよび第４パターンは、論理式（２）、（３）および（４）に従って抽出される。
（ｘ％２） ＆＆ ！（ｙ％２） （２）
！（ｘ％２） ＆＆ （ｙ％２） （３）
（ｘ％２） ＆＆ （ｙ％２） （４）
【００２２】
図３〜図９を参照して補間処理部１８における処理を説明する。図３は、画像メモリ１６に格納された、１つの画像を構成する画素の座標と色を示している。補間処理部１８では、後述するように、Ｇ補間処理ルーチン（図４）と、Ｒ／Ｂ補間処理ルーチン（図５）と、第１の補間／修正処理ルーチンと（図７、８）、第２の補間／修正処理ルーチン（図９）とが実行される。これらの処理ルーチンにおいて、補間等によって画素データを求めようとしている対象画素の座標は(x,y)である。
【００２３】
図４はＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、第１および第４パターンに属する画像に関する補間処理が行われる。
【００２４】
ステップ１０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と右側に隣接する画素のＧ信号であるG(x+1,y)との差の絶対値が、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と下側に隣接する画素のＧ信号であるG(x,y+1)との差の絶対値よりも小さいか否かが判定される。対象画素の座標が(2,2)である場合（すなわち第１パターンの画像）を例にとって説明すると、対象画素はR(2,2)であり、ステップ１０１では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さいか否かが判定される。
【００２５】
なお対象画素が第１パターンに属する画像に含まれるとき、すなわちＲ信号であるとき、その左右に隣接する画素は第２パターンに属する画像に含まれ、またその上下に隣接する画素は第３パターンに含まれる。一方、対象画素が第４パターンに属する画像に含まれるとき、すなわちＢ信号であるとき、その左右に隣接する画素は第３パターンに属する画像に含まれ、またその上下に隣接する画素は第２パターンに含まれる。
【００２６】
ステップ１０１において、対象画素の左右に隣接する画素信号の差の絶対値の方が上下に隣接する画素信号の差の絶対値よりも小さいと判定されたとき、ステップ１０２が実行され、左右に隣接する画素信号であるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のＧ信号ｇとして求められる。これに対して、対象画素の左右に隣接する画素信号の差の絶対値が上下に隣接する画素信号の差の絶対値よりも小さくないと判定されたとき、ステップ１０３において、上下に隣接する画素信号であるG(x,y-1)とG(x,y+1)の相加平均が、対象画素のＧ信号ｇとして求められる。ステップ１０２または１０３の実行により、Ｇ補間処理ルーチンは終了する。
【００２７】
このようにＧ補間処理ルーチンでは、第１および第４パターンに属する画像の各画素に関し、左右および上下に隣接する４つのＧ信号において、差の小さい方の組の２つのＧ信号の平均値が対象画素のＧ信号として求められる。第１および第４パターンに属する画像の全ての画素に対してＧ補間処理ルーチンが実行されると、１つの画像を構成する全画素におけるＧ信号が求められたことになる。
【００２８】
図５はＲ／Ｂ補間処理ルーチンのフローチャートである。Ｒ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像に関する補間処理が行われる。
【００２９】
ステップ２０１では対象画素が第２パターンに属する画像に含まれるか否かが判定される。対象画素が第２パターンに属する画像に含まれるとき、すなわち対象画素が画素マトリクスＭ１（図２）の右上のＧ信号であるとき、ステップ２０２が実行される。これに対して対象画素が第２パターンに含まれないとき、すなわち第３パターンに含まれ、画素マトリクスＭ１（図２）の左下のＧ信号であるとき、ステップ２０３が実行される。
【００３０】
ステップ２０２では、対象画素の左右に隣接する画素信号（第１パターンの画像）であるR(x-1,y)とR(x+1,y)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の上下に隣接する画素信号（第４パターンの画像）であるB(x,y-1)とB(x,y+1)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３１】
ステップ２０３では、対象画素の上下に隣接する画素信号（第１パターンの画像）であるR(x,y-1)とR(x,y+1)の相加平均が対象画素のＲ信号ｒとして求められる。また対象画素の左右に隣接する画素信号（第４パターンの画像）であるB(x-1,y)とB(x+1,y)の相加平均が対象画素のＢ信号ｂとして求められる。
【００３２】
ステップ２０２または２０３の実行によりＲ／Ｂ補間処理ルーチンは終了する。このようにＲ／Ｂ補間処理ルーチンでは、第２および第３パターンに属する画像の各画素に関し、左右および上下に隣接する画素信号を補間することにより、対象画素のＲおよびＢ信号が求められる。Ｇ補間処理ルーチン（図４）が完了し、かつ第２および第３パターンに属する画像の全ての画素に対してＲ／Ｂ補間処理ルーチンが実行されると、図６から理解されるように、１つの画像を構成する全画素におけるＧ信号が求められ、また第２および第３パターンに属する画像の各画素に関してＲ信号ｒとＢ信号ｂが求められたことになる。すなわち第１パターンに属する画像に関しては、Ｂ信号がまだ求められておらず、また第４パターンに属する画像に関しては、Ｒ信号がまだ求められていない。
【００３３】
図７および図８は、第１パターンに属する画像の各画素に関してＢ信号を求めるとともに、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＲ信号とを修正する第１の補間／修正処理ルーチンのフローチャートである。
【００３４】
ステップ３０１では、対象画素の左側に隣接する画素のＧ信号であるG(x-1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の右側に隣接する画素のＧ信号であるG(x+1,y)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。換言すれば、対象画素の左右に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。左側の画素のＧ信号が対象画素のＧ信号により近いとき、ステップ３０２において、パラメータｐが−１に定められる。これに対し、右側の画素のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０３において、パラメータｐが１に定められる。
【００３５】
ステップ３０４では、対象画素の上側に隣接する画素のＧ信号であるG(x,y-1)と対象画素のＧ信号であるG(x,y)との差の絶対値が、対象画素の下側に隣接する画素のＧ信号であるG(x,y+1)と対象画素のＧ信号であるG(x,y)との差の絶対値よりも小さいか否かが判定される。すなわち対象画素の上下に隣接するいずれの画素のＧ信号が対象画素のＧ信号に近い値を有するか否かが判定される。上側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０５において、パラメータｑが−１に定められる。これに対し、下側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０６において、パラメータｑが１に定められる。
【００３６】
ステップ３０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、Ｇ信号の大きさが比較される。対象画素の左側の画素のＧ信号が右側の画素のＧ信号よりも対象画素のＧ信号に近く、かつ対象画素の上側の画素のＧ信号が下側の画素のＧ信号よりも対象画素のＧ信号に近いとき、パラメータｐ，ｑはともに−１であり、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG(x,y)との差の絶対値よりも小さいか否かが判定される。左側のＧ信号が対象画素のＧ信号により近いとき、ステップ３０８において、パラメータｓがｐすなわち−１に定められる。これに対し、上側のＧ信号が対象画素のＧ信号により近い、あるいは等しいとき、ステップ３０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００３７】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ３０７、３０８または３０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号に関し、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号の値が検討され、左側に隣接する画素のＧ信号が最も近ければパラメータｓは−１に、右側に隣接する画素のＧ信号が最も近ければパラメータｓは１に、上側に隣接する画素のＧ信号が最も近ければパラメータｓは−２に、下側に隣接する画素のＧ信号が最も近ければパラメータｓは２に、それぞれ定められる。
【００３８】
この明細書では、４つの隣接する画素において、対象画素のＧ信号に最も近いＧ信号を有する画素を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝度値に最も近いものが好ましいが、対象画素の輝度値が未知であるため、Ｇ信号を用いて輝度値を判定し、類似画素を抽出している。
【００３９】
ステップ３１０ではパラメータｓが−１であるか否か、すなわち類似画素が対象画素の左側に隣接する画素であるか否かが判定される。パラメータｓが−１であるとき、ステップ３１１が実行され、類似画素のＲ，Ｇ，Ｂ信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００４０】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５）式、（６）式、（７）式および（８）式に従って演算される。
Ｙ＝0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) （５）
Ｃｂ＝-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) （６）
Ｃｒ＝0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) （７）
ＹＧ＝Ｙ×G(x,y)/G(x-1,y) （８）
【００４１】
（５）式、（６）式および（７）式は従来公知である。修正輝度値ＹＧは、（８）式から理解されるように対象画素のＧ信号と類似画素のＧ信号との比率を輝度値Ｙに乗じたものである。
【００４２】
ステップ３１２では、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（１１）式に従って演算され、補間されたＢ信号ｂが求められる。これにより、第１の補間／修正処理ルーチンは終了する。
ｒ’＝ＹＧ+1.402×Ｃｒ （９）
ｇ’＝ＹＧ-0.344×Ｃｂ−0.714×Ｃｒ （１０）
ｂ＝ＹＧ+1.772×Ｃｂ （１１）
【００４３】
なお（９）式と（１１）式は、色差信号Ｃｂ，ＣｒをそれぞれＣｒ＝（Ｒ−Ｙ）×0.5/(1-0.299)、 Ｃｂ＝（Ｂ−Ｙ）×0.5/(1-0.114)と定義し、これらの定義式を変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。（１０）式は、輝度値ＹをＹ＝0.299×R+0.587×G+0.114×Bと定義し、この定義式と色差信号Ｃｂ、Ｃｒの定義式とを変形するとともに輝度値Ｙの代わりに修正輝度値ＹＧを用いることによって得られる。
【００４４】
このように本実施形態では、対象画素の色差信号Ｃｂ、Ｃｒは類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＢ信号を補間により求め、またＲ信号とＧ信号を修正している。
【００４５】
ステップ３１０においてパラメータｓが−１ではないと判定されたとき、ステップ３１３へ進み、パラメータｓが１であるか否かが判定され、類似画素が対象画素の右側に隣接する画素であるか否かが判定される。パラメータｓが１であるとき、ステップ３１４が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００４６】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５ａ）式、（６ａ）式、（７ａ）式および（８ａ）式に従って演算される。
Ｙ＝0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) （５ａ）
Ｃｂ＝-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) （６ａ）
Ｃｒ＝0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) （７ａ）
ＹＧ＝Ｙ×G(x,y)/G(x+1,y) （８ａ）
【００４７】
次いでステップ３１２が実行される。すなわち、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って演算され、修正されたＧ信号ｇ’と修正されたＲ信号ｒ’が求められる。また対象画素のＢ信号が（１１）式に従って演算され、補間されたＢ信号ｂが求められる。これにより第１の補間／修正処理ルーチンは終了する。
【００４８】
ステップ３１３においてパラメータｓが１ではないと判定されたとき、ステップ３１５へ進み、パラメータｓが−２であるか否かが判定され、類似画素が対象画素の上側に隣接する画素であるか否かが判定される。パラメータｓが−２であるとき、ステップ３１６が実行され、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００４９】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５ｂ）式、（６ｂ）式、（７ｂ）式および（８ｂ）式に従って演算される。
Ｙ＝0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) （５ｂ）
Ｃｂ＝-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) （６ｂ）
Ｃｒ＝0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) （７ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y-1) （８ｂ）
【００５０】
次いで、ステップ３１１、３１４の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って修正され、また対象画素のＢ信号が（１１）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５１】
ステップ３１５においてパラメータｓが−２ではないと判定されたとき、パラメータｓは２である、すなわち類似画素が対象画素の下側に隣接する画素であると見做され、ステップ３１７において、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められる。
【００５２】
輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧはそれぞれ（５ｃ）式、（６ｃ）式、（７ｃ）式および（８ｃ）式に従って演算される。
Ｙ＝0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) （５ｃ）
Ｃｂ＝-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) （６ｃ）
Ｃｒ＝0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) （７ｂ）
ＹＧ＝Ｙ×G(x,y)/G(x,y+1) （８ｃ）
【００５３】
次いで、ステップ３１１、３１４、３１６の場合と同様に、ステップ３１２が実行され、対象画素のＧ信号とＲ信号が（９）式と（１０）式に従って修正され、また対象画素のＢ信号が（１１）式に従って演算され、第１の補間／修正処理ルーチンは終了する。
【００５４】
第１の補間／修正処理ルーチンは、第１パターンに属する画像の全ての画素に関して実行される。Ｇ補間処理ルーチン（図４）、Ｒ／Ｂ補間処理ルーチン（図５）および第１の補間／修正処理ルーチン（図７及び図８）が完了した時点において、第１、第２および第３パターンに属する画像に関して、Ｒ，Ｇ，Ｂ信号が求められており、第４パターンに属する画像におけるＲ信号はまだ決定されていない。
【００５５】
第４パターンの画像のＲ信号は、第２の補間／修正処理ルーチンにより求められる。また第２の補間／修正処理ルーチンでは、Ｇ補間処理ルーチン（図４）により求められたＧ信号とＣＣＤ１２により生成されたＢ信号とが修正される。図９は第２の補間／修正処理ルーチンのフローチャートの後半部分を示している。なお第２の補間／修正処理ルーチンの前半部分は図７に示す第１の補間／修正処理ルーチンと同じであるので、図示を省略する。
【００５６】
ステップ４１０、４１３、４１５の処理内容はステップ３１０、３１３、３１５（図８）と同じである。ステップ４１１、４１４、４１６、４１７の処理内容はステップ３１１、３１４、３１６、３１７と同じである。
【００５７】
ステップ４１２では、対象画素のＲ信号が（１２）式に従って演算され、補間されたＲ信号ｒが求められる。対象画素のＧ信号とＢ信号が（１３）式と（１４）式に従って演算され、修正されたＧ信号ｇ’と修正されたＢ信号ｂ’が求められる。
ｒ＝ＹＧ+1.402×Ｃｒ （１２）
ｇ’＝ＹＧ-0.344×Ｃｂ−0.714×Ｃｒ （１３）
ｂ’＝ＹＧ+1.772×Ｃｂ （１４）
【００５８】
第２の補間／修正処理ルーチンは、第４パターンに属する画像の全ての画素に関して実行される。
【００５９】
このように第２の補間／修正処理ルーチンでは、第１の補間／修正処理ルーチンと同様に、対象画素の色差信号Ｃｂ、Ｃｒは類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定し、また修正輝度値ＹＧを対象画素の輝度値と見做して、対象画素のＲ信号を補間により求め、またＧ信号とＢ信号を修正している。
【００６０】
以上のように本実施形態では、特に第１の補間／修正処理ルーチン（図７および図８）と第２の補間／修正処理ルーチン（図９）において、対象画素に関して、その左右および上下に位置する画素から輝度値が最も近いものを類似画素として抽出し、補間処理を行っている。この補間処理において、２つの画素における輝度値が近いほど色の相関が強いため、対象画素の色差信号を類似画素の色差信号とすることにより、実際の色により近い画素信号を得ることができる。したがって本実施形態によれば、再生画像における色にじみを減少させることができる。
【００６１】
さらに本実施形態では、Ｇ補間処理ルーチンにより求められたＧ信号と、ＣＣＤ１２により生成されたＲ信号とＢ信号が（９）、（１０）、（１３）、（１４）式に従って修正されるので、対象画素の色合いが周囲に位置する画素の色合いに近くなり、画像全体として色にじみがより減少する。
【００６２】
図１０および図１１を参照して第２実施形態を説明する。図１０は、第１の補間／修正処理ルーチンの前半部分を示し、図１１は、第２の補間／修正処理ルーチンの前半部分を示している。その他の構成は第１実施形態と同じであるので省略する。
【００６３】
ステップ５０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１５）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| （１５）
不等式（１５）が真であるとき、すなわち左側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０２において、パラメータｐが−１に定められる。これに対し、不等式（１５）が偽であるとき、すなわち右側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０３において、パラメータｐが１に定められる。
【００６４】
ステップ５０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（１６）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| （１６）
不等式（１６）が真であるとき、すなわち上側の画素の輝度値が対象画素の輝度値の値により近いとき、ステップ５０５において、パラメータｑが−１に定められる。これに対し、不等式（１６）が偽であるとき、すなわち下側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０６において、パラメータｑが１に定められる。
【００６５】
ステップ５０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（１７）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| （１７）
パラメータｐ，ｑがともに−１であり、かつ不等式（１７）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ５０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（１７）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ５０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００６６】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ５０７、５０８または５０９が実行される。このようにして第１の補間／修正処理ルーチンでは、対象画素のＧ信号およびＲ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＲ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００６７】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図８に示されるフローチャートと同様な処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められ、対象画素のＢ信号が補間により求められるとともに、Ｇ信号とＲ信号が修正される。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＲ信号を用いて、（１８）式に従って求められる。その他の式については、第１実施形態と同じである。
【００６８】
第２の補間／修正処理ルーチン（図１１）では、第４パターンの画像のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。ステップ６０１では、対象画素の左側および右側に隣接する画素と対象画素における輝度値の比較として、不等式（１９）が成立するか否かが判定される。
｜0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|＜
｜0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| （１９）
不等式（１９）が真であるときは、ステップ６０２においてパラメータｐが−１に定められ、不等式（１９）が偽であるときは、ステップ６０３においてパラメータｐが１に定められる。
【００６９】
ステップ６０４では、対象画素の上側および下側に隣接する画素と対象画素における輝度値の比較として、不等式（２０）が成立するか否かが判定される。
｜0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|＜
｜0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| （２０）
不等式（２０）が真であるときは、ステップ６０５においてパラメータｑが−１に定められ、不等式（２０）が偽であるときは、ステップ６０６においてパラメータｑが１に定められる。
【００７０】
ステップ６０７では、対象画素の左右のいずれかに隣接する画素と、上下のいずれかに隣接する画素と、対象画素とに関し、不等式（２１）に従って輝度値が比較される。
｜0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|＜
｜0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| （２１）
パラメータｐ，ｑがともに−１であり、かつ不等式（２１）が真であるとき、左側の画素の輝度値が対象画素の輝度値に最も近く、この場合ステップ６０８においてパラメータｓがｐすなわち−１に定められる。これに対し、不等式（２１）が偽であるとき、すなわち上側の画素の輝度値が対象画素の輝度値により近い、あるいは等しいとき、ステップ６０９においてパラメータｓが２×ｑすなわち−２に定められる。
【００７１】
パラメータｐ，ｑがともに１であるとき、パラメータｐ，ｑがそれぞれ−１，１であるとき、パラメータｐ，ｑがそれぞれ１，−１であるときも同様にしてステップ６０７、６０８または６０９が実行される。このようにして第２の補間／修正処理ルーチンでは、対象画素のＧ信号およびＢ信号と、第２および第３パターンに属する画像に含まれる、隣接する画素のＧ信号およびＢ信号とを用いて輝度値が検討され、左側に隣接する画素の輝度値が最も近ければパラメータｓは−１に、右側に隣接する画素の輝度値が最も近ければパラメータｓは１に、上側に隣接する画素の輝度値が最も近ければパラメータｓは−２に、下側に隣接する画素の輝度値が最も近ければパラメータｓは２に、それぞれ定められる。
【００７２】
このようにして、対象画素の輝度値に最も近い輝度値を有する類似画素が抽出された後、図９に示されるフローチャートと同じ処理によって、類似画素のＲ，Ｇ，Ｂ信号を用いて輝度値Ｙ、色差信号Ｃｂ、Ｃｒおよび修正輝度値ＹＧが求められ、対象画素のＲ信号が補間により求められるとともに、Ｇ信号とＢ信号が修正される。なお修正輝度値ＹＧは、対象画素と類似画素のＧ信号とＢ信号を用いて、（２２）式に従って求められる。
【００７３】
以上のように本実施形態では、第１の補間／修正処理ルーチン（図１０）と第２の補間／修正処理ルーチン（図１１）において、輝度値としてＧ信号およびＲ信号あるいはＢ信号を用いているので、輝度信号をより正確に検討することができる。したがって、再生画像における色にじみを、第１実施形態よりも減少させることができる。
【００７４】
【発明の効果】
以上のように本発明によれば、補間処理によって再生画像に生じる色にじみを減少させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置を備えたデジタルカメラの概略的な構成を示すブロック図である。
【図２】カラーフィルタにおけるカラーフィルタ要素の配列と、パターン設定部において抽出される各パターンに属する画像の画素信号とを示す図である。
【図３】１つの画像を構成する画素の座標と色を示す図である。
【図４】Ｇ補間処理ルーチンのフローチャートである。
【図５】Ｒ／Ｂ補間処理ルーチンのフローチャートである。
【図６】Ｇ補間処理ルーチンとＲ／Ｂ補間処理ルーチンが実行されたことによって求められた画素信号を示す図である。
【図７】第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図８】第１の補間／修正処理ルーチンのフローチャートの後半部分である。
【図９】第２の補間／修正処理ルーチンのフローチャートの後半部分である。
【図１０】第２実施形態における第１の補間／修正処理ルーチンのフローチャートの前半部分である。
【図１１】第２実施形態における第２の補間／修正処理ルーチンのフローチャートの前半部分である。
【符号の説明】
１２ 撮像素子
１３ カラーフィルタ
Claims (17)
- 水平方向にレッド（Ｒ）とグリーン（Ｇ）のカラーフィルタ要素が交互に並ぶ第１の列と、この第１の列の上下側に隣接し、水平方向にＧとブルー（Ｂ）のカラーフィルタ要素が交互に並ぶ第２の列とから構成されるカラーフィルタと、
前記各カラーフィルタ要素に対応した画素信号であるＲ，Ｇ，Ｂ信号を生成する撮像素子と、
前記撮像素子によって生成されたＲ，Ｇ，Ｂ信号から、２×２の画素マトリクスにおいて左上にＲ信号が位置する第１パターンと、右上にＧ信号が位置する第２パターンと、左下にＧ信号が位置する第３パターンと、右下にＢ信号が位置する第４パターンとにそれぞれ属する画像を抽出するパターン設定手段と、
前記第１および第４パターンに属する画像の各画素に関し、隣接する画素のＧ信号を利用してＧ信号を求めるＧ補間処理手段と、
前記第２および第３パターンに属する画像の各画素に関し、隣接する画素のＲおよびＢ信号を利用してＲおよびＢ信号を求めるＲ／Ｂ補間処理手段と、
前記第１パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の輝度値と色差信号Ｃｂ、Ｃｒに基づいて、Ｂ信号を補間により求めるとともに、前記Ｇ補間処理手段により求められたＧ信号と前記撮像素子により生成されたＲ信号とを修正する第１の補間／修正処理手段と、
前記第４パターンに属する画像の各画素に関し、隣接する画素の中から輝度値が最も近い類似画素を抽出し、前記類似画素の輝度値と色差信号Ｃｂ、Ｃｒに基づいて、Ｒ信号を補間により求めるとともに、前記Ｇ補間処理手段により求められたＧ信号と前記撮像素子により生成されたＢ信号とを修正する第２の補間／修正処理手段とを備えることを特徴とする画像補間装置。 - 前記Ｇ補間処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記Ｒ／Ｂ補間処理手段において、前記隣接する画素が前記第１および第４パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段および前記第２の補間／修正処理手段において、前記隣接する画素が前記第２および第３パターンに属する画像に含まれることを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段および第２の補間／修正処理手段が、前記隣接する画素におけるＧ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、前記第１パターンに属する画像の各画素に関し、色差信号Ｃｂ、Ｃｒが前記類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定して、前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、前記第４パターンに属する画像の各画素に関し、色差信号Ｃｂ、Ｃｒが前記類似画素の色差信号Ｃｂ、Ｃｒに等しいと仮定して、前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、前記第１パターンに属する画像の各画素に関し、その画素のＧ信号と前記類似画素のＧ信号との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｂ、Ｃｒを用いて、前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、下記式に従って前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項８に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ’＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記第１の補間／修正処理手段により求められる前記第１パターンに属する画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。 - 前記第２の補間／修正処理手段が、前記第４パターンに属する画像の各画素に関し、その画素のＧ信号と前記類似画素のＧ信号との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、下記式に従って前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１０に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×G(x,y)/G(x',y')
ｒ＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ’＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記第２の補間／修正処理手段により求められる前記第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。 - 前記第１の補間／修正処理手段が、前記隣接する画素におけるＧ信号およびＲ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、前記隣接する画素におけるＧ信号およびＢ信号の値を用いて、前記輝度値が最も近い類似画素を抽出することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、前記第１パターンに属する画像の各画素に関し、その画素のＧ信号およびＲ信号に基づいて得られる第１の参照値と前記類似画素のＧ信号およびＲ信号に基づいて得られる第２の参照値との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｂを用いて、前記Ｂ信号を補間により求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第１の補間／修正処理手段が、下記式に従って前記Ｂ信号を求めるとともに前記Ｇ信号とＲ信号を修正することを特徴とする請求項１４に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×(0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y'))
ｒ’＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第１パターンに属する画像の画素のＧ信号、ｂは前記第１の補間／修正処理手段により求められる前記第１パターンに属する画像の画素のＢ信号、ｒ’は修正されたＲ信号、ｇ’は修正されたＧ信号である。 - 前記第２の補間／修正処理手段が、前記第４パターンに属する画像の各画素に関し、その画素のＧ信号およびＢ信号に基づいて得られる第１の参照値と前記類似画素のＧ信号およびＢ信号に基づいて得られる第２の参照値との比率を前記輝度値に乗じて求めた修正輝度値と色差信号Ｃｒを用いて、前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１に記載の画像補間装置。
- 前記第２の補間／修正処理手段が、下記式に従って前記Ｒ信号を求めるとともに前記Ｇ信号とＢ信号を修正することを特徴とする請求項１６に記載の画像補間装置。
Ｙ＝0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y')
Ｃｂ＝-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y')
Ｃｒ＝0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y')
ＹＧ＝Ｙ×(0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y'))
ｒ＝ＹＧ+1.402×Ｃｒ
ｇ’＝ＹＧ-0.344×Ｃｂ-0.714×Ｃｒ
ｂ’＝ＹＧ+1.772×Ｃｂ
ただし、Ｙは前記類似画素の輝度値、R(x',y')，G(x',y')，B(x',y')は前記類似画素のＲ，Ｇ，Ｂ信号、G(x,y)は第４パターンに属する画像の画素のＧ信号、ｒは前記第２の補間／修正処理手段により求められる前記第４パターンに属する画像の画素のＲ信号、ｇ’は修正されたＧ信号、ｂ’は修正されたＢ信号である。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001006368A JP4334150B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
| US10/043,318 US7106341B2 (en) | 2001-01-15 | 2002-01-14 | Image interpolating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001006368A JP4334150B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218482A JP2002218482A (ja) | 2002-08-02 |
| JP4334150B2 true JP4334150B2 (ja) | 2009-09-30 |
Family
ID=18874265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001006368A Expired - Fee Related JP4334150B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4334150B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4495355B2 (ja) * | 2001-01-15 | 2010-07-07 | Ｈｏｙａ株式会社 | 画像補間装置 |
| JP4270892B2 (ja) | 2003-01-27 | 2009-06-03 | Ｈｏｙａ株式会社 | 偽色低減装置 |
| JP2009188963A (ja) | 2008-02-09 | 2009-08-20 | Fujitsu Microelectronics Ltd | 画像処理回路、画像処理方法およびカメラ |
| JP2014027526A (ja) * | 2012-07-27 | 2014-02-06 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
-
2001
- 2001-01-15 JP JP2001006368A patent/JP4334150B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002218482A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1761072B1 (en) | Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera | |
| JP2007259401A (ja) | ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ | |
| JP5052189B2 (ja) | 映像処理装置及び映像処理プログラム | |
| JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
| JP6282123B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3905708B2 (ja) | 画像補間装置 | |
| US7046277B2 (en) | Image interpolating device, including interpolation and modification processors | |
| JP4334150B2 (ja) | 画像補間装置 | |
| US7106341B2 (en) | Image interpolating device | |
| US6900833B2 (en) | Image interpolating device | |
| JP4334152B2 (ja) | 画像補間装置 | |
| JPH06153087A (ja) | 画素欠陥補正方法 | |
| JP4334151B2 (ja) | 画像補間装置 | |
| JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
| JP4666786B2 (ja) | 画像補間装置 | |
| JP4495355B2 (ja) | 画像補間装置 | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| WO2012176580A1 (ja) | 撮像装置 | |
| JP2002232903A (ja) | 画像補間装置 | |
| JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| JP2014110507A (ja) | 画像処理装置および画像処理方法 | |
| US7916188B2 (en) | Correction approximating straight line group information generating method of multi-divided reading CCD, and correction processing device manufacturing method of multi-divided reading CCD | |
| JP2009182733A (ja) | 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置 | |
| JP2009290568A (ja) | 撮像装置 | |
| JP4334484B2 (ja) | 画素信号処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061124 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090623 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |