[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2019022002A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2019022002A
JP2019022002A JP2017136726A JP2017136726A JP2019022002A JP 2019022002 A JP2019022002 A JP 2019022002A JP 2017136726 A JP2017136726 A JP 2017136726A JP 2017136726 A JP2017136726 A JP 2017136726A JP 2019022002 A JP2019022002 A JP 2019022002A
Authority
JP
Japan
Prior art keywords
signal
color component
color
image processing
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017136726A
Other languages
English (en)
Inventor
正人 内原
Masato Uchihara
正人 内原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017136726A priority Critical patent/JP2019022002A/ja
Publication of JP2019022002A publication Critical patent/JP2019022002A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】色滲みと色つき被写体を正確に判別可能な画像処理装置および画像処理プログラムを提供すること。【解決手段】画像データから、第1の色成分の信号の値が減少する第1エッジ領域、および第1の色成分の信号の値が増加する第2エッジ領域、並びに第2の色成分の信号の値が減少する第3エッジ領域、および第2の色成分の信号の値が増加する第4エッジ領域を検出する検出部と、第3および第4エッジ領域のそれぞれの高輝度側エッジ端および低輝度側エッジ端における第2の色成分の信号の値に基づいて、被写体が無彩色である場合の第1の色成分の基準信号を推定する推定部と、基準信号および光学系の光学情報に基づいて推定された推定信号と、第1および第2エッジ領域の第1の色成分の信号と、に基づいて、第1および第2エッジ領域において色滲みが発生しているかどうかを示す評価値である信頼度を算出する算出部と、を有する。【選択図】図11

Description

本発明は、画像処理装置および画像処理プログラムに関する。
従来、デジタルカメラ等の撮像光学系を介して入力された画像データで発生する軸上色収差による色滲みを補正することで、画質を改善する技術が提案されている。
特許文献1では、複数の画像領域ごとに定められた関数を用いて、参照信号であるG信号の傾きに対するR信号またはB信号の傾きの大小関係に基づいて色滲みを検出し、検出した色滲みを補正する画像処理装置が開示されている。
特許文献2では、撮影画像の少なくとも1つの色成分の鮮鋭度を変化させ、変化させた色成分を含む少なくとも2つの色成分間の色応答特性の違いに基づいて、色滲みと色つき被写体を判別し、判別結果に基づいて色滲みを補正する画像処理装置が開示されている。
特許第5486273号公報 特許第5040655号公報
しかしながら、特許文献1の画像処理装置では、被写体が白、黒、白となる凹型のエッジ形状を有する場合、黒領域における検出対象信号の傾きが両端の白領域の距離によって変化するため、正しく色滲みを検出できない。
特許文献2の画像処理装置では、色成分間の色応答特性を参照しているため、凹型のエッジ形状であっても色成分間の相関の小さい高彩度の色つき被写体であれば色滲みと色つき被写体の判別が可能であるが、被写体の彩度が低下すると判別が困難になる。
本発明は、色滲みと色つき被写体を正確に判別可能な画像処理装置および画像処理プログラムを提供することを目的とする。
本発明の一側面としての画像処理装置は、光学系を介した撮像により生成された複数の色成分を含む撮影画像に基づく第1の色成分の画像データから、前記第1の色成分の信号の値が所定の第1条件を満たすように減少する第1エッジ領域、および前記第1の色成分の信号の値が所定の第2条件を満たすように増加する第2エッジ領域、並びに前記画像データから、前記第1の色成分とは異なる第2の色成分の信号の値が前記所定の第1条件を満たすように減少する第3エッジ領域、および前記第2の色成分の信号の値が前記所定の第2条件を満たすように増加する第4エッジ領域を検出する検出部と、前記第3および第4エッジ領域のそれぞれの高輝度側エッジ端および低輝度側エッジ端における前記第2の色成分の信号の値に基づいて、被写体が無彩色である場合の前記第1の色成分の基準信号を推定する推定部と、前記基準信号および前記光学系の光学情報に基づいて推定された推定信号と、前記第1および第2エッジ領域の前記第1の色成分の信号と、に基づいて、前記第1および第2エッジ領域において色滲みが発生しているかどうかを示す評価値である信頼度を算出する算出部と、を有することを特徴とする。
本発明によれば、色滲みと色つき被写体を正確に判別可能な画像処理装置および画像処理プログラムを提供することができる。
本発明の実施形態に係る撮像装置の一例であるデジタルカメラのブロック図である。 カラーフィルタの色配列の一例を示す図である。 色滲み補正処理を示すフローチャートである。 プレーンの生成方法の一例の説明図である。 ローパスフィルタを示す図である。 エッジ方向の決定方法の説明図である。 エッジ検出用ラインデータを示す図である。 エッジ検出処理の一例の説明図である。 エッジ検出用フィルタを示す図である。 エッジ領域のラインプロファイルを示す図である。 信頼度算出処理を示すフローチャートである。 被写体における仮の信号の一例を示す図である。 PSFの一例を示す図である。 色滲みモデルのラインプロファイルを示す図である。 フィッティングの一例を示す図である。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は、本発明の実施形態に係る撮像装置の一例であるデジタルカメラ100のブロック図である。
撮像レンズ101は、ズームレンズやフォーカスレンズを含むレンズ群である。絞り102は、撮像レンズ101からの入射光量を調節する。撮像レンズ101および絞り102は、撮像光学系を構成する。撮像光学系は、デジタルカメラ100のカメラ本体と一体的に構成されていてもよいし、カメラ本体に着脱可能に取り付けられていてもよい。
撮像部103は、撮像レンズ101からの入射光を電気信号に変換するCMOSセンサー等の撮像素子と、撮像素子から出力されるアナログ信号をデジタル信号に変換するA/D変換器と、を備える。撮像素子の前には、入射光をR,G,Bの色成分に分離して結像するカラーフィルタが取り付けられている。本実施形態では、カラーフィルタの色配列は、図2に示されるベイヤー配列である。
画像処理部(画像処理装置)200は、WB処理部104、倍率色収差補正部105、色滲み補正部106、光学情報記憶部(記憶部)107および現像処理部108を有し、撮像部103により生成された撮影画像に対して各種の画像処理を行う。画像処理部200は、本実施形態では、デジタルカメラ100内に設けられているが、デジタルカメラ100とは別の装置として設けられてもよい。
WB処理部104は、撮像部103から出力された画像データに対して、色信号別に光源の色温度に応じたゲイン値を乗算するホワイトバランス処理を行う。
倍率色収差補正部105は、ホワイトバランス処理が施された画像データに対して、倍率色収差による色信号間の位置ずれを補正する処理を行う。
色滲み補正部106は、倍率色収差補正処理が施された画像データに対して、色滲み領域を検出し、検出した色滲み領域に対する補正処理(色滲み補正処理)を行う。色滲み補正部106は、色滲み領域を検出する際に、光学情報記憶部107から色滲み領域を検出するための光学情報を読み出す。光学情報記憶部107は、撮影条件や画像位置ごとに異なる光学情報を記憶する不揮発性メモリである。
現像処理部108は、色滲み補正処理が施された画像データに対して、ノイズ低減処理やエッジ強調処理等の現像処理を行う。
外部メモリ109は、現像処理部108により現像処理が施された画像データを保存する。
以下、図3を参照して、色滲み補正部106により実行される色滲み補正処理について説明する。図3は、色滲み補正処理を示すフローチャートである。色滲み補正部106は、ソフトウエアおよびハードウエア上で動作する画像処理プログラムにしたがって色滲み補正処理を実行する。画像処理プログラムは、例えば、画像処理部200内に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。
ステップS301では、色滲み補正部106は、画像データを変換して色滲み領域を検出するための参照データとなるR,G,Bそれぞれの光のプレーンを生成する。図4を参照して、R,G,Bプレーンの生成方法の一例について説明する。図4は、R,G,Bプレーンの生成方法の一例の説明図である。色滲み補正部106は、まず、図4(a)に示される画像データのB信号以外の信号の信号値をゼロに置き換える。続いて、色滲み補正部106は、図4(b)に示される置換後の画像データに対して、図5に示されるローパスフィルタ(LPF)を用いて補間処理を行うことで、図4(c)に示される全ての画素位置でB信号が敷き詰められた画像データ(Bプレーン)を生成する。色滲み補正部106は、同様の方法を用いて、GプレーンおよびRプレーンを生成する。
ステップS302では、色滲み補正部106は、着目画素を基準として色滲みが検出される方向(エッジ方向)を決定する。具体的には、色滲み補正部106は、図6で中央に配置された着目画素のB信号の信号値(画素値)B(X,Y)と周辺の8つの画素のB信号の各信号値との差分D0〜D7を算出し、着目画素から差分が最も大きくなる画素に向かう方向をエッジ方向として決定する。
ステップS303では、色滲み補正部106は、まず、ステップS302で決定されたエッジ方向(d0〜d7)に応じて、図7に示される着目画素を含む1次元のデータをR,G,Bそれぞれのプレーンから読み出す。続いて、色滲み補正部106は、読み出したR,G,Bの1次元のデータごとに、信号値が所定の第1条件を満たすように減少する領域および信号値が所定の第2条件を満たすように増加する領域をエッジ領域として検出するエッジ検出処理を実行する。すなわち、本実施形態では、色滲み補正部106は、エッジ領域検出部(検出部)として機能する。
図8を参照して、エッジ検出処理の一例について説明する。図8は、エッジ検出処理の一例の説明図である。図8(a)は、Gプレーンからエッジ方向に沿って読み出した1次元のG信号配列(以降、Gラインデータという)を示している。色滲み補正部106は、まず、Gラインデータに対して、図9に示されるエッジ検出用フィルタを施し、図8(b)に示されるフィルタ出力を取得する。続いて、色滲み補正部106は、フィルタ出力値と、あらかじめ設定されたエッジレベル判定値(本実施形態では、300)とを比較することで、図8(c)に示される閾値判定出力を取得する。本実施形態では、色滲み補正部106は、フィルタ出力値がエッジレベル判定値より大きい場合、閾値判定出力値として1を出力し、フィルタ出力値がエッジレベル判定値の反転値より小さい場合、閾値出力値として−1を出力する。また、フィルタ出力値がエッジレベル判定値の反転値より大きく、エッジレベル判定値より小さい場合、閾値判定出力値として0を出力する。色滲み補正部106は、閾値判定出力値が2となる領域があらかじめ設定されたエッジ長さ判定値以上連続して存在する領域を立ち上がりエッジ領域として検出する。また、色滲み補正部106は、閾値判定出力値が2となる領域がエッジ長さ判定値以上連続して存在する領域を立ち下がりエッジ領域として検出する。エッジ長さ判定値を3とした場合、図8(c)に示されるように、色滲み補正部106は、画素位置3から6までの領域を立ち下がりエッジ領域として検出し、画素位置9から12までの領域を立ち上がりエッジ領域として検出する。色滲み補正部106は、BラインデータおよびRラインデータに対しても上記処理を実行する。
ステップS304では、色滲み補正部106は、R,G,Bそれぞれのラインデータでエッジ領域が検出されたかどうかを判定する。GラインデータおよびBラインデータでともにエッジ領域が検出された場合、ステップS305に進み、いずれか一方のエッジ領域が検出されなかった場合、次の着目画素に対してステップS302以降の処理を行う。
ステップS305では、色滲み補正部106は、ステップS304で検出されたエッジ領域において色滲みが発生しているか否かを示す評価値である信頼度を算出する。
図10(a)は、凹型のエッジ形状をもつ白、黒、白の白黒被写体を撮影した際に本来取得される、すなわち軸上色収差の影響を受けていないR,G,B信号の信号波形を示している。図10(b)は、白黒被写体の実際の撮影画像のエッジ領域におけるR,G,B信号の信号波形を示している。B信号は、本来図10(a)に示されるように、G信号およびR信号に沿った形状を有するが、実際には図10(b)に示されるように、色滲みが発生している領域では軸上色収差の影響でぼけて浮き上がるため、本来の黒領域には青い色滲みが発生する。
一方、被写体自体に色がついている場合、例えば、図10(c)に示されるように、白領域の間に青領域が存在する場合、実際の撮影画像におけるB信号は、図10(d)に示されるように、白黒被写体の実際の撮影画像の場合に比べてG信号からより乖離している。
色滲みを良好に補正するためには、軸上色収差による色滲みと被写体自体の色つきを判別して補正量を算出する必要がある。本ステップで算出される信頼度は、エッジ領域において軸上色収差による色滲みが発生しているかどうかを示す評価値であるとともに、色滲みと被写体自体の色つきを判別するための指標でもある。
ステップS306では、色滲み補正部106は、補正部として機能し、ステップS305で算出された信頼度に応じて色滲み補正を行う。色滲み補正とは、着目画素のB信号の信号値を信頼度に応じてG信号の信号値に近づける処理である。補正前の着目画素のB信号の信号値をB(X,Y)、G信号の信号値をG(X,Y)、信頼度をRelとすると、補正後の着目画素のB信号の信号値B’(X,Y)は、以下の式(1)で表される。
B’(X,Y)=M*Rel*G(X,Y)+(1−M*Rel)*B(X,Y) (1)
なお、係数Mは、色滲み補正の効果を調整する係数であり、0〜1の値をとる。
補正前の着目画素のB信号の信号値B(X,Y)を補正後の着目画素のB信号の信号値B’(X,Y)に置き換えることで、着目画素における色滲み補正が行われる。
ステップS307では、色滲み補正部106は、画素データの全ての画素に対してステップS302からステップS306までの処理が行われたかどうかを判定する。全ての画素に対して全ての処理が行われている場合、フローを終了し、行われていない場合、ステップS302に戻り、次の着目画素に対してステップS302以降の処理を行う。
色滲み補正部106が色滲み補正処理を行うことで、色滲みが補正された1画像分の画像データを取得することができる。
以下、図11を参照して、図3のステップS305の信頼度算出処理について説明する。図11は、信頼度算出処理を示すフローチャートである。
ステップS1101では、色滲み補正部106は、被写体が白黒(無彩色)であると仮定した場合の被写体における仮のB信号(基準信号)を算出する。すなわち、本実施形態では、色滲み補正部106は、推定部として機能する。本実施形態では、色滲み補正部106は、軸上色収差の影響が小さいG信号を用いて検出されたエッジ領域の座標位置を基準に被写体における仮のB信号を算出する。色滲み補正部106は、以下の式(2)を用いて被写体における仮のB信号OBJ(X)を算出する。
ここで、G(X)はG信号の信号値、X1は立ち下がりエッジ始点、X2は立ち下がりエッジ終点、X3は立ち上がりエッジ始点、X4は立ち上がりエッジ終点、M1,M2は閾値である。図12は、本実施形態で算出された仮の信号OBJ(X)を示している。本実施形態では、立ち下がりエッジ始点X1および立ち上がりエッジ始点X3が高輝度側エッジ端、立ち下がりエッジ終点および立ち上がりエッジ終点が低輝度側エッジ端である。
閾値M1,M2はそれぞれ、以下の式(3),(4)で表される。
M1=(G(X1)+G(X2))/2 (3)
M2=(G(X3)+G(X4))/2 (4)
ステップS1102では、色滲み補正部106は、ステップS1101で算出したB信号OBJ(X)および光学情報記憶部107から読み出した光学情報を用いて、被写体が無彩色である場合の撮影画像における仮のB信号(推定信号)B”(X)を推定する。光学情報とは、撮影画像中の各色成分についてのインパルス応答であり、被写体における信号(入力信号)が図13(a)のパルス信号である場合に撮影画像上に出力される図13(b)のボケ関数(点像分布関数)PSF(X)として表される信号(出力信号)である。
色滲み補正部106は、以下の式(5)で表される仮の信号OBJ(X)と光学情報記憶部107から読み出したPSF(X)との畳み込み積分演算で仮のB信号B”(X)を算出する。
B”(X)=OBJ(X)*PSF(X) (5)
算出された仮のB信号B”(X)は、図14に示されるように、エッジがなだらかにボケた形状となる。
ステップS1103では、色滲み補正部106は、信頼度算出部(算出部)として機能し、ステップS1102で算出した撮影画像における仮のB信号B”(X)と、実際の撮影画像におけるB信号B(X)との相関値に基づいて信頼度を算出する。色滲み補正部106は、まず、以下の式(6)に示されるように、仮のB信号B”(X)とB信号B(X)との差分絶対値和SADを相関値として算出する。
続いて、色滲み補正部106は、以下の式(7)を用いて、差分絶対値和SADに基づいて信頼度Relを算出する。
Rel=1−K*SAD/(Height*Width) (7)
ただし、信頼度Rel<0の場合はRel=0、Rel>1の場合はRel=1とする。また、Kは、信頼度算出の敏感度を調整するための係数で、0以上の値である。
B信号のエッジ長さWidthは、エッジ始点位置をXbs、エッジ終点位置をXbeとすると、以下の式(8)で表される。
Width=Xbe−Xbs (8)
B信号のエッジ高さHeightは、エッジ始点位置Xbsにおける信号値をB(Xbs)、エッジ終点位置Xbeにおける信号値をB(Xbe)とすると、以下の式(9)で表される。
Height_B=B(Xbs)−B(Xbe) (9)
図15は、フィッティングの一例を示している。図15(a)は被写体が無彩色の場合の仮のB信号B”(X)および実際のB信号B(X)のラインプロファイルを示している。図15(b)は、被写体が色つきである場合の仮のB信号B”(X)および実際のB信号B(X)のラインプロファイルを示している。
被写体が無彩色である場合、図15(a)に示されるように、仮のB信号B”(X)および実際のB信号B(X)の各画素位置での差分が小さくなるため、式(4)で算出される差分絶対値和SADは小さくなり、信頼度は1に近づく。一方、被写体が色つきである場合、図15(b)に示されるように、仮のB信号B”(X)および実際のB信号B(X)の各画素位置での差分は大きくなるため、式(4)で算出される差分絶対値和SADは大きくなり、信頼度は小さくなる。
以上説明したように、本発明は、色滲みと色付き被写体を正確に判別することが可能である。
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
101 撮像レンズ(光学系)
106 色滲み補正部(検出部、推定部、算出部)
200 画像処理部(画像処理装置)

Claims (6)

  1. 光学系を介した撮像により生成された複数の色成分を含む撮影画像に基づく第1の色成分の画像データから、前記第1の色成分の信号の値が所定の第1条件を満たすように減少する第1エッジ領域、および前記第1の色成分の信号の値が所定の第2条件を満たすように増加する第2エッジ領域、並びに前記画像データから、前記第1の色成分とは異なる第2の色成分の信号の値が前記所定の第1条件を満たすように減少する第3エッジ領域、および前記第2の色成分の信号の値が前記所定の第2条件を満たすように増加する第4エッジ領域を検出する検出部と、
    被写体が無彩色である場合に、前記第3および第4エッジ領域のそれぞれの高輝度側エッジ端および低輝度側エッジ端における前記第2の色成分の信号の値に基づいて、前記第1の色成分の基準信号を推定する推定部と、
    前記基準信号および前記光学系の光学情報に基づいて推定された推定信号と、前記第1および第2エッジ領域の前記第1の色成分の信号と、に基づいて、前記第1および第2エッジ領域において色滲みが発生しているかどうかを示す評価値である信頼度を算出する算出部と、を有することを特徴とする画像処理装置。
  2. 前記信頼度に基づいて、前記撮影画像に対して色滲み補正を行う補正部を更に有することを特徴とする請求項1に記載の画像処理装置。

  3. 前記光学系の光学情報は、前記光学系の点像分布関数に関する情報であることを特徴とする請求項1からのいずれか1項に記載の画像処理装置。
  4. 前記推定信号は、前記基準信号と前記光学情報との畳み込み結果であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記光学情報を記憶する記憶部を更に有することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6. 請求項1から5のいずれか1項に記載の画像処理装置の各工程をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2017136726A 2017-07-13 2017-07-13 画像処理装置および画像処理プログラム Pending JP2019022002A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017136726A JP2019022002A (ja) 2017-07-13 2017-07-13 画像処理装置および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136726A JP2019022002A (ja) 2017-07-13 2017-07-13 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2019022002A true JP2019022002A (ja) 2019-02-07

Family

ID=65354952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136726A Pending JP2019022002A (ja) 2017-07-13 2017-07-13 画像処理装置および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2019022002A (ja)

Similar Documents

Publication Publication Date Title
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
JP5198192B2 (ja) 映像復元装置および方法
US10636126B2 (en) Image processing device, imaging apparatus, image processing method, image processing program, and recording medium
US8482627B2 (en) Information processing apparatus and method
WO2011121760A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20180182075A1 (en) Image processing apparatus, image capturing apparatus, method of image processing, and storage medium
US20140184853A1 (en) Image processing apparatus, image processing method, and image processing program
US10482580B2 (en) Image processing apparatus, image processing method, and program
US20150161771A1 (en) Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium
US11080873B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2011160255A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2011160255A5 (ja)
JP2015207090A (ja) 画像処理装置、及びその制御方法
US10515442B2 (en) Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium
US10326951B2 (en) Image processing apparatus, image processing method, image capturing apparatus and image processing program
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9710897B2 (en) Image processing apparatus, image processing method, and recording medium
JP2019022002A (ja) 画像処理装置および画像処理プログラム
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP4321317B2 (ja) 電子カメラ、カメラシステムおよび電子カメラの黒点補正方法
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
US12125177B2 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium for use in mixed reality
JP2019022003A (ja) 画像処理装置および画像処理プログラム