[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6486076B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6486076B2
JP6486076B2 JP2014228488A JP2014228488A JP6486076B2 JP 6486076 B2 JP6486076 B2 JP 6486076B2 JP 2014228488 A JP2014228488 A JP 2014228488A JP 2014228488 A JP2014228488 A JP 2014228488A JP 6486076 B2 JP6486076 B2 JP 6486076B2
Authority
JP
Japan
Prior art keywords
correction
image
color
processing
color blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014228488A
Other languages
English (en)
Other versions
JP2016092742A (ja
Inventor
邦宏 白井
邦宏 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014228488A priority Critical patent/JP6486076B2/ja
Publication of JP2016092742A publication Critical patent/JP2016092742A/ja
Application granted granted Critical
Publication of JP6486076B2 publication Critical patent/JP6486076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置及びその制御方法に関し、特に画像回復処理を用いた画像の補正に関するものである。
情報のデジタル化に伴い、画像を信号値として扱えることで撮像画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に、本来であれば被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、広がりをもって像を結んでいるものを指している。光学的には点像分布関数(PSF)と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、あるいは、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。
画像のぼけ成分の劣化を補正する方法として、撮像光学系の光学伝達関数(OTF)の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系の光学伝達関数(OTF)の情報を用いて画像の劣化を補正する処理を画像回復処理と記すことにする。
画像回復処理の概要を示す。劣化した画像をg(x,y)、もとの画像をf(x,y)、前記光学伝達関数のフーリエペアである点像分布関数(PSF)をh(x,y)としたとき、以下の式1が成り立つ。ただし、*はコンボリューションを示し、(x,y)は画像上の座標を示す。
g(x,y)=h(x,y)*f(x,y) ・・・(式1)
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式2のように周波数ごとの積の形式になる。Hは点像分布関数(PSF)をフーリエ変換したものであるので光学伝達関数(OTF)である。(u,v)は2次元周波数面での座標、即ち周波数を示す。
G(u,v)=H(u,v)・F(u,v) ・・・(式2)
撮像された劣化画像からもとの画像を得るためには、以下の式3のように両辺をHで除算すればよい。
G(u,v)/H(u,v)=F(u,v) ・・・(式3)
このF(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)が回復像として得られる。
ここで、H−1を逆フーリエ変換したものをRとすると、以下の式4のように実面での画像に対するコンボリューション処理を行うことで元の画像を得ることができる。
g(x,y)*R(x,y)=f(x,y) ・・・(式4)
このR(x,y)を画像回復フィルタと呼ぶ。実際の画像にはノイズ成分があるため上記のように光学伝達関数(OTF)の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については例えばウィーナーフィルタのように、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。
ここで、ズーム位置の状態や絞り径の状態等の撮像状態に応じて光学伝達関数(OTF)が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
上記フィルタをカラー画像に対して、それぞれの色に対応する画像回復フィルタを作成し撮像画像に適用することにより、画像における光学系に起因する色のにじみを補正することが可能となる。ただし、実際の撮像画像の色ずれと補正に使用するOTFが異なった場合、色にじみが過補正になる場合や補正しきれない場合があると言うような現象が発生する可能性がある。
特許文献1には、上述のような光学伝達関数を用いた倍率色収差の補正方法が記載されている。画像回復処理後の画像のエッジの色ずれから倍率色収差補正成分を検出して補正を行う。こうすることによって、回復レベルによって画像のエッジ部の先鋭度が色成分ごとに変化したことで色ずれ量が変動した場合であっても、好適な量の倍率色収差の補正が可能となる。
特許文献2には、被写体のピントがずれた場合に合焦面の画像回復フィルタで補正してしまうと正しい補正ができないため、予めデフォーカス時の回復フィルタを所持しておくことが開示されている。ピントがずれた画像の領域にピントのずれ量に応じた色ごとの回復フィルタを適用することにより、色にじみを高精度に補正することができる。
一方、カラー画像における色にじみを抑圧する方法として、上述のOTFのような光学情報を用いることなくカラー画像から色にじみ領域を算出し補正するといった手段も提供されている。この方法は飽和部のような色にじみが目立つ領域において、カラー画像からにじみ成分を抑圧することにより色にじみを適応的に補正するという手段である。ただし、多くの場合は誤判定による過補正を嫌うため、補正する色相(例えば紫色)や補正箇所(例えば飽和画素近傍)を限定して補正処理を行っている。特許文献3には、画像の飽和領域を示す白とびマップと予め記録しておいた色収差の補正量に関する色収差モデルから算出した色収差マップを比較する構成が開示されている。この比較結果に基づいて、白とびした領域の近傍画素の紫色の部分を色収差とみなし、彩度低減のような補正処理を行うことが記載されている。
特開2010−086138号公報 特開2011−211669号公報 特開2007−133591号公報
上述の特許文献1に開示された従来技術を用いれば、画像回復処理に程度のよらず残留倍率色収差を高精度に検出し補正することは可能である。しかし色収差の倍率色収差以外の要素である軸上色収差、色の球面収差、色のコマ収差等に対しては検出の対象外になり正しく補正することができないことがある。さらに被写体のぼけにより発生する軸上に発生するにじみに対しては補正することについては開示がない。
また特許文献2に開示された従来技術では、理想的にはデフォーカス領域で発生する色にじみも補正することは可能だが、撮像条件ごとのデフォーカス情報を画像回復フィルタとして所持しなければならないため、組合せが膨大な数になり現実的ではない。また、撮像レンズが製造ばらつきや経年変化による光学特性の変化があった場合、補正値と異なる特性で撮像されてしまう可能性がある。
さらに特許文献3に開示された従来技術では、色にじみの補正は可能ではあるが、補正対象領域が白とび近傍であることや対象補正色が限定されてしまう。また上述の画像回復処理を行った後に、この適用的な色にじみ処理を行った場合には、デフォーカス時の色にじみは抑圧できる可能性はある。しかしながら、すでに適切に色にじみが抑圧されている可能性が高い撮像画像の合焦領域においては、被写体の色を消してしまうという弊害リスクが相対的に高まってしまう。
そこで本発明の目的は、上述の画像回復処理時における残存色にじみを好適に補正する画像処理装置を提供することを目的とする。
上記課題を解決するため、本発明は、撮像光学系を介して入射した被写体像を撮像素子によって電気信号に変換されることにより生成された画像データを取得する取得手段と、前記画像データに対して、前記画像データが生成されたときの前記撮像光学系の光学伝達関数に応じたフィルタを用いて第1の補正処理を行う回復処理手段と、前記回復処理手段によって収差が補正された画像データに対して、色にじみを抑制するための第2の補正処理を行う色にじみ補正手段と、前記回復処理手段による前記第1の補正処理の補正レベルの調整の設定が可能な設定手段を有し、前記色にじみ補正手段は、前記回復処理手段による前記第1の補正処理の補正レベルの最大値と、前記設定手段によって設定されて実際に適用された補正レベルの値の比較結果に基づいて、前記第2の補正処理における補正レベルを設定することを特徴とする画像処理装置を提供する。
本発明によれば、画像回復処理時における残存色にじみを好適に補正することが可能となる。
本発明の実施形態にかかる撮像装置の構成図である。 本発明の第一の実施形態にかかる画像回復処理のオン/オフに応じた色にじみ補正処理のフロー図である。 本発明の第一の実施形態にかかる画像回復処理のフロー図である。 本発明の第一の実施形態にかかる画像回復フィルタを説明するための図である。 本発明の第一の実施形態にかかるレンズの光学特性と回復ゲインの関係を説明するための図である。 本発明の第一の実施形態にかかる領域毎の色にじみの違いが発生するケースを説明するための図である。 本発明の第一の実施形態にかかるデフォーカス量に応じた色成分毎のMTFの変動を示すグラフである。 本発明の第一の実施形態にかかる色にじみパラメータの算出方法のフロー図である。 本発明の第一の実施形態にかかる位相差検出画素から撮像距離を算出する方法を説明するための図である。 本発明の第一の実施形態にかかるデフォーカス領域の範囲を説明するための図である。 本発明の第一の実施形態にかかるデフォーカス量に応じた色にじみ補正量の変化を示すグラフである。 本発明の第一の実施形態にかかる回復ゲインに応じた色にじみ補正量を算出するフロー図である。 本発明の第一の実施形態にかかる回復ゲインに応じた色にじみ補正量を算出するテーブルの一例を示す図である。 本発明の第一の実施形態にかかる色にじみ判別表の一例を示す図である。 本発明の第一の実施形態にかかる画像からにじみを検出する色にじみ補正処理のフロー図である。 本発明の第二の実施形態にかかるアプリケーションのユーザーインターフェースの一例を示す図である。 本発明の第二の実施形態にかかる色にじみ補正処理のフロー図である。 本発明の第二の実施形態にかかる色にじみパラメータ算出のフロー図である。 本発明の第二の実施形態にかかる色にじみパラメータ算出のフロー図である。 本発明の第二の実施形態にかかる色にじみパラメータ算出のフロー図である。
(第1の実施形態)
以下、本発明の画像処理方法を用いた撮像装置の具体的な実施の形態について図面を用いて説明する。
図1は本発明の撮像装置の基本構成の一例を示している。不図示の被写体像が撮像光学系101を介して撮像素子102に入射し、電気信号に変換される。撮像素子102から出力された電気信号はA/Dコンバータ103でデジタル信号の画像データに変換され、画像処理部104に入力される。画像処理部104は所定の処理と併せて画像回復処理を行う。まず、画像処理部104は状態検知部107から撮像装置の撮像状態の情報を得る。状態検知部107はシステムコントローラ110から撮像状態の情報を得ても良いし、撮像光学系に関する撮像状態の情報を撮像光学系制御部106から得るようにしてもよい。次に画像処理部104は撮像状態に応じた画像回復フィルタを記憶部108から選択し、画像処理部104に入力された画像に対して画像回復処理を行う。この画像回復処理は撮像光学系101がどのような特性であるかの情報を記憶部108に記録しておく必要がある。
レンズ交換式の撮像装置の場合は、記憶部108に光学特性が記録されていないレンズが装着される可能性があるため、ユーザーが必要に応じて、画像回復処理を無効にできるユーザーインターフェースを撮像装置が備えることが好ましい。また、画像回復処理によって高周波成分に多く含まれるノイズも増大されることがあるため、ユーザーが必要に応じて、画像回復処理による補正レベルを任意に調整できるユーザーインターフェースを撮像装置が備えることが好ましい。
図2は、画像回復処理のオン/オフに応じた色にじみ補正処理のフロー図である。この図2を用いて本発明の色にじみ補正処理の全体のフローについて説明を行い、各ブロックの詳細についてはそれぞれ後述する。なお、以下の説明では、「ステップ」を「S」として表記する。例えば、ステップ101であれば、S101と表記する。
ユーザーが上述の撮像装置を用いて撮像動作に入った後、撮像装置はユーザーがインターフェース上で画像回復処理をオン(有効)にしたかオフ(無効)にしたかを判断する(S201)。ここで画像回復処理がオフに設定されていた場合は、光学特性情報を取得しない(できない)場合であっても、一定の効果があり、かつ弊害発生リスクが少ない汎用的な予め定められた抑圧量で色にじみ補正処理を行うようにパラメータを設定する(S202)。この色にじみ補正処理のパラメータとしては、撮像光学系101に起因して紫近辺の色相の色にじみが発生し易いので、この色相を抑圧するような設定とすることが好ましい。
一方、画像回復処理がオンだった場合は、画像回復処理で参照する光学特性に応じた色にじみ補正パラメータを設定することが可能となる。まずS202において、撮像時の条件を取得する。撮像の度に撮像光学系101の状態が変化することが想定されるため、撮像の度に画像回復処理を適用する画像が撮像された時の条件を、撮像光学系制御部106を介して取得する(S203)。次にS203で取得した条件に応じて画像回復処理を行う(S204)。この処理の詳細は別途後述する。次にS205においてS204の画像回復処理で適用した画像回復ゲインを取得する。画像回復処理は常に十分な回復が行われる訳ではなく、システム要件や画質要件によって十分な回復が行われない可能性があるため、実際の設計値に対してどの程度回復処理が行われたかを示す指標のために回復ゲインを取得する。同時に、十分な回復を行うためにはどの程度のゲインが必要であったかも取得しておく。次にS206において、S204で画像回復処理が行われた画像に対し、さらに被写体の領域毎の距離情報やレンズのデフォーカス時の色にじみ情報を用いて色にじみパラメータを算出する。この処理の詳細についても別途詳細に説明する。そしてS206で算出された値をシステムコントローラ110上にセットする(S207)。最後にS202またはS207でセットされたパラメータを元に画像処理部104上で色にじみ補正処理を実行する(S208)ことにより色にじみが抑圧された画像を取得することができる。全体の処理としては以上の流れとなる。以降S204、S206およびS208の処理の詳細について説明を行う。
図3は画像処理部104によるS204の画像回復処理に関するフロー図である。まず、状態検知部107から実際の撮像状態の情報を取得する(S301)。撮像状態とは、例えばズーム位置、絞り径、被写体距離等の撮像条件に加えて、撮像装置のLPF特性や画素ピッチ等も含まれる。
次に、実際の撮像状態の光学系に適した光学伝達関数(OTF)データを図1の記憶部108から選択する(S302)。このとき、選択する光学伝達関数(OTF)データは、予め記憶している光学伝達関数(OTF)データのうちS301で取得した撮像条件に最も近いデータである。あるいは、記憶している光学伝達関数(OTF)データのうち、取得した撮像条件に近い複数のものから補間して生成した光学伝達関数(OTF)データとしても良い。またこの光学伝達関数(OTF)データは像高方向においても異なる特性をもっていることが普通である。つまり光学伝達関数(OTF)データを像高毎に計算する必要がある。また、レンズ交換式の撮像装置であれば、レンズごとに光学特性が異なるため、装着されたレンズごとにOTFデータを取得する必要がある。
図4(a)は光学中心を中心に撮像画面の1/4の領域を水平方向に7分割、かつ、垂直方向に5分割した場合の例を示す図である。この場合、それぞれの領域において光学特性が異なるため、それぞれの領域に対して光学伝達関数(OTF)データを求める必要がある。画面の1/4とした理由は、一般的に撮像レンズは画像中心に対して対称の光学特性を持つ場合が多いためである。図4(a)のように画像の1/4に対する領域に対してだけ所持すれば、他の領域に対して中心に対称に展開すれば全領域の光学伝達関数(OTF)データを算出することが可能になる。それぞれの領域は401〜403のように座標を指定して区別できるようにする。もちろん記録領域に余裕がある場合や、光学系の対称性が低い場合には全面の光学伝達関数(OTF)データを所持しても良い。あるいは、記録領域を削減するために、像高ごとに光学伝達関数(OTF)データを割り当てるようにしてもよい。ここで算出した各領域の光学伝達関数(OTF)データを領域毎に記憶部108に一時的に記録しておく。
次に、S302で求めた光学伝達関数(OTF)データから画像回復フィルタを算出する。この画像回復フィルタは、S302で求めた撮像光学系の光学伝達関数(OTF)の逆関数を逆フーリエ変換して得ることができる。一般的には、ノイズの影響を考慮する必要があるため、ウィーナーフィルタを用いる。さらに、光学伝達関数(OTF)は撮像レンズの撮像光学系のみならず、画像処理部104に入力される画像に対して光学伝達関数(OTF)を劣化させるすべての要因を含めることができる。例えば、ローパスフィルタは光学伝達関数(OTF)の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性も、光学伝達関数(OTF)に影響を与える要因として挙げられる。これらを含めた広義の光学伝達関数(OTF)に基づいて、画像回復フィルタを作成することが望ましい。また撮像光学系には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとにフィルタ形状が若干異なる。画像回復フィルタの縦横のタップ数に関しても、正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。
図4(b)は画像回復フィルタを説明するための模式図である。画像回復フィルタは撮像光学系の収差量に応じてタップ数を決めることができ、本実施形態では11×11タップの2次元フィルタとしている。フィルタの各タップが画像の1画素に対応し、コンボリューション処理を行うことによって画像回復処理を実現する。このタップ数はシステムの都合上、有限の値しか取れないが、タップ数が少ないと十分な回復処理が行えなくなる可能性がある。
図4(b)では各タップ内の値を省略しているが、図4(c)にこのフィルタに含まれる1つラインの各タップが取り得る係数の例を示す。この画像回復フィルタの作成法については上記のように撮像光学系の光学伝達関数(OTF)を計算若しくは計測し、その逆関数を逆フーリエ変換して得ることができる。
図4(b)のように画像回復フィルタを100以上に分割した2次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。
図2のS205の説明でも軽く触れたが、様々な制約により、理想の回復レベルを有する画像回復フィルタを生成することは容易ではない。その理由を図5を用いて説明する。図5(a)はあるレンズの空間周波数に対するMTF応答を示す図である。例えば図5(a)に示すような光学特性、つまり低周波側の広い帯域でMTFの応答が0に落ちているような光学特性を持つレンズの場合、撮像画像に高域の信号がほとんど存在しない。そのため、回復レベルの高い画像回復処理を行うと、補正ゲインが高くなるため、ノイズが支配的な高周波帯域に含まれる信号が強調されたり、エッジの淵が黒く沈んだりと、画像回復処理の効果よりも弊害が目立つ場合がある。このような光学特性を持つ領域に関しては、画像回復処理の回復レベルをかなり抑えたり、画像回復処理を行わないといった対策が必要である。このような光学特性を持つレンズは、一般的に安価なレンズで発生することが多く、高倍率のズームレンズの画像周辺部でも同様の光学特性となることが多い。
図5(b)は回復レベルが高い理想の回復ゲインと、実際に設定される回復ゲインの違いを説明するための図である。回復レベルが高い、撮像光学系の設計データに基づく理想の回復ゲイン01に対し、上述した理由により、最大値を弱めた回復ゲイン02しか設定できないケースが発生する。このような場合、画像回復処理が十分には行えず、補正残りが多く発生してしまう。当然、色毎に補正残りが発生するので、色収差も補正されずに残ってしまう。図2のS205の回復ゲイン取得処理は、理想の補正ゲイン(以後、最大ゲインと呼ぶ)と実際に補正を行ったゲイン(以後、補正ゲインと呼ぶ)を取得することを示している。
図3のフローに戻ってS304のステップについて説明する。本実施形態の画像回復フィルタは、倍率色収差の平行移動成分が除去されたフィルタとなっている。換言すると、この画像回復フィルタは、収差の非対称性及び広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しないフィルタとなっている。このようなフィルタを用いる理由としては、倍率色収差の移動成分に関しては別の方法で補正することにより、画像回復フィルタの必要タップ数を軽減できるメリットがあるためである。このためS304では、画像回復処理とは別に、従来の手法を用いて倍率色収差補正を行っている。もちろんタップ数に余裕がある場合やシステム処理に余裕がある場合は、画像回復フィルタに倍率色収差成分を加味してもよい。その場合はS304の処理は不要となる。
最後にS305においてS303で算出した画像回復フィルタを用いて、撮像された入力画像に対して、コンボリューション処理を行うことで画像回復処理を実現する。これにより撮像光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。前述したようにRGBの色成分ごとに適した画像回復フィルタを用いることで、色収差も補正することができる。ただし図5で示したような光学特性の場合は、ある程度色収差は残存してしまう。さらに上記フィルタは一般的に撮像光学系101が被写体に合焦した場合の光学系の特性を用いてフィルタ生成を行っているため、合焦していない被写体(背景や奥行のある被写体)に対しては適切な補正にならず、色収差を完全に除去することできない。その理由を図6を用いて説明を行う。
図6は撮像した画像の一例であり、被写体として、3人の人物(01、02、03)と、その背景に建物(04)が写っている。このとき、3人の人物は、手前から人物02、人物01、人物03の順に位置しており、撮像者は人物01にピントを合わせて撮像したとする。この画像データに対し、画像回復処理を行った場合、人物01に発生しているぼけと色にじみは適切に補正されているが、人物02と人物03、さらに建物04に発生しているぼけと色にじみは適切な補正がされない可能性がある。この場合の色にじみについて図7を用いて説明を行う。
図7はデフォーカス量に応じた色成分毎のMTFの変動を示すグラフである。縦軸に代表的な空間周波数のMTF値、横軸に距離(デフォーカス量)を設定し、この軸上に曲線01、02および03を示している。曲線01がR(波長600nm付近の光線)のMTF特性を、曲線02がG(波長530nm付近の光線)のMTF特性を、曲線03がB(波長470nm付近の光線)のMTF特性を表している。横軸の真ん中にあるインフォーカスは合焦面であり、図6でいうところの人物01における結像状態のMTFの強さと言える。この状態ではRGBそれぞれのMTFは高い値を示しており、コントラストも高く、にじみも少ない状態であることが確認できる。人物02、人物03および建物04に対しても、この人物01に適した回復フィルタが適用されることになる。人物02は人物01よりもやや距離が短く(前ピン相当)、人物03と建物04は人物01よりも距離が長い(後ピン相当)ため、人物01と同じ結像にはならない。具体的には人物02は図7の鎖線04の位置、人物03は鎖線05の位置、建物04は鎖線06の位置で結像することになる。このとき、鎖線04の位置ではRGに比べて、BのMTFが低いため、画像上では青いにじみが発生する。さらに鎖線05の位置では、逆にBのMTFに対し、RGのMTFが低いため、黄色っぽいにじみが発生する。これら鎖線04および05の位置ではGのMTFがそれなりに残っているため、エッジも比較的コントラストが高くなる。そのため、にじみも比較的明瞭に見えてしまい、画像として好ましくない状態になってしまう。このような状態の領域のことを以後小アウトフォーカス領域と呼ぶことにする。一方、鎖線06の位置はRGBのMTFすべてが低いため、画像としてはボケの程度が高い状態にある。この領域は多少色にじみが発生していたとしても、人間の視覚上重要ではない領域として処理されることが多い。
次に、図2のS206の色にじみパラメータ算出の方法について、図8を用いて説明を行う。図8は色にじみパラメータを算出するためのフローチャートである。図4(a)で示したように、一般的に光学系は画像の領域ごとに異なる特性を所持することが多いので領域ごとに以下の処理を行うことが望ましいが、今回は説明を簡略化するため、一つの領域における処理について記載する。
まず、該当領域の被写体距離情報を算出する(S801)。これは図7を用いて説明したように被写体によって撮像距離が異なると発生する色にじみも異なるため、領域ごとにその撮像距離を取得する必要がある。領域内に複数被写体が写りこんでいる場合は代表的な被写体の距離を算出してあげればよい。領域毎の被写体距離の算出方法の一例として、撮像面に配列された位相差検出画素を用いた方法を説明する。この画素は主にオートフォーカス(AF)のために使用される画素である。撮像面上にこのような位相差検出画素を埋め込むことによって外部にAFセンサを積まなくて良いため、近年撮像面上に配置されていることが多い。
図9は、位相差検出画素から撮像距離を算出する方法を説明するための図である。撮像光学系1201は図1の撮像光学系101と等価である。光学系1202は撮像素子102の前に配置され、位相差検出用に最適な構成をしている。また受光部1203は位相差を測定するため、受光素子AとBによって振り分けられた光を受光する。図9(a)は合焦時の光線図を示しており受光素子A、Bには位相ずれのない信号が入力される。逆にこのとき、ここで撮像されている被写体は合焦状態にあると判定できる。一方、図9(b)は被写体に対して前ピンになっている状況を示している光線図である。このとき受光素子Aと受光素子Bの信号の位相は図のようにずれており、ここから前ピンであることが判定できる。さらにこの位相のズレ量を検出することにより、この時撮像されている被写体がどの程度合焦時からずれているかを測定することが可能となる。図9(c)に関しては図9(b)と逆方向にずれたときを示す図であり、同様に撮像され被写体合焦位置からのズレの方向と大きさを検出することが可能となる。ここでは位相差を検出できる撮像装置を用いて被写体距離を検出する方法を示したが、検出する方法はこの限りではなく、例えば別途、被写体距離を測定する測距センサが備わっている場合はその値を用いてもよい。
次にS802において、撮像画像ごとにインフォーカス領域、小アウトフォーカス領域、およびアウトフォーカス領域の幅を決定する必要がある。ここでインフォーカス領域はいわゆる合焦領域を示し、小アウトフォーカスは前述した合焦領域ではないが色にじみが目立つ領域、アウトフォーカス領域は小アウトフォーカス領域よりさらにぼけの多い領域のことを示す。このことを図10に示す。
図10はデフォーカス領域の範囲を説明するための図である。図10は主被写体の位置を真ん中にとり、そこを合焦位置として原点とする。原点から右側が無限遠側の距離であり、左側が撮像者側の距離として座標を設定する。Dは撮像者側における小アウトフォーカス領域の端部であり、DN’は撮像者側における合焦領域の端部を示す。Dは撮像者側における小アウトフォーカス領域の端部であり、DF’は撮像者側における合焦領域の端部を示す。つまりDN’およびDF’で規定される領域が合焦領域、DおよびDN’で規定される領域とDおよびDF’で規定される領域が、それぞれ小アウトフォーカス領域として定義することができる。これらの値は、どこまでのズレをピントが合焦していると判断するかとう指標になるため、焦点距離や絞りなどの撮像条件によって可変にすることが好ましい。その計算方法の一例を以下に示す。
一般的に任意の距離の被写体に焦点を合わせたときの被写界深度の前端と後端は下記の式5および式6で近似される。
ここでDnは被写界深度の前端を示し、Dfは被写界深度の後端を示す。さらにHは過焦点距離、fは焦点距離、sは被写体距離を示す。
さらに過焦点距離Hは以下の式で近似される。
ここでdは許容錯乱円の直径、Fnoは撮像時のF値を示す。つまり、合焦領域としての許容錯乱円の直径と、小アウトフォーカス領域としての許容錯乱円の直径を定義することによって、撮像条件からD、DN’、DおよびDF’を算出することが可能となる。
次にS801とS802で求めた情報からそれぞれの領域の色にじみの抑圧量を決定する(S803)。抑圧量の設定方法算出の一例として領域が前ピンと判定された場合について説明する。
図11は横軸にデフォーカス量、縦軸に色にじみの抑圧量をとったグラフになっている。このグラフを撮像条件ごとに作成することにより、たとえばS801で算出された当該領域のデフォーカス量がDだった場合、色にじみ補正の抑圧量はRと決定することができる。このグラフを作成するにあたりパラメータD、DN’、RaおよびRbが必要となる。DおよびDN’に関してはS802で算出した値を用いればよい。一方、Raは抑圧する最大量としての値なので、撮像系のシステムの性能を考慮して設計者が予め決めた値を設定しておけばよい。つまり、撮像毎に変更する必要はない。Rbはデフォーカス量が0からDN’までの場合、つまり合焦領域と判定された場合に設定する抑圧量である。この領域は合焦領域であるためS305の画像回復処理において色にじみが良好に補正されている可能性が高い。よって基本的には被写体色を消してしまうという弊害を避けるため、抑圧量は少なくすることが好ましい。ただし図5を用いて説明したように、場合によっては、合焦面とは言え十分に補正がなされていない場合がある。
そこで、Rbに関しては図12に示すプロセスにより決定することが好ましい。まず該当領域における最大ゲインと補正ゲインを取得する(S1201)。この値は前述したようにそれぞれ図2のS205で取得可能な値である。次にS1201で取得した最大ゲインと補正ゲインの比較結果と、図13に示すテーブルを用いて、最大抑圧量Raからの弱め割合Pを算出する。図13は横軸にS1201で取得した補正ゲインと最大ゲインの比をとったもの、縦軸はRaに対する弱め量(%)を示す。Pminは弱め量の最小値で設計者が規定しておく値、αthは弱め量を落とし始める値であって、こちらも設計者が事前に決めておく値である。弱め量が100%ということは、最大抑圧量Raをそのまま用いるということである。補正ゲインが最大ゲインの値に近づくほど、抑圧量が小さくなるように弱め量を設定する。当然補正ゲインが最大ゲインを超えることはないので横軸の最大値は1である。このテーブルの利用例として、例えばS1201で取得した補正ゲインと最大ゲインの比がαだった場合、弱め割合はPとなる(S1202)。つまり、図11のRbの値はRa*Pで算出することができる(S1203)。これで図11のパラメータはすべて決定できたので、それぞれ値を代入し、図8のS801で求めたデフォーカス量を元に、図11のテーブルを参照し該当領域の最終的なにじみ抑圧量Rを算出する。
S801〜S803で領域毎に色にじみ補正の抑圧量が決定したので、次に抑圧対象とする色相を決定する(S804)。図7で示したように、合焦位置からずれた位置での色にじみの特性は撮像光学系101の状態によって変化する。よってデフォーカス時の色にじみの特性を予め記憶部108に記録しておく必要がある。ただし、画像回復データのようにRGBの各色のOTFデータをデフォーカス量毎に所持するとなると莫大なメモリと演算が発生するので現実的ではない。
ここでは図14に示すようなテーブルを前ピンと後ビン状態でそれぞれ所持することにより簡易的にそれぞれの状態の色にじみ特性を記録することとする。図14は焦点距離と撮像距離のマトリックス型のテーブルになっている。撮像光学系がズームレンズの場合、WideからTeleまでを4つの領域(Lmn1〜Lmn4)に分解し、さらにピント位置(被写体距離に相当)を至近から無限を4つの領域(Оbj1〜Оbj4)に分解している。そして、それぞれの光学特性において前ピン状態の被写体に対してどのようなにじみが発生しているかを示している。例えばWideの至近で撮像された画像で前ピンになっている被写体はB(青)ににじむということを示している。このテーブルを所持することにより、色にじみ補正を限定した色相で高精度に抑圧することが可能となる。なお、ここでは分りやすいようにB(青)とかCy(シアン)と記載しているが、実際に記憶する場合は、例えばBを「3」、Cyを「4」と数値に置き換えて記録することが好ましい。さらに言うと色相(Bなら240°Cyなら180°)などと記録しておいてもよい。そうすることにより、たとえばBとCyの間に撮像条件がきた場合も補間演算で対象色相を出すことができ、領域毎のキリムラ等の懸念を低減することができる。
S804でデフォーカス時の色にじみの色相が分かったので、次に対象領域がインフォーカス領域にいるのかアウトフォーカス領域(小アウトフォーカス領域とアウトフォーカス領域)にいるのかを判定する。そして、その結果に応じて、補正対象の色相を設定する。ここで合焦領域の色にじみの設定だが、これは画像回復用のOTF情報に同等の情報が含まれるのでその値を抜き出しても良い。あるいは、合焦領域は基本的ににじみも回復されており、抑圧量も少ないのでデフォルトの色相(画像回復処理がオフの場合に設定している色相)を設定しておいても良い。以上で色にじみパラメータ(補正対象色相と色にじみ補正量)の設定が完了する。
最後にS202またはS207で得られた値に基づいて、画像からにじみを検出して、にじみを適応的に低減する色にじみ補正処理を行う。色にじみ補正処理の一例を図15を用いて説明する。図15は画像からにじみを検出する色にじみ補正処理のフロー図である。色にじみ補正処理では色プレーン(R,G,Bプレーン)のうちR,Bプレーンを色にじみ補正対象とし、基準プレーンとしてGプレーンを用いる。ただし、補正対象の色相がGだった場合は、基準プレーンをRとBの平均値にしてGプレーンを補正するといように変更する必要がある。ここでは一般的な場合としてR、Bプレーンを色にじみ補正対象の場合に対して説明する。基本的な補正の概念としてはエッジ部のGプレーンのにじみ量に対してRまたはBのにじみ量を判定し、それぞれのにじみ量がGに対して多い場合は、Gのにじみ量にそろえることにより色にじみを抑圧するという手法の処理である。
まずS1501において入力画像のエッジを検出する。これはにじみの現象は画像のエッジ部に表れるためである。次にS1502において、S1501で検出されたエッジ部において、色にじみが存在するかどうかを検出する。検出方法は様々な手法があるが、一般的な方法として、Gのエッジの勾配とRまたはBの勾配を比較して、Gに対してRまたはBがどの程度にじんでいるかを判定する手法である。ここでいう勾配とは隣接画素との差分を言う。算出した色にじみ情報は、エッジの方向、色にじみの色、色にじみ量として持つ。検出の方法としてはその他にもエッジ部周辺の色相を算出し色にじみを検出する方法などがあるが、ここで色にじみの検出手法は特に限定しない。次にS1502で検出された色にじみが光学起因により発生したものか、被写体色によるものかを判定する。S1502での検出時には光学起因による色にじみだけでなく、色つきの光源の周辺部のような被写体色のにじみも含まれることが多い。よってS1503は該当画素に対して、S202やS207で設定された補正対象色相と比較を行い、画像から検出された色相が予め設定された色相と合致する場合にのみ補正対象とする。一方で前記予め設定された色相と合致しない場合は被写体色の可能性が高いため、色にじみ補正処理を行わずに処理を終了する。
画像から検出された色にじみがS1503により光学系の色にじみと判断された場合は、色にじみの抑圧量をS1503で算出した値に設定する(S1504)。そして、画像に対して設定した色にじみの抑圧量に応じて抑圧処理を行う(S1505)。
これにより、最終画像においては被写体色を誤って消すことなく、画像回復処理の補正処理による残存色収差を適切に処理することにより、色にじみの少ないより高画質な画像を出力することが可能となる。
(第2の実施形態)
以下、本発明の画像処理方法を用いた画像処理装置の具体的な別の実施の形態を以下に説明する。
実施の形態1においては、被写体領域毎の撮像距離が取得でき、かつ、撮像光学系のデフォーカス時の色にじみ情報を取得できる場合について記載したが、レンズ交換式のカメラシステムの場合、常に両方の情報が取得できる保証はない。撮像データ(特に、画像処理がなされていない状態で記録されている所謂RAWデータ)に対して、ユーザーが撮像後にPC上で画像回復処理を行う場合、撮像に用いられたカメラの状態と撮像に用いられたレンズの状態で様々な組みあわせが発生する。そのため、全データに対して第1の実施形態で説明した処理を行うことができないという課題がある。
本実施形態では、様々な入力の形態が考えられる画像処理装置で、入力画像の特徴に応じて、最適な色にじみ補正を行う画像処理方法について記述する。画像処理装置については、撮像装置に付随する画像処理装置でも構わないが、ここではより多様なタイプの入力画像が想定されるPC上で動作する画像処理装置を想定して以下記述する。
図16は、PC等でアプリケーションを起動したときに表示される画面例を示している。図16において、アプリケーション上の画像表示領域1601であり、ユーザーが選択したフォルダ内にある画像を表示する領域である。1602は画像回復処理の選択領域であり、ユーザーが表示された画像に画像回復処理を適用するかしないかを設定することができる。具体的には、「適用」と記載された横のチェックボックスにチェックを入れると画像回復処理が適用することになる。また、ユーザーが選択している画像に対して、アプリケーション上での処理が完了した後にOKボタン1803を押下することにより、設定した条件で処理された画像を新たに記録することができる。
特に、撮像素子102の出力信号を画像処理部104を通さずに記録されたRAW画像は、撮像後にユーザーがPC等で後処理することによって、一般的な画像ファイル(JPEGやBMP)に変換される。
ここで画像表示領域1601には、様々なカメラやレンズで撮像される画像が表示される。つまり、被写体領域毎の撮像距離情報や撮像光学系のデフォーカス時の色にじみ情報を有する画像を常に取得できる訳ではない。ユーザーがそれぞれ対して、色にじみパラメータを設定するのは現実的ではないので、アプリケーション側でカメラとレンズの条件に応じて適切な色にじみパラメータを自動で設定する必要がある。
図17は図16で示したアプリケーションの画像回復処理時の色にじみ補正のパラメータを対象画像の特徴に応じて、自動的に設定する処理を示すフローチャートである。
まず対象となる画像に画像回復処理を適用するかどうかを判定する(S1701)。ここで適用しないと選択された場合は、図2のS202およびS208と同様に、固定のパラメータをセットし(S1702)、このパラメータを用いて色にじみ補正処理を行う(S1703)。
一方、画像回復処理を行う場合は、撮像条件の取得(S1704)、画像回復処理(S1705)、回復ゲインの取得(S1706)までは、図2のS203乃至S205と同様の処理を行う。
次に画像回復処理の対象となる画像から、領域別距離情報が取得可能であるか否かを判定する(S1707)。この情報が取得できない理由の例としては、撮像カメラが撮像面位相差センサを所持しない場合や、その他の距離情報取得手段を所持しておらず、画像ファイルに撮像時の領域別距離情報が記録されないケースが該当する。さらに画像から領域別の距離情報を検出する場合も判定が難しい空間周波数が低い画像などにおいても、領域別距離情報が取得できない場合がある。
領域別距離情報が取得可能であった場合は、撮像レンズのデフォーカス時の色にじみ情報が取得可能であるか否かを判定する(S1708)。この情報が取得できない理由の例としては、撮像時にもアプリケーション上にもこの情報がない場合である。レンズ交換式のカメラでは、新しく発売されたレンズや、このような情報を有していない古いレンズなど様々なレンズが装着される可能性がある。
S1907、S1908で両情報が取得できた場合の処理は、図2のステップS206と同様の手順で色にじみパラメータを算出し(S1709)、算出した結果を設定する(S1710)。処理の詳細については第1の実施形態と重複するのでここでは割愛する。
一方S1708でレンズのデフォーカス時の色にじみ情報が取得できないと判定された場合は、領域別距離情報のみを用いて色にじみパラメータを算出する必要がある(S1711)。この場合の処理を図18を用いて説明を行う。
図18は領域別距離情報を利用できるが、デフォーカス色にじみ情報を利用できない場合の色にじみパラメータ算出のフロー図である。領域毎別の距離情報は取得することが可能なので、S1801からS1803までは、図8のS801乃至S803と同様の処理を行う。一方、レンズのデフォーカス色にじみ情報は取得できないため、各デフォーカス領域に個別の補正対象色相を設定することができない。よってこの場合は画像回復処理がオフの時と同様の弊害と効果のバランスが良い一定のパラメータを設定することが好ましい(S1804)。ここで求めたパラメータをS1812でセットする。
次にS1707で領域別距離情報が取得できない場合についての処理について記述する。領域別距離情報が取得できない場合に対しても、S1708と同様に、レンズのデフォーカス色にじみ情報が取得可能か否かを判定する(S1713)。取得可能な場合は図19に示すフローに従って色にじみパラメータを算出する(S1714)。
図19は領域別距離情報を利用できないが、デフォーカス色にじみ情報を利用できる場合の色にじみパラメータ算出のフロー図である。まず回復ゲインに応じた抑圧量を算出する(S1901)。この場合、領域別距離情報が取得できないので、全領域に対して一律の抑圧量を設定することになる。色にじみ補正による弊害を極力抑えたい場合は、画面全体が合焦領域であることと過程して、第1の実施形態1の図11で説明したRbの算出方法と同様の方法で算出すれば良い。ただ弊害を許容して色にじみ補正の効果を優先したい場合は、この限りではなく、図11のRaに近い値を設定しても良い。一方、補正対象色相に関しては、レンズのデフォーカス時の色にじみ情報が取得できるので、図8のS805と同様の手法で補正対象色相を設定することができる。ここで算出した値をS1715でセットする。
最後にS1713で、領域別距離情報もレンズのデフォーカス色にじみ情報も取得できなかった場合の処理(S1716)について図20を用いて説明する。図20は領域別距離情報もデフォーカス色にじみ情報も利用できない場合の色にじみパラメータ算出のフロー図である。まず抑圧量に関しては、図19のS1901の時と同様に画像全体一律の抑圧量を回復ゲインに応じて算出する(S2001)。一方、補正対象色相はレンズのデフォーカス色にじみ情報が取得できないため、図18のS1804と同様固定色相パラメータを設定する。ここで算出した値をS1717でセットする。
以上のように撮像画像ごとのカメラとレンズの状況に応じて、自動的に色にじみパラメータを変化させることにより、ユーザーに負担をかけずに最適な色にじみ補正を適用することが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 撮像光学系
102 撮像素子
103 A/Dコンバータ
104 画像処理部
105 表示部
106 撮像光学系制御部
107 状態検知部
108 記憶部
109 画像記録媒体
110 システムコントローラ

Claims (13)

  1. 撮像光学系を介して入射した被写体像を撮像素子によって電気信号に変換されることにより生成された画像データを取得する取得手段と、
    前記画像データに対して、前記画像データが生成されたときの前記撮像光学系の光学伝達関数に応じたフィルタを用いて第1の補正処理を行う回復処理手段と、
    前記回復処理手段によって収差が補正された画像データに対して、色にじみを抑制するための第2の補正処理を行う色にじみ補正手段と、
    前記回復処理手段による前記第1の補正処理の補正レベルの調整の設定が可能な設定手段を有し、
    前記色にじみ補正手段は、前記回復処理手段による前記第1の補正処理の補正レベルの最大値と、前記設定手段によって設定されて実際に適用された補正レベルの値の比較結果に基づいて、前記第2の補正処理における補正レベルを設定することを特徴とする画像処理装置。
  2. 前記色にじみ補正手段は、前記回復処理手段による前記第1の補正処理の補正レベルが第1の値である場合には、該第1の値よりも大きい第2の値である場合よりも、前記第2の補正処理の補正レベルを大きく設定することを特徴とする請求項に記載の画像処理装置。
  3. 前記設定手段によって前記第1の補正処理がオフに設定された場合には、前記色にじみ補正手段は、前記回復処理手段によって収差が補正されていない画像データに対して、予め定められた補正レベルで前記第2の補正処理を行うことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記設定手段によって前記第1の補正処理がオフに設定された場合には、前記色にじみ補正手段は、予め定められた色成分の信号に対して前記第2の補正処理を行うことを特徴とする請求項に記載の画像処理装置。
  5. 前記画像データの領域ごとの被写体距離の情報を取得する情報取得手段を有し、
    前記色にじみ補正手段は、前記領域ごとの被写体距離の情報に基づいて、前記第2の補正処理を行うことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  6. 前記色にじみ補正手段は、前記領域ごとの被写体距離と合焦位置までの距離の差に基づいて、前記第2の補正処理の補正レベルを設定することを特徴とする請求項に記載の画像処理装置。
  7. 前記色にじみ補正手段は、前記領域ごとの被写体距離と合焦位置までの距離に基づいて、前記第2の補正処理の対象とする色成分を設定することを特徴とする請求項に記載の画像処理装置。
  8. 前記色にじみ補正手段は、被写体距離と合焦位置までの距離に基づく前記第2の補正処理の対象とする色成分を示す情報を取得し、前記色成分を示す情報に基づいて前記第2の補正処理を行うことを特徴とする請求項に記載の画像処理装置。
  9. 前記回復処理手段は、合焦位置における被写体距離に基づいて選択した前記撮像光学系の光学伝達関数に応じたフィルタを用いて前記第1の補正処理を行うことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  10. 前記回復処理手段は、前記第1の補正処理に依って球面収差、コマ収差、軸上色収差、および軸外色フレアの少なくともいずれかを補正することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  11. 請求項1乃至10のいずれか1項に記載の画像処理装置と、
    前記撮像光学系および前記撮像素子を有することを特徴とする撮像装置。
  12. 撮像光学系を介して入射した被写体像を撮像素子によって電気信号に変換されることにより生成された画像データを取得する取得工程と、
    前記画像データに対して、前記画像データが生成されたときの前記撮像光学系の光学伝達関数に応じたフィルタを用いて第1の補正処理を行う回復処理工程と、
    前記回復処理工程において収差が補正された画像データに対して、色にじみを抑制するための第2の補正処理を行う色にじみ補正工程と、
    前記回復処理工程における前記第1の補正処理の補正レベルの調整の設定が可能な設定工程を有し、
    前記色にじみ補正工程では、前記回復処理工程における前記第1の補正処理の補正レベルの最大値と、前記設定工程において設定されて実際に適用された補正レベルの値の比較結果に基づいて、前記第2の補正処理における補正レベルを設定することを特徴とする画像処理方法。
  13. コンピュータを請求項1乃至10のいずれか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2014228488A 2014-11-10 2014-11-10 画像処理装置および画像処理方法 Active JP6486076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014228488A JP6486076B2 (ja) 2014-11-10 2014-11-10 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014228488A JP6486076B2 (ja) 2014-11-10 2014-11-10 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2016092742A JP2016092742A (ja) 2016-05-23
JP6486076B2 true JP6486076B2 (ja) 2019-03-20

Family

ID=56016488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014228488A Active JP6486076B2 (ja) 2014-11-10 2014-11-10 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP6486076B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691082B (zh) * 2016-08-25 2021-01-15 富士胶片株式会社 图像处理装置、图像处理系统、图像处理方法及摄像光学系统套组

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403397B2 (ja) * 2004-07-21 2010-01-27 ソニー株式会社 ユーザインタフェース提供装置
JP5528173B2 (ja) * 2010-03-31 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5409589B2 (ja) * 2010-12-17 2014-02-05 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP5963465B2 (ja) * 2012-02-06 2016-08-03 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
JP2016092742A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP3093818B1 (en) Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium
US8830351B2 (en) Image processing method and image processing apparatus for image restoration to reduce a detected color shift
US8849055B2 (en) Image processing apparatus and method
JP6045185B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009070384A (ja) 映像復元装置および方法
JP2014027570A (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5653464B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5950949B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6415108B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP5645981B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6333076B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6452389B2 (ja) 画像処理装置および画像処理方法
JP2018088587A (ja) 画像処理方法および画像処理装置
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017224906A (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
JP2017092800A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190219

R151 Written notification of patent or utility model registration

Ref document number: 6486076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151