JP6042030B2 - 画像処理装置、撮影装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、点拡がり関数に基づく復元処理に係る画像処理装置、撮影装置、画像処理方法及びプログラムに関する。

光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ
Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ぼけ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることにより画質を回復することができる。点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いる画像処理によって撮影画像の点拡がりをキャンセルまたは低減する処理である。

この点像復元処理については様々な手法が提案されており、例えば特許文献１は、非線形補正が行われた画像に対してブラインドデコンボリューションを用いて画像回復を行う画像処理装置を開示する。この画像処理装置は、非線形な階調補正が施された撮影画像に対して非線形な階調補正を低減する補正を行う補正部と、階調補正が低減された撮影画像に対してブラインドデコンボリューションを適用して画像回復を行う画像回復部とを備える。

特許文献２は、画像回復処理による画像データの過回復を低減させる画像処理装置を開示する。この画像処理装置では、ガンマ処理前にＲＧＢ形式のカラー画像データに対する画像回復処理が行われ、ガンマ補正による画素信号値の増幅及び減衰の違いが吸収され、画素信号値の変化量の最大値がガンマ補正後でも一定になるように変化量の制限値が算出される。これにより、「飽和画素によって、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態とが、一致しない事態が発生する」、「エッジ部分においてアンダーシュートやオーバーシュートといった画質劣化が発生し、特に低輝度部におけるアンダーシュートが画像回復処理後のガンマ処理によって増幅される」といった技術上の課題の解決が図られている。

また、光学系の点拡がり関数は焦点深度が拡大された画像の復元技術でも使われており、特許文献３は、画像復元を短時間かつ精度良く実行する撮像モジュールを開示する。この撮影モジュールでは、同時化処理（デモザイク処理）後の輝度信号に復元処理をかけることにより、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理が高速化する。また、近接する画素同士を所定の単位にまとめ、その単位には共通の復元処理パラメータを適用してデコンボリューション処理することにより、復元処理精度の向上が図られている。

一方、点像復元処理以外にも画質を改善するための画像処理が行われることがあり、例えば鮮鋭化処理（輪郭強調処理、エッジ強調処理、シャープネス強調処理等）によって画像の鮮鋭度（シャープネス）を向上させることができる。

上述の点像復元処理及び鮮鋭化処理に関する具体的な処理手法として、例えば特許文献４は、「画像復元フィルタを用いる画像復元処理を行った後にエッジ強調処理を行う手ぶれ補正」及び「単にエッジ強調処理を行う手ぶれ補正」を行うことを開示する。また特許文献５は、復元強度の異なるフィルタをエッジ強度に応じて選択することにより、復元フィルタ自体の強度をエッジ強度に応じて変えることを開示する。

特開２０１１−０５９８１３号公報 特開２０１３−０２０６１０号公報 特開２０１２−０４９７５９号公報 特開２００６−３３３０６１号公報 特開２００６−１２９２３６号公報

上述の点像復元処理は、光学系による点拡がり現象（光学特性）のためにボケた画像を本来のシャープな画像に復元する処理であり、画質劣化した原画像データに対して点拡がり関数に基づく復元フィルタを適用することにより画質劣化が除去された回復画像を取得する技術である。

したがって、被写体像を忠実に再現した回復画像を得るためには、点像復元処理に使用する「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしていることが必要とされる。

すなわち、光学系によってもたらされる画質劣化が正確に把握され、そのような画質劣化を厳密に除去可能な復元フィルタが設計され、光学系による画質劣化（点拡がり現象）が原画像データに的確に反映されていれば、原理的には、「画質劣化した撮影画像」から「被写体像が忠実に再現された高画質な画像」を得ることが可能である。

しかしながら、被写体像や撮影機器類の特性によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

例えば、原画像データは撮像素子の撮像能力によって画質が変動し、被写体像が非常に明るい場合には撮像素子において画素飽和現象が生じることがある。画素飽和が生じた場合、その飽和画素データ（飽和画素値）がクリッピング等されるため、得られる原画像データは必ずしも被写体像を忠実に再現するものではない。

このように、復元処理の対象となる原画像データは、光学系に由来する劣化特性の影響だけではなく撮像素子に由来する劣化特性の影響も受け、特に被写体像のコントラストが大きい場合には想定外の画質劣化を生じることがある。

したがって、光学系の特性を十分に解析して点拡がり現象の影響を抑制可能な復元フィルタが設計されていても、被写体像によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしていない条件下において復元処理が行われると、画質劣化が十分には取り除かれず良質の回復画像が得られず、場合によっては画質劣化を助長してしまい、リンギング等が回復画像において目立ってしまうこともある。

回復画像において生じる画質劣化（リンギング等）の程度は、様々な因子に左右される。例えば、復元処理において使用する復元フィルタ特性、復元処理が適用される原画像データのデータ特性、復元処理の前後において行われる他の画像処理、等の影響によって、点像復元処理後の回復画像の画質は変動する。したがって、回復画像における画質劣化をより効果的に防止或いは低減するため、各種の特性を総合的に勘案した復元処理手法が望まれている。特に、様々な被写体像が撮影される場合には復元処理対象の画像データ特性は一定せず、全体的に或いは局所的にコントラストの大きな画像、色が偏った画像、一部の画素値が飽和状態にある画像、等、様々な特性を持つ画像が復元処理の対象となりうる。したがって、様々な特性を持つ処理対象画像に柔軟に対応可能な画像タフネス性に優れた復元処理手法が切望されている。

しかしながら、上述の特許文献１〜３では、上記課題に対する言及は全くなされておらず、「点拡がり関数を利用した復元処理において、復元処理自体だけではなく復元処理の前後の処理における様々な要因を総合的に勘案し、様々な特性を持つ原画像に対して柔軟に対応することが可能な画像タフネス性に優れた画像処理手法」に関する提案等はなされていない。

一方、「復元フィルタの特性」と「原画像データの画質劣化」との間のマッチングのずれが大きい状態において点像復元処理を行うと、過補正等の画質低下を生じる可能性がある。これに対し、本願出願人によりガンマ補正等の階調補正を施した画像データに対して点像復元処理を行うことにより画像タフネス性を向上させることを提案している（特願２０１３−０６９６８８及び特願２０１３−０６９６８７）。しかし被写体や撮影シーンによっては過補正等による画質劣化を招く場合もある。

ガンマ補正等の階調補正は画像データの特性を変更する処理であるため、「ガンマ補正後の画像データ」と「撮影に用いられた光学系の点拡がり関数」との間のマッチングのずれは比較的大きくなる。特に低輝度側よりも高輝度側（ハイライト側）において、「ガンマ補正後の画像データ」と「光学系の点拡がり関数」との間のマッチングのずれが大きくなり易い。したがって、画像データ（撮影シーン）が全体的に明るい高輝度側に偏っている場合には、画像全体における高輝度領域の占める割合が増え、「ガンマ補正後の画像データ」と「光学系の点拡がり関数」とのマッチングのずれが大きくなる。そのため、画像データ（撮影シーン）が全体的に明るい高輝度側に偏っている場合には、回復画像のうち「点像復元処理による過補正等によって画質が劣化する領域」が拡大する。

点像復元処理を行うことによりかえって画質劣化を招くような画像データ又は画像データの領域に対しては、点像復元処理の復元強度を弱くして、画像劣化を防ぐ手法がある。また、点像復元処理のオン及びオフを切り替え可能な画像処理系においては、点像復元処理をオフにすることによっても、このような画像劣化を防ぐことができる。しかしその場合、単純に点像復元処理の復元強度を弱くしたり、点像復元処理をオフにしてしまうと、画像間においてシャープネスがばらついて、ユーザに対し違和感を与えてしまう。

復元強度の異なる点像復元処理が施された画像間での画質鮮鋭度のばらつきや、「点像復元処理オン画像」と「点像復元処理オフ画像」との間での画質鮮鋭度の乖離を防ぐための有効な提案は、従来なされていなかった。例えば特許文献４及び５は点像復元処理と鮮鋭化処理との間で復元度及び鮮鋭化度の統合的な調整を行うことにより画像鮮鋭度の統一化を図ることを、開示も示唆もしていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、「被写体像の明るさに起因する画質劣化」や「撮影画像の明るさを左右する撮影条件に起因する画質劣化」を抑制しつつ、点拡がり関数に基づく復元処理を精度良く行うことを可能にし、被写体に高輝度領域又は低輝度領域があっても、画像鮮鋭度を過大に変化させずに画質改善を安定的に行うことが可能な画像処理装置、撮影装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の一の態様である画像処理装置は、光学系を用いた被写体像の撮影により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理装置であって、原画像データに対して対数化処理による階調補正を行う階調補正部と、階調補正された原画像データに対し、対数化処理の前の原画像データに対応したフィルタ係数から成る復元フィルタを適用することで復元処理を行う復元処理部と、階調補正された原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、復元処理部及び鮮鋭化処理部を制御することにより、復元処理の復元率、及び鮮鋭化処理の鮮鋭化率を調整可能な鮮鋭回復制御部であって、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率と、復元率及び鮮鋭化率のうちの一方とを取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する鮮鋭回復制御部と、原画像データに基づく原画像の輝度情報を取得する輝度情報取得部と、を備え、鮮鋭回復制御部は、取得された輝度情報に応じて、復元率及び鮮鋭化率を調整する。

本態様によれば、原画像データの輝度情報に応じた復元処理コントロールを行うことができる。とりわけ、輝度情報の特性を反映した復元処理コントロールが行われるので、被写体像の明るさに起因する画質劣化（過補正等）を効果的に抑制しつつ、点拡がり関数に基づく復元処理を精度良く行うことができる。

ここでいう「対数化処理」は、真数で表現されるデータを対数で表現されるデータに変換する処理であり、加えて、本出願においては例えば画像データに対して行われるガンマ補正処理も含まれる。即ち、「対数化処理」は対数で表現される画像データに変換し、当該画像データへ、階調処理の一つであるガンマ補正処理を行うことも指す。また、「対数化処理の前の画像データに対応したフィルタ係数」は、ガンマ補正処理等の対数化処理を受ける前の画像データに基づいて導き出されるフィルタ係数であり、真数により表現される画像データに対応する。

また、本態様によれば、復元率及び鮮鋭化率がトータル鮮鋭復元率に基づいて定められるため、復元率の増減に応じて鮮鋭化率が調整され、或いは鮮鋭化率の増減に応じて復元率が調整される。したがって、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を過大に変化させることなく、画像データの画質を安定的に改善することができる。

「点拡がり関数に基づく復元フィルタ」は、光学系の点拡がり関数（ＰＳＦ）を用いて生成される逆フィルタやウィナーフィルタ等に基づく復元フィルタであり、「復元処理」はそのような復元フィルタを画像データに適用する処理を含む。また「点拡がり関数」は光学系の点光源に対する応答を表す関数であり、ＰＳＦ及びＯＴＦ（ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ））に基づいて表現可能である。

一方、「鮮鋭化フィルタ」は、「光学系の点拡がり関数（ＰＳＦ）から逆フィルタやウィナーフィルタを用いて生成されたフィルタ（復元フィルタ）」以外のフィルタ類を使用することが可能である。したがって「鮮鋭化フィルタ」として、例えば光学系の点拡がり関数に基づかないフィルタを好適に用いることができ、点拡がり関数以外の他の要素（パラメータ）に基づいて算出されるフィルタを「鮮鋭化フィルタ」として採用しうる。点拡がり関数に基づかない鮮鋭化フィルタとしては、点拡がり関数に基づかずに作成されたフィルタであれば、点拡がり関数が異なる絞り値等に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。同様に、点拡がり関数が異なる像高に応じて切り替え可能なフィルタを鮮鋭化フィルタとして採用しうる。また、鮮鋭化処理における鮮鋭化フィルタの強度（ゲイン）が絞り値や像高に応じて変えられてもよい。

「鮮鋭化処理」は、画像データの高周波成分を補償又は強調する処理であって、画像の輪郭成分を強調する処理である。したがって、例えば輪郭強調処理、エッジ強調処理或いはシャープネス強調処理と呼ばれる処理が、ここでいう「鮮鋭化処理」に含まれうる。

なお、復元フィルタ及び鮮鋭化フィルタはＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタとして構成することができる。

望ましくは、輝度情報取得部は、原画像を構成する画素毎の輝度値及び該輝度値の分布を輝度情報として取得する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、原画像を構成する画素毎の輝度値及び該輝度値の分布に基づいて定めることができる。これにより、本態様は、輝度値に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

また「輝度値」及び「輝度値の分布」は、画像の明るさを直接的又は間接的に表す指標である。例えば、輝度信号及び色差信号（ＹＣｂＣｒ色空間等）によって画像データが表される場合の「輝度信号成分」、或いは明度次元及び補色次元（Ｌ＊ａ＊ｂ＊）によって画像データが表される場合の「明度次元成分」に基づいて、「輝度の分布」及び「輝度値」を定めてもよい。また、画像の明るさの間接的な指標となりうる色成分に基づいて「輝度の分布」及び「輝度値」を定めてもよく、例えば画像データの色成分のうち画像の明るさに最も寄与しうる色成分に基づいて「輝度の分布」及び「輝度値」を定めてもよい。

望ましくは、輝度情報取得部は、取得された輝度値から得られる飽和画素の情報を輝度情報として取得する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、輝度値から得られる飽和画素の情報に基づいて定めることができる。これにより、本態様は、飽和画素の情報に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

望ましくは、鮮鋭回復制御部は、取得された輝度値から得られる飽和画素の情報に応じて、飽和画素及び飽和画素の周辺にある画素における復元率及び鮮鋭化率のうち少なくとも一方を調整する。

本態様によれば、飽和画素及び飽和画素の周辺にある画素における復元率及び鮮鋭化率のうち少なくとも一方を、輝度値から得られる飽和画素の情報に基づいて調整することができる。これにより、本態様は、飽和画素及び飽和画素の周辺の画素に対する復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

望ましくは、輝度情報取得部は、飽和画素の周辺にある画素の輝度値を輝度情報として取得する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、飽和画素の周辺にある画素の輝度値に基づいて定めることができる。これにより、本態様は、飽和画素の周辺にある画素の輝度値に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

望ましくは、鮮鋭回復制御部は、光学系の個体差情報を取得し、取得された個体差情報及び輝度情報に応じて、復元率及び鮮鋭化率のうち少なくとも一方を調整する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、光学系の個体差情報及び輝度情報に基づいて定めることができる。これにより、本態様は、個体差情報及び輝度情報に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。なお、「個体差情報」とは、レンズ個体ごとの情報であって、レンズ個体差に応じて復元率又は鮮鋭化率を調整するために用いる情報のことをいう。また、「個体差情報」とは、製造誤差等による光学系に個別的に生じうる誤差に関する情報を含む。個体差情報は個体差を直接的に示すものであってもよいし間接的に示すものであってもよく、例えば光学系に割り当てられるロットナンバーやシリアルナンバーを個体差情報として用いてもよい。

望ましくは、輝度情報取得部は、撮影露出情報を輝度情報として取得する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、撮影露出に基づいて定めることができる。これにより、本態様は、撮影露出に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。ここでいう「撮影露出情報」は、原画像データを撮影する際の露出に関する情報とである。例えば、「撮影露出情報」は撮影露出量であってもよく、撮影露出量は、原画像データを取得した際の光学系の露出量であり、原画像データ取得時の撮影条件（絞り値（Ｆ値）、及びシャッタースピード）に応じて変動しうる。

望ましくは、輝度情報取得部は、原画像を構成する画素毎の輝度値のヒストグラムを輝度情報として取得する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、輝度値のヒストグラムに基づいて定めることができる。これにより、本態様は、輝度値のヒストグラムに基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

望ましくは、輝度情報取得部は、ヒストグラムの中央値を輝度情報として取得する。

本態様によれば、復元処理の復元率及び鮮鋭化処理の鮮鋭化率を、ヒストグラムの中央値に基づいて定めることができる。これにより、本態様は、ヒストグラムの中央値に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

望ましくは、原画像データが動画を構成する複数のフレームのうちの１フレームのデータである場合には、原画像データに対応するフレーム、及び原画像データに対応するフレームの時系列において前フレーム又は後フレームの撮影条件を取得する撮影条件取得部を有し、鮮鋭回復制御部は、撮影条件取得部が取得する撮影条件及び輝度情報に応じて、復元率及び鮮鋭化率のうち少なくとも一方を調整する。

本態様によれば、原画像データに対応するフレームの時系列において前フレーム又は後フレームの撮影条件及び輝度情報に基づいて、復元率及び鮮鋭化率のうち少なくとも一方を調整する。これにより、本態様は、撮影条件及び輝度情報に基づいて、復元処理による復元強度及び鮮鋭化処理による鮮鋭化強度を調節し、画像処理により生じる画質劣化を防ぐことができる。

本発明の他の態様である撮影装置は、上述の画像処理装置を有する。

本発明の他の態様である画像処理方法は、光学系を用いた被写体像の撮影により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理方法であって、原画像データに対して対数化処理による階調補正を行う階調補正ステップと、階調補正された原画像データに対し、対数化処理の前の原画像データに対応したフィルタ係数から成る復元フィルタを適用することにより復元処理を行う復元処理ステップと、階調補正された原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理ステップと、復元処理ステップ及び鮮鋭化処理ステップを制御することにより、復元処理の復元率、及び鮮鋭化処理の鮮鋭化率を調整可能な鮮鋭回復制御ステップであって、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率と、復元率及び鮮鋭化率のうちの一方とを取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する鮮鋭回復制御ステップと、原画像データに基づく原画像の輝度情報を取得する輝度情報取得ステップと、を含み、鮮鋭回復制御ステップは、取得された輝度情報に応じて、復元率及び鮮鋭化率を調整する。

本発明の他の態様であるプログラムは、光学系を用いた被写体像の撮影により取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する為にコンピュータに実行させる為のプログラムであって、原画像データに対して対数化処理による階調補正を行う階調補正ステップと、階調補正された原画像データに対し、対数化処理の前の原画像データに対応したフィルタ係数から成る復元フィルタを適用することにより復元処理を行う復元処理ステップと、階調補正された原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理ステップと、復元処理ステップ及び鮮鋭化処理ステップを制御することにより、復元処理の復元率、及び鮮鋭化処理の鮮鋭化率を調整可能な鮮鋭回復制御ステップであって、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率と、復元率及び鮮鋭化率のうちの一方とを取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する鮮鋭回復制御ステップと、原画像データに基づく原画像の輝度情報を取得する輝度情報取得ステップと、を含み、鮮鋭回復制御ステップは、取得された輝度情報に応じて、復元率及び鮮鋭化率を調整する。

本発明によれば、原画像の特性のうち輝度情報に基づいて点拡がり関数に基づく復元処理がコントロールされ、被写体像の明るさに起因する画質劣化を効果的に抑制しながら、復元処理を精度良く行うことができる。また、本発明によれば、トータル鮮鋭復元率に基づいて復元率及び鮮鋭化率が定められるため、復元処理及び鮮鋭化処理による画像の復元率及び鮮鋭化率が過大又は過小になることが防がれる。

コンピュータに接続されるデジタルカメラを示すブロック図である。 カメラ本体コントローラの機能構成例を示すブロック図である。 画像撮影から点像復元処理までの概略を示す図である。 点像復元処理の一例を示すブロック図である。 被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、理想的な点像復元処理（画素値の飽和無し、クリッピング無し）が行われる場合を示す。 「実際の画像劣化特性（画像ボケ特性）」と「使用する復元フィルタの基礎となる点拡がり関数」とが完全にはマッチングしない場合の、原画像データ、回復画像データ、及びガンマ補正処理後の画像データの一例を示す図である。 画像処理部における画像処理フローを例示するブロック図であり、ガンマ補正処理（階調補正処理）後に輝度データ（Ｙ）に対して点像復元処理を行う例を示す。 画像処理部における画像処理フローを例示するブロック図であり、ガンマ補正処理後にＲＧＢの色データに対して点像復元処理を行う例を示す。 画像処理部における画像処理フローを例示するブロック図であり、ガンマ補正処理前にＲＧＢ色データに対して点像復元処理を行う例を示す。 画像処理部における画像処理フローを例示するブロック図であり、ガンマ補正処理前に輝度データ（Ｙ）に対して点像復元処理を行う例を示す。 点像復元処理に対する「階調補正処理（ガンマ補正処理）」及び「色データ／輝度データ」の相関を示す図である。 ガンマ補正処理（対数化処理における階調処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）である。 階調補正（ガンマ補正処理）における入力値（ＩＮ）と出力値（ＯＵＴ）との関係（ガンマ補正処理階調カーブ）を例示し、風景撮影モード選択時に用いられるガンマ補正処理階調カーブの一例を示す図（グラフ）である。 階調補正（ガンマ補正処理）における入力値（ＩＮ）と出力値（ＯＵＴ）との関係（ガンマ補正処理階調カーブ）を例示し、人物撮影モード選択時に用いられるガンマ補正処理階調カーブの一例を示す図（グラフ）である。 画像処理部の構成例を示すブロック図である。 点像復元強度及び鮮鋭化強度の調整を説明するための概念図である。 第１実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 画像の領域毎に復元率及び鮮鋭化率が調整されることを説明する概念図である。 画像の画素毎に復元率及び鮮鋭化率が調整されることを説明する概念図である。 飽和画素及び飽和画素の周辺にある画素における復元率及び鮮鋭化率の調整に関して説明する概念図である。 第３の例における復元処理を含む画像処理の流れを示すフローチャートである。 ガンマ補正処理（対数化処理における階調処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）であり、特に過補正等による画質劣化を生じ易い領域を説明するための図である。 ガンマ補正処理（対数化処理における階調処理）による処理前データと処理後データとの間の関係の一例を示す。 画像データにおける輝度分布例を示す図である。 画像データにおける輝度分布例を示す図である。 第２実施形態に係る鮮鋭回復部の一例を示す機能ブロック図である。 第２実施形態に係る点像復元処理を含む画像処理の流れを示すフローチャートである。 第３実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 第４実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。 処理対象フレームと参照フレームの一例を説明する図である。 復元調整部が行う復元処理の内容の調整に関する例を説明する図である。 復元調整部が行う復元処理の内容の調整に関する例を説明する図である。 最頻値を決定する場合の復元調整部の動作フローを示した図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図３４に示す復元処理ブロックによる復元処理フローの一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のぼけた画像を示し、（ｂ）は復元処理後のぼけが解消された画像（点像）を示す。 スマートフォンの外観図である。 図３８に示すスマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る撮影装置及び撮影方法の好ましい実施の形態について説明する。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮影装置）に本発明を適用する場合について説明する。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

本例の撮像素子２６は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部に送信される。

カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０Ｃ等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、図示しない表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理（ガンマ補正処理部３３）、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。特に本例の画像処理部３５は、ガンマ補正処理部３３と鮮鋭回復部３６と備える。

なお、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース２９を介して撮影等のための各種設定（ＥＶ値（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）等）を適宜決定及び変更することができる。ユーザインターフェース２９は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０Ｃ等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０Ｃ等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０Ｃに送信してもよい。

コンピュータ６０Ｃは、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０Ｃを統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０Ｃはディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することにより、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０Ｃや、コンピュータ６０Ｃに接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０Ｃ等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０Ｃのコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０Ｃからの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間において必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０Ｃにダウンロードし、演算処理を行ってその演算結果をコンピュータ６０Ｃに送信する。

各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０Ｃ及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０Ｃ及びサーバ８０を一体的に構成してもよく、またコンピュータ６０Ｃ及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間において直接的にデータ類の送受信が行われるようにしてもよい。

＜点像復元処理＞
次に、撮像素子２６を介して得られる被写体像の撮影データ（画像データ）の点像復元処理について説明する。

以下の例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

点像復元処理は、光学系（レンズ１６、絞り１７等）を用いた被写体像の撮影により撮像素子２６から取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより回復画像データを取得する処理である。

図３は、画像撮影から点像復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。

ボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた点像復元処理Ｐ１０を行うことにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

点像復元処理Ｐ１０において用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、所定の復元フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際にはこれらの撮影条件が取得される。図３における符号αは撮影条件に応じた点像情報（点拡がり関数）（絞り、焦点距離、像高ごと）を表す。

図４は、点像復元処理の一例を示すブロック図である。

点像復元処理Ｐ１０は、上述のように復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することにより、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することにより、点像復元処理を行うことができる。図４における符号βは処理対象画素データに適用するタップ（フィルタ係数）を表している。

Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。

次に、点像復元処理によって生じうる画質上の弊害について説明する。

図５は、被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、理想的な点像復元処理（画素値の飽和無し、クリッピング無し）が行われる場合を示す。図５の符号１０５１は被写体像が本来有するコントラストを示し、符号１０５２は点像復元処理前の原画像データＤｏにおけるコントラストを示し、符号１０５３は点像復元処理後の回復画像データＤｒにおけるコントラストを示す。なお、図５の横方向（Ｘ方向）は被写体像中における位置（１次元位置）を示し、縦方向（Ｙ方向）はコントラストの強弱を示す。

被写体像中における「コントラストの段差を持つエッジ部分」（図５の符号１０５１参照）は、上述したように撮影時の光学系の点拡がり現象を有する撮影画像（原画像データＤｏ）では画像ボケが生じ（図５の符号１０５２参照）、点像復元処理によって回復画像データＤｒが得られる（図５の符号１０５３参照）。

点像復元処理において、「実際の画像劣化特性（画像ボケ特性）」と「使用する復元フィルタの基礎となる点拡がり関数（ＰＳＦ等）」とがマッチングしている場合、画像が適切に復元され、エッジ部分等が適切に復元された回復画像データＤｒを得ることができる（図５参照）。

しかしながら、実際の点像復元処理では、「実際の画像劣化特性（画像ボケ特性）」と「使用する復元フィルタの基礎となる点拡がり関数」とが完全にマッチングしない場合もある。

図６は、「実際の画像劣化特性（画像ボケ特性）」と「使用する復元フィルタの基礎となる点拡がり関数」とが完全にはマッチングしない場合の、原画像データ、回復画像データ、及びガンマ補正処理後の画像データの一例を示す図である。図６において横方向（Ｘ方向）は画像中の位置（一次元位置）を示し、縦方向（Ｙ方向）は画素値を示す。「実際の画像劣化特性（画像ボケ特性）」と「使用する復元フィルタの基礎となる点拡がり関数」とが完全にはマッチングしない場合、コントラスト差が比較的大きなエッジ部分ではオーバーシュート（アンダーシュート）が生じることがある（図６の符号１０６１及び符号１０６２参照）。このオーバーシュート（アンダーシュート）等の画質劣化が生じるケースであっても、画像再現性及び画像タフネス性（画像非破綻性）に優れた点像復元処理であれば、そのような画質劣化が視認できない（目立たない）程度に画質が回復された回復画像データＤｒを取得することが可能である。

しかしながら、画質劣化が目立たない程度まで回復された回復画像データが点像復元処理によって得られたとしても、点像復元処理後の他の処理（ガンマ補正処理等の階調補正処理等）によって、回復画像データ中の画質劣化を強調して目立たせてしまうことがある。

例えば図６に示すように、点像復元処理によって生じるオーバーシュート（アンダーシュート）自体は小さくその影響が視覚上特に目立たない場合であっても、その後に階調補正処理（ガンマ補正処理）が行われるとオーバーシュート（アンダーシュート）が必要以上に強調されることがある（図６の符号１０６３の「Ｅ１」及び「Ｅ２」参照）。特にシャドウ側のオーバーシュート（アンダーシュート）部分は、その後のガンマ補正処理によって大きなゲイン（増幅率）が適用され、画像エッジ部において黒側に大きく偏った部分を構成する（図６の符号１０６３の「Ｅ２」参照）。この現象は、点像復元処理に限ったものではなく、真数空間の画像データに対する輪郭補正処理を行った結果、エッジ部分にオーバーシュートが発生した場合にも共通する。

したがって、点像復元処理を画像処理フローの一部として実際に設計する場合、点像復元処理自体だけではなく、点像復元処理前後の処理との関連を加味した総合的な画像処理フローの設計を行うことが好ましい。

＜点像復元処理・階調補正処理＞
以下に、本発明における点像復元処理と階調補正処理との関係を説明する。

図７〜図１０は、画像処理部３５（カメラ本体コントローラ２８）における各種の画像処理フローを例示するブロック図である。図７は、ガンマ補正処理（階調補正処理）後に輝度データ（Ｙ）に対して点像復元処理を行う例を示し、図８は、ガンマ補正処理後にＲＧＢの色データに対して点像復元処理を行う例を示す。また図９は、ガンマ補正処理前にＲＧＢ色データに対して点像復元処理を行う例を示し、図１０は、ガンマ補正処理前に輝度データ（Ｙ）に対して点像復元処理を行う例を示す。

図７の例において、画像処理部３５は、モザイクデータ（ＲＡＷ画像データ；原画像データ）が入力されると、「画像の明るさを調整するオフセット補正処理４４１」、「画像のホワイトバランス（ＷＢ）を調整するＷＢ補正処理４４９」、「画素補間処理によって全画素に関してＲＧＢ各色の色データを取得するデモザイク処理４４３」、「対数化処理による階調補正を行って画素データの階調を調整するガンマ補正処理４４４（階調補正ステップ；ガンマ補正処理部３３）」、「ＲＧＢ色データから輝度データ（Ｙ）及び色差データ（Ｃｂ／Ｃｒ）を算出する輝度色差変換処理４４５」及び「画像データ（輝度データ）に対し、撮影に用いられた光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理（復元処理ステップ）４４６」を順次行う。なお、色データは、モザイクデータ（原画像データ）を撮影取得した撮像素子２６が有するカラーフィルタの色種類に対応し、輝度データ及び色差データは、公知の算出式によって色データから算出可能である。

一方、図８の例では、図７の画像処理例における輝度色差変換処理４４５と点像復元処理４４６との処理順序が入れ替わっている。したがって、図７の例ではガンマ補正処理（階調補正）４４４後の原画像データの輝度データに対して点像復元処理４４６が行われるが、図８の例では、ガンマ補正処理（階調補正）４４４された原画像データのＲＧＢ色データに対する点像復元処理４４６が行われ、その後に輝度データ及び色差データが算出される。

図９の例では、図８の画像処理例におけるガンマ補正処理４４４と点像復元処理４４６との処理順序が入れ替わっている。したがって、図８に示す例ではガンマ補正処理４４４後に点像復元処理４４６が行われるが、図９に示す例ではガンマ補正処理４４４前に点像復元処理４４６が行われる。

図１０の例では、オフセット補正処理４４１、ＷＢ補正処理４４９及びデモザイク処理４４３は図７〜図９の例と同じであるが、デモザイク処理４４３後に輝度色差変換処理４４５ａが行われ、輝度データに対して点像復元処理４４６が行われた後に輝度データ及び色差データからＲＧＢ色データを算出する色信号変換処理４４７が行われる。そして、このＲＧＢ色データに対してガンマ補正処理４４４及び輝度色差変換処理４４５ｂが順次行われることにより、輝度データ及び色差データが取得される。

なお、図７〜図１０の各々は処理フローの一例を示すものに過ぎず、他の処理が必要に応じて任意の段階で行われてもよいし、図７〜図１０に示す処理の一部が省略されてもよい。

各種の画像処理フロー間における点像復元処理効果の相違に関し、「階調補正処理（ガンマ補正処理）と点像復元処理」は、図１１に示す関連性がある。

図１１は、点像復元処理に対する「階調補正処理（ガンマ補正処理）」及び「色データ／輝度データ」の相関を示す図である。図１１において、Ａは効果大を表し、Ｂは効果小〜中を表し、―は該当無し又は変化なしを表している。

図１１の「真数（階調補正前）」が示す欄は、階調補正処理（ガンマ補正処理）前の画像データ（真数画像データ）に対して点像復元処理を行った場合の画像特性を示す（図９及び図１０参照）。また、図１１の「対数（階調補正後）」が示す欄は、階調補正処理（ガンマ補正処理）後の画像データ（対数画像データ）に対して点像復元処理を行った場合の画像特性を示す（図７及び図８参照）。また、図１１の「色データ（ＲＧＢ）」が示す欄は、色データ（ＲＧＢデータ）に対して点像復元処理を行った場合の画像特性を示し（図８及び図９参照）、「輝度データ（Ｙ）」が示す欄は、輝度データに対して点像復元処理を行った場合の画像特性を示す（図７及び図１０参照）。

真数の画像データと対数の画像データとを比較すると、理想系においては、真数画像データ（階調補正前画像データ）の点像復元の方が、対数画像データ（階調補正後画像データ）の点像復元よりも、画像復元性に優れている（図１１の「理想系における復元性」参照）。

ここで言う理想系とは、「点像復元処理において使用する復元フィルタのタップ数が十分に大きく」、「計算ビット数が十分に大きく」、「光学系の実際のボケ特性と、画像処理部３５が保持する光学系ボケ特性データとが一致している」、「画素値が飽和した飽和画素データを入力画像データ（原画像データ）が含まない」など、適切な点像復元処理を行うための条件が十分に満たされている理想的な系を指す。

一方、理想系からずれた実際の処理系においては、対数画像データ（階調補正後画像データ）の点像復元の方が、真数画像データ（階調補正前画像データ）の点像復元よりも、点像復元画像（回復画像）におけるリンギングなどの副作用の出現程度が小さいことが実験により確認されている（図１１の「理想系からずれた系における輝度系タフネス性（リンギング程度、等）」参照）。

理想系とは異なる現実の処理系において「真数画像データ（真数空間上の画像データ）に対する点像復元処理」よりも「対数画像データ（対数空間上の画像データ）に対する点像復元処理」の方がリンギングなどの副作用の出方が小さいのは、ガンマ補正処理（対数化処理における階調処理）後の画素データ（画像データ）においては、低輝度部の階調が強調され（エンハンスされ）、高輝度部の階調が非強調とされることが一因である。また、点像復元処理によって画像のエッジ（境界部）にオーバーシュート（アンダーシュート）が発生し、そのオーバーシュート（アンダーシュート）が階調補正によって強調されることもリンギングなどの画像劣化を目立たせる一因である（図６参照）。

「色データ（ＲＧＢデータ）に対する点像復元処理」は、想定通り（保持している劣化情報（光学系の点拡がり関数情報）通り）にＲＧＢ各色の色データ（色信号）が復元処理部３８（図１５）を備える鮮鋭回復部３６に入力されれば、効果的な色データ補正が可能であり、「輝度データ（Ｙデータ）に対する点像復元処理」と比較して色収差などを効果的に軽減することができる（図１１の「理想系における復元性」、「色系補正能力」参照）。しかしながら、実際の入力信号の挙動が想定通りではない場合、色データ（ＲＧＢデータ）に対する点像復元処理においては、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある（図１１の「理想系からずれた系における色系タフネス性（色付き程度、滲み程度、等）」参照）。

処理規模（処理系をハード化する場合は処理回路の規模）についても、図１１に示す違いがある。すなわち、真数画像データ（真数空間上の画像データ）よりも対数画像データ（対数空間上の画像データ）の点像復元処理の方が、演算処理が簡単であるため、処理規模が小さくなり、有利である。また、色データ（ＲＧＢデータ）に対する点像復元処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データ（Ｙデータ）に対する点像復元処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する点像復元処理の方が、演算処理が簡単になり処理規模をコンパクト化することが可能である。

したがって、実際の画像処理系では、図１１に示す上述の各種特性を踏まえ、ユーザのニーズに応じた適切な系が構築されることが好ましい。例えば「入力される画像信号（画像データ）として様々なタイプのものが入力される」、「処理系をハード化する際にできるだけ小規模にする」、「実際の画像劣化情報と処理系において保持する画像劣化情報とが完全一致している保証がない」など、理想処理系から処理条件が外れる場合、対数の画像データに対する点像復元処理の方が、真数の画像データに対する点像復元処理よりも、画像タフネス性（画像非破綻性）に優れる。したがって、実際の画像処理系においては、画像タフネス性を向上させる観点からは、点像復元処理を階調補正処理（ガンマ補正処理）の後段において実施することが好ましい。また、画像処理による副作用の抑制や処理系の小規模化を重視するのであれば、色データよりも輝度データに対して点像復元処理を施す画像処理系の方が好ましく、色再現性を重視するのであれば、輝度データよりも色データに対して点像復元処理を施す画像処理系の方が好ましい。

対数化処理による階調補正（ガンマ補正処理）を行う場合、復元フィルタ自体は、対数化処理前の画像データに対応したフィルタ係数から成っていてもよいし、対数化処理後の画像データに対応したフィルタ係数から成っていてもよい。

「階調補正後（対数化処理後）の画像データの画素値（対数の画素データ）」に対し、敢えて「階調補正前（対数化処理前）の画素値（真数の画素データ）に対応したフィルタ係数から成る復元フィルタ」を適用して回復処理（点像復元処理）を行う場合、回復画像（復元画像）において生じた画質劣化（リンギング等）に対するタフネス性が向上し、回復画像上においてリンギングを目立たせないようにできる。これは、対数化処理後の画素データ（画像データ）では、低輝度部の階調が強調され（エンハンスされ）、高輝度部の階調が非強調とされるからである。

図１２は、ガンマ補正処理（対数化処理における階調処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）である。図１２の横軸は処理前データ（ガンマ補正処理入力データ「ＩＮ」）を示し、縦軸は処理後データ（ガンマ補正処理出力データ「ＯＵＴ」）を示し、グラフ中の実線がガンマ補正処理階調カーブを示す。

一般的な画像データに対する点像復元処理において、点像復元処理による効果が視覚的に認識され易いのは、コントラストの低い領域であり、ガンマ補正処理階調カーブにおいて直線により近似できる「画素値のレベル差の比較的小さい領域」である（図１２の「Ａ」参照）。一方、コントラストの高い領域、つまりガンマ補正処理階調カーブにおいて曲線部を構成する「画素値のレベル差が比較的大きい領域」においては、元々のコントラストが高くボケも認識されにくい（図１２の「Ｂ」参照）。

さらに、コントラストの高い領域のうち飽和画素を含む領域において、画素値が真数である画素データ（階調補正前の画素データ）に対して点像復元処理を行い、その後に階調補正（ガンマ補正処理、対数化処理）を行うと、アンダーシュート／オーバーシュート（リンギング）が目立ち易い。一方、対数化処理後の画素データに対して点像復元処理を行う場合、対数化処理により高いコントラストが圧縮され、点像復元処理によるリンギングの強度が低減される。

つまり、対数化処理後の画素データに対し、画素値が真数の画素データに対応したフィルタ係数から成る復元フィルタを使って回復処理（点像復元処理）を行うことにより、一般的に視認されやすい低コントラスト領域に対しては遜色なく点像復元処理を施すことができる一方で、点像復元処理によってリンギングが生じ易い高コントラスト領域においてはリンギングの強調度合いを低減することが可能である。

特に、画像処理装置（撮影装置等）が複数種類の階調補正（ガンマ補正処理）を実行可能であり複数種類のガンマ補正処理階調カーブのデータを保持する場合、従来技術（特許文献２参照）においては複数種類の階調補正毎に画素信号値の変化量の制限値を算出する必要がある。しかしながら、本方式によれば、階調補正後の画素データに点像復元処理をかけるため、階調補正の種類に応じた処理の切り替えも不要になる。

図１３及び図１４は、階調補正（ガンマ補正処理）における入力値（ＩＮ）と出力値（ＯＵＴ）との関係（ガンマ補正処理階調カーブ）を例示し、図１３は風景撮影モード選択時に用いられるガンマ補正処理階調カーブの一例を示し、図１４は人物撮影モード選択時に用いられるガンマ補正処理階調カーブの一例を示す。デジタルカメラ１０（図１参照）等の撮影装置や画像処理装置は、階調補正処理（ガンマ補正処理）において使用するガンマ補正処理階調カーブを複数種類保持する場合、保持するガンマ補正処理階調カーブの中から撮影モードに応じた最適なガンマ補正処理階調カーブを選択する。このケースにおいて階調補正（ガンマ補正処理）前の画像データに対して点像復元処理を行う場合、階調補正毎に点像復元処理の制限値を求め、ガンマ補正処理の種類に応じて点像復元処理を切り替える必要がある（例えば特許文献２参照）。しかしながら、ガンマ補正処理後の画素データに対して点像復元処理を行う場合、ガンマ補正処理の種類に応じて点像復元処理を切り替える必要がない。したがって、処理の切り替えが不要となる「ガンマ補正処理後の画素データに対して点像復元処理を施すケース」において、復元フィルタを事前作成しておく場合には消費するメモリ量を抑えることができ、また復元フィルタを処理毎に逐次算出する場合には処理が容易になり計算時間を抑えることが可能となる。

一般にＰＳＦ（点拡がり関数）は入力が線形であることが前提とされ、この前提に基づく復元フィルタは、「線形の係数」つまり「真数の画素データに対応したフィルタ係数」から成る方が生成も容易である。

復元フィルタをガンマ補正処理（階調補正）前の画素値に対応したフィルタ係数によって構成することにより、メモリ、処理時間、開発・設計負荷等を軽減することができ、実用上非常に効果的且つ有用である。

一方、階調補正後（対数化処理後）の画素値（対数の画素データ）に対し、対数化処理後の画素値（対数の画素データ）に対応したフィルタ係数から成る復元フィルタを使って回復処理（点像復元処理）を行うことにより、点像復元処理により発生するリンギングによる画質劣化に対してタフネス性を向上でき、発生するリンギングを画像上において目立たせないようにできる。

すなわち、画素データが階調補正（対数化処理）後の画素値（対数の画素データ）である場合、対数化処理後の画素値（対数の画素データ）に対応したフィルタ係数から成る復元フィルタを使って点像復元処理を行うことにより、点像復元処理自体を正確に行うことが可能である。この場合、点像復元処理の対象画像データを「階調補正後の原画像データ」とすることにより、階調補正（対数化処理）により高いコントラストが圧縮され、点像復元処理により発生するリンギングの強度を低減することができる。

点像復元処理において使用する復元フィルタは、予め生成されていてもよいし、点像復元処理の実行に応じて逐次算出生成されてもよい。点像復元処理時の演算量を低減化する観点からは、復元フィルタを予め生成しておくことが好ましい。また、適応性に優れた復元フィルタを使用する観点からは、点像復元処理の実行時に復元フィルタを逐次算出することが好ましい。

復元フィルタを予め生成しておく場合、入力画素値（入力画像データ）に対する対数化処理（ガンマ補正処理）によって求められる画素値に基づいて演算を行うことにより、復元フィルタのフィルタ係数を求めるようにしてもよい。復元フィルタの生成に用いられる画素値は、輝度値であってもよいし、ＲＧＢ色データのうちの代表的に選択された１つのチャンネルに関する画素値（例えばＧの画素値）でもよい。また、復元フィルタの生成に用いられる画素値は、主要被写体の画素値であってもよいし、画面全体の平均値から求められる画素値であってもよい。

点像復元処理は、原画像データの振幅成分のみを復元して回復画像データを得る処理であってもよいし、原画像データの振幅成分及び位相成分を復元して回復画像データを得る処理であってもよい。すなわち、光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）／ＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）のうち少なくともいずれか一方に基づいて復元フィルタを算出することができる。なお、光学系のボケ特性は、いわゆる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）によって表現可能であり、ＯＴＦを逆フーリエ変換して得られる関数は点像分布関数（ＰＳＦ：点拡がり関数）とも呼ばれる。ＭＴＦはＯＴＦの絶対値成分であり、ＰＴＦは位相のズレを空間周波数の関数として表したものである。したがって、点像復元処理に用いられる復元フィルタは、光学系のＯＴＦ（ＭＴＦ／ＰＴＦ）やＰＳＦに基づいて、適宜設計可能である。

以上に説明したように、本発明は、階調補正された原画像データに対して、対数化処理の前の原画像データに対応したフィルタ係数から成る復元フィルタを適用して点像復元処理を行う。これにより、リンギングの発生による画質劣化を防ぐことができる。

一方、ガンマ補正等の階調補正は画像データの特性を変更する処理であるため、「ガンマ補正後の画像データ」と「撮影に用いられた光学系の点拡がり関数」との間のマッチングのずれは比較的大きくなる。特に低輝度側よりも高輝度側（ハイライト側）において、「ガンマ補正後の画像データ」と「光学系の点拡がり関数」との間のマッチングのずれが大きくなり易い。上述したように「ガンマ補正後の画像データ」と「光学系の点拡がり関数」との間のマッチングのずれが大きい箇所に点像復元処理を行うとかえって過補正等により画質の劣化を招いてしまう。

したがって、点像復元処理を行うことによりかえって画質劣化を招くような画像データ又は画像データの領域（又は画像データの画素値）に対しては、このような画像劣化を防ぐために、点像復元処理の復元強度を弱くしなければならない場合がある。また、点像復元処理のオン及びオフを切り替え可能な画像処理系においては、点像復元処理をオフにすることによっても、このような画像劣化を防ぐことができる。

また、復元強度を弱くする場合や点像復元処理をオフにする場合であっても、レンズの光学特性（ＰＳＦ、ＯＴＦ）やウィナーフィルタ設計基準を考慮せずに設計された「ＰＳＦとは異なる基準に基づいて決定される画像処理」を行うことが可能である。この「ＰＳＦとは異なる基準に基づいて決定された画像処理」として、例えば、設計者の主観評価に基づく画像処理、ユーザの好みに基づく画質微調整、レンズの個体ばらつきを考慮したユーザによるシャープネス微調整などがある。

ここで「点像復元処理オン画像」及び「点像復元処理オフ画像（「ＰＳＦとは異なる基準に基づいて決定された画像処理」オン画像）」を比較すると、「点像復元処理オフ画像」の方が、「点像復元処理オン画像」よりもシャープネスが強くなってしまうことが生じうる。これは処理内容的には妥当だが、点像復元処理（画質回復処理）を行った画像であるにもかかわらず、点像復元処理を行わない画像よりもシャープネスが弱くなるため、実画像の画質と直感との間の不一致感をユーザにもたらしうる。また「点像復元処理オン画像」と「点像復元処理オフ画像」との間でのシャープネスの乖離が過大となる場合もあり、操作性の不便をユーザに感じさせうる。また画質劣化を回避するなどの目的で復元強度を変更することにより点像復元処理を行う場合にも同様の不便がもたらされることがあり、点像復元処理を行った画像間においてシャープネスがばらついて、ユーザに対し違和感を与えてしまう。

そこで、本発明では、復元強度の異なる点像復元処理が施された画像間での画質鮮鋭度のばらつきや、「点像復元処理オン画像」と「点像復元処理オフ画像」との間での画質鮮鋭度の乖離を防ぐように、点像復元処理と「ＰＳＦとは異なる基準に基づいて決定される画像処理」（例えば鮮鋭化処理）とが制御される。以下に、点像復元処理と鮮鋭化処理について説明する。

＜点像復元処理・鮮鋭化処理＞
図１５は、画像処理部３５の構成例を示すブロック図である。

本例の画像処理部３５は、ガンマ補正処理部（階調補正部）３３、鮮鋭回復制御部３７、復元処理部３８、輪郭強調処理部（鮮鋭化処理部）３９、及び輝度情報取得部４０を有する。

復元処理部３８は、光学系（レンズ１６等）を用いた被写体の撮影により撮像素子２６から取得される画像データに対し、点拡がり関数に基づく復元フィルタを用いた復元処理を行う（復元処理ステップ）。復元フィルタは、ＰＳＦ劣化を回復するためのフィルタであり、例えばウィナーフィルタを復元フィルタとして好適に使用できる。

輪郭強調処理部３９は、画像データに対し、点拡がり関数に基づかない鮮鋭化フィルタを用いた鮮鋭化処理を行う（鮮鋭化処理ステップ）。鮮鋭化フィルタは、点拡がり関数を直接的に反映するフィルタでなければ特に限定されず、公知の輪郭強調フィルタを鮮鋭化フィルタとして使用可能である。

なお復元フィルタ及び鮮鋭化フィルタの各々に関し、画像全体において単一のフィルタが用意されていてもよいし、画像内の位置毎（像高毎）に異なるフィルタが用意されていてもよい。

鮮鋭回復制御部３７は、復元処理部３８及び輪郭強調処理部３９を制御し、復元処理による画像データの復元率及び鮮鋭化処理による画像データの鮮鋭化率を調整する。この復元率及び鮮鋭化率の調整に関して本例の鮮鋭回復制御部３７は、復元率及び鮮鋭化率に基づくトータル鮮鋭復元率を取得し、復元率及び鮮鋭化率のうちの一方を取得し、復元率及び鮮鋭化率のうちの他方をトータル鮮鋭復元率に基づいて算出する。

輝度情報取得部４０は、撮影により取得された画像データ（原画像データ）に基づく原画像の輝度情報を取得する。ここで輝度情報は、原画像の輝度に関する様々な情報を含む概念である。例えば、輝度情報は、画素毎の輝度値、輝度値の分布、輝度値から得られる飽和画素の情報、撮影露出情報、輝度値のヒストグラム、又は輝度値のヒストグラムの中央値等である。輝度情報取得部４０に取得された輝度情報は、鮮鋭回復制御部３７に送られる。鮮鋭回復制御部３７は、輝度情報に応じて、復元率及び鮮鋭化率を調整する。

鮮鋭化処理に加えて点像復元処理を行う場合、従来の手法によりは鮮鋭復元強度が強くなり過ぎて画像の過補正等を招き、画質を損なうことがある。したがって鮮鋭化処理及び点像復元処理の両者を行う場合は、鮮鋭化処理のみ或いは点像復元処理のみを行う場合に比べ、鮮鋭化処理における鮮鋭化強度や点像復元処理における復元強度を弱めることが好ましい。

また点像復元処理は、撮影シーン（被写体）次第では誤補正によってアーティファクト（リンギング等）などを招くことがある。また撮影条件に応じて異なる復元フィルタを使用する場合、点像復元処理後の画像の復元率や解像感（鮮鋭度）にばらつきが生じることがある。これらの誤補正や画像の鮮鋭度のばらつきは、鮮鋭化処理が行われるとより一層際立つ。

以下の実施形態は、点像復元処理及び鮮鋭化処理を組み合わせた場合であっても上述の過補正や誤補正を効果的に防ぎ、光学系の点拡がり現象によって損なわれた画質を回復して鮮明な画像を得る技術に関する。

図１６は、点像復元強度及び鮮鋭化強度の調整を説明するための概念図である。図１６の「トータル鮮鋭復元強度（トータル鮮鋭復元率）」は、所望の画質から決まる最終鮮鋭度目標強度値であり、画像処理全体に対する入力と出力との大きさの比率を直接的又は間接的に示す。本例の「トータル鮮鋭復元強度（トータル鮮鋭復元率）」は、撮影設定条件（光学特性情報）に応じて変動しうるが、撮影設定条件が決まれば一定の値となる。ここでいう撮影設定条件には、例えばレンズ、絞り、ズーム、被写体距離、感度、撮影モード等の各種の撮影条件及び設定条件が含まれうる。また「点像復元強度」は、点像復元処理による復元強度であって、撮影設定条件（光学特性情報）に応じて定められる。また「鮮鋭化強度」は、鮮鋭化処理による鮮鋭化の強度である。

これらのトータル鮮鋭復元強度、点像復元強度及び鮮鋭化強度は、それぞれの画像処理の前後における画像変化の程度を表す指標であり、画像の変化の程度を適切に表すことが可能な任意の基準に則って定められる。したがって、点像復元処理及び鮮鋭化処理の各々がフィルタ適用処理及びゲインコントロール処理を含む場合には、「フィルタ適用処理及びゲインコントロール処理」の前後の変化が点像復元強度及び鮮鋭化強度によって表される。

例えば点像復元処理と鮮鋭化処理とが並列的に行われ、「点像復元処理による画像復元の程度（点像復元強度）」と「鮮鋭化処理による画像鮮鋭化の程度（鮮鋭化強度）」とが「トータル鮮鋭復元強度」によって定められる場合を想定する。この場合には「点像復元強度＋鮮鋭化強度＝トータル鮮鋭復元強度」の関係が成立し、点像復元強度の増減分だけ鮮鋭化強度が増減し、図１６に示される点像復元強度と鮮鋭化強度との境界位置（Ｂ）が変動しうる。したがって、例えばトータル鮮鋭復元強度及び点像復元強度が定まれば、両者から最適な鮮鋭化強度を算出することが可能である。同様に、トータル鮮鋭復元強度及び鮮鋭化強度が定まれば、両者から最適な点像復元強度を算出することが可能である。

なお図１６は理解を容易にするために直感的な概念図を示すに過ぎず、点像復元処理と鮮鋭化処理とが行われる処理系において「点像復元強度＋鮮鋭化強度＝トータル鮮鋭復元強度」の関係が常に成立することを示すものではない。例えば点像復元処理と鮮鋭化処理とが直列的に行われた場合、点像復元強度と鮮鋭化強度との積に基づいてトータル鮮鋭復元強度が定められる。したがって以下の実施形態では、「点像復元強度及び鮮鋭化強度の両者による周波数増幅率」が「トータル鮮鋭復元強度による周波数増幅率」と一致するように、点像復元強度及び鮮鋭化強度が決められる。

例えば点像復元強度を優先的に設定し、その設定された点像復元強度に応じて鮮鋭化強度を調整することが可能である。この場合、光学系（レンズ１６等）のＰＳＦに応じた点像復元処理を高精度に行うことができる。また、点像復元処理は繊細な処理であり基礎パラメータが正確でないと過補正等の弊害を招き易いが、点像復元強度を優先的に決めることにより、過補正等の弊害を効果的に防げる。

一方、鮮鋭化強度を優先的に設定し、その設定された鮮鋭化強度に応じて点像復元強度を調整することも可能である。この場合、弊害の少ない安定した処理である鮮鋭化処理が優先的に行われる。この鮮鋭化処理を優先的に行うケースは、光学特性に優れた精度を持つ光学系（レンズ１６等）を用いて撮影を行う場合、撮影シーンが夜景やポートレートの場合、アートフィルタ処理が行われる場合、点像復元処理による効果が得難い場合、点像復元処理による弊害が出やすい場合、等に好適である。

点像復元強度及び鮮鋭化強度の調整は様々な基準により行うことができ、例えば特定の周波数や特定の画像位置（像高位置）における周波数増幅率が同じになるように、トータル鮮鋭復元強度を定められる。

このようにトータル鮮鋭復元強度を設定して点像復元強度及び鮮鋭化強度を調整することにより、点像復元処理及び鮮鋭化処理を受けた画像の鮮鋭度（復元率及び解像感）のばらつきを抑え、出力画像の総合的な画質を向上できる。

点像復元強度及び鮮鋭化強度の調整に関する具体的な実施形態について、以下に説明する。

＜第１実施形態＞
図１７は、第１実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態に係る鮮鋭回復制御部３７は、点像復元処理における復元率を取得し、トータル鮮鋭復元率及び復元率に基づいて鮮鋭化処理における「鮮鋭化率」を算出する。また、本実施形態に係る鮮鋭回復制御部３７は、輝度情報に応じて点像復元処理における復元率及び鮮鋭化処理における鮮鋭化率を調整する。

本実施形態の画像処理システムモデルでは、「点像復元処理のための信号処理ブロック」と「任意のシャープネス強調処理のための信号処理ブロック」とが直列に接続（カスケード結合）され、両信号処理ブロックにおいて連続的な信号強度調整が可能となっている。すなわち復元処理部３８及び輪郭強調処理部３９は直列に設けられ、画像データ（原画像データ）は点像復元処理及び鮮鋭化処理のうちの一方の処理（図１７に示す例では「点像復元処理」）を受けた後に他方の処理（図１７に示す例では「鮮鋭化処理」）を受ける。なお、本実施形態では、「点像復元処理のための信号処理ブロック」と「任意のシャープネス強調処理のための信号処理ブロック」とが直列に接続（カスケード結合）される例に関して説明するが、これに限定されるものではない。例えば、「点像復元処理のための信号処理ブロック」と「任意のシャープネス強調処理のための信号処理ブロック」とが並列に接続されてもよい。

復元処理部３８は、点像復元フィルタ処理部４２、復元乗算器４３及び復元加算器４４を含む。点像復元フィルタ処理部４２は、光学系（レンズ１６等）の点拡がり関数に対応する復元フィルタを入力画像データ（原画像データ）に適用する。復元乗算器４３は、点像復元フィルタ処理部４２において得られた画像データに対して復元強度倍率Ｕの乗算を行いゲインコントロールを行う。復元加算器４４は、入力画像データに対して倍率（１−Ｕ）を乗算し、復元強度倍率Ｕが乗算された画像データと加算する。点像復元処理は、これらの点像復元フィルタ処理部４２、復元乗算器４３及び復元加算器４４における一連の処理によって構成される。

なお復元処理部３８は、任意の手法により復元強度倍率Ｕを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。点像復元フィルタ処理部４２において光学系の点拡がり関数に対応する復元フィルタを入力画像データに適用した後、画像の増減分データを算出し、復元乗算器４３において増減分データのゲインコントロールを行い、増減分データ及び復元強度倍率Ｕの乗算を行う。その後、復元加算器４４にて、点像復元フィルタ処理部４２に入力される前の画像データ（入力画像）と、復元強度倍率Ｕが乗算された増減分データとの加算を行うようにしてもよい。

輪郭強調処理部３９は、輪郭強調フィルタ処理部４６、鮮鋭化乗算器４７及び鮮鋭化加算器４８を含む。本例では点像復元処理後の画像データが、入力画像データとして輪郭強調フィルタ処理部４６に入力される。輪郭強調フィルタ処理部４６は、鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用する。鮮鋭化フィルタは任意の手法により決められ、輪郭強調フィルタ処理部４６は、単一の鮮鋭化フィルタを用いてもよいし、複数のフィルタの中から適宜選択されるフィルタを鮮鋭化フィルタとして用いてもよい。鮮鋭化乗算器４７は、輪郭強調フィルタ処理部４６において得られた画像データに対して鮮鋭化強度倍率Ｖの乗算を行いゲインコントロールを行う。鮮鋭化加算器４８は、入力画像データに対して倍率（１−Ｖ）を乗算し、鮮鋭化強度倍率Ｖが乗算された画像データと加算する。鮮鋭化処理は、これらの輪郭強調フィルタ処理部４６、鮮鋭化乗算器４７及び鮮鋭化加算器４８における一連の処理によって構成される。

なお、復元強度倍率Ｕの反映手法と同様に、輪郭強調処理部３９は、任意の手法により鮮鋭化強度倍率Ｖを画像データに反映することができ、本実施形態及び他の実施形態において、上記手法の代わりに上記手法と等価な他の手法を採用してもよい。例えば、輪郭強調フィルタ処理部４６において鮮鋭化フィルタ（輪郭強調フィルタ）を入力画像データに適用した後、画像の増減分データを算出し、鮮鋭化乗算器４７において増減分データのゲインコントロールを行い、増減分データ及び鮮鋭化強度倍率Ｖの乗算を行う。その後、鮮鋭化加算器４８にて、輪郭強調フィルタ処理部４６に入力される前の画像データ（入力画像）と、鮮鋭化強度倍率Ｖが乗算された増減分データとの加算を行うようにしてもよい。

鮮鋭回復制御部３７は、強度自動調整部５２、復元フィルタ選択部５３及び輪郭強調強度選択部５４を含む。復元フィルタ選択部５３は、画像データの撮影に用いられた光学系（レンズ１６等）の点拡がり関数に基づく復元フィルタＸを、撮影設定条件Ｓ（ズーム段、Ｆ値、被写体距離等）に基づいて復元フィルタ記憶部５８から選択する。そして復元フィルタ選択部５３は、選択した復元フィルタＸを、強度自動調整部５２と復元処理部３８の点像復元フィルタ処理部４２とに送信する。点像復元フィルタ処理部４２は、復元フィルタ選択部５３から送られてくる復元フィルタＸを入力画像に適用する。

一方、輪郭強調強度選択部５４は、撮影設定条件Ｓに対応する鮮鋭化強度倍率（輪郭強調強度）Ｖ０を輪郭強調強度リスト記憶部６０から選択し、その選択した鮮鋭化強度倍率Ｖ０を強度自動調整部５２に送信する。本例において輪郭強調強度選択部５４により選択される鮮鋭化強度倍率Ｖ０は、復元処理部３８（点像復元フィルタ処理部４２）において点像復元処理が実質的に行われない場合の鮮鋭化強度倍率である。

この「点像復元処理が実質的に行われない場合の鮮鋭化強度倍率」は、トータル鮮鋭復元率（トータル鮮鋭復元強度）に相当する。すなわち、本例では点像復元強度と鮮鋭化強度とがトータル鮮鋭復元強度によって定められ（図１６参照）、点像復元処理が行われない場合のトータル鮮鋭復元強度は鮮鋭化強度のみによって定まる。したがって、点像復元処理が行われない場合の鮮鋭化強度倍率を鮮鋭化強度倍率Ｖ０として取得して強度自動調整部５２に供給する本例の輪郭強調強度選択部５４は、実質的には、トータル鮮鋭復元率（トータル鮮鋭復元強度）を強度自動調整部５２に供給する。

復元フィルタ記憶部５８は、複数の光学系（レンズ１６等）の点拡がり関数に基づく複数の復元フィルタを撮影設定条件毎に記憶する。輪郭強調強度リスト記憶部６０は撮影設定条件毎に輪郭強調強度を記憶し、特に本例では、点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０（最大輪郭強調強度）が輪郭強調強度リスト記憶部６０に記憶される。なお復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０は、カメラ本体１４に設けられてもよいし、レンズユニット１２に設けられてもよい。

強度自動調整部５２は、復元フィルタ選択部５３からの復元フィルタＸ及び輪郭強調強度選択部５４からの鮮鋭化強度倍率Ｖ０に基づいて、点像復元回復率（復元率）Ｇに応じた復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する（ただし、「復元強度倍率Ｕ≧０」及び「鮮鋭化強度倍率Ｖ≧０」を満たす）。そして強度自動調整部５２は、決定した復元強度倍率Ｕを復元乗算器４３に送信し、鮮鋭化強度倍率Ｖを鮮鋭化乗算器４７に送信する。復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖはそれぞれ復元処理部３８及び輪郭強調処理部３９における強度調整パラメータであり、復元乗算器４３及び鮮鋭化乗算器４７は、強度自動調整部５２から送られてくる復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを使用して乗算処理を行う。

なお強度自動調整部５２は、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６の各々により使用されるフィルタの周波数特性を取得する。例えば、点像復元フィルタ処理部４２により使用される復元フィルタＸは復元フィルタ選択部５３から強度自動調整部５２に送られる。また輪郭強調フィルタ処理部４６により使用される鮮鋭化フィルタも強度自動調整部５２は任意の手法により取得する。例えば、輪郭強調フィルタ処理部４６により使用される鮮鋭化フィルタが固定されている場合、強度自動調整部５２はその鮮鋭化フィルタの周波数特性を予め記憶しておくことにより取得してもよい。また、使用される鮮鋭化フィルタを輪郭強調フィルタ処理部４６から強度自動調整部５２に送信し、強度自動調整部５２は、受信した鮮鋭化フィルタを解析することにより鮮鋭化フィルタの周波数特性を取得してもよい。強度自動調整部５２は、後述のトータル鮮鋭度評価値に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する際に、点像復元フィルタ処理部４２及び輪郭強調フィルタ処理部４６により使用するフィルタの周波数特性を考慮する。具体的には、強度自動調整部５２は、トータル鮮鋭度評価値に各フィルタの周波数特性を反映させ、フィルタの周波数特性を反映したトータル鮮鋭度評価値に基づいて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する。

強度自動調整部５２における復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの決定は、例えば以下のフローに従って行うことができる。

まず撮影設定条件Ｓがカメラ本体コントローラ２８によって取得され、その撮影設定条件Ｓに対応する復元フィルタＸが復元フィルタ選択部５３によって選択される。また点像復元処理がオフの場合の鮮鋭化強度倍率Ｖ０が、輪郭強調強度選択部５４により撮影設定条件Ｓに応じて選択される。

復元フィルタＸは、撮影設定条件Ｓに対応する光学系（レンズ１６等）のＰＳＦに基づく画像劣化の程度を最小二乗基準によって最小化するように設計され、復元フィルタＸの理想的な周波数特性は、ウィナーフィルタ特性によって設計可能である。本例では、復元フィルタＸの理想的な周波数特性が決定された後、その周波数特性を反映したＦＩＲフィルタが復元フィルタＸとして決定される。なお復元フィルタＸは実空間フィルタ及び周波数空間フィルタのいずれであってもよく、複数タップによって構成される実空間フィルタによって復元フィルタＸを構成する場合、理想的な周波数特性を所望タップ数により実現可能な範囲において最良に近似したＦＩＲフィルタを復元フィルタＸとすることが好ましい。また、一般にＰＳＦの形状は像高によって異なるため、復元フィルタＸは画像内の像高に応じて異なる周波数特性を持つことが望ましい。したがって、画像内位置に応じて定められる複数の復元フィルタによって構成されるセットを広義には「復元フィルタＸ」と呼称し、画像内の座標（ｉ，ｊ）の位置（画素）に適用される復元フィルタを「Ｘ_ｉ，ｊ」と表記する。

上述のように復元フィルタＸは、画像データの撮影における撮影設定条件Ｓに基づいて決定されるが、この撮影設定条件Ｓは「点拡がり関数に影響する設定条件」及び「点拡がり関数に影響を及ぼさない撮影条件」を含みうる。「設定条件」は、例えば絞り情報、ズーム情報、被写体距離情報、及び光学系が有するレンズ種類情報のうち少なくともいずれか１つを含みうる。また「撮影条件」は、撮影感度情報及び撮影モード情報のうち少なくともいずれか１つを含みうる。

なお、撮影設定条件Ｓは任意の方式により復元フィルタ選択部５３及び輪郭強調強度選択部５４に入力可能であり、カメラ本体コントローラ２８のデバイス制御部３４及び画像処理部３５のうち撮影設定条件Ｓを管理する制御処理部（図示せず）から復元フィルタ選択部５３及び輪郭強調強度選択部５４に撮影設定条件Ｓが適宜送信される。

一方、点像復元回復率Ｇは、復元処理部３８及び輪郭強調処理部３９における画像処理の前に、予めユーザによって指定される。ユーザによる点像復元回復率Ｇの指定方法は特に限定されず、例えば点像復元回復率Ｇを指定するためのスライダ等の調整手段をユーザインターフェース２９（背面表示部等）に表示し、ユーザがその調整手段を介した操作を行うことにより点像復元回復率Ｇを簡易に定めることも可能である。この点像復元回復率Ｇは復元乗算器４３による点像復元処理の復元強度倍率Ｕをコントロールするための基礎データである。例えば点像復元回復率Ｇの値が所定の閾値よりも大きい場合を除き、復元強度倍率Ｕと点像復元回復率Ｇとは等しい（復元強度倍率Ｕ＝点像復元回復率Ｇ）。点像復元回復率Ｇが０（ゼロ）の場合は、点像復元処理がオフにされていることに相当する。この点像復元処理における復元強度倍率Ｕは、連続的な値をとるように変化してもよいし、離散的な値をとるように変化してもよいし、オン／オフ（所定倍率か「０（ゼロ）」か）により変化してもよく、復元強度倍率Ｕを任意の方式により変更可能な処理回路等を実装することが可能である。

点像復元回復率Ｇの決め方はユーザによる指定に限定されず、任意の情報に基づいて点像復元回復率Ｇが算出決定されてもよい。すなわち鮮鋭回復制御部３７（強度自動調整部５２）は、ユーザが指定する指定回復率に基づいて点像復元回復率（復元率）Ｇを定めてもよいし、光学系の特性を表す光学特性情報に基づいて定められる点像復元回復率Ｇを用いてもよい。ここでいう「光学特性情報」は、光学系が有するレンズ１６の種類情報、光学系の個体差情報、その他の撮影設定条件、等を含みうる。また光学系の光学特性が反映された点像復元回復率Ｇ自体が「光学特性情報」に含まれていてもよい。この光学特性情報は任意の記憶部に記憶され、例えばレンズユニット１２の記憶部（光学系記憶部）に光学特性情報が記憶されてもよいし、カメラ本体１４の記憶部（本体記憶部）に光学特性情報が記憶されてもよい。したがって鮮鋭回復制御部３７（カメラ本体コントローラ２８）等において、点像復元回復率Ｇは、記憶部（光学系記憶部、本体記憶部）に記憶される光学特性情報に基づいて定められてもよい。

また点像復元回復率Ｇの値は撮影設定条件Ｓに依存してもよく、撮影設定条件Ｓに応じて異なる値の点像復元回復率Ｇが鮮鋭回復制御部３７（カメラ本体コントローラ２８）等によって選択されてもよい。この場合、例えば絞り値に依存して発生の程度が変化するアーティファクトを抑えるために、意図的に、特定の絞り値（撮影設定条件Ｓ）においては点像復元回復率Ｇを相対的に低く設定してもよい。

また輝度情報Ｑは、輝度情報取得部４０により取得された入力画像（原画像データ）の輝度に関する情報である。強度自動調整部５２は、輝度情報Ｑを輝度情報取得部４０から取得し、輝度情報Ｑに応じて後述する算出された復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。

輪郭強調フィルタ処理部４６において使用されるフィルタ（鮮鋭化処理における輪郭強調成分を抽出するためのフィルタ）の周波数特性を「φ（ω_ｘ，ω_ｙ）」として、復元フィルタＸ_ｉ，ｊ（点像復元処理における復元成分を抽出するためのフィルタ）の周波数特性を「ｘ_ｉ，ｊ（ω_ｘ，ω_ｙ）」とする。この場合、復元処理部３８及び輪郭強調処理部３９（点像復元処理及び鮮鋭化処理）を組み合わせた図１７に示す画像処理システム全体の周波数特性は、以下の式１によって表される。

「Ｆ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）」は、復元強度倍率Ｕ，鮮鋭化強度倍率Ｖ，周波数特性ｘ_ｉ，ｊをパラメータとした、（ω_ｘ，ω_ｙ）（ｘ方向及びｙ方向に関する周波数）についての関数を示し、この関数は画像処理システムの構成に依存して決定される。

一方、点像復元処理の強度調整（復元乗算器４３において用いられる復元強度倍率Ｕの決定）は、以下の式２によって定義されるトータル鮮鋭度評価値（トータル鮮鋭復元率）Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定の値に保つように実施される。

ここで「ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）」は、画像内位置（画素位置）（ｉ，ｊ）毎に定義される任意の重み関数であり、トータル鮮鋭度評価値（トータル鮮鋭度評価関数）Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）は、システム全体の周波数特性の重み付き演算によって定義される。重み関数ｗｉ，ｊ（ω_ｘ，ω_ｙ）は、視覚的に有意な周波数成分及び／又は画像内位置において大きな値となるように設計されることが好ましい。上記の式２により定義されるトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を用いることによって、点像復元処理の強度を変化させても、注目している周波数帯域及び／又は画像内位置においては周波数強調の程度が変化せず鮮鋭度の大きな乖離は発生しない。一方、重み関数ｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）が比較的小さい周波数帯域及び／又は画像内位置では、点像復元処理による画質の差が目立ち易くなる。

上述を踏まえ、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの値は次のように決定できる。すなわち、強度自動調整部５２に入力される点像復元回復率Ｇに基づいて、単調増加関数により復元強度倍率Ｕの値が決定され、その後、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）が一定の値に保たれるように鮮鋭化強度倍率Ｖの値が決定される。したがって、復元強度倍率Ｕの値が大きくなると鮮鋭化強度倍率Ｖの値が小さくなり、復元強度倍率Ｕの値が小さくなると鮮鋭化強度倍率Ｖの値が大きくなるように、強度自動調整部５２は調整を実施する。ただし復元強度倍率Ｕの値が大き過ぎると、鮮鋭化強度倍率Ｖの値をゼロ「０」にしてもトータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保てない場合が発生しうる。すなわち、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つことが可能な復元強度倍率Ｕの範囲には制限が存在しうる。

復元強度倍率Ｕの上限値を「Ｕ_ＭＡＸ」と表記すると、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）は「Ｃ（Ｕ_ＭＡＸ，０，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たすため、復元強度倍率Ｕの最大値は以下の式３に示すように制限される。

上記の式３は、点像復元回復率Ｇが復元強度倍率Ｕの上限値Ｕ_ＭＡＸ以下の場合には点像復元回復率Ｇを復元強度倍率Ｕに設定し（Ｕ＝Ｇ）、点像復元回復率Ｇが復元強度倍率Ｕの上限値Ｕ_ＭＡＸを超える場合には復元強度倍率Ｕの上限値Ｕ_ＭＡＸを復元強度倍率Ｕに設定する（Ｕ＝Ｕ_ＭＡＸ）ことを示す。

鮮鋭化強度倍率Ｖの値は、図１７の画像処理システムでは、トータル鮮鋭度評価値が「Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）＝Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）」の関係を満たす鮮鋭化強度倍率Ｖを探すことにより算出される。これは１次方程式の解を求めることに等しく、強度自動調整部５２は、鮮鋭化強度倍率Ｖを容易に求められる。鮮鋭化強度倍率Ｖの算出の難易度は、システム全体の周波数特性Ｆａ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）の定義に依存する。この周波数特性Ｆａ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）が非線形関数となって上記の等式を厳密に成立させる鮮鋭化強度倍率Ｖを探すのが難しい場合、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）をトータル鮮鋭度評価値Ｃ（０，Ｖ０，ｘ_ｉ，ｊ）に最も近づける鮮鋭化強度倍率Ｖを採用するという定式化が行われてもよい。

上述の一連の処理によって、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定に保つ復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを算出することができる。

上述したように、トータル復元鮮鋭度（トータル鮮鋭度評価値）に基づいて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが定められるため、点像復元処理及び鮮鋭化処理を経た画像（出力画像）の鮮鋭度のばらつきが抑えられ、出力画像における総合的な解像度や画質を安定化できる。

特に視覚上主要な周波数帯域及び／又は画像内位置における重み付けが大きくなるようにトータル鮮鋭度評価値を定めることにより、視覚上主要な周波数帯域及び／又は画像内位置における復元強度及び鮮鋭化強度が一定化され、鮮鋭度の乖離が過大になることを防げる。

また点像復元処理は、光学系のＰＳＦに応じた高精度な画像回復処理を実現可能だが、撮影シーンや撮影条件によってアーティファクトを発生させ易く、画質への影響度が高い。したがって、本実施形態のように点像復元処理の復元強度倍率Ｕ（復元率）を優先的に設定することにより、総合的な解像度や画質を効果的に向上できる。例えば復元率（点像復元回復率Ｇ、復元強度倍率Ｕ）を低く設定することにより、撮影シーン等に応じて生じうるアーティファクトやリンギングを目立たせないようにでき、その一方で、鮮鋭化処理によって鮮鋭度を向上させることも可能である。

また２つの画像処理（点像復元処理及び鮮鋭化処理）の強度調整パラメータの制御は、一般に「２変数（復元強度、鮮鋭化強度）」の制御が必要となり、制御の自由度は「２」となる。しかしながら本実施形態に係る強度調整処理によれば、必要とされる制御の自由度は「１」となり、点像復元回復率Ｇを決めるだけで、適切な復元強度及び鮮鋭化強度（復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖ）を定めることが可能である。

＜輝度情報に応じた復元率及び鮮鋭化率の調整＞
本発明の実施形態は、上述のようにして求められた復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを、さらに輝度情報Ｑに応じて調整する。すなわち、強度自動調整部５２は、原画像の輝度情報Ｑに応じて、復元強度倍率Ｕを大きく又は小さくしたり、鮮鋭化強度倍率Ｖを大きく又は小さくしたりする。以下に、強度自動調整部５２が輝度情報Ｑに応じて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する具体例を説明する。

（第１の例）
第１の例では、強度自動調整部５２は、輝度情報Ｑである「原画像を構成する画素毎の輝度値及び輝度値の分布」に応じて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。

図１８は、原画像Ｗの領域毎に、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが調整されることを説明する概念図である。原画像Ｗは、５×５の等分された領域ｒを有する。また、原画像Ｗは、「領域ｒ内の画素値から求められる領域ｒの輝度値」が高い領域ｒ（符号１ｒで示す）[以下では、領域ｒ（符号１ｒ）と記す]を有する。なお、「領域ｒ内の画素値から求められる領域ｒの輝度値」は、様々な方法により求めることができる。例えば、「領域ｒ内の画素値から求められる領域ｒの輝度値」は、領域ｒ内の画素値から求められる輝度値の総和とすることもできるし、領域ｒ内の画素値の平均とすることもできる。

輝度情報取得部４０は、原画像Ｗの輝度情報Ｑとして、領域ｒ（符号１ｒ）に関する情報を取得する。例えば、輝度情報Ｑは、領域ｒ（１ｒ）の輝度値や原画像Ｗにおける領域ｒ（１ｒ）の位置情報等である。そして、輝度情報取得部４０は、取得した輝度情報Ｑを強度自動調整部５２に送る。

例えば、強度自動調整部５２は、送られてきた輝度情報Ｑに応じて、復元強度倍率Ｕを小さくし鮮鋭化強度倍率Ｖを大きくする。すなわち、強度自動調整部５２は、原画像Ｗの領域ｒ（１ｒ）に対する復元倍率は復元強度倍率Ｕよりも小さく調整し、原画像Ｗの領域ｒ（１ｒ）に対する鮮鋭化強度倍率は鮮鋭化強度倍率Ｖよりも大きく調整する。この場合、強度自動調整部５２は、トータル鮮鋭復元強度を一定に保つように、輝度情報Ｑに応じて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。

このように、強度自動調整部５２が輝度情報Ｑに応じて原画像Ｗの領域ｒ毎に復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整することにより、本態様は、輝度値が高い領域[領域ｒ（１ｒ）]に対する復元処理により発生する画質劣化を防ぐことができる。

図１９は、原画像Ｗの画素毎に、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整することを説明する概念図である。原画像Ｗは、１０×１０の画素ｐから構成される。また、原画像Ｗは、輝度値が高い画素ｐ（符号１ｐ〜４ｐにより示す）を有する。なお、図１９は説明のためのものであり、図中に示された画像を構成する画素の数は実際の画像より少ない。

輝度情報取得部４０は、原画像Ｗの輝度情報Ｑとして、輝度値が大きい画素に関する情報を取得する。その後、輝度情報取得部４０は、取得した輝度情報Ｑを強度自動調整部５２に送る。例えば、輝度情報Ｑは、輝度値が高い画素の位置情報や画素毎の輝度値の分布等である。また、輝度情報Ｑは、輝度値から得られる飽和画素の情報（飽和画素の位置情報等）としてもよい。なお、ここで飽和画素とは、の画素値（輝度値）の最大階調数、例えば８ｂｉｔデータにおける２５５を示す画素のことである。

強度自動調整部５２は、上述した領域毎に復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する場合と同様に、輝度情報Ｑに応じて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。また、画素が飽和画素のように非常に高い輝度値を有する画素の場合には、強度自動調整部５２は「復元処理をしない」とすることもできる。この場合において、強度自動調整部５２は、トータル鮮鋭復元率を一定に保つように鮮鋭化率を調整する。

このように、強度自動調整部５２が輝度情報Ｑに応じて画素毎の輝度値の復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整することにより、輝度値が高い画素に対する復元処理により発生する画質劣化を防ぐことができる。また、強度自動調整部５２は、トータル鮮鋭復元率を一定に保つように復元率及び鮮鋭化率の調整を行うので、画像のボケ等に違和感の発生が抑制される。

（第２の例）
第２の例では、強度自動調整部５２は、輝度情報Ｑである「飽和画素の情報」に応じて、飽和画素及び飽和画素の周辺にある画素の画素値に対する復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの少なくても一方を調整してもよい。

図２０は、飽和画素及び飽和画素の周辺にある画素における復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの調整に関して説明する概念図である。図２０では、図１９の原画像Ｗの画素ｐ（符号１ｐ〜４ｐ）が飽和画素として示され、飽和画素（１ｐ〜４ｐ）の周辺にある画素が斜線により示されている。

輝度情報取得部４０は、輝度情報Ｑとして飽和画素の情報を取得する。また、輝度情報取得部４０は、輝度情報Ｑとして飽和画素の周辺にある画素の輝度値を取得してもよい。飽和画素の周辺にある画素の範囲としては、復元フィルタのタップ数の2倍程度の画素領域の範囲としてもよく、また復元フィルタのタップ数の画素領域の範囲に適用してもよく、更に復元フィルタのタップ数の半分の画素領域の範囲と設定してもよい。

強度自動調整部５２は、送られてきた輝度情報Ｑに応じて、復元強度倍率Ｕを小さくし鮮鋭化強度倍率Ｖを大きくする。すなわち、強度自動調整部５２は、飽和画素の情報に応じて、飽和画素（１ｐ〜４ｐ）及び飽和画素の周辺にある画素の画素値に対する復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの少なくても一方を調整する。例えば、強度自動調整部５２は、飽和画素（１ｐ〜４ｐ）の画素値に対しては復元強度倍率Ｕを１／３に、飽和画素（１ｐ〜４ｐ）の周辺にある画素の画素値に対しては復元強度倍率Ｕを２／３に調整する。この場合、強度自動調整部５２は、トータル鮮鋭復元率を一定に保つように鮮鋭化強度倍率Ｖを調整する。また、強度自動調整部５２は、鮮鋭化強度倍率Ｖに関しても同様に調整してもよい。

このように、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが調整されることにより、画像のボケ等の変化に違和感を感じさせない滑らかな画像処理が実現できる。

（第３の例）
第３の例では、強度自動調整部５２は、輝度情報Ｑである「輝度値のヒストグラム」又は「輝度値のヒストグラムの中央値」に応じて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。すなわち、第３の例では強度自動調整部５２は、原画像が撮影された撮影シーンに応じて、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。以下に撮影シーンによる復元強度倍率Ｕと鮮鋭化強度倍率Ｖの調整に関して説明する。

画像データ（撮影シーン）が全体的に明るい高輝度側に偏っている場合、画像全体における高輝度領域が占める割合が相対的に大きくなり、光学系の点拡がり関数とのマッチングのずれが大きい画像領域が増大する。したがって、高輝度側に偏っている画像データに対する点像復元処理では、過補正等が生じる領域が相対的に増え、画像全体として画質低下が目立ち易い。

このように、全体的に高輝度側に偏っているシーンの画像データであってガンマ補正処理後の画像データは、点拡がり関数に対するマッチングずれが大きい高輝度側の画素比率が大きい。そのような画像データに対し、点拡がり関数に対するマッチングずれが大きい「真数（ガンマ補正処理前の画像データ）に対応する復元フィルタ」による点像復元処理を適用すると、点像復元処理による画質劣化がより一層目立ち易い。加えて、そのような画像データは低輝度側の画素比率が少ないため、「ガンマ補正処理後の画像データに対してガンマ補正処理前の画像データに対応する復元フィルタを用いた点像復元処理」による有益な効果が弱くなってしまう場合もある。

図２１は、第３の例における復元処理を含む画像処理の流れを示すフローチャートである。復元処理に先立って、画像処理部３５（ガンマ補正処理部３３）におけるガンマ補正処理が原画像データに対して行われる（図２１のＳ１１：階調補正ステップ）。ガンマ補正処理後の原画像データは鮮鋭回復部３６に入力され、輝度情報取得部４０によってガンマ補正処理後の原画像データの輝度値のヒストグラムが取得される（Ｓ１２：輝度情報取得ステップ）。

そして鮮鋭回復制御部３７の強度自動調整部５２は、輝度情報Ｑとして「原画像データの輝度値のヒストグラム」又は「輝度値のヒストグラムの中央値」に基づき、ガンマ補正処理後の原画像データが高輝度シーン（ハイライトシーン）の輝度状態を満たすか否かを判別する（Ｓ１３）。

ここでいう「高輝度シーンの輝度状態」とは、画像データの輝度状態が高輝度側に偏っている状態であって、復元処理を行った場合に画質劣化（過補正等）が生じ易い状態或いは目立ち易い状態をいう。したがって、高輝度シーンか否かの判定手法は種々の観点から規定することが可能である。なお、「高輝度シーンか否かの判定手法」の詳細は後述する。

原画像データが高輝度シーンの輝度状態を満たす場合（Ｓ１３のＹｅｓ）、鮮鋭回復制御部３７の強度自動調整部５２は、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する（Ｓ１４：鮮鋭回復制御ステップ）。その後、調整後の復元強度倍率Ｕに基づく復元処理が復元処理部３８において、鮮鋭化処理が輪郭強調処理部３９において行われる（Ｓ１５及びＳ１６）。具体的には、強度自動調整部５２は、原画像データが高輝度シーンの輝度状態にある場合には、原画像データが高輝度シーンの輝度状態を満たさない場合よりも復元強度倍率Ｕを下げるように調整する。そして、鮮鋭化強度倍率Ｖはトータル鮮鋭復元率を一定に保つように調整される。なお、図２１には、原画像データが高輝度シーンの輝度状態にある場合には復元強度倍率Ｕを下げる例が示されているが、強度自動調整部５２は、原画像データが高輝度シーンの輝度状態にある場合には原画像データに対する復元処理を行わないように、復元強度倍率Ｕを制御してもよい。

一方、原画像データが高輝度シーンの輝度状態にない場合（Ｓ１３のＮｏ）、鮮鋭回復部３６の強度自動調整部５２は復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの調整は行わず、復元処理が復元処理部３８により、鮮鋭化処理が輪郭強調処理部３９により行われる（Ｓ１５及びＳ１６）。

上述したように第３の例では、強度自動調整部５２が、「輝度値のヒストグラム」又は「輝度値のヒストグラムの中央値」に応じて原画像の撮影シーンを判断し、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。これにより、高輝度シーンの画像データに対する点像復元処理に起因して発生する画質劣化を防ぐことができる。

＜高輝度シーン＞
次に、画像データの輝度と点像復元処理による画質劣化（過補正等）との関係について説明する。

図２２は、ガンマ補正処理（対数化処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）であり、特に過補正等による画質劣化を生じ易い領域を説明するための図である。図２２の横軸はガンマ補正処理前データ（ガンマ補正処理入力データ「ＩＮ」）を示し、縦軸はガンマ補正処理後データ（ガンマ補正処理出力データ「ＯＵＴ」）を示す。また、図２２の符号「Ｒ_Ｌ」は低輝度領域を示し、符号「Ｒ_Ｍ」は中輝度領域を示し、符号「Ｒ_Ｈ」は高輝度領域（ハイライト領域）を示す。なお、図２２のグラフ中の実線によって示されるガンマ補正処理階調カーブは一例に過ぎず、低輝度領域Ｒ_Ｌ、中輝度領域Ｒ_Ｍ及び高輝度領域Ｒ_Ｈの区別は、相対的な関係を示すものに過ぎず、各領域の具体的な位置等については一義的に解釈されるべきではない。

点像復元処理によって過補正等による画質劣化を生じ易い領域は、ガンマ補正処理特性を考慮すると、低輝度領域Ｒ_Ｌ及び中輝度領域Ｒ_Ｍよりも高輝度領域Ｒ_Ｈに存在する。例えば、輝度信号（Ｙ）／色差信号（ＣｒＣｂ）によって画像データが表される場合の輝度信号（Ｙ）成分が、最高輝度値に対して８０％以上の値を示す高輝度領域Ｒ_Ｈにおいて、点像復元処理よる画質劣化が目立ち易い。ただし、実際のガンマ補正処理では輝度領域（低輝度領域、中輝度領域、高輝度領域等）毎に特有のガンマ補正処理階調カーブが適用されることがあるため、点像復元処理による画質劣化が目立つ範囲は、ガンマ補正処理特性に応じて変動しうる。例えば「低輝度領域ではガンマ補正処理によるゲイン量を抑えることによりノイズの見栄えを改善し、中輝度領域ではガンマ補正処理によるゲイン量を増大してメリハリ感を強調し、高輝度領域ではガンマ補正処理によるゲイン量を抑えることにより階調変化を緩やかにする」ガンマ補正処理階調カーブに基づいて、ガンマ補正処理を行うことが可能である。このガンマ補正処理階調カーブに基づくガンマ補正処理が行われる場合、高輝度領域のうち階調変化を緩やかにするためにガンマ補正処理によるゲイン量が抑えられるポイント（ニーポイント；図２２の符号「Ｎ」参照）よりも高輝度側の領域において、点像復元処理よる画質劣化（過補正等）が目立ち易いと判断しうる。

＜高輝度領域の割合に基づく復元処理コントロール＞
図２３〜図２５は、点像復元処理よる画質劣化（過補正等）が生じ易い輝度領域と、画像データにおける輝度分布とを示す図である。図２３は、ガンマ補正処理（対数化処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）であり、横軸はガンマ補正処理前データ（ガンマ補正処理入力データ「ＩＮ」）を示し、縦軸はガンマ補正処理後データ（ガンマ補正処理出力データ「ＯＵＴ」）を示す。図２４及び図２５の各々は、原画像データの輝度分布例を示し、図２４は点像復元処理よる画質劣化（過補正等）が生じ易い輝度分布例を示し、図２５は点像復元処理よる画質劣化（過補正等）が生じ難い輝度分布例を示す。なお、図２４及び図２５の横軸は輝度値を示し、紙面に向かって右側ほど大きな輝度値（高輝度）を示し、左側ほど小さな輝度値（低輝度）を示す。また、図２４及び図２５の縦軸は頻度を示し、紙面に向かって上側ほど原画像データにおける対応輝度値の出現頻度が高いことを示し、下側ほど対応輝度値の出現頻度が低いことを示す。

上述のように、図２３の符号「Ｒ」により示される高輝度領域において、点像復元処理よる画質劣化（過補正等）が生じ易い。したがって、図２４に示すように、原画像データの輝度分布が高輝度領域に偏っている場合には、点像復元処理よる画質劣化（過補正等）が目立ち易い。そのため、例えばスポットタイプのＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機構（顔認識型の自動露出機構（顔ＡＥ）等）によって画像のうち特定領域は高輝度側に偏っていないと判断される場合であっても、画像全体として高輝度側に偏った輝度分布を原画像データが有する場合は、点像復元処理よる画質劣化（過補正等）が目立ち易い。しかしながら、本実施形態によれば、点像復元処理よる画質劣化（過補正等）が目立ち易い画像データであっても、点像復元処理による復元強度が下げられ、或いは点像復元処理が行われず、点像復元処理よる画質劣化（過補正等）を有効に防ぐことができる。

一方、図２５に示すように原画像データの輝度分布が高輝度側に偏っていない場合には、点像復元処理よる画質劣化（過補正等）が目立ち難い。本実施形態によれば、点像復元処理よる画質劣化（過補正等）が目立ち難いそのような画像データに対しては、通常の点像復元処理が行われ、画質が良好に回復された回復画像データを得ることができる。

＜高輝度シーンの具体例＞
本例では、上述のように、原画像データが高輝度側に偏っているか否か（すなわち原画像データが高輝度シーンに該当するか否か）に応じて復元強度の調整がコントロールされ、点像復元処理よる画質劣化（過補正等）が効果的に防がれる。原画像データが高輝度側に偏っているか否か（すなわち原画像データが高輝度シーンに該当するか否か）の判断は、点像復元処理よって画質劣化が生じる或いは目立つ可能性の高い輝度分布（明るさの分布）に基づいて行うことが可能である。

具体的には、原画像データが高輝度側に偏っているか否か（すなわち原画像データが高輝度シーンに該当するか否か）の判断手法として、「原画像データの輝度分布（明るさの分布）の頻度ピーク位置の輝度値が閾値（第１の閾値）以上か否か」、「原画像データの輝度分布（明るさの分布）の第１の閾値以上の輝度値の割合が第２の閾値以上か否か」等を基準とする手法が挙げられる。

鮮鋭回復制御部３７（強度自動調整部５２）は、例えば、原画像データを構成する画素の輝度毎の頻度を示す輝度分布において頻度のピーク（図２４の符号「Ｐ」参照）を示す輝度値（図２４の符号「Ｌｐ」参照）に基づき、復元率（復元強度倍率）を制御することにより点像復元処理をコントロールすることが可能である。より具体的には、鮮鋭回復制御部３７（強度自動調整部５２）は、原画像データを構成する画素の輝度毎の頻度を示す輝度分布において頻度のピークを示す輝度値が閾値（第１の閾値）以上の場合には、原画像データが高輝度シーンの輝度状態を満たすと判別してもよい。

このように「原画像データの輝度分布（明るさの分布）の頻度ピーク位置の輝度値が閾値（第１の閾値）以上か否か」を基準とする場合、最高輝度値の８０％程度をここで用いる閾値に設定してもよい。例えば輝度値が０〜２５５の２５６階調により表現可能な場合、最高輝度値の８０％程度に相当する輝度値「２０５」を閾値として採用しうる。したがって鮮鋭回復制御部３７（強度自動調整部５２）は、「原画像データの輝度分布の頻度ピーク位置の輝度値が「２０５」以上の場合」には原画像データが高輝度シーンに該当すると判別し、「原画像データの輝度分布の頻度ピーク位置の輝度値が「２０５」よりも小さい場合」には原画像データが高輝度シーンには該当しないと判別することも可能である。

また鮮鋭回復制御部３７（強度自動調整部５２）は、例えば原画像データを構成する画素の輝度毎の頻度を示す輝度分布における第１の輝度値以上の画素の占める割合に基づき、復元率（復元強度倍率）を制御することにより点像復元処理をコントロールしてもよい。より具体的には、鮮鋭回復制御部３７（強度自動調整部５２）は、原画像データを構成する画素の輝度毎の頻度を示す輝度分布における第１の閾値以上の輝度値の画素の占める割合が第２の閾値以上の場合には、原画像データが高輝度シーンの輝度状態を満たすと判別してもよい。

このように「原画像データの輝度分布（明るさの分布）の第１の閾値以上の輝度値の割合が第２の閾値以上か否か」を基準とする場合、最高輝度値の８０％程度を第１の閾値として採用し、画素数全体の５０％程度を第２の閾値として採用しうる。例えば輝度値が０〜２５５の２５６階調により表現可能な場合、最高輝度値の８０％程度に相当する輝度値「２０５」を第１の閾値として採用し、原画像データを構成する画素数全体の５０％の画素数を第２の閾値として採用してもよい。したがって鮮鋭回復制御部３７（強度自動調整部５２）は、「原画像データの輝度分布の輝度値「２０５」以上の画素数の割合が画像全体の画素数の５０％以上の場合」には原画像データが高輝度シーンに該当すると判別し、「原画像データの輝度分布の輝度値「２０５」以上の画素数の割合が画像全体の画素数の５０％よりも小さい場合」には原画像データが高輝度シーンには該当しないと判別してもよい。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

図２６は、第２実施形態に係る鮮鋭回復部３６の一例を示す機能ブロック図である。

本実施形態に係る輝度情報取得部４０は、輝度情報Ｑとして「撮影露出情報」を取得する。

鮮鋭回復制御部３７は、輝度情報取得部４０が取得する撮影露出情報（撮影露出量）に基づき、復元処理部３８及び輪郭強調処理部３９を制御することにより点像復元処理及び鮮鋭化処理をコントロールする。具体的には、鮮鋭回復制御部３７は、適正露出量取得部９１によって取得される適正露出量と撮影露出量との差に基づき、復元処理部３８及び輪郭強調処理部３９を制御することにより点像復元処理及び鮮鋭化処理をコントロールする。

ここでいう「撮影露出情報」は撮影露出量のことであり、撮影露出量はデジタルカメラ（撮影装置）１０における撮影時の露出量であり、原画像データを取得した際の撮影条件（絞り値（Ｆ値）、シャッタースピード）に応じて変動しうる値である。

一方、「適正露出量」は、適正であると推測される露出量であり、露出計（図示省略）による測光モードに応じて定められてもよい。この適正露出量は、適正露出量取得部９１によって任意の手法により取得される。例えば適正露出量が予め決められている場合には、その予め決められた適正露出量をメモリ（図示省略）に記憶しておき必要に応じて適正露出量が読み出されて取得されてもよい。また、適正露出量が撮影条件等に応じて変動する場合には、適正露出量取得部９１において適正露出量を算出取得してもよい。取得された適正露出量の情報は、適正露出量取得部９１から輝度情報取得部４０に送られる。

なお、露出計は特に限定されず、ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式の露出計のようにカメラ本体１４に露出計が内蔵されてもよいし、カメラ本体１４に露出計が外付けされてもよい。また、被写体の反射光を測定する反射光式露出計が使われてもよいし、被写体の反射光以外の光を測定する入射光式露出計が使われてもよい。また、測光モードも特に限定されず、画像全体にわたって測光する多分割測光モード、画像中央部を重点的に測光する中央重点平均測光モード、被写体の極めて狭い部分に基づいて測光するスポット測光モード、或いは他の測光モードが使われてもよい。

輝度情報取得部４０は、任意の手法によって撮影露出量を取得することが可能であり、例えば撮影露出量がメモリ（図示省略）に記憶されている場合にはそのメモリから直接的に撮影露出量を取得してもよいし、原画像データ、露出計による測光値、撮影条件等のデータから撮影露出量を間接的に算出取得してもよい。特に、撮影露出量はユーザによって個別的に変更可能であるため、例えばユーザがシャッタースピードや絞り値（Ｆ値）をマニュアルにより設定する場合や露出設定（ＥＶ値）をマニュアルにより設定或いは変更する場合、撮影露出量が適正露出量とは異なる値となりうる。

適正露出量は、画像が暗くなり過ぎたり明るくなり過ぎたりすることを防ぐ観点から導出される適正な露出量である。しかしながら、実際には、種々の要因から適正露出量は必ずしも適正な値ではなかったり、適正露出量がユーザの嗜好やニーズに合わないケースもある。したがって、ユーザによる撮影露出量の変更機能は、適正露出量の不完全さを補完してユーザの嗜好やニーズに応じた撮影を実現するためにデジタルカメラ１０（ユーザインターフェース２９、カメラ本体コントローラ２８等）に搭載される機能である。

このように適正露出量とは異なる値に撮影露出量を設定可能な場合、ＥＶ値が大きくなる（画像が明るくなる）ように撮影露出量が設定されると、撮影によって得られる画像（原画像データ）は、高輝度側に偏った高輝度シーンに該当し易くなる。

本実施形態では、撮影画像データ（原画像データ）が高輝度側に偏った高輝度シーンに該当し易くなる撮影露出量により原画像データが取得される場合に、点像復元処理の復元強度を下げたり点像復元処理を行わないようにすることにより、点像復元処理による画質劣化（過補正等）が防がれる。

具体的には、鮮鋭回復制御部３７は、原画像データを取得した際の撮影露出量と適正露出量との差が閾値（第３の閾値）以上かを判断し、判断結果に基づいて復元処理の強度をコントロールする。ここで用いられる閾値（第３の閾値）は、高輝度側に偏った画像（高輝度シーンに該当する画像）が撮影される可能性が高いか否かに応じて適宜決められ、適正露出量に対する撮影露出量の相対的な大きさによって決定可能である。

例えば、撮影露出量と適正露出量との差が閾値ｔ３（第３の閾値）以上（（撮影露出量−適正露出量）≧ｔ３）の場合には、撮影露出量と適正露出量との差が閾値ｔ３よりも小さい場合よりも、復元強度を弱めるように点像復元処理を行ったり、点像復元処理を行わずにスキップするように、鮮鋭回復制御部３７は復元処理部３８を制御してもよい。

また、撮影露出量と適正露出量との差の大きさに応じて、「通常の復元強度の点像復元処理」、「通常よりも復元強度を弱めた点像復元処理」及び「点像復元処理のスキップ」の各種処理を切り替えてもよい。例えば、撮影露出量と適正露出量との差が閾値ｔ３（第３の閾値）よりも小さい場合（（撮影露出量−適正露出量）＜ｔ３）には「通常の復元強度の点像復元処理」を行い、撮影露出量と適正露出量との差が閾値ｔ３以上であって他の閾値ｔ４（第４の閾値；ただし「ｔ４＞ｔ３」）よりも小さい場合（ｔ４＞（撮影露出量−適正露出量）≧ｔ３）には「通常よりも復元強度を弱めた点像復元処理」を行い、撮影露出量と適正露出量との差が閾値ｔ４以上の場合（ｔ４≦（撮影露出量−適正露出量））には「点像復元処理をスキップ」するように、鮮鋭回復制御部３７は復元処理部３８を制御してもよい。

なお、「撮影露出量と適正露出量との差」は、両者の絶対値の差に基づいてもよいし、両者の絶対値の差を示す他の指標に基づいてもよい。ＥＶ値の設定態様として、例えば適正露出量を基準に露出オーバー側及び／または露出アンダー側に複数段のＥＶ値候補が定められており、そのＥＶ値候補の中からユーザが撮影露出量を適宜選択することができるケースがある。例えば、適正露出量（０）に加えて露出オーバー側に３段階（＋１〜＋３）及び露出アンダー側に３段階（−１〜−３）のＥＶ値候補が定められ、これらのＥＶ値候補（＋３〜−３）の中から、ユーザが撮影露出量を適宜選択することができる場合がある。この場合、例えば「＋２」を上述の閾値ｔ３（第３の閾値）とし、この「＋２」よりも小さなＥＶ値候補（すなわち「−３〜＋１」）がユーザによって選択された場合には「通常の復元強度の点像復元処理」を行い、「＋２」以上のＥＶ値候補（すなわち「＋２〜＋３」）がユーザによって選択された場合には「通常よりも復元強度を弱めた点像復元処理」を行うように、鮮鋭回復制御部３７は復元処理部３８を制御してもよい。また、例えば「＋１」を上述の閾値ｔ３（第３の閾値）として「＋２」を上述の閾値ｔ４（第４の閾値）とし、上述の態様と同様に、「通常の復元強度の点像復元処理」、「通常よりも復元強度を弱めた点像復元処理」及び「点像復元処理のスキップ」という各種処理を切り替えるように、鮮鋭回復制御部３７は復元処理部３８を制御してもよい。

なお、「原画像データが高輝度側に偏った高輝度シーンに該当し易くなる撮影露出量で原画像データが取得されたか否か」の判別に用いられる上述の閾値（第３の閾値及び第４の閾値）は、予め設定されていてもよいし、ユーザによって個別的に設定又は変更されてもよいし、撮影モード等の撮影条件に応じて設定又は変更されてもよい。

図２７は、第２実施形態に係る点像復元処理を含む画像処理の流れを示すフローチャートである。図２７には、撮影露出量と適正露出量との差が閾値（第３の閾値）以上の場合には、撮影露出量と適正露出量との差が閾値（第３の閾値）よりも小さい場合と比べて点像復元処理の復元強度を弱めたり、点像復元処理をスキップすることにより、点像復元処理よる画質劣化（過補正等）を防ぐ場合の処理フロー例が示されている。

本例においても、点像復元処理に先立って、画像処理部（ガンマ補正処理部３３）３５におけるガンマ補正処理が原画像データに対して行われる（図２７のＳ２１：階調補正ステップ）。

ガンマ補正処理後の原画像データは鮮鋭回復部３６に入力され、適正露出量取得部９１によって適正露出量が取得され、輝度情報取得部４０によって撮影露出量が取得される（Ｓ２２：撮影露出量取得ステップ）。

そして、取得された適正露出量及び撮影露出量に基づき、鮮鋭回復制御部３７は、撮影露出量と適正露出量との差が閾値（第３の閾値）以上か否かを判別する（Ｓ２３）。このステップは、上述のように、撮影取得される原画像データが高輝度側に偏った高輝度シーンに該当し易くなる条件により撮影が行われたか否かを判別するステップであり、判別の基準となる閾値（第３の閾値）は適宜定められる。

撮影露出量と適正露出量との差が閾値（第３の閾値）以上の場合（Ｓ２３のＹｅｓ）、鮮鋭回復制御部３７（強度自動調整部５２）は、点像復元処理の復元強度及び鮮鋭化処理の鮮鋭化強度が調整され（Ｓ２４）、調整後の復元強度に基づく点像復元処理が復元処理部３８により行われ（Ｓ２５）、調整後の鮮鋭化強度に基づく鮮鋭化処理が輪郭強調処理部３９により行われる（Ｓ２６）。具体的には、撮影露出量と適正露出量との差が閾値（第３の閾値）以上の場合には、撮影露出量と適正露出量との差が閾値（第３の閾値）よりも小さい場合よりも点像復元処理による復元強度を下げるように、鮮鋭回復制御部３７は復元強度を制御する。なお、鮮鋭回復制御部３７は、撮影露出量と適正露出量との差が閾値（第３の閾値）以上の場合には原画像データに対する点像復元処理を行わないように、復元処理部３８を制御してもよい。また、調整された復元強度を考慮して、鮮鋭化強度を、トータル鮮鋭復元率が一定になるように制御する。

一方、撮影露出量と適正露出量との差が閾値（第３の閾値）よりも小さい場合（Ｓ２３のＮｏ）、鮮鋭回復制御部３７は、点像復元処理の復元強度及び鮮鋭化処理の鮮鋭化率の調整は行われず、通常の復元強度に基づく点像復元処理が復元処理部３８により、そして、通常の鮮鋭化強度に基づく鮮鋭化処理が輪郭強調処理部３９により行われる（Ｓ２５及びＳ２６）。

＜第３実施形態＞
本実施形態では、カメラ本体１４に装着されるレンズユニット（光学系）１２の個体差情報が反映された点像復元回復率Ｇが強度自動調整部５２に入力される。したがって、強度自動調整部５２は、光学系の個体差情報を含む光学特性情報及び輝度情報Ｑに基づいて復元強度倍率Ｕを決定する。なお、個体差情報とは、レンズ個体ごとの情報であって、レンズ個体差に応じて復元率又は鮮鋭化率を調整するために用いる情報のことをいう。また、個体差情報とは、製造誤差等による光学系に個別的に生じうる誤差に関する情報を含む。個体差情報は個体差を直接的に示すものであってもよいし間接的に示すものであってもよく、例えば光学系に割り当てられるロットナンバーやシリアルナンバーを個体差情報として用いてもよい。

図２８は、第３実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図１７に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

レンズユニット１２（特にレンズ１６等の光学系）は製造誤差等のために光学特性に関して個体差があり、その個体差によってレンズユニット１２毎にＰＳＦが厳密には異なる。したがって、レンズユニット１２（光学系）の個体差を無視して点像復元処理を行うと、同一種類のレンズユニット１２を用いて撮影した画像であっても復元度が異なり、復元画像におけるアーティファクトの出現態様も異なることがある。

理想的には、レンズユニット１２の光学特性を忠実に反映したＰＳＦに基づいて点像復元処理が行われ、復元画像にアーティファクトは生じない。しかしながら実際には、レンズユニット１２の個体差に起因して、処理対象画像におけるＰＳＦの影響と、点像復元処理により使用する復元フィルタの基礎を構成するＰＳＦとがマッチングしておらず、復元画像にアーティファクトが生じることがある。個体差が原因で生じるアーティファクトを防ぐための一手法として、点像復元処理における復元強度倍率Ｕを小さい値に設定することにより復元度を抑える手法があるが、復元強度倍率Ｕを小さくすると画像が十分には復元されず所望の鮮鋭度が得られない。この鮮鋭度落ちを防ぐための一手法として、レンズユニット１２の個体毎に、所望のトータル鮮鋭度を実現するための鮮鋭化強度倍率Ｖを逐次調整することが考えられるが、そのような逐次調整は手間がかかる作業であり、不便である。

本実施形態では、点像復元処理の回復強度がレンズ（光学系）の個体毎に調整され、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの決定が自動化される。

すなわち本実施形態では、レンズユニット記憶部２１が復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０を含むとともに、点像復元強度リスト記憶部６７を更に含む。点像復元強度リスト記憶部６７には、レンズユニット１２（光学系）に特有の点像復元回復率Ｇを記憶し、この点像復元回復率Ｇはレンズユニット１２の個体差情報Ｔが反映された値となっている。また、復元フィルタ記憶部５８にはレンズユニット１２（光学系）の種別に応じた復元フィルタＸが記憶されている。なお、復元フィルタＸは同じ種別のレンズユニット１２（光学系）に対して共通に使用される。

点像復元強度リスト記憶部６７に記憶される点像復元回復率Ｇは、鮮鋭回復制御部３７が有する回復率選択部６９によって読み出されて強度自動調整部５２に供給される。すなわち回復率選択部６９は、撮影設定条件Ｓに対応する点像復元回復率Ｇを、点像復元強度リスト記憶部６７から読み出して強度自動調整部５２に供給する。強度自動調整部５２は、上述の第１実施形態と同様に、供給される点像復元回復率Ｇから復元強度倍率Ｕを決定し、この復元強度倍率Ｕ及びトータル鮮鋭度評価値（トータル鮮鋭復元率）に基づいて鮮鋭化強度倍率Ｖを決定する。

他の構成は、図１７に示す第１実施形態と同様である。

本実施形態では復元フィルタ記憶部５８がレンズユニット記憶部２１（レンズユニット１２）に設けられるため、レンズユニット１２が交換されると、復元フィルタ選択部５３は新たなレンズユニット１２の復元フィルタ記憶部５８から復元フィルタＸを読み出す。そのため、搭載されるレンズユニット１２（光学系）のＰＳＦを反映した復元フィルタＸを復元フィルタ記憶部５８に記憶しておくことにより、各レンズユニット１２には自身のＰＳＦを反映した復元フィルタＸを記憶する復元フィルタ記憶部５８が搭載される。したがって、複数種類のレンズユニット１２がカメラ本体１４に装着可能であっても、装着されたレンズユニット１２に最適化された復元フィルタＸを点像復元フィルタ処理部４２に供給することができる。更に本実施形態によれば、カメラ本体１４に装着されるレンズユニット１２（光学系）の個体差情報Ｔが加味された点像復元回復率Ｇが強度自動調整部５２に供給されるため、光学系の個体差によるＰＳＦの不整合に起因するアーティファクトを防ぐことができる。特に本実施形態では、個体差情報Ｔを反映した点像復元回復率Ｇがレンズユニット記憶部２１（レンズユニット１２）に記憶されるため、カメラ本体１４に装着されるレンズユニット１２が交換されても、交換後のレンズユニット１２の個体差情報Ｔに基づく点像復元回復率Ｇに応じて復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定可能である。各フィルタ処理においては決定された復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖが使用されるため、個体差を反映した復元処理を行いつつ所望のトータル鮮鋭度を得ることができる。

なお、点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０は、上述の実施形態ではレンズユニット１２に設けられているが、カメラ本体１４に設けられていてもよい。これらの記憶部がカメラ本体１４に設けられる場合、装着されたレンズユニット１２に対応するデータが外部機器類（コンピュータ９２、サーバ９７等）から、点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０にダウンロードされることが好ましい。

点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０がカメラ本体１４に設けられている場合、レンズユニット１２は、カメラ本体１４に装着された時に、個体差情報Ｔをカメラ本体１４に送る。その後、カメラ本体１４（鮮鋭回復制御部３７）は、上述したように点像復元強度リスト記憶部６７、復元フィルタ記憶部５８及び輪郭強調強度リスト記憶部６０に記憶されている情報を使用して、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを調整する。

＜第４実施形態＞
本実施形態に係る画像処理部３５は、画像データの非線形処理を行う非線形処理部を更に備え、２段フィルタ処理システム（復元処理部３８及び輪郭強調処理部３９）において非線形処理が導入されている。この非線形処理部は、復元処理部３８及び輪郭強調処理部３９のうち少なくともいずれか一方に含まれるが、下記では復元処理部３８に非線形処理部が設けられる例について説明する。

非線形な処理は一般に加減乗除の演算処理のみからは構成されず、例えばＬＵＴ（ルックアップテーブル）の参照や条件分岐を伴う処理が含まれうる。非線形処理は、アーティファクトやノイズの抑制を目的として行われることが多く、例えば「画像信号のうちクリップ閾値を超える画素値をクリップ閾値に調整するクリップ処理」を非線形処理として行ってもよい。

図２９は、第４実施形態に係る点像復元処理及び鮮鋭化処理を行う処理ブロックの構成を示す図である。

本実施形態において、図１７に示す第１実施形態と同様の構成に関しては同一の符号を付して詳細な説明は省略する。

本例の点像復元処理（復元処理部３８）は、復元フィルタによって抽出された点像復元強調成分に対する強調倍率の適用、その強調倍率適用後の点像復元強調成分に対する非線形処理の適用、及び非線形処理後の点像復元強調成分と元画像との合成、という一連の処理を含む。

すなわち本実施形態では、画像データ（入力画像）は点像復元フィルタ処理部４２に入力されて復元フィルタによるフィルタリング処理が行われ、点像復元処理による画像データの増減分データが算出される。その増減分データは復元乗算器４３に入力されて復元強度倍率Ｕに基づくゲインコントロールが行われ、増減分データ及び復元強度倍率Ｕの乗算が行われ、乗算後の増減分データが非線形処理部６５に入力される。

非線形処理部６５では、入力された増減分データに対するクリップ処理（非線形処理）が行われ、増減分データ（画像データ）のうち所定のクリップ閾値を超える画素値がクリップ閾値に調整される。なお、クリップ閾値は予め定められて非線形処理部６５が記憶していてもよいし、ユーザがユーザインターフェース２９を介してクリップ閾値を直接的又は間接的に指定してもよい。クリップ処理後の画像データの増減分データは復元加算器４４において点像復元フィルタ処理部４２に入力される前の画像データ（入力画像）に加算され、点像復元処理後の画像データが算出される。

非線形処理部６５により行われるクリップ処理は、以下の式４により示すように、画像データがクリップ閾値θ（≧０）以上の値をとらないように制限する処理である。

上記式４により表されるクリップ処理関数ＣＬＩＰ（ｘ）によれば、画像データ（画素データ）ｘの絶対値がクリップ閾値θよりも小さい場合（｜ｘ｜＜θ）、その画像データはクリップ処理によって調整されずに保持され、非線形処理部６５から「ｘ」が出力される。一方、画像データｘの絶対値がクリップ閾値θ以上の場合（｜ｘ｜≧θ）、その信号成分はクリップ処理によって符号関数（ｓｉｇｎｕｍ ｆｕｎｃｔｉｏｎ）によって調整され、非線形処理部６５から「ｓｉｇｎ（ｘ）×θ」が出力される。

他の構成は、図１７に示す第１実施形態と同様である。例えば、輪郭強調処理部３９における輪郭強調フィルタ処理部４６によるフィルタリング処理、鮮鋭化乗算器４７による乗算処理及び鮮鋭化加算器４８による加算処理は、上述の第１実施形態と同様に行われる。

本例では、システム全体における周波数特性Ｆａ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）として、特定の入力波形をシステム（画像処理部３５）に入力した場合の出力に基づいて近似的に得られる周波数特性を用いることができる。すなわち、非線形処理を行う画像処理部が信号処理系に存在する場合、その信号処理系の周波数特性を正確に求めることは原理的に不可能であり、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの強度自動算出処理が適用できない場合がある。したがって非線形処理が行われる場合、周波数成分が予め把握されている特定の入力波形（入力画像データ）に対する出力波形（出力画像データ）から、内部の周波数特性を近似的に評価し、その近似的な評価によって得られる周波数特性を利用することにより、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖの自動算出処理を行ってもよい。この場合、システム全体の周波数特性Ｆａ（ω_ｘ，ω_ｙ｜Ｕ，Ｖ，ｘ_ｉ，ｊ）を求める必要があり、特定の入力波形に対するシステムの周波数レスポンス近似式を数式により表現することが求められる。具体的な近似評価手法は任意であり、このシステムの周波数レスポンス近似式の精度は、非線形処理の具体的な内容に依存する。

システムの周波数レスポンス近似式の例としては、図２９に示すクリップ処理を含む画像処理システムにおいて、予め特性を把握している入力波形（画像信号）を使用し、入力波形がハイコントラストなステップ関数であると仮定し、上述の実施形態のように特定の周波数ｆ０において特定の値（トータル鮮鋭度評価値）を持つようにｗ_ｉ，ｊ（ω_ｘ，ω_ｙ）を定義する場合（上記の「式４」参照）、画像処理システム全体の周波数特性を以下の式５によって近似的に表すことができることを本件発明者は経験的に知得した。

上記の式５において、「Ａ」はクリップ閾値θと入力画像信号の鮮鋭度（ボケ度）に依存する定数である。また「ｍｉｎ（Ｕ×ψ（ω_ｘ，ω_ｙ），Ａ）」は「Ｕ×ψ（ω_ｘ，ω_ｙ）」及び「Ａ」のうち小さい方を示す関数である。

なお、本例では復元処理部３８に非線形処理部６５が設けられるが、非線形処理部は、輪郭強調処理部３９にのみ設けられてもよいし、復元処理部３８及び輪郭強調処理部３９の双方に設けられてもよい。ただし、復元処理部３８及び輪郭強調処理部３９の双方において非線形処理が行われると、画像処理システム全体の周波数レスポンス近似式が複雑になり、トータル鮮鋭度評価値Ｃ（Ｕ，Ｖ，ｘ_ｉ，ｊ）を一定の値に保ちながら復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを決定する制御が難しくなってしまう可能性がある。

点像復元処理（点像復元フィルタ処理部４２）により用いられる復元フィルタは、想定される周波数特性（ボケ特性）を入力画像が持つことを前提に設計される。しかしながら、点像復元処理及び鮮鋭化処理よりも前段に配置される光学系や画像処理系における非線形な現象及び信号処理によって、想定とは異なる周波数特性（不正な周波数特性）を画像データ（入力画像）が持ち、出力画像にアーティファクトが生じることがある。このようなアーティファクトを抑制するため、復元フィルタによるフィルタリング処理（点像復元フィルタ処理部４２）よりも後段に非線形処理部６５を設けることが好ましい。

以上説明したように本実施形態によれば、復元処理部３８及び／又は輪郭強調処理部３９において非線形処理が行われる場合であっても、復元強度倍率Ｕ及び鮮鋭化強度倍率Ｖを的確に求めることができる。特に、非線形処理を行うことにより、アーティファクトを効果的に抑制することができる。

＜その他の実施形態＞
本発明は、上述した画像処理装置及び撮影装置にて行われる画像処理方法も含む。

また、本発明は、上述した画像処理をコンピュータに実行させるプログラムも含む。なお、本発明は、プログラムコードが記録された記憶媒体も含む。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。

次に、本発明の応用例を以下に説明する。以下には、具体的な応用例として、本発明を動画へ応用する場合、ＥＤｏＦシステムへ応用する場合、及びスマートフォンへ応用する場合を順次説明する。

＜動画への応用例＞
本発明は動画にも適用することができる。本発明を動画に対して適用する場合では、動画撮影中の撮影条件の変化に対し、動画フレーム間における復元率や鮮鋭度が大きく変化しないように抑制している。

図３０は、時系列の動画フレーム中の「処理対象フレーム」及び「参照フレーム」に関して説明する図である。

動画の撮影時には、光学系（レンズユニット）１２及び撮像素子２６を介して所定のフレームレートにより被写体が連続して撮影され、時系列に連続する複数のフレームからなる動画の画像データが取得される。ここで、フレームレートとは、単位時間あたりのフレーム数（画像数、コマ数）であり、一般的には１秒間に生成されるフレーム数（単位：ｆｐｓ（frameper second)）によって表される。例えば、本態様のデジタルカメラ１０は、フレームレートが３０ｆｐｓの場合、１秒間に３０枚の画像の生成を行い、フレームレートが６０ｆｐｓの場合、１秒間に６０枚の画像の生成を行う。

また、動画は、時系列に連続する複数のフレームから構成され、例えば、記録動画、ライブビュー画像を含む意味である。

図３０は、時間ｔに撮影されたフレーム（ｔ）に対して復元処理を行う場合を示す。この場合、フレーム（ｔ）は、処理対象フレームとなる。そして、時間ｔ−１に撮影されたフレーム（ｔ−１）、時間ｔ−２に撮影されたフレーム（ｔ−２）、及び時間ｔ−３に撮影されたフレーム（ｔ−３）は、処理対象フレームよりも時系列において前のフレーム（前フレーム）である。また、時間ｔ＋１に撮影されたフレーム（ｔ＋１）、時間ｔ＋２に撮影されたフレーム（ｔ＋２）、及び時間ｔ＋３に撮影されたフレーム（ｔ＋３）は、処理対象フレームよりも時系列において後のフレーム（後フレーム）である。尚、図３０では説明の都合上、処理対象フレームに対して前フレームを３フレーム及び後フレームを３フレームのみ記載しているが、実際は撮影時間に応じて多数のフレームが存在している。

参照フレームは、後フレームが少なくとも１フレーム含まれればよい。また、参照フレームは、単数であってもよいし、複数であってもよい。例えば、参照フレームが単数の場合は、処理対象フレーム（フレーム（ｔ））の後フレームにおいてあるフレーム（ｔ＋１）が参照フレームとして選択される。また、例えば、参照フレームが複数の場合は、処理対象フレーム（フレーム（ｔ））の後フレーム（ｔ＋１）及び前フレーム（ｔ−１）が選択される。

図３０において、前フレーム（ｔ−１）は処理対象フレームの時系列において直前のフレームであり、後フレーム（ｔ＋１）は処理対象フレームの時系列において直後のフレームである。このような直前のフレーム（フレーム（ｔ−１））や直後のフレーム（フレーム（ｔ＋１））を参照フレームとして選択してもよい。

時系列において連続する複数のフレームの中から参照フレームを選択する方法は様々な手法が用いられる。例えば、参照フレームを選択する方法として、予めユーザが参照フレームの選択する方法をユーザインターフェース２９により指定する手法が考えられる。また例えば、参照フレームを選択する方法は、予め決定されていてもよい。

画像処理部３５は、処理対象フレームや参照フレームの撮影条件（撮影情報）を取得する撮影条件取得部を有していてもよい。撮影条件取得部は、処理対象フレームや参照フレームの撮影条件（撮影情報）を取得し、取得した撮影条件を鮮鋭回復制御部３７へ送る。

鮮鋭回復制御部３７は、撮影条件取得部から取得した参照フレームの撮影情報に基づいて、処理対象フレームの復元処理の内容に関して調整を行う。鮮鋭回復制御部３７は、フレーム間において連続性のある復元処理を実現すべく、様々な手法により、参照フレームの撮影情報に基づいて復元処理の内容を調整する。

更に、鮮鋭回復制御部３７は、撮影条件取得部から取得した参照フレームの撮影情報及び処理対象フレームの撮影情報に基づいて、処理対象フレームの復元処理の内容に関して調整を行うことができる。処理対象フレームの撮影情報及び参照フレームの撮影情報に応じて処理対象フレームの復元処理を行うことにより、処理対象フレームと参照フレーム間において連続性のある復元処理を行うことができ、且つ処理対象フレームに適した復元処理を行うこともできる。

次に、鮮鋭回復制御部３７が行う復元処理の内容に関する調整の方法を具体例により説明する。

鮮鋭回復制御部３７は、参照フレームの撮影条件情報を含む撮影情報に関して最頻値に基づいて、復元処理の内容を調整することができる。

図３１は、図３０において説明を行ったフレーム（ｔ−３）からフレーム（ｔ＋３）の各々において、撮影条件情報（撮影情報）として絞り値（Ｆ値）が与えられている場合を示している。具体的に図３１に示す場合には、フレーム（ｔ−３）は絞り値Ｆ２により撮影され、フレーム（ｔ−２）は絞り値Ｆ２により撮影され、フレーム（ｔ−１）は絞り値Ｆ２により撮影され、フレーム（ｔ）は絞り値Ｆ２.８により撮影され、フレーム（ｔ＋１）は絞り値Ｆ２により撮影され、フレーム（ｔ＋２）は絞り値Ｆ２により撮影され、及びフレーム（ｔ＋３）は絞り値Ｆ２により撮影されている。

処理対象フレームをフレーム（ｔ−１）とし、参照フレームをフレーム（ｔ−３）、フレーム（ｔ−２）、フレーム（ｔ）、及びフレーム（ｔ＋１）とする場合について説明する。この場合、フレーム（ｔ−３）、フレーム（ｔ−２）、フレーム（ｔ−１）、及びフレーム（ｔ＋１）は絞り値がＦ２により撮影され、フレーム（ｔ）は絞り値がＦ２．８により撮影されている。このため、処理対象フレーム及び参照フレームにおいて、撮影条件情報としての絞り値の最頻値はＦ２となる。そうすると、処理対象フレーム（フレーム（ｔ−１））に対して復元処理を行う場合には、絞り値がＦ２により撮影されたフレーム用の復元フィルタが使用される。

同様に、処理対象フレームをフレーム（ｔ）、フレーム（ｔ＋１）とした場合も処理対象フレームを含む前後５フレームの絞り値の最頻値はＦ２となり、いずれの処理対象フレームも、絞り値がＦ２により撮影されたフレーム用の復元フィルタが使用される。

また、図３２は別の参照フレームを選択する例を示す。フレーム（ｔ−３）は絞り値Ｆ２により撮影され、フレーム（ｔ−２）は絞り値Ｆ２により撮影され、フレーム（ｔ−１）は絞り値Ｆ２により撮影され、フレーム（ｔ）は絞り値Ｆ２.８により撮影され、フレーム（ｔ＋１）は絞り値Ｆ１．４により撮影され、フレーム（ｔ＋２）は絞り値Ｆ１．４により撮影され、及びフレーム（ｔ＋３）は絞り値Ｆ１．４により撮影されている。

フレーム（ｔ−２）、フレーム（ｔ−１）、フレーム（ｔ＋１）、及びフレーム（ｔ＋２）を参照フレームとし、フレーム（ｔ）を処理対象フレームとした場合には、フレーム（ｔ−２）及びフレーム（ｔ−１）は絞り値がＦ２により撮影されており、フレーム（ｔ＋１）及びフレーム（ｔ−２）は絞り値がＦ１．４により撮影されているため、撮影条件情報の最頻値は絞り値Ｆ２と絞り値Ｆ１．４の２つとなる。この場合は、処理対象フレームの撮影条件情報は絞り値Ｆ２．８であるため処理対象フレームの撮影条件情報は最頻値に該当しないので、時系列において処理対象フレームの後の参照フレームが有する撮影条件情報の最頻値（この場合は絞り値Ｆ１．４）が採用される。

また、フレーム（ｔ−１）及びフレーム（ｔ＋３）を参照フレームとした場合には、撮影条件情報の最頻値はＦ２とＦ１．４との二つであるが、フレーム（ｔ−１）の方がフレーム（ｔ＋３）よりも処理対象フレームに時系列において近いことから、フレーム（ｔ−１）の撮影条件情報である絞り値Ｆ２が最頻値として採用される。

図３３は、鮮鋭回復制御部３７が参照フレームの撮影条件情報（撮影情報）の最頻値を決定する動作フローを示した図である。

まず、鮮鋭回復制御部３７は、処理対象フレームの撮影条件情報を取得する（ステップＳ３０）。その後、鮮鋭回復制御部３７（復元フィルタ選択部５３）は、参照フレームの撮影条件情報を取得する（ステップＳ３２）。尚、復元フィルタ選択部５３は、様々な方法により処理対象フレームの撮影条件情報を取得することができ、例えば、復元フィルタ選択部５３はデバイス制御部３４（図２）から処理対象フレームの撮影条件情報を取得することができる。そして、鮮鋭回復制御部３７は、参照フレームの撮影条件情報のうち最頻値を抽出する（ステップＳ３４）。そして、鮮鋭回復制御部３７は、最頻値が単数である又は複数であるかを判断し、最頻値が一つの場合（ステップＳ３６のＮｏの場合）には、最頻値の撮影条件が採用されて（ステップＳ３８）、復元処理の内容の調整を行う。

一方、最頻値が複数の場合（ステップＳ３６のＹｅｓの場合）には、複数ある最頻値の一つが処理対象フレームの撮影条件情報であるか否かを判断する。そして、複数ある最頻値の一つが処理対象フレームの撮影条件情報でない場合（ステップＳ３８のＮｏの場合）には、鮮鋭回復制御部３７は、複数ある最頻値のうち、処理対象フレームと時系列において近いフレームの最頻値を選択する（ステップＳ４０）。また、鮮鋭回復制御部３７は、複数ある最頻値のうちいずれの最頻値も処理対象フレームと時系列において同じ間隔である場合には、処理対象フレームより時系列において前のフレームを含む最頻値を選択する（ステップＳ４０）。このように、処理対象フレームより時系列において前のフレームを含む最頻値を選択することにより、時系列上での連続性が良好となる。

一方、複数ある最頻値の一つが処理対象フレームの撮影条件情報である場合（ステップＳ３８のＹｅｓの場合）には、鮮鋭回復制御部３７は、処理対象フレームの撮影条件情報を最頻値として採用する（ステップＳ４４）。その後、次の処理対象フレームに関して処理が行われる。

次に、鮮鋭回復制御部３７が行う復元処理の内容に関する調整の他の方法を具体例により説明する。

鮮鋭回復制御部３７（復元フィルタ選択部５３）は、処理対象フレームの撮影条件情報と、参照フレームの撮影条件情報とに基づいて上記のように撮影条件情報を決定し、決定した撮影条件情報により復元フィルタ記憶部５８から対応する復元フィルタを取得してもよいし、処理対象フレームの撮影条件情報に対応する復元フィルタと、参照フレームの撮影条件情報に対応する復元フィルタとを復元フィルタ記憶部５８から読み出し、読み出した複数の復元フィルタに基づいて、新たな復元フィルタを取得してもよい。復元フィルタ選択部５３、様々な手法により、処理対象フレームの撮影条件情報に対応するフィルタと参照フレームの撮影条件情報に対応するフィルタとから、新たな復元フィルタを取得することができ、例えば、処理対象フレームの撮影条件情報に対応するフレームと参照フレームの撮影条件情報に対応するフレームとの加重平均により、新たな復元フィルタを求めることができる。

これにより、動画撮影中の撮影条件の変化に対し、処理対象フレームに適用される復元フィルタの変化を抑制し、動画フレーム間における復元率や鮮鋭度が大きく変化しないようにしている。

＜ＥＤｏＦシステムへの応用例＞
上述の実施形態における復元処理は、特定の撮影条件情報（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、ズーム倍率など）に応じて点拡がり（点像ボケ）を回復修正することにより本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態において撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲においてピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図３４は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部３５）１２０とを含む。

図３５は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図３５に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話機や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図３４に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ(登録商標)配列、ハニカム配列、等）によりマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部（ガンマ補正処理部）１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することにより、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。なお、Ｙ信号復元処理部１２７は、上述した鮮鋭回復部３６の機能を有する。

次に、復元処理ブロック１２０による復元処理について説明する。図３６は、図３４に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（ステップＳ５０）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ５２及びステップＳ５４）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５においてデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換される（ステップＳ５６）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５８）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図３７（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図３７（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることにより、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理において解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式により画像を記録する場合、色差信号は輝度信号よりも高い圧縮率により圧縮されるので、復元処理により解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、上述の実施形態に係る点像復元処理を適用することが可能である。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０Ｃ及びサーバ８０には限定されず、撮影を主たる機能とするカメラ類の他に、撮影機能に加えて撮影以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンへの応用例＞
図３８は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図３８に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図３９は、図３８に示すスマートフォン２０１の構成を示すブロック図である。図３９に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（上述のカメラ本体コントローラ２８が含まれる）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図３８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図３８に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３８に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮影によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図３８に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１により取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。例えば、上述した画像処理部３５（図２）は主制御部に備えられる。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２１…レンズユニット記憶部、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３２…入出力インターフェース、３３…ガンマ補正処理部、３４…デバイス制御部、３５…画像処理部、３６…鮮鋭回復部、３７…鮮鋭回復制御部、３８…復元処理部、３９…輪郭強調処理部、４０…輝度情報取得部、４２…点像復元フィルタ処理部、４３…復元乗算器、４４…復元加算器、４６…輪郭強調フィルタ処理部、４７…鮮鋭化乗算器、４８…鮮鋭化加算器、５２…強度自動調整部、５３…復元フィルタ選択部、５４…輪郭強調強度選択部、５８…復元フィルタ記憶部、６０…輪郭強調強度リスト記憶部、６０Ｃ…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６５…非線形処理部、６６…ディスプレイ、６７…点像復元強度リスト記憶部、６９…回復率選択部、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、９１…適正露出量取得部、９２…コンピュータ、９７…サーバ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、２００…主制御部、２０１…スマートフォン

Claims (13)

1. 光学系を用いた被写体像の撮影により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理装置であって、
   前記原画像データに対して対数化処理による階調補正を行う階調補正部と、
   前記階調補正された原画像データに対し、前記対数化処理の前の前記原画像データに対応したフィルタ係数から成る前記復元フィルタを適用することにより前記復元処理を行う復元処理部と、
   前記階調補正された前記原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理部と、
   前記復元処理部及び前記鮮鋭化処理部を制御することにより、前記復元処理の復元率、及び前記鮮鋭化処理の鮮鋭化率を調整可能な鮮鋭回復制御部であって、前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率と、前記復元率及び前記鮮鋭化率のうちの一方とを取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出する鮮鋭回復制御部と、
   前記原画像データに基づく原画像の輝度情報を取得する輝度情報取得部と、を備え、
   前記鮮鋭回復制御部は、前記取得された輝度情報に応じて、前記復元率及び前記鮮鋭化率を調整する画像処理装置。
2. 前記輝度情報取得部は、前記原画像を構成する画素毎の輝度値及び該輝度値の分布を前記輝度情報として取得する請求項１に記載の画像処理装置。
3. 前記輝度情報取得部は、前記取得された輝度値から得られる飽和画素の情報を前記輝度情報として取得する請求項２に記載の画像処理装置。
4. 前記鮮鋭回復制御部は、前記取得された輝度値から得られる飽和画素の情報に応じて、前記飽和画素及び当該飽和画素の周辺にある画素における前記復元率及び前記鮮鋭化率のうち少なくとも一方を調整する請求項３に記載の画像処理装置。
5. 前記輝度情報取得部は、前記飽和画素の周辺にある画素の輝度値を前記輝度情報として取得する請求項３又は４に記載の画像処理装置。
6. 前記鮮鋭回復制御部は、前記光学系の個体差情報を取得し、前記取得された前記個体差情報及び前記輝度情報に応じて、前記復元率及び前記鮮鋭化率のうち少なくとも一方を調整する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記輝度情報取得部は、撮影露出情報を前記輝度情報として取得する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記輝度情報取得部は、前記原画像を構成する画素毎の輝度値のヒストグラムを前記輝度情報として取得する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記輝度情報取得部は、前記ヒストグラムの中央値を前記輝度情報として取得する請求項８に記載の画像処理装置。
10. 前記原画像データが動画を構成する複数のフレームのうちの１フレームのデータである場合には、
    前記原画像データに対応するフレーム、及び前記原画像データに対応するフレームの時系列において前フレーム又は後フレームの撮影条件を取得する撮影条件取得部を有し、
    前記鮮鋭回復制御部は、前記撮影条件取得部が取得する前記撮影条件及び前記輝度情報に応じて、前記復元率及び前記鮮鋭化率のうち少なくとも一方を調整する請求項１から９のいずれか１項に記載の画像処理装置。
11. 請求項１から１０のいずれか１項に記載の画像処理装置を有する撮影装置。
12. 光学系を用いた被写体像の撮影により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する画像処理方法であって、
    前記原画像データに対して対数化処理による階調補正を行う階調補正ステップと、
    前記階調補正された原画像データに対し、前記対数化処理の前の前記原画像データに対応したフィルタ係数から成る前記復元フィルタを適用することにより前記復元処理を行う復元処理ステップと、
    前記階調補正された前記原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理ステップと、
    前記復元処理ステップ及び前記鮮鋭化処理ステップを制御することにより、前記復元処理の復元率、及び前記鮮鋭化処理の鮮鋭化率を調整可能な鮮鋭回復制御ステップであって、前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率と、前記復元率及び前記鮮鋭化率のうちの一方とを取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出する鮮鋭回復制御ステップと、
    前記原画像データに基づく原画像の輝度情報を取得する輝度情報取得ステップと、を含み、
    前記鮮鋭回復制御ステップは、前記取得された輝度情報に応じて、前記復元率及び前記鮮鋭化率を調整する画像処理方法。
13. 光学系を用いた被写体像の撮影により取得される原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する為にコンピュータに実行させる為のプログラムであって、
    前記原画像データに対して対数化処理による階調補正を行う階調補正ステップと、
    前記階調補正された原画像データに対し、前記対数化処理の前の前記原画像データに対応したフィルタ係数から成る前記復元フィルタを適用することにより前記復元処理を行う復元処理ステップと、
    前記階調補正された前記原画像データに対し、鮮鋭化フィルタを用いた鮮鋭化処理を行う鮮鋭化処理ステップと、
    前記復元処理ステップ及び前記鮮鋭化処理ステップを制御することにより、前記復元処理の復元率、及び前記鮮鋭化処理の鮮鋭化率を調整可能な鮮鋭回復制御ステップであって、前記復元率及び前記鮮鋭化率に基づくトータル鮮鋭復元率と、前記復元率及び前記鮮鋭化率のうちの一方とを取得し、前記復元率及び前記鮮鋭化率のうちの他方を前記トータル鮮鋭復元率に基づいて算出する鮮鋭回復制御ステップと、
    前記原画像データに基づく原画像の輝度情報を取得する輝度情報取得ステップと、を含み、
    前記鮮鋭回復制御ステップは、前記取得された輝度情報に応じて、前記復元率及び前記鮮鋭化率を調整するプログラム。

Images