JP2018133110A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】良好なＰＳＦ推定精度が得られる画像処理装置を提供する。【解決手段】本発明の画像処理装置１は、入力画像から、ぼかし画像を生成するぼかし画像生成部１３と、前記入力画像中の領域を、非有効領域と有効領域とに分ける領域識別部１１と、前記非有効領域においては前記有効領域より重みを大きくし、前記有効領域においては前記非有効領域との境界からの距離に応じて重みを減少させる重みマスクを作成する重みマスク作成部１２と、前記重みマスク作成部１２により作成された前記重みマスクにより重みを付けたぼかし画像と、前記重みマスクを反転させたマスクにより重みを付けた入力画像と、を加算して解析用画像を生成する解析用画像生成部１４と、前記解析用画像を用いて点広がり関数の推定を行うＰＳＦ推定部１５と、を備えること、を特徴とする。【選択図】図２

Description

本発明は、画像処理装置及び画像処理プログラムに関するものである。

従来、画像内の手振れやピントのずれによるボケを表すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点広がり関数）を高速で推定する技術が提案されている（例えば、特許文献１参照）。

特開２０１０−１５７２１０号公報

しかしながら、多くのＰＳＦ推定方法が輝度勾配情報を用いるために、画像の中に光源などが写り込んで飽和した白飛び画素や、輝度が極端に低い黒つぶれ画素などがあると、正確な輝度勾配が得られず、その結果、良好な推定精度が得られない。
また、被写体ブレなどの影響で画像内に異なるＰＳＦを持つ領域が混在する場合にも、正確なＰＳＦの推定が困難である。

本発明の課題は、良好なＰＳＦ推定精度を得ることのできる画像処理装置及び画像処理プログラムを提供することである。

本発明は、以下のような解決手段により前記課題を解決する。
本発明の第１の見地によると、入力画像から、ぼかし画像を生成するぼかし画像生成部と、前記入力画像中の領域を、非有効領域と有効領域とに分ける領域識別部と、前記非有効領域においては前記有効領域より重みを大きくし、前記有効領域においては前記非有効領域との境界からの距離に応じて重みを減少させる重みマスクを作成する重みマスク作成部と、前記重みマスク作成部により作成された前記重みマスクにより重みを付けたぼかし画像と、前記重みマスクを反転させたマスクにより重みを付けた入力画像と、を加算して解析用画像を生成する解析用画像生成部と、前記解析用画像を用いて点広がり関数の推定を行うＰＳＦ推定部と、を備えること、を特徴とする画像処理装置を提供する。

本発明によれば、良好なＰＳＦ推定精度を得ることのできる画像処理装置及び画像処理プログラムを提供することができる。

本発明に係る画像処理装置の一実施形態のブロック構成図である。 ＰＳＦ情報作成部のブロック構成図である。 元画像を示す図である。 ＰＳＦ情報作成部によるＰＳＦ情報作成工程を示すフローチャートである。 ＰＳＦ情報作成工程における画像およびマスクを段階的に示す説明図である。 ＰＳＦ情報作成部による解析用画像を示す図である。 解析ＰＳＦを示す図である。 解析ＰＳＦを示す図である。 解析ＰＳＦを示す図である。 第２実施形態におけるＰＳＦ情報作成部によるＰＳＦ情報作成工程を示すフローチャートである。 重みマスク作成部における画像およびマップ等の輝度を示す説明図である。 重みマスク作成部における画像およびマップ等の輝度を示す説明図である。 重みマスク作成部における画像およびマップ等の輝度を示す説明図である。 第３実施形態のＰＳＦ情報作成部のブロック構成図である。 元画像を示す説明図である。 第３実施形態のＰＳＦ情報作成部によるＰＳＦ情報作成工程を示す別のフローチャートである。 有効領域が含まれていないメッシュと、有効領域が含まれているメッシュとを分類した図である。

（第１実施形態）
以下、図面等を参照して、本発明の実施形態について説明する。
図１は、本発明に係る画像処理装置の一実施形態のブロック構成図である。図２は、そのＰＳＦ情報作成部のブロック構成図である。図３は、元画像３０を示す図である。図４は、ＰＳＦ情報作成部１０によるＰＳＦ情報作成工程を示すフローチャートである。図５は、ＰＳＦ情報作成工程における画像およびマップ等を段階的に示す説明図である。図６は、ＰＳＦ情報作成部１０による解析用画像３０′を示す図である。図７は、解析ＰＳＦを示す図である。

画像処理装置１は、ＰＳＦ情報作成部１０と、画像処理部２０と、により構成されている。なお、本実施形態は、たとえば、ＰＣ（パソコン）をプログラムによって画像処理装置１として機能させる例である。
画像処理装置１（ＰＣ）には、メモリカードを介して、または、ケーブルや無線伝送路を介して接続されたカメラ等から、処理対象画像が入力される。

ＰＳＦ情報作成部１０は、入力された処理対象画像に基づいて、解析用画像を作成し、画像内の手振れやピントのずれによるボケを表すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点像分布関数）を推定する。
画像処理部２０は、ＰＳＦ情報作成部１０が推定したＰＳＦに基づいて、入力画像に対して手振れやピントのずれによるボケを補正する画像処理を施す。
そして、画像処理装置１は、ボケを補正した画像を出力する。

以下、ＰＳＦ情報作成部１０について、詳細に説明する。
ＰＳＦ情報作成部１０は、領域識別部１１、重みマスク作成部１２、ぼかし画像生成部１３、解析用画像生成部１４、ＰＳＦ推定部１５、の各機能部を備えている。
本構成におけるＰＳＦ情報作成部１０は、画像の中に光源等の飽和した白飛び画素や輝度が極端に低い黒つぶれ画素等が有る場合であっても、精度の高いＰＳＦ推定を行う。
すなわち、たとえば、図３に示すように、撮影時に手振れが生じた画像３０（主要被写体３１はブレている）内に、蛍光灯等の光源３２が写り込んで飽和した白飛びを起こしている画像があるとする。この場合、光源３２の像はブレを生じていてもその輪郭のエッジが鋭い（輝度勾配が大きい）ためにブレと認識できない。その結果、良好な推定精度が得られない。ＰＳＦ情報作成部１０は、このような白飛びや黒つぶれに起因するＰＳＦの誤推定を抑制し、精度の高いＰＳＦ推定情報を出力する。

つぎに、ＰＳＦ情報作成部１０における各機能部の作用とＰＳＦ情報作成部１０によるＰＳＦ情報作成工程とを、図４に示すフローチャートに沿って図５のＡ−Ｆを参照しつつ説明する。なお、図中および以下の説明においてステップを「Ｓ」とも略記する。
まず、入力画像Ｉを取得し（Ｓ４０１）、そのグレースケール画像Ｉｇを作成する（Ｓ４０２）。入力画像Ｉは、図５のＡである。

ついで、ぼかし画像生成部１３によって、ぼかし画像Ｂを作成する（Ｓ４０３）。
ぼかし画像Ｂは、グレースケール画像Ｉｇと、ぼかしフィルタＢ＿ｆｉｌｔ１とのコンボリューションにより作成される。
すなわち、
Ｂ＿ｆｉｌｔ１は、ぼかしフィルタであって、本実施形態では次の式で表されるガウス型のフィルタを使用する。
（ｘｃ，ｙｃ）は、ぼかしフィルタの中心の座標を表す。
分母の和は次の範囲で行い、フィルタＢ＿ｆｉｌｔ１の和が１になるように規格化する。
１≦ｘ，ｙ≦ｆｓ

ここで、ＰＳＦのカーネルサイズをｍ×ｎ、ｋｓ＝ｍａｘ（ｍ，ｎ）とし、ぼかしフィルタのサイズをｆｓ×ｆｓとする。ｆｓは、０．５×ｋｓ以上、２×ｋｓ以下程度とし、好ましくは、ｆｓ＝ｋｓの奇数（中心から均等に振り分けてぼかすため）とする。
また、σは、ボケ分布のほとんど全てを網羅するために、ぼかしフィルタサイズの、１／４とするのが好ましい。

カーネルサイズは、ブレの軌跡の大きさであって、当該画像処理装置１の操作者に入力を要求し、設定する。なお、ぼかしフィルタは、上記のようなガウス型のフィルタに限らず、ディスク型やバイノミアルフィルタなどでもかまわない。
ぼかし画像Ｂを、図５のＢに示す。

つぎに、領域識別部１１により、入力画像Ｉに基づいて、白飛びや黒つぶれのために輝度勾配が不連続になっている可能性のある領域を非有効領域ｎｏｎ＿ｖａｌｉｄと定義し、その他の領域を有効領域ｖａｌｉｄと定義する（Ｓ４０４）。
非有効領域ｎｏｎ＿ｖａｌｉｄと有効領域ｖａｌｉｄは、Ｒ，Ｇ，Ｂ各画素の輝度を、明暗それぞれの定められた所定の閾値（Ｈ＿ｔｈ，Ｌ＿ｔｈ）と比較して、以下の方法で求める。

すなわち、非有効領域ｎｏｎ＿ｖａｌｊｄ、および有効領域ｖａｌｉｄは、Ｒ，Ｇ，Ｂ各画素の輝度が、
ｍａｘ（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））＞Ｈ＿ｔｈ
または、
ｍｉｎ（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））＜Ｌ＿ｔｈ
ならば
ｎｏｎ＿ｖａｉｄ（ｘ，ｙ）＝１
ｖａｌｉｄ（ｘ，ｙ） ＝０
それ以外は、
ｎｏｎ＿ｖａｉｄ（ｘ，ｙ）＝０
ｖａｌｉｄ（ｘ，ｙ）＝１
とする。

ここで、ｍａｘ（Ａ，Ｂ，…）はＡ，Ｂ，…の中で最も大きい値を表し、ｍｉｎ（Ａ，Ｂ，…）はＡ，Ｂ，…の中で最も小さい値を表す。
なお、このステップ４０４は、入力画像Ｉに基づいて非有効領域と有効領域とを定義するため、ステップ４０１以降で有れば、前述の各ステップより前であっても良く、また、前述の各ステップと並行して行っても良い。

ついで、重みマスク作成部１２によって各画素の非有効領域からの距離に応じた距離マップｄｉｓｔ（ｘ，ｙ）を求める（Ｓ４０５）。図５のＣに距離マップｄｉｓｔ（ｘ，ｙ）を示す。そして、ステップ４０５で求められた距離マップｄｉｓｔ（ｘ，ｙ）に基づいて重みマスクｗ（ｘ，ｙ）を作成し（Ｓ４０６）する。
ステップ４０５における重みマスクｗ（ｘ，ｙ）は、
ｗ（ｘ，ｙ）＝ｍａｘ（１−ｃｏｅｆ１×ｄｉｓｔ（ｘ，ｙ），０）
によって求める。
ここで、ｃｏｅｆ１は、０．５×ｆｓ以上、２×ｆｓ以下程度が良好な結果を得られる。これにより得られた重みマスクは、図５のＤに示すようになる。

さらに、解析用画像生成部１４が、さらに、その重みマスクｗ（ｘ，ｙ）を用いて解析用の画像を形成する（Ｓ４０７）。
ステップ４０７における解析用の画像形成は、図５のＡで示す入力画像Ｉにステップ４０６において作成された重みマスク［図５のＤ］を１から引いた（１−ｗ（ｘ，ｙ））［図５のＥ］を掛けた画像と、ステップ４０３において作成されたぼかし画像［図５のＢ］にステップ４０６において作成された重みマスク［図５のＤ］を掛けた画像とを得て、それらを加算する。得られた画像が図５のＦである。

すなわち、
Ｉａ（ｘ，ｙ）＝（１−ｗ（ｘ，ｙ））×Ｉ（ｘ，ｙ）＋ｗ（ｘ，ｙ）×Ｂ（ｘ，ｙ）
これにより、図６に示すように、白飛び部分（光源３２）がボケたような解析用画像３０′が作成される。

そして、ＰＳＦ推定部１５によって、ステップ４０７において作成された解析用画像を用いて、ＰＳＦを求める（Ｓ４０８）。
図７Ｂに、このようにして推定したＰＳＦを示す。図７Ａが正しいＰＳＦであり、図７Ｃは、従来の手法による推定ＰＳＦを示す。このように、白飛び部分の周りの鋭いエッジが弱められているため、正解ＰＳＦに近い推定結果が得られる。

（第２実施形態）
つぎに、図８及び図９Ａ−図９Ｃを参照して、本発明の第２実施形態について説明する。
図８は第２実施形態のＰＳＦ情報作成部１０によるＰＳＦ情報作成工程を示すフローチャートである。図９Ａ−図９Ｃは、重みマスク作成部１２における画像およびマップ等の輝度を示す説明図である。

前述した第１実施形態では、領域識別部１１によって非有効領域と有効領域とを識別した後、重みマスク作成部１２によって各画素の非有効領域からの距離マップを求め、その距離マップに基づいて解析用画像生成部１４で重みマスクを作成している。これに対して第２実施形態は、距離マップを用いることなく、以下のように重みマスクを作成する。

なお、前述した第１実施形態と同機能の構成要素には、同符号を付して説明は省略する。また、図８に示すＰＳＦ情報作成部１０によるＰＳＦ情報作成工程を示すフローチャートも、第１実施形態における距離マップ作成（Ｓ４０５）が、非有効領域の膨張処理（Ｓ９０５）に置き換わるのみであり、他の工程は同一である。

第２実施形態における重みマスク作成部１２は、ステップ９０４において図９Ａに示すように有効領域と非有効領域とを特定し、非有効領域で１、有効領域で０の一次予備マスクを作成する。
次いで図９Ｂに示すように非有効領域の膨張処理を行い（Ｓ９０５）、二次予備マスクを作成する。
そして、その二次予備マスクにぼかし処理を施して図９Ｃに示すような重みマスクを作成する。

ステップ９０５において膨張させる大きさは、０．２５×ｆｓ以上、２×ｆｓ以下程度が良好な結果を得られる。
本第２実施形態によっても、図９Ｃに示すように、前述した第１実施形態における図５のＤに示す重みマスクと略同等の重みマスクが得られる。
以下、第１実施形態と同様の計算を行うことで、正確なＰＳＦが得られる。

以上、本実施形態によると、以下の効果を有する。
（１）第１実施形態における画像処理装置１のＰＳＦ情報作成部１０では、白飛びなどの領域とその他の領域との境界からの距離に応じて入力画像と入力画像をぼかしたぼかし画像とを加算した解析用の画像を作成する。そして、この解析用画像からＰＳＦを推定することにより、推定精度の劣化を最小限に抑えることが可能である。

（２）第２実施形態におけるＰＳＦ情報作成部１０では、白飛びなどの非有効領域に膨張処理を行った後にぼかし処理を施して重みマスクを作成する。そして、重みマスクの重みをつけたぼかし画像と、重みマスクを反転させたマスクの重みをつけた入力画像とを加算した解析用画像を生成し、この解析用画像からＰＳＦを推定する。これにより、簡便な処理によって推定精度の劣化を抑えることができる。

（第３実施形態）
つぎに、図１０及び図１１を参照して、本発明の第３実施形態について説明する。
図１０は、そのＰＳＦ情報作成部の別のブロック構成図である。図１１は、元画像３００を示す説明図である。図１２は第３実施形態のＰＳＦ情報作成部によるＰＳＦ情報作成工程を示す別のフローチャートである。

本発明の第３実施形態について、図１２に示すフローチャートに沿って図１０、図１１を参照しつつ説明する。
まず、入力画像Ｉを取得し（Ｓ４０１）、そのグレースケール画像Ｉｇを作成する（Ｓ４０２）。
次に、グレースケール画像Ｉｇに複数のメッシュＭｅを生成する（Ｓ５０３）。本実施例において、複数のメッシュＭｅのそれぞれは、同一の面積を有し、互いに重ならないように隣接して備えられている。
なお、複数のメッシュのそれぞれは、異なる面積を有していても良い。複数のメッシュのそれぞれは、少なくとも一部が重なるように備えられていても良いし、互いに間隔を隔てて備えられていてもよい。

つぎに、領域識別部１１により、入力画像Ｉに基づいて、白飛びや黒つぶれのために輝度勾配が不連続になっている可能性のある領域を非有効領域ｎｏｎ＿ｖａｌｉｄと定義し、その他の領域を有効領域ｖａｌｉｄと定義する（Ｓ４０４）。
次に、ステップ５０７において、解析用画像生成部１４は、複数のメッシュＭｅのそれぞれについて、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれているか否かを判断し、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれているメッシュＭｅ０と、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれていないメッシュＭｅ１とに分類する。
解析用画像生成部１４は、非有効領域ｎｏｎ＿ｖａｌｉｄが含まれていないメッシュＭｅ１を選択し解析用の画像を形成する。
次に、ＰＳＦ推定部１５によって、ステップ５０７において作成された解析用画像を用いて、ＰＳＦを求める（Ｓ４０８）。

（変形形態）
本発明は、以上説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態では、領域識別部１１により、白飛びや黒つぶれのために輝度勾配が不連続になっている領域を非有効領域とし、その他の領域を有効領域とした。しかし、画像における目標被写体等の任意のエリアを有効領域として設定するように構成しても良い。これにより、画面内に様々な異なるＰＳＦを持つ領域が混在している場合において、目標被写体に限定したＰＳＦの推定が可能となる。
例えば、図１３においては、領域識別部１１は、目標被写体である人物の顔、頭に対応する有効領域が含まれていないメッシュＭｅ２と、人物の顔、頭に対応する有効領域が含まれているメッシュＭｅ３とに分類する。解析用画像生成部１４は、有効領域が含まれているメッシュＭｅ３を選択し解析用の画像を形成する。

たとえば、複数の人がそれぞれ自由に動いている場面を撮影した場合、特定の人物のブレを表すＰＳＦを計算しようとしても、そのままの画像で推定を行ったのでは、様々なＰＳＦが影響し合い、正確には求められない。
そこで、ＰＳＦを求めたい特定の人物を有効領域、その他の部分を非有効領域として、上記の方法で解析用画像を作成し、その解析用画像でＰＳＦを推定すると、該当する特定の人物のＰＳＦを求めることができる。

人物の特定方法は、既知の顔認識や、ユーザーにエリアを指定してもらう等の方法を用いることができる。
また、人物以外にも、車や、動物などの特定の目標物を認識（オブジェクト認識）し、同様に解析用の画像を作成して、任意形状の一部分だけのＰＳＦを得ることも可能である。

（２）上記実施の形態は、本発明を画像処理装置として説明したが、本発明は画像処理プログラムとして供給されるものを含む。その場合、プログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。画像処理装置は、カメラに内蔵されていてもよい。

上記実施形態および変形形態は適宜に組み合わせて用いることができるが、各実施形態の構成は図示と説明により明らかであるため、詳細な説明を省略する。さらに、本発明は以上説明した実施形態によって限定されることはない。

１：画像処理装置、１０：ＰＳＦ情報作成部、１１：領域識別部、１２：重みマスク作成部、１３：ぼかし画像生成部、１４：解析用画像生成部、１５：ＰＳＦ推定部、２０：画像処理部、３０：画像、３１：主要被写体、３２：光源

Claims (1)

1. 入力画像から、ぼかし画像を生成するぼかし画像生成部と、
   前記入力画像中の領域を、非有効領域と有効領域とに分ける領域識別部と、
   前記非有効領域においては前記有効領域より重みを大きくし、前記有効領域においては前記非有効領域との境界からの距離に応じて重みを減少させる重みマスクを作成する重みマスク作成部と、
   前記重みマスク作成部により作成された前記重みマスクにより重みを付けたぼかし画像と、前記重みマスクを反転させたマスクにより重みを付けた入力画像と、を加算して解析用画像を生成する解析用画像生成部と、
   前記解析用画像を用いて点広がり関数の推定を行うＰＳＦ推定部と、
   を備えること、を特徴とする画像処理装置。