JP2012155456A - 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 - Google Patents
被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 Download PDFInfo
- Publication number
- JP2012155456A JP2012155456A JP2011012964A JP2011012964A JP2012155456A JP 2012155456 A JP2012155456 A JP 2012155456A JP 2011012964 A JP2011012964 A JP 2011012964A JP 2011012964 A JP2011012964 A JP 2011012964A JP 2012155456 A JP2012155456 A JP 2012155456A
- Authority
- JP
- Japan
- Prior art keywords
- psf
- image
- subject
- small
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims description 61
- 238000000034 method Methods 0.000 title claims description 41
- 230000006866 deterioration Effects 0.000 claims description 5
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000010354 integration Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる装置を提供すること。
【解決手段】小領域分割部101は、入力画像S10を複数の小領域画像S11に分割する。局所PSF推定部104は、小領域毎にPSFを推定する。PSF形状識別部105は、推定された小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、局所推定PSF S12を分類する。小領域統合部106は、同一グループに分類された隣接小領域を統合する。これにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置(距離センサ等)を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。
【選択図】図1
【解決手段】小領域分割部101は、入力画像S10を複数の小領域画像S11に分割する。局所PSF推定部104は、小領域毎にPSFを推定する。PSF形状識別部105は、推定された小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、局所推定PSF S12を分類する。小領域統合部106は、同一グループに分類された隣接小領域を統合する。これにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置(距離センサ等)を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。
【選択図】図1
Description
本発明は、例えば撮像過程で生じた画像のボケ(焦点ボケやカメラブレにより生じたボケ)等の画像劣化を補正して鮮鋭な画像を復元する画像復元装置、及び、その画像復元装置に用いて好適な被写体分離装置に関する。
従来、画像劣化を修復(補正)する技術として、PSF(Point Spread Function;点拡がり関数)を用いた技術が知られている。この技術は、劣化画像が元の鮮鋭な画像にPSFを畳み込むことで表すことができることを利用し、劣化画像に対してPSFの逆畳み込み演算を施すことで元の鮮鋭な画像を復元する技術である。
PSFを用いた画像復元技術は、大きく、Non−blind法と、Blind法に分類される。
Non−blind法は、PSFが既知であるとして、劣化画像から元の画像を復元するものである。この方法では、例えばinverse FilterやWiener Filterが用いられる。
Blind法は、未知のPSFを劣化画像から推定した後に、Non−blind法で復元するものである。Blind法については、例えば非特許文献1−4に記載されている。
ところで、従来のPSFを用いた画像復元技術では、一般に、画像内で同一のボケが生じているということを前提としているので、画像内にボケ方が異なる複数の被写体が存在する場合には、画像復元の精度が低下する欠点がある。
このようなことを考慮して、ボケ補正を行う画像補正装置が、特許文献1に記載されている。特許文献1に開示されている技術について簡単に説明する。特許文献1の画像補正装置は、以下の手順で画像のボケを修復するようになっている。
1.入力画像の小領域を1つ基準にとり、これを基準領域とする。
2.基準領域でPSF推定を行う。
3.基準領域を拡大した領域でPSF推定を行う。
4.上記3.の拡大前後の各推定PSFが類似しているかを判定する。類似している場合には、上記3の拡大領域を基準領域として、上記3に戻る。類似していない場合には、拡大前の基準領域を1つの適応的領域として決定し、上記1に戻る。
5.上記1−4の処理により適応的領域毎に推定した、PSFを補間する。各適応的領域のPSF間で類似しているものがあれば、それらのPSFを用いて補間処理を行うことで、適応的領域の中心外部にある画素のPSFを求める。
6.算出したPSFを基に、Non−blind法で画像のボケを修復する。
2.基準領域でPSF推定を行う。
3.基準領域を拡大した領域でPSF推定を行う。
4.上記3.の拡大前後の各推定PSFが類似しているかを判定する。類似している場合には、上記3の拡大領域を基準領域として、上記3に戻る。類似していない場合には、拡大前の基準領域を1つの適応的領域として決定し、上記1に戻る。
5.上記1−4の処理により適応的領域毎に推定した、PSFを補間する。各適応的領域のPSF間で類似しているものがあれば、それらのPSFを用いて補間処理を行うことで、適応的領域の中心外部にある画素のPSFを求める。
6.算出したPSFを基に、Non−blind法で画像のボケを修復する。
Fergus, et al., "Removing camera shake from a single photograph", SIGGRAPH 2006 Papers, ACM, 2006, pp.787-794.
Shan, et al., "High-quality motion deblurringfrom a single image", SIGGRAPH 2008 Papers, ACM, 2008, Article No.73.
Cho, et al., "Fast motion deblurring", SIGGRAPH Asia 2009 Papers, ACM, 2009, Article No.145.
Cai, et al.,"Blind motion deblurringfrom a single image using sparse approximation", 2009 IEEE Conference on Computer Vision and Pattern Recognition, CVPR, 2009, pp.104-111.
ところで、特許文献1で開示されている技術においては、基準領域を徐々に拡げていくことでPSFを推定しているので、画像全体を俯瞰したPSF推定を行う点で不十分であると考えられる。また、基準領域の設定の仕方に応じて、PSF推定のための計算量が不要に増加したり、計算量を抑えるとPSFの推定精度が低下すると考えられる。
つまり、限られたハードウェア資源で、かつ、高速に画像復元を行おうとすると、画像復元の精度が低下するおそれがある。
本発明は、以上の点を考慮してなされたものであり、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を提供することを目的とする。
本発明の被写体分離装置の一つの態様は、入力画像を複数の小領域画像に分割する小領域分割部と、前記小領域画像のPSFを推定する局所PSF推定部と、推定された前記PSFの形状を識別し、類似性の高いPSF形状の小領域画像が同一グループに属するように、前記小領域画像を分類するPSF形状識別部と、同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、を具備する。
本発明の画像復元装置の一つの態様は、前記被写体分離装置と、前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のPSFを推定する被写体PSF推定部と、前記被写体PSF推定部によって推定されたPSFと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、を具備する。
本発明によれば、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を実現できる。また、本発明の被写体分離装置及び方法によれば、複数のカメラや付加的な装置(距離センサ等)を用いることなく、入力画像1枚のみから、被写体の遠近分離や動いている被写体の分離が可能となる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
[1]被写体分離装置の構成I
図1に、本実施の形態の被写体分離装置の構成を示す。
被写体分離装置100は、小領域分割部101に入力画像S10を入力する。小領域分割部101は、小領域アドレス生成部102及び小領域画像データ読出部103を有する。小領域アドレス生成部102は、各小領域のアドレスを生成し、順次出力する。小領域画像データ読出部103は、入力画像S10を格納するメモリを有しており、小領域アドレス生成部102で生成されたアドレスに基づく画像を読み出すことにより、1枚の入力画像S10を複数の小領域画像S11に分割して出力する。図2に、小領域分割部101による画像分割の様子を示す。図中の点線で区切られた各領域が分割された小領域である。
図1に、本実施の形態の被写体分離装置の構成を示す。
被写体分離装置100は、小領域分割部101に入力画像S10を入力する。小領域分割部101は、小領域アドレス生成部102及び小領域画像データ読出部103を有する。小領域アドレス生成部102は、各小領域のアドレスを生成し、順次出力する。小領域画像データ読出部103は、入力画像S10を格納するメモリを有しており、小領域アドレス生成部102で生成されたアドレスに基づく画像を読み出すことにより、1枚の入力画像S10を複数の小領域画像S11に分割して出力する。図2に、小領域分割部101による画像分割の様子を示す。図中の点線で区切られた各領域が分割された小領域である。
小領域分割部101により得られた小領域画像S11は、局所PSF(Point Spread Function;点拡がり関数)推定部104に入力される。局所PSF推定部104は、小領域画像毎にPSFを推定する。
図3は、局所PSF推定部104によって行われる局所PSF推定の説明に供する図である。図3Aは局所PSF推定の処理手順を示す。図3Aに示すように、局所PSF推定部104は、小領域画像S11が入力されるとステップST10で処理を開始し、ステップST11で、推定するPSFと復元画像とを初期化する。ステップST12ではPSFの最適解を探索し、ステップST13では復元画像の最適解を探索する。続く、ステップST14では最適解が収束したか否か判断し、収束した場合には(ステップST14;YES)、ステップST15で局所PSF推定処理を終了する。最適解が収束しない場合には(ステップST14;NO)、ステップST12に戻って、最適解が収束するまで、ステップST12−ST13−ST14の処理を繰り返す。局所PSF推定部104は、図3Aの処理を各小領域画像に対して行う。
図3BはPSF推定結果(推定されたPSFの形状)の一例を示す。図中の円は、大きいほどボケが大きい領域であることを示す。線状の棒は、移動を示す。具体的には、横棒は、その領域の被写体が水平移動したことを示し、縦棒は、垂直移動したことを示す。
ここで、PSF、及びPSF形状について、簡単に説明しておく。
先ず、図4を用いて、PSFについて説明する。図4Aは、理想的な点光源像(点像)をPSF(関数f)に入力して得られる出力像を示す。関数fを規定するPSFとして、出力像が用いられる。図4Bは、実際の画像をPSF(関数f)に入力して得られる出力画像を示す。関数fのPSFの画像信号と入力画像信号とを畳み込み演算することで、関数fを通してボケる出力画像を生成できる。
次に、図5を用いて、PSF形状について説明する。PSFの形状とは、PSF画像内の個々の信号について信号レベルが一定以上の画素のみを抽出した際に、当該画素群が画像平面上に形成する図形である。図5Aは、ボケている画像のPSF形状の例を示し、図5Bは、水平方向に動いている被写体像のPSF形状の例を示す。
図1に戻って、被写体分離装置100の構成の説明を続ける。PSF形状識別部105は、推定された小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、小領域を分類する。PSF形状識別部105は、分類結果に基づいて、各小領域の情報に分類符号を紐付けして小領域分類符号S13として出力する。
小領域統合部106は、同一グループに分類された隣接小領域を統合する。そして、小領域統合部106は、同一グループに分類され統合した小領域は同一の被写体画像であると判断し、統合された被写体領域アドレスS14を出力する。つまり、小領域統合部106は、同一の被写体であると判断した領域のアドレスを同一被写体のアドレスであることが分かる形で、被写体領域アドレスS14として出力する。
被写体選択部107は、復元処理(補正処理と言ってもよい)の対象となる被写体を選択し、その被写体を形成する領域のアドレスを、注目被写体領域アドレスS15として出力する。なお、選択される被写体は、例えばユーザによって指定された被写体である。また、選択される被写体は、所定の順番で順次選択されたものであってもよい。
被写体領域画像データ読出部108は、入力画像S10を格納するメモリを有しており、注目被写体領域アドレスに基づく画像を読み出すことにより、被写体画像S16を出力する。
図6に、被写体分離装置100によって分離された、被写体画像の例を示す。近景Nの小領域同士のPSF形状は似通っており、遠景Fの小領域同士のPSF形状は似通っており、動き部mの小領域同士のPSF形状は似通っている。一方、近景Nと、遠景Fと、動き部mとの間では、PSF形状は大きく異なる。その結果、PSF形状識別部105及び小領域統合部106によって、図中の点線を境界にグループ分けする分類が行われ、同一グループ内の小領域は統合される。これにより、ボケ方の違いを基に被写体を的確に分離できる。
このように、本実施の形態の被写体分離装置100によれば、入力画像S10を複数の小領域画像S11に分割する小領域分割部101と、小領域毎にPSFを推定する局所PSF推定部104と、推定された小領域毎の局所推定PSF S12の形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、局所推定PSF S12を分類するPSF形状識別部105と、同一グループに分類された隣接小領域を統合する小領域統合部106と、を有することにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置(距離センサ等)を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置100は、その分離を比較的少ない演算量で行うことができる。
[2]被写体分離装置の構成II
図1との対応部分に同一符号を付して示す図7に、被写体分離装置の別の構成例を示す。図7の被写体分離装置200は、図1の被写体分離装置100と比較して、小領域分割部201の構成が異なる。
図1との対応部分に同一符号を付して示す図7に、被写体分離装置の別の構成例を示す。図7の被写体分離装置200は、図1の被写体分離装置100と比較して、小領域分割部201の構成が異なる。
被写体分離装置200の小領域分割部201は、小領域アドレス拡幅部202を有する。小領域アドレス拡幅部202は、小領域アドレス生成部102からのアドレスを用いて、小領域を拡幅するためのアドレスを生成する。具体的には、図8に示すように、互いにオーバーラップした小領域を形成する。このようにすることで、単純な格子分割よりも小領域内のサンプル数が増えるので、局所PSF推定部104における局所PSF推定の性能が向上する。この結果、最終的な被写体の分離も、より的確に行うことができるようになる。
[3]被写体分離装置の構成III
図1との対応部分に同一符号を付して示す図9に、被写体分離装置の別の構成例を示す。被写体分離装置300は、PSF推定の信頼性が低そうな小領域のPSFは、隣接小領域で推定したPSFを位置合わせし補間することで、求めるようになっている。
図1との対応部分に同一符号を付して示す図9に、被写体分離装置の別の構成例を示す。被写体分離装置300は、PSF推定の信頼性が低そうな小領域のPSFは、隣接小領域で推定したPSFを位置合わせし補間することで、求めるようになっている。
PSF推定可否判定部301は、各小領域画像S11がPSF推定の信頼性が低くなりそうな小領域であるか否か判定する。PSF推定可否判定部301は、PSFの信頼性の指標として、(i)飽和画素の数、又は、(ii)輝度勾配、等に基づいてPSF推定の可否を判定する。具体的には、PSF推定可否判定部301は、飽和画素の数が閾値以上である場合や、輝度勾配がほぼゼロの場合には、その小領域は平坦で特徴がない(PSF推定の信頼性は低い)と判定し、その小領域を用いて推定したPSF推定は使わないと判定する。
隣接PSF取得部302は、各小領域について、隣接する小領域の局所推定PSFS12を取得する。PSF位置合わせ部303は、隣接する小領域の局所推定PSFS12の重心位置を合わせる。PSF補間部304は、位置合わせされたPSFを用いて、例えばそれらの平均を求めることにより、補間対象である小領域のPSFを求める。
図10に、隣接PSF取得部302、PSF位置合わせ部303及びPSF補間部304による処理のイメージを示す。図中の実線の小領域が補間対象の小領域である。図中の矢印で示すように、補間対象の小領域に隣接する小領域のPSFが取得され、位置合わせされる。そして、位置合わせされたPSFを用いて補間対象の小領域のPSFが求められる。
局所PSF選択部305は、PSF推定可否判定部301によってPSF推定を行うと判定された小領域(つまり平坦でない小領域)については、局所PSF推定部104で推定されたPSFをそのまま出力する。これに対して、局所PSF選択部305は、PSF推定可否判定部301によってPSF推定を行わないと判定された小領域(つまり平坦な小領域)については、局所PSF推定部104で推定されたPSFに代えて、PSF補間部304で求められたPSFを出力する。
このように、被写体分離装置300は、小領域画像のPSFを、自身の小領域画像を用いて求めるか、あるいは、周辺の小領域画像で求められたPSFを用いて求めるかを、小領域画像の平坦度に基づいて選択する。これにより、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。
[4]被写体分離装置の構成IV
図1及び図9との対応部分に同一符号を付して示す図11に、被写体分離装置の別の構成例を示す。被写体分離装置400は、PSF推定の信頼性が低そうな小領域については、隣接小領域の分類結果を基に当該小領域の分類を決定するようになっている。
図1及び図9との対応部分に同一符号を付して示す図11に、被写体分離装置の別の構成例を示す。被写体分離装置400は、PSF推定の信頼性が低そうな小領域については、隣接小領域の分類結果を基に当該小領域の分類を決定するようになっている。
隣接分類符号取得部401は、各小領域について、隣接する小領域の分類符号を取得する。分類符号補間部402は、隣接する小領域の分類符号を用いて、補間対象である小領域の分類符号を求める。どのように補間するかについては、例えば隣接する小領域の分類符号の中で最も多い分類符号を補間分類符号として選択すればよい。
分類符号選択部403は、PSF推定可否判定部301によってPSF推定を行うと判定された小領域(つまりPSFの信頼性が高い小領域)については、PSF形状識別部105で得られた分類符号をそのまま出力する。これに対して、分類符号選択部403は、PSF推定可否判定部301によってPSF推定を行わないと判定された小領域(つまりPSFの信頼性が低い小領域)については、PSF形状識別部105で得られた分類符号に代えて、分類符号補間部402で求められた分類符号を出力する。
このように、被写体分離装置400は、小領域の分類を、自身の小領域画像のPSF推定結果を用いて行うか、あるいは、周辺の小領域の分類結果を用いて行うかを、小領域画像のPSFの信頼性に基づいて選択する。これにより、被写体分離装置300と同様に、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。
[5]画像復元装置の構成I
図12に、画像復元装置の構成を示す。画像復元装置500は、被写体分離装置100(図1)と、被写体PSF推定部510と、劣化画像復元部520と、を有する。なお、被写体分離装置100(図1)に代えて、被写体分離装置200(図7)、300(図9)又は400(図11)を用いてもよい。
図12に、画像復元装置の構成を示す。画像復元装置500は、被写体分離装置100(図1)と、被写体PSF推定部510と、劣化画像復元部520と、を有する。なお、被写体分離装置100(図1)に代えて、被写体分離装置200(図7)、300(図9)又は400(図11)を用いてもよい。
上述したように、被写体分離装置100、200、300、400は、同程度のボケを有する小領域を集めて(統合して)構成した被写体画像S16を出力する。よって、被写体PSF推定部510には、被写体分離装置100から、同程度のボケを有する小領域が集まって構成された被写体画像S16が入力される。
被写体PSF推定部510は、PSF推定アルゴリズムを用いて、被写体のPSFを求める。このPSF推定アルゴリズムは、既知のものを用いればよい。ここでは、その概要を簡単に説明する。
PSF推定アルゴリズムは、自然画像(ボケのないもの)とPSFとについて一般的に成り立つ統計的性質を用いて、ボケのある入力画像(観測データ)を生成し得る元画像(未知数)・PSF(未知数)の組み合わせの中で、最も尤もらしい両者をそれぞれ推定画像・推定PSFとする。
先ず、鮮鋭な画像(Lとする)について仮定を置くと共に、PSF(Kとする)について仮定を置く。ここで鮮鋭な画像については、事前分布p(L)として表現され、「Lの輝度勾配分布がガウシアン(またはこれに類するもの)に従う」と仮定されることが多い。また、PSFについては、事前分布p(K)として表現され、「Kの要素が非負でありスパースな分布となる」と仮定されることが多い。
被写体PSF推定部510は、このような仮定の下、以下の手順で処理を行う。
ステップ1; LとKの初期値を設定する。
Lの初期値として入力画像(Bとする)を、Kの初期値としてデルタカーネル(中心のみ1、それ以外は0の値をとるPSF)又は単純形状(水平又は垂直線分)のPSFを、それぞれ設定することが多い。
Lの初期値として入力画像(Bとする)を、Kの初期値としてデルタカーネル(中心のみ1、それ以外は0の値をとるPSF)又は単純形状(水平又は垂直線分)のPSFを、それぞれ設定することが多い。
ステップ2; Lを定数、Kを未知数として、方程式「B=L×K+N」をMAP(Maximum A Posteriori)法によりKについて解く。
事後分布p(L,K|B)を最大化するL,Kを、p(L),p(K),p(B|L,K)を用いて確率統計的に求める。
事後分布p(L,K|B)を最大化するL,Kを、p(L),p(K),p(B|L,K)を用いて確率統計的に求める。
ステップ3; 導出したKを定数、Lを未知数として、上記方程式を同様にLについて解く。
ステップ4; 導出したK,Lがそれぞれ収束するまで、上記ステップ(2〜3)を繰り返す。収束したKが推定PSFである。
被写体PSF推定部510において、PSF・復元画像初期化部511は、ステップ1を行うことで、被写体推定PSFと被写体推定復元画像とを得る。PSF最適解導出部512は、ステップ2を行う。また、復元画像最適解導出部513は、ステップ3を行う。推定結果収束判定部514は、ステップ4を行う。このようにして、推定結果収束判定部514から、推定された被写体PSF S20が出力される。
劣化画像復元部520は、被写体PSF S20と被写体画像S16とを用いて、復元画像S21を得る。具体的には、復元画像復元部520は、劣化した被写体画像S16に対して被写体PSF S20の逆畳み込み演算を施すことで、鮮鋭な画像である復元画像S21を得る。
このように、画像復元装置500は、被写体分離装置100(図1)、200(図7)、300(図9)又は400(図11)を有し、この被写体分離装置100、200、300又は400によって、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像S16を基に、被写体PSF S20を求め復元画像S21を得る。これにより、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。
[6]画像復元装置の構成II
図12との対応部分に同一符号を付して示す図13に、画像復元装置の別の構成例を示す。画像復元装置600は、被写体PSF推定部510で用いるPSFの初期値として、既に被写体分離装置100(又は200、300、400)で求めているPSFを流用するようになっている。これにより、被写体PSF推定部510での処理の高速化及び収束の安定化を図ることができる。
図12との対応部分に同一符号を付して示す図13に、画像復元装置の別の構成例を示す。画像復元装置600は、被写体PSF推定部510で用いるPSFの初期値として、既に被写体分離装置100(又は200、300、400)で求めているPSFを流用するようになっている。これにより、被写体PSF推定部510での処理の高速化及び収束の安定化を図ることができる。
画像復元装置600において、被写体領域内局所PSF取得部601は、既に局所PSF推定部104で求められている局所推定PSF S12のうち、注目被写体領域に相当するPSFを集める(取得する)。PSF位置合わせ部602は、集めた各PSFの重心の位置を合わせる。PSFフィルタ部603は、例えば平均化フィルタであり、注目被写体についての代表PSF(被写体局所代表PSF)S30を得る。
この代表PSF S30は、被写体PSF推定部510のPSF・復元画像初期化部511に入力される。PSF・復元画像初期化部511は、入力された代表PSF S30をPSFの初期値として設定する。
このようにすることで、上述したように、デルタカーネル又は単純形状のPSFを初期値として設定する場合と比較して、収束までの演算量(繰り返し回数)が少なくなることが期待され、かつ、収束の安定化が期待される。
[7]画像復元装置の構成III
図13との対応部分に同一符号を付して示す図14に、画像復元装置の別の構成例を示す。画像復元装置700は、図13の画像復元装置600と比較して、被写体PSF推定部510が省略され、劣化画像復元部520において、PSFフィルタ部603から出力される被写体局所代表PSF S30を用いて画像復元処理を行うようになっている。
図13との対応部分に同一符号を付して示す図14に、画像復元装置の別の構成例を示す。画像復元装置700は、図13の画像復元装置600と比較して、被写体PSF推定部510が省略され、劣化画像復元部520において、PSFフィルタ部603から出力される被写体局所代表PSF S30を用いて画像復元処理を行うようになっている。
これにより、画像復元装置700においては、画像復元装置600と比較して、MAP法によるPSF推定を行わないので、画像復元に用いられるPSFの精度は低下するが、MAP法を行う回路(被写体PSF推定部510)が不要なので、構成を簡単化できる。
[8]実施の形態の効果
以上説明したように、本実施の形態の被写体分離装置100、200、300、400によれば、似通ったボケ方をしている被写体画像S16を、的確に分離することができる。この結果、複数のカメラや付加的な装置(距離センサ等)を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置100、200、300、400は、その分離を比較的少ない演算量で行うことができる。
以上説明したように、本実施の形態の被写体分離装置100、200、300、400によれば、似通ったボケ方をしている被写体画像S16を、的確に分離することができる。この結果、複数のカメラや付加的な装置(距離センサ等)を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置100、200、300、400は、その分離を比較的少ない演算量で行うことができる。
また、本実施の形態の画像復元装置500、600、700は、被写体分離装置100、200、300又は400を有し、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像S16を基に、被写体PSF S20を求め復元画像S21を得るので、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。
なお、上述の実施の形態の被写体分離装置100、200、300、400、及び、画像復元装置500、600、700は、メモリ・CPUを含むパソコン等のコンピュータによって構成することができる。そして、上記装置を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをCPUが読み出して実行処理することで実現できる。
本発明は、例えば被写体間で異なるボケが生じている画像を補正する場合に適用して好適である。
100、200、300、400 被写体分離装置
101 小領域分割部
102 小領域アドレス生成部
103 小領域画像データ読出部
104 局所PSF推定部
105 PSF形状識別部
106 小領域統合部
107 被写体選択部
108 被写体領域画像データ読出部
202 小領域アドレス拡幅部
301 PSF推定可否判定部
302 隣接PSF取得部
303 PSF位置合わせ部
304 PSF補間部
305 局所PSF選択部
401 隣接分類符号取得部
402 分類符号補間部
403 分類符号選択部
500、600、700 画像復元装置
510 被写体PSF推定部
511 PSF・復元画像初期化部
512 PSF最適解導出部
513 復元画像最適解導出部
514 推定結果収束判定部
520 劣化画像復元部
601 被写体領域内局所PSF取得部
602 PSF位置合わせ部
603 PSFフィルタ部
101 小領域分割部
102 小領域アドレス生成部
103 小領域画像データ読出部
104 局所PSF推定部
105 PSF形状識別部
106 小領域統合部
107 被写体選択部
108 被写体領域画像データ読出部
202 小領域アドレス拡幅部
301 PSF推定可否判定部
302 隣接PSF取得部
303 PSF位置合わせ部
304 PSF補間部
305 局所PSF選択部
401 隣接分類符号取得部
402 分類符号補間部
403 分類符号選択部
500、600、700 画像復元装置
510 被写体PSF推定部
511 PSF・復元画像初期化部
512 PSF最適解導出部
513 復元画像最適解導出部
514 推定結果収束判定部
520 劣化画像復元部
601 被写体領域内局所PSF取得部
602 PSF位置合わせ部
603 PSFフィルタ部
Claims (10)
- 入力画像を複数の小領域画像に分割する小領域分割部と、
前記小領域画像のPSFを推定する局所PSF推定部と、
推定された前記PSFの形状を識別し、類似性の高いPSF形状の小領域画像が同一グループに属するように、前記小領域画像を分類するPSF形状識別部と、
同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、
を具備する被写体分離装置。 - 前記小領域分割部は、前記複数の小領域画像が互いにオーバーラップするように、前記入力画像を分割する、
請求項1に記載の被写体分離装置。 - 小領域画像のPSFを、自身の小領域画像を用いて推定するか、あるいは、周辺の小領域画像のPSFを用いて推定するかを、当該小領域画像のPSFの信頼性に基づいて選択するPSF選択部を、さらに具備する、
請求項1に記載の被写体分離装置。 - 小領域画像の分類を、自身の小領域画像のPSF推定結果を用いて行うか、あるいは、周辺の小領域画像の分類結果を用いて行うかを、当該小領域画像のPSFの信頼性に基づいて選択する分類選択部を、さらに具備する、
請求項1に記載の被写体分離装置。 - 請求項1から請求項4のいずれか一項に記載の被写体分離装置と、
前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のPSFを推定する被写体PSF推定部と、
前記被写体PSF推定部によって推定されたPSFと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、
を具備する画像復元装置。 - 前記被写体PSF推定部は、MAP法によってPSF推定するものであり、初期値として、前記局所PSF推定部で既に推定されているPSFを流用する、
請求項5に記載の画像復元装置。 - 請求項1から請求項4のいずれか一項に記載の被写体分離装置と、
前記被写体分離装置によって分離された前記被写体画像と、前記局所PSF推定部で既に推定されているPSFと、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、
を具備する画像復元装置。 - 入力画像を複数の小領域に分割するステップと、
前記小領域毎にPSFを推定するステップと、
推定された前記小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
を含む被写体分離方法。 - 入力画像を複数の小領域に分割するステップと、
前記小領域毎にPSFを推定するステップと、
推定された前記小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
前記分離された各被写体画像を用いて、各被写体画像のPSFを推定するステップと、
前記推定された被写体画像のPSFと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、
を含む画像復元方法。 - 入力画像を複数の小領域に分割するステップと、
前記小領域毎にPSFを推定するステップと、
推定された前記小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、前記小領域を分類するステップと、
同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、
前記被写体画像と、前記推定されたPSFと、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、
を含む画像復元方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011012964A JP2012155456A (ja) | 2011-01-25 | 2011-01-25 | 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 |
US13/997,284 US20130294708A1 (en) | 2011-01-25 | 2012-01-20 | Object separating apparatus, image restoration apparatus, object separating method and image restoration method |
PCT/JP2012/000346 WO2012101995A1 (en) | 2011-01-25 | 2012-01-20 | Object separating apparatus, image restoration apparatus, object separating method and image restoration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011012964A JP2012155456A (ja) | 2011-01-25 | 2011-01-25 | 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012155456A true JP2012155456A (ja) | 2012-08-16 |
Family
ID=45567076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011012964A Pending JP2012155456A (ja) | 2011-01-25 | 2011-01-25 | 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130294708A1 (ja) |
JP (1) | JP2012155456A (ja) |
WO (1) | WO2012101995A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014010726A1 (ja) * | 2012-07-12 | 2014-01-16 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP2017033287A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社日立製作所 | 画像処理装置、画像処理方法、及びそれを用いた画像処理システム |
JP2017070590A (ja) * | 2015-10-08 | 2017-04-13 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
JP2017173920A (ja) * | 2016-03-18 | 2017-09-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3071344B1 (fr) | 2017-09-20 | 2019-09-13 | Idemia Identity And Security | Procede de determination d'une fonction d'etalement de point d'un systeme d'imagerie |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI371959B (en) * | 2007-04-13 | 2012-09-01 | Primax Electronics Ltd | Image processing method and related partial psf estimation method thereof |
KR101341096B1 (ko) * | 2007-09-12 | 2013-12-13 | 삼성전기주식회사 | 영상 복원 장치 및 방법 |
JP2010079875A (ja) * | 2008-08-27 | 2010-04-08 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2010098054A (ja) | 2008-10-15 | 2010-04-30 | Sharp Corp | メモリ素子、半導体記憶装置、表示装置、および携帯電子機器 |
JP5331816B2 (ja) * | 2009-02-25 | 2013-10-30 | パナソニック株式会社 | 画像補正装置及び画像補正方法 |
JP5188465B2 (ja) | 2009-06-30 | 2013-04-24 | 日立オートモティブシステムズ株式会社 | 電流検出装置およびこれを用いた制御システム |
JP5499050B2 (ja) * | 2009-12-22 | 2014-05-21 | パナソニック株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
US8582820B2 (en) * | 2010-09-24 | 2013-11-12 | Apple Inc. | Coded aperture camera with adaptive image processing |
-
2011
- 2011-01-25 JP JP2011012964A patent/JP2012155456A/ja active Pending
-
2012
- 2012-01-20 WO PCT/JP2012/000346 patent/WO2012101995A1/en active Application Filing
- 2012-01-20 US US13/997,284 patent/US20130294708A1/en not_active Abandoned
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014010726A1 (ja) * | 2012-07-12 | 2014-01-16 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JPWO2014010726A1 (ja) * | 2012-07-12 | 2016-06-23 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
JP2017033287A (ja) * | 2015-07-31 | 2017-02-09 | 株式会社日立製作所 | 画像処理装置、画像処理方法、及びそれを用いた画像処理システム |
JP2017070590A (ja) * | 2015-10-08 | 2017-04-13 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
JP2017173920A (ja) * | 2016-03-18 | 2017-09-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20130294708A1 (en) | 2013-11-07 |
WO2012101995A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5651118B2 (ja) | 画像処理装置および画像処理方法 | |
KR101633377B1 (ko) | 다중 노출에 의한 프레임 처리 방법 및 장치 | |
US8379120B2 (en) | Image deblurring using a combined differential image | |
US8773548B2 (en) | Image selection device and image selecting method | |
US9530079B2 (en) | Point spread function classification using structural properties | |
WO2015192316A1 (en) | Face hallucination using convolutional neural networks | |
JP2008541316A (ja) | パターン検出のための画像処理 | |
JP6703314B2 (ja) | フォーカス検出 | |
JP5499050B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US9225898B2 (en) | Image pickup apparatus, image processing system, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
WO2013025220A1 (en) | Image sharpness classification system | |
JP2013117969A (ja) | 多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法 | |
KR102069269B1 (ko) | 영상 안정화 장치 및 방법 | |
JP2012155456A (ja) | 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 | |
JP6317635B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20080025628A1 (en) | Enhancement of Blurred Image Portions | |
WO2013052241A1 (en) | Motion blur estimation and restoration using light trails | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
Senshiki et al. | PSF estimation using total variation regularization and shock filter for blind deconvolution | |
KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 | |
KR101544156B1 (ko) | 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치 | |
CN103841312B (zh) | 物体侦测装置及方法 | |
JP6637242B2 (ja) | 画像処理装置、撮像装置、プログラム、および画像処理方法 | |
JP2015076676A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Harale | Analysis of Image Deblurring Techniques with Variations in Gaussian Noise and Regularization factor |